【转载】CentOS 7处理systemctl status执行慢的问题

da11

CentOS 7处理systemctl status执行慢的问题

转载地址：https://www.8a.hk/index.php/news/content/3784.html

前言：有个系统性能监测脚本需要获取systemctl status服务状态，但由于此命令长时间执行没有结束，导致脚本假卡死，故使用如下方法解决

一、这个问题和systemd-journald有关，故我们先简单了解下：

过去只有rsyslogd的年代中，由于rsyslogd必须要开机完成并且执行了 rsyslogd这个daemon之后，登录文件才会开始记录。所以核心还得要自己产生一个klogd的服务，才能将系统在开机过程、启动服务的过程中的信息记录下来，然后等rsyslogd启动后才传送给它来处理。

现在有了systemd之后，systemd使用systemd-journald统一管理所有Unit 的启动日志。由于systemd是kernel唤醒的，然后又是第一个执行的软件，它可以主动调用systemd-journald来协助记载登录信息。因此在开机过程中的所有信息，包括启动服务与服务若启动失败的情况等等，都可以直接被记录到 systemd-journald里头去！

不过systemd-journald由于是使用于内存的登录文件记录方式，因此重新开机过后，开机前的登录文件信息当然就不会被记载了。为此我们还是建议启动 rsyslogd来协助分类记录！也就是说，systemd-journald用来管理与查询这次开机后的登录信息，而rsyslogd可以用来记录以前及现在的所以数据到磁盘文件中，方便未来进行查询！

二、问题场景

某天登录某台服务器执行systemctl status name后，发现一直卡着不动，等待几分钟还是如此。

问题分析定位：

1、Centos7的bug

2、systemctl的问题


三、解决过程

1、Centos7已经用了很长时间，目前处于稳定，并且翻看centos7的bug list未发现有类似异常。故排除了系统bug。

2、开始查找systemctl的问题，果不其然发现是systemd-journald的问题。

1）strace命令查看问题，发现是读取systemd-journald日志比较慢

[root@localhost ~]# strace -s 1024 systemctl status nginx

2）查看status输出

[root@localhost ~]# systemctl status nginx

nginx.service - Nginx Server 1.20.1
   Loaded: loaded (/usr/lib/systemd/system/nginx.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2022-11-03 17:36:46 CST; 4 weeks 2 days ago
     Docs: http://nginx.org/en/docs/
Main PID: 1897 (nginx)
    Tasks: 3
   Memory: 90.5M
   CGroup: /system.slice/nginx.service
           ├─1897 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
           ├─3695 nginx: worker process
           └─3696 nginx: worker process
可以看到systemctl有的输出有nginx启动时候相关的信息。而这些输出是从systemd-journald中读取的。


3）systemd-journald的日志默认是存储在/var/log/journal目录，发现这个目录已经有4G了。查看网上相关资料，发现也有其它人遇见过类似的问题。可以通过修改systemd-journald的配置来解决问题：

[root@localhost ~]# vim /etc/systemd/journald.conf

# 添加以下内容


SystemMaxUse=200M
RuntimeMaxUse=200M

SystemMaxUse=与RuntimeMaxUse=限制全部日志文件加在一起最多可以占用多少空间。而SystemMaxUse=与RuntimeMaxUse=的默认值是10%空间与4G空间两者中的较小者，故把这两个配置调小了。

4）重启systemd-journald

[root@localhost ~]# systemctl restart systemd-journald

5）操作完成之后发现执行systemctl status命令也变快了。

四、结论

通过限制systemd-journald日志的大小来解决这个问题。副作用是保存的日志变少，但是可接受，目前没有发现有异常。