运维Linux日志管理工具Logrotate - 文章信息 -Author: 李俊才 (jcLee95)Visit me at CSDN: https://jclee95.blog.csdn.netMy WebSite：http://thispage.tech/Email: 291148484@163.com.Shenzhen ChinaAddress of this article:https://blog.csdn.net/qq_28550263/article/details/140413378HuaWei:https://bbs.huaweicloud.com/blogs/430885 【介绍】：本文详细介绍了Linux系统中的日志管理工具Logrotate的概念、安装、用法，并给出了若干示例。 下一节：《 容器化环境中的Logrotate实践 》 目 录 1. 概述 1.1 Linux下的日志管理 1.2 Logrotate简介 2. Logrotate基础 2.1 安装Logrotate 2.1.1 Debian下的安装 2.1.2 Red Hat下的安装 2.1.3 源码安装 2.1.4 关于配置文件的路径 2.2 Logrotate的工作原理 2.3 Logrotate配置文件结构 2.4 基本配置选项解析 3. Logrotate核心功能 3.1 日志轮转策略 3.1.1 基于大小的轮转 3.1.2 基于时间的轮转 3.2 压缩选项 3.3 日志文件权限管理 3.4 旧日志文件的处理方式 4. 高级配置技巧 4.1 使用通配符匹配多个日志文件 4.2 为不同类型的日志设置不同的轮转策略 4.3 配置邮件通知 4.4 使用脚本进行自定义操作 5. 常见应用服务的Logrotate配置示例 5.1 Apache/Nginx Web服务器 5.2 MySQL数据库 5.3 系统日志 6. Logrotate与其他工具的集成 6.1 与Cron的配合使用 6.2 与日志分析工具的集成 6.2.1 与ELK Stack的集成 6.2.2 与Graylog的集成 6.2.3 与Splunk的集成 6.2.4 与自定义日志分析脚本的集成 7. 总结 F. 附录 F.1 Logrotate命令行参数参考 F.2 配置文件模板 F.3 更多示例 匹配特定扩展名的文件： 匹配多个扩展名： 匹配特定前缀的文件： 匹配包含特定字符串的文件： 匹配多级目录下的文件： 匹配特定日期格式的文件： 匹配特定大小范围的文件： 匹配除特定文件外的所有文件： 1. 概述 1.1 Linux下的日志管理 日志记录了系统运行的方方面面，包括错误、警告、操作记录等关键信息。有效地管理这些日志文件是确保系统安全、稳定运行的必要手段。 Linux系统的日志管理涉及多个方面。首先，需要考虑日志的生成机制。不同的应用程序和系统服务可能采用不同的日志记录方式，有的直接写入文件，有的通过系统日志服务如rsyslog进行集中管理。其次，日志的存储位置也是一个重要考虑因素。传统上，大多数Linux系统将日志文件存放在/var/log目录下，但随着容器化技术的普及，日志的存储位置变得更加多样化。 然而，日志管理面临的最大挑战之一是如何处理持续增长的日志文件。如果不加以控制，日志文件可能会无限制地增长，最终耗尽系统的存储空间。此外，过大的日志文件也会影响系统性能，使得日志查询和分析变得困难。 为了应对这些挑战，Linux系统管理员通常会采用日志轮转（Log Rotation）策略。日志轮转的基本思想是：当日志文件达到一定大小或时间后，将其改名并压缩保存，同时创建一个新的日志文件继续记录。这样不仅可以控制单个日志文件的大小，还能保留历史日志信息，方便后续查询和分析。 在Linux世界中，实现日志轮转的工具有多种选择，如logrotate、cronolog等。其中，logrotate因其强大的功能、灵活的配置以及广泛的兼容性，成为了最受欢迎的日志管理工具之一。 1.2 Logrotate简介 Logrotate是一款强大而灵活的日志文件管理工具，专为类Unix系统（如Linux）设计。它的主要功能是自动化日志文件的轮转、压缩、删除和邮件发送等操作。Logrotate通常作为一个定时任务运行，可以根据文件大小、时间间隔或其他更复杂的条件来决定何时对日志文件进行轮转。 Logrotate的核心优势在于其高度可配置性。管理员可以为不同的日志文件设置不同的轮转策略，包括轮转频率、保留的旧日志文件数量、压缩方式等。此外，Logrotate还支持在轮转前后执行自定义脚本，这为日志管理提供了极大的灵活性。 使用Logrotate可以带来诸多好处： 防止日志文件无限增长，有效管理磁盘空间。 通过压缩旧日志文件，进一步节省存储空间。 保留历史日志，便于追溯和分析。 自动化日志管理流程，减少人工干预。 提高系统性能，避免因日志文件过大而导致的I/O瓶颈。 Logrotate的配置文件通常位于/etc/logrotate.conf和/etc/logrotate.d/目录下。主配置文件/etc/logrotate.conf定义了全局设置，而/etc/logrotate.d/目录下的文件则包含了针对特定应用或服务的日志轮转配置。 另外，值得一提的是，尽管Logrotate主要用于管理文本日志文件，但它也能处理二进制日志文件。对于需要特殊处理的日志文件，Logrotate提供了丰富的选项和脚本执行功能，使得几乎所有类型的日志管理需求都能得到满足。 2. Logrotate基础 2.1 安装Logrotate Logrotate 是大多数现代 Linux 发行版的标准组件，通常预装在系统中。然而，如果的系统中没有安装 Logrotate，或者希望安装最新版本，可以通过包管理器轻松完成安装。 2.1.1 Debian下的安装 基于 Debian 的系统（如 Ubuntu、Debian）上，可以使用 apt 包管理器安装 Logrotate。首先，更新包索引，然后安装 Logrotate： 打开终端，输入以下命令： sudo apt update sudo apt install logrotate 2.1.2 Red Hat下的安装 对于基于 Red Hat 的系统（如 CentOS、Fedora），可以使用 yum 或 dnf 包管理器： sudo yum install logrotate 或 sudo dnf install logrotate 安装完成后，可以通过查看 Logrotate 的版本来验证安装是否成功： logrotate --version 此命令将显示已安装的 Logrotate 版本信息。 注：某些系统可能将 Logrotate 作为 cronie 或 cron 包的一部分提供。在这种情况下，安装 cron 服务可能会自动包含 Logrotate。 2.1.3 源码安装 如果需要安装最新版本的 Logrotate，或者的系统包管理器中没有提供 Logrotate，可以选择从源代码编译安装。这种方法虽然更复杂，但能确保获得最新的功能和修复。 从源代码安装的步骤通常包括：下载源代码、解压缩、配置、编译和安装。以下是一个基本的源码安装过程示例： 首先，下载最新的 Logrotate 源代码。可以从官方 GitHub 仓库获取： wget https://github.com/logrotate/logrotate/releases/download/3.20.1/logrotate-3.20.1.tar.xz 解压下载的文件： tar xvf logrotate-3.20.1.tar.xz 进入解压后的目录： cd logrotate-3.20.1 配置、编译和安装： ./configure make sudo make install 2.1.4 关于配置文件的路径 安装完成后，Logrotate 通常会被放置在 /usr/local/sbin/logrotate 路径下。可以通过运行 logrotate --version 命令来确认安装是否成功。 无论选择哪种安装方法，安装完成后，Logrotate 的主配置文件通常位于 /etc/logrotate.conf，而针对特定应用程序的配置文件则位于 /etc/logrotate.d/ 目录下。 安装 Logrotate 后，建议查看其配置文件，了解默认设置，并根据的系统需求进行必要的调整。同时，确保 Logrotate 被正确地集成到的系统的定时任务中，通常是通过 cron 作业来实现的。 2.2 Logrotate的工作原理 Logrotate通过定期检查日志文件的状态，并根据预设的规则执行相应的操作来实现日志的轮转和管理。Logrotate通常作为一个定时任务运行，最常见的是通过cron作业每天执行一次。当Logrotate运行时，它会按照配置文件中指定的顺序处理每个日志文件或日志文件组。 首先，Logrotate会检查日志文件是否需要轮转。这个决定基于配置文件中定义的条件，如文件大小、时间间隔或自定义条件。如果满足轮转条件，Logrotate就会开始轮转过程。 轮转过程通常包括以下步骤： 重命名当前的日志文件。例如，将app.log重命名为app.log.1。 如果配置了压缩选项，Logrotate会压缩刚刚重命名的日志文件。 如果存在更早的轮转日志（如app.log.2.gz），Logrotate会将其重命名为app.log.3.gz，依此类推。 创建一个新的空日志文件，使用原来的文件名（如app.log）。 如果配置了"创建"选项，Logrotate会为新创建的日志文件设置指定的权限和所有权。 如果配置了邮件通知，Logrotate会发送包含轮转日志内容的邮件。 执行配置文件中定义的任何预轮转或后轮转脚本。 如果配置了删除旧日志的选项，Logrotate会删除超过指定保留期限的日志文件。 Logrotate使用状态文件（通常位于/var/lib/logrotate/status）来跟踪每个日志文件的轮转历史。这个状态文件记录了上次轮转的时间，确保Logrotate能够正确地执行基于时间的轮转，即使系统时间发生变化或Logrotate没有按计划运行。 注意，Logrotate在设计上考虑到了系统资源的有效利用。它不会持续运行并监控日志文件，而是依赖定期执行来检查和处理日志。这种方式最大限度地减少了系统开销。 Logrotate还支持"延迟压缩"功能。这意味着它可以在下一次运行时才压缩上一次轮转的日志文件，而不是在轮转时立即压缩。这个特性对于那些在轮转后仍可能被写入的日志文件特别有用。 另一个方面，Logrotate提供了一个"copytruncate"选项。对于那些无法正常关闭的应用程序，Logrotate可以复制整个日志文件，然后截断原始文件，而不是重命名它。这确保了应用程序可以继续写入原始日志文件，而不会因为文件被重命名而丢失日志条目。 Logrotate还提供了"sharedscripts"选项，允许在处理一组日志文件时只执行一次脚本，而不是为每个日志文件都执行一次。这在处理相关的日志文件组时特别有用，可以显著提高效率。 2.3 Logrotate配置文件结构 Logrotate的配置文件采用简洁而灵活的结构，允许管理员精确控制日志轮转的各个方面。了解这种结构对于有效管理系统日志至关重要。 Logrotate的配置主要分为两个层次：全局配置和特定日志配置。全局配置通常位于/etc/logrotate.conf文件中，而特定日志的配置则存放在/etc/logrotate.d/目录下的单独文件中。 全局配置文件/etc/logrotate.conf定义了适用于所有日志文件的默认设置。这个文件通常包含一些基本的指令，如轮转频率、压缩选项等。此外，它还通过include指令包含了/etc/logrotate.d/目录中的所有配置文件。 一个典型的/etc/logrotate.conf文件可能如下所示： # 全局选项 weekly rotate 4 create dateext compress include /etc/logrotate.d # 系统日志的特定配置 /var/log/wtmp { monthly create 0664 root utmp minsize 1M rotate 1 } 在这个例子中，全局选项指定了每周轮转、保留4个旧日志文件、创建新的空日志文件、使用日期扩展名、压缩旧日志文件。然后，它包含了/etc/logrotate.d/目录中的所有配置文件。最后，为/var/log/wtmp文件指定了特殊的轮转规则。 /etc/logrotate.d/目录中的每个文件通常对应一个特定的应用程序或服务。这些文件的结构与主配置文件类似，但只针对特定的日志文件或一组日志文件。例如，一个名为/etc/logrotate.d/nginx的文件可能包含以下内容： # /etc/logrotate.d/nginx # 这是用于管理Nginx日志文件的Logrotate配置文件 # 匹配/var/log/nginx/目录下所有以.log结尾的文件 /var/log/nginx/*.log { # 每天轮转一次日志 daily # 如果日志文件不存在，不报错继续执行 missingok # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件为空，则不轮转 notifempty # 创建新的日志文件，设置权限为0640，所有者为www-data，组为adm create 0640 www-data adm # 所有日志文件轮转完毕后，只执行一次脚本 sharedscripts # 在日志轮转结束后执行的脚本 postrotate # 如果Nginx的PID文件存在且非空 [ -s /run/nginx.pid ] && kill -USR1 `cat /run/nginx.pid` # 脚本结束 endscript } 这个配置指定了Nginx日志文件的轮转规则，包括每日轮转、忽略丢失的日志文件、保留7个旧日志文件、压缩旧日志但延迟压缩最新的旧日志、不轮转空日志文件、创建新日志文件时设置特定的权限和所有权，以及在轮转后重新打开日志文件。 Logrotate配置文件的结构遵循一定的语法规则。每个日志文件或日志文件组的配置都包含在花括号{}中。可以在一个配置块中指定多个日志文件，用空格分隔。配置选项每行一个，以换行符结束。如果一个选项需要额外的参数，这些参数通常跟在选项名称后面，用空格分隔。 某些选项，如postrotate和prerotate，允许指定在日志轮转前后执行的脚本。这些脚本需要包含在postrotate/endscript或prerotate/endscript块中。 Logrotate配置文件还支持条件语句，允许根据特定条件应用不同的设置。例如： # /var/log/mail.log # 这是用于管理邮件日志文件的Logrotate配置文件 /var/log/mail.log { # 每周轮转一次日志 weekly # 保留5个轮转后的日志文件 rotate 5 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 当日志文件达到100MB时进行轮转 size 100M # 所有日志文件轮转完毕后，只执行一次脚本 sharedscripts # 在日志轮转结束后执行的脚本 postrotate # 如果Dovecot的PID文件存在 if [ -f /var/run/dovecot/master.pid ]; then # 向Dovecot发送USR1信号，使其重新打开日志文件 kill -USR1 `cat /var/run/dovecot/master.pid` fi # 如果Exim4的PID文件存在 if [ -f /var/run/exim4/exim.pid ]; then # 重启Exim4服务 /etc/init.d/exim4 restart > /dev/null fi # 脚本结束 endscript } 在这个例子中，根据是否存在特定的进程ID文件，在日志轮转后执行不同的操作。 理解Logrotate配置文件的结构对于有效管理系统日志至关重要。通过合理组织全局配置和特定应用配置，系统管理员可以实现灵活而强大的日志管理策略，确保系统日志得到适当的维护和保存。 2.4 基本配置选项解析 Logrotate的配置文件包含多种选项，用于控制日志轮转的各个方面。以下表格列出了一些常用的基本配置选项及其解析： 选项 描述 rotate 指定保留的旧日志文件数量。例如，rotate 5表示保留5个轮转后的日志文件，超过这个数量的旧文件将被删除。 daily/weekly/monthly/yearly 定义日志轮转的频率。选择其中一个即可。例如，daily表示每天进行一次日志轮转。 size 基于文件大小触发日志轮转。例如，size 100M表示当日志文件达到100MB时进行轮转。 compress 启用此选项后，轮转的日志文件会被压缩以节省磁盘空间。默认使用gzip压缩。 delaycompress 与compress选项配合使用，延迟压缩最近轮转的日志文件到下一次轮转。 copytruncate 复制原始日志文件的内容到新文件，然后清空原始文件，而不是重命名它。 create 在轮转后创建新的空日志文件，并指定其权限、所有者和组。格式：create mode owner group。 dateext 使用日期作为轮转后日志文件的扩展名，而不是数字。 missingok 如果日志文件丢失，Logrotate不会报错，而是静默地继续到下一个日志。 notifempty 防止Logrotate轮转空的日志文件。 sharedscripts 当指定多个日志文件时，确保prerotate和postrotate脚本只执行一次。 prerotate/endscript 这对选项之间可以插入在日志轮转之前执行的脚本。 postrotate/endscript 类似于prerotate，但这些脚本在日志轮转之后执行。 maxage 指定删除旧日志文件的天数。例如，maxage 365会删除超过一年的旧日志文件。 正确配置Logrotate不仅可以有效管理磁盘空间，能确保重要的日志信息得到适当的保留和组织。在实际应用中，管理员需要根据系统的特性、日志生成速度、存储容量等因素来选择和组合这些选项，以达到最佳的日志管理效果。 3. Logrotate核心功能 3.1 日志轮转策略 日志轮转策略是Logrotate的核心功能之一，它决定了何时以及如何对日志文件进行轮转。Logrotate提供了两种主要的轮转策略：基于大小的轮转和基于时间的轮转。这两种策略可以单独使用，也可以组合使用，以满足不同的日志管理需求。 3.1.1 基于大小的轮转 基于大小的轮转策略是根据日志文件的大小来决定何时进行轮转。当日志文件达到指定的大小阈值时，Logrotate就会触发轮转操作。这种策略特别适用于那些日志生成速度不稳定，或者需要严格控制单个日志文件大小的场景。 在Logrotate配置文件中，可以使用size选项来指定大小阈值。例如： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log目录下的myapp.log文件 /var/log/myapp.log { # 当日志文件达到100MB时进行轮转 size 100M # 保留5个轮转后的日志文件 rotate 5 # 压缩轮转后的日志文件 compress } 在这个配置中，当myapp.log文件大小达到100MB时，Logrotate就会进行轮转。rotate 5表示保留5个轮转后的日志文件，超过这个数量的旧文件将被删除。 基于大小的轮转策略的优点是可以精确控制日志文件的大小，防止单个文件过大导致的存储和处理问题。然而，这种策略也有其局限性。如果日志生成速度很快，可能会导致频繁的轮转操作，增加系统负担。此外，如果日志生成速度很慢，可能会导致长时间没有轮转，不利于日志的及时归档和分析。 3.1.2 基于时间的轮转 基于时间的轮转策略是按照预定的时间间隔进行日志轮转。这种策略适用于需要定期归档日志的场景，无论日志文件大小如何。Logrotate提供了多个时间间隔选项，包括每天、每周、每月和每年。 以下是一个基于时间轮转的配置示例： # /etc/logrotate.d/syslog # 这是用于管理系统日志文件的Logrotate配置文件 # 匹配/var/log/syslog文件 /var/log/syslog { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty } 在这个配置中，daily指定每天进行一次轮转。其他常用的时间选项包括weekly、monthly和yearly。 基于时间的轮转策略的优点是可以保证日志文件按照固定的时间周期进行归档，便于后续的日志分析和管理。例如，可以轻松地查看上周或上个月的日志。此外，这种策略也可以避免因日志生成速度变化而导致的轮转频率不稳定问题。 然而，纯粹基于时间的轮转策略也有其不足之处。如果日志生成速度很快，可能会导致单个日志文件过大。相反，如果日志生成速度很慢，可能会产生大量的小文件，增加存储和管理的复杂性。 为了克服单一策略的局限性，Logrotate允许将基于大小和基于时间的策略结合使用。例如： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log/目录下的myapp.log文件 /var/log/myapp.log { # 每天轮转一次日志 daily # 当日志文件达到50MB时进行轮转 size 50M # 保留10个轮转后的日志文件 rotate 10 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress } 在这个配置中，日志文件会在每天进行轮转，或者当文件大小达到50MB时进行轮转，以先到达的条件为准。这种组合策略可以在时间周期性和文件大小控制之间取得平衡，为大多数应用场景提供了理想的解决方案。 3.2 压缩选项 日志文件通常会随着时间的推移不断增长，占用大量的磁盘空间。为了有效管理这些日志文件，Logrotate提供了强大的压缩功能。通过压缩旧的日志文件，可以显著减少它们占用的存储空间，同时仍然保留这些日志以供将来参考或分析。 Logrotate默认使用gzip压缩方法，这是因为gzip在压缩率和速度之间取得了很好的平衡。然而，Logrotate的灵活性使得管理员可以根据具体需求选择不同的压缩方法或完全禁用压缩。 要启用压缩，只需在Logrotate配置文件中添加compress选项即可。例如： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log目录下的myapp.log文件 /var/log/myapp.log { # 每周轮转一次日志 weekly # 保留4个轮转后的日志文件 rotate 4 # 压缩轮转后的日志文件 compress } 在这个配置中，每周轮转的日志文件将被压缩，并保留最近4个压缩后的日志文件。 虽然压缩可以节省大量空间，但它也带来了一些开销。压缩过程需要额外的CPU资源，而且压缩后的文件在需要查看时必须先解压。为了平衡这些因素，Logrotate提供了一些额外的压缩相关选项： delaycompress：这个选项会延迟压缩最近轮转的日志文件到下一次轮转。这对于那些在轮转后仍可能被写入的日志文件特别有用。例如： # /etc/logrotate.d/syslog # 这是用于管理系统日志文件的Logrotate配置文件 # 匹配/var/log/syslog文件 /var/log/syslog { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress } compresscmd：允许指定自定义的压缩命令，而不是默认的gzip。例如，如果想使用bzip2进行压缩，可以这样配置： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log/目录下的myapp.log文件 /var/log/myapp.log { # 每周轮转一次日志 weekly # 保留4个轮转后的日志文件 rotate 4 # 压缩轮转后的日志文件 compress # 使用指定的压缩命令进行压缩，这里使用的是bzip2 compresscmd /usr/bin/bzip2 # 指定压缩文件的扩展名为.bz2 compressext .bz2 } compressext：指定压缩文件的扩展名。在上面的例子中，我们将其设置为.bz2以匹配bzip2压缩方法。 compressoptions：允许为压缩命令指定额外的选项。例如，如果想使用最高级别的gzip压缩，可以这样配置： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log/目录下的myapp.log文件 /var/log/myapp.log { # 每周轮转一次日志 weekly # 保留4个轮转后的日志文件 rotate 4 # 压缩轮转后的日志文件 compress # 使用最高压缩级别（-9）进行压缩 compressoptions -9 } nocompress：如果在全局配置中启用了压缩，但某些特定的日志文件不需要压缩，可以使用这个选项。例如： # /etc/logrotate.d/debug # 这是用于管理调试日志文件的Logrotate配置文件 # 匹配/var/log/目录下的debug文件 /var/log/debug { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 不压缩轮转后的日志文件 nocompress } 在选择压缩选项时，需要考虑几个因素。首先是压缩率与CPU使用率之间的权衡。gzip通常提供了很好的平衡，但对于特别大的日志文件，可能需要考虑使用bzip2等压缩率更高的方法。其次，要考虑日志文件的访问频率。如果经常需要查看旧的日志文件，那么使用压缩可能会带来不便。 另外，对于一些特殊类型的日志文件，如二进制日志或已经压缩的日志，应该避免使用压缩。在这些情况下，可以使用nocompress选项。 3.3 日志文件权限管理 日志文件权限管理是Logrotate的一个重要功能，它确保了日志文件的安全性和可访问性。正确设置日志文件的权限不仅可以防止未经授权的访问，还能确保相关应用程序和服务能够正常写入日志。 Logrotate提供了多个选项来控制轮转后新创建的日志文件的权限、所有者和组。这些选项主要包括"create"、“su"和"olddir”。 首先，"create"选项允许指定新创建的日志文件的权限模式、所有者和组。其语法如下： create mode owner group 其中，"mode"是一个三位数的八进制数，表示文件权限。"owner"和"group"分别指定文件的所有者和组。例如： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log/目录下的myapp.log文件 /var/log/myapp.log { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 创建新的日志文件，设置权限为0644，所有者为www-data，组为adm create 0644 www-data adm } 这个配置会在每次轮转后创建一个新的myapp.log文件，其权限为644（所有者可读写，组用户和其他用户只读），所有者为"www-data"，组为"adm"。 如果只指定"create"而不带参数，Logrotate将使用原始日志文件的权限、所有者和组来创建新文件。 对于那些需要特殊权限的日志文件，"su"选项非常有用。它允许Logrotate以指定的用户和组的身份来轮转日志文件。这在处理系统日志等需要提升权限的情况下特别有用。例如： # /etc/logrotate.d/syslog # 这是用于管理系统日志文件的Logrotate配置文件 # 匹配/var/log/syslog 文件 /var/log/syslog { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 创建新的日志文件，设置权限为0640，所有者为syslog，组为adm create 0640 syslog adm # 使用指定的用户和组来执行日志轮转操作 su root syslog } 在这个配置中，Logrotate将以root用户和syslog组的身份来轮转syslog文件。这确保了即使Logrotate是以非特权用户身份运行的，也能够处理需要特殊权限的日志文件。 "olddir"选项用于指定存放轮转后的旧日志文件的目录。这个选项可以与权限管理结合使用，以确保旧日志文件存储在一个安全的位置。例如： # /etc/logrotate.d/apache2 # 这是用于管理Apache日志文件的Logrotate配置文件 # 匹配/var/log/apache2/目录下所有以.log结尾的文件 /var/log/apache2/*.log { # 每周轮转一次日志 weekly # 保留52个轮转后的日志文件，相当于一年的历史记录 rotate 52 # 创建新的日志文件，设置权限为0640，所有者为root，组为adm create 0640 root adm # 将轮转后的旧日志文件移动到指定目录 olddir /var/log/apache2/old # 如果指定的旧日志目录不存在，创建它并设置权限为0755，所有者为root，组为root createolddir 0755 root root } 在这个配置中，轮转后的Apache日志文件将被移动到/var/log/apache2/old目录。"createolddir"选项确保如果该目录不存在，Logrotate会创建它，并设置指定的权限和所有权。 3.4 旧日志文件的处理方式 Logrotate提供了多种处理旧日志文件的方法，使系统管理员能够灵活地管理历史日志。这些方法包括保留、压缩、删除和移动旧日志文件。合理配置这些选项可以有效平衡存储空间使用和历史数据保留的需求。 首先，"rotate"选项是控制旧日志文件处理的核心。它指定了要保留的旧日志文件数量。例如，"rotate 5"表示保留5个旧的日志文件。当新的日志文件被创建时，最老的那个会被删除。这个选项通常与时间或大小基础的轮转策略结合使用。 # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log目录下的myapp.log文件 /var/log/myapp.log { # 每天轮转一次日志 daily # 保留5个轮转后的日志文件 rotate 5 # 压缩轮转后的日志文件 compress } 在这个配置中，系统将保留5个压缩后的旧日志文件，每天进行一次轮转。超过5个的旧文件会被自动删除。 对于需要长期保存的日志，可以使用"maxage"选项。它指定了删除旧日志文件的天数阈值。例如，"maxage 365"会删除超过一年的旧日志文件，无论"rotate"设置如何。这对于需要遵守特定数据保留政策的组织特别有用。 # /etc/logrotate.d/important-app # 这是用于管理重要应用日志文件的Logrotate配置文件 # 匹配/var/log/important-app.log文件 /var/log/important-app.log { # 每月轮转一次日志 monthly # 保留12个轮转后的日志文件，相当于一年的历史记录 rotate 12 # 压缩轮转后的日志文件 compress # 删除超过365天的旧日志文件 maxage 365 } 这个配置每月轮转一次日志，保留12个压缩后的旧日志文件，但会删除超过365天的文件。 Logrotate还提供了"dateext"选项，用于给轮转后的日志文件添加日期扩展名。这使得识别特定日期的日志文件变得更加容易。 # /etc/logrotate.d/httpd # 这是用于管理Apache HTTP服务器访问日志的Logrotate配置文件 # 匹配/var/log/httpd/目录下的access.log文件 /var/log/httpd/access.log { # 每天轮转一次日志 daily # 保留30个轮转后的日志文件 rotate 30 # 压缩轮转后的日志文件 compress # 使用日期作为轮转后的文件扩展名 dateext # 自定义日期格式，格式为-YYYYMMDD dateformat -%Y%m%d } 使用这个配置，轮转后的文件名将类似于"access.log-20230515.gz"。 对于需要将旧日志文件移动到其他位置的情况，可以使用"olddir"选项。这在将旧日志文件存储在不同的磁盘分区或网络存储上时特别有用。 # /etc/logrotate.d/mysql # 这是用于管理MySQL日志文件的Logrotate配置文件 # 匹配/var/log/mysql/目录下所有以.log结尾的文件 /var/log/mysql/*.log { # 每周轮转一次日志 weekly # 保留52个轮转后的日志文件，相当于一年的日志 rotate 52 # 压缩轮转后的日志文件 compress # 将轮转后的日志文件移动到指定目录 olddir /backup/mysql_logs # 如果目标目录不存在，创建它并设置权限为750，所有者为mysql，组为adm createolddir 750 mysql adm } 这个配置将把轮转后的MySQL日志文件移动到/backup/mysql_logs目录。"createolddir"选项确保目标目录存在，并设置适当的权限。 有时，可能需要在删除旧日志文件之前执行一些自定义操作。Logrotate通过"prerotate"和"postrotate"脚本提供了这种灵活性。例如，可以在删除旧日志文件之前将其归档到远程服务器。 # /etc/logrotate.d/app # 这是用于管理应用程序日志文件的Logrotate配置文件 # 匹配/var/log/app.log文件 /var/log/app.log { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 在日志轮转之前执行的脚本 prerotate # 如果/var/run/app目录存在 if [ -d /var/run/app ]; then # 使用rsync命令将当前的日志文件备份到远程服务器 /usr/bin/rsync /var/log/app.log user@remote:/backup/ fi # 脚本结束 endscript } 这个配置在轮转日志之前，将当前的日志文件同步到远程备份服务器。 最后，对于那些不需要保留的日志文件，可以使用"norotate"选项。这在处理临时或不重要的日志时很有用。 # /etc/logrotate.d/temp # 这是用于管理临时日志文件的Logrotate配置文件 # 匹配/var/log/temp.log文件 /var/log/temp.log { # 每天轮转一次日志 daily # 不进行日志轮转 norotate } 这个配置每天都会清空temp.log文件，而不保留任何历史版本。 通过合理组合这些选项，系统管理员可以为不同类型的日志文件制定最适合的处理策略。这不仅能够有效管理存储空间，还能确保重要的历史数据得到适当的保留和保护。在实际应用中，应根据具体的业务需求、法规要求和系统资源限制来调整这些设置，以达到最佳的日志管理效果。 4. 高级配置技巧 4.1 使用通配符匹配多个日志文件 在实际的系统管理中，我们经常需要同时处理多个相关的日志文件。Logrotate提供了强大的通配符功能，使得我们可以用一个配置块来管理多个日志文件，大大简化了配置过程。 通配符的使用方法非常直观。例如，要轮转/var/log目录下所有以".log"结尾的文件，可以这样配置： # /etc/logrotate.d/general-logs # 这是用于管理通用日志文件的Logrotate配置文件 # 匹配/var/log/目录下所有以.log结尾的文件 /var/log/*.log { # 每周轮转一次日志 weekly # 保留4个轮转后的日志文件 rotate 4 # 压缩轮转后的日志文件 compress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty } 这个配置会匹配/var/log目录下所有以".log"结尾的文件，对它们应用相同的轮转策略。 更复杂的匹配模式也是可能的。比如，要匹配多个子目录下的日志文件，可以使用如下配置： /var/log/**/*.log { daily rotate 7 compress missingok notifempty } 这个配置会匹配/var/log及其所有子目录下的".log"文件。 需要注意的是，使用通配符时要格外小心，确保不会意外匹配到不应该轮转的文件。同时，过于宽泛的通配符可能会导致性能问题，特别是在处理大量文件时。 4.2 为不同类型的日志设置不同的轮转策略 在一个复杂的系统中，不同类型的日志可能需要不同的轮转策略。Logrotate允许我们在一个配置文件中为不同的日志文件设置不同的策略。 例如，我们可能希望对系统日志进行每日轮转，而对应用日志进行每周轮转。可以这样配置： # /etc/logrotate.d/syslog # 这是用于管理系统日志文件的Logrotate配置文件 # 匹配/var/log/syslog文件 /var/log/syslog { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 在日志轮转结束后执行的脚本 postrotate # 重新加载rsyslog服务，确保其重新打开日志文件 /usr/lib/rsyslog/rsyslog-rotate # 脚本结束 endscript } # /etc/logrotate.d/myapp # 这是用于管理myapp应用日志文件的Logrotate配置文件 # 匹配/var/log/myapp/目录下所有以.log结尾的文件 /var/log/myapp/*.log { # 每周轮转一次日志 weekly # 保留4个轮转后的日志文件 rotate 4 # 压缩轮转后的日志文件 compress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty } 在这个配置中，系统日志/var/log/syslog每天轮转一次，保留7个旧文件。而应用日志/var/log/myapp/*.log每周轮转一次，只保留4个旧文件。 我们还可以根据文件大小来设置不同的轮转策略。例如： # /etc/logrotate.d/large_app # 这是用于管理large_app日志文件的Logrotate配置文件 # 匹配/var/log/large_app.log文件 /var/log/large_app.log { # 当日志文件达到100MB时进行轮转 size 100M # 保留10个轮转后的日志文件 rotate 10 # 压缩轮转后的日志文件 compress } # /etc/logrotate.d/small_app # 这是用于管理small_app日志文件的Logrotate配置文件 # 匹配/var/log/small_app.log文件 /var/log/small_app.log { # 当日志文件达到10MB时进行轮转 size 10M # 保留5个轮转后的日志文件 rotate 5 # 压缩轮转后的日志文件 compress } 这里，large_app.log在达到100MB时进行轮转，而small_app.log在达到10MB时进行轮转。 4.3 配置邮件通知 在某些情况下，我们可能希望在日志轮转发生时收到通知。Logrotate提供了邮件通知功能，可以在轮转完成后发送邮件。 要启用邮件通知，可以使用mail选项。例如： # /etc/logrotate.d/critical_app # 这是用于管理critical_app日志文件的Logrotate配置文件 # 匹配/var/log/critical_app.log文件 /var/log/critical_app.log { # 每天轮转一次日志 daily # 保留30个轮转后的日志文件 rotate 30 # 压缩轮转后的日志文件 compress # 在日志轮转后发送邮件通知 mail admin@example.com # 发送最新的日志文件而不是最旧的 mailfirst } 在这个配置中，每次critical_app.log被轮转时，都会向admin@example.com发送一封邮件。mailfirst选项指定发送最新的日志文件，而不是最旧的。 如果只想在出现错误时收到通知，可以使用errors选项： # /etc/logrotate.d/app # 这是用于管理应用程序日志文件的Logrotate配置文件 # 匹配/var/log/app.log文件 /var/log/app.log { # 每周轮转一次日志 weekly # 保留4个轮转后的日志文件 rotate 4 # 压缩轮转后的日志文件 compress # 如果在轮转过程中出现错误，发送邮件通知管理员 errors admin@example.com } 这样，只有在轮转过程中出现错误时，才会发送邮件通知。 4.4 使用脚本进行自定义操作 Logrotate的一个强大特性是允许在轮转过程的不同阶段执行自定义脚本。这为日志管理提供了极大的灵活性。 主要有两种类型的脚本：prerotate和postrotate。prerotate脚本在日志轮转之前执行，而postrotate脚本在日志轮转之后执行。 例如，我们可能需要在轮转Nginx日志之后重新打开日志文件： # /etc/logrotate.d/nginx # 这是用于管理Nginx日志文件的Logrotate配置文件 # 匹配/var/log/nginx/目录下所有以.log结尾的文件 /var/log/nginx/*.log { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 创建新的日志文件，设置权限为0640，所有者为nginx，组为adm create 0640 nginx adm # 所有日志文件轮转完毕后，只执行一次脚本 sharedscripts # 在日志轮转结束后执行的脚本 postrotate # 如果Nginx的PID文件存在 if [ -f /var/run/nginx.pid ]; then # 向Nginx发送USR1信号，使其重新打开日志文件 kill -USR1 `cat /var/run/nginx.pid` fi # 脚本结束 endscript } 在这个配置中，postrotate脚本会在日志轮转后向Nginx进程发送一个USR1信号，使其重新打开日志文件。 我们还可以使用脚本来执行更复杂的操作，比如在轮转之前备份日志文件： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log/目录下的myapp.log文件 /var/log/myapp.log { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 在日志轮转之前执行的脚本 prerotate # 如果/backup目录存在 if [ -d /backup ]; then # 将当前的myapp.log文件复制到/backup目录，并重命名为myapp-YYYYMMDD.log cp /var/log/myapp.log /backup/myapp-$(date +%Y%m%d).log fi # 脚本结束 endscript } 这个prerotate脚本会在日志轮转之前将当前的日志文件复制到备份目录。 5. 常见应用服务的Logrotate配置示例 在实际的系统运维中，我们经常需要为各种不同的应用服务配置日志轮转。每种服务都有其特定的日志特征和管理需求。本节将介绍几个常见应用服务的Logrotate配置示例，包括Web服务器、数据库和系统日志。这些示例可以作为您配置自己的服务时的参考和起点。 5.1 Apache/Nginx Web服务器 Web服务器通常会生成大量的访问日志和错误日志。这些日志对于流量分析、问题排查和安全审计都至关重要。以下是一个适用于Nginx Web服务器的Logrotate配置示例： # /etc/logrotate.d/nginx # 这是用于管理Nginx日志文件的Logrotate配置文件 # 匹配/var/log/nginx/目录下所有以.log结尾的文件 /var/log/nginx/*.log { # 每天轮转一次日志 daily # 如果日志文件不存在，不报错继续执行 missingok # 保留14个轮转后的日志文件 rotate 14 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件为空，则不轮转 notifempty # 创建新的日志文件，设置权限为0640，所有者为nginx，组为adm create 0640 nginx adm # 所有日志文件轮转完毕后，只执行一次脚本 sharedscripts # 在日志轮转结束后执行的脚本 postrotate # 如果Nginx的PID文件存在 if [ -f /var/run/nginx.pid ]; then # 向Nginx发送USR1信号，使其重新打开日志文件 kill -USR1 `cat /var/run/nginx.pid` fi # 脚本结束 endscript } 这个配置适用于/var/log/nginx/目录下的所有日志文件。它的主要特点包括： 每日轮转：daily选项确保日志每天都会被轮转，便于按日期组织和分析日志。 保留两周的日志：rotate 14指定保留14个轮转后的日志文件，相当于两周的历史记录。 压缩旧日志：compress选项会压缩旧的日志文件以节省空间，而delaycompress则延迟压缩最近的一个日志文件，便于即时查看。 创建新日志文件：create 0640 nginx adm在轮转后创建新的日志文件，并设置适当的权限和所有者。 重新打开日志文件：postrotate脚本在轮转完成后向Nginx发送USR1信号，使其重新打开日志文件。这确保了Nginx能够继续正确地写入新的日志文件。 5.2 MySQL数据库 数据库的日志对于性能调优和问题诊断非常重要。以下是一个适用于MySQL数据库的Logrotate配置示例： # /etc/logrotate.d/mysql # 这是用于管理MySQL日志文件的Logrotate配置文件 # 匹配/var/log/mysql/目录下所有以.log结尾的文件 /var/log/mysql/*.log { # 每周轮转一次日志 weekly # 保留12个轮转后的日志文件 rotate 12 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 创建新的日志文件，设置权限为0640，所有者为mysql，组为adm create 0640 mysql adm # 所有日志文件轮转完毕后，只执行一次脚本 sharedscripts # 在日志轮转结束后执行的脚本 postrotate # 检查/usr/bin/mysqladmin是否存在且可执行，并且MySQL服务器正在运行 if test -x /usr/bin/mysqladmin && \ /usr/bin/mysqladmin ping &>/dev/null then # 刷新MySQL日志文件 /usr/bin/mysqladmin flush-logs fi # 脚本结束 endscript } 这个配置针对/var/log/mysql/目录下的所有MySQL日志文件。它的主要特点包括： 每周轮转：weekly选项设置每周进行一次日志轮转，这通常足以满足大多数数据库的需求。 保留三个月的日志：rotate 12指定保留12个轮转后的日志文件，相当于约三个月的历史记录。 压缩旧日志：与Nginx配置类似，使用compress和delaycompress选项来压缩旧日志文件。 刷新日志：postrotate脚本在轮转完成后执行mysqladmin flush-logs命令，这会让MySQL关闭当前的日志文件并打开一个新的日志文件。 5.3 系统日志 系统日志记录了操作系统层面的各种事件，对于系统管理和安全监控至关重要。以下是一个适用于系统日志的Logrotate配置示例： # /etc/logrotate.d/syslog # 这是用于管理系统日志文件的Logrotate配置文件 # 匹配/var/log/syslog文件 /var/log/syslog { # 保留7个轮转后的日志文件 rotate 7 # 每天轮转一次日志 daily # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 压缩轮转后的日志文件 compress # 在日志轮转结束后执行的脚本 postrotate # 重新加载rsyslog服务，确保其重新打开日志文件 /usr/lib/rsyslog/rsyslog-rotate # 脚本结束 endscript } # 匹配多个常见的系统日志文件 /var/log/mail.info /var/log/mail.warn /var/log/mail.err /var/log/mail.log /var/log/daemon.log /var/log/kern.log /var/log/auth.log /var/log/user.log /var/log/lpr.log /var/log/cron.log /var/log/debug /var/log/messages { # 保留4个轮转后的日志文件 rotate 4 # 每周轮转一次日志 weekly # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 所有日志文件轮转完毕后，只执行一次脚本 sharedscripts # 在日志轮转结束后执行的脚本 postrotate # 重新加载rsyslog服务，确保其重新打开日志文件 /usr/lib/rsyslog/rsyslog-rotate # 脚本结束 endscript } 这个配置分为两部分，分别处理主系统日志文件和其他各种系统日志文件。主要特点包括： 对主系统日志（/var/log/syslog）进行每日轮转，保留一周的历史记录。 对其他系统日志进行每周轮转，保留四周的历史记录。 使用compress和delaycompress选项压缩旧日志文件。 在轮转后执行/usr/lib/rsyslog/rsyslog-rotate脚本，这个脚本会重新加载rsyslog服务，确保日志继续正确记录。 6. Logrotate与其他工具的集成 6.1 与Cron的配合使用 Logrotate虽然是一个强大的日志管理工具，但它本身并不是一个持续运行的守护进程。相反，它被设计为定期执行的任务。这就是Logrotate与Cron配合使用的重要性所在。Cron是类Unix系统中的一个时间调度器，它能够在指定的时间间隔内自动执行命令或脚本。通过将Logrotate与Cron结合使用，我们可以确保日志轮转任务按照预定的时间表定期执行，从而实现自动化的日志管理。 在大多数Linux发行版中，Logrotate的Cron作业已经预先配置好了。通常，这个作业被设置为每天运行一次。你可以在/etc/cron.daily/目录中找到名为"logrotate"的脚本。这个脚本通常包含类似以下的内容： #!/bin/sh # 这是一个用于执行Logrotate的脚本 # 运行Logrotate，使用指定的配置文件/etc/logrotate.conf /usr/sbin/logrotate /etc/logrotate.conf # 获取Logrotate命令的退出状态码 EXITVALUE=$? # 如果退出状态码不为0，表示Logrotate执行过程中出现了错误 if [ $EXITVALUE != 0 ]; then # 使用logger命令记录一条日志，日志级别为ALERT，内容为Logrotate异常退出的状态码 /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]" fi # 脚本正常结束，返回状态码0 exit 0 这个脚本每天执行一次Logrotate，使用/etc/logrotate.conf作为配置文件。如果Logrotate执行异常退出，脚本会使用系统日志记录一条警告消息。 然而，在某些情况下，每天执行一次可能不够频繁。例如，对于高流量的Web服务器，可能需要更频繁地轮转日志。在这种情况下，我们可以创建一个自定义的Cron作业来更频繁地运行Logrotate。 要创建自定义的Cron作业，我们可以编辑系统的Crontab文件。使用以下命令编辑系统级的Crontab： sudo crontab -e 然后，我们可以添加一个新的条目来更频繁地运行Logrotate。例如，要每小时运行一次Logrotate，可以添加以下行： 0 * * * * /usr/sbin/logrotate /etc/logrotate.conf 这个配置会在每小时的整点运行Logrotate。 如果我们只想对特定的日志文件进行更频繁的轮转，而不影响其他日志文件，可以创建一个单独的Logrotate配置文件，并在Cron作业中指定这个配置文件。例如，创建一个名为/etc/logrotate-hourly.conf的文件，其中包含需要每小时轮转的日志文件的配置，然后在Crontab中添加以下行： 0 * * * * /usr/sbin/logrotate /etc/logrotate-hourly.conf 这样，我们就可以实现对不同日志文件采用不同的轮转频率。 注意：过于频繁地运行Logrotate可能会对系统性能产生影响，特别是在处理大量或大型日志文件时。因此，在设置Cron作业时，应该仔细考虑系统的负载情况和日志生成的速度，找到一个合适的平衡点。 如果我们使用了Logrotate的"size"选项来基于文件大小进行轮转，那么可能需要更频繁地运行Logrotate以确保及时捕获到达大小阈值的日志文件。在这种情况下，可以考虑每5分钟或每10分钟运行一次Logrotate。 一些现代的Linux发行版使用systemd定时器而不是传统的Cron来调度Logrotate。在这些系统中，我们可以通过编辑systemd定时器单元文件来调整Logrotate的运行频率。无论使用哪种方法，关键是要确保Logrotate能够按照我们的需求定期运行，从而有效地管理系统的日志文件。 6.2 与日志分析工具的集成 Logrotate作为一个强大的日志管理工具，不仅可以有效地控制日志文件的大小和数量，还可以与各种日志分析工具无缝集成，从而提供更全面的日志管理解决方案。这种集成可以帮助系统管理员更有效地监控系统状态、排查问题并进行安全审计。 6.2.1 与ELK Stack的集成 ELK Stack（Elasticsearch、Logstash、Kibana）是一个广泛使用的开源日志分析平台。Logrotate可以与ELK Stack完美配合，实现日志的高效管理和分析。 在Logrotate配置中，我们可以添加一个postrotate脚本，在日志轮转后立即触发Logstash的处理。例如： # /etc/logrotate.d/myapp # 这是用于管理myapp日志文件的Logrotate配置文件 # 匹配/var/log目录下的myapp.log文件 /var/log/myapp.log { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 创建新的日志文件，设置权限为0644，所有者为root，组为root create 0644 root root # 在日志轮转结束后执行的脚本 postrotate # 重启logstash服务，确保其能够处理新的日志文件 /usr/bin/systemctl restart logstash # 脚本结束 endscript } 在这个配置中，每次日志轮转后，Logstash服务会被重启，确保它能够处理新的日志文件。 此外，我们还可以配置Logstash以监视Logrotate创建的压缩日志文件。在Logstash的配置文件中，可以这样设置： input { file { # 指定要监控的日志文件路径，可以使用通配符匹配多个文件 path => "/var/log/myapp.log*" # 指定从文件的开头开始读取日志 start_position => "beginning" # 指定sincedb文件的路径，用于记录文件读取的进度 # 这里设置为/dev/null，表示不保存进度，每次启动都重新读取 sincedb_path => "/dev/null" # 忽略旧的日志文件，0表示不忽略任何文件 ignore_older => 0 # 指定日志文件的编码格式，这里设置为json codec => "json" } } 这个配置让Logstash监视所有的myapp.log文件，包括Logrotate创建的轮转和压缩后的日志文件。 6.2.2 与Graylog的集成 Graylog是另一个流行的日志管理和分析平台。Logrotate可以与Graylog协同工作，确保日志数据能够持续不断地流入Graylog系统。 我们可以在Logrotate配置中添加一个postrotate脚本，在日志轮转后通知Graylog： # /etc/logrotate.d/syslog # 这是用于管理系统日志文件的Logrotate配置文件 # 匹配/var/log/syslog文件 /var/log/syslog { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 在日志轮转结束后执行的脚本 postrotate # 发送HTTP POST请求到Graylog服务器，重启指定的输入 curl -XPOST http://graylog-server:12201/api/system/inputs/5e2f5d80e39700e6a8d4d8d9/restart # 脚本结束 endscript } 在这个例子中，我们使用curl命令向Graylog服务器发送一个API请求，重启指定的输入。这确保了Graylog能够正确处理新的日志文件。 6.2.3 与Splunk的集成 Splunk是一个强大的商业日志分析平台。Logrotate可以与Splunk的通用转发器（Universal Forwarder）配合使用，确保日志数据能够持续不断地流入Splunk索引器。 在Logrotate配置中，我们可以添加一个postrotate脚本来重新加载Splunk转发器： # /etc/logrotate.d/app # 这是用于管理应用程序日志文件的Logrotate配置文件 # 匹配/var/log/app/目录下所有以.log结尾的文件 /var/log/app/*.log { # 每天轮转一次日志 daily # 保留30个轮转后的日志文件 rotate 30 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 创建新的日志文件，设置权限为0644，所有者和组为splunk create 0644 splunk splunk # 在日志轮转结束后执行的脚本 postrotate # 重启Splunk Universal Forwarder以确保它能够处理新的日志文件 /opt/splunkforwarder/bin/splunk restart # 脚本结束 endscript } 这个配置在每次日志轮转后重启Splunk转发器，确保它能够正确处理新的日志文件。 6.2.4 与自定义日志分析脚本的集成 对于一些特定的日志分析需求，我们可能需要使用自定义的分析脚本。Logrotate可以很容易地与这些脚本集成。 例如，假设我们有一个名为analyze_logs.py的Python脚本，用于分析日志并生成报告。我们可以在Logrotate配置中这样使用它： # /etc/logrotate.d/custom_app # 这是用于管理自定义应用程序日志文件的Logrotate配置文件 # 匹配/var/log/目录下的custom_app.log文件 /var/log/custom_app.log { # 每天轮转一次日志 daily # 保留7个轮转后的日志文件 rotate 7 # 压缩轮转后的日志文件 compress # 延迟压缩最新的一个轮转日志文件到下一次轮转 delaycompress # 如果日志文件不存在，不报错继续执行 missingok # 如果日志文件为空，则不轮转 notifempty # 在日志轮转结束后执行的脚本 postrotate # 执行自定义的Python脚本来分析最近轮转的日志文件 /usr/bin/python3 /path/to/analyze_logs.py /var/log/custom_app.log.1 # 脚本结束 endscript } 在这个配置中，每次日志轮转后，我们的Python脚本都会被执行，分析最近一天的日志文件（custom_app.log.1）。 通过这种方式，Logrotate不仅管理了日志文件的大小和数量，还触发了日志分析过程，使得日志管理和分析成为一个连贯的工作流程。 7. 总结 F. 附录 F.1 Logrotate命令行参数参考 Logrotate提供了多种命令行参数，使用户能够灵活地控制日志轮转过程。接下来是Logrotate命令行参数的详细说明。 -f，–force 强制执行日志轮转，即使Logrotate认为没有必要。这个选项在测试配置或手动触发日志轮转时非常有用。例如： logrotate -f /etc/logrotate.conf 这个命令将强制执行所有配置的日志轮转。 -v，–verbose 启用详细模式，Logrotate将输出更多的信息，包括它正在执行的操作。这对于调试配置问题或了解Logrotate的工作过程很有帮助。 -d，–debug 启用调试模式。在这种模式下，Logrotate不会实际执行任何操作，而是显示它将要执行的操作。这对于测试新的配置非常有用，可以帮助我们在不影响实际日志文件的情况下验证配置是否正确。 -s，–state 使用指定的状态文件而不是默认的/var/lib/logrotate/status。状态文件记录了每个日志文件上次轮转的时间，Logrotate使用这些信息来决定是否需要进行轮转。例如： logrotate -s /path/to/custom/statefile /etc/logrotate.conf -m，–mail 指定用于发送邮件的命令。默认情况下，Logrotate使用/bin/mail。如果我们的系统使用不同的邮件命令，可以使用这个选项指定。例如： logrotate -m /usr/bin/sendmail /etc/logrotate.conf –usage 显示简短的用法信息。 -？，–help 显示帮助信息，包括所有可用的命令行选项。 –version 显示Logrotate的版本信息。 -l，–log 指定Logrotate的日志文件。Logrotate会将其操作记录到这个文件中，这对于监控和调试非常有用。例如： logrotate -l /var/log/logrotate.log /etc/logrotate.conf -c，–create-config 创建一个新的配置文件。这个选项会生成一个包含默认设置的配置文件模板。 -t，–test 测试模式。类似于调试模式，但会进行更详细的检查。它会解析配置文件并显示将要执行的操作，但不会实际修改任何文件。例如： logrotate -t /etc/logrotate.conf -w，–wait 等待模式。如果另一个Logrotate进程正在运行，这个选项会使当前进程等待，直到其他进程完成。这可以防止多个Logrotate进程同时运行导致的潜在问题。 这些命令行参数为系统管理员提供了极大的灵活性，使他们能够根据具体需求精细控制Logrotate的行为。在日常管理中，最常用的可能是"-f"（强制轮转）、“-v”（详细模式）和"-d"（调试模式）这几个选项。“-s"选项在使用非标准状态文件位置时很有用，而”-t"选项则是在应用新配置之前进行测试的好工具。 F.2 配置文件模板 以下是Logrotate配置文件的模板示例，包含了常用的选项和说明： # 全局选项 # 以下选项将应用于所有日志文件，除非在特定日志文件的配置中被覆盖 # 轮转频率：可选daily、weekly、monthly、yearly daily # 保留的旧日志文件数量 rotate 7 # 创建新的空日志文件，并设置模式、所有者和组 create 0644 root root # 压缩旧的日志文件 compress # 延迟压缩最近的一个日志文件 delaycompress # 如果日志文件不存在，不报错 missingok # 不轮转空的日志文件 notifempty # 使用日期作为轮转后的文件扩展名 dateext # 包含/etc/logrotate.d目录下的配置文件 include /etc/logrotate.d # 特定日志文件的配置 /var/log/syslog { # 覆盖全局选项 rotate 14 daily compress delaycompress postrotate /usr/lib/rsyslog/rsyslog-rotate endscript } # 使用通配符匹配多个日志文件 /var/log/mail.log /var/log/debug /var/log/messages { weekly rotate 4 missingok notifempty compress delaycompress sharedscripts postrotate /usr/lib/rsyslog/rsyslog-rotate endscript } # 基于大小的轮转示例 /var/log/large_application.log { size 100M rotate 5 compress delaycompress missingok notifempty create 0644 root root } # 使用dateformat选项自定义日期格式 /var/log/custom_date_application.log { daily rotate 30 compress dateext dateformat -%Y%m%d-%s missingok notifempty create 0644 root root } # 使用prerotate和postrotate脚本的示例 /var/log/apache2/*.log { weekly rotate 52 compress delaycompress missingok notifempty create 0640 root adm sharedscripts prerotate if [ -d /etc/logrotate.d/httpd-prerotate ]; then \ run-parts /etc/logrotate.d/httpd-prerotate; \ fi endscript postrotate /etc/init.d/apache2 reload > /dev/null endscript } # 使用su选项更改用户和组 /var/log/mysql/*.log { weekly rotate 12 compress delaycompress missingok notifempty create 0640 mysql adm su mysql adm postrotate /usr/bin/mysqladmin flush-logs endscript } # 使用copytruncate选项的示例 /var/log/application_without_logrotate_support.log { daily rotate 7 compress missingok notifempty copytruncate } # 使用maxsize选项的示例 /var/log/large_and_frequent.log { daily rotate 30 compress delaycompress missingok notifempty create 0644 root root maxsize 100M } # 使用maxage选项的示例 /var/log/long_term_storage.log { monthly rotate 60 compress missingok notifempty create 0644 root root maxage 730 } 这个模板涵盖了Logrotate的许多常用选项和场景。它包括全局设置、特定日志文件的配置、使用通配符匹配多个日志文件、基于大小的轮转、自定义日期格式、使用预轮转和后轮转脚本、更改用户和组、使用copytruncate选项、maxsize选项和maxage选项等。 在实际使用时，您可以根据具体需求修改这个模板。例如，您可能需要调整轮转频率、保留的日志文件数量、压缩选项等。对于特定的应用程序，您可能还需要添加特定的预轮转或后轮转脚本。 请记住，Logrotate配置文件的语法非常灵活。您可以在全局级别设置选项，然后在特定日志文件的配置中覆盖这些选项。此外，您还可以使用条件语句来根据特定条件应用不同的设置。 最后，建议在应用新的配置之前，使用Logrotate的"-d"（调试）选项来测试配置，确保一切按预期工作。例如： logrotate -d /etc/logrotate.conf 这将显示Logrotate将要执行的操作，而不会实际修改任何文件，让您可以安全地验证配置是否正确。 F.3 更多示例 在Logrotate的配置中，正则表达式是一个强大的工具，可以帮助我们更灵活地匹配和管理日志文件。接下来是一些常用的正则表达式示例，这些示例可以帮助系统管理员更有效地配置。Logrotate。 匹配特定扩展名的文件： 如果我们想要匹配所有以".log"结尾的文件，可以使用以下正则表达式： /var/log/*.log { # 配置选项 } 这个表达式会匹配/var/log目录下所有以".log"结尾的文件。 匹配多个扩展名： 如果我们需要同时匹配多个扩展名，例如".log"和".txt"，可以使用以下正则表达式： /var/log/*.(log|txt) { # 配置选项 } 这个表达式会匹配/var/log目录下所有以".log"或".txt"结尾的文件。 匹配特定前缀的文件： 如果我们想要匹配所有以"app_"开头的日志文件，可以使用以下正则表达式： /var/log/app_*.log { # 配置选项 } 这个表达式会匹配/var/log目录下所有以"app_“开头、”.log"结尾的文件。 匹配包含特定字符串的文件： 如果我们想要匹配文件名中包含"error"的所有日志文件，可以使用以下正则表达式： /var/log/*error*.log { # 配置选项 } 这个表达式会匹配/var/log目录下文件名中包含"error"并以".log"结尾的所有文件。 匹配多级目录下的文件： 如果我们需要匹配/var/log及其所有子目录下的日志文件，可以使用以下正则表达式： /var/log/**/*.log { # 配置选项 } 这个表达式会递归地匹配/var/log及其所有子目录下以".log"结尾的文件。 匹配特定日期格式的文件： 如果日志文件名中包含日期，例如"app-2023-05-15.log"，我们可以使用以下正则表达式来匹配它们： /var/log/app-[0-9]{4}-[0-9]{2}-[0-9]{2}.log { # 配置选项 } 这个表达式会匹配形如"app-YYYY-MM-DD.log"的文件。 匹配特定大小范围的文件： Logrotate本身不支持直接通过正则表达式匹配文件大小，但我们可以在配置中使用size选项来实现类似的效果： /var/log/*.log { size 1M # 其他配置选项 } 这个配置会对大于1MB的日志文件进行轮转。 匹配除特定文件外的所有文件： 如果我们想要匹配除了某个特定文件之外的所有日志文件，可以使用否定模式： /var/log/!(special_file).log { # 配置选项 } 这个表达式会匹配/var/log目录下除"special_file.log"之外的所有".log"文件。 这些正则表达式示例涵盖了许多常见的日志文件匹配场景。在实际应用中，系统管理员可以根据具体需求组合或修改这些表达式。需要注意的是，Logrotate使用的是扩展的GNU正则表达式语法，这为我们提供了强大而灵活的匹配能力。 在使用这些正则表达式时，建议先使用Logrotate的调试模式（-d选项）来测试配置，确保表达式正确匹配了预期的文件。这可以帮助我们避免因配置错误而导致的日志管理问题。 正则表达式是一个强大的工具，但也需要谨慎使用。过于复杂的表达式可能会影响Logrotate的性能，特别是在处理大量日志文件时。因此，在设计正则表达式时，应该尽量保持简洁明了，同时确保它们能够准确地匹配目标文件。