5.2 sed 命令 #

5.2.1 简介 #

sed（stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换，添加、移动等），最后输出所有行或仅输出处理的某些行。

sed 也可以在无交互的情况下实现相当复杂的文本处理操作，将不规范的文本，处理为 “比较规范” 的文本，被广泛应用于 shell 脚本中，用以完成各种自动化处理任务。

sed 的工作流程主要包括读取、执行和显示三个过程：

• 读取： sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区（又称模式空间）。
• 执行： 默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有行上一次执行。
• 显示： 发送修改后的内容到输出流，在发送数据后，模式空间将会被清空。

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

默认情况下所有的 sed 命令，都是在模式空间内执行的，因此输入的文件并不会发生变化。

5.2.2 选项操作 #

通常情况下调用 sed 命令有两种格式。

1. “参数” 是指操作的目标文件，当存在多个操作对象时，文件之间用逗号分隔。

sed [选项] '操作' 参数

2. scriptfile 表示脚本文件，需要用-f选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

sed [选项] -f scriptfile 参数

常见选项 #

操作指令 #

「操作」用于指定文件对操作的动作行为，也就是 sed 的命令。

通常情况下是采用的 [n1[,n2]] 操作参数的格式。n1、n2 是可选的，代表选择进行操作的行数，如操作需要在 5~20 行之间进行，则表示为「5,20 动作行为」。

多行模式 #

多行模式处理命令是 N、D、P。

• N 将下一行加入到模式空间
• D 削除模式空间中的第一个字符到第一个换行符
• P 打印模式空间中的第一个字符到第一个换行符

保持空间 #

• h 和 H 将模式空间内容存放到保持空间
• g 和 G 将保持空间内容取出到模式空间
• x 交换模式空间和保持空间内容

5.2.3 选项案例 #

-n 仅显示处理后的结果 #

sed 在处理文件时，会将处理的内容放入到缓冲区（模式空间）中进行处理，然后在模式空间中对内容进行（增删改查）最后以标准输出的形式将内容输出出来。

sed 从标准输入中读取 hahah.txt 文件的内容到缓冲区中，然后再在缓冲区中对 3p 进行打印，最后不仅将第 3 行打印，也将源文件打印。

如果加上 -n 选项，-n 选项的意思就是，仅显示处理后的结果。文件内容被标准输入到缓冲空间后，sed 通过设定的选项知道了，需要输出哪些内容，仅输出处理的行。所以 -n 选项通常和 p 动作放在一起使用。

-e 设置多个命令 #

sed 命令可以不只包含一个命令。如果要包含多个命令，只需要每个命令前加上一个 -e 选项即可。

注意：-e 选项的后面要接命令内容，不允许再夹杂其它选项

-f 文件编辑 #

使用sed脚本将多个编辑指令存放到文件中（每行一条编辑指定），然后通过 -f 选项来调用。

例如：执行一下命令即将第 1~5 行内容转移至第 15 行后。

-i 进行修改文件 #

可以使用 -i 选项直接修改到文件中的内容，对源文件进行生效。

5.2.4 操作案例 #

p 输出指定行 #

sed -n '3p' test.txt        # 输出第 3 行
sed -n '3,5p' test.txt      # 输出 3~5 行
sed -n 'p;n' test.txt       # 输出所有奇数行,n 表示读入下一行资料
sed -n 'n;p' test.txt       # 输出所有偶数行,n 表示读入下一行资料
sed -n '1,5{p;n}' test.txt  # 输出第 1~5 行之间的奇数行(第 1、3、5 行)
sed -n '10,${n;p}' test.txt # 输出第 10 行至文件尾之间的偶数行
sed -n p test.txt           # 输出所有行
sed -n '3,$p' test.txt      # 输出第 3 行至文件尾之间的行

结合正则表达式 #

sed 命令结合正则表达式，格式略有不同，正则表达式以/包围。

sed -n '/the/p' test.txt      # 输出包含 the 的行
sed -n '4,/the/p' test.txt    # 输出从第 4 行至最后一个包含 the 的行
sed -n '/the/=' test.txt      # 输出包含the 的行所在的行号,等号(=)用来输出行号
sed -n '/^PI/p' test.txt      # 输出以PI 开头的行
sed -n '/[0-9]$/p' test.txt   # 输出以数字结尾的行
sed -n '/\<wood\>/p' test.txt # 输出包含单词wood 的行,\<、\>代表单词边界

d 删除指定行 #

nl 文件名可以输出文件内容加上行号。

nl test.txt | sed '3d'   # 删除第 3 行
nl test.txt | sed '3,5d' # 删除第 3~5 行

# 删除包含 cross 的行,如果要删除不包含 cross 的行,用 ! 符号表示取反操作, 如'/cross/!d'
nl test.txt | sed '/cross/d'

sed '/^[a-z]/d' test.txt # 删除以小写字母开头的行
sed '/\.$/d' test.txt    # 删除以"."结尾的行
sed '/^$/d' test.txt     # 删除所有空行

s 替换符合条件的文件 #

在使用 sed 命令进行替换操作时需要用到 s（字符串替换）、c（整行/整块替换）、y（字符转换）。

g 表示全局替换。

sed 's/the/THE/' test.txt  # 将每行中的第一个 the 替换为 THE
sed 's/l/L/2' test.txt     # 将每行中的第 2 个 l 替换为 L
sed 's/the/THE/g' test.txt # 将文件中的所有 the 替换为 THE

sed 's/o//g' test.txt         # 将文件中的所有 o 删除(替换为空串（就是不存在的，不是空格）)
sed 's/^/#/' test.txt         # 在每行行首插入 # 号
sed '/the/s/^/#/' test.txt    # 在包含 the 的每行行首插入 # 号
sed 's/$/EOF/' test.txt       # 在每行行尾插入字符串 EOF
sed '3,5s/the/THE/g' test.txt # 将第 3~5 行中的所有 the 替换为 THE
sed '/the/s/o/O/g' test.txt   # 将包含 the 的所有行中的 o 都替换为 O

y 替换字符 #

y///和s///有什么区别呢？主要有以下两点：

• y 的语法格式是y/source/dest/，表示将 源 中的字符对位替换为 目的 中的字符。而 s 的语法格式是s/regexp/replacement/，表示通过正则匹配到的内容替换为 replacement 部分。

• y 只是简单的逐字替换，没有很多花样。s 支持 & 符号和预存储等特性，可以实现更多灵活的替换效果。

y 动作只是简单的替换字符，逐个替换。

移动 {H;d} 插入 a 指定内容 #

常用参数

sed '/the/{H;d};$G' test.txt        # 将包含 the 的行迁移至文件末尾,{;}用于多个操作
sed '1,5{H;d};17G' test.txt         # 将第 1~5 行内容转移至第 17 行后
sed '/the/w out.file' test.txt      # 将包含the 的行另存为文件 out.file
sed '/the/r /etc/hostname' test.txt # 将文件/etc/hostname 的内容添加到包含 the 的每行以后
sed '3aNew' test.txt                # 在第 3 行后插入一个新行,内容为New
sed '/the/aNew' test.txt            # 在包含the 的每行后插入一个新行,内容为 New
sed '3aNew1\nNew2' test.txt         # 在第 3 行后插入多行内容,中间的\n 表示换行

1. 将包含 the 的行迁移至文件末尾，{ ; }用于多个操作。

2. 将第 1~2 行内容转移至第 5 行后。

3. 将包含 the 的行另存为文件 out.file。

4. 在第 3 行后插入一个新行，内容为 NEW。

5.2.5 总结 #

sed 命令，主要用于修改配置文件中的内容，通过 -i 选项，可以使得文件修改内容生效。可以结合正则表达式进行一些复杂的修改，在一键部署各种服务中，可以实现免交互，直接进行修改。

参考 #

• shell之三剑客sed命令
• sed 高级命令用例