Linux运维shell文本处理工具grep sed swk操作示例

一、grep

文本搜索工具，可以使用正则表达式搜索文本，把匹配的行打印出来

• grep支持正则表达式
• egrep支持扩展的正则表达式
• grep -E= egrep

1、grep的格式

grep 匹配条件 处理文

建立实验素材：

grep -E "bash$|nologin$" passwd  ##过滤以bash结尾或nologin结尾的行
grep -i root passwd  ##过滤含root关键字的行，不分大小写
grep -iE "\<root\>" passwd  ##过滤root关键字前后都没有字符的行，不分大小写

grep -1 ROOT passwd  ##显示含root的行，以及上下各一行
grep -A 2 -B 1 -n ROOT passwd  ##显示含root的行，以及上1行，下2行，均显示行号
grep root passwd | grep -E "^root" -v  ##显示root在结尾或中间的行，即反向过滤root在开头

2、grep字符数量匹配规则

建立实验素材：

grep -E 's.{2,4}s' grepfile  ##s和s之间有2到4个任意字符
grep -E 's.?s' grepfile  ##s和s之间有0到1个任意字符
grep -E 's(ks){2,}' grepfile  ##s后面ks字符串最少出现2次

3、示例

请显示系统中能被su命令切换的用户名称
能被su切换，则必须以/bin/bash或/bin/sh结尾

grep -E "/bin/bash$|/bin/sh$" /etc/passwd | cut -d : -f 1

二、sed

1、sed的格式

sed 参数 命令 处理对象

-e：当给出多个sed指令时使用
-f：后面跟保存了sed指令的文件
-i：直接对内容修改，不加-i时默认为预览，不对文件做实际修改
-n：取消静默输出，sed默认会输出所有文本内容，使用-n后只显示处理过的行

2、对字符的处理

建立实验素材：

p：显示

d：删除

a：添加，c：替换

w：把符合的行写到指定文件中，i：插入，r：整合文件

3、字符替换

建立实验素材：

sed '=' passwd  ##每一行前面加行号
sed '=' passwd | sed 'N;s/\n/ /g'  ##将换行符转换为空格（sed是逐行检测的，加入N提前加载处理下一行）
sed 'G' passwd  ##每行后面都加一个空行
sed '$G' passwd  ##给最后一行后加空行
sed '$!G' passwd  ##除了最后一行在后面都加空行
sed 's/:/#/g' passwd  ##将全文的：替换为#，s全文，g每行的全部
sed 's/:/#/' passwd  ##只替换每行的第一个
sed '1s/:/%%%/g' passwd  ##第一行替换
sed '1,5s/:/%%%/g' passwd ##替换1到5行
sed '1s/:/%%%/g;5s/:/%%%/g' passwd  ##替换第1行和第5行
sed '/mail/,/ftp/s/:/%%%/g' passwd  ##指定字符间替换
sed 's/\//%%%/g' passwd  ##替换全文的"/","\"为转义字符
sed 's@/@%%%@g'  ##也可以使用“@”代替“/”

4、示例

编写Apache_port.sh，此脚本后接数字，http的端口就改为此数字，假设selinux为关闭状态

例如：

sh Apache_port.sh
ERROR: Pleaase input port number following script !!
sh Apache_port.sh 8080

apache的端口会被修改为8080，在其他主机可以访问到测试页面

vim Apache_port.sh
#!/bin/bash
yum install httpd -y &> /dev/null
systemctl enable --now httpd &> /dev/null
echo "hello linux" > /var/www/html/index.html
systemctl enable --now firewalld &> /dev/null
[ -z $1 ] && {
        echo "ERROR: Pleaase input port number following script !!"
        exit
}
[ -z "`netstat -antlupe | grep -E ":$1\>"`" ] || { 
        echo "Error: $1 is using !!!"
        exit
}
sed "/^Listen/c Listen $1" -i /etc/httpd/conf/httpd.conf
systemctl restart httpd
firewall-cmd --permanent --add-service=http &> /dev/null
firewall-cmd --reload &> /dev/null 
echo "Change $1 sucessful!!"

三、awk

1、awk的格式

awk -F 分隔符 BEGIN{}{}END{} FILENAME

建立实验素材：

1、在passwd文件开始加上hello，结尾加上end，打印第一列

2、统计文件行数，显示以bash结尾的第一列

3、第六列没有root关键字并且以bash结尾的行，显示第一列

2、示例

统计在系统中能su切换的并且用户家目录不在/home下的用户数量

（1）方法一

（2）方法二

以上就是Linux运维shell文本处理工具grep sed swk操作示例的详细内容