首页 存档 技术 查看内容

Linux Awk使用案例总结

2018-3-30 13:00 |来自: 互联网 314 0

摘要: 来自:李振良的技术博客 链接:http://lizhenliang.blog.51cto.com/7876557/1764025(点击尾部阅读原文前往) 知识点: 1)数组 数组是用来存储一系列值的变量,可通过索引来访问数组的值。 Awk中数组称为关联 ...

来自:李振良的技术博客

链接:http://lizhenliang.blog.51cto.com/7876557/1764025(点击尾部阅读原文前往)


知识点:


1)数组


数组是用来存储一系列值的变量,可通过索引来访问数组的值。


Awk中数组称为关联数组,因为它的下标(索引)可以是数字也可以是字符串。

下标通常称为键,数组元素的键和值存储在Awk程序内部的一个表中,该表采用散列算法,因此数组元素是随机排序。


数组格式:array[index]=value


1、Nginx日志分析

日志格式:'$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"'

日志记录:27.189.231.39 - - [09/Apr/2016:17:21:23 0800] "GET /Public/index/images/icon_pre.webp HTTP/1.1" 200 44668 "http://www.test.com/Public/index/css/global.css" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36" "-"


1)统计日志中访问最多的10个IP


思路:对第一列进行去重,并输出出现的次数


方法1:$ awk '{a[$1] }END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log

方法2:$ awk '{print $1}' access.log |sort |uniq -c |sort -k1 -nr |head -n10

说明:a[$1] 创建数组a,以第一列作为下标,使用运算符 作为数组元素,元素初始值为0。处理一个IP时,下标是IP,元素加1,处理第二个IP时,下标是IP,元素加1,如果这个IP已经存在,则元素再加1,也就是这个IP出现了两次,元素结果是2,以此类推。因此可以实现去重,统计出现次数。



2)统计日志中访问大于100次的IP


方法1:$ awk '{a[$1] }END{for(i in a){if(a[i]

声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

相关分类

返回顶部