当前位置:首页 >> 其它课程 >>

Splunk


Splunk Search 命令教学-天龙八步
版本:v 1.00 精诚中国资讯中心

搜尋命令教學 Search Tech
1.基本命令語法 Search Syntax 2.複式搜尋方式 Search Pipeline Syntax 3.子搜尋方式 Sub Search 4. 加总搜寻 Summary Index/Search 5. 自定义栏位搜寻 Search Cheatsheet 6. 自定义日志格式及类型 Source type setting

SYSTEX Group, SPLUNK Corp 2009

基本命令語法 Search Syntax
用途说明 范例 范例解释

单一字眼搜寻 多字眼查询
模糊查询 * 符号说明 布林代数(Boolean ) OR , AND, NOT 比较语法

“error” “apache error 449 “
Source=*.log :! % $ / \ [ ] { } < > @ = + & NOT ( A OR B) 等於 =, 不等於 !=, 大於 >, 小於 <

代表查询所有 包含 error 字眼,大小写 不影响查询结果 代表 “apache” and “error” and “449”
要查询某 Source= xx.log, 所有Log, 可 以使用 *.log (可能他原本区隔by日) 左边符号可以使用,但是搜寻会自动转 为ASCII符号编码 注意,大写

http://www.splunk.com/base/Documentation/latest/User/SearchSyntax
SYSTEX Group, SPLUNK Corp 2009

複式搜尋方式 Search Pipeline Syntax
search ::= data_generation_command [ search_pipeline ] data_generation_command ::= search_command | remote_command | savedse arch_command | run_command search_pipeline ::= "|" [command] [ search_pipeline ] search_command ::= search [search_argument]+ search_argument ::= [keywords] [field="value"] [modifier="value"] [search_command] subsearch ::= search_command "[" search "]" remote_command ::= remote [server","...","server] | [server" "..." "server] [search_pipeline] savedsearch_command::= savedsearch [name of saved search] run_command ::= run [run argument]
一般搜寻条件 = data_generation_command http://www.splunk.com/base/Documentation/latest/User/SearchPipelineSyntax
SYSTEX Group, SPLUNK Corp 2009

子搜寻方式 Sub Search
search_command ::= search search_argument search_argument ::= keyword | field="value" | modifier="value" | subsearch subsearch ::= search_command "[" [ search ] "]" Example: sourcetype="access_combined" [search sourcetype="access_combined" | stats count by client_ip | search count<10 | fields +client_ip]
http://www.splunk.com/base/Documentation/latest/User/SearchPipelineSyntax

SYSTEX Group, SPLUNK Corp 2009

加总搜寻 Summary Index/Search
舉個簡單的Summary Index (SI) 例子. 客戶公司平均一天的瀏覽量是5萬個requests. 客戶要求計算一個月瀏覽公司的來源IP次數, 如果是普通不用SI的搜尋方式是: sourcetype=”apache” startdaysago=30 | stats count(src_ip) 搜尋時間較長, 且有maxresult的限制. 這時可以用SI將每個小時(或每天)的瀏覽公司個各web server的來源IP數先做一個統計存入summary index. 等到需要做月統計時, 只需加總summary index內已做好的每個小時的結果. 搜尋時間短. Summary Index 的搜尋名稱如下: Summary - hourly source ip count 語法如下: Sourcetype=”apache” starthoursago=2 endhoursago=1 | stats count(src_ip) as src_ip_count 出月報表時的搜尋語法如下: Index=summary info_search_name=”hourly source ip count by web server” | stats sum(src_ip_count) (下這個搜尋語法時需搭 配時間範圍, 例如 04/01/2008:00:00:00 到 04/30/2008:23:59:59) 這時月報表的搜尋語法搜尋時所要過濾的不是平均一天5萬個, 30天 150萬的事件量, 而是一天24個, 30天720個的事件量. Reference Alex Email
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
提取物栏位/值对 (field/value )和重载领域提取设置磁盘。 提取物栏位/值的配(field/value )对,是划定的“ | ” ,和价值观的领 域,划定"=:". extract reload=true

增加栏位/Add Field
命令

extract pairdelim="|;", kvdelim="=:", auto=f

提取物栏位/值对 (field/value )从XML格式数据。 xmlkv自动提取物的 xmlkv 价值之间的XML标记。 提取COMMAND现场时,发生在行包含“ splunkd ” 。 提取物“ ,由”和“到”字段使用正则表达式。 如果原材料事件包 含“者:苏珊为:鲍勃” ,然后由=苏珊并=鲍勃。 增加栏位: comboIP. Values of comboIP = "sourceIP + "/" + destIP". 增加栏位: velocity. Values of velocity = distance field value / time field value 增加位置信息(基于IP地址)的头20事件含有“ 404 ” ,并从从 webserver1 。 multikv fields COMMAND filter splunkd rex field=_raw "From: (?<from>.*) To: (?<to>.*)" strcat sourceIP "/" destIP comboIP eval velocity=distance/time head 20 | iplocation

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
自动转换栏位,改变为数字型态 金额栏位转型为 virt, K 日,时分秒转型 format (D+HH:MM:SS) to seconds. For example, if delay="00:10:15", the resulting value will bedelay="615". 数值文字型态资料,转换为数值型态,以利计算 if duration="212 sec", the resulting value will be duration="212". 重新定义栏位名称 Rename the _ip field as IPAddress. 更改结果名称: localhost to host

转型栏位/Convert Field
命令

convert auto(*) none(foo) convert memk(virt) convert dur2sec(delay) convert rmunit(duration) rename _ip as IPAddress replace *localhost with localhost in host

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
只保留了host和ip领域,并显示它们依次为: host , ip 。

减少增加栏位,筛选结果
命令

fields host, ip

只保留了host和ip领域,并删除所有内部领域(例如, _time , _raw等) ,可能会造 fields + host, ip 成问题的Splunk网络。 移除host和ip领域。 fields - host, ip

说明
只保留搜索结果的匹配src或dst价值观。 只保留搜索结果,其_raw字段包含IP地址的非路由A级( 10.0.0.0 / 8 ) 。 删除重复的结果同一个主机价值。

命令
search src="10.9.165.*" OR dst="10.9.165.8" regex _raw=(?<!\d)10.\d{1,3}\.\d{1,3}\.\d{1,3}(?!\d) dedup host

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
对搜索结果进行排序ip值升序排列,然后通过url值降序排列。 颠倒的结果集。 返回的第一个20个结果。 回到过去的20个结果(在相反的顺序) 。 sort ip, -url reverse head 20 tail 20

整理结果 Order Result
命令

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明

群组结果 Group Result
命令

群组搜索结果具有相同的host和cookie ,发生在30秒内对方,并没有暂停大于5秒到每 transaction fields="host,cookie" maxspan=30s 个活动之间的纪录。 maxpause=5s 群组搜索结果有着同样的价值, from ,最大跨度为30秒,以及之间的停顿事件不大于 transaction fields=from maxspan=30s maxpause=5s 5秒内进行纪录。 群组搜索结果分为4个组的基础上的价值date_hour和date_minute。 群组活动一起,整理他们的cluster_count值,然后返回20个最大的群组(数据大小) 。 kmeans k=4 date_hour date_minute cluster t=0.9 showcount=true | sort - cluster_count | head 20

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明 Return the least common values of the url field. Return the 20 most common values of the url field. Remove duplicates of results with the same host value and return the total count of the remaining results. Return the average for each hour, of any unique field that ends with the string "lay" (for example, delay, xdelay, relay, etc). Search the access logs, and return the number of hits from the top 100 values of referer_domain. Search the access logs, and return the results associated with each other (that have at least 3 references to each other). Return the average (mean) size for each distinct host. Return the the maximum delay by size, where size is broken down into a maximum of 10 equal sized buckets. http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

报表部分
命令

rare url top limit=20 url

stats dc(host)
stats avg(*lay) BY date_hour top limit=100 referer_domain | stats sum(count) associate supcnt=3 chart avg(size) by host

chart max(delay) by size bins=10

自定义栏位搜寻 Search Cheatsheet
说明 Graph the average thruput of hosts over time. Create a timechart of average cpu_seconds by host, and remove data (outlying values) that may distort the timechart's axis. Search for all ps events, extract values, and calculate the average value of CPU each minute for each host. Create a timechart of the count of from web sources by host, and fill all null values with "NULL". Build a contingency table of datafields from all events. Calculate the co-occurrence correlation between all fields. Calculate the sums of the numeric fields of each result, and put the sums in the field sum. Return events with uncommon values. http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

报表部分
命令

timechart span=5m avg(thruput) by host timechart avg(cpu_seconds) by host | outlier action=TR multikv | timechart span=1m avg(CPU) by host timechart count by host | fillnull value=NULL contingency datafield1 datafield2 maxrows=5 maxcols=5 usetotal=F correlate type=cocur addtotals fieldname=sum anomalousvalue action=filter pthresh=0.02

命令教学-Regex字元符号说明
字元 一般字元 ^ $ \ ^ 说明 一般字元 皆代表該字元本身 ^限制字串必須出現於行首 $限制字串必須出現於行末 \將特殊字元還原成字面意義的字元 ^某字元以外的任何字元 ^ 限定搭配 [ ] 使用,ex: [^aez] 代表 除 a,e,z 以 外的任何字元 -字元集合中可使用-來指定字元的區間 +其前的字元或字元集合出現一次或一次以上 ?其前的字元或字元集合可出現一次或不出現 *其前的字元或字元集合可出現任何次數或不出現 字元 (...) {n} {n,m} {n,} [] 说明 (...) 用以括住一群字元,且將之視成一個集合 {n} 重複n 次 {n,m} 重複n 到m 次 {n,}至少重複n 次 []其中之一字元可出現可不出現,例如[abc] 表示不 論出現a 或b或c 都算符合 | 代表「或」, 例如 (Sun|Mon|Tue|Wed|Thu|Fri|Sat), (日|一|二|三|四|五|六) 以左右括號括住 (句點符號) 代表除了換行符號(\n) 以外的任一字元。 如果要包括換行符號,請使用[\s\S] (\W)代表任何英文(以外的) 字元 (\S)代表空白(以外的) 字元

+ ? *

| . \w \s

SYSTEX Group, SPLUNK Corp 2009

自定义日志及类型-配置文件说明

配置文件名称

用途说明

transforms.conf

自定义日志格式

input.conf
Props.conf

自定义日志类型 架起transforms.conf与input.conf 之间的桥梁

以上三个文件存放于splunk/etc/system/local 目录下
SYSTEX Group, SPLUNK Corp 2009

自定义日志及类型-配置文件例子
transforms.conf文件内容
[Application_for_sourcetype_user_log_1] REGEX = (?i)^(?:[^:]*:){2}\d+\s+\w+\s+(\w+)\[

注:红色部分为连接之关键字

FORMAT = Application::$1

Inputs.conf 文件内容 [monitor://$SPLUNK_HOME/etc/log/Authsyslog] disabled = false host = AuthServer sourcetype = user_log Props.conf文件内容 [user_log] REPORT-Username_for_sourcetype_user_log_1 = Username_for_sourcetype_user_log_1

SYSTEX Group, SPLUNK Corp 2009


相关文章:
splunk十大应用方案
splunk十大应用方案 - 软众信息 Splunk 十大应用方案 One Product. Many Uses.”是 Splunk 公司的经营策略之一。许多 用户都期待有一个产品,可以从 I...
splunk Search 应用技巧(多图查看)
splunk Search 应用技巧(多图查看) - 附注多图介绍此款产品操作,技术交流文档,希望大家能喜欢,谢谢。
splunk命令eval_字符串处理
splunk命令eval_字符串处理 - eval函数是splunk里最重要、最常用的搜索命令之一,文档介绍用中文归纳了如何用eval命令进行字符串处理
splunk app for cisco 安装配置手册
splunk app for cisco 安装配置手册_计算机软件及应用_IT/计算机_专业资料。Application Details Cisco Networks App for Splunk Enterprise Sourcetype(s): cisco:...
银行Splunk使用体验
银行Splunk使用体验 - 软众信息 银行 Splunk 使用体验 某银行总行拥有庞大的网络设备产生的日志, 运维人员平时通过一些简易的 软件平台登录查看日志信息,但无法找到...
splunk日志监控平台-用户管理权限设定
splunk日志监控平台-用户管理权限设定 - 用戶管理權限相關設定注意事項: 1 首先進入取存控制,如下: 2 角色的設置 新增一個角色 然後對新增的角色進行相關設定 ...
splunk ldap绑定设置
splunk ldap绑定设置_计算机软件及应用_IT/计算机_专业资料。splunk 用AD进行身份验证 wedo-vs-01.corp.wedo.net.cn 389 CN=splunk,OU=ServiceAccount,OU=WEDO,...
什么样的客户会用Splunk
什么样的客户会用Splunk - 软众信息 什么样的客户会用 Splunk? 很多销售都经常会问我 Splunk 是做什么的?什么样的客户会用到 Splunk? Splunk 的主要应用方面是...
Citrix Netscaler AppFlow 与splunk 安装配置
1 Netscaler AppFlow 与 Splunk 解释 什么是 Netscaler AppFlow : 对于从企业数据中心、公共云和私有云计算基础架构中交付的应用和服务来说, 全面深入地了解应用和...
Splunk招标参数
Splunk招标参数 - 做项目中碰到的,比较全的Splunk日志数据综合采集分析软件的招标参数,供大家参考。
更多相关标签: