当前位置:首页 >> 其它课程 >>

Splunk


Splunk Search 命令教学-天龙八步
版本:v 1.00 精诚中国资讯中心

搜尋命令教學 Search Tech
1.基本命令語法 Search Syntax 2.複式搜尋方式 Search Pipeline Syntax 3.子搜尋方式 Sub Search 4. 加总搜寻 Summary Index/Search 5.

自定义栏位搜寻 Search Cheatsheet 6. 自定义日志格式及类型 Source type setting

SYSTEX Group, SPLUNK Corp 2009

基本命令語法 Search Syntax
用途说明 范例 范例解释

单一字眼搜寻 多字眼查询
模糊查询 * 符号说明 布林代数(Boolean ) OR , AND, NOT 比较语法

“error” “apache error 449 “
Source=*.log :! % $ / \ [ ] { } < > @ = + & NOT ( A OR B) 等於 =, 不等於 !=, 大於 >, 小於 <

代表查询所有 包含 error 字眼,大小写 不影响查询结果 代表 “apache” and “error” and “449”
要查询某 Source= xx.log, 所有Log, 可 以使用 *.log (可能他原本区隔by日) 左边符号可以使用,但是搜寻会自动转 为ASCII符号编码 注意,大写

http://www.splunk.com/base/Documentation/latest/User/SearchSyntax
SYSTEX Group, SPLUNK Corp 2009

複式搜尋方式 Search Pipeline Syntax
search ::= data_generation_command [ search_pipeline ] data_generation_command ::= search_command | remote_command | savedse arch_command | run_command search_pipeline ::= "|" [command] [ search_pipeline ] search_command ::= search [search_argument]+ search_argument ::= [keywords] [field="value"] [modifier="value"] [search_command] subsearch ::= search_command "[" search "]" remote_command ::= remote [server","...","server] | [server" "..." "server] [search_pipeline] savedsearch_command::= savedsearch [name of saved search] run_command ::= run [run argument]
一般搜寻条件 = data_generation_command http://www.splunk.com/base/Documentation/latest/User/SearchPipelineSyntax
SYSTEX Group, SPLUNK Corp 2009

子搜寻方式 Sub Search
search_command ::= search search_argument search_argument ::= keyword | field="value" | modifier="value" | subsearch subsearch ::= search_command "[" [ search ] "]" Example: sourcetype="access_combined" [search sourcetype="access_combined" | stats count by client_ip | search count<10 | fields +client_ip]
http://www.splunk.com/base/Documentation/latest/User/SearchPipelineSyntax

SYSTEX Group, SPLUNK Corp 2009

加总搜寻 Summary Index/Search
舉個簡單的Summary Index (SI) 例子. 客戶公司平均一天的瀏覽量是5萬個requests. 客戶要求計算一個月瀏覽公司的來源IP次數, 如果是普通不用SI的搜尋方式是: sourcetype=”apache” startdaysago=30 | stats count(src_ip) 搜尋時間較長, 且有maxresult的限制. 這時可以用SI將每個小時(或每天)的瀏覽公司個各web server的來源IP數先做一個統計存入summary index. 等到需要做月統計時, 只需加總summary index內已做好的每個小時的結果. 搜尋時間短. Summary Index 的搜尋名稱如下: Summary - hourly source ip count 語法如下: Sourcetype=”apache” starthoursago=2 endhoursago=1 | stats count(src_ip) as src_ip_count 出月報表時的搜尋語法如下: Index=summary info_search_name=”hourly source ip count by web server” | stats sum(src_ip_count) (下這個搜尋語法時需搭 配時間範圍, 例如 04/01/2008:00:00:00 到 04/30/2008:23:59:59) 這時月報表的搜尋語法搜尋時所要過濾的不是平均一天5萬個, 30天 150萬的事件量, 而是一天24個, 30天720個的事件量. Reference Alex Email
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
提取物栏位/值对 (field/value )和重载领域提取设置磁盘。 提取物栏位/值的配(field/value )对,是划定的“ | ” ,和价值观的领 域,划定"=:". extract reload=true

增加栏位/Add Field
命令

extract pairdelim="|;", kvdelim="=:", auto=f

提取物栏位/值对 (field/value )从XML格式数据。 xmlkv自动提取物的 xmlkv 价值之间的XML标记。 提取COMMAND现场时,发生在行包含“ splunkd ” 。 提取物“ ,由”和“到”字段使用正则表达式。 如果原材料事件包 含“者:苏珊为:鲍勃” ,然后由=苏珊并=鲍勃。 增加栏位: comboIP. Values of comboIP = "sourceIP + "/" + destIP". 增加栏位: velocity. Values of velocity = distance field value / time field value 增加位置信息(基于IP地址)的头20事件含有“ 404 ” ,并从从 webserver1 。 multikv fields COMMAND filter splunkd rex field=_raw "From: (?<from>.*) To: (?<to>.*)" strcat sourceIP "/" destIP comboIP eval velocity=distance/time head 20 | iplocation

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
自动转换栏位,改变为数字型态 金额栏位转型为 virt, K 日,时分秒转型 format (D+HH:MM:SS) to seconds. For example, if delay="00:10:15", the resulting value will bedelay="615". 数值文字型态资料,转换为数值型态,以利计算 if duration="212 sec", the resulting value will be duration="212". 重新定义栏位名称 Rename the _ip field as IPAddress. 更改结果名称: localhost to host

转型栏位/Convert Field
命令

convert auto(*) none(foo) convert memk(virt) convert dur2sec(delay) convert rmunit(duration) rename _ip as IPAddress replace *localhost with localhost in host

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
只保留了host和ip领域,并显示它们依次为: host , ip 。

减少增加栏位,筛选结果
命令

fields host, ip

只保留了host和ip领域,并删除所有内部领域(例如, _time , _raw等) ,可能会造 fields + host, ip 成问题的Splunk网络。 移除host和ip领域。 fields - host, ip

说明
只保留搜索结果的匹配src或dst价值观。 只保留搜索结果,其_raw字段包含IP地址的非路由A级( 10.0.0.0 / 8 ) 。 删除重复的结果同一个主机价值。

命令
search src="10.9.165.*" OR dst="10.9.165.8" regex _raw=(?<!\d)10.\d{1,3}\.\d{1,3}\.\d{1,3}(?!\d) dedup host

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明
对搜索结果进行排序ip值升序排列,然后通过url值降序排列。 颠倒的结果集。 返回的第一个20个结果。 回到过去的20个结果(在相反的顺序) 。 sort ip, -url reverse head 20 tail 20

整理结果 Order Result
命令

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明

群组结果 Group Result
命令

群组搜索结果具有相同的host和cookie ,发生在30秒内对方,并没有暂停大于5秒到每 transaction fields="host,cookie" maxspan=30s 个活动之间的纪录。 maxpause=5s 群组搜索结果有着同样的价值, from ,最大跨度为30秒,以及之间的停顿事件不大于 transaction fields=from maxspan=30s maxpause=5s 5秒内进行纪录。 群组搜索结果分为4个组的基础上的价值date_hour和date_minute。 群组活动一起,整理他们的cluster_count值,然后返回20个最大的群组(数据大小) 。 kmeans k=4 date_hour date_minute cluster t=0.9 showcount=true | sort - cluster_count | head 20

http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet
说明 Return the least common values of the url field. Return the 20 most common values of the url field. Remove duplicates of results with the same host value and return the total count of the remaining results. Return the average for each hour, of any unique field that ends with the string "lay" (for example, delay, xdelay, relay, etc). Search the access logs, and return the number of hits from the top 100 values of referer_domain. Search the access logs, and return the results associated with each other (that have at least 3 references to each other). Return the average (mean) size for each distinct host. Return the the maximum delay by size, where size is broken down into a maximum of 10 equal sized buckets. http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

报表部分
命令

rare url top limit=20 url

stats dc(host)
stats avg(*lay) BY date_hour top limit=100 referer_domain | stats sum(count) associate supcnt=3 chart avg(size) by host

chart max(delay) by size bins=10

自定义栏位搜寻 Search Cheatsheet
说明 Graph the average thruput of hosts over time. Create a timechart of average cpu_seconds by host, and remove data (outlying values) that may distort the timechart's axis. Search for all ps events, extract values, and calculate the average value of CPU each minute for each host. Create a timechart of the count of from web sources by host, and fill all null values with "NULL". Build a contingency table of datafields from all events. Calculate the co-occurrence correlation between all fields. Calculate the sums of the numeric fields of each result, and put the sums in the field sum. Return events with uncommon values. http://www.splunk.com/base/Documentation/latest/User/SearchCheatsheet
SYSTEX Group, SPLUNK Corp 2009

报表部分
命令

timechart span=5m avg(thruput) by host timechart avg(cpu_seconds) by host | outlier action=TR multikv | timechart span=1m avg(CPU) by host timechart count by host | fillnull value=NULL contingency datafield1 datafield2 maxrows=5 maxcols=5 usetotal=F correlate type=cocur addtotals fieldname=sum anomalousvalue action=filter pthresh=0.02

命令教学-Regex字元符号说明
字元 一般字元 ^ $ \ ^ 说明 一般字元 皆代表該字元本身 ^限制字串必須出現於行首 $限制字串必須出現於行末 \將特殊字元還原成字面意義的字元 ^某字元以外的任何字元 ^ 限定搭配 [ ] 使用,ex: [^aez] 代表 除 a,e,z 以 外的任何字元 -字元集合中可使用-來指定字元的區間 +其前的字元或字元集合出現一次或一次以上 ?其前的字元或字元集合可出現一次或不出現 *其前的字元或字元集合可出現任何次數或不出現 字元 (...) {n} {n,m} {n,} [] 说明 (...) 用以括住一群字元,且將之視成一個集合 {n} 重複n 次 {n,m} 重複n 到m 次 {n,}至少重複n 次 []其中之一字元可出現可不出現,例如[abc] 表示不 論出現a 或b或c 都算符合 | 代表「或」, 例如 (Sun|Mon|Tue|Wed|Thu|Fri|Sat), (日|一|二|三|四|五|六) 以左右括號括住 (句點符號) 代表除了換行符號(\n) 以外的任一字元。 如果要包括換行符號,請使用[\s\S] (\W)代表任何英文(以外的) 字元 (\S)代表空白(以外的) 字元

+ ? *

| . \w \s

SYSTEX Group, SPLUNK Corp 2009

自定义日志及类型-配置文件说明

配置文件名称

用途说明

transforms.conf

自定义日志格式

input.conf
Props.conf

自定义日志类型 架起transforms.conf与input.conf 之间的桥梁

以上三个文件存放于splunk/etc/system/local 目录下
SYSTEX Group, SPLUNK Corp 2009

自定义日志及类型-配置文件例子
transforms.conf文件内容
[Application_for_sourcetype_user_log_1] REGEX = (?i)^(?:[^:]*:){2}\d+\s+\w+\s+(\w+)\[

注:红色部分为连接之关键字

FORMAT = Application::$1

Inputs.conf 文件内容 [monitor://$SPLUNK_HOME/etc/log/Authsyslog] disabled = false host = AuthServer sourcetype = user_log Props.conf文件内容 [user_log] REPORT-Username_for_sourcetype_user_log_1 = Username_for_sourcetype_user_log_1

SYSTEX Group, SPLUNK Corp 2009


相关文章:
Splunk功能介绍
Splunk功能介绍_IT/计算机_专业资料。Splunk介绍一、简介 Splunk 是专门设计给组织和机构使用的 IT 搜索引擎(Search Engine),它将雅 虎、Google 的搜寻技术与概念...
Splunk搜索指南
Splunk搜索指南_IT/计算机_专业资料。Splunk搜索指南 搜索教程! 搜索教程!欢迎使用 Splunk 教程欢迎使用 Splunk 教程 什么是 Splunk? ? Splunk 可以从应用程序、 ...
splunk
splunk_IT/计算机_专业资料。关于日志采集 CiscoACS 替代方案系列之二(Splunk) Cisco 的 ACS 服务器可以提供完善 AAA 服务, 包括认证、 授权和记账的功能。 但...
Splunk介绍
Splunk介绍_IT/计算机_专业资料。Listen to your IT Data Splunk Splunk 介绍下一代 IT 搜索 当开始进行应用程序问 题的故障排除、管理IT基 础设施、遵从安全...
Splunk 5.0.1 安装和基本设定
Splunk 5.0.1 安装和基本设定_计算机软件及应用_IT/计算机_专业资料。Splunk 安裝設定 Splunk 安裝的部份,有提供多系統的安裝。以下的介紹用 windows 來做安裝和...
Splunk 工具教程文档
LoadRunner 测试工具学习任务 Splunk 测试工具学习任务 LoadRunner 测试工具学习任务 目录目录 .................................................
splunk入门
所有的搜索语法在下边的文档里: - http://www.splunk.com/doc/latest/user/SearchSyntax ? 搜索结构 ? 搜索命令在 Splunk Web 上有介绍 关键字 语法 通配符 ...
Splunk产品介绍
Splunk产品介绍_IT/计算机_专业资料。Splunk是一个IT数据引擎,您可以实时搜索、报告、监控和分析实时或历史的IT数据。Splunk支持对所有以文本形式存在的IT数据进行...
Splunk 技术白皮书
Splunk 技术白皮书_IT/计算机_专业资料。改变IT管理方式,IT数据搜索引擎Splunk 产品介绍 --技术白皮书 2009 年 7 月 1 Splunk 产品介绍 目 录 一,Splunk 产生...
splunk 语句 命令分类
splunk 语句 命令分类_计算机软件及应用_IT/计算机_专业资料。对于splunk刚接触的人,对初期的学习有很大的用处。布尔运算符:AND、OR 和 NOT; 搜索命令: crawl,...
更多相关标签:
splunk公司 | splunk 下载 | splunk 招聘 | splunk大数据分析 | splunk 教程 | splunk破解版下载 | splunk 破解 | splunk 待遇 |