Logstash cheat sheet
Jump to navigation
Jump to search
ELK (Elasticsearch + Logstash + Kibana)
splunk のデモをみて、自分の環境に logstash を入れてみた。 :)
logstash - open source log management
どうせやるなら、Centralized Setup with Event Parsing で構成してみた。
このページの構成図のようにしたが、Web インターフェースは Kibana のほうがいい感じ。
logstash-shipper -> redis -> logstash-indexer -> Elasticsearch -> Kibana
(この節は kibana 2 用の古い内容です)
- Kibana で細かなアクセス権限を与える場合は、フロントに apache + mod_proxy で実装する。
ProxyPass /kibana/ http://127.0.0.1:5601/ ProxyPassReverse /kibana/ http://127.0.0.1:5601/ SetEnv force-proxy-request-1.0 1 SetEnv proxy-nokeepalive 1 +いつもの ACL で
Kibana 3 系は elasticsearch を proxy する。あとは kibana 3 の config.js をごにょごにょ
ProxyRequests Off ProxyPass /es/ http://127.0.0.1:9200/ disablereuse=On ttl=120 timeout=3000 ProxyPassReverse /es/ http://127.0.0.1:9200/ timeout=3000 SetEnv force-proxy-request-1.0 1 SetEnv proxy-nokeepalive 1 SetEnv proxy-initial-not-pooled 1 +いつもの ACL で
java の shipper は重たい。 pure ruby の shipper や、専用の shipper があるっぽい。
My logstash config @ github
indexer と shipper の java プロセスは別に起動したほうがパフォーマンスが良い。
lightweight shipper
redis にいれる lightweight shipper
beaver : python daemon that munches on logs and sends their contents to logstash
udp で直接ぶち込むには
-F string -t udp
lumberjack というのも良いらしい。
lumberjack
- lumberjack は名前がかわって logstash-forwarder になった。elasticsearch 軍団に入った。
logstash-forwarder
- elasticsearch の repogitory に logstash-forwarder の deb がひっそりあるのだが、 i386 版がなくってアセった....
parser
各種ログのパターンのメモ
apache error log 系
Logstash parser for ModSecurity/CRS entries in the Apache ErrorLog
postfix 系
Postfix LogStash patterns Postfix grok filters
logstash の書籍がでた。うれしい
The LogStash Book
Elasticsearch のメンテナンス
elasticsearch-curator