7,166
edits
Logstash cheat sheet: Difference between revisions
→久しぶりの追記
| (20 intermediate revisions by the same user not shown) | |||
| Line 1: | Line 1: | ||
= Elastic stack / ELK (Elasticsearch + Logstash + Kibana) = | = Elastic stack / ELK (Elasticsearch + Logstash + Kibana) = | ||
'''諸般の事情により更新休止します''' | |||
== 久しぶりの追記 == | |||
久しぶりに logstash.conf を修正したら、割と重要な仕様変更がたくさんあり、過去の記述は現在の仕様に合ってないです。ちなみに ruby code を追記したのですが、event.get event.set とかになっている。 | |||
<syntaxhighlight lang="javascript" enclose="div"> | |||
ruby { | |||
code => "event.set('foo',event.get('foo')+ 5.1)" | |||
} | |||
</syntaxhighlight> | |||
こんな感じ。 | |||
その他、認証系強化による仕様の混乱はとりあえずなんとかするしかないｗ | |||
== splunk のデモをみて、自分の環境に logstash を入れてみた。 :) == | == splunk のデモをみて、自分の環境に logstash を入れてみた。 :) == | ||
:(ELKBの更新が速いので、随時記事をアップデートします。[https://www.elastic.co/downloads/elasticsearch Elasticsearch 7. | :(ELKBの更新が速いので、随時記事をアップデートします。[https://www.elastic.co/downloads/elasticsearch Elasticsearch 7.6.2], [https://www.elastic.co/downloads/logstash Logstash 7.6.2], [https://www.elastic.co/downloads/beats/filebeat Filebeat 7.6.2], [https://www.elastic.co/downloads/kibana Kibana 7.6.2]) | ||
:[http://ja.splunk.com/ splunk] のデモを見て、構造化ロギング・高速検索・可視化の素晴らしさが解ったので、それをオープンソースの Elastic stack (ELK stack) で実現する。 | :[http://ja.splunk.com/ splunk] のデモを見て、構造化ロギング・高速検索・可視化の素晴らしさが解ったので、それをオープンソースの Elastic stack (ELK stack) で実現する。 | ||
| Line 10: | Line 23: | ||
::完全に通常の運用につかっているので、アグレッシブな変更はできなくなってるので突っ込んだ記事がかけない^^;;; | ::完全に通常の運用につかっているので、アグレッシブな変更はできなくなってるので突っ込んだ記事がかけない^^;;; | ||
7.6.0 は kibana の index の変換するのだが、elasticseach のサーキットブレーカーが作動して完了しない。 | |||
:一時的に elasticsearch の heap 増やした。（最終的には、今回の件がギリギリ回避できるメモリー量に増やした) | |||
7.6.0 から X-Pack の概念が変わった(なくなった?) | |||
:logstash.yml から xpack の設定をコメントアウト | |||
timelion の位置付けが変わった。 | |||
kibana.ymlに | |||
<syntaxhighlight lang="yaml" enclose="div"> | |||
timelion.ui.enabled: true | |||
</syntaxhighlight> | |||
で元に戻る。設定を確認して、新しいビジュアライズに移行する。 | |||
7.4.1 の logstash がダメっぽい。ヘビー io-wait | 7.4.1 の logstash がダメっぽい。ヘビー io-wait | ||
: | :以前よりメモリー食いになってるようで、ES も含めて頑張って使用メモリー削減してかろうじて稼働中 | ||
:: dns filter がぁ failed_cache_size ちゃんと設定しないとまずい。 | :: dns filter がぁ failed_cache_size ちゃんと設定しないとまずい。 | ||
| Line 591: | Line 619: | ||
cd /usr/share/logstash | cd /usr/share/logstash | ||
./bin/logstash-plugin install logstash-output-statsd | ./bin/logstash-plugin install logstash-output-statsd | ||
./bin/logstash-plugin install logstash-filter-throttle | |||
./bin/logstash-plugin install logstash-filter-sleep | |||
systemctl start elasticsearch | systemctl start elasticsearch | ||
systemctl start kibana | systemctl start kibana | ||