7,166
edits
(23 intermediate revisions by the same user not shown) | |||
Line 1: | Line 1: | ||
= Elastic stack / ELK (Elasticsearch + Logstash + Kibana) = | = Elastic stack / ELK (Elasticsearch + Logstash + Kibana) = | ||
'''諸般の事情により更新休止します''' | |||
== 久しぶりの追記 == | |||
久しぶりに logstash.conf を修正したら、割と重要な仕様変更がたくさんあり、過去の記述は現在の仕様に合ってないです。ちなみに ruby code を追記したのですが、event.get event.set とかになっている。 | |||
<syntaxhighlight lang="javascript" enclose="div"> | |||
ruby { | |||
code => "event.set('foo',event.get('foo')+ 5.1)" | |||
} | |||
</syntaxhighlight> | |||
こんな感じ。 | |||
その他、認証系強化による仕様の混乱はとりあえずなんとかするしかないw | |||
== splunk のデモをみて、自分の環境に logstash を入れてみた。 :) == | == splunk のデモをみて、自分の環境に logstash を入れてみた。 :) == | ||
:(ELKBの更新が速いので、随時記事をアップデートします。[https://www.elastic.co/downloads/elasticsearch Elasticsearch 7. | :(ELKBの更新が速いので、随時記事をアップデートします。[https://www.elastic.co/downloads/elasticsearch Elasticsearch 7.6.2], [https://www.elastic.co/downloads/logstash Logstash 7.6.2], [https://www.elastic.co/downloads/beats/filebeat Filebeat 7.6.2], [https://www.elastic.co/downloads/kibana Kibana 7.6.2]) | ||
:[http://ja.splunk.com/ splunk] のデモを見て、構造化ロギング・高速検索・可視化の素晴らしさが解ったので、それをオープンソースの Elastic stack (ELK stack) で実現する。 | :[http://ja.splunk.com/ splunk] のデモを見て、構造化ロギング・高速検索・可視化の素晴らしさが解ったので、それをオープンソースの Elastic stack (ELK stack) で実現する。 | ||
Line 12: | Line 25: | ||
7.4.1 の | 7.6.0 は kibana の index の変換するのだが、elasticseach のサーキットブレーカーが作動して完了しない。 | ||
:一時的に elasticsearch の heap 増やした。(最終的には、今回の件がギリギリ回避できるメモリー量に増やした) | |||
7.6.0 から X-Pack の概念が変わった(なくなった?) | |||
:logstash.yml から xpack の設定をコメントアウト | |||
timelion の位置付けが変わった。 | |||
kibana.ymlに | |||
<syntaxhighlight lang="yaml" enclose="div"> | |||
timelion.ui.enabled: true | |||
</syntaxhighlight> | |||
で元に戻る。設定を確認して、新しいビジュアライズに移行する。 | |||
7.4.1 の logstash がダメっぽい。ヘビー io-wait | |||
:以前よりメモリー食いになってるようで、ES も含めて頑張って使用メモリー削減してかろうじて稼働中 | |||
:: dns filter がぁ failed_cache_size ちゃんと設定しないとまずい。 | |||
'''ようやく 7.x にあげた''' | '''ようやく 7.x にあげた''' | ||
Line 589: | Line 619: | ||
cd /usr/share/logstash | cd /usr/share/logstash | ||
./bin/logstash-plugin install logstash-output-statsd | ./bin/logstash-plugin install logstash-output-statsd | ||
./bin/logstash-plugin install logstash-filter-throttle | |||
./bin/logstash-plugin install logstash-filter-sleep | |||
systemctl start elasticsearch | systemctl start elasticsearch | ||
systemctl start kibana | systemctl start kibana |