- Logstash を使って、日々出力されるログを Elasticsearch へと送りたい。
- filter で色々書く必要がある。
- お手軽に、書いた logstash.conf をすぐに試す環境が欲しい。
こんな必要性が出てきましたので、今回、まとめました。
タグ: Elasticsearch
はじめに
Docker ロギング・ドライバを使ってコンテナログを ELK スタックで利用する – oki2a24 の続きです。
前回は、 1 つの Docker Compose に、 アプリ (Nginx) も Logstash も Elasticsearch も Kibana も全部入っていました。
開発環境ではこれで足ります。けれども、他のアプリのログも集めたいとなりますと、 Elasticsearch と Kibana は独立させたいと思うようになりました。
今回、以下の 2 つの Docker Compose を用意し、これらを Docker のネットワークで繋ぐことで ELK スタックを実現できましたので、ノートいたします。
- Docker Compose その 1: Nginx と Logstash
- Docker Compose その 2: Elasticsearch と Kibana
はじめに
Docker Compose でミニマムに ELK スタックに入門する記録 – oki2a24 の続きです。
前回までは、 Nginx コンテナの、 Nginx のログ、 /var/log/nginx/access.log などのログファイルを、ディレクトリ共有することで Logstash もアクセス可能にし、読み取る、というやり方でやってきました。
今回は、ログファイルをファイルに書き込むのではなく標準出力にして (変更するというよりも、標準出力がデフォルト) 、そうするとログは Nginx コンテナのログとして出力されますので、これを Logstash で扱う、ということをやっていきます。
無事できたので、ワクワクしています♪
まとめ
- あらかじめ用意するディレクトリは、 Docker でミニマムに ELK スタックに入門する記録 – oki2a24 とほぼ同じ。
data/logstash/pipeline/logstash.confdata/nginx/log/
- Elasticsearch のデータは、 Docker でミニマムに ELK スタックに入門する記録 – oki2a24 では
data/elasticsearchに保存していたが、トップレベル volumes として es_data という名前で定義した。 - 各 service に depends_on を設定した。
- elasticsearch: 何にも依存しないのでなし。
- kibana: elasticsearch がないと動かしても意味ないので、 elasticsearch を depends_on に設定した。
- logstash: elasticsearch がないと動かしても意味ないので、 elasticsearch を depends_on に設定した。
- nginx: ログを扱ってくれる logstash があらかじめ起動しておいて欲しいので、 logstash を depends_on に設定した。
私の理解
Bootstrap Checks | Elasticsearch Reference [7.0] | Elastic を見ると、完全には理解できませんでしたけれども、開発やテスト環境で -e "discovery.type=single-node" を使うと良さそうです。
やること
- DockerでELK(Elasticsearch Logstash Kibana) を構築してみました – Qiita をやってみる。
- Docker で Nginx サーバを立てる。このサーバへのアクセスログを ELK スタックで収集・閲覧する。
- Docker で ELK スタック ("Elasticsearch" 、 "Logstash" そして "Kibana" によるログ収集管理システム) を構築する。
- 今回は Docker のみで操作する。 Docker Compose は使わない。