Fluentd + Elasticsearch + Kibana

Algum tempo atrás escutei um amigo que foi ao Fisl desse ano falar que ficou impressionado com uma apresentação sobre fluentd. Ele até distribuiu o link com video da apresentação(que eu não achei tão boa assim, mas isso é um detalhe. hehehe).

Para sorte desse tutorial comecei a pesquisar sobre a ferramenta antes de ver o video e foi assim que realmente me convenci que era boa. Fluentd é nada mais do que um coletor de dados, a ideia aqui é unificar a coleta para facilitar o entendimento depois.

Percebi que a ferramenta mais conhecida nesse meio é o logstash, até encontrei alguns reviews comparando ele com o fluent. Não achei nada relevante, comum ler que o fluentd possui mais performance e o logstash tem uma interação melhor com sistemas operacionais Windows.


O desenho acima indica exatamente o que vamos montar, fluentd encarregado de alimentar o elasticsearch com logs e o papel do Kibana nesse ambiente é apenas exibir informações contidas no elasticsearch de forma muito fácil com uma interface incrivelmente amigável.

Para facilitar um pouco, montei um video onde configuro tudo passo a passo. Acredito que o tutorial abaixo somado ao video seja suficiente para montar o ambiente.


É um pré-requisito para que você tenha sucesso com o tutorial que o java da maquina onde vai instalar esteja na versão igual ou superior a 1.6.0.45. Para verificar use o comando:
java -version
Testei essa solução em algumas distribuições, acho que vi o elasticsearch no repositório de alguma distribuição, não tenho certeza. De qualquer forma em todas usei a versão 0.90.0.RC2. Para baixar essa versão use o link abaixo:
curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.0.RC2.tar.gz 
Baixou? Então extraia o .tar.gz e vamos configurar.
tar xvvf elasticsearch-0.90.0.RC2.tar.gz
Dentro da pasta config existe um arquivo chamado elasticsearch.yml, vamos descomentar a linha network.bind_hosts e por o endereço ip da maquina.
vim config/elasticsearch.yml
Por enquanto vamos deixar o elasticsearch desligado e vamos baixar o kibana.
curl -O https://download.elasticsearch.org/kibana/kibana/kibana-3.0.0milestone5.tar.gz
Assim que o download estiver concluído, extraia o .tar.gz e vamos editar o config.js para indicar o ip e porta do elasticsearch. O nome do campo é elasticsearch não tem erro.
vim kibana-3.0.0milestone5/config.js

Vamos em frente, agora precisamos instalar o Fluentd, e é aqui que preciso que você execute um script correspondente com a sua distribuição. Esse script vai adicionar um repositório ao linux e baixar um pacote chamado td-agent. Abaixo, vou deixar um exemplo da url que usei no debian jessie.
curl -L https://td-toolbelt.herokuapp.com/sh/install-debian-jessie-td-agent2.sh | sh

Obs: No Ubuntu esse script funcionou perfeitamente, já no debian eu precisei remover o sudo e rodar o script como root, em caso de duvidas veja o video desse post.

Para que o fluentd consiga interagir corretamente com o elasticsearch é necessário obter um plugin de nome: fluent-plugin-elasticsearch, execute o comando abaixo para baixa-lo.
/usr/sbin/td-agent-gem install fluent-plugin-elasticsearch
Feito? Então agora edite o arquivo td-agent.conf e deixe ele exatamente assim:
<source>
  type syslog
  port 42185
  tag syslog
</source>
<source>
  type forward
</source>
<match syslog.**>
  type elasticsearch
  logstash_format true
  flush_interval 10s # for testing
</match>
Agora inicie o serviço do fluentd.
/etc/init.d/td-agent start
Nosso objetivo aqui sempre foi ler os logs do linux, então vamos editar o rsyslog.conf e apontar que agora ele vai servir logs ao fluentd.
vim /etc/rsyslog
Na ultima linha do arquivo escreva:
*.* @IP_DO_FLUENTD:42185
Reinicie o rsyslog e vamos iniciar o elasticsearch.
/etc/init.d/rsyslog restart
Para iniciar o elasticsearch acesse a pasta que você baixou e extraiu no inicio desse tutorial, vai existir uma subpasta de nome: bin. De dentro desta pasta execute:
sh elasticsearch -f&
Para tudo ficar perfeito, vamos precisar de um webserver, qualquer um e eu escolhi o nginx para me ajudar nessa causa. Instale um webserver no seu servidor e aponte para ler a pasta do kibana. No video que está nesse post tem um passo a passo.

Segue abaixo um printscreen do meu kibana de teste, no video eu indico como faço para configurar até conseguir obter esse visual.


0 comentários: