Jusqu’ou pourrez-vous aller avec votre propre kibana ?

Vous vous apprêtez à utiliser kibana après l’avoir installé « tout seul comme un grand » mais vous vous posez encore la question fatidique :  » En suis-je vraiment capable ? » … Comme nous avons déjà parcouru maintes fois ce chemin, nous vous proposons de vous faire découvrir quelle est la nature du défi et les différentes étapes à franchir avant d’en profiter.

Kibana : Quelles sont les principales étapes à franchir pour l’installer « tout seul »?

Votre fichier plat contient tellement d’enregistrement que vous ne parvenez même plus à l’ouvrir. Vous ne savez donc plus ce qui se passe. Vous avez fait un petit tour sur le net pour vous affranchir sur les outils open source de data visualization qui pourraient vous rendre service. Et vous pensez que kibana est un bonne solution pour constituer à moindre coût vos propres tableaux de bord et enfin découvrir ce que cachent les données issues de vos logs serveurs ou les derniers IOT que vous avez installés. C’est donc le moment pour vous de vous lancer et vous vous sentez capable de « franchir le pas ». C’est parti pour l’installation de votre stack ELK  » tout seul comme un pro ».

Photo de Hunter Haley sur Unsplash

INSTALLATION (et pas seulement de kibana tout seul!)

Première étape, télécharger le package sur votre ordinateur !! Vous l’avez maintenat installé en local. Bravo, vous êtes le nouveau roi de l’univers de la stack ELK (Elasticksearch Logstash Kibana).

Mais … si l’installation s’est bien et que tout les modules sont en fonction, il est très probable qu’ils « ne se parlent pas ». En effet, kibana n’arrive pas à se connecter à Elasticsearch. Logstash ne parvient pas à charger vos données dans Elastic. Nous en avons malheureusement déjà fait l’amère expérience.

Dernier point sur ce sujet, il est très probablement beaucoup plus utile pour vous d’installer la stack sur un cloud ou une infrastructure d’hébergement hybride pour tirer pleinement profit du travail que vous allez mener ensuite. Euh… vous n’êtes pas administrateur système … dommage … on se revoit l’année prochaine !!!

PARSING (sûr, vraiment « tout seul »?)

Prêt ? Tout est maintenant installé et connecté ? Ok, passons à l’étape suivante. Bizarrement, il semble que l’ingestion de vos données n’aboutisser qu’à un seul « gros » champ, comme si Elastic n’a considére que votre fichier ne contenait q’une seule colonne. Pas moyen de faire votre plus beaux tableau de bord avec ça. Vous êtes maintenant devant le grand défi que représente le parsing de data avec les hautes exigences du module Logstash. C’est le moment de travailler votre plus beau Grok ou alors de trouver quelqu’un qui sait « comment lui parler ». Bonne chance !

MAPPING

Ce n’est pas la fin de votre aventure. C’est désormais l’heure de faire savoir à votre « index » Elasticsearch » ,que vous avez enfin bien rempli « colonne après colonne », sur quel type de données vosu souhaitez travailler. Le json properties associé à votre dataset doit donc maintenant être retravaillé, octet par octet afin de vous permettre de disposer des champs nécessaires. Avec le temps (et un peu de chance), vous échapperez peut-être au fameux « MapperParsingException » dans le cas où votre dataset change de structure.

SCALING

Les « gros mots » sont de sortie. Scaling, ça veut dire quoi en fait ? Adapter votre instrastructure serveur, gérer la file d’attente des dataset afin d’éviter les bouchons de grand départ en vacances et peut-être aussi finalement gére les montées de version elastic/logstash/kibana. Au cas où vous pas prévu de faire ce genre de choses, il est possible qu’une partie de vos datasets ne soit pas traités correctement. Vous avez vu passer l’expert infrastructure big data? Qui responsable déjà pour la perte de données?

SECURITE (pas seulement kibana, pas non plus tout seul)

Il vous faut maintenant savoir un point essentiel, Il n’existe pas de plugin de gestion (pas cher ou gratuite et open source) de la sécurité et des droits dans la stack ELK. Vous avez donc deux options : soit « tout le monde voit tout », soit vous allez investir fortement dans un développement ou l’aht d’un plugin (installation ?). Vos principaux objectifs seront probablement l’integration d’un LDAP and le fameux SSO qui plait tant à tout le monde. En d’autres termes, on vous souhaite bonne chance pour rester dans un budget et une équipe réduits.

kibana tout seul ?
Photo de Oleksii Hlembotskyi sur Unsplash

KIBANA : VOULEZ VOUS VRAIMENT TOUJOURS LE FAIRE « TOUT-SEUL »?

Pour conclure, vous n’avez aucune chance de faire fonctionner cette solution en restant modeste sur les coûts et sur la taille de votre équipe.
Le « kibana tout seul » est une impasse si vous souhaitez une solution opérationnelle et sécurisée. Alors, pourquoi ne pas tenter une autre option et essayer drop to kibana avec octave.io