Un excellent moyen d’économiser de l’argent lors du dimensionnement du calcul et du stockage pour un cluster Elasticsearch est d’utiliser des architectures hot-warm. En particulier pour les données de séries chronologiques, les architectures hot-warm vous permettent d’allouer vos données les plus pertinentes (données chaudes) sur vos nœuds les plus rapides (nœuds chauds) et vos données moins pertinentes (données chaudes) sur vos nœuds les plus lents (nœuds chauds). Cela vous permet de faire évoluer la rétention des données avec des capacités de calcul et de stockage moins coûteuses et de ne payer un supplément que pour vos nœuds chauds. Tout ceci est rendu possible dans Elasticsearch grâce à l’utilisation d’attributs de nœuds et de filtrage d’allocation, qui peuvent être utilisés dans tous les cas où vous souhaitez que l’allocation de votre index réponde à des exigences spécifiques. Dans ce laboratoire pratique, vous avez l’occasion de faire les exercices suivants :
Appliquer des attributs de nœud à chaque nœud de données dans un cluster. Configurer des index à allouer à des nœuds spécifiques en fonction de leurs attributs
Vous travaillez en tant qu’administrateur Elasticsearch d’un cluster utilisé pour l’agrégation de journaux. Dans le but d’augmenter la rétention de vos données, vous avez récemment ajouté deux nœuds de données supplémentaires à votre cluster et vous souhaitez établir une architecture hot-warm pour faciliter l’achat d’autres nœuds bon marché à utiliser comme nœuds chauds. Vous stockez vos données de journal dans des index hebdomadaires avec le schéma de nommage de logs-<week_number> et vous souhaitez que seul l’index de la semaine en cours soit alloué aux noeuds chauds. Le reste des index doit être alloué à vos nœuds chauds.
Tout d’abord, vous devez ajouter l’attribut temp à vos noeuds de données avec une valeur de hot sur data-1 et data-2 et une valeur de warm sur data-3 et data-4. Ensuite, vous devrez mettre à jour les paramètres d’index pour chaque index afin de les allouer aux nœuds souhaités. Seul l’index de la semaine la plus récente doit être attribué aux noeuds chauds.
vim elasticsearch.yml
changer la ligne suivante :
#node.attr.rack: r1
avec :
node.attr.temp: hot
systemctl restart elasticsearch
vim elasticsearch.yml
changer la ligne suivante :
#node.attr.rack: r1
avec :
node.attr.temp: warm
systemctl restart elasticsearch
PUT logs-03/_settings
{
"index.routing.allocation.require.temp": "hot"
}
PUT logs-02/_settings
{
"index.routing.allocation.require.temp": "warm"
}
PUT logs-02/_settings
{
"index.routing.allocation.require.temp": "warm"
}