Aller au contenu
Outils medium

Collecte & pipeline

6 min de lecture

Un collecteur est l'intermédiaire entre vos applications (qui génèrent les signaux) et vos backends (qui les stockent). Son rôle : agréger, filtrer, enrichir et router les données.

À petite échelle, vous pouvez vous en passer. À partir de quelques dizaines de services, un collecteur central devient indispensable pour maîtriser les coûts, uniformiser le format et simplifier les changements de backend.

Répondez à ces 5 questions pour choisir votre collecteur :

QuestionSi oui →
Vous voulez OTLP partout (logs + metrics + traces) ?OpenTelemetry Collector
Vous faites surtout des logs Kubernetes ?Fluent Bit ou Grafana Alloy
Vous avez des transformations lourdes / enrichissement avancé logs ?Vector
Vous devez gérer l'auto-instrumentation K8s à l'échelle ?OpenTelemetry Operator
Vous êtes chez un vendor (Datadog, Elastic, Splunk) ?Agent vendor (mais attention au lock-in)
PatternQuandAvantagesPièges
Sans collecteur≤ 10 services, stack simpleSimple, moins de composantsVite ingérable, couplage fort
Gateway central10–100 services, multi-backendsPoint d'entrée unique, sampling centraliséSPOF si pas de HA
Agent + GatewayKubernetes à l'échelleCollecte locale + routage central, HAComplexité déploiement
SidecarContraintes réseau/tenant strictesIsolation totaleOverhead ressources, complexité

Patterns de déploiement : direct, gateway central, agent + gateway

Pattern 1 : Direct, Simple mais couplé au backend, pas de transformation.

Pattern 2 : Gateway central, Point unique, transformations, multi-backends. Prévoir HA (replicas).

Pattern 3 : Agent + Gateway, Collecte locale (DaemonSet) + routage central (Deployment). Enrichissement K8s, scalable, HA.

OutilSignauxModePoints fortsLimites
OTel Collectorlogs + metrics + tracesagent + gatewayStandard OTLP, écosystème OTel, vendor-agnosticPipelines logs moins ergonomiques que Vector
Grafana Alloylogs + metrics + tracesagentRemplace Promtail, OTel-compatible, écosystème GrafanaLié à Grafana Labs
Vectorlogs + metrics (+ traces)agent + aggregatorTransformations puissantes, très performantMoins "OTel-first"
Fluent Bitlogs + metrics + tracesagentUltra léger, K8s/edge, CNCFTransformations moins "data-pipeline"
Telegrafprincipalement metricsagent300+ plugins, InfluxDB/PrometheusFaible sur logs/traces
Promtaillogs uniquementagentSimple pour Loki⚠️ Déprécié, migrer vers Alloy
OutilLogsMétriquesTraces
OTel Collector
Grafana Alloy
Vector⚠️ (expérimental)
Fluent Bit
Telegraf⚠️
Promtail
Anti-patternConséquenceSolution
:latest en productionBreaking changes, régressionsPin la version (0.145.0)
Labels Loki trop richesExplosion cardinalité/coûts3-5 labels max (service, namespace, level)
Sampling trop tôt (côté app)Traces inutilisables pour debugSampler au niveau gateway
Un seul collector sans HASPOF sur la télémétrieReplicas + health_check
Pas de memory_limiterOOM du collectorToujours l'activer en premier processor
Conflit de ports (4317/4318)Collector et Jaeger se marchent dessusRéseau Docker interne

Le collecteur lui-même doit être monitoré. Extensions essentielles :

ExtensionPortUsage
health_check13133Readiness/liveness probes
zpages55679Debug pipelines (pipelinez, tracez, servicez)
pprof1777Profiling Go
Extensions à activer
extensions:
health_check:
endpoint: 0.0.0.0:13133
zpages:
endpoint: 0.0.0.0:55679
service:
extensions: [health_check, zpages]

Métriques internes : le Collector expose ses propres métriques (réception, processing, export, queue, retry). Scrapez-les avec Prometheus.

Outils prévus : Grafana Alloy, Vector, Fluent Bit, OpenTelemetry Operator.

OutilStatutMigration recommandée
PromtailDéprécié (LTS fév. 2025, EOL ~2026)Grafana Alloy
LogstashLourd, remplacé par des solutions plus légèresVector ou Fluent Bit
OutilÉcosystèmeQuand l'utiliser
Elastic AgentElastic/ELKSi vous êtes full Elastic
Datadog AgentDatadogSi vous êtes chez Datadog
Splunk OTel CollectorSplunk ObservabilityDistro Splunk du Collector

Ce site vous est utile ?

Sachez que moins de 1% des lecteurs soutiennent ce site.

Je maintiens +700 guides gratuits, sans pub ni tracking. Un soutien, même symbolique, m'aide à couvrir l'hébergement et à garder ces ressources gratuites. Merci pour votre appui.

Le formulaire ne s'affiche pas ? Ouvrir Ko-fi dans un onglet.

Abonnez-vous et suivez mon actualité DevSecOps sur LinkedIn