Aller au contenu
Outils medium

Collecte & pipeline

6 min de lecture

Un collecteur est l’intermédiaire entre vos applications (qui génèrent les signaux) et vos backends (qui les stockent). Son rôle : agréger, filtrer, enrichir et router les données.

À petite échelle, vous pouvez vous en passer. À partir de quelques dizaines de services, un collecteur central devient indispensable pour maîtriser les coûts, uniformiser le format et simplifier les changements de backend.

Répondez à ces 5 questions pour choisir votre collecteur :

QuestionSi oui →
Vous voulez OTLP partout (logs + metrics + traces) ?OpenTelemetry Collector
Vous faites surtout des logs Kubernetes ?Fluent Bit ou Grafana Alloy
Vous avez des transformations lourdes / enrichissement avancé logs ?Vector
Vous devez gérer l’auto-instrumentation K8s à l’échelle ?OpenTelemetry Operator
Vous êtes chez un vendor (Datadog, Elastic, Splunk) ?Agent vendor (mais attention au lock-in)
PatternQuandAvantagesPièges
Sans collecteur≤ 10 services, stack simpleSimple, moins de composantsVite ingérable, couplage fort
Gateway central10–100 services, multi-backendsPoint d’entrée unique, sampling centraliséSPOF si pas de HA
Agent + GatewayKubernetes à l’échelleCollecte locale + routage central, HAComplexité déploiement
SidecarContraintes réseau/tenant strictesIsolation totaleOverhead ressources, complexité

Patterns de déploiement : direct, gateway central, agent + gateway

Pattern 1 : Direct — Simple mais couplé au backend, pas de transformation.

Pattern 2 : Gateway central — Point unique, transformations, multi-backends. Prévoir HA (replicas).

Pattern 3 : Agent + Gateway — Collecte locale (DaemonSet) + routage central (Deployment). Enrichissement K8s, scalable, HA.

OutilSignauxModePoints fortsLimites
OTel Collectorlogs + metrics + tracesagent + gatewayStandard OTLP, écosystème OTel, vendor-agnosticPipelines logs moins ergonomiques que Vector
Grafana Alloylogs + metrics + tracesagentRemplace Promtail, OTel-compatible, écosystème GrafanaLié à Grafana Labs
Vectorlogs + metrics (+ traces)agent + aggregatorTransformations puissantes, très performantMoins “OTel-first”
Fluent Bitlogs + metrics + tracesagentUltra léger, K8s/edge, CNCFTransformations moins “data-pipeline”
Telegrafprincipalement metricsagent300+ plugins, InfluxDB/PrometheusFaible sur logs/traces
Promtaillogs uniquementagentSimple pour Loki⚠️ Déprécié — migrer vers Alloy
OutilLogsMétriquesTraces
OTel Collector
Grafana Alloy
Vector⚠️ (expérimental)
Fluent Bit
Telegraf⚠️
Promtail
Anti-patternConséquenceSolution
:latest en productionBreaking changes, régressionsPin la version (0.145.0)
Labels Loki trop richesExplosion cardinalité/coûts3-5 labels max (service, namespace, level)
Sampling trop tôt (côté app)Traces inutilisables pour debugSampler au niveau gateway
Un seul collector sans HASPOF sur la télémétrieReplicas + health_check
Pas de memory_limiterOOM du collectorToujours l’activer en premier processor
Conflit de ports (4317/4318)Collector et Jaeger se marchent dessusRéseau Docker interne

Le collecteur lui-même doit être monitoré. Extensions essentielles :

ExtensionPortUsage
health_check13133Readiness/liveness probes
zpages55679Debug pipelines (pipelinez, tracez, servicez)
pprof1777Profiling Go
Extensions à activer
extensions:
health_check:
endpoint: 0.0.0.0:13133
zpages:
endpoint: 0.0.0.0:55679
service:
extensions: [health_check, zpages]

Métriques internes : le Collector expose ses propres métriques (réception, processing, export, queue, retry). Scrapez-les avec Prometheus.

Outils prévus : Grafana Alloy, Vector, Fluent Bit, OpenTelemetry Operator.

OutilStatutMigration recommandée
PromtailDéprécié (LTS fév. 2025, EOL ~2026)Grafana Alloy
LogstashLourd, remplacé par des solutions plus légèresVector ou Fluent Bit
OutilÉcosystèmeQuand l’utiliser
Elastic AgentElastic/ELKSi vous êtes full Elastic
Datadog AgentDatadogSi vous êtes chez Datadog
Splunk OTel CollectorSplunk ObservabilityDistro Splunk du Collector

Ce site vous est utile ?

Sachez que moins de 1% des lecteurs soutiennent ce site.

Je maintiens +700 guides gratuits, sans pub ni tracing. Aujourd'hui, ce site ne couvre même pas mes frais d'hébergement, d'électricité, de matériel, de logiciels, mais surtout de cafés.

Un soutien régulier, même symbolique, m'aide à garder ces ressources gratuites et à continuer de produire des guides de qualité. Merci pour votre appui.