Idempotence cassée et tuning performances : creates, changed

Un playbook idempotent affiche changed=0 au second passage. Si vous voyez changed=N à chaque run, vos tâches mentent sur leur état, chaque exécution refait tout, casse les caches HTTP/CDN, redémarre des services inutilement, et fait perdre confiance dans le code. Cette page diagnostique les 3 anti-patterns les plus fréquents (shell sans creates:, lineinfile sans regexp:, command sans changed_when:), puis enchaîne sur le tuning performances SSH (pipelining + forks + ControlPersist) qui réduit typiquement le temps de run de 50 % à 60 %.

À la fin, vous saurez transformer un playbook bavard et lent en playbook idempotent et optimisé, et automatiser le test d'idempotence dans votre CI.

# 1. Test d'idempotence : lancer 2 fois et chercher changed=N au 2ᵉ
ansible-playbook site.yml         # 1er run : changed=N normal
ansible-playbook site.yml         # 2ᵉ run : changed=0 attendu

# Si changed=N au 2ᵉ → audit : grep -rn "command:\|shell:\|raw:" .

Les 3 anti-patterns à corriger :

# ❌ shell sans creates: → changed=true à chaque run
- ansible.builtin.shell: /usr/local/bin/setup-once.sh

# ✅ shell avec creates: → idempotent (skippé si fichier existe)
- ansible.builtin.shell: /usr/local/bin/setup-once.sh
  args:
    creates: /var/lib/myapp/.installed

# ❌ lineinfile sans regexp: → empile une nouvelle ligne à chaque run
- ansible.builtin.lineinfile:
    path: /etc/sysctl.conf
    line: "net.ipv4.ip_forward=1"

# ✅ lineinfile avec regexp: → remplace la ligne existante
- ansible.builtin.lineinfile:
    path: /etc/sysctl.conf
    regexp: "^net\\.ipv4\\.ip_forward"
    line: "net.ipv4.ip_forward=1"

# ❌ command lecture-seule sans changed_when: false
- ansible.builtin.command: openssl version
  register: ver
# → changed=true à chaque run, pollue les logs

# ✅ command avec changed_when: false
- ansible.builtin.command: openssl version
  register: ver
  changed_when: false

Tuning performance SSH (gain typique -50 % à -60 %) :

# ansible.cfg
[defaults]
forks = 50                                    # défaut 5 — augmenter selon le control node

[ssh_connection]
pipelining = True                              # économise 1 round-trip SSH par tâche
ssh_args = -o ControlMaster=auto -o ControlPersist=60s -o ControlPath=~/.ssh/cm-%r@%h:%p
# ↑ réutilise une seule connexion SSH pour toutes les tâches

Sécurité non négociable :

Test d'idempotence dans la CI, relancer le playbook 2× automatiquement, fail si changed > 0 au 2ᵉ run. Anti-régression simple et efficace.
pipelining = True mandatory, gain énorme (~30 %) sauf si requiretty dans /etc/sudoers (à désactiver côté cible).
ControlPersist sur les playbooks longs, la connexion SSH n'est ouverte qu'une fois et réutilisée.
forks dimensionné selon le control node, RAM, file descriptors. 50 OK sur poste dev ; au-delà de 100, surveiller la consommation.

Ce que vous allez apprendre

Identifier les modules non-idempotents par défaut (command, shell, raw, script).
Rendre idempotent un shell avec creates: ou removes:.
Forcer changed_when: sur un command de lecture.
Fixer un lineinfile qui duplique avec regexp:.
Mesurer avant/après avec ansible.posix.profile_tasks.
Tuner SSH : pipelining + forks + ControlPersist dans ansible.cfg.
Automatiser le test d'idempotence en CI.

Prérequis

Avoir lu Verbosité Ansible.
Connaître les modules shell, command, lineinfile.

Modules non-idempotents par défaut

Quatre modules toujours changed=1 sans configuration explicite :

Module	Pourquoi non-idempotent	Fix
`command`	Exécute toujours la commande	`changed_when:` ou `creates:`/`removes:`
`shell`	Idem (avec shell)	`changed_when:` ou `creates:`/`removes:`
`raw`	Bypass Python, pas d'état	Réservé au bootstrap, sinon switcher vers un module
`script`	Exécute un script local	`creates:`/`removes:`

À l'inverse, copy, template, lineinfile, file, dnf, systemd sont idempotents par construction : ils comparent l'état désiré à l'état réel.

Anti-pattern 1, `shell` sans `creates:`

- ansible.builtin.shell: "echo lab > /tmp/marker"

Run 1 : changed=1. Run 2 : changed=1. Run 3 : changed=1. Anti-pattern, refait à l'infini.

Fix avec `creates:`

- ansible.builtin.shell: "echo lab > /tmp/marker"
  args:
    creates: /tmp/marker            # ← skip si le fichier existe

Run 1 : changed=1. Run 2 : ok (skip). Idempotent.

Fix avec `removes:`

Variante inverse, pour une commande qui supprime :

- ansible.builtin.shell: "rm -rf /tmp/old-cache"
  args:
    removes: /tmp/old-cache         # ← skip si le fichier n'existe PAS

Anti-pattern 2, `command` de lecture sans `changed_when:`

- ansible.builtin.command: curl --version
  register: curl_out

Le module command retourne toujours changed=1, alors qu'on n'a fait que lire. Casse l'idempotence du playbook.

Fix avec `changed_when: false`

- ansible.builtin.command: curl --version
  register: curl_out
  changed_when: false               # ← lecture seule, jamais de changement

🔍 Observation : changed_when: false est le pattern standard pour toute commande de diagnostic / lecture. Préserve l'idempotence.

`changed_when:` conditionnel

Cas plus subtil, on veut signaler changed uniquement si la sortie indique un changement :

- ansible.builtin.uri:
    url: "http://localhost:8080/health"
    return_content: true
  register: health
  changed_when: "'OK' not in health.content"   # ← changed seulement si KO

🔍 Observation : changed_when: accepte une expression Jinja2/Python. Permet de dériver le verdict du résultat de la tâche.

Anti-pattern 3, `lineinfile` sans `regexp:`

- ansible.builtin.lineinfile:
    path: /etc/myapp.cfg
    line: "max_connections = 100"
    state: present
    create: true

Run 1 : changed=1, fichier contient max_connections = 100.

Plus tard, on update :

- ansible.builtin.lineinfile:
    line: "max_connections = 200"

Run 2 : changed=1, fichier contient maintenant les 2 lignes :

max_connections = 100
max_connections = 200

Duplication. Casse la config.

Fix avec `regexp:`

- ansible.builtin.lineinfile:
    path: /etc/myapp.cfg
    regexp: '^max_connections\s*='   # ← match les lignes existantes
    line: "max_connections = 200"
    state: present
    create: true

🔍 Observation : avec regexp:, lineinfile remplace au lieu d'ajouter. Toujours mettre regexp: sauf au tout premier state: present.

Test d'idempotence, automatiser en CI

# Run 1 (peut avoir des changes)
ansible-playbook lab.yml > /tmp/run1.log

# Run 2 (DOIT avoir changed=0)
ansible-playbook lab.yml | tee /tmp/run2.log

# Échec si le 2e run a des changes
if grep -E 'changed=[1-9]' /tmp/run2.log; then
  echo "❌ IDEMPOTENCE KO"
  exit 1
fi
echo "✅ IDEMPOTENCE OK"

À mettre dans le pipeline ansible-playbook --check --diff. Bloque les régressions où un dev oublie un changed_when: ou un creates:.

Tuning performances, 3 leviers cumulés

1. `pipelining=True`

Sans pipelining, chaque tâche fait 3 appels SSH : mkdir tmp/, scp module.py, python module.py. Avec pipelining, 1 seul appel SSH qui pipe tout via stdin.

[ssh_connection]
pipelining = True

Gain typique : -30 % à -40 % sur le temps total.

2. `forks=20`

[defaults]
forks = 20                         # default : 5

Exécute 20 hôtes en parallèle au lieu de 5. Gain typique : x2-x4 sur une fleet de 50+ hosts.

3. ControlMaster + ControlPersist

[ssh_connection]
ssh_args = -C -o ControlMaster=auto -o ControlPersist=60s

OpenSSH réutilise la connexion pendant 60 s pour les tâches suivantes, pas besoin de refaire le handshake TCP+SSH (~1s économisée par tâche).

`ansible.cfg` complet recommandé

[defaults]
forks = 20
gathering = smart
fact_caching = jsonfile
fact_caching_connection = /tmp/ansible-fact-cache
fact_caching_timeout = 7200
stdout_callback = yaml
callbacks_enabled = ansible.posix.profile_tasks, ansible.posix.timer

[ssh_connection]
pipelining = True
ssh_args = -C -o ControlMaster=auto -o ControlPersist=60s

🔍 Observation : avec ces 3 optimisations cumulées, gain typique -50 % à -60 % sur un playbook multi-host. Mesurez avec time ansible-playbook ... avant/après.

Cache des facts (gathering: smart)

Pour une fleet stable, les facts (collectés au début de chaque play) sont identiques entre runs successifs. Activer le cache :

[defaults]
gathering = smart
fact_caching = jsonfile
fact_caching_connection = /tmp/ansible-fact-cache
fact_caching_timeout = 7200       # 2 heures

🔍 Observation : gathering: smart ne re-collecte que si le cache est expiré. Sur une fleet de 50 hosts, économise typiquement 5-10 secondes au début de chaque playbook.

Lab pratique

Le lab troubleshooting/idempotence-perfs (labs/troubleshooting/idempotence-perfs/) couvre les 7 exercices : 3 anti-patterns d'idempotence + baseline de perfs + tuning + test idempotence en CI. Challenge final : refactorer un playbook non-idempotent vers idempotent (3 tâches mesurées).

À retenir

command, shell, raw, script = non-idempotents par défaut.
creates: / removes: rendent un shell idempotent par check de fichier.
changed_when: false sur les commandes de lecture/diagnostic.
lineinfile toujours avec regexp: (sauf premier state: present).
3 leviers de tuning : pipelining, forks, ControlPersist.
gathering: smart + cache : économise les facts collectés.
Test idempotence en CI : run 2× et grep changed=[1-9] doit retourner vide.

Prochaines étapes

Vue d'ensemble Troubleshooting Retour à la page pivot pour relier verbosité, débogueur, idempotence.

Préparer la RHCE EX294 Mock 4h chrono avec les 12 catégories de l'examen.

Lab 91 sur GitHub 3 anti-patterns + tuning + test idempotence en CI.

Lab 92, Mock RHCE EX294 12 tâches en 4h chrono, validation par 12 tests pytest.

Idempotence cassée et tuning performances : creates, changed_when, pipelining, forks

Ce que vous allez apprendre

Prérequis

Modules non-idempotents par défaut

Anti-pattern 1, shell sans creates:

Fix avec creates:

Fix avec removes:

Anti-pattern 2, command de lecture sans changed_when:

Fix avec changed_when: false

changed_when: conditionnel

Anti-pattern 3, lineinfile sans regexp:

Fix avec regexp: