Gérer vos buckets S3 avec s3cmd

S3cmd est un outil en ligne de commande pour transférer, synchroniser et gérer vos données sur Amazon S3 et tout stockage compatible (MinIO, Outscale OOS, Scaleway, DigitalOcean Spaces...). Avec une seule commande, vous pouvez uploader des fichiers, synchroniser des dossiers, gérer les ACL et automatiser vos sauvegardes.

Principales fonctionnalités :

• put/get : transférer des fichiers vers/depuis S3
• sync : synchroniser un dossier local avec un bucket (incrémental)
• mb/rb : créer et supprimer des buckets
• ls : lister buckets et objets
• cp/mv/del : copier, déplacer, supprimer des objets

Version actuelle

Ce guide utilise s3cmd v2.4.0 (décembre 2023). Nouveautés : setversioning, settagging, setobjectretention, support FIPS, support Python 3.12.

Installation

Linux

Via pip (recommandé pour avoir la dernière version) :

pip install s3cmd==2.4.0

Ou via le gestionnaire de paquets (version potentiellement plus ancienne) :

# Debian/Ubuntu
sudo apt install s3cmd

# Fedora/RHEL
sudo dnf install s3cmd

macOS

Avec Homebrew :

brew install s3cmd

Windows

Avec Python et pip installés :

pip install s3cmd==2.4.0

Vérifiez l'installation :

s3cmd --version

Sortie attendue

s3cmd version 2.4.0

Environnement de test avec MinIO

Pour tester les commandes de ce guide sans frais, déployons MinIO (stockage S3-compatible) sur minikube. Vous pourrez ensuite adapter la configuration à votre provider (AWS S3, Outscale, Scaleway...).

Prérequis

Vous devez avoir minikube installé et démarré.

1. Démarrez minikube (si ce n'est pas déjà fait) :

   minikube start

2. Déployez MinIO :

   minikube kubectl -- create namespace minio
   minikube kubectl -- run minio --image=minio/minio:RELEASE.2025-01-20T14-49-07Z -n minio \
     --env="MINIO_ROOT_USER=minioadmin" \
     --env="MINIO_ROOT_PASSWORD=minioadmin" \
     -- server /data --console-address ":9001"

3. Exposez le service :

   minikube kubectl -- expose pod minio -n minio \
     --port=9000 --target-port=9000 --type=NodePort --name=minio-api

4. Récupérez l'URL d'accès :

   echo "http://$(minikube ip):$(minikube kubectl -- get svc minio-api -n minio -o jsonpath='{.spec.ports[0].nodePort}')"

   Exemple de sortie

   http://192.168.49.2:31019

Configuration

s3cmd lit ses paramètres dans un unique fichier, ~/.s3cfg. Deux réglages y décident de tout le reste : host_base, qui désigne le service visé, et signature_v2, qui doit correspondre à ce que ce service accepte. Une erreur sur l'un des deux se manifeste par un refus d'authentification, jamais par un message explicite sur la cause.

Configuration interactive

Lancez l'assistant de configuration :

s3cmd --configure

L'assistant vous demande :

• Access Key : votre clé d'accès (ex: minioadmin pour MinIO)
• Secret Key : votre clé secrète
• Default Region : région par défaut (ex: us-east-1)
• S3 Endpoint : URL du service S3 (ex: 192.168.49.2:31019 pour MinIO)

Configuration manuelle

Pour MinIO ou un stockage compatible, créez directement le fichier ~/.s3cfg :

~/.s3cfg

[default]
access_key = minioadmin
secret_key = minioadmin
host_base = 192.168.49.2:31019
host_bucket = 192.168.49.2:31019
use_https = False
signature_v2 = True

Configuration pour AWS S3

Pour AWS S3, utilisez host_base = s3.amazonaws.com et use_https = True. La signature v4 est utilisée par défaut (signature_v2 = False).

Configuration pour Outscale OOS

Pour Outscale Object Storage :

~/.s3cfg

[default]
access_key = VOTRE_ACCESS_KEY
secret_key = VOTRE_SECRET_KEY
host_base = oos.eu-west-2.outscale.com
host_bucket = %(bucket)s.oos.eu-west-2.outscale.com
use_https = True
signature_v2 = False
website_endpoint = https://%(bucket)s.oos-website.eu-west-2.outscale.com/

Gestion des buckets

Un bucket est le conteneur de premier niveau du stockage objet. Son nom est unique par service et entre dans l'URL d'accès, ce qui interdit les majuscules et les caractères accentués. Ces quatre commandes couvrent son cycle de vie complet.

Créer un bucket

Le nom est unique sur l'ensemble du service et entre dans l'URL d'accès, ce qui exclut majuscules et accents.

s3cmd mb s3://mon-bucket

Sortie

Bucket 's3://mon-bucket/' created

Lister les buckets

Sans argument, ls liste les buckets avec leur date de création ; avec un chemin, il liste leur contenu.

s3cmd ls

Sortie

2026-01-23 14:18  s3://mon-bucket
2026-01-23 13:39  s3://autre-bucket

Informations sur un bucket

info révèle les réglages que les autres commandes ne montrent pas : région, versioning, politique et CORS.

s3cmd info s3://mon-bucket

Sortie

s3://mon-bucket/ (bucket):
   Location:  us-east-1
   Payer:     BucketOwner
   Versioning:none
   Expiration rule: none
   Policy:    none
   CORS:      none
   ACL:       CanonicalUser: FULL_CONTROL

Supprimer un bucket

La commande échoue tant que le bucket contient un seul objet ; il faut le vider d'abord.

# Le bucket doit être vide
s3cmd rb s3://mon-bucket

Sortie

Bucket 's3://mon-bucket/' removed

Transfert de fichiers

put et get transfèrent des objets un par un ou par lots. Le point d'attention est la barre finale dans la destination : s3://bucket/dossier/ place le fichier dans le dossier, alors que s3://bucket/dossier le renomme. L'option --recursive est indispensable dès qu'une arborescence est en jeu.

Uploader un fichier

La progression affichée indique le débit réel : c'est le premier indicateur à regarder quand un transfert paraît lent.

s3cmd put rapport.txt s3://mon-bucket/

Sortie

upload: 'rapport.txt' -> 's3://mon-bucket/rapport.txt'  [1 of 1]
 29 of 29   100% in    0s     6.47 KB/s  done

Uploader plusieurs fichiers

Le shell développe le motif avant l'appel : c'est lui qui décide des fichiers envoyés, pas s3cmd.

s3cmd put *.pdf s3://mon-bucket/documents/

Uploader un dossier complet

--recursive est obligatoire sur un dossier, sans quoi la commande refuse de traiter le répertoire.

s3cmd put --recursive mon-dossier/ s3://mon-bucket/backup/

Télécharger un fichier

get refuse d'écraser un fichier local existant, comportement voulu qui évite la perte de données involontaire.

s3cmd get s3://mon-bucket/rapport.txt ./

Sortie

download: 's3://mon-bucket/rapport.txt' -> './rapport.txt'  [1 of 1]
 29 of 29   100% in    0s    32.93 KB/s  done

Télécharger un dossier complet

La barre finale sur la source détermine si l'arborescence est recréée telle quelle dans la destination.

s3cmd get --recursive s3://mon-bucket/backup/ ./restore/

Lister et explorer les objets

Le stockage objet n'a pas de vrais répertoires : la hiérarchie que vous voyez est une convention de nommage sur les clés. C'est pourquoi ls sans --recursive n'affiche que le premier niveau, en regroupant le reste sous des préfixes communs.

Lister le contenu d'un bucket

Sans --recursive, seul le premier niveau apparaît : les clés plus profondes sont regroupées sous leur préfixe commun.

s3cmd ls s3://mon-bucket/

Sortie

2026-01-23 14:19           25  s3://mon-bucket/documents/notes.md
2026-01-23 14:19           29  s3://mon-bucket/documents/rapport.txt

Lister récursivement

Cette forme affiche toutes les clés, à plat. C'est celle à utiliser pour compter des objets ou chercher un chemin précis.

s3cmd ls -r s3://mon-bucket/

Sortie

2026-01-23 14:19           25  s3://mon-bucket/backup/documents/notes.md
2026-01-23 14:19           29  s3://mon-bucket/backup/documents/rapport.txt
2026-01-23 14:19           15  s3://mon-bucket/backup/photos/vacances.jpg

Afficher l'espace utilisé

du renvoie la taille cumulée et le nombre d'objets, les deux valeurs qui déterminent la facturation.

s3cmd du s3://mon-bucket/

Sortie

          98       4 objects s3://mon-bucket/

Copier, déplacer et supprimer

Ces opérations s'exécutent côté serveur : les données ne transitent pas par votre machine, ce qui rend la copie d'un gros objet quasi instantanée. La suppression, elle, est définitive et sans confirmation sur un bucket dépourvu de versioning.

Copier un objet

La mention remote copy dans la sortie confirme que l'opération s'est faite côté serveur, sans transfert par votre machine.

s3cmd cp s3://mon-bucket/rapport.txt s3://mon-bucket/archives/rapport.txt

Sortie

remote copy: 's3://mon-bucket/rapport.txt' -> 's3://mon-bucket/archives/rapport.txt'  [1 of 1]

Copier entre buckets

Les deux buckets doivent appartenir au même service ; entre deux fournisseurs, il faut télécharger puis renvoyer.

s3cmd cp s3://source-bucket/fichier.txt s3://dest-bucket/fichier.txt

Déplacer un objet

mv enchaîne une copie puis une suppression : en cas d'interruption, l'objet peut exister aux deux emplacements.

s3cmd mv s3://mon-bucket/ancien.txt s3://mon-bucket/nouveau.txt

Supprimer un objet

La suppression est immédiate et sans confirmation, et définitive si le versioning n'est pas activé sur le bucket.

s3cmd del s3://mon-bucket/fichier.txt

Sortie

delete: 's3://mon-bucket/fichier.txt'

Vider un bucket

--force supprime tout le contenu sans demander : c'est la commande la plus dangereuse de cette page.

s3cmd del s3://mon-bucket/ --recursive --force

Sortie

delete: 's3://mon-bucket/archives/rapport.txt'
delete: 's3://mon-bucket/backup/documents/notes.md'
delete: 's3://mon-bucket/backup/documents/rapport.txt'

Synchronisation

La synchronisation est la fonctionnalité la plus puissante de s3cmd. Elle compare les fichiers et ne transfère que les modifications.

Synchroniser local vers S3

sync compare taille et date avant d'agir, et ne transfère que les fichiers réellement modifiés.

s3cmd sync mon-dossier/ s3://mon-bucket/backup/

Sortie

upload: 'mon-dossier/documents/notes.md' -> 's3://mon-bucket/backup/documents/notes.md'  [1 of 3]
 25 of 25   100% in    0s     4.36 KB/s  done
upload: 'mon-dossier/documents/rapport.txt' -> 's3://mon-bucket/backup/documents/rapport.txt'  [2 of 3]
 29 of 29   100% in    0s     9.71 KB/s  done
upload: 'mon-dossier/photos/vacances.jpg' -> 's3://mon-bucket/backup/photos/vacances.jpg'  [3 of 3]
 15 of 15   100% in    0s     5.25 KB/s  done
Done. Uploaded 69 bytes in 1.0 seconds, 69.00 B/s.

Synchroniser S3 vers local

Le sens s'inverse en échangeant simplement source et destination : c'est la commande de restauration.

s3cmd sync s3://mon-bucket/backup/ ./restore/

Sortie

download: 's3://mon-bucket/backup/documents/notes.md' -> './restore/documents/notes.md'  [1 of 3]
 25 of 25   100% in    0s    22.01 KB/s  done
download: 's3://mon-bucket/backup/documents/rapport.txt' -> './restore/documents/rapport.txt'  [2 of 3]
 29 of 29   100% in    0s    37.31 KB/s  done
download: 's3://mon-bucket/backup/photos/vacances.jpg' -> './restore/photos/vacances.jpg'  [3 of 3]
 15 of 15   100% in    0s    21.96 KB/s  done
Done. Downloaded 69 bytes in 1.0 seconds, 69.00 B/s.

Exclure des fichiers

Les motifs s'appliquent au chemin relatif de chaque fichier, et plusieurs --exclude peuvent être cumulés.

s3cmd sync mon-dossier/ s3://mon-bucket/backup/ --exclude '*.tmp' --exclude '*.log'

Supprimer les fichiers obsolètes

--delete-removed aligne la destination sur la source : ce qui a disparu localement est effacé côté serveur.

L'option --delete-removed supprime de la destination les fichiers qui n'existent plus dans la source :

s3cmd sync mon-dossier/ s3://mon-bucket/backup/ --delete-removed

Prévisualisez d'abord

Utilisez --dry-run pour voir ce qui sera modifié sans exécuter les actions :

s3cmd sync mon-dossier/ s3://mon-bucket/backup/ --delete-removed --dry-run

Fonctionnalités avancées

Ces commandes dépendent du service en face : le versioning, les tags et les URL signées font partie de l'API S3, mais toutes les implémentations compatibles ne les exposent pas. Vérifiez leur prise en charge avant de bâtir une procédure dessus.

Activer le versioning (v2.4.0)

Une fois activé, le versioning conserve chaque révision d'un objet : la suppression pose alors un marqueur au lieu d'effacer, et l'espace facturé continue de croître.

s3cmd setversioning s3://mon-bucket enable

Gérer les tags (v2.4.0)

Les tags servent à ventiler les coûts et à cibler des règles de cycle de vie sans toucher au nom des objets.

# Ajouter des tags
s3cmd settagging s3://mon-bucket/fichier.txt "projet=devops" "env=prod"

# Voir les tags
s3cmd gettagging s3://mon-bucket/fichier.txt

# Supprimer les tags
s3cmd deltagging s3://mon-bucket/fichier.txt

Générer une URL signée

L'URL donne un accès temporaire et sans authentification à un objet privé, jusqu'à l'expiration indiquée.

s3cmd signurl s3://mon-bucket/fichier.txt +3600

Cette commande génère une URL temporaire valide 1 heure (3600 secondes).

Définir les ACL

Rendre un objet public le laisse lisible par quiconque connaît son URL, sans trace dans les journaux d'accès.

# Rendre un objet public
s3cmd setacl s3://mon-bucket/fichier.txt --acl-public

# Rendre privé
s3cmd setacl s3://mon-bucket/fichier.txt --acl-private

Dépannage

Problème	Cause probable	Solution
SignatureDoesNotMatch	Mauvaise signature	Essayez signature_v2 = True dans .s3cfg
Name or service not known	host_bucket incorrect	Utilisez le même host que host_base pour MinIO
Access Denied	Credentials incorrects	Vérifiez access_key et secret_key
Bucket already exists	Nom de bucket pris	Choisissez un nom unique
The bucket is not empty	Bucket non vide	Videz avec s3cmd del s3://bucket/ --recursive

Glissez pour voir

À retenir

• Un seul outil pour tout : s3cmd gère upload, download, sync, ACL, versioning.
• Synchronisation incrémentale : seuls les fichiers modifiés sont transférés.
• Compatible tout S3 : AWS, MinIO, Outscale, Scaleway, DigitalOcean...
• --dry-run toujours : prévisualisez les sync/delete avant de les exécuter.
• Configuration par fichier : ~/.s3cfg évite de répéter les credentials.

Prochaines étapes

Restic pour les sauvegardes chiffrées Sauvegardes incrémentales, chiffrées et dédupliquées vers S3

Rclone pour le multi-cloud Synchronisez entre 70+ services cloud avec une seule commande

Stockage Outscale OOS Stockage objet souverain compatible S3

Minikube Déployez Kubernetes en local pour vos tests

Ressources

• Site officiel : s3tools.org
• Documentation : s3tools.org/usage
• GitHub : github.com/s3tools/s3cmd

×

📖 Voir la documentation →