Gérer vos buckets S3 avec s3cmd

S3cmd est un outil en ligne de commande pour transférer, synchroniser et gérer vos données sur Amazon S3 et tout stockage compatible (MinIO, Outscale OOS, Scaleway, DigitalOcean Spaces…). Avec une seule commande, vous pouvez uploader des fichiers, synchroniser des dossiers, gérer les ACL et automatiser vos sauvegardes.

Principales fonctionnalités :

• put/get : transférer des fichiers vers/depuis S3
• sync : synchroniser un dossier local avec un bucket (incrémental)
• mb/rb : créer et supprimer des buckets
• ls : lister buckets et objets
• cp/mv/del : copier, déplacer, supprimer des objets

Version actuelle

Ce guide utilise s3cmd v2.4.0 (décembre 2023). Nouveautés : setversioning, settagging, setobjectretention, support FIPS, support Python 3.12.

Installation

Linux

Via pip (recommandé pour avoir la dernière version) :

pip install s3cmd==2.4.0

Ou via le gestionnaire de paquets (version potentiellement plus ancienne) :

# Debian/Ubuntu
sudo apt install s3cmd

# Fedora/RHEL
sudo dnf install s3cmd

macOS

Avec Homebrew :

brew install s3cmd

Windows

Avec Python et pip installés :

pip install s3cmd==2.4.0

Vérifiez l’installation :

s3cmd --version

Sortie attendue

s3cmd version 2.4.0

Environnement de test avec MinIO

Pour tester les commandes de ce guide sans frais, déployons MinIO (stockage S3-compatible) sur minikube. Vous pourrez ensuite adapter la configuration à votre provider (AWS S3, Outscale, Scaleway…).

Prérequis

Vous devez avoir minikube installé et démarré.

1. Démarrez minikube (si ce n’est pas déjà fait) :

   minikube start

2. Déployez MinIO :

   minikube kubectl -- create namespace minio
   minikube kubectl -- run minio --image=minio/minio:RELEASE.2025-01-20T14-49-07Z -n minio \
     --env="MINIO_ROOT_USER=minioadmin" \
     --env="MINIO_ROOT_PASSWORD=minioadmin" \
     -- server /data --console-address ":9001"

3. Exposez le service :

   minikube kubectl -- expose pod minio -n minio \
     --port=9000 --target-port=9000 --type=NodePort --name=minio-api

4. Récupérez l’URL d’accès :

   echo "http://$(minikube ip):$(minikube kubectl -- get svc minio-api -n minio -o jsonpath='{.spec.ports[0].nodePort}')"

   Exemple de sortie

   http://192.168.49.2:31019

Configuration

Configuration interactive

Lancez l’assistant de configuration :

s3cmd --configure

L’assistant vous demande :

• Access Key : votre clé d’accès (ex: minioadmin pour MinIO)
• Secret Key : votre clé secrète
• Default Region : région par défaut (ex: us-east-1)
• S3 Endpoint : URL du service S3 (ex: 192.168.49.2:31019 pour MinIO)

Configuration manuelle

Pour MinIO ou un stockage compatible, créez directement le fichier ~/.s3cfg :

~/.s3cfg

[default]
access_key = minioadmin
secret_key = minioadmin
host_base = 192.168.49.2:31019
host_bucket = 192.168.49.2:31019
use_https = False
signature_v2 = True

Configuration pour AWS S3

Pour AWS S3, utilisez host_base = s3.amazonaws.com et use_https = True. La signature v4 est utilisée par défaut (signature_v2 = False).

Configuration pour Outscale OOS

Pour Outscale Object Storage :

~/.s3cfg

[default]
access_key = VOTRE_ACCESS_KEY
secret_key = VOTRE_SECRET_KEY
host_base = oos.eu-west-2.outscale.com
host_bucket = %(bucket)s.oos.eu-west-2.outscale.com
use_https = True
signature_v2 = False
website_endpoint = https://%(bucket)s.oos-website.eu-west-2.outscale.com/

Gestion des buckets

Créer un bucket

s3cmd mb s3://mon-bucket

Sortie

Bucket 's3://mon-bucket/' created

Lister les buckets

s3cmd ls

Sortie

2026-01-23 14:18  s3://mon-bucket
2026-01-23 13:39  s3://autre-bucket

Informations sur un bucket

s3cmd info s3://mon-bucket

Sortie

s3://mon-bucket/ (bucket):
   Location:  us-east-1
   Payer:     BucketOwner
   Versioning:none
   Expiration rule: none
   Policy:    none
   CORS:      none
   ACL:       CanonicalUser: FULL_CONTROL

Supprimer un bucket

# Le bucket doit être vide
s3cmd rb s3://mon-bucket

Sortie

Bucket 's3://mon-bucket/' removed

Transfert de fichiers

Uploader un fichier

s3cmd put rapport.txt s3://mon-bucket/

Sortie

upload: 'rapport.txt' -> 's3://mon-bucket/rapport.txt'  [1 of 1]
 29 of 29   100% in    0s     6.47 KB/s  done

Uploader plusieurs fichiers

s3cmd put *.pdf s3://mon-bucket/documents/

Uploader un dossier complet

s3cmd put --recursive mon-dossier/ s3://mon-bucket/backup/

Télécharger un fichier

s3cmd get s3://mon-bucket/rapport.txt ./

Sortie

download: 's3://mon-bucket/rapport.txt' -> './rapport.txt'  [1 of 1]
 29 of 29   100% in    0s    32.93 KB/s  done

Télécharger un dossier complet

s3cmd get --recursive s3://mon-bucket/backup/ ./restore/

Lister et explorer les objets

Lister le contenu d’un bucket

s3cmd ls s3://mon-bucket/

Sortie

2026-01-23 14:19           25  s3://mon-bucket/documents/notes.md
2026-01-23 14:19           29  s3://mon-bucket/documents/rapport.txt

Lister récursivement

s3cmd ls -r s3://mon-bucket/

Sortie

2026-01-23 14:19           25  s3://mon-bucket/backup/documents/notes.md
2026-01-23 14:19           29  s3://mon-bucket/backup/documents/rapport.txt
2026-01-23 14:19           15  s3://mon-bucket/backup/photos/vacances.jpg

Afficher l’espace utilisé

s3cmd du s3://mon-bucket/

Sortie

          98       4 objects s3://mon-bucket/

Copier, déplacer et supprimer

Copier un objet

s3cmd cp s3://mon-bucket/rapport.txt s3://mon-bucket/archives/rapport.txt

Sortie

remote copy: 's3://mon-bucket/rapport.txt' -> 's3://mon-bucket/archives/rapport.txt'  [1 of 1]

Copier entre buckets

s3cmd cp s3://source-bucket/fichier.txt s3://dest-bucket/fichier.txt

Déplacer un objet

s3cmd mv s3://mon-bucket/ancien.txt s3://mon-bucket/nouveau.txt

Supprimer un objet

s3cmd del s3://mon-bucket/fichier.txt

Sortie

delete: 's3://mon-bucket/fichier.txt'

Vider un bucket

s3cmd del s3://mon-bucket/ --recursive --force

Sortie

delete: 's3://mon-bucket/archives/rapport.txt'
delete: 's3://mon-bucket/backup/documents/notes.md'
delete: 's3://mon-bucket/backup/documents/rapport.txt'

Synchronisation

La synchronisation est la fonctionnalité la plus puissante de s3cmd. Elle compare les fichiers et ne transfère que les modifications.

Synchroniser local vers S3

s3cmd sync mon-dossier/ s3://mon-bucket/backup/

Sortie

upload: 'mon-dossier/documents/notes.md' -> 's3://mon-bucket/backup/documents/notes.md'  [1 of 3]
 25 of 25   100% in    0s     4.36 KB/s  done
upload: 'mon-dossier/documents/rapport.txt' -> 's3://mon-bucket/backup/documents/rapport.txt'  [2 of 3]
 29 of 29   100% in    0s     9.71 KB/s  done
upload: 'mon-dossier/photos/vacances.jpg' -> 's3://mon-bucket/backup/photos/vacances.jpg'  [3 of 3]
 15 of 15   100% in    0s     5.25 KB/s  done
Done. Uploaded 69 bytes in 1.0 seconds, 69.00 B/s.

Synchroniser S3 vers local

s3cmd sync s3://mon-bucket/backup/ ./restore/

Sortie

download: 's3://mon-bucket/backup/documents/notes.md' -> './restore/documents/notes.md'  [1 of 3]
 25 of 25   100% in    0s    22.01 KB/s  done
download: 's3://mon-bucket/backup/documents/rapport.txt' -> './restore/documents/rapport.txt'  [2 of 3]
 29 of 29   100% in    0s    37.31 KB/s  done
download: 's3://mon-bucket/backup/photos/vacances.jpg' -> './restore/photos/vacances.jpg'  [3 of 3]
 15 of 15   100% in    0s    21.96 KB/s  done
Done. Downloaded 69 bytes in 1.0 seconds, 69.00 B/s.

Exclure des fichiers

s3cmd sync mon-dossier/ s3://mon-bucket/backup/ --exclude '*.tmp' --exclude '*.log'

Supprimer les fichiers obsolètes

L’option --delete-removed supprime de la destination les fichiers qui n’existent plus dans la source :

s3cmd sync mon-dossier/ s3://mon-bucket/backup/ --delete-removed

Prévisualisez d'abord

Utilisez --dry-run pour voir ce qui sera modifié sans exécuter les actions :

s3cmd sync mon-dossier/ s3://mon-bucket/backup/ --delete-removed --dry-run

Fonctionnalités avancées

Activer le versioning (v2.4.0)

s3cmd setversioning s3://mon-bucket enable

Gérer les tags (v2.4.0)

# Ajouter des tags
s3cmd settagging s3://mon-bucket/fichier.txt "projet=devops" "env=prod"

# Voir les tags
s3cmd gettagging s3://mon-bucket/fichier.txt

# Supprimer les tags
s3cmd deltagging s3://mon-bucket/fichier.txt

Générer une URL signée

s3cmd signurl s3://mon-bucket/fichier.txt +3600

Cette commande génère une URL temporaire valide 1 heure (3600 secondes).

Définir les ACL

# Rendre un objet public
s3cmd setacl s3://mon-bucket/fichier.txt --acl-public

# Rendre privé
s3cmd setacl s3://mon-bucket/fichier.txt --acl-private

Dépannage

Problème	Cause probable	Solution
SignatureDoesNotMatch	Mauvaise signature	Essayez signature_v2 = True dans .s3cfg
Name or service not known	host_bucket incorrect	Utilisez le même host que host_base pour MinIO
Access Denied	Credentials incorrects	Vérifiez access_key et secret_key
Bucket already exists	Nom de bucket pris	Choisissez un nom unique
The bucket is not empty	Bucket non vide	Videz avec s3cmd del s3://bucket/ --recursive

Glissez pour voir

À retenir

• Un seul outil pour tout : s3cmd gère upload, download, sync, ACL, versioning.
• Synchronisation incrémentale : seuls les fichiers modifiés sont transférés.
• Compatible tout S3 : AWS, MinIO, Outscale, Scaleway, DigitalOcean…
• --dry-run toujours : prévisualisez les sync/delete avant de les exécuter.
• Configuration par fichier : ~/.s3cfg évite de répéter les credentials.

Prochaines étapes

Restic pour les sauvegardes chiffrées Sauvegardes incrémentales, chiffrées et dédupliquées vers S3

Rclone pour le multi-cloud Synchronisez entre 70+ services cloud avec une seule commande

Stockage Outscale OOS Stockage objet souverain compatible S3

Minikube Déployez Kubernetes en local pour vos tests

Ressources

• Site officiel : s3tools.org
• Documentation : s3tools.org/usage
• GitHub : github.com/s3tools/s3cmd

×

📖 Voir la documentation →