4NK_env/IA_agents/deploy.md

# agent_deploy.md

Respecte totalement et impérativemment les informations de ce document.

---

## Contexte

Consulte attentivement `IA_agents/context.md`.
Consulte attentivement `IA_agents/flux.md`.
Reste toujours sur la branche git "ext"
Fait toujours les build via CI avec des images docker pour le docker registry tagées "ext"
Déclanche toujours avec un tag "ext" remplace le précédent.

---

## Objectifs

Le déploiement se fait depuis le répertoire **`lecoffre_node/`**, en utilisant les scripts présents dans **`scripts/`**.
Ces scripts doivent évoluer au fil des retours et être améliorés plutôt que dupliqués.
Arretes toi pour corriger chaque problème rencontré avant de passer à la suite.
C'est une VM dont assures toi que tous les services écoutent et soient accessibles de l'exétieur via le nom de domaine.

Dans **tous les projets** à vérifier un par un dont lecoffre_node:

- Analyse le dossier pour bien le comprendre
- Analyse le code pour bien le comprendre
- Une branche Git dédiée `ext` existe.
- Aucun tag Git nommé `ext` n’existe.
- Les services doivent écouter sur 0.0.0.0 (et non sur 127.0.0.1).
- Le serveur ngnix gère les url d'accès extérieurs
- Corrige aussi les erreurs non critiques.

Via les scripts, lance tous les services de `lecoffre_node/docker-compose.yml`.

## Procédure générale

### Vérifications initiales par projet

1. Vérifier que le dépôt distant est **public** (si possible).
2. Vérifier l’utilisation des **clés SSH** pour le déploiement Git (idéalement ~/.ssh/id_ed25519)
3. Vérifier que la branche courante est bien **`ext`**.
4. Mettre à jour les dépendances et les langages
5. Vérifier les **variables d’environnement**.

### Mise à jour et construction par projet

6. Supprime les caches, Optimise le build du projet et build le projet.
7. Mettre à jour la **documentation**.
8. Mettre à jour les **tests**.
9. Mettre à jour les **scripts**.
10. Vérifier que la présence et le contenu exhaustif et spécifique de :
    - `.gitignore`
    - `.dockerignore`
    - `.cursorignore`

### Synchronisations par projet

11. Synchroniser les configurations dans `lecoffre_node/conf`.
Les configurations ngnix doivent toutes être cenralisées dans lecoffre_node/conf/ngninx (à synchroniser par des copies depuis lecoffre_node vers les fichiers cibles qui seront réellement utilisés -sauf dans lecoffre_node ce sont les fichiers de lecoffre_node/conf/ qui sont utilisés-, toujours vérifier la cohérence entre les copie et les fichiers utilisés, à intégrer dans le script existant de synchronisation à mettre à jour). Ne pas faire de liens symboliques pour les confs afin de le maintenir via git et docker.
12. Synchroniser les logs dans `lecoffre_node/logs` (brancher grafana pour un dashboard par projet)

### Sécurité et conformité par projet

13. Vérifier que le code ne fournit pas :
    - de **données personnelles**,
    - de **données sensibles exploitables**,
    - de **failles de sécurité**.

### Gestion Git par projet

14. Pousser toutes les modifications sur la branche Git `ext`.
15. Supprimer les fichiers distants non suivis par Git.

### Analyse et correction par projet

16. Analyser les logs.
17. Corriger toutes les erreurs, petites et grosses, **sans désactivation**, **sans simplification**, **sans contournement**.
18. Tester.
19. Analyser de nouveau les logs.
20. Vérifier que les logs ne contiennent pas de données personnelles ou sensibles.
21. Corriger à nouveau si nécessaire (jusqu'à l'absence totale d'erreurs)

### Boucle d’amélioration par projet

22. Ne pas créer de nouvelles versions de scripts : **améliorer et tester ceux existants**.
23. Mettre à jour la documentation avec le **retour d’expérience** à chaque fois par une mise à jour de `docs/REX.md`.
24. Recommencer si nécessaire pour obtenir un déploiement fluide et parfait.
25. Documenter toute **nouvelle connaissance technique ou fonctionnelle** acquise.
26. Répéter la synchronisation des confs et logs.
27. Pousser toutes les modifications sur la branche `ext`.
28. Supprimer à nouveau les fichiers distants non suivis.
29. Répéter anal

### Lancement des services

30. Via les scripts, lance tous les services de `lecoffre_node/docker-compose.yml`.
31. Corriger toutes les erreurs, petites et grosses, **sans désactivation**, **sans simplification**, **sans contournement**.
32. Tester.
33. Analyser de nouveau les logs.
34. Vérifier que les logs ne contiennent pas de données personnelles ou sensibles.
35. Corriger à nouveau si nécessaire (jusqu'à l'absence totale d'erreurs)
36. Mettre à jour la documentation avec le **retour d’expérience** à chaque fois par une mise à jour de `docs/REX.md`.
37. Recommencer si nécessaire pour obtenir un déploiement fluide et parfait.
38. Assures toi d'être à jour pour le service grafana
39. Assures toi d'avoir bien synchroniser la conf ngnix et relance le serveur ngnix
40. Vérifie que Loki, Promtail et Grafana sont ok avec des dashboard alimentés
41. Vérifie qu'il n'y a aucun conflit de ports

---

## Spécificités Dockerfile par projet

### Architecture Docker optimisée (2024-12-19)

**Base standardisée** : Tous les Dockerfiles utilisent `debian:bookworm-slim` pour la cohérence et la légèreté.

### Variables d'environnement centralisées (2024-09-21)

**Configuration centralisée** : Toutes les variables d'environnement sont maintenant centralisées dans `lecoffre_node/.env.master`.
- ✅ **Fichiers .env supprimés** des projets individuels (sdk_relay, sdk_signer, ihm_client, lecoffre-back-mini, lecoffre-front)
- ✅ **Docker Compose** configure toutes les variables d'environnement depuis `.env.master`
- ✅ **Applications** lisent les variables d'environnement (pas de fichiers .env locaux)
- ✅ **Architecture sécurisée** : Configuration centralisée et protégée

### Règles Dockerfile obligatoires

Pour tous les projets contenant un **Dockerfile**, avant de pousser sur la branche `ext` :

#### 1. Base et packages minimaux
```dockerfile
FROM debian:bookworm-slim
RUN apt-get update && apt-get upgrade -y && \
    apt-get install -y --fix-missing \
    ca-certificates curl jq git && \
    rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*
```

**Packages obligatoires :**
- `ca-certificates` : Certificats SSL/TLS
- `curl` : Requêtes HTTP
- `jq` : Traitement JSON
- `git` : Clonage de dépôts (si nécessaire)

#### 2. Installation Node.js (pour les services Node.js)
```dockerfile
RUN curl -fsSL https://deb.nodesource.com/setup_20.x | bash - && \
    apt-get install -y nodejs && \
    rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*
```

#### 3. Utilisateur non-root standardisé
```dockerfile
RUN useradd -m -u 1000 appuser && \
    mkdir -p /app && chown -R appuser:appuser /app
USER appuser
```

#### 4. Optimisations obligatoires
- **Optimise les Layers** : Combine les RUN commands
- **Exclu les fichiers inutiles** : Vérifier `.dockerignore`
- **Nettoyage complet** : Supprimer tous les caches apt
- **Pas de clés SSH** : Utiliser HTTPS pour les repos publics
- **Pas de packages de développement** : Seulement les packages runtime

#### 5. Packages interdits en production
❌ **Ne pas installer :**
- `build-essential`, `autoconf`, `automake`, `libtool`
- `cmake`, `ninja-build`, `clang`, `lldb`, `lld`, `make`
- `tree`, `ncdu`, `mc`, `exuberant-ctags`, `cscope`
- `vim`, `emacs`, `sed`, `gawk`
- `inetutils-tools`, `iputils-*`, `net-tools`, `iproute2`
- `python3-dev`, `go`, `rust`, `cargo`
- `wscat` (utiliser au besoin via npm install)

#### 6. Image de base réutilisable
Utiliser l'image de base créée dans `lecoffre_node/base-image/` pour de nouveaux services.

### Services avec Dockerfiles optimisés
- ✅ **sdk_relay** : Debian bookworm-slim + Rust binary
- ✅ **sdk_signer** : Debian bookworm-slim + Node.js 20
- ✅ **sdk_storage** : Debian bookworm-slim + Rust binary
- ✅ **lecoffre-back-mini** : Debian bookworm-slim + Node.js 19
- ✅ **lecoffre-front** : Debian bookworm-slim + Node.js 19
- ✅ **ihm_client** : Debian bookworm-slim + Node.js 20
- ✅ **miner** : Debian bookworm-slim + Python 3.11

### Processus de déploiement

Après le push sur la branche Git `ext` :
1. Créer/supprimer le tag Docker `ext`
2. Pousser l'image sur le **tag Docker `ext`** via la CI
3. Vérifier le succès du build CI

### Déploiement avec variables centralisées

**Utilisation du .env.master** :
```bash
# Déploiement avec variables centralisées
docker compose --env-file .env.master up

# Test de la configuration
./scripts/test-env-config.sh
```

**Variables disponibles** :
- **SDK_RELAY_*** : Configuration du service relay
- **SIGNER_*** : Configuration du service signer  
- **VITE_*** : Configuration des applications frontend
- **IDNOT_*** : Configuration des APIs notaires
- **STRIPE_*** : Configuration des paiements
- **MAILCHIMP_*** : Configuration des emails
- **OVH_*** : Configuration des SMS

### Tailles d'images cibles
- **Services légers** : 120-200MB
- **Services avec Node.js** : 180-250MB
- **Services avec Python** : 200-300MB

---

## Autres

N'attend pas infiniment le résultat des curls.
Si j'interromp un terminal c'est surement que tu attendais pour rien, dans ce cas analyse la sortie du terminal.
Tests toute les urls publiques depuis l'extérieur avant de dire qu'elles sont OK.
Veuiller à tester les websockets spécifiquement et les services http(s) spécifiquement aussi.
Vérifie que tous les imports sont présents.
Déclanche les builds via CI.
Vérifie les droits et le résultats de l'écriture sur les fichiers de conf ngninx et sur les fichiers de conf de Bitcoin.

---

Met à jour ce document si tu détectes des incohérences ou pose des questions pour confirmer.
Propose des améliorations dans un document lecoffre_node/IA_agents/todo.md