Documentation technique
AI Platform Engineering sur AWS.
Comment nous concevons, sécurisons et exploitons des services GenAI en production sur AWS, du compte cloud au socle d'agents.
Destiné aux équipes techniques (architecture, DSI, cloud, sécurité). Les choix sont adaptés à votre contexte ; ce qui suit décrit notre architecture de référence.
L'IA comme un produit, sur un socle réutilisable.
L'objectif n'est pas de faire tourner un modèle, mais de livrer un service GenAI fiable, intégré au SI, sécurisé et mesuré, puis de le répliquer. Cela suppose un socle cloud et des pratiques d'ingénierie, pas une succession de POC.
Sécurité & gouvernance dès le départ
Comptes isolés, moindre privilège, chiffrement, traçabilité : la conformité est une condition de départ, pas une rustine.
Les données là où elles vivent
On connecte les sources existantes (S3, bases, ERP/CRM/GED) sans les recopier inutilement, avec résidence des données en Europe.
Tout en Infrastructure as Code
Landing zone, réseaux, modèles, agents : provisionnés et versionnés (Terraform / CDK), reproductibles d'un environnement à l'autre.
Observabilité & FinOps
Chaque appel modèle est tracé, mesuré et budgété ; le coût par usage et par token est piloté.
Humain dans la boucle
Les actions sensibles passent par une validation explicite ; des garde-fous encadrent les réponses.
Architecture de référence.
Un usage GenAI utile repose sur des couches qui fonctionnent ensemble, de la fondation cloud jusqu'à l'adoption. La sécurité, l'observabilité et le FinOps sont transverses.
Mise en place de l'environnement cloud (Landing Zone).
Avant tout usage GenAI, on pose une fondation cloud saine : isolation des environnements, sécurité centralisée et garde-fous automatiques. C'est ce qui rend la suite reproductible et auditable.
-
Multi-comptes par défaut
Séparer production, hors-production, sécurité et outillage limite le rayon d'impact et clarifie les responsabilités.
-
Garde-fous automatiques (SCP)
Des règles d'organisation empêchent les configurations dangereuses : régions non autorisées, ressources non chiffrées.
-
Identité centralisée (SSO)
Accès fédérés via IAM Identity Center, droits temporaires et moindre privilège.
-
Sécurité & logs centralisés
CloudTrail, Config, GuardDuty et Security Hub agrégés dans un compte dédié.
-
Réseau maîtrisé
VPC privés, PrivateLink vers Bedrock et les services, pas d'exposition inutile sur Internet.
AWS Organizations
Management
-
Organizations
- Facturation
-
Control Tower
Security
- Log Archive
- Audit
-
GuardDuty · Security Hub
Infrastructure
- Réseau (Transit Gateway)
-
VPC partagés
- Shared services
Workloads
- GenAI, Dev
- GenAI, Prod
Socle déployé via AWS Control Tower + Infrastructure as Code, adaptable à une landing zone déjà en place.
Les services AWS que nous utilisons.
Sélection guidée par le besoin et votre contexte, pas de complexité gratuite.
GenAI
-
Amazon Bedrock
Modèles managés (dont Claude), sans serveur à gérer.
-
Bedrock Knowledge Bases
RAG managé : ingestion, embeddings, recherche.
-
Bedrock Guardrails
Filtrage contenus, sujets, masquage des PII.
-
Bedrock AgentCore
Agents : orchestration, mémoire, identité, outils.
Données & vecteurs
-
Amazon S3
Stockage des documents et données sources.
-
OpenSearch Serverless
Recherche vectorielle pour le RAG.
-
Aurora PostgreSQL / pgvector
Vecteurs et données relationnelles.
-
DynamoDB · Glue
État/mémoire agents, ingestion de données.
Intégration & exécution
-
API Gateway · Lambda
APIs privées et fonctions serverless.
-
ECS / Fargate
Conteneurs pour charges durables.
-
Step Functions · EventBridge
Orchestration et événements.
-
Connecteurs MCP
Outils agents vers ERP, CRM, GED, APIs.
Sécurité & identité
-
IAM · IAM Identity Center
Moindre privilège, accès fédérés (SSO).
-
KMS · Secrets Manager
Chiffrement et gestion des secrets.
-
PrivateLink
Accès privé à Bedrock et aux services.
-
GuardDuty · Security Hub · WAF
Détection, posture, protection applicative.
Gouvernance & landing zone
-
AWS Organizations · Control Tower
Multi-comptes et garde-fous.
-
AWS Config
Conformité continue des ressources.
-
CloudTrail
Journal d'audit de toutes les actions.
-
Service Catalog
Modèles approuvés en libre-service.
Observabilité & FinOps
-
CloudWatch · X-Ray
Métriques, logs, traces des requêtes.
-
Cost Explorer · Budgets
Suivi et alertes de coûts.
-
Journalisation Bedrock
Traçage des invocations modèles.
-
Tags FinOps
Coût par usage, équipe et environnement.
Patterns GenAI agentiques.
Les briques que nous assemblons selon le cas d'usage, toujours encadrées.
RAG (recherche augmentée)
Bedrock Knowledge Bases + base vectorielle : les réponses s'appuient sur vos documents, avec citation des sources.
Agents & outils (MCP)
Un agent (AgentCore) appelle des outils, recherche, APIs métier, actions, via le protocole MCP, avec des droits cadrés.
Garde-fous (Guardrails)
Filtrage des contenus et des sujets, masquage des données sensibles (PII) en entrée et en sortie.
Humain dans la boucle
Les actions à risque (écriture, envoi, décision) requièrent une validation explicite et tracée.
Évaluation & qualité
Jeux de tests, mesure de pertinence et détection de régression avant et après mise en production.
Aligné sur le AWS Well-Architected Framework.
Nos choix suivent les six piliers du Well-Architected Framework, et sa Generative AI Lens. Appliqués à un usage GenAI :
Excellence opérationnelle
Déploiements automatisés (IaC, CI/CD), runbooks, observabilité de bout en bout.
Sécurité
Moindre privilège, chiffrement, isolation réseau, traçabilité, garde-fous.
Fiabilité
Quotas et limites gérés, reprise sur erreur, dégradation maîtrisée des appels modèles.
Performance
Modèle choisi selon le besoin, mise en cache, RAG ciblé, dimensionnement serverless.
Optimisation des coûts
Coût par token suivi, modèles adaptés, budgets et alertes (FinOps).
Développement durable
Régions et modèles adaptés, ressources serverless, pas de sur-provisionnement.
Nous appliquons aussi la Generative AI Lens : évaluation des réponses, garde-fous, supervision humaine et maîtrise des coûts d'inférence.
Industrialisation : Infrastructure as Code & CI/CD.
Landing zone, réseaux, garde-fous, serveurs MCP et agents : tout est versionné, testé et déployé automatiquement. Terraform (ou AWS CDK) pour l'infrastructure, un pipeline CI/CD dédié pour les outils MCP et les agents.
# Bedrock guardrail, filter content + mask PII
resource "aws_bedrock_guardrail" "assistant" {
name = "assistant-guardrail"
blocked_input_messaging = "Request blocked."
blocked_outputs_messaging = "Response filtered."
sensitive_information_policy_config {
pii_entities_config { type = "EMAIL", action = "ANONYMIZE" }
}
}
# Least-privilege execution role for the agent / MCP server
resource "aws_iam_role" "agent" {
name = "genai-agent-exec"
assume_role_policy = data.aws_iam_policy_document.assume.json
}
resource "aws_iam_role_policy" "agent" {
role = aws_iam_role.agent.id
policy = jsonencode({
Version = "2012-10-17"
Statement = [{
Effect = "Allow"
Action = ["bedrock:InvokeModel", "bedrock:Retrieve"]
Resource = [var.model_arn, aws_opensearchserverless_collection.kb.arn]
}]
})
}
# MCP server container on ECS Fargate, behind a private API
module "mcp_server" {
source = "./modules/fargate-service"
name = "mcp-crm"
image = "${aws_ecr_repository.mcp.repository_url}:${var.git_sha}"
task_role_arn = aws_iam_role.agent.arn
private = true
} Pipeline CI/CD, serveurs MCP & agents
- 01
Commit
Code agent / serveur MCP, prompts, config Terraform.
- 02
Lint & tests
Tests unitaires, validation des schémas d'outils MCP, scan IaC.
- 03
Build image
Conteneur MCP / agent poussé sur ECR, scan de vulnérabilités.
- 04
Évaluation
Jeux de tests agent : pertinence, garde-fous, non-régression.
- 05
Déploiement
Terraform apply, ECS/Fargate ou AgentCore, dev → prod.
- 06
Run & observabilité
Traces, coûts, alertes ; rollback si régression.
Promotion dev → prod approuvée ; secrets injectés via Secrets Manager, jamais en clair. Outils : GitLab CI / GitHub Actions / CodePipeline.
Sécurité, conformité & maîtrise.
Résidence des données (UE)
Inférence et stockage en Europe ; vos données ne servent pas à entraîner les modèles.
Chiffrement de bout en bout
KMS (clés gérées), TLS partout, secrets dans Secrets Manager.
Moindre privilège
Rôles IAM dédiés par usage, accès temporaires, environnements séparés.
Traçabilité complète
CloudTrail, journalisation des invocations Bedrock, traçage des sources et actions.
Réseau privé
Accès à Bedrock et aux données via PrivateLink, sans transit par Internet.
Coûts sous contrôle (FinOps)
Budgets, coût par usage et par token, alertes de dérive.
Du compte AWS au service en production.
Fondation
Landing zone, comptes, sécurité et réseau (Control Tower + IaC).
Connexion des données
Sources SI, ingestion, base vectorielle, droits d'accès.
Construction du service
RAG et/ou agent, outils MCP, garde-fous, API.
Industrialisation
CI/CD, IaC, environnements dev → prod, tests et évaluation.
Exploitation (Run)
Observabilité, FinOps, amélioration continue, extension.
Auditer votre socle ou cadrer une architecture GenAI sur AWS ?
Échangeons sur votre environnement existant, vos contraintes de sécurité et la trajectoire la plus simple vers un usage en production.
Échanger avec un architecte