MarmicodeAgentic Angular : tests et évals pour des agents IA fiables
3 Jours · Online
🐣 Early Bird à partir de 1 270 € HT
Trois jours pour retracer les frontières de test dans vos apps dopées à l'IA.Faker le LLM là où c'est possible, evaluer le reste, et savoir exactement ce que chaque eval vous coûte.
🇫🇷 Formation finançable jusqu'à 100% via OPCO.
🍱 Ce que vous apprendrez
Cartographiez les couches entre le navigateur et le LLM, et découvrez ce qui est déterministe, ce qui est probabiliste, et où se situe vraiment la frontière.
Réponses scriptées, sorties structurées et tool calls pour des tests déterministes et rapides — avec un regard lucide sur les moments où le fake vous ment.
Utilisez le flux d'events comme couture de test : enregistrez et rejouez les streams AG-UI pour des tests frontend sans modèle et sans tokens.
L'UI-as-data est de la donnée testable : faites vos assertions sur les payloads A2UI plutôt que sur des pixels, et vérifiez que l'UI générée reste dans le catalogue de confiance.
Dataset, task, grader, score : de quoi une eval est faite, en quoi noter diffère d'asserter, et quand lancer les evals hors ligne ou en ligne.
Commencez par un golden dataset écrit à la main, exploitez les traces de production pour les cas réels, et générez les cas limites sans vous mentir à vous-même.
Les graders en code d'abord, puis les rubrics et la comparaison par paires — et calibrez le juge sur des labels humains avant de faire confiance à ses notes.
Évaluez le choix des tools, la justesse des arguments et l'ordre des appels sur des conversations multi-tours, pas seulement la réponse finale.
Sampling, cache, seuils de passage vs suivi de score, et comment distinguer une eval rouge d'une vraie régression.
Connaissez le coût par run, par PR et par jour — et empêchez la taxe sur la boucle de feedback de ralentir la boucle interne.
Les traces comme nouvelle stack trace, les evals en ligne et les signaux de retour utilisateur, et le chemin de l'incident de production à l'entrée de dataset.
Tester, evaluer ou monitorer — par couche, par risque et par budget. L'arbre de décision, vous l'emportez.
🗓️ Programme
- Ce que le non-déterminisme fait aux assertions, aux snapshots et à la CI.
- Les modes de défaillance : hallucination, dérive, régressions de prompt, changements de modèle.
- Tester, evaluer ou prier : les trois postures et ce que chacune vous apporte.
- Cartographier les couches entre le navigateur et le LLM : UI, protocole AG-UI, orchestration, tools, prompts, modèle.
- Ce qui est déterministe, ce qui est probabiliste, et où se situe vraiment la frontière.
- Démonter une vraie fonctionnalité couche par couche, et marquer où le déterminisme s'arrête réellement.
- Faker à la frontière du modèle : réponses scriptées, sorties structurées, tool calls.
- Record & replay : quand ça aide, quand ça pourrit.
- Ce que les fakes peuvent prouver — et la confiance qu'ils ne peuvent pas vous donner.
- Remplacer le modèle par un fake, et mettre un flow agentique sous test rapide et reproductible.
- Les tools ne sont que des fonctions : les tester comme vous avez toujours fait.
- Assemblage des prompts, construction du contexte et parsing des sorties structurées.
- Guardrails et couches de validation : tester le filet de sécurité, pas le modèle.
- Mettre la coquille déterministe sous test, et voir la facture de tokens rester à zéro.
- Scripter des conversations multi-tours et des séquences de tool calls.
- Simuler l'échec : timeouts, sorties malformées, refus.
- Transformer un rapport instable et difficile à reproduire en test déterministe qui échoue, puis le faire passer.
- Le flux d'events comme couture de test : cycle de vie d'un run, messages, tool calls, state deltas.
- Enregistrer et rejouer les streams AG-UI : des tests frontend déterministes, sans modèle, sans tokens.
- Asserter sur le protocole : ce que l'agent a dit vs ce que l'UI a rendu.
- Cas limites du streaming : messages partiels, annulation, reconnexion.
- Enregistrer un run une fois, puis tester toute la surface de chat dessus pour toujours, gratuitement.
- L'UI-as-data est de la donnée testable : asserter sur les payloads A2UI plutôt que sur des pixels.
- Contrats de catalogue : vérifier que l'UI générée reste dans le catalogue de confiance.
- Tests de rendu : du JSONL A2UI aux composants de votre design system.
- Figer une fonctionnalité de generative UI avec des contrats de catalogue et des tests de rendu.
- Anatomie d'une eval : dataset, task, grader, score.
- Evals vs tests : noter plutôt qu’asserter.
- Evals hors ligne vs en ligne.
- Construire un dataset, une task et un grader, et obtenir un score sur lequel vous pouvez vraiment raisonner.
- Commencer petit : des golden datasets écrits à la main.
- Exploiter les traces de production pour les cas réels.
- Données synthétiques : générer les cas limites sans se mentir à soi-même.
- Exploiter de vraies traces, générer les cas limites qui manquent, et obtenir un ensemble qui vaut la peine d'être noté.
- Les graders en code d’abord : exact match, contains, vérifications structurelles.
- LLM-as-judge : rubrics, comparaison par paires, biais connus.
- Calibrer le juge sur des labels humains — faire confiance au grader avant de faire confiance aux notes.
- Écrire la rubric, la confronter à des labels humains, et découvrir à quel point votre juge est fiable.
- Evals de trajectoire : noter le choix des tools, les arguments et l'ordre — pas seulement la réponse finale.
- Evals multi-tours : utilisateurs simulés et scoring au niveau de la conversation.
- Noter la generative UI : l'agent a-t-il choisi les bons composants A2UI pour la tâche ?
- Évaluer le chemin, pas seulement la destination : choix des tools, arguments et ordre.
- Où partent les tokens : coût par run, par PR, par jour.
- Sampling, cache, et seuils de passage vs suivi de score.
- Gérer la variance : quand une eval rouge n'est pas une régression.
- La taxe sur la boucle de feedback : garder la boucle interne rapide.
- Faire tourner les evals sur chaque PR sans que la facture ni l'attente ne dérapent.
- Les traces comme nouvelle stack trace.
- Evals en ligne et signaux de retour utilisateur.
- De l'incident de production à l'entrée de dataset : boucler la boucle.
- Câbler le tracing, attraper une vraie défaillance, et la promouvoir dans votre dataset.
- Le cadre de décision : tester, evaluer, monitorer — par couche, par risque.
- Ce qui tourne à chaque commit, chaque nuit, chaque release.
- Quand une eval vaut son prix — et quand elle ne le vaut pas.
- Un arbre de décision à emporter.
- L'intégration des agents, la sécurité et la generative UI sont couvertes dans la formation complémentaire : « Agentic Angular : mijoter des agents IA sans se brûler ».
- Tester, evaluer ou monitorer — décidé couche par couche, pour l'app que vous livrez vraiment.
🎓 Prérequis
- De la curiosité et une bonne culture web
- À l'aise avec TypeScript et les bases des tests automatisés (quel que soit le framework)
- Aucune expérience préalable de l'ingénierie LLM ou des evals n'est requise
👨🏻🏫 Votre formateur
Younes Jaaidi
I am a Software Cook who enjoys whipping code until tests pass.
With nearly 20 years of experience in eXtreme Programming, I've coached dozens of teams and trained thousands of developers to cook robust and maintainable software — using Test-Driven Development, pragmatic testing strategies, and a healthy dose of Collective Ownership.
I'm also an Angular Google Developer Expert, an NX Champion, and a mediocre sailor.
🙋 Foire aux questions
Aux développeurs qui livrent des fonctionnalités IA et ne font plus confiance à leur suite de tests ; aux spécialistes QA et testing confrontés pour la première fois à du comportement non déterministe ; et aux leads, architectes et CTOs qui doivent définir ce que « assez confiant pour livrer » veut dire quand un modèle est dans la boucle.
Vous devez être à l'aise avec TypeScript et les bases des tests automatisés, quel que soit le framework. La curiosité et une bonne culture web comptent davantage que l'ancienneté.
Non. On part de ce que le non-déterminisme fait aux assertions, aux snapshots et à la CI, puis on construit les evals depuis les principes de base. Si vous lancez déjà des evals, les coutures de test AG-UI et A2UI, la calibration du juge et le travail sur le coût en CI resteront du terrain neuf.
Les exemples tournent en TypeScript de bout en bout, avec Vitest, Mastra et Langfuse. Chaque pattern se transpose un pour un à d'autres stacks et frameworks, et nous nommons les alternatives au fur et à mesure — ce sont les frontières, les graders et le modèle de coût qui se transposent, pas les noms d'outils.
Un ordinateur avec accès Internet, micro, webcam, un navigateur à jour et les droits d'installation.
Oui. Chaque sujet se termine par un exercice : disséquer une fonctionnalité IA pour tracer ses frontières de SUT, tester un flow agentique avec un modèle faké, rejouer un stream AG-UI, calibrer un juge LLM, noter la trajectoire d'un agent, câbler les evals dans la CI avec un budget, et enfin construire l'arbre de décision que vous emportez.
Pour garder la formation interactive. Dix participants, c'est le point où chacun a encore droit à un regard sur son code et à des réponses à ses questions.
Non. L'intégration des agents, la sécurité et la generative UI sont couvertes dans la formation complémentaire « Agentic Angular : mijoter des agents IA sans se brûler ». Celle-ci prend le relais là où l'autre s'arrête : prouver que ça marche.
Si vous êtes en France, cette formation est éligible au financement OPCO. Contactez-moi pour un devis et les modalités administratives.
"Réserver une Place" vous inscrit à une session planifiée. "Session sur Mesure" s'adresse aux entreprises qui souhaitent une formation privée, avec la possibilité d'adapter le contenu, la durée ou les priorités.
Si la formation ne répond pas à vos attentes, contactez-moi dans les 7 jours et nous trouverons une solution ensemble.