Monitoring d'IA Générative et Système de recommandations @ TheFork
Speakers de ce talk
⚠️ Ce talk est complet
En bref
Mettre en œuvre un système de surveillance qui puisse s’assurer continuellement de la bonne la performance des modèles est un véritable défi.
Chez TheFork, plusieurs contraintes rendent cette tâche particulièrement délicate : une équipe data science réduite de 4 personnes, des typologies de modélisation très différentes selon les cas d’usage, une stratégie de ré-entrainement réguliers pour assurer la pertinence des prédictions, etc.
Au fil des années, cette équipe a réussi à implémenter un système de monitoring qui garantit la performance de plusieurs applications critiques pour le bon fonctionnement des opérations chez TheFork, selon 3 axes:
- la consommation des ressources (mémoire vive, processeurs, stockage…)
- la performance algorithmique, via les métriques d’évaluation
- la pertinence des résultats finaux vis-à-vis des indicateurs “business”
Lors de cette présentation, Claire et Yesmine nous détailleront les différentes tactiques mises en œuvre au quotidien pour garantir la performance de deux systèmes déployés en production:
- Système de recommandation – En se basant sur l’historique des réservations, ce système permet de recommander de nouveaux restaurants à un utilisateur, via une newsletter personnalisée. Cette application est déployée en production depuis plus de deux ans.
- IA Générative – Déployé depuis Novembre 2023, ce modèle génératif analyse les commentaires laissés par les clients, en extrait les sentiments généraux, et les synthétise en quelques points clés sur chacune des pages des restaurants. Le gros enjeu ici est de garantir la qualité et la pertinence du texte généré par ChatGPT avant de l’afficher publiquement.
Ce retour d’expérience abordera notamment la question des outils utilisés (MLflow, AWS CloudWatch, Airflow…) mais également les méthodologies de déploiement employées, tels que l’A/B Testing.
A propos de TheFork
TheFork est l’appli de réservation de restaurants qui ouvre les portes des meilleures tables, tout en profitant d’offres exclusives.
L’application référence 55 000 des meilleurs restaurants partout en France et en Europe. Les utilisateurs peuvent se laisser guider par plus de 20 millions d’avis vérifiés, s’assurer de la disponibilité en temps réel et réservez leur table en 3 clics 24h/24 et 7j/7.