From e16bf0fc1da62b06ce89e90b1b9250c4c7c4ec7c Mon Sep 17 00:00:00 2001
From: Joseph Gesnouin <joseph.gesnouin@dgfip.finances.gouv.fr>
Date: Fri, 12 Jan 2024 10:34:05 +0100
Subject: [PATCH] Update README.md

---
 README.md | 8 ++++----
 1 file changed, 4 insertions(+), 4 deletions(-)

diff --git a/README.md b/README.md
index c689f66..bd24227 100644
--- a/README.md
+++ b/README.md
@@ -4,7 +4,7 @@
     <img src="assets/logo.png" width="30%">
 </p>
 
-Ce rapport présente LLaMAndement, un modèle de langage de pointe, optimisé par le gouvernement français et conçu pour accroître l'efficacité et la performance du traitement des sessions parlementaires (y compris la production de notes d'audience et de documents nécessaires pour les réunions interministérielles) en générant des résumés neutres des propositions législatives.
+Ce rapport présente LLaMandement, un grand modèle de langage (LLM) à l'état de l'art, spécialisé par les agents du Gouvernement afin d'améliorer l'efficacité du traitement des travaux parlementaires français (dont notamment la rédaction des fiches de banc et les travaux préparatoires des réunions interministérielles) grâce à la production de résumés neutres des projets et propositions de loi. LLaMandement est une réponse à la problématique de la gestion d'un nombre d'amendements toujours plus important par les agents de l'administration française. Ce projet représente une avancée technologique significative, en proposant une solution permettant de dépasser l'efficacité et la capacité d'adaptation des agents administratifs à la réalisation d'un travail toujours plus conséquent et de plus en plus difficielement réalisable dans une durée limitée par un humain, tout en offrant la fiabilité et la précision d'un rédacteur spécialisé.
 
 ## Installation
 
@@ -65,12 +65,12 @@ Il est recommandé de lancer le script d'entraînement dans une image Docker pou
 sh train_llamandement_13b.sh
 ```
 
-Voilà! Vous êtes prêt à ré-entraîner le modèle sur votre propre set de données. Ce processus peut prendre un certain temps, en fonction de la taille de votre ensemble de données et de la puissance de votre matériel.
+Vous êtes prêt à ré-entraîner le modèle sur votre propre set de données. Ce processus peut prendre un certain temps, en fonction de la taille de votre ensemble de données et de la puissance de votre matériel.
 
 Concernant le réglage des paramètres pour LORA, voici les parametres:      
 – **Taux d'apprentissage (Learning Rate, LR)**: Nous avons fixé le taux d'apprentissage LORA, σ = 2e-5, plus bas que les taux de fine-tuning typiques pour permettre une adaptation progressive et stable du modèle.    
 – **Profondeur d'adaptation (lora_r)**: Nous avons fixé sa valeur à 64. Ce paramètre spécifie le rang (dimension) de la matrice de faible rang dans LoRA. Dans notre modèle LLAMA 13B, le fine-tuning avec LORA a affecté environ 0,40% des poids (c'est-à-dire 50m de paramètres). Cet équilibre est crucial pour obtenir une adaptabilité à de nouvelles tâches ou à de nouvelles données tout en conservant la conception originale et les connaissances du modèle pré-entraîné.    
 – **Taux de décroissance (Decay Rate)** : Un taux de décroissance de 0,01 a été utilisé pour la régularisation, réduisant le risque de suradaptation à certaines structures de texte législatif.    
 – **LORA Alpha (α)** : Fixé à α = 16, ce paramètre contrôle l'échelle des ajustements LORA. Ce paramètre est essentiel pour affiner l'impact des modifications LoRA sur le modèle, permettant un réglage plus précis des réponses du modèle aux nuances dans les textes législatifs.   
-– **LORA Dropout** : Un taux d'abandon de 0,1 a été appliqué aux couches LORA pour prévenir la suradaptation et améliorer les capacités de généralisation.      
-– **Optimiseur et ordonnanceur** : Un ordonnanceur de taux d'apprentissage cosinus avec un ratio de préchauffage de 0,03 a été utilisé pour optimiser le processus d'entraînement.  
\ No newline at end of file
+– **LORA Dropout** : Un taux de dropout de 0,1 a été appliqué aux couches LORA pour prévenir la suradaptation et améliorer les capacités de généralisation.      
+– **Optimiseur et ordonnanceur** : Un ordonnanceur de taux d'apprentissage cosinus avec un warmup ratio de 0,03 a été utilisé pour optimiser le processus d'entraînement.  
-- 
GitLab