doc, choix du LLM
This commit is contained in:
parent
a385c2a68c
commit
20341a0ad4
3 changed files with 66 additions and 0 deletions
30
doc/ChoixLll.md
Normal file
30
doc/ChoixLll.md
Normal file
|
|
@ -0,0 +1,30 @@
|
|||
---
|
||||
|
||||
question: aide moi à choisir des models deepseek distilled r1 pour ollama. J'ai des tâche simples (non-reasoning
|
||||
|
||||
---
|
||||
|
||||
Pour des tâches simples qui ne nécessitent pas de raisonnement poussé, les modèles distillés de DeepSeek sont un excellent choix. Ils sont légers, rapides et faciles à exécuter en local avec Ollama.
|
||||
|
||||
Voici une sélection de modèles pour différents niveaux de matériel, du plus accessible au plus performant.
|
||||
|
||||
### 📊 Comparatif des modèles pour Ollama
|
||||
|
||||
| Modèle Ollama | Paramètres | VRAM estimée (quantification Q4) | Idéal pour |
|
||||
| :--- | :--- | :--- | :--- |
|
||||
| **`deepseek-r1:1.5b`** | 1.5B | ~1.5 Go | Tests, CPU uniquement, très petits appareils |
|
||||
| **`deepseek-r1:7b`** | 7B | ~5-6 Go | La plupart des PC avec un GPU 8 Go+ (RTX 3060/4060). Bon équilibre vitesse/qualité. |
|
||||
| **`deepseek-r1:14b`** | 14B | ~9 Go | GPU 12-16 Go (RTX 4060 Ti 16 Go). Meilleure compréhension pour des tâches un peu plus complexes. |
|
||||
| **`deepseek-r1:32b`** | 32B | ~20 Go | GPU haut de gamme 24 Go (RTX 3090/4090). Performances très solides. |
|
||||
|
||||
### 💡 Comment faire votre choix ?
|
||||
|
||||
1. **Vérifiez votre matériel** : La limite principale est la VRAM de votre carte graphique. Utilisez les chiffres du tableau comme guide. La quantification (`Q4_K_M` est un bon compromis) permet de réduire la taille du modèle.
|
||||
2. **Privilégiez la vitesse pour les tâches simples** : Pour des tâches comme le chat, la génération de texte basique ou le résumé, un modèle 7B est un excellent point de départ. Il est rapide et offre de bonnes performances.
|
||||
3. **Évitez les très petits modèles** : Les modèles 1.5B peuvent parfois être lents ou produire des réponses de moindre qualité. Le 7B est généralement considéré comme le seuil minimum pour des résultats satisfaisants.
|
||||
|
||||
**En résumé :** Commencez par tester `deepseek-r1:7b`. C'est le modèle "couteau suisse" pour la plupart des usages. Si vous avez une carte graphique plus puissante (16 Go de VRAM ou plus), le `deepseek-r1:14b` vous offrira une qualité de réponse supérieure, même pour des questions simples.
|
||||
|
||||
Pour lancer l'un de ces modèles, utilisez simplement la commande : `ollama run deepseek-r1:7b` (en remplaçant `7b` par la taille choisie).
|
||||
|
||||
|
||||
24
doc/ChoixLllQuery.md
Normal file
24
doc/ChoixLllQuery.md
Normal file
|
|
@ -0,0 +1,24 @@
|
|||
---
|
||||
|
||||
question: quel distilled 7b prendre sachant que je vais faire demander au llm de faire des query sur un storage (db graph ou nsql)
|
||||
|
||||
---
|
||||
|
||||
Pour votre cas d'usage précis (génération de requêtes pour bases de données graph ou NoSQL), un modèle standard comme `deepseek-r1:7b` risque d'être insuffisant. La version `deepseek-r1:7b-qwen`, qui supporte le **function calling**, est un bien meilleur point de départ .
|
||||
|
||||
Voici un comparatif pour vous aider à choisir :
|
||||
|
||||
| Modèle | Atout principal pour votre cas | Inconvénient / Point d'attention |
|
||||
| :--- | :--- | :--- |
|
||||
| **`deepseek-r1:7b`** (standard) | Raisonnement général puissant, utile pour décomposer une requête complexe. | **Ne supporte pas nativement le function calling**, ce qui complexifie l'intégration avec votre storage. Vous devrez "bricoler" une solution pour extraire la requête . |
|
||||
| **`deepseek-r1:7b-qwen`** (avec function calling) | **Support natif du function calling**. Conçu pour appeler des outils externes (comme votre base de données), la sortie est structurée et facile à interpréter . | Moins de recul sur ses performances spécifiques pour le Text-to-SQL/NoSQL, mais c'est l'architecture la plus adaptée. |
|
||||
| **`prav719/deepseek-7B-text-to-sql-flash-attention-2`** (fine-tuné) | **Spécialisé Text-to-SQL**. Fine-tuné sur cette tâche précise, il devrait être plus performant et fiable pour générer des requêtes . | Nécessite plus de configuration (fichier Modelfile) pour fonctionner avec Ollama. L'usage est moins "plug-and-play". |
|
||||
|
||||
### 💡 Mon conseil
|
||||
|
||||
1. **Pour une approche rapide et intégrée** : Testez en premier le modèle `deepseek-r1:7b-qwen` sur Ollama. La commande est `ollama run deepseek-r1:7b-qwen` . Sa capacité à comprendre et à formater un appel d'outil est un atout majeur pour votre projet.
|
||||
2. **Pour un projet ambitieux ou professionnel** : Si le modèle généraliste n'est pas assez fiable, envisagez d'utiliser le modèle fine-tuné `prav719/deepseek-7B-text-to-sql-flash-attention-2`. Il a été entraîné spécifiquement pour la génération de requêtes SQL, ce qui devrait vous donner de meilleurs résultats, quitte à passer un peu plus de temps sur la configuration initiale .
|
||||
|
||||
### ⚠️ Important : le "prix" du raisonnement
|
||||
|
||||
Les modèles DeepSeek R1 sont des "modèles de raisonnement". Cela signifie qu'ils génèrent une chaîne de pensée (entre balises `think`) avant de répondre . C'est excellent pour la précision, mais cela ralentit le temps de réponse et allonge les réponses. C'est un compromis à garder en tête par rapport à un modèle plus direct comme Llama .
|
||||
12
doc/Tools.md
Normal file
12
doc/Tools.md
Normal file
|
|
@ -0,0 +1,12 @@
|
|||
# Les tools
|
||||
|
||||
## Que seront les tools
|
||||
|
||||
Les tools (outil) seront diverses commandes rougail.
|
||||
Pour utiliser des tools (le function calling), deepseek-r1 n'est pas adapté
|
||||
|
||||
## le distilled qwen
|
||||
|
||||
**`deepseek-r1:7b-qwen`** propose du function calling,
|
||||
il a un **Support natif du function calling**.
|
||||
|
||||
Loading…
Reference in a new issue