25 lines
2.6 KiB
Markdown
25 lines
2.6 KiB
Markdown
|
---
|
||
|
|
|
||
|
|
question: quel distilled 7b prendre sachant que je vais faire demander au llm de faire des query sur un storage (db graph ou nsql)
|
||
|
|
|
||
|
|
---
|
||
|
|
|
||
|
|
Pour votre cas d'usage précis (génération de requêtes pour bases de données graph ou NoSQL), un modèle standard comme `deepseek-r1:7b` risque d'être insuffisant. La version `deepseek-r1:7b-qwen`, qui supporte le **function calling**, est un bien meilleur point de départ .
|
||
|
|
|
||
|
|
Voici un comparatif pour vous aider à choisir :
|
||
|
|
|
||
|
|
| Modèle | Atout principal pour votre cas | Inconvénient / Point d'attention |
|
||
|
|
| :--- | :--- | :--- |
|
||
|
|
| **`deepseek-r1:7b`** (standard) | Raisonnement général puissant, utile pour décomposer une requête complexe. | **Ne supporte pas nativement le function calling**, ce qui complexifie l'intégration avec votre storage. Vous devrez "bricoler" une solution pour extraire la requête . |
|
||
|
|
| **`deepseek-r1:7b-qwen`** (avec function calling) | **Support natif du function calling**. Conçu pour appeler des outils externes (comme votre base de données), la sortie est structurée et facile à interpréter . | Moins de recul sur ses performances spécifiques pour le Text-to-SQL/NoSQL, mais c'est l'architecture la plus adaptée. |
|
||
|
|
| **`prav719/deepseek-7B-text-to-sql-flash-attention-2`** (fine-tuné) | **Spécialisé Text-to-SQL**. Fine-tuné sur cette tâche précise, il devrait être plus performant et fiable pour générer des requêtes . | Nécessite plus de configuration (fichier Modelfile) pour fonctionner avec Ollama. L'usage est moins "plug-and-play". |
|
||
|
|
|
||
|
|
### 💡 Mon conseil
|
||
|
|
|
||
|
|
1. **Pour une approche rapide et intégrée** : Testez en premier le modèle `deepseek-r1:7b-qwen` sur Ollama. La commande est `ollama run deepseek-r1:7b-qwen` . Sa capacité à comprendre et à formater un appel d'outil est un atout majeur pour votre projet.
|
||
|
|
2. **Pour un projet ambitieux ou professionnel** : Si le modèle généraliste n'est pas assez fiable, envisagez d'utiliser le modèle fine-tuné `prav719/deepseek-7B-text-to-sql-flash-attention-2`. Il a été entraîné spécifiquement pour la génération de requêtes SQL, ce qui devrait vous donner de meilleurs résultats, quitte à passer un peu plus de temps sur la configuration initiale .
|
||
|
|
|
||
|
|
### ⚠️ Important : le "prix" du raisonnement
|
||
|
|
|
||
|
|
Les modèles DeepSeek R1 sont des "modèles de raisonnement". Cela signifie qu'ils génèrent une chaîne de pensée (entre balises `think`) avant de répondre . C'est excellent pour la précision, mais cela ralentit le temps de réponse et allonge les réponses. C'est un compromis à garder en tête par rapport à un modèle plus direct comme Llama .
|