95 lines
2.6 KiB
Markdown
95 lines
2.6 KiB
Markdown
# Les expériences
|
|
|
|
## Quel LLM pour les expériences ?
|
|
|
|
- L'outil utilisé pour les expériences est ollama
|
|
- Le LLM utilisé pour les expériences est `deepseek-r1:7b` et aussi le distilled deepseek-r1 qwen.
|
|
|
|
Pourquoi un reasoning model ? Pour voir les "inner thoughts" du model.
|
|
Pour voir s'il "comprend" correctement la question. On passera à un truc plus léger
|
|
ultérieurement.
|
|
|
|
Tests des LLM plus légers:
|
|
|
|
- phi3-medium : trop lent
|
|
- mistral 7b : peu pertinent malheureusement:
|
|
|
|
```
|
|
>>> what is the HTTPS Proxy variables' group name ?
|
|
The HTTPS Proxy variables are part of the "Manual proxy configuration" group.
|
|
```
|
|
|
|
- maternion/minicpm5:2b plutôt pas mal, même si ses "inner thouths" sont un peu bizarre
|
|
|
|
```
|
|
The HTTPS Proxy variables belong to the group named **HTTPS Proxy**.
|
|
```
|
|
- phi3: c'est dur de l'admettre (c'est le modèle open source de microsoft)
|
|
mais il a l'air de donner de bon résultats:
|
|
|
|
```
|
|
>>> what is the HTTPS Proxy variables' group name ?
|
|
The group name for the HTTPS Proxy variables is "manual.https_proxy".
|
|
```
|
|
|
|
- les LLM agentiques: le modèle maternion/minicpm5:2b
|
|
|
|
ça fonctionne pas mal du tout. Le temps de réponse est rapide,
|
|
mais il passe pas mal de temps en inner thougts (très verbeux en inner thoughts)
|
|
donc ça fait perdre du temps.
|
|
|
|
```
|
|
>>> what is the HTTPS Proxy variables' group name ?
|
|
The HTTPS Proxy variables belong to the group **`manual.https_proxy`** (as indicated by the path in the documentation). This group is located under the "Manual proxy
|
|
configuration" section.
|
|
```
|
|
|
|
|
|
## installation de ollama
|
|
|
|
`curl https://ollama.ai/install.sh | sh`
|
|
|
|
|
|
curl https://ollama.ai/install.sh | sh
|
|
(...)
|
|
>>> Installing ollama to /usr/local/bin...
|
|
>>> Creating ollama user...
|
|
>>> Adding ollama user to render group...
|
|
>>> Adding current user to ollama group...
|
|
>>> Creating ollama systemd service...
|
|
>>> Enabling and starting ollama service...
|
|
Created symlink /etc/systemd/system/default.target.wants/ollama.service
|
|
→ /etc/systemd/system/ollama.service.
|
|
>>> The Ollama API is now available at 0.0.0.0:11434.
|
|
>>> Install complete. Run "ollama" from the command line.
|
|
|
|
|
|
Ou bien, sous ubuntu:
|
|
|
|
snap install ollama
|
|
|
|
|
|
## construction du prompt rougail-ai
|
|
|
|
- Ouvrir un terminal dans le dossier `prompt` du projet `rougail-ai`
|
|
- Lancer la commande :
|
|
|
|
```
|
|
ollama create rougail_ai -f rougail.modelfile
|
|
|
|
gathering model components
|
|
pulling manifest
|
|
(...)
|
|
writing manifest
|
|
```
|
|
|
|
Le prompt est prêt à être utilisé.
|
|
|
|
- Lancer la commande
|
|
|
|
```
|
|
ollama run rougail_ai
|
|
|
|
```
|
|
Les expériences sont prêtes à être réalisées.
|
|
|