gremond/rougail-ai
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
rougail-ai/doc/Experiments.md
gwen d2c20916e2 clean
2026-09-14 09:57:21 +02:00

2.6 KiB
Raw Blame History

Les expériences

Quel LLM pour les expériences ?

  • L'outil utilisé pour les expériences est ollama
  • Le LLM utilisé pour les expériences est deepseek-r1:7b et aussi le distilled deepseek-r1 qwen.

Pourquoi un reasoning model ? Pour voir les "inner thoughts" du model. Pour voir s'il "comprend" correctement la question. On passera à un truc plus léger ultérieurement.

Tests des LLM plus légers:

  • phi3-medium : trop lent
  • mistral 7b : peu pertinent malheureusement:
    >>> what is the HTTPS Proxy variables' group name ?
     The HTTPS Proxy variables are part of the "Manual proxy configuration" group.
  • maternion/minicpm5:2b plutôt pas mal, même si ses "inner thouths" sont un peu bizarre
    The HTTPS Proxy variables belong to the group named **HTTPS Proxy**.
  • phi3: c'est dur de l'admettre (c'est le modèle open source de microsoft) mais il a l'air de donner de bon résultats:
>>> what is the HTTPS Proxy variables' group name ?
The group name for the HTTPS Proxy variables is "manual.https_proxy".

  • les LLM agentiques: le modèle maternion/minicpm5:2b

    ça fonctionne pas mal du tout. Le temps de réponse est rapide, mais il passe pas mal de temps en inner thougts (très verbeux en inner thoughts) donc ça fait perdre du temps.

>>> what is the HTTPS Proxy variables' group name ?
The HTTPS Proxy variables belong to the group **`manual.https_proxy`** (as indicated by the path in the documentation). This group is located under the "Manual proxy 
configuration" section.

installation de ollama

curl https://ollama.ai/install.sh | sh

curl https://ollama.ai/install.sh | sh
(...)
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service
→ /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 0.0.0.0:11434.
>>> Install complete. Run "ollama" from the command line.

Ou bien, sous ubuntu:

snap install ollama

construction du prompt rougail-ai

  • Ouvrir un terminal dans le dossier prompt du projet rougail-ai
  • Lancer la commande :
    ollama create rougail_ai -f rougail.modelfile
    
    gathering model components 
    pulling manifest 
    (...)
    writing manifest

Le prompt est prêt à être utilisé.

  • Lancer la commande
    ollama run rougail_ai

Les expériences sont prêtes à être réalisées.