On vous explique comment faire tourner votre propre ChatGPT sur votre propre ordinateur, de la méthode la plus accessible à la méthode la plus avancée.
❤️ Patreon
💬 Discord
💻 techcafe.fr
(Publicité)
Infomaniak partage les valeurs de Tech Café :
éthique, écologie et respect de la vie privée.
👉 Découvrez les offres gratuites de notre partenaire : infomaniak.com
Niveau bébé
- Un chatbot sur son PC Pourquoi faire ? La science ! L’innovation ! Mais surtout le fun.
- LLM ça : C’est quoi un modèle de langage ?
- Section kézako : tokens, contexte, vecteurs et samplers.
- Niveau facile : les logiciels qui font tout (ou presque) Faraday.dev et LM Studio.
- Matériel : ai-je tout l’équipement pour prendre soin de mon LLama ?
Niveau bambin
- GGML et GPTQ : du JPEG pour les IA ? C’est flou…
- Que choisir ? Un 34b en Q3_K_S ou un 13b en Q4_K_M ? Bonne question !
- Niveau moyen : KoboldCpp et l’embarras du choix des IA…
- Les samplers en détails : top_k, top_p, tfs, mirostat et on en passe (rassurez-vous).
Niveau barbu
- Niveau difficile : Oobabooga, lora et plugins, llamacpp et ses grammaires.
- Sampling spéculatif : de l’art de gagner du temps en travaillant pour rien.
- PrivateGPT, et pourquoi je ne discuterais pas avec mes PDF ?
- Odyssée de la barre d’espace : avec Open-interpreter, met Hal 9000 dans ton PC.
- Llama, des licences peu poétiques, il y a aussi les MPT, Openllama, Falcon, etc.
Liens bonus
- Quelques liens pour se tenir au courant:
- Tech Café 😝
- r/localllama
- r/oobabooga
- r/deeplearning
- Et deux chaînes YouTube.
- Les modèles “chatGPT” valeurs sûres : llama2chat, Vicuna1.5, NousHermes-llama2.
- Le modèle “fine-tuné” en français : Vigogne-2.
- Les modèles 18+ et waifu friendly : Mythomax-L2, Pygmalion2.
- Les modèles qui codent : codellama-instruct, wizardlm-codellama.
- À retrouver dans la taille et la saveur de votre choix grâce à TheBloke (Tim Jobbins).
- Et pour tester le GROS Llama et le TRES GROS Falcon gratuit…
Participants
- Une émission préparée par Guillaume Poggiaspalla
- Présenté par Guillaume Vendé
Merci beaucoup Guillaume et Guillaume pour cet épisode au format différent, mais que j’ai ô combien apprécié ! Il faut dire que j’avais essayé de mettre en oeuvre codellama 2 juste en téléchargeant le modèle et en lisant le readme… L’installation à la main de tout l’environnement (python, pip, conda, pytorch) avait fini par me rebuter. Cet épisode m’a redonné espoir, je vais m’y remettre !
Je n’ai jamais regretté mon abonnement Patreon, et surtout pas avec cet épisode.
Qui sait, peut-être le début d’un format récurrent pour évoquer en détail les actualités des LLM, en remplacement de Tech Café Domotique (petit podcast parti trop tôt… <3 ) ?
Je pense que même si le rythme de maj des outils ne permettra pas de garder cet épisode UpToDate longtemps (comme les épisodes sur l’émulation, le fonctionnement des processeurs avec des castors et des noisettes, …) il n’empêche que la démystification est clairement la ! Objectif atteint !
J’ai un Mac M1Pro et je vais investir un peu de temps pour expérimenter car je ne pensais pas que cela était aussi accessible !
Merci GPP pour cet immense effort de vulgarisation (et GV pour l’animation !). Le duo fonctionne toujours aussi bien. Bravo les gars !
Bravo pour cet épisode !
Absolument génial cet épisode, didactique, vulgarisé juste comme il faut Surtout, il donne envie de se lancer et d’ouvrir le capot de cette technologie oh combien fantasmée.
Merci pour cette épisode. Vraiment très intéressant.
Ca serait cool si des épisodes du même genre était fait sur d’autres sujets IA, par exemple la génération d’image avec Stable Diffusion
C’est épisode est passionnant pour tout ceux qui veulent comprendre concrètement le fonctionnement d’un générateur de language.