Comment obtenir Notion

Ming

Suivre

--

Écouter

Partager

Notion AI est cool, mais j'utilise Obsidian . De plus, je préfère garder mes notes hors ligne . Comment puis-je imiter l'expérience d'écriture pour vousaussi proche que possible?

Dans cet article, je présente ma configuration d'activation de la fonctionnalité de saisie semi-automatique basée sur LLM.en obsidienne.

La recette d'aujourd'hui ne comprend que 3 ingrédients:

Il suffit de 3 lignes pour démarrer un serveur LocalAI :

Il s'agit simplement du serveur API ; les modèles eux-mêmes sont trop gros (~ 13 Gio) pour être servis depuis GitHub. HuggingFace est le bon endroit pour trouver des fichiers de modèles volumineux.

Mise en garde : sous le capot, LocalAI utilise llama.cpp pour servir les modèles de style LLaMA. llama.cpp a récemment subi quelques modifications majeures, rendant les anciens fichiers de modèle inutilisables. Au moment de la rédaction de cet article, si vous recherchez des modèles de style LLaMA sur HuggingFace, les téléchargements les plus populaires seraient dans l'ancien format. Aujourd'hui, llama.cpp nécessite des modèles préparés au format GGML V3, que vous pouvez reconnaître par le nom de fichier suivant le modèle *ggmlv3*.bin.

Allons chercher de l'alpaga. Téléchargez alpaca.13b.ggmlv3.q8_0.bin dans ./models/ du dépôt cloné. Renommez-le en gpt-3.5-turbo (sans extension). En effet, le plugin Text Generation a une liste codée en dur de noms de modèles, nous devons donc prétendre que nous en avons un dans la liste.

Dans les paramètres de ce plugin, pointez le point final vers http://localhost:8080. Vous devriez maintenant être prêt à partir. Le déclencheur par défaut est un double espace, alors appuyez dessus.

Ne soyez cependant pas trop enthousiasmé par la performance. Sur mon MacBook pro (Mac14,5), il a fallu 20s pour m'obtenir ceci :

Apparemment, Alpaca n'était pas un fan de Portal.