smart_ide/docs/features/initial-rag-sync-4nkaiignore.md
4NK 3f1894e21f Remove AnythingLLM VS Code extension; add Carbonyl service (upstream submodule)
- Delete extensions/anythingllm-workspaces; document migration to anythingllm-devtools
- Add services/carbonyl: shallow submodule fathyb/carbonyl, run-carbonyl.sh (Docker/native)
- Add scripts/open-carbonyl-preview-test.sh and smart_ide.preview_urls.test in example conf
- Docs: service-carbonyl, carbonyl-terminal-browser, architecture index updates
2026-04-03 22:13:34 +02:00

1.9 KiB
Raw Permalink Blame History

Synchronisation RAG initiale et .4nkaiignore

Author: 4NK

Objectif

À la création du clone (ou chargement sync), disposer dun workspace AnythingLLM aligné sur le dépôt et importer une première vague de fichiers utiles au RAG, en excluant le bruit via un fichier .4nkaiignore (syntaxe identique à .gitignore).

Comportement

  1. Serveur repos-devtools-server : après git clone réussi, copie templates/4nkaiignore.default vers <repo>/.4nkaiignore si absent.
  2. Service anythingllm-devtools : après /repos-clone-sync, /repos-load-sync, ou sur /workspace-sync <nom>, si la synchro initiale nest pas désactivée (ANYTHINGLLM_INITIAL_SYNC_AFTER_CLONE côté service) :
    • assure .4nkaiignore depuis le template si toujours absent ;
    • parcourt le dépôt, applique règles de base + .4nkaiignore ;
    • envoie chaque fichier accepté via POST /api/v1/document/upload avec addToWorkspaces = slug du workspace.

Fichier type

  • services/anythingllm-devtools/templates/4nkaiignore.default (référence)
  • services/repos-devtools-server/templates/4nkaiignore.default (même contenu ; à maintenir en parité)

Lutilisateur renomme / copie en .4nkaiignore à la racine du projet et adapte les règles.

Prérequis AnythingLLM

Le collecteur / processeur de documents doit être joignable par linstance AnythingLLM ; sinon lupload API échoue avec le message renvoyé par le serveur.

Modalités danalyse

  • Compter les champs uploaded, skipped, errors, capped, dotfileCreated dans la section Initial RAG sync du panneau Dev tools.
  • Vérifier les logs AnythingLLM / collector en cas déchec systématique des uploads.

Modalités de déploiement

  • Rebuild et redémarrage de repos-devtools-server et de anythingllm-devtools.