Nicolas Cantu
5ad559a263
- Ajout de l'intégration Celery pour les tâches asynchrones - Création des tâches spécialisées (OCR, classification, extraction, indexation, vérification) - Configuration des queues Celery avec Redis - Création du fichier d'environnement complet (.env.example et .env) - Script bootstrap automatisé pour l'initialisation - Amélioration du worker avec orchestration des pipelines - Ajout des dépendances Celery et Kombu Fonctionnalités ajoutées: - Pipeline de traitement asynchrone avec Celery - Tâches de traitement en lot - Monitoring et health checks - Configuration d'environnement centralisée - Script d'initialisation automatisé
98 lines
3.1 KiB
Python
98 lines
3.1 KiB
Python
"""
|
|
Tâches d'indexation des documents
|
|
"""
|
|
import logging
|
|
from typing import Dict, Any
|
|
from services.worker.celery_app import app
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
@app.task(bind=True, name='indexing.index_document')
|
|
def index_document(self, doc_id: str, text: str, entities: Dict[str, Any], doc_type: str, context: Dict[str, Any]) -> Dict[str, Any]:
|
|
"""
|
|
Indexation d'un document dans les systèmes de recherche
|
|
|
|
Args:
|
|
doc_id: Identifiant du document
|
|
text: Texte extrait du document
|
|
entities: Entités extraites
|
|
doc_type: Type de document
|
|
context: Contexte de traitement
|
|
|
|
Returns:
|
|
Résultat de l'indexation
|
|
"""
|
|
try:
|
|
logger.info(f"Début de l'indexation pour le document {doc_id}")
|
|
|
|
# Mise à jour du statut
|
|
self.update_state(
|
|
state='PROGRESS',
|
|
meta={'current_step': 'indexing', 'progress': 0}
|
|
)
|
|
|
|
# TODO: Implémenter l'indexation réelle
|
|
# - Indexation dans AnythingLLM
|
|
# - Indexation dans OpenSearch
|
|
# - Création du graphe Neo4j
|
|
|
|
import time
|
|
time.sleep(1) # Simulation du traitement
|
|
|
|
result = {
|
|
'doc_id': doc_id,
|
|
'status': 'completed',
|
|
'indexed_in': {
|
|
'anythingllm': True,
|
|
'opensearch': True,
|
|
'neo4j': True
|
|
},
|
|
'chunks_created': 5,
|
|
'processing_time': 1.0
|
|
}
|
|
|
|
logger.info(f"Indexation terminée pour le document {doc_id}")
|
|
return result
|
|
|
|
except Exception as e:
|
|
logger.error(f"Erreur lors de l'indexation du document {doc_id}: {e}")
|
|
raise
|
|
|
|
@app.task(name='indexing.batch_index')
|
|
def batch_index_documents(doc_ids: list, texts: list, entities_list: list, doc_types: list) -> Dict[str, Any]:
|
|
"""
|
|
Indexation en lot de documents
|
|
|
|
Args:
|
|
doc_ids: Liste des identifiants de documents
|
|
texts: Liste des textes correspondants
|
|
entities_list: Liste des entités correspondantes
|
|
doc_types: Liste des types de documents correspondants
|
|
|
|
Returns:
|
|
Résultats de l'indexation en lot
|
|
"""
|
|
if len(doc_ids) != len(texts) or len(doc_ids) != len(entities_list) or len(doc_ids) != len(doc_types):
|
|
raise ValueError("Le nombre de documents, textes, entités et types doit être identique")
|
|
|
|
logger.info(f"Indexation en lot de {len(doc_ids)} documents")
|
|
|
|
results = []
|
|
for doc_id, text, entities, doc_type in zip(doc_ids, texts, entities_list, doc_types):
|
|
try:
|
|
result = index_document.delay(doc_id, text, entities, doc_type, {}).get()
|
|
results.append(result)
|
|
except Exception as e:
|
|
logger.error(f"Erreur lors de l'indexation en lot pour {doc_id}: {e}")
|
|
results.append({
|
|
'doc_id': doc_id,
|
|
'status': 'failed',
|
|
'error': str(e)
|
|
})
|
|
|
|
return {
|
|
'batch_status': 'completed',
|
|
'total_documents': len(doc_ids),
|
|
'results': results
|
|
}
|