NLP: del texto al vector
El Procesamiento de Lenguaje Natural (NLP) convierte texto en números que un modelo puede entender.
Del texto al espacio vectorial: significados similares quedan cerca.
El pipeline clásico
- Tokenización: dividir en palabras o subpalabras (tokens).
- Limpieza: minúsculas, quitar stopwords, lematizar.
- Vectorización: Bag-of-Words, TF-IDF o embeddings.
Embeddings
Representan cada palabra/frase como un vector denso donde la cercanía = similitud semántica. "gato" y "perro" quedan cerca; "gato" y "tornillo" quedan lejos.
Aplicaciones
- Búsqueda semántica y recuperación (RAG).
- Análisis de sentimiento, clasificación de documentos.
- Traducción, resumen, chatbots.
EN INT
usamos embeddings bge-m3 en el RAG de LicitIA para buscar en miles de documentos de licitaciones.
Calificación
No hay comentarios por ahora.
para ser el primero en comentar.