• 1950s. Primeros sistemas basados en reglas lingüísticas y diccionarios manuales. El enfoque era principalmente sintáctico con capacidades limitadas.
• 1990s. Transición hacia modelos probabilísticos y estadísticos que aprendían patrones del lenguaje a partir de grandes corpus de textos.
• 2013 Word2Vec introduce embeddings neuronales que capturan relaciones semánticas entre palabras, permitiendo operaciones matemáticas con significados lingüísticos.
• 2018-Presente. Arquitecturas de transformers como BERT y GPT revolucionan el campo con modelos preentrenados capaces de entender contexto y generar texto avanzado con mínima supervisión.

Vectores. Permite la comprensión semántica para los modelos PLN, Facilitan cálculos precisos con conceptos linguisticos permitiendo detectar similitudes, analogías y contrastes entre palabras. Transforman el texto en representaciones numéricas precisas que los algoritmos pueden procesar eficientemente.

Antes teniamos una representación One-Hot, y existian algunas complicaciones porque no capturaba ninguna relación semántica enter palabras, además de tener una dimensionalidad alta con más del 99% de valores en cero, Luego pasamos al Embedding que permitió tener vectores densos y compactos con valores continuos que codifican significado, una dimensionalidad reducida (100-300 dimensiones) y con una mejor eficiencia computacional. De esta forma, cada palabra se transforma en un vector numérico multidimensional que captura su esencia semántica, con proximidad semántica, es decir, palabras con significados semejantes se posicionan próximas en el espacio vectorial, creando agrupaciones naturales, adicional, el ángulo entre vectores cuantifica con precisión la similitud semántica entre términos en el espacio multidimensional y permite analogías vectorial u Operaciones algebraicas revelan relaciones semánticas: Rey - Hombre → Mujer ≈ Reina, demostrando la captura de patrones lingüísticos.

Word2Vec. Desarrollado por Google. Utiliza dos arquitecturas: CBOW (Continuous Bag of Words) y Skip-Gram. Se entrena para predecir una palabra a partir de su contexto o viceversa.

Glove. Global Vectors for Word Representation, desarrollado por Stanford. Combina el conteo global de palabras con métodos de predicción, capturando información estadística de todo el corpus.

FastText. Creado por Facebook. A diferencia de Word2Vec, considera subpalabras (n-gramas), lo que le permite representar palabras desconocidas y manejar mejor lenguas morfológicas.

Word2Vec y GloVe generan vectores estáticos: una palabra siempre tendrá el mismo vector, sin importar el contexto. Con la llegada de modelos como ELMo, GPT y BERT, surgieron los embeddings contextuales, donde el significado de una palabra cambia según su contexto.