Skip to Content

Ollama y modelos locales

Ollama permite ejecutar LLMs y modelos de embedding en tu propio hardware, sin enviar datos a la nube.

Ollama y modelos locales
Esquema de «Ollama y modelos locales»: Ventajas para INT · Modelos en la workstation

Ventajas para INT

  • Privacidad total: las licitaciones y datos internos no salen de tu red.
  • Costo marginal cero: sin pago por token.
  • Control: eliges versión, cuantización y parámetros.
  • Offline: funciona sin internet.

Modelos en la workstation

  • qwen3:32b — generación de reportes (LicitIA).
  • llama3.3:70b — razonamiento pesado.
  • bge-m3 — embeddings multilingües.
  • nomic-embed-text — embeddings ligeros.
HARDWARE

las 2× RTX 5090 de la workstation aceleran inferencia y embeddings por GPU.


Rating
0 0

There are no comments for now.

to be the first to leave a comment.