Ollama: cómo correr IA local en tu empresa sin que los datos salgan

Qué es Ollama y por qué te lo están mencionando

Ollama es un programa que descarga modelos de lenguaje y los corre en la computadora donde lo instalaste. No hay cuenta, no hay suscripción y, sobre todo, no hay nada saliendo a internet cuando le haces una pregunta.

Casi siempre llega a una empresa por la misma conversación. Alguien del equipo quiere usar IA para trabajar con documentos internos, legal o seguridad pregunta a dónde van esos documentos, y la respuesta "a un servidor de un proveedor en otro país" corta el proyecto. Ahí aparece la pregunta de si se puede correr adentro, y la respuesta técnica se llama Ollama.

Lo que hace por dentro no es magia: descarga los pesos del modelo, los carga en memoria y levanta un servidor local que responde a preguntas. La parte que le da su fama es que todo eso se resuelve con un comando en vez de con una tarde de configuración.

Cómo instalar Ollama

En Mac y en Windows se instala como cualquier aplicación, desde su página oficial. En Mac con Homebrew también sale de una línea:

brew install ollama

En Linux, el instalador oficial:

curl -fsSL https://ollama.com/install.sh | sh

Y ya. Después se descarga un modelo y se prueba, que es donde se ve si tu máquina aguanta:

ollama run llama3.2

La primera vez descarga el modelo, que pesa varios gigas, y después arranca en segundos. Si te quedas mirando la pantalla más de un minuto sin respuesta, casi siempre es que el modelo no cabe en la memoria de tu máquina y el sistema está usando disco.

Los comandos que se usan todos los días

Son cuatro y con eso alcanza para el 90% del uso:

El de borrar es el que más se olvida y el que más problemas evita. Los modelos pesan entre 2 y 40 gigas cada uno, y probar cinco un sábado te deja el disco lleno sin que te des cuenta.

En qué puerto corre Ollama y cómo se conecta otra herramienta

Ollama escucha por defecto en el puerto 11434, que en la documentación vas a ver como Ollama port. Su dirección base es http://localhost:11434. Ese es el dato que piden casi todas las herramientas que se conectan a él, y el que más se busca cuando algo no conecta.

Los dos endpoints que se usan son /api/generate para una respuesta suelta y /api/chat para conversación con historial. Además expone una API compatible con la de OpenAI en /v1, que es lo que permite que muchas herramientas funcionen apuntando ahí sin cambiar nada más.

Si necesitas que otra máquina de la red lo alcance, hay que decirle que escuche fuera de sí mismo, con la variable de entorno OLLAMA_HOST. Las otras dos variables que se tocan en la práctica son OLLAMA_MODELS, para guardar los modelos en otro disco, y OLLAMA_KEEP_ALIVE, para que no descargue el modelo de memoria entre pregunta y pregunta.

Una advertencia que va en serio: si abres Ollama a la red, queda sin contraseña. Adentro de una empresa eso significa que cualquiera que llegue a esa IP puede usarlo. Se resuelve poniéndole algo delante que pida autenticación, y es el tipo de detalle que separa una prueba de un despliegue.

Ollama vs LM Studio vs vLLM vs llama.cpp: cuál te toca

Los cuatro corren modelos localmente y se eligen por para qué los quieres, no por cuál es mejor. Cuando alguien pregunta Ollama vs LM Studio casi siempre está preguntando otra cosa: si quiere probar o si quiere dejarlo funcionando. Y vLLM vs Ollama, o llama.cpp vs Ollama, es la misma pregunta un escalón más arriba, cuando ya hay que atender a varias personas a la vez.

Mi recomendación cuando me preguntan: LM Studio para ver de qué se trata un sábado, Ollama para el piloto de la empresa, y vLLM recién cuando el piloto funcionó y hay que atender a un área entera.

Ollama con Claude Code, LangChain y otras herramientas

La razón por la que Ollama aparece tanto junto a otros nombres es que su API es compatible con la de OpenAI. Eso hace que muchas herramientas funcionen apuntándolas a tu máquina en vez de a un proveedor.

• Con LangChain: hay integración directa, y es el camino más común cuando se está construyendo algo propio encima.
• Con interfaz web: lo que se busca como Ollama web UI o Ollama webui es esto: Open WebUI, que le da a un equipo no técnico una pantalla parecida a la de un chat conocido, corriendo contra tu Ollama.
• Con herramientas de código: las que permiten configurar una dirección base compatible con OpenAI pueden apuntar a Ollama. Vale la advertencia honesta: un modelo local pequeño rinde bastante menos que los modelos grandes de pago para escribir código, y la diferencia se nota rápido.
• Con MCP: el estándar que permite que un modelo use tus herramientas también funciona aquí, y es lo que convierte la prueba en algo que consulta tus sistemas.

Qué máquina hace falta, sin adornos

Lo que manda es la memoria. Un modelo tiene que caber, y si no cabe el sistema empieza a usar disco y la respuesta pasa de segundos a minutos.

• Modelos chicos, de los que sirven para clasificar y resumir: funcionan en una laptop normal con memoria holgada.
• Modelos medianos, que ya conversan decentemente: piden bastante más memoria, y sin tarjeta gráfica van lentos pero van.
• Modelos grandes: necesitan GPU. Aquí es donde deja de ser un experimento en la laptop de alguien y pasa a ser un servidor.

El error que veo seguido es probar el modelo más grande en la primera tarde, ver que va lentísimo y concluir que la IA local no sirve. Sirve; lo que no sirve es la máquina para ese modelo.

Ollama frente a ChatGPT: qué se gana y qué se pierde

Se gana lo obvio y lo que suele decidir: la información no sale, no hay costo por consulta y funciona sin internet. En sectores donde hay una norma de por medio, eso no es una ventaja, es el requisito que hace posible el proyecto.

Se pierde calidad. Un modelo que cabe en tu máquina razona peor, sigue instrucciones complejas con menos fidelidad y se equivoca más en tareas largas que un modelo grande de pago. Quien te diga lo contrario no ha comparado los dos sobre el mismo trabajo.

Por eso lo que termino armando casi siempre es mixto: lo sensible se queda adentro con un modelo local, y lo demás va a la nube con un contrato que diga qué se puede hacer con tus datos. Qué cae de cada lado no es una decisión técnica, es una decisión de riesgo, y se toma con legal en la sala. Esa parte la trabajo en cumplimiento de la Ley 31814.

Preguntas frecuentes

¿Quieres implementar esto en tu empresa?

Nuestra consultoría en IA para empresas diseña programas de capacitación y soluciones de datos personalizadas para empresas en Perú y LATAM. Desde workshops de 2-4 horas hasta programas completos de transformación digital de 6 meses.

¿Aún no sabes por dónde empezar? Haz gratis el diagnóstico de madurez en IA en 2 minutos y descubre en qué nivel está tu empresa y cuál es tu siguiente paso.

Escrito por

Gera Flores (Miss Yera)

Consultora y experta en IA

Agenda 30 min con Gera Ver bio completa