Instale plantillas gratuitas de LLM y chat AI en la PC, localmente y sin conexión

A menos que trabajes en el sector, la inteligencia artificial está hoy asociada a ChatGPT, la aplicación que todos utilizamos para trabajar, estudiar o hacer experimentos sencillos. Sin embargo, lo que hay detrás de ChatGPT es un mundo vasto y en constante evolución, que requeriría un estudio en profundidad y muchas habilidades técnicas para comprenderlo completamente.
Sin entrar en demasiados detalles técnicos que se pueden buscar fácilmente, en esta publicación quería compartir algunos Recursos para tener tu propia herramienta de IA en tu PCy así crear, sin demasiada dificultad, una Posee ChatGPT localmente en la computadora de tu hogar u oficina, completamente gratis y también funciona sin conexión.

LEA TAMBIÉN: Cómo utilizar la IA más precisa y exacta.

¿Puedes instalar una IA como ChatGPT en tu PC?

Antes de comenzar, hagamos un mega resumen simplificado para comprender cómo funcionan las aplicaciones impulsadas por IA como ChatGPT, la más famosa, pero solo una de las muchas disponibles.
La historia comienza con el concepto de LLM (Modelo de lenguaje grande), es decir, el programa de IA basado en texto. LLM, que significa modelo de lenguaje grandeEs capaz de comprender el lenguaje humano y generar respuestas coherentes. Los LLM utilizan el aprendizaje profundoun tipo de aprendizaje automático que aprende y adquiere nuevos datos a partir de su uso.
Podemos leer una guía bien escrita y accesible sobre LLM en el sitio web de Cloudflare.

Sin profundizar más en la teoría, lo importante es saber que si bien GPT de OpenAI es un LLM propietario pago (al menos GPT3 y GPT4), existen otros Los LLM como Llama de Facebook, Mistral y Gemma de Google son de uso gratuito para proyectos personales e investigaciones (hay una lista completa en la página de Wikipedia en inglés sobre LLM).
Si ahora nos preguntábamos si es posible utilizar una IA como ChatGPT de forma gratuita y sin limitaciones, la respuesta es definitivamente sí. Podemos instalar fácilmente un programa LLM en su PC, Windows, Linux o Macy úsalo libre y gratis, que también funciona sin conexión, sin conectarse a servidores o servicios externos.

Hay muchas formas de instalar una IA en tu PC y muchos programas que actúan como interfaz para chatear con la inteligencia artificial. Algunos de ellos son sencillos y gratuitos, otros son más complicados.
El único requisito importante necesario para utilizar la IA en su PC es un hardware decente en la computadora, una CPU moderna y, sobre todo, 16 GB de RAM y una tarjeta de video dedicada.
Antes que nada, veamos el vídeo resumen.

LM Studio, el más sencillo

La forma más fácil que he encontrado para poder utilizar el chat de texto con tecnología de inteligencia artificial y un LLM gratuito es instalando el programa. Estudio LM. No puedo descartar que existan programas más sencillos (ya que hay muchísimas alternativas), pero digamos que quedé satisfecho con este).
LMStudio no es un software de código abierto, por lo que rara vez se menciona en las distintas guías, pero funciona muy bien, es fácil de instalar y activar, no requiere paquetes adicionales y está listo para usar.

Después de la descarga e instalación, se le pedirá que descargar una plantilla LLM y la elección puede ser Gemma, Mistral o Llama, que se pueden utilizar libremente.
En el sección de desarrollador puede cargar la plantilla LLM descargada en su PC y en sección descubrir es posible encontrar plantillas LLM descargablesincluido Gema 2 2B Y Llama 3.2 También se recomiendan porque ocupan menos espacio en disco.

Programas de código abierto para modelos AI y LLM en computadoras locales

Si desea una solución de código completamente abierto, puede instalar el programa. Ollamagratis. Sin embargo, utilizar Ollama es un poco más complicado. En primer lugar, debe descargar el intérprete de comandos de Python en su PC y luego instalar una interfaz gráfica.
Python no requiere configuración, aunque debe asegurarse de que la ruta de instalación esté agregada a las variables de entorno de su PC (en Windows, busque variables de entorno en el menú Inicio).
A través del comando Python (en una ventana de Terminal de Windows), puede descargue el LLM para Ollama. Aquí también puedes elegir un modelo. Llama 3.2 o gema 2 (que requieren menos RAM) o incluso Mistral que sin embargo es más grande. En la página de Ollama Github se encuentran los comandos para iniciar la descarga.
Por ejemplo, para descargar Llama 3.2, con Ollama ejecutándose, debe abrir un símbolo del sistema en Windows (o Terminal) y escribir el comando ollama corre llama3.2 .

Ollama por sí sola es una aplicación de servidor que permanece en segundo plano, para utilizar el chat se necesita una interfaz gráfica.
La mejor interfaz para Ollama es Open Web UI, que sin embargo también requiere la instalación del programa Docker (que debe iniciarse y dejarse en segundo plano) y la ejecución de algunos comandos en el terminal (explicados en la página del proyecto).
Más simples son programas como Msty (gratuito para uso personal), Anything LLM (fácil y que también incluye Ollama) y luego también ConfyChat, gratuito y de código abierto, más esencial y simple, solo descárgalo e inicia (en Windows, ejecuta confichat.exe). archivo).

Dado que Ollama es una aplicación de servidor, no hace falta decir que es posible acceder al chat AI, por ejemplo el de ConfyChat, también a través de un teléfono inteligente abriendo la página web indicada (normalmente en la dirección 127.0.0.1: número de puerto), siempre que el smartphone esté conectado a la misma red WiFi que el ordenador.

De esta manera, resulta fácil tener una IA basada en texto como ChatGPT. Soluciones como LM Studio, aunque no son de código abierto, son muy eficientes, especialmente en PC menos potentes. Ollama también funciona muy bien en mi PC, con 16 GB de RAM y una tarjeta de video de hace unos años no parece sufrir lentitud.

¿Puedo chatear con IA LLM en un teléfono inteligente?

Sí, hay algunas aplicaciones para instalar LLM localmente en Androidcomo Private AI o Chatllama o LM Playground, que descarga automáticamente las plantillas más ligeras para que las uses y las pruebes.
Se puede hacer mejor en iPhonegracias a la aplicación MyOllama, al precio de 3 euros.

LEA TAMBIÉN: Crea y chatea con un bot con tecnología de inteligencia artificial que responde como una persona real