Implementar tu propio ChatGPT localmente, multiples modelos opensource

El proyecto aplicado es para la versión local con tarjeta gráfica integrada, es funcional aunque el tiempo de respuesta no es el acostumbrado frente a los servicios en la web que conocemos. La ventaja es que puede agregar funcionalidades premium como el procesamiento desde documentos o imágenes.

  1. Descargar programa Ollama, elegiremos el sistema operativo sobre el que vamos a desplegar, en este caso windows.
    Pasted image 20240430192737.png

    Procedemos con la instalación.
    Pasted image 20240430221531.png

  2. Instalar Docker

  3. Abrir el terminal y ejecutar el siguiente comando. Descargará la imagen webui para docker.

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    Pasted image 20240430194202.png
    Una vez completado validamos el despliegue ingresando desde el navegador a http://localhost:3000

  4. Creamos una cuenta local (Sign up) para conectarnos.
    Pasted image 20240430194605.png

  5. Para instalar cualquier modelo es necesario realizarlo desde la terminal. La lista de modelos disponibles están aquí

    ollama pull nombremodelo

    El modelo será descargado.
    Pasted image 20240430195515.png

    Al concluir dentro de la interfaz web podremos elegir el modelo que se desee usar.
    Pasted image 20240430195730.png

  6. Configuraremos modelos mediante apikey de OpenAI.

    Pasted image 20240430202534.png

    Colocamos la clave y Guardamos
    Pasted image 20240430202603.png

    Lo tendremos disponible para usar en cualquier chat
    Pasted image 20240430221329.png

  7. Ya puedes administrar tus chats y personalizarlos.

    Pasted image 20240430223809.png

Si este artículo te sirvió agradecería puedas apoyarme con un café.