De 16 a 64 GB de RAM: mi IA local da el salto de calidad

Hace tiempo que en este blog hablo de mi experimento de tener una inteligencia artificial corriendo en mi propio equipo, sin depender de la nube. Hoy toca contar una actualización importante: he ampliado la memoria RAM de mi máquina a 64 GB y eso ha cambiado por completo lo que mi IA local puede hacer.

El porqué del cambio

Mi equipo ya tenía una buena tarjeta gráfica (una Radeon RX 7600 XT con 16 GB de VRAM), pero la RAM del sistema se había quedado corta para lo que quería hacer. Con la ampliación a 64 GB, el ordenador puede cargar modelos de IA mucho más grandes en memoria, usando la gráfica para lo pesado y la RAM para el resto.

Una nota de mantenimiento: al instalar los 64 GB, la placa base no gestionaba bien la memoria y el equipo daba errores al arrancar. La solución fue entrar en la BIOS y desactivar el perfil de memoria XMP (un parámetro que gestiona la RAM a velocidades optimizadas). Con ese ajuste, el equipo arranca perfecto. A veces, para ganar en un sitio, hay que soltar en otro.

El laboratorio de modelos

Con la RAM nueva, me puse manos a la obra: probar qué modelo local rendía mejor en mi hardware. El resultado fue un pequeño torneo de tres aspirantes:

1. Qwen3-14B (el veterano) — mi modelo anterior. Rápido (unos 10-13 tokens por segundo), fiable para tareas mecánicas, pero se quedaba corto en razonamiento: una pregunta que exigiera pensar durante unos minutos podía tardar ¡dos minutos y medio! Y la redacción larga no era su fuerte.

2. Mistral Small 3.2 24B (el aspirante) — más grande y con mejor fama, pero en mi gráfica resultó ser el doble de lento: unos 6-7 tokens por segundo. Un script de PowerShell podía tardar 72 segundos. Calidad correcta, velocidad inaceptable. Descartado.

3. Qwen3-30B-A3B (el ganador) — un modelo de arquitectura "MoE" (mezcla de expertos): tiene 30.000 millones de parámetros, pero solo activa 3.000 millones en cada respuesta. Traducción práctica: calidad de modelo grande con velocidad de modelo pequeño. En las pruebas, fue más rápido que mi antiguo 14B en casi todo (un script de 25 segundos en vez de 34), con mucha más capacidad de razonamiento. Y tarda solo 12 segundos en cargar.

¿Qué puedo hacer ahora en local?

Este es el cambio que más me ilusiona. Antes, mi IA local era un "becario" que hacía tareas mecánicas. Ahora es un "adjunto" que además:

• Extrae y estructura datos: convierte textos sueltos en JSON ordenado (facturas, movimientos, notas) en ~7 segundos
• Clasifica gastos y documentos automáticamente
• Escribe y entiende código: scripts de PowerShell o Python completos y funcionales
• Resume documentos largos en segundos
• Traduce texto al instante
• Razona paso a paso: problemas de lógica, comparaciones, decisiones con varios criterios
• Analiza documentos extensos: ahora tiene 64.000 tokens de contexto, suficiente para leer un informe largo o una conversación entera y trabajar sobre ella

Todo esto corre en mi equipo, sin conexión, sin coste por uso, sin enviar mis datos a ningún servidor. Para un pastor y comunicador que trabaja con información sensible, eso tiene un valor que no se puede medir solo en euros.

Y lo que sigue sin ser cosa suya

Siendo honesto: la IA local no lo hace todo. El boletín diario de noticias de IA que publico cada mañana (un guion de más de 3.000 palabras) sigue necesitando la potencia de la nube. La reflexión teológica delicada, también. La regla que he ido aprendiendo es sencilla: lo mecánico y repetitivo, en local; lo creativo y profundo, en la nube. Con la RAM nueva, la balanza se ha movido un buen trecho hacia lo local.

El futuro

Con 64 GB todavía me queda margen: unos 28 GB libres con el modelo actual cargado. Eso significa que, si algún día quiero subir al modelo de 35.000 millones de parámetros que ya uso en mi servidor remoto, puedo hacerlo. Pero por ahora, el equilibrio es excelente: velocidad, calidad y privacidad, todo en casa.

¿Tienes un equipo con gráfica decente y te apetece experimentar con IA local? Cuéntamelo en los comentarios — la curva de aprendizaje merece mucho la pena.