Hasta 200 millones de dólares puede costar la creación de un modelo de inteligencia artificial como cChatGPT, y puede tomar varios meses de entrenamiento en cientos de computadores con GPU. El modelo de ChatGPT-3 costó solo entre 2 y 4 millones de dólares en 2020, mientras que el precursor de Gemini, PaLM, en 2022, requirió entre 3 y 12 millones de dólares. El costo estimado para entrenar un modelo con la calidad de GPT-4 fue de aproximadamente 20 millones en 2024, con un tiempo de entrenamiento que duró cerca de dos meses.

El costo del entrenamiento de Gemini Ultra de Google, modelo basado en texto, voz e imágenes, fue de 191 millones de dólares, sin incluir otros costos como salarios, soporte, mantenimiento y adquisición de datos entre otros, lo que puede aumentar el costo hasta en un 49 %. El GPT-4 de OpenAI utilizó un estimado de 78 millones de dólares para su entrenamiento.

Este costo no podría ser asumido por la academia y la industria en el Perú, lo que nos relega a ser meramente usuarios de esta tecnología.  La financiación para modelos de IA generativa aumentó ocho veces en relación con 2022, hasta alcanzar los 25 200 millones de dólares en 2023 (Artificial Intelligence Index Report 2024, Stanford University).

El costo de desarrollo incluye una variedad de gastos escondidos. En el desarrollo de un modelo de IA se incluyen varias etapas: adquisición de datos, preparación de datos, diseño y programación del modelo en un entorno distribuido, entrenamiento del modelo, evaluación y puesta en producción. Esta última etapa de inferencia –la cual permite su comercialización– también es costosa debido a la gran cantidad de usuarios, ya que se debe mantener la misma infraestructura de entrenamiento. 

Por último, está el curado de las generaciones de datos para evitar alucinaciones, el incumplimiento de la privacidad, entre otros aspectos. Los costos reportados solo se refieren a la etapa de entrenamiento.

Pero ¿realmente se conoce cómo funcionan los modelos de IA? Sí, se conoce cómo construir estos modelos de IA con exactitud, la academia tiene claro cómo hacerlo, entonces, la limitación no es tecnológica sino monetaria. Más de 170 000 artículos científicos de acceso público se han escrito en tecnologías como Transformer, BERT, ChatGTP, LLaMa, LoRa, Attention Fusion, FFF, DeepSeek entre otras.

El desarrollo científico de la IA de libre acceso ha permitido la difusión y el rápido crecimiento de distintos modelos en el mundo. En el Perú, la academia desarrolla pequeños modelos de IA con aplicabilidades puntuales y ciertas limitaciones, gracias a la información disponible en artículos científicos. La creación de nueva tecnología se basa en ideas innovadoras y en el conocimiento existente; sin embargo, muchas veces está supeditada a la inversión que pueden hacer las empresas públicas o privadas.  

¿Por qué cuesta tanto el entrenamiento de los modelos de IA? Solamente para hacernos una idea, un modelo de IA calcula miles de millones de parámetros. GPT-4o utiliza aproximadamente 200 mil millones de parámetros, mientras que GPT-4o-mini tiene alrededor de 8 mil millones, y GPT-4 usa aproximadamente 1.76 billones (1 760 000 000 000) de parámetros. Un modelo de IA utiliza varios algoritmos: desde técnicas aleatorias y funciones de activación, hasta algoritmos complejos como Attention. Esto significa que un modelo de IA es una arquitectura de algoritmos.

Esta arquitectura permite almacenar y calcular esta enorme cantidad de parámetros. La arquitectura almacena los parámetros en matrices, las cuales son multiplicadas, normalizadas de diferentes formas y corregidas con el propósito de aproximarse a un objetivo. La corrección del modelo es uno de los procesos más complejos de comprender.

En la arquitectura se calcula el error del modelo y se corrigen los parámetros, para esto se usan derivadas de los millones de parámetros. Las oraciones son ingresadas a la arquitectura y procesadas; cada oración se procesa varias veces en distintos momentos.  La cantidad de datos usados alcanza algunas decenas de terabytes (10 000 000 000 000). Quizá esto nos dé algunas ideas sobre la razón de su costo.

Pero, a pesar de este panorama complejo, ¿por qué creo que el Perú debería hacer los esfuerzos para construir un modelo de IA, a pesar de los altos costos?  El Perú y su industria deberían construir modelos de IA por 5 razones:

Primero, por la obtención de soberanía tecnológica, para dejar de depender de grandes corporaciones.

Segundo, para la preservación y promoción de nuestra identidad cultural y lingüística. En el Perú, la integración del quechua y otras lenguas al español convierte a nuestra lengua en algo único y con su propio matiz.

Tercero, para impulsar la innovación local, generando un ecosistema tecnológico que puede dar lugar a startups y empleos.

Cuarto, para dar soluciones a problemas locales con inteligencia contextual local, un modelo entrenado con datos locales puede entender mejor contextos específicos y dar soluciones adecuadas.

Y, por último, la atracción de inversión y cooperación internacional en la academia e industria.

Por otro lado, no hacer nada y solo convertirse en un país consumista sería lo peor para nuestro desarrollo.

Asociar la idea de Internet a la libertad informativa es algo habitual, pero ¿qué dirías si te contase que existen algunos casos en los cuales la libertad proveída por el Internet, es controlada por los gobiernos para resguardar sus políticas e intereses?

“The Golden shield”o “Escudo Dorado” es un proyecto de seguridad informativa pública del gobierno chino. Este cortafuegos nacional fue implementado a inicios de los 90 en el país asiático, con el objetivo de filtrar las comunicaciones entrantes y salientes que estén en contra del partido comunista chino.  

Este cortafuegos tiene tres niveles de acción. Primero, filtra las direcciones de Internet (IPs) donde se tiene una lista de servidores no deseados para el partido comunista chino. Segundo, posee un filtro en el sistema DNS, para evitar la traducción de ciertos dominios a una dirección IP; y por último, monitorea el contenido de las transmisiones de Internet en los diferentes tipos de protocolos.

Las redes privadas de comunicación sobre el Internet son monitoreadas y filtradas en base a su origen y destino. El gobierno chino permite el uso de las redes privadas de comunicación, pero con una previa licencia gubernamental, caso contrario, el uso de una red privada de comunicación llevaría al individuo al pago de una penalidad, e inclusive, la posibilidad de encarcelamiento.

Lo más paradójico de esta situación, es que la gran mayoría de estas tecnologías han sido desarrolladas por CISCO Systems, una compañía de redes de origen estadounidense; así como también cuentan con el soporte de Oracle Sun Microsystems, también de origen estadounidense. Qué ironía de la industria, me hace recordar los servicios prestados por IBM al gobierno nazi en la Segunda Guerra Mundial.

¿Qué se puede lograr filtrando las comunicaciones? El gobierno chino, particularmente el partido comunista, busca controlar, de una forma muy ágil, qué información está disponible para su acceso. De esta forma y de manera sistemática, el gobierno ha escondido eventos revolucionarios de protesta y otros propios de su historia a los ciudadanos chinos.

Muchos alumnos de maestría y doctorados que realizan sus estudios académicos fuera de China, se dan con la sorpresa de que el gobierno chino les ha escondido muchos eventos históricos. Por ejemplo, desde China es imposible acceder a información por Internet de las emblemáticas protestas en la Plaza de Tiananmen; que fueron un conjunto de manifestaciones dirigidas por estudiantes que se llevaron a cabo en Beijing, durante 1989.

Aunque esta tecnología pueda ser mal utilizada, existen otros ejemplos de que pueden ordenarse a mejores objetivos. Por ejemplo, Alemania utiliza esta tecnología para filtrar comunicaciones y propaganda nazi. El Reino Unido utiliza esta tecnología con el objetivo de filtrar páginas web y recursos ilegales amparados en procesos judiciales.

El Perú podría aprovecharse de estos cortafuegos para poder censurar recursos y servicios que incumplan la legislación peruana, así como hacer cumplir legislación peruana de los recursos y servicios proveídos en el Internet.

Logrando esto, podremos recaudar de manera más eficiente impuestos por ventas y prestaciones de servicios y reducir recursos ilegales, tales como redes criminales, tráfico ilegal, pornografía o apología al terrorismo que no cumplen con la normativa peruana, como sucede en blogs y microvideos públicos que no están clasificados para que sean vistos por menores de edad. Si bien es cierto, estas herramientas pueden ser utilizadas para alejar interesadamente a las personas de la verdad, pueden redirigirse para permitir una sociedad, moralmente, más saludable.

La carrera industrial de la inteligencia artificial (IA) está siendo salvaje. La sociedad y la comunidad científica están teniendo poca previsión de las consecuencias legales o éticas que pueden acarrear su uso, y están liberando herramientas de IA con fines económicos, pero sin ningún otro reparo.

Sin duda alguna, la IA está transformando la industria, desde la generación de una simple imagen hasta la predicción y propuesta de tratamientos del cáncer y otras enfermedades. Pero esta presenta alucinaciones que pueden generar respuestas imprevistas, no deseadas e ilegales. Por ejemplo, cuando un cliente solicitó una mezcla de aguas aromáticas a una IA en un supermercado de Nueva Zelanda, esta le dio la receta del famoso “gas mostaza”. Increíble ¿no?

El término “inteligencia artificial” se refiere al objetivo de una de las áreas de investigación de ciencia de la computación. En realidad, el término alternativo fue sistemas expertos. Recordemos que las herramientas de IA no son inteligentes en absoluto, sino que propiamente es una pseudointeligencia.

Esto permite entender el porqué de sus alucinaciones, debido a que en sus generaciones no hay un ejercicio estricto de la prudencia, por lo que estos modelos autogenerativos de la IA no son predecibles. Si bien es cierto, se conoce cómo funciona la IA al manejar decenas de miles de millones de parámetros con valores aleatorios, no se puede saber cómo interactúan o funcionan y cómo es que los datos se transforman, presentando una falencia en sus “redes neuronales”. Parece razonable la necesidad de su regulación.

En el Perú, tenemos la Ley n.º 31814 y Decreto de Urgencia n.º 007-2020, que promueven el uso adecuado de la IA desde un punto de vista muy general. De forma más rigurosa, por ejemplo, China ha establecido mediante la ley que empresas que usen IA deben solicitar una licencia, permitiendo que el gobierno pueda acceder a todos los datos y código fuente de IA, permitiendo la cancelación de servicios de IA que vayan en contra de la ética y moral. 

Por ejemplo, en la Unión Europea, Brasil, Chile, Argentina, la Organización para la Cooperación y Desarrollo Económico, entre otros, han desarrollado principios y recomendaciones en el uso y desarrollo de la IA, en donde el principal criterio es que toda persona que utiliza la IA debe hacerlo bajo las observancias y obligaciones que establece la ley.  Si bien es cierto, aún no hay nuevos tipos delictivos vinculados a la IA, no obstante, quizá su regulación no vaya a ser en un futuro muy distante.

Preocupa que ante los complejos escenarios tecnológicos y éticos que acarrean la revolución de la IA, nuestro contexto nacional e internacional, impulsa cada vez más programas formativos profesionales ausentes de una sólida educación moral. Y es que, un profesional sin valores es como “un mono con dos pistolas”, aunque suene grotesco. Sin duda, esta carrera industrial de la IA no parará, pero podemos asegurarnos de que nosotros y nuestros hijos desarrollemos criterios prudentes para el acceso a estas tecnologías, con el propósito de llevar a la humanidad a buen puerto.

Sin duda alguna, la tecnología usada en la construcción de ChatGPT es increíble y el avance tecnológico en la industria es comparable a la revolución industrial del siglo XVIII.

El ChatGPT y otros grandes modelos de lenguaje autorregresivo pueden generar poemas, escribir programas, hacer resúmenes, conversar como una persona de forma aparentemente inteligente, coherente y mostrando veracidad.

Si bien es cierto su potencial es enorme, no todo lo que brilla es oro. Muchas veces, cuando uno verifica el contenido que se ha generado en la conversación, nos damos cuenta de que no es cierto o verdadero. Más aún, si contextualizamos la conversación, verificamos que estos modelos pueden generar argumentos contrarios a ciertos órdenes morales y legales. No cabe duda de que estos modelos padecen de alucinaciones.

Las alucinaciones serían toda información que provee el chat y que aparentemente es veraz, confiable y verídica, pero en realidad son simples invenciones del modelo. Como indicaba hace un tiempo Sundar Pichai, la máxima autoridad de Google, las alucinaciones que se generan en estos modelos son muchas y no existe solución efectiva por el momento.

Estas alucinaciones no se pueden identificar de antemano, no se pueden filtrar en el modelo y tampoco pueden ser evitadas. Estos modelos están “entrenados” para generar la siguiente palabra más probable. El entrenamiento se da con una vasta cantidad de datos, usando una inmensa capacidad computacional y por largos periodos, semanas incluso meses. 

Este es simplemente un mecanismo de fuerza bruta, en donde al modelo se le presenta datos y si no responde de forma correcta, se ajustan los parámetros internos (inclusive usando mecanismos aleatorios), y se le vuelve a presentar los mismos datos, una y otra vez hasta que el modelo genere un error mínimo. Justamente, el margen de la probabilidad es lo que permite que se produzcan alucinaciones y su corrección no es para nada factible en los actuales modelos.

Si bien es cierto, a través de un adecuado entrenamiento podemos lograr resultados increíbles, las alucinaciones en los grandes modelos de lenguaje autorregresivo aún no son completamente medibles. La industria y la sociedad deberán medir el riesgo del uso de estas tecnologías y comprender sus posibles consecuencias.

Se ha reportado que, a fines de marzo de 2023, un hombre de familia con dos hijos se suicidó después de conversar con un chat GTP-J 6B por varias semanas. El reporte indica que el chat lo incita al suicidio con el objetivo de reducir el calentamiento global. Si bien es cierto el hombre tenía una obsesión por el cambio climático, esto no nos puede llevar a negar que el riesgo es real.

La tecnología está avanzando y afectará a cada parte de la industria, pero estos modelos han saltado del laboratorio a la comercialización sin ningún mecanismo de validación y regulación legal. Creo que debemos valorar las ventajas de la innovación en esta área, pero con la necesaria supervisión de un ser humano para regular esta tecnología. Este artículo ha sido desarrollado con 100 % de contenido humano.