La IA me clonó: así hice un short entero con mi voz clonada

En resumen: al final de «La IA me clonó» aparece un short sobre Terraform que no grabé yo: la voz es un clon de la mía, la animación la programó una IA y los subtítulos se sincronizaron solos. Aquí te cuento cómo se hizo cada parte y qué decidí yo.

Un short hecho con IA, de punta a punta

El short que ves al final del video explica qué es Terraform con una máquina virtual de Azure que se crea, se modifica y se destruye en pantalla. No hay cámara ni micrófono: salió de cuatro piezas hechas con IA.

1. Un guion escrito frase por frase.
2. Mi voz clonada, que lee ese guion.
3. Una animación hecha con código.
4. Una sincronización que hace que la animación y los subtítulos sigan a la voz.

Mi parte fue decidir qué se dice, elegir las tomas y aprobar cada versión.

El guion: cada frase con su intención

Si le pasas al motor de voz un párrafo entero, lo lee todo con el mismo tono, y eso es lo que hace que una voz de IA suene plana.

Por eso el guion va frase por frase, y cada frase lleva su intención: pregunta, explica, advierte o entusiasma. Algunas del short de Terraform:

La intención decide con qué tono se genera cada frase: la advertencia va más lenta, la pregunta sube.

Cada frase lleva también sus palabras clave, las que disparan la animación: cuando la voz dice «plan», aparece el comando.

La voz: mi clon, frase por frase

Clonar sin entrenar nada

Para clonar tu voz no hace falta entrenar un modelo con horas de grabaciones. Se clona zero-shot: el modelo ya sabe hablar, y tú le das un clip de referencia de unos segundos. Copia el timbre, el ritmo, el acento y hasta cómo suena tu micrófono, y lo aplica a cualquier texto nuevo. La contracara: el clon es tan bueno como el clip que le das.

Cómo grabar los clips

Lo que más cambió el resultado:

• Graba con el micrófono de tus videos. El modelo copia el micrófono, no solo tu voz. Yo grabo mis videos con unos AirPods, así que grabé la referencia con los mismos AirPods.
• Apaga la supresión de ruido. Recorta los respiros y el final de las palabras, y el clon aprende a hablar así.
• Un clip por intención. El clon copia también el tono. Si grabas un solo clip tranquilo, hasta las advertencias suenan tranquilas. Grabé cuatro clips de 15 a 25 segundos, uno por intención, y cada frase se genera con el suyo.
• Habla con tu acento. Al leer en voz alta uno tiende a «neutralizarse». Si lo haces, el clon aprende un acento que no es el tuyo.

El motor

Uso CosyVoice 3, un modelo open source de FunAudioLLM que habla español, entre otros idiomas. Tiene licencia Apache-2.0, que permite uso comercial. Lo corro con VoiceStudio, una app open source que le pone interfaz a varios motores de voz y funciona en local: tu voz no sale de tu máquina. Con una GPU NVIDIA de 4 o 5 GB de memoria libres alcanza.

Ojo con el motor por defecto. Cada motor de VoiceStudio tiene su propia licencia, y el que viene por defecto es no comercial. Para un canal monetizado, elige CosyVoice 3 y revisa la licencia de cualquier otro motor.

Una alternativa con licencia MIT y español es Chatterbox Multilingual, de Resemble AI.

Los trucos que hacen que suene a mí

• Varias tomas por frase. Cada generación sale un poco distinta. Genero tres o más por frase, las escucho y me quedo con la mejor. Ahí está la diferencia entre «suena a IA» y «suena a mí».
• Un diccionario de pronunciación. El motor leía «Terraform» como «Terrafón». Antes de generar, cada término técnico se reemplaza por cómo lo digo yo: Terraform se convierte en «Térraform» y AWS, en «a doble be ese». En los subtítulos la palabra queda bien escrita.
• Números con letras. CosyVoice no maneja bien los números en español: según cómo lo uses, los lee como le sale o los pasa a inglés, y «3 réplicas» termina en «three réplicas». Escribo «tres réplicas».
• Ojo con las preguntas de sí o no. En español, «¿Qué pasa con tus datos?» baja al final, pero «¿Terraform se da cuenta?» sube. Esas son las que más fallan: si la toma sale plana, genero otra o reescribo la frase.

La animación: código que escribió la IA

La animación no se editó: está hecha con código, con Remotion, una librería que arma videos con React: cada escena es un componente que se dibuja según el momento del video. Es gratis para uso personal y para empresas de hasta tres personas, también con fines comerciales.

Ese código no lo escribí a mano. Lo escribió Claude Code, un agente de programación con IA, usando el guion como especificación: cada escena del guion es una escena del video, y cada palabra clave es un cambio en pantalla. «Plan» hace entrar el comando, «destruye» pinta la máquina de rojo, «se pierde» la apaga.

Mi trabajo ahí fue el de un director: ver cada versión y pedir cambios. Y como es código, si cambia una frase no se reedita nada a mano: el video se vuelve a generar.

La sincronización: la voz manda

Con la voz lista falta saber en qué momento se dice cada palabra. Para eso uso Whisper, el modelo open source de transcripción de OpenAI: escucha el audio y devuelve cada palabra con su tiempo de inicio y de fin. Es el mismo modelo que uso, con whisper.cpp, para que mi asistente de IA en Meta Quest 3 entienda lo que le digo.

Con esos tiempos, la animación arranca justo cuando la voz dice cada palabra clave, y los subtítulos avanzan al mismo ritmo. Como Whisper a veces escucha mal, el texto de los subtítulos sale del guion: de Whisper se usa solo el tiempo. Y si regenero una frase, la animación y los subtítulos se reacomodan solos.

Lo que decidí yo

La IA hizo el trabajo pesado; las decisiones fueron mías:

• Qué se dice. Aprobé el guion antes de generar una sola frase. Pedí que arrancara directo con el tema y reescribimos una frase que me sonaba rara.
• Qué toma queda. Escuché las candidatas de las frases dudosas y elegí. Cuando ninguna servía, generamos más.
• Cómo se pronuncia cada término. Elegí, entre varias versiones, la que sonaba como lo digo yo.
• Cuándo está listo. Vi cada versión del video entera antes de aprobarla.

La IA produce; el criterio de qué está bien lo pones tú.

Avisar que es IA

• Usa la etiqueta de cada plataforma. TikTok e Instagram exigen activar su etiqueta de contenido generado con IA cuando el audio imita de forma realista la voz de una persona real, aunque sea la tuya. YouTube no lo exige si clonas tu propia voz para una voz en off, pero tiene la opción «Uso de IA» en YouTube Studio, y yo la marco igual.
• Clona solo tu voz, o la de alguien que te dio permiso. Sin consentimiento, puede ser ilegal según dónde vivas.
• Deja la marca de agua. VoiceStudio agrega a todo lo que genera una marca de agua inaudible, activada por defecto, que permite detectar que el audio es sintético.

Para terminar

Si el ejemplo de Terraform te dio ganas de probarlo con Azure sin pagar nada, te muestro cómo en este emulador de Azure local. Si ya quieres algo más real, aquí tienes una arquitectura completa en Azure Container Apps con Terraform.

Sigo haciendo shorts así, sobre DevOps y cloud. Los subo a YouTube, TikTok e Instagram. Y si te animas a clonar tu voz, cuéntame cómo te fue.