Poetry Wall, ilustración de lecturas de poesía con inteligencia artificial vía OpenAI Dall-e2
Poetry Wall intenta configurar la Inteligencia Artificial como un complemento lúdico y performático de la literatura.
¿Cómo funciona?
- Un micrófono monitorea una lectura poética y graba un archivo de audio con extensión WAV.
- El archivo de audio WAV es enviado a una librería de Speech Recognition
- La desgrabación es enviada a ChatGPT por medio de la API bajo la solicitud de generar un resumen de 5 palabras
- El resumen de las 5 palabras se envía a la API de Dall-E2 junto a unas instrucciones de estilo pictórico generadas por una perilla de selección
- La ilustración generada en el momento se proyecta en la pared.
¿Cómo fue desarrollado?
Poetry Wall fue desarrollado sobre una placa Raspberry Pi 3 con Linux y código de programación Python. El Raspberry tiene conectado un encoder de 16 posiciones de la empresa DFRobot vía pines GPIO. Para el Speech Recognition se usa un micrófono USB. Para la proyección, un proyector HDMI con lámpara LED de 1000 lumens.
Demostración del Poetry Wall
El video que figura debajo es la primera prueba del Poetry Wall, sin la función de excerpt vía ChatGPT.
Estilos pictóricos
La perilla de selección tiene 16 posiciones que definen los siguientes estilos.
styleToReturn=”Pintura realista”
styleToReturn=”Pintura impresionista”
styleToReturn=”Pintura abstracta”
styleToReturn=”Pintura surrealista”
styleToReturn=”Arte pop”
styleToReturn=”Pintura digital cyberpunk”
styleToReturn=”Dibujo en el estilo de M. C. Escher”
styleToReturn=”Grabado de Katsushika Hokusai”
styleToReturn=”Pintura de arte abstracto de Picasso”
styleToReturn=”Pintura en el estilo de Quinquela Martin”
styleToReturn=”Pintura en el estilo de Antonio Berni “
styleToReturn=”pintura en el estilo de Salvador Dalí”
styleToReturn=”Dibujo en el estilo de Ralph Steadman”
styleToReturn=”Dibujo en el estilo de Leonardo Da Vinci”
styleToReturn=”Pintura al oleo”
styleToReturn=”Pintura puntillista”
La API de Dall-E2
OpenAI es el laboratorio de investigación en Inteligencia Artificial que está detrás de Dall-E2, el segmento del sistema utilizado para las pinturas automáticas del Poetry Wall.
La API de Dall-E2 no es gratuita, pero tiene una “beca” de u$18 que ha resultado más que suficiente para la etapa de desarrollo. ¿Cuánto cuesta la generación de cada pintura o ilustración con la API de Dall-E2?
- En resolución de 1024×1024 cada imagen cuesta $0.020
- En resolución de 512×512 cada imagen cuesta $0.018
- En resolución de 256×256 cada imagen cuesta $0.016
Es decir que con la beca es posible generar 900 imagenes en la resolución máxima de 1024x1024 o bien 1000 imagenes en 512x512.
Claro que la misma beca es utilizada para la función de excerpt vía el Language Model. El pricing para el engine text-davinci-003 es$0.0200 cada 1000 tokens. Cada request consume entre 200 y 800 tokens aproximadamente.
Ejemplos de las ilustraciones generadas por Poetry Wall
En cada iteración, Poetry Wall genera un label de 128 bits con uuid4 y almacena tanto la desgrabación como el excerpt y la imagen asociada. Debajo van dos ejemplos sobre poemas de Federico García Lorca, antes de que incorporar la función excerpt.
En Nana del caballo grande, Poetry Wall registró “Duérmete clavel el caballo no quiere beber”
En La señorita del abanico, Poetry Wall registró “La señorita del abanico va por el puente del fresco Río”
¿En qué estado está el proyecto? ¿Se puede bajar el código?
Si bien no publiqué todavía el código total del Poetry Wall, si están los módulos que llevan a cabo cada función.
