A raíz del artículo del otro día sobre la escena Black MIDI, en los comentarios se empezó a hablar de música generada procedimentalmente. Casualidades de la vida, pocos días antes había contactado con nosotros Raúl Ibarra, un estudiante de Ingeniería Multimedia, para hablarnos sobre su trabajo de final de carrera: Noise Boox, «un sistema de composición algorítmica para generar música de videojuegos de manera procedimental en base a las emociones que está sintiendo el jugador durante la partida», nos explicaba.
El tema era lo suficientemente interesante como para explorarlo más en profundidad, así que continuamos la conversación para preguntarle a Raúl cómo funciona Noise Boox, qué implica eliminar lo humano de la composición musical y cómo la generación procedimental es la última herramienta de los indies para hacer frente a una industria mainstream cada vez más atada a las producciones multimillonarias.
Para que no nos queden dudas antes de ponernos al tema… ¿Cómo funciona exactamente Noise Boox? ¿Cómo es posible «medir» las emociones del jugador para crear la música?
Uno de los problemas principales de las bandas sonoras en los videojuegos es la repetitividad de las melodías. Al final la biblioteca de sonidos es limitada y acabamos cansados de escuchar una y otra vez el mismo ambiente sonoro. Con Noise Boox intento ir un paso más allá y generar experiencias sonoras irrepetibles y en tiempo real, con sus evidentes ventajas inmersivas y de ahorro de memoria. No existen ficheros guardados en ningún momento, las composiciones no existen hasta el momento en el que se escuchan.
Funciona como un sistema de composición algorítmica, lo que quiere decir que toda la música generada habrá sido producida a través de algoritmos o métodos formales. Estas reglas harán que, aún manteniendo la naturaleza aleatoria, consigamos melodías acordes a las connotaciones psicológicas que buscamos.
En el vídeo de arriba, varios ejemplos de cómo funciona Noise Boox.
Para poder “medir” las emociones del jugador durante una partida se pueden utilizar muchos parámetros influyentes del juego, como la cercanía a los enemigos, cantidad o tipo de estos, zonas de narrativa en las que el diseñador quiera inducir determinadas emociones, movimientos del jugador o cámara, temporizadores, o incluso medidas fisiológicas como conductividad de la piel, expresiones faciales, temperatura corporal, ritmo cardíaco (este tema lo trata VALVe en una conferencia de la GDC titulada Biofeedback)… Sin embargo, como el discurso de cada videojuego es diferente, estos parámetros también lo serán.
Por tanto, será trabajo del diseñador determinar cuales de estos, u otros, parámetros serán importantes a la hora de deducir la emoción del jugador.
Un poco de background: ¿cuál es tu experiencia con la música? ¿Dónde has presentado Noise Boox? ¿Cuál es tu relación con los videojuegos
Mi experiencia con la música hasta hace unos años no iba más allá del típico chico intentando imitar a Jimmy Page con la guitarra que sus ahorros le habían permitido comprarse. Dentro de la carrera (Ingeniería Multimedia en la Universidad de Alicante) estudiamos varias asignaturas de computación musical, además de muchas otras relacionadas con el desarrollo de videojuegos.
En el último curso llegamos a realizar, entre dos personas y desde cero, un videojuego completo con lo que ello conlleva. Es precisamente este el origen de la idea de generar una banda sonora cambiante para que cada jugador tuviera una experiencia diferente y acorde a su partida. Sin embargo, en este proyecto no hacíamos más que variar entre canciones ya existentes según la cercanía a algunos puntos de interés (es así como lo hacen la mayoría de videojuegos actuales que incluyen banda sonora dinámica). Así, una vez acabadas las asignaturas de la carrera decidí darle una “vuelta de tuerca” al sistema de sonido adaptativo y convertirlo en mi proyecto final de carrera.
A partir de aquí fui descubriendo los avances que se han ido haciendo en el campo de la música dinámica para videojuegos, desde el motor iMuse de LucasArts, pasando por la banda sonora adaptativa de Spore, o proyectos más independientes como .[talktome] de Yiannis Ioannides (BSO de The Stanley Parable), con el que tuve la suerte de contactar para intercambiar ideas.
A diferencia de los otros acercamientos acercamientos de la industria a la música adaptativa, con Noise Boox no existen canciones pregrabadas que reproducir, todo es aleatorio, tan aleatorio como las reglas musicales nos permitan según qué emoción queramos transmitir. Para entenderlo mejor podríamos imaginarnos un piano en el que bloqueamos todas las notas menos aquellas permitidas por nuestras reglas compositivas, pero dado este escenario podemos tocar los que nos apetezca. Por tanto, la unidad mínima de reproducción del sistema pasa de ser una canción de, por ejemplo, tensión o alegría, a una nota.
Obviamente el que eso suene bien y acorde a las intenciones del sistema ha sido la parte menos trivial del proyecto.
Quitar el factor humano de la creación de la música puede ser problemático. ¿Cómo afecta a la música depender solo del ordenador?
Por supuesto el factor humano es imprescindible en la composición musical, y “que me aspen” si pretendiese sustituir a Hans Zimmer, John Williams o Nobuo Uematsu con este sistema. La capa sonora en la que se pretende trabajar es la ambiental, que al final es la contribuyente más importante a la hora de conseguir una mayor inmersión. Todo el mundo reconoce la melodía principal de Star Wars, pero si nos fijamos cualquier escena de la película, encontraremos una base sonora a la que muchas veces ni se le presta atención, pero tiene una clara intención de transmitir algo.
Si el arte es la expresión humana de ideas o sentimientos, ¿qué es Noise Boox? ¿Cuánto dirías que hay de ti en el programa?
El estudio de la relación música/emociones es algo muy complejo, tanto que existen congresos de investigación en los que tan sólo se debate sobre este tema. La repercusión del arte en los sentimientos humanos es del todo impredecible, pero existe cierta aceptación colectiva en cuanto a la asociación de determinados adjetivos emocionales con ciertas características musicales.
La última palabra siempre la tendrá el diseñador sonoro del videojuego, pero podría decir en Noise Boox he dejado mi modo de entender y sentir la música.
¿Qué aplicaciones comerciales podría tener Noise Boox, y cómo se podría relacionar con los entornos procedimentales cada vez más habituales en videojuegos?
Internet me ha dado mucho, más de lo que podré devolverle. No tengo ninguna intención de comercializar el sistema, desde el principio tenía claro que iba a ser un proyecto open source para que cualquier desarrollador pudiera incluirlo en su videojuego.
Me encanta la filosofía de la demoscene y cómo las producciones actuales tienden hacia las generaciones procedimentales. No sólo ahorran memoria, también consiguen experiencias únicas para cada jugador o incluso para cada partida. Y es aquí donde Noise Boox tiene algo que decir y demostrar.
En un momento en el “lo indie” está tan en auge, los equipos muy reducidos y los desarrolladores multidisciplinares son de lo más habitual. Es por esto que la elección de entornos procedimentales, además de aportar evidentes ventajas, aflora en un momento de “necesidad creativa” (no por falta de ideas, si no de músculo productivo) en el que se debe competir con producciones multimillonarias.
Solo los usuarios registrados pueden comentar - Inicia sesión con tu perfil.
No sé si Raúl me leerá esto o no, pero aparte de la enhorabuena y mi admiración, le diría que se plantease un doctorado por esta línea, o como mínimo seguir sacando publicaciones. Creo que tiene mucho (muchísimo) potencial a nivel de investigación, y entiendo que abre unas líneas muy interesantes: estudiar fórmulas más complejas para que el resultado procedimental genere patrones más aleatorios y con más instrumentos, estudiar exhaustivamente variables de entrada, contrastar de algún modo los resultados esperados con los obtenidos (a nivel de emociones), y estos son sólo los ejemplos que me han venido a la cabeza en unos pocos minutos.
En serio, kudos. Y también a @chiconuclear por traernos esta joya 🙂
@kencho
¡Seguro que te lee!
@chiconuclear
Me alegra saberlo 🙂 Ahora me estoy sacando el doctorado (aunque mi línea de investigación es «completamente» diferente) y la verdad es que se ve el mundo con otros ojos. Y a nivel de I+D+i, esto es un filón. Aparte de lo emocionante de investigar en este tipo de cosas 😀 No sé, además, que lo deje en abierto me hace creer que lo que le mueve es ver avanzar la industria por aquí, reforzando mi sugerencia 🙂
Desde luego, mi HYPE del otro día estaba totalmente justificado 😀
El resultado es impresionante, pero lo mejor es que se intuye que es apenas el comienzo de un camino. Ciertamente la música tiene mucho de matemáticas, y cosas así hacen replantearse la definición de arte.
¡Como fan y experimentador del arte generativo y procedimental/procedural, esto es una gran noticia!
@kencho
¡Claro que os leo! Ahora mismo me acabo de mudar a Barcelona para hacer un máster de animación 3D (algo bastante diferente jaja), pero la idea es publicar un artículo en alguna revista con ayuda del tutor del proyecto 🙂
La verdad es que esto es una primerísima aproximación, aún le queda muuuucha evolución por delante. Las líneas de mejoras que comentas están genial, sobre todo el tema de contrastar si la salida concuerda con lo que el sistema «cree que está haciendo» a nivel de emociones. En la memoria del proyecto doy algunas ideas sobre esto, como estudiarlo sobre una población de individuos o mejorar la captura de datos sobre el jugador (en este tema VALVe ya ha trabajado http://www.gdcvault.com/play/1014734/Biofeedback-in-Gameplay-How-Valve).
@neckros
¡Muchas gracias por tus generosas palabras! Sin duda es el comienzo de algo en lo que me gustaría seguir trabajando 🙂
@chiconuclear
Te agradezco públicamente el soporte a este tipo de proyectos. ¡Seguid como siempre!
Empecé a leerlo ahora desde el móvil pero no me queda tiempo, así que me lo guardo para leerlo después entero que pinta muy interesante.
@croasan
Pinta bien, ya me dirás dónde lo publicáis 🙂 ¡Y suerte con el master!
Currazo impresionante.
Un aplauso fuerte por la iniciativa y por el artículo. Pero una pequeña observación: llevo 9 años de desarrollador(ahora en un publisher de los tochos), 5 de ellos programando y en castellano siempre hemos dicho procedural, nunca procedimental.
Quizá no sea totalmente correcto, como tampoco lo debe ser el usar grindear/lootear/farmear, pero es el tecnicismo que usamos para referirnos para cuando juntamos cosas hechas por programación en función de la mezcla de ciertos parámetros, en lugar de meter dichas cosas a mano (como hace este señor con la música).
Épico.
@yurinka23
Lo tenía en cuenta cuando escribía «procedimental» en lugar de «procedural», simplemente era por ser lo mas correcto posible escribiendo 🙂 gracias por el apoyo!
@celuloide
Gracias negrón! (él lo entenderá).
Felicidades, interesantisimo proyecto, y nuevas fronteras del videojuego que van cayendo.
Pero un matiz desde el punto de vista del diseño. La música sirve para que el jugador sienta unas emociones, no para adaptarse a las emociones de esto. En todo caso sería medir la respuesta emocional del jugador, compararlo con lo que se pretendía, y acentuar o decrecer la emotividad de la pieza. Pero esto sería casi seguro solo en sesiones de testeo, las mediciones biométricas requieren de un hardware que el usuario final dudo que tenga.
Aunque sería muy interesante coger el programa, hacer testeos con mediciones biométricas, grabar la música y reproducirla como música no procedural en el producto final.
Bueno, y después de parecer un gilipollas, te felicito por tu proyecto. Siempre se aprende algo nuevo.
@srvallejo
Hombre, impepinablemente tendría que estudiarse en un entorno controlado. Creo que si se investigase por esa línea, lo suyo sería grabar sesiones de juego de diferentes voluntarios, donde queden registrados en diferentes instantes (p.ej., cada 10 segundos) tanto la salida del algoritmo como las medidas biométricas del jugador. Si realmente se hubieran adaptado bien, o el algoritmo de generación musical funcionase correctamente, debería existir una fuerte correlación entre los resultados esperados y los obtenidos, así como una respuesta muy similar entre los diferentes usuarios.
@yurinka23
Es igual que el dilema del false friend «library»: todos lo conocemos y traducimos como «librería» (yo el primero), pero la traducción correcta es «biblioteca». El caso es que a nivel académico he visto más de un tirón de orejas por usar la traducción equivocada en tareas, proyectos de final de carrera, y papers científicos. A nuestro nivel cotidiano podemos usar «librería», «procedural», «farmear» o «chetado», que nos vamos a entender sin problemas y sin sacarnos los ojos, pero cuando se pide corrección lingüística hay que usar los términos adecuados. Así que me parece tan bien usar los unos como los otros; el caso es que nos entendamos sin ambigüedad o equívocos 🙂
PD: Hace poco menos de una semana me enteré de que «desarrollador» no existe en castellano.
@kencho
Muy chulo lo que propones.
A lo que me refería es que en los videojuegos la música está para que el jugador sienta unas emociones, no al revés. Creo que no habría que perder esa perspectiva.
Totalmente de acuerdo, @srvallejo. Comentaba antes @neckros que tal vez debería replantearse la definición de arte. En mi opinión, esto es sólo una herramienta más, como quien usa un nuevo acorde o un nuevo instrumento (o en pintura, la teoría de los colores, o las composiciones de imagen, etc.). El arte es algo que existe para transmitir mensajes, emociones y sentimientos; para reflejar el estado de uno mismo ya existen los espejos. Ahí es donde entra el valor del artista: en saber usar estas herramientas para que cuando él quiera que el jugador esté excitado, lo esté, y cuando esté tranquilo, se relaje, ya sea usando colores más o menos vibrantes o afinando los parámetros de estos algoritmos 🙂 ¿No crees?
@srvallejo
@kencho
Igual no me he explicado bien en el texto jajaja esto de «La música sirve para que el jugador sienta unas emociones, no para adaptarse a las emociones de esto.» (en mi opinión) sí y no, me explico:
Es evidente que cada videojuego, cada historia, tiene sus pretensiones en según qué momento, y los diseñadores querrán inducir determinadas connotaciones psicológicas al jugador. Sin embargo también es cierto que el modo de juego de cada uno de nosotros es diferente, así como la manera en la que «sentimos». Si tan sólo hiciéramos caso a lo que dicta un diseñador, al final no habría nada personal en cada experiencia individual, y el concepto de inmersión (para aquellos cuyos sentimientos no coincidan con los que el diseñador quiere que tengan) se perdería.
Al comprender las dos partes, lo que hice en el proyecto es que cualquier «parámetro de juego» fuera válido como entrada al sistema. Esto quiere decir que tanto datos del jugador (sean corporales o del propio juego), como puntos de definidos por el diseñador (cercanía a enemigos, zonas de interés narrativo, …) tienen su peso a la hora de deducir las características emocionales de la música generada. Este peso puede variarse a conveniencia, y si ,por ejemplo, el jugador se mueve de una manera muy loca, pero el diseñador da más peso a que esa zona es tranquila, la música actuará en consecuencia. Al final el sistema es totalmente modificable.
Perdón por la longitud, pero quería dejar claro el por qué de la elección de la generación procedimental/procedural 🙂 Y muchísimas gracias por vuestros aportes, de verdad!
@croasan
Muy interesante este proyecto. Mucha suerte, que el concepto es cojonudo. :bravo:
Sin duda. Yo creo que la RAE va siempre muy por detrás, y que debería primar el uso común que se le da a la lengua, al que deben adaptarse más rápidamente.
Tecnicismos o neologismos como desarrollador o librería, procedural, etc son cosas asentadas en nuestra industria desde hace muchísimos años, incluso en los libros o revistas del tema se escriben así desde siempre.
A nivel oficial tanto en castellano como en catalán intentan adaptar/traducir «correctamente» las palabras y hacer una «versión oficial», que luego en la calle (o en este caso las empresas) nadie usa, ya que tienen las suyas propias.
@ether
@javator
Gracias de verdad 😀
@yurinka23
Totalmente, al final lo que queremos es comunicarnos. Mientras nos entendamos, todos contentos!
@croasan
Enhorabuena por el proyecto, que ha quedado genial, y gracias por subir también el código, que lo he podido añadir a favoritos de GitHub para poder verlo cuando tenga más tiempo. Había visto algún proyecto por ahí de generación de música procedural, pero lo de meterle las emociones y jugar con las escalas (supongo que, simplificando mucho, es lo que hace el programa) es una gran idea. Si consigues publicarlo, tienes ahí un buen filón para orientar un posible doctorado.
Como curiosidad, Rocksmith 2014 incluye un «modo sesión» en el que puedes «improvisar» eligiendo un ritmo, una escala (o una progresión de las mismas) y varios instrumentos de fondo de forma que, como has explicado, te señala sólo las notas de la escala para que puedas inventarte una melodía sobre ellas.
La verdad es que con lo que has conseguido da para un indie que juegue con el concepto de expresar emociones mediante el sonido ambiente. Un juego en el que el protagonista perciba emociones del resto de gente y te lo muestre mediante cambios sutiles en la melodía sería algo bastante original.
@croasan
Sin ánimo de trollear ni de ser hater ni ninguna movida de estas: yo sólo oigo una concatenación de notas aleatorias en el vídeo. Y la cuestión es que justamente dices en la entrevista que eso es lo que buscas, pero un puñado de notas sueltas dista mucho de ser una melodía (en el sentido tradicional del término) interesante. Y cuatro acordes en tal o cual instrumento están muy lejos de transmitir algo mínimamente complejo. La sobreestimación del timbre (la textura del sonido, independientemente de su altura o ritmo) en la música es algo muy contemporáneo, pero simplemente obviar la importancia de una progresión armónica, melódica o rítmica definida, una intención, es ir demasiado lejos. No es una opinión personal: es que ya se ha hecho en el pasado y ha demostrado ser un terreno sencillamente muy poco fértil.
Dicho de otro modo: es como si hubiera una voz hablando que varía según la situación, más adorable y suave (y aguda) cuando hay buen rollo y más ominosa y áspera (y grave) cuando hay mal rollo, pero lo único que dice son palabras inconexas sin sentido. Es válido, claro que sí, pero da para un abanico muy pequeño de posibilidades.
Espero que te tomes esto como una crítica constructiva, porque el tema me interesa mucho; nada más lejos de mi intención que desanimarte a seguir investigando. Te invito a echar un vistazo a los tratados de armonía de Piston y Schönberg para profundizar en el tema. No son cosa elitista: es el material de estudio básico para los chavales de conservatorio en grado medio, los encontrarás en cualquier tienda de recursos para estudiantes.
El quid de la cuestión de la música no son las notas estáticas, sino el movimiento que hay entre ellas. Psicológicamente, por ejemplo, se ha relacionado los motivos ascendentes con sentimientos de alegría y los descendentes con los de tristeza, cosa que apoya la evidencia histórica (también está lo de los modos Mayor y menor, pero esto ya lo sabrás). Además, hay diversas combinaciones semipredefinidas clásicas de grados (por ejemplo: a la tónica le sienta mejor que la siga la subdominante, en menor medida la dominante, en menor medida el sexto grado, y así ) de las que te podrías beneficiar aplicando una jerarquía dentro de la aleatoriedad. Si has tenido ya en cuenta estos factores permíteme decirte humildemente que no se nota.
@korso10
Esa es precisamente la idea: dar una base para que si a alguien le interesa lo suficiente pueda seguir evolucionando el sistema.
@cybercalamar
Entiendo toda crítica como constructiva 😀 por eso no te preocupes.
En esta primera versión del proyecto lo que intentaba plantear es la plataforma completa con la que ir evolucionando más adelante. Por supuesto, tienes razón en absolutamente todo lo que mencionas, es que la parte «compositiva» está en sus primeros bocetos. El proyecto en sí consistía en proporcionar un sistema independiente de la plataforma de desarrollo de juego con el que, a partir de mensajes de entrada (sean cuales sean), generar música consecuente. De momento las relaciones música/emociones se basan en el estudio de la correspondencia tonalidades/características emocionales e intervalos armónicos/características emocionales. El siguiente paso lógico sería, como bien comentas, estudiar progresiones melódicas y armónicas. Espero poder seguir trabajando en esto poco a poco 🙂
Como te comento, tampoco soy músico ni mucho menos. Mis pretensiones creo que quedan cumplidas con que a alguien le parezca suficientemente interesante como para seguir evolucionando esto 😀
Muchas gracias por tu comentario. Siempre se agradece este tipo de críticas.
@cybercalamar
Como ya me dijo el tutor estas semanas: «Lástima no haber podido dedicar más tiempo a la parte compositiva».
La verdad es que me «fastidia» que se quede cojo el proyecto por ese lado, pero queda un buen sabor de boca después de dos meses de duro trabajo. Espero que se llegue a entender 🙂
Es interesante a un nivel de ingeniería, pero no me parece nada artístico. De lo que he podido escuchar no se rescata ni una sola melodía.
Puede ser una proeza informática, un concepto interesante, pero no me parece algo práctico, algo realmente aplicable. Y desde luego, hacer música de esta manera está muy lejos de ser algo que plante cara a la industria musical. Es más, si esto llegara a funcionar bien, las grandes discográficas serían las primeras en aprovecharse de ello.
@v0id
Gracias por tus palabras. En ningún caso se pretende plantar cara a la industria musical como comentas. En una de la respuestas hablo de que se pretende atacar la capa ambiental sonora, no la melódica, que es la que creo que esperabas encontrar.
El que esto no tenga una aplicación real y práctica es una opinión bastante osada, los avances en el terreno procedimental/procedural están siendo muy grandes (tanto en el apartado sonoro como en otros campos). Probablemente hayas visto/jugado Spore, que cuenta con una banda sonora procedimental totalmente funcional basada en una versión «reducida» de Open Music.
La composición algorítmica es un terreno en exploración desde hace cientos de años (Mozart ya empezó a establecer relaciones entre música y matemáticas), y a día de hoy todos los avances en este campo han permitido generar música ciertamente compleja e interesante.
@croasan
Lo de la industria musical venía en relación al segundo párrafo del texto de chiconuclear, no a vuestro trabajo.
Veo muy claro que esto está enfocado a crear un ambiente sonoro acorde a lo que ocurra en cada momento en el juego. También soy plenamente consciente de que se puede reducir la música a matemáticas. Compongo desde hace más de 10 años y es bastante sencillo seleccionar unas escalas, instrumentos, ritmos y tempos para cada estado de ánimo.
Sí que me puedo haber colado con lo de que no sea aplicable, sobretodo teniendo en cuenta que en el mundo de los videojuegos se puede hacer de todo y habrá quien quiera que su juego tenga una banda sonora así. Pero creo que quien lo decida estará cometiendo un error. Algo generado de esta manera no puede llegar a tener alma, a tener intención, a comunicar. Y tal vez sea como las personas que dudaban del potencial de internet hace 30 años, pero sinceramente, me opongo a un mundo en el que el arte esté desprovisto de corazón. Yo soy de los que cocina sin receta.
@v0id
Totalmente de acuerdo contigo, a mi tampoco me gustaría que la composición algorítmica se impusiera como método único de generación musical. El arte es algo inherente al humano a mi modo de entender. Sin embargo creo que para determinadas funciones, y con mucha más evolución, la música computacional puede ser una herramienta muy capaz.
De todas maneras, el escoger una escala, instrumentos, ritmos y tempos para cada estado anímico no me parece algo tan trivial (a la clasificación MIREX me remito). Es «fácil» entender qué estado emocional induce determinada música, pero no lo es tanto obtener descriptores (entendemos que lo suficientemente complejos como para establecer reglas compositivas) de música que induce estas emociones.
Pero vamos, que si alguien me pregunta, no cambio a Freddie Mercury por un ordenador 🙂
@croasan
Joder, había malinterpretado el texto de chiconuclear, de ahí lo que decía de la industria musical… :pared: De todas maneras, creo que todo esto choca más con mi personalidad y mi manera de entender la música que con otra cosa. Así que no me hagas mucho caso y ánimo con tu proyecto.
@v0id
jajaja no te preocupes! Al final en estos temas tan personales lo importante es aceptar las opiniones de todos, y respeto profundamente la tuya 🙂
¡Gracias por aportar tu punto de vista y por los ánimos!
@croasan
Bueno, si eres consciente de lo que digo, perfecto. Suerte con ello en el futuro.