Stable Diffusion es un modelo de conversión de texto en imagen que permitirá a millones de personas crear imágenes en cuestión de segundos. Supone además un gran avance en velocidad y calidad, pudiendo ser utilizado en cualquier ordenador convencional.
El modelo está basado en el trabajo del equipo de CompVis y Runway, en su modelo de difusión combinado con conocimientos de modelos de difusión condicional de su principal desarrolladora de generación de IA, Katherine Crowson, Dall-E 2 de Open AI, Imagen de Google Brain y muchos otros.
Su principal conjunto de datos se entrenó con LAION-Aesthetics, un subconjunto de LAION 5B que se publicará próximamente. LAION-Aesthetics se creó con un nuevo modelo basado en CLIP que filtró LAION-5B en función de lo «bonita» que fuera una imagen, basándose en las valoraciones de los testeadores alfa de Stable Diffusion. LAION-Aesthetics se publicará junto con otros subconjuntos en los próximos días en https://laion.ai.
El modelo se entrenó en un ultra cluster de IA Ezra-1 de 4.000 A100 como el primero de una serie de modelos que exploran este y otros enfoques. El modelo se testeó con más de 10.000 probadores beta que crearon 1,7 millones de imágenes al día.
Este resultado proporcionó numerosas ideas en las que el equipo de Stable Diffusion está trabajando para su publicación en breve. Esto proporcionará una plantilla para la publicación de muchos modelos abiertos que están siendo entrenados para liberar el trabajo humano. También anuncian que publicarán conjuntos de datos sintéticos abiertos basados en estos resultados para futuras investigaciones.
Su objetivo es establecer nuevas normas de colaboración y reproducción para los modelos. Stable Diffussion espera aumentar progresivamente el número de colaboradores para sus modelos de referencia. En su web, facilitan un mail de contacto para aquellos interesados que deseen colaborar o unirse a su comunidad: info@stability.ai.
Estos son algunos de los increíbles resultados generados con este modelo sin preprocesamiento ni postprocesamiento:
