Tein taidenäyttelyn tekoälyn tekemistä taideteoksista – Onko tämä taidetta?

31.10.2021

Lapsellinen piirros pinkistä yksisarvisesta hyppäämässä joen yli, jättiläinen istumassa pienen sienen päällä vesivärimaalauksena, nämä lapset elävät tulevaisuudessa ja mustemaalaus mustasta aukosta ahmimassa aurinkoa. Kaikki asioita, joita kuvittelin ja halusin nähdä ja kaikki asioita, joihin tekoälyltä meni 30 minuuttia kuvittamiseen per kuva. Osan keinoäly toteutti hämmentävän hyvin ja osan surkean hupaisasti. Matka näiden teosten julkiseen näyttämiseen ei kuitenkaan ole ihan yhtä suoraviivainen - sitä pyrin tässä pohtivassa artikkelissa avaamaan.

---

Sähköposti kilahtaa puhelimeen. Avaan postin. Se on eräältä englantilaiselta tutkija-sisällöntuottajalta. Hän tutustuu työkseen erilaisiin ilmiöihin ja tekee niistä videoita YouTubeen. Posti on tavalliseen tapaan rakennettu. Hän kertoo viikon videon taustoja, linkkaa muutamia videoita, joista hän on pitänyt ja antaa muutaman linkin mielenkiintoisiin palveluihin YouTuben ulkopuolella. Yhdessä niistä lukee näin: “I talked about AI-generated art recently. If you'd like to make your own, it's now easy and free with this tutorial!”

Linkki ohjaa Twitteriin Hillel Waynen elokuun alussa kirjoittamaan twiittiin, josta löytyy linkki hänen julkaisemaan AI Art Machineen. Työkalu toimii ilmaiseksi Googlen Colab-pilvipalvelussa. Nopealla vilauksella käy selväksi, että työkaluun kirjoitetaan englanniksi, mitä haluaa nähdä ja kone “piirtää” sen käyttäjän silmien edessä. Lueskelen hieman ohjeita, kirjoitan prompt-kohtaan “a childish drawing of a pink unicorn jumping over a river” ja alan odottelemaan.

Kone lataa muutamissa minuuteissa tietokoneelleni tarvittavat tiedostot ja lainaa grafiikkasuorituskykyä Googlen päästä. Kone alkaa tehdä versioita haluamastani aiheesta yksi kerrallaan ja tulostaa kuvan nähtävilleni 50:n iteraation välein.

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 50
50 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 100
100 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 150
150 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 150
200 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 250
250 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 300
300 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 350
350 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 400
400 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 450
450 iteraatiota

Tekoäly taide - Joona Kotilanen - Childish drawing of a pink unicorn jumping over a river 500
500 iteraatiota - prosessin viimeinen kuva

Mitä ihmettä? Kuvassa näyttää olevan kaksi pinkkiä yksisarvista (tai ainakin hevosta) hyppimässä joessa - kohtalaisen lapsellisesti piirrettynä. Eli lähestulkoon täydellisesti se, mitä pyysin. Pienellä muotoilulla ja jatkokehittämisellä kuva menisi täydellisesti läpi ihmisen tekemänä.

Innostun tästä mahdollisuudesta isosti. Hoksaan välittömästi, että minun pitää heittää romukoppaan 16 kappaletta kuukausi sitten tilaamaani tekoälyn tekemää abstraktia taideteosta ja tehdä kaikki näyttelyn materiaalit uusiksi tällä juuri testaamallani tekniikalla.

Ja hoitaa koko homma purkkiin tietysti yhden viikon aikana, jotta ehdin teettää kuvista taulut ajoissa näyttelyä varten.

Heitin 16 tekoälyn tekemää abstraktia taideteosta "romukoppaan"

Pidin kesällä kolmen viikon loman, jonka aikana lueskelin asioita, tutkin internettiä ja kokeilin erilaisia työkaluja tavoitteettomasti. Testailin jo aikaisemmin mm. kielentuottamiseen keskittyneitä tekoälytyökaluja (kts. tämä kirjoitus minun GPT-3 kokeilusta) ja käytin myös koneoppimiseen pohjautuvia kuvatyökaluja - esimerkiksi sellaisia, jotka ovat analysoineet ihmiskasvoista otettuja kuvia ja luovat “nappia painamalla” uuden kuvan ihmisestä, jota ei ole olemassa (https://thispersondoesnotexist.com). Lomani aikana löysin palvelun, joka tekee saman abstraktille taiteelle.

Ajatus siitä, että muutamassa sekunnissa voi saada eteensä uuden, ennennäkemättömän abstraktin taideteoksen kutkutti. “Mitä, jos näitä tekisi vaikka 100 ja valkkaisi sieltä 16 teosta, tekisi tauluiksi ja pitäisi pikataidenäyttelyn?” mietin. Näin myös tein.

Noin tunti myöhemmin olin selannut läpi yli 200 teosta, tallentanut koneelleni niistä 64, valinnut niistä 16 ja sommitellut ne mielestäni jonkunlaiseksi järkevän näköiseksi kokonaisuudeksi.
Nämä 16 abstraktia tekoälyn tekemää taideteosta löytyvät toimistoltani edelleen canvastauluiksi painettuina.

Tekoälyn tekemää abstraktia taidetta - Joona Kotilainen
Alkuperäinen pikataidenäyttelyidea - 16 kpl tekoälyn tekemiä abstraktin taiteen teosta - kokonaisuus luotu yhdessä tunnissa.

Laitoin viestin tuntemalleni cocktail-ravintolan pitäjälle, joka oli aikaisemmissa keskusteluissa maininnut, että hänen baarinsa seiniä voi tarvittaessa käyttää pienen näyttelyn pitämisessä. Tekoälyllä luotu pikataidenäyttely kuulosti hänenkin mielestään sopivan oudolta jutulta, mikä saattaisi tuoda väkeä baariin. Sovimme näyttelyn avaamisesta syyskuussa.

Tilasin taulut 20 cm korkeina ja leveinä saksalaisesta verkkopalvelusta, josta köyhdyin yhteensä vain n. 100€. Todellista pikataidetta siis. Nopeaa ja halpaa tehdä ja toteuttaa.

Kuka omistaa oikeudet tekoälyn tekemiin taideteoksiin?

Odotellessani taulujen saapuvan, mietin näyttelyn nimeä, teemaa ja myös sitä, että voisinko myydä tauluja, jos joku niitä haluaisi ostaa. Nimi ja teema löytyivät helposti. Päätin näyttelyn avulla demonstroida ja pohtia mitä taide oikeastaan edes on. Onko taiteen aina oltava ihmisen tekemää? Tai ihmisten tunteita tulkitsevaa? Onko koneen tekemät teokset täysin merkityksettömiä? Valetaidetta kenties? En itse osannut näihin kysymyksiin vastata, jonka vuoksi se tuntui sopivimmalta teemalta, sillä olinhan näiden työkalujenkin kanssa vasta oppimismatkan alussa.

“Voisiko näitä myydä” kysymys kuitenkin tuotti ongelmia selvittää. Koitin tutkia asiaa lukemalla eri lähteitä ja etsiä ennakkotapauksia, jossa tekijänoikeuskiistoja tekoälytaiteen osalta olisi ratkottu. En kuitenkaan löytänyt yhtään selkeää linjausta, jossa olisi tarkasti määritelty, miten ja kenelle tekijänoikeudet muodostuvat koneoppineen algoritmin tuottaman tekoälytaiteen osalta. Mieleen muistuu kuitenkin erään valokuvaajan ja julkaisijan kiista apinan ottamasta kuvasta ja sen oikeuksista.

Valokuvaaja oli tutustunut ja ystävystynyt luonnossa asuvien apinoiden kanssa, asetellut kameran jalustalle viidakkoon, pistänyt asetukset kohdilleen ja sai apinan paikalle painamaan suljinta ja ottamaan kuvan itsestään valokuvaajan kameralla. Eräs lehti ja Wikipedia julkaisi kuvia heidän nettisivuillaan ilman maksua valokuvaajalle. Valokuvaaja päätyi hakemaan korvauksia kuvista oikeusteitse. Lopulta oikeus Yhdysvalloissa linjasi asian kuvien julkaisijan hyväksi, sillä tekijänoikeudet tulkittiin sinänsä kuuluvan kuvan ottaneelle apinalle, eikä valokuvaajalle, vaikka tämä omisti kameran ja oli asetellut kameran paikalleen kuvaa varten. Ja koska muut kuin ihmiset eivät voi omistaa tekijänoikeuksia, ovat kuvat vapaata riistaa.

Apinan ottama selfiekuva, joka johti tekijänoikeuskiistaan
Yksi kiistellyistä apinan ottamista selfiekuvista. Kuva löytyy nykyään Wikimediasta julkisena ja vapaaseen käyttöön tarkoitettuna kuvana.

Sinälläänhän kuvia luovat tekoälytyökalut ovat nimensä mukaisesti vain työkaluja. Ne ovat “purkkeja”, joita painamalla käyttäjä saa itselleen kuvan. Kuvienottamis”purkkien”, eli kameroiden valmistajat eivät vaadi itselleen tekijänoikeuksia kameroilla otettuihin kuviin, eikä kuvanmuokkausohjelmistojen tekijät vaadi käyttömaksun lisäksi oikeuksia niillä muokattuihin kuviin. Mutta riippuuko tämä vaatimus ohjelmiston tai laitteiston tekijän suhtautumisesta asiaan? Voisiko tekoälytyökalun tekijä vaatia itselleen tekijänoikeudet kaikkiin sillä tuotettuihin kuviin?

Ajattelin, että tähän löytynee vastaus itse työkalun tekijältä. Koitin etsiä vastausta käyttämältäni sivustolta ja muista lähteistä, joissa kyseinen sivusto oli mainittu. Ainoa paikka, jonka löysin oli saman tekijän ylläpitämä verkkokauppa, jossa hän myi työkalulla tehtyjä taideteoksia ja lisenssejä niihin. Hän ei kuitenkaan maininnut sanallakaan thisartworkdoesnotexist.comin kuvien käyttöehdoista, eikä ollut jättänyt yhteystietoja, jonka avulla asiaa olisi voinut suoraan kysyä.

Lopulta löysin tuon palvelun luoneen käyttäjän Twitter-tilin, jonka biossa oli vastausodotuksia reilusti alentava merkintä: ”Irrationally afraid of DMs”. Laitoin kuitenkin hänelle DM-viestin kysyäkseni, että olisiko ok printata hänen kehittämän työkalun luomien kuvien pohjalta tauluja ja pitää niistä näyttely?

En ole saanut vastausta tähän päivään mennessä. Hän todennäköisesti oikeasti pelkää yksityisviestejä, eikä välttämättä ole edes avannut minun viestiäni..

Päädyin siis pienoiseen ongelmaan näyttelyn osalta. En tiennyt kuvien taustalla olevasta työkalusta mitään, koska sen tekijä ei ollut kertonut siitä mitään. En tiennyt mitä algoritmeja tekijä oli käyttänyt kuvien generoimiseen, enkä sitä, millä kuva-aineistolla algoritmia oli opetettu. Ja en itse asiassa tiennyt edes sitä, että tekikö käyttämäni nettisivusto kuvat minulle “nappia painamalla” vai olivatko kuvat jonkun muun teettämiä ja sivua päivittämällä minun näkemäni kuva vain vaihtui jostain valmiiksi luodusta pankista tekoälyn tekemiä kuvia. Sekin voi olla mahdollista tässä tapauksessa. Ja koska en tiedä, että olinko minä aiheuttanut kuvien muodostumisen, en pystynyt määrittämään itselleni, että olisinko saanut edes teettää kuvista tauluja. Työkalun ja sivuston tekijän vastauksen uupuessa tämä tietämättömyys alkoi hieman ärsyttää. Ehkäpä nuo kuvat pitäisi vain heittää romukoppaan.

Tekoälyintoilijan onni on tutkijayhteisön avoimet lisenssit ja käyttöoikeudet

Tekoälytaiteen tekijänoikeuksien tietämättömyyden tuska takaravoissani tuo artikkelin alussa löytämäni linkki tuntui lahjalta ja voitolta. Työkalussa oli hyvin selkeä lisenssiehto, joka tuli hyväksyä sitä käytettäessä. Työkalua saa käyttää mihin tarkoitukseen vain, vaikka myös kaupallisiin. Mutta jos sitä kehittää, pitää kehitystyön tulos lisensoida eteenpäin samalla avoimella lisenssillä.

Ajatuksenani ei ollut tehdä kaupallista liiketoimintaa pikataidenäyttelyllä. Halusin näyttää, opettaa ja demonstroida, mihin kenen tahansa saatavilla olevat tekoälytyökalut pystyvät vuonna 2021, mutta silti tuo kaupallisuudelle avoin lisenssi helpotti tiedontuskaani niin merkittävästi, että päätin pistää abstraktin taiteen syrjään ja tehdä kaikki näyttelyn teokset uusiksi tällä uudella menetelmällä. Yhdessä viikossa.

Samalla, kun testailin mihin kaikkeen juuri löytämäni työkalu taipuu, luin paljon työkalun kehittäjän linkkaamia artikkeleita ja lisäresursseja siitä, miten kyseinen työkalu oli rakennettu ja mihin se pohjautuu.

Tekoäly taide kuva garlic bacon cocktail in a glass
Garlic bacon cockail in a glass - 500 iteraatiota. Another Doggy cocktailravintolan baarimestari Jussi Viljala oli samaan aikaan kehittämässä Itä-Suomen yliopiston tutkijoiden kanssa tekoälyn luomaa drinkkilistaa. Yksi tekoälyn kehittämistä drinkeistä oli valkosipuli-pekoninrasva cocktail. Päätin kokeilla, miten toinen tekoäly tulkitsisi tämän reseptin ulkonäön. Vain hieman oksennusta suuhun tuova kuva.

AI Art Machinen kehittäjä Hillel Wayne oli ystävällinen ja vastasi kysymyksiini Twitterissä (hänen profiilissaan lukikin “DMs are open”). Tämä auttoi ymmärtämään sitä, miten tekoäly rakentaa kuvat ja miten tekijänoikeuskysymyksetkin menevät kyseisten teosten osalta.

Käsitykseni mukaan tekoälyn tekemässä kuvataiteessa on merkitystä muutamalla asialla:
- Millä kuva-aineistolla algoritmia on opetettu ja kuinka se kuva-aineisto on alun perin lisensoitu?
- Millä työkalulla tekoälyn tekemä kuva on tehty ja mikä on sen työkalun kehittäjän määrittämä lisenssiehto työkalun käytölle ja lopputuotoksille?
- Kuka on työkalun käyttäjä ja minkälaisen lisenssin hän määrittää teettämilleen teoksille?

Huom! Obs! Attention! Vaikka tästä nyt jotain kirjoitan, niin en todellakaan ole varma, miten tekijänoikeudet menevät tekoälytaiteen osalta. Edelliset kysymykset ja seuraavat lauseet ovat puhtaasti minun omia pohdintoja aiheen tiimoilta.

Sain selville Hillelin kanssa keskusteluista, että hänen luoman työkalun pohjalla oli kahden muun henkilön Katherine Crowsonin ja Twitter-käyttäjä @advadnoun pohjatyö näiden työkalujen kanssa. Hillel oli tehnyt Katherinen luomista työkaluista (jotka pohjautuivat advadnounin työkaluihin) helpommin käytettäviä ja julkaissut ne samalla avoimella lisenssillä, millä Katherinekin.

Hillel kertoi myös, että AI Art Machine käyttää taustalla valmista kuva-aineistopankkia Imagenetiä, joka on tutkimuskäyttöön ja koneoppimiseen tarkoitettu miljoonia kuvia sisältävä “kuvapankki”. Tutkin Imagenetin taustoja ja minulle selvisi, että he haalivat kuvia ympäri internetiä eri kuva- ja taidepalveluista. Imagenetin kuvapankeissa pitäisi olla vain kuvia, jotka on lisensoitu vapaaseen ja jatkojalostettavaan, mutta ei kuitenkaan kaupalliseen käyttöön. Tämä löydös selkeytti mielestäni montaa asiaa (ainakin omassa päässäni).

Koska kuva-aineisto, jonka pohjalta tekoäly tekee tulkintoja ja muodostaa uusia kuvia oli lisensoitu jatkojalostettavaksi (mutta ei kaupalliseen käyttöön) ja työkalu, jolla kuvat loin oli lisensoitu vapaaseen käyttöön, niin tulkitsin, että työkalun lopputuotostenkin on noudatettava näitä samoja rajoitteita. Sillä sinälläänhän tekoälyn luomat kuvat pohjautuvat - eli ovat derivatiivisia teoksia alkuperäisestä opetusaineistosta - olkoonkin, että kuvat ovat täydellisen uusia ja ennennäkemättömiä.

Sain siis mielenrauhan tekijänoikeuskysymyksiin ja pystyin sen turvin tekemään näyttelyn ainakin omalla nimelläni opetus- ja demonstraatiokäyttöön ei-kaupallisena toimintana.

Miten kuvia tuottavat koneoppineet algoritmit toimivat? VQGAN + CLIP

Seuraa toinen disclaimer: En ole tekoälytutkija tai edes -asiantuntija. Olen aiheesta kiinnostunut intoilija, joka parhaansa mukaan pyrkii ymmärtämään tämän teknologian taustoja ja toimintoja. Ilmaisuissani on varmasti tehty liikaa oikomista ja yksinkertaistusta, mutta koitan kirjoittaa siten, että äitinikin ymmärtäisi :)

Tekoäly taide video - The never ending wait
“The Never Ending Wait” 500 iteraatiota. Animaatio on muodostettu pistämällä 500 tekoälyn luomaa iteraatiota peräkkäin, jolloin gif:ssä näkyy kuvan muodostamisprosessi nopeutettuna.

Yksinkertaistetusti AI Art Machinen taustalla on kaksi tekoälyohjelmaa, joita on koulutettu miljoonilla internetistä löytyvillä kuvilla ja piirroksilla. Aluksi käyttäjä antaa ohjelmille ohjeen, jonka pohjalta kuva tulisi tehdä. Ohje voi olla jotain konkreettista, kuten esimerkiksi “lapsellinen piirros pinkistä yksisarvisesta hyppäämässä joen yli” tai abstraktimpaa, kuten “päättymätön odotus”. Ensimmäinen ohjelma alkaa luoda kuvia, joita se näyttää toiselle ohjelmalle. Toinen ohjelma tulkitsee kuvia ja antaa palautetta siitä, vastaako kuvat käyttäjän alkuperäistä ohjetta / toivetta. Ensimmäinen ohjelma luo saamansa palautteen perusteella uuden kuvan, jonka se esittelee. Tämä sykli jatkuu satoja kertoja, kunnes ensimmäisen ohjelman tekemä kuva vastaa toisen ohjelman ymmärryksen mukaan käyttäjän antamaa ohjetta. Tämän jälkeen kuva ei enää juurikaan kehity eteenpäin.

Yllä olevassa gif:ssä näkyy yksittäisen kuvan kehityskulku ensimmäisestä versiosta kohti 500. versiota, eli iteraatiota. Puolessa välissä animaatiota kehitys näyttää pysähtyvän kuin seinään ja kone tekee enää vain muutamia silmin nähtäviä muutoksia. Toisen ohjelman mielestä kuva siis näyttää jo todella paljon päättymättömältä odotukselta, jolloin ensimmäinen ohjelma ei enää osaa kehittää sitä eteenpäin.

Teknisemmin ilmaistuna järjestelmän taustalla on useita erilaisia neuroverkkoja, jotka työskentelevät yhdessä oppiakseen miltä kuvat näyttävät ja tuottaakseen kuvia. Neuroverkot ovat yleisesti informaation käsittelyn, matematiikan tai laskennan malleja, jotka perustuvat yhdistävään laskentaan (Wikipediasta lisää). Niitä voi siis käyttää esim. oppimiseen ja hahmojen tunnistamiseen, josta tekoälyn muodostamissa kuvissa on pitkälti kyse.

Toinen verkko on VQGAN-niminen generatiivinen kilpaileva verkosto (VQGAN = Vector Quantized Generative Adversarial Network) ja toinen OpenAI:n kehittämä neuroverkko CLIP, joka pystyy tulkitsemaan kuvia ja niissä esiintyviä asioita tekstimuodossa (CLIP = Contrastive Language–Image Pre-training). VQGAN luo kuvia ja CLIP kertoo, että täsmääkö kuva käyttäjän toivetta.

Molemmat näistä verkoista on luotu vasta vuonna 2021, mutta ne tietysti pohjautuvat moniin aikaisempiin koneoppimisen keksintöihin. Tämä artikkeli avaa todella teknisesti ja tarkasti, mistä VQGAN:ssa ja CLIP:ssa on kyse, jos sinua kiinnostaa lukea välineen taustalla olevasta teknologiasta tarkemmin.

Mihin kuvia tuottavat tekoälyohjelmat kykenevät tällä hetkellä?

Kun sain vihdoin vihreän valon (omalta itseltäni ja tekijänoikeusrikkomuksen peloltani) näyttelyn tekemiseksi, oli aika pistää tietokone työhön. Olihan minulla vielä kuusi päivää, tai oikeastaan kuusi iltaa/yötä aikaa uudistaa 20 teoksen näyttely kokonaisuudessaan. Näyttelyn piti olla kivaa lomatekemistä, mutta päätös uudistaa teokset tuli kuitenkin keskellä työkiireitä. En pitänyt unta seuraavaa Oura-sormusta sormessa tuon viikon aikana, mutta jos se olisi ollut sormessa, niin veikkaan, että se olisi raportoinut vuoden matalimman viikkounisaldon, muutamia kymmeniä tunteja korkeintaan.

Pyrin kokeilemaan erilaisia tulokulmia koneen ohjaamisessa. Miltä asiat näyttäisivät lapsen piirtäminä, 3D-grafiikkana, vesivärjättynä, surrealismin tai kubismin tyylisuunnalla, lyijykynäpiirroksena, liitutaiteena, mustekynäpiirroksena, graffitina? Kone osaa mukailla näitä tekotapoja ja pystyy luomaan teoksia tyylisuunnan määritteiden mukaisesti.

Tekoälyn tekemä piirros - VQGAN + CLIP - childs drawing of a dragon Joona Kotilainen
Child’s drawing of a dragon, 400 iteraatiota, VQGAN + CLIP

Tekoäly - musiikki - kuva - music visualized in 3d - VQGAN+CLIP - Joona Kotilainen
Music visualized in 3D, 400 iteraatiota, VQGAN + CLIP

Tekoäly taidekuva - VQGAN + CLIP - A giant sitting on a small mushroom - Joona Kotilainen
A giant sitting on a small mushroom watercolour, 500 iteraatiota, VQGAN + CLIP

Tekoäly taide - spoon that is an aeroplane surrealist VQGAN + CLIP - Joona Kotilainen
A spoon that is an aeroplane surrealist, 500 iteraatiota, VQGAN + CLIP

Tekoälyn piirtämä mies - cubist paintint of a man - Joona Kotilainen - VQGAN + CLIP
Cubist painting of a man, 400 iteraatiota, VQGAN + CLIP

Tekoäly ja taide - VQGAN + CLIP - an iron giant that is constructed by tiny gnomes pencil sketch 0500
An iron giant that is constructed by tiny gnomes pencil sketch, 500 iteraatiota, VQGAN + CLIP

Tekoälyn luoma taidekuva - VQGAN + CLIP - artificial intelligence chalk art - Joona Kotilainen
Artificial intelligence chalk art, 500 iteraatiota, VQGAN + CLIP

ink drawing of a black hole devouring a sun - tekoälyn piirtämä kuva - VQGAN + CLIP - Joona Kotilainen
Ink drawing of a black hole devouring a sun, 200 iteraatiota, VQGAN + CLIP

Tekoäly taiteessa - VQGAN + CLIP - another doggy graffiti art - Joona Kotilainen
Another doggy graffiti art, 500 iteraatiota, VQGAN + CLIP

Tekoäly abstrakti taide - VQGAN + CLIP - abstract painting of a cocktail - Joona Kotilainen
Abstract painting of a cocktail, 400 iteraatiota, VQGAN + CLIP

Tarkan tyylisuunnan määrittämisen sijaan minusta oli kuitenkin mielenkiintoisempaa antaa tekoälylle tulkittavaksi abstrakteja konsepteja, kuten vaikka maskuliinisuus, feminiinisyys, mielikuvitus ja ahdistus. Kone toki perustaa käsityksensä näistä aiheista näkemiinsä ihmisten tuottamiin kuviin, joten tulokset ovat kutakuinkin odotettavia ja sinällään ihmismäisiä.

Tekoäly taideteos - anxiety - VQGAN + CLIP - Joona Kotilainen
Anxiety, 500 iteraatiota, VQGAN + CLIP

Tekoäly - mielikuvitus - imagination - VQGAN + CLIP - Joona Kotilainen
Imagination, 600 iteraatiota, VQGAN + CLIP

Feminiinisyys tekoäly - femininity VQGAN + CLIP - Joona Kotilainen
Femininity, 400 iteraatiota, VQGAN + CLIP

AI art masculinity VQGAN + CLIP - Joona Kotilainen
Masculinity, 400 iterations, VQGAN + CLIP

Myös metaforat ja kielikuvat tuppasivat onnistumaan hyvin.

Tekoäly kuva - feeling the universe inside of me - VQGAN + CLIP - Joona Kotilainen
Feeling the universe inside of me, 300 iteraatiota, VQGAN + CLIP

Tekoäly ja taide - VQGAN + CLIP - Joona Kotilainen - There kids are living in the future
These kids are living in the future, 500 iteraatiota, VQGAN + CLIP

Magicians blackout AI art image - VQGAN + CLIP - Joona Kotilainen
Magician’s blackout, 400 iteraatiota, VQGAN + CLIP

AI image - end of the world - VQGAN - CLIP - Joona Kotilainen
End of the world, 500 iterations, VQGAN + CLIP

Mielenkiintoisia tuloksia sain aikaan myös oikean elämän kohteilla, henkilöillä, bändeillä ja brändeillä, joista tekoälyllä saattaisi olla joku käsitys.

Heavyneulonta - tekoälyn tekemä kuva - heavy metal knitting - VQGAN + CLIP - Joona Kotilainen
Heavy metal knitting, 500 iteraatiota, VQGAN + CLIP

AI Nightwish image - VQGAN + CLIP - Joona Kotilainen
Nightwish, 400 iteraatiota, VQGAN + CLIP

Tekoälyn piirtämä donald trump VQGAN + CLIP - Joona Kotilainen
Donald trump, 400 iteraatiota, VQGAN + CLIP

Tekoälyn piirtämä kekkonen- VQGAN + CLIP - Joona Kotilainen
Kekkonen, 400 iteraatiota, VQGAN + CLIP

Tekoäly Kalevala kuva - VQGAN + CLIP - Joona Kotilainen
Kalevala, 500 iteraatiota, VQGAN + CLIP

Iso osa tuottamistani kuvista kuitenkin epäonnistui mielestäni (eivät oikein näyttäneet miltään). Joko antamani käskyt olivat liian kompleksisia ja vaikeasti tulkittavia, että niistä ei saanut kiinni tai sitten opetusaineistossa ei ollut riittävästi tavaraa teemaan liittyen.

Tovari marketing made by AI - VQGAN + CLIP - Joona Kotilainen
Tovari marketing, 400 iteraatiota, VQGAN + CLIP

Tekoälyn tekemä kuva - heavenly toilet seat parachuting down from the skies VQGAN + CLIP - Joona Kotilainen
Heavenly toilet seat parachuting down from the skies, 500 iteratatiota, VQGAN + CLIP

Good night sleep tight image made by AI - Joona Kotilainen - VQGAN and CLIP
Good night sleep tight, 400 iteraatiota VQGAN + CLIP

Näyttelyn aikana minulta kysyttiin paljon suosikkikuvaani, niin siihen vastasin kuvalla, joka säväytti tekovaiheessa eniten. Työkalun löytämisen jälkeisenä iltana kokeilin kymmeniä erilaisia kuva-aihioita ja välitin niitä innostuneena ystävilleni. Yö yhden aikoihin laitoin tekeytymään kuvan nimellä “a singularity that is creating art” - maailmanvaltaajatekoälyn tekosia vahvassa dystopiahengessä. 800 iteraation prosessi päättyi varttia vaille kaksi tähän kuvaan, jonka jälkeen päätin, että ehkäpä on aika ottaa itsekin unia. Alkoi mennä häröksi tekeminen.

Tekoäly luo taidetta VQGAN + CLIP - a singularity that is creating art - Joona Kotilainen
A singularity that is creating art, 800 iteraatiota, VQGAN + CLIP

Yllä olevat kuvat on kaikki luotu AI Art Machinella ennen näyttelyä ja osa kuvista oli mukana fyysisessä näyttelyssä. Näyttelyn jälkeen olen kokeillut myös muita tekotaiteen menetelmiä, jotka poikkeavat VQGAN+CLIP menetelmästä jollain tasolla. Tässä on pari kuvaa CLIP guided diffusion menetelmällä, joka pohjautuu samaan tapaan tuotos-palautekierroksiin, mutta kuvanmuodostamismenetelmä poikkeaa VQGAN:ista jollain tavalla, mitä en osaa selittää auki. Työkalun, jolla nämä kuvat on luotu kehitti Katherine Crowson, joka oli taustatekijänä myös VQGAN + CLIP:iä käyttävässä AI Art Machinessa.

CLIP guided diffusion -mechanical monster painted by gallen-kallela - Joona Kotilainen
Mechanical monster painted by Gallen-Kallela, CLIP guided diffusion

CLIP guided diffusion - airships over the replicant city skies - Joona Kotilainen
Airships over the replicant city skies, CLIP guided diffusion

Näyttelyn aikana tutustuin myös muihin koneoppimista hyödyntäviin internetin kuvapalveluihin. Artbreeder on mielenkiintoinen palvelu, jossa kuvamuokkaus perustuu niin ikään neuroverkkoihin, mutta uusien kuvien “nollista rakentamisen” sijasta palvelussa muokataan olemassa olevia kuvia muokkaamalla niiden “geenejä”. Maisemakuvaan voi esimerkiksi lisätä lumi- tai metsägeeniä, tulevaisuutta, vuoristoa tai sitten olemassa olevan kuvan voi laittaa tekemään “lapsia” toisen kuvan kanssa, jolloin lopputuloksena on näiden kuvien yhdistelmä.

Artbreeder tekoäly kuva esimerkki - Artbreeder - Joona Kotilainen
Aloituskuvana oli palvelusta löytynyt maalauksellinen vuoristokuva. Artbreeder.

Artbreeder tekoäly kuva esimerkki - Artbreeder - Joona Kotilainen
Kuvaan pystyi lisäämään “geenejä”, jotka muokkasivat kuvaa geenin määrittämään suuntaan. Tämä kuva on lopputulos, kun alkuperäiseen kuvaan lisättiin “tulevaisuus” geeniä, “rakennus” geeniä ja “joki” geeniä. Muutokset tapahtuvat muutamissa sekunneissa käyttäjän edessä. Artbreeder.

Artbreeder tekoäly kuva esimerkki - Artbreeder - Joona Kotilainen
Palvelussa on mahdollista myös laittaa kuvat “harrastamaan seksiä”, jolloin kahdesta kuvasta saa “lapsikuvia”. Eli miksauksia kahdesta alkuperäkuvasta. Tämän kuvan muodostamiseen käytin ylempänä olevaa rakennuksilla ja tulevaisuudella muokattua vuoristokuvaa ja minun itse kuvaamaani revontulikuvaa. Lisäsin lopputulokseen myös “metsä” geeniä, sillä se sopi mielestäni esteettisesti paremmin kuvaan. Artbreeder.

Ihmiskasvojen "geenien" muokkaus oli myös koukuttavaa puuhaa. Maksullisessa versiossa Artbreederiin saa myös lisättyä omia kuvia vaikka itsestä ja lähteä iteroimaan omaa naamaa geenimuokkaimella.

Tekoälyn luoma kasvokuva - Artbreeder - Joona Kotilainen
Artbreeder palvelusta löytynyt lähtökuva naisen kasvoista. Artbreeder.

Tekoälyn luoma kasvokuva - Artbreeder - Joona Kotilainen
Muutama geenilisäys kuvaan: silmiin sinisyyttä, suuta auki hieman, hiuksiin valkoisuutta ja tekstuuria, leukaa ylös päin, kulmakarvoihin tuuheutta. Kaikki muutokset ja säädöt voi tehdä yksitellen ja reaaliaikaisesti silmien edessä muutamissa minuuteissa. Artbreeder.

Tekoälyn luoma kasvokuva - Artbreeder - Joona Kotilainen
Muutos ihonväriin. Artbreeder.

Tekoälyn luoma kasvokuva - Artbreeder - Joona Kotilainen
Hiuksiin ruskeutta ja vähemmän sotkuisuutta, silmät ruskeaksi, “vihaisuus” geeniä hieman lisää. Artbreeder.

Tekoälyn luoma kasvokuva - Artbreeder - Joona Kotilainen
Maskuliinisuus geenin avulla edellisen muokkaus miehen kasvoiksi. Artbreeder.

Tekoälyn luoma kasvokuva - Artbreeder - Joona Kotilainen
Ja lopulta “lapsikuva” yllä olevan miehen ja minun omien kasvojen kanssa. Tämän ja kaikki yllä olevat kasvokuvat sain aikaan muutamissa minuuteissa. Hämmentävää. Artbreeder.

Kuvia luovia tekoälypalveluita ja -työkaluja löytyy netistä lukemattomia ja minä olen ehtinyt käyttää vain muutamaa ihan pienellä pintaraapaisulla, mutta silti näiden helppokäyttöisyys ja toteutusten taso on yllättänyt täydellisesti. Minun käytössäni kuvat ovat tähän saakka olleet lähinnä demonstraatiotarkoituksessa ja seinälle laitettavana taiteena, mutta en usko, että tästä menee kauaa kun tämän tyyppiset työkalut ovat arkipäivää esimerkiksi kuvittajilla, graafikoilla, mainostajilla ja viestijöillä. Photoshop tekee jo nykyisellään niin ihmeellisiä asioita napin painalluksella, niin miksipä ei kuvien generointi eri tyylisinä ja versioina koneellistuisi ja tulisi nopeammaksi ja helpommaksi tekoälytyökalujen myötä.

Another Doggyn seinälle päätyi 18 teosta ja näyttelyssä vieraili satoja ihmisiä antamassa omia ideoitaan tekoälykuviksi

Kaksi päivää ennen näyttelyn alkua hain postista minulle osoitetun paketin, joka sisälsi 18 kappaletta 20 cm x 20 cm canvas-taulua, joille oli painettu valitsemani tekoälyn tekemät kuvat ja pääsin pystyttämään näyttelyn sopivasti päivää ennen julkistusta. Helpotus.

Onko tämä taidetta - tekotaidenäyttely - Joona Kotilainen
Näyttelyn kuvat olivat verrattain pieniä - vain 20 cm kokoisia. Tämä oli pääasiassa kustannuskysymys. Tulkitsin, että en saanut myydä tauluja tekoälyn opetusaineiston ei-kaupallisuudesta johtuen, niin en halunnut suuria kustannuksia taulujen teettämisestä.

Avajaispäivään mahtui muutakin tekoälyteemaista. Näyttelypaikan Another Doggyn yrittäjä Jussi Viljala oli ideoinut Itä-Suomen yliopiston tietotekniikan professorin ja tekoälytutkijan kanssa menetelmän, jolla voisi valjastaa tekoälyn luomaan tuhansittain uusia drinkkejä ja cocktailreseptejä. He testasivat erilaisia koneoppimisen tapoja ja loivat yhdessä Suomen ensimmäisen tekoälyn kehittämän drinkkilistan. Drinkkilistalta löytyi neljä tekoälyn nimeämää ja kehittämää reseptiä, joita Another Doggyn baarimikot valmistivat vieraille. Tapahtuma houkutti paikalle myös Sanomalehti Karjalaisen toimittajan Olli Sorjosen tekemään videoreportaasia (videot ja teksti ovat maksumuurin takana):
Maistuuko tekoälyn luoma drinkki erilaiselta kuin ihmisen? Entä miltä näyttää tekoälyn luoma taide?
Pinkkejä yksisarvisia ja happopäinen Tom of Finland: Kumpi on taiteilija? Tekoäly vai ihminen, joka konetta ruokkii?

Myös Aromi-lehti kirjoitti tekoälyn laatimasta drinkkilistasta verkkosivuilleen:
Tekoäly laati drinkkilistan Another Doggy ravintolalle

Tekoälyn tekemä drinkkilista - Another Doggy cocktailravintola
Testasin illan aikana kaikki listan cocktailit. Yksi tekoälyn kehittämistä ja Jussi Viljalan listalle valitsemista cocktaileista oli Inhaled Tartar, jossa yllättävänä elementtinä oli curryjauhetta maun mukaan. En suosittele.

Näyttelyssä kiersi myös vieraskirja, jossa vierailta udeltiin kahta asiaa:
1. Onko tämä taidetta?
2. Mitä sinä käskisit tekoälyä piirtämään?

Ensimmäiseen kysymykseen pyrin vastaamaan seuraavissa kappaleissa ja toisen kysymyksen lopputuloksia näytän tässä vielä muutaman. Näissä on käytetty siis näyttelyvieraiden antamia tekstisyötteitä.

AI made this image - Tom of finland in studio ghibli style - VQGAN + CLIP - Joona Kotilainen
Tom of Finland in Studio Ghibli style, 400 iteraatiota, VQGAN + CLIP

Tekoäly teos - cocktails and dreams - VQGAN + CLIP - Joona Kotilainen
Cocktails and dreams, Another Doggyn baarimestarin ideoima käsky, 400 iteraatiota, VQGAN + CLIP

AI ART VQGAN + CLIP - Joona Kotilainen - my little kinky pony
My little kinky pony, 400 iteraatiota, VQGAN + CLIP

VQGAN + CLIP - Joona Kotilainen - Solution to climate change
Solution to climate change, 400 iteraatiota, VQGAN + CLIP

Mutta kerro nyt! Onko tämä (tekoälyn tuottamat teokset) taidetta!?

Tuli hieman mutkia ja aasinsiltoja tähän artikkelin päättävään kappaleeseen pääsyyn, mutta koen kuitenkin, että nuo edelliset sivut tekstiä piti kirjoittaa taustaksi ja näyttää, jotta jonkunlaisen perustellun pohdinnan tästä aiheesta voin tehdä.

Onko tekoälyn tekemät teokset taidetta?

Vieraskirjan täyttäneiden ihmisten pohjalta lähes kaikki väittävät näyttelyn teokset taiteeksi. Perusteiuiksi vieraskirjassa on kirjattu mm. seuraavia väitteitä.
- Tekijä on nähnyt vaivaa
- Taulun luominen vaatii kuitenkin luovuutta ja kokeiluja
- Tämä herättää keskustelua ja tunteita, siksi se on taidetta
- On. pastissi, mikä pastissi
- Tämä on ainakin vaikuttavaa ja aiheuttaa ajatuksia ja herättää mielenkiinnon.

Kävin myös näyttelyn avajaisissa monipuolisia keskusteluita vieraiden kanssa teemasta Eräs vieras toi mielenkiintoisen näkökulman, joka onnistui mielestäni tiivistämään asian luonteen ja määrittelemään toteutuksen: Näyttely oli taideteknologian demonstraatio. Sinällään siis taidetta ja sen esittelyä, mutta ilman taiteilijan suurta välitettävää tunnetta tai visiota.

Tarkastellaan asiaa vielä puolesta ja vastaan. Miksi tekoälyn avulla tehdyt teokset eivät ole taidetta? Ja miksi taas ehdottomasti ovat?

Minun tuottamat tekotaideteokset eivät ole taidetta, koska:
- Taide on jotain, mikä on ominaista ihmisille ja vain ihmisille.
- Kone on tehnyt kuvassa kaiken näkyvän. Minä vain syötin sanoja koneeseen ja kone tekee kaiken työn.
- Minä en ole itse tehnyt sitä konetta, joka tekee kuvat, vaan otin valmiin internetistä ilmaiseksi löytyvän työkalun ja käytin sitä.
- Minä en ole opettanut konetta kuva-aineistolla, tai edes kerännyt kuvia, joilla sitä voisi opettaa.
- Kone saattaa vain mallintaa sitä, mitä se on opetteluaineistossa nähnyt.
- Minulla ei ollut työn takana tunnetta tai vahvaa taiteellista visiota, jota ilmentää tai kanavoida teoksissa. Halusin vain kokeilla erilaisia menetelmiä ja nähdä, mihin tekoälytyökalut pystyvät lyhyessä ajassa.
- En ole taiteen tekijä eli “taiteilija” - ainakaan sanan klassisessa merkityksessä. Konehan se ne teokset teki.

Toisaalta.

Minun tuottamat tekotaideteokset ovat taidetta, koska:
- Olen teettänyt useita kymmeniä teoksia ja valikoinut niistä viestinnän ja kokonaisuuden kannalta sopivimmat painettavaksi ja esille.
- Olen nähnyt vaivaa algoritmin kyvykkyyden selvittämiseen ja testannut algoritmia monin eri tavoin saadakseni lopputuloksen ja mielenkiintoisen näyttelyn.
- Koneoppinut algoritmi on vain yksi digitaalinen työkalu muiden työkalujen joukossa taiteen tekemiseen. Digitaalisia työkaluja on muitakin (esim. Photoshop), joiden avulla tehdyt teokset voi lukea taiteeksi.
- Ihmiset ovat aina käyttäneet teknologiaa taiteen tekemiseksi.
- Jokainen tuottamani kuva on uniikki - toista täsmälleen samanlaista ei tule vastaan.
- Ihmiset ovat tulleet katsomaan näitä teoksia, oppineet jotain uutta ja kokeneet tunteita niitä katsellessaan
- Se, että onko joku asia taidetta riippuu tarkastelijan omaksumasta taidekäsityksestä - sitä ei voi kukaan määritellä toisen puolesta.

Viimeisen väittämän mukaan asia ei ole minun päätettävissä. Jos joku kokee teokset tai tämän kertomuksen opettavana, mielenkiintoisena, tunteita ja ajatuksia herättävänä ja sitä kautta näkee nämä teokset taiteena, niin se on minusta hyväksyttävä tulkinta.

Teosten taiteeksi julistamisessa minua jäi kuitenkin mietityttämään eniten se, että minulla ei ollut varsinaista isoa taiteellista agendaa tai tunnetta, mitä halusin teoksilla ilmentää. Halusin näyttää ihmisille, mihin nämä työkalut kykenevät ja kokeilin erilaisia tapoja toteuttaa niitä, mutta yhtenäistä taiteellista teemaa tai visiota näistä teoksista ei löydy. Tai löytyy toki, mutta se teema on väline, jolla taide on tehty.

Wikipediassa kirjoitetaan intentionaalisesta ja tekijälähtöisestä taidekäsityksestä. “Intentionaalisen taidekäsityksen mukaan teoksen asema taideteoksena määrittyy taiteilijan tarkoitusperien perusteella. Taiteilijan valkoiseksi maalaama seinä ei ole taideteos, ellei taiteilija ole niin tarkoittanut. Taidetta on se, mitä taiteilija taiteeksi sanoo.” ja “Tekijälähtöisen taidekäsityksen mukaan taas taiteilijan valkoiseksi maalaama seinä olisi taidetta maalaajan tarkoitusperistä riippumatta.”

Jos näistä kulmista tarkastelee asiaa, niin intentionaalisesta taidekäsityksestä katsottuna kyllä - teokset ovat taidetta. Tarkoitin teokset ajatuksia ja tunteita herättäväksi taiteeksi, vaikkakin vain nopeasti ja halvalla tehdyksi pikataiteeksi. Tekijälähtöisestä taidekäsityksestä tarkasteltuna taas en usko, että minulla on kannuksia väittää, että kaikki, mitä teen on taidetta, koska en ole taiteilija.

Kaiken tämän jälkeen olen siis viimein valmis antamaan vastauksen kysymykseen: Onko tämä taidetta?

Vastauksessani olen samaa täsmälleen samaa mieltä kuin vieraskirjan 7. viimeinen vähäsanainen ja nähtävästi savolaista alkuperää oleva kirjoittaja:
Suattaapi olla tai suattaapi olla olematta

---

Mikä on sinun käsityksesi? Olisi kiva kuulla se ja jutella aiheesta! Pistä rohkeasti viestiä sähköpostilla tai somessa minulle. Yhteystietoja löydät tuosta alta ja somet Facebookista, LinkedInistä, Instagramista ja Twitteristä nimellä Joona Kotilainen.

Ota yhteyttä

Katso myös

Pieni hetki luovuudelle?

Kuinka usein ehdit antaa aikaa luovuudelle? Ota arjessa pieni paussi meidän kanssa ja tilaa meidän uutiskirje tukemaan yrityksesi luovuutta.

Paina sydämestä

Se sytyttää sydämen meidän toimistolla.

Sydän on syttynyt kertaa.