Akateeminen vapaus on jäänyt menneiden vuosien muistoksi ja tilalla on akateemisen suorittamisen muodot eri mittareineen. Yksi keskeinen mittari on julkaiseminen. Kuinka paljon, missä julkaistaan ja vieläpä paljonko niitä hankitaan luettavaksi ja siteerataan? Tämä pisteytys on peräisin lääketieteen ja luonnontieteen puolelta, jossa sitä on tehty jo pitkään, mutta eihän pisteiden laskeminen ja julkaisukanavien tasoista puhuminen ole enää ollut mitenkään uutta humanisteillekaan. Voiko musiikintutkimus erityisen hyvin tai huonosti tällä julkaisujen mittaamisen arvomaailmalla?
Julkaisufoorumi hanke ja musiikki
Noin vuosi sitten käynnistettiin Tieteellisten Seurojen Valtuuskunnan toimesta ja Suomen yliopistot -yhdistyksen aloitteesta julkaisufoorumi-hanke. Työssä oli tarkoitus määrittää laatukriteereitä eri aikakausilehtien ja kustantajien suhteen. Vastaavaa laajamittaista työtä on jo tehty esim. Norjassa ja Australiassa, joiden arvioinnin tuloksia suomalainen hanke vahvasti hyödynsi. Olin itse mukana arvioinnissa yhdessä professori Anne Sivuojan kanssa (Sibelius-Akatemia). Edustimme musiikkia paneelissa 22 (Kirjallisuus, taiteen tutkimus ja arkkitehtuuri). Arviointikriteerien selvittyä sekä keskusteltuaan hankkeen arvomaailmasta, periaatteista ja esimerkeistä paneelilla oli edessään työläs savotta, jossa kävimme läpi n. 3000 lehteä, joista noin muutama sata sivusi musiikkia. Kriteereissä kuvataan kolme tasoa, joista ensimmäiselle tasolle ei kelpuuteta laitosjulkaisuja, vaan kyse tulisi olla kunnolla vertaisarvioiduista lehdistä. Taso 2 on sitten varattu erinomaiselle laadulle (maks. 20% taso 1 kokonaismäärästä) ja taso 3, jota me humanistit emme edes alunperin kaivanneet arviointiin, on erotettu ylivertaiselle laadulle, eli maksimissaan 5% kärkilehdille.
Keskustelu paneelissa oli vilkasta ja vaikka rannalle oli jäämässä joitakin kansallisesti mielenkiintoisia julkaisusarjoja, rimaa pidettiin tarkoituksella aika korkealla. Jos lehdessä ei ollut käytössä todellista vertaisarviointia tai sen todettiin olevan yhden organisaation sisäistä, jäi julkaisu auttamattomasti tältä kierrokselta pois ja lehteä neuvottiin kehittämään toimintaansa avoimemmaksi ja kriittisemmäksi. Tässä paneelilla ei ollut juurikaan ongelmia, sillä periaatteiden todettiin sinänsä olevan ihan käypiä kirjallisuuden, taiteentutkimuksen ja arkkitehtuurin alalla. Muutoinkaan ei mitään kapinamieltä ollut havaittavissa paneelin toiminnassa, vaan kukin taholtaan pystyi – ehkä pitkällisen pohtimisen jälkeen – mutta pystyi kuitenkin nostamaan esille erinomaisia ja merkittäviä kanavia ja toteamaan myös listoilta ison joukon julkaisukanavia, jotka eivät varsinaisesti täytä ennalta-asetettuja kriteereitä. Täysin aukoton ei prosessi tietenkään voinut olla tämän ensimmäisen kierroksen perusteella, sillä nyt arvioinnista vastasi pieni joukko yksilöitä, jotka konsultoivat kollegoitaan ja saivat käyttöönsä aiemmat arvioinnit.
Työ valmistui jouluksi 2011 ja heti tammikuussa kymmenet tieteelliset seurat ilmaisivat huolensa, että hanke suosii liiaksi kansainvälistä, ei-suomenkielistä julkaisemista. Tämän vastaliikkeen jättämä vetoomus poiki heti julkaisufoorumilta myönnytyksen kansallisen julkaisemisen parempaan noteeraamiseen.
Varsinainen kysymys on kuitenkin siinä mistä julkaisufoorumien arvioinnissa on pohjimmiltaan kyse? Luonnontieteen formaatin pakottamista humanisteille vai ylipäänsä laadun tuomista julkaisukeskusteluun? Minusta kyse on vahvasti jälkimmäisestä, sillä pelkästään määrälliset kriteerit on meillä suomalaisessa korkeakoulumaailmassa ollut käytössä jo 10 vuotta ohjaamassa toimintaa.
Olen myös nähnyt, kuinka yliopistojen ja opetusministeriön julkaisupisteitä (KOTA) tavoiteltaessa korostetaan määrää laadun kustannuksella. Nykyjärjestelmässä ainoa laadun mittari on ollut julkaisukategorioissa. Näissä erotellaan esimerkiksi kansainvälinen vertaisarvioitu julkaisu (esim. tyyppi A ”Vertaisarvioidut tieteelliset artikkelit” jossa A1 on Alkuperäisartikkeli tieteellisessä aikauslehdessä, A2 on Katsausartikkeli tieteellisessä aikauslehdessä sekä A3 Kirjan tai muun kokoomateoksen osa, tyyppi B Vertaisarvioimattomat tieteelliset kirjoitukset, ja tyyppi C Tieteelliset kirjat ja niin edelleen. Katso tarkemmin Opetusministeriön julkaisutyyppiluokittelu, 2010). Näitä luokkia sovelletaan varsin laajasti myös viranhakujen ja Suomen Akatemian rahoituksen hakemuksen julkaisuluetteloiden järjestämisessä. Kukin yliopisto kokoaa tiedot omista järjestelmistään yhteiseen KOTA tietokantaan, josta Opetusministeriö on jo vuosia vertaillut eri alojen tieteellisen toiminnan tuottavuutta ja laatua. Samalla tavoin julkaisutietoja voi helposti tarkastaa yliopistojen omista järjestelmistä (Helsingin yliopistossa Tuhat, Jyväskylässä Tutka, Oulun yliopisto tutkii, jne.). Julkaisufoorumin teettämä julkaisujen tasoluokitus tarjoaa kuitenkin seuraavan keskustelun avauksen julkaisuiden tasojen luokitteluun.
Koska julkaisufoorumin tasoluokitukseen liittyy humanistisella alalla ja oletukseni mukaan musiikintutkimuksessa paljon intohimoja ja ehkä pelkojakin, ajattelin pohtia omalta osaltani etukäteen niitä mahdollisia vaaroja alalle, joita tällä toiminnalla voisi olla musiikintutkimukselle.
Kymmenen mahdollista vaaraa musiikintutkimukselle julkaisukanavien tasoluokittelusta
1. Foorumin luokittelu voi epäonnistua pahasti tehden hallaa sekä julkaisukanavalle että kirjoittajilleen. Tämä ei liene kovin todellinen vaara, sillä järjestelmä on avoin ja muuttuva, eli ongelman havaitessa se voidaan korjata tarkistuksen yhteydessä.
2. Luokittelu ohjaa tutkijoita julkaisemaan luokittelultaan paremmilla kanavilla ja jättää vaatimattomammat kanavat vähemmälle. Tämä lienee todellinen huoli, mutta eikö tämä toisaalta juuri lisää laatua jos paremmat kanavat oikeasti ovat vertaisten mielestä luetumpia ja arvostetumpia? Saadakseen niihin työnsä hyväksyttyä joutuu todennäköisesti tekemään työnsä huolellisemmin ja perusteellisemmin. Eli tämä ei liene järjestelmän tuottama haitta vaan etu.
3. Tieteidenvälinen tutkimus ei pääse hyvin esille, sillä on tunnettua että julkaisukanavat ovat yleensä hyvin oman alansa rajat määrittäviä. Tämä on selvä riski, mutta koska poikkitieteellinen tutkimus on lisääntynyt kaikilla aloilla, myös musiikissa, on tätä varten kehittynyt jo omat vertaisarvioidut kanavansa (esim. Journal of Interdisciplinary Music Studies, Music Perception, An Interdisciplinary Journal). Tämän lisäksi on huomautettava että samoja lehtiä oli eri paneelien arvioitavana, esim. Etnomusicology lehti oli myös paneelin 23 (Historia, arkeologia ja kulttuurien tutkimus) arvioitavana.
4. Jos tutkija ei julkaise hyvissä lehdissä, vaarantaa hän urakehityksensä. Väärin. Julkaisuluokittelua ei ole tarkoitettu sovellettavaksi yksittäisen tutkijan meriittejä arvioimaan, vaan yksilöitä arvioitaessa tarkastellaan töiden sisältöjä (esim. viranhakujen asiantuntija-arviot). Luokittelu on tarkoitettu sovellettaviksi organisaatioiden tasoille.
5. Musiikintutkimus ei humanistisena alana voi mitenkään pärjätä lääke- ja luonnontieteelle tässä pistejahdissa. Ei voikaan, mutta ei olekaan tarkoitus verrata musiikintutkimusta lääketieteen julkaisuihin, sillä vertailut ovat pääosin alan sisäisiä. Jos halutaan verrata eri aloja keskenään, voidaan soveltaa tieteenalakohtaisesti normitettuja mittareita (esim. SNIP, joka on alakohtaisesti normitettu painokerroin). Vertailua helpottaa sekin, että tason 1, 2 ja 3 foorumeita on joka alalla suhteellisesti yhtä paljon (80, 15, ja 5 prosenttia).
6. Koko vertaisarviointi luo konservatiivista ja innovaatioköyhää tutkimusta koska kaikkien metodien ja tulosten tulee saavuttaa useiden vertaisarvioitsijoiden hyväksyntä. Tämä on ehkä jossain määrin riski, mutta tieteessä vertaisarviointi ja metodien ja tulosten tulkinnan läpinäkyvyys on kyllä aina ollut hyve, jossa vertaisarviointi on tiedemaailman oma sisäinen tapansa valvoa laatua. En itse näe tämän takia asiaa mitenkään kovin suurena ongelmana, varsinkin kun itse julkaisukanavia on niin runsaasti tarjolla, että itse kanavat eivät määrää sitä millä metodeilla, orientaatioilla tai aineistoilla musiikintutkimusta tehdään.
7. Laatuarviointi korostaa artikkeleiden julkaisemista kirjojen kustannuksella. Ehkä niin, vaikka arvostetut tieteelliset kustantajat ovat tässäkin järjestelmässä arvossaan, eikä mitä tahansa omakustannetta saa laatukriteereihin sovitettua. Itse järjestelmä ei kuitenkaan ole ottanut kantaa, kuinka korkealla esim. Oxford University Press -kustantamon kirja pisteytetään tulevissa tuloksellisuusmalleissa, joten varsinaiseen ongelmaan ei tässä vaiheessa ole vielä otettu kantaa.
8. Humanististen alojen lehtiä ja kirjoja ei ole riittävästi indeksoitu tietokantoihin, jotta niistä voisi saada hyödyllistä tietoa artikkelien viittauksista ja siten vaikuttavuudesta. Tämä huoli on vailla pohjaa, sillä niitä on esimerkiksi pelkästään Arts & Humanities Citation Index -tietokannassa 1553 kappaletta ja Web of Science tietokannassa toinen mokoma. Musiikin alan lehdet ovat mielestäni hyvin indeksoitu tietokantoihin ja niille on pitkään laskettu erilaisia kvantitatiivisia mittareita maailmalla.
9. Musiikkialan kansalliset lehdet on arvioitu liian alhaiselle tasolle. Esimerkiksi Musiikki-lehti, Etnomusikologinen vuosikirja, Finnish Journal of Music Education ja Musiikkiterapia, on nyt arvioitu tasolle 1, eli ne edustavat hyvää vertaisarvioitua tieteellistä aikakauslehteä. Millaisia tieteellisiä lehtiä meillä pitäisi musiikin alalla olla, jotta voisimme katsoa Musiikki-lehden edustavan tästä koko alasta valikoitunutta 20 prosentin parasta eliittiä? Periaate että lehti on kansallinen ei tee siitä automaattisesti huonompaa, tämä oli työryhmän toiminnassa selvää, mutta silloin on myös tunnustettava alan ja kielialueen volyymin pienuudesta tuleva rajoite. Kääntäen, kansallinen seikka ei myöskään automaattisesti tee julkaisusta merkittävää kansallista tekijää (esim. taso 2 julkaisua). Paljon auttaisi, mikäli olisi osoittaa, että toiminta on säännöllistä ja vilkasta, ja julkaista esimerkiksi lehden vuosittainen läpäisyprosentti sekä toteuttaa vertaisarviot läpinäkyvästi ja tasokkaasti.
10. Lehtien ja kustantajien luokittelu korostaa liiaksi angloamerikkalaista maailmaa ja englanninkielisiä julkaisukanavia. Miten kansalliseen kieleen ja kielen merkitysvivahteisiin olennaisesti nojaava tutkimusperinne humanistisessa tieteentraditioissa voisi tulla näitä kansainvälisiä kanavia korostavassa asetelmassa esille? Tämä on aito huoli, vaikka periaatteessa kieli itsessään ei ole tässä laadun esteenä, sillä kanavissa on mukana erikielisiä julkaisukanavia runsaasti. Juuri yhteiskuntatieteellisessä ja humanistisessa tutkimuksessa voidaan käsitellä kansallisesti tärkeitä kysymyksiä, joihin ei ole välttämättä hyvää tai ollenkaan soveltuvaa kansainvälistä kanavaa tarjolla. Julkaisufoorumissa ei kuitenkaan pidetä tätä erityisenä ongelmana, sillä suomalaiset kanavat ja julkaisijat voidaan rankkeerata ihan yhtä korkealle kuin ulkomaisetkin, kunhan niistä kanavista päästään jonkinlaiseen yksimielisyyteen. On tärkeää julkaista myös suomalaisille lukijoille suomeksi, mutta tällä on ainakin omalla alallani lähinnä viestinnällinen perustehtävä, jossa vedetään yhteen jo kansainvälisillä, tiukemmilla foorumeilla ilmestyneitä tuloksia. Näiden suomenkielisten tekstien avulla viedään sanomaa eteenpäin etenkin opiskelijoiden suuntaan, ja annetaan jonkinlainen yleiskuva muille alan tutkijoille Suomessa missä ollaan menossa ja millä menetelmillä tiettyjä ajankohtaisia kysymyksiä ollaan ratkomassa.
Näiden ongelmakohtien esilletuomisen ja osittaisen ratkomisen jälkeen toteaisin, että varmastikaan julkaisufoorumin järjestelmä ei ole ongelmaton. Haluaisin kuitenkin kuulla millainen olisi varteenotettava vaihtoehtoinen, ongelmaton tapa arvioida tutkimuksen toiminnan ja julkaisutoiminnan laatua musiikkialalla. Siitä kai olemme yhtä mieltä että itse laadun arviointi sinänsä on tervetullutta tieteeseen?
Tuomas Eerola, professori (musiikkitiede) ja julkaisfoorumin paneelin 22 jäsen.
Suomen musiikkitieteellinen seura 
”Haluaisin kuitenkin kuulla millainen olisi varteenotettava vaihtoehtoinen, ongelmaton tapa arvioida tutkimuksen toiminnan ja julkaisutoiminnan laatua musiikkialalla. Siitä kai olemme yhtä mieltä että itse laadun arviointi sinänsä on tervetullutta tieteeseen?”
Olen yhtä mieltä siitä, että laadun arviointi kuuluu tieteeseen. Ja laadun kehittäminen. Aluksi suhtauduin hieman epäillen Julkaisufoorumi-hankkeeseen, mutta varsinkin sen jälkeen kun joukko suomenkielisiä lehtiä hyväksyttiin myös tasolle 2 (sitä ennen kaikki suomenkieliset lehdet olivat heikoimmalla tasolla 1, koska järjestelmän säännöt olivat niin säätäneet), olen suhtautunut järjestelmään hyvin optimisesti. Luulen, että tällainen järjestelmä kannustaa aidosti julkaisemaan ”paremman” luokan lehdissä.
Ongelmiakin tällaiseen toki liittyy. Eikä vähiten sen vuoksi, että suuri osa tieteestä on jollain tavoin ”poikkitieteellistä”. Mahdollisia julkaisukanavia on monia. Vaikkapa jostain musiikin vaikuttavuudesta voi julkaista niin musiikkialan ”omissa” julkaisusarjoissa kuin vaikkapa käyttäytymistieteiden, psykologian, aivotutkimuksen, kulttuurintutkimuksen, akustiikan, markkinoinnin lehdissä kuin vaikkapa jossain signaalinkäsittelyjulkaisusarjassakin. Saa nähdä, vaikuttaako julkaisufoorumiluokitus jatkossa rahoituksen kautta siihen, että minkä alan lehteen juttu lähetetään: jos tiedetään esim. että jonkun toisen alan 2- tai 3-luokituksen saaneeseen lehteen on juttu helpompi saada läpi kuin lähempänä ”omaa” alaa olevaan lehteen – silloin, jos potentiaalisia julkaisufoorumeita on monia.
Mutta vaikea on olennaisesti parempaakaan järjestelmää esittää. Esimerkiksi viittausmäärät voivat kertoa jostain – mutta sitäkin mittaria on tunnetusti helppo manipuloida. Tästähän tehtiin joitain vuosia sitten kunnon näyttökin, kun eräs lehti ja eräs sen artikkeli tahallaan nostatettiin tiedemaailman viitatuimmaksi (useat tuhannet tutkijat viittasivat siihen tahallaan, nostaakseen viittausmittarin ongelmia ja manipuloitavuutta esiin). Käytännössä viittausmäärät saa nätin näköisiksi, kun kollegajoukko viittailee artikkeleissaan jatkuvasti toisiinsa. Ja erityisen näteiksi silloin, jos päätyy oman alansa ”guruksi”, jolloin viittauksia kertyy paljon sellaisiltakin, jotka eivät ole alkuperäistä tekstiä koskaan nähneetkään – lähinnä siksi, että katsotaan, että kyseiseen nimeen täytyy viitata, vaikkei tämä olisi vaikuttanut omaan tuotokseen mitenkään. Molemmat tapauksissa kuva viitatun aidosta vaikuttavuudesta voi vääristyä.
Julkaisutasolla on toki sama ongelma: joku lehti voi olla hyvinkin korkealla viittausindekseissä. Entisaikaan tämä olisi tarkoittanut sitä, että lehti on hyvin luettu. Nettiaikana yhä useammin lehdistä luetaan kuitenkin vain yksittäiset artikkelit, eikä muita edes avata. Se, että jossain lehdessä julkaistaan paljon viittauksia saavia artikkeleita ainakin toisinaan – ei takaa enää nykyaikana myös muiden lehden julkaisujen näkyvyyttä. Se on kaikkien julkaisualustaperusteisten laatuluokitusten ongelma, jota en ainakaan itse osaa äkkiseltään ratkaista.
Mutta mielestäni on siis pääasiassa hyvä asia, että julkaisuluokitusjärjestelmä luotiin. Jatkossa sitä on mahdollista kehittää kertyvien kokemusten pohjalta.