Luonnontieteellinen keskusmuseo Luomus kehittää ja ylläpitää Suomen Lajitietokeskuksen palveluja. Rakennamme työkaluja tutkijoille, viranomaisille, luontoharrastajille sekä suurelle yleisölle ja opetuksen tarpeisiin. Tässä yhteenveto edellisen tiedotteen (24.1.2020) jälkeen tehdyistä uudistuksista ja tällä hetkellä työn alla olevista asioista.

Laji.fi

Laji.fi:ssa voit tutustua lajeihin ja niiden esiintymiseen sekä selata havaintoja suomalaisista lajitietokannoista.

Lajitietokeskuksen laadunvalvontatyökalut ovat olleet suunnitteilla ja kehityksen kohteena yli vuoden. Julkaisimme tiistaina (14.4.) ensimmäisen version uudesta laadunvalvonnan logiikasta ja työkaluista.

Voit lukea lisää seuraavilta tietosivuilta

• Laadunvalvonta
• Ohje laatukommentointiin

Uusi järjestelmä on monipuolisempi ja korjaa edeltäjänsä suunnitteluvirheitä. Merkittävin muutos ovat eri käyttäjäryhmät:

• Asiantuntija voi vaihtaa havainnon määrtyksen ja luokitella sen epävarmaksi, virheelliseksi tai varmistetuksi (=asiantuntijan varmistama)
• Tavallinen käyttäjä voi merkitä asioita tarkastettavaksi ja yhtyä alkuperäisen havainnoijan määritykseen (=yhteisön varmistama)
• Ylläpitäjä voi merkitä asioita spammiksi, ei-luonnonvaraiseksi, salattavaksi

Eräs epäkohta edellisessä järjestelmässä oli havaintojen automaattinen luokittelu aineiston laadun perusteella. Uudessa logiikassa lähdeaineiston laatu ei vaikuta yksittäisen havainnon laatuun, mutta havaintoja voi rajata lähdeaineiston laadun perusteella. Aineistot luokitellaan nyt kolmeen luokkaan: amattimaisiin aineistoihin, laadukkaisiin harrastaja-aineistoihin ja muihin kansalaishavaintoaineistoihin.

Jatkamme työtä laadunvalvonnan työkalujen parissa. Tulossa ovat mm. asiantuntijan työlista, sivu josta saa tietoa eri lajiryhmien asiantuntijoista ja voi hakea itse asiantuntijaksi sekä automaattiset (lajin määriteltyyn esiintymiseen perustuvat) tarkistusmerkinnät.

Havaintojen selaus käyttää nyt uusia laadunvalvonnan kriteerejä ja kenttiä. Sinne on myös lisätty usein toivottu mahdollisuus hakea relatiivisella havaintoajalla. Tämä tapahtuu Selaa havaintoja > Rajaukset > Edistynyt > Aika > Havaintoaika > Alkaen xx päivää sitten. Tällaisen linkin voi tallentaa kirjanmerkiksi, joka avaa esimerkiksi tietyillä kiinnostuksen kohteen kriteereillä viikon uusimmat havainnot.

Käyttöohjeita on päivitetty ja kirjoitettu lisää, mm:

• Vihkon ohjeita (kuusi eri ohjetta)
• Havaintotietojen vienti ArcGIS-paikkatieto-ohjelmaan

Lajikortin tietoja on järjestetty uudelleen. Lajin tunnistamiseen liittyvät tekstit ovat nyt näkyvillä heti yleiskuvaus-välilehdellä, esimerkiksi sinivuokko. Kuvaustekstien otsikointia ja järjestystä on parannettu. Havaintotiedot on yhdistetty kahdelta välilehdeltä yhdelle välilehdelle. Asiantuntijan määrittelemän eliömaakuntaesiintymisen kartan värejä ja sijoittelua on parannettu, esimerkiksi suikalesammal.

Ulkoasua ja mobiilikäytettävyyttä on edelleen kehitetty. Esimerkiksi tietosivujen tyylit, sisältöjen lataus "placeholderit", Selaa havaintoja -osion kartta mukautuu näytön koon mukaan, kaikkien osikoiden sivuvalikkojen toiminta ja tyyli.

Vihko-havaintojärjestelmä

Vihko on havaintotietokanta, johon voit tallentaa luontohavaintojasi sekä osallistua seuranta- ja kansalaistiedehankkeisiin.

Entinen Vihkon etusivu on jaettu Tallenna havaintoja ja Oma Vihko osioihin. Tulemme lähiaikoina julkaisemaan vaihtoehtoisia havaintojärjestelmiä Vihkon rinnalle. Vihko on suunniteltu aktiiviharrastajalle, joka tallentaa satoja tai kymmeniä tuhansia havaintoja. Tallenna havaintoja osioon voimme kostaa kolmannen osapuolten kehittämiä havaintosovelluksia, jotka on suunnattu eri käyttäjäryhmille. Tällä tavalla voimme myös jatkossa keskittyä Vihkon kehityksessä nimen omaan aktiiviharrastajien toivomiin ominaisuuksiin.

Vihko on totta kai myös alusta tutkimushankeille. Näitä on valmistunut kaksi uutta:

• Vesilintulaskenta (yhteistyössä Luken ja Luonnontieteellisen keskusmuseon kanssa)
• Päiväperhosseuranta maatalousympäristössä (SYKE koordinoi)

Molemmat avataan käyttäjille parin viikon sisällä. Työn alla on lisäksi kolme muuta projektia, jotka avataan ennen kesän alkua (kts Työn alla osio).

Vihkoon voi nyt tallentaa äänitallenteita. Tämä tapahtuu retkilomakkeella painamalla havaintorivin oikeassa laidassa olevaa kuulokkeiden kuvaa ja lataamalla mp3 tai wav muotoinen äänitiedosto. Tiedostolle voi valita yhden tai useamman avainsanan. Wav tiedostoista tallennetaan alkuperäinen tiedosto, sekä muunnettu (pakattu ja vähemmän tilaa vievä) mp3 tiedosto. Äänitiedostosta generoidaan spektrogrammi. Spektrogrammi on hyödyllinen etenkin lepakoiden äänien tunnistamisessa. Ominaisuus toteutettiin tukemaan käynnissä olevaa lepakko-tekoäly -projektia. Tarkoitus on, että tulevaisuudessa kun Vihkoon tai erilliseen tunnistuspalveluun lataa lepakkoäänitteen, palvelu osaa kertoa mitä lepakkolajeja äänitteellä esiintyy. Vastaava on kehitteillä myös Suomen linnuille.

Julkaisun bugeja

Tiistaina tehdyssä julkaisussa on havaittu koko joukko eriasteisia bugeja. Näistä ja niiden korjaustilanteesta voi lukea tästä foorumiketjusta.

Kotka-kokoelmienhallintajärjestelmä

Kotka on järjestelmä kaikille Suomen luonnontieteellisille museoille ja kasvitieteellisille puutarhoille näyte- ja elävien kokoelmien hallintaan. Kotka on yksi Lajitietokeskuksen primäärijärjestelmistä ja sinne tallennetut näytteet näkyvät avoimena tietona Laji.fi:ssä.

Kotkaan on tehty ainakin seuraavia parannuksia:

• Hakukriteerien ja hakutulostaulukon asetusten tallennus tekstirimpsuna uudelleen käytettäväksi
• Poistettu lainadokumenteista viitaukset Luomukseen, jotta muutkin käyttäjäorganisaatiot voivat paremmin käyttää niitä
• Oletusnimiavaruuden (tun.fi) prefix (tun:) mukaan tiedostolataukseen, jotta päivettyjen tietojen uudelleenlähetys on helpompaa
• Korjauksia hyväksytyn taksonin ja heimon hakemiseen taustataksonomiasta ja näyttämiseen hakutulostaulukossa
• Kaikkien näytetietojen tiedostolataus editointiformaatissa mahdollista myös preparaattien ja DNA-näytteiden hakusivulta
• Tiedostolatauksessa ja haussa olleiden ongelmien korjauksia
• Preparaatti - ja DNA-näyteosioon lisää tallennuksen validointeja (=automaattisia tarkistuksia)
• Luomuksen massadigitointilinjastolta tulevien kuvien käytettävyyden parannuksia

Uudet havainto- ja kokoelma-aineistot Laji.fi:ssa

Lajitietokeskuksen tietovarastoon on lisätty 24.1. jälkeen 400k uutta havaintoa. Mukana ei ole uusia suuria aineistokokonaisuuksia, vaan havainnot ovat kertyneet olemassa oleviin aineistoihin (104 eri aineistoon). Näistä suurimpia ovat olleet:

• Kastikka putkilokasvitietokanta: 200k havaintoa
• Vihkon havainnot: 140k havaintoa
• Rengastustietokanta 55k havaintoa
• Luomuksen Itä-Fennoskandian pistiäiset 26k näytettä - lähinnä kimalaisia 1960 luvun ympäriltä
• Talvilintulaskenta: 15k havaintoa
• Syken Pohjaeläinjärjestelmä: 8k materiaalinäytettä

Yllä olevat luvut perustuvat täsmällisiin tietoihin. Julkisella puolella osa ei vielä ole näkyvillä havaintojen salaussyistä / latausaika ei ole lainkaan saatavilla, joten yllä mainitut luvut poikkeavat julkisella puolella näkyvistä.

Palveluun on tehty sellainen muutos, että tutkimuskarenssisyistä salattavien havaintojen latausaikaa ei enää salata, joten nyt tästä eteenpäin nämäkin aineistot alkavat näkyä julkisella puolella latausajan mukaan haettaessa.

Metsähallituksen LajiGIS havaintokannasta on tuotu 160k havaintoa Laji.fi palvelun testiversioon. Siirtoprosessia kehitetään lisää ja laajennetaan kattamaan useampia LajiGIS:n osa-aineistoja, jonka jälkeen havainnot siirtyvät myös Laji.fi tuotantopalveluun.

Taksonomia

Eräs suurimmista Lajitietokeskuksen puutteista tällä hetkellä on huono tuki hakea ei-suomalaisten ja maalle uusien taksoneiden havaintoja taksonomisesti. Tällä hetkellä se on mahdollista ainoastaan ns. verbatim hakuna, eli hakemalla ilmoitetulla lajinimellä, ja tämä ei luonnollisesti toimi mm. lahkotasolla.

Olemme suunnitelleet kuinka ongelma ratkaistaan. Kehitämme järjestelmän, joka tutkii Lajitietokeskukselle tuntemattomia nimiä GBIF taksonomiasta. GBIF taksonomia on yhdistelmä monia kansainvälisiä nimistöjä, mm Catalogue of Life.

Suunnitelman mukaan joka yö tutkimme Lajitietokeskukselle tuntemattomat nimet ja lataamme ne dynaamisesti osaksi Lajitietokeskuksen taksonomiaa. Tällöin taksonikäsitteitä ei luoda varsinaisesti Lajitietokeskuksen omaan taksonomiseen tietokantaan (FinBIF master checklist), vaan siihen liitetään GBIF taksonitunnisteilla varustettuja taksoneita. GBIF taksoneita voi Laji.fi Lajit -osiossa selata saumattomasti osana Lajitietokeskuksen taksonomiapuuta ja havaintoja voi hakea käyttäen GBIF taksonomiasta ladattuja ylempiä taksonikäsitteitä tai jo Lajitietokeskuksessa olevia käsitteitä, joiden alle GBIF taksoneita on liitetty.

Olemme aloittaneet taustapalveluiden muutostyöt, jotka mahdollistavat yllä kuvatun.

Tietoturva-arviointi

Lajitietokeskuksen julkisille palveluille on suoritettu tietoturva-arviointi ulkopuolisen asiantuntijatahon (Silverskin Oy) toimesta. Kriittisiä aukkoja ei löytynyt. Korjasimme kaksi vakavampaa ongelmaa, jotka olisivat mahdollistaneet hyökkääjälle (1) meidän palvelun tietyn osa-alueen käytön hyökkäyksessä jotakin muuta tahoa vastaan meidän tietämättämme, (2) käyttäjätunnuksen hallinnan riistämisen houkuttelemalla laji.fi käyttäjä hyökkääjän haittasivustolle. Muutimme yhteensä 16 asiaa suositusten mukaisiksi.

Korjaukset ovat nyt käytössä ja korjausten jälkeen palvelumme saivat parhaan arvosanan Silverskinin asteikolla.

Näkyvin osa muutosta käyttäjälle liittyy sisäänkirjautumiseen Laji.fi palvelussa. Kun käyttäjä avaa uusia välilehtiä, näkyy kuinka selaimen osoiterivi käy uudestaan erikseen kirjautumassa Lajitietokeskuksen kirjautumispalvelussa. Tämä hidastaa jonkin verran uusien sivujen avaamista välilehtiin. Parannuksena palvelu muistaa nyt paremmin sisäänkirjautumisen, joten aktiivisen käyttäjän ei välttämättä tarvitse kirjaantua sisään kuin kerran vuodessa (kyseisellä laitteella ja selaimella).

Muut järjestelmät

Kuvapalvelu poisti ennen kuvista kaikki exif metatiedot (mm. kameran malli, linssi yms). Metatietoja poistetaan havaintojen salaussyistä. Nyt säilytämme yleisimmät metatiedot, jotka eivät liity paikkaan tai aikaan.

Kirjautumispalvelu tukee nyt kahta uutta kirjautumisvälinettä: Suomen riistakeskuksen Oma riista kirjautuminen ja iNaturalist kirjautuminen. Näistä ensimmäinen on tarpeen etenkin avattavaa Vesilintulaskentaa varten, johon metsästäjät ovat perinteistä osallistuneet. Tulevana kesänä havainnot ilmoitetaan ensimäistä kertaa käyttäen sähköistä lomaketta (toteutettu Vihko palvelun avulla).

Kirjautumispalveluun on toteutettu tuki mobiilisovelluksien kirjautumiseen. Tämä on tuotanokäytössä, mutta vasta rajoitetussa testauksessa. Julkaisemme tarkemmat ohjeet hiukan myöhemmin.

Kirjautumispalvelua on paranneltu erinäisten harvinaisempien käyttötapauksien osalta liittyen mm. sähköpostin vaihtoon.

Pyhä aineistopyyntöjärjestelmän avulla hallinnoidaan pyyntöjä saada käyttöönsä Lajitietokeskuksen salattua havaintoaineistoa. Palvelun tekstejä ja käytettävyyttä on parannettu.

Havaintojen tietovarastoon on tehty suuri joukko muutoksia. Ne liittyvät mm. suorituskykyyn. Käyttäjä voi nyt hakea Laji.fi:ssä iNaturalistilla tallennettuja havaintoja "Omat havainnot" hakukriteerillä, mikäli käyttäjä on linkittänyt tiliinsä iNaturalist tunnuksen.

URI-tunnisteiden uudelleenohjauspalvelua on parannettu. Se tukee nyt näytteiden osalta CETAF standardia (level 3). Käyttäjälle näkyvin parannus on se, että jos käyttäjä syöttää osoiteriviin näytteen URI -tunnisteen, joka ohjaa käyttäjän laji.fi portaaliin tutkimaan näytteen tietoja, sivu näytetään nyt oletuksena englanniksi. Jos käyttäjä on käyttänyt laji.fi portaalia aiemmin toisella kielellä, käyttäjälle näytetään sivu kyseisellä kielellä. Palvelun tukea on laajennettu kattamaan käytännössä kaikki eri tietotyypit, joille annamme URI-tunnisteita.

Olemme tehneet 42 eri bugikorjausta järjestelmiin, mm on korjattu visuaalisia ongelmia, mobiilikäytettävyyttä, vuodenaikarajauksen toiminta ja tekstuaalisia muutoksia.

API ohjelmistorajapinta

Lajitietokeskuksen API:n avulla voi käyttää kaikkea Lajitietokeskukseen kerättyä tietoa kolmannen osapuolten sovelluksissa. Myös Laji.fi portaali ja sen viranomaisversio, vieraslajiportaali, punaisen kirjan tulospalvelu yms Lajitietokeskuksen palvelut on rakennettu saman API:n avulla.

API:n muutoslista löytyy täältä: https://laji.fi/about/1731

Muutokset pitävät sisällään koko joukon palveluita rikkovia muutoksia. Olemme yrittäneet minimoida muutosten aiheuttaman haitan. Taakseppäin yhteensopivuutta ylläpitävät ominaisuudet kuitenkin poistetaan aikanaan, joten kaikkien API:n käyttäjien tulisi päivittää sovelluksensa käyttämään uusia termejä ja ominaisuuksia. Nämä liittyvät etenkin laadunvalvontaan tehtyihin perusteellisiin muutoksiin.

Kirjaamme nyt paremmin tietoa API:n käyttäjistä, joten voimme tulevaisuudessa tiedottaa muutoksista sähköpostitse.

Työn alla

Jatkamme Laji.fi-portaalin, Vihkon ja muiden palvelujen parantamista osa kerrallaan. Lähitulevaisuudessa työskentelemme etenkin seuraavien aihepiirien parissa:

• Vieraslajit.fi -portaalista julkaistaan kokonaan uudistettu versio. Tämä toimii nykyistä paljon paremmin mobiililaitteissa, ja sisältää uutta tietoa vieraslajeista.
• Uusien seurantaprojektien toteutus Vihkon avulla: Maalintujen pistelaskenta, LOLIFE liito-oravatutkimus, Helsingin yliopiston kiiltomatoprojekti.
• Yksityskokoelmien digitointilomake Vihkoon.
• Olemme mukana projekteissa, joissa kehitetään työkaluja lepakoiden ja lintujen äänien automaattiseen tunnistamiseen tekoälyn avulla. Suomen lintujen tekoälyä varten rakennamme joukkoistuspalvelua, jossa vapaaehtoiset voivat avustaa tekoälyn mallin kehittämisessä tuottamalla sitä varten koulutusmateriaalia, eli tunnistamalla lintuja äänitteistä.
• Laadunvalvontajärjestelmän jatkokehitys
• Uusien havaintopalveluiden liittäminen osaksi Lajitietokeskusta
• Näytteiden digitointiprosessejen jatkuva kehittäminen
• Laji.fi viranomaisversion avaaminen
• Metsäkeskuksen LajiGIS ja LUKE:n havaintojen jakaminen Lajitietokeskukseen
• Aineistolatauspalvelu, jonka avulla aineistojen omistajat voivat siirtää aineistonsa Lajitietokeskukseen tiedostolatauksena joko Vihkossa ylläpidettäväksi tai ainoastaan Selaa havaintoja osiossa haettavaksi

Lajitietokeskuksessa tehtävät tietojärjestelmät ovat suurelta osin avointa lähdekoodia. Kehitystä voi seurata yksityiskohtaisella teknisellä tasolla Luomuksen ja Lajitietokeskuksen koodiarkistoissa.