Brugerværdi ved udnyttelse af store datamængder

Senest opdateret d. 22/8-2016
DHI
Resultatkontrakt 2016-2018 under temaerne Informations- og Kommunikationsteknologi og Klima og miljø
Johan Hartnack
Innovationschef

Brugere af DHIs modeller får hele tidsen større ambitioner mht.: større modelområder, hurtigere modeleksekvering, samt let og elegant præsentation af modelresultater, fx. på mobile enheder. Det betyder håndtering af ekstremt store datamængder, hvor der skal udvikles nye Big Data teknikker til at skabe merværdi for brugerne.

1. Markeds- og samfundsbehov

Big Data er et hyppigt benyttet udtryk, der dækker over mange discipliner inden for håndtering og analyse af store datamængder. I store træk kan Big Data beskrives som problemstillinger associeret med at lagre og at analysere store datamængder. Mængden af digitale data på globalt plan udviser eksponentiel vækst, og størrelsen er for længst oversteget, hvad der kan analyseres med klassiske metoder. Udfordringerne i forbindelse med Big Data kan sammenfattes i de fire V’er:

Volumen: Mængden af data er enorm, hvilket stiller krav til den underliggende infrastruktur, der skal lagre data.

Vild hurtighed: Hastigheden, hvormed data bliver genereret, er stigende, og den stiller krav til effektiviteten af håndteringen samt analysen af de indsamlede/producerede data.

Variabilitet: Data optræder i mange formater - fra meget struktureret til den frie tekstform. Dette introducerer behov i form af effektive søgealgoritmer samt robusthed.

Værdi: Hvordan får man skabt en nytteværdi af alle de mange datamængder? Lagring af data er i sig selv ikke værdiskabende. Værdien ligger i brugen af data samt af de sammenhænge, der kan uddrages af data.

Nedenstående er dedikeret til værdien set ud fra et dansk erhvervslivs kontekst.

Smart håndtering af store modellers resultater

Matematiske modeller er i dag nået et stadie, hvor det f.eks. er muligt at modellere hele byer og kystområder i meget høj opløsning. Modellerne kan afvikles på store High Performance Computer (HPC) systemer, hvor de segmenteres i en række delmodeller svarende til et antal beregningskerner. Hver af disse delmodeller producerer en resultatfil svarende til det delområde som de repræsenterer. Disse mange filer flettes sammen til en stor fil, der for hele byer er af en sådan størrelse, at konventionelle metoder til at tilgå resultatfiler kommer til kort. Der er således behov for en ny tilgangsmåde til håndtering af resultatfiler.

Vandforudsigelser for alle

Med den hastige udvikling i hardware og beregningsalgoritmer vil varsling af oversvømmelser blive tilgængelig for danske konsulenter samt kommuner. Visionen er at kunne tilbyde den nødvendige teknologi til det danske erhvervsliv. For at sikre dette, så er følgende konkrete tiltag nødvendige:

  • Udvikling af algoritmer til automatiseret modelopsætning samt dataopdatering.
  • Optimering af integrerede modeller (f.eks. by-land-hav) til afvikling af oversvømmelsesberegninger.
  • Softwareværktøjer til ’smart device’ app-udvikling.

Automatiseret modelopsætning samt opdatering

Modelopsætning kan være tidskrævende grundet dataindsamling, validering af data og konvertering mellem forskellige dataformater. For at reducere tiden brugt på dataindsamling, tilbyder DHI i dag en service med adgang til vandrelaterede data. Vi vil udvikle en smart overbygning til denne dataservice, som kan automatisere modelopsætningen. Endelig er det tanken at gøre modellerne ”dataopdaterings­bevidste”, således at når data i området bliver tilgængelige vil modellerne automatisk blive opdateret.

Hurtigere integreret modelafvikling

Et kontinuerligt fokus for brugere af DHIs modeller er hurtig modeleksekvering. Dette har afstedkommet store landvindinger med hensyn til optimering af de enkelte modelkomponenter til brug ved 2D- og 1D-modellering. Dog har de integrerede modeller, hvor både 1D- og 2D/3D-komponenter benyttes, ikke altid kunnet udnytte alle implementerede optimeringer grundet forskelle i tidsskala for dynamikken i 1D- i forhold til 2D/3D-modeller samt begrænsninger i de valgte koblingsmetodikker. Der er behov for at udvikle en ny ikke-begrænsende koblingsmetodik, der kan underbygge variationen i de dynamiske tidsskalaer.

Byg egne apps ved brug af MIKE software

Kommunikation vedrørende vandforudsigelser skal foregå på de mest gængse medier dvs. ’web’ og ’smart devices’. Til dette formål udvikles en web-service, der kan tilgå de beregnede forudsigelser og præsentere dem på en nem og overskuelig måde til borgeren. Med denne web-service vil det være muligt for rådgivere og kommuner at skræddersy deres egen ’smart app’ til f.eks. oversvømmelsesvarsling.

Integreret dataanalyse på tværs af tid og rum

Data optræder i mange former kendetegnet ved variationer i geografisk udstrækning, opløsning i tid og sted samt antal fysiske dimensioner. Fra en brugers synspunkt er der et behov for nemt og praktisk at kunne tilgå data ensartet. For at opnå dette er der behov for forskning og udvikling bestående af et litteraturstudie til at afdække ’state of the art’ metoder til homogen repræsentation af data fra varierende skalaer i tid og rum, test af udvalgte metodikker fra nævnte studie samt implementering af en eller flere af de bedste metoder i DHIs vandportal.

2. Ny teknologisk serviceydelse, kompetence og teknologi

I det følgende beskrives en række forsknings- og udviklingstiltag, der vil øge det danske vand- og miljøkonsulentsegments konkurrenceevne internationalt gennem:

1. Prækvalificeret datainput, der tilbydes som en service gennem en dataportal inkl. evnen til at automatisere modelopsætning.

2. Øget modelafviklingshastighed gennem nye innovative, matematiske løsningsmetoder samt adgang til kraftfulde beregnings- og lagringsenheder.

3. Optimal håndtering af distribueret data gennem anvendelse af den seneste forskning inden for området.

4. Et softwareværktøj, hvormed konsulenten selv kan skabe en ’web’ eller en ’smart device’ løsning til at visualisere sine resultater.

Yderligere vil tiltagene muliggøre, at SMV’er kan tilbyde større opgaver uden at skulle foretage større grundlæggende investeringer. Med de skitserede tiltag vil følgende nye serviceydelser blive gjort tilgængelige gennem DHIs MIKE modeller:

  1. Rammeværk for smart håndtering af store distribuerede datamængder.
  2. Smidig fjernadgang til ovenfornævnte data.
  3. Optimerede modelafviklinger for integreret modeller.
  4. Hurtig resultatoverførsel ved anvendelse af den nyeste streaming-teknik.
  5. Automatiseret modelopsætning og opdatering baseret på datatilgængelighed.
  6. Mulighed for præsentation af resultater gennem konsulentens egen ’web’ eller app.

Teknologien samt kompetencen, der vil blive udviklet og tilegnet, vil være ny inden for vand- og miljødomænet.

3. Centrale aktiviteter

Følgende centrale aktiviteter udføres og implementeres i DHIs MIKE modelværktøjer:

  • Smart håndtering af store modellers resultater.
  • Vandforudsigelser for alle.
  • Integreret dataanalyse på tværs af tid og rum.

4. Mulige samarbejdspartnere

DHI har gennem en årrække haft et frugtbart samarbejde med Det Tekniske Universitet i Ostrava, Tjekkiet, med fokus på anvendelse af deres kraftfulde HPC udstyr til at afvikle DHIs MIKE modeller. Af samarbejdspartnere inden for anvendelse af de nye teknologier kan nævnes: staten, kommuner, rådgivere, m.fl. Staten samt kommunerne har en interesse i at kunne forudsige mulige oversvømmelser i realtid, således at de kan tage de nødvendige forholdsregler med hensyn til sikring af værdier, men også i form af håndtering af den trafikale infrastruktur. Et eksempel på sidstnævnte kunne være, at trafik dirigeres væk fra de udsatte områder i tide. Rådgiverne vil gerne servicere kommunerne med ovenstående opgave.

Nøgleord

9 kommentarer

Herunder er indlæg og kommentarer fra interessenter på aktiviteter og aktivitetsforslag.

Jesper Tang Kristensen (Technical Development Manager, A2SEA A/S)
Torsdag d. 30/4-15 kl. 10:44

A2SEA er interesseret i at følge udviklingen i forbedrede forudsigelser mht. vejr, bølgehøjde, bølgeperioder og retninger. Vi ser gerne denne udvikling i retning af mere præsise vejrvinduer for installation af offshore vindmøller og generel planlægning af rejser / projekter

Johan Hartnack (Innovationschef, DHI)
Torsdag d. 7/5-15 kl. 19:52

Forudsigelser kan dække mange områder. Bølgehøjder, bølgeperiode vil absolut være nogle af de størrelser der sigtes mod.

Vinay Venkatraman (CEO, Leapcraft)
Torsdag d. 7/5-15 kl. 17:09

We are a big data company that works with smart cities and clean tech. We would highly support this initiative, esp in the context of a recently launched smart city product ( http://cphsense.leapcraft.dk) where are hoping to do advanced predictive models and big data based forecasting for smart cities.

Johan Hartnack (Innovationschef, DHI)
Torsdag d. 7/5-15 kl. 19:53

The linkage with smart cities makes a natural complementary field to the big data initiative.

bjarne andersen (kvalitets og udviklingschef, them mejeri)
Fredag d. 8/5-15 kl. 11:47

fremskaffelse af hurtige og sammenligenlige oversigts data fra produktions funktioner er essentiel i moderne og bærerdygtige virksomheder.

Karsten Krogh Andersen (Civilingeniør, Frederiksberg Forsyning)
Mandag d. 11/5-15 kl. 08:24

Behandling af store datamængder i forbindelse med modelberegninger af skybyrudsvand i byer er essentiel for klimatilpasning og reduktion af oversvømmelser af danske byer herunder København og Frederiksberg. Der er brug for effektiv håndtering og visualisering af store datamængder både ved planlægning og drift af skybrudsanlæg- herunder ved varsling af skybrud samt det tilhørende beredskab, styring og regulering.

Johan Hartnack (Innovationschef, DHI)
Mandag d. 11/5-15 kl. 10:02

Mange tak for feedback. Ingen tvivl om at vinklen med klimatilpasning er vigtig. Specielt med henblik på den store usikkerhed, der skal afdækkes ved klima forandringer. Anvendelse af effektive datahåndteringsmetoder vil være et "must" i den sammenhæng.

Peter Sinding (Head of Fuel Efficiency, Dampskibsselskabet NORDEN A/S)
Tirsdag d. 12/5-15 kl. 10:42

Indenfor shipping er vi afhængige af præcise data om strøm, bølger, dønning og vind, både i fore- og hind- cast. I forecast benyttes data til ruteplanlægning mens hindcast data benyttes til overvågning af skibenes performance.
Det typiske behov er at kunne udtrække data for en række samhørende tidspunkter og positioner. Da shipping er worldwide er behovet således, hurtigt at kunne udtrække begrænsede mængder præcise data fra et enormt worldwide dataset.
Det lader til det stillede forslag vil bringe os tættere på dette behov.

Jan Gregersen (Civililingeniør, HydroInform)
Onsdag d. 13/5-15 kl. 15:22

Afvikling af store modeller og den efterfølgende databehandling kræver, som det er i dag, mange ressourcer. Intelligent tilgang til simuleringsresultater vil gøre selv de store modelleringsopgaver tilgængelige for SMV’er i Danmark.