Produktdesign via virtuelt lyttepanel

Senest opdateret d. 13/4-2018
FORCE Technology
Resultatkontrakt 2019-2020 under temaerne Informations- og Kommunikationsteknologi og Produktionsteknologi
Søren Vase Legarth
Team Manager

FORCE Technology vil tilbyde adgang til et virtuelt lyttepanel, så udviklere af audioudstyr kan få fleksibel og nem adgang til test at deres produkters lydkvalitet tidligt i udviklingsforløbet, og herved mindske udviklingstid og -omkostninger.

Machine learning rummer store potentialer for at udvikle nye digitale serviceydelser, der kan skabe værdi for industrien via fleksible og kundetilpassede forretningsmodeller.

Et eksempel er test og målinger af audioprodukters/teknologiers opfattede lydkvalitet, der ofte baserer sig på brug af testpersoner (forbrugere eller eksperter). Efter 10 års dataindsamling i FORCE Technology SenseLab er der opbygget en stor database (lydfiler samt testpersoners bedømmelser). De store mængder data giver mulighed for at udvikle prædiktive modeller, og tilbyde virksomheder en parallel service baseret på et virtuelt lyttepanel.

Med adgang til et virtuelt lyttepanel kan virksomheder langt tidligere i forløbet teste deres produkts lydkvalitet og optimere designet før den endelige benchmark-evaluering.

Nøgleord

25 kommentarer

Herunder er indlæg og kommentarer fra interessenter på aktiviteter og aktivitetsforslag.

Lars Bramsløw (Forskningsingeniør, Eriksholm Forskningscenter (Oticon))
Torsdag d. 17/5-18 kl. 10:39

Senselab har potentialet og kompetence til at udvikle disse modeller for lydkvalitet. For industrien kan det være meget relevant at have nogle fælles standarder at referere til, og der findes ikke nogle udbredte metrikker i dag. Det kan som beskrevet også være essentielt i et udviklingsforløb at kunne vurdere sit produkt hurtigt uden de tunge og dyre lyttetests. Jeg tror med at projektet med fordel kan udvides til at omfatte mere data indsamling fra forbrugere og ekspertlyttere i felten - der hvor produkterne bruges. Dette kan også tilføjes i model træningen.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Onsdag d. 30/5-18 kl. 13:06

Mange tak for din kommentar Lars! Det glæder mig, at vores forslag til nye services indenfor modellering af perceptuelle data har relevans for industrien. Formålet er at udvikle services som er let tilgængelige for både små og store virksomheder uden inddragelse af lytterum eller trænede testpersoner. Om det leder til egentlige standarder vil tiden vise, men i udgangspunktet handler det om at få bragt nye perceptuelt motiverede metrikker/modeller på banen som nye pålidelige værktøjer til at kvantificere lydkvaliteten.
Idéen om at indtænke feltforsøg i aktiviteten er god,- man kunne forstille sig felt-forsøg som anvender data-intelligens til at prædiktere mulige udfaldsrum eller responses.

Ole Dyrlund (Director Technology Integration, GN Hearing)
Torsdag d. 17/5-18 kl. 14:00

GN Hearing har samarbejdet med SenseLab gennem en årrække omkring måling af lydkvalitet ved brug af et expert lyttepanel. I processen er der etableret et specifikt lytte panel med hørehæmmede personer med et veldefineret høretab. Brug af lyttepanel er relativt tidskrævende, så udvikling af et virtuelt panel baseret på machine learning vil være et stort fremskridt specielt i den tidlige design fase og fast prototyping af vore produkter.
Vi bidrager gerne med træningsdata og deltagelse i demonstratorprojekter.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Onsdag d. 30/5-18 kl. 13:36

Hej Ole! Det ville være fantastisk at kunne bringe vores gode samarbejde ind i en ny fase med udvikling af metrikker indenfor en kommende RK aktivitet. Der er elementer af lydkvalitetsevaluering som er oplagt at flytte over i modellering under forudsætning af at man har et godt datamateriale at modellere udfra. Og den del vil vi meget gerne samarbejde med jer om!

Tue Dissing (Founding Director, Lyd by Dissing ApS)
Tirsdag d. 22/5-18 kl. 21:51

Udvikling af modeller til hurtig og hyppig kvantifisering af måleresultater, ved hjælp af maskinlærring, er en oplagt mulighed for at sikre at vi (som branche) forbliver på forkant med udviklingen.
Især muligheden for integration af disse modeller, i eksisterende (og nye) simuleringsværktøjer, er særdeles værdifuldt for SMV'er; som os selv.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Onsdag d. 30/5-18 kl. 22:16

Hej Tue!
Tak for din støtte til forslaget! Tanken bag forslaget er netop at sikre udvikling af nye services indenfor lydkvalitetsevalueringer, som SMV'er kan gøre brug af på en overkommelig og fleksibel måde. Det ville være oplagt, at indgå i en konkret dialog med jer om hvilke typer metrikker en højttalervirksomhed som din kunne have glæde af. Måske ligefrem indsamle data sammen via et demonstratorprojekt?

Michael Hoby (Senior Acoustic Researcher, Goertek Europe)
Torsdag d. 24/5-18 kl. 15:02

Senselab er førende indenfor perceptuel evaluering af lydkvalitet, og har for os været en uundværlig partner i udvikling af nye audio produkter. At vi i fremtiden potentielt kunne addere machine learning som en testmetode, vil være attraktivt for mange i lyd branchen. Flere steder ser vi ofte et presset udviklingsforløb - både på budget og tid. Der skal løbende træffes hurtige beslutninger, og for at kunne gøre det på et oplyst grundlag, kunne disse metoder være et udmærket supplement.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Onsdag d. 30/5-18 kl. 22:30

Hej Michael! Du rammer virkelig præcist ned i den grundlæggende tanke vi har med aktiviteten: at opbygge nye effektive services baseret den (efterhånden store) erfaring vi har indenfor sensorisk evaluering af lydkvalitet. Uanset hvor effektive vi forsøger at gøre lytteforsøg, så er de tids/ressource-krævende, og anvendes ofte som slutevalueringer eller benchmark tests til markedsføring af nye produkter. De nye services er tænkt som et supplement til værktøjskassen i udviklingsforløbene, hvor der ikke er tid eller ressourcer til at afvikle lytteforsøg,- her skal det gerne gå hurtigt, og målinger skal være pålidelige og reproducerbare. Tak for støtten!

Jan Voetmann (Voetmann Akustik )
Fredag d. 25/5-18 kl. 18:45

Ideen om at udbrede anvendelsen af perceptuel evaluering med machine learning, således at også mindre virksomheder vil kunne anvende metoderne i deres udviklingsarbejde, er fremragende. Danmark er stadig internationalt en vigtig spiller på audio området, og betydningen af at kunne forkorte time-to-market er i den internationale konkurrence afgørende. Hertil kommer, at virksomhederne ved at demonstrere sådanne innovative metoder vil kunne tiltrække interessante, internationale udviklingskapaciteter.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Torsdag d. 31/5-18 kl. 20:40

Hej Jan! Mange tak for din positive kommentar til vores forslag! Jeg er i den grad enig med dig i at Danmark har en særlig status internationalt indenfor audio-udvikling og ønsket med aktiviteten er, at vi som GTS-institut skal kunne tilbyde nye værktøjer til producenter indenfor audio-området, så deres produkter rammer målgruppens lydkvalitetspræferencer med endnu større sikkerhed.

Per Crety (Senior Konsulent, Dansk Standard)
Mandag d. 28/5-18 kl. 14:09

Dansk Standard mener at GTS’erne har en vigtig strategisk og operationel rolle i at deltage aktivt i udvikling af internationale/europæiske standarder på områder som er af afgørende interesse for dansk erhvervsliv. Gennem internationale standarder kan GTS’erne effektivt opbygge og formidle teknologiske kompetencer til dansk erhvervsliv.
GTS’erne er ofte i en unik situation, hvor deres brede kendskab til danske virksomheders behov og udfordringer, sætter dem i stand til at varetage danske interesser, når der udvikles nye internationale standarder. Ved at deltage i udviklingen af internationale standarder kommer GTS’erne samtidig på forkant med markedskravene inden for de områder de arbejder med. Denne viden kan de bruge til at give danske virksomheder en bedre rådgivning.”

Finn Agerkvist (Lektor, Leder af Akustik Teknologi Faggruppe, Danmarks Tekniske Universitet)
Tirsdag d. 29/5-18 kl. 17:28

Udviklingen af et virtuel lyttepanel, er særdeles relevant for udvikling af elektro akustiske produkter, da traditionelt lyttetest er særdeles tidskrævende og derfor medfører en langsom udviklingscyklus. Ved at bruge et virtuelt lyttepanel kan hastigheden øges og man kan på sigt tænke sig at det virtuelle lyttepanel indgår direkte i en numerisk optimerings algoritme.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Torsdag d. 31/5-18 kl. 22:05

Mange tak for din kommentar Finn! Det er et godt forslag at tænke endnu længere i brugen af data således, at der udvikles en form for adaptiv tilpasningsalgoritme som tuner lydkvaliteten i et produkt ind til en given målgruppe.

Bjarne Bjerre (Engineer, Acoustics/ Electronics, Terma A/S)
Tirsdag d. 29/5-18 kl. 20:22

Anvendelse af perceptuel evaluering via machine learning er en rigtig god ide, som vil give mange års opbygget viden og data matriale hos Senselab, ny værdi. Det øger muligheden for hyppig evaluering af lydkvaliteten gennem et udviklingsforløb for dermed at kunne sikre ret kurs og kort udviklingstid. Samtidig kunne Senselab yderligere styrkes, som et naturligt og vigtigt omdrejningspunkt, til gavn for lyd branchen.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Torsdag d. 31/5-18 kl. 20:49

Hej Bjarne! Det glæder mig virkelig at du ser forslaget som en god idé. I SenseLab ser vi også denne aktivitet som et oplagt næste skridt for os, for derigennem at kunne brede vores ydelser ud til at spænde fra de data-baserede og tidseffektive beregnings-evalueringer, og videre til de helt store lydkvalitetsevalueringer, hvor ekspertpanelet og forbrugermålgrupper anvendes. Jeg håber bestemt denne aktivitet kan være med til, at vi kan holde momentum og være til fortsat gavn for den danske lydbranche!

Jan Larsen (Direktør, Professor PhD , Danish Sound Network/ DTU Compute)
Onsdag d. 30/5-18 kl. 05:57

Der er et stort potentiale i optimering og design af produkter via virtuelle lyttepaneler. Det vil potentielt gøre designet mere omkostningseffektivt, og give endnu bedre muligheder for tilpasse det til individuelle kunder og forbrugeres behov.

Forskningen på DTU Compute har bl.a. fokus på anvendelse af machine learning indenfor lydområdet. I denne forbindelse er vores forskning i modeller til prædiktion af affektive attributter, og modeller som lærer at tilpasse sig burgernes behov (user-in-the-loop models) meget relevante for resultatkontraktforslaget. Vi vil med glæde indgå i et tæt samarbejde om modeludvikling og solid verifikation på tværs af konkrete problemstillinger - dermed bidrage til at demonstrere værdien af de nye services, som FORCE foreslår.

I Danish Sound Network, der er det nationale innovationsnetvæk for lyd, har vi tæt kontakt til alle virksomheder og videninstitutioner indenfor lydområdet i Danmark samt en række andre samarbejdspartnere i ind- og udland. Et af de udfordrings- og fokusområder, som vi beskæftiger os med, er ”AI Sound Solutions”. Det omhandler forskning og udvikling af innovative løsninger, som kobler lyd og AI, dvs. underområder som machine learning, internet of things, big data, industri 4.0 teknologier og kognitive systemer. Formålet er at skabe mere intelligente løsninger med udgangspunkt i brugernes behov. I den forbindelse vil en ny FORCE resultatkontrakt være et meget relevant bidrag og mulighed for udbrede projektets resultater til SMV’er og større firmaer i Danmark, udføre specialiserede innovationsprojekter i samarbejde med firmaer og andre videninstitutioner, afholde fælles formidlingsarrangementer samt bidrage til temaaktiviteter indenfor AI Sound Solutions.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Torsdag d. 31/5-18 kl. 21:11

Hej Jan!
Jeg ser det som afgørende for aktivitetens succes, at vi indgår i et tæt samarbejde med DTU Compute om machine learning implementeringen. Så det glæder mig utrolig meget, at du ser positivt på forslaget og gerne vil indgå i aktiviteten. Den kommende Resultatkontraktperiode er kun 2 år, så det er vigtigt, at vi vælger de 'rigtige' machine learning implementeringer således, at vi hurtigst muligt bliver klar med nye services. Her er jeres erfaring/viden utrolig værdifuld.

Det glæder mig også, at forslaget falder indenfor det som Danish Sound Network har identificeret som et fokusområde for danske audiovirksomheder. Netværket er bindeleddet til den danske audiobranche og har 'fingeren på pulsen' om hvad der er vigtigt for industrien, og via bl.a. innovationsprojekter med SMV'er, er der oplagte muligheder for geare aktiviteten ydeligere. Fælles formidlingsaktiviteter og temadage er bestemt også noget, vi ville sætte pris på at gøre i samarbejde med Danish Sound. Jeg håber vi får mulighed for at arbejde sammen!

Mads Dyrholm (PhD, Jabra)
Onsdag d. 30/5-18 kl. 10:05

Objective predictors of perception is of key importance in our headset industry because they are reproducible predictors of customer feedback. Current methods are limited to standardized scenarios; in practice they are closed solutions with little or no option to customize. Therefore we are often faced with the only option to conduct subjective tests where a lot of effort must be emphasized on achieving and assessing reproducibility between tests. Humans are not 100% consistent between experimental trials over time and hence results are noisy. Having access to an expert panel through FORCE helps this problem to a large extend, but the experts are not customizable.

Having access to a customizable virtual listening panel that is both objective and predictive would be nothing short of fantastic. There is little doubt that the recent advances on "Deep Learning" - basically overtaking the whole AI field - is a great leap towards the horizon. The proposed solution - to use AI - is elegant and logical: We have the data, but we lack the theory of perception to fit useful models to the data. The proposed solution would be a useful model for predicting human response distributions given some auditory input and customizable response variables.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Torsdag d. 31/5-18 kl. 22:35

Thank you so much Mads, for your views on both the limitations of current tools available for objective measurements of perceived sound quality in the telecom industry, - but also your view on what the future could soon bring in terms of AI.

The telecom industry has been pushing the objective measurements on sound quality forward for decades and perceptually motivated models on speech quality and background noise suppression are widely acknowledged and used. But they all provide the relatively limited Mean Opinion Score level outputs and therefore little help is found in these models for actually identifying which perceptual characteristics of the sound output that leads to eg. better speech quality.

Furthermore headsets today are in some product segments also seen by the end-user as headphones for music listening, and our proposed activity will aim at developing predictive models that can also objectively measure this application area.

We would be very interested in discussing this topic further with you, to ensure, the services developed during the project would be of interest and relevance to the telecom industry.

Eddy Bøgh Brixen (Seniorkonsulent, EBB-consult)
Torsdag d. 31/5-18 kl. 07:48

Det er utrolig vigtigt, at den unikke viden, som SenseLab har opbygget, kan blive anvendt i en større sammenhæng. Der er tale om et videns- og erfaringsgrundlag, som er konsistent og omfattende. Det er en videns- og databank, der gør den virtuelle test til en realitet. Disse mulige teknikker bør nu komme industrien til gode. Alt andet ville være forkert.
SenseLab har også en særlig position internationalt, derfor vil de virtuelle metoder ikke bare være til lokal anvendelse, men I høj grad også have værdi uden for landets grænser.

Søren Legarth (Teamchef SenseLab, FORCE Technology)
Torsdag d. 31/5-18 kl. 21:24

Hej Eddy! Mange tak for din kommentar til vores forslag! Vi mener også tiden er helt rigtig til at vi bevæger os ind i mulighedernes verden indenfor anvendelse af store datamængder. Som del af vores nuværende kerneydelser, indsamler vi løbende store mængder sensoriske data med brug af testpersoner (vores trænede lyttepaneler samt forbrugermålgrupper) og alle data er struktureret i vores web-baserede platform SenseLabOnline. Så vi mener, der er et godt udgangspunkt for at lykkes med den foreslåede aktivitet.

Kim Larsen (Team Manager, Audio Engineering, Sennheiser Communications)
Torsdag d. 31/5-18 kl. 09:56

Very interessting and relevant topic and with the huge amount of data you have collected over the years in a very structured way I think you have a very good starting point for such a model.

I agree pretty much with all the other comments given so far. However a few comments or elaborations.

Objective models describing end-user perception is needed as subjective field tests consumes time and cost, budget and efficiency is always in focus in a development organization. As already mentioned by others existing objective models is already out there evaluating speech quality (POLQA), speech in noise quality (for instance ETSI 3QUEST), etc. Of course these models all have assumptions and might not always tell the complete truth which again leads to supplementary use of subjective testings. However they are very fast and efficient to use during development which is a good thing in order to get an early indication in projects.

Mentioned models above (- and also others) are very closed systems where it might be good with some competition. And with your proposed method I think you have all the possibilities and probably also as good or even a much better dataset than the ones used for above mentioned standardized models.

Finally I think it's very important that you are aware of above mentioned competition at least if we talking the telecom-business. By that I think of the sales pitch for your final product. Do already have this goal ready now, be able to tell how your model is better than existing objective evaluation models out there. And finally: It should be fast and efficient to use during development.

Hope you can use above comments for something.
And again - it's a really interessting and relevant topic.

Peter Larsen (President, LOUDSOFT Ltd)
Torsdag d. 31/5-18 kl. 13:26

Et virtuelt lyttepanel vil have mange fordele for danske konsulenter/udviklere af lydsystemer:
• Hurtig og billigere udvikling af højttalere, hovedtelefoner og testudstyr.
• Pålidelig og objektiv måde at overbevise udenlandske kunder om ovennævnte produkters kvalitet, især hos OEM kunder.
• Bedre muligheder for at lancere produkterne på et konkurrencepræget marked.
• Fremhæve Danmarks allerede gode ry for akustik i hele verden.

Jesper Ramsgaard (Senior User Experience Researcher)
Torsdag d. 31/5-18 kl. 18:47

FORCE Technology SenseLab har igennem de sidste 10 år etableret sig som verdens førende laboratorie indenfor udvikling af metoder til indsamling af psykometrisk data omkring opfattelse af lyd, samt praktisk og effektiv afvikling af lytteforsøg.

Med en allerede stor databank, og kontinuerlig indsamling af lydfiler og data fra lytteforsøg via SenseLabOnline, er det næste naturlige skridt at udnytte det fulde potentiale i denne datamængde via machine learning. Jeg ser frem til at følge denne udvikling, der vil give stærke konkurencefordele til virksomheder der arbejder med lydprodukter henvendt til forbrugere.

Mvh,
Jesper Ramsgaard

Jens Herfort Pedersen (Senior Specialist Engineer, Luminator Rail Group)
Torsdag d. 31/5-18 kl. 22:32

Det er er et interessant tiltag at bruge data fra allerede udførte og kommende lyttetests. At kunne komme hurtigere til en vurdering om udviklingen er på vej i den ønskede retning tidligt i udviklingsfasen vil være en fordel i mange tilfælde. Denne form for virtuelle tests vil også give mindre virksomheder en mulighed for at benytte sig af den viden der er samlet gennem mange år.

I mit virke med udvikling at informationssystemer ser jeg flere områder der kunne drage nytte af let tilgængelige tests for at kunne tilpasse delelementer og/eller at kvalificere og dokumentere performance i hele systemer. Der er efter min mening rigtigt mange muligheder som det vil være ærgerligt at gå glip af.