Fremtidens TV har situationsfornemmelse

Fremtidens TV har situationsfornemmelse

Sammen med Bang & Olufsen (B&O) udvikler AAU-forskere en kunstig intelligens, der ikke blot forstår dine ord, men også følelserne bag dem og den kontekst de bliver sagt i. Teknologien skal bruges i fremtidens Smart-TV

På AAU’s Institut for Elektroniske Systemer arbejder forskerne sammen med B&O om at skabe en kunstig intelligens (AI) med situationsfornemmelse, der skal gøre den i stand til at forstå brugerens behov bedre, end man kan i dag.

Samarbejdet opstod i 2012, fordi B&O-medarbejdere havde hørt om professor Zheng-Hua Tan’s forskning i kunstig intelligens på AAU. De havde tidligere samarbejdet med AAU og vidste, at forskerne er åbne for samarbejde med erhvervslivet.

– Jeg blev inviteret ud til B&O for at fortælle mere om vores forskning og om fremtidsperspektiverne i AI. Efterfølgende havde vi en god dialog om anvendelsesmulighederne i forhold til B&O’s konkrete udfordringer, siger professor Zheng-Hua Tan.

Med støtte fra Innovationsfonden har B&O successivt ansat to erhvervsPhD-forskere, der samtidig har været indskrevet på AAU, til at udvikle og optimere en kunstig intelligens, der tager bedre højde for verden omkring sig. Ved hjælp af kamera og mikrofon skal fx et B&O smart-TV kunne genkende mennesker, situationer, stemninger og følelser for bedre at kunne foreslå indhold, som brugeren gerne vil se.
 

Machine Learning – hvordan maskiner lærer af erfaring

Et menneske kan på få sekunder se sig omkring og afkode sine omgivelser – hvem der sidder og ser fjernsyn, og hvem der sidder i samme rum og laver noget andet, men det er ikke nemt at beskrive præcis, hvordan vi gør det, og det gør det svært for forskerne at lære en computer at gøre det samme.

– Problemet er, at hvis vi ikke kan definere klare regler for, hvordan man fx ser forskel på to personer, så kan man ikke programmere en instruks, som en computer kan følge, siger forskningsspecialist Sven Shepstone fra B&O.

Heldigvis har den seneste udvikling i machine learning gjort computere meget bedre til at lære af eksempler. Processen fungerer ved at give en computer hundreder eller endog millioner af eksempler på fx billeder af forskellige personer. Computeren anvender derefter en egnet algoritme til automatisk at opbygge en model, der er i stand til at skelne mellem personer.

– Vil vi eksempelvis lave en machine learning-model, der kan afgøre om folk er begejstrede eller keder sig ud fra stemmen, så giver vi computeren en hel masse lydklip af begejstrede mennesker og derefter et tilsvarende antal lydklip af folk, der keder sig. Ved hjælp af en særlig algoritme øver computeren sig på disse eksempler og kan derefter afgøre om et nyt lydklip stammer fra en begejstret person, eller en der keder sig.” siger erhvervsPhD studerende Miklas Strøm Kristoffersen fra B&O og AAU.
 

Et frugtbart samarbejde

Bang & Olufsen har længe haft et tæt partnerskab med AAU, både i form af konkrete samarbejdsprojekter såsom smart-TV-projektet, deltidsansættelser, studieprojekter og den årlige fælles Bang & Olufsen Innovation Camp siden 2012.

– Samarbejdet med AAU giver os mulighed for at holde os ajour med state of the art inden for AI, samtidig med at vi kan undersøge nye måder at forbedre brugeroplevelsen med vores fremtidige produkter, siger forskningsspecialist Sven Shepstone.

AAU har lang tradition for problembaseret læring, hvor de studerende arbejder med problemstillinger fra det virkelige liv. Grupper af kandidatstuderende besøger løbende B&O og andre virksomheder for at prøve kræfter med deres udfordringer, og mange af dem bliver senere ansat i virksomhederne.

– Både forskerne og vores studerende på AAU brænder for at arbejde på reelle udfordringer, som optager erhvervslivet. Samarbejdet med B&O er et oplagt eksempel, der både stimulerer vores forskning og samtidig har et impact uden for den akademiske verden,” siger professor Zheng-Hua Tan.
 

Bedre anbefalinger til brugeren

Anbefalingssystemer er et område, der hele tiden forskes i af en lang række virksomheder, men AAU’s og B&O’s projekt udgør alligevel et nybrud ved at inddrage information, som man ikke tidligere har udnyttet.

Normalt anbefales film ved at bruge andre folks bedømmelser. For eksempel ved computeren måske, at Person A kan lide filmene Kingsman og Jagten, mens Person B kan lide Jagten og The Saint. Da A og B synes at have lignende smag i film, anbefaler computeren Kingsman til person B.

Men måske har B slet ikke lyst til at se den film lige nu. Der kan være stor forskel på, hvad man har lyst til at se en fredag aften med vennerne og en søvnig søndag alene. Det problem løser fremtidens TV ved at analysere billede og lydoptagelser af Person B og forstå situationen og stemningen.

Ved at lytte til de små variationer i stemmen eller analysere ansigtsudtrykket kan TV’et bedre forstå sin bruger og tage det med i overvejelserne om, hvilken film den skal anbefale.

“Vi har udført en række komparative studier, og de har vist, at vores system er bedre til at anbefale film og TV end almindelige anbefalingssystemer.  Det viser, at kunstig intelligens er en værdifuld ressource, der også er i stand til at forstå menneskers opførsel og omgivelser og danne sig et helhedsindtryk af, hvad der foregår i en given situation.” siger professor Zheng-Hua Tan.

 

FAKTA:

Flere forsøg udført af AAU-forskere og B&O-forskere viser, at deres system, der tager højde for situation og stemning ved hjælp af lyd og billede, er bedre til at anbefale film og TV end almindelige anbefalingssystemer, der kun har statistik og brugerdata til rådighed:

  • Et studie undersøgte de underliggende kontekstuelle faktorer, der påvirker brugernes valg af TV-indhold, fx hvilken dag det er, tidspunktet på dagen, hvem er til stede, hvor opmærksomme er de hver især på TV'et. Resultaterne viste, at tidsmæssig og social kontekst er nøgleindikatorer, der gør det muligt for systemet at forstå og at tilpasse sig scenarier som sociale sammenkomster eller ensomme eftertænksomme øjeblikke.
  • Et andet studie kom også frem til en forbedring af anbefalingerne ved hjælp af oplysninger om alder, køns og følelsestilstand, som computeren selv fandt frem til gennem lyd fra brugeren i stedet for traditionelle data som var kendt på forhånd.
  • I et af studierne udvalgte algoritmen reklamer direkte tilpasset hver enkelt person baseret på alder og køn, som den selv opdagede ud fra deres talemønstre.
  • I en anden undersøgelse blev folks følelser, som computeren også beregnede fra deres talemønstre, brugt til at anbefale TV-programmer til dem. Studiet fandt ud af, at folk var mere tilfredse med indholdet, der blev givet til dem baseret på deres talemønster, end hvis der ikke var nogen information om dem.

Få et digitalt boost

Vind terræn i det digitale kapløb gennem AAU Digital Hub Denmark. Kom helt i front inden for teknologier som Internet of Things, Big Data og kunstig intelligens.

Om AAU Digital Hub Denmark

Gennem AAU Digital Hub Denmark tilbyder vi samarbejde om løsning af konkrete udfordringer, kompentenceløft af medarbejderne og adgang til vores nye e-infrastruktur. Alt i en digital kontekst og med udgangspunkt i state-of-the-art forskningsbaseret viden.

Læs mere om mulighederne her

Kontakt

AAU Digital Hub Denmark:
Mail: tech@adm.aau.dk 
Telefon: +45 99 40 96 32