PL229076B1 - Układ do pomiaru położenia punktu fiksacji wzroku użytkownika na powierzchni ekranu komputerowego - Google Patents

Description

Opis wynalazku

Przedmiotem wynalazku jest układ do pomiaru położenia punktu fiksacji wzroku użytkownika na powierzchni ekranu komputerowego.

Znane są systemy do śledzenia punktu patrzenia i na tej podstawie określające punkt fiksacji wzroku. Systemy te dzielą się według sposobu interakcji z użytkownikiem na kontaktowe oraz bezkon-taktowe.

Pierwsza grupa systemów wymaga noszenia przez użytkownika specjalnie przygotowanego hełmu lub innej konstrukcji, na której zainstalowane jest oprzyrządowanie. Z europejskiego opisu zgłoszenia patentowego nr EP0733338A1 znane jest zakładane na głowę urządzenie mobilne, które współdziała z oświetlaczami pracującymi w zakresie podczerwieni, rozmieszczonymi w narożnikach monitora komputerowego. Sposób pomiaru punktu fiksacji wzroku polega na włączaniu i wyłączaniu oświetlaczy, a następnie zapisywaniu w obrazie kamery odbić od powierzchni źrenic oraz na przekazywaniu w celu przetwarzania przez komputer.

Druga grupa systemów charakteryzuje się tym, że wykorzystywane jest oświetlanie różnych części oka przez różnego rodzaju oświetlanie oraz monitorowanie odbić światła od powierzchni różnych części oka. Z opisu patentowego US 6758563 znane jest rozwiązanie polegające na tym, że oko jest oświetlane niebieskim światłem i wykrywany jest punkt, któremu odpowiada największa absorpcja na siatkówce. Po wykryciu tego punktu można określić kierunek fiksacji wzroku. Z opisu patentowego US 6659611 znane jest rozwiązanie pracujące w zakresie światła podczerwonego generowanego przez oświetlacze, które to na powierzchni tęczówki tworzy konstelację odbić. Analiza tych odbić oraz określenie położenia środka źrenicy pozwala na wyznaczenie punktu fiksacji wzroku użytkownika.

Układ do pomiaru położenia punktu fiksacji wzroku użytkownika na powierzchni ekranu komputerowego składający się z komputera wraz z oprogramowaniem, oświetlaczy oczu umieszczonych w pobliżu rogów monitora komputera oraz kamery charakteryzuje się według wynalazku tym, że układ zawiera kontroler do sterowania trybem generowania światła przez oświetlacze oczu, zaś w kamerze zainstalowany jest optyczny filtr pasmowo-przepustowy oraz matryca, w której osadzony jest obraz twarzy wraz z obrazem oczu użytkownika. Kamera zaopatrzona jest w sterownik, sterujący położeniem obiektywu kamery w pionie i poziomie, w sposób zapewniający ciągłą obecność w kadrze obrazu twarzy i oczu.

Wynalazek objaśniony jest bliżej w przykładzie wykonania i na rysunku, na którym fig. 1 przedstawia schemat rejestracji przez matrycę kamery odbić oświetlaczy z powierzchni oka, fig. 2 - symboliczny obraz oka z efektem ciemnej źrenicy i jasnej źrenicy, fig. 3 - schemat wyboru trybu pracy układu do pomiaru położenia punktu fiksacji wzroku, fig. 4 - schemat pracy układu do pomiaru położenia punktu fiksacji wzroku, fig. 5 - schemat sterowania kamerą przez sterownik.

Przykład

Układ składa się z komputera wraz z oprogramowaniem, oświetlaczy oczu umieszczonych w pobliżu rogów monitora komputera oraz kamery. Układ zawiera również kontroler do sterowania trybem generowania światła przez oświetlacze oczu. W kamerze zainstalowany jest optyczny filtr pasmowo--przepustowy oraz matryca, w której osadzony jest obraz twarzy wraz z obrazem oczu użytkownika, a ponadto kamera zaopatrzona jest w sterownik PTZ (pan-tilt-zoom), sterujący położeniem obiektywu kamery w pionie i poziomie, w sposób zapewniający ciągłą obecność w kadrze obrazu twarzy i oczu.

Na monitorze komputera jak pokazano na fig. 1 umieszczone są cztery oświetlacze A,B,C,D stanowiące punktowe źródło światła w postaci diod LED, które generują światło w zakresie podczerwieni. Ponadto na osi kamery umieszczona jest dodatkowa kamera. Kamera zaopatrzona jest w sterownik PTZ (pan-tilt-zoom), który umożliwia sterowanie położeniem obiektywu kamery w pionie i poziomie.

Generowane przez oświetlacze oczu światło o ustalonym natężeniu ma za zadanie generować odbicia na powierzchni oka, przy czym układ zawiera kontroler do sterowania trybem generowania światła przez oświetlacze oczu. Oświetlacze oczu na rogach ekranu spełniają rolę generowania pojedynczych, punktowych odbić zwanych glintami, natomiast oświetlacze oczu umieszczone na osi kamery mają za zadanie generować odbicie od całej powierzchni źrenicy. Włączenia lub wyłączenia oświetlaczy oczu na osi ekranu powoduje powstanie różnych obrazów oka.

Jak pokazano na fig. 2B przy uruchomionych wszystkich oświetlaczach oczu, powstaje wspomniany efekt jasnej źrenicy, natomiast jak pokazano na fig. 2A w przypadku uruchomienia części oświetlaczy, przy założeniu dostosowania natężenia światła do odpowiednich wymagań, źrenica oka pozostaje nie oświetlona i na oku generowany jest efekt ciemnej źrenicy.

Jak pokazano na fig. 3 obydwa efekty zostały wykorzystane ze względu na różnorodność cech charakterystycznych oczu różnych użytkowników oraz ze względu na różnice w poziomach oświetlenia tła.

Wykorzystanie tych dwóch efektów pozwala na uniezależnienie od cech fizycznych oka użytkownika oraz warunków oświetleniowych w pomieszczeniu. Decyzja o wykorzystaniu któregoś z tych dwóch trybów jest podjęta podczas kalibracji systemu i może być też zmieniona przez użytkownika.

Jak pokazano na fig. 4 odbite od oka oświetlenie tła jak i artefakty spowodowane przez światło z oświetlaczy oczu trafiają wraz z obrazem twarzy do dedykowanej kamery, która umożliwia pracę w zakresie podczerwieni. W kamerze zainstalowany jest filtr pasmowo-przepustowy, który selekcjonuje pożądane długości światła należącego do zakresu podczerwieni, a generowanego przez oświetlacze oczu. Celem zastosowania filtru jest eliminacja zakłóceń i artefaktów spowodowanych przez oświetlenie zewnętrzne. Obraz twarzy użytkownika wraz z jego-oczami osadzony jest na matrycy CCD kamery, która jest czuła również w zakresie podczerwieni.

Wygenerowany przez kamerę obraz trafia do dalszej obróbki przez zaprojektowany algorytm. Zadaniem algorytmu jest ustalenie na podstawie przesianego obrazu z kamery położenia punktu, fiksa-cji wzroku na monitorze komputera. W tym celu dane-obrazu są przetwarzane i wyznaczane są wszystkie zmienne, które są niezbędne do ustalenia wyniku. W pierwszej kolejności wyznaczane są współrzędne położenia środka źrenicy wyrażone we współrzędnych w obrazie. Następnie według tej samej metodologii wyznaczane są pozycje glintów, czyli odbić od oświetlaczy, na powierzchni oka. Relacja pomiędzy położeniem glintów, a położeniem środka źrenicy obrazuje przekształcenie geometryczne położenia punku fiksacji wzroku w stosunku do oświetlaczy oczu umieszczonych na rogach; ekranu. Na podstawie tej relacji wyznaczany jest punkt fiksacji wzroku, który przyjmuje postać relatywnego położenia w stosunku do oświetlaczy oczu na powierzchni ekranu.

Jak pokazano na fig. 5 obraz z kamery jest przetwarzany w taki sposób, że w trakcie obróbki można uzyskać położenie oczu w kadrze. Jeżeli położenie oczu zbliża się do którejkolwiek krawędzi obrazu, uruchamiane jest polecenie sterujące silnikiem sterownika PTZ kamery tak, aby utrzymać odpowiedni kadr.: Jeżeli oczy są blisko górnej krawędzi, kamera przesuwana jest do góry itd.

Claims (2)

1. Zastrzeżenie patentowe
2. 1. Układ do pomiaru położenia punktu fiksacji wzroku użytkownika na powierzchni ekranu komputerowego składający się z komputera wraz z oprogramowaniem, oświetlaczy oczu umieszczonych w pobliżu rogów monitora komputera oraz kamery, znamienny tym, że układ zawiera kontroler do sterowania trybem generowania światła przez oświetlacze oczu, zaś w kamerze zainstalowany jest optyczny filtr pasmowo-przepustowy oraz matryca, w której osadzony jest obraz twarzy wraz z obrazem, oczu użytkownika, a-ponadto kamera zaopatrzona jest w sterownik, sterujący położeniem obiektywu kamery w pionie i poziomie, w sposób zapewniający ciągłą obecność w kadrze obrazu twarzy i oczu.