KR20180122012A - 눈 트래커 유닛을 포함하는 조작 장치 및 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법 - Google Patents

눈 트래커 유닛을 포함하는 조작 장치 및 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법 Download PDF

Info

Publication number
KR20180122012A
KR20180122012A KR1020187030197A KR20187030197A KR20180122012A KR 20180122012 A KR20180122012 A KR 20180122012A KR 1020187030197 A KR1020187030197 A KR 1020187030197A KR 20187030197 A KR20187030197 A KR 20187030197A KR 20180122012 A KR20180122012 A KR 20180122012A
Authority
KR
South Korea
Prior art keywords
displayed
eye tracker
tracker unit
operating device
user
Prior art date
Application number
KR1020187030197A
Other languages
English (en)
Other versions
KR102182667B1 (ko
Inventor
오머 요샤
자닌 퍼쿤
스테판 슐츠
크리스티안 텐다이크
토마스 베르너
토마스 슈바르츠
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20180122012A publication Critical patent/KR20180122012A/ko
Application granted granted Critical
Publication of KR102182667B1 publication Critical patent/KR102182667B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/654—
    • B60K35/658—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B60K2360/122—
    • B60K2360/141—
    • B60K2360/149—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명은 조작 장치(15)를 위한 눈 트래커 유닛(19)을 교정하기 위한 방법에 관한 것으로서, 적어도 하나의 장치가 적어도 하나의 사용자 입력에 따라 상기 조작 장치(15)에 의해 제어되고, 상기 방법에서, 적어도 하나의 그래픽 요소(33)가 조작 장치(15)를 위한 적어도 하나의 각각의 미리 정의된 사용 단계(29)에서 상기 조작 장치(15)를 위한 제어 유닛에 의해 디스플레이되고, 상기 눈 트래커 유닛(19)에 의해 스크린(18)을 보는 사용자에 대한 적어도 하나의 시선 방향 표시(21)가 결정된다. 본 발명에 따르면, 사용자의 눈이 사용 단계(29)의 성공적인 완료를 위해 포커싱되어야 하는 시각적으로 현저한 요소(33)가 상기 적어도 하나의 디스플레이된 요소(33)로부터 결정되며, 상기 눈 트래커 유닛(19)을 교정하기 위한 교정 데이터(28)가 스크린(18) 상에서의 상기 시각적으로 현저한 요소(33)의 위치에 따라 그리고 상기 적어도 하나의 시선 방향 표시(21)에 따라 생성된다.

Description

눈 트래커 유닛을 포함하는 조작 장치 및 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법
본 발명은 조작 장치의 눈 트래커 유닛을 교정(calibration)하기 위한 방법에 관한 것이다. 조작 장치에 의해, 적어도 하나의 장치는 적어도 하나의 사용자 입력에 따라 제어될 수 있다. 본 발명에는 또한 적어도 하나의 장치를 조작하기 위한 조작 장치가 포함된다. 조작 장치는 특히 자동차에 대해 제공된다.
눈 트래커 유닛에 의해, 사용자의 시선 방향이 검출될 수 있다. 따라서 예를 들어 사용자가 현재 스크린 상의 어떤 요소를 포커싱하고 있거나 또는 보고 있는지를 검출할 수 있다. 이러한 눈 트래커 유닛은 예를 들어 US 2015/0278599 A1호에 공지되어 있다. 여기에서는 또한, 눈 트래커 유닛의 시선 방향 표시로부터 스크린 상에서 보고 있거나 또는 포커싱된 시선 포인트의 좌표를 정확하게 계산할 수 있도록 하기 위해, 눈 트래커 유닛은 교정되어야 한다고 설명하고 있다.
자동차의 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법이 예를 들어 DE 10 2014 008 852 A1호에 공지되어 있다. 이에 따르면, 사용자는, 눈 트래커 시스템을 사용하여 그의 눈이 촬영되는 동안, 스크린을 보고 있어야 한다. 스크린 상에는 그 동안에 그래픽 오브젝트, 예를 들어 십자가가 디스플레이된다. 사용자가 눈으로 이러한 그래픽 오브젝트에 포커싱하여, 포커싱된 영역의 좌표를 알 수 있다고 가정한다. 따라서, 그 동안에 눈 트래킹 시스템에 의해 결정된 시선 방향 표시는 알려진 좌표 상으로 매핑되거나 또는 변환될 수 있다.
WO 2014/020323 A1호에는, 사용자가 컴퓨터 마우스로 조작해야 하는 스크린 상에 마우스 포인터가 표현됨으로써 사용자에 의해 스크린 상에 현재 포커싱되어 있는 포인트를 발견하는 것이 알려져 있다. 사용자가 컴퓨터 마우스의 버튼을 클릭하면, 이 순간에 스크린 상의 마우스 포인터를 보고 있다고 가정된다. 따라서, 눈 트래커 유닛에 의해 제공되는 시선 방향 표시는 이 순간에 마우스 포인터의 위치와 일치하는 것으로 가정된다.
페라 등의 기술 논문(데이비드 페라, 로힛 쿠마르 굽타, 얀-마이클 프람, "헤드 착용식 장치에 대한 적응성 눈-카메라 교정", CVPR - 컴퓨터 비전 및 패턴 인식에 대한 IEEE 컨퍼런스, 2015)에는, 헤드에 착용되는 카메라에 있어서, 주변 환경의 카메라 이미지에서 사용자가 높은 확률로 포커싱하는 시각적으로 현저한 요소가 어떻게 검출될 수 있는지에 대한 방법이 설명되어 있다.
통상적으로, 눈 트래커 유닛의 사용자 교정은, 일련의 정의된 교정 포인트를 사용자가 짧은 시간 동안 차례로 보아야 함으로써 수행된다. 눈 트래커 유닛은 이 시간 동안 사용자의 시선 방향을 검출하고, 상응하는 시선 방향 표시를 생성한다. 이들은 교정 포인트의 알려진 좌표와 비교하여, 이로부터 차이를 보상하기 위한 교정 데이터를 제공하거나 또는 생성할 수 있다.
정의된 교정 포인트를 표현함으로써 이루어지는 능동 교정의 이러한 해결 방안은 시간이 걸리고, 사용자가 실제 시스템 상호 작용, 즉 적어도 하나의 장치를 조작하기 위해 조작 장치의 사용을 즉각적으로 시작하는 것을 방해한다.
본 발명의 목적은 적은 시간 소비로 사용자 장치의 눈 트래커 유닛의 교정을 수행하는 것이다.
상기 목적은 독립 청구항의 주제에 의해 달성된다. 본 발명의 바람직한 개선예는 종속항, 하기 상세한 설명 및 도면에 의해 개시된다.
본 발명을 통해 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법이 제공된다. 조작 장치에 의해, 적어도 하나의 장치는 적어도 하나의 사용자 입력에 따라 제어될 수 있다. 교정에 의해, 사용자의 현재의 눈 위치 또는 시선 방향에 의존하는 눈 트래커 유닛 유닛의 시선 방향 표시를 스크린(디스플레이)의 좌표에 할당하기 위한 변환 규칙 또는 할당 기능이 조정되거나 또는 적응된다. 따라서 교정된 눈 트래커 유닛에서 상기 사용자 입력은 시선 방향을 통해 이루어질 수 있다.
상기 방법에서, 조작 장치의 제어 유닛에 의해 조작 장치의 적어도 하나의 미리 결정된 사용 단계에서 각각 스크린 상에 적어도 하나의 그래픽 요소가 디스플레이된다.
사용 단계는 예를 들어 사용자가 스크린 상에 사용자 입력을 수행하는 것을 제공할 수 있다. 따라서, 그래픽 요소로서, 예를 들어 적어도 하나의 장치의 조작에 대한 적어도 하나의 사용자 입력을 수신하기 위한 그래픽 조작 요소가 디스플레이될 수 있다. 사용 단계는 추가적으로 또는 대안적으로 또한 사용자가 디스플레이된 정보를 검출하거나 또는 보는 것일 수 있다. 따라서, 적어도 하나의 그래픽 요소는 또한 적어도 하나의 장치의 장치 상태, 예를 들어 엔진의 현재 회전 속도를 설명하는 적어도 하나의 출력 요소를 포함할 수 있다. 추가적으로 또는 대안적으로, 사용 단계는 사용자가 정보를 수신하는 것, 예를 들어 디스플레이된 미디어 콘텐츠를 얻는 것일 수 있다. 이러한 미디어 콘텐츠는 예를 들어 이미지 또는 사진 또는 비디오일 수 있다. 따라서, 적어도 하나의 그래픽 요소는 미디어 콘텐츠를 출력하기 위한 적어도 하나의 미디어 요소를 포함할 수 있다.
적어도 하나의 사용 단계 동안, 또한 스크린을 보는 사용자에 대한 적어도 하나의 시선 방향 표시가 눈 트래커 유닛에 의해 결정되거나 또는 생성된다. 즉, 눈 트래커 유닛을 통해, 사용자의 시선이 어디를 향하는지가 설명된다. 시선 방향 표시는 그에 상응하게 예를 들어 스크린 상에서 눈 트래커 유닛에 의해 결정된 시선 포인트의 좌표 또는 시선 방향 벡터일 수 있다.
교정을 위해, 결정된 시선 방향 표시에는 또한 실제로 바라보는 영역 또는 실제로 바라보는 지점의 정보, 즉 예를 들어 교정 포인트의 좌표가 포함된다. 사용자가 현재 조작 장치 상에서 어떤 사용 단계를 실행하고 있는지 알게 됨으로써, 적어도 미리 결정된 최소 확률로 사용자가 현재 어떤 그래픽 요소를 바라보고 있는지를 결정하는 것이 일반적으로 가능하다. 본 발명에 따른 방법에서, 사용자가 실제로 바라보는 이 지점은, 미리 결정된 현저함 기준을 충족시키고 사용자가 사용 단계를 성공적으로 수행하기 위해 눈으로 포커싱해야 하는 시각적으로 눈에 잘 띄는 또는 명확한 또는 현저한 요소가 적어도 하나의 디스플레이된 요소로부터 설정됨으로써, 결정된다. 그래픽 요소가 언제 현저한 것이지는 또한 그래픽 환경에 의존할 수 있다. 일반적으로 "시각적으로 현저한" 것이라 함은 여기서 시각적인 자극을 제공하고 그리고/또는 사용자에게 현재 콘텐츠 관련해서 중요하고 그리고/또는 관심이 있기 때문에, 사용자의 시선을 끄는 것을 의미한다.
스크린 상에서의 시각적으로 현저한 요소의 디스플레이 위치에 따라 그리고 적어도 하나의 시선 방향 표시에 따라, 이 경우 눈 트래커 유닛을 교정하기 위한 교정 데이터가 생성된다. 시선 방향 표시는 예를 들어 벡터 또는 좌표 각각인 경우, 교정 데이터는 예를 들어 교정되지 않은 시선 방향 표시가 조합되는 보정 벡터를 제공하여, 이를 통해 교정된 또는 정정된 시선 방향 표시를 획득할 수 있다. 또한, 눈 트래커 유닛의 센서 데이터로부터 시선 방향 표시를 계산하기 위해, 종래 기술로부터 그 자체로 알려진 바와 같이, 변환의 적어도 하나의 파라미터는 한편으로는 적어도 하나의 시선 방향 표시와 다른 한편으로는 시각적으로 현저한 요소의 디스플레이 위치 사이의 차이가 최소화되도록 조정되는 것이 제공될 수도 있다.
본 발명에 따른 방법을 통해, 사용자는 적어도 하나의 미리 결정된 사용 단계에서 조작 장치를 사용할 수 있고 그 동안에 눈 트래커 유닛을 교정하기 위해 필요한 교정 데이터가 생성된다는 장점이 나타난다. 따라서 조작 장치를 즉시 사용을 위해 제공될 수 있다.
본 발명은 또한 추가적인 장점들을 발생시키는 특성을 갖는 선택적인 개선예를 포함한다.
본 발명의 복수의 개선예는 현저함 기준, 즉 복수의 디스플레이되는 그래픽 요소로부터 시각적으로 현저한 요소가 어떻게 결정될 수 있는지에 대한 문의에 관련된다.
따라서, 복수의 그래픽 요소가 디스플레이되는데, 예를 들어 튜토리얼(tutorial)와 관련해서 조작 장치를 설명하기 위해, 상이한 장치 상태 또는 복수의 미디어 요소를 설명하기 위한 예를 들어 복수의 출력 요소가 디스플레이되는 것이 제공될 수 있다. 이 경우 복수의 그래픽 요소가 디스플레이되어, 이 복수의 그래픽 요소 중 몇몇은 간헐적으로 흐릿하게(blurred) 그리고/또는 음영 처리되어 그리고/또는 그레이 스케일로만 디스플레이되고 단지 하나만이 사용 단계 동안 선명하게 그리고/또는 변하지 않고 밝게 그리고/또는 채색되어 그리고/또는 마킹 요소에 의해 시각적으로 마킹되고 이를 통해 시각적으로 현저하게 표현되는 방식으로 이루어진다. 따라서, 단지 하나의 그래픽 요소만이 선명하게/밝게/채색되어/마킹되어 표현되고, 한편 나머지 그래픽 요소 또는 나머지 그래픽 요소들은 다른 표현에 비해 간헐적으로 흐릿하게/음영 처리되어/그레이 스케일로 표현되는 경우, 사용자가 하나의 요소를 시각적으로 현저한 것으로 느끼고 포커싱할 것이라고 가정될 수 있다. 따라서, 사람들의 주의 또는 초점 또는 시선을 미리 결정된 그래픽 요소로 향하게 하거나 또는 당기도록 사람들의 지각 반사가 사용된다.
추가적으로 또는 대안적으로, 복수의 그래픽 요소가 디스플레이되는 경우, 이들은 시간적으로 연속적으로 나타나는 방식으로 그리고/또는 하나는 현재 각각의 애니메이션에서 크기 및/또는 형상 및/또는 위치 및/또는 장소가 변화하는 방식으로 디스플레이되는 것이 제공될 수 있다. 그래픽 요소가 연속적으로 나타나게 함으로써, 마지막으로 나타나는 각각의 요소가 사용자에 의해 시각적으로 현저한 것으로 느껴지고 시선이 포커싱되는 것으로 가정된다. 그래픽 요소가 애니메이션화됨으로써, 이는 마찬가지로 시각적으로 현저한 것으로 작용한다. 이 경우 그 크기를 변경함으로써, 사용자가 시선 초점을 유지하는 영역이 목표된 방식으로 제어될 수 있다. 따라서, 작아지거나 또는 커지는 요소가 사용자의 초점을 목표된 방식으로 안내할 수 있다. 위치를 변경함으로써, 스크린의 디스플레이 표면 상의 경로를 그리는 일련의 시선 방향 표시가 생성될 수 있다. 위치를 변경하기 위한 공간이 충분히 존재하지 않는 경우, 그래픽 요소의 장소를 변경함으로써, 즉 예를 들어 회전시킴으로써, 마찬가지로 이동 또는 애니메이션화가 얻어질 수도 있다.
복수의 그래픽 요소로부터 시각적으로 현저한 요소를 결정하는 추가의 방법은 디스플레이된 요소 중 어떤 것이 현저함 기준에 따라 결정되는 가장 큰 현저함 값을 갖는지가 결정되고, 가장 큰 현저함 값을 갖는 요소는 시각적으로 현저한 요소로서 설정되는 것에 있다. 현저함 값을 결정하기 위해, 예를 들어 각각의 그래픽 요소에 대해 각각 다음의 특성 변수가 결정될 수 있다: 미리 결정된 최소 콘트라스트가 존재하는 콘트라스트 에지의 개수 및/또는 길이; 그래픽 요소에 존재하는 색 콘트라스트에 대한 그 자체로 알려진 척도; 그래픽 요소와 그래픽 요소의 인접한 주변 환경 사이의 색 콘트라스트에 대한 그 자체로 알려진 척도. 그래픽 요소의 각 특성이 현저함 값에 어떤 영향을 미치는지는, 예를 들어 적어도 하나의 특성 변수(예를 들어, 콘트라스트, 형상)의 값이 상이한 복수의 그래픽 요소가 테스트 대상에 의해 느껴진 현저함에 따라 정렬됨으로써, 테스트 대상에 의한 간단한 실험을 통해 결정될 수 있다. 현저함 값을 결정함으로써, 사용 단계의 고정된 시퀀스가 없는 경우에도, 복수의 디스플레이된 그래픽 요소로부터 시각적으로 현저한 요소가 결정될 수 있다는 장점이 나타난다. 이것은 예를 들어 이미지 또는 사진 또는 비디오와 같은 예를 들어 미디어 콘텐츠를 볼 때, 적어도 하나의 미디어 요소를 통해 각각 그러한 미디어 콘텐츠가 디스플레이되고 그 미디어 콘텐츠 내에서 시각적으로 현저한 요소가 결정되어야 하는 경우일 수 있다.
사용 단계의 시퀀스가 사전 설정되어 있는 경우에는, 즉 조작되거나 또는 보게 되는 그래픽 요소의 순서가 알려진 경우에는, 예를 들어 이전의 시각적으로 현저한 요소를 사용자가 조작하고 그리고/또는 본 것으로 검출되거나 또는 인식된 경우, 각각의 경우에 다음으로 조작될 그리고/또는 보게 될 그래픽 요소는 각각 시각적으로 현저한 요소로서 미리 설정될 수 있다. 다음의 요소는 이 경우, 사용자가 능동적으로 시선에 의해 찾고 있기 때문에, 시각적으로 현저하게 된다.
현재 하나의 그래픽 요소만이 디스플레이되고 그 후에 시각적으로 현저한 요소로 설정되는 것이 특히 바람직하다. 이는 특히 사용자 입력을 수신하기 위한 하나의 조작 요소만이 디스플레이되는 경우에 제공된다. 이는 예를 들어, 사용 단계에서 사용자가 조작 장치에 로그인하거나 또는 로그인해야 하고 이를 위해 터치 스크린(접촉 스크린) 상에서 예를 들어 손가락으로 슬라이더를 이동시켜야 하는 경우에 제공될 수 있다.
복수의 그래픽 요소가 사용자에 의해 연속적으로 포커싱되어야 하는 사용 단계의 사전 설정된 시퀀스와 관련해서는, 사용자가 언제 특정 그래픽 요소를 보는 것을 완료하고 다음 그래픽 요소로 전환되는지가 인식되어야 한다. 또한 다른 경우에, 단지 하나의 그래픽 요소만이 디스플레이되는 경우에도, 사용자는 그의 시선을 시각적으로 현저한 요소에 처음부터 고정 또는 포커싱하고 그리고/또는 지속적으로 또는 영구적으로 고정 또는 포커싱하지는 않는다. 시각적으로 현저한 요소에 고정 또는 포커싱하는 기간에 포함되는 시선 방향 표시를 결정하기 위해, 바람직하게는 눈 트래커 유닛의 적어도 하나의 시선 방향 표시에 기초하여, 미리 결정된 영역 크기를 갖는 포커싱 영역 내에서 미리 결정된 최소 기간 초과 동안 사용자의 시선이 지속되는 것이 검출되는 것이 제안된다. 따라서, 시선 방향 표시의 모든 좌표가 미리 결정된 영역 크기를 갖는 포커싱 영역 내에 위치하도록 눈 트래커 유닛을 통해 연속적으로 생성되는 시선 방향 표시가 경미하게 변화하고, 이 상태가 적어도 미리 결정된 최소 기간 동안 계속되면, 이 지속이 검출되는 경우 지속되는 동안 결정된 시선 방향 표시로부터 교정 데이터가 생성된다. 여기서는 사용자가 그래픽 요소에 포커싱한 것으로 가정될 수 있다.
이 경우 시각적으로 현저한 요소에 포커싱되는 것에 기초한다. 디스플레이된 단일의 그래픽 요소인 경우, 높은 확률로 이 그래픽 요소가 선택될 수 있다. 또한, 초점 영역에 가장 가깝게 위치된 디스플레이된 그래픽 요소가 시각적으로 현저한 요소로서 설정될 수 있는데, 이는 현저함 기준의 또 다른 실시예이다.
그러나 이 경우 또한 사용자가 지속되는 동안 스크린 옆에 위치하는 오브젝트를 보고 있을 수도 있다. 일반적으로 스크린 상의 요소에 포커싱하는 것을 보장하기 위해, 다음이 제공될 수 있다. 미리 결정된 시작 교정 데이터 또는 출력 교정 데이터 또는 디폴트 교정 데이터에 기초하여, 적어도 하나의 예비적으로 교정된 시선 방향 표시가 계산될 수 있다. 적어도 하나의 그러한 시선 방향 표시만이 미리 결정된 타당성 체크 기준을 충족시키는 좌표에 대응하는 최종 구성 데이터를 생성하기 위해 사용된다. 여기서, 디폴트 교정 데이터는 미리 결정된 최대 편차의 미만이 되고, 따라서 스크린 상에 실제로 포커싱된 포인트로부터의 미리 결정된 최대 거리보다 작은 거리를 갖는 포인트에서 디폴트 교정 데이터에 의해 생성된 좌표를 나타내는 것으로 가정된다. 이 경우 예를 들어, 설명된 방식으로 시각적으로 현저한 요소로서 좌표에 가장 가깝게 위치하는 그러한 그래픽 요소를 선택하는 것이 제공될 수 있다.
타당성 체크 기준은 디폴트 교정 데이터에 기초하여 결정된 각각의 디스플레이된 그래픽 요소에 대한 거리가 미리 결정된 최소 거리보다 큰 경우, 시선 방향 표시가 사용되어서는 안 되거나 또는 적합하지 없다고 말할 수 있다.
따라서 지속되는 동안 결정된 시선 방향 표시는 복수의 포커싱된 포인트로부터의 포인트 구름을 그린다. 최소 자승법을 이용하여 또는 RANSAC 알고리즘을 사용하여, 이 경우 예를 들어 이로부터 보정 데이터로서 단일의 보정 벡터가 생성되거나 또는 계산될 수 있다.
눈 트래커 유닛으로부터 복수의 시선 방향 표시가 수신되는 경우, 타당성 체크 기준은 시각적으로 현저한 요소의 변화 및/또는 이동 시 적합한 것으로 인정되는 모든 시선 방향 표시의 좌표가 상대적인 위치 변화에 대응해야 하는 것, 즉 대응하는 시선 방향 표시만이 선택되는 것을 포함할 수 있다. 시각적으로 현저한 요소의 이동을 통해, 각각의 연속적인 표현들 사이의 상대적인 위치 변화가 발생한다. 따라서, 예를 들어, 스크린 상에 상이한 위치를 갖는 적어도 2 개의 상이한 시각적으로 현저한 요소의 시퀀스가 표현될 수 있다. 사용자가 눈으로 이러한 시각적으로 현저한 요소를 따라가면, 시각적으로 현저한 요소들 사이의 상대적인 변화에 대응하는 스크린 상의 좌표를 그리는, 즉 시각적으로 현저한 요소의 변화를 통해 발생되는 바와 같이, 동일한 상대적 위치 변화를 그리는 그러한 시선 방향 표시만이 선택된다. 단일의 시각적으로 현저한 요소가 이동되는 경우, 상대적인 위치 변화, 즉 시각적으로 현저한 요소의 이동에 대응하는 스크린 상의 좌표를 그리는, 즉 이러한 이동을 그리는 그러한 시선 방향 표시만이 선택된다. 이 경우 물론 최종 교정이 없음으로 인해 오프셋 또는 미스 매칭이 발생할 수 있는데, 이는 이 경우 생성된 교정 데이터를 통해 보상될 수 있다.
스크린이 터치 스크린이고 사용자가 스크린을 접촉하면, 또한 사용자가 이 경우 접촉 지점에 시선을 정렬시킨 것으로 큰 확신으로 가정될 수 있다. 이러한 터치 스크린에 의해 적어도 하나의 사용자 입력이 접촉 이벤트로서 검출되면, 바람직하게는 접촉 이벤트의 검출 시 접촉 이벤트 이전에 그리고/또는 동안에 그리고/또는 이후에 각각 생성된 시선 방향 표시는 교정 데이터에 대해 사용된다. 추가적으로 또는 대안적으로, 접촉된 그래픽 요소의 스크린 좌표 및/또는 접촉 이벤트의 접촉 좌표는 교정 데이터를 생성하는데 기초가 된다. 즉, 접촉 이벤트 및 스크린 상의 그 좌표 또는 접촉 이벤트를 통해 접촉된 그래픽 요소의 좌표로부터 직접, 시선 방향 또는 포커싱된 영역에 대한 각각의 목표 정보가 스크린 상에 사전 설정될 수 있는데, 즉 교정 포인트가 정의될 수 있다. 또한 접촉 이벤트와 관련되어 있는 모든 그러한 시선 방향 표시가 사용될 수 있는데, 즉 접촉 이벤트 이전에 그리고/또는 이후에 미리 결정된 시간 이내에서 또는 미리 결정된 기간 이내에서 결정된 시선 방향 표시 그리고 접촉 이벤트 동안 결정된 시선 방향 표시가 사용될 수 있다.
접촉 이벤트를 수신하기 위한 시각적으로 현저한 요소를 목표한 대로 제시하기 위해, 터치 동작을 입력하기 위한 조작 표면, 즉 예를 들어 그래픽 사용자 인터페이스(Graphical User Interface)(GUI)의 소위 버튼 및/또는 문자열을 수신하기 위한 키보드가 디스플레이될 수 있다. 이 경우 이러한 조작 표면을 접촉하면, 즉 접촉 이벤트가 발생하면, 조작 표면의 각각의 좌표 또는 키보드의 각각의 키는 교정 데이터를 생성하기 위해 기초가 될 수 있다.
또한 그래픽 조작 요소로서 와이핑 제스처를 입력하기 위한 슬라이딩 요소가 디스플레이될 수도 있다. 와이핑 제스처는 이 경우 이동 라인을 따라 발생한다. 그에 대응하게, 이동 라인을 따른 이동 프로파일을 그리는 복수의 시선 방향 표시가 수신되어 교정 데이터를 생성하는데 사용될 수 있다. 사용자가 스크린 상에 와이핑 제스처를 수행할 때 눈으로 또는 시선으로 와이핑 제스처를 수행하는 그의 손가락 또는 다른 입력 오브젝트를 따르는 것으로 가정한다. 이 경우 예를 들어, 와이핑 제스처의 움직임 또는 움직임 프로파일에 대응하는 그러한 시선 방향 표시만이 사용된다는 것을 나타내는 상기 타당성 체크 기준을 기초로 하는 것도 또한 가능하다.
미디어 요소의 디스플레이와 관련하여, 조작 장치 및/또는 적어도 하나의 장치에 대한 조작 매뉴얼을 갖는 비디오가 미디어 요소로서 디스플레이되는 것이 제공될 수 있다. 따라서 조작 장치에 대한 소위 튜토리얼이 디스플레이되거나 또는 제시된다. 적어도 하나의 시점에 각각의 시각적으로 현저한 요소로서, 비디오에서 순간적으로 디스플레이되고 음성 출력을 통해 설명되며 그리고/또는 상기 비디오에서 시각적으로 하이라이트 표시되는 그래픽 요소가 설정된다. 예를 들어 현재 자동차의 계기판의 회전 속도 표시기가 설명된다면, 사용자는 비디오에 디스플레이된 회전 속도 디스플레이에 눈을 포커싱한다고 가정할 수 있다.
본 방법은 단일 사용 단계 또는 복수의 사용 단계에 대한 교정 데이터를 생성하는 것을 제공할 수 있다. 복수의 사용 단계가 연속적으로 수행되는 경우, 각각의 경우에 교정 데이터가 생성되고, 각 사용 단계의 교정 데이터에 의해 눈 트래커 유닛이 반복적으로, 즉 단계적으로 복수 회에 걸쳐 연속적으로 교정되는 것이 제공될 수 있다. 이를 통해 유리하게는 생성된 교정 데이터가 오류가 있는 경우 눈 트래커 유닛의 사용이 불가능하게 되는 것이 방지된다. 일 사용 단계에서 반복적으로 조정된 교정 데이터의 변화가 미리 결정된 최대 값보다 작게 유지되는 것, 즉 단일의 사용 단계의 교정 데이터의 영향이 제한되는 것이 제공될 수 있다. 반복적인 교정을 통해, 예를 들어, 사용자가 변경된 후, 눈 트래커 유닛이 반복적으로 새로운 사용자에 대해 적응되는 것이 또한 달성될 수도 있다. 또한, 눈 트래커 유닛에 의한 조작 장치의 조작은 초기에 차단되고 미리 결정된 회수의 사용 단계 및 이에 따라 교정 단계 이후에만 활성화되는 것이 제공될 수도 있다. 미리 결정된 회수의 교정 단계에 대한 대안으로서, 교정 단계 이후에 발생된 교정 데이터의 변화가 결정되고, 교정 단계에 의한 변화가 미리 결정된 최대 값보다 작은 경우, 조작이 활성화되는 것이 또한 제공될 수도 있다. 이 경우, 눈 트래커 유닛이 사용자에게 충분히 정확하게 맞춰져 있다고 가정할 수 있다.
본 발명에 따른 방법을 수행하기 위해, 눈 트래커 유닛, 스크린 및 제어 유닛을 포함하는 자동차에 대한 본 발명에 따른 조작 장치가 제공된다. 제어 유닛은 본 발명에 따른 방법의 실시예를 수행하도록 구성된다. 이를 위해, 제어 유닛은 적어도 하나의 마이크로프로세서 및/또는 적어도 하나의 마이크로 제어기를 포함할 수 있다. 또한, 제어 유닛은 본 발명에 따른 방법의 실시예를 수행하도록 구성된 프로그램 코드를 포함할 수 있다. 프로그램 코드는 제어 유닛의 데이터 메모리에 저장될 수 있다.
이하에서는, 본 발명의 일 실시예가 설명된다.
도 1은 본 발명에 따른 조작 장치의 실시예를 갖는 자동차의 개략도를 도시한다.
도 2는 조작 장치의 사용 단계에 속하고 이와 동시에 본 발명에 따른 방법의 일 실시예에 따른 교정 데이터를 생성하기 위해 사용되는 디스플레이 콘텐츠의 개략도를 도시한다.
도 3은 본 발명에 따른 방법의 다른 실시예에 따른 교정 데이터를 생성하기 위해 또한 사용되는 다른 사용 단계의 디스플레이 콘텐츠의 개략도를 도시한다.
이하에 설명하는 실시예는 본 발명의 바람직한 실시예이다. 실시예에서, 실시예의 설명된 구성 요소는 각각 서로 독립적으로 고려되어야 하는 본 발명의 개별적인 특징을 나타내며, 이 개별적인 특징은 또한 본 발명을 각각 서로 독립적으로 개발하고 이에 따라 개별적으로 또는 도시된 것과 다른 조합으로 발명의 일부로서 또한 제공한다.
또한, 설명된 실시예는 또한 이미 설명된 본 발명의 다른 특징에 의해 보완될 수도 있다.
도면들에서, 기능적으로 동일한 요소들에는 각각 동일한 도면 부호가 제공되어 있다.
도 1은 예를 들어 자동차, 특히 승용차 또는 트럭일 수 있는 자동차(10)의 부분도의 조감도를 도시한다. 배향을 위해, 자동차(10)의 전방 휠(11), 운전자 시트(12), 스티어링 휠(13) 및 센터 콘솔(14)이 도시되어 있다.
자동차(10)에는, 자동차(10)의 적어도 하나의 장치(16)가 조작될 수 있게 하는 조작 장치(15)가 제공될 수 있다. 조작 장치(15)는 예를 들면 자동차(10)의 인포테인먼트 시스템(정보-엔터테인먼트 시스템)의 일부일 수 있다. 적어도 하나의 장치(16)는 예를 들어 비디오 및/또는 오디오 데이터 파일을 위한 라디오 및/또는 전화 및/또는 네비게이션 시스템 및/또는 공기 조화 장치 및/또는 미디어 플레이어 장치일 수 있다. 조작 장치(15)는 제어 유닛(17), 터치 스크린(18) 및 눈 트래커 유닛(19)을 포함할 수 있다. 터치 스크린(18)은 스크린을 나타낸다. 터치 스크린(18)은 예를 들어 자동차의 센터 콘솔(14)에 배치될 수 있다. 터치 스크린 대신에, 예를 들어 헤드 업 디스플레이(Head-up-Display) 또는 비-접촉 감응식 스크린이 제공될 수도 있다.
예를 들어, 눈 트래커 유닛(19)의 검출 영역(20)은 예를 들어 운전자의 시선 방향이 검출될 수 있도록 운전자 시트(12)와 정렬될 수 있다. 터치 스크린(18) 및 눈 트래커 유닛(19)은 각각 종래 설명으로부터 공지된 방식으로 구성될 수 있다. 동작 시, 눈 트래커 유닛(19)은 시선 방향 표시(21)를 생성하여 이들을 제어 유닛(17)으로 출력할 수 있다. 제어 유닛(17)은 디스플레이 콘텐츠(23)를 제어하기 위한 그래픽 데이터(22)를 터치 스크린(18) 상으로 출력할 수 있다. 또한, 제어 유닛(17)은 터치 스크린(18) 상의 접촉 이벤트(25)의 좌표를 설명할 수 있는 접촉 데이터(24)를 터치 스크린(18)으로부터 수신할 수 있다. 접촉 이벤트(25)는 예를 들어 운전자와 같은 사용자의 손가락에 의해 터치 스크린(18)의 디스플레이 표면을 접촉하는 것일 수 있다.
사용자가 디스플레이 콘텐츠(23) 상의 어떤 부분 또는 어디를 그의 눈을 향하게 했는지를 시선 방향 표시(21)에 기초하여 검출할 수 있도록 하기 위해, 제어 유닛(17)을 통해 변환 또는 이미징(26)이 제공되는데, 이 변환 또는 이미징은 사용자의 시선의 시선 방향 벡터와 터치 스크린(18)의 디스플레이 표면 상의 디스플레이 콘텐츠(23)와의 교차점을 그리는 좌표(27)로 시선 방향 표시(21)를 변환한다. 이를 위해, 변환(26)은 종래 설명으로부터 그 자체로 공지된 바와 같이, 구성 데이터(28)에 의해 조정되어야 한다. 그러나, 제어 유닛(17)을 통해서는, 사용자가 다른 사용 목적을 위해 조작 장치(18)를 사용할 수 없는 별도의 교정 방법 또는 교정 단계로 교정은 수행되지 않는다. 그 대신에, 조작 장치(15)의 사용 단계가 교정 데이터(28)를 생성하기 위해 추가로 사용된다.
도 2에서 이는 예를 들어 조작 장치(15)의 조작 메뉴가 터치 스크린(18) 상에 디스플레이되도록 하기 위해, 사용자가 조작 오브젝트(30), 예를 들어 그의 손가락에 의해 터치 스크린(18) 상에서 이동 경로(32)를 따라 와이핑 제스처(31)를 실행해야 하는 소위 잠금 해제를 제공하는 사용 단계(29)에 의해 도시된다. 배향으로서, 사용자에게는 그래픽 요소(33)가 제어 유닛(17)에 의해 터치 스크린(18) 상에 디스플레이된다. 그래픽 요소(33)는 사용자가 조작 오브젝트(30)에 의해 접촉해야 하고 이동 경로(32)를 따라 당겨야 하는 조작 요소이다. 이를 통해, 그는 암시적으로 와이핑 제스처(31)를 실행한다. 이 경우 사용자는 이 순간에 또한 그의 시선의 초점을 실행된 이동에 맞춘 것으로 가정된다. 따라서, 실제로 인식되어 시선 방향 표시(21)를 통해 시그널링되는 초점과, 요소(33)의 위치 또는 좌표의 형태의 추정된 초점 사이의 조정이 터치 스크린(18) 상에서 수행될 수 있다. 마찬가지로, 사용자에게는 조작을 위한 결정된 조작 표면 또는 버튼 또는 슬라이더가 디스플레이될 수 있다(도시되지 않음). 여기서도 또한, 사용자는 각각의 상호 작용 요소, 즉 그래픽 조작 요소에 대해 조작 처리의 실행의 순간에 그의 초점을 맞춘 것으로 가정되어야 한다. 이러한 기초적인 것들에 기초하여, (각각의 그래픽 요소(33)로 향하는) 실제 사용자 초점과 눈 트래커 유닛에 의해 현재 결정된 시선 방향 표시(21) 사이의 오프셋 또는 편차가 기술적으로 계산되어, 구성 데이터(28)에 의해 보상된다.
일반적으로 이러한 접근법은 그래픽 사용자 인터페이스(GUI)의 임의의 그래픽 요소와 관련될 수 있다. 바람직한 최적의 적용에서는 오직 하나의 요소만이 스크린 상에 디스플레이된다(도 2 참조).
조작 장치(15)가 시선 방향이 특정 포인트 상에 또는 한정된 프레임 내에서 지속되는 것에 기초하여 사용자 초점을 검출하면, 여기서 사용자가 현재 디스플레이된 단일의 요소를 보고 있다는 가정 하에, 초점과 이 요소의 위치 사이의 차이는 직접 그리고 교정 데이터(28)에 의해 조정되거나 또는 보상될 수 있다.
이 경우, 계산 및 조정은 접촉 이벤트(25) 직전 및/또는 직후에 검출된 관점에 기초하여 수행된다. 종래 기술로부터 그 자체로 공지된 수학적 방법에 의해, 이들은 이 경우 디스플레이된 그래픽 요소의 고정된 위치로 교정된다.
따라서, 조작 장치에서 교정은, 사용자가 특정 조작 시퀀스 또는 사용 단계(29)를 수행하는 동안, 사용자에 대해 숨겨지고 인식될 수 없도록 수행된다.
그러나, 사용자가 또한 간헐적으로 원하는 디스플레이된 영역 외부를 바라볼 것이라는 것을 배제할 수 없기 때문에, 측정 값은 바람직하게는 타당성 체크가 이루어진다. 상기 방법은, 제시된 요소가 우선 매우 작게 표현된 다음 미리 결정된 최종 크기로 확대됨으로써, 최적화될 수 있다. 슬라이더를 조작하면 명확하게 정의된 라인 또는 이동 경로(32)(슬라이더 프로파일)를 따라 사용자 초점을 평가할 수도 있다. 이는 한편으로 측정 값이 처음에는 훨씬 더 작은 영역에 집중되므로 더 정확한 결과를 제공하고, 다른 한편으로는 더 많은 애니메이션이 그의 주의를 요구하므로 사용자가 요소(33)를 볼 가능성을 또한 증가시킨다.
다른 실시예가 도 3에 도시되며, 이 실시예에서는 능동 교정이 사용자에 대해 숨겨지고 인식될 수 없도록 수행된다. 이를 위해, 도 3에서 시간(t)에 걸쳐 3 개의 연속된 시간 단계(T1, 12, T3)에 대해 각각 터치 스크린(18)의 디스플레이 콘텐츠(23)가 도시되어 있고, 한편 사용자에게 예를 들어 목표 시스템을 설명하는 튜토리얼을 갖는 비디오가 미디어 요소로서 안내된다. 이것은 적용 경우에 맞게 임의대로 구성될 수 있다. 따라서, 예를 들어 타일 디자인에 기초하는 GUI 애플리케이션이 설명될 수 있다. 제 1 시스템 시작 시, 사용자는 먼저 조작 장치의 옵션이 그에게 제시되어 있는 튜토리얼에 들어가게 된다. GUI 인터페이스는 초기에 디스플레이되지 않고, 시간 단계(T1, T2, T3)에서 점차적으로 구축된다. 타일은 임의의 순서로 페이드-인되며, 음향적으로 몇 마디로 도입된다. 각각의 새로운 타일(34)이 페이드-인될 때 사용자가 이것을 보게 될 확률은 매우 높다. 이 시간에 눈 트래커 유닛의 측정 값이 시선 방향 표시(21)로서 기록된다면, 이에 기초하여 타일 위치와 관련하여 디폴트 교정 또는 표준 교정(35)이 조정될 수 있다.
여기서 또한 사용자가 타일을 보지 않는다는 것을 배제할 수 없기 때문에, 측정 값은 타당성 체크가 이루어져야 한다. 이는 디폴트 교정(35)에 의해 GUI의 디스플레이 콘텐츠(23) 상의 시선의 절대 위치가 결정될 수는 없지만, 그러나 서로 상대적인 위치는 결정될 수 있기 때문에 가능하다. 예를 들어 제시된 2 개의 타일(34)이 나란히 위치되어 있다면, 시선 방향 표시(21)의 기록된 시선 데이터도 또한 서로 나란히 위치되어야 한다. 적합하지 않은 값은 폐기되거나 또는 교정 시에 무시될 수 있다.
상기 제안된 방법은, 제시된 타일이 우선 매우 작게 표현되고 잠시 후에 최종 크기로 확대됨으로써, 최적화될 수 있다. 이는 한편으로 측정 값이 처음에는 훨씬 더 작은 영역에 집중되므로 더 정확한 결과를 제공하고, 다른 한편으로는 더 많은 애니메이션이 그의 주의를 요구하므로 사용자가 타일을 볼 가능성을 또한 증가시킨다.
마찬가지로, 이미 제안된 타일(34)을 페이드-아웃시키고 그리고/및 음영 처리함으로써, 사용자의 산만함이 감소될 수 있고 그의 주의가 현재 제시된 타일로 향하게 될 수 있다. 이것은 도 3에서 이전의 시간 단계(T1, T2)에서 이미 디스플레이된 타일(34)의 파선 표현에 의해 도시되어 있다.
점차적으로만 채워지는 시스템 시작을 위한 GUI의 완전히 비어 있는 디스플레이 콘텐츠(23) 대신에, 이것은 또한 처음에는 이미 완전히 존재할 수 있지만, 그러나 음영 처리된 그리고/또는 흐려진 콘텐츠로 존재할 수도 있다. 현재 제시된 타일은 하이라이트 표시되고 이어서 다시 음영 처리된다.
조작 장치가 작동 중일 때, 프로그램 사용 중에 사용자에게 영향을 미치지 않고, 계속해서 교정 및 재교정이 이루어질 수 있다. 이를 위해, 디스플레이 콘텐츠(23)를 갖는 보고 있는 표면이 분석될 수 있고 두드러진 포인트에 대해 조사될 수 있다. 이것은 작동 중에 자동화되어 또는 디스플레이 콘텐츠(23)의 공지된 표현의 경우에는 사전에 수행될 수 있다. 이와 같이 결정된 포인트에 대해서는 사용 단계(예를 들어, 도 2의 사용 단계(29))의 프로그램 시퀀스에서 사용자의 주의가 집중될 것이다. 정의된 기간에 걸쳐 시선 데이터가 시선 방향 표시(21)로서 수집되어 포인트 구름으로 해석된다. 이전에 결정된 포인트를 에러 최소화하는 방식으로 이 포인트 구름을 매칭시키거나 또는 맵핑하는 변환이 결정된다. 이러한 변환은 눈 트래커 유닛의 디폴트 교정(35)의 교정 보정을 위해 직접 사용될 수 있다. 또한, 프로그램 사용 중에 지속적으로 실행되기 때문에 - 예를 들어 구조가 변하거나 또는 사용자가 변경되는 경우 - 교정은 런타임에 대해 동적으로 조정될 수 있다.
따라서, 조작 장치(15)는 일반적으로 교란으로 인식되는 능동 사용자 교정을 회피한다. 또한, 눈 트래커 유닛(19)은 바람직하게는, 이 경우 새로운 교정 없이 더 이상 셋업 또는 사용 변환을 허용하지 않는, 초기에 한 번만의 교정이 수행되는 것이 아니라, 변화하는 상황에 적응성으로 조정된다. 이를 통해 사용자 변환 시 시스템은 적응성으로 적응될 수 있다.
일반적으로 GUI에는 사용자가 점점 더 많이 보고 잠시 고정하는 영역이 포함되어 있다. 이는 예를 들어 버튼 또는 슬라이더일 수 있다. 이러한 특징은 관심 포인트(Interest-Points)로 정의되고 사전에 설정된다. 추가의 과정에서, 그들의 공지된 디스플레이 위치를 갖는 이들 포인트는 교정 포인트로서 사용된다. 위에서 설명한 바와 같이, 사용자는 반드시 그의 시선에 의해서가 아니라, 예를 들어 입력 오브젝트(30)에 의해서도 GUI를 원하는 대로 조작한다. 조작 중에, 시선 데이터는 시선 방향 표시(21)로서 수집되고, 위에서 설명한 바와 같이, 디폴트 교정(35)을 정정하기 위해, 정의된 교정 포인트 또는 관심 포인트에 매칭되거나 또는 맵핑된다. 이를 위해, 최소 자승법 또는 예를 들어 RANSAC 알고리즘을 사용할 수 있다.
예를 들어 사진 또는 비디오를 볼 때와 같이, 이미 사전에 특징 또는 관심 포인트가 추출될 수 없는 콘텐츠를 시각화할 때 교정을 수행하는 것도 또한 가능하다. 이러한 경우, 관심 포인트는 현저함 기준에 기초한 이미지 프로세싱에 의해 추출될 것이다.
전체적으로, 이 예는 본 발명에 의해 자동 눈 트래킹 교정이 제공될 수 있는 방법을 나타낸다.
10 자동차 11 전방 휠
12 운전자 시트 13 스티어링 휠
14 센터 콘솔 15 조작 장치
16 장치 17 제어 유닛
18 터치 스크린 19 눈 트래커 유닛
20 검출 영역 21 시선 방향 표시
22 그래픽 데이터 23 디스플레이 콘텐츠
24 접촉 데이터 25 접촉 이벤트
26 변환 27 좌표
28 교정 데이터 29 사용 단계
30 입력 오브젝트 31 와이핑 제스처
32 이동 경로 33 요소
34 타일 35 디폴트 교정

Claims (15)

  1. 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법으로서,
    상기 조작 장치(15)에 의해 적어도 하나의 장치가 적어도 하나의 사용자 입력에 따라 제어되고, 상기 방법에서 상기 조작 장치(15)의 제어 유닛을 통해 상기 조작 장치(15)의 적어도 하나의 미리 결정된 사용 단계(29)에서 각각,
    - 스크린(18) 상에, 상기 적어도 하나의 사용자 입력을 수신하기 위한 적어도 하나의 그래픽 조작 요소, 상기 적어도 하나의 제어되는 장치의 장치 상태를 설명하기 위한 적어도 하나의 출력 요소, 및 실제 상황을 설명하기 위한 적어도 하나의 미디어 요소 중 적어도 하나가 디스플레이되어, 상기 사용 단계(29) 동안 적어도 하나의 그래픽 요소(33)가 디스플레이되고,
    - 상기 스크린(18)을 보는 사용자에 대한 적어도 하나의 시선 방향 표시(21)가 상기 눈 트래커 유닛(19)에 의해 결정되는, 상기 방법에 있어서,
    상기 디스플레이된 적어도 하나의 그래픽 요소(33)로부터, 미리 결정된 현저함 기준을 충족시키고 상기 사용 단계(29)를 성공적으로 수행하기 위해 사용자가 눈으로 포커싱해야 하는 시각적으로 현저한 요소(33)가 설정되고, 상기 스크린(18) 상에서의 상기 시각적으로 현저한 요소(33)의 디스플레이 위치에 따라 그리고 상기 적어도 하나의 시선 방향 표시(21)에 따라 상기 눈 트래커 유닛(19)을 교정하기 위한 교정 데이터(28)가 생성되는 것을 특징으로 하는, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  2. 제 1 항에 있어서,
    복수의 그래픽 요소(33)가 디스플레이되고, 상기 복수의 그래픽 요소 중 하나 또는 그 이상이, 간헐적으로 흐릿하게(blurred) 표현되는 방식, 음영 처리되어 표현되는 방식, 및 그레이 스케일로만 표현되는 방식 중 적어도 하나의 방식으로 표현되고, 단지 하나만이, 상기 사용 단계(29) 동안, 선명하게 되는 방식, 변하지 않고 밝게 되는 방식, 채색되는 방식, 및 마킹 요소에 의해 시각적으로 마킹되는 방식 중 적어도 하나의 방식에 의해 시각적으로 현저하게 표현되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    복수의 그래픽 요소(33)가 디스플레이되고, 이들이 시간적으로 연속적으로 나타나는 방식으로 디스플레이되는 구성, 및 하나가 현재 각각의 애니메이션에서 크기, 형상, 위치, 및 장소 중 적어도 하나가 변화하는 방식으로 디스플레이되는 구성 중 적어도 하나의 구성을 갖는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    복수의 그래픽 요소(33)가 디스플레이되고, 상기 디스플레이된 요소(33) 중 어떤 것이 상기 현저함 기준에 따라 결정되는 가장 큰 현저함 값을 갖는지가 결정되고, 상기 가장 큰 현저함 값을 갖는 상기 요소(33)는 시각적으로 현저한 요소(33)로서 설정되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    사용 단계(29)의 시퀀스가 사전 설정된 경우, 각각의 경우 다음으로 조작될 그래픽 요소(33), 보게 될 그래픽 요소(33), 또는 조작되고 보게 될 그래픽 요소(33)는 시각적으로 현저한 요소(33)로서 미리 설정되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  6. 제 1 항에 있어서,
    단지 하나의 그래픽 요소(33)만이, 특히 상기 적어도 하나의 사용자 입력을 수신하기 위한 조작 요소가 디스플레이되고, 시각적으로 현저한 요소(33)로서 설정되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 시선 방향 표시(21)에 기초하여, 미리 결정된 영역 크기를 갖는 포커싱 영역 내에서 미리 결정된 최소 기간 초과 동안 상기 사용자의 시선이 지속되는 것이 검출되고, 상기 지속되는 것이 검출되면, 상기 지속되는 동안 결정된 시선 방향 표시(21)로부터 상기 교정 데이터(28)가 생성되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    미리 결정된 디폴트 교정 데이터(35)에 기초하여, 적어도 하나의 예비적으로 교정된 시선 방향 표시가 계산되고, 미리 결정된 타당성 체크 기준을 충족시키는 좌표(27)에 대응하는 상기 교정 데이터(28)를 생성하기 위한 적어도 하나의 시선 방향 표시(21)만이 사용되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  9. 제 8 항에 있어서,
    복수의 시선 방향 표시(21)가 수신되고, 상기 타당성 체크 기준은 상기 시각적으로 현저한 요소(33)의 변화 및 이동 중 적어도 하나의 발생시 모든 선택된 시선 방향 표시(21)의 상기 좌표(27)가 상대적인 위치 변화에 대응해야 하는 것을 포함하는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 스크린(18)은 터치 스크린으로서 설계되고, 상기 스크린(18)에 의해 상기 적어도 하나의 사용자 입력은 접촉 이벤트(25)로서 검출되고, 접촉 이벤트(25)가 검출되면, 상기 접촉 이벤트(25)의 이전 기간, 도중 기간, 및 이후 기간 중 적어도 하나의 기간에 각각 생성된 상기 시선 방향 표시(21), 상기 스크린(18) 상에서의 상기 접촉된 그래픽 요소(33)의 좌표(27), 및 상기 접촉 이벤트(25)의 접촉 좌표 중 적어도 하나는 상기 교정 데이터(28)를 생성하기 위해 기초가 되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 터치 조작을 입력하기 위한 조작 표면 및 문자열 중 적어도 하나를 수신하기 위한 키보드가 디스플레이되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    이동 라인을 따라 와이핑 제스처(31)를 입력하기 위한 슬라이딩 요소가 그래픽 조작 요소로서 디스플레이되고, 상기 이동 라인을 따른 이동 프로파일을 그리는 복수의 시선 방향 표시(21)가 수신되어 상기 교정 데이터(28)를 생성하는데 사용되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 조작 장치(15) 및 상기 적어도 하나의 장치 중 적어도 하나에 대한 조작 매뉴얼을 갖는 비디오가 미디어 요소로서 디스플레이되고, 상기 비디오에서 순간적으로 디스플레이되고 음성 출력을 통해 설명되는 구성, 및 상기 비디오에서 시각적으로 하이라이트 표시되는 그래픽 요소(33)가 적어도 하나의 시점에 각각의 시각적으로 현저한 요소(33)로서 설정되는 구성 중 적어도 하나의 구성을 갖는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    복수의 사용 단계(29)가 연속적으로 수행되고, 각각의 교정 데이터(28)가 생성되며, 각각의 사용 단계(29)의 상기 교정 데이터에 의해 상기 눈 트래커 유닛(19)이 반복적으로 교정되는 것인, 조작 장치(15)의 눈 트래커 유닛(19)을 교정하기 위한 방법.
  15. 자동차(10)용 조작 장치(15)에 있어서,
    눈 트래커 유닛(19), 스크린(18) 및 제어 유닛을 포함하며, 상기 제어 유닛은 제 1 항 내지 제 14 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는, 자동차(10)용 조작 장치(15).
KR1020187030197A 2016-06-10 2017-06-06 눈 트래커 유닛을 포함하는 조작 장치 및 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법 KR102182667B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016210288.5A DE102016210288A1 (de) 2016-06-10 2016-06-10 Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
DE102016210288.5 2016-06-10
PCT/EP2017/063698 WO2017211817A1 (de) 2016-06-10 2017-06-06 Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung

Publications (2)

Publication Number Publication Date
KR20180122012A true KR20180122012A (ko) 2018-11-09
KR102182667B1 KR102182667B1 (ko) 2020-11-25

Family

ID=59014639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187030197A KR102182667B1 (ko) 2016-06-10 2017-06-06 눈 트래커 유닛을 포함하는 조작 장치 및 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법

Country Status (5)

Country Link
US (1) US10635170B2 (ko)
KR (1) KR102182667B1 (ko)
CN (1) CN109313501A (ko)
DE (1) DE102016210288A1 (ko)
WO (1) WO2017211817A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209455A1 (en) * 2019-04-09 2020-10-15 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016210288A1 (de) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
DE102017214513A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
WO2019135281A1 (ja) * 2018-01-05 2019-07-11 三菱電機株式会社 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
DE102018208402A1 (de) * 2018-05-28 2019-11-28 Bayerische Motoren Werke Aktiengesellschaft Funktionsüberprüfungssystem
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
WO2020045350A1 (ja) * 2018-08-29 2020-03-05 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110248091B (zh) * 2019-06-12 2021-06-04 Oppo广东移动通信有限公司 焦距调整方法及相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192001A2 (en) * 2013-05-30 2014-12-04 Umoove Services Ltd. Smooth pursuit gaze tracking
KR20150019790A (ko) * 2013-08-16 2015-02-25 (주)뉴인 동적 레이어 기반의 컨텐츠 재생 시스템
US20150331485A1 (en) * 2014-05-19 2015-11-19 Weerapan Wilairat Gaze detection calibration

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396430B2 (ja) * 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
CN101872237B (zh) * 2009-04-23 2012-04-18 由田新技股份有限公司 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
US20100293460A1 (en) * 2009-05-14 2010-11-18 Budelli Joe G Text selection method and system based on gestures
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
KR101709497B1 (ko) * 2010-07-29 2017-02-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012052061A1 (en) * 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
US8675966B2 (en) * 2011-09-29 2014-03-18 Hewlett-Packard Development Company, L.P. System and method for saliency map generation
CA2853709C (en) * 2011-10-27 2020-09-01 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
AU2011253980B2 (en) * 2011-12-12 2014-05-29 Canon Kabushiki Kaisha Method, apparatus and system for identifying distracting elements in an image
EP2834722A1 (en) * 2012-04-02 2015-02-11 Thomson Licensing Method for calibration free gaze tracking using low cost camera
FR2989874B1 (fr) * 2012-04-25 2015-07-31 Thales Sa Procede de calibrage d'un oculometre et dispositif associe
GB2504492A (en) 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
US9147248B2 (en) * 2012-12-21 2015-09-29 Tobii Technology Ab Hardware calibration of eye tracker
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
EP2956844B1 (en) * 2013-02-14 2017-05-24 Facebook, Inc. Systems and methods of eye tracking calibration
US9189095B2 (en) * 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
JP6495254B2 (ja) * 2013-06-12 2019-04-03 スリーエム イノベイティブ プロパティズ カンパニー 視覚的注意モデリングの結果の提示
DE102013019117A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Kalibrieren einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug, Kalibrierungseinrichtung und Kraftfahrzeug
EP2879018A1 (en) 2013-11-29 2015-06-03 Universiteit van Amsterdam Estimating gaze from un-calibrated eye measurement points
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9785235B2 (en) 2014-02-19 2017-10-10 Mitsubishi Electric Corporation Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system
US9684827B2 (en) 2014-03-26 2017-06-20 Microsoft Technology Licensing, Llc Eye gaze tracking based upon adaptive homography mapping
US20150302585A1 (en) * 2014-04-22 2015-10-22 Lenovo (Singapore) Pte. Ltd. Automatic gaze calibration
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration
DE102014008852A1 (de) 2014-06-14 2015-12-17 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
US9851791B2 (en) * 2014-11-14 2017-12-26 Facebook, Inc. Dynamic eye tracking calibration
DE102015204281A1 (de) 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
DE102016210288A1 (de) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192001A2 (en) * 2013-05-30 2014-12-04 Umoove Services Ltd. Smooth pursuit gaze tracking
KR20150019790A (ko) * 2013-08-16 2015-02-25 (주)뉴인 동적 레이어 기반의 컨텐츠 재생 시스템
US20150331485A1 (en) * 2014-05-19 2015-11-19 Weerapan Wilairat Gaze detection calibration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209455A1 (en) * 2019-04-09 2020-10-15 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking

Also Published As

Publication number Publication date
US10635170B2 (en) 2020-04-28
KR102182667B1 (ko) 2020-11-25
DE102016210288A1 (de) 2017-12-14
US20190265788A1 (en) 2019-08-29
CN109313501A (zh) 2019-02-05
WO2017211817A1 (de) 2017-12-14

Similar Documents

Publication Publication Date Title
KR102182667B1 (ko) 눈 트래커 유닛을 포함하는 조작 장치 및 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
US8284168B2 (en) User interface device
US20160132126A1 (en) System for information transmission in a motor vehicle
DE102012212217B4 (de) Steuersystem für ein Fahrzeug
US9477315B2 (en) Information query by pointing
CN110395182B (zh) 具有电子后视镜的机动车
US9823741B2 (en) Method for selecting an information source for display on smart glasses
US9511669B2 (en) Vehicular input device and vehicular cockpit module
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
CN107111355B (zh) 用于校准眼睛跟踪系统的方法和系统
US9802484B2 (en) Method and display device for transitioning display information
CN108733283A (zh) 上下文车辆用户界面
EP3069935B1 (en) Rearview mirror angle setting system, method, and program
CN105966311A (zh) 用于校准摄像机的方法、车辆用的设备和计算机程序产品
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
CN112905004A (zh) 一种用于车载显示屏的手势控制方法、装置和存储介质
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP2010029262A (ja) 視線計測装置及びプログラム
CN111602102B (zh) 用于视觉人-机交互的方法和系统
US20230143429A1 (en) Display controlling device and display controlling method
US20190155560A1 (en) Multi-display control apparatus and method thereof
US20200182647A1 (en) Method for Displaying Points of Interest on a Digital Map
CN112074801A (zh) 用于检测通过指向手势的输入的方法和用户界面
US11442581B2 (en) Method for displaying at least one additional item of display content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant