KR102372265B1 - 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치 - Google Patents

자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치 Download PDF

Info

Publication number
KR102372265B1
KR102372265B1 KR1020190066912A KR20190066912A KR102372265B1 KR 102372265 B1 KR102372265 B1 KR 102372265B1 KR 1020190066912 A KR1020190066912 A KR 1020190066912A KR 20190066912 A KR20190066912 A KR 20190066912A KR 102372265 B1 KR102372265 B1 KR 102372265B1
Authority
KR
South Korea
Prior art keywords
augmented reality
gaze
information
screen
user
Prior art date
Application number
KR1020190066912A
Other languages
English (en)
Other versions
KR20200140110A (ko
Inventor
안양근
박영충
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190066912A priority Critical patent/KR102372265B1/ko
Publication of KR20200140110A publication Critical patent/KR20200140110A/ko
Application granted granted Critical
Publication of KR102372265B1 publication Critical patent/KR102372265B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

본 발명은, 자동차의 인포테인먼트(infortainment) 메뉴 제어 및 디지털사이니지(digital signage) 메뉴 제어에 대한 것으로, 특히 자율주행차의 탑승자를 위한 운행서비스를 위해 차량 전방에 디스플레이 되는 증강현실의 특정 캐릭터나 아이콘 등 증강현실 정보를 시선으로 결정하기 위한 개량된 장치 및 방법이다. 본 발명에 따른 자율주행차에서 시선으로 증강현실 정보를 제어하는 장치는, 실제 객체에 다수의 증강현실 정보가 포함된 이미지를 표시하는 AR 디스플레이, 탑승자(사용자)의 시선위치를 파악하여 시선위치 좌표를 출력하는 시선 인식기, 및 상기 시선 인식기로부터 획득한 사용자의 시선위치 좌표를 처리하여 상기 AR 디스플레이에 의해 표시되는 증강현실 이미지에 포함된 증강현실 정보들 중 사용자가 원하는 증강현실 정보를 인식하고 결정하는 처리기를 포함한다.

Description

자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치 {Method of determining augmented reality information in vehicle and apparatus thereof}
본 발명은 자동차의 인포테인먼트(infortainment) 메뉴 제어 및 디지털사이니지(digital signage) 메뉴 제어에 대한 것이다. 특히 자동차에서 탑승자의 시선을 인식하여 증강현실 정보를 결정하는 방법 및 장치에 관한 것이다.
사용자의 안전 및 편의를 위하여 각종 센서와 전자 장치 등을 차량에 접목하고 있는 추세이다. 이에 따라, 사용자의 조작 없이도, 차량이 스스로 외부 환경을 고려하여, 도로를 주행하는 이른바 자율주행이 가능하게 되었다.
한편, 자동차에는 각종 도로 정보 및 편의 정보를 사용자에게 제공하기 위한 다양한 유형과 방식의 디스플레이가 구비될 수 있는데, 이 중 대표적인 것이 헤드 업 디스플레이(Head-up display)이다. 헤드 업 디스플레이는 차량의 전면부 유리를 디스플레이로 활용하는 윈드쉴드 타입과 자체적으로 구비된 디스플레이에 주행 정보를 출력하는 컴바이너 타입으로 구분할 수 있다.
최근에는, 헤드 업 디스플레이에 증강현실 기술이 접목되고 있다. 증강현실 기반의 헤드 업 디스플레이는, 선행해서 운행중인 다른 차량, 보행자, 건물, 전광판과 같은 실제 객체를 가상의 그래픽 객체(증강현실 아이콘)로 현실 세계와 겹쳐 보여줌으로써, 차량 주변 및 주행 상황 등의 정보를 사용자에게 제공한다.
또한, PC, 콘솔게임기나 자동차 등 다양한 단말을 보다 편리하게 제어하기 위해 시선제어(eye tracking) 기술을 도입하려는 시도가 증가하고 있다. 시선제어란 눈동자를 추적해 시선이 정확하게 어디에 머물고 있는지를 파악하는 기술로, 시야의 중심부에 머무르는 시간이나 시선의 경로를 통해 정보를 처리하는 패턴을 분석하여 활용한다.
하지만, 일반적으로 시선제어를 위해 사용되는 시선인식 장치의 시선인식 오차는 상당하다. 더구나, 대중을 위해 캘리브레이션을 하지 않는 경우라면 시선인식 오차는 더 커진다. 특히, 자율주행차에 시선 제어 기술을 적용할 때에는 주행 상황에 따라 사용자의 시선위치가 시시각각 달라질 수 있는데, 보다 정확하고 현실감 있는 정보를 제공하기 위해서는 사용자의 시선을 정확하게 인식하는 것이 필요하다. 또한 자동차가 전진할 때 대상 건물 등이 앞으로 다가오고 증강현실 정보(캐릭터, 아이콘 등)도 대상 건물에 맞춰 같이 움직이므로 시선인식 장치의 시선인식 오차는 일반적인 상황보다 더욱 커지게 된다.
본 발명은, 전술한 종래기술의 단점을 극복하고자, 자동차의 탑승자를 위한 운행서비스 제공을 위해 차량 전방에 디스플레이 되는 특정 캐릭터나 아이콘 등 증강현실 정보를 시선으로 결정하기 위한 개량된 방법 및 장치를 제안하는 것을 목적으로 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기 과제를 해결하기 위하여, 본 발명은 자동차의 운행 중 이동에 의해 변화되는 증강현실 정보의 범위와 시선오차를 넘어선 크기로 유효 시선인식 영역을 설정하고, 시선이 해당영역에서 정해진 시선 범위 안에 정해진 시간 동안 머무르면 그 범위에 해당하는 증강현실 정보가 결정된 것으로 처리하는 방법 및 장치를 제공한다.
구체적으로, 본 발명의 제1특징에 따른 자동차에서 증강현실 시선으로 증강현실 정보를 결정하는 방법은 아래와 같은 순서로 진행된다.
1. 자동차의 전방에 적어도 하나 이상의 증강현실 정보가 포함된 증강현실 화면을 표시하는 단계,
2. 자동차 탑승자인 사용자의 시선을 파악하여 시선 정보를 획득하는 단계,
3. 상기 시선 정보를 분석하여, 사용자가 상기 증강현실 화면을 바라보는 시선위치 좌표를 산출하고, 산출된 사용자 시선위치 좌표에 상응하는 위치에 정해진 시간동안 머무르는 경우에 이 위치에 해당되는 증강현실 정보를 결정하는 단계.
본 발명의 제2특징에 따르면, 자동차의 전방에 적어도 하나 이상의 증강현실 정보가 포함된 증강현실 화면을 표시하는 증강현실 디스플레이, 자동차 탑승자인 사용자가 상기 증강현실 화면을 바라보는 시선을 파악하여 시선 정보를 출력하는 시선인식기, 상기 시선인식기에서 출력된 시선 정보를 분석하는 수단, 사용자가 상기 증강현실 화면을 바라보는 시선위치 좌표를 산출하는 수단, 산출된 사용자 시선위치 좌표에 상응하는 위치에 있는 증강현실 정보를 결정하는 수단을 포함하는 처리기를 포함하는, 자동차에서 시선으로 증강현실 정보를 결정하는 장치가 제공된다.
본 발명에서 제안한 자동차에서 시선으로 증강현실 정보를 결정하는 장치 및 방법을 사용할 경우, 다음과 같은 이점이 있다.
증강현실 화면을 다수의 블록으로 분할하고 블록별로 시선위치 보정 값을 다르게 적용하여 시선인식 오차를 줄일 수 있다. 그리고 증강현실 정보의 영역보다 크게 유효 시선인식 영역을 설정함으로써 운행 중인 자동차의 경우에도 시선 오인식률이 낮아지는 효과가 있다.
본 발명은 일반 자동차의 탑승자(운전자 포함)에게 제공되는 인포테인먼트 서비스에 적용 가능하며, 특히, 자율주행차량의 자율 운행시 탑승자의 경우에 그 효용이 배가될 것이다.
도 1은 본 발명에 따른 자동차에서 시선으로 증강현실 정보를 결정하는 장치의 한 실시예의 개괄적 구성을 나타낸 것이다.
도 2는 처리기의 개괄적 구성을 나타낸다.
도 3은 본 발명의 실시예의 경우에, 실제 도로와 건물에 증강현실이 디스플레이 된 모습을 나타낸다.
도 4는 발명의 특정 실시예의 증강현실 아이콘의 유효 시선인식 영역을 나타낸다.
도 5는 종래의 시선인식장치로 획득한 시선위치가 서로 다른 오차를 보임을 나타낸다.
도 6은 시선인식기에서 인식한 시선위치의 블록 별 보정 값의 적용에 대하여 나타낸다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 시선으로 증강현실 정보를 제어하는 방법의 구체적인 알고리즘 순서도이다.
도 9는 탑승자의 시선으로 좌측의 증강현실 아이콘이 클릭 된 것을 나타낸다.
본 발명의 이점 및 특징, 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 기술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 실행될 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명에 따른 자동차에서 시선으로 증강현실 정보를 결정하는 장치의 한 실시예의 개괄적 구성을 나타낸 것이다.
본 실시예에 따른 자동차에서 시선으로 증강현실 정보를 결정하는 장치(이하, '본 장치')는, 실제 객체에 다수의 증강현실 정보가 포함된 이미지를 표시하는 AR 디스플레이(10), 탑승자(사용자)의 시선을 파악하여 시선 정보를 출력하는 시선인식기(20), 및 상기 시선인식기(20)로부터 획득한 사용자의 시선 정보를 분석하여 상기 AR 디스플레이(10)에 의해 표시되는 증강현실 이미지에 포함된 증강현실 정보들 중 사용자가 원하는 증강현실 정보를 인식하고 결정하는 처리기(30)를 포함한다.
본 명세서에서 증강현실 정보는 차량 주변 및 주행 상황 등에 관련된 정보, 광고 또는 엔터테인먼트 등 자동차 인포테인먼트 메뉴, 디지털사이니지 메뉴 등으로, 일반 자동차는 물론 자율주행자동차의 자율 주행 중에 탑승자(사용자)가 시선으로 선택 가능하도록 하는 캐릭터, 아이콘, 메뉴 형식의 객체를 의미하는 것으로 정의한다.
이하에서, 본 장치에 대하여 보다 자세히 설명한다.
상기 AR디스플레이(10)는 선행하여 주행중인 다른 차량, 보행자, 건물, 전광판, 신호등과 같은 실제 객체(현실 세계)에 가상의 증강현실 이미지를 겹쳐 보여줌으로써, 차량 주변 및 주행 상황 등의 정보 또는 광고, 엔터테인먼트 등 자동차 인포테인먼트 서비스를 사용자에게 제공하는 기능을 한다.
예를 들어, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 등이 AR디스플레이(10)로 활용 가능하다.
상기 시선인식기(20)는 사용자의 시선을 인식하여 시선 정보를 출력하는 역할을 한다. 이러한 시선인식기(20)의 일 예로는 사용자의 눈이나 얼굴 영상을 캡처한 영상을 시선 정보로서 출력하는 카메라가 대표적이지만 이에 한정되는 것은 아니며, 음파나 적외선 등을 이용하여 사용자의 시선을 인식하는 장치 등 사용자의 시선을 인식하여 시선 정보를 출력할 수 있는 것이면 가능하다.
상기 처리기(30)는 상기 시선인식기(20)로부터 획득한 사용자의 시선 정보를 분석하여, 일정 시간 이상 증강현실 아이콘의 유효 시선인식 영역에 머무르는지 확인하여 사용자의 시선만으로 증강현실 아이콘을 클릭할 수 있도록 한다.
도 2는 상기 처리기(30)의 개괄적 구성을 나타낸다.
처리기(30)는 통신모듈(32), 메모리(34) 및 프로세서(36)를 포함하도록 구성된다.
상기 통신모듈(32)은 네트워크를 통해 AR디스플레이(10) 및 시선인식기(20)와 연동하여 데이터를 송수신한다. 이와 같은 통신 모듈(32)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
상기 메모리(34)에는 자동차에서 시선으로 증강현실 아이콘을 결정하는 프로그램이 저장되며, 프로세서(36)는 메모리(34)에 저장된 프로그램을 실행시킨다. 여기에서, 메모리(34)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(34)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
도 3은 자동차의 전방에 증강현실 정보로서, 두 개의 선택용 아이콘이 표시되어 실제의 도로와 건물에 중첩되어 보이는 모습(자동차량의 사용자가 보는 전경)을 나타낸다. 즉, 좌측의 실제 건물(11)을 제1 증강현실 아이콘(12)이 지시하고 우측의 실제 건물(13)을 제2 증강현실 아이콘(14)이 지시하고 있는 것을 보여주는 실시예의 구성 화면이다. 예를 들어, 제1 증강현실 아이콘(12)은 좌측 건물(11)에 관련된 정보, 메뉴 등 증강현실 서비스로서 설계된 소정의 서비스 프로세스를 촉발(trigger)하고 제2 증강현실 아이콘(14)은 우측 건물(13)에 관련된 소정의 서비스 프로세스를 촉발한다.
도 4는 도 3과 같이 차량 전방에 디스플레이 되는 증강현실 아이콘(12, 14)과 그 주위에 설정된 유효 시선인식 영역(10a, 10b)을 나타낸다.
유효 시선인식 영역은 자동차가 운행시에 전진함에 따라 전경이 움직이고(다가오고) 증강현실 아이콘과의 위치가 달라지는 것을 감안하여 시선인식의 오차를 줄이기 위하여 설정한 것이다.
제1 증강현실 아이콘(12)이 표시되는 좌측 증강현실 아이콘의 유효 시선인식 영역(10a)과 제2 증강현실 아이콘(14)이 표시되는 우측 증강현실 아이콘의 유효 시선인식 영역(10b)은 상기 AR디스플레이(10)에 포함된다.
본 실시예에서는 도로가 좌측과 우측으로 나누어지는 특징을 이용하여 증강현실 아이콘을 좌우에 각각 1개씩 배치하고(12, 14), 증강현실 아이콘의 유효 시선인식 영역도 2개로 한정(10a, 10b)한 것이기 때문에, 유효 시선인식 영역을 크게 설정할 수 있다. 따라서, 큰 시선오차를 허용할 수 있으므로, 사용자가 시선으로 증강현실 아이콘을 쉽게 결정할 수 있다.
도 5는 종래의 시선인식장치로 획득한 시선위치가 서로 다른 오차를 보임을 설명하기 위하여 AR 이미지를 9개의 블록으로 분할한 것을 나타낸다.
사용자가 각 블록의 중심점을 바라봤을 때 시선인식장치에서 실제로 인식한 시선위치 좌표를 X표로 나타낸다. 도 5의 (a)는 사용자가 화면의 좌상단에 위치한 블록의 중앙을 보았지만 시선인식장치는 사용자의 시선위치를 그보다 더 좌상단으로 인식하고 있는 상황을 나타낸다. 도 5의 (b)는 사용자가 화면의 정중앙에 위치한 블록의 중앙을 보았지만 시선인식장치는 그보다 우측하단을 사용자의 시선위치로 인식하고 있다. 도 5의 (c)는 사용자가 화면의 우하단에 위치한 블록 부분의 중앙을 보았지만 시선인식장치가 그보다 더 우하단으로 사용자의 시선위치를 인식하고 있다. 여기서, 화면의 정중앙에 위치한 블록보다 좌상단 혹은 우하단에 위치한 블록을 바라봤을 때 시선인식 오차가 더 크게 발생할 수 있음을 알 수 있다. 따라서, 각 블록 별로 다르게 시선위치 오차를 보정해야 한다. 이처럼 각 블록 별로 시선위치 보정 값을 다르게 적용해 주면 시선인식 오차를 크게 줄일 수 있다.
도 6은 본 발명에서의 시선위치의 블록 별 보정 값 적용에 대해 나타낸다.
기재된 보정 값은 예시 값으로, 상기 AR디스플레이(10) 이미지의 크기 및 시선인식기(20)의 오차, 사용자의 위치 등 다양한 제반 사항을 종합적으로 고려하여 미리 설정하는 값이다. 후술할 도 7, 8의 알고리즘 순서도의 약어에 나오는 '상수 값 설정' 부분은 전부 이와 같이 여러 제반 사항을 종합적으로 고려하여 미리 설정하는 값이다.
이하의 도 7과 도 8은 본 발명의 일 실시예에 따른 자동차에서 시선으로 증강현실 정보를 결정하는 방법의 구체적인 알고리즘 순서도이다.
도 7과 도 8의 알고리즘은, 증강현실 정보로서 도 3과 도 4에 나타낸 것과 같이 두 개의 증강현실 아이콘을 적용하고, 각 아이콘에 대한 유효 시선인식 영역을 도 5 및 6과 같이 9개의 블록으로 분할하는 경우의 처리 알고리즘이다. 당업자는 도 7 및 8의 알고리즘을 참조하여 본 발명에 따른 시선으로 증강현실 정보를 결정하는 방법을 용이하게 구현할 수 있을 것이다.
먼저, 도 7과 도 8의 알고리즘 순서도에 사용된 약어는 다음과 같다.
C_FT(FrameThreshold): 일정 시간 머무르는 것을 계산하기 위해 설정한 수(상수 값 설정).
C_D(Dsitance): 유효 시선으로 판단하는 범위를 설정하기 위한 일정거리(상수 값 설정).
C_W(Width): 화면의 너비, C_W≠0(상수 값 설정).
C_H(Height): 화면의 높이, C_H≠0(상수 값 설정).
C_LX1(LeftX1): 좌측 증강현실 아이콘의 유효 시선인식 영역(10a) 좌상단 X좌표(상수 값 설정).
C_LY1(LeftY1): 좌측 증강현실 아이콘의 유효 시선인식 영역(10a) 좌상단 Y좌표(상수 값 설정).
C_LX2(LeftX2): 좌측 증강현실 아이콘의 유효 시선인식 영역(10a) 우하단 X좌표(상수 값 설정).
C_LY2(LeftY2): 좌측 증강현실 아이콘의 유효 시선인식 영역(10a) 우하단 Y좌표(상수 값 설정).
C_RX1(RightX1): 우측 증강현실 아이콘의 유효 시선인식 영역(10b) 좌상단 X좌표(상수 값 설정).
C_RY1(RightY1): 우측 증강현실 아이콘의 유효 시선인식 영역(10b) 좌상단 Y좌표(상수 값 설정).
C_RX2(RightX2): 우측 증강현실 아이콘의 유효 시선인식 영역(10b) 우하단 X좌표(상수 값 설정).
C_RY2(RightY2): 우측 증강현실 아이콘의 유효 시선인식 영역(10b) 우하단 Y좌표(상수 값 설정).
C_BNX(BlockNumberX): n번째 블록에서의 X좌표 보정 값(상수 값 설정).
C_BNY(BlockNumberY): n번째 블록에서의 Y좌표 보정 값(상수 값 설정).
BN(BlockNumber): 블록 번호.
FC(FrameCount): 프레임 카운터(정수).
CX(CurrentX): 현재 시선 X좌표.
CY(CurrentY): 현재 시선 Y좌표.
BPX(BlockPositionX): 현재 시선 X좌표가 어느 블록인지 구하기 위한 블록 위치 X좌표.
BPY(BlockPositionY): 현재 시선 Y좌표가 어느 블록인지 구하기 위한 블록 위치 Y좌표.
FX(FinalX): 현재 보정된 시선 X좌표.
FY(FinalY): 현재 보정된 시선 Y좌표.
ScX1(ScopeX1): FC=0일 때, FX, FY에서 C_D만큼 떨어진 범위의 좌상단 X좌표.
ScY1(ScopeY1): FC=0일 때, FX, FY에서 C_D만큼 떨어진 범위의 좌상단 Y좌표.
ScX2(ScopeX2): FC=0일 때, FX, FY에서 C_D만큼 떨어진 범위의 우하단 X좌표.
ScY2(ScopeY2): FC=0일 때, FX, FY에서 C_D만큼 떨어진 범위의 우하단 Y좌표.
SX(SumX): 유효 시선들의((ScX1, ScY1) ~ (ScX2, ScX2) 범위 안의 시선들) X좌표 합.
SY(SumY): 유효 시선들의((ScX1, ScY1) ~ (ScX2, ScX2) 범위 안의 시선들) Y좌표 합.
AX(AverageX): 유효 시선들의 평균 X좌표.
AY(AverageY): 유효 시선들의 평균 Y좌표.
trunc(X): X값에서 소수점을 버리고 정수만 구함 (예시, trunc(0.82) = 0).
우선 FC(프레임 카운터)를 0으로 초기화(300)한다. 그리고, 시선 정보(또는 시선 영상)를 이루고 있는 여러 프레임들 중 현재의 프레임에서 사용자의 시선위치 좌표(CX, CY)를 획득한다(302). CX, CY가 9개의 블록 중 어디에 위치하는지 파악하기 위하여 다음과 같은 계산을 거친다(304, 306).
BPX1 = trunc(CX / (C_W/3)
BPY1 = trunc(CY / (C_H/3)
BN1 = (BPX+1) + 3
Figure 112019058034217-pat00001
BPY
상기 과정을 거쳐서 사용자의 시선위치가 도 6의 9개 블록 중 어디에 위치하고 있는지를 파악하여, 미리 설정된 시선위치 보정 값을 더하여 아래와 같이 현재의 보정된 시선위치 좌표(FX,FY)를 계산한다(308).
FX1 = CX1 + C_BNX
FY1 = CY1 + C_BNY
FX1, FY1을 계산했다면, FC가 0인지 여부를 파악하게 된다(310). 만일 FC가 0이 아니면 단계 316으로 점프하여 FC를 1 증가시키고 그 이후의 단계(318)를 실행한다. FC가 0인 경우에는, FX1, FY1으로부터 미리 설정한 일정 거리(C_D) 떨어진 범위{(ScX1,ScY1) ~ (ScX2,ScY2)}를 계산한다(312). 이때 ScX1, ScY1은 일정 범위 좌상단의 X, Y좌표이고, ScX2, ScY2는 우하단의 X, Y좌표이다. 이는 FX, FY로부터 설정한 일정 범위 안에 그 다음 보정된 시선위치 좌표가 포함되는지를 판단하기 위한 범위 설정이므로, 우상단의 X, Y좌표와 좌하단의 X, Y좌표를 ScX1, ScY1 및 ScX2, ScY2값으로 설정하는 등의 방식도 가능하다.
FX, FY으로부터의 일정 범위를 계산하고 나면, FC를 1 증가하고 시선합 변수 SX1, SY1을 현재의 보정된 시선위치 좌표인 FX1, FY1으로 초기화하여 다시 단계 302로 돌아간다(314). 그리고, 다시 그 다음 프레임에서 사용자의 시선위치 좌표(CX. CY)를 획득하여(302), 그 다음 보정된 시선위치 좌표(FX2, FY2)를 계산(308)하고 다시 FC가 0인지 확인한다(310). 단계 310에서 FC가 0인 한은 현재의 프레임에 대해서 단계 302 내지 314가 계속 반복 실행되고, FC가 0이 아니어야 비로소 다음 프레임을 취득하기 위해 FC를 1 증가하게 되는 것이다(316).
FC를 1 증가하여서 상기 FX, FY가 상기 설정한 {(ScX1,ScY1) ~ (ScX2,ScY2)} 범위 안에 있는지 여부를 파악하여(318), 일정 범위 안에 있지 않다면 프레임 카운터를 0으로 초기화하고 프로세스를 다시 시작한다(300). 만약 FX, FY가 상기 설정한 일정 범위 안에 있다면, 다음과 같이 계산하여 시선위치 좌표의 누적합(SX, XY)을 계산한다(320).
SX2 = SX1 + FX2
SY2 = SY1 + FY2
상기 시선위치 좌표의 누적합은 평균 시선위치 좌표를 계산하기 위해 필요하다.
그리고, FC가 미리 설정한 프레임 수인 C_FT보다 큰지 여부를 판단하게 된다(322). 여기서 C_FT는 사용자의 시선이 해당 영역에 일정 시간 이상 머무를 경우 증강현실 아이콘을 클릭하기 위해 미리 설정된 값이다. 상기 FC가 C_FT보다 작거나 같다면, 사용자의 시선이 해당 영역에 일정 시간 머물지 않았다는 의미이므로, 다시 사용자의 시선위치 좌표를 획득하는 단계(302)로 돌아가서 프로세스를 진행한다. 그러나, 상기 FC가 C_FT보다 크다면 사용자의 시선이 해당 영역에 일정 시간 머물고 있었음을 의미하기 때문에 다음과 같이 평균 시선위치 좌표(AX, AY)를 계산한다(324).
AX = SX2 / FC
AY = SY2 / FC
그리고, AX, AY가 좌측 증강현실 아이콘의 유효 시선인식 영역(10a)인 {(C_LX1,C_LY1) ~ (C_LX2,C_LY2)} 안에 있는지, 우측 증강현실 아이콘의 유효 시선인식 영역(10b)인 {(C_RX1,C_RY1) ~ (C_RX2,C_RY2)} 안에 있는지 여부를 확인한다(326, 330).
이는 증강현실 아이콘의 유효 시선인식 영역(10a, 10b) 안에 상기 평균 시선위치 좌표가 들어오는지를 확인하기 위한 것이므로, C_LX, C_LY, C_RX 및 C_RY 값을 상기 유효 시선인식 영역(10a, 10b)의 우상단 X, Y좌표 및 좌하단 X, Y좌표로 설정할 수 있음은 자명하다.
상기 AX, AY가 상기 좌측 증강현실 아이콘의 유효 시선인식 영역(10a) 안이면, 제1 증강현실 아이콘(12)을 클릭하게 된다(328). 그렇지 않을 경우, 상기 AX, AY가 상기 우측 증강현실 아이콘의 유효 시선인식 영역(10b) 안인지를 확인한다(330). 그렇다면 제2 증강현실 아이콘(14)을 클릭(332)하고, 그렇지 않을 경우에는 프레임 카운터를 0으로 초기화하는 단계(300)부터 프로세스를 다시 수행한다.
도 9는 자동차가 전진할 때 건물 등 증강현실 대상이 사용자 쪽으로 다가오고 이에 따라 증강현실 아이콘도 대상에 맞춰 같이 움직인 상황에서 사용자의 시선에 따라 좌측의 증강현실 아이콘(11)이 클릭된 것을 나타낸다(제1 증강현실 아이콘(12)의 외곽에 빨간색 외곽선이 표시되었음). 도 3에 나타낸 상황보다 차량이 더 전진한 상태임을 알 수 있다.
본 발명의 장치 및 방법은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허 청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 자동차 탑승자의 시선으로 증강현실 정보를 결정하기 위해 자동차에 설치된 AR(증강현실) 디스플레이, 자동차 탑승자의 시선을 인식하는 시선인식기, 및 상기 AR 디스플레이 및 시선인식기와 연계하여 상기 증강현실 정보의 결정을 처리하는 처리기에서 수행되는 방법이,
    1) 상기 AR디스플레이에 적어도 하나 이상의 증강현실 정보가 포함된 증강현실 화면을 표시하는 단계,
    2) 상기 시선인식기가 탑승자인 사용자의 시선을 파악하여 시선 정보를 획득하는 단계, 및
    3) 상기 처리기가 상기 시선 정보를 분석하여, 사용자가 상기 증강현실 화면을 바라보는 시선위치 좌표를 산출하고, 산출된 사용자 시선위치 좌표에 상응하는 위치에 정해진 시간동안 머무르는 경우에 이 위치에 해당되는 증강현실 정보를 결정하는 단계를 포함하되,
    상기 단계 1)에서 표시되는 증강현실 화면은,
    상기 증강현실 정보보다 크게 설정된 유효 시선인식 영역과, 화면을 분할하는 다수의 블록을 포함하고,
    상기 단계 3)의 증강현실 정보 결정 단계는,
    상기 산출된 사용자의 시선위치 좌표를 이 시선위치 좌표에 해당하는 블록별로 다르게 설정된 보정값 - 이 보정값은 상기 증강현실 화면의 중앙부에 위치하는 블록에서 먼 위치에 있는 블록으로 갈수록 큰 값으로 설정됨 - 으로 보정하는 것을 추가로 포함하는, 자동차에서 시선으로 증강현실 정보를 결정하는 방법.
  2. 삭제
  3. 삭제
  4. 제1항에서, 상기 증강현실 정보는,
    증강현실 화면의 좌측 및 우측에 배치된 두 개의 증강현실 아이콘인 것을 특징으로 하는, 자동차에서 시선으로 증강현실 정보를 결정하는 방법.
  5. 제1항에서, 상기 블록은,
    증강현실 화면을 9개로 분할하는 것을 특징으로 하는, 자동차에서 시선으로 증강현실 정보를 결정하는 방법.
  6. 자동차 탑승자의 시선으로 증강현실 정보를 결정하기 위한 장치로,
    적어도 하나 이상의 증강현실 정보가 포함된 증강현실 화면을 표시하는 증강현실 디스플레이,
    자동차 탑승자인 사용자가 상기 증강현실 화면을 바라보는 시선을 파악하여 시선 정보를 출력하는 시선인식기, 및
    상기 시선인식기에서 출력된 시선 정보를 분석하는 수단, 사용자가 상기 증강현실 화면을 바라보는 시선위치 좌표를 산출하는 수단, 산출된 사용자 시선위치 좌표에 상응하는 위치에 있는 증강현실 정보를 결정하는 수단을 포함하는 처리기를 포함하되,
    상기 증강현실 디스플레이에 의해 표시되는 증강현실 화면은, 상기 증강현실 정보보다 크게 설정된 유효 시선인식 영역 및 화면을 분할하는 다수의 블록을 포함하고,
    상기 처리기는 상기 시선위치 좌표 산출 수단에서 산출된 사용자의 시선위치 좌표를 이 시선위치 좌표에 해당하는 블록별로 다르게 설정된 보정값 - 이 보정값은 상기 증강현실 화면의 중앙부에 위치하는 블록에서 먼 위치에 있는 블록으로 갈수록 큰 값으로 설정됨 - 으로 보정하는 수단을 추가로 포함하는, 자동차에서 시선으로 증강현실 정보를 결정하는 장치.
  7. 삭제
  8. 삭제
  9. 제6항에서, 상기 증강현실 정보는,
    증강현실 화면의 좌측 및 우측에 배치된 두 개의 증강현실 아이콘인 것을 특징으로 하는, 자동차에서 시선으로 증강현실 정보를 결정하는 장치.
  10. 제6항에서, 상기 블록은,
    증강현실 화면을 9개로 분할하는 것을 특징으로 하는, 자동차에서 시선으로 증강현실 정보를 결정하는 장치.
KR1020190066912A 2019-06-05 2019-06-05 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치 KR102372265B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190066912A KR102372265B1 (ko) 2019-06-05 2019-06-05 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190066912A KR102372265B1 (ko) 2019-06-05 2019-06-05 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200140110A KR20200140110A (ko) 2020-12-15
KR102372265B1 true KR102372265B1 (ko) 2022-03-10

Family

ID=73780553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190066912A KR102372265B1 (ko) 2019-06-05 2019-06-05 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102372265B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022266829A1 (zh) * 2021-06-22 2022-12-29 华为技术有限公司 一种显示方法及装置、设备及车辆
KR102644877B1 (ko) * 2021-08-20 2024-03-08 주식회사 경신 차량 제어 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160059703A (ko) * 2014-11-19 2016-05-27 현대자동차주식회사 차량용 디스플레이 장치 및 그 제어방법
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20180053402A (ko) * 2015-10-19 2018-05-21 오리랩 인크. 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체

Also Published As

Publication number Publication date
KR20200140110A (ko) 2020-12-15

Similar Documents

Publication Publication Date Title
US10962780B2 (en) Remote rendering for virtual images
US10916057B2 (en) Method, apparatus and computer program for displaying an image of a real world object in a virtual reality enviroment
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
EP3316080B1 (en) Virtual reality interaction method, apparatus and system
US9477315B2 (en) Information query by pointing
CN109649276B (zh) 一种基于透明液晶显示屏的车辆挡风玻璃及其交互方法
US20160320863A1 (en) Image processing apparatus and method, and program
CN109448050B (zh) 一种目标点的位置的确定方法及终端
JP2015114757A (ja) 情報処理装置、情報処理方法及びプログラム
CN112384843B (zh) 动态面板掩膜
KR20230017849A (ko) 증강 현실 안내
KR102372265B1 (ko) 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치
US9836814B2 (en) Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio
US10853651B2 (en) Virtual reality interaction method, apparatus and system
US11720996B2 (en) Camera-based transparent display
US20180277027A1 (en) Display device, display image projecting method and head up display
US20200019782A1 (en) Accommodating object occlusion in point-of-view displays
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN112634414A (zh) 地图显示方法及装置
CN115525152A (zh) 图像处理方法及系统、装置、电子设备和存储介质
US20150194132A1 (en) Determining a Rotation of Media Displayed on a Display Device by a Wearable Computing Device
JP2014089327A (ja) 画像表示システム、画像表示方法
US9153043B1 (en) Systems and methods for providing a user interface in a field of view of a media item
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right