KR102233481B1 - 화면 제어 방법 및 표시 장치 - Google Patents

화면 제어 방법 및 표시 장치 Download PDF

Info

Publication number
KR102233481B1
KR102233481B1 KR1020180124606A KR20180124606A KR102233481B1 KR 102233481 B1 KR102233481 B1 KR 102233481B1 KR 1020180124606 A KR1020180124606 A KR 1020180124606A KR 20180124606 A KR20180124606 A KR 20180124606A KR 102233481 B1 KR102233481 B1 KR 102233481B1
Authority
KR
South Korea
Prior art keywords
image
user
gaze
face
display module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180124606A
Other languages
English (en)
Other versions
KR20200043786A (ko
Inventor
김준석
Original Assignee
주식회사 토비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토비스 filed Critical 주식회사 토비스
Priority to KR1020180124606A priority Critical patent/KR102233481B1/ko
Publication of KR20200043786A publication Critical patent/KR20200043786A/ko
Application granted granted Critical
Publication of KR102233481B1 publication Critical patent/KR102233481B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

표시 장치는, 곡면형 표시면을 포함하는 표시 모듈을 포함한다. 카메라 모듈은, 표시 모듈의 일측에 배치되어 표시 모듈의 전면 공간을 촬영하여 감지 영상을 생성한다. 처리 모듈은, 감지 영상으로부터 사용자의 얼굴 영상을 검출하고, 얼굴 영상에 기초하여 사용자의 시선 방향을 결정하며, 시선 방향에 기초하여 제1 영상 중 표시 모듈을 통해 표시되는 부분 영상을 결정하는 윈도우를 제1 영상 상에서 이동시키고, 윈도우에 의해 선택된 부분 영상에 대한 영상 데이터를 생성한다.

Description

화면 제어 방법 및 표시 장치{METHOD OF CONTROLLING SCREEN AND DISPLAY DEVICE HAVING THE SAME}
본 발명은 표시 장치에 관한 것으로, 보다 구체적으로, 사용자(USER)의 시선 방향에 기초하여 화면을 전환하는 화면 제어 방법 및 화면 제어 방법을 수행하는 표시 장치에 관한 것이다.
일반적으로 가상 현실(VR)은 두부장착 표시 장치(Head mount Display; HMD)를 통해 제공된다. 두부장착 표시 장치는 눈앞에 렌즈와 그 렌즈에 초점이 맞추어진 거리에 놓여진 표시 장치를 포함하고, 사용자의 머리에 착용되어 사용자의 눈에 영상을 직접적으로 제공한다.
대형 표시 장치를 이용하여 사용자에게 가상 현실(VR)과 같은 현실감을 제공하는 시스템이 존재하나, 대형 표시 장치의 화면 전환은 별도의 입력 장치를 통한 입력을 통해 수행된다.
다른 사람의 몸에 밀착되었던 두부장착 표시 장치를 사용자가 다시 밀착하여 사용하는 경우, 불쾌감을 느끼거나 위생상 이슈가 발상할 수 있다.
또한, 두부장착 표시 장치는 사용자에게 착용되어 사용자에게 불편함을 줄 수 있으며, 이와 유사하게, 별도의 입력 장치를 이용한 화면 전환은 사용자에게 불편할 수 있다.
이에, 본 발명이 해결하고자 하는 과제는 별도의 입력 장치 없이 보다 직관적으로 화면을 전환할 수 있는 표시 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 별도의 입력 장치 없이 보다 직관적으로 화면을 전환할 수 있는 화면 제어 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 표시 장치는, 곡면형 표시면을 포함하는 표시 모듈; 상기 표시 모듈의 일측에 배치되어 상기 표시 모듈의 전면 공간을 촬영하여 감지 영상을 생성하는 카메라 모듈; 및 상기 감지 영상으로부터 사용자의 얼굴 영상을 검출하고, 상기 얼굴 영상에 기초하여 상기 사용자의 시선 방향을 결정하며, 상기 시선 방향에 기초하여 제1 영상 중 상기 표시 모듈을 통해 표시되는 부분 영상을 결정하는 윈도우를 상기 제1 영상 상에서 이동시키고, 상기 윈도우에 의해 선택된 상기 부분 영상에 대한 영상 데이터를 생성하는 처리 모듈을 포함한다.
상기 처리 모듈은, 상기 얼굴 영상에 기초하여 상기 얼굴 전체가 지향하는 제1 방향을 산출하고, 상기 얼굴 영상으로부터 눈 영상을 검출하며, 상기 눈 영상에 기초하여 사용자의 얼굴을 기준으로 상기 사용자가 응시하는 제2 방향을 산출하고, 상기 제1 방향 및 상기 제2 방향에 기초하여 상기 시선 방향을 산출할 수 있다.
상기 처리 모듈은, 상기 제1 방향이 기준 범위 이내인 경우, 상기 제1 방향에 대한 제1 기준 벡터와 상기 제2 방향에 대한 제2 기준 벡터를 합산하여 상기 시선 방향을 산출하고, 상기 제1 방향이 기준 범위를 벗어난 경우, 상기 제1 방향을 상기 시선 방향으로 결정할 수 있다.
상기 처리 모듈은, 상기 시선 방향을 추적하고, 상기 시선 방향의 변화가 오차 범위 이내에서 지속적으로 유지되는 유지 시간을 산출하며, 상기 유지 시간이 제1 기준 시간을 경과하는 경우, 상기 시선 방향에 위치하는 객체 영상을 기준으로 상기 부분 영상을 변화시킬 수 있다.
상기 처리 모듈은, 상기 객체 영상을 상기 시선 방향에 대응하는 응시 지점을 중심으로 확대시킬 수 있다.
상기 처리 모듈은, 상기 객체 영상을 상기 제1 영상의 면적 중심으로 이동시키며, 상기 객체 영상이 상기 제1 영상의 면적 중심에 인접할수록 상기 객체 영상을 확대시킬 수 있다.
상기 처리 모듈은, 상기 시선 방향의 변화가 오차 범위 이내이고, 상기 제1 방향의 변화가 오차 범위를 초과하는 경우, 상기 부분 영상의 상기 변화를 중지시킬 수 있다.
상기 제1 영상은 360도 영상이고, 상기 윈도우는 상기 시선 방향의 변화각만큼 이동되되, 상기 사용자에 의해 응시되는 상기 제1 영상 내 응시 지점은 상기 변화각의 2배만큼 이동될 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 화면 제어 방법은, 표시 모듈 및 상기 표시 모듈의 일측에 배치된 카메라 모듈을 포함하는 표시 장치에서 수행된다. 상기 화면 제어 방법은, 상기 카메라 모듈을 이용하여 상기 표시 모듈의 전면 공간을 촬영하여 감지 영상을 생성하는 단계; 상기 감지 영상으로부터 사용자의 얼굴 영상을 검출하는 단계; 상기 얼굴 영상에 기초하여 상기 사용자의 시선 방향을 결정하는 단계; 상기 시선 방향에 기초하여 제1 영상 중 상기 표시 모듈을 통해 표시되는 부분 영상을 결정하는 윈도우를 상기 제1 영상 상에서 이동시키는 단계; 및 상기 윈도우에 의해 선택된 상기 제1 영상의 상기 부분 영상에 대한 영상 데이터를 생성하는 단계를 포함한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
실시예들에 따른 표시 장치에 의하면 감지 영상으로부터 사용자의 시선 방향을 결정하고, 시선 방향에 기초하여 화면을 연속적으로 부드럽게 전환시킬 수 있다.
실시예들에 따른 표시 장치는 얼굴 방향 뿐만 아니라 눈 방향에 기초하여 사용자의 시선 방향을 결정함으로써, 사용자의 의도치 않은 동작에 기인하여 화면이 전환되는 것을 방지하고, 보다 다양한 입력 방식(예를 들어, 시선 방향은 유지하되 얼굴 방향의 변화를 이용한 입력)을 제공할 수 있다.
본 발명의 실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 일 실시예에 따른 표시 장치를 나타내는 도면이다.
도 2 및 도 3은 도 1의 표시 장치에서 이용되는 원본 영상의 일 예를 나타내는 도면들이다.
도 4는 도 1의 표시 장치에 포함된 처리 모듈의 일 예를 나타내는 블록도이다.
도 5는 도 4의 표시 모듈에 의해 감지 영상으로부터 추출된 사용자(USER)의 얼굴 영상의 일 예를 나타내는 도면이다.
도 6은 도 4의 표시 모듈에 의해 결정된 사용자(USER)의 얼굴 방향의 일 예를 나타내는 도면이다.
도 7은 도 4의 표시 모듈에 의해 사용자(USER)의 얼굴 영상으로부터 추출된 사용자(USER)의 눈 영상의 일 예를 나타내는 도면이다.
도 8은 도 4의 표시 모듈에 의해 결정된 사용자(USER)의 눈 방향의 일 예를 나타내는 도면이다.
도 9는 도 4의 표시 모듈에 의해 결정된 사용자(USER)의 시선 방향의 일 예를 나타내는 도면이다.
도 10은 도 9의 시선 방향의 산출에 이용되는 조건의 일 예를 나타내는 도면이다.
도 11은 사용자(USER)의 시선 방향에 따라 도 1의 표시 장치를 통해 표시되는 표시 영상의 일 예를 나타내는 도면이다.
도 12 및 도 13은 도 1의 표시 장치에 의해 변화되는 표시 영상의 일 예를 나타내는 도면이다.
도 14는 도 1의 표시 장치에서 수행되는 화면 제어 방법의 일 예를 나타내는 순서도이다.
도 15는 도 14의 방법에 의해 시선 방향이 산출되는 단계의 일 예를 나타내는 순서도이다.
도 16은 도 1의 표시 장치에서 수행되는 화면 제어 방법의 다른 예를 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
이하, 첨부된 도면을 참고로 하여 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 표시 장치를 나타내는 도면이다.
도 1을 참조하면, 표시 장치(100)는 표시 모듈(110), 카메라 모듈(120), 및 처리 모듈(130)(또는, 영상 처리 모듈, 제어 모듈, 화면 제어 모듈)을 포함한다.
표시 모듈(110)은 영상을 표시할 수 있다. 여기서, 영상이 표시되는 표시 모듈(110)의 일 면을 표시면으로 정의하고, 표시 장치(1)의 전방(또는, 상부)은 표시면에 수직하는 방향을 기준으로 표시면이 보이는 방향으로 정의한다.
표시 모듈(110)은 사각형의 평면 형상을 가질 수 있다. 표시 모듈(110)은 특정 곡률 반경을 가지는 휘어진 곡면형 표시 모듈일 수 있다. 예를 들어, 표시 모듈(110)의 표시면은 원점(P0)(또는, 기준점)을 기준으로 약 1m 내지 약 1.5m의 곡률 반경을 가지고 휘어질 수 있다. 이 경우, 표시 모듈(110)은 도 1에 도시된 바와 같이 전방에서 후방으로 오목한 형상을 가질 수도 있고, 그와 반대로 볼록한 형상을 가질 수도 있다. 그러나, 이에 제한되는 것은 아니며, 표시 모듈(110)은 평탄한 표시면을 가지는 평면형 표시 모듈일 수도 있다. 이하에서는, 표시 모듈(110)이 곡면형 표시 모듈인 경우를 예로 하여 설명하기로 한다.
표시 모듈(110)은 광을 방출하는 방식에 따라, 액정 표시 장치(LCD), 유기발광 표시 장치(OLED), 플라즈마 표시 장치(PDP), 전계방출 표시 장치(FED) 등일 수 있다.
카메라 모듈(120)은 표시 모듈(110)의 일측에 배치되어 표시 모듈(110)의 전면 공간을 촬영하여 감지 영상(또는, 감지 데이터)을 생성할 수 있다. 도 1에 도시된 바와 같이, 카메라 모듈(120)은 표시 모듈(110)의 상측면 중앙에 배치되어 표시 모듈(110)의 전면 공간(또는, 표시 모듈(110)의 전면 공간 상에 위치하는 사용자(USER))에 대한 감지 영상을 생성할 수 있다. 사용자(USER)가 표시 장치(100)의 원점(P0)(즉, 곡면을 연장하여 얻어진 가상의 원의 중심)에 위치하는 경우, 사용자(USER)의 얼굴 영상을 중심으로 감지 영상이 획득될 수 있도록 카메라 모듈(120)은 사용자(USER)의 얼굴(또는, 상반신)을 향하도록 배치될 수 있다.
한편, 도 1에서, 하나의 카메라 모듈(120)만이 표시 모듈(110)의 상측변에 배치되는 것으로 도시되어 있으나, 이는 예시적인 것으로 이에 한정되는 것은 아니다. 예를 들어, 표시 모듈(110)이 수평 방향으로 연장되거나, 대형 표시 모듈(예를 들어, 1m의 곡률 반경을 가지는 100인치의 표시면을 가지는 표시 모듈)인 경우, 사용자(USER)의 얼굴을 감지하지 하기 위해, 표시 모듈(110)의 상측변, 좌우측변들 등에 복수의 카메라 모듈들이 배치될 수도 있다.
처리 모듈(130)은 감지 영상에 기초하여 사용자(USER)의 시선 방향을 결정하거나 산출할 수 있다. 또한, 처리 모듈(130)은 영상 데이터를 생성하되, 사용자(USER)의 시선 방향에 대응하여 화면이 전환되는 영상 데이터를 생성하거나 변환할 수 있다. 처리 모듈(130)에서 생성된 영상 데이터는 표시 모듈(110)을 통해 표시될 수 있다.
예를 들어, 처리 모듈(130)은 감지 영상으로부터 사용자(USER)의 얼굴 영상을 검출하고, 얼굴 영상에 기초하여 사용자(USER)의 시선 방향을 결정하며, 시선 방향에 기초하여 윈도우를 제1 영상 상에서 이동시키고, 윈도우에 의해 선택된 제1 영상의 부분 영상에 대한 영상 데이터를 생성할 수 있다. 여기서, 제1 영상은 실제로 표시가 되는 표시 영상 영역(즉, 표시 모듈(110)을 통해 표시되는 임의의 부분)과 화면 상에서 표시가 되지 않는 비표시 영상 영역(즉, 표시 영상 영역 이외에 화소값을 가지나 표시되지 않는 부분)을 포함하는 원본 영상으로, 예를 들어, 360도 영상일 수 있다. 그러나, 이에 제한되는 것은 아니며, 원본 영상은 360도보다 작은 각도, 예컨대 180 내지 270도 범위의 영상일 수도 있다. 윈도우는 제1 영상에서 표시 영상 영역을 선택하기 위한 블록으로, 제1 영상의 크기보다 작은 크기를 가질 수 있다.
사용자(USER)의 시선 방향에 따른 화면의 전환을 설명하기 위해, 도 2 및 도 3이 참조된다. 도 2 및 도 3은 도 1의 표시 장치에서 이용되는 원본 영상의 일 예를 나타내는 도면들이다.
먼저 도 2를 참조하면, 제1 영상(IMAGE1)은 평면 영상으로, 상호 이격되어 배치된 제1 내지 제4 객체들(OBJ1 내지 OBJ4)을 포함할 수 있다.
사용자(USER)가 표시 모듈(110)(또는, 표시면)의 중앙을 응시하는 경우(즉, 사용자(USER)의 시선 방향에 대응하는 시선축(AXIS_V)이 표시면 면적 중심을 지나는 경우), 윈도우(WIN)는 제1 영상(IMAGE1)의 면적 중심과 동일한 중심을 가지도록 제1 영상(IMAGE1)에 배치되고, 이에 따라 제2 영상(IMAGE2)이 선택되어 표시 모듈(110)을 통해 표시되고, 또한, 제2 영상(IMAGE2)에 포함된 제1 객체(OBJ1) 및 제2 객체(OBJ2)가 표시될 수 있다.
사용자(USER)의 시선 방향이 제1 방향(D1)으로 이동하는 경우, 윈도우(WIN)는 시선 방향(또는, 시선 방향의 변화)에 대응하여 제1 영상(IMAGE1) 상에서 제1 방향(D1)으로 이동하고, 제3 영상(IMAGE3)과 같은 부분 영상이 선택되며, 제3 영상(IMAGE3)이 표시 모듈(110)을 통해 표시될 수 있다. 이 경우, 제2 객체(OBJ2) 대신 제3 객체(OBJ3)가 표시될 수 있다. 유사하게, 사용자(USER)의 시선 방향이 제2 방향(D2), 제3 방향(D3), 제4 방향(D4) 등으로 이동하는 경우, 시선 방향의 이동에 대응하는 부분 영상으로 화면이 전환될 수 있다.
한편, 윈도우(WIN)는 사용자(USER)의 시선 방향의 변화량에 비례하여 이동할 수 있다. 따라서, 표시 장치(100)는 사용자(USER)에게 시선 방향의 변화에 대응하는 확장된 영상(또는, 전환된 영상)을 제공하면서도, 사용자(USER)의 동일한 시선 방향에 대해 항상 동일한 영상을 제공할 수 있다.
도 3을 참조하면, 제1 영상(IMAGE1)은 360도 영상이고, 제1 영상(IMAGE1)의 단면도(예를 들어, 평면도)가 도시되어 있다.
도 2를 참조하여 설명한 바와 유사하게, 사용자(USER)가 표시면의 중앙을 응시하는 경우, 시선 범위(ANG_V)에 대응하는 제2 영상(IMAGE2)이 선택되어 표시 모듈(110)을 통해 표시될 수 있다. 이후, 사용자(USER)의 시선 방향이 회전 각도(ANG_R) 만큼 제1 회전 방향(DR1)을 따라 이동하는 경우, 시선 범위(ANG_V)로부터 제1 회전 방향(DR2)만큼 이동한 범위에 대응하는 제3 영상(IMAGE3)이 표시 모듈(110)을 통해 표시될 수 있다. 한편, 윈도우는 사용자(USER)의 시선 방향의 변화각만큼 이동할 수 있다.
도 1을 참조하여 설명한 바와 같이, 일 실시예에 따른 표시 장치(100)는 카메라 모듈을 통해 사용자(USER)에 대한 감지 영상을 획득하고, 감지 영상에 기초하여 사용자(USER)의 시선 방향을 결정하며, 시선 방향에 기초하여 화면(즉, 표시 영상)을 전환하거나, 표시되는 영상을 시선 방향에 대응하여 이동시킬 수 있다. 따라서, 사용자(USER)는 별도의 두부장착 표시 장치, 별도의 입력 장치를 이용하지 않고, 또한, 별도의 제스처를 취하지 않더라도, 용이하게 화면을 전환하고, 360도 영상 등을 시청할 수 있다.
한편, 도 1에서, 처리 모듈(130)이 영상 데이터를 생성하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 처리 모듈(130)은 사용자(USER)의 시선 방향에 대응하여 화면을 전환시키는 화면 제어 신호를 생성하고, 별도의 영상 처리 모듈에서 화면 제어 신호에 기초하여 영상 데이터를 생성할 수도 있다.
도 4는 도 1의 표시 장치에 포함된 처리 모듈의 일 예를 나타내는 블록도이다. 도 5는 도 4의 표시 모듈에 의해 감지 영상으로부터 추출된 사용자(USER)의 얼굴 영상의 일 예를 나타내는 도면이다. 도 6은 도 4의 표시 모듈에 의해 결정된 사용자(USER)의 얼굴 방향의 일 예를 나타내는 도면이다.
도 1 및 도 4를 참조하면, 처리 모듈(130)은 검출부(410), 시선 결정부(420) 및 영상 처리부(430)를 포함할 수 있다. 또한, 처리 모듈(130)은 이벤트 생성부(440)를 더 포함할 수 있다.
검출부(130)는 카메라 모듈(120)로부터 감지 영상(DATA_S)(또는, 감지 데이터)를 수신할 수 있다. 검출부(130)는 감지 영상(DATA_S)으로부터 사용자의 얼굴 영상(및 사용자의 눈 영상)을 검출할 수 있다.
도 5를 참조하면, 검출부(130)는 제1 감지 영상(IMAGE_H1)으로부터 얼굴의 눈 영역 및 영역에서의 외곽선 영상을 이용하여 눈 및 입에 대한 특징점을 검출할 수 있다.
검출부(130)는 제1 감지 영상(IMAGE_H1)을 이진화하고, 일반적인 에지 검출 알고리즘을 이용하여 외곽선 영상을 생성할 수 있다. 이후, 검출부(130)는 외곽선 영상에 대해 눈에 대한 패턴들을 매칭하여 양눈을 검출하고, 양눈(또는, 양눈의 기준점)의 위치들(P_L, P_R)을 결정하거나 산출할 수 있다. 유사하게, 검출부(130)는 외곽선 영상에 대해 입에 대한 패턴들을 매칭하여 입을 검출하고, 입(또는, 입의 기준점)의 위치(P_M)를 결정할 수 있다.
양눈의 위치들(P_L, P_R)과 입의 위치(P_M)에 따라, 이들 사이의 거리들(L1, L2, L3)이 결정되거나 산출될 수 있다.
다시 도 4를 참조하면, 시선 결정부(420)는 검출부(410)로부터 얼굴 영상(IMAGE1)(또는, 눈 및 입의 위치 정보들 및/또는 거리들(L1, L2, L3))을 수신하고, 얼굴 영상(IMAGE1)에 기초하여 사용자(USER)의 시선 방향을 결정할 수 있다.
도 6을 참조하면, 시선 결정부(420)는 얼굴 영상(IAMNGE1)에서 눈, 입의 배치 위치에 기초하여 사용자(USER)의 얼굴 방향(또는, 안면 방향)을 결정할 수 있다. 여기서, 얼굴 방향은 사용자(USER)의 얼굴이 지향하는 방향일 수 있다. 예를 들어, 제1 서브 영상(IMAGE_S1)과 같이 눈, 입이 얼굴 영역의 일측에 위치하는 경우, 시선 결정부(420)는 눈, 입이 얼굴 영역의 일측에 인접한 정도, 눈 및 입의 위치 관계 등에 기초하여 제1 얼굴 방향(DV_H1)을 산출할 수 있다.
다른 예를 들어, 제1 서브 영상(IMAGE_S1)과 같이 눈, 입이 얼굴 영역의 중앙에 위치하는 경우, 시선 결정부(420)는 제2 얼굴 방향(DV_H2)을 산출할 수 있다. 또 다른 예를 들어, 제3 서브 영상(IMAGE_S3)과 같이 눈, 입이 얼굴 영역의 타측에 위치하는 경우, 시선 결정부(420)는 제3 얼굴 방향(DV_H3)을 산출할 수 있다.
이와 달리, 시선 결정부(420)는 도 5를 참조하여 설명한 거리들(L1, L2, L3)간의 비율에 기초하여 사용자(USER)의 얼굴 방향(또는, 시선 방향)을 결정할 수도 있다. 즉, 사용자(USER)의 얼굴 방향이 좌우측으로 이동하는 경우, 제1 거리(L1) 또는 제2 거리(L2)가 짧아지므로, 제1 거리(L1) 및 제2 거리(L2) 간의 비율에 기초하여 사용자(USER)의 얼굴 방향의 수평 성분이 산출될 수 있다. 사용자(USER)의 얼굴 방향이 수직 방향으로 이동하는 경우, 제3 거리(L3)를 기준으로 제1 거리(L1) 및 제2 거리(L2)가 짧아지므로, 제3 거리(L3) 및 제1 거리(L1) 간의 비율 및/또는 제3 거리(L3) 및 제2 거리(L2) 간의 비율에 기초하여 사용자(USER)의 얼굴 방향의 수평 성분이 산출될 수 있다. 따라서, 사용자(USER)의 얼굴 방향이 산출되고, 사용자(USER)의 얼굴 방향이 사용자(USER)의 시선 방향으로 이용되거나, 사용자(USER)의 얼굴 방향에 기초하여 사용자(USER)의 시선 방향이 산출될 수 있다.
한편, 도 6에서, 시선 결정부(420)가 얼굴 방향에 의해 시선 방향을 결정하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 시선 결정부(420)는 사용자(USER)의 눈 방향(또는, 눈동자 방향으로, 사용자(USER)의 얼굴을 기준으로 사용자의 눈이 응시하는 방향)에 기초하여 시선 방향을 결정하거나, 얼굴 방향 및 눈 방향에 기초하여 시선 방향을 결정할 수도 있다. 이에 대한 구체적인 설명을 위해 도 7 내지 도 9가 참조된다.
도 7은 도 4의 표시 모듈에 의해 사용자(USER)의 얼굴 영상으로부터 추출된 사용자(USER)의 눈 영상의 일 예를 나타내는 도면이다. 도 8은 도 4의 표시 모듈에 의해 결정된 사용자(USER)의 눈 방향의 일 예를 나타내는 도면이다. 도 9는 도 4의 표시 모듈에 의해 결정된 사용자(USER)의 시선 방향의 일 예를 나타내는 도면이다.
도 7을 참조하면, 검출부(410)는 제2 감지 영상(IMAGE_E)로부터 눈동자의 위치를 검출할 수 있다. 여기서, 제2 감지 영상(IAMGE_E)은 도 5를 참조하여 설명한 눈 영역(즉, 검출된 눈 영역)에 의해 추출될 수 있다.
일반적으로 제2 감지 영상(IMAGE_E)에서 눈동자 영역은 가장 낮은 값과 원의 형태를 가질 수 있다. 따라서, 검출부(410)는 허프 원 변환(Hough Circle Transform)을 이용하여 눈동자 후보 위치들을 검출하고, 눈동자 후보 위치들 각각에서의 평균 계조 값을 산출하고, 가장 낮은 평균 계조 값을 가지는 위치를 눈동자(눈동자의 중심점)의 위치로 결정할 수 있다.
시선 결정부(420)는 눈 영역의 좌우측 특징점들(P_E1, P_E1)(예를 들어, 눈의 양 끝점들)과 눈동자 중심점 간의 위치 관계, 이들간의 각도들(ANG_E1, ANG_E2)에 기초하여 눈의 방향을 검출할 수 있다.
도 8을 참조하여 예를 들면, 제4 서브 영상(IMAGE_S4)과 같이 눈동자가 눈 영역의 일측에 위치하는 경우, 시선 결정부(420)는 제1 눈 방향(DV_E1)을 산출할 수 있다. 다른 예를 들어, 제5 서브 영상(IMAGE_S5)과 같이 눈동자가 눈 영역의 중앙에 위치하는 경우, 시선 결정부(420)는 제2 눈 방향(DV_E2)을 산출할 수 있다. 또 다른 예를 들어, 제3 서브 영상(IMAGE_S3)과 같이 눈, 입이 얼굴 영역의 타측에 위치하는 경우, 시선 결정부(420)는 제3 얼굴 방향(DV_E3)을 산출할 수 있다.
일 실시예에서, 시선 결정부(420)는 얼굴 방향과 눈 방향에 기초하여 사용자(USER)의 시선 방향을 산출할 수 있다. 시선 결정부(420)는 얼굴 방향에 대한 제1 기준 벡터와 눈 방향에 대한 제2 기준 벡터를 합산하여 시선 방향을 산출할 수 있다.
도 9를 참조하여 예를 들면, 사용자(USER)의 얼굴(HEAD)이 제2 얼굴 방향(DV_H2)을 향하고, 사용자(USER)의 눈이 사용자(USER)의 얼굴(HEAD)을 기준으로 제2 눈 방향(DV_E2)를 향하는 경우, 제1 시선 방향(AXIS_V1)은 기준축(AXIS_REF)의 방향과 동일할 수 있다. 다른 예로, 사용자(USER)의 얼굴(HEAD)이 제2 얼굴 방향(DV_H2)을 향하고, 사용자(USER)의 눈이 사용자(USER)의 얼굴(HEAD)을 기준으로 제3 눈 방향(DV_E3)를 향하는 경우, 제2 시선 방향(AXIS_V2)은 기준축(AXIS_REF)으로부터 제2 회전각(ANG_R2)만큼 우측으로 이동한 방향일 수 있다. 또 다른 예로, 사용자(USER)의 얼굴(HEAD)이 제3 얼굴 방향(DV_H3)을 향하고, 사용자(USER)의 눈이 사용자(USER)의 얼굴(HEAD)을 기준으로 제3 눈 방향(DV_E3)를 향하는 경우, 제3 시선 방향(AXIS_V3)은 기준축(AXIS_REF)으로부터 제3 회전각(ANG_R3)(즉, 제3 얼굴 방향(DV_H3)의 회전각(ANG_H3)과 제3 눈 방향(DV_E3)의 회전각(ANG_E3)의 합)만큼 우측으로 이동한 방향이 될 수 있다.
일 실시예에서, 시선 결정부(420)는 얼굴 방향이 기준 범위 이내인 경우, 얼굴 방향에 대한 제1 기준 벡터와 눈 방향에 대한 제2 기준 벡터를 합산하여 시선 방향을 산출하고, 얼굴 방향이 기준 범위를 벗어난 경우, 얼굴 방향을 시선 방향으로 결정할 수도 있다. 이에 대한 설명을 위해 도 10이 참조된다.
도 10은 도 9의 시선 방향의 산출에 이용되는 조건의 일 예를 나타내는 도면이다. 도 10에는, 도 1에 도시된 사용자(USER)(또는, 원점(P0))을 기준으로 평면 상에서 사용자(USER)의 시선 방향의 위치 가능한 범위가 도시되어 있다.
도 10을 참조하면, 기준 범위(F1)는 기준축(AXIS_REF)를 기준으로 양측 각각으로 기준각(ANG_REF) 만큼의 구간일 수 있다. 예를 들어, 기준각(ANG_REF)는 수평 방향으로 약 60도 일 수 있다. 기준 범위(F1)를 상하측으로 정의하는 경우, 기준 범위(F1)는 수직 방향으로 약 -30도 내지 30도의 구간일 수 있다. 초과 범위(F2)는 기준 범위(F1)를 제외한 구간일 수 있다.
사용자(USER)의 얼굴 방향이 초과 범위(F2)에 위치하는 경우, 눈 영역 상에서 눈의 위치가 검출되기 어려울 수 있다. 따라서, 얼굴 방향이 초과 범위(F2)에 위치하는 경우, 시선 검출부(420)는 얼굴 방향만으로 시선 방향을 결정함으로써, 시선 검출에 대한 부하를 감소시킬 수 있다.
다시 도 4를 참조하면, 영상 처리부(430)는 사용자(USER)의 시선 방향(또는, 시선축(AXIS_V))에 기초하여 제1 영상 데이터(DATA1)(또는, 제1 영상(IMAGE1), 도 2 참조)를 처리하여 제2 영상 데이터(DATA2)를 생성할 수 있다. 여기서, 제1 영상 데이터(DATA1)은 외부 장치로부터 제공될 수 있다. 도 1 내지 도 3을 참조하여 설명한 바와 같이, 영상 처리부(430)는 시선 방향에 기초하여 윈도우(WIN)를 제1 영상(IMAGE1) 상에서 이동시켜, 윈도우(WIN)에 선택된 제1 영상(IMAGE1)의 부분 영상(예를 들어, 제2 영상(IMAGE2))에 대한 영상 데이터를 생성할 수 있다.
한편, 사용자(USER)의 시선 방향의 변화에 따라 사용자(USER)에게 시인되는 영상 및 객체가 달라지는데 이에 대한 구체적인 설명하기 위해 도 11이 참조된다.
도 11은 사용자(USER)의 시선 방향에 따라 도 1의 표시 장치를 통해 표시되는 표시 영상의 일 예를 나타내는 도면이다. 도 11에는 도 2에 대응하는 영상이 도시되어 있다.
도 1, 도 2 및 11을 참조하면, 사용자(USER)의 시선이 표시 모듈(110)의 표시면의 중심을 향하는 경우, 제1 기준점(P_REF1)을 중심으로 하는 제2 영상(IMAGE2)이 표시될 수 있다.
이후, 사용자(USER)의 시선이 일측(예를 들어, 좌측)으로 이동하는 경우, 즉, 사용자(USER)의 시선축(AXIS_V)이 제1 각도(ANG_R)만큼 이동하거나 회전한 경우, 제1 각도(ANG_R)에 대응하거나 비례하는 거리만큼 표시 영상이 이동되어 표시될 수 있다. 즉, 제1 기준점(P_REF1)로부터 특정 거리만큼 이동한 제2 기준점(P_REF2)을 중심으로 하는 제3 영상(IMAGE3)이 표시 모듈(110)을 통해 표시될 수 있다. 제3 영상(IMAGE3)을 기준으로 하는 경우, 사용자(USER)의 시선 방향을 산출하는 기준이 되는 기준축은, 제1 기준축(AXIS_REF1)으로부터 제2 기준축(AXIS_REF2)로 이동될 수 있다.
한편, 사용자(USER)의 시선 방향(또는, 시선축(AIXS_V))는 제2 기준축(AXIS_REF1)을 기준으로 제1 각도(ANG_R)만큼 이동한 상태를 유지하고 있으므로, 사용자(USER)의 시선이 집중되는 지점은, 제2 기준점(P_REF2)가 아닌 제2 기준점(P_REF2)으로부터 일측으로 이격된 응시 지점(P_V)일 수 있다. 여기서, 응시 지점(P_V)과 제2 기준점(P_REF2) 간의 거리는 제2 기준점(P_REF2)와 제1 기준점(P_REF1) 간의 거리와 같을 수 있다.
예를 들어, 사용자(USER)의 시선 방향이 기준축으로부터 좌측으로 30도 회전한 경우, 최초 영상으로부터 좌측으로 30도 회전한 영상이 표시되고, 회전 영상을 기준으로 사용자(USER)의 시선 방향은 좌측으로 30도 회전한 상태를 유지하므로, 사용자(USER)는 회전 영상을 기준으로 좌측으로 30도 만큼 이격된 객체(즉, 최초 영상으로부터 60도 만큼 이격된 객체로, 예를 들어, 제3 객체(OBJ3))를 볼 수 있다. 유사하게, 사용자(USER)의 시선 방향이 기준축으로부터 좌측으로 90도 회전한 경우, 최초 영상으로부터 좌측으로 90도 회전한 영상이 표시되고, 사용자(USER)는 회전 영상을 기준으로 좌측으로 90도만큼 이격된 객체(즉, 최초 영상을 기준으로 180도만큼 이격된 객체)를 볼 수 있다. 따라서, 표시 장치(100)는 360도 범위의 곡면형 표시 모듈이 아닌, 180도 범위의 곡면형 표시 모듈만으로, 360도 영상을 온전히 사용자(USER)에게 제공할 수 있다. 특히, 별도의 불연속적인 화면 전환 입력 없이, 자연스럽고 연속적인 화면을 전환을 통해 360도 영상 등이 사용자(USER)에게 제공될 수 있다.
다시 도 4를 참조하면, 이벤트 생성부(440)는 사용자의 시선 방향(또는, 시선축(AXIS_V))에 기초하여 이벤트를 발생시킬 수 있다. 여기서, 이벤트는 영상을 변화시키는 입력으로, 터치 입력 이벤트, 입력 신호, 제어 신호(CS)일 수 있다. 영상 처리부(430)가 처리 모듈(130)로부터 독립적으로 구현되는 경우, 화면 전환(예를 들어, 화면을 좌우로 이동)을 위한 화면 전환 입력도 상기 이벤트에 포함될 수도 있다.
예를 들어, 이벤트 생성부(440)는, 시선 방향을 추적하고, 시선 방향의 변화가 오차 범위 이내에서 지속적으로 유지되는 유지 시간을 산출하며, 유지 시간이 제1 기준 시간을 경과하는 경우, 시선 방향에 위치하는 객체 영상을 기준으로 부분 영상을 변화시킬 수 있다. 여기서, 오차 범위는 사용자(USER)의 시선의 떨림 등에 기인한 것으로, 그 변화가 오차로서 허용될 수 있는 범위일 수 있다.
이벤트 생성부(440)에서 생성되는 이벤트의 설명을 위해 도 11 내지 도 13이 참조될 수 있다.
도 12 및 도 13은 도 1의 표시 장치에 의해 변화되는 표시 영상의 일 예를 나타내는 도면이다. 도 12 및 도 13에는 도 11에 대응하는 영상들이 도시되어 있다.
먼저 도 11 및 도 12를 참조하면, 사용자(USER)의 시선 방향에 따라 사용자(USER)는 제3 객체(OBJ3)를 지속적으로 응시할 수 있다.
예를 들어, 사용자(USER)가 3초 정도 제3 객체(OBJ3)를 응시하는 경우, 도 12에 도시된 바와 같이, 제3 객체(OBJ3)가 확대되거나, 제3 객체(OBJ3)의 적어도 일부를 포함하는 부분 영상이 확대될 수 있다. 제3 객체(OBJ3)가 실행 객체(즉, 표시 장치(100)에 구비된 기능을 실행하거나, 연관된 영상 등의 표시를 명령하는 객체)인 경우, 제3 객체(OBJ3)에 터치 입력이 이루어진 것과 같이, 제3 객체(OBJ3)에 대응하는 기능이 실행되거나, 연관된 영상이 표시 모듈(110)을 통해 표시될 수 있다.
일 실시예에서, 이벤트 생성부(440)는, 객체 영상(즉, 제1 기준 시간 이상 사용자(USER)가 응시한 객체)을 제1 영상(IMAGE1)의 면적 중심으로 이동시킬 수 있다. 또한, 이벤트 생성부(440)는, 객체 영상이 제1 영상(IMAGE1)의 면적 중심에 인접할수록, 객체 영상을 확대시킬 수 있다.
도 13에 도시된 바와 같이, 제3 객체(OBJ3)는 제2 방향(D2)을 따라 제1 영상(IMAGE1)의 면적 중심을 향하여 이동할 수 있다. 또한, 제1 내지 제3 서브 객체들(OBJ3_S1, OBJ3_S2, OBJ3_S3)과 같이, 제3 객체(OBJ3)가 확대될 수 있다. 제3 객체(OBJ3)가 제1 영상(IMAGE1)의 면적 중심에 위치하거나 인접하는 경우, 제3 객체(OBJ3)와 연관된 기능이 실행되거나, 연관된 영상이 표시될 수 있다.
제3 객체(OBJ3)의 변화 및 이동에 따라, 사용자(USER)는 제3 객체(OBJ3)의 이동을 주시할 수 있고, 사용자(USER)의 시선 방향은 자연스럽게 표시 모듈(110)의 면적 중심으로 이동될 수 있다.
일 실시예에서, 이벤트 생성부(130)는 시선 방향의 변화가 오차 범위 이내이고, 얼굴 방향의 변화가 오차 범위를 초과하는 경우, 부분 영상의 변화를 중지시킬 수 있다. 예를 들어, 사용자(USER)가 제3 객체(OBJ3)를 응시하면서도 고개를 좌우로 흔드는 것과 같은 행동을 하는 경우, 사용자(USER)는 영상의 전환 또는 흔들림 없이, 제3 객체(OBJ3)와 관련된 기능 등의 실행만을 중지시킬 수 있다.
이벤트 생성부(130)는 시선 방향의 변화가 오차 범위 이내이고, 얼굴 방향의 변화가 특정 방향으로 오차 범위를 초과하는 경우, 부분 영상을 즉각적으로 변화시킬 수 있다. 예를 들어, 사용자(USER)가 제3 객체(OBJ3)를 응시하면서도 고개를 상하로 끄덕이는 것과 같은 행동을 하는 경우, 사용자(USER)는 제3 객체(OBJ3)와 관련된 기능 등을 즉각적으로 실행시킬 수도 있다.
도 4 내지 도 13을 참조하여 설명한 바와 같이, 처리 모듈(130)은 감지 영상으로부터 사용자(USER)의 시선 방향을 결정하여, 영상을 연속적으로 부드럽게 전환할 수 있다.
또한, 처리 모듈(130)은 사용자(USER)의 얼굴 방향 뿐만 아니라 눈 방향에 기초하여 사용자(USER)의 시선 방향을 결정함으로써, 화면 전환을 의도하지 않은 사용자의 무의식적인 동작(예를 들어, 고개를 흔드는 행위 등)에 의해 영상이 전환되는 것을 방지하거나, 상기 동작 등을 이용한 제스처 입력(예를 들어, 객체 실행을 중지시키는 입력)을 허용할 수 있다.
나아가, 처리 모듈(130)은 사용자(USER)가 응시하는 객체 영상을 확대하거나, 표시면(또는, 원본 영상)의 중앙으로 이동시키는 이벤트를 제공할 수 있다.
도 14는 도 1의 표시 장치에서 수행되는 화면 제어 방법의 일 예를 나타내는 순서도이다. 도 15는 도 14의 방법에 의해 시선 방향이 산출되는 단계의 일 예를 나타내는 순서도이다.
도 1, 도 4, 도 14 및 도 15를 참조하면, 도 14의 방법은 카메라 모듈(120)를 통해 표시 모듈(110)을 전방(또는, 표시 모듈(110)의 전방에 위치하는 사용자(USER))에 대한 감지 영상을 획득할 수 있다(S1410).
도 14의 방법은 처리 모듈(130)을 통해 감지 영상으로부터 사용자 영상을 추출하고(S1420), 사용자 영상에 기초하여 사용자의 시선 방향을 결정할 수 있다(S1430).
도 4, 도 5 및 도 7을 참조하여 설명한 바와 같이, 도 14의 방법은 감지 영상으로부터 에지 검출 알고리즘 등을 이용하여 사용자 영상(또는, 외곽선 영상)을 추출할 수 있다.
도 14의 방법은 사용자 영상으로부터 얼굴 영상을 추출하고(S1510), 얼굴 영상에 기초하여 얼굴 방향을 산출할 수 있다(S1520). 도 5 및 도 6을 참조하여 설명한 바와 같이, 도 14의 방법은 얼굴 영상에 대해 눈에 대한 패턴들(또는, 검출 패턴들)을 매칭하여 사용자의 양 눈을 검출하고, 입에 대한 패턴들을 매칭하여 사용자의 입을 검출할 수 있다. 이후, 도 14의 방법은 얼굴 영상 내 양 눈의 위치 및 사용자의 입의 위치에 기초하여 사용자의 얼굴이 회전한 방향과 각도, 즉, 사용자의 얼굴 방향을 산출할 수 있다.
또한, 도 14의 방법은 얼굴 영상으로부터 눈 영상을 추출하고(S1530), 눈 영상에 기초하여 눈 방향을 산출할 수 있다(S1540). 도 7 및 도 8을 참조하여 설명한 바와 같이, 도 14의 방법은 허프 워너 변환 알고리즘을 이용하여 눈의 특징점들(예를 들어, 눈이 양 끝점, 눈동자의 중심점)을 추출하고, 특징점들의 위치(또는, 특징점들 간에 형성된 각도)에 기초하여 눈동자의 방향, 즉, 눈 방향을 산출할 수 있다.
이후, 도 14의 방법은 얼굴 방향과 눈 방향에 기초하여 사용자의 시선 방향을 산출할 수 있다(S1540). 도 9를 참조하여 설명한 바와 같이, 도 14의 방법은 얼굴 방향에 대한 제1 기준 벡터와 눈 방향에 대한 제2 기준 벡터를 합 연산하여, 사용자의 시선 방향을 산출할 수 있다.
사용자의 시선 방향이 결정되거나 산출된 경우, 도 14의 방법은 배경 영상(또는, 원본 영상, 예를 들어, 도 2 및 도 3을 참조하여 설명한 제1 영상(IMAGE1)) 중 사용자 시선에 대응하는 일부 영역에 대한 영상 데이터를 생성할 수 있다(S1440).
앞서 설명한 바와 같이, 사용자의 시선 방향에 대응하거나 비례하여 표시 영상이 전환되므로, 동일한 시선 방향에 대해 동일한 영상이 제공되며, 화면 전환이 연속적이며 자연스럽게 이루어질 수 있다.
도 16은 도 1의 표시 장치에서 수행되는 화면 제어 방법의 다른 예를 나타내는 순서도이다.
도 1, 도 4, 도 14 및 도 16을 참조하면, 도 16의 방법은 도 14의 방법에 의해 사용자의 시선 방향이 결정된 이후에 수행될 수 있다.
도 16의 방법은 사용자의 시선(즉, 시선 방향)이 공간 상에서의 일정 범위 이내 위치하거나 정지하는 시간을 산출할 수 있다(S1610).
도 16의 방법은 응시 시간이 제1 기준 시간을 초과하는지 여부를 판단하고(S1620). 응시 시간이 제1 기준 시간을 초과하는 경우, 사용자가 응시하고 있는 영역, 즉, 응시 영역을 부분적으로 확대시킬 수 있다. 예를 들어, 터치 입력이 발생한 것과 유사하게, 사용자의 시선의 집중을 통해 선택된 객체 등이 부분적으로 확대될 수 있다.
이후, 도 16의 방법은 응시 영역 내에 실행 객체가 존재하는지 여부를 판단하고(S1640), 실행 객체가 존재하는 경우, 실행 객체를 활성화하거나 동작시킬 수 있다(S1650).
도 13을 참조하여 설명한 바와 같이, 실행 객체가 제1 영상(IMAGE1)의 일측에 배치된 경우, 해당 실행 객체는 제1 영상(IMAGE1)의 중앙으로 이동하면서, 확대되는 형태를 거쳐 실행될 수도 있다. 실행 객체의 이동 및 크기 변화 등에 의해, 사용자의 시선 방향의 변화(예를 들어, 사용자의 시선 방향을 기준축으로 이동)가 유도될 수 있다.
한편, 실행 객체의 즉각적인 동작을 요구하는 입력과, 실행 객체의 동작을 중지시키는 입력은 사용자의 얼굴 방향의 변화에 기초하여 이루어질 수 있다. 앞서 설명한 바와 같이, 시선 방향의 변화는 오차 범위 이내이고, 얼굴 방향만이 변화하는 경우(예를 들어, 사용자가 실행 객체를 바라보면서 고개를 좌우로 흔드는 경우), 실행 객체의 동작을 중지시킬 수 있다.
도 16을 참조하여 설명한 바와 같이, 사용자의 시선 방향은 사용자의 얼굴 방향과 눈 방향에 기초하여 설정됨으로써, 사용자가 의도하지 않은 동작에 기인한 화면의 전환이 방지될 수 있고, 얼굴 방향만의 변화에 기초한 입력(예를 들어, 고개를 좌우로 흔들어 실행 중지, 고개를 상하로 흔들어 즉시 실행 등)을 허용하여, 보다 직관적이고 다양한 입력 방식이 제공될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 표시 장치
110: 표시 모듈
120: 카메라 모듈
130: 처리 모듈
410: 검출부
420: 시선 결정부
430: 영상 처리부
440: 이벤트 생성부

Claims (9)

  1. 곡면형 표시면을 포함하는 표시 모듈;
    상기 표시 모듈의 일측에 배치되어 상기 표시 모듈의 전면 공간을 촬영하여 감지 영상을 생성하는 카메라 모듈; 및
    상기 감지 영상으로부터 사용자의 얼굴 영상을 검출하고, 상기 얼굴 영상에 기초하여 상기 사용자의 시선 방향을 결정하며, 상기 시선 방향에 기초하여 제1 영상 중 상기 표시 모듈을 통해 표시되는 부분 영상을 결정하는 윈도우를 상기 제1 영상 상에서 이동시키고, 상기 윈도우에 의해 선택된 상기 부분 영상에 대한 영상 데이터를 생성하는 처리 모듈을 포함하고,
    상기 처리 모듈은,
    상기 얼굴 영상에 기초하여 상기 얼굴의 전체가 지향하는 제1 방향을 산출하고,
    상기 얼굴 영상으로부터 눈 영상을 검출하며,
    상기 눈 영상에 기초하여 사용자의 얼굴을 기준으로 상기 사용자가 응시하는 제2 방향을 산출하고,
    상기 제1 방향 및 상기 제2 방향에 기초하여 상기 시선 방향을 산출하되,
    상기 처리 모듈은,
    상기 제1 방향이 기준 범위 이내인 경우, 상기 제1 방향에 대한 제1 기준 벡터와 상기 제2 방향에 대한 제2 기준 벡터를 합산하여 상기 시선 방향을 산출하고,
    상기 제1 방향이 기준 범위를 벗어난 경우, 상기 제1 방향을 상기 시선 방향으로 결정하는 표시 장치.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 처리 모듈은,
    상기 시선 방향을 추적하고,
    상기 시선 방향의 변화가 오차 범위 이내에서 지속적으로 유지되는 유지 시간을 산출하며,
    상기 유지 시간이 제1 기준 시간을 경과하는 경우, 상기 시선 방향에 위치하는 객체 영상을 기준으로 상기 부분 영상을 변화시키는 표시 장치.
  5. 제4 항에 있어서,
    상기 처리 모듈은 상기 객체 영상을 상기 시선 방향에 대응하는 응시 지점을 중심으로 확대시키는 표시 장치.
  6. 제4 항에 있어서,
    상기 처리 모듈은 상기 객체 영상을 상기 제1 영상의 면적 중심으로 이동시키며, 상기 객체 영상이 상기 제1 영상의 면적 중심에 인접할수록 상기 객체 영상을 확대시키는 표시 장치.
  7. 제4 항에 있어서,
    상기 처리 모듈은 상기 시선 방향의 변화가 오차 범위 이내이고, 상기 제1 방향의 변화가 오차 범위를 초과하는 경우, 상기 부분 영상의 상기 변화를 중지시키는 표시 장치.
  8. 제1 항에 있어서,
    상기 제1 영상은 360도 영상이고,
    상기 윈도우는 상기 시선 방향의 변화각만큼 이동되되,
    상기 사용자에 의해 응시되는 상기 제1 영상 내 응시 지점은 상기 변화각의 2배만큼 이동되는 표시 장치.
  9. 표시 모듈 및 상기 표시 모듈의 일측에 배치된 카메라 모듈을 포함하는 표시 장치에서 수행되는 화면 제어 방법으로,
    상기 카메라 모듈을 이용하여 상기 표시 모듈의 전면 공간을 촬영하여 감지 영상을 생성하는 단계;
    상기 감지 영상으로부터 사용자의 얼굴 영상을 검출하는 단계;
    상기 얼굴 영상에 기초하여 상기 사용자의 시선 방향을 결정하는 단계;
    상기 시선 방향에 기초하여 제1 영상 중 상기 표시 모듈을 통해 표시되는 부분 영상을 결정하는 윈도우를 상기 제1 영상 상에서 이동시키는 단계; 및
    상기 윈도우에 의해 선택된 상기 제1 영상의 상기 부분 영상에 대한 영상 데이터를 생성하는 단계를 포함하고,
    상기 감지 영상으로부터 사용자의 얼굴 영상을 검출하는 단계, 상기 얼굴 영상에 기초하여 상기 사용자의 시선 방향을 결정하는 단계, 상기 시선 방향에 기초하여 제1 영상 중 상기 표시 모듈을 통해 표시되는 부분 영상을 결정하는 윈도우를 상기 제1 영상 상에서 이동시키는 단계, 및 상기 윈도우에 의해 선택된 상기 제1 영상의 상기 부분 영상에 대한 영상 데이터를 생성하는 단계는 처리 모듈에 의해 수행되고,
    상기 처리 모듈은,
    상기 얼굴 영상에 기초하여 상기 얼굴의 전체가 지향하는 제1 방향을 산출하고,
    상기 얼굴 영상으로부터 눈 영상을 검출하며,
    상기 눈 영상에 기초하여 사용자의 얼굴을 기준으로 상기 사용자가 응시하는 제2 방향을 산출하고,
    상기 제1 방향 및 상기 제2 방향에 기초하여 상기 시선 방향을 산출하되,
    상기 처리 모듈은,
    상기 제1 방향이 기준 범위 이내인 경우, 상기 제1 방향에 대한 제1 기준 벡터와 상기 제2 방향에 대한 제2 기준 벡터를 합산하여 상기 시선 방향을 산출하고,
    상기 제1 방향이 기준 범위를 벗어난 경우, 상기 제1 방향을 상기 시선 방향으로 결정하는 화면 제어 방법.
KR1020180124606A 2018-10-18 2018-10-18 화면 제어 방법 및 표시 장치 Active KR102233481B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180124606A KR102233481B1 (ko) 2018-10-18 2018-10-18 화면 제어 방법 및 표시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180124606A KR102233481B1 (ko) 2018-10-18 2018-10-18 화면 제어 방법 및 표시 장치

Publications (2)

Publication Number Publication Date
KR20200043786A KR20200043786A (ko) 2020-04-28
KR102233481B1 true KR102233481B1 (ko) 2021-03-29

Family

ID=70456187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180124606A Active KR102233481B1 (ko) 2018-10-18 2018-10-18 화면 제어 방법 및 표시 장치

Country Status (1)

Country Link
KR (1) KR102233481B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673479A (zh) * 2021-09-03 2021-11-19 济南大学 基于视觉关注点识别物体的方法
KR102665453B1 (ko) * 2022-01-17 2024-05-10 엔에이치엔 주식회사 시선인식 기반 맞춤형 콘텐츠를 제공하는 장치 및 방법
KR102506037B1 (ko) * 2022-08-12 2023-03-06 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템
WO2024058405A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350526B1 (ko) * 2009-07-10 2014-01-10 페킹 유니버시티 추적된 시선 움직임에 기초한 이미지 조작

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
KR102719606B1 (ko) * 2016-09-09 2024-10-21 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350526B1 (ko) * 2009-07-10 2014-01-10 페킹 유니버시티 추적된 시선 움직임에 기초한 이미지 조작

Also Published As

Publication number Publication date
KR20200043786A (ko) 2020-04-28

Similar Documents

Publication Publication Date Title
KR102233481B1 (ko) 화면 제어 방법 및 표시 장치
US9652047B2 (en) Visual gestures for a head mounted device
CN110162167B (zh) 用于校准可穿戴装置中的图像传感器的系统和方法
US11145096B2 (en) System and method for augmented reality interaction
US11595637B2 (en) Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
US10643548B2 (en) Selective dimming of ambient lighting in virtual, augmented, and mixed reality (xR) applications
US20190385372A1 (en) Positioning a virtual reality passthrough region at a known distance
KR102165444B1 (ko) 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
KR102391860B1 (ko) 정보 처리 시스템 및 정보 처리 방법
TWI516093B (zh) 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
US8884928B1 (en) Correcting for parallax in electronic displays
US20160180595A1 (en) Method, system and device for navigating in a virtual reality environment
US11907417B2 (en) Glance and reveal within a virtual environment
US20150348322A1 (en) Dynamically Composited Information Handling System Augmented Reality at a Primary Display
JP5655674B2 (ja) ヘッドマウントディスプレイ及びこれに用いられるプログラム
JP4491604B2 (ja) 瞳孔検出装置
US12182391B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN106094202A (zh) 显示系统和头戴式显示器
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
US9563344B2 (en) Information processing method and electronic apparatus
Schmieder et al. Thumbs up: 3D gesture input on mobile phones using the front facing camera
JP2012104070A (ja) 情報装置、情報処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN115004129A (zh) 基于眼睛的激活和工具选择系统及方法
JP7661048B2 (ja) 表示システム、表示装置とその制御方法及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181018

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200211

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20200924

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210310

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210323

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210324

End annual number: 3

Start annual number: 1

PG1601 Publication of registration