KR102181897B1 - 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치 - Google Patents

눈동자 추적을 이용한 모바일 툴팁 방법 및 장치 Download PDF

Info

Publication number
KR102181897B1
KR102181897B1 KR1020130052223A KR20130052223A KR102181897B1 KR 102181897 B1 KR102181897 B1 KR 102181897B1 KR 1020130052223 A KR1020130052223 A KR 1020130052223A KR 20130052223 A KR20130052223 A KR 20130052223A KR 102181897 B1 KR102181897 B1 KR 102181897B1
Authority
KR
South Korea
Prior art keywords
user
display screen
pupil image
eye position
pupil
Prior art date
Application number
KR1020130052223A
Other languages
English (en)
Other versions
KR20140132906A (ko
Inventor
염동환
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020130052223A priority Critical patent/KR102181897B1/ko
Publication of KR20140132906A publication Critical patent/KR20140132906A/ko
Application granted granted Critical
Publication of KR102181897B1 publication Critical patent/KR102181897B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

본 발명은, 모바일 장치의 카메라를 통해 사용자의 얼굴을 촬영해 사용자의 눈동자를 구분하고 사용자의 시선을 인식하여, 사용자의 시선이 머무는 화면의 위치에 마우스 오버 기능과 툴팁 기능을 실행할 수 있도록 하는 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치에 관한 것이다. 본 발명에 따른 눈동자 추적을 이용한 모바일 툴팁 기능의 모바일 장치는, 데이터나 정보, 컨텐츠에 관한 내용을 화면 상에 디스플레이하는 디스플레이부; 상기 디스플레이 화면을 주시하는 사용자의 얼굴을 촬영해 눈동자 영상을 획득하는 눈동자 영상 획득부; 상기 사용자의 눈동자까지의 거리를 산출하는 사용자거리 산출부; 상기 획득된 눈동자 영상의 중앙과 상기 디스플레이 화면의 중앙을 대응시켜 기준으로 설정하고, 상기 사용자의 눈동자까지의 이격 거리에 따라 눈동자 영상과 디스플레이 영상의 화면 비율을 설정하며, 상기 설정된 화면 비율에 근거해 상기 설정된 기준을 중심으로 눈동자 영상의 움직임 변화에 따라 상, 하, 좌, 우로 주시된 디스플레이 화면의 눈 위치를 산출하는 눈위치 산출부; 및 상기 디스플레이 화면의 눈 위치가 일정 시간이 지나도 변동이 없는 경우에 상기 디스플레이 화면의 눈 위치에 마우스 오버 기능 또는 툴팁 기능이 실행되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

눈동자 추적을 이용한 모바일 툴팁 방법 및 장치{Device and method for mobile tooltip using eye detecting}
본 발명은 터치 입력 방식의 모바일 장치에서 툴팁(Tool Tip) 기능을 실행하는 기술에 관한 것으로서, 더욱 자세하게는 모바일 장치의 카메라를 통해 사용자의 얼굴을 촬영해 사용자의 눈동자를 구분하고 사용자의 시선을 인식하여, 사용자의 시선이 머무는 화면의 위치에 마우스 오버(mouse over) 기능과 툴팁 기능을 실행할 수 있도록 하는 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치에 관한 것이다.
기술의 발달로 데스크 탑, 노트북, PDA, 스마트 디스플레이 등 디스플레이 장치는 개인이 사용하기에 부족함이 없다.
그러나, 입력장치 면에서는 아직도 마우스라든가 키보드 또는 터치스크린 등 사람이 과거에 오랫동안 사용되어 오던 기술이 쓰여지고 있다. 아직 음성인식을 이용한 기술은 기술적인 한계점으로 인해 일부 특별한 부분에서만 사용되고 있으며 일반적으로 쓰이는 기술은 아니다.
최근의 모바일 단말기는 사이즈의 소형화와 사용상의 편의를 위해 사용자의 명령어 입력 수단으로서 터치패널을 구비하고 있다. 이러한 터치패널은 터치, 드래그 등 사용자의 터치 동작을 인식하여 사용자 입력을 처리한다.
그런데, 모바일 단말기의 경우 터치패널의 동작 인식 특성으로 인해 마우스 오버(mouse over) 기능의 구현이 불가능하며, 툴팁(Tool Tip) 기능 또한 구현이 불가능하다.
한편, 모바일 단말기는 화면의 크기에 맞추어 영상, 텍스트 등과 같은 정보를 표시한 후, 사용자가 필요한 부분을 선택하여 자세히 볼 수 있다.
이를 위해서, 사용자는 키패드, 키보드, 마우스, 조이스틱과 같이 휴대 단말에 구비된 입력 수단을 손으로 조작하여, 휴대 단말의 화면에서 필요한 부분을 선택하여야 한다.
이와 같이 종래의 단말기는 사용자가 표시된 정보 중에서 원하는 부분을 선택하기 위해서 입력 수단을 손으로 여러번 조작해야 하기 때문에 사용이 불편하다. 특히, 모바일 단말기의 경우, 사용자가 단말기를 손으로 지지하고 있는 상태에서 입력 수단을 조작하여야 하기 때문에, 손으로 입력 수단을 조작하기가 어렵고, 그에 따라서 사용자의 불편이 가중된다.
또한, 모바일 단말기는 이동 중에 사용하는 경우가 많기 때문에, 사용자의 양손 사용이 어려운 경우 입력에 어려움이 있다.
대한민국 등록특허공보 제847,142호(등록일 : 2008년07월11일, 발명의 명칭 : 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치)
전술한 문제점을 해결하기 위한 본 발명의 목적은, 모바일 장치의 카메라를 통해 사용자의 얼굴을 촬영해 사용자의 눈동자를 구분하고 사용자의 시선을 인식하여, 사용자의 시선이 머무는 화면의 위치에 마우스 오버(mouse over) 기능과 툴팁 기능을 실행할 수 있도록 하는 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치를 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 데이터나 정보, 컨텐츠에 관한 내용을 화면 상에 디스플레이하는 디스플레이부; 상기 디스플레이 화면을 주시하는 사용자의 얼굴을 촬영해 눈동자 영상을 획득하는 눈동자 영상 획득부; 상기 사용자의 눈동자까지의 거리를 산출하는 사용자거리 산출부; 상기 획득된 눈동자 영상의 중앙과 상기 디스플레이 화면의 중앙을 대응시켜 기준으로 설정하고, 상기 사용자의 눈동자까지의 이격 거리에 따라 눈동자 영상과 디스플레이 영상의 화면 비율을 설정하며, 상기 설정된 화면 비율에 근거해 상기 설정된 기준을 중심으로 눈동자 영상의 움직임 변화에 따라 상, 하, 좌, 우로 주시된 디스플레이 화면의 눈 위치를 산출하는 눈위치 산출부; 및 상기 디스플레이 화면의 눈 위치가 일정 시간이 지나도 변동이 없는 경우에 상기 디스플레이 화면의 눈 위치에 마우스 오버 기능 또는 툴팁 기능이 실행되도록 제어하는 제어부를 포함하는 눈동자 추적을 이용한 모바일 툴팁 기능의 모바일 장치가 제공된다.
또한, 상기 눈동자 영상 획득부는, 상기 사용자의 얼굴을 촬영하기 위한 카메라를 포함하고, 상기 카메라를 통해 촬영된 얼굴 영상에서 눈동자 부분을 구분해 눈동자 영상을 획득할 수 있다.
그리고, 상기 눈위치 산출부는, 상기 눈동자 영상이 상기 기준에 대해 상, 하, 좌, 우 방향 중 하나의 방향으로 일정 픽셀 이동하면, 상기 디스플레이 화면의 중앙에 대해 상, 하, 좌, 우 방향 중 눈동자 영상이 이동한 방향과 대응되는 하나의 방향으로 정수배 픽셀 이동한 비율로 하여 상기 디스플레이 화면의 눈 위치를 픽셀 단위로 산출할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 디스플레이부, 눈동자 영상 획득부, 눈위치 산출부 및 제어부를 포함하는 모바일 장치의 눈동자 추적을 이용한 모바일 툴팁 방법으로서, (a) 상기 디스플레이부가 데이터나 정보, 컨텐츠에 관한 내용을 화면 상에 디스플레이하는 단계; (b) 상기 눈동자 영상 획득부가 상기 디스플레이 화면을 주시하는 사용자의 얼굴을 촬영해 눈동자 영상을 획득하는 단계; (c) 상기 사용자거리 산출부가 사용자의 눈동자까지의 이격 거리를 산출하는 단계; (d) 상기 눈위치 산출부가 상기 획득된 눈동자 영상의 중앙과 상기 디스플레이부의 화면 중앙을 대응시켜 기준으로 설정하고, 상기 사용자의 눈동자까지의 이격 거리에 따라 눈동자 영상과 디스플레이 영상의 화면 비율을 설정하는 단계; (e) 상기 눈위치 산출부가 상기 설정된 화면 비율에 근거해 상기 설정된 기준을 중심으로 눈동자 영상의 움직임 변화에 따라 상, 하, 좌, 우로 주시된 디스플레이 화면의 눈 위치를 산출하는 단계; 및 (f) 상기 제어부가 상기 디스플레이 화면의 눈 위치가 일정 시간이 지나도 변동이 없는 경우에 상기 디스플레이 화면의 눈 위치에 마우스 오버 기능 또는 툴팁 기능을 실행하는 단계를 포함하는 모바일 장치의 눈동자 추적을 이용한 모바일 툴팁 방법이 제공된다.
또한, 상기 (b) 단계는, 상기 눈동자 영상 획득부가 카메라를 통해 사용자의 얼굴을 촬영하고, 상기 카메라를 통해 촬영된 얼굴 영상에서 눈동자 부분을 구분해 눈동자 영상을 획득할 수 있다.
그리고, 상기 (e) 단계는, 상기 눈위치 산출부가 상기 눈동자 영상이 상기 기준에 대해 상, 하, 좌, 우 방향 중 하나의 방향으로 일정 픽셀 이동하면, 상기 디스플레이 화면의 중앙에 대해 상, 하, 좌, 우 방향 중 눈동자 영상이 이동한 방향과 대응되는 하나의 방향으로 정수배 픽셀 이동한 비율로 하여 상기 디스플레이 화면의 눈 위치를 픽셀 단위로 산출할 수 있다.
본 발명에 의하면, 터치입력 방식의 모바일 장치에 마우스 오버 기능 및 툴팁 기능을 구현할 수 있다.
또한, 사용자가 단말기를 손으로 지지하고 있는 상태에서 입력 수단을 조작하지 않아도 주시하는 화면의 내용을 파악하면서 특정 부분에 시선을 고정함으로써 부가적인 기능을 손쉽게 수행할 수 있어 사용자의 편의성이 증대된다.
그리고, 모바일 단말기는 이동 중에 사용하는 경우가 많기 때문에, 사용자의 양손 사용이 어려운 경우에도 사용자가 화면에 집중하기만 하면 마우스 오버 또는 툴팁 기능을 통해 양손을 사용하지 않아도 입력을 손쉽게 할 수 있다.
도 1은 본 발명의 실시예에 따른 모바일 장치의 기능 블럭을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 모바일 장치의 눈동자 추적을 이용한 모바일 툴팁 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 눈동자 영상의 중앙과 디스플레이 화면의 중앙을 대응시켜 기준으로 설정하는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따라 사용자의 눈동자 영상의 변화에 따른 디스플레이 화면의 눈 위치를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 사용자가 주시하는 디스플레이 화면에서 눈 위치가 일정 시간이 지나도 변동이 없는 경우에 그 눈 위치에서 툴팁 기능이 실행되는 예를 나타낸 도면이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 모바일 장치의 기능 블럭을 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 눈동자 추적을 이용한 모바일 툴팁 기능의 모바일 장치(100)는, 디스플레이부(110), 눈동자 영상 획득부(120), 눈위치 산출부(130), 제어부(140), 저장부(150), 입력부(160) 및 사용자거리 산출부(170) 등을 포함한다.
디스플레이부(110)는 데이터나 정보, 컨텐츠에 관한 내용을 화면 상에 디스플레이한다.
즉, 디스플레이부(110)는 제어부(140)의 제어에 따라서, 시각적으로 표현되는 정보를 표시한다. 정보는 동영상, 텍스트, 사진 및 웹 페이지 등뿐만 아니라, 단말 장치에서 실행할 수 있는 기능을 알려주는 메뉴까지 포함할 수 있다. 또한, 디스플레이부(110)는, 제어부(140)의 제어에 따라서, 표시하고 있는 정보의 특정 부분을 확대하여 표시할 수 있다. 이러한 디스플레이부(110)로는, LCD(Liquid Crystal Display)나 터치스크린 등 다양한 형태의 디스플레이 수단이 사용될 수 있다.
눈동자 영상 획득부(120)는 디스플레이 화면을 주시하는 사용자의 얼굴을 촬영해 눈동자 영상을 획득한다. 이를 위해, 눈동자 영상 획득부(120)는 사용자의 얼굴을 촬영하기 위한 카메라를 포함하고, 카메라를 통해 촬영된 얼굴 영상에서 눈동자 부분을 구분해 눈동자 영상을 획득할 수 있다.
눈위치 산출부(130)는 획득된 눈동자 영상에 근거해 눈동자가 주시하는 디스플레이 화면의 눈 위치를 산출한다.
즉, 눈위치 산출부(130)는 카메라에서 촬영된 사용자 영상을 이용하여 사용자의 시선 궤적을 추적하고, 시선 궤적의 추적을 통해 단말 조작을 위한 시선 집중이 인식되면 시선이 집중되는 디스플레이부의 화면 상의 위치를 산출하는 것이다.
이를 위해, 눈위치 산출부(130)는 눈동자 영상의 중앙과 디스플레이 화면의 중앙을 대응시켜 기준점으로 설정하며, 설정된 기준점을 중심으로 눈동자 영상의 움직임 변화에 따라 상, 하, 좌, 우로 주시된 디스플레이 화면의 눈 위치를 산출할 수 있다.
이때, 눈위치 산출부(130)는 눈동자 영상이 기준점에 대해 상, 하, 좌, 우 방향 중 하나의 방향으로 일정 픽셀 이동하면, 사용자거리 산출부(170)를 통해 산출된 사용자의 눈동자로부터 모바일 장치(100)까지의 이격 거리에 따라 눈동자 영상과 디스플레이 영상의 화면 비율을 설정하고, 설정된 화면 비율에 근거해 디스플레이 화면의 중앙에 대해 상, 하, 좌, 우 방향 중 눈동자 영상이 이동한 방향과 대응되는 방향으로 2배, 3배 등과 같이 정수배 픽셀 이동한 비율로 하여 디스플레이 화면의 눈 위치를 픽셀 단위로 산출할 수 있다.
따라서, 눈위치 산출부(130)는 시선 추적 모듈과 위치 산출 모듈을 포함하는 구성으로 구현할 수 있다.
시선 추적 모듈은, 시선 궤적의 추적을 통해서, 단말 조작을 위한 시선 집중을 검출한다. 단말 조작을 위한 시선 집중은, 사용자의 시선이 기준 시간 이상 일정 위치에 고정되어 있는 상태를 의미하며, 기준 시간은 일상적인 사용자의 시선 움직임을 구별할 수 있도록 설정한다. 다만, 기준 시간에 비례하여, 사용자가 단말 조작을 위해 화면에 시선을 고정해야 하는 시간이 길어지므로, 사용자의 불편을 최소화할 수 있는 시간 범위 내에서 기준 시간을 설정한다.
단말 조작을 위한 시선 집중이 검출되면, 위치 산출 모듈이 디스플레이부(110)에 의해 정보가 표시되는 화면 상에서 시선 집중 위치를 산출한다. 시선 집중 위치는, 눈동자 영상의 좌표계와 디스플레이부에 표시되는 화면 상의 좌표계를 매핑함에 의해 이루어진다.
제어부(140)는 디스플레이 화면의 눈 위치가 일정 시간이 지나도 변동이 없는 경우에 디스플레이 화면의 눈 위치에 마우스 오버 기능 또는 툴팁 기능이 실행되도록 제어한다.
본 발명의 실시예에서 마우스 오버는 마우스 커서를 올리는 것으로서 클릭은 하지 않고 올려 놓기만 하는 것이고, 툴팁은 마우스 커서와 함께 동작하여 사용자가 커서에 항목을 클릭하지 않고 가리키면 조그마한 상자가 항목 위에 나타나서 보충 설명을 보여 주는 것을 뜻한다.
저장부(150)는 디스플레이 화면 상에 출력할 데이터나 정보, 컨텐츠 등을 저장하거나, 획득된 눈동자 영상, 입력부를 통해 입력된 데이터 등을 저장한다.
입력부(160)는 사용자에 의해 선택되거나 조작된 데이터나 정보를 입력한다.
본 발명의 실시예에서는 디스플레이부(110)와 입력부(160)를 터치 스크린 형태로 하여 입력 기능과 출력 기능을 동시에 실행할 수 있는 하나의 장치로 구현할 수 있으며, 각 기능이 별개로 동작하는 별도의 장치로도 구현할 수 있다.
그리고, 사용자거리 산출부(170)는 사용자의 눈동자로부터 모바일 장치(100)까지의 거리를 산출하는 장치로서, 예를 들면, 일반적으로 알려진 바와 같이 사람에게 해롭지 않은 전파나 무선 신호를 이용하여 산출할 수 있다.
한편, 본 발명의 실시예에서는 눈동자 인식을 위해서 제어부(140)가 컬러 필터를 이용할 수 있다. 눈동자 영상 획득부(120)에서 카메라를 통해 사용자의 얼굴을 촬영할 때, 각기 파장대가 다른 두 개의 조명을 가진 조명장치에서 동시에 조명을 점등하여 사용자의 눈동자에 비춘다. 파장이 서로 다른 조명은 700㎚ 대의 파장을 갖는 조명과 800㎚ 대의 파장을 갖는 조명으로 할 수 있다. 따라서, 파장이 서로 다른 조명을 동시에 점등하여 획득된 눈동자 영상은 700㎚ 대의 파장과 800㎚ 대의 파장에 대한 눈동자 합 영상이 취득된다.
이어, 제어부(140)는 취득된 눈동자 영상을 컬러필터를 이용하여 파장대별로 영상을 분리한다. 이때, 컬러필터는 R, G, B 로 이루어진 셀이 교대로 번갈아 각각 형성되어 있다. R, G, B 는 각각의 다른 반응도를 갖게 된다. 여기서, R, G, B 의 반응도는 빛에 대한 감도를 의미하는 것으로, 각 파장대별로 상기 R, G, B 의 감도는 다르게 되는 것이다. 즉, R은 600㎚ 에서 반응도가 가장 좋게 나타나고, G는 550㎚에서 반응도가 가장 좋게 나타나고, B는 450㎚ 에서 반응도가 가장 좋게 나타나는 특성을 갖는다.
이어, 제어부(140)는 파장대별로 분리된 눈동자 영상들의 반응도를 다음 수학식1을 통해 산출한다. 700㎚ 대의 파장을 갖는 조명과 800㎚ 대의 파장을 갖는 조명에 의해 취득된 눈동자 영상의 반응 정도가 다르게 검출된다.
Figure 112013040901608-pat00001
여기서, V(R), V(G), V(B)은 각 셀(CELL)에서 구해진 R, G, B 필터값을 나타내고, Rf(700)은 물체의 700㎚ 조명대의 반사도를 나타내며, Rf(800)은 물체의 800㎚ 조명대의 반사도를 나타내며, I700(R), I700(G), I700(B)은 700㎚ 조명대의 각 R, G, B 필터의 감도를 나타내며, I800(R), I800(G), I800(B)은 800㎚ 조명대의 각 R, G, B 필터의 감도를 나타낸다.
수학식1을 이용하여 물체에 대한 반사도인 Rf(700), Rf(800)를 구하게 된다. 즉, 이는 눈동자 영상에서 동공, 홍채, 흰자위에 대한 각각의 반응도를 구하는 것이다.
700㎚ 대의 파장대의 조명에 의해서 취득된 눈동자 영상에서는 눈동자 영상의 흰자 부위와 눈동자 부위에서의 조명에 대한 반응 정도가 달라지게 되어 경계가 명확해진다. 이때, 홍채 부위와 동공 부위에 대해서는 반응 정도가 비슷하게 되어 경계가 흐려진다.
따라서, 700㎚ 대의 파장대의 조명에 의해서 취득된 눈동자 영상에서는 홍채 인식을 수행할 때 홍채 영역을 찾는데 이용된다.
그리고, 800㎚ 대의 파장대의 조명에 의해서 취득된 눈동자 영상에서는 흰자 부위와 홍채 부위의 조명에 대한 반응 정도가 비슷하게 되어 경계가 흐려지게 된다. 이때, 홍채 부위와 동공 부위에 대해서는 반응 정도가 달라지게 되어 경계가 명확해진다.
따라서, 800㎚ 대의 파장대의 조명에 의해서 취득된 눈동자 영상은 홍채 인식을 수행할 때 동공을 찾는데 이용된다.
도 2는 본 발명의 실시예에 따른 모바일 장치의 눈동자 추적을 이용한 모바일 툴팁 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 모바일 장치(100)는, 디스플레이부(110)가 데이터나 정보, 컨텐츠에 관한 내용을 화면 상에 디스플레이한다(S210).
즉, 사용자의 선택 또는 조작에 따라 데이터나 정보, 컨텐츠 중 하나가 실행되고, 그 실행에 따른 결과가 화면 상에 디스플레이 되는 것이다. 예를 들면, 모바일 장치(100)가 인터넷 접속을 통해 특정 사이트를 방문하여 해당 사이트에서 제공하는 웹 화면이나 컨텐츠 화면을 제공하는 것도 예가 될 수 있다.
이때, 사용자는 데이터나 정보, 컨텐츠 중 하나가 디스플레이되는 화면에 대해 그 내용을 파악하기 위해 화면을 주시하게 된다.
이어, 눈동자 영상 획득부(120)는 카메라를 작동시켜 디스플레이 화면을 주시하는 사용자의 얼굴을 촬영해 눈동자 영상을 획득한다(S220).
즉, 눈동자 영상 획득부(120)는 카메라를 통해 사용자의 얼굴을 촬영하고, 촬영된 얼굴 영상에서 눈동자 부분을 구분해 눈동자 영상을 획득할 수 있다.
여기서, 얼굴 인식 기술은 멀티미디어 데이터 베이스 검색 핵심 기술 중의 하나로 얼굴 정보를 이용한 동영상의 요약, 신분 증명, HCI(Human Computer Interface) 이미지 검색, 보안, 감시 시스템 등 다양한 응용 분야에서 널리 이용되고 있다.
얼굴 인식은 동일성(identity), 나이, 인종, 표정, 장신구 등의 내적 환경 변화나, 포즈(pose), 외부 조명, 이미지 프로세스(image process) 등의 외적 환경 변화에 따라서 그 인식 결과가 민감하게 달라지는 특성이 있다. 특히, 외부 조명 변화는 얼굴 인식에 있어서, 매우 빈번하게 발생하는 장애 요소이므로, 이러한 외부 조명 변화에 강인한 알고리즘을 이용하는 것이 매우 중요하다.
이와 관련하여, 얼굴 인식과 관련된 주요 알고리즘으로는 PCA(Principal Component Analysis : 주성분 분석), K-PCA(Kernel-PCA : 커널 주성분 분석), ICA(Independent Component Analysis), SVM(Support Vector Machine), NN(Nural-Network : 신경망), HMM(Hidden Markov Model : 은닉 마르코프 모델) 등을 이용한 방식을 주로 사용할 수 있다.
또한, 촬영된 얼굴 영상에서 눈동자 부분을 구분하는 방법은, 사용자의 눈동자나 홍채의 특징점 정보를 저장해 두었다가, 기 저장된 눈동자의 특징점 정보에 근거해 사용자의 얼굴 영상에서 눈동자 부분을 구분해 낼 수 있다.
이어, 사용자거리 산출부(170)는 모바일 장치로부터 사용자의 눈동자까지의 이격 거리를 산출한다(S230). 즉, 눈동자 영상과 디스플레이부의 화면 영상의 크기가 각각 다르므로 눈동자 영상의 크기에 따른 디스플레이 영상의 화면 비율을 설정해 주어야 하기 때문이다.
이어, 눈위치 산출부(130)는 획득된 눈동자 영상의 중앙과 디스플레이부의 화면 중앙을 대응시켜 기준으로 설정하고, 사용자의 눈동자까지의 이격 거리에 따라 눈동자 영상과 디스플레이 영상의 화면 비율을 설정한다(S240).
이어, 눈위치 산출부(130)는 설정된 화면 비율에 근거해 상기 설정된 기준을 중심으로 눈동자 영상의 움직임 변화에 따라 상, 하, 좌, 우로 주시된 디스플레이 화면의 눈 위치를 산출한다(S250).
일반적으로, 사람이 화면의 특정 점을 주시할 때, 특정 점의 영상이 망막의 중심에 위치하도록 안구가 조절된다. 즉, 안구의 중심, 더 구체적으로 눈동자(동공)의 중심과 특정 점이 일직선 상에 위치하게 된다. 따라서, 시선 추적을 위해서는, 사용자 눈, 특히 눈동자(동공) 영역을 검출하고, 이어서 눈동자(동공) 영역의 중심점을 검출하며, 눈동자 영상의 좌표계와 화면의 좌표계 사이의 관계에 근거하여, 검출된 눈동자 영상의 중심점의 위치를 화면 상에 대응하는 주시점의 좌표로 변환한다.
즉, 눈위치 산출부(130)는 도 3에 도시된 바와 같이 눈동자 영상의 중앙과 디스플레이 화면의 중앙을 대응시켜 기준으로 설정하고, 설정된 기준을 중심으로 눈동자 영상의 움직임 변화에 따라 상, 하, 좌, 우로 주시된 디스플레이 화면의 눈 위치를 산출할 수 있다. 도 3은 본 발명의 실시예에 따른 눈동자 영상의 중앙과 디스플레이 화면의 중앙을 대응시켜 기준으로 설정하는 예를 나타낸 도면이다. 즉, 눈동자 영상과 디스플레이 화면의 크기는 다르지만 눈동자 영상의 중앙과 디스플레이 화면의 중앙이 일치되게 대응시키고 동기화하여 기준점을 설정하게 됨에 따라 눈동자 영상이 기준점을 중심으로 어느 방향으로 얼마만큼 움직이고 있는지를 파악하면 그에 대응되게 디스플레이 화면 상에서 사용자가 주시하는 눈의 위치도 동일한 방향으로 움직이는 것으로 판단하여 사용자의 눈 위치를 파악할 수 있는 것이다.
예를 들면, 눈위치 산출부(130)는 카메라를 통해 촬영된 눈동자 영상이 도 4에 도시된 바와 같이 기준에 대해 좌측으로 이동한 경우에 디스플레이 화면을 주시하는 사용자의 눈 위치도 디스플레이 화면의 중앙에서 좌측으로 일정 거리 내로 이동한 위치로 산출할 수 있다. 도 4는 본 발명의 실시예에 따라 사용자의 눈동자 영상의 변화에 따른 디스플레이 화면의 눈 위치를 나타낸 도면이다.
또한, 도 4에 도시된 바와 같이 눈동자 영상이 기준에 대해 우측으로 이동한 경우에 사용자의 눈 위치도 디스플레이 화면의 중앙에서 우측으로 일정 간격으로 이동한 위치로 파악할 수 있다.
또한, 도 4에 도시된 바와 같이, 눈동자 영상이 기준에 대해 상측으로 이동한 경우에 사용자의 눈 위치도 디스플레이 화면의 중앙에서 상측으로 일정 간격만큼 이동한 위치로 파악하거나, 눈동자 영상이 기준에 대해 하측으로 이동한 경우에 사용자의 눈 위치도 디스플레이 화면의 중앙에서 하측으로 일정 간격만큼 이동한 위치로 파악할 수 있다.
이때, 눈위치 산출부(130)는 눈동자 영상이 기준에 대해 상, 하, 좌, 우 방향 중 하나의 방향으로 일정 픽셀 이동하면, 디스플레이 화면의 중앙에 대해 상, 하, 좌, 우 방향 중 눈동자 영상이 이동한 방향과 대응되는 방향으로 2배, 3배 등과 같이 정수배 픽셀 이동한 비율로 하여 디스플레이 화면의 눈 위치를 픽셀 단위로 산출할 수 있다.
즉, 눈동자 영상과 디스플레이 화면의 크기가 다르므로, 눈동자 영상의 움직임에 따른 디스플레이 화면의 눈 위치를 픽셀 단위로 하여 일정 비율로써 산출하는 것이다. 예를 들면, 눈동자 영상이 기준에 대해 상측 방향으로 5 픽셀 이동한 것으로 판단되면, 디스플레이 화면의 눈 위치는 중앙의 기준에 대해 상측 방향으로 3 배나 5 배, 즉, 15 픽셀이나 25 픽셀 이동한 것으로 산출할 수 있다.
제어부(140)는 사용자가 디스플레이 화면에서 내용을 보고 있다가 눈의 위치가 어느 특정 지점에 머무르게 됨에 따라, 디스플레이 화면의 눈 위치가 일정 시간이 지나도 변동이 없는 경우에(S260-예), 도 5에 도시된 바와 같이 변동이 없는 디스플레이 화면의 눈 위치에서 마우스 오버 기능 또는 툴팁 기능을 실행한다(S270). 도 5는 본 발명의 실시예에 따라 사용자가 주시하는 디스플레이 화면에서 눈 위치가 일정 시간이 지나도 변동이 없는 경우에 그 눈 위치에서 툴팁 기능이 실행되는 예를 나타낸 도면이다.
즉, 제어부(140)는 단말 조작을 위한 시선 집중이 발생하면, 사용자가 기준 시간 이상 일정 방향으로 시선을 고정하는 경우, 정보가 표시되는 디스플레이부(110)의 화면 상에서 사용자의 시선이 고정된 시선 집중 위치를 산출한다.
시선 집중 위치는, 도 4에 도시된 바와 같이 카메라에 의해 촬영된 눈동자 영상의 좌표계와, 디스플레이부(110)의 화면의 좌표계의 기하학적 관계로부터 눈동자(동공)의 위치를 화면의 좌표로 매핑함에 의해 산출하는 것이다. 따라서, 제어부(140)는 산출된 시선 집중 위치를 기준으로 마우스 오버 기능 또는 툴팁 기능을 실행하는 것이다.
전술한 바와 같이 본 발명에 의하면, 모바일 장치의 카메라를 통해 사용자의 얼굴을 촬영해 사용자의 눈동자를 구분하고 사용자의 시선을 인식하여, 사용자의 시선이 머무는 화면의 위치에 마우스 오버(mouse over) 기능과 툴팁 기능을 실행할 수 있도록 하는 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치를 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 모바일 장치의 화면을 주시하는 사용자의 시선을 인식하여, 사용자의 시선이 머무는 화면의 위치에 마우스 오버(mouse over) 기능과 툴팁 기능을 실행할 수 있도록 하는 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치에 적용할 수 있다.
100 : 모바일 장치 110 : 디스플레이부
120 : 눈동자 영상 획득부 130 : 눈위치 산출부
140 : 제어부 150 : 저장부
160 : 입력부

Claims (6)

  1. 데이터나 정보, 컨텐츠에 관한 내용을 화면 상에 디스플레이하는 디스플레이부;
    디스플레이 화면을 주시하는 사용자의 얼굴을 촬영해 눈동자 영상을 획득하는 눈동자 영상 획득부;
    상기 사용자의 눈동자까지의 거리를 산출하는 사용자거리 산출부;
    상기 획득된 눈동자 영상의 중앙과 상기 디스플레이 화면의 중앙을 대응시켜 기준으로 설정하고, 상기 사용자의 눈동자까지의 이격 거리에 따라 눈동자 영상과 디스플레이 영상의 화면 비율을 설정하며, 상기 설정된 화면 비율에 근거해 상기 설정된 기준을 중심으로 눈동자 영상의 움직임 변화에 따라 상, 하, 좌, 우로 주시된 디스플레이 화면의 눈 위치를 산출하는 눈위치 산출부; 및
    상기 디스플레이 화면의 눈 위치가 일정 시간이 지나도 변동이 없는 경우에 상기 디스플레이 화면의 눈 위치에 툴팁 기능이 실행되도록 제어하는 제어부;
    를 포함하고,
    상기 눈동자 영상 획득부는,
    상기 사용자의 얼굴에 제1 파장을 갖는 빛을 조사하는 제1 조명, 제2 파장을 갖는 빛을 조사하는 제2 조명 및 상기 제1 조명 및 상기 제2 조명이 조사된 상기 사용자의 얼굴을 촬영하기 위한 카메라를 포함하고, 상기 카메라를 통해 촬영된 영상을 컬러필터를 통해 파장대별로 분리하여 눈동자 영상을 획득하고,
    상기 제어부는,
    상기 툴팁 기능을 통해 상기 디스플레이 화면의 눈 위치에 상응하는 항목을 클릭하지 않고 상기 항목에 대한 보충 설명을 상자 형태의 디스플레이로 제공하는 것을 특징으로 하는 눈동자 추적을 이용한 모바일 툴팁 기능의 모바일 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 눈위치 산출부는, 상기 눈동자 영상이 상기 기준에 대해 상, 하, 좌, 우 방향 중 하나의 방향으로 일정 픽셀 이동하면, 상기 디스플레이 화면의 중앙에 대해 상, 하, 좌, 우 방향 중 눈동자 영상이 이동한 방향과 대응되는 하나의 방향으로 정수배 픽셀 이동한 비율로 하여 상기 디스플레이 화면의 눈 위치를 픽셀 단위로 산출하는 것을 특징으로 하는 눈동자 추적을 이용한 모바일 툴팁 기능의 모바일 장치.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020130052223A 2013-05-09 2013-05-09 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치 KR102181897B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130052223A KR102181897B1 (ko) 2013-05-09 2013-05-09 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130052223A KR102181897B1 (ko) 2013-05-09 2013-05-09 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140132906A KR20140132906A (ko) 2014-11-19
KR102181897B1 true KR102181897B1 (ko) 2020-11-23

Family

ID=52453693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130052223A KR102181897B1 (ko) 2013-05-09 2013-05-09 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102181897B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348366B1 (ko) * 2015-01-12 2022-01-10 삼성전자주식회사 전자 장치 및 전자 장치에서 눈의 중심을 판단하는 방법
JP7016263B2 (ja) * 2015-03-10 2022-02-04 アイフリー アシスティング コミュニケ－ション リミテッド アイフィードバックによるコミュニケーションを可能にするシステム及び方法
KR102072168B1 (ko) * 2017-11-17 2020-01-31 주식회사 에이유이 생체 구분이 가능한 홍채 인식 방법 및 이를 이용한 시스템
WO2019111257A1 (en) 2017-12-07 2019-06-13 Eyefree Assisting Communication Ltd. Communication methods and systems
CN114910052A (zh) * 2022-05-27 2022-08-16 深圳市立体通技术有限公司 一种基于摄像头的测距方法、控制方法、装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4951751B2 (ja) * 2005-04-26 2012-06-13 国立大学法人静岡大学 瞳孔検出に基づくポインティング装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745141B2 (en) * 2006-08-07 2014-06-03 Yahoo! Inc. Calendar event, notification and alert bar embedded within mail
KR100847142B1 (ko) 2006-11-30 2008-07-18 한국전자통신연구원 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR101094766B1 (ko) * 2009-10-08 2011-12-20 동국대학교 산학협력단 시선 위치 추적 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4951751B2 (ja) * 2005-04-26 2012-06-13 国立大学法人静岡大学 瞳孔検出に基づくポインティング装置及び方法

Also Published As

Publication number Publication date
KR20140132906A (ko) 2014-11-19

Similar Documents

Publication Publication Date Title
CN106462242B (zh) 使用视线跟踪的用户界面控制
EP2577426B1 (en) Information processing apparatus and method and program
US11715231B2 (en) Head pose estimation from local eye region
CN104331168B (zh) 显示调整方法和电子设备
US8885882B1 (en) Real time eye tracking for human computer interaction
US20150062006A1 (en) Feature tracking for device input
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
KR102181897B1 (ko) 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
EP3090382B1 (en) Real-time 3d gesture recognition and tracking system for mobile devices
US9269009B1 (en) Using a front-facing camera to improve OCR with a rear-facing camera
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
US20130141327A1 (en) Gesture input method and system
CN105068646A (zh) 终端的控制方法和系统
JP2016177658A (ja) 仮想入力装置、入力方法、およびプログラム
Madhiarasan et al. A comprehensive review of sign language recognition: Different types, modalities, and datasets
TW202314450A (zh) 使用光學資料推斷使用者姿勢
CN109947243A (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
Lei et al. An end-to-end review of gaze estimation and its interactive applications on handheld mobile devices
US10082936B1 (en) Handedness determinations for electronic devices
Madhusanka et al. Biofeedback method for human–computer interaction to improve elder caring: Eye-gaze tracking
CN109960406A (zh) 基于双手手指之间动作的智能电子设备手势捕获与识别技术
Xiahou et al. Integrated approach of dynamic human eye movement recognition and tracking in real time
JP5499106B2 (ja) 表示制御装置、表示制御方法、情報表示システム、およびプログラム
Babu et al. Controlling Computer Features Through Hand Gesture
Mendoza-Morales et al. Illumination-invariant hand gesture recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant