KR20150025041A - 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치 - Google Patents

안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20150025041A
KR20150025041A KR20130102161A KR20130102161A KR20150025041A KR 20150025041 A KR20150025041 A KR 20150025041A KR 20130102161 A KR20130102161 A KR 20130102161A KR 20130102161 A KR20130102161 A KR 20130102161A KR 20150025041 A KR20150025041 A KR 20150025041A
Authority
KR
South Korea
Prior art keywords
filter coefficient
point
flat filter
distance
electronic device
Prior art date
Application number
KR20130102161A
Other languages
English (en)
Other versions
KR102133018B1 (ko
Inventor
이상원
박정훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130102161A priority Critical patent/KR102133018B1/ko
Publication of KR20150025041A publication Critical patent/KR20150025041A/ko
Application granted granted Critical
Publication of KR102133018B1 publication Critical patent/KR102133018B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치에 관한 것으로서, 전자 장치의 안구 인식을 이용한 마우스 커서 제어 방법은 안구 이미지를 수신하는 과정과, 상기 안구 이미지를 분석하여 상기 안구가 응시하는 응시점을 결정하는 과정과, 상기 응시점의 이동 거리에 따라 평탄 필터(Smoothing Filter) 계수를 결정하는 과정과, 상기 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어하는 과정을 포함하여, 전자 장치에서 사용자가 응시하는 응시점의 이동 속도에 따라 마우스 커서의 이동 속도를 조절할 수 있는 효과가 있다.

Description

안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치{METHOD AND ITS APPARATUS FOR CONTROLLING A MOUSE CURSOR USING EYE RECOGNITION}
본 발명은 전자 장치에 관한 것으로서, 특히 전자 장치에서 안구 인식 기술을 이용하여 마우스 커서를 제어하기 위한 방법 및 장치에 관한 것이다.
터치스크린을 구비한 전자 장치는 터치스크린을 통해 사용자의 손 혹은 터치 펜을 감지하고, 감지된 위치에 대응하는 동작을 수행한다. 그러나, 전자 장치에서 사용자의 손 혹은 터치 펜을 감지하여 동작하는 경우, 신체가 부자유한 사용자는 전자 장치를 조작할 수 없는 문제점이 발생하였다. 이에 따라, 최근에는 전자 장치에서 카메라로부터 입력되는 사용자의 안구(혹은 눈)을 인식하여 전자 장치의 동작을 제어하기 위한 방안이 논의되고 있다. 예를 들어, 전자 장치는 전자 장치에 구비된 카메라를 이용하여 안구의 이미지를 획득하고, 획득된 안구 이미지를 분석하여 디스플레이 장치에 디스플레이된 마우스 커서를 제어할 수 있다.
하지만, 안구 이미지를 이용하여 마우스 커서를 제어하는 경우, 다양한 요인에 의해서 마우스 커서의 좌표를 결정하는 정확도가 저하되는 현상이 발생한다. 예를 들어, 전자 장치는 눈의 동작 능력, 카메라의 성능 및 노이즈에 의해 좌표를 정확하게 결정하기 어려운 실정이다. 또한, 종래의 안구 이미지를 이용하여 마우스 커서를 제어하는 경우, 사용자의 응시점이 이동하는 속도에 비해, 마우스 커서의 이동 속도가 현저히 떨어지게 되어, 안구 마우스 커서를 효율적으로 제어하기 어려운 문제점이 존재한다.
이에 따라, 안구 마우스 커서 제어 시, 마우스 커서의 좌표를 정확하게 결정하고, 사용자의 응시점 이동 속도에 따라 마우스 커서의 이동 속도를 제어하는 방법이 제공될 필요가 있다.
따라서, 본 발명의 실시 예는 전자 장치에서 안구 인식 기술을 이용하여 마우스 커서를 제어하기 하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 다른 실시 예는 전자 장치에서 응시점의 이동 속도에 따라 평탄 필터 계수를 결정하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 응시점의 이동 속도에 따라 마우스 커서의 이동 속도를 제어하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 실시 예는 전자 장치에서 응시점이 컨텐츠의 임계 거리 이내에 접근하는 경우, 마우스 커서의 속도를 제어하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 실시 예에 따르면, 전자 장치에서 안구 인식을 이용한 마우스 커서 제어 방법에 있어서, 안구 이미지를 수신하는 과정과, 상기 안구 이미지를 분석하여 상기 안구가 응시하는 응시점을 결정하는 과정과, 상기 응시점의 이동 거리에 따라 평탄 필터(Smoothing Filter) 계수를 결정하는 과정과, 상기 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어하는 과정을 포함한다.
본 발명의 실시 예에 따르면, 안구 인식을 이용하여 마우스 커서를 제어하는 전자 장치는 안구 이미지를 수신하는 이미지 획득부와, 상기 안구 이미지를 분석하여 상기 안구가 응시하는 응시점을 결정하고, 상기 응시점의 이동 거리에 따라 평탄 필터(Smoothing Filter) 계수를 결정한 후, 상기 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어하는 커서 속도 제어부를 포함한다.
본 발명에서는 전자 장치에서 안구 이미지를 수신하고, 수신된 안구 이미지를 분석하여, 사용자가 응시하는 응시점을 결정하고, 결정된 응시점의 이동 거리에 따라, 서로 다른 평탄 필터 계수를 적용하여, 마우스 커서의 이동 속도를 제어함으로써, 전자 장치에서 사용자가 응시하는 응시점의 이동 속도에 따라 마우스 커서의 이동 속도를 조절할 수 있다.
도 1은 본 발명의 실시 예에 따라 사용자의 안구를 인식하여 마우스를 제어하기 위한 전자 장치를 도시하는 도면,
도 2는 본 발명의 실시 예에 따라 사용자의 안구를 인식하여 마우스를 제어하기 위한 전자 장치의 블럭 구성을 도시하는 도면,
도 3은 본 발명의 실시 예에 따라 전자 장치에서 응시점과 평탄 필터 계수 사이의 관계를 나타내는 그래프를 도시하는 도면,
도 4a는 본 발명의 실시 예에 따라 전자 장치에서 응시점의 이동 거리에 따라 마우스 커서의 이동 속도를 제어하기 위한 절차를 도시하는 도면,
도 4b는 본 발명의 실시 예에 따라 전자 장치에서 응시점의 이동 거리에 따라 마우스 커서의 이동 속도를 제어하기 위한 수단을 도시하는 도면,
도 5는 본 발명의 실시 예에 따라 전자 장치에서 안구를 인식하여 응시점의 이동 속도에 따라 마우스 커서를 제어하기 위한 절차를 도시하는 도면,
도 6은 본 발명의 실시 예에 따라 전자 장치에서 응시점이 이동되는 경우, 마우스 커서의 속도를 제어하기 위한 절차를 도시하는 도면 및
도 7은 본 발명의 실시 예에 따라 전자 장치에서 컨텐츠 주위에서 응시점이 이동되는 경우, 마우스 커서의 속도를 제어하기 위한 절차를 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따라 사용자의 안구를 인식하여 마우스를 제어하기 위한 전자 장치를 도시하고 있다.
도 1을 참조하면, 전자 장치는 디스플레이 장치(101), 제 1 LED(Light Emitting Diode)(103), 제 2 LED(105) 및 카메라(107)를 포함한다.
디스플레이 장치(101)는 전자 장치의 그래픽 요소를 디스플레이한다. 디스플레이 장치(101)는 전자 장치와 사용자 사이에 입/출력을 위한 인터페이스를 제공한다. 즉, 디스플레이 장치(101)는 사용자 입력에 대응하여, 사용자에게 텍스트, 그래픽 및 비디오를 바탕으로 하는 시각적 출력을 제공한다. 본 발명의 따른 디스플레이 장치(101)는 사용자의 안구가 응시하는 것으로 결정된 응시점 좌표에 대응되는 위치에 마우스 커서를 디스플레이할 수 있다. 더하여, 디스플레이 장치(101)는 사용자의 응시점이 이동하는 속도에 따라 마우스 커서를 이동시켜 디스플레이할 수 있다.
제 1 LED(103)는 사용자의 안구 이미지를 선명하게 획득하도록 사용자의 안구에 빛을 출력할 수 있다. 이때, 제 1 LED(103)는 전자 장치의 카메라 주위에 구비된 하나 이상의 LED를 의미한다. 자세히 말해, 제 1 LED는 사용자의 안구 이미지에서, 제 2 LED로부터 출력된 LED 포인트의 위치를 정확하게 결정하기 위해, 사용자의 동공에 밝은 빛을 출력할 수 있다. 즉, 제 2 LED의 포인트가 사용자 동공과 겹쳐질 때, 일반적으로 동공의 어두운 색상으로 인해 제 2 LED의 포인트 위치를 정확히 판단하기 어려울 수 있다. 따라서 이러한 문제점을 해소하기 위해, 제 1 LED를 통해 사용자의 동공으로 밝은 빛을 출력하여 안구 이미지 내 사용자의 동공 부분이 원래 색상보다 밝은 색상을 갖도록 함으로써 제 2 LED의 포인트 위치를 보다 정확히 판단할 수 있도록 한다.
제 2 LED(105)는 사용자가 응시하는 응시점을 결정하기 위해, 사용자 안구에 LED 포인트를 맺히게 하기 위해, 빛을 출력할 수 있다. 이때, 제 2 LED(105)는 두 개 이상의 LED로 구성될 수 있다. 본 발명의 실시 예에 따른 제 2 LED(105)는 제 1 LED(103)로부터 빛이 출력된 다음 시점에 출력되어 안구에 LED 포인트를 맺히게 할 수 있다.
카메라(107)는 사용자의 안구를 촬영하여, 안구 이미지를 획득할 수 있다. 본 발명의 실시 예에 따른 카메라(107)는 제 1 LED(103) 및 제 2 LED(105)가 순차적으로 빛을 출력한 이후에 이미지 촬영을 수행하여, 안구 이미지를 획득할 수 있다. 이때, 카메라(107)는 제 1 LED(103) 및 제 2 LED(105)가 빛을 출력한 후에, 촬영을 수행하기 때문에, 안구에 제 2 LED(105)의 포인트가 맺힌 이미지를 촬영할 수 있다.
도 2는 본 발명의 실시 예에 따라 사용자의 안구를 인식하여 마우스를 제어하기 위한 전자 장치의 블럭 구성을 도시하고 있다.
도 2를 참조하면, 전자 장치(200)는 LED 출력 제어부(201), 이미지 획득부(203) 및 커서 속도 제어부(205)를 포함한다.
LED 출력 제어부(201)는 전자 장치(200)에 구비된 제 1 LED 및 제 2 LED를 제어하여 빛을 출력할 수 있다. 자세히 말해, LED 출력 제어부(201)는 사용자 제어에 의해 안구 인식을 위한 입력이 수신된 경우, 제 2 LED를 구동시켜 빛을 출력하도록 제어하고, 제 2 LED가 빛을 출력할 시, 안구에 맺힌 LED 포인트가 잘 구별되도록 카메라 주위에 구비된 제 1 LED를 구동시켜 빛을 출력하도록 제어할 수 있다. LED 출력 제어부(201)는 제 1 LED를 먼저 구동시켜 빛이 출력되도록 한 이후에, 제 2 LED를 구동시켜 빛이 출력되도록 제어할 수도 있고, 제 1 LED와 제 2 LED를 동시에 구동시켜 빛이 출력되도록 제어할 수도 있다.
이미지 획득부(203)는 제 2 LED에서 빛이 출력된 이후, 전자 장치에 구비된 카메라를 이용하여 안구의 이미지를 촬영할 수 있다. 다시 말해, 이미지 획득부(203)는 제 2 LED에서 출력된 빛에 의해 안구에 LED 포인트가 맺히도록 한 이후에, 카메라를 이용하여 안구의 이미지를 촬영할 수 있다. 이후, 이미지 획득부(203)는 미리 설정된 주기마다 카메라를 통해 이미지를 촬영하여 안구 이미지를 획득하거나 혹은 카메라를 통해 안구 이미지를 실시간으로 획득할 수도 있다.
커서 속도 제어부(205)는 이미지 획득부(203)에서 획득된 이미지를 분석하여 마우스 커서의 이동속도를 제어할 수 있다. 먼저, 커서 속도 제어부(205)는 이미지 획득부(203)에서 획득된 안구 이미지에서, 동공의 위치 및 LED 포인트의 위치를 바탕으로 사용자가 응시하는 응시점을 결정할 수 있다. 다시 말해, 커서 속도 제어부(205)는 이미지 획득부(203)에서 획득된 안구 이미지를 분석하여, LED 포인트를 기준으로 동공의 위치를 확인함으로써, 사용자의 안구가 응시하고 있는 응시점을 결정할 수 있다.
더하여, 커서 속도 제어부(205)는 결정된 응시점의 이동을 감지할 수 있다. 자세히 말해, 커서 속도 제어부(205)는 안구 이미지를 분석하여 결정된 응시점이 이동되었는지 여부를 확인하고, 응시점이 이동된 경우, 응시점이 이동된 이동 거리를 결정할 수 있다.
이후, 커서 속도 제어부(205)는 응시점의 결정된 이동 거리와, 미리 결정된 제 1 임계 거리 및 제 2 임계 거리의 비교 결과에 따라, 평탄 필터 계수를 결정하고, 결정된 필터 계수를 바탕으로 마우스 커서의 위치를 결정할 수 있다. 예를 들어, 응시점의 이동 거리가 제 1 임계 거리보다 큰 경우, 커서 속도 제어부(205)는 최소 평탄 필터 계수를 바탕으로 마우스 커서의 위치를 결정할 수 있다. 다른 예를 들어, 응시점의 이동 거리가 제 2 임계 거리보다 작은 경우, 커서 속도 제어부(205)는 최대 평탄 필터 계수를 바탕으로 마우스 커서의 위치를 결정할 수 있다. 또 다른 예를 들어, 응시점의 이동 거리가 제 1 임계 거리보다 작고, 제 2 임계 거리보다 큰 경우, 커서 속도 제어부(205)는 미리 설정된 함수를 이용하여 계산된 평탄 필터 계수를 바탕으로 마우스 커서의 위치를 결정할 수 있다. 응시점의 이동 거리가 제 1 임계 거리보다 작고, 제 2 임계 거리보다 큰 경우, 커서 속도 제어부(205)는 아래의 수학식과 같이 평탄 필터 계수(f)를 계산할 수 있다.
Figure pat00001
이때, α는 최대 평탄 계수를 의미하고, β는 최소 평탄 계수를 의미하며, T는 제 1 임계 거리, t는 제 2 임계 거리를 의미한다. 또한, 커서 속도 제어부(205)는 현재 응시점(g[n])과 이전 프레임의 마우스 커서 위치(p[n-1])를 이용하여 아래의 수학식과 같이 응시점의 이동 거리(d)를 계산할 수 있다.
Figure pat00002
결과적으로, 커서 속도 제어부(205)는 결정된 평탄 필터 계수(f), 이전 프레임의 마우스 커서 위치(p[n-1]) 및 현재 응시점(g[n])를 이용하여 아래의 수학식과 같이 현재 마우스 커서의 위치(p[n])를 계산할 수 있다.
Figure pat00003
여기서, 응시점의 이동 거리와 평탄 필터 계수의 관계는 도 3에 도시된 바와 같은 그래프의 형태로 가시화될 수 있다. 도 3에 도시된 그래프의 형태는 하나의 실시 예이며, t ~ T 사이의 그래프 형태는 시작점과 끝점만 동일하다면 어떠한 그래프의 형태로든 표현될 수 있다.(예를 들어, 2차 식, 3차 식, tanh 등)
이에 따라, 응시점이 상대적으로 빠르게 이동하는 경우, 커서 속도 제어부(205)는 이전 응시점과 이후 응시점 사이의 거리 차이가 크기 때문에, 평탄 필터 계수를 최소 평탄 필터 계수로 결정하여, 마우스 커서의 이동 속도를 빠르게 제어할 수 있다.
반면, 응시점이 상대적으로 느리게 이동하는 경우, 커서 속도 제어부(205)는 이전 응시점과 이후 응시점 사이의 거리 차이가 작기 때문에, 평탄 필터 계수를 최대 평탄 필터 계수로 결정하여, 마우스 커서의 이동 속도를 느리게 제어할 수 있다.
더하여, 커서 속도 제어부(205)는 미리 설정된 영역에서 마우스 커서 속도를 제어할 수 있다. 예를 들어, 커서 속도 제어부(205)는 미리 설정된 컨텐츠로부터 임계 거리를 설정하여, 임계 거리 이내에서 응시점이 이동하는 경우, 마우스 커서의 움직임을 느리게 제어할 수 있다. 이때, 커서 속도 제어부(205)는 미리 설정된 영역으로 마우스 커서가 이동하는 경우, 평탄 필터 계수를 최대 평탄 필터 계수로 결정하여, 마우스 커서의 이동 속도를 느리게 제어할 수 있다.
도 4a는 본 발명의 실시 예에 따라 전자 장치(200)에서 응시점의 이동 거리에 따라 마우스 커서의 이동 속도를 제어하기 위한 절차를 도시하고 있다.
도 4a를 참조하면, 전자 장치(200)는 401단계에서 안구 이미지를 수신한다. 자세히 말해, 전자 장치(200)는 안구 인식을 위해 카메라를 통해 사용자를 촬영하고, 획득된 이미지에서 공지된 기술을 이용하여 안구의 영역을 추출할 수 있다.
이후, 전자 장치(200)는 403단계에서 안구 이미지를 분석하여 안구가 응시하는 응시점을 결정한다. 이때, 전자 장치(200)는 안구 인식을 통해 마우스 커서를 제어하는 미리 공지된 기술을 바탕으로 안구가 응시하는 응시점을 결정할 수 있다. 예를 들어, 전자 장치(200)는 카메라 주위에 구비된 제 1 LED를 통해 빛을 출력한 후, 제 2 LED를 통해 빛을 출력하여 안구에 제 2 LED의 LED 포인트를 선명하게 맺히게할 수 있다. 이때, 제 1 LED를 통해 빛을 출력한 후, 제 2 LED를 통해 빛을 출력하는 것은 안구에 제 2 LED의 LED 포인트가 선명하게 맺히도록 하여, 안구 이미지에서 제 2 LED의 포인트의 위치를 정확하게 판단할 수 있도록 하기 위함이다. 이후, 전자 장치(200)는 카메라를 통해 안구 이미지를 수신하고, 수신된 안구 이미지에서 동공 및 LED 포인트의 위치를 분석하여 응시점을 결정할 수 있다.
전자 장치(200)는 405단계에서 응시점의 이동 거리에 따라 평탄 필터 계수를 결정할 수 있다. 만약, 응시점의 이동 거리가 미리 결정된 제 1 임계 거리보다 큰 경우, 전자 장치(200)는 미리 결정된 최소 평탄 필터 계수를 마우스 커서의 위치 결정에 이용될 평탄 필터 계수로 결정할 수 있다. 또한, 응시점의 이동 거리가 미리 결정된 제 2 임계 거리보다 작은 경우, 전자 장치(200)는 미리 결정된 최대 평탄 필터 계수를 마우스 커서의 위치 결정에 이용될 평탄 필터 계수로 결정할 수 있다. 더하여, 응시점의 이동 거리가 미리 결정된 제 1 임계 거리보다 작고, 제 2 임계 거리보다 큰 경우, 전자 장치(200)는 수학식 1에 나타낸 바와 같이 미리 설정된 함수를 이용하여 계산된 평탄 필터 계수를 마우스 커서의 위치 결정에 이용될 평탄 필터 계수로 결정할 수 있다.
이후, 전자 장치(200)는 407단계로 진행하여 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어할 수 있다. 즉, 결정된 평탄 필터 계수를 이용하여 수학식 3에 나타낸 바와 같은 방식으로 마우스 커서의 위치를 결정함으로써, 마우스 커서의 이동 속도를 제어할 수 있다. 예를 들어, 전자 장치(200)는 시선의 이동이 빠른 경우(응시점의 이동 거리가 긴 경우), 최소 평탄 필터 계수를 이용하여 마우스 커서가 빠른 속도로 이동 되도록 제어할 수 있다. 또한, 전자 장치(200)는 시선의 이동이 느린 경우(응시점의 이동 거리가 짧은 경우), 최대 평탄 필터 계수를 이용하여 마우스 커서가 느린 속도로 이동 되도록 제어할 수 있다. 이에 따라, 본 발명의 실시 예에 따른 전자 장치(200)는 시선의 이동 속도에 따라 서로 다른 평탄 계수 필터를 적용하여 보다 정밀하게 마우스 커서의 이동을 제어할 수 있다.
도 4b는 본 발명의 실시 예에 따라 전자 장치(200)에서 응시점의 이동 거리에 따라 마우스 커서의 이동 속도를 제어하기 위한 수단을 도시하고 있다.
도 4b를 참조하면, 전자 장치(200)는 안구 이미지를 수신하는 수단(411)을 포함한다. 이때, 전자 장치(200)는 이미지 촬영을 위한 카메라를 구비할 수 있다. 더하여, 전자 장치(200)는 촬영된 이미지에서 사용자의 안구를 추출하여 인식하기 위한 모듈을 구비할 수 있다.
더하여, 전자 장치(200)는 안구 이미지를 분석하여 안구가 응시하는 응시점을 결정하는 수단(413)을 포함한다. 이때, 전자 장치(200)는 안구에 LED 포인트가 맺히도록 빛을 출력하는 제 2 LED 및 안구에 제 2 LED의 LED 포인트가 선명하게 맺히도록 빛을 출력하는 제 1 LED를 구비할 수 있다.
더하여, 전자 장치(200)는 응시점의 이동 거리에 따라 평탄 필터 계수를 결정하는 수단(415)를 포함한다. 더하여, 전자 장치(200)는 응시점의 이동 거리에 따라 서로 다른 평탄 필터 계수를 적용하기 위해, 평탄 필터 계수를 미리 저장하는 수단 및 평탄 필터 계수를 계산하기 위한 함수를 저장하는 수단을 포함할 수 있다.
더하여, 전자 장치(200)는 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어하는 수단(417)을 포함할 수 있다. 이때, 전자 장치(20))는 미리 설정된 영역 내에서 응시점의 이동이 감지되는 경우, 마우스 커서의 이동 속도를 느리게 설정하기 위한 수단을 포함할 수 있다.
도 5는 본 발명의 실시 예에 따라 전자 장치(200)에서 안구를 인식하여 응시점의 이동 속도에 따라 마우스 커서를 제어하기 위한 절차를 도시하고 있다.
도 5를 참조하면, 전자 장치(200)는 501단계에서 제 1 LED를 통해 빛을 출력할 수 있다. 자세히 말해, 전자 장치(200)는 카메라를 통해 안구 이미지를 획득할 경우, 해당 이미지에서 동공 및 LED 포인트의 위치를 선명하게 구별하기 위해, 카메라 주위에 구비된 제 1 LED에서 빛을 출력할 수 있다.
이후, 전자 장치(200)는 503단계에서 제 2 LED를 통해 빛을 출력할 수 있다. 이때, 전자 장치(200)는 안구 이미지를 획득하여 사용자가 응시하는 응시점을 결정하기 위해, 제 2 LED에서 빛을 출력할 수 있다.
이후, 전자 장치(200)는 505단계에서 카메라를 통해 안구 이미지를 수신한다. 자세히 말해, 전자 장치(200)는 카메라를 통해 사용자를 촬영하고, 촬영된 사용자의 이미지에서 안구 영역을 추출할 수 있다. 이때, 전자 장치(200)는 미리 공지된 기술을 이용하여 인물 이미지에서 안구 영역을 추출할 수 있다.
이후, 전자 장치(200)는 507단계로 진행하여 안구 이미지에서 동공 및 LED 포인트의 위치를 분석한 후, 509단계에서 분석 결과를 바탕으로 사용자가 응시하는 응시점을 결정할 수 있다. 자세히 말해, 전자 장치(200)는 안구 이미지에서 LED 포인트의 위치를 기준으로한 동공의 위치에 따라, 사용자가 응시하고 있는 응시점을 결정할 수 있다.
이후, 전자 장치(200)는 511단계에서 응시점의 이동을 감지할 수 있다. 이때, 응시점의 이동 거리는 현재 눈동자의 응시점과 이전 프레임의 마우스 커서 위치 사이의 거리를 바탕으로 결정할 수 있다.
이후, 전자 장치(200)는 513단계에서 응시점의 이동 거리(d)와 제 1 임계 거리(T) 및 제 2 임계 거리(t)를 비교하여 평탄 필터 계수를 결정할 수 있다. 이때, 제 1 임계 거리(T) 및 제 2 임계 거리(t)는 설계 단계에서 미리 설정되어 저장될 수 있으며, 사용자 제어에 따라 변경될 수 있다.
먼저, 응시점의 이동 거리(d)가 제 1 임계 거리(T)보다 큰 경우, 전자 장치(200)는 515단계에서 평탄 필터 계수를 미리 결정된 최소 평탄 필터 계수로 결정할 수 있다.
응시점의 이동 거리(d)가 제 1 임계 거리보다 작고, 제 2 임계 거리 보다 큰 경우, 전자 장치(200)는 517단계로 진행하여 미리 설정된 함수를 바탕으로 평탄 필터 계수를 결정할 수 있다. 이때, 전자 장치(200)는 상술한 수학식 1을 이용하여 평탄 필터 계수를 결정할 수 있다.
응시점의 이동 거리(d)가 제 2 임계 거리보다 작은 경우, 전자 장치(2000)는 519단계에서 평탄 필터 계수를 미리 결정된 최대 평탄 필터 계수로 결정할 수 있다.
응시점의 이동 거리와 미리 설정된 임계 거리의 비교 결과를 바탕으로, 평탄 필터 계수가 결정된 경우, 전자 장치(200)는 521단계로 진행하여 결정된 필터 계수를 바탕으로 마우스 커서의 위치를 결정할 수 있다. 이때, 전자 장치(200)는 상술한 수학식 3을 이용하여 마우스 커서의 위치를 결정할 수 있다.
이후, 전자 장치(200)는 523단계로 진행하여 결정된 위치로 마우스 커서를 이동시켜 디스플레이할 수 있다. 전자 장치(200)는 응시점의 이동 거리에 따라, 서로 다른 평탄 필터 계수를 적용함으로써, 시선이 빠르게 이동하는 경우에는 마우스 커서의 이동을 빠르게 제어할 수 있고, 시선이 느리게 이동하는 경우에는 마우스 커서의 이동을 느리게 제어할 수 있다. 예를 들어, 시선이 빠르게 이동하는 경우, 전자 장치(200)는 평탄 필터 계수를 작은 값으로 설정하여 마우스 커서의 이동을 빠르게 제어할 수 있다. 다른 예를 들어, 시선이 느리게 이동하는 경우, 전자 장치(200)는 평탄 필터 계수를 큰 값으로 설정하여 마우스 커서의 이동을 느리게 제어할 수 있다.
이후, 전자 장치(200)는 본 발명의 실시 예에 따른 절차를 종료할 수 있다.
이하 설명하는 도 6 및 도 7은 상술한 마우스 커서 제어 방법에 대한 실시 예로써, 응시점의 이동 거리에 따라 마우스 커서를 이동하는 경우, 컨텐츠 주위에서 보다 정교하게 마우스 커서의 이동을 제어하기 위한 방법이다.
도 6은 본 발명의 실시 예에 따라 전자 장치에서 응시점이 이동되는 경우, 마우스 커서의 속도를 제어하기 위한 절차를 도시하고 있다.
도 6을 참조하면, 응시점의 이동 거리가 긴 경우, 전자 장치는 평탄 필터 계수를 작은 값으로 설정하여 마우스 커서의 위치를 위치 A(601)에서 위치 B(603)로 빠르게 이동시킬 수 있다.
한편, 도 7에 도시된 바와 같이, 특정 컨텐츠의 임계 거리 내에서, 사용자의 응시점의 이동이 감지되는 경우, 전자 장치는 마우스 커서를 정교하게 제어하기 위해, 평탄 필터 계수를 큰 값으로 설정하여 마우스 커서의 위치를 위치 A(701)에서 위치 B(703)로 느리게 이동시킬 수 있다. 자세히 말해, 전자 장치(200)는 사용자가 마우스 커서를 이용하여 전자 장치(200)를 제어하는 경우, 자주 사용하는 컨텐츠의 임계 거리를 설정하고, 해당 임계 거리 이내에서 응시점의 이동이 감지되는 경우, 평탄 필터 계수를 큰 값으로 설정하여, 컨텐츠의 임계 거리 내에서 마우스 커서를 느리게 이동할 수 있도록 제어할 수 있다. 이때, 전자 장치는 컨텐츠의 UI크기에 따라 서로 다른 임계 거리를 설정할 수 있으며, 컨텐츠별 임계 거리는 전자 장치의 설계 단계에서 설정될 수 있고, 컨텐츠 설치 시, 사용자 제어에 의해 설정될 수 있으며, 사용자의 제어에 따라 변경될 수 있다.
본 명세서에 설명된 발명의 실시 예 및 모든 기능 동작들은 본 명세서에서 개시된 구조 및 이들의 균등 구조들을 포함하는 컴퓨터 소프트웨어, 펌웨어(firmware), 또는 하드웨어로, 또는 이들의 하나 이상의 조합으로 실시될 수 있다. 또한, 본 명세서에서 설명된 발 명의 실시 예들은 하나 이상의 컴퓨터 프로그램 제품, 즉 데이터 프로세싱 장치에 의해 실행되거나 이 장치의 동작을 제어하기 위한 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터프로그램 명령어들의 하나 이상의 모듈로 실시될 수 있다.
컴퓨터 판독가능 매체는 머신 판독가능 저장 매체, 머신 판독가능 저장 기판, 메모리 장치, 머신 판독가능 전파 스트림에 영향을 주는 물질의 구성, 또는 이들의 하나 이상의 조합이 될 수 있다. 데이터 프로세싱 장치라는 용어는 예로 프로그램 가능한 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 포함하는 데이터를 프로세싱하기 위한 모든 기기, 장치 및 머신을 포함한다. 기기는 하드웨어에 부가하여 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예컨대 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템 또는 하나 이상의 이들의 조합을 구성하는 코드를 포함할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야한다.

Claims (18)

  1. 안구 마우스의 커서를 제어하기 위한 전자 장치의 방법에 있어서,
    안구 이미지를 수신하는 과정과,
    상기 안구 이미지를 분석하여 상기 안구가 응시하는 응시점을 결정하는 과정과,
    상기 응시점의 이동 거리에 따라 평탄 필터(Smoothing Filter) 계수를 결정하는 과정과,
    상기 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어하는 과정을 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 안구 이미지를 수신하는 과정은,
    상기 전자 장치에 구비된 제 1 LED를 이용하여 빛을 출력하는 과정과,
    상기 전자 장치에 구비된 제 2 LED를 이용하여 빛을 출력하는 과정과,
    상기 전자 장치에 구비된 카메라를 이용하여 적어도 하나의 LED에 의한 포인트를 포함하는 안구 이미지를 촬영하는 과정과,
    상기 촬영된 이미지에서 안구 영역을 추출하는 과정을 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 안구 이미지를 분석하여 상기 안구가 응시하는 응시점을 결정하는 과정은,
    상기 이미지에서 동공 및 LED 포인트를 확인하는 과정과,
    상기 LED 포인트의 위치를 기준으로 한 상기 동공의 위치에 따라 상기 안구가 응시하는 응시점을 결정하는 과정을 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 응시점의 이동 거리는,
    현재 응시점과 이전 프레임의 마우스 커서 위치 사이의 거리를 바탕으로 결정하는 방법.
  5. 제 1 항에 있어서,
    상기 응시점의 이동 거리에 따라 평탄 필터(Smoothing Filter) 계수를 결정하는 과정은,
    상기 응시점의 이동 거리와 제 1 임계 거리 및 제 2 임계 거리를 비교하는 과정과,
    상기 응시점의 이동 거리가 제 1 임계 거리보다 큰 경우, 상기 미리 설정된 최소 평탄 필터 계수를 상기 평탄 필터 계수로 결정하는 과정을 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 응시점의 이동 거리가 제 1 임계 거리보다 작고, 제 2 임계 거리보다 큰 경우, 하기 수학식을 이용하여 평탄 필터 계수를 계산하는 과정과,
    상기 계산된 평탄 필터 계수를 상기 평탄 필터 계수로 결정하는 과정을 더 포함하는 방법.
    Figure pat00004

    여기서, f는 평탄 필터 계수, α는 최대 평탄 필터 계수, β는 최소 평탄 필터 계수, T는 상기 제 1 임계 거리, t는 상기 제 2 임계 거리를 의미함.
  7. 제 5 항에 있어서,
    상기 응시점의 이동 거리가 제 2 임계 거리보다 작은 경우, 미리 설정된 최대 평탄 필터 계수를 상기 평탄 필터 계수로 결정하는 과정을 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어하는 과정은,
    상기 평탄 필터 계수를 바탕으로 하기 수학식과 같이 마우스 커서의 위치를 계산하는 과정과,
    상기 계산된 위치로 상기 마우스 커서를 이동시키는 과정을 포함하는 방법.
    Figure pat00005

    여기서, p[n]은 현재 프레임의 마우스 커서 위치, f는 상기 결정된 평탄 필터 계수, p[n-1]은 이전 프레임의 마우스 커서 위치 및 g[n] 현재 응시점을 의미함.
  9. 제 1 항에 있어서,
    상기 응시점의 이동 거리에 따라 평탄 필터(Smoothing Filter) 계수를 결정하는 과정은,
    응시점이 특정 컨텐츠의 미리 설정된 임계 거리 이내로 이동하는지 여부를 확인하는 과정과,
    상기 응시점이 특정 컨텐츠의 미리 설정된 임계 거리 이내로 이동하는 경우, 상기 평탄 필터 계수를 미리 설정된 최대 평탄 필터 계수로 결정하는 과정을 포함하는 방법.
  10. 안구 마우스의 커서를 제어하기 위한 전자 장치에 있어서,
    안구 이미지를 수신하는 이미지 획득부와,
    상기 안구 이미지를 분석하여 상기 안구가 응시하는 응시점을 결정하고, 상기 응시점의 이동 거리에 따라 평탄 필터(Smoothing Filter) 계수를 결정한 후, 상기 평탄 필터 계수를 바탕으로 마우스 커서의 이동 속도를 제어하는 커서 속도 제어부를 포함하는 장치.
  11. 제 10 항에 있어서,
    상기 전자 장치에 구비된 제 1 LED를 이용하여 빛을 출력하도록 제어하고, 상기 전자 장치에 구비된 제 2 LED를 이용하여 빛을 출력하도록 제어하는 LED 출력 제어부를 더 포함하며,
    상기 이미지 획득부는 상기 전자 장치에 구비된 카메라를 이용하여 적어도 하나의 LED에 의한 포인트를 포함하는 안구 이미지를 촬영하도록 제어하며.
    상기 커서 속도 제어부는 촬영된 이미지에서 안구 영역을 추출하는 장치.
  12. 제 10 항에 있어서,
    상기 커서 속도 제어부는 상기 이미지에서 동공 및 LED 포인트를 확인하고, 상기 LED 포인트의 위치를 기준으로 한 상기 동공의 위치에 따라 상기 안구가 응시하는 응시점을 결정하는 장치.
  13. 제 10 항에 있어서,
    상기 응시점의 이동 거리는,
    현재 응시점과 이전 프레임의 마우스 커서 위치 사이의 거리를 바탕으로 결정하는 장치.
  14. 제 10 항에 있어서,
    상기 커서 속도 제어부는 상기 응시점의 이동 거리와 제 1 임계 거리 및 제 2 임계 거리를 비교하고, 상기 응시점의 이동 거리가 제 1 임계 거리보다 큰 경우, 상기 미리 설정된 최소 평탄 필터 계수를 상기 평탄 필터 계수로 결정하는 장치.
  15. 제 14 항에 있어서,
    상기 커서 속도 제어부는 상기 응시점의 이동 거리가 제 1 임계 거리보다 작고, 제 2 임계 거리보다 큰 경우, 하기 수학식을 이용하여 평탄 필터 계수를 계산하고, 상기 계산된 평탄 필터 계수를 상기 평탄 필터 계수로 결정하는 장치.
    Figure pat00006

    여기서, f는 평탄 필터 계수, α는 최대 평탄 필터 계수, β는 최소 평탄 필터 계수, T는 상기 제 1 임계 거리, t는 상기 제 2 임계 거리를 의미함.
  16. 제 14 항에 있어서,
    상기 커서 속도 제어부는 상기 응시점의 이동 거리가 제 2 임계 거리보다 작은 경우, 미리 설정된 최대 평탄 필터 계수를 상기 평탄 필터 계수로 결정하는 장치.
  17. 제 10 항에 있어서,
    상기 커서 속도 제어부는 상기 평탄 필터 계수를 바탕으로 하기 수학식과 같이 마우스 커서의 위치를 계산하고, 상기 계산된 위치로 상기 마우스 커서를 이동시키는 장치.
    Figure pat00007

    여기서, p[n]은 현재 프레임의 마우스 커서 위치, f는 상기 결정된 평탄 필터 계수, p[n-1]은 이전 프레임의 마우스 커서 위치 및 g[n] 현재 응시점을 의미함.
  18. 제 10 항에 있어서,
    상기 커서 속도 제어부는 응시점이 특정 컨텐츠의 미리 설정된 임계 거리 이내로 이동하는지 여부를 확인하고, 상기 응시점이 특정 컨텐츠의 미리 설정된 임계 거리 이내로 이동하는 경우, 상기 평탄 필터 계수를 미리 설정된 최대 평탄 필터 계수로 결정하는 장치.
KR1020130102161A 2013-08-28 2013-08-28 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치 KR102133018B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130102161A KR102133018B1 (ko) 2013-08-28 2013-08-28 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130102161A KR102133018B1 (ko) 2013-08-28 2013-08-28 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20150025041A true KR20150025041A (ko) 2015-03-10
KR102133018B1 KR102133018B1 (ko) 2020-07-10

Family

ID=53021356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130102161A KR102133018B1 (ko) 2013-08-28 2013-08-28 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치

Country Status (1)

Country Link
KR (1) KR102133018B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262168A1 (en) * 2014-08-29 2017-09-14 Hewlett-Packard Development Company, Lp. Touchscreen gestures
KR20190009105A (ko) 2017-07-18 2019-01-28 이주성 한글 입력용 안구인식 키보드
KR20190030928A (ko) * 2017-09-15 2019-03-25 한동대학교 산학협력단 아이트래킹 및 음성인식을 활용한 컴퓨터 대체접근 시스템 및 동작 방법
CN111552389A (zh) * 2020-05-11 2020-08-18 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
US11609692B2 (en) 2017-04-07 2023-03-21 Hewlett-Packard Development Company, L.P. Cursor adjustments
CN117631855A (zh) * 2023-11-30 2024-03-01 镇江领驭立方智能装备有限公司 一种基于物联网的多功能鼠标及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030069531A (ko) * 2002-02-21 2003-08-27 한국과학기술원 눈 응시점 추정방법
JP2008128998A (ja) * 2006-11-27 2008-06-05 Fuji Heavy Ind Ltd 平滑化フィルタ装置および速度検出装置
JP2012065781A (ja) * 2010-09-22 2012-04-05 Fujitsu Ltd 視線検出装置および補正係数算出プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030069531A (ko) * 2002-02-21 2003-08-27 한국과학기술원 눈 응시점 추정방법
JP2008128998A (ja) * 2006-11-27 2008-06-05 Fuji Heavy Ind Ltd 平滑化フィルタ装置および速度検出装置
JP2012065781A (ja) * 2010-09-22 2012-04-05 Fujitsu Ltd 視線検出装置および補正係数算出プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262168A1 (en) * 2014-08-29 2017-09-14 Hewlett-Packard Development Company, Lp. Touchscreen gestures
US10599326B2 (en) * 2014-08-29 2020-03-24 Hewlett-Packard Development Company, L.P. Eye motion and touchscreen gestures
US11609692B2 (en) 2017-04-07 2023-03-21 Hewlett-Packard Development Company, L.P. Cursor adjustments
KR20190009105A (ko) 2017-07-18 2019-01-28 이주성 한글 입력용 안구인식 키보드
KR20190030928A (ko) * 2017-09-15 2019-03-25 한동대학교 산학협력단 아이트래킹 및 음성인식을 활용한 컴퓨터 대체접근 시스템 및 동작 방법
CN111552389A (zh) * 2020-05-11 2020-08-18 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
CN111552389B (zh) * 2020-05-11 2023-04-28 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
CN117631855A (zh) * 2023-11-30 2024-03-01 镇江领驭立方智能装备有限公司 一种基于物联网的多功能鼠标及其控制方法

Also Published As

Publication number Publication date
KR102133018B1 (ko) 2020-07-10

Similar Documents

Publication Publication Date Title
US9703373B2 (en) User interface control using gaze tracking
KR102133018B1 (ko) 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치
US9131150B1 (en) Automatic exposure control and illumination for head tracking
US9122917B2 (en) Recognizing gestures captured by video
US9489574B2 (en) Apparatus and method for enhancing user recognition
US10001838B2 (en) Feature tracking for device input
US9734393B2 (en) Gesture-based control system
US9781360B2 (en) Gaze tracking variations using selective illumination
US9367951B1 (en) Creating realistic three-dimensional effects
US9207852B1 (en) Input mechanisms for electronic devices
US8934673B2 (en) Image processing method and apparatus for detecting target
CN107077258B (zh) 投射型影像显示装置以及影像显示方法
EP3608755A1 (en) Electronic apparatus operated by head movement and operation method thereof
EP2874045A1 (en) Gesture recognition device and control method for the same
US9171200B2 (en) Gestural interaction identification
US20180088671A1 (en) 3D Hand Gesture Image Recognition Method and System Thereof
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR100862349B1 (ko) 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
US20170344104A1 (en) Object tracking for device input
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
EP3757655A1 (en) Method and system for 3d cornea position estimation
KR20180074124A (ko) 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
KR20130137507A (ko) 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법
TW201709022A (zh) 非接觸式控制系統及方法
KR20190069023A (ko) 손 인식 기반 비접촉식 입력 인터페이스 제공 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant