KR101458295B1 - 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법 - Google Patents

눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법 Download PDF

Info

Publication number
KR101458295B1
KR101458295B1 KR1020130015860A KR20130015860A KR101458295B1 KR 101458295 B1 KR101458295 B1 KR 101458295B1 KR 1020130015860 A KR1020130015860 A KR 1020130015860A KR 20130015860 A KR20130015860 A KR 20130015860A KR 101458295 B1 KR101458295 B1 KR 101458295B1
Authority
KR
South Korea
Prior art keywords
keyboard
sub
unit
user
gaze
Prior art date
Application number
KR1020130015860A
Other languages
English (en)
Other versions
KR20140102486A (ko
Inventor
이필규
심연
신학철
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020130015860A priority Critical patent/KR101458295B1/ko
Publication of KR20140102486A publication Critical patent/KR20140102486A/ko
Application granted granted Critical
Publication of KR101458295B1 publication Critical patent/KR101458295B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상의 키보드 상에 위치하는 사용자의 시선을 추적하여, 특정한 키를 입력하고, 키 입력의 정확성을 향상시키기 위해 사용자의 얼굴 영상 분석 시, 강화학습을 적용하는 키보드 입력 장치 및 그 입력 방법에 관한 것으로, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치는 사용자의 얼굴을 영상 촬영하는 영상촬영부, 절대 좌표값으로 문자 및 기호 키(key)가 나열된 가상키보드부 및 상기 영상촬영부에서 촬영된 사용자의 시선을 추적하여, 상기 가상키보드부 상에서 사용자의 시선과 일치하는 키를 입력하는 시선추적입력부를 포함하는 것을 기술적 특징으로 한다.

Description

눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법{Keyboard input system and the method using eye tracking}
본 발명은 눈추적 기술을 이용한 키보드 입력 장치 및 방법에 관한 것으로, 더 상세하게는 가상의 키보드 상에 위치하는 사용자의 시선을 추적하여, 특정한 키를 입력하고, 키 입력의 정확성을 향상시키기 위해 사용자의 얼굴 영상 분석 시, 강화학습을 적용하는 키보드 입력 장치 및 그 입력 방법에 관한 것이다.
일반적으로 키보드는 문자, 숫자, 기호를 입력하는 수단으로 문자 키에 대한 보조적인 기능과 컴퓨터 동작을 제어하기 위한 기능키가 나열된 형태로 구성된다.
종래의 키보드는 키 입력을 위해 키를 누르거나 터치하는 방식으로 구동되는데 이에 따라 손가락의 거동이 불편한 사용자이거나 별도의 키보드 장치가 구비되어 있지 않은 경우, 데이터 입력이 어려운 문제점이 있다.
최근에는 별도의 키보드의 구성없이 음성으로 데이터를 인식하거나 바닥면에 적외선을 투시하여 손가락 움직임을 인식하거나, 디스플레이 장치에 가상키보드를 형성 후, 사용자의 시선을 추적하는 방식으로 데이터를 입력하는 등 다양하게 개발되고 있는 실정이다.
그중 시선 추적 기술을 이용한 키보드 입력 방법은 대한민국 공개특허 공보 제10-2003-0022538호(2003. 03. 17)에 기재된 바와 같이, 사용자의 얼굴에 사용자의 눈을 영상 촬영하는 장치를 구비하여, 근거리에서 사용자의 눈 영상을 획득하는 방식이 개발되었지만 사용자가 반드시 별도의 촬영 장치를 장착해야 하는 번거로움이 있으며, 이에 따라 키보드 입력 이외에 다른 작업을 병행 시, 시야 확보가 어려운 불편함이 있다.
또한, 종래에는 원거리에서 사용자의 얼굴을 촬영하여, 시선을 추적하는 방식도 개발되었지만 사용자의 시선 포인트를 검출하기 어려워 입력 데이터의 정확성이 떨어지며, 사용자가 응시한 키 지점을 추측하는데 오랜 시간이 소요되어, 전체적인 키보드 입력 작업이 비효율적인 문제점이 있다.
한편, 강화학습 시스템의 주요 구성요소는 행동 선택 정책(Policy), 보상함수(Reward function), 가치함수(Value function)를 들 수 있는데 여기에 필요에 따라 환경모델이 적용되어 사용된다.
먼저 정책은 특정 시간에 특정 상태를 선택을 하며 확률적인 가중치를 적용한 시행을 반복하며 이를 통해 발생하는 시행과 시행착오를 통해 최적의 목표로 접근하는 방법으로 정책의 종류로는 greedy정책, e-greedy정책, 소프트맥스 정책 등이 있다.
상기 e-greedy정책은 단순화된 환경에 빠르게 목표에 도달이 가능한 것으로, 주어진 상황을 분석하여 현재 시점에서 최적이라고 판단되는 행동을 선택하는 방법이며, e만큼의 미래에는 더 최적이라고 추정되는 행동을 선택할 수 있다는 가정을 두고 수행이 이루어지며 이 확률은 1-e보다 더 크게 수렴하게 된다.
보상합수는 에이전트의 행동에 대해서 환경으로부터 얻어지는 보상을 누적하여 미래에 대한 평가에 반영하는 정도를 나타내는 것으로 이 함수는 상황에 대한 평가적인 특성을 가지고 있다.
Figure 112013013361305-pat00001
여기서,
Figure 112013013361305-pat00002
는 할인상수(Discount factor)로 과거의 평가가 현재에 반영되는 정도를 의미하며 이 값이 1에 가까울수록 과거의 보상에 대한 의존도가 높아지는 특성을 보이며 반대로 0에 가까울수록 의존도가 낮아진다.
가치함수는 에이전트가 학습이 진행되는 동안 누적되는 보상에 대해서 현재의 상태에 대한 가치를 평가하는 함수로 주어진 상태에 대해 행동을 얼마나 잘 수행 하는지에 대한 평가라고 할 수 있다. 상태s와 행동
Figure 112013013361305-pat00003
로부터 다음번에 취해질 행동을 확률적으로 선택하게 하며 가치의 평가는 다음 [수학식 2]와 같다.
Figure 112013013361305-pat00004
상기 상태에 대한 가치함수는 아래 [수학식 3] 및 [수학식 4]로 표현되는데 이는 t+1이후에 시간에 대한 기댓값으로 표현된다.
Figure 112013013361305-pat00005
Figure 112013013361305-pat00006
이때, 평가함수
Figure 112013013361305-pat00007
는 정책에 대한 상태-평가 함수이며
Figure 112013013361305-pat00008
는 상태s에서 행동a를 취했을 때 기대되는 평가 값이다. 상황에 대한 보상이나 상태에 대한 상수들을 적절히 선택한다면 위의 단계들을 반복 수행하여 사용자가 원하는 최적의 목표에 수렴하게 된다.
대한민국 공개특허 공보 10-2003-0022538A, 2003. 03. 17, 5쪽 내지 6쪽.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치의 목적은, 사용자의 시선을 추적하여, 절대 좌표값으로 나열된 가상키보드의 키를 입력할 수 있는 장치를 제공하는데 있다.
다른 목적은 가상키보드부는 다수 개의 키 영역으로 구성된 서브키보드를 나열하여, 서브키보드를 선택하여, 특정 키 입력이 가능하도록 하는데 있다.
또 다른 목적은, 시선추적입력부를 포함하여, 캘리브레이션을 통해 서브키보드의 중심점 좌표값을 산출하고, 사용자 시선의 위치와 중심점 간의 거리를 산출하여, 해당하는 위치의 키를 입력하는데 있다.
또 다른 목적은, 시선추적부를 포함하여, 사용자의 시선이 특정 위치를 응시하는 여부 및 눈 깜박임을 감지하여, 서브키보드를 선택하고, 선택된 서브키보드 내에 위치한 키를 입력하는데 있다.
또 다른 목적은, 영상이진화부를 더 포함하여, 강화학습에 의한 이진화 문턱값을 설정하고, 설정된 문턱값에 따라 사용자의 눈 영상을 이진화하는데 있다.
본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법의 목적은, 서브키보드의 경계 좌표를 캘리브레이션 후, 이진화된 영상으로 사용자의 시선을 추적하여, 키를 입력할 수 있는 방법을 제공하는데 있다.
다른 목적은, 서브키보드의 경계 좌표를 특정하여, 각 서브키보드의 중심점 좌표를 산출하는데 있다.
또 다른 목적은, 서브키보드의 중심점 응시 후, 눈 깜박임 발생 시, 해당 서브키보드를 활성화하고, 서브키보드 내의 특정 키를 응시에 따른 키입력을 수행하는데 있다.
또 다른 목적은, 강화학습에 의한 이진화 문턱값을 설정하여, 사용자의 시선 추적의 정확성을 확보하는데 있다.
본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치는 사용자의 얼굴을 영상 촬영하는 영상촬영부, 절대 좌표값으로 문자 및 기호 키(key)가 나열된 가상키보드부 및 상기 영상촬영부에서 촬영된 사용자의 시선을 추적하여, 상기 가상키보드부 상에서 사용자의 시선과 일치하는 키를 입력하는 시선추적입력부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 가상키보드부는 다수의 키 영역으로 구성된 서브키보드를 적어도 두 개 이상 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 시선추적입력부는 상기 서브키보드의 경계지점에 있는 특정 좌표값을 측정하여, 서브키보드의 중심점 좌표값을 산출하는 캘리브레이션부 및 사용자의 시선을 추적하여, 상기 중심점을 기준으로 사용자의 시선이 포인팅된 지점의 거리를 산출하여, 해당되는 위치의 키를 입력하는 시선추적부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 시선추적부는 이진화된 눈 영상으로 특정 좌표 응시에 따른 사용자의 눈깜박임을 감지하여, 특정 서브키보드를 활성화시키는 서브키보드선택부 및 활성화된 특정 서브키보드 내에 특정 키를 일정 시간 응시하는 것을 감지하여, 키를 입력하는 키입력부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 시선추적입력부는 강화학습에 의한 이진화 문턱값을 설정하여, 상기 영상촬영부에서 촬영된 사용자의 얼굴 영상을 이진화하는 영상이진화부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법은 (a) 시선추적입력부를 이용하여, 문턱값을 설정 후, 영상촬영부에서 촬영된 눈 영상을 이진화하는 단계, (b) 상기 시선추적입력부를 이용하여, 가상키보드부에 포함된 서브키보드의 경계부분 좌표를 캘리브레이션하는 단계 및 (c) 상기 시선추적부를 이용하여, 사용자의 시선을 추적하여, 키를 입력하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법에 있어서, (b) 단계는 (b-1) 두 개 이상의 서브키보드가 존재 시, 각 서브키보드의 경계 부분의 좌표를 순차적으로 측정하는 단계 및 (b-2) 상기 (b-1) 단계에서 측정된 좌표 간의 거리로 각 서브키보드의 중심점을 산출하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법에 있어서, (c) 단계는 (c-1) 서브키보드의 중심점 좌표를 응시하는 것을 감지하고, 눈 깜박임이 발생 시, 해당 중심점을 포함하는 서브키보드를 활성화하는 단계 및 (c-2) 활성화된 서브키보드 내에 특정 지점을 일정 시간 이상 응시하는 것을 감지 시, 중심점과의 거리를 산출하여, 해당하는 위치의 키를 입력하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법에 있어서, (a) 단계는 상기 문턱값을 설정 시, 강화학습에 의해 이진화 문턱값을 설정하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치는 사용자의 시선을 추적하여, 절대 좌표값으로 나열된 가상키보드의 키를 입력함으로써, 키 입력에 소요되는 시간을 단축하고, 좌표값에 의한 키 위치 추정으로 키 입력의 정확성을 향상시킬 수 있는 효과가 있다.
또한, 가상키보드부는 다수 개의 키 영역으로 구성된 서브키보드를 나열하여, 서브키보드를 선택 후, 특정 키를 입력함으로써, 입력 키의 추정 작업이 체계적으로 이루어질 수 있는 효과가 있다.
또한, 캘리브레이션을 통해 서브키보드의 중심점 좌표값을 산출하여, 서브키보드 간의 영역 구별을 정확하게 수행할 수 있으며, 사용자 시선의 위치와 중심점 간의 거리를 산출하여, 해당하는 위치의 키를 정확하게 입력할 수 있는 효과가 있다.
또한, 사용자의 시선이 특정 위치를 응시하는 여부 및 눈 깜박임을 감지하여, 서브키보드를 선택하고, 사용자의 시선 응시 시간을 측정하여, 시선이 위치한 키를 입력할 수 있는 효과가 있다.
또한, 영상이진화부를 더 포함하여, 강화학습에 의한 이진화 문턱값을 설정하고, 설정된 문턱값에 따라 사용자의 눈 영상을 이진화함으로써, 시선 추적 작업을 보다 정확하게 수행할 수 있는 효과가 있다.
본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법은, 서브키보드의 경계 좌표를 캘리브레이션 후, 이진화된 영상으로 사용자의 시선을 추적 시, 강화 학습을 적용함으로써, 가상키보드에서 사용자의 시선이 위치한 키를 정확하게 입력할 수 있는 방법을 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치의 전체 구성을 나타내는 구성도.
도 2는 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 가상키보드부의 일실시예를 나타내는 도면.
도 3은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 시선추적입력부의 상세 구성을 나타내는 도면.
도 4는 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 사용자 눈 영상의 이진화한 실시예 영상.
도 5는 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 캘리브레이션 동작 개념을 설명하는 개념도.
도 6은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 시선추적부의 상세 구성을 나타내는 구성도.
도 7은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치에 있어서, 시선추적부에 의한 키입력 과정을 나타내는 일실시예 도면.
도 8은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법의 전체 흐름을 나타내는 흐름도.
도 9는 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법에 있어서, S20 단계의 상세 흐름을 나타내는 흐름도.
도 10은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법에 있어서, S30 단계의 상세 흐름을 나타내는 흐름도.
도 11은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법에 있어서, S40 단계의 상세 흐름을 나타내는 흐름도.
이하, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
[도 1]은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치의 전체 구성을 나타내는 도면으로 영상촬영부(10), 시선추적입력부(20) 및 가상키보드부(30)을 포함한다.
상기 영상촬영부(10)는 사용자의 얼굴을 영상 촬영하는 역할을 하며, 본 발명에 따른 상기 영상촬영부(10)는 상기 가상키보드(30)가 형성되는 디스플레이 장치 상부에 위치하여, 사용자의 얼굴 정면 중앙을 향하도록 위치시켜 촬영하는 것이 바람직하며, 본 발명에 따른 실시예에서 상기 영상촬영부(10)는 사용자의 얼굴과의 거리를 50센티미터 유지하도록 하였다.
상기 시선추적입력부(20)는 상기 영상촬영부(10)에서 촬영된 사용자의 시선을 추적하여, 상기 가상키보드부(30) 상에서 사용자의 시선과 일치하는 키를 입력하는 역할을 한다.
본 발명에 따른 상기 가상키보드부(30)는 [도 2]에 도시된 바와 같이, 다수의 키 영역으로 구성된 서브키보드를 포함하며, 본 발명의 실시예에서는 9개의 키 영역을 포함하는 제1서브키보드(31), 제2서브키보드(32) 및 제3서브키보드(33)가 나열된 형태로 구성하였으며, 총 26개의 영문 키와 하나의 스페이스 키로 형성하였으며, 각각의 서브키보드는 색상을 상이하게 형성하여, 사용자가 식별하기 용이하게 하였다.
본 발명에 따른 상기 시선추적부(20)는 [도 3]에 도시된 바와 같이, 영상이진화부(21), 캘리브레이션부(22) 및 시선추적부(23)를 포함한다.
상기 영상이진화부(21)는 상기 영상촬영부에서 촬영된 사용자의 얼굴 영상에서 눈 영역을 추출하여, 강화학습에 의한 이진화 문턱값을 설정한 후, 사용자의 눈 영상을 이진화하는 역할을 한다.
본 발명에 따른 상기 강화학습을 사용하는데 있어 환경에 대한 모델 역시 중요한 요소 중 하나인데 에이전트가 주어진 환경과 상호작용을 할 때 상태(state), 행동(action), 보상(reward)이라는 조건들을 이용한다.
여기에서 환경은 상태로 표현이 되며 에이전트는 적절한 정책에 따라 행동을 취하게 된다. 특정 시각 t에 행동을 취하면 행동에 대한 보상이 이루어지며 상태
Figure 112013013361305-pat00009
가
Figure 112013013361305-pat00010
로 변화되는 방식으로 진행된다.
본 발명에 있어서, 강화학습의 환경 모델은 마코프 속성을 만족하는 마코프 결정 과정(Markov Decision Process)을 사용하는데, 마코프 속성은 주어진 환경에서 적합한 환경의 상태 신호인데 이 모든 신호를 사용자에게 알려줄 수 없기 때문에 현재의 상태를 중요시 판단하여 오직 시각 t의 상태와 행동에만 의존하는 독립적인 속성을 갖는다.
Figure 112013013361305-pat00011
상기 [수학식 5]는 본 발명에 있어서, 시각 t에서 상태s와 행동a에 대해 t+1의 시간에 상태
Figure 112013013361305-pat00012
으로 전이될 확률을 나타낸 식이다.
본 발명에 따른 상기 영상이진화부(21)에서 결정된 이진화 문턱값으로 사용자의 눈동자 인식률이 설정된 기준(본 발명의 실시예에서는 80%의 인식률로 설정) 이상으로 접근하면 강화학습을 중지하게 된다.
또한, 본 발명에 따른 상기 영상이진화부(21)의 이진화된 영상으로 [도 4]에 도시된 바와 같이, 사용자의 눈깜박임을 감지할 수 있으며, 이러한 눈깜박임 동작으로 이벤트 입력인지 여부를 감지할 수 있다.
상기 캘리브레이션부(22)는 상기 서브키보드의 경계 좌표를 측정하여, 서브키보드의 중심점 좌표값을 산출하는 역할을 하며, 본 발명의 실시예에서는 [도 5]에 도시된 바와 같이, 두 번의 캘리브레이션이 수행된다.
먼저 상기 제2서브키보드(32)와 인접한 제1서브키보드(31)의 제1경계좌표(35)를 측정하고, 제3서브키보드(33)와 인접한 제2서브키보드(32)의 제2경계좌표(36)를 측정하며, 상기 제1경계좌표(35)와 상기 제2경계좌표(36)간의 거리를 기반으로 각각의 서브키보드의 중심점 좌표를 추측할 수 있으며, 서브키보드 내부의 각 키의 위치를 판단할 수 있다.
이러한 상기 캘리브레이션부(22)의 동작 횟수는 상기 서브키보드의 개수에 따라 다르게 수행될 수 있다.
상기 시선추적부(23)는 사용자의 시선을 추적하여, 상기 중심점을 기준으로 사용자의 시선이 포인팅된 지점의 거리를 산출하여, 해당되는 위치의 키를 입력하는 역할을 하며, 본 발명에 따른 상기 시선추적부(23)는 [도 3]에 도시된 바와 같이, 서브키보드선택부(231) 및 키입력부(232)를 포함한다.
상기 서브키보드선택부(231)는 상기 영상이진화부(21)에서 이진화된 눈 영상으로 특정 좌표 응시에 따른 사용자의 눈깜박임을 감지하여, 특정 서브키보드를 활성화시키는 역할을 하며, [도 7]에 도시된 바와 같이 제1서브키보드(31) 내지 제3서브키보드(33)에 각각 활성화된 S, G, K키 중에 하나의 키를 응시하고, 연속 2번 눈 깜박임 동작이 발생한 경우, 해당 키가 포함된 서브키보드 내의 모든 키를 활성화하는 역할을 한다.
상기 키입력부(232)는 활성화된 서브키보드 내에 특정 위치를 일정 시간 응시하는 것을 감지하여, 응시지점과 중심점 좌표 간의 거리로 키를 추측하여 입력하는 역할을 한다.
본 발명의 실시예에서 키 입력을 위한 응시 감지 시간은 1초로 설정하였다.
이상에서 설명한 바와 같이, 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치를 적용 시, 사용자의 시선을 추적하여, 절대 좌표값으로 나열된 가상키보드의 키를 입력함으로써, 키 입력에 소요되는 시간을 단축할 수 있으며, 좌표값에 의한 키 위치 추정으로 키 입력의 정확성을 향상시킬 수 있는 효과를 누릴 수 있는 것이다.
상기 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 장치를 이용한 키보드 입력 방법을 설명하면 다음과 같다.
[도 8]은 본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법에 관한 것으로, 영상촬영부(10)를 이용하여, 사용자의 얼굴 영상을 촬영하는 단계(S10)를 수행한 후, 시선추적입력부를 이용하여, 이진화 문턱값을 설정 후, 영상촬영부에서 촬영된 눈 영상을 이진화하는 단계(S20)를 수행한다.
본 발명에 따른 상기 S20 단계는 [도 9]에 도시된 상세 흐름도와 같이, 이진화부(21)를 이용하여, 사용자의 눈 영상을 추출(S21)하고, 강화학습에 의한 이진화 문턱값을 설정(S23) 후, 사용자의 눈 영상을 이진화(S25)하는 단계를 수행한다.
다음으로 이진화된 사용자의 눈 영상의 인식률을 확인하여, 설정값보다 이상인지 여부를 확인(S27)하여, 설정값 이상일 경우, S30 단계를 수행하고, 설정값 이하일 경우, 상기 S23단계로 돌아가 재수행한다.
다음으로, 캘리브레이션부(22)를 이용하여, 가상키보드부(30)에 포함된 서브키보드(31, 32, 33)의 경계좌표(35, 37)를 캘리브레이션하는 단계(S30)를 수행한다.
[도 10]은 상기 S30 단계의 상세 흐름을 나타내는 도면으로 각 서브키보드의 경계좌표를 순차적으로 측정(S31)한 후, 측정된 상기 경계좌표 간의 거리를 산출(S33)하고, 각 서브키보드의 중심점을 산출하는 단계(S35)를 수행한다.
상기 S30단계를 통해 서브키보드의 중심점 좌표를 산출할 수 있으며, 서브키보드 내부의 각 키의 위치를 판단할 수 있는 것이다.
다음으로, 상기 시선추적부(23)를 이용하여, 사용자의 시선을 추적하여, 키를 입력하는 단계(S40)를 수행한다.
[도 11]은 본 발명에 따른 상기 S40 단계의 상세 흐름을 나타내는 도면으로, 서브키보드의 중심점 좌표를 응시하는 것을 감지(S41) 후, 연속된 눈 깜박임 동작을 감지(S42)하면 해당 중심점을 포함하는 서브키보드를 활성화하는 단계(S43)를 수행한다. 또한, 상기 S42 단계에서 연속된 눈 깜박임 동작이 감지되지 않을 경우, 상기 S41 단계로 돌아가 재수행한다.
다음으로, 활성화된 서브키보드 내에 특정 지점을 일정 시간 이상 응시하는 것을 감지(S45)하면 상기 S35 단계에서 산출된 중심점과의 거리를 산출(S47)하는 단계를 수행하고, S47 단계의 거리 정보를 기반으로 추측된 위치의 키를 입력하는 단계(S49)를 수행한다.
본 발명에 따른 눈추적 기술을 이용한 키보드 입력 방법을 적용 시, 서브키보드의 경계 좌표를 캘리브레이션 후, 이진화된 영상으로 사용자의 시선을 추적 시, 강화 학습을 적용함으로써, 가상키보드에서 사용자의 시선이 위치한 키를 정확하게 입력할 수 있는 효과를 누릴 수 있다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법으로 구현할 수 있다.
10 : 영상촬영부
20 : 시선추적부
21 : 영상이진화부
22 : 캘리브레이션부
23 : 시선추적부
30 : 가상키보드부
31 내지 33 : 제1서브키보드 내지 제3서브키보드
35 : 제1경계좌표
36 : 제2경계좌표
231 : 서브키보드선택부
232 : 키입력부

Claims (11)

  1. 사용자의 얼굴을 영상 촬영하는 영상촬영부;
    절대 좌표값으로 문자 및 기호 키(key)가 나열된 서브키보드를 적어도 두 개 이상 포함하는 가상키보드부 및
    상기 영상촬영부에서 촬영된 사용자의 시선을 추적하여, 상기 가상키보드부 상에서 사용자의 시선과 일치하는 키를 입력하는 시선추적입력부를 포함하며,
    상기 시선추적입력부는,
    상기 서브키보드의 경계지점에 있는 특정 좌표값을 측정하여, 서브키보드의 중심점 좌표값을 산출하는 캘리브레이션부 및
    사용자의 시선을 추적하여, 상기 중심점을 기준으로 사용자의 시선이 포인팅된 지점의 거리를 산출하여, 해당되는 위치의 키를 입력하는 시선추적부를 포함하되,
    상기 시선추적부는,
    이진화된 눈 영상으로 특정 좌표 응시에 따른 사용자의 눈깜박임을 감지하여, 특정 서브키보드를 활성화시키는 서브키보드선택부 및
    활성화된 서브키보드 내에 특정 위치를 일정 시간 응시하는 것을 감지하여, 응시지점과 중심점 간의 거리로 키를 추측하여 입력하는 키입력부를 포함하는 것을 특징으로 하는 눈추적 기술을 이용한 키보드 입력 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 시선추적입력부는,
    강화학습에 의한 이진화 문턱값을 설정하여, 상기 영상촬영부에서 촬영된 사용자의 얼굴 영상을 이진화하는 영상이진화부를 더 포함하는 것을 특징으로 하는 눈추적 기술을 이용한 키보드 입력 장치.
  6. 제1항에 있어서,
    상기 서브키보드는,
    3개의 키가 3열로 나열되어 총 9개의 키 영역을 형성되는 것을 특징으로 하는 눈추적 기술을 이용한 키보드 입력 장치.
  7. (a) 시선추적입력부를 이용하여, 이진화 문턱값을 설정 후, 영상촬영부에서 촬영된 눈 영상을 이진화하는 단계;
    (b) 상기 시선추적입력부를 이용하여, 가상키보드부에 포함된 서브키보드의 경계부분 좌표를 캘리브레이션하는 단계 및
    (c) 상기 시선추적부를 이용하여, 사용자의 시선을 추적하여, 키를 입력하는 단계를 포함하며,
    상기 (b) 단계는,
    (b-1) 두 개 이상의 서브키보드가 존재 시, 각 서브키보드의 경계좌표를 순차적으로 측정하는 단계 및
    (b-2) 상기 (b-1) 단계에서 측정된 경계좌표 간의 거리로 각 서브키보드의 중심점을 산출하는 단계를 포함하는 것을 특징으로 하는 눈추적 기술을 이용한 키보드 입력 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 (c) 단계는,
    (c-1) 서브키보드의 중심점 좌표를 응시하는 것을 감지하고, 눈 깜박임이 발생 시, 해당 중심점을 포함하는 서브키보드를 활성화하는 단계 및
    (c-2) 활성화된 서브키보드 내에 특정 지점을 일정 시간 이상 응시하는 것을 감지 시, 중심점과의 거리를 산출하여, 해당하는 위치의 키를 입력하는 단계를 포함하는 것을 특징으로 하는 눈추적 기술을 이용한 키보드 입력 방법.
  10. 제7항에 있어서,
    상기 (a) 단계는
    상기 문턱값을 설정 시, 강화학습에 의해 이진화 문턱값을 설정하는 것을 특징으로 하는 눈추적 기술을 이용한 키보드 입력 방법.
  11. 제7항에 있어서,
    상기 (a) 단계 이전에
    (d) 시선추적입력부를 이용하여, 영상촬영부에서 촬영된 사용자의 얼굴 영상에서 눈영역을 추출하는 단계를 더 포함하는 것을 특징으로 하는 눈추적 기술을 이용한 키보드 입력 방법.
KR1020130015860A 2013-02-14 2013-02-14 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법 KR101458295B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130015860A KR101458295B1 (ko) 2013-02-14 2013-02-14 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130015860A KR101458295B1 (ko) 2013-02-14 2013-02-14 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법

Publications (2)

Publication Number Publication Date
KR20140102486A KR20140102486A (ko) 2014-08-22
KR101458295B1 true KR101458295B1 (ko) 2014-11-04

Family

ID=51747274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130015860A KR101458295B1 (ko) 2013-02-14 2013-02-14 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법

Country Status (1)

Country Link
KR (1) KR101458295B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056070A (ko) 2019-11-08 2021-05-18 금오공과대학교 산학협력단 전신 마비 환자용 아이 키보드 장치 및 그 처리 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101508842B1 (ko) * 2013-09-04 2015-04-07 인하대학교 산학협력단 저비용 휴먼 컴퓨터 상호작용 어플리케이션을 위한 진화 적응 시선 추적을 제공하는 시스템 및 방법
KR102065532B1 (ko) 2017-07-18 2020-01-13 이주성 한글 입력용 안구인식 키보드

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141862A (ja) * 2004-11-24 2006-06-08 Saga Univ 視線方向特定システム
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141862A (ja) * 2004-11-24 2006-06-08 Saga Univ 視線方向特定システム
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056070A (ko) 2019-11-08 2021-05-18 금오공과대학교 산학협력단 전신 마비 환자용 아이 키보드 장치 및 그 처리 방법

Also Published As

Publication number Publication date
KR20140102486A (ko) 2014-08-22

Similar Documents

Publication Publication Date Title
US20210271340A1 (en) Gesture recognition devices and methods
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
TWI478041B (zh) 於觸控面板上識別手掌區域方法及其更新方法
US10802644B2 (en) Assistive text-entry system and method
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US20150323998A1 (en) Enhanced user interface for a wearable electronic device
US20090066659A1 (en) Computer system with touch screen and separate display screen
KR102247020B1 (ko) 손가락 동작 인식을 이용한 키보드 입력 시스템 및 키보드 입력 방법
CN104520799A (zh) 通过眼睛跟踪进行的用户输入处理
CN109891491A (zh) 交互式显示器
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR20140002007A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN109829368A (zh) 手掌特征的识别方法、装置、计算机设备及存储介质
KR101671837B1 (ko) 시선 추적형 입력 장치
KR20160063163A (ko) 터치 제스쳐 인식 방법 및 장치
CN113867521B (zh) 一种基于手势视觉识别的手写输入方法、装置及电子设备
CN104850219A (zh) 估计附着物体的人体姿势的设备和方法
KR101458295B1 (ko) 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법
KR102068837B1 (ko) 파킨슨병의 진단을 위한 입력 패턴 분석 장치 및 방법
CN105677194A (zh) 一种对象选择方法及终端
Tung et al. RainCheck: overcoming capacitive interference caused by rainwater on smartphones
KR100800439B1 (ko) 터치패드 입력 오차 보정 방법 및 그 단말기
CN111367459B (zh) 利用压力触控板的文本输入方法和智能电子设备
JP2015049859A (ja) 操作能力評価用プログラム及び操作能力評価システム
KR20190069023A (ko) 손 인식 기반 비접촉식 입력 인터페이스 제공 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 5