KR100749033B1 - 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치 - Google Patents

두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치 Download PDF

Info

Publication number
KR100749033B1
KR100749033B1 KR1020040014344A KR20040014344A KR100749033B1 KR 100749033 B1 KR100749033 B1 KR 100749033B1 KR 1020040014344 A KR1020040014344 A KR 1020040014344A KR 20040014344 A KR20040014344 A KR 20040014344A KR 100749033 B1 KR100749033 B1 KR 100749033B1
Authority
KR
South Korea
Prior art keywords
terminal
eyes
reflected
light
camera
Prior art date
Application number
KR1020040014344A
Other languages
English (en)
Other versions
KR20040027764A (ko
Inventor
이기혁
손미숙
Original Assignee
학교법인 한국정보통신학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 한국정보통신학원 filed Critical 학교법인 한국정보통신학원
Priority to KR1020040014344A priority Critical patent/KR100749033B1/ko
Publication of KR20040027764A publication Critical patent/KR20040027764A/ko
Application granted granted Critical
Publication of KR100749033B1 publication Critical patent/KR100749033B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Abstract

본 발명은 휴대용 단말기를 소지한 사용자의 두 눈에서 반사되는 빛(Glint)을 추적하여 휴대용 단말기의 입력을 조작하는 방법, 및 그 장치에 관한 것이다. 본 발명에 따른 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법은, a) 사용자가 소지한 단말기로부터 발광되는 적외선 신호를 사용자가 두 눈으로 감지하는 경우, 단말기 내의 카메라 렌즈를 통해 두 눈의 각막으로부터 각각 반사되는 빛의 이미지 위치를 검출하는 단계; b) 반사되는 빛의 이미지 위치에 대응하는 전기신호에 따라 두 눈에 대한 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하는 단계; c) 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보에 대응하는 두 눈의 좌표를 구하는 단계; 및 d) 반사되는 빛의 위치 추적에 대응하여 단말기 조작을 수행하는 단계를 포함한다. 본 발명에 따르면, 휴대용 단말기에 내장된 카메라를 이용하여 단말기를 쥔 사용자 두 눈에서 반사되는 빛의 위치를 추적하여, 이를 휴대용 단말기의 입력 방법으로 사용하고, 또한, 휴대용 단말기의 버튼 조작과 화면 GUI를 조작할 수 있다.
휴대용 단말기, Glint, 카메라, GUI, 위치 추적

Description

두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법, 및 그 장치 {A METHOD FOR MANIPULATING A TERMINAL USING USER'S GLINT, AND AN APPARATUS}
도 1은 본 발명의 실시예에 따른 휴대용 단말기 조작 장치의 개략적인 구성도이다.
도 2는 본 발명의 실시예에 따른 두 눈에서 반사되는 빛(Glint)의 위치와 촬상 소자면 상의 대응되는 Glint 이미지의 위치 관계를 나타내는 도면이다.
도 3a 및 도 3b는 각각 본 발명의 실시예에 따른 촬상 소자상의 두 Glint 이미지가 나란한 경우, 및 그렇지 않은 경우를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 휴대용 단말기 조작 장치의 세부 구성도이다.
도 5는 본 발명의 실시예에 따른 휴대용 단말기 조작 방법의 순서도이다.
본 발명은 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법, 및 그 장치에 관한 것으로, 보다 구체적으로, 휴대용 단말기를 소지한 사용자의 두 눈에서 반사되는 빛을 추적하여 휴대용 단말기의 입력을 조작하는 방법, 및 그 장치 에 관한 것이다.
최근 휴대용 단말기의 입력 방법에 대한 다양한 연구가 이루어지고 있는데, 이러한 휴대용 단말기의 입력 방법에 있어서 몇 가지 고려할 사항이 있다.
먼저, PDA와 휴대폰과 같은 소형 단말기의 사용자 인터페이스에서 첫 번째로 고려할 점은 스크린 크기가 작다는 것이다. 일반적으로, PC에서 할 수 있는 대부분의 기능을 PDA와 휴대폰과 같은 소형 단말기에서 사용할 수 있지만, 이러한 PC에서 사용하는 입력 장치, 예를 들어, 키보드 또는 마우스와 같은 입력 장치를 휴대용 단말기에 그대로 사용하기에는 문제점이 있다. 따라서 크기가 작은 휴대용 단말기를 고려한 적절한 입력 방법에 대한 연구가 필요하다.
두 번째로 고려할 점은 이동성에 관한 것으로, 상기 PC와 같이 고정된 상태에서 단말기를 조작하는 것이 아니라, 사용자가 들고 다니면서 다소 자유로운 자세에서 단말기를 조작한다는 점이다. 따라서 사용자가 한 손으로 자유롭게 조작할 수 있는 방법이 요구되고 있지만, 현재 PDA의 입력 장치로 많이 사용되는 펜 방식을 사용할 경우에는 두 손을 모두 사용해야만 한다.
또한, 최근 카메라 영상을 이용하여 단말기를 조작하는 방법으로, 얼굴 표정, 머리 움직임, 응시 방향 등을 추적하는 다양한 방법들이 제시되고 있다.
한편, 종래의 기술로서, FASTRAK이라는 마그네틱 센서를 이용하여 휴대용 단말기 자체의 기울임을 입력으로 사용하는 방법이 소니(Sony)사의 준 레키모토(Jun Rekimoto)에 의해 제시되었다. 이 방법은 단말기를 적절히 기울여 메뉴를 선택하게 되지만, 이 단말기에서 발생하는 자기장이 주변의 금속물질에 의해 간섭을 받을 수 있다는 문제점이 있다.
한편, 종래 기술로서, 가속도 센서를 이용한 컴팩(Compaq)사의 록 스크롤(Rock'n' Scroll) 시스템이 있다. 이와 같은 가속도 센서를 이용할 경우, 중력에 대한 단말기의 절대적인 위치는 알 수 있지만, 이 단말기와 사용자 사이의 상대적인 위치는 알 수 없다는 문제점이 있다. 따라서 상기 단말기가 중력 방향으로 위치한 경우가 아니고, 예를 들어, 사용자가 쇼파에 누운 상태에서 단말기를 위로 들고 조작하고자 할 때에 문제가 생길 수 있다.
한편, 종래 기술로서, 가와시야(Kawachiya)와 이시가와(Ishikawa)가 트랙포인터(track pointer)를 단말기에 부착하여 화면을 스크롤하는 방법을 사용하였다. 이 방법은 미리 정의된 화면의 메뉴를 트랙포인터가 움직이는 방향에 의해 선택할 수 있지만, 임의의 방향으로의 스크롤링이 불가능하다는 문제점이 있다.
한편, 종래 기술로서, 대한민국 특허출원번호 제1998-7178호(1998년 3월 4일 출원)에는 "두부 움직임 감지 장치"라는 명칭의 발명이 개시되어 있는데, 이 발명은, 가상 현실 시스템에 있어서 특정 물체를 부착한 인체를 촬영하기 위해 전방에 카메라를 설치하여, 두부의 이동시 기준 도형의 위치 및 길이의 변화를 3차원적으로 감지함으로써, 두부의 이동에 따른 가상 현실 화면을 변경할 수 있는 두부 움직임 감지 장치에 관한 것이다.
구체적으로, 대한민국 특허출원번호 제1998-7178호의 발명에 따른 두부 움직임 감지 장치는, 인체에 부착된 두 개의 기준 핀; 전방에 설치되어 상기 기준 핀을 촬영하는 CCD 카메라; 상기 기준 핀의 소정 부분을 추출하는 구분화 필터; 상기 촬 영된 기준 핀의 형태를 결정하는 핀위치 검출기; 상기 형태가 결정된 기준 핀의 움직임각도를 계산하는 움직임각도 계산부; 상기 움직임각도에 상응하여 기준 도형의 3차원 좌표를 결정하는 3차원 좌표 결정부; 및 상기 3차원 좌표에 상응하여 화면각도 변경신호를 출력하는 제어부를 포함하여 구성되며, 이 발명은 비싼 장비를 이용하지 않고도 두부의 움직임을 정량적으로 감지할 수 있고, 배경과 두드러진 색으로 되어 있는 기준 핀은 조명의 문제점을 쉽게 해결할 수 있고, 경계분리 기법인 구분화 기법을 용이하게 해주기 때문에 기준 핀의 위치를 정확하게 측정할 수 있으며, 또한 정밀한 두부의 움직임 측정을 가능하게 한다. 이 경우 가상 현실 시스템에서 헤드셋(head set)에 부착된 가속도 센서로 머리 움직임을 감지하여 이에 상응하여 사용자에게 눈에 보이는 영상의 시점을 바꾸어 주므로, 만약 이 방법을 휴대용 단말기에 적용할 경우, 반드시 헤드셋을 끼고 조작해야 한다는 문제점이 있다.
상기 문제점을 해결하기 위한 본 발명의 목적은 휴대용 단말기에 내장된 카메라를 이용하여 단말기를 쥔 사용자 두 눈에서 반사되는 빛의 위치를 추적하여, 이를 휴대용 단말기의 입력 방법으로 사용하며, 휴대용 단말기의 버튼 조작과 화면 GUI를 조작할 수 있도록 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법, 및 그 장치를 제공하기 위한 것이다.
상기 목적을 달성하기 위한 수단으로서, 본 발명에 따른 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법은,
a) 사용자가 소지한 단말기로부터 발광되는 적외선 신호를 사용자가 두 눈으로 감지하는 경우, 상기 단말기 내의 카메라 렌즈를 통해 상기 두 눈의 각막으로부터 각각 반사되는 빛(Glint)의 이미지 위치를 검출하는 단계;
b) 상기 반사되는 빛의 이미지 위치에 대응하는 전기신호에 따라 상기 두 눈에 대한 상기 카메라의 상대적인 각도 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하는 단계;
c) 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보에 대응하는 상기 두 눈의 좌표를 구하는 단계; 및
d) 상기 반사되는 빛의 위치 추적에 대응하여 단말기 조작을 수행하는 단계
를 포함하여 이루어지는 특징이 있다.
여기서, 상기 단말기는 PDA 또는 휴대폰과 같은 휴대 가능한 단말기인 것을 특징으로 한다.
여기서, 상기 반사되는 빛은 상기 사용자의 안구 중심과 광축이 일치하는 부위의 각막에서 반사되는 밝은 빛(corneal reflection)인 것을 특징으로 한다. 또한, 상기 반사되는 빛은 상기 사용자의 응시 방향(gaze)에 상관없이 각막에서 반사되며, 상기 사용자의 상대적인 눈의 위치 정보를 나타내는 것을 특징으로 한다. 또한, 상기 반사되는 빛은 주변 영상보다 충분히 높은 광도(intensity)를 가지며, 임계(threshold) 영상 처리에 의해 구해지는 것이 바람직하다.
여기서, 상기 반사되는 빛의 위치 정보는 상기 단말기의 전후, 좌우 및 상하 움직임, 상기 단말기의 기울어진 각도, 또는 눈 깜박임 정보를 포함할 수 있다.
여기서, 상기 눈 깜박임 정보는 상기 단말기의 기능을 선택 또는 실행시키는 마우스 이벤트 역할을 하는 것을 특징으로 한다.
여기서, 상기 d) 단계는, 상기 두 눈의 좌우, 상하 또는 임의의 방향으로의 움직임에 대응하여 상기 단말기의 화면을 각각 좌우, 상하 또는 임의의 방향으로 스크롤하여 화면을 이동시키는 단계를 포함할 수 있다.
여기서, 상기 d) 단계는, 상기 단말기와 사용자 얼굴 사이의 상대적인 전후 움직임을 감지하여, 단말기의 화면을 확대하거나 축소하는 단계를 포함할 수 있다.
여기서, 상기 d) 단계는, 상기 단말기를 일정 각도이상 회전하여 상기 화면을 전환시키는 단계를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 다른 수단으로서, 본 발명에 따른 두 눈에서 반사되는 빛을 추적하여 휴대용 단말기를 조작하는 방법은,
a) 사용자가 소지한 단말기로부터 발광되는 적외선 신호를 두 눈으로 감지하는 단계;
b) 상기 단말기 내의 카메라 렌즈를 통해 상기 두 눈의 각막으로부터 각각 반사되는 빛의 이미지 위치를 검출하는 단계;
c) 상기 반사되는 빛의 이미지를 상기 카메라의 전하결합소자(Charge Coupled Device: CCD)를 통해 전기적인 신호로 변환하는 단계;
d) 상기 반사되는 빛의 위치에 대응하는 전기신호에 따라 두 눈에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하는 단계;
e) 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보에 대 응하는 상기 두 눈의 좌표를 구하는 단계; 및
f) 상기 반사되는 빛의 위치 추적에 대응하여 상기 단말기의 버튼 조작 또는 그래픽 사용자 인터페이스(GUI) 조작을 결정하는 단계
를 포함하여 이루어지는 특징이 있다.
한편, 상기 목적을 달성하기 위한 다른 수단으로서, 본 발명에 따른 두 눈에서 반사되는 빛을 추적하여 휴대용 단말기를 조작하는 장치는,
사용자의 두 눈에서 반사되는 빛을 형성하기 위한 적외선 신호를 발광하는 적외선 신호 송신기;
상기 두 눈에서 반사되는 빛의 이미지를 촬영하여 위치를 검출하는 카메라;
상기 반사되는 빛의 위치에 따라 상기 두 눈에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하여 상기 두 눈의 좌표를 구하고, 상기 두 눈의 좌표에 대응하는 단말기 조작 신호를 출력하는 제어부; 및
상기 단말기 조작 신호에 따라 상기 단말기의 버튼 조작 또는 그래픽 사용자 인터페이스 조작을 실행하는 입력 조작부
를 포함하여 구성되는 특징이 있다.
여기서, 상기 카메라는, 상기 두 눈에서 반사되는 빛의 이미지를 검출하는 광각 렌즈; 및 상기 광각 렌즈를 통과한 이미지를 전기적인 신호로 변환하는 전하결합소자(CCD)를 포함할 수 있다.
여기서, 상기 적외선 신호를 구동하기 위한 적외선 구동기를 추가로 포함할 수 있다.
여기서, 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 저장하는 메모리를 추가로 포함할 수 있다.
본 발명에 따르면, 사용자가 PDA 또는 휴대폰과 같은 휴대용 단말기를 조작할 때, 보통 단말기를 향해 얼굴을 향하게 되는 것에 착안하여 얼굴에 대한 위치 정보 중에서 두 눈에서 반사되는 빛의 위치를 추적하여 휴대용 단말기의 상대적 각도, 비틀어짐, 거리 정보 또는 눈 깜박임 정보를 이용하여 휴대용 단말기의 입력 방법으로 사용할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 단말기 조작 장치 및 그 방법을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 휴대용 단말기 조작 장치의 개략적인 구성도이다. 본 발명의 실시예에 따른 단말기 조작 장치는 휴대용 단말기(100), 휴대용 단말기에 내장되거나 부착된 카메라(110), 및 두 눈의 위치를 파악하기 위한 적외선 발광소자(IR-LED: 120)로 구성된다. 이때, 상기 카메라(110)에서 나오는 영상은 휴대용 단말기(100)로 들어간 후, 사용자의 두 눈(131, 132)에서 반사되는 빛(Glint)의 위치 추적 과정을 거치게 되고, 이후, 두 눈(131, 132)의 좌표로 휴대용 단말기(100)의 GUI를 조작할 수 있으며, 좌우의 눈 깜박임 정보를 이용해 마우스 이벤트와 같은 역할을 하게 된다.
한편, 상기 카메라(110)에서 두 눈(131, 132)의 위치 정보를 획득하는 방법은 다음과 같다. 상기 휴대용 단말기(100)에 내장되거나 부착된 적외선 발광부 (120)에서 사용자의 얼굴을 향해 빛(제1 Led, 제2 Led)을 쏘게 되면, 사용자의 안 구 중심과 광축이 일치하는 부위의 각막에서 밝은 빛(제1 Glint, 제2 Glint)이 반사(corneal reflection)되는데, 이를 Glint라고 부른다. 상기 Glint는 사용자의 응시 방향(gaze)에 상관없이 각막에서 반사되는 빛이다.
또한, 상기 카메라에 맺히는 이미지에서 Glint는 주변영상보다 광도(intensity)가 충분히 높기 때문에 간단한 임계(threshold) 영상처리로도 찾을 수 있고, 사용자의 상대적인 눈(131, 132)의 위치 정보는 Glint의 위치로 알 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 휴대용 단말기 조작 장치에서, 단말기(100)를 쥔 사용자의 얼굴에 대한 영상이 휴대용 단말기에 부착된 카메라에 맺히게 된다. 이때, 사용자 얼굴 영상에는 적외선 발광부(120)에 의해 반사된 두 눈(131, 132)의 Glint가 두드러지게 보이게 된다.
또한, 상기 카메라(110)에 의하여 감지된 두 Glint의 위치 정보를 이용해 사용자에 대한 휴대용 단말기(100)의 방향을 결정하고 그 방향정보를 적절히 변환하여 휴대용 단말기(100)의 커서의 위치를 결정한다. 결과적으로, 사용자의 얼굴에 대해 휴대용 단말기(100)의 상대적인 움직임에 따라 휴대용 단말기(100) 화면상의 GUI를 조작하게 된다.
도 2는 본 발명의 실시예에 따른 두 눈에서 반사되는 빛(Glint)의 위치와 촬상 소자면 상의 대응되는 Glint 이미지의 위치 관계를 나타내는 도면이다.
도 2를 참조하면, 먼저, 상기 카메라(110)의 광축이 상기 사용자의 정면 얼굴과 일치하지 않은 경우의 예를 나타낸다.
여기서, 상기 카메라(110)가 인식하는 좌표
Figure 112004008894119-pat00001
는 상기 휴대용 단말기 (100)의 카메라(110)에 내장된 렌즈(111)를 통과한 두 Glint 이미지의 위치
Figure 112004008894119-pat00002
와
Figure 112004008894119-pat00003
의 중점을 나타내며, 이때, 상기 광축의 기울기가 크지 않을 경우에는 근사적으로 두 Glint의 중점인 상기 사용자 두 눈(131, 132) 사이의 중심에 대응된다. 또한, 상기 좌표
Figure 112004008894119-pat00004
는 상기 휴대용 단말기(100)의 상하좌우의 기울기 각도에 근사적으로 비례한다. 예를 들어, 상기 휴대용 단말기(100)가 상기 사용자 얼굴의 오른쪽을 가리키면
Figure 112004008894119-pat00005
좌표는 증가하고, 상기 사용자 얼굴의 위쪽을 가리키면
Figure 112004008894119-pat00006
좌표가 증가한다. 여기서, 도 2의 촬상 소자면상의 좌표축은
Figure 112004008894119-pat00007
축이 지면과 평행하게 아래로,
Figure 112004008894119-pat00008
축은 지면을 뚫고 들어가는 방향을 나타낸다.
따라서 상기 좌표
Figure 112004008894119-pat00009
에 비례하는 값으로 상기 사용자 얼굴의 화면상의 커서의 좌표를 결정하면, 상기 휴대용 단말기(100)의 기울기에 비례하도록 상기 화면상의 커서를 위치시킬 수 있다. 이때, 상기 좌표
Figure 112004008894119-pat00010
는 두 이미지의 위치
Figure 112004008894119-pat00011
와
Figure 112004008894119-pat00012
의 중점이므로, 다음과 같은 수학식 1로 주어질 수 있다.
Figure 112004008894119-pat00013
또한, 상기 휴대용 단말기(100) 화면상의 커서의 좌표
Figure 112004008894119-pat00014
는 다음과 같은 수학식 2로 결정할 수 있고, 여기서, 상기
Figure 112004008894119-pat00015
는 비례 상수를 나타낸다.
Figure 112004008894119-pat00016
도 3a 및 도 3b는 각각 본 발명의 실시예에 따른 촬상 소자상의 두 Glint 이미지가 나란한 경우, 및 그렇지 않은 경우를 나타내는 도면이다.
먼저, 도 3b와 같이 나란하지 않을 경우, 도 3의 각도
Figure 112004008894119-pat00017
는 상기 휴대용 단말기(100)를 카메라(110)의 광축을 중심으로 오른쪽으로 돌릴 때 증가하고, 이와는 반대로 왼쪽으로 돌릴 때 감소하게 된다. 즉, 상기 각도
Figure 112004008894119-pat00018
는 상기 휴대용 단말기(100)의 비틀어짐에 비례하는 값을 가진다.
상기 각도
Figure 112004008894119-pat00019
의 값은 두 Glint 이미지의 좌표
Figure 112004008894119-pat00020
와
Figure 112004008894119-pat00021
값에 의하여 다음과 같은 수학식 3으로 결정될 수 있다.
Figure 112004008894119-pat00022
도 3을 다시 참조하면, 두 Glint 이미지 사이의 거리는 상기 카메라(110)와 얼굴 사이의 거리에 근사적으로 반비례하게 된다. 이때, 상기 카메라(110)와 얼굴사이의 거리를
Figure 112004008894119-pat00023
라고 하면, 상기
Figure 112004008894119-pat00024
는 두 Glint 이미지의 좌표
Figure 112004008894119-pat00025
와
Figure 112004008894119-pat00026
의 값에 의하여 다음과 같은 수학식 4로 결정될 수 있다.
Figure 112004008894119-pat00027
여기서,
Figure 112004008894119-pat00028
는 카메라(110)의 초점 거리에 의하여 결정되는 양의 상수이다.
이하, 도 4 및 도 5를 참조하여, 본 발명의 실시예에 따른 휴대용 단말기 조작 장치, 및 그 동작 방법을 설명하기로 한다.
도 4는 본 발명의 실시예에 따른 휴대용 단말기 조작 장치의 세부 구성도이고, 도 5는 본 발명의 실시예에 따른 휴대용 단말기 조작 방법의 순서도이다.
먼저, 도 4를 참조하면, 본 발명의 실시예에 따른 휴대용 단말기 조작 장치는 광각 렌즈(111)와 전하결합소자(Charge Coupled Device: CCD)(112)를 구비하는 카메라(110), 적외선 신호 송신기(120), 제어부(140), 메모리(150), 입력 조작부(160) 및 적외선 구동기(170)를 포함할 수 있다. 여기서, 상기 메모리(150)에는 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 포함하는 각종 정보가 저장될 수 있다.
상기 카메라(110)는 상기 광각 렌즈(111)를 통해 상기 제1 및 제2 Glint 이미지를 검출하고, 상기 CCD(112)를 통해 전기적인 신호로 변환하게 된다. 이때, 상기 입력 조작부(160)는 상기 휴대용 단말기(100)를 조작하기 위한 여러 개의 버튼으로 이루어질 수 있고, 상기 휴대용 단말기(100)의 화면 GUI를 조작할 수 있다.
상기 제어부(140)는 상기 입력 조작부(160)의 버튼 입력에 대응하여 상기 휴대용 단말기(100)를 제어하거나, 또는 상기 Glint 위치에 대응하는 상기 CCD(112) 를 통해 입력되는 전기적인 신호에 따라 상기 사용자 얼굴에 대한 상기 카메라(110)의 상대적 각도를 결정하고, 또한, 상기 카메라(110)의 상대적 각도에 대응하는 상기 휴대용 단말기의 화면상의 커서 위치를 결정하게 된다.
상기 적외선 구동기(170)는 결정된 커서 위치에 대응하는 적외선 신호가 상기 사용자의 두 눈에서 감지할 수 있도록 구동시킨다. 이때, 상기 적외선 신호 송신기(120)는 상기 적외선 구동기(170)에 의해 구동된 신호를 송신하게 된다.
도 5를 참조하면, 본 발명의 실시예에 따른 두 눈에서 반사되는 빛을 추적하여 휴대용 단말기를 조작하는 방법은, 먼저, 사용자가 소지한 단말기로부터 발광되는 적외선 신호를 사용자가 두 눈으로 감지하면(S510), 상기 단말기 내의 카메라 렌즈를 통해 상기 두 눈의 각막으로부터 각각 반사되는 빛(Glint)의 이미지 위치를 검출하게 된다(S520),
다음으로, 상기 반사되는 빛(Glint)의 이미지를 상기 카메라의 전하결합소자,(CCD: 112)를 통해 전기적인 신호로 변환하고(S530), 이후 상기 반사되는 빛(Glint)의 위치에 대응하는 전기신호에 따라 두 눈에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하게 된다(S540).
다음으로, 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보에 대응하는 상기 두 눈의 좌표를 구하고(S550), 이후, 상기 반사되는 빛(Glint)의 위치 추적에 대응하여 상기 단말기의 버튼 조작 또는 그래픽 사용자 인터페이스 (GUI) 조작을 결정하게 된다(S560).
한편, 전술한 본 발명에 따른 좌표 인식 원리를 참조하여, 두 Glint 이미지 의 위치를 파악하는 알고리즘을 설명하면 다음과 같다.
먼저, 촬상 소자상의 두 Glint 이미지의 좌표
Figure 112004008894119-pat00029
와
Figure 112004008894119-pat00030
는 Glint 이미지의 밝기가 화면이나 배경에 비하여 월등히 높기 때문에 상기 카메라에서 얻어진 화상을 디지털 처리하도록 간단한 이진화를 이용하여 쉽게 구할 수 있다.
실제 적용에 있어서는, 밝은 Glint가 사용자 눈에 불편을 줄 수 있으므로 적외선 LED를 이용한다. 이때, 상기 Glint 이미지는 상기 카메라가 컬러 카메라인 경우에 통상적으로 적색(R) 이미지 플레인(Plain)에 가장 선명하게 나타나게 된다.
따라서 상기 카메라 화상에서 적색(R) 플레인만을 이용해서 구할 수 있다. 이때, 화상의 RGB 값을 각각
Figure 112004008894119-pat00031
라고 하면, 상기 이진화의 결과인 이진 함수
Figure 112004008894119-pat00032
는 다음과 같은 수학식 5에 의하여 결정될 수 있다. 여기서, 각 이진 함수의 값은 0 또는 1을 갖는다.
Figure 112004008894119-pat00033
여기서, 역치
Figure 112004008894119-pat00034
은 0과 1 사이의 적절한 값이다. 바람직하기로는,
Figure 112004008894119-pat00035
는 Glint 이미지에 해당하는 두 개의 작은 영역에만 1의 값을 갖고, 나머지 영역은 0을 갖는 것이다. 이때, 두 영역 각각의 중심점은 기본적인 이미지 프로세싱 과정인 레이블링(labeling)과 센트로이드(centroid) 계산을 거쳐 쉽게 결정할 수 있다.
본 발명의 실시예에 따라, 간단한 역치 변환이 효과적이지 않을 경우에는 다 음과 같은 방법들을 추가할 수 있다.
먼저, 상기 Glint 이미지가 포화되어 있는 경우, 상기 카메라의 노출 시간을 줄이면 화면 전체적인 밝기는 줄어들지만, 반면에 상기 Glint 이미지는 여전히 높은 값을 가지게 된다. 이때, 상기 Glint 이미지의 값이 너무 작아지지 않는 범위에서 상기 노출 시간을 줄이면 이진화를 보다 용이하게 수행할 수 있다.
상기 이진 함수
Figure 112004008894119-pat00036
를 구하는 이진화 과정을 설명하면 다음과 같다.
먼저, 상기 Glint 이미지를 RGB에서 HSV로 변환하여 색상 함수
Figure 112004008894119-pat00037
를 구하고, 상기
Figure 112004008894119-pat00038
가 적색에 가까워야 하는 조건을 이진 함수
Figure 112004008894119-pat00039
의 결정에 추가한다. 즉, 다음과 같은 수학식 6으로 나타낼 수 있다.
Figure 112004008894119-pat00040
여기서,
Figure 112004008894119-pat00041
는 0과 1 사이의 적절한 값이다.
그런데, 위의 방법들을 적용함에도 불구하고 이진화된 이미지
Figure 112004008894119-pat00042
에 여전히 두 개 이상의 영역이 남을 경우에, 상기 영역의 크기나 형태와 같은 특성을 이용하여 가장 가능성 높은 두 영역을 선택하게 된다.
한편, 본 발명의 실시예에 따라, GUI를 조절하는 방법은 다음과 같다.
전술한 수학식 1 내지 4를 이용하여, 촬상 소자상의 두 Glint 좌표
Figure 112004008894119-pat00043
,
Figure 112004008894119-pat00044
이 주어지면, 상기 휴대용 단말기 화면상의 커서의 위치
Figure 112004008894119-pat00045
, 카메라의 광축을 중심으로 휴대용 단말기의 비틀어짐의 각도를 나타내는
Figure 112004008894119-pat00046
, 및 상기 사용자 얼굴과 카메라 사이의 거리에 비례하는 값인
Figure 112004008894119-pat00047
를 모두 구할 수 있다.
따라서 본 발명의 실시예에 따른 휴대용 단말기에 대한 두 눈의 상대적인 상하, 좌우 움직임 기울어진 각도, 비틀어짐, 얼굴과 카메라 사이의 거리, 눈 깜박임 등의 정보로부터 다음과 같은 방법으로 휴대용 단말기의 GUI를 조작할 수 있다.
1) 화면 이동: 영상에 맺히는 두 눈의 좌우, 상하 또는 임의의 방향으로의 움직임을 이용해서 화면을 좌우, 상하 또는 임의의 방향으로 스크롤링 할 수 있다.
2) 화면 확대 및 축소: 휴대용 단말기와 사용자 얼굴간의 상대적인 전후 움직임을 감지하여 화면을 확대 또는 축소할 수 있다. 이때, 사용자 얼굴이 화면 가까이 올 때 화면에 반사되는 영상이 확대되고, 얼굴이 화면 멀리로 이동하게 되면 영상이 축소된다.
3) 마우스 이벤트 역할: 마우스 클릭 이벤트와 유사한 방법으로 두 눈의 깜빡임을 이용해 화면을 조작한다. 이때, 왼쪽 눈을 깜빡이면 왼쪽 버튼 클릭, 오른쪽 눈을 깜빡이면 오른쪽 버튼 클릭, 두 눈을 동시에 깜빡이면 더블 클릭 동작이 수행된다.
4) 화면 전환: 휴대용 단말기를 일정 각도 이상 회전하게 되면 화면 전환 (landscape/portrait 변환) 등의 동작을 수행하게 된다.
결국, 본 발명의 실시예에 따르면, 사용자가 PDA 또는 휴대폰과 같은 휴대용 단말기를 조작할 때, 보통 단말기를 향해 얼굴을 향하게 되는 것에 착안하여 얼굴에 대한 위치 정보 중에서 두 눈에서 반사되는 빛의 위치를 추적하여 휴대용 단말기의 상대적 각도, 비틀어짐, 거리 정보 또는 눈 깜박임 정보를 이용하여 휴대용 단말기의 입력 방법으로 사용할 수 있다.
이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
본 발명에 따르면, 카메라를 이용해 사용자의 두 눈에서 반사되는 빛(glint) 의 위치 정보를 휴대용 단말기의 입력으로 사용함으로써, 기존의 버튼이나 펜을 이용한 입력 방법에 비해 한 손으로 조작이 가능해진다.
또한, 본 발명에 따르면, 사용자의 상대적인 얼굴 위치정보를 이용함으로써 보다 자연스러운 입력 방법이 될 수 있고, 또한 손을 자유롭게 사용하지 못하는 장애인들도 쉽게 휴대용 단말기를 조작할 수 있다.

Claims (15)

  1. a) 사용자가 소지한 단말기로부터 발광되는 적외선 신호를 사용자가 두 눈으로 감지하는 경우, 상기 단말기 내의 카메라 렌즈를 통해 상기 두 눈의 각막으로부터 각각 반사되는 빛(Glint)의 이미지 위치를 검출하는 단계;
    b) 상기 반사되는 빛의 이미지 위치에 대응하는 전기신호에 따라 상기 두 눈에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하는 단계;
    c) 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보에 대응하는 상기 두 눈의 좌표를 구하는 단계; 및
    d) 상기 반사되는 빛의 위치 추적에 대응하여 상기 단말기 조작을 수행하는 단계
    를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  2. 제1항에 있어서,
    상기 단말기는 PDA 또는 휴대폰과 같은 휴대 가능한 단말기인 것을 특징으로 하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  3. 제1항에 있어서,
    상기 반사되는 빛은 상기 사용자의 안구 중심과 광축이 일치하는 부위의 각 막에서 반사되는 밝은 빛(corneal reflection)인 것을 특징으로 하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  4. 제1항에 있어서,
    상기 반사되는 빛은 상기 사용자의 응시 방향(gaze)에 상관없이 각막에서 반사되며, 상기 사용자의 상대적인 눈의 위치 정보를 나타내는 것을 특징으로 하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  5. 제1항에 있어서,
    상기 반사되는 빛은 주변 영상보다 충분히 높은 광도(intensity)를 가지며, 임계(threshold) 영상 처리에 의해 구해지는 것을 특징으로 하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  6. 제1항에 있어서,
    상기 반사되는 빛의 위치 정보는 상기 단말기의 전후, 좌우 및 상하 움직임, 상기 단말기의 기울어진 각도, 또는 눈 깜박임 정보를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  7. 제6항에 있어서,
    상기 눈 깜박임 정보는 상기 단말기의 기능을 선택 또는 실행시키는 마우스 이벤트 역할을 하는 것을 특징으로 하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  8. 제1항에 있어서,
    상기 d) 단계는, 상기 두 눈의 좌우, 상하 또는 임의의 방향으로의 움직임에 대응하여 상기 단말기의 화면을 각각 좌우, 상하 또는 임의의 방향으로 스크롤하여 화면을 이동시키는 단계를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  9. 제1항에 있어서,
    상기 d) 단계는, 상기 단말기와 사용자 얼굴 사이의 상대적인 전후 움직임을 감지하여, 상기 단말기의 화면을 확대하거나 축소하는 단계를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  10. 제1항에 있어서,
    상기 d) 단계는, 상기 단말기를 일정 각도이상 회전하여 상기 화면을 전환시키는 단계를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  11. a) 사용자가 소지한 휴대용 단말기로부터 발광되는 적외선 신호를 사용자가 두 눈으로 감지하는 단계;
    b) 상기 단말기 내의 카메라 렌즈를 통해 상기 두 눈의 각막으로부터 각각 반사되는 빛의 이미지 위치를 검출하는 단계;
    c) 상기 반사되는 빛의 이미지를 상기 카메라의 전하결합소자(Charge Coupled Device: CCD)를 통해 전기적인 신호로 변환하는 단계;
    d) 상기 반사되는 빛의 위치에 대응하는 전기신호에 따라 두 눈에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하는 단계;
    e) 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보에 대응하는 상기 두 눈의 좌표를 구하는 단계; 및
    f) 상기 반사되는 빛의 위치 추적에 대응하여 상기 단말기의 버튼 조작 또는 그래픽 사용자 인터페이스(GUI) 조작을 결정하는 단계
    를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 방법.
  12. 사용자의 두 눈에서 반사되는 빛(Glint)을 형성하기 위한 적외선 신호를 발광하는 적외선 신호 송신기;
    상기 두 눈에서 반사되는 빛의 이미지를 촬영하여 위치를 검출하는 카메라;
    상기 반사되는 빛의 위치에 따라 상기 두 눈에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 결정하여 상기 두 눈의 좌표를 구하고, 상기 두 눈의 좌표에 대응하는 단말기 조작 신호를 출력하는 제어부; 및
    상기 단말기 조작 신호에 따라 상기 단말기의 버튼 조작 또는 그래픽 사용자 인터페이스 조작을 실행하는 입력 조작부
    를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 장치.
  13. 제12항에 있어서, 상기 카메라는,
    상기 두 눈에서 반사되는 빛의 이미지를 검출하는 광각 렌즈; 및
    상기 광각 렌즈를 통과한 이미지를 전기적인 신호로 변환하는 전하결합소자
    를 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 장치.
  14. 제12항에 있어서,
    상기 적외선 신호를 구동하기 위한 적외선 구동기를 추가로 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 장치.
  15. 제12항에 있어서,
    상기 카메라의 상대적 각도, 비틀어짐, 거리, 또는 눈 깜박임 정보를 저장하는 메모리를 추가로 포함하는 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는 장치.
KR1020040014344A 2004-03-03 2004-03-03 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치 KR100749033B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040014344A KR100749033B1 (ko) 2004-03-03 2004-03-03 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040014344A KR100749033B1 (ko) 2004-03-03 2004-03-03 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치

Publications (2)

Publication Number Publication Date
KR20040027764A KR20040027764A (ko) 2004-04-01
KR100749033B1 true KR100749033B1 (ko) 2007-08-13

Family

ID=37330129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040014344A KR100749033B1 (ko) 2004-03-03 2004-03-03 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치

Country Status (1)

Country Link
KR (1) KR100749033B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004930B1 (ko) * 2008-07-10 2010-12-28 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
US9891713B2 (en) 2014-02-19 2018-02-13 Samsung Electronics Co., Ltd. User input processing method and apparatus using vision sensor
US9983681B2 (en) 2014-10-21 2018-05-29 Samsung Electronics Co., Ltd. Method and apparatus for displaying screen in response to event related to motion of external object

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651104B1 (ko) * 2005-07-01 2006-11-30 한국과학기술연구원 시선기반 컴퓨터 인터페이스 장치 및 방법
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
KR100833270B1 (ko) * 2006-10-02 2008-05-29 한국전자통신연구원 이동 가능한 자동 사진 촬영 방법 및 장치
KR101655471B1 (ko) * 2010-07-14 2016-09-07 현대자동차주식회사 운전자 시선 감지를 이용한 클러스터 및 클러스터 제어 방법
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
KR20180050143A (ko) * 2016-11-04 2018-05-14 삼성전자주식회사 눈을 촬영하여 정보를 획득하는 방법 및 장치
KR101780669B1 (ko) * 2016-11-16 2017-09-21 (주)스코넥엔터테인먼트 단일 카메라를 이용한 양안 촬영 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09204260A (ja) * 1996-01-24 1997-08-05 Canon Inc データ入力方法とその装置、並びにそれを用いた撮像方法とその装置
JPH1097376A (ja) 1996-09-20 1998-04-14 Canon Inc 視線操作装置
JPH10187334A (ja) 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
JPH11338615A (ja) 1998-05-25 1999-12-10 Techno Works:Kk 画像処理による注視点検出手段を利用した車載システム
JP2001154794A (ja) 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
KR20010053762A (ko) * 1999-12-01 2001-07-02 이계철 눈동자 움직임추적을 통한 2차원 모니터 포인팅 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09204260A (ja) * 1996-01-24 1997-08-05 Canon Inc データ入力方法とその装置、並びにそれを用いた撮像方法とその装置
JPH1097376A (ja) 1996-09-20 1998-04-14 Canon Inc 視線操作装置
JPH10187334A (ja) 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
JPH11338615A (ja) 1998-05-25 1999-12-10 Techno Works:Kk 画像処理による注視点検出手段を利用した車載システム
JP2001154794A (ja) 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
KR20010053762A (ko) * 1999-12-01 2001-07-02 이계철 눈동자 움직임추적을 통한 2차원 모니터 포인팅 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004930B1 (ko) * 2008-07-10 2010-12-28 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
US9891713B2 (en) 2014-02-19 2018-02-13 Samsung Electronics Co., Ltd. User input processing method and apparatus using vision sensor
US9983681B2 (en) 2014-10-21 2018-05-29 Samsung Electronics Co., Ltd. Method and apparatus for displaying screen in response to event related to motion of external object

Also Published As

Publication number Publication date
KR20040027764A (ko) 2004-04-01

Similar Documents

Publication Publication Date Title
KR20230164185A (ko) 가상 및 그래픽 요소들을 제어하기 위한 매핑된 손 영역들 사이의 양손 상호 작용들
KR101688355B1 (ko) 다수의 지각 감지 입력의 상호작용
KR20230074780A (ko) 검출된 손 제스처들에 응답한 터치리스 포토 캡처
KR20230124732A (ko) 가상 및 그래픽 엘리먼트들을 제어하기 위한 미세 손제스처들
CN109739361B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US20230082063A1 (en) Interactive augmented reality experiences using positional tracking
JP2006516772A (ja) 視線追跡システム及び方法
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
CN104272218A (zh) 基于联合数据的虚拟手
US11954268B2 (en) Augmented reality eyewear 3D painting
KR100749033B1 (ko) 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
US11886643B2 (en) Information processing apparatus and information processing method
CN109947243B (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
CN115335795A (zh) 信息处理装置、信息处理方法和程序
CN109960406B (zh) 基于双手手指之间动作的智能电子设备手势捕获与识别技术
WO2011045786A2 (en) Wearable device for generating input for computerized systems
CN109993059B (zh) 智能电子设备上基于单摄像头的双目视觉与物体识别技术
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
Lee et al. A new eye tracking method as a smartphone interface
US11863963B2 (en) Augmented reality spatial audio experience
US11863860B2 (en) Image capture eyewear with context-based sending
KR102316389B1 (ko) 가상 오브젝트의 좌표 추정 방법
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20060414

Effective date: 20070405

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110729

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120111

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee