KR20220136517A - 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 - Google Patents

디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20220136517A
KR20220136517A KR1020227034149A KR20227034149A KR20220136517A KR 20220136517 A KR20220136517 A KR 20220136517A KR 1020227034149 A KR1020227034149 A KR 1020227034149A KR 20227034149 A KR20227034149 A KR 20227034149A KR 20220136517 A KR20220136517 A KR 20220136517A
Authority
KR
South Korea
Prior art keywords
display
user
pointing
eye
processor
Prior art date
Application number
KR1020227034149A
Other languages
English (en)
Inventor
이타이 카츠
Original Assignee
아이사이트 모빌 테크놀로지 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이사이트 모빌 테크놀로지 엘티디 filed Critical 아이사이트 모빌 테크놀로지 엘티디
Publication of KR20220136517A publication Critical patent/KR20220136517A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

시스템, 방법 및 비일시적 컴퓨터-판독가능 매체가 개시된다. 예를 들어, 하나 이상의 프로세서를 포함하는 터치 없는 제스쳐(touch-free gesture) 인식 시스템이 개시된다. 상기 하나 이상의 프로세서는: 사용자에게 디스플레이 상의 적어도 제1 위치에서 제1 터치 없는 제스쳐를 유도하도록(prompt) 제1 디스플레이 정보의 제시를 가능하게 하도록 구성된다. 또한, 하나 이상의 프로세서는: 사용자에 의한 제1 터치 없는 제스쳐에 상관되는 디스플레이 상의 제1 제스쳐링 위치에 대응하는 제1 제스쳐 정보를 적어도 하나의 이미지 센서로부터 수신하도록 구성되고, 사용자의 하나의 눈이 사용자의 다른 눈보다 우세한 결과로서 상기 제1 제스쳐링 위치가 적어도 부분적으로 상기 제1 디스플레이 정보의 위치와 상이하다. 또한, 하나 이상의 프로세서는, 상기 제1 디스플레이 정보의 위치 및 상기 제1 제스쳐링 위치와 연관되는 제1 오프셋을 결정하도록 구성된다. 또한, 하나 이상의 프로세서는, 사용자에게 디스플레이 상의 적어도 제2 위치에서 후속의 터치 없는 제스쳐를 하도록 유도하기 위해 제2 정보의 제시를 가능하게 한다. 또한, 하나 이상의 프로세서는, 사용자에 의한 후속의 터치 없는 제스쳐에 대응하는 후속의 제스쳐 정보를 적어도 하나의 이미지 센서로부터 수신하도록 한다. 또한 하나 이상의 프로세서는, 상기 후속의 터치 없는 제스쳐에 의해 발생하는 디스플레이 상의 영역을 결정하도록 상기 제1 오프셋을 사용하도록 구성된다.

Description

디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법{SYSTEMS AND METHODS OF DIRECT POINTING DETECTION FOR INTERACTION WITH A DIGITAL DEVICE}
본원은 2013년 6월 27일자로 출원된 미국 가출원 제61/840,447호의 우선권을 주장하며, 그 내용은 본 명세서에 원용된다.
본원은 터치 없는 제스쳐 검출, 더욱 자세하게는 터치 없는 제스쳐를 검출하기 위한 센서를 사용하는 디바이스 및 컴퓨터-판독가능 매체에 관한 것이다.
다수의 상이한 설정으로 사용자가 디바이스 또는 디바이스에서 작동되는 어플리케이션과 상호작용하도록 하는 것이 유용하다. 예를 들어, 키보드, 마우스 및 조이스틱이 전자 시스템에 포함되어, 사용자가 데이터를 입력하고 데이터를 조작하도록 하는 것이 가능하며, 시스템의 프로세서로 하여금 다양한 상이한 동작들을 실행하도록 할 수 있다. 그러나, 터치 기반 입력 디바이스, 예컨대 키보드, 마우스 및 조이스틱이 터치 없는 사용자 상호작용을 허용하는 디바이스로 대체되는 것이 증가하며, 이러한 디바이스가 보충될 수도 있다. 예를 들어, 시스템은 예컨대 사용자의 손 및/또는 손가락을 포함하는 사용자의 이미지를 캡쳐하는 이미지 센서를 포함할 수 있다. 프로세서는 그러한 이미지를 수신하고 사용자에 의해 수행되는 터치 없는 제스쳐에 기초하는 동작을 개시하도록 구성될 수 있다. 터치 없는 제스쳐를 검출하고 입력하기 위한 기술에 대해 개발하는 것이 바람직하다.
하나의 개시된 실시태양에서, 터치 없는 제스쳐 인식 시스템이 개시된다. 터치 없는 제스쳐 인식 시스템은 적어도 하나의 프로세서를 포함할 수 있다 적어도 하나의 프로세서는 사용자에게 제1 디스플레이 정보의 제시를 가능하게 하여 디스플레이 상의 적어도 제1 위치에서 제1 터치 없는 제스쳐를 유도하고(prompt), 사용자에 의해 제1 터치 없는 제스쳐에 상관되는 디스플레이 상의 제1 제스쳐링 위치에 대응하는 적어도 하나의 이미지 센서로부터 제1 제스쳐 정보를 수신하고 - 제1 제스쳐링 위치는, 사용자의 하나의 눈이 사용자의 또 다른 눈보다 우세한 결과로서 적어도 부분적으로 제1 디스플레이 정보의 위치와 상이함 -, 제1 디스플레이 정보의 위치와 제1 제스쳐링 위치와 연관된 제1 오프셋을 결정하고, 사용자가 디스플레이 상에 적어도 제2 위치에 후속의 터치 없는 제스쳐를 하도록 유도하기 위해 제2 정보의 제시를 가능하게 하고, 적어도 하나의 이미지 센서로부터, 사용자에 의해 후속의 터치 없는 제스쳐에 대응하는 후속의 제스쳐 정보를 수신하고, 후속의 터치 없는 제스쳐에 의해 영향받는 디스플레이 상의 위치를 결정하기 위해 제1 오프셋을 사용하도록 구성된다.
실시태양에 관련된 추가의 측면이 다음의 발명의 상세한 설명에 일부로 기재되며, 상세한 설명으로부터 부분적으로 이해되거나 개시된 실시태양의 실행에 의해 알 수 있을 것이다.
전술한 일반적 사항과 다음의 상세한 설명 둘다 예시적인 것으로 오직 설명을 위한 것이며, 청구항을 제한하지 않는다는 것을 이해해야 한다.
본 명세서의 부분을 구성하고 본 명세서에 포함되는 수반되는 도면이 본원의 다수의 일례의 실시태양을 도시하고, 발명의 상세한 설명과 함께 제공되어, 본원의 원리를 설명한다.
도 1은 개시된 실시태양 중 일부에 따른 터치 없는 사용자 인터페이스 시스템의 일례의 그래픽 표현을 도시한다.
도 2a는 개시된 실시태양 중 일부에 따른 터치 없는 사용자 인터페이스의 일례의 처리 유닛을 도시한다.
도 2b는 개시된 실시태양 중 일부에 따른 시스템의 일례의 블록도이다.
도 3a은 본원의 실시태양과 연관되는 방법, 시스템 및 컴퓨터 판독가능 매체에 따라 사용될 수 있는 일례의 오프셋 결정 단계를 도시한다.
도 3b은 본원의 실시태양과 연관된 방법, 시스템 및 컴퓨터 판독가능 매체에 따라 사용될 수 있는 일례의 제스쳐 검출 및 식별 단계를 도시한다.
도 4는 개시된 실시태양 중 일부에 따른 터치 없는 사용자 인터페이스 시스템의 일례의 그래픽 표현을 도시한다.
도 5는 본원의 실시태양과 연관된 방법, 시스템 및 컴퓨터 판독가능 매체에 따라 사용될 수 있는 포인팅 위치를 식별하는 일례의 단계를 도시한다.
도 6a는 개시된 실시태양 중 일부에 따른 터치 없는 사용자 인터페이스 시스템의 일례의 그래픽 표현을 도시한다.
도 6b는 개시된 실시태양의 중 일부에 따른 터치 없는 사용자 인터페이스 시스템의 일례의 그래픽 표현을 도시한다.
도 7는 본원의 실시태양과 연관된 방법, 시스템 및 컴퓨터 판독가능 매체에 따라 사용될 수 있는 일례의 캘리브레이션 단계를 도시한다.
도 8은 개시된 실시태양의 중 일부에 따른 터치 없는 사용자 인터페이스 시스템의 일례의 그래픽 표현을 도시한다.
도 9는 본원의 실시태양과 연관된 방법, 시스템 및 컴퓨터 판독가능 매체에 따라 사용될 수 있는 후보면이나 후보 영역을 식별하는 일례의 단계를 도시한다.
도 10은 개시된 실시태양 중 일부에 따른 일례의 후보면의 벤 다이어그램(Venn diagram)를 도시한다.
도 11은 본원의 실시태양과 연관된 방법, 시스템 및 컴퓨터 판독가능 매체에 따라 사용될 수 있는 일례의 제스쳐 추적 단계를 도시한다.
도 12는 본원의 실시태양과 연관된 방법, 시스템 및 컴퓨터 판독가능 매체에 따라 사용될 수 있는 눈 지배성(eye dominance)을 결정하는 일례의 단계를 도시한다.
도 13은 개시된 실시태양 중 일부에 따른 터치 없는 사용자 인터페이스 시스템의 일례의 그래픽 표현을 도시한다.
도 14는 개시된 실시태양 중 일부에 따른 사용자의 얼굴의 일례의 그래픽 표현을 도시한다.
도 15는 개시된 실시태양 중 일부에 따른 사용자 손의 일례의 그래픽 표현을 도시한다.
도 16a는 개시된 실시태양 중 일부에 따른 포인팅 시각 효과의 일례의 그래픽 표현을 도시한다.
도 16b는 개시된 실시태양 중 일부에 따른 포인팅 시각 효과의 일례의 그래픽 표현을 도시한다.
도 17은 개시된 실시태양 중 일부에 따른 터치 없는 사용자 인터페이스 시스템의 일례의 그래픽 표현을 도시한다.
수반되는 도면에 도시되어 있는, 일례의 실시태양에 대한 자세한 설명이 이루어질 것이다. 가능한 어디서라도, 몇몇의 도면부호가 동일한 또는 이와 유사한 부분에 대해 참조하기 위해 도면에서 사용될 것이다.
도 1은 디스플레이(6)를 갖는 디바이스(4)의 터치 없는 동작을 위한 시스템(2)의 실시태양을 도시한다. 디바이스(4)는 예컨대, 모바일 폰, 스마트 글라스(smart-glass), 퍼스털 컴퓨터(PC), 엔터테인먼트 디바이스, 셋톱 박스, 텔레비전, 모바일 게임 머신, 태블릿 컴퓨터, 전자책 리더기(e-reader), 휴대용 게임 콘솔, 랩탑이나 울트라북과 같은 휴대용 컴퓨터, 주방용품과 같은 가정용 전자기기, 통신 디바이스, 온도 조절 장치, 도킹 스테이션, 모바일 비디오 게임 디바이스와 같은 게임 머신, 디지털 카메라, 시계 엔터테인먼트 디바이스, 스피커, 스마트 홈 디바이스, 미디어 플레이어나 미디어 시스템, 위치 기반 디바이스, 피코 프로젝터나 내장 프로젝터, 의료 디스플레이 장치와 같은 의료 장치, 운송 수단, 차량용 야외용 인포테인먼트 시스템, 네비게이션 시스템, 웨어러블 디바이스, 증음 실황 가능 디바이스(augmented reality-enabled device), 웨어러블 고글, 로봇, 상호작용 디지털 사이니지, 디지털 키오스크, 벤딩 머신, 현금 자동 입출금기(ATM) 또는 사용자나 출력 데이터로부터 데이터를 수신하거나 또는 사용자에게 데이터를 출력할 수 있는 임의의 다른 장치나 시스템을 포함할 수 있다.
디스플레이(6)는 임의의 평면, 표면 또는 이미지나 다른 시각적 정보의 디스플레이가 될 수 있는 다른 수단을 포함할 수 있다. 또한, 디스플레이(6)는 이미지나 시각적 정보를 평면이나 수단에 투영하는 임의의 유형의 프로젝터를 포함할 수 있다. 예컨대, 디스플레이(6)는 텔레비전 세트, 컴퓨터 모니터, 헤드-장착된 디스플레이, 방송 참조 모니터, LCD 스크린, LED 기반 디스플레이, LED-역광 LCD 디스플레이, 캐소드 레이 튜브(CRT) 디스플레이, ELD 디스플레이, 전자 페이퍼/잉크 디스플레이, 플라즈마 디스플레이 패널, OLED 디스플레이, 박막 트랜지스터 디스플레이(TFT), 고성능 어드레싱 디스플레이(HPA), 면전도 전자-이미터 디스플레이, 양자점 디스플레이, 간섭 측정 변조기 디스플레이, 스웹 볼륨 디스플레이(swept-volume display), 탄소 나노튜브 디스플레이, 가변 초첨 미러 디스플레이, 방사 볼륨 디스플레이, 레이저 디스플레이, 홀로그래픽 디스플레이, 광 필드 디스플레이, 벽부, 3차원 디스플레이, 전자 잉크 디스플레이, 및 시각적 정보를 출력하기 위한 임의의 다른 전자 디바이스 중 하나 이상을 포함할 수 있다. 디스플레이(6)는 터치 스크린의 일부를 포함하거나 일부일 수 있다. 도 1은 디바이스(4)의 일부로서 디스플레이(6)를 도시한다. 그러나, 대안의 실시태양에서, 디스플레이(6)가 디바이스(4)의 외부에 있을 수 있다.
시스템(2)이 디바이스(4)에 인접하는 이미지 센서(8)를 포함할 수 있고(또는 이로부터 정보를 수신), 파선(10)에 의해 경계지어지는 3차원(3-D) 시야 공간의 이미지를 획득하도록 구성될 수 있다. 이미지 센서(8)는 예컨대, 카메라, 광 센서, 적외선(IR) 센서, 초음파 센서, 근접각 센서, CMOS 이미지 센서, 단파 적외선(SWIR) 이미지 센서, 또는 반사도 센서, CCD 이미지 센서, 반사도 센서, 3-D 이미지 센서를 포함하는 입체 비디오 시스템이나 둘 이상의 2차원(2-D) 입체적 이미지 센서, 및 환경의 시각적 특성을 감지할 수 있는 임의의 다른 디바이스 중 하나 이상을 포함하는 임의의 이미지 획득 디바이스를 포함할 수 있다. 실시예를 통하여, 도 1은 디바이스(4)에 인접하는 이미지 센서(8)를 도시하나, 대안의 실시태양에서, 이미지 센서(8)가 디바이스(4)에 포함되거나 심지어 디바이스(4)로부터 이격되어 위치할 수도 있다.
파선(10)에 의해 나타낸 시야 공간에 위치하고 있는 사용자(16)는 이미지 센서(8)에 의해 획득된 이미지에 나타날 수 있다. 이미지 센서(8)는 2-D 또는 3-D 단색 또는, IR 비디오를 처리 유닛(12)에 출력할 수 있고, 처리 유닛은 이미지 센서(8)과 일체화되거나 유선 또는 무선 통신 채널에 의해 이미지 센서(8)에 접속될 수 있다.
본원의 실시태양은 적어도 하나의 프로세서를 포함한다. 여기에서, 용어 "프로세서"는 입력이나 출력에 대한 논리 동작을 수행하는 전기 회로를 포함할 수 있다. 예컨대, 그러한 프로세서는 하나 이상의 집적 회로, 마이크로칩, 마이크로제어기, 마이크로프로세서, 중앙 처리 유닛(CPU)의 일부나 전부, 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 필드-프로그램형 게이트 어레이(FPGA), 응용 주문형 집적 회로(ASIC), 또는 명령어를 수행하거나 논리 동작을 수행하는데 적합한 임의의 다른 회로를 포함한다. 적어도 하나의 프로세서는, 예컨대 도 2a에 도시된 처리 유닛(12)과 같은 처리 유닛과 일치할 수도 있고, 처리 유닛의 임의의 일부를 구성할 수도 있다. 도 2a의 처리 유닛(12)은, 다른 것들 중에, 이미지 센서(8)에 의해 획득되는 이미지를 저장하기 위해 사용될 수 있는 메모리(13) 및 프로세서(15)를 포함할 수 있다. 처리 유닛(12) 및/또는 프로세서(15)는 프로세서(15) 및/또는 메모리(13)에 있는 하나 이상의 명령어를 실행하도록 구성될 수 있다.
메모리(13)는 예컨대, 퍼시스턴트 메모리(persistent memory), ROM, EEPROM, EAROM, 플래시 메모리 디바이스, 자기 디스크, 마그네토 광 디스크, CD-ROM, DVD-ROM, 블루 레이 매체 중 하나 이상을 포함할 수 있고, 명령어(예, 소프트웨어 또는 펌웨어) 및/또는 다른 데이터를 포함할 수 있다. 도 2a는 처리 유닛(12)의 일부로서 메모리(13)를 도시하나, 다른 실시태양에서, 메모리(13)가 처리 유닛(12)의 외부에 있을 수 있다.
처리 유닛(12)은 이미지 센서(8)에 의해 획득된 이미지를 분석하고, 디스플레이(6)와 상호작용하기 위해 사용자(16)에 의해 사용될 수 있는 하나 이상의 미리 정해진 포인팅 요소를 추적할 수 있다(track). 포인팅 요소는 예컨대, 이미지 센서(8)의 시야 공간에 위치해 있는 사용자(16)의 손끝(14)을 포함할 수 있다. 일부 실시태양에서, 포인팅 요소는 예컨대, 사용자(16)의 하나 이상의 손, 손의 일부, 하나 이상의 손가락, 손가락의 하나 이상의 부분, 및 하나 이상의 손끝(14), 또는 휴대용 스타일러스를 포함할 수 있다. 도 1이 포인팅 요소로서 손끝(14)을 도시한다 할지라도, 다른 포인팅 요소가 유사하게 사용되어 동일한 목적을 제공할 수 있다. 따라서, 본 명세서에서 손끝(14)이 언급될 때마다, 이것은 일 실시예로서 고려되며, 다른 포인팅 요소를 포함하도록 넓게 해석되어야 할 것이다.
처리 유닛(12)는 사용자(16)가 사용자(16)가 손끝(14)으로 포인팅되는 디스플레이(6) 상의 아이콘(20)과 같은, 디스플레이 정보를 표시하도록 구성될 수 있다. 처리 유닛(12)은 사용자(16)가 포인팅된 위치에 대응하는 디스플레이(6) 상에 출력(18)(지시자(indicator)(18))을 나타내도록 더 구성될 수 있다. 예컨대, 도 17에서처럼, 사용자(16)는 디스플레이(6) 상의 디스플레이 정보(아이콘(20))에 포인팅 되도록 의도할 수 있다. 이 실시예에서, 처리 유닛(12)은 사용자(16)가 제스쳐링 위치(19)에서 실제 포인팅하고 있다고 결정할 수 있다. 그러나, 처리 유닛(12)은 디스플레이 정보와 제스쳐링 위치(19) 간의 차이(difference)에 연관된 오프셋 O를 결정할 수 있다. 부분적으로 오프셋 O에 관련된 정보를 사용하여, 처리 유닛(12)은 사용자 의도를 반영하는 디스플레이(6)의 목적지에 출력(예, 지시자(18))을 전송할 수 있다. 도 17의 실시예에서, 사용자(16)가 실제로 제스쳐링 위치(19)에서 포인팅하고 있다 할지라도, 지시자(18)는 아이콘(20)과 동일한 위치에 디스플레이된다.
제스쳐링 위치(19)는 디스플레이(6) 상의 위치와 연관된 임의의 수학적 표현(mathematical representation)일 수 있고, 사용자가 포인팅하는 위치와 동일한 시스템(2)에 의한 포인트에서 정의된다. 제스쳐링 위치(19)는 디스플레이 상의 특정 좌표, (x, y) 또는 (3-D 디스플레이인 경우의 x, y, z)를 포함할 수 있다. 제스쳐링 위치(19)는 디스플레이(6) 상의 영역이나 위치를 포함할 수 있다(예, 후보면). 게다가, 제스쳐링 위치(19)는 디스플레이 상의 위치와 연관된 확률 함수로 정의될 수 있다(예컨대 3-D 가우시안 함수). 제스쳐링 위치(19)는 추가 피겨의 세트(set of addition figures)와 연관될 수 있고, 이는 제스쳐링 위치(19)의 디스플레이(6) 상의 위치의 추정이 얼마나 정확한지에 대한 확률 표시(probability indication)와 같은, 검출의 품질을 기술한다.
스마트 안경, 예컨대 사용자(16)에게 디지털 정보를 표시하는 성능을 포함하는 웨어러블 글라스의 경우에, 제스쳐링 위치가 가상 평면의 위치로 정의될 수 있고, 이 평면 상에서 사용자가 스마트 글라스 디스플레이에 의해 표시되는 디지털 정보를 보도록 인지된다.
디스플레이 정보는 정지 이미지, 애니메이션 이미지(animated image), 인터랙티브 객체(예컨대 아이콘), 비디오, 및/또는 정보의 임의의 시각적 표현을 포함할 수 있다. 디스플레이 정보는 전술한 디스플레이의 임의의 방법으로 디스플레이될 수 있고, 평면 디스플레이, 곡면 디스플레이, 프로젝터, 투명 디스플레이, 예컨대 웨어러블 글라스에 사용되는 것, 및/또는 사용자의 눈 또는 동공에 직접 투영되거나 눈 또는 동공 내에 직접 투영하는 디스플레이를 포함할 수 있다.
포인팅된 아이콘의 표시나 피드백이, 예컨대 시각적 표시, 오디오 표시, 촉각적 표시, 초음파 표시 및 햅틱 표시 중 하나 이상에 의해 제공될 수 있다. 시각적 표시를 디스플레이하는 단계는 예컨대, 디스플레이(6) 상에 아이콘을 디스플레이하는 단계, 디스플레이(6) 상의 아이콘을 변경하는 단계, 디스플레이(6) 상의 아이콘의 색을 변경하는 단계, 표시 광(indication light)을 디스플레이하는 단계, 하이라이팅, 섀도잉 또는 다른 효과를 디스플레이하는 단계, 디스플레이(6) 상의 표시를 이동시키는 단계, 지향성 진동 표시(directional vibration indication)를 제공하는 단계, 및/또는 공기 촉각적 표시(air tactile indication)를 제공하는 단계를 포함할 수 있다 시각적 표시가 디스플레이(6) 상에 나타나는 모든 다른 이미지나 비디오를 상부에(또는 앞에) 나타날 수 있다. 시각적 표시, 예컨대 사용자(16)에 의해 선택되는 디스플레이(6) 상의 아이콘은 공통 시야선(24)(또는 시야 라인)에 놓인 사용자의 눈(22)과 손끝(14)과 동일 선상일 수 있다. 여기에 사용된 것처럼, 그리고 이후 더 자세히 기술되는 이유로, 용어 "사용자의 눈"은 시야 라인과 연관되는 사용자의 얼굴 상의 위치나 영역을 정의하는 속기 용어이다. 따라서, 여기서 용어 "사용자의 눈"은 눈 또는 다른 눈의 특징의 동공, 눈들 사이의 사용자 얼굴의 위치, 또는 사용자의 눈 중 적어도 하나와 연관되는 사용자의 얼굴 상의 위치, 또는 시야 라인에 상관될 수 잇는 얼굴 상의 일부 다른 해부학적 특징을 포함한다. 이것은 때때로 "가상 눈"으로도 언급될 수 있다.
아이콘은 디스플레이(6) 상에 디스플레이되고 사용자(16)에 의해 선택될 수 있는 일례의 그래픽 요소이다. 아이콘에 더하여, 그래픽 요소가 또한 예컨대, 디스플레이되는 이미지 및/또는 영화 내에 디스플레이되는 객체, 디스플레이(6) 상 또는 디스플레이되는 파일 내에 디스플레이되는 텍스트, 및 인터렉티브 게임 내에 디스플레이되는 오브젝트를 포함한다. 본 명세서를 통하여, 용어 "아이콘" 및 "그래픽 요소"는 임의의 디스플레이되는 정보를 포함하도록 넓게 사용된다.
도 3a의 단계 313에 도시된 것처럼, 본원의 실시태양은 디스플레이(6) 상의 적어도 제1 위치에서 제1 터치 없는 제스쳐를 유도하도록 사용자(16)에게 정보의 제1 디스플레이의 제시를 가능하게 한다. 제시를 가능하게 하는 것은, 표현 또는 정보를 디스플레이(6)를 통하여 사용자(16)에게 제시되도록 하기 위하여, 예컨대, 프로세서(15)로부터 디스플레이 디바이스에 데이터를 송신하여 발생할 수 있다. 이 표현은, 도 1의 실시예에 의해 도시된 것처럼, 사용자(16)가 디스플레이(6)를 향하여 터치 없는 제스쳐를 하도록 호출하거나(evoke) 유도하도록(prompt) 고안될 수 있다. 특히, 도 1은 손가락 포인팅의 터치 없는 제스쳐를 수행하는 사용자(16)를 도시한다. 디스플레이(6) 상의 제1 위치는 일반적으로 디스플레이 정보의 위치에 대응할 수 있다. 이후 더 자세히 기술되는 것처럼, 이 대응은 사용자의 인식(예, 디스플레이된 정보)과 디스플레이된 정보의 실제 위치(예, 제스쳐링 위치) 사이의 차이일 수 있기 때문에 정확하지는 않다. 이하 더 자세히 기술되는 것처럼, 제1 정보는 예컨대, 그래픽 요소, 아이콘, 또는 다른 정보를 포함할 수 있다.
예를 들어, 처리 유닛(12)은 또한 하나 이상의 선택가능한 그래픽 요소나 아이콘을 디스플레이(6) 상에 디스플레이하도록 구성될 수도 있다. 도 1은 4개의 일례의 아이콘(20a, 20b, 20c, 및 20d)을 도시한다. 그러나, 일부 실시태양에서, 임의의 수의 아이콘이 언제든지 디스플레이(6) 상에 디스플레이될 수 있다. 아이콘(20a-20d) 중 임의의 하나가 손끝(14)을 사용자(16)가 선택하도록 의도하는 특정 아이콘에 포인팅 함으로써 사용자(16)에 의해 선택될 수 있다.
도 3a의 단계 315에 도시된 것처럼, 본원의 실시태양은 사용자(16)에 의한 제1 터치 없는 제스쳐에 상관되고 반영하는 디스플레이(6) 상의 제1 제스쳐링 위치에 대응하는 제1 제스쳐 정보를 수신할 수 있다. 제1 제스쳐 정보는, 이후 더 자세히 기재되는 것처럼, 임의의 모션이나 포즈에 대응할 수 있다. 제스쳐 정보는, 예컨대 검출된 손-제스쳐나 포인팅 요소에 대응하는 수치 또는 그래픽 데이터를 포함할 수 있다. 수치 또는 그래픽 데이터는 적어도 하나의 프로세서(15)에 의해 수신될 수 있고, 프로세서(15)는 알려진 디스플레이 위치에 그것을 상관할 수 있다.
처리 유닛(12)은 미리 정해진 기준에 기초하여 사용자(16)에 의한 아이콘의 선택을 식별하도록 구성될 수 있다. 예를 들어, 사용자(16)가 미리 정해진 기간의 시간(미리 정해진 수의 초) 동안 아이콘에 포인팅하는 경우에, 처리 유닛(12)은 아이콘을 선택할 수 있다. 게다가, 처리 유닛(12)은, 사용자(16)가 선택된 아이콘을 향하여 미리 정해진 모션을 수행하는 때에 사용자(16)에 의한 아이콘의 선택을 식별하도록 구성될 수 있다. 예를 들어, 미리 정해진 모션은 탭핑 모션(tapping motion)을 포함할 수 있고, 선택된 아이콘을 향한 손끝(14)의 움직임 후에 선택된 아이콘으로부터 멀어지는 손끝(14)의 움직임이 잇따른다. 시스템(2)은, 사용자(16)가 아이콘에 포인팅하고 아이콘을 선택하는 때에 시각적 및/또는 오디오 피드백을 생성하도록 구성될 수 있다. 예컨대, 하나의 아이콘이 디스플레이(6) 상에 위치되고 사용자 제스쳐가 검출되면, 시스템(2)은 사용자(16)가 오직 디스플레이된 아이콘을 향하여 제스쳐하고 있다고 추정하도록 구성될 수 있다. 만일 다수의 아이콘이 디스플레이된다면, 시스템(2)은 사용자(16)가 사용자의 제스쳐와 연관되는 제스쳐링 위치(19)에 최접근의 아이콘을 향하여 제스쳐하고 있다고 추정하도록 구성될 수 있다.
이후 좀 더 자세히 기재될 것처럼, 사용자(16)가 다른 쪽 눈보다 더 우세한 한쪽 눈을 가지고 있기 때문에, 디스플레이(6) 상의 실제 제스쳐링 위치(검출된 포인팅 위치)가 사용자(16)가 포인팅하고 있다고 믿고 있는 아이콘의 실제 디스플레이된 위치와 상이할 수 있다. 따라서, 터치 없는 제스쳐 시스템의 정확도를 증가시키기 위하여, 도 17 및 도 3a의 단계 317 및 이후 더 자세히 기술되는 것처럼, 이 시스템은 제1 제스쳐링 위치(19) 및 제1 디스플레이 정보의 위치(예, 아이콘(20))와 연관되는 오프셋 O를 결정하는 것이 가능할 것이다. 오프셋 O가 결정되고 다수의 상이한 방법으로 적용될 수 있다. 예를 들어, 오프셋 O는 사용자의 두 눈 사이의 중심 포인트로부터 위치 오프셋에서 "가상 눈"의 선택을 통하여 수행될 수 있고, 가상 눈은 시야 라인의 시작 포인트로 사용될 수 있다. 대안으로, 오프셋 O는 사용자(16)가 제스쳐하고 있는 아이콘(예, 아이콘(20))과 제스쳐의 검출된 위치, 즉 제스쳐링 위치(19) 사이의 디스플레이 상의 검출된 차이에 기초하여 결정될 수 있다. 실시에 및 더 자세한 설명이 도 12, 13 및 17을 참조하여 제공될 것이다.
본 명세서는 하나의 오프셋 O의 결정을 언급하고 있지만, 이것은 속기이며, 시스템이 잠재적으로 더 높은 정확도를 달성하기 위하여, 디스플레이(6) 상의 상이한 위치들과 연관된, 상이한 크기의 아이콘들과 연관된, 아이콘들의 상이한 클러스터링의 아이콘들과 연관된, 또는 제스쳐 위치가 검출되는 디스플레이 상의 영역이나 위치 내의 아이콘들 사이의 거리와 연관된, 다수의 오프셋과 함께, 다수의 오프셋(연속적인 또는 주기적 간격인)을 결정하는 것이 가능할 수도 있음을 이해해야 할 것이다. 게다가, 오프셋이 하나의 좌표, 두 좌표, 또는 3-D 오프셋의 경우에는 세 개의 좌표까지로 표현되는 임의의 방향으로 존재할 수 있다. 또한, 오프셋 O는, 사용자가 포인팅하는 것으로 인식하는 디스플레이 상의 위치 및 시스템(2)에 의해 지향되는 것과 같은 제스쳐링 위치(19)의 차이와 연관되는 임의의 수학적 표현일 수 있다. 오프셋 O는 그 자체로 디스플레이(6) 상의 이러한 두 위치 사이의 거리(예, 오른쪽으로 24 픽셀, 및 상부쪽으로 8 픽셀), 두 위치 사이의 차이를 나타내는 벡터(2-D 또는 3-D 벡터), 이러한 두 위치 사이의 거리에 관련되는 특징의 세트(set of figures), 및/또는 이러한 두 위치 사이의 거리를 기술하는 공식과 관련될 수 있다. 오프셋 O는 사용자의 얼굴 상의 다른 해부학적 위치(예컨대 사용자의 눈(22))와 비교하여 "가상 눈" 위치와 관련될 수 있다. 오프셋 O는 사용자의 포인팅 요소 (예, 손끝(14))의 위치와 관련되고, 포인팅 요소의 검출된 위치를 교정하도록 사용될 수 있다. 오프셋 O는 포인팅 요소를 통해, 그리고 디스플레이(6)와 교차하는 "가상 눈" 앞에 시작하는 계산된 시야선(24)의 임의의 특징에 관련될 수도 있다.
도 3a의 단계 319에 기재된 바와 같이, 제2 정보가 디스플레이 되고, 이후에 사용자(16)가 제2 정보로 제스쳐하는 때에, 제2 제스쳐와 연관된 그래픽 또는 수치 데이터가, 도 3a의 단계 321에 도시된 것처럼, 이미지 센서(예, 도 1의 이미지 센서(8))를 통해 수신되고, 프로세서(예, 도 2a의 프로세서)를 통해 송신될 수 있다. 사용자가 다른 한쪽의 눈보다 우세한 한쪽 눈을 가지고 있다는 사실 때문에, 제2 또는 후속의 제스쳐 위치가 제2 정보, 즉 사용자가 포인팅하고자 의도하는 위치와 정확히 나란하지 않을 수 있다. 그러나, 단계 317로부터 이전에 결정된 제1 오프셋(또는 복수의 오프셋)을 사용하여, 단계 323과 같이, 프로세서(15)가 오정렬을 교정하도록 구성될 수 있다. 교정의 결과로, 사용자의 의도가 결정될 수 있고, 대응하는 동작이 개시될 수 있다. 그러한 동작은 사용자의 의도의 디스플레이된 표현을 제공하기 위하여 출력을 디스플레이(6)에 전송하는 것을 포함한다(예, 시스템이 사용자가 아이콘의 왼쪽으로 3인치에 포인팅한다고 검출하였다 할지라도, 오프셋 교정은 커서가 아이콘에 더 근접하여 또는 아이콘 상에 디스플레이되도록 할 수 있음). 오프셋의 일례의 동작이 도 12 및 13과 함께 이하 더 자세히 기술된다.
일부 실시태양에서, 포인팅 동안 또는 탭핑 모션 동안 손끝(14)이 디스플레이(6)에 접촉하지 않는다. 도 1의 실시예에서, 손끝(14)이 아이콘(20b)을 향하여 포인팅하고 있다. 처리 유닛(12)이 미리정해진 시간 기간 동안 사용자(16)가 손끝(14)을 아이콘(20b)을 향하여 포인팅하고 있음을 검출하거나, 이미지 센서(8)에 의해 획득된 이미지 스트림(예, 비디오 스트림)의 이미지를 분석함으로써 사용자(16)가 아이콘(20b)을 향하여 탭핑 모션(또는 클릭 모션)을 수행하고 있음을 검출할 수 있다. 처리 유닛(12)이 특정 아이콘이 선택되었다고 결정한 때에, 대응하는 커맨드 및/또는 선택된 아이콘과 연관되는 메시지가 각각 실행되거나 생성될 수 있다. 커맨드의 실행이나 메시지의 생성이 하나 이상의 작동하는 시스템, 하나 이상의 로컬 서비스, 하나 이상의 응용, 하나 이상의 디바이스, 하나 이상의 원격 응용, 하나 이상의 원격 서비스, 또는 하나 이상의 원격 디바이스에 대한 대응하는 결과를 다룰 수 있다.
일부 실시태양에서, 디바이스(4)는 통신하는 그래픽 요소의 선택에 응답하여 외부 디바이스 또는 웹사이트와 통신할 수 있다. 통신은 외부 디바이스나 웹사이트에서 동작하는 하나 이상의 어플리케이션, 외부 디바이스나 웹사이트에서 동작하는 서비스, 외부 디바이스나 웹사이트에서 동작하는 작동 시스템, 외부 디바이스나 웹사이트의 프로세서에서 동작하는 하나 이상의 어플리케이션, 외부 디바이스나 웹사이트의 백그라운드에서 동작하는 소프트웨어 프로그램, 또는 외부 디바이스나 웹사이트에서 동작하는 하나 이상의 서비스에 메시지를 전송하는 단계를 포함할 수 있다. 또한, 통신은 디바이스(4)에서 동작하는 어플리케이션, 디바이스(4)에서 동작하는 서비스, 디바이스(4)에서 동작하는 작동 시스템, 디바이스(4)에서 동작하는 프로세스, 디바이스(4)의 프로세서(15)에서 동작하는 하나 이상의 어플리케이션, 디바이스(4)의 백그라운드에서 동작하는 소프트웨어 프로그램, 또는 디바이스(4)에서 동작하는 하나 이상의 서비스에 메시지를 전송하는 단계를 포함할 수 있다. 외부 디바이스나 웹사이트와의 통신이 통신 네트워크를 통해 발생할 수 있다.
그래픽 요소의 선택에 응답하여, 외부 디바이스나 웹사이트에서 동작하는 어플리케이션, 외부 디바이스나 웹사이트에서 동작하는 서비스, 외부 디바이스나 웹사이트에서 동작하는작동 시스템, 외부 디바이스나 웹사이트에서 동작하는 프로세스, 외부 디바이스나 웹사이트의 프로세서에서 동작하는 하나 이상의 어플리케이션, 외부 디바이스나 웹사이트의 백그라운드에서 동작하는 소프트웨어 프로그램으로부터, 또는 외부 디바이스나 웹사이트에서 동작하는 하나 이상의 서비스으로의, 이미지 내에서 식별되는 그래픽 요소에 대한 데이터를 요청하는 메시지가 외부 디바이스나 웹사이트에 전송될 수 있다. 메시지는 또한 디바이스(4)에서 동작하는 어플리케이션, 디바이스(4)에서 동작하는 서비스, 디바이스(4)에서 동작하는 작동 시스템, 디바이스(4)에서 동작하는 프로세스, 디바이스(4)의 프로세서(15)에서 동작하는 하나 이상의 어플리케이션, 디바이스(4)의 백그라운드에서 동작하는 소프트웨어 프로그램으로부터, 또는 디바이스(4)에서 동작하는 하나 이상의 서비스로의, 이미지 내에서 식별되는 그래픽 요소에 관련되는 데이터를 요청하는 미시지가 디바이스(4)에 전송될 수 있다.
외부 디바이스나 웹사이트로 전송된 메시지는 커맨드를 포함할 수 있다. 이 커맨드는, 예컨대 외부 디바이스나 웹사이트 상의 어플리케이션을 동작시키는 커맨드, 외부 디바이스나 웹사이트에서 동작하는 어플리케이션을 종료시키는 커맨드, 외부 디바이스나 웹사이트에서 동작하는 서비스를 활성화시키는 커맨드, 외부 디바이스나 웹사이트에서 동작하는 서비스를 종료시키는 커맨드, 또는 이미지에서 식별되는 그래픽 요소와 관련되는 데이터를 전송시키는 커맨드를 포함할 수 있다. 디바이스(4)로의 메시지는 커맨드를 포함할 수 있다. 이 커맨드는 예컨대, 디바이스(4) 상에서 어플리케이션을 동작시키는 커맨드, 디바이스(4)에서 동작하는 어플리케이션을 종료시키는 커맨드, 디바이스(4)에서 동작하는 서비스를 활성화시키는 커맨드, 디바이스(4)에서 동작하는 서비스를 종료시키는 커맨드, 또는 이미지 내에서 식별되는 그래픽 요소와 관련되는 데이터를 전송시키는 커맨드를 포함할 수 있다.
그래픽 요소의 선택에 응답하여, 디바이스(4)는 웹사이트나 외부 디바이스로부터 이미지 내에서 식별되는 그래픽 요소와 관련되는 데이터를 수신할 수 있고, 디바이스(4)는 수신된 데이터를 사용자(16)에게 표시할 수 있다.
두 손과 같은, 2개의 포인팅 요소로 포인팅함으로써 생성되는 메시지 및/또는 실행되는 커맨드는, 예컨대 영역의 선택, 손끝을 서로 멀어지거나 서로 향하도록 이동시킴으로써 선택된 영역의 줌인 또는 줌 아웃, 및 손끝을 회전시킴으로써 선택된 영역의 회전을 포함할 수 있다. 두 손가락으로 포인팅함으로써 생성되는 메시지 및/또는 실행되는 커맨드는 또한 음악 트랙과 비디오 트랙의 결합과 같은, 두 물체 사이의 상호작용의 생성을 포함할 수 있다. 게다가, 사용자(16)는 디스플레이(6)에 하나의 손가락을 포인팅하고 디스플레이(6) 상의 또 다른 위치를 향하여 또 다른 손가락을 포인팅하고 이동시킴으로써 게임 상호작용(gaming interaction)을 생성하기 위해 커맨드를 실행하거나, 및/또는 메시지를 생성할 수 있다. 게다가, 사용자(16)는 스크린을 가로질러 아이콘을 슬라이딩하고(이 행동은 디바이스를 언록킹하기(unlocking) 위해 사용될 수 있음), 페이지나 폴더를 스크롤하고, 부피를 증가시키거나 감소시키도록 커맨드를 실행하고, 및/또는 메시지를 생성할 수 있다. 커맨드는 하나 이상의 아이콘을 통한 "스와이핑 커맨드(swiping command)"일 수 있다.
사용자(16)가 포인팅 했었던 디스플레이(6) 상의 위치의 식별 후에 사용자(16)에 의해 수행되는 미리정해진 제스쳐에 응답하여, 커맨드가 실행되고, 및/또는 메시지가 생성될 수 있다. 시스템(2)은 제스쳐를 검출하고, 연관된 커맨드를 실행하고, 및/또는 연관된 메시지를 생성하도록 구성될 수 있다. 검출된 제스쳐는, 예컨대 하나 이상의 스와이핑 모션, 두 손가락의 핀칭 모션, 포인팅, 왼쪽에서 오른쪽 제스쳐, 오른쪽에서 왼쪽 제스쳐, 상향 제스쳐, 하향 제스쳐, 푸싱 제스쳐, 꽉 쥔 주먹(clenched fist) 펴기, 꽉 쥔 주먹 펴기 및 이미지 센서(8)를 향한 이동, 탭핑 제스쳐, 웨이빙 제스쳐, 손가락이나 손으로 수행되는 원형 제스쳐, 시계 방향 및/또는 반시계 방향 제스쳐, 박수 제스쳐, 역박수(reverse clapping) 제스쳐, 손의 주먹 쥐기, 핀칭 제스쳐, 역 핀칭(reverse pinching) 제스쳐, 손가락 벌리기, 손가락 함께 닫기, 그래픽 요소에 포인팅, 미리 정해진 양의 시간 동안 물체의 활성화 유지, 그래픽 요소에 클릭, 그래픽 요소에 더블 클릭, 그래픽 요소의 오른쪽에 클릭, 그래픽 요소의 왼쪽에 클릭, 그래픽 요소의 하부에 클릭, 그래픽 요소의 상부에 클릭, 물체 쥐기, 오른쪽으로부터 그래픽 요소를 향한 제스쳐링, 왼쪽으로부터 그래픽 요소를 향한 제스쳐, 왼쪽으로부터 그래픽 요소를 통한 이동, 물체 밀기, 박수, 그래픽 요소를 통한 웨이빙, 블라스트 제스쳐, 그래픽 요소를 통한 시계 방향이나 반시계 방향 제스쳐, 두 손가락으로 그래픽 요소 잡기, 클릭-드래그-릴리즈 모션, 아이콘의 슬라이딩, 및/또는 임의의 다른 모션이나 센서에 의해 감지될 수 있는 포즈(pose)를 포함할 수 있다.
도 2b는 시스템(2)의 일례의 개략도를 도시한다. 자세하게는, 처리 유닛(12)은 예컨대, 이미지 센서(8)에 의해 캡쳐되는 이미지를 저장하기 위해 구성된 이미지 데이터-저장소(202); 디스플레이(6) 상의 아이콘을 생성하고 디스플레이 하도록 구성된 그래픽 요소 생성기(예, 아이콘 생성기)(204); 디스플레이(6) 상에 디스플레이되는 각각의 아이콘과 연관된 커맨드의 실행을 가능하도록 구성된 커맨드 실행 모듈(206); 캘리브레이션 프로세스를 수행하기 위해 구성된 캘리브레이션 모듈(208); 및 머신 비전 유닛(210)을 포함할 수 있다. 머신 비전 유닛(210)은, 예컨대 캡쳐된 이미지로부터 사용자(16)에 의해 수행된 제스쳐를 인식하도록 구성된 제스쳐 인지 모듈(212); 및 사용자(16)가 포인팅하는 디스플레이(6) 상의 포인트나 위치를 식별하도록 구성된 시야선(viewing ray) 식별 모듈 (214)을 포함할 수 있다.
도 3b은 시스템(2)에 의해 수행될 수 있는 일례의 방법을 도시하는 흐름도이다. 이 방법은 단계 301, 디스플레이(6) 앞에 있는 시야 공간의 적어도 하나의 이미지를 캡쳐하는 단계를 포함할 수 있다. 예를 들어, 이미지 센서(8)는 디스플레이(6) 앞에 있는 시야 공간의 연속적인 이미지를 캡쳐할 수 있다. 이 이미지는 캡쳐되고, 이미지 데이터-저장소(202)와 같은, 데이터-저장소에 저장될 수 있다. 캡쳐된 이미지는 다음 기회에 처리되거나, 캡쳐되고 있는 동안에 즉시 처리될 수도 있다. 캡쳐된 이미지는, 예컨대 디스플레이(6) 앞에 위치하고 디스플레이(6) 상에 디스플레이된 하나 이상의 그래픽 요소와 상호작용하도록 시도하고 있는 사용자(16)(예, 디스플레이(6) 상에 디스플레이된 아이콘이나 텍스트를 향하여, 손끝(14)과 같은 포인팅 요소로 포인팅하도록 시도하고 있는 사용자(16))를 포함할 수 있다.
캡쳐된 이미지는 또한 손끝(14)과 같은 하나 이상의 포인팅 요소, 및 하나 이상의 사용자의 눈(22)과 같은 사용자(16)의 얼굴 중 하나 이상의 미리정해진 부분을 포함할 수 있다. 이 방법은 단계 303, 적어도 하나의 이미지 내의 포인팅 제스쳐를 검출하는 단계를 포함할 수 있다. 특히, 사용자(16) 및 포인팅 요소의 식별이, 예컨대 제스쳐 인지 모듈(212)를 포함하는 머신 비전 유닛(210)의 도움으로 완수될 수 있다.
이 방법은 단계 305, 하나 이상의 포인팅 요소가 포인팅하고 있는 디스플레이(6) 상의 포인트나 위치를 식별하는 단계를 포함할 수 있다. 이 포인트가, 예컨대 시야선 식별 모듈(214)의 도움으로 식별될 수 있다. 사용자의 눈(22), 손끝(14), 및 선택된 아이콘이 위치되는 디스플레이(6) 상의 포인트가 동일 선상에 있기 때문에, 공통 시야선(24)에 놓일 수 있으며, 처리 유닛(12)이 시야선(24)을 식별하도록 구성될 수 있다. 단계 305는 사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 포인트의 식별의 개선을 위해 설계되는 하나 이상의 프로세스를 더 포함할 수 있다. 도 1이 시야선(24)을 식별하기 위해 사용될 수 있는 사용자(16)의 얼굴의 일부로서 사용자의 눈(22)을 도시하고 있다 할지라도, 얼굴의 다른 부분이 그 목적을 위해 유사하게 식별되거나 사용될 수 있다. 따라서, 하나 이상의 사용자의 눈(22)이 본 명세서에서 언급될 때마다, 이는 오직 하나의 실시예로서 간주될 것이며, 또한 얼굴의 다른 부분을 포함하도록 넓게 해석되어야 할 것이다.
이 방법은 단계 307, 디스플레이(6) 상의 식별된 포인트에 대하여 미리 정의된 기준을 충족하는 디스플레이(6) 상에 디스플레이된 시각적 물체를 식별하는 단계를 포함할 수 있다. 예를 들어, 시각적 대상(또는 그래픽 요소)는 사용자(16)에 의해 선택된 디스플레이(6) 상의 식별된 위치에 가장 근접한 시각적 대상일 수 있다.
이 방법은 단계 309, 포인팅 요소가 시각적 대상을 향하여 포인팅하고 있는 동안 미리 정의된 조건이 만족되는 경우를 결정하는 단계를 포함할 수 있다. 단계 309는 선택된 시각적 대상(그래픽 요소)가 결정되고 난 이후에 수행될 수 있다. 언급한 것처럼, 조건은, 예컨대 포인팅 요소가 미리정해진 제스쳐(예, 디스플레이(6)를 향하여 탭핑 모션) 및/또는 미리결정된 포인트를 향하여 포인팅하는 미리 정해진 시간 기간, 또는 임의의 다른 적합한 조건을 포함할 수 있다.
이 방법은 단계 311, 시각적 대상과 연관된 미리 결정된 작동 커맨드를 실행시키는 단계를 포함할 수 있다. 단계 311은 미리정해진 조건이 충족되고 난 후에 수행될 수 있다. 예컨대, 커맨드 실행 모듈(206)은 선택된 그래픽 요소와 연관되는 디바이스(4) 내의 다른 기능적 요소와의 상호작용과 같은, 커맨드를 실행하도록 구성될 수 있다.
어떤 그래픽 요소가 상호작용하는 사용자(16)에 의해 선택되는지를 결정하기 위하여, 사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 포인트를 먼저 식별하는 것이 바람직하다.
일부 실시태양에서, 이미지 센서(8)는 3-D 이미지 센서 또는 한 쌍의 2-D 입체적 이미지 센서를 포함할 수 있다. 이러한 실시태양에서, 처리 유닛(12)이 3-D 시야 공간에서 사용자의 눈(22) 및/또는 손끝(14)의 x-, y-, 및 z-좌표의 위치를 추적하도록 구성될 수 있다. 처리 유닛(12)는 그 후에 눈(22)에 정점(vertex)을 가지며 손끝(14)을 통해 지나가는 시야 선(24)을 결정할 수 있다. 도 1에서와 같이, 도트나 마커(18)가 디스플레이(6) 상에서 시야 선(24)이 디스플레이(6)와 교차하는 위치에 위치될 수 있다. 일부 실시태양에서, 시스템(2)이 2-D 및 3-D 이미지 센서의 조합을 포함할 수 있고, 2-D 이미지 센서에 의해 캡쳐된 이미지로부터 사용자의 눈(22) 및 손끝(14)의 x- 및 y-좌표를 획득하고, 3-D 이미지 센서로부터 캡쳐된 이미지로부터 사용자의 눈(22) 및 손끝(14)의 z 좌표를 획득하도록 구성될 수 있다. 일부 실시태양에서, 3-D 이미지 센서는 저-해상도 이미지를 획득하도록 구성될 수 있다. 2-D 및 3-D 이미지 센서로부터의 조합된 정보는 3-D 시야 선(24)을 결정하기 위해 사용될 수 있다.
다른 실시태양에서, 이미지 센서(8)는 2-D 위치 센서(position sensor)를 포함할 수 있다. 디스플레이(6) 앞에 서 있는 사용자(16)는 디스플레이(6) 상의 어느 곳이든지 포인팅할 수 있고, 사용자의 포인팅과 연관된 특정 시야 선(24)이, 해부학적 위치와 디스플레이(6) 사이의 거리 및 포인팅 요소와 디스플레이(6) 또는 사용자(16) 또는 사용자의 눈(22) 사이의 거리와 함께, 사용자의 눈(22)(또는 다른 해부학적 위치)의 2-D 위치(예, x- 및 y-좌표) 및 이미지 센서(8)에 의해 캡쳐된 포인팅 요소(예, 손끝(14))의 2-D 위치에 기초하여 결정될 수 있다.
일부 실시태양에서, 처리 유닛(12)은 사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 포인트를 결정하도록 구성될 수 있다. 예를 들어, 사용자의 눈(22)의 x- 및 y-좌표는 이미지 센서(8)에 의해 캡쳐된 이미지로부터 결정될 수 있다. 도 6에서, 예컨대 사용자(16)와 디스플레이(6) 사이의 거리 R1이 추정될 수 있다. 추정된 거리 R1에 기초하여, 시야 공간 내의 사용자의 눈(들)(22)의 z-좌표가 획득될 수 있다.
거리 R1이, 예컨대 이미지 센서(8)에 의해 획득된 이미지 내에서 식별되는 것으로서 사용자의 눈(22)들 사이의 거리에 기초하여 결정될 수 있다. 유사한 거리가 상이한 개개인의 눈들(예, 동공들) 사이에 존재한다. 동일한 인종 집단에 속하는 개개인에 대하여 유사도가 더 높다. 그러므로, 사용자(16)의 눈들 사이의 거리는 사용자의 눈(22)과 디스플레이(6) 사이의 거리 R1을 나타낼 수 있다.
포인팅 요소의 x- 및 y-좌표는 이미지 센서(8)에 의해 캡쳐된 이미지로부터 결정될 수 있다. 포인팅 요소와 사용자(16) 사이의 추정된 거리 R1를 사용하여, 시야 공간 내의 포인팅 요소의 z-좌표가 획득될 수 있다.
사용자의 눈(22)의 x-, y-, 및 z-좌표(또는 가상 눈 또는 다른 해부학적 특징부) 및 포인팅 요소의 x-, y-, 및 z-좌표가 획득되었다면, 이러한 두 포인트를 통하여 연장되는 직선(시야 선(24))이 결정될 수 있고, 이 선이 디스플레이(6)와 교차하는 포인트가 식별될 수 있다. 이 선과 디스플레이(6)와의 교차의 식별된 포인트는 사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 포인트, 예컨대 제스쳐 위치(Gesture Location)로 결정될 수 있다.
일부 실시태양에서, 디스플레이(6)가 3-D 디스플레이일 수 있고, 디스플레이된 그래픽 요소는, 디스플레이(6) 앞이나 디바이스(4) 뒤에 위치한 시야 공간 내에 위치되는 것과 같이 사용자(16)에게 인식되는 3-D 그래픽 요소일 수 있다. 그러므로, 사용자(16)가 포인팅하고 있는 포인트의 위치를 결정하는 것이 3-D 디스플레이로 실행될 수 있으며, 식별된 시야 선(24)은, 사용자의 눈(22)으로부터 포인팅 요소를 통해, 디스플레이(6) 앞에 있는 공간 내로서 사용자(16)에게 인식되는 각각의 그래픽 요소를 나타내는 시각적 요소에 연장된다.
일부 실시태양에서, 디스플레이(6)는 2-D 디스플레이이고, 디스플레이된 그래픽 요소는 2-D 그래픽 요소일 수 있다. 따라서, 사용자(16)가 포인팅하고 있는 포인트의 위치를 결정하는 것이 2-D 디스플레이(6)로 실행될 수 있고, 식별된 시야 선(24)이 사용자의 눈(22)으로부터 포인팅 요소를 통해, 시야 선(24)과 디스플레이(6)의 교차점에 연장된다.
도 4는 디스플레이(6)를 향하여 포인팅하는 사용자(16)의 일례의 그래픽 표시를 도시한다. 사용자(16)가 포인팅하고 있는 디스플레이(6)의 포인트를 더욱 양호하게 결정하기 위하여, 포인팅하는 동안 시야 공간 내의 포인팅 요소의 위치를 식별하는 것이 바람직할 수 있다. 그러므로, 포인팅 요소가 디스플레이(6)에 최근접하는 포인팅 제스쳐 동안에 포인팅 요소의 위치인, 포인트 P'를 식별하는 것이 바람직할 수 있다. 포인팅 제스쳐 동안의 사용자(16)의 손 모션이 디스플레이(6)에 최근접하게 위치되는 포인트 P'에 의해 특징되는 모션 벡터로 도시된다.
시스템(2)이 포인팅 제스쳐 동안 포인트 P'를 식별하도록 구성될 수 있다. 일부 실시태양에서, 이미지 센서(8)는 3-D 이미지 센서 또는 입체적 이미지 센서를 포함할 수 있고, 처리 유닛(12)이 캡쳐된 이미지로부터 포인트 P'를 추출하도록 구성되어, 포인트 P'의 z-좌표는 포인팅 요소가 디스플레이(6)에 최근접으로 위치할 때에 포인팅 요소의 위치를 나타낼 수 있다.
일부 실시태양에서, 이미지 센서(8)가 2-D 이미지 센서를 포함하며, 포인트 P'는 포인팅 제스쳐 동안 포인팅 요소의 하나 이상의 특징의 분석에 기초하여 식별될 수 있고, 이는, 예컨대 포인팅 요소의 모션 경로, 포인팅 요소의 모션 벡터, 포인팅 요소의 모션 벡터의 변화, 포인팅 요소의 포즈, 포인팅 요소의 크기, 포인팅 요소의 가속도 및/또는 감속도를 포함할 수 있다. 일부 실시태양에서, 포인트 P'의 식별이 시야 평면 내의 포인팅 요소의 위치의 변경에 기초할 수 있다. 예를 들어, 사용자(16)가 그의 팔을 뻗어서 포인트 P'가 도달되고 난 후에, 사용자(16)는 그의 팔을 움츠릴 수 있다. 시야 공간에서의 포인팅 요소의 위치(예, 좌표)의 변화는 팔이 움츠려졌다는 것을 나타낼 수 있고, 포인트 P'를 식별하도록 사용될 수 있다.
일부 실시태양에서, 포인트 P'가 포인팅 제스쳐 동안 포인팅 요소의 크기의 변화에 기초하여 식별될 수 있다. 예를 들어, 사용자(16)가 그의 팔을 디스플레이(6)를 향하여 뻗기 때문에, 포인팅 요소의 크기가 증가될 수 있다(예, 캡쳐된 이미지 내의 손끝(14)의 크기가 증가될 수 있음). 처리 유닛(12)이 포인팅 요소의 크기를 추적하고, 포인팅 요소의 크기가 최대인 포인팅 요소의 위치를 결정하도록 구성될 수 있다.
도 5는 포인트 P'를 식별하기 위한 일례의 방법을 도시하는 흐름도이다. 도 5에 관하여 기재된 동작들이 예컨대 머신 비전 모듈(210)을 포함하는 처리 유닛(12)에 의해, 실행될 수 있다.
이 방법이 단계 501, 디스플레이(6)와 상호작용하는 사용자(16)의 적어도 하나의 이미지를 캡쳐하는 단계를 포함할 수 있다. 특히, 이미지 센서(8)는 디스플레이(6) 상에 디스플레이되는 아이콘과의 상호 작용을 시도하는 동안 사용자(16)의 이미지를 캡쳐할 수 있다. 이 방법은 단계 503, 적어도 하나의 이미지 내에서 포인팅 요소를 검출하는 단계를 포함할 수 있다. 이 방법은 단계 505, 포인팅 요소의 팁의 크기의 변화를 식별하는 단계를 포함할 수 있다. 단계 505 동안, 캡쳐된 이미지가 처리될 수 있고, 상이한 이미지 내의 포인팅 요소의 크기의 변화가 식별될 수 있다. 예를 들어, 디스플레이(6)를 샹한 팔의 모션을 따라서 상이한 위치에 따른 손끝(14)의 크기에 대한, 포인팅 제스쳐의 시작시에, 시작 위치에 있는 손끝(14)의 크기와의 비율이 계산될 수 있고, 손끝(14)의 크기의 증가의 퍼센트가 식별될 수 있다. 포인팅 요소가 디스플레이(6)으로부터의 최단 거리에 위치하면 포인팅의 최대 크기가 발생할 수 있고, 그것의 시작 위치에 대한 크기의 최대 변화가 기록될 수 있다. 그 후 팔이 움츠려 들 때에, 포인팅 요소의 크기가 더 작아지기 때문에, 크기의 변화가 감소할 것이다.
이 방법은 단계 507, 포인팅 요소의 팁의 시작 크기와 현재 크기 사이의 최대 변화가 결정되는 포인팅 요소의 위치를 식별하는 단계를 포함할 수 있다. 이 방법은 단계 508, 식별된 위치를 포인트 P'로서 지정하는 단계를 포함한다.
도 6a는 디스플레이(6)를 향하여 포인팅하는 사용자(16)를 도시하는 상부도이다. 도 6a에서, 이미지 센서(8)가 디스플레이(6)에 인접하여 위치할 수 있고, 파선(10)에 의해 표시되는 3-D 시야 공간의 이미지를 캡쳐할 수 있다. 디스플레이(6)으로부터 사용자(16)의 거리 R1가 선 R1에 의해 표시되고, 이것은 디스플레이(6)로부터 사용자(16)의 눈들 사이(예, 동공들 사이)의 가상선 상의 포인트에 연장된다. 전술한 것처럼, 거리 R1이, 예컨대 사용자의 눈들 사이의 거리에 기초하여 이미지 센서에 의해 획득되는 이미지 내에서 식별되는 것으로 결정될 수 있다.
게다가, 전형적인 인간 행동에 기초하여, 사용자(16)가 디스플레이(6)를 향하여 포인팅하고 있는 때에 그의 팔이 반드시 그의 몸으로부터 완전히 뻗어지는 것은 아님을 추측할 수 있으며, 팔이 몸에 되돌아 오는 때에도 팔이 반드시 완전히 움츠려지지 않음을 추측할 수 있다. 사용자(16)의 몸으로부터 디스플레이(6)를 향한 포인팅 요소의 연장 길이가 도 6a 및 6b에 범위 R2로 도시된다.
범위 R2는, 예컨대 사용자의 키 및 그의 몸의 추정되는 프로포션에 기초하여 추정될 수 있다. 게다가, 범위 R2가 디스플레이(6)로부터의 사용자(16)의 거리 R1을 지시하는 정보에 기초하여 추정될 수 있다. 게다가, 사용자(16)의 나이 및 성별에 대한 정보도 또한 범위 R2의 추정 동안 사용될 수 있다 . 게다가, 범위 R2는 포인팅하는 동안 사용자(16)의 팔의 연장을 나타내는 다수의 사용자(16)로부터 획득되는 기록된 통계 정보로부터 추정될 수 있다(각각의 사용자(16)의 키 및 프로포션을 고려할 수 있음). 또한, 상이한 지리학적 및/또는 인종 기원과 연관될 수 있는 상이한 포인팅 제스쳐들 간의 구별을 위하여, 이러한 정보가 사용자의 지리학적 및/또는 인종 기원에 기초하여 분류될 수도 있다. 따라서, 예를 들어, 범위 R2를 위한 평균 길이가 다수의 사용자(16)의 팔 연장 길이에 대하여 기록된 정보로부터 계산될 수 있다.
범위 R2가 사용자의 몸으로부터 포인팅 요소의 거리의 추정을 가능하게 하는 반면, 상이한 사용자(16)에 의해 이루어지는 포인팅 제스쳐에서의 팔의 연장 사이의 몇몇 편차가 존재할 수 있다. 도 6a는 또한 편차 Δr를 도시하며, 이것은 상이한 포인팅 제스쳐 사이의 팔의 연장의 잠재적 편차를 나타낸다. 전술한 것처럼, 범위 R2가 상이한 사용자(16)의 포인팅 제스쳐 내의 측정된 팔의 연장의 평균값이라면, 편차 Δr가 예컨대 전술한 평균값의 하나 이상의 기준 편차와 동일한 값으로 결정될 수 있다(예, 높이 인자의 평균화 후).
도 6b는 포인팅 요소의 일례의 상이한 연장을 도시하는 상부도이다. 도 6b에서, 이미지 센서(8)는 디스플레이(6)에 인접하게 위치할 수 있고, 3-D 시야 공간의 이미지의 캡쳐를 가능하게 할 수 있다. 사용자(16)의 이미지가 이미지 센서(8)에 의해 캡쳐될 수 있다. 3-D 이미지 센서에 의해 캡쳐된 이미지와 다르게, 2-D 이미지 센서에 의해 캡쳐된 이미지는 깊이 지각(depth perception)없이 사용자(16)의 디스플레이(6)에의 이미지 투영을 제공할 수 있다. 도 6b에서, 사용자(16)가 그의 팔을 뻗어서 디스플레이(6)를 향하여 포인팅할 수 있다. 상이한 길이를 갖는 두 연장이 도시된다. 연장 a로부터 연장되는 시야 선(더 긴 연장)이 포인트 P1에서 디스플레이(6)와 교차하며, 연장 b로부터 연장되는 시야 선(더 짧은 연장)이 포인트 P2에서 디스플레이(6)와 교차한다.
연장 a 및 b가 디스플레이(6) 상의 상이한 위치에 포인팅될 수 있다 할지라도, 두 연장은 동일한 방식으로, 예컨대 동일한 선 R3 상에 수렴되어서, 이미지 센서(8)에 의해 보여질 수 있다.
전술한 것처럼, 제스쳐링 위치(19)를 식별하기 위하여(사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 위치), 사용자(16)의 눈에 연결되는 시야 선(24), 포인팅 요소, 및 디스플레이(6)와 시야 선(24)의 교차의 각각의 포인트가 결정될 수 있다. 그러나, 시야 선(24)의 식별 동안 존재할 수 있는 다양한 불확실성의 결과로서, 사용자(16)가 정확히 디스플레이(6)의 어디를 포인팅하고 있는지에 대한 불확실성이 존재할 수 있다. 이러한 불확실성은, 예컨대 시야 선(24)을 최선으로 나타낼 수 있는 사용자(16)의 눈들 사이에 위치되는 포인트의 식별에 대한, 그리고 포인팅 대상의 팁의 식별에 대한 불확실성을 포함할 수 있다. 게다가, 전술한 것처럼, 2-D 이미지 센서는 사용자(16)의 몸으로부터의 포인팅 요소의 실제 연장에 대한, 그리고 디스플레이(6)로부터의 사용자(16)의 거리에 대한 추가의 불확실성을 포함할 수 있다.
이러한 잠재적인 불확실성의 결과로서, 사용자(16)가 디스플레이(6)를 향하여 포인팅하는 때에, 사용자(16)가 포인팅될 수 있는 디스플레이(6) 상의 하나의 포인트를 식별하는 대신에, 더 큰 영역(또는 후보면)이 디스플레이(6) 상에서 식별될 수 있다. 후보면은, 사용자의 눈(22)으로부터 연장되는 복수의 가능한 선이 포인팅 요소를 통해 지나가고 디스플레이(6)를 교차하는 영역을 나타낼 수 있다. 이미지 센서(8)에 의해 획득된 이미지는 사용자의 눈(22) 및 손끝(14)을 포함할 수 있고, 시야 선(24)의 투영면(이미지 센서(8)에 의해 캡쳐된 평면인 투영면)에의 투영을 포함할 수 있다. 투영면에의 투영이 시야 선(24)의 투영면으로의 투영과 동일한 시야 공간 내의 모든 라인의 세트가 후보면을 형성한다. 사용자의 눈(22)으로부터 포인팅 요소 및 공통 후보면을 통해 연장되는 각각의 라인이 후보 시야 선이다. 후보면은, 예컨대후보면의 다수의 픽셀(후보면이 하나 이상의 픽셀을 포함할 수 있음), 그것의 크기(예, 픽셀 또는 그것의 측정된 직경), 그것의 형상, 스크린 상에서의 그것의 위치 등을 포함하는 상이한 특징들에 의해 특징지어질 수 있다.
따라서, 전술한 불확실성에도 불구하고, 사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 포인트나 위치를 더욱 정확히 식별하는 것이 바람직할 것이다. 다음의 도면에 대해 기재되는 동작들이 2-D, 3-D 및 입체적 이미지 센서 중 임의의 하나와 설치되는 시스템 내에서 적용될 수 있다.
일부 실시태양에서, 사용자(16)는 캘리브레이션 절차를 수행할 수 있다. 이 캘리브레이션 절차에서, 사용자(16)는 디스플레이(6) 상에서 디스플레이되는 하나 이상의 그래픽 요소(예, 아이콘)에 연쇄적으로 포인팅되도록 지시될 수 있다. 그래픽 요소 중 하나는, 예컨대 그래픽 요소를 포함하여, 그것의 선택이 디바이스(4)를 대기 모드에서 활성 모드로 스위칭하거나, 그 선택이 디스플레이(6)를 언로킹할 수 있다. 사용자(16)가 그러한 그래픽 요소를 향하여 포인팅하는 때에, 사용자(16)가 그래픽 요소에 포인팅하고 있는 동안에, 처리 유닛(12)이 이미지 센서(8)에 의해 획득된 이미지 내의 사용자의 눈(22) 및 포인팅 대상의 위치를 결정할 수 있다. 미국 특허 공개 제2008/0042981호로 개시된, 동일 출원인의 계류중인 미국 특허출원 제10/593,628호에서 처럼, 손끝(14)이 이미지 센서(8)에 의해 획득된 이미지ㅣ 내에서 식별될 수 있으며, 상기 개시물의 내용은 본원에 원용된다.
이미지 내의 얼굴과 눈을 식별하는 방법은 이 분야에서 공지되어 있다. 사용자(16)가 디스플레이(6) 상의 아이콘에 후속하여 포인팅하는 때에, 처리 유닛(12)은 디스플레이(6) 상의 위치, 및 결국 사용자(16)가 포인팅하고 있는 아이콘을 결정할 수 있고, 이미지 센서(8)에 의해 획득되는 이미지 내의 사용자의 눈들 사이의 거리로부터 결정될 수 있는, 사용자(16)와 디스플레이(6) 사이의 거리 및 사용자의 눈(22)과 손끝(14) 사이의 거리에 대한 제한과 함께, 캘리브레이션 데이터가 사용된다.
도 7은 캘리브레이션 모듈(208)을 포함하는 처리 유닛(12)으로 캘리브레이션 프로세스를 수행하기 위한 일례의 방법을 도시하는 흐름도이다. 캘리브레이션 프로세스 동안, 사용자(16)와 디스플레이(6) 사이의 거리 R1 및 포인팅 요소와 사용자의 몸 사이의 범위 R2가 더욱 정확하게 추정될 수 있다. 이 방법은 단계 701, 디스플레이(6) 상에 캘리브레이션 순서(calibration sequence)를 디스플레이하는 단계를 포함한다. 단계 701 동안, 하나 이상의 그래픽 요소(예, 아이콘)가 미리 정해진 순서나 형상으로 디스플레이(6) 상에 디스플레이되고, 캘리브레이션 순서를 제공할 수 있다. 캘리브레이션 순서는 디스플레이(6) 상의 아이콘의 위치 및/또는 상이한 아이콘과의 상호작용의 순서에 의해 특징지어질 수 있다. 사용자(16)는 미리 정해진 순서에 따라 아이콘과 상호작용하도록(예, 포인팅하거나 스와이핑) 요청될 수 있다. 일부 실시태양에서, 캘리브레이션 순서는 또한 미리 정해진 패턴이나 형상에 따라 스와이핑되거나 이동되기 위하여 아이콘을 포함할 수 있다.
일부 경우에, 사용자(16)는 캘리브레이션 프로세스를 인지하지 못할 수 있다. 예를 들어, 전술한 것처럼, 캘리브레이션 프로세스는 디스플레이(6)를 언로킹하기 위한 상호작용으로서 사용자(16)에게 표시될 수 있다(예, 왼쪽으로부터 오른쪽으로 디스플레이(6) 상에 디스플레이된 아이콘을 스와이핑함). 또는, 사용자(16)가 디스플레이된 아이콘에 포인팅하는 것과 같은 일반적은 사용 동안 캘리브레이션이 일어날 수 있다.
이 방법은 단계 703, 디스플레이(6)와 상호작용하는 사용자(16)의 적어도 하나의 이미지를 캡쳐하는 단계를 포함할 수 있다. 단계 703 동안, 사용자(16)는, 캘리브레이션 순서에 의해 요청된 바와 같이 디스플레이(6)와 상호작용할 수 있고, 그렇게 하는 동안에 이미지 센서(8)가 사용자(16)의 이미지를 캡쳐할 수 있다. 이 방법은 단계 705, 시야면 내에서 사용자(16)의 위치를 결정하는 단계를 포함할 수 있다. 단계 705 동안, 이미지 센서(8)에 의해 캡쳐된 이미지 내의 사용자(16)(사용자의 눈(22))의 위치(예, x- 및 y-좌표)가 결정될 수 있다. 이 방법은 포인팅 요소의 각각의 포인트 P'를 결정하는 단계를 포함할 수 있다. 단계 707 동안, 포인팅 제스쳐가 식별될 수 있고, 포인팅 요소가 디스플레이(6)에 최근접하게 위치되는 포인팅 요소의 위치를 나타내는 포인트 P'(예, x- 및 y-좌표)가 결정될 수 있다.
이 방법은 단계 709, 디스플레이(6) 상의 각각의 아이콘을 포인트 P'의 2-D 위치에, 그리고 사용자(16)의 2-D 위치에 연결하는 시야 선(24)을 결정하는 단계를 포함할 수 있다. 캘리브레이션 프로세스가 미리 정해진 캘리브레이션 순서에 따라 실행될 수 있기 때문에, 사용자(16)가 현재 포인팅되도록 요청되는 디스플레이(6) 상에 디스플레이된 그래픽 요소를 지시하는 정보는, 처리 유닛(12)에 이용가능하다. 따라서, 처리 유닛(12)이, 사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 각각의 그래픽 요소와, 사용자(16)의 위치, 포인트 P'를 연결하는 시야 선(24) 사이에서 더욱 용이하게 상관될 수 있다. 따라서, 각각의 시야 선(24)이 디스플레이(6) 상의 관련된 그래픽 요소로부터, 각각의 포인트 P'에 위치되는 포인팅 요소를 통해, 사용자(16)의 각각의 위치에 연장될 수 있다.
도 8은 일례의 캘리브레이션 프로세스를 도시하는 상부도이다. 도 8에서, 이미지 센서(8)는 디스플레이(6)에 인접하게 위치되고, 파선(10)으로 표시되는 3-D 시야 공간의 이미지를 캡쳐할 수 있다. 사용자(16)는 아이콘 G1을 향하여 포인팅할 수 있고, 이것은 캘리브레이션 순서의 일부이다(도시되지 않음). 디스플레이(6) 앞에 서 있는 사용자(16)의 2-D 위치가 선 L1 상에 위치될 수 있다. 사용자(16)와 디스플레이(6) 사이의 거리 R1가 전술한 것처럼 추정될 수 있지만; 캘리브레이션 프로세스는 이러한 추정에 대해 개선될 수 있다. 포인트 P'의 2-D 위치는 선 L2 상에 위치될 수 있다. 선 L1와 선 L2 사이에 연장되는 범위 R2가 전술한 것처럼 추정될 수 있지만; 캘리브레이션 프로세스는 이러한 추정에 대해 개선될 수 있다.
도 6a에 대하여 전술한 것처럼, 편차 Δr 에 의해 표시된 것처럼, 불확실성이 추정된 범위 R2에 대하여 존재할 수 있다. 따라서, 선 L1와 선 L2 사이에 거리가 R2+Δr/2 및 R2-Δr/2 사이에 어느 곳이라고 추정될 수 있다. 캘리브레이션 프로세스 동안, 제1 직선 L3이 디스플레이(6) 상의 아이콘 G1 으로부터 연장되고, 선 L1 및 L2에 연결될 수 있어서, 선 L1와 선 L2 사이의 거리가 R2-Δr/2이며; 제2 직선 L4이 디스플레이(6) 상의 아이콘 G1으로부터 연장되고 선 L1와 선 L2를 연결할 수 있어서, 선 L1와 선 L2 사이의 거리가 R2+Δr/2이다. 도 8에서, 선 L2 상의 포인트 a와 선 L1 상의 포인트 u1 사이의 거리가 R2-Δr/2이고, 선 L2 상의 포인트 b와 선 L1 상의 포인트 u2 사이의 거리 R2''가 R2+Δr/2이다.
선 L1 상의 포인트 EL은 사용자(16)의 추정된 위치를 나타낼 수 있고, 포인트 u1와 u2 사이에 위치되는 임의의 포인트가 되도록 결정될 수 있다. 예를 들어, 포인트 EL은 포인트 u1와 u2 사이의 정확히 중간에 위치되는 포인트일 수 있다. 선 L2 상의 각각의 포인트가 선 L1상의 선택된 포인트로부터 선 L2를 통하여, 아이콘 i에 직선을 연장시킴으로써 결정될 수 있다. 캘리브레이션 방법이 단계 711, 사용자(16)에게 피드백을 제공하고, 사용자(16)가 캘리브레이션 순서를 따르는 만큼 단계 703 내지 709를 반복하는 단계를 포함할 수 있다. 피드백은, 예컨대 색, 크기, 형상, 및 각각의 그래픽 요소의 부분 중 하나 이상을 변경함으로써, 또는 음성 명령에 의해, 사용자(160에게 제공될 수 있다. 사용자(16)가 캘리브레이션 순서를 따르고 디스플레이(6) 상의 각각의 그래픽 요소와 교차하는 한, 단계 703 내지 709가 반복될 수 있다.
임의의 아이콘 G1에 대하여, 사용자(16)의 위치를 나타내는 선 L1 상의 각각의 포인트 ELi가 전술한 바와 같이 결정될 수 있다. 이 방법은 단계 713, 상이한 시각적 요소로 생성되는 다수의 시야 선에 기초하여 범위 R1 및 R2를 결정하는 단계를 포함할 수 있다. 단계 713 동안, 범위 R1 및 R2의 최종 추정이 결정될 수 있다. 범위 R1 및 R2의 최종 추정은 캘리브레이션 순서에서 상이한 아이콘에 대하여 획득되는 모든 포인트 EL에 기초하여 결정될 수 있다(예, 모든 식별된 포인트의 중앙에 위치하는 포인트).
이 방법은 단계 715, 디스플레이(6)를 향한 식별된 포인팅 제스쳐에 응답하여, 범위 R1 및 R2에 기초하여 각각의 시야 선(24)을 식별하는 단계를 포함할 수 있다. 시스템이 캘리브레이션되면, 및/또는 정상 동작(regular operation) 동안 단계 715가 일어날 수 있다.
처리 유닛(12)이 디스플레이(6) 상의 각각의 아이콘에 대한 상이한 범위 R2를 결정하도록 구성될 수 있고, 상이한 아이콘과 디스플레이(6) 상의 그것의 각각의 위치를, 대응하는 범위 R2와 연관시키는 맵을 생성할 수 있다. 디스플레이(6) 상의 임의의 다른 포인트(캘리브레이션 아이콘에 의해 있지 않음)가 그 맵에 기초하여 각각의 범위 R2와 연관될 수 있다. 이 연관은, 예컨대 아이콘의 위치 및 그것의 각각의 범위 R2의 선형 결합에 기초할 수 있다.
정상 동작 동안, 처리 유닛(12)은 디스플레이(8)를 향한 사용자(16)의 포인팅 제스쳐에 응답하여, 포인팅 제스쳐의 일반적인 방향을 식별하고, 디스플레이(6) 상의 포인트에 위치되는 캘리브레이션 아이콘과 연관되는 특정 범위 R2를 선택하도록 구성될 수 있고, 이러한 특정 범위 R2은 식별된 일반적인 방향에 최근접한다.
전술한 캘리브레이션 프로세스에 더하여, 또는 대신하여, 사용자(16)가 포인팅하는 디스플레이(6) 상의 포인트나 위치를 더욱 정확히 식별하도록 다른 기술이 가능할 수 있다. 전술한 것처럼, 사용자(16)가 포인팅하는 디스플레이(6) 상의 위치를 결정할 때에 사용되는 파라미터와 관련된 상이한 불확실성으로 인해, 후보면이 디스플레이(6) 상에 식별될 수 있고, 사용자(16)의 눈들로부터 연장되는 가능한 복수의 선이 포인팅 요소를 통해 지나가고 디스플레이(6)와 교차하는 평면을 나타낼 수 있다.
도 9는 사용자(16)가 포인팅하고 있는 디스플레이(6) 상의 포인트를 더욱 정확히 식별하기 위해, 그리고 후보면의 크기를 줄이기 위해, 머신 비전 유닛(210)을 포함하는 처리 유닛(12)을 채택하는 일례의 방법을 도시하는 흐름도이다.
이 방법은 단계 901, 디스플레이(6)와 상호작용하는 사용자(16)의 적어도 하나의 이미지를 캡쳐하는 단계를 포함할 수 있다. 단계 901 동안, 이미지 센서(8)는 디스플레이(6) 상에 디스플레이되는 그래픽 요소와 상호작용하도록 시도하는 사용자(16)의 이미지를 캡쳐할 수 있다. 이 방법은 단계 903, 적어도 하나의 이미지 내의 포인팅 요소 및 사용자의 눈(22)을 식별하는 단계를 포함할 수 있다. 특히, 캡쳐된 눈이 처리될 수 있고, 사용자의 눈(22) 및 포인팅 요소가 캡쳐된 이미지 내에서 식별될 수 있다. 이 방법은 단계 905, 일련의 위치 데이터를 획득하는 단계를 포함할 수 있다. 단계 905 동안, 포인팅 요소의 모션 경로가 디스플레이(6)를 향하여 연장되는 동안 추적될 수 있고, 모션 경로에서 포인팅 요소(예, 손끝(14))의 상이한 위치를 포함하는 일련의 위치 값이 획득될 수 있다.
위치 값이 주어진 이미지 내의 포인팅 요소의 위치를 기술할 수 있는 파라미터를 포함한다. 예컨대, 위치 값이 이미지 센서(8)에 의해 캡쳐되는 시야면 내의 포인팅 요소의 팁의 x- 및 y-좌표일 수 있다. 사용자(16)는 그의 팔을 디스플레이(6)를 향하여 근접하게 연장할 수 있고, 시야면(x- 및 y-좌표로 표시됨)에 대하여 손끝(14)의 2-D 위치가 획득되고 저장될 수 있다.
팔이 포인팅 제스쳐 동안 디스플레이(6)를 향하여 더 근접하게 연장되고, 디스플레이(6)로부터 특정 거리에서 개시되어, 수렴 포인트(convergence point)를 향하여 앞으로 나아가도록 이동하는 동안에, 포인팅 요소가 디스플레이(6) 상의 동일한 위치에 포인팅될 수 있다(예, 포인팅 요소가 유사한 시야 선(24) 상에 배열될 수 있음) 이 모션 경로 동안, 이미지 센서(8)가 사용자의 눈(22)을 통해 지나가는 동일한 시야 선(24) 상에 배열될 수 있는 포인팅 요소의 상이한 포인트, 포인팅 요소(예, 손끝(14)), 및 디스플레이(6) 상의 포인트와 같은, 일련의 이미지를 캡쳐할 수 있다.
이 방법은 단계 907, 포인트 P'에 있는 포인팅 요소를 식별하는 단계를 포함할 수 있다. 단계 907 동안, 포인팅 요소(예, 손끝(14))의 모션이 포인팅 요소가 포인트 P'에 위치한다고 식별될 때까지 추적될 수 있다. 이 포인트에서, 디스플레이(6)를 향한 포인팅 요소의 모션 경로로부터 추출되는 일련의 위치 값으로부터 미리 정해진 수의 위치 값이 선택될 수 있다. 선택된 위치 값이, 예컨대 포인팅 요소가 디스플레이(6)에 최근접한 포인트 P'에 도달되기 전에 N 이미지(또는 프레임)과 상관되는 위치 값일 수 있다. 대안으로, 선택된 위치 값이 유사한 시야 선 상에 위치되는 연속되는 위치일 수 있다.
전술한 것처럼, 일련의 위치 값의 각각의 위치 값(예컨대, 시야면 상의 x- 및 y-좌표로 표시됨)은 각각의 위치 값에 의해 표시되는 위치에 위치되는 포인팅 요소를 통해 사용자의 눈(22)에 연결되고 디스플레이(6)를 교차하는 각각의 시야 선(24)과 연관될 수 있다. 전술한 불확실성 때문에, 각각의 시야 선이 디스플레이(6) 상의 각각의 후보면과 연관될 수 있다.
이 방법은 단계 909, 미리 정해진 수의 위치 데이터 컴포넌트를 선택하고, 디스플레이(6) 상의 그것의 각각의 후보면을 식별하는 단계를 포함할 수 있다. 단계 909에서, 각각의 후보면은 디스플레이(6) 상에서 식별되는 선택된 위치 값과 연관될 수 있다. 이 방법은 단계 911, 디스플레이(6) 상의 선택된 영역과 같은 모든 후보면 간의 중첩되는 영역을 식별하는 단계를 포함할 수 있다. 단계 911에서, 후보면들 사이의 중첩 영역이 식별되고, 선택된 시야면으로서 지정될 수 있고, 이로써 후보면의 크기를 줄이고, 사용자(16)가 포인팅하고 있는 포인트로서의 디스플레이(6) 상의 더 작은 영역을 식별할 수 있다.
도 10은 부분적으로 중첩되는 3 개의 후보면을 도시하는 일례의 벤 다이어그램이다. 3 개의 후보면의 각각이 디스플레이(6) 상의 위치나 특정 영역을 가리는 원으로 표시된다. 3개의 후보면의 각각이 기록된 일련의 위치 값에서 3 개의 마지막 위치 값의 상이한 위치 값과 연관된다(위치 값s: n, n-1, 및 n-2).
전술한 것처럼, 수렴 포인트로부터 앞으로 나아가서, 일련의 위치 값에서 상이한 위치 값과 연관되는 3개의 상이한 시야면의 각각이 중첩 영역을 가릴 수 있다. 도 9에서처럼, 3개의 후보면이, 동일한 영역에 포인팅할 수 있고, 선택된 투영면으로서 지정되는, 중첩 부분(평행선 음영으로 표시됨)을 공유한다.
도 11은 처리 유닛(12)으로 수행될 수 있는 일례의 방법을 도시하는 흐름도이다. 시스템(2)은 디스플레이(6)를 향하여 포인팅하는 사용자(16)에게 피드백을 제공하도록 구성될 수 있다. 이 피드백은 사용자(16)가 디스플레이(6) 상의 원하는 포인트를 향하여 포인팅 요소를 지향하고 원하는 그래픽 요소를 더욱 용이하게 선택하도록 도움을 준다. 도 11과 연관되는 다음의 동작이 2-D 디스플레이의 내용으로 제공되지만, 유사한 동작이 3-D 디스플레이로 실행될 수 있다.
이 방법은 단계 1101, 디스플레이(6)와 상호작용하는 사용자(16)의 적어도 하나의 이미지를 캡쳐하는 단계를 포함한다. 단계 1101에서, 디스플레이(6) 상에 디스플레이된 아이콘과 상호작용하도록 시도하는 동안 이미지 센서(8)가 사용자(16)의 이미지를 캡쳐할 수 있다. 이 방법은 단계 1103, 적어도 하나의 이미지 내의 포인팅 요소 및 사용자의 눈(22)을 식별하는 단계를 포함할 수 있다. 이 방법은 단계 1105, 디스플레이(6) 상에 포인팅 시각적 효과를 디스플레이하는 단계를 포함할 수 있다. 이 단계 1105는 포인팅 제스쳐의 검출에 응답하여 발생할 수 있다. 포인팅 시각적 효과는, 예컨대 임의의 형상이나 색, 투명이나 불투명에 의해 특징지어지는 색의 자국(smudge)일 수 있고, 그래픽 요소의 상부나 뒤에 있을 수 있는, 디스플레이(6) 상에 디스플레이되는 그래픽 요소에 대한 임의의 위치에 위치될 수 있다. 예를 들어, 포인팅 시각적 효과는, 그래픽 요소가 식별될 수 있는 투명 색, 원형 대칭 형상 중 하나 이상을 가질 수 있고, 사용자(16)에게 디스플레이(6)의 부분을 조사하는(lluminating) 플래시광 빔으로 나타날 수 있다. 디스플레이(6) 상의 포인팅 시각적 효과의 시작 위치가 포인팅 요소의 시작 포인팅 방향에 기초하여 결정될 수 있다.
이 방법은 단계 1107, 포인트 요소의 모션 경로를 추적하는 단계를 포함할 수 있다. 포인팅 요소를 추적하는 동안, 도 9에서 단계 905에 대하여 전술한 것처럼, 일련의 위치 값의 각각을 획득할 수 있다.
이 방법은 단계 1109, 포인팅 요소의 이동과 상관되는 포인팅 시각적 효과의 하나 이상의 특성을 변경하는 단계를 포함할 수 있다. 예를 들어, 포인팅 요소가 디스플레이(6)를 향하여 더 근접하게 연장되는 한, 포인팅 시각적 효과의 하나 이상의 특성이 포인팅 요소의 이동과 상관하여 변경될 수 있다. 특성은 예컨대, 포인팅 시각적 효과의 형상, 크기 및 색 중 하나 이상을 포함할 수 있다. 예를 들어, 포인팅 시각적 효과가 포인팅 요소와 디스플레이(6) 사이의 간격으로서 크기를 감소시킬 수 있다.
사용자(16)가 디스플레이(6)를 향하여 그의 팔을 뻗기 때문에, 사용자(16)는 디스플레이(6) 상에 디스플레이되는 원하는 그래픽 요소의 위치를 향하여 포인팅 시각적 효과를 이동시키려고 직관적으로 시도할 수 있다. 선택된 그래픽 요소를 향하여 포인팅 시각적 효과를 이동시키려는 시도에서 사용자(16)에 의해 이루어질 수 있는, 포인팅 요소의 이동의 교정이, 처리 유닛(12)에 의해 식별될 수 있다. 선택적으로, 디스플레이(6) 상에서 포인팅 시각적 효과의 위치는 사용자(16)의 이동의 정정에 기초하여 변경될 수 있다. 예를 들어, 디스플레이(6) 상의 포인팅 시각적 효과의 위치는 사용자(16)에 의해 이루어지는 정정하는 제스쳐(rectifying gesture)의 방향과 상관하여 변경될 수 있다.
또 다른 실시예에서, 포인팅 요소가 디스플레이(6)를 향해 더 근접하게 오는 만큼 원형의 포인팅 시각적 효과가 더 작아질 것이다. 선택적으로, 포인팅 시각적 효과가 정정하는 제스쳐의 방향으로 감소될 수 있다. 도 16a는 크기가 감소되고, 왼쪽에 위치되는 아이콘(정사각형으로 표시됨)을 향한 정정하는 제스쳐에 응답하여 왼쪽으로 이동되는 포인팅 시각적 효과를 도시하며, 도 16b는 크기가 감소되고, 오른쪽에 위치하는 아이콘(정사각형으로 표시됨)을 향한 정정하는 제스쳐에 응답하여 오른쪽으로 이동되는 포인팅 시각적 효과를 도시한다.
이 방법은 단계 1111, 디스플레이(6) 상의 포인팅 시각적 효과의 알려진 위치 및 포인팅 요소의 이동에 기초하여, 그래픽 요소를 결정하는 단계를 포함할 수 있다. 예를 들어, 포인팅 시각적 효과에 관련된 미리 정해진 기준을 따르는 아이콘이 선택된 아이콘으로서 식별될 수 있다. 게다가, 얼룩에 최근접하여 위치하거나 정정하는 제스쳐의 방향으로 얼룩에 대하여 위치되는 아이콘이 사용자(16)에 의해 선택된 아이콘으로서 결정될 수 있다.
전술한 바와 같이, 처리 유닛(12)이 사용자의 눈(22)으로부터 연장되고, 포인팅 요소의 팁을 통해 통과하고, 그 후 디스플레이(6) 상에 통과하는 시야 선(24)을 식별하도록 구성될 수 있다. 이를 위하여, 처리 유닛(12)은 캡쳐된 이미지 내에서 사용자의 눈(22)을 식별하도록 구성될 수 있다.
도 12는 사용자의 눈(22)으로부터 포인팅 요소의 팁을 통하여, 사용자(16)가 디스플레이(6)에 포인팅할 때에 사용자의 눈 중에 어느 눈이 우세한지를 고려함으로써 사용자(16)가 포인팅하는 디스플레이(6) 상의 원하는 위치로의 시야 선(24)을 계산하는 일례의 방법을 도시하는 흐름도이다. 디스플레이(6) 상의 그래픽 요소에 포인팅할 때, 눈의 우세성으로 인해, 사용자(16)가 포인팅하는 위치 및 디스플레이(6) 상의 아이콘의 실제 위치 사이의 오프셋이 존재할 수 있게 될 것이다. 달리 말하면, 포인팅 요소의 팁을 통해 사용자의 눈들 사이의 중간-포인트로부터 시야 선(24)을 계산할 때, 그 결과의 시야 선이 디스플레이(6) 상의 아이콘의 위치와 교차하지 않을 것이다. 그러므로, 사용자(16)의 또 다른 눈에 대해 우세한 사용자(16)의 하나의 눈의 결과로서 제1 제스쳐링 위치가 적어도 부분적으로 제1 디스플레이 정보의 위치와 상이하다. 이 오프셋에 대한 교정을 위하여, 이 방법 및 시스템은 사용자의 우세한 눈에 관련된 선험적 정보(priori information)를 사용하여 시야 선(24)을 계산할 수 있다. 시스템이 디스플레이된 아이콘의 정밀한 위치를 알수 있기 때문에, 이 우세 정보가 캘리브레이션이나 정상 사용 동안 시스템에 의해 도출될 수 있으며, 따라서 아이콘에 포인팅하도록 유도되는 사용자(16)가 아이콘으로부터 오프셋된 위치에 포인팅되고 있다고 검출된다.
선험적 정보는 눈깜박임과 같은 사용자 행위로부터 또는 데이터베이스로부터 획득될 수 있다. 사용자(16)는 그러한 정보를 위해 직접 요구받거나, 사용자(16)는 눈깜박임을 하도록 요구받을 수 있다. 눈깜박임 동안, 우세 눈이 뜨고 있는 눈으로 드러날 수 있다. 따라서, 시스템(2)이 사용자의 우세 눈에 따라 시야 선(24)을 계산하고, 전술한 상이한 포인팅 제스쳐 동안 사용자(16)가 포인팅하는 위치의 추정을 더욱 높은 정확도로 확립할 수 있다.
게다가, 시야 선(24)이 손끝(14)을 통해 사용자(16)가 포인팅하는 디스플레이(6) 상의 포인트로부터 추출될 수 있다. 그러나, 더 우세한 "포인팅 눈"에 관련되는 두 동공들 사이의 어느 지점의 포인트에 도달하는지를 제외하고, 사용자의 동공들 중 하나에 도달하지 않을 가능성이 있다. 전술하고, 도 14에 이하 도시될 것처럼, 우세 눈과 연관되는 오프셋으로 인해, 시야 선(24) 또는 시야의 라인이 아이콘에 대한 오프셋 위치(가상 눈 Ve)로부터, 포인팅 요소를 통해, 사용자의 얼굴의 동공들 사이의 위치에 연장된다. 그러므로, 사용자의 동공들 중 하나로부터 시작 위치를 정착하지 않고, 시야 선(24)을 계산하는 사용자의 눈들 사이의 더욱 정확한 시작 포인트를 확립하는 것이 바람직하다.
그러나, 현식적으로, 시야 선(24)이, 왼쪽 눈이나 오른쪽 눈의 그 어느 것, 또는 그 사이의 임의의 다른 포인트와 중첩될 수 있는 포인트에서, 사용자(16)의 두 눈 사이에 연장하는 가상 선 상에 위치하는 임의의 포인트와 교차할 수 있다. 제스쳐링 위치(19), 주어진 시야 선(24)이 연장하는 디스플레이(6) 상의 포인트를 더욱 정확하게 결정하기 위하여, 사용자의 왼쪽 눈이나 오른쪽 눈 또는 그들을 연결하는 선 상의 임의의 포인트 중 하나를 임의적으로 선택하기 보다는, 사용자가 포인팅하려고 의도하는 의도된 디스플레이 위치와 연관된 시야 선(24)에 대응하는 사용자(16)의 "가상 눈"을 나타내는 더욱 정확한 포인트를 결정하는 것이 바람직할 것이다.
더욱 자세하게, 도 12가 캘리브레이션 모듈(208)을 포함하는 처리 유닛(12)으로 사용자의 눈들 사이의 참조 포인트를 결정하기 위한 일례의 방법을 도시한다. 참조 포인트는 사용자(16)의 눈들(예, 동공들) 사이에 연장되는 시야 라인으로 주어진 시야 선(24)의 더욱 정확한 교차 포인트를 나타낼 수 있다. 도 12를 참조하여 기재되는 프로세스가, 예컨대 한 번의 캘리브레이션 프로세스로서 수행되거나 주기적으로 업데이트될 수 있다.
이 방법은 단계 1201, 디스플레이(6) 상에 아이콘을 디스플레이 하는 단계를 포함한다. 이 방법은 단계 1203, 디스플레이(6)와 상호작용하는 사용자(16)의 이미지를 캡쳐하는 단계를 포함한다. 단계 1203에서 캡쳐된 이미지는 이미지 센서(8)에 의해 캡쳐될 수 있다.
선택적으로 사용자(16)는 디스플레이(6) 상에 디스플레이되는 아이콘을 향하여 포인팅하도록 명령되거나 유도될 수 있다. 이 명령어는 음성 명령으로서, 캘리브레이션 프로세서의 일부로서, 또는 간단히 상호작용을 요구하는 정보의 디스플레이로서, 디스플레이(6) 상에 사용자(16)에게 제공될 수 있다. 이 방법은 단계 1205, 사용자(16)의 제1 눈에 연결되는 시야 선에 의해 생성되는 제1 후보면을 식별하는 단계를 포함한다. 단계 1205 동안, 디스플레이(6)를 향한 사용자(16)의 포인팅 제스쳐가 획득될 수 있고, 사용자의 눈 중 하나를 포인팅 요소를 통해 디스플레이(6) 상의 제1 제스쳐링 위치와 연결하는 제1 시야 선이 결정될 수 있고, 각각의 후보면이 디스플레이(6) 상에 식별될 수 있다.
이 방법은 단계 1207, 사용자(16)의 제2 눈에 연결되는 시야 선에 의해 생성되는 제2 후보면을 식별하는 단계를 포함한다. 단계 1207 동안, 디스플레이(6)를 향한 사용자(16)의 포인팅 제스쳐가 식별될 수 있고, 사용자의 눈들 중 다른 하나를 포인팅 대상을 통해 디스플레이(6) 상의 제2 제스쳐링 위치에 연결하는 제2 시야 선이 결정될 수 있고, 각각의 후보면이 디스플레이(6) 상에 식별될 수 있다. 전술한 것처럼, 제1 및 제2 후보면이 전술한 방법에 기초하여 결정될 수 있으나, 특히 제1 및 제2 후보면이 사용자(16)와 디스플레이(6) 사이의 거리 R1, 및 포인팅 요소와 시야면에서의 포인팅 요소의 위치 사이의 연장 범위 R2의 추정에 기초하여, 부분적으로 결정될 수 있다.
도 13은 캘리브레이션 아이콘 Cl을 도시하는 개략도이며, 이것은 디스플레이(6) 상에 디스플레이될 수 있다. 도 13은 두 후보면을 더 도시하고 잇으며, 하나의 후보면은 사용자(16)의 왼쪽 눈을 연결하는 시야 선에 의해 생성될 수 있고(L로 표시), 다른 후보면은 사용자(16)의 오른쪽 눈을 연결하는 시야 선에 의해 생성될 수 있다(R로 표시). 도 13의 실시예에서, 후보면 L과 다르게, 후보면 R의 부분이 캘리브레이션 아이콘 Cl를 중첩함을 유의한다.
아이콘의 위치에 대한 두 후보면의 각각의 위치에 기초하여, 처리 유닛(12)이 두 눈들 중 어느 눈이 더 우세한지를 결정하도록 구성될 수 있고, 제스쳐링 위치(19)와 연관되는 오프셋 O를 결정할 수 있다. 시스템(2)은 추가의 제스쳐링 위치를 결정하는 동안, 눈 또는 "가상 눈"을 사용할 수 있다. 처리 유닛(12)이 오프셋 O에 속하는 정보를 통해 나타나도록 구성될 수 있고, 이 눈이 더욱 우세하다. 게다가, 처리 유닛은, 예컨대 후보면 L 및 R와 캘리브레이션 아이콘 Cl의 중첩의 퍼센트, 및/또는 사용자의 눈에 대한 "가상 눈"의 상대적인 위치, 예컨대 사용자의 왼쪽 눈과 오른쪽 눈 사이의 총 거리에 대한, 사용자의 왼쪽 눈과 오른쪽 눈 중 하나와, "가상 눈" Ve 사이의 거리의 비율에 기초할 수 있는, 왼쪽 눈과 오른쪽 눈 사이의 우세 정도를 나타내도록 구성될 수 있다. 도 12에 대하여 개시된 이 방법은 제1 후보면과 제2 후보면을 연결하는 선을 연장하는 단계의 단계 1209를 포함할 수 있다. 도 12를 참조하여 도시되는 일 실시예에 따르면, 선 130(도 13에 도시됨)이 후보면 L의 중심과 후보면 R의 중심 사이에 연장될 수 있다. 이 방법은 단계 1211, 아이콘 Cl에 최근접하는 130 선을 따르는(또는 130 선에 근접하는, 예컨대 일반적으로 근처에) 포인트를 결정하는 단계를 포함한다. 예를 들어, 캘리브레이션 아이콘 Cl의 중심에 최근접하여 위치되는 선 130 상의 제3 포인트(예, 사용자(16)가 포인팅하는 타겟일 수 있음)이 식별된다. 캘리브레이션 아이콘 Cl에 최근접하는 포인트는 선 130을 세그먼트 A 및 B로 분할할 수 있다. 도 13에서, 세그먼트 A는, 캘리브레이션 아이콘 Cl에 최근접하는 포인트로부터, 사용자(16)의 왼쪽 눈으로부터 포인팅 요소(예, 손끝(14))을 향하여 "개시되고" 디스플레이(6)와 교차하는 시야 라인을 계산하함으로써 결정되는 제스쳐링 위치(19)에 연장될 수 있다. 제스쳐 위치는 평면 L의 중심으로 정의될 수도 있다. 또한, 세그먼트 B는, 캘리브레이션 아이콘 Cl에 최근접하는 포인트로부터, 사용자(16)의 오른쪽 눈으로부터 포인팅 요소(예, 손끝(14))을 향하여 "개시되고" 디스플레이(6)와 교차하는 시야 라인을 계산하함으로써 결정되는 제스쳐링 위치의 중심에 연장될 수 있다. 제스쳐 위치는 평면 R의 중심으로 또한 정의될 수 있다. 이 방법은 단계 1213, 사용자(16)의 눈들이나 동공들 사이에 연장되는 선 상에서 대응하는 포인트 Ve(또는 "가상 눈")을 식별하는 단계를 포함할 수 있다(도 14).
포인트 Ve는 사용자(16)의 눈들 사이에 연장되는 선을 세그먼트 C와 D로 분할할 수 있다. 예를 들어, 세그먼트 C는 포인트 Ve로부터 사용자의 왼쪽 동공으로 연장될 수 있고, 세그먼트 D는 포인트 Ve로부터 사용자의 오른쪽 동공으로 연장될 수 있다. 사용자(16)의 눈들 또는 동공들 사이에 연장되는 선 상의 포인트 Ve의 위치는 포인트 Ve의 위치를 보간함으로써(interpolating) 결정될 수 있어서, A/B의 프로포션이 C/D의 프로포션과 동일하다.
처리 유닛(12)이, 시야 선을 식별할 때에 사용자(16) 의 얼굴과 교차하는 포인트로서 대응하는 포인트 Ve를 사용하도록 구성될 수 있다. 이 프로세스는 캘리브레이션이 일어나는 때마다 발생할 수 있음을 알아야 할 것이며, 따라서 "가상 눈"의 위치를 미세 조정하고 디스플레이(6)에 대하여 사용자(16)의 상이한 위치에 따라 그 위치를 미세 조정하기 위하여 더욱 집합되는 값들에 도달한다.
선택적으로, 도 12에 관련된 동작들이 복수의 아이콘으로 반복될 수 있고, 각각의 아이콘은 디스플레이(6) 상의 상이한 위치에 위치되어 있다. 따라서, 눈들 사이의 상이한 각각의 포인트가 디스플레이(6) 상의 상이한 영역이나 위치에 지향되는 포인팅 제스쳐를 처리하기 위해 식별될 수 있다.
"가상 눈" 위치 및/또는 "가상 눈" 맵핑 정보가 시스템(2)에 의해, 또는 시스템(2)을 사용하는 다른 디바이스에 의해, 나중에 사용되기 위하여 모든 특정 사용자(16)와 연관되는 메모리 내에(디바이스(4) 상 또는 디바이스(4) 외부에 있음) 저장될 수 있다. 시스템(2)이 사용자(16)를 식별하는 때에(예컨대, 얼굴 인식, 사용자 음성 서명, 또는 사용자(16)에 의해 명확히 식별됨), 시스템(2)이 "가상 눈" 및/또는 "가상 눈" 맵핑 정보를 나타내는 저장된 정보를 검색할 수 있다(retrieve). 각각의 사용자(6)에 대해 저장되는 "가상 눈" 및/또는 "가상 눈 맵핑 정보"가 이미지 센서(8)에 의해 획득되는 고유 ID 정보를 포함할 수 있고, 각각의 사용자(6)와 연관되는 오프셋에 대한 정보를 포함할 수 있다. 예를 들어, 각각의 사용자(6)에 대한 저장된 정보는, 사용자의 동공을 포함하여, 사용자의 눈과 같은 안면 특징의 위치를 포함하는 안면 정보를 포함할 수 있다. 게다가, 각각의 사용자에 대해 저장된 오프셋 정보는, 사용자의 동공을 포함하여, 사용자의 눈에 대한 사용자(6)의 오프셋 정보를 포함할 수 있다.
본원의 실시태양은 하나 이상의 오프셋을 저장하는 단계를 포함할 수 있고, 이 오프셋은 제스쳐링 위치(19)와 디스플레이(8) 상의 위치 사이의 디스플레이(6) 상의 차이를 나타내는 벡터와 연관되고, 사용자(16)는 포인팅하도록 인지된다. 예를 들어, 후보면 R의 중심와 아이콘의 중심으로부터의 거리로 사용자(16)가 포인팅하도록 유도되었다. 그 후, 사용자(16)가 후속의 터치 없는 제스쳐를 수행할 때, 시스템(2)이 저장된 오프셋을 사용하여, 제스쳐링 위치(19)를 교정하고, 이로써 사용자가 포인팅하고 있는 디스플레이된 정보(아이콘)을 정확히 결정한다. 시스템(2)은 디스플레이의 상이한 영역과 연관된 다수의 오프셋을 저장하고, 제스쳐링 위치(19)에 따라 저장된 오프셋 중 적절한 오프셋을 사용할 수 있다. 본원의 실시태양은 손끝(14)과 같은 사용자(16)의 포인팅 요소의 인식을 가능하게 할 것이다. 손의 특징은 손끝(14) 또는 손에서 유지될 수 있거나 착용할 수 있는 임의의 다른 포인팅 요소를 식별하는데 도움을 줄 것이다. 도 15는 손끝(14), 손끝(14) 상의 손톱(26), 및 인덱스 손가락 관절(28)을 포함하는, 사용자의 손을 도시한다.
포인팅 요소를 결정하는 방법은 포인팅 요소가 사용자의 오른손이나 왼손의 일부이거나 연관되는지 여부를 결정하는 단계를 포함할 수 있다. 이미지 센서(8)에 의해 캡쳐된 이미지로부터, 제스쳐가 수행되는 때에 사용자(16)가 어느 손을 이동시키는지가 쉽게 결정될 수 있다. 이 방법은 포인팅 손가락의 손끝(14) 상의 손톱(26)을 결정하는 단계를 포함할 수 있다. 손끝의 손톱(26)을 결정하는 단계에 대안으로 또는 이에 더하여, 사용자(16)가 오른손으로 포인팅한다면 손의 왼쪽 부분 상의 인덱스 손가락 관절(28)을 검출할 수 있고, 사용자(16)가 왼손으로 포인팅한다면 손의 오른쪽 부분 상의 인덱스 손가락 관절(28)을 검출할 수 있다. 대안으로, 시스템은, 세번째, 네번째 및 다섯번째 손가락 상의 관절과 같은, 하나의 그룹의 관절에 대한 서명을 검출하도록 구성될 수 있다. 이 시스템은 또한 도 15에서처럼, 접힌 엄지손가락을 검출할 수 있고, 이는 포인팅 손의 특성이다. 도 15에 도시된 것처럼, 포인팅 손가락의 팁은 그것의 인식가능한 특징에서 손의 더 구별가능한 다른 부분과 덜 구별되기 때문에, 유용할 수 있다. 그러나, 손의 더 구별가능한 부분이 위치된다면, 손끝의 위치가 외삽으로 추정될 수 있다(extrapolated).
더욱 자세하게는, 사용자의 너비, 키, 및/또는 얼굴에 대한 손의 위치의 측정이나 추정을 통해 외삽이 일어날 수 있다. 이 데이터는 사용자의 손의 치수 및 특정 해부학성을 추정하는데 도움이 되고, 따라서 캡쳐된 이미지로부터 쉽게 명백하지 않으면, 손끝(14)의 위치를 예측하는데 도움이 될 수 있다. 또한, 손가락의 공간 사이의 알려진 관계가 추정의 개선에 도움이 될 수 있다. 장신구, 예컨대 하나 이상의 반지가 손끝(14)의 위치를 결정하기 위해 참조 포인트로 사용될 수 있다. 특정 사용자(16)에 대한 메모리(13)에 저장되는 참조 데이터 또는 평균 해부학적 데이터가 추정의 개선에 도움이 될 수 있다. 전술한 임의의 참조 데이터가 포인팅 위치를 식별하는데 연관되는 알고리즘에서 사용될 수 있다. 참조 포인트가 예컨대, 손의 중심 위치, 장신구, 임의의 손톱(손끝(14) 상의 손톱(26) 포함), 및 하나 이상의 관절, 예컨대 인덱스 손가락 관절(28)을 포함할 수 있다. 참조 포인트가 일단 식별되면, 알고리즘이 참조 포인트에 대하여 손끝(14)의 추정 위치로서 x- 및 y-좌표 또는 x-, y-, 및 z-좌표로 오프셋 거리를 계산할 수 있다. 이 방법은 하나 이상의 참조 포인트를 식별하고 추적할 수 있고, 손끝(14)의 위치를 추정하기 위해 참조 포인트와 연관된 대응하는 오프셋을 적용할 수 있다.
본원의 다른 실시태양은 터치 없는 제스쳐 인식 시스템을 캘리브레이션하기 위한 디바이스를 포함할 수 있고, 이 디바이스는 적어도 하나의 프로세서를 포함하며, 이 프로세서는 사용자가 디스플레이 상에서 적어도 하나의 유도 위치에서 터치 없는 제스쳐를 하도록 프롬프트의 제시를 가능하게 하고; 디스플레이 상에 대응하는 제스쳐링 위치를 나타내는 카메라로부터의 정보를 수신하고 - 상기 제스쳐링 위치는 디스플레이 상의 제스쳐링 위치와 사용자의 의도된 제스쳐링 위치 사이의 오정렬의 결과로서 적어도 하나의 프롬프트 위치와 상이함 -; 오정렬을 처리하기 위해 제스쳐 인식 시스템을 캘리브레이션하도록 구성될 수 있다.
게다가, 터치 없는 제스쳐 인식 시스템을 캘리브레이션하기 위한 디바이스에서, 적어도 하나의 프로세서는: 캘리브레이션에 추가하여 적어도 하나의 동작을 위해 터치 없는 제스쳐를 사용하고; 사용자가 캘리브레이션이 일어난다는 것의 인식 없이 어플리케이션의 사용 동안 발생하는 프롬프트를 가능하게 하고; 사용자가 선택되도록 시도하는지 의심되는 디스플레이 상의 아이콘의 위치와, 사용 동안 디스플레이 상의 제스쳐링의 검출된 위치 사이의 차이를 처리하기 위해, 제스쳐 인식 시스템을 주기적으로 재캘리브레이션함으로써 어플리케이션의 사용 동안 주기적으로 제스쳐 위치 정확성을 증가시고; 디스플레이 상의 제스쳐링 위치의 특정 아이콘과의 근접도에 기초하여 특정 아이콘을 활성화시키려는 사용자의 의도를 예측하고, 이 예측에 기초하여 캘리브레이션하고; 사용자에 의해 요구되는 고유의 캘리브레이션 단계 없이 어플리케이션의 정상 사용 동안 주기적인 재캘리브레이션을 허용하고; 사용자가 적어도 하나의 프롬프트 위치에서 터치 없는 제스쳐 다음의 후속의 동작을 수행할 때까지 캘리브레이션을 지연하고; 기기 언로킹 프로세스 동안 재캘리브레이션하여 제스쳐 위치 정확도를 증가시키고; 디스플레이 상의 아이콘의 레이아웃에 기초하여, 사용자의 의도가 아이콘 위치와 제스쳐링 위치 사이의 차이가 존재하는 경우에 특정 아이콘을 활성화하려는 것인지 여부를 결정하고; 디스플레이에 대한 미리 정해진 사용자의 이동의 검출 후에 사용자가 연관된 기기를 언로킹하도록 유도하고; 복수의 포인팅 위치 및 복수의 포인팅 위치의 각각과 연관되는 아이콘의 관련 위치와 관련되는 정보를 저장하고, 저장된 정보를 사용하여 제스쳐 인식 시스템을 캘리브레이션하고; 제스쳐링 위치 및 제스쳐링 위치와 연관된 아이콘의 관련 위치과 관련되는 정보를 저장하고, 및/또는 저장된 정보에 대해 제스쳐 인식 시스템을 캘리브레이션하고; 사용자 비전의 고유한 특성을 고려하여 언로킹 프로세스 동안 캘리브레이션하도록 더 구성된다.
추가로, 터치 없는 제스쳐 인식 시스템을 캘리브레이션하기 위한 디바이스에서, 프롬프트가, 사용자가 연관된 기기나 적어도 하나의 아이콘을 언로킹하도록 신호를 주기 위한(cuing) 적어도 하나의 아이콘을 포함할 수 있고, 터치 없는 제스쳐는 포인팅 제스쳐이고, 적어도 하나의 프로세서는 사용자가 적어도 하나의 아이콘에 포인팅하라고 신호를 주도록 더 구성된다. 디스플레이 상의 적어도 하나의 프롬프트 위치가 제1 알려진 위치 및 제2 알려진 위치를 포함할 수 있고, 켈리브레이션이 제1 알려진 위치와 제2 알려진 위치로부터 사용자가 제스쳐링하도록 유도하는 것과 연관되는 정보에 기초한다. 미리 정해진 사용자 이동이 카메라의 시야 영역을 벗어나도록 이동하는 사용자의 적어도 몸 부분을 포함할 수 있다.
제스쳐링 위치는 포인팅 위치일 수 있고, 적어도 하나의 프로세서는: 적어도 제1 아이콘의 위치 및 포인팅 위치에 기초하여 제스쳐 인식 시스템을 초기에 캘리브레이션하고; 초기 캘리브레이션 후에, 제스쳐링을 사용하여 사용자가 어플리케이션을 제어하도록 하고; 어플리케이션의 제어 동안, 디스플레이 상의 적어도 제2 아이콘에 대한 제스쳐링에 관한 정보를 수집하고; 및/또는 사용자가 적어도 제2 아이콘에서 포인팅하려고 시도하는 때에 어플리케이션의 제어 동안 재캘리브레이션하도록 더 구성될 수 있다.
오정렬은 사용자의 또 다른 눈보다 우세한 사용자의 하나의 눈의 결과일 수 있고, 적어도 하나의 프로세서는 사용자의 다른 눈을 지배하는 사용자의 하나의 눈을 차지하기 위해 제스쳐 인식 시스템을 캘리브레이션하고; 적어도 하나의 프롬프트 위치와 제스쳐링 위치 사이의 오프셋을 결정하고; 및/또는 오프셋에 기초하여 후속되는 제스쳐링 위치 결정에 적용하기 위한 조정을 결정하도록 더 구성될 수 있다.
본원의 다른 실시태양은 터치 없는 제스쳐 인식 시스템을 포함하며, 이 시스템은 적어도 하나의 프로세서를 포함하고, 이 프로세서는: 사용자가 디스플레이 상의 적어도 하나의 프롬프트 위치에 터치 없는 포인팅 제스쳐를 하도록 프롬프트의 제시를 가능하게 하고; 터치 없는 포인팅 제스쳐에 대응하는 이미지 정보를 이미지 센서로부터 수신하고; 터치 없는 포인팅 제스쳐와 연관되는 손끝 위치를 결정하고 - 손끝 위치는 사용자의 손가락의 팁 이외의 사용자의 해부학적 특징에 적어도 부분적으로 기초하여 결정됨 -; 결정된 손끝 위치에 적어도 부분적으로 기초하여 터치 없는 제스쳐와 연관된 디스플레이 상의 포인팅 위치를 결정하도록 구성된다.
터치 없는 제스쳐 인식 시스템은 상이한 손 배향(orientation)에 기초하여 포인팅 위치를 결정하는 복수의 알고리즘은 저장하기 위한 적어도 하나의 메모리 디바이스를 포함할 수 있고, 적어도 하나의 프로세서는, 이미지 정보에서 손 배향에 적어도 부분적으로 기초하여 복수의 알고리즘으로부터 바람직한 알고리즘을 선택하고, 바람직한 알고리즘에 적어도 부분적으로 기초하여 포인팅 위치를 결정하고도록 더 구성된다.
터치 없는 제스쳐 인식 시스템은, 오른손이나 왼손이 이미지 정보 내에서 검출되는지 여부에 기초하여 포인팅 위치를 결정하기 위한 복수의 알고리즘을 저장하기 위한 적어도 하나의 메모리 디바이스를 포함할 수도 있고, 적어도 하나의 프로세서는: 오른쪽 손이 검출되는지 왼쪽 손이 검출되는지 여부에 적어도 부분적으로 기초하여 복수의 알고리즘으로부터 바람직한 알고리즘을 선택하고, 바람직한 알고리즘에 적어도 부분적으로 기초하여 포인팅 위치를 결정하고; 및/또는 사용자의 해부학적 특징과 사용자의 손의 적어도 일부분 사이의 오프셋에 적어도 부분적으로 기초하여 사용자의 손이 왼손인지 오른손인지 여부를 결정하도록 더 구성된다.
터치 없는 제스쳐 인식 시스템에서, 해부학적 특징은: 손톱을 포함할 수 있고; 사용자의 손의 너비, 길이, 크기 또는 위치 중 적어도 하나일 수도 있고; 및/또는 포인팅 제스쳐에서 사용되는 손끝 이외의 제2 손끝일 수 있으며, 적어도 하나의 프로세서는 포인팅을 위해 사용되는 손끝 및 제2 손끝에 적어도 부분적으로 기초하여 손끝 위치를 결정하도록 더 구성된다.
터치 없는 제스쳐 인식 시스템에서, 적어도 하나의 프로세서는, 이미지 정보 내에 손끝의 위치가 없을 때에: 손끝 이외의 사용자의 손의 미리 정해진 영역에, 부분적으로 기초하여 손끝 위치를 결정하고; 및/또는 포인팅을 위해 사용되는 손가락의 추정된 길이에, 적어도 부분적으로 기초하여 손끝 위치를 결정하도록 더 구성될 수 있다.
터치 없는 제스쳐 인식 시스템에서, 적어도 하나의 프로세서는: 이미지 정보 내의 손이 왼손인지 오른손인지 여부를 결정하고, 오른손이 결정된다면 손의 좌상단 영역과 연관되는 위치로 손끝 위치를 결정하고, 또는 왼손이 결정된다면 손의 우상단 영역과 연관되는 위치로 손끝 위치를 결정하고; 손의 크기와 연관된 필터 마스크를 이미지 정보에 적용함으로써 손의 위치를 추적하고; 이미지 정보 내의 사용자의 손의 두 손가락을 검출하고, 두 손가락 사이의 위치로 손끝 위치를 결정하고; 및/또는 이미지 정보 내의 사용자의 손의 복수의 손가락을 검출하고, 복수의 손가락에 적어도 부분적으로 기초하여 손끝 위치를 결정하도록 더 구성되며, 복수의 손가락의 각각이 손끝 위치를 결정하기 위한 상이한 무게와 연관된다.
터치 없는 제스쳐 인식 시스템에서, 적어도 하나의 프로세서는, 이미지 정보에서 손끝의 위치 없이 제1 시간에 손끝 위치를 결정한 후에, 후속하여 비-손끝 정보를 사용하여 손끝을 추적하도록 더 구성될 수 있다.
터치 없는 제스쳐 인식 시스템에서, 적어도 하나의 프로세서가 제1 시간에 손끝 위치에 위치하지만 제2 시간에 손끝 위치에 위치하는데 실패한 후에, 제1 시간에서의 손끝 위치와 비-손끝 정보를 사용하여 후속하여 손끝을 추적하도록 더 구성된다.
본원의 다른 실시태양은 터치 없는 제스쳐 인식 시스템 내에서 시각적 피드백을 제공하기 위한 디바이스를 포함할 수 있고, 이 디바이스는 적어도 하나의 프로세서를 포함하고, 이 프로세서는: 디스플레이 상에 이미지의 제시를 가능하게 하고; 카메라로부터, 사용자에 의해 수행되는 터치 없는 제스쳐를 나타내는 정보를 수신하고; 디스플레이 상에, 디스플레이에 대해 사용자의 터치 없는 제스쳐의 위치를 나타내는 제스쳐링 지시자의 제시를 가능하게 하고; 사용자의 터치 없는 제스쳐가 디스플레이로부터의 제1 거리에 있을 때에 제스쳐링 지시자를 디스플레이 상에 제1 시각적 표현으로 제시하고; 사용자의 터치 없는 제스쳐가 제1 거리와 상이한, 디스플레이로부터의 제2 거리에 있을 때에 제스쳐링 지시자를 디스플레이 상에 제2 시각적 표현으로 제시하도록 구성될 수 있다.
터치 없는 제스쳐 인식 시스템에서, 제스쳐링 지시자가 포인팅 지시자일 수 있다. 카메라로부터 수신된 정보는 사용자의 손의 적어도 일 부분을 반영할 수 있다. 디스플레이 상의 이미지는 적어도 하나의 아이콘을 포함할 수 있다.
터치 없는 제스쳐 인식 시스템에서, 적어도 하나의 프로세서는: 디스플레이로부터 사용자의 터치 없는 제스쳐의 거리가 감소되는 만큼 제스쳐링 지시자의 크기를 감소시키고; 디스플레이로부터 사용자의 터치 없는 제스쳐의 거리가 증가되는 만큼 제스쳐링 지시자의 크기를 증가시키고; 사용자의 터치 없는 제스쳐와 연관된 교정 이동을 검출하고, 교정 이동에 기초하여 아이콘을 선택하려는 사용자의 의도를 결정하고; 제스쳐의 부분이 검출되고 난 후 및/또는 이미지 센서의 분야에서 미리 결정된 영역에서 사용자의 손이 검출되는 때에만 제스쳐 지시자를 제시하고; 디스플레이에 대한 제스쳐 모션의 검출된 위치가 미리 결정된 임계 내에 있는 후에만 제스쳐 지시자를 제시하고; 디스플레이로부터 사용자의 터치 없는 제스쳐의 거리가 감소되는 만큼 제스쳐링 지시자의 크기를 증가시키고; 및/또는 디스플레이로부터 사용자의 터치 없는 제스쳐의 거리가 증가되는 만큼 제스쳐링 지시자의 크기를 감소시키도록 더 구성될 수 있다.
터치 없는 제스쳐 인식 시스템에서, 디스플레이는 가상 3D 디스플레이일 수 있고, 적어도 하나의 프로세서는: 제스쳐 지시자와 디스플레이 사이의 거리가 사용자의 손과 디스플레이 사이의 거리로서의 변화하도록 하고; 가상 3D 지시자가 사용자의 손의 적어도 부분으로부터 방사하는(emanating) 듯이 나타나도록 하고; 디스플레이로부터 사용자의 터치 없는 제스쳐의 거리가 감소하는 만큼 가상 3D 지시자의 크기를 감소시키고; 및/또는 디스플레이 상의 정보의 선택 이전의 제1 형태 및 디스플레이 상의 정보의 선택 후의 제2 형태의 두 형태로 제스쳐링 지시자를 디스플레이하도록 더 구성될 수 있다.
현재 개시된 대상에 따른 시스템(2)이 적합한 프로그래밍 컴퓨터를 포함할 수 있음을 이해해야 할 것이다. 유사하게, 현재 개시된 대상은 현재 개시된 대상의 방법을 실행하기 위한 컴퓨터에 의해 판독가능한 컴퓨터 프로그램을 고려할 수 있다. 현재 개시된 대상은 현재 개시된 대상의 방법을 실행하기 위한 머신에 의해 실행가능한 명령어의 프로그램을 유형으로 구현하는 머신-판독가능 메모리를 추가로 고려할 수 있다.
현재 개시된 대상이 여기에 포함된 명세서나 도면의 상세한 내용에의 적용에만 제한되지 않음을 이해해야 할 것이다. 현재 개시된 대상은 다른 실시태양을 가능하게 하고, 다양한 방법으로 실시되고 수행되될 수 있다. 따라서, 여기에 사용되는 어법 및 용어가 명세서의 목적을 위한 것이며 이에 제한되는 것으로 이해되어서는 안된다는 것을 알아야 할 것이다. 이로써, 이 분야의 통상의 기술자는 본 개시물이 현재 개시된 대상의 다양한 목적을 수행하기 위한 다른 구조, 방법, 및 시스템을 설계하기 위한 기초로서 용이하게 사용될 수 있다는 인식을 해야할 것이다.
개별적인 실시태양의 내용으로 이 명세서에서 명확성을 위해 기재되는 특정 특징이 하나의 실시태양에서 조합되어 제공될 수도 있다. 반대로, 하나의 실시태양의 내용으로 간략하게 기재되는 다양한 특징이 다수의 실시태양에 개별적으로 또는 임의의 적합한 서브 조합으로 제공될 수도 있다. 게다가, 특징들이 특정 조합으로, 심지어 청구하고 있는 것으로 동작하는 것으로 전술되었다 할지라도, 일부 경우에 청구되는 조합으로부터 하나 이상의 특징이 조합으로부터 삭제될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변형으로 지향될 수도 있다.
특정 실시태양이 기재되었다. 다른 실시태양이 다음의 청구항의 범위 내에 있을 수 있다.

Claims (29)

  1. 터치 없는 제스쳐(touch-free gesture) 인식 시스템으로서,
    적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는:
    사용자에게 디스플레이 상의 적어도 제1 위치에서 제1 터치 없는 제스쳐를 유도하도록(prompt) 제1 디스플레이 정보의 제시를 가능하게 하고;
    이미지 센서의 시야 공간의 적어도 하나의 이미지를 획득하고;
    상기 시야 공간 내의 적어도 하나의 포인팅 요소의 적어도 2개의 위치를 나타내는 데이터를 획득하도록 상기 적어도 하나의 이미지를 처리하고;
    상기 사용자의 제1 눈과 연관된 위치 및 상기 사용자의 제2 눈과 연관된 위치를 나타내는 데이터를 획득하도록 상기 적어도 하나의 이미지를 처리하고;
    상기 적어도 하나의 포인팅 요소와 연관된 하나 이상의 참조 포인트와 연관된 하나 이상의 위치를 나타내는 데이터를 획득하도록 상기 적어도 하나의 이미지를 처리하고;
    상기 사용자의 제1 눈과 연관된 위치로부터, 상기 포인팅 요소와 연관된 하나 이상의 참조 포인트 중 적어도 하나를 통하여, 디스플레이에 통과하는 제1 시야 라인과 연관된 디스플레이 상의 하나 이상의 제1 후보 포인팅 영역을 식별하고;
    상기 사용자의 제2 눈과 연관된 제2 위치로부터, 상기 포인팅 요소와 연관된 하나 이상의 참조 포인트 중 적어도 하나를 통하여, 디스플레이에 통과하는 제2 시야 라인과 연관되는 디스플레이 상의 하나 이상의 제2 후보 포인팅 영역을 식별하고;
    상기 적어도 하나의 포인팅 요소의 적어도 2개의 위치를 나타내는 데이터, 상기 하나 이상의 제1 후보 포인팅 영역의 하나 이상의 위치를 나타내는 데이터, 및 상기 하나 이상의 제2 후보 포인팅 영역의 하나 이상의 위치를 나타내는 데이터를 사용하여 상기 디스플레이 상에 목표 포인트 또는 영역을 결정하고;
    상기 디스플레이 상의 목표 포인트 또는 영역에 대응하는 동작을 개시하도록 구성된, 터치 없는 제스쳐 인식 시스템.
  2. 제1항에 있어서,
    상기 적어도 하나의 포인팅 요소는 포인팅 손가락을 포함하고, 상기 적어도 하나의 프로세서는 손끝을 검출하여 상기 검출에 기초하여 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  3. 제1항에 있어서,
    상기 적어도 하나의 포인팅 요소와 연관된 하나 이상의 참조 포인트는 손, 손톱, 하나 이상의 관절, 또는 장신구의 중심 위치 중 적어도 하나를 포함하는, 터치 없는 제스쳐 인식 시스템.
  4. 제1항에 있어서,
    상기 하나 이상의 제1 후보 포인팅 영역의 하나 이상의 위치 또는 상기 하나 이상의 제2 후보 포인팅 영역의 하나 이상의 위치 중 적어도 하나는 사용자의 하나의 눈이 사용자의 다른 눈보다 우세한 결과로서 적어도 부분적으로 상기 디스플레이 상의 목표 포인트 또는 영역과 상이한, 터치 없는 제스쳐 인식 시스템.
  5. 제1항에 있어서,
    적어도 하나의 프로세서는, 상기 사용자의 제1 눈과 연관된 적어도 하나의 제1 시야 라인을 사용하여 생성되는 상기 하나 이상의 제1 후보 포인팅 영역, 및 사용자의 제2 눈과 연관된 제2 시야 라인을 사용하여 생성되는 상기 하나 이상의 제2 후보 포인팅 영역 중 적어도 하나를 식별함으로써 제1 오프셋을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  6. 제1항에 있어서,
    상기 제1 오프셋과 연관된 정보가 얼굴 상의 동공 아닌 위치에 대응하여, 시야 계산의 라인을 위한 시작 포인트로서 제공되고, 상기 적어도 하나의 프로세서는 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하기 위해 얼굴 상의 동공 아닌 위치를 사용하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 하나 이상의 제1 후보 포인팅 영역 및 상기 하나 이상의 제2 후보 포인팅 영역에 일반적으로 인접하는 적어도 제3 포인트를 결정함으로써 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 디스플레이의 상이한 영역들에 대한 눈 우세도와 연관되는 상이한 오프셋들을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 복수의 상이한 시간 간격으로 상기 디스플레이 상의 다수의 후보 포인팅 영역을 사용함으로써 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 복수의 사용자의 각각에 대해 제1 오프셋과 연관된 고유한 정보를 저장하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  11. 제10항에 있어서,
    상기 적어도 하나의 프로세서는, 적어도 하나의 이미지 센서로부터 수신된, 복수의 사용자의 각각에 대한 ID와 연관된 정보를, 저장된 고유한 정보로서 저장하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  12. 제10항에 있어서,
    상기 적어도 하나의 프로세서는,
    복수의 사용자의 각각에 대한 얼굴 상의 동공 아닌 위치에 관련된 정보를, 저장된 고유한 정보로서 저장하고;
    상기 저장된 고유한 정보를 사용하여 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  13. 제1항에 있어서,
    상기 제1 오프셋과 연관된 정보는 사용자의 하나의 눈이 사용자의 다른 눈보다 우세하다는 표시를 포함하는, 터치 없는 제스쳐 인식 시스템.
  14. 제1항에 있어서,
    상기 제1 오프셋과 연관된 정보는 사용자의 하나의 눈이 사용자의 다른 눈보다 우세한 정도의 표시를 포함하는, 터치 없는 제스쳐 인식 시스템.
  15. 적어도 하나의 프로세서에 의해 실행되는 경우에, 적어도 하나의 프로세서로 하여금 동작을 수행하도록 하는 명령어가 포함된 비일시적 컴퓨터-판독가능 매체로서,
    상기 동작은,
    사용자에게 디스플레이 상의 적어도 제1 위치에서 제1 터치 없는 제스쳐를 유도하도록 제1 디스플레이 정보의 제시를 가능하게 하는 동작;
    이미지 센서의 시야 공간의 적어도 하나의 이미지를 획득하는 동작;
    상기 시야 공간 내의 적어도 하나의 포인팅 요소의 적어도 2개의 위치를 나타내는 데이터를 획득하도록 상기 적어도 하나의 이미지를 처리하는 동작;
    상기 사용자의 제1 눈과 연관된 위치 및 상기 사용자의 제2 눈과 연관된 위치를 나타내는 데이터를 획득하도록 상기 적어도 하나의 이미지를 처리하는 동작;
    상기 적어도 하나의 포인팅 요소와 연관된 하나 이상의 참조 포인트와 연관된 하나 이상의 위치를 나타내는 데이터를 획득하도록 상기 적어도 하나의 이미지를 처리하는 동작;
    상기 사용자의 제1 눈과 연관된 위치로부터, 상기 포인팅 요소와 연관된 하나 이상의 참조 포인트 중 적어도 하나를 통하여, 디스플레이에 통과하는 제1 시야 라인과 연관된 디스플레이 상의 하나 이상의 제1 후보 포인팅 영역을 식별하는 동작;
    상기 사용자의 제2 눈과 연관된 제2 위치로부터, 상기 포인팅 요소와 연관된 하나 이상의 참조 포인트 중 적어도 하나를 통하여, 디스플레이에 통과하는 제2 시야 라인과 연관되는 디스플레이 상의 하나 이상의 제2 후보 포인팅 영역을 식별하는 동작;
    상기 적어도 하나의 포인팅 요소의 적어도 2개의 위치를 나타내는 데이터, 상기 하나 이상의 제1 후보 포인팅 영역의 하나 이상의 위치를 나타내는 데이터, 및 상기 하나 이상의 제2 후보 포인팅 영역의 하나 이상의 위치를 나타내는 데이터를 사용하여 상기 디스플레이 상에 목표 포인트 또는 영역을 결정하고;
    상기 디스플레이 상의 목표 포인트 또는 영역에 대응하는 동작을 개시하는 동작을 포함하는, 명령어가 저장된 비일시적 컴퓨터-판독가능 매체.
  16. 제15항에 있어서,
    상기 하나 이상의 제1 후보 포인팅 영역의 하나 이상의 위치 또는 상기 하나 이상의 제2 후보 포인팅 영역의 하나 이상의 위치 중 적어도 하나는 사용자의 하나의 눈이 사용자의 다른 눈보다 우세하다는 것을 나타내는 정보의 결과로서 적어도 부분적으로 상기 디스플레이 상의 목표 포인트 또는 영역과 상이한, 명령어가 저장된 비일시적 컴퓨터-판독가능 매체.
  17. 제15항에 있어서,
    상기 명령어는, 상기 적어도 하나의 프로세서에 의해 실행되는 경우에, 상기 적어도 하나의 프로세서로 하여금, 사용자의 제1 눈과 연관된 적어도 하나의 제1 시야 라인을 사용하여 생성되는 상기 하나 이상의 제1 후보 포인팅 영역, 및 사용자의 제2 눈과 연관된 제2 시야 라인을 사용하여 생성되는 상기 하나 이상의 제2 후보 포인팅 영역 중 적어도 하나를 식별함으로써 제1 오프셋을 결정하는 동작을 포함하는 추가의 동작을 더 수행하도록 하는, 명령어가 저장된 비일시적 컴퓨터-판독가능 매체.
  18. 제15항에 있어서,
    상기 제1 오프셋과 연관된 정보가 얼굴 상의 동공 아닌 위치에 대응하여, 시야 계산의 라인을 위한 시작 포인트로서 제공되고, 상기 명령어는, 상기 적어도 하나의 프로세서에 의해 실행되는 경우에, 상기 적어도 하나의 프로세서로 하여금, 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하기 위해 얼굴 상의 동공 아닌 위치를 사용하는 동작을 포함하는 추가의 동작을 더 수행하도록 하는, 명령어가 저장된 비일시적 컴퓨터-판독가능 매체.
  19. 제4항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 하나 이상의 제1 후보 포인팅 영역 및 상기 하나 이상의 제2 후보 포인팅 영역과 교정 아이콘의 중첩의 퍼센트, 또는
    상기 제1 눈과 제2 눈 사이의 총 거리에 대한, 상기 제1 눈과 제2 눈 중 하나와 가상 눈 사이의 거리의 비율에 기초하여
    상기 제1 눈과 제2 눈 사이의 우세도를 결정하도록 더 구성되고,
    상기 가상 눈은 상기 제1 눈 또는 제2 눈의 동공이 아닌 안면 위치에 대응하는, 터치 없는 제스쳐 인식 시스템.
  20. 제1항에 있어서,
    상기 하나 이상의 제1 후보 포인팅 영역 및 상기 하나 이상의 제2 후보 포인팅 영역의 각각은 적어도 하나의 픽셀을 포함하는, 터치 없는 제스쳐 인식 시스템.
  21. 제2항에 있어서,
    상기 적어도 하나의 프로세서는 상기 손끝 상의 손톱을 검출하여 상기 검출에 기초하여 상기 디스플레이 상의 목표 포인트 또는 영역을 검출하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  22. 제2항에 있어서,
    상기 적어도 하나의 프로세서는 상기 포인팅 손가락의 인덱스 손가락 관절을 검출하여 상기 검출에 기초하여 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  23. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    사용자의 오른손 및 사용자의 왼손과 연관된 포인팅 요소를 결정하고,
    상기 결정을 사용하여 상기 시야 공간 내의 적어도 하나의 포인팅 요소의 적어도 2개의 위치를 나타내는 데이터를 획득하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  24. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 시야 공간 내의 적어도 하나의 포인팅 요소의 적어도 2개의 위치를 나타내는 데이터 및 상기 디스플레이 상의 목표 포인트 또는 영역와 연관된 피드백 표시를 개시하도록 더 구성되고,
    상기 피드백 표시는 시각적 표시, 오디오 표시, 촉각적 표시, 초음파 표시 및 햅틱 표시 중 적어도 하나인, 터치 없는 제스쳐 인식 시스템.
  25. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 적어도 2개의 포인팅 요소를 검출하고, 상기 적어도 2개의 포인팅 요소의 위치를 나타내는 데이터를 사용하여 상기 디스플레이 상의 목표 포인트 또는 영역을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  26. 제25항에 있어서,
    상기 적어도 하나의 프로세서는 상기 적어도 2개의 포인팅 요소 사이의 모션을 검출하고, 상기 상기 디스플레이 상의 목표 포인트 또는 영역 및 상기 적어도 2개의 포인팅 요소 사이의 감지된 모션에 대응하는 동작을 개시하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
  27. 제26항에 있어서,
    상기 동작을 개시하는 것은 상기 디스플레이 상에 디스플레이된 정보를 변경하는 것을 포함하는, 터치 없는 제스쳐 인식 시스템.
  28. 제26항에 있어서,
    상기 동작을 개시하는 것은 그래픽 요소 잡기, 그래픽 요소를 통한 시계 방향이나 반시계 방향 제스쳐의 수행, 디스플레이 상의 영역에서 줌인, 디스플레이 상의 영역에서 줌아웃, 또는 디스플레이 상의 영역의 회전 중 적어도 하나를 포함하는, 터치 없는 제스쳐 인식 시스템.
  29. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 사용자의 시야에서 상이한 위치들에 대한 우세한 눈과 연관된 상이한 오프셋들을 결정하도록 더 구성된, 터치 없는 제스쳐 인식 시스템.
KR1020227034149A 2013-06-27 2014-06-27 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 KR20220136517A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361840447P 2013-06-27 2013-06-27
US61/840,447 2013-06-27
PCT/IB2014/002318 WO2015008164A2 (en) 2013-06-27 2014-06-27 Systems and methods of direct pointing detection for interaction with a digital device
KR1020167002166A KR102517425B1 (ko) 2013-06-27 2014-06-27 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002166A Division KR102517425B1 (ko) 2013-06-27 2014-06-27 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220136517A true KR20220136517A (ko) 2022-10-07

Family

ID=52346795

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167002166A KR102517425B1 (ko) 2013-06-27 2014-06-27 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
KR1020227034149A KR20220136517A (ko) 2013-06-27 2014-06-27 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167002166A KR102517425B1 (ko) 2013-06-27 2014-06-27 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법

Country Status (5)

Country Link
US (3) US9846486B2 (ko)
JP (3) JP6480434B2 (ko)
KR (2) KR102517425B1 (ko)
CN (2) CN105593787B (ko)
WO (1) WO2015008164A2 (ko)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671869B2 (en) * 2012-03-13 2017-06-06 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
CA2906790C (en) * 2013-03-15 2017-08-15 Springs Window Fashions, Llc Window covering motorized lift and control system gear train
CN105593787B (zh) 2013-06-27 2019-07-05 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
US20160239002A1 (en) * 2013-09-25 2016-08-18 Schneider Electric Buildings Llc Method and device for adjusting a set point
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
KR20150108216A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
US10332200B1 (en) 2014-03-17 2019-06-25 Wells Fargo Bank, N.A. Dual-use display screen for financial services applications
TW201544993A (zh) * 2014-05-28 2015-12-01 Pegatron Corp 手勢控制之方法、手勢控制模組及其具有手勢控制模組之穿戴式裝置
US9632686B1 (en) * 2014-07-24 2017-04-25 Wells Fargo Bank, N.A. Collaborative document creation
US10452195B2 (en) * 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
KR101754126B1 (ko) * 2015-06-10 2017-07-19 주식회사 브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
US9939899B2 (en) 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
JP6632298B2 (ja) * 2015-09-29 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
DE102015226153A1 (de) * 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Anzeigevorrichtung und Bedieneinrichtung
KR102559625B1 (ko) * 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
US20180217671A1 (en) * 2016-02-23 2018-08-02 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
CN111290285B (zh) * 2016-05-31 2023-04-07 广东美的制冷设备有限公司 手势识别控制方法、手势识别控制装置和设备
US11612446B2 (en) 2016-06-03 2023-03-28 Covidien Lp Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
CN106265006B (zh) * 2016-07-29 2019-05-17 维沃移动通信有限公司 一种主视眼的矫正装置的控制方法及移动终端
CN107835288A (zh) * 2016-09-16 2018-03-23 天津思博科科技发展有限公司 应用智能终端实现的互动娱乐装置
US20190253883A1 (en) * 2016-09-28 2019-08-15 Sony Corporation A device, computer program and method
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN108227914B (zh) 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
CN106896914A (zh) * 2017-01-17 2017-06-27 珠海格力电器股份有限公司 信息的转换方法和装置
US10254846B1 (en) * 2017-03-15 2019-04-09 Meta Company Systems and methods to facilitate interactions with virtual content in an augmented reality environment
US9785250B1 (en) * 2017-05-15 2017-10-10 Newtonoid Technologies, L.L.C. Intelligent gesture based security system and method
JP2019008351A (ja) * 2017-06-20 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP6572943B2 (ja) * 2017-06-23 2019-09-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN110312760B (zh) 2017-06-23 2022-03-01 积水化学工业株式会社 树脂组合物、无机微粒分散浆料组合物、无机微粒分散片
EP4224293B1 (en) * 2017-07-03 2024-04-03 Aptiv Technologies Limited System and method for determining a pointing direction in 3d space
CN109388233B (zh) 2017-08-14 2022-07-29 财团法人工业技术研究院 透明显示装置及其控制方法
EP3336848B1 (en) 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
KR102463712B1 (ko) * 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
US10706300B2 (en) * 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
CN111886567B (zh) * 2018-03-07 2023-10-20 日本电气方案创新株式会社 操作输入装置、操作输入方法及计算机可读的记录介质
CN108388347B (zh) * 2018-03-15 2021-05-25 网易（杭州）网络有限公司 虚拟现实中的交互控制方法和装置及存储介质、终端
US10643362B2 (en) * 2018-03-26 2020-05-05 Lenovo (Singapore) Pte Ltd Message location based on limb location
CN110531843A (zh) * 2018-05-24 2019-12-03 富泰华工业（深圳）有限公司 电子装置及电子装置的操作控制方法
JP7135444B2 (ja) * 2018-05-29 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN108874127A (zh) * 2018-05-30 2018-11-23 北京小度信息科技有限公司 信息交互方法、装置、电子设备及计算机可读存储介质
CN109143875B (zh) * 2018-06-29 2021-06-15 广州市得腾技术服务有限责任公司 一种手势控制智能家居方法及其系统
US10884507B2 (en) * 2018-07-13 2021-01-05 Otis Elevator Company Gesture controlled door opening for elevators considering angular movement and orientation
TWI734024B (zh) 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
WO2020050324A1 (ja) * 2018-09-05 2020-03-12 株式会社小糸製作所 車両用表示システム、車両システム及び車両
US10755250B2 (en) 2018-09-07 2020-08-25 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US10462425B1 (en) 2018-09-07 2019-10-29 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN109542654A (zh) * 2018-11-23 2019-03-29 京东方科技集团股份有限公司 自动贩卖机和确定用户选定商品的方法
JP7416391B2 (ja) * 2018-12-28 2024-01-17 国立大学法人高知大学 ポインティング装置
KR20200093091A (ko) * 2019-01-07 2020-08-05 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
CN109753157B (zh) * 2019-01-11 2022-04-26 京东方科技集团股份有限公司 显示屏的手势控制方法及装置
US11442549B1 (en) * 2019-02-07 2022-09-13 Apple Inc. Placement of 3D effects based on 2D paintings
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102191061B1 (ko) * 2019-03-11 2020-12-15 주식회사 브이터치 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
JP7292437B2 (ja) 2019-07-26 2023-06-16 グーグル エルエルシー Ｉｍｕおよびレーダーに基づいて状態を下げること
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
EP4010756A4 (en) * 2019-08-09 2023-09-20 Light Field Lab, Inc. DIGITAL SIGNAL SYSTEM BASED ON A LIGHT FIELD DISPLAY SYSTEM
CN110481419B (zh) * 2019-08-16 2021-12-07 广州小鹏汽车科技有限公司 一种人车交互方法、系统、车辆及存储介质
CN112445320A (zh) * 2019-08-28 2021-03-05 财团法人工业技术研究院 互动显示方法与互动显示系统
TWI804671B (zh) * 2019-08-28 2023-06-11 財團法人工業技術研究院 互動顯示方法與互動顯示系統
CN112753005B (zh) 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN113874812A (zh) 2019-08-30 2021-12-31 谷歌有限责任公司 用于多输入模式的输入模式通知
US11100790B2 (en) 2019-09-25 2021-08-24 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object
US11934584B2 (en) 2019-09-27 2024-03-19 Apple Inc. Finger orientation touch detection
WO2021153577A1 (ja) * 2020-01-31 2021-08-05 ソニーグループ株式会社 視線検出装置のキャリブレーション
US20210263593A1 (en) * 2020-02-26 2021-08-26 Magic Leap, Inc. Hand gesture input for wearable system
CN111538436B (zh) * 2020-04-11 2023-07-18 北京元芯碳基集成电路研究院 一种基于碳基电路的多功能显示器及其制作方法
CN113946206A (zh) * 2020-07-17 2022-01-18 云米互联科技(广东)有限公司 家电交互方法、家电设备及存储介质
CN113946205B (zh) * 2020-07-17 2024-02-09 云米互联科技(广东)有限公司 燃气控制方法、燃气设备及存储介质
US11474690B2 (en) * 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control
CN112363626B (zh) * 2020-11-25 2021-10-01 广东魅视科技股份有限公司 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
JP7176020B2 (ja) * 2021-02-03 2022-11-21 マクセル株式会社 携帯端末の制御方法
GB2606182B (en) * 2021-04-28 2023-08-23 Sony Interactive Entertainment Inc System and method of error logging
US11755150B2 (en) * 2021-09-21 2023-09-12 Apple Inc. Input location correction based on device motion
KR102513444B1 (ko) 2021-11-25 2023-03-24 한국과학기술원 스마트 홈 시스템에서 객체 등록을 지원하는 방법 및 장치
JP2023135920A (ja) * 2022-03-16 2023-09-29 パナソニックＩｐマネジメント株式会社 制御装置および制御方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
JP2002259989A (ja) 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004362218A (ja) 2003-06-04 2004-12-24 Canon Inc 三次元物体操作方法
JP2005069734A (ja) 2003-08-20 2005-03-17 Tokyo Univ Of Marine Science & Technology 指さし行為による物体の空間位置の教示方法
JP2005138755A (ja) * 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
IL161002A0 (en) * 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US9001036B2 (en) * 2007-12-20 2015-04-07 University Of Central Florida Research Foundation, Inc. Systems and methods of camera-based fingertip tracking
JP5117418B2 (ja) * 2009-01-28 2013-01-16 株式会社東芝 情報処理装置及び情報処理方法
JP5183798B2 (ja) * 2009-03-05 2013-04-17 三菱電機株式会社 無線通信システム、送信装置および受信装置
KR101585466B1 (ko) * 2009-06-01 2016-01-15 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
WO2011114564A1 (ja) * 2010-03-18 2011-09-22 富士フイルム株式会社 立体画像表示装置およびその制御方法
JP5450791B2 (ja) * 2010-03-18 2014-03-26 富士フイルム株式会社 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
EP2550579A4 (en) * 2010-03-24 2015-04-22 Hewlett Packard Development Co GESTURE ALLOCATION FOR ONE DISPLAY DEVICE
JP5728009B2 (ja) * 2010-06-17 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
CN102971692B (zh) * 2010-06-29 2016-06-08 富士胶片株式会社 三维显示设备、三维图像捕获设备、和指示确定方法
WO2012021967A1 (en) * 2010-08-16 2012-02-23 Tandemlaunch Technologies Inc. System and method for analyzing three-dimensional (3d) media content
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
CN103890695B (zh) * 2011-08-11 2017-10-13 视力移动技术有限公司 基于手势的接口系统和方法
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
GB2511973A (en) * 2011-12-27 2014-09-17 Hewlett Packard Development Co User interface device
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US9422304B2 (en) 2013-06-12 2016-08-23 Archer Daniels Midland Company Synthesis of isohexide dicarbamates and derivatives thereof
CN105593787B (zh) 2013-06-27 2019-07-05 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法

Also Published As

Publication number Publication date
JP7191714B2 (ja) 2022-12-19
WO2015008164A3 (en) 2015-07-16
JP2019087279A (ja) 2019-06-06
KR102517425B1 (ko) 2023-03-31
US20210157412A1 (en) 2021-05-27
CN105593787A (zh) 2016-05-18
US11314335B2 (en) 2022-04-26
CN105593787B (zh) 2019-07-05
US20160179205A1 (en) 2016-06-23
US9846486B2 (en) 2017-12-19
CN110442231A (zh) 2019-11-12
JP6480434B2 (ja) 2019-03-13
JP2016523420A (ja) 2016-08-08
KR20160048062A (ko) 2016-05-03
US20190004611A1 (en) 2019-01-03
US10817067B2 (en) 2020-10-27
WO2015008164A2 (en) 2015-01-22
JP2022118183A (ja) 2022-08-12

Similar Documents

Publication Publication Date Title
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US20220382379A1 (en) Touch Free User Interface
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US20170068322A1 (en) Gesture recognition control device
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
TWI516093B (zh) 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
US20130343607A1 (en) Method for touchless control of a device
US20150002475A1 (en) Mobile device and method for controlling graphical user interface thereof
US20200142495A1 (en) Gesture recognition control device
JP2017102603A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20160080109A (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US11714540B2 (en) Remote touch detection enabled by peripheral device
KR102325684B1 (ko) 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
US11797081B2 (en) Methods, devices and media for input/output space mapping in head-based human-computer interactions
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
KR20180044535A (ko) 홀로그래피 스마트홈 시스템 및 제어방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal