KR20150043312A - 제스처―기반 사용자 인터페이스 - Google Patents

제스처―기반 사용자 인터페이스 Download PDF

Info

Publication number
KR20150043312A
KR20150043312A KR1020157003425A KR20157003425A KR20150043312A KR 20150043312 A KR20150043312 A KR 20150043312A KR 1020157003425 A KR1020157003425 A KR 1020157003425A KR 20157003425 A KR20157003425 A KR 20157003425A KR 20150043312 A KR20150043312 A KR 20150043312A
Authority
KR
South Korea
Prior art keywords
depth
image
gesture
image data
image sensor
Prior art date
Application number
KR1020157003425A
Other languages
English (en)
Inventor
앤드류 어거스틴 와이스
Original Assignee
주식회사 듀얼어퍼처인터네셔널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 듀얼어퍼처인터네셔널 filed Critical 주식회사 듀얼어퍼처인터네셔널
Publication of KR20150043312A publication Critical patent/KR20150043312A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1353—Extracting features related to minutiae or pores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Abstract

전자 디바이스 상에서 소프트웨어 프로그램을 제어하기 위한 제스처-기반 사용자 인터페이스를 위한 컴퓨터-구현된 방법 및 제스처-기반 사용자 인터페이스 시스템이 설명되며, 상기 방법은 상기 전자 디바이스에서 다중-애퍼처 이미지 센서로부터 이미지 데이터를 수신하는 단계로서, 상기 이미지 센서는 제 1 애퍼처를 사용하여 전자기(EM) 스펙트럼의 적어도 제 1 부분 및 하나 이상의 제 2 애퍼처들을 사용하여 상기 EM 스펙트럼의 적어도 제 2 부분에 이미지 센서를 동시에 노출시키도록 적응되는, 상기 수신하는 단계; 상기 이미지 센서의 이미지 평면으로 상기 제 1 애퍼처 및 상기 하나 이상의 제 2 애퍼처들에 의해 이미징된, 오브젝트의 적어도 일부, 바람직하게는 적어도 인체 부분의 일부와 연관된 상기 이미지 데이터의 적어도 하나의 영역에서 선명도 정보를 결정하는 단계; 상기 선명도 정보의 적어도 일부에 기초하여, 깊이 정보, 바람직하게는 하나 이상의 깊이 맵들을 생성하는 단계; 및 상기 깊이 정보에 기초하여, 상기 오브젝트의 움직임과 연관된 제스처의 적어도 일부를 인식하는 단계를 포함한다.

Description

제스처―기반 사용자 인터페이스{GESTURE-BASED USER INTERFACE}
본 발명은 제스처-기반 사용자 인터페이스에 관한 것이고, 특히, 전적으로는 아니지만, 제스처-기반 사용자 인터페이스를 위한 컴퓨터-구현 방법, 제스처-기반 사용자-인터페이스 시스템 및 이러한 방법을 사용한 컴퓨터 프로그램 제품에 관한 것이다.
모바일 원격통신들, 자동차, 게이밍 및 생체 인식과 같은 기술의 다양한 분야들에서 사용된 멀티미디어 프로세싱 디바이스들은 흔히 사용자가 그래픽 사용자 인터페이스를 통해 디바이스와 상호작용하도록 터치-스크린 기술을 사용한다. 터치-스크린 기반 사용자 인터페이스는 전자 디바이스와 상호작용하기 위해 간단하며 직관적인 방식을 제공할 수 있지만, 그것은 여전히 한계들을 가진다.
터치-스크린은 단지 2-차원 인터페이스만을 제공하며, 그에 의해 보다 복잡한 또는 핀 동작이 제어하도록 터치-스크린 제스처들의 제한된 세트로 사용자가 전자 디바이스와 상호작용할 수 있는 방식을 제한한다. 예를 들면, 터치-스크린은 예로서, 펜으로 연장된 압력에 의존하여 상이한 라인 두께가 달성될 수 있는 스크린으로 그래픽들을 드로잉하기 위한 그래픽 프로그램을 허용하는 사용자 인터페이스를 에뮬레이션하기에 적합하지 않다. 이러한 결과들을 달성하기 위해, 터치 스크린 통상적으로, 사용자에 의한 일련의 메뉴-구동 입력 동작들을 사용하는 것(예로서, 상이한 펜 두께를 선택하는)이 요구된다.
뿐만 아니라, 사용자가 터치 스크린과 상호작용할 수 있는 방식은 스크린의 크기에 의해 강력하게 결정된다. 특히 소형-스크린 전자 디바이스들의 경우에, 스크린 상에 디스플레이된 다수의 아이템들과의 상호작용은 어렵다. 게다가, 그것은 전자 디바이스에 대한 사용자의 근접성을 요구한다. 그러나, 특정한 상황들에서, 예로서 자동차에서 전자 디바이스를 동작시킬 때, 운전자는 그것을 실제로 터치하지 않고, 원격으로 전자 디바이스와 상호작용할 수 있는 것이 요구될 수 있다.
상기-언급된 문제점들의 일부를 완화시키기 위해, 전자 디바이스를 제어하기 위해 사용자에 의해 사용될 수 있는 제스처들의 수가 상당히 확대되도록 3-차원 제스처들을 사용하여 전자 디바이스의 제어를 허용하는 현재 제스처-기반 사용자 인터페이스들이 개발된다. 예를 들면, 플레이어의 제스처들이 게임을 제어하기 위해 사용될 수 있도록 모션의 검출을 허용하는 마이크로소프트의 키넥트(Kinect)와 같은 게이밍 게임 콘솔 인터페이스들이 개발되어 왔다. 통상적으로 이들 시스템들은 깊이-맵 생성 광학 프로세싱 시스템에 의존한다.
2011년 12월, 싱가폴, 정보, 통신, 및 신호 프로세싱에 대한 IEEE 국제 회의(ICICS), Zhou Ren 외에 의한 논문, "인간-컴퓨터 상호작용에서의 깊이 카메라 기반 손 제스처 인식 및 그것의 응용들(Depth camera based hand gesture recognition and its applications in human-computer interaction)"은 마이크로소프트의 키넥트 센서에 의해 생성된 깊이 맵을 사용하는 손 제스처 인식 시스템을 설명한다. 시스템이 손 제스처들을 인식할 수 있었지만, 시스템은 예로서 작은 손가락 움직임들에 의한 제어를 허용하는 정확도가 부족하다. An 외에 의한 논문, "3D 깊이 데이터를 사용한 손 제스처 인식(Hand gesture recognition using 3D depth data)"은 깊이 맵이 TOF 깊이 카메라에 의해 생성한 손 제스처 인식 시스템을 설명한다. 이들 시스템들은 모바일 디바이스에서의 통합에 적합하지 않으며 공간(즉, 평면에서의) 및 깊이 정확도 양쪽 모두를 제공하지 않으며, 이것은 작은 손 및/또는 손가락 제스처들에 기초하여 모바일 디바이스 상에서 소프트웨어 프로그램의 정확한 및 미세-단위 제어를 획득하기 위해 요구된다.
뿐만 아니라, 상기-언급된 시스템들은 모바일 애플리케이션들에 적합하지 않거나 적어도 덜 적합하다. 키넥트 센서는 장면에서의 오브젝트들 상에 적외선 스펙클들의 미리 결정된 패턴을 투사하도록 구성된 적외선 레이저 다이오드를 사용하며 투사된 패턴에서의 시프트들은 적외선 이미지 센서에 의해 캡처되며 관심 장면의 깊이 맵을 재구성하기 위해 사용된다. 모바일 전자 디바이스들의 설계에서, 그러나, 적외선 방사 소스와 같은 전력 소비 요소들은 요구된 바와 같지 않다. 게다가, 모바일 설계는 전력 소비에 심각한 제약들을 둘 뿐만 아니라, 또한 설계 공간은 단지 그에 따라 가능한 한 적은 구성요소들을 포함해야 하는 광학 시스템을 하우징하기 위한 제한된 공간만을 허용한다. TOF 카메라들에 대한 부가적인 제한은 매우 짧은 거리들을 사용할 때 짧은 왕복 시간이다. 수 cm에 대해, 시간 분해능 요건들은 극단적이 된다.
그러므로, 손 및/또는 손가락 제스처들을 사용한 정확하며 미세-단위 제어를 허용하는, 모바일 디바이스들에 대한 제스처 기반 사용자 인터페이스 시스템을 제공하기 위한 방법들 및 시스템들에 대한 이 기술분야에서의 요구가 존재한다.
본 발명의 목적은 종래 기술에 알려진 결점들 중 적어도 하나를 감소시키거나 제거하는 것이다. 제 1 양태에서, 본 발명은 전자 디바이스 상에서 소프트웨어 프로그램을 제어하기 위한 제스처-기반 사용자 인터페이스를 위한 컴퓨터-구현된 방법에 관한 것일 수 있으며, 여기에서 상기 방법은: 상기 전자 디바이스에서 다중-애퍼처 이미지 센서(multi-aperture image sensor)로부터 이미지 데이터를 수신하는 단계로서, 상기 이미지 센서는 제 1 애퍼처를 사용하여 전자기(EM) 스펙트럼의 적어도 제 1 부분 및 하나 이상의 제 2 애퍼처들을 사용하여 상기 EM 스펙트럼의 적어도 제 2 부분에 이미지 센서를 동시에 노출시키도록 적응되는, 상기 수신하는 단계; 상기 이미지 센서의 이미지 평면으로 상기 제 1 애퍼처 및 상기 하나 이상의 제 2 애퍼처에 의해 이미징된, 오브젝트의 적어도 일부, 바람직하게는 적어도 인체 부분의 일부와 연관된 상기 이미지 데이터의 적어도 하나의 영역에서의 선명도 정보를 결정하는 단계; 상기 선명도 정보의 적어도 일부에 기초하여, 깊이 정보, 바람직하게는 하나 이상의 깊이 맵들을 생성하는 단계; 및 상기 깊이 정보에 기초하여, 상기 오브젝트의 움직임과 연관된 제스처의 적어도 일부를 인식하는 단계를 포함할 수 있다.
그러므로, 방법은 전자 디바이스를 위한 제스처-기반 사용자 인터페이스를 제공하는 간단한 방식을 허용한다. 다중-애퍼처 이미지 센서가 적외선 이미지 데이터에서의 선명도 정보를 사용하여 깊이 맵의 효율적이며 정확한 결정을 허용함에 따라, 모바일 디바이스에 쉽게 통합될 수 있으며 높은 에너지 소비를 야기하지 않는 사용자 인터페이스가 렌더링될 수 있다.
일 실시예에서, 상기 방법은: 상기 전자기 스펙트럼의 상기 제 1 부분과 연관된 제 1 이미지 데이터를 결정하는 단계; 상기 전자기 스펙트럼의 상기 제 2 부분과 연관된 제 2 이미지 데이터를 결정하는 단계; 및 상기 제 1 이미지 데이터에서의 상기 오브젝트의 이미지의 적어도 일부와 연관된 제 1 선명도 정보 및 상기 제 2 이미지 데이터에서의 상기 오브젝트의 상기 이미지의 적어도 일부와 연관된 제 2 선명도 정보를 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 관련시킴으로써 깊이 정보를 생성하는 단계를 추가로 포함할 수 있다.
일 실시예에서 상기 깊이 정보는 상기 전자 디바이스의 메모리에 저장된 미리 결정된 깊이 함수에 기초하여 생성될 수 있다. 상기 깊이 함수는 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 상기 이미지 데이터에서의 선명도 정보를 연관시키기 위해 구성될 수 있다. 상기 방법은 그것의 제조 동안 상기 전자 디바이스에 구현될 수 있는 미리 결정된 깊이 함수의 사용을 허용한다.
일 실시예에서, 상기 깊이 함수는 상기 전자 디바이스의 메모리에 저장된 블러 커널(blur kernel)들의 세트로부터의 적어도 하나의 블러 커널에 상기 이미지 데이터에서의 선명도 정보를 연관시키기 위해 구성될 수 있으며, 상기 블러 커널들 각각은 미리 결정된 깊이 값과 연관된다.
일 실시예에서, 상기 깊이 정보를 생성하는 단계는: 상기 이미지 데이터에서 윈도우, 바람직하게는 하나 이상의 픽셀들을 포함하는 상기 윈도우를 선택하는 단계; 최소화 알고리즘에 기초하여 상기 블러 커널들의 세트에서의 블러 커널에 상기 윈도우에서의 선명도 정보를 연관시키는 단계; 및 상기 윈도우에서의 하나 이상의 픽셀들에 상기 블러 커널과 연관된 깊이 값을 할당하는 단계를 포함할 수 있다. 필터 뱅크에서의 미리 정의된 블러 커널들은 상기 이미지 데이터에서 측정된 블러 정보를 거리에 효율적으로 관련시키기 위해 사용될 수 있다.
일 실시예에서 상기 최소화 알고리즘은 상기 윈도우에서의 상기 선명도 정보를 갖고 상기 블러 커널들 중 적어도 하나를 컨볼루션하는(convoluting) 단계를 포함할 수 있다.
일 실시예에서, 상기 방법은: 상기 전자기 스펙트럼의 상기 제 2 부분과 연관된 제 2 이미지 데이터를 결정하는 단계; 상기 제 2 이미지 데이터에서 적어도 두 개의 횡방향 변위된 이미지들을 결정하는 단계로서, 상기 이미지들 각각은 제 2 애퍼처와 연관되며 상기 이미지들은 상기 이미지 센서 앞의 일정 거리에 위치된 오브젝트와 연관되는, 상기 결정하는 단계; 및 상기 전자 디바이스의 메모리에 저장된 미리 결정된 깊이 함수에 기초하여 깊이 정보를 생성하는 단계로서, 상기 깊이 함수는 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 상기 횡방향 변위된 이미지들 사이에서의 거리를 연관시키기 위해 구성되는, 상기 생성하는 단계를 추가로 포함할 수 있다.
단일 적외선 애퍼처와 비교될 때, 다수의 적외선 애퍼처들의 사용은 보다 작은 애퍼처들의 사용을 허용하고, 그에 의해 깊이 정보를 결정하기 위한 개선된 정확도 및 심도의 추가 향상을 달성한다. 뿐만 아니라, 깊이 맵은 단지 카메라 및 오브젝트 사이에서의 거리로 하나의 오브젝트(또는 그것의 고-빈도 이미지 데이터)와 연관된 적외선 이미지들 사이에서의 횡방향 변위를 간단히 변환함으로써 적외선 이미지 데이터에 기초하여 생성될 수 있다.
일 실시예에서, 상기 다중-애퍼처 이미지 센서는 상기 제 2 애퍼처들 각각이 상기 이미지 센서의 이미지 평면으로 오브젝트를 이미징하도록 서로에 대하여 구성된 둘 이상의 제 2 애퍼처들을 포함할 수 있으며, 상기 횡방향 변위된 이미지들 사이에서의 상기 거리는 상기 오브젝트와 상기 이미지 센서 사이에서의 상기 거리의 함수이다.
또 다른 실시예에서, 상기 방법은: 제 2 고-빈도 이미지 데이터를 결정하는 단계; 자동-상관 함수를 통해 상기 제 2 고-빈도 이미지 데이터를 구동함으로써 상기 거리를 결정하는 단계를 포함할 수 있다. 빠르고 효율적인 자동-상관 함수는 깊이 맵을 결정하기 위해 사용될 수 있다.
일 실시예에서, 깊이 정보를 생성하는 단계는: 상기 다중-애퍼처 이미지 센서에 의해 생성된 상기 이미지 데이터의 적어도 일부에 깊이 값들을 할당함으로써 하나 이상의 깊이 맵들을 형성하는 단계를 추가로 포함할 수 있다. 일 실시예에서, 상기 EM 스펙트럼의 상기 제 1 부분은 상기 EM 스펙트럼의 가시적인 부분의 적어도 일부와 연관된다. 다른 실시예에서 상기 EM 스펙트럼의 상기 제 2 부분은 상기 EM 스펙트럼의 비가시적인 부분의 적어도 일부와 연관된다. 또 다른 실시예에서, 상기 EM 스펙트럼의 상기 제 2 부분은 상기 적외선 스펙트럼과 연관된다.
일 실시예에서, 상기 방법은 상기 깊이 맵에 기초하여 상기 이미지 데이터와 연관된 이미지 프레임의 적어도 일부에서 관심 영역(region of interest; ROI)의 적어도 일부를 결정하는 단계를 추가로 포함할 수 있다. 또 다른 실시예에서, 상기 방법은 전경 깊이 값들과 연관된 픽셀들에 기초하여 상기 관심 영역을 결정하는 단계를 포함할 수 있으며, 상기 전경 깊이 값들은 상기 다중-애퍼처 이미지 센서의 상기 이미지 평면에 비교적 가까운 깊이 값들의 미리 결정된 범위 내에 있다. 일 실시예에서, 전경 깊이 값들의 범위는 1 내지 100 cm, 바람직하게는 2 내지 60 cm, 보다 바람직하게는 5 내지 50 cm일 수 있다.
일 실시예에서, 상기 방법은 컬러 정보에 기초하여 상기 이미지 데이터와 연관된 이미지 프레임의 적어도 일부에서 관심 영역의 적어도 일부를 결정하는 단계, 바람직하게는 인체의 부분과 연관된 컬러 정보와 실질적으로 일치하는 컬러 정보에 기초하여 상기 관심 영역을 결정하는 단계를 포함할 수 있다. 그러므로, 이 실시예에서, 상기 컬러 이미지로부터의 컬러 정보는 깊이 맵이 생성되어야 하는 상기 이미지 데이터에서의 영역을 효율적으로 선택하기 위해 사용될 수 있다.
일 실시예에서, 상기 제스처를 인식하는 단계는 상기 깊이 맵으로부터 하나 이상의 깊이 특징들을 추출하는 단계를 포함할 수 있다. 또 다른 실시예에서, 상기 제스처를 인식하는 단계는 관심 영역에서 상기 깊이 맵으로부터 깊이 특징들을 추출하는 단계를 포함할 수 있다. 또 다른 실시예에서, 상기 제스처를 인식하는 단계는 상기 제 2 고-빈도 이미지 데이터와 상기 EM 스펙트럼의 상기 제 1 부분과 연관된 제 1 저-빈도 이미지 데이터를 혼합(blend)하여 형성된 강화된 이미지로부터 하나 이상의 2D 특징들을 추출하는 단계, 및 상기 깊이 특징들 및, 선택적으로 상기 2D 특징들을 상기 인체 부분과 연관된 하나 이상의 기준 특징들과 매칭시키는 단계를 포함할 수 있으며, 일 실시예에서, 상기 인체 부분은 손 또는 손가락 부분일 수 있다. 그러므로, 상기 방법은 상기 적외선 이미지 데이터로부터의 선명도 정보에 기초하여 강화되는 컬러 이미지로부터 추출된 깊이 정보 및 특징들 양쪽 모두에 대한 제스처 인식을 허용한다.
또 다른 실시예에서, 하나 이상의 2D 특징들은 상기 적외선 이미지 데이터로부터 추출될 수 있다.
일 실시예에서, 상기 제스처를 인식하는 단계는: 상기 깊이 맵들에 기초하여 상기 몸체 부분의 적어도 일부의, 하나 이상의 궤적들, 바람직하게는 하나 이상의 공간 궤적들을 결정하는 단계; 미리 결정된 제스처와 연관된 기준 궤적과 상기 결정된 궤적을 상관시키는 단계; 상기 결정된 하나 이상의 궤적들이 하나 이상의 기준 궤적들과 상관 관계가 있다면 미리 결정된 제스처의 검출을 확립하는 단계; 상기 미리 결정된 제스처에 기초하여 상기 소프트웨어 프로그램을 제어하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 방법은 다음의 단계들 중 적어도 하나를 추가로 포함할 수 있다: 상기 다중-애퍼처 이미징 시스템의 시야에서 하나 이상의 미리 결정된 궤적들 위로 하나 이상의 손가락 끝들을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램을 제어하는 단계; 상기 전자 디바이스로부터 미리 결정된 거리에서의 평면에 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하는 단계; 상기 이미지 센서의 상기 시야에서 제 1 거리로부터 제 2 거리로 손가락 끝을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램에서의 활성화 또는 비활성화 기능을 제어하는 단계; 및 상기 제 2 검출된 손가락 끝에 대하여 상기 제 1 검출된 손가락 끝을 이동시킴으로써, 바람직하게는 상기 이미징 센서의 시야에서 하나 이상의 미리 결정된 궤적들 위로 상기 제 2 손가락 끝에 대하여 상기 제 1 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하는 단계.
또 다른 실시예에서, 상기 몸체 부분은 손가락 끝일 수 있다. 또 다른 실시예에서, 상기 방법은: 상기 깊이 맵에 기초하여, 손가락 끝과 연관된 관심 영역을 상기 이미지 데이터에서 결정하는 단계; 상기 제 2 고-빈도 이미지 데이터와 상기 EM 스펙트럼의 상기 제 1 부분과 연관된 제 1 저-빈도 이미지 데이터를 혼합함으로써 형성된 강화 이미지로부터 하나 이상의 방향성 특징들을 추출하는 단계; 및 상기 추출된 방향성 특징들을 사용자의 지문과 연관된 방향성 기준 특징들과 매칭시킴으로써 상기 사용자를 인증하는 단계를 포함할 수 있다.
또 다른 양태에서, 본 발명은 전자 디바이스에서의 사용을 위한 제스처-기반 사용자 인터페이스 시스템에 관한 것일 수 있으며, 상기 사용자 인터페이스 시스템은 상기 전자 디바이스 상에서의 소프트웨어 프로그램을 제어하도록 적응되고, 상기 시스템은: 이미지 데이터를 생성하기 위한 다중-애퍼처 이미지 센서로서, 상기 다중-애퍼처 이미지 센서는 제 1 애퍼처를 사용하여 전자기(EM) 스펙트럼의 적어도 제 1 부분 및 하나 이상의 제 2 애퍼처들을 사용하여 상기 EM 스펙트럼의 적어도 제 2 부분에 이미지 센서를 동시에 노출시키도록 적응되는, 상기 다중-애퍼처 이미지 센서; 상기 이미지 센서의 이미지 평면으로 상기 제 1 애퍼처 및 상기 하나 이상의 제 2 애퍼처들에 의해 이미징된, 오브젝트의 적어도 일부, 바람직하게는 인체 부분의 적어도 일부와 연관된 상기 이미지 데이터의 적어도 하나의 영역에서 선명도 정보를 생성하기 위한 하나 이상의 필터들; 상기 선명도 정보의 적어도 일부에 기초하여, 깊이 정보, 바람직하게는 하나 이상의 깊이 맵들을 생성하기 위해 구성된 발생기; 및 상기 깊이 정보에 기초하여 상기 오브젝트의 움직임과 연관된 제스처를 인식하도록 적응된 제스처 인식 모듈을 포함할 수 있다.
일 실시예에서, 상기 사용자 인터페이스 시스템은 깊이 함수를 포함할 수 있으며, 여기에서 상기 깊이 함수는 상기 제 1 애퍼처와 연관된 제 1 선명도 정보 및 상기 하나 이상의 제 2 애퍼처들과 연관된 제 2 선명도 정보를 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 연관시키기 위해 구성되거나; 상기 깊이 함수는 상기 제 2 애퍼처들 중 적어도 두 개와 연관된 적어도 두 개의 횡방향 변위된 이미지들 사이에서의 거리를 상기 오브젝트와 상기 이미지 센서 사이에서의 거리에 연관시키기 위해 구성된다.
일 실시예에서, 상기 사용자 인터페이스 시스템에서의 상기 깊이 함수는 상기 제 1 애퍼처와 연관된 제 1 선명도 정보 및 상기 하나 이상의 제 2 애퍼처들과 연관된 제 2 선명도 정보를 상기 전자 디바이스의 메모리에 저장된 블러 커널들의 세트로부터의 적어도 하나의 블러 커널에 연관시키기 위해 구성되며, 상기 블러 커널들 각각은 상기 이미지 센서와 오브젝트 사이에서의 거리의 미리 결정된 거리와 연관된다.
일 실시예에서, 상기 제스처 인식 모듈은: 상기 깊이 맵들에 기초하여 상기 몸체 부분의 적어도 일부의, 하나 이상의 궤적들, 바람직하게는 하나 이상의 공간 궤적들을 결정하고; 상기 결정된 궤적을 미리 결정된 제스처와 연관된 기준 궤적과 상관시키고; 상기 결정된 하나 이상의 궤적들이 하나 이상의 기준 궤적들과 상관 관계가 있다면 미리 결정된 제스처의 상기 검출을 확립하고; 상기 미리 결정된 제스처에 기초하여 상기 소프트웨어 프로그램을 제어하기 위해 구성될 수 있다.
또 다른 실시예에서, 상기 제스처 인식 모듈은 다음의 기능들 중 적어도 하나를 위해 구성될 수 있다: 상기 다중-애퍼처 이미징 시스템의 시야에서 하나 이상의 미리 결정된 궤적들 위로 하나 이상의 손가락 끝들을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램을 제어하는 것; 상기 전자 디바이스로부터 미리 결정된 거리에서의 평면에 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하는 것; 상기 이미지 센서의 상기 시야에서 제 1 거리로부터 제 2 거리로 손가락 끝을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램에서의 활성화 또는 비활성화 기능을 제어하는 것; 및/또는 상기 제 2 검출된 손가락 끝에 대하여 상기 제 1 검출된 손가락 끝을 이동시킴으로써, 바람직하게는 상기 이미징 센서의 상기 시야에서의 하나 이상의 미리 결정된 궤적들 위로 상기 제 2 손가락 끝에 대하여 상기 제 1 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하는 것.
그러므로, 상기-설명된 실시예들로부터, 그것은 본 발명에 따른 제스처-기반 사용자 인터페이스 시스템이 소프트웨어 프로그램의 직관적 제스처-기반 제어를 허용한다는 것을 따른다. 사용자 인터페이스는 다중-애퍼처 이미지 센서의 이미지 데이터를 사용하여 생성된 깊이 맵들에 기초하여 그것 상에서 구동하는 전자 디바이스 또는 애플리케이션의 정확한 제어를 허용한다. 사용자 인터페이스 시스템은 모바일 장비와 같은, 전자 장비에서의 사용에 적합하여, 전자 디바이스와 물리적으로 접촉하도록 사용자에게 요구하지 않고 그것 상에서 구동하는 애플리케이션의 제어를 허용한다.
본 발명은 또한 제스처-기반 사용자 인터페이스를 제공하기 위한 컴퓨터 프로그램 제품에 관한 것일 수 있으며, 여기에서 상기 컴퓨터 프로그램 제품은 컴퓨터 시스템의 메모리에서 구동할 때, 상기 설명된 바와 같이 방법 단계들 중 임의의 것을 실행하기 위해 구성된 소프트웨어 코드 부분들을 포함한다.
본 발명은 본 발명에 따른 실시예들을 개략적으로 도시할, 첨부된 도면들을 참조하여 추가로 예시될 것이다. 본 발명은 임의의 방식으로 이들 특정 실시예들에 제한되지 않는다는 것이 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스를 포함하는 전자 디바이스를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스를 가능하게 하는 다중-애퍼처 이미징 시스템을 도시한 도면.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스를 가능하게 하기 위한 다중-애퍼처를 교정하기 위한 시스템 및 방법을 도시한 도면들.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스에서의 사용을 위한 깊이 맵을 생성하기 위한 시스템 및 방법을 도시한 도면들.
도 5는 다중-애퍼처 이미징 시스템에 의해 생성된 이미지 및 연관된 깊이 맵을 도시한 도면.
도 6은 또 다른 실시예에 따라 깊이 정보를 생성하기 위한 다중-애퍼처 이미징 시스템의 개략도.
도 7은 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스를 가능하게 하기 위한 시스템을 도시한 도면.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스에 기초하여 그것 상에 구동하는 전자 디바이스 또는 애플리케이션을 제어하는 것을 도시한 도면들.
도 9a 및 도 9b는 본 발명의 또 다른 실시예에 따른 제스처 기반 사용자 인터페이스에 기초하여 그것 상에 구동하는 전자 디바이스 또는 애플리케이션을 제어하는 것을 도시한 도면들.
도 10a 및 도 10b는 본 발명의 또 다른 실시예에 따른 제스처 기반 사용자 인터페이스에 기초하여 그것 상에 구동하는 전자 디바이스 또는 애플리케이션을 제어하는 것을 도시한 도면들.
도 11a 및 도 11b는 본 발명의 일 실시예에 따른 생물 측정 인증 프로세스에서의 사용을 위한 제스처 기반 사용자 인터페이스를 도시한 도면들.
도 1은 본 발명의 하나의 실시예에 따른 제스처-기반 사용자 인터페이스(UI) 시스템을 포함하는 전자 디바이스를 도시한다. 특히, 도 1은 다중-애퍼처 이미지 센서(101), 상기 다중-애퍼처 이미지 센서에 의해 생성된 데이터를 프로세싱하며 전자 디바이스 또는 그것 상에 구동하는 소프트웨어 애플리케이션과의 사용자 상호작용, 특히 제스처-기반 사용자 상호작용을 가능하게 하도록 구성된 데이터-프로세싱 모듈(103)을 포함하는 제스처-기반 UI 시스템을 포함하는 전자 디바이스(100)를 도시한다. 출력 모듈(128), 예로서 발광 디스플레이 또는 투사-기반 디스플레이가 사용자 상호작용에 관한 시각적 정보를 사용자에게 제공하도록 구성될 수 있다.
상기 전자 디바이스는 디지털 카메라의 일부 또는 모바일 전화, 전자 태블릿, 웹캠, 생체 인식 센서, 이미지 스캐너 또는 이미지-캡처링 기능을 요구하는 임의의 다른 멀티미디어 디바이스에 통합될 수 있다. 다중-애퍼처 이미지 센서는 2-차원 픽셀 어레이를 형성하는 감광성 사이트들(픽셀들)의 로우들 및 컬럼들을 포함한, 이미지 센서(102)를 포함할 수 있다. 이미지 센서는 CMOS(상보적 금속 산화물 반도체) 능동 픽셀 센서 또는 CCD(전하 결합 디바이스) 이미지 센서일 수 있다. 대안적으로, 이미지 센서는 다른 Si(예로서, a-Si), III-V(예로서, GaAs) 또는 도전성 고분자 기반 이미지 센서 구조들일 수 있다.
다중-애퍼처 이미지 센서는 이미지 센서의 이미징 평면으로 관심 장면과 연관된 오브젝트들을 집중시키며 투사하기 위한 광학 렌즈 시스템(104)을 추가로 포함할 수 있다. 이미지 센서의 노출은 셔터(106) 및 파장-선택적, 다중-애퍼처 애퍼처 시스템(108)을 사용하여 제어된다. 상기 다중-애퍼처 시스템(예컨대, 다중-애퍼처)은 전자기(EM) 스펙트럼의 제 1 부분, 예로서 가시적인 부분, 및 상기 EM 스펙트럼의 적어도 제 2 부분, 예로서 적외선의 일부와 같은 비-가시적인 부분의 EM 방사를 갖고 이미지 센서를 노출시키기 위한 미리 결정된 수의 파장-선택적 애퍼처들을 포함하는 광학적 어셈블리와 관련된다.
파장-선택 다중-애퍼처 이미지 센서 및 그것의 유리한 사용들에 대한 상세한 설명이 본 출원에 참조로서 통합되는, 국제 특허 출원들(WO2011/101035 및 WO2011/101036)에 보다 상세히 설명된다. 다중-애퍼처 센서의 하나의 구현은 도 2에 개략적으로 도시된다. 다중-애퍼처 시스템(206)은 스톱(208), EM 스펙트럼의 제 1 부분을 갖고 이미지 센서를 노출시키기 위한 제 1 크기의 적어도 제 1 파장-선택 애퍼처(210) 및 EM 스펙트럼의 제 2 부분을 갖고 이미지 센서를 노출시키기 위한 제 2 크기의 적어도 제 2 파장-선택 애퍼처(212)를 포함할 수 있다.
일 실시예에서, 다중-애퍼처 시스템(206)은 두 개의 상이한 박막 광학 필터들을 가진 투명 기판을 포함한다: EM 스펙트럼의 제 1 대역에서의 방사에 대해 투명한 제 1 애퍼처(212)를 형성한 기판의 중심에서, 미리 결정된 형태, 예로서 원형 형태의 제 1 박막 필터; 및, EM 스펙트럼의 제 2 대역에서의 방사에 대해 투명한, 제 2 박막 필터. 제 2 애퍼처(210)를 정의하는 제 2 박막 필터는 제 1 필터 주위에, 예로서 동심원 링에 형성될 수 있다. 제 2 애퍼처의 외부 직경은 스톱(208)을 정의하는 불투명한 애퍼처 홀더에서의 개구에 의해 정의될 수 있다. 대안적으로, 상기 스톱은 기판상에 증착된 불투명한 박막 층을 사용하여 실현될 수 있다.
하나의 실시예에서, 제 1 필터는 가시 및 적외선 방사의 적어도 일부 모두에 대해 투명할 수 있다. 또 다른 실시예에서, 제 2 필터는 적외선 방사의 모두, 또는 적어도 상당한 부분을 반사하도록 구성될 수 있으며, 따라서 그것은 단지 가시 방사에 대해서만 투명하다. 두 개의 애퍼처들을 포함하는 다중-애퍼처 시스템이 예로서, 동심원 링들의 형태로, 3개 이상의 애퍼처들을 포함하는 다중-애퍼처로 쉽게 연장될 수 있다는 것이 숙련자에 대해 명백하며, 여기에서 각각의 애퍼처는 EM 스펙트럼에서의 특정한 대역, 예로서 특정한 컬러 대역(적색, 녹색, 청색, 또는 그것의 조합들) 또는 적외선 대역(예로서, 근, 중간, 또는 원 적외선 또는 그것의 조합들)과 연관된 방사를 투과한다.
하나의 실시예에서, 제 2 박막 필터는 다이크로익 필터를 포함할 수 있으며, 이것은 적외선 스펙트럼에서의 방사를 반사하며 가시 스펙트럼에서의 방사를 투과한다. 다이크로익 필터들(때때로 또한 간섭 필터들로서 불리우는)은 이 기술분야에 잘 알려져 있으며 통상적으로 적외선 방사(예로서, 대략 750 내지 1250 나노미터들 사이에서의 파장을 가진 방사) 또는 그것의 일부를 반사하며 스펙트럼의 가시 부분에서의 방사를 투과하도록 구성되는, 특정 두께들의 다수의 박막 유전 층들을 포함한다.
렌즈 시스템(204)에 들어가는 EM 방사선으로의 이미지 센서의 노출은 셔터 및 다중-애퍼처 시스템(206)에 의해 제어될 수 있다. 셔터가 개방될 때, 애퍼처들은 이미지 센서(216)를 노출하는 EM 스펙트럼의 상이한 부분들과 연관된 방사선의 양 및 시준을 제어한다. 셔터는 기계 셔터일 수 있으며, 대안적으로, 셔터는 이미지 센서에 통합된 전자 셔터일 수 있다. 광이 렌즈 시스템에 의해 이미지 센서로 투사될 때, 각각의 픽셀은 전기 신호를 생성하며, 이것은 상기 픽셀에 입사하는 전자기 방사선 (에너지)에 비례한다.
이미지 센서의 이미징 평면으로 투사되는, 이미지의 컬러 정보를 획득하기 위해, 통상적으로 컬러 필터 어레이(214)(color filter array; CFA)는 렌즈 및 이미지 센서 사이에 삽입된다. 컬러 필터 어레이는 이미지 센서의 각각의 픽셀이 대응하는 픽셀 필터를 갖도록 이미지 센서와 통합될 수 있다. 각각의 컬러 필터는 미리 결정된 컬러 대역의 광을 픽셀로 전달하도록 적응된다. 보통, 적색, 녹색, 및 청색(RGB) 필터들이 사용되지만, 다른 필터 기법들이, 예로서 CYGM(청록색, 황색, 녹색, 자홍색), RGBE(적색, 녹색, 청색, 선녹색) 등이 또한 가능하다. 바람직하게는, 이미지 센서는 또한 적외선(IR) 픽셀들, 즉 다중-애퍼처 시스템의 작은 IR 투명 애퍼처를 지나는 IR EM 방사선의 적어도 일부를 캡처하도록 구성되는 픽셀들을 포함할 수 있다.
조합된 컬러 및 적외선 이미지 센서는 픽셀 필터들과 CFA를 조합함으로써 실현될 수 있으며, 이것은 적외선/컬러 필터 어레이(ICFA)(218)로의, 가시광을 차단하며 IR 방사선에 대해 투명하다. 대안적으로, 이미지 센서는 적층된 포토다이오드들의 어레이로서 구현될 수 있다. 이들 포토-다이오드들의 일부는 실리콘 기판 내에 매립될 수 있으며, 여기에서 표면 기판에 가까운 포토-다이오드들은 짧은 파장의 방사선, 예로서 청색 광에 더 민감하며, 기판에 더 깊게 매립되는 포토-다이오드들은 보다 긴 파장들의 방사선, 예로서 적색 또는 적외선 방사선에 더 민감하다.
노출된 이미지 센서의 각각의 픽셀은 전자기 방사에 비례하는 전기 신호를 생성한다. 따라서 픽셀들의 어레이는 컬러 필터 어레이를 통과하거나 적층된 포토-다이오드들의 어레이에 의해 흡수된 전자기 에너지(방사)의 공간적 분포를 나타내는, 이미지 데이터를 생성한다. 픽셀들로부터 수신된 신호들은 하나 이상의 온-칩 증폭기들을 사용하여 증폭될 수 있다. 여기에서, 컬러 또는 적외선 픽셀들과 연관된 신호들은 각각 컬러 또는 적외선 채널로서 불리울 수 있다. 각각의 채널은 별개의 증폭기를 사용하여 증폭될 수 있으며, 그에 의해 상이한 컬러들에 대한 ISO 속도를 개별적으로 제어하도록 허용한다.
그러므로, 이미지 센서의 출력은 다수의 컬러 채널들(예로서, R, G, B 채널들 또는 C, Y, G, M 채널들 등) 및 하나 이상의 적외선 채널들과 연관된 이미지 데이터를 생성하도록 적응된다. 이들 가시 및 적외선 채널들과 연관된 이미지 데이터는 이후 예컨대 각각 컬러 이미지 데이터 및 적외선 이미지 데이터로서 불리운다. 이미지 센서의 하나의 노출에 기초하여 생성된 이미지 데이터는 컬러 채널들(컬러 이미지 프레임들) 및 적외선 채널들(적외선 이미지 프레임들)과 연관된 이미지 프레임들로 분해될 수 있는 이미지 프레임을 정의한다. 이들 이미지 프레임들은 이들 시청 가능한 이미지 포맷으로 렌더링하도록 알려진 디모자이킹(demosaicing) 알고리즘들을 사용하여 프로세싱될 수 있다.
도 1에 도시된 바와 같이, 이미지 센서들에 의해 발생된 픽셀 신호들은 데이터-프로세싱 모듈에 의해 프로세싱되고, 예로서 샘플링되고, 양자화되며 미리 결정된 데이터 포맷의 이미지 프레임들로 변환될 수 있다. 이를 위해, 데이터-프로세싱 모듈은 하나 이상의 아날로그-디지털(A/D) 변환기들(110)을 포함할 수 있다. 하나의 실시예에서, 상기 A/D 변환기들은 이미지 센서의 칩 상에 통합될 수 있다. 이러한 식으로 다중-애퍼처 이미지 센서는 계속해서 이미지 프레임들의 스트림 또는 그것의 부분들을 생성할 수 있으며, 이것은 보간, 필터링, 화이트 밸런스, 밝기 정정, 데이터 압축 기술들(예로서, MPEG 또는 JPEG 형 기술들)과 같은 잘 알려진 신호 프로세싱 기능들을 수행하도록 구성되는, 디지털 신호 프로세서(112)(DSP)에 의해 프로세싱된다.
DSP는 컬러 및 적외선 이미지 데이터를 프로세싱하도록 및 이미지 프레임과 연관된 선명도 정보를 결정하도록 구성된 신호 프로세싱 기능(124)을 포함할 수 있다. 선명도 정보는 예를 들면, 고역 디지털 필터를 이미지 데이터에 적용함으로써 획득될 수 있다. 선명도 정보는 예를 들면, 저-잡음 적외선 채널로부터 추출되며, 하나 이상의 컬러 채널들에서의 선명도를 강화하기 위해 사용될 수 있다. 예를 들면, 비교적 잡음이 있는 컬러 채널들(예로서, RGB 컬러 채널들)과 연관된 이미지 데이터는 저-역 필터링될 수 있으며 컬러 이미지에서 디모자이킹되며 그 다음에 적외선 강화 컬러 이미지, 즉 강화된 심도(depth of field; DOF)를 가진 컬러 이미지로의 저-잡음 적외선 채널의 고-빈도 이미지 데이터와 조합(혼합)될 수 있다.
보다 특히, 이미지 센서의 픽셀들은 큰 DOF를 가진 적외선 스펙트럼 에너지와 연관된 제 2 소형-애퍼처 이미지 신호를 오버레이하는 제한된 DOF를 가진 가시 스펙트럼 에너지와 연관된 제 1 (비교적) 광-애퍼처 이미지 신호를 수신할 수 있다. 그러므로, 렌즈의 초점의 평면에 가까운 오브젝트들은 가시 방사선에 의한 비교적 작은 디포커스 블러를 갖고 이미지 센서의 이미지 평면으로 투사되는 반면, 초점의 평면으로부터 더 멀리 위치된 오브젝트들은 적외선 방사선에 의한 비교적 작은 디포커스 블러를 갖고 이미지 평면으로 투사된다.
DSP는 고-주파수 필터를 사용하여 IR 이미지 데이터를 필터링함으로써 IR 이미지 데이터로부터 선명도 정보, 즉 고-빈도 정보를 추출할 수 있다. 고-빈도 IR 이미지 데이터는 RGB 이미지(비교적 큰 제 1 애퍼처와 연관된)와 혼합될 수 있으며 그에 의해 이미지의 DOF를 증가시킨다. 이러한 방식으로, 다중-애퍼처 시스템은 간단하고 비용 효과적인 방식으로 심도(DOF)의 확장을 허용하며 고정된 초점 렌즈를 가진 디지털 카메라들에 대한 ISO 속도를 증가시킬 수 있다.
예를 들면, 7의 통상적인 f-수(초점 길이 7 mm 및 1 mm의 애퍼처 직경)를 가진 단순한 이동 전화 카메라의 DOF는 예로서 0.5 mm의 직경에 대해 14 및 0.2 mm 이하의 직경들에 대해 70까지 사이에서 변할 수 있는 적어도 제 2 애퍼처를 사용하여 개선될 수 있으며, 여기에서 f-수는 초점 길이(f) 및 애퍼처의 유효 직경의 비에 의해 정의된다. 바람직한 구현들은 카메라에 비교적 가까운, 오브젝트들의 선명도를 획득하기 위해 2 및 4 사이에서의 가시 광에 대한 f-수, 및 보다 먼 오브젝트들의 선명도를 획득하기 위해 16 및 22 사이에서의 적외선 애퍼처에 대한 f-수를 포함하는 다중-애퍼처를 포함하는 광학 시스템을 포함한다.
알려진 디지털 이미징 시스템으로의 다중-애퍼처 시스템의 구현은 작은 적응화들만을 요구하며 따라서 대량-생산 및 모바일 애플리케이션들에 적합하다. 더욱이, 아래에 보다 상세히 설명될 바와 같이, 다중-애퍼처 시스템은 다중-애퍼처 센서에 의해 캡처된 이미지 데이터에 기초하여 관심 장면에서의 오브젝트들과 연관된 거리 정보, 예로서 깊이 맵의 결정을 허용한다.
데이터-프로세싱 모듈은 캡처된 이미지 데이터(예로서, 원 이미지 데이터), 및 가능하게는 데이터-프로세싱된 이미지 데이터를 임시로 저장하기 위한 하나 이상의 버퍼들(116) 및 다중-애퍼처 이미지 센서에 의해 생성된 이미지 프레임들의 시퀀스에서 제스처 인식 모듈(126)에 의해 검출된 특정한 제스처에 의해 제어될 수 있는, 하나 이상의 하나 이상의 애플리케이션들, 소프트웨어 프로그램들을 포함한, EEPROM 또는 또 다른 유형의 비휘발성 메모리와 같은, 메모리(118)를 추가로 포함할 수 있다.
이미지 프레임들의 시퀀스에서 특정한 오브젝트가 제스처, 예로서 손 또는 손가락 제스처로서 분류될 수 있는지를 결정하기 위해, 깊이-맵 발생기(114)가 다중-애퍼처 이미지 센서에 의해 생성된 이미지 프레임들에 기초하여 깊이 맵들을 계속해서 생성할 수 있다. 제스처 인식 모듈은 이미지에서 손(또는 그것의 일부들)을 검출하기 위해, 헤드의 미리 결정된 부분들(예로서, 하나 이상의 손가락들 및/또는 손가락 끝들)을 추적하며 제스처로서 이들 부분들의 미리 결정된 움직임들을 분류하기 위해 이들 깊이 맵들, 및 선택적으로 연관된 강화 컬러 이미지 이미지들을 사용할 수 있다. 특정한 제스처가 인식될 때, 제스처 인식 모듈은 애플리케이션의 제어를 허용하는 제어 신호를 발생시킬 수 있다. 이러한 식으로, 다중-애퍼처 이미지 센서 및 데이터-프로세싱 모듈은 이와 같이 전자 디바이스 또는 그것 상에서 구동하는 소프트웨어 애플리케이션을 제어하기 위한 제스처-기반 UI 시스템을 형성한다.
다중-애퍼처 시스템에서, 데이터 프로세싱 모듈에서 및 디스플레이 모듈에서, 전자적으로 제어된 요소들은 데이터 버스(134)에 의해 전자 디바이스 및 제스처-기반 사용자 인터페이스(UI) 시스템의 동작을 관리하기 위해 중앙 프로세서(도시되지 않음)에 연결된다. 제스처-기반 사용자 인터페이스(UI) 시스템이 손 제스처들, 및 특히 하나 이상의 손가락 움직임들과 연관된 손 제스처들을 효율적으로 및 정확하게 결정할 수 있게 하기 위한 기능들 및 프로세스들이 도 3 내지 도 6을 참조하여 이하에 보다 상세히 설명된다.
손 및/또는 손가락 제스처들을 정확하게 인식하기 위해, 제스처-기반 사용자 인터페이스(UI) 시스템은 다중-애퍼처 센서에 의해 생성된 각각의 또는 적어도 몇몇 이미지 프레임들에 대한 깊이 맵(또는 적어도 깊이 맵의 일부)을 계속해서 생성한다. 이하에 보다 상세히 설명될 바와 같이, 깊이 맵은 특정한 깊이 값(s)에 이미지의 일부를 할당하기 위해 구성되는, DPS에서의 다중-애퍼처 이미지 센서 및 깊이 함수(R(s))에 의해 캡처된 이미지 데이터에 기초하여 결정된다.
하나의 실시예에서, 깊이 함수(R)는 카메라 렌즈로부터 떨어진 상이한 거리들에서 오브젝트들에 대한 컬러 이미지 구성요소들 및 적외선 이미지 구성요소들의 선명도 정보를 분석함으로써 결정될 수 있다. 여기에서, 선명도 정보의 분석은 소위 착란원(circle of confusion)의 분석을 포함할 수 있으며, 이것은 오브젝트 공간에서의 이미징된 포인트의 이미지 센서에 의해 측정된 블러 스폿 직경에 대응한다. 디포커스 블러를 나타내는 블러 디스크 직경은 초점 평면에서의 포인트들에 대해 매우 작으며(제로) 오브젝트 공간에서의 이러한 평면으로부터 전경 또는 배경으로 이전할 때 점진적으로 성장한다. 블러 디스크가 최대 수용 가능한 착락원(c)보다 작은 한, 그것은 충분히 선명하며 DOF 범위의 일부인 것으로 고려된다. 알려진 DOF 공식들로부터, 그것은 오브젝트의 깊이, 즉 카메라로부터의 그것의 거리(s), 및 이미지 센서로 이미징된 상기 오브젝트의 디포커스 블러(즉, 선명도)의 양 사이에서의 직접 관계가 있다는 것을 따른다. 블러는 이미징 시스템과 연관된 광학 파라미터들, 특히 렌즈 파라미터들에 추가로 의존한다.
그러므로, 다중-애퍼처 이미징 시스템에서, 적외선 이미지에서의 IR 구성요소들의 선명도에 대한 컬러 이미지의 RGB 구성요소들의 선명도에서의 증가 또는 감소는 렌즈로부터의 이미징된 오브젝트의 거리에 의존한다. 예를 들면, 렌즈가 3 미터들에서 집중된다면, RGB 구성요소들 및 IR 구성요소들 모두의 선명도는 동일할 수 있다. 반대로, 1 미터의 거리에서의 오브젝트들에 대한 적외선 이미지를 위해 사용된 소형 애퍼처로 인해, RGB 구성요소들의 선명도가 적외선 구성요소들의 것들보다 상당히 작을 수 있다. 이러한 의존은 카메라 렌즈로부터 오브젝트들의 거리들을 추정하기 위해 사용될 수 있다.
특히, 렌즈가 큰("무한") 초점 포인트로 설정된다면(이러한 포인트는 다중-애퍼처 시스템의 초집중 거리(H)로서 불리울 수 있다), 카메라는 컬러 및 적외선 구성요소들이 동일하게 선명한 이미지에서 포인트들을 결정할 수 있다. 이미지에서의 이들 포인트들은 오브젝트들에 대응하며, 이것은 카메라로부터 비교적 큰 거리(통상적으로 배경)에 위치된다. 초집중 거리(H)로부터 떨어져 위치된 오브젝트들에 대해, 적외선 구성요소들 및 컬러 구성요소들 사이에서의 선명도에서의 상대적인 차이는 오브젝트 및 렌즈 사이에서의 거리의 함수로서 증가할 것이다. 컬러 이미지에서의 선명도 정보 및 일 스폿(예로서, 하나 픽셀들의 그룹)에서 측정된 적외선 정보에서의 선명도 정보 사이에서의 비는 그 후 깊이 함수(R(s))로서 불리울 것이다.
깊이 함수(R(s))는 카메라 렌즈로부터 상이한 미리 결정된 거리들(s)에 위치된 하나 이상의 이미징된 테스트 오브젝트들과 연관된 다중-애퍼처 이미지 데이터에서의 컬러 및 적외선 구성요소들의 선명도 정보가 결정되는 교정 방법을 사용하여 획득될 수 있다. 깊이 함수는 제조사에 의해 미리 결정될 수 있으며 DSP에서의 함수로서 구현될 수 있다.
선명도 정보에 기초하여 거리를 결정하는 다른 방식들은 또한 본 발명으로부터 벗어나지 않고 가능하다. 예를 들면, 예로서 고역 필터를 사용하여 공간 도메인에서의 선명도 정보를 분석하는 대신에, 선명도 정보가 또한 주파수 도메인에서 분석될 수 있다. 예를 들면, 하나의 실시예에서, 구동하는 이산 푸리에 변환(DFT)이 선명도 정보를 획득하기 위해 사용될 수 있다. DFT는 컬러 이미지 및 적외선 이미지 양쪽 모두의 푸리에 계수들을 산출하기 위해 사용될 수 있다. 이들 계수들, 특히 고-빈도 계수의 분석은 거리의 표시를 제공할 수 있다.
예를 들면, 하나의 실시예에서, 컬러 이미지 및 적외선 이미지에서의 특정한 영역과 연관된 고-빈도 DFT 계수들 사이에서의 절대 차 또는 비가 거리에 대한 표시로서 사용될 수 있다. 또 다른 실시예에서, 푸리에 구성요소들은 적외선 및 컬러 신호들과 연관된 컷오프 주파수를 분석하기 위해 사용될 수 있다. 예를 들면, 이미지의 특정한 영역에서 적외선 이미지 신호들의 컷오프 주파수가 컬러 이미지 신호의 컷오프 주파수보다 크다면, 이러한 차이는 거리의 표시를 제공할 수 있다.
하나의 실시예에서, 거리 함수는 상이한 깊이들과 연관된 다수의 블러 커널들에 기초할 수 있다. 이미지의 미리 결정된 윈도우에서의 디포커스 블러는 선명한, 비-블러 윈도우 및 미리 결정된 필터(Hd)의 로컬 컨볼루션(이후 또한 거리 또는 깊이(d)와 연관된 블러 또는 디포커스 커널로서 불리우는)으로서 설명될 수 있다. 그러므로, 이미지에서의 각각의 윈도우에 대해, 상기-언급된 디포커스 블러는 미리 결정된 블러 커널과 연관될 수 있으며, 이것은 다중-애퍼처 이미지 센서 구성(예로서, 렌즈, 이미지 센서 및 애퍼처 파라미터들에 의해 정의된)에 대해 특정적이다.
이러한 관계는 다중-애퍼처 이미지 센서에 의해 생성된 이미지 데이터로부터 깊이 맵을 효율적으로 렌더링하기 위해 사용될 수 있다. 이를 위해, 제스처-기반 사용자 인터페이스(UI) 시스템을 포함하는 전자 디바이스의 제조 동안 또는 그 후, 교정 방법이 수행되며 여기에서 깊이들(d1, d2, ..., dN)의 범위와 연관된 블러 커널들(Hdi(i=1, ..., N))을 포함하는 적어도 하나의 필터 뱅크가 적외선 및 컬러 이미지 데이터에 기초하여 생성되며 제스처-기반 사용자 인터페이스(UI) 시스템의 메모리에 저장된다.
이러한 필터 뱅크를 생성하기 위한 프로세스가 도 3a 및 도 3b에 보다 상세히 예시된다. 이 도면은 교정 셋-업 및 블러 커널들(Hdi(i=1, ..., N))의 필터 뱅크를 결정하기 위한 방법을 도시하며, 여기에서 테스트 오브젝트(304)는 다중-애퍼처 센서(302)를 포함하는 전자 디바이스로부터 미리 결정된 거리(d)로 떨어져 위치된다. 그 후, 테스트 오브젝트의 오브젝트 거리(d)와 연관된 다중-애퍼처 이미지 데이터가 생성된다(단계(312)). 하나의 실시예에서, 에지 필터 또는 또 다른 적절한 필터가 정확한 깊이 추정이 달성될 수 있도록 충분한 에지 정보를 포함하는 이미징된 테스트 오브젝트와 연관된 미리 결정된 윈도우를 결정하기 위해 사용될 수 있다(단계(314)).
또 다른 단계(316)에서, 컬러 및 적외선 이미지 데이터는 윈도우에서 컬러 채널들 및 적외선 채널들의 선명도 정보를 획득하기 위해 고-역 필터링된다. 특히, 고-빈도 필터링된 컬러 이미지 데이터는 제 1 애퍼처를 갖고 이미지 센서를 노출시킴으로써 획득된 컬러 채널들과 연관된 선명도 정보(YRGB)를 포함하며 고-빈도 필터링된 적외선 이미지 데이터는 제 2 (보다 작은) 애퍼처를 갖고 이미지 센서를 노출시킴으로써 동일한 윈도우에 선명도 정보(XIR)를 포함한다. YRGB와 XIR 사이에서의 관계, 즉
Figure pct00001
(
Figure pct00002
는 컨볼루션 연산자이다)는 상기 특정한 거리에 대한 블러 커널의 추정을 허용한다.
하나의 실시예에서, 이미지 프레임의 윈도우에서 하나 이상의 픽셀들과 연관된 블러 커널(Hd)은 적절한 최적화 알고리즘을 사용하여 상기 윈도우에서의 고-빈도 이미지 데이터(YRGB 및 XIR)에 기초하여 추정될 수 있다. 예를 들면, 블러 커널은 예로서, 미국, 뉴욕, 2007년 7월, ACM SIGGRAPH 2007 볼륨 26 이슈 3의 회의록 - Lu Yuan 외의 "블러/잡음이 있는 이미지 쌍들을 가진 이미지 디블러링(Image Deblurring with Blurred/Noisy image pairs)"에 설명된 바와 같이 제한된 마지막-제곱들 최적화 방법을 사용한 반복적 커널 추정을 사용하여 결정될 수 있으며, 여기에서 티호노프(Tikhonov) 정규화 방법이 해법을 안정화시키기 위해 사용된다.
도 3a는 블러 커널 최적화 프로세스를 개략적으로 도시한다. 이러한 기법에서, 이미지 프레임의 특정한 윈도우, 예로서 하나의 픽셀 또는 픽셀들의 그룹에서 선명도 정보(YRGB 및 XIR)는 선형적 최소-제곱 최적화 알고리즘(306)에 입력될 수 있다. 특히, 윈도우와 연관된 YRGB 및 XIR은 알고리즘의 출력이 전자 디바이스의 메모리(310)에 저장되는 추정된 블러 커널(Hd)(312)인 최적화 알고리즘(306)에 입력될 수 있다. 이러한 프로세스는 각각의 깊이에 대해, 연관된 블러 커널이 생성되도록 상이한 오브젝트 거리들(깊이들)(di)(i=1, ..., N)에 대해 반복될 수 있다.
그러므로, 상기로부터, 그것은 특정한 다중-애퍼처 이미지 센서 구성과 연관된 미리 결정된 수의 추정된 블러 커널들(Hdi)을 포함하는 필터 뱅크가 다음의 단계들에 의해 생성될 수 있다는 것을 따른다: 제 1 애퍼처와 연관된 컬러 이미지 데이터 및 상기 다중-애퍼처 이미지 센서 전의 미리 결정된 오브젝트 거리에 위치된 테스트 오브젝트(의 일부)의 제 2 애퍼처와 연관된 적외선 이미지 데이터를 생성하는 단계; 상기 컬러 및 적외선 이미지 데이터와 연관된 선명도 정보를 결정하는 단계; 최소화 알고리즘을 사용하여 상기 컬러 및 적외선 이미지 데이터의 적어도 일부에 기초하여 상기 오브젝트 거리와 연관된 블러 커널을 추정하는 단계; 상기 블러 커널 및 상기 연관된 오브젝트 거리(깊이)를 메모리에 저장하는 단계; 및 상이한 오브젝트 거리들에 대해 상기 프로세스를 반복하는 단계.
프로세스는 원하는 값, 예로서 0.1 및 100 cm 사이에서 선택된 값에 대해 오브젝트 거리를 증가시킴으로써 반복될 수 있으며, 따라서 메모리 뱅크는 예로서 도 1에 도시된 바와 같이 데이터-프로세싱 모듈의 메모리(108)에서 사전-구성될 수 있는, 블러 커널들(Hdi)(i=1, ..., N)의 세트를 포함하여 형성된다. 이들 필터들은 다중-애퍼처 이미지 센서에 의해 생성된 각각의 이미지 프레임에 대한 거리 맵을 효율적으로 생성하기 위해 제스처-기반 사용자 인터페이스(UI)에 의해 사용된다.
하나의 실시예에서, 블러 커널들은 하나의 컬러 채널, 예로서 녹색 채널(YG) 또는 청색 채널(YB)과 연관된 이미지 데이터에 기초하여 형성될 수 있다. 또 다른 실시예에서, 블러 커널들은 둘 이상의 컬러 채널들과 연관된 이미지 데이터에 기초하여 형성될 수 있다. 컬러 채널들의 수를 증가시키는 것은 깊이 맵을 정확하게 결정하기 위해 증가할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 제스처-기반 UI 시스템에서의 사용을 위해 깊이 맵을 생성하기 위한 시스템 및 방법을 도시한다. 특히, 도 4a는 다중-애퍼처 이미지 센서에 의해 생성된 이미지 데이터에 기초하여 깊이 맵을 생성하기 위한 깊이 맵 발생기의 일부를 도시한다. 제스처-기반 UI 시스템은 각각이 특정한 오브젝트 거리(깊이)(di)와 연관되는, N개의 블러 커널들(Hdi)(i=1, ..., N)의 세트를 포함하는 필터 뱅크(402)를 포함하는 메모리를 포함할 수 있다. 필터 뱅크는 도 3a 및 도 3b를 참조하여 설명된 바와 같은 프로세스를 사용하여 제스처-기반 UI 시스템의 메모리에서 결정되고 사전-구성될 수 있다.
다중-애퍼처 이미지 센서는 이미지 데이터, 예로서, 이미지 프레임(406)을 생성할 수 있으며(단계(410)), 이것은 그 다음에 데이터-프로세싱 모듈에 의해 프로세싱된다. 특히, 하나의 실시예에서, 미리 결정된 윈도우(408)와 연관된 컬러 및 적외선 이미지 데이터는 컬러 채널들(Y'RGB) 및 적외선 채널(X'IR)에 대한 선명도 정보를 획득하기 위해 고 주파수 필터링된다(단계(412)). Y'RGB 및 X'IR은 알려지지 않은 오브젝트 거리(d')와 관련되며, 이것은 비-블라인드 디컨볼루션 기법에 기초하여 필터 뱅크에서의 적절한 블러 커널(Hd')에 고-빈도 이미지 데이터(즉, 상이한 컬러 및 적외선 채널들의 선명도 정보)를 연관시킴으로써 결정될 수 있다. 이러한 디컨볼루션 동작은 최소화 함수에 기초하여 결정될 수 있다(단계(414)).
하나의 실시예에서, 미리 결정된 윈도우와 연관된 블러 커널은 최소화 알고리즘에 기초하여 결정될 수 있으며, 여기에서
Figure pct00003
는 필터 뱅크에서의 블러 커널들 각각 또는 적어도 일부에 대해 반복적으로 결정된다. 상기 알고리즘은 가장 적절한 블러 커널의 결정을 돕기 위해 자연 이미지들 프라이어, 가우스 프라이어 또는 희소 프라이어와 같은 다양한 알려진 방법들을 사용할 수 있다.
미리 결정된 윈도우와 연관된 거리(깊이)(d')는 최저 출력 레벨을 생성하는 블러 커널(Hd')에 기초하여 결정된다(단계(416)). 모든 출력 레벨들이 미리 결정된 값 이상이면, 어떤 거리도 상기 특정한 윈도우에서의 픽셀들에 연관될 수 없다. 이러한 프로세스는 이미지 프렐임 또는 다중-애퍼처 센서 이미지에 의해 렌더링된 이미지 프레임의 일부의 각각의 픽셀 또는 픽셀들의 그룹들에 대해 반복될 수 있으며, 그에 따라 깊이 값이 이미지 프레임(또는 이미지 프레임의 일부)에서의 픽셀들의 상당한 부분에 할당되는 깊이 맵을 형성한다.
그러므로, 상기로부터 그것은 깊이 맵이 이미지 프레임의 특정한 윈도우에서의 적외선 및 컬러 채널들의 선명도 정보와 필터 뱅크에서의 블러 필터들을 연관시킴으로써 결정될 수 있다는 것을 따른다. 디컨볼루션 알고리즘은 블러 필터를 결정하기 위해 사용될 수 있다. 알려진 고속 디컨볼루션 알고리즘들은 다중-애퍼처 이미징 시스템에 의해 생성된 이미지 프레임들의 시퀀스와 연관된 깊이 맵들의 실시간, 동적 생성을 허용하기 위해 선택될 수 있다.
도 5는 본 발명의 일 실시예에 따른 다중-애퍼처 이미징 시스템에 의해 생성된 이미지(502) 및 연관된 깊이 맵(504)을 도시한다. 깊이 맵에서, 깊이 정보는 그레이-스케일들을 사용하여 예시된다: 그레이-스케일이 더 어두울수록, 오브젝트는 이미지 센서에 더 가깝게 위치된다. 선명도 정보가 없거나 단지 작은 양의 선명도 정보만을 가진 이미지 프레임에서의 특정한 영역들, 즉 임의의 에지들이 없는 평활한 영역들은 거리를 결정하는데 덜 적합하다. 이들 영역들(미리 결정된 그레이 컬러(506)에 표시된)은 깊이 맵 생성 함수에 의해 무시된다. 대안적으로, 이들 영역들과 연관된 깊이 값들은 주위의 산출된 깊이 값들(도시되지 않음)에 의해 추정될 수 있다.
도 6은 또 다른 실시예에 따른 깊이 정보를 생성하기 위한 다중-애퍼처 이미징 시스템(600)의 개략도를 도시한다. 이 실시예에서, 깊이 정보는 대안적이 다중-애퍼처 구성을 사용하여 획득된다. 예로서, 도 2에 도시된 바와 같이 중심에서의 하나의 적외선 애퍼처 대신에, 도 6에서의 다중-애퍼처(606)는 스톱의 에지에서(또는 그 주변을 따라) 다수의, 작은 적외선 애퍼처들(602, 604)을 포함하며, 이것은 보다 큰 컬러 애퍼처(606)의 외부 주변을 형성한다. 이들 다수의 작은 애퍼처들은 도 2에 도시된 바와 같은 단일 적외선 애퍼처보다 상당히 더 작으며, 그에 의해 초점이 맞는 오브젝트가 선명한 단일 적외선 이미지(620)로서 RGBI 이미지 센서의 이미징 평면(616)으로 이들 작은 애퍼처들에 의해 이미징되는 결과를 제공한다.
반대로, 초점이 벗어난 오브젝트는 두 개의 횡방향 변위된 적외선 이미지들(622, 623)로서 이미징 평면으로 이미징된다. 여기에서, 적어도 제 1 적외선 애퍼처와 연관된 제 1 적외선 이미지(622)는 적어도 제 2 적외선 애퍼처와 연관된 제 2 적외선 이미지(623)에 대하여 특정한 거리(△) 위로 변위된다. 보통 아웃 포커스 렌즈와 연관된 계속해서 블러링된 이미지 대신에, 다수의 작은 적외선 애퍼처들을 포함하는 다중-애퍼처가 별개의 선명한 이미지들의 형성을 허용한다. 단일의 적외선 애퍼처와 비교될 때, 다수의 적외선 애퍼처들의 사용은 보다 작은 애퍼처들의 사용을 허용하며 그에 의해 심도의 추가 강화를 달성한다. 오브젝트가 더 멀리 초점에서 벗어날수록, 이미지들이 변위되는 거리(△)는 더 커진다. 그러므로, 두 개의 횡방향 변위된 적외선 이미지들 사이에서의 거리(△)는 오브젝트 및 카메라 렌즈 사이에서의 거리(깊이)의 함수이고, 깊이 함수(R(s))를 결정하기 위해 사용될 수 있다. 그러므로, 이러한 경우에, 깊이 함수(R(s))는 카메라 렌즈로부터 다수의 거리들에서 테스트 이미지를 이미징하며 이들 상이한 거리들에서 △를 측정함으로써 결정될 수 있다. R(s)는 카메라의 메모리에 저장될 수 있으며, 여기에서 그것은 깊이 맵을 생성하기 위해 DSP에 의해 사용될 수 있다.
하나의 이미지 프레임에서 가시 및 적외선 이미지 신호들 모두를 동시에 캡처한 후, DSP는 예로서, 알려진 디모자이킹 알고리즘을 사용하여 캡처된 원 모자이크 이미지에서 컬러 및 적외선 픽셀 신호들을 분리할 수 있다. DSP는 그 다음에 오브젝트들이 초점이 맞는 영역들 및 오브젝트들이 초점이 벗어난 영역들을 포함할 수 있는, 적외선 이미지 데이터의 고 주파수 구성요소들을 획득하기 위해 적외선 이미지 데이터 상에서 고역 필터를 사용할 수 있다.
뿐만 아니라, DSP는 자동상관 함수를 사용하여 고-빈도 적외선 이미지 데이터에 기초하여 깊이 정보를 도출할 수 있다. 이러한 프로세스는 도 6에 개략적으로 도시된다. 고-빈도 적외선 이미지(616)(의 일부)의 자동상관 함수(624)를 취할 때, 단일 스파이크(628)가 초점이 맞는 이미징된 오브젝트의 고-빈도 에지들에 나타날 것이다. 반대로, 자동상관 함수는 초점이 벗어난 이미징된 오브젝트의 고 빈도 에지들에서 이중 스파이크(628)를 생성할 것이다. 여기에서 스파이크들 사이에서의 시프트는 두 개의 고-빈도 적외선 이미지들 사이에서의 횡방향 변위(△)를 나타내며, 이것은 이미징된 오브젝트 및 카메라 렌즈 사이에서의 거리(s)에 의존적이다.
그러므로, 고-빈도 적외선 이미지(의 일부)의 자동-상관 함수가 취해질 때, 이중 스파이크들(또는 피크들)은 오브젝트들이 초점이 벗어나는 고-빈도 적외선 이미지에서의 위치들에 나타날 것이다. 두 개의 피크들 사이에서의 거리는 거리 측정치(즉, 초점 거리로부터 떨어진)를 제공한다. 뿐만 아니라, 단일 스파이크는 오브젝트들이 초점이 맞는 이미지에서의 위치들에 나타날 것이다. DSP는 미리 결정된 깊이 함수(R(s))를 사용하여 거리에 이중 스파이크들 사이에서의 거리를 연관시킴으로써 자동상관 함수를 프로세싱하며 그 안에서의 정보를 깊이 맵으로 변환할 수 있다. 그러므로, 이 실시예에서, 깊이 맵은 단지 적외선 이미지들(또는 그것의 고-빈도 이미지 데이터) 사이에서의 횡방향 변위를 카메라 및 오브젝트 사이에서의 거리로 간단히 변환함으로써 적외선 이미지 데이터에 기초하여 생성될 수 있다.
도 7은 본 발명의 일 실시예에 따른 제스처-기반 UI 시스템의 적어도 일부를 도시한다. 특히, 도 7은 다중-애퍼처 이미지 데이터를 생성하기 위한 다중-애퍼처 이미지 센서(702)를 포함하는 제스처-기반 UI 시스템(700)(의 일부)을 개략적으로 도시하며, 이것은 버퍼(703)에 이미지 프레임들의 시퀀스(스트림)로서 임시로 저장되며 필터 뱅크(716)에서의 필터들에 기초하여 깊이 맵을 계속해서 생성하기 위해 깊이-맵 발생기(708)에 의해 사용된다. 시스템은 이미지 프레임들의 시퀀스에서의 제스처들을 인식하기 위한 제스처 인식 모듈(705)을 추가로 포함한다. 몇몇 실시예들에서, 이미지 데이터는 디지털 신호 프로세서(704)(도 1을 참조하여 설명된 바와 같은)에 의해 사전-프로세싱될 수 있다. 특히, 이미지 데이터는 적외선 채널 및/또는 하나 이상의 컬러 채널들과 연관된 선명도 정보(YRGB, XIR)를 획득하기 위해 고 주파수 필터를 통해 상기 채널과 연관된 이미지 데이터를 구동함으로써 사전-프로세싱될 수 있다. 또 다른 실시예에서, 컬러 및 적외선 이미지 데이터는 강화된 컬러 이미지, 즉 도 1을 참조하여 상기 설명된 바와 같이 적외선 채널로부터의 선명도 정보를 갖고 강화되는 컬러 이미지를 생성하기 위해 프로세싱될 수 있다.
깊이 맵 발생기(708)는 도 4a 및 도 4b를 참조하여 상세히 설명되는 바와 같이 이미지 프레임 및 필터 뱅크(716)에서의 적외선 및 하나 이상의 컬러 채널들에 기초하여 깊이 맵을 결정할 수 있다.
제스처 인식 모듈은 이미지 프레임들의 시퀀스에서 특정한 오브젝트를 검출하며 제스처, 예로서 손 또는 손가락 제스처에 상기 오브젝트를 관련시키도록 구성될 수 있다. 상기 제스처 인식 모듈은 일바적으로 이미지 데이터에서 오브젝트, 예로서 손(또는 그것의 일부)을 검출하며 이미지 프레임들의 시퀀스에서 검출된 오브젝트를 추적하기 위한 오브젝트 추적 기능(714)을 포함한다. 제스처 인식 모듈은 제스처, 예로서 손 또는 손가락 제스처를 인식하기 위한 제스처 인식 기능(720)을 추가로 포함할 수 있다. 이러한 기능은 그것이 미리 결정된 제스처의 궤적으로서 분류될 수 있는지(또는 그것과 매칭될 수 있는지)를 결정하기 위해 검출된 오브젝트의 궤적을 분석한다.
하나의 실시예에서, 손 제스처는 카메라에 비교적 가까운, 예로서 1 내지 100 cm의 범위 내에 있는 이미지 데이터와 연관된다고 가정된다. 그러므로, 가까운 오브젝트들, 예로서 손 또는 그것의 일부(들) 또는 포인팅 디바이스의 깊이 정보에 기초하여, 배경이 구별될 수 있다. 이러한 방식으로, 이미지 프레임에서의 하나 이상의 관심 영역들(ROI들)이 소위 전경 깊이 값들에 기초하여 결정될 수 있다. 전경 깊이 값들, 즉 카메라에 대하여 가장 가까운 또는 적어도 미리 결정된 (가까운) 거리 범위 내에 있는 깊이 값들과 연관된 픽셀들이 배경으로부터 구별될 수 있다.
또 다른 실시예에서, 손 검출 프로세스는 도 1을 참조하여 상기 설명된 바와 같이 저 주파수 필터링된 컬러 이미지 프레임과 고 주파수 필터링된 적외선 이미지 프레임을 혼합함으로써 생성된 강화 컬러 이미지를 사용하여 추가로 개선될 수 있다. 이러한 적외선 강화 컬러 이미지는 손 또는 그것의 일부들과 연관된 하나 이상의 관심 영역들(ROI들)을 발견하기 위해 컬러(즉, 피부 컬러) 및 형태들에 대하여 이미지를 분석하기 위해 손 인식 기능(712)에 의해 분석될 수 있다. 이러한 정보는 깊이 맵에서의 깊이 정보에 기초하여 결정된 바와 같이 ROI들에 대한 정보와 조합될 수 있다. 이러한 방식으로, 손 또는 그것의 일부(710)와 연관될 수 있는 픽셀들을 포함하는 하나 이상의 ROI들을 정확하게 인식하는 것이 가능하다.
손(또는 그것의 일부)의 깊이 맵 또는 깊이 맵들의 시퀀스가 그 후 제스처 인식 모듈에 의해 사용된다. 여기에서, 특징들은 알려진 특징 추출 방법들을 사용하여 추출되며 메모리(718)에 저장된 기준(모델) 특징들과 비교될 수 있다.
오브젝트 추적 기능(714)은 특징 추출 기능(715) 및 특징 매칭 기능(716)을 포함할 수 있다. 특징 추출 기능은 하나 이상의 이미지 프레임들, 예로서 적외선 강화 컬러 프레임들, 또는 깊이 맵들을 수신할 수 있다. 이러한 기능은 그 후 미리 결정된 ROI에서 적절한 특징들(즉, 에지들 또는 코너들과 같은 이미지 또는 깊이 맵에서의 특정 구조들)을 추출하며 이들 추출된 특징들을 메모리에 임시로 저장할 수 있다.
하나의 실시예에서, 관심 오브젝트, 통상적으로 몸체 부분을 포함하는 관심 영역(ROI)은 깊이 맵에 기초하여 결정될 수 있다. 예를 들면, 손 및/또는 손가락 특징들을 처리할 때, ROI는 이미지 센서에 비교적 가까운 오브젝트들(보통 손 및 손가락 제스처들을 가진 경우인)을 나타내는 전경 깊이 값들, 즉 작은 깊이 값들에 기초하여 결정될 수 있다. 이러한 방식으로, 이미지 센서에 가까운 하나 이상의 오브젝트와 연관된 하나 이상의 ROI들이 오브젝트들로부터 효율적으로 구별될 수 있으며, 이것은 카메라로부터 더 멀리 떨어진 배경에 위치된다. 하나의 실시예에서, 그에 따라 결정된 ROI들의 위치는 그 후 연관된 적외선 강화 컬러 이미지의 동일한 ROI들에서 픽셀들을 분석하기 위해(예로서, 특징들을 추출) 사용될 수 있다.
특징들은 보통 특징 디스크립터(feature descriptor)로서 불리우는 특정 데이터 구조의 형태에서 저장될 수 있다. SIFT(스케일-불변 특징 변환), SURF(고속 강력 특징들), HIP(히스토그램 강도 패치들), BRIEF(이진 강력 독립적 기본 특징들), ORB(지향적-BRIEF), 형태 콘텍스트 등을 포함한, 다양한 알려진 특징 디스크립터 포맷들이 사용될 수 있다.
ROI에서 특징들을 추출한 후, 특징 매칭 함수(716)가 실행될 수 있다. 특징 매칭 함수는 인식될 오브젝트, 예로서 손 및/또는 손가락 부분들 또는 지문과 연관된 데이터베이스(718)에 저장된 기준 특징들을 수신할 수 있다. 이들 기준 특징들은 전자 디바이스의 메모리에 사전-공급되거나 네트워크에서의 서버로부터 검색될 수 있다. 이후, 추출된 특징들은 인식될 오브젝트의 기준 특징과 매칭될 수 있으며 여기에서 매칭은 예로서 두 개의 벡터들 사이에서의 유클리드 거리, 두 개의 비트마스크들 사이에서의 해밍 거리 등에 기초하여 계산될 수 있다. 이러한 방식으로, 매칭된 추출/기준 특징들의 쌍들이 생성될 수 있으며 여기에서 에러 값은 각각의 쌍에 할당될 수 있다. 에러 값과 연관된 임계 파라미터가 어떤 매칭된 쌍들이 성공적으로 매칭된 특징 쌍들로 고려되는지를 결정하기 위해 사용될 수 있다. 충분히 많은 성공적으로 매칭된 쌍들이 생성된다면, 이들 특징들은 이러한 오브젝트를 정의한다고 결정될 수 있다.
그 후 검출된 오브젝트의 궤적은 특징 추출을 반복하며 연속 이미지 프레임들에 대한 프로세스들을 매칭시킴으로써 추적될 수 있다. 추적은 예로서 2010년, 6:1 정보 및 수학 과학들의 국제 저널, 제목 "조합된 특징 추출에 기초한 손 제스처 인식(Hand Gesture Recognition Based on Combined Feature Extraction)"을 가진, Al-Hamadi외에 의한 논문에 설명된 바와 같은 기법에 기초할 수 있다. 연속적 이미지 프레임들에 대해, 특징 추출 및 매칭 기능들은 하나 이상의 미리 결정된 오브젝트 포인트들(예로서, 손 또는 하나 이상의 손가락 끝 좌표들의 중심 좌표)의 위치, 방향 및 속도 특징들을 결정할 수 있다.
이러한 포인트들의 위치가 적절한 좌표 시스템(예로서, 데카르트 좌표 시스템)에서 결정될 때, 방향 및 속도는 특정한 프레임 레이트에 따라 생성된 연속 프레임들에서의 이들 포인트들의 좌표들에 기초하여 도출될 수 있다. 이러한 방식으로, 각각의 이미지 프레임에 대해, 위치, 방향 및 속도 특징을 포함하는 연관된 벡터가 결정될 수 있다. 벡터들의 순서화된 세트는 추적된 오브젝트의 공간-시간적 궤적을 정의할 수 있으며 궤적이 데이터베이스(718)에 저장된 특정 기준 제스처에 대응하는지를 결정하기 위해 은닉 마르코프 모델(Hidden Markov Model)에 입력될 수 있다.
또 다른 실시예에서, 적외선 강화 컬러 이미지와 같은 2D 이미지들로부터 도출된 특징들의 시간 변화를 사용하는 대신에, 3D 특징들은 깊이 맵에 기초하여 도출될 수 있다. 하나의 실시예에서, 예를 들면, 2010년 8월 23일 내지 26일 이스탄불 2010 제 20회 국제 컨퍼런스, 패턴 인식(ICPR), 제목 "깊이 데이터를 사용한 동적 손 자세 인식(Dynamic Hand Pose Recognition using Depth Data)"을 가진, Suryanarayan 외에 의한 논문에 설명된 바와 같은 3D 볼륨 형상 디스크립터들이 프로세스 깊이 맵 특징들을 결정하기 위해 사용될 수 있다. 3D 볼륨 형태 디스크립터들은 스케일 불변 방식으로 손의 3D 자세를 설명하기 위한 원통형 좌표 시스템을 사용한다.
또 다른 실시예들에서, 제스처 인식 모듈은 오브젝트(예로서, 손 및/또는 하나 이상의 손가락(끝들)을 추적하기 위해 적외선 강화 이미지 프레임 및 연관된 깊이 맵(의 일부) 양쪽 모두를 사용할 수 있으며, 소프트웨어 애플리케이션을 제어하기 위한 제스처로서 이러한 오브젝트의 궤적을 식별할 수 있다. 본 발명은 상기-언급된 특징 추출 및 제스처 인식 방법들에 제한되지 않으며 다른 알려진 기술들이 또한 원하는 효과들을 달성하기 위해 사용될 수 있다는 것이 추가로 제안된다.
일단 제스처 인식 모듈이 미리 결정된 제스처로서 추적된 오브젝트를 식별한다면, 그것은 소프트웨어 애플리케이션으로 전송될 수 있는, 미리 결정된 제어 신호를 생성할 수 있다. 제어 신호에 기초하여, 소프트웨어 애플리케이션은 인식된 제스처에 따라 특정한 기능을 활성화시킨다. 전자 디바이스 또는 그것 상에 실행된 애플리케이션을 제어하는 다양한 방식들이 도 8 내지 도 11을 참조하여 보다 상세히 이하에 설명된다.
도 8은 본 발명의 일 실시예에 따른 제스처 기반 사용자 인터페이스 시스템에 기초하여 전자 디바이스 또는 그것 상에서 구동하는 애플리케이션을 제어하는 원리를 도시한다. 도 8a 내지 도 8c는 단순한 단일 손가락 제스처 또는 포인팅 오브젝트와 연관된 제스처의 깊이 맵에 기초하여 전자 디바이스 또는 그것 상에서 구동하는 애플리케이션의 제어를 도시한다. 이러한 특정한 셋-업에서, 사용자는 제스처-기반 사용자 인터페이스 시스템의 다중-애퍼처 이미지 센서의 시야에서 손가락을 위치시킬 수 있다(단계(802)). 그 후, 다중-애퍼처 이미지 센서에 의해 생성된 이미지 데이터에 기초하여, 손가락의 그레이-스케일 깊이 맵들이 전자 디바이스의 메모리에 저장된 미리 결정된 깊이 함수에 기초하여 생성될 수 있다(도 8b 및 도 8c). 하나의 실시예에서, 깊이 함수는 도 3 및 도 4를 참조하여 논의된 바와 같이 블러 커널들의 세트를 포함하는 필터 뱅크를 포함할 수 있다(단계(804)). 깊이 맵은 제스처 인식 모듈에 의해 계속해서 업데이트될 수 있으며, 이것은 깊이 맵에서의 이미지에서 미리 결정된 오브젝트(이러한 특정한 예에서 손가락의 일부)를 인식하며 전자 디바이스에 가장 가까운 손가락 부분, 예로서 손가락 끝을 결정하기 위한 오브젝트 인식 및 추적 기능을 추가로 실행할 수 있다. 손가락 부분을 식별한 후, 손가락 끝의 움직임들은 3 차원들에서 추적될 수 있으며(단계(806)) 궤적이 데이터베이스에 저장된 미리 결정된 제스처의 궤적과 연관될 수 있는지를 결정할 수 있다(단계(806)).
예를 들면, 사용자는 미리 결정된 시간 내에서 제 1 위치(도 8b)에서 제 2 위치(도 8c)로 전자 디바이스를 향해 그것의 손가락 끝을 이동시킬 수 있다. 이러한 움직임은 z-축 방향으로(이 예에서 전자 디바이스의 주 평면에 실질적으로 수직인 방향) 손가락 끝의 상대적인 움직임으로서 검출될 수 있다. 제스처 인식 모듈은 깊이 맵들의 시퀀스에 기초하여 이동하는 손가락 끝의 궤적을 결정하며 메모리에 저장된 미리 결정된 궤적들에 이러한 궤적을 비교할 수 있다. 손가락 끝의 추적된 궤적이 저장된 궤적과 실질적으로 매칭된다면, 제스처 모듈은 제어 신호와 매칭된 궤적을 연관시킬 수 있다. 예를 들면, 도 8b 및 도 8c에서의 손가락 끝의 간단한 궤적이 전자 디바이스의 디스플레이 상에서 특정한 아이템 또는 메뉴를 활성화 또는 선택하기 위한 활성화 제스처(마우스 버튼을 누르는 것과 유사한)를 정의할 수 있다.
그러므로, 단일 손가락 제스처(의 일부)에 기초하여, 손가락 끝, 즉 다중-애퍼처 이미지 센서에 가장 가까운 손 부분이 깊이 맵에 기초하여 추적될 수 있으며 그에 의해 전자 디바이스의 디스플레이를 사용하여 디스플레이된 커서 제어의 에뮬레이션을 허용한다. 손가락 끝의 위치는 다수의 후속 깊이 맵들에 기초하여 추적될 수 있으며, 이것은 다중-애퍼처 이미지 센서에 의해 생성된 이미지 프레임들의 스트림에 기초하여 생성된다. 이미지 센서를 향한 깊이 방향에서의 손가락 끝의 고속 모션은 활성화 기능을 트리거링하기 위한 활성화 제스처(마우스의 클릭 동작과 유사한)로서 제스처 인식 모듈에 의해 인식될 수 있다.
하나의 실시예에서, 제스처의 의미는 이전 인식된 제스처들에 의존할 수 있다. 예를 들면, 하나의 실시예에서, 상기 설명된 바와 같이 활성화 제스처 후, 이미지 센서의 방향에서의 후속 고속 손가락 모션이 비-활성화 기능을 트리거링하기 위한 비-활성화 제스처로서 제스처 인식 모듈에 의해 인식될 수 있다.
다양한 제스처들이 손가락 끝의 하나 이상의 궤적들에 기초하여 정의될 수 있다. 상기 설명된 바와 같이, 이미지 센서를 향한 빠른 손가락 모션이 단일 클릭 (비)활성화로서 인식될 수 있다.
또 다른 실시예에서, 거리-기반 "클릭-및-유지" 제스처 제어가 다음을 포함하는 제스처들의 미리 결정된 시퀀스에 의해 정의될 수 있다: 이미지 센서를 향한 고속 손가락 움직임에 관한 제 1 궤적으로서, 상기 손가락은 이미지 센서로부터 미리 결정된 거리에서 아래로 유지된다(즉, 하향 클릭); 제 2 궤적은 미리 결정된 거리에서의 평면에서 손가락의 움직임을 정의한다(즉, 아래로 클릭을 유지한다); 및 제 3 궤적은 이미지 센서로부터 떨어져 이동하는(뒤쪽으로) 손가락에 의해 정의된다(클릭 해제).
또 다른 실시예에서, 동작-기반 "클릭-및-유지" 제스처 제어가 다음을 포함한, 제스처들의 미리 결정된 시퀀스에 의해 정의될 수 있다: 제 1 (비활성화) 상태에서 제 2 (활성화) 상태로 소프트웨어 프로그램을 이동시키기 위해 카메라를 향한 고속 손가락 움직임에 관한 제 1 궤적(즉, 하향 클릭); 제 2 궤적은 미리 결정된 거리에서의 평면에서 손가락의 움직임을 정의한다(즉, 아래로 클릭 유지); 및 제 3 궤적은 제 2 (활성화) 상태에서 제 1 (비활성화) 상태로 소프트웨어 프로그램을 뒤로 이동시키기 위해 카메라를 향한 제 2 고속 손가락 움직임에 의해 정의된다(클릭 해제).
뿐만 아니라, 제스처 인식 모듈은 깊이 맵들의 시퀀스에 기초하여 다수의 손가락 끝들의 궤적들을 결정하며 이러한 궤적들을 메모리에 저장된 미리 결정된 궤적들에 비교할 수 있다. 예를 들면, 도 9a에 도시된 바와 같이, 사용자는 제스처-기반 사용자 인터페이스 시스템의 다중-애퍼처 이미지 센서의 시야에서 적어도 두 개의 손가락들을 위치시킬 수 있다. 사용자는 시야에 손가락들을 유지하면서 서로에 대하여 그 또는 그녀의 손가락들을 이동시킬 수 있다. 예를 들면, 하나의 특정한 제스처는 제 1 또는 제 2 손가락 끝이 전자 디바이스에 가장 가깝도록 서로에 대하여 손가락들을 이동시키는 것과 관련될 수 있다. 제스처 인식 모듈은 두 개의 손가락 끝들을 검출하고, 깊이 맵들의 시퀀스에 기초하여 두 개의 이동하는 손가락 끝들의 궤적들을 결정하며 이러한 궤적들을 메모리에 저장된 미리 결정된 궤적들에 비교할 수 있다. 손가락 끝들의 추적된 궤적들이 저장된 궤적들과 상당히 매칭된다면, 제스처 모듈은 매칭된 궤적을 제어 신호와 연관시킬 수 있다.
예를 들면, 도 9a에 도시된 2-손가락 제스처는 게임, 예로서, 비행 시뮬레이터 또는 레이싱 게임에서의 차량과 같은 시뮬레이션된 오브젝트의 움직임을 제어하기 위해 사용될 수 있으며, 여기에서 두 개의 손가락 끝들의 상대적인 위치는 소프트웨어 시뮬레이션된 차량이 움직이는 방향을 결정한다. 제 1 손가락이 전자 디바이스에 가장 가깝다면, 제스처-기반 사용자 인터페이스는 시뮬레이션된 오브젝트를 제 1 방향(예로서, 좌측)으로 이동시키기 위해 시뮬레이션된 소프트웨어 프로그램에 대한 제어 신호를 생성할 수 있으며 제 2 손가락이 전자 디바이스에 가장 가깝다면 오브젝트는 제 2 방향(예로서, 우측)으로 이동시킬 수 있다.
하나의 실시예에서, 크기 값은 제 1 및 제 2 손가락 사이에서의 깊이에서의 차이에 연관될 수 있다. 이러한 크기 값은 소프트웨어 프로그램의 추가 제스처 제어를 제공할 수 있다. 예를 들면, 크기 값은 오브젝트의 움직임을 제어하기 위한 상기-언급된 소프트웨어 프로그램에서 사용될 수 있으며 여기에서 오브젝트는 두 개의 손가락 끝들 사이에서의 큰 또는 작은 깊이 차이가 존재하는지 여부에 의존하여 선명한 또는 넓은 턴을 만들도록 제어될 수 있다.
그러므로, 상기-설명된 실시예들로부터, 본 발명에 따른 제스처-기반 사용자 인터페이스 시스템이 소프트웨어 프로그램의 직관적 제스처-기반 제어를 허용한다는 것을 따른다. 사용자 인터페이스는 다중-애퍼처 이미지 센서 부분의 이미지 데이터를 사용하여 생성된 깊이 맵들에 기초하여 전자 디바이스 또는 그것 상에서 구동하는 애플리케이션의 정확한 제어를 허용한다. 사용자 인터페이스 시스템은 전자 디바이스와 물리적으로 접촉하도록 사용자에게 요구하지 않고 그것 상에서 구동하는 애플리케이션의 제어를 허용하는 모바일 장비에서의 사용에 적합하다.
상기-설명된 제스처 기반 제어의 일 실시예가 도 9b에 개략적으로 도시되며, 여기에서 캡처된 다중-애퍼처 이미지 데이터(단계(902)) 및 블러 커널들을 포함하는 필터 뱅크에 기초하여, 깊이 맵이 생성된다(단계(904)). 깊이 맵은 사용자의 둘 이상의 손가락들을 인식하고 이를 추적하기 위해 그래픽 사용자 인터페이스 시스템의 오브젝트 추적 기능 및 제스처 인식 기능에 입력될 수 있다. 손가락 끝들의 궤적들은 소프트웨어 애플리케이션을 제어하기 위한 둘 또는 다중-손가락 제스처로서 식별될 수 있으며(단계(906)) 적어도 두 개의 손가락 끝들 사이에서의 상대적인 깊이 차는 입력으로서 소프트웨어 애플리케이션에 의해 사용되는 크기 값을 결정할 수 있다.
도 10a 및 도 10b는 본 발명의 또 다른 실시예에 따른 제스처 기반 사용자 인터페이스에 기초하여 전자 디바이스 또는 그것 상에서 구동하는 애플리케이션을 제어하는 것을 도시한다. 도 10a 및 도 10b는 깊이 맵에 기초하여 소프트웨어 애플리케이션의 제어를 도시하며 여기에서 손가락의 3 차원 움직임은 스크린상에서의 기록 및/또는 그림을 제어하기 위해 사용된다. 예를 들면, 도 10a에서, 그래픽스 소프트웨어 프로그램은 이미지 센서(1012) 및 디스플레이(1002)를 향해 손가락 끝의 빠른 모션과 연관된 제 1 제스처에 의해 트리거링될 수 있다. 이러한 제스처는 제스처 기반 사용자 인터페이스에 의해 인식되며 그래픽스 기능, 예로서 라인 그림 기능을 활성화시킬 수 있다. 그 후, 사용자는 디스플레이에 평행인 평면에서 그것의 손가락 끝을 이동시킬 수 있으며 여기에서 손가락 끝의 2D 움직임은 디스플레이 상에서 라인(1010)의 그림을 허용한다. 사용자가 스크린으로부터 멀러 떨어져 손가락 끝을 이동시킬 때(1014), 제스처 기반 사용자 인터페이스는 그래픽스 기능의 비활성화를 트리거링할 수 있다.
도 10b는 도 10a에 도시된 그래픽스 소프트웨어 프로그램의 추가 변화를 도시한다. 이러한 특정한 실시예에서, 2D 평면에서 손가락 끝을 이동시킴으로써 라인을 그릴 때, 전자 디바이스에 더 가깝게 손가락 끝을 완만하게 이동시켜서 압력이 에뮬레이션될 수 있다. 그러므로, 상기 경우에, 전자 디바이스로부터의 손가락 끝의 거리는 더 넓어지는 라인(1016)을 야기하는 펜 압력을 나타낸다. 그러므로, 손가락이 적절하며 정확한 제어를 제공하지 않는 터치-민감 디스플레이들에 대조적으로, 도 10a 및 도 10b에서의 실시예들은 제스처-기반 사용자 인터페이스 시스템이 사용자 인터페이스(터치 스크린과 같은)와 물리적으로 접촉시키기 위한 요구 없이 소프트웨어 애플리케이션을 정확히 제어하기 위한 깊이 정보를 사용할 수 있다는 것을 예시한다.
도 11a 및 도 11b는 본 발명의 하나의 실시예에 따른 생물 측정 인증 프로세스에서의 제스처-기반 사용자 인터페이스 시스템의 사용을 예시한다. 이러한 특정한 실시예에서, 전자 디바이스는 본 발명의 제스처-기반 사용자 인터페이스 시스템에 의해 렌더링된 생물 측정 데이터를 사용하여 사용자를 인증 또는 식별하기 위한 소프트웨어 프로그램을 포함할 수 있다. 하나의 실시예에서, 프로그램은 이미지 데이터를 생성하기 위해 다중-애퍼처 이미지 센서의 시야로 손가락을 넣도록 사용자에게 요구할 수 있다(단계(1102)). 제스처 인식 모듈은 그 뒤에 ROI로서 손가락 끝(이미지 센서에 가장 가까운)을 결정하기 위해 사전-구성된 필터 뱅크에서 블러 커널들의 세트 및 다중-애퍼처 이미지 데이터를 사용하여 이미징된 손가락의 깊이 맵을 생성할 수 있다(단계(1104)).
깊이 맵과 연관된 적외선 강화 이미지가 ROI로부터 지문 특징들을 추출하기 위해 사용될 수 있다. 하나의 실시예에서, 특징들은 지문에서 소위 특징점 포인트들(즉, 리지 종료들 및/또는 분기들)에 기초하여 추출될 수 있다. 이들 추출된 특징점 포인트 특징들은 그 후 인증될 사용자의 지문의 특징점 포인트들과 연관된 저장된 기준 특징들과 매칭된다.
하나의 실시예에서, 특징들은 방향성 필터 알고리즘, 바람직하게는 방향성 가버 필터 알고리즘 또는 그것의 파생물을 사용하여 적외선 강화 이미지에서 ROI로부터 추출될 수 있다(단계(1106)). 상기 경우에, 지문의 ROI는 방향성 필터들의 세트를 포함하는 가버-형 필터 뱅크를 사용하여 미리 결정된 수의 방향들에서 필터링된다. 그 후, 매칭이 발견될 수 있는 사용자가 인증될 수 있도록 방향성 특징들은 방향성 필터들에 기초하여 결정되며 방향성 기준 특징들의 저장된 세트와 매칭된다(단계(1108)). 매칭은 ROI와 연관된 특징들 및 기준 특징들 사이에서의 차이가 특정한 임계 값 미만인 경우 결정될 수 있다.
본 발명의 실시예들은 컴퓨터 시스템과 함께 사용하기 위한 프로그램 제품으로서 구현될 수 있다. 프로그램 제품의 프로그램(들)은 실시예들의 기능들(여기에 설명된 방법들을 포함한)을 정의하며 다양한 컴퓨터-판독가능한 저장 매체들 상에 포함될 수 있다. 예시적인 컴퓨터-판독가능한 저장 매체들은 이에 제한되지 않지만: (i) 정보가 영구적으로 저장되는 비-기록가능한 저장 매체들(예로서, CD-ROM 드라이브에 의해 판독가능한 CD-ROM 디스크들, 플래시 메모리, ROM 칩들 또는 임의의 유형의 고체-상태 비-휘발성 반도체 메모리와 같은 컴퓨터 내에서의 판독-전용 메모리 디바이스들); 및 (ii) 변경 가능한 정보가 저장되는 기록가능한 저장 미디어(예로서, 디스켓 드라이브 또는 하드-디스크 드라이브 내에서의 플로피 디스크들 또는 임의의 유형의 고체-상태 랜덤-액세스 반도체 메모리).
임의의 하나의 실시예에 관하여 설명된 임의의 특징은 단독으로, 또는 설명된 다른 특징들과 조합하여 사용될 수 있으며, 또한 실시예들 중 임의의 다른 것의 하나 이상의 특징들과 조합하여, 또는 실시예들 중 임의의 다른 것의 임의의 조합으로 사용될 수 있다는 것이 이해될 것이다. 게다가, 본 발명은 상기 설명된 실시예들에 제한되지 않으며, 이것은 첨부한 청구항들의 범위 내에서 변경될 수 있다.
100: 전자 디바이스
101, 702: 다중-애퍼처 이미지 센서 102, 216, 1012: 이미지 센서
103: 데이터-프로세싱 모듈 108, 206: 다중-애퍼처 시스템
110: A/D 변환기
112, 704: 디지털 신호 프로세서 114, 708: 깊이-맵 발생기
116, 703: 버퍼 118, 310, 718: 메모리
126, 705: 제스처 인식 모듈 128: 출력 모듈
134: 데이터 버스 204: 렌즈 시스템
210: 제 1 파장-선택 애퍼처 212: 제 2 파장-선택 애퍼처
214: 컬러 필터 어레이 302: 다중-애퍼처 센서
504: 깊이 맵
600: 다중-애퍼처 이미징 시스템 602, 604: 작은 적외선 애퍼처
606: 큰 컬러 애퍼처 606: 다중-애퍼처
616: 고-빈도 적외선 이미지 620: 단일 적외선 이미지
700: 제스처-기반 UI 시스템 716: 필터 뱅크
1002: 디스플레이

Claims (22)

  1. 전자 디바이스 상에서 소프트웨어 프로그램을 제어하기 위한 제스처-기반 사용자 인터페이스를 위한 컴퓨터-구현 방법에 있어서:
    상기 전자 디바이스에서 다중-애퍼처 이미지 센서(multi-aperture image sensor)로부터 이미지 데이터를 수신하는 단계로서, 상기 이미지 센서는 제 1 애퍼처를 사용하여 전자기(EM) 스펙트럼의 적어도 제 1 부분 및 하나 이상의 제 2 애퍼처들을 사용하여 상기 EM의 적어도 제 2 부분에 이미지 센서를 동시에 노출시키도록 적응되는, 상기 수신하는 단계;
    상기 이미지 센서의 이미지 평면으로 상기 제 1 애퍼처 및 상기 하나 이상의 제 2 애퍼처들에 의해 이미징된, 오브젝트의 적어도 일부, 바람직하게는 적어도 인체 부분의 일부와 연관된 상기 이미지 데이터의 적어도 하나의 영역에서 선명도 정보를 결정하는 단계;
    상기 선명도 정보의 적어도 일부에 기초하여, 깊이 정보, 바람직하게는 하나 이상의 깊이 맵들을 생성하는 단계; 및
    상기 깊이 정보에 기초하여, 상기 오브젝트의 움직임과 연관된 제스처의 적어도 일부를 인식하는 단계를 포함하는, 컴퓨터-구현 방법.
  2. 제 1 항에 있어서,
    상기 전자기 스펙트럼의 상기 제 1 부분과 연관된 제 1 이미지 데이터를 결정하는 단계;
    상기 전자기 스펙트럼의 상기 제 2 부분과 연관된 제 2 이미지 데이터를 결정하는 단계; 및
    상기 제 1 이미지 데이터에서의 상기 오브젝트의 이미지의 적어도 일부와 연관된 제 1 선명도 정보 및 상기 제 2 이미지 데이터에서의 상기 오브젝트의 상기 이미지의 적어도 일부와 연관된 제 2 선명도 정보를 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 관련시킴으로써 깊이 정보를 생성하는 단계를 추가로 포함하는, 컴퓨터-구현 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 깊이 정보는 상기 전자 디바이스의 메모리에 저장된 미리 결정된 깊이 함수에 기초하여 생성되며, 상기 깊이 함수는 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 상기 이미지 데이터에서의 선명도 정보를 연관시키기 위해 구성되고; 바람직하게는 상기 깊이 함수는 상기 이미지 데이터에서의 선명도 정보를 상기 전자 디바이스의 메모리에 저장된 블러 커널(blur kernel)들의 세트로부터의 적어도 하나의 블러 커널에 연관시키기 위해 구성되며, 상기 블러 커널들 각각은 미리 결정된 깊이 값과 연관되는, 컴퓨터-구현 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 깊이 정보를 생성하는 단계는:
    상기 이미지 데이터에서 윈도우를 선택하는 단계로서, 바람직하게는 상기 윈도우는 하나 이상의 픽셀들을 포함하는, 상기 선택하는 단계;
    최소화 알고리즘에 기초하여 블러 커널들의 상기 세트에서의 블러 커널에 상기 윈도우에서의 선명도 정보를 연관시키는 단계;
    상기 블러 커널과 연관된 깊이 값을 상기 윈도우에서의 하나 이상의 픽셀들에 할당하는 단계를 포함하는, 컴퓨터-구현 방법.
  5. 제 4 항에 있어서,
    상기 최소화 알고리즘은:
    상기 윈도우에서의 상기 선명도 정보를 갖고 상기 블러 커널들 중 적어도 하나를 컨볼루션하는(convoluting) 단계를 포함하는, 컴퓨터-구현 방법.
  6. 제 1 항에 있어서,
    상기 전자기 스펙트럼의 상기 제 2 부분과 연관된 제 2 이미지 데이터를 결정하는 단계;
    상기 제 2 이미지 데이터에서 적어도 두 개의 횡방향 변위된 이미지들을 결정하는 단계로서, 상기 이미지들 각각은 제 2 애퍼처와 연관되며 상기 이미지들은 상기 이미지 센서 앞의 일정 거리에 위치된 오브젝트와 연관되는, 상기 결정하는 단계;
    상기 전자 디바이스의 메모리에 저장된 미리 결정된 깊이 함수에 기초하여 깊이 정보를 생성하는 단계로서, 상기 깊이 함수는 상기 횡방향 변위된 이미지들 사이에서의 거리를 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 연관시키기 위해 구성되는, 상기 생성하는 단계를 추가로 포함하는, 컴퓨터-구현 방법.
  7. 제 6 항에 있어서,
    상기 다중-애퍼처 이미지 센서는 상기 제 2 애퍼처들 각각이 상기 이미지 센서의 이미지 평면으로 오브젝트를 이미징하도록 서로에 대하여 구성된 둘 이상의 제 2 애퍼처들을 포함하고, 상기 횡방향 변위된 이미지들 사이에서의 거리는 상기 오브젝트와 상기 이미지 센서 사이에서의 거리의 함수인, 컴퓨터-구현 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    제 2 고-빈도 이미지 데이터를 결정하는 단계; 및
    자동-상관 함수를 통해 상기 제 2 고-빈도 이미지 데이터를 구동함으로써 상기 거리를 결정하는 단계를 추가로 포함하는, 컴퓨터-구현 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    깊이 정보를 생성하는 단계는:
    상기 다중-애퍼처 이미지 센서에 의해 생성된 상기 이미지 데이터의 적어도 일부에 깊이 값들을 할당함으로써 하나 이상의 깊이 맵들을 형성하는 단계를 추가로 포함하는, 컴퓨터-구현 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 EM 스펙트럼의 상기 제 1 부분은 상기 EM 스펙트럼의 가시 부분의 적어도 일부와 연관되고/되거나; 상기 EM 스펙트럼의 상기 제 2 부분은 상기 EM 스펙트럼의 비가시 부분, 바람직하게는 적외선 스펙트럼의 적어도 일부와 연관되는, 컴퓨터-구현 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 깊이 맵에 기초하여 상기 이미지 데이터와 연관된 이미지 프레임의 적어도 일부에서의 관심 영역(ROI)의 적어도 일부를 결정하는 단계, 바람직하게는 전경 깊이 값들과 연관된 픽셀들에 기초하여 상기 관심 영역을 결정하는 단계로서, 상기 전경 깊이 값들은 상기 다중-애퍼처 이미지 센서의 이미지 평면에 비교적 가까운 깊이 값들의 미리 결정된 범위 내에 있는, 상기 결정하는 단계를 포함하는, 컴퓨터-구현 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    컬러 정보에 기초하여 상기 이미지 데이터와 연관된 이미지 프레임의 적어도 일부에서 관심 영역의 적어도 일부를 결정하는 단계, 바람직하게는 인체의 일부와 연관된 컬러 정보와 상당히 매칭되는 컬러 정보에 기초하여 상기 관심 영역을 결정하는 단계를 포함하는, 컴퓨터-구현 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 깊이 맵으로부터 하나 이상의 깊이 특징들을 추출하는 단계, 바람직하게는 제 11 항 또는 제 12 항에 따른 단계들에 의해 결정된 바와 같이 관심 영역에서의 상기 깊이 맵으로부터 깊이 특징들을 추출하는 단계; 선택적으로,
    상기 제 2 고-빈도 이미지 데이터와 상기 EM 스펙트럼의 상기 제 1 부분과 연관된 제 1 저-빈도 이미지 데이터를 혼합하여 형성된 강화 이미지로부터 하나 이상의 2D 특징들을 추출하는 단계; 및
    상기 깊이 특징들, 및 선택적으로, 상기 2D 특징들을 상기 인체 부분과 연관된 하나 이상의 기준 특징들, 바람직하게는 손 또는 손가락 부분과 매칭시키는 단계를 포함하는, 컴퓨터-구현 방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 제스처를 인식하는 단계는:
    상기 깊이 맵들에 기초하여 상기 몸체 부분의 적어도 일부의 하나 이상의 궤적들, 바람직하게는 하나 이상의 공간 궤적들을 결정하는 단계;
    미리 결정된 제스처와 연관된 기준 궤적과 상기 결정된 궤적을 상관시키는 단계;
    상기 결정된 하나 이상의 궤적들이 하나 이상의 기준 궤적들과 상관 관계가 있다면 미리 결정된 제스처의 검출을 확립하는 단계; 및
    상기 미리 결정된 제스처에 기초하여 상기 소프트웨어 프로그램을 제어하는 단계를 포함하는, 컴퓨터-구현 방법.
  15. 제 14 항에 있어서,
    상기 몸체 부분은 손가락 끝이고,
    상기 방법은:
    상기 다중-애퍼처 이미징 시스템의 시야에서 하나 이상의 미리 결정된 궤적들 위로 하나 이상의 손가락 끝들을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램을 제어하는 단계;
    상기 전자 디바이스로부터 미리 결정된 거리에서의 평면에 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하는 단계;
    상기 이미지 센서의 시야에서 제 1 거리로부터 제 2 거리로 손가락 끝을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램에서 활성화 또는 비활성화 기능을 제어하는 단계;
    상기 제 2 검출된 손가락 끝에 대하여 상기 제 1 검출된 손가락 끝을 이동시킴으로써, 바람직하게는 상기 이미징 센서의 시야에서 하나 이상의 미리 결정된 궤적들 위로 상기 제 2 손가락 끝에 대하여 상기 제 1 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하는 단계 중 적어도 하나를 추가로 포함하는, 컴퓨터-구현 방법.
  16. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 몸체 부분은 손가락 끝이고,
    상기 방법은:
    상기 깊이 맵에 기초하여, 상기 이미지 데이터에서 손가락 끝과 연관된 관심 영역을 결정하는 단계;
    상기 EM 스펙트럼의 상기 제 1 부분과 연관된 제 1 저-빈도 이미지 데이터를 상기 제 2 고-빈도 이미지 데이터와 혼합함으로써 형성된 강화 이미지로부터 하나 이상의 방향성 특징들을 추출하는 단계;
    상기 추출된 방향성 특징들을 상기 사용자의 지문과 연관된 방향성 기준 특징들과 매칭시킴으로써 사용자를 인증하는 단계를 추가로 포함하는, 컴퓨터-구현 방법.
  17. 전자 디바이스에서의 사용을 위한 제스처-기반 사용자 인터페이스 시스템으로서, 상기 전자 디바이스 상에서 소프트웨어 프로그램을 제어하도록 적응되는, 상기 시스템에 있어서:
    이미지 데이터를 생성하기 위한 다중-애퍼처 이미지 센서로서, 제 1 애퍼처를 사용하여 전자기(EM) 스펙트럼의 적어도 제 1 부분 및 하나 이상의 제 2 애퍼처들을 사용하여 상기 EM 스펙트럼의 적어도 제 2 부분에 이미지 센서를 동시에 노출시키도록 적응되는, 상기 다중-애퍼처 이미지 센서;
    상기 이미지 센서의 이미지 평면으로 상기 제 1 애퍼처 및 상기 하나 이상의 제 2 애퍼처들에 의해 이미징된, 오브젝트의 적어도 일부, 바람직하게는 인체 부분의 적어도 일부와 연관된 상기 이미지 데이터의 적어도 하나의 영역에 선명도 정보를 생성하기 위한 하나 이상의 필터들;
    상기 선명도 정보의 적어도 일부에 기초하여, 깊이 정보, 바람직하게는 하나 이상의 깊이 맵들을 생성하기 위해 구성된 발생기; 및
    상기 깊이 정보에 기초하여 상기 오브젝트의 움직임과 연관된 제스처를 인식하도록 적응된 제스처 인식 모듈을 포함하는, 제스처-기반 사용자 인터페이스 시스템.
  18. 제 17 항에 있어서,
    상기 깊이 함수는 상기 제 1 애퍼처와 연관된 제 1 선명도 정보 및 상기 하나 이상의 제 2 애퍼처들과 연관된 제 2 선명도 정보를 상기 이미지 센서와 상기 오브젝트 사이에서의 거리에 연관시키기 위해 구성되거나; 상기 깊이 함수는 상기 제 2 애퍼처들 중 적어도 두 개와 연관된 적어도 두 개의 횡방향 변위된 이미지들 사이에서의 거리를 상기 오브젝트와 상기 이미지 센서 사이에서의 거리에 연관시키기 위해 구성되는, 제스처-기반 사용자 인터페이스 시스템.
  19. 제 17 항에 있어서,
    상기 깊이 함수는 상기 제 1 애퍼처와 연관된 제 1 선명도 정보 및 상기 하나 이상의 제 2 애퍼처들과 연관된 제 2 선명도 정보를 상기 전자 디바이스의 메모리에 저장된 블러 커널들의 세트로부터의 적어도 하나의 블러 커널에 연관시키기 위해 구성되며, 상기 블러 커널들 각각은 상기 이미지 센서와 오브젝트 사이에서의 거리의 미리 결정된 거리와 연관되는, 제스처-기반 사용자 인터페이스 시스템.
  20. 제 17 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 제스처 인식 모듈은:
    상기 깊이 맵들에 기초하여 상기 몸체 부분의 적어도 일부의 하나 이상의 궤적들, 바람직하게는 하나 이상의 공간 궤적들을 결정하고;
    상기 결정된 궤적을 미리 결정된 제스처와 연관된 기준 궤적과 상관시키고;
    상기 결정된 하나 이상의 궤적들이 하나 이상의 기준 궤적들과 상관 관계가 있다면 미리 결정된 제스처의 검출을 확립하고;
    상기 미리 결정된 제스처에 기초하여 상기 소프트웨어 프로그램을 제어하기 위해 구성되는, 제스처-기반 사용자 인터페이스 시스템.
  21. 제 17 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제스처 인식 모듈은:
    상기 다중-애퍼처 이미징 시스템의 시야에서 하나 이상의 미리 결정된 궤적들 위로 하나 이상의 손가락 끝들을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램을 제어하고; 상기 전자 디바이스로부터의 미리 결정된 거리에서의 평면에서 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하고; 상기 이미지 센서의 시야에서 제 1 거리로부터 제 2 거리로 손가락 끝을 이동시키는 것에 기초하여 상기 소프트웨어 프로그램에서의 활성화 또는 비활성화 기능을 제어하고/하거나; 상기 제 2 검출된 손가락 끝에 대하여 상기 제 1 검출된 손가락 끝을 이동시킴으로써, 바람직하게는 상기 이미지 센서의 시야에서 하나 이상의 미리 결정된 궤적들 위로 상기 제 2 손가락 끝에 대하여 상기 제 1 손가락 끝을 이동시킴으로써 상기 소프트웨어 프로그램을 제어하기 위해 구성되는, 제스처-기반 사용자 인터페이스 시스템.
  22. 제스처-기반 사용자 인터페이스를 제공하기 위한 컴퓨터 프로그램 제품에 있어서,
    컴퓨터 시스템의 메모리에서 구동할 때, 제 1 항 내지 제 16 항 중 어느 한 항에 따른 방법 단계들을 실행하기 위해 구성된 소프트웨어 코드 부분들을 포함하는, 컴퓨터 프로그램 제품.
KR1020157003425A 2012-07-12 2012-07-12 제스처―기반 사용자 인터페이스 KR20150043312A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/063703 WO2014008939A1 (en) 2012-07-12 2012-07-12 Gesture-based user interface

Publications (1)

Publication Number Publication Date
KR20150043312A true KR20150043312A (ko) 2015-04-22

Family

ID=46582671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157003425A KR20150043312A (ko) 2012-07-12 2012-07-12 제스처―기반 사용자 인터페이스

Country Status (5)

Country Link
US (1) US9733717B2 (ko)
EP (1) EP2872966A1 (ko)
JP (1) JP6129309B2 (ko)
KR (1) KR20150043312A (ko)
WO (1) WO2014008939A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017034046A1 (ko) * 2015-08-24 2017-03-02 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치
KR20200049906A (ko) * 2016-06-19 2020-05-08 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013109862A1 (de) * 2012-09-10 2014-03-13 Electronics And Telecommunications Research Institute Vorrichtung und Verfahren für Benutzeranbindung sowie Endgerät, das dieselben benutzt
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
CN108769497B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
EP3779565A3 (en) 2013-07-04 2021-05-05 Corephotonics Ltd. Miniature telephoto lens assembly
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US10228768B2 (en) 2014-03-25 2019-03-12 Analog Devices, Inc. Optical user interface
EP3125195B1 (en) 2014-03-25 2020-03-11 Fujitsu Frontech Limited Biometric authentication device, biometric authentication method, and program
WO2015145590A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
WO2015145588A1 (ja) 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
DE102014206443A1 (de) * 2014-04-03 2015-10-08 Continental Automotive Gmbh Verfahren und Vorrichtung zum berührungslosen Eingeben von Schriftzeichen
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
FR3022377B1 (fr) * 2014-06-13 2017-08-25 Morpho Dispositif d'acquisition optique pour systemes biometriques
US10354242B2 (en) * 2014-07-31 2019-07-16 Ncr Corporation Scanner gesture recognition
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN112327464A (zh) 2015-01-03 2021-02-05 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
WO2016114427A1 (ko) * 2015-01-16 2016-07-21 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도정보를 추정할 때의 연산 복잡도를 감소시키기 위한 방법 및 장치
US20160255323A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US9723197B2 (en) 2015-03-31 2017-08-01 Sony Corporation Depth estimation from image defocus using multiple resolution Gaussian difference
EP3696587B1 (en) 2015-04-16 2023-09-20 Corephotonics Ltd. Auto focus and optical image stabilization in a compact folded camera
WO2016171296A1 (ko) * 2015-04-24 2016-10-27 재단법인 다차원 스마트 아이티 융합시스템 연구단 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치
EP3787281A1 (en) 2015-08-13 2021-03-03 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
TWI565323B (zh) * 2015-09-02 2017-01-01 原相科技股份有限公司 分辨前景的成像裝置及其運作方法、以及影像感測器
KR101928716B1 (ko) 2015-12-29 2018-12-12 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US10114465B2 (en) 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
US9916433B2 (en) * 2016-02-10 2018-03-13 ContinUse Biometrics Ltd. Condition authentication based upon temporal-spatial analysis of vibrational responsivity
CN111965919B (zh) 2016-05-30 2022-02-08 核心光电有限公司 旋转滚珠引导音圈电动机
CN111367039B (zh) 2016-07-07 2023-02-03 核心光电有限公司 用于折叠式光学装置的线性滚珠引导音圈电动机
KR102269547B1 (ko) 2016-12-28 2021-06-25 코어포토닉스 리미티드 확장된 광-폴딩-요소 스캐닝 범위를 갖는 폴디드 카메라 구조
KR20230170809A (ko) 2017-01-12 2023-12-19 코어포토닉스 리미티드 컴팩트 폴디드 카메라
US10354387B2 (en) * 2017-02-27 2019-07-16 Intel Corporation Material characterization from infrared radiation
CN110582724B (zh) 2017-03-15 2022-01-04 核心光电有限公司 具有全景扫描范围的照相装置
US10481736B2 (en) * 2017-06-21 2019-11-19 Samsung Electronics Company, Ltd. Object detection and motion identification using electromagnetic radiation
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102268862B1 (ko) 2017-11-23 2021-06-24 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
US11640047B2 (en) 2018-02-12 2023-05-02 Corephotonics Ltd. Folded camera with optical image stabilization
US10449895B2 (en) * 2018-03-20 2019-10-22 Rockwell Collins, Inc. Object tracking illumination system
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN112367448B (zh) 2018-04-23 2022-04-19 核心光电有限公司 感测机构
KR102289149B1 (ko) 2018-08-04 2021-08-12 코어포토닉스 리미티드 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
US10867441B2 (en) * 2019-02-15 2020-12-15 Microsoft Technology Licensing, Llc Method and apparatus for prefetching data items to a cache
EP3782363B1 (en) 2019-03-09 2023-06-07 Corephotonics Ltd. Method for dynamic stereoscopic calibration
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
CN110764766A (zh) * 2019-10-15 2020-02-07 成都四方伟业软件股份有限公司 一种光圈效果实现方法及装置
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
KR20220058593A (ko) 2019-12-09 2022-05-09 코어포토닉스 리미티드 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
US11209263B2 (en) * 2019-12-12 2021-12-28 Tencent America LLC 3D hand pose estimation based on depth-image guided adversarial network 1
WO2021220080A1 (en) 2020-04-26 2021-11-04 Corephotonics Ltd. Temperature control for hall bar sensor correction
CN117372250A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
EP3966631B1 (en) 2020-05-30 2023-01-25 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN116125660A (zh) 2020-07-15 2023-05-16 核心光电有限公司 用于校正扫描折叠相机的视点像差的方法
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863809B2 (ja) * 2002-05-28 2006-12-27 独立行政法人科学技術振興機構 手の画像認識による入力システム
JP3974063B2 (ja) * 2003-03-24 2007-09-12 松下電器産業株式会社 プロセッサおよびコンパイラ
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
CA2834883C (fr) * 2005-03-07 2018-01-23 Dxo Labs Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
US8406487B2 (en) * 2009-09-16 2013-03-26 General Electric Company Method and system for contactless fingerprint detection and verification
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
WO2011101035A1 (en) 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
US20110267485A1 (en) * 2010-04-30 2011-11-03 Kane Paul J Range measurement using a coded aperture
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US20120249544A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
US8537376B2 (en) * 2011-04-15 2013-09-17 Faro Technologies, Inc. Enhanced position detector in laser tracker
WO2012168322A2 (en) * 2011-06-06 2012-12-13 3Shape A/S Dual-resolution 3d scanner
JP5712074B2 (ja) * 2011-07-20 2015-05-07 株式会社日立ハイテクノロジーズ 走査透過電子顕微鏡
US8866912B2 (en) * 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US20140327754A1 (en) * 2013-05-06 2014-11-06 Delta ID Inc. Method and apparatus for compensating for sub-optimal orientation of an iris imaging apparatus
EP3061063A4 (en) * 2013-10-22 2017-10-11 Eyenuk, Inc. Systems and methods for automated analysis of retinal images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017034046A1 (ko) * 2015-08-24 2017-03-02 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치
KR20200049906A (ko) * 2016-06-19 2020-05-08 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR20210113436A (ko) * 2016-06-19 2021-09-15 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
KR20230053711A (ko) * 2016-06-19 2023-04-21 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화

Also Published As

Publication number Publication date
JP6129309B2 (ja) 2017-05-17
US20150261299A1 (en) 2015-09-17
WO2014008939A1 (en) 2014-01-16
US9733717B2 (en) 2017-08-15
JP2015522193A (ja) 2015-08-03
EP2872966A1 (en) 2015-05-20

Similar Documents

Publication Publication Date Title
US9733717B2 (en) Gesture-based user interface
US20220261087A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9007422B1 (en) Method and system for mutual interaction using space based augmentation
US8619122B2 (en) Depth camera compatibility
EP2531979B1 (en) Depth camera compatibility
TWI499966B (zh) 互動式操作方法
US9703371B1 (en) Obtaining input from a virtual user interface
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
US9632592B1 (en) Gesture recognition from depth and distortion analysis
Chu et al. Hand gesture for taking self portrait
US10528145B1 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
JP2019067388A (ja) ライトフィールド画像を操作するためのユーザインターフェイス
KR101501487B1 (ko) 깊이 영상 기반 머리 검출방법 및 장치
JP5887264B2 (ja) 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
US8970479B1 (en) Hand gesture detection
Mohatta et al. Robust hand gestural interaction for smartphone based AR/VR applications
TW201006527A (en) Measuring object contour method and measuring object contour apparatus
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
JP2010113562A (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
Yeh et al. Vision-based virtual control mechanism via hand gesture recognition
CN115878008A (zh) 交互方法、装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid