KR101794148B1 - 효율적인 자유 공간 손가락 인식 - Google Patents

효율적인 자유 공간 손가락 인식 Download PDF

Info

Publication number
KR101794148B1
KR101794148B1 KR1020150025777A KR20150025777A KR101794148B1 KR 101794148 B1 KR101794148 B1 KR 101794148B1 KR 1020150025777 A KR1020150025777 A KR 1020150025777A KR 20150025777 A KR20150025777 A KR 20150025777A KR 101794148 B1 KR101794148 B1 KR 101794148B1
Authority
KR
South Korea
Prior art keywords
blob
bright spot
depth image
touch
hand
Prior art date
Application number
KR1020150025777A
Other languages
English (en)
Other versions
KR20150111833A (ko
Inventor
치흐-판 신
마틴 페터슨
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150111833A publication Critical patent/KR20150111833A/ko
Application granted granted Critical
Publication of KR101794148B1 publication Critical patent/KR101794148B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

효율적인 자유-공간 손가락 인식을 위한 시스템 및 기술들이 본원에서 설명된다. 깊이 이미지 내의 표면이 식별될 수 있다. 깊이 이미지 내의 하나 이상의 블롭이 식별될 수 있다. 식별된 블롭들이 분석되어 블롭이 깊이 이미지의 엣지와 교차하는지를 결정하고 블롭이 엣지와 교차한다면 잠재적 손으로서 분류되고 그렇지 않다면 오브젝트로서 분류된다.

Description

효율적인 자유 공간 손가락 인식{EFFICIENT FREE-SPACE FINGER RECOGNITION}
본원에서 설명되는 실시예는 일반적으로 인지적 컴퓨팅(perceptive computing)에 관한 것이고, 더 구체적으로는 효율적인 자유-공간 손가락 인식에 관한 것이다.
인지적 컴퓨팅(예를 들어, 미래 컴퓨팅)은 투영 터치 표면(PTS; Projected Touch Surface) 인터페이스를 포함할 수 있다. PTS는 책상이나 테이블과 같은 표면 상에 사용자 인터페이스 요소들을 투영하는 프로젝터(projector)를 이용할 수 있다. 표면 그 자체는 입력을 수신하지 못할 수 있기 때문에, PTS는 상호작용적 거동들을 관찰하고 이들을 입력으로서 이용하기 위해 다른 센서들을 이용할 수 있다. 예를 들어, PTS는 투영 사용자 인터페이스 상에서 또는 그 부근에서 움직이는(또는 위치한) 손가락(예를 들어, 손가락 끝)을 식별하여 인터페이스와의 상호작용을 판정하는 깊이 센서(depth sensor)를 포함할 수 있다.
도면들에서 유사한 참조 번호들은 상이한 도면들에서 유사한 컴포넌트들을 기술할 수 있고, 도면들은 반드시 비율대로 도시된 것은 아니다. 상이한 문자 접미사(suffix)를 갖는 유사한 숫자들은 유사한 컴포넌트들의 상이한 경우들을 나타낼 수 있다. 도면은 일반적으로, 본 문서에서의 논의되는 다양한 실시예들을 제한이 아니라 예시로서 나타낸다.
도 1은, 실시예에 따른, 효율적인 자유 공간 손가락 인식을 위한 회로 구현된 디바이스의 블록도를 포함하는 예시적인 PTS 시스템을 나타낸다.
도 2a 및 도 2b는, 실시예에 따른, 효율적인 자유-공간 손가락 인식을 위한 깊이 이미지 및 마스크의 예를 나타낸다.
도 3은, 실시예에 따른, 효율적인 자유-공간 손가락 인식을 위한 방법의 예를 나타낸다.
도 4는, 실시예에 따른, 효율적인 자유-공간 손가락 인식을 위한 방법의 예를 나타낸다.
도 5는 하나 이상의 실시예가 구현될 수 있는 머신의 예를 나타내는 블록도이다.
현재, PTS 시스템이 투영 사용자 인터페이스 요소를 터치하는 손가락끝을 검출하기 위한 흔한 방법은 깊이 센서로부터의 깊이 이미지를 이용하는 것이다. 그 다음, 손 블롭(hand blob)이 깊이 이미지로부터 발견될 수 있다. 본원에서 사용되는 바와 같이, 블롭은, 일부 특성(예를 들어, 점으로부터 거리, 연결성, 색상, 휘도 등)이 일정하거나 규정된 범위의 값들 내에서 변하는 디지털 이미지의 영역(예를 들어, 화소(pixel), 부화소(sub-pixel), 복셀(voxel) 등의 집합)이다. 손 블롭이 발견된 후에, 손가락 골격이 손 블롭으로부터 발견(예를 들어, 모델링)될 수 있다. 마지막으로, 하나 이상의 손가락끝에 대한 3차원(3D) 위치가 손 골격으로부터 위치파악되어 투영 사용자 인터페이스와의 상호작용을 결정할 수 있다. 예에서, 손 골격은 투영 표면 상의 또는 그 위의 사용자로부터의 제스쳐 입력을 판정하는데 이용될 수 있다.
PTS 시스템의 현재의 구현으로부터 적어도 2개의 문제가 발생한다. 첫 번째, 깊이 이미지 내의 블롭으로부터 손 골격을 계산하는 것은, 입력에 이용되지 않는 오브젝트와 같은 손이 아닌(non-hand) 블롭 상에서 낭비될 수 있는 계산 집약적 프로세스이다. 이러한 오브젝트의 예로서는 깊이 센서의 시야 내에 있게 되는 책상 위에 놓인 컵이 포함될 수 있다. 이 문제는 깊이 센서 해상도가 증가함에 따라 복잡해진다.
두 번째, 현재의 깊이 센서 성능은, 예를 들어, 사용자의 추종 불능, 깊이 해상도의 결핍, 노이즈가 있는 깊이 이미지 등으로 인해, 터치스크린-근접 사용자 경험을 흉내내지 못할 수도 있다. 일부 예에서, 라인 방출기(line emitter)는 터치 표면에 평행하고 근접하게 광 평면(plane of light)을 투영하는데 이용될 수 있다. 따라서, 표면을 터치하는 손가락은 평면을 파손하고 광을 예를 들어 PTS 시스템의 카메라 쪽으로 반사하여 발생된 터치를 표시할 것이다. 그러나, 깊이 센서가 라인 방출기 파장에 민감한 카메라를 이용하는 예에서, 카메라는 터치와 카메라에 근접하게 놓인 오브젝트간의 차이를 구분하지 못할 수도 있다.
첫 번째 문제는 블롭이 깊이 이미지의 엣지와 만나는지에 기초하여 블롭을 잠재적 손이나 오브젝트로서 분류함으로써 해결될 수 있다. 이런 방식으로 블롭을 분류하는 것은, 손이, 팔과 그리고 그에 따라 통상적으로 깊이 센서의 시야 절두체(viewing frustum) 외부에 있는 신체와 연결된다는 관찰에 기초한다. 대조적으로, 컵, 전화, 펜 등과 같은 오브젝트는 전체적으로 시야 프러스텀(viewing frustrum) 내에 있을 수 있다. 오브젝트로 분류되는 블롭은 손 골격 분석을 거치게 되는 것을 회피하므로 값비싼 계산 연산을 절감할 수 있다. 따라서, 이들 계산 자원을 절감하는 것은 PTS 시스템의 효율을 증가시킬 수 있다.
두 번째 문제는 깊이 데이터를 라인 방출기에 의해 방출된 광 평면을 차단하는 손가락에 의해 야기되는 명점(bright spot) 식별과 결합함으로써 해결될 수 있다. 여기서, 명점은 깊이 계산 이전에 이미지에 기록될 수 있다. 예를 들어, 깊이 센서가 적외선(IR) 방출기 및 IR 감지 카메라를 포함한다면, 라인 방출기는 IR 광을 방출하고, 깊이 분석 이전에 깊이 센서 카메라에 의해 포착된 이미지는 IR 광의 명점을 검출하는데 이용될 수 있다. 전술된 바와 같이, 이들 명점은 IR 광의 평면을 차단하고 광의 일부를 카메라로 다시 반사하는 손가락에 의해 야기될 수 있다. 명점은 식별된 다음, 표면에 근접한 명점은 터치로서 분류되고 표면으로부터 먼 명점은 비-터치로서 분류되도록 깊이 이미지에 기초하여 분류될 수 있다. 또한, 명점은 다른 요인들에 기초하여 가능한 터치로서 제거될 수 있다. 예를 들어, 명점이, 예를 들어 손가락끝의 모델과 (예를 들어, 크기, 형상 등에 있어서) 일치하지 않는다면, 명점은 비-터치로서 분류될 수 있다. 예에서, 손 골격이 깊이 이미지로부터 판정될 수 있다. 명점이 손 골격의 손가락에 대응하지 않는다면, 그 명점은 또한 비-터치로서 분류될 수 있다. 잠재적 터치 명점을 식별함으로써, 투영 사용자 인터페이스 상에서 잘못된 터치를 유발하지 않고 터치 표면 위의 인 에어 제스쳐(in air gesture)가 이용될 수 있다. 따라서, 깊이 센서와 라인 방출기의 조합은 PTS 시스템에 대한 입력 정확도를 증가시킴으로써 사용자 경험을 증가시킬 수 있다.
상기에서 주어진 해결책은 별개로 이용되거나 다양한 방식으로 결합될 수 있다. 예를 들어, 오브젝트 블롭에 관한 처리를 회피함으로써 손 골격을 효율적으로 판정하는 것은, 잠재적인 손 블롭에 대응하지 않는 명점을 제거함으로써 효율적인 명점 분석을 허용할 수 있다. 그러나, 모든 경우에, 계산 효율과 정확도 중 하나 또는 모두가 증가되어 PTS 시스템에 대한 (예를 들어, 터치 감응면과 실제로 상호작용하지 않는) 자유 공간에서의 손가락의 더욱 효율적인 인식으로 이어진다.
도 1은 효율적인 자유-공간 손가락 인식을 위한 회로 구현된 디바이스(175)의 블록도를 포함하는 예시적인 PTS 시스템(100)을 나타낸다. PTS 시스템(100)은, 베이스(105), 수직 부재(110)(그 하부는 베이스(105)에 부착될 수 있다), 및 (수직 부재(110)의 상부에 부착될 수 있는) 헤드(115)를 포함할 수 있다. PTS 시스템(100)은 또한, 베이스(105), 수직 부재(110) 또는 헤드(115) 중 하나 이상에 (예를 들어, 유선으로, 무선으로, 그 내부에 배치된) 통신가능하게 결합될 수 있는 회로 구현된 디바이스(175)를 포함할 수 있다.
헤드(115)는 하향 시야를 갖도록 구성된 깊이 센서(120)를 포함할 수 있다. 예시된 바와 같이, 두꺼운 점선은 깊이 센서(120)의 시야를 나타낸다. 음영 영역(140)은 깊이 센서의 시야 프러스텀 내의 베이스 평면(140)을 나타낸다. 베이스 평면(140)은 표면(150)과 일치한다. 예에서, 헤드(115)는 또한, (라인이 그려진 영역(145)으로 예시된) 투영 사용자 인터페이스(145)를 구현하는 프로젝터(125)를 포함할 수 있다. 예에서, 프로젝터(125)는, 천장, 또 다른 디바이스 등과 같이, 다른곳에 배치될 수도 있다. 예에서, 깊이 센서(120)는 카메라와 광 방출기를 포함한다. 깊이 이미지는, 시야 절두체 내의 오브젝트로부터 반사되고 카메라에 의해 포착되는 광 방출기로부터의 방출의 왕복을 타이밍함으로써 생성될 수 있다. 예에서, 카메라는 IR 광에 민감하고 광 방출기는 IR 스펙트럼으로 방출한다.
예에서, 베이스(105)는 라인 방출기(155)를 포함할 수 있다. 라인 방출기(155)는 표면(150)에 평행한 (십자방격 영역(cross-hatched region)(160)으로 표시된) 광 평면(160)을 방출할 수 있다. 앞서 논의된 바와 같이, 이러한 방출은 교차될 때, 오브젝트 명점(170) 및 터치 명점(165)과 같은 명점을 야기할 수 있다.
도 1에 나타낸 바와 같이, 컵(135)은 깊이 이미지에서 컵의 실제 오브젝트와 블롭 양쪽 모두를 나타낸다. 유사하게, 손과 손목(이하에서는 손이라 지칭)(130)은 또한, 깊이 이미지에서 실제의 손과 블롭 양쪽 모두를 나타낸다.
회로 구현된 디바이스(175)는, 깊이 센서 또는 명점 데이터를 수신하기 위해, 베이스(105), 수직 부재(110), 또는 헤드(115) 중 임의의 것 또는 모두에 통신가능하게 결합될 수 있는 하나 이상의 머신이다. 예에서, 회로 구현된 디바이스(175)의 컴포넌트들 중 하나 또는 모두는, 베이스(105), 수직 부재(110) 또는 헤드(115) 중 하나 이상 내에 하우징된다. 회로 구현된 디바이스(175)는, 손 판별기(180), 손 골격 로케이터(locator)(185), 또는 표면 터치 로케이터(190) 중 임의의 것 또는 모두를 포함할 수 있다.
손 판별기(180)는, 깊이 센서(120)에 의해 포착된 깊이 이미지에서 표면(150)을 식별하도록 구성될 수 있다. 표면 식별은 깊이 이미지 내의 화소(예를 들어, 복셀)가 외진 화소(outlying pixel)(예를 들어, 표면(150)과 깊이 센서(120) 사이의 화소 또는 표면(150) 상에 있지 않은 화소)로서 분류되는 것을 허용한다. 외진 화소들로부터 블롭(예를 들어, 손(130) 및 컵(135))이 식별된다. 예에서, 손 판별기(180)는 깊이 이미지로부터 하나 이상의 블롭(예를 들어, 손(130) 또는 컵(135))을 식별하도록 구성된다. 예에서, 블롭은 표면(150)을 먼저 식별하지 않고도 식별될 수 있다. 예에서, 블롭은 깊이 이미지 내에 복수의 연속 화소(예를 들어, 외진 화소들)를 포함한다. 깊이 이미지는 노이즈가 있을 수 있기 때문에, 화소들이 연속적인지의 여부는 2개의 화소들간의 거리를 계산하고 이 거리를 임계치와 비교함으로써 판정될 수 있다. 따라서, 화소 거리가 임계치 아래이면, 2개의 화소는 연속적인 것으로 간주된다. 그러나, 어떤 화소들이 블롭을 구성하는지를 판정하기 위해서 임의의 다양한 공지된 방법이 이용될 수 있다는 점에 유의한다. 예에서, 외진 화소들의 외부 컨투어(contour)(예를 들어, 아웃라인(outline))가 계산될 수 있다. 외부 컨투어 내의 화소들은 블롭의 일부이다(예를 들어, 블롭을 형성한다).
손 판별기(180)는 또한, 식별된 블롭을 분류하도록 구성될 수 있다. 예를 들어, 각각의 식별된 블롭에 대해, 손 판별기(180)는 블롭이 깊이 이미지의 엣지와 교차하는지를 판정할 수 있다. 블롭이 엣지와 교차한다면, 블롭은 잠재적 손으로서 분류될 수 있다. 블롭이 엣지와 교차하지 않는다면, 블롭은 오브젝트로서 분류될 수 있다. 예에서, (예를 들어, 환경에 기초한 미리 식별된 허용오차 또는 거리 내의) 가까이 놓인 블롭은 잠재적 손으로서 분류될 수 있다. 이 예에서, 근접성은, 깊이 이미지 노이즈, 깊이 센서(120)의 위치지정(positioning), 깊이 센서 시야 등과 같은, PTS 시스템의 하나 이상의 동작 파라미터에 기초하여 판정된다. 예에서, 근접성은 깊이 이미지 엣지로부터의 미리결정된 화소수 이내이다.
예에서, 블롭이 깊이 이미지의 엣지와 교차하는지를 판정하기 위해, 손 판별기(180)는 깊이 이미지의 마스크를 생성하도록 구성될 수 있다. 마스크 내의 블롭은 엣지와 교차하는 것으로 분류되거나, 단순히 잠재적 손으로서 분류될 수 있다. 마스크 외부의 블롭은 엣지와 교차하지 않는 것으로 분류되거나, 오브젝트로서 분류되거나, 또는 간단히 무시될 수 있다. 예에서, 블롭을 무시하는 것은 블롭을 오브젝트로서 분류하는 것과 대등하다. 마스크를 생성하기 위해, 손 판별기는, 깊이 이미지에서 화소에 대응하는 그리드(grid)와 같은 블랭크 마스크를 이용하여 시작할 수 있고, 여기서, 그리드의 요소는 블랭크 값을 가진다. 손 판별기는 깊이 이미지의 각각의 엣지로부터 마스크까지의 다수의 화소를 블랭크 마스크에 추가하여, 경계선을 생성할 수 있다. 예에서, 경계선의 엣지는 경계선의 다른 엣지와는 상이한 화소 깊이를 포함할 수 있다. 예에서, 경계선 엣지는 선형이지 않을 수도 있다.
경계선 화소가 마스크에 추가된 후에, 손 판별기는, 깊이 이미지의 블롭 화소, 또는 블롭에 대응하는 컨투어가 마스크(예를 들어, 현재의 마스크는 컨투어 또는 블롭 화소와 중첩하는 화소를 포함함)에 대응하는지를 판정할 수 있다. 이 경우, 블롭의 화소들(예를 들어, 컨투어 자체 상의 컨투어 내의 것들)이 마스크에 추가된다. 이것의 예가 도 2a 및 도 2b에 도시되고 이하에서 논의된다.
손 골격 로케이터(185)는 블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하도록 구성될 수 있다. 손 골격 로케이터(185)는, 블롭에 대한 손 골격을 계산, 발견, 정합 등을 하기 위해 블롭에 대한 임의의 수의 공지된 기술을 이용할 수 있다. 예에서, 손 골격 로케이터(185)의 활동은 잠재적인 손에 해당하는 블롭으로 제약된다. 따라서, 손 골격 로케이터(185)는 잠재적 손으로서 분류된 블롭에만 적용될 수 있다. 예에서, 손 골격 로케이터(185)는 손 판별기(180)에 의해 결정된 블롭과 분류를 수신하고 어느 블롭을 처리할지를 판정한다. 예에서, 손 골격 로케이터(185)는 잠재적 손으로서 분류된 블롭만을 수신한다.
표면 터치 로케이터(190)는 적외선 카메라에 의해 포착된 적외선 이미지에서 하나 이상의 명점(예를 들어, 명점(165 및 170))을 식별하도록 구성될 수 있다. 예에서, 명점은 어두움(dark)으로부터 빛을 구분하는(delineate) 임계치를 넘는 복수의 화소를 포함할 수 있다. 예에서, 임계치는 2개의 컴포넌트, 하이 값(high value)과 로우 값(low value)을 가진다. 따라서, 하이 값 위의 화소는 밝은(bright) 것으로 간주되고 로우 값 아래의 화소는 어두운(dim) 것으로 간주될 수 있으며 다른 화소들은 미결정(indeterminate) 휘도일 수 있다. 예에서, 미정의 화소들은 이들이 밝은지의 여부를 판정하기 위해 추가로 처리될 수 있다. 예에서, 추가 처리는 PTS 시스템(100)의 가용 계산 자원에 기초하여 선택적으로 적용될 수 있다.
표면 터치 로케이터(190)는 식별된 명점들을 처리하여 이들을 터치 또는 비-터치로서 분류하도록 구성될 수 있다. 예에서, 분류는 포착된 깊이 이미지에 기초한다. 예에서, 분류는, 명점의 크기, 형상 또는 기타의 특성으로 제한되지 않고 깊이 이미지를 수반하지 않을 수도 있다. 예를 들어, 표면 터치 로케이터(190)는 손가락(또는 손가락끝)의 모델, 또는 손가락의 크기 또는 형상 파라미터를 가질 수 있다. 이 모델은 명점과 비교될 수 있다. 명점이 모델 파라미터와 부합하지 않으면, 이것은 비-터치로서 분류될 수 있다. 예를 들어, 컵(135)에 대한 명점(170)은 손가락끝에 대해 예상되는 것보다 상당히 넓을 수 있다. 예에서, 이러한 명점은 추가 처리로부터 생략될 수 있다.
예에서, 명점을 터치 또는 비-터치로서 분류하기 위해, 표면 터치 로케이터(190)는 깊이 이미지를 이용하여 명점이 표면(150)으로부터 미리결정된 거리 내에 있는지를 판정할 수 있다. 명점이 표면(150)으로부터 미리결정된 거리보다 더 멀리 있다면, 명점은 비-터치로서 분류될 수 있다. 따라서, 단순히 명점이 표면 부근에 있지 않다는 관찰은 비-터치로서의 분류를 허용하고 추가 처리를 피할 수도 있다.
예에서, 명점을 터치 또는 비-터치로서 분류하기 위해, 표면 터치 로케이터(190)는 명점이 깊이 이미지로부터 식별된 손 블롭에 연결되는지를 판정하고 명점이 손 블롭에 연결되어 있지 않다면 그 명점을 비-터치로서 분류한다. 예를 들어, 명점(170)은 손 블롭(130)에 연결되어 있지 않기 때문에 비-터치로서 분류될 수 있다.
전술한 바와 같이, 표면 터치 로케이터(190)는 명점을 비-터치로서 분류하는 다수의 메커니즘을 이용할 수 있다. 이들 메커니즘은 직렬로 적용되어, 명점이 손가락 모델과 부합하지 않는다면 예를 들어 손 블롭 식별을 피할 수도 있다. 예에서, 전술한 바와 같은, 처리 체인의 끝에서 비-터치로서 분류되지 않는 임의의 명점은 터치로서 분류된다.
전술한 바와 같이, 손 판별기(180)와 표면 터치 로케이터(190)의 효율성은 별개로 또는 결합되어 이용될 수 있다. 예를 들어, 손 판별기(130)는 표면 터치 로케이터(190)가 이용할 효율적인 손 블롭(130) 식별을 제공할 수 있다. 역으로, 표면 터치 로케이터(190)는 손가락 모델 분석에 기초하여 명점을 터치로서 식별하고(예를 들어, 명점(165)) 그 명점의 화소들을 마스크에 추가하여 손 블롭(130) 검출을 용이하게 할 수 있다. 이들 시나리오 중 임의의 시나리오에서, PTS 시스템(100)의 계산 효율 또는 정확도가 증가되어, 더 나은 사용자 경험으로 이어질 수 있다.
도 2a 및 도 2b는 효율적인 자유-공간 손가락 인식을 위한 깊이 이미지(205)와 마스크(220)의 예(200)를 나타낸다. 도 2a에서, 깊이 이미지(205)는 오브젝트 블롭(215)과 잠재적 손 블롭(210)을 포함한다. 잠재적 손 블롭(210)은 깊이 이미지의 엣지를 넘어 연장되어 블롭(210)이 깊이 이미지의 엣지와 교차하는 것으로 예시되어 있다. 블롭들(210 및 215) 양쪽 모두의 아웃라인은 전술된 컨투어로 간주될 수 있다. 도 2b는 깊이 이미지(205)에 적용되는 마스크(220)를 나타낸다. 예시된 바와 같이, 마스크(220)는 경계선을 포함한다. 잠재적 손 블롭(210)의 일부는 또한 마스크(220)에 포함되는데, 그 이유는 경계선이 전술된 바와 같이 잠재적 손 블롭(210)의 일부를 덮기 때문이다. 오브젝트 블롭(215)은 마스크(220)에 의해 덮이지 않기 때문에 추가 처리되지 않을 수 있다(예를 들어, 이에 대해서는 어떠한 손 골격도 시도되지 않을 것이다).
도 3은, 실시예에 따른, 효율적인 자유-공간 손가락 인식을 위한 방법(300)의 예를 나타낸다.
동작(305)에서, 깊이 센서에 의해 포착된 깊이 이미지에서의 표면이 식별될 수 있다. 이 표면은 깊이 이미지로부터 도출된 시야 프러스텀 내의 베이스 평면일 수 있다.
동작(310)에서, 깊이 이미지 내의 하나 이상의 블롭이 식별될 수 있다. 전술된 바와 같이, 하나 이상의 블롭 내의 블롭은 표면보다 깊이 센서에 더 가까운 깊이 이미지 내의 복수의 연속 화소를 포함할 수 있다. 예에서, 블롭을 식별하는 것은 외진 화소를 식별하는 것을 포함할 수 있다. 전술된 바와 같이, 외진 화소는 표면과 깊이 센서 사이의 깊이 이미지 내의 화소일 수 있다. 예에서, 외진 화소들의 외부 컨투어가 판정될 수 있다. 예에서, 닫힌 컨투어(closed contour)는 블롭에 대응할 수 있다. 따라서, 닫힌 컨투어에 의해 에워싸이는 화소들, 이 예에서는 컨투어 그 자체가 블롭을 구성한다. 예에서, 깊이 이미지의 엣지는 컨투어의 일부일 수 있다. 따라서, 엣지와 교차하는 블롭은 그 컨투어와 엣지에 의해 닫힌다.
동작(315)에서, 동작(310)으로부터 식별된 하나 이상의 블롭 내의 각각의 블롭에 대해, 동작(320 및 325)이 적용될 수 있다. 더 이상의 식별된 블롭이 없을 때, 방법(300)은 종료하거나 다른 처리(예를 들어, 잠재적 손 블롭 내의 손 골격 식별)로 이동할 수 있다.
동작(320)에서, 주어진 블롭에 대해, 블롭이 깊이 이미지의 엣지와 교차하는지가 판정될 수 있다. 예에서, 블롭이 엣지와 교차하는지를 판정하는 것은 깊이 이미지에 대응하는 마스크를 생성하는 것을 포함한다. 마스크에 의해 덮이는 블롭은 엣지와 교차하는 것으로 간주된다. 예에서, 마스크를 생성하기 위해, 깊이 이미지의 각각의 엣지로부터의 미리결정된 수의 화소가 마스크에 추가될 수 있다. 그 다음, 블롭의 화소 또는 그 컨투어가 마스크의 기존 화소에 대응하는 경우 블롭의 화소들이 마스크에 추가될 수 있다.
동작(325)에서, 깊이 이미지의 엣지와 교차하는 블롭은 잠재적 손 블롭으로서 분류될 수 있다. 블롭이 엣지와 교차하지 않는다면, 블롭은 오브젝트 블롭으로서 분류될 수 있다.
예에서, 손 골격을 발견하려는 시도가 블롭에 대해 이루어질 수 있다. 예에서, 이러한 시도는 블롭이 오브젝트로서 분류된다면 이루어지지 않는다. 따라서, 값비싼 손 골격 계산이 방법(300)을 통해 회피될 수 있다.
도 4는, 실시예에 따른, 효율적인 자유-공간 손가락 인식을 위한 방법(400)의 예를 나타낸다.
동작(405)에서, 카메라에 의해 포착된 이미지 내의 하나 이상의 명점이 식별될 수 있다. 도 1에 관하여 전술된 바와 같은, 명점은 휘도 임계치를 넘는 복수의 화소를 포함한다. 예에서, 이미지는 IR 이미지이고 카메라는 IR 광에 민감하다(예를 들어, IR 카메라).
동작(410)에서, 명점은 터치 또는 비-터치로서 분류될 수 있다. 예에서, 이러한 분류는 깊이 이미지에 기초한다. 예에서, 이러한 분류는, 명점이 깊이 이미지로부터 식별된 손 블롭에 연결되는지를 판정하는 단계와 명점이 손 블롭에 연결되어 있지 않다면 명점을 비-터치로서 분류하는 단계를 포함할 수 있다. 예에서, 이러한 분류는, 명점이 표면으로부터 미리결정된 거리 내에 있는지를 깊이 이미지를 이용하여 판정하는 단계와 명점이 미리결정된 거리 내에 있지 않다면 명점을 비-터치로서 분류하는 단계를 포함할 수 있다. 예에서, 동작(405)에서 식별된 각각의 명점에 대해, 동작들(415, 420, 425, 및 430)이 수행될 수 있다.
동작(415)에서, 명점의 크기와 형상이 손가락끝에 대한 모델에 대응하는지가 판정될 수 있다.
동작(420)에서, 명점이 손 블롭에 연결되는지가 판정될 수 있다.
동작(425)에서, 명점이 표면으로부터 미리결정된 거리 내에 있는지가 판정될 수 있다.
동작(430)에서, 동작들(415, 420 및 425)의 결과들 각각이 참이라면, 명점은 터치로서 분류될 수 있다. 그렇지 않다면(예를 들어, 동작들(415, 420 및 425) 중 임의의 것이 거짓이라면), 명점은 비-터치로서 분류될 수 있다. 예에서, 동작들(415, 420 및 425)은 임의의 순서로 구현될 수 있다. 예에서, 동작들(415, 420 및 425)은, 선행 동작 결과에서의 거짓 판정이 비-터치 분류를 야기하고 추가 동작을 배제하도록 직렬로 수행될 수 있다.
방법(400)을 이용함으로써, PTS 시스템에 대한 터치 정확도가 증가되어 더 양호한 사용자 경험을 야기할 수 있다. 또한, 방법(400)의 융통성 있는 특성은 또한, 비-터치 명점을 식별하고 추가 처리를 배제함으로써 정확도를 감소시키지 않고 계산 효율을 야기할 수 있다.
도 5는 본원에서 논의된 기술들(예를 들어, 방법론) 중 임의의 하나 이상의 기술이 수행될 수 있는 예시적인 머신(500)의 블록도를 나타낸다. 대안적 실시예에서, 머신(500)은 단독형 디바이스로서 동작하거나 다른 머신에 접속(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(500)은, 서버-클라이언트 환경에서 서버 머신, 클라이언트 머신, 또는 양쪽 모두의 능력으로 동작할 수 있다. 예에서, 머신(500)은 피어-투-피어(P2P)(또는 기타의 분산형) 네트워크 환경에서 피어 머신으로서 역할할 수 있다. 머신(500)은, 개인용 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), PDA(personal digital assistant), 모바일 전화, 웹 어플라이언스, 네트워크 라우터, 스위치 또는 브릿지, 또는 머신에 의해 취해지는 동작을 특정하는 명령어(순차적 또는 다른 방식)를 실행할 수 있는 임의의 머신일 수 있다. 또한, 단일의 머신만이 예시되어 있지만, 용어 "머신"은, 클라우드 컴퓨팅, SaaS(software as a service), 기타의 컴퓨터 클러스터 구성과 같은, 본원에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 개별적으로 또는 공동으로 명령어의 세트(또는 복수 세트)를 실행하는 머신들의 임의의 집합을 포함하는 것으로 간주되어야 할 것이다.
본원에서 설명된 바와 같은 예는, 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하거나 이들 상에서 동작할 수 있다. 모듈들은 동작시에 특정된 동작들을 수행할 수 있는 유형의 엔티티(예를 들어, 하드웨어)이다. 모듈은 하드웨어를 포함한다. 예에서, 하드웨어는 특정의 동작을 실행하도록 구체적으로 구성(예를 들어, 하드와이어드)될 수 있다. 예에서, 하드웨어는 구성가능한 실행 유닛(예를 들어, 트랜지스터, 회로 등)과 명령어를 포함하는 컴퓨터 판독가능한 매체를 포함할 수 있고, 여기서, 명령어는 동작시에 특정한 동작을 실행하도록 실행 유닛을 구성한다. 구성은 실행 유닛 또는 로딩 메커니즘의 지시하에 발생할 수 있다. 따라서, 실행 유닛은 디바이스가 동작하고 있을 때 컴퓨터 판독가능한 매체에 통신가능하게 결합된다. 이 예에서, 실행 유닛은 하나보다 많은 모듈의 멤버일 수 있다. 예를 들어, 동작 하에서, 실행 유닛은 제1 세트의 명령어에 의해 한 시점에서 제1 모듈을 구현하도록 구성될 수 있고 제2 세트의 명령어에 의해 제2 모듈을 구현하도록 재구성될 수 있다.
머신(예를 들어, 컴퓨터 시스템)(500)은, 하드웨어 프로세서(502)(예를 들어, 중앙 처리 유닛)(CPU), 그래픽 처리 유닛(GPU), 하드웨어 프로세서 코어, 또는 이들의 임의 조합), 메인 메모리(504) 및 정적 메모리(506)를 포함할 수 있고, 이들 중 일부 또는 모두는 인터링크(interlink)(예를 들어, 버스)(508)를 통해 서로 통신할 수 있다. 머신(500)은, 디스플레이 유닛(510), 영숫자 입력 디바이스(512)(예를 들어, 키보드), 및 사용자 인터페이스(UI) 네비게이션 디바이스(514)(예를 들어, 마우스)를 더 포함할 수 있다. 예에서, 디스플레이 유닛(510), 입력 디바이스(512) 및 UI 네비게이션 디바이스(514)는 터치 스크린 디스플레이일 수 있다. 머신(500)은 추가적으로, 스토리지 디바이스(예를 들어, 드라이브 유닛)(516), 신호 생성 디바이스(518)(예를 들어, 스피커), 네트워크 인터페이스 디바이스(520), 및 GPS(global positioning system) 센서, 컴파스, 가속도계 또는 다른 센서와 같은 하나 이상의 센서(521)를 포함할 수 있다. 머신(500)은, 하나 이상의 주변 디바이스(예를 들어, 프린터, 카드 리더 등)와 통신하거나 이를 제어하기 위해 직렬(예를 들어, USB(universal serial bus), 병렬, 또는 다른 유선 또는 무선(예를 들어, 적외선 (IR), NFC(near field communication)) 등) 접속과 같은 출력 제어기(528)를 포함할 수 있다.
스토리지 디바이스(516)는, 본원에서 설명된 기술 또는 기능들 중 임의의 하나 이상을 채용하거나 이에 의해 이용되는 데이터 구조 또는 명령어(524)의 하나 이상의 세트(예를 들어, 소프트웨어)가 저장되어 있는 머신 판독가능한 매체(522)를 포함할 수 있다. 명령어(524)는 또한, 머신(500)에 의한 그 실행 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(504) 내에, 정적 메모리(506) 내에, 또는 하드웨어 프로세서(502) 내에 존재할 수 있다. 예에서, 하드웨어 프로세서(502), 메인 메모리(504), 정적 메모리(506), 또는 스토리지 디바이스(516)의 하나 또는 임의의 조합이 머신 판독가능한 매체를 구성할 수 있다.
머신 판독가능한 매체(522)가 단일의 매체로서 예시되어 있지만, 용어 "머신 판독가능한 매체"는 하나 이상의 명령어(524)를 저장하도록 구성된 단일 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐쉬 및 서버)를 포함할 수 있다.
용어 "머신 판독가능한 매체"는, 머신(500)에 의한 실행을 위한 명령어를 저장 또는 인코딩할 수 있고 머신(500)으로 하여금 본 개시내용의 기술들 중 임의의 하나 이상을 수행하게 하거나, 이러한 명령어에 의해 이용되거나 이와 연관된 데이터 구조를 저장 또는 인코딩할 수 있는 임의의 매체를 포함할 수 있다. 비제한적 머신 판독가능한 매체 예로서는, 솔리드-스테이트 메모리, 광학적 및 자성 매체가 포함될 수 있다. 예에서, 대용량 머신 판독가능한 매체로서는, 휴면 용량(resting mass)을 갖는 복수의 조각들(plurality of particles)을 가진 머신 판독가능한 매체가 포함된다. 대용량 머신 판독가능한 매체의 특정한 예로서는, 반도체 메모리 디바이스(예를 들어, EPROM(Electrically Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)) 및 플래시 메모리 디바이스와 같은 비휘발성 메모리; 내부 하드 디스크 및 착탈식 디스크와 같은 자기 디스크; 광자기 디스크; 및 CD-ROM 및 DVD-ROM 디스크가 포함된다.
삭제
추가 유의사항 & 예
예 1. 효율적인 자유-공간 손가락 인식을 위한 디바이스로서, 베이스; 수직 부재 - 상기 수직 부재의 하부는 상기 베이스에 부착됨 - ; 상기 수직 부재의 상부에 부착되고, 하향 시야(downward field of view)를 갖도록 구성된 깊이 센서를 포함하는 헤드; 및 하드웨어 회로 구현된 손 판별기를 포함하고, 상기 손 판별기는, 상기 깊이 센서에 의해 포착된 깊이 이미지에서 표면을 식별하고 - 상기 표면은 상기 깊이 이미지로부터 도출된 시야 프러스텀 내의 베이스 평면임 - ; 상기 깊이 이미지 내의 하나 이상의 블롭을 식별하며 - 상기 하나 이상의 블롭 내의 블롭은 상기 표면보다 상기 깊이 센서에 더 가까운 상기 깊이 이미지 내의 복수의 연속 화소를 포함함 - ; 상기 하나 이상의 블롭 내의 각각의 블롭에 대해: 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하고, 상기 블롭이 상기 엣지와 교차한다면 상기 블롭을 잠재적 손으로서 분류하고 그렇지 않다면 상기 블롭을 오브젝트로서 분류한다.
예 2에서는, 예 1의 발명은, 하나 이상의 블롭을 식별하기 위해, 상기 손 판별기가 외진 화소(outlying pixel)들을 식별하고 - 외진 화소들은 상기 표면과 상기 깊이 센서 사이의 상기 깊이 이미지 내의 화소들임 - ; 및 상기 외진 화소들의 외부 컨투어를 판정 - 닫혀있는 각각의 컨투어는 상기 하나 이상의 블롭 내의 블롭에 대응함 - 하는 것을, 선택적으로 포함할 수 있다.
예 3에서는, 예 2의 발명은, 상기 블롭이 상기 엣지와 교차하는지를 판정하는 것이, 상기 깊이 이미지의 각각의 엣지로부터의 미리결정된 수의 화소를 상기 마스크에 추가하고 상기 컨투어의 화소가 상기 마스크의 기존 화소에 대응하는 경우 상기 마스크에 블롭의 화소들을 추가함으로써 상기 손 판별기가 상기 깊이 이미지에 대응하는 마스크를 생성하는 것을 포함하는 것을, 선택적으로 포함할 수 있다.
예 4에서는, 예 1-3 중 임의의 예의 발명은, 블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하기 위한 손 골격 로케이터를 선택적으로 포함할 수 있다.
예 5에서는, 예 4의 발명은, 상기 손 골격 로케이터가 잠재적 손으로서 분류된 블롭들에만 적용되는 것을 선택적으로 포함할 수 있다.
예 6에서는, 예 1-5 중 임의의 예의 발명은, 상기 깊이 센서는 적외선 방출기와 적외선 카메라를 포함하고, 상기 베이스는 상기 시야 내의 상기 표면에 평행한 적외선의 평면을 방출하는 적외선 라인 방출기를 포함하는 것을 선택적으로 포함할 수 있다.
예 7에서는, 예 6의 발명은, 상기 적외선 카메라에 의해 포착된 적외선 이미지에서 하나 이상의 명점(bright spot)을 식별하고 - 상기 명점은 임계치를 넘는 복수의 화소를 포함함 - ; 상기 하나 이상의 명점 내의 각각의 명점에 대해, 상기 명점을 상기 깊이 이미지에 기초하여 터치 또는 비-터치로서 분류하는 표면 터치 로케이터를 선택적으로 포함할 수 있다.
예 8에서는, 예 6-7 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 것이, 표면 터치 로케이터가 상기 명점이 상기 깊이 이미지로부터 식별된 손 블롭에 연결되는지를 판정하고 상기 명점이 상기 손 블롭에 연결되어 있지 않다면 상기 명점을 비-터치로서 분류하는 것을 포함하는 것을, 선택적으로 포함할 수 있다.
예 9에서는, 예 6-8 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 것이, 상기 표면 터치 로케이터가 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 상기 깊이 이미지를 이용하여 판정하고 상기 명점이 상기 미리결정된 거리 내에 있지 않다면 그 명점을 비-터치로서 분류하는 것을 포함하는 것을, 선택적으로 포함할 수 있다.
예 10에서는, 예 6-9 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 것이, 상기 표면 터치 로케이터가: 상기 명점의 크기와 형상이 손가락끝에 대한 모델에 대응하는지를 판정하고; 상기 명점이 손 블롭에 연결되는지를 판정하며; 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 판정하고; 상기 명점의 크기와 형상이 상기 손가락끝에 대한 모델에 대응하는지, 상기 명점이 상기 손 블롭에 연결되는지, 및 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지의 각각이 참이면, 상기 명점을 터치로서 분류하고 그렇지 않다면 상기 명점을 비-터치로서 분류하는 것을 포함하는 것을, 선택적으로 포함할 수 있다.
예 11에서는, 예 1-10 중 임의의 예의 발명은 효율적인 자유-공간 손가락 인식을 위한 방법을 포함하거나, 선택적으로 상기 방법과 결합될 수 있고, 상기 방법은, 하향 시야를 갖도록 구성된 깊이 센서를 포함하는 회로 구현된 디바이스에 의해 수행되고, 본 방법은, 상기 깊이 센서에 의해 포착된 깊이 이미지에서 표면을 식별하는 단계 - 상기 표면은 상기 깊이 이미지로부터 유도된 시야 프러스텀 내의 베이스 평면임 - ; 상기 깊이 이미지 내의 하나 이상의 블롭을 식별하는 단계 - 상기 하나 이상의 블롭 내의 블롭은 상기 표면보다 상기 깊이 센서에 더 가까운 상기 깊이 이미지 내의 복수의 연속 화소를 포함함 - ; 및 상기 하나 이상의 블롭 내의 각각의 블롭에 대해: 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하고, 상기 블롭이 상기 엣지와 교차한다면 상기 블롭을 잠재적 손으로서 분류하고 그렇지 않다면 상기 블롭을 오브젝트로서 분류하는 단계를 포함한다.
예 12에서는, 예 11의 발명은, 상기 하나 이상의 블롭을 식별하는 단계가, 외진 화소들을 식별하는 단계 - 외진 화소들은 상기 표면과 상기 깊이 센서 사이의 상기 깊이 이미지 내의 화소들임 - ; 및 상기 외진 화소들의 외부 컨투어를 판정하는 단계 - 닫혀있는 각각의 컨투어는 상기 하나 이상의 블롭 내의 블롭에 대응함 - 를 포함하는 것을, 선택적으로 포함할 수 있다.
예 13에서는, 예 12의 발명은, 상기 블롭이 상기 엣지와 교차하는지를 판정하는 단계가, 상기 깊이 이미지의 각각의 엣지로부터의 미리결정된 수의 화소를 상기 마스크에 추가하고 상기 컨투어의 화소가 상기 마스크의 기존 화소에 대응하는 경우 상기 마스크에 블롭의 화소들을 추가함으로써 상기 깊이 이미지에 대응하는 마스크를 생성하는 단계를 포함하는 것을, 선택적으로 포함할 수 있다.
예 14에서는, 예 11-13 중 임의의 예의 발명은, 블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하는 단계를 선택적으로 포함할 수 있다.
예 15에서는, 예 14의 발명은, 블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하는 단계가 잠재적 손으로서 분류된 블롭들로 제한되는 것을, 선택적으로 포함할 수 있다.
예 16에서는, 예 11-15 중 임의의 예의 발명은, 상기 깊이 센서가 적외선 방출기와 적외선 카메라를 포함하고, 상기 디바이스에 대한 베이스는 상기 표면에 평행한 적외선의 평면을 방출하는 적외선 라인 방출기를 포함하는 것을, 선택적으로 포함할 수 있다.
예 17에서는, 예 16의 발명은, 상기 적외선 카메라에 의해 포착된 적외선 이미지에서 하나 이상의 명점을 식별하는 단계 - 상기 명점은 임계치를 넘는 복수의 화소를 포함함 - ; 상기 하나 이상의 명점 내의 각각의 명점에 대해, 상기 명점을 상기 깊이 이미지에 기초하여 터치 또는 비-터치로서 분류하는 단계를 선택적으로 포함할 수 있다.
예 18에서는, 예 16-17 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 단계가, 상기 명점이 상기 깊이 이미지로부터 식별된 손 블롭에 연결되는지를 판정하는 단계 및 상기 명점이 손 블롭에 연결되어 있지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 것을, 선택적으로 포함할 수 있다.
예 19에서는, 예 16-18 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 단계가, 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 상기 깊이 이미지를 이용하여 판정하는 단계 및 상기 명점이 상기 미리결정된 거리 내에 있지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 것을, 선택적으로 포함할 수 있다.
예 20에서는, 예 16-19 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 단계가, 상기 명점의 크기와 형상이 손가락끝에 대한 모델에 대응하는지를 판정하는 단계; 상기 명점이 손 블롭에 연결되는지를 판정하는 단계; 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 판정하는 단계; 상기 명점의 크기와 형상이 상기 손가락끝에 대한 모델에 대응하는지, 상기 명점이 상기 손 블롭에 연결되는지, 및 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지의 각각이 참이면, 상기 명점을 터치로서 분류하고 그렇지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 것을, 선택적으로 포함할 수있다.
예 21에서는, 예 11-20 중 임의의 예의 발명은, 머신에 의해 실행되는 경우, 상기 머신으로 하여금 예 11-20의 방법들 중 임의의 하나 이상을 수행하게 하는 명령어들을 포함하는 머신 판독가능한 매체를 선택적으로 포함할 수 있다.
예 22에서는, 예 11-20 중 임의의 예의 발명은, 예 11-20의 방법들 중 임의의 하나 이상을 수행하는 수단을 갖춘 시스템을 선택적으로 포함할 수 있다.
예 23에서는, 예 1-22 중 임의의 예의 발명은, 효율적인 자유-공간 손가락 인식을 위한 시스템을 선택적으로 포함하거나, 선택적으로 상기 시스템과 결합될 수 있고, 상기 시스템은: 투영 헤드를 표면 위로 들어 올리기 위한 지지 수단; 상기 지지 수단에 부착된 투영 헤드 수단 - 상기 투영 헤드 수단은, 상기 투영 헤드 수단으로부터 상기 표면쪽으로의 타겟의 거리를 측정하기 위한 깊이 센서 수단을 포함함 - ; 및 상기 깊이 센서에 의해 포착된 깊이 이미지에서 표면을 식별하고 - 상기 표면은 상기 깊이 이미지로부터 도출된 시야 프러스텀 내의 베이스 평면임 - ; 상기 깊이 이미지 내의 하나 이상의 블롭을 식별하는 - 상기 하나 이상의 블롭 내의 블롭은 상기 표면보다 상기 깊이 센서에 더 가까운 상기 깊이 이미지 내의 복수의 연속 화소를 포함함 - ; 상기 하나 이상의 블롭 내의 각각의 블롭에 대해: 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하고, 상기 블롭이 상기 엣지와 교차한다면 상기 블롭을 잠재적 손으로서 분류하고 그렇지 않다면 상기 블롭을 오브젝트로서 분류하기 위한 손 판별 수단을 포함한다.
예 24에서는, 예 23의 발명은, 상기 하나 이상의 블롭을 식별하는 단계가, 외진 화소들을 식별하는 단계 - 외진 화소들은 상기 표면과 상기 깊이 센서 사이의 상기 깊이 이미지 내의 화소들임 - ; 및 상기 외진 화소들의 외부 컨투어를 판정하는 단계 - 닫혀있는 각각의 컨투어는 상기 하나 이상의 블롭 내의 블롭에 대응함 - 를 포함한다.
예 25에서는, 예 24의 발명은, 상기 블롭이 상기 엣지와 교차하는지를 판정하는 단계가, 상기 깊이 이미지의 각 엣지로부터의 미리결정된 수의 화소를 상기 마스크에 추가하고 상기 컨투어의 화소가 상기 마스크의 기존 화소에 대응하는 경우 상기 마스크에 블롭의 화소들을 추가함으로써 상기 깊이 이미지에 대응하는 마스크를 생성하는 단계를 포함하는 것을, 선택적으로 포함할 수 있다.
예 26에서는, 예 23-25 중 임의의 예의 발명은, 블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하기 위한 손 골격 로케이터 수단을 선택적으로 포함할 수 있다.
예 27에서는, 예 26의 발명은, 상기 손 골격 로케이터 수단은 잠재적 손으로서 분류된 블롭들에만 적용되는 것을 선택적으로 포함할 수 있다.
예 28에서는, 예 23-27 중 임의의 예의 발명은, 상기 깊이 센서 수단은 적외선을 방출하기 위한 적외선 방출기 수단과 타겟으로부터의 반사 후의 적외선을 포착하기 위한 적외선 카메라 수단을 포함하고, 상기 지지 수단은 상기 적외선 카메라 수단의 시야 내의 상기 표면에 평행한 적외선의 평면을 방출하기 위한 적외선 라인 방출기 수단을 포함하는 것을, 선택적으로 포함할 수 있다.
예 29에서는, 예 28의 발명은, 상기 적외선 카메라에 의해 포착된 적외선 이미지에서 하나 이상의 명점(bright spot)을 식별하고 - 상기 명점은 임계치를 넘는 복수의 화소를 포함함 - ; 상기 하나 이상의 명점 내의 각각의 명점에 대해, 상기 명점을 상기 깊이 이미지에 기초하여 터치 또는 비-터치로서 분류하기 위한 표면 터치 로케이터 수단을 선택적으로 포함할 수 있다.
예 30에서는, 예 28-29 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 단계가, 상기 명점이 상기 깊이 이미지로부터 식별된 손 블롭에 연결되는지를 핀정하는 단계 및 상기 명점이 손 블롭에 연결되어 있지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 것을, 선택적으로 포함할 수 있다.
예 31에서는, 예 28-30 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 단계가, 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 상기 깊이 이미지를 이용하여 판정하는 단계 및 상기 명점이 상기 미리결정된 거리 내에 있지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 것을, 선택적으로 포함할 수 있다.
예 32에서는, 예 28-31 중 임의의 예의 발명은, 상기 명점을 터치 또는 비-터치로서 분류하는 단계가, 상기 명점의 크기와 형상이 손가락끝에 대한 모델에 대응하는지를 판정하는 단계; 상기 명점이 손 블롭에 연결되는지를 판정하는 단계; 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 판정하는 단계; 상기 명점의 크기와 형상이 상기 손가락끝에 대한 모델에 대응하는지, 상기 명점이 상기 손 블롭에 연결되는지, 및 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지의 각각이 참이면, 상기 명점을 터치로서 분류하고 그렇지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 것을, 선택적으로 포함할 수 있다.
상기 상세한 설명은, 상세한 설명의 일부를 형성하는 첨부된 도면에 대한 참조를 포함한다. 도면은, 예시로서, 실시될 수 있는 특정한 실시예들을 도시한다. 이들 실시예들은 또한 여기서는 "예"라고 부른다. 이러한 예들은 도시되거나 설명된 것들 외의 요소들을 포함할 수 있다. 그러나, 본 발명자들은, 도시되거나 설명된 이들 요소들만이 제공되는 예들도 역시 고려하고 있다. 게다가, 본 발명자들은, 특정한 예(또는 그 하나 이상의 양태)에 관하여, 또는 본원에서 도시되거나 설명된 다른 예(또는 그 하나 이상의 양태)에 관하여, 도시되거나 설명된 이들 요소들(또는 하나 이상의 그 양태)의 임의의 조합이나 치환을 이용하는 예들도 역시 고려하고 있다.
본 문서에서 언급되는 모든 출판물, 특허, 및 특허 문서들은, 참조에 의해 개별적으로 포함되지만, 그 전체가 참조에 의해 본 명세서에 포함된다. 본 문서와 참조에 의해 이렇게 포함된 이들 문서들 사이의 불일치되는 사용법의 경우, 포함된 참조문헌(들)에서의 사용법은 본 문서에 대한 보충적인 것으로 간주되어야 한다; 양립할 수 없는 불일치의 경우, 본 문서의 사용법이 지배한다.
본 문서에서, "하나 또는 하나의(a, an)"라는 용어는, 특허 문서에서 일반적인 바와 같이, 임의의 다른 경우들 또는 "적어도 하나" 또는 "하나 이상의"의 사용례와는 독립적으로, 하나 보다 많은 하나 이상을 포함하도록 사용된다. 본 문서에서, 용어 "또는"은, "A 또는 B"는 달리 표시하지 않는 한 "A이지만 B는 아닌", "B이지만 A는 아닌", 및 "A 및 B"를 포함하도록 하는, 비배타적인 또는(or)을 지칭하기 위해 사용된다. 첨부된 청구항에서, 용어 "~을 포함하는(including)" 및 "여기에서(in which)"는 각각의 용어 "~을 포함하는(comprising)" 및 "여기서(wherein)"의 평문 영어 등가 표현으로서 사용된다. 또한, 이하의 청구항에서, 용어 "~을 포함하(including)는" 및 "~을 포함하는(comprising)"은 제약을 두지 않으며(open-ended), 즉, 청구항에서 이러한 용어 이후에 열거된 것들에 추가적으로 요소들을 포함하는 시스템, 디바이스, 항목 또는 프로세스가 그 청구항의 범주 내에 들어오는 것으로 여전히 간주된다. 게다가, 이하의 청구항에서, 용어 "제1", "제2", 및 "제3" 등은 단지 라벨(label)로서 사용될 뿐이고, 그들의 대상들에 수치적 요건을 부과하고자하는 것은 아니다.
상기 설명은 예시를 의도한 것이지 제한하고자 함이 아니다. 예를 들어, 전술된 예들(또는 그 하나 이상의 양태들)은 서로 조합하여 이용될 수 있다. 전술한 설명의 검토시에 본 기술분야의 통상의 기술자에 의해서 등으로 다른 실시예들이 이용될 수 있다. 요약서는 독자가 기술적 개시내용의 성질을 신속하게 확인하게 하기 위한 것이고 특허청구범위의 범주나 의미를 해석하거나 제한하는데 이용되지 않을 것이라는 이해와 더불어 제출된다. 또한, 상기 상세한 설명에서, 다양한 피쳐들이 서로 그룹화되어 본 개시내용을 간소화할 수 있다. 이것은 청구되지 않은 개시된 피쳐들이 임의의 청구항에 필수적인 것이라는 의도로서 해석되어서는 안 된다. 오히려, 발명의 요지는 특정한 개시된 실시예의 모든 피쳐들 보다 작은 피쳐들에 있다. 따라서, 이하의 청구항들은 상세한 설명 내에 포함되는 것이며, 각 청구항은 그 자체로 별개의 실시예를 나타낸다. 실시예의 범위는 첨부된 특허청구범위를 참조하여 이러한 특허청구범위에 부여된 균등물들의 전체 범위와 함께 결정되어야 한다.

Claims (25)

  1. 자유-공간 손가락 인식을 위한 디바이스로서,
    베이스(base);
    수직 부재 - 상기 수직 부재의 하부는 상기 베이스에 부착됨 - ;
    상기 수직 부재의 상부에 부착된 헤드 - 상기 헤드는 하향 시야(downward field of view)를 갖도록 구성된 깊이 센서를 포함함 -; 및
    하드웨어 회로 구현된 손 판별기
    를 포함하고,
    상기 하드웨어 회로 구현된 손 판별기는,
    상기 깊이 센서에 의해 포착된 깊이 이미지에서 표면을 식별하고 - 상기 표면은 상기 깊이 이미지로부터 도출된 시야 프러스텀(viewing frustum) 내의 베이스 평면임 -;
    상기 깊이 이미지 내의 하나 이상의 블롭을 식별하며 - 상기 하나 이상의 블롭 내의 블롭은 상기 표면보다 상기 깊이 센서에 더 가까운 상기 깊이 이미지 내의 복수의 연속 화소를 포함함 -;
    상기 하나 이상의 블롭 내의 각각의 블롭에 대해:
    상기 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하고 - 상기 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하는 것은, 상기 깊이 이미지의 각각의 엣지로부터의 미리결정된 수의 화소들을 마스크에 추가하고, 상기 블롭의 컨투어의 화소가 상기 마스크의 기존 화소에 대응하는 경우 상기 마스크에 상기 블롭의 화소들을 추가함으로써, 상기 손 판별기가 상기 깊이 이미지에 대응하는 상기 마스크를 생성하는 것을 포함함 - ,
    상기 블롭이 상기 엣지와 교차한다면 상기 블롭을 잠재적 손으로서 분류하고 그렇지 않다면 상기 블롭을 오브젝트로서 분류하고, 상기 분류는 상기 블롭이 상기 마스크 내에 있는지에 기초하는 디바이스.
  2. 제1항에 있어서,
    상기 하나 이상의 블롭을 식별하기 위해, 상기 손 판별기는,
    외진(outlying) 화소들을 식별하고 - 외진 화소들은 상기 표면과 상기 깊이 센서 사이의 상기 깊이 이미지 내의 화소들임 -,
    닫혀있는 각각의 컨투어(contour)가 상기 하나 이상의 블롭 내의 블롭에 대응하는, 상기 외진 화소들의 외부 컨투어를 판정하는 디바이스.
  3. 삭제
  4. 제1항에 있어서,
    블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하기 위한 손 골격 로케이터(hand skeleton locator)를 포함하는 디바이스.
  5. 제4항에 있어서,
    상기 손 골격 로케이터는 잠재적 손으로서 분류된 블롭들에만 적용되는 디바이스.
  6. 제1항에 있어서,
    상기 깊이 센서는 적외선 방출기와 적외선 카메라를 포함하고, 상기 베이스는 상기 시야 내의 상기 표면에 평행한 적외선 광의 평면을 방출하는 적외선 라인 방출기(infrared line emitter)를 포함하는 디바이스.
  7. 제6항에 있어서,
    상기 적외선 카메라에 의해 포착된 적외선 이미지에서 하나 이상의 명점(bright spot)을 식별하고 - 상기 명점은 임계치를 넘는 복수의 화소를 포함함 -,
    상기 하나 이상의 명점 내의 각각의 명점에 대해, 상기 명점을 상기 깊이 이미지에 기초하여 터치 또는 비-터치로서 분류하는 표면 터치 로케이터를 포함하는 디바이스.
  8. 제7항에 있어서,
    상기 명점을 터치 또는 비-터치로서 분류하는 것은, 상기 표면 터치 로케이터가 상기 명점이 상기 깊이 이미지로부터 식별된 손 블롭(hand blob)에 연결되는지를 판정하고 상기 명점이 상기 손 블롭에 연결되어 있지 않다면 상기 명점을 비-터치로서 분류하는 것을 포함하는 디바이스.
  9. 제7항에 있어서,
    상기 명점을 터치 또는 비-터치로서 분류하는 것은, 상기 표면 터치 로케이터가 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 상기 깊이 이미지를 이용하여 판정하고 상기 명점이 상기 미리결정된 거리 내에 있지 않다면 상기 명점을 비-터치로서 분류하는 것을 포함하는 디바이스.
  10. 제7항에 있어서,
    상기 명점을 터치 또는 비-터치로서 분류하는 것은, 상기 표면 터치 로케이터가,
    상기 명점의 크기와 형상이 손가락끝에 대한 모델에 대응하는지를 판정하고,
    상기 명점이 손 블롭에 연결되는지를 판정하며,
    상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 판정하고,
    상기 명점의 크기와 형상이 상기 손가락끝에 대한 모델에 대응하는지, 상기 명점이 상기 손 블롭에 연결되는지, 및 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지의 각각이 참이면, 상기 명점을 터치로서 분류하고 그렇지 않다면 상기 명점을 비-터치로서 분류하는 것을 포함하는 디바이스.
  11. 하향 시야를 갖도록 구성된 깊이 센서를 포함하는 회로 구현된 디바이스에 의해 수행되는, 자유-공간 손가락 인식을 위한 방법으로서,
    상기 깊이 센서에 의해 포착된 깊이 이미지에서 표면을 식별하는 단계 - 상기 표면은 상기 깊이 이미지로부터 도출된 시야 프러스텀 내의 베이스 평면임 -;
    상기 깊이 이미지 내의 하나 이상의 블롭을 식별하는 단계 - 상기 하나 이상의 블롭 내의 블롭은 상기 표면보다 상기 깊이 센서에 더 가까운 상기 깊이 이미지 내의 복수의 연속 화소를 포함함 -; 및
    상기 하나 이상의 블롭 내의 각각의 블롭에 대해:
    상기 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하는 단계 - 상기 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하는 단계는, 상기 깊이 이미지의 각각의 엣지로부터의 미리결정된 수의 화소들을 마스크에 추가하고, 상기 블롭의 컨투어의 화소가 상기 마스크의 기존 화소에 대응하는 경우 상기 마스크에 상기 블롭의 화소들을 추가함으로써, 상기 깊이 이미지에 대응하는 상기 마스크를 생성하는 단계를 포함함 -; 및
    상기 블롭이 상기 엣지와 교차한다면 상기 블롭을 잠재적 손으로서 분류하고 그렇지 않다면 상기 블롭을 오브젝트로서 분류하는 단계
    를 포함하고,
    상기 분류는 상기 블롭이 상기 마스크 내에 있는지에 기초하는 방법.
  12. 제11항에 있어서,
    상기 하나 이상의 블롭을 식별하는 단계는,
    외진 화소들을 식별하는 단계 - 외진 화소들은 상기 표면과 상기 깊이 센서 사이의 상기 깊이 이미지 내의 화소들임 -,
    상기 외진 화소들의 외부 컨투어를 판정하는 단계 - 닫혀있는 각각의 컨투어는 상기 하나 이상의 블롭 내의 블롭에 대응함 - 를 포함하는 방법.
  13. 삭제
  14. 제11항에 있어서,
    블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하는 단계를 포함하는 방법.
  15. 제14항에 있어서,
    상기 블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하는 단계는 잠재적 손으로서 분류된 블롭들로 제한되는 방법.
  16. 명령어들을 포함하는, 유형의(tangible) 머신 판독가능한 기록 매체로서, 상기 명령어들은, 머신에 의해 실행되는 경우 상기 머신으로 하여금,
    깊이 센서에 의해 포착된 깊이 이미지에서 표면을 식별하는 단계 - 상기 표면은 상기 깊이 이미지로부터 도출된 시야 프러스텀 내의 베이스 평면임 -;
    상기 깊이 이미지 내의 하나 이상의 블롭을 식별하는 단계 - 상기 하나 이상의 블롭 내의 블롭은 상기 표면보다 상기 깊이 센서에 더 가까운 상기 깊이 이미지 내의 복수의 연속 화소를 포함함 -; 및
    상기 하나 이상의 블롭 내의 각각의 블롭에 대해:
    상기 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하는 단계 - 상기 블롭이 상기 깊이 이미지의 엣지와 교차하는지를 판정하는 단계는, 상기 깊이 이미지의 각각의 엣지로부터의 미리결정된 수의 화소들을 마스크에 추가하고, 상기 블롭의 컨투어의 화소가 상기 마스크의 기존 화소에 대응하는 경우 상기 마스크에 상기 블롭의 화소들을 추가함으로써, 상기 깊이 이미지에 대응하는 상기 마스크를 생성하는 단계를 포함함 - ; 및
    상기 블롭이 상기 엣지와 교차한다면 상기 블롭을 잠재적 손으로서 분류하고 그렇지 않다면 상기 블롭을 오브젝트로서 분류하는 단계
    를 포함하는 동작들을 수행하게 하고,
    상기 분류는 상기 블롭이 상기 마스크 내에 있는지에 기초하는 유형의 머신 판독가능한 기록 매체.
  17. 제16항에 있어서,
    상기 하나 이상의 블롭을 식별하는 단계는,
    외진 화소들을 식별하는 단계 - 외진 화소들은 상기 표면과 상기 깊이 센서 사이의 상기 깊이 이미지 내의 화소들임 -,
    상기 외진 화소들의 외부 컨투어를 판정하는 단계 - 닫혀있는 각각의 컨투어는 상기 하나 이상의 블롭 내의 블롭에 대응함 - 를 포함하는 유형의 머신 판독가능한 기록 매체.
  18. 삭제
  19. 제16항에 있어서,
    블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하는 단계를 포함하는 유형의 머신 판독가능한 기록 매체.
  20. 제19항에 있어서,
    상기 블롭에 대한 손 골격 모델이 발견될 수 있는지를 판정하는 단계는 잠재적 손으로서 분류된 블롭들로 제한되는 유형의 머신 판독가능한 기록 매체.
  21. 제16항에 있어서,
    상기 깊이 센서는 적외선 방출기와 적외선 카메라를 포함하고, 상기 머신에 대한 베이스는 상기 표면에 평행한 적외선 광의 평면을 방출하는 적외선 라인 방출기를 포함하는 유형의 머신 판독가능한 기록 매체.
  22. 제21항에 있어서,
    상기 적외선 카메라에 의해 포착된 적외선 이미지에서 하나 이상의 명점을 식별하는 단계 - 상기 명점은 임계치를 넘는 복수의 화소를 포함함 -, 및
    상기 하나 이상의 명점 내의 각각의 명점에 대해, 상기 명점을 상기 깊이 이미지에 기초하여 터치 또는 비-터치로서 분류하는 단계를 포함하는 유형의 머신 판독가능한 기록 매체.
  23. 제22항에 있어서,
    상기 명점을 터치 또는 비-터치로서 분류하는 단계는, 상기 명점이 상기 깊이 이미지로부터 식별된 손 블롭에 연결되는지를 판정하는 단계와 상기 명점이 상기 손 블롭에 연결되어 있지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 유형의 머신 판독가능한 기록 매체.
  24. 제22항에 있어서,
    상기 명점을 터치 또는 비-터치로서 분류하는 단계는, 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 상기 깊이 이미지를 이용하여 판정하는 단계와 상기 명점이 상기 미리결정된 거리 내에 있지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 유형의 머신 판독가능한 기록 매체.
  25. 제22항에 있어서,
    상기 명점을 터치 또는 비-터치로서 분류하는 단계는,
    상기 명점의 크기와 형상이 손가락끝에 대한 모델에 대응하는지를 판정하는 단계,
    상기 명점이 손 블롭에 연결되는지를 판정하는 단계,
    상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지를 판정하는 단계, 및
    상기 명점의 크기와 형상이 상기 손가락끝에 대한 모델에 대응하는지, 상기 명점이 상기 손 블롭에 연결되는지, 및 상기 명점이 상기 표면으로부터 미리결정된 거리 내에 있는지의 각각이 참이면, 상기 명점을 터치로서 분류하고 그렇지 않다면 상기 명점을 비-터치로서 분류하는 단계를 포함하는 유형의 머신 판독가능한 기록 매체.
KR1020150025777A 2014-03-26 2015-02-24 효율적인 자유 공간 손가락 인식 KR101794148B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/225,941 US9563956B2 (en) 2014-03-26 2014-03-26 Efficient free-space finger recognition
US14/225,941 2014-03-26

Publications (2)

Publication Number Publication Date
KR20150111833A KR20150111833A (ko) 2015-10-06
KR101794148B1 true KR101794148B1 (ko) 2017-11-06

Family

ID=54066923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150025777A KR101794148B1 (ko) 2014-03-26 2015-02-24 효율적인 자유 공간 손가락 인식

Country Status (5)

Country Link
US (1) US9563956B2 (ko)
KR (1) KR101794148B1 (ko)
CN (1) CN104951064B (ko)
DE (1) DE102015102679A1 (ko)
TW (1) TWI578190B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
EP2993645B1 (en) * 2014-09-02 2019-05-08 Nintendo Co., Ltd. Image processing program, information processing system, information processing apparatus, and image processing method
CN108475134A (zh) * 2015-12-21 2018-08-31 索尼公司 信息处理装置和信息处理方法
CN110838121A (zh) * 2018-08-15 2020-02-25 辽宁开普医疗系统有限公司 一种用于辅助骨龄鉴定的儿童手骨关节识别方法
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
CN109409316B (zh) * 2018-11-07 2022-04-01 极鱼（北京）科技有限公司 空中签名方法及装置
KR102660740B1 (ko) * 2020-12-28 2024-04-26 한국과학기술원 도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 방법 및 시스템
EP4400942A1 (en) * 2023-01-12 2024-07-17 ameria AG Touchless user interface control method, system, computer program and computer-readable medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011501316A (ja) * 2007-10-26 2011-01-06 本田技研工業株式会社 ラベル割当を用いた手サイン認識
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
KR101281461B1 (ko) * 2012-04-24 2013-07-03 군산대학교산학협력단 영상분석을 이용한 멀티 터치 입력 방법 및 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
CN102741782A (zh) * 2009-12-04 2012-10-17 奈克斯特控股公司 用于位置探测的方法和系统
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US8497841B1 (en) * 2012-08-23 2013-07-30 Celluon, Inc. System and method for a virtual keyboard
JP2014202951A (ja) * 2013-04-05 2014-10-27 船井電機株式会社 画像投影装置、及び操作物検出方法
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011501316A (ja) * 2007-10-26 2011-01-06 本田技研工業株式会社 ラベル割当を用いた手サイン認識
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
KR101281461B1 (ko) * 2012-04-24 2013-07-03 군산대학교산학협력단 영상분석을 이용한 멀티 터치 입력 방법 및 시스템

Also Published As

Publication number Publication date
KR20150111833A (ko) 2015-10-06
TWI578190B (zh) 2017-04-11
DE102015102679A1 (de) 2015-10-01
CN104951064A (zh) 2015-09-30
CN104951064B (zh) 2018-08-03
US20150279019A1 (en) 2015-10-01
US9563956B2 (en) 2017-02-07
TW201602840A (zh) 2016-01-16

Similar Documents

Publication Publication Date Title
KR101794148B1 (ko) 효율적인 자유 공간 손가락 인식
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
CN105493154B (zh) 用于确定增强现实环境中的平面的范围的系统和方法
US9916502B2 (en) Handling glare in eye tracking
US9661470B1 (en) Methods and systems for locating an actor within an environment
US11600115B2 (en) Barcode scanning based on gesture detection and analysis
US10019074B2 (en) Touchless input
US10083233B2 (en) Video processing for motor task analysis
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP2016532211A (ja) 物理平面のデジタル表現の拡張
JP2015184054A (ja) 同定装置、方法及びプログラム
JP6655513B2 (ja) 姿勢推定システム、姿勢推定装置、及び距離画像カメラ
CN107533637B (zh) 对有歧义的图像数据进行分类
KR20160023417A (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
US10621746B2 (en) Methods and apparatus for rapidly dimensioning an object
JP2016110492A (ja) 光学式位置情報検出装置、プログラム、対象の紐付け方法
JP2017058817A (ja) 情報処理装置、プログラム及び記録媒体
US20150370441A1 (en) Methods, systems and computer-readable media for converting a surface to a touch surface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right