KR102158096B1 - 인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치 - Google Patents

인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102158096B1
KR102158096B1 KR1020130094951A KR20130094951A KR102158096B1 KR 102158096 B1 KR102158096 B1 KR 102158096B1 KR 1020130094951 A KR1020130094951 A KR 1020130094951A KR 20130094951 A KR20130094951 A KR 20130094951A KR 102158096 B1 KR102158096 B1 KR 102158096B1
Authority
KR
South Korea
Prior art keywords
specific object
image
camera
terminal
distance
Prior art date
Application number
KR1020130094951A
Other languages
English (en)
Other versions
KR20140031105A (ko
Inventor
이진경
권동욱
김경일
김민호
이기상
이상보
진영구
최진욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/012,453 priority Critical patent/US20140062864A1/en
Priority to EP13182589.5A priority patent/EP2703954A3/en
Priority to CN201310395021.3A priority patent/CN103677255A/zh
Publication of KR20140031105A publication Critical patent/KR20140031105A/ko
Application granted granted Critical
Publication of KR102158096B1 publication Critical patent/KR102158096B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

인식 대상과의 거리 정보를 이용하여 사용자로부터 입력되는 제스처 입력을 정확하게 판별하는 동시에 상기 제스처 입력을 검출하기 위하여 필요한 전력을 효율적으로 절약할 수 있는 인식 대상으로부터의 3차원 거리 정보를 추출하는 방법 및 이를 위한 장치를 제공한다. 본 발명에 따른 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법은, 미리 설정된 범위 이내에 인식 대상이 존재하는지 여부를 판단하는 과정과, 상기 미리 설정된 범위 이내에 상기 인식 대상이 존재하는 경우, 상기 인식 대상에 대한 3D 이미지를 생성하는 과정과, 상기 3D 이미지를 이용하여 상기 인식 대상과의 거리를 계산하는 과정을 포함한다.

Description

인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치{METHOD FOR EXTRACTING THREE DIMENSIONAL DISTANCE INFORMATION FROM RECOGNITION OBJECT AND APPARATUS THEREFOR}
본 발명은 3차원 거리 정보를 추출하는 방법에 관한 것으로, 더욱 자세히는 인식 대상과의 거리 정보를 이용하여 사용자로부터 입력되는 제스처 입력을 정확하게 판별하는 동시에 상기 제스처 입력을 검출하기 위하여 필요한 전력을 효율적으로 절약할 수 있는 인식 대상으로부터의 3차원 거리 정보를 추출하는 방법 및 이를 위한 장치에 관한 것이다.
3차원 거리 정보를 추출하는 방법은 크게 능동(active) 방식과 수동(passive) 방식으로 나눌 수 있다. 능동 방식은, 3차원 거리 정보를 추출하고자 하는 장치가 상기 3차원 거리 정보를 추출하기 위한 에너지를 발사함으로써 이루어질 수 있다. 여기서 에너지는, 광파(optical wave), 초음파, 마이크로파 등이 될 수 있다. 3차원 거리 정보를 추출하고자 하는 장치는, 상기 광파를 특정 장면(scene) 또는 물체(object)에 투사하고, 투사된 장면 또는 물체를 촬영함으로써 상기 장치로부터 상기 장면 또는 물체까지의 거리를 추출한다.
반면에 수동 방식은, 3차원 거리 정보를 추출하고자 하는 장치가 에너지를 발사하지 않고 촬영된 영상만으로 3차원 거리 정보를 추출하는 방식이다. 상기 장치는 3차원 거리 정보를 추출하고자 하는 장면 또는 물체를 영상 촬영 장치를 이용하여 촬영하고, 촬영된 영상을 처리하여 상기 장치로부터 상기 장면 또는 물체까지의 거리를 추출한다.
한편 제스처 제어(Gesture control)는 사용자의 제스처를 인식하여 기기를 제어하는 기술로써 거리 정보를 이용하는 방법과 이용하지 않는 방법이 있다. 거리 정보를 이용하지 않는 방법은 촬영된 2D 영상만을 이용하여 사용자의 제스처를 인식하는 것으로, 인식하고자 하는 대상, 즉 손, 팔, 다리, 얼굴, 물체 등을 배경으로부터 잘 분리해낼 필요가 있다. 반면에 거리 정보를 이용하는 방법은, 인식하고자 하는 대상과 배경을 거리 정보를 이용해서 분리해낼 수 있을 뿐만 아니라 인식하고자 하는 대상이 형태 정보를 좀 더 정확하게 얻어낼 수 있으므로 거리 정보를 이용하지 않는 방법보다 제스처를 정확히 판별할 수 있어 좀 더 우수한 성능의 확보가 가능하다.
그에 따라 능동 방식, 즉 에너지를 발사하고, 반사된 에너지를 이용하여 거리 정보를 검출하는 방식은, 상기 거리 정보를 검출하기 위하여 지속적으로 에너지를 발사해야만 한다. 사용자의 제스처가 언제 발생할지 알 수 없으므로, 상기 3차원 거리 정보를 추출하고자 하는 장치는 사용자의 제스처 유무와 관계없이 지속적으로 에너지를 발사해야만 한다. 사용자의 제스처가 발생하지 않은 상태에서도 에너지를 지속적으로 발사한다면 불필요한 전력 낭비를 발생시킬 뿐만 아니라 그로 인하여 상기 장치의 사용 시간을 단축시키게 된다.
따라서 본 발명의 목적은 인식 대상과의 거리 정보를 이용하여 사용자로부터 입력되는 제스처 입력을 정확하게 판별하는 동시에 상기 제스처 입력을 검출하기 위하여 필요한 전력을 효율적으로 절약할 수 있는 인식 대상으로부터의 3차원 거리 정보를 추출하는 방법 및 이를 위한 장치를 제공함에 있다.
본 발명의 일 실시예에 따른 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법은, 미리 설정된 범위 이내에 인식 대상이 존재하는지 여부를 판단하는 과정과, 상기 미리 설정된 범위 이내에 상기 인식 대상이 존재하는 경우, 상기 인식 대상에 대한 3D 이미지를 생성하는 과정과, 상기 3D 이미지를 이용하여 상기 인식 대상과의 거리를 계산하는 과정을 포함한다.
본 발명의 일 실시예에 따른 3차원 거리 정보 추출 장치는, 미리 설정된 범위 이내에 인식 대상이 존재하는지 여부를 판단하는 카메라 제어부와, 상기 미리 설정된 범위 이내에 상기 인식 대상이 존재하는 경우, 상기 인식 대상에 대한 3D 이미지를 생성하는 3D 카메라와, 상기 3D 이미지를 이용하여 상기 인식 대상과의 거리를 계산하는 거리 연산부를 포함한다.
본 발명의 일 실시예에 따른 단말기는, 미리 설정된 범위 이내에 존재하는 인식 대상을 검출하는 대상 검출부와, 상기 인식 대상에 대응하는 3D 이미지를 생성하는 3D 카메라와, 상기 3D 이미지를 이용하여 상기 인식 대상과의 거리를 계산하는 거리 연산부와, 상기 3D 이미지 및 상기 인식 대상과의 거리를 기초로 상기 인식 대상의 형태에 대응하는 제스처 입력을 결정하고, 상기 제스처 입력에 따른 동작을 수행하는 제어부를 포함한다.
단말기가 제스처 입력에 대응하는 동작을 수행하는 방법은, 미리 설정된 범위 이내에 존재하는 인식 대상을 검출하는 과정과, 상기 인식 대상에 대응하는 3D 이미지를 생성하는 과정과, 상기 3D 이미지를 이용하여 상기 인식 대상과의 거리를 계산하는 과정과, 상기 3D 이미지 및 상기 인식 대상과의 거리를 기초로 상기 인식 대상의 형태에 대응하는 제스처 입력을 결정하는 과정과, 상기 제스처 입력에 따른 동작을 수행하는 과정을 포함한다.
본 발명에 따르면, 인식 대상과의 거리 정보를 이용하여 사용자로부터 입력되는 제스처 입력을 정확하게 판별하는 동시에 상기 제스처 입력을 검출하기 위하여 필요한 전력을 효율적으로 절약할 수 있는 인식 대상으로부터의 3차원 거리 정보를 추출하는 방법 및 이를 위한 장치를 제공한다.
도 1은 본 발명의 일 실시예에 따른 3차원 거리 정보 추출 장치의 구성을 나타낸 블록도,
도 2는 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 일 예를 나타낸 순서도,
도 3은 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 다른 예를 나타낸 순서도,
도 4는 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 또 다른 예를 나타낸 순서도,
도 5는 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 또 다른 예를 나타낸 순서도,
도 6은 도 1에 도시된 3차원 거리 정보 추출 장치가 포함된 단말기의 구성을 도시한 블록도,
도 7은 도 1에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 일 예를 도시한 순서도,
도 8은 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 다른 예를 도시한 순서도,
도 9a는 2D 카메라를 이용하여 인식 대상을 검출하는 단말기를 나타낸 도면,
도 9b는 근접 센서를 이용하여 인식 대상을 검출하는 단말기를 나타낸 도면,
도 10은 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 또 다른 예를 도시한 순서도,
도 11은 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 다른 예를 도시한 순서도, 그리고
도 12는 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 또 다른 예를 도시한 순서도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 거리 정보 추출 장치의 구성을 나타낸 블록도이다.
도 1을 참조하면, 3차원 거리 정보 추출 장치(100)는 대상 검출부(120), 조명부(104), 3D 카메라(106), 거리 연산부(108), 카메라 제어부(110) 및 카메라 메모리(114)를 포함할 수 있다.
대상 검출부(120)는 3D 카메라(106)가 인식 대상에 대한 3D 이미지를 인식하기 전에 상기 인식 대상을 검출한다. 대상 검출부(120)는 2D 카메라(102)로 구현될 수 있으며, 실시예에 따라 상기 2D 카메라(102) 대신에 근접 센서(112)로 구현될 수도 있다. 또한 다른 실시예에 따라 대상 검출부는 2D 카메라(102) 및 근접 센서(112)를 모두 포함하여 구현될 수도 있다. 도 1에서는 설명의 편이를 위하여 2D 카메라(102) 및 근접 센서(112)를 모두 포함하는 형태로 구현된 대상 검출부(120)를 도시하였다.
2D 카메라(102)는 미리 구비된 렌즈(미도시)를 통해 입력되는 영상을 2D 이미지로 변환함으로써 촬영 동작을 수행한다. 실시예에 따라 2D 카메라(102)는 렌즈(미도시)를 통해 입력되는 영상을 동영상으로 변환할 수도 있다.
본 실시예에 따른 2D 카메라(102)는 렌즈를 통해 입력되는 영상을 촬영하여 2D 이미지로 변환함으로써 상기 영상에 포함된 인식 대상을 촬영한다. 상기와 같이 2D 카메라(102)는 인식 대상이 포함된 2D 이미지를 생성할 수 있다.
조명부(104)는 3D 카메라(106)에 의한 촬영 동작이 수행되기 전에 3D 카메라(106)가 상기 3D 이미지를 생성할 수 있도록 하기 위한 광을 발사한다. 본 실시예에 따른 조명부(104)는 카메라 제어부(110)의 제어 하에 인식 대상의 사이즈(size)에 따라 각기 다른 광량을 가지는 광을 상기 인식 대상에 발사할 수 있다. 또한 조명부(104)는, 카메라 제어부(110)의 제어 하에 카메라 메모리(114)에 미리 설정되어 저장된 패턴을 가지는 광을 인식 대상을 향해 발사할 수 있으며, 광을 구획별로 구분하여 인식 대상으로 발사할 수 있다.
3D 카메라(106)는 인식 대상에 대한 3D 이미지를 생성한다. 조명부(104)에 의하여 광이 발사되면 3D 카메라(106)는 렌즈(미도시)를 통해 인식 대상으로부터 반사되는 반사광을 수신함으로써 3D 이미지를 생성할 수 있다.
거리 연산부(108)는 3D 카메라(106)를 통해 생성된 3D 이미지를 이용하여 인식 대상과의 거리, 즉 3차원 거리 정보 추출 장치(100) 및 인식 대상 간의 거리를 계산하고, 계산된 거리를 거리 정보로써 카메라 메모리(114)에 저장한다.
3D 카메라(106)에 의하여 생성되는 3D 이미지는, 인식 대상 즉 피사체로부터 반사되는 반사광을 수신하여 생성되므로, 인식 대상 및 3D 카메라(106) 간의 거리에 따라 3D 이미지에 포함된 인식 대상의 크기 또는 형태가 달라질 수 있다. 또한 인식 대상으로부터 반사되는 반사광이 3D 카메라(106)에 도달하는 시간은, 상기 인식 대상 및 3D 카메라(106) 간의 거리에 따라 달라질 수 있다. 본 실시예에 따른 3D 이미지에는, 조명부(104)로부터 발사된 광이 인식 대상에 의해 반사되어 3D 카메라(106)까지 돌아오는데 소요되는 시간이 시간 정보로서 포함될 수 있다.
본 실시예에 따른 거리 연산부(108)는 상기 시간 정보를 이용하여 3D 카메라(106) 및 인식 대상 간의 거리를 계산할 수 있다. 또한 3D 카메라(106)는 3차원 거리 정보 추출 장치(100)에 장착된 것이므로, 거리 연산부(108)에 의하여 계산된 거리는 실질적으로는 3차원 거리 정보 추출 장치(100) 및 인식 대상 간의 거리라 할 수 있다.
한편 3D 카메라(106)에 의하여 생성되는 3D 이미지는, 3D 카메라(106)가 인식 대상 즉 피사체로부터 반사되는 반사광을 수신하여 생성된다. 그에 따라 하나의 인식 대상이라고 할지라도 상기 인식 대상의 각도, 굴곡 등에 의하여 3D 카메라(106)에 반사광이 도달하는데 걸리는 시간은, 인식 대상의 부분별로 각기 달라지게 된다. 예를 들어, 인식 대상이 손이라고 가정하면 손가락의 첫번째 마디로부터의 반사광이 3D 카메라(106)에 도달하는데 걸리는 시간과, 접힌 상태의 손바닥으로부터의 반사광이 3D 카메라(106)에 도달하는데 걸리는 시간은 각기 다르다.
거리 연산부(108)는 상기와 같이 인식 대상의 어떤 부분에 의해 반사되었느냐에 따라 각기 달라지는 반사광의 도달 시간, 즉 인식 대상의 각 부분별 시간 정보를 기초로 3D 카메라(106)와 인식 대상 각 부분별 거리를 계산할 수도 있다.
또한 거리 연산부(108)는, 카메라 제어부(110)의 제어 하에 상기와 같이 계산된 3차원 거리 정보 추출 장치(100) 및 인식 대상의 각 부분별 거리를 거리 정보로서 카메라 메모리(114)에 저장할 수 있다.
카메라 제어부(110)는 3차원 거리 정보 추출 장치(100)의 전반적인 동작을 제어한다.
본 실시예에 따른 카메라 제어부(110)는 2D 카메라(102)를 통해 생성된 2D 이미지에 인식 대상이 포함되어 있는지 여부를 판단한다. 2D 이미지에 인식 대상이 포함된 경우, 카메라 제어부(110)는 조명부(104) 및 3D 카메라(106)를 제어하여 상기 인식 대상에 대한 3D 이미지를 생성한다. 반면에 2D 이미지에 인식 대상이 포함되어 있지 않은 경우, 카메라 제어부(110)는 조명부(104) 및 3D 카메라(106)를 구동시키지 않는다. 상기와 같이 본 발명에 따른 3차원 거리 정보 추출 장치(100)는 2D 이미지에 인식 대상이 포함되어 있을 경우에만 조명부(104) 및 3D 카메라(106)를 구동시킬 수 있다. 2D 이미지에 인식 대상이 포함되어 있을 경우에만 조명부(104) 및 3D 카메라(106)를 구동시킴으로써, 본 실시예에 따른 3차원 거리 정보 추출 장치(100)는 조명부(104) 및 3D 카메라(106)를 구동시키기 위해 필요한 전력을 절약할 수 있다.
실시예에 따라 카메라 제어부(110)는 근접 센서(112)를 통해 인식 대상이 검출되는 경우에만 조명부(104) 및 3D 카메라(106)가 구동되도록 상기 조명부(104) 및 3D 카메라(106)를 제어할 수 있다. 근접 센서(112)를 통해 인식 대상이 검출되지 않는 경우, 카메라 제어부(110)는 조명부(104) 및 3D 카메라(106)를 구동시키지 않는다. 상기와 같이 근접 센서(112)를 통해 인식 대상이 검출된 경우에만 조명부(104) 및 3D 카메라(106)를 구동시킴으로써, 본 실시예에 따른 3차원 거리 정보 추출 장치(100)는 조명부(104) 및 3D 카메라(106)를 구동시키기 위해 필요한 전력을 절약할 수 있다.
또한 다른 실시예에 따라 카메라 제어부(110)는 근접 센서(112) 및 2D 카메라(102)를 모두 이용하여 인식 대상을 검출하도록 3차원 거리 정보 추출 장치(100)를 제어할 수도 있다. 근접 센서(112)를 통해 특정 객체(object)가 검출되면, 카메라 제어부(110)는 특정 객체를 촬영하여 상기 특정 객체가 포함된 2D 이미지를 생성하도록 2D 카메라(102)를 제어한다. 카메라 제어부(110)는 2D 카메라(102)를 통해 생성된 2D 이미지를 이용하여 근접 센서(112)를 통해 검출된 상기 특정 객체가 인식 대상인지 여부를 판단한다.
2D 카메라(102)를 통해 촬영된 특정 객체가 인식 대상인 경우, 즉 2D 이미지에 인식 대상이 포함된 경우 카메라 제어부(110)는 조명부(104) 및 3D 카메라(106)를 동작시켜 상기 특정 객체에 대한 3D 이미지를 생성한다. 반면에 2D 카메라(102)를 통해 촬영된 특정 객체가 인식 대상이 아닌 경우, 즉 2D 이미지에 인식 대상이 포함되지 않은 경우 카메라 제어부(110)는 조명부(104) 및 3D 카메라(106)를 동작시키지 않는다. 상기와 같이 본 발명에 따른 3차원 거리 정보 추출 장치(100)는 대상 검출부(120)를 통해 인식 대상을 먼저 검출함으로써, 촬영하고자 하는 피사체가 인식 대상인지 여부를 알지 못하는 상태에서 조명부(104) 및 3D 카메라(106)를 작동시키는 종래에 비하여 소모 전력을 감소시킬 수 있다.
카메라 메모리(114)에는 3차원 거리 정보 추출 장치(100)의 동작을 제어하기 위한 각종 데이터가 저장된다.
본 실시예에 따른 카메라 메모리(114)에는 인식 대상을 식별하기 위한 식별 데이터가 저장될 수 있다. 예를 들어, 인식 대상이 사용자의 손가락(finger)이라고 가정한다. 카메라 메모리(114)에는 식별 데이터, 예를 들어 손가락을 포함하는 각종 이미지 또는 손가락의 특징 판별자(feature descriptor)들이 미리 저장되어 있을 수 있다. 카메라 제어부(110)는 2D 카메라(102)를 통해 생성된 2D 이미지를 상기 식별 데이터와 비교한다. 카메라 제어부(110)는 상기 비교 결과에 따라 사용자의 손가락 이미지가 포함된 경우에 상기 2D 이미지에 인식 대상이 포함되어 있다고 결정한다. 이때 손가락의 특징 판별자는 인식 대상이 손가락인지 여부를 판단하기 위하여 손가락의 모양(예를 들어, 지문의 유무, 손톱의 유무, 손가락의 형태) 등을 판별할 수 있도록 하기 위한 특징자일 수 있다.
실시예에 따라 인식 데이터는 사용자에 의해 미리 입력되어 저장된 데이터일 수 있다. 2D 카메라(102)는, 예를 들어 사용자의 손 이미지를 촬영하여 생성한 2D 이미지를 인식 데이터로서 카메라 메모리(114)에 저장할 수 있다.
실시예에 따라 카메라 메모리(114)에는 인식 대상의 사이즈에 따른 조명부(104)로부터의 요구 광량이 저장될 수 있다. 예를 들어, 카메라 제어부(110)는 카메라 메모리(114)를 참조하여 2D 이미지에 포함된 인식 대상의 사이즈가 레벨 1~10이면 레벨 1의 광량, 사이즈가 11~20이면 레벨 2의 광량, 사이즈가 21~30이면 레벨 3의 광량을 가지는 광을 발사하도록 조명부(104)를 제어할 수 있다.
도 2는 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 일 예를 나타낸 순서도이다.
도 2를 참조하면, 먼저 3차원 거리 정보 추출 장치(100)는 2D 카메라(102)를 이용하여 적어도 하나의 객체(object)를 촬영함으로써 2D 이미지를 생성한다(S202). 2D 이미지가 생성되면, 카메라 제어부(110)는 상기 2D 이미지에 인식 대상(예를 들어, 사용자의 손)이 포함되었는지 여부를 판단한다(S204).
단계 S204의 판단 결과, 2D 이미지에 인식 대상이 포함되어 있지 않으면(S204: 아니오), 2D 카메라(102)는 지속적으로 적어도 하나의 객체를 촬영함으로써 2D 이미지를 생성할 수 있다. 실시예에 따라 카메라 제어부(110)는 인식 대상에 대응하는 이미지, 예를 들어 상기 인식 대상이 포함된 2D 이미지가 생성될 때까지 촬영을 계속하도록 2D 카메라(102)를 제어할 수 있다. 다른 실시예에 따라 카메라 제어부(110)는, 미리 저장된 시간마다(예를 들어, 1분마다) 촬영을 반복하여 2D 이미지를 지속적으로 생성하도록 2D 카메라(102)를 제어할 수도 있다.
또한 실시예에 따라 카메라 제어부(110)는 카메라 메모리(114)에 미리 설정되어 저장된 기준 시간(예를 들어, 1초) 동안 촬영된 복수 개의 2D 이미지들에 인식 대상이 모두 포함되어 있는지 여부를 판단할 수 있다. 기준 시간 동안 촬영된 2D 이미지들 모두에 인식 대상이 포함된 것이 아닌 경우, 카메라 제어부(110)는 인식 대상이 2D 카메라(102)에 포함된 렌즈의 화각 범위에 존재하지 않은 것으로 결정하여 상기 2D 카메라(102)의 동작을 종료시킬 수 있다.
단계 S204의 판단 결과, 2D 이미지에 인식 대상이 포함된 경우(S204: 예), 카메라 제어부(110)는 조명부(104)를 제어하여 인식 대상과의 거리, 즉 인식 대상과 3차원 거리 정보 추출 장치(100) 간의 거리를 측정하기 위한 광을 발사한다(S206). 상기와 같이 조명부(104)로부터 광이 발사되면, 3D 카메라(106)가 인식 대상을 촬영하여 3D 이미지를 생성한다(S208). 단계 S206에서 발사된 광은 인식 대상에 의해 반사되고, 3D 카메라(106)의 촬영 센서(미도시)는 인식 대상으로부터 반사된 반사광을 수신함으로써 상기 인식 대상을 촬영한다. 본 실시예에서의 단계 S208에서의 3D 카메라(106)의 촬영은, 인식 대상으로부터 반사된 반사광을 수신하고, 수신한 반사광을 3D 이미지로 변환 처리함으로써 이루어질 수 있다.
3D 카메라(106)를 통해 인식 대상에 대응하는 3D 이미지가 생성되면, 거리 연산부(108)는 상기 3D 이미지를 이용하여 인식 대상과의 거리를 계산한다(S210). 이로써 3차원 거리 정보 추출 장치(100)는, 상기 3차원 거리 정보 장치(100)와 인식 대상 간의 거리를 알 수 있게 된다.
도 3은 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 다른 예를 나타낸 순서도이다.
도 3을 참조하면, 먼저 근접 센서(112)를 이용하여 인식 대상을 검출한다(S302). 본 실시예에 따른 근접 센서(112)는, 상기 근접 센서(112)로부터 미리 설정된 범위(예를 들어, 반경 10cm 이내)에 인식 대상이 진입하는 것을 검출할 수 있다.
인식 대상이 검출되면, 카메라 제어부(110)는 조명부(104)를 제어하여 인식 대상과의 거리, 즉 인식 대상과 3차원 거리 정보 추출 장치(100) 간의 거리를 측정하기 위한 광을 발사한다(S304). 상기와 같이 조명부(104)로부터 광이 발사되면, 3D 카메라(106)가 인식 대상을 촬영하여 3D 이미지를 생성한다(S306).
단계 S304에서 조명부(104)로부터 발사된 광은 인식 대상에 의해 반사되고, 3D 카메라(106)의 촬영 센서(미도시)는 인식 대상으로부터 반사된 반사광을 수신한다. 본 실시예에 따른 단계 S306에서 3D 카메라(106)는, 상기 3D 카메라(106)가 인식 대상으로부터 반사된 반사광을 수신하고, 수신한 반사광을 3D 이미지로 변환 처리함으로써 이루어질 수 있다.
3D 카메라(106)를 통해 인식 대상이 포함된 3D 이미지가 생성되면, 거리 연산부(108)는 상기 3D 이미지를 이용하여 인식 대상과의 거리, 즉 3차원 거리 정보 추출 장치(100)와 인식 대상 간의 거리를 계산한다(S308).
도 4는 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 또 다른 예를 나타낸 순서도이다.
도 4를 참조하면, 3차원 거리 정보 추출 장치(100)는 근접 센서(112)를 이용하여 상기 근접 센서(112)의 센싱 범위(예를 들어, 반경 10cm 이내) 내에 진입한 객체(object)를 검출한다(S402). 객체가 검출되면, 카메라 제어부(110)는 2D 카메라(102)를 작동시켜서 상기 객체를 촬영함으로써, 상기 객체가 포함된 2D 이미지를 생성한다(S404).
단계 S402에서 근접 센서(112)를 통해 검출된 객체는 인식 대상이 아닐 수도 있다. 인식 대상이 아닌 경우에는 상기 객체가 포함된 3D 이미지를 생성할 필요가 없다. 따라서 상기 객체가 포함된 3D 이미지를 생성하기에 앞서, 본 실시예에 따른 3차원 거리 정보 추출 장치(100)는 근접 센서(112)를 통해 검출된 객체가 인식 대상인지 여부를 먼저 판단한다. 단계 S402에서 검출된 객체가 인식 대상인지 여부를 판단하기 위하여 카메라 제어부(110)는, 단계 S404에서 상기 객체를 촬영하여 상기 객체에 대응하는 2D 이미지, 예를 들어 상기 객체가 포함된 2D 이미지를 생성하도록 2D 카메라(102)를 제어할 수 있다. 단계 S402에서 검출된 객체에 대응하는 2D 이미지가 생성되면, 카메라 제어부(110)는 상기 2D 이미지에 인식 대상(예를 들어, 사용자의 손)이 포함되었는지 여부를 판단한다(S406).
단계 S406의 판단 결과, 2D 이미지에 인식 대상이 포함되어 있지 않으면(S406: 아니오), 카메라 제어부(110)는 근접 센서(112)가 다시 근접 센싱을 수행하여 센싱 범위 내에 진입한 다른 객체를 검출하도록 제어한다(S402).
다른 실시예에 따라 카메라 제어부(110)는 카메라 메모리(114)에 미리 설정되어 저장된 기준 시간(예를 들어, 1분) 동안 특정 객체(예를 들어, 사용자의 손)가 검출되지 않는 경우, 인식 대상이 근접 센서(112)의 센싱 범위 내에 진입하지 않는 것으로 결정할 수 있다. 또한 상기 센싱 범위 내에 인식 대상이 진입하지 않은 것으로 결정되면, 카메라 제어부(110)는 근접 센서(112)의 동작을 종료시킬 수 있다.
단계 S406의 판단 결과, 2D 이미지에 인식 대상이 포함된 경우(S406: 예), 카메라 제어부(110)는 조명부(104)를 제어하여 인식 대상과의 거리, 즉 인식 대상과 3차원 거리 정보 추출 장치(100) 간의 거리를 측정하기 위한 광을 발사한다(S408). 상기와 같이 조명부(104)로부터 광이 발사되면, 3D 카메라(106)는 인식 대상을 촬영하여 상기 인식 대상에 대응하는 3D 이미지를 생성한다(S410). 3D 카메라(106)를 통해 인식 대상에 대응하는 3D 이미지가 생성되면, 거리 연산부(108)는 상기 3D 이미지를 이용하여 인식 대상과의 거리를 계산한다(S412).
도 5는 도 1에 도시된 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법의 또 다른 예를 나타낸 순서도이다.
도 5를 참조하면, 먼저 2D 카메라(102)가 적어도 하나의 객체를 촬영함으로써 상기 객체에 대응하는 2D 이미지, 예를 들어 상기 객체가 포함된 2D 이미지를 생성한다(S502). 2D 이미지가 생성되면, 카메라 제어부(110)는 상기 2D 이미지에 인식 대상(예를 들어, 사용자의 손)이 포함되었는지 여부를 판단한다(S504).
단계 S504의 판단 결과, 2D 이미지에 인식 대상이 포함되어 있지 않으면(S504: 아니오), 2D 카메라(102)는 지속적으로 적어도 하나의 객체를 촬영함으로써 2D 이미지를 생성할 수 있다. 실시예에 따라 카메라 제어부(110)는 인식 대상이 포함된 2D 이미지가 생성될 때까지 촬영을 계속하도록 2D 카메라(102)를 제어할 수도 있다.
단계 S504의 판단 결과, 2D 이미지에 인식 대상이 포함된 경우(S504: 예), 카메라 제어부(110)는 2D 이미지에 포함된 인식 대상의 사이즈를 기초로 조명부(104)에서 발사할 광의 광량을 결정한다(S506).
본 실시예에서 카메라 제어부(110)는 단계 S502에서 생성된 2D 이미지를 이용하여 3차원 거리 정보 추출 장치(100)와 인식 대상 간의 대략적인 거리를 결정할 수 있다. 예를 들어, 2D 카메라(102)를 통해 생성되는 2D 이미지의 총 화소수가 '800×600' 픽셀, 즉 48만 픽셀이라고 가정한다. 카메라 메모리(114)에는 아래 표 1과 같이, 인식 대상의 사이즈별로 인식 대상과 3차원 거리 정보 추출 장치(100) 간의 거리, 거리별로 3D 이미지를 생성하기 위해 조명부(104)에 요구되는 요구 광량 등이 저장되어 있을 수 있다.
인식 대상 사이즈(pixel) 인식 대상과의 거리 요구 광량
10,001 ~ 50,000 1.1 ~ 3.0 Level 1
50,001 ~ 100,000 3.1 ~ 6.0 Level 2
100,001 ~ 150,000 6.1 ~ 9.0 Level 3
150,001 ~ 200,000 9.1 ~ 12.0 Level 4
... ... ...
표 1을 예로 들어 설명하면, 단계 S502에서 생성된 2D 이미지에 포함된 인식 대상의 사이즈가 12만 픽셀이라고 가정하면 상기 인식 대상과 3차원 거리 정보 추출 장치(100) 간의 거리는 6.1~9.0cm가 된다. 또한 상기 6.1~9.0cm 사이에 위치한 인식 대상에 대응하는 3D 이미지를 획득하기 위해 조명부(104)에서 발사될 광의 요구 광량은 Level 3이 된다. 본 실시예에 따른 카메라 제어부(110)는 상기 표 1과 같이 카메라 메모리(114)에 미리 설정되어 저장되어 있는 정보를 이용하여 조명부(104)에서 발사할 광의 광량을 결정할 수 있다.
조명부(104)에서 발사할 광의 광량이 결정되면, 조명부(104)는 인식 대상과의 거리, 즉 3차원 거리 정보 추출 장치(100)와 인식 대상 간의 거리를 측정하기 위해 상기 단계 S506에서 결정된 광량의 광을 인식 대상을 향해 발사한다(S508). 조명부(104)로부터 광이 발사되면, 3D 카메라(106)는 인식 대상을 촬영하여 상기 인식 대상에 대응하는 3D 이미지를 생성한다(S510). 단계 S508에서 발사된 광은 인식 대상에 의해 반사되고, 3D 카메라(106)의 촬영 센서(미도시)는 인식 대상으로부터 반사된 반사광을 수신하여 변환함으로써 3D 이미지를 생성할 수 있다.
3D 카메라(106)를 통해 인식 대상에 대응하는 3D 이미지, 예를 들어 인식 대상이 포함된 3D 이미지가 생성되면, 거리 연산부(108)는 상기 3D 이미지를 이용하여 인식 대상과의 거리를 계산한다(S512).
도 6은 도 1에 도시된 3차원 거리 정보 추출 장치가 포함된 단말기의 구성을 도시한 블록도이다.
도 6에 도시된 바와 같이, 3차원 거리 정보 추출 장치(100)의 각 구성 요소는 단말기(600)에 내장된 형태로 구현될 수 있다. 도 6을 참조하면, 단말기(600)는 2D 카메라(102) 및 근접 센서(112)를 포함하는 대상 검출부(120), 조명부(104), 3D 카메라(106), 거리 연산부(108), 카메라 제어부(110), 카메라 메모리(114), 사용자 입력부(604), 디스플레이부(606), 메모리(608), 제어부(610)을 포함하며, 통신 인터페이스(602)를 더 포함할 수 있다.
도 6에서는 설명의 편이를 위하여 대상 검출부(120)가 2D 카메라(102) 및 근접 센서(112)를 모두 포함된 형태로 도시하였으나, 실시예에 따라 대상 검출부(120)는 2D 카메라(102) 및 근접 센서(112) 중 적어도 하나를 포함하여 구현될 수 있다. 또한 카메라 제어부(110)는 제어부(610)에 포함된 형태로 구현될 수 있고, 카메라 메모리(114)는 메모리(608)에 포함된 형태로 구현될 수 있다.
통신 인터페이스(602)는 단말기(600)의 유선 또는 무선 통신을 수행한다. 본 실시예에 따른 통신 인터페이스(602)는 예를 들어, 블루투스, 와이파이 등의 근거리 무선 통신을 수행할 수 있다. 또한 통신 인터페이스(602)는 유선 또는 무선 통신을 수행하여 인식 대상을 식별하기 위한 식별 데이터를 수신할 수 있다.
실시예에 따라 통신 인터페이스(602)는, 타 단말기로부터 호(call)를 수신하거나 또는 메시지(예를 들어, SMS(Short message service))를 수신할 수 있다.
사용자 입력부(604)는 사용자로부터의 입력을 수신한다. 본 실시예에 따른 사용자 입력부(604)는 단말기(600)와 인식 대상 간의 거리를 측정하기 위한 사용자 입력을 수신할 수 있다. 또한 사용자 입력부(604)는 제스처 입력을 수신하기 위한 사용자 입력을 수신할 수 있다.
본 실시예에서 '제스처 입력'은 예를 들어 사용자가 손을 이용하여 단말기(600)를 제어하기 위한 특정 제스처를 취함으로써 입력되는 사용자 입력을 의미한다. 즉, 사용자는 손을 이용하여 메모리(608)에 미리 설정되어 저장되어 있는 제스처 입력들 중 어느 하나에 해당하는 제스처를 취함으로써, 단말기(600)에 제스처 입력을 입력할 수 있다. 실시예에 따라 사용자는 단말기(600)의 3차원 거리 정보 추출 장치(100)를 구동시키고, 3차원 거리 정보 추출 장치(100)에 포함된 2D 카메라(102) 또는 3D 카메라(106)의 렌즈를 향해 제스처를 취함으로써 상기 제스처 입력을 단말기(600)에 입력할 수도 있다. 본 실시예에 따른 단말기(600)는 사용자로부터 제스처 입력을 수신하기 위한 사용자 입력, 즉 3차원 거리 정보 추출 장치(100)를 구동시키기 위한 사용자 입력을 수신하여 상기 3차원 거리 정보 추출 장치(100)를 구동시킬 수 있다.
디스플레이부(606)는 단말기(600)에 저장된 각종 데이터를 표시한다. 실시예에 따라 디스플레이부(606)는 사용자로부터 입력되는 제스처 입력을 실시간으로 표시할 수 있다. 또한 단말기(600)가 상기 제스처 입력에 대응하는 동작을 수행하기 위한 각종 데이터를 표시할 수 있다. 예를 들어, 제스처 입력이 메모리(608)에 저장된 동영상 파일을 재생하기 위한 것이라면, 디스플레이부(606)는 제어부(610)의 제어 하에 상기 동영상을 재생하여 표시할 수 있다.
메모리(608)에는 단말기(600)를 제어하기 위한 각종 데이터가 저장된다. 본 실시예에 따른 메모리(608)에는 복수 개의 제스처 입력들 및 상기 제스처 입력들 각각에 대응하는 명령어 또는 단말기(600)의 동작이 저장될 수 있다.
제어부(610)는 단말기(600)의 전반적인 동작을 제어한다. 본 실시예에 따른 제어부(610)는 3차원 거리 정보 추출 장치(100)의 카메라 제어부(110)를 포함하여 구현됨으로써 카메라 제어부(110)에 의해 실행되는 각종 동작을 수행할 수 있다. 제어부(610)는 3D 카메라(106)를 통해 생성된 3D 이미지 및 거리 연산부(108)를 통해 생성된 거리 정보를 기초로 인식 대상의 형태를 결정하고, 상기 인식 대상의 형태에 대응하는 제스처 입력을 결정할 수 있다. 또한 제스처 입력이 결정되면, 제어부(608)는 해당 제스처 입력에 대응하는 단말기(600)의 동작을 결정하여 수행한다.
다른 실시예에 따라 제어부(610)는 상기 3D 이미지만으로 상기 인식 대상의 형태를 결정할 수도 있다. 3D 카메라(106)를 통해 생성된 3D 이미지만으로 인식 대상의 형태를 결정한 경우에도 제어부(610)는 상기 3D 이미지에 대응하는 제스처 입력을 결정할 수 있다. 또한 상기 제스처 입력에 따른 동작을 수행하도록 단말기(600)를 제어할 수 있다.
실시예에 따라 제어부(610)는 단말기(600)의 상태에 따라 3차원 거리 정보 추출 장치(100)의 구동하여 동작 인식 기능을 실행할 것인지 여부를 결정할 수 있다. 단말기(600)가 대기(standby) 상태를 유지하고 있는 경우, 또는 레디(ready) 상태를 유지하고 있는 경우에 제어부(610)는 동작 인식 기능을 실행할 것인지 여부를 결정한다.
동작 인식 기능은, 단말기(600)가 3차원 거리 정보 추출 장치(100)를 이용하여 단말기(600)로 입력되는 사용자의 제스처를 제스처 입력으로서 인식할 수 있는 기능을 가리킨다. 대기 상태는, 단말기(600)의 전원이 온되어 있기는 하지만, 단말기(600) 내에 별도의 이벤트(예를 들어, 사용자 입력이 입력되지 않은 상태 등)가 발생하지 않은 상태를 가리킨다. 레디 상태는, 단말기(600)가 동작 인식 기능 이외의 다른 기능을 실행하고 있는 상태를 가리킨다. 예를 들어, 단말기(600)가 메시지 송수신, 인터넷 접속, e-book 표시, 음악 재생, 게임 실행 등의 동작을 하고 있다면, 상기 단말기(600)는 레디 상태이다.
실시예에 따라 제어부(610)는 단말기(600)에 웨이크 업 이벤트가 발생하였는지 여부를 판단할 수 있다. 예를 들어, 대기 상태를 유지하고 있던 단말기(600)가 호를 수신하였거나 또는 메시지를 수신한 경우, 제어부(610)는 웨이크 업 이벤트가 발생한 것으로 결정할 수 있다. 또한 대기 상태를 유지하던 단말기(600)가 사용자 입력부(604)를 통해 사용자 입력을 수신한 경우에도, 제어부(610)는 웨이크 업 이벤트가 발생한 것으로 결정할 수 있다. 이때 사용자 입력은, 동작 인식 기능을 실행하기 위한 사용자 입력, 상기 동작 인식 기능 외의 다른 기능을 실행하기 위한 사용자 입력 등이 될 수 있다. 또한 웨이크 업 이벤트가 발생되면, 단말기(600)의 상태는, 제어부(610)의 제어 하에 대기 상태에서 레디 상태로 전환될 수 있다.
상기와 같이 단말기(600)에 웨이크 업 이벤트가 발생되면, 제어부(610)는 3차원 거리 정보 추출 장치(100)를 구동하여 사용자로부터 제스처 입력을 입력받을 수 있도록 단말기(600)를 제어할 수 있다. 제스처 입력이 입력되면, 제어부(610)는 상기 제스처 입력에 대응하는 동작을 수행하도록 단말기(600)를 제어한다.
단말기(600)가 레디 상태를 유지하고 있는 경우에도 제어부(610)는 동작 인식 기능의 실행 여부를 결정할 수 있다. 실시예에 따라 사용자 입력부(604)로부터 동작 인식 기능을 실행시키기 위한 사용자 입력이 입력된 경우, 제어부(610)는 동작 인식 기능을 실행하도록 단말기(600)를 제어할 수 있다. 또한 단말기(600)가 대기 상태에서 레디 상태로 전환된 경우에도 제어부(610)는 동작 인식 기능을 실행시킬 수 있다.
실시예에 따라 단말기(600)가 레디 상태인 경우에, 제어부(610)는 동작 인식 기능을 실행시키기 위한 사용자 입력이 입력되었는지 여부를 판단할 수 있다. 상기 사용자 입력이 입력된 경우, 제어부(610)는 동작 인식 기능을 실행하도록 단말기(600)를 제어한다. 예를 들어, 단말기(600)는 음악 파일을 재생 중인 상태에서, 사용자로부터 동작 인식 기능을 실행시키기 위한 사용자 입력을 수신할 수 있다. 상기와 같은 사용자 입력이 입력되면, 제어부(610)는 사용자로부터 제스처 입력을 입력받기 위하여 3차원 거리 정보 추출 장치(100)를 실행시킬 수 있다.다른 실시예에 따라 단말기(600)가 레디 상태인 경우에, 대상 추출부(120)로부터 미리 설정된 범위 이내(예를 들어, 단말기(600)로부터 전방 10cm 이내)에 인식 대상이 진입하였는지 여부를 판단할 수 있다. 인식 대상이 상기 설정된 범위 이내에 진입한 경우, 제어부(610)는 동작 인식 기능을 실행하도록 단말기(600)를 제어할 수 있다.
레디 상태에서, 예를 들어 2D카메라(102)의 렌즈의 화각 범위에 인식 대상(예를 들어, 사용자의 손)이 진입하였거나 또는 근접 센서(112)에 인식 대상이 검출된 경우, 제어부(610)는 동작 인식 기능을 실행하도록 단말기(600)를 제어할 수 있다. 즉 본 실시예에 따른 단말기(600)는, 예를 들어 음악 파일을 재생하는 동시에 사용자로부터 제스처 입력을 수신할 수 있다. 실시예에 따라 제어부(610)는 2D 카메라(102)의 렌즈의 화각 범위 내에 인식 대상이 메모리(608)에 미리 저장된 시간(예를 들어 1초) 이상 존재하는 경우, 동작 인식 기능을 실행하도록 단말기(600)를 제어할 수 있다. 또한 제어부(610)는 인식 대상이 근접 센서(112)에 의해 미리 저장된 시간 이상(예를 들어, 1초) 이상 지속적으로 감지되는 경우 동작 인식 기능을 실행하도록 단말기(600)를 제어할 수 있다.
예를 들어, 단말기(600)가 음악 파일을 재생 중인 레디 상태인 것으로 가정한다. 사용자는 2D 카메라(102)의 렌즈의 화각 범위 내에 1초 이상 인식대상, 즉 손이 존재하도록 제스처를 취할 수 있다. 2D 카메라(102)는 인식 대상을 검출하고, 제어부(610)는 동작 인식 기능을 실행하도록 단말기(600)를 제어할 수 있다. 동작 인식 기능을 실행되면, 단말기(600)는 사용자로부터 제스처 입력을 입력받는다. 단말기(600)가 음악 파일을 재생 중이므로, 사용자는 음악 파일의 재생과 연관된 제스처 입력을 단말기(600)로 입력할 수 있다. 예를 들어, 사용자는 제스처 입력으로서 재생(play), 일시정지(pause), 빨리감기(forward), 되감기(rewind), 멈춤(stop) 등을 단말기(600)로 입력할 수 있다. 또한 사용자는 상기 음악 파일의 재생과 무관한 제스처 입력을 단말기(600)로 입력할 수도 있다. 예를 들어, 음악 파일이 재생되고 있는 레디 상태에서 단말기(600)는 타 어플리케이션(예를 들어, 인터넷 브라우저, 게임, e-book, 호 발신 등)의 실행을 위한 제스처 입력을 사용자로부터 입력받을 수 있다. 이와 같은 경우, 제어부(610)는 음악 파일을 재생하는 동시에 타 어플리케이션을 구동하도록 단말기(600)를 제어한다.
대기 상태 또는 레디 상태에서 제어부(610)는 미리 정해진 시간(예를 들어, 2초)마다 인식 대상을 검출하도록 3차원 거리 정보 추출 장치(100)를 제어할 수 있다. 또한 인식 대상이 검출된 경우, 상기 인식 대상이 미리 정해진 시간(예를 들어, 1초) 이상 3차원 거리 정보 추출 장치(100)의 인식 범위 내에 머무르는지 여부를 결정할 수 있다. 인식 대상이 미리 정해진 시간 이상 인식 범위 내에 머무르면, 제어부(610)는 사용자가 제스처 입력을 입력하고자 하는 것으로 간주하여 인식 대상 기능을 실행시킨다. 인식 범위는, 2D 카메라(102)의 렌즈의 화각 또는 근접 센서(112)에 의 인식 대상이 검출될 수 있는 범위를 가리킨다.
실시예에 따라 제어부(610)는 2D 카메라(102)를 이용하여 사용자가 단말기(600)의 디스플레이부(606)를 응시하는지 여부를 판단하여, 응시하는 경우에 동작 인식 기능을 실행하도록 단말기(600)를 제어할 수도 있다. 2D 카메라(102)가 단말기(600)의 사용자와 마주보는 형태로 구현되는 경우, 사용자의 얼굴은 2D 카메라(102)의 화각 범위 내에 위치할 수 있다. 또한 2D 카메라(102)는 상기 렌즈를 통해 사용자의 얼굴을 입력받아 2D 이미지(이하, 얼굴 이미지)로 변환할 수 있다. 제어부(610)는 얼굴 이미지에 포함된 사용자의 얼굴 모양(pose) 또는 눈동자의 움직임 등에 따라 단말기(600)의 동작을 제어할 수 있다. 예를 들어, 얼굴 이미지에 포함된 사용자의 눈이 감겨져 있는 경우 제어부(610)는 단말기(600)의 전원을 오프시킬 수 있고, 얼굴 이미지에 포함된 눈동자가 아래로 움직이는 경우 디스플레이부(606)의 스크롤을 아래로 내릴 수 있다.
도 7은 도 1에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 일 예를 도시한 순서도이다.
도 7을 참조하면, 단말기(600)의 제어부(610)는 2D 이미지를 이용하여 인식 대상을 검출한다(S702). 이를 위하여 제어부(610)는 2D 인식 대상을 촬영함으로써 상기 특정 객체에 대응하는 2D 이미지를 생성하도록 2D 카메라(102)를 제어할 수 있다. 제어부(610)는 카메라 제어부(110)를 포함하여 구현될 수 있으므로, 2D 카메라(102)에 의해 생성된 2D 이미지, 즉 특정 객체에 대응하는 2D 이미지가 인식 대상에 대응하는 2D 이미지인지 여부를 판단할 수 있다. 제어부(610)는 상기 2D 이미지에 인식 대상이 포함되어 있는지 여부를 결정함으로써, 상기 2D 이미지가 인식 대상에 대응하는 2D 이미지인지 여부를 결정할 수 있다. 상기 2D 이미지가 인식 대상을 포함하는 경우, 제어부(610)는 조명부(104) 및 3D 카메라(106)를 제어하여 상기 인식 대상에 대응하는 3D 이미지를 생성한다(S704).
제어부(610)는 거리 연산부(108)를 제어하여 상기 3D 이미지를 이용하여 인식 대상과의 거리, 즉 단말기(600)와 인식 대상 간의 거리를 계산한다(S706). 단계 S706에서 거리 연산부(108)를 통해 계산되는 거리는 3D 카메라(106)와 인식 대상 간의 거리로써, 실질적으로는 상기 3D 카메라(106)가 설치된 단말기(600)와 인식 대상 간의 거리가 될 수 있다. 거리 연산부(108)는 3D 카메라(106)와 인식 대상 간의 거리를 계산하고, 계산된 거리값을 포함하는 거리 정보를 생성한다. 또한 거리 연산부(108)는 상기 거리 정보를 카메라 메모리(114)에 저장할 수 있다.
단말기(600)의 제어부(610)는 거리 정보 및 3D 이미지를 기초로 하여 3D 카메라(106)에 의해 촬영된 인식 대상의 형태, 인식 대상의 제스처를 결정할 수 있다. 제어부(610)는 인식 대상의 제스처에 대응하는 제스처 입력을 결정한다(S708).
본 실시예에 따른 제어부(610)는 메모리(608)에 미리 설정되어 저장된 제스처 입력들과 3D 카메라(106)에 의해 촬영된 인식 대상의 형태, 즉 제스처를 비교하여 상기 제스처와 동일한(또는 유사한) 형태를 가지는 제스처 입력이 메모리(608)에 존재하는지 여부를 판단할 수 있다. 메모리(608)에 미리 설정되어 저장되어 있던 제스처 입력들 중 인식 대상의 제스처와 동일한 형태를 가지는 제스처 입력이 저장되어 있으면, 제어부(610)는 상기 인식 대상의 제스처를 제스처 입력으로 결정할 수 있다. 반면에 메모리(608)에 인식 대상의 제스처와 동일한 형태를 가지는 제스처 입력이 저장되어 있지 않다면, 인식 대상의 제스처는 제스처 입력이 아닌 것으로 결정될 수 있다. 인식 대상의 제스처가 제스처 입력이 아닌 것으로 판명되면, 제어부(610)는 별도의 동작을 수행하지 않도록 단말기(600)를 제어할 수도 있다.
상기와 같이 제어부(610)는 3D 카메라(106)에 의해 촬영된 인식 대상의 형태, 즉 인식 대상의 제스처가 미리 설정되어 있던 제스처 입력 중 하나인지를 여부를 결정한다. 또한 상기 인식 대상의 제스처가 미리 설정되어 있던 제스처 입력 중 하나로 결정되면, 제어부(610)는 메모리(608)를 검색하여 상기 제스처 입력에 대응하는 명령어(command) 또는 단말기(600)의 동작을 결정할 수 있다.
단계 S708에서 인식 대상의 제스처에 대응하는 제스처 입력이 결정되면, 제어부(610)는 상기 제스처 입력에 대응하는 동작을 결정하여 수행한다(S710).
도 8은 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 다른 예를 도시한 순서도이다.
도 8을 참조하면, 단말기(600)의 제어부(610)는 근접 센서(112)를 통해 인식 대상을 검출한다(S802). 도 6에 도시되어 있듯이 단말기(600)의 제어부(610)는 카메라 제어부(110)를 포함하여 구현될 수 있으므로, 근접 센서(112)에 의해 검출된 인식 대상을 확인할 수 있다. 상기와 같이 근접 센서(112)에 의해 인식 대상이 검출되면, 제어부(610)는 조명부(104) 및 3D 카메라(106)를 제어하여 상기 인식 대상에 대응하는 3D 이미지를 생성한다(S804).
제어부(610)는 거리 연산부(108)를 제어하여 3D 이미지를 이용하여 인식 대상과의 거리, 즉 단말기(600)과 인식 대상 간의 거리를 계산한다(S806). 상기 3D 카메라(106)와 인식 대상 간의 거리는 거리 정보로써 카메라 메모리(114)에 저장될 수 있다. 단말기(600)의 제어부(610)는 거리 정보 및 3D 이미지를 기초로 하여 3D 카메라(106)에 의해 촬영된 인식 대상의 형태를 결정한다. 제어부(610)는 상기 인식 대상의 형태, 즉 인식 대상의 제스처에 대응하는 제스처 입력을 결정한다(S808). 제스처 입력이 결정되면, 제어부(610)는 상기 제스처 입력에 대응하는 동작을 결정하여 수행한다(S810).
도 9a는 2D 카메라를 이용하여 인식 대상을 검출하는 단말기를 나타낸 도면이고, 도 9b는 근접 센서를 이용하여 인식 대상을 검출하는 단말기를 나타낸 도면이다. 도 9a 및 도 9b의 조명부(104), 3D 카메라(106), 도 9a의 2D 카메라(102), 도 9b의 근접 센서(112)는 모두 단말기(600)의 정면에 배치되는 것으로 가정한다.
도 9a를 참조하면, 인식 대상인 사용자의 손(900)은 2D 카메라(102)에 의해 생성된 2D 이미지를 통하여 먼저 검출될 수 있다. 사용자의 손(900)이 검출되면, 단말기(600)의 조명부(104)는 상기 손(900)에 대응하는 3D 이미지, 예를 들어 상기 손(900)이 포함된 3D 이미지를 생성하기 위하여 광(실선으로 도시함)을 발사한다. 조명부(104)로부터 발사된 광은 인식 대상인 손(900)에 의하여 반사되고, 손(900)에 의하여 반사된 반사광(점선으로 도시함)은 3D 카메라(106)로 입력된다. 3D 카메라(106)는 손(900)에 의하여 반사된 반사광을 수신하여 손(900)에 대한 3D 이미지를 생성한다.
도 9b를 참조하면, 인식 대상인 사용자의 손(900)은 근접 센서(112)에 의해 먼저 검출된다. 사용자의 손(900)이 검출되면, 단말기(600)의 조명부(104)는 상기 손(900)에 대한 3D 이미지를 생성하기 위하여 광(실선으로 도시함)을 발사한다. 조명부(104)로부터 발사된 광은 인식 대상인 손(900)에 의하여 반사되고, 손(900)에 의하여 반사된 반사광(점선으로 도시함)은 3D 카메라(106)로 입력된다. 3D 카메라(106)는 손(900)에 의하여 반사된 반사광을 수신하여 손(900)에 대응하는 3D 이미지를 생성한다.
도 10은 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 일 예를 도시한 순서도이다.
도 10을 참조하면, 단말기(600)는 대기 상태를 유지하고 있다가(S1002) 웨이크 업(wake-up) 이벤트가 발생되면(S1004), 3차원 거리 정보 추출 장치(100)의 대상 검출부(120)를 구동하여 인식 대상을 검출한다(S1006).
본 실시예에서 웨이크 업 이벤트는, 대기 상태를 유지하고 있던 단말기(600)의 상태를 변경시켜주는 이벤트를 가리킨다. 웨이크 업 이벤트는, 예를 들어 사용자로부터의 키 입력 또는 터치 입력을 수신하는 것, 단말기(600)가 호(Call)를 수신하거나 또는 메시지를 수신하는 것 등을 가리킨다. 본 실시예에서 3차원 거리 정보 추출 장치(100)는, 웨이크 업 이벤트가 발생되기 전 즉, 단말기(600)가 대기 상태인 경우에는 거리 검출을 위한 동작(예를 들어, 2D 카메라(102)의 작동, 근접 센서(112)의 작동, 조명부(104)의 광 발사 동작, 3D 카메라(106)의 작동 등)을 수행하지 않을 수 있다.
실시예에 따라 단계 S1006에서, 단말기(600)는 대상 검출부(120)의 2D 카메라(102)를 이용하여 인식 대상을 검출할 수 있다. 그에 따라 단말기(600)의 제어부(610)는 2D 카메라(102)를 구동하여 인식 대상을 촬영함으로써, 상기 인식 대상이 포함된 2D 이미지를 생성할 수 있다. 또한 제어부(610)는 상기 2D 이미지에 인식 대상이 포함되어 있는지 여부를 판단한다. 상기 인식 대상이 포함되어 있는 경우 제어부(610)는 상기 인식 대상의 3D 이미지를 생성하기 위하여 조명부(104)가 상기 인식 대상과의 거리를 측정하기 위한 광을 발사하도록 제어한다. 3D 카메라(106)는 인식 대상으로부터 반사되는 광을 수신함으로써 상기 인식 대상을 촬영한다.
다른 실시예에 따라 단계 S1006에서 단말기(600)는 대상 검출부(120)의 근접 센서(112)를 이용하여 인식 대상을 검출할 수 있다. 그에 따라 근접 센서(112)는, 상기 근접 센서(112)로부터 미리 설정된 범위(예를 들어, 반경 10cm 이내)에 인식 대상이 진입하는 것을 검출할 수 있다. 인식 대상이 검출되면, 카메라 제어부(110)는 조명부(104)를 제어하여 인식 대상과의 거리, 즉 인식 대상과 3차원 거리 정보 추출 장치(100) 간의 거리를 측정하기 위한 광을 발사한다. 3D 카메라(106)는 인식 대상으로부터 반사되는 광을 수신함으로써 상기 인식 대상을 촬영한다.
상기와 같이 인식 대상이 검출되면, 단말기(600)는 인식 대상에 대응하는 3D 이미지를 생성한다(S1008). 거리 연산부(108)는 상기 3D 이미지를 이용하여 인식 대상과의 거리, 즉 단말기(600)와 인식 대상 간의 거리를 계산한다(S1010). 상기 3D 카메라(106)와 인식 대상 간의 거리는 거리 정보로써 카메라 메모리(114)에 저장될 수 있다.
단말기(600)의 제어부(610)는 거리 정보 및 3D 이미지를 기초로 하여 3D 카메라(106)에 의해 촬영된 인식 대상의 형태를 결정한다. 제어부(610)는 상기 인식 대상의 형태, 즉 인식 대상의 제스처에 대응하는 제스처 입력을 결정한다(S1012). 제스처 입력이 결정되면, 제어부(610)는 상기 제스처 입력에 대응하는 동작을 결정하여 수행한다(S1014).
실시예에 따라 단말기(600)는 대기 상태를 유지하고 있다가, 미리 저장된 시간마다 단말기(600) 내에 웨이크 업 이벤트가 발생하였는지 여부를 판단할 수도 있다.
도 11은 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 다른 예를 도시한 순서도이다.
도 11을 참조하면, 먼저 단말기(600)는 대기 상태를 유지하고 있다(S1102). 본 실시예에서 대기 상태는, 단말기(600)의 전원은 온 되어있지만, 그 외의 별 다른 동작을 수행하지 않은 상태를 가리킨다. 제어부(610)는 단말기(600)에 웨이크 업 이벤트가 발생하였는지 여부를 판단한다(S1104).
단계 S1104의 판단 결과 웨이크 업 이벤트가 발생된 경우(S1104: 예), 단말기(600)는 레디 상태로 전환된다(S1106). 웨이크 업 이벤트는, 예를 들어 호의 수신, 메시지 수신 또는 레디 상태로 전환하기 위한 사용자 입력의 수신 등이 될 수 있다. 레디 상태가 되면 단말기(600)는 제어부(610)의 제어 하에 동작 인식 기능을 실행한다(S1108). 이때 제어부(610)는 3차원 거리 정보 추출 장치(100)를 이용하여 사용자의 제스처를 인식할 수 있다.
단말기(600)는 사용자로부터 제스처 입력을 수신하고(S1110), 해당 제스처 입력에 대응하는 동작을 수행한다(S1112).
반면에 단계 S1104의 판단 결과 웨이크 업 이벤트가 발생되지 않은 경우(S1104: 아니오), 단말기(600)는 대기 상태를 유지한다(S1102).
도 12는 도 6에 도시된 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법의 또 다른 예를 도시한 순서도이다.
도 12를 참조하면, 먼저 단말기(600)는 레디 상태를 유지하고 있다(S1202). 본 실시예에서 레디 상태는, 단말기(600)가 동작 인식 기능 이외의 다른 기능을 실행하고 있는 상태 또는 상기 동작 인식 기능을 포함한 각종 기능을 실행하기 위한 사용자 입력을 수신한 이후의 상태를 가리킨다. 레디 상태에서 제어부(610)는 대상 검출부(120)의 인식 범위 내에 인식 대상이 검출되는지 여부를 판단한다(S1204).
단계 S1204의 판단 결과 인식 범위 내에 인식 대상이 검출된 경우 (S1204: 예), 단말기(600)는 동작 인식 기능을 실행한다(S1206). 이때 제어부(610)는 3차원 거리 정보 추출 장치(100)를 이용하여 사용자의 제스처를 제스처 입력으로서 인식할 수 있다. 단말기(600)는 사용자로부터 제스처 입력을 수신하고(S1208), 해당 제스처 입력에 대응하는 동작을 수행한다(S1210).
반면에 단계 S1204의 판단 결과 인식 범위 내에서 인식 대상이 검출되지 않은 경우 (S1204: 아니오), 단말기(600)는 레디 상태를 유지한다(S1202)
본 발명의 실시 예에 따른 3차원 거리 정보를 추출하는 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 실시 예에 따른 3차원 거리 정보를 추출하는 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한 상기 3차원 거리 정보 추출 장치 또는 상기 장치가 포함된 단말기는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 3차원 거리 정보 추출 장치 또는 상기 장치가 포함된 단말기가 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 3차원 거리 정보 추출 장치 또는 상기 장치가 포함된 단말기의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 3차원 거리 정보 추출 장치 또는 상기 장치가 포함된 단말기의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.
이외에도 본 발명의 다양한 실시예 또는 변형예가 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고, 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
100: 3차원 거리 정보 추출 장치 102: 2D 카메라
104: 조명부 106: 3D 카메라
108: 거리 연산부 110: 카메라 제어부
112: 카메라 메모리 114: 근접 센서
120: 대상 검출부 600: 단말기
602: 통신 인터페이스 604: 사용자 입력부
606: 디스플레이부 608: 메모리
610: 제어부

Claims (24)

  1. 근접 센서를 이용하여 미리 설정된 범위 이내에 진입한 특정 객체를 검출하는 과정과,
    상기 특정 객체가 검출되는 것에 기반하여, 상기 특정 객체가 포함된 2D 이미지를 생성하는 과정과,
    상기 2D 이미지에 포함된 상기 특정 객체가 인식 대상에 해당하는지 여부를 판단하는 과정과,
    상기 2D 이미지에 포함된 상기 특정 객체가 상기 인식 대상에 해당하는 것에 기반하여, 상기 2D 이미지에 포함된 상기 특정 객체의 크기에 기초하여 상기 특정 객체로 조사될 광의 광량을 결정하는 과정과,
    상기 결정된 광량을 가지는 상기 광을 상기 특정 객체로 조사하여 상기 특정 객체에 대한 3D 이미지를 생성하는 과정과,
    상기 3D 이미지를 이용하여 상기 특정 객체와의 거리를 계산하는 과정을 포함함을 특징으로 하는 3차원 거리 정보 추출 장치의 3차원 거리 정보 추출 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 미리 설정된 범위 이내에 진입한 특정 객체를 검출하는 근접 센서;
    2D 카메라;
    3D 카메라; 및
    프로세서를 포함하되, 상기 프로세서는,
    상기 근접 센서를 통하여, 상기 미리 설정된 범위 이내에 진입한 상기 특정 객체가 검출되는 것에 기반하여, 상기 특정 객체가 포함된 2D 이미지를 생성하도록 상기 2D 카메라를 제어하고,
    상기 2D 이미지에 포함된 상기 특정 객체가 인식 대상에 해당하는지 여부를 판단하고,
    상기 2D 이미지에 포함된 상기 특정 객체가 상기 인식 대상에 해당하는 것에 기반하여, 상기 2D 이미지에 포함된 상기 특정 객체의 크기에 기초하여 상기 특정 객체로 조사될 광의 광량을 결정하고,
    상기 결정된 광량을 가지는 상기 광을 상기 특정 객체로 조사하여 상기 특정 객체에 대한 3D 이미지를 생성하도록 상기 3D 카메라를 제어하고,
    상기 3D 이미지를 이용하여 상기 특정 객체와의 거리를 계산하도록 설정된 3차원 거리 정보 추출 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 미리 설정된 범위 이내에 진입한 특정 객체를 검출하는 근접 센서와,
    2D 카메라와,
    3D 카메라와,
    프로세서를 포함하되, 상기 프로세서는,
    상기 근접 센서를 통하여, 상기 미리 설정된 범위 이내에 진입한 상기 특정 객체가 검출되는 것에 기반하여, 상기 특정 객체가 포함된 2D 이미지를 생성하도록 상기 2D 카메라를 제어하고,
    상기 2D 이미지에 포함된 상기 특정 객체가 인식 대상에 해당하는지 여부를 판단하고,
    상기 2D 이미지에 포함된 상기 특정 객체가 상기 인식 대상에 해당하는 것에 기반하여, 상기 2D 이미지에 포함된 상기 특정 객체의 크기에 기초하여 상기 특정 객체로 조사될 광의 광량을 결정하고,
    상기 결정된 광량을 가지는 상기 광을 상기 특정 객체로 조사하여 상기 특정 객체에 대한 3D 이미지를 생성하도록 상기 3D 카메라를 제어하고,
    상기 3D 이미지를 이용하여 상기 특정 객체와의 거리를 계산하고,
    상기 3D 이미지 및 상기 특정 객체와의 상기 거리를 기초로 상기 특정 객체의 형태에 대응하는 제스처 입력을 결정하고, 상기 제스처 입력에 따른 동작을 수행하도록 설정된 단말기.
  10. 제9항에 있어서, 상기 프로세서는,
    미리 저장된 제스처 입력들 중 상기 특정 객체의 형태와 일치하는 제스처를 포함하는 제스처 입력을 검색하고, 상기 검색 결과로써 상기 특정 객체의 형태와 일치하는 제스처를 포함하는 상기 제스처 입력을 상기 특정 객체의 형태에 대응하는 상기 제스처 입력으로 결정함을 특징으로 하는 단말기.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제9항에 있어서, 상기 프로세서는,
    대기 상태인 상기 단말기에서 웨이크 업 이벤트가 발생하였는지 여부를 판단하고, 상기 웨이크 업 이벤트가 발생한 것에 기반하여, 상기 특정 객체를 검출하도록 상기 근접 센서를 제어함을 특징으로 하는 단말기.
  15. 제9항에 있어서, 상기 프로세서는,
    상기 단말기가 레디 상태인 경우, 상기 특정 객체를 검출하도록 상기 근접 센서를 제어함을 특징으로 하는 단말기.
  16. 제15항에 있어서, 상기 프로세서는,
    미리 설정된 기준 시간 이내에 상기 특정 객체가 검출되지 않는 것에 기반하여, 상기 특정 객체가 상기 미리 설정된 범위 이내에 존재하지 않는 것으로 결정함을 특징으로 하는 단말기.
  17. 단말기가 제스처 입력에 대응하는 동작을 수행하는 방법에 있어서,
    미리 설정된 범위 이내에 진입한 특정 객체를 검출하는 과정과,
    상기 미리 설정된 범위 이내에 진입한 상기 특정 객체가 검출되는 것에 기반하여, 상기 특정 객체가 포함된 2D 이미지를 생성하는 과정과,
    상기 2D 이미지에 포함된 상기 특정 객체가 인식 대상에 해당하는지 여부를 판단하는 과정과,
    상기 2D 이미지에 포함된 상기 특정 객체가 상기 인식 대상에 해당하는 것에 기반하여, 상기 2D 이미지에 포함된 상기 특정 객체의 크기에 기초하여 상기 특정 객체로 조사될 광의 광량을 결정하는 과정과,
    상기 결정된 광량을 가지는 상기 광을 상기 특정 객체로 조사하여 상기 특정 객체에 대한 3D 이미지를 생성하는 과정과,
    상기 3D 이미지를 이용하여 상기 특정 객체와의 거리를 계산하는 과정과,
    상기 3D 이미지 및 상기 특정 객체와의 상기 거리를 기초로 상기 특정 객체의 형태에 대응하는 제스처 입력을 결정하는 과정과,
    상기 제스처 입력에 따른 동작을 수행하는 과정을 포함함을 특징으로 하는 단말기의 동작 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 제17항에 있어서,
    상기 3D 이미지 및 상기 특정 객체와의 상기 거리를 기초로 상기 특정 객체의 형태에 대응하는 상기 제스처 입력을 결정하는 과정은,
    미리 설정된 제스처 입력들 중 상기 특정 객체의 형태와 일치하는 제스처를 포함하는 제스처 입력을 검색하는 과정과,
    상기 검색 결과로써 상기 특정 객체의 형태와 일치하는 제스처를 포함하는 상기 제스처 입력을 상기 특정 객체의 형태에 대응하는 상기 제스처 입력으로 결정하는 과정을 포함함을 특징으로 하는 단말기의 동작 방법.
  22. 제17항에 있어서,
    상기 미리 설정된 범위 이내에 진입한 상기 특정 객체를 검출하는 과정 이전에,
    대기 상태인 상기 단말기에서 웨이크 업 이벤트가 발생하였는지 여부를 판단하는 과정을 더 포함하고,
    상기 미리 설정된 범위 이내에 진입한 상기 특정 객체를 검출하는 과정은,
    상기 웨이크 업 이벤트가 발생한 것에 기반하여, 2D 카메라 및 근접 센서 중 적어도 하나를 이용하여 상기 미리 설정된 범위 이내에 진입한 상기 특정 객체를 검출하는 과정을 포함함을 특징으로 하는 단말기의 동작 방법.
  23. 제17항에 있어서,
    상기 미리 설정된 범위 이내에 진입한 상기 특정 객체를 검출하는 과정은,
    상기 단말기가 레디 상태인 것에 기반하여, 2D 카메라 및 근접 센서 중 적어도 하나를 이용하여 상기 미리 설정된 범위 이내에 진입한 상기 특정 객체를 검출하는 과정인 것을 특징으로 하는 단말기의 동작 방법.
  24. 제23항에 있어서,
    미리 설정된 기준 시간 이내에 상기 특정 객체가 검출되지 않는 것에 기반하여, 상기 특정 객체가 상기 미리 설정된 범위 이내에 존재하지 않는 것으로 결정하는 과정을 더 포함함을 특징으로 하는 단말기의 동작 방법.
KR1020130094951A 2012-09-03 2013-08-09 인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치 KR102158096B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/012,453 US20140062864A1 (en) 2012-09-03 2013-08-28 Method and apparatus for extracting three-dimensional distance information from recognition target
EP13182589.5A EP2703954A3 (en) 2012-09-03 2013-09-02 Method and apparatus for extracting three-dimensional distance information from recognition target
CN201310395021.3A CN103677255A (zh) 2012-09-03 2013-09-03 三维距离信息提取方法和装置、终端、手势操作执行方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120097211 2012-09-03
KR20120097211 2012-09-03

Publications (2)

Publication Number Publication Date
KR20140031105A KR20140031105A (ko) 2014-03-12
KR102158096B1 true KR102158096B1 (ko) 2020-10-23

Family

ID=50643403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130094951A KR102158096B1 (ko) 2012-09-03 2013-08-09 인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR102158096B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629553B1 (ko) * 2014-05-29 2016-06-14 주식회사 듀얼어퍼처인터네셔널 이동 단말기에서 디스플레이 화면 제어 장치 및 그 방법
KR102080252B1 (ko) * 2019-06-07 2020-02-21 (주)씨유박스 얼굴인증을 이용한 게이트 제어 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090183125A1 (en) * 2008-01-14 2009-07-16 Prime Sense Ltd. Three-dimensional user interface
US20110080349A1 (en) * 2009-10-02 2011-04-07 Research In Motion Limited Method of waking up and a portable electronic device configured to perform the same
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法
WO2012011044A1 (en) * 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101740231B1 (ko) * 2010-11-17 2017-05-26 삼성전자주식회사 3차원 얼굴 위치 추정 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090183125A1 (en) * 2008-01-14 2009-07-16 Prime Sense Ltd. Three-dimensional user interface
US20110080349A1 (en) * 2009-10-02 2011-04-07 Research In Motion Limited Method of waking up and a portable electronic device configured to perform the same
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法
WO2012011044A1 (en) * 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction

Also Published As

Publication number Publication date
KR20140031105A (ko) 2014-03-12

Similar Documents

Publication Publication Date Title
US11257223B2 (en) Systems and methods for user detection, identification, and localization within a defined space
KR101879478B1 (ko) 레이저 깊이 지도 레인지를 확대하는 방법
KR102157313B1 (ko) 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체
US9911231B2 (en) Method and computing device for providing augmented reality
US8537231B2 (en) User interface system based on pointing device
US9113190B2 (en) Controlling power levels of electronic devices through user interaction
TW201941099A (zh) 智慧型裝置的交互目標確定方法和裝置
CN103345301A (zh) 一种深度信息获取方法和装置
WO2022110614A1 (zh) 手势识别方法及装置、电子设备和存储介质
CN102547172B (zh) 一种遥控电视机
KR100918094B1 (ko) 이동식 영상 카메라를 구비한 제스처 인식 시스템
KR20120080070A (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
US20140210704A1 (en) Gesture recognizing and controlling method and device thereof
CN102196176A (zh) 信息处理设备、信息处理方法和程序
US20160041632A1 (en) Contact detection system, information processing method, and information processing apparatus
WO2008004331A1 (fr) Procédé et dispositif d'émission vocale, liés à des images
TWI691870B (zh) 虛實影像的互動方法及裝置
EP2702464B1 (en) Laser diode modes
KR101724108B1 (ko) 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치
WO2015104884A1 (ja) 情報処理システム、情報処理方法およびプログラム
KR102158096B1 (ko) 인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치
KR101710198B1 (ko) 홀로그램 객체 표시 방법
US20140301603A1 (en) System and method for computer vision control based on a combined shape
EP2703954A2 (en) Method and apparatus for extracting three-dimensional distance information from recognition target
US20180307302A1 (en) Electronic device and method for executing interactive functions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant