KR102529119B1 - 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 - Google Patents

객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 Download PDF

Info

Publication number
KR102529119B1
KR102529119B1 KR1020160080237A KR20160080237A KR102529119B1 KR 102529119 B1 KR102529119 B1 KR 102529119B1 KR 1020160080237 A KR1020160080237 A KR 1020160080237A KR 20160080237 A KR20160080237 A KR 20160080237A KR 102529119 B1 KR102529119 B1 KR 102529119B1
Authority
KR
South Korea
Prior art keywords
shape information
information
point
shape
depth information
Prior art date
Application number
KR1020160080237A
Other languages
English (en)
Other versions
KR20180001291A (ko
Inventor
최성도
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160080237A priority Critical patent/KR102529119B1/ko
Priority to US16/313,541 priority patent/US10853958B2/en
Priority to EP17820377.4A priority patent/EP3461128B1/en
Priority to PCT/KR2017/001329 priority patent/WO2018004100A1/ko
Publication of KR20180001291A publication Critical patent/KR20180001291A/ko
Application granted granted Critical
Publication of KR102529119B1 publication Critical patent/KR102529119B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

복수의 센서들 각각의 감지 영역 간에 공통되는 공통 감지 영역 내의 제 1 지점에 위치한 객체의 제 1 깊이 정보 및 적어도 하나의 시점(view point)에서의 제 1 형상 정보를 획득하고, 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 객체가 위치하는 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득하며, 적어도 하나의 시점에서의 제 1 형상 정보 및 제 2 형상 정보의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 상기 객체의 제 2 깊이 정보를 획득하는 객체의 깊이 정보를 획득하는 방법이 개시된다.

Description

객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 {Method and device for acquiring depth information of object and recordimg medium thereof}
개시된 실시예는 객체의 깊이 정보를 획득하는 방법, 객체의 깊이 정보를 획득하는 디바이스 및 객체의 깊이 정보를 획득하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
IT 기술의 발전에 따라 전자 장치는 사용자의 동작 또는 사물의 움직임을 인식하여 이를 입력 신호로 해석하고, 해석한 입력 신호에 대응하여 동작할 수 있다. 이에 따라 전자 장치는 카메라를 이용하여 사용자의 동작 또는 사물의 움직임에 대한 3차원 정보를 추출해야 한다.
전자 장치를 제어하는데 있어, 3차원 정보인 깊이 정보의 필요성이 높아지면서, 최근 들어, 3차원 정보를 추출하는 다양한 기술에 대한 연구가 활발하게 이루어지고 있다. 예를 들어, 피사체가 포함된 장면에 광을 투사하여 스테레오 영상을 획득하고, 획득된 영상에 스테레오 매칭 영상 처리를 수행하여, 3차원 정보를 획득하는 기술 등이 개발되고 있다.
객체의 깊이 정보를 획득할 수 있는 영역을 확대할 수 있는 객체의 깊이 정보를 획득하는 방법, 장치 및 기록매체가 제공된다.
일 실시예에 따른 디바이스에서 객체의 깊이(depth) 정보를 획득하는 방법은, 복수의 센서들 각각의 감지 영역 간에 공통되는 공통 감지 영역 내의 제 1 지점에 위치한 객체의 적어도 하나의 시점(view point)에서의 제 1 형상 정보 및 제 1 깊이 정보를 획득하는 단계; 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 객체가 위치하는 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득하는 단계; 및 적어도 하나의 시점에서의 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 객체의 제 2 깊이 정보를 획득하는 단계를 포함한다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법은, 적어도 하나의 시점에서의 제 1 형상 정보 중 제 2 형상 정보와 대응되는 시점에서의 제 1 형상 정보를 선택하는 단계; 및 선택된 제 1 형상 정보와 제 2 형상 정보를 기초로, 제 1 지점 및 제 2 지점에서 각각 감지된 객체의 크기 차이를 결정하는 단계를 더 포함하고, 제 2 깊이 정보를 획득하는 단계는, 결정된 크기 차이 및 제 1 깊이 정보에 기초하여 제 2 깊이 정보를 결정한다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법은, 객체의 3차원 모델을 생성하는 단계를 더 포함하고, 적어도 하나의 시점에서의 제 1 형상 정보는, 생성된 객체의 3차원 모델로부터 획득된다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법은, 객체의 위치 정보를 획득하는 단계; 및 획득된 위치 정보에 기초하여, 객체가 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치하는지 여부를 판단하는 단계를 더 포함한다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법에 있어서, 적어도 하나의 시점에서의 제 1 형상 정보를 획득하는 단계는, 객체의 형상이 변형 가능한 경우, 변형 가능한 형상의 타입에 따라, 적어도 하나의 시점에서의 제 1 형상 정보를 획득한다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법은, 공통 감지 영역 내에서의 객체의 형상 변화를 감지하는 단계; 및 감지 결과에 기초하여, 변형 가능한 형상의 타입을 결정하는 단계를 더 포함한다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법은, 객체가 복수의 센서들 각각의 감지 영역의 경계로부터 기 설정된 거리 범위 내에 위치하는 경우, 객체의 이동 방향에 기초하여, 복수의 센서들 중 적어도 하나의 감지 영역을 변경하는 단계를 더 포함한다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법은, 적어도 하나의 시점에서의 제 1 형상 정보를 기초로 객체의 종류를 식별하는 단계; 및 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보를 식별된 객체의 종류에 따라 저장하는 단계를 더 포함한다.
일 실시예에 따른 디바이스에서 객체의 깊이 정보를 획득하는 방법은, 공통 감지 영역과 대응되는 영역에 설정된 디바이스의 사용자의 입력을 감지 가능한 사용자 인터페이스를, 적어도 하나의 시점에서의 제 1 형상 정보 및 상기 제 1 깊이 정보가 획득됨에 따라, 복수의 센서 각각의 감지 영역으로 확대하는 단계를 더 포함한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스는, 복수의 센서들 각각의 감지 영역 간에 공통되는 공통 감지 영역 내의 제 1 지점에 위치한 객체를 감지하고, 제 1 지점에 위치한 객체의 적어도 하나의 시점(view point)에서의 제 1 형상 정보 및 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 객체가 위치하는 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득하는 센싱부; 및 제 1 지점에서의 객체의 제 1 깊이 정보를 획득하고, 적어도 하나의 시점에서의 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 상기 객체의 제 2 깊이 정보를 획득하는 제어부를 포함한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 제어부는, 적어도 하나의 시점에서의 제 1 형상 정보 중 제 2 형상 정보와 대응되는 시점의 제 1 형상 정보를 선택하고, 선택된 제 1 형상 정보와 제 2 형상 정보를 기초로, 제 1 지점 및 제 2 지점에서 각각 감지된 객체의 크기 차이를 결정하며, 결정된 크기 차이 및 제 1 깊이 정보에 기초하여 제 2 깊이 정보를 결정한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 제어부는, 객체의 3차원 모델을 생성하고, 적어도 하나의 시점에서의 제 1 형상 정보는, 생성된 객체의 3차원 모델로부터 획득된다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 센싱부는, 객체의 위치 정보를 획득하고, 제어부는, 획득된 위치 정보에 기초하여, 객체가 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치하는지 여부를 판단한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 제어부는, 객체의 형상이 변형 가능한 경우, 변형 가능한 형상의 타입에 따라, 적어도 하나의 시점에서의 제 1 형상 정보를 획득한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 센싱부는, 공통 감지 영역 내에서의 상기 객체의 형상 변화를 감지하고, 제어부는, 감지 결과에 기초하여, 변형 가능한 형상의 타입을 결정한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 제어부는, 객체가 복수의 센서들 각각의 감지 영역의 경계로부터 기 설정된 거리 범위 내에 위치하는 경우, 객체의 이동 방향에 기초하여, 복수의 센서들 중 적어도 하나의 감지 영역을 변경한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 제어부는, 적어도 하나의 시점에서의 제 1 형상 정보를 기초로 객체의 종류를 식별하고, 디바이스는, 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보를 식별된 객체의 종류에 따라 저장한다.
일 실시예에 따른 객체의 깊이 정보를 획득하는 디바이스에 있어서, 제어부는, 공통 감지 영역과 대응되는 영역에 설정된 디바이스의 사용자의 입력을 감지 가능한 사용자 인터페이스를, 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보가 획득됨에 따라, 복수의 센서들 각각의 감지 영역으로 확대한다.
도 1은 일 실시예에 따른 디바이스가 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따른 디바이스가 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 디바이스가 객체의 깊이 정보를 획득하는 방법을 보다 구체적으로 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 디바이스가 객체의 위치에 따라 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 디바이스가 서로 다른 시점에서의 객체의 형상 정보를 식별하여, 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 디바이스가 획득된 객체의 형상의 타입을 식별하여, 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따라, 디바이스에서 객체의 형상의 타입을 식별하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 디바이스가 획득된 객체의 형상의 타입을 식별하여, 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 디바이스가 객체의 움직임에 따라 복수의 센서들 중 적어도 하나의 감지 영역을 변경하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 디바이스가 객체의 깊이 정보가 획득됨에 따라 사용자 인터페이스를 확대하는 방법을 설명하기 위한 도면이다.
도 11은 다른 실시예에 따른 디바이스가 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 12는 또 다른 실시예에 따른 디바이스가 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 13 및 14는 일 실시예에 따라 깊이 정보를 획득하는 디바이스의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 디바이스(100)가 객체(5)의 깊이(depth) 정보를 획득하는 방법을 설명하기 위한 개념도이다.
일 실시예에 따른 디바이스(100)는 복수의 센서들을 구비할 수 있다. 여기에서, 복수의 센서들은 객체(5)를 감지하여, 객체(5)의 형상 및 색상 등에 관한 정보를 전기적인 영상 신호로 변환하는 이미지 센서를 포함할 수 있다. 또한, 복수의 센서들 각각에는 서로 다른 감지 영역이 설정될 수 있다. 예를 들어, 복수의 센서들 중 제 1 센서에는 제 1 감지 영역(10)이 설정될 수 있고, 복수의 센서들 중 제 2 센서에는 제 2 감지 영역(20)이 설정될 수 있다. 여기에서, 감지 영역은 이미지 센서의 관측 시야(Field of View)에 대응될 수 있다. 또한, 복수의 센서들 각각의 감지 영역은 서로 공통되는 감지 영역을 포함할 수 있다. 본 명세서에서, 복수의 센서들 각각의 감지 영역 간에 공통되는 감지 영역을 공통 감지 영역(30)으로 설명하도록 한다.
한편, 도 1에는 디바이스(100) 내에 복수의 센서들이 구비되어 있는 것으로 도시되어 있으나, 이는 일 실시예일 뿐, 복수의 센서들은 디바이스(100)의 외부에 존재할 수도 있다.
디바이스(100)는 객체(5)가 공통 감지 영역(30) 내의 제 1 지점에 위치하는 경우, 객체(5)의 형상 정보 및 깊이 정보를 획득할 수 있다. 디바이스(100)에서 획득되는 객체(5)의 형상 정보는 객체(5)의 모양을 나타낼 수 있다. 또한, 디바이스(100)에서 획득되는 객체(5)의 깊이 정보는 디바이스(100)와 객체(5) 간의 거리를 나타내는 정보일 수 있다.
디바이스(100)는 제 1 센서 및 제 2 센서로부터 각각 획득된 객체(5)의 영상들 간의 시차를 이용하여, 객체의 깊이 정보를 획득할 수 있다. 예를 들어, 제 1 센서 및 제 2 센서로부터 상대적으로 멀리 있는 객체에 대해서는 제 1 센서 및 제 2 센서 각각에서 획득된 영상 간의 시차가 작게 나타나지만, 제 1 센서 및 제 2 센서로부터 상대적으로 가까이 위치한 객체에 대해서는 제 1 센서 및 제 2 센서 각각에서 획득된 영상 간의 시차가 크게 나타날 수 있다. 이러한 원리를 이용하여, 디바이스(100)는 공통 감지 영역(30) 내에 위치한 객체의 깊이 정보를 획득할 수 있다.
한편, 디바이스(100)에서 획득되는 객체(5)의 형상 정보는 복수의 센서들에서 객체(5)가 감지되는 시점(view point)에 따라 상이할 수 있다. 예를 들어, 디바이스(100)가 객체의 정면을 감지하는 경우와 디바이스(100)가 객체의 측면을 감지하는 경우에 각각 획득되는 형상 정보는 서로 상이할 수 있다. 이에 따라, 디바이스(100)는 적어도 하나의 시점에 따라 공통 감지 영역(30) 내에 위치하는 객체의 형상 정보를 식별하여 저장할 수 있다.
한편, 다른 실시예에 따라, 디바이스(100)는 객체(5)의 3차원 모델을 생성하고, 생성된 3차원 모델로부터 적어도 하나의 시점에서의 형상 정보를 획득할 수도 있다.
일 실시예에 따른 디바이스(100)는 객체(5)의 위치를 추적(trace)할 수 있다. 디바이스(100)는 객체(5)의 위치를 추적함으로써, 객체(5)가 복수의 센서들 각각의 감지 영역(10, 20) 상에서, 공통 감지 영역(30)을 제외한 영역에 위치하는지 여부를 판단할 수 있다. 또한, 디바이스(100)는 복수의 센서들 각각의 감지 영역(10, 20) 상에서, 공통 감지 영역(30)을 제외한 영역 내에 객체(5)가 위치하는 경우, 객체(5)의 형상 정보를 획득할 수 있다. 여기에서, 설명의 편의상, 객체(5)가 공통 감지 영역(30) 내에 위치한 경우 획득된 형상 정보를 제 1 형상 정보로 설명하고, 객체가 공통 감지 영역(30)을 제외한 영역 내에 위치한 경우 획득된 형상 정보를 제 2 형상 정보로 설명하도록 한다. 또한, 객체(5)가 공통 감지 영역(30) 내에 위치한 경우 획득된 깊이 정보를 제 1 깊이 정보로 설명하도록 한다.
객체(5)가 공통 감지 영역(30)을 벗어난 경우, 디바이스(100)에 구비된 복수의 센서 중 어느 하나에서만 객체(5)의 제 2 형상 정보가 감지되므로, 공통 감지 영역(30)에서와 동일한 원리에 따라 객체(5)의 깊이 정보를 획득하기 어려울 수 있다.
이에 따라, 일 실시예에 따른 디바이스(100)는 적어도 하나의 시점에서 획득된 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 공통 감지 영역(30)을 벗어난 지점에 위치한 객체(5)의 제 2 깊이 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 적어도 하나의 시점에서 획득된 제 1 형상 정보 중에서, 제 2 형상 정보와 대응되는 제 1 형상 정보를 선택할 수 있다. 디바이스(100)는 선택된 제 1 형상 정보와 제 2 형상 정보의 크기 차이 및 제 1 깊이 정보를 기초로 공통 감지 영역(30)을 벗어난 지점에 위치한 객체(5)의 제 2 깊이 정보를 획득할 수 있다. 이에 대해서는 도 3을 참고하여 보다 구체적으로 후술하도록 한다.
한편, 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 스마트 TV, 스마트 카, CE(Consumer Electronics) 기기(예컨대, 디스플레이 패널을 갖는 냉장고, 에어컨 등), HMD(Head Mounted Display) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 일 실시예에 따른 디바이스가 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 디바이스는 복수의 센서들 각각의 감지 영역 간에 공통되는 공통 감지 영역 내의 제 1 지점에 위치한 객체의 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보를 획득한다.
예를 들어, 디바이스는 복수의 센서들에 포함된 제 1 센서 및 제 2 센서로부터 각각 공통 감지 영역 내에 위치한 객체의 영상을 획득할 수 있다. 디바이스는 제 1 센서로부터 획득된 객체의 영상 및 제 2 센서로부터 획득된 객체의 영상으로부터 객체의 적어도 하나의 시점에서의 제 1 형상 정보를 획득할 수 있다.
또한, 디바이스는 제 1 센서로부터 획득된 객체의 영상과 제 2 센서로부터 획득된 객체의 영상을 비교하여, 공통 감지 영역 내에 위치한 객체의 제 1 깊이 정보를 획득할 수 있다. 여기에서, 디바이스는 객체의 제 1 깊이 정보를 획득하기 위해, 스테레오 타입의 깊이 추정 방식을 이용할 수 있다.
한편, 공통 감지 영역 내에서의 객체의 상태에 따라 복수의 센서들 각각으로부터 객체가 감지되는 시점이 상이할 수 있다. 이에 따라, 디바이스는 적어도 하나의 시점에 따라 공통 감지 영역 내에 위치하는 객체의 형상 정보를 식별하여 저장할 수 있다.
단계 S220에서, 디바이스는 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 객체가 위치하는 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득한다.
일 실시예에 따른 디바이스는 객체의 위치를 추적함으로써, 객체가 공통 감지 영역을 벗어났는지 여부를 판단할 수 있다. 디바이스는 판단 결과, 객체가 공통 감지 영역을 벗어난 경우, 객체의 제 2 형상 정보를 획득할 수 있다. 예를 들어, 디바이스는 객체가 복수의 센서들 중 제 1 센서의 감지 영역 상에서 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치한 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득할 수 있다.
단계 S230에서, 디바이스는 적어도 하나의 시점에서의 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 객체의 제 2 깊이 정보를 획득한다.
일 실시예에 따른 디바이스는 적어도 하나의 시점에서 획득된 제 1 형상 정보 중에서, 제 2 형상 정보와 대응되는 시점의 제 1 형상 정보를 선택할 수 있다. 디바이스는 선택된 제 1 형상 정보와 제 2 형상 정보를 기초로, 제 1 지점 및 제 2 지점에서 각각 감지된 객체의 크기 차이를 결정할 수 있다. 또한, 디바이스는 결정된 객체의 제 1 지점 및 제 2 지점에서의 크기 차이와 제 1 깊이 정보를 이용하여, 제 2 지점에서의 객체의 제 2 깊이 정보를 획득할 수 있다.
예를 들어, 디바이스는 제 1 지점에서의 객체의 크기가 a1이고, 제 2 지점에서의 객체의 크기가 a2이며, 제 1 지점에서의 객체와 디바이스 간의 거리가 d1인 경우, 제 2 지점에서의 객체와 디바이스 간의 거리를 d1*(a2/a1)으로 결정할 수 있다.
일 실시예에 따른 디바이스는 객체가 복수의 센서들 각각의 감지 영역 상에서 공통 감지 영역을 제외한 영역 내에 제 2 지점에 객체가 위치하여, 스테레오 방식으로 객체의 깊이 정보를 획득하기 어려운 경우에도, 전술한 바와 같이 공통 감지 영역 내에 위치한 객체의 제 1 형상 정보 및 제 1 깊이 정보를 이용하여, 객체의 제 2 깊이 정보를 획득할 수 있다.
도 3은 일 실시예에 따른 디바이스(100)가 객체의 깊이 정보를 획득하는 방법을 보다 구체적으로 설명하기 위한 도면이다.
도 3을 참고하면, 디바이스(100)는 공통 감지 영역(30) 내의 제 1 지점(32)에 위치한 손(310)의 제 1 형상 정보 및 제 1 깊이 정보를 획득할 수 있다.
디바이스(100)는 손(310)이 공통 감지 영역(30)을 벗어난 제 1 감지 영역(10)내의 제 2a 지점(12)에 위치한 경우, 손(310)의 제 2 형상 정보를 획득할 수 있다.
디바이스(100)는 제 1 형상 정보 및 제 2 형상 정보를 비교하여, 제 1 지점(32)과 제 2a 지점(12)에서 각각 감지된 손(310)의 크기 차이를 결정할 수 있다. 예를 들어, 제 1 지점(32)에서 감지된 손(310)의 손바닥 부분의 크기가 64픽셀에 해당하고, 제 2a 지점(12)에서 감지된 손(310)의 손바닥 부분의 크기가 32픽셀에 해당하는 경우, 디바이스(100)는 제 1 지점(32)에서 감지된 손(310)의 크기가 제 2a 지점(12)에서 감지된 손(310)의 크기 보다 2배 큰 것으로 결정할 수 있다. 또한, 디바이스(100)는 결정된 크기 차이와 제 1 깊이 정보를 이용하여, 제 2a 지점(12)에서 감지된 손(310)의 제 2 깊이 정보를 획득할 수 있다. 예를 들어, 디바이스는 제 1 지점(32)에서 감지된 손(310)의 제 1 깊이 정보가 d1이고, 결정된 크기 차이가 2배에 해당하는 경우, 제 2a 지점에서의 제 2 깊이 정보를 d1*(64 픽셀/32 픽셀)인 2d1으로 결정할 수 있다.
다른 예에 따라, 디바이스는 제 1 지점(32)에서 감지된 손(310)의 손바닥 부분의 크기가 64픽셀에 해당하고, 공통 감지 영역(30)을 벗어난 제 1 감지 영역(20)내의 제 2b 지점(22)에서 감지된 손(310)의 손바닥 부분의 크기가 128픽셀에 해당하는 경우, 디바이스(100)는 제 1 지점(30)에서 감지된 손(310)의 크기가 제 2b 지점(22)에서 감지된 손(310)의 크기 보다 2배 작은 것으로 결정할 수 있다. 또한, 디바이스(100)는 결정된 크기 차이와 제 1 깊이 정보를 이용하여, 제 2b 지점(12)에서 감지된 손(310)의 제 2 깊이 정보를 획득할 수 있다. 예를 들어, 디바이스는 제 1 지점(32)에서 감지된 손(310)의 제 1 깊이 정보가 d1이고, 결정된 크기 차이가 0.5배에 해당하는 경우, 제 2b 지점에서의 제 2 깊이 정보를 d1*(32 픽셀/64 픽셀)인 0.5d1으로 결정할 수 있다.
도 4는 일 실시예에 따른 디바이스가 객체의 위치에 따라 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서, 디바이스는 복수의 센서들 중 적어도 하나로부터 감지된 객체의 위치를 결정할 수 있다.
일 실시예에 따른 디바이스는 복수의 센서들 각각의 감지 영역 내에 객체가 위치하는 경우, 객체의 위치 정보를 획득할 수 있다.
단계 S420에서, 디바이스는 객체가 공통 감지 영역 내의 제 1 지점에 위치하는지 여부를 판단할 수 있다.
일 실시예에 따른 디바이스는 결정된 객체의 위치를 기초로 객체가 복수의 센서들 간의 공통되는 감지 영역인 공통 감지 영역 내에 위치하는지 여부를 판단할 수 있다.
단계 S430에서, 디바이스는 복수의 센서들 각각의 감지 영역 상에서 공통 감지 영역을 제외한 영역 내의 제 2 지점에서의 객체의 제 2 형상 정보를 획득할 수 있다.
일 실시예에 따른 디바이스는 객체가 복수의 센서들 각각의 감지 영역 상에서 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치한 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득할 수 있다.
단계 S440에서, 디바이스는 객체에 대해 기 획득된 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보가 존재하는지 여부를 판단할 수 있다. 여기에서, 제 1 형상 정보 및 제 1 깊이 정보는 객체가 공통 감지 영역 내에 위치한 경우, 획득된 형상 정보 및 깊이 정보를 나타낸다.
단계 S450에서, 디바이스는 적어도 하나의 시점에서의 제 1 형상 정보 및 제 2 형상 정보의 비교 결과에 기초하여, 제 2 형상 정보에 대응되는 시점에서의 제 1 형상 정보를 선택할 수 있다.
일 실시예에 따른 디바이스는 객체에 대해 기 획득된 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보가 존재하는 경우, 적어도 하나의 시점에서의 제 1 형상 정보 중에서 제 2 형상 정보와 대응되는 시점에서의 제 1 형상 정보를 선택할 수 있다. 예를 들어, 디바이스는 객체의 정면 방향의 제 1 형상 정보 및 측면 방향의 제 1 형상 정보가 기 획득되고, 제 2 형상 정보가 객체의 측면 방향의 형상에 해당되는 경우, 측면 방향의 제 1 형상 정보를 선택할 수 있다.
단계 S460에서, 디바이스는 선택된 제 1 형상 정보 및 제 2 형상 정보의 비교 결과와 제 1 깊이 정보에 기초하여, 제 2 지점에서의 객체의 제 2 깊이 정보를 결정할 수 있다.
일 실시예에 따른 디바이스는 선택된 제 1 형상 정보 및 제 2 형상 정보를 비교하여, 제 1 지점에서 감지된 객체의 형상과 제 2 지점에서 감지된 객체의 형상 간의 크기 차이를 결정할 수 있다. 또한, 디바이스는 결정된 크기 차이 및 제 1 깊이 정보를 기초로, 제 2 지점에서의 객체의 제 2 깊이 정보를 결정할 수 있다.
단계 S470에서, 디바이스는 제 1 지점에서의 객체의 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보를 획득할 수 있다.
한편, 단계 S470은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
도 5는 일 실시예에 따른 디바이스(100)가 서로 다른 시점에서의 객체의 형상 정보를 식별하여, 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 공통 감지 영역(30) 내에 위치한 객체의 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 공통 감지 영역(30) 내의 제 1a 지점에 위치한 객체(310a)의 정면 방향에서의 형상 정보 및 제 1 깊이 정보를 획득할 수 있다. 또한, 디바이스(100)는 객체의 상태 변화 또는 움직임 변화에 따라 측 공통 감지 영역(30) 내의 제 1b 지점에 위치한 객체(310b)의 측면 방향에서의 형상 정보 및 제 1 깊이 정보를 획득할 수도 있다.
일 실시예에 따른 디바이스(100)는 복수의 센서들 각각의 감지 영역 상에서 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치한 객체(310c)의 제 2 형상 정보를 획득할 수 있다.
디바이스(100)는 기 획득된 제 1a 지점에 위치한 객체(310a)의 정면 방향에서의 제 1 형상 정보 및 제 1b 지점에 위치한 객체(310b)의 측면 방향에서의 제 1 형상 정보 중에서, 제 2 형상 정보에 대응되는 시점의 제 1 형상 정보를 선택할 수 있다. 예를 들어, 제 2 형상 정보가 제 1b 지점에 위치한 객체(310b)의 측면 방향에서의 제 1 형상 정보와 모양 등이 대응되는 경우, 디바이스(100)는 측면 방향에서의 제 1 형상 정보를 선택할 수 있다.
디바이스(100)는 선택된 제 1 형상 정보 및 제 2 형상 정보를 비교하여, 제 1b 지점에서 감지된 객체(310b)와 제 2 지점에서 감지된 객체(310c)간의 크기 차이를 결정할 수 있다. 또한, 디바이스는 결정된 크기 차이 및 제 1 깊이 정보를 기초로, 제 2 지점에서의 객체의 제 2 깊이 정보를 결정할 수 있다.
도 6은 일 실시예에 따른 디바이스가 획득된 객체의 형상의 타입을 식별하여, 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
단계 S610에서, 디바이스는 공통 감지 영역 내에서의 객체의 형상 변화를 감지할 수 있다.
일 실시예에 따른 디바이스에서 감지 가능한 객체에는 변형 가능한 객체가 포함될 수 있다. 여기에서, 변형 가능한 객체는 형상이 변하는 객체로서, 예를 들어, 사람의 신체, 접이식 의자 등이 포함될 수 있다. 변형 가능한 객체는 외부의 힘 등에 의해 형상이 변할 수 있다. 한편, 이는 일 실시예일 뿐, 객체는 변형되지 않는 객체를 감지할 수도 있다. 예를 들어, 스마트 폰, 스마트 카 등이 변형되지 않는 객체에 포함될 수 있다.
일 실시예에 따른 디바이스는 공통 감지 영역 내에 객체가 감지되는 경우, 객체의 종류를 식별할 수 있다. 디바이스는 객체의 종류를 식별한 결과, 객체가 변형 가능한 경우, 객체를 실시간으로 감지하여, 객체의 형상 변화 여부를 판단할 수 있다. 한편, 다른 실시예에 따라, 디바이스는 공통 감지 영역 내에 감지되는 객체를 실시간으로 추적함으로써, 객체의 종류를 식별하지 않고도, 객체의 형상이 변화되는지 여부를 판단할 수 있다.
단계 S620에서, 디바이스는 감지 결과에 기초하여, 변형 가능한 형상의 타입을 결정할 수 있다.
일 실시예에 따른 디바이스는 감지 결과 획득된 객체의 복수의 형상들 각각에 대한 형상 정보를 분류하여, 객체의 변형 가능한 형상의 타입을 결정할 수 있다. 예를 들어, 디바이스는 감지된 객체가 손인 경우, 손가락을 펼쳤을 때, 손가락 중 일부를 구부렸을 때 및 주먹을 쥐었을 때 등으로, 손에 대한 형상 정보를 분류하여, 손에 대한 형상의 타입을 결정할 수 있다. 이에 대해서는 도 7을 참고하여 보다 구체적으로 후술하도록 한다.
단계 S630에서, 디바이스는 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 객체가 위치하는 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득할 수 있다.
한편, 단계 S630은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
단계 S640에서, 디바이스는 제 2 형상 정보에 대응되는 객체의 형상의 타입에 대한 적어도 하나의 시점에서의 제 1 형상 정보를 선택할 수 있다.
예를 들어, 디바이스는 제 2 형상 정보가 손가락을 펼친 상태의 손에 대한 형상을 나타내는 경우, 복수의 타입에 대한 적어도 하나의 시점에서의 손의 제 1 형상 정보 중, 손가락을 펼친 상태에 대응되는 타입의 적어도 하나의 시점에서의 손의 제 1 형상 정보를 선택할 수 있다. 또한, 디바이스는 제 2 형상 정보가 손가락을 펼친 상태의 손의 측면 형상인 경우, 손가락을 펼친 상태에 대응되는 타입의 적어도 하나의 시점에서의 손의 제 1 형상 정보 중 측면에서의 손의 제 1 형상 정보를 선택할 수 있다.
단계 S660에서, 디바이스는 선택된 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 객체의 깊이 정보를 획득할 수 있다.
한편, 단계 S660은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
도 7은 일 실시예에 따라, 디바이스에서 객체의 형상의 타입을 식별하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스는 복수의 센서들의 공통 감지 영역 내에서 감지되는 객체의 적어도 하나의 제 1 형상 정보를 획득할 수 있다. 예를 들어, 디바이스는 복수의 센서들의 공통 감지 영역 내에서 감지되는 손의 적어도 하나의 제 1 형상 정보를 획득할 수 있다.
손은 변형 가능한 객체로서, 디바이스는 손가락을 펼쳤을 때, 손가락 중 일부를 구부렸을 때 및 주먹을 쥐었을 때 등으로, 손에 대한 적어도 하나의 제 1 형상 정보를 분류할 수 있다.
예를 들어, 도 7을 참고하면, 디바이스는 손가락을 펼쳤을 때, 손가락 중 일부를 구부렸을 때 및 주먹을 쥐었을 때를 각각 A 타입, B 타입 및 C 타입으로 지정할 수 있다. 디바이스는 제 1a 형상 정보(710) 및 제 1b 형상 정보(720)를 A 타입으로 분류할 수 있다. 또한, 디바이스는 제 1c 형상 정보(730), 제 1f 형상 정보(760) 및 제 1g 형상 정보(770)를 B 타입으로 분류할 수 있다. 또한, 디바이스(100)는 제 1d 형상 정보(740) 및 제 1e 형상 정보(750)를 C 타입으로 분류할 수 있다.
한편, 분류된 각각의 타입의 제 1 형상 정보에는 시점에 따라 서로 다른 제 1 형상 정보가 포함될 수 있다. 예를 들어, B 타입에 포함된 제 1d 형상 정보(740)는 주먹을 쥔 손의 정면 형상을 나타내고, 제 1e 형상 정보(750)는 주먹을 쥔 손의 측면 형상을 나타낼 수 있다.
일 실시예에 따른 디바이스는 변형 가능한 객체의 제 1 형상 정보를 형상의 타입에 따라 분류함으로써, 복수의 센서들 각각의 감지 영역에서 공통 감지 영역을 제외한 영역에 객체가 위치하는 경우, 객체의 깊이 정보를 보다 정확하게 획득할 수 있다.
도 8은 일 실시예에 따른 디바이스(100)가 획득된 객체의 형상의 타입을 식별하여, 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 공통 감지 영역(30) 내에 위치한 객체의 적어도 하나의 제 1 형상 정보를 획득할 수 있다.
예를 들어, 디바이스(100)는 공통 감지 영역(30) 내의 제 1a 지점에 위치한 주먹을 쥔 상태의 손(810a)의 정면 방향에서의 제 1 형상 정보 및 제 1 깊이 정보를 획득할 수 있다. 또한, 디바이스(100)는 객체의 상태 변화 또는 움직임 변화에 따라 공통 감지 영역(30) 내의 제 1b 지점에 위치한 손가락을 펼친 상태의 손(810b)의 정면 방향에서의 제 1 형상 정보 및 제 1 깊이 정보를 획득할 수도 있다.
일 실시예에 따른 디바이스(100)는 복수의 센서들 각각의 감지 영역 상에서 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치한 손(710c)의 제 2 형상 정보를 획득할 수 있다.
디바이스(100)는 기 획득된 제 1a 지점에 위치한 주먹을 쥔 상태의 손(810a)의 정면 방향에서의 제 1 형상 정보 및 제 1b 지점에 위치한 손가락을 펼친 상태의 손(810b)의 정면 방향에서의 제 1 형상 정보 중에서, 제 2 형상 정보에 대응되는 시점의 제 1 형상 정보를 선택할 수 있다. 예를 들어, 제 2 형상 정보가 제 1a 지점에 위치한 주먹을 쥔 상태의 손(810a)의 정면 방향에서의 제 1 형상 정보와 모양 등이 대응되는 경우, 디바이스(100)는 제 1a 지점에 위치한 주먹을 쥔 상태의 손(810a)의 정면 방향에서의 제 1 형상 정보를 선택할 수 있다.
디바이스(100)는 선택된 제 1 형상 정보 및 제 2 형상 정보를 비교하여, 제 1a 지점에서 감지된 객체(810a)와 제 2 지점에서 감지된 객체(810c)간의 크기 차이를 결정할 수 있다. 또한, 디바이스는 결정된 크기 차이 및 제 1 깊이 정보를 기초로, 제 2 지점에서의 객체의 제 2 깊이 정보를 결정할 수 있다.
도 9는 일 실시예에 따른 디바이스(100)가 객체의 움직임에 따라 복수의 센서들 중 적어도 하나의 감지 영역을 변경하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 복수의 센서들로부터 획득된 객체의 위치 정보를 기초로, 객체의 위치를 결정할 수 있다.
한편, 디바이스(100)는 공통 감지 영역(30a) 내의 제 1 지점에 위치한 객체(910a)의 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보를 획득할 수 있다. 또한, 디바이스(100)는 제 1 센서에 설정된 제 1a 감지 영역(10a) 내의 제 2a 지점에 위치한 객체(910b)의 제 2 형상 정보를 획득할 수 있다.
일 실시예에 따른 디바이스(100)는 적어도 하나의 시점에서의 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 1 a 감지 영역(10a) 내의 제 2a 지점에 위치한 객체(910b)의 제 2 깊이 정보를 획득할 수 있다.
한편, 디바이스(100)는 객체의 이동 방향 및 속도 등을 감지하여, 객체가 복수의 센서들 각각의 감지 영역을 벗어나는지 여부를 판단할 수 있다. 예를 들어, 디바이스(100)는 제 2a 지점에 위치한 객체(910b)가 제 1a 감지 영역(10a)을 벗어나는지 여부를 판단할 수 있다. 디바이스(100)는 제 2a 지점에 위치한 객체(910b)가 제 1a 감지 영역(10a)을 벗어나기 전에, 객체(910b)의 이동 방향 및 속도를 기초로 제 1 센서의 감지 영역을 변경할 수 있다. 예를 들어, 디바이스는 제 1 센서의 각도 등을 변경하여, 제 1a 감지 영역(10a)을 제 1b 감지 영역(10b)으로 변경할 수 있다.
이에 따라, 디바이스(100)는 객체(910b)가 기 설정된 복수의 센서들 각각의 감지 영역의 외부로 이동하는 경우에도, 복수의 센서들 중 적어도 하나의 센서의 감지 영역을 변경하여, 이동한 객체의 형상 정보를 지속적으로 획득할 수 있다. 또한, 디바이스(100)는 이동한 객체의 형상 정보, 공통 감지 영역 내의 제 1 지점에서 감지된 객체(910a)의 제 1 형상 정보 및 제 1 깊이 정보를 기초로 이동한 객체의 깊이 정보를 획득할 수 있다.
도 10은 일 실시예에 따른 디바이스(100)가 객체의 깊이 정보가 획득됨에 따라 사용자 인터페이스를 확대하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(100)는 공통 감지 영역(1010) 내의 제 1 지점에서 감지된 객체(1030a)의 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보를 기초로, 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역(1010)을 제외한 영역(이하, 공통 감지 영역의 외부 영역, 1020)에 위치한 객체의 깊이 정보를 획득할 수 있다.
일 실시예에 따른 디바이스(100)는 공통 감지 영역의 외부 영역(1020)에 위치한 객체(1030b)의 깊이 정보가 획득 가능함에 따라 공통 감지 영역(1010)에 설정된 사용자의 입력을 감지 가능한 사용자 인터페이스를 공통 감지 영역의 외부 영역(1020)으로 확대할 수 있다. 여기에서, 사용자의 입력을 감지 가능한 사용자 인터페이스는 예를 들어, 사용자의 손가락과 디바이스(100) 간의 거리 변화를 이용하여, 특정 아이콘을 선택하는 사용자 입력을 감지할 수 있는 인터페이스를 나타낸다. 다만, 여기에서, 사용자의 손가락은 사용자 입력 수단의 일 예일 뿐, 터치 펜 등의 다른 입력 수단이 사용될 수도 있다.
도 10을 참고하면, 디바이스(100)는 사용자 인터페이스를 공통 감지 영역의 외부 영역(1020)으로 확대함으로써, 공통 감지 영역(1010)에 대응되는 영역 상에 표시되는 아이콘들(1040)을 공통 감지 영역의 외부 영역(1020)에 표시할 수 있다. 사용자 인터페이스 상에 표시되는 아이콘들(1040)은 디바이스(100)에 설치된 적어도 하나의 애플리케이션을 실행하는 기능을 수행할 수 있으나, 이는 일 실시예일 뿐, 아이콘의 기능이 이에 한정되는 것은 아니다.
도 11은 다른 실시예에 따른 디바이스(1100)가 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(1100)는 360도 영상을 획득 가능한 복수의 센서들을 구비할 수 있다. 예를 들어, 디바이스(1100)는 제 1 센서, 제 2 센서 및 제 3 센서를 포함한 복수의 센서들을 구비할 수 있다. 또한, 제 1 센서, 제 2 센서 및 제 3 센서에는 각각 제 1 감지 영역(1110a), 제 2 감지 영역(1110b) 및 제 3 감지 영역(1110c)이 설정될 수 있다. 여기에서, 제 1 감지 영역(1110a), 제 2 감지 영역(1110b) 및 제 3 감지 영역(1110c)이 합산된 영역은 디바이스(1100)를 중심으로 한 360도 영역에 대응될 수 있다.
디바이스(1100)는 복수의 센서들의 감지 영역이 공통되는 공통 감지 영역(1120a, 1120b, 1120c) 상에 객체가 위치하는 경우, 객체의 적어도 하나의 시점에서의 제 1 형상 정보를 획득할 수 있다. 또한, 디바이스(1100)는 스테레오 방식을 통해 객체의 제 1 깊이 정보를 획득할 수 있다.
한편, 디바이스(1100)는 객체의 위치를 추적함으로써, 객체가 공통 감지 영역(1120a, 1120b, 1120c)을 벗어났는지 여부를 판단할 수 있다. 디바이스(1100)는 판단 결과, 객체가 공통 감지 영역(1120a, 1120b, 1120c)을 벗어난 경우, 객체의 제 2 형상 정보를 획득할 수 있다. 예를 들어, 디바이스(1100)는 복수의 센서들 중 제 1 센서의 제 1 감지 영역(1110a) 상에서 공통 감지 영역(1120a, 1120b)을 제외한 영역 내의 제 2 지점에 객체가 위치한 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득할 수 있다.
디바이스(1100)는 적어도 하나의 시점에서의 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 객체의 제 2 깊이 정보를 획득할 수 있다. 여기에서, 디바이스(1100)가 제 2 깊이 정보를 획득하는 방법은 도 1 내지 도 10을 참고하여 전술한 깊이 정보를 획득하는 방법과 대응될 수 있다.
도 12는 또 다른 실시예에 따른 디바이스(1200)가 객체의 깊이 정보를 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 디바이스(1200)는 스마트 카에 구비된 센싱 장치일 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(1200)가 스마트 카에 구비된 센싱 장치에 한정되는 것은 아니다.
일 실시예에 따른 디바이스(1200)는 광시야의 영상을 획득 가능한 복수의 센서들을 구비할 수 있다. 예를 들어, 디바이스(1100)는 제 1 센서, 제 2 센서, 제 3 센서 및 제 4 센서를 포함한 복수의 센서들을 구비할 수 있다. 또한, 제 1 센서, 제 2 센서, 제 3 센서 및 제 4 센서에는 각각 제 1 감지 영역(1210a), 제 2 감지 영역(1210b), 제 3 감지 영역(1210c) 및 제 4 감지 영역(1210d)이 설정될 수 있다.
디바이스(2100)는 복수의 센서들의 감지 영역이 공통되는 공통 감지 영역(1220a, 1220b, 1220c, 1220d) 상에 객체가 위치하는 경우, 객체의 적어도 하나의 시점에서의 제 1 형상 정보를 획득할 수 있다. 또한, 디바이스(1200)는 스테레오 방식을 통해 객체의 제 1 깊이 정보를 획득할 수 있다.
한편, 디바이스(1200)는 객체의 위치를 추적함으로써, 객체가 공통 감지 영역(1220a, 1220b, 1220c, 1220d) 을 벗어났는지 여부를 판단할 수 있다. 디바이스(1200)는 판단 결과, 객체가 공통 감지 영역(1220a, 1220b, 1220c, 1220d) 을 벗어난 경우, 객체의 제 2 형상 정보를 획득할 수 있다. 예를 들어, 디바이스(1200)는 복수의 센서들 중 제 1 센서의 제 1 감지 영역(1210a) 상에서 공통 감지 영역(1220a, 1220d)을 제외한 영역 내의 제 2 지점에 객체가 위치한 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득할 수 있다.
디바이스(1200)는 적어도 하나의 시점에서의 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 객체의 제 2 깊이 정보를 획득할 수 있다. 여기에서, 디바이스(1200)가 제 2 깊이 정보를 획득하는 방법은 도 1 내지 도 10을 참고하여 전술한 깊이 정보를 획득하는 방법과 대응될 수 있다.
도 13 및 14는 일 실시예에 따라 깊이 정보를 획득하는 디바이스(100)의 블록도이다.
도 13에 도시된 바와 같이, 일 실시예에 따른 디바이스(100)는, 센싱부(110) 및 제어부(120)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.
예를 들어, 도 14에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 센싱부(110) 및 제어부(120) 이외에 출력부(130), 사용자 입력부(140), 통신부(150), A/V 입력부(160) 및 메모리(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
센싱부(110)는, 디바이스(100)의 상태, 디바이스(100) 주변의 상태 및 디바이스(100)를 착용한 사용자의 상태 중 적어도 하나를 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다. 예를 들어, 센싱부(110)는 센싱부(110)에 포함된 복수의 센서들(예를 들어, 119) 각각의 감지 영역에 위치한 객체의 적어도 하나의 시점에서의 제 1 형상 정보 및 제 2 형상 정보 등을 획득할 수 있다.
일 실시예에 따른 센싱부(110)는 복수의 센서들 각각의 감지 영역 간에 공통되는 공통 감지 영역 내의 제 1 지점에 위치한 객체를 감지한다. 또한, 센싱부(110)는 제 1 지점에 위치한 객체의 적어도 하나의 시점에서의 제 1 형상 정보를 획득한다. 센싱부(110)는 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 객체가 위치하는 경우, 제 2 지점에서의 객체의 제 2 형상 정보를 획득한다.
일 실시예에 따른 센싱부(110)는 객체의 위치 정보를 획득할 수 있다. 또한, 센싱부(110)는 공통 감지 영역 내에서의 객체의 형상 변화를 감지할 수도 있다.
센싱부(110)는, 지자기 센서(Magnetic sensor)(111), 가속도 센서(Acceleration sensor)(112), 온/습도 센서(113), 적외선 센서(114), 자이로스코프 센서(115), 위치 센서(예컨대, GPS)(116), 기압 센서(117), 근접 센서(118), 및 RGB 센서(illuminance sensor)(119) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 출력부(130), 사용자 입력부(140), 통신부(150), A/V 입력부(160) 및 메모리(170) 등을 전반적으로 제어할 수 있다.
제어부(120)는 제 1 지점에서의 객체의 제 1 깊이 정보를 획득한다. 또한, 제어부(120)는 적어도 하나의 시점에서의 제 1 형상 정보와 제 2 형상 정보 간의 비교 결과 및 제 1 깊이 정보에 기초하여, 제 2 지점에서의 객체의 깊이 정보를 획득한다.
일 실시예에 따른 제어부(120)는 적어도 하나의 시점에서의 제 1 형상 정보 중 제 2 형상 정보와 대응되는 시점의 제 1 형상 정보를 선택할 수 있다. 또한, 제어부(120)는 선택된 제 1 형상 정보와 제 2 형상 정보를 기초로, 제 1 지점 및 제 2 지점에서 각각 감지된 객체의 크기 차이를 결정할 수 있다. 제어부(120)는 결정된 크기 차이 및 제 1 깊이 정보에 기초하여, 제 2 깊이 정보를 결정할 수 있다.
일 실시예에 따른 제어부(120)는 객체의 3차원 모델을 생성할 수 있다. 또한, 제어부(120)는 획득된 객체의 위치 정보에 기초하여, 객체가 복수의 센서들 각각의 감지 영역 상에서, 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치하는지 여부를 판단할 수 있다.
일 실시예에 따른 제어부(120)는 객체의 형상이 변형 가능한 경우, 변형 가능한 형상의 타입에 따라 적어도 하나의 시점에서의 제 1 형상 정보를 획득할 수 있다. 또한, 제어부(120)는 센싱부(110)에서 감지된 객체의 형상 변화에 기초하여, 변형 가능한 형상의 타입을 결정할 수 있다.
일 실시예에 따른 제어부(120)는 객체가 복수의 센서들 각각의 감지 영역으로부터 기 설정된 거리 범위 내에 위치하는 경우, 객체의 이동 방향에 기초하여, 복수의 센서들 중 적어도 하나의 감지 영역을 변경할 수 있다.
일 실시예에 따른 제어부(120)는 적어도 하나의 시점에서의 제 1 형상 정보를 기초로 객체의 종류를 식별할 수 있다.
일 실시예에 따른 제어부(120)는 공통 감지 영역과 대응되는 영역에 설정된 디바이스(100)의 사용자 입력을 감지 가능한 사용자 인터페이스를, 적어도 하나의 시점에서의 제 1 형상 정보 및 제 1 깊이 정보가 획득됨에 따라, 복수의 센서들 각각의 감지 영역으로 확대할 수 있다.
출력부(130)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다.
디스플레이부(131)는 디바이스(100)에서 처리되는 정보를 표시 출력한다.
한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(131)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(131)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(131)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(132)는 통신부(150)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
사용자 입력부(140)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(140)는, 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(140)는 UI 모듈(171)과 연동되어, 복수의 센서들 각각의 감지 영역 상에 표시되는 아이템들 중 적어도 하나를 선택하는 사용자 입력을 수신할 수도 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(140)에서 수신하는 사용자 입력의 종류가 전술한 예에 한정되는 것은 아니다.
통신부(150)는, 디바이스(100)와 외부 디바이스(예를 들어, 도 12의 스마트 카) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(161)는 디바이스(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(적어도 하나의 시점에서의 제 1 형상 정보, 제 1 깊이 정보, 제 2 형상 정보 및 제 2 깊이 정보)을 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 예를 들어, UI 모듈(171)은 도 10을 참고하여 전술한 바와 같이 사용자 입력을 감지 가능한 사용자 인터페이스를 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(173)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(100)에서 발생되는 이벤트의 예로는 키 신호 입력 등이 있다. 알림 모듈(173)은 디스플레이부(131)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(132)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(133)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

  1. 디바이스에서 객체의 깊이(depth) 정보를 획득하는 방법에 있어서,
    복수의 센서들 각각의 감지 영역 간에 공통되는 공통 감지 영역 내의 제 1 지점에 상기 객체가 위치하는 경우, 적어도 하나의 시점(view point)에서의 상기 객체의 제 1 형상 정보 및 제 1 깊이 정보를 획득하는 단계;
    상기 객체가, 상기 제1 지점에서 상기 복수의 센서들 각각의 감지 영역에서 상기 공통 감지 영역을 제외한 영역 내의 제 2 지점으로 이동한 경우, 상기 제 2 지점에서의 상기 객체의 제 2 형상 정보를 획득하는 단계; 및
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보와 상기 제 2 형상 정보의 비교 결과 및 상기 제 1 깊이 정보에 기초하여, 상기 제 2 지점에서의 상기 객체의 제 2 깊이 정보를 획득하는 단계를 포함하고,
    상기 제1 형상 정보는 상기 복수의 센서들에 의해 획득되고 , 상기 제2 형상 정보는 상기 복수의 센서들 중 일부에 의해 획득되는 것을 특징으로 하는, 방법.
  2. 제 1항에 있어서,
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보 중 상기 제 2 형상 정보와 대응되는 시점에서의 제 1 형상 정보를 선택하는 단계; 및
    상기 선택된 제 1 형상 정보와 상기 제 2 형상 정보를 기초로, 상기 제 1 지점 및 상기 제 2 지점에서 각각 획득된 상기 객체의 크기 차이를 결정하는 단계를 더 포함하고,
    상기 제 2 깊이 정보를 획득하는 단계는,
    상기 결정된 크기 차이 및 상기 제 1 깊이 정보에 기초하여 상기 제 2 깊이 정보를 결정하는 방법.
  3. 제 1항에 있어서,
    상기 방법은, 상기 객체의 3차원 모델을 생성하는 단계를 더 포함하고,
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보는,
    상기 생성된 객체의 3차원 모델로부터 획득되는 방법.
  4. 제 1항에 있어서, 상기 방법은,
    상기 객체의 위치 정보를 획득하는 단계; 및
    상기 획득된 위치 정보에 기초하여, 상기 객체가 상기 복수의 센서들 각각의 감지 영역 상에서, 상기 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치하는지 여부를 판단하는 단계를 더 포함하는 방법.
  5. 제 1항에 있어서, 상기 적어도 하나의 시점에서의 상기 제 1 형상 정보를 획득하는 단계는,
    상기 객체의 형상이 변형 가능한 경우, 변형 가능한 형상의 타입에 따라, 상기 적어도 하나의 시점에서의 상기 제 1 형상 정보를 획득하는 방법.
  6. 제 5항에 있어서,
    상기 공통 감지 영역 내에서의 상기 객체의 형상 변화를 식별하는 단계; 및
    상기 식별 결과에 기초하여, 상기 변형 가능한 형상의 타입을 결정하는 단계를 더 포함하는 단계를 포함하는 방법.
  7. 제 1항에 있어서,
    상기 객체가 상기 복수의 센서들 각각의 감지 영역의 경계로부터 기 설정된 거리 범위 내에 위치하는 경우, 상기 객체의 이동 방향에 기초하여, 상기 복수의 센서들 중 적어도 하나의 감지 영역을 변경하는 단계를 더 포함하는 방법.
  8. 제 1항에 있어서,
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보를 기초로 상기 객체의 종류를 식별하는 단계; 및
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보 및 상기 제 1 깊이 정보를 상기 식별된 객체의 종류에 따라 저장하는 단계를 더 포함하는 방법.
  9. 제 1항에 있어서,
    상기 공통 감지 영역과 대응되는 영역에 설정된 상기 디바이스의 사용자의 입력을 감지 가능한 사용자 인터페이스를, 상기 적어도 하나의 시점에서의 상기 제 1 형상 정보 및 상기 제 1 깊이 정보가 획득됨에 따라, 상기 복수의 센서 각각의 감지 영역으로 확대하는 단계를 더 포함하는 방법.
  10. 객체의 깊이 정보를 획득하는 디바이스에 있어서,
    복수의 센서들 각각의 감지 영역 간에 공통되는 공통 감지 영역 내의 제 1 지점에 상기 객체가 위치하는 경우, 상기 객체를 감지하고, 상기 제 1 지점에 위치한 객체의 적어도 하나의 시점(view point)에서의 상기 객체의 제 1 형상 정보를 획득하고, 상기 객체가 상기 제1 지점에서 상기 복수의 센서들 각각의 감지 영역 상에서 상기 공통 감지 영역을 제외한 영역 내의 제 2 지점으로 이동한 경우, 상기 제 2 지점에서의 상기 객체의 제 2 형상 정보를 획득하는 센싱부; 및
    상기 제 1 지점에서의 상기 객체의 제 1 깊이 정보를 획득하고, 적어도 하나의 시점에서의 제 1 형상 정보와 상기 제 2 형상 정보 간의 비교 결과 및 상기 제 1 깊이 정보에 기초하여, 상기 제 2 지점에서의 상기 객체의 제 2 깊이 정보를 획득하는 제어부를 포함하고,
    상기 제1 형상 정보는 상기 복수의 센서들에 의해 획득되고, 상기 제2 형상 정보는 상기 복수의 센서들 중 일부에 의해 획득되는 것을 특징으로 하는 디바이스.
  11. 제 10항에 있어서, 상기 제어부는,
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보 중 상기 제 2 형상 정보와 대응되는 시점의 제 1 형상 정보를 선택하고, 상기 선택된 제 1 형상 정보와 상기 제 2 형상 정보를 기초로, 상기 제 1 지점 및 상기 제 2 지점에서 각각 획득된 상기 객체의 크기 차이를 결정하며, 상기 결정된 크기 차이 및 상기 제 1 깊이 정보에 기초하여 상기 제 2 깊이 정보를 결정하는 디바이스.
  12. 제 10항에 있어서, 상기 제어부는,
    상기 객체의 3차원 모델을 생성하고,
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보는, 상기 생성된 객체의 3차원 모델로부터 획득되는 디바이스.
  13. 제 10항에 있어서, 상기 센싱부는,
    상기 객체의 위치 정보를 획득하고,
    상기 제어부는,
    상기 획득된 위치 정보에 기초하여, 상기 객체가 상기 복수의 센서들 각각의 감지 영역 상에서, 상기 공통 감지 영역을 제외한 영역 내의 제 2 지점에 위치하는지 여부를 판단하는 디바이스.
  14. 제 10항에 있어서, 상기 제어부는,
    상기 객체의 형상이 변형 가능한 경우, 변형 가능한 형상의 타입에 따라, 상기 적어도 하나의 시점에서의 상기 제 1 형상 정보를 획득하는 디바이스.
  15. 제 14항에 있어서, 상기 센싱부는,
    상기 공통 감지 영역 내에서의 상기 객체의 형상 변화를 식별하고,
    상기 제어부는,
    상기 식별 결과에 기초하여, 상기 변형 가능한 형상의 타입을 결정하는 디바이스.
  16. 제 10항에 있어서, 상기 제어부는,
    상기 객체가 상기 복수의 센서들 각각의 감지 영역의 경계로부터 기 설정된 거리 범위 내에 위치하는 경우, 상기 객체의 이동 방향에 기초하여, 상기 복수의 센서들 중 적어도 하나의 감지 영역을 변경하는 디바이스.
  17. 제 10항에 있어서, 상기 제어부는,
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보를 기초로 상기 객체의 종류를 식별하고,
    상기 디바이스는,
    상기 적어도 하나의 시점에서의 상기 제 1 형상 정보 및 상기 제 1 깊이 정보를 상기 식별된 객체의 종류에 따라 저장하는 메모리를 더 포함하는 디바이스.
  18. 제 10항에 있어서, 상기 제어부는,
    상기 공통 감지 영역과 대응되는 영역에 설정된 상기 디바이스의 사용자의 입력을 감지 가능한 사용자 인터페이스를, 상기 적어도 하나의 시점에서의 상기 제 1 형상 정보 및 상기 제 1 깊이 정보가 획득됨에 따라, 상기 복수의 센서들 각각의 감지 영역으로 확대하는 디바이스.
  19. 제 1항 내지 제 9항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020160080237A 2016-06-27 2016-06-27 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 KR102529119B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160080237A KR102529119B1 (ko) 2016-06-27 2016-06-27 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
US16/313,541 US10853958B2 (en) 2016-06-27 2017-02-07 Method and device for acquiring depth information of object, and recording medium
EP17820377.4A EP3461128B1 (en) 2016-06-27 2017-02-07 Method and device for acquiring depth information of object, and recording medium
PCT/KR2017/001329 WO2018004100A1 (ko) 2016-06-27 2017-02-07 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160080237A KR102529119B1 (ko) 2016-06-27 2016-06-27 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체

Publications (2)

Publication Number Publication Date
KR20180001291A KR20180001291A (ko) 2018-01-04
KR102529119B1 true KR102529119B1 (ko) 2023-05-04

Family

ID=60787467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160080237A KR102529119B1 (ko) 2016-06-27 2016-06-27 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체

Country Status (4)

Country Link
US (1) US10853958B2 (ko)
EP (1) EP3461128B1 (ko)
KR (1) KR102529119B1 (ko)
WO (1) WO2018004100A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030505B1 (en) * 2019-12-27 2021-06-08 Signify Holding B.V. Alternative identification of objects for constrained networks
KR20210118616A (ko) * 2020-03-23 2021-10-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213219A1 (en) * 2007-12-11 2009-08-27 Honda Research Institute Europe Gmbh Visually tracking an object in real world using 2d appearance and multicue depth estimations
JP2010510595A (ja) * 2006-11-24 2010-04-02 ピルツ ゲーエムベーハー アンド コー．カーゲー ３次元の空間領域を監視するための方法および装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1160210C (zh) 1999-09-20 2004-08-04 松下电器产业株式会社 驾驶提醒装置
JP2003141524A (ja) 2001-10-30 2003-05-16 Hitachi Ltd 非接触画像読み取り方法および非接触画像読み取りシステム
JP5011049B2 (ja) 2007-09-28 2012-08-29 日立オートモティブシステムズ株式会社 画像処理システム
KR20110076458A (ko) 2009-12-29 2011-07-06 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
JP4894939B2 (ja) * 2010-03-15 2012-03-14 カシオ計算機株式会社 撮像装置、表示方法、および、プログラム
KR20120051208A (ko) 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
US20130063556A1 (en) * 2011-09-08 2013-03-14 Prism Skylabs, Inc. Extracting depth information from video from a single camera
EP2754125B1 (en) * 2011-10-14 2017-01-18 Omron Corporation A method and apparatus for projective volume monitoring
WO2013131232A1 (en) * 2012-03-05 2013-09-12 Microsoft Corporation Generation of depth images based upon light falloff
WO2014106823A2 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
KR102221152B1 (ko) * 2014-03-18 2021-02-26 에스케이플래닛 주식회사 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체
US10438036B1 (en) * 2015-11-09 2019-10-08 Cognex Corporation System and method for reading and decoding ID codes on a curved, sloped and/or annular object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510595A (ja) * 2006-11-24 2010-04-02 ピルツ ゲーエムベーハー アンド コー．カーゲー ３次元の空間領域を監視するための方法および装置
US20090213219A1 (en) * 2007-12-11 2009-08-27 Honda Research Institute Europe Gmbh Visually tracking an object in real world using 2d appearance and multicue depth estimations

Also Published As

Publication number Publication date
US10853958B2 (en) 2020-12-01
WO2018004100A1 (ko) 2018-01-04
EP3461128A4 (en) 2019-07-03
EP3461128B1 (en) 2022-08-24
KR20180001291A (ko) 2018-01-04
US20190244376A1 (en) 2019-08-08
EP3461128A1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
JP7297216B2 (ja) 拡張現実システムのためのタッチフリーインターフェース
EP2839357B1 (en) Rapid gesture re-engagement
US9043732B2 (en) Apparatus and method for user input for controlling displayed information
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
EP2696347B1 (en) Selection of a range among user devices to propagate image tags.
CN112181226B (zh) 用于提供内容的方法和装置
US8135440B2 (en) System for using mobile communication terminal as pointer and method and medium thereof
KR102403064B1 (ko) 전자 디바이스 및 전자 디바이스의 제어 방법
KR102402511B1 (ko) 영상 검색 방법 및 이를 위한 장치
KR102273024B1 (ko) 디바이스가 다른 디바이스를 제어하는 방법 및 그 디바이스
US20130194180A1 (en) Device and method of controlling the same
KR102443214B1 (ko) 영상처리장치 및 그 제어방법
CN105930071B (zh) 用于管理项目的方法和装置
KR102374584B1 (ko) 영상을 디스플레이 하는 방법 및 디바이스
KR102293795B1 (ko) 디바이스에 컨텐츠를 출력하는 방법, 그 디바이스 및 기록매체
KR102380228B1 (ko) 디바이스를 제어하는 방법 및 그 디바이스
KR20180075224A (ko) 객체의 인식 결과를 제공하는 방법 및 전자 장치
KR102529119B1 (ko) 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
KR102109937B1 (ko) 잠금을 해제하는 방법 및 디바이스
KR102117048B1 (ko) 복수의 애플리케이션 실행 방법 및 이를 위한 디바이스
KR102399589B1 (ko) 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
KR101667585B1 (ko) 이동 단말기 및 이것의 객체 정보 디스플레이 방법
KR102373460B1 (ko) 디바이스에 객체를 표시하는 방법 및 그 디바이스
KR20150121565A (ko) 미러링 서비스를 수행하는 방법 및 장치
KR102317683B1 (ko) 영상을 처리하는 방법, 디바이스 및 기록매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right