KR101893771B1 - 3d 정보 처리 장치 및 방법 - Google Patents
3d 정보 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR101893771B1 KR101893771B1 KR1020120120948A KR20120120948A KR101893771B1 KR 101893771 B1 KR101893771 B1 KR 101893771B1 KR 1020120120948 A KR1020120120948 A KR 1020120120948A KR 20120120948 A KR20120120948 A KR 20120120948A KR 101893771 B1 KR101893771 B1 KR 101893771B1
- Authority
- KR
- South Korea
- Prior art keywords
- depth
- depth information
- estimated
- information
- background
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
3D 정보 처리 장치 및 방법이 개시된다. 개시된 3D 정보 처리 장치는 깊이 카메라 등의 센서 장치를 이용하여 오브젝트에 대한 제1 깊이 정보를 측정한다. 3D 정보 처리 장치는 오브젝트의 전경 깊이, 후경 깊이, 투명도 등을 가정하고, 가정된 값에 따라 오브젝트에 대한 제2 깊이 정보를 추정한다. 3D 정보 처리 장치는 측정된 제1 깊이 정보와 추정된 제2 깊이 정보를 비교하여 오브젝트의 전경 깊이, 후경 깊이, 투명도 등을 결정할 수 있다.
Description
아래의 설명은 3D 정보를 처리하는 장치 및 방법에 관한 것으로, 좀더 구체적으로는 오브젝트의 깊이 정보를 획득하는 기술에 관한 것이다.
3D 정보 처리 기술은 사용자에게 입체감을 줄 수 있는 오브젝트를 처리하는 기술이다. 3D 오브젝트 캡쳐 기술은 3D 정보 처리 기술의 일종으로서, 3차원 형상을 가진 각종 오브젝트들의 형상 정보, 위치 정보, 질감 정보들을 획득하여 데이터를 생성하고, 생성된 데이터를 처리하는 기술이다. 오브젝트 캡쳐 기술을 이용하여 생성된 디지털 데이터는 3D TV 등을 위한 콘텐트로 활용될 수 있다.
깊이 정보는 어떤 위치(예를 들어, 깊이 카메라의 위치)와 오브젝트 간의 거리에 관한 정보로서, 예를 들어, 오브젝트의 위치에 따라 계산될 수 있다. 오브젝트의 깊이 정보는 오브젝트의 형상을 파악하기 위한 가장 기초가 되는 정보이다. 따라서, 오브젝트에 대한 정확한 깊이 정보를 획득하는 것은 오브젝트 캡쳐 기술에 있어서 매우 중요한 작업이다.
3D 오브젝트 캡쳐 장치는 오브젝트의 깊이 정보를 획득하기 위하여 적외선 펄스 등을 전송하고, 적외선 펄스가 오브젝트에 반사되어 되돌아오는 신호를 이용하여 오브젝트의 위치를 결정할 수 있다.
예시적 실시예에 따르면, 오브젝트의 제1 깊이 정보를 측정하는 측정부, 상기 오브젝트의 제2 깊이 정보를 추정하는 추정부, 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보를 비교하는 비교부 및 상기 비교부의 비교 결과를 이용하여, 상기 오브젝트의 제3 깊이 정보를 결정하는 판단부를 포함하는 3D 정보 처리 장치(3D information processing apparatus)가 제공될 수 있다.
여기서, 상기 추정부는 상기 오브젝트의 전경 깊이(foreground depth), 백그라운드의 후경 깊이(background depth), 및 상기 오브젝트의 투명도를 추정하고, 상기 추정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 미리 정해진 모델링에 의하여, 상기 제2 깊이 정보를 추정할 수 있다.
그리고, 상기 추정부는 상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information), 상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information) 및 상기 오브젝트의 상기 추정된 투명도에 기초하여 상기 제2 깊이 정보를 추정할 수 있다.
또한, 상기 추정부는 상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information), 상기 오브젝트의 밝기(intensity), 상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information), 상기 백그라운드의 밝기 및 상기 오브젝트의 상기 추정된 투명도 중 적어도 하나에 기초하여 상기 제2 깊이 정보를 추정할 수 있다.
여기서, 상기 모델링은 하기 수학식 1에 따라서 상기 제2 깊이 정보를 추정할 수 있다.
[수학식 1]
여기서, 는 상기 추정된 제2 깊이 정보이고, 는 상기 제1 깊이 정보를 측정하는 깊이 카메라의 특성에 따라 결정되는 함수이고, 는 수신된 신호의 세기이고, 는 상기 오브젝트의 추정된 투명도이고, 는 상기 추정된 후경 깊이에서의 백그라운드의 밝기이고, 는 상기 오브젝트의 밝기이고, 는 상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보이고, 는 상기 오브젝트를 투과하고 상기 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보일 수 있다.
그리고, 상기 판단부는 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 이내인 경우, 상기 오브젝트의 제3 깊이 정보가 상기 추정된 제2 깊이 정보라고 판단할 수 있다.
또한, 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 상기 추정부는 상기 추정된 전경 깊이 및 후경 깊이를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)하고, 상기 비교부는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교할 수 있다.
여기서, 상기 측정부는 상기 오브젝트로부터 반사된 신호를 수신하는 N개(N은 1과 같거나 큰 정수)의 깊이 카메라를 포함하고, 상기 N개의 깊이 카메라에 대응하는 N개의 제1 깊이 정보를 생성하고, 상기 추정부는 상기 추정된 전경 깊이(foreground depth), 후경 깊이(background depth), 및 투명도에 기초하여, 상기 N개의 깊이 카메라에 대응하는 N개의 제2 깊이 정보를 추정하고, 상기 비교부는 상기 N개의 깊이 카메라에 대응하는 상기 N개의 제1 깊이 정보의 각각과 상기 N개의 제2 깊이 정보의 각각 비교할 수 있다.
또한, 상기 측정부는 상기 오브젝트의 방향으로 적외선을 전송하는 전송부(transmitting unit)를 포함하고, 상기 적외선이 상기 오브젝트로부터 반사된 신호 및 상기 적외선이 상기 오브젝트를 투과하고 백그라운드로부터 반사된 신호를 이용하여 상기 오브젝트의 상기 제1 깊이 정보를 측정할 수 있다.
또 다른 예시적 실시예에 따르면, 오브젝트의 제1 깊이 정보를 측정하는 측정부, 상기 오브젝트의 위치 및 투명도를 추정하고, 상기 추정된 위치 및 투명도에 기초하여 상기 오브젝트의 제2 깊이 정보를 추정하는 추정부, 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보를 비교하는 비교부 및 상기 비교부의 비교 결과에 따라서, 상기 오브젝트의 투명도를 결정하는 판단부를 포함하는 3D 정보 처리 장치가 제공될 수 있다.
여기서, 상기 추정부는 상기 추정된 위치에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information), 상기 오브젝트를 투과하고 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information) 및 상기 오브젝트의 상기 추정된 투명도 에 기초하여 상기 제2 깊이 정보를 추정할 수 있다.
그리고, 상기 제1 깊이 정보와 상기 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 상기 추정부는 상기 추정된 위치를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)하고, 상기 비교부는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교할 수 있다.
또 다른 예시적 실시예에 따르면, 깊이 카메라를 이용하여 오브젝트의 제1 깊이 정보를 측정(measure)하는 단계 및 상기 측정된 제1 깊이 정보를 추정된 제2 깊이 정보와 비교(compare)함으로써, 상기 오브젝트의 제3 깊이 정보를 결정하는 단계를 포함하는 3D 정보 처리 방법이 제공될 수 있다.
여기서, 상기 추정된 제2 깊이 정보는 상기 오브젝트의 전경 깊이, 백그라운드의 후경 깊이 및 상기 오브젝트의 투명도를 가정하고, 상기 가정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 미리 정해진 모델링에 의하여 추정(estimated)될 수 있다.
그리고, 상기 추정된 제2 깊이 정보는 상기 가정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information), 상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information) 및 상기 오브젝트의 상기 가정된 투명도에 기초하여 추정될 수 있다.
또한, 상기 추정된 제2 깊이 정보는 상기 가정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information), 상기 오브젝트의 밝기(intensity), 상기 오브젝트를 투과하고 상기 가정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information), 상기 백그라운드의 밝기 및 상기 오브젝트의 상기 가정된 투명도 중 적어도 하나에 기초하여 추정될 수 있다.
여기서, 상기 모델링은 상기 수학식 1에 따라서 상기 제2 깊이 정보를 추정할 수 있다.
그리고, 상기 추정된 제2 깊이 정보는 상기 오브젝트의 위치를 가정하고, 상기 가정된 위치에 기초하여, 미리 정해진 모델링에 의하여 추정(estimated)될 수 있다.
또한, 상기 오브젝트의 제3 깊이 정보를 결정하는 상기 단계는, 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 이내인 경우, 상기 오브젝트의 제3 깊이 정보가 상기 오브젝트의 상기 추정된 전경 깊이라고 결정하는 단계를 포함할 수 있다.
또 다른 예시적 실시예에 따르면, 깊이 카메라를 이용하여 오브젝트의 제1 깊이 정보를 측정하는 단계 및 상기 측정된 제1 깊이 정보를 추정된 제2 깊이 정보와 비교함으로써, 상기 오브젝트의 투명도를 결정하는 단계를 포함하는 3D 정보 처리 방법이 제공될 수 있다.
여기서, 상기 추정된 제2 깊이 정보는 상기 오브젝트의 전경 깊이, 백그라운드의 후경 깊이 및 상기 오브젝트의 투명도를 가정하고, 상기 가정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 미리 정해진 모델링에 의하여 추정(estimated)될 수 있다.
그리고, 상기 추정된 제2 깊이 정보는 상기 가정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information), 상기 오브젝트를 투과하고 상기 가정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information) 및 상기 오브젝트의 상기 추정된 투명도에 기초하여 추정될 수 있다.
또 다른 예시적 실시예에 따르면, 오브젝트의 전경 깊이를 가정하고, 상기 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information), 상기 오브젝트의 후경 깊이를 가정하고, 상기 오브젝트를 투과하고 상기 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information) 및 상기 오브젝트의 상기 가정된 투명도에 기초하여 상기 오브젝트의 깊이 정보를 추정하는 3D 정보 처리 방법이 제공될 수 있다.
도 1은 예시적 실시예에 따른 3D 정보 처리 기술을 설명하기 위한 도면이다.
도 2는 예시적 실시예에 따른 3D 정보 처리 장치를 도시한 블록도이다.
도 3은 예시적 실시예에 따라 후경 깊이 정보, 전경 깊이 정보, 및 오브젝트의 제2 깊이 정보를 추정하는 방법을 설명하기 위한 도면이다.
도 4는 오브젝트의 깊이 정보를 결정하는 예시적 실시예를 설명하기 위한 도면이다.
도 5는 복수의 깊이 카메라를 이용하여 오브젝트의 깊이 정보를 결정하는 예시적 실시예를 설명하기 위한 도면이다.
도 6은 복수의 깊이 카메라를 구비한 3D 정보 처리 장치의 일실시예를 도시한 도면이다.
도 7은 예시적 실시예에 따른 3D 정보 처리 방법을 설명하기 위한 순서도이다.
도 2는 예시적 실시예에 따른 3D 정보 처리 장치를 도시한 블록도이다.
도 3은 예시적 실시예에 따라 후경 깊이 정보, 전경 깊이 정보, 및 오브젝트의 제2 깊이 정보를 추정하는 방법을 설명하기 위한 도면이다.
도 4는 오브젝트의 깊이 정보를 결정하는 예시적 실시예를 설명하기 위한 도면이다.
도 5는 복수의 깊이 카메라를 이용하여 오브젝트의 깊이 정보를 결정하는 예시적 실시예를 설명하기 위한 도면이다.
도 6은 복수의 깊이 카메라를 구비한 3D 정보 처리 장치의 일실시예를 도시한 도면이다.
도 7은 예시적 실시예에 따른 3D 정보 처리 방법을 설명하기 위한 순서도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 예시적 실시예에 따른 3D 정보 처리 기술을 도시한 도면이다.
3D 정보 처리 장치(110)는 3차원 형상의 오브젝트(object)(120)에 대한 정보를 처리하는 장치이다. 예를 들어, 3D 정보 처리 장치(110)는 오브젝트(120)의 깊이 정보(depth information)를 획득하는 장치를 포함할 수 있다. 또한, 3D 정보 처리 장치(110)는 오브젝트(120)의 위치, 형상, 질감 등의 정보를 획득하는 3D 오브젝트 캡쳐 장치를 포함할 수 있다. 오브젝트(120)의 위치, 형상, 질감 등의 정보는 3D 디스플레이 장치를 이용하여 사용자에게 디스플레이 되어 사용자에게 입체감을 제공할 수 있다.
3D 정보 처리 장치(110)는 깊이 카메라를 이용하여 오브젝트(120)의 깊이 정보를 획득할 수 있다. 깊이 카메라는 촬영대상인 오브젝트(120)에 대한 깊이를 측정하여 깊이 정보를 측정할 수 있는 카메라로서, 예를 들어 ToF(Time to Flight) 방식의 깊이 카메라 또는 스트럭쳐드 라이트(Structured Light) 방식의 깊이 카메라, 노멀(normal) 취득 기반의 깊이 카메라 등 깊이 정보를 측정할 수 있는 모든 장치를 포함할 수 있다. 또 다른 실시예에 따르면, 3D 정보 처리 장치(110)는 카메라를 이용하여 오브젝트(120)를 촬영하고, 촬영된 영상을 분석하여 오브젝트의 위치, 형상, 질감 등의 정보를 획득할 수 있다.
깊이 카메라가 촬영하는 오브젝트(120)의 뒤편에 백그라운드(background)(130)가 위치할 수 있다. 이 경우에, 깊이 카메라를 이용하여 획득한 정보에는 오브젝트(120)에 대한 정보뿐만 아니라, 백그라운드(130)에 대한 정보가 포함될 수 있다.
특히, 오브젝트(120)가 광(light)을 투과하는 성질을 가진 경우, 깊이 카메라를 이용하여 획득한 정보 중에는 백그라운드(130)에 관한 정보가 포함될 수 있다. 예를 들어, 오브젝트(120)가 투명하거나, 반투명 하다면 깊이 카메라를 이용하여 촬영한 영상 중에서, 오브젝트(120)를 촬영한 부분에도 백그라운드(130)의 정보가 포함될 수 있다. 오브젝트(120)가 투명한 경우에, 깊이 카메라는, 백그라운드(130)에서 반사되고 감쇄 없이 오브젝트(120)를 투과한 신호를 수신한다. 또한, 오브젝트(120)가 반투명한 경우에, 깊이 카메라는, 백그라운드(130)에서 반사되고 오브젝트(120)에서 감쇄된 신호를 수신한다.
따라서, 오브젝트(120)가 광(light)을 투과하는 성질을 가진 경우, 깊이 카메라를 이용하여 획득한 정보를 분석하여 획득한 오브젝트(120)의 깊이 정보는 부정확할 수 있다.
예시적 실시예에 따르면, 3D 정보 처리 장치(110)는 오브젝트(120)의 깊이 정보, 백그라운드(130)의 깊이 정보 및 오브젝트(120)의 투명도를 가정하고, 수학적 모델에 따라서 오브젝트(120)의 깊이 정보를 추정할 수 있다. 3D 정보 처리 장치(110)는 측정된 깊이 정보와 상기 추정된 오브젝트의 깊이 정보를 비교하여, 오브젝트(120)의 깊이 정보, 백그라운드의 깊이 정보 및/또는 오브젝트(120)의 투명도를 결정할 수 있다.
예시적 실시예에 따르면, 오브젝트(120)가 광(light)을 투과하는 성질을 가진 경우에도, 깊이 카메라를 이용하여 오브젝트(120)의 깊이 정보를 보다 정확하게 생성할 수 있다. 또한, 예시적 실시예에 따르면, 깊이 카메라를 이용하여 촬영한 깊이 영상에 오브젝트(120)와 백그라운드(130)로부터의 정보가 혼합되어 있는 경우에도 오브젝트(120)의 깊이 정보를 정확히 결정할 수 있다. 또한, 오브젝트(120)가 투명하거나, 반투명하여 깊이 영상에서 오브젝트(120)를 촬영한 부분에 백그라운드(130)의 정보가 포함된 경우에도 오브젝트(120)의 깊이 정보를 정확히 결정할 수 있다. 따라서, 임의의 씬(scene)을 다양한 시각 조건 및 빛 조건 하에서 합성할 수 있으며, 가상 객체를 실사 영상에 알맞게 렌더링 하여 혼합, 합성할 수 있다.
도 2는 예시적 실시예에 따른 3D 정보 처리 장치의 구조를 도시한 블록도이다.
예시적 실시예에 따른 3D 정보 처리 장치(200)는 측정부(210), 추정부(220), 비교부(230), 판단부(240) 를 포함할 수 있다.
측정부(measuring unit)(210)는 오브젝트(260)의 제1 깊이 정보(first depth information)를 측정하는 장치일 수 있다. 제1 깊이 정보는 오브젝트(260)에 대해 측정된 값(measured value)로서, 예를 들어, 오브젝트(260)에 대한 깊이 값 또는 어떤 형태의 값(value)일 수 있다.
측정부(210)는 깊이 카메라(depth camera)를 포함할 수 있다. 깊이 카메라를 이용하여 촬영한 깊이 영상은 복수의 화소로 구성될 수 있다. 복수의 화소 각각의 값은 깊이 카메라가 수신한 신호의 값으로부터 결정될 수 있다.
측정부(210)는 상기 깊이 카메라를 이용하여 촬영된 깊이 영상을 분석하여 제1 깊이 정보를 측정할 수 있다. 여기서, 깊이 카메라는 깊이를 측정할 수 있는 카메라로서, 예를 들어 ToF(Time of Flight) 방식의 깊이 카메라 등을 포함할 수 있다.
3D 정보 처리 장치(200)는 오브젝트(260)의 방향으로 펄스를 전송하는 전송부(transmitting unit)(250)를 더 포함할 수 있다. 예를 들어, 3D 정보 처리 장치(200)의 측정부(210)는 오브젝트(260)의 방향으로 펄스를 전송하는 전송부(transmitting unit)(250)를 포함할 수 있다. 여기서, 전송부(250)가 전송하는 펄스는 적외선일 수 있다. 이 경우, 측정부(210)는 상기 적외선이 상기 오브젝트(260)로부터 반사된 신호를 이용하여 상기 오브젝트(260)의 상기 제1 깊이 정보를 측정할 수 있다. 또한, 오브젝트(120)가 광(light)을 투과하는 성질을 가진 경우, 측정부(210)는 상기 적외선이 상기 오브젝트(260)로부터 반사된 신호 및 상기 적외선이 상기 오브젝트(260)를 투과하고 백그라운드(270)로부터 반사된 신호를 이용하여 상기 오브젝트(260)의 상기 제1 깊이 정보를 측정할 수 있다.
측정부(210)는 깊이 영상의 화소값을 분석하여 깊이 카메라가 수신한 신호의 값을 판단하고, 깊이 카메라가 수신한 신호의 값을 이용하여 오브젝트(260)의 제1 깊이 정보를 측정할 수 있다.
추정부(estimating unit)(220)는 오브젝트(260)의 제2 깊이 정보를 추정하는 장치일 수 있다. 제2 깊이 정보는 오브젝트(260)에 대해 추정된 값(estimated value)로서, 예를 들어, 오브젝트(260)에 대한 추정된 깊이 값(estimated depth value) 또는 어떤 형태의 추정된 값(value)일 수 있다. 추정부(220)는 오브젝트(260)의 제2 깊이 정보를 사용자 요청에 따라 미리 정해진 모델링을 이용하여 생성함으로써, 제2 깊이 정보를 추정할 수 있다. 이때, 상기 제2 깊이 정보는 실시간으로 생성될 수 있다. 또한, 추정부는, 적어도 하나 이상의 미리 추정된 오브젝트(260)의 제2 깊이 정보를 저장(persisting/storing at least one of pre-estimated secondary depth information of the object)함으로써, 제2 깊이 정보를 추정할 수 있다. 이때, 상기 적어도 하나 이상의 미리 추정된 오브젝트(260)는 미리 계산되어, 3D 정보 처리 장치(200)의 저장부(storing unit)(도시되지 않음)에 저장되어 있을 수 있다.
추정부(220)는 오브젝트(260)의 위치 및 투명도를 추정하고, 상기 추정된 위치 및 투명도에 기초하여 오브젝트(260)의 제2 깊이 정보를 추정하는 장치일 수 있다. 추정부(260)는 전경 깊이 정보(foreground depth information), 후경 깊이 정보(background depth information) 및 오브젝트(260)의 가정된 투명도에 기초하여 제2 깊이 정보를 추정할 수 있다. 전경 깊이 정보는 오브젝트(260)의 추정된 위치에서 오브젝트(260)로부터 반사된 제1 반사 신호를 가정하여 계산될 수 있다. 후경 깊이 정보(background depth information)는 오브젝트(260)를 투과하고 백그라운드(270)로부터 반사된 제2 반사 신호를 가정하여 계산될 수 있다. 일측에 따르면, 추정부(220)는 하기 수학식 2 또는 수학식 3에 따라서 제2 깊이 정보를 추정할 수 있다.
추정부(220)는 오브젝트(260)의 전경 깊이(foreground depth), 백그라운드(270)의 후경 깊이(background depth), 및 오브젝트(260)의 투명도를 추정하고, 추정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 미리 정해진 모델링에 의하여, 제2 깊이 정보를 추정할 수 있다.
전경 깊이(foreground depth)는 어떤 위치(예를 들어, 3D 정보 처리 장치(200)의 위치, 측정부(210)의 위치, 전송부(250)의 위치, 깊이 카메라의 위치 등)로부터 오브젝트(260)까지의 거리를 의미할 수 있다.
후경 깊이(background depth)는 어떤 위치(예를 들어, 3D 정보 처리 장치(200)의 위치, 측정부(210)의 위치, 전송부(250)의 위치, 깊이 카메라의 위치 등)로부터 백그라운드(270)까지의 거리를 의미할 수 있다.
추정부(220)는 전경 깊이 정보(estimated foreground depth), 후경 깊이 정보(background depth information), 및 오브젝트(260)의 추정된 투명도 중 적어도 하나 이상에 기초하여 제2 깊이 정보를 추정할 수 있다. 예를 들어, 추정부(220)는 전경 깊이 정보(estimated foreground depth), 후경 깊이 정보(background depth information), 및 오브젝트(260)의 추정된 투명도 중 모두에 기초하여 제2 깊이 정보를 추정할 수 있다.
전경 깊이 정보(foreground depth information)는 오브젝트(260)와 관련된 값으로서, 예를 들어, 추정된 전경 깊이(estimated foreground depth)에서 오브젝트로(260)부터 반사된 제1 반사 신호를 가정하여 계산될 수 있다. 예를 들어, 오브젝트(260)가 추정된 전경 깊이(estimated foreground depth)에 위치한다고 가정하고, 미리 정해진 모델링에 의하여, 상기 추정된 전경 깊이가 계산될 수 있다.
후경 깊이 정보(background depth information)은 오브젝트(260)와 관련된 값으로서, 예를 들어, 오브젝트(260)를 투과하고 가정된 후경 깊이에서 백그라운드로(270)부터 반사된 제2 반사 신호를 가정하여 계산될 수 있다. 예를 들어, 오브젝트(260)가 추정된 후경 깊이(estimated background depth)에 위치한다고 가정하고, 미리 정해진 모델링에 의하여, 상기 추정된 후경 깊이가 계산될 수 있다.
추정된 투명도(estimated degree of transparency)는 오브젝트(260)와 관련된 값으로서, 0보다 크거나 같고, 1보다 작거나 같은 값이 선택될 수 있다.
모델링은 오브젝트(260)와 관련된 값을 입력으로 하고, 오브젝트(260)의 추정된 제2 깊이 정보를 출력으로 하는 함수로서, 예를 들어, 오브젝트(object)(260)의 계산된 전경 깊이 정보, 후경 깊이 정보, 및 투명도 중 적어도 하나 이상(예를 들어, 모두)을 입력으로 하고, 오브젝트(260)의 추정된 제2 깊이 정보를 출력으로 하는 함수일 수 있다.
비교부(comparing unit)(230)는 측정된 제1 깊이 정보와 추정된 제2 깊이 정보를 비교하는 장치(unit)일 수 있다. 비교부(230)는 측정된 제1 깊이 정보와 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 이내인지 여부를 판단할 수 있다.
일실시예에 따르면, 판단부(determining unit)(240)는 비교부(230)의 비교 결과를 이용하여 오브젝트(260)의 제3 깊이 정보를 결정하는 장치일 수 있다. 예를 들어, 측정된 제1 깊이 정보와 추정된 제2 깊이 정보가 같거나 측정된 제1 깊이 정보와 추정된 제2 깊이 정보 간의 차이가 미리 정해진 범위 이내인 경우, 판단부(240)는 오브젝트(260)의 제3 깊이 정보(예를 들어, 오브젝트(260)의 실제 깊이 정보)가 오브젝트(260)의 상기 추정된 전경 깊이라고 결정할 수 있다. 또는, 판단부(240)는 오브젝트(260)의 제3 깊이 정보(예를 들어, 오브젝트(260)의 실제 깊이 정보)가 상기 추정된 제2 깊이 정보라고 결정할 수 있다.
또 다른 실시예에 따르면, 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 추정부(220)는 상기 추정된 전경 깊이 및/또는 후경 깊이를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)할 수 있다. 이때, 비교부(230)는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교할 수 있다. 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보가 같거나 측정된 제1 깊이 정보와 상기 재추정된 제2 깊이 정보 간의 차이가 미리 정해진 범위 이내인 경우, 판단부(240)는 오브젝트(260)의 제3 깊이 정보(예를 들어, 오브젝트(260)의 실제 깊이 정보)가 상기 재추정된 전경 깊이라고 결정할 수 있다. 또 다른 실시예에 따르면, 이 경우, 판단부(240)는 오브젝트(260)의 제3 깊이 정보(예를 들어, 오브젝트(260)의 실제 깊이 정보)가 상기 재추정된 제2 깊이 정보라고 결정할 수 있다.
만약, 재추정에 의한 제2 깊이 정보와 측정된 제1 깊이 정보의 차이가 여전히 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 추정부(220)는 상기 추정된 전경 깊이 및 후경 깊이를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)하고, 비교부(230)는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교하는 과정이 반복될 수 있다.
판단부(240)는 오브젝트(260)가 깊이 카메라에 대응되는 특정한 직선상에 위치하며, 깊이 카메라로부터의 거리는 제3 깊이 정보에 따라 결정된다고 판단할 수 있다.
또 다른 실시예에 따르면, 판단부(determining unit)(240)는 비교부(230)의 비교 결과에 따라서, 오브젝트(260)의 투명도를 결정하는 장치일 수 있다. 예를 들어, 측정된 제1 깊이 정보와 추정된 제2 깊이 정보가 같거나 측정된 제1 깊이 정보와 추정된 제2 깊이 정보 간의 차이가 미리 정해진 범위 이내인 경우, 판단부(240)는 오브젝트(260)의 가정된 투명도를 오브젝트(260)의 투명도로 결정할 수 있다.
또 다른 실시예에 따르면, 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 추정부(220)는 상기 추정된 전경 깊이 및 후경 깊이를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)하고, 비교부(230)는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교할 수 있다. 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보가 같거나 측정된 제1 깊이 정보와 상기 재추정된 제2 깊이 정보 간의 차이가 미리 정해진 범위 이내인 경우, 판단부(240)는 오브젝트(260)의 투명도를 오브젝트(260)에 대해 추정된 투명도라고 판단할 수 있다.
만약, 재추정에 의한 제2 깊이 정보와 측정된 제1 깊이 정보의 차이가 여전히 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 추정부(220)는 상기 추정된 전경 깊이 및 후경 깊이를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)하고, 비교부(230)는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교하는 과정이 반복될 수 있다.
도 3은 예시적 실시예에 따라 후경 깊이 정보, 전경 깊이 정보, 및 오브젝트의 제2 깊이 정보를 추정하는 방법을 설명하기 위한 도면이다. 도 3의 가로축은 시간을 나타내고, 세로축은 펄스의 크기를 나타낸다.
도 3에 도시된 바와 같이, 전송부가 전송한 펄스(310)가 가정된다. 전송한 펄스(310)는 적외선으로 가정될 수 있으며, 실시예에 따라, 가시광선, 고주파, 저주파 등으로 가정될 수 있다. 전송부가 전송한 것으로 가정되는 펄스(310)는 길이가 (311)이고, 크기가 (312)일 수 있다. 전송부는 깊이 카메라(예를 들어, ToF 카메라)로 가정될 수 있다.
오브젝트의 제2 깊이 정보를 추정하기 위하여, 오브젝트는 전경 깊이(foreground depth)에 위치하는 것으로 가정될 수 있다. 전경 깊이(foreground depth)는 어떤 위치로부터 오브젝트까지의 거리를 의미할 수 있다. 예를 들어, 전경 깊이는 3D 정보, 처리 장치의 위치, 측정부의 위치, 전송부의 위치, 깊이 카메라의 위치 등과 같은 어떤 위치로부터 오브젝트까지의 거리를 의미할 수 있다.
또한, 백그라운드는 후경 깊이(background depth)에 위치하는 것으로 가정될 수 있다. 후경 깊이(background depth)는 어떤 위치로부터 백그라운드까지의 거리를 의미할 수 있다. 예를 들어, 후경 깊이는 3D 정보, 처리 장치의 위치, 측정부의 위치, 전송부의 위치, 깊이 카메라의 위치 등과 같은 어떤 위치로부터 백그라운드까지의 거리를 의미할 수 있다.
오브젝트의 투명도가 추정될 수 있다. 추정된 투명도(estimated degree of transparency)는 오브젝트와 관련된 값으로서, 0보다 크거나 같고, 1보다 작거나 같은 값이 선택될 수 있다.
가정된 펄스(assumed pulse)(310)가 백그라운드로부터 반사된 제2 반사 신호를 가정하여 후경 깊이 정보(320)가 계산될 수 있다. 후경 깊이 정보(background depth information)(320)는 오브젝트와 관련된 값으로서, 예를 들어, 가정된 펄스(310)가 오브젝트를 투과하고 가정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산될 수 있다. 예를 들어, 오브젝트가 추정된 후경 깊이(estimated background depth)에 위치한다고 가정하고, 미리 정해진 모델링에 의하여, 상기 추정된 후경 깊이 정보(320)가 계산될 수 있다.
예를 들어, 가정된 펄스(310)에 의하여 백그라운드로부터 반사된 신호가 추정될 수 있다. 가정된 펄스(310)에 의하여 백그라운드로부터 반사된 신호는, 깊이 카메라로부터 백그라운드, 그리고 백그라운드로부터 깊이 카메라까지 진행하기 때문에, 도 3의 (323)만큼 시간 지연된다. 또한, 오브젝트를 투과하면서, 그 크기도 (322)로 감소한다. 여기서, 는 오브젝트의 추정된 투명도에 따라 결정되는 상수로서, '0'보다는 크거나 같고 '1' 보다 작거나 같은 값이다. 오브젝트의 추정된 투명도가 클수록, 의 값을 커질 수 있다. 또한, 백그라운드로부터 반사된 신호의 길이는 (321)이다.
가정된 펄스(assumed pulse)(310)가 오브젝트로부터 반사된 제1 반사 신호를 가정하여 전경 깊이 정보(foreground depth information)(330)가 계산될 수 있다. 전경 깊이 정보(foreground depth information)(330)는 오브젝트와 관련된 값으로서, 예를 들어, 추정된 전경 깊이(estimated foreground depth)에서 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산될 수 있다. 예를 들어, 오브젝트가 추정된 전경 깊이(estimated foreground depth)에 위치한다고 가정하고, 미리 정해진 모델링에 의하여, 상기 추정된 전경 깊이 정보(330)가 계산될 수 있다.
예를 들어, 가정된 펄스(310)에 의하여 오브젝트로부터 반사된 신호가 추정될 수 있다. 가정된 펄스(310)에 의하여 오브젝트로부터 반사된 신호는, 깊이 카메라로부터 오브젝트, 그리고 오브젝트로부터 깊이 카메라까지 진행하기 때문에, 도 3의 (333)만큼 시간 지연된다. 또한 크기도 (332)로 감소한다. 여기서, 는 상수로서 '0'보다는 크거나 같고 '1' 보다 작거나 같은 값이다. 또한 오브젝트로부터 반사된 신호의 길이는 (331)이다.
전경 깊이 정보(estimated foreground depth), 후경 깊이 정보(background depth information), 및 오브젝트의 추정된 투명도에 기초하여 제2 깊이 정보(340)가 추정될 수 있다.
깊이 카메라가 수신할 것으로 추정되는 신호(341)는 백그라운드로부터 반사된 제2 반사신호와 오브젝트로부터 반사된 제1 반사 신호의 합으로 표현될 수 있다. 뿐만 아니라, 깊이 카메라가 수신할 것으로 추정되는 신호(341)는 백그라운드와 오브젝트 사이에서 반복적으로 반사되는 신호를 포함할 수 있다. 깊이 카메라가 수신할 것으로 추정되는 신호(341)가 계산된 후, 신호(341)에 기초하여 제2 깊이 정보(340)가 추정될 수 있다.
도 4는 오브젝트의 깊이 정보를 결정하는 예시적 실시예를 설명하기 위한 도면이다.
도 4를 참조하면, 오브젝트(420)의 뒤 편에는 백그라운드(430)가 위치한다. 깊이 카메라(410)를 이용하여 오브젝트(420)를 촬영한 영상에는 백그라운드(430)에 관한 정보가 포함될 수 있다. 특히 오브젝트(420)와 광의 적어도 일부를 투과시키는 경우(예를 들어, 오브젝트(420)가 투명하거나 반투명한 경우), 오브젝트(420)를 촬영한 화소에는 오브젝트(420)로부터 반사된 신호뿐만 아니라, 백그라운드(430)로부터 반사된 신호도 포함될 수 있다.
따라서, 깊이 카메라(410)를 이용하여 수신된 신호를 분석하여 추정된 제2 깊이 정보는, 하기 수학식 2와 같이, 오브젝트(420)의 추정된 전경 깊이(foreground depth), 백그라운드(430)의 추정된 후경 깊이(background depth), 및 오브젝트(420)의 추정된 투명도에 따라서 결정되는 값일 수 있다.
[수학식 2]
여기서, 는 추정된 제2 깊이 정보이고, 는 전경 깊이 정보(foreground depth information)로서, 오브젝트(420)의 추정된 전경 깊이에서 오브젝트(420)로부터 반사된 반사 신호를 가정하여 계산된 값일 수 있다. 또한, 는 후경 깊이 정보(background depth information)로서, 백그라운드(430)의 추정된 후경 깊이에서 백그라운드(430)로부터 반사된 반사 신호를 가정하여 계산된 값일 수 있다.
또한, 는 오브젝트(420)의 추정된 투명도로서, 의 값이 '0'인 경우 오브젝트(420)는 불투명한 오브젝트이고, 의 값이 '1'인 경우에 오브젝트(420)는 완전히 투명한 오브젝트이다. 는 0보다 크거나 같고, 1보다 작거나 같은 값일 수 있다. 여기서, 는 함수를 의미하며 는 수신된 신호의 세기일 수 있다.
일측에 따르면, 상기 수학식 2는 하기 수학식 3과 같이 오브젝트(420)로부터 반사된 신호 및 백그라운드(430)로부터 반사된 신호를 구분하여 표현될 수 있다.
[수학식 3]
여기서, 는 함수 의 역함수를 의미하며, 는 신호를 수신하는 깊이 카메라의 특성에 따라 결정되는 함수일 수 있다. (440)는 오브젝트(420)의 밝기이고, (450)는 백그라운드(430)의 밝기일 수 있다.
수학식 3에서 에 입력된 파라미터는 세가지 성분의 합으로 구성된다. 첫 번째 성분은 오브젝트(420)로부터 반사된 신호의 세기를 나타낼 수 있다. 첫 번째 성분은 오브젝트(420)의 전경 깊이 정보 의 제곱에 반비례하고, 오브젝트(420)의 밝기 (440)에 비례한다. 또한 첫 번째 성분은 에 비례하며, 오브젝트(420)가 투명하여 투명도 가 '1'에 근접하면 작은 값을 가지고, 오브젝트(420)가 불투명하여 투명도 가 '0'에 근접하면 큰 값을 가진다.
또한 두 번째 성분은 백그라운드(430)로부터 반사된 신호의 세기를 나타낸다. 두 번째 성분은 오브젝트(420)의 후경 깊이 정보 의 제곱에 반비례하고, 백그라운드(430)의 밝기 (450)에 비례한다. 또한 두 번째 성분은 에 비례하며, 오브젝트(420)가 투명하여 투명도 가 '1'에 근접하면 큰 값을 가지고, 오브젝트(420)가 불투명하여 투명도 가 '0'에 근접하면 작은 값을 가진다.
세 번째 성분은 백그라운드(430)로부터 반사된 신호가 다시 오브젝트(420)로 반사되는 경우를 나타낸다. 오브젝트(420)로부터 반사된 신호는 다시 백그라운드(430)로 반사되고, 백그라운드(430)로부터 반사된 신호는 또 다시 오브젝트(420)로 반사될 수 있다. 수학식 3에서, i는 백그라운드(430)로부터의 반사 횟수를 나타낸다. 세 번째 성분은 오브젝트(420)의 후경 깊이 정보 및 오브젝트(420)의 후경 깊이 정보 와 전경 깊이 정보의 차에 반비례한다.
상기 설명한 바를 참고하면, 추정부는 오브젝트(420)의 전경 깊이, 후경 깊이 및 투명도 를 특정한 값으로 가정하고, 가정된 값들에 기초하여 제2 깊이 정보 를 추정할 수 있다.
여기서, 백그라운드가 평평하다고 가정하면, 후경 깊이 정보 는 깊이 카메라를 이용하여 촬영한 깊이 영상 전체에 대하여 동일한 값으로 가정할 수 있다. 또한, 오브젝트(420)의 투명도 도 깊이 영상 전체에 대하여 동일한 값으로 가정할 수 있다.
그리고, 추정부는 오브젝트(420)가 깊이 카메라(410)에 대응되는 특정한 직선상에 위치하는 것으로 가정할 수 있다. 이 경우에, 오브젝트(420)의 위치는 3차원 공간상의 위치가 아니라, 1차원 공간상의 위치로 제한된다.
비교부는 측정된 제1 깊이 정보와 추정된 제2 깊이 정보를 비교할 수 있다. 일측에 따르면, 비교부는 측정된 제1 깊이 정보와 추정된 제2 깊이 정보간의 차이가 미리 정해진(predetermined) 범위 이내에 포함되는지 여부를 판단할 수 있다.
판단부는 비교부의 비교 결과를 이용하여 오브젝트의 제3 깊이 정보를 결정한다. 일측에 따르면, 측정된 제1 깊이 정보와 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 이내인 경우에, 판단부는 오브젝트의 제3 깊이 정보가 상기 추정된 제2 깊이 정보라고 판단할 수 있다. 또한, 판단부는 오브젝트(420)가 깊이 카메라(410)에 대응되는 특정한 직선상에 위치하며, 깊이 카메라로부터의 거리는 제3 깊이 정보를 이용하여 생성될 수 있다.
다른 측면에 따르면, 측정된 제1 깊이 정보와 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우에, 판단부는 제2 깊이 정보를 추정하기 위한 가정(오브젝트(420)의 전경 깊이 정보 , 후경 깊이 정보 및 오브젝트(420)의 투명도 중에서 적어도 하나에 대한 가정)이 타당하지 않은 것으로 판단할 수 있다. 추정부는 가정된 전경 깊이, 후경 깊이 및 투명도 중에서 적어도 하나를 변경하여 제2 깊이 정보를 재추정(re-estimate)하고, 비교부(230)는 제1 깊이 정보와 재추정된 제2 깊이 정보를 비교할 수 있다.
예를 들어, 측정된 제1 깊이 정보와 추정된 제2 깊이 정보가 같거나 측정된 제1 깊이 정보와 추정된 제2 깊이 정보 간의 차이가 미리 정해진 범위 이내인 경우, 오브젝트(420)의 제3 깊이 정보(예를 들어, 오브젝트(420)의 실제 깊이 정보)는, 상기 제2 깊이 정보를 계산하기 위하여 사용된, 오브젝트(420)의 추정된 전경 깊이라고 결정될 수 있다.
그러나, 상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 추정부는 상기 오브젝트의 추정된 오브젝트(420)의 전경 깊이, 백그라운드(430)의 후경 깊이 및 오브젝트(420)의 투명도를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)할 수 있다. 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보가 같거나 측정된 제1 깊이 정보와 상기 재추정된 제2 깊이 정보 간의 차이가 미리 정해진 범위 이내인 경우, 판단부는 오브젝트(420)의 제3 깊이 정보(예를 들어, 오브젝트(420)의 실제 깊이 정보)가 상기 변경된 전경 깊이라고 판단할 수 있다. 만약, 재추정에 의한 제2 깊이 정보와 측정된 제1 깊이 정보의 차이가 여전히 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우, 추정부는 상기 오브젝트의 추정된 오브젝트(420)의 전경 깊이, 백그라운드(430)의 후경 깊이 및 오브젝트(420)의 투명도를 다시 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)할 수 있다.
도 5는 복수의 깊이 카메라를 이용하여 오브젝트의 깊이 정보를 측정하는 예시적 실시예를 설명하기 위한 도면이다. 도 5의 (a)는 오브젝트의 가정된 전경 깊이가 부정확한 경우를 도시한 도면이고, 도 5의 (b)는 오브젝트의 가정된 전경 깊이가 정확한 경우를 도시한 도면이다.
도 5의 (a)에서, 복수의 깊이 카메라(521, 522)는 백그라운드(510)로부터 반사된 신호 및 오브젝트(520)로부터 반사된 신호를 수신한다.
깊이 카메라(521, 522)에 대응되는 일직선상에 오브젝트(520)의 위치가 가정될 수 있다. 오브젝트(520)의 가정된 위치(551)에 따라 전경 깊이 정보가 계산되고, 계산된 전경 깊이 정보에 기초하여 제2 깊이 정보가 추정될 수 있다. 오브젝트(520)의 가정된 위치(551)에 따라 오브젝트의 전경 깊이가 추정될 수 있다.
도 5의 (a)에서, 오브젝트(520)의 표면(550)은 가정된 위치(551)보다 좀더 먼 곳에 위치할 수 있다. 따라서, 가정된 전경 깊이는 부정확하며, 가정된 전경 깊이에 기초하여 추정된 제2 깊이 정보(541, 542)는 측정된 제1 깊이 정보(531, 532)과 상이할 수 있다.
도 5의 (b)에서는 가정된 위치(593)가 오브젝트(520)의 표면에 정확히 설정되었다. 이 경우에, 가정된 전경 깊이에 기반하여 추정된 제2 깊이 정보와 측정된 제1 깊이 정보(581, 582)는 일치할 수 있다.
도 5와 같이 복수의 깊이 카메라(521, 522)를 이용하여 깊이 영상을 촬영하고, 촬영된 깊이 영상을 분석하는 경우에는 각 깊이 카메라(521, 522)를 이용하여 획득된 정보를 조합하여 오브젝트(520, 570)의 위치 또는 오브젝트(520, 570)의 깊이 정보를 좀더 정확히 결정할 수 있다.
도 5에서는 2개의 깊이 카메라(521, 522)를 이용한 실시예가 도시되었으나, 다른 실시예에 따르면, 3D 정보 처리 장치는 N개(여기서, N은 1과 같거나 큰 정수)의 깊이 카메라를 이용하여, 미리 정해진 모델링에 의하여, 깊이 정보를 결정할 수 있다.
모델링은 오브젝트(570)와 관련된 값을 입력으로 하고, 오브젝트(570)의 추정된 제2 깊이 정보를 출력으로 하는 함수일 수 있다. 예를 들어, 모델링은 오브젝트(object)(570)의 추정된 전경 깊이 정보, 후경 깊이 정보, 및 투명도 중 적어도 하나 이상(예를 들어, 모두)을 입력으로 하고, 오브젝트(570)의 추정된 제2 깊이 정보를 출력으로 하는 함수일 수 있다. 전경 깊이 정보는 오브젝트(570)의 추정된 전경 깊이에서 오브젝트(570)로부터 반사된 제1 반사 신호를 가정하여 계산되는 값일 수 있다. 후경 깊이 정보(background depth information)는 오브젝트(570)를 투과하고 상기 추정된 후경 깊이에서 백그라운드(560)로부터 반사된 제2 반사 신호를 가정하여 계산되는 값일 수 있다. 상기 투명도는 오브젝트(570)에 대해 추정되는 투명도일 수 있다.
이 경우, 오브젝트(570)의 전경 깊이, 백그라운드(560)의 후경 깊이, 및 오브젝트(570)의 투명도가 추정되고, 상기 추정된 3개의 값에 기초하여, 오브젝트(570)의 제2 깊이 정보가 추정될 수 있다. 이 제2 깊이 정보를 깊이 카메라(591, 592)에 의하여 측정된 깊이 정보들과 비교함으로써, 오브젝트(570)의 실제 깊이 정보가 얻어질 수 있다. 따라서, 3개 이상의 깊이 카메라를 사용하여 측정된 깊이 정보들을 추정된 제2 깊이 정보와 비교하면, 더욱 정확한 오브젝트(570)의 실제 깊이 정보를 생성할 수 있다.
일 실시예에 따르면, 도 2에 도시된 측정부(210)는 N개(N은 1과 같거나 큰 정수)의 깊이 카메라를 포함하고, N 개의 깊이 카메라에 대응하는 N개의 제1 깊이 정보를 생성할 수 있다. 상기 N개의 깊이 카메라의 각각은 오브젝트(260)로부터 반사된 신호를 수신한다. 추정부(220)는 전경 깊이(foreground depth), 후경 깊이(background depth), 및 투명도 중에서 적어도 하나를 가정할 수 있다. 추정부(220)는 가정된 전경 깊이(foreground depth), 후경 깊이(background depth), 및 투명도에 기초하여, N개의 깊이 카메라에 대응하는 N개의 제2 깊이 정보를 추정할 수 있다. 비교부(230)는 N개의 깊이 카메라에 대응하는 N개의 제1 깊이 정보의 각각과 N개의 깊이 카메라에 대응하는 N개의 제2 깊이 정보를 각각 비교할 수 있다. 판단부(240)는 상기 비교부(230)의 비교 결과를 이용하여 오브젝트(260)의 제3 깊이 정보를 결정할 수 있다. 3개 이상의 깊이 카메라를 사용하여 깊이 정보들을 측정하는 경우(예를 들어, 상기 N이 3 이상이 경우), 더욱 정확한 오브젝트(570)의 실제 깊이 정보를 생성할 수 있다.
도 6은 복수의 깊이 카메라를 구비한 3D 정보 처리 장치의 일실시예를 도시한 도면이다.
예시적 실시예에 따른 3D 정보 처리 장치(600)는, 도 6에 도시된 바와 같이, 복수의 깊이 카메라(610, 620, 630)를 포함할 수 있다. 3D 정보 처리 장치(600)는 복수의 깊이 카메라(610, 620, 630)를 이용하여 오브젝트에 대한 깊이 영상을 각각 촬영하고, 촬영된 깊이 영상을 분석하여 오브젝트에 대한 깊이 정보를 좀더 정확히, 신속히 결정할 수 있다.
복수의 깊이 카메라(610, 620, 630)의 각각은 오브젝트의 깊이 정보를 측정할 수 있다. 3D 정보 처리 장치(600)의 프로세서(도시되지 않음)는 오브젝트의 전경 깊이, 백그라운드의 후경 깊이, 및 오브젝트의 투명도를 가정하여, 오브젝트의 깊이 정보를 추정할 수 있다. 3D 정보 처리 장치(600)의 프로세서는 상기 추정된 깊이 정보 및 상기 측정된 깊이 정보를 비교함으로써, 오브젝트의 깊이 정보를 결정할 수 있다. 본 실시예에 따르면, 오브젝트가 광(light)을 투과하는 경우에도, 비교적 정학한 오브젝트의 깊이 정보를 생성할 수 있다.
실시예에 따른 3D 정보 처리 장치(600)는 디지털 카메라, 휴대폰, 휴대용 전자기기 등 다양한 전자 제품의 일부로 구현될 수 있다.
도 6은 깊이 카메라가 3개인 경우를 도시하였으나, 3D 정보 처리 장치(600)에 포함되는 깊이 카메라의 개수는 4개 이상일 수도 있다. 또한, 3D 정보 처리 장치(600)에 배치되는 깊이 카메라(610, 620, 630)의 위치는 도 6과 다를 수 있다.
도 7은 예시적 실시예에 따른 3D 정보 처리 방법을 설명하기위한 순서도이다.
단계(710)에서, 3D 정보 처리 장치는 오브젝트의 제1 깊이 정보를 측정한다. 여기서, 3D 정보처리 장치는 깊이 카메라를 이용하여 제1 깊이 정보를 측정할 수 있다.
일측에 따르면, 3D 정보 처리 장치는 오브젝트의 방향으로 펄스를 전송하고, 전송된 펄스가 오브젝트로부터 반사된 신호를 이용하여 오브젝트의 제1 깊이 정보를 측정할 수 있다. 일측에 따르면, 3D 정보 처리 장치가 전송하는 펄스는 적외선 펄스일 수 있다. 오브젝트가 광(light)을 투과하는 성질을 가진 경우, 3D 정보 처리 장치는 적외선이 오브젝트로부터 반사된 신호 및 적외선이 오브젝트를 투과하고 백그라운드로부터 반사된 신호를 이용하여 오브젝트의 제1 깊이 정보를 측정할 수 있다.
단계(720)에서, 3D 정보 처리 장치는 오브젝트의 위치를 추정하고, 추정된 위치, 전경 깊이 정보, 후경 깊이 정보에 기초하여 오브젝트의 제2 깊이 정보를 추정할 수 있다.
여기서, 전경 깊이 정보는 오브젝트의 추정된 위치에서, 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산될 수 있다. 후경 깊이 정보는 오브젝트를 투과하고 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산될 수 있다. 일측에 따르면 3D 정보 처리 장치는 상기 설명된 수학식 2 또는 수학식 3에 따라서 제2 깊이 정보를 추정할 수 있다.
일측에 따르면, 3D 정보 처리 장치는 오브젝트의 투명도를 추정하고, 추정된 투명도, 전경 깊이 정보, 후경 깊이 정보에 기초하여 오브젝트의 제2 깊이 정보를 추정할 수도 있다. 여기서, 추정된 투명도는 오브젝트와 관련된 값으로서, 0보다 크거나 같고, 1보다 작거나 같은 값이 선택될 수 있다.
단계(730)에서, 3D 정보 처리 장치는 측정된 제1 깊이 정보와 추정된 제2 깊이 정보를 비교한다. 일측에 따르면, 3D 정보 처리 장치는 제1 깊이 정보와 제2 깊이 정보간의 차이가 미리 결정된 임계값 보다 작은지 여부를 판단할 수 있다.
만약 제1 깊이 정보와 제2 깊이 정보간의 차이가 미리 결정된 임계값 보다 작지 않다면, 3D 정보 처리 장치는 제1 깊이 정보와 제2 깊이 정보간의 차이가 미리 정해진 범위 이내에 포함되지 않는다고 판단할 수 있다. 이 경우 3D 정보 처리 장치는 단계(720)에서 오브젝트의 위치를 다른 값으로 재추정하고, 재추정된 위치에 따라서 오브젝트의 제2 깊이 정보를 추정할 수 있다.
만약 1 깊이 정보와 제2 깊이 정보간의 차이가 미리 결정된 임계값 보다 작다면, 3D 정보 처리 장치는 오브젝트의 제3 깊이 정보(예를 들어, 오브젝트의 실제 깊이 정보)가 오브젝트의 추정된 전경 깊이라고 결정할 수 있다. 또는 3D 정보 처리 장치는 오브젝트의 제3 깊이 정보(예를 들어, 오브젝트의 실제 깊이 정보)가 추정된 제2 깊이 정보라고 결정할 수 있다.
또 다른 실시예에 따르면, 단계(720)에서 3D 정보 처리 장치는 오브젝트의 투명도를 가정하고, 가정된 투명도에 기초하여 오브젝트의 제2 깊이 정보를 추정할 수 있다.
이 경우에, 단계(730)에서 제1 깊이 정보와 제2 깊이 정보간의 차이가 미리 결정된 임계값 보다 작지 않다면 3D 정보 처리 장치는 단계(720)에서 오브젝트의 투명도를 다른 값으로 재추정하고, 재추정된 투명도에 따라서 오브젝트의 제2 깊이 정보를 추정할 수 있다.
제1 깊이 정보와 제2 깊이 정보간의 차이가 미리 결정된 임계값 보다 작다면, 단계(740)에서 3D 정보 처리 장치는 오브젝트에 대하여 추정된 투명도가 오브젝트의 실제 투명도라고 판단할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 3D 정보 처리 장치
120: 오브젝트
130: 백그라운드
120: 오브젝트
130: 백그라운드
Claims (24)
- 오브젝트의 제1 깊이 정보를 측정하는 측정부;
상기 오브젝트의 전경 깊이(foreground depth), 백그라운드의 후경 깊이(background depth), 및 상기 오브젝트의 투명도를 추정하고, 상기 추정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 상기 오브젝트의 제2 깊이 정보를 추정하는 추정부;
상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보를 비교하는 비교부; 및
상기 비교부의 비교 결과를 이용하여, 상기 오브젝트의 제3 깊이 정보를 결정하는 판단부
를 포함하는 3D 정보 처리 장치. - 제1항에 있어서, 상기 추정부는,
상기 추정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 미리 정해진 모델링에 의하여, 상기 제2 깊이 정보를 추정하는 3D 정보 처리 장치. - 제2항에 있어서, 상기 추정부는,
상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information);
상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information); 및
상기 오브젝트의 상기 추정된 투명도
에 기초하여 상기 제2 깊이 정보를 추정하는 3D 정보 처리 장치. - 제2항에 있어서, 상기 추정부는,
상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information);
상기 오브젝트의 밝기(intensity);
상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information);
상기 백그라운드의 밝기; 및
상기 오브젝트의 상기 추정된 투명도
중 적어도 하나에 기초하여 상기 제2 깊이 정보를 추정하는 3D 정보 처리 장치. - 제2항에 있어서, 상기 모델링은
하기 수학식 에 따라서 상기 제2 깊이 정보를 추정하는 3D 정보 처리 장치.
(여기서, 는 상기 추정된 제2 깊이 정보이고, 는 상기 제1 깊이 정보를 측정하는 깊이 카메라의 특성에 따라 결정되는 함수이고, 는 수신된 신호의 세기이고, 는 상기 오브젝트의 추정된 투명도이고 또한, 는 상기 추정된 후경 깊이에서의 백그라운드의 밝기고, 는 상기 오브젝트의 밝기고, 는 상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보이고, 는 상기 오브젝트를 투과하고 상기 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보임) - 제1항에 있어서, 상기 판단부는,
상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 이내인 경우, 상기 오브젝트의 제3 깊이 정보가 상기 추정된 제2 깊이 정보라고 판단하는 3D 정보 처리 장치. - 제2항에 있어서,
상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우,
상기 추정부는 상기 추정된 전경 깊이 및 후경 깊이를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)하고, 상기 비교부는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교하는
3D 정보 처리 장치. - 제2항에 있어서,
상기 측정부는,
상기 오브젝트로부터 반사된 신호를 수신하는 N개(N은 1과 같거나 큰 정수)의 깊이 카메라를 포함하고, 상기 N개의 깊이 카메라에 대응하는 N개의 제1 깊이 정보를 생성하고,
상기 추정부는,
상기 추정된 전경 깊이(foreground depth), 후경 깊이(background depth), 및 투명도에 기초하여, 상기 N개의 깊이 카메라에 대응하는 N개의 제2 깊이 정보를 추정하고,
상기 비교부는,
상기 N개의 깊이 카메라에 대응하는 상기 N개의 제1 깊이 정보의 각각과 상기 N개의 제2 깊이 정보의 각각 비교하는
3D 정보 처리 장치. - 제1항에 있어서, 상기 측정부는,
상기 오브젝트의 방향으로 적외선을 전송하는 전송부(transmitting unit)
를 포함하고,
상기 적외선이 상기 오브젝트로부터 반사된 신호 및 상기 적외선이 상기 오브젝트를 투과하고 백그라운드로부터 반사된 신호를 이용하여 상기 오브젝트의 상기 제1 깊이 정보를 측정하는 3D 정보 처리 장치. - 오브젝트의 제1 깊이 정보를 측정하는 측정부;
상기 오브젝트의 위치 및 투명도를 추정하고, 상기 추정된 위치 및 투명도에 기초하여 상기 오브젝트의 제2 깊이 정보를 추정하는 추정부;
상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보를 비교하는 비교부; 및
상기 비교부의 비교 결과에 따라서, 상기 오브젝트의 투명도를 결정하는 판단부
를 포함하는 3D 정보 처리 장치. - 제10항에 있어서, 상기 추정부는,
상기 추정된 위치에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information);
상기 오브젝트를 투과하고 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information); 및
상기 오브젝트의 상기 추정된 투명도
에 기초하여 상기 제2 깊이 정보를 추정하는 3D 정보 처리 장치. - 제10항에 있어서,
상기 제1 깊이 정보와 상기 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 내에 포함되지 않는 경우,
상기 추정부는 상기 추정된 위치를 변경하여 상기 제2 깊이 정보를 재추정(re-estimate)하고,
상기 비교부는 상기 제1 깊이 정보와 상기 재추정된 제2 깊이 정보를 비교하는
3D 정보 처리 장치. - 깊이 카메라를 이용하여 오브젝트의 제1 깊이 정보를 측정(measure)하는 단계;
상기 오브젝트의 전경 깊이, 백그라운드의 후경 깊이 및 상기 오브젝트의 투명도를 추정하고, 상기 추정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 상기 오브젝트의 제2 깊이 정보를 추정하는 단계; 및
상기 측정된 제1 깊이 정보를 상기 추정된 제2 깊이 정보와 비교(compare)함으로써, 상기 오브젝트의 제3 깊이 정보를 결정하는 단계
를 포함하는 3D 정보 처리 방법. - 제13항에 있어서, 상기 추정된 제2 깊이 정보는,
상기 추정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 미리 정해진 모델링에 의하여 추정되는(estimated) 3D 정보 처리 방법. - 제14항에 있어서, 상기 추정된 제2 깊이 정보는,
상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information);
상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information); 및
상기 오브젝트의 상기 가정된 투명도
에 기초하여 추정되는 3D 정보 처리 방법. - 제14항에 있어서, 상기 추정된 제2 깊이 정보는,
상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information);
상기 오브젝트의 밝기(intensity);
상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information);
상기 백그라운드의 밝기; 및
상기 오브젝트의 상기 가정된 투명도
중 적어도 하나에 기초하여 추정되는 3D 정보 처리 방법. - 제14항에 있어서, 상기 모델링은
하기 수학식 에 따라서 상기 제2 깊이 정보를 추정하는 3D 정보 처리 방법.
(여기서, 는 상기 추정된 제2 깊이 정보이고, 는 상기 제1 깊이 정보를 측정하는 깊이 카메라의 특성에 따라 결정되는 함수이고, 는 수신된 신호의 세기이고, 는 상기 오브젝트의 투명도이고 또한, 는 상기 후경 깊이에서의 백그라운드의 밝기고, 는 상기 오브젝트의 밝기고, 는 상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보이고, 는 상기 오브젝트를 투과하고 상기 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보임) - 제13항에 있어서, 상기 추정된 제2 깊이 정보는,
상기 오브젝트의 위치를 추정하고, 상기 추정된 위치에 기초하여, 미리 정해진 모델링에 의하여 추정되는(estimated) 3D 정보 처리 방법. - 제14항에 있어서, 상기 오브젝트의 제3 깊이 정보를 결정하는 상기 단계는,
상기 측정된 제1 깊이 정보와 상기 추정된 제2 깊이 정보 간의 차이가 미리 정해진(predetermined) 범위 이내인 경우, 상기 오브젝트의 제3 깊이 정보가 상기 추정된 전경 깊이라고 판단하는 단계
를 포함하는 3D 정보 처리 방법. - 깊이 카메라를 이용하여 오브젝트의 제1 깊이 정보를 측정하는 단계; 및
상기 측정된 제1 깊이 정보를 추정된 제2 깊이 정보와 비교함으로써, 상기 오브젝트의 투명도를 결정하는 단계
를 포함하는 3D 정보 처리 방법. - 제20항에 있어서, 상기 추정된 제2 깊이 정보는,
상기 오브젝트의 전경 깊이, 백그라운드의 후경 깊이 및 상기 오브젝트의 투명도를 가정하고, 상기 가정된 전경 깊이, 후경 깊이 및 투명도에 기초하여, 미리 정해진 모델링에 의하여 추정되는(estimated) 3D 정보 처리 방법. - 제21항에 있어서, 상기 추정된 제2 깊이 정보는,
상기 추정된 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information);
상기 오브젝트를 투과하고 상기 추정된 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information); 및
상기 오브젝트의 상기 추정된 투명도
에 기초하여 추정되는 3D 정보 처리 방법. - 오브젝트의 전경 깊이를 추정하고, 상기 전경 깊이에서 상기 오브젝트로부터 반사된 제1 반사 신호를 가정하여 계산되는 전경 깊이 정보(foreground depth information);
후경 깊이를 추정하고, 상기 오브젝트를 투과하고 상기 후경 깊이에서 백그라운드로부터 반사된 제2 반사 신호를 가정하여 계산되는 후경 깊이 정보(background depth information); 및
상기 오브젝트의 상기 가정된 투명도
에 기초하여 상기 오브젝트의 깊이 정보를 추정하는 3D 정보 처리 방법. - 제13항 내지 제23항 중 어느 한 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13787383.2A EP2848002B1 (en) | 2012-05-10 | 2013-05-08 | Apparatus and method for processing 3d information |
CN201380024447.6A CN104272731B (zh) | 2012-05-10 | 2013-05-08 | 用于处理3d信息的设备和方法 |
PCT/KR2013/004010 WO2013168998A1 (en) | 2012-05-10 | 2013-05-08 | Apparatus and method for processing 3d information |
JP2015511362A JP6239594B2 (ja) | 2012-05-10 | 2013-05-08 | 3d情報処理装置及び方法 |
US13/891,359 US9323977B2 (en) | 2012-05-10 | 2013-05-10 | Apparatus and method for processing 3D information |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261645239P | 2012-05-10 | 2012-05-10 | |
US61/645,239 | 2012-05-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130126436A KR20130126436A (ko) | 2013-11-20 |
KR101893771B1 true KR101893771B1 (ko) | 2018-08-31 |
Family
ID=49854537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120120948A KR101893771B1 (ko) | 2012-05-10 | 2012-10-30 | 3d 정보 처리 장치 및 방법 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9323977B2 (ko) |
EP (1) | EP2848002B1 (ko) |
JP (1) | JP6239594B2 (ko) |
KR (1) | KR101893771B1 (ko) |
CN (1) | CN104272731B (ko) |
WO (1) | WO2013168998A1 (ko) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101941907B1 (ko) * | 2013-01-03 | 2019-01-24 | 삼성전자주식회사 | 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법 |
US9064295B2 (en) * | 2013-02-04 | 2015-06-23 | Sony Corporation | Enhanced video encoding using depth information |
US10534072B2 (en) * | 2014-02-24 | 2020-01-14 | Nec Corporation | Object detection device, POS terminal device, object detection method, program, and program recording medium |
US9805506B2 (en) * | 2014-03-07 | 2017-10-31 | Microsoft Technology Licensing, Llc | Physical 3D renderer |
US10223839B2 (en) | 2014-07-31 | 2019-03-05 | Hewlett-Packard Development Company, L.P. | Virtual changes to a real object |
US9507995B2 (en) * | 2014-08-29 | 2016-11-29 | X Development Llc | Combination of stereo and structured-light processing |
US10403033B2 (en) | 2016-07-12 | 2019-09-03 | Microsoft Technology Licensing, Llc | Preserving scene lighting effects across viewing perspectives |
CN107958446B (zh) * | 2016-10-17 | 2023-04-07 | 索尼公司 | 信息处理设备和信息处理方法 |
CN108413864B (zh) * | 2017-02-10 | 2020-07-17 | 菜鸟智能物流控股有限公司 | 物体尺寸测量方法及相关设备 |
CN108307186B (zh) * | 2018-02-07 | 2020-02-14 | 深圳市华星光电半导体显示技术有限公司 | 裸眼3d图像的显示控制方法、装置、存储介质及终端 |
US10607388B2 (en) | 2018-02-07 | 2020-03-31 | Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | Display control method, display control device, storage medium and terminal of autostereoscopic three-dimensional (3D) image |
CN108871224B (zh) * | 2018-06-06 | 2020-04-21 | 杭州电子科技大学 | 一种用于led玻璃灯杯的凹槽深度检测方法 |
JP2021080002A (ja) * | 2019-11-21 | 2021-05-27 | 東洋製罐株式会社 | 収容体、印刷缶、及び収容体の製造方法 |
US11543931B2 (en) * | 2021-01-27 | 2023-01-03 | Ford Global Technologies, Llc | Systems and methods for interacting with a tabletop model using a mobile device |
JP2024004873A (ja) * | 2022-06-29 | 2024-01-17 | パナソニックIpマネジメント株式会社 | 撮影装置及び撮影方法 |
CN116703995A (zh) * | 2022-10-31 | 2023-09-05 | 荣耀终端有限公司 | 视频虚化处理方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215005A (ja) * | 2010-03-31 | 2011-10-27 | Hokuyo Automatic Co | 信号処理装置、及び走査式測距装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1169368A (en) | 1981-06-01 | 1984-06-19 | Rockwell International Corporation | Roller retainer for brake assembly |
GB2206429A (en) * | 1987-07-02 | 1989-01-05 | Infrared Eng | System determining properties or identity of a sample |
JPH05205191A (ja) * | 1992-01-24 | 1993-08-13 | Nissan Motor Co Ltd | 障害物検出装置 |
US5506407A (en) * | 1993-12-21 | 1996-04-09 | Minnesota Mining & Manufacturing Company | High resolution high speed film measuring apparatus and method |
JPH08287253A (ja) * | 1995-04-11 | 1996-11-01 | N T T Data Tsushin Kk | 物体形状の推定方法および物体形状推定装置 |
GB2304483B (en) * | 1995-08-18 | 2000-03-29 | London Electricity Plc | System for and method of determining the location of an object in a medium |
US5917937A (en) * | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
GB2359230B (en) * | 1999-11-11 | 2004-02-11 | Canon Kk | Computer graphics apparatus |
DE102005009437A1 (de) * | 2005-03-02 | 2006-09-07 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
KR100708352B1 (ko) * | 2006-03-07 | 2007-04-18 | 한국과학기술원 | 모아레 원리의 2π 모호성과 위상천이 수단이 없도록실시되는 3차원 형상 측정장치 및 그 방법 |
DE102006015792A1 (de) * | 2006-04-05 | 2007-10-18 | Isra Surface Vision Gmbh | Verfahren und System zur Formmessung einer reflektierenden Oberfläche |
KR100790892B1 (ko) | 2006-10-18 | 2008-01-02 | 삼성전자주식회사 | 투명 객체의 화질 향상을 위한 3차원 그래픽스 데이터렌더링 방법 및 장치 |
US7720371B2 (en) * | 2007-01-18 | 2010-05-18 | Nikon Corporation | Depth layer extraction and image synthesis from focus varied multiple images |
US20080309913A1 (en) * | 2007-06-14 | 2008-12-18 | James John Fallon | Systems and methods for laser radar imaging for the blind and visually impaired |
JP5406182B2 (ja) * | 2007-06-26 | 2014-02-05 | コーニンクレッカ フィリップス エヌ ヴェ | 3次元ビデオ信号をエンコードするための方法及びシステム、含まれる3次元ビデオ信号、並びに3次元ビデオ信号のためのデコーダのための方法及び信号 |
US8218061B2 (en) * | 2008-09-04 | 2012-07-10 | Csr Technology Inc. | Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus |
CN102165496B (zh) * | 2008-09-25 | 2014-08-13 | 皇家飞利浦电子股份有限公司 | 三维图像数据处理 |
JP5369952B2 (ja) * | 2009-07-10 | 2013-12-18 | ソニー株式会社 | 情報処理装置および情報処理方法 |
KR101699920B1 (ko) * | 2009-10-07 | 2017-01-25 | 삼성전자주식회사 | 깊이 조절 방법 및 장치 |
KR101626072B1 (ko) * | 2009-11-13 | 2016-06-13 | 삼성전자주식회사 | 영상 보정 장치 및 영상 보정 방법 |
WO2011087289A2 (en) * | 2010-01-13 | 2011-07-21 | Samsung Electronics Co., Ltd. | Method and system for rendering three dimensional views of a scene |
KR20110116325A (ko) | 2010-04-19 | 2011-10-26 | 삼성전자주식회사 | 영상 처리 장치 및 그 방법 |
KR101681095B1 (ko) * | 2010-08-24 | 2016-12-02 | 삼성전자주식회사 | 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치 |
US10554955B2 (en) * | 2010-10-11 | 2020-02-04 | Texas Instruments Incorporated | Method and apparatus for depth-fill algorithm for low-complexity stereo vision |
KR101681538B1 (ko) | 2010-10-20 | 2016-12-01 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US20140168424A1 (en) * | 2011-07-21 | 2014-06-19 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
-
2012
- 2012-10-30 KR KR1020120120948A patent/KR101893771B1/ko active IP Right Grant
-
2013
- 2013-05-08 WO PCT/KR2013/004010 patent/WO2013168998A1/en active Application Filing
- 2013-05-08 JP JP2015511362A patent/JP6239594B2/ja active Active
- 2013-05-08 EP EP13787383.2A patent/EP2848002B1/en active Active
- 2013-05-08 CN CN201380024447.6A patent/CN104272731B/zh active Active
- 2013-05-10 US US13/891,359 patent/US9323977B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215005A (ja) * | 2010-03-31 | 2011-10-27 | Hokuyo Automatic Co | 信号処理装置、及び走査式測距装置 |
Also Published As
Publication number | Publication date |
---|---|
US20130301907A1 (en) | 2013-11-14 |
CN104272731B (zh) | 2017-04-26 |
US9323977B2 (en) | 2016-04-26 |
EP2848002B1 (en) | 2021-03-17 |
EP2848002A4 (en) | 2016-01-20 |
JP2015524915A (ja) | 2015-08-27 |
WO2013168998A1 (en) | 2013-11-14 |
KR20130126436A (ko) | 2013-11-20 |
CN104272731A (zh) | 2015-01-07 |
JP6239594B2 (ja) | 2017-11-29 |
EP2848002A1 (en) | 2015-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101893771B1 (ko) | 3d 정보 처리 장치 및 방법 | |
EP3248374B1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
KR101862199B1 (ko) | 원거리 획득이 가능한 tof카메라와 스테레오 카메라의 합성 시스템 및 방법 | |
CN108734776B (zh) | 一种基于散斑的三维人脸重建方法及设备 | |
KR101310213B1 (ko) | 깊이 영상의 품질 개선 방법 및 장치 | |
JP5138031B2 (ja) | 深度関連情報を処理する方法、装置及びシステム | |
US20190098277A1 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
US20210241495A1 (en) | Method and system for reconstructing colour and depth information of a scene | |
JP2016201117A (ja) | 深度測定の品質の向上 | |
KR101666854B1 (ko) | 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법 | |
KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
KR20120058828A (ko) | 3차원 좌표 추출 시스템 및 그 방법 | |
US20150294473A1 (en) | Processing of Depth Images | |
CN111179329A (zh) | 三维目标检测方法、装置及电子设备 | |
KR102074929B1 (ko) | 깊이 영상을 통한 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 | |
EP3616399B1 (en) | Apparatus and method for processing a depth map | |
CN107845108B (zh) | 一种光流值计算方法、装置及电子设备 | |
JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 | |
KR101184124B1 (ko) | 대향 카메라를 이용한 깊이감 측정 방법 및 장치 | |
CN111627061B (zh) | 位姿检测方法、装置以及电子设备、存储介质 | |
JP6942567B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
KR101865821B1 (ko) | 깊이 영상의 잡음 제거 방법 및 깊이 영상의 잡음 제거 장치 그리고 잡음 제거를 통한 부호화 방법과 부호화 장치 | |
KR101184105B1 (ko) | 후면볼록거울을 이용한 깊이감 측정 방법 및 장치 | |
Mohammad et al. | Android Door/Window Image-based Measurements Application | |
JP2008090608A (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |