KR101054274B1 - 풀 깊이 맵 획득 - Google Patents

풀 깊이 맵 획득 Download PDF

Info

Publication number
KR101054274B1
KR101054274B1 KR1020057013149A KR20057013149A KR101054274B1 KR 101054274 B1 KR101054274 B1 KR 101054274B1 KR 1020057013149 A KR1020057013149 A KR 1020057013149A KR 20057013149 A KR20057013149 A KR 20057013149A KR 101054274 B1 KR101054274 B1 KR 101054274B1
Authority
KR
South Korea
Prior art keywords
depth
depth map
information
map
partial
Prior art date
Application number
KR1020057013149A
Other languages
English (en)
Other versions
KR20050087882A (ko
Inventor
피터-안드레 레더트
코넬리우스 더블유. 에이. 엠. 반 오버벨드
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050087882A publication Critical patent/KR20050087882A/ko
Application granted granted Critical
Publication of KR101054274B1 publication Critical patent/KR101054274B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

본 발명은 3-D 장면으로부터 실질적으로 완전한 깊이 맵을 얻는 방법에 관한 것이다. 상기 3D 장면으로부터 부분적인 깊이 맵을 획득하는 단계, 상기 장면으로부터 깊이 정보의 도함수들을 획득하는 단계, 및 상기 부분적인 깊이 맵에 비관련 정보를 부가함으로써 상기 부분적인 깊이 맵을 확장하여, 상기 부분적인 깊이 맵과 상기 깊이 정보의 도함수들 모두와 공간적으로 일치하는 픽셀 밀도 풀 깊이 맵을 생성하는 단계로, 깊이 값들 및 깊이 값들의 도함수들은 픽셀 밀도 깊이 맵을 생성하는데 사용된다.
Figure R1020057013149
깊이 맵, 비관련 정보, 도함수

Description

풀 깊이 맵 획득{Full depth map acquisition}
본 발명은 3D 장면으로부터 실질적으로 완전한 깊이 맵(depth map)을 획득하는 방법에 관한 것이다. 본 발명은 또한 상기 방법의 이용과, 상기 방법에 따른 이미지 프로세싱을 제공하는 집적 회로에 관한 것이다.
3D 비디오의 획득은 이미지 프로세싱에 있어서 여전한 도전 과제이다. 이것은 특정 카메라, 다중 카메라들, 및 프로세싱이나, 2D에서 3D로의 변환 프로세스에 의해 행해질 수 있다. 상기 변환 프로세스의 컴퓨터 비전 태스크(computer vision task)는, 기존의 2D 비디오 기록 및 전송 인프라구조를 재사용하면서 3D 비디오를 도입할 수 있게 하기 때문에, 2D에서 3D로의 전환시 매우 중요하다. 여전히, 이들 접근법들은 임의의 자연 컨텐트(natural content)에 대한 고품질 3D 비디오를 생성할 수 없다.
인간의 3D 지각에 관한 지식은 3D 비디오 시스템 설계시 중요한 역할을 한다. 예를 들어, 현실 제공들보다 낮은 품질의 3D로 장면을 나타내는 것은, 여전히 매우 많이 향유되거나, 심지어 보다 자연스럽게 경험될 수 있다는 것으로 이미 알려졌다. 인간 지각과 관련하여, 사람들은 일반적으로 절대 측정값들보다는 오히려 차이들에 더 민감하다.
2D에서 3D로 변환하기 위한 많은 알고리즘이 이미 존재한다. 그 결과들은 다른 양상(modality)과 매우 다른 정확도들을 가질 수 있다. 양상의 측면에서, 깊이 값들을 산출하는 정량적 접근법들(quantitative approaches)과, 깊이 순서화(depth ordering)만을 산출하는 정성적 접근법들(qualitative approaches) 사이에는 차이가 존재한다. 획득된 값들의 양상은 상기 값들이거나, 그의 1차 또는 더욱 높은 차수의 도함수들(derivatives)일 수 있다.
3D 스틸 이미지들(still images) 또는 비디오가 획득될 때마다, 각각의 2D 이미지들은 우선 종래의 카메라들이나 고가의 깊이 카메라들(depth cameras)에 의해 캡쳐된다. 상기 2D 이미지들로부터 3D 이미지들을 검색하기 위하여, 이들 2D 이미지들은 적절하게 프로세싱되어야 한다. 이런 프로세싱은 복잡하고, 높은 계산 노력을 요구한다. 게다가, 이미지들이 깊이 카메라들에 의해 얻어지는 경우, 기록된 장면의 형상 복잡성은 제한된다. 단지 하나의 전면 뷰가 캡쳐되면, 여기서 최전면 오브젝트(object) 뒤쪽의 오브젝트들은 캡쳐될 수 없다. 오직 다른 각도로 장면들을 취함으로써, 보다 복잡한 오브젝트들이 캡쳐될 수 있다. 깊이 카메라들은 3D 이미지들을 직접 기록한다. 3D 정보는 3D 디스플레이를 직접 구동할 수 있지만, 3D 품질은 충분하지 않다.
3D 이미지 프로세싱의 하나의 주된 초점은, 정량적 방법이면서 이미지 내의 모션에 의존하는 모션 검색(motion retrieval)으로부터의 구성이고, 이는 스틸 이미지들에 적용할 수 없을 것이다.
정성적 알고리즘의 예들은, 예를 들어, 비디오 내의 오브젝트들의 소멸 및 재등장을 조사함으로써 폐쇄 의미론(occlusion semantics)을 사용하는 알고리즘이고, 스틸 이미지들에 대해 소위 T-정션 분석(T-junction analysis)이라 한다.
두 개의 방법들은 불완전한 깊이 정보를 제공한다. 정량적 방법은 불확실한 간격(interval)을 가지며, 정성적 방법은 깊이 순서화 정보만을 제공한다.
본 발명의 목적은 부분적인 깊이 맵들로부터 풀 3D 깊이 맵들을 제공하는 3D 이미지 획득 방법을 제공하는 것이다. 본 발명의 다른 목적은 프로세싱을 위해 인간 지각적 제약들을 고려한 3D 이미지 획득 방법을 제공하는 것이다.
이들 및 다른 목적들은 3D 장면에서 실질적으로 완전한 깊이 맵을 획득하는 방법에 의해 해결되며, 상기 방법은, 상기 3D 장면들로부터 부분적인 깊이 맵을 획득하는 단계, 상기 장면에서 깊이 정보의 도함수들을 획득하는 단계, 및 상기 부분적인 깊이 맵에 비관련 정보를 부가함으로써 상기 부분적인 깊이 맵을 확장하는 단계, 상기 부분적인 깊이 맵과 상기 깊이 정보의 도함수 모두와 공간적으로 일치하는 픽셀 밀도 풀 깊이 맵을 형성하는 단계를 포함한다.
본 발명은, 인간들이 휘도 자체 및 공간적/시간적 도함수에 대한 센서들을 가진다는 점에 기초한다. 직접적인 휘도 센서들에 대한 증거는, 우리가 임의의 텍스쳐의 부재시에도 밝은지 어두운지를 볼 수 있다는 것이다(예를 들어 눈들이 종이에 의해 가려질 때, 공간적 도함수는 영임). 만약 휘도가 시간에 따라 일정하게 변화하지 않으면, 즉 영이 아닌 시간적 도함수를 갖지 못하면, 또한 사람들은 텍스쳐를 볼 수 없다. 스틸 이미지를 보기 위해, 인간의 눈은 무의식적인 방식으로 일정하게 마이크로-이동(micro-movements)을 한다. 텍스쳐에서 발생하는 공간적 휘도 도함수들은 측정될 수 있는 시간적 도함수로 변환된다.
게다가 인간들은 3D 정보와 관련된 이미지의 일부분만을 지각할 수 있다. 이런 부분적인 깊이 정보는 높은 정확도를 갖는 이미지 내의 깊이에 관한 정보를 전달한다. 이미지의 일부 영역들에서, 상기 깊이 정보는 다른 영역들보다 더 정확하다.
본 발명에 따라, 제 1 단계는 이미지 내에서 가장 관련 있는 깊이 정보를 검색하는 것이다. 이들 영역들은 적어도 깊이 불연속성을 가진 영역들일 수 있다. 상기 깊이 정보의 도함수들은 다음 단계에서 얻어질 것이다.
상기 부분적인 깊이 맵 내의 부분적인 깊이 정보 및 깊이 정보의 도함수들은 풀 깊이 맵의 계산을 허용한다. 상이한 양상들의 깊이 정보를 사용함으로써, 깊이 지각이 다시 모델링될 수 있고, 검색된 풀 깊이 맵은 인간이 실제 3D 장면들을 지각하는 깊이 정보와 우수하게 매칭한다. 풀 깊이 맵은, 깊이 맵 내의 실질적인 임의의 픽셀에 대한 깊이 정보를 발생시키는 픽셀 밀도(pixel dense)이다.
이런 비관련 데이터는 하나의 불연속성으로부터 다음 불연속성으로 오브젝트들을 평활화할 수 있다. 상기 풀 깊이 맵은 오브젝트들에서 검색된 깊이 불연속성들, 그의 도함수들, 및 평활도 사이의 최상의 매칭을 나타낸다.
청구항 제 2 항에 따른 방법이 제공되는 경우, 결과적인 픽셀 밀도 깊이 맵이 검색될 수 있다. 부분적인 깊이 맵과 깊이 도함수들을 취함으로써, 결과 값들은 잡음으로 인한 분산을 포함한다. 예를 들어, 마르코프(Markov) 랜덤 필드 모델을 사용하는 것은, 측정된 깊이 값들과 공간적으로 일치하는 픽셀 밀도 풀 깊이 맵을 발견할 수 있게 할 것이다. 에너지 함수(U)는 깁스(Gibbs)/마르코프 랜덤 필드 모델에 의해 규정될 수 있다. 이러한 모델은 픽셀 밀도 픽셀 맵 내의 모든 픽셀들을 나타낸다. 확률(P)의 최대화는 에너지(U)의 최소화와 동일하다. 방정식들이 보다 간단해지고, U의 동적 범위가 P보다 훨씬 작은 것이 장점이다. U의 최소화는, 인간의 깊이 지각의 특징들에 의해 모델링될 수 있는 최상의 매칭 픽셀 밀도 깊이 맵을 산출한다.
청구항 제 3 항에 따른 또 다른 이미지 프로세싱이 제안된다. 정량적 프로세싱으로부터 깊이 정보를 추출함으로써, 불확실성 범위를 가진 깊이 값이 이용 가능하다. 비관련 정보를 이미지에 부가하는 것을 허용하기 위해, 낮은 불확실성 값들을 가진 깊이 값들이 사용된다. 깊이 불연속성들이 발생하거나, 이미지 텍스쳐가 높은 영역들이 존재한다. 이들 깊이 값들로부터, 불확실성들은 풀 깊이 맵을 얻기 위하여 사용될 수 있고, 여기서 오브젝트들 내의 미지의 깊이 값들은 상기 비관련 데이터를 유발하는 깊이 값들과 매칭한다. 비관련 정보는 지각적으로 풀 깊이 맵을 갖는 이미지를 프로세싱하게 하여, 3D 이미지를 생성한다.
높은 텍스쳐들을 가진 영역들이 낮은 불확실성으로 깊이 값들을 추출하도록 허용하기 때문에, 청구항 제 4 항에 따른 방법이 바람직하다.
부분적인 깊이 정보를 획득하는 것을 허용하기 위하여, 청구항 제 5 항에 따른 방법이 제안된다. 정성적 이미지 프로세싱은 깊이 불연속성, 및 가능하게는 불연속성 방향을 결정할 수 있게 한다. 이로 인해, 오브젝트들뿐 아니라, 상기 오브젝트들의 깊이 순서화에 관한 순서화 정보도 검출될 수 있다. 정성적 이미지 프로세싱은 오브젝트 세그멘테이션과 T-모양 검출을 사용할 수 있다. 이미지 세그멘테이션을 사용하여, 이미지 내의 오브젝트들의 수와 크기가 검색될 수 있다. T-모양 검출을 적용하여, 검출된 오브젝트들 사이의 가능한 순서화가 검색될 수 있다. 그후, 본 발명에 따른 방법은 발견된 깊이 순서화에 따르는 픽셀 밀도 깊이 맵에 임의의 깊이 값들을 채운다.
완전한 이미지의 깊이는 N 단위들이도록 선택될 수 있다. 상기 깊이는 특정 디스플레이 장치의 깊이 능력들과 매칭하도록 선택될 수 있고, 몇몇 표준에 따라, 또는 이미지 프로세싱이 전송기 측에서 수행되는 경우, 일반적으로, 상이한 가능한 깊이 맵들과 오브젝트 순서화 중에서, 순서화 룰들로부터의 부분적인 깊이 정보와 평활도 모두에 가장 잘 따르는 비관련 데이터로 채워진 특정 깊이 맵이 선택되도록, 픽셀 밀도 깊이 맵이 획득될 수 있다.
청구항 제 6 항에 따른 오브젝트 세그멘테이션이 제안된다. 이미지에 오브젝트 세그멘테이션을 적용함으로써, 오브젝트들이 검출될 수 있다. 오브젝트들의 순서화는 또한 예컨대 T-모양 검출에 의해 추출될 수 있다. 오브젝트들과 오브젝트 순서화에 관한 정보로, 비관련 데이터는 부분적인 깊이 맵을 완성할 수 있다. 이것은 픽셀 밀도 깊이 맵을 계산함으로써 행해질 수 있고, 상기 픽셀 값들은 추정된 픽셀 값들과 가장 잘 매칭한다. 이러한 추정된 픽셀 값들은 알려진 깊이 정보, 알려진 깊이 도함수들 및 인간의 깊이 지각을 모델링하는 깊이 모델로부터 계산될 수 있다. 이 모델은 분산, 잡음 및 다른 요인들을 고려할 수 있다. 상기 모델은 픽셀 밀도 깊이 맵과 비교된다. 최상의 매칭 픽셀 밀도 깊이 맵은 최소화된 에너지 또는 최대화된 깁스/마르코프 랜덤 필드를 유발할 수 있다.
청구항 제 7 항에 따른 방법이 또한 제안된다. 인간의 깊이 지각은 상이한 깊이 센서들에 의해 모델링될 수 있다. 각각의 모델은 픽셀 밀도 깊이 맵의 상이한 에너지 값들 및 상이한 최상의 매칭 픽셀 밀도 깊이 맵을 유발한다. 인간의 깊이 지각의 센서들은 가우시안 잡음(Gaussian noise), 공간적 변수 또는 상수(spatially variant or invariant), 비가우시안 잡음(Non-Gaussian Noise), 음의 지수 잡음(negative exponential noise), 센서 포화(sensor saturation), 이중 모드 센서 잡음(bimodal sensor noise), 또는 포화된 이중 모드 센서 잡음(saturated bimodal sensor noise)을 포함할 수 있다.
감지 데이터 프로세싱 알고리즘의 태스크는, 입력 데이터(isens 및 ▽isens)로서 깊이 및 그의 도함수에 대한 센서 측정치들에 기초하여 깊이 값들(iperc)을 갖는 픽셀 밀도 깊이 맵을 계산하는 것이다. 이것은 청구항 제 8 항에 따라 계산될 수 있다. 최상의 매칭 깊이 맵을 계산하기 위하여, 모든 깊이 값들에 대한 U(i)의 최소화가 요구된다. U(i)는 마르코프 랜덤 필드 모델일 수 있다.
이것은 소위 시뮬레이팅된 어닐링(simulated annealing;SA) 알고리즘에 의해 행해질 수 있다. 이 알고리즘은 i의 일부 초기 추정치, 예를 들어 i0=isens로 시작하고, 이 후 U의 최소치에 도달될 때까지 일련의 ik를 통해 실행한다. ik로부터 ik+1로 각각 전이할 때, 랜덤 교란들(random perturbations)은 모든 픽셀 위치 p에서 i로 독립적으로 형성되고, 그 각각은 U가 일부 ▽U 만큼 변경되게 한다. 교란이 ▽U<0(보다 낮거나 우수한 U)을 유발할 때마다, 픽셀(p)에서의 교란이 수용된다. ▽U>0(보다 높거나 악화된 U)일 때마다, 교란은 ▽U로 빠르게 감소하는 확률로 수용된다.
SA 알고리즘의 특징들은 로컬 최소치를 피하면서 효과적으로 U의 최소치를 발견할 수 있게 한다. SA 알고리즘은 2개의 파라미터들을 요구하고, 상기 파라미터들은 교란들의 크기를 조절하는σperturb와, U를 악화시키는 교란들이 수용되는 방법을 조절하는 소위 온도 T이다.
실질적으로 알고리즘을 가속화하기 위하여, 소위 계층적 방식으로 적용될 수 있다. 우선, 입력 데이터(isens 및 ▽isens)의 보다 낮은 해상도 버전들이 계산되고, 이 후 SA 알고리즘은 결과(iperc)의 보다 낮은 해상도 버전을 얻기 위하여 다시 실행된다. 이 후, 하나의 레벨이 이동된 해상도로 동일하게 수행되지만, 이제 초기 추정치로서 이전 결과(iperc)를 사용한다. 이것은 본래의 풀 해상도에 도달될 때까지 계속된다. SA 알고리즘에 대한 랜덤 교란 잡음은 분산(σperturb)을 가진 가우시안으로 선택될 수 있다.
본 발명의 다른 특징은 상기된 방법에 따라 스틸 및/또는 모션 이미지들의 이미지 프로세싱을 제공하는 집적 회로이다. 본 발명의 다른 측면은 가전제품들, 텔레비전 및 컴퓨터 비전 제품들에 상기된 방법을 사용하는 것이다.
본 발명의 이들 및 다른 특징들은 다음 도면들을 참조하여 명백하게 설명될 것이다.
도 1은 부분적인 깊이 정보를 얻기 위한 방법들을 도시하는 도면.
도 2는 정성적 깊이 프로세싱을 도시하는 도면.
도 3은 정량적 깊이 프로세싱을 도시하는 도면.
도 1a는 정량적 깊이 프로세싱에 대한 방법을 도시한다. 벽(2b)의 전면에 오브젝트(2a)가 도시된다. 추가로 카메라들(4), 정량적 프로세싱부(6) 및 깊이 정보(8a) 및 깊이 불확실성(8b)을 가진 부분적인 맵(8) 형태의 정량적 프로세싱부(6)의 결과가 도시된다.
오브젝트들(2)은 카메라들(4)에 의해 캡쳐된다. 카메라들(4)은 2D 이미지들과 함께 양쪽 이미지들을 프로세싱함으로써 깊이 정보를 캡쳐한다. 정확한 깊이 정보는 2개의 카메라들(4)에 의해 검색될 수 없다. 로컬 깊이 정확도는 여러 요인들 중 이미지 텍스쳐의 로컬 양에 따른다. 또한, 추가적인 깊이 정보는 깊이 불연속성으로부터 검색될 수 있다. 정량적 깊이 프로세싱부(6)의 결과는 깊이 데이터(8a) 및 불확실성(8b)을 가진 부분적인 깊이 정보(8)의 그래프이다.
장면의 실제 깊이 정보가 도 3a에 도시된다. 정량적 깊이 프로세싱 결과는 도 3b에 도시된다. 실제 깊이 값들(8a)의 그래프는 도 3b에 도시된다. 어떤 공간 위치들(16)에서, 깊이 정보는 불연속성들을 가진다. 이들 불연속성들(16)은 상이한 오브젝트들 사이의 변화로 인해 발생할 수 있다. 이들 불연속성들(16)의 부근에서 깊이 정보의 정확도는 높다.
도 3b에 도시된 바와 같이, 깊이 정보의 정확도는 범위(8b)에 의해 도시된 다. 불연속성들 및 높은 양의 로컬 텍스쳐의 경우, 정확도는 높고, 불확실성은 작다.
도 3c에 도시된 바와 같이, 본 발명에 따른 방법의 결과들은 상기 불연속성들(16) 같은 부분적인 깊이 정보에 따르는 평활한 깊이 프로파일을 가진 픽셀 밀도 깊이 맵을 발생시킨다. 깊이 불연속성들(16)의 깊이 값들은 높은 이미지 텍스쳐(18)를 가진 위치들에서 높은 정확도의 깊이 정보와 함께 최종 깊이 맵에 복제된다. 최종 깊이 맵은 카메라들(4)에 의해 캡쳐된 부분적인 깊이 맵들로부터 검색된 부분적인 깊이 정보(16, 18)와 일치한다. 부분적인 깊이 정보(16)는 평활한 깊이 맵(20)을 실현하기 위하여 비관련 데이터에 의해 확장된다. 이것은 공간적 깊이 정보, 깊이 도함수들 및 깊이 지각 모델과 비교하여 가장 우수한 매칭 픽셀 밀도 깊이 맵을 발견하기 위하여 깊이 맵들 내의 깊이 값들을 교란하고, 인간의 깊이 지각을 모델링함으로써 행해질 수 있다.
비관련 데이터로 높은 정밀도의 부분적인 깊이 정보(16, 18)를 확장하기 위하여, 마르코프 랜덤 필드(MRF) 방법이 적용된다. 부분적인 깊이 정보는 Dalg이고, 그것의 불확실성(△Dalg)이다. 깊이 맵 자체는 D이다. ΛS4는 2개의 수평으로 이웃하는 픽셀 쌍들(PQ1 및 PQ2) 사이의 모든 에지들(Q)을 포함하는 그리드를 나타낸다. ΛI는 한 세트의 모든 픽셀 그리드 위치들이다. 평활도(Usmoothness) 및 깊이 값들(Ucopy)의 에너지 함수들(U)은 하기와 같다:
Figure 112005038363956-pct00001
Ucopy의 최소화는 깊이 맵(D)이 Dalg의 복제이게 한다. 분모에 작은 값을 부가하는 것은 영이 되는 것을 막는다. Usmoothness의 최소화는 임의의 깊이 정보 없이 전체 이미지에 걸쳐 부드러운 깊이 맵(D)을 실행한다. 양쪽 Usmoothness 및 Ucopy의 최소화는 α 및 β에 의해 제공된 평활도 및 복제 제약들 사이의 트레이드 오프를 제공한다. 부분적인 깊이 맵에 비관련 정보를 부가함으로써, 풀 깊이 맵이 구성될 수 있고, 이는 2D 이미지에서 장면의 3D 지각을 가능하게 한다. 이런 비관련 깊이 정보는 부분적인 깊이 정보, 깊이 도함수들 및 인간의 깊이 지각의 지각 모델을 가진 상이한 비관련 깊이 정보와 픽셀 밀도 깊이 맵을 비교함으로써 검색될 수 있다.
도 1b에서, 깊이 정보의 정성적 프로세싱이 도시된다. 오브젝트들(2a, 2b 및 2c)은 카메라(10)에 의해 캡쳐된다. 이미지들 세그멘테이션 및 T 모양 검출은 캡쳐된 이미지들에서 이루어진다. 정성적 프로세싱(12)에 의해, 이미지 내의 위치(13)에서 깊이 불연속성들(14)이 결정될 수 있다. 제 1 불연속성(14a)의 방향은 알려지지 않는다. 다음 불연속성들(14b, 14c)의 방향은 알려진다. 이미지 세그멘테이션(12a)에 의해, 오브젝트들의 모양은 추출될 수 있고, 2개의 육각형들(2a, 2c) 및 벽(2b)을 나타낸다. 정성적 프로세싱은 육각형(2c)이 육각형(2a) 및 벽(2b)의 전면에 있다는 것을 나타낸다. 최종 깊이 정보는 불완전하다. 상기 깊이 정보는 깊이 값들의 도함수들을 포함한다.
상기 정성적 프로세싱은 도 2에 도시된다. 캡쳐된 이미지(22)는 우선 세그멘테이션된다. 이미지 세그멘테이션(24)의 결과는 2개의 육각형들을 나타낸다. 깊이 순서화는 T 모양 방향에 의해 추출되고, 그 결과는 26으로 묘사된다. 순서화 정보는 불완전하다. A가 B의 전면에 있다는 것이 알려진다. C 및 B의 순서화는 알려지지 않는다. 본 발명에 따른 확장을 적용함으로써, 발견된 깊이 순서화에 따르는 임의의 깊이 값들은 이미지로 충전된다. 오브젝트(A)는 A가 B 및 C의 전면 N "깊이 단위들"인 것을 가리키는 깊이 값이 할당된다. 결과 이미지(28)는 발견된 깊이 순서화에 따른, 오브젝트들에 부가된 깊이 정보를 가진다. 원형 깊이 순서화의 경우, 오브젝트들의 깊이에 대한 단일 값들을 발견하는 것은 가능하지 않다. 이들 경우들에서, 오브젝트들 내에서 지각된 깊이가 부드럽게 변화하도록 허용하는 비관련 정보로 충전하는 것이 적당하다. 하나의 깊이 맵은 부분적인 깊이 정보 및 평활도 제한 모두에 따르는 것이 발견될 수 있다.
상기 깊이 맵을 발견하는 방법은 마르코프 랜덤 필드(MRF) 방법일 수 있다. 깊이 확장은 전체 이미지상에 퍼져있는 부분적인 깊이 정보를 포함하는 프로세스를 통하여 얻어질 수 있다. 에너지 함수(Usmoothness 및 Uordering)는 전체 깊이 맵(D)에서 최소화된다. 이미지 세그멘테이션으로부터 검색된 세그멘테이션 맵으로서 S는 오브젝트 영역들 내부에서 0이고, 오브젝트 에지들에서 1이고, 깊이 단위들의 수는 N이고, 각각의 불연속성의 방향은 -1, 0, 1이다. 최소화를 위하여, 소위 시뮬레이팅된 어닐링 알고리즘은 적당할 수 있다. 에너지 함수들은 다음과 같을 수 있다:
Figure 112005038363956-pct00002
Usmoothness의 최소화는 각각의 오브젝트 내의 깊이 맵(D)이 평활화되게 한다. Uordering의 최소화는 임의의 깊이 크기(N)에서 깊이 맵이 불연속성을 갖게 한다. Usmoothness 및 Uordering의 최소화는 평활도 및 순서화 제한들 사이에서 트레이드 오프를 제공한다. 어떤 측면(α및β에 따라)이 스트레스를 보다 많이 받는가에 따라, 최종 깊이 맵은 에지에서 오브젝트들로 연장하는 작은 부분만을 가진 오브젝트 에지들을 따라서만 불연속성들을 포함하거나, 몇십 개의 픽셀들에 대해 연장하는 깊이 에지들에 대해 보다 평활한 결과를 포함할 것이다.
상이한 최소화 결과들을 가진 많은 에너지 함수들은 응용 가능하다. 상기된 제곱값들 │x│2을 사용하는 것 외에, 절대값 │x│, 또는 │x│-x 같은 비대칭 함수들을 사용하는 것은 가능하다.
정성적 깊이 값들뿐만 아니라 정량적 깊이 값들 모두는 이용 가능한 경우에, Usmoothness, Ucopy 및 Uordering의 임의의 선형 결합은 최소화에 사용될 수 있다. 이에 의해, 확장된 깊이 맵의 특징들은 영향을 받을 수 있다. 불연속 값들(S 및 V)이 이용되지 못하는 경우, 상기 값들은 이하의 식에 의해 Dalg 및 △Dalg로부터 검색될 수 있다:
Figure 112005038363956-pct00003
여기서 T는 임의의 깊이 점프가 불연속성 때문인지 아닌지를 결정하는 문턱값이다.
본 발명의 방법을 2D 이미지들에 적용함으로써, 오브젝트 평활도 및 오브젝트 불연속성에 관하여 적합한, 한 장면의 3D 지각을 형성하는 것이 가능하다.

Claims (10)

  1. 3-D 장면으로부터 픽셀 밀도 풀 깊이 맵(pixel dense full depth map)을 획득하는 방법에 있어서:
    a) 상기 3-D 장면으로부터 적어도 두 개의 이미지들의 정량적 프로세싱(quantitative processing)에 의해 부분적인 깊이 맵을 획득하는 단계;
    b) 상기 3-D 장면으로부터 적어도 하나의 이미지의 정성적 프로세싱(qualitative processing)에 의해 깊이 정보의 도함수들(derivatives)을 획득하는 단계; 및
    c) 추가적인 깊이 값들의 형태인 비관련 정보(non-relevant information)를 상기 부분적인 깊이 맵에 부가함으로써 상기 부분적인 깊이 맵을 확장하는 단계로서, 상기 비관련 정보의 상기 부가는 하나의 불연속성(discontinuity)에서 다음 불연속성으로 상기 3-D 장면 내의 오브젝트들에 대한 깊이 값들을 평활화함으로써 평활한 깊이-맵을 실현하고, 이에 의해, 상기 부분적인 깊이 맵 및 상기 깊이 정보의 도함수들 양자와 공간적으로 일치하는 픽셀 밀도 풀 깊이 맵을 생성하는, 상기 부분적인 깊이 맵 확장 단계를 포함하는, 픽셀 밀도 깊이 맵 획득 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020057013149A 2003-01-17 2003-12-10 풀 깊이 맵 획득 KR101054274B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03100092.0 2003-01-17
EP03100092 2003-01-17
PCT/IB2003/006364 WO2004066212A2 (en) 2003-01-17 2003-12-10 Full depth map acquisition

Publications (2)

Publication Number Publication Date
KR20050087882A KR20050087882A (ko) 2005-08-31
KR101054274B1 true KR101054274B1 (ko) 2011-08-08

Family

ID=32748915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057013149A KR101054274B1 (ko) 2003-01-17 2003-12-10 풀 깊이 맵 획득

Country Status (7)

Country Link
US (1) US8599403B2 (ko)
EP (1) EP1588327B1 (ko)
JP (1) JP2006513502A (ko)
KR (1) KR101054274B1 (ko)
CN (1) CN1739119A (ko)
AU (1) AU2003292490A1 (ko)
WO (1) WO2004066212A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005004125T2 (de) * 2004-02-17 2008-12-18 Koninklijke Philips Electronics N.V. Erzeugen einer tiefenkarte
CN1930585B (zh) * 2004-03-12 2013-01-30 皇家飞利浦电子股份有限公司 建立深度图
US20050254720A1 (en) * 2004-05-17 2005-11-17 Kar-Han Tan Enhanced surgical visualizations with multi-flash imaging
CA2575704C (en) 2004-07-30 2014-03-04 Extreme Reality Ltd. A system and method for 3d space-dimension based image processing
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8325196B2 (en) 2006-05-09 2012-12-04 Koninklijke Philips Electronics N.V. Up-scaling
US8326025B2 (en) * 2006-09-04 2012-12-04 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
KR101484487B1 (ko) * 2007-10-11 2015-01-28 코닌클리케 필립스 엔.브이. 깊이-맵을 프로세싱하는 방법 및 디바이스
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
JP5599400B2 (ja) * 2008-09-04 2014-10-01 エクストリーム リアリティー エルティーディー． 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア
JP2012507181A (ja) * 2008-10-28 2012-03-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像特性のための遮蔽データの発生
US8917956B1 (en) * 2009-08-12 2014-12-23 Hewlett-Packard Development Company, L.P. Enhancing spatial resolution of an image
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
KR101577106B1 (ko) 2009-09-21 2015-12-11 익스트림 리얼리티 엘티디. 인간 기계가 가전 기기와 인터페이싱하기 위한 방법, 회로, 장치 및 시스템
US9030469B2 (en) 2009-11-18 2015-05-12 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
JP5200042B2 (ja) * 2010-02-26 2013-05-15 日本放送協会 視差推定装置およびそのプログラム
CN102387374B (zh) * 2010-08-30 2015-07-29 三星电子株式会社 用于获得高精度深度图的设备和方法
KR20120059367A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
WO2012098534A1 (en) * 2011-01-23 2012-07-26 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
JP5355616B2 (ja) * 2011-04-21 2013-11-27 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
CN102271268B (zh) * 2011-08-09 2013-04-10 清华大学 多视点立体视频的深度序列生成方法和装置
JP5155462B2 (ja) * 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US20130202194A1 (en) * 2012-02-05 2013-08-08 Danillo Bracco Graziosi Method for generating high resolution depth images from low resolution depth images using edge information
JP5307958B1 (ja) 2012-02-23 2013-10-02 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
KR20150003406A (ko) 2012-04-12 2015-01-08 가부시키가이샤 스퀘어.에닉스.홀딩스 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템
US9299152B2 (en) * 2012-12-20 2016-03-29 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for image depth map generation
CN103974055B (zh) * 2013-02-06 2016-06-08 城市图像科技有限公司 3d照片生成系统及方法
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
US20140372182A1 (en) * 2013-06-17 2014-12-18 Motorola Solutions, Inc. Real-time trailer utilization measurement
CN105100773B (zh) * 2015-07-20 2017-07-28 清华大学 立体视频制作方法、立体视图制作方法和制作系统
US10713610B2 (en) 2015-12-22 2020-07-14 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
US9940730B2 (en) 2015-11-18 2018-04-10 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
JP6991700B2 (ja) * 2016-04-28 2022-01-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
EP3401815B1 (en) * 2017-05-09 2022-12-21 Dassault Systèmes Determining an architectural layout
US10783656B2 (en) 2018-05-18 2020-09-22 Zebra Technologies Corporation System and method of determining a location for placement of a package
CN111145330B (zh) * 2019-12-31 2023-06-30 广州方硅信息技术有限公司 人体模型渲染方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990070445A (ko) * 1998-02-20 1999-09-15 박호군 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1044432A4 (en) * 1997-12-05 2007-02-21 Dynamic Digital Depth Res Pty IMPROVED IMAGE TRANSFORMATION AND CODING TECHNIQUES
GB9913687D0 (en) * 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
FR2798761B1 (fr) * 1999-09-17 2002-03-29 Thomson Multimedia Sa Procede de construction d'un modele de scene 3d par analyse de sequence d'images
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
US6868191B2 (en) * 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
US7103211B1 (en) * 2001-09-04 2006-09-05 Geometrix, Inc. Method and apparatus for generating 3D face models from one camera
GB0126526D0 (en) * 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
GB2383245B (en) * 2001-11-05 2005-05-18 Canon Europa Nv Image processing apparatus
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
FR2837597A1 (fr) * 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
GB0224449D0 (en) * 2002-10-21 2002-11-27 Canon Europa Nv Apparatus and method for generating texture maps for use in 3D computer graphics
US6975329B2 (en) * 2002-12-09 2005-12-13 Nvidia Corporation Depth-of-field effects using texture lookup
GB2400288B (en) * 2003-04-02 2005-12-28 Canon Europa Nv Generating texture maps for use in 3D computer graphics
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
EP2551827A3 (en) * 2011-07-28 2017-08-02 Sony Mobile Communications AB Presenting three dimensional depth

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990070445A (ko) * 1998-02-20 1999-09-15 박호군 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Luc Robert and Rachid Deriche, "Dense Depth Map Reconstruction: A Minimization and Regularization Approach which Preserves Discontinuities", ECCV '96, pp. 439-451, 1996.
Luis Alvarez et al, "Dense Disparity Map Estimation Respecting Image Discontinuities", Journal of Visual Communication and Image Representation, vol. 13, no. 1-2, pp. 3-21, March 2002.
Richard Lengagne and Pascal Fua, "Incorporating Differential Constraints in a 3D Reconstruction Process Application to Stereo", ICCV 2001, pp. 573-580, 2001.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532642B1 (ko) * 2014-03-04 2015-06-30 광주과학기술원 깊이정보 확장장치 및 방법

Also Published As

Publication number Publication date
JP2006513502A (ja) 2006-04-20
WO2004066212A2 (en) 2004-08-05
KR20050087882A (ko) 2005-08-31
AU2003292490A1 (en) 2004-08-13
US20060056679A1 (en) 2006-03-16
US8599403B2 (en) 2013-12-03
EP1588327B1 (en) 2018-09-26
WO2004066212A3 (en) 2005-02-03
EP1588327A2 (en) 2005-10-26
CN1739119A (zh) 2006-02-22

Similar Documents

Publication Publication Date Title
KR101054274B1 (ko) 풀 깊이 맵 획득
JP5538617B2 (ja) 複数カメラのキャリブレーション用の方法および構成
US8331619B2 (en) Image processing apparatus and image processing method
KR100859210B1 (ko) 인물검출장치, 인물검출방법 및 인물검출프로그램을 저장한 컴퓨터 판독가능 기록매체
KR100519782B1 (ko) 스테레오 카메라를 이용한 사람 검출 방법 및 장치
JP5073670B2 (ja) 立体画像表示方法、２次元画像データの入力から３次元画像データを生成する方法及び装置
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US8810648B2 (en) Visual tracking of objects in images, and segmentation of images
JP5487298B2 (ja) ３次元画像生成
JP5493108B2 (ja) 距離画像カメラを用いた人体識別方法および人体識別装置
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
WO2017201751A1 (zh) 虚拟视点视频、图像的空洞填充方法、装置和终端
US20120099782A1 (en) Image processing apparatus and method
US9747675B2 (en) Image processing system
US9747690B2 (en) Image processing device, image processing method, and program
JP2004104425A (ja) 視差分布測定方法、視差分布測定装置および視差分布測定プログラム
JP2015507736A (ja) ターゲットサイズを見積もるためのシステム及び方法
JP4272538B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2009301242A (ja) 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP2022181493A (ja) 画像処理装置、画像処理方法およびプログラム
CN117474959A (zh) 基于视频数据的目标对象运动轨迹处理方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E90F Notification of reason for final refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160721

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 8