KR20110036591A - 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스 - Google Patents
적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20110036591A KR20110036591A KR1020117001794A KR20117001794A KR20110036591A KR 20110036591 A KR20110036591 A KR 20110036591A KR 1020117001794 A KR1020117001794 A KR 1020117001794A KR 20117001794 A KR20117001794 A KR 20117001794A KR 20110036591 A KR20110036591 A KR 20110036591A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- map
- depth
- pixels
- value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 적어도 두 개의 이미지들로부터 평가되고 한 세트의 라인들 및 열들을 형성하는 픽셀들의 매트릭스로 이루어진 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우는 방법에 관한 것이고, 맵의 각각의 픽셀은 깊이 또는 디스페리티 값(픽셀 값)과 연관되고 엄폐된 영역의 임의의 픽셀(무효 픽셀)은 무효인 것으로 식별할 수 있는 픽셀 값과 연관된다. 이 방법은 미리 정의된 방향으로 픽셀 단위로 맵의 각각의 라인을 프로세싱하는 단계(E1, E2, E10) 및 만약 있다면 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P1) 주변의 미리 정의된 근접도 내의 픽셀들과 연관된 값들 및 만약 있다면 현재 라인 상의 무효 픽셀(Pi)에 선행하는 최종 무효 픽셀(P0)의 값(V(P0))에 비해 보다 큰 깊이 또는 보다 작은 디스페리티에 대응하는 값(V(P1))의 함수로서 결정된 값을 현재 라인 상에서 조우되는(E4-E9) 각각의 무효 픽셀(Pi)에 할당하는 단계(E3)를 포함한다.
Description
본 발명은 디지털 이미지들을 프로세싱하는 것에 관한 것이고 더욱 상세하게는 적어도 두 개의 이미지들로부터 평가된 깊이 맵 또는 디스페리티 맵(disparity map) 내 엄폐된(occluded) 영역들을 채우기(filling) 위한 기술에 관한 것이다.
깊이 맵들 또는 디스페리티 맵들로서 알려진 맵들은 통상적으로 릴리프(relief) 디스플레이, 3 차원 장면들의 재구성, 및 비디오 이미지들의 가상 네비게이션 같은 3-차원 비디오(3D 비디오) 애플리케이션들에 사용된다. 이들 맵들은 다수의 비디오 카메라들에 의해 캡쳐된 스테레오스코픽(stereoscopic) 비디오들 또는 멀티뷰(multiview) 비디오들로부터 나오거나 동일한 비디오에서 상이한 시간들에 대응하는 동일한 장면의 적어도 두 개의 이미지들로부터의 평가 프로세스에 의해 얻어진다.
두 개의 접근법들은 일반적으로 스테레오스코픽 콘텐츠를 전송하는 특정 상황에서 사용된다. 제 1 접근법은 사람 시각 시스템을 재현하기 위하여 배치된 한 쌍의 통상적인 비디오 카메라들을 사용하고, 각각의 카메라는 하나의 눈에 대응한다. 캡쳐된 두 개의 모노스코픽(monoscopic) 비디오 시퀀스들은 사용자에게 전송된다. 다른 접근법은 각각의 픽셀과 연관된 깊이 정보에 의해 수반된 단지 하나의 모노스코픽 컬러 비디오 시퀀스만을 전송한다. 이런 상황에서, 하나 이상의 가상 뷰들은 사용자 말단(end)에서 깊이 맵들을 기초로 하는 알고리즘들을 렌더링함으로써 합성될 수 있다. 이런 깊이 맵 접근법은 전송에 사용된 총 대역폭을 감소시키는 특정 장점을 가지며 데이터 압축을 갖는 비디오 코딩에 직접 적용할 수 있다.
통상적으로 깊이 맵들 및 디스페리티 맵들 이라 지칭되는 것을 정의하고, 그리고 설명을 간략화하기 위하여, 뷰의 두 개의 상이한 포인트들로부터 동일한 장면의 두 개의 이미지들이 예를 들어 비디오 카메라에 의해 형성되는 쌍안(binocular) 입체 시각의 특정 상황을 고려하자. 두 개의 이미지들은 통상적으로 우측 이미지 및 좌측 이미지로서 지칭된다. 이런 상황에서, 주어진 이미지(예를 들어 우측 이미지 또는 좌측 이미지)에 대응하는 깊이 맵은 디지털 이미지이고 상기 디지털 이미지의 각각의 픽셀은 카메라로부터 연관된 픽셀의 거리 특성인 컬러(예를 들어 회색 음영)를 나타내는 값과 연관된다.
도 1은 장면을 촬영한 카메라에 관련하여 이미지에서 나타나는 물체들의 거리가 가장 가까운 물체들에 대한 흰색으로부터 가장 먼 물체들에 대한 검정색까지 회색 레벨에 의해 표현되는 깊이 맵을 도시한다. 따라서 이 예에서 보다 밝은 음영인 테이블 및 꽃들을 포함하는 꽃병은 상기 장면의 가장 가까운 물체들(최전면(foreground))이고 표현된 스크린은 가장 먼 물체(최후면(background))인 것으로 나타난다.
도 2a 및 도 2b는 깊이 맵이 평가될 수 있는 입체 이미지들의 쌍을 나타낸다. 도 2a는 좌측 이미지를 나타내고 도 2b는 우측 이미지를 나타낸다.
디스페리티 맵은 상기된 두 개의 이미지들의 스테레오스코픽 매칭의 결과를 구현한다. 스테레오스코픽 매칭은 동일한 좌측 및 우측 이미지들 픽셀들, 즉 장면 내 동일한 엔티티의 투영인 픽셀들을 발견하는 것으로 이루어진다. 디스페리티 맵은 이런 매칭의 결과들을 시각적으로 표현하는 하나의 방식이다: 디스페리티 맵의 각각의 픽셀은 디스페리티의 크기, 즉 좌측 이미지의 픽셀의 위치 및 우측 이미지의 대응하는 픽셀의 위치 사이의 거리를 나타낸다. 따라서 디스페리티 맵의 각각의 픽셀은 디스페리티 크기의 컬러 특성을 나타내는 값과 연관된다. 통상적인 프로세스는 다시 회색 음영들을 사용한다: 예를 들어, 보다 어두운 픽셀, 보다 작은 디스페리티, 여기서 완전한 백색 픽셀들은 두 개의 이미지들 하나에서 대응물들이 없는 픽셀들을 나타낸다.
이미지의 주어진 픽셀과 연관된 깊이 값이 높을수록, 대응하는 디스페리티 값이 작아지는 것을 증명하는 것은 쉽다. 따라서 깊이 및 디스페리티는 두 개의 반비례하는 크기들이고, 본 발명은 똑같이 깊이 맵 또는 디스페리티 맵에 적용될 수 있다. 상세한 설명의 나머지에서, 깊이 맵들 및 디스페리티 맵들은 상호 교환하여 지칭되고 용어 맵은 이들 맵들 중 어느 하나를 지칭한다.
깊이 맵 또는 디스페리티 맵들의 사용은 비디오의 가상 네비게이션, 릴리프 디스플레이, 3D 모델링, 및 비디오 코딩 같은 최신 기술들의 환경에서 가장 중요하다. 상이한 뷰들로부터의 예측에 의해 얻어진 깊이 맵들은 또한 깊이 맵들을 사용하여 뷰들을 예측함으로써 압축을 수행하는 압축 애플리케이션들에 사용될 수 있다. 이런 타입의 접근법에서, 깊이 맵들은 리던던트 정보의 전송을 제한하기 위하여 동일한 장면의 다른 비디오들 내 대응하는 뷰들을 예측하기 위하여 사용되고, 특히 MVD(멀티뷰 비디오 및 깊이) 데이터는 다수의 비디오들 및 연관된 깊이 맵들로 이루어진다. 최종 애플리케이션이 무엇이든, 이들 맵들의 정확성은 재구성된 뷰들의 품질 및 코딩 애플리케이션들의 효율적인 비디오 압축에 결정적이다.
특히, 깊이/디스페리티 맵의 품질은 연관된 맵 내의 엄폐된 영역들의 존재와 관련된다. 엄폐된 영역들은 픽셀들이 이미지들의 하나에서 대응물을 가지지 않고 하나의 이미지에서만 볼 수 있는 부분을 갖는 맵의 영역들이다. 이들 엄폐된 영역들은 본래 엄폐하는 물체들, 즉 두 개의 이미지들(우측 및 좌측) 중 하나에서 다른 이미지에서 직접 볼 수 있는 표현된 장면의 특정 구역을 차폐하는 물체들을 지칭하는 장면 내 물체들에 의해 유발된다. 엄폐된 영역들은 본래 맵들의 깊이 불연속에 의해 유발된 경계들 주변에서 발견된다.
도 3은 그래프 컷(graph cut)들을 기초로 하는 공지된 알고리즘을 사용하여 평가된 디스페리티 맵의 에를 나타낸다. 보다 정확히 말하면, 사용된 알고리즘은 예를 들어 2002년 컴퓨터 비젼에 대한 유럽 회의 진행사항들(Proceedings of the European Conference on Computer Vision)에서 V.Kolmogorov 및 R.Zabih에 의한 문서 "Multi-camera scene reconstruction via graph cuts"에 기술된다.
표현된 이미지에서, 백색 영역들은 상기된 그래프 컷들 알고리즘에 의해 검출된 엄폐된 영역들이고 이 때문에 각각 도 2a 및 도 2b에 의해 표현된 좌측 및 우측 이미지들의 대응물들의 결핍으로 인해 픽셀 값을 결정하는 것은 가능하지 않았다.
그러므로 이들 맵들을 기초로 재구성 또는 합성 프로세스에 의해 얻어진 이미지들의 품질을 향상시키기 위하여 깊이 맵 또는 디스페리티 맵들의 이들 엄폐된 영역들을 고려하는 것이 필요하다. 특히 손실 정보에 대응하는 엄폐된 영역들의 갭들을 검출 및/또는 채우는 것이 문제이다.
상기된 깊이 맵 또는 디스페리티 맵 결함들을 프로세싱하기 위한 공지된 기술들은 특히 깊이 맵 또는 디스페리티 맵들로부터 재구성된 이미지들 상에서 동작하는 기술들의 제 1 카테고리를 포함한다.
이런 제 1 카테고리의 해결책들은 예를 들어 2006년 SPIE 3-차원 TV, 비디오, 및 디스플레이 Vol. 6392, PP. 0D1-0D12 행사들에서의 C. Vazquez, W.J. Tam, 및 F. Speranza"에 의한 문서 "Stereoscopic imaging: Filling disoccluded areas in image-based rendering"에 기술된다. 그들 해결책들에 따라, 재구성된 이미지들 내 갭들은 그들의 근접도(vincinity)들로부터 얻어진 값을 전파함으로써 채워진다. 그러나, 깊이 맵 또는 디스페리티 맵들로부터 재구성된 이미지들 상에서 동작하는 이런 카테고리의 기술들은 적어도 깊이 맵들의 특정 피쳐(feature)들을 거의 이용하지 않는 단점을 가진다. 그들 맵들은 텍스츄어 디테일(texture detail)들의 부재 및 물체들의 상대적 위치들의 깊이에 대한 영향력 같은 텍스츄어된 2-차원(2D) 이미지들과 상이한 피쳐들을 가진 데이터를 나타낸다.
공지된 기술들의 제 2 카테고리는 깊이 맵 또는 디스페리티 맵들 상에 직접 작용한다. 예를 들어, 2004년 2월 Proc. 12th International Conference Computer Graphics, Visualization and Computer Vision, Pizen, Czech Republic에서의 J. Yin 및 J.R. Cooperstock에 의한 문서: "Improving depth maps by nonlinear diffusion"는 엄폐된 영역들 및 텍스츄어가 없는 영역들을 강화시키기 위하여 깊이 맵에 적용할 수 있는 사후-프로세싱을 기술한다. 그 사후-프로세싱은 비-선형 확산, 즉 에지 검출과 결합된 가우스 평활화(smoothing)를 기초로 한다.
2006년 6월 27th Symposium on Information Theory in The Benelux, Vol. 1p에서의 Yannick Morvan, Dirk Farin, 및 Peter H.N. de에 의한 문서 "Design Considerations for View Interpolation in a 3D Video Coding Framework"에 기술된 다른 기술은 엄폐된 픽셀에 가장 가까운 두 개의 유효 픽셀들의 깊이 값들을 비교함으로써 백그라운드를 전파한다.
도 4a 및 도 4b는 도 3으로부터의 디스페리티 맵의 디테일 및 그래프 컷들을 기초로 공지된 기술을 사용하여 엄폐된 영역들을 채운 후 동일한 디테일을 각각 나타낸다. 따라서 도 4b에 표현된 이미지는 라인 단위로 이미지를 취하고 현재 라인(라인을 따르는 방향은 깊이 맵이 연관된 이미지의 함수임) 상의 무효 픽셀 다음 제 1 유효(비-엄폐됨) 픽셀을 가진 엄폐된 영역의 무효 픽셀을 채우는 알고리즘을 사용하여 엄폐된 영역들을 채운 후의 도 3으로부터의 디스페리티 맵의 동일한 디테일을 도시한다. 그런 채움 알고리즘은 예를 들어 2004년 3월 영국 런던의 Abhijit Ogale, Cornelia Fermuller, 및 Yiannis Aloimonos, SpatioTemporal Image Processing에서의 문서 "Occlusions in motion processing"에 기술된다.
채운 후 얻어진 도 4b 이미지에서, 사람의 좌측, 특히 그들의 우측 주변에 보이는 백색 영역들은 엄폐된 영역들을 채울 때 형성된 에러들에 해당한다. 이들 에러들은 값이 에러에 할당되었고 그러므로 채움 프로세스를 붕괴하는 엄폐된 영역의 픽셀들에 의해, 또는 예를 들어 이미지 내에 표현된 사람의 우측 주변과 같이 디테일의 손실을 유발하는, 채우는 동안 올바르지 않은 값들의 전파에 의해 주로 유발된다.
따라서 깊이 맵 또는 디스페리티 맵들 상에 직접 작용하는 기술들은 엄폐된 영역들에서의 에러들 또는 인공물들을 관리하지 않고 및/또는 적용된 프로세싱으로 인해, 특히 표현된 물체들의 에지들에서 불선명한 외관을 생성하는 단점들을 가진다. 게다가, 무효 픽셀에 인접한 제 1 유효 픽셀들의 값들만을 비교함으로써, 백그라운드의 전파는 특히 오목한 물체들에서 신뢰할 수 없다.
결과적으로, 상기 기술들은 엄폐된 영역들의 존재가 재구성된 이미지들에서 그리고 디스플레이 동안 깊이/디스페리티 맵들로부터 예측된 이미지들을 사용하는 릴리프에서 불일치를 유발하기 때문에, 이들 맵들의 결함들로부터 발생하는 깊이 맵 또는 디스페리티 맵들 및 인공물들의 결함들, 올바르지 않은 값들의 전파, 및 디테일의 손실을 부분적으로만 프로세싱한다.
그러므로, 특히 물체들의 윤곽부들 주위에서 정확도와 관련하여 디스페리티 및 깊이 맵들의 품질을 개선하는 것이 실제 필요하다.
특히 상기된 필요에 응답하여, 본 발명의 제 1 양상은 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우는 방법을 제공한다.
이런 방법에서 맵은 적어도 두 개의 이미지들로부터 평가되고 라인들 및 열(column)들의 세트를 형성하는 픽셀들의 매트릭스로 이루어지며, 맵의 각각의 픽셀은 "픽셀 값" 이라 지칭되는 깊이 또는 디스페리티 값 및 "무효 픽셀" 이라 지칭되고, 무효인 것으로서 식별할 수 있는 픽셀 값과 연관된 엄폐된 영역의 임의의 픽셀과 연관된다.
본 발명에 따라 방법은:
미리 정의된 방향으로 픽셀 단위로 맵의 각각의 라인을 프로세싱하는 단계; 및
현재 라인 상에서 조우되는 각각의 무효 픽셀(Pi)에 값을 할당하는 단계 ―상기 값은 만약 있다면 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 값(P1) 주변의 미리 정의된 근접도 내의 픽셀들과 연관된 값들 및 만약 있다면 현재 라인 상에서 무효 픽셀(Pi)을 선행하는 최종 유효 픽셀(P0)의 값(V(P0))에 관련하여 보다 큰 깊이 또는 보다 작은 디스페리티에 대응하는 값(V(P1))의 함수로서 결정됨 ―를 포함한다.
상기 설명된 바와 같이 얻어진 값을 무효 픽셀들에 할당함으로써 얻어진 엄폐된 영역들의 그런 채움은 백그라운드(즉, 가장 큰 깊이 값들 또는 가장 작은 디스페리티 값들) 및 상기 백그라운드만을 전파시키는 것을 가능하게 하는데, 그 이유는 엄폐하는 물체에 의해 유발된 엄폐된 영역들이 엄폐하는 물체 뒤쪽에 배치되고 미리 정의된 방향으로 라인들을 프로세싱할 때 고려되는 물체들의 동일한 측면 상에 항상 배치되기 때문이다. 엄폐된 영역 이전 라인으로부터의 최종 값보다 훨씬 높을(낮을) 무효 픽셀에 할당된 깊이(디스페리티) 값을 강제함으로써, 갭들을 채우기 위하여 사용된 값이 백그라운드에 대응하는 것이 확실하다. 본 발명의 방법에 의해 갭들을 채우는 것은 백그라운드보다 오히려 물체의 픽셀들이 전파되는 것을 방지하고, 적당한 경우 특히 오목 물체들로 인해 주로 발생하는 바와 같이, 이미지 부분들이 존재하지 않을 때 이미지 부분들이 결합(tie)되는 것을 방지하는 것을 가능하게 한다. 그러므로 특히 동일한 오목 물체, 예를 들어 사람 내의 디테일들을 유지, 특히 팔들 및 손들 사이의 구별을 유지하는 것이 가능해진다.
본 발명의 방법의 바람직한 특징들에 따라:
유효 픽셀(P0)이 존재하지만 유효 픽셀(P1)이 존재하지 않으면, 픽셀 값은 무효 픽셀(Pi)에 할당되고 이 픽셀 값은 존재한다면 현재 라인 상의 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2) 주변에서 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되고;
유효 픽셀(P2)이 존재하지 않으면, 픽셀 값은 무효 픽셀(Pi)에 할당되고 이 픽셀 값은 픽셀(P0) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되고;
유효 픽셀(P0)이 존재하지 않으면, 픽셀 값은 무효 픽셀(Pi)에 할당되고 이 픽셀 값은 존재한다면 현재 라인 상의 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되고; 그렇지 않고 유효 픽셀(P2)이 존재하지 않으면, 디폴트 값(Vd)이 무효 픽셀(Pi)에 할당된다.
본 발명의 바람직한 구현에서, 무효 픽셀(Pi)에 할당된 픽셀 값은 관련된 근접도 내의 픽셀들의 값들에 메디안(medain) 또는 평균 산술 함수의 적용에 의해 관련된 픽셀의 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정된다.
실제로 픽셀 주변 근접도는 관련된 픽셀 상에 중심을 둔 유효 픽셀들의 블록으로 이루어진다.
깊이 맵 또는 디스페리티 맵이 우측 및 좌측 이미지들의 쌍으로부터 얻어지는 하나의 특정 애플리케이션에서, 맵의 픽셀들의 행(row)을 프로세싱하는 미리 정의된 방향은 맵이 좌측 이미지로부터 평가되면 우측으로부터 좌측으로의 방향에 대응하고 맵이 우측 이미지로부터 평가되면 좌측으로부터 우측으로의 방향에 대응한다.
엄폐된 영역들은 하나의 카메라로부터 다른 카메라로 진행할 때 커버되지 않은 영역들이고, 그러므로 평행(parallel) 또는 수정된 이미지들(즉, 커버링 카메라들을 사용한 이미지 캡쳐에 대응하지만, 여기서 두 개의 이미지들의 에피폴라(epipolar) 라인들이 정렬됨)에 대한 우측(각각 좌측) 이미지에 대한 물체들의 좌측(각각 우측)에 본래 위치된다.
본 발명은 또한 상기 짧게 정의된 바와 같은 채움 방법에 의해 맵의 엄폐된 영역들을 채우는 단계를 포함하는 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법을 제공한다.
본 발명의 디지털 프로세싱 방법의 특정 특징들에 따라, 엄폐된 영역들을 채우는 동작은:
맵의 엄폐된 영역들에서의 평가 에러들을 제거하기 위한 클로저(closure) 형태학 필터링의 동작; 및/또는
미리 정의된 크기의 블록당 분석된 픽셀들의 값들의 맵 메디안 필터링 전체에 걸쳐 사용하는 맵의 국부적 단일화(local uniformization)의 동작에 비해 선행될 수 있다.
상관된 방식으로, 본 발명은 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스를 제공하고, 이 디바이스는 상기 간결하게 정의된 바와 같이 본 발명의 채움 방법을 사용하도록 적응된 맵의 엄폐된 영역들을 채우기 위한 모듈을 포함한다는 점에서 주목할 만 하다.
본 발명은 프로그램이 컴퓨터 시스템에서 실행될 때 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 방법을 실행하기 위한 명령들을 포함한다는 점에서 주목할 만한 디지털 이미지 프로세싱 컴퓨터 프로그램을 더 제공한다. 여기서 표현 컴퓨터 시스템은 디지털 데이터를 프로세싱하도록 적응된 임의의 프로세서-기반 디바이스를 의미한다.
본 발명의 컴퓨터 프로그램 및 디지털 프로세싱 디바이스에 의해 획득된 장점들은 본 발명의 채우는 방법 또는 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 방법에 관련하여 특히 상기된 것을 포함한다.
본 발명은 예에 의해서만 그리고 도면들을 참조하여 제공된 다음 상세한 설명을 읽고 보다 잘 이해될 수 있다.
도 1은 이미 위에서 언급된 깊이 맵의 일 예를 나타낸다.
도 2a 및 도 2b는 이미 언급된 깊이 맵이 평가될 수 있는 스테레오스코픽 이미지들의 쌍을 나타낸다.
도 3은 이미 언급된 그래픽 컷들을 기초로 하는 공지된 알고리즘을 사용하여 평가된 디스페리티 맵의 하나의 예를 나타낸다.
도 4a 및 도 4b는 이미 언급된 도 3의 디스페리티 맵으로부터의 디테일 및 종래 기술을 사용하여 엄폐된 영역들을 채운 후 동일한 디테일을 각각 나타낸다.
도 5a 및 도 5b는 깊이 맵 또는 디스페리티 맵 내 엄폐된 영역들을 채우는 본 발명의 방법의 메인 단계들의 흐름도를 나타낸다.
도 6은 채움 동작이 맵 평가 에러들의 평가 동작 및 맵의 로컬 단일화 동작에 비해 선행되는 본 발명의 하나의 구현에서 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 방법 및 디바이스를 도시한다.
도 7a 및 도 7b는 형태학 필터의 적용 전(도 7a) 및 형태학 필터의 적용 후(도 7b) 도 4a에 표현된 맵의 동일한 디테일을 각각 나타낸다.
도 8a 및 도 8b는 형태학 필터의 적용 후 얻어진 디스페리티 맵에 로컬 단일화 필터를 적용한 결과를 도시하고, 도 8a 및 도 8b는 로컬 단일화 필터의 적용 전 및 적용 후 맵을 각각 도시한다.
도 9는 엄폐된 영역들을 채우기 위한 본 발명에 따른 프로세싱 후 도 8b로부터의 디스페리티 맵을 도시한다.
도 2a 및 도 2b는 이미 언급된 깊이 맵이 평가될 수 있는 스테레오스코픽 이미지들의 쌍을 나타낸다.
도 3은 이미 언급된 그래픽 컷들을 기초로 하는 공지된 알고리즘을 사용하여 평가된 디스페리티 맵의 하나의 예를 나타낸다.
도 4a 및 도 4b는 이미 언급된 도 3의 디스페리티 맵으로부터의 디테일 및 종래 기술을 사용하여 엄폐된 영역들을 채운 후 동일한 디테일을 각각 나타낸다.
도 5a 및 도 5b는 깊이 맵 또는 디스페리티 맵 내 엄폐된 영역들을 채우는 본 발명의 방법의 메인 단계들의 흐름도를 나타낸다.
도 6은 채움 동작이 맵 평가 에러들의 평가 동작 및 맵의 로컬 단일화 동작에 비해 선행되는 본 발명의 하나의 구현에서 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 방법 및 디바이스를 도시한다.
도 7a 및 도 7b는 형태학 필터의 적용 전(도 7a) 및 형태학 필터의 적용 후(도 7b) 도 4a에 표현된 맵의 동일한 디테일을 각각 나타낸다.
도 8a 및 도 8b는 형태학 필터의 적용 후 얻어진 디스페리티 맵에 로컬 단일화 필터를 적용한 결과를 도시하고, 도 8a 및 도 8b는 로컬 단일화 필터의 적용 전 및 적용 후 맵을 각각 도시한다.
도 9는 엄폐된 영역들을 채우기 위한 본 발명에 따른 프로세싱 후 도 8b로부터의 디스페리티 맵을 도시한다.
도 5a 및 도 5b는 깊이 맵 또는 디스페리티 맵 내의 엄폐된 영역들을 채우기 위한 본 발명의 메인 방법 단계들의 흐름도를 나타낸다. 상기된 바와 같이, 본 발명은 이들 맵들이 반비례하는 데이터에 대응하기 때문에 깊이 맵 또는 디스페리티 맵과 상호교환하여 적용한다.
본 발명의 방법은 적어도 두 개의 이미지들, 예를 들어 우측 이미지 및 좌측 이미지로부터 평가되거나, 예를 들어 압축 알고리즘을 기초로 상이한 뷰들로부터의 예측 시처럼 다른 뷰로부터의 예측에 의해 얻어진 깊이 맵 또는 디스페리티 맵에 적용된다.
본 맵은 통상적으로 라인들 및 열들의 세트를 형성하는 픽셀들의 매트릭스로 이루어진다. 맵의 각각의 픽셀은 픽셀 값이라 지칭되는 깊이 또는 디스페리티 값과 연관된다. 이 값은 8 개의 비트들 상에서 코딩된 이진 값이고 통상적으로 0 내지 255를 포함하는 십진 값들을 취할 수 있다. 이런 값들의 범위 내에서, 일부는 유효 깊이/디스페리티 값들이고 특정 값은 무효 값이다. 따라서 엄폐된 영역들을 나타내기 위해 선택된 컬러가 백색이면, 연관된 깊이/디스페리티 값은 통상적으로 십진 값 255이다. 따라서 맵의 엄폐된 영역에 대응하는 픽셀은 연관된 픽셀 값으로부터 무효한 것으로 식별할 수 있다.
실제로, 깊이/디스페리티 맵의 엄폐된 영역들을 채우기 위한 본 발명의 방법은 데이터 프로세싱 시스템에서 실행된 컴퓨터 프로그램에 의해 구현되고, 프로세싱될 맵은 데이터 프로세싱 시스템에 미리 저장된다. 본 발명의 방법은 라인 단위 및 각각의 라인에 대해 픽셀 단위 깊이/디스페리티 맵(이하 맵이라 지칭됨)을 고려한다. 맵의 각각의 라인은 미리 정의된 방향으로 픽셀 단위로 프로세싱된다.
따라서, 실제로, 만약 맵이 우측 및 좌측 이미지들을 포함하는 이미지들의 쌍으로부터 얻어졌다면, 맵이 좌측 이미지로부터 평가된 경우 맵의 픽셀들의 라인이 프로세싱되는 방향은 우측으로부터 좌측으로의 방향에 대응한다. 대조하여, 맵이 우측 이미지로부터 평가되었다면, 맵의 픽셀들의 라인이 프로세싱되는 방향은 좌측으로부터 우측이다.
도 5a에 도시된 바와 같이, 깊이/디스페리티 맵의 엄폐된 영역들을 채우기 위한 본 발명의 방법은 현재 라인이라 지칭되는 맵의 라인을 선택하는 단계(E1), 및 현재 픽셀(Pc) 이라 지칭되는 선택된 라인으로부터 픽셀을 선택하는 단계(E2)에서 시작한다.
테스트 방법(E3)은 연관된 픽셀 값이 무효 값에 대응하는지 아닌지 여부(예를 들어 값 255가 백색에 대응함)에 따라 현재 픽셀(Pc)이 무효 픽셀인지 아닌지 여부를 결정한다. 결과적으로, 현재 픽셀이 유효하면(테스트 E3, '0'), 현재 픽셀은 엄폐된 영역에 속하지 않고 테스트 단계(E10)는 현재 라인의 프로세싱이 완료되었는지 여부 및 맵이 완전히 프로세싱된 경우인지를 결정하도록 실행된다.
따라서 단계(E10)에서 현재 라인을 프로세싱하는 것이 완료되지 않았다는(E10, '00') 것이 결정되면, 현재 라인의 다음 픽셀을 선택하기 위하여 단계(E2)로 되돌아 간다. 만약 현재 라인 모두가 프로세싱되었지만 맵의 모든 라인들이 프로세싱되지 않았다면(E10, '10'), 맵으로부터 다른 라인, 예를 들어 프로세싱된 라인 바로 아래 라인을 선택하도록 단계(E1)로 되돌아 간다. 최종적으로, 맵의 모든 라인들이 프로세싱되었다면, 맵의 프로세싱은 완료되었다(E10, '11').
만약 현재 픽셀(Pc)이 단계(E3)에서 무효인 것으로 결정되면(Pc=Pi; E3, '1'), 검색(단계 E4)은 라인 상의 무효 픽셀(Pi)에 앞서는 최종 무효 픽셀(P0로 표시됨)에 대해 수행된다. 실제로, 맵의 임의의 라인을 프로세싱할 때, 정보는 검사된 각각의 픽셀들에 관련하여 저장되고(위치, 유효성, 연관된 값, 등등), 이것은 추후 이미 검사된 픽셀에 관한 정보를 매우 빠르게 얻게 한다.
그런 픽셀(P0)이 존재하면(E5, '1'), 검색은 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P1)에 대해 미리 정의된 방향으로 현재 라인을 프로세싱하고 그리고 연관된 픽셀 값(V(P1))이 픽셀(P0)의 값(V(P0))보다 큰 깊이(또는 디스페리티 맵을 프로세싱한다면 보다 낮은 디스페리티)에 대응하도록 함으로써 수행된다(단계 E6). 픽셀(P0)에 관련하여 보다 큰 깊이에 대응하는 것으로 검색된 픽셀(P1)은 도 5에서 부등 조건(V(P1)>V(P0))에 의해 표현된다.
실제로, 관련된 무효 픽셀(Pi) 뒤에 위치한 유효 픽셀 검색은 본 발명의 방법의 사용자가 변형할 수 있는 다수의 픽셀들, 예를 들어 50 개의 픽셀들에 의해 정의된 고정된 범위 내에서 이루어진다.
그런 픽셀(P1)이 존재하면(단계E7, '1'), 단계(E8)에서 픽셀(P1) 주변 픽셀들의 근접도(N1)가 결정되고, 그 후 단계(E9)에서 무효 픽셀(Pi)에 할당될 Vcal(Pi)로 기재된 깊이(또는 디스페리티) 값이 계산된다.
본 발명에 따라, 깊이 값(Vcal(Pi))은 픽셀(P1) 주변 픽셀들의 근접도(N1) 내에 있는 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 정의되고, 단계(E8)에서 표현 "Ncal = N1"은 깊이 값(Vcal(Pi))을 계산하는 것에 픽셀들의 근접도(N1)의 할당을 부호적으로 표현한다.
실제로, 픽셀 주변에서 결정된 근접도는 그 픽셀에 중심을 둔 픽셀들의 블록으로 이루어지고, 예를 들어 하나의 블록은 5 개의 유효 픽셀들로 이루어진다.
본 발명의 바람직한 구현에서, 관련된 무효 픽셀(Pi)에 할당될 값(Vcal(Pi))은 관련된 픽셀 근접도에 속하는 픽셀들의 값들의 산술적 메디안을 계산함으로써 결정된다. 대안적으로, 산술적 평균은 산술적 메디안 대신 사용될 수 있다. 따라서 픽셀(p1) 주변 픽셀들의 근접도(N1)에 대해, 근접도(N1)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 메디안은 계산된다.
단계(E7)로 되돌아가, 무효 픽셀(Pi)을 뒤따르고 맵의 현재 라인 내 픽셀(P0)에 관련하여 보다 큰 깊이에 대응하는 유효 픽셀(P1)이 없다면(단계 E7, '0'), 적용된 프로세싱은 경우 2로 표시되고, 도 5b에 도시된 것이다. 이런 상황에서, 검색은 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2)에 대해 수행된다(단계 E21). 만약 그런 픽셀(P2)이 있다면(E22, '1'), 픽셀(P2) 주변 픽셀들의 근접도(N2)는 상기 설명된 바와 같이 결정되고(단계 E23), 뒤이어 단계(E9)로 되돌아간다(도 5a)(도 5b의 단계 E25를 통해). 단계(E9)("Val_Pi"로 표시됨)에서, Vcal(Pi)로 표시되고 무효 픽셀(Pi)에 할당될 깊이 또는 디스페리티 값은 픽셀(P2) 주변 픽셀들의 근접도(N2) 내의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 계산된다. 실제로, 근접도(N2)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 산술 메디안은 계산된다.
반대로, 만약 그런 픽셀(P2)이 없다면(단계 E22, '0'), 미리 결정된 픽셀(P0)(단계 E4)은 사용되고 따라서 픽셀(P0) 주변의 N0로 표시된 픽셀 근접도는 상기 설명된 바와 같이 결정된다(단계 E24). 그 다음 도 5a의 단계(E9)로 되돌아간다(도 5b 단계 E25를 통해). 단계(E9)에서, 무효 픽셀(Pi)에 할당될 깊이(또는 디스페리티) 값(Vcal(Pi))은 픽셀(P0) 주변 픽셀들의 근접도(N0) 내의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 계산된다. 실제로, 근접도(N0)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 산술 메디안은 계산된다.
마지막으로, 도 5a 단계 E5에서, 현재 라인 상에서 무효 픽셀(Pi)에 선행하는 유효 픽셀(P0)이 없다면(E5, '0'), 도 5b에 도시된 경우 1로 표시된 프로세싱이 적용된다. 이런 상황에서, 검색은 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2)에 대해 수행된다(단계 E11). 그런 픽셀(P2)(E12, '1')이 존재하면, 픽셀(P2) 주변 픽셀들의 근접도(N2)는 이전에 설명된 바와 같이 결정되고(단계 E13), 그 다음 도 5a 단계 E9로 되돌아간다(도 5b 단계 E16을 통해). 단계(E9)에서, Vcal(Pi)라 표시되고, 무효 픽셀(Pi)에 할당될 깊이(또는 디스페리티) 값은 픽셀(P2) 주변 픽셀들의 근접도(N2) 내 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 계산된다. 실제로, 근접도(N2)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 산술 메디안은 계산된다.
대조하여, 그런 픽셀(P2)이 없다면(단계 E12, '0'), 픽셀(Pi)은 Val_def로 표시된 디폴트 값이 할당된다(단계 E14). 이 다음 상기된 도 5a 검사 E10로 되돌아간다(단계 E15).
실제로, 무효 픽셀(Pi)에 할당된 디폴트 값(Val_def)은 예를 들어 평균 깊이(또는 디스페리티)에 대응하는 128과 동일하게 된다.
도 6은 채움 동작이 맵 평가 에러들을 평가하고 국부적으로 균일한 맵을 형성하는 동작들에 비해 선행되는 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 하나의 구현 방법 및 디바이스를 도시한다.
도 6에 나타난 바와 같이, 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 디바이스는 맵의 엄폐된 영역들을 채우기 위한 모듈(63)을 포함하고 하기되는 각각의 함수들의 두 개의 부가적인 모듈들(61 및 62) 중 하나 또는 둘 다를 더 포함할 수 있다. 마지막으로, 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 디바이스는 또한 다수의 이미지들로부터 깊이 맵 또는 디스페리티 맵을 평가하기 위한 모듈(60)을 포함할 수 있다.
하나의 바람직한 구현에서 이들 모듈들은 실제로 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 방법을 실행하도록 적응된 명령들을 포함하는 컴퓨터 프로그램들의 세트로 이루어진다.
도 6에 나타난 실시예에서, 동일한 장면의 두 개의(우측 및 좌측) 이미지들(Im)은 A로 표시된 두 개의 이미지들(Im)로부터의 디스페리티 맵을 평가하는 동작을 실행하기 위하여 소프트웨어 모듈(60)에 공급된다. 예를 들어, 모듈(60)은 상기 참조되고 2002년 컴퓨터 비젼에 대한 유럽 회의 행사에서 V. Kolmogorov 및 R.Zabih에 의한 문서 "Multi-camera scene reconstruction via graph cuts"에 기술된 그래프 컷들을 기초로 하는 알고리즘을 사용할 수 있다. 도 3에 나타난 바와 같이, 모듈(60)은 결과적으로 상기 모듈(60)의 출력부에서 디스페리티 맵(Cin)을 전달한다.
도시 및 기술된 실시예에서, 디스페리티 맵(Cin)은 입력 이미지들(Im)에 관련하여 디스페리티(또는 깊이) 맵을 평가하면서 모듈(60)에 의해 형성된 평가 에러들(아웃라이어들(outliers))을 제거하기 위한 모듈(61)에 의해 시작된다. 이들 에러들은 본래 디스페리티 맵 내의 엄폐된 영역들에 의해 유발된다. 일 실시예에서, 모듈(61)은 공지된 클로저 형태학 필터를 디스페리티 평가 알고리즘에 의해 채워지지 않은 엄폐된 영역들 내의 디스페리티 맵에만 적용한다. 도 4a 및 4b에 도시된 바와 같이, 이런 필터링은 상기 아웃라이어들이 엄폐된 영역들의 채움을 방해하지 않도록 엄폐된 영역들 내 아웃라이어들을 제거할 수 있게 한다. 형태학 필터는 맵의 갭들을 부드럽게 하고 따라서 무효 픽셀의 근접도로부터의 값들을 사용하여 엄폐된 영역들의 추후 채움을 통하여 에러들이 전파하는 것을 방지할 수 있게 한다.
도 7a 및 도 7b는 각각 형태학 필터의 적용 전(도 7a) 및 형태학 필터의 적용 후(도 7b) 도 4a에 나타난 디스페리티 맵의 동일한 디테일을 나타낸다. 따라서, 이미지 내에 표현된 사람의 우측 엄지 손가락 주변에 나타나는 평가 에러들에 대응하는 좌측 이미지(도 7a)의 고리 모양 영역 내 두 개의 회색 포인트들은 우측 이미지(도 7b) 내에서 사라졌다.
도 6을 다시 참조하여, 기술된 실시예에서, 상기된 형태학 필터링(동작 B)을 겪은 후, 디스페리티 맵은 국부적 단일화 모듈(62)에 의해 실행되는 국부적 단일화 동작 C를 겪는다.
필터링의 제 2 스테이지는 이런 동작 C 동안 디스페리티 맵에 적용된다. 동작 B 동안 적용된 필터링에 대조하여, 이런 제 2 스테이지 필터링은 물체들의 윤곽부들의 모든 디테일들을 보전하면서 디스페리티 맵을 국부적으로 균일화하기 위하여 맵의 전체에 적용된다. 따라서 적용된 필터링은 디스페리티/깊이 맵들이 특히 비디오들에서 시간적으로 매우 불안정하게 하는 매우 디테일한 물체들(예를 들어 나무들)에 의해 유발된 작은 엄폐된 영역들을 제거하거나 합체시키는 것을 가능하게 한다.
모듈(62)에 의해 적용된 필터링의 제 2 스테이지는 다음 방식으로 동작한다. 아웃라이어들은 완전한 디스페리티/깊이 이미지로부터 검출된다. 맵의 각각의 픽셀에 대해, 근접도(V)는 관련된 픽셀에 중심을 둔 블록 내에 포함된 모든 근접 픽셀들(Vi)에 해당하는 것으로 고려된다. 블록 내 근접 픽셀들(Vi)은 유사한 값을 가진 블록 및 관련된 픽셀()과 연관된 값과 상이한 값을 가진 블록의 픽셀들의 수를 평가하기 위하여 연구되었다. 관련된 픽셀들의 블록들은 예를 들어 7 개의 픽셀들의 측면 길이를 가진 정사각형들일 수 있지만, 블록들의 크기는 프로세싱된 이미지 타입의 함수로서 본 발명의 이미지 프로세싱 디바이스의 사용자에 의해 변형될 수 있다.
픽셀 값 유사성 및 차의 개념들은 보다 강력한 프로세싱을 하게 하도록 임계치들(s1 및 s3)을 참조하여 정의된다. 따라서, 픽셀() 주변 근접도(V) 내의 픽셀들(vi)은 픽셀 값들 사이의 차가 임계치(s1)(예를 들어, 10으로 설정될 수 있음) 아래이면 유사한 것으로 고려되고, 이것은 다음과 같이 표현된다:
유사하게, 예를 들어 40으로 설정될 수 있는 임계치(s3)를 참조하여 값의 차의 개념은 다음과 같이 정의된다:
분석된 블록의 관련된 각각의 픽셀에 대해, 블록 내 유사한 픽셀들의 비율이 임계치(s2) 아래이거나/아래이고 상이한 픽셀들의 비율이 임계치(s4)보다 높으면, 관련된 픽셀은 아웃라이어(에러 픽셀)로서 검출된다. 다음 값들은 사용될 수 있다, 예를 들어: s2 = 30% 및 s4 = 60%. 아웃라이어인 것으로 식별된 픽셀에 할당될 수정 값은 에러를 검출하기 위하여 사용된 블록의 메디안 필터링에 의해 얻어진 값이다.
적용된 프로세싱은 다음 식에 의해 요약된다:
임계치들(s1, s2, s3, s4)은 관련된 이미지 또는 시퀀스의 함수로서 사용자에 의해 변형될 수 있다.
도 8a 및 도 8b는 상기된 필터 모듈(61)에 의해 사용된 바와 같은 형태학 필터의 적용 후 얻어진 디스페리티 맵에 상기된 바와 같은 국부적 단일화 필터를 적용한 결과를 도시한다. 특히, 도 8a는 도 7b에 표현된 디테일이 취해지는 디스페리티 맵을 전체적으로 나타낸다. 도 8b는 도 8a 맵에 단일화 필터의 적용 후 얻어진 맵을 나타낸다.
비교되는 도 8a 및 도 8b에서 알 수 있는 바와 같이, 도 8a 이미지 내에 나타나는 백색 스폿들은 도 8b 이미지에서 사라졌다. 따라서, 상기된 필터 모듈(62)에 의한 국부적 단일화 필터링에 의해, 근접도와 기하학적으로 조화하지 않는 도 8a 맵에 나타난 픽셀들은 도 8b 맵에서 프로세싱되었다.
마지막으로, 도 9는 엄폐된 영역들을 채우기 위하여 본 발명에 따라 상기된 채움 모듈(63)이 디스페리티 맵을 프로세싱한 후 도 8b로부터의 디스페리티 맵을 도시한다.
도 9 맵을 도 3에 나타난 개시 맵 및 도 4b에 나타나고 종래 기술 채움 방법에 의해 맵의 프로세싱 후 얻어진 동일한 맵의 디테일과 비교하면, 특히 다음 포인트들이 본 발명에 따른 도 9 맵과 관련하여 알 수 있다:
보다 균일하게 나타난다; 그리고
사람 주변 엄폐된 영역들은 디테일들의 정확성을 손실하지 않고, 예를 들어 사람의 우측 손 주변에서 사라졌다.
Claims (14)
- 적어도 두 개의 이미지들로부터 평가되고 라인들 및 열들(column)의 세트를 형성하는 픽셀들의 매트릭스로 이루어진 깊이 또는 디스페리티(disparity) 맵의 엄폐된 영역들을 채우는 방법으로서,
상기 맵의 각각의 픽셀은 픽셀 값이라 지칭되는 깊이 또는 디스페리티 값과 연관되고, 무효 픽셀이라 지칭되는 엄폐된 영역의 임의의 픽셀은 무효인 것으로서 식별할 수 있는 픽셀 값과 연관되고,
상기 엄폐된 영역들을 채우는 방법은,
미리 정의된 방향으로 맵 픽셀 단위로 각각의 라인을 프로세싱하는 단계(E1, E2, E10) 및 현재 라인 상에서 조우되는(encountered)(E3) 각각의 무효 픽셀(Pi)에 픽셀 값을 할당하는 단계(E4-E9)를 포함하고, 상기 픽셀 값은 만약 있다면 상기 현재 라인 상 무효 픽셀(Pi)을 뒤따르는 제 1 무효 픽셀(P1) 주변의 미리 정의된 근접도 내의 픽셀들과 연관된 값들, 및 만약 있다면 상기 현재 라인 상의 상기 무효 픽셀(Pi)에 선행하는 최종 유효 픽셀(P0)의 값(V(P0))에 관련하여 보다 큰 깊이 또는 보다 작은 디스페리티에 대응하는 값(V(P1))의 함수로서 결정되는,
엄폐된 영역들을 채우는 방법. - 제 1 항에 있어서, 유효 픽셀(P0)이 있지만(E5) 유효 픽셀(P1)이 없다면(E7), 픽셀 값은 상기 무효 픽셀(Pi)에 할당되고(E21-E23, E25, E9), 그리고 상기 픽셀 값은 만약 있다면 상기 현재 라인 상의 상기 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되는,
엄폐된 영역들을 채우는 방법. - 제 2 항에 있어서, 유효 픽셀(P2)이 없다면(E22), 상기 픽셀(P0) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정된 픽셀 값은 상기 무효픽셀(Pi)에 할당되는(E24, E25, E9),
엄폐된 영역들을 채우는 방법. - 제 1 항에 있어서, 유효 픽셀(P0)이 없다면(E5), 픽셀 값은 상기 무효 픽셀(Pi)에 할당되고(E11-E13, E16, E9) 그리고 상기 픽셀 값은 만약 있다면 상기 현재 라인 상의 상기 무효 픽셀(Pi)을 뒤따르는 상기 제 1 유효 픽셀(P2) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되고; 그렇지 않고 유효 픽셀(P2)이 없다면(E12), 디폴트 값(Vd)은 상기 무효 픽셀(Pi)에 할당되는(E14),
엄폐된 영역들을 채우는 방법. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 무효 픽셀(Pi)에 할당된 상기 픽셀 값은 관련된 상기 근접도 내의 상기 픽셀들의 값들에 메디안(median) 또는 평균 산술 함수의 적용에 의해 관련된 픽셀의 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되는,
엄폐된 영역들을 채우는 방법. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 관련된 픽셀 주변 근접도는 상기 관련된 픽셀을 중심으로 둔 유효 픽셀들의 블록으로 이루어지는,
엄폐된 영역들을 채우는 방법. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 깊이 맵 또는 디스페리티 맵은 우측 이미지 및 좌측 이미지 쌍으로부터 얻어지고 상기 맵의 픽셀들의 행(row)을 프로세싱하는 미리 정의된 방향은 상기 맵이 상기 좌측 이미지로부터 평가되면 우측으로부터 좌측으로의 방향에 대응하고 상기 맵이 상기 좌측 이미지로부터 평가되면 좌측으로부터 우측으로의 방향에 대응하는,
엄폐된 영역들을 채우는 방법. - 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법으로서,
상기 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법은 제 1 항 내지 제 7 항 중 임의의 항에 다른 방법을 사용하여 엄폐된 영역들을 채우는 동작(D)을 포함하는,
깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법. - 제 8 항에 있어서, 상기 엄폐된 영역들을 채우는 상기 동작(D)은 상기 맵의 상기 엄폐된 영역들 내 평가 에러들을 제거하기 위한 클로저 형태학 필터링(closure morphological filtering) 동작(B)에 비해 선행되는,
깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법. - 제 8 항 또는 제 9 항에 있어서, 상기 엄폐된 영역들을 채우는 상기 동작(D)은 미리 정의된 크기의 블록당 분석된 픽셀들의 값들의 맵 메디안 필터링의 전체에 걸쳐 사용하는 상기 맵의 국부적 단일화(uniformization) 동작(C)에 비해 선행되는,
깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법. - 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스로서,
상기 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스는 제 1 항 내지 제 7 항 중 어느 한 항에 따른 채우는 방법을 사용하기 위하여 적응된 상기 맵의 엄폐된 영역들을 채우기 위한 모듈(63)을 포함하는,
깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스. - 제 11 항에 있어서, 상기 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스는 상기 엄폐된 영역들의 채움 이전에 상기 맵의 엄폐된 영역들 내 평가 에러들을 제거하기 위한 클로저 형태학 필터 모듈(61)을 더 포함하는,
깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스. - 제 11 항 또는 제 12 항에 있어서, 상기 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스는 상기 엄폐된 영역들의 채움 이전에 미리 정의된 크기의 블록당 분석된 픽셀 값들의 맵 메디안 필터링 전체에 걸쳐 사용하는 상기 맵의 국부적 단일화를 위한 모듈(62)을 더 포함하는,
깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스. - 디지털 이미지들을 프로세싱하기 위한 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 상기 프로그램이 컴퓨터 시스템에서 실행될 때 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 실행하도록 적응된 명령들을 포함하는,
컴퓨터 프로그램.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0854157A FR2932911A1 (fr) | 2008-06-24 | 2008-06-24 | Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images. |
FR0854157 | 2008-06-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110036591A true KR20110036591A (ko) | 2011-04-07 |
KR101594888B1 KR101594888B1 (ko) | 2016-02-17 |
Family
ID=40342117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020117001794A KR101594888B1 (ko) | 2008-06-24 | 2009-06-22 | 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스 |
Country Status (9)
Country | Link |
---|---|
US (1) | US8817069B2 (ko) |
EP (1) | EP2304686B1 (ko) |
JP (1) | JP5474061B2 (ko) |
KR (1) | KR101594888B1 (ko) |
CN (1) | CN102077244B (ko) |
BR (1) | BRPI0914333A2 (ko) |
FR (1) | FR2932911A1 (ko) |
RU (1) | RU2504010C2 (ko) |
WO (1) | WO2010007285A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130084850A (ko) * | 2012-01-18 | 2013-07-26 | 삼성전자주식회사 | 시차 값을 생성하는 영상 처리 방법 및 장치 |
US8873834B2 (en) | 2011-07-12 | 2014-10-28 | Samsung Electronics Co., Ltd. | Method and apparatus for processing multi-view image using hole rendering |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5889274B2 (ja) * | 2010-04-01 | 2016-03-22 | トムソン ライセンシングThomson Licensing | ディスパリティ値指標 |
US8594425B2 (en) * | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
KR101669820B1 (ko) * | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
US8774267B2 (en) * | 2010-07-07 | 2014-07-08 | Spinella Ip Holdings, Inc. | System and method for transmission, processing, and rendering of stereoscopic and multi-view images |
US20120056995A1 (en) * | 2010-08-31 | 2012-03-08 | Texas Instruments Incorporated | Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety |
FR2964775A1 (fr) * | 2011-02-18 | 2012-03-16 | Thomson Licensing | Procede d'estimation de l'occultation dans un environnement virtuel |
USRE47366E1 (en) | 2011-06-23 | 2019-04-23 | Sun Patent Trust | Image decoding method and apparatus based on a signal type of the control parameter of the current block |
EP4228264B1 (en) | 2011-06-23 | 2024-07-31 | Sun Patent Trust | Image decoding device, image encoding device |
US9049462B2 (en) | 2011-06-24 | 2015-06-02 | Panasonic Intellectual Property Corporation Of America | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
WO2012176464A1 (ja) | 2011-06-24 | 2012-12-27 | パナソニック株式会社 | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置 |
EP4270950A3 (en) | 2011-06-27 | 2024-02-14 | Sun Patent Trust | Encoding apparatus and decoding apparatus |
CN106878724B (zh) | 2011-06-28 | 2020-06-05 | 太阳专利托管公司 | 图像编码解码装置 |
KR102006032B1 (ko) | 2011-06-29 | 2019-07-31 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 |
KR102060619B1 (ko) | 2011-06-30 | 2019-12-30 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 |
RU2597473C2 (ru) | 2011-06-30 | 2016-09-10 | Сан Пэтент Траст | Способ декодирования, способ кодирования, устройство декодирования, устройство кодирования, и устройство кодирования и декодирования |
MX2013013941A (es) | 2011-07-11 | 2014-01-31 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes. |
US9007441B2 (en) | 2011-08-04 | 2015-04-14 | Semiconductor Components Industries, Llc | Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers |
US8817073B2 (en) * | 2011-08-12 | 2014-08-26 | Himax Technologies Limited | System and method of processing 3D stereoscopic image |
US9299154B2 (en) * | 2011-09-29 | 2016-03-29 | Thomson Licensing | Method and device for filtering a disparity map |
US20140192163A1 (en) * | 2011-10-11 | 2014-07-10 | Kenji Shimizu | Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system |
US9098908B2 (en) | 2011-10-21 | 2015-08-04 | Microsoft Technology Licensing, Llc | Generating a depth map |
TWI489418B (zh) * | 2011-12-30 | 2015-06-21 | Nat Univ Chung Cheng | Parallax Estimation Depth Generation |
JP5971017B2 (ja) * | 2012-08-03 | 2016-08-17 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6016061B2 (ja) * | 2012-04-20 | 2016-10-26 | Nltテクノロジー株式会社 | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム |
US9237326B2 (en) * | 2012-06-27 | 2016-01-12 | Imec Taiwan Co. | Imaging system and method |
US9661296B2 (en) * | 2012-07-12 | 2017-05-23 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
US9225962B2 (en) * | 2012-07-16 | 2015-12-29 | Cisco Technology, Inc. | Stereo matching for 3D encoding and quality assessment |
US9514522B2 (en) * | 2012-08-24 | 2016-12-06 | Microsoft Technology Licensing, Llc | Depth data processing and compression |
JP6021541B2 (ja) * | 2012-09-13 | 2016-11-09 | キヤノン株式会社 | 画像処理装置及び方法 |
US20140241612A1 (en) * | 2013-02-23 | 2014-08-28 | Microsoft Corporation | Real time stereo matching |
US9259840B1 (en) * | 2013-03-13 | 2016-02-16 | Hrl Laboratories, Llc | Device and method to localize and control a tool tip with a robot arm |
US9380286B2 (en) * | 2013-04-19 | 2016-06-28 | Adobe Systems Incorporated | Stereoscopic target region filling |
US9350969B2 (en) | 2013-04-19 | 2016-05-24 | Adobe Systems Incorporated | Target region filling involving source regions, depth information, or occlusions |
CN104112268A (zh) * | 2013-04-22 | 2014-10-22 | 株式会社理光 | 稀疏视差图像处理方法和装置以及物体检测方法和装置 |
IN2013CH05313A (ko) * | 2013-11-18 | 2015-05-29 | Nokia Corp | |
US9519956B2 (en) * | 2014-02-28 | 2016-12-13 | Nokia Technologies Oy | Processing stereo images |
US9390508B2 (en) * | 2014-03-03 | 2016-07-12 | Nokia Technologies Oy | Method, apparatus and computer program product for disparity map estimation of stereo images |
US10699476B2 (en) * | 2015-08-06 | 2020-06-30 | Ams Sensors Singapore Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
EP3185208A1 (en) * | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium |
TWI672938B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 可校正遮蔽區的深度圖產生裝置 |
US11720745B2 (en) * | 2017-06-13 | 2023-08-08 | Microsoft Technology Licensing, Llc | Detecting occlusion of digital ink |
KR20200126129A (ko) * | 2019-04-29 | 2020-11-06 | 엘지이노텍 주식회사 | 카메라 모듈 |
US11847771B2 (en) | 2020-05-01 | 2023-12-19 | Samsung Electronics Co., Ltd. | Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation |
WO2022155950A1 (zh) * | 2021-01-25 | 2022-07-28 | 京东方科技集团股份有限公司 | 虚拟视点合成方法、电子设备和计算机可读介质 |
CN114972450A (zh) * | 2021-02-24 | 2022-08-30 | 嘉楠明芯(北京)科技有限公司 | 图像的立体匹配方法以及装置 |
CN114359209A (zh) * | 2021-12-29 | 2022-04-15 | 浙江大华技术股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07282259A (ja) * | 1994-04-13 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 視差演算装置及び画像合成装置 |
JP2006512833A (ja) * | 2002-12-30 | 2006-04-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 立体画像のためのビデオフィルタ処理 |
KR100745691B1 (ko) * | 2005-12-08 | 2007-08-03 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5909251A (en) * | 1997-04-10 | 1999-06-01 | Cognitech, Inc. | Image frame fusion by velocity estimation using region merging |
JP3732317B2 (ja) * | 1997-09-17 | 2006-01-05 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および方法、並びに伝送媒体 |
US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
US6674887B1 (en) * | 2000-07-24 | 2004-01-06 | Honeywell International Inc. | Apparatus and method for characterizing fiber crimps |
GB0125774D0 (en) * | 2001-10-26 | 2001-12-19 | Cableform Ltd | Method and apparatus for image matching |
US7239399B2 (en) * | 2001-11-13 | 2007-07-03 | Cyberoptics Corporation | Pick and place machine with component placement inspection |
RU2237284C2 (ru) * | 2001-11-27 | 2004-09-27 | Самсунг Электроникс Ко., Лтд. | Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной |
RU2237283C2 (ru) * | 2001-11-27 | 2004-09-27 | Самсунг Электроникс Ко., Лтд. | Устройство и способ представления трехмерного объекта на основе изображений с глубиной |
WO2004039086A2 (en) * | 2002-10-23 | 2004-05-06 | Koninklijke Philips Electronics N.V. | Method for post-processing a 3d digital video signal |
US7512262B2 (en) * | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
JP2007108626A (ja) * | 2005-09-16 | 2007-04-26 | Excellead Technology:Kk | 立体映像生成システム |
US7599547B2 (en) * | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
US8280149B2 (en) * | 2007-09-11 | 2012-10-02 | Motorola Solutions, Inc. | Method and apparatus to facilitate processing a stereoscopic image using first and second images to facilitate computing a depth/disparity image |
US8160391B1 (en) * | 2008-06-04 | 2012-04-17 | Google Inc. | Panoramic image fill |
US8315426B2 (en) * | 2010-03-12 | 2012-11-20 | Mitsubishi Electric Research Laboratories, Inc. | Method for handling pixel occlusions in stereo images using iterative support and decision processes |
JP5889274B2 (ja) * | 2010-04-01 | 2016-03-22 | トムソン ライセンシングThomson Licensing | ディスパリティ値指標 |
US8873835B2 (en) * | 2011-11-30 | 2014-10-28 | Adobe Systems Incorporated | Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods |
-
2008
- 2008-06-24 FR FR0854157A patent/FR2932911A1/fr not_active Withdrawn
-
2009
- 2009-06-22 WO PCT/FR2009/051184 patent/WO2010007285A1/fr active Application Filing
- 2009-06-22 CN CN200980124298.4A patent/CN102077244B/zh active Active
- 2009-06-22 JP JP2011515551A patent/JP5474061B2/ja active Active
- 2009-06-22 KR KR1020117001794A patent/KR101594888B1/ko active IP Right Grant
- 2009-06-22 BR BRPI0914333A patent/BRPI0914333A2/pt not_active IP Right Cessation
- 2009-06-22 US US12/996,787 patent/US8817069B2/en active Active
- 2009-06-22 RU RU2011102402/08A patent/RU2504010C2/ru active
- 2009-06-22 EP EP09797575.9A patent/EP2304686B1/fr active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07282259A (ja) * | 1994-04-13 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 視差演算装置及び画像合成装置 |
JP2006512833A (ja) * | 2002-12-30 | 2006-04-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 立体画像のためのビデオフィルタ処理 |
KR100745691B1 (ko) * | 2005-12-08 | 2007-08-03 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8873834B2 (en) | 2011-07-12 | 2014-10-28 | Samsung Electronics Co., Ltd. | Method and apparatus for processing multi-view image using hole rendering |
US9172947B2 (en) | 2011-07-12 | 2015-10-27 | Samsung Electronics Co., Ltd. | Method and apparatus for processing multi-view image using hole rendering |
KR20130084850A (ko) * | 2012-01-18 | 2013-07-26 | 삼성전자주식회사 | 시차 값을 생성하는 영상 처리 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US20110080464A1 (en) | 2011-04-07 |
BRPI0914333A2 (pt) | 2019-09-24 |
WO2010007285A1 (fr) | 2010-01-21 |
KR101594888B1 (ko) | 2016-02-17 |
JP5474061B2 (ja) | 2014-04-16 |
CN102077244B (zh) | 2014-09-17 |
RU2011102402A (ru) | 2012-07-27 |
FR2932911A1 (fr) | 2009-12-25 |
RU2504010C2 (ru) | 2014-01-10 |
JP2011525769A (ja) | 2011-09-22 |
EP2304686B1 (fr) | 2018-04-18 |
CN102077244A (zh) | 2011-05-25 |
US8817069B2 (en) | 2014-08-26 |
EP2304686A1 (fr) | 2011-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101594888B1 (ko) | 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스 | |
JP7012642B2 (ja) | アーチファクトを意識したビュー合成のための補助データ | |
US8384763B2 (en) | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging | |
Ahn et al. | A novel depth-based virtual view synthesis method for free viewpoint video | |
EP2087466B1 (en) | Generation of depth map for an image | |
Conze et al. | Objective view synthesis quality assessment | |
JP5587894B2 (ja) | 深さマップを生成するための方法及び装置 | |
US7224355B2 (en) | Method for post-processing a 3D digital video signal | |
KR102464523B1 (ko) | 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치 | |
Do et al. | Quality improving techniques for free-viewpoint DIBR | |
JP4796072B2 (ja) | 画像セグメンテーションに基づく画像レンダリング | |
CA2988360A1 (en) | Method and apparatus for determining a depth map for an image | |
WO2020187140A1 (en) | Method and apparatus of patch segmentation for video-based point cloud coding | |
Smirnov et al. | A memory-efficient and time-consistent filtering of depth map sequences | |
Muddala et al. | Edge-preserving depth-image-based rendering method | |
KR101589670B1 (ko) | 깊이맵을 이용하여 2차원 동영상으로부터 3차원 동영상을 생성하는 방법 | |
e Alves et al. | Enhanced motion cues for automatic depth extraction for 2D-to-3D video conversion | |
Li et al. | Robust disparity estimation on sparse sampled light field images | |
Liu et al. | Robust temporal depth enhancement method for dynamic virtual view synthesis | |
Huo et al. | Viewpoint interpolation using depth information to enhance DIBR for free viewpoint video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |