KR101594888B1 - 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스 - Google Patents

적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR101594888B1
KR101594888B1 KR1020117001794A KR20117001794A KR101594888B1 KR 101594888 B1 KR101594888 B1 KR 101594888B1 KR 1020117001794 A KR1020117001794 A KR 1020117001794A KR 20117001794 A KR20117001794 A KR 20117001794A KR 101594888 B1 KR101594888 B1 KR 101594888B1
Authority
KR
South Korea
Prior art keywords
pixel
map
depth
pixels
disparity
Prior art date
Application number
KR1020117001794A
Other languages
English (en)
Other versions
KR20110036591A (ko
Inventor
데이비드 알레산드리니
라파엘레 발터
스테파니 파토익스
Original Assignee
오렌지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오렌지 filed Critical 오렌지
Publication of KR20110036591A publication Critical patent/KR20110036591A/ko
Application granted granted Critical
Publication of KR101594888B1 publication Critical patent/KR101594888B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 적어도 두 개의 이미지들로부터 평가되고 한 세트의 라인들 및 열들을 형성하는 픽셀들의 매트릭스로 이루어진 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우는 방법에 관한 것이고, 맵의 각각의 픽셀은 깊이 또는 디스페리티 값(픽셀 값)과 연관되고 엄폐된 영역의 임의의 픽셀(무효 픽셀)은 무효인 것으로 식별할 수 있는 픽셀 값과 연관된다. 이 방법은 미리 정의된 방향으로 픽셀 단위로 맵의 각각의 라인을 프로세싱하는 단계(E1, E2, E10) 및 만약 있다면 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P1) 주변의 미리 정의된 근접도 내의 픽셀들과 연관된 값들 및 만약 있다면 현재 라인 상의 무효 픽셀(Pi)에 선행하는 최종 무효 픽셀(P0)의 값(V(P0))에 비해 보다 큰 깊이 또는 보다 작은 디스페리티에 대응하는 값(V(P1))의 함수로서 결정된 값을 현재 라인 상에서 조우되는(E4-E9) 각각의 무효 픽셀(Pi)에 할당하는 단계(E3)를 포함한다.

Description

적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스{METHOD AND DEVICE FOR FILLING IN THE ZONES OF OCCULTATION OF A MAP OF DEPTH OR OF DISPARITIES ESTIMATED ON THE BASIS OF AT LEAST TWO IMAGES}
본 발명은 디지털 이미지들을 프로세싱하는 것에 관한 것이고 더욱 상세하게는 적어도 두 개의 이미지들로부터 평가된 깊이 맵 또는 디스페리티 맵(disparity map) 내 엄폐된(occluded) 영역들을 채우기(filling) 위한 기술에 관한 것이다.
깊이 맵들 또는 디스페리티 맵들로서 알려진 맵들은 통상적으로 릴리프(relief) 디스플레이, 3 차원 장면들의 재구성, 및 비디오 이미지들의 가상 네비게이션 같은 3-차원 비디오(3D 비디오) 애플리케이션들에 사용된다. 이들 맵들은 다수의 비디오 카메라들에 의해 캡쳐된 스테레오스코픽(stereoscopic) 비디오들 또는 멀티뷰(multiview) 비디오들로부터 나오거나 동일한 비디오에서 상이한 시간들에 대응하는 동일한 장면의 적어도 두 개의 이미지들로부터의 평가 프로세스에 의해 얻어진다.
두 개의 접근법들은 일반적으로 스테레오스코픽 콘텐츠를 전송하는 특정 상황에서 사용된다. 제 1 접근법은 사람 시각 시스템을 재현하기 위하여 배치된 한 쌍의 통상적인 비디오 카메라들을 사용하고, 각각의 카메라는 하나의 눈에 대응한다. 캡쳐된 두 개의 모노스코픽(monoscopic) 비디오 시퀀스들은 사용자에게 전송된다. 다른 접근법은 각각의 픽셀과 연관된 깊이 정보에 의해 수반된 단지 하나의 모노스코픽 컬러 비디오 시퀀스만을 전송한다. 이런 상황에서, 하나 이상의 가상 뷰들은 사용자 말단(end)에서 깊이 맵들을 기초로 하는 알고리즘들을 렌더링함으로써 합성될 수 있다. 이런 깊이 맵 접근법은 전송에 사용된 총 대역폭을 감소시키는 특정 장점을 가지며 데이터 압축을 갖는 비디오 코딩에 직접 적용할 수 있다.
통상적으로 깊이 맵들 및 디스페리티 맵들 이라 지칭되는 것을 정의하고, 그리고 설명을 간략화하기 위하여, 뷰의 두 개의 상이한 포인트들로부터 동일한 장면의 두 개의 이미지들이 예를 들어 비디오 카메라에 의해 형성되는 쌍안(binocular) 입체 시각의 특정 상황을 고려하자. 두 개의 이미지들은 통상적으로 우측 이미지 및 좌측 이미지로서 지칭된다. 이런 상황에서, 주어진 이미지(예를 들어 우측 이미지 또는 좌측 이미지)에 대응하는 깊이 맵은 디지털 이미지이고 상기 디지털 이미지의 각각의 픽셀은 카메라로부터 연관된 픽셀의 거리 특성인 컬러(예를 들어 회색 음영)를 나타내는 값과 연관된다.
도 1은 장면을 촬영한 카메라에 관련하여 이미지에서 나타나는 물체들의 거리가 가장 가까운 물체들에 대한 흰색으로부터 가장 먼 물체들에 대한 검정색까지 회색 레벨에 의해 표현되는 깊이 맵을 도시한다. 따라서 이 예에서 보다 밝은 음영인 테이블 및 꽃들을 포함하는 꽃병은 상기 장면의 가장 가까운 물체들(최전면(foreground))이고 표현된 스크린은 가장 먼 물체(최후면(background))인 것으로 나타난다.
도 2a 및 도 2b는 깊이 맵이 평가될 수 있는 입체 이미지들의 쌍을 나타낸다. 도 2a는 좌측 이미지를 나타내고 도 2b는 우측 이미지를 나타낸다.
디스페리티 맵은 상기된 두 개의 이미지들의 스테레오스코픽 매칭의 결과를 구현한다. 스테레오스코픽 매칭은 동일한 좌측 및 우측 이미지들 픽셀들, 즉 장면 내 동일한 엔티티의 투영인 픽셀들을 발견하는 것으로 이루어진다. 디스페리티 맵은 이런 매칭의 결과들을 시각적으로 표현하는 하나의 방식이다: 디스페리티 맵의 각각의 픽셀은 디스페리티의 크기, 즉 좌측 이미지의 픽셀의 위치 및 우측 이미지의 대응하는 픽셀의 위치 사이의 거리를 나타낸다. 따라서 디스페리티 맵의 각각의 픽셀은 디스페리티 크기의 컬러 특성을 나타내는 값과 연관된다. 통상적인 프로세스는 다시 회색 음영들을 사용한다: 예를 들어, 보다 어두운 픽셀, 보다 작은 디스페리티, 여기서 완전한 백색 픽셀들은 두 개의 이미지들 하나에서 대응물들이 없는 픽셀들을 나타낸다.
이미지의 주어진 픽셀과 연관된 깊이 값이 높을수록, 대응하는 디스페리티 값이 작아지는 것을 증명하는 것은 쉽다. 따라서 깊이 및 디스페리티는 두 개의 반비례하는 크기들이고, 본 발명은 똑같이 깊이 맵 또는 디스페리티 맵에 적용될 수 있다. 상세한 설명의 나머지에서, 깊이 맵들 및 디스페리티 맵들은 상호 교환하여 지칭되고 용어 맵은 이들 맵들 중 어느 하나를 지칭한다.
깊이 맵 또는 디스페리티 맵들의 사용은 비디오의 가상 네비게이션, 릴리프 디스플레이, 3D 모델링, 및 비디오 코딩 같은 최신 기술들의 환경에서 가장 중요하다. 상이한 뷰들로부터의 예측에 의해 얻어진 깊이 맵들은 또한 깊이 맵들을 사용하여 뷰들을 예측함으로써 압축을 수행하는 압축 애플리케이션들에 사용될 수 있다. 이런 타입의 접근법에서, 깊이 맵들은 리던던트 정보의 전송을 제한하기 위하여 동일한 장면의 다른 비디오들 내 대응하는 뷰들을 예측하기 위하여 사용되고, 특히 MVD(멀티뷰 비디오 및 깊이) 데이터는 다수의 비디오들 및 연관된 깊이 맵들로 이루어진다. 최종 애플리케이션이 무엇이든, 이들 맵들의 정확성은 재구성된 뷰들의 품질 및 코딩 애플리케이션들의 효율적인 비디오 압축에 결정적이다.
특히, 깊이/디스페리티 맵의 품질은 연관된 맵 내의 엄폐된 영역들의 존재와 관련된다. 엄폐된 영역들은 픽셀들이 이미지들의 하나에서 대응물을 가지지 않고 하나의 이미지에서만 볼 수 있는 부분을 갖는 맵의 영역들이다. 이들 엄폐된 영역들은 본래 엄폐하는 물체들, 즉 두 개의 이미지들(우측 및 좌측) 중 하나에서 다른 이미지에서 직접 볼 수 있는 표현된 장면의 특정 구역을 차폐하는 물체들을 지칭하는 장면 내 물체들에 의해 유발된다. 엄폐된 영역들은 본래 맵들의 깊이 불연속에 의해 유발된 경계들 주변에서 발견된다.
도 3은 그래프 컷(graph cut)들을 기초로 하는 공지된 알고리즘을 사용하여 평가된 디스페리티 맵의 에를 나타낸다. 보다 정확히 말하면, 사용된 알고리즘은 예를 들어 2002년 컴퓨터 비젼에 대한 유럽 회의 진행사항들(Proceedings of the European Conference on Computer Vision)에서 V.Kolmogorov 및 R.Zabih에 의한 문서 "Multi-camera scene reconstruction via graph cuts"에 기술된다.
표현된 이미지에서, 백색 영역들은 상기된 그래프 컷들 알고리즘에 의해 검출된 엄폐된 영역들이고 이 때문에 각각 도 2a 및 도 2b에 의해 표현된 좌측 및 우측 이미지들의 대응물들의 결핍으로 인해 픽셀 값을 결정하는 것은 가능하지 않았다.
그러므로 이들 맵들을 기초로 재구성 또는 합성 프로세스에 의해 얻어진 이미지들의 품질을 향상시키기 위하여 깊이 맵 또는 디스페리티 맵들의 이들 엄폐된 영역들을 고려하는 것이 필요하다. 특히 손실 정보에 대응하는 엄폐된 영역들의 갭들을 검출 및/또는 채우는 것이 문제이다.
상기된 깊이 맵 또는 디스페리티 맵 결함들을 프로세싱하기 위한 공지된 기술들은 특히 깊이 맵 또는 디스페리티 맵들로부터 재구성된 이미지들 상에서 동작하는 기술들의 제 1 카테고리를 포함한다.
이런 제 1 카테고리의 해결책들은 예를 들어 2006년 SPIE 3-차원 TV, 비디오, 및 디스플레이 Vol. 6392, PP. 0D1-0D12 행사들에서의 C. Vazquez, W.J. Tam, 및 F. Speranza"에 의한 문서 "Stereoscopic imaging: Filling disoccluded areas in image-based rendering"에 기술된다. 그들 해결책들에 따라, 재구성된 이미지들 내 갭들은 그들의 근접도(vincinity)들로부터 얻어진 값을 전파함으로써 채워진다. 그러나, 깊이 맵 또는 디스페리티 맵들로부터 재구성된 이미지들 상에서 동작하는 이런 카테고리의 기술들은 적어도 깊이 맵들의 특정 피쳐(feature)들을 거의 이용하지 않는 단점을 가진다. 그들 맵들은 텍스츄어 디테일(texture detail)들의 부재 및 물체들의 상대적 위치들의 깊이에 대한 영향력 같은 텍스츄어된 2-차원(2D) 이미지들과 상이한 피쳐들을 가진 데이터를 나타낸다.
공지된 기술들의 제 2 카테고리는 깊이 맵 또는 디스페리티 맵들 상에 직접 작용한다. 예를 들어, 2004년 2월 Proc. 12th International Conference Computer Graphics, Visualization and Computer Vision, Pizen, Czech Republic에서의 J. Yin 및 J.R. Cooperstock에 의한 문서: "Improving depth maps by nonlinear diffusion"는 엄폐된 영역들 및 텍스츄어가 없는 영역들을 강화시키기 위하여 깊이 맵에 적용할 수 있는 사후-프로세싱을 기술한다. 그 사후-프로세싱은 비-선형 확산, 즉 에지 검출과 결합된 가우스 평활화(smoothing)를 기초로 한다.
2006년 6월 27th Symposium on Information Theory in The Benelux, Vol. 1p에서의 Yannick Morvan, Dirk Farin, 및 Peter H.N. de에 의한 문서 "Design Considerations for View Interpolation in a 3D Video Coding Framework"에 기술된 다른 기술은 엄폐된 픽셀에 가장 가까운 두 개의 유효 픽셀들의 깊이 값들을 비교함으로써 백그라운드를 전파한다.
도 4a 및 도 4b는 도 3으로부터의 디스페리티 맵의 디테일 및 그래프 컷들을 기초로 공지된 기술을 사용하여 엄폐된 영역들을 채운 후 동일한 디테일을 각각 나타낸다. 따라서 도 4b에 표현된 이미지는 라인 단위로 이미지를 취하고 현재 라인(라인을 따르는 방향은 깊이 맵이 연관된 이미지의 함수임) 상의 무효 픽셀 다음 제 1 유효(비-엄폐됨) 픽셀을 가진 엄폐된 영역의 무효 픽셀을 채우는 알고리즘을 사용하여 엄폐된 영역들을 채운 후의 도 3으로부터의 디스페리티 맵의 동일한 디테일을 도시한다. 그런 채움 알고리즘은 예를 들어 2004년 3월 영국 런던의 Abhijit Ogale, Cornelia Fermuller, 및 Yiannis Aloimonos, SpatioTemporal Image Processing에서의 문서 "Occlusions in motion processing"에 기술된다.
채운 후 얻어진 도 4b 이미지에서, 사람의 좌측, 특히 그들의 우측 주변에 보이는 백색 영역들은 엄폐된 영역들을 채울 때 형성된 에러들에 해당한다. 이들 에러들은 값이 에러에 할당되었고 그러므로 채움 프로세스를 붕괴하는 엄폐된 영역의 픽셀들에 의해, 또는 예를 들어 이미지 내에 표현된 사람의 우측 주변과 같이 디테일의 손실을 유발하는, 채우는 동안 올바르지 않은 값들의 전파에 의해 주로 유발된다.
따라서 깊이 맵 또는 디스페리티 맵들 상에 직접 작용하는 기술들은 엄폐된 영역들에서의 에러들 또는 인공물들을 관리하지 않고 및/또는 적용된 프로세싱으로 인해, 특히 표현된 물체들의 에지들에서 불선명한 외관을 생성하는 단점들을 가진다. 게다가, 무효 픽셀에 인접한 제 1 유효 픽셀들의 값들만을 비교함으로써, 백그라운드의 전파는 특히 오목한 물체들에서 신뢰할 수 없다.
결과적으로, 상기 기술들은 엄폐된 영역들의 존재가 재구성된 이미지들에서 그리고 디스플레이 동안 깊이/디스페리티 맵들로부터 예측된 이미지들을 사용하는 릴리프에서 불일치를 유발하기 때문에, 이들 맵들의 결함들로부터 발생하는 깊이 맵 또는 디스페리티 맵들 및 인공물들의 결함들, 올바르지 않은 값들의 전파, 및 디테일의 손실을 부분적으로만 프로세싱한다.
그러므로, 특히 물체들의 윤곽부들 주위에서 정확도와 관련하여 디스페리티 및 깊이 맵들의 품질을 개선하는 것이 실제 필요하다.
특히 상기된 필요에 응답하여, 본 발명의 제 1 양상은 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우는 방법을 제공한다.
이런 방법에서 맵은 적어도 두 개의 이미지들로부터 평가되고 라인들 및 열(column)들의 세트를 형성하는 픽셀들의 매트릭스로 이루어지며, 맵의 각각의 픽셀은 "픽셀 값" 이라 지칭되는 깊이 또는 디스페리티 값 및 "무효 픽셀" 이라 지칭되고, 무효인 것으로서 식별할 수 있는 픽셀 값과 연관된 엄폐된 영역의 임의의 픽셀과 연관된다.
본 발명에 따라 방법은:
미리 정의된 방향으로 픽셀 단위로 맵의 각각의 라인을 프로세싱하는 단계; 및
현재 라인 상에서 조우되는 각각의 무효 픽셀(Pi)에 값을 할당하는 단계 ―상기 값은 만약 있다면 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 값(P1) 주변의 미리 정의된 근접도 내의 픽셀들과 연관된 값들 및 만약 있다면 현재 라인 상에서 무효 픽셀(Pi)을 선행하는 최종 유효 픽셀(P0)의 값(V(P0))에 관련하여 보다 큰 깊이 또는 보다 작은 디스페리티에 대응하는 값(V(P1))의 함수로서 결정됨 ―를 포함한다.
상기 설명된 바와 같이 얻어진 값을 무효 픽셀들에 할당함으로써 얻어진 엄폐된 영역들의 그런 채움은 백그라운드(즉, 가장 큰 깊이 값들 또는 가장 작은 디스페리티 값들) 및 상기 백그라운드만을 전파시키는 것을 가능하게 하는데, 그 이유는 엄폐하는 물체에 의해 유발된 엄폐된 영역들이 엄폐하는 물체 뒤쪽에 배치되고 미리 정의된 방향으로 라인들을 프로세싱할 때 고려되는 물체들의 동일한 측면 상에 항상 배치되기 때문이다. 엄폐된 영역 이전 라인으로부터의 최종 값보다 훨씬 높을(낮을) 무효 픽셀에 할당된 깊이(디스페리티) 값을 강제함으로써, 갭들을 채우기 위하여 사용된 값이 백그라운드에 대응하는 것이 확실하다. 본 발명의 방법에 의해 갭들을 채우는 것은 백그라운드보다 오히려 물체의 픽셀들이 전파되는 것을 방지하고, 적당한 경우 특히 오목 물체들로 인해 주로 발생하는 바와 같이, 이미지 부분들이 존재하지 않을 때 이미지 부분들이 결합(tie)되는 것을 방지하는 것을 가능하게 한다. 그러므로 특히 동일한 오목 물체, 예를 들어 사람 내의 디테일들을 유지, 특히 팔들 및 손들 사이의 구별을 유지하는 것이 가능해진다.
본 발명의 방법의 바람직한 특징들에 따라:
유효 픽셀(P0)이 존재하지만 유효 픽셀(P1)이 존재하지 않으면, 픽셀 값은 무효 픽셀(Pi)에 할당되고 이 픽셀 값은 존재한다면 현재 라인 상의 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2) 주변에서 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되고;
유효 픽셀(P2)이 존재하지 않으면, 픽셀 값은 무효 픽셀(Pi)에 할당되고 이 픽셀 값은 픽셀(P0) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되고;
유효 픽셀(P0)이 존재하지 않으면, 픽셀 값은 무효 픽셀(Pi)에 할당되고 이 픽셀 값은 존재한다면 현재 라인 상의 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되고; 그렇지 않고 유효 픽셀(P2)이 존재하지 않으면, 디폴트 값(Vd)이 무효 픽셀(Pi)에 할당된다.
본 발명의 바람직한 구현에서, 무효 픽셀(Pi)에 할당된 픽셀 값은 관련된 근접도 내의 픽셀들의 값들에 메디안(medain) 또는 평균 산술 함수의 적용에 의해 관련된 픽셀의 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정된다.
실제로 픽셀 주변 근접도는 관련된 픽셀 상에 중심을 둔 유효 픽셀들의 블록으로 이루어진다.
깊이 맵 또는 디스페리티 맵이 우측 및 좌측 이미지들의 쌍으로부터 얻어지는 하나의 특정 애플리케이션에서, 맵의 픽셀들의 행(row)을 프로세싱하는 미리 정의된 방향은 맵이 좌측 이미지로부터 평가되면 우측으로부터 좌측으로의 방향에 대응하고 맵이 우측 이미지로부터 평가되면 좌측으로부터 우측으로의 방향에 대응한다.
엄폐된 영역들은 하나의 카메라로부터 다른 카메라로 진행할 때 커버되지 않은 영역들이고, 그러므로 평행(parallel) 또는 수정된 이미지들(즉, 커버링 카메라들을 사용한 이미지 캡쳐에 대응하지만, 여기서 두 개의 이미지들의 에피폴라(epipolar) 라인들이 정렬됨)에 대한 우측(각각 좌측) 이미지에 대한 물체들의 좌측(각각 우측)에 본래 위치된다.
본 발명은 또한 상기 짧게 정의된 바와 같은 채움 방법에 의해 맵의 엄폐된 영역들을 채우는 단계를 포함하는 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법을 제공한다.
본 발명의 디지털 프로세싱 방법의 특정 특징들에 따라, 엄폐된 영역들을 채우는 동작은:
맵의 엄폐된 영역들에서의 평가 에러들을 제거하기 위한 클로저(closure) 형태학 필터링의 동작; 및/또는
미리 정의된 크기의 블록당 분석된 픽셀들의 값들의 맵 메디안 필터링 전체에 걸쳐 사용하는 맵의 국부적 단일화(local uniformization)의 동작 뒤에 올 수 있다.
상관된 방식으로, 본 발명은 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스를 제공하고, 이 디바이스는 상기 간결하게 정의된 바와 같이 본 발명의 채움 방법을 사용하도록 적응된 맵의 엄폐된 영역들을 채우기 위한 모듈을 포함한다는 점에서 주목할 만 하다.
본 발명은 프로그램이 컴퓨터 시스템에서 실행될 때 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 방법을 실행하기 위한 명령들을 포함한다는 점에서 주목할 만한 디지털 이미지 프로세싱 컴퓨터 프로그램을 더 제공한다. 여기서 표현 컴퓨터 시스템은 디지털 데이터를 프로세싱하도록 적응된 임의의 프로세서-기반 디바이스를 의미한다.
본 발명의 컴퓨터 프로그램 및 디지털 프로세싱 디바이스에 의해 획득된 장점들은 본 발명의 채우는 방법 또는 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 방법에 관련하여 특히 상기된 것을 포함한다.
본 발명은 예에 의해서만 그리고 도면들을 참조하여 제공된 다음 상세한 설명을 읽고 보다 잘 이해될 수 있다.
도 1은 이미 위에서 언급된 깊이 맵의 일 예를 나타낸다.
도 2a 및 도 2b는 이미 언급된 깊이 맵이 평가될 수 있는 스테레오스코픽 이미지들의 쌍을 나타낸다.
도 3은 이미 언급된 그래픽 컷들을 기초로 하는 공지된 알고리즘을 사용하여 평가된 디스페리티 맵의 하나의 예를 나타낸다.
도 4a 및 도 4b는 이미 언급된 도 3의 디스페리티 맵으로부터의 디테일 및 종래 기술을 사용하여 엄폐된 영역들을 채운 후 동일한 디테일을 각각 나타낸다.
도 5a 및 도 5b는 깊이 맵 또는 디스페리티 맵 내 엄폐된 영역들을 채우는 본 발명의 방법의 메인 단계들의 흐름도를 나타낸다.
도 6은 채움 동작이 맵 평가 에러들의 평가 동작 및 맵의 로컬 단일화 동작 뒤에 오는 본 발명의 하나의 구현에서 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 방법 및 디바이스를 도시한다.
도 7a 및 도 7b는 형태학 필터의 적용 전(도 7a) 및 형태학 필터의 적용 후(도 7b) 도 4a에 표현된 맵의 동일한 디테일을 각각 나타낸다.
도 8a 및 도 8b는 형태학 필터의 적용 후 얻어진 디스페리티 맵에 로컬 단일화 필터를 적용한 결과를 도시하고, 도 8a 및 도 8b는 로컬 단일화 필터의 적용 전 및 적용 후 맵을 각각 도시한다.
도 9는 엄폐된 영역들을 채우기 위한 본 발명에 따른 프로세싱 후 도 8b로부터의 디스페리티 맵을 도시한다.
도 5a 및 도 5b는 깊이 맵 또는 디스페리티 맵 내의 엄폐된 영역들을 채우기 위한 본 발명의 메인 방법 단계들의 흐름도를 나타낸다. 상기된 바와 같이, 본 발명은 이들 맵들이 반비례하는 데이터에 대응하기 때문에 깊이 맵 또는 디스페리티 맵과 상호교환하여 적용한다.
본 발명의 방법은 적어도 두 개의 이미지들, 예를 들어 우측 이미지 및 좌측 이미지로부터 평가되거나, 예를 들어 압축 알고리즘을 기초로 상이한 뷰들로부터의 예측 시처럼 다른 뷰로부터의 예측에 의해 얻어진 깊이 맵 또는 디스페리티 맵에 적용된다.
본 맵은 통상적으로 라인들 및 열들의 세트를 형성하는 픽셀들의 매트릭스로 이루어진다. 맵의 각각의 픽셀은 픽셀 값이라 지칭되는 깊이 또는 디스페리티 값과 연관된다. 이 값은 8 개의 비트들 상에서 코딩된 이진 값이고 통상적으로 0 내지 255를 포함하는 십진 값들을 취할 수 있다. 이런 값들의 범위 내에서, 일부는 유효 깊이/디스페리티 값들이고 특정 값은 무효 값이다. 따라서 엄폐된 영역들을 나타내기 위해 선택된 컬러가 백색이면, 연관된 깊이/디스페리티 값은 통상적으로 십진 값 255이다. 따라서 맵의 엄폐된 영역에 대응하는 픽셀은 연관된 픽셀 값으로부터 무효한 것으로 식별할 수 있다.
실제로, 깊이/디스페리티 맵의 엄폐된 영역들을 채우기 위한 본 발명의 방법은 데이터 프로세싱 시스템에서 실행된 컴퓨터 프로그램에 의해 구현되고, 프로세싱될 맵은 데이터 프로세싱 시스템에 미리 저장된다. 본 발명의 방법은 라인 단위 및 각각의 라인에 대해 픽셀 단위 깊이/디스페리티 맵(이하 맵이라 지칭됨)을 고려한다. 맵의 각각의 라인은 미리 정의된 방향으로 픽셀 단위로 프로세싱된다.
따라서, 실제로, 만약 맵이 우측 및 좌측 이미지들을 포함하는 이미지들의 쌍으로부터 얻어졌다면, 맵이 좌측 이미지로부터 평가된 경우 맵의 픽셀들의 라인이 프로세싱되는 방향은 우측으로부터 좌측으로의 방향에 대응한다. 대조하여, 맵이 우측 이미지로부터 평가되었다면, 맵의 픽셀들의 라인이 프로세싱되는 방향은 좌측으로부터 우측이다.
도 5a에 도시된 바와 같이, 깊이/디스페리티 맵의 엄폐된 영역들을 채우기 위한 본 발명의 방법은 현재 라인이라 지칭되는 맵의 라인을 선택하는 단계(E1), 및 현재 픽셀(Pc) 이라 지칭되는 선택된 라인으로부터 픽셀을 선택하는 단계(E2)에서 시작한다.
테스트 방법(E3)은 연관된 픽셀 값이 무효 값에 대응하는지 아닌지 여부(예를 들어 값 255가 백색에 대응함)에 따라 현재 픽셀(Pc)이 무효 픽셀인지 아닌지 여부를 결정한다. 결과적으로, 현재 픽셀이 유효하면(테스트 E3, '0'), 현재 픽셀은 엄폐된 영역에 속하지 않고 테스트 단계(E10)는 현재 라인의 프로세싱이 완료되었는지 여부 및 맵이 완전히 프로세싱된 경우인지를 결정하도록 실행된다.
따라서 단계(E10)에서 현재 라인을 프로세싱하는 것이 완료되지 않았다는(E10, '00') 것이 결정되면, 현재 라인의 다음 픽셀을 선택하기 위하여 단계(E2)로 되돌아 간다. 만약 현재 라인 모두가 프로세싱되었지만 맵의 모든 라인들이 프로세싱되지 않았다면(E10, '10'), 맵으로부터 다른 라인, 예를 들어 프로세싱된 라인 바로 아래 라인을 선택하도록 단계(E1)로 되돌아 간다. 최종적으로, 맵의 모든 라인들이 프로세싱되었다면, 맵의 프로세싱은 완료되었다(E10, '11').
만약 현재 픽셀(Pc)이 단계(E3)에서 무효인 것으로 결정되면(Pc=Pi; E3, '1'), 검색(단계 E4)은 라인 상의 무효 픽셀(Pi)에 앞서는 최종 유효 픽셀(P0로 표시됨)에 대해 수행된다. 실제로, 맵의 임의의 라인을 프로세싱할 때, 정보는 검사된 각각의 픽셀들에 관련하여 저장되고(위치, 유효성, 연관된 값, 등등), 이것은 추후 이미 검사된 픽셀에 관한 정보를 매우 빠르게 얻게 한다.
그런 픽셀(P0)이 존재하면(E5, '1'), 검색은 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P1)에 대해 미리 정의된 방향으로 현재 라인을 프로세싱하고 그리고 연관된 픽셀 값(V(P1))이 픽셀(P0)의 값(V(P0))보다 큰 깊이(또는 디스페리티 맵을 프로세싱한다면 보다 낮은 디스페리티)에 대응하도록 함으로써 수행된다(단계 E6). 픽셀(P0)에 관련하여 보다 큰 깊이에 대응하는 것으로 검색된 픽셀(P1)은 도 5에서 부등 조건(V(P1)>V(P0))에 의해 표현된다.
실제로, 관련된 무효 픽셀(Pi) 뒤에 위치한 유효 픽셀 검색은 본 발명의 방법의 사용자가 변형할 수 있는 다수의 픽셀들, 예를 들어 50 개의 픽셀들에 의해 정의된 고정된 범위 내에서 이루어진다.
그런 픽셀(P1)이 존재하면(단계E7, '1'), 단계(E8)에서 픽셀(P1) 주변 픽셀들의 근접도(N1)가 결정되고, 그 후 단계(E9)에서 무효 픽셀(Pi)에 할당될 Vcal(Pi)로 기재된 깊이(또는 디스페리티) 값이 계산된다.
본 발명에 따라, 깊이 값(Vcal(Pi))은 픽셀(P1) 주변 픽셀들의 근접도(N1) 내에 있는 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 정의되고, 단계(E8)에서 표현 "Ncal = N1"은 깊이 값(Vcal(Pi))을 계산하는 것에 픽셀들의 근접도(N1)의 할당을 부호적으로 표현한다.
실제로, 픽셀 주변에서 결정된 근접도는 그 픽셀에 중심을 둔 픽셀들의 블록으로 이루어지고, 예를 들어 하나의 블록은 5 개의 유효 픽셀들로 이루어진다.
본 발명의 바람직한 구현에서, 관련된 무효 픽셀(Pi)에 할당될 값(Vcal(Pi))은 관련된 픽셀 근접도에 속하는 픽셀들의 값들의 산술적 메디안을 계산함으로써 결정된다. 대안적으로, 산술적 평균은 산술적 메디안 대신 사용될 수 있다. 따라서 픽셀(p1) 주변 픽셀들의 근접도(N1)에 대해, 근접도(N1)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 메디안은 계산된다.
단계(E7)로 되돌아가, 무효 픽셀(Pi)을 뒤따르고 맵의 현재 라인 내 픽셀(P0)에 관련하여 보다 큰 깊이에 대응하는 유효 픽셀(P1)이 없다면(단계 E7, '0'), 적용된 프로세싱은 경우 2로 표시되고, 도 5b에 도시된 것이다. 이런 상황에서, 검색은 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2)에 대해 수행된다(단계 E21). 만약 그런 픽셀(P2)이 있다면(E22, '1'), 픽셀(P2) 주변 픽셀들의 근접도(N2)는 상기 설명된 바와 같이 결정되고(단계 E23), 뒤이어 단계(E9)로 되돌아간다(도 5a)(도 5b의 단계 E25를 통해). 단계(E9)("Val_Pi"로 표시됨)에서, Vcal(Pi)로 표시되고 무효 픽셀(Pi)에 할당될 깊이 또는 디스페리티 값은 픽셀(P2) 주변 픽셀들의 근접도(N2) 내의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 계산된다. 실제로, 근접도(N2)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 산술 메디안은 계산된다.
반대로, 만약 그런 픽셀(P2)이 없다면(단계 E22, '0'), 미리 결정된 픽셀(P0)(단계 E4)은 사용되고 따라서 픽셀(P0) 주변의 N0로 표시된 픽셀 근접도는 상기 설명된 바와 같이 결정된다(단계 E24). 그 다음 도 5a의 단계(E9)로 되돌아간다(도 5b 단계 E25를 통해). 단계(E9)에서, 무효 픽셀(Pi)에 할당될 깊이(또는 디스페리티) 값(Vcal(Pi))은 픽셀(P0) 주변 픽셀들의 근접도(N0) 내의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 계산된다. 실제로, 근접도(N0)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 산술 메디안은 계산된다.
마지막으로, 도 5a 단계 E5에서, 현재 라인 상에서 무효 픽셀(Pi)에 선행하는 유효 픽셀(P0)이 없다면(E5, '0'), 도 5b에 도시된 경우 1로 표시된 프로세싱이 적용된다. 이런 상황에서, 검색은 현재 라인 상에서 무효 픽셀(Pi)을 뒤따르는 제 1 유효 픽셀(P2)에 대해 수행된다(단계 E11). 그런 픽셀(P2)(E12, '1')이 존재하면, 픽셀(P2) 주변 픽셀들의 근접도(N2)는 이전에 설명된 바와 같이 결정되고(단계 E13), 그 다음 도 5a 단계 E9로 되돌아간다(도 5b 단계 E16을 통해). 단계(E9)에서, Vcal(Pi)라 표시되고, 무효 픽셀(Pi)에 할당될 깊이(또는 디스페리티) 값은 픽셀(P2) 주변 픽셀들의 근접도(N2) 내 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 함수로서 계산된다. 실제로, 근접도(N2)의 픽셀들과 연관된 깊이(또는 디스페리티) 값들의 산술 메디안은 계산된다.
대조하여, 그런 픽셀(P2)이 없다면(단계 E12, '0'), 픽셀(Pi)은 Val_def로 표시된 디폴트 값이 할당된다(단계 E14). 이 다음 상기된 도 5a 검사 E10로 되돌아간다(단계 E15).
실제로, 무효 픽셀(Pi)에 할당된 디폴트 값(Val_def)은 예를 들어 평균 깊이(또는 디스페리티)에 대응하는 128과 동일하게 된다.
도 6은 채움 동작이 맵 평가 에러들을 평가하고 국부적으로 균일한 맵을 형성하는 동작들 뒤에 오는 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 하나의 구현 방법 및 디바이스를 도시한다.
도 6에 나타난 바와 같이, 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 디바이스는 맵의 엄폐된 영역들을 채우기 위한 모듈(63)을 포함하고 하기되는 각각의 함수들의 두 개의 부가적인 모듈들(61 및 62) 중 하나 또는 둘 다를 더 포함할 수 있다. 마지막으로, 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 디바이스는 또한 다수의 이미지들로부터 깊이 맵 또는 디스페리티 맵을 평가하기 위한 모듈(60)을 포함할 수 있다.
하나의 바람직한 구현에서 이들 모듈들은 실제로 깊이/디스페리티 맵을 디지털적으로 프로세싱하기 위한 본 발명의 방법을 실행하도록 적응된 명령들을 포함하는 컴퓨터 프로그램들의 세트로 이루어진다.
도 6에 나타난 실시예에서, 동일한 장면의 두 개의(우측 및 좌측) 이미지들(Im)은 A로 표시된 두 개의 이미지들(Im)로부터의 디스페리티 맵을 평가하는 동작을 실행하기 위하여 소프트웨어 모듈(60)에 공급된다. 예를 들어, 모듈(60)은 상기 참조되고 2002년 컴퓨터 비젼에 대한 유럽 회의 행사에서 V. Kolmogorov 및 R.Zabih에 의한 문서 "Multi-camera scene reconstruction via graph cuts"에 기술된 그래프 컷들을 기초로 하는 알고리즘을 사용할 수 있다. 도 3에 나타난 바와 같이, 모듈(60)은 결과적으로 상기 모듈(60)의 출력부에서 디스페리티 맵(Cin)을 전달한다.
도시 및 기술된 실시예에서, 디스페리티 맵(Cin)은 입력 이미지들(Im)에 관련하여 디스페리티(또는 깊이) 맵을 평가하면서 모듈(60)에 의해 형성된 평가 에러들(아웃라이어들(outliers))을 제거하기 위한 모듈(61)에 의해 시작된다. 이들 에러들은 본래 디스페리티 맵 내의 엄폐된 영역들에 의해 유발된다. 일 실시예에서, 모듈(61)은 공지된 클로저 형태학 필터를 디스페리티 평가 알고리즘에 의해 채워지지 않은 엄폐된 영역들 내의 디스페리티 맵에만 적용한다. 도 4a 및 4b에 도시된 바와 같이, 이런 필터링은 상기 아웃라이어들이 엄폐된 영역들의 채움을 방해하지 않도록 엄폐된 영역들 내 아웃라이어들을 제거할 수 있게 한다. 형태학 필터는 맵의 갭들을 부드럽게 하고 따라서 무효 픽셀의 근접도로부터의 값들을 사용하여 엄폐된 영역들의 추후 채움을 통하여 에러들이 전파하는 것을 방지할 수 있게 한다.
도 7a 및 도 7b는 각각 형태학 필터의 적용 전(도 7a) 및 형태학 필터의 적용 후(도 7b) 도 4a에 나타난 디스페리티 맵의 동일한 디테일을 나타낸다. 따라서, 이미지 내에 표현된 사람의 우측 엄지 손가락 주변에 나타나는 평가 에러들에 대응하는 좌측 이미지(도 7a)의 고리 모양 영역 내 두 개의 회색 포인트들은 우측 이미지(도 7b) 내에서 사라졌다.
도 6을 다시 참조하여, 기술된 실시예에서, 상기된 형태학 필터링(동작 B)을 겪은 후, 디스페리티 맵은 국부적 단일화 모듈(62)에 의해 실행되는 국부적 단일화 동작 C를 겪는다.
필터링의 제 2 스테이지는 이런 동작 C 동안 디스페리티 맵에 적용된다. 동작 B 동안 적용된 필터링에 대조하여, 이런 제 2 스테이지 필터링은 물체들의 윤곽부들의 모든 디테일들을 보전하면서 디스페리티 맵을 국부적으로 균일화하기 위하여 맵의 전체에 적용된다. 따라서 적용된 필터링은 디스페리티/깊이 맵들이 특히 비디오들에서 시간적으로 매우 불안정하게 하는 매우 디테일한 물체들(예를 들어 나무들)에 의해 유발된 작은 엄폐된 영역들을 제거하거나 합체시키는 것을 가능하게 한다.
모듈(62)에 의해 적용된 필터링의 제 2 스테이지는 다음 방식으로 동작한다. 아웃라이어들은 완전한 디스페리티/깊이 이미지로부터 검출된다. 맵의 각각의 픽셀에 대해, 근접도(V)는 관련된 픽셀에 중심을 둔 블록 내에 포함된 모든 근접 픽셀들(Vi)에 해당하는 것으로 고려된다. 블록 내 근접 픽셀들(Vi)은 유사한 값을 가진 블록 및 관련된 픽셀(
Figure 112011005665648-pct00001
)과 연관된 값과 상이한 값을 가진 블록의 픽셀들의 수를 평가하기 위하여 연구되었다. 관련된 픽셀들의 블록들은 예를 들어 7 개의 픽셀들의 측면 길이를 가진 정사각형들일 수 있지만, 블록들의 크기는 프로세싱된 이미지 타입의 함수로서 본 발명의 이미지 프로세싱 디바이스의 사용자에 의해 변형될 수 있다.
픽셀 값 유사성 및 차의 개념들은 보다 강력한 프로세싱을 하게 하도록 임계치들(s1 및 s3)을 참조하여 정의된다. 따라서, 픽셀(
Figure 112011005665648-pct00002
) 주변 근접도(V) 내의 픽셀들(vi)은 픽셀 값들 사이의 차가 임계치(s1)(예를 들어, 10으로 설정될 수 있음) 아래이면 유사한 것으로 고려되고, 이것은 다음과 같이 표현된다:
Figure 112011005665648-pct00003
및 p가 유사하다
Figure 112011005665648-pct00004
.
유사하게, 예를 들어 40으로 설정될 수 있는 임계치(s3)를 참조하여 값의 차의 개념은 다음과 같이 정의된다:
Figure 112011005665648-pct00005
및 p가 상이하다
Figure 112011005665648-pct00006
분석된 블록의 관련된 각각의 픽셀에 대해, 블록 내 유사한 픽셀들의 비율이 임계치(s2) 아래이거나/아래이고 상이한 픽셀들의 비율이 임계치(s4)보다 높으면, 관련된 픽셀은 아웃라이어(에러 픽셀)로서 검출된다. 다음 값들은 사용될 수 있다, 예를 들어: s2 = 30% 및 s4 = 60%. 아웃라이어인 것으로 식별된 픽셀에 할당될 수정 값은 에러를 검출하기 위하여 사용된 블록의 메디안 필터링에 의해 얻어진 값이다.
적용된 프로세싱은 다음 식에 의해 요약된다:
만약
Figure 112011005665648-pct00007
이면,
Figure 112011005665648-pct00008
이다.
임계치들(s1, s2, s3, s4)은 관련된 이미지 또는 시퀀스의 함수로서 사용자에 의해 변형될 수 있다.
도 8a 및 도 8b는 상기된 필터 모듈(61)에 의해 사용된 바와 같은 형태학 필터의 적용 후 얻어진 디스페리티 맵에 상기된 바와 같은 국부적 단일화 필터를 적용한 결과를 도시한다. 특히, 도 8a는 도 7b에 표현된 디테일이 취해지는 디스페리티 맵을 전체적으로 나타낸다. 도 8b는 도 8a 맵에 단일화 필터의 적용 후 얻어진 맵을 나타낸다.
비교되는 도 8a 및 도 8b에서 알 수 있는 바와 같이, 도 8a 이미지 내에 나타나는 백색 스폿들은 도 8b 이미지에서 사라졌다. 따라서, 상기된 필터 모듈(62)에 의한 국부적 단일화 필터링에 의해, 근접도와 기하학적으로 조화하지 않는 도 8a 맵에 나타난 픽셀들은 도 8b 맵에서 프로세싱되었다.
마지막으로, 도 9는 엄폐된 영역들을 채우기 위하여 본 발명에 따라 상기된 채움 모듈(63)이 디스페리티 맵을 프로세싱한 후 도 8b로부터의 디스페리티 맵을 도시한다.
도 9 맵을 도 3에 나타난 개시 맵 및 도 4b에 나타나고 종래 기술 채움 방법에 의해 맵의 프로세싱 후 얻어진 동일한 맵의 디테일과 비교하면, 특히 다음 포인트들이 본 발명에 따른 도 9 맵과 관련하여 알 수 있다:
보다 균일하게 나타난다; 그리고
사람 주변 엄폐된 영역들은 디테일들의 정확성을 손실하지 않고, 예를 들어 사람의 우측 손 주변에서 사라졌다.

Claims (14)

  1. 적어도 두 개의 이미지들로부터 평가되고 라인들 및 열들(column)의 세트를 형성하는 픽셀들의 매트릭스로 이루어진 깊이 또는 디스페리티(disparity) 맵의 엄폐된 영역들을 채우는 방법으로서,
    상기 맵의 각각의 픽셀은 픽셀 값이라 지칭되는 깊이 또는 디스페리티 값과 연관되고, 무효 픽셀이라 지칭되는 엄폐된 영역의 임의의 픽셀은 무효인 것으로서 식별할 수 있는 픽셀 값과 연관되고,
    상기 엄폐된 영역들을 채우는 방법은,
    미리 정의된 방향으로 맵 픽셀 단위로 각각의 라인을 프로세싱하는 단계(E1, E2, E10) 및 현재 라인 상에서 조우되는(encountered)(E3) 각각의 무효 픽셀(Pi)에 픽셀 값을 할당하는 단계(E4-E9)를 포함하고,
    상기 현재 라인에서 상기 무효 픽셀(Pi)에 뒤따르고, 상기 현재 라인에서 상기 무효 픽셀(Pi)에 선행하는 최후의 유효 픽셀(P0)이 있는 경우 그 유효 픽셀의 값(V(P0))에 관련하여 값(V(P1))이 보다 큰 깊이 또는 보다 작은 디스페리티에 대응하는 최초의 유효 픽셀(P1)이 있다면, 상기 최초의 유효 픽셀(P1) 주변의 미리 정의된 근접도 내의 픽셀들과 연관되는 값들의 함수로서, 상기 픽셀 값이 결정되고,
    유효 픽셀(P0)이 있지만(E5) 유효 픽셀(P1)이 없다면(E7) 또는 유효 픽셀(P0)이 없다면(E5), 그리고 상기 현재 라인 상에 상기 무효 픽셀(Pi)을 뒤따르는 최초의 유효 픽셀(P2)이 있는 경우, 상기 유효 픽셀(P2) 주변 미리 정의된 근접도 내의 픽셀들과 연관되는 값들의 함수로서 결정되는 픽셀 값이 상기 무효 픽셀(Pi)에 할당되는,
    엄폐된 영역들을 채우는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    유효 픽셀(P2)이 없다면(E22), 상기 픽셀(P0) 주변 미리 정의된 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정된 픽셀 값은 상기 무효 픽셀(Pi)에 할당되거나(E24, E25, E9) 또는 디폴트 값(Vd)이 상기 무효 픽셀(Pi)에 할당되는(E14),
    엄폐된 영역들을 채우는 방법.
  4. 삭제
  5. 제 1 항 또는 제 3 항 중 어느 한 항에 있어서,
    상기 무효 픽셀(Pi)에 할당된 상기 픽셀 값은 관련된 상기 근접도 내의 상기 픽셀들의 값들에 메디안(median) 또는 평균 산술 함수의 적용에 의해 관련된 픽셀의 근접도 내의 픽셀들과 연관된 값들의 함수로서 결정되는,
    엄폐된 영역들을 채우는 방법.
  6. 제 1 항에 있어서,
    픽셀 주변 근접도는 상기 픽셀을 중심으로 둔 유효 픽셀들의 블록으로 이루어지는,
    엄폐된 영역들을 채우는 방법.
  7. 제 1 항 또는 제 3 항 중 어느 한 항에 있어서,
    상기 깊이 맵 또는 디스페리티 맵은 우측 이미지 및 좌측 이미지 쌍으로부터 얻어지고 상기 맵의 픽셀들의 행(row)을 프로세싱하는 미리 정의된 방향은 상기 맵이 상기 좌측 이미지로부터 평가되면 우측으로부터 좌측으로의 방향에 대응하고 상기 맵이 상기 우측 이미지로부터 평가되면 좌측으로부터 우측으로의 방향에 대응하는,
    엄폐된 영역들을 채우는 방법.
  8. 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법으로서,
    제 1 항에 따른 방법을 사용하여 엄폐된 영역들을 채우는 동작(D)을 포함하는,
    깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법.
  9. 제 8 항에 있어서,
    상기 엄폐된 영역들을 채우는 상기 동작(D)은 상기 맵의 엄폐된 영역들 내 평가 에러들을 제거하기 위한 클로저 형태학 필터링(closure morphological filtering) 동작(B) 뒤에 오는,
    깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 엄폐된 영역들을 채우는 상기 동작(D)은 미리 정의된 크기의 블록당 분석된 픽셀들의 값들의 맵 메디안 필터링의 전체에 걸쳐 사용하는 상기 맵의 국부적 단일화(uniformization) 동작(C) 뒤에 오는,
    깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하는 방법.
  11. 깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스로서,
    제 1 항에 따른 채우는 방법을 사용하기 위하여 적응된 상기 맵의 엄폐된 영역들을 채우기 위한 모듈(63)을 포함하는,
    깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스.
  12. 제 11 항에 있어서,
    상기 엄폐된 영역들의 채움 이전에 상기 맵의 엄폐된 영역들 내 평가 에러들을 제거하기 위한 클로저 형태학 필터 모듈(61)을 더 포함하는,
    깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 엄폐된 영역들의 채움 이전에 미리 정의된 크기의 블록당 분석된 픽셀 값들의 맵 메디안 필터링 전체에 걸쳐 사용하는 상기 맵의 국부적 단일화를 위한 모듈(62)을 더 포함하는,
    깊이 맵 또는 디스페리티 맵을 디지털적으로 프로세싱하기 위한 디바이스.
  14. 디지털 이미지들을 프로세싱하기 위한 명령들이 저장된 컴퓨터-판독 가능 저장 매체로서,
    상기 명령들은 컴퓨터 시스템에서 실행될 때 제 1 항, 제 3 항, 제 8 항 또는 제 9 항에 따른 방법을 실행하도록 적응되는,
    디지털 이미지들을 프로세싱하기 위한 컴퓨터-판독 가능 저장 매체
KR1020117001794A 2008-06-24 2009-06-22 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스 KR101594888B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0854157 2008-06-24
FR0854157A FR2932911A1 (fr) 2008-06-24 2008-06-24 Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.

Publications (2)

Publication Number Publication Date
KR20110036591A KR20110036591A (ko) 2011-04-07
KR101594888B1 true KR101594888B1 (ko) 2016-02-17

Family

ID=40342117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117001794A KR101594888B1 (ko) 2008-06-24 2009-06-22 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스

Country Status (9)

Country Link
US (1) US8817069B2 (ko)
EP (1) EP2304686B1 (ko)
JP (1) JP5474061B2 (ko)
KR (1) KR101594888B1 (ko)
CN (1) CN102077244B (ko)
BR (1) BRPI0914333A2 (ko)
FR (1) FR2932911A1 (ko)
RU (1) RU2504010C2 (ko)
WO (1) WO2010007285A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823260B (zh) * 2010-04-01 2016-08-10 汤姆森特许公司 视差值指示
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
KR101669820B1 (ko) * 2010-07-02 2016-10-27 삼성전자주식회사 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
US20120056995A1 (en) * 2010-08-31 2012-03-08 Texas Instruments Incorporated Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
FR2964775A1 (fr) 2011-02-18 2012-03-16 Thomson Licensing Procede d'estimation de l'occultation dans un environnement virtuel
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
CA2837532C (en) 2011-06-23 2018-10-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA2830046C (en) 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN103563375B (zh) 2011-06-27 2017-04-05 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
CA2837535C (en) 2011-06-28 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103583048B (zh) 2011-06-30 2017-05-17 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
KR20140034209A (ko) 2011-07-11 2014-03-19 파나소닉 주식회사 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
EP2547111B1 (en) 2011-07-12 2017-07-19 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
US9007441B2 (en) 2011-08-04 2015-04-14 Semiconductor Components Industries, Llc Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
US9299154B2 (en) * 2011-09-29 2016-03-29 Thomson Licensing Method and device for filtering a disparity map
US20140192163A1 (en) * 2011-10-11 2014-07-10 Kenji Shimizu Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation
KR20130084850A (ko) * 2012-01-18 2013-07-26 삼성전자주식회사 시차 값을 생성하는 영상 처리 방법 및 장치
JP5971017B2 (ja) * 2012-08-03 2016-08-17 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP6016061B2 (ja) 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US9237326B2 (en) * 2012-06-27 2016-01-12 Imec Taiwan Co. Imaging system and method
US9661296B2 (en) * 2012-07-12 2017-05-23 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9225962B2 (en) * 2012-07-16 2015-12-29 Cisco Technology, Inc. Stereo matching for 3D encoding and quality assessment
US9514522B2 (en) 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
US20140241612A1 (en) * 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US9259840B1 (en) * 2013-03-13 2016-02-16 Hrl Laboratories, Llc Device and method to localize and control a tool tip with a robot arm
US9350969B2 (en) 2013-04-19 2016-05-24 Adobe Systems Incorporated Target region filling involving source regions, depth information, or occlusions
US9380286B2 (en) * 2013-04-19 2016-06-28 Adobe Systems Incorporated Stereoscopic target region filling
CN104112268A (zh) * 2013-04-22 2014-10-22 株式会社理光 稀疏视差图像处理方法和装置以及物体检测方法和装置
IN2013CH05313A (ko) * 2013-11-18 2015-05-29 Nokia Corp
US9519956B2 (en) 2014-02-28 2016-12-13 Nokia Technologies Oy Processing stereo images
US9390508B2 (en) * 2014-03-03 2016-07-12 Nokia Technologies Oy Method, apparatus and computer program product for disparity map estimation of stereo images
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
US11720745B2 (en) * 2017-06-13 2023-08-08 Microsoft Technology Licensing, Llc Detecting occlusion of digital ink
KR20200126129A (ko) * 2019-04-29 2020-11-06 엘지이노텍 주식회사 카메라 모듈
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation
WO2022155950A1 (zh) * 2021-01-25 2022-07-28 京东方科技集团股份有限公司 虚拟视点合成方法、电子设备和计算机可读介质
CN114972450A (zh) * 2021-02-24 2022-08-30 嘉楠明芯(北京)科技有限公司 图像的立体匹配方法以及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006512833A (ja) 2002-12-30 2006-04-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 立体画像のためのビデオフィルタ処理
KR100745691B1 (ko) 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551467B2 (ja) * 1994-04-13 2004-08-04 松下電器産業株式会社 視差演算装置、視差演算方法及び画像合成装置
US5909251A (en) * 1997-04-10 1999-06-01 Cognitech, Inc. Image frame fusion by velocity estimation using region merging
JP3732317B2 (ja) * 1997-09-17 2006-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および方法、並びに伝送媒体
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6674887B1 (en) * 2000-07-24 2004-01-06 Honeywell International Inc. Apparatus and method for characterizing fiber crimps
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US7239399B2 (en) * 2001-11-13 2007-07-03 Cyberoptics Corporation Pick and place machine with component placement inspection
RU2237284C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
JP4485951B2 (ja) * 2002-10-23 2010-06-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元ビデオ信号後処理方法
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2007108626A (ja) * 2005-09-16 2007-04-26 Excellead Technology:Kk 立体映像生成システム
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
US8280149B2 (en) * 2007-09-11 2012-10-02 Motorola Solutions, Inc. Method and apparatus to facilitate processing a stereoscopic image using first and second images to facilitate computing a depth/disparity image
US8160391B1 (en) * 2008-06-04 2012-04-17 Google Inc. Panoramic image fill
US8315426B2 (en) * 2010-03-12 2012-11-20 Mitsubishi Electric Research Laboratories, Inc. Method for handling pixel occlusions in stereo images using iterative support and decision processes
CN102823260B (zh) * 2010-04-01 2016-08-10 汤姆森特许公司 视差值指示
US8873835B2 (en) * 2011-11-30 2014-10-28 Adobe Systems Incorporated Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006512833A (ja) 2002-12-30 2006-04-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 立体画像のためのビデオフィルタ処理
KR100745691B1 (ko) 2005-12-08 2007-08-03 한국전자통신연구원 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법

Also Published As

Publication number Publication date
US20110080464A1 (en) 2011-04-07
JP2011525769A (ja) 2011-09-22
KR20110036591A (ko) 2011-04-07
US8817069B2 (en) 2014-08-26
WO2010007285A1 (fr) 2010-01-21
CN102077244A (zh) 2011-05-25
RU2504010C2 (ru) 2014-01-10
RU2011102402A (ru) 2012-07-27
FR2932911A1 (fr) 2009-12-25
EP2304686B1 (fr) 2018-04-18
JP5474061B2 (ja) 2014-04-16
BRPI0914333A2 (pt) 2019-09-24
CN102077244B (zh) 2014-09-17
EP2304686A1 (fr) 2011-04-06

Similar Documents

Publication Publication Date Title
KR101594888B1 (ko) 적어도 두 개의 이미지들로부터 평가되는 깊이 맵 또는 디스페리티 맵의 엄폐된 영역들을 채우기 위한 방법 및 디바이스
JP7012642B2 (ja) アーチファクトを意識したビュー合成のための補助データ
US8384763B2 (en) Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
Ahn et al. A novel depth-based virtual view synthesis method for free viewpoint video
US20180300937A1 (en) System and a method of restoring an occluded background region
EP2087466B1 (en) Generation of depth map for an image
US8447141B2 (en) Method and device for generating a depth map
US7224355B2 (en) Method for post-processing a 3D digital video signal
EP1991958B1 (en) Directional hole filling in images
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
Do et al. Quality improving techniques for free-viewpoint DIBR
JP4796072B2 (ja) 画像セグメンテーションに基づく画像レンダリング
TW202037169A (zh) 基於視訊的點雲壓縮的區塊分段的方法及裝置
Furihata et al. Novel view synthesis with residual error feedback for FTV
Smirnov et al. A memory-efficient and time-consistent filtering of depth map sequences
US9361673B2 (en) Image interpolation device, image processing device, and image interpolation method
KR101589670B1 (ko) 깊이맵을 이용하여 2차원 동영상으로부터 3차원 동영상을 생성하는 방법
Vázquez View generation for 3D-TV using image reconstruction from irregularly spaced samples
Hua et al. Adaptive 3D content generation via depth video based rendering

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant