KR101468267B1 - 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 - Google Patents

Abstract

본 발명은, 제 1 뷰(view)에 대응하는 제 1 이미지(14)와, 상기 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지(16)- 상기 제 1 및 제 2 이미지는 깊이 정보(depth information)를 포함함 -로부터 중간 뷰 이미지를 합성하는 중간 뷰 합성 장치로서, 상기 제 2 이미지는 비-경계 부분(16a)과 전경/배경 경계 영역(16b)으로 분할되고, 상기 중간 뷰 합성 장치는, 중간 뷰 이미지(12)를 얻기 위해, 상기 전경/배경 경계 영역(16b)을 상기 비-경계 부분(16a)에 대해 종속되게 처리하면서, 상기 제 1 이미지와 상기 제 2 이미지를 중간 뷰로 투영 및 혼합하도록 구성되는, 중간 뷰 합성 장치에 관한 것이다. 또한, 제 1 뷰에 대응하는 제 1 이미지와, 상기 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지- 상기 제 1 및 제 2 이미지는 깊이 정보를 포함함 -를 포함하는 멀티-뷰 표현으로부터 멀티뷰 데이터 신호를 추출하는 멀티-뷰 데이터 신호 추출 장치에 관한 것이다. 상기 멀티뷰 데이터 신호 추출 장치는, 상기 제 2 이미지에서 전경/배경 경계를 검출하는 수단; 상기 전경/배경 경계를 따라 왼쪽-먼 경계 부분을 결정하는 수단; 나타난 영역을 갖는 상기 제 2 이미지의 투영된 버전을 얻기 위해, 상기 왼쪽-먼 경계 부분이 없는 상기 제 2 이미지를 상기 제 1 뷰에 투영하는 수단; 및 상기 제 2 이미지의 투영된 버전 내의 나타난 영역의 위치에 따른, 상기 제 1 이미지의 부분과 함께 상기 제 2 이미지를 상기 멀티뷰 데이터 신호에 삽입하는 수단을 포함한다.

Description

중간 뷰 합성 및 멀티-뷰 데이터 신호 추출{INTERMEDIATE VIEW SYNTHESIS AND MULTI-VIEW DATA SIGNAL EXTRACTION}

본 발명은, 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출/구성에 관한 것이다.

3D 비디오(3DV)는 시청자에게 관찰한 장면의 깊이 감각(depth perception)을 제공한다. 이것을 또한 스테레오라고 하며, 그러나 이 용어는 2 비디오를 사용하는 기존의 기술로 너무 제한되는 것이다. 최근, 3DV는 휴대전화에서 3D 영화에 걸친 시스템 및 응용에서 급속하게 더욱 관심을 얻고 있다[25]. 기술은, 카메라 시스템에서 3D 디스플레이까지 전체 처리 체인을 커버할정도록 성숙해 지고 있다. 확장된 시각적 느낌을 경험하기 원하는 고객 측뿐만 아니라, 콘텐츠 제공자, 장비 생산자 및 분배자를 포함하는 업계 측의 인식과 관심이 높아지고 있다.

3D 깊이 감(depth impression)을 만들려면, 3D 디스플레이를 보고 있는 시청자가 각각의 눈에 서로 다른 뷰를 보아야 한다. 이들 뷰는, 사람 눈의 거리와 다른 뷰포인트(viewpoint)로 취한 이미지에 대응해야 한다. 다시 말해, 관찰된 장면의 자연적인 깊이 감을 사용자에게 제공하려면, 각각의 눈이 동시에 제공되는 스테레오 쌍의 한 이미지만을 봄을 보장하는 특정한 3D 시청 기술이 필요하다[17]. 과거, 사용자는 특정한 안경(애너글리프(anaglyph), 편광, 셔터)을 착용해야 했다. 제한된 시각 품질과 함께, 이것은, 가정 내 사용자 환경에서는 3DV 시스템의 광범위한 성공의 주된 장애로 간주되는 한편, 3D 영화와 같은 다른 타입의 응용이, 그 높은 시각 품질로 인해 가까운 장래에 급속하게 성장할 것으로 기대된다. 더 자세하게는, 3D 디스플레이는 동시에 둘 이상의 뷰를 방출하여, 시청자가 항상 그러한 스테레오 쌍을 특정 뷰포인트로부터 봄을 보장한다[17]. 과거에는 애너글리프, 편광, 또는 셔터 기술에 기반한 특정한 안경이 이를 달성하기 위해 필요했지만, 오늘날은 광범위한 응용에 여전히 적절하다. 예컨대, (IMAX®극장과 같은) 안경에 기반한 3D 영화 응용이 잘 구축된다. 영화 극장에서, 사용자는 움직일 가능성이 거의 없는 의자에 앉아 있고, 제공된 영화에 보통 거의 모든 관심을 두고 있다. 안경을 착용하는 것이 그러한 시나리오에서 널리 받아들여지며, 모션 패럴렉스(motion parallax)는 큰 문제가 아니다. 안경에 기반한 디스플레이 기술을 구비한 3D 영화는 그러므로 가까운 장래에 표준 상태를 유지할 것으로 기대된다. 이 시장은 더 성장할 것으로 기대되며 더 많은 영화가 기존 극장용의 2D뿐만 아니라 3D 가능한 극장용의 3D 버전으로 제작되고 있다. 이점은 사용자의 인식을 넓힐 것이고, 그에 따라 또한 수용될 것이며, 가정에서 3DV 응용에 대한 수요를 만들 것으로 기대된다.

거실 환경에서, 그러나 사용자의 기대는 매우 다르다. 안경을 착용해야 한다는 점은, 가정 내 사용자 환경에서 3D 비디오의 성공의 주된 장애로 간주된다. 이제 이점은 멀티뷰 오토스테레오스코픽 디스플레이로 극복된다[17]. 여러 개의 이미지가 동시에 방출되지만, 이 기술은, 사용자가 특정 뷰포인트로부터 스테레오 쌍을 단지 보게 됨을 보장한다. 3D 디스플레이는 동시에 9개 이상의 다른 이미지를 보여줄 수 있는 것이 오늘날 판매 중이며, 그 이미지 중 스테레오 쌍만이 특정한 뷰포인트에서 볼 수 있다. 이로 인해, 안경이 없는 복수의 사용자 3D 느낌이 예컨대 거실에서 가능케 된다. 한 그룹의 사람이 안경이 없이 그러나 우리가 익숙한 모든 사회적 상호작용을 하면서 친숙한 소파-TV 환경에서 3D 영화를 즐길 수 있다. 주위를 이동할 때, 자연적인 모션 패럴렉스 감은, 연속적인 뷰가 스테레오 쌍으로서 적절히 배치된다면 지원될 수 있다.

그러나 동일한 3D 장면의 9개 이상의 뷰를 약간 다른 뷰포인트로부터 가정 내 사용자에게 송신하는 것은 매우 비효율적이다. 송신 비용은 추가되는 가치를 정당화하지 않을 것이다. 다행히, 대안 3D 비디오 포맷으로 인해 미처리(raw) 데이터 율을 상당히 줄일 수 있다. 멀티뷰 비디오 플러스 깊이(MVD: Multiview Video plus Depth) 포맷을 사용할 때, N개의 디스플레이 뷰 중 서브셋 M만이 송신된다. 이들 M개의 비디오 스트림의 경우, 추가 픽셀 당 깊이 데이터가 보충 정보로서 송신된다. 수신기에서 DIBR(Depth Image Based Rendering: 깊이 이미지에 기반한 렌더링)가 적용되어 송신된 MVD 데이터로부터의 N개의 디스플레이 뷰 모두를 보간한다[15].

따라서 멀티뷰 비디오 플러스 깊이(MVD) 포맷으로 인해 3DV 시스템의 미처리 데이터 율은 극적으로 감소하게 된다. N개의 디스플레이 뷰의 서브셋 M이 송신된다. 추가로, 깊이 데이터가 서브셋 M에 대해 송신된다. 비-송신된 뷰는, 송신 데이터가 주어진 수신기에서 중간 뷰 보간에 의해 생성될 수 있다[17].

3DV 시스템은, 복수의 뷰를 동시에 디스플레이함으로써 헤드 모션 패럴렉스 뷰잉을 지원할 수 있다. 특히 예컨대 경사진 렌티큘러(lenticular) 렌즈 기술을 가진 고해상도 LCD 스크린 및 9개의 동시 뷰가 필립스로부터 상업적으로 이용 가능하다[28]. 3D 디스플레이를 가진 헤드 모션 패럴렉스 지원에 대한 원리를 도 20에 예시한다. 사용자는 위치 1에서 오른쪽 눈과 왼쪽 눈 각각으로만 뷰 1 및 2를 시청한다. 다른 사용자는 위치 3에서 뷰 6 및 7을 시청하며, 그에 따라 멀티-사용자 3D 뷰잉을 지원한다.

사용자가 위치 1에서 위치 2로 이동한다고 가정한다. 이제 뷰 2 및 3은 오른쪽 눈과 왼쪽 눈 각각으로 시청 가능하다. 만약 V1 및 V2가 적절한 사람 눈 거리 베이스라인을 갖는 스테레오 쌍이라면, V2 및 V3는 또한 그렇고, 기타 그렇게 되어, 그러한 3D 디스플레이 시스템 전방에서 이동하는 사용자는, 그 깊이에 따라 장면에서 대상의 나타남(dis-occlusions) 및 겹침(occlusion)으로 3D 감을 인지할 거이다. 이 모션 패럴렉스 감은 시믈리스(seamless)가 아닐 것이며, 다른 위치의 수는 N-1로 제한된다.

더 자세하게, 멀티뷰 오토스테레오스코픽 디스플레이는, 약간 다른 뷰포인트로부터의 동일한 3D 장면을 보여주는 N개의 동기화된 비디오 신호를 처리한다. 통상의 2D 비디오와 비교할 때, 이것은 굉장한 미처리 데이터 율의 증가이다. 이웃한 뷰포인트로부터 취한 비디오 신호의 인터-뷰 예측을 포함하는 특정한 멀티뷰 비디오 코딩(MVC)은, 모든 비디오 신호의 독립된 코딩(시멀캐스트(simulcast))과 비교해, 전체 비트율을 20%만큼 감소시킬 수 있음을 알게 되었다[20]. 이것이 의미하는 점은, N이 곱해진 단일 비디오 비트율의 20%만큼의 감소이다. 9-뷰 디스플레이의 경우, MVC는 그러므로 여전히 대응하는 단일 비디오 비트율의 7.2배를 필요로 한다. 그러한 증가는 3DV 응용의 성공에 분명히 방해가 된다. 나아가, [20]에서, MVC의 총 비트율이 N에 따라 선형적으로 증가함을 또한 알게 되었다. 더 많은 뷰를 갖는 장래의 디스플레이는 그러므로 훨씬 더 큰 전체 비트율을 필요로 할 것이다. 마지막으로, MVC로 했던 것과 같이 송신 포맷에서 뷰의 개수를 정하면, 현재 및 장래의 3D 디스플레이의 어떤 타입을 지원할 충분한 융통성을 제공하지 못한다.

2-뷰 디스플레이(작은 수의 뷰 디스플레이)의 경우, 높은 압축 효율과 확장된 기능 둘 모두를 제공하는 다른 접근법이 증명되었다. 스테레오 비디오 쌍을 송신하는 대신, 하나의 비디오 및 관련 픽셀당 깊이 맵이 사용된다. 깊이 맵은 장면 깊이 값을 비디오 신호의 픽셀 각각에 할당하고, 이를 통해, 3D 장면 설명을 제공한다. 깊이 맵은 단색 비디오 신호로 다뤄질 수 있고 이용 가능한 비디오 코덱을 사용하여 코딩된다. 이러한 방식의 비디오 플러스 깊이(V+D)를 3DV 데이터 포맷으로 정의한다[7]. MPEG-C 부분 3으로 알려진 대응하는 표준이 MPEG에 의해 최근 발표되었다([11], [12]). 디코딩된 V+D로부터, 수신기는 DIBR에 의해 제 2 비디오를 스테레오 쌍으로서 생성할 수 있다. 실험을 통해, 깊이 데이터가 대부분의 경우 매우 효율적으로 압축될 수 있음을 알게 되었다. 대응하는 컬러 비디오에 필요한 비트율의 대략 10-20%만이 충분한 품질로 깊이를 압축하는데 필요하다. 이것이 의미하는 점은, 이 디코딩된 깊이를 사용하여 렌더링된 최종 스테레오 쌍이, 마치 두 개의 비디오 신호가 그 대신에 송신되었던 것처럼 동일한 시각 품질을 갖는다는 점이다. 그러나 DIBR은 아티팩트(artifact)를 도입하는 것을 알려졌다. 가상 뷰를 생성하려면, 이미지 콘텐츠의 어느 정도까지의 외삽이 필요하다. 가상 뷰포인트로부터 이용 가능한 원래의 비디오에서 전경 대상 뒤에 겹쳐진 3D 장면의 부분이 볼 수 있게 될 수 있다. 만약 가상 뷰포인트가 원래의 카메라 위치(예컨대 도 20에서 V1 및 V2에 대응함)에 가깝다면, 커버되지 않은 이미지 영역의 마스킹은 제한된 아티팩트와 잘 작동한다. 그러므로 V+D는 작은 수의 뷰를 갖는 3D 디스플레이에 우수한 개념이다. 그러나 가상 뷰포인트의 거리가 증가함에 따라 또한 외삽 아티팩트도 증가한다. V+D의 개념은 그러므로 큰 수의 뷰와 넓은 범위에 걸친 모션 패럴렉스 지원을 갖는 3DV 시스템에는 적절치 않다.

결국, MVC나 V+D 중 어느 것도 많은 수의 뷰를 갖는 개선된 3D 디스플레이 시스템에 유용하지 않다. 해법은, 도 20에 예시한 바와 같이 MVD에 대한 확장 및 결합이다. 9개의 뷰(V1 내지 V9)가 디스플레이된다. MVC를 통한 직접 인코딩은 매우 비효율적일 것이다. 깊이 맵을 갖는 하나의 비디오만을 송신하는 것, 예컨대 V5+D5는 결국 허용 가능하지 않은 바깥 뷰를 처리할 것이다. MVD 포맷을 사용하면, 깊이 맵을 갖는 M=3 뷰의 서브셋이 수신기에 송신된다. 중간 뷰(V2 내지 V4 및 V6 내지 V8)는 DIBR에 의해 생성된다. 이들은, 외삽 에러를 최소화하기 위해 이용 가능한 원래의 뷰에 충분히 가깝게 된다. 나아가, 이들은 2방향으로부터 보간될 수 있어(왼쪽 및 오른쪽 이웃 뷰), 커버되지 않은 것의 문제는 광범위하게 최소화될 수 있다. 예컨대, 왼쪽 뷰에서 겹쳐진 가상 뷰에 대해 생성될 영역은 오른쪽 뷰에서 분명히 보이게 될 것이다. 그러나 부분이 원래의 뷰 모두에서 겹쳐져 결과적으로 외삽될 가능성이 여전히 있다.

이 개선된 3DV 시스템 개념은, 부분적으로는 결정되지 않고 여전히 연구를 필요로 하는 많은 정교한 처리 단계를 포함한다. 획득 시스템이 여전히 개발되어 최적화되어야 하며, 이 시스템은, 구조화된 광과 같은 정보원 및 센서만을 지원할 수 도 있는 다른 타입뿐만 아니라 멀티 카메라 시스템, 아마도 깊이 캡쳐 디바이스를 포함한다([8], [22]). 전송기 측 신호 처리는, 깊이 추정 또는 생성뿐만 아니라 카메라 교정(calibration), 컬러 보정, 렉티피케이션(rectification), 세그멘테이션(segmentation)과 같은 많은 개선된 알고리즘을 포함한다. 깊이 추정이나 생성은 DIBR에서 중요하며, 그 이유는 깊이 추정의 어떤 에러가 결국은 렌더링된 출력 뷰의 품질을 감소시키기 때문이다. 이것이 컴퓨터 영상 문헌에서 널리 연구되는 주제이며, 이러한 문헌은 또한 반-자동 처리를 포함할 수 있다([16], [18], [26] 및 [29]). 깊이 및 설정/간격을 갖는 많은 송신된 뷰를 포함하는 일반 3DV 포맷의 최적 파라미터화는 여전히 조사되어야 한다. 가장 효율적인 MVD 데이터 압축이 여전히, 특히 최적의 깊이 처리에서 볼 수 있다. 일반적으로 송신 문제는 다른 채널에서 고려되어야 한다. 마지막으로 디코딩 이후, N개의 출력 뷰가 디코딩된 MVD 데이터로부터 렌더링된다. 여기서 아티팩트가 거의 없는 높은 품질이 전체 개념의 성공에서 중요하다.

마지막으로, 최소한의 눈에 띄는 아티팩트를 갖는 고품질의 뷰 보간이 3DV 시스템 성공의 중요한 선입관이다. 보간 아티팩트는 특히 깊이 불연속을 갖는 대상 경계를 따라 발생한다. 그러므로 그러한 가장자리를 따라 아티팩트를 회피하게 하는 보간 개념을 갖는 것이 유리할 것이다. 나아가, 3DV에 대한 데이터를 저장하기 위한 압축비가 달성 가능한 3DV 결과를 상당히 감소하지 않거나 심지어 유지하지 않고도 감소할 수 있는 경우가 유리할 것이다.

첫째, 본 발명의 목적은, 멀티-뷰 데이터를 제공하기 위해 아티팩트 감소 및/또는 더 높은 압축비를 허용하는 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출을 위한 개념을 제공하는 것이다.

이 목적은, 청구항 1 또는 청구항 22에 기재된 장치, 청구항 35에 기재된 멀티-뷰 데이터 신호, 및 청구항 36 또는 청구항 37에 기재된 방법 각각에 의해 달성된다.

본 발명의 기저에 있는 기본 아이디어는, 비-경계 부분에 대해 종속되는 전경/배경 경계 영역을 다루는 것이, 다른 뷰의 이미지를 투영하여 혼합할 때 아티팩트를 회피하거나 줄이는데 도움이 된다는 점과, 다시, 이러한 지식을 또한, 멀티-뷰 데이터 신호로부터의 관련없는 정보를 품질 보존 방식으로 제거하는데 사용할 수 있다는 점이다.

따라서 본 발명의 제 1 양상에 따라, 제 1 뷰에 대응하는 제 1 이미지와, 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지로부터 중간 뷰 이미지를 합성하는 중간 뷰 합성이, 제 2 이미지에서의 전경/배경 경계를 그 깊이 정보를 기반으로 해서 검출하는 단계, 전경/배경 경계 영역을 경계를 따라서 연장하는 영역으로서 결정하는 단계, 및 이 영역을 사용하여, 제 1 이미지의 적어도 일부분과 함께 제 2 이미지의 나머지 부분을 투영하여 혼합함으로써 얻은 예비 중간 뷰 이미지에서 단지 구멍을 메우는 단계에 의해 실행된다. 이러한 조치에 의해, 각각의 전경/배경 경계 영역은 제 2 이미지의 나머지 부분에 대해 종속적인 방식으로 단지 사용되어, 투영-및-혼합 결과에 부정적으로 영향을 미치지 않으며, 다른 한편으론, 그럼에도 그 밖에 발생하게 될 구멍을 메우는데 기여한다.

본 발명의 제 2 양상에 따라, 제 1 뷰에 대응하는 제 1 이미지와, 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지를 포함하는 멀티-뷰 표현으로부터 멀티-뷰 데이터 신호를 추출하는 멀티-뷰 데이터 신호 추출은, 제 2 이미지에서 전경/배경 경계를 검출하는 단계, 제 2 이미지의 왼쪽-먼 경계 부분을 전경/배경 경계를 따라 연장하는 것으로 결정하는 단계 및 나타난(disoccluded) 영역을 갖는 제 2 이미지의 투영 버전을 얻기 위해 왼쪽-먼 경계 부분이 없는 제 2 이미지를 제 1 뷰에 투영하는 단계에 의해 실행된다. 그 후, 제 1 이미지의 일부분과 함께 제 2 이미지는 멀티-뷰 데이터 신호에 삽입되며, 제 1 이미지의 일부분의 삽입은 제 2 이미지의 투영 버전 내에서 나타난 영역의 위치에 의존한다. 예컨대, 멀티-뷰 데이터 신호에 삽입되는 제 1 이미지의 부분은 제 2 이미지의 투영된 버전 내에서 나타난 영역의 위치로부터 결정된다.

본 발명의 실시예에 따라, 전경/배경 경계 영역은, 전경/배경 경계를 검출하고, 그 주위에 n-샘플의 넓은 영역을 한정하며, 이 영역을 한편으론 전경 배경 부분으로, 및 다른 한편으론 배경 전경 영역으로 분할함으로써 얻어지며, 이때 배경 경계 부분은 전술한 왼쪽-먼 배경 부분을 나타내고, 전술한 배경 경계 부분은 단지, 예비 중간 뷰 이미지에서 구멍을 각각 메우는데 사용될 것이다.

본 발명의 바람직한 실시예는 더 상세하게는 도면을 참조하여 후술될 것이다.

본 발명에 의하면, 멀티-뷰 데이터를 제공하기 위해 아티팩트 감소 및/또는 더 높은 압축비를 허용하는 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출을 위한 개념을 제공할 수 있다.

도 1a는, 본 발명의 실시예에 따른 중간 뷰 합성 장치의 블록도를 도시한다.
도 1b는, 본 발명의 추가 실시예에 따른 중간 뷰 합성 장치의 블록도를 도시한다.
도 1c는, 본 발명의 실시예에 따른 멀티-뷰 데이터 신호 추출 장치를 도시한다.
도 2는, 예시적인 이미지를, 본 발명의 실시예에 따라 전경 경계 부분(검은색), 배경 경계 부분(흰색) 및 비-경계 영역(회색 값)으로 계층 할당하는 것을 도시한다.
도 3은, 실시예에 따라 두 개의 서로 다른 뷰의 두 개의 비-경계 영역을 보호하고 혼합함으로써 얻은 중간 뷰를 도시한다.
도 4는, 배경 경계 부분을 사용하는 투영-및-메움 단계 이후에 발생하는 서로 다른 아티팩트(왼쪽부터 오른쪽으로)와 실시예에 따라 필터링 및/또는 구멍-메움에 의해 그들을 제거한 이후의 그들의 모습을 도시한다.
도 5는, 실시예에 따른 아티팩트 제거 이후 중간 뷰 이미지를 도시한다.
도 6은, 발명에 따라 9-뷰 오토스테레오스코픽 디스플레이에 대한 스테레오 쌍 거리에서의 5개의 뷰, 즉 원래의 카메라 위치에서의 두 개의 뷰(먼 왼쪽 및 먼 오른쪽)와, 발레(위) 및 브레이크 댄서 시퀀스(아래)에 대한 중간 뷰를 도시한다.
도 7은, 실시예에 따른 중간 뷰 합성 방법의 방법 단계의 시퀀스의 개략도를 도시한다.
도 8a 및 도 8b는, 발명에 따라 한편으론 두 개의 서로 다른 뷰와, 다른 한편으론 전경/배경 경계 영역의 종속되는 뷰의 비-경계 부분을 투영하여 혼합한 것으로부터 얻은 중간 뷰를 도시한다.
도 9는, 한편으론 간단한 혼합에 의한 중간 뷰 합성과, 다른 한편으론 본 발명의 실시예에 따른 중간 뷰 합성으로부터 얻은 중간 뷰의 상세한 부분을 도시한다.
도 10은, 본 발명의 실시예에 따른 LDV-기반 3DTV 개념을 예시한 개략도를 도시한다.
도 11은, 실시예에 따라 이미지를, 한편으론 왼쪽-먼 경계 부분(흰색)과 다른 한편으론 나머지 부분(회색)으로 세분한 결과를 도시한다.
도 12는, 왼쪽-먼 경계 부분을 생략한 채로, 중앙 뷰 이미지를 두 측면 뷰로 투영한 결과로 얻은 이미지를 도시한다.
도 13은, 실시예에 따라 1-픽셀-폭의 원치 않는 깊이 값을 제거하여 나타난 영역을 얻기 위해 필터링함으로써, 도 12의 이미지로부터 얻은 두 개의 이미지를 도시한다.
도 14는, 실시예에 따라 도 13의 투영된 중앙의 뷰와 측면 뷰 사이의 배제 차이(exclusion difference)의 결과를 도시한다.
도 15는, 실시예에 따른 다른 잔류 데이터 변형을 도시한다.
도 16은, 실시예에 따라, 두 개의 측면 뷰의 투영으로부터 얻은 다른 중간 뷰를 도시한다.
도 17은, 필터링 이후의 최종 뷰 합성 이미지, 즉 실시예에 따라 왼쪽 측 상의 중앙 뷰 플러스 왼쪽 잔류 데이터와 오른쪽 측 상의 중앙 뷰 플러스 오른쪽 잔류 데이터를 도시한다.
도 18은, 한편으론 간단한 혼합에 의한 중간 뷰 합성과 다른 한편으론 본 발명의 실시예에 따른 중간 뷰 합성으로부터 얻은 중간 뷰의 상세한 부분을 도시한다.
도 19는, LVD 및 MVD에 대한 중간 뷰 합성 이미지 사이의 비교를 도시한다.
도 20은, MVD를 기반으로 한 개선된 3DTV 개념을 예시한 개략도를 도시한다.

도 1a는, 제 1 뷰(V1)에 대응하는 제 1 이미지(14)와, 제 1 뷰(V1)와는 다른 제 2 뷰(V2)에 대응하는 제 2 이미지(16)- 제 1 및 제 2 이미지는 깊이 정보(D1 및 D2)를 포함함 -로부터 중간 뷰 이미지(12)를 합성하는 중간 뷰 합성 장치(10)를 도시한다. 제 1 및 제 2 이미지(14 및 16)는, 깊이 정보(D1 및 D2)와 관련된 단색 또는 컬러 정보(V1 및 V2)를 가질 수 도 있다. 특히, 컬러 정보뿐만 아니라 깊이는 픽셀 당 샘플 값을 포함할 수 도 있지만, 이들 둘의 공간 해상도는 서로 다를 수 도 있을 것이다.

제 2 이미지(16)는, 도 1a에서 흰색 부분으로 예시한 비-경계 부분(16a)과, 도 1a에서 음영진 부분으로 예시한 전경/배경 경계 영역으로 분할되며, 중간 뷰 합성 장치는, 중간 뷰 이미지(12)를 얻기 위해, 전경/배경 경계 영역(16b)을 비-경계 영역(16a)에 대해 종속되게 다루면서 제 1 이미지(14)와 제 2 이미지(16)를 중간 뷰에 투영 및 합성한다.

더 후술될 실시예에 따라, 중간 뷰 합성 장치(10)는, 중간 뷰(12)로 투영 및 혼합하기 위해, 전경/배경 경계 영역(16b)의 부분에 분리된(disjoint) 제 2 이미지(16)의 분리된 부분을 사용하여 중간 뷰 이미지(12)에서 그 밖에 발생하는 구멍을 단지 메우도록 전경/배경 경계 영역(16b)의 적어도 일부를 사용하도록 구성된다.

도 1b에 따라, 중간 뷰 합성(10)의 추가 실시예를 더 상세하게 기술한다. 이 실시예에 따라, 제 2 이미지(16)의 전경/배경 경계 영역(16b)은 전경 경계 부분과 배경 경계 부분으로 분할되며 배경 경계 영역은 구멍을 메우는데 사용되도록 전술한 부분을 형성한다. 따라서 전술한 부분은 배경 경계 영역에 대응할 수 있다.

도 1b의 중간 뷰 합성 장치(10)는, 제 2 이미지(16)에서 전경/배경 경계 영역(16b)을 검출하는 수단으로서의 전경/배경 경계 검출기(18)와, 제 2 이미지의 전경/배경 경계 영역(16b)을 전경 경계 부분(16b1)과 배경 경계 부분(16b2)으로 분할하는 수단으로서의 전경/배경 세부 분할기(20)를 포함하여, 제 2 이미지(16)는 비-경계 부분(16a), 전경 경계 부분(16b1) 및 배경 경계 부분(16b2)으로 분할된다. 나아가, 중간 뷰 합성 장치(10)는, 제 1 이미지(14)의 적어도 일부와 함께, 제 2 이미지(16)의 비-경계 부분(16a)과 전경 경계 부분(16b1)을 중간 뷰로 투영 및 혼합하여 화살표(24)로 예시한 예비 중간 뷰 이미지를 얻게 하는 투영-및-혼합 단(22)을 포함한다.

투영-및-메움 단(26)은, 제 2 이미지(16)의 배경 경계 부분(16b2)을 중간 뷰에 투영하여, 제 2 이미지(16)의 이 투영된 배경 경계 부분으로 예비 중간 뷰 이미지(24)의 구멍을 메워 중간 뷰 이미지(12)를 얻기 위해 구비된다.

도 1a 및 도 1b의 실시예를 비교해 보면, 도 1b의 경우, 경계 검출 및 분할이 장치에서 실행되는 반면, 도 1a의 실시예에서, 이러한 동작은 이미 실행된 것으로 가정되며, 그 정보는 부차적인 정보 형태와 같이 제 2 이미지(16b)와 관련되는 것임이 명백하게 된다. 따라서 추가 실시예에 따라, 중간 뷰 합성 장치(10)는, 멀티-뷰 데이터 신호로부터 제 2 이미지의 비-경계 부분(16a), 전경 경계 부분(16b1) 및 배경 경계 부분(16b2)을 구별케 하는 계층 정보를 얻는 수단을 포함할 수 있고, 이 수단은 도 1b에서 블록(18 및 20)을 대체한다.

도 1b에서 점선으로 더 예시한 바와 같이, 중간 뷰 합성 장치(10)는 아마도, 제 1 이미지(14)에서 전경/배경 경계 영역을 검출하는 수단으로서의 전경/배경 경계 검출기(18')와, 제 1 이미지의 전경/배경 경계 영역을 전경 경계 부분과 배경 경계 부분으로 분할하는 수단으로서의 전경/배경 세부 분할기(20')를 또한 포함한다. 다시 말해, 중간 뷰 합성 장치(10)에서, 검출 수단(18)은 제 1 이미지(14)에서 전경/배경 경계 영역을 또한 검출하도록 구성될 수 있고, 수단(20)은 제 1 이미지(14)의 전경/배경 경계 영역을 또한 전경 경계 부분과 배경 경계 부분으로 분할하여, 제 1 이미지(14)가 비-경계 부분, 전경 경계 부분 및 배경 경계 부분으로 또한 분할되도록 구성될 수 있다. 이 경우, 투영-및-혼합 단(22)은, 제 1 및 제 2 이미지(14 및 16)의 비-경계 부분과 전경 경계 부분을 중간 뷰로 투영 및 혼합하여 예비 중간 뷰 이미지(24)를 얻도록 구성될 수 있고, 투영-및-메움 단(26)은, 제 1 및 제 2 이미지(14 및 16)의 배경 경계 부분을 예비 중간 뷰 이미지(24)의 구멍으로 투영하여, 제 1 및 제 2 이미지(14 및 16)의 이 투영된 경계 부분으로 이 구멍을 메우도록 구성될 수 있다.

대안 실시예에 따른 중간 뷰 합성 장치(10)에서, 멀티-뷰 데이터 신호로부터 계층 정보를 얻는 수단은, 멀티-뷰 데이터 신호로부터 제 1 이미지의 비-경계 부분과 배경 경계 부분을 적어도 구별케 하는 계층 정보를 얻을 수 있다. 검출기(18') 및 세부 분할기(20')는 필요치 않을 것이다. 중간 뷰 합성 장치(10)는 대신 방금 언급한 업테이너(obtainer)를 포함할 것이다. 그러나 투영 및 혼합 수단(22)은, 제 2 이미지(12)의 비-경계 부분(16a) 및 전경 경계 부분(16b1)과 제 1 이미지(14)의 비-경계 부분을 중간 뷰로 투영 및 혼합하여 예비 중간 뷰 이미지(24)를 얻도록 구성될 것이며, 투영 및 메움 수단(26)은, 제 1 및 제 2 이미지(14 및 16)의 배경 경계 부분을 예비 중간 뷰 이미지(24)의 구멍에 투영하여, 제 1 및 제 2 이미지(14 및 16)의 이 투영된 배경 경계 부분으로 이 구멍을 메우도록 구성될 것이다.

심지어 대안적으로, 멀티-뷰 데이터 신호는 예컨대 부차적인 정보로서, 제 1 이미지(14)의 비-경계 부분, 전경 경계 부분 및 배경 경계 부분을 구별케 하는 계층 정보를 포함할 수 있다. 이 실시예에 따른 중간 뷰 합성 장치(10)는, 따라서, 제 1 이미지(14)의 비-경계 부분, 전경 경계 부분 및 배경 경계 부분을 구별케 하는 이 계층 정보를 얻는 수단을 포함하며, 여기서 투영 및 혼합 수단(22)은 제 1 및 제 2 이미지(14 및 16)의 비-경계 부분과 전경 경계 부분을 중간 뷰로 투영 및 혼합하여 예비 중간 뷰 이미지(24)를 얻도록 구성될 것이며, 투영 및 메움 수단(26)은 제 1 및 제 2 이미지(14 및 16)의 배경 경계 부분을 예비 중간 뷰 이미지(24)의 구멍에 투영하여, 제 1 및 제 2 이미지(14 및 16)의 이 투영된 배경 경계 부분으로 이 구멍을 메우도록 구성될 것이다.

검출기(18)는, 예컨대, 전경/배경 경계 영역(16b2)을 나타내는 가장자리 주위의 n-샘플-폭 영역을 갖는 깊이 정보(D2)에서 가장자리를 검출하는 가장자리 검출기를 포함할 수 있다. 세부 분할기(20)는, 이제, 이 n-샘플-폭 영역을 전경 경계 부분과 배경 경계 부분으로 분리하도록 구성될 수 있다. n은, 예컨대, 3 및 21 사이일 수 있다(경계값 포함). 예컨대, 세부 분할기(20)는, 전경/배경 경계 영역(16b)의 샘플/픽셀에서의 깊이 정보(D2)의 깊이를 역치와 비교하여 그러한 분리를 실행하여, 샘플/픽셀이 전경 경계 부분(16b1)이나 배경 경계 부분(16b2)에 속하는지에 대해 결정하도록 구성될 수 도 있다. 이러한 점에서, 세부 분할기는, 깊이 정보(D2)의 깊이 값의, 평균값이나 중간값과 같은 중심 경향(central tendency)을 계산하여 이 역치를 유도하도록 구성될 수 도 있다. 특히, 세부 분할기는, 전경/배경 경계 영역(16b)에 속하고 각 샘플/픽셀에 이웃한, 이웃 샘플/픽셀을 기반으로 한 것과 같은 각 샘플/픽셀에 이웃한 샘플/픽셀에서 깊이 정보(D2)의 깊이 값으로부터 전경/배경 경계 영역(16b)의 각 샘플/픽셀에 대한 중심 경향을 계산하여 역치를 국부적으로 유도하도록 구성될 수 도 있다.

제 1 및 제 2 이미지(14 및 16)가 비-경계 영역과 경계 영역으로 분할되는 상기 실시예에서, 투영-및-혼합 단(22)은 제 1 및 제 2 이미지(14 및 16)의 비-경계 부분을 중간 뷰로 투영 및 혼합하며- 이러한 비-경계 부분의 혼합은 제 1 및 제 2 이미지(14 및 16) 사이의 평균화를 포함함 -, 비-경계 중간 뷰 이미지를 얻도록 구성될 수 도 있고, 제 1 및 제 2 이미지(14 및 16)의 전경 경계 부분을 비-경계 중간 뷰 이미지(24)로 투영 및 혼합하도록- 이러한 전경 경계 부분의 혼합은 그 평균화가 아니라, 제 1 및 제 2 이미지(14 및 16)의 전경 배경 부분의 투영으로부터 얻은 동일하게 위치한 샘플과 비-경계 중간 뷰 이미지(24)의 샘플 사이의 선택을 포함함 - 구성될 수 도 있다.

투영 메커니즘에 관한 한, 투영-및-혼합 단(22)과 투영-및-메움 단(26)은, 3D 월드 점을 얻기 위해 관련 깊이 정보(D1 및 D2) 각각을 이용하여 2D로부터 3D로 샘플을 투영하고, 3D 월드 점을 중간 뷰에 투영함으로써 중간 뷰로의 각 투영을 실행하도록 구성될 수 도 있다. 특히, 투영-및-혼합 단(22)과 투영-및-메움 단(26)은, 제 1 뷰 및 제 2 뷰의 투영 매트릭스 사이에 보간에 의해 투영 매트릭스를 계산하고, 투영 매트릭스의 사용에 의해 3D 월드 점의 투영을 실행하도록 구성될 수 도 있다. 실제로, 투영-및-혼합 단(22)과 투영-및-메움 단(26)은, 샘플 위치를 중간 뷰로부터의 편차에 따른 양으로 2차원적으로-또는 픽셀 평면에서- 이동함으로써 중간 뷰로의 각 투영을 실행하도록 구성될 수 도 있다. 물론, 평면 내(in-plane) 이동은, 행/라인 방향을 따라서와 같이 한 방향을 따라서의 이동으로 제한될 수 있으며, 그 이유는, 예컨대 모든 뷰가 수직 방향에서 서로 레스터된 픽셀 라인을 동시에 가진 채로 동일한 크기, 해상도 등을 사용하여 포착되었기 때문이다. 다음에서, 일반 용어, 픽셀 평면에서나 2차원적으로 이동이 사용되며, 이들은 이동을 1차원으로 제한할 개략적으로만 설명한 가능성을 포함해야 한다. 추가로 2차원 보간이 사용될 수 있어, 투영된 점/픽셀의 타겟, 즉 중간, 뷰의 픽셀의 규칙적인 그리드로 매핑할 수 도 있다. 혼합은, 타겟 뷰 이미지를 얻기 위해 제 1 뷰의 투영된 픽셀과 제 2 뷰의 투영된 픽셀 모두를 단지 사용하여 진행될 수 도 있다. 다시, 보간은, 이 투영된 픽셀을 타겟 뷰의 하나의 규칙적인 픽셀 그리드로 통합하는데 사용될 수 도 있다.

나아가, 선택적으로, 중간 뷰 이미지(24)를 필터링 및/또는 나머지 구멍으로의 보간에 의해 중간 뷰 이미지(24)를 향상시키는 인핸서(enhancer)(28)를 제공할 수 있다. 그러한 인핸서(28)는, 중간 뷰 이미지(24)의 전경/배경 경계 영역을 검출하여, 중간 뷰 이미지(24)의 전경/배경 경계 영역 내에서 저역통과 필터링을 실행함으로써 중간 뷰 이미지를 향상시킬 수 있다.

다음에서, 전술한 실시예의 상세한 예가 제 1 및 제 2 이미지가 MVD 또는 LDV 비디오의 일부인 경우에서 기술될 것이고, 중간 뷰 합성 장치가 3DTV 디스플레이 시스템의 일부인 몇 가지 예가 기술될 것이다. 그러나 그 이전에, 복수의 뷰를 효율적으로 코딩하는데 적절한 다른 실시예를 기술한다.

도 1c는, 제 1 뷰에 대응하는 제 1 이미지(34)와 제 1 뷰와는 다른 제 2 뷰에 대응하는 제 2 이미지(36)를 포함하는 멀티-뷰 표시로부터 화살표(32)로 예시되는 멀티뷰 데이터 신호를 추출하는 멀티-뷰 데이터 신호 추출 장치(30)를 도시하며, 제 1 및 제 2 이미지(34 및 36)는 각각 깊이 정보(D1 및 D2)를 포함한다. 멀티뷰 데이터 신호 추출 장치(30)는, 제 2 이미지(36)에서 전경/배경 경계(40)를 검출하는 전경/배경 경계 검출기(38)와, 전경/배경 경계(40)를 따라 제 2 이미지(36)의 왼쪽-먼 경계 부분(44)을 결정하는 왼쪽-먼 경계 부분 검출기(42)를 포함한다. 투영기(46)가, 투영으로 인해 나타난 영역(50)을 갖는 제 2 이미지의 투영된 버전(48)을 얻도록, 배경 왼쪽-먼 부분(44)이 없는 제 2 이미지(36)를 제 1 뷰에 투영하도록 구비된다. 삽입기(52)가 제 2 이미지의 투영된 버전(48) 내에서 나타난 영역(50)의 위치에 응답하여, 제 2 이미지의 투영된 버전 내에서 나타난 영역의 위치에 따라, 제 1 이미지(34)의 부분과 함께 제 2 이미지를 멀티뷰 데이터 신호(32)에 삽입한다.

특히, 멀티-뷰 데이터 신호 추출 장치(30)는, 제 2 이미지의 투영된 버전(48) 내에서 나타난 영역(50)의 위치로부터 멀티뷰 데이터 신호(32)에 삽입될 제 1 이미지(34)의 부분을 결정하는 결정기(54)를 포함할 수 도 있다. 즉, 결정기(54)는, 각각 제 2 이미지의 투영된 버전 내의 나타난 영역(50)이 연장하거나, 영역(50)에 의해 점유되는 제 1 이미지(34)의 영역으로서 멀티뷰 데이터 신호(32)에 삽입될 제 1 이미지(34)의 부분을 결정할 수 있다.

투영기(46)는, 왼쪽-먼 경계 부분(44)이 없는 제 2 이미지(36)를 도 1c에 도시되기보다는 제 2 뷰가 제 1 뷰와 제 3 뷰 사이에 있도록 선택되는 제 3 뷰로 투영하도록 구성될 수 있다. 이러한 식으로, 나타난 영역을 갖는 제 2 이미지의 추가로 투영된 버전을 얻을 수 있고, 삽입기(52)는 제 2 이미지(36), 제 1 이미지(34)의 부분 및 제 3 이미지의 부분을, 또한 제 2 이미지의 추가 투영 버전 내의 나타난 영역의 위치에 따라, 멀티뷰 데이터 신호(32)에 삽입하도록 구성될 수 있다.

삽입기는 부차적인 정보의 형태와 같은 계층 정보를 멀티-뷰 데이터 신호(32)에 삽입하도록 구성될 수 도 있고, 계층 정보는 제 2 이미지(36)의 적어도 비-경계 부분(56)과 왼쪽-먼 경계 부분(44)을 구별한다.

나아가, 선택적으로, 제 2 이미지의 투영으로부터 투영(48)에서 생긴 작은 구멍을 메우고 및/또는 제 2 이미지의 투영된 버전(48)을 필터링하는 단(58)이 투영기(46)와 삽입기(52) 사이에 효과적으로 연결될 수 도 있다.

삽입기(52)는, 제 2 이미지의 투영된 버전(48) 내에서 나타난 영역(50)의 위치에 따라 예컨대 결정기(54)에 의해 선택된 부분으로부터 분리된 제 1 이미지(34)의 나머지 부분을 버리고, 예컨대 각 픽셀 값을 디폴트 값으로 설정하는 것과 같이 그러한 버림을 멀티-뷰 데이터 신호(32)로 알려주도록 구성될 수 도 있다.

검출기(38)는, 전경/배경 경계 검출기(18)의 일부로서 전술한 것과 유사하게, 깊이 정보에서 가장자리를 검출하는 가장자리 검출기를 사용하여 전경/배경 경계(40)를 검출하도록 구성될 수 도 있다. 검출기(48)는 이제, 가장자리 주위의 n-샘플-폭 영역을 전경 경계 부분과 배경 경계 부분으로 분리하도록 구성될 수 있고, 배경 경계 부분은 전술한 왼쪽-먼 부분(44)을 한정한다. 전경 부분은 여기서 관심 대상이 아니며, 따라서 도 1c에서 도시하지 않는다. 따라서, 검출기(48)는 도 1b의 세부 분할기(20)와 유사하게 동작하며, 따라서, 분리는, n-샘플-폭 영역의 샘플에서의 깊이 정보의 깊이를 역치와 비교하여, 샘플이 전경 경계 부분이나 배경 경계 부분에 속해 있는지를 결정하도록 행해질 수 있고, 역치는 이제 전술한 바와 같이 샘플 등에 이웃한 n-샘플-폭 영역의 샘플에서의 깊이 정보의 깊이 값의 중심 경향을 계산하여 유도할 수 도 있다. 도 1b에 더 대응하여, 투영기(48)는, 3D 월드 점을 얻기 위해 관련 깊이 정보를 사용하여 2D로부터 3D로 샘플을 투영하고, 3D 월드 점을 중간 뷰에 투영함으로써, 제 1 뷰로의 각각의 투영을 실행하도록 구성될 수 도 있다. 특히, 투영기(46)는, 제 1 뷰 및 제 2 뷰의 투영 매트릭스 사이의 보간에 의해 투영 매트릭스를 계산하여 이 투영 매트릭스를 사용하여 3D 월드 점의 투영을 실행하도록 구성될 수 도 있다. 일반적으로, 투영기(46)는, 제 1 뷰로부터의 제 2 뷰의 편차에 따른 양으로 샘플 위치를 2차원적으로 이동시킴으로써 중간 뷰로의 각각의 투영을 실행하도록 구성될 수 도 있다.

장치(30)에 의해 얻은 멀티-뷰 데이터 신호(32)는 일반적으로 제 1 뷰에 대응하는 제 1 이미지(34)와, 제 1 뷰와는 다른 제 2 뷰에 대응하는 제 2 이미지(36)에 대한 데이터를 포함하고, 제 1 및 제 2 이미지(34 및 36)는 깊이 정보(D1 및 D2)를 포함한다. 그러나 제 1 이미지(34)의 일부분만이 멀티-뷰 데이터 신호(32)에 포함되는 반면, 그 분리된 부분은 멀티-뷰 데이터 신호(32)에서 버려진다. 포함된 부분은, 제 2 이미지(36)에서 전경/배경 경계(40)를 따라 연장하는 왼쪽-먼 경계 부분(44)이 없는 제 2 이미지(36)를 제 1 뷰에 투영하여 얻은 제 2 이미지(36)의 투영된 버전 내에서 나타난 영역(50)의 위치에 의존한다. 제 1 이미지(34)의 방금 언급한 부분만이 삽입되는 이 멀티-뷰 데이터 신호(32)는 도 1a 및 도 1b에 관련하여 전술한 제 1 이미지(14)의 부분일 수 도 있으며, 이 부분과 제 2 이미지의 투영된 버전이 혼합된다.

다음에서 제공되는 개선된 3DV 시스템에 대한 해법은 본 명세서의 배경기술에서 기술한 바와 같이 MVD로의 확장 및 결합이다. 예로서, MVD(Pos: 뷰포인트, R: 오른쪽 눈, L: 왼쪽 눈, V: 뷰/이미지, D: 깊이)를 기반으로 한 개선된 3DTV 개념을 도시하는 도 20에서, M=3 뷰의 서브세트만이 수신기에 송신된다. 조명으로서 역할하는 이들 뷰의 경우, 샘플-정확한 깊이 맵은 송신기 측에서 생성되어 비디오 신호와 함께 전달되어야 한다. 이 시나리오에서, 각 깊이 값은 원래의 비디오의 각 샘플에 할당된다. 깊이 맵은 도 2에 예시한 바와 같이 종종 회색도 이미지로서 다뤄진다. 디스플레이될 다른 모든 뷰는 수신기에서 DIBR에 의해 생성된다.

MVD 포맷에 기반으로 한 3DV 시스템의 설계는 여전히 연구를 필요로 하고, 어려우며 부분적으로 해결되지 않은 많은 문제를 포함한다. 이것은 멀티뷰 포착, 깊이 추정/생성, 시스템 파라미터화(입력 뷰의 개수 등), 깊이 데이터의 효율적인 압축, 송신 및 렌더링을 포함한다. 다음의 실시예에서, 타겟 수신기 측 렌더링은 실시예에 따라 설명된다.

배경기술에서 기술한 3DV 개념은 수신기에서의 고품질 중간 뷰 보간 알고리즘의 이용 가능성에 의존한다. 보간 아티팩트는 허용 불가능한 품질을 야기할 수 도 있다. 예로 도 20에서 예컨대 위치 2로부터의 가상 뷰만이 볼 수 있다. 스테레오 셋업에서의 통상의 카메라 거리는 5cm이다. 이것이 의미하는 점은, 원래의 뷰(V1 및 V5)가 20cm, DIBR로 다루기 어려운 거리에 걸쳐져 있다는 점이다. 큰 거리 불연속을 갖는 특히 대상의 경계를 따라 발생하는 심각한 아티팩트가 알려져 있다. 다른 한편, 매끄러운 깊이 변형을 갖는 영역을 가상 중간 뷰에 매우 신뢰할 만하게 투영할 수 있다. 이것은 깊이 불연속과 매끄러운 깊이 영역의 분리 처리를 수반한다. 깊이 불연속은 가장자리 검출 알고리즘을 사용하여 깊이 이미지 내에서 쉽게 볼 수 있다.

그러므로 다음에서 제공된 보간 프로세스는 3개의 부분으로 구성된다: 계층 추출(가장자리 검출 및 신뢰할 만한 경계 영역으로의 분리), 계층 투영(영역의 DIBR 분리 및 융화) 및 구멍 메움 & 필터링(보정, 클린업 및 필터링). 계층화된 접근으로 작업한다는 아이디어는, 자유로운 뷰포인트 탐색의 적용을 위해 [30]에서 이미 조사되었고, 여기서 상당한 깊이 불연속을 따른 특정 폭의 경계 계층이 추출되었다. 다음의 접근에서, 이 아이디어는 더 개선된다. 게다가, [30]에서 접근은 렌더링을 위한 간단한 기하학적 프리머티브(primitives)(삼각형)로 동작하지만, 다음의 실시예는 순전히 이미지-기반 3D 워핑(warping)으로 실행된다. 따라서, 3D 그래픽 지원 및 기하학적 모델링이 필요치 않다. 아래쪽에서, 몇 가지 투영 아티팩트가 도입되며, 이들은 다음에서 기술된 바와 같이 제거될 수 도 있다.

다시 말해, 멀티스코픽 3D 디스플레이 상의 비디오용 시스템이, 데이터 표시가 멀티뷰 비디오 플러스 장면 깊이로 구성되는 다음의 설명에서 제공된다. 기껏해야, 3개의 멀티뷰 비디오 신호가 송신되고 있고, 깊이 데이터와 함께 사용되어 수신기에서 중간 뷰를 생성한다. 신뢰할 만한 이미지 영역으로부터 깊이 불연속을 따라 신뢰하지 못할 만한 이미지 영역을 분리하는 그러한 중간 뷰 보간에 대한 접근이 제공된다. 이들 이미지 영역은 서로 다른 알고리즘으로 처리된 후 융화되어, 최종 보간된 뷰를 얻는다. 이전의 계층화된 접근과 대조적으로, 두 개의 경계 계층과 하나의 신뢰할 만한 계층이 사용된다. 게다가, 제공된 기술은 3D 그래픽 지원에 의존하기보다는 이미지-기반 3D 워핑에 의존한다. 향상된 품질의 중간 뷰 생성을 위해, 구멍 메움 및 필터링 방법을 기술한다. 그 결과, 기존의 9-뷰 오토스테레오스코픽 디스플레이에 대한 고품질 중간 뷰가 제공되며, 이것은 개선된 3D 비디오(3DV) 시스템의 적용성을 증명한다.

렌더링 접근의 제 1 부분에서, 원래의 뷰에서의 계층 추출, 신뢰할 만한 깊이 영역 및 신뢰하지 못할 만한 깊이 영역이 구별된다. 원칙적으로, 계층 추출은 도 1b에서의 모듈(18 및 20)의 기능에 대응한다. 대상의 경계를 따른 영역은 신뢰하지 못할 만한 것으로 간주되며, 그 이유는 경계 샘플이 통상 전경/배경 컬러를 혼합하며, 새로운 뷰로의 투영 이후 아티팩트를 만들 수 있기 때문이다. 나아가, 깊이 추정으로부터의 에러가 주로 대상의 경계를 왜곡시킨다. 그러므로 [30]과 유사하게, 주된 계층과 경계 계층을 만드는데 상당한 깊이 불연속이 검출된다. 이에 대해, 깊이 이미지 상에서 동작하고 7-샘플-폭 영역을 검출된 가장자리를 따라서 신뢰하지 못하는 것으로 표시하는 캐니(Canny) 가장자리 검출기[2]가 사용될 수 도 있다. [30]과 대조적으로, 이 영역은 도 2에 도시한 것처럼, 각각 검은색 및 흰색 영역인, 전경 및 배경 경계 계층으로 분리되어, 다음 절에서 기재한 바와 같이 달리 처리되게 된다. 다시 말해, 도 2는 상당한 깊이 불연속을 따른 계층 할당을 도시한다: 전경 경계 계층(검은색), 배경 경계 계층(흰색) 및 주된 계층(회색 값).

이 제 2 부분, 계층 투영은 뷰 보간 알고리즘의 주된 블록이고, 도 1b의 단(22 및 24)의 기능에 대응한다. 입력은 도 2에 도시된 바와 같이, 왼쪽 및 오른쪽 원래의 이미지, 관련 깊이 맵, 관련 카메라 교정 정보, 및 관련 라벨 정보이다. 입력 이미지 둘 모두로부터 서로 다른 표시가 붙여진 영역이 가상 뷰 위치에 분리하여 투영되며, 그 결과는 신뢰도 기준에 따라 융화된다.

중간 뷰 투영은 종래의 이미지-기반 3D 워핑이다: 첫째, 원래의 2D 뷰의 샘플은, 관련 깊이 값과 카메라 교정 정보를 사용하여, 3D 공간으로 투영된다. 둘째, 결과적인 3D 월드 점은 생성될 중간 뷰로 전방 투영된다. 가상 뷰 위치를 한정하고 있는, 제 2 단계에 대한 투영 매트릭스는, 위치 의존 파라미터(λ∈[0...1])를 사용하여, 수반되는 2개의 원래의 뷰의 매트릭스로부터 보간되며, 여기서 λ=0.5가 예컨대 중간 위치를 한정한다. 이것은, 원래의 카메라 사이의 선형 경로 상의 임의의 위치에 대해 공간 선형 보간[24]으로 행해진다.

이 접근 다음에, 두 주된 계층(즉, 도 1a 내지 도 1c에 관해 사용된 문구에 따라 "비경계 부분")은 대응하는 부동점 깊이 데이터(d ₁ 및 d ₂ )에 따라 별도의 컬러 버퍼(l ₁ 및 l ₂ )로 투영되며, 이들로부터 공통의 주된 계층(l _c )이 다음과 같이 만들어진다:

여기서 λ는 전술한 위치 의존 파라미터이고, ε는, 실험에 대해 1.0으로 설정된 시그니피컨스 값(significance value)이다. 이 방법은, 각 뷰로부터 가장 전방 샘플이 사용되거나, 두 샘플이 유사한 깊이 값을 갖는 경우, 이들이 λ-보간됨을 보장한다. 보간은 원래의 뷰 사이의 가능한 조명 차를 더 줄이고, 하나의 원래의 카메라 뷰에서 다른 원래의 카메라 뷰로 탐색할 때 매끄러운 전이를 제공한다. 투영 이후 최종 공통 주된 계층을 도 3에 도시한다. (1)로부터의 보간 처리는 또한 공통 부동점 깊이 버퍼를 만든다.

다음 단계로, 도 1a 내지 도 1c의 표현 중 "전경 경계 부분"인 전경 경계 계층이 투영되어 컬러 및 부동점 깊이에 대한 공통 계층이 전술된 주된-계층-방법과 유사하게 만들어진다. 그 후, 공통 주된 및 전경 경계 계층이 혼합된다. 여기서 간단한 깊이 테스트가 사용된다: 대부분 전경 경계 샘플인, 어느 계층으로부터의 최전방 샘플을 취한다. 이제까지, 기능은 단(22)의 기능에 대응했다.

투영 처리의 최종 단계에서, 도 1a 내지 도 1c의 배경 부분인 배경 경계 계층이 투영된다. 이 정보는 중간 뷰에서 남은 구멍을 메우는데만 사용된다. 이것은 도 10의 단(24)의 기능에 대응한다. 공통 주된 계층은, 도 3에서 도시될 바와 같이, 전경 대상 주위의 대부분의 샘플을 이미 커버하므로, 소수의 배경 경계 샘플만이 사용되며, 그에 따라 원래의 뷰로부터의 대상 경계에서의 컬러-왜곡된 샘플은 생략된다. 이들은, 간단한 3D 워핑 알고리즘을 사용하여 배경 영역 내에 코로나형(corona-like) 아티팩트를 만드는 것으로 알려져 있고, 이러한 아티팩트는 2개의 서로 다른 종류의 경계 계층을 갖는 계층 접근에 의해서는 회피되는 것이다.

알고리즘, 구멍 메움 및 필터링의 최종 부분은 정정, 클린업 및 필터링 처리이다. 이것은 도 1b의 인핸서(28)의 기능에 대응한다. 2 타입의 구멍이 이 단에서 렌더링된 이미지에서 여전히 일어날 수 있다: 작은 크랙과 더 큰 손실 영역. 제 1 타입의 구멍은 작은 크랙이며, 이것은 전체 이미지 영역에서 일어날 수 있고, 이미지-기반 3D 워핑의 전방 매핑 속성에 의해 초래된다. 원래의 이미지로부터의 각 지점은 분리되어 중간 뷰에 투영되며, 일반적으로 부동점 좌표 상에 놓인다. 이 위치는 정수 샘플 래스터(integer sample raster)의 최근접 이웃 위치로 양자화된다. 불행히도, 양자화는, 도 3에서 얇은 검은 선으로 볼 수 있는, 메워지지 않은 몇몇 샘플을 남겨둘 수 있다. 일부 경우, 전경 영역에서의 그러한 크랙은, 다른 원래의 이미지로부터의 배경 정보에 의해 메워진다. 이것은 도 4에서, 왼쪽에 도시한 아티팩트를 결국 야기하며, 여기서 배경 샘플이 전경 대상을 지나쳐 빛을 낸다(shine). 도 4에서, 윗 라인은 다른 아티팩트를 도시하는 반면, 아래 라인은 아티팩트 제거 이후, 특히 크랙 샘플 제거(왼쪽), 영역 메움(중간) 및 가장자리 매끄럽게 함(smoothing)(오른쪽) 이후의 동일 부분을 도시한다.

그러한 아티팩트는, 수평, 수직 또는 대각선 방향으로 그 2개의 이웃 값으로부터 상당히 다른 깊이 값을 찾음으로써 검출된다. 그 후, 이들은 중간 필터링으로 메워진다. 즉 할당된 정확한 깊이 값을 갖는다고 가정할 경우 이웃한 컬러 값의 중간 값을 계산함으로써 메워진다. 그러한 아티팩트의 정정이 또한 도 4의 왼쪽에 도시된다.

제 2 타입의 구멍은 더 큰 손실 영역을 포함한다. 이들 구멍은 에러 깊이 값으로 인해 일어나거나, 원래의 뷰에서 겹쳐져 있지만, 중간 뷰에서는 볼 수 있게 된 영역이다. 그러한 더 큰 구멍은, 도 4의 중간에 도시한 바와 같이, 이웃한 이용 가능한 배경 정보로 메워진다. 여기서, 구멍 경계를 따라서 대응하는 깊이 값은 분석되어 홀 영역에 외삽될 배경 컬러 샘플을 찾는다. 이 접근은 깊이 에로로 인한 손실 영역에 대해 우수한 메움 결과를 이끌지만, 나타난 부분에 대한 메움은 종종 전경 정보로부터 부정확하게 취해져 잘못된 컬러를 나타낸다.

마지막으로, 전경 대상은 가장자리를 따라 저역통과 필터링되어, 도 4의 오른쪽에 도시한 바와 같이, 자연적인 모습을 제공한다. 원래의 뷰에서, 대상 경계 샘플은 이미지 포착 동안의 초기 샘플링 및 필터링으로 인한 전경-배경의 컬러 혼합이다. 우리의 계층 접근에서의 렌더링된 중간 뷰에서, 이들 혼합된 컬러 샘플은 종종 배제되어, 배경에서 코로나 아티팩트를 회피한다. 결국, 일부 전경-배경 경계는, 전경 대상이 인공적으로 장면에 삽입된 것처럼, 부자연스럽게 선명해(sharp) 보인다. 그러므로 전술한 캐니 가장자리 검출 필터가 최종 깊이 정보에 적용되어, 가장자리를 식별케 하며, 평균 저역통과 필터가 대응하는 컬러 샘플에 적용되어 더 자연스런 모습을 제공한다. 또한, 이러한 필터링은 깊이 불연속을 따라 남은 아티팩트를 감소시키는 것을 돕는다.

모든 처리 단계 이후의 결과적인 중간 뷰를 도 5에 도시하며, 이 도면은 필터링 이후의 최종 중간 뷰 보간을 도시하며, 도 1b에서 중간 뷰 이미지(12)에 대한 예이다. 여기서, 두 원래의 카메라 사이의 중간 뷰는 합성된다. 즉 λ=0.5이고, 이것은 이 경우 두 원래의 카메라에 대해 10cm의 물리적인 거리에 대응한다. 가상 뷰는 아티팩트를 볼 수 없는 뛰어난 품질을 갖는다.

뷰 보간기의 목적은, MVD 표현의 M개의 뷰 플러스 깊이로부터 3DV 시스템을 위한 N개의 입력 뷰를 만드는 것이다. 한 예로 필립스의 오토스테레오스코픽 디스플레이가 있으며, 여기서는 눈-거리(대략 5cm)를 갖는 9개의 뷰가 입력으로서 필요하다. 도 20에 예시한 바와 같은 셋업의 경우, 결과적인 9개의 뷰 중 5개가 발레 및 브레이크댄서 데이터 세트를 위해 도 6에 도시된다. 이들 데이터 세트의 카메라 간격은 20cm이다. λ={1/4, 1/2, 3/4}인 중간 뷰는 두 개의 원래의 카메라 사이에서 만들어졌다. 도 6에서 가장 왼쪽 및 가장 오른쪽 이미지가 원래의 뷰이다. 이들 사이의 세 개의 이미지가 가장 뷰이지만 임의의 아티팩트를 보이지 않는다. 쌍 와이즈(pair wise) 스테레오스코픽 뷰가 모션 패럴렉스와 3D 깊이 감을 지원하는데 이용 가능하다. 다시 말해, 도 6은, 9-뷰 오토스테레오스코픽 디스플레이에 대해 스테레오 쌍 거리에서 5개의 뷰를 도시한다: 2개의 뷰는 원래의 카메라 위치(가장 왼쪽 및 가장 오른쪽)에서이고, 중간 뷰는 발레(위)와 브레이크댄서 시퀀스(아래)에 대한 것이다.

상기 예를 요약하면, 멀티뷰 플러스 깊이(MVD) 표현을 기반으로 한 개선된 3D 비디오(3DV) 시스템에 대한 개념을 기술하였다. 이 개념은, 데이터 율, 품질 및 기능 면에서, MVC 또는 MPEG-C 3부를 기반으로 한 대안적인 개념에 비해 분명한 장점이 있다. 특히, 고품질 중간 뷰 보간 알고리즘의 이용 가능성이 이 개념을 실현 가능하게 하는 중요한 편견이다. 렌더링된 뷰에서 아티팩트를 최소화하는 적절한 접근을 앞서 제공하였다. 이것은 순전히 이미지-기반 3D 워핑을 기반으로 하고 3D 그래픽 지원을 필요로 하지 않는다. 방금 기술한 이 실시예는 깊이 불연속을 따라 신뢰할 수 없는 이미지 영역에 대해 분리된 전경과 배경 경계 계층을 초래한다. 경계 및 신뢰할 만한 계층은 분리해서 처리되어, 출력이 신뢰도 기준에 따라 융합된다. 더 나아가, 구멍 메움 알고리즘은 중간 뷰에서 손실 컬러 정보를 생성하도록 구현되었다. 상당한 깊이 불연속을 따라서의 컬러 샘플의 최종 저역통과 필터링은 더 자연스런 모습을 제공할 수 있고, 가장자리를 따라 나머지 아티팩트를 감소시킨다. 뷰 보간은 위치-의존 파라미터에 의해 제어될 수 있고, 이것은 원래의 뷰 사이의 조명차로부터 영향을 감소시킨다. 이를 통해, MVD를 기반으로 한 3DV 개념에 필요한 고품질 중간 뷰 렌더링이 증명되었다.

다음 설명은, 제 1 실시예와 비교하여 더 상세하게 기술되는 본 발명의 제 2 실시예에 대한 것이다. 다시, 이 실시예는, 기술이 성숙해지면서 급속하게 성장하고 있는 3D 비디오 응용 및 시스템에 더 많은 관심을 집중하고 있다. 멀티뷰 오토스테레오스코픽 디스플레이는 가정 내 사용자 환경에서 중요한 역할을 할 것이라고 예상되며, 그 이유는, 이들 디스플레이가 복수 사용자 3D 느낌 및 모션 패럴렉스 감을 지원하기 때문이다. 매우 많은 데이터 율은, MVC 또는 MPEG-C 3부와 같은 표현 및 코딩 포맷에 의해 효율적으로 다뤄질 수 없다. 멀티뷰 비디오 플러스 깊이는, 그러한 개선된 3DV 시스템을 효율적으로 지원하는 새로운 포맷이지만, 이것은 고품질 중간 뷰 합성을 필요로 한다. 이 때문에, 이후에 제공된 접근은 깊이 불연속을 따라 신뢰할 수 없는 이미지 영역을 신뢰할 만한 이미지 영역으로부터 분리하며, 이들은 분리해서 다뤄져 최종 보간된 뷰에 융합된다. 이전 계층 접근과 대조적으로, 다음의 알고리즘은 2개의 경계 계층과 하나의 신뢰할 만한 계층을 사용하며, 이미지-기반 3D 워핑만을 실시하고 3D 그래픽 지원에 의존하지 않는다. 더 나아가, 다른 구멍-메움 및 필터링 방법이 추가되어 고품질 중간 뷰를 제공한다. 그 결과로, 기존의 9-뷰 오토스테레오스코픽 디스플레이에 대한 고품질 중간 뷰가 제공되며, 이것은 개선된 3DV 시스템에 대한 접근의 적절성을 입증한다. 이 개념은 고품질 중간 뷰 합성 알고리즘에 의존한다. 그러한 DIBR 또는 3D 워핑의 일반적인 공식을 이후에 제공한다. DIBR은, 깊이 불연속을 갖는 대상 경계를 따라 특히 발생하는 눈에 띄는 아티팩트를 생성하는 것으로 알려져 있다. 그러므로 다음의 실시예는 새로운 DIBR 알고리즘을 도입하며, 이 알고리즘에서, 깊이 불연속은, 신뢰할 만한 영역과 신뢰할 수 없는 영역으로 표시된 이미지 영역을 갖는 계층 접근으로 다뤄진다. 결과 및 표준 3D 워핑에 대한 개선을 그 후에 제공한다. 마지막으로, 제 2 실시예를 요약한다.

먼저, 깊이-기반 중간 뷰 합성을 공식으로 나타낸다. 3DV 프레임워크 내에서, 우리는, 각 원래의 뷰(k)에 대해 컬러 데이터(l _k ), 깊이 데이터(d _k ) 및 카메라 파라미터의 형태로 주어진 입력 데이터를 취한다. 이 데이터는 l _k 의 경우 포착 처리에 의해, 그리고 d _k 의 경우 관련 깊이 카메라나 깊이 추정 처리에 의해 제공될 수 도 있다. 예컨대, 개선된 3DTV 개념에 대한 원래의 뷰가 k∈{1, 5, 9}에 대해 도 20의 아래에 도시된다. 각각의 원래의 뷰(k)에 대한 카메라 파라미터는 인트린식 매트릭스(intrinsic matrix)( K _k )에서의 인트린식 파라미터(초점거리, 센서 스케일링, 원리 점)와, 회전 매트릭스( R _k )와 병진 벡터( t _k )를 갖는 익스트린식 매트릭스(extrinsic Matrix)[ R _k ｜ t _k ]에서의 익스트린식 파라미터(회전, 병진) 형태로 주어진다. 이들은 종래의 카메라 교정 알고리즘([27], [6], [9])에 의해 얻을 수 있다. 보통, 익스트린식 및 인트린식 매트릭스는 곱해져, 투영 매트릭스( P _k = K _k [ R _k ｜ t _k ])를 얻으며, 이러한 투영 매트릭스는 3D 월드 점을 원래의 카메라 뷰(k)의 이미지 평면에 투영한다. 따라서, 원래의 뷰는 각 픽셀 위치(u _k , v _k )에 대해 다음과 같이 주어진다:

이 프레임워크는 (1)의 형태로, 다수의 희박한(sparse) 원래의 카메라를 제공한다. 뷰 합성 작업은, 이웃한 원래의 카메라의 임의의 쌍 사이에 빽빽한 중간 뷰를 제공한다. 이 보간 처리의 수학적 유도를 위해, 2개의 원래의 뷰(k 및 n)가 (1)에 따라 주어진다. 2개의 카메라 사이의 임의의 가상 뷰 위치의 경우, 보간 파라미터(λ∈[0...1])가 도입되고, 여기서 λ=0은 제 1 원래의 뷰 위치를 지칭하고, λ=1는 제 2 원래의 뷰 위치를 지칭하며, λ=0.5는 예컨대 중간 위치를 한정한다. 중간 뷰(l _λ (u _λ , v _λ ))에 대해, 관련 인트린식 및 익스트린식 매트릭스가 먼저 계산된다:

여기서, 회전 매트릭스에서의 파라미터를 제외하고(여기서 공간 선형 보간[24]이 사용되어 매트릭스 직교 규격화를 보존하는데 사용됨), 모든 파라미터가 선형적으로 보간된다. 이를 위해, 두 매트릭스의 열 벡터(R _k 및 R _n)는 별도로 보간되어 R _λ의 열 벡터를 얻는다. 이 계산은 매트릭스(R _λ)의 제 1 열 벡터(R _λ(i,1))에 대해 예시적으로 나타낸다:

α_i→0의 경우, 관련 열 벡터는 평행하고, 구형 선형 보간(spherical linear inerpolation)은 보통의 선형 보간으로 간략화된다. 다른 2개의 열 벡터가 그에 따라 계산된다. 보간된 인트린식 및 익스트린식 매트릭스로부터, 중간 뷰 투영 매트릭스가 그에 따라 계산된다: P _λ = K _λ [ R _λ ｜ t _λ ]. 다른 방법이 텐서 공간([1]) 및 디스패리티 스케일링([5], [19], [23], [3])을 기반으로 해서 3개의 독립된 원래의 뷰로부터 중간 뷰 투영을 계산하여, 중간 뷰에서 픽셀 위치를 어드레스한다. 보간의 경우, 원래의 카메라 뷰(l _k (u _k , v _k ) 및 l _n (u _n , v _n ))로부터의 모든 컬러 값이 그 관련 픽셀 위치를 투영하여 중간 뷰로 투영한다.

다음의 고려사항은 뷰(k)에 대해서만 실행되며, 그 이유는 계산이 뷰(n)와 유사하기 때문이다: 뷰(k)에 대해, 관련 픽셀 위치(u _k , v _k )는 역 투영 매트릭스( P _k ^-1 )를 사용하여 먼저 3D 공간에 투영된다. 이 투영은 분명치 않으며, 그 이유는 카메라 평면으로부터의 하나의 2D 픽셀 점이 카메라 초점과 픽셀 위치 점을 통해 직선상에 투영되기 때문이다. 그러므로 깊이 데이터(d _k (u _k , v _k ))는 정확한 3D 위치를 결정하는데 필요하다. 종종, 깊이 데이터는 스케일 및 양자화된 형태로 제공되어, 진정한 값(z _k (u _k , v _k ))을 먼저 얻어야 한다. 통상의 스케일링은 다음의 함수를 갖는 역 깊이 스케일리이다([10]):

여기서 깊이 데이터(d _k (u _k , v _k ))는 범위([0...1])로 원래 공칭화되고, z _{k , near} 및 z _{k , far} 는 각각 3D 장면의 최소 및 최대 깊이 값이다.

다음 단계에서, 3D 점은 중간 뷰에 전방 투영된다. 두 투영을 결합하여, 점-대-점 호모그래피는 다음과 같이 기록할 수 있다:

이 표기법은 일반적인 평면-대-평면 호모그래피 공식과 다르며, 그 이유는 깊이 값(z _k 및 z _λ )이 2D 이미지 평면과 3D 월드 좌표 사이의 일-대-일 매핑에 대해 (5)에서 유지되기 때문임을 주의해야 한다. 이 매핑은 뷰(k)로부터의 모든 픽셀 위치(u _k , v _k )에 대해 실행된다. 중간 뷰의 특정한 위치(u _λ , v _λ )에서 컬러 값을 얻기 위해, 위치(u _λ , v _λ )에 매핑하는 뷰(k)로부터의 모든 컬러 값(l _k (u _k , v _k ))이 수집된다. 다음으로, 최소 투영된 깊이(z _{min ,λ,k} )를 갖는 최전방 픽셀이 선택된다:

3D 장면 구조에 따라, 위치(u _λ , v _λ )에 매핑하는 뷰(k)로부터의 픽셀의 개수는 변경될 수 있고 다음의 경우를 지칭한다:

- 0픽셀: 중간 뷰에서 나타남

- 1픽셀: 정상적으로 투영된 내용

- 2...N픽셀: 겹침.

컬러 투영의 경우, 원래의 뷰에서의 관련 위치(u _{k , min} , v _{k , min} )가 필요하다:

이 위치는 끝으로 중간 뷰에서 뷰(k)로부터의 컬러 기여(contribution)(l _λ,k (u _λ ,v _λ ))를 결정한다:

(5) 내지 (8)의 상기 처리는 컬러 기여(l _λ,n (u _λ ,v _λ ))를 얻기 위해 뷰(n)에 대해 반복된다:

두 개의 뷰에서 기여를 결합하여, 원래의 뷰(k 및 n) 사이의 일반적인 중간 뷰 보간이 공식화될 수 있다:

최종 컬러 값(l _λ (u _λ ,v _λ ))은, 두 개의 뷰로부터의 최소 투영된 깊이 값을 갖는 두 개의 투영된 컬러 값(l _k (u _{k , min},v _{λ, min}) 및 l _n (u _{n , min},v _{n , min}))으로부터 보간된다. 실제 데이터의 경우, 이 일반적인 수학적 설명은, 섹션 0에 나타낸 바와 같이, 부정확한 입력 데이터, 예컨대 에러 깊이 값을 감안하여 엄밀하게 정련될 필요가 있다. 계층 중간 뷰 합성에 대한 다음의 구현에서, 컬러 및 깊이 데이터의 모든 픽셀 위치 첨자(u,v)는, 이들이 이 문단에서 나타낸 일반적인 경우와 다르지 않다면, 간략화를 위해 생략된다.

도 1a 내지 도 1c에 관해 전술한 모든 투영에 대한 예로서 역할하는, 상기 일반 투영 처리를 규정한 이후, 실제 데이터에 대한 적응, 즉 계층 중간 뷰 합성의 구현을 여기서 기술한다. 조금 전에 기재한 3DV 개념은 수신기에서 고품질 중간 뷰 합성 알고리즘의 이용 가능성에 의존한다. 뷰 합성에 관한 이전의 접근은 충분한 겹침 조작 없이 간단한 개념에 집중하거나([14], [5], [21], [13]), 복잡한 점-기반 표현을 생성한다[4]. 그러나 보간 아티팩트는 허용 불가능한 품질을 야기할 수 도 있다. 도 20의 예에서 예컨대 위치 2로부터만 가상 뷰를 볼 수 있다. 스테레오 셋업에서의 통상의 카메라 거리는 5cm이다. 이것이 의미하는 점은 원래의 뷰(V1 및 V5)가 DIBR을 조작하기 어려운 거리인 20cm에 걸쳐 있다는 점이다. 심각한 아티팩트는 큰 깊이 불연속을 갖는 대상 경계를 따라서 특히 발생하는 것으로 알려져 있다. 다른 한편, 매끄러운 깊이 변형을 갖는 영역은 매우 신뢰할 만하게 가상 중간 뷰에 투영될 수 있다. 이것은 깊이 불연속과 매끄러운 깊이 영역의 분리된 처리를 수반한다. 깊이 불연속은 가장자리 검출 알고리즘을 사용하여 깊이 이미지 내에서 쉽게 볼 수 있다.

그러므로 다음의 뷰 합성 처리는 세 부분으로 구성된다: 계층 추출(가장자리 검출 및 신뢰할 만한 영역과 경계 영역으로의 분리), 계층 투영(영역의 분리된 DIBR 및 융합) 및 중간 뷰 인핸스먼트(정정, 클린업 및 필터링). 처리의 개요가 도 7에 도시되며, 그러므로 이 도면은 합성 방법의 구조적 개요를 도시한다: 우리의 방법에 대한 입력 데이터는, 도 1b에 대한 대응관계를 강조하기 위해 V1, V2, D1 및 D2로 표시된 두 측면 뷰에 대한 원래의 컬러 및 픽셀 당 깊이 데이터이다. 실선 화살표는 컬러 처리를 나타내는 반면, 점선 화살표는 투영 또는 가장자리 검출 목적을 위한 깊이 처리나 깊이 데이터 이용을 나타낸다. 깊이 정보로부터, 계층은 상당한 깊이 불연속을 따라 추출되고(70), 이 추출은 도 1b의 블록(18, 18', 20 및 20')의 기능에 대응한다. 도 7의 다음 단에서, 표시된 컬러 버퍼로부터의 모든 계층이 중간 뷰를 위해 분리된 계층 버퍼(74a 내지 d)에 투영된다(72). 중간 뷰는, 먼저 두 개의 투영된 주된 계층(74c 및 74d)을 혼합(76)하여 만들어진다. 결국, 전경 및 배경 경계 계층이 더 후술될 바와 같이 더해진다. 끝으로, 구멍 메움 및 가장자리 매끄럽게 함과 같은 이미지 인핸스먼트(78)가 최종 중간 뷰를 만드는데 적용된다.

계층 접근으로 작업한다는 아이디어는, 프리 뷰포인트 탐색의 적용을 위해 [30]에서 이미 조사되었고, 여기서 상당한 깊이 불연속을 따라서 특정한 폭의 경계 층이 추출되었다. 이 접근은 여기서 더 개선된다. 게다가, [30]에서 접근이 렌더링을 위해 간단한 기하학적 프리머티브(삼각형)로 동작하는 데 반해, 도 7의 실시예는 순전히 이미지-기반 3D 워핑으로 작업한다. 따라서, 3D 그래픽스 지원 및 기하학적 모델링이 필요치 않다. 아래쪽에서, 도 7의 접근은 더 후술될 바와 같이 몇 가지 투영 아티팩트를 초래하지만, 이들은 제거될 수 있다.

계층 추출(70)은 모듈(18, 18', 20, 20')의 기능에 대응한다. 렌더링 접근의 이 제 1 부분에서, 원래의 뷰의 신뢰할 만한 깊이 영역과 신뢰할 수 없는 깊이 영역을 구별한다. 대상 경계를 따라서의 영역은 신뢰할 수 없는 것으로 간주되며, 그 이유는 경계 샘플이 보통 전경/배경 컬러와 혼합되었고, 새로운 뷰에 투영한 후 아티팩트를 만들 수 있기 때문이다. 나아가, 깊이 추정으로부터의 에러는 대상 경계를 주로 왜곡한다. 그러므로 [30]과 유사하게, 상당한 깊이 불연속이 검출되어 주된 계층과 경계 계층을 만든다. 이 때문에, 깊이 이미지 상에서 동작하는 내용-적응하는 시그니피컨스 역치(우리의 실험에서는 110)를 갖는 캐니 가장자리 검출기[2]가 사용될 수 도 있다. 7-샘플-폭 영역은 검출된 가장자리를 따라 신뢰할 수 없는 것으로 표시될 수 도 있다. [30]과 대조적으로, 이 영역은 도 2에 도시한 바와 같이 검은색 및 흰색 영역인 전경 및 배경 경계 계층으로 분리되며 그에 따라 각각은 다음의 하위절에서 기재한 바와 같이 다른 처리를 허용한다.

계층 투영(72)은 도 1b의 모듈(22 및 26)의 기능에 대응한다. 계층 투영(72)은 상술한 깊이-기반 중간 뷰 합성의 일반 공식을 확장한다. 처리 체인의 이러한 제 2 부분은 뷰 합성 알고리즘의 중요한 블록이다 입력은 왼쪽 및 오른쪽 원래의 이미지, 관련 깊이 맵, 관련 카메라 교정 정보, 앞서 제공된 모든 보간 파라미터(λ∈[0...1]), 및 도 2에 도시된 관련 표지 정보이다. 두 입력 이미지로부터의 서로 다른 표지가 붙은 영역은 분리해서 가상 뷰 위치에 투영되어, 결과는 깊이 순서 및 신뢰도 기준에 따라 융합된다.

앞서 제공된 일반 접근에 따라, 두 개의 주된 계층은, 대응하는 부동점 실제 깊이 데이터(z ₁ 및 z ₂ )를 사용하여, 분리된 컬러 또는 컬러 버퍼(l ₁ 및 l ₂ )에 투영된다. 이로부터, 공통의 주된 계층(l _{M ,λ} )이 다음과 같이 일반 보간 공식(10)을 변경하여 만들어진다:

여기서 ε는 시그니피컨스 값을 나타내고, 이 값은 실험에 있어 1.0으로 설정되었으며, z _λ,1 및 z _λ,2 는 투영된 깊이 값 w.r.t. 중간 뷰를 나타낸다. 이들 투영된 깊이 값은 두 개의 컬러 값의 깊이 순서를 결정하는데 사용된다. (11)의 방법은, 각 뷰로부터의 가장 전방 샘플이 사용되거나, 두 샘플이 유사한 투영 깊이 값을 갖는 경우 λ-보간됨을 보장한다. 보간은 원래의 뷰 사이의 가능한 조명 차이를 더 감소시키며, 하나의 원래의 카메라 뷰로부터 다른 카메라 뷰로 탐색할 때 매끄러운 전이를 제공한다. 투영 이후의 결과적인 공통 주된 계층이 도 8a에 도시된다. 보간 처리(11)는 공통 부동점 깊이 버퍼(z _{M ,λ} )를 또한 만든다:

그 다음 단계에서, 전경 경계 계층(l _{F ,1} 및 l _{F ,2} )이 투영되고, 컬러(l _{F ,λ} ) 및 부동점 깊이(z _{F ,λ} )에 대한 공통 계층은 (12)에 기술된 주된-계층-방법과 유사하게 만들어진다. 그 후, 공통 주된 및 전경 경계 계층은 혼합된다:

여기서, 간단한 깊이 테스트만이 사용된다: 대부분 전경 경계 샘플인, 어느 계층으로부터의 최전방 샘플을 취한다. 새로운 공통 컬러 계층(l _{FM ,λ} ) 외에, 관련 깊이 층(Z _{FM ,λ} )은 (12)와 유사하게 만들어진다. 결과는 도 1b의 블록(22)의 출력에 대응한다.

투영 처리의 마지막 단계에서, 배경 경계 계층(l _{B ,1} 및 l _{B ,2} )은 l _{B ,λ} 에 혼합되어 투영되어:

(12)와 유사한 최종 컬러 또는 컬러(l _λ ) 및 깊이(z _λ )를 만든다. 배경 계층 정보는 중간 뷰에서 빈 영역을 메우는데만 사용되며, 이 단계는 도 1b의 블록(26)에 대응한다. 공통 주된 계층(l _{FM ,λ} )이, 도 8a에 도시된 바와 같이, 전경 대상 주위의 대부분의 샘플을 이미 커버하므로, 단지 소수의 배경 경계 샘플이 사용되어 원래의 뷰로부터의 대상 경계에서의 컬러-왜곡된 샘플은 생략된다. 이들은, 간단한 3D 워핑 알고리즘을 사용하여 배경 영역 내에서 코로나형 아티팩트를 만드는 것으로 알려져 있고, 이러한 아티팩트는 2개의 서로 다른 종류의 경계 계층을 갖는 우리의 계층 접근에 의해 회피된다. 결과 또는 계층 투영 이후의 중간 뷰가 도 8b에 도시되어 있다.

중간 뷰 인핸스먼트(78)는 도 1b의 모듈(28)의 기능에 대응한다. 알고리즘의 이 마지막 부분은 계층 투영 이후의 후-처리를 제고하며, 정정, 클린업 및 필터링 처리를 포함한다. 2 타입의 구멍이 여전히 이 단에서 렌더링된 이미지에 발생할 수 있다: 작은 크랙 및 더 큰 손실 영역. 제 1 타입의 구멍은 작은 크랙이고, 이것은 전체 이미지 영역에서 발생할 수 있고, 이미지-기반 3D 워핑의 전방 매핑 속성에 의해 초래된다. 원래의 이미지로부터의 각 지점은 분리해서 중간 뷰 내에 투영되고, 일반적으로 부동점 좌표에 속한다. 이 위치는 정수 샘플 래스터의 최근접 인근 위치로 양자화된다. 불행히도, 양자화는, 도 8a 및 도 8b에서 가는 검은색 선으로 볼 수 있는 것처럼 일부 샘플이 메워지지 않은 채로 남겨 지게 할 수 있다. 일부 경우, 전경 영역에서 그러한 크랙은 다른 원래의 이미지로부터의 배경 정보에 의해 메워진다. 이것은 도 3의 왼쪽에 도시한 바와 같은 아티팩트를 야기하며, 여기서 배경 샘플은 전경 대상을 지나쳐 빛을 낸다.

그러한 아티팩트는, 수평, 수직, 또는 대각선 방향에서 두 이웃 값보다 상당히 더 큰 깊이 값을 찾음으로써 검출된다:

이것은 전경 영역 내의 배경 픽셀을 나타낸다. 방향 시그니피컨스 값으로부터, 최대 값(g_max)이 계산된다:

g_max가 특정 역치(우리의 실험에서 40)를 초과한다면, 컬러 값(l _λ (u _λ , v _λ )은, 할당된 정확한 깊이 값을 갖는다는 점을 가정하면 이웃 컬러 값의 중간 값으로 대체된다. 그러한 아티팩트의 정정은 또한 도 3의 왼쪽에 도시된다.

제 2 타입의 구멍은 더 큰 손실 영역을 포함한다. 이들은 에러 깊이 값으로 인해 발생하거나, 원래의 뷰 둘 모두에서 겹치는 반면, 중간 뷰에서 볼 수 있게 되는 영역이다. 그러한 더 큰 구멍은, 도 3의 중간에 도시된 바와 같이, 이웃한 이용 가능한 배경 정보와 라인-와이즈(line-wise) 방식으로 현재 메워진다. 여기서, 두 구멍 경계 픽셀에서의 두 개의 대응하는 깊이 값은, 배경 컬러 샘플을 찾아 구멍 영역에 외삽하기 위해 분석된다. 배경 픽셀의 이러한 간단한 일정-컬러 외삽은, 두 값 사이의 구속받지 않는 선형 보간보다 더 양호한 결과를 초래한다. 종종, 구멍 경계 픽셀 중 하나는 전경 대상에 속하고, 그 컬러 색은 구멍으로의 컬러 블리딩(color bleeding)을 초래할 것이다. 이 접근은, 깊이 에러로 인한 손실 영역에 우수한 메움 결과를 초래한다. 나타난 영역을 위한 메움인 경우, 구멍 경계 픽셀 둘 모두는 종종 전경 픽셀이며, 전경 컬러는 부정확하게 배경 구멍에 외삽된다.

여기서, 희박한 뷰로부터의 뷰 보간의 기본적인 문제 중 하나가 발생하며, 이들 문제는 중간 뷰에서의 나타남이고, 여기서 원래의 정보는 어느 뷰에서도 이용 가능하지 않다. 이 때문에, 일반 해법은 존재하지 않는다. 일부 경우에, 구멍 메움 알고리즘은, 전경 대상이 필요한 배경 정보를 드러내기에 충분히 움직인 경우, 이전 또는 장래의 프레임에서 추가 데이터에 대해 희망하는 시간 치수로 확장될 수 있다. 그러나 모션 정도는 예측될 수 없으므로, 이 접근은 제한이 있고, 우리의 구현 방법에서는 고려되지 않았다.

끝으로, 전경 대상은 가장자리를 따라 저역통과 필터링되어 도 3의 오른쪽에 도시한 바와 같이 자연적인 모습을 제공한다. 원래의 뷰에서, 대상 경계 샘플은, 이미지 포착 동안에 초기 샘플링 및 필터링으로 인한 전경-배경의 컬러 혼합이다. 우리의 계층 접근의 렌더링된 중간 뷰에서, 이들 혼합된 컬러는, 배경 영역에서 코로나 아티팩트를 회피하기 위해 종종 배제된다. 결국, 전경 대상이 인공적으로 장면 내에 삽입된 것처럼, 일부 전경-배경 경계는 부자연스럽게 선명해 보인다. 그러므로 전술한 캐니 가장자리 검출 필터[2]는 중간 뷰의 최종 깊이 정보(z _λ )에 적용되어, 캐니 시그니피컨스 역치(η)(우리의 실험에서 η=50)를 초과해 깊이 그레디언트(｜∇z _λ ｜)를 갖는 가장자리를 검출한다. 그 후 컬러 버퍼는, 대응하는 상당한 깊이 가장자리에서 두 공간 방향에서 평균적인 3-탭 저역통과 필터로 컨벌브되어(convolved) 더 자연스런 모습을 제공한다:

추가로, 필터링은 깊이 불연속을 따라 남은 아티팩트를 줄이는 것을 돕는다.

뷰 합성 예를 다음에 제공한다. 필터링 및 모든 처리 단계 각각 이후의 결과적인 중간 뷰 또는 최종 중간 뷰 합성을 도 5에 도시한다.

여기서, 두 원래의 카메라 사이의 중간 뷰가 합성된다, 즉 λ=0.5이고, 이것은 이 경우 두 개의 원래의 카메라로의 10cm의 물리적인 거리에 대응한다. 가상 뷰는 가시적인 아티팩트가 없는 우수한 품질을 갖는다.

렌더링된 뷰의 세부 내용이 도 9에 도시되며, 이 도면은 따라서 간단한 혼합 및 우리가 제안한 방법에 대한 중간 뷰의 세부 내용을 도시한다. 윗 행은 섹션 0에서 소개한 특정 처리 단계가 없는 표준 3D 워핑의 예를 도시한다. 코로나 아티팩트가 전경/배경 경계에서 발생한다. 일부 어두운 전경 픽셀이 더 밝은 배경 영역에 실수로 추가되어, 결국 대상 주위에 전형적인 코로나 타입의 추가 윤곽이 나타난다. 나아가, 전경 대상 내에서 크랙을 볼 수 있다. 이들 크랙은 전경의 전방 매핑 처리에서 실수로 개방된 채로 남겨져, 배경 정보로 잘못 매워진다. 그러한 아티팩트는 보통 정적이기보다는 시간에 따라 변하여, 렌더링된 비디오 내에서 매우 우려스러운 효과를 낳는다. 이것은 3DV의 전체 개념을 받아들일 수 없게 할 수 있다. 도 9의 아래 열은, 섹션 0에서 소개한 바와 같이 3D 워핑 처리에 대한 우리의 개선을 사용한 대응하는 렌더링 세부 내용을 도시한다. 코로나 아티팩트 및 크랙은 많은 부분 제거된다. 깊이 불연속을 따른 저역통과 필터링은 일반적인 이미지 감을 매끄럽게 하고 향상시키는데 더 도움이 된다. 개별 이미지의 최소 아티팩트로, 비디오 품질은 또한 상당히 증가하여, 우리의 뷰 합성 알고리즘은 MVD를 기반으로 한 개선된 3DV 개념에 대한 기반를 형성할 수 있다.

뷰 보간기의 목적은 MVD 표현의 M개의 뷰 플러스 깊이 중 3DV 시스템에 대한 N개의 입력 뷰를 만드는 것이다. 한 예로 필립스 오토스테레오스코픽 디스플레이가 있고, 여기서 눈-거리(대략 5cm)인 9개의 뷰가 입력으로서 필요하다. 도 20에 예시한 것과 같은 셋업의 경우, 최종 9개의 뷰 중 5개가 발레 및 브레이크댄서 데이터 세트에 대해 도 6에 도시한다. 이들 데이터 세트의 카메라 간격은 20cm이다. λ={1/4, 1/2, 3/4}인 3개의 중간 뷰가 두 원래의 카메라 사이에 만들어졌다. 도 6에서 가장 왼쪽 및 가장 오른쪽 이미지가 원래의 뷰이다. 그 사이의 3개의 이미지는 임의의 아티팩트를 보이지 않는 가상 뷰이다. 쌍 와이즈 스테레오스코픽 뷰가 모션 패럴렉스 및 3D 깊이 감을 지원하는데 이용 가능하다.

결론적으로, MVD에 기반으로 한 3DV에 대한 개선된 시스템을 앞서 기재하였다. 이것은 멀티뷰 스테레오스코픽 디스플레이를 효율적으로 지원한다. 이러한 타입의 3D 디스플레이는 안경을 착용할 필요가 없이, 그러나 모션 패럴렉스 감과 풀 소셜 상호작용(full social interaction)으로 거실 환경에서 복수 사용자 3DV 느낌을 가능케 한다. MVD는 이 개념에서 3DV에 대한 일반 포맷으로서 역할을 할 수 있으며, 이는 이것이, 데이터 율, 품질 및 기능 면에서 MVC 또는 MPEG-C 3부를 기반으로 한 대안적인 개념에 비해 명백한 장점을 갖기 때문이다. 이 개념은, 그러나 부분적으로는 여전히 연구를 필요로 하는 많은 정교한 처리 단계를 통합한다. 특히, 고품질 중간 뷰 합성은 이 개념을 실행 가능케 하는데 중요하다. 그러한 알고리즘이 깊이 불연속을 따라 우려스런 아티팩트를 초래할 수 있다는 것이 알려져 있다. 그러므로 여기 제기한 접근은 깊이 이미지에서의 가장자리 검출을 기반으로 해 신뢰할 만한 영역과 신뢰할 수 없는 영역으로 입력 이미지를 분리하며, 그 이유는 이들 가장자리가 깊이 불연속에 대응하기 때문이다. 신뢰할 만한 이미지 영역과 신뢰할 수 없는 이미지 영역은 분리해서 다뤄지고, 결과는 신뢰도 기준에 따라 혼합된다. 특정한 후-처리 알고리즘을 도입하여 렌더링된 뷰 품질을 더 향상시킨다. 이것은, 렌더링된 뷰의 깊이 불연속을 따라 최종 매끄러운 필터뿐만 아니라 다른 구멍-메움 접근을 포함하여 남은 아티팩트를 감소시킨다. 위치-의존 혼합 인자는 다른 입력 이미지로부터의 기여에 가중치를 부여하는데 사용된다. 제공된 결과를 통해, 깊이 불연속을 따른 신뢰도 정보를 고려하는 계층의 처리가 렌더링 아티팩트를 상당히 줄임을 알 수 있다. 표준 3D 워핑으로 종종 발생하는 코로나 아티팩트는 상당히 제거된다. 고품질 중간 뷰가 이 제공된 알고리즘으로 생성된다. 이를 통해, MVD에 대한 개선된 3DV 개념 내에서 중요한 빌딩 블록이 이용 가능하다고 알려져 있다. 추가 최적화 외에, 우리의 장래의 작업은 최종 시스템 통합뿐만 아니라 획득, 깊이 추정, 코딩 및 송신과 같은 다른 모든 빌딩 블록의 개발을 포함할 것이다.

다음의 부분은 본 발명의 제 3 실시예를 기술한다. 특히, 멀티스코픽 3D 디스플레이 상의 비디오 렌더링 시스템을 다음에서 고려하며, 여기서 데이터는 계층 깊이 비디오(LDV: Layered Depth Video)로 표현된다. 이 표현은 관련된 픽셀당(per-pixel) 깊이와 추가 잔류 계층을 갖는 하나의 풀 또는 중심 비디오로 구성된다. 따라서 추가 잔류 데이터를 갖는 단 하나의 풀 뷰가 송신될 필요가 있다. LDV 데이터는 수신기에서 사용되어 디스플레이에 대한 모든 중간 뷰를 생성한다. 뷰 합성뿐만 아니라 LDV 계층 추출이, 장면 신뢰도에 따른 접근을 사용하여 제공된다. 여기서, 신뢰할 수 없는 이미지 영역이 검출되어, 이전 접근과 대조적으로, 잔류 데이터는 렌더링 동안 신뢰할 수 없는 영역에서 아티팩트를 줄이도록 확대된다. 최대 데이터 커버리지를 제공하기 위해, 잔류 데이터는 그 원래의 위치에 남아 있고, 중심 뷰 쪽으로 투영되지 않을 것이다. 뷰 합성 처리는 또한 이 신뢰도 분석을 사용하여 이전 접근보다 더 고품질의 중간 뷰를 제공한다. 최종 결과로서, 기존의 9-뷰 오토스테레오스코픽 디스플레이에 대한 고품질 중간 뷰가 제공되며, 이것은 개선된 3D 비디오(3DV) 시스템에 대한 LVD 접근의 적절성을 입증한다.

명세서의 배경기술 부분에서 이미 기술한 바와 같이, 3D 비디오의 관심 증가로 인해, 포맷 표현 및 코딩을 통한 포착에서부터 디스플레이 및 렌더링에 이르는 3D 처리 체인의 모든 단에서 기술은 개선되게 되었다. 특히 레코딩된 자연적인 장면에 대한 3D 콘텐츠 디스플레이에 대한 가장 일반적인 접근 중 하나는 이미지 스테레오 쌍의 동시 표시를 통해 사용자에게 자연스런 깊이 감을 제공하는 것이다[17]. 룩-어라운드(look-around) 느낌을 갖는 제한된 사용자 탐색을 제공하기 위해, 생성된 이러한 스테레오 쌍은 사용자의 헤드 모션에 따라 변해야 한다. 이를 위해, 멀티뷰 오토스테레오스코픽 디스플레이가 이미 이용 가능하며, 이것은, 사용자가 디스플레이 전방의 뷰포인트에 따라 두 개의 스테레오 뷰를 보는 동안, 많은 뷰를 동시에 제공한다(오늘날의 디스플레이에서는 9개 이상의 뷰).

모든 뷰는, 이들 모두가 송신되어야 하거나(이것은 큰 데이터 율을 필요로 함), 뷰 샘플링 및 중간 뷰 합성을 통한 정교한 방법이 사용되도록 디스플레이에서 이용 가능해야 한다. 후자의 접근에 대한 하나의 후보로, 3DV 시스템에 대한 미처리 데이터 율을 극적으로 감소시키는 계층 깊이 비디오(LDV: Layered Depth Video)가 있다. N개의 디스플레이 뷰 중 서브셋 M으로부터 단 하나의 중심 뷰 및 잔류 정보가 송신된다. 추가로, 깊이 데이터는 중심 뷰 및 잔류 서브셋 M에 대해 송신된다. 비-송신 뷰는, 송신 데이터가 주어진 수신기에서 중간 뷰 보간에 의해 생성될 수 있다[15].

LDV의 출처는 계층-깊이 이미지(LDI)로부터이며, 이것은, 복잡한 장면 기하학으로 3D 대상을 렌더링하기 위한 일반 접근으로 식별된 방법이다[33]. LDI에서, 카메라 이미지의 각 픽셀은, 픽셀의 조준선(line of sight)을 따라 컬러 및 깊이 값을 갖는 복수의 픽셀을 포함할 수 있다. LDI의 생성은 처음에 멀티-뷰 설정[33]을 위해 그리고 나중에 스테레오 레코딩[32]하기 위해 조사되었다. 계층적 LDI 접근은 또한, 점진적인 뷰-의존 렌더링 리파인먼트로 가상 장면에서 탐색하는데 적용된다[31]. 원래의 뷰포인트를 탐색할 때, 이들 접근은 제한된 겹침 및 나타남 조작을 제공하지만, 희박한 멀티뷰 데이터에서 뷰 합성에 여전한 문제점, 즉 다른 깊이의 대상 사이의 경계를 따라서의 구멍 메움 및 코로나 아티팩트를 보인다. 그러므로 우리는 LDV 데이터 생성을 위한 신뢰도 분석을 사용하여 그러한 아티팩트를 줄이는 것을 제안한다.

다음에서, 개선된 3DV 시스템의 개념을 먼저 기재한다. 그 후, 최적화된 잔류 표현 형태를 갖는 계층-기반 LDV 데이터 추출 처리를 제공한다. 그 다음에, 합성 처리를 제공하며, 여기서 계층-기반 접근을 다시 사용하여, 눈에 띄는 아티팩트를 최소화하여 고품질 중간 뷰를 제공한다. 마지막으로, 3DV 설정에 대한 렌더링 결과를 기재한다.

나아가, 또한 이미 전술한 바와 같이, 3DV 시스템은, 동시에 복수의 뷰를 디스플레이함으로써 헤드 모션 패럴렉스 뷰잉을 지원할 수 있다. 특히, 한 특정한 예로, 필립스로부터 상업적으로 이용 가능한(www.philips.com/3Dsolutions. 마지막 방문 2008년 4월 17일), 9개의 동시 뷰와 기울어진 렌티큘러(lenticular) 렌즈 기술을 갖는 고해상도 LCD 스크린이 있다. 3D 디스플레이를 갖는 헤드 모션 패럴렉스 지원의 원리를 도 10에 예시한다. 사용자는 위치 1에서 오른쪽 눈과 왼쪽 눈 각각으로만 뷰 1 및 2를 본다. 다른 사용자는 위치 3에서 뷰 6 및 7을 보며, 따라서 복수 사용자 3D 뷰잉을 지원한다.

사용자가 위치 1로부터 위치 2로 움직인다고 가정하면, 이제 뷰 2 및 3은 오른쪽 눈과 왼쪽 눈 각각으로 볼 수 있다. V1 및 V2가 적절한 사람 눈 거리 베이스라인을 갖는 스테레오 쌍이라면, 그 후 V2 및 V3 등도 그러하다면, 그러한 3D 디스플레이 시스템 전방에서 움직이는 사용자는 그 깊이에 따라 장면에서 대상의 나타남 및 겹침을 통해 3D 감을 인지할 것이다. 이 모션 패럴렉스 감은 시믈리스가 아닐 것이며, 다른 위치의 개수는 N-1로 제한된다.

확장된 기능은 다른 한편으론 데이터 율의 막대한 증가를 초래한다, 즉 모든 뷰가 독립적으로 다뤄진다면, 2D 비디오에 비교하여 압축된 송신에 대한 비트율의 N배를 초래한다. 뷰 간 계층을 포함하는 멀티뷰 비디오 코딩(MVC: Multiview Video Coding)은 통상 전체 비트율을 20%만큼 감소시키며[20], 이것은 대부분의 응용 시나리오에서 너무 높은 것처럼 보인다.

스테레오 비디오에 대한 효율적인 접근(즉, 2개의 뷰)은, 비디오 플러스 깊이(V+D)를 데이터 포맷으로서 사용하는 것이다[7]. MPEG은 최근 MPEG-C 3부로 알려진 대응하는 표준을 발표했다. 수신기는 제 2 비디오의 깊이 이미-기반 렌더링(DIBR)에 의해 V+D로부터 스테레오 비디오를 재생할 수 있다. 이 경우 깊이 데이터는 매우 효율적으로 압출될 수 있음을 알게 되었다. V+D의 결과적인 비트율은, 동일한 시각적 품질을 제공하면서도, 대응하는 스테레오 비디오에 대한 비트율보다 훨씬 더 작다. 이 개념은, 이용 가능한 뷰 가까이에 있는 하나의 가상 뷰만이 V+D 데이터(예컨대 도 1에서 V1 및 V2에 대응함)로부터 렌더링될 필요가 있는 경우, 유효하다. 외삽 아티팩트는 거리나 가상 뷰에 따라 증가한다. 그러므로 V+D는 많은 수의 뷰를 갖는 3DV 시스템에 적절치 않다.

압축 잠재력 면에서 더 효율적인 해법은 멀티뷰+깊이(MVD)이고[34], 여기서 깊이를 갖는 뷰의 서브셋만이 송신될 것이며, 중간 뷰는 수신기 측에서 합성된다. 훨씬 더 작은 데이터 율을 필요로 하는 다른 해법은 여기서 제공한 계층 깊이 비디오(LDV)를 사용하는 것이다. LDV에서, 중심 뷰(도 10의 V5)와 측면 뷰에 대한 관련 잔여 비디오만이 송신된다. 따라서, 도 1은 개선된 LDV-기반 3DTV 개념을 도시한다(Pos: 뷰포인트, R: 오른쪽 눈, L: 왼쪽 눈, V: 뷰/이미지, D: 깊이, RV: 잔여 비디오 계층, RD: 잔여 깊이 층).

잔여 계층은 측면 뷰(V1 및 V9)로부터 추출된다. 중심 및 측면 뷰의 경우, 샘플-정확 깊이 맵은 송신기 측에서 생성되어, 비디오 신호와 함께 전달되어야 한다. 중심 뷰 및 측면 뷰로부터, 잔여 정보는, 후술될 바와 같이, 컬러 및 깊이에 대해 생성된다. 디스플레이될 다른 모든 뷰는 수신기에서 DIBR에 의해 생성된다. LDV에 대한 잔여 계층 추출 및 뷰 합성은 다음에서 기술한다.

N개의 뷰를 갖는 멀티뷰 응용에서, 중간 뷰는, 모든 뷰에서 이용 가능한 정보를 사용하여 합성될 수 있다. LDV 시나리오에서, 단 하나의 뷰가, 다른 뷰로부터의 추가 정보의 일부 프래그먼트와 함께 이용 가능하다. 간단한 LDV 추출 접근에서, 하나의 카메라 뷰가 다른 뷰에 투영될 것이다.

3개의 선형 평행 카메라를 갖는 카메라 시스템을 가정하면, 중심 뷰는 두 측면 뷰에 투영된다. 그 후, 원래의 뷰와 투영된 뷰 간의 차이를 취해, 잔여 정보를 얻을 것이며, 이 정보는 나타난 정보로 구성되며, 두 측면 뷰에서 이미지 경계 데이터뿐만 아니라 전경 대상의 깊이 불연속을 따라서 주로 집중된다. 다음의 뷰 합성 단은 깊이 데이터 플러스 잔여 정보 및 중심 뷰의 전체 정보를 사용한다. 이 처리는 그러나 합성된 중간 뷰 모두에서 코로나 아티팩트를 야기한다. 그러한 가시적 아티팩트를 회피하기 위해, 우리의 추출 알고리즘은, 멀티뷰 비디오+깊이 데이터에 대해 [34]에서 정련되고 [30]에서 풀 중간 뷰 합성에 대해 도입된 계층 접근을 사용한다. 계층은 깊이 버퍼에서 추출되어 신뢰할 만한 데이터와 신뢰할 수 없는 데이터를 나타낸다. 신뢰할 수 없는 데이터는 깊이 불연속이 발생한다. 계층은 캐니 가장자리 검출 필터를 사용하여 추출되고[2], 깊이 불연속을 따라 7-픽셀 폭 영역을 표시한다. 이 영역은 전경과 배경 경계 정보를 포함한다.

[34]와 대조적으로, 배경 경계 계층만이 LDV에서 필요하며, 그 이유는 하나의 전경 대상만이 중심 뷰에 남아 있고, 분리된 전경 경계 계층은 LDV 데이터 추출에서 필요치 않다. 배경 경계 계층 표시는 도 11에서 녹색으로 도시한다. 따라서, 도 11은 중심 뷰의 상당한 깊이 불연속을 따라 배경 계층 할당(흰색)을 도시한다.

다음 단계에서, 컬러와 깊이를 갖는 중심 뷰가, 도 12에 도시한 바와 같이, 배경 경계 계층을 생략한 채로 두 측면 뷰에 투영되며, 이 도면은 따라서 두 측면 뷰로의 중심 뷰 투영을 도시한다. 이것은 도 1c의 블록(46)에 대응한다.

이런 방식으로, 나타난 영역(도 12에서 전경 대상 및 이미지 경계를 따라 흰색으로 도시되고 도 1c에서 50에 대응함)이 더 커져, 결국 측면 뷰에서 잔여 영역을 또한 더 크게 한다. 전방 투영 처리로 인해, 커버되지 않은 작은 영역을 또한 볼 수 있게 되며, 이것은 크랙 제거 필터링(전경 영역에서 외부의 배경 깊이 값에 대해 동작하는 중간 필터, 도 1c에서 블록(58)과 비교)에 의해 제거된다. 이를 위해, 유효한 값에 의해 둘러싸인 하나의 픽셀-폭의 할당되지 않은 깊이 값을 식별한다. 컬리 및 깊이 값은 이들 이웃한 유효 값으로부터 보간된다. 이러한 메움 이후, 도 13에 도시한 바와 같이, 실제 나타난 영역(도 1c의 50에 대응)만이 남아있고, 이 도면은 투영된 중심 뷰에서의 데이터 메움을 도시한다.

이 정보는, 측면 뷰로부터 필요한 잔여 정보를 추출(또는 도 1c의 블록(54)에서처럼 결정)하는데 사용된다. 여기서, 측면 뷰와 투영된 중심 뷰 사이의 배제 차이를 취하여, 도 14에 도시한 바와 같이 이 정보를 얻으며, 이 도면은 따라서 두 측면 뷰에서의 잔여 데이터를 도시한다. 다시 말해, 도 13의 나타난 영역이 이들 측면 뷰와 중첩하는 측면 뷰의 영역을 신호(32)에 삽입될 것으로 선택한다.

이것이 의미하는 점은 잔여 데이터가 존재하고, 여기서 투영된 및 보간된 주된 뷰가 유효 정보(도 13의 흰색 영역)를 갖고 있지 않다는 것이다. 이 잔여 정보는, 중심 뷰의 배경 경계 계층의 전술한 감산으로 인해 순전히 나타난 영역보다 약간 더 크다. 따라서, 추가 정보는 대상 경계를 따라 컬러 아티팩트의 감소를 위해 잔여 데이터에서 이용 가능하다. 다시, 이 잔여 데이터 추출은 컬러 및 깊이 데이터에 적용된다.

이것이 LDV 추출 처리의 결론을 맺으며, 송신용으로 사용될- 도 1c의 신호(32)에 대한 예로서 -최종 LDV 데이터 포맷을 제공하며, 이 포맷은:

- 컬러 및 깊이에서의 풀 중심 뷰,

- 컬러 및 깊이에서의 잔여 측면 뷰,

- 카메라 파라미터 및 실세계 깊이 범위 파라미터와 같은 추가 기하학적 파라미터.

MVD 표현의 경우, 대응하는 깊이의 3개의 뷰가 이 LDV 표현에 의해 제공된 것과 동일한 기능을 지원하도록 송신되어야 함을 고려해야 한다. LDV에 대해, 측면 뷰는 도 14에 도시된 바와 같은 잔여물로 감소되며, 이것은 결국 데이터 율을 상당히 감소시킨다. 이 증가한 압축 성능의 구체적인 조사가 그러나 우리의 장래의 연구의 대상이 된다. 데이터 율의 약간의 증가는 계층 접근에 의해 예상되며, 그 이유는 영역이 약간 중첩되고 있어 코로나 아티팩트를 회피하기 때문이다. 비트율 증가 측면에서의 구체적인 비용을 여전히 조사할 필요가 있다.

데이터 커버리지와 가능한 압축 용도의 측면에서 최적의 잔여 데이터 표현을 찾기 위해, 두 가지 변형을 조사했다: 잔여 데이터의 한 버퍼로의 혼합과 잔여 데이터의 중심 뷰로의 투영. 제 1 변형을 도 15의 왼쪽 위에 도시한다. 여기서, 두 측면 뷰로부터의 잔여 데이터는 도 15의 오른쪽 위의 빨간색 영역에 의해 지시한 바와 같이, 랜덤하게 중첩될 수 도 있다. 이로 인해, 측면 뷰에서 컬러나 조명이 달라 왜곡이 생길 수 도 있고, 이러한 왜곡은 합성 뷰에서도 볼 수 있다. 다시 말해, 도 15는 잔여 데이터 변형을 도시한다: 혼합된 잔여 컬러 데이터(위) 대 혼합된 투영 컬러(아래) 및 중첩 영역의 관련 표시(아래).

제 2 변형으로, 잔여 정보는 중심 뷰로 투영되었고 두 측면 뷰의 잔여 데이터를 더 양호하게 정렬하였다. 여기서, 그러나 도 15의 왼쪽 아래에 도시한 바와 같이, 혼합된 버퍼 버전뿐만 아니라 하나의 잔여 버퍼에서 투영으로 인한 상당한 정보 손실이 발생한다: 여기서, 전체 경계 데이터는 도 15의 위와 비교하면 사라졌다. 이 접근을 따른다면, 이 데이터는 뷰 합성 동안 외삽되어야 했거나, 더 큰 잔여 버퍼가 모든 정보에 대한 공간을 제공해야 한다. 다시, 데이터 중첩이 표시되어, 훨씬 많은 정보가 이 변형에서 중첩됨을 보여주며, 이것은 합성 처리에서 더 많은 아티팩트를 볼 수 있음을 나타낸다.

LDV 데이터를 수신한 이후, 뷰 합성 알고리즘은 중간 뷰를 생성하는데 적용된다. 뷰 합성은 [34]와 유사하게 세 부분으로 구성된다: 계층 추출(가장자리 검출 및 신뢰할 만한 영역과 경계 영역으로의 분리), 계층 투영(영역의 분리된 DIBR 및 융합) 및 중간 뷰 인핸스먼트(정정, 클린업 및 필터링). 이들 단계는 풀 멀티뷰+깊이 중간 뷰 합성과 유사하지만, 그 구현에서 LDV에 적응될 필요가 있다.

다시, 계층 추출을 먼저 실행한다. 계층 접근으로 작업한다는 아이디어는 자유 뷰포인트 탐색 적용을 위해 [30]에서 이미 조사되었고, 7-샘플-폭 영역의 경계 계층이 검출된 가장자리를 따라 신뢰할 수 없는 것으로 표시된다. [30]과 대조적으로, 이 영역은, 각각 청색 및 녹색 영역으로서 도 2에 도시된 바와 같이, 전경 경계 계층과 배경 경계 계층으로 분리되어, 다음 하위단락에서 기재한 바와 같이, 서로 다른 처리를 허용한다.

계층 투영을 실행한다. 중심 뷰와 잔여 정보를 합성될 중간 뷰에 투영한다.

중간 뷰 투영을 종래의 이미지-기반 3D 워핑으로서 실행한다: 첫째, 원래의 2D 뷰의 샘플을, 카메라 교정 및 실제 깊이 정보를 갖는 관련 깊이 값을 사용해, 3D 공간에 투영한다. 둘째, 결과적인 3D 월드 점이 생성될 중간 뷰에 전방 투영된다. 가상 뷰 위치를 한정하고 있는, 제 2 단계를 위한 투영 매트릭스가, 위치 의존 파라미터(λ∈[0...1])를 사용하여, 수반되는 두 개의 원래의 뷰의 매트릭스로부터 보간되며, 여기서 λ=0.5는 예컨대 중간 위치를 한정한다. 이것은, 모든 카메라 파라미터에 대해 선형 보간으로 행해지며, 단 회전 매트릭스 직교규격화(rotation matrix orthonormality)를 유지하기 위해 구형 선형 보간[24]을 필요로 하는 회전 파라미터는 예외이다.

이 접근에 따라, 우리는 중심 뷰와 각각의 측면 뷰 사이에서 뷰를 분리해서 보간한다. 계층 투영은, 중심 뷰의 주된 계층을 중간 컬러 버퍼(l _i ) 및 대응하는 부동점 깊이 데이터(d _i )에 투영함으로써 시작한다. 그 후, 적절한 측면 뷰로부터의 잔여 데이터가 또한 중간 뷰에 투영되어, l _i 및 d _i 에서 나타난 영역을 메우는데 사용된다. 결과적인 공통의 주된 계층(l _i )을 도 16에 도시한다.

다음 단계로, 중심 뷰로부터의 전경 경계 계층이 투영되어 공통 주된 층과 혼합된다. 이것은 또한 컬러 및 부동점 깊이에 적용된다. 혼합하기 위해 간단한 깊이 테스트가 사용된다: 어느 층으로부터의 최전방 샘플이 취해지고, 이것은 대부분 전경 경계 샘플이다. 다시 말해, 도 16은 투영 이후의 공통 주된 계층을 도시한다.

마지막 단계로, 배경 경계 계층이 투영된다. 이 정보는 중간 뷰에서 남은 구멍을 메우는데만 사용된다. 전경 계층과 함께 이 공통 주된 계층은, 도 16에 도시된 바와 같이, 대부분의 샘플을 이미 커버하므로, 소수의 배경 경계 샘플만이 사용된다. 따라서 원래의 뷰로부터의 대상 경계에서의 컬러-왜곡 샘플이 생략되며, 이 샘플은 배경 영역 내의 코로나형 아티팩트를 초래한다. 우리의 LDV 데이터 추출 알고리즘에서, 잔여 정보는 확대되었고, 그에 따라, 왜곡될 가능성이 있는 배경 경계 계층이 투영되기 전 이들 중요한 영역을 이미 커버한다.

마지막으로 중간 뷰 인핸스먼트가 실행된다. 알고리즘의 이 마지막 부분은 다시 [34]와 유사하고, 합성된 뷰의 정정, 클린업 및 필터링을 적용한다. 여기서, 두 타입의 구멍이 발생할 수 있다: 작은 크랙과 더 큰 손실 영역. 클랙은 투영의 전방 워핑 속성에 의해 초래된다. 이들은, 이웃 깊이 값과 비교해서 상당히 다른 값을 갖는 깊이 버퍼에서의 얇은 선으로서 깊이 버퍼에서 검출된다. 검출 후, 크랙은 이웃 값으로부터 컬러 버퍼에서 메워진다.

제 2 타입의 구멍은 더 큰 손실 영역이다. 이들은 에러 깊이 값으로 인해 발생하거나, 두 개의 원래의 뷰에서 겹쳐진 반면 중간 뷰에서 볼 수 있게 되는 영역이다. 그러한 더 큰 구멍은 이웃한 이용 가능한 배경 정보로 메워진다. 여기서, 구멍 경계를 따라서 대응하는 깊이 값을 분석하여, 구멍 영역으로 보간될 배경 컬러 샘플을 찾는다. 이 접근은, 깊이 에러로 인한 손실 영역에 대해 우수한 메움 결과를 얻게 하지만, 나타난 영역에 대한 메움은 종종 전경 정보로부터 부정확하게 취해져 잘못된 컬러를 보인다.

끝으로, 전경 대상은 가장자리를 따라 저역통과 필터링되어 자연적인 모습을 제공한다. 원래의 뷰에서, 대상 경계 샘플은, 이미지 포착 동안의 필터링 및 초기 샘플링으로 인한 전경 및 배경 대상의 컬러 혼합이다. 우리의 계층 접근의 렌더링된 중간 뷰에서, 이들 혼합된 컬러 샘플은, 배경에서 코로나 아티팩트를 회피하기 위해, 종종 배제된다. 결국, 전경 대상이 인공적으로 장면에 삽입된 것처럼, 일부 전경-배경 경계는 부자연스럽게 선명해 보인다. 그러므로 전술한 캐니 가장자리 검출 필터[2]는 가장자리를 식별하기 위해 최종 깊이 정보에 적용되며, 평균 저역통과 필터가 더 자연적인 모습을 제공하기 위해 대응하는 컬러 샘플에 적용된다. 또한, 이러한 필터링은 깊이 불연속을 따라서 남아 있는 아티팩트를 감소시키는데 도움이 된다.

재구성된 측면 뷰가, 중심 뷰로부터의 LDV 데이터 및 잔여 측면 뷰 데이터를 사용하여, 도 17에 도시된다. 다시 말해, 도 17은, 중심 뷰+왼쪽 잔여 데이터(왼쪽) 및 중심+오른쪽 잔여 데이터(오른쪽)로의 필터링 후 최종 뷰 합성을 도시한다.

재구성된 측면 뷰는 우수한 품질을 가지며, 코로나 아티팩트와 같이 강하게 볼수 있는 왜곡을 갖지 않는다. 이들 아티팩트는 제안한 LDV 추출 처리로 인해 억압되며, 여기서 잔여 계층 데이터가 확장되었다. 이 방법의 장점은 도 18에서 확대된 영역으로 도시되며, 여기서 비-확장 잔여 데이터를 통한 종래의 간단한 LDV 접근은 우리의 접근과 비교한다. 다시 말해, 도 18은 종래의 LDV(왼쪽)과 잔여 계층 확장을 갖는 우리의 LDV(오른쪽) 사이의 비교를 도시한다.

그러나 측면 뷰로부터의 잔여 데이터와 함께 하나의 중심 뷰만을 사용하는 LDV 데이터의 제한된 속성으로 인해, 일부 컬러 차를 볼 수 있다. LDV와 풀 멀티뷰 비디오 플러스 깊이(MVD)에 대한 뷰 합성의 직접적인 비교를 도 19에 도시한다. 다시 말해, 도 19는 LDV(왼쪽)와 MVD(오른쪽)에 대한 중간 뷰 합성 사이의 비교를 도시한다.

LDV에 대한 중간 뷰가 일부 컬러 차이, 예컨대 도 19 왼쪽에서 발레 댄서의 왼쪽으로 음영 형태의 영역을 보이지만, MVD의 중간 뷰는 그러한 아티팩트를 보이지 않는다.

뷰 보간기의 목적은 MVD 표현의 M 뷰 플러스 깊이 중 3DV 시스템에 대한 N 입력 뷰를 만드는 것이다. 한 예로, 필립스 오토스테레오스코픽 디스플레이가 있고, 여기서 눈-거리(대략 5cm)를 갖는 9개의 뷰가 입력으로서 필요하다. 그러한 설정의 경우, 결과적인 9개의 뷰 중 5개가 도 6에서 발레 및 브레이크댄서 데이터 셋에 대해 도시되어 있다. 여기서, 합성된 측면 뷰 및 중간 뷰뿐만 아니라 중심 뷰를 포함하는 각각의 제 2 뷰가 도시된다. 모두 9개의 뷰로, 쌍-와이즈 스테레오스코픽 뷰가 모션 패럴렉스 및 3D 깊이 감을 지원하는데 이용 가능하다.

제 3 실시예를 요약하면, 개선된 3D 비디오(3DV) 시스템을 위한 계층-깊이 비디오(LDV) 표현 포맷이 제공되었다. 3D 비디오 시스템 개념을 나타낸 후, 3개의 카메라 설정에 대해 LDV 데이터의 생성을 설명하고, 여기서 중심 카메라의 풀 이미지 데이터는 두 측면 카메라로부터의 잔여 정보와 함께 사용된다. 대상 경계를 따라서의 시각적 아티팩트를 최소화하기 위해, 계층-기반 접근이 사용되어, 그러한 경계를 따라서 신뢰할 수 없는 영역에서 추가 잔여 정보를 얻는다. 따라서 잔여 데이터는, 투영된 중심 뷰와 측면 뷰 사이의 단순히 나타난 차이가 생성하게 되었을 것보다 약간 더 많은 픽셀을 커버한다.

3D 디스플레이의 뷰 합성에 대해, 계층-기반 접근은 또한, 시각적 아티팩트를 감소시키는데 사용된다. 첫째, 중심 뷰의 신뢰할 만한 정보가 원하는 중간 뷰에 투영되고, 그 다음에 관련된 측면 뷰의 잔여 정보가 투영되어 주된 계층을 만든다. 그 후, 중심 뷰의 남아 있는 신뢰할 수 없는 정보는 전경 및 배경 경계 계층으로서 투영되고 다르게 주된 계층과 혼합되어 시각적 아티팩트를 감소시킨다. 끝으로, 상당히 서로 다른 깊이 값에서의 대상 경계를 따라 구멍 메움 및 저역통과 필터링 형태의 뷰 인핸스먼트가 중간 뷰의 시각적 모습을 개선하는데 적용된다.

소개한 방법을 통해, LDV에 기반한, 기술한 3D 비디오 개념에 대한 우수한 품질의 중간 뷰 합성이 증명된다. MVD와의 비교는, LDV 접근에 대해 나타난 영역에서의 서로 다른 컬러 조명 측면에서의 사소한 열화만을 보였다.

장래의 연구는, 제안한 LDV 포맷에 대한 효율적인 코딩 방법을 포함할 것이다.

따라서, 상기 실시예는, 특히 깊이 불연속, 구멍 메움 및 나타난 영역의 조작이라는 특별한 처리를 그 중 일부가 사용하는 이미지 기반 렌더링(IBR: Image Based Rendering) 환경에서의 품질 인핸스먼트를 위한 알고리즘을 형성한다. 이들 실시예 중 일부가 개선된 3D 비디오 응용에 사용될 수 있다. 그러한 응용은, 예컨대 동시에 9개 이상의 뷰와 광범위한 프리 뷰포인트 탐색을 갖는 광범위한 오토스테레오스코픽 디스플레이의 지원을 포함한다. 이러한 두 기능은 복수의 비디오 및 관련 픽셀 당 깊이 데이터를 결합하는 데이터 포맷에 의존할 수 있다. 멀티뷰 비디오 플러스 깊이(MVD) 포맷에서, 풀 비디오 및 풀 깊이 맵 비디오가 사용될 수 있다. 계층 깊이 비디오(LDV) 포맷에서, 단지 하나의 풀 비디오 및 관련 풀 깊이 맵 비디오와 배경 계층 깊이 맵 비디오를 갖는 하나 이상의 추가 배경 계층 비디오가 사용된다. 특히, 상술한 실시예는, 깊이, 즉 이미지 기반 렌더링(IBR) 또는 깊이 이미지 기반 렌더링(DIBR)에 기반한 중간 뷰 합성에 유용할 수 있다. 따라서, 이들은 상상한 응용을 지원하기 위해 임의의 뷰를 생성하는데 사용될 수 있다. 그러나 상술한 실시예는, MVD에 대한 것이든 LDV에 대한 것이든 간에, 그러한 DIBR 알고리즘의 문제를 극복할 수 있고, 그 필요성을 효율적으로 해결할 수 있다. 그러한 문제와 필요성은, 서로 다른 이유로 인해 깊이 불연속을 따라서 나타나는 아티팩트, 렌더링을 위한 전방 매핑 접근으로 인해 구멍 메움을 실행할 필요성, 및 끝으로 입력 데이터로부터 이용 가능하지 않은 나타난 영역의 조작/메움을 포함할 수 있다. 상술한 실시예는 여러 가지 방식으로 이들 문제를 해결한다. 예컨대, 아티팩트를 감소시키기 위해, 특정한 경계 처리가 깊이 불연속에 대해 사용된다. 깊이 불연속은 가장자리 검출에 의해 깊이 이미지에서 검출된다. 이미지는, 그러한 깊이 불연속을 따라서있지 않은 신뢰할 만한 영역과, 그들 검출된 깊이 불연속을 따라서 있는 신뢰할 수 없는 영역으로 분리된다. 신뢰할 만한 영역은 DIBR을 사용하여 처리되는 반면, 특정한/다른 처리가 신뢰할 수 없는 영역에 이용된다. 전경의 신뢰할 수 없는 영역과 배경의 신뢰할 수 없는 영역으로의 추가 분리는 품질 결과를 더 증가시킨다. 모든 영역은 분리해서 그리고 서로 다르게 처리된다. 끝으로, 서로 다른 처리 이미지 영역 모두를 최종 출력 이미지로 혼합하는 처리가 제공되었다. 추가로, 전방 매핑 문제를 해결하는 특정한 구멍 메움 알고리즘을 기술하였다. 끝으로, 나타난 영역을 메우기 위한 효율적인 알고리즘을 위에서 기술하였다.

상기 실시예에 몇 가지 변경을 할 수 있음을 주목해야 한다. 예컨대, 제 2 실시예 내에서 제공된 LDV 추출 처리는, V1 및 V9에 대해 송신된 정보가 비-경계, 배경 경계 영역 및 전경 경계 영역으로의 분리를 나타내도록 구현될 수 있다. 추가로 또는 대안적으로, LDV 추출 처리는, V5에 대해 송신된 정보가 비-경계, 배경 경계 영역 및 전경 경계 영역으로의 분리를 또한 나타내어, 각각의 계층 추출 처리가, 가장자리 검출 및 배경 및 전경으로의 분리에 관한 한 다시 실행되지 않아야 하도록 또한 구현될 수 있다. 동일한 내용이 상술한 MVD 실시예에 적용된다. 나아가, 상술한 인핸스먼트, 정정, 클린업 및 필터링 처리는, 각각의 응용에 따라, 행하지 않을 수 있다. 투영은, 예컨대 크랙이 발생하지 않도록 다른 방식으로 실행될 수 있다. 특히, 투영은 덜 복잡하게 실행될 수 있다. 이점은 특히, 예컨대 뷰가 선형적으로 그리고 병렬 축에 배치되는 경우에 사실이다. 예컨대, 투영은, 픽셀을 베이스라인을 따라 중간 이미지로 단순히 이동함으로써 실행될 수 도 있다. 이동 량은 중간 뷰 및 깊이/디스패리티로부터의 편차에 의존할 수 있다. 따라서, 투영은, 예컨대 3D 투영에 대해 투영 매트릭스를 사용하거나, 특정한 병렬 카메라 배치에 대해 간단한 픽셀 이동에 의해 실행될 수 있다. 나아가, 전경 및 배경 경계 부분으로의 분리는, 경계 영역 전체나, 전경 및 배경을 따라서의 경계의 다른 부분을 배경 영역에 대해 전술한 바와 같이 처리할 수 있게 하는 더 쉬운 접근으로 대체할 수 있다.

게다가, 비록 상시 실시예에서 깊이 정보가, 예컨대 타임-어브-라이트(time-of-light) 카메라 등에 의해 제공된 바와 같이, 중간 뷰 합성 장치, 즉 수신기 측에서 그리고 멀티-뷰 데이터 신호 추출 장치, 즉 송신 측에서 각각 제공되었을 지라도, 이들 장치는 뷰로부터 깊이 정보, 즉 루마(luma) 및 크로마(chroma) 정보 자체를 나타내는 픽셀 샘플을 추정하도록 구성될 수 있다. 이것은 특히 수신기 측에서 사실이다. 깊이 정보는 멀티-뷰 신호로부터 이 정보를 얻기보다는 수신기에서 생성될 수 있다. 이 신호는 이제 깊이 정보가 없을 수 있다.

일부 양상이 장치 환경에서 기술되었을지라도, 이들 양상은, 블록이나 장치가 방법 단계나 방법 단계의 특성에 대응하는 방법의 설명을 또한 나타냄이 분명하다. 유사하게, 방법 단계 환경에서 기술된 양상은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특성의 설명을 또한 나타낸다.

본 발명의 인코딩된 오디오 신호는 디지털 저장 매체 상에 저장될 수 있거나, 예컨대 인터넷과 같은 유선 송신 매체나 무선 송신 매체 같은 송신 매체 상에서 송신될 수 있다.

특정한 구현 요건에 따라, 본 발명의 실시예는 하드웨어나 소프트웨어로 구현될 수 있다. 그러한 구현은, 각각의 방법이 실행되도록 프로그램 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적으로 판독 가능한 제어 신호를 저장하고 있는, 예컨대 플로피디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM, 또는 FLASH 메모리와 같은 디지털 저장 매체를 사용하여 실행될 수 있다. 그러므로 디지털 저장 매체는 컴퓨터로 판독 가능할 수 도 있다.

본 발명에 따른 일부 실시예는, 여기서 기술한 방법 중 하나가 실행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖고 있는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 구현될 수 있고, 이 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 때 방법 중 하나를 실행하도록 동작 가능하다. 이 프로그램 코드는 예컨대 기계로 판독 가능한 캐리어 상에 저장될 수 있다.

다른 실시예는, 여기서 기술하고, 기계로 판독 가능한 캐리어 상에 저장된 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.

다시 말해, 본 발명 방법의 실시예는 그러므로, 컴퓨터 프로그램이 컴퓨터상에서 실행될 때, 여기서 기술한 방법 중 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

본 발명 방법의 추가 실시예는, 그러므로, 여기서 기술된 방법 중 하나를 실행하는 컴퓨터 프로그램을, 그 내부에 레코딩하여, 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터로 판독 가능한 매체)이다.

본 발명 방법의 추가 실시예는, 그러므로, 여기서 기술된 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터스트림이나 신호 시퀀스이다. 이러한 데이터스트림이나 신호 시퀀스는 예컨대 인터넷을 통해서와 같은 데이터 통신 연결을 통해 전달되도록 구성될 수 있다.

추가 실시예는, 예컨대 여기서 기술된 방법 중 하나를 실행하도록 구성되거나 적응되는 컴퓨터, 또는 프로그램 가능한 로직 장치와 같은 처리 수단을 포함한다.

추가 실시예는, 여기서 기술된 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 그 내부에 설치한 컴퓨터를 포함한다.

일부 실시예에서, 프로그램 가능한 로직 장치(예컨대, 필드 프로그램 가능한 게이트 어레이)는 여기서 기술된 방법의 기능 중 일부나 모두를 실행하는데 사용될 수 있다. 일부 실시예에서, 필드 프로그램 가능한 게이트 어레이는 여기서 기술된 방법 중 하나를 실행하기 위해 마이크로프로세서와 협력할 수 도 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 실행된다.

본 발명은 몇 가지 바람직한 실시예 측면에서 기술되었지만, 본 발명의 범위 내에 있는 수정, 변경 및 등가가 있다. 본 발명의 방법 및 구성을 구현하는 많은 대안적인 방법이 있음을 또한 주의해야 한다. 그러므로 수반하는 다음의 청구범위는, 본 발명의 진정한 사상과 범주 내에 있는 그러한 모든 수정, 변경 및 등가를 포함하는 것으로 해석되고자 한다.

[참고자료]

Claims (38)

1. 제 1 뷰(view)에 대응하는 제 1 이미지(14)와, 상기 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지(16)- 상기 제 1 및 제 2 이미지는 깊이 정보(depth information)를 포함함 -로부터 중간 뷰 이미지(12)를 합성하는 중간 뷰 합성 장치(10)로서,
   상기 제 2 이미지(16)는 비-경계 부분(16a)과 전경/배경 경계 영역(16b)으로 분할되고, 상기 제 2 이미지(16)의 전경/배경 경계 영역(16b)은 전경 경계 부분(16b1)과, 상기 전경 경계 부분(16b1)과 분리된 배경 경계 부분(16b2)을 포함하며, 상기 중간 뷰 합성 장치는, 중간 뷰 이미지(12)를 얻기 위해, 상기 제 1 이미지(14)와 상기 제 2 이미지(16)를 중간 뷰에 투영 및 혼합하도록 구성되고, 상기 중간 뷰 합성 장치는:
   투영 및 혼합 결과로서 구멍들이 남아있는 예비 중간 뷰 이미지(24)를 얻기 위해, 상기 제 2 이미지의 비-경계 부분(16a)과 전경 경계 부분(16b1)을 상기 제 1 이미지(14)의 적어도 일부분과 함께 상기 중간 뷰에 투영 및 혼합하는 수단(22); 및
   상기 제 2 이미지(16)의 배경 경계 부분(16b2)을 상기 예비 중간 뷰 이미지(24)에 투영하기 위한 투영 및 메움 수단(26)을 포함하는데, 예비 중간 뷰 이미지(24)의 상기 구멍들은 투영된 상기 배경 경계 부분을 사용하여 채워져서, 상기 투영 및 혼합 결과가 상기 구멍들 밖에 있는 상기 제2 이미지(16)의 상기 배경 경계 부분(16b2)의 측면 투영에 의해 부정적으로 영향받지 않도록 하는, 중간 뷰 합성 장치.
2. 청구항 1에 있어서,
   상기 제 2 이미지(16)에서 전경/배경 경계 영역(16b)을 검출하는 수단(18);
   상기 제 2 이미지(16)가 비-경계 부분(16a), 전경 경계 부분(16b1) 및 배경 경계 부분(16b2)으로 분할되도록, 상기 제 2 이미지(16)의 전경/배경 경계 영역(16b)을 전경 경계 부분(16b1)과 배경 경계 부분(16b2)으로 분할하는 수단(20)을 더 포함하는, 중간 뷰 합성 장치.
3. 청구항 1에 있어서, 상기 중간 뷰 합성 장치는, 상기 제 2 이미지(16)의 비-경계 부분(16), 전경 경계 부분(16b1) 및 배경 경계 부분(16b2)을 구별하는 계층 정보를 멀티-뷰 데이터 신호(32)로부터 얻도록 구성되는, 중간 뷰 합성 장치.
4. 청구항 2에 있어서, 상기 검출 수단(18)은 상기 제 1 이미지(14)에서 전경/배경 경계 영역을 또한 검출하도록 구성되고, 상기 분할 수단(20)은, 상기 제 1 이미지(14)가 비-경계 부분, 전경 경계 부분 및 배경 경계 부분으로 또한 분할되도록, 상기 제 1 이미지(14)의 전경/배경 경계 영역을 전경 경계 부분과 배경 경계 부분으로 또한 분할하도록 구성되고, 상기 투영 및 혼합 수단(22)은, 상기 투영 및 혼합 결과로서 상기 예비 중간 뷰 이미지(24)를 얻기 위해 상기 제 1 및 제 2 이미지(14, 16)의 비-경계 부분 및 전경 경계 부분을 상기 중간 뷰에 투영 및 혼합하도록 구성되며, 상기 투영 및 메움 수단(26)은, 상기 제 1 및 제 2 이미지(14, 16)의 투영된 배경 경계 부분에 의해 상기 예비 중간 뷰 이미지의 구멍들을 채우면서, 상기 제 1 및 제 2 이미지(14, 16)의 배경 경계 부분을 상기 예비 중간 뷰 이미지(24)에 투영하도록 구성되어, 상기 투영 및 혼합 결과가, 상기 예비 중간 뷰 이미지의 상기 구멍들 밖에 있는 상기 제 1 및 제2 이미지(14, 16)의 상기 투영된 배경 경계 부분에 의해 부정적으로 영향받지 않도록 하는 중간 뷰 합성 장치.
5. 청구항 1에 있어서, 상기 중간 뷰 합성 장치는, 상기 제 1 이미지(14)의 비-경계 부분과 배경 경계 부분을 적어도 구별하는 계층 정보를 멀티-뷰 데이터 신호로부터 얻도록 구성되고, 상기 투영 및 혼합 수단(22)은, 상기 예비 중간 뷰 이미지(24)를 얻기 위해, 상기 제 2 이미지(16)의 비-경계 부분(16a) 및 전경 경계 부분(16b1)과 상기 제 1 이미지(14)의 비-경계 부분을 상기 중간 뷰에 투영 및 혼합하도록 구성되며, 상기 투영 및 메움 수단(26)은, 상기 제 1 및 제 2 이미지(14, 16)의 투영된 배경 경계 부분에 의해 상기 예비 중간 뷰 이미지의 구멍들을 채우면서, 상기 제 1 및 제 2 이미지(14, 16)의 배경 경계 부분을 상기 예비 중간 뷰 이미지(24)에 투영하도록 구성되어, 상기 투영 및 혼합 결과가, 상기 예비 중간 뷰 이미지의 상기 구멍들 밖에 있는 상기 제 1 및 제2 이미지(14, 16)의 상기 투영된 배경 경계 부분에 의해 부정적으로 영향받지 않도록 하는 중간 뷰 합성 장치.
6. 청구항 1에 있어서, 상기 중간 뷰 합성 장치는, 상기 제 1 이미지(14)의 비-경계 부분, 전경 경계 부분 및 배경 경계 부분을 구별하는 계층 정보를 얻도록 구성되며, 상기 투영 및 혼합 수단(22)은, 상기 예비 중간 뷰 이미지(24)를 얻기 위해, 상기 제 1 및 제 2 이미지(14, 16)의 비-경계 부분 및 전경 경계 부분을 상기 중간 뷰에 투영 및 혼합하도록 구성되고, 상기 투영 및 메움 수단(26)은, 상기 제 1 및 제 2 이미지(14, 16)의 투영된 배경 경계 부분에 의해 상기 예비 중간 뷰 이미지의 구멍들을 채우면서, 상기 제 1 및 제 2 이미지(14, 16)의 배경 경계 부분을 상기 예비 중간 뷰 이미지(24)에 투영하도록 구성되어, 상기 투영 및 혼합 결과가, 상기 예비 중간 뷰 이미지의 상기 구멍들 밖에 있는 상기 제 1 및 제2 이미지(14, 16)의 상기 투영된 배경 경계 부분에 의해 부정적으로 영향받지 않도록 하는, 중간 뷰 합성 장치.
7. 청구항 2에 있어서, 상기 전경/배경 경계 영역 검출 수단(18)은, 상기 깊이 정보에서 가장자리를 검출하는 가장자리 검출기를 포함하는, 중간 뷰 합성 장치.
8. 청구항 2에 있어서, 상기 분할 수단(20)은, 상기 전경/배경 경계 영역(16b)으로서 가장자리 주위에 n 개의 샘플의 폭으로 연장되는 영역을 상기 전경 경계 부분(16b1)과 상기 배경 경계 부분(16b2)으로 분리하도록 구성되는, 중간 뷰 합성 장치.
9. 청구항 8에 있어서, 상기 분할 수단(20)은, 상기 전경/배경 경계 영역(16b)의 샘플에서의 상기 깊이 정보의 깊이 값을 역치(threshold value)와 비교하여, 상기 샘플이 상기 전경 경계 부분(16b1)에 속한 것인지 상기 배경 경계 부분(16b2)에 속한 것인지에 대해 결정함으로써 분할을 실행하도록 구성되는, 중간 뷰 합성 장치.
10. 청구항 9에 있어서, 상기 분할 수단(20)은, 상기 샘플에 이웃한 상기 전경/배경 경계 영역(16b)의 샘플에서의 상기 깊이 정보의 깊이 값의 중심 경향(central tendency)을 계산함으로써 역치 값을 유도하도록 구성되는, 중간 뷰 합성 장치.
11. 청구항 4에 있어서, 상기 투영 및 혼합 수단(22)은, 비-경계 중간 뷰 이미지를 얻기 위해, 상기 제 1 및 제 2 이미지(14, 16)의 비-경계 부분을 상기 중간 뷰에 투영 및 혼합- 상기 비-경계 부분의 혼합은 상기 제 1 이미지(14)와 상기 제 2 이미지(16) 사이의 평균화를 포함함 -하고, 상기 제 1 및 제 2 이미지(14, 16)의 전경 경계 부분을 상기 비-경계 중간 뷰 이미지에 투영 및 혼합- 상기 전경 경계 부분의 혼합은, 상기 제 1 및 제 2 이미지(14, 16) 사이의 평균화보다는 상기 비-경계 중간 뷰 이미지의 샘플과, 상기 제 1 및 제 2 이미지(14, 16)의 전경 경계 부분의 투영으로부터 얻은 동일하게 위치하는 샘플 사이에서의 선택을 포함함-하도록 구성되는, 중간 뷰 합성 장치.
12. 청구항 1에 있어서, 상기 투영 및 혼합 수단(22)과 상기 투영 및 메움 수단(26)은, 3D 월드 점(world points)을 얻기 위해 관련 깊이 정보의 사용에 의해 샘플을 2D로부터 3D로 투영하고, 상기 3D 월드 점을 상기 중간 뷰에 투영함으로써, 상기 중간 뷰로의 각각의 투영을 실행하도록 구성되는, 중간 뷰 합성 장치.
13. 청구항 12에 있어서, 상기 투영 및 혼합 수단(22)과 상기 투영 및 메움 수단(26)은, 상기 제 1 뷰 및 제 2 뷰의 투영 매트릭스 사이에서 보간함으로써 투영 매트릭스를 계산하고, 상기 투영 매트릭스의 사용에 의해 상기 3D 월드 점의 투영을 실행하도록 구성되는, 중간 뷰 합성 장치.
14. 청구항 1에 있어서, 상기 투영 및 혼합 수단(22)과 상기 투영 및 메움 수단(26)은, 상기 중간 뷰로부터의 편차에 따른 양으로 샘플 위치를 인-픽셀-평면(in-pixel-plane) 이동시킴으로써, 상기 중간 뷰로의 각각의 투영을 실행하도록 구성되는, 중간 뷰 합성 장치.
15. 청구항 1에 있어서, 상기 중간 뷰 합성 장치는, 상기 제 1 뷰에 대응하는 상기 제 1 이미지(14)와, 상기 제 2 뷰에 대응하는 상기 제 2 이미지(16)를, 상기 제 1 및 제 2 이미지의 깊이 정보를 포함해서, 멀티-뷰 데이터 신호로부터 추출하도록 구성되며, 상기 제 1 이미지(14)의 일부분이 상기 멀티-뷰 데이터 신호에 포함되는 반면, 상기 제 1 이미지(14)의 분리된 부분은 상기 멀티-뷰 데이터 신호에서 버려지며, 상기 제 1 이미지(14)의 일부분은, 상기 배경 경계 부분(16b2)이 없는 제 2 이미지(16)를 상기 제 1 뷰에 투영하여 얻은 상기 제 2 이미지(16)의 투영된 버전(48) 내의 대응하여 맞물리지 않은 영역(disoccluded area)(50)의 위치에 따르는, 중간 뷰 합성 장치.
16. 청구항 1에 있어서,
    상기 중간 뷰 이미지의 나머지 구멍으로, 외삽 또는 필터링에 의해 상기 중간 뷰 이미지를 향상시키는 수단(28)을 더 포함하는, 중간 뷰 합성 장치.
17. 청구항 1에 있어서,
    상기 중간 뷰 이미지의 전경/배경 경계 영역을 검출하여, 상기 중간 뷰 이미지의 전경/배경 경계 영역 내에서 저역통과 필터링함으로써, 상기 중간 뷰 이미지를 향상시키는 수단(28)을 더 포함하는, 중간 뷰 합성 장치.
18. 청구항 1에 있어서, 상기 제 1 및 제 2 이미지(14, 16)는 MVD 또는 LDV 비디오 이미지인, 중간 뷰 합성 장치.
19. 청구항 1에 있어서, 상기 제 1 및 제 2 이미지(14, 16)는 깊이 정보와 관련된 컬러 정보를 갖는, 중간 뷰 합성 장치.
20. 청구항 1에 있어서, 상기 중간 뷰 합성 장치는 3DTV 디스플레이 시스템에 집적된(integrated), 중간 뷰 합성 장치.
21. 제 1 뷰에 대응하는 제 1 이미지(34)와, 상기 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지(36)- 상기 제 1 및 제 2 이미지는 깊이 정보를 포함함 -를 포함하는 멀티-뷰 표현으로부터 멀티뷰 데이터 신호(32)를 추출하는 멀티-뷰 데이터 신호 추출 장치로서,
    상기 제 2 이미지에서 전경/배경 경계(40)를 검출하는 수단(38);
    상기 전경/배경 경계(40)를 따라 상기 제 2 이미지의 배경 경계 부분(44)을 결정하는 수단(42);
    대응하여 맞물리지 않은(disccluded) 영역(50)을 갖는 상기 제 2 이미지(36)의 투영된 버전(48)을 얻기 위해, 상기 배경 경계 부분(44)이 없는 상기 제 2 이미지(36)를 상기 제 1 뷰에 투영하는 수단(46); 및
    상기 제 2 이미지(36)의 투영된 버전(48) 내의 상기 대응하여 맞물리지 않은(disccluded) 영역(50)의 위치에 따른, 상기 제 1 이미지(34)의 부분과 함께 상기 제 2 이미지(36)를 상기 멀티뷰 데이터 신호(32)에 삽입하는 수단(52)을 포함하는, 멀티-뷰 데이터 신호 추출 장치.
22. 청구항 21에 있어서, 상기 제 2 이미지의 투영된 버전 내의 상기 대응하여 맞물리지 않은(disccluded) 영역(50)에 의해 점유된(occupied) 상기 제 1 이미지(34)의 영역으로서, 상기 멀티뷰 데이터 신호(32)에 삽입되는 상기 제 1 이미지(34)의 부분을 결정하는 수단(54)을 더 포함하는, 멀티-뷰 데이터 신호 추출 장치.
23. 청구항 21에 있어서, 상기 투영 수단(48)은, 대응하여 맞물리지 않은(disccluded) 영역을 갖는 상기 제 2 이미지의 추가로 투영된 버전을 얻기 위해, 상기 배경 경계 부분이 없는 상기 제 2 이미지를 또한 제 3 뷰에 투영하도록 구성되며, 상기 삽입 수단은, 상기 제 2 이미지의 추가로 투영된 버전 내에서 상기 대응하여 맞물리지 않은(disccluded) 영역의 위치에 따라, 상기 제 2 이미지, 상기 제 1 이미지의 일부분, 및 제 3 이미지의 추가적 부분을 상기 멀티뷰 데이터 신호에 삽입하도록 구성되며, 상기 제 2 뷰는 상기 제 1 뷰와 상기 제 3 뷰 사이에 놓이는, 멀티-뷰 데이터 신호 추출 장치.
24. 청구항 23에 있어서, 상기 삽입 수단(52)은, 적어도 상기 제 2 이미지의 비-경계 부분(56)과 배경 경계 부분(44)을 구별하는 계층 정보를 상기 멀티-뷰 데이터 신호(32)에 삽입하도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
25. 청구항 21에 있어서, 상기 제 2 이미지의 투영 또는 상기 제 2 이미지의 투영된 버전의 필터링으로 인해 구멍을 메우는 수단(58)을 더 포함하는, 멀티-뷰 데이터 신호 추출 장치.
26. 청구항 21에 있어서, 상기 삽입 수단(52)은, 상기 제 2 이미지의 투영된 버전 내에서 상기 대응하여 맞물리지 않은(disccluded) 영역(50)의 위치에 따른 부분과 분리된 상기 제 1 이미지의 남은 부분을 버리고, 상기 멀티-뷰 데이터 신호(32)에서 상기 버림을 알려 주도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
27. 청구항 21에 있어서, 상기 전경/배경 경계(40)를 검출하는 수단(38)은, 상기 깊이 정보에서 가장자리를 검출하는 가장자리 검출기를 포함하는, 멀티-뷰 데이터 신호 추출 장치.
28. 청구항 27에 있어서, 상기 결정 수단(42)은, 상기 가장자리 주위에 n 개의 샘플의 폭으로 연장되는 영역을 전경 경계 부분과 배경 경계 부분으로 분리하도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
29. 청구항 28에 있어서, 상기 결정 수단(42)은, 상기 영역의 샘플에서의 깊이 정보의 깊이 값을 역치(threshold value)와 비교하여, 상기 샘플이 상기 전경 경계 부분에 속한 것인지 상기 배경 경계 부분에 속한 것인지를 결정함으로써, 상기 분리를 실행하도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
30. 청구항 29에 있어서, 상기 결정 수단(42)은, 상기 샘플에 이웃한 상기 영역의 샘플에서 깊이 정보의 깊이 값의 중심 경향을 계산함으로써, 역치(Threshold value)를 유도하도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
31. 청구항 21에 있어서, 상기 투영 수단(46)은, 3D 월드 점을 얻기 위해 깊이 정보의 이용에 의해 샘플을 2D로부터 3D로 투영하고, 상기 3D 월드 점을 중간 뷰에 투영함으로써, 상기 제 1 뷰로의 각각의 투영을 실행하도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
32. 청구항 31에 있어서, 상기 투영 수단(46)은, 상기 제 1 뷰 및 제 2 뷰의 투영 매트릭스 사이에 보간함으로써 투영 매트릭스를 계산하고, 상기 투영 매트릭스의 사용에 의해 상기 3D 월드 점의 투영을 실행하도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
33. 청구항 21에 있어서, 상기 투영 수단(42)은, 중간 뷰로부터의 편차에 따른 양으로 샘플 위치를 인-픽셀-평면 이동함으로써 상기 중간 뷰로의 각각의 투영을 실행하도록 구성되는, 멀티-뷰 데이터 신호 추출 장치.
34. 삭제
35. 제 1 뷰에 대응하는 제 1 이미지와, 상기 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지- 상기 제 1 및 제 2 이미지는 깊이 정보를 포함함 -로부터 중간 뷰 이미지를 합성하는 중간 뷰 합성 방법으로서,
    상기 제 2 이미지는 비-경계 부분과 전경/배경 경계 영역으로 분리되고, 상기 제 2 이미지(16)의 전경/배경 경계 영역(16b)은 전경 경계 부분(16b1)과, 상기 전경 경계 부분(16b1)에 분리된 배경 경계 부분(16b2)을 포함하고, 상기 중간 뷰 합성 방법은:
    예비 중간 뷰 이미지(24)를 얻기 위해, 상기 제 2 이미지의 비-경계 부분(16a)과 전경 경계 부분(16b1)을 상기 제 1 이미지(14)의 적어도 일부분과 함께 중간 뷰에 투영 및 혼합하는 단계; 및
    상기 제 2 이미지(16)의 배경 경계 부분(16b2)을 투영하여, 상기 제 2 이미지(16)의 투영된 배경 경계 부분에 의해 상기 예비 중간 뷰 이미지(24)의 구멍을 메우는 단계를 포함하는, 중간 뷰 합성 방법.
36. 제 1 뷰에 대응하는 제 1 이미지와, 상기 제 1 뷰와 다른 제 2 뷰에 대응하는 제 2 이미지- 상기 제 1 및 제 2 이미지는 깊이 정보를 포함함 -를 포함하는 멀티-뷰 표현으로부터 멀티뷰 데이터 신호를 추출하는 멀티뷰 데이터 신호 추출 방법으로서,
    상기 제 2 이미지에서 전경/배경 경계를 검출하는 단계;
    상기 전경/배경 경계를 따라 배경 경계 부분을 결정하는 단계;
    대응하여 맞물리지 않은(disccluded) 영역을 갖는 상기 제 2 이미지의 투영된 버전을 얻기 위해, 상기 배경 경계 부분이 없는 상기 제 2 이미지를 상기 제 1 뷰에 투영하는 단계; 및
    상기 제 2 이미지의 투영된 버전 내의 대응하여 맞물리지 않은(disccluded) 영역의 위치에 따라, 상기 제 1 이미지의 일부분과 함께 상기 제 2 이미지를 상기 멀티뷰 데이터 신호에 삽입하는 단계를 포함하는, 멀티뷰 데이터 신호 추출 방법.
37. 청구항 35 또는 청구항 36에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
38. 삭제

Images