KR100914636B1

KR100914636B1 - 비주얼 통신 신호를 전송하기 위한 방법, 비주얼 통신 신호를 전송하기 위한 송신기 및 비주얼 통신 신호를 수신하기 위한 수신기

Info

Publication number: KR100914636B1
Application number: KR1020037001249A
Authority: KR
Inventors: 레데르트피터-안드레; 에른스트파비안이.; 윌린스키피오트르; 옵데비이크마르크제이.알.
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-05-29
Filing date: 2002-05-28
Publication date: 2009-08-28
Also published as: US20040156631A1; KR20030022324A; EP1407612A2; CN100518314C; JP4173440B2; WO2002097733A3; WO2002097733A2; CN1511419A; US7439976B2; JP2004530218A

Abstract

3-D 화상들을 생성하기 위한 화상 모델 정보(10)를 포함하는 비주얼 통신 신호(32)가 기재된다. 그 화상 모델 정보(10)는 3-D 화상 모델, 예를 들어, 3-D 와이어프레임 모델 또는 3-D 복셀 맵을 포함할 수 있다. 생성된 3-D 화상들 중 몇몇은 비교적 저화질을 가질 수 있다. 그 비주얼 통신 신호(32)는 생성된 3-D 화상들의 화질을 개선하기 위한 적어도 3-D 화상들의 부분에 대응하는 화상 개선 정보(20)를 더 포함한다. 이러한 화상 개선 정보(20)는 하나 또는 그 이상의 단일 뷰포인트들(22, 24)에 대응하는 화상 정보 및/또는 하나 또는 그 이상의 뷰포인트들의 범위(26, 28)들에 대응하는 화상 정보를 포함할 수 있다. 그 비주얼 통신 신호(32)는 3-D 텔레비전 시스템 또는 3-D 화상회의(teleconferencing) 시스템과 같은 비주얼 통신 시스템(40)에서 전송기(30)로부터 수신기(34)로 전송될 수 있다. 대안으로, 그 비주얼 통신 신호(32)는 유형 매체, 예를 들어, CD-ROM 또는 DVD-ROM에 의해 전달될 수 있다.

3-D 화상, 화상 모델 정보(10), 비주얼 통신 신호, 화상 개선 정보, 유형 매체

Description

비주얼 통신 신호를 전송하기 위한 방법, 비주얼 통신 신호를 전송하기 위한 송신기 및 비주얼 통신 신호를 수신하기 위한 수신기{A method of transmitting a visual communication signal, a transmitter for transmitting a visual communication signal and a receiver for receiving a visual communication signal}

본 발명은 적어도 3-D 화상들을 생성하기 위한 화상 모델 정보를 포함하는 비주얼 통신 신호에 관한 것이다.

본 발명은 또한 그러한 비주얼 통신 신호를 전송기로부터 수신기로 전송하기 위한 비주얼 통신 시스템, 그러한 비주얼 통신 신호를 전송하기 위한 전송기, 그러한 비주얼 통신 신호를 수신하기 위한 수신기, 그러한 비주얼 통신 신호를 전송하는 방법, 및 그러한 비주얼 통신 신호를 전달하기 위한 유형 매체(tangible medium)에 관한 것이다.

전문에 따른 비주얼 통신 신호가 1999년 일본 코베에서 IEEE 회의 ICIP99 회보, 3권 334 내지 338 페이지에 M.Magnor & B. Girod 저자의 논문 제목이 "Hierarchical coding of light fields with disparity maps"인 논문으로부터 알려져 있다.

그러한 비주얼 통신 신호들은 3-D 비디오 정보를 전송기에서 수신기로 전송하기 위한 비주얼 통신 시스템들, 예를 들어, 3차원(3-D) 텔레비전 화상 회의 시스템들에 사용한다.

그러한 비주얼 통신 시스템들에서, 3차원 비디오는 색의 도입 후의 변화(revolution)일 수도 있다. 진화 시나리오(evolutionary scenario)에서는,

- 종래의 모노스코픽 비디오(monoscopic video)와의 호환성을 보장하고,

- 맨 처음부터 고-품질 3-D 비디오에 대한 선택들을 제공하고,

- 수 년에 걸쳐 꾸준한 개선을 허용하는 해결방안들을 찾는 것이 중요하다.

현재, 많은 다른 선택들이 다수의 카메라들, 레인지 카메라(range camera)들, 및 복잡한 광학 장치들을 갖는 고해상 디스플레이들을 포함하는 3-D 콘텐트를 획득하고 디스플레이하는데 사용가능하다. 화상 및 신호 처리는 다른 양상을 갖는 디바이스들(즉, 다른 데이터 유형들을 지원하는 디바이스들) 간을, 예를 들어, 스테레오 카메라와 둘 이상의 뷰포인트들을 지원하는 멀티-뷰포인트 디스플레이 간을 인터페이스하도록 요구된다. 그러나, 화상 및 신호 처리의 분야는 대다수의 다른 3-D 획득 및 디스플레이 디바이스들의 인터페이싱을 가능하게 하는 것은 아무 것도 없다. 모든 현재 화상 처리 기술들은 단지 불투명한(opaque)(non-transparent) 객체들에 대해서만 동작하며, 여전히 많은 가시적인 아티팩트들(artifacts)을 발생시킨다. 이러한 문제가 해결되어도, 투명성(연기, 안개, 물, 윈도우), 거울같은 방사/반사성(광원들, 거울들, 금속들) 및 높은 위상 디테일 및 역학(바람 속에 움직이는 나뭇잎들)을 처리하기 위한 거대한 문제가 여전히 존재할 것이다. 명확하게, 3-D를 성공적으로 수행하는데 중요한 고품질 요구조건은 일반적으로 만족되지 않는다.

앞서 언급된 논문으로부터 알려진 비주얼 통신 신호에서, 그 화상 모델 정보는 계층적으로 코딩된 광 분야에 포함된다. 그러한 광 필드는 카메라들의 규칙적으로 이격된 2-D 그리드에 의해 쉬운 데이터 획득을 가능케하는, 정적인 장면의 2-D 화상들의 밀집하게 샘플링된 세트에 기초한다. 디코더가 코딩된 광 필드에 기초하여, 최초에 기록되지 않은 불균형-보상된 중간 광-필드 화상들을 추정함으로써 그 광 필드를 국부적으로 정제할(refine) 수 있다. 이러한 보간된 화상들은 렌더링(rendering) 성능을 굉장히 개선할 수 있다. 그럼에도 불구하고, 이러한 보간된 화상들 중 몇몇은 아티팩트들을 렌더링하는 것에 기인하여 여전히 비교적 저화질을 갖는다.

본 발명의 목적은 비교적 고화질을 갖는 3-D 화상들의 생성을 가능하게 하는 서두에 기재된 바와 같은 비주얼 통신 신호를 제공하기 위한 것이다. 이러한 목적은 본 발명에 따른 비주얼 통신 신호에서 달성될 수 있고, 그 비주얼 통신 신호는 그 비주얼 통신 신호가 적어도 3-D 화상들의 부분에 대응하는 화상 개선 정보를 더 포함하는 것을 특징으로 한다. 화상 모델 정보로부터 (3-D) 화상들은 어떤 임의의 뷰포인트(viewpoint)로부터 렌더링될 수 있다. 이는 진화 시나리오(evolution scenario)에서 항상 임의의 디스플레이(모노스코픽(monoscopic), 스테레오스코픽 (stereoscopic), 멀티뷰(multiview) 디스플레이들)가 사용될 수 있음을 보장한다. 그 화상 개선 정보는 3-D 화상 모델을 생성하기 위해 최초에 기록되는, 뷰포인트(viewpoint)들의 특정 세트가 아티팩트들 없이 렌더링될 수 있음을 보장한다.

그 화상 모델 정보(또는 3-D 모델)는 획득 디바이스(acquisition device)로부터 모든 또는 거의 모든 데이터를 분석 처리한 결과이다. 예를 들어, 50 카메라 획득 디바이스는 결국 단일 3-D 모델이 된다. 일반적으로 후자가 보다 적은 정보 비트들을 포함하기 때문에, 3-D 모델은 효율적인 인코딩을 위해 사용될 수 있다.

3-D 모델의 임의의 종류, 예를 들어, 와이어프레임(wireframe) 또는 VRML 모델들과 같은 하나 또는 그 이상의 3-D 모델들, (MRI 화상들과 같은) 복셀 맵들 또는 계층적 복셀 맵들(옥트리(octree) 모델들), 또는 (예를 들어, MPEG-4에 사용되는 것과 같은) 2D 객체(object)들의 수집들이 사용될 수 있다. 3-D 모델은 또한 자연 콘텐트(natural content) 외에도 합성 콘텐트(synthetic content)(컴퓨터 그래픽들)를 포함할 수 있다.

종래의 모노스코픽 시스템들과의 호환성을 보장하기 위해서, 정규 모노스코픽 화상 플러스(plus) 기하학적 정보를 갖는 부가적인 부층(sublayer)으로 이루어져 있는 특정 3-D 모델이 사용될 수 있다. 후자는 예를 들어, 모든 픽셀에 대한 깊이(z)(불균형(disparity)이라 불리는 1/z, 또는 불균형 파생물(derivative)과 같은 파생된 양)를 포함하는 특정 화상이 될 수 있다. 이러한 화상은 현재 소위 레인지 카메라(range camera)에 의해 직접적으로(처리없이) 획득될 수 있는 단지 실제의 3-D 모델이기 때문에, 특히 흥미롭다. 이는 스테레오스코픽 화상 재료를 처리함으로써 또한 생성될 수 있다. 그 기하학적 부층은 콘텐트 생성(creation)측에서 완전 후방 호환성(full backwards compatibility)을 제공하기 위해 결여될 수 있다. 3-D 모델의 관계에서, 그 정규 모노스코픽 화상은 이어서 평탄한 3-D 모델을 표현하도록 가정된다. 이러한 방식에서, 그 화상은 화상 개선 정보를 통해 효율적으로 다른 화상들을 렌더링하기 위해 여전히 기초로서 사용될 수 있다.

그 화상 개선 정보는 3-D 모델로부터 렌더링된 화상들(뷰포인트들)의 특정 세트의 품질 업그레이드를 가능하게 한다. 그 화상 개선 정보 층은 몇몇 부층들을 포함할 수 있고, 각각은 단일의 뷰포인트 또는 뷰포인트들의 이산 또는 (반-)연속 범위에 대응할 수 있다. 그 범위 부층들은 모션 패럴랙스(motion parallax)(즉, 이동 중인 뷰어가 경험하는 가까운 객체들 및 먼 객체들의 겉으로 보기에 다른 이동 속도: 가까운 객체들은 먼 객체들보다 더 빨리 이동하는 것처럼 보임)를 가능하게 하며, 1-D 범위는 수평 모션 패럴랙스를 가능하게 한다. 3-D 진화 시나리오에 대해, 2-D 범위 부층이 포함될 수 있다. 그러한 범위는 장면의 모든 시각적인 3-D 정보를 포함하기 때문에, 중요하다(홀로그램(hologram)이 특히 높은 화상 해상도(resolution)를 갖는 2-D 뷰포인트 범위와 동등하다). 가능한 몇가지 응용들에 대해, 비록 그러한 범위가 정의상으로는 2-D 뷰포인트 범위보다 많은 정보를 포함할 수 없을지라도, 다차원 범위(예를 들어, xyz 카메라 위치,

방위 및 f 줌)가 사용될 수 있다.

자연 콘텐트에 대해, 그 부층들은 정규적으로 기록하는데 사용되는 최초 카메라들에 대응한다. 그 부층들은 예를 들어, 합성 콘텐트에 대해, 안개 또는 연기 등과 같은 특정 효과들을 추가시키기 위해 또한 사용될 수 있다.

화상 개선의 실제 방법은 무엇이든지 될 수 있다. 좋은 후보(candidate)는 최초 화상과 3-D 모델로부터의 적절한 렌더링 간의 차(에러)를 화상 개선 정보에 포함하는 것이다. 이어서, 수신기에서, 렌더링된 화상 플러스 차이 화상은 3-D 모델 층에서 이루어진 어떤 에러에도 무관하게, 최초 화상이 될 것이다.

그 화상 개선 정보는 예를 들어, DCT 변환들 및 무손실 또는 손실 계수 코딩을 사용하여 인코딩될 수 있다. 이러한 방법은 또한 이전에 디코딩된 화상들로부터 부분들을 카피함으로써 구성된 후, 화상들을 업그레이드하기 위해서 MPEG-2 및 MPEG-4에 사용된다. 서로에 근접한 단일 뷰포인트들에 대해, 그들의 화상들 간의 상호의존성들(교차-상관관계(cross-correlation))은 또한 인코딩 처리에 사용될 수 있다. 이는 뷰포인트들의 범위에 대해 중요하며, 그 상호관계는 그 범위 내에서, 매우 높다.

본 발명에 따른 비주얼 통신 신호는 다음의 특성들을 갖는다:

- 넓은 범위의 다른 획득 및 디스플레이 디바이스들을 제공하고,

- 획득 및 디스플레이 디바이스들이 언제 동일한 양식(modality)을 공유하는지 간에, 또는 그 디스플레이가 종래의 모노스코픽 디스플레이와 같은 획득 디바이스로부터 데이터의 부분을 사용할 때에만, 화상 처리 분야의 상태에 무관하게 고-품질 전송을 가능하게 하고,

- 획득 및 디스플레이 디바이스들이 언제 다른 양식을 갖던지 간에, 전송이 여전히 가능하고, 한편, 그 품질은 화상 처리 분야의 상태에 의존한다.

이러한 방식으로, 성공적인 시작은 2-D 호환가능한 고-품질 3-D 텔레비전으로 이루어질 수 있으며, 한편 진화 시나리오는 두 디바이스들 및 처리 기술로 가능해진다.

3-D 텔레비전 도전을 해결하기 위한 다른 비디오 통신 신호들이 제안되고 있음을 주목해야 한다:

- (MPEG-2 Multiview Profile(MVP) 시스템에서 사용되는 바와 같이) 단일 화상을 포함하는 기저층(base-layer) 및 그 단일 화상에 관한 화상 개선 정보를 포함하는 개선층을 사용.

- 특정 화상-기초의 비주얼 통신 신호, 예를 들어, 스테레오 재료(material)를 사용. 이는 고-품질의 3-D 화상들을 초래하지만, 다른 디스플레이 디바이스들의 사용에 제한을 초래하기도 한다(단지 스테레오 디스플레이들만 사용될 수 있음).

- 화상 개선 정보없는 3-D 모델, 예를 들어, 앞서 언급된 논문에 기재된 바와 같이 단지 '화상+깊이' 3-D 모델 또는 VRML/옥트리 3-D 모델 또는 광 필드 모델만을 사용. 이는 화상 분석 기술 분야의 상태에 기인하여 화질을 저하시킨다.

본 발명에 따른 비주얼 통신 신호의 실시예는 단일 3-D 화상에 대응하는 화상 개선 정보가 실질적으로 전체의 단일 3-D 화상에 관한 것임을 특징으로 한다. 투명한 전경 객체가 존재하는 화상들을 재구성할 시 전체 3-D 화상 문제들에 그 화상 개선 정보를 적용시킴으로써 회피될 수 있다. 그러한 문제들은 단지 화상 개선 정보가 그 렌더링(rendering)들에서 홀(hole)들을 메울 때에만 발생한다. 예를 들어, 그 '화상+깊이' 3-D 모델은 표현된 위상(topology)에 제한들을 둔다. 화상들이 최초의 화상들로부터 실질적으로 다른 뷰포인트로부터 렌더링될 때마다, 홀들은 렌더링시 나타난다. 이 '홀 메움(hole filling)' 개선 접근법은 홀들에 대한 화상들 내에서 단지 국부적으로 설명하고는 있지만, 전체 화상들을 통해 항상 발생하는 화상/신호 처리 문제들에 대해서는 그렇지 못하다.

본 발명 개념의 가능한 응용들은 다음을 포함한다:

- 모노스코픽 TV는 단지 정규 화상을 전송함으로써 인에이블된다. 이러한 화상은 3-D 모델 층에 포함되고, 그 '화상+깊이' 형태의 3-D 모델은 깊이 화상없이 사용된다.

- 고-품질 스테레오스코픽 이미저리(imagery)는 단일 뷰포인트를 갖는 두 부층들 또는 '화상+깊이' 3D 모델로부터의 정규 화상과 조합하는 단지 하나의 부층을 사용함으로써 인에이블된다.

- 필립스의 3D-LCD와 같은 멀티뷰 디스플레이들은 많은 단일의 뷰포인트 부층들 또는 단지 하나의 뷰포인트들의 개별 범위 부층에 의해 제공될 수 있다. 이러한 후자의 부층은 100의 뷰포인트들만큼 많이 지원할 수 있는 미래의 디스플레이들에 대해 중요하며, 장면 상의 3-D 뷰포인트들의 거의 계속적인 범위를 제공한다. 어떠한 왜곡(distortion)도 없고, 완전한 운동 패럴랙스를 갖는 정확한 3-D 기하학을 갖는 장면을 보여주는 미래의 디스플레이들을 위해 2-D의 뷰포인트들의 범위는 중요하게 될 것이다.

- 사용자, 예를 들어, TV 리모콘에 의한 수동 뷰포인트 선택은 그 뷰포인트 부층들을 수동으로 브라우징함으로써 인에이블될 수 있다.

본 발명에 따른 비주얼 통신 시스템은 본 발명에 따른 비주얼 통신 신호를 전송기로부터 수신기로 전송하도록 배치된다. 그러한 비주얼 통신 시스템들은 3-D 텔레비전, 화상회의 및 원격 서저리 시스템들을 포함한다.

본 발명에 따른 유형 매체(tangible medium)는 본 발명에 따른 비주얼 통신 신호를 전달하도록 배치된다. 본 발명에 따른 그 비주얼 통신 신호는 그러한 하드 디스크, CD-ROM, DVD-ROM 등과 같은 임의의 적절한 정보 캐리어(carrier)에 저장될 수 있다.

본 발명에 따른 비주얼 통신 신호는 그 화상 모델 정보 및 화상 개선 정보를 사적으로 또는 사용자 데이터로 또는 개별 PID에 전달하는 MPEG 비디오 스트림일 수 있다(에 포함될 수 있다). 대안으로, 그 비주얼 통신 신호는 인터넷 TV를 용이하게 하기 위해 인터넷을 통해 전송될 수 있다.

본 발명의 상기 목적 및 특징들은 이후 도면들을 참조하여 바람직한 실시예들의 상세한 설명으로부터 보다 분명해 질 것이다.

도 1은 본 발명에 따른 비주얼 통신 신호(32)의 몇가지 실시예들을 개략적으로 도시한 도면.

도 2는 본 발명에 따른 비주얼 통신 시스템(40)의 실시예의 블록도.

도 3은 본 발명에 따른 유형 매체(50)의 실시예를 도시한 도면.

도 4는 본 발명에 따른 전송기의 가장 중요한 요소들을 개략적으로 도시한 도면.

도 5는 본 발명에 따른 수신기의 가장 중요한 요소들을 개략적으로 도시한 도면.

도면들에서, 동일한 부분들은 동일한 참조번호들로 제공된다.

도 1은 본 발명에 따른 비주얼 통신 시스템의 몇가지 가능한 실시예들을 개략적으로 도시한다. 그 비주얼 통신 신호(32)는 3-D 모델 층(10)에 화상 모델 정보를 포함하고, 화상 개선 층(20)에 화상 개선 정보를 포함한다. 그 화상 모델 정보로부터, (3-D) 화상들이 임의의 뷰포인트(viewpoint)로부터 제공될 수 있다. 이는 진화 시나리오에서, 언제라도 임의의 디스플레이(모노스코픽(monoscopic), 스테레오스코픽(stereoscopic), 멀티뷰(multiview) 디스플레이들)가 사용될 수 있음을 보장한다. 그 화상 개선 정보는 3-D 화상 모델을 생성하기 위해 최초에 기록된 뷰포인트들의 특정 세트가 아티팩트들 없이 제공될 수 있음을 보장한다.

3-D 모델 층(10)은 와이어프레임(wireframe) 또는 VRML 모델(14)과 같은 하나 또는 그 이상의 3-D 모델들, (MRI 화상들과 같은) 복셀 맵들, 계층적 복셀 맵들(옥트리(octree) 모델들)(18), 또는 (예를 들어, MPEG-4에 사용되는 것과 같은) 2-D 객체들(16)의 수집들을 포함할 수 있다. 3-D 모델은 또한 자연 콘텐트(natural content) 외에도 합성 콘텐트(synthetic content)(컴퓨터 그래픽들)를 포함할 수 있다.

종래의 모노스코픽 시스템들과의 호환성을 보장하기 위해서, 정규 모노스코픽 화상 플러스 기하학적 정보를 갖는 부가적인 부층(sublayer)으로 이루어져 있는 특정 3-D 모델(12)이 사용될 수 있다. 후자는 예를 들어, 모든 픽셀에 대한 깊이(z)(불균형이라 불리는 1/z, 또는 불균형 파생물(derivative)과 같은 파생된 양)를 포함하는 특정 화상이 될 수 있다. 이러한 화상은 현재 소위 레인지 카메라(range camera)에 의해 직접적으로(처리없이) 획득될 수 있는 단지 실제의 3-D 모델이기 때문에, 특히 흥미롭다. 이는 스테레오스코픽 화상 재료를 처리함으로써 또한 생성될 수 있다. 그 기하학적 부층은 콘텐트 생성(creation)측에서 완전 후방 호환성을 제공하기 위해 결여될 수 있다. 3-D 모델의 관계에서, 그 정규 모노스코픽 화상은 이어서 평탄한 3-D 모델을 표현하도록 가정된다. 이러한 방식에서, 그 화상은 그 화상 개선 정보를 통해 효율적으로 다른 화상들을 렌더링하기 위해 여전히 기초로서 사용될 수 있다.

그 화상 개선 정보는 3-D 모델로부터 제공된 화상들(뷰포인트들)의 특정 세트의 품질 업그레이드를 가능하게 한다. 그 화상 개선 정보 층(20)은 하나 또는 그 이상의 부층들(22...28)을 포함할 수 있고, 각각은 단일의 뷰포인트(22, 24) 또는 뷰포인트들(26, 28)의 이산 또는 (반-)연속 범위에 대응할 수 있다. 그 범위 부층들(26, 28)은 모션 패럴랙스(motion parallax)(즉, 이동 중인 뷰어가 경험하는 가까운 객체들 및 먼 객체들의 겉으로 보기에 다른 이동 속도: 가까운 객체들은 먼 객체들보다 더 빨리 이동하는 것처럼 보임)를 가능하게 하며, 1-D 범위(26)는 수평 모션 패럴랙스를 가능하게 한다. 3-D 진화 시나리오에 대해, 2-D 범위 부층(28)이 포함될 수 있다. 그러한 범위는 장면의 모든 시각적인 3-D 정보를 포함하기 때문에, 중요하다(홀로그램(hologram)이 특히 높은 화상 해상도를 갖는 2-D 뷰포인트 범위와 동등하다). 가능한 한 몇가지 응용들에 대해, 비록 그러한 범위가 정의상으 로는 2-D 뷰포인트 범위보다 많은 정보를 포함할 수 없을지라도, 다차원 범위(예를 들어, xyz 카메라 위치,

방위 및 f 줌)가 사용될 수 있다.

화상 개선의 실제 방법은 무엇이든지 될 수 있다. 좋은 후보는 최초 화상과 3-D 모델로부터의 적절한 렌더링 간의 차(에러)를 화상 개선 정보에 포함하는 것이다. 이어서, 수신기에서, 렌더링된 화상 플러스 차이 화상은 3-D 모델 층에서 이루어진 어떤 에러에도 무관하게, 최초 화상이 될 것이다.

그 화상 개선 정보는 예를 들어, DCT 변환들 및 무손실 또는 손실 계수 코딩을 사용하여 인코딩될 수 있다. 이러한 방법은 또한 이전에 디코딩된 화상들로부터 부분들을 카피함으로써 구성된 후, 화상들을 업그레이드하기 위해서 MPEG-2 및 MPEG-4에 사용된다. 서로에 근접한 단일 뷰포인트들에 대해, 그들의 화상들 간의 상호의존성들(교차-상관관계)은 또한 인코딩 처리에 사용될 수 있다. 이는 뷰포인트들의 범위에 대해 중요하며, 그 상호관계는 그 범위 내에서, 매우 높다.

도 2는 본 발명에 따른 비주얼 통신 시스템(40)의 실시예의 블록도를 도시하며, 그 비주얼 통신 시스템(40)은 3-D 텔레비전 시스템, 3-D 화상회의 시스템, 리모트 서저리(surgery) 시스템 또는 인터넷 TV 시스템이 될 수 있다. 그 비주얼 통신 시스템(40)은 전송기들(30) 및 수신기들(34)을 더 포함한다. 비주얼 통신 신호(32)는 전송기(30)에 의해 전송되고, 수신기(34)에 의해 수신된다. 전송기(30)는 CATV 네트워크 또는 위성 텔레비전 시스템 또는 지상 텔레비전 네트워크의 전파중계소(headend)일 수 있다. 그 전송기(30)는 미리-녹화된(pre-recorded) 또는 생방송의(live) 3-D 텔레비전 프로그램들을 3-D 텔레비전 수신기들(34)에 방송할 수 있다. 대안으로, 그 수신기(34)는 3-D 화상들을 디스플레이하기 위한 디스플레이를 갖고, 인터넷을 통해 비주얼 통신 신호(32)를 수신하는 PC이다. 3-D 화상회의 시스템의 경우에서, 그 접속의 양쪽 끝 모두는 결합된 전송기(30)/수신기(34)를 가지며, 그 비주얼 통신 신호(32)는 양방향으로 전송된다.

도 3은 본 발명에 따른 유형 매체(50)의 가능한 실시예로서 DVD-ROM(50)을 도시한다. 이 DVD-ROM(50)은 본 발명에 따른 비주얼 통신 신호를 전달하도록 배치된다. 본 발명에 따른 비주얼 통신 신호는 대안으로 하드 디스크 또는 CD-ROM 등과 같은 임의의 적절한 정보 캐리어 상에 저장된다.

도 4는 본 발명에 따른 전송기의 가장 중요한 요소들을 개략적으로 도시한다. 그 전송기(30)는 입력(52)을 통해 외부 소스로부터 전송될 신호에 관련하는 화상 데이터를 얻을 수 있다. 그 전송기는 전송될 신호 내의 앞서 기재된 바와 같은 3-D 화상들에 대한 화상 모델(10)을 포함하는 포함 유닛(54)을 갖는다. 더구나, 그 전송기는 앞서 기재된 바와 같이, 화상 개선 정보(20)를 포함하는 개선 유닛(56)을 갖는다. 최종적으로, 그 전송기는 비주얼 통신, 예를 들어 방송 전송기의 경우에는 안테나에 또는 케이블 전파중계소(cable headend)의 경우에는 케이블 네트워크에 비주얼 통신을 출력하는 출력 유닛(58)을 갖는다.

도 5는 본 발명에 따른 수신기의 가장 중요한 요소들을 개략적으로 도시한다. 그 수신기(32)는 수신기 비주얼 신호가 그 수신기에 들어가는 입력(59)을 갖는다. 그 신호는 다른 방식들로 캡쳐(capture)될 수 있다. 예를 들어, 그 신호가 방송중이라면, 안테나를 경유할 것이고, 그 신호가 케이블 네트워크를 통해 전송된다면, 케이블을 경유할 것이다. 수신기는 그 신호를 수신하고, 그것의 부가적인 처리를 준비하기 위한 수신 유닛(60)을 갖는다. 그 수신 유닛은 방송 신호의 경우에 적절한 주파수를 선택하기 위한 튜너(tuner)를 포함할 수 있다. 더구나, 그 수신기는 그 신호로부터 요구된 정보를 추출하기 위한 추출 유닛(62)을 갖는다. 앞서 기재된 바와 같이, 이 추출된 정보는 3-D 화상들을 생성하기 위한 모델 정보, 그 3-D 화상들을 개선하기 위한 개선 정보, 단일 뷰포인트에 대한 3-D 화상들을 위한 개선 정보 및/또는 뷰포인트들의 범위에 대한 3-D 화상들을 위한 개선 정보가 될 수 있다. 통상적으로, 그 수신기는 그 추출된 정보를 사용하는 동안, 그 신호를 디스플레이 디바이스(64) 상에 디스플레이될 수 있는 출력 신호로 처리할 것이다. 그 디스플레이 디바이스는 3-D 화상들의 디스플레이에 적합하고, 이러한 목적에 대해 알려진 기술들, 예를 들어, 필립스 3D-LCD에 기초할 수 있다.

본 발명의 범위는 명백하게 기재된 실시예들에 제한되는 것이 아니다. 본 발명은 각각의 새로운 특성 및 특성들의 각각의 조합으로 구체화된다. 임의의 참조 부호들은 그 청구항들의 범위를 제한하는 것이 아니다. 용어 "포함하는"은 청구항에 리스트된 것과는 다른 요소들 또는 단계들의 존재를 배제하는 것이 아니다. 요소들에 선행하는 용어 "a" 또는 "an"은 그러한 요소들의 복수의 존재를 배재하는 것이 아니다.

Claims

비주얼 통신 신호를 전송하는 방법에 있어서,

적어도 3-D 화상들을 생성하기 위한 화상 모델 정보를 상기 비주얼 통신 신호에 포함시키는 단계;

상기 3-D 화상들의 적어도 일부에 대응하는 화상 개선 정보를 상기 비주얼 통신 신호에 포함시키는 단계로서, 상기 화상 개선 정보는 아티팩트들(artefacts)없이 뷰포인트들의 특정 세트의 렌더링을 가능하게 하고, 상기 뷰포인트들의 특정 세트는 적어도 3-D 화상들을 생성하기 위한 상기 화상 모델 정보를 발생시키기 위해 최초에 기록되었던 뷰포인트들에 대응하는, 상기 화상 개선 정보를 상기 비주얼 통신 신호에 포함시키는 단계; 및

상기 비주얼 통신 신호를 전송하는 단계를 포함하는, 비주얼 통신 신호를 전송하는 방법.
제 1 항에 있어서,

단일 3-D 화상에 대응하는 상기 화상 개선 정보는 실질적으로 전체의 단일 3-D 화상에 관련하는 것을 특징으로 하는, 비주얼 통신 신호를 전송하는 방법.
제 1 항에 있어서,

상기 화상 개선 정보는 단일 뷰포인트에 대응하는 화상 정보를 포함하는 것을 특징으로 하는, 비주얼 통신 신호를 전송하는 방법.
제 1 항에 있어서,

상기 화상 개선 정보는 뷰포인트들의 범위에 대응하는 화상 정보를 포함하는 것을 특징으로 하는, 비주얼 통신 신호를 전송하는 방법.
삭제
비주얼 통신 신호를 전송하기 위한 전송기에 있어서,

3-D 화상들을 생성하기 위한 화상 모델 정보를 상기 비주얼 통신 신호에 포함하기 위한 포함 수단;

상기 비주얼 통신 신호를 출력하기 위한 출력 수단; 및

상기 3-D 화상들의 적어도 일부에 대응하는 화상 개선 정보를 상기 비주얼 통신 신호에 포함하기 위한 개선 수단으로서, 상기 화상 개선 정보는 아티팩트들없이 뷰포인트들의 특정 세트의 렌더링을 가능하게 하고, 상기 뷰포인트들의 특정 세트는 적어도 3-D 화상들을 생성하기 위한 상기 화상 모델 정보를 발생시키기 위해 최초에 기록되었던 뷰포인트들에 대응하는, 상기 개선 수단을 포함하는, 전송기.
제 6 항에 있어서,

상기 개선 수단은 단일 3-D 화상에 대응하는 상기 화상 개선 정보를 상기 비주얼 통신 신호에 포함하도록 배치되고, 이에 의해, 상기 개선 정보는 실질적으로 전체 3-D 화상에 관련하는 것을 특징으로 하는, 전송기.
제 6 항에 있어서,

상기 개선 수단은 상기 개선 정보를 상기 비주얼 통신 신호에 포함하도록 배치되고, 이에 의해, 상기 개선 정보는 단일 뷰포인트에 대응하는 화상 정보를 포함하는 것을 특징으로 하는, 전송기.
제 6 항에 있어서,

상기 개선 수단은 상기 개선 정보를 상기 비주얼 통신 신호에 포함하도록 배치되고, 이에 의해, 상기 개선 정보는 뷰포인트들의 범위에 대응하는 화상 정보를 포함하는, 전송기.
비주얼 통신 신호를 수신하기 위한 수신기에 있어서,

상기 비주얼 통신 신호를 수신하기 위한 수신 수단; 및

3-D 화상들을 생성하기 위한 화상 모델 정보를 상기 비주얼 통신 신호로부터 추출하기 위한 추출 수단을 포함하고,

상기 추출 수단은 상기 3-D 화상들의 적어도 일부에 대응하는 화상 개선 정보를 상기 비주얼 통신 신호로부터 추출하도록 배치되고, 상기 화상 개선 정보는 아티팩트들없이 뷰포인트들의 특정 세트의 렌더링을 가능하게 하고, 상기 뷰포인트들의 특정 세트는 적어도 3-D 화상들을 생성하기 위한 상기 화상 모델 정보를 발생시키기 위해 최초에 기록되었던 뷰포인트들에 대응하는, 수신기.
제 10 항에 있어서,

상기 추출 수단은 단일 3-D 화상에 대응하는 상기 화상 개선 정보를 상기 비주얼 통신 신호로부터 추출하도록 배치되고, 이에 의해, 상기 개선 정보는 실질적으로 전체 3-D 화상에 관련하는 것을 특징으로 하는, 수신기.
제 10 항에 있어서,

상기 추출 수단은 상기 개선 정보를 상기 비주얼 통신 신호로부터 추출하도록 배치되고, 이에 의해, 상기 개선 정보는 단일 뷰포인트에 대응하는 화상 정보를 포함하는 것을 특징으로 하는, 수신기.
제 10 항에 있어서,

상기 추출 수단은 상기 개선 정보를 상기 비주얼 통신 신호로부터 추출하도록 배치되고, 이에 의해, 상기 개선 정보는 뷰포인트들의 범위에 대응하는 화상 정보를 포함하는 것을 특징으로 하는, 수신기.
삭제
저장된 비주얼 통신 신호를 전달하는 유형의 정보 캐리어(tangible information carrier)에 있어서, 상기 저장된 비주얼 통신 신호는;

적어도 3-D 화상들을 생성하기 위한 화상 모델 정보; 및

상기 3-D 화상들의 적어도 일부에 대응하는 화상 개선 정보로서, 상기 화상 개선 정보는 아티팩트들(artefacts)없이 뷰포인트들의 특정 세트의 렌더링을 가능하게 하고, 상기 뷰포인트들의 특정 세트는 적어도 3-D 화상들을 생성하기 위한 상기 화상 모델 정보를 발생시키기 위해 최초에 기록되었던 뷰포인트들에 대응하는, 상기 화상 개선 정보를 포함하는, 유형의 정보 캐리어.
비주얼 통신 신호를 전송하기 위한 비주얼 통신 시스템에 있어서,

상기 비주얼 통신 신호를 전송하기 위한 제 6 항에 따른 전송기로서,

3-D 화상들을 생성하기 위한 화상 모델 정보를 상기 비주얼 통신 신호에 포함하기 위한 포함 수단;

상기 비주얼 통신 신호를 출력하기 위한 출력 수단; 및

상기 3-D 화상들의 적어도 일부에 대응하는 화상 개선 정보를 상기 비주얼 통신 신호에 포함하기 위한 개선 수단으로서, 상기 화상 개선 정보는 아티팩트들없이 뷰포인트들의 특정 세트의 렌더링을 가능하게 하고, 상기 뷰포인트들의 특정 세트는 적어도 3-D 화상들을 생성하기 위한 상기 화상 모델 정보를 발생시키기 위해 최초에 기록되었던 뷰포인트들에 대응하는, 상기 개선 수단을 포함하는, 상기 전송기; 및

상기 비주얼 통신 신호를 수신하기 위한 제 10 항에 따른 수신기로서,

상기 비주얼 통신 신호를 수신하기 위한 수신 수단; 및

상기 3-D 화상들을 생성하기 위한 상기 화상 모델 정보를 상기 비주얼 통신 신호로부터 추출하기 위한 추출 수단을 포함하고,

상기 추출 수단은 상기 3-D 화상들의 적어도 일부에 대응하는 상기 화상 개선 정보를 상기 비주얼 통신 신호로부터 추출하도록 배치되고, 상기 화상 개선 정보는 아티팩트들없이 상기 뷰포인트들의 특정 세트의 렌더링을 가능하게 하고, 상기 뷰포인트들의 특정 세트는 적어도 3-D 화상들을 생성하기 위한 상기 화상 모델 정보를 발생시키기 위해 최초에 기록되었던 뷰포인트들에 대응하는, 상기 수신기를 포함하는, 비주얼 통신 시스템.