KR20130132240A - 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법 및 입체 화상 데이터 수신 장치 - Google Patents

Abstract

입체 화상 표시 시의 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성의 유지를 용이하게 도모한다.
깊이 정보 출력부는, 입체 화상에 대응한 깊이 정보를 출력한다. 깊이 정보는, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함한다. 깊이 정보는, 예를 들면 모니터 포지션에 대하여 입체 화상면이 앞에 있는지의 여부를 나타내는 화상면 정보, 더 나아가, 이 화상면 정보 및 시차 정보이다. 깊이 정보에는, 시차 정보의 존재를 나타내는 플래그 정보가 삽입된다. 깊이 정보를, 다중화 데이터 스트림의 PMT나 EIT 등의 관리 하에 삽입되는 디스크립터에 포함하여 송신한다.

Description

입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법 및 입체 화상 데이터 수신 장치{STEREOSCOPIC IMAGE DATA TRANSMISSION DEVICE, STEREOSCOPIC IMAGE DATA TRANSMISSION METHOD, AND STEREOSCOPIC IMAGE DATA RECEPTION DEVICE}

본 발명은 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법 및 입체 화상 데이터 수신 장치에 관한 것으로, 특히 수신측에 있어서, OSD 등의 그래픽스 정보의 표시를 양호하게 행할 수 있는 입체 화상 데이터 송신 장치 등에 관한 것이다.

예를 들면, 특허문헌 1에는, 입체 화상 데이터의 텔레비전 방송 전파를 사용한 전송 방식에 대하여 제안되어 있다. 이 경우, 좌안용 화상 데이터 및 우안용 화상 데이터를 포함하는 입체 화상 데이터가 송신되고, 텔레비전 수신기에 있어서, 양안 시차를 이용한 입체 화상 표시가 행해진다.

도 35는 양안 시차를 이용한 입체 화상 표시에 있어서, 스크린 상에 있어서의 오브젝트(물체)의 좌우상의 표시 위치와, 그 입체상의 재생 위치의 관계를 나타내고 있다. 예를 들면, 스크린 상에 도시와 같이 좌상 La가 우측에 우상 Ra가 좌측에 어긋나게 표시되어 있는 오브젝트 A에 관해서는, 좌우의 시선이 스크린면보다 앞에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 앞이 된다. DPa는 오브젝트 A에 관한 수평 방향의 시차 벡터(시차 정보)를 나타내고 있다.

또한, 예를 들면 스크린 상에 도시와 같이 좌상 Lb 및 우상 Rb가 동일 위치에 표시되어 있는 오브젝트 B에 관해서는, 좌우의 시선이 스크린면에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린 상, 즉 모니터 포지션이 된다. 또한, 예를 들면 스크린 상에 도시와 같이 좌상 Lc가 좌측에 우상 Rc가 우측에 어긋나게 표시되어 있는 오브젝트 C에 관해서는, 좌우의 시선이 스크린면보다 안에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 안이 된다. DPc는 오브젝트 C에 관한 수평 방향의 시차 벡터를 나타내고 있다.

일본 특허 공개 제2005-6114호 공보

상술한 바와 같이, 입체 화상 표시에 있어서, 시청자는 양안 시차를 이용하여, 입체 화상의 원근감을 인지하는 것이 보통이다. 화상에 중첩되는 중첩 정보, 예를 들면 OSD(On Screen Display) 등의 그래픽스 정보에 관해서도, 2차원 공간적뿐만 아니라, 3차원의 깊이감으로서도, 입체 화상 표시와 연동하여 렌더링되는 것이 기대된다.

예를 들면, 입체 화상에 OSD 등의 그래픽스 정보를 중첩 표시(오버레이 표시)하는 경우, 원근감으로 따지자면 가장 가까운 화상 내의 물체(오브젝트)의 면(이하, 「입체 화상면」이라 함)보다도 앞에 표시되지 않으면, 시청자는 원근감의 모순을 느끼는 경우가 있다. 즉, 화상에 OSD 등의 그래픽스 정보를 중첩 표시하는 경우, 화상 내의 각 물체의 원근감에 따라서 시차 조정을 실시하고, 원근감의 정합성을 유지하는 것이 기대된다.

본 발명의 목적은, 입체 화상 표시 시의 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성의 유지를 도모하는 데 있다.

본 발명의 개념은,

입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 출력하는 화상 데이터 출력부와,

상기 입체 화상에 대응한 깊이 정보를 출력하는 깊이 정보 출력부와,

상기 화상 데이터 및 상기 깊이 정보를 송신하는 송신부를 구비하고,

상기 깊이 정보는 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하고,

상기 송신부는 상기 화상 데이터를 포함하는 데이터 스트림을 갖는 다중화 데이터 스트림을 송신하고, 상기 다중화 데이터 스트림에 상기 깊이 정보를 포함하는 디스크립터를 삽입하는

입체 화상 데이터 송신 장치에 있다.

본 발명에 있어서, 화상 데이터 출력부에 의해, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 출력된다. 또한, 깊이 정보 출력부에 의해, 입체 화상에 대응한 깊이 정보가 출력된다. 그리고, 송신부에 의해 화상 데이터 및 깊이 정보가 송신된다. 이 깊이 정보에는, 화상 표시면의 분할 정보와, 각 분할 영역의 깊이 정보가 포함된다.

예를 들면, 깊이 정보는 모니터 포지션에 대하여 입체 화상면(화상 내의, 원근감으로 따지자면 가장 가까운 물체의 면)이 앞에 있는지의 여부를 나타내는 화상면 정보가 되어도 된다. 그리고, 이 화상면 정보는, 예를 들면 좌안 화상 및 우안 화상의 시차 정보(시차 벡터)를 구성하는 부호 정보가 되어도 된다. 시차 정보의 부호가 마이너스인 경우, 입체 화상면이 모니터 포지션에 대하여 앞에 있는 것을 알 수 있다.

또한, 예를 들면 깊이 정보는, 모니터 포지션에 대하여 입체 화상면이 앞에 있는지의 여부를 나타내는 화상면 정보, 또는 이 화상면 정보와 좌안 화상 및 우안 화상의 시차 정보이며, 깊이 정보에는 시차 정보의 존재를 나타내는 플래그 정보가 삽입되어도 된다. 예를 들면, 깊이 정보는 시차 정보를 구성하는 부호 정보, 또는 이 부호 정보 및 시차 정보를 구성하는 절대값 정보가 된다. 이 경우, 시차 정보의 부호 정보는 화상면 정보를 구성한다.

깊이 정보로서, 화상면 정보 외에 시차 정보가 포함됨으로써, 수신측에 있어서, 입체 화상면의 위치가 모니터 포지션에 대하여 앞에 있는지의 여부뿐만 아니라, 그 위치를 보다 상세하게 파악 가능해진다. 또한, 플래그 정보가 삽입되어 있음으로써, 깊이 정보로서, 화상면 정보만, 또는 화면 정보 및 시차 정보의 양쪽을, 선택적으로 송신하는 것이 가능해진다.

예를 들면, 분할 정보는, 분할 타입을 나타내는 정보와 분할수를 나타내는 정보로 이루어져 있어도 된다. 이와 같이 분할 정보가 2개의 정보로 구성됨으로써, 적은 정보수로 보다 많은 분할 패턴을 지정하는 것이 가능해진다. 예를 들면, 분할 타입에는, 화상 표시면을 대각선을 사용하여 분할하는 분할 타입이 포함된다. 또한, 예를 들면 분할 타입에는 화상 표시면을 수평 방향선 및/또는 수직 방향선을 사용하여 분할하는 분할 타입이 포함된다.

송신부에서는, 화상 데이터를 포함하는 데이터 스트림을 갖는 다중화 데이터 스트림이 송신된다. 이 다중화 데이터 스트림에, 깊이 정보를 포함하는 디스크립터가 삽입된다.

예를 들면, 다중화 데이터 스트림에는, 이 다중화 데이터 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 나타내는 프로그램 스페시픽 인포메이션으로서의 프로그램 맵 테이블이 포함되어 있고, 디스크립터는 이 프로그램 맵 테이블의 관리 하에 삽입된다. 이 경우, 프로그램 기간 중에 디스크립터가 차례로 송신되고, 프로그램 기간 중에 있어서 깊이 정보가 다이내믹하게 변화 가능해진다.

또한, 예를 들면 다중화 데이터 스트림에는 이벤트 단위의 관리를 행하는 서비스 인포메이션으로서의 이벤트 인포메이션 테이블이 포함되어 있고, 디스크립터는 이 이벤트 인포메이션 테이블의 관리 하에 삽입된다. 이 경우, 프로그램의 최초에 디스크립터가 송신되고, 프로그램 기간 중에 있어서 깊이 정보는 고정이 된다.

이와 같이, 본 발명에 있어서는, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터와 함께, 이 입체 화상에 대응한 깊이 정보가 송신된다. 그 때문에, 수신측에 있어서, 깊이 정보를 사용함으로써 좌안 화상 및 우안 화상에 중첩되는 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보로서, 화상 내의 각 물체의 원근감에 따라서 시차 조정이 실시된 것을 사용할 수 있다. 이에 의해, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성을 유지하는 것이 가능해진다.

또한, 본 발명에 있어서는, 깊이 정보는 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하는 것으로, 입체 화상 데이터를 포함하는 데이터 스트림을 갖는 다중화 데이터 스트림에 삽입되는 디스크립터에 포함되어 송신된다. 즉, 깊이 정보의 수신측으로의 송신을 간단하게 행할 수 있다.

또한, 본 발명에 있어서, 예를 들면 송신부는 디스크립터를, 화상 데이터의 소정 기간마다의 개시 시점에 대응시켜서 다중화 데이터 스트림에 삽입하고, 각 기간의 개시 시점에 대응시켜서 다중화 데이터 스트림에 삽입되는 디스크립터에는 상기 기간보다 뒤의 기간의 깊이 정보가 포함되어 있게 되어도 된다. 이에 의해, 수신측에 있어서, 각 기간의 좌안 중첩 정보와 우안 중첩 정보 사이에 시차를 부여할 때에 사용하는 시차 정보로서, 상기 기간 및 그 기간의 전후의 기간의 깊이 정보에 포함되는 시차 정보를 사용한 보간 처리에 의해, 시간 방향(프레임 방향의) 변화가 완만한, 즉 갱신 커브가 매끄러워지는 시차 정보를 얻는 것이 가능해진다.

또한, 본 발명의 다른 개념은,

입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 데이터 스트림을 갖고, 화상 표시면의 분할 정보와 상기 입체 화상 데이터에 대응한 각 분할 영역의 깊이 정보로 이루어지는 깊이 정보를 포함하는 디스크립터가 삽입된 다중화 데이터 스트림을 수신하는 수신부와,

상기 다중화 데이터 스트림으로부터 취득된 상기 좌안 화상 데이터에 대응한 좌안 중첩 정보의 데이터, 및 다중화 데이터 스트림으로부터 취득된 상기 우안 화상 데이터에 대응한 우안 중첩 정보의 데이터를 출력하는 중첩 정보 데이터 출력부와,

상기 다중화 데이터 스트림으로부터 취득된 상기 좌안 화상 데이터 및 상기 우안 화상 데이터에, 상기 좌안 중첩 정보의 데이터 및 상기 우안 중첩 정보의 데이터를 중첩하는 데이터 중첩부를 구비하고,

상기 중첩 정보 데이터 출력부는, 상기 다중화 데이터 스트림으로부터 취득된 상기 깊이 정보에 기초하여, 상기 좌안 중첩 정보와 상기 우안 중첩 정보 사이에 시차를 부여하는

입체 화상 데이터 수신 장치에 있다.

본 발명에 있어서, 수신부에 의해, 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 데이터 스트림을 갖는 다중화 데이터 스트림이 수신된다. 이 다중화 데이터 스트림에는, 화상 표시면의 분할 정보와 입체 화상 데이터에 대응한 각 분할 영역의 깊이 정보로 이루어지는 깊이 정보를 포함하는 디스크립터가 삽입되어 있다. 예를 들면, 이 디스크립터는 프로그램 맵 테이블, 또는 이벤트 인포메이션 테이블의 관리 하에 삽입되어 있다.

중첩 정보 데이터 출력부에 의해, 좌안 화상 데이터에 대응한 좌안 중첩 정보의 데이터, 및 우안 화상 데이터에 대응한 우안 중첩 정보의 데이터가 출력된다. 그리고, 데이터 중첩부에 의해 다중화 데이터 스트림으로부터 취득된 좌안 화상 데이터 및 우안 화상 데이터에, 좌안 중첩 정보의 데이터 및 우안 중첩 정보의 데이터가 중첩된다. 이에 의해, 입체 화상에 OSD 등의 그래픽스 정보를 중첩 표시할 수 있다.

중첩 정보 데이터 출력부에서는, 다중화 데이터 스트림으로부터 취득된 깊이 정보에 기초하여, 좌안 중첩 정보와 우안 중첩 정보 사이에 시차가 부여된다. 그 때문에, 본 발명에 있어서는, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성을 유지하는 것이 가능해진다.

또한, 본 발명에 있어서, 예를 들면 중첩 정보 데이터 출력부는, 깊이 정보에 포함되는 시차 정보에 기초하여 좌안 중첩 정보와 우안 중첩 정보 사이에 시차를 부여할 때, 수신부에서 새로운 디스크립터가 수신되어 시차 정보의 갱신이 있을 때, 이 새로운 시차 정보에 복수 프레임을 걸쳐 도달하도록, 이 복수 프레임 사이는 보간 처리에서 얻어지는 시차 정보를 사용하게 되어도 된다. 이에 의해, 시차 부여에 사용되는 시차 정보의 시간 방향(프레임 방향의) 변화를 완만하게 할 수 있으며, 좌안 및 우안의 그래픽스 정보에 부여하는 시차가 급격하게 변화하여 시청자에게 위화감을 발생시키는 것이 억제 가능하게 된다.

또한, 본 발명에 있어서, 예를 들면 다중화 데이터 스트림에는, 화상 데이터의 소정 기간마다의 개시 시점에 대응시켜서 디스크립터가 삽입되어 있고, 각 기간의 개시 시점에 대응시켜서 다중화 데이터 스트림에 삽입되어 있는 디스크립터에는, 상기 기간보다 뒤의 기간의 깊이 정보가 포함되어 있고, 중첩 정보 데이터 출력부는 각 기간의 좌안 중첩 정보와 우안 중첩 정보 사이에 시차를 부여할 때, 상기 기간 및 그 기간의 전후의 기간의 깊이 정보에 포함되는 시차 정보를 사용한 보간 처리에서 얻어지는 시차 정보를 사용하게 되어도 된다. 이에 의해, 시차 부여에 사용되는 시차 정보의 시간 방향(프레임 방향의) 변화를 완만하게 할 수 있고, 즉 시차 부여에 사용되는 시차 정보의 갱신 커브를 매끄럽게 할 수 있으며, 좌안 및 우안의 그래픽스 정보에 부여하는 시차가 급격하게 변화하여 시청자에게 위화감을 발생시키는 것이 억제 가능하게 된다.

본 발명의 또한 다른 개념은,

입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 데이터 스트림을 갖고, 화상 표시면의 분할 정보와 상기 입체 화상 데이터에 대응한 각 분할 영역의 깊이 정보로 이루어지는 깊이 정보를 포함하는 디스크립터가 삽입된 다중화 데이터 스트림을 수신하는 수신부와,

상기 수신부에서 수신된 다중화 데이터 스트림으로부터 취득된, 상기 좌안 화상 데이터 및 상기 우안 화상 데이터와, 상기 깊이 정보를, 전송로를 통해서, 외부 기기로 송신하는 송신부

를 구비하는 입체 화상 데이터 수신 장치에 있다.

본 발명에 있어서는, 수신부에 의해, 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 데이터 스트림을 갖는 다중화 데이터 스트림이 수신된다. 이 다중화 데이터 스트림에는, 화상 표시면의 분할 정보와 입체 화상 데이터에 대응한 각 분할 영역의 깊이 정보로 이루어지는 깊이 정보를 포함하는 디스크립터가 삽입되어 있다. 예를 들면, 이 디스크립터는 프로그램 맵 테이블, 또는 이벤트 인포메이션 테이블의 관리 하에 삽입되어 있다.

송신부에 의해, 수신부에서 수신된 다중화 데이터 스트림으로부터 취득된, 좌안 화상 데이터 및 우안 화상 데이터와, 깊이 정보가, 전송로를 통해서, 외부 기기로 송신된다. 예를 들면, 송신부에서는, 화상 데이터가, 복수 채널로, 차동 신호에 의해, 전송로를 통해서, 외부 기기로 송신되고, 깊이 정보가, 화상 데이터의 블랭킹 기간에 삽입되고, 외부 기기로 송신된다.

이와 같이, 본 발명에 있어서는, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터와 함께, 이 입체 화상에 대응한 깊이 정보가, 전송로를 통해서, 외부 기기로 송신된다. 그 때문에, 외부 기기, 예를 들면 텔레비전 수신기 등의 화상 표시 장치에 있어서, 깊이 정보를 사용함으로써 좌안 화상 및 우안 화상에 중첩되는 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보로서, 화상 내의 각 물체의 원근감에 따라서 시차 조정이 실시된 것을 사용할 수 있다. 이에 의해, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성을 유지하는 것이 가능해진다.

본 발명에 따르면, 입체 화상 표시 시의 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성의 유지를 용이하게 도모할 수 있다.

도 1은 본 발명의 실시 형태로서의 입체 화상 표시 시스템의 구성예를 도시하는 블록도이다.
도 2는 방송국에 있어서의 송신 데이터 생성부의 구성예를 도시하는 블록도이다.
도 3은 1920×1080p의 픽셀 포맷의 화상 데이터를 도시하는 도면이다.
도 4는 입체 화상 데이터(3D 화상 데이터)의 전송 방식인 「Top & Bottom」 방식, 「Side By Side」 방식, 「Frame Sequential」 방식을 설명하기 위한 도면이다.
도 5는 좌안 화상에 대한 우안 화상의 시차 벡터를 검출하는 예를 설명하기 위한 도면이다.
도 6은 시차 벡터를 블록 매칭 방식으로 구하는 것을 설명하기 위한 도면이다.
도 7은 화상 표시면을 대각선을 사용하여 분할하는 분할 타입 1에 있어서 4분할한 경우에 있어서의 포지션 맵예를 도시하는 도면이다.
도 8은 OSD 그래픽스 정보를 화상의 단부분으로 시프트한 형태로 중첩 표시하는 경우를 도시하는 도면이다.
도 9은 화상 표시면을 대각선을 사용하여 분할하는 분할 타입 1에 있어서 8분할한 경우에 있어서의 포지션 맵예를 도시하는 도면이다.
도 10은 화상 표시면을 수평 방향 및 수직 방향으로 등분할하는 타입 2에 있어서 4분할한 경우에 있어서의 포지션 맵예를 도시하는 도면이다.
도 11은 OSD 그래픽스 정보를 화상의 각부분으로 시프트한 형태로 중첩 표시하는 경우를 도시하는 도면이다.
도 12는 화상 표시면을 수평 방향 및 수직 방향으로 등분할하는 타입 2에 있어서 9분할한 경우에 있어서의 포지션 맵예를 도시하는 도면이다.
도 13은 화상 표시면을 대각선 및 직사각형의 변을 사용하여 분할하는 분할 타입 3에 있어서 5분할한 경우에 있어서의 포지션 맵예를 도시하는 도면이다.
도 14는 화상 표시면을 대각선에 의해 4분할하는 분할 패턴에 있어서의 각 분할 영역의 시차 정보의 대표의 구하는 방법을 도시하는 도면이다.
도 15는 OSD 그래픽스 정보를 화상의 단부분으로 시프트한 형태로 중첩 표시하는 경우, 그 중첩 표시 위치에 대응한 분할 영역의 시차 정보(대표)를 사용하여, 좌안, 우안의 OSD 그래픽스 정보에 시차를 부여할 수 있는 것을 도시하는 도면이다.
도 16은 PMT의 관리 하, 즉 PMT 중 프로그램 디스크립터(Program Descriptor)에 디스크립터(z-Surface descriptor)가 배치되는 다중화 데이터 스트림의 구성예(case1)를 도시하는 도면이다.
도 17은 PMT의 관리 하, 즉 비디오 엘리멘터리 루프(Video ESloop)의 디스크립터(descriptor) 부분에 디스크립터(z-Surface descriptor)가 배치되는 다중화 데이터 스트림의 구성예(case2)를 도시하는 도면이다.
도 18은 EIT의 관리 하에 디스크립터(z-Surface descriptor)가 배치되는 다중화 데이터 스트림의 구성예(case3)를 도시하는 도면이다.
도 19는 디스크립터(z-Surface descriptor)를 PMT의 관리 하에 삽입하고, 프로그램 기간 중에 디스크립터를 차례로 송신하여 깊이 정보를 다이내믹하게 변화시키는 경우를 도시하는 도면이다.
도 20은 장면 검출과 디스크립터 송신의 처리 개요를 설명하기 위한 플로우차트이다.
도 21은 각 기간의 개시 시점에서 송신되는 디스크립터(z-Surface descriptor)에 하나 뒤의 기간의 깊이 정보를 포함시키는 경우에 있어서의 각 디스크립터의 송신 타이밍과, 각 디스크립터에 포함되는 깊이 정보와의 관계를 도시하는 도면이다.
도 22는 디스크립터(z-Surface descriptor)를 EIT의 관리 하에 삽입하고, 프로그램 기간 중에 있어서 깊이 정보를 고정으로 하는 경우를 도시하는 도면이다.
도 23은 디스크립터(z-Surface descriptor)의 구조예(Syntax)를 도시하는 도면이다.
도 24는 디스크립터(z-Surface descriptor)의 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하는 도면이다.
도 25는 디스크립터(z-Surface descriptor)의 다른 구조예(Syntax)를 도시하는 도면이다.
도 26은 셋톱 박스의 구성예를 도시하는 블록도이다.
도 27은 OSD 표시 데이터 발생부에 있어서의 시차 정보의 보간 처리를 설명하기 위한 도면이다.
도 28은 각 기간의 개시 시점에 대응하여 보내져 오는 디스크립터(z-Surface descriptor)에 하나 뒤의 기간의 깊이 정보가 포함되어 있는 경우의 보간 처리예를 설명하기 위한 도면이다.
도 29는 텔레비전 수신기의 구성예를 도시하는 블록도이다.
도 30은 HDMI 송신부(HDMI 소스)와 HDMI 수신부(HDMI 싱크)의 구성예를 도시하는 블록도이다.
도 31은 TMDS 전송 데이터의 구조예(가로×세로가 1920픽셀×1080라인의 화상 데이터가 전송되는 경우)를 도시하는 도면이다.
도 32는 소스 기기 및 싱크 기기의 HDMI 케이블이 접속되는 HDMI 단자의 핀 배열(타입 A)을 도시하는 도면이다.
도 33은 깊이 정보 세트의 송신에 HDMI Vendor Specific InfoFrame을 이용하는 경우에 있어서의, HDMI Vendor Specific InfoFrame의 패킷 구조예를 도시하는 도면이다.
도 34는 입체 화상 표시 시스템의 다른 구성예를 도시하는 도면이다.
도 35는 양안 시차를 이용한 입체 화상 표시에 있어서, 스크린 상에 있어서의 오브젝트의 좌우상의 표시 위치와, 그 입체상의 재생 위치의 관계를 도시하는 도면이다.

이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」라 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.

1. 실시 형태

2. 변형예

<1. 실시 형태>

[입체 화상 표시 시스템의 구성예]

도 1은 실시 형태로서의 입체 화상 표시 시스템(10)의 구성예를 나타내고 있다. 이 입체 화상 표시 시스템(10)은 방송국(100)과, 셋톱 박스(STB)(200)와, 텔레비전 수신기(TV)(300)를 갖고 있다.

셋톱 박스(200) 및 텔레비전 수신기(300)는 HDMI(High Definition Multimedia Interface) 케이블(400)을 통해서 접속되어 있다. 셋톱 박스(200)에는 HDMI 단자(202)가 설치되어 있다. 텔레비전 수신기(300)에는, HDMI 단자(302)가 설치되어 있다. HDMI 케이블(400)의 일단부는 셋톱 박스(200)의 HDMI 단자(202)에 접속되고, 이 HDMI 케이블(400)의 타단부는 텔레비전 수신기(300)의 HDMI 단자(302)에 접속되어 있다.

[방송국의 설명]

방송국(100)은 비트 스트림 데이터 BSD를, 방송파에 실어서 송신한다. 방송국(100)은 비트 스트림 데이터 BSD를 생성하는 송신 데이터 생성부(110)를 구비하고 있다. 이 비트 스트림 데이터 BSD에는 화상 데이터, 음성 데이터, 깊이 정보 등이 포함된다. 여기서, 화상 데이터(이하, 적절히 「입체 화상 데이터」라 함)는 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 포함한다. 음성 데이터는 이 입체 화상에 대응한 음성 데이터이다. 깊이 정보는 이 입체 화상에 대응한 것으로, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하고 있다.

「송신 데이터 생성부의 구성예」

도 2는 방송국(100)에 있어서 송신 데이터를 생성하는 송신 데이터 생성부(110)의 구성예를 나타내고 있다. 이 송신 데이터 생성부(110)는 카메라(111L, 111R)와, 비디오 프레이밍부(112)와, 디스패리티 맵 생성부(113)와, 마이크로폰(114)과, 데이터 취출부(115)와, 전환 스위치(116 ~ 118)를 갖고 있다. 또한, 이 송신 데이터 생성부(110)는 비디오 인코더(119)와, 오디오 인코더(120)와, 깊이 정보 세트 작성부(122)와, 멀티플렉서(126)를 갖고 있다.

카메라(111L)는 좌안 화상을 촬영하여 입체 화상 표시를 위한 좌안 화상 데이터를 얻는다. 카메라(111R)는 우안 화상을 촬영하여 입체 화상 표시를 위한 우안 화상 데이터를 얻는다. 비디오 프레이밍부(112)는 카메라(111L)에서 얻어진 좌안 화상 데이터 및 카메라(111R)에서 얻어진 우안 화상 데이터를, 전송 포맷에 따른 입체 화상 데이터(3D 화상 데이터)로 가공 처리한다. 이 비디오 프레이밍부(112)는 화상 데이터 출력부를 구성하고 있다.

입체 화상 데이터의 전송 포맷예를 설명한다. 여기에서는, 이하의 제1 내지 제3 전송 포맷을 예로 들지만, 이들 이외의 전송 포맷이어도 된다. 또한, 여기에서는, 도 3에 도시한 바와 같이, 좌안(L) 및 우안(R)의 화상 데이터가, 각각 결정된 해상도, 예를 들면 1920×1080의 픽셀 포맷의 화상 데이터인 경우를 예로 들어 설명한다.

제1 전송 방식은 톱 앤드 보텀(Top & Bottom) 방식으로, 도 4의 (a)에 도시한 바와 같이, 수직 방향의 전반에는 좌안 화상 데이터의 각 라인의 데이터를 전송하고, 수직 방향의 후반에는 좌안 화상 데이터의 각 라인의 데이터를 전송하는 방식이다. 이 경우, 좌안 화상 데이터 및 우안 화상 데이터의 라인이 1/2로 씨닝되기 때문에 원신호에 대하여 수직 해상도는 절반이 된다.

제2 전송 방식은 사이드 바이 사이드(Side By Side) 방식으로, 도 4의 (b)에 도시한 바와 같이, 수평 방향의 전반에는 좌안 화상 데이터의 픽셀 데이터를 전송하고, 수평 방향의 후반에는 우안 화상 데이터의 픽셀 데이터를 전송하는 방식이다. 이 경우, 좌안 화상 데이터 및 우안 화상 데이터는, 각각 수평 방향의 픽셀 데이터가 1/2로 씨닝된다. 원신호에 대하여 수평 해상도는 절반이 된다.

제3 전송 방식은 프레임 시퀀셜(Frame Sequential) 방식으로, 도 4의 (c)에 도시한 바와 같이, 좌안 화상 데이터와 우안 화상 데이터를 프레임마다 차례로 전환하여 전송하는 방식이다. 또한, 이 프레임 시퀀셜 방식은, 풀 프레임(Full Frame) 방식, 또는 백 워드 컴패티블(BackwardCompatible) 방식이라 칭해지는 경우도 있다.

도 2로 되돌아가서, 디스패리티 맵 생성부(113)는 좌안 화상 데이터 및 우안 화상 데이터에 기초하여, 예를 들면 화상을 구성하는 픽셀마다의 시차 정보(시차 벡터)를 검출하고, 디스패리티 맵을 작성한다. 시차 정보는 부호 정보와 절대값 정보로 구성된다. 예를 들면, 모니터 포지션보다 앞으로 지각되는 픽셀(화소)의 시차 정보의 부호는 마이너스가 되고, 모니터 포지션보다 안으로 지각되는 픽셀의 시차 정보의 부호는 플러스가 된다. 또한, 모니터 포지션보다 멀리 지각되는 픽셀일수록, 시차 정보의 절대값은 커진다.

시차 벡터의 검출예에 대하여 설명한다. 여기에서는, 좌안 화상에 대한 우안 화상의 시차 벡터를 검출하는 예에 대하여 설명한다. 도 5에 도시한 바와 같이, 좌안 화상을 검출 화상이라 하고, 우안 화상을 참조 화상이라 한다. 이 예에서는, (xi, yi) 및 (xj, yj)의 위치에 있어서의 시차 벡터가 검출된다.

(xi, yi)의 위치에 있어서의 시차 벡터를 검출하는 경우를 예로 들어 설명한다. 이 경우, 좌안 화상에, (xi, yi)의 위치의 화소를 좌측 상단으로 하는, 예를 들면 4×4, 8×8, 또는 16×16의 화소 블록(시차 검출 블록) Bi가 설정된다. 그리고, 우안 화상에 있어서, 화소 블록 Bi와 매칭하는 화소 블록이 탐색된다.

이 경우, 우안 화상에, (xi, yi)의 위치를 중심으로 하는 탐색 범위가 설정되고, 그 탐색 범위 내의 각 화소를 차례로 주목 화소로서, 상술한 화소 블록 Bi와 마찬가지인 예를 들면 4×4, 8×8, 또는 16×16의 비교 블록이 차례로 설정되어 간다.

화소 블록 Bi와 차례로 설정되는 비교 블록 사이에서, 대응하는 화소마다의 차분 절대값의 총합이 구해진다. 여기서, 도 6에 도시한 바와 같이, 화소 블록 Bi의 화소값을 L(x, y)라 하고, 비교 블록의 화소값을 R(x, y)라 할 때, 화소 블록 Bi와, 임의의 비교 블록 사이에 있어서의 차분 절대값의 총합은, Σ|L(x, y)-R(x, y)|로 나타낸다.

우안 화상에 설정되는 탐색 범위에 n개의 화소가 포함되어 있을 때, 최종적으로 n개의 총합 S1 ~ Sn이 구해지고, 그 중에서 최소의 총합 Smin이 선택된다. 그리고, 이 총합 Smin이 얻어진 비교 블록으로부터 좌측 상단의 화소의 위치가 (xi', yi')가 얻어진다. 이에 의해, (xi, yi)의 위치에 있어서의 시차 벡터는 (xi'-xi, yi'-yi)와 같이 검출된다. 상세 설명은 생략하지만, (xj, yj)의 위치에 있어서의 시차 벡터에 대해서도, 좌안 화상에, (xj, yj)의 위치의 화소를 좌측 상단으로 하는, 예를 들면 4×4, 8×8, 또는 16×16의 화소 블록 Bj가 설정되어, 마찬가지의 처리 과정에서 검출된다.

마이크로폰(114)은 카메라(111L, 111R)로 촬영된 화상에 대응한 음성을 검출하고, 음성 데이터를 얻는다.

데이터 취출부(115)는 데이터 기록 매체(115a)를 착탈 가능하게 장착한 상태에서 사용된다. 이 데이터 기록 매체(115a)는 디스크형상 기록 매체, 반도체 메모리 등이다. 이 데이터 기록 매체(115a)에는 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 입체 화상 데이터와 함께, 음성 데이터, 디스패리티 맵이 대응지어져 기록되어 있다. 데이터 취출부(115)는 데이터 기록 매체(115a)로부터, 입체 화상 데이터, 음성 데이터 및 디스패리티 맵을 취출하여 출력한다. 이 데이터 취출부(115)는, 화상 데이터 출력부를 구성하고 있다.

여기서, 데이터 기록 매체(115a)에 기록되어 있는 입체 화상 데이터는, 비디오 프레이밍부(112)에서 얻어지는 입체 화상 데이터에 상당하는 것이다. 또한, 데이터 기록 매체(115a)에 기록되어 있는 음성 데이터는 마이크로폰(114)에서 얻어지는 음성 데이터에 상당하는 것이다. 또한, 데이터 기록 매체(115a)에 기록되어 있는 디스패리티 맵은, 디스패리티 맵 생성부(113)에서 생성되는 시차 벡터에 상당하는 것이다.

전환 스위치(116)는 비디오 프레이밍부(112)에서 얻어진 입체 화상 데이터 또는 데이터 취출부(115)로부터 출력된 입체 화상 데이터를 선택적으로 취출한다. 이 경우, 전환 스위치(116)는, 라이브 모드에서는, a측에 접속되어, 비디오 프레이밍부(112)에서 얻어진 입체 화상 데이터를 취출하고, 재생 모드에서는, b측에 접속되어, 데이터 취출부(115)로부터 출력된 입체 화상 데이터를 취출한다.

전환 스위치(117)는, 디스패리티 맵 생성부(113)에서 생성된 디스패리티 맵 또는 데이터 취출부(115)로부터 출력된 디스패리티 맵을 선택적으로 취출한다. 이 경우, 전환 스위치(117)는 라이브 모드에서는, a측에 접속되어, 디스패리티 맵 생성부(113)에서 생성된 디스패리티 맵을 취출하고, 재생 모드에서는, b측에 접속되어, 데이터 취출부(115)로부터 출력된 디스패리티 맵을 취출한다.

전환 스위치(118)는, 마이크로폰(114)에서 얻어진 음성 데이터 또는 데이터 취출부(115)로부터 출력된 음성 데이터를 선택적으로 취출한다. 이 경우, 전환 스위치(118)는, 라이브 모드에서는, a측에 접속되어, 마이크로폰(114)에서 얻어진 음성 데이터를 취출하고, 재생 모드에서는, b측에 접속되어, 데이터 취출부(115)로부터 출력된 음성 데이터를 취출한다.

비디오 인코더(119)는, 전환 스위치(116)에서 취출된 입체 화상 데이터에 대하여, MPEG4-AVC, MPEG2, VC-1 등의 부호화를 실시하고, 비디오 데이터 스트림(비디오 엘리멘터리 스트림)을 생성한다. 오디오 인코더(120)는 전환 스위치(118)에서 취출된 음성 데이터에 대하여 AC3, AAC 등의 부호화를 실시하고, 오디오 데이터 스트림(오디오 엘리멘터리 스트림)을 생성한다.

깊이 정보 세트 작성부(122)는 전환 스위치(117)에서 취출된 디스패리티 맵에 기초하여, 전환 스위치(116)로부터 출력되는 소정 프로그램의 입체 화상 데이터에 대응한 깊이 정보 세트를 작성한다. 이 깊이 정보 세트는 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하게 된다.

화상 표시면의 분할 정보에 대하여 설명한다. 이 분할 정보는 분할 타입을 나타내는 정보와, 분할수를 나타내는 정보로 이루어진다. 예를 들면, 분할 타입에는, 화상 표시면을 대각선을 사용하여 분할하는 분할 타입, 화상 표시면을 수평 방향선 및/또는 수직 방향선을 사용하여 분할하는 분할 타입 등이 있다. 분할 타입 및 분할수가 결정됨으로써, 화상 표시면의 분할 패턴이 일의로 결정된다. 이 분할 타입 및 분할수는, 유저에 의해 설정 가능하게 되어 있다.

도 7은 화상 표시면을 대각선을 사용하여 분할하는 분할 타입 1에 있어서 4분할한 경우에 있어서의 포지션 맵예를 나타내고 있다. 이 예에서는, 화상 표시면이, 대각선을 사용하여 4분할되어 있으며, 상측의 분할 영역이 「0000」으로 나타나고, 우측의 분할 영역이 「0001」로 나타나고, 하측의 분할 영역이 「0010」으로 나타나고, 좌측의 분할 영역이 「0011」로 나타나 있다.

이 도 7의 분할예는, 예를 들면 도 8에 도시한 바와 같이, OSD 그래픽스 정보를 화상의 단부분으로 시프트한 형태로 중첩 표시하는 경우에, 그 중첩 표시 위치에 대응한 깊이 정보를 송신할 수 있기 때문에 적합한 것이 된다. 도 9는 화상 표시면을 대각선을 사용하여 분할하는 분할 타입 1에 있어서 8분할한 경우에 있어서의 포지션 맵예를 나타내고 있다. 이 예에서는, 화상 표시면이 대각선 및 직사각형의 변을 사용하여 8분할되어 있고, 각 분할 영역이 「0000」 ~ 「0111」로 나타나 있다.

도 10은 화상 표시면을 수평 방향 및 수직 방향으로 등분할하는 타입 2에 있어서 4분할한 경우에 있어서의 포지션 맵예를 나타내고 있다. 이 예에서는, 화상 표시면이, 수직 방향선 및 수평 방향선으로 4분할되어 있고, 우측 상단측의 분할 영역이 「0000」으로 나타나고, 우측 하단측의 분할 영역이 「0001」로 나타나고, 좌측 하단측의 분할 영역이 「0010」으로 나타나고, 좌측 상단측의 분할 영역이 「0011」로 나타나 있다.

이 도 10의 분할예는, 예를 들면 도 11에 도시한 바와 같이, OSD 그래픽스 정보를 화상의 각부분으로 시프트한 형태로 중첩 표시하는 경우에, 그 중첩 표시 위치에 대응한 깊이 정보를 송신할 수 있기 때문에 적합한 것이 된다. 도 12는, 화상 표시면을 수평 방향 및 수직 방향으로 등분할하는 타입 2에 있어서 9분할한 경우에 있어서의 포지션 맵예를 나타내고 있다. 이 예에서는, 화상 표시면이, 수직 방향선 및 수평 방향선에서 9분할되어 있고, 각 분할 영역이 「0000」 ~ 「1000」으로 나타난다.

도 13은 화상 표시면을 대각선 및 직사각형의 변을 사용하여 분할하는 분할 타입 3에 있어서 5분할한 경우에 있어서의 포지션 맵예를 나타내고 있다. 이 예에서는, 화상 표시면이, 대각선 및 직사각형의 변을 사용하여 5분할되어 있고, 상측의 분할 영역이 「0000」으로 나타나고, 우측의 분할 영역이 「0001」로 나타나고, 하측의 분할 영역이 「0010」으로 나타나고, 좌측의 분할 영역이 「0011」로 나타나고, 중앙의 분할 영역이 「0100」으로 나타나 있다. 이 도 13의 분할예는, OSD 그래픽스 정보를, 화상의 단부분으로 시프트한 형태로, 또는 화상의 중앙 부분에 중첩 표시하는 경우에, 그 중첩 표시 위치에 대응한 깊이 정보를 송신할 수 있기 때문에 적합한 것이 된다.

다음으로, 각 분할 영역의 깊이 정보에 대하여 설명한다. 이 깊이 정보에는, 화상면 정보가 포함된다. 이 화상면 정보는, 모니터 포지션에 대하여 입체 화상면이 앞에 있는지의 여부를 나타내는 정보이다. 이 입체 화상면은, 대응하는 영역의 화상 내의, 원근감으로 따지자면 가장 가까운 물체의 면을 의미하고 있다. 이 실시 형태에 있어서, 이 화상면 정보는, 입체 화상면에 대응한 시차 정보(시차 벡터)를 구성하는 부호 정보가 된다. 이 경우, 부호 정보는, 모니터 포지션에 대하여 입체 화상면이 앞에 있을 때는, 「마이너스」를 나타내는 것으로 된다.

또한, 이 깊이 정보에는, 상술한 화상면 정보 외에, 시차 정보가 포함되는 경우도 있다. 이 시차 정보로서, 예를 들면 대응하는 영역의 화상을 구성하는 각 픽셀(화소)의 시차 정보(시차 벡터) 중 원근감으로 따지자면 가장 앞으로 지각되는 픽셀의 시차 정보가 대표로서 사용된다. 이 경우, 「마이너스」의 시차 정보가 있을 때는, 그 중에서 가장 절대값이 큰 시차 정보가 된다. 또한, 이 경우, 「마이너스」의 시차 정보가 없을 때는, 가장 절대값이 작은 시차 정보가 된다. 이와 같이, 시차 정보가 포함되는 경우에 있어, 상술한 바와 같이 화상면 정보가 시차 정보를 구성하는 부호 정보가 될 때에는, 시차 정보를 구성하는 절대값 정보를 더 포함하기만 하면 된다.

각 분할 영역에서의 시차 정보의 대표는, 예를 들면 분할 영역 내에 있어서, 화소마다, 또는 소정의 크기의 블록마다의 시차 정보를 표시 스캔순으로 비교해 가는 것으로 구할 수 있다. 도 14는 상술한 바와 같이, 화상 표시면을 대각선에 의해 4분할하는 분할 패턴에 있어서의 각 분할 영역의 시차 정보의 대표의 구하는 방법을 나타내고 있다. 이 경우, 각 분할 영역에서는, 시차 정보의 대표로서, 「Disparity_00」, 「Disparity_01」, 「Disparity_10」, 「Disparity_11」이 구해진다.

화상 표시면을 대각선에 의해 4분할하는 분할 패턴에 있어서, 각 분할 영역의 화상면 정보뿐만 아니라 시차 정보도 송신하는 경우, 예를 들면 상술한 바와 같이 구해진 각 분할 영역의 시차 정보의 대표가 사용된다. 그 경우, 도 15에 도시한 바와 같이, OSD 그래픽스 정보를 화상의 단부분으로 시프트한 형태로 중첩 표시하는 경우, 그 중첩 표시 위치에 대응한 분할 영역의 시차 정보(대표)를 사용하여, 좌안, 우안의 OSD 그래픽스 정보에 시차를 부여하는 것이 가능해진다.

깊이 정보 세트에는, 분할 영역마다, 또는 각 분할 영역 공통으로, 시차 정보의 존재를 나타내는 플래그 정보가 삽입된다. 깊이 정보로서, 화상면 정보 외에 시차 정보가 포함됨으로써, 수신측에 있어서, 입체 화상면의 위치가 모니터 포지션에 대하여 앞에 있는지의 여부뿐만 아니라, 그 위치를 보다 상세하게 파악 가능해진다. 또한, 플래그 정보가 삽입되어 있음으로써, 깊이 정보로서, 화상면 정보만, 또는 화면 정보 및 시차 정보의 양쪽을, 선택적으로 송신하는 것이 가능해진다.

수신측에 있어서 화상에 OSD 그래픽스 정보를 중첩하는 경우, 좌우의 OSD 그래픽스 정보에 시차를 부여해야 하는 것은, 입체 화상면이 모니터 포지션보다 앞에 있는 경우이다. 그 경우, 좌우의 OSD 그래픽스 정보에 시차를 부여하고, 이 OSD 그래픽스 정보가 입체 화상면보다 앞으로 지각되게 할 필요가 있다. 단, 좌우의 OSD 그래픽스 정보에 어느 정도의 시차를 부여할지는 수신측에서 임의로 설정 가능하고, 따라서, 화상면 정보만을 송신하는 것에도 충분히 의의가 있다.

멀티플렉서(126)는, 비디오 인코더(119) 및 오디오 인코더(120)로부터의 각 데이터 스트림을 다중화하고, 비트 스트림 데이터(트랜스포트 스트림) BSD로서의 다중화 데이터 스트림을 얻는다. 또한, 멀티플렉서(126)는 이 비트 스트림 데이터 BSD에, 깊이 정보 세트 작성부(122)에서 작성된 깊이 정보 세트를 삽입한다. 구체적으로는, 멀티플렉서(126)는, 비트 스트림 데이터 BSD에 삽입되는 PSI 정보 또는 SI 정보의 소정 위치에, 깊이 정보 세트를 포함하는 디스크립터(z-Surface descriptor)를 삽입한다. 이 디스크립터의 상세에 대해서는, 후술한다.

도 2에 도시하는 송신 데이터 생성부(110)의 동작을 간단하게 설명한다. 카메라(111L)에서는, 좌안 화상이 촬영된다. 이 카메라(111L)에서 얻어지는 입체 화상 표시를 위한 좌안 화상 데이터는 비디오 프레이밍부(112)에 공급된다. 또한, 카메라(111R)에서는, 우안 화상이 촬영된다. 이 카메라(111R)에서 얻어지는 입체 화상 표시를 위한 우안 화상 데이터는 비디오 프레이밍부(112)에 공급된다. 비디오 프레이밍부(112)에서는, 좌안 화상 데이터 및 우안 화상 데이터가, 전송 포맷에 따른 상태로 가공 처리되어, 입체 화상 데이터가 얻어진다(도 4의 (a) ~ (c) 참조).

비디오 프레이밍부(112)에서 얻어진 입체 화상 데이터는, 전환 스위치(116)의 a측의 고정 단자에 공급된다. 또한, 데이터 취출부(115)에서 얻어진 입체 화상 데이터는, 전환 스위치(116)의 b측의 고정 단자에 공급된다. 라이브 모드에서는, 전환 스위치(116)는 a측에 접속되고, 이 전환 스위치(116)로부터는 비디오 프레이밍부(112)에서 얻어진 입체 화상 데이터가 취출된다. 재생 모드에서는, 전환 스위치(116)는 b측에 접속되고, 이 전환 스위치(116)로부터는 데이터 취출부(115)로부터 출력된 입체 화상 데이터가 취출된다.

전환 스위치(116)에서 취출된 입체 화상 데이터는, 비디오 인코더(119)에 공급된다. 이 비디오 인코더(119)에서는, 그 입체 화상 데이터에 대하여 MPEG4-AVC, MPEG2, VC-1 등의 부호화가 실시되고, 부호화 비디오 데이터를 포함하는 비디오 데이터 스트림이 생성된다. 이 비디오 데이터 스트림은 멀티플렉서(126)에 공급된다.

마이크로폰(114)에서 얻어진 음성 데이터는 전환 스위치(118)의 a측의 고정 단자에 공급된다. 또한, 데이터 취출부(115)에서 얻어진 음성 데이터는, 전환 스위치(118)의 b측의 고정 단자에 공급된다. 라이브 모드에서는, 전환 스위치(118)는 a측에 접속되고, 이 전환 스위치(118)로부터는 마이크로폰(114)에서 얻어진 음성 데이터가 취출된다. 재생 모드에서는, 전환 스위치(118)는 b측에 접속되고, 이 전환 스위치(118)로부터는 데이터 취출부(115)로부터 출력된 음성 데이터가 취출된다.

전환 스위치(118)에서 취출된 음성 데이터는 오디오 인코더(120)에 공급된다. 이 오디오 인코더(120)에서는, 음성 데이터에 대하여 MPEG-2 Audio AAC, 또는, MPEG-4AAC 등의 부호화가 실시되고, 부호화 오디오 데이터를 포함하는 오디오 데이터 스트림이 생성된다. 이 오디오 데이터 스트림은 멀티플렉서(126)에 공급된다.

카메라(111L, 111R)에서 얻어진 좌안 화상 데이터, 우안 화상 데이터는, 비디오 프레이밍부(112)를 통해서, 디스패리티 맵 생성부(113)에 공급된다. 이 디스패리티 맵 생성부(113)에서는, 좌안 화상 데이터 및 우안 화상 데이터에 기초하여, 픽셀(화소)마다의 시차 벡터가 검출되고, 디스패리티 맵이 생성된다. 이 디스패리티 맵은 전환 스위치(117)의 a측의 고정 단자에 공급된다. 또한, 데이터 취출부(115)로부터 출력된 디스패리티 맵은, 전환 스위치(117)의 b측의 고정 단자에 공급된다.

라이브 모드에서는, 전환 스위치(117)는 a측에 접속되고, 이 전환 스위치(117)로부터는 디스패리티 맵 생성부(113)에서 생성된 디스패리티 맵이 취출된다. 재생 모드에서는, 전환 스위치(117)는 b측에 접속되고, 이 전환 스위치(117)로부터는 데이터 취출부(115)로부터 출력된 디스패리티 맵이 취출된다.

전환 스위치(117)에서 취출된 디스패리티 맵은 깊이 정보 세트 작성부(122)에 공급된다. 이 깊이 정보 세트 작성부(122)에서는 디스패리티 맵에 기초하여, 전환 스위치(116)로부터 출력되는 소정 프로그램의 입체 화상 데이터에 대응한 깊이 정보 세트가 작성된다. 이 깊이 정보 세트에는, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보가 포함되어 있다. 이 깊이 정보 세트는, 멀티플렉서(126)에 공급된다.

멀티플렉서(126)에서는, 비디오 인코더(119) 및 오디오 인코더(120)로부터의 각 데이터 스트림이 다중화되고, 비트 스트림 데이터(트랜스포트 스트림) BSD로서의 다중화 데이터 스트림이 얻어진다.

또한, 이 멀티플렉서(126)에서는, 이 비트 스트림 데이터 BSD에, 깊이 정보 세트 작성부(122)에서 작성된 깊이 정보 세트가 삽입된다. 즉, 이 멀티플렉서(126)에서는, 비트 스트림 데이터 BSD에 삽입되는 PSI 정보 또는 SI 정보의 소정 위치에, 깊이 정보 세트를 포함하는 디스크립터(z-Surface descriptor)가 삽입된다.

[다중화 데이터 스트림의 구성예]

도 16 내지 도 18은, 다중화 데이터 스트림(트랜스포트 스트림)의 구성예를 나타내고 있다. 이 다중화 데이터 스트림에는, 각 엘리멘터리 스트림을 패킷화하여 얻어진 PES 패킷이 포함되어 있다. 이 구성예에서는, 비디오 엘리멘터리 스트림의 PES 패킷 「Video PES」, 오디오 엘리멘터리 스트림의 PES 패킷 「Audio PES」가 포함되어 있다.

또한, 트랜스포트 스트림에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다. 또한, 트랜스포트 스트림에는, 이벤트 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다. 이 EIT에는, 프로그램 단위의 메타데이터가 기재된다.

PMT에는 프로그램 전체에 관한 정보를 기술하는 프로그램 디스크립터(Program descriptor)가 존재한다. 또한, 이 PMT에는, 각 엘리멘터리 스트림에 관련한 정보를 갖는 엘리멘터리 루프가 존재한다. 이 구성예에서는, 비디오 엘리멘터리 루프, 오디오 엘리멘터리 루프가 존재한다. 각 엘리멘터리 루프에는, 스트림마다, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 도시하지 않지만, 그 엘리멘터리 스트림에 관한 정보를 기술하는 기술자(디스크립터)도 배치된다.

도 16, 도 17에 도시하는 다중화 데이터 스트림의 구성예는, 깊이 정보 세트를 포함하는 디스크립터(z-Surface descriptor)를 PMT의 관리 하에 삽입하는 예이다. 즉, 도 16에 도시하는 다중화 데이터 스트림의 구성예(case1)에서는, PMT 중의 프로그램 디스크립터(Program Descriptor)에, 디스크립터(z-Surface descriptor)가 배치되어 있다. 또한, 도 17에 도시하는 다중화 데이터 스트림의 구성예(case2)에서는, 비디오 엘리멘터리 루프(Video ES loop)의 디스크립터(descriptor) 부분에, 디스크립터(z-Surface descriptor)가 배치되어 있다. 또한, 도 18에 도시하는 다중화 데이터 스트림의 구성예(case3)는 깊이 정보 세트를 포함하는 디스크립터(z-Surface descriptor)를 EIT의 관리 하에 삽입하는 예이다.

깊이 정보 세트를 포함하는 디스크립터(z-Surface descriptor)를 PMT의 관리 하에 삽입하는 경우, 도 19에 도시한 바와 같이, 프로그램 기간 중의 소정 타이밍에 디스크립터를 보낼 수 있으며, 프로그램 기간 중에 있어서, 깊이 정보를 다이내믹하게 변화시키는 것이 가능해진다. 도 19에 도시하는 예에서는, 프로그램 기간 중에 있어서, 깊이 정보 a, 깊이 정보 b, 깊이 정보 c의 순으로 다이내믹하게 바뀌고 있다. 이 깊이 정보의 갱신 기간은, 예를 들면 100msec, 또는 100msec보다 긴 기간이 된다.

디스크립터를 송신하는 타이밍으로서는, 예를 들면 장면 변화점을 생각할 수 있다. 그 경우, 프로그램 기간 중의 선두 타이밍에 디스크립터를 송신하고, 그 후는 장면 변화점마다 디스크립터를 송신하고, 깊이 정보의 갱신이 도모된다. 도 20은 장면 검출과 디스크립터 송신의 처리 개요를 나타내고 있다.

이 경우, 현재 프레임에 포함되는 모든 블록에 대해서, 1 프레임 전의 화상 데이터와 비교되어 움직임 벡터가 검출된다. 그리고, 현재 프레임과 1 프레임 전의 프레임 사이에서, 상관도의 검사값으로서, 블록마다의 움직임 벡터(크기)의 차분값의 총합 Σ(mv((t-1)-mv(t))가 산출된다. 마찬가지로, 1 프레임 전의 프레임과 2 프레임 전의 프레임 사이에서, 상관도의 검사값으로서, 블록마다의 움직임 벡터(크기)의 차분값의 총합 Σ(mv((t-2)-mv(t-1))이 산출된다.

1 프레임 전의 프레임과 2 프레임 전의 프레임 사이의 움직임 벡터의 상관이 높고, 또한 현재 프레임과 1 프레임 전의 프레임 사이의 움직임 벡터의 상관이 작을 때, 장면 변화가 있었다고 판단된다. 즉, 「Σ(mv((t-2)-mv(t-1))<threshold2)」을 만족하고, 또한 「Σ(mv((t-1)-mv(t)) <threshold1)」을 만족하지 않을 때, 장면 변화가 있었다고 판단된다. 이와 같이 장면 변화가 있었다고 판단되었을 때, 디스크립터의 송신이 행해진다. 이 디스크립터에는 장면 변화 후의 화상(현재 프레임의 화상)에 대응한 깊이 정보가 포함되게 된다. 또한, 장면 검출 방법은 상술예에 한정되지 않는 것은 물론이다.

상술한 바와 같이, 프로그램 기간 중에 있어서, 소정 기간마다의 깊이 정보를 포함하는 디스크립터를 보낼 수 있고, 그 경우, 도 19에 도시한 바와 같이, 각 기간의 개시 시점에 대응시켜서 디스크립터(z-Surface descriptor)가 송신된다. 이 경우, 디스크립터에, 상기 기간의 깊이 정보를 포함시키는 것 외에, 그 기간보다 뒤의 기간, 예를 들면 하나 뒤의 기간의 깊이 정보를, 소위 선출 정보로서 포함시키는 것도 생각된다.

도 21은 그 경우에 있어서의 각 디스크립터(z-Surface descriptor)의 송신 타이밍과, 각 디스크립터에 포함되는 깊이 정보와의 관계를 나타내고 있다. 예를 들면, 기간 A의 개시 시점에서 송신되는 디스크립터(z-Surface descriptor)에는, 기간 B의 깊이 정보 b가 포함된다. 또한, 기간 B의 개시 시점에서 송신되는 디스크립터(z-Surface descriptor)에는, 기간 C의 깊이 정보 c가 포함된다. 이하의 각 기간의 개시 시점에서 송신되는 디스크립터(z-Surface descriptor)에 있어서도 마찬가지이며, 그 디스크립터에는 다음에 기간의 깊이 정보가 포함된다.

이와 같이 각 기간의 개시 시점에서 송신되는 디스크립터(z-Surface descriptor)에, 그 후의 기간, 예를 들면 하나 뒤의 기간의 깊이 정보를 선출 정보로서 포함시킴으로써, 수신측에 있어서 시간 방향 변화가 완만한 시차 정보를 얻는 것이 가능해진다. 즉, 수신측에 있어서, 각 기간의 좌안 중첩 정보와 우안 중첩 정보 사이에 시차를 부여할 때에 사용하는 시차 정보로서, 상기 기간 및 그 기간의 전후의 기간의 깊이 정보 세트에 포함되는 시차 정보를 사용한 보간 처리를 행하는 것이 가능해진다. 그리고, 이에 의해, 시간 방향(프레임 방향의) 변화가 완만한, 즉 갱신 커브가 매끄러워지는 시차 정보를 얻는 것이 가능해진다.

또한, 도 21에 있어서, 파선 S1은 송신되는 입체 화상 데이터에 있어서의 시차 정보 커브(Video disparity curve)의 일례를 나타내고, 실선 S2는 각 기간에 대응하여 갱신되는 시차 정보(Disparity update)의 일례를 나타내고 있다. 또한, 이 도 21에 있어서, 파선 S3은, 수신측에 있어서, 보간 처리에서 얻어지는 시차 정보 커브(Receiver interpolation curve)의 일례를 나타내고 있다.

이 경우, 수신측에 있어서는, 예를 들면 이하와 같은 보간 처리가 행해진다. 즉, 각 기간의 전반에서는, 전 기간의 시차 정보와 그 기간의 시차 정보의 혼합 비율이 그 기간쪽이 차례로 높아져 감으로써 각 시점의 보간 시차 정보가 얻어진다. 또한, 각 기간의 후반에서는, 그 기간의 시차 정보와 후의 기간의 시차 정보의 혼합 비율이 후의 기간쪽이 차례로 높아져 감으로써 각 시점의 보간 시차 정보가 얻어진다.

또한, 깊이 정보 세트를 포함하는 디스크립터(z-Surface descriptor)를 EIT의 관리 하에 삽입하는 경우, 도 22에 도시한 바와 같이, 프로그램의 최초에 디스크립터 송신할 수 있고, 프로그램 기간 중에 있어서, 깊이 정보는 고정이 된다.

[디스크립터(z-Surface descriptor)의 구조예]

도 23은 디스크립터(z-Surface descriptor)의 구조예(Syntax)를 나타내고 있다. 도 24는 도 23에 도시하는 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「descriptor_tag」의 8비트 필드는, 디스크립터(기술자)의 타입을 나타내고, 여기에서는, 디스크립터(z-Surface descriptor)인 것을 나타낸다. 「descriptor_length」의 8비트 필드는 디스크립터의 길이(크기)를 나타내는 8비트의 데이터이다. 이 데이터는 디스크립터의 길이로서, 「descriptor_length」 이후의 바이트수를 나타낸다.

「display_partition_type」의 2비트 필드는, 화상 표시면의 분할 타입을 나타낸다(도 7 내지 도 13 참조). 「number_of_partition」의 4비트 필드는, 화상 표시면의 분할수를 나타낸다. 여기서, "0000"은 화상 표시면이 분할되어 있지 않은 것, 즉 분할수=1을 나타낸다. 이 경우에는, 디스크립터(z-Surface descriptor)에는, 화상 표시면의 전체에 대한, 단일의 깊이 정보가 포함된다. 화상 표시면의 분할수분만큼, 이후의 for 루프가 반복된다.

「z_depth_negative」의 1비트 필드는, 화상면 정보를 나타낸다. 이 화상면 정보는, 상술한 바와 같이, 모니터 포지션에 대하여 입체 화상면(대응하는 분할 영역의 화상 내의, 원근감으로 따지자면 가장 가까운 물체의 면)이 마이너스(앞)에 있는지의 여부를 나타낸다. "1"은 입체 화상면이 모니터 포지션에 대하여 마이너스(앞)에 있는 것을 나타낸다. "1"은 입체 화상면이 모니터 포지션과 같거나 모니터 포지션에 대하여 플러스(안)에 있는 것을 나타낸다.

또한, 이 실시 형태에 있어서는, 상술한 바와 같이, 「z_depth_negative」의 1비트 필드로서, 시차 정보를 구성하는 부호 정보가 사용된다. 이 경우의 시차 정보는, 대응하는 영역의 화상을 구성하는 각 픽셀(화소)의 시차 정보(시차 벡터) 중 원근감으로 따지자면 가장 앞으로 지각되는 픽셀의 시차 정보이며, 입체 화상면을 구성하는 픽셀의 시차 정보이다.

「disparity_value_flag」는 상술한 화상면 정보 외에, 시차 정보가 존재하는지의 여부를 나타내는 1비트의 플래그 정보이다. 이 경우의 시차 정보는, 예를 들면 상술한 입체 화상면을 구성하는 픽셀의 시차 정보이다. "1"은 시차 정보가 존재하는 것을 나타내고, "0"은 시차 정보가 존재하지 않는 것을 나타낸다. 이 플래그 정보가 "1"일 때, 「absolute_disparity_value」의 8비트 필드가 존재한다. 이 「absolute_disparity_value」는, 시차 정보를 구성하는 절대값 정보를 나타낸다. 이 절대값 정보와 상술한 화상면 정보로서의 부호 정보에 의해, 시차 정보가 구성된다.

도 25는 디스크립터(z-Surface descriptor)의 다른 구조예(Syntax)를 나타내고 있다. 이 구조예에 있어서, 「disparity_value_flag」는 각 분할 영역에서 공통이 되고, for 루프의 외측에 배치되어 있다. for 루프 중에는, 「z_depth_negative」의 1비트 필드가 존재한다. 또한, 이 for 루프 중에는, 「disparity_value_flag」가 "1"로 시차 정보의 존재를 나타낼 때 「absolute_disparity_value」의 7비트 필드가 존재하고, 그 외일 때 7비트의 「reserved」가 존재한다.

이와 같이, 도 25에 도시하는 디스크립터(z-Surface descriptor)의 구조예에서는, for 루프 중 바이트 얼라인(Byte Align)이 확보되어 있다. 즉, 이 도 25에 도시하는 디스크립터의 구조예에서는, for 루프 중에, 바이트 얼라인(Byte Align)을 확보하기 위한 「bit_stuffing」은 불필요하게 된다.

도 2에 도시하는 송신 데이터 생성부(110)에 있어서, 멀티플렉서(126)로부터 출력되는 비트 스트림 데이터 BSD에는, 좌안 화상 데이터 및 우안 화상 데이터를 갖는 소정 프로그램의 입체 화상 데이터와 함께, 소정 프로그램의 입체 화상 데이터에 대응한 깊이 정보 세트가 포함되어 있다. 그 때문에, 수신측에 있어서, 이 깊이 정보 세트를 사용함으로써 좌안 화상 및 우안 화상에 중첩되는 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보로서, 화상 내의 각 물체의 원근감에 따라서 시차 조정이 실시된 것을 사용할 수 있다. 이에 의해, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성을 유지하는 것이 가능해진다.

또한, 도 2에 도시하는 송신 데이터 생성부(110)에 있어서, 깊이 정보 세트는, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하는 것이며, 입체 화상 데이터를 포함하는 데이터 스트림을 갖는 비트 스트림 데이터(다중화 데이터 스트림) BSD에 삽입되는 디스크립터에 포함되어 송신된다. 즉, 깊이 정보 세트를, 디스크립터를 사용하여, 수신측으로 간단하게 송신할 수 있다.

[셋톱 박스의 설명]

도 1로 되돌아가서, 셋톱 박스(200)는 방송국(100)으로부터 방송파에 실어서 송신되어 오는 비트 스트림 데이터(트랜스포트 스트림) BSD를 수신한다. 이 비트 스트림 데이터 BSD에는 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 입체 화상 데이터, 음성 데이터, 깊이 정보 세트가 포함된다.

셋톱 박스(200)는, 비트 스트림 처리부(201)를 갖고 있다. 이 비트 스트림 처리부(201)는, 비트 스트림 데이터로부터, 입체 화상 데이터, 음성 데이터, 깊이 정보 세트 등을 추출한다. 이 비트 스트림 처리부(201)는, 적절히, OSD 등의 그래픽스 정보가 중첩된 좌안 화상 및 우안 화상의 데이터를 생성한다. 이 경우, 깊이 정보 세트에 기초하여, 좌안 화상에 중첩하는 좌안 그래픽스 정보와 우안 화상에 중첩하는 우안 그래픽스 정보 사이에는 시차가 부여된다. 이와 같이 좌안 그래픽스 정보와 우안 그래픽스 사이에 시차가 부여됨으로써, 유저는 입체 화상에 중첩되는 OSD 등의 그래픽스 정보를, 예를 들면 화상의 앞으로 인식 가능해진다.

[셋톱 박스의 구성예]

셋톱 박스(200)의 구성예를 설명한다. 도 26은 셋톱 박스(200)의 구성예를 나타내고 있다. 이 셋톱 박스(200)는, 비트 스트림 처리부(201)와, HDMI 단자(202)와, 안테나 단자(203)와, 디지털 튜너(204)와, 영상 처리 회로(205)와, HDMI 송신부(206)와, 음성 처리 회로(207)를 갖고 있다. 또한, 이 셋톱 박스(200)는, CPU(211)와, 플래시 ROM(212)과, DRAM(213)과, 내부 버스(214)와, 리모콘 수신부(215)와, 리모콘 송신기(216)를 갖고 있다.

안테나 단자(203)는 수신 안테나(도시하지 않음)로 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(204)는 안테나 단자(203)에 입력된 텔레비전 방송 신호를 처리하고, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림) BSD를 출력한다.

비트 스트림 처리부(201)는, 상술한 바와 같이, 비트 스트림 데이터 BSD로부터 입체 화상 데이터, 음성 데이터 등을 추출하여 출력한다. 이 비트 스트림 처리부(201)는, 입체 화상 데이터에 대하여 적절히, OSD 등의 그래픽스 정보의 표시 데이터를 합성한다. 그 때, 비트 스트림 처리부(201)는 깊이 정보 세트에 기초하여, 적절히, 좌안 화상에 중첩하는 좌안 그래픽스 정보와 우안 화상에 중첩하는 우안 그래픽스 정보 사이에 시차를 부여한다.

영상 처리 회로(205)는 비트 스트림 처리부(201)로부터 출력되는 입체 화상 데이터에 대하여 필요에 따라서 화질 조정 처리 등을 행하고, 처리 후의 입체 화상 데이터를 HDMI 송신부(206)에 공급한다. 음성 처리 회로(207)는 비트 스트림 처리부(201)로부터 출력된 음성 데이터에 대하여 필요에 따라서 음질 조정 처리 등을 행하고, 처리 후의 음성 데이터를 HDMI 송신부(206)에 공급한다.

HDMI 송신부(206)는 HDMI에 준거한 통신에 의해, 예를 들면 비압축의 화상 데이터 및 음성 데이터를, HDMI 단자(202)로부터 송출한다. 이 경우, HDMI의 TMDS 채널로 송신하기 위해서, 화상 데이터 및 음성 데이터는 패킹되고, HDMI 송신부(206)로부터 HDMI 단자(202)에 출력된다. 또한, 이 HDMI 송신부(206)는, 상술한 깊이 정보 세트를, HDMI 인터페이스로, 텔레비전 수신기(300)로 송신한다. 이 HDMI 송신부(206)의 상세는 후술한다.

CPU(211)는 셋톱 박스(200)의 각 부의 동작을 제어한다. 플래시 ROM(212)은, 제어 소프트웨어의 저장 및 데이터의 보관을 행한다. DRAM(213)은 CPU(211)의 워크에리어를 구성한다. CPU(211)는 플래시 ROM(212)으로부터 판독한 소프트웨어나 데이터를 DRAM(213) 상에 전개하여 소프트웨어를 기동시켜, 셋톱 박스(200)의 각 부를 제어한다.

리모콘 수신부(215)는, 리모콘 송신기(216)로부터 송신된 리모트 컨트롤 신호(리모콘 코드)를 수신하고, CPU(211)에 공급한다. CPU(211)는 이 리모콘 코드에 기초하여, 셋톱 박스(200)의 각 부를 제어한다. CPU(211), 플래시 ROM(212) 및 DRAM(213)은 내부 버스(214)에 접속되어 있다.

비트 스트림 처리부(201)에 대하여 설명한다. 이 비트 스트림 처리부(201)는, 디멀티플렉서(220)와, 비디오 디코더(221)와, 오디오 디코더(224)와, OSD 표시 데이터 발생부(226)와, 비디오 중첩부(228)를 갖고 있다. 디멀티플렉서(220)는 비트 스트림 데이터 BSD로부터, 비디오, 오디오의 패킷을 추출하고, 각 디코더로 보낸다. 또한, 디멀티플렉서(220)는 비트 스트림 데이터 BSD로부터, 깊이 정보 세트를 추출하고, OSD 표시 데이터 발생부(226)와, 상술한 HDMI 송신부(206)로 보낸다.

비디오 디코더(221)는 디멀티플렉서(220)에서 추출된 비디오의 패킷으로부터 비디오의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 입체 화상 데이터를 얻는다. 오디오 디코더(224)는 디멀티플렉서(220)에서 추출된 오디오의 패킷으로부터 오디오의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하고, 음성 데이터를 얻고, 비트 스트림 처리부(201)의 외부에 출력한다.

OSD 표시 데이터 발생부(226)는 입체 화상 데이터에 포함되는 좌안 화상 데이터에 대응한 좌안 그래픽스 정보의 데이터 및 입체 화상 데이터에 포함되는 우안 화상 데이터에 대응한 우안 그래픽스 정보의 데이터를 발생한다. 이 경우, OSD 표시 데이터 발생부(226)는 디멀티플렉서(220)에서 추출된 깊이 정보 세트에 포함되는 화상면 정보, 또는 화상면 정보 및 시차 정보에 기초하여, 좌안 그래픽스 정보와 우안 그래픽스 정보 사이에, 적절히, 시차를 부여한다.

예를 들면, 화상면 정보에 기초하여, 입체 화상면이 모니터 포지션에 대하여 앞에 위치하는 경우에는, 그래픽스 정보가 입체 화상면보다 앞으로 지각되도록, 미리 결정된 소정의 시차가 부여된다. 또한, 예를 들면 화상면 정보에 기초하여, 입체 화상면이 모니터 포지션과 동일 위치이거나, 또는 그보다 안에 위치하는 경우에는, 시차는 부여되지 않는다. 또한, 예를 들면 시차 정보에 기초하여, 그래픽스 정보가 입체 화상면보다 앞으로 지각되도록 시차가 부여된다.

여기서, 깊이 정보 세트를 포함하는 디스크립터(z-Surface descriptor)가 PMT의 관리 하에 삽입되는 경우에 있어서는, 프로그램 기간 중에 있어서 각 분할 영역의 깊이 정보의 갱신이 가능하게 된다(도 19 참조). OSD 표시 데이터 발생부(226)는, 이와 같이 갱신되는 깊이 정보, 예를 들면 시차 정보를 사용함으로써 좌안 및 우안의 그래픽스 정보에 부여하는 시차를 동적으로 변화된다.

이 경우, OSD 표시 데이터 발생부(226)는, 임의의 디스크립터(z-Surface descriptor)에 포함되는 시차 정보를 다음에 디스크립터(z-Surface descriptor)가 송신되어 올 때까지의 각 프레임에서 사용하는 것을, 반복하는 것도 가능하다. 그러나, 그 경우, 디스크립터가 송신되어 오고 시차 정보가 갱신되는 시점에서, 좌안 및 우안의 그래픽스 정보에 부여하는 시차가 급격하게 변화하여 시청자에게 위화감을 발생시킬 우려가 있다.

따라서, 이 실시 형태에 있어서, OSD 표시 데이터 발생부(226)는, 도 27에 도시한 바와 같이, 다음의 디스크립터(z-Surface descriptor)가 보내져 온 경우, 그 디스크립터에 포함되는 시차 정보를 즉시 사용하는 일은 하지 않는다. 즉, OSD 표시 데이터 발생부(226)는, 새로운 시차 정보에 복수 프레임을 걸쳐 도달하도록, 이 복수 프레임 사이는 보간 처리에 의한 시차 정보(파선 도시)를 사용한다. 이 처리에 의해, 시차 부여에 사용되는 시차 정보의 시간 방향(프레임 방향의) 변화를 완만하게 할 수 있고, 좌안 및 우안의 그래픽스 정보에 부여하는 시차가 급격하게 변화하여 시청자에게 위화감을 발생시키는 것을 억제할 수 있다.

상술한 도 27에 도시하는 보간 처리예는, 각 기간의 개시 시점에 대응하여 보내져 오는 디스크립터(z-Surface descriptor)에, 그 기간의 깊이 정보가 포함되어 있는 경우를 나타내고 있다. 각 기간의 개시 시점에 대응하여 보내져 오는 디스크립터(z-Surface descriptor)에, 그 후의 기간, 예를 들면 하나 뒤의 기간의 깊이 정보가 포함되어 있는 경우의 보간 처리예를 설명한다.

도 28은 그 경우의 보간 처리예를 나타내고 있다. 이 경우, 기간 A의 개시 시점에서 보내져 오는 디스크립터(z-Surface descriptor)에는, 기간 B의 깊이 정보 b가 포함되어 있다. 또한, 기간 B의 개시 시점에서 보내져 오는 디스크립터(z-Surface descriptor)에는, 기간 C의 깊이 정보 c가 포함되어 있다. 이하의 각 기간의 개시 시점에서 보내져 오는 디스크립터(z-Surface descriptor)에 있어서도 마찬가지이며, 그 디스크립터에는, 다음에 기간의 깊이 정보가 포함되어 있다.

이 경우, 이하와 같은 보간 처리가 행해지고, 각 시점의 보간 시차 정보가 얻어진다. 즉, 각 기간의 전반에서는, 전 기간의 시차 정보와 그 기간의 시차 정보의 혼합 비율이 그 기간쪽이 차례로 높아져 감으로써 각 시점의 보간 시차 정보가 얻어진다. 또한, 각 기간의 후반에서는, 그 기간의 시차 정보와 후의 기간의 시차 정보의 혼합 비율이 후의 기간쪽이 차례로 높아져 감으로써 각 시점의 보간 시차 정보가 얻어진다.

예를 들면, 기간 A의 중간 시점으로부터 기간 B의 중간 시점까지의 기간 T_AB의 각 시점의 보간 시차 정보는, 기간 A의 시차 정보와 기간 B의 시차 정보의 혼합 비율을 차례로 변화시킴으로써 얻어진다. 이 경우, 기간 A의 시차 정보에 관해서는 100％에서 0％로 차례로 변화되며, 기간 B의 시차 정보에 관해서는 0％에서 100％로 차례로 변화된다. 또한, 예를 들면 기간 B의 중간 시점으로부터 기간 C의 중간 시점까지의 기간 T_BC의 각 시점의 보간 시차 정보는, 기간 B의 시차 정보와 기간 C의 시차 정보의 혼합 비율을 차례로 변화시킴으로써 얻어진다. 이 경우, 기간 B의 시차 정보에 관해서는 100％에서 0％로 차례로 변화되고, 기간 C의 시차 정보에 관해서는 0％에서 100％로 차례로 변화된다.

또한, 도 28에 있어서, 파선 S1은 송신되어 오는 입체 화상 데이터에 있어서의 시차 정보 커브(Video disparity curve)의 일례를 나타내고, 실선 S2는 각 기간에 대응하여 갱신되는 시차 정보(Disparity update)의 일례를 나타내고 있다. 또한, 이 도 28에 있어서, 파선 S3은 보간 처리에서 얻어지는 시차 정보 커브(Receiver interpolation curve)의 일례를 나타내고 있다.

도 28에 도시한 바와 같은 보간 처리가 행해짐으로써, 시간 방향 변화가 완만한, 즉 갱신 커브가 매끄러워지는 시차 정보를 얻는 것이 가능해진다. 이에 의해, 시차 부여에 사용되는 시차 정보의 시간 방향(프레임 방향의) 변화를 완만하게 할 수 있고, 좌안 및 우안의 그래픽스 정보에 부여하는 시차가 급격하게 변화하여 시청자에게 위화감을 발생시키는 것을 억제할 수 있다.

비디오 중첩부(228)는, 비디오 디코더(221)에서 얻어진 입체 화상 데이터(좌안 화상 데이터, 우안 화상 데이터)에 대하여 OSD 표시 데이터 발생부(226)에서 발생된 좌안 및 좌안의 그래픽스 정보의 데이터를 중첩하고, 표시용 입체 화상 데이터를 얻는다. 그리고, 이 비디오 중첩부(228)는, 표시용 입체 화상 데이터를, 비트 스트림 처리부(201)의 외부로 출력한다.

셋톱 박스(200)의 동작을 간단하게 설명한다. 안테나 단자(203)에 입력된 텔레비전 방송 신호는 디지털 튜너(204)에 공급된다. 이 디지털 튜너(204)에서는, 텔레비전 방송 신호가 처리되어, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림) BSD가 출력된다.

디지털 튜너(204)로부터 출력되는 비트 스트림 데이터 BSD는, 비트 스트림 처리부(201)에 공급된다. 이 비트 스트림 처리부(201)에서는, 비트 스트림 데이터 BSD로부터 입체 화상 데이터, 음성 데이터, 깊이 정보 세트 등이 추출된다. 비트 스트림 처리부(201)에서는, 입체 화상 데이터에 대하여 적절히, OSD 등의 그래픽스 정보의 표시 데이터가 합성된다.

그 때, 비트 스트림 처리부(201)에서는, 깊이 정보 세트에 기초하여, 좌안 화상에 중첩하는 좌안 그래픽스 정보와 우안 화상에 중첩하는 우안 그래픽스 정보 사이에 시차가 부여된다. 이에 의해, 입체 화상에 중첩 표시되는 OSD 등의 그래픽스 정보에 관해서, 화상 내의 각 물체와의 사이의 원근감의 정합성을 최적의 상태로 유지하는 것이 가능해진다.

비트 스트림 처리부(201)에서 얻어진 표시용 입체 화상 데이터는, 영상 처리 회로(205)에 공급된다. 이 영상 처리 회로(205)에서는, 표시용 입체 화상 데이터에 대하여 필요에 따라서 화질 조정 처리 등이 행해진다. 이 영상 처리 회로(205)로부터 출력되는 처리 후의 표시용 입체 화상 데이터는 HDMI 송신부(206)에 공급된다.

또한, 비트 스트림 처리부(201)에서 얻어진 음성 데이터는, 음성 처리 회로(207)에 공급된다. 이 음성 처리 회로(207)에서는, 음성 데이터에 대하여 필요에 따라서 음질 조정 처리 등의 처리가 행해진다. 이 음성 처리 회로(207)로부터 출력되는 처리 후의 음성 데이터는, HDMI 송신부(206)에 공급된다. 그리고, HDMI 송신부(206)에 공급된 입체 화상 데이터 및 음성 데이터는 HDMI의 TMDS 채널에 의해, HDMI 단자(202)로부터 HDMI 케이블(400)로 송출된다.

[텔레비전 수신기의 설명]

도 1로 되돌아가서, 텔레비전 수신기(300)는, 셋톱 박스(200)로부터 HDMI 케이블(400)을 통해서 보내져 오는 입체 화상 데이터를 수신한다. 이 텔레비전 수신기(300)는, 3D 신호 처리부(301)를 갖고 있다. 이 3D 신호 처리부(301)는, 입체 화상 데이터에 대하여 전송 방식에 대응한 처리(디코드 처리)를 행하고, 좌안 화상 데이터 및 우안 화상 데이터를 생성한다. 이 3D 신호 처리부(301)는, 입체 화상 데이터를 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 취득한다.

[텔레비전 수신기의 구성예]

텔레비전 수신기(300)의 구성예를 설명한다. 도 29는 텔레비전 수신기(300)의 구성예를 나타내고 있다. 이 텔레비전 수신기(300)는 3D 신호 처리부(301)와, HDMI 단자(302)와, HDMI 수신부(303)와, 안테나 단자(304)와, 디지털 튜너(305)와, 비트 스트림 처리부(306)를 갖고 있다.

또한, 이 텔레비전 수신기(300)는, OSD 표시 데이터 발생부(313)와, 비디오 중첩부(314)와, 영상 처리 회로(307)와, 패널 구동 회로(308)와, 표시 패널(309)과, 음성 처리 회로(310)와, 음성 증폭 회로(311)와, 스피커(312)를 갖고 있다. 또한, 이 텔레비전 수신기(300)는, CPU(321)와, 플래시 ROM(322)과, DRAM(323)과, 내부 버스(324)와, 리모콘 수신부(325)와, 리모콘 송신기(326)를 갖고 있다.

안테나 단자(304)는 수신 안테나(도시하지 않음)로 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(305)는, 안테나 단자(304)에 입력된 텔레비전 방송 신호를 처리하고, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)를 출력한다.

비트 스트림 처리부(306)는, 도 26에 도시하는 셋톱 박스(200)의 비트 스트림 처리부(201)와 마찬가지의 구성으로 되어 있다. 이 비트 스트림 처리부(306)는, 비트 스트림 데이터로부터 입체 화상 데이터(좌안 화상 데이터, 우안 화상 데이터), 음성 데이터, 깊이 정보 세트 등을 추출한다.

HDMI 수신부(303)는, HDMI에 준거한 통신에 의해, HDMI 케이블(400)을 통해서 HDMI 단자(302)에 공급되는 비압축의 화상 데이터 및 음성 데이터를 수신한다. 이 HDMI 수신부(303)는, 그 버전이 예를 들면 HDMI1.4로 되어 있고, 입체 화상 데이터의 취급이 가능한 상태에 있다. 또한, 이 HDMI 수신부(303)는, 상술한 깊이 정보 세트를, HDMI 인터페이스로, 셋톱 박스(200)로부터 수신한다. 이 HDMI 수신부(303)의 상세는 후술한다.

3D 신호 처리부(301)는, HDMI 수신부(303)에서 수신되거나, 또는 비트 스트림 처리부(306)에서 얻어진 입체 화상 데이터에 대하여 디코드 처리를 행하고, 좌안 화상 데이터 및 우안 화상 데이터를 생성한다. 이 경우, 3D 신호 처리부(301)는, 비트 스트림 처리부(306)에서 얻어진 입체 화상 데이터에 대해서는, 그 전송쪽 포맷에 대응한 디코드 처리를 행한다. 또한, 3D 신호 처리부(301)는, HDMI 수신부(303)에서 수신된 입체 화상 데이터에 대해서는, 후술하는 TMDS 전송 데이터 구조에 대응한 디코드 처리를 행한다.

OSD 표시 데이터 발생부(313)는, 입체 화상 데이터에 포함되는 좌안 화상 데이터에 대응한 좌안 그래픽스 정보의 데이터 및 입체 화상 데이터에 포함되는 우안 화상 데이터에 대응한 우안 그래픽스 정보의 데이터를 발생한다. 이 그래픽스 정보는, 메뉴, 프로그램표 등의 OSD 표시를 위한 중첩 정보이다.

이 경우, OSD 표시 데이터 발생부(313)는, 비트 스트림 처리부(306)에서 얻어진, 또는 HDMI 수신부(303)에서 수신된 깊이 정보 세트에 기초하여, 좌안 그래픽스 정보와 우안 그래픽스 정보 사이에 시차를 부여한다. 여기서, OSD 표시 데이터 발생부(313)는, 깊이 정보 세트에 포함되는 화상면 정보, 또는 화상면 정보 및 시차 정보에 기초하여, 좌안 그래픽스 정보와 우안 그래픽스 정보 사이에, 적절히, 시차를 부여한다.

예를 들면, 화상면 정보에 기초하여, 입체 화상면이 모니터 포지션에 대하여 앞에 위치하는 경우에는, 그래픽스 정보가 입체 화상면보다 앞으로 지각되도록, 미리 결정된 소정의 시차가 부여된다. 또한, 예를 들면 화상면 정보에 기초하여, 입체 화상면이 모니터 포지션과 동일 위치이거나, 또는 그보다 안에 위치하는 경우에는, 시차는 부여되지 않는다. 또한, 예를 들면 시차 정보에 기초하여, 그래픽스 정보가 입체 화상면보다 앞으로 지각되도록 시차가 부여된다.

비디오 중첩부(314)는, 3D 신호 처리부(301)에서 얻어진 입체 화상 데이터(좌안 화상 데이터, 우안 화상 데이터)에 대하여 OSD 표시 데이터 발생부(313)에서 발생된 좌안 및 좌안의 그래픽스 정보의 데이터를 중첩하고, 표시용 입체 화상 데이터를 얻는다.

영상 처리 회로(307)는, 3D 신호 처리부(301)에서 생성된 좌안 화상 데이터 및 우안 화상 데이터에 기초하여, 입체 화상을 표시하기 위한 화상 데이터를 생성한다. 또한, 영상 처리 회로(307)는, 화상 데이터에 대하여 필요에 따라서, 화질 조정 처리를 행한다. 패널 구동 회로(308)는, 영상 처리 회로(307)로부터 출력되는 화상 데이터에 기초하여, 표시 패널(309)을 구동한다. 표시 패널(309)은, 예를 들면 LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 등으로 구성되어 있다.

음성 처리 회로(310)는, HDMI 수신부(303)에서 수신되거나, 또는 비트 스트림 처리부(306)에서 얻어진 음성 데이터에 대하여 D/A 변환 등이 필요한 처리를 행한다. 음성 증폭 회로(311)는, 음성 처리 회로(310)로부터 출력되는 음성 신호를 증폭하여 스피커(312)에 공급한다.

CPU(321)는, 텔레비전 수신기(300)의 각 부의 동작을 제어한다. 플래시 ROM(322)은, 제어 소프트웨어의 저장 및 데이터의 보관을 행한다. DRAM(323)은, CPU(321)의 워크에리어를 구성한다. CPU(321)는, 플래시 ROM(322)으로부터 판독한 소프트웨어나 데이터를 DRAM(323) 상에 전개하여 소프트웨어를 기동시켜, 텔레비전 수신기(300)의 각 부를 제어한다.

리모콘 수신부(325)는, 리모콘 송신기(326)로부터 송신된 리모트 컨트롤 신호(리모콘 코드)를 수신하고, CPU(321)에 공급한다. CPU(321)는, 이 리모콘 코드에 기초하여, 텔레비전 수신기(300)의 각 부를 제어한다. CPU(321), 플래시 ROM(322) 및 DRAM(323)은, 내부 버스(324)에 접속되어 있다.

도 29에 도시하는 텔레비전 수신기(300)의 동작을 간단하게 설명한다. HDMI 수신부(303)에서는, HDMI 단자(302)에 HDMI 케이블(400)을 통해서 접속되어 있는 셋톱 박스(200)로부터 송신되어 오는, 입체 화상 데이터 및 음성 데이터가 수신된다. 이 HDMI 수신부(303)에서 수신된 입체 화상 데이터는, 3D 신호 처리부(301)에 공급된다. 또한, 이 HDMI 수신부(303)에서 수신된 음성 데이터는 음성 처리 회로(310)에 공급된다.

안테나 단자(304)에 입력된 텔레비전 방송 신호는 디지털 튜너(305)에 공급된다. 이 디지털 튜너(305)에서는, 텔레비전 방송 신호가 처리되고, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)가 출력된다.

디지털 튜너(305)로부터 출력되는 비트 스트림 데이터는, 비트 스트림 처리부(306)에 공급된다. 이 비트 스트림 처리부(306)에서는, 비트 스트림 데이터로부터 입체 화상 데이터(좌안 화상 데이터, 우안 화상 데이터), 음성 데이터, 깊이 정보 세트 등이 추출된다. 비트 스트림 처리부(306)에서 얻어진 입체 화상 데이터는, 3D 신호 처리부(301)에 공급된다. 또한, 이 비트 스트림 처리부(306)에서 얻어진 음성 데이터는, 음성 처리 회로(310)에 공급된다.

3D 신호 처리부(301)에서는, HDMI 수신부(303)에서 수신되거나, 또는 비트 스트림 처리부(306)에서 얻어진 입체 화상 데이터에 대하여 디코드 처리가 행해지고, 좌안 화상 데이터 및 우안 화상 데이터가 생성된다. 이 좌안 화상 데이터 및 우안 화상 데이터는 비디오 중첩부(314)에 공급된다.

OSD 표시 데이터 발생부(313)에서는, 입체 화상 데이터에 포함되는 좌안 화상 데이터에 대응한 좌안 그래픽스 정보의 데이터 및 입체 화상 데이터에 포함되는 우안 화상 데이터에 대응한 우안 그래픽스 정보의 데이터가 발생된다. 이 경우, OSD 표시 데이터 발생부(313)에서는, 비트 스트림 처리부(306)에서 얻어진, 또는 HDMI 수신부(303)에서 수신된 깊이 정보 세트에 기초하여, 좌안 그래픽스 정보와 우안 그래픽스 정보 사이에 시차가 부여된다.

비디오 중첩부(314)에서는, 3D 신호 처리부(301)에서 얻어진 입체 화상 데이터(좌안 화상 데이터, 우안 화상 데이터)에 대하여, OSD 표시 데이터 발생부(313)에서 발생된 좌안 및 좌안의 그래픽스 정보의 데이터가 중첩하고, 표시용 입체 화상 데이터가 얻어진다. 이 표시용 입체 화상 데이터는, 영상 처리 회로(307)에 공급된다. 이 영상 처리 회로(307)에서는, 좌안 화상 데이터 및 우안 화상 데이터에 기초하여, 입체 화상을 표시하기 위한 화상 데이터가 생성되고, 필요에 따라서, 화질 조정 처리도 행해진다.

영상 처리 회로(307)에서 얻어지는 화상 데이터는 패널 구동 회로(308)에 공급된다. 그 때문에, 표시 패널(309)에 의해 입체 화상이 표시된다. 예를 들면, 표시 패널(309)에, 좌안 화상 데이터에 의한 좌안 화상 및 우안 화상 데이터에 의한 우안 화상이 교대로 시분할적으로 표시된다. 시청자는 표시 패널(309)의 표시에 동기하여 좌안 셔터 및 우안 셔터가 교대로 개방하는 셔터 안경을 장착함으로써, 좌안에서는 좌안 화상만을 볼 수 있고, 우안에서는 우안 화상만을 볼 수 있어, 입체 화상을 지각할 수 있다.

또한, 음성 처리 회로(310)에서는, HDMI 수신부(303)에서 수신되거나, 또는 비트 스트림 처리부(306)에서 얻어진 음성 데이터에 대하여 D/A 변환 등이 필요한 처리가 실시된다. 이 음성 데이터는, 음성 증폭 회로(311)에서 증폭된 후에, 스피커(312)에 공급된다. 그 때문에, 스피커(312)로부터 표시 패널(309)의 표시 화상에 대응한 음성이 출력된다.

[HDMI 송신부, HDMI 수신부의 구성예]

도 30은 도 1의 입체 화상 표시 시스템(10)에 있어서의, 셋톱 박스(200)의 HDMI 송신부(HDMI 소스)(206)와, 텔레비전 수신기(300)의 HDMI 수신부(HDMI 싱크)(303)의 구성예를 나타내고 있다.

HDMI 송신부(206)는, 유효 화상 구간(이하, 적절히, 액티브 비디오 구간이라고도 함)에 있어서, 비압축의 1화면분의 화상의 화소 데이터에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(303)로 일방향으로 송신한다. 여기서, 유효 화상 구간은, 하나의 수직 동기 신호로부터 다음의 수직 동기 신호까지의 구간으로부터, 수평 귀선 구간 및 수직 귀선 구간을 제외한 구간이다. 또한, HDMI 송신부(206)는, 수평 귀선 구간 또는 수직 귀선 구간에 있어서, 적어도 화상에 부수되는 음성 데이터나 제어 데이터, 그 외의 보조 데이터 등에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(303)로 일방향으로 송신한다.

HDMI 송신부(206)와 HDMI 수신부(303)로 이루어지는 HDMI 시스템의 전송 채널에는, 이하의 전송 채널이 있다. 즉, HDMI 송신부(206)로부터 HDMI 수신부(303)에 대하여 화소 데이터 및 음성 데이터를, 픽셀 클록에 동기하여, 일방향으로 시리얼 전송하기 위한 전송 채널로서의, 3개의 TMDS 채널 #0 내지 #2가 있다. 또한, 픽셀 클록을 전송하는 전송 채널로서의, TMDS 클록 채널이 있다.

HDMI 송신부(206)는, HDMI 트랜스미터(81)를 갖는다. 트랜스미터(81)는, 예를 들면 비압축의 화상의 화소 데이터를 대응하는 차동 신호로 변환하고, 복수의 채널인 3개의 TMDS 채널 #0, #1, #2로, HDMI 케이블(400)을 통해서 접속되어 있는 HDMI 수신부(303)로, 일방향으로 시리얼 전송한다.

또한, 트랜스미터(81)는, 비압축의 화상에 부수되는 음성 데이터, 더 나아가, 필요한 제어 데이터 그 외의 보조 데이터 등을, 대응하는 차동 신호로 변환하고, 3개의 TMDS 채널 #0, #1, #2로 HDMI 수신부(303)로, 일방향으로 시리얼 전송한다.

또한, 트랜스미터(81)는, 3개의 TMDS 채널 #0, #1, #2로 송신하는 화소 데이터에 동기한 픽셀 클록을, TMDS 클록 채널로, HDMI 케이블(400)을 통해서 접속되어 있는 HDMI 수신부(303)로 송신한다. 여기서, 1개의 TMDS 채널 #i(i=0, 1, 2)에서는, 픽셀 클록의 1 클록 사이에, 10비트의 화소 데이터가 송신된다.

HDMI 수신부(303)는, 액티브 비디오 구간에 있어서, 복수의 채널로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호를 수신한다. 또한, 이 HDMI 수신부(303)는, 수평 귀선 구간 또는 수직 귀선 구간에 있어서, 복수의 채널로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다.

즉, HDMI 수신부(303)는 HDMI 리시버(82)를 갖는다. 이 HDMI 리시버(82)는, TMDS 채널 #0, #1, #2로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호와, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다. 이 경우, HDMI 송신부(206)로부터 TMDS 클록 채널로 송신되어 오는 픽셀 클록에 동기하여 수신한다.

HDMI 시스템의 전송 채널에는, 상술한 TMDS 채널 #0 내지 #2 및 TMDS 클록 채널 외에, DDC(Display Data Channel)(83)나 CEC 라인(84)이라 불리는 전송 채널이 있다. DDC(83)는 HDMI 케이블(400)에 포함되는 도시하지 않은 2개의 신호선으로 이루어진다. DDC(83)는 HDMI 송신부(206)가, HDMI 수신부(303)로부터, E-EDID(Enhanced Extended Display Identification Data)를 판독하기 위해 사용된다.

즉, HDMI 수신부(303)는 HDMI 리시버(81) 외에, 자신의 성능(Configuration/capability)에 관한 성능 정보인 E-EDID를 기억하고 있는, EDID ROM(Read Only Memory)(85)을 갖고 있다. HDMI 송신부(206)는, 예를 들면 CPU(211)(도 26 참조)로부터의 요구에 따라서, HDMI 케이블(400)을 통해서 접속되어 있는 HDMI 수신부(303)로부터, E-EDID를, DDC(83)를 통해서 판독한다.

HDMI 송신부(206)는 판독한 E-EDID를 CPU(211)로 보낸다. CPU(211)는 이 E-EDID를, 플래시 ROM(212) 또는 DRAM(213)에 저장한다. CPU(211)는 E-EDID에 기초하여, HDMI 수신부(303)의 성능의 설정을 인식할 수 있다. 예를 들면, CPU(211)는 HDMI 수신부(303)를 갖는 텔레비전 수신기(300)가 입체 화상 데이터의 취급이 가능한지의 여부, 가능한 경우에는 어떠한 TMDS 전송 데이터 구조에 대응 가능한지 등을 더 인식한다.

CEC 라인(84)은, HDMI 케이블(400)이 포함되는 도시하지 않은 1개의 신호선으로 이루어지고, HDMI 송신부(206)와 HDMI 수신부(303) 사이에서, 제어용 데이터의 쌍방향 통신을 행하기 위해 사용된다. 이 CEC 라인(84)은 제어 데이터 라인을 구성하고 있다.

또한, HDMI 케이블(400)에는, HPD(Hot Plug Detect)라 불리는 핀에 접속되는 라인(HPD 라인)(86)이 포함되어 있다. 소스 기기는, 상기 라인(86)을 이용하여, 싱크 기기의 접속을 검출할 수 있다. 또한, 이 HPD 라인(86)은 쌍방향 통신로를 구성하는 HEAC-라인으로 해도 사용된다. 또한, HDMI 케이블(400)에는 소스 기기로부터 싱크 기기로 전원을 공급하기 위해 사용되는 라인(전원 라인)(87)이 포함되어 있다. 또한, HDMI 케이블(400)에는 유틸리티 라인(88)이 포함되어 있다. 이 유틸리티 라인(88)은 쌍방향 통신로를 구성하는 HEAC+라인으로 해도 사용된다.

도 31은 TMDS 전송 데이터의 구조 예를 나타내고 있다. 이 도 31은 TMDS 채널 #0, #1, #2에 있어서, 가로×세로가 1920픽셀×1080라인의 화상 데이터가 전송되는 경우의, 각종 전송 데이터의 구간을 나타내고 있다.

HDMI의 3개의 TMDS 채널 #0, #1, #2로 전송 데이터가 전송되는 비디오 필드(Video Field)에는, 전송 데이터의 종류에 따라, 3종류의 구간이 존재한다. 이 3종류의 구간은, 비디오 데이터 구간(Video Data period), 데이터 아일랜드 구간(Data Island period), 및 컨트롤 구간(Control period)이다.

여기서, 비디오 필드 구간은, 임의의 수직 동기 신호의 상승 에지(active edge)로부터 다음의 수직 동기 신호의 상승 에지까지의 구간이다. 이 비디오 필드 구간은, 수평 블랭킹 기간(horizontal blanking), 수직 블랭킹 기간(vertical blanking), 및 , 액티브 비디오 구간(Active Video)으로 나뉘어진다. 이 액티브 비디오 구간은, 비디오 필드 구간으로부터, 수평 블랭킹 기간 및 수직 블랭킹 기간을 제외한 구간이다

비디오 데이터 구간은, 액티브 비디오 구간에 할당된다. 이 비디오 데이터 구간에서는, 비압축의 1화면분의 화상 데이터를 구성하는 1920픽셀(화소)×1080라인 분의 유효 화소(Active pixel)의 데이터가 전송된다.

데이터 아일랜드 구간 및 컨트롤 구간은, 수평 블랭킹 기간 및 수직 블랭킹 기간에 할당된다. 이 데이터 아일랜드 구간 및 컨트롤 구간에서는, 보조 데이터(Auxiliary data)가 전송된다. 즉, 데이터 아일랜드 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 일부분에 할당되어 있다. 이 데이터 아일랜드 구간에서는, 보조 데이터 중, 제어에 관계하지 않는 데이터인, 예를 들면 음성 데이터의 패킷 등이 전송된다.

컨트롤 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 다른 부분에 할당되어 있다. 이 컨트롤 구간에서는, 보조 데이터 중, 제어에 관계하는 데이터인, 예를 들면 수직 동기 신호 및 수평 동기 신호, 제어 패킷 등이 전송된다.

도 32는, HDMI 단자의 핀 배열의 일례를 나타내고 있다. 도 32에 도시하는 핀 배열은 타입 A(type-A)라 부르고 있다. TMDS 채널 #i의 차동 신호인 TMDS Data#i+와 TMDS Data#i-는 차동선인 2개의 라인에 의해 전송된다. 이 2개의 라인은, TMDS Data#i+가 할당되어 있는 핀(핀 번호가 1, 4, 7인 핀)과, TMDS Data#i-가 할당되어 있는 핀(핀 번호가 3, 6, 9인 핀)에 접속된다.

또한, 제어용 데이터인 CEC 신호가 전송되는 CEC 라인(84)은 핀 번호가 13인 핀에 접속된다. 또한, E-EDID 등의 SDA(Serial Data) 신호가 전송되는 라인은, 핀 번호가 16인 핀에 접속된다. SDA 신호의 송수신 시의 동기에 사용되는 클록 신호인 SCL(Serial Clock) 신호가 전송되는 라인은, 핀 번호가 15인 핀에 접속된다. 상술한 DDC(83)는, SDA 신호가 전송되는 라인 및 SCL 신호가 전송되는 라인에 의해 구성된다.

또한, 상술한 바와 같이 소스 기기가 싱크 기기의 접속을 검출하기 위한 HPD 라인(HEAC-라인)(86)은 핀 번호가 19인 핀에 접속된다. 또한, 유틸리티 라인(HEAC+라인)(88)은 핀 번호가 14인 핀에 접속된다. 또한, 상술한 바와 같이 전원을 공급하기 위한 라인(87)은, 핀 번호가 18인 핀에 접속된다.

[HDMI에서의 깊이 정보 세트의 송신 방법]

깊이 정보 세트를 HDMI 인터페이스로 송신하는 방법으로서, 예를 들면 HDMI Vendor Specific InfoFrame을 이용하는 방법이 생각된다. 이 방법에서는, HDMI Vendor Specific InfoFrame packet에 있어서, HDMI_Video_Format="010"이면서 3D_Meta_present=1이 되고, Vendor Specific InfoFrame extension이 지정된다. 그 경우, 3D_Metadata_type은 미사용의, 예를 들면 "100"으로 정의되고, 깊이 정보 세트가 지정된다.

도 33은 HDMI Vendor Specific InfoFrame의 패킷 구조를 나타내고 있다. 이 HDMI Vendor Specific InfoFrame에 대해서는, CEA-861-D로 정의되어 있으므로, 상세 설명은 생략한다.

제4 바이트(PB4)의 제7 비트로부터 제5 비트에, 화상 데이터의 종류를 나타내는 3비트의 정보 「HDMI_Video_Format」가 배치되어 있다. 화상 데이터가 3D 화상 데이터인 경우, 이 3비트의 정보는 「010」이 된다. 또한, 이와 같이 화상 데이터가 3D 화상 데이터인 경우, 제5 바이트(PB5)의 제7 비트로부터 제4 비트에, TMDS 전송 데이터 구조를 나타내는 4비트의 정보 「3D_Structure」가 배치된다. 예를 들면, 프레임 패킹 방식의 경우, 이 4비트의 정보는, 「0000」이 된다.

또한, 제5 바이트(PB5)의 제3 비트에, 「3D_Meta_present」가 배치되고, Vendor Specific InfoFrame extension을 지정하는 경우, 이 1비트는 「1」로 된다. 또한, 제7 바이트(PB7)의 제7 비트로부터 제5 비트에, 「3D_Metadata_type」이 배치되어 있다. 깊이 정보 세트의 정보를 지정하는 경우, 이 3비트의 정보는, 미사용의, 예를 들면 "100"이 된다. 또한, 제7 바이트(PB7)의 제4 바이트로부터 제0 바이트에, 「3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보에 의해, 이후에 배치되는 3D_Metadata 영역의 길이가 나타난다.

또한, 제8 바이트(PB8)의 제7 비트로부터 제6 비트에, 「display_partition_type」의 2비트 정보가 배치된다. 또한, 제8 바이트(PB8)의 제3 비트로부터 제0 비트에, 「number_of_partition」의 4비트 정보가 배치된다. 그리고, 이후에, 「number_of_partition」이 나타내는 화상 표시면의 분할수에 대응한 개수의 깊이 정보가 배치된다. 이 깊이 정보에는, 「z_depth_negative」의 1비트 정보(화상면 정보)가 포함되고, 또한 「disparity_value_flag」가 시차 정보의 존재를 나타낼 때, 「absolute_disparity_value」의 8비트 정보가 포함된다.

상술한 바와 같이, 도 1에 도시하는 화상 송수신 시스템(10)에 있어서, 방송국(100)(송신 데이터 생성부(201))으로부터 셋톱 박스(200)나 텔레비전 수신기(300)로, 좌안 화상 데이터 및 우안 화상 데이터를 갖는 소정 프로그램의 입체 화상 데이터와 함께, 이 입체 화상 데이터에 대응한 깊이 정보 세트가 송신된다. 그 때문에, 수신측에 있어서, 이 깊이 정보 세트를 사용함으로써 좌안 화상 및 우안 화상에 중첩되는 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보로서, 화상 내의 각 물체의 원근감에 따라서 시차 조정이 실시된 것을 사용할 수 있다. 이에 의해, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성을 유지하는 것이 가능해진다.

또한, 도 1에 도시하는 화상 송수신 시스템(10)에 있어서, 방송국(100)(송신 데이터 생성부(201))으로부터 셋톱 박스(200)나 텔레비전 수신기(300)로 송신되는 깊이 정보 세트는, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하는 것이며, 입체 화상 데이터를 포함하는 데이터 스트림을 갖는 비트 스트림 데이터(다중화 데이터 스트림) BSD에 삽입되는 디스크립터에 포함되어 송신된다. 즉, 방송국(100)은, 깊이 정보 세트를, 디스크립터를 사용하여, 수신측으로 간단하게 송신할 수 있다.

또한, 도 1에 도시하는 화상 송수신 시스템(10)에 있어서, 셋톱 박스(200)로부터 텔레비전 수신기(300)로, 소정 프로그램의 입체 화상 데이터와 함께, 그에 대응한 깊이 정보 세트(화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함함)가, HDMI 케이블(400)을 통해서 송신된다. 그 때문에, 텔레비전 수신기(300)에 있어서, 깊이 정보 세트를 사용함으로써 좌안 화상 및 우안 화상에 중첩되는 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보로서, 화상 내의 각 물체의 원근감에 따라서 시차 조정이 실시된 것을 사용할 수 있다. 이에 의해, 예를 들면 OSD 등의 그래픽스 정보의 표시에 있어서, 화상 내의 각 물체와의 사이의 원근감의 정합성을 유지하는 것이 가능해진다.

<2. 변형예>

또한, 상술한 실시 형태에 있어서는, 입체 화상 표시 시스템(10)이, 방송국(100), 셋톱 박스(200) 및 텔레비전 수신기(300)로 구성되어 있는 것을 나타냈다. 그러나, 텔레비전 수신기(300)는, 도 29에 도시한 바와 같이, 셋톱 박스(200) 내의 비트 스트림 처리부(201)와 동등하게 기능하는 비트 스트림 처리부(306)를 구비하고 있다. 따라서, 도 34에 도시한 바와 같이, 방송국(100) 및 텔레비전 수신기(300)로 구성되는 입체 화상 표시 시스템(10A)도 생각된다.

또한, 상술한 실시 형태에 있어서는, 셋톱 박스(200)로부터 텔레비전 수신기(300)로 깊이 정보 세트를 송신하는 방법으로서, HDMI Vendor Specific InfoFrame을 이용하는 방법을 설명하였다. 그 외에, 액티브 스페이스(Active Space)를 이용하는 방법, 더 나아가, HPD 라인(86)(HEAC-라인) 및 유틸리티 라인(88)(HEAC+라인)으로 구성되는 쌍방향 통신로를 통하여 송신하는 것도 생각된다.

또한, 상술한 실시 형태에 있어서는, 셋톱 박스(200)와, 텔레비전 수신기(300)가, HDMI의 디지털 인터페이스로 접속되는 것을 나타내고 있다. 그러나, 이들이, HDMI의 디지털 인터페이스와 마찬가지인 디지털 인터페이스(유선 외에 무선도 포함함)로 접속되는 경우에 있어서도, 본 발명을 적용할 수 있는 것은 물론이다.

또한, 상술한 실시 형태에 있어서는, 셋톱 박스(200)로부터 텔레비전 수신기(300)로, 비트 스트림 처리부(201)에서 사용되고 있는 깊이 정보 세트를, HDMI 인터페이스에 의해 송신하는 예를 나타냈다. 그러나, 이와 같이 HDMI 인터페이스를 통하여 깊이 정보 세트를 송신하는 기술에 관해서는, 그 외의 소스 기기 및 싱크 기기의 조합에도 응용할 수 있는 것은 물론이다. 예를 들면, 소스 기기로서는 BD나 DVD 등의 디스크 플레이어, 더 나아가 게임기 등도 생각할 수 있고, 싱크 기기로서는 모니터 장치, 프로젝터 장치 등도 생각할 수 있다.

본 발명은 입체 화상 표시 시의 중첩 정보, 예를 들면 OSD 등의 그래픽스 정보의 표시를 양호하게 행할 수 있고, 입체 화상 표시 시스템 등에 적용할 수 있다.

10, 10A : 입체 화상 표시 시스템
100 : 방송국
110 : 송신 데이터 생성부
111L, 111R : 카메라
112 : 비디오 프레이밍부
113 : 디스패리티 맵 생성부
114 : 마이크로폰
115 : 데이터 취출부
115a : 데이터 기록 매체
116 ~ 118 : 전환 스위치
119 : 비디오 인코더
120 : 오디오 인코더
122 : 깊이 정보 세트 작성부
126 : 멀티플렉서
200 : 셋톱 박스(STB)
201 : 비트 스트림 처리부
202 : HDMI 단자
203 : 안테나 단자
204 : 디지털 튜너
205 : 영상 처리 회로
206 : HDMI 송신부
207 : 음성 처리 회로
211 : CPU
215 : 리모콘 수신부
216 : 리모콘 송신기
220 : 디멀티플렉서
221 : 비디오 디코더
224 : 오디오 디코더
226 : OSD 표시 데이터 발생부
228 : 비디오 중첩부
300 : 텔레비전 수신기(TV)
301 : 3D 신호 처리부
302 : HDMI 단자
303 : HDMI 수신부
304 : 안테나 단자
305 : 디지털 튜너
306 : 비트 스트림 처리부
307 : 영상 처리 회로
308 : 패널 구동 회로
309 : 표시 패널
310 : 음성 처리 회로
311 : 음성 증폭 회로
312 : 스피커
313 : OSD 표시 데이터 발생부
314 : 비디오 중첩부
321 : CPU
325 : 리모콘 수신부
326 : 리모콘 송신기
400 : HDMI 케이블

Claims (18)

1. 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 출력하는 화상 데이터 출력부와,
   상기 입체 화상에 대응한 깊이 정보를 출력하는 깊이 정보 출력부와,
   상기 화상 데이터 및 상기 깊이 정보를 송신하는 송신부를 구비하고,
   상기 깊이 정보는, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하고,
   상기 송신부는, 상기 화상 데이터를 포함하는 데이터 스트림을 갖는 다중화 데이터 스트림을 송신하고, 상기 다중화 데이터 스트림에, 상기 깊이 정보를 포함하는 디스크립터를 삽입하는
   입체 화상 데이터 송신 장치.
2. 제1항에 있어서,
   상기 깊이 정보는, 모니터 포지션에 대하여 입체 화상면이 앞에 있는지의 여부를 나타내는 화상면 정보인
   입체 화상 데이터 송신 장치.
3. 제2항에 있어서,
   상기 화상면 정보는, 좌안 화상 및 우안 화상의 시차 정보를 구성하는 부호 정보인
   입체 화상 데이터 송신 장치.
4. 제1항에 있어서,
   상기 깊이 정보는, 모니터 포지션에 대하여 입체 화상면이 앞에 있는지의 여부를 나타내는 화면 정보, 또는 상기 화상면 정보와 좌안 화상 및 우안 화상의 시차 정보이며,
   상기 깊이 정보에는, 상기 시차 정보의 존재를 나타내는 플래그 정보가 삽입되어 있는
   입체 화상 데이터 송신 장치.
5. 제4항에 있어서,
   상기 깊이 정보는, 상기 시차 정보를 구성하는 부호 정보, 또는 상기 부호 정보 및 상기 시차 정보를 구성하는 절대값 정보인
   입체 화상 데이터 송신 장치.
6. 제1항에 있어서,
   상기 다중화 데이터 스트림에는, 상기 다중화 데이터 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 나타내는 프로그램 스페시픽 인포메이션으로서의 프로그램 맵 테이블이 포함되어 있고,
   상기 디스크립터는 상기 프로그램 맵 테이블의 관리 하에 삽입되어 있는
   입체 화상 데이터 송신 장치.
7. 제1항에 있어서,
   상기 다중화 데이터 스트림에는, 이벤트 단위의 관리를 행하는 서비스 인포메이션으로서의 이벤트 인포메이션 테이블이 포함되어 있고,
   상기 디스크립터는, 상기 이벤트 인포메이션 테이블의 관리 하에 삽입되어 있는
   입체 화상 데이터 송신 장치.
8. 제1항에 있어서,
   상기 분할 정보는, 분할 타입을 나타내는 정보와 분할수를 나타내는 정보로 이루어지는
   입체 화상 데이터 송신 장치.
9. 제8항에 있어서,
   상기 분할 타입에는, 상기 화상 표시면을, 대각선을 사용하여 분할하는 분할 타입이 포함되는
   입체 화상 데이터 송신 장치.
10. 제8항에 있어서,
    상기 분할 타입에는, 상기 화상 표시면을, 수평 방향선 및/또는 수직 방향선을 사용하여 분할하는 분할 타입이 포함되는
    입체 화상 데이터 송신 장치.
11. 제1항에 있어서,
    상기 송신부는, 상기 디스크립터를, 상기 화상 데이터의 소정 기간마다의 개시 시점에 대응시켜서 상기 다중화 데이터 스트림에 삽입하고,
    각 기간의 개시 시점에 대응시켜서 상기 다중화 데이터 스트림에 삽입되는 디스크립터에는, 그 기간보다 뒤의 기간의 깊이 정보가 포함되어 있는
    입체 화상 데이터 송신 장치.
12. 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 출력하는 화상 데이터 출력 스텝과,
    상기 입체 화상에 대응한 깊이 정보를 출력하는 깊이 정보 출력 스텝과,
    상기 화상 데이터 및 상기 깊이 정보를 송신하는 송신 스텝을 구비하고,
    상기 깊이 정보는, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하고,
    상기 송신 스텝에서는, 상기 화상 데이터를 포함하는 데이터 스트림을 갖는 다중화 데이터 스트림을 송신하고, 상기 다중화 데이터 스트림에, 상기 깊이 정보를 포함하는 디스크립터를 삽입하는
    입체 화상 데이터 송신 방법.
13. 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 출력하는 화상 데이터 출력부와,
    상기 입체 화상에 대응한 깊이 정보를 출력하는 깊이 정보 출력부와,
    상기 화상 데이터 및 상기 깊이 정보를 송신하는 송신부를 구비하고,
    상기 깊이 정보는, 화상 표시면의 분할 정보와 각 분할 영역의 깊이 정보를 포함하고,
    상기 깊이 정보는, 모니터 포지션에 대하여 입체 화상면이 앞에 있는지의 여부를 나타내는 화상면 정보인
    입체 화상 데이터 송신 장치.
14. 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 데이터 스트림을 갖고, 화상 표시면의 분할 정보와 상기 입체 화상에 대응한 각 분할 영역의 깊이 정보로 이루어지는 깊이 정보를 포함하는 디스크립터가 삽입된 다중화 데이터 스트림을 수신하는 수신부와,
    상기 다중화 데이터 스트림으로부터 취득된 상기 좌안 화상 데이터에 대응한 좌안 중첩 정보의 데이터, 및 상기 다중화 데이터 스트림으로부터 취득된 상기 우안 화상 데이터에 대응한 우안 중첩 정보의 데이터를 출력하는 중첩 정보 데이터 출력부와,
    상기 다중화 데이터 스트림으로부터 취득된 상기 좌안 화상 데이터 및 상기 우안 화상 데이터에, 상기 좌안 중첩 정보의 데이터 및 상기 우안 중첩 정보의 데이터를 중첩하는 데이터 중첩부를 구비하고,
    상기 중첩 정보 데이터 출력부는, 상기 다중화 데이터 스트림으로부터 취득된 상기 깊이 정보에 기초하여, 상기 좌안 중첩 정보와 상기 우안 중첩 정보 사이에 시차를 부여하는
    입체 화상 데이터 수신 장치.
15. 제14항에 있어서,
    상기 중첩 정보 데이터 출력부는,
    상기 깊이 정보에 포함되는 시차 정보에 기초하여 상기 좌안 중첩 정보와 상기 우안 중첩 정보 사이에 시차를 부여할 때,
    상기 수신부에서 새로운 상기 디스크립터가 수신되어 시차 정보의 갱신이 있을 때, 상기 새로운 시차 정보에 복수 프레임을 걸쳐 도달하도록, 상기 복수 프레임 사이는 보간 처리에서 얻어지는 시차 정보를 사용하는
    입체 화상 데이터 수신 장치.
16. 제14항에 있어서,
    상기 다중화 데이터 스트림에는, 상기 화상 데이터의 소정 기간마다의 개시 시점에 대응시켜서 상기 디스크립터가 삽입되어 있고,
    각 기간의 개시 시점에 대응시켜서 상기 다중화 데이터 스트림에 삽입되어 있는 디스크립터에는, 그 기간보다 뒤의 기간의 깊이 정보가 포함되어 있고,
    상기 중첩 정보 데이터 출력부는,
    각 기간의 상기 좌안 중첩 정보와 상기 우안 중첩 정보 사이에 시차를 부여할 때,
    상기 기간 및 그 기간의 전후의 기간의 상기 깊이 정보에 포함되는 시차 정보를 사용한 보간 처리에서 얻어지는 시차 정보를 사용하는
    입체 화상 데이터 수신 장치.
17. 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 포함하는 데이터 스트림을 갖고, 화상 표시면의 분할 정보와 상기 입체 화상에 대응한 각 분할 영역의 깊이 정보로 이루어지는 깊이 정보를 포함하는 디스크립터가 삽입된 다중화 데이터 스트림을 수신하는 수신부와,
    상기 다중화 데이터 스트림으로부터 취득된, 상기 좌안 화상 데이터 및 상기 우안 화상 데이터와, 상기 깊이 정보를, 전송로를 통해서, 외부 기기로 송신하는 송신부
    를 구비하는 입체 화상 데이터 수신 장치.
18. 제17항에 있어서,
    상기 송신부는, 상기 화상 데이터를, 복수 채널로, 차동 신호에 의해, 상기 전송로를 통해서, 상기 외부 기기로 송신하고,
    상기 화상 데이터의 블랭킹 기간에 상기 깊이 정보를 삽입함으로써, 상기 깊이 정보를 상기 외부 기기로 송신하는
    입체 화상 데이터 수신 장치.

Images