KR20130008548A

KR20130008548A - 비디오 콘텐츠 처리 장치 및 방법

Info

Publication number: KR20130008548A
Application number: KR1020127024022A
Authority: KR
Inventors: 토마스 에드워드 홀랜더
Original assignee: 톰슨 라이센싱
Priority date: 2010-02-15
Filing date: 2011-02-15
Publication date: 2013-01-22
Also published as: WO2011100735A1; KR101787133B1; CN102763421A; US9077966B2; US20150201177A1; BR112012020471A2; BR112012020471B1; EP2537347A1; JP2013526094A; JP6013920B2; US9148646B2; CN102763421B; EP2537347B1; US20120300031A1

Abstract

수신 장치, 예를 들어, 셋탑 박스에서 감소된 해상도의 입체 3차원 신호 비디오, 완전 해상도의 2차원 비디오 및 완전 해상도의 입체 3차원 비디오를 선택하여 디코드할 멀티플렉스 비디오(video multiplex)를 인코드하여 방송하는 시스템 및 저대역폭 방법이 제공된다. 상기 시스템 및 방법은 제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 데이터 신호를 수신하는 단계(702), 출력 디스플레이 형태가 2차원 디스플레이 형태이면 상기 제1 비디오 신호를 디코딩하는 단계(706), 상기 출력 디스플레이 형태가 제1 3차원 디스플레이 형태이면 상기 제2 비디오 신호를 디코딩하는 단계(704), 및 상기 출력 디스플레이 형태가 제2 3차원 디스플레이 형태이면 상기 제1 비디오 신호 및 제2 비디오 신호를 동시에 디코딩하는 단계(706, 704)를 제공한다.

Description

비디오 콘텐츠 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING VIDEO CONTENT}

관련 임시 출원에 대한 상호 참조

본 출원은 2010년 2월 15일 미국에 출원된 임시 출원 제61/304,718호의 미국 특허법 제119조(35 U.S.C§ 119) 하의 이익을 주장한다.

본 발명은 일반적으로 최종 사용자에게 콘텐츠를 전달하는 디지털 콘텐츠 시스템 및 방법에 관한 것으로, 특히, 수신기에서 반해상도 분할 화면(half resolution split screen) 스테레오 비디오, 완전 해상도(full resolution) 2차원(2D) 비디오, 완전 해상도 스테레오 비디오 중 어떤 하나를 선택하여 디코드할 비디오 멀티플렉스(video multiplex)를 인코드하여 방송하는 시스템 및 저대역폭(low bandwidth) 방법에 관한 것이다.

텔레비전(TV) 및 미디어 센터를 포함한 홈 엔터테인먼트 시스템은 인터넷과 융합하여 비디오, 영화, TV 프로그램, 음악 등과 같은 많은 수의 이용가능한 콘텐츠 소스에 대한 액세스를 제공한다. 그 결과, 그러한 액세스가능한 콘텐츠의 디스플레이 및 네비게이팅 프로세스와 관련된 많은 문제가 대두되고 있다.

홈 비디오 시장에 맞추어 3차원(3D) 디스플레이를 테스트하고자 하는 방송사들은 그 분야에 있는 기존의 모든 고선명(HD) 가능 셋탑 박스들과 역(backward) 호환가능한 방송 포맷을 채택하길 원한다. 방송사들은 최근에 좌측 및 우측 스테레오 비디오 뷰의 1/2 수평 해상도 분할 화면 인코딩으로 3D 비디오 방송을 시작하기로 선택하였다. 이러한 시나리오뿐만 아니라 다른 분할 화면 비디오 시나리오에 있어서도, 디스플레이 장치는 분할 화면 포맷으로부터 시청자가 스테레오 비디오로 인지할 수 있는 포맷으로 변환한다.

블루-레이 디스크 협회(BDA)는 3D 가능 블루-레이 디스크에 저장된 스테레오 비디오의 효율적인 압축을 지원하기 위해 다시점 비디오 코딩(MVC)으로도 알려진 다시점 압축 알고리즘을 선정하였다. BDA는 또한 3D 비디오를 1280x720p60 또는 1920x1080p24 해상도와 각 눈마다 사용가능한 프레임 레이트로 인코드하는 것으로 구체화하였다. 현재 및 이전 세대의 셋탑 박스들은 MVC 코딩된 비디오의 디코딩을 지원할 수 없으며, 또한 BDA에 의해 지정된 바와 동등한 해상도 및 프레임 레이트의 비디오 스트림을 전달하는 어떠한 다른 공지의 방법도 지원할 수 없다. 그 결과, 방송사들은 앞으로 블루-레이 품질의 3D 비디오의 업그레이드 경로를 제시하도록 강요받을 것이다. 그러나, 방송사들은 레거시(legacy) 디코더 및 1/2 수평 해상도 분할 화면 비디오를 이용한 초기 그룹의 3D 비디오 고객들을 지속적으로 지원할 의무도 또한 있을 것이다. 이러한 의무는 방송사가 초기 3D 고객들이 사용한 디코더를 업그레이드하기 위한 장비 스왑 비용(equipment swap)을 기꺼이 지불하지 않는 한 MVC 압축으로의 전환을 배제한다.

그러므로, 레거시 2D 및 3D 비디오를 지원하면서 완전 해상도 3D 비디오의 인코딩 및 방송을 제공하는 기술이 필요하다.

본 발명의 일 양태에 따르면, 방법이 제공되며, 상기 방법은 제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 데이터 신호를 수신하는 단계, 출력 디스플레이 형태가 2차원 디스플레이 형태이면 상기 제1 비디오 신호를 디코딩하는 단계, 상기 출력 디스플레이 형태가 제1의 3차원 디스플레이 형태이면 상기 제2 비디오 신호를 디코딩하는 단계, 및 상기 출력 디스플레이 형태가 제2의 3차원 디스플레이 형태이면 상기 제1 비디오 신호 및 제2 비디오 신호를 동시에 디코딩하는 단계를 포함한다.

본 발명의 다른 양태에 따르면, 콘텐츠 처리 장치는 제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 데이터 신호를 수신하는 신호 수신기, 및 출력 디스플레이 형태가 2차원 디스플레이 형태이면 상기 제1 비디오 신호를 디코드하고, 상기 출력 디스플레이 형태가 제1의 3차원 디스플레이 형태이면 상기 제2 비디오 신호를 디코드하며, 상기 출력 디스플레이 형태가 제2의 3차원 디스플레이 형태이면 상기 제1 비디오 신호 및 제2 비디오 신호를 동시에 디코드하는 적어도 하나의 디코더를 포함한다.

또 다른 양태에서, 신호 처리 방법이 기술된다. 상기 방법은 제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 데이터 신호를 수신하는 단계, 비디오 콘텐츠를 보기 위해 디스플레이 장치의 형태를 판정하는 단계, 상기 제1 비디오 신호를 디코딩하는 단계, 상기 제2 비디오 신호를 디코딩하는 단계, 및 출력 신호를 상기 디스플레이 장치에 제공하는 단계 - 상기 출력 신호는 상기 디스플레이 장치의 형태가 3차원 디스플레이 장치이면 상기 제1 디코드된 비디오 신호와 상기 제2 디코드된 비디오 신호의 일부의 조합을 포함함 - 를 포함한다.

본 발명의 이러한 양태, 특징 및 장점과 다른 양태, 특징 및 장점이 기술되고 또는 첨부의 도면을 관련하여 읽어 볼 다음의 바람직한 실시예의 상세한 설명으로부터 자명해질 것이다.
도면 전체에서 동일한 참조 부호는 유사한 요소를 나타낸다.
도 1은 본 발명에 따른 비디오 콘텐츠 전송 시스템의 예시적인 실시예의 블록도이다.
도 2는 본 발명에 따른 2차원(2D) 레거시 지원을 제공하는 3차원(3D) 반해상도 분할 화면 방송을 위한 시스템의 예시적인 실시예의 블록도이다.
도 3은 본 발명에 따른 반해상도 분할 화면 방송을 인코딩하는 프로세스의 예시적인 실시예의 흐름도이다.
도 4는 본 발명에 따른 반해상도 분할 화면 방송을 디코딩하는 프로세스의 예시적인 실시예의 흐름도이다.
도 5는 본 발명에 따른 레거시 3차원(3D) 방송 및 완전 해상도 3D 방송을 위한 시스템의 예시적인 실시예의 블록도이다.
도 6은 본 발명에 따른 레거시 3차원(3D) 방송 및 완전 해상도 3D 방송을 인코딩하는 프로세스의 예시적인 실시예의 흐름도이다.
도 7은 본 발명에 따른 레거시 3차원(3D) 방송 및 완전 해상도 3D 방송을 디코딩하는 프로세스의 예시적인 실시예의 흐름도이다.
도 8은 본 발명에 따른 조밀한 디스패리티 맵(dense disparity map)을 생성하는 수신 장치의 예시적인 실시예이다.
도 9는 본 발명에 따른 조밀한 디스패리티 맵을 생성하는 프로세스의 예시적인 실시예의 흐름도이다.
이러한 도면은 본 발명의 개념을 설명하기 위한 목적이며 반드시 본 발명을 설명하기 위한 유일하게 가능한 구성이 아님을 알아야 한다.

도면에 도시된 요소들은 여러 형태의 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있음을 이해하여야 한다. 바람직하게는, 이들 요소는 프로세서, 메모리 및 입/출력 인터페이스를 포함할 수 있는 하나 이상의 적절히 프로그램된 범용 디바이스 상에서 하드웨어와 소프트웨어의 조합으로 구현된다. 본 명세서에서, "연결된"이라는 문구는 하나 이상의 중간 컴포넌트를 통해 직접 연결되거나 간접적으로 연결되는 것을 의미하는 것으로 규정된다. 그러한 중간 컴포넌트는 하드웨어 및 소프트웨어 기반 컴포넌트를 모두 포함할 수 있다.

본 설명은 본 발명의 원리를 예시한다. 따라서, 당업자는 비록 본 명세서에서 명시적으로 기술되지 않거나 도시되지 않더라도 본 발명의 원리를 구체화하고 본 발명의 정신 및 범주 내에 포함되는 여러 장치를 고안할 수 있을 것이라고 인식할 것이다.

본 명세서에서 기술된 모든 예와 조건적 언어는 독자가 본 발명의 원리 및 본 발명자에 의해 기술을 확장하는데 기여한 개념을 이해하는데 도움을 주기 위한 교육적 목적을 위한 것이며, 그와 같이 구체적으로 기술된 예 및 조건으로 한정시키지 않는 것으로 해석되어야 한다.

더욱이, 본 명세서에서 본 발명의 원리, 양태, 및 실시예를 기술하는 모든 언급뿐만 아니라, 본 발명의 특정한 예는 본 발명의 구조적 및 기능적 등가물을 모두 망라하는 것으로 의도된다. 또한, 그러한 등가물은 현재 공지된 등가물뿐만 아니라 앞으로 개발되는 등가물, 즉, 구조와 상관없이 동일한 기능을 수행하는 개발된 임의의 요소도 포함하는 것으로 의도된다.

따라서, 예를 들어, 당업자는 본 명세서에 제시된 블록도가 본 발명의 원리를 구체화하는 예시적인 회로의 개념도를 나타낸다는 것을 인식할 것이다. 마찬가지로, 임의의 플로우차트, 흐름도, 상태 천이도, 및 의사 코드 등은 컴퓨터 판독가능한 매체에서 실질적으로 표현될 수 있고 컴퓨터 또는 프로세서가 명시적으로 도시되든 도시되지 않든 그러한 컴퓨터 또는 프로세서에 의해 그와 같이 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 인식할 것이다.

도면에 도시된 각종 요소의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 연계하여 소프트웨어를 실행할 수 있는 하드웨어를 이용하여 제공될 수 있다. 이러한 기능은, 프로세서에 의해 제공될 때, 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 다수의 개별 프로세서에 의해 제공될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 않아야하며, 암묵적으로 제한 없이 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 저장장치를 포함할 수 있다.

전통적인 및/또는 관습적인 다른 하드웨어도 또한 포함될 수 있다. 유사하게, 도면에 도시된 임의의 스위치는 단지 개념적인 것에 불과하다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해, 또는 심지어 수동으로도 수행될 수 있으며, 구체적인 기술은 이 문맥으로부터 좀 더 구체적으로 이해하듯이 구현자에 의해 선택가능하다.

본 발명의 특허청구범위에 있어서, 특정한 기능을 수행하는 수단으로 표현된 임의의 요소는, 예를 들어, a) 그러한 기능을 수행하는 회로 소자들의 조합 또는 b) 펌웨어, 또는 마이크로코드 등을 포함하여 소프트웨어를 실행하여 그 기능을 수행하는 적절한 회로와 결합된 임의의 형태의 소프트웨어를 포함하여 그러한 기능을 수행하는 임의의 방식을 망라하는 것으로 의도된다. 그러한 특허청구범위에 의해 규정된 본 발명은 기술된 각종 수단에 의해 제공된 기능들을 결합하고 특허청구범위가 청구하는 방식으로 통합시킨다는 것에 있다. 따라서, 그러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 바와 등가인 것으로 간주된다.

본 발명은 2차원(2D) 콘텐츠와 함께 3차원(3D) 비디오 콘텐츠의 방송 및 수신을 가능하게 하여 여러 가지 다른 수신 상태를 서비스하는 시스템 및 방법에 관련되며, 본 시스템 및 방법은 2D 이미지만을 수신하여 디코딩하는 단계, 감소된 해상도의 좌측 및 우측 뷰 이미지 둘 다를 포함한 단일의 비디오 프레임만을 수신하여 디코딩하는 단계, 및 개선된 해상도의 3D 이미지를 디스플레이하기 위해 두 신호를 함께 수신하여 디코딩하는 단계를 포함한다. 본 시스템 및 방법은, 예를 들어, 감소된(즉, 반) 해상도로 결합된 좌측 및 우측 뷰 이미지를 갖는 제2 신호와 함께 완전 해상도의 좌측 뷰 이미지를 전송하는 단계를 나타낸다. 수신기는 하나의 신호 또는 다른 신호를 디코드할 수 있으며 대안으로 수신기가 그러한 성능을 갖는다면 두 신호를 디코드할 수 있다. 만일 수신기가 둘 다 디코드한다면, 수신기는 또한 레이트 상향변환(rate upconvert), 예를 들어, 디코드된 완전 해상도의 좌측 뷰 신호의 이미지 크기와 일치하도록 감소된 해상도의 우안 뷰(right eye view)를 샘플할 수 있다.

먼저, 여러 형태의 비디오 콘텐츠를 사용자에게 전송하는 시스템이 설명될 것이다. 이제 도 1을 참조하면, 콘텐츠를 홈(home) 또는 최종 사용자(end user)에게 전송하는 시스템(100)의 실시예의 블록도가 도시된다. 콘텐츠는 영화 스튜디오 또는 프로덕션 하우스와 같은 콘텐츠 소스(102)로부터 발생된다. 콘텐츠는 두 가지 형태 중 적어도 하나의 형태로 공급될 수 있다. 한 가지 형태는 콘텐츠의 방송 형태일 수 있다. 방송 콘텐츠는 전형적으로 미국 방송 회사(ABC), 국제 방송 회사(NBC), 콜롬비아 방송 시스템(CBS) 등과 같은 국제 방송 서비스인 방송 제휴 매니저(104)에게 제공된다. 방송 제휴 매니저는 콘텐츠를 수집하여 저장할 수 있으며, 전송 네트워크 1(106)로 도시된 전송 네트워크를 통해 콘텐츠의 전송을 스케줄할 수 있다. 전송 네트워크 1(106)은 국제 센터에서 하나 이상의 지역 또는 로컬 센터로의 위성 링크 전송을 포함할 수 있다. 전송 네트워크 1(106)은 또한 로컬 전송 시스템을 이용한, 이를 테면 무선 방송, 위성 방송, 또는 케이블 방송을 통한 로컬 콘텐츠 전송을 포함할 수 있다. 로컬로 전송된 콘텐츠는 사용자 홈 내의 수신 장치(108)로 제공되며, 여기서 콘텐츠는 나중에 사용자에 의해 검색될 것이다. 수신 장치(108)는 많은 형태를 취할 수 있으며 셋탑 박스/디지털 비디오 레코더(DVR), 게이트웨이, 모뎀 등으로 구체화될 수 있음을 인식할 것이다.

콘텐츠의 제2 형태는 특수 콘텐츠라고 지칭된다. 특수 콘텐츠는 프리미엄 뷰잉, 유료 시청제(pay-per-view), 또는 그렇지 않고 방송 제휴 매니저에게 제공되지 않는 다른 콘텐츠, 예를 들어, 영화, 비디오 게임 또는 기타 비디오 요소들로서 전송된 콘텐츠를 포함할 수 있다. 많은 경우에서, 특수 콘텐츠는 사용자에 의해 요청되는 콘텐츠일 수 있다. 특수 콘텐츠는 콘텐츠 매니저(110)에게 전송될 수 있다. 콘텐츠 매니저(110)는 인터넷 웹사이트와 같이, 예를 들어, 콘텐츠 제공자, 방송 서비스, 또는 전송 네트워크 서비스와 제휴한 서비스 제공자일 수 있다. 콘텐츠 매니저(110)는 또한 인터넷 콘텐츠를 전송 시스템에 포함시킬 수 있다. 콘텐츠 매니저(110)는 콘텐츠를 별개의 전송 네트워크인 전송 네트워크 2(112)를 통해 사용자의 수신 장치(108)로 전송할 수 있다. 전송 네트워크 2(112)는 고속 방송 인터넷 형태의 통신 시스템을 포함할 수 있다. 방송 제휴 매니저(104)로부터의 콘텐츠는 전송 네트워크 2(112)의 모두 또는 일부를 이용하여서도 전송될 수 있으며 콘텐츠 매니저(110)로부터의 콘텐츠는 전송 네트워크 1(106)의 모두 또는 일부를 이용하여 전송될 수 있다는 것을 주목하는 것이 중요하다. 부가적으로, 사용자는 반드시 콘텐츠 매니저(110)에 의해 콘텐츠를 관리하지 않고도 인터넷으로부터 전송 네트워크 2(112)를 통해 직접 콘텐츠를 획득할 수 있다.

별도로 전송된 콘텐츠를 활용하는 여러 개조도 가능할 수 있다. 한가지 가능한 접근법에서, 방송 콘텐츠에 확대된 것으로서, 대안의 디스플레이, 구입 및 판매 옵션, 강화 물질(enhancement material), 및 유사 항목을 제공하는 것과 같은 특수 콘텐츠가 제공된다. 다른 실시예에서, 특수 콘텐츠는 방송 콘텐츠로서 제공된 어떤 프로그래밍 콘텐츠를 완전히 대체할 수 있다. 마지막으로, 특수 콘텐츠는 방송 콘텐츠로부터 완전히 분리될 수 있으며, 단순히 사용자가 활용하기 위해 선택할 수 있는 대안 매체일 수 있다. 예를 들어, 특수 콘텐츠는 아직까지 방송 콘텐츠로서 사용되지 않는 영화 라이브러리일 수 있다.

도 2를 참조하면, 2차원(2D) 레거시 지원도 또한 제공하는 3차원(3D) 반해상도 분할 화면(half resolution split screen) 방송을 위한 시스템(200)의 실시예의 블록도가 도시된다. 시스템(200)은 비디오 콘텐츠를 인코딩하여 방송하는 송신기(202) 및 비디오 콘텐츠를 수신하고, 비디오 콘텐츠를 디코딩하여 디코드된 비디오 콘텐츠를 디스플레이 장치로 제공하는 수신기(204)를 포함한다. 송신기(202)에는 전형적으로 도 1에 기술된 방송 제휴 매니저(104)와 같은 신호 전송 센터에 배치된 장비가 포함될 수 있다. 송신기(202)에 의해 발생된 신호는 전송 네트워크 1(106)과 같은 방송 네트워크를 통해 수신기(204)로 전송된다. 수신기(204)는 전형적으로 사용자의 홈에 또는 사용자의 홈 근처에 배치된 셋탑 박스, 게이트웨이, 컴퓨터, 또는 다른 네트워크 인터페이스 장치일 수 있다. 수신기(204)는 또한 개인 휴대정보 단말, 타블렛, 또는 셀룰러 전화와 같은 모바일 기기에 포함될 수 있다.

송신기(202)는 스테레오 이미지 쌍의 완전 해상도의, 우측 뷰 이미지(206) 및 완전 해상도의 좌측 뷰 이미지(208)의 소스를 포함하거나, 또는 그렇지 않고 그러한 이미지들을 획득한다. 우측 뷰 이미지(206) 및 좌측 뷰 이미지(208)는 도 1에 기술된 콘텐츠 소스(102)와 같은 콘텐츠 소스로부터 제공될 수 있다. 우측 뷰 이미지(206) 및 좌측 뷰 이미지(208) 각각은 각각의 샘플 레이트 변환기(210, 212)로 전달된다. 샘플 레이트 변환기(210, 212)는 각 이미지의 수평 샘플 레이트를 원래 수평 크기의 1/2로 변환한다. 1/2 크기의 우측 뷰 이미지(214) 및 1/2 크기의 좌측 뷰(216)는 이미지 프로세서(218)에서 단일 이미지로 통합된다.

이미지 프로세서(218)로부터 통합된 이미지는 다음에 인코더(220)로 전송되며, 여기서 통합된 이미지는 MPEG(Motion Picture Entertainment Groups) H.264/MPEG-4 파트 10 표준, 어드밴스드 비디오 코딩(AVC) 표준, 또는 유사한 압축 알고리즘에 따라 인코드되어, 제1 비트 스트림(222)을 생성한다. 부가적으로, 획득된 완전 해상도의 좌측 뷰 이미지(208)는 인코더(224)로 제공되며, 여기서 좌측 뷰 이미지(208)는 H.264/MPEG-4 파트 10, AVC, 또는 유사한 압축 알고리즘에 따라 인코드되어, 제2 비트 스트림(226)을 생성한다. 이러한 두 스트림이 동일한 압축 알고리즘을 사용하지 않을 수 있음을 주목하는 것이 중요하다. 예를 들어, 인코더(220)는 인코더(224)가 제2 비트 스트림(226) 용으로 사용하는 것보다 높거나 낮은 압축률의 H.264 알고리즘을 사용하여 제1 비트 스트림(222)을 인코드할 수 있다. 또한, 비록 완전 해상도 이미지(208)가 좌측 뷰 이미지로 식별될지라도, 그 설명은 단지 관습 목적만을 위한 것이다. 완전 해상도 이미지(208)는 그 대신에 우측 뷰 이미지로 식별될 수 있다. 결과적으로, 좌측 뷰 이미지 및 우측 뷰 이미지 신호에 대한 설명은 본 명세서 전체에서 반대로 있음을 알게 된다.

인코더(238) 및 인코더(244)로부터 얻은 제1 및 제2 비트 스트림(222, 226)은 출력 신호 프로세서(228)로 제공된다. 제어기(230)는 식별 정보를 생성하거나 결정하고 이 정보를 임의의 다른 제어 정보와 함께 출력 신호 프로세서(228)로 제공한다. 일 실시예에서, 제어기(230)는 각 비트 스트림에 대해 패킷 ID를 설정한다. 출력 신호 프로세서(228)는 신호의 일부로서 수신 장치(204)로 전송하기 위해 제어기(230)에 의해 제공된 패킷 ID 정보 및 제어 정보에 기초하여 제1 및 제2 비트 스트림(222, 226)을 단일 비트 스트림(232)으로 통합한다. 제어기(230)는 또한, 다음으로 제한되지 않지만, 식별 비트, 식별 바이트, 또는 식별 패킷을 포함하는 부가 정보를 단일 비트 스트림(232)에 추가한다. 또한, 제어기(230)는 그러한 식별을 이용하여 신호의 일부로서 수신 장치에 또한 전송되는 프로그램 가이드를 생성할 수 있다. 프로그램 가이드 정보를 포함하면 수신기(204)가 비트 스트림(232)이 포함하는 프로그램 콘텐츠를 식별할 수 있다.

수신기(204)는 비트 스트림(232)을 포함한 인입 신호를 처리하고, 프로그램 가이드에 기초하여 콘텐츠의 분리를 제공한다. 수신기(204)는 하드 드라이브 또는 광학 디스크 드라이브와 같이, 오디오 및 비디오 콘텐츠를 기록하고 재생하는 저장 장치(237)를 포함할 수 있다. 처리된 콘텐츠는 도 1에 기술된 디스플레이 장치(114)와 같은 디스플레이 장치로 제공된다. 디스플레이 장치는 종래의 2D 형태의 디스플레이일 수 있거나 또는 대안으로 진보된 3D 디스플레이일 수 있다. 수신 장치(204)는 또한 디스플레이 장치 자체를 포함한 다른 시스템에 내장될 수 있다. 어느 경우에나, 시스템의 완벽한 동작을 위해 필요한 여러 컴포넌트들은 당업자에게 잘 알려져 있으므로, 이들은 간결함을 위해 도시되지 않는다.

수신 장치(204)에서, 비트 스트림(232)과 같은 콘텐츠를 포함한 신호가 입력 신호 수신기(234)에서 수신된다. 입력 신호 수신기(234)는 무선, 케이블, 위성, 이더넷, 광섬유 및 전화선 네트워크를 포함하는 여러 가능한 네트워크들 중 하나를 통해 제공된 신호의 수신, 복조 및 디코딩을 위해 사용된 여러 공지의 수신기 회로들 중 하나일 수 있다. 제어 인터페이스(도시되지 않음)를 통해 제공된 사용자 입력에 기초하여 입력 신호 수신기(234)에서 원하는 입력 신호가 선택되고 검색될 수 있다. 입력 신호 수신기(234)로부터의 출력 신호는 입력 스트림 프로세서(236)로 제공된다. 입력 스트림 프로세서(236)는 신호 선택 및 처리를 수행하고, 제1 및 제2 비트 스트림들 중 어느 것을 적절한 디코더로 송신할지 판단한다. 입력 스트림 프로세서(236)는 장치(202)에서 송신한 프로그램 가이드 및 각 비트 스트림(예컨대, 비트 스트림(222) 및 비트 스트림(226))의 패킷 ID 또는 다른 식별 정보에 기초하여 제1 및 제2 비트 스트림을 구별할 것이다.

또한, 입력 스트림 프로세서(236)는 수신된 비트 스트림을 저장 장치(237)로 송신할 수 있다. 저장 장치(237)는 제어기(254)의 제어 하에 또한 명령, 예를 들어, 빨리감기(FF) 및 되감기(Rew)와 같은, 사용자 인터페이스(도시되지 않음)로부터 수신된 탐색 명령에 따라 나중에 검색 및 재생을 가능하게 해준다. 저장 장치(237)는 하드 디스크 드라이브, 정적 랜덤 액세스 메모리와 같은 하나 이상의 대용량 집적 전자 메모리, 또는 동적 랜덤 액세스 메모리일 수 있거나, 또는 콤팩트 디스크 드라이브 또는 디지털 비디오 디스크 드라이브와 같은 교체가능한 광학 디스크 저장 시스템일 수 있다.

설명된 바와 같이, 입력 스트림 프로세서(236)는 비트 스트림들을 분리하고 제1 및 제2 비트 스트림들 중 하나를 적절한 디코더, 즉 디코더(238) 또는 디코드(244)로 포워드할 것이다. 일 실시예에서, 만일 입력 스트림 프로세서(236)가 비트 스트림이 통합된 이미지를 포함한다고 판단하면, 비트 스트림은 디코더(238)로 송신될 것이다. 디코더(238)는 H.264/MPEG-4 파트 10 또는 AVC와 같은 하나 이상의 비디오 압축 디코딩 알고리즘에 따라 통합된 이미지를 반해상도 좌측 및 우측 뷰를 갖는 통합된 이미지(240)로 디코드한다. 3D 반해상도 출력(242)은 선택기(250)로 제공된다. 제어기(254)는 비트 스트림들 중 어느 것을 선택기(250)를 통해 오디오/비디오 인터페이스(252)로 제공할지 판단하고 제어하는데 사용된다. 선택기(250) 및 제어기(254)의 동작은 아래에서 설명될 것이다.

만일 입력 스트림 프로세서(236)가 비트 스트림이 완전 해상도 좌측 뷰 이미지(208)를 포함한다고 판단하면, 비트 스트림은 디코더(244)로 송신될 것이다. 디코더(244)는 하나 이상의 압축 디코딩 알고리즘에 따라 좌측 뷰 이미지(208)를 디코드하여 좌측 뷰 이미지(246)를 생성한다. 그리고, 좌측 뷰 이미지는 2D 완전 해상도 출력 신호(248)로서 출력된다. 2D 완전 해상도 출력 신호(248) 역시 선택기(250)로 제공된다.

제어기(254)는 오디오/비디오 인터페이스(252)를 통해 수신 장치(204)에 결합된 디스플레이 장치의 형태를 판정한다. 오디오/비디오 인터페이스(252)는 적색-녹색-청색(RGB)과 같은 아날로그 신호 인터페이스일 수 있거나 또는 고선명 멀티미디어 인터페이스(HDMI)와 같은 디지털 인터페이스일 수 있다. 제어기(254)는 오디오/비디오 인터페이스(252)와 통신하고 오디오/비디오 인터페이스(252)로부터 2D 또는 3D 디스플레이 장치가 그에 연결되어 있는지 여부에 대한 정보를 수신한다. 예를 들어, HDMI의 경우, 제어기(254)는 HDMI 인터페이스를 통해 디스플레이 장치와 통신하여 디스플레이 장치의 성능을 판정한다. 그러나, 이러한 처리는 일반적으로 아날로그 오디오/비디오(A/V) 인터페이스로는 불가능하다. 아날로그 AV 인터페이스에 의해 연결될 때, 디스플레이 장치의 설정은 통상적으로 제어기에 의해 판독될 수 있는 수신 장치(204) 상의 버튼을 이용하여 성취되거나, 또는 사용자가 원격 제어 구동 선택으로 디스플레이 형태를 입력하는 사용자 인터페이스 화면에 의해 성취된다.

디스플레이 장치의 형태에 기초하여, 제어기(254)는 적절한 출력 신호, 즉 3D 반해상도 비디오 신호 또는 2D 완전 해상도 비디오 신호를 출력하도록 선택기(250)를 제어한다. 예를 들어, 만일 제어기(254)에서 3D 디스플레이 장치가 오디오/비디오 인터페이스(252)에 결합되어 있다고 판단하면, 3D 반해상도 출력(242)이 선택기(250)를 통해 오디오/비디오 인터페이스(252)로 송신될 것이다. 만일 제어기(254)에서 2D 디스플레이 장치가 오디오/비디오 인터페이스(252)에 결합되어 있다고 판단하면, 2D 완전 해상도 출력(248)이 선택기(250)를 통해 오디오/비디오 인터페이스(252)로 송신될 것이다. 전술한 처리가 입력 신호 수신기에서 수신된 신호로부터 또는 저장 장치(237)에서 검색된 콘텐츠로부터 비롯될 수 있음을 인식할 것이다.

또한, 제어기(230) 및 제어기(254)는 버스를 통해 송신기(202) 내에 포함된 여러 컴포넌트와 셋탑 박스(204)에 각기 상호 연결될 수 있음을 인식할 것이다. 예를 들어, 제어기(254)는 입력 스트림 신호를 저장 장치(237)에 저장하거나 또는 도시되지 않은 디스플레이 장치에 디스플레이하기 위한 신호로 변환하는 변환 프로세스를 관리할 수 있다. 제어기(254)는 또한 저장된 콘텐츠의 검색 및 재생을 관리한다. 제어기(230) 및 제어기(254)는 제어기(230) 및 제어기(254)에 필요한 정보 및 명령 코드를 저장하는 도시되지 않은 제어 메모리(예를 들어, 랜덤 액세스 메모리, 정적 RAM, 동적 RAM, 판독 전용 메모리, 프로그램가능 ROM, 플래시 메모리, EPROM, EEPROM 등을 포함하는 휘발성 또는 비휘발성 메모리)에 추가로 결합될 수 있다. 또한, 이러한 메모리의 구현은 단일 메모리 장치 또는, 대안으로, 공유 또는 공통 메모리를 형성하도록 함께 연결된 하나 보다 많은 메모리 회로와 같은 여러 가능한 실시예를 포함할 수 있다. 또한, 이러한 메모리는 대규모 회로에서 버스 통신 회로의 일부와 같은 다른 회로와 함께 포함될 수 있다.

도 3을 참조하면, 반해상도 분할 화면 방송을 인코딩하는 프로세스(300)의 실시예의 흐름도가 도시된다. 프로세스(300)는 주로 도 2에 기술된 송신기(202)와 관련하여 실명될 것이지만, 유사하게 도 1에 기술된 방송 제휴 매니저(104)에서 찾을 수 있는 장비에 포함될 수 있다. 단계(302)에서, 완전 해상도의 우측 뷰 이미지가 획득된다. 유사하게, 단계(304)에서, 완전 해상도의 좌측 뷰 이미지가 획득된다. 우측 뷰 및 좌측 뷰 이미지는 스테레오 이미지 쌍을 이루며 도 1에 기술된 콘텐츠 소스(102)와 같은 콘텐츠 소스로부터 제공될 수 있다. 부가적으로, 이러한 두 이미지 중 하나는 2D 이미지 및 2D-3D 처리 기술을 이용하여 송신기(202)와 같은 송신기 장치에 의해 발생될 수 있다. 단계(306)에서, 우측 뷰 이미지 및 좌측 뷰 이미지 각각은 각 이미지의 수평 샘플 레이트를 원래 수평 크기의 1/2로 변경함으로써 변환될 수 있다. 다음에, 단계(308)에서, 1/2 크기의 우측 뷰 이미지 및 1/2 크기의 좌측 뷰는 단일 이미지로 통합된다. 각각의 1/2 크기의 이미지는 전형적으로 이미지 신호의 전체 수평폭의 1/2을 차지한다는 것을 주목하는 것이 중요하다. 대안으로, 각각의 절반 크기의 이미지는 체커보드 패턴(checkerboard pattern)과 같이, 이미지 신호 전체를 가로지르는 패턴으로 산재될 수 있다.

단계(310)에서, 통합된 이미지는 다음에 비디오 압축 인코딩 알고리즘을 이용하여 인코드되어 제1 인코드된 비트 스트림이 생성된다. 일 실시예에서, 통합된 이미지는 H.264/MPEG-4 파트 10, AVC, 또는 어떤 유사한 압축 알고리즘에 따라 인코드될 수 있다. 단계(312)에서, 단계(304)에서 얻은 완전 해상도 좌측 뷰 이미지는 단계(310)에서 설명된 바와 유사한 비디오 압축 인코딩 알고리즘을 이용하여 인코드되어 제2 인코드된 비트 스트림이 생성된다.

다음에, 단계(314)에서, 제1 비트 스트림 및 제2 비트 스트림에 대한 정보가 검색되고 처리되어 프로그램 정보의 하나 또는 여러 세그먼트들(예컨대, 비트, 바이트, 패킷)이 형성된다. 또한, 단계(314)에서, 제1 비트 스트림 및 제2 비트 스트림이 통합되어 단일 신호 또는 비트 스트림이 형성되고 제1 비트 스트림 및 제2 비트 스트림에 대한 정보가 단일 비트 스트림에 추가된다. 일 실시예에서, 그 정보는 프로그램 식별(PID)로서 추가된다. 또한, 단일 비트 스트림에 대한 PID는 다른 비트 스트림들로부터 얻은 PID들과 결합되어 별도의 프로그램 가이드 비트 스트림이 형성될 수 있다. 마지막으로, 단계(316)에서, 단일 비트 스트림을 포함하는 출력 신호가 전송된다. 출력 신호는 도 1에 기술된 전송 네트워크(106)와 같은 전송 네트워크를 통해 송신 신호로서 전송될 수 있다. 전송 단계(316)는 또한 부가적인 오류 정정 인코딩, 변조 코딩, 디지털-아날로그 변환, 필터링, 및 아날로그 신호의 상향변환과 같이, 신호를 전송하는데 필요한 부가적인 신호 처리를 포함할 수 있다. 출력 신호는 다른 비트 스트림뿐만 아니라 프로그램 가이드 스트림과 같은 부가 정보도 포함할 수 있다. 이러한 프로그램 가이드 정보는 별도의 비트 스트림으로서 생성되지 않고 단일 비트 스트림에 추가될 수 있다는 것을 주목하는 것이 중요하다.

도 4를 참조하면, 반해상도 분할 화면 방송을 디코딩하는 예시적인 프로세스(400)의 흐름도가 도시된다. 프로세스(400)는 주로 도 2에 기술된 수신기(204)와 관련하여 설명될 것이다. 프로세스(400)는 또한 도 1에 기술된 수신 장치(108)와 같은 수신 장치의 동작 중 일부로서 사용될 수 있다. 단계(402)에서, 원하는 비트 스트림(예컨대, 비트 스트림(232))을 포함하는 신호뿐만 아니라 다른 콘텐츠도 전송 네트워크로부터 수신된다. 이러한 신호 및 콘텐츠는 도 1에 기술된 방송 제휴 매니저(104)와 같은 네트워크 서비스 제공자에 의해 제공되며, 수신기(234)와 같은 입력 신호 수신기에서 수신될 수 있다. 원하는 비트 스트림(232)과 같은 비트 스트림을 포함하는 콘텐츠는 또한 저장 장치(237)와 같은 저장 장치 또는 디지털 다기능 디스크(DVD) 또는 다른 매체와 같은 다른 매체 장치로부터도 제공될 수 있다.

단계(404)에서, 수신된 입력 신호는 다수의 비트 스트림으로 분리된다. 필요에 따라, 원하는 비트 스트림(232)으로부터의 제1 및 제2 비트 스트림 각각이 적절한 디코더로 제공된다. 단계(404)는 비트 스트림이 통합된 이미지를 포함하는지 여부에 대해 판단하는 것을 포함할 수 있다. 만일 비트 스트림이 통합된 이미지를 포함한다면, 이 비트 스트림은 H.264/MPEG-4 파트 10, AVC, 또는 다른 유사한 압축 디코딩 프로세스와 같은 하나 이상의 비디오 압축 디코딩 알고리즘에 따라 디코드될 것이다. 단계(404)에서 디코딩은 반해상도 좌측 및 우측 뷰를 갖는 통합된 이미지가 생성된다. 단계(406)에서, 분리된 비트 스트림들 중 하나가 완전 해상도 좌측 뷰 이미지를 포함한 경우 유사한 디코딩이 발생한다. 단계(406)에서 디코딩은 단계(404)에서 기술된 바와 유사한 비디오 압축 디코딩 알고리즘을 이용할 수 있다.

단계(408)에서, 비디오 콘텐츠를 디스플레이하는데 사용된 디스플레이 장치의 형태가 판정된다. 일 실시예에서, 디스플레이 장치는 오디오/비디오 인터페이스(252)와 같은 오디오/비디오 인터페이스를 통해 셋탑 박스(204)에 결합된다. 오디오/비디오 인터페이스(252)는 적색-녹색-청색(RGB)과 같은 아날로그 신호 인터페이스일 수 있거나 또는 고선명 멀티미디어 인터페이스(HDMI)와 같은 디지털 인터페이스일 수 있다. 디스플레이 장치는 또한 셋탑(204) 내의 수신 및 처리 컴포넌트들과 통합될 수 있다. 단계(408)에서 판정은 디스플레이 장치 식별 프로세스를 통해 자동으로 수행될 수 있거나, 또는 사용자에 의해 선택될 수 있다.

단계(408)에서 판정된 디스플레이의 형태에 기초하여, 그 다음 단계(410)에서 적절한 출력 신호가 디스플레이 장치로 제공된다. 일 실시예에서, 단계(408 및 410)는 제어기(254) 및 선택기(250)에 의해 수행된다. 예를 들어, 만일 제어기(254)에서 3D 디스플레이 장치가 오디오/비디오 인터페이스(252)에 결합되어 있다고 판단하면, 3D 반해상도 출력(242)이 선택기(250)를 통해 오디오/비디오 인터페이스(252)로 송신될 것이다. 만일 제어기(254)에서 2D 디스플레이 장치가 오디오/비디오 인터페이스(252)에 연결되어 있다고 판단하면, 2D 완전 해상도 출력(248)이 선택기(250)를 통해 오디오/비디오 인터페이스(252)로 송신될 것이다. 대안으로, 단계(408 및 410)는 오디오/비디오 인터페이스(252) 또는 디코더(238 및 244)와 같은 다른 요소들을 이용하여 수행될 수 있다. 또한, 전술한 처리는 입력 신호 수신기에서 수신된 신호들로부터 또는 저장 장치(237)로부터 검색된 콘텐츠로부터 비롯될 수 있음을 인식할 것이다.

이제 도 5를 참조하면, 레거시 3차원(3D) 방송, 레거시 2D 방송 및 완전 해상도 3D 방송을 위한 시스템의 실시예의 블록도가 도시된다. 시스템(500)은 비디오 콘텐츠를 인코딩하여 방송하는 송신기(502) 및 비디오 콘텐츠를 수신하고, 비디오 콘텐츠를 디코딩하고 디코드된 비디오 콘텐츠를 디스플레이 장치로 제공하는 수신 장치(504), 예를 들어, 셋탑 박스, 게이트웨이, 또는 다른 네트워크 인터페이스 장치를 포함한다. 수신 장치(504)는 개인 휴대정보 단말, 타블렛, 또는 셀룰러 전화와 같은 모바일 기기에도 또한 포함될 수 있다. 이하에서 설명되는 것 외에, 송신기(502) 및 수신 장치(504)는 모두 도 2에 기술된 시스템(200)과 유사한 방식으로 서로 동작하고 인터페이스 한다.

송신기(502)는 스테레오 이미지 쌍의 완전 해상도 우측 뷰 이미지 및 완전 해상도 좌측 뷰 이미지를 획득한다. 완전 해상도 우측 뷰 이미지 및 좌측 뷰 이미지는 콘텐츠 소스로부터 또는 전술한 바와 같은 어떤 다른 방식으로도 제공될 수 있다. 이러한 우측 뷰 이미지 및 좌측 뷰 이미지는 통합 회로(511)에서 단일 이미지로 통합되어 샘플 레이트 변환기(510)로 제공된다. 샘플 레이트 변환기(510)는 통합된 이미지의 수평 샘플 레이트를 원래 수평 크기의 1/2로 변환한다.

샘플 레이트 변환기(510)의 출력은 변환된 이미지(518)를 인코더(520)로 제공한다. 인코더(520)는 전술한 바와 같은 하나 이상의 비디오 압축 알고리즘을 이용하여 이미지를 인코드한다. 부가적으로, 획득된 완전 해상도 좌측 이미지 뷰 이미지는 인코더(524)로 제공되어, 전술한 바와 같은 하나 이상의 비디오 압축 알고리즘을 이용하여 인코드된다. 제1 비트 스트림(522) 및 제2 비트 스트림(526)으로서 각기 식별된, 인코더(520)의 출력 및 인코더(524)의 출력은 출력 신호 프로세서(528)로 제공된다. 신호 프로세서(528)의 출력은 제어기(530)의 제어 하에서 동작한다. 제어기(530)는 각각의 비트 스트림에 대해 패킷 ID, 또는 다른 스트림 식별을 설정하며, 출력 신호 프로세서(528)는 제1 비트 스트림(522) 및 제2 비트 스트림(526)을 패킷 ID 또는 다른 스트림 식별과 함께 단일 비트 스트림(532)로 통합한다. 출력 신호 프로세서(528)는 송신기(502)로부터 수신 장치(504)로 전송되는 비트 스트림(532)을 포함한 출력 신호를 제공한다. 부가적으로, 제어기(530)는 수신 장치(504)로도 전송되는 프로그램 가이드를 생성한다.

프로그램 가이드는 출력 스트림(532)에 대한 패킷 ID 또는 다른 정보뿐만 아니라, 수신 장치(504)로 전송된 다른 비트 스트림에 대한 정보도 포함할 수 있다. 프로그램 가이드는 비트 스트림(532)뿐만 아니라, 출력 신호의 일부로서 포함되고 전송된 임의의 다른 비트 스트림이 무엇을 포함하는지 수신 장치(504)에게 알려주는데 사용된다. 프로그램 가이드는 별도의 비트 스트림으로서 전송될 수 있거나 또는 출력 비트 스트림(532)에 추가될 수 있다.

수신 장치(504)는 비트 스트림(532)를 처리하고, 프로그램 가이드에 기초하여 콘텐츠의 분리를 제공한다. 수신 장치(504)는 하드 드라이브 또는 광학 디스크 드라이브와 같이, 오디오 및 비디오 콘텐츠를 기록하고 재생하는 저장 장치를 포함할 수 있다. 처리된 콘텐츠는 도 1에 기술된 디스플레이 장치(114)와 같은 디스플레이 장치로 제공된다. 디스플레이 장치는 종래의 2-D 형태의 디스플레이일 수 있거나 또는 대안으로 진보된 3-D 디스플레이일 수 있다. 수신 장치(504)는 또한 디스플레이 장치 자체를 포함하는 다른 시스템에 내장될 수 있다. 어느 경우에나, 시스템의 완벽한 동작을 위해 필요한 여러 컴포넌트들은 당업자에게 잘 알려져 있으므로, 이들은 간결함을 위해 도시되지 않는다.

수신 장치(504)에서, 비트 스트림(532)과 같은 콘텐츠를 포함하는 수신된 신호는 입력 신호 수신기(534)에서 수신된다. 입력 신호 수신기(534)는 무선, 케이블, 위성, 이더넷, 광섬유 및 전화선 네트워크를 포함하는 여러 가능한 네트워크들 중 하나를 통해 제공되는 신호를 수신하고, 복조하고, 디코딩하는데 사용되는 여러 공지된 수신기 회로들 중 하나일 수 있다. 원하는 입력 신호는 제어 인터페이스(도시되지 않음)를 통해 제공된 사용자 입력에 기초하여 입력 신호 수신기(534)에서 선택되고 검색될 수 있다. 입력 신호 수신기(534)로부터의 출력 신호는 입력 스트림 프로세서(536)로 제공된다. 입력 스트림 프로세서(536)는 신호 선택 및 처리를 수행하며, 제1 및 제2 비트 스트림들 중 어느 것을 적절한 디코더, 즉 디코더(538) 또는 디코더(544)로 송신할지 판단한다. 입력 스트림 프로세서(536)는 장치(502)에 의해 송신된 프로그램 가이드 정보 및 비트 스트림(532)과 같은 수신된 비트 스트림에 대한 패킷 ID의 식별, 또는 다른 스트림 식별에 기초하여 제1 및 제2 비트 스트림들을 식별하고 구별한다. 부가적으로, 입력 스트림 프로세서(536)는 전술한 바와 같이, 필요하다면, 수신된 비트 스트림들을 저장 장치(537)로 송신할 수 있다.

전술한 바와 같이, 입력 스트림 프로세서(536)는 비트 스트림들을 분리하고, 식별되거나 구별되면, 제1 및 제2 비트 스트림들 중 하나를 적절한 디코더, 즉 디코더(538) 또는 디코더(544)로 제공할 것이다. 일 실시예에서, 만일 입력 스트림 프로세서(536)에서 비트 스트림이 통합된 이미지 비트 스트림(예컨대, 비트 스트림(522))을 포함한다고 판단하면, 통합된 이미지 비트 스트림은 디코더(538)로 송신될 것이다. 디코더(538)는 H.264/MPEG-4 파트 10, AVC(어드밴스드 비디오 코딩), 또는 다른 알고리즘에 따라 비디오 압축 알고리즘을 이용하여 통합된 이미지 비트 스트림을 디코드한다. 디코더(538)는 반해상도 좌측 및 우측 뷰를 갖는 통합된 이미지(540)인 3D 반해상도 출력 이미지 신호(542)를 생성한다. 3D 반해상도 출력(542)은 제어기(554)의 제어 하에 있는 선택기(550)로 제공된다. 선택기(550) 및 제어기(554)의 동작은 도 2와 관련하여 전술한 선택기 및 제어기와 유사하다.

만일 입력 스트림 프로세서(536)에서 완전 해상도 좌측 뷰 이미지를 포함하는 비트 스트림(예컨대, 비트 스트림(526))이 수신된 신호의 일부로서 제공된다고 판단하거나, 식별하거나, 또는 구별하면, 이 비트 스트림은 디코더(544)로 제공된다. 디코더(544)에서, 좌측 뷰 이미지는 H.264/MPEG-4 파트 10, AVC, 또는 다른 디코딩 프로세스에 따라 디코드되어 좌측 뷰 이미지(546)인 2D 완전 해상도 출력 신호(548)가 생성된다. 디코더(544)로부터의 2D 완전 해상도 출력 신호(548)는 디코더(538)의 출력과 마찬가지로, 제어기(554)의 제어 하에 있는 선택기(550)로 역시 송신된다.

3D 반해상도 출력 신호(542)의 반해상도 우측 뷰 부분은 샘플 레이트 변환기(556)로도 제공된다. 샘플 레이트 변환기(556)는 이미지의 우측 뷰 부분의 수평 샘플 레이트를 다시 완전 해상도로 상향변환한다. 대안으로, 3D 반해상도 출력 신호(542) 전체가 샘플 레이트 변환기(556)로 제공될 수 있다. 샘플 레이트 변환기(556)는 신호의 좌측 뷰 부분을 폐기한 다음 우측 뷰 부분을 상향변환하도록 동작할 수 있다. 업샘플된(upsampled) 우측 뷰 이미지는 1080i 수평 분할 이미지 또는 720p 수직 분할 이미지일 수 있다. 상향변환된 우측 뷰 이미지 신호는 2D 완전 해상도 출력 신호(548)와 함께 디코더(544)로부터 통합 회로(557)로 제공된다. 통합 회로(557)는 상향변환된 우측 뷰 이미지를 완전 해상도 좌측 뷰 이미지와 결합하여 좌측 및 우측 완전 해상도 출력 신호(558)를 생성한다. 완전 해상도 출력 신호 역시 제어기(554)의 제어 하에 있는 선택기(550)로 제공된다.

샘플 레이트 변환기(556)에서 3D 반해상도 출력 신호(542)의 우측 뷰 부분에 대해 수행된 상향변환에 기초하여, 2D 완전 해상도 출력 신호(548)에 대해서도 어떤 형태의 샘플 레이트 변환이 수행될 수 있음을 주목하는 것이 중요하다. 예를 들어, 2D 완전 해상도 출력 신호(548)는 1080i 포맷일 수 있는 반면, 상향변환된 우측 부분 신호는 720P 일 수 있다. 이 이미지들을 일치시키기 위해, 2D 완전 해상도 출력 신호(548)를 1080i로부터 720P로 샘플 레이트 변환하는 것이 필요할 수 있다. 이러한 샘플 레이트 변환은 디코더(544)에서 수행될 수 있거나, 또는 도시되지 않은 별도의 샘플 레이트 변환기에서 수행될 수 있다.

비록 샘플 레이트 변환기(556)에서 3D 반해상도 출력 신호(542)의 좌측 뷰 이미지 부분에 대한 추가적인 샘플 레이트 변환도 우측 뷰 이미지 부분과 함께 수행될 수 있지만, 좌측 뷰 이미지에 대한 2D 완전 해상도 출력 신호(548)를 이용하면 시각적 품질이 더 높은 이미지가 얻어진다. 샘플 레이트 변환 처리는 이미지 오류 또는 왜곡과 같은 현저한 아티팩트(artifacts)를 발생시킬 수 있다. 2D 완전 해상도 출력 신호(548)를 이용함으로써, 이러한 아티팩트가 우안 뷰(right eye view)에만 존재할 수 있기 때문에 시청자가 샘플 레이터 변환 아티팩트를 덜 인식할 수 있다.

제어기(554)는 오디오/비디오 인터페이스(552)를 통해 수신 장치(504)에 연결된 디스플레이 장치의 형태를 판정한다. 오디오/비디오 인터페이스(552)는 적색-녹색-청색(RGB)과 같은 아날로그 신호 인터페이스일 수 있거나 또는 고선명 멀티미디어 인터페이스(HDMI)와 같은 디지털 인터페이스일 수 있다. 제어기(554)는 오디오/비디오 인터페이스(552)와 통신하고 오디오/비디오 인터페이스(552)로부터 2D 디스플레이 장치, 3D 레거시 디스플레이 장치 또는 3D 완전 해상도 디스플레이 장치가 그에 연결되어 있는지 여부에 대한 정보를 수신한다. 디스플레이 장치의 형태에 기초하여, 제어기(554)는 적절한 출력 신호를 출력하도록 선택기(550)를 제어한다. 예를 들어, 만일 제어기(554)에서 레거시 3D 디스플레이 장치가 오디오/비디오 인터페이스(552)에 결합되어 있다고 판단하면, 3D 반해상도 출력(542)이 선택기(550)를 통해 오디오/비디오 인터페이스(552)로 송신될 것이다. 만일 제어기(554)에서 2D 디스플레이 장치가 오디오/비디오 인터페이스(552)에 결합되어 있다고 판단하면, 2D 완전 해상도 출력(548)이 선택기(550)를 통해 오디오/비디오 인터페이스(552)로 송신될 것이다. 만일 제어기(554)에서 완전 해상도 3D 디스플레이 장치가 오디오/비디오 인터페이스(552)에 연결되어 있다고 판단하면, 3D 완전 해상도 출력(558)이 선택기(550)를 통해 오디오/비디오 인터페이스(552)로 송신될 것이다. 전술한 처리는 입력 신호 수신기에서 수신된 신호로부터 또는 저장 장치(537)에서 검색된 콘텐츠로부터 비롯될 수 있다는 것을 인식할 것이다.

이제 도 6을 참조하면, 레거시 3D 방송, 레거시 2D 방송 및 완전 해상도 3D 방송을 인코딩하는 예시적인 프로세스(600)의 흐름도가 도시된다. 프로세스(600)는 주로 도 5에 기술된 송신기(502)와 관련하여 설명되지만, 유사하게 도 2에 기술된 송신기(202)와 관련하여 설명될 수 있거나 또는 도 1에 기술된 방송 제휴 매니저(104)에 있는 장비에 포함될 수 있다. 단계(602)에서, 완전 해상도 우측 뷰 이미지가 획득된다. 유사하게, 단계(604)에서, 완전 해상도 좌측 뷰 이미지가 획득된다. 이러한 우측 뷰 및 좌측 뷰 이미지는 스테레오 이미지 쌍을 이루고 도 1에 기술된 콘텐츠 소스(102)와 같은 콘텐츠 소스로부터 제공될 수 있다. 또한, 이들 두 이미지들 중 하나는 2D 이미지 및 2D-3D 처리 기술을 이용하여 송신기(502)와 같은 송신기 장치에 의해 발생될 수 있다. 단계(606)에서, 우측 뷰 이미지 및 좌측 뷰 이미지 각각은 각 이미지의 수평 샘플 레이트를 원래 수평 크기의 1/2로 변경함으로써 변환된다. 다음에, 단계(608)에서, 1/2 크기의 우측 뷰 이미지 및 1/2 크기의 좌측 뷰는 단일 이미지로 통합된다. 각각의 1/2 크기의 이미지는 전형적으로 이미지 신호의 전체 수평 폭의 1/2을 차지한다는 것을 주목하는 것이 중요하다. 대안으로, 각각의 절반 크기의 이미지는 체커보드 패턴과 같이, 이미지 신호 전체를 가로지르는 패턴으로 산재될 수 있다.

단계(502 및 504)에서 처음에 수신된 이미지 신호를 위한 디스플레이 포맷에 따라, 결과적인 단일 이미지를 가능한 가장 높은 디스플레이 포맷으로 재포맷하기 위해 샘플 레이트를 조정(scale)하는 것이 유리할 수 있음을 주목하는 것이 중요하다. 예를 들어, 만일 원래 좌측 뷰 이미지 및 우측 뷰 이미지가 720p 포맷으로 이루어져 있다면, 단계(606)에서 샘플 레이트 변환과 단계(608)에서 통합을 수행하여 1080p 포맷의 통합된 단일 이미지를 생성하여야 한다. 결과적으로, 통합된 이미지 신호에 대해 가능한 가장 높은 비디오 품질이 유지되고 수신 장치(504)와 같은 수신기에 의해 사용하기 위해 전송된다.

그 다음, 단계(610)에서 통합된 이미지는 비디오 압축 인코딩 알고리즘을 이용하여 인코드되어 제1 인코드된 비트 스트림이 생성된다. 일 실시예에서, 통합된 이미지는 H.264/MPEG-4 파트 10, AVC, 또는 어떤 유사한 압축 알고리즘에 따라 인코드된다. 단계(612)에서, 단계(604)로부터의 완전 해상도 좌측 뷰 이미지는 단계(610)에서 기술된 바와 유사한 비디오 압축 인코딩 알고리즘을 이용하여 인코드되어, 제2 인코드된 비트 스트림이 생성된다.

다음에, 단계(614)에서, 제1 비트 스트림 및 제2 비트 스트림에 대한 정보가 검색되고 처리되어 프로그램 정보의 하나 또는 여러 세그먼트들(예컨대, 비트, 바이트, 패킷)이 형성된다. 또한, 단계(614)에서, 제1 비트 스트림 및 제2 비트 스트림이 통합되어 단일 신호 또는 비트 스트림이 형성되고 제1 비트 스트림 및 제2 비트 스트림에 대한 정보가 단일 비트 스트림에 추가된다. 일 실시예에서, 그 정보는 프로그램 식별(PID)로서 추가된다. 단일 비트 스트림에 대한 PID는 또한 다른 비트 스트림들로부터 얻은 PID들과 결합되어 별도의 프로그램 가이드 비트 스트림을 형성한다. 마지막으로, 단계(616)에서, 단일 비트 스트림을 포함하는 출력 신호가 전송된다. 출력 신호는 도 1에 기술된 전송 네트워크(106)와 같은 전송 네트워크를 통해 송신 신호로서 전송될 수 있다. 전송 단계(616)는 또한 전술한 바와 같이, 신호를 전송하는데 필요한 부가적인 신호 처리를 포함할 수 있다. 출력 신호는 다른 비트 스트림뿐만 아니라 프로그램 가이드 스트림과 같은 부가 정보를 포함할 수 있다. 이러한 프로그램 가이드 정보는 별도의 비트 스트림으로서 생성되지 않고 단일 비트 스트림에 추가될 수 있다는 것을 주목하는 것이 중요하다.

이제 도 7을 참조하면, 레거시 3D 방송, 레거시 2D 방송 및 완전 해상도 3D 방송을 디코딩하는 예시적인 프로세스(700)의 흐름도가 도시된다. 프로세스(700)는 주로 도 5에 기술된 수신 장치(504)와 관련하여 설명되지만, 유사하게 도 2에 기술된 수신기(202)와 관련하여 설명될 수 있다. 프로세스(700)는 또한 도 1에 기술된 수신 장치(108)와 같은 수신 장치의 동작의 일부로서 사용될 수 있다. 단계(702)에서, 비트 스트림 형태의 원하는 비디오 콘텐츠를 포함하는 신호뿐만 아니라 다른 콘텐츠가 전송 네트워크로부터 수신된다. 이러한 신호 및 콘텐츠는 도 1에 기술된 방송 제휴 매니저(104)와 같은 네트워크 서비스 제공자에 의해 제공될 수 있으며, 수신기(534)와 같은 입력 신호 수신기에서 수신될 수 있다. 비트 스트림을 포함하는 콘텐츠는 또한 저장 장치(237)와 같은 저장 장치 또는 디지털 다기능 디스크(DVD) 또는 다른 매체와 같은 다른 매체 장치로부터도 제공될 수 있다.

단계(703)에서, 수신된 입력 신호는 다수의 비트 스트림으로 분리된다. 분리 단계(703)는 제1 비트 스트림을 통합된 반해상도 3D 비디오 이미지로서 판단 및 식별하고 제2 비트 스트림을 완전 해상도 2D 이미지로서 식별하는 것과 같이, 개개의 비트 스트림을 좌측 뷰 이미지로서 식별하는 것을 포함한다. 분리 단계(703)는 또한 식별된 제1 및 제2 비트 스트림들 각각을 원하는 비트 스트림으로부터 적절한 디코더로 제공한다. 단계(703)에서의 판단 및 식별에 기초하여, 단계(704)에서, 제1 비트 스트림, 즉 반해상도 3D 비디오 신호는 H.264/MPEG-4 파트 10, AVC, 또는 다른 유사한 압축 디코딩 프로세스와 같은 하나 이상의 비디오 압축 디코딩 알고리즘에 따라 디코드된다. 반해상도 3D 신호는 분할 화면 3D 비디오 신호 또는 체커보드 비디오 신호를 포함하여 여러 포맷으로 이루어질 수 있다. 단계(704)에서의 디코딩에 의해 반해상도 좌측 및 우측 뷰를 갖는 통합된 이미지가 생성된다. 단계(706)에서, 제2 비트 스트림, 즉 2D 완전 해상도 이미지 신호에 대해 유사한 디코딩 처리가 수행된다. 단계(706)에서 디코딩은 단계(704)에서 기술된 바와 유사한 비디오 압축 디코딩 알고리즘을 이용할 수 있다.

단계(708)에서, 반해상도 통합된 이미지 신호의 우측 뷰 부분은 전체 크기와 완전 해상도의 우측 뷰 이미지 신호를 생성하도록 변환된 샘플 레이트이다. 비록 우측 뷰 이미지 신호가 완전 해상도 신호일지라도, 샘플 레이트 변환은 완전 해상도 우측 뷰 이미지에 이미지 아티팩트를 발생시킬 것이라는 점이 이해된다. 단계(710)에서, 단계(708)에서 생성된 디코드되고 변환된 완전 해상도 우측 뷰 이미지와 디코드된 완전 해상도 좌측 뷰 이미지는 단일의 완전 해상도 3D 출력 신호로 통합된다. 단계(710)에서 얻은 단일의 완전 해상도 3D 출력 신호, 단계(704)에서 얻은 반해상도 3D 출력 신호, 및 단계(706)에서 얻은 완전 해상도 2D (좌측 뷰) 출력 신호는 이용가능하고 디스플레이를 위해 제공된다는 것을 주목하는 것이 중요하다.

다음에, 단계(712)에서, 상기에서 생성된 출력 신호들 중 하나를 디스플레이하는데 사용된 디스플레이 장치의 형태가 판정된다. 일 실시예에서, 디스플레이 장치는 오디오/비디오 인터페이스(552)와 같은 오디오/비디오 인터페이스를 통해 수신 장치(504)에 연결된다. 단계(712)에서의 판정은 디스플레이 장치 식별 프로세스를 통해 자동으로 수행될 수 있거나, 또는 사용자에 의해 선택될 수 있다. 일 실시예에서, 만일 2D 디스플레이 장치가 사용된다면, 완전 해상도 2D 출력 신호가 선택된다. 3D 디스플레이 장치가 사용하는 경우, 반해상도 3D 출력 신호 또는 완전 해상도 3D 출력 신호가 선택된다. 반해상도 또는 완전 해상도 3D 출력 신호의 선택은 사용자에 의해 사용자 인터페이스를 통해 이루어질 수 있다. 다른 실시예에서, 단계(703)에서 판단된 바와 같이, 완전 해상도 3D 출력 신호가 이용가능하다면 그 완전 해상도 3D 출력 신호가 항상 선택된다.

단계(712)에서 판정된 디스플레이의 형태에 따라, 그 다음 단계(714)에서, 선택된 출력 신호, 즉 2D 완전 해상도 좌측 뷰 이미지 신호, 반해상도 3D 좌측 뷰 및 우측 뷰 이미지 신호, 또는 완전 해상도 3D 좌측 뷰 및 우측 뷰 이미지 신호가 디스플레이 장치로 제공된다.

비록 시스템(500), 프로세스(600), 및 프로세스(700)가 반해상도 3D 좌측 뷰 및 우측 뷰 이미지 신호에 대해 동작하는 것으로 설명되었지만, 다른 부분적, 또는 감소된 해상도의 3D 신호들도 또한 사용될 수 있음을 주목하는 것이 중요하다. 예를 들어, (반이 아닌) 감소된 해상도의 좌측 뷰 이미지 및 (반이 아닌) 감소된 해상도의 우측 뷰 이미지를 포함하는 3D 신호가 사용될 수 있으며, 여기서 좌측 뷰 이미지의 해상도는 우측 뷰 이미지의 해상도와 다르다.

프로세스(800)에서 어떤 단계들은 구체적인 구현예에 따라 수정되거나 생략될 수 있다. 예를 들어, 디스플레이 판정 단계(712)는 디코딩 단계(704 및 706) 전에 수행될 수 있다. 사용된 디스플레이 장치의 형태에 따라, 디코딩 단계들 중 어느 하나가 생략되거나 사용되지 않게 할 수 있다.

레거시 3차원(3D) 방송, 레거시 2D 방송 및 완전 해상도 3D 방송을 위한 시스템 및 방법이 설명되었다. 수신 장치(504)는 좌안 뷰(left eye view)에 대한 레거시 2D 방송과 레거시 3D 분할 화면 방송을 디코드할 것이다. 완전 해상도 우측 뷰는 레거시 3D 분할 화면 방송의 우측 반을 조정함으로써 생성된다. 이러한 방식으로, 새로운 압축 기술을 필요로하지 않고 완전 해상도 3D가 제공될 수 있다.

전술한 바와 같이, 도 2 내지 도 7의 실시예는 3D 방송에 사용된 비트 스트림들을 수신하여 처리하는 것에 관련되며, 이 실시예는 데이터 신호로 통합된 두 개의 상이한 비트 스트림들을 포함한 데이터 신호를 수신하는 것을 포함한다. 제1 비디오 신호는 제1 비디오 해상도의 2차원 이미지를 나타내고 제2 비디오 신호는 제2 해상도의 3차원 이미지를 나타낸다. 이 실시예는 또한 출력 디스플레이 형태가 2차원 디스플레이 형태이면 제1 비디오 신호를 디코딩하고, 출력 디스플레이 형태가 제1 3차원 디스플레이 형태이면 제2 비디오 신호를 디코딩하며, 출력 디스플레이 형태가 제2 3차원 디스플레이 형태이면 제1 비디오 신호 및 제2 비디오 신호를 동시에 디코딩하는 것을 포함한다.

도 2 내지 도 7의 실시예는 또한 수신된 신호를 처리하여 3D 비디오 출력을 제공하는 것에 관련된다. 이 실시예는 제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호 및 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 신호를 수신하고, 비디오 콘텐츠를 시청하기 위해 디스플레이 장치의형태를 판정하고, 제1 비디오 신호를 디코딩하고, 제2 비디오 신호를 디코딩하며, 출력 신호를 디스플레이 장치로 제공하는 것을 포함하며, 이 출력 신호는 디스플레이 장치의 형태가 3차원 디스플레이 장치이면 제1 디코드된 비디오 신호와 제2 디코드된 비디오 신호의 일부의 조합을 포함한다.

다른 실시예에서, 수신 장치에서 사용자에 의해 조정가능한 디스패리티 매핑(disparity mapping)을 위한 시스템 및 방법이 제공된다. 이 시스템 및 방법은 수신 장치에서 H.264 인코더를 이용하여, 수신되고 디코드된 한 쌍의 스테레오 이미지, 즉 우측 뷰 이미지 및 좌측 뷰 이미지의 조밀한(dense) 디스패리티 매핑의 생성을 돕는다. 이들 두 이미지는 시간적으로 연속적으로 정렬되어 인코더를 통과하여 움직임 벡터와 같은 인코딩 정보가 생성된다. 결과적인 움직임 정보는 사용자 제어로서 스테레오 이미지 세트(stereo image set)의 이미지 깊이(image depth)를 조정하기 위해 사용될 수 있는 디스패리티 맵을 생성하는데 사용된다. 그러한 시스템은 신호 전송이 입체 이미지(stereoscopic images)를 송신하지만 깊이 맵(depth map)의 전송을 생략한 경우에 유용하다.

이제 도 8를 참조하면, 조밀한 디스패리티 맵을 생성하는 수신 장치(800)의 예시적인 실시예가 도시된다. 이하에서 설명되는 것을 제외하고, 도 2 및 도 5와 관련하여 전술한 바와 유사한 요소들은 상세히 설명되지 않는다는 것을 인식할 것이다. 예를 들어, 입력 신호 수신기(834), 입력 스트림 프로세서(836), 저장 장치(837), 디코더(838 및 844) 및 샘플 레이트 변환기(856)는 실질적으로 전술한 바와 같이 수행하여 3D 반해상도 출력(842), 2D 완전 해상도 출력(848) 및 3D 완전 해상도 출력(858)을 선택기(850)로 제공한다.

수신 장치(800)는 선택기(850)의 출력에 결합된 인코더(860)를 더 포함한다. 인코더(860)는 메모리(862)에도 결합된다. 또한, 제어기(854)는 인코더(860)뿐만 아니라 메모리(862)에도 결합된다. 사용자 인터페이스(870)는 제어기(854)에 결합된다.

그 동작에 있어서, 선택기(850)가 3D 반해상도 신호(842) 또는 3D 완전 해상도 신호(858)를 출력할 때, 인코더(860)는 디코드된 좌측 뷰 및 우측 뷰 이미지 쌍을 수신하여 그 이미지들을 메모리(862)의 일부로 도시된 코딩된 이미지 버퍼(864)에 저장한다. 인코더(860)는 좌측 뷰 이미지를 순시 디코드 리프레시(instantaneous decode refresh: IDR) 프레임이라고도 알려진 기준 이미지로 설정한다. 인코더(860)는 기준 이미지를 나누어 4 픽셀 바이 4 픽셀(4x4) 움직임 블록들을 선택하고 P-프레임 단방향 예측을 이용하여 우측 뷰 이미지의 각 4x4 서브-블록의 움직임 벡터를 생성한다. 4x4 픽셀 블록의 사용은 표준 관행에 따른다는 것을 주목하는 것이 중요하다. 그러나, 대응하는 결과 오차 레벨에 따라 다른 블록 크기도 사용될 수 있다. 각각의 4x4 블록의 움직임 벡터는 코딩된 이미지 블록(864)에 저장된 우측 뷰 이미지를 인코드하는데 사용된다. 인코드 프로세스의 원하는 출력이 실제 코딩된 이미지가 아닌 움직임 벡터이므로, 코딩된 이미지 신호로부터 움직임 벡터가 추출되어 메모리(862)의 일부로 역시 도시된 움직임 벡터 버퍼(866)에 저장된다. 코딩된 이미지 버퍼(864)에 정보를 저장하는 것은 움직임 벡터를 생성하여 움직임 벡터 버퍼(866)에 저장한 다음에 이루어진다. 필요에 따라, 인코더(860)는 이미지 신호의 나머지 부분들을 단계로 나누어 모든 이미지 쌍들이 처리될 때까지 다음 이미지 쌍을 인코드한다.

코딩된 이미지 버퍼(864) 및 움직임 버퍼(866)는 단일의 공유 메모리 장치(862)에 상주할 수 있거나 또는 분리된 개개의 버퍼일 수 있다. 단일의 공유 메모리 장치(862)를 갖는 도 8에 도시된 실시예에서는, 중재기((arbiter)(863)가 포함되어 있다. 중재기(863)는 메모리(862)의 공유 메모리 소자들에 액세스하는 것을 중재하거나, 또는 관리한다. 비록 도 8에서는 메모리 장치(862)를 액세스하는 두 클라이언트(즉, 인코더(860) 및 제어기(854))만을 도시하지만, 대부분의 실제 시스템에서는 메모리 장치(862)와 같은 동일 메모리 장치를 모두가 액세스하는 여러 독립적인 클라이언트들이 존재한다. 다른 실시예에서, 메모리 액세스는 개별적으로 제어되거나 또는 제어(854)와 유사한 제어기에 의해 제어될 수 있다. 중재기(863)의 기능은 각 클라이언트가 부여된 우선순위 레벨에서 그리고 기능 유닛들 각각에 부여된 역할을 성취하기에 충분한 대역폭과 충분히 낮은 지연으로 확실하게 액세스하게 하는 것이다.

움직임 벡터 버퍼(866)에 저장된 신호는 필터되어 임의의 생성된 움직임 벡터의 임의의 수직 성분이 제거된다. 필터된 결과는 좌측 뷰 및 우측 뷰 화상들 간의 수평 디스패리티의 지표로서 사용되며, 이는 4x4 픽셀 이미지 영역들의 화상 레벨의 입도(granularity)를 갖는다. 이러한 필터된 결과는, 숫자 엔트리(numerical entry), 또는 어떤 다른 정량적인 오차 지표로서 나타낸 것으로, 이것은 메모리 장치(862)의 일부로서 역시 도시된 디스패리티 버퍼(868)에 저장된다. 비록 전술한 기능들이 인코더(860)에 의해 수행되는 것으로 예시되고 설명되었지만, 하나 이상의 기능들이 제어기(854)에 의해 또는 고정된 기능적인 하드웨어 또는 하드웨어와 소프트웨어의 조합에 의해서도 또한 구현될 수 있다.

디스패리티 버퍼(868)에 저장된 많은 수평 디스패리티 값들의 어레이는 수평으로 인접한 디스패리티 값들 간의 값의 차이를 고려하여 (예컨대, 공간적으로) 더 필터될 수 있다. 예를 들어, 바로 좌측에 4x4 화상 블록 A와 바로 우측에 4x4 화상 블록 C를 갖는 4x4 화상 블록 B를 고려해 보자. 만일 블록 A에서 좌측 및 우측 화상 뷰들 사이의 디스패리티가 6이고, 블록 B에서 좌측 및 우측 화상 뷰들 사이의 디스패리티가 4이고, 블록 C에서 좌측 및 우측 화상 뷰들 사이의 디스패리티가 2이면, 이미지 쌍의 좌측 공간 위치로부터 이미지 쌍의 우측 공간 위치로 진행하는 함수로서의 디스패리티에 점진적인 변화가 나타난다. 이러한 변화가 자연스럽다고 가정하면, 제어기(854)는 4와 6 사이의 디스패리티를 최좌측 픽셀들에 그리고 4와 2 사이의 디스패리티를 최우측 픽셀들에 할당하는 4x4 화상 블록 B에 걸쳐 보간할 수 있다. 비록 이러한 예가 단지 좌측 및 우측에 하나의 4x4 영역을 고찰하거나, 또는 이를 포함하여 처리하지만, 어느 방향으로든 다른 영역을 포함하는 다른 필터들이 이용될 수 있다. 또한, 수직 방향에도 동일한 필터 원리가 적용될 수 있어 픽셀 레벨의 입도를 갖는 디스패리티 맵을 생성하여 처리할 수 있다.

필요에 따라, 인코더(860), 또는 대안으로 제어기(854)는 오클루전 맵(occlusion map)을 생성한다. 수평으로 또는 수직으로 인접한 4x4 블록들 사이의 디스패리티 값의 급격한 변화는 스테레오 이미지 쌍에서 근거리 물체(near field objects)와 원거리 물체들(far field objects) 사이에 에지(edges)가 존재함을 나타낸다. 이러한 에지에서, 전형적으로 좌안이 우안 뷰에서 차단된 근거리 물체의 일부를 볼 수 있다는 것은 사실이며, 마찬가지로 우안이 좌안에 차단된 물체의 일부 뷰를 가질 것이다. 이와 같은 좌안과 우안 간의 상호 배타적인 시각적 뷰 영역들은 디스패리티 벡터를 처리하는 동안 검출될 수 있고 나중에 이미지 처리 단계로 신호를 보낼 수 있는 오클루전을 생성한다. 나중에 이미지 처리 단계에서, 화상 전체에 적용된 처리에 대해 이러한 폐쇄된 영역(occluded regions)의 처리를 다르게 적용하는 것이 유리할 수 있다. 동시에, 전술한 픽셀 레벨의 디스패리티 맵과 오클루전 맵은 조밀한 디스패리티 맵을 형성한다. 본 기술 분야에는 픽셀 레벨의 디스패리티 맵과 오클루전 맵으로부터 조밀한 디스패리티 맵을 생성하는 여러 기술들이 공지되어 있음을 인식하여야 한다.

스테레오 비디오 신호의 조밀한 디스패리티 맵은 스테레오 이미지 쌍 내에서 모든 픽셀 쌍의 수렴 깊이(convergence depth)를 보여준다. 이 정보가 알려지고 식별될 때, 수신 장치(800)는 화상 그래픽에서 비디오와 그래픽 사이의 불괘한 깊이 충돌(unpleasant depth conflicts)을 피하기 위해 오버레이(overlays)가 어떻게 그리고 어디에 존재할 수 있는지를 판단할 수 있다. 또한, 조밀한 디스패리티 맵은 수신 장치(800)가 디스패리티 및 오클루전 인식 스케일링 알고리즘을 스테레오 쌍의 화상들 중 하나 또는 둘 다에 적용함으로써 스테레오 이미지의 인지된 3D 깊이를 수정하게 하는데 사용될 수 있다. 이는 수신 장치(800)가 사용자 제어된 3D 깊이와 같은 특징들을 구현하는 것을 가능하게 한다.

디스패리티 및 오클루전 인식 스케일링을 이용한 깊이 조정은 스테레오 이미지 쌍에서 인지된 깊이 범위의 수정을 용이하게 해준다. 예를 들어, 이미지의 깊이 범위는 이미지 랜더링 표면(image rendering surface)의 평면 뒤에서 가장 먼 물체와 이미지 랜더링 표면의 평면 앞에서 가장 먼 물체 사이에서 인지된 거리로서 식별될 수 있다. 이러한 깊이 범위는 시각적 입체 '체적(volume)'을 나타낸다. 일 실시예에서, 사용자는 사용자 인터페이스(870)를 통한 업/다운 제어와 같은 간단한 사용자 제어에 따라 이러한 시각적 입체 '체적'을 제어할 수 있다. 이러한 제어는 스테레오 이미지에서 인지된 깊이 범위를 증가하거나 감소하는데 사용될 수 있다. 사용자 인터페이스(870)는, 다음으로 제한되지 않지만, 원격 제어 장치, 수신 장치(804)에 배치된 복수의 버튼, 수신 장치(804)에 의해 생성되어 디스플레이 장치 등에 디스플레이된 사용자 선호 화면을 포함하는 모든 공지의 사용자 인터페이스일 수 있다. 그러므로, 수신 장치(804)에서 조밀한 디스패리티 맵을 생성함으로써 사용자 제어형 깊이 조정이 성취될 수 있다.

이제 도 9를 참조하면, 조밀한 디스패리티 맵을 생성하는 예시적인 프로세스(900)의 흐름도가 도시된다. 프로세스(900)의 단계들은 수신 장치(800)에서 수행될 수 있다. 프로세스(900)의 단계들은 유사하게 도 2에 기술된 수신기(204) 또는 도 5에 기술된 수신 장치(504)와 같은 다른 수신기 또는 셋탑 박스 기기에서 수행될 수 있다. 단계(902)에서, 디코드된 좌측 뷰 및 우측 뷰 이미지 쌍은 신호의 일부로서 수신된다. 디코드된 좌측 및 우측 뷰 이미지 쌍은 선택기에 의해 제공되며 반해상도 3D 이미지 신호 또는 완전 해상도 3D 이미지 신호일 수 있다. 또한, 완전 해상도 3D 이미지 신호는 전술한 바와 같은 반해상도 3D 이미지 신호의 샘플 레이트 변환된 부분을 포함할 수 있다. 단계(902)는 또한 코딩된 이미지 버퍼(864)와 같은 메모리에 이미지를 저장하는 단계를 포함할 수 있다.

단계(904)에서, 좌측 뷰 이미지는 기준 이미지 또는 IDR로 설정된다. 비록 어느 하나의 이미지가 기준 이미지로 설정될 수 있지만, 전술한 바와 같이 좌측 뷰 이미지가 완전 해상도 이미지이므로 좌측 뷰 이미지를 이용하여, 기준 이미지에서 이미지 아티팩트의 존재를 줄이거나 제거하는 것이 유리하다. 다음에, 단계(906)에서, 움직임 블록의 크기 및 배분(apportioning)이 선택된다. 전술한 바와 같이, 움직임 블록의 크기는 4x4 필셀일 수 있지만, 다른 블록 크기도 가능하다. 단계(908)에서, 좌측 뷰 이미지에 대하여 우측 뷰 이미지의 대응하는 서브-블록들 각각에 대한 P-프레임 단방향 예측을 이용하여 움직임 벡터가 생성된다. 다음에, 단계(910)에서, 서브-블록들에 대해 생성된 움직임 벡터들은 우측 뷰 이미지를 인코드하는데 사용된다. 단계(912)에서, 단계(908 및 910)로부터 얻은 최종 움직임 벡터들의 세트는 움직임 벡터 버퍼(866)와 같은 메모리에 저장된다. 이와 같이 설명된 프로세스(900)에 있어서, 좌측 및 우측 뷰 이미지들이 공간적으로가 아니라 시간적으로 존재하는 것처럼 처리된다. 다시 말하면, 비록 좌측 및 우측 이미지들이 시간에 맞춰 동시에 시청하고자 할지라도, 좌측 및 우측 뷰 이미지들이 시간적으로 연속하여 발생한 것처럼 움직임 처리가 수행된다.

단계(914)에서, 전술한 인코드 프로세스 단계들의 원하는 출력이 실제 코딩된 이미지 움직임 벡터가 아니고 움직임 벡터들이므로 인코드된 이미지들을 저장한 메모리(예를 들어, 코딩된 이미지 버퍼(864))의 콘텐츠는 폐기되거나, 또는 소거된다. 단계(914)로부터, 프로세스(900)는 단계(904)로 되돌아가서 모든 이미지 쌍들이 인코드되고 움직임 벡터들이 처리될 때까지 모든 나머지 이미지 쌍들 또는 부분들을 인코드한다.

다음에, 단계(916)에서, 움직임 벡터 세트들을 필터링하여 입도 디스패리티 맵이 생성되어 저장된다. 입도 디스패리티 맵은 좌측 뷰 및 우측 뷰 화상들 사이의 수평 디스패리티의 지표로, 이는 단계(906)에서 선택된 서브-블록 크기와 같은 화상 레벨의 입도를 갖는다. 일 실시예에서, 연속적으로 위치한 세 개의 움직임 서브-블록들의 세트에 대한 움직임 벡터들이 비교되고 정량화되어 인접 디스패리티 값들이 결정된다. 그 다음, 단계(920)에서, 수평 디스패리티 값들의 어레이는 수평으로 인접한 디스패리티 값들 간의 값의 차를 고려하여 더 필터되거나 보간되며 전술한 바와 유사한 방식으로 수직으로 더 보간되어 픽셀 레벨의 디스패리티 맵이 결정될 수 있다.

다음에, 단계(922)에서, 오클루전 맵이 생성된다. 전술한 바와 같이, 수평 또는 수직으로 인접한 블록들 사이의 디스패리티 값의 모든 변화는 스테레오 이미지 쌍에서 근거리 및 원거리 물체들 사이에 에지의 지표일 수 있다. 오클루전 맵은 단계(912)에서 저장된 원래 움직임 벡터, 또는 단계(916 및/또는 920)에서 생성된 디스패리티 맵을 이용하여 단계(922)에서 생성될 수 있다. 후자에 있어서, 오클루전 맵은 에지의 존재를 강화하는 방식으로 움직임 벡터를 필터링하거나 보간함으로써 움직임 벡터로부터 생성될 수 있다. 마지막으로, 단계(924)에서, 단계(920)에서 생성된 픽셀 레벨의 디스패리티 맵과 단계(922)에서 생성된 오클루전 맵이 결합되어 조밀한 디스패리티 맵이 형성된다. 본 기술 분야에는 픽셀 레벨의 디스패리티 맵과 오클루전 맵으로부터 조밀한 디스패리티 맵을 생성하는 여러 기술들이 공지되어 있음을 인식할 것이다. 전술한 바와 같이, 조밀한 디스패리티는 3D 이미지에서 사용자에 의해 조정가능한 깊이 범위와 같은 특징을 가능하게 하는데 사용될 수 있다.

도 8 및 도 9에 기술된 실시예들은 수신 장치에서 조밀한 디스패리티 맵을 생성하는 것에 관련된다. 이 실시예는 원하는 비트 스트림을 포함하는 신호를 수신하는 것을 포함한다. 원하는 비트 스트림은 단일의 좌안 또는 우안 이미지로서 2D 완전 해상도 이미지 신호와 감소된 해상도의 좌안 이미지 및 감소된 해상도의 우안 이미지를 포함하는 3D 부분적 또는 감소된 (예컨대, 반) 해상도의 이미지 신호를 나타내는 하나 이상의 비트 스트림들을 더 포함하고, 그러한 비트 스트림들로 분리될 수 있다. 비트 스트림들은 완전 해상도 또는 감소된 해상도의 좌안 이미지 및 우안 이미지를 갖는 신호를 생성하기 위해 디코드된다. 이 실시예는 기준 이미지로써 좌안 이미지를 인코딩하고, 기준 이미지인 코딩된 좌안 이미지를 이용하여 우안 이미지를 예측 코딩하고, 우안 이미지의 인코딩 동안 생성된 움직임 지표(motion indicators)를 획득하며, 그 움직임 지표를 이용하여 좌안 이미지와 우안 이미지 사이의 조밀한 디스패리티 맵을 생성하는 것을 더 기술한다.

본 명세서에서 본 발명의 가르침을 포함하는 실시예가 상세하게 도시되고 설명되었지만, 당업자는 이러한 가르침을 여전히 포함하는 다른 많은 변형 실시예를 쉽게 고안할 수 있다. (예시적이며 제한하지 않는 것으로 의도된) 완전 해상도 2D 비디오, 완전 해상도 3D 비디오 및 반해상도 3D 비디오를 인코딩하고 방송하기 위한 시스템 및 저대역폭 방법의 바람직한 실시예가 기술되었으므로, 전술한 가르침에 비추어 당업자에 의해 변형 및 변경이 이루어질 수 있음이 주목된다. 그러므로, 첨부의 특허청구범위에 의해 간략화한 본 발명의 범주 내에 속하는 개시된 본 발명의 특정 실시예에서 변경이 이루어질 수 있음을 알아야 한다.

Claims

제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 데이터 신호를 수신하는 단계(702);
출력 디스플레이 형태가 2차원 디스플레이 형태이면 상기 제1 비디오 신호를 디코딩하는 단계(706);
상기 출력 디스플레이 형태가 제1의 3차원 디스플레이 형태이면 상기 제2 비디오 신호를 디코딩하는 단계(704); 및
상기 출력 디스플레이 형태가 제2의 3차원 디스플레이 형태이면 상기 제1 비디오 신호 및 제2 비디오 신호를 동시에 디코딩하는 단계(706, 704)
를 포함하는 방법.
제1항에 있어서, 상기 제1 비디오 신호는 좌측 뷰 이미지(left view image)를 포함하는 방법.
제2항에 있어서, 상기 제2 비디오 신호는 감소된 해상도의 좌측 뷰 이미지 신호 및 감소된 해상도의 우측 뷰 이미지 신호(right view image signal)를 포함하는 방법.
제3항에 있어서, 상기 제1 및 제2 신호를 디코딩하는 단계는 상기 제1 비디오 신호의 이미지 크기와 일치하도록 상기 제2 비디오 신호의 일부를 변환하는 단계(708)를 포함하는 방법.
제4항에 있어서, 상기 제1 비디오 신호의 이미지 크기와 일치하도록 상기 제2 비디오 신호의 일부를 변환하는 단계(708)는 상기 감소된 해상도의 우측 뷰 이미지를 상기 제1 비디오 신호의 해상도로 조정하는 단계를 포함하는 방법.
제5항에 있어서, 상기 조정된 우측 뷰 이미지는 1080i 수평 분할 이미지 및 720p 수직 분할 이미지 중 적어도 하나인 방법.
제1항에 있어서, 상기 데이터 신호를 수신하는 단계 및 디코딩 단계는 셋탑 박스에서 수행되는 방법.
콘텐츠를 처리하기 위한 장치로서,
제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호(526)와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호(522)를 포함하는 데이터 신호(532)를 수신하는 신호 수신기(534); 및
출력 디스플레이 형태가 2차원 디스플레이 형태이면 상기 제1 비디오 신호(526)를 디코드하고, 상기 출력 디스플레이 형태가 제1의 3차원 디스플레이 형태이면 상기 제2 비디오 신호(522)를 디코드하며, 상기 출력 디스플레이 형태가 제2의 3차원 디스플레이 형태이면 상기 제1 비디오 신호 및 제2 비디오 신호(526, 522)를 동시에 디코드하는 적어도 하나의 디코더(538, 544)
를 포함하는 장치.
제8항에 있어서,
상기 적어도 하나의 디코더(538, 544)에 연결되어 상기 디코드된 신호를 수신하고 상기 디코드된 신호를 디스플레이 장치로 출력하는 인터페이스(552)를 더 포함하고, 상기 인터페이스(552)는 상기 출력 디스플레이 형태를 판정하는 장치.
제9항에 있어서, 상기 제1 비디오 신호(526)는 적어도 하나의 좌측 뷰 이미지를 포함하는 장치.
제10항에 있어서, 상기 제2 비디오 신호(522)는 반해상도(half-resolution) 좌측 뷰 이미지 및 반해상도 우측 뷰 이미지를 포함하는 적어도 하나의 반해상도 분할 화면(split screen) 이미지를 포함하는 장치.
제11항에 있어서,
상기 제1 비디오 신호의 이미지 크기와 일치하도록 상기 제2 비디오 신호의 일부를 변환하는 샘플 레이트(sample rate) 변환기(556)를 더 포함하는 장치.
제12항에 있어서, 상기 샘플 레이트 변환기(556)는 상기 반해상도 우측 뷰 이미지를 상기 적어도 하나의 좌측 뷰 이미지의 해상도로 조정하는 장치.
콘텐츠를 처리하기 위한 장치로서,
제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 데이터 신호를 수신하는 수단(534);
출력 디스플레이 형태가 2차원 디스플레이 형태이면 상기 제1 비디오 신호를 디코딩하는 수단(554);
상기 출력 디스플레이 형태가 제1의 3차원 디스플레이 형태이면 상기 제2 비디오 신호를 디코딩하는 수단(538); 및
상기 출력 디스플레이 형태가 제2의 3차원 디스플레이 형태이면 상기 제1 비디오 신호 및 제2 비디오 신호를 동시에 디코딩하는 수단(538, 544)
을 포함하는 장치.
제14항에 있어서, 상기 제1 비디오 신호는 적어도 하나의 좌측 뷰 이미지를 포함하는 장치.
제14항에 있어서, 상기 제2 비디오 신호는 반해상도 좌측 뷰 이미지 및 반해상도 우측 뷰 이미지를 포함하는 적어도 하나의 반해상도 분할 화면 이미지를 포함하는 장치.
제14항에 있어서, 상기 제1 및 제2 신호를 디코딩하는 수단(538, 554)은 상기 제1 비디오 신호의 이미지 크기와 일치하도록 상기 제2 비디오 신호의 일부를 변환하는 수단(556)을 포함하는 장치.
신호를 처리하기 위한 방법으로서,
제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 신호를 수신하는 단계(702);
비디오 콘텐츠를 보기 위해 디스플레이 장치의 형태를 판정하는 단계(712);
상기 제1 비디오 신호를 디코딩하는 단계(706);
상기 제2 비디오 신호를 디코딩하는 단계(704); 및
출력 신호를 상기 디스플레이 장치에 제공하는 단계(714) - 상기 출력 신호는 상기 디스플레이 장치의 형태가 3차원 디스플레이 장치이면 상기 제1 디코드된 비디오 신호와 상기 제2 디코드된 비디오 신호의 일부의 조합을 포함함 -
를 포함하는 방법.
신호를 처리하기 위한 장치로서,
제1 비디오 해상도의 2차원 이미지를 나타내는 제1 비디오 신호와 제2 해상도의 3차원 이미지를 나타내는 제2 비디오 신호를 포함하는 데이터 신호를 수신하는 수단(534);
비디오 콘텐츠를 보기 위해 디스플레이 장치의 형태를 판정하는 수단(554);
상기 제1 비디오 신호를 디코딩하는 수단(544);
상기 제2 비디오 신호를 디코딩하는 수단(538); 및
출력 신호를 상기 디스플레이 장치에 제공하는 수단(552) - 상기 출력 신호는 상기 디스플레이 장치의 형태가 3차원 디스플레이 장치이면 상기 제1 디코드된 비디오 신호와 상기 제2 디코드된 비디오 신호의 일부의 조합을 포함함 -
을 포함하는 장치.