KR20120042313A

KR20120042313A - 입체영상표시장치 및 그 영상표시방법

Info

Publication number: KR20120042313A
Application number: KR1020100103962A
Authority: KR
Inventors: 오금용
Original assignee: 삼성전자주식회사
Priority date: 2010-10-25
Filing date: 2010-10-25
Publication date: 2012-05-03
Also published as: US20120098944A1; EP2445222A3; EP2445222A2

Abstract

입체영상표시장치가 개시된다. 입체영상표시장치는, 컨텐츠 영상 및 부가 영상을 포함하는 전송 스트림을 수신하는 수신부, 컨텐츠 영상에 기 설정된 3D 깊이 정보를 검출하는 정보 검출부, 부가 영상에 대해 검출된 3D 깊이 정보를 적용하는 부가 영상 처리부 및 3D 깊이 정보가 적용된 부가 영상을 컨텐츠 영상과 함께 디스플레이하는 출력부를 포함한다.

Description

입체영상표시장치 및 그 영상표시방법{3-dimensional image display apparatus and image display method thereof}

본 발명은 입체영상표시장치 및 그 영상표시방법에 관한 것으로, 보다 상세하게는 2TS(2 Transport Stream) 영상 기반의 입체영상표시장치 및 그 영상표시방법에 관한 것이다.

디지털 비디오의 압축과 전송 방법으로 이용되고 있는 MPEG(Moving Picture Experts Group) 규격의 데이터 포맷은 프로그램 스트림(Program Stream;PS)과 전송 스트림(Transport Stream;TS)으로 구별되어 진다.

프로그램 스트림은 전송상의 오류가 적은 저장매체에 디지털 비디오를 저장하는데 이용되는 반면, 정해진 패킷 길이를 가진 전송 스트림은 상대적으로 전송 채널이 불안정한 디지털 방송 등에 이용된다.

이러한 전송 스트림을 이용한 현재의 스트리밍 서비스 방식은 MPEG 송수신 시스템을 기반으로 하나의 전송 스트림을 제어하여, 전송 스트림을 송신하고 수신하고 있다.

한편, 전송 스트림 내의 컨텐츠는 모두 오프셋 값에 의해 동적으로 깊이가 조절된다. 하지만, 전송 스트림 외의 컨텐츠에 대해서는 특별하게 적용에 대한 기준이 불분명한 상태이다.

특히, PIP 같은 경우 현재 3D 영상과 동시에 보여지는 시나리오도 없을 뿐더러 보여지더라도 동적으로 변화하는 심도에 정확하게 일치하지 않으면 눈에 피로를 주게 된다는 문제점이 있었다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 컨텐츠 영상 외에 부가 영상에 대해서도 3D 효과를 부여할 수 있는 입체영상표시장치 및 그 영상표시방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 입체영상표시장치는, 컨텐츠 영상 및 부가 영상을 포함하는 전송 스트림을 수신하는 수신부, 상기 컨텐츠 영상에 기 설정된 3D 깊이 정보를 검출하는 정보 검출부, 상기 부가 영상에 대해 상기 검출된 3D 깊이 정보를 적용하는 부가 영상 처리부 및 상기 3D 깊이 정보가 적용된 부가 영상을 상기 컨텐츠 영상과 함께 디스플레이하는 출력부를 포함한다.

여기서, 상기 전송 스트림은, 3D 전송 스트림의 좌안 영상 또는 우안 영상에 해당하는 제1 전송 스트림 및 상기 3D 전송 스트림의 나머지 영상에 해당하는 제2 전송 스트림을 포함하는 2TS 전송 스트림(2 Transport Stream)이 될 수 있다.

또한, 상기 제1 전송 스트림은 베이스 전송 스트림(Base TS)에 대응되고, 상기 제2 전송 스트림은 디펜던트 전송 스트림(Dependent TS)에 대응되며, 상기 3D 깊이 정보는, 상기 디펜던트 전송 스트림에 포함될 수 있다.

또한, 상기 부가 영상은, OSD 영상, 어플리케이션 영상 및 PIP 영상 중 적어도 하나가 될 수 있다.

또한, 상기 제1 전송 스트림 및 상기 제2 전송 스트림은 교번적으로 디스플레이될 수 있다.

또한, 상기 부가 영상은 대응되는 컨텐츠 영상과 동일한 3D 깊이 정보를 갖고 디스플레이될 수 있다.

또한, 상기 3D 깊이 정보는, 상기 전송 스트림을 구성하는 각 프레임 별로 설정될 수 있다.

한편, 본 발명의 일 실시 예에 따른 입체영상표시장치의 영상표시방법은, 컨텐츠 영상 및 부가 영상을 포함하는 전송 스트림을 수신하는 단계, 상기 컨텐츠 영상에 기 설정된 3D 깊이 정보를 검출하는 단계, 상기 부가 영상에 대해 상기 검출된 3D 깊이 정보를 적용하는 단계 및 상기 3D 깊이 정보가 적용된 부가 영상을 상기 컨텐츠 영상과 함께 디스플레이하는 단계를 포함한다.

여기서, 상기 전송 스트림은, 3D 전송 스트림의 좌안 영상 또는 우안 영상에 해당하는 제1 전송 스트림 및 상기 3D 전송 스트림의 나머지 영상에 해당하는 제2 전송 스트림을 포함하는 2TS 전송 스트림(2 Transport Stream)일 수 있다.

이에 따라 메인 영상 뿐 아니라 부가 영상에도 3D 효과를 부여할 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 3D 영상 제공 시스템을 도시한 도면이다.
도 2a는 본 발명의 일 실시 예에 따른 입체영상표시장치의 구성을 나타내는 블럭도이다.
도 2b는 도 2a에 도시된 영상 처리부의 상세 구성을 나타내는 블럭도이다.
도 2c는 도 2a에 도시된 부가 영상 처리부의 상세 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 입체영상표시장치의 구현 예를 설명하기 위한 도면이다.
도 4a 내지 4c는 본 발명의 이해를 돕기 위한 3D 오프셋 값의 개념을 설명하기 위한 도면들이다.
도 5a는 본 발명의 일 실시 예에 따른 3D 정보 삽입 형태를 설명하기 위한 도면이다.
도 5b는 본 발명의 일 실시 예에 따른 오프셋 메타 데이터 형식을 나타내는 도면이다.
도 5c는 본 발명의 일 실시 예에 따른 3D 정보 삽입 방법을 설명하기 위한 도면이다.
도 6a 내지 도 6c는 본 발명의 다양한 실시 예에 따른 부가 영상의 3D 적용 방법을 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시 예에 따른 디스플레이 방법을 설명하기 위한 흐름도이다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 3D 영상 제공 시스템을 도시한 도면이다. 도시된 바와 같이, 3D 영상 제공 시스템은 3차원 영상을 화면에 표시하기 위한 입체영상표시장치(100) 및 3차원 영상을 시청하기 위한 3D 안경(200)으로 구성된다.

입체영상표시장치(100)는 3차원 영상을 디스플레이하거나, 2차원 영상 및 3차원 영상을 모두 디스플레이하도록 구현될 수 있다.

입체영상표시장치(100)가 2차원 영상을 디스플레이하는 경우 기존의 2차원 디스플레이 장치와 동일한 방법을 이용할 수 있으며, 3차원 영상을 디스플레이하는 경우 수신된 2차원 영상을 3차원 영상으로 변환하여 화면에 표시할 수 있다. 경우에 따라서는 카메라 등의 촬상장치로부터 수신된 3차원 영상 또는 카메라에 의해 촬영되어 방송국에서 편집/가공된 후 방송국에서 송출된 3차원 영상을 수신하고, 수신된 3차원 영상을 처리한 후 이를 화면에 표시할 수 있다.

특히, 입체영상표시장치(100)는 3차원 영상의 포맷을 참조하여, 좌안 영상과 우안 영상을 가공하고, 가공된 좌안 영상과 우안 영상이 시분할되어 교번적으로 디스플레이되도록 할 수 있다. 사용자는 디스플레이 장치(100)에 표시되는 좌안 영상 및 우안 영상을 3D 안경(200)을 이용하여 왼쪽 눈과 오른쪽 눈으로 번갈아 봄으로써 3차원 영상을 시청할 수 있게 된다.

일반적으로 사람의 좌, 우안은 하나의 입체 대상물을 관찰할 때 서로 미세하게 다른 위치에서 보게 되므로 관찰자는 좌, 우안을 통해 서로 미세하게 다른 영상 정보를 인식하게 된다. 관찰자는 이렇게 서로 미세하게 다른 영상 정보를 조합하여 입체 대상물에 대한 깊이 정보를 획득하고, 입체감을 느끼게 된다.

본 입체영상표시장치(100)는 관찰자가 실제로 입체 대상물을 관찰할 때 관찰자의 좌, 우안이 보게 되는 영상을 관찰자에게 제공함으로써 관찰자로 하여금 입체 영상을 느끼게 한다. 이 때, 관찰자의 좌, 우안이 보게 되는 영상의 차이를 디스패러티(disparity)라 한다. 이러한 디스패러티가 양의 값을 갖는 경우 관찰자는 입체 대상물이 소정의 기준 면보다 관찰자 방향으로 가까이 위치하는 것으로 느끼게 되며, 디스패리티가 음의 값을 갖는 경우 관찰자는 입체 대상물이 관찰자 반대 방향으로 멀리 위치하는 것으로 느끼게 된다.

3D 안경(200)은 액티브 타입의 셔터 글래스(shutter glass)으로 구현될 수 있다. 셔터 글래스 방식은 양쪽 눈의 시차를 이용한 디스플레이 방법으로서, 디스플레이 장치의 영상 제공과 3D 안경 좌우 양안의 온-오프를 동기화하여, 각각 다른 각도에서 관찰된 영상이 두뇌작용으로 인한 공간감을 인식하도록 하는 방식이다.

셔터 글래스 방식의 원리는 입체영상표시장치(100)에서 재생되는 좌?우 영상 프레임과 3D 안경(200)에 장착된 셔터를 동기화하는 방식이다. 즉 입체영상표시장치(100)의 좌?우 영상 동기 신호에 따라 안경의 좌?우측 글래스가 선택적으로 개폐되면서 3D 입체 영상이 만들어질 수 있다.

한편, 입체영상표시장치(100)는 화면에 3차원 영상과 함께 3차원 UI(User Interface)(특히, GUI:Graphic User Interface)를 표시할 수 있다. 여기서, GUI는 디스플레이상에 표시되는 아이콘이나 메뉴를 선택함으로서 사용자명령을 입력하는 수단을 말한다. 예를 들어, 사용자는 GUI를 통해 디스플레이에 표시되는 메뉴, 리스트, 아이콘 등을 참조하여 커서를 이동시키고, 커서가 위치한 항목 등을 선택할 수 있다.

입체영상표시장치(100)는 3차원 효과를 위해 좌안 GUI와 우안 GUI의 시차만을 조절하여 3차원 GUI를 구현할 수 있게 되어, 별도의 이미지 처리 과정(스케일링, 텍스쳐, 원근감 효과 처리 등)을 거칠 필요 없이 3차원 GUI를 제공할 수 있다.

도 2a는 본 발명의 일 실시 예에 따른 입체영상표시장치의 구성을 나타내는 블럭도이다.

한편, 도 2a에서는 입체영상표시장치(100)가 3D TV인 것으로 도시하였으나, 이는 일 실시 예에 불과하며, 본 입체영상표시장치(100)는 디지털 TV, 이동통신 단말기, 이동 전화기, 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone), 블루레이(Blu-ray) 기기, 디지털 멀티미디어 방송(DMB, Digital Multimedia Broadcasting) 폰, MP3 플레이어, 오디오(Audio) 기기, 휴대용 텔레비전, 디지털 카메라 등과 같이 3D UI 요소의 디스플레이가 가능한 모든 장치들로 구현가능하다.

영상 수신부(110)는 방송국 또는 위성으로부터 유선 또는 무선으로 수신되는 컨텐츠 영상 및 부가 영상을 포함하는 스트림을 수신하여 복조한다. 여기서, 컨텐츠 영상은 2TS 스트림 중 베이스 전송 스트림(Base TS)에 대응되며, 부가 영상은 디펜던트 전송 스트림(Dependent TS)에 대응될 수 있다. 이에 따라 입체영상표시장치(100)에서는 베이스 전송 스트림(Base TS) 및 디펜던트 전송 스트림(Dependent TS)림이 교번적으로 재생되면서 영상 신호가 3D로 재생될 수 있게 된다.

여기서, 베이스 전송 스트림(Base TS)은 영상 신호의 기본이 되는 데이터로서, 3D 영상 신호의 재생에 이용될 뿐만 아니라 2D 영상 신호를 재생시에도 이용될 수 있다.

한편, 베이스 전송 스트림(Base TS)이 좌안 영상 신호 또는 우안 영상 신호에 해당하는 전송 스트림인 경우, 디펜던트 전송 스트림(Dependent TS)은 베이스 전송 스트림(Base TS)과 반대 쪽의 영상 신호에 해당하는 전송 스트림일 수 있다.

여기서, 베이스 전송 스트림(Base TS)은 비디오 데이터, 오디오 데이터, 자막 데이터, 애플리케이션 데이터 중 적어도 하나를 포함할 수 있다.

또한, 디펜던트 전송 스트림은 베이스 전송 스트림에 대응되는 3D 깊이 정보, 예를 들어 3D 오프셋(offset) 값들을 포함할 수 있다. 이 경우, 3D 오프셋(offset) 값들은 GOP(Group of Picture) 단위로 각 프레임 별로 설정될 수 있다.

또한, 영상 수신부(110)는 카메라 등의 외부기기와 연결되어 외부기기로부터 3D 영상을 입력받을 수 있다. 외부기기는 무선으로 연결되거나 S-Video, 컴포넌트, 컴포지트, D-Sub, DVI, HDMI 등의 인터페이스를 통해 유선으로 연결될 수 있다. 한편, 2D 영상 처리 방법은 당업자에게 자명한 사항이므로 이하에서는 3D 영상 처리 방법을 중심으로 설명하도록 한다.

상술한 바와 같이, 3D 영상은 적어도 하나의 프레임으로 구성된 영상으로서, 하나의 영상 프레임에 좌안 영상과 우안 영상이 포함되거나 각 프레임이 좌안 영상 또는 우안 영상으로 구성된 영상을 의미한다. 즉, 3D 영상은, 다양한 3D 포맷들 중 하나에 따라 생성된 영상이다.

따라서, 영상 수신부(110)로 수신되는 3D 영상은 다양한 포맷으로 될 수 있으며, 특히, 일반적인 탑-바톰(top-bottom) 방식, 사이드 바이 사이드(side by side) 방식, 수평 인터리브(horizontal interleave) 방식, 수직 인터리브(vertical interleave) 방식 또는 체커보드(checker board) 방식, 시퀀셜 프레임(sequential frame) 중 하나에 따른 포맷으로 될 수 있다.

영상 수신부(110)는 수신된 2D 영상 또는 3D 영상을 영상 처리부(120)로 전달한다.

영상 처리부(120)는, 영상 수신부(110)로 수신된 2D 영상 또는 3D 영상에 대해 비디오 디코딩, 포맷 분석, 비디오 스케일링 등의 신호처리 및 GUI(Graphic User Interface) 부가 등의 작업을 수행한다.

특히, 영상 처리부(120)는 영상 수신부(110)로 입력된 2D 영상 또는 3D 영상의 포맷을 이용하여, 한 화면의 크기(예를 들어, 1920*1080)에 해당하는 좌안 영상과 우안 영상을 각각 생성한다.

예를 들어, 3D 영상의 포맷이 탑-바톰(top-bottom) 방식, 사이드 바이 사이드(side by side) 방식, 수평 인터리브(horizontal interleave) 방식, 수직 인터리브(vertical interleave) 방식 또는 체커보드(checker board) 방식, 시퀀셜 프레임(sequential frame)에 따른 포맷일 경우, 영상 처리부(120)는 각 영상 프레임에서 좌안 영상 부분과 우안 영상 부분을 각각 추출하여, 추출된 좌안 영상과 우안 영상을 확대 스케일링 또는 보간함으로써, 사용자에게 제공하기 위한 좌안 영상과 우안 영상을 각각 생성하게 된다.

또한, 3D 영상의 포맷이 일반적인 프레임 시퀀스 방식일 경우, 영상 처리부(220)는 각 프레임에서 좌안 영상 또는 우안 영상을 추출하여 사용자에게 제공하기 위한 준비를 하게 된다.

한편, 입력된 3D 영상의 포맷에 대한 정보는 3D 영상 신호에 포함되어 있을 수도 있고 포함되어 있지 않을 수도 있다.

예를 들어, 입력된 3D 영상의 포맷에 대한 정보가 3D 영상 신호에 포함되어 있는 경우, 영상 처리부(120)는 3D 영상을 분석하여 포맷에 대한 정보를 추출하고, 추출된 정보에 따라 수신된 3D 영상을 처리하게 된다. 반면, 입력된 3D 영상의 포맷에 대한 정보가 3D 영상 신호에 포함되어 있지 않은 경우, 영상 처리부(120)는 사용자로부터 입력된 포맷에 따라 수신된 3D 영상을 처리하거나 미리 설정된 포맷에 따라 수신된 3D 영상을 처리하게 된다.

영상 처리부(120)는 추출된 좌안 영상과 우안 영상을 시분할하여 교번적으로 디스플레이부(130)로 전달한다. 즉, 영상 처리부(120)는 '좌안 영상(L1) -> 우안 영상(R1) -> 좌안 영상(L2) -> 우안 영상(R2) -> …'의 시간적 순서로 좌안 영상과 우안 영상을 디스플레이부(130)로 전달한다.

정보 검출부(130)는 메인 영상 신호에 설정된 3D 깊이 정보를 검출하는 기능을 한다. 여기서, 3D 깊이 정보는 offset metadata, XML, section table, descriptor 등 다양한 형태로 제공될 수 있다.

부가 영상 처리부(140)는 컨텐츠 데이터에 설정된 3D 깊이 정보에 따라 컨텐츠 데이터 외의 부가 데이터를 처리하는 기능을 한다. 여기서, 부가 데이터는 호사 자체 UI와 같은 어플리케이션 데이터, PIP용 데이터 등 소정 규격에 따라 3D 깊이 정보가 설정되지 않는 다양한 종류의 데이터가 될 수 있다.

디스플레이부(150)는 영상 처리부(120)에서 출력되는 좌안 영상과 우안 영상을 교번적으로 출력하여 사용자에게 제공한다.

또한, 디스플레이부(150)는 3D 깊이 정보가 적용된 부가 데이터를 컨텐츠 데이터와 함께 디스플레이할 수 있다. 여기서, 부가 데이터는 대응되는 컨텐츠 데이터와 동일한 3D 깊이 정보를 갖고 디스플레이될 수 있다.

제어부(160)는 사용자 명령 또는 기설정된 옵션에 따라 입체영상표시장치(100)의 전반적인 동작을 제어한다.

특히, 제어부(160)는 영상 수신부(110) 및 영상 처리부(120)를 제어하여, 3D 영상이 수신되고, 수신된 3D 영상이 좌안 영상과 우안 영상으로 분리되며, 분리된 좌안 영상과 우안 영상 각각이 하나의 화면에서 디스플레이될 수 있는 크기로 스케일링 또는 보간되도록 제어한다.

또한, 제어부(160)는 디스플레이부(150)를 제어하여 디스플레이부(150)를 통해 제공되는 영상의 편광 방향이 좌안 영상 또는 우안 영상에 일치되게 스위칭되도록 할 수 있다.

또한, 제어부(160)는 후술하는 UI 처리부(미도시)의 동작을 제어할 수 있다.

UI 처리부(미도시)는 디스플레이부(130)에 출력되는3D 영상에 오버랩되어 표시되는 3차원 UI 요소를 생성하여 3차원 영상에 삽입할 수 있다.

구체적으로, UI 처리부(미도시)는 컨텐츠 영상에 대응되도록 기설정된 깊이 정보를 이용하여 UI에 3D 효과를 부여할 수 있다.

또한, UI 처리부(미도시)는 UI 요소들의 실행 순서, 속성 등에 따라 서로 상이한 깊이 값을 설정하여 생성할 수 있다. 여기서, 깊이 값은 3차원 영상에서 깊이감의 정도를 나타내는 수치를 의미한다. 3차원 영상은 화면상의 상하좌우의 위치뿐만 아니라 시청자의 시선 방향인 앞뒤 방향의 위치에 해당되는 깊이감도 표현할 수 있다. 이 때, 깊이감은 좌안 영상과 우안 영상 사이의 시차(disparity)에 의해 결정된다. 따라서, 3차원 컨텐츠 리스트 GUI의 깊이값은 좌안 GUI와 우안 GUI 사이의 시차에 대응되게 된다.

여기서, UI 요소는 디스플레이 화면 상에 메뉴 화면, 경고 문구, 시간이나 채널번호 등의 문자나 도형 등을 표시하는 화면으로 디스플레이 영상에 오버랩되어 표시될 수 있다.

예를 들어, 기설정된 옵션 또는 이벤트에 따라 경고 문구가 OSD 형태의 UI 요소로 표시될 수 있다.

또는, 사용자가 원하는 기능을 메뉴들로부터 선택하기 위해 조작 패널이나 리모트 컨트롤러와 같은 입력 장치들을 조작함에 따라, 디스플레이 화면 상에 메인 메뉴, 서브 메뉴 등이 OSD 형태의 UI 요소로 표시될 수 있다.

이러한 메뉴들은 디스플레이 장치에서 선택할 수 있는 옵션 항목들을 포함하거나, 디스플레이 장치의 기능을 조정할 수 있는 항목들을 포함할 수 있다.

또한, UI 처리부(미도시)는 제어부(160)의 제어에 따라 UI 요소의 2D/3D 전환, 투명도, 색상, 크기, 형태 및 위치 조정, 하이라이트, 애니메이션 효과 등의 작업을 수행할 수 있다.

저장부(미도시)는 입체영상표시장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어 저장부는 제어부(160)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(160)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.

사용자 인터페이스부(미도시)는 리모콘, 입력 패널 등의 입력수단으로부터 수신되는 사용자 명령을 제어부(160)로 전달한다.

여기서, 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치스크린(Touch Screen) 방식으로 이루어질 수 있다.

한편, 본 입체영상표시장치(100)에 전송 스트림을 제공하는 전송 스트림 생성장치(미도시)는 제1전송 스트림 전송부(미도시) 및 제2전송 스트림 전송부(미도시) 및 이에 의해 전송되는 제1 전송 스트림(베이스 전송 스트림) 및 제2 전송 스트림(디펜던트 전송 스트림)을 다양한 모듈레이션 방식으로 변조하는 변조부(미도시)를 포함하는 형태로 구성될 수 있다.

또는, 네트워크 환경에 따라 변조부(미도시)를 포함하지 않을 수 있으며, 이 경우, 제1전송 스트림 전송부(미도시) 및 제2전송 스트림 전송부(미도시)가 변조부(미도시)의 역할을 수행할 수 있다.

또한, 변조부(미도시)는 전송 스트림 전송부(미도시) 및 제2전송 스트림 전송부(미도시)에 대응하여 구비될 수 있다. 다시 말해, 제1 전송 스트림 전송부(미도시)에 대응하여 하나의 변조부(미도시)가 구비되고, 제2 전송 스트림 전송부(미도시)에 대응하여 다른 하나의 변조부(미도시)가 구비될 수 있는 것이다.

일 실시 예에 있어서, 변조부(미도시는 ASK(Amplitude-shift keying) 방식,FSK(Frequency-shift keying) 방식, PSK(Phase-shift keying) 방식, QAM(Quadrature amplitude modulation) 방식 등 다양한 방식으로 제1 전송 스트림 및 제2 전송 스트림을 변조할 수 있다.

도 2b는 도 2a에 도시된 영상 처리부의 상세 구성을 나타내는 블럭도이다.

도 2b에 따르면, 영상 처리부(120)는 제1 및 제2 복조부(121-1, 121-2), 제1 및 제2 디먹스(122-1, 122-2), 제1 및 제2 디코더(123-1, 123-2)를 포함한다.

제1 및 제2 복조부(121-1, 121-2)는 수신된 신호를 복조하여 전송 스트림으로 변환하는 기능을 한다. 여기서, 제1 및 제2 복조부(121-1, 121-2)는 제1 전송 스트림 및 제2 전송 스트림에 대응되도록 구비될 수 있다.

제1 및 제2 디먹스(122-1, 122-2)는 제1 및 제2 복조부(121-1, 121-2)에 의해 복조된 전송 스트림을 분석하여 제1 전송 스트림 및 제2 전송 스트림으로 분리하고, 분리된 제1 전송 스트림 및 제2 전송 스트림을 각각 제1 및 제2 디코더(123-1, 123-2)로 제공한다. 여기서, 제1 및 제2 디코더(123-1, 123-2)는 각각 메인 비디오 디코더(123-1) 및 보조 디코더(123-2)가 될 수 있다.

여기서, 제1 및 제2 디먹스(122-1, 122-2)는 복수인 경우로 도시되었으나, 경우에 따라서는, 하나의 디먹스가 그 기능을 수행하도록 구현되는 것도 가능하다.

또한, 제1 및 제2 디먹스(122-1, 122-2)는 전송 스트림의 PID(Packet Identifier) 등의 분석을 통하여 제1 및 제2 전송 스트림을 각각 비디오 데이터 및 비디오 데이터를 분리할 수 있다.

제1 및 제2 디코더(123-1, 123-2)는 제1 및 제2 디먹스(122-1, 122-2)로부터 제공된 데이터를 디코딩한다. 여기서, 제1 및 제2 디코더(123-1, 123-2)는 예를 들어, 제1 및 제2 디먹스(122-1, 122-2)를 통해 분리된 제1 전송 데이터 및 제2 전송 데이터를 각각 디코딩할 수 있다.

또한, 비디오 디코더에서는 H.264, AVC, MVC 등과 같은 Codec을 설정하고, Demux를 설정하여 구동을 시작할 수 있으며, 해당 비디오 PID를 설정하여 비디오와 오디오 데이터의 처리를 시작하고 디코딩된 데이터가 디스플레이되도록 할 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 상술한 입체영상표시장치(100)는 PVR(Personal Video Recorder) 또는 DVR(Digital Video Recorder)와 같이 수신된 스트림을 재생하는 전송 스트림 재생 장치로 구현될 수 있다.

도 2c는 도 2a에 도시된 부가 영상 처리부의 상세 구성을 나타내는 블럭도이다.

도 2c에 따르면, 부가 영상 처리부(120)는 어플리케이션 처리부(141) 및 PIP 처리부(142)를 포함할 수 있다.

어플리케이션 처리부(141)는 정보 검출부(130)를 통해 검출된 3D 깊이 정보를 어플리케이션 데이터에 적용하여 처리하는 기능을 한다. 여기서, 어플리케이션 데이터는 OSD(예를 들어 회사 자체 UI)와 같은 컨텐츠 데이터에 포함되지 않은 UI 데이터가 될 수 있다.

PIP 처리부(142)는 정보 검출부(130)를 통해 검출된 3D 깊이 정보를 PIP 화면에 적용하는 기능을 한다.

이에 따라 OSD 및 PIP 화면과 같이 방송 신호 표준에 따라 3D 오프셋 값이 설정되지 않는 데이터에 대해서도 3D 효과를 부여할 수 있게 된다.

도 3은 본 발명의 일 실시 예에 따른 입체영상표시장치의 구현 예를 설명하기 위한 도면이다.

디먹스(122-1, 122-2)는 수신되어 복조된 전송 스트림을 제1 전송 스트림 및 제2 전송 스트림으로 분리한다. 여기서, 제1 전송 스트림 및 제2 전송 스트림은 Base 스트림과 Dependant 스트림으로 구현될 수 있다. 이 경우 Base 스트림은 AVC 코덱 형태로 제공되고, Dependant 스트림은 MVC(Multiview Video Coding) 코덱 형태로 제공될 수 있다. 통상 스트림 내의 컨텐츠에 대한 뎁쓰(depth)를 조절하기 위해 Dependant 스트림 내에 3D의 심도를 표기하는 메타 데이터가 제공된다. 그 중 대표적인 것이 오프셋 메타 데이터(offset metadata)이다.

한편, 디먹스(122-1, 122-2)는 도시된 바와 같이 각 스트림에 대응되는 복수 개로 구현될 수도 있으나, 경우에 따라서는 하나의 디먹스가 기능을 수행하도록 구현하는 것도 가능하다.

디먹스(122-1, 122-2)에서 분리된 제1 전송 스트림 및 제2 전송 스트림을 각각 디코더(123-1) 및 MVC 디코더(123-2)로 제공된다.

디코더(123-1) 및 MVC 디코더(123-2)에서 처리된 스트림은 각각 메인 비디오 플레인(151) 및 메인 비디오 플레인(512)로 제공될 수 있다. 여기서, 메인 비디오 플레인(151) 및 메인 비디오 플레인(512)은 각각 우안 영상 및 좌안 영상이 될 수 있으며, 그 반대의 경우도 가능하다.

한편, 오프셋 데이터 파서(130)는 디먹스(122-2)에서 분리된 Dependant 스트림으로부터 오프셋 메타 데이터(offset metadata)를 추출하여 오프셋 값(offset value)을 파싱하는 기능을 한다.

오프셋 데이터 파서(130)에서 파싱된 오프셋 값은 어플리케이션 프로세서(141) 및 PIP 제어부(142)로 제공된다.

어플리케이션 프로세서(141)는 OSD, UI와 같은 어플리케이션 영상에 오프셋 데이터 파서(130)에 의해 파싱된 오프셋 값(offset value)을 적용하여 그래픽 플레인(153, 514)으로 제공함으로써 3D 효과를 부여할 수 있다. 여기서, 그래픽 플레인(153)은 좌안 영상에, 그래픽 플레인(154)은 우안 영상에 대응될 수 있다.

또한, PIP 컨트롤러(142)는 PIP 화면에 오프셋 데이터 파서(130)에 의해 파싱된 오프셋 값(offset value)을 적용하여 비디오 플레인(155)으로 제공함으로써 3D 효과를 부여할 수 있다.

도 4a 내지 4c는 본 발명의 이해를 돕기 위한 3D 오프셋 값의 개념을 설명하기 위한 도면들이다.

도 4a에 따르면, 오프셋 값(offset value)는 사용자가 보여지는 화면 중에 초점을 맞추어야 하는 지점을 표현하기 위한 값으로 오프셋 값을 그래픽 Plane 등에 적용하여 3D 효과를 제어할 수 있다.

도 4b에 따르면, 좌우측 영상(410, 420)에 있어서 좌우측으로 오프셋만큼 그래픽 Plane을 이동(411, 421)하는 경우 영상은 오프셋 값에 따라 앞으로 돌출되어 보일 수 있고, 뒤로 들어간 것처럼 보일 수도 있다(410', 420').

도 5a는 본 발명의 일 실시 예에 따른 3D 정보 삽입 형태를 설명하기 위한 도면이다.

도 5a에 따르면, 2TS를 이용한 3D 스트림 재생은 Base 스트림과 Dependant 스트림을 이용하여 재생된다. 이 경우 Base 스트림은 AVC 코덱 형태로 제공되고, Dependant 스트림은 MVC(Multiview Video Coding) 코덱 형태로 제공될 수 있다. 통상 스트림 내의 컨텐츠에 대한 뎁쓰(depth)를 조절하기 위해 Dependant 스트림 내에 3D의 심도를 표기하는 메타 데이터가 제공된다. 그 중 대표적인 것이 오프셋 메타 데이터(offset metadata)이다.

오프셋 메타 데이터는 오프셋 값의 모음으로 각 프레임마다 적용되어야 하는, 즉 사람이게 초점이 맞아야 하는 값을 명시한다. 각 프레임 별로 오프셋 값은 달라질 수 있다.

도 5b는 본 발명의 일 실시 예에 따른 오프셋 메타 데이터 형식을 나타내는 도면이다.

도 5b에 도시된 바와 같이 블루레이 규격의 경우 오프셋 메타 데이터를 사용한다. 하지만, 오프셋 값은 XML, 섹션 테이블(Section table), 디스크립터descriptor) 등의 형태로 제공될 수도 있다.

블루레이 규격의 경우의 경우 도 5에 도시된 바와 같은 오프셋 값들이 각 프레임마다 적용되고, 스트림 내의 컨텐츠 들은 이러한 값에 따라 움직이게 된다.

도 5c는 본 발명의 일 실시 예에 따른 3D 정보 삽입 방법을 설명하기 위한 도면이다.

도 5c에서는 설명의 편의를 위하여 BD 규격에서 사용되는 M2TS 기준으로 설명한다. 하지만, 방송 신호 표준에 따라 오프셋 데이터가 실려오는 데이터의 형태는 상이할 수도 있다. 예를 들어, XML 형태가 될 수도 있고, Bit 단위로 열거된 섹션 테이블 형태가 될 수도 있다. 또는 부가적으로 제공되는 디스크립터 형태가 될 수도 있다.

도 5c에 도시된 바와 같이 BD 규격에 따르면, 스트림 내에서 Offset_metadata()를 획득한다. Offset_metadata()는 통상 GOP(group of pictures)의 앞쪽에 위치할 수 있다.

이렇게 추출된 Offset_metadata를 통해 적용될 프레임의 리스트와 offset value를 획득할 수 있다.

일 예로, PTS가 10,000부터 20,000까지 100장의 프레임에 연속으로 삽입되어있다고 하면, 100개의 offset value가 생성될 수도 있고 그의 값들은 각각 상이할 수 있다. 이렇게 형성된 offset value list는 해당 Start PTS 10,000에 도달하게 되면 10,000에 해당하는 프레임부터 offset을 적용하게 된다.

이렇게 적용될 offset값은 사용자 초점에 맞추는 대표값으로 간주할 수 있으며, 시스템에서 사용하는 PIP나 UI Resource 등로 해당 값으로 3D 효과를 적용할 수 있다.

도 6a 내지 도 6c는 본 발명의 다양한 실시 예에 따른 부가 영상의 3D 적용 방법을 설명하기 위한 도면들이다.

도 6a에 따르면, 일 예로 Text Subtilte(A1, B1, C1)을 제어하는 과정을 표현하고 있다. 이는 스트림 내의 데이터(자막)을 표현하고 있는 과정을 도시한 것이다. 도 6a에서는 대표적인 프레임들(A, B, C)만 나열하였으나, 매 프레임마다 도시된 바와 같이 사용자에게 보여지는 깊이 정도가 달라질 수 있다.

도 6a에 도시된 디스플레이 상태에서 OSD와 같은 UI(A2, B2, C2)를 표시하고자 하는 경우 오프셋 을 참조하지 않는 이상 일정한 깊이로 밖에 보여질 수 없다. 하지만, 도 6b에 도시된 바와 같이 오프셋 값을 참조한다면 OSD 등의 그래픽 이미지나 어플리케이션 이미지(A2, B2, C2)도 사용자 초점에 맞추어 동적으로 움직일 수 있게 된다.

또한, 도 6c에 도시된 바와 같이 PIP 영상을 나타내는 별도의 비디오 플레인에도 오프셋 값을 참조하여 Depth를 표현할 수 있다. 예를 들어, 오프셋 메타 데이터로부터 획득된 오프셋 값 및 방향값을 이용하여 PIP 화면을 움직일 수 있다.

도 7은 본 발명의 일 실시 예에 따른 디스플레이 방법을 설명하기 위한 흐름도이다.

도 7에 따르면, 입체영상표시장치의 영상표시방법은, 우선, 컨텐츠 영상 및 부가 영상을 포함하는 전송 스트림을 수신하면(S710), 컨텐츠 영상에 기 설정된 3D 깊이 정보를 검출한다(S720).

이어서, 부가 영상에 대해 검출된 3D 깊이 정보를 적용한다(S730).

이 후, 3D 깊이 정보가 적용된 부가 영상을 컨텐츠 영상과 함께 디스플레이한다(S740).

여기서, 전송 스트림은, 3D 전송 스트림의 좌안 영상 또는 우안 영상에 해당하는 제1 전송 스트림 및 상기 3D 전송 스트림의 나머지 영상에 해당하는 제2 전송 스트림을 포함하는 2TS 전송 스트림(2 Transport Stream)이 될 수 있다.

또한, 제1 전송 스트림은 베이스 전송 스트림(Base TS)에 대응되고, 제2 전송 스트림은 디펜던트 전송 스트림(Dependent TS)에 대응되며, 3D 깊이 정보는, 디펜던트 전송 스트림에 포함될 수 있다.

또한, 부가 영상은, OSD 영상, 어플리케이션 영상 및 PIP 영상 중 적어도 하나가 될 수 있다.

또한, 제1 전송 스트림 및 제2 전송 스트림은 교번적으로 디스플레이될 수 있다.

또한, 부가 영상은 대응되는 컨텐츠 영상과 동일한 3D 깊이 정보를 갖고 디스플레이될 수 있다.

또한, 3D 깊이 정보는, 전송 스트림을 구성하는 각 프레임 별로 설정될 수 있다.

이에 따라, OSD 등의 그래픽 이미지나, 어플리케이션 이미지, PIP 화면 디스플레이에 있어서도 3D 효과를 부여할 수 있게 된다.

한편, 상술한 영상표시방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.

또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 수신부 120: 영상 처리부
130: 정보 검출부 140: 부가 영상 처리부
150: 디스플레이부 160: 제어부

Claims

입체영상표시장치에 있어서,
컨텐츠 영상 및 부가 영상을 포함하는 전송 스트림을 수신하는 수신부;
상기 컨텐츠 영상에 기 설정된 3D 깊이 정보를 검출하는 정보 검출부;
상기 부가 영상에 대해 상기 검출된 3D 깊이 정보를 적용하는 부가 영상 처리부; 및
상기 3D 깊이 정보가 적용된 부가 영상을 상기 컨텐츠 영상과 함께 디스플레이하는 출력부;를 포함하는 입체영상표시장치.
제1항에 있어서,
상기 전송 스트림은,
3D 전송 스트림의 좌안 영상 또는 우안 영상에 해당하는 제1 전송 스트림 및 상기 3D 전송 스트림의 나머지 영상에 해당하는 제2 전송 스트림을 포함하는 2TS 전송 스트림(2 Transport Stream)인 것을 특징으로 하는 입체영상표시장치.
제2항에 있어,
상기 제1 전송 스트림은 베이스 전송 스트림(Base TS)에 대응되고, 상기 제2 전송 스트림은 디펜던트 전송 스트림(Dependent TS)에 대응되며,
상기 3D 깊이 정보는, 상기 디펜던트 전송 스트림에 포함된 것을 특징으로 하는 입체영상표시장치.
제1항에 있어서,
상기 부가 영상은,
OSD 영상, 어플리케이션 영상 및 PIP 영상 중 적어도 하나인 것을 특징으로 하는 입체영상표시장치.
제2항에 있어서,
상기 제1 전송 스트림 및 상기 제2 전송 스트림은 교번적으로 디스플레이되는 것을 특징으로 하는 입체영상표시장치.
제1항에 있어서,
상기 부가 영상은 대응되는 컨텐츠 영상과 동일한 3D 깊이 정보를 갖고 디스플레이되는 것을 특징으로 하는 입체영상표시장치.
제1항에 있어서,
상기 3D 깊이 정보는,
상기 전송 스트림을 구성하는 각 프레임 별로 설정되는 것을 특징으로 하는 입체영상표시장치.
입체영상표시장치의 영상표시방법에 있어서,
컨텐츠 영상 및 부가 영상을 포함하는 전송 스트림을 수신하는 단계;
상기 컨텐츠 영상에 기 설정된 3D 깊이 정보를 검출하는 단계;
상기 부가 영상에 대해 상기 검출된 3D 깊이 정보를 적용하는 단계; 및
상기 3D 깊이 정보가 적용된 부가 영상을 상기 컨텐츠 영상과 함께 디스플레이하는 단계;를 포함하는 영상표시방법.
제8항에 있어서,
상기 전송 스트림은,
3D 전송 스트림의 좌안 영상 또는 우안 영상에 해당하는 제1 전송 스트림 및 상기 3D 전송 스트림의 나머지 영상에 해당하는 제2 전송 스트림을 포함하는 2TS 전송 스트림(2 Transport Stream)인 것을 특징으로 하는 입영상표시방법.
제9항에 있어,
상기 제1 전송 스트림은 베이스 전송 스트림(Base TS)에 대응되고, 상기 제2 전송 스트림은 디펜던트 전송 스트림(Dependent TS)에 대응되며,
상기 3D 깊이 정보는, 상기 디펜던트 전송 스트림에 포함된 것을 특징으로 하는 영상표시방법.
제8항에 있어서,
상기 부가 영상은,
OSD 영상, 어플리케이션 영상 및 PIP 영상 중 적어도 하나인 것을 특징으로 하는 영상표시방법.
제9항에 있어서,
상기 제1 전송 스트림 및 상기 제2 전송 스트림은 교번적으로 디스플레이되는 것을 특징으로 하는 영상표시방법.
제8항에 있어서,
상기 부가 영상은 대응되는 컨텐츠 영상과 동일한 3D 깊이 정보를 갖고 디스플레이되는 것을 특징으로 하는 영상표시방법.
제8항에 있어서,
상기 3D 깊이 정보는,
상기 전송 스트림을 구성하는 각 프레임 별로 설정되는 것을 특징으로 하는 영상표시방법.