KR101899821B1 - 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법 - Google Patents

다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법 Download PDF

Info

Publication number
KR101899821B1
KR101899821B1 KR1020137013355A KR20137013355A KR101899821B1 KR 101899821 B1 KR101899821 B1 KR 101899821B1 KR 1020137013355 A KR1020137013355 A KR 1020137013355A KR 20137013355 A KR20137013355 A KR 20137013355A KR 101899821 B1 KR101899821 B1 KR 101899821B1
Authority
KR
South Korea
Prior art keywords
view
subtitle
image
dimensional
information
Prior art date
Application number
KR1020137013355A
Other languages
English (en)
Other versions
KR20130136478A (ko
Inventor
서종열
최지현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20130136478A publication Critical patent/KR20130136478A/ko
Application granted granted Critical
Publication of KR101899821B1 publication Critical patent/KR101899821B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 의한 다시점 3차원 방송 영상 처리 방법은 복수의 시점에 대한 3차원 방송 영상을 포함하고, 상기 3차원 방송 영상을 시그널링하기 위한 시그널링 데이터를 포함하는 방송 신호를 수신하는 단계, 상기 시그널링 데이터에 포함된, 복수의 시점에서의 서브타이틀 데이터를 시그널링하기 위한 다시점 서브타이틀 디스크립터로부터 특정 시점의 3차원 방송 영상을 식별하는 3차원 방송 영상 시점 정보를 파싱하고, 상기 3차원 방송 영상 시점 정보에 의하여 식별되는 특정 시점의 3차원 방송 영상을 위한 서브타이틀 데이터를 전송하는 방송 스트림 (stream) 의 패킷 식별자를 지정하는 다시점 서브타이틀 스트림 패킷 식별자 정보를 파싱하고, 상기 다시점 서브타이틀 스트림 패킷 식별자 정보에 의하여 식별되는 방송 스트림에 포함되는 특정 시점의 3차원 방송 영상을 위한 서브타이틀 데이터를 전송하는 세그먼트 (segment) 를 식별하는 다시점 서브타이틀 세그먼트 식별자 정보 파싱하는 단계, 상기 다시점 서브타이틀 세그먼트 식별자 정보에 의하여 식별된 세그먼트의 서브타이틀 데이터를 상기 3차원 방송 영상 시점 정보와 동일한 값을 가지는 특정 시점의 3차원 방송 영상에 적용하는 단계 및 상기 서브타이틀 데이터가 적용된 특정 시점의 3차원 방송 영상을 포함하는 복수의 시점에 대한 3차원 방송 영상을 출력하는 단계를 포함한다.

Description

다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법{RECEIVING DEVICE AND METHOD FOR RECEIVING MULTIVIEW THREE-DIMENSIONAL BROADCAST SIGNAL}
본 발명은 다시점 3D (3-dimentional) 방송 신호를 수신 처리하는 방법 및 장치에 관한 것이다.
보다 상세하게는 다시점 3차원 영상을 제공하는 방송 수신 환경에서 3D 방송 영상과 함께 각 시점에 대한 서브타이틀, 캡션 (caption) 및/또는 OSD (On Screen Display)를 처리하는 방법 및 장치에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 좌영상 (left view; 레프트 뷰) 이미지와 우안에서 시청되기 위한 우영상 (right view; 라이트 뷰) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
한편, 3차원 방송 영상은 제작자의 제작 의도에 맞게 방송 수신기에서 시청자에게 제공되어야 한다. 그러나, 방송 수신기에서의 3차원 영상은 방송을 시청하는 시청자의 위치, OSD, 서브타이틀 및/또는 캡션과 같은 방송 영상 이외의 디스플레이 내용 등에 따라 제작자가 의도한 내용과 다른 3차원 영상으로 시청자에게 보여질 수 있다.
본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 방송 수신기를 사용하여 3차원 방송 영상을 시청하는 시청자가 어느 위치에서 방송을 시청하고 있는 지와 관계없이 제작자가 의도한 3차원 영상을 시청할 수 있게 하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 3차원 영상과 함께 디스플레이되는 OSD, 서브타이틀 및/또는 캡션이 3차원 영상의 왜곡을 야기시키지 않도록 하는 것이다.
전술한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 다시점 3차원 방송 영상 처리 방법은 복수의 시점에 대한 3차원 방송 영상을 포함하고, 상기 3차원 방송 영상을 시그널링하기 위한 시그널링 데이터를 포함하는 방송 신호를 수신하는 단계, 상기 시그널링 데이터에 포함된, 복수의 시점에서의 서브타이틀 데이터를 시그널링하기 위한 다시점 서브타이틀 디스크립터로부터 특정 시점의 3차원 방송 영상을 식별하는 3차원 방송 영상 시점 정보를 파싱하고, 상기 3차원 방송 영상 시점 정보에 의하여 식별되는 특정 시점의 3차원 방송 영상을 위한 서브타이틀 데이터를 전송하는 방송 스트림 (stream) 의 패킷 식별자를 지정하는 다시점 서브타이틀 스트림 패킷 식별자 정보를 파싱하고, 상기 다시점 서브타이틀 스트림 패킷 식별자 정보에 의하여 식별되는 방송 스트림에 포함되는 특정 시점의 3차원 방송 영상을 위한 서브타이틀 데이터를 전송하는 세그먼트 (segment) 를 식별하는 다시점 서브타이틀 세그먼트 식별자 정보 파싱하는 단계, 상기 다시점 서브타이틀 세그먼트 식별자 정보에 의하여 식별된 세그먼트의 서브타이틀 데이터를 상기 3차원 방송 영상 시점 정보와 동일한 값을 가지는 특정 시점의 3차원 방송 영상에 적용하는 단계 및 상기 서브타이틀 데이터가 적용된 특정 시점의 3차원 방송 영상을 포함하는 복수의 시점에 대한 3차원 방송 영상을 출력하는 단계를 포함할 수 있다.
바람직하게는, 상기 다시점 서브타이틀 디스크립터에 포함되는, 특정 시점의 3차원 방송 영상에 적용되는 서브타이틀 데이터의 특성을 가리키는 다시점 서브타이틀 특성 정보를 파싱하는 단계를 더 포함하고, 상기 다시점 서브타이틀 특성 정보는, 상기 3차원 방송 영상에 적용되는 서브타이틀 데이터가 2차원 방송 영상을 위한 서브타이틀 데이터에 추가되어 사용되는 특성; 상기 3차원 방송 영상에 적용되는 서브타이틀 데이터가 2차원 방송 영상을 위한 서브타이틀 데이터의 일부를 교체하여 사용되는 특성; 및 상기 3차원 방송 영상에 적용되는 서브타이틀 데이터가 2차원 방송 영상을 위한 서브타이틀 데이터를 대체하여 사용되는 특성; 을 포함하는 특성 중 적어도 어느 하나를 가리키는 것을 특징으로 할 수 있다.
바람직하게는, 상기 다시점 서브타이틀 디스크립터는, 프로그램 맵 테이블 (Program Map Table; PMT), 버추어 채널 테이블 (Virtual Channel Table; VCT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT)에 포함될 수 있다.
바람직하게는, 상기 복수의 시점에 대한 3차원 방송 영상에 포함되는 각각의 시점에 대한 3차원 방송 영상에 대한 가장 큰 디스패리티 (disparity) 값을 나타내는 최대 디스패리티 정보 및 상기 복수의 시점에 대한 3차원 방송 영상에 포함되는 각각의 시점에 대한 3차원 방송 영상에 대한 가장 적은 디스패리티 (disparity) 값을 나타내는 최소 디스패리티 정보를 파싱하는 단계를 포함할 수 있다.
바람직하게는, 상기 각각의 시점에 대한 3차원 방송 영상에서 OSD (On Screen Display) 를 표출하기 위한 OSD 디스패리티 값을 계산하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 OSD 디스패리티 값은, 상기 각각의 시점에 대한 3차원 방송 영상의 최소 디스패리티 정보들이 나타내는 디스패리티 값 중 가장 적은 선택하여 계산되는 것을 특징으로 할 수 있다.
또한, 본 발명의 일 실시예에 따른, 다시점 3차원 방송 수신기는 전술한 방법을 수행하는 장치를 포함할 수 있다.
본 발명에 따르면, 제작자가 의도한 입체감을 가진 다시점 3차원 영상 서비스를 방송망을 통해 시청자가 제공받을 수 있는 효과가 있다.
본 발명에 따르면, 시청자의 위치 또는 3차원 영상의 시점에 관계없이 OSD, 서브타이틀 및/또는 캡션을 3차원 영상의 왜곡을 야기시키지 않고, 3차원 영상과 함께 디스플레이 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다시점 3차원 영상 방송에서 OSD, 서브타이틀 및/또는 캡션 서비스를 위한 메타데이터를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 다시점 3차원 영상에서 비디오/그래픽(OSD)/서브타이틀/캡션 출력을 구현하는 블록을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 다시점 3차원 영상을 위한 비디오/그래픽(OSD)/서브타이틀/캡션 출력을 구현하는데 사용되는 메타데이터 (metadata)를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 다시점 3차원 서비스를 구성하는 요소를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, 단일 3DTV 디스플레이 케이스의 평면도를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, 다시점 3DTV 디스플레이 케이스의 평면도를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 다수의 시청자가 존재하는 경우에 있어서, 다시점 3DTV 디스플레이 케이스의 평면도를 나타낸 도면이다
도 8은 본 발명의 일 실시예에 따른, Multiview_descriptor에 포함된 상세 정보를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른, Multiview_service_descriptor 를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른, Multiview_element_descriptor 를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, Multiview_subtitle_descriptor를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른, Multiview_caption_descriptor를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른, single user mode에서의 OSD 디스플레이 제어를 나타낸 도면이다.
도 14는 본 발명의 다른 실시예에 따른, single user mode에서의 OSD 디스플레이 제어를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른, single user mode에서의 서브타이틀/캡션 디스플레이 제어를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른, multiple user mode에서의 OSD 디스플레이 제어를 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른, multiple user mode에서의 서브타이틀/캡션 디스플레이 제어를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른, 다시점 3차원 영상 수신기를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른, 복수의 시점에 대한 3차원 방송 영상을 수신 처리하는 방법을 나타낸 순서도이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지와 라이브 뷰 이미지의 한 쌍의 이미지를 사용한다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다.
이하에서 설명하는 다시점 3차원 영상은 위에서 언급한 3개 이상의 이미지 가운데 각 시점의 3차원 영상에 포함되는 2개의 이미지를 선택하여 다양한 시점에서의 3차원 영상을 시청자에게 제공할 수 있다. 이를 3차원 영상 서비스라고 칭하며 이후 multiview service와 동일한 의미로 사용된다.
도 1은 본 발명의 일 실시예에 따른 다시점 3차원 영상 방송에서 OSD, 서브타이틀 및/또는 캡션 서비스를 위한 메타데이터를 나타낸 도면이다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 다시점 3차원 영상 방송에서 OSD, 서브타이틀 및/또는 캡션 서비스를 위한 메타데이터는 Number of 3D views 엘레먼트, View ID 엘레먼트, Depth range 엘레먼트, Left Camera ID 엘레먼트, Right Camera ID 엘레먼트, 및/또는 Caption / Subtitle position & disparity 엘레먼트를 포함할 수 있다.
Number of 3D views 엘레먼트는 프로그램 레벨에서 제공되며 3차원 영상 프로그램에서 제공하는 3차원 시점의 개수를 의미한다.
View ID 엘레먼트는 3차원 시점 단위로 제공되며, 각 3차원 시점에 대한 고유의 식별자를 나타낸다.
Depth range 엘레먼트는 3차원 시점 단위로 제공되며, 각 3차원 시점에서 제공하는 3차원 입체 영상의 최소 및 최대 격차(disparity; 디스패리티)를 나타낸다. 또는 각 3차원 시점의 depth budget을 나타낸다. 본 발명의 일 실시예에 따르면, 디스패리티는 3차원 영상에 포함되는 좌영상과 우영상의 각각에서 동일한 지점을 표현하는 픽셀의 수평적 위치의 차이를 나타내는 것으로 정의될 수 있다. 예를 들면, 디스패리티 값이 클수록 3차원 사물은 시청자에게서 멀어져 보이고, 디스패리티 값이 적을수록 3차원 사물은 시청자에세 가깝게 보인다.
Left Camera ID 엘레먼트는 3차원 시점 단위로 제공되며, 3차원 시점을 만드는 과정에서 좌 영상에 해당하는 데이터를 취득한 카메라의 식별자(identifier, ID)를 의미한다. 카메라의 위치 파악이 목적이며, 카메라의 정확한 물리적 위치 파악을 위해서 해당 카메라에 대한 intrinsic 및 extrinsic 파라미터를 별도로 전송한다.
Right Camera ID 엘레먼트는 3차원 시점 단위로 제공되며, 3차원 시점을 만드는 과정에서 우 영상에 해당하는 데이터를 취득한 카메라의 식별자(identifier, ID)를 의미한다. 카메라의 위치 파악이 목적이며, 카메라의 정확한 물리적 위치 파악을 위해서 해당 카메라에 대한 intrinsic 및 extrinsic 파라미터를 별도로 전송한다.
Caption / Subtitle position & disparity 엘레먼트는 3D view (3차원 영상 시점) 단위로 제공 가능하며, 각 3차원 영상 시점에 따라 다른 캡션 / 서브타이틀의 위치 및 디스패리티 (깊이) 값을 가질 수 있다.
도 1에 도시된 metadata들은 방송 서비스 (ATSC 또는 DVB)에 따라 관련 섹션 데이터 (section data) 에 적절한 형태로 가공되어 전송될 수 있다.
도 2는 본 발명의 일 실시예에 따른, 다시점 3차원 영상에서 비디오/그래픽(OSD)/서브타이틀/캡션 출력을 구현하는 블록을 나타낸 도면이다.
본 발명의 일 실시예에 따른 다시점 3차원 영상 구현은 비디오 소스 (2110, 2120, 2130, 2140), 서브타이틀/캡션 소스 (2200), OSD 소스 (2300), 최소 디스패리티 정보 (2410, 2420, 2430), 서브타이틀/캡션 디스패리티 정보 (2510, 2520, 2530), 3차원 영상 포맷터 (2610, 2620, 2630) 및/또는 특정 시점 영상 (2710, 2720, 2730) 을 포함하는 과정을 통하여 이루어질 수 있다.
비디오 소스 (2110, 2120, 2130, 2140)는 3차원 영상을 촬영하는 카메라에서 획득되는 비디오를 나타낸다. 다시점 3차원 영상을 위하여는 다수의 카메라에서 획득된 영상이 합쳐지는 과정이 필요하다.
서브타이틀/캡션 소스 (2200)는 비디오 영상과는 달리 이미지 또는 텍스트 형식으로 구성될 수 있다. 예를 들면, 서브타이틀은 이미지로 구성될 수 있으며, 서브타이틀 자체에서의 깊이(depth) 차이의 필요성은 크지 않으므로, 서브타이틀 자체에 대한 디스패리티 정보를 제공함으로서, 좌/우영상에서 디스패리티 값의 위치 차이를 두고 동일한 서브타이틀을 디스플레이하여 3차원 효과를 얻을 수 있다. 이는 텍스트로 구성될 수 있는 캡션의 경우도 마찬가지이다.
OSD 소스 (2300)는 방송 수신기에서 생성되어 디스플레되는 것이므로, 일반적으로 방송 수신기의 제작사에서 정해진 기준의 소스로 형성되어 있을 수 있다. 3차원 영상이 제공되는 가운데 OSD를 디스플레이 하기 위하여, 3차원 영상과의 깊이 (depth) 관계를 고려하여야 한다.
최소 디스패리티 정보 (2410, 2420, 2430)는 OSD가 디스플레이 되어야 하는 깊이 (depth) 의 범위를 결정하는 역할을 한다. 예를 들면, 특정 시점의 3차원 영상에서 3차원 효과를 가지는 깊이의 범위에서 가장 시청자와 가깝게 보이는 3차원 효과보다 더 가깝게 OSD가 디스플레이 되도록 설정할 수 있다.
서브타이틀/캡션 디스패리티 정보 (2510, 2520, 2530)는 서브타이틀/캡션이 각각의 시점에서 어느 정도의 깊이에서 디스플레이되어야 하는지 나타내는 정보로 활용될 수 있다.
3차원 영상 포맷터 (2610, 2620, 2630)는 비디오 소스, 최소 디스패리티 정보를 고려한 OSD 및/또는 서브타이틀/캡션 디스패리티 정보를 고려한 서브타이틀/캡션을 3차원 영상으로 포맷팅하는 역할을 수행한다.
특정 시점 영상 (2710, 2720, 2730)은 각 시점의 3차원 영상으로 3차원 영상 포맷터 (2610, 2620, 2630)에서 포맷팅된 영상을 나타낸다. 예를 들면, 비디오 0 (2110), 비디오 1 (2120), 비디오 2 (2130), 비디오 3 (2140)이 번호 순서대로 인접한 카메라에서 촬영된 비디오 소스라고 가정한다면, 비디오 0과 비디오 1이 서브타이틀/캡션 및/또는 OSD와 함께 포맷팅 되어 View 0 라는 제 1 시점의 3차원 영상을 생성할 수 있다. 또한, 비디오 1과 비디오 2이 서브타이틀/캡션 및/또는 OSD와 함께 포맷팅 되어 View 1 라는 제 2 시점의 3차원 영상을 생성할 수 있다. 이와 유사하게, 비디오 2과 비디오 3이 서브타이틀/캡션 및/또는 OSD와 함께 포맷팅 되어 View 2 라는 제 3 시점의 3차원 영상을 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른, 다시점 3차원 영상을 위한 비디오/그래픽(OSD)/서브타이틀/캡션 출력을 구현하는데 사용되는 메타데이터 (metadata)를 나타낸 도면이다.
도 3의 도시된 메타데이터를 도 2에 도시된 3차원 영상 구현 과정에 적용하여 설명하면 다음과 같다.
도 2에서는 3개의 시점에서의 3차원 영상이 생성되었다. 이를 Number of 3D views라는 엘레먼트로 표현하였으며, 그 값으로 3을 가지게 하여 3개의 시점에서의 3차원 영상이 있음을 시그널링할 수 있다.
View ID가 0으로 표현된 시점의 3차원 영상은 도 2의 View 0 (2710)으로 표현되었으며, 이 시점에서의 3차원 영상은 min_disp0이라는 최소 디스패리티 값 (시청자와 가장 가깝게 표현되는 3차원 효과)과 max_disp0이라는 최대 디스패리티 값 (시청자와 가장 멀게 표현되는 3차원 효과) 을 가진다. 또한 서브타이틀/캡션에 대하여 dispatiry0이라는 값이 각각의 서브타이틀/캡션 window에 대하여 적용된다. View 0 (2710)을 구성하는 좌영상은 비디오 0 (2110)에서 획득되었으며, 우영상은 비디오 1 (2120)에서 획득되었다.
View ID가 1으로 표현된 시점의 3차원 영상은 도 2의 View 1 (2720)으로 표현되었으며, 이 시점에서의 3차원 영상은 min_disp1이라는 최소 디스패리티 값 (시청자와 가장 가깝게 표현되는 3차원 효과)과 max_disp1이라는 최대 디스패리티 값 (시청자와 가장 멀게 표현되는 3차원 효과) 을 가진다. 또한 서브타이틀/캡션에 대하여 dispatiry1이라는 값이 각각의 서브타이틀/캡션 window에 대하여 적용된다. View 1 (2720)을 구성하는 좌영상은 비디오 1 (2120)에서 획득되었으며, 우영상은 비디오 2 (2130)에서 획득되었다.
View ID가 2으로 표현된 시점의 3차원 영상은 도 2의 View 2 (2730)으로 표현되었으며, 이 시점에서의 3차원 영상은 min_disp2이라는 최소 디스패리티 값 (시청자와 가장 가깝게 표현되는 3차원 효과)과 max_disp2이라는 최대 디스패리티 값 (시청자와 가장 멀게 표현되는 3차원 효과) 을 가진다. 또한 서브타이틀/캡션에 대하여 dispatiry2이라는 값이 각각의 서브타이틀/캡션 window에 대하여 적용된다. View 2 (2730)을 구성하는 좌영상은 비디오 2 (2130)에서 획득되었으며, 우영상은 비디오 3 (2140)에서 획득되었다.
도 4는 본 발명의 일 실시예에 따른, 다시점 3차원 서비스를 구성하는 요소를 나타낸 도면이다.
본 발명의 일 실시예에 따른, 다시점 3차원 서비스는 2차원 비디오 스트림 1 (4110; VES1), 서브타이틀/캡션 1 (4120), 2차원 비디오 스트림 2 (4210; VES2), 비디오 컴포지션 정보 (4220), 서브타이틀/캡션 2 (4230), OSD 깊이 범위 (4240), 서브타이틀/캡션 디스패리티 (4250), 카메라 시점 스트림 0 (4310; VES 0), 카메라 시점 스트림 3 (4320; VES 3), 다시점 비디오 컴포지션 정보 (4330), 서브타이틀/캡션 3 (4340) 및/또는 다시점 OSD/서브타이틀/캡션 깊이 정보 (4350)를 포함할 수 있다.
2차원 레거시 (legacy) 비디오 서비스는 2차원 비디오 스트림 1 (4110; VES1) 및/또는 서브타이틀/캡션 1 (4120)를 포함할 수 있다.
2차원 비디오 스트림 1 (4110; VES1)는 2차원 서비스로 호환 가능한 스트림을 나타낸다. 즉 기존의 2차원 방송 수신기에서도 시청이 가능한 비디오 엘레먼트 (video element)이다.
서브타이틀/캡션 1 (4120)은 2차원 비디오 스트림과 연계된 서브타이틀/캡션 스트림이며, 2차원 방송 수신기에서 정상적으로 디코딩이 가능한 스트림이다.
3차원 스트레오스코픽 비디오 서비스는 전술한 2차원 레거시 비디오 서비스, 2차원 비디오 스트림 2 (4210; VES2), 비디오 컴포지션 정보 (4220), 서브타이틀/캡션 2 (4230), OSD 깊이 범위 (4240) 및/또는 서브타이틀/캡션 디스패리티 (4250)를 포함할 수 있다.
2차원 비디오 스트림 2 (4210; VES2)은 VES 1 스트림과 더불어 3차원 스트레오 스코픽 비디오 서비스 (3D stereoscopic video service)를 구성하는 또 하나의 비디오 스트림이다. 예를 들면, VES1는 3차원 스트레오스코픽 영상에서의 좌영상으로 사용되고, VES2는 3차원 스트레오스코픽 영상에서의 우영상으로 사용될 수 있다. 그 반대도 가능하다.
비디오 컴포지션 정보 (4220)는 3차원 스트레오 스코픽 비디오 서비스를 구성하는 두 비디오 스트림 (VES1, VES2)의 구성 정보를 알려준다. 예를 들면, VES1과 VES2 중 어느 영상이 좌 또는 우영상인지 알려주는 정보 또는 VES1과 VES2 중 어느 영상이 주영상 또는 부영상인지 구분하는 정보를 포함할 수 있다.
서브타이틀/캡션 2 (4230)는 3차원 스트레오 스코픽 비디오 서비스에 대해 추가적으로 존재 가능한 서브타이틀/캡션 데이터이다.
OSD 깊이 범위 (4240)는 VES1과 VES2로 구성되는 입체 영상의 깊이 범위 (depth range) 정보를 제공한다. 이는 방송 수신기에서 OSD 등과 같은 그래픽 기능을 구현할 때 참고할 수 있는 정보이다. 예를 들면, OSD가 3차원 영상의 object 와 충돌하지 않도록 위 깊이 범위 외에서 OSD를 디스플레이하도록 방송 수신기가 OSD의 디스플레이 깊이를 조절할 수 있다.
서브타이틀/캡션 디스패리티 (4250)는 3차원 방송 서비스에서 서브타이틀/캡션 데이터에 대한 3차원 좌표를 부여하기 위한 정보이다. 즉, 서브타이틀/캡션 디스패리티 (4250)는 3차원 방송 서비스에서 제공되는 서브타이틀/캡션의 좌영상/우영상에서의 수평적 위치 차이를 나타내는 디스패리티 값을 포함할 수 있다. 서브타이틀/캡션 1 (4120)에 이러한 디스패리티 정보를 추가해 입체 자막을 구현할 수 있다.
다시점 3차원 비디오 서비스는 3차원 스트레오스코픽 비디오 서비스, 카메라 시점 스트림 0 (4310; VES 0), 카메라 시점 스트림 3 (4320; VES 3), 다시점 비디오 컴포지션 정보 (4330), 서브타이틀/캡션 3 (4340) 및/또는 다시점 OSD/서브타이틀/캡션 깊이 정보 (4350)를 포함할 수 있다.
카메라 시점 스트림 0 (4310; VES 0) 과 카메라 시점 스트림 3 (4320; VES 3) 은 VES1, VES2와 더불어 다시점 3차원 비디오 서비스 (3D Multi-view video service) 를 구성하는 비디오 스트림이다. 실질적으로 다시점 3차원 비디오 서비스는 여러 개의 스트레오스코픽 서비스 (stereoscopic service)의 집합 개념으로 생각할 수 있다. 각각의 시점의 3차원 영상은 두 개의 비디오 스트림을 각각 좌/우 영상 스트림으로 사용하는 스트레오스코픽 서비스이다.
다시점 비디오 컴포지션 정보 (4330) 는 다시점 서비스를 구성하는 각 비디오의 조합과 각각의 시점의 3차원 영상에 대한 정보를 포함한다. 예를 들면, 수신기가 이 정보를 이용해 다시점 3차원 영상의 구성 정보를 파악하며 다시점 3차원 영상의 출력을 제어할 수 있다.
서브타이틀/캡션 3 (4340) 은 다시점 3차원 영상에서 각각의 시점의 3차원 영상에 대해 다른 서브타이틀/캡션 데이터가 존재할 수도 있는데, 이러한 데이터가 여기에 추가된다.
다시점 OSD/서브타이틀/캡션 깊이 정보 (4350) 는 각각의 시점의 3차원 영상 단위로 서브타이틀/캡션 윈도우 (window)에 대한 디스패리티 정보를 부여할 수 있으며 여러 시점의 3차원 영상이 동일한 윈도우 디스패리티 (window disparity) 값을 공유할 수도 있다. 아울러 3차원 OSD 출력을 위해 각각의 시점의 3차원 영상 단위로 깊이 범위 (depth range) 정보를 제공한다.
도 5는 본 발명의 일 실시예에 따른, 단일 3DTV 디스플레이 케이스의 평면도를 나타낸 도면이다.
3개의 디스플레이 시점을 갖는 다시점 3차원 영상의 경우, 단일 3DTV 디스플레이 수신 장치는 한 개의 3차원 디스플레이 프레임을 통해 서로 다른(예를 들면, 동일 내용에 대한 다른 시청 각도) 3차원 시점(3D view)을 선택하여 시청하는 것이 가능하다. 수신 장치는 한 번에 하나의 시점만을 디스플레이 할 수 있으므로 시청자가 시청 도중 리모콘 화살키, 화면터치, 또는 기타 센서 등의 사용자 인터페이스(UI)를 이용하여 원하는 시점의 3차원 영상을 선택하여 시청할 수 있다. 도면에서는 사용자가 view ID 1을 시청하고 있으며, 상기 방법을 통해 view ID 0 이나 view ID 2를 시청하는 것이 가능하다.
도 6은 본 발명의 일 실시예에 따른, 다시점 3DTV 디스플레이 케이스의 평면도를 나타낸 도면이다.
도 6은 한 명의 시청자가 시청 각도 또는 위치에 따라 각각 서로 다른 시점의 3차원 영상을 시청하는 케이스를 위에서 내려다 본 도면이다. 사용자가 디스플레이의 좌측에 위치하는 경우 view ID 0의 영상, 정면에 위치하는 경우 view ID 1의 영상, 디스플레이 우측에 위치하는 경우 view ID 2의 영상을 시청할 수 있다.
도 7은 본 발명의 일 실시예에 따른, 다수의 시청자가 존재하는 경우에 있어서, 다시점 3DTV 디스플레이 케이스의 평면도를 나타낸 도면이다
도 7은 세 명의 시청자가 시청 각도 또는 위치에 따라 각각 서로 다른 3D view를 시청하는 케이스를 위에서 내려다 본 도면이다. 도 7에서 디스플레이 좌측에 위치한 사용자 0은 view ID 0의 영상을 시청하고, 중앙에 위치한 사용자 1은 view ID 1의 영상을 시청한다. 또한 디스플레이 우측에 위치한 사용자 2는 view ID 2의 영상을 시청한다. 각 위치에 따른 view ID는 임의로 변경될 수 있으며 상기 경우에 한정되지 아니한다.
도 8은 본 발명의 일 실시예에 따른, Multiview_descriptor에 포함된 상세 정보를 나타낸 도면이다.
Multiview_descriptor는 PMT 내에서 다시점 3차원 영상 프로그램에 포함되는 각 3차원 시점 또는 다시점 3차원 영상 서비스 전체의 공통 특성에 대한 정보를 포함할 수 있다. 이는 프로그램 또는 서비스 레벨의 디스크립터임을 의미한다. 따라서 여러 스트림을 동시에 받아서 한꺼번에 디스플레이하는 경우에 유용하게 쓰일 수 있으며, 또한 한 개의 스트림 정보만 알아도 그 스트림이 어느 3차원 시점들에 포함되는지 여부를 인식할 수 있다. Multiview_descriptor는 VCT (가상 채널 테이블; Virtual Channel Table) 또는 SDT (서비스 맵 테이블; Service Map Table)에서 다시점 3차원 영상을 프로그램 레벨에서 시그널링하기 위하여 사용될 수 있다.
Multiview_descriptor는 descriptor_tag 필드, descriptor_length 필드, num_3D_views 필드, camera_arrangement_type 필드, supported_angle_of_view_type 필드, supported_angle_of_view 필드, Camera_to_object_distance 필드, 3D_view_ID 필드, 3D_view_priority 필드, left_PID 필드, right_PID 필드, left_cam_ID 필드, right_cam_ID 필드, left_cam_position 필드, right_cam_position 필드, min_disparity 필드 및/또는 max_disparity 필드를 포함할 수 있다.
descriptor_tag은 8비트이며 디스크립터의 타입을 식별한다. 실시예로, 본 발명에서 multiview_descriptor는 0xTBD의 값을 갖는다.
descriptor_length는 8비트 카운터로써 descriptor_length 필드 이후의 바이트수를 나타낸다.
num_3D_views는 8비트이며, 다시점 3차원 영상 프로그램에서 제공하는 3차원 시점의 총 개수를 의미한다.
camera_arrangement_type은 2비트이며, 해당 다시점 프로그램에서 복수의 카메라의 배열 종류를 나타낸다. 해당 값이 '00'이면 Circular convergent 타입, '01'이면 Linear Convergent 타입, '10'이면 Linear Parallel 타입, '11'이면 그 외의 타입임을 나타낼 수 있다.
supported_angle_of_view_type은 1비트이며, supported_angle_of_view 필드의 표현 형태를 나타낸다. 0인 경우 아래의 supported_angle_of_view가 각도 단위로 표시됨을 의미하고, 1인 경우는 거리 단위로 표시됨을 의미한다.
supported_angle_of_view는 8비트이며, 해당 다시점 3차원 영상 프로그램에서 제공하는 3차원 입체 영상이 커버하는 전체 시야각, 또는 카메라 배열의 좌우 끝에 위치한 카메라 사이의 거리 정보를 나타낸다. 후자의 경우 아래의 camera_to_object_distance의 값과 조합하여 전체 시야각을 계산할 수 있다. 여기서, 전술한 supported_angle_of_view_type 값이 '0'이면 시야각을 의미할 수 있고, '1'이면 카메라 배열의 양쪽 끝 카메라의 중심점 사이의 거리를 의미할 수 있다.
Camera_to_object_distance는 8비트이며, 다시점 카메라 배열의 중앙을 기준으로 영상이 형성되는 촬상면(image plane)과 촬영된 피사체(object) 사이의 거리를 의미한다. Linear convergent 타입이나 Linear Parallel 타입의 카메라 배열인 경우에는 복수의 카메라 배열의 중심 카메라의 영상이 형성되는 촬상면과 촬영된 피사체 사이의 거리를 나타낸다. Circular convergent 타입의 카메라 배열인 경우에는 모든 카메라가 피사체로부터 동일한 거리를 갖는다.
아래의 필드들은 for-loop을 통해 다시점 3차원 영상 서비스의 각 시점별로 제공될 수 있는 정보이다.
3D_view_ID는 3차원 시점 단위로 제공되고 8비트이며, 프로그램 레벨에서 각 3차원 시점을 식별하게 하는 고유의 식별자를 나타낸다.
3D_view_priority는 3차원 시점 단위로 제공되고 8비트이며, 각 시점의 우선순위를 나타낸다. 3D_view_priority는 다시점 3차원 영상 서비스에서 제공하는 시점의 수(num_3D_views)가 수신 장치에서 디스플레이할 수 있는 시점의 수 보다 많은 경우에 복수의 시점 중 어느 시점을 우선적으로 디스플레이 할 것인가에 대한 정보를 제공할 수 있다.
left_PID는 3차원 시점 단위로 제공되고 13비트이며, 해당 3차원 시점에 포함되는 좌 영상의 PID를 의미한다.
right_PID는 3차원 시점 단위로 제공되고 13비트이며, 해당 3차원 시점에 포함되는 우 영상의 PID를 의미한다.
left_cam_ID는 3차원 시점 단위로 제공되고 8비트이며, 해당 3차원 시점을 만드는 과정에서 좌 영상에 해당하는 elementary stream의 데이터를 취득한 카메라의 식별자 (identifier, ID) 를 의미한다. 이 값은 좌영상에 해당하는 비디오 엘레먼트 스트림에 대한 component_tag 값과 일치할 수 있다.
right_cam_ID는 3차원 시점 단위로 제공되고 8비트이며, 해당 3차원 시점을 만드는 과정에서 우 영상에 해당하는 elementary stream의 데이터를 취득한 카메라의 식별자 (identifier, ID) 를 의미한다. 이 값은 우영상에 해당하는 비디오 엘레먼트 스트림에 대한 component_tag 값과 일치할 수 있다.
left_cam_position는 3차원 시점 단위로 제공되고 8비트이며, 해당 3차원 시점에 포함되는 좌 영상에 해당하는 데이터를 취득한 카메라의 위치를 나타내며 카메라 배열의 정 중앙을 기준으로 거리 또는 각도를 나타낸다.
right_cam_position는 3차원 시점 단위로 제공되고 8비트이며, 해당 3차원 시점에 포함되는 우 영상에 해당하는 데이터를 취득한 카메라의 위치를 나타내며 카메라 배열의 정 중앙을 기준으로 거리 또는 각도를 나타낸다. 이 때, 음수(-)는 중앙으로부터 좌측, 양수(+)는 중앙으로부터 우측에 위치함을 의미한다. 각 camera_arrangement_type에 따라 Linear convergent 타입 및 Linear Parallel 타입의 카메라 배열인 경우에는 카메라 배열의 중앙으로부터의 상대적인 위치를 거리값으로 표현한다. Circular convergent 타입의 카메라 배열인 경우에는 카메라 배열의 중앙으로부터의 상대적인 각도값으로 표현한다. 위에서, 카메라 배열에 사용된 카메라의 개수가 홀수인 경우 배열의 정 중앙에 위치한 카메라를 기준으로 표현할 수 있다.
min_disparity는 3차원 시점 단위로 제공되고 8비트이며, 각 3차원 시점의 depth budget(depth range)을 의미한다. 즉, 해당 3차원 시점이 제공하는 최소 disparity 값을 나타낸다.
max_disparity는 3차원 시점 단위로 제공되고 8비트이며, 각 3차원 시점의 depth budget(depth range)을 의미한다. 즉, 해당 3차원 시점이 제공하는 최대 disparity 값을 나타낸다.
도 9는 본 발명의 일 실시예에 따른, Multiview_service_descriptor 를 나타낸 도면이다.
Multiview_service_descriptor는 PMT의 프로그램 레벨에서 다시점 3차원 영상 프로그램의 서비스 전체의 공통 특성을 시그널링할 수 있다.
Multiview_service_descriptor는 descriptor_tag 필드, descriptor_length 필드, num_3D_views 필드, camera_arrangement_type 필드, supported_angle_of_view_type 필드, supported_angle_of_view 필드 및/또는 camera_to_object_distance 필드를 포함한다.
각 필드에 대한 설명은 앞서 전술한 Multiview_descriptor에서 설명된 내용으로 대체한다.
도 10은 본 발명의 일 실시예에 따른, Multiview_element_descriptor 를 나타낸 도면이다.
Multiview_element_descriptor는 PMT 엘레먼트 레벨에서 다시점 3차원 영상 프로그램에 포함되는 각 엘레먼트 스트림의 메타데이터 및/또는 관련 시점의 3차원 영상에 대한 정보를 포함한다.
Multiview_element_descriptor는 descriptor_tag 필드, descriptor_length 필드, camera_ID 필드, camera_position 필드, number_3D_views 필드, 3D_view_ID 필드, 3D_view_priority 필드, left_right_view 필드, other_camera_ID 필드, min_disparity 필드 및/또는 max_disparity 필드를 포함할 수 있다.
camera_ID는 8 비트이며, 해당 element stream의 데이터를 취득하기 위해 사용된 카메라를 식별하는 식별자 (ID) 이다. camera_ID는 Program / service level의 left_cam_ID, right_cam_ID와 mapping 시키기 위한 필드로 사용될 수 있다. camera_ID는 component_tag 값과 동일한 값을 할당할 수 있다.
camera_position는 8 비트이며, 해당 element stream의 데이터를 취득하기 위해 사용된 카메라의 위치 값을 나타낸다. 카메라 배열의 가운데 정 중앙에 위치한 카메라를 기준으로 음수(-)는 왼쪽, 양수(+)는 오른쪽을 의미한다. 카메라의 배열이 원주를 따라 배치되는 경우에는 가운데 정 중앙에 위치한 카메라를 기준으로 했을 때의 상대적인 각도 값으로 나타내고, 카메라의 배열이 직선상에 있는 경우에는 정 중앙 카메라를 기준으로 했을 때의 상대적인 위치 값으로 나타낸다. 카메라 개수가 짝수인 경우에는 배열된 카메라의 정 중앙을 기준으로 한다.
number_3D_views는 3비트이며, 해당 element stream이 포함되는 3차원 시점의 개수를 나타낸다. 각 element stream 별로 다른 값을 가질 수 있다. 예를 들어, 그림 4(b)의 예제에서 camera_id가 1인 경우 View ID 0과 View ID 1의 2 개의 3차원 시점에 포함된다. 이때 number_3D_views의 값은 2를 나타내게 된다.
3D_view_ID는 8비트이며, 해당 element stream이 속하는 3차원 시점의 식별자를 나타낸다. 이로써 해당 element stream이 어느 3차원 시점에 포함되는지 알 수 있다.
3D_view_priority는 8비트이며, 해당 element stream이 속하는 3차원 시점의 우선순위를 명시할 수 있다. 도 6에서 설명했듯이 이 값은 수신 장치가 디스플레이 할 수 있는 시점의 개수가 한정되어 있는 경우에 어느 시점을 우선적으로 디스플레이 할 것인지를 결정하기 위해 사용될 수 있다.
left_right_view는 1비트이며, 해당 element stream이 자신이 속하는 현재 3차원 시점 내에서 좌 영상에 포함되는지, 우 영상에 포함되는지 여부를 나타내는 필드이다. 이 필드가 '0'의 값을 갖는 경우 좌 영상임을, '1'의 값을 갖는 경우 우 영상임을 나타낼 수 있다.
other_camera_ID는 8비트이며, 해당 3차원 시점을 생성하기 위해 현재의 element stream과 짝을 이루는 element stream의 데이터 취득을 위해 사용된 카메라의 식별자를 나타내는 필드이다. 이 값은 다른 element stream을 식별하는 역할을 하므로 PID 혹은 camera position 등의 값으로 대체하는 것이 가능하다.
min_disparity, max_disparity는 각각 8비트이며, 각 3차원 시점의 depth budget(depth range)을 나타내는 필드이다. 즉, 각 3차원 시점에서 제공하는 입체 영상의 최소, 최대 disparity를 의미할 수 있다. 이 값을 이용해 각각의 시점의 3차원 영상에 OSD와 같은 그래픽 요소를 출력할 때 3D 좌표 결정에 참고할 수 있다. 예를 들면, 방송 수신기는 특정 시점에서의 min_disparity 값을 파싱하여, 이 값보다 적은 디스패리티 값이 OSD 디스플레이에 적용되도록 설정할 수 있고, max_disparity 값을 파싱하여, 이 값보다 큰 디스패리티 값이 OSD 디스플레이에 적용될 수 있도록 설정할 수 있다. 다른 실시예로, 각각의 시점의 3차원 영상에서 동일한 OSD의 디스플레이 깊이를 유지하고자 하는 경우, 각각의 시점의 3차원 영상에 대한 min_disparity 값을 파싱하고, 이 값 중 가장 적은 min_disparity 값보다 적은 디스패리티 값을 OSD 디스플레이에 적용할 수 있다. 또한, 각각의 시점의 3차원 영상에 대한 max_disparity 값을 파싱하고, 이 값 중 가장 큰 man_disparity 값보다 큰 디스패리티 값을 OSD 디스플레이에 적용할 수 있다.
도 11은 본 발명의 일 실시예에 따른, Multiview_subtitle_descriptor를 나타낸 도면이다.
본 발명의 일 실시예에 따른 Multiview_subtitle_descriptor는 PMT, VCT 및/또는 SDT에 포함되어, 프로그램 레벨 혹은 서비스 레벨에서 각 시점의 3차원 영상에 대한 서브타이틀과 관련된 정보를 시그널링하는데 사용될 수 있다.
Multiview_subtitle_descriptor는 descriptor_tag 필드, descriptor_length 필드, num_3D_views 필드, 3D_view_ID 필드, 3D_view_priority 필드, multiview_subtitle_type 필드, new_subtitle_stream_PID 필드 및/또는 new_subtitle_segment_type 필드를 포함할 수 있다.
multiview_subtitle_type은 특정 시점의 3차원 영상에 대해 적용될 서브타이틀 스트림 (subtitle stream) 에 대한 특성을 알려준다. 예를 들면, 이 필드의 값에 따라 다음과 같은 의미를 가지는 것으로 정의할 수 있으나, 이에 한정하지는 않는다.
multiview_subtitle_type 이 ’000’ 으로 셋팅된 경우, 레거시 (legacy) 서브타이틀을 재사용하거나, 2차원 영상에 적용된 서브타이틀 스트림 (subtitle stream)과 동일한 데이터를 사용한다. 예를 들면, 똑같은 page, region에 관한 서브타이틀 데이터를 사용할 수 있다. 아울러 priority가 가장 높은 시점의 3차원 영상 (예를 들면, 3D_view_priority 값이 0인 시점의 3차원 영상) 에 적용된 디스패리티 정보를 그대로 사용할 수 있다.
multiview_subtitle_type 이 ’001’로 셋팅된 경우, 추가적인 서브타이틀이 사용 가능함을 나타낼 수 있다. 예를 들면, 기본적으로 2차원 영상에서 사용된 subtitle bitmap data 및 3D_view_priority=0 (stereo)에 해당되는 시점에 3차원 영상의 서브타이틀에 적용된 디스패리티 (혹은, depth)를 그대로 사용하나 new_subtitle_stream_PID 값 및/또는 new_subtitle_segment_type을 갖는 PES packet에 포함된 서브타이틀 관련 섹션 (section)의 데이터를 추가로 적용할 수 있다. 예를 들면, 새로운 영역/추가된 영역에 대한 서브타이틀 데이터, 추가된 객체에 대한 서브타이틀 데이터가 사용될 수 있음을 나타낸다.
multiview_subtitle_type 이 ’010’ 로 셋팅된 경우, 디스패리티 데이터를 각 시점의 3차원 영상을 위하여 제공되는 서브타이틀 데이터로 교체되어야 함을 의미할 수 있다. 예를 들면, 2차원 영상에서 사용된 subtitle bitmap data를 그대로 사용하나, 다른 시점의 3차원 영상과 다른 깊이 (depth) 를 적용하는 경우를 의미한다. 이 때에는 new_subtitle_stream_PID 값 및/또는 new_subtitle_segment_type 값을 갖는 PES packet에 포함된 depth data를 적용할 수 있다.
multiview_subtitle_type 이 ‘011’ 로 셋팅된 경우, 서브타이틀과 관련된 모든 데이터를 교체하여야 함을 의미할 수 있다. 예를 들면, 기존의 subtitle bit map은 물론 disparity data까지 모두 새로운 데이터로 대체할 수 있다
new_subtitle_stream_PID 는 특정 시점의 3차원 영상에 적용되는 서브타이틀 스트림의 PID (Packet Identifier) 값을 지정한다. 서브타이틀을 구성하는 page, region, object 등의 정보는 PES segment 형태로 전송될 수 있으며, 이에 대해 고유한 PID 값을 지정한다. 따라서, 이 필드를 이용해 특정 시점의 3차원 영상에 적용할 서브타이틀 스트림 이 무엇인지를 시그널링 할 수 있다.
new_subtitle_segment_type 은 특정 시점의 3차원 영상에 적용되는 서브타이틀 세그먼트 (subtitle segment) 를 식별할 수 있는 구분자이다. 특정 시점의 3차원 영상에서 서브타이틀을 추가하거나 대체하는 경우 segmet_type이 이 필드의 값과 같은 서브타이틀 세그먼트로 대체할 수 있다.
Multiview_subtitle_descriptor에 포함될 수 있는 다른 필드에 대한 설명은, 전술한 동일한 명칭을 가지는 필드에 대한 설명으로 대체한다.
다시점 3차원 방송 수신기의 다시점 3차원 방송 영상 및 각 시점과 관련된 서브타이틀을 디코딩하는 절차는 다음과 같이 진행 될 수 있다.
수신기는 2차원 서브타이틀에 대한 디코딩을 수행한다. 수신기는 각 시점의 3차원 영상에 대해 multiview_subtitle_type 필드값을 파싱한다.
수신기는 multiview_subtitle_type 이 ‘000’ 인 경우, 0x1A00의 PID 값을 갖는 서브타이틀 스트림을 해당 3차원 영상에 적용한다.
수신기는 multiview_subtitle_type 이 ‘001’ 인 경우, 0x1A00의 PID 값을 갖는 서브타이틀 스트림과 더불어 new_subtitle_stream_PID에 명시된 PID 값을 갖는 스트림에서, new_subtitle_segment_type 값에 해당하는 subtitle data를 추가한다.
multiview_subtitle_type 이 ‘010’ 인 경우, 0x1A00의 PID 값을 갖는 서브타이틀 섹션 중에서 디스패리티 값을 명시한 섹션만 new_subtitle_stream_PID의 new_subtitle_segment_type에 명시된 데이터로 대체한다.
multiview_subtitle_type 이 ‘011’ 인 경우, 기존의 서브타이틀 스트림은 무시하고 new_subtitle_stream_PID 및 new_subtitle_segment_type에 명시된 PID 값을 갖는 stream을 서브타이틀 데이터로 적용한다.
수신기는 위와 같이 처리된 서브타이틀 데이터를 3차원 영상에 함께 포맷팅하여 출력한다. 이 과정에서 서브타이틀과 관련한, 전술한 정보를 사용할 수 있다.
도 12는 본 발명의 일 실시예에 따른, Multiview_caption_descriptor를 나타낸 도면이다.
본 발명의 일 실시예에 따른 Multiview_caption_descriptor는 PMT, VCT 및/또는 SDT에 포함되어져, 프로그램 및/또는 서비스 레벨에서의 각 시점의 3차원 영상에 대한 캡션 정보를 시그널링하는 역할을 한다.
Multiview_caption_descriptor는 descriptor_tag 필드, descriptor_length 필드, num_3D_views 필드, 3D_view_ID 필드, 3D_view_priority 필드 및/또는 caption_service_number 필드를 포함할 수 있다.
caption_service_number 는 특정 시점의 3차원 영상에 적용되는 3차원 Caption의 service_number 값을 알려준다. 수신기는 이 필드에 일치하는 service_number에 해당되는 캡션 데이터 (caption data) 를 해당 시점의 3차원 영상에 적용한다.
Multiview_caption_descriptor에서 특정 3D_view_ID에 대해 caption_service_number를 명시하지 않을 경우에 수신기는 default로 2D 또는 3D_view_priority가 0인 3D view에 적용된 caption_service_number를 해당 시점의 3차원 영상에 사용할 수 있다.
Multiview_caption_descriptor에 포함되는 다른 필드는 전술한 동일한 명칭을 가지는 필드에 대한 설명으로 대체한다.
도 13은 본 발명의 일 실시예에 따른, single user mode에서의 OSD 디스플레이 제어를 나타낸 도면이다.
도 13에 도시된 OSD 디스플레이 제어는 시청자의 위치에 따라 다른 시점의 3차원 영상을 제공하는 경우에 적용될 수 있다.
도 13에 도시된 OSD 디스플레이 제어는 시청자의 위치와 관계 없이 OSD의 디스플레이가 일정한 깊이를 유지하는 경우를 나타낸 도면이다.
수신기는 Multiview descriptor에서 각각의 시점의 3차원 영상에 대한 min_disparity 값을 파싱한다. 수신기는 min_disparity 값들 중 가장 적은 디스패리티 값을 가지는 min_disparity 값을 선택하여 OSD의 디스플레이를 위한 디스패리티 값으로 사용한다. 다른 실시예로, OSD의 디스플레이를 위한 디스패리티 값은 위 min_disparity 값 중 가장 적은 값보다 일정 값을 더 적게 만들어 사용할 수도 있다. 이렇게 결정된 OSD의 디스플레이를 위한 디스패리티 값은 각각의 시점의 3차원 영상에 일괄적으로 적용되어, 사용자가 위치를 변경하여도 OSD의 깊이는 변화하지 않도록 설정할 수 있다.
도면을 예로 설명하면, 제 1 시점의 3차원 영상 (3D View ID = 0), 제 2 시점의 3차원 영상 (3D View ID = 1), 제 3 시점의 3차원 영상 (3D View ID = 2)의 깊이 범위 (depth range)는 각각 다르나, 제 1 시점의 3차원 영상의 깊이 범위가 나타내는 min_disparity 값이 가장 적으므로 (시청자에게 가장 가깝게 디스플레이되는 3차원 효과를 포함하는 시점의 3차원 영상) 제 1 시점의 3차원 영상의 min_disparity 값을 기준으로 OSD의 디스패리티 값을 결정하고, 이를 이용하여 OSD를 디스플레이할 수 있다.
도 14는 본 발명의 다른 실시예에 따른, single user mode에서의 OSD 디스플레이 제어를 나타낸 도면이다.
도 14에 도시된 OSD 디스플레이 제어는 시청자의 위치에 상관없이, 같은 시점의 3차원 영상을 제공하는 경우에 적용될 수 있다.
이 경우는, 사용자 설정에 의하여 다시점 3차원 영상의 디스플레이가 고정 시점 모드로 선택된 경우에 발생할 수 있다. 즉, 시청자의 위치에 관계없이 동일한 시점의 3차원 영상이 디스플레이되는 경우이다. 이 경우, 해당 시점의 min_disparity 값을 기준으로 이보다 적은 디스패리티 값을 OSD의 디스플레이를 위하여 설정할 수 있다.
도면을 예로 설명하면, 제 2 시점의 3차원 영상 (3D View ID = 1)이 시청자의 위치에 관계없이 디스플레이 된다. 따라서, 제 2 시점의 3차원 영상의 min_disparity 값을 OSD 디스플레이에 적용하여 제 2 시점의 3차원 영상과 함께 OSD를 출력한다.
도 15는 본 발명의 일 실시예에 따른, single user mode에서의 서브타이틀/캡션 디스플레이 제어를 나타낸 도면이다.
도 15에 도시된 서브타이틀/캡션 디스플레이 제어는 시청자의 위치에 따라 다른 시점의 3차원 영상을 제공하는 경우에 적용될 수 있다.
Single user mode에서는 시청자의 위치에 관계없이 서브타이틀/캡션의 디스플레이 깊이가 일정한 것이 바람직하나, 부득이 하게 특정 시점의 3차원 영상에 대하여는 다른 시점의 3차원 영상과는 다른 깊이를 가지는 서브타이틀/캡션이 디스플레이 되어야 하는 상황이 발생할 수 있다. 이 경우, Multiview subtitle descriptor 및/또는 Multiview caption descriptor에서 특정 시점에 대한 서브타이틀/캡션이 다른 시점의 3차원 영상과는 다른 깊이를 가져야 함을 시그널링할 수도 있다.
수신기는 시청자의 position에 따라 보여지도록 설정된 특정 시점의 3차원 영상을 출력하며 각 시점의 3차원 영상마다 다르게 정의된 서브타이틀/캡션 깊이를 적용할 수 있다. 서브타이틀/캡션은 해당 시점에 대해 제작자가 의도한 깊이를 적용한다. 이 때, 각 시점의 3차원 영상에 대해 제공되는 Multiview Subtitle Descriptor 또는 Multiview Caption Descriptor의 정보를 적용하여 서브타이틀/캡션을 디스플레이 할 수 있다.
도면을 예로 설명하면, 제 1 시점의 3차원 영상 (3D View ID = 0) 과 제 2 시점의 3차원 영상 (3D View ID = 1) 은 깊이 범위가 다르나 동일한 서브타이틀/캡션을 적용하도록 제작자에 의하여 의도될 수 있다. 따라서, 두 시점에 대한 서브타이틀/캡션 디스패리티 (깊이) 값은 동일하게 적용될 수 있고, 반면에 제 3 시점의 3차원 영상은 다른 깊이에서 서브타이틀/캡션을 디스플레이하도록 의도된 경우이므로, 해당 시점의 3차원 영상을 위한 서브타이틀/캡션 디스패리티 (깊이) 값이 적용될 수 있다.
도 16은 본 발명의 일 실시예에 따른, multiple user mode에서의 OSD 디스플레이 제어를 나타낸 도면이다.
도 16에 도시된 OSD 디스플레이 제어는 각 시청자 마다 다른 시점의 3차원 영상을 시청하고 있으므로, 각 시점에 따른 OSD 디스플레이 깊이를 적용하여, 시청자 마다 다른 깊이에서 출력되는 OSD를 제공받을 수 있다.
multiple user mode의 경우 각 시청자 마다 독립적인 OSD 제어가 가능하므로, 각 시청자가 시청하는 3차원 영상의 특성에 따라 OSD 깊이가 달라질 수 있다.
수신기는 각 시점의 3차원 영상에 대한 min_disparity 값을 파싱하여, 이 값보다 적은 디스패리티 값을 각 시점의 3차원 영상에서의 OSD 디스플레이에 적용할 수 있다.
도 17은 본 발명의 일 실시예에 따른, multiple user mode에서의 서브타이틀/캡션 디스플레이 제어를 나타낸 도면이다.
도 17에 도시된 서브타이틀/캡션 디스플레이 제어는 각 시청자 마다 다른 시점의 3차원 영상을 시청하고 있으므로, 각 시점에 따른 서브타이틀/캡션 디스플레이 깊이를 적용하여, 시청자 마다 다른 깊이에서 출력되는 서브타이틀/캡션을 제공받을 수 있다.
multiple user mode의 경우 각 시청자 마다 독립적인 서브타이틀/캡션 제어가 가능하므로, 각 시청자가 시청하는 3차원 영상의 특성에 따라 서브타이틀/캡션 깊이가 달라질 수 있다.
수신기는 각 시점의 3차원 영상에 대한 multiview subtitle descriptor 또는 multiview caption descriptor에 포함된 서브타이틀/캡션 관련 정보를 적용한다.
도면을 예로 설명하면, 제 1 시점의 3차원 영상 (3D View ID = 0) 의 서브타이틀/캡션의 디스패리티 값과, 제 2 시점의 3차원 영상 (3D View ID = 1) 의 서브타이틀/캡션의 디스패리티 값이 다르게 설정되어 해당 디스크립터로 전달된 경우이다. 제 3 시점의 3차원 영상 (3D View ID = 2) 의 깊이 범위는 제 2 시점의 3차원 영상의 깊이 범위와 다르나, 서브타이틀/캡션의 디스패리티 값이 동일하게 적용되어 시그널링 되었으므로, 동일한 깊이에서 서브타이틀/캡션이 디스플레이되어 시청자에게 제공된다.
도 18은 본 발명의 일 실시예에 따른, 다시점 3차원 영상 수신기를 나타낸 도면이다.
본 발명에 따른 방송 신호 수신 장치는 튜너 및 디모듈레이터 (18010), 디멀티플렉서 (18020), 시그널링 데이터 프로세서 (18030), 멀티뷰 인포메이션 프로세서 (18040), 복수의 비디오 디코더 (18050,18052,18054), 복수의 셀렉터 (18060,18062,18064), 복수의 시점의 3차원 비디오 렌더링부 (18070, 18072, 18074), 서브타이틀/캡션 처리부 (18080), OSD 처리부 (18090), 복수의 최소 디스패리티 추출부 (18100, 18102, 18104), 복수의 OSD 디스패리티 계산부 (18110, 18112, 18114), 복수의 데이터 결합부 (18120, 18122, 18124), 복수의 포맷터 (18130,18132,18134) 및/또는 멀티뷰 출력 제어부 (18140) 을 포함할 수 있다.
튜너 및 디모듈레이터 (18010) 는 수신한 방송 신호를 튜닝할 수 있으며, 튜닝한 방송 신호에 대해 디모듈레이팅을 수행한 뒤 디모듈레이팅된 방송 신호를 디멀티플렉서 (18020) 로 출력할 수 있다. 이 경우 튜너 (18010) 는 Vestigial Side Band (VSB) 복조 또는 Orthogonal Frequency Division Multiplexing (OFDM) 복조 등을 수행할 수 있다.
디멀티플렉서 (18020) 는 시그널링 데이터로부터 비디오 스트림 PID를 추출하거나, 사용자 인터페이스 (UI) 를 통해 선택된 3차원 시점에 대한 PID를 근거로, 해당 비디오 스트림 PID를 사용하여 디코딩된 방송 신호로부터 비디오 스트림또는 메타 데이터 컴포넌트를 추출하여 복수의 비디오 디코더 (18050,18052,18054) 로 출력할 수 있다. 이 때, 베이스 비디오 디코더 (18050) 에는 베이스 비디오 컴포넌트가 입력되고, 제 2 비디오 디코더 (18052,18054) 에는 다시점 비디오 컴포넌트 또는 메타 데이터 컴포넌트가 입력될 수 있다.
시그널링 데이터 프로세서 (18030) 는 디멀티플렉서 (18020) 에서 출력된 신호로부터 시그널링 데이터를 파싱하여 출력할 수 있다. 이 경우, 시그널링 데이터는 PSI, PSIP, DVB-SI 등을 포함할 수 있다. 시그널링 데이터 중 일부는 비디오 디코더들 (18050,18052,18054) 에 입력되어 사용되고, 일부는 멀티뷰 인포메이션 프로세서 (18040) 에 입력될 수 있다. 이 때 시그널링 데이터는 사용자 인터페이스 (32090) 를 통해 선택된 3차원 시점에 대한 정보를 포함할 수 있다.
멀티뷰 인포메이션 프로세서 (18040) 는 시그널링 데이터 프로세서 (18030) 로부터 입력된 시그널링 데이터 중 사용자 인터페이스 (32090) 에 의해 선택된 시점에 대한 다시점 3차원 영상 서비스에 대한 정보를 파싱한다. 이렇게 파싱된 정보는 비디오 디코더들 (18050,18052,18054) 또는 셀렉터들 (18060,18062,18064) 에 입력되어 다시점 3차원 영상 서비스를 생성하기 위한 정보로 사용된다. 멀티뷰 인포메이션 프로세서 (18040) 는 다시점 3차원 영상과 관련한 서브타이틀, 캡션 및/또는 OSD와 관련하여 전술한 디스크립터 또는 시그널링 정보를 파싱하는 역할을 수행할 수 있다.
복수의 비디오 디코더 (18050,18052,18054) 는 디멀티플렉서(18020)로부터 입력된 컴포넌트들을 디코딩한다. 이 때, 베이스 비디오 디코더(18050)는 베이스 비디오 컴포넌트를 디코딩하고, 제 2 비디오 디코더들(18052,18054)은 다시점 비디오 컴포넌트 또는 메타 데이터 컴포넌트를 디코딩 할 수 있다. 복수의 비디오 디코더들 (18050,18052,18054) 은 디코딩시 시그널링 프로세서 (18030) 또는 멀티뷰 인포메이션 프로세서 (18040) 으로부터 입력된 정보들을 활용할 수 있다.
복수의 셀렉터들 (18060,18062,18064) 은 위의 복수의 비디오 디코더들 (18050,18052,18054) 로부터 출력된 복수 개의 영상 신호 중 각 시점의 좌, 우영상에 해당하는 두 개의 영상 신호를 선택할 수 있다. 즉, 수신 신호의 3D 시점을 수신 장치의 시점으로 맵핑하는 동작이다. 이 때, 각 시점의 좌, 우영상에 해당하는 두 개의 영상 신호에 대한 선택은 사용자 인터페이스(32090)에 의해 선택된 3차원 시점에 근거하여 선택될 수 있다. 또한, 멀티뷰 인포메이션 프로세서 (18040) 로부터 출력되는 다시점 3차원 영상 서비스에 대한 정보를 이용할 수 있다.
복수의 시점의 3차원 비디오 렌더링부 (18070, 18072, 18074)는 복수의 시점에 대한 복수의 비디오 데이터를 렌더링하는 역할을 수행한다.
서브타이틀/캡션 처리부 (18080)는 서브타이틀/캡션과 관련된 정보를 처리한다. 예를 들면, 각 시점에 대한 서브타이틀/캡션의 디스패리티를 추출하여 해당 시점의 3차원 영상과 합쳐질 수 있도록 다음 처리 블록으로 전달한다.
OSD 처리부 (18090)는 OSD와 관련된 정보를 처리한다. 예를 들면, 각 시점에 대한 max_disparity 값 및/또는 min_disparity 값을 추출하여 다음 처리 블록으로 전달한다.
복수의 최소 디스패리티 추출부 (18100, 18102, 18104)는 각 시점의 min_disparity 값을 추출한다.
복수의 서브타이틀/캡션 디스패리티 추출부 (18110, 18112, 18114)는 각 시점의 서브타이틀/캡션의 디스패리티 값을 추출한다.
복수의 데이터 결합부 (18120, 18122, 18124)는 각각 시점에 대한 3차원 비디오, OSD 디스플레이를 위하여 추출된 min_disapairy 값 및/또는 서브타이틀/캡션 디스플레이를 위하여 추출된 서브타이틀/캡션의 디스패리티 값을 결합하는 역할을 한다.
복수의 포맷터들 (18130,18132,18134) 은 각각 시점에 대한 3차원 비디오, OSD 디스플레이를 위하여 추출된 min_disapairy 값 및/또는 서브타이틀/캡션 디스플레이를 위하여 추출된 서브타이틀/캡션의 디스패리티 값을 이용하여 각각의 시점에 대한 3차원 영상을 포맷팅하는 역할을 수행한다.
멀티뷰 출력 제어부 (18140) 는 포맷팅된 각각의 시점에 대한 3차원 영상을 제어하여, 다시점 영상으로 디스플레이 하는 역할을 수행한다.
도 19는 본 발명의 일 실시예에 따른, 복수의 시점에 대한 3차원 방송 영상을 수신 처리하는 방법을 나타낸 순서도이다.
본 발명의 일 실시예에 따른 3차원 방송 수신기는 복수의 시점에 대한 3차원 방송 영상을 포함하고, 상기 3차원 방송 영상을 시그널링하기 위한 시그널링 데이터를 포함하는 방송 신호를 수신한다 (s19010).
3차원 방송 수신기는 상기 시그널링 데이터에 포함된, 복수의 시점에서의 서브타이틀 데이터를 시그널링하기 위한 다시점 서브타이틀 디스크립터로부터 특정 시점의 3차원 방송 영상을 식별하는 3차원 방송 영상 시점 정보를 파싱하고, 상기 3차원 방송 영상 시점 정보에 의하여 식별되는 특정 시점의 3차원 방송 영상을 위한 서브타이틀 데이터를 전송하는 방송 스트림 (stream) 의 패킷 식별자를 지정하는 다시점 서브타이틀 스트림 패킷 식별자 정보를 파싱하고, 상기 다시점 서브타이틀 스트림 패킷 식별자 정보에 의하여 식별되는 방송 스트림에 포함되는 특정 시점의 3차원 방송 영상을 위한 서브타이틀 데이터를 전송하는 세그먼트 (segment) 를 식별하는 다시점 서브타이틀 세그먼트 식별자 정보 파싱한다 (s19020).
3차원 방송 수신기는 상기 다시점 서브타이틀 세그먼트 식별자 정보에 의하여 식별된 세그먼트의 서브타이틀 데이터를 상기 3차원 방송 영상 시점 정보와 동일한 값을 가지는 특정 시점의 3차원 방송 영상에 적용한디 (s19030).
3차원 방송 수신기는 상기 서브타이틀 데이터가 적용된 특정 시점의 3차원 방송 영상을 포함하는 복수의 시점에 대한 3차원 방송 영상을 출력한다 (s19040).
본 발명에 따르면, 시청자의 시청 위치나 시청 환경에 관계없이, 3차원 컨텐츠 제작자의 의도에 맞는 3차원 영상을 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 3차원 영상과 함께 디스플레이되는 OSD, 서브타이틀 및/또는 캡션이 3차원 영상의 왜곡을 야기시키지 않도록 하는 효과가 있다.
또한, 본 발명에 따르면, PSI, PSIP 및/또는 DVB SI 체계를 이용해 3D 방송 서비스를 위해 추가적으로 전송되는 비디오 데이터에 대한 signaling 및 해당 데이터에 대한 정보를 전송할 수 있다.
아울러 추가적인 데이터 (secondary video)에 대한 resolution 정보, 코덱 정보, resizing 할 때 권장하는 필터링 기술에 대한 정보 등을 signaling 함으로써 수신기가 보다 양질의 3D 서비스를 제공할 수 있는 방법을 제공한다.
본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 최선의 실시예로 전술되었다.
산업상 이용가능성
전술한 바와 같이, 본 발명은 다시점 3차원 방송 영상 서비스를 수신 처리하는 시스템에 적용될 수 있다.

Claims (12)

  1. 방송 신호를 수신하는 튜너,
    상기 방송 신호는 3개 이상의 비디오 스트림, 서브타이틀 데이터를 포함하는 서브타이틀 스트림 및 시그널링 정보를 포함하고,
    상기 3개 이상의 비디오 스트림은 각각 다른 위치에 배치된 카메라에 의해 촬영된 비디오 데이터를 포함하고,
    3개 이상의 비디오 데이터 중 2개의 비디오 데이터는 하나의 3차원 뷰를 구성하고;
    상기 시그널링 정보를 파싱하는 시그널링 데이터 처리부,
    상기 시그널링 정보는, 멀티뷰 서비스의 공통 속성 정보 및 각 3차원 뷰에 대한 속성 정보를 포함하는 멀티뷰 디스크립터를 포함하고,
    상기 멀티뷰 디스크립터는 3차원 뷰의 총 개수를 나타내는 뷰 넘버 정보, 각 3차원 뷰를 식별하는 뷰 식별자 정보, 각 3차원 뷰를 구성하는 비디오 데이터 중 좌영상에 해당하는 비디오 데이터를 촬영한 카메라의 식별자를 나타내는 레프트 카메라 정보, 각 3차원 뷰를 구성하는 비디오 데이터 중 우영상에 해당하는 비디오 데이터를 촬영한 카메라의 식별자를 나타내는 라이트 카메라 정보, 각 3차원 뷰의 최소 디스패리티를 지시하는 제1 디스패리티 정보 및 각 3차원 뷰의 최대 디스패리티를 지시하는 제2 디스패리티 정보를 포함하고;
    상기 서브타이틀 데이터에 기초하여 3차원 뷰들에 대응하는 서브타이틀을 상기 3차원 뷰들에 각각 적용하고, 상기 제1 디스패리티 정보에 기초하여 상기 3차원 뷰들에 대응하는 OSD를 상기 3차원 뷰들에 각각 적용하는 3차원 방송 정보 처리부; 및
    상기 서브타이틀 및 OSD가 적용된 3차원 뷰들을 포함하는 3차원 방송 영상을 출력하는 3차원 영상 출력부;
    를 포함하는 3차원 방송 수신기.
  2. 삭제
  3. 제 1 항에 있어서, 상기 멀티뷰 디스크립터는,
    프로그램 맵 테이블 (Program Map Table; PMT), 버추어 채널 테이블 (Virtual Channel Table; VCT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT)에 포함되는 것을 특징으로 하는 3차원 방송 수신기.
  4. 삭제
  5. 제 1 항에 있어서, 상기 3차원 방송 정보 처리부는,
    상기 제1 디스패리티 정보가 지시하는 최소 디스패리티보다 작은 디스패리티 값이 적용된 OSD를 각 3차원 뷰들에 적용하는 것을 특징으로 하는 3차원 방송 수신기.
  6. 삭제
  7. 방송 신호를 수신하는 단계,
    상기 방송 신호는 3개 이상의 비디오 스트림, 서브타이틀 데이터를 포함하는 서브타이틀 스트림 및 시그널링 정보를 포함하고,
    상기 3개 이상의 비디오 스트림은 각각 다른 위치에 배치된 카메라에 의해 촬영된 비디오 데이터를 포함하고,
    3개 이상의 비디오 데이터 중 2개의 비디오 데이터는 하나의 3차원 뷰를 구성하고;
    상기 시그널링 정보를 파싱하는 단계,
    상기 시그널링 정보는, 멀티뷰 서비스의 공통 속성 정보 및 각 3차원 뷰에 대한 속성 정보를 포함하는 멀티뷰 디스크립터를 포함하고,
    상기 멀티뷰 디스크립터는 3차원 뷰의 총 개수를 나타내는 뷰 넘버 정보, 각 3차원 뷰를 식별하는 뷰 식별자 정보, 각 3차원 뷰를 구성하는 비디오 데이터 중 좌영상에 해당하는 비디오 데이터를 촬영한 카메라의 식별자를 나타내는 레프트 카메라 정보, 각 3차원 뷰를 구성하는 비디오 데이터 중 우영상에 해당하는 비디오 데이터를 촬영한 카메라의 식별자를 나타내는 라이트 카메라 정보, 각 3차원 뷰의 최소 디스패리티를 지시하는 제1 디스패리티 정보 및 각 3차원 뷰의 최대 디스패리티를 지시하는 제2 디스패리티 정보를 포함하고;
    상기 서브타이틀 데이터에 기초하여 3차원 뷰들에 대응하는 서브타이틀을 상기 3차원 뷰들에 각각 적용하고, 상기 제1 디스패리티 정보에 기초하여 상기 3차원 뷰들에 대응하는 OSD를 상기 3차원 뷰들에 각각 적용하는 단계; 및
    상기 서브타이틀 및 OSD가 적용된 3차원 뷰들을 포함하는 3차원 방송 영상을 출력하는 단계;
    를 포함하는 다시점 3차원 방송 영상 처리 방법.
  8. 삭제
  9. 제 7 항에 있어서, 상기 멀티뷰 디스크립터는,
    프로그램 맵 테이블 (Program Map Table; PMT), 버추어 채널 테이블 (Virtual Channel Table; VCT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT)에 포함되는 것을 특징으로 하는 다시점 3차원 방송 영상 처리 방법.
  10. 삭제
  11. 제 7 항에 있어서,
    상기 적용하는 단계는, 상기 제1 디스패리티 정보가 지시하는 최소 디스패리티보다 작은 디스패리티 값이 적용된 OSD를 각 3차원 뷰들에 적용하는 것을 특징으로 하는 다시점 3차원 방송 영상 처리 방법.
  12. 삭제
KR1020137013355A 2010-12-03 2011-12-02 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법 KR101899821B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41925610P 2010-12-03 2010-12-03
US61/419,256 2010-12-03
PCT/KR2011/009315 WO2012074328A2 (ko) 2010-12-03 2011-12-02 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130136478A KR20130136478A (ko) 2013-12-12
KR101899821B1 true KR101899821B1 (ko) 2018-11-02

Family

ID=46172427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137013355A KR101899821B1 (ko) 2010-12-03 2011-12-02 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법

Country Status (7)

Country Link
US (1) US9712804B2 (ko)
KR (1) KR101899821B1 (ko)
CN (2) CN105120370A (ko)
CA (1) CA2819141C (ko)
DE (1) DE112011103739B4 (ko)
GB (1) GB2500330A (ko)
WO (1) WO2012074328A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321572A1 (en) * 2012-05-31 2013-12-05 Cheng-Tsai Ho Method and apparatus for referring to disparity range setting to separate at least a portion of 3d image data from auxiliary graphical data in disparity domain
KR101653319B1 (ko) * 2012-08-10 2016-09-01 엘지전자 주식회사 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
KR20140120000A (ko) * 2013-04-01 2014-10-13 한국전자통신연구원 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법
US10009592B2 (en) 2013-07-02 2018-06-26 Lg Electronics Inc. Method and apparatus for processing 3-dimensional image including additional object in system providing multi-view image
KR101844236B1 (ko) * 2014-02-10 2018-04-02 엘지전자 주식회사 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
US20170171606A1 (en) * 2014-04-30 2017-06-15 Lg Electronics Inc. Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method, and broadcast signal receiving method
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US20170091896A1 (en) * 2015-09-30 2017-03-30 Samsung Display Co., Ltd. Independent multi-source display device
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
CN106954095A (zh) * 2017-04-17 2017-07-14 腾讯科技（深圳）有限公司 一种多媒体文件的播放方法及装置
KR102243666B1 (ko) * 2017-06-15 2021-04-23 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010093115A2 (en) * 2009-02-12 2010-08-19 Lg Electronics Inc. Broadcast receiver and 3d subtitle data processing method thereof
WO2010122775A1 (ja) * 2009-04-21 2010-10-28 パナソニック株式会社 映像処理装置及び映像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238367A (ja) 1996-02-29 1997-09-09 Matsushita Electric Ind Co Ltd テレビジョン信号送信方法，テレビジョン信号送信装置，テレビジョン信号受信方法，テレビジョン信号受信装置，テレビジョン信号送信受信方法，テレビジョン信号送信受信装置
US7825987B2 (en) * 2003-10-03 2010-11-02 Canon Kabushiki Kaisha Information processor, TV system, control method and program
KR101383735B1 (ko) * 2006-03-29 2014-04-08 톰슨 라이센싱 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치
EP2326101B1 (en) * 2008-09-18 2015-02-25 Panasonic Corporation Stereoscopic video reproduction device and stereoscopic video display device
US9013551B2 (en) 2008-12-01 2015-04-21 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
CN104618708B (zh) 2009-01-28 2017-07-07 Lg电子株式会社 广播接收机及其视频数据处理方法
WO2010095381A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device
WO2010151555A1 (en) * 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
CN101902582B (zh) 2010-07-09 2012-12-19 清华大学 一种立体视频字幕添加方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010093115A2 (en) * 2009-02-12 2010-08-19 Lg Electronics Inc. Broadcast receiver and 3d subtitle data processing method thereof
WO2010122775A1 (ja) * 2009-04-21 2010-10-28 パナソニック株式会社 映像処理装置及び映像処理方法

Also Published As

Publication number Publication date
US20130250052A1 (en) 2013-09-26
WO2012074328A3 (ko) 2012-07-26
GB2500330A (en) 2013-09-18
GB201310173D0 (en) 2013-07-24
CA2819141C (en) 2017-06-20
DE112011103739B4 (de) 2020-02-06
KR20130136478A (ko) 2013-12-12
CN105120370A (zh) 2015-12-02
CN103339946A (zh) 2013-10-02
CA2819141A1 (en) 2012-06-07
DE112011103739T5 (de) 2013-09-19
US9712804B2 (en) 2017-07-18
WO2012074328A2 (ko) 2012-06-07
CN103339946B (zh) 2015-10-07

Similar Documents

Publication Publication Date Title
KR101899821B1 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
KR101537709B1 (ko) 이차원 영상과 3ｄ 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
KR101657124B1 (ko) 방송 수신기 및 비디오 데이터 처리 방법
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
CN105163105B (zh) 处理和接收用于3维字幕的数字广播信号的方法和装置
US9578305B2 (en) Digital receiver and method for processing caption data in the digital receiver
KR20140040151A (ko) 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
KR101653319B1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
KR20140054076A (ko) 디지털 방송 신호 처리 방법 및 장치
KR20140000685A (ko) 디지털 방송 신호 수신 장치 및 방법
US9578300B2 (en) Method and apparatus for processing edge violation phenomenon in multi-view 3DTV service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right