KR20110125201A - 방송 수신기 및 ３ｄ 자막 데이터 처리 방법 - Google Patents

방송 수신기 및 ３ｄ 자막 데이터 처리 방법 Download PDF

Info

Publication number
KR20110125201A
KR20110125201A KR1020117011647A KR20117011647A KR20110125201A KR 20110125201 A KR20110125201 A KR 20110125201A KR 1020117011647 A KR1020117011647 A KR 1020117011647A KR 20117011647 A KR20117011647 A KR 20117011647A KR 20110125201 A KR20110125201 A KR 20110125201A
Authority
KR
South Korea
Prior art keywords
subtitle
extended
view
information
display
Prior art date
Application number
KR1020117011647A
Other languages
English (en)
Other versions
KR101657123B1 (ko
Inventor
서종열
김진필
홍호택
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20110125201A publication Critical patent/KR20110125201A/ko
Application granted granted Critical
Publication of KR101657123B1 publication Critical patent/KR101657123B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

방송 수신기 및 방송 수신기의 3D 서브타이틀 처리 방법이 개시된다. 본 발명에 따른 방송 수신기의 3D 서브타이틀 처리 방법은, 3D 서브타이틀 데이터를 포함하는 방송 신호를 수신하는 단계, 상기 3D 서브타이틀 데이터로부터 base view에 대한 서브타이틀 디스플레이 정보 및 extended view에 대한 확장 서브타이틀 디스플레이 제어 정보를 추출하는 단계 및 상기 base view에 대한 서브타이틀 디스플레이 정보 및 상기 extended view에 대한 서브타이틀 디스플레이 정보를 사용하여 3D 서브타이틀 디스플레이를 제어하는 단계를 포함한다.

Description

방송 수신기 및 ３Ｄ 자막 데이터 처리 방법{Broadcast receiver and 3D subtitle data processing method thereof}
본 발명은 방송 수신기 및 그의 3D 자막 데이터 처리 방법에 관한 것으로, 더욱 상세하게는 3D 자막 데이터를 수신하여 3D 비디오 디스플레이 디바이스의 디스플레이 컨디션 또는 자막 데이터 전송시 의도된 효과를 고려하여 3D 자막 데이터를 처리하는 방송 수신기 및 거의 3D 자막 데이터 처리 방법에 관한 것이다.
일반적으로 3D(3 dimensions) 영상(또는 입체 영상)은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3D 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 left view image와 우안에서 시청되기 위한 right view image를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 left view image와 right view image를 시청함으로써 3D 영상 효과를 인지할 수 있도록 한다.
본 발명이 이루고자 하는 기술적 과제는 방송 수신기에서 3D 방송 환경에서 자막 데이터를 수신한 경우 3D 비디오 디스플레이 디바이스의 디스플레이 컨디션 및 제작시 의도된 3D 효과를 고려하여 수신된 3D 자막 데이터를 처리하여 디스플레이함으로써 사용자에게 더욱 효율적이고 편리한 방송 환경을 제공하는데 있다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예예 따른 방송 수신기의 3D 서브타이틀 데이터 처리 방법은, 3D 서브타이틀 데이터를 포함하는 방송 신호를 수신하는 단계, 상기 3D 서브타이틀 데이터로부터 base view에 대한 서브타이틀 디스플레이 정보 및 extended view에 대한 확장 서브타이틀 디스플레이 제어 정보를 추출하는 단계, 및 상기 base view에 대한 서브타이틀 디스플레이 정보 및 상기 extended view에 대한 서브타이틀 디스플레이 정보를 사용하여 3D 서브타이틀 디스플레이를 제어하는 단계를 포함한다.
또한, 본 발명의 다른 일 실시예에 따른 방송 수신기는, 3D 서브타이틀 데이터를 포함하는 방송 신호를 수신하는 수신부, 상기 3D 서브타이틀 데이터로부터 base view에 대한 서브타이틀 디스플레이 정보 및 extended view에 대한 확장 서브타이틀 디스플레이 제어 정보를 추출하는 추출부(extracting unit) 및 상기 base view에 대한 서브타이틀 디스플레이 정보 및 상기 extended view에 대한 서브타이틀 디스플레이 정보를 사용하여 3D 서브타이틀 디스플레이를 제어하는 컨트롤러를 포함한다.
본 발명에 따르면, 방송 수신기는 수신된 3D 서브타이틀 데이터의 3D 효과에 따라 자막 데이터를 처리하여 디스플레이할 수 있다.
또한, 본 발명에 따르면 2D legacy 방송 수신기와의 호환성을 유지하면서, 3D 비디오 디스플레이가 가능한 방송 수신기에서 3D 효과를 갖는 서브타이틀을 디스플레이할 수 있다.
도 1은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) DDS(Display Definition Segment)의 신택스 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) PCS(Page Composition Segment)의 신택스 구조를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) RCS(Region Composition Segment)의 신택스 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장 ODS(Object Data Segment)의 신택스 구조를 나타낸 도면이다.
도 5는, 본 발명의 일 실시예에 따른 3D 서브타이틀 데이터를 수신하여 처리하는 방법을 도시한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 3D 서브타이틀 데이터를 수신하여 처리하는 방송 수신기를 도시한 블록도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3D 영상 표현 방법은 2 개의 시점을 고려하는 스테레오스코픽 image 방식과 3 개 이상의 시점을 고려하는 multiple view image 방식을 포함한다. 이에 비해 종래의 single view image 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 영상 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다. 이하에서 스테레오스코픽 영상 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 영상에도 적용될 수 있다.
스테레오스코픽 영상 또는 다시점 영상은 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.
예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 영상을 복호하여 3D 영상을 얻을 수 있다.
또한 스테레오스코픽 영상의 left view image와 right view image 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(extended layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본 계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.
스테레오스코픽 영상 디스플레이를 위해 AVC 방식에 MVC 방식을 추가로 사용하거나 AVC 만으로 좌/우 image sequence를 코딩한 경우, 해당 3D content를 방송하고자 할 때 고려해야하는 사항 중 하나는 기존의 2D 방송 수신기와의 호환성이다. 이를 위해 3D 영상 디스플레이를 지원하지 않는 종래의 방송 수신기를 위해 좌/우 영상 중 한 시점의 영상은 backward compaptible한 방법으로 코딩을 하여 송신하면, 2D 방송 수신기는 해당 신호만을 인식하여 출력함으로써 기존의 장비에서도 해당 content의 시청이 가능하다. 이하에서 레거시 방송 수신기를 위해 전송되는 시점의 기본 계층 영상을 base view 비디오, 3D 영상 디스플레이를 위해 전송되는 확장 계층 영상을 extended view 비디오라고 호칭할 수도 있다.
이렇게 base view 비디오 데이터와 extended view 비디오 데이터를 전송하면 레거시 2D 방송 수신기에서는 base view 비디오 데이터로부터 2D 영상을, 3D 방송 수신기에서는 base view 비디오 데이터와 extended view 비디오 데이터로부터 3D 영상을 각각 디스플레이할 수 있다. 다만 이러한 경우 서브타이틀을 디스플레이하는 방법이 문제된다.
이하에서 서브타이틀을 전송하고, 수신하여 처리하는 시스템으로서 DVB 방송 시스템을 일 예로서 설명한다.
본 발명에 있어서 서브타이틀이란, 자막 뿐만 아니라 기본적인 비디오 데이터 외에 부가적으로 디스플레이되는 이미지, 텍스트 데이터, 그래픽, 로고 등을 포함하는 의미로서 사용된다.
DVB 방송 시스템에서, 서브타이틀에 대한 정보로서, 서브타이틀을 디스플레이하는데 필요한 구성, 크기, 위치 등을 포함하는 서브타이틀 디스플레이 정보, 서브타이틀의 디스플레이 색상에 대한 정보를 포함하는 서브타이틀 데이터가 전송된다. 서브타이틀 디스플레이 정보는 서브타이틀이 디스플레이되는데 필요한 디스플레이 윈도우 구성에 대한 디스플레이 정의 정보(display definition information), 페이지 구성 정보(page composition information), region 구성 정보(region composition information), 객체(object) 데이터 정보(object data information) 등을 포함한다. 이하에서, 전송시 신택스 구조적인 의미에서 display definition information은 display definition segment로, page composition informtaion은 page composition segment로, region composition information은 region composition segment로, object data information은 object data segment로 각각 지칭할 수도 있다.
기존의 DVB 방송 신호에서는 기본적인 서브타이틀 디스플레이 정보만을 제공하므로, 3D 방송 수신기에서 이를 디스플레이하려는 경우 2D로 표현하거나, 표현을 할 수 없는 경우가 발생할 수 있다. 따라서 서브타이틀 디스플레이 정보에 대하여도 3D 디스플레이를 할 수 있는 정보를 전송해줄 필요가 있으며, 이러한 정보를 사용하여 서브타이틀 데이터를 3D 디스플레이할 수 있는 방송 수신기 및 데이터 처리 방법이 요구된다.
스테레오스코픽 영상 디스플레이의 경우, 좌 시점의 비디오 데이터와 우 시점의 비디오 데이터는 3D 효과를 갖도록 수평 방향으로 일정 간격 쉬프트되어 디스플레이된다. 이때 쉬프트되는 간격과 같이 3D 효과를 나타낼 수 있는 다양한 표현값들이 존재한다. 본 발명의 경우, 일 실시예로서 디스패러티 값을 이러한 표현값으로 설명하도록 한다.
3D 효과는 사람의 두 안구의 망막에 투영되는 약간의 다른 화상으로부터 깊이의 느낌을 얻는 시각적 지각의 프로세스를 통하여 얻어진다.
두개의 망막에 비치는 이미지의 차이는 수평적 차이 (디스패리티; disparity), 망막간 차이, 양안의 차이라고 불리울 수 있다. 이하에서는 disparity라고 지칭할 수 있다.
예를 들면, 3D 비디오 데이터 전송시 장면마다 나타내고자 하는 3D 효과가 상이할 수 있는데, 이때 해당 장면들에 대한 디스패러티 값들을 전송하여 수신기가 3D 효과를 제어하여 디스플레이하도록 할 수 있다. 디스패러티 값 외에 depth value, pixel interval, screen size 등 다른 표현 값으로 3D 효과를 나타내어 수신기에서 디스플레이하도록 할 수도 있으나 본 발명에서는 일 실시예로서 디스패러티 값을 사용하여 기술하도록 한다.
종래의 DVB 전송 방식으로 서브타이틀 데이터를 전송하는 경우, 3D 방송 수신기는 비디오 데이터는 base view 비디오 데이터와 extended view 비디오 데이터를 수신하여 3D 비디오로서 디스플레이할 수 있으나 서브타이틀 데이터는 3D 디스플레이를 위한 정보가 없어 2D로 디스플레이하여야 하는 문제점이 발생한다. 이러한 경우 서브타이틀은 base view 비디오 또는 extend view 비디오에 디스플레이할 수 밖에 없게 되며, 사용자는 서브타이틀을 영상과 별도로 2D로서 시청하게 되어 눈의 피로감과 어지러움 같은 불편함이 발생할 수 있다.
따라서 종래의 서브타이틀 데이터에 3D 비디오 데이터와 같이 3D 효과에 대한 정보를 함께 전송할 필요가 있다. 이러한 방법으로 종래의 서브타이틀 디스플레이 정보에 3D 효과에 대한 정보를 삽입하거나, 부가적인 서브타이틀 디스플레이 정보를 전송하는 방법이 가능하다.
부가적인 서브타이틀 데이터를 전송하는 방법으로는, 스테레오스코픽 영상의 경우 3D 효과를 나타내기 위해 2개 시점(좌, 우)의 비디오 데이터를 필요로 하므로 종래의 서브타이틀 디스플레이 정보를 한 시점에서의 서브타이틀 디스플레이 정보로 사용하고, 다른 시점에서의 서브타이틀 디스플레이 정보를 추가로 전송하는 방법이 가능하다. 예를 들면, 종래의 서브타이틀 디스플레이 정보를 base view에서 디스플레이하는 서브타이틀로 설정하고, extended view에서 디스플레이할 서브타이틀에 대한 서브타이틀 디스플레이 정보를 추가로 전송하는 것이다. 이러한 방법의 경우, 두개의 서브타이틀 디스플레이 정보를 전송하면서, 어느 하나의 서브타이틀 디스플레이 정보 또는 두 서브타이틀 디스플레이 정보에 3D 효과에 대한 정보를 삽입하여 전송하면, 3D 수신기는 스테레오스코픽 비디오 데이터를 디스플레이하는 방법과 마찬가지로 3D 효과를 갖는 서브타이틀 데이터를 디스플레이할 수 있다.
부가적인 서브타이틀 디스플레이 정보를 전송하는 방법은 기존의 서브타이틀 디스플레이 정보를 수정하여 전송하는 경우에 비하여 유리할 수 있다. 즉, 종래의 2D 방송 수신기는 기존의 서브타이틀 디스플레이 정보에 정의되지 않은 부가적인 서브타이틀 디스플레이 정보는 처리하지 않고, 기존의 서브타이틀 디스플레이 정보만을 처리하여 디스플레이하면 되므로 기존의 2D 수신기와의 호환성을 확보하는 것이 용이하다.
따라서 이하에서 본 발명의 일 실시예에서는, 기존의 서브타이틀 디스플레이 정보와 함께 3D 디스플레이를 위한 서브타이틀 디스플레이 정보를 구성하여 서브타이틀 데이터를 전송하는 방법을 설명하며, 이러한 추가적인 서브타이틀 디스플레이 정보는 확장(extended) 서브타이틀 디스플레이 정보로 지칭될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) DDS(Display Definition Segment)의 신택스 구조를 나타낸 도면이다.
DDS는 DVB 서브타이틀이 랜더링(rendering)되는 TV image의 디스플레이 폭(width)과 높이(height)를 나타내는 정보를 포함한다. 다시 말해, DDS는 디스플레이될 서브타이틀 스트림이 준비된 비디오 이미지의 디스플레이 사이즈를 나타낸다. 본 발명의 일 실시예에서는, 도 1과 같은 확장 DDS(DDS_EXT)를 전송하여 수신기에서 extend view에서의 서브타이틀 출력을 제어도록 한다.
도 1의 확장 DDS의 각 필드에 대한 설명은 이하와 같다.
dds_version_number 필드는 확장 DDS의 버젼 정보를 나타낸다.
display_window_flag 필드는 확장 DDS와 연관된 서브타이틀 디스플레이 세트가 display_width와 display_height에 의하여 정의되는 디스플레이 사이즈 내의 윈도우 내에서 렌더링(rendering) 되는지 여부에 대한 정보를 가리킨다. 또는 display_width와 display_height에 의하여 정의되는 사이즈에 의하여 직접적으로 렌더링되는지 여부를 가리킬 수도 있다.
display_width 필드는 확장 DDS와 연관된 서브타이틀링 스트림에 의한 디스플레이의 추정되는 픽셀의 최대 수평적 넓이를 가리킨다.
display_height 필드는 확장 DDS와 연관된 서브타이틀링 스트림에 의한 디스플레이의 라인의 최대 수직적 높이를 가리킨다.
display_window_horizontal_position_minimum 필드는 디스플레이의 맨 좌측 픽셀을 참조하여, 서브타이틀 디스플레이의 맨 좌측 픽셀을 가리킨다.
display_window_horizontal_position_maximum 필드는 디스플레이의 맨 좌측 픽셀을 참조하여, 서브타이틀 디스플레이의 맨 우측 픽셀을 가리킨다.
display_window_vertical_position_minimum 필드는 디스플레이의 최상단 라인을 참조하여, 서브타이틀 디스플레이의 최상단 라인을 가리킨다.
display_window_vertical_position_maximum 필드는 디스플레이의 최상단 라인을 참조하여, 서브타이틀 디스플레이의 최하단 라인을 가리킨다.
이 필드들은 DDS에 이미 포함되어 전송될 수도 있다. 이러한 경우에는, DDS에서 전송된 중복되는 필드들에 대한 정보는 생략하고, 이하의 정보들만을 전송할 수도 있다.
page_id 필드(1020)는 서브타이틀이 디스플레이되는 페이지에 대한 식별자를 나타낸다. page_id 값의 경우, base view와 extended view에서 동일한 페이지에 서브타이틀을 디스플레이할 것이므로, base view에 해당하는 DDS의 page_id 값과 동일하게 설정되어 전송될 수 있다.
segment_type 필드(1010)는 기존의 DDS를 위한 값(예를 들면 0x14)와는 다른 값을 가져야 하며, 확장 DDS라는 것을 식별할 수 있는 값(예를 들면 0x44)이어야 한다.
target_view_position 필드(1030)는 확장 DDS가 적용되는 view position을 나타낸다. 다시 말해, 스테레오스코픽 서브타이틀 디스플레이를 위한 viewpoint information을 나타낸다. 예를 들면, 해당 확장 DDS의 서브타이틀 디스플레이가 left image에 적용되면 ‘0’으로, right image에 적용되면 ‘1’로 설정될 수 있다.
minimum_disparity_value 필드(1040)는 left image와 right image를 이용해 표현 가능한 disparity 값의 최소값을 나타낸다. 이 필드의 disparity 값이 감소할수록, 즉 음의 값을 가질수록 screen의 앞쪽에 image가 형성된다.
maximum_disparity_value 필드(1050)는 left image와 right image를 이용해 표현 가능한 disparity 값의 최대값을 나타낸다. 이 필드의 disparity 값이 증가할수록, 즉 양의 값을 가질수록 screen의 안쪽에 image가 형성된다.
확장 DDS는 minimum_disparity_value 필드(1040) 및 maximum_disparity_value 필드(1050)를 통해 서브타이틀 디스플레이시 부여할 수 있는 디스패러티 값의 범위를 정의할 수 있다.
확장 DDS는 상술한 바와 같이, DDS와의 관계에서 각각의 서브타이틀에 대한 viewpoint 할당에 대한 정보, 3D 효과에 대한 정보(disparity 값들)을 포함함으로써, 수신기에서 3D 효과를 갖는 서브타이틀의 디스플레이가 가능하게 한다.
도 2는 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) PCS(Page Composition Segment)의 신택스 구조를 나타낸 도면이다.
PCS는 디스플레이되는 서브타이틀의 구성 요소들에 대한 정보를 포함한다. PCS는 이러한 구성 요소로서 디스플레이되는 페이지를 구성하는 적어도 하나의 리젼(region)에 대한 사용 및 positioning에 대한 정보를 포함할 수 있다. 본 발명의 일 실시예에서는, 도 2와 같은 확장 PCS(PCS_EXT)를 전송하여 수신기에서 extend view에서의 서브타이틀 출력을 제어도록 한다.
도 2의 확장 PCS의 각 필드에 대한 설명은 이하와 같다.
page_id 필드는 서브타이틀이 디스플레이되는 페이지에 대한 식별자를 나타낸다. page_id 값의 경우, base view와 extended view에서 동일한 페이지에 서브타이틀을 디스플레이할 것이므로, base view에 해당하는 PCS의 page_id 값과 동일하게 설정되어 전송될 수 있다.
page_time_out 필드는 초단위로 표현될 수 있으며, 페이지 인스턴스가 더 이상 유효하지 않은 이후, 그리고 스크린에서 순차적으로 지워지는 주기를 가리킨다. 위 주기 전에는 그것이 재정의되지 않는다.
page_version_number 필드는 확장 PCS의 버전을 가리킨다.
page_state 필드는 확장 PCS에서 묘사된 서브타이틀링 페이지 인스턴스의 상태를 가리킨다.
region_id 필드는 페이지 내에서 영역 (region)의 유니크한 식별자를 가리킨다. region_id 또한 base view와 extended view에서 동일한 region에서 서브타이틀을 디스플레이할 것이므로, base view에 해당하는 PCS의 region_id 값과 동일하게 설정되어 전송될 수 있다.
region_horizontal_address 필드는 현재 region의 좌측 최상단의 픽셀의 수평적 위치를 가리킨다. 유효한 픽셀들의 맨 좌측 픽셀의 수평적 위치는 0 이다. 그리고, 픽셀의 위치는 좌측에서 우측으로 가면서 증가한다.
region_vertical_address 필드는 이 region의 최상단 라인의 수직적 위치를 가리킨다. 프레임의 최상단 라인은 0 이다. 그리고, 라인 위치는 상단에서 하단으로 가면서 하나씩 증가한다.
target_view_position 필드(2010)는 확장 PCS가 적용되는 view position을 나타낸다. 즉, 스테레오스코픽 서브타이틀 디스플레이를 위한 viewpoint information을 나타낸다.예를 들어, 해당 확장 PCS의 서브타이틀 디스플레이가 left image에 적용되면 ‘0’으로, right image에 적용되면 ‘1’로 설정될 수 있다.
region_disparity_value 필드(2020)는 left image에 적용되는 region과 right image에 적용되는 region 사이의 disparity 값을 나타낸다. 이 필드 값은 target view를 기준으로 다른 view의 horizontal displacement를 나타낸다. 이 필드값을 전송하는 경우, region_horizontal_address 필드, region_vertical_address 필드는 redundent할 수 있으므로, 전송시 생략할 수도 있다.
예를 들어, 확장 PCS의 target_view_positon 필드의 필드값이 ‘1’이고, region_disparity_value 필드의 필드값이 ‘20’이며, PCS의 region_horizontal_address 필드의 필드값이 N이라고 가정하자. 이 경우, 확장 PCS에 따른 서브타이틀이 right image로, PCS에 따른 서브타이틀이 left image로 디스플레이된다. 이때 left image에서 디스플레이되는 서브타이틀의 가로 위치는 N이며, right image에서 디스플레이되는 서브타이틀의 가로 위치는 N-20이 되어, 해당하는 가로 위치의 차이에 따라 양안 시차가 발생하여, 3D 효과가 발생하게 된다.
도 3은 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장(extended) RCS(Region Composition Segment)의 신택스 구조를 나타낸 도면이다.
RCS는 디스플레이되는 객체들의 리스트, 객체들의 위치에 대한 정보를 포함한다. 본 발명의 일 실시예에서는, 도 3과 같은 확장 RCS(RCS_EXT)를 전송하여 수신기에서 extend view에서의 서브타이틀 출력을 제어도록 한다.
도 3의 확장 RCS의 각 필드에 대한 설명은 이하와 같다.
region_id 필드는 현재 확장 RCS에 포함된 정보와 관련한 region을 식별한다.
revion_version_number 필드는 현재 region의 버전을 가리킨다.
region_fill_flag 필드는 1로 셋팅된 경우, 현재 세그먼트의 region_n-bit_pixel_code 필드에서 정의된 배경 컬러로 해당 region이 채워지는 것을 시그널링한다.
region_width 필드는 현재 region의 수평적 길이를 픽셀의 수로 특정한다.
region_height 필드는 현재 region의 수직적 길이를 픽셀의 수로 특정한다.
region_level_of_compatability 필드는 현재 region을 디코더에서 디코딩하기 위하여 필요한 CLUT(Colour Look Up Table)의 최소 타입을 가리킨다.
region_depth 필드는 현재 region을 위한 의도된 픽셀 깊이를 식별한다.
CLUT_id 필드는 현재 region에 적용되는 CLUT의 패밀리를 식별한다.
region_n(8,4 and 2)-bit_pixel_code 필드는 region_fill_flag 가 셋팅된 경우, 현재 region을 위한 배경 색상으로 적용되는 n-bit CLUT의 엔트리를 식별한다.
processed_length 필드는디코더에 의하여 while 룹에서 처리된 필드들의 바이트 수를 나타낸다.
object_id 필드는 현재 region 내에서 보여지는 object를 식별한다.
object_type 필드는 object의 타입을 식별한다.
object_provider_flag 필드는 현재 object가 어떻게 제공되는지 가리킨다.
object_horizontal_position 필드는 현재 object의 좌측 최상단 픽셀의 수평적 위치를 특정한다. 위치는 수평적 픽셀의 수로 표현되며, 관련된 region의 맨 좌측 모서리로부터 측정된다.
object_vertical_position 필드는 현재 object의 좌측 최상단의 수직적 위치를 특정한다. 위치는 라인의 수로 표현되며, 관련된 region의 최상단으로 부터 측정된다.
foreground_pixel_code 필드는 문자의 전경 색상으로 선택된 CLUT에 적용되는 엔트리를 특정한다.
background_pixel_code 필드는 문자의 배경 색상으로 선택된 CLUT에 적용되는 엔트리를 특정한다.
target_view_position 필드(3010)는 확장 RCS가 적용되는 view position을 나타낸다. 즉, 스테레오스코픽 서브타이틀 디스플레이를 위한 viewpoint information을 나타낸다.예를 들어, 해당 확장 RCS의 서브타이틀 디스플레이가 left image에 적용되면 ‘0’으로, right image에 적용되면 ‘1’로 설정될 수 있다.
object_disparity_value 필드(3020)는 left image에 적용되는 object와 right image에 적용되는 object 사이의 disparity 값을 나타낸다. 이 필드 값은 target view를 기준으로 다른 view의 horizontal displacement를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 확장 서브타이틀 디스플레이 정보로서, 확장 ODS(Object Data Segment)의 신택스 구조를 나타낸 도면이다.
ODS는 디스플레이되는 객체들에 대한 데이터를 포함한다. 본 발명의 일 실시예에서는, 도 4와 같은 확장 ODS(ODS_EXT)를 전송하여 수신기에서 extend view에서의 서브타이틀 출력을 제어도록 할 수 있다.
ODS의 경우, 확장 RCS에서 region에 포함되는 각 object 단위로 disparity 필드를 추가한 경우 이 필드를 이용해 각 object 단위로 disparity를 조절할 수 있으므로 region 내 object 단위로 서로 다른 3D 효과의 부여가 가능하다. 따라서 extend view의 서브타이틀 디스플레이에도 base view의 ODS를 그대로 사용할 수 있으며, 이 때 확장 RCS에서 base view에서 사용하는 ODS의 식별자와 동일한 식별자를 지정하도록 전송할 수 있다. 또는 방송 수신기에서 수신한 ODS를 카피하거나 판독하여 extended view에서의 서브타이틀 디스플레이를 제어할 수도 있다. 다만, 시점에 따라 상이한 object를 사용할 수도 있는데, 이러한 경우에는 확장 ODS에서 별도의 object에 대한 데이터를 전송할 수 있다. 본 발명에서는, extended view에서의 서브타이틀 디스플레이에 사용되는 ODS를 확장 ODS라고 지칭할 수 있으며, 이러한 경우 확장 ODS라는 용어는 상술한 예시들을 포괄하는 것으로 사용될 것이다.
도 4의 확장 ODS의 각 필드에 대한 설명은 이하와 같다.
object_id 필드는 현재 확장 ODS에 포함된 데이터와 관련된 페이지 내의 object를 식별한다.
object_version_number 필드는 현재 세그먼트 데이터의 버전을 가리킨다.
object_coding_method 필드는 objectdp 사용된 코드를 특정한다.
non_modifying_colour_flag 필드는 1로 셋팅된 경우, CLUT 엔트리 값 1은 논 모디파잉 색상 (non modifying colour) 임을 나타낸다.
top_field_data_block_length 필드는 최상위 필드의 pixel-data_cub-blocks에 포함된 바이트의 수를 특정한다.
bottom_field_data_block_length 필드는 최하단 필드를 위한 data_sub-block에 포함된 바이트의 수를 특정한다.
processed_length 필드는 while 룹 내에서 디코더에 의하여 처리된 필드의 바이트의 수를 가리킨다.
8_stuff_bits 필드는 '0000 0000' 으로 코딩되는 8 개의 스터핑 비트를 가리킨다.
number_of_codes 필드는 스트링 내의 문자 코드의 숫자를 특정한다.
character_code 필드는 subtitle_descriptor 에서 식별되는 character table 내의 인덱스 숫자를 통하여 문자를 특정한다.
이하에서는, 본 발명의 일 실시예에 따른 스테레오스코픽 서브타이틀 디스플레이를 위한 서브타이틀 디스플레이 정보의 구성 및 처리에 대하여 설명한다.
먼저, 스테레오스코픽 서브타이틀 디스플레이를 위한 DDS 및 PCS의 구성 및 처리에 대한 실시예를 설명한다.
수신기에서 스테레오스코픽 서브타이틀을 디스플레이하기 위해서는 스테레오스코픽 비디오를 구성하는 두개의 view, 즉 base view 와 extended view에 대한 서브타이틀 정보를 수신해야 한다. 송신 시스템에서는 base view에 대한 DDS 및 PCS와, extended view에 대한 확장 DDS 및 확장 PCS를 전송할 수 있다.
이러한 경우 확장 DDS 및 확장 PCS의 segment type에 기존의 2D 방송 수신기가 인식할 수 없는 값을 설정하여 전송하면, 기존의 2D 방송 수신기는 확장 DDS 및 확장 PCS는 discard하고 DDS 및 PCS를 이용하여 서브타이틀 디스플레이를 제어할 수 있다. 3D 방송 수신기는, DDS 및 PCS를 이용하여 base view에 대한 서브타이틀 디스플레이를 제어하고, 확장 DDS 및 확장 PCS를 이용하여 extended view에 대한 서브타이틀 디스플레이를 제어하여, 3D 효과를 갖는 서브타이틀을 디스플레이할 수 있다.
다음으로, 스테레오스코픽 서브타이틀 디스플레이를 위한 RCS(Region Composition Segment)의 구성 및 처리에 대한 다른 실시예를 설명한다.
RCS는 region에서 디스플레이되는 객체(object)의 리스트 및 위치 등의 정보를 포함한다. 확장 PCS를 전송하는 경우 확장 PCS에 포함된 region id에 대응하는 확장 RCS는 기존의 2D 방송 수신기의 동작에 영향을 주지 않도록 기존의 2D 방송 수신기가 해석할 수 없는 segment type 값을 설정하여 전송할 수 있다. 일 실시예로서, 확장 RCS를 전송하는 경우 segment type 값으로 0x41 값을 설정할 수 있다. 이때 확장 RCS는 기존의 RCS와 동일한 구조를 가질 수 있다. 본 발명의 일 실시예에서, 이때 확장 RCS는 도 3의 테이블 구조에서 target_view_position 필드(3010) 및 object_disparity_value 필드(3020) 필드가 삭제된 구조가 될 수도 있다.
또한, 확장 RCS를 사용하지 않고 RCS를 그대로 사용하여(segment type 값=0x11) extended view에 대한 region composition 정보를 전송할 수도 있다. 이 경우 기존의 2D 방송 수신기는 수신된 PCS 내에 이 RCS에 대한 region id가 available하지 않으므로, 이 RCS를 discard할 수 있다.
다음으로, 스테레오스코픽 서브타이틀 디스플레이를 위한 ODS(Object Data Segment)의 구성 및 처리에 대한 다른 실시예를 설명한다.
RCS 또는 확장 RCS는 region을 구성하는 객체(object) 정보를 포함하며, 해당 객체에 대한 구체적인 정보는 ODS에 포함되어 전송될 수 있다. 이때, 기존의 2D 방송 수신기의 동작에 영향을 미치지 않기 위해 extend view에 대한 서브타이틀 객체를 설명하는 확장 ODS를 전송할 수 있다. 확장 ODS는 기존의 ODS와 동일한 구조로, segment type 값만 기존의 ODS와 다르게 할당(예를 들면, 0x43)하여 전송할 수 있다.
또한, 확장 ODS를 사용하지 않고 기존의 ODS를 사용하여 extended view에 대한 객체 정보를 전송할 수도 있다. 이 경우 기존의 2D 방송 수신기는 수신된 ODS에 대한 object id가 available하지 않으므로, 이 ODS를 discard할 수 있다.
본 발명의 일 실시예로서, 상술한 바와 같은 DDS_EXT, PCS_EXT, RCS_EXT(또는 RCS), ODS_EXT(또는 ODS)의 구성 및 전송 방법에 따라 다양한 조합이 가능하다. 즉, 서브타이틀 내에서 DDS_EXT, PCS_EXT, RCS_EXT, ODS_EXT에 동일한 3D 효과를 갖도록 구성하지 않고, 상이한 3D 효과를 갖도록 구성할 수 있다. 예를 들어, DDS_EXT, PCS_EXT, RCS_EXT, ODS_EXT에 대해 각각 상이한 disparity 값을 부여할 수 있다. 이로 인해, 서브타이틀에 대해 page, region, object 별로 상이한 3D 효과를 갖는 다양한 조합의 3D 서브타이틀의 디스플레이가 가능할 수 있다.
도 5는, 본 발명의 일 실시예에 따른 3D 서브타이틀 데이터를 수신하여 처리하는 방법을 도시한 순서도이다.
방송 수신기는 DVB 방송 스트림을 수신하고, 수신된 방송 스트림으로부터 서브타이틀 데이터를 추출한다(S5010). 상세하게 설명하면, 방송 수신기는 DVB 방송 스트림에서 PMT를 파싱하여, stream_type = 0x06인 스트림의 PID 값을 파악하여 DVB 서브타이틀에 해당하는 PES(Packet Elementary Stream)를 수신할 수 있다. 이때 방송 수신기는 PMT로부터 서브타이틀에 대한 기본 정보를 파악할 수 있다. 일 실시예로서, 방송 수신기는 PMT 내의 subtitling_descriptor의 subtitling type 필드를 통해 3D 서브타이틀인지 여부를 판단하여 사용자에게 3D 서브타이틀의 가능 여부(availability)를 제공할 수 있다. 방송 수신기는 data_identifier 필드의 값이 0x20이고 subtitle_stream_id 값이 0x00인 PES packet을 판독함으로써 서브타이틀 데이터를 추출할 수 있다.
방송 수신기는 추출된 서브타이틀 데이터를 섹션 필터링한다(S5020). 방송 수신기는, 서브타이틀 데이터에 포함된 세부 정보들을 필터링하여 해당하는 버퍼로 출력할 수 있다. 이때, segment type 필드의 값에 따라 서브타이틀 데이터를 다음과 같이 분류하여 출력할 수 있다.
0x10 - page composition segment for base view
0x11 - region composition segment for base view
0x12 - CLUT definition segment for both base view and extended view
0x13 - object data segment for base view
0x14 - display definition segment for base view
0x40 - page composition segment for extended view
0x41 - region composition segment for extended view
0x43 - object data segment for extended view
0x44 - display definition segment for extended view
방송 수신기는 분류된 DDS, PCS, RCS 및 ODS로부터 base view에 대한 서브타이틀 디스플레이 정보를 디코딩한다(S5030). 방송 수신기는, DDS, PCS, RCS 및 DDS를 디코딩하여 디스플레이할 서브타이틀에 대한 크기, 위치, object 구성 정보 및 object 자체에 대한 정보 등을 파악할 수 있다. 방송 수신기가 base view에서 서브타이틀을 디스플레이하는데 필요한 정보들을 서브타이틀 제어 정보라 지칭할 수도 있다.
방송 수신기는 ODS를 디코딩하고 CLUT(Colour Look Up Table)을 파싱하여 base view에서의 서브타이틀 디스플레이 색상 정보를 결정한다(S5040). 방송 수신기는 ODS에 포함된 pixel-data_sub-block 데이터를 디코딩하여 base view graphic plane에 출력할 서브타이틀에 대한 pseudo-color value을 획득할 수 있다. 그리고 방송 수신기는 CLUT를 파싱하여 pseudo-color를 실제 디스플레이할 색상 정보로 변환할 수 있다.
방송 수신기는 분류된 확장 DDS, 확장 PCS, 확장 RCS(또는 RCS) 및 확장 ODS(또는 ODS)로부터 extended view에 대한 확장 서브타이틀 디스플레이 정보를 디코딩한다(S5050). 방송 수신기는, 확장 DDS, 확장 PCS, 확장 RCS(또는 RCS) 및 확장 ODS(또는 ODS)를 디코딩하여 extended view에서 디스플레이할 서브타이틀에 대한 크기, 위치, object 구성 정보 및 object 자체에 대한 정보 등을 파악할 수 있다. 방송 수신기가 extend view에서 서브타이틀을 디스플레이하는데 필요한 정보들을 서브타이틀 제어 정보라 지칭할 수도 있다.
방송 수신기는 확장 ODS(또는 ODS)에 디코딩하고 CLUT(Colour Look Up Table)을 파싱하여 extended view에서의 서브타이틀 디스플레이 색상 정보를 결정한다(S5060). 방송 수신기는 확장 ODS(또는 ODS)에 포함된 pixel-data_sub-block 데이터를 디코딩하여 extended view graphic plane에 출력할 서브타이틀에 대한 pseudo-color value을 획득할 수 있다. 그리고 방송 수신기는 CLUT를 파싱하여 pseudo-color를 실제 디스플레이할 색상 정보로 변환할 수 있다.
3D 디스플레이에서 left view에 대한 서브타이틀의 색상과 right view에 대한 서브타이틀의 색상이 동일할 수 있다. 이때 방송 수신기는 디스플레이될 서브타이틀의 색상 정보를 한번만 결정하고, 다른 시점에 대한 서브타이틀의 색상 정보는 결정된 색상 정보를 판독하여 사용할 수 있다. 이러한 경우에는 단계 S5060이 생략되거나, 단계 S5040에서 결정된 색상 정보를 카피 또는 판독하는 단계로 수행될 수 있을 것이다.
방송 수신기는 base view에 대한 서브타이틀 및 extended view에 대한 서브타이틀을 각각의 서브타이틀 제어 정보에 따라 제어하여 출력한다(S5070). 방송 수신기는 base view에 대한 서브타이틀 제어 정보에 따라 base view의 비디오 데이터와 함께 base view에 대한 서브타이틀을 출력하고, extended view에 대한 서브타이틀 제어 정보에 따라 extended view의 비디오 데이터와 함께 extended view에 대한 서브타이틀을 출력함으로써, 3D 서브타이틀을 디스플레이할 수 있다.
상술한 단계들에 있어서, base view에서의 서브타이틀에 대한 서브타이틀 디스플레이 정보와 extended view에서의 서브타이틀에 대한 확장 서브타이틀 디스플레이 정보의 처리는 반드시 상술한 순서대로 수행되어야 하는 것은 아니다. extended view에서의 서브타이틀에 대한 서브타이틀 디스플레이 정보를 먼저 처리하거나, 양 시점에서의 처리를 동시에 수행할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 3D 서브타이틀 데이터를 수신하여 처리하는 방송 수신기를 도시한 블록도이다.
도 6의 방송 수신기는, demultiplexer(MPEG2 TS Demux(PID filter); 6010), section filter(6020), EV(Extended View) subtitle decoder(6030), BV(Base View) subtitle decoder(6040), composition buffer(4050), CLUT processor(CLUT; 6060), EV pixel buffer(6070), BV pixel buffer(6080), 3D graphics controller(6090)를 포함한다.
도 6의 방송 수신기에 대하여 이하에서 구성 요소별로 동작을 설명할 것이며, 도 6의 방송 수신기는 도 5의 3D 서브타이틀 데이터를 수신하여 처리하는 방법을 수행하는 것으로, 도 5에 중복되는 설명은 간략히 설명하도록 한다.
방송 수신기는 수신부(미도시)에서 서브타이틀 데이터를 포함하는 MPEG2 TS(Moving Picture Expert Group 2 Transport Stream)를 수신하고, demultiplexer(6010)에서 서브타이틀 데이터에 해당하는 PID로 필터링을 수행하여 서브타이틀 데이터를 추출, 출력한다.
section filter(6020)는 서브타이틀 데이터에 대해 섹션 필터링을 수행하여 PCS, PCS_EXT, RCS, RCS_EXT, DDS, DDS_EXT, ODS, ODS_EXT, CLUTDS(Colour Loop Up Table Definition Segment) 등의 데이터를 출력한다.
이하에서, 수신된 방송 신호로부터 서브타이틀 데이터를 추출하는 demultiplexer(6010) 및 서브타이틀에 대한 디스플레이 정보 및 CLUTDS를 추출하여 출력하는 section filter(6020)를 포함하여 추출부(extracting unit)라고 지칭할 수 있다.
이때 PCS, RCS, DDS, ODS, PCS_EXT, RCS_EXT, DDS_EXT, ODS_EXT는 composition buffer(6050)에서 버퍼링된 후 3D graphics controller(6090)로 제공되며, 또한 PCS, RCS, DDS, ODS는 BV subtitle decoder(6040)로, PCS_EXT, RCS_EXT, DDS_EXT, ODS_EXT는 EV subtitle decoder(6030)로 각각 제공된다.
CLUT processor(6060)는 CLUTDS를 처리하여 디스플레이 색상 정보를 BV pixel buffer(6080) 및 EV pixel buffer(6070)로 출력한다.
BV subtitle decoder(6040)는 PCS, RCS, DDS 및 ODS를 디코딩하여 base view에 대한 서브타이틀 데이터 및 서브타이틀의 디스플레이 정보를 디코딩하여, BV pixel buffer(6080)로 출력한다. EV subtitle decoder(6030)는 PCS_EXT, RCS_EXT, DDS_EXT 및 ODS_EXT를 디코딩하여 extended view에 대한 서브타이틀 데이터 및 서브타이틀의 디스플레이 정보를 디코딩하여, EV pixel buffer(6070)로 출력한다.
3D graphics controller(6090)는 composition buffer(6050)로부터 PCS, RCS, DDS, ODS, PCS_EXT, RCS_EXT, DDS_EXT, ODS_EXT를 출력받고, BV pixel buffer(6080)로부터 base view에 대한 서브타이틀의 디스플레이 정보, ODS 및 색상 정보를, EV pixel buffer(6070)로부터 extended view에 대한 서브타이틀의 디스플레이 정보, ODS_EXT 및 색상 정보를 판독하여, 각각의 시점에 대한 서브타이틀을 제어하여 출력한다.
본 발명의 다른 실시예로서, BV subtitle decoder(6040) 및 EV subtitle decoder(6030)는 각각 ODS 및 ODS_EXT를 디코딩하여 디스플레이되는 서브타이틀 객체에 대한 정보를 획득하고, 3D graphics controller(6090)는 composition buffer(6050)로부터 디스플레이되는 서브타이틀 객체에 대한 좌표, 크기 및 구성에 관한 정보(예를 들면, PCS, RCS, DDS, PCS_EXT, RCS_EXT, DDS_EXT)를 수신하여 3D 서브타이틀 디스플레이를 제어할 수도 있다.
본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 3D 서브타이틀 데이터를 포함하는 방송 신호를 수신하는 단계;
    상기 3D 서브타이틀 데이터로부터 base view에 대한 서브타이틀 디스플레이 정보 및 extended view에 대한 확장 서브타이틀 디스플레이 제어 정보를 추출하는 단계; 및
    상기 base view에 대한 서브타이틀 디스플레이 정보 및 상기 extended view에 대한 서브타이틀 디스플레이 정보를 사용하여 3D 서브타이틀 디스플레이를 제어하는 단계를 포함하는, 3D 서브타이틀 데이터 처리 방법.
  2. 제 1 항에 있어서,
    상기 base view에 대한 서브타이틀 디스플레이 정보는, DDS, PCS, RCS 및 ODS 중 적어도 하나를 포함하는, 3D 서브타이틀 데이터 처리 방법.
  3. 제 1 항에 있어서,
    상기 extended view에 대한 확장 서브타이틀 디스플레이 정보는, 확장 DDS, 확장 PCS, 확장 RCS 및 확장 ODS 중 적어도 하나를 포함하는, 3D 서브타이틀 데이터 처리 방법.
  4. 제 1 항에 있어서,
    상기 extended view에 대한 확장 서브타이틀 디스플레이 정보는, base view의 서브타이틀 및 extended view의 서브타이틀에 대한 시점 정보를 포함하는, 3D 서브타이틀 데이터 처리 방법.
  5. 제 1 항에 있어서,
    상기 extended view에 대한 확장 서브타이틀 디스플레이 정보는, 상기 3D 서브타이틀 디스플레이의 3D 효과에 대한 디스패리티 정보를 포함하는, 3D 서브타이틀 데이터 처리 방법.
  6. 3D 서브타이틀 데이터를 포함하는 방송 신호를 수신하는 수신부,
    상기 3D 서브타이틀 데이터로부터 base view에 대한 서브타이틀 디스플레이 정보 및 extended view에 대한 확장 서브타이틀 디스플레이 제어 정보를 추출하는 추출부(extracting unit), 및
    상기 base view에 대한 서브타이틀 디스플레이 정보 및 상기 extended view에 대한 서브타이틀 디스플레이 정보를 사용하여 3D 서브타이틀 디스플레이를 제어하는 컨트롤러를 포함하는, 방송 수신기.
  7. 제 6 항에 있어서,
    상기 base view에 대한 서브타이틀 디스플레이 정보는, DDS, PCS, RCS 및 ODS 중 적어도 하나를 포함하는, 방송 수신기.
  8. 제 6 항에 있어서,
    상기 extended view에 대한 확장 서브타이틀 디스플레이 정보는, 확장 DDS, 확장 PCS, 확장 RCS 및 확장 ODS 중 적어도 하나를 포함하는, 방송 수신기.
  9. 제 6 항에 있어서,
    상기 extended view에 대한 확장 서브타이틀 디스플레이 정보는, base view의 서브타이틀 및 extended view의 서브타이틀에 대한 시점 정보를 포함하는, 방송 수신기.
  10. 제 6 항에 있어서,
    상기 extended view에 대한 확장 서브타이틀 디스플레이 정보는, 상기 extended view에 대한 확장 서브타이틀 디스플레이 정보는, 상기 3D 서브타이틀 디스플레이의 3D 효과에 대한 디스패리티 정보를 포함하는, 방송 수신기.
KR1020117011647A 2009-02-12 2009-12-01 방송 수신기 및 ３ｄ 자막 데이터 처리 방법 KR101657123B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15223409P 2009-02-12 2009-02-12
US61/152,234 2009-02-12

Publications (2)

Publication Number Publication Date
KR20110125201A true KR20110125201A (ko) 2011-11-18
KR101657123B1 KR101657123B1 (ko) 2016-09-13

Family

ID=42562142

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117011647A KR101657123B1 (ko) 2009-02-12 2009-12-01 방송 수신기 및 ３ｄ 자막 데이터 처리 방법

Country Status (7)

Country Link
US (2) US8803948B2 (ko)
EP (1) EP2371140B1 (ko)
KR (1) KR101657123B1 (ko)
CN (2) CN102439980B (ko)
BR (1) BRPI0922899A2 (ko)
CA (1) CA2749668C (ko)
WO (1) WO2010093115A2 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010064853A2 (en) 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
WO2010064784A2 (ko) 2008-12-02 2010-06-10 (주)엘지전자 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
CN102388620B (zh) 2009-02-01 2014-10-29 Lg电子株式会社 广播接收机和三维视频数据处理方法
JP5521486B2 (ja) * 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
JP6068329B2 (ja) * 2010-04-01 2017-01-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 立体表示用のサブタイトルを生成する方法及びシステム
CA2799704C (en) 2010-05-30 2016-12-06 Jongyeul Suh Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
CA2807186C (en) * 2010-08-17 2017-03-14 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
CN102137264B (zh) * 2010-08-25 2013-03-13 华为技术有限公司 一种三维电视中图形文本显示的控制方法及设备、系统
CN103152596B (zh) * 2010-08-25 2015-05-06 华为技术有限公司 一种三维电视中图形文本显示的控制方法及设备、系统
JP5454444B2 (ja) * 2010-10-01 2014-03-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN103339946B (zh) * 2010-12-03 2015-10-07 Lg电子株式会社 用于接收多视图三维广播信号的接收设备和方法
CN107105212A (zh) * 2011-06-21 2017-08-29 Lg电子株式会社 用于处理3维广播服务的广播信号的方法和设备
JP2013051660A (ja) * 2011-08-04 2013-03-14 Sony Corp 送信装置、送信方法および受信装置
US10270823B2 (en) * 2015-02-10 2019-04-23 Qualcomm Incorporated Low latency video streaming
EP3349470A4 (en) * 2015-09-09 2019-01-16 LG Electronics Inc. BROADCAST SIGNAL TRANSMITTING DEVICE, BROADCAST SIGNAL RECEIVING DEVICE, BROADCASTING SIGNAL TRANSMITTING METHOD, AND BROADCAST SIGNAL RECEIVING METHOD
CN106056530B (zh) * 2016-06-01 2019-12-06 腾讯科技（深圳）有限公司 应用中图片内容的显示方法及装置
CN108924599A (zh) 2018-06-29 2018-11-30 北京优酷科技有限公司 视频字幕显示方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070058302A (ko) * 2005-12-02 2007-06-08 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR20080066437A (ko) * 2007-01-12 2008-07-16 엘지전자 주식회사 방송 신호 송수신 방법 및 방송 신호 수신 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100365554B1 (ko) * 1996-05-09 2003-04-10 마츠시타 덴끼 산교 가부시키가이샤 주영상이화면상에어떻게배치되어도부영상을균형있게주영상상에중합시킬수있는멀티미디어광디스크,재생장치및재생방법
MXPA05005133A (es) * 2002-11-15 2005-07-22 Thomson Licensing Sa Metodo y aparato para composicion de subtitulos.
US8737810B2 (en) * 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
EP1618562A4 (en) * 2003-04-29 2011-03-16 Lg Electronics Inc RECORDING MEDIUM HAVING A DATA STRUCTURE FOR MANAGING REPRODUCTION OF GRAPHIC DATA, METHODS AND APPARATUSES FOR RECORDING AND REPRODUCING THEM
KR20050036526A (ko) * 2003-10-16 2005-04-20 삼성전자주식회사 채널 전환 대기 시간을 이용한 디지털 멀티미디어방송시스템의 부가서비스 제공을 위한 전송스트림, 장치,방법 및 그 방송 수신 단말기
JP4256764B2 (ja) * 2003-12-05 2009-04-22 矢崎総業株式会社 ハーネス用ガイドプロテクタ及びそれを備えた電線余長吸収構造並びにハーネス用ガイドプロテクタの固定方法
EP2105032A2 (en) * 2006-10-11 2009-09-30 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
JP4856041B2 (ja) * 2007-10-10 2012-01-18 パナソニック株式会社 映像・音声記録再生装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
RU2518189C2 (ru) * 2008-06-26 2014-06-10 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, устройство записи, способ воспроизведения, способ записи и программа
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
KR20110053160A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
JP2011239169A (ja) * 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CA2799704C (en) * 2010-05-30 2016-12-06 Jongyeul Suh Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070058302A (ko) * 2005-12-02 2007-06-08 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR20080066437A (ko) * 2007-01-12 2008-07-16 엘지전자 주식회사 방송 신호 송수신 방법 및 방송 신호 수신 장치

Also Published As

Publication number Publication date
EP2371140B1 (en) 2017-03-01
KR101657123B1 (ko) 2016-09-13
WO2010093115A3 (en) 2011-12-08
CA2749668C (en) 2017-07-11
US8803948B2 (en) 2014-08-12
EP2371140A4 (en) 2012-11-14
EP2371140A2 (en) 2011-10-05
CN102439980B (zh) 2014-12-10
BRPI0922899A2 (pt) 2019-09-24
US20110292175A1 (en) 2011-12-01
USRE48413E1 (en) 2021-01-26
CN102439980A (zh) 2012-05-02
CN104333746B (zh) 2017-04-12
WO2010093115A2 (en) 2010-08-19
CN104333746A (zh) 2015-02-04
CA2749668A1 (en) 2010-08-19

Similar Documents

Publication Publication Date Title
USRE48413E1 (en) Broadcast receiver and 3D subtitle data processing method thereof
US10341636B2 (en) Broadcast receiver and video data processing method thereof
US9578304B2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
EP2594079B1 (en) Auxiliary data in 3d video broadcast
US20110037833A1 (en) Method and apparatus for processing signal for three-dimensional reproduction of additional data
CA2819141C (en) Receiving device and method for receiving multiview three-dimensional broadcast signal
KR20140040151A (ko) 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
EP2524512A1 (en) Extended command stream for closed caption disparity
US9596446B2 (en) Method of encoding a video data signal for use with a multi-view stereoscopic display device
US9544569B2 (en) Broadcast receiver and 3D subtitle data processing method thereof
CA2888147A1 (en) Method and apparatus for processing edge violation phenomenon in multi-view 3dtv service
EP2408211A1 (en) Auxiliary data in 3D video broadcast

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190814

Year of fee payment: 4