KR101797495B1 - 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법 - Google Patents

디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법 Download PDF

Info

Publication number
KR101797495B1
KR101797495B1 KR1020127023124A KR20127023124A KR101797495B1 KR 101797495 B1 KR101797495 B1 KR 101797495B1 KR 1020127023124 A KR1020127023124 A KR 1020127023124A KR 20127023124 A KR20127023124 A KR 20127023124A KR 101797495 B1 KR101797495 B1 KR 101797495B1
Authority
KR
South Korea
Prior art keywords
caption
disparity
data
service
window
Prior art date
Application number
KR1020127023124A
Other languages
English (en)
Other versions
KR20130088741A (ko
Inventor
서종열
난다쿠마르나가라지
라우드티모시
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20130088741A publication Critical patent/KR20130088741A/ko
Application granted granted Critical
Publication of KR101797495B1 publication Critical patent/KR101797495B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 명세서에서는 본 발명에 따라 3D 캡션 데이터를 제공하는 디지털 수신기 및 그 처리 방법을 제공한다. 본 발명의 일 관점에 따른 3D 서비스를 위해 방송 신호를 전송하는 방법은, 3D 캡션 서비스를 포함한 3D 비디오 ES를 인코딩하는 단계; 인코딩된 3D 비디오 ES를 포함한 3D 비디오 서비스를 시그널링하는 시그널링 정보를 생성하는 단계; 및 3D 비디오 서비스와 시그널링 정보를 포함한 디지털 방송 신호를 전송하는 단계;를 포함하되, 상기에서, 3D 캡션 서비스는, 좌 캡션 데이터 생성을 위한 제1 커맨드 코드와, 캡션 윈도우에 대한 디스패리티 값을 지시하는 제2 커맨드 코드를 포함하고, 상기 제1 커맨드 코드와 제2 커맨드 코드에 기초하여 우 캡션 데이터를 생성하는 3D 캡션 서비스를 전송한다.

Description

디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법{DIGITAL RECEIVER AND METHOD FOR PROCESSING CAPTION DATA IN THE DIGITAL RECEIVER}
본 발명은 디지털 수신기 및 디지털 수신기의 캡션 데이터 처리 방법에 관한 것으로, 더욱 상세하게는 3차원(3-Dimensional, 이하 '3D') 캡션 데이터를 제공하는 디지털 수신기 및 상기 디지털 수신기에서 상기 3D 캡션 데이터를 처리하는 방법에 관한 것이다.
3D 이미지는, 두 눈의 스테레오(stereo) 시각 원리 즉, 인간이 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼는 점을 이용하여 입체감을 느낄 수 있도록 한 것이다. 이를 위해, 3D 이미지는, 좌안과 우안에 각각 연관된 평면 이미지가 보이도록 이미지를 제공함으로써 입체감과 원근감을 느낄 수 있도록 한다.
종래 방송 서비스는 아날로그 방송 시대에서부터 디지털 방송이 활성화되고 있는 지금까지도 2차원 이미지(2-Dimensional image)에 대한 2D 서비스가 주를 이루고 있다.
다만, 최근에는 특정 분야를 시작으로 평면적인 2D 서비스에 비해 보다 실재감과 입체감을 주는 3차원 이미지(3-Dimensional image)(또는 입체 이미지)에 대한 3D 서비스에 대한 관심이 증가하여 이에 대한 많은 투자와 서비스가 점차 증가하고 있다.
이와 함께, 3D 서비스를 제공할 수 있는 디지털 수신기에 대한 관심 및 연구도 활발해지고 있다.
다만, 종래 디지털 수신기에서는 2차원 캡션 데이터만을 제공하여, 3D 서비스를 제공함에 있어서, 컨텐츠는 3D인데 캡션 데이터를 2D로 처리하게 되면, 캡션 데이터를 제대로 시청할 수 없을 뿐만 아니라 사용자에게 불편을 끼치는 문제점이 있었다.
본 발명은 이러한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 일 과제는 종래 레거시 디바이스와 호환성을 가지면서 3D 캡션 데이터를 디지털 수신기에 제공하는 것이다.
본 발명의 다른 과제는 3D 캡션 데이터가 다수 개인 경우, 상기 다수 개의 캡션 데이터 전체 또는 각각을 적절하게 제어하는 것이다.
본 발명의 또 다른 과제는 제공되는 3D 캡션 데이터의 디스패러티 정보에 변경이 있는 경우, 상기 디스패러티 정보 변경에 따른 처리로 인해 사용자가 어지러움 등을 느끼지 않도록 하는 것이다.
본 명세서에서는 본 발명에 따라 3D 캡션 데이터를 제공하는 디지털 수신기 및 그 처리 방법을 제공한다.
본 발명의 일 관점에 따른 3D 서비스를 위해 방송 신호를 전송하는 방법은, 3D 캡션 서비스를 포함한 3D 비디오 ES를 인코딩하는 단계; 인코딩된 3D 비디오 ES를 포함한 3D 비디오 서비스를 시그널링하는 시그널링 정보를 생성하는 단계; 및 3D 비디오 서비스와 시그널링 정보를 포함한 디지털 방송 신호를 전송하는 단계;를 포함하되, 상기에서, 3D 캡션 서비스는, 좌 캡션 데이터 생성을 위한 제1 커맨드 코드와, 캡션 윈도우에 대한 디스패리티 값을 지시하는 제2 커맨드 코드를 포함하고, 상기 제1 커맨드 코드와 제2 커맨드 코드에 기초하여 우 캡션 데이터를 생성하는 3D 캡션 서비스를 전송한다.
이때, 상기 제2 커맨드 코드는, 수신기에서 윈도우 ID에 관계없이 현재 디코딩된 모든 윈도우에 대해 동일한 디스패리티 값을 적용할 지 여부를 지시하는 플래그를 포함할 수 있다.
그리고 상기 플래그 값에 따라 상기 제2 커맨드 코드에서 지시하는 디스패리티 값은 모든 캡션 윈도우에 적용되거나 상기 제2 커맨드 코드 내 지시된 특정 윈도우 ID의 캡션 윈도우에서만 해당 디스패리티 값이 적용될 수 있다.
또한, 상기 3D 캡션 서비스 데이터는, 상기 3D 비디오 ES의 픽쳐 헤더 또는 SEI 메시지 중 어느 하나로부터 추출될 수 있다.
본 발명의 다른 관점에서 3D 서비스를 위해 방송 신호를 처리하는 방법은, 인코딩된 3D 서비스와 그를 위한 시그널링 정보가 포함된 디지털 방송 신호를 수신하는 단계; 3D 서비스 내 3D 비디오 ES를 추출하는 단계; 추출된 3D 비디오 ES 내 3D 캡션 서비스를 위한 데이터를 추출하는 단계; 및 추출된 3D 캡션 서비스 데이터를 이용하여 3D 캡션 서비스를 제공하는 단계;를 포함하되, 상기 추출된 3D 캡션 서비스 데이터는, 좌 캡션 데이터 생성을 위한 제1 커맨드 코드와, 캡션 윈도우에 대한 디스패리티 값을 지시하는 제2 커맨드 코드를 포함하고, 상기 제1 커맨드 코드와 제2 커맨드 코드에 기초하여 우 캡션 데이터를 생성하는 3D 캡션 서비스를 포함하여 3D 서비스를 처리한다.
이때, 상기 제2 커맨드 코드는, 윈도우 ID에 관계없이 현재 디코딩된 모든 캡션 윈도우에 대해 동일한 디스패리티 값을 적용할 지 여부를 지시하는 플래그를 포함할 수 있다.
그리고 상기 플래그 값에 따라 상기 제2 커맨드 코드에서 지시하는 디스패리티 값은 모든 캡션 윈도우에 적용되거나 상기 제2 커맨드 코드 내 지시된 특정 윈도우 ID의 캡션 윈도우에서만 해당 디스패리티 값이 적용될 수 있다.
또한, 상기 3D 캡션 서비스 데이터는, 상기 3D 비디오 ES의 픽쳐 헤더 또는 SEI 메시지 중 어느 하나로부터 추출될 수 있다.
그리고 상기 3D 캡션 서비스 데이터는, 해당 캡션 윈도우가 프레임 카운트만큼의 프레임 경과 후 다른 디스패리티에 해당되는 뎁쓰에 위치하도록 제어하는 제3 커맨드 코드를 더 포함할 수 있다.
또한, 상기 제3 커맨드 코드에 따른 값은 매 프레임 또는 소정 주기의 프레임 간격을 두고 점진적으로 디스패리티를 변경 수행할 수 있다.
본 발명의 또 다른 관점에서 3D 서비스를 위해 방송 신호를 처리하는 방법은, 3D 서비스와 그를 위한 시그널링 정보가 포함된 디지털 방송 신호를 수신하는 단계; 3D 서비스 내 3D 비디오 ES를 추출하는 단계; 추출된 3D 비디오 ES 내 3D 캡션 서비스를 위한 데이터를 추출하는 단계; 및 추출된 3D 캡션 서비스 데이터를 이용하여 3D 캡션 서비스를 제공하는 단계;를 포함하되, 상기 추출된 3D 캡션 서비스 데이터는, 좌 캡션 데이터 생성을 위한 제1 커맨드 코드, 캡션 윈도우에 대한 디스패리티 값을 지시하는 제2 커맨드 코드와, 해당 캡션 윈도우가 프레임 카운트만큼의 프레임 경과 후 다른 디스패리티에 해당되는 뎁쓰에 위치하도록 제어하는 제3 커맨드 코드를 포함하고, 상기 제1 커맨드 코드와 제2 커맨드 코드에 기초하여 우 캡션 데이터를 생성하는 3D 캡션 서비스를 포함하여 3D 서비스를 처리한다.
본 발명의 또 다른 관점에서 3D 서비스를 위해 방송 신호를 처리하는 방법은, 3D 서비스와 그를 위한 시그널링 정보가 포함된 디지털 방송 신호를 수신하는 단계; 3D 서비스 내 3D 비디오 ES를 추출하는 단계; 추출된 3D 비디오 ES 내 3D 캡션 서비스를 위한 데이터를 추출하는 단계; 및 추출된 3D 캡션 서비스 데이터 중 좌 캡션 데이터 생성을 위한 제1 커맨드 코드를 이용하여 캡션 윈도우에 대한 좌표를 결정하는 단계; 캡션 윈도우에 대한 디스패리티 값을 지시하는 제2 커맨드 코드에 따라 해당 캡션 윈도우에 대한 디스패리티 값을 정하는 단계; 디스패리티와 비디오 ES의 가로 크기 정보를 이용하여 우 캡션 데이터에 오버레이될 대응되는 캡션 윈도의 좌표를 결정하는 단계; 캡션 데이터를 이미지 형태로 저장하는 단계; 좌 캡션 데이터와 좌 비디오 픽쳐 및 우 캡션 데이터와 우 비디오 픽쳐를 믹스하는 단계; 및 믹스된 이미지들을 디스플레이 포맷에 맞게 인터리빙하여 출력하는 단계;를 포함한다.
본 발명의 또 다른 관점에서 3D 서비스를 처리하는 디지털 수신기는, 3D 서비스와 그를 위한 시그널링 정보를 포함한 디지털 방송 신호를 수신하는 수신부; 3D 서비스와 시그널링 정보를 역다중화하는 역다중화부; 3D 서비스 내 3D 비디오 ES를 추출하여 디코딩하되, 상기에서 추출된 3D 비디오 ES 내 3D 캡션 데이터를 추출하여 출력하는 디코더; 추출된 3D 캡션 데이터를 디코딩하는 캡션 데이터 처리부; 디코딩된 3D 캡션 데이터에 기초하여 좌영상 및 우영상 이미지에 대한 캡션 이미지를 처리하고 저장하는 그래픽 처리부; 3D 비디오 데이터와 3D 캡션 데이터를 믹싱하는 믹서; 믹싱된 데이터를 디스플레이 포맷에 맞게 인터리빙하여 출력하는 3D 포매터; 및 인터리빙된 3D 서비스 데이터를 출력하는 디스플레이부;를 포함한다.
이때, 상기 3D 캡션 데이터는, 좌 캡션 데이터 생성을 위한 제1 커맨드 코드, 캡션 윈도우에 대한 디스패리티 값을 지시하는 제2 커맨드 코드와, 해당 캡션 윈도우가 프레임 카운트만큼의 프레임 경과 후 다른 디스패리티에 해당되는 뎁쓰에 위치하도록 제어하는 제3 커맨드 코드를 포함하고, 상기 제1 커맨드 코드와 제2 커맨드 코드에 기초하여 우 캡션 데이터를 생성할 수 있다.
그리고 상기 제2 커맨드 코드는, 윈도우 ID에 관계없이 현재 디코딩된 모든 캡션 윈도우에 대해 동일한 디스패리티 값을 적용할 지 여부를 지시하는 플래그를 포함하고, 상기 디지털 수신기는 상기 플래그 값에 따라 상기 제2 커맨드 코드에서 지시하는 디스패리티 값은 모든 캡션 윈도우에 적용되거나 상기 제2 커맨드 코드 내 지시된 특정 윈도우 ID의 캡션 윈도우에서만 해당 디스패리티 값이 적용할 수 있다.
본 발명에 따르면,
첫째, 종래 레거시 디바이스와 호환성을 가지면서 3D 캡션 데이터를 디지털 수신기에 제공할 수 있는 효과가 있다.
둘째, 3D 캡션 데이터가 다수 개인 경우, 상기 다수 개의 캡션 데이터 전체 또는 개별적으로 제어할 수 있는 효과가 있다.
셋째, 제공되는 3D 캡션 데이터의 디스패러티 정보가 급격히 변경되는 경우에도 사용자에게 어지러움 등이 느껴지지 않도록 처리할 수 있는 효과가 있다.
도 1은 본 발명에 따른 디지털 수신기의 일 예를 설명하기 위해 도시한 도면,
도 2와 3은 본 발명에 따라 스테레오스코픽 디스플레이를 위한 캡션을 설명하기 위해 도시한 도면,
도 4는 본 발명에 따라 디지털 수신기에서 3D 캡션 데이터를 처리하는 과정의 일 예를 도시한 도면,
도 5는 본 발명에 따른 디스패리티 코딩을 위한 코드셋 매핑의 일 예를 도시한 도면,
도 6은 본 발명에 따른 디스패리티 코딩을 위한 커맨드 코드의 일 예를 도시한 도면,
도 7은 본 발명에 따른 사용 시나리오의 일 예를 설명하기 위해 도시한 테이블,
도 8은 본 발명에 따른 캡션 윈도우들의 뎁쓰의 부드러운 변경을 위한 코드셋 매핑의 일 예를 도시한 도면,
도 9와 10은 본 발명에 따른 캡션 윈도우를 위한 뎁쓰의 부드러운 변화를 위한 커맨드 코드의 일 예를 각각 설명하기 위해 도시한 도면, 그리고
도 11은 본 발명에 따라 디지털 수신기에서 3D 캡션 데이터를 처리하는 과정의 다른 예를 도시한 도면이다.
발명의 실시를 위한 최선의 형태
이하 본 명세서에서는 첨부된 도면을 참조하여 본 발명에 따른 이미지 처리 장치 및 방법의 다양한 실시예들을 상세하게 기술한다.
본 발명은 디지털 수신기 및 디지털 수신기의 캡션 데이터 처리 방법에 관한 것으로, 더욱 상세하게는 3차원(3-Dimensional, 이하 '3D') 캡션 데이터(caption data)를 제공하는 디지털 수신기 및 상기 디지털 수신기에서 상기 3D 캡션 데이터를 처리하는 방법에 관한 것이다.
이를 위해, 본 명세서에서는 다음과 같은 관점에서 본 발명의 다양한 실시 예를 기술한다. 첫째, 종래 레거시 디바이스(legacy device)와 호환성(backward compatibility)을 가지면서 3D 캡션 데이터를 디지털 수신기에 제공하는 것이다. 둘째, 3D 캡션 데이터가 다수 개인 경우, 상기 다수 개의 캡션 데이터 전체 또는 각각을 적절하게 제어하는 것이다. 셋째, 제공되는 3D 캡션 데이터의 디스패러티 정보(disparity information)에 변경이 있는 경우, 상기 디스패러티 정보 변경에 따른 처리로 인해 사용자가 어지러움 등의 현상을 느끼지 않도록 미연에 방지하는 것이다. 특히, 이는 디스패리티 정보가 이전과 비교하여 급격히 변화될 때, 해당 시점에 바로 변경된 디스패리티 정보를 적용하면, 사용자가 갑자기 변경된 디스패리티에 의해 불편함을 느낄 수 있어 사용자의 3D 시청 과정에서의 불편함을 느낄 수 있게 된다.
이하 본 명세서에서는 첨부된 도면을 참조하여, 상술한 내용을 순차로 설명한다.
관련하여, 본 명세서에서는 이러한 본 발명의 이해를 돕고 설명의 편의를 위해, 디지털 수신기는, 3D 서비스 처리를 위한 구성이 포함된 디지털 텔레비전 수신기(digital television receiver)를 예시할 수 있다. 다만, 이러한 디지털 텔레비전 수신기는, 3D 서비스 처리를 위한 구성이 포함된 셋톱박스(settop box)와 상기 셋톱박스에서 처리된 3D 서비스를 출력하는 디스플레이 기기(display unit)를 포함한 수신기 세트(receiving set)이거나 통합 처리 모듈 형태일 수 있다. 그 밖에 디지털 수신기는, PDA(Personal Digital Assistant), 휴대폰(mobile phone), 스마트폰(smart phone) 등 3D 서비스를 수신하여 처리 또는/및 제공할 수 있는 모든 기기를 포함할 수 있다. 또한, 디지털 수신기는, 3D 전용 수신기 및 2D/3D 겸용 수신기 중 어느 하나일 수 있다.
관련하여, 3D 이미지를 표현하는 방법에는, 2개의 시점을 고려하는 스테레오스코픽 이미지 디스플레이 방식(stereoscopic image display method)과 3개 이상의 시점을 고려하는 다시점 이미지 디스플레이 방식(multi-view image display method)이 있다. 이에 비해 종래의 싱글 뷰 이미지 디스플레이 방식(single-view image display method)은, 모노스코픽 이미지 디스플레이 방식(monoscopic image display)이라 한다.
스테레오스코픽 이미지 디스플레이 방식은, 일정한 거리로 이격되어 있는 두 개의 카메라 즉, 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한쌍의 이미지를 사용한다. 또한, 다시점 이미지 디스플레이 방식은, 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다.
이하 본 명세서에서는 스테레오스코픽 이미지 디스플레이 방식을 예로 설명하나, 본 발명의 기술 사상은 다시점 이미지 디스플레이 방식에도 동일 또는 유사한 원리로 적용될 수 있다.
또한, 스테레오스코픽 이미지의 전송 포맷으로는, 싱글 비디오 스트림 포맷(single video stream format)과 멀티 비디오 스트림 포맷(multi video stream format)이 있다.
싱글 비디오 스트림 포맷으로는 사이드 바이 사이드(side-by-side), 탑/다운(top/down), 인터레이스드(interlaced), 프레임 시퀀셜(frame sequential), 체커 보드(checker board), 애너그리프(anaglyph) 등이 있으며, 멀티 비디오 스트림 포맷으로는 풀 좌/우(Full left/right), 풀 좌/하프 우(Full left/Half right), 2D 비디오/깊이(2D video/depth) 등이 있다.
상기에서, 스테레오 이미지 또는 다시점 이미지는, MPEG(Moving Picture Experts Group)을 포함하여 다양한 이미지 압축 부호화 방식에 따라 압축 부호화되어 전송될 수 있다.
예를 들어, 상기 사이드 바이 사이드 포맷, 탑/다운 포맷, 인터레이스드 포맷, 체커 보드 등과 같은 스테레오 영상은, H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화하여 전송될 수 있다. 이때, 수신 시스템에서 H.264/AVC 코딩 방식의 역으로 상기 스테레오 영상에 대해 복호(decoding)를 수행하여 3D 이미지를 얻을 수 있다.
또한, 풀 좌/하프 우 포맷의 좌 이미지 또는 다시점 이미지 중 하나의 이미지는, 기본 계층(based layer) 이미지로, 나머지 이미지는 상위 계층(enhanced layer) 이미지로 할당한 후, 기본 계층의 이미지는 모노스코픽 이미지와 동일한 방식으로 부호화하고, 상위 계층의 이미지는 기본 계층과 상위 계층의 이미지 간의 상관 정보에 대해서만 부호화하여 전송할 수 있다. 상기 기본 계층의 이미지에 대한 압축 부호화 방식의 예로는 JPEG, MPEG-1, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있다. 그리고 상위 계층의 이미지에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식이 사용될 수 있다. 이때, 스테레오 이미지는, 기본 계층의 이미지와 하나의 상위 계층 이미지로 할당되나, 다시점 이미지는 하나의 기본 계층의 이미지와 복수 개의 상위 계층 이미지로 할당된다. 상기 다시점 이미지를 기본 계층의 이미지와 하나 이상의 상위 계층의 이미지로 구분하는 기준은 카메라의 위치에 따라 결정될 수도 있고, 카메라의 배열 형태에 따라 결정될 수도 있다. 또는 특별한 기준을 따르지 않고 임의로 결정될 수도 있다.
이러한 3D 이미지 표시는 크게 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식으로 구분된다. 예를 들어, 스테레오스코픽 기술을 적용한 3D 이미지 디스플레이 장치는 2D 영상에 깊이(depth) 정보를 부가하고, 이 깊이 정보를 이용하여 관찰자가 입체의 생동감과 현실감을 느낄 수 있게 하는 화상표시장치이다.
그리고 3D 이미지를 시청하는 방식에는, 크게 안경(glasses)을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.
안경 방식은, 패시브(passive) 방식과 액티브(active) 방식으로 구분된다. 패시브 방식은, 편광 필터(polarized light filter)를 사용해서 좌영상 이미지와 우영상 이미지를 구분하여 보여주는 방식이다. 이러한 패시브 방식은, 양안에 각각 청색과 적색의 색안경을 쓰고 보는 방식을 포함한다. 이와 달리, 액티브 방식은 액정 셔터(liquid crystal shutter)를 이용하여 좌/우안을 구분하는 방식으로, 시간적으로 좌안과 우안의 렌즈를 순차로 개폐함으로써 좌영상 이미지와 우영상 이미지를 구분하는 방식이다. 이러한 액티브 방식은, 시분할된 화면을 주기적으로 반복시키고 이 주기에 동기시킨 전자 셔터(electronic shutter)가 설치된 안경을 쓰고 보는 방식이며, 시분할 방식(time split type) 또는 셔텨드 글래스(shuttered glass) 방식이라고도 한다.
무안경 방식으로서 대표적인 것으로는, 원통형의 렌즈 어레이(lens array)를 수직으로 배열한 렌티큘러(lenticular) 렌즈 판을 영상 패널 전방에 설치하는 렌티큘러 방식과, 영상 패널 상부에 주기적인 슬릿(slit)을 갖는 배리어 층(barrier layer)을 구비하는 패러랙스 배리어(parallax barrier) 방식이 있다. 다만, 이하 본 명세서에서는 설명의 편의를 위해 안경 방식을 예로 하여 설명한다.
도 1은 본 발명에 따른 디지털 수신기의 일 예를 설명하기 위해 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 디지털 수신기는, 수신부(a receiving part)(110), 복조부(a demodulating part)(120), 역다중화부(a demultiplexing part)(130), 시그널링 정보 처리부(SI processing part)(140), AV 디코더(a audio/video decoder)(150), 캡션 처리부(160), 그래픽 엔진(graphic engine)(170), OSD 처리부(On-Screen Display processing part)(180), 믹서(mixer)(185), 3D 출력 포매터(190) 및 제어부(controller)(195)를 포함한다.
이하에서는 각 구성의 기본 동작에 대해 기술하고, 본 발명과 관련하여, 상세 설명은 후술하는 각 실시예에서 보다 자세하게 설명한다.
수신부(110)는, RF 채널을 통하여 컨텐츠 소스로부터 3D 이미지 데이터와 상기 3D 이미지 데이터를 위한 캡션 데이터가 포함된 디지털 방송 신호를 수신한다.
복조부(120)는, 송신측의 디지털 방송 신호에 대한 변조 방식에 대응되는 복조 방식으로 수신된 디지털 방송 신호를 복조한다.
역다중화부(130)는, 복조된 디지털 방송 신호로부터 오디오 데이터, 비디오 데이터 및 시그널링 정보를 역다중화(demultiplex)한다. 이를 위해, 역다중화부(130)는 PID(Packet IDentifier)를 이용하여 상기 각 데이터 및 시그널링 정보를 필터링(filtering)하여 역다중화할 수 있다. 역다중화부(130)는, 역다중화된 오디오/비디오 신호는 후단의 오디오/비디오 디코더(150)로 출력하고, 시그널링 정보는 시그널링 정보 처리부(140)로 출력한다.
시그널링 정보 프로세서(140)는, 역다중화부(130)로부터 입력되는 시그널링 정보를 처리하여 처리된 시그널링 정보가 필요한 각 구성에 제공한다. 여기서, 시그널링 정보는, PSI(Program Specific Information), PSIP(Program and System Information Protocol), DVB-SI(Digital Video Broadcasting-Service Information)와 같은 SI(System Information) 정보를 포함할 수 있으나, 본 발명의 이해를 돕고 설명의 편의를 위해 PSI/PSIP 정보를 예로 하여 설명한다. 또한, 시그널링 정보 프로세서(140)는, 처리되는 시그널링 정보를 일시 저장하는 데이터베이스(DB: Database)를 내부 또는 외부에 구비할 수도 있다. 시그널링 정보에 대해서는 후술하는 각 실시예에서 보다 상세하게 설명한다.
시그널링 정보 프로세서(140)는, 컨텐츠가 2D 이미지인지 3D 이미지인지 여부를 알려주는 시그널링 정보가 존재하는지 판단한다. 시그널링 정보 프로세서(140)는 판단 결과 상기 시그널링 정보가 존재하면, 이를 독출하여 제어부(195)로 전송한다. 특히, 시그널링 정보 프로세서(240) 3D 캡션 서비스를 위하여, PMT(Program Map Table) 또는/및 EIT(Event Information Table)를 파싱하고, 파싱된 PMT 또는/및 EIT에 캡션 서비스를 위한 디스크립터를 추출하여 비디오 디코더(또는/및 제어부)로 전달하여, 해당 3D 서비스를 위한 캡션 서비스가 적절하게 처리될 수 있도록 할 수 있다.
오디오/비디오 디코더(150)는, 역다중화된 오디오/비디오 데이터를 수신하여 디코딩한다. 여기서, 디코딩은 예를 들어, 시그널링 정보 프로세서(140)에서 처리된 시그널링 정보에 기초하여 이루어질 수 있다.
이하에서는 오디오 데이터의 처리는 생략하고, 본 발명과 관련하여, 주로 비디오 데이터의 처리에 대해 보다 상세하게 기술한다. 관련하여, 비디오 신호 즉, 3D 비디오 ES는, 비디오 데이터의 처리를 위해 정보들이 포함된 헤더 & 확장 부분과 실제적인 비디오 데이터가 포함된 부분으로 구성된다.
관련하여, 본 발명에 따른 비디오 디코더는 예를 들어, 상술한 PMT 또는/및 EIT에서 추출된 캡션 서비스 디스크립터에 기초하여 해당 캡션 서비스 채널을 통해 전달되는 캡션 데이터를 식별하고 처리할 수 있다.
비디오 디코더(150)는, 헤더 & 확장 부분을 처리하는 헤더&확장부(154)와 비디오 데이터 처리부(152)를 포함하여 구성된다.
본 발명과 관련하여, 헤더&확장부(154)는, 캡션 데이터를 추출하여 캡션 데이터 처리부(160)로 제공한다. 여기서, 상기 캡션 데이터는 예를 들어, 본 발명에 따른 3D 캡션 데이터를 포함한다.
캡션 데이터 처리부(160), 헤더&확장부(154)에서 추출되어 제공되는 캡션 데이터를 디코딩한다. 이때, 캡션 데이터 처리부(160)는 예를 들어, 시그널링 정보 처리부(140)에서 처리된 시그널링 정보에 기초하여 캡션 데이터를 디코딩할 수도 있다.
그래픽 엔진(170)은, 캡션 데이터 처리부에서 디코딩된 각 캡션 데이터를 3D 형태로 제공하기 위하여 필요한 가공 등의 처리를 위한 제어 신호를 생성하고, OSD 처리부(180)를 통해 본 발명에 따른 3D 캡션 데이터를 포함한 OSD 데이터를 생성한다. 그래픽 엔진(170) 및 OSD 처리부(180)에서는 좌 영상 및 우 영상에 대한 캡션 이미지(caption image)를 풀-레졸루션(full resolution)으로 만들어 버퍼(buffer) 또는 메모리(memory)(미도시)에 저장한다.
또한, 비디오 데이터 처리부(152)는 3D 비디오 ES에서 추출된 실제 비디오 데이터를 추출하여 디코딩한다.
이렇게 디코딩된 3D 비디오 ES의 각 데이터는 해당 구성을 거쳐 믹서에서 적절하게 믹싱된다.
3D 출력 포매터(190)는, 믹서(185)에서 믹싱된 3D 비디오 신호 및 그를 위한 3D 캡션 데이터를 포함한 OSD 데이터를 출력 포맷에 맞게 3D 형태로 포매팅(formatting)하여 출력한다. 여기서, 3D 출력 포매터(190)는 예를 들어, 디코딩된 이미지 데이터가 3D 이미지 데이터인 경우에만 활성화될 수 있다. 다시 말해, 디코딩된 이미지 데이터가 2D 이미지 데이터인 경우에는 비활성화 즉, 3D 출력 포맷터(190)는 입력되는 이미지 데이터를 별도 가공하지 않고 그대로 출력 다시 말해, 바이패스(bypass)할 수 있다. 그리고 3D 출력 포매터(190) 또는 포매터(190)의 입력 과정에서 3D 디스플레이의 3D 포맷(사이드-바이-사이드, 탑&바텀 등) 종류에 따라 리사이즈(resize) 등을 수행한다.
이러한 3D 출력 포매터(190)는, 디코딩된 입력 비디오 포맷에서 출력 포맷으로 필요한 변환을 수행한다.
관련하여, 비디오 디코더(150)와 3D 출력 포매터(190) 사이에서는, 아티팩트 리덕션, 샤프니스, 컨트래스트 인핸스먼트, 디인터리빙, 프레임 레이트 컨버전 및 퀄리티 인핸스먼트 블록들의 다른 타입들과 같은 비디오 프로세싱이 존재하고 이루어질 수 있다(3D output formatter performs the required conversion from the input (decoded) video format to native 3D display format. Video processing such as artifact reduction, sharpness, contrast enhancement, de-interlacing, frame rate conversion, and other types of quality enhancement blocks can exist between video decoder and 3D output formatter).
제어부(195)는, 디지털 수신기의 전반적인 제어와 함께 시그널링 정보 처리부에서 처리된 시그널링 정보에 기초하여, 비디오 디코더(150), 믹서(185), 캡션 데이터 처리부(160), 그래픽 엔진(170), OSD 처리부(180) 및 3D 출력 포매터(190)를 제어하여, 3D 서비스와 함께 3D 캡션 데이터가 적절하게 처리되도록 제어할 수 있다. 이와 관련된 상세 제어 내용은 후술하고, 여기서 상세한 설명은 생략한다.
상술한 본 발명에 따른 디지털 수신기에 의하면, 3D 캡션 데이터를 제공함에 있어서, 종래 레거시 디지털 수신기에서의 캡션 데이터의 처리 방법과 호환성을 유지하면서 좌우 영상에 대한 오프셋(offset)을 이용하여 스테레오스코픽 3DTV를 위한 캡션 데이터 커맨드 코드를 정의하고, 그와 관련된 처리 방법에 대해 기술한다. 특히, 본 발명에서는 동일한 화면에서 다수 개의 윈도우(window)에 대해 동일한 뎁쓰(depth)를 적용하는 경우 한 개의 커맨드(single command)만으로 한번에 모든 윈도우의 뎁쓰를 지정할 수 있다.
본 발명의 이해를 돕고 설명의 편의상, 이하 본 명세서에서는 3D 서비스를 위한 3D 캡션 데이터의 제공 및 그 처리에 주안점을 두고 설명한다. 다시 말해, 본 발명과 관련하여, 3D 서비스에 대한 내용 예를 들어, 3D 서비스의 식별, 처리 등에 관한 상세한 설명은 생략하고, 해당 부분에서 필요한 정도로만 설명한다.
관련하여, 도 2와 3은 본 발명에 따라 스테레오스코픽 디스플레이를 위한 캡션을 설명하기 위해 도시한 도면이다.
도 2와 3은 예를 들어, 3D 포지셔닝을 가지는 2D 캡션을 설명하는 것으로, 도 2(a)와 (b)는 2D 캡션이 어떻게 포지셔닝 됨으로써 3D 캡션이 형성되는지를 설명하고, 3D 캡션을 보다 입체적으로 설명하기 위해 도시한 도면이다.
먼저, 도 2(a)와 (b)는 각각 좌 비디오 플레인(프라이머리)와 우 비디오 플레인(세컨더리)를 각각 나타낸다.
도 2(a)와 같이 프라이머리인 좌 비디오 플레인 상에 캡션 텍스트가 포지셔닝되면, 도 2(b)와 세컨더리인 우 비디오 플레인 상에 캡션 텍스트는 캡션 윈도우를 위한 디스패리티 값만큼 포지셔닝된다.
최종적으로 도 2(a)와 2(b)의 각 플레인이 합쳐지면 3D 캡션이 제공된다.
도 3을 참조하면, z축이 영(0)인 지점 즉, 제로 디스패리티(zero disparity) 상의 x-y 축상에 스크린 플레인(310)이 존재하고, 비디오 오브젝트 #1(320)과 비디오 오브젝트 #2(330)가 각각 네거티브 디스패리티(negative disparity) 및 파저티브 디스패리티(positive disparity)를 가진다.
그리고 비디오 오브젝트 #1보다 더욱 네거티브 디스패리티를 가진 캡션 윈도우(340)가 존재한다. 이러한 캡션 윈도우(340)의 네거티브 디스패리티는 예를 들어, 후술할 디스패리티 파라미터로부터 얻어지는 뎁쓰 값에 따른다.
이하에서는 본 발명에 따라 디지털 수신기에서 3D 캡션 데이터를 처리하는 과정의 일 예에 대해 기술하면, 다음과 같다.
도 4는 본 발명에 따라 디지털 수신기에서 3D 캡션 데이터를 처리하는 과정의 일 예를 도시한 도면이다.
비디오 디코더는 3D 비디오 ES(Elementary Stream)를 수신한다(S402). 이때, 3D 비디오 ES는 예를 들어, 탑&바텀 포맷(top & bottom format)으로 코딩되었다고 가정한다. 여기서, 좌영상 이미지 데이터는 바텀에 우영상 이미지 데이터는 탑에 위치할 수 있다.
비디오 디코더는 3D 비디오 ES의 픽쳐 헤더(picture header) (또는 SEI message)에 포함된 캡션 데이터를 검출하여 캡션 데이터 처리부로 전달하고, 캡션 데이터 처리부는 전달된 캡션 데이터를 디코딩한다(S404).
그래픽 엔진 또는/및 OSD 처리부는, DefineWindow 커맨드를 이용해 캡션 윈도우(caption window)에 대한 x-y 좌표를 결정한다(S406). 여기서, 상기 결정되는 x-y 좌표는 예를 들어, 좌영상 이미지 데이터에 대한 것일 수 있다.
그래픽 엔진 또는/및 OSD 처리부는, SetDepthPos 커맨드를 통해 해당 캡션 윈도우에 대한 디스패리티(disparity) 값을 정한다(S408). 이를 스타트 디스패리티(start disparity)로 명명할 수 있다.
그래픽 엔진 또는/및 OSD 처리부는, Aw_flag를 추출하고, 추출된 Aw_flag의 값이 1이면, window ID 필드에 관계없이 현재 디코딩된 모든 윈도우에 대해 동일한 디스패리티 값을 적용한다. 반대로, 그래픽 엔진 또는/및 OSD 처리부는, 만약 추출된 aw_flag의 값이 0이라면 window ID 필드에 의해 지정된 캡션 윈도우에 대해서만 디스패리티 값을 적용한다(S410).
그래픽 엔진 또는/및 OSD 처리부는, 디스패리티 및 비디오 ES의 가로 크기 정보를 이용해 우영상 이미지 데이터에 오버레이(overlay)될 대응되는 캡션 윈도우의 x-y 좌표를 결정한다(S412). 여기서, 좌표 결정에 대한 보다 상세한 내용은 후술한다.
그래픽 엔진 또는/및 OSD 처리부는, 기타 pen 커맨드, text 커맨드 등을 디코딩하여 획득한 캡션 데이터를 이미지 형태로 저장한다(S414). 여기서, 상기 이미지는 좌 및 우 비디오 픽쳐에 대해 동일한 이미지를 사용할 수 있다. 다만, 디스패리티에 의해 좌표의 차이가 존재할 수 있다.
디지털 수신기는 믹서를 통해 좌 캡션(Left caption)과 좌 비디오 픽쳐(left video picture)를 믹스한다. 이 과정에서 3D 비디오 ES의 좌영상 데이터는 하프-레졸루션(half-resolution)인 경우 좌 캡션에 대해 버티컬 리사이징(vertical resizing)을 수행한다(S416). 상기에서, 믹스된 결과물을 이하 좌 출력 이미지(Left output image)라고 명명한다.
디지털 수신기는 믹서를 통해 우 캡션(Right caption)과 우 비디오 픽쳐(right video picture)를 믹스한다(S418). 이 과정에서 3D 비디오 ES의 우 이미지(right image)가 하프-레졸루션이므로 우 캡션에 대해 좌 캡션과 동일하게 버티컬 리사이징을 수행한다. 또한, 상기 믹스된 결과물을 우 출력 이미지(Right output image)라 명명한다.
3D 출력 포매터는, 스테레오스코픽 비디오 디스플레이(Stereoscopic video display)의 출력 과정에서 디스플레이 타입(display type)에 맞게 좌 출력 이미지와 우 출력 이미지를 적절하게 인터리빙(interleaving)하여 출력한다(S420). 예를 들어, 상기에서 디스플레이 타입이 패시브 글래스(passive glass)를 요구하는 호리즌탈 라인 인터리빙(horizontal line interleaving) 방식이라면 좌 출력 이미지와 우 출력 이미지를 라인(line) 단위로 번갈아 화면에 출력한다.
이하에서는 전술한 내용과 관련하여, 본 발명에 따른 3D 서비스 및 그를 위한 3D 캡션 데이터의 처리를 위한 메타데이터(metadata) 즉, 좌영상 이미지와 우영상 이미지 사이의 디스패리티에 대한 정의와 설명을 한다.
관련하여, 3DTV의 텍스트(캐릭터) 데이터는 관련 규격에서 기술하는 전형적인 방법에 따라 코딩될 수 있다.
또한, 좌영상을 위한 3DTV 클로우즈드 캡션의 x-y 좌표는 앵커(anchor) 위치를 이용하는 것과 같은 전형적인 방식을 이용하여 코딩될 수 있다.
수신기는 전형적인 방식을 이용하여 좌영상 이미지상의 클로우즈 캡션 데이터를 디스플레이할 수 있다.
수신기는 우영상 이미지에 대해서도 배치된 위치 내에 캡션이 스크린 평면의 앞쪽으로 또는 반대로 뎁쓰 축(depth axis)을 따라서 캡션이 위치하도록 반복할 수 있다.
라이트 뷰 이미지 상에 클로즈드 캡션의 위치는 제안된 방법에 따라 주어진 디스패리티(오프셋) 값을 이용하여 결정된다.
코딩 스킴은 디스패리티 정보를 전송하기 위한 것이다. 여기서, 디스패리티 정보는 기존재하는 2D 클로우즈드 캡셔닝 코딩 스킴의 확장일 수 있다.
설명되는 디스패리티는 디스패리티 커맨드 코드 내 윈도우 id에 의해 설명되는 캡셔닝 윈도우 내에 렌더되는 모든 클로우즈드 캡셔닝 데이터에 적용될 수 있다. 이미 정의된 디스패리티 값을 가진 윈도우를 위하여 새로운 디스패리티 값이 수신되면, 캡션 윈도우는 뎁쓰 축을 따라 간단하게 이동한다.
1920 픽셀들의 확장인 이미지의 디스플레이되는 해상도에 따라 설명되는 디스패리티 값은 설명된다. 수신기가 더 좁게 또는 더 넓게 디스플레이 해상도들에 따라 이미지들을 디스플레이할 때, 캡션들을 렌더링하는데 이용되는 픽셀 오프셋이 적절한 값에 따라 스케일된다. 예를 들면, 디스플레이되는 이미지 해상도가 640 픽셀들 확장이면, 그리고 나서 라이트 이미지 캡션에 적용된 오프셋이 D *640/1920이면, 상기에서 D는 클로우즈드 캡셔닝 데이터 스트링의 내에 수신되는 디스패리티이다.
이하에서는 본 발명에 따라 정의되는 메타데이터에 대해 보다 상세하게 설명한다.
도 5는 본 발명에 따른 디스패리티 코딩을 위한 코드셋 매핑의 일 예를 도시한 도면이고, 도 6은 본 발명에 따른 디스패리티 코딩을 위한 커맨드 코드의 일 예를 도시한 도면이다.
여기서, 본 발명에 따라 정의되는 메타데이터 즉, 커맨드 코드는 본 발명의 이해를 돕고 설명의 편의를 위해 예를 들어, 도 5와 같이, 관련 규격의 C0 셋 내에 사용하지 않는 코드들 중 하나를 이용하여 새로운 코드로 정의될 수 있다(3-바이트들의 제어 코드). 다만, 본 발명의 권리범위가 이에 한정되는 것은 아니다.
도 6을 참조하여, 본 발명에 따른 디스패리티 코딩을 위한 커맨드 코드에 대해 보다 상세하게 설명하면, 다음과 같다.
디스패리티 코딩과 관련하여, 커맨드 코드는 총 3-바이트를 가진다. 다시 말해, 도 6의 커맨드 코드는 예를 들어, 캡션 윈도우의 뎁쓰 포지션을 설명하는 SetDepthPos(0x19)과 관련 데이터(data1, data2)를 정의한다.
여기서, 커맨드 타입은 윈도우이며, 포맷은 뎁쓰 코드일 수 있다. 또한, 뎁쓰 코드는 윈도우 ID와 디스패리티 파라미터를 포함한다.
도 6에서, 데이터 1의 최상위 비트는 aw_flag 필드일 수 있다. 여기서, aw_flag 필드는 예를 들어, 모든 윈도우를 설정할지 말지에 대한 플래그이다. 여기서, aw_flag 필드의 값이 1이면, 후술하는 dp_sign and dp에 의해 설명되는 디스패리티 파라미터가 모든 캡션 윈도우들에 적용되는 것을 나타내고, 반대로 aw_flag 필드의 값이 0이면, 윈도우 ID에 의해 설명되는 해당 윈도우에 대해서만 상기 디스패리티 파라미터가 적용된다.
윈도우 ID(id)는 유일한 윈도우 식별자를 지시한다. 여기서, 윈도우는 예를 들어, 하나의 화면에 8개까지 존재할 수 있으며, 상기 윈도우 ID의 값은 0 내지 7 중 어느 하나를 지시할 수 있을 것이다.
디스패리티 파라미터(dp_sign, dp)는 픽셀들 내에 좌 이미지와 우 이미지들 내 해당 클로즈드 캡션 윈도우들 사이에서 디스패리티 (오프셋) 값을 설명한다. 이러한 디스패리티 파라미터는 1920 픽셀들 와이드인 디스플레이 이미지 레졸루션을 위해 설명될 수 있다.
그 밖에 SetDepthPos는 해당 뎁쓰 포지션이 적용되는 윈도우 및 윈도우 ID의 뎁쓰 포지션을 설명한다(SetDepthPos specifies the Depth position of the window and the window ID this Depth position applies to). 윈도우 ID는 DefineWindow 커맨드에 의해 이미 생성되어 있는 윈도우의 어드레스에 요구된다(The window ID is required to address a window which has already been created by the DefineWindow command). 상기에서 뎁쓰 포지션은 좌 이미지와 우 이미지 상에 캡션 윈도우들 사이에서 배치에 대한 디스패리티 파라미터에 의해 결정된다(The Depth position is determined by the disparity parameter which is the displacement between the caption windows on the left and right images). 상기에서 SetDepthPos는 디스패리터 정보를 전송하는 3-바이트의 커맨드 코드이다(SetDepthPos is a 3-byte command code to carry the disparity information). 상기 커맨드 코드는 캡션 윈도우를 위한 디스패리티를 설명하는 다음 두 바이트를 지시한다(The code 0x19 (code for SetDepthPos) indicates that the following two bytes specify the disparity for the caption window).
레거시 디바이스는 본 SetDepthPos 커맨드를 정의되지 않은 3-바이트 코드로 다룰 것이다. 따라서, SetDepthPos 커맨드는 다음 두 바이트들과 함께 레거시 디바이스에서는 무시될 것이다.
도 7은 본 발명에 따른 사용 시나리오의 일 예를 설명하기 위해 도시한 테이블이다.
도 7의 테이블은 크게 본 발명에 따라 3D 캡션 데이터를 위해 코딩된 값과 디스플레이 시스템 즉, 디지털 수신기에서 렌더링된 값으로 구분된다.
코딩된 값에는 코딩된 디스패리티 밸류(N)와 앵커 호리즌털 포지션(A) 두 종류가 존재한다.
또한, 디지털 수신기에서 렌더링된 값에는 디스플레이되는 비디오 너비(displayed video width, W), 캡션 렌더링을 위한 디스패리티 (오프셋) 값, 좌 이미지 내 캡션 윈도우의 호리즌털 포지션 및 우 이미지 내 캡션 윈도우의 호리즌털 포지션이 있다.
관련하여, 사용 시나리오를 예를 들면, 좌 이미지는 프라이머리 뷰 이미지(primary view image)로, 우 이미지는 세컨더리 뷰 이미지(secondary view image)로 가정한다.
테이블 내의 모든 숫자는 예를 들어, 픽셀들을 나타낼 수 있다.
호리즌털 포지션은 관련 규격에 따르면, 캡션 윈도의의 좌측 최상위 픽셀(left-most pixel)의 픽셀을 지시한다.
렌더드 오프셋과 캡션 윈도우의 호리즌털 포지션은 공간 압축 레졸루션이 아닌 좌 이미지와 우 이미지의 디스플레이된 이미지 레졸루션에 근거하여 얻어질 수 있다.
다음으로, 본 발명에 따라 캡션 뎁쓰(caption depth)의 부드러운 체인지(smooth change)를 위한 처리 방법에 대해 설명하면, 다음과 같다.
전술한 내용 및 이하 내용은 이니셜 디스패리터(initial disparity), 엔드 디스패리티(end disparity), 및 프레임들의 개수가 제공되는 캡션 윈도우의 뎁쓰 축의 변화를 지지하기 위한 메커니즘에 대한 것이다.
이니셜 디스패리티 값은 전술한 SetDepthPos 커맨드에 의해 설명될 수 있다.
여기서, 이용되는 ChangeDepthPos는 캡션 뎁쓰의 부드러운 변화가 발생하는 동안에 엔드 디스패리티와 프레임의 개수를 설명한다(ChangeDepthPos will specify the end disparity value and the number of frame count during which the smooth variation of caption depth takes place).
도 8은 본 발명에 따른 캡션 윈도우들의 뎁쓰의 부드러운 변경을 위한 코드셋 매핑의 일 예를 도시한 도면이다.
도 8은 전술한 도 5의 디스패리티 코딩을 위한 코드셋 매핑의 경우와 유사한 면도 있으나, 서로 다른 코드셋 매핑이다.
후술하는 바와 같이, 도 8에서는 본 발명에 따라 캡션 윈도우들의 뎁쓰의 부드러운 변경을 위하여 SetDepthPos와 ChangeDepthPos 적어도 두 개의 커맨드 코드를 사용하고, 전자는 전술한 바와 유사하게 CO에 배치하나, 후사즌 C2에 배치하는 점이 상이하다.
이와 관련하여, 코드 스페이스 및 커맨드 코드 등에 대해 기술하면, 다음과 같다.
도 9와 10은 본 발명에 따른 캡션 윈도우를 위한 뎁쓰의 부드러운 변화를 위한 커맨드 코드의 일 예를 각각 설명하기 위해 도시한 도면이다.
기본적으로 ChangeDepthPos 커맨드 코드는 캡션 윈도의 뎁쓰 포지션을 설명하는 것이다. 이때, 커맨드 타입은 윈도우이며, 포맷은 ChangeDepthPos(window ID, end disparity value, number of frames)일 수 있다.
이하 파라미터들에 대해 상세하게 설명하면, 다음과 같다.
ChangeDepthPos 커맨드 코드는 총 4바이트로 구성될 수 있다. 커맨드 코딩(Command Coding)은 EXT1 + ChangeDepthPos + ＜data1＞ + ＜data2＞ + ＜data3＞으로 이루어질 수 있다. 다만, 여기서, 도 9의 경우에는 ChangeDepthPos가 0x18임에 비해, 도 10에서는 0x19로 정의된다. 양자의 기본적인 차이는 예를 들어, 본 발명과 관련하여, aw_flag를 사용하는 경우와 그렇지 않은 경우로 볼 수 있다.
도 9를 참조하면, Aw_flag, 윈도우 ID(id)는 전술한 도 x의 내용과 동일한바, 그를 참조하고 여기서 상세한 설명은 생략한다.
도 9 내지 10을 참조할 때, 엔드 디스패리티 밸류(dp_sign, dp)는 프레임 카운트에 의해 설명된 프레임들의 개수 이후에 픽셀들 내 좌 이미지와 우 이미지 내 해당 클로즈드 캡션 윈도우들 사이에서 결과적인 디스패리티 (오프셋) 밸류를 설명한다. 이러한 디스패리티 파라미터는 1920 픽셀들 와이드인 디스플레이 이미지 레졸루션을 위해 설명된다.
프레임 카운트(fc)는 이니셜 디스패리티 값에서 윈도우의 엔드 디스패리티 값으로 디스패리티의 변화가 발생하는 도안의 프레임들의 개수를 지시한다(frame count (fc) may indicate the number of frames during which the variation of disparity from the initial disparity value to the end disparity value of the window is taking place).
또한, 상기한 과정에서 캡션 윈도우의 점진적인 변화를 위한 ChangeDepthPos 커맨드 코드를 설명하면, 다음과 같다.
ChangeDepthPos는 타겟 디스패리티 값들의 변화와 변화 주기를 설명함으로써 윈도의 뎁쓰 포지션의 부드러운 체인지를 설명한다(ChangeDepthPos specifies the smooth changing of depth position of the window by specifying the duration of the variation and the target disparity values). 또한, ChangeDepthPos는 부드러운 변화가 적용되는 윈도우 ID도 설명한다. 윈도우 ID는, DefineWindow 커맨드에 의해 이미 생성되어 있는 윈도우의 어드레스를 알려준다(The window ID is required to address a window which has already been created by the DefineWindow command). 윈도우의 이니셜 뎁쓰 포지션은 SetDepthPos 커맨드에 의해 설명되는 디스패리티 값에 의해 결정된다(The initial depth position of the window is determined by the disparity value specified in SetDepthPos command). 윈도우는 엔드 디스패리티 값과 프레임 카운트를 이용하여 Z-축을 따라 이동할 수 있다(The window will move along the z-axis using end disparity value and frame count). 디지털 수신기는 프레임 카운트에 의해 설명되는 프레임들의 개수 이후에 윈도우 ID의 디스패리티를 조정할 것이다. 윈도우의 최종 디스패리터는 엔드 디스패리티 값일 것이다(The receiver will adjust the disparity of the window ID so that after the number of frames specified by frame count, the final disparity of the window will be end disparity value).
관련하여, 레거시 디바이스들은 본 4바이트의 ChangeDepthPos 커맨드를 정의되지 않은 4-바이트 코드로 다룰 것이다. 그러므로 ChangeDepthPos 커맨드는 다음 3-바이트와 함께 레거시 디바이스에서 무시될 것이다.
관련하여, ChangeDepthPos는 255 프레임들까지 뎁쓰의 변화를 설명할 수 있다. 만약 그 이상의 구간에 대한 뎁쓰의 변화가 요구되면, 예를 들어, SetDepthPos 와 ChangeDepthPos 커맨드들의 멀티플 패어들을 이용하여 시그널되어 처리될 수 있다(Note that ChangeDepthPos can specify the variation of depth for up to 255 frames. If the variation of depth requires longer duration than 255 frames, it can be signaled using multiple pairs of SetDepthPos and ChangeDepthPos commands).
디지털 수신기는 뎁쓰를 부드럽게 변화하는 성능을 가지지 않은 경우에는 예를 들어, SetDepthPos 커맨드를 무시할 수도 있다.
캡션 저자는 프레임의 개수(fc) 이후에 두 번째 SetDepthPos 커맨드를 삽입하여야 할 것이다. 왜냐하면, 제한적인 성능의 수신기들에 윈도우의 최종 뎁쓰를 알려주기 위함이다.
이하 본 발명에서 상술한 내용에 대한 사용 시나리오를 설명한다.
관련하여, 제한적인 성능의 수신기를 위해 충분한 간단한 팝-온 캡셔닝을 위한 커맨드 시퀀스는 예를 들어, 아래와 같다.
a) DeleteWindow 커맨드는 디스플레이는 되는 하나의 윈도우를 제외한 모든 윈도우를 제거하는 커맨드이다.
b) DefineWindow 커맨드는 숨겨진 윈도우를 정의한다.
c) SetWindowAttributes 커맨드는 숨겨진 윈도우를 커스터마이즈한다.
d) Pen Commands & Caption Text 커맨드들
e) ClearWindows 커맨드는 디스플레이된 윈도우를 클리어한다.
f) SetDepthPos 숨겨진 윈도우의 뎁쓰 포지션을 정의한다.
g) ToggleWindows 커맨드는 숨겨진 윈도우와 디스플레이된 윈도우의 사이에서 토글을 정의한다.
h) SetDepthPos 커맨드
i) Pen commands & Caption Text 커맨드들
j) SetDepthPos 커맨드
k) Pen commands & Caption Text 커맨드들
기타 등등이 순차적으로 이용될 수 있다.
다음으로 본 발명에 따라 캡션 윈도우들의 뎁쓰의 부드러운 변경을 위한 커맨를 가진 심플 팝-온 캡셔닝을 위한 커맨드 시퀀스는 다음과 같다. 즉, 이는 향상된 성능을 가진 수신기들을 위한 것이다.
a) DeleteWindow 커맨드
b) DefineWindow 커맨드
c) SetWindowAttributes 커맨드
d) Pen Commands & Caption Text 커맨드들
e) ClearWindows 커맨드
f) SetDepthPos 커맨드 (다만, 여기서, aw_flag 값이 1이면, 모든 윈도우들에 뎁쓰 값이 적용된다.)
g) ChangeDepthPos 커맨드는 뎁쓰 포지션의 부드러운 변경을 정의한다(여기서도 aw_flag 값이 1이면, 모든 윈도우들에 뎁쓰 값이 적용된다.)
h) ToggleWindows 커맨드
i) SetDepthPos 커맨드
j) Pen commands & Caption Text 커맨드들
k) ChangeDepthPos 커맨드
l) SetDepthPos 커맨드
m) Pen commands & Caption Text 커맨드들
n) ChangeDepthPos 커맨드
기타 등등이 순차적으로 이용될 수 있다.
도 11은 본 발명에 따라 디지털 수신기에서 3D 캡션 데이터를 처리하는 과정의 다른 예를 도시한 도면이다.
여기서, 도 11은 예를 들어, 전술한 도 4 이후의 과정에 대한 것일 수 있다. 따라서, 이하에서는 전술한 내용은 도 4를 참조하고, 여기서 설명은 생략한다.
그래픽 엔진 또는/및 OSD 처리부는, ChangeDepthPos 커맨드를 수신한 경우, 해당 3D 캡션을 최초로 디스플레이하는 시점의 디스패리티 값은 스타트 디스패리티를 이용한다(S1102). 여기서, 상기 3D 캡션은 윈도우 ID를 이용, aw_flag에 따라 적용되는 윈도우가 달라질 수 있다.
그래픽 엔진 또는/및 OSD 처리부는, 해당 캡션 윈도우가 프레임 카운트(frame count) 만큼의 프레임이 경과한 후 엔드 디스패리티(end disparity)에 해당되는 뎁쓰에 위치하도록 한다(S1104).
그래픽 엔진 또는/및 OSD 처리부는, 상기 S1104 구현 과정에서 디스플레이에서 프레임 레이트 컨버젼(frame rate conversion)이 발생한 경우에는, 최종 출력되는 프레임 레이트(frame rate)와 오리지널 프레임 레이트(original frame rate)의 비율을 고려해 프레임 카운트 값을 적절히 수정한다. 즉, 디스플레이 과정에서 오리지널 프레임 레이트가 30이고 출력 프레임 레이트가 240이면 디스플레이 렌더링 과정에서 8*(프레임 카운트)만큼의 프레임 출력(frame output)이 경과한 후 엔드 디스패리티가 적용되도록 한다(S1106).
그래픽 엔진 또는/및 OSD 처리부는, 상기 S1104 구현 과정에서 캡션 윈도우가 최초로 디스플레이되는 시점이 A이면 A+(frame_count)/(original_frame_rate) 이후에 캡션 윈도우에 대한 디스패리티는 엔드 디스패리티 값을 갖는다. 이때, A와 A+(frame_count)/(original_frame_rate) 사이의 시간 구간에서는 수신기가 캡션 윈도우 디스패리티의 급격한 변화를 막도록 부드럽게(smooth) 천이(transition)되도록 처리한다(S1108).
그래픽 엔진 또는/및 OSD 처리부는, S1108 구현하는 과정에서 매 프레임 마다 디스패리티를 변경하는 경우에는 (end_disparity-start_disparity)/(frame_count) 크기만큼의 변화량이 매 프레임마다 발생한다. 따라서, 이를 구현하는 것이 수신기의 성능(performance)에 부담이 되는 경우 t 만큼의 프레임 간격을 두고 점진적으로 디스패리티 변경(disparity change)를 수행한다.
상술한 과정에서, aw_flag 값이 만약 1인 경우, 윈도우 ID 필드에 관계 없이 현재 서비스 내에서 정의된 모든 윈도우에 대해 이 과정을 적용한다. 만약 상기 aw_flag 값이 0이면 윈도우 ID 필드에 의해 지정된 캡션 윈도우 에 대해서만 상술한 과정을 수행하면 된다.
상술한 내용과 관련하여, 본 발명에 따를 경우에 디지털 수신기의 성능과 관련하여, 설명하면, 다음과 같다.
이상적인 디코더의 경우, 우 영상 이미지를 위한 DFn 커맨드에 상대적으로 오프셋으로 SDP 커맨드를 해석할 수 있다. 만약 디스패리티 값이 손상되었거나 또는 부정확한 경우, 오프셋은 실제 스크린 디스플레이 공간에 제한될 것이다(This decoder will interpret the SDP command as an offset relative to the DFn command for the right eye image. If the disparity value is corrupted or otherwise improper, the offset will be limited to the actual screen display space).
또한, 디코더는 본 커맨드에 의해 정의된 프레임들의 개수 각각을 위하여 엔드 디스패리티 값과 현재 윈도우 디스패리티 값의 차이의 프랙션에 의하여 우 이미지를 이동시킴으로써 CDP 커맨드로 해석할 수 있다. 만약 엔드 디스패리티 값이 손상되었거나 부정확한 경우에는 최종 오프셋은 실제 스크린 디스플레이 공간에 의해 제한될 것이다(This decoder will interpret the CDP command by moving the right image by a fraction of the difference of the current window disparity value and the end disparity value for each of the "number of frames" defined by this command. If the end disparity value is corrupted or otherwise improper, the final offset will be limited to the actual screen display space).
상기 커맨드들에서 윈도우 ID는 뎁쓰 커맨드를 위해 적용되고 다른 커맨드들을 위한 현재 윈도 값을 재설정하지 않는다(The window ID of the above commands will apply for the depth command and does not reset the current window value for other commands).
CDP 커맨드의 모션은, 디스플레이 상에서 커멘스되거나 윈도우가 보이도록 우니도우 커맨드를 토글할 것이다. 만약 윈도우가 이미 보이면 액션은 즉시 커멘스될 수 있다(The motion of the CDP command will commence on the display or toggle window command that makes the window visible. If the window is already visible, the action commences immediately).
만약 새로운 CDP 커맨드가 이전 CDP 커맨드가 완료되기 전에 이슈되면, 디코더는 수정된 엔드 디스패리티 값으로 새로운 프랙셔널 이동을 간단하게 계산할 수 있다(If a new CDP command is issued before the previous CDP command is completed, the decoder simply computes the new fractional movement toward the revised end disparity value).
클리어 윈도우 커맨드는 캡션 윈도우의 이동이나 포지션상에 영향을 주지 않는다. 삭제나 하이드 윈도우 커맨드도 오프셋을 엔드 디스플레이 값으로 이동시킬 것이다(A clear window command will have no affect on the position or movement of the caption window. A delete or hide window command will move the offset to the end disparity value).
다음으로 정적인 캡션 윈도우들에 대해 설명하면, 다음과 같다. 해당 캡션 디코더는 캡션 윈도우들이 동적으로 이동되지 않는다. SDP 커맨드들은 상술한 이상적인 디코더와 같이 영향을 받거나 핸들링되지 않는다(This caption decoder is not able to dynamically move caption windows. SDP commands are not affected and are handled as in the ideal decoder).
왜냐하면, 디코더는 연속성에 기초하여 캡션 윈도우를 이동시키지 않고, CDP 커맨드는 약하게 다르게 핸들링된다(Since the decoder does not move the caption window on a continuous basis, the CDP command is handled slightly differently). 디코더는 프레임의 개수동안 딜레이 액션을 수행할 수 있다(The decoder will delay action for the period of "number of frames."). 해당 시간 이후에 해당 캡션 윈도우는 엔드 디스패리티 값으로 변경될 것이다(After that time, the right caption window will move to the end disparity value). 상술한 바와 같이, 엔드 디스패리티 값은 디스패리티 공간의 제약을 받기 쉽다(As above, the end disparity value is subject to the limits of the display space).
반면에 2D 전용 디코더는, SDP 또는 CDP 커맨드들을 처리할 수 있는 능력이 없다. 즉, 디코더는 캡션과 관련된 2D 이미지와 간단한 커맨드만을 처리할 수 있다. 따라서, SDP와 CDP 커맨드들은 무시된다(This decoder has no capability to process the SDP or CDP commands. In this case, the decoder simply processes the standard commands as though the image were a standard 2D image. The SDP and CDP commands are ignored).
발명의 실시를 위한 형태
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
이상 상술한 본 발명에 따르면, 디지털 수신기는 종래 레거시 디바이스와 호환성을 가지면서 3D 캡션 데이터를 제공할 수 있고, 3D 캡션 데이터가 다수 개인 경우, 상기 다수 개의 캡션 데이터 전체 또는 개별적으로 제어할 수 있으며, 제공되는 3D 캡션 데이터의 디스패러티 정보가 급격히 변경되는 경우에도 사용자에게 어지러움 등이 느껴지지 않도록 처리할 수 있다.
산업상 이용가능성
본 발명은 3D 서비스를 제공하는 디지털 방송 시스템에 관한 것으로, 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (15)

  1. 3D 서비스를 위해 방송 신호를 전송하는 방법에 있어서,
    3D 캡션 서비스를 위한 3D 캡션 서비스 데이터를 포함하는 비디오 엘리멘터리 스트림을 인코딩하는 단계,
    상기 3D 캡션 서비스 데이터는, 디스패리티 데이터를 지시하는 디스패리티 정보를 전송하는 커맨드 코드를 포함하고,
    상기 디스패리티 데이터는, 라이트 뷰 및 레프트 뷰 간의 차이를 나타내고, 상기 디스패리티 데이터는, 수평 레졸루션을 이용하여 기술되며,
    상기 디스패리티 정보는, 상기 디스패리티 데이터가 모든 캡션 윈도우에 적용될지를 지시하는 정보 및 프레임 카운트의 개수를 포함하고,
    상기 디스패리티 데이터는, 상기 프레임 카운트의 개수에 대응하는 시간 동안 적용되도록 제공되고;
    3D 비디오 서비스를 시그널링하는 시그널링 정보를 생성하는 단계; 및
    상기 비디오 엘리멘터리 스트림 및 상기 시그널링 정보를 포함하는 디지털 방송 신호를 전송하는 단계;를 포함하는 3D 서비스를 위한 방송 신호 전송 방법.
  2. 제1항에 있어서,
    상기 디스패리티 정보는, 상기 디스패리티 데이터에 적용될 기울기 변화의 양을 지시하는 정보를 더 포함하는 3D 서비스를 위한 방송 신호 전송 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 3D 캡션 서비스 데이터는,
    상기 비디오 엘리멘터리 스트림의 픽쳐 헤더 또는 SEI 메시지 중 어느 하나로부터 추출되는 3D 서비스를 위한 방송 신호 전송 방법.
  5. 3D 서비스를 위해 방송 신호를 처리하는 방법에 있어서,
    3D 캡션 서비스 데이터를 포함하는 비디오 엘리멘터리 스트림을 수신하고 파싱하는 단계;
    상기 비디오 엘리멘터리 스트림으로부터 상기 3D 캡션 서비스 데이터를 디코딩하는 단계,
    상기 3D 캡션 서비스 데이터는, 디스패리티 데이터를 지시하는 디스패리티 정보를 전송하는 커맨드 코드를 포함하고,
    상기 디스패리티 데이터는, 라이트 뷰 및 레프트 뷰 간의 차이를 나타내고, 상기 디스패리티 데이터는, 수평 레졸루션을 이용하여 기술되며,
    상기 디스패리티 정보는, 상기 디스패리티 데이터가 모든 캡션 윈도우에 적용될지를 지시하는 정보 및 프레임 카운트의 개수를 포함하고; 및
    3D 캡션 서비스를 렌더링하는 단계,
    상기 3D 캡션 서비스는, 상기 프레임 카운트의 개수에 대응하는 시간 동안 상기 디스패리티 데이터를 적용하여 렌더링되고;
    를 포함하는 3D 서비스를 위한 방송 신호 처리 방법.
  6. 제5항에 있어서,
    상기 디스패리티 정보는, 상기 디스패리티 데이터에 적용될 기울기 변화의 양을 지시하는 정보를 더 포함하고,
    상기 3D 캡션 서비스는 상기 변화의 양에 따라 변화하여 렌더링되는 3D 서비스를 위한 방송 신호 처리 방법.
  7. 삭제
  8. 제5항에 있어서,
    상기 3D 캡션 서비스 데이터는,
    상기 비디오 엘리멘터리 스트림의 픽쳐 헤더 또는 SEI 메시지 중 어느 하나로부터 추출되는 3D 서비스를 위한 방송 신호 처리 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 3D 서비스를 처리하는 디지털 수신기에 있어서,
    3D 캡션 서비스 데이터를 포함하는 비디오 엘리멘터리 스트림을 수신하고 파싱하는 수신부;
    상기 비디오 엘리멘터리 스트림으로부터 상기 3D 캡션 서비스 데이터를 디코딩하는 디코딩부,
    상기 3D 캡션 서비스 데이터는, 디스패리티 데이터를 지시하는 디스패리티 정보를 전송하는 커맨드 코드를 포함하고,
    상기 디스패리티 데이터는, 라이트 뷰 및 레프트 뷰 간의 차이를 나타내고, 상기 디스패리티 데이터는, 수평 레졸루션을 이용하여 기술되며,
    상기 디스패리티 정보는, 상기 디스패리티 데이터가 모든 캡션 윈도우에 적용될지를 지시하는 정보 및 프레임 카운트의 개수를 포함하고; 및
    3D 캡션 서비스를 렌더링하는 렌더링부,
    상기 3D 캡션 서비스는, 상기 프레임 카운트의 개수에 대응하는 시간 동안 상기 디스패리티 데이터를 적용하여 렌더링되고;
    를 포함하는 디지털 수신기.
  14. 제13항에 있어서,
    상기 디스패리티 정보는, 상기 디스패리티 데이터에 적용될 기울기 변화의 양을 지시하는 정보를 더 포함하고,
    상기 3D 캡션 서비스는 상기 변화의 양에 따라 변화하여 렌더링되는 디지털 수신기.
  15. 제13항에 있어서,
    상기 3D 캡션 서비스 데이터는,
    상기 비디오 엘리멘터리 스트림의 픽쳐 헤더 또는 SEI 메시지 중 어느 하나로부터 추출되는 디지털 수신기.
KR1020127023124A 2010-06-27 2011-06-27 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법 KR101797495B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US35893510P 2010-06-27 2010-06-27
US61/358,935 2010-06-27
US201061425739P 2010-12-21 2010-12-21
US61/425,739 2010-12-21
PCT/KR2011/004683 WO2012002690A2 (ko) 2010-06-27 2011-06-27 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법

Publications (2)

Publication Number Publication Date
KR20130088741A KR20130088741A (ko) 2013-08-08
KR101797495B1 true KR101797495B1 (ko) 2017-11-15

Family

ID=45402535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127023124A KR101797495B1 (ko) 2010-06-27 2011-06-27 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법

Country Status (5)

Country Link
US (2) US9258544B2 (ko)
KR (1) KR101797495B1 (ko)
CN (2) CN105812771B (ko)
CA (1) CA2802668C (ko)
WO (1) WO2012002690A2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730301B2 (en) * 2010-03-12 2014-05-20 Sony Corporation Service linkage to caption disparity data transport
CA2807186C (en) * 2010-08-17 2017-03-14 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
WO2013054371A1 (ja) * 2011-10-11 2013-04-18 パナソニック株式会社 立体字幕処理装置および立体字幕処理方法
CN104221367A (zh) * 2012-04-04 2014-12-17 拿索斯财务有限公司 用于生成和接收立体-2d反向兼容视频流的系统及其方法
US9800855B2 (en) * 2013-08-20 2017-10-24 Sony Corporation Reproduction device, reproduction method, and recording medium
JP6294489B2 (ja) * 2013-09-06 2018-03-14 エルジー エレクトロニクス インコーポレイティド デジタル放送システムにおける広域明るさ表現のための超高画質放送信号送受信方法及び装置
KR102014800B1 (ko) 2015-07-06 2019-08-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
CN108293142B (zh) * 2016-09-14 2021-11-02 索尼公司 发送装置、发送方法、接收装置和接收方法
RU2743518C2 (ru) 2017-04-11 2021-02-19 Долби Лэборетериз Лайсенсинг Корпорейшн Восприятия многослойных дополненных развлечений
EP3777184A4 (en) 2018-03-28 2021-12-15 Nokia Technologies Oy PROCESS, DEVICE AND COMPUTER PROGRAM PRODUCT FOR VIRTUAL REALITY
KR102600762B1 (ko) * 2019-08-27 2023-11-13 한국전자통신연구원 Atsc 3.0 기반의 방송 콘텐츠 전송 장치 및 방법과, 방송 콘텐츠 수신 장치 및 방법
CN113271418B (zh) * 2021-06-03 2023-02-10 重庆电子工程职业学院 一种动态三维立体悬浮字幕的制作方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203251A (ja) 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100212134B1 (ko) * 1996-05-03 1999-08-02 윤종용 시청자 선택형 자막표시의 소프트 스크롤 방법
AU2004211721B2 (en) 2003-02-11 2009-08-20 Nds Limited Apparatus and methods for handling interactive applications in broadcast networks
KR101178302B1 (ko) 2004-04-01 2012-09-07 구글 인코포레이티드 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐
CN1328905C (zh) * 2004-06-29 2007-07-25 乐金电子（沈阳）有限公司 电视机的字幕错误修正装置及其方法
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
KR100955578B1 (ko) 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
EP2308240A1 (en) * 2008-07-25 2011-04-13 Koninklijke Philips Electronics N.V. 3d display handling of subtitles
WO2010064784A2 (ko) * 2008-12-02 2010-06-10 (주)엘지전자 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
KR20110053160A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
JP6068329B2 (ja) * 2010-04-01 2017-01-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 立体表示用のサブタイトルを生成する方法及びシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003203251A (ja) 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム

Also Published As

Publication number Publication date
CA2802668A1 (en) 2012-01-05
CN102959952A (zh) 2013-03-06
US9578305B2 (en) 2017-02-21
CN105812771A (zh) 2016-07-27
KR20130088741A (ko) 2013-08-08
WO2012002690A2 (ko) 2012-01-05
CN105812771B (zh) 2017-12-08
US20130088571A1 (en) 2013-04-11
CA2802668C (en) 2016-03-29
US9258544B2 (en) 2016-02-09
US20160119604A1 (en) 2016-04-28
CN102959952B (zh) 2016-07-06
WO2012002690A3 (ko) 2012-04-26

Similar Documents

Publication Publication Date Title
KR101797495B1 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
US9485489B2 (en) Broadcasting receiver and method for displaying 3D images
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
KR101622688B1 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2011062195A1 (ja) 画像受信装置
CN102918847B (zh) 显示图像的方法和设备
US9578304B2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
US20120106921A1 (en) Encoding method, display apparatus, and decoding method
US20130250051A1 (en) Signaling method for a stereoscopic video service and apparatus using the method
KR101676311B1 (ko) 방송 수신기 및 3ｄ 방송 데이터 처리 방법
US20130307928A1 (en) Method and apparatus for transmitting/receiving a digital broadcasting signal
KR101977260B1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
KR101742993B1 (ko) 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant