KR101622691B1 - 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법 - Google Patents

3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법 Download PDF

Info

Publication number
KR101622691B1
KR101622691B1 KR1020117015560A KR20117015560A KR101622691B1 KR 101622691 B1 KR101622691 B1 KR 101622691B1 KR 1020117015560 A KR1020117015560 A KR 1020117015560A KR 20117015560 A KR20117015560 A KR 20117015560A KR 101622691 B1 KR101622691 B1 KR 101622691B1
Authority
KR
South Korea
Prior art keywords
caption
dimensional
information
text
data
Prior art date
Application number
KR1020117015560A
Other languages
English (en)
Other versions
KR20110118624A (ko
Inventor
서종열
김경호
김진필
이준휘
송재형
홍호택
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20110118624A publication Critical patent/KR20110118624A/ko
Application granted granted Critical
Publication of KR101622691B1 publication Critical patent/KR101622691B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

3차원 디스플레이 장치에 있어서 3D 영상에 부합되도록 캡션 텍스트를 3차원으로 표시될 수 있게 해주는 3차원 캡션 신호의 전송 방법과, 캡션 디스플레이 방법. 본 발명의 3차원 캡션 신호 전송 방법에 있어서는, 3차원 영상 내에 3차원 캡션을 표시하기 위한 3차원 캡션 박스 설정 정보와 캡션 텍스트를 생성하고, 상기 3차원 캡션 박스 설정 정보와 상기 캡션 텍스트를 비디오 픽쳐 헤더 영역에 삽입하여 상기 영상신호를 부호화하여 전송하게 된다. 한편, 본 발명의 캡션 디스플레이 방법에 있어서는, 3차원 영상신호가 포함된 방송신호를 수신하고, 상기 방송신호에 포함된 3차원 캡션 박스 설정 정보와 캡션 텍스트를 획득한다. 그 다음, 상기 3차원 캡션 박스 설정 정보와 상기 캡션 텍스트를 토대로, 3차원 캡션 박스 내에 3차원 캡션 텍스트가 배치된 캡션 영상이 생성되어 표시된다.

Description

3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법{3D CAPTION SIGNAL TRANSMISSION METHOD ANF 3D CAPTION DISPLAY METHOD}
본 발명은 디스플레이 장치에서의 영상표시 방법에 관한 것으로서, 보다 상세하게는 클로우즈드 캡션 표시 방법에 관한 것이다.
클로우즈드 캡션(closed caption) 방송이란 텔레비전 영상과 통합되지 않은 별개의 텍스트 데이터를 송출하여, 텔레비전 수신기에서 선택적으로 이 텍스트를 캡션으로 표출할 수 있게 해주는 방송서비스를 말한다. NTSC 규격의 아날로그 텔레비전 방송에서는, 수직회기구간(VBI)의 필드 1 및 필드 2의 라인 21에 아날로그 파형으로 2바이트씩 캡션 데이터가 전송되어, 수신기에서 이를 화면에 표시할 수 있도록 하였다. 한편, ATSC 방식 디지털 텔레비전 방송에 있어서는, 픽쳐 헤더의 extension_and_user_data() 구조 내에 사용자 데이터의 일종으로서 클로우즈드 캡션 데이터를 2바이트씩 삽입할 수 있고, PSIP의 이벤트 정보 테이블(EIT) 내에 클로우즈드 캡션 재생에 대한 제어정보를 정의할 수 있다(ATSC Digital Television Standard Part 4 - MPEG-2 Video System Characteristics(A/53, Part 4:2007), with Amendment No. 1과, Digital Television(DTV) Closed Captioning, CEA-708-B, 참조). 수신기에서는 상기 픽쳐 헤더를 통해 수신되는 캡션 데이터의 바이트 쌍을 축적하면서 CEA-708-B 표준에 따라 해석하여 송신측에서 정의 또는 명시한 바에 따라 클로우즈드 캡션을 표시할 수 있다.
도 1 내지 도 5를 참조하여, CEA-708-B 표준에 따른 DTV 클로우즈 캡션(DTVCC)에 대하여 간략하게 설명한다.
DTVCC 데이터는 특정한 형식의 데이터 통신 프로토콜에 따라 전송되는데, 도 1은 DTVCC의 프로토콜 스택을 보여준다. 상기 프로토콜 스택에는 5개의 계층 즉, 전송 계층(Transport Layer), 패킷 계층(Packet Layer), 서비스 계층(Service Layer), 코딩 계층(Coding Layer), 그리고 해석 계층(Interpretation Layer)의 5개 계층으로 구성된다.
전송 계층(Transport Layer)은 DTVCC 데이터가 DTV 비디오 서브시스템에 삽입되어 수신기에서 추출될 수 있는 부분을 나타내는 것으로서, ATSC A/53 표준과 ISO/IEC 13818에 정의된 바에 따른다. 구체적으로, DTVCC 데이터는 2바이트씩 분할되어 DTV 스트림의 픽쳐 유저 데이터를 통해 전송되며, 시그널링을 위한 디스크립터는 PSIP의 PMT 및/또는 EIT를 통해서 전송된다.
도 2는 픽쳐 유저 데이터를 통해 전송되는 클로우즈드 캡션 데이터 cc_data()의 구문을 보여준다. "process_cc_data_flag"는 클로우즈드 캡션 데이터 cc_data()의 처리가 필요한지를 나타내는 플래그로서, '1'로 설정되면 클로우즈드 캡션 데이터를 파싱하여 처리해야 함을 나타내고 '0'으로 설정되면 클로우즈드 캡션 데이터를 무시할 수 있음을 나타낸다. "cc_count" 필드는 이후에 뒤따르는 캡션 데이터 구조의 개수를 나타내고 0에서 31까지의 값을 가질 수 있다. cc_count 개의 캡션 데이터 구조 각각에 대하여, "cc_data_1" 및 "cc_data_2" 필드의 쌍을 통해 16 비트의 캡션 데이터가 전달된다. "cc_valid" 필드는 '1'로 설정되었을 때 뒤따르는 2 바이트의 캡션 데이터 쌍이 유효함을 나타내고, '0'으로 설정되었을 때 2 바이트의 캡션 데이터 쌍이 무효임을 나타낸다. "cc_type" 필드는, 예컨대 CEA-708-B 표준에 정해진 바와 같이, 뒤따르는 두 바이트의 클로우즈드 캡션 데이터의 유형을 나타낸다. 예들 들어, "cc_type" 필드가 '10'의 값을 가지는 경우 2 바이트의 클로우즈드 캡션 데이터가 클로우즈드 캡션 데이터임을 나타내고, '11'의 값을 가지는 경우 새로운 클로우즈드 캡션 데이터의 시작을 나타낸다.
다시 도 1을 참조하면, DTVCC 데이터는 전송 계층에서 부호화되기 이전에 일정한 규칙에 의해 캡션 채널로 패킷화되는데, 패킷 계층(Packet Layer)은 이와 같은 캡션 채널 패킷에 의해 정의된다. 도 3은 캡션 채널 패킷의 구조를 보여준다. n 바이트의 캡션 채널 패킷은 1 바이트의 패킷 헤더와 n-1 바이트의 패킷 데이터로 구성된다. 캡션 헤더는 시퀀스 번호와 패킷 크기 데이터로 구성된다. 상기 시퀀스 번호는 유실된 패킷의 존재 여부를 결정할 수 있도록 0∼3의 범위에서 순환하여 정해지는 2 비트 데이터이다.
DTVCC 캡션 채널은 "서비스"라고 불리는 논리적인 서브 채널들의 집합으로 나누어질 수 있다. 서비스 데이터들은 시분할다중화 방식으로 캡션 채널 데이터 스트림에 삽입된다. 서비스 계층(Service Layer)은 클로우즈드 캡션 데이터 채널 서비스 개수, 서비스 유형 그리고 서비스 속성 등에 대한 헤더를 정의한다. 캡션 채널 데이터 스트림에는, 6 개의 표준 서비스와 최대 57개의 확장 서비스를 추가할 수 있어서, 총 63개의 서비스를 제공하는 것이 가능하다. 도 4는 각 서비스에 대한 서비스 블록의 구조를 보여준다. 서비스 블록은 서비스 블록 헤더와 서비스 블록 데이터로 구성된다. 서비스 블록 헤더는 서비스 번호와 서비스 블록 크기 데이터의 두 부분으로 구성되는데, 서비스 개수가 6개 이하인 경우에는 1 바이트로 구성되고, 서비스 개수가 6개를 초과하는 경우에는 2 바이트로 구성된다.
다시 도 1을 참조하면, 코딩 계층(Coding Layer)은 클로우즈드 캡션 서비스를 위해 데이터가 어떻게 코딩되는지를 기술한다. 즉, 코딩 계층은 코드 스페이스 제어, 캡션 명령, 캡션 문자 및 기호에 대한 숫자 코드의 할당을 정의한다. 도 5는 CEA-708-B 표준에 따른 코드 스페이스 구성을 보여준다. 코드 스페이스는 각각이 256개의 포지션을 가지는 2개의 코드북으로 구성되며, 4 개의 코드 그룹들: 즉 CL, GL, CR, GR 그룹으로 분할되어 있다. CL 그룹은 00h∼1Fh까지의 32개 코드를 포함하며, C0 코드 셋(잡다한 제어 코드) 및 C2 코드 셋(확장된 잡다한 제어 코드)이 이 스페이스에 맵핑된다. GL 그룹은 20h∼7Fh까지의 96개 코드를 포함하며, G0 코드 셋(문자 세트) 및 G2 코드 셋(확장된 제어 코드 1)이 이 스페이스에 맵핑된다. CR 그룹은 80h∼9Fh까지의 32개 코드를 포함하며, C1 코드 셋(캡션 제어 코드) 및 C3 코드 셋(확장된 제어 코드 2)이 이 스페이스에 맵핑된다. GR 그룹은 A0h∼FFh까지의 96개 코드를 포함하며, G1 코드 셋(라틴 문자) 및 G3 코드 셋(미래에 사용할 문자/아이콘 확장 셋)이 이 스페이스에 맵핑된다.
4 개의 코드 그룹(CL, GL, CR, GR) 그룹에서 기본 코드들은 도 5의 윗부분에 있는 C0, C1, G0, G1 코드 셋의 문자, 제어 코드, 및 명령이다. 도 5의 윗부분에 있는 C2, C3, G2, G3 코드 셋은 C0 코드 셋에 있는 'EXT1' 코드(10h)를 사용하여 접근된다. 즉, 코드 스페이스 내에 있는 코드나 심볼의 앞에 'EXT1' 코드를 두게 되면, 확장된 C2, C3, G2, G3 코드 셋이 참조된다. 다시 말해서, C2, C3, G2, G3 코드 셋에 있는 문자를 참조하기 위해서는 2 바이트(즉, 'EXT1'+기본코드)를 사용하여야 한다.
해석 계층(Interpretation Layer)은 DTVCC 그래픽 유저 인터페이스를 즉, 코딩 계층의 코드 셋을 사용하여 캡션 데이터가 어떻게 인코딩되는지를, 그리고 디코딩될 때 어떻게 해석되는지를 정의한다. 이 해석 계층은 캡션 스크린, 윈도우, 펜, 텍스트, 디스플레이 동기화를 다룬다.
이와 같은 프로토콜에 의하여 구현되는 클로우즈드 캡션 방송에 따르면, 출연자의 대사, 노래가사, 영화대사 번역, 온라인 TV 가이드, 비상방송과, 그밖의 다양한 문자 서비스를 제공할 수 있다. 최근에는 청각장애인의 미디어 접근권 내지 보편적 서비스 측면에서 클로우즈드 캡션 방송이 제한적으로 의무화되는 추세에 있어, 그 활용이 크게 확대될 것으로 전망된다.
한편, 텔레비전 기술의 발전은 입체 영상을 표시할 수 있는 장치를 구현할 수 있는 수준에 이르고 있으며, 특히 본 출원이 행해지는 시점에 있어서 스테레오스코픽 방식의 3D 텔레비전은 본격적인 상용화를 목전에 두고 있다. 스테레오스코픽 3D 디스플레이 시스템에 있어서는, 사람의 눈과 마찬가지로 약 65 밀리미터 떨어진 두 개의 이미지 센서로 2개의 영상을 촬영하고 이를 방송신호로 수신기에 전송하며, 수신기에서는 두 영상이 사람의 좌안과 우안에 별도로 입력하도록 함으로써, 양안시차(Binocular Disparity)를 시뮬레이션하여 깊이 지각 내지 입체시를 가능하게 해준다.
이와 같은 스테레오스코픽 방식 3D 텔레비전에서 클로우즈드 캡션을 구현하고자 하는 경우에는, 캡션 텍스트 역시 입체적으로 스타일링하여 표시하는 것이 바람직하다. 수신기가 자체적으로 캡션 텍스트를 토대로 3차원 캡션 영상을 렌더링하게 하는 방안도 생각해볼 수 있지만, 지속적으로 입력되는 다량의 캡션 텍스트에 대하여 3차원 속성(예컨대, 캡션 텍스트의 두께와 입체적인 색상, 캡션 텍스트 표시 영역의 색상과 투명도 등)을 실시간으로 정의하고 3차원 렌더링하는 것은 수신기에서의 연산 부담을 과도하게 증가시킬 수 있다. 캡션 텍스트에 대하여 일률적으로 적용할 3차원 속성을 사전에 정해두고, 이처럼 고정된 3차원 속성대로 캡션 텍스트를 3차원 렌더링하는 경우에는 연산 부담을 다소 감소시킬 수 있지만, 3차원 캡션의 미감이 크게 저하될 수 있고, 싫증을 유발할 수 있기 때문에, 클로우즈드 캡션의 효용과 매력이 현저하게 저하될 수 있다.
따라서, 3D 텔레비전에서 표출되는 3D 영상에 부합되도록 클로우즈드 캡션을 입체감있게 표시하면서, 캡션 영상의 미감과 매력을 높게 유지할 수 있는 방안이 요구된다.
본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 3차원 디스플레이 장치에 있어서 3D 영상에 부합되도록 캡션 텍스트를 3차원으로 표시될 수 있게 해주는 3차원 캡션 신호 전송 방법을 제공하는 것을 그 기술적 과제로 한다.
또한, 본 발명은 3차원 디스플레이 장치에 있어서 3D 영상에 부합되도록 캡션 텍스트를 3차원으로 표시하기 위한 3차원 캡션 디스플레이 방법을 제공하는 것을 다른 기술적 과제로 한다.
상기 기술적 과제를 달성하기 위하여, 본 발명은 2차원 캡션 윈도우를 3차원(3D) 캡션 텍스트 박스로 개념적으로 확장하고, 3D 클로우즈드 캡션을 구현하기 위한 3D 캡션 텍스트가 3D 캡션 텍스트 박스 내에서 3차원으로 표시되도록 한다. 이를 위하여, 본 발명은 3D 캡션 텍스트 박스 파라미터와, 텍스트 박스의 스타일 파라미터, 그리고, 3D 텍스트의 스타일 파라미터를 정의한다. 아울러, 본 발명은 이와 같은 3D 캡션 텍스트 박스 파라미터와, 텍스트 박스의 스타일 파라미터, 그리고, 3D 텍스트의 스타일 파라미터를 수신하여, 디코딩하고 적용하는 방법을 제시한다.
구체적으로, 상기 기술적 과제를 달성하기 위한 3차원 캡션 신호 전송 방법에 있어서는, 3차원 영상 내에 3차원 캡션을 표시하기 위한 3차원 캡션 박스 설정 정보와 캡션 텍스트를 생성하고, 상기 3차원 캡션 박스 설정 정보와 상기 캡션 텍스트를 비디오 픽쳐 헤더 영역에 삽입하여 상기 영상신호를 부호화하여 전송하게 된다.
바람직한 실시예에 있어서는, 부호화되어 전송되는 정보에 3차원 텍스트 설정 정보를 추가된다.
바람직한 실시예에 있어서, 3차원 캡션 박스 설정 정보는 기존 표준과의 양립성을 감안하여 2차원 윈도우 설정 정보와 함께 전송되어 2차원 윈도우 설정 정보를 보완하게 된다.
상기 3차원 캡션 박스 설정 정보가 2차원 윈도우 정의 정보, 상기 2차원 윈도우 정의 정보를 보충하는 3차원 텍스트 박스 정의 정보, 2차원 윈도우 속성 설정 정보, 상기 2차원 윈도우 속성 설정 정보를 보충하는 3차원 텍스트 박스 속성 설정 정보를 포함하는 것이 바람직하다.
일 실시예에 있어서, 상기 3차원 캡션 박스 설정 정보는 상기 방송신호의 픽쳐 헤더 영역에 삽입된다. 그렇지만, 다른 실시예에 있어서는, 3차원 캡션 박스 설정 정보가 별도의 디스크립터에 포함되어 PSIP의 EIT 또는 PMT를 통해 전송될 수도 있다.
한편, 상기 다른 기술적 과제를 달성하기 위한 본 발명의 3차원 캡션 디스플레이 방법에 있어서는, 3차원 영상신호가 포함된 방송신호를 수신하고, 상기 방송신호에 포함된 3차원 캡션 박스 설정 정보와 캡션 텍스트를 획득한다. 그 다음, 상기 3차원 캡션 박스 설정 정보와 상기 캡션 텍스트를 토대로, 3차원 캡션 박스 내에 3차원 캡션 텍스트가 배치된 캡션 영상이 생성되어 표시된다. 이때, 캡션 영상은 3차원 방송영상에 믹싱되어 표시될 수도 있다.
청구의 범위를 포함한 본 명세서에 있어서, 3차원 캡션 박스란 3차원 캡션 텍스트를 표시하기 위한 입체공간을 일컫는 것으로서, 정확하게 육면체 박스만을 한정적으로 표현하는 것은 아니며 측면에 스큐가 부여되어 찌그러진 박스 모양을 가질 수도 있다. 아울러, 3차원 캡션 박스의 일부에서 3차원 캡션 텍스트가 박스 외주면을 통해 부분적으로 돌출되어 있을 수도 있다. 이와 같이 "박스"라는 표현을 제한적으로 해석해서는 안되며, "프레임", "틀", "입체공간", "입체구간" 등 구체적인 용어를 변형하여 사용함에 관계없이 '평면이 아닌 입체공간'의 의미로 포괄적으로 해석해야 함을 유의해야 한다.
텔레비전 수신기에서 3차원 렌더링에 소요되는 연산 부담을 현저하게 증가시키지 않으면서, 3D 영상에 부합되도록 클로우즈드 캡션을 입체감있게 표시할 수 있게 된다. 이에 따라 클로우즈드 캡션의 효용과 매력이 현저하게 증가될 수 있다. 아울러, 기존의 캡션 신호 송수신 방법에 추가적인 파라미터를 보충적으로 부가하여 구현되기 때문에, 기존 표준과의 양립성이 확보된다는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 특징과 바람직한 실시예를 구체적으로 설명한다. 도면에서 동일하거나 대응하는 요소에 대해서는 편의상 동일한 참조번호를 사용하기로 한다. 도면 중,
도 1은 CEA-708-B 표준에 따른 DTV 클로우즈 캡션(DTVCC)의 프로토콜 스택을 보여주는 도면;
도 2는 ATSC A/53 표준에 따라 픽쳐 유저 데이터를 통해 전송되는 클로우즈드 캡션 데이터 cc_data()의 구문을 보여주는 도면;
도 3은 CEA-708-B 표준에 따른 캡션 채널 패킷의 구조를 보여주는 도면;
도 4는 CEA-708-B 표준에 따른 서비스 블록의 구조를 보여주는 도면;
도 5는 CEA-708-B 표준에 따른 코드 스페이스 구성을 보여주는 도면;
도 6은 본 발명에 의하여 3D 클로우즈드 캡션을 구현하기 위한 3D 캡션 텍스트 박스의 위치 및 크기 표시를 위한 좌표계의 일 예를 보여주는 도면;
도 7은 3D 캡션 텍스트 박스의 각 꼭지점간의 상대좌표를 설명하기 위한 도면;
도 8은 수평/수직 방향의 앵커 포인트 ID를 보여주는 도면;
도 9는 z축 방향의 앵커 ID를 보여주는 도면;
도 10은 CEA-708-B 표준에 따른 윈도우 정의(Define Window) 명령의 코딩 포맷을 보여주는 도면;
도 11은 3D 캡션 텍스트 박스를 구현하기 위하여 본 발명에 의해 윈도우 정의(Define Window) 명령을 보완하여 추가적으로 도입되는 3D 박스 정의(Define 3D Box) 명령의 코딩 포맷의 일 실시예를 보여주는 도면;
도 12는 CEA-708-B 표준에 따른 윈도우 속성 설정(Set Window Attributes) 명령의 코딩 포맷을 보여주는 도면;
도 13은 3D 캡션 텍스트 박스를 구현하기 위하여 본 발명에 의해 윈도우 속성 설정(Set Window Attributes) 명령을 보완하여 추가적으로 도입되는 3D 박스 속성 설정(Set 3D Box Attributes) 명령의 코딩 포맷의 일 실시예를 보여주는 도면;
도 14는 CEA-708-B 표준에 따른 펜 색상 설정(Set Pen Color) 명령의 코딩 포맷을 보여주는 도면;
도 15는 3D 텍스트를 구현하기 위하여 본 발명에 의해 펜 색상 설정(Set Pen Color) 명령을 보완하여 추가적으로 도입되는 3D 펜 색상 설정(Set 3D Pen Color) 명령의 코딩 포맷의 일 실시예를 보여주는 도면;
도 16은 바람직한 실시예에 있어서, 3D 박스 정의(Define 3D Box) 명령, 3D 박스 속성 설정(Set 3D Box Attributes) 명령, 및 3D 펜 색상 설정(Set 3D Pen Color) 명령의 코드 스페이스 내에서의 위치를 보여주는 도면;
도 17은 본 발명에 의한 방송 송출 시스템의 일 실시예의 블록도;
도 18은 도 17의 시스템에서 클로우즈드 캡션 데이터를 전송하기 위한 유저 데이터 비트스트림의 구문을 보여주는 도면;
도 19는 스테레오스코픽 이미지 쌍이 H.264/AVC 표준에 의해 부호화되는 변형된 실시예에서 클로우즈드 캡션 데이터를 전송하기에 적합한 SEI RBSP Payload 비트스트림의 구문을 보여주는 도면;
도 20은 이벤트 정보 테이블(EIT)에 포함되는 캡션 서비스 디스크립터(Caption Service Descriptor)의 구문을 보여주는 도면;
도 21은 본 발명에 의한 텔레비전 수신기의 일 실시예의 블록도; 그리고
도 22는 도 21에 도시된 텔레비전 수신기에서 클로우즈드 캡션 정보를 추출하여 3D 클로우즈드 캡션을 표시하는 과정을 보여주는 흐름도이다.
발명의 실시를 위한 형태
개념 및 용어 정의
본 발명의 바람직한 실시예를 설명하기에 앞서, 이하의 설명에서 3차원 캡션 관련하여 본 명세서에서 사용하는 용어 및 파라미터에 대한 개념과 정의를 먼저 설명한다.
위에서 언급한 바와 같이, ATSC 디지털 텔레비전 표준의 일부를 구성하는 CEA-708-B 표준에 따르면, 2차원 클로우즈드 캡션은 윈도우를 기반으로 표시된다. 본 발명은 기존 표준과의 양립성을 최대한 높이기 위하여, 디스플레이 표시면에 수직인 방향으로 연장되는 추가적인 기준축(z축)을 적용하여 CEA-708-B 표준에 따른 윈도우를 3차원(3D) 캡션 텍스트 박스로 개념적으로 확장한다. 이에 따라, 본 발명에 따르면, 3D 클로우즈드 캡션을 구현하기 위한 3D 캡션 텍스트는 3D 캡션 텍스트 박스 내에서 3차원으로 표시된다.
도 6은 본 발명에 의하여 3D 클로우즈드 캡션을 구현하기 위한 3D 캡션 텍스트 박스의 위치 및 크기 표시를 위한 좌표계의 일 예를 보여준다.
바람직한 실시예에서, 표시 기준면의 전방 공간 내에 있는 각 점은 직교좌표에 의해 표현된다. 상기 표시 기준면은 3D 영상의 표시 기준이 되는 가상의 평면인 것이 바람직하다. 그렇지만, 디스플레이 장치의 표시면이 상기 표시 기준면이 될 수도 있다. 직교좌표에 의한 위치 표시에 있어서, 원점은 표시 기준면 좌측 상단 모서리 또는 표시 기준면 상의 어느 한 점이 될 수 있다. 여기서, x축은 시청자가 화면을 쳐다볼 때 우측으로 연장되고, y축은 아래쪽으로 연장되며, z축은 전방을 향한다. 이와 같은 좌표계는 통상의 기하학적 직교좌표계와 좌표축 방향이 상위함을 유의해야 한다.
3D 캡션 텍스트 박스의 좌우 폭은 '열 카운트'로써 표시되고, 높이는 '행 카운트'로써 표시되며, 전후 방향 두께는 'z-크기(z-size)'로써 표시된다.
한편, 3D 캡션 텍스트 박스에서 시청자를 향하는 즉, +z축 방향의 면을 '상부면(top surface)'이라 칭하고, 상부면과 접하고 있는 상하좌우의 면을 '측면(side surface)'이라 칭하기로 한다.
도 7은 3D 캡션 텍스트 박스의 각 꼭지점간의 상대좌표를 설명하기 위한 도면이다. 3D 캡션 텍스트 박스의 뒤쪽 좌측 상단 모서리의 꼭지점(P0)의 좌표를 (x_org, y_org, z_org)라 할 때, 점(P0)의 전방에 있는 꼭지점(P1)의 좌표는 (x_org + HorizontalSkewFactor, y_org + VerticalSkewFactor, z_org + z-size)가 되고, 점(P0)의 대각선 방향에 있는 꼭지점(P2)의 좌표는 P2(x_org + RowCount + HorizontalSkewFactor, y_org + ColumnCount + VerticalSkewFactor, z_org + z-size)가 된다.
CEA-708-B 표준에 따르면, 캡션 텍스트를 표시하기 위한 캡션 윈도우는 각 서비스마다 8개까지 존재할 수 있다. 본 발명에 있어서, 3D 캡션 텍스트를 표시하기 위한 3D 캡션 텍스트 박스는 윈도우를 공간적으로 확장하여 정의되기 때문에, 기존의 캡션 윈도우와 마찬가지로 각 서비스마다 8개까지의 윈도우가 존재할 수 있다. 청구의 범위를 포함하여 본 명세서에 있어서, 3D 캡션과 관련된 문맥에서 "윈도우"는 "3D 캡션 텍스트 박스"와 동일한 의미를 가지고 "Window ID"는 "3D Caption Box ID"와 동일한 의미를 가지는 것으로 해석해야 한다.
한편, ATSC 디지털 텔레비전 표준의 일부를 구성하는 CEA-708-B 표준에 의하면, 스크린 상에서 각 윈도우의 위치 지정과, 폰트 사이즈 변경시 윈도우의 확장/축소(shink and grow)의 기준점으로서 앵커 포인트를 정의할 수 있게 되어 있다. 앵커 포인트는 앵커 포인트 ID에 의해 표시될 수 있는데, 도 8은 CEA-708-B 표준에 따른 앵커 포인트 ID를 보여준다. 예컨대, 같이, 앵커 0은 윈도우의 좌측 상단 꼭지점을 나타내고, 앵커 8은 윈도우의 우측 하단 꼭지점을 나타낸다. 본 발명은 3차원 캡션의 시그널링 구조 및 이에 관한 시스템을 정의함에 있어서, ATSC 디지털 텔레비전 표준과의 양립성을 최대한 높이기 위하여, 상하 및 좌우방향으로는 위와 같은 기존의 CEA-708-B 표준에 따른 앵커 포인트 정의 방식을 유지하면서, z축 방향의 앵커 ID만을 추가적으로 정의한다. 도 9는 z축 방향의 앵커 ID를 보여준다. 도시된 바와 같이, 3D 캡션 텍스트 박스의 상부면과 대향하는 저면에 있는 점들은 z축 방향의 앵커 ID(ANCHOR Z-POINT)가 '0'으로 정해지고, 저면과 상부면에 평행하면서 3D 캡션 텍스트 박스를 이등분하는 평면에 있는 점들은 z축 방향의 앵커 ID(ANCHOR Z-POINT)가 '1'로 정해지며, 3D 캡션 텍스트 박스의 상부면에 있는 점들은 z축 방향의 앵커 ID(ANCHOR Z-POINT)가 '2'로 정해진다. 이에 따라, 본 발명에 있어서 앵커 포인트는 두 개의 앵커 ID 즉, 도 8에 도시된 평면적인 앵커 ID와 도 9의 z축 방향의 앵커 ID에 의해 식별될 수 있다.
명령의 생성 및 해석
윈도우를 기반으로 한 캡션 텍스트의 표시를 원활하게 하기 위하여, CEA-708-B 표준은 윈도우 정의(Define Window) 명령에 의하여 윈도우를 정의하고, 윈도우 속성 설정(Set Window Attributes) 명령에 의하여 윈도우의 색상 등 속성을 정의할 수 있게 되어 있다. 나아가, 상기 표준은 펜 속성 설정(Set Pen Attributes) 명령에 의하여 폰트 사이즈 및 폰트 속성을 정의할 수 있게 되어 있다.
본 발명은 송신측에서 3D 캡션 텍스트 박스를 정의함에 있어 상기 윈도우 정의(Define Window) 명령에 의하여 정의된 윈도우에 최소한의 추가 정보만을 제공함으로써, 기존 표준과의 양립성을 최대한 높이면서 전송하여야 할 정보의 양을 최소화한다. 구체적으로, 본 발명은 윈도우 정의(Define Window) 명령에 덧붙여 추가적인 파라미터를 3D 박스 정의(Define 3D Box) 명령을 통해 제공함으로써, 3D 캡션 텍스트 박스를 정의할 수 있게 해준다. 또한, 본 발명은 윈도우 속성 설정(Set Window Attributes) 명령에 덧붙여 추가적인 파라미터를 3D 박스 속성 설정(Set 3D Box Attributes) 명령을 통해 제공함으로써, 3D 캡션 텍스트 박스의 속성을 설정할 수 있게 해준다. 아울러, 본 발명은 펜 속성 설정(Set Pen Attributes) 명령에 덧붙여 추가적인 파라미터를 3D 펜 색상 설정(Set 3D Pen Color) 명령을 통해 제공함으로써, 3D 텍스트의 입체적 속성을 설정할 수 있게 해준다.
도 10은 CEA-708-B 표준에 따른 윈도우 정의(Define Window) 명령의 코딩 포맷을 보여준다. 윈도우 정의 명령은 1 바이트 명령 코드와 6 바이트의 파라미터를 포함하여 총 7 바이트로 구성된다. "window ID" 필드는 윈도우 식별자를 나타내며 0∼7까지의 값을 가진다. "window ID" 필드의 값에 따라, 도 10에 도시된 코딩 포맷에서 첫 번째 바이트의 명령 코드는 '0x98' 내지 '0x9F'의 값을 가지며, 코드 스페이스에서 각각 DF0 (Define Window 0) 내지 DF7 (Define Window 7)로 약칭된다.
"priority" 필드는 윈도우의 표시 우선순위를 나타내며 0∼7까지의 값을 가진다낸다. 우선순위는 숫자가 작을수록 높으며, 우선순위가 높은 윈도우는 스크린 상에서 우선순위가 낮은 윈도우 위에 중첩되어 표시된다.
"anchor point (ap)" 필드는 스크린 상에서 윈도우의 위치 지정과, 폰트 사이즈 변경시 윈도우의 확장/축소의 기준점으로서 사용되는 윈도우 앵커 포인트의 ID이다.
"relative positioning (rp)" 플래그는 '1'로 설정되었을 때에는 "anchor vertical (av)" 및 "anchor horizontal (ah)" 필드의 좌표 값들이 물리적인 스크린 좌표가 아닌 상대좌표(즉, 백분율)로 표시됨을 나타낸다.
"anchor vertical (av)" 필드는 윈도우가 표시될 때 스크린 상에서 윈도우의 앵커 포인트의 수직 위치이다.
"anchor horizontal (ah)" 필드는 윈도우가 표시될 때 스크린 상에서 윈도우의 앵커 포인트의 수평 위치이다.
"row count (rc)" 필드는 윈도우 내에서의 텍스트 행의 개수이다.
"column count (cc)" 필드는 윈도우 내에서의 텍스트 열의 개수이다.
"row lock (rl)" 플래그는 '1'로 설정되었을 때에는 윈도우 내에 포함되는 캡션 텍스트 행의 수가 고정됨을 나타내고, '0'으로 설정되었을 때에는 사용자가 크기가 작은 폰트를 선택하는 경우 수신기가 윈도우 내에 행을 추가하는 것을 허용함을 나타낸다.
"column lock (cl)" 플래그는 '1'로 설정되었을 때에는 윈도우 내에 포함되는 캡션 텍스트 열의 수가 고정됨을 나타내고, '0'으로 설정되었을 때에는 사용자가 크기가 작은 폰트를 선택하는 경우 수신기가 윈도우 내에 열을 추가하는 것을 허용함을 나타낸다.
"visible (v)" 플래그는 '1'로 설정되었을 때에는 이 윈도우가 생성 직후 즉시 스크린에 표시되어야 함을 나타내고, '0'으로 설정되었을 때에는 이 윈도우가 생성 직후에 표시되지 않음을 나타낸다.
"window style ID (ws)" 필드는 윈도우가 생성될 때 윈도우에 사용할 7개의 미리 설정된 윈도우 속성 스타일 중 하나를 나타낸다. 이 윈도우 속성 스타일은 후술하는 SetWindowAttributes 명령에 의해 변경될 수 있다.
"pen style ID (ps)" 필드는 윈도우가 생성될 때 윈도우에 사용할 7개의 미리 설정된 펜 속성 스타일 중 하나를 나타낸다. 이 펜 속성 스타일은 후술하는 SetPenAttributes 명령에 의해 변경될 수 있다.
도 11은 3D 캡션 텍스트 박스를 구현하기 위하여 본 발명에 의해 도 10의 윈도우 정의(Define Window) 명령을 보완하여 추가적으로 도입되는 3D 박스 정의(Define 3D Box) 명령의 코딩 포맷의 일 실시예를 보여준다.
본 실시예에 있어서, 3D 박스 정의(Define 3D Box) 명령은 1 바이트 명령 코드와 3 바이트의 파라미터를 포함하여 총 4 바이트로 구성되고, 코드 스페이스에서 "D3B"로 약칭될 수 있다. 위에서 설명한 바와 같이, 3D 박스 정의(Define 3D Box) 명령은 윈도우 정의(Define Window) 명령을 이용해 정의된 윈도우에 대해 3D 특성을 부여하기 위한 명령어이며, 해당 캡션 텍스트 박스에 대한 3D 앵커 포인트 ID 정보와, 앵커 포인트의 z 축 방향의 위치, 3D 캡션 텍스트 박스의 z축 방향 크기를 알려준다. 윈도우 정의(Define Window) 명령에 의해 정의된 2D 특성은 3D 캡션 텍스트 박스의 상부면(top surface)의 특성에 반영된다.
"Anchor z-ID" 필드는 3D 캡션 텍스트 박스의 위치 지정과, 폰트 사이즈 변경시 3D 캡션 텍스트 박스의 확장/축소의 기준점으로서 사용되는 앵커 포인트의 z축 방향 ID를 나타낸다. "Anchor z-ID" 필드는 도 10의 윈도우 정의(Define Window) 명령에서의 "anchor point (ap)" 필드와 함께 디코딩되어 3D 캡션 텍스트 박스의 위치 지정과 3D 캡션 텍스트 박스의 확장/축소의 기준점을 나타낸다. 도 9에 도시된 바와 같이, "Anchor z-ID" 필드는 '0', '1', 또는 '2'의 값을 갖는다.
"anchor z-position" 필드는 3D 캡션 텍스트 박스의 앵커 포인트의 z 좌표를 나타낸다. 이 "anchor z-position" 필드는 도 10의 윈도우 정의(Define Window) 명령에서의 "anchor vertical (av)" 및 "anchor horizontal (ah)" 필드와 함께 디코딩되어, 3D 캡션 텍스트 박스의 앵커 포인트의 공간내 위치를 나타낸다. 바람직한 실시예에 있어서, 이 필드는 -128 ∼ 127 사이의 값을 가지며, 3D Display에서 물리적으로 출력될 때의 크기는 다음과 같이 계산된다.
Figure 112011051504898-pct00001
"3D box z-size" 필드는 3D 캡션 텍스트 박스의 z축 방향 크기를 나타낸다. 이 필드는 윈도우 정의(Define Window) 명령에서의 "row count (rc)" 및 "column count (cc)" 필드와 함께 3D 캡션 텍스트 박스의 3차원 크기를 나타내게 된다. "3D box z-size" 필드의 값은 상대적인 값으로 0∼128 사이의 값을 가지며 이 값을 이용해 실제 물리적으로 렌더링되는 3D 캡션 텍스트 박스의 실제 z축 방향 크기 값을 계산할 수 있다. 예컨대, 디스플레이 장치가 표현가능한 물리적인 깊이의 범위(Display가 표현할 수 있는 물리적인 z-size의 절대 크기)의 크기를 K라고 할 때, 3D 캡션 텍스트 박스가 출력될 때의 실제 크기는 다음과 같이 계산될 수 있다.
Figure 112011051504898-pct00002
도 12는 CEA-708-B 표준에 따른 윈도우 속성 설정(Set Window Attributes) 명령의 코딩 포맷을 보여준다. 윈도우 속성 설정 명령은 1 바이트 명령 코드와 4 바이트의 파라미터를 포함하여 총 5 바이트로 구성된다. 첫 번째 바이트의 명령 코드는 '0x18'의 값을 가지며, 코드 스페이스에서 SWA로 약칭된다.
"justify" 필드는 윈도우 내에 기입할 텍스트의 정렬 방식(왼쪽 정렬, 가운데 정렬, 오른쪽 정렬, 양쪽 정렬)을 명시한다.
"print direction" 필드는 윈도우 내에서 텍스트를 어느 방향으로 기입할지를 명시한다.
"scroll direction" 필드는 캡션라인의 끝에 도달했을 때 어느 방향으로 텍스트를 스크롤할지를 명시한다.
"wordwrap (ww)" 플래그는 '1'로 설정되었을 때에는 단어넘김이 인에이블됨을 나타내고, '0'으로 설정되었을 때에는 단어넘김이 디스에이블됨을 나타낸다.
"display effect" 필드는 윈도우가 표시될 때 그리고 윈도우가 감추어질 때 발생할 효과를 명시하며, '0', '1', 또는 '2'의 값을 갖는다. 이 필드가 '0'으로 설정되었을 때에는 윈도우가 숨겨질 때에는 사라졌다가 윈도우가 표시될 때에는 팝업되는 스냅(SNAP) 효과가 표출된다. 이 필드가 '1'로 설정되었을 때에는 아래의 "effect speed" 필드에 의해 정해지는 속도로 윈도우가 사라졌다 나타나는 FADE 효과가 표출된다. 이 필드가 '2'로 설정되었을 때에는 "effect speed" 필드에 의해 정해지는 속도로 그리고 "effect direction (ed)" 필드에 의해 정해지는 방향으로 윈도우가 지워졌다 나타나는 WIPE 효과가 표출된다.
"effect direction (ed)" 필드는 0∼3 범위의 값을 가지며, WIPE 효과가 표출되는 방향 즉, 좌에서우, 우에서좌, 상에서하, 하에서상 중 하나를 나타낸다.
"effect speed" 필드는 FADE 및 WIPE 효과가 표출되는 속도를 0.5초 단위로 나타낸다.
"fill color (fc)" 필드는 윈도우 즉, 3D 텍스트의 상부면(top face)의 색상을 나타내며, RGB 각각에 대하여 0∼3 범위의 값을 갖는다.
"fill opacity (fo)" 필드는 윈도우의 투명도를 나타낸다. 이 필드는 0∼3 범위의 값을 가지며, 그 값에 따라 '불투명(Solid)', '투명/불투명 번갈아표시하기(Flash)', '반투명(Translucent)', '투명(Transparent)'을 각각 나타낸다.
"border type (bt)" 필드는 0∼5 범위의 값을 가지며, 그 값에 따라 윈도우 외측 모서리의 형태 즉, '없음(None)', '양각(Raised)', '음각(Depressed)', '균일(Uniform)', '왼쪽 그림자(Shadow-Left)', '오른쪽 그림자(Shadow-Right)' 중 어느 하나를 나타낸다.
"border color (bc)" 필드는 윈도우 외측 모서리의 색상을 나타내며, RGB 각각에 대하여 0∼3 범위의 값을 갖는다. 본 발명에 의하여 윈도우가 3D 캡션 텍스트 박스로 표현되는 경우, 이 필드는 무시될 수 있다. 한편, 변형된 실시예에 있어서는, 이 필드가 후술하는 "side color (bc)" 필드를 대체하여 해석될 수도 있다.
도 13은 3D 캡션 텍스트 박스를 구현하기 위하여 본 발명에 의해 도 12의 윈도우 속성 설정(Set Window Attributes) 명령을 보완하여 추가적으로 도입되는 3D 박스 속성 설정(Set 3D Box Attributes) 명령의 코딩 포맷의 일 실시예를 보여준다.
본 실시예에 있어서, 3D 박스 속성 설정(Set 3D Box Attributes) 명령은 1 바이트 명령 코드와 4 바이트의 파라미터를 포함하여 총 5 바이트로 구성되고, 코드 스페이스에서 "S3B"로 약칭될 수 있다. 3D 박스 속성 설정(Set 3D Box Attributes) 명령은 윈도우 정의(Define Window) 명령과 3D 박스 정의(Define 3D Box) 명령을 이용해 정의된 3D 캡션 텍스트 박스에 대하여 윈도우 속성 설정(Set Window Attributes) 명령을 보완하여 입체적 스타일을 정의하기 위한 명령이며, 3D 캡션 텍스트 박스의 수평방향 및 수직 방향 스큐 정보와, 측면(side face)에 대한 색상 및 투명도를 알려준다.
"top style" 필드는 3D 텍스트의 상부면(top face) 쪽의 스타일을 지정하며, 균일 평면(UNIFORM), 라운딩(Rounded) 등에 상응하는 값을 가질 수 있다.
"side color" 필드는 3D 캡션 텍스트 박스의 측면의 색상을 나타내며, RGB 각각에 대하여 0∼3 범위의 값을 갖는다. 따라서, "side color" 필드는 총 64개의 색상을 표현할 수 있다.
"side opacity" 필드는 3D 캡션 텍스트 박스의 측면의 투명도를 나타낸다. 이 필드는 0∼3 범위의 값을 가지며, 그 값에 따라 '불투명(Solid)', '투명/불투명 번갈아표시하기(Flash)', '반투명(Translucent)', '투명(Transparent)'을 각각 나타낸다. "side opacity" 필드가 '불투명(Solid)'을 나타내는 경우에는, 2D 텍스트가 불투명 3D 캡션 텍스트 박스의 상부면에 표시되고, 텍스트의 측면은 표시되지 아니한다. 이때, 캡션 텍스트 박스의 상부면의 속성은 윈도우 속성 설정(Set Window Attributes) 명령에 의해 주어지고, 측면의 속성은 3D 박스 속성 설정(Set 3D Box Attributes) 명령에 의해 주어진다. "side opacity" 필드가 '반투명(Translucent)'을 나타내는 경우에는, 3D 캡션 텍스트 박스의 측면은 반투명 상태로 표시된다. 3D 캡션 텍스트 박스의 내부에 있는 3D 텍스트의 측면은 반투명한 표면을 통해서 보여질 수 있는데, 이때 문자의 측면 색상은 3D 캡션 텍스트 박스의 반투명 표면의 색상에 의해 필터링이 될 수 있다. "side opacity" 필드가 '투명(Transparent)'을 나타내는 경우에는, 3D 텍스트가 표시되는데, 이때 문자의 측면도 선명하게 표시된다. 이와 같은 "side opacity" 필드는 3D 텍스트의 상부면(top face)에 대한 "fill opacity (fo)" 값과 연동될 수도 될 수도 있다.
한편, "horizontal skew factor" 필드는 수평방향 방향 스큐(skew) 즉, 틸트(tilt) 값을 나타내고, "vertical skew factor" 필드는 수직방향 방향 틸트 값을 나타낸다.
도 14는 CEA-708-B 표준에 따른 펜 색상 설정(Set Pen Color) 명령의 코딩 포맷을 보여준다. 윈도우 속성 설정 명령은 1 바이트 명령 코드와 3 바이트의 파라미터를 포함하여 총 4 바이트로 구성된다. 첫 번째 바이트의 명령 코드는 '0x91'의 값을 가지며, 코드 스페이스에서 SPC로 약칭된다.
"fg color" 필드는 텍스트 전면의 색상을 나타내며, RGB 각각에 대하여 0∼3 범위의 값을 갖는다.
"fg opacity (fo)" 필드는 텍스트 전면의 투명도를 나타낸다. 이 필드는 0∼3 범위의 값을 가지며, 그 값에 따라 '불투명(Solid)', '투명/불투명 번갈아표시하기(Flash)', '반투명(Translucent)', '투명(Transparent)'을 각각 나타낸다.
"bg color" 필드는 텍스트의 배경 색상을 나타내며, RGB 각각에 대하여 0∼3 범위의 값을 갖는다.
"bg opacity (bo)" 필드는 텍스트 배경의 투명도를 나타낸다. 이 필드는 0∼3 범위의 값을 가지며, 그 값에 따라 '불투명(Solid)', '투명/불투명 번갈아표시하기(Flash)', '반투명(Translucent)', '투명(Transparent)'을 각각 나타낸다.
"edge color" 필드는 텍스트의 테두리의 색상을 나타내며, RGB 각각에 대하여 0∼3 범위의 값을 갖는다. 본 발명에 의하여 텍스트가 3D 텍스트로 표현되는 경우, 이 필드는 무시될 수도 있다.
도 15는 3D 텍스트를 구현하기 위하여 본 발명에 의해 도 14의 펜 색상 설정(Set Pen Color) 명령을 보완하여 추가적으로 도입되는 3D 펜 색상 설정(Set 3D Pen Color) 명령의 코딩 포맷의 일 실시예를 보여준다. 본 실시예에 있어서, 3D 펜 색상 설정(Set 3D Pen Color) 명령은 1 바이트 명령 코드와 1 바이트의 파라미터를 포함하여 총 2 바이트로 구성되고, 코드 스페이스에서 "S3P"로 약칭될 수 있다. 이 3D 펜 색상 설정(Set 3D Pen Color) 명령은 펜 색상 설정(Set Pen Color) 명령과 함께 3D 텍스트의 색상을 정의하며, 3D 텍스트의 측면 투명도와 측면 색상을 알려준다.
"side opacity (so)" 필드는 3D 텍스트 측면의 투명도를 나타낸다. 이 필드는 0∼3 범위의 값을 가지며, 그 값에 따라 '불투명(Solid)', '투명/불투명 번갈아표시하기(Flash)', '반투명(Translucent)', '투명(Transparent)'을 각각 나타낸다.
"side color" 필드는 3D 텍스트의 측면의 색상을 나타내며, RGB 각각에 대하여 0∼3 범위의 값을 갖는다.
도 16은, 바람직한 실시예에 있어서, 3D 박스 정의(Define 3D Box) 명령, 3D 박스 속성 설정(Set 3D Box Attributes) 명령, 및 3D 펜 색상 설정(Set 3D Pen Color) 명령의 코드 스페이스 내에서의 위치를 보여준다.
도 5에 도시된 CEA-708-B 표준에 따른 코드 스페이스에 있어서, 캡션 제어 코드는 C1 영역에 배치되어 있다. 만약, 이 코드 셋 이외에 추가적인 명령이 필요한 경우에는 C2 영역 또는 C3영역의 유보된 스페이스를 사용할 수 있다. C2 영역의 코드 셋은 "0x00"∼"0x1F"까지의 32개 코드를 포함하며, "0x10" (즉, 'EXT1' 코드)를 접두어로 사용함으로써 어드레싱할 수 있다. 이와 같은 C2 영역의 코드 셋 중에서, "0x00"∼"0x07"까지의 코드는 1 바이트 코드(즉, 추가적인 바이트가 없음)로 사용될 수 있고, "0x08"∼"0x0F"까지의 코드는 2 바이트 코드(즉, 추가적인 바이트가 1 바이트)로 사용될 수 있으며, "0x10"∼"0x17"까지의 코드는 3 바이트 코드(즉, 추가적인 바이트가 2 바이트)로 사용될 수 있고, "0x18"∼"0x1F"까지의 코드는 4 바이트 코드(즉, 추가적인 바이트가 3 바이트)로 사용될 수 있도록 할당되어 있다. 한편, C3 영역의 코드 셋은 "0x80"∼"0x9F"까지의 32개 코드를 포함하며, "0x10" (즉, 'EXT1' 코드)를 접두어로 사용함으로써 어드레싱할 수 있다. 이와 같은 C3 영역의 코드 셋 중에서, "0x80"∼"0x87"까지의 코드는 5 바이트 코드(즉, 추가적인 바이트가 4 바이트)로 사용될 수 있고, "0x88"∼"0x8F"까지의 코드는 6 바이트 코드(즉, 추가적인 바이트가 5 바이트)로 사용될 수 있으며, "0x90"∼"0x9F"까지의 코드는 가변장 캡션 코드로 사용될 수 있도록 할당되어 있다.
위에서 설명한 실시예에 있어서, 3D 박스 정의(Define 3D Box: D3B) 명령은 접두어 즉, 'EXT1' 코드를 제외하고 총 4 바이트로 구성되는 명령이며, 따라서 "0x18"∼"0x1F"까지의 코드 중 어느 하나에 맵핑하여 사용할 수 있다. 바람직한 실시예에서는, 3D 박스 정의(D3B) 명령을 "0x18"의 위치에 맵핑하여 사용한다.
한편, 3D 박스 속성 설정(Set 3D Box Attributes: S3B) 명령은 5 바이트 명령이며, 따라서 "0x80"∼"0x87"까지의 코드 중 어느 하나에 맵핑하여 사용할 수 있다. 바람직한 실시예에서는, 3D 속성 설정(S3B) 명령을 "0x80"의 위치에 맵핑하여 사용한다.
다른 한편으로, 3D 펜 색상 설정(Set 3D Pen Color: S3P) 명령은 2 바이트 명령이며, 따라서 "0x08"∼"0x0F"까지의 코드 중 어느 하나에 맵핑하여 사용할 수 있다. 바람직한 실시예에서는, 3D 펜 색상 설정(S3B) 명령을 "0x08"의 위치에 맵핑하여 사용한다.
방송 시스템 및 텔레비전 수신기
도 17은 본 발명에 의한 방송 시스템의 일 실시예를 보여준다. 도시된 시스템은 양안식 카메라(100), 전처리부(102), 프로그램 부호화부(104), 제어부(112), 트랜스포트 다중화부(120), 채널부호화 및 변조부(122), 그리고 송신부(124)를 포함한다.
양안식 카메라(100)는 2개의 렌즈들과 이에 상응한 촬상소자들을 구비하며, 전방 장면에 대한 2차원 영상을 쌍으로 촬상한다. 상기 2개의 렌즈들과 촬상소자들은 사람의 눈과 마찬가지로 거리가 65 밀리미터(mm)가 되도록 배치되어 있으며, 이에 따라 카메라(100)는 양안 시차를 갖는 2개의 2차원 영상을 획득하게 된다. 이하의 설명에서는, 스테레오스코픽 이미지 쌍을 구성하는 2개의 2차원 영상 중 좌측 렌즈에 의해 획득된 영상을 좌영상, 우측 렌즈에 의해 획득된 영상을 우영상이라 칭하기로 한다.
전처리부(102)는 카메라(100)가 획득한 좌우 원본영상에 존재할 수 있는 노이즈를 제거하고, 영상을 교정하며, 휘도 성분의 불일치(imbalancing) 현상을 해결한다. 전처리부(102)에 의한 전처리 전후에 영상이 저장장치에 저장되거나 편집될 수 있으며, 이에 따라 카메라(100)에 의한 촬상과 프로그램 부호화부(110)에 의한 부호화 사이에 상당한 시차가 존재할 수 있음은 물론이다.
프로그램 부호화부(104)에 있어서, 음성 부호화부(106)는 촬영 현장에서 적절한 위치에 각각 설치되는 복수의 마이크(미도시됨)로부터 음성 신호를 받아들이고, 사전에 정해진 표준 예컨대 AC-3 표준에 맞게 부호화하여, 오디오 엘리멘터리 스트림(ES)을 생성한다.
영상 부호화부(108)는 카메라(100)가 획득한 영상을 일정한 표준에 따라 부호화하여, 시간적, 공간적 중복도를 제거하여 압축하고 비디오 엘리멘터리 스트림(ES)을 생성한다. 영상 부호화부(108)는 유저 데이터 삽입부(116)로부터 유저 데이터를 받아들이고 이를 픽쳐 헤더 영역에 포함시켜 부호화한다. 상기 유저 데이터에는 클로우즈드 캡션 데이터가 포함되며, 상기 클로우즈드 캡션 데이터에는 캡션 텍스트 이외에 캡션 텍스트의 디스플레이 제어를 위한 제어 코드들이 포함된다. 특히 본 발명에 따르면, 상기 제어 코드에는 윈도우 정의(Define Window: DFx) 명령, 윈도우 속성 설정(Set Window Attributes: SWA) 명령, 펜 색상 설정(Set Pen Color: SPC) 명령 등 2차원 캡션 제어 코드 이외에, 이들을 보완하여 3D 캡션을 구현하기 위한 명령 즉, 3D 박스 정의(Define 3D Box: D3B) 명령, 3D 박스 속성 설정(Set 3D Box Attributes: S3B) 명령, 3D 펜 색상 설정(Set 3D Pen Color: S3P) 명령 등이 포함될 수 있다.
일 실시예에 있어서, 영상 부호화부(108)는 ISO/IEC 13818-2의 MPEG-2 표준과 A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따라 영상신호를 부호화한다. 그렇지만, 영상 부호화부(108)가 ISO/IEC JTC1/SC29/WG11과 ITU-T SG16 Q.6의 Joint Video Team(JVT)이 드래프팅하고 있는 H.264/AVC 표준에 따라서 또는 그 밖의 다른 방식으로 영상을 부호화할 수도 있다.
패킷생성부(110)는 음성 부호화부(106) 및 영상 부호화부(108)로부터 오디오 ES와 비디오 ES를 각각 받아들이고, 각 스트림을 패킷화하여 패킷화된 엘리멘터리 스트림(PES)을 생성한다.
제어부(112)는 캡션 데이터 발생부(114), 유저 데이터 삽입부(116), 및 PSI/PSIP 발생부(118)를 포함하며, 시스템의 전반적인 동작을 제어하고, 영상신호의 부호화에 필요한 유저 데이터와 프로그램 사양 정보(PSI) 및 프로그램 및 시스템 정보 프로토콜(PSIP) 데이터를 발생한다.
캡션 데이터 발생부(114)는 외부의 워크스테이션으로부터 네트웍 또는 기록매체를 통해서 타임 코딩된 캡션 데이터를 받아들이고, 도 3에 도시된 캡션 채널 패킷으로 패킷화하여 출력한다. 아울러, 캡션 데이터 발생부(114)는 캡션 서비스 디스크립터를 생성하는데 사용할 캡션 서비스 정보를 발생한다.
유저 데이터 삽입부(116)는 영상 부호화부(108)가 영상 신호를 부호화함에 있어서 시퀀스 레벨, GOP 레벨, 또는 픽쳐 레벨에서 삽입하게 될 확장 데이터 및 유저 데이터를 영상 부호화부(108)에 제공한다. 특히, 유저 데이터 삽입부(116)는 캡션 데이터 발생부(114)로부터의 캡션 채널 패킷을 유저 데이터의 한 종류로써 영상 부호화부(108)에 제공함으로써, 영상 부호화부(108)가 픽쳐 헤더 내에 캡션 채널 패킷을 포함시켜 영상 신호를 부호화하도록 하게 된다. 스테레오스코픽 3차원 영상을 구현하기 위한 좌영상 및 우영상을 전송함에 있어서는 두 영상 중 어느 하나를 기본 뷰(Base View)로 지정하고 나머지 하나는 확장 뷰(Extended View)로 지정하여 송출할 수 있는데, 본 실시예에 있어서 캡션 채널 패킷은 기본 뷰를 기준으로 생성되어 송출된다.
PSI/PSIP 발생부(118)는 PSI/PSIP 데이터를 발생한다. PSIP 내에 있는 프로그램 맵핑 테이블(PMT) 또는 이벤트 정보 테이블(EIT)에는 캡션 서비스 정보를 기술하기 위한 캡션 서비스 디스크립터(Caption Service Descriptor)가 포함된다. 캡션 서비스 디스크립터는 클로우즈드 캡션에 대한 시그널링 정보를 제공하기 위한 디스크립터로서, 클로우즈드 캡션의 종류(즉, NTSC 방식의 라인-21 클로우즈드 캡션 서비스 또는 디지털TV 클로우즈드 캡션 서비스), 캡션 언어 등의 정보를 수신기에게 알려준다.
트랜스포트 다중화부(120)는 PES와 PSI/PSIP 정보를 다중화하고 헤더를 부가하여 트랜스포트 스트림(TS)를 생성한다. 한편, 도 1의 시스템은 지상파를 통해 하나의 채널을 전송하지만, 예컨대 케이블망 또는 위성망을 통해 방송신호를 송출하는 시스템에 있어서는 복수 채널의 방송신호를 다중화하여 다중 프로그램 TS를 생성하는 별도의 전송 멀티플렉서가 추가적으로 마련될 수도 있다. 채널부호화 및 변조부(122)는 전송 채널에서 잡음으로 인하여 야기될 수 있는 오류를 수신기에서 검출하고 정정할 수 있도록 TS를 에러정정부호화한다. 아울러, 채널부호화 및 변조부(122)는 에러정정부호화된 TS를 시스템이 채택하고 있는 변조방식 예컨대 8-VSB 변조방식에 의해 변조한다. 송신부(124)는 변조된 방송신호를 채널 특성에 맞게 예컨대 안테나를 통해 송출하게 된다.
도 18 및 도 19를 참조하여 도 17의 시스템이 클로우즈드 캡션 정보를 전송하는 시그널링 데이터 구조를 구체적으로 설명한다.
ISO/IEC 13818-2의 MPEG-2 표준과 A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따르면, 비디오 시퀀스, GOP 또는 픽쳐 레벨에서, 헤더에 확장 데이터 또는 유저 데이터를 정의하기 위한 extension_and_user_data() 구조가 삽입될 수 있다. 본 발명의 바람직한 실시예에 있어서, 클로우즈드 캡션 데이터는 픽쳐 레벨에서 즉, 비디오 ES에서 픽쳐 헤더에 뒤이어 배치될 수 있는 extension_and_user_data() 내에서, 유저 데이터(Picture User Data)로서 포함되어 전송된다.
도 18의 첫 번째 테이블에는 픽쳐 확장 및 유저 데이터(Picture Extension and User Data) 구문이 표시되어 있다. 구문 명칭에 해당하는 extension_and_userdata(2)에서 괄호 안에 있는 숫자 '2'는 이 구문이 픽쳐 레벨에 있다는 것을 의미한다. 'do while' 문장의 실행 조건에서 보듯이, 픽쳐 헤더 내에서 다음에 나타나는 비트들이 extension_start_code 또는 user_data_start_code인 경우, 그 이하의 비트열들은 extension_and_user_data(2) 구조를 나타내게 된다. 이에 따라 수신기는 extension_start_code 또는 user_data_start_code를 뒤따르는 비트열을 각각 extension_data(2) 또는 user_data()로 인식하게 된다.
도 18의 두 번째 테이블에 표시된 바와 같이, 픽쳐 유저 데이터 user_data()는 "user_data_start_code"와 "user_data_identifier" 필드를 포함하며, 이 필드들에는 user_structure()가 뒤따르게 된다. "user_data_start_code"의 값은 ISO/IEC 13818-2 표준에 의하여 '0x0000 01B2'로 정해져 있다. "user_data_identifier" 필드는 user_structure()의 구문과 의미를 나타내는 32비트 코드로서, ISO/IEC 13818-1 표준에서 정의된 바에 따라 "format_identifier"의 값으로 정해지게 되는데, 본 발명과 같이 ATSC_user_data()의 경우 '0x4741 3934'의 값으로 정해진다.
user_structure()는 상기 "user_data_identifier" 필드에 의하여 정의되는 가변장 데이터 구조로서, 도 18의 세 번째 테이블에 표시된 바와 같이 "user_data_type_code"와 user_data_type_structure()를 포함한다. "user_data_type_code"는 ATSC 유저 데이터의 종류를 나타내는 8비트 값으로서, '0x03'의 값을 가질 때 클로우즈드 캡션 데이터를 나타낸다. 클로우즈드 캡션 데이터 cc_data()의 구문은 도 2에 도시된 바와 같다.
이와 같이, 바람직한 실시예에 따르면 스테레오스코픽 이미지 쌍을 구성하는 두 개의 2차원 영상이 MPEG-2 표준에 의해 부호화되고, 클로우즈드 캡션데이터는 유저 데이터로써 비디오 ES에서의 픽쳐 헤더에 포함된다. 그렇지만, 영상이 다른 부호화 기법, 예컨대 (ISO/IEC JTC1/SC29/WG11과 ITU-T SG16 Q.6의 Joint Video Team(JVT)이 드래프팅하고 있는 H.264/AVC 표준에 따라서 부호화될 수도 있다. 이와 같이 영상이 H.264/AVC 표준에 따라 부호화되는 경우에는, 클로우즈드 캡션 데이터가 SEI(Supplemental Enhancement Information) 영역에 포함되어 전송될 수 있다.
도 19는 이와 같이 스테레오스코픽 이미지 쌍이 H.264/AVC 표준에 의해 부호화되는 변형된 실시예에서 클로우즈드 캡션 데이터를 전송하기에 적합한 SEI RBSP Payload 비트스트림의 구문을 보여준다. 도시된 구문에서, "itu_t_t35_country_code"는 ITU-T T35의 Annex A에 정의되어 있는 8비트의 국가 코드로서, 한국의 경우 '0x61' 값을 가진다. "itu_t_t35_provider_code"는 0x0031' 값을 가지는 16비트 코드이다. "user_identifier"는 32비트 코드로서, '0x4741 3934' 값을 사용하여 user_structure()의 구문구조가 ATSC A/53에서 정의한 것임을 나타낼 수 있다. 이와 같은 경우 user_structure()는 ATSC 디지털텔레비전 표준 즉, A/53 Part 4 Section 6.2.3에서 정의한 바와 동일한 방식으로 사용할 수 있다. 따라서, 도 18의 세 번째 테이블에 있는 유저 데이터 구문과 도 2의 클로우즈드 캡션 구문에 의하여, 클로우즈드 캡션 데이터를 표시할 수 있게 된다.
한편, 픽쳐 유저 데이터 내에서 부호화되어 전송되는 캡션 서비스에 대하여 그 유형과 속성을 기술하는 캡션 서비스 정보가 캡션 데이터와 별도로 수신기에 송출된다. 본 실시예에 있어서, 이 캡션 서비스 정보는 ATSC A/65 표준에 부합되도록 생성되고, 캡션 서비스 디스크립터(Caption Service Descriptor)에 포함되어 MPEG-2 전송 스트림의 이벤트 정보 테이블(EIT)를 통해 전송된다.
도 20은 EIT에 포함되는 캡션 서비스 디스크립터의 비트스트림 구문을 보여준다. 일반적으로, 캡션 서비스 디스크립터는 클로우즈드 캡션에 대한 시그널링 정보를 제공하기 위한 디스크립터로서, 클로우즈드 캡션의 종류(즉, NTSC 방식의 라인-21 클로우즈드 캡션 서비스 또는 디지털TV 클로우즈드 캡션 서비스), 캡션 언어 등의 정보를 전송하는데 사용된다.
"descriptor_tag" 필드는 디스크립터의 종류를 나타내는 8비트 필드로서, 캡션 서비스 디스크립터의 경우 '0x86'의 값을 갖는다. "descriptor_length" 필드는 디스크립터 내에서 이 필드 이후의 바이트 수를 나타내는 카운팅 값이다. "number_of_services" 필드는 EIT 이벤트에 존재하는 클로우즈드 캡션 서비스의 수를 나타내는 1에서 16까지의 범위 내에 있는 5비트 정수이다.
'for' 루프 내에서 반복되는 프로세스들 각각은 9600 bps의 클로우즈드 캡션 스트림 내에서 하나의 서브스트림으로 존재하는 하나의 클로우즈드 캡션 서비스를 정의한다. 각 반복 프로세스는 서비스의 언어, 속성, 그리고 관련 캡션 서비스 번호를 제공한다. "language" 필드는 클로우즈드 캡션 서비스에 관한 언어를 나타내는 3바이트 언어 코드로서, ISO 639.2/B 표준에 따라 3문자 코드값을 가진다. "digital_cc" 필드가 클리어되어 있을 때 이 필드는 아무런 의미도 갖지 않는다. "digital_cc" 필드는 '1'로 설정되었을 때 디지털TV 클로우즈드 캡션 서비스가 존재함을 나타내고, 클리어되어 있을 때에는 NTSC 방식의 라인-21 클로우즈드 캡션 서비스가 존재함을 나타낸다. "line21_field" 필드는 사용임 면제된 것으로서, '1'로 설정되든 클리어되든 관계가 없다. "caption_service_number" 필드는 'for' 루프 내에서 현재의 반복 프로세스 내에서 정의되는 문자 및 속성과 관련된 클로우즈드 캡션 스트림 내의 캡션 서비스 번호를 식별하는 0에서 63의 범위 내에 있는 6비트 정수값이다. 이 필드는 "digital_cc" 필드가 디지털TV 클로우즈드 캡션 서비스를 나타내는 경우에만 정의된다. 예컨대, "caption_service_number" 필드가 '0'이면 주 캡션 서비스(Primary Caption Service)를 나타내고, '1'이면 2차 캡션 서비스(Secondary Caption Service)를 나타낸다. "easy_reader" 필드는 '1'로 설정되었을 때 클로우즈드 캡션 서비스가 초보사용자의 니즈에 맞추어 읽기 쉽게 가다듬어져 있음을 나타내는 논리 플래그이다. 이 필드가 클리어되어 있을 때에는 클로우즈드 캡션 서비스가 가다듬어져 있지 않음을 나타낸다. 이 필드는 "digital_cc" 필드가 클리어되었을 때에는 아무런 의미도 갖지 않는다. "wide_aspect_ratio" 필드는 '1'로 설정되었을 때 클로우즈드 캡션 서비스가 16:9의 화면비로 표시할 수 있게 포맷팅되어 있음을 나타내고, 클리어되어 있을 때에는 4:3의 화면비로 표시할 수 있게 포맷팅되어 있음을 나타내는 논리 플래그이다. 이 필드는 "digital_cc" 필드가 클리어되었을 때에는 아무런 의미도 갖지 않는다.
한편, 도면에는 도시되지 않았지만, 캡션 서비스 디스크립터는 3D 캡션을 지원하기 위한 파라미터(이하, "3D 캡션 관련 정보"라 함)를 추가적으로 포함할 수도 있다. 상기 3D 캡션 관련 정보는, 예컨대, 기본 뷰에서의 캡션 표시위치를 토대로 확장 뷰에서의 캡션 표시위치를 결정하는데 사용할 수평시차 데이터가 될 수 있다.
도 21은 본 발명에 의한 텔레비전 수신기의 일 실시예를 보여준다. 본 실시예에 따른 텔레비전 수신기는 공중파 방송신호를 수신하여 영상을 재생하기에 적합한 것이다.
튜너(200)는 안테나(미도시됨)를 통해 입력되는 다수의 방송신호들 중에서 사용자가 선국한 어느 한 채널의 방송신호를 선택하여 출력한다. 복조 및 채널복호화부(202)는 튜너(200)로부터의 방송신호를 복조하고 복조된 신호에 대하여 에러정정복호화를 수행하여 트랜스포트 스트림(TS)를 출력한다. 트랜스포트 역다중화부(204)는 TS를 역다중화하여, 비디오 ES와 오디오 ES를 분리하고, PSI/PSIP 정보를 추출해낸다.
음성복호화부(208)는 오디오 ES를 복호화하여 디지털 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시됨)에 의해 아날로그 오디오 신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다. 영상복호화부(210)는 비디오 ES를 파싱하여 확장/유저 데이터와 MPEG-2 비디오 비트스트림을 추출하고, 상기 확장/유저 데이터로부터 캡션 데이터 cc_data()를 추출하여 캡션 복호화부(216)에 제공한다. 그리고, 영상복호화부(210)는 MPEG-2 비디오 비트스트림을 복호화하여 스테레오스코픽 3D 영상을 구현하기 위한 좌영상 신호와 우영상 신호를 출력한다. 음성복호화부(208) 및 영상복호화부(210)의 복호화 과정은 PSI/PSIP 처리부(214)에 의해 확인되는 패킷 ID(PID)를 토대로 진행될 수 있다.
상기 PSI/PSIP 처리부(214)는 트랜스포트 역다중화부(204)로부터의 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리(미도시됨) 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송이 재생되도록 한다. 수신기가 수신하는 PSIP의 EIT에는 캡션 서비스의 유형과 속성을 기술하는 캡션 서비스 정보가 캡션서비스 디스크립터 형태로 포함되어 있으며, PSI/PSIP 처리부(214)는 이 캡션 서비스 정보를 추출함으로써 캡션 복호화부(216)가 캡션 데이터를 복호화할 때 이를 활용할 수 있게 해준다. 그렇지만, 변형된 실시예에 있어서는, 상기 캡션 서비스 정보가 캡션 복호화부(216) 대신에 그래픽 엔진(218)에 의해 활용될 수도 있고, 캡션 복호화부(216)와 그래픽 엔진(218) 모두에 의해 활용될 수도 있다.
상기 캡션 복호화부(216)는 PSI/PSIP 처리부(214)로부터 캡션 서비스 정보를 받아들이는 한편, 영상복호화부(210)로부터 캡션 데이터 cc_data()를 받아들이고 이를 축적한다. 캡션 복호화기(216)는 PSI/PSIP 처리부(214)로부터의 캡션 서비스 정보를 토대로 캡션 데이터 cc_data()의 패킷을 해제하여 패킷 데이터를 복원하고, 각 서비스에 대하여 서비스 블록 데이터를 복원한다. 그 다음, 캡션 복호화부(216)는 도 16의 코드 스페이스 배치에 따른 코드북에 따라서 서비스 블록 데이터를 복호화하고 해석한다. 특히, 본 발명에 따르면, 캡션 복호화부(216)는 서비스 블록 데이터를 순차적으로 복호화하면서, 윈도우 정의(Define Window) 명령, 3D 박스 정의(Define 3D Box) 명령, 윈도우 속성 설정(Set Window Attributes) 명령, 3D 박스 속성 설정(Set 3D Box Attributes) 명령, 펜 색상 설정(Set Pen Color) 명령 및 3D 펜 색상 설정(Set 3D Pen Color) 명령을 복호화한다. 캡션 복호화부(216)는 복호화된 3D 캡션 박스 정보 및 캡션 텍스트 정보를 그래픽 엔진(218)에 제공한다. 한편, 변형된 실시예에 있어서는, 캡션 복호화부(216)가 상기 명령들의 파라미터 중 전부 또는 일부를 그래픽 엔진(218)에 제공하여 그래픽 엔진(218)이 활용하게 할 수도 있다.
그래픽 엔진(218)은 캡션 복호화부(216)로부터 3D 캡션 박스 및 캡션 텍스트 정보를 받아들이고, 이를 토대로 3D 렌더링을 수행하여 기본 뷰 및 확장 뷰에 대한 캡션 비트맵을 OSD 신호 형태로 발생한다. 여기서, 기본 뷰는 좌영상이 될 수 있고, 확장 뷰는 우영상이 될 수 있다. 3D 렌더링 작업은 기존의 3차원 렌더링 기법 또는 향후에 제시될 수 있는 기법 중 어느 하나를 사용하여 또는 이들 기법을 복합적으로 사용하여 구현될 수 있으며, 본 발명이 속하는 기술분야의 당업자가 본 명세서를 토대로 용이하게 구현할 수 있으므로 이에 대한 자세한 설명은 생략한다.
믹서(220)는 영상 복호화부(210)로부터의 좌우 방송 영상신호에 그래픽 엔진(218)으로부터의 좌우 클로우즈드 캡션 OSD 영상 신호를 믹싱한다. 포맷터(222)는 캡션 비트맵이 중첩된 좌우영상 신호에 대하여 프레임 타임을 비교하면서, 시간적으로 일치하는 좌우영상이 쌍을 이루어 표시면(224)에 표시되도록 포맷팅한다. 이에 따라, 표시면(224)에는 포맷팅된 3D 영상 위에 3D 클로우즈드 캡션이 복원되어 출력된다.
도 22를 참조하여, 도 21에 도시된 텔레비전 수신기에서 클로우즈드 캡션 정보를 추출하여 3D 클로우즈드 캡션을 표시하는 과정을 구체적으로 설명한다.
먼저, PSI/PSIP 처리부(214)는 PSIP을 파싱하여 패킷 ID(PID) 및 테이블 ID를 토대로 매스터 가이트 테이블(MGT; "PID"='0x1FFB', "table_ID"='0xC7')를 추출하고, MGT에서 EIT에 대한 PID 정보를 획득한다. 그 다음, PSI/PSIP 처리부(214)는 획득한 PID를 갖는 TP를 읽어서 EIT("table_ID"='0xC7')를 추출한다. 이어서, PSI/PSIP 처리부(214)는 이벤트 정보 테이블(EIT)를 파싱하여, EIT 내에 있는 각 이벤트에 대하여 도 20에 도시된 캡션 서비스 디스크립터를 검출한다.
이어서, 영상복호화부(210)는 비디오 ES를 파싱하여 헤더와 확장/유저 데이터를 추출한 후에, 픽쳐 헤더 내에 있는 extension_and_user_data(2)를 복호화하여 픽쳐 유저 데이터 user_data()를 추출한다(제250단계). 한편, 비디오 ES가 H.264/AVC 표준에 의하여 부호화되어 있는 변형된 실시예에 있어서는, 이 단계에서 SEI(Supplemental Enhancement Information) 영역이 복호화된다. 즉, 영상 구문분석부(210)는 AVC NAL unit을 파싱하여, "nal_unit_type" 값이 '6'인 SEI 데이터를 추출하고, "payloadType"의 값이 '4'인 인 user_data_registered_itu_t_t35() 메시지를 읽는다.
이어서, 영상복호화부(210)는 픽쳐 유저 데이터 user_data()에서 "user_data_identifier" 값이 '0x4741 3934'인 ATSC_user_data()를 검출한다. 그리고, 영상 구문분석부(210)는 ATSC_user_data()에서 "user_data_type_code"가 '0x04'인 user_data_type_structure()를 추출한다. 그 다음, 영상복호화부(210)는 user_data_type_structure()로부터 cc_data()를 추출하고, cc_data()를 통해 수신되는 캡션 데이터의 바이트 쌍(cc_data1, cc_data2)을 캡션 복호화부(216)에 제공한다(제252단계).
캡션 복호화부(216)는 cc_data()를 통해 수신되는 캡션 데이터 바이트 쌍을 축적하면서, PSI/PSIP 처리부(214)로부터의 캡션 서비스 정보를 토대로 캡션 데이터를 복호화하고 해석한다. 특히, 본 발명에 따르면, 캡션 복호화부(216)는 서비스 블록 데이터를 순차적으로 복호화하면서, 윈도우 정의(Define Window) 명령, 윈도우 속성 설정(Set Window Attributes) 명령, 3D 박스 정의(Define 3D Box) 명령, 3D 박스 속성 설정(Set 3D Box Attributes) 명령, 펜 색상 설정(Set Pen Color) 명령 및 3D 펜 색상 설정(Set 3D Pen Color) 명령을 복호화한다(제254단계).
그래픽 엔진(418)은 캡션 복호화부(216)로부터 3D 캡션 박스 및 캡션 정보를 받아들이고, 이를 토대로 3D 렌더링을 수행하여 기본 뷰 및 확장 뷰에 대한 캡션 비트맵 영상을 발생한다(제256단계). 발생된 캡션 비트맵 영상은 방송 영상신호에 믹싱되고, 포맷팅되어 출력된다(제258단계).
본 발명은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다양한 방식으로 변형될 수 있고 다른 구체적인 형태로 실시될 수 있다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
산업상 이용가능성
위에서 설명한 바와 같이, 본 발명에 따르면 텔레비전 수신기에서 3차원 렌더링에 소요되는 연산 부담을 현저하게 증가시키지 않으면서, 3D 영상에 부합되도록 클로우즈드 캡션을 입체감있게 표시할 수 있게 된다. 이에 따라 클로우즈드 캡션의 효용과 매력이 현저하게 증가될 수 있다. 아울러, 기존의 캡션 신호 송수신 방법에 추가적인 파라미터를 보충적으로 부가하여 구현되기 때문에, 기존 표준과의 양립성이 확보된다는 장점이 있다.
본 발명은 3차원 영상 표시능력이 있고 클로우즈드 캡션 표시 기능이 요구되는 모든 디스플레이 장치에 적용될 수 있다. 특히, 본 발명은 듀얼 방식 디스플레이나 시순차방식 디스플레이 등 포맷팅 형식에 관계없이 스테레오스코픽 디스플레이 장치에 특히 유용하게 적용할 수 있다.

Claims (11)

  1. 3차원 영상을 표시하기 위한 영상신호를 마련하는 단계;
    코드 스페이스(code space)에 기초한 3차원 캡션 데이터 내에 3차원 캡션 정보 및 캡션 텍스트를 생성하는 단계,
    상기 3차원 캡션 데이터는 3차원 캡션 정보 및 캡션 텍스트를 포함하고,
    상기 캡션 데이터는 픽쳐 유저 데이터에 부호화 되며, 상기 픽쳐 유저 데이터는 시퀀스 레벨, GOP 레벨 및 픽쳐 레벨 중 어느 하나에 삽입되어 있으며;
    상기 3차원 캡션 정보와 상기 캡션 텍스트를 비디오 픽쳐 헤더 영역에 삽입하여, 상기 3차원 캡션 정보 및 상기 캡션 텍스트를 이용하여, 3차원 디스플레이 장치에서 3차원 캡션 박스 내에 배치된 3차원 캡션 텍스트를 포함하는 캡션 영상이 생성되도록 상기 영상신호를 부호화한 방송신호를 전송하는 단계;
    를 포함하고,
    상기 코드 스페이스는 기본 코드 셋들(base code sets) 및 확장 코드 셋들(exetended code sets)을 포함하고,
    상기 3차원 캡션 정보는 적어도 하나의 확장 코드 셋을 통해 전달되고,
    상기 적어도 하나의 확장 코드 셋은 기본 코드 셋에 포함된 ‘EXT1’코드를 통해 접근되는 것을 특징으로 하는 3차원 캡션 신호 전송 방법.
  2. 청구항 1에 있어서, 상기 생성 단계에서 3차원 텍스트 설정 정보를 추가적으로 생성하고,
    상기 3차원 캡션 정보와, 상기 3차원 텍스트 설정 정보와, 상기 비디오 픽쳐 헤더 영역에 삽입하여 상기 영상신호를 부호화하여 3차원 캡션 신호 전송 방법.
  3. 청구항 1에 있어서, 2차원 윈도우 설정 정보와 함께 상기 3차원 캡션 정보를 생성하여 부호화하는 3차원 캡션 신호 전송 방법.
  4. 청구항 3에 있어서, 상기 3차원 캡션 정보가 2차원 윈도우 정의 정보, 상기 2차원 윈도우 정의 정보를 보충하는 3차원 텍스트 박스 정의 정보, 2차원 윈도우 속성 설정 정보, 상기 2차원 윈도우 속성 설정 정보를 보충하는 3차원 텍스트 박스 속성 설정 정보를 포함하는 3차원 캡션 신호 전송 방법.
  5. 청구항 1에 있어서, 상기 3차원 캡션 정보가 상기 방송신호의 픽쳐 헤더 영역에서 삽입되는 3차원 캡션 신호 전송 방법.
  6. 3차원 디스플레이 장치에 있어서,
    3차원 영상신호가 포함된 방송신호 및 코드 스페이스에 기초한 3차원 캡션 데이터를 수신하는 단계;
    상기 3차원 캡션 데이터로부터 3차원 캡션 정보 및 캡션 텍스트를 획득하는 단계; 및
    상기 3차원 캡션 정보 및 상기 캡션 텍스트에 기초하여, 3차원 캡션 박스에 배치된 3차원 캡션 텍스트를 포함하는 캡션 영상을 생성하여 표시하는 단계;
    를 구비하고,
    상기 3차원 캡션 데이터는 픽쳐 유저 데이터(picture user data) 내에서 부호화되어 있고,
    상기 픽쳐 유저 데이터는, 시퀀스 레벨, GOP 레벨 및 픽쳐 레벨 중 어느 하나에 삽입되어 있으며,
    상기 코드 스페이스는 기본 코드 셋들(base code sets) 및 확장 코드 셋들(exetended code sets)을 포함하고,
    상기 3차원 캡션 정보는 적어도 하나의 확장 코드 셋을 통해 전달되고,
    상기 적어도 하나의 확장 코드 셋은 기본 코드 셋에 포함된 ‘EXT1’코드를 통해 접근되는 3차원 캡션 디스플레이 방법.
  7. 청구항 6에 있어서, 상기 표시 단계에서, 3차원 방송영상에 상기 캡션 영상을 믹싱하고 포맷팅하여 표시하는 3차원 캡션 디스플레이 방법.
  8. 청구항 6에 있어서, 상기 획득 단계에서 3차원 텍스트 설정 정보를 추가적으로 받아들이고,
    상기 3차원 캡션 정보와, 상기 3차원 텍스트 설정 정보와, 상기 캡션 텍스트를 토대로, 상기 캡션 영상을 생성하는 3차원 캡션 디스플레이 방법.
  9. 청구항 6에 있어서, 상기 획득 단계에서, 2차원 윈도우 설정 정보와 함께 상기 3차원 캡션 박스 설정 정보를 받아들이는 3차원 캡션 디스플레이 방법.
  10. 청구항 9에 있어서, 상기 3차원 캡션 정보가 2차원 윈도우 정의 정보, 상기 2차원 윈도우 정의 정보를 보충하는 3차원 텍스트 박스 정의 정보, 2차원 윈도우 속성 설정 정보, 상기 2차원 윈도우 속성 설정 정보를 보충하는 3차원 텍스트 박스 속성 설정 정보를 포함하는 3차원 캡션 디스플레이 방법.
  11. 청구항 6에 있어서, 상기 3차원 캡션 정보가 상기 방송신호의 픽쳐 헤더 영역에서 추출되는 3차원 캡션 디스플레이 방법.
KR1020117015560A 2009-01-08 2009-09-23 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법 KR101622691B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14316609P 2009-01-08 2009-01-08
US61/143,166 2009-01-08

Publications (2)

Publication Number Publication Date
KR20110118624A KR20110118624A (ko) 2011-10-31
KR101622691B1 true KR101622691B1 (ko) 2016-05-19

Family

ID=42316629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117015560A KR101622691B1 (ko) 2009-01-08 2009-09-23 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법

Country Status (5)

Country Link
US (3) US8704874B2 (ko)
KR (1) KR101622691B1 (ko)
CN (2) CN104113749B (ko)
CA (1) CA2749064C (ko)
WO (1) WO2010079880A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
KR20110053160A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems
US20110149020A1 (en) * 2009-12-17 2011-06-23 Ilya Klebanov Method and system for video post-processing based on 3d data
EP2540088A1 (en) * 2010-02-25 2013-01-02 Thomson Licensing Stereoscopic subtitling with disparity estimation and limitation on the temporal variation of disparity
US8730301B2 (en) * 2010-03-12 2014-05-20 Sony Corporation Service linkage to caption disparity data transport
US8839338B2 (en) * 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
US8760498B2 (en) 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
US9456204B2 (en) * 2010-03-16 2016-09-27 Universal Electronics Inc. System and method for facilitating configuration of a controlling device via a 3D sync signal
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
KR20120016980A (ko) * 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
CN102137264B (zh) * 2010-08-25 2013-03-13 华为技术有限公司 一种三维电视中图形文本显示的控制方法及设备、系统
TW201234833A (en) * 2010-10-25 2012-08-16 Panasonic Corp Encoding method, display apparatus, and decoding method
US20130033569A1 (en) * 2011-08-03 2013-02-07 General Instrument Corporation Combining a three-dimensional message with three-dimensional video content
JP2013051660A (ja) * 2011-08-04 2013-03-14 Sony Corp 送信装置、送信方法および受信装置
AU2012291320A1 (en) * 2011-08-04 2013-03-14 Sony Corporation Transmission device, transmission method, and receiving device
CN103067678A (zh) * 2011-10-20 2013-04-24 四川长虹电器股份有限公司 一种电视机字幕显示方法及装置
EP2885698B1 (en) * 2012-08-15 2021-10-06 Saturn Licensing LLC Broadband delivery of personalization information for advanced tv services
KR20150051637A (ko) * 2013-11-05 2015-05-13 (주)휴맥스 디스플레이 창 크기 또는 위치 조정 방법, 장치 및 시스템
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
US10511802B2 (en) * 2015-09-16 2019-12-17 Sony Corporation Transmission device, transmission method, reproducing device and reproducing method
CN106600527A (zh) * 2016-12-19 2017-04-26 广东威创视讯科技股份有限公司 一种图像嵌入自适应颜色文字的方法及装置
JP6972299B2 (ja) 2017-08-01 2021-11-24 シーメンス エナジー インコーポレイテッド 改良型ガイド波サーモグラフィ検査システムおよびそれを使用する方法
CN109116077B (zh) * 2018-07-09 2020-09-08 深圳市鼎阳科技股份有限公司 一种波形映射方法、装置及计算机可读存储介质
CN110971951B (zh) * 2018-09-29 2021-09-21 阿里巴巴（中国）有限公司 弹幕展示方法及装置
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果
WO2021054380A1 (ja) * 2019-09-20 2021-03-25 日本放送協会 符号化装置、復号装置、及びプログラム
CN116472708A (zh) * 2020-10-07 2023-07-21 浙江大学 特征数据的编解码方法、装置、设备及存储介质
CN118764674B (zh) * 2024-09-09 2024-12-24 腾讯科技（深圳）有限公司 字幕渲染方法、装置、电子设备、存储介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274125A (ja) 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2006270924A (ja) 2005-02-28 2006-10-05 Victor Co Of Japan Ltd 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351280B1 (en) * 1998-11-20 2002-02-26 Massachusetts Institute Of Technology Autostereoscopic display system
US6965379B2 (en) 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
EP1501316A4 (en) * 2002-04-25 2009-01-21 Sharp Kk METHOD FOR GENERATING MULTIMEDIA INFORMATION, AND DEVICE FOR REPRODUCING MULTIMEDIA INFORMATION
KR20060129067A (ko) * 2004-02-26 2006-12-14 엘지전자 주식회사 기록매체 및 텍스트 서브타이틀 스트림 기록 재생 방법과장치
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
CN101124572A (zh) 2004-09-24 2008-02-13 微软公司 文件系统外壳
JP4311570B2 (ja) * 2005-07-01 2009-08-12 株式会社ソニー・コンピュータエンタテインメント 再生装置、ビデオ復号装置および同期再生方法
KR20070047665A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 방송수신장치, 방송송신장치, 방송 시스템 및 그 제어방법
US20070118399A1 (en) * 2005-11-22 2007-05-24 Avinash Gopal B System and method for integrated learning and understanding of healthcare informatics
CN100591140C (zh) * 2006-04-30 2010-02-17 神州亿品科技有限公司 一种在视频中显示字幕的方法
KR20080036329A (ko) 2006-10-23 2008-04-28 엘지전자 주식회사 캡션 디스플레이 장치 및 방법
US20080129864A1 (en) * 2006-12-01 2008-06-05 General Instrument Corporation Distribution of Closed Captioning From a Server to a Client Over a Home Network
CN105263012A (zh) 2007-03-16 2016-01-20 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274125A (ja) 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2006270924A (ja) 2005-02-28 2006-10-05 Victor Co Of Japan Ltd 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体

Also Published As

Publication number Publication date
US9699439B2 (en) 2017-07-04
US20110279644A1 (en) 2011-11-17
CN104113749B (zh) 2016-10-26
CN102273209A (zh) 2011-12-07
CN104113749A (zh) 2014-10-22
US20150109412A1 (en) 2015-04-23
KR20110118624A (ko) 2011-10-31
US8704874B2 (en) 2014-04-22
CN102273209B (zh) 2014-08-20
US8902287B2 (en) 2014-12-02
CA2749064A1 (en) 2010-07-15
CA2749064C (en) 2015-02-17
WO2010079880A1 (ko) 2010-07-15
US20140250454A1 (en) 2014-09-04

Similar Documents

Publication Publication Date Title
KR101622691B1 (ko) 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법
KR101622688B1 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
KR101659026B1 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
JP5721733B2 (ja) ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置
JP5675810B2 (ja) 付加データの三次元再生のための信号処理方法及びその装置
KR101846857B1 (ko) 3차원 비디오 전송을 위한 자막들에 있어서의 개선

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20110705

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140923

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150820

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160218

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160513

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160516

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20190412

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200414

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210414

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220408

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240409

Start annual number: 9

End annual number: 9