KR20070084471A - 자막 첨부 정지 화상 컨텐츠 작성 장치, 자막 첨부 정지화상 컨텐츠 작성 프로그램 및 자막 첨부 정지 화상 컨텐츠작성 시스템 - Google Patents

자막 첨부 정지 화상 컨텐츠 작성 장치, 자막 첨부 정지화상 컨텐츠 작성 프로그램 및 자막 첨부 정지 화상 컨텐츠작성 시스템 Download PDF

Info

Publication number
KR20070084471A
KR20070084471A KR1020077011631A KR20077011631A KR20070084471A KR 20070084471 A KR20070084471 A KR 20070084471A KR 1020077011631 A KR1020077011631 A KR 1020077011631A KR 20077011631 A KR20077011631 A KR 20077011631A KR 20070084471 A KR20070084471 A KR 20070084471A
Authority
KR
South Korea
Prior art keywords
caption
signal
captioned
video signal
image
Prior art date
Application number
KR1020077011631A
Other languages
English (en)
Other versions
KR100965471B1 (ko
Inventor
시즈오 무라카미
고이치 오카와라
다카시 다나카
히데오 와타나베
Original Assignee
가부시키가이샤 테레비 아사히 데이터 비젼
엘 에스 아이 쟈판 가부시기 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 테레비 아사히 데이터 비젼, 엘 에스 아이 쟈판 가부시기 가이샤 filed Critical 가부시키가이샤 테레비 아사히 데이터 비젼
Publication of KR20070084471A publication Critical patent/KR20070084471A/ko
Application granted granted Critical
Publication of KR100965471B1 publication Critical patent/KR100965471B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

클로즈드 캡션의 자막 방송을 오픈화하여 TV 영상으로부터 획득한 정지 화상과 합성함으로써 새로운 자막 첨부 정지 화상 컨텐츠를 자동으로 작성할 수 있는 자막 첨부 정지 화상 컨텐츠 작성 기술을 제공한다. 자막 첨부 정지 화상 컨텐츠 작성 시스템에서는, 자막 첨부 영상 신호 생성 장치가 자막 첨부 영상 신호를 생성하며, 정지 화상 컨텐츠 작성 장치가 자막 첨부 영상 신호로부터 자막 첨부 정지 화상 컨텐츠를 작성한다. 자막 첨부 영상 신호 생성 장치는 본래의 영상 신호 및 자막 신호를 수신하고, 그 자막이 실시간 자막인지의 여부에 기초하여 제어 신호를 생성한다. 그 후, 자막 첨부 영상 신호 생성 장치는 자막 신호와 영상 신호를 합성하고 소정의 위치에 제어 신호를 삽입하여 자막 첨부 영상 신호를 생성한다. 한편, 정지 화상 컨텐츠 작성 장치는 자막 첨부 영상 신호로부터 자막 신호 및 제어 신호를 추출하고, 그 제어 신호를 기초로 영상 신호에서 화상을 캡쳐하여 정지 화상을 생성하는 동시에, 자막 신호로부터 자막 영상을 생성한다. 그리고나서, 정지 화상 컨텐츠 작성 장치는 정지 화상과 자막 화상을 합성하여 자막 첨부 화상 컨텐츠를 작성한다.
클로즈드 캡션, 오픈 캡션, 자막 방송, 수직 귀선소거 기간, 단말기 장치

Description

자막 첨부 정지 화상 컨텐츠 작성 장치, 자막 첨부 정지 화상 컨텐츠 작성 프로그램 및 자막 첨부 정지 화상 컨텐츠 작성 시스템{CAPTIONED STILL IMAGE CONTENT CREATING DEVICE, CAPTIONED STILL IMAGE CONTENT CREATING PROGRAM AND CAPTIONED STILL IMAGE CONTENT CREATING SYSTEM}
본 발명은 자막 방송 등의 자막 첨부 영상 신호로부터 자막 첨부 정지 화상 컨텐츠를 작성하는 기술에 관한 것이다.
텔레비전 방송의 자막은 음성을 듣지 않아도 텔레비전 프로그램의 내용을 이해할 수 있도록 주의 깊게 만들어지고 있다. 텔레비전 자막 방송의 목적이 청각 장애자에 대한 정보 전달에 있기 때문에, 프로그램 내의 출연자의 말이나 효과음 등의 음성 정보를 문자 정보화하고 있다. 또한, 화면 내의 인물들 간의 대화도, 말하는 사람을 구별하는 표현을 이용하여 문자 정보화하고 있다. 따라서, 텔레비전 방송에서의 자막은 사용자가 음성을 듣지 않아도 내용을 이해할 수 있는 고품질 정보로 되어 있다.
그리고, 자막을 포함하는 영상으로부터, 자막 코드를 트리거로 이용하여 대표 화상을 잘라내는 영상 정보 축적 장치가 제안되어 있다(일본 공개 특허 평10-327386호 공보 참조).
기술적인 면에서의 특징으로, 자막 신호는 텔레비전 영상 신호의 프레임에 동기하고 있다(물리적인 동기). 한편, 이 자막 신호는 자막 데이터로서의 관점에서는 정보로서 프로그램 내용의 장면에도 동기하고 있다(의미적인 동기). 이 특징은 디지털 방송에서도 마찬가지이다.
이들 특징으로부터, 자막 신호를 이용하여, 해당 프로그램의 텔레비전 영상 신호(동영상 신호)로부터, 의미적인 동기로 1개의 정지 화상을 얻을 수 있다. 즉, 자막 신호를 「의미 있는 정지 화상」을 캡쳐하기 위한 트리거로 이용함으로써, 고품질의 정보를 유지한 채로 새로운 자막 첨부 정지 화상 컨텐츠로 편성하는 것이 가능하다.
자막 방송은 "클로즈드 캡션(closed caption)"으로 지칭된다. 이에 대하여, 자막이 중첩되는 통상적인 텔레비전 방송은 "오픈 캡션(open caption)"으로 지칭된다. 본 발명은 클로즈드 캡션인 자막 방송 컨텐츠를 오픈화하여, 텔레비전 영상으로부터 얻은 정지 화상에 합성하고, 새로운 컨텐츠를 자동 작성하는 기술을 제공한다.
자막 방송의 전송 규격에서는 OSI(Open Systems Interconnection) 모델에 준거하여 데이터 구조가 구성되고 있다. OSI는 ISO(국제 표준화 기구)에 의해 국제 표준화된 7개의 계층을 포함하는 개방형 시스템간 상호접속 참조 모델을 의미한다. 문자 방송은 이 계층 모델을 기반으로 하는 다음의 정의를 사용하고 있다.
[계층 7] (어플리케이션 없음)
[계층 6] 프리젠테이션 : 문자, 도형 및 부가음(added sound)의 프리젠테이션을 행한다. 문자 방송 전용의 외국어 문자도 사용되고, 인명 등의 특수 문자가 비트 패턴의 전송(DJCS)으로 표시된다.
[계층 5] 프로그램 : 프로그램 관리 데이터 및 페이지 데이터(PACI 및 데이터 유닛을 포함함)로 이루어진다.
[계층 4] 데이터 그룹 : 데이터 블록의 집합
[계층 3] 데이터 패킷 : 프리픽스(prefix)와 22 바이트의 데이터 블록으로 이루어진다.
[계층 2] 데이터 라인 : 패킷 동기부와 데이터 패킷으로 이루어진다.
[계층 1] 전송로 : 전기 물리적인 신호.
본 발명에서는, 영상과 자막의 합성 타이밍을 정확하게 맞추기 위해 그리고 처리 시스템을 컴팩트화하기 위해, "OSI 계층"의 물리적 계층에 가까운 부분인 "계층 2 내지 계층 5"에서 제어 처리하는 방법을 고안하였다. 구체적으로, NTSC 방식을 예로 들면, 본 방법은, 텔레비전 영상 신호를 디지털화한 후에, 자막 부분의 패킷 데이터와 디지털화한 영상 데이터를 바이너리(binary) 데이터로 메모리 등에 일시적으로 기억해 두고, 계층 5까지의 정의 판정 처리(definition determination process)를 행함으로써 실현된다. 또한, 자막 방송 규격에서 이용되는 문자에는 외국어 문자나 재정의 문자(redefined character) 등이 있다. 바이너리 데이터를 문자 코드로 디코드 후의 처리 방식에서는(상위의 계층 6 이상, 예를 들면 한자 코드를 인식하도록 한 방식) 시스템 동작이 애매하게 돼버릴 우려가 있다. 이 방식의 큰 이점으로서 이러한 불편한 문제를 방지할 수 있다는 것을 들 수 있다.
또한, 디지털 방송 방식의 경우에도, PES(Packetized Elementary Stream)로부터 바이너리 데이터로서 영상 데이터를 추출한 후에는, 동일한 처리가 수행될 수 있다.
본 발명의 일특징에 의하면, 자막 첨부 정지 화상 컨텐츠 작성 장치는, 자막 첨부 영상 신호를 수신하는 수신 유닛, 상기 자막 첨부 영상 신호로부터 자막 신호 및 컨텐츠의 작성을 위한 제어 신호를 추출하는 추출 유닛, 상기 제어 신호에 기초하여 상기 영상 신호 내에서 화상을 캡쳐하는 정지 화상 캡쳐 유닛, 상기 자막 신호에 기초하여 자막 화상을 생성하는 자막 화상 생성 유닛, 및 상기 자막 화상과 상기 정지 화상을 합성하여, 자막 첨부 정지 화상 컨텐츠를 작성하는 작성 유닛을 포함한다.
제어 신호로서는, 자막 패킷 구성 규격에 있는, PACI 내의 "자막 플래그"와, 자막 패킷의 페이지 바이너리 데이터에 의해, 캡쳐하고 합성 타이밍 제어 신호를 생성하는 방법이, 가장 간단하고 쉬운 방법이다. 이 경우에, 상기 방법은 "0SI 계층"의 물리적 계층에 가까운 "계층 2 내지 계층 5" 부분에서 제어 처리하는 방법이므로, 물리적인 타이밍은 정확하다. 반대로, 컨텐츠 제작을 고려하면, 제작측의 의도를 보다 상세하게 반영할 목적으로, 타이밍 제어 신호를 부가하는 방법이 보다 우수한 컨텐츠를 제공할 수 있게 된다.
상기의 자막 첨부 정지 화상 컨텐츠 작성 장치는, 자막 첨부 영상 신호로부터 자막 첨부 정지 화상 컨텐츠를 작성한다. 자막 첨부 영상 신호로서는, 예를 들면 방송국으로부터 방송되는 자막 방송 프로그램의 영상 신호가 포함된다. TV 등의 프로그램은, 사전에 VTR에 수록된 패키지 프로그램과, 뉴스 등의 생방송 프로그램으로 크게 구분된다. 이들 프로그램에 자막을 추가하는 경우, 패키지 프로그램에 관해서는, 영상 신호와 자막 신호를 함께 VTR에 기록하여 방송하는 방법과, 영상 신호를 VTR에 기록하고 방송시에 자막 신호를 추가하는 방법이 있으며, 이들은 모두 패키지 자막 프로그램(이하, "패키지 자막 방송 프로그램"으로 지칭함)이 된다. 또한, 뉴스 프로그램 등 생방송의 방송시에, 실시간으로 자막을 부가하는 실시간 자막("라이브 자막"으로도 지칭됨) 방송 프로그램(이하, "실시간 자막 방송 프로그램"으로 지칭함)이 있다.
자막 첨부 영상 신호로서는, 아날로그 영상 신호도 가능하고, 디지털 영상 신호도 가능하며, 또한 패키지 자막 방송 프로그램의 영상 신호도 가능하고, 실시간 자막 방송프로그램의 영상 신호도 가능하다.
수신 유닛에 의해 수신된 자막 첨부 영상 신호로부터는, 자막 신호 및 컨텐츠의 작성을 위한 제어 신호가 추출된다. 컨텐츠 작성을 위한 제어 신호는, 영상 신호 내에서의 특정 화상의 캡쳐 타이밍 등을 나타내는 제어 신호를 포함할 수 있으며, 그 제어 신호에 기초하여, 영상 신호 내의 화상이 정지 화상으로서 캡쳐된다. 한편, 추출된 자막 신호에 기초하여, 자막의 문자에 대응하는 자막 화상이 생성된다. 그리고나서, 자막 화상과 캡쳐된 정지 화상이 합성되어, 자막 첨부 정지 화상 컨텐츠가 작성된다.
이 자막 첨부 정지 화상 컨텐츠는 영상 신호에 포함된 자막과 그 자막에 대응하는 화상의 정지 화상이 합성된 것이다. 자막 방송의 내용이 통상적으로는 해당 프로그램의 주요한 정보를 제공하도록 구성되어 있으므로, 자막과 그에 대응하는 화상이 합성된 정지 화상을 열람함으로써, 사용자는 해당 자막 방송 프로그램을 실제로 시청한 경우와 비교하여 거의 동등한 정보를 단시간에 취득할 수 있다.
상기의 자막 첨부 정지 화상 컨텐츠 작성 장치의 한 형태에서는, 상기 정지 화상 캡쳐 유닛은 각각의 자막 신호에 대응하는 상기 영상 신호 내에서 정지 화상을 캡쳐한다. 이로써, 자막 첨부 정지 화상 컨텐츠에 포함된 정지 화상의 내용과 자막을 내용적으로 그리고 의미적으로 정합시키는 것이 가능하게 된다.
상기의 자막 첨부 정지 화상 컨텐츠 작성 장치의 바람직한 예에서, 상기 영상 신호는 패키지 자막 방송 프로그램의 영상 신호이며, 상기 추출 유닛은 상기 영상 신호 내에서 자막 신호를 포함하는 프레임으로부터 해당 자막 신호 및 상기 제어 신호를 추출하고, 상기 정지 화상 캡쳐 유닛은 해당 프레임의 화상을 캡쳐한다. 패키지 자막 방송 프로그램의 영상 신호에서, 자막이 삽입되는 위치는 영상 신호가 나타낸 화상의 내용과 시간적으로 그리고 내용적으로 정합을 이루고 있다. 즉, 자막이 그 자막의 내용과 대응하는 화상 상에 삽입되도록 자막 첨부 영상 신호가 미리 구성되어 있다. 따라서, 자막 신호를 포함하는 프레임으로부터 자막 신호를 추출하여, 그 프레임 화상의 정지 화상과 합성함으로써, 자막과 화상이 내용적으로 정합할 수 있는 자막 첨부 정지 화상 컨텐츠를 작성할 수 있다.
상기의 자막 첨부 정지 화상 컨텐츠 작성 장치의 다른 바람직한 예에서, 상기 영상 신호는 실시간 자막 방송의 영상 신호이며, 상기 추출 유닛은 상기 영상 신호 중의 자막 신호를 포함하는 프레임으로부터 해당 자막 신호 및 상기 제어 신호를 추출하고, 상기 정지 화상 캡쳐 유닛은 해당 프레임으로부터 시간적으로 후방에 위치하는 프레임의 화상을 캡쳐한다. 실시간 자막 방송 프로그램에서는, 영상과 함께 생방송되는 음성에 기초하여 실시간으로 자막 신호가 생성되어, 영상 신호에 부가되므로, 자막 신호는 그에 대응하는 화상보다도 시간적으로 늦은 위치에 부가된다. 그러므로, 실시간 자막 방송 프로그램에서, 자막은 통상적으로 대응하는 화상에 대해서 지연되어 표시된다. 따라서, 실시간 자막 방송 프로그램의 경우에는, 자막 신호를 포함하는 프레임으로부터 자막 신호 및 제어 신호를 추출하고, 그보다 시간적으로 후방에 위치하는 프레임으로부터 해당 자막에 대응하는 프레임 화상을 캡쳐하여 정지 화상을 생성한다. 그리고나서, 그 자막과 정지 화상을 합성한다. 이로써, 실시간 자막 방송 프로그램으로부터도, 자막과 정지 화상이 내용적으로 정합된 자막 첨부 정지 화상 컨텐츠를 작성할 수 있다.
상기의 자막 첨부 정지 화상 컨텐츠 작성 장치의 예에서는, 상기 영상 신호를 아날로그 텔레비전 신호로 하고, 상기 추출 유닛은 상기 아날로그 텔레비전 신호 중의 자막 신호를 포함하는 프레임의 수직 귀선소거 시간(VBI) 동안 상기 제어 신호를 추출할 수 있다. 또 다른 예에서는, 상기 영상 신호를 디지털 텔레비전 신호로 하고, 상기 추출 유닛은 상기 디지털 텔레비전 신호 내에서 자막 신호를 포함하는 PES 중의 프라이버트 데이터(private data)로부터 상기 제어 신호를 추출할 수 있다.
본 발명의 다른 특징에 의하면, 자막 첨부 정지 화상 컨텐츠 작성 프로그램은, 컴퓨터 단말기에 의해 실행됨으로써, 상기 컴퓨터 단말기를, 자막 첨부 영상 신호를 수신하는 수신 유닛, 상기 자막 첨부 영상 신호로부터 자막 신호 및 컨텐츠 작성을 위한 제어 신호를 추출하는 추출 유닛, 상기 제어 신호에 기초하여, 상기 영상 신호 내에서 화상을 캡쳐하는 정지 화상 캡쳐 유닛, 상기 자막 신호에 기초하여 자막 화상을 생성하는 자막 화상 생성 유닛, 및 상기 자막 화상과 상기 정지 화상을 합성하여, 자막 첨부 정지 화상 컨텐츠를 작성하는 작성 유닛으로서 기능하게 한다. 상기의 자막 첨부 정지 화상 컨텐츠 작성 프로그램을 PC 및 기타 컴퓨터 단말기 상에서 실행함으로써, 전술한 자막 첨부 정지 화상 컨텐츠 작성 장치를 실현할 수 있다.
본 발명의 또 다른 특징에 의하면, 자막 첨부 정지 화상 컨텐츠 작성 시스템은, 자막 첨부 영상 신호 생성 장치와, 정지 화상 컨텐츠 작성 장치를 구비한다. 여기서, 자막 첨부 영상 신호 생성 장치는, 영상 신호 및 자막 신호를 수신하는 수신 유닛과, 상기 자막이 실시간 자막인지의 여부에 따라 제어 신호를 생성하는 제어 신호 생성 유닛과, 상기 자막 신호와 상기 영상 신호를 합성하고, 상기 제어 신호를 소정 위치에 삽입하여 자막 첨부 영상 신호를 생성하는 신호 생성 유닛을 구비한다. 정지 화상 컨텐츠 작성 장치는, 상기 자막 첨부 영상 신호를 수신하는 수신 유닛과, 상기 자막 첨부 영상 신호로부터 상기 자막 신호 및 상기 제어 신호를 추출하는 추출 유닛과, 상기 제어 신호에 기초하여, 상기 영상 신호 내에서 화상을 캡쳐하는 정지 화상 캡쳐 유닛과, 상기 자막 신호에 기초하여 자막 화상을 생성하는 자막 화상 생성 유닛과, 상기 자막 화상과 상기 정지 화상을 합성하여, 자막 첨부 정지 화상 컨텐츠를 작성하는 작성 유닛을 구비한다.
상기의 자막 첨부 정지 화상 컨텐츠 작성 시스템에 의하면, 자막 첨부 영상 신호 생성 장치는 자막 첨부 영상 신호를 생성하고, 정지 화상 컨텐츠 작성 장치는 해당 자막 첨부 영상 신호로부터 자막 첨부 정지 화상 컨텐츠를 작성한다.
자막 첨부 영상 신호 생성 장치는, 본래의 영상 신호 및 자막 신호를 수신하고, 해당 자막이 실시간 자막인지의 여부에 따라 제어 신호를 생성한다. 그리고나서, 자막 첨부 영상 신호 생성 장치는 상기 자막 신호와 상기 영상 신호를 합성하고, 상기 제어 신호를 소정 위치에 삽입하여 자막 첨부 영상 신호를 생성한다. 한편, 정지 화상 컨텐츠 작성 장치는, 자막 첨부 영상 신호로부터 자막 신호 및 제어 신호를 추출하고, 제어 신호에 기초하여 영상 신호 내에서 화상을 캡쳐하여 정지 화상을 생성하는 동시에 자막 신호로부터 자막 화상을 생성한다. 그리고나서, 정지 화상 컨텐츠 작성 장치는 정지 화상과 자막 화상을 합성하여 자막 첨부 정지 화상 컨텐츠를 작성한다.
이 자막 첨부 정지 화상 컨텐츠는 영상 신호에 포함된 자막과 그 자막에 대응하는 화상의 정지 화상이 합성된 것이므로, 합성된 화상을 열람함으로써, 사용자는 해당 자막 방송 프로그램을 실제로 시청한 경우와 비교하여 거의 동등한 정보를 단시간에 취득할 수 있다.
상기의 자막 첨부 정지 화상 컨텐츠 작성 시스템의 한 형태에서, 상기 제어 신호 생성 유닛은, 상기 자막이 실시간 자막이 아닌 경우에는, 상기 자막 신호 및 상기 제어 신호가 추출되는 프레임 화상을 상기 정지 화상 캡쳐 유닛에 의해 캡쳐해야 할 화상으로 지정하고, 상기 자막이 실시간 자막인 경우에는, 상기 자막 신호 및 상기 제어 신호가 추출되는 프레임 화상보다 시간적으로 후방에 위치하는 또 다른 프레임 화상을 상기 정지 화상 캡쳐 유닛에 의해 캡쳐해야 할 화상으로 지정하는, 제어 신호를 생성한다. 이로써, 패키지 자막 방송 프로그램의 경우와 실시간 자막 방송 프로그램의 경우에서도, 내용적으로 자막과 정지 화상의 내용이 정합하는 자막 첨부 정지 화상 컨텐츠를 작성할 수 있다.
도 1은 본 발명에 따른 자막 첨부 정지 화상 컨텐츠 작성 시스템이 적용되는 환경의 예를 나타내는 도면이다.
도 2는 일반적인 자막 방송용 영상 신호와, 본 발명에 따른 자막 첨부 정지 화상 컨텐츠의 표시 화상의 예를 나타내는 도면이다.
도 3은 자막 첨부 영상 신호, 그에 대응하는 화상, 및 자막 첨부 TV 영상 신호로부터 자막 첨부 정지 화상 컨텐츠를 작성하는 처리의 개요를 개략적으로 나타내는 도면이다.
도 4는 자막 첨부 영상 신호 내에서의 제어 정보의 위치 및 내용을 나타내는 도면이다.
도 5는 자막 첨부 영상 신호 내에서의 제어 정보의 위치 및 내용을 나타내는 도면이다.
도 6a는 패키지 방송 프로그램에서의 자막 첨부 정지 화상 컨텐츠를 작성하는 상태를 모식적으로 나타내는 도면이고, 도 6b는 실시간 자막 방송에서의 자막 송출의 지연을 모식적으로 나타내는 도면이다.
도 7은 실시간 자막 방송 프로그램에서의 자막 첨부 정지 화상 컨텐츠를 작성하는 상태를 모식적으로 나타내는 도면이다.
도 8은 방송국 내의 시스템 구성을 나타낸 블록도이다
도 9는 자막 첨부 정지 화상 컨텐츠 작성 장치의 주요 구성을 나타내는 도면이다.
도 10은 자막 첨부 정지 화상 컨텐츠 작성 장치의 실시예의 구성을 나타내는 도면이다.
도 11은 디지털 TV 영상 신호의 경우의 제어 플래그의 설정예를 나타내는 도면이다.
도 12는 본 발명에 따른 자막 첨부 정지 화상 컨텐츠 작성 시스템이 적용되는 환경의 예를 나타내는 도면이다.
이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.
[제1 실시예]
(자막 첨부 정지 화상 컨텐츠 작성 시스템)
도 1은 본 발명에 따른 자막 첨부 정지 화상 컨텐츠 작성 시스템이 적용되는 환경의 예를 나타내고 있다. 도 1에서, 방송국(10)은 사용자 환경(50)에 대해서 자막 TV 방송을 행하고 있다. 방송국(10) 내에서는, 자막 방송 송출 시스템(20)이 자막 방송용의 영상 신호를 작성하고, 이것을 방송파(40)에 실어 송출한다. 사용 자 환경(50)에서는 자막 튜너를 구비하는 TV 수신기(52)에 의해 방송파(40)를 수신하여, 자막 방송 프로그램을 볼 수 있다.
이것에 더하여, 본 발명에서는, 자막 방송 송출 시스템(20)은, 통상의 자막 방송용의 영상 신호에 자막 첨부 정지 화상 컨텐츠 작성시에 사용된 제어 정보를 부가한 영상 신호(이하, "자막 첨부 영상 신호"로 지칭함)를 작성하고, 이 자막 첨부 영상 신호를 자막 첨부 정지 화상 컨텐츠 작성 장치(30)에 공급한다. 즉, 본 발명에 따른 자막 첨부 정지 화상 컨텐츠 작성 시스템은, 자막 방송 송출 시스템(20) 및 자막 첨부 정지 화상 컨텐츠 작성 장치(30)에 의해 구성된다.
자막 첨부 정지 화상 컨텐츠 작성 장치(30)는, 자막 방송 송출 시스템(20)으로부터 공급된 자막 첨부 영상 신호를 사용하여, 자막 첨부 정지 화상 컨텐츠(42)를 작성한다. 자막 첨부 정지 화상 컨텐츠(42)는 자막이 합성된 정지 화상 컨텐츠이며, 방송, 인터넷, 기타 데이터 통신, 기억 매체에 의한 반포 등의 각종 전달 방법에 의해 사용자에게 제공된다. 사용자는 PC, PDA, 휴대 전화, 전자 북 등과 같은 단말기 장치(54)에 의해 자막 첨부 정지 화상 컨텐츠(42)를 열람할 수 있다.
자막 첨부 정지 화상 컨텐츠는 자막 방송 프로그램을 구성하는 정지 화상에 해당 자막 방송 동안 표시되는 자막을 합성하여 취득한 컨텐츠이다. 전술한 바와 같이, 자막 방송 프로그램에서의 자막은 음성을 듣지 않아도 프로그램 내용을 충분히 이해할 수 있도록 작성된 고품질의 정보이므로, 사용자는 자막 첨부 정지 화상 컨텐츠를 열람함으로써, 해당 자막 방송 프로그램을 시청한 경우와 비교하여도 거의 동등한 정보를 얻을 수 있다.
(자막 첨부 정지 화상 컨텐츠)
다음에, 자막 첨부 정지 화상 컨텐츠를 개략적으로 설명한다. 도 2는 일반적인 자막 방송용 영상 신호와 본 발명에 따른 자막 첨부 정지 화상 컨텐츠의 표시 화상의 예를 나타낸다. 도 2의 상단에 나타낸 바와 같이, 자막 방송 동안의 프레임 화상 1 내지 프레임 화상 5에서, 프레임 화상 1 및 프레임 화상 2에 자막 1이 표시되고, 프레임 화상 3에 자막 2가 표시되며, 프레임 화상 4 및 프레임 화상 5에 자막 3이 표시되도록 자막 방송용 영상 신호가 구성되어 있는 것으로 한다. 이 경우, 본 발명의 자막 첨부 정지 화상 컨텐츠로서는, 도 2의 하단에 나타낸 바와 같이, 프레임 화상 1에 자막 1이 합성된 정지 화상과, 프레임 화상 3에 자막 2가 합성된 정지 화상과, 프레임 화상 4에 자막 3이 합성된 정지 화상이 작성된다. 이와 같이, 본 발명에서는, 자막을 기준으로 하여 그 자막에 대응하는 프레임 화상을 캡쳐하고, 캡쳐한 프레임 화상에 자막을 합성함으로써, 자막 첨부 정지 화상을 작성한다. 이로써, 본래의 자막 방송용 영상 신호에 포함된 자막이 모두 자막 첨부 정지 화상 컨텐츠에 포함된다. 즉, 자막 방송에 있어서 중요 정보인 자막을 빠뜨리지 않고 정지 화상 컨텐츠에 넣는 것이 가능하므로, 작성된 자막 첨부 정지 화상 컨텐츠를 열람함으로써, 사용자는 본래의 자막 방송을 시청한 경우와 거의 동등한 정보를 얻을 수 있다.
또한, 자막 첨부 정지 화상 컨텐츠는 시계열로 배열된 정지 화상의 집합이므로, 사용자는 통상적으로 PC, PDA, 휴대 전화, 전자 북 등의 단말기 장치를 사용하여 자막 첨부 정지 화상 컨텐츠를 그 순서에 따라서 재생 및 열람하게 된다.
(자막 첨부 정지 화상 컨텐츠의 작성 방법의 개요)
다음에, 자막 첨부 정지 화상 컨텐츠의 작성 방법의 개요에 대하여 설명한다. 도 3은 자막 첨부 영상 신호, 그에 대응하는 화상, 및 자막 첨부 TV 영상 신호로부터 자막 첨부 정지 화상 컨텐츠를 작성하는 처리의 개요를 모식적으로 나타내고 있다. 이 예에서, 도 3의 최상단에 나타낸 바와 같이, 자막 첨부 TV 영상 신호 중의 화상은 프레임 화상 3 내지 프레임 화상 5를 포함하며, 이 중에서 프레임 화상 3에는 자막이 없고, 프레임 화상 4 및 프레임 화상 5에는 자막 3이 포함되어 있다. 즉, 도 3의 중간 부분에 나타낸 바와 같이, 자막 첨부 TV 영상 신호에서, 프레임 화상 3은 자막 신호를 포함하고 있지 않고, 프레임 화상 4 및 프레임 화상 5은 자막 3의 자막 신호를 포함하고 있다.
이 경우, 자막 첨부 정지 화상 컨텐츠의 작성 처리는, 먼저 프레임 화상 중에서 자막 신호를 검출한다. 본 예에서는, 자막 신호를 포함하는 프레임 화상, 즉 프레임 화상 4를 검출하고, 그 자막 신호를 포함하는 자막 패킷을 추출한다(단계 S1). 자막 패킷에는 후술하는 제어 정보가 포함되어 있으며, 이 제어 정보에 대해서는 후술될 것이다. 제어 정보에는 자막 첨부 TV 영상 신호의 프레임 화상을 캡쳐하는 타이밍을 나타내는 정보가 포함되어 있으므로, 자막 첨부 정지 화상 컨텐츠의 작성 처리는, 해당 제어 신호를 추출하고, 그 내용에 따라 TV 영상 신호의 프레임 화상을 캡쳐하는 타이밍을 나타내는 캡쳐 트리거를 생성한다. 캡쳐 트리거에 기초하여, 대응하는 프레임 화상을 캡쳐한다(단계 S2). 캡쳐된 프레임 화상은 JPEG 방식으로 압축되어, 정지 화상 데이터(11)가 작성된다(단계 S3).
한편, 단계 S1에서 추출된 자막 패킷으로부터는 자막 3의 자막 데이터가 추출되며, 그 자막에 대응하는 자막 화상(12)이 생성된다. 그리고나서, 프레임 화상 4에 대응하는 정지 화상 데이터(11)와, 자막 3에 대응하는 자막 화상(12)이 합성되어, 자막 첨부 정지 화상 컨텐츠(13)가 작성된다.
이와 같이, 자막 첨부 정지 화상 컨텐츠의 작성 처리에서는, 자막 첨부 TV 영상 신호 내의 프레임 화상 중 자막을 포함하는 프레임 화상으로부터 자막 패킷을 추출하고, 그 중에 포함되는 제어 신호에 기초하여, 정지 화상으로서 캡쳐해야 할 프레임 화상을 결정한다. 그리고나서, 제어 신호에 따라 캡쳐된 정지 화상과, 자막 패킷에 포함되는 자막 데이터에 대응하는 자막 화상을 합성하여, 자막 첨부 정지 화상 컨텐츠를 작성한다.
(제어 신호)
다음에, 자막 첨부 정지 화상 컨텐츠의 작성시에 사용되는 제어 신호에 대하여 상세하게 설명한다. 도 4 및 5는 자막 첨부 영상 신호 내에서의 제어 정보의 위치 및 내용을 나타내고 있다. 본 예에서는, 자막 첨부 영상 신호는 문자 방송 규격에 따른 아날로그 TV 영상 신호인 것으로 한다. 아날로그 자막 첨부 영상 신호에서는, 자막 데이터 및 자막에 관한 정보가 TV 영상 신호의 수직 귀선소거 기간(VBI) 중에 삽입된다. 본 예에서는, 특히 제어 신호는 문자 방송 규격에서의 페이지 데이터 헤더(PACI)의 "페이지 제시 디바이스(DB15)" 중 비트 번호 b5 내지 b8에 설정되는 것으로 한다.
도 4에 문자 방송의 페이지 헤더의 구성을 나타낸다. 문자 방송 데이터 중 에서, 도 4의 최하단에 나타낸 데이터 그룹 0 내지 데이터 그룹 3의 각각의 데이터 그룹에는 헤더(H)(21), 데이터 그룹 데이터(22) 및 CRC 등의 정보(23)가 포함된다. 이 중, 데이터 그룹 0 내의 데이터 그룹 데이터(22)는 프로그램 관리 데이터에 대응하고, 프로그램 관리 데이터는 프로그램 데이터 헤더(24) 및 데이터 유닛(25)을 포함한다. 한편, 데이터 그룹 1 및 데이터 그룹 2 내의 데이터 그룹 데이터(22)는 페이지 데이터 내의 페이지 데이터 헤더(26) 및 데이터 유닛(27)에 각각 대응한다.
페이지 데이터 내의 페이지 데이터 헤더(26)는, 데이터 헤더 식별(31), 데이터 헤더 데이터 길이(32) 및 데이터 헤더 데이터(32)를 포함한다. 데이터 헤더 식별(31)은 정보 분리 부호(DB8) 및 데이터 헤더 파라미터(DB9)를 포함한다. 한편, 데이터 헤더 데이터(33)는, 도 4의 최상단에 나타낸 바와 같이, 프로그램 번호 및 매거진 번호(DB11) 내지 래스터 컬러 및 헤더 래스터 컬러(DB19)의 각종 정보를 포함하고, 그 중에 페이지 제시 디바이스(DB15)가 포함되어 있다.
도 5는 페이지 데이터 헤더(26) 및 페이지 제시 디바이스(DB15)의 구성과, 제어 플래그의 예를 나타내고 있다. 도시한 바와 같이, 페이지 제시 디바이스(DB15)는 b1∼b8의 8비트를 가지며, b5∼b8의 4비트가 본 발명에 의한 제어 신호를 설정하기 위한 제어 비트로서 사용된다. 또한, 이들 제어 비트는, 페이지 데이터 헤더 내의 프로그램 형태(DB14)의 제어 비트 b4 및 b3가 모두 "1"(온 상태)인 경우, 즉 "11"＝"자막"인 경우에, 유효하게 된다.
도 5의 최하단에는 제어 비트 b5∼b8에 설정되는 제어 플래그의 의미가 나타내어져 있다. 도 5의 중간 부분에 예시한 바와 같이, 예를 들면 제어 타입이 Cb인 경우, 제어 비트 b8∼b5가 각각 "0", "0", "O", "1"로 설정되고, 제어 플래그는 "0001"이 된다. 그리고, 제어 타입 Ca∼Cg는 제어 종류를 구별하기 위해 설명의 편의상 붙인 것이다.
이들 제어 플래그는, 전술한 자막 방송 송출 시스템(20)이 자막 첨부 영상 신호를 생성할 때에, 방송국 내에서 설정된다. 즉, 자막 방송 송출 시스템(20)이 출력하는 자막 첨부 영상 신호에는 이들 제어 정보가 이미 포함되어 있다.
패키지 자막 방송 프로그램에서는, 이미 VTR에 수록된 TV 영상 신호에 대하여 자막을 삽입하므로, TV 화상과 자막을 시간적으로 그리고 내용적으로 정확하게 대응시킬 수가 있다. 즉, TV 화상 중의 적절한 프레임 화상에 자막이 삽입되어 있다. 따라서, 패키지 자막 방송 프로그램으로부터 자막 첨부 정지 화상 컨텐츠를 생성하는 경우에는, 자막을 포함하는 프레임 화상을 검출하고, 그 프레임 화상의 정지 화상과, 그 프레임 화상의 영상 신호에 포함되어 있는 자막을 합성시키면 된다.
그러므로, 패키지 자막 방송 프로그램의 자막 첨부 영상 신호에는, 제어 타입 Cd의 제어 플래그 "0011"이 설정된다. 제어 플래그 "0011"은 프레임 내의 베이스 영상의 캡쳐, 자막 데이터의 보존, 및 자막의 문자 렌더링의 지시에 대응한다. 따라서, 제어 플래그 "O011"이 검출되면, 그 프레임의 프레임 화상을 캡쳐하여 정지 화상을 작성하고, 작성된 정지 화상에 그 프레임 내의 자막이 추출되고, 렌더링(화상 생성)되어 합성된다.
도 6a는 패키지 방송 프로그램에서의 자막 첨부 정지 화상 컨텐츠의 작성 모 습을 모식적으로 나타낸다. 패키지 자막 방송 프로그램의 프레임 화상(41)은 베이스 영상인 프레임 화상(43)과 자막 데이터(44)를 포함하고, 또한 VBI(42) 내에 제어 플래그 "0011"이 삽입되어 있다. 자막 첨부 정지 화상 컨텐츠 작성 장치(30)는, 제어 플래그 "0011"을 검출하면, 캡쳐 기능(31)에 의해 해당 프레임 화상(41)을 캡쳐하는 동시에 해당 프레임에 포함된 자막 데이터(44)를 추출하고, 문자 렌더링 기능(32)에 의해 문자 렌더링을 행한다. 그리고나서, 캡쳐한 정지 화상과 렌더링한 문자를 합성하여 자막 첨부 정지 화상 컨텐츠(45)를 작성한다.
한편, 실시간 자막 방송 프로그램의 경우에는, TV 영상의 생방송 동안에 실시간으로 자막을 생성하고, TV 영상에 삽입하여 방송하기 때문에, 자막은 TV 영상의 방송에 대해서 시간적으로 지연되어 표시되게 된다. 이하, 실시간 자막 방송에 있어서의 자막 송출의 지연에 대하여 간단하게 설명한다. 뉴스 프로그램 등의 생방송 텔레비전 프로그램에서, 청각 장애자 전용 서비스로서 자막을 방송하는 것이 증가하고 있다. 이 실시간 자막 방송(라이브 자막 방송)에서는, 자막이 시간적으로 영상에 대해서 수 초 내지 수십 초 지연되어 방송되는 경우가 있고, 이 지연이 크면, 시청자가 위화감을 느끼게 되는 경우가 있다.
아날로그 방송에서는, 영상의 수직 귀선소거 기간(VBI)에 자막 데이터를 영상에 맞추어 중첩하고 있다. 패키지 자막 방송 프로그램에서는, 미리 자막을 제작해 두고, 영상과 완전하게 맞은 타이밍에서 자막 데이터를 페이지 단위로 송출할 수 있다. 그러나, 실시간 자막 프로그램에서는, 도 6b에 나타낸 바와 같이, 자막의 중첩 타이밍이 실시간의 타이밍이 아니라 약간 지연된 타이밍이다. 이것은, 방 송국의 자막 입력자가, 방송되는 영상을 보면서 자막 문장을 키보드를 통해 입력하고, 한자 변환, 오류 변환의 정정 등을 행한 후에, 자막 데이터를 중첩하기 때문에, 자막 데이터의 송출이 영상보다 늦기 때문이다. 그리고, 도 6b에서는, 자막 입력 개시 타이밍과, 대응하는 자막 데이터가 중첩되는 타이밍의 어긋남, 즉 자막 송출의 지연 시간이 Δt로 나타내어져 있다.
따라서, 예를 들면 뉴스 프로그램의 경우, 아나운서가 뉴스 기사를 읽을 때에, 그 내용을 음성 인식 등에 의해 취득하여 자막을 생성하고, 이것을 TV 영상에 부가하므로, 실제로는 그 뉴스 항목에 대응하는 영상과 아나운서의 음성이 종료되고 다음의 뉴스 항목이 시작될 때에, 자막이 삽입되는 경우도 있다.
그리고, 실시간 자막의 생성 방법으로서는, 아나운서의 발성에 따라서 음성 인식을 사용하는 음성 인식 방식이나, 방송 음성을 입력 오퍼레이터가 키 입력함으로써 자막을 생성하는 키보드 방식 등이 알려져 있다.
그러므로, 실시간 자막 방송 프로그램의 자막 첨부 영상 신호에서는, 영상(프레임 화상)의 내용과 자막이 시간적으로 일치하고 있지 않다. 즉, 어느 영상에 대응하는 자막은, 해당 영상으로부터 시간적으로 수 프레임 내지 수백 프레임 정도 늦은 프레임 화상의 신호에 포함되게 된다. 따라서, 실시간 자막 방송 프로그램으로부터 자막 첨부 정지 화상 컨텐츠를 작성하는 경우에는, 정지 화상의 캡쳐 타이밍과 자막의 추출 타이밍을 상이하게 할 필요가 있다.
그러므로, 실시간 자막 방송 프로그램의 자막 첨부 영상 신호에는, 제어 타입 Cb 및 Cc의 2개의 제어 타입이 사용된다. 제어 타입 Cb의 제어 플래그 "0001" 은 베이스 영상의 캡쳐 지시이며, 제어 타입 Cc의 제어 플래그 "0010"은 자막 데이터의 저장 및 자막 문자 렌더링의 지시이다. 통상, 실시간 자막 방송 프로그램의 자막 첨부 영상 신호에서는, 베이스 영상의 캡쳐 지시에 대응하는 제어 플래그 "0001"이 등장하고, 그 수 프레임 후에, 문자 데이터의 저장 및 렌더링에 대응하는 제어 플래그 "0010"이 등장하게 된다.
그리고, 지연되어 송출되는 실시간 자막에 영상/음성 정보를 합치시키는 방법으로서는, 전술한 제어 비트를 사용하는 방법 외에, 자막 입력을 개시한 타이밍을 수신기에 통지하기 위한 투명 자막 페이지를 송출하는 방법도 가능하다.
도 7은 실시간 자막 방송 프로그램에서의 자막 첨부 정지 화상 컨텐츠를 작성하는 상태를 모식적으로 나타낸다. 실시간 자막 방송 프로그램의 프레임 화상(51)은 베이스 영상이 되는 프레임 화상(53)을 포함하고, 또한 VBI(52) 내에 제어 플래그 "0001"이 삽입되어 있다. 그러나, 전술한 바와 같이, 실시간 자막 방송에서는, 어느 영상(프레임 화상)에 대해서, 그에 대응하는 자막은 수 프레임 늦은 프레임에 포함되어 있다. 도 7의 예에서는, N 번째 프레임의 VBI(52)에는 제어 플래그 "0001"이 포함되어 있지만 자막 데이터는 포함되어 있지 않고, 프레임 M으로부터 m 프레임 후의 프레임인 N+m 번째 프레임의 VBI(52)에 자막 데이터(54) 및 제어 플래그 "O010"이 포함되어 있다.
자막 첨부 정지 화상 컨텐츠 작성 장치(30)는, 먼저 N 번째 프레임의 제어 플래그 "0001"을 검출하면, 그 제어 내용(도 5 참조)에 따라, 캡쳐 기능(31)에 의해 해당 프레임 화상(53)을 캡쳐한다. 다음에, N+m 번째 프레임의 제어 플래그 "0010"을 검출하면, 해당 프레임에 포함된 자막 데이터(54)를 추출하고, 문자 렌더링 기능(32)에 의해 문자 렌더링을 행한다. 그리고나서, 캡쳐한 정지 화상(57)과 렌더링에 의해 얻은 문자 화상(58)을 합성하여 자막 첨부 정지 화상 컨텐츠(55)를 작성한다.
이와 같이, 본 발명에서는, 패키지 자막 방송 프로그램과 실시간 자막 방송 프로그램에 대해서, 상이한 제어 신호를 설정함으로써, 어느 자막 방송 프로그램으로부터도 자막 첨부 정지 화상 컨텐츠를 작성하는 것이 가능하다. 특히, 실시간 자막 방송 프로그램을 TV 수신기 등으로 시청하고 있을 때에는, 자막은 대응하는 영상에 대해서 지연되어 표시된다. 따라서, 그 지연이 클 때에는 내용을 이해하기 어려운 경우도 있다. 이러한 점에 관하여, 본 발명에 의해 작성된 자막 첨부 정지 화상 컨텐츠에서는, 그 지연이 보정되어 영상과 자막의 정합이 취해지고, 자막은 대응하는 영상 상에 표시되므로, 내용을 용이하게 이해하는 것이 가능하게 된다.
또한, 도 5에 나타낸 제어 플래그로서는, 상기한 지시 외에, 베이스 영상의 캡쳐를 행하지 않는다는 것을 나타내는 캡쳐없음의 지시(제어 타입 Ca)도 준비되어 있다. 제어 타입 Ca는 4비트의 플래그 모두를 "1"로 설정하지 않은 경우에 사용하고, 제작 장치의 초기 설정 또한 제어 타입 Ca이다. 또한, 각각의 프로그램에 대한 서비스의 체재를 정돈하기 위해, 필요에 따라 제어 타입 Ce∼Cg를 설정하고 있다. 구체적으로는, 프로그램의 메인 타이틀 부분(프로그램 개시 부분) 및 프로그램 종료 부분에 대응하는 프레임을 투명 자막 페이지(표시하는 문자의 표시 컬러와 배경 컬러를 래스터 컬러와 동일한 것으로 하여 작성된 눈에 보이지 않는 페이지) 로 하고, 제어 타입 Ce를 설정한다. 이로써, 프로그램의 개시시 및 종료시의 프레임 화상에 자막이 본래 삽입되어 있지 않은 경우에도, 이러한 프레임 화상을 정지 화상으로 캡쳐할 수 있다. 이로써, 어느 프로그램의 자막 첨부 정지 화상 컨텐츠 파일의 프론트 페이지 및 종료 페이지의 정지 화상을 작성할 수 있다. 또한, 마찬가지로, 서브 타이틀 및 드라마의 "두 번째 이야기" 등의 표시를 포함하는 프레임 화상에 자막이 포함되어 있지 않은 경우에도, 이러한 프레임 화상을 캡쳐하기 위해, 투명 자막 페이지로서 제어 타입 Cf가 설정된다.
(방송국 내의 시스템)
다음에, 도 8에 나타낸 방송국 내의 시스템에 대하여 상세하게 설명한다. 도 8은 방송국(10) 내의 시스템 구성을 나타낸 블록도이다. 방송국(10)은 자막 방송 송출 시스템(20), 자막 첨부 정지 화상 컨텐츠 작성 장치(30), 제어 플래그 소거 유닛(70), 및 TV 송신기(71)를 구비한다.
자막 방송 송출 시스템(20)은 전술한 제어 플래그를 포함하는 자막 첨부 영상 신호 S10를 생성하고, 자막 첨부 정지 화상 컨텐츠 작성 장치(30) 및 제어 플래그 소거 유닛(70)에 공급한다. 자막 첨부 정지 화상 컨텐츠 작성 장치(30)는, 앞에서 개략적으로 설명한 바와 같이, 자막 첨부 영상 신호로부터 자막 첨부 정지 화상 컨텐츠를 작성한다.
제어 플래그 소거 유닛(70)은 자막 방송 송출 시스템(20)이 작성한 자막 첨부 영상 신호로부터 전술한 제어 플래그를 소거한다. 제어 플래그는, 자막 첨부 정지 화상 컨텐츠 작성 장치(30)가 자막 첨부 정지 화상 컨텐츠를 작성할 때에 필 요하지만, 방송국(10)에서 시청자의 가정으로 방송할 때에는, 사용자 측에서의 악용이나 사용자측 시스템에서의 오동작 등을 방지하는 관점에서 소거하는 것이 바람직하다. 따라서, 제어 플래그 소거 유닛(70)은 자막 첨부 영상 신호로부터 전술한 제어 플래그를 소거하고, TV 송신기(71)는 제어 플래그를 포함하지 않는 통상의 자막 방송용 영상 신호를 방송한다.
(자막 방송 송출 시스템)
다음에, 자막 방송 송출 시스템에 대하여 설명한다. 도 8에 도시한 바와 같이, 자막 방송 송출 시스템(20)은 실시간 자막 방송 프로그램과 패키지 자막 방송 프로그램의 자막 첨부 영상 신호를 생성한다. 실시간 자막 방송 프로그램에 대해서는, 실시간 자막 시스템(61)은 영상 신호 S11를 실시간 자막 OA-TAKE 시스템(62)에 공급하는 동시에, 자막 신호 S21를 영상 프레임 캡쳐 플래그 설정 유닛(63)에 공급한다.
영상 프레임 캡쳐 플래그 설정 유닛(63)은, 영상 신호 내에서 자막을 첨부해야 할 프레임 화상에 제어 타입 Cb의 제어 플래그 "0001"을 설정하고, 그 자막 신호 S22를 출력한다. 그리고, 제어 플래그 "0001"의 설정에 대하여, 실시간 자막이 음성 인식 방식인 경우에는, 나레이터(아나운서 또는 리스피커)의 발음 검지나 카프 키(cuff key)가 트리거로서 사용될 수 있다. 반대로, 실시간 자막이 키보드 방식인 경우에는, 시스템에 의해 결정된 소정의 트리거에 기초하여 시스템이 제어 플래그 "0001"을 자동적으로 설정할 수 있다.
실시간 자막 OA-TAKE 시스템(62)은 영상 신호 S12를 자막 신호 합성 장 치(69)에 출력하는 동시에, 자막 신호 S23를 자막 데이터 캡쳐 플래그 설정 유닛(64)에 출력한다. 자막 데이터 캡쳐 플래그 설정 유닛(64)은, 자막 신호 S23중의, 자막 데이터를 캡쳐해야 할 프레임 화상에 제어 타입 Cd의 제어 플래그 "O010"를 설정하고, 자막 신호 S24를 출력한다. 그리고, 제어 플래그 "0010"의 설정은 예를 들면 디렉터 등의 테이크(TAKE) 지시에 따라 수행될 수 있다.
VBI 캡쳐 플래그 설정 유닛(68)은 제어 플래그 "O001" 및 "O010"가 설정된 자막 신호 S22 및 S24를 수신하고, 이들 제어 플래그를 VBI에서 전술한 위치(도 5참조)에 포함하는 자막 신호 S25를, 자막 신호 합성 장치(69)에 출력한다. 자막 신호 합성 장치(69)는, 전술한 2개의 제어 플래그가 설정된 자막 신호 S25와 영상 신호 S12를 합성하여 자막 첨부 영상 신호 S10을 생성하고, 이 자막 첨부 영상 신호를 자막 첨부 정지 화상 컨텐츠 작성 장치(30) 및 제어 플래그 소거 유닛(30)에 공급한다. 이같이 하여, 실시간 자막 방송 프로그램의 자막 첨부 영상 신호가 생성된다.
한편, 패키지 자막 방송 프로그램의 경우, 패키지 프로그램 자막 작성 장치(65)는 영상 신호 S13를 패키지 프로그램 OA 서버(66)에 공급하고, 패키지 프로그램 OA 서버(66)는 영상 신호 S12를 자막 신호 합성 장치(69)에 출력한다. 또한, 패키지 프로그램 자막 작성 장치(65)는 자막을 포함하는 프레임에 제어 타입 Cd의 제어 플래그 "0011"을 설정하고, 자막 신호 S24를 패키지 프로그램 자막 서버(67)에 출력한다. 패키지 프로그램 자막 서버(67)는 자막 신호 S24를 VBI 캡쳐 플래그 설정 유닛(68)에 제공한다. VBI 캡쳐 플래그 설정 유닛(68)은, 제어 플래그 "O011"가 VBI 동안에 전술한 위치(도 5 참조)에 포함하는 자막 신호 S25를, 자막 신호 합성 장치(69)에 제공한다. 자막 신호 합성 장치(69)는, 상기의 제어 플래그가 설정된 자막 신호 S25와 영상 신호 S12를 합성하여 자막 첨부 영상 신호 S10를 구성하고, 이 자막 첨부 영상 신호 S10을 자막 첨부 정지 화상 컨텐츠 작성 장치(30) 및 제어 플래그 소거 유닛(30)에 공급한다. 이와 같이 하여, 패키지 자막 방송 프로그램의 자막 첨부 영상 신호가 생성된다.
(자막 첨부 정지 화상 컨텐츠 작성 장치)
다음에, 자막 첨부 정지 화상 컨텐츠 작성 장치에 대하여 설명한다. 도 9는 자막 첨부 정지 화상 컨텐츠 작성 장치(30)의 주요 구성을 나타낸다. 도 9에 있어서, 자막 첨부 영상 신호 수신 유닛(81)은 전술한 자막 방송 송출 시스템(20)으로부터 자막 첨부 영상 신호를 수신하고, 영상 신호 S31를 VBI 추출 유닛(82) 및 영상 신호 캡쳐 유닛(85)에 공급한다. VBI 추출 유닛(82)은 자막 첨부 영상 신호 S31의 VBI으로부터 전술한 제어 플래그 S32를 추출하여 제어 타이밍 생성 유닛(83)에 제공한다. 제어 타이밍 생성 유닛(83)은, 제어 플래그 S32에 따라 영상 신호 프레임 화상을 캡쳐하는 타이밍을 나타내는 타이밍 신호 S35를 생성하고, 이 타이밍 신호 S35를 영상 신호 캡쳐 유닛(85)에 제공한다. 영상 신호 캡쳐 유닛(85)은 타이밍 신호 S35에 따라 영상 신호 S31 중의 특정 프레임 화상을 캡쳐하고, 이 특정 프레임 화상을 정지 화상 신호 S37로서 정지 화상/자막 합성 유닛(86)에 제공한다.
한편, 제어 타이밍 생성 유닛(83)은, 제어 플래그 S32에 따라 자막 신호로부 터 자막 데이터 S33를 추출하여, 자막 문자 폰트 생성 유닛(84)에 제공한다. 자막 문자 폰트 생성 유닛(84)은, 자막 데이터 S33에 기초하여, 자막 문자 폰트 S36을 생성하고, 정지 화상/자막 합성 유닛(86)에 제공한다.
정지 화상/자막 합성 유닛(86)은 자막 문자 폰트 S36과 정지 화상 신호 S37을 합성하여 자막 첨부 정지 화상 S38을 작성하고, 자막 첨부 정지 화상 컨텐츠 저장 유닛(87)에 보낸다. 자막 첨부 정지 화상 컨텐츠 저장 유닛(87)은 복수의 자막 첨부 정지 화상을 시계열로 배열하고, 자막 첨부 정지 화상 컨텐츠로서 저장한다. 즉, 자막 첨부 정지 화상 컨텐츠는 복수의 자막 첨부 정지 화상이 시계열로 배열된 컨텐츠이며, 복수의 자막 첨부 정지 화상과 그들의 순서를 나타내는 시간 정보 또는 순서 정보를 포함한다.
다음에, 자막 첨부 정지 화상 컨텐츠 작성 장치의 실시예에 대하여 설명한다. 도 10은 자막 첨부 정지 화상 컨텐츠 작성 장치의 실시예의 구성을 나타낸다. 도 10에서, 자막 방송 송출 시스템(20)으로부터 공급된 자막 첨부 영상 신호 S51은 트랜스코더(101)에 입력된다. 자막 첨부 영상 신호 S51은 NTSC 신호(D2 신호)로서 입력되고, 트랜스코더(101)는 이것을 VBI 분리 유닛(103)에 출력하는 동시에 RGB 신호(D1)로 변환하여 신호 S56로서 RGB 인터페이스(102)에 공급한다. VBI 분리 유닛(103)은 영상 신호로부터 VBI를 분리하여, VBI 신호 S52로서 VBI 패킷 캡쳐 유닛(104) 및 영상 캡쳐 플래그 검출 유닛(105)에 공급한다. VBI 패킷 캡쳐 유닛(104)은 VBI 신호 S52로부터 자막 데이터 S53을 추출하여, 자막 데이터 디코드/문자 렌더링 제어 유닛(110)에 공급한다. 자막 데이터 디코드/문자 렌더링 제어 유닛(110)은 자막 데이터 S53를 디코드하여 자막의 문자를 취득하며, 또한 ROM 등에 의해 구성되는 자막 폰트 DB(111)로부터 대응하는 문자 폰트를 취득하여 문자 렌더링을 행하고, 생성된 문자 화상 S54를 영상/자막 합성 및 압축 유닛(112)에 제공한다.
한편, 영상 캡쳐 플래그 검출 유닛(105)은 VBI 신호 S52로부터 전술한 제어 플래그를 추출하여, 영상 캡쳐 타이밍 생성 유닛(106)에 제공한다. 영상 캡쳐 타이밍 생성 유닛(106)은, 제어 플래그의 내용을 기초로 영상 신호 중의 특정 프레임 화상의 캡쳐 타이밍 신호 S55를 생성하여, 프레임 지연 카운터(107) 및 프레임 메모리(108)에 제공한다. 프레임 지연 카운터(107)는 RGB 인터페이스(102)로부터 영상 신호 S56이 제공되며, 영상 신호 S56 중의 캡쳐 타이밍 신호가 나타낸 프레임 화상을 특정하고, 이 프레임 화상을 캡쳐하여 정지 화상으로서 프레임 메모리(108)에 일시적으로 기억시킨다. 프레임 지연 카운터(107)는, 필요에 따라, 정지 화상으로 캡쳐해야 할 프레임 화상을 수 프레임의 범위 내에서 전후의 프레임 화상으로 변경하는 것도 가능하다. 프레임 메모리(108)에 기억된 정지 화상은, 캡쳐된 정지 화상 S57로서 영상/자막 합성 및 압축 유닛(112)에 제공된다.
영상/자막 합성 및 압축 유닛(112)은 인터레이스/플리커 제거 공간 필터링 등의 소정의 처리를 행하고, 그 후 자막의 문자 화상 S54와 정지 화상 S57을 합성하며, 합성 후의 정지 화상을 예를들면 JPEG로 압축하여 자막 첨부 정지 화상(120)으로서 출력한다. 이와 같이 하여 작성된 복수의 자막 첨부 정지 화상(120)은 메모리 등에 일시적으로 기억되고, 그들의 순서를 나타내는 정보가 부가된 상태에서 자막 첨부 정지 화상 컨텐츠로서 완성된다.
[다른 실시예]
상기의 실시예는 자막 첨부 영상 신호가 아날로그 TV 영상 신호인 경우를 나타내고 있으나, 본 발명은 자막 첨부 영상 신호가 디지털 TV 영상 신호인 경우에도 적용할 수 있다.
도 11을 참조하여 디지털 TV 영상 신호의 경우의 제어 플래그의 설정 방법에 대하여 설명한다. ARIB 표준 규격에서는, 자막의 전송 방법으로서, 먼저 페이지 단위의 자막 데이터를 포함하는 자막 데이터 유닛을 데이터 그룹으로서 구성하고, 이것을 데이터 바이트로 포함된 PES(Packetized Elementary Stream)로서 TS(Transport Stream)에 실어 방송하는 것으로 규정하고 있다. 본 발명의 취지로부터, 제어 플래그는 자막 페이지 단위로 전송할 필요가 있지만, 각각의 자막 페이지에 대하여 적어도 1개의 PES가 생성되므로, 제어 플래그는 PES 내의 어느 곳인가에 포함되는 것이 적합하다.
도 11에는 데이터 그룹으로부터 PES까지의 계층 구조와 제어 플래그의 위치가 도시되어 있다. 도 11에 도시한 바와 같이, 데이터 그룹 내에는 제어 플래그의 수용에 적절한 장소가 없기 때문에, 한 가지 방법으로서, PES 헤더 내의 128 바이트의 프라이버트 데이터 영역에 전술한 4 비트의 제어 비트를 확보하고, 제어 플래그를 설정하는 방법이 있다. 이 영역은 사업자가 사용 가능하므로 가장 바람직한 것으로 생각할 수 있다.
또 다른 방법으로서, 페이지 단위의 PES, 데이터 그룹 및 자막 문자 데이터 등의 기존 데이터 구조의 일부에 새로운 필드를 추가하여 제어 플래그를 수용하는 방법을 생각할 수 있다. 그러나, 이 경우는 ARIB의 표준 규격에서 벗어나므로, 관련 장치의 호환성을 고려할 필요가 있다. 이에 추가하여, 제어 플래그가 설정된 신호는 방송국 내에만 사용되는 것으로 하고, 방송 전에 소거할 필요가 있다.
또한, 다른 방법으로서, 자막 데이터 및 자막 PES 등과는 별도로, 제어 플래그의 생성 기기에서부터 자막 첨부 정지 화상 컨텐츠 작성 장치(30)까지 독립적인 데이터 전송로를 설치하고, 그 전송로를 이용하여, 제어 플래그를 자막 첨부 정지 화상 컨텐츠 작성 장치(30)에 공급하는 것으로 해도 된다. 이 경우, 그와 같은 별도의 전송로가 필요하지만, 영상 신호에 제어 플래그를 삽입하지 않기 때문에, 방송 전에 이들을 소거하는 등의 작업은 불필요하게 된다.
디지털 TV 영상 신호의 경우, 자막 방송 송출 시스템(20) 및 자막 첨부 정지 화상 컨텐츠 작성 장치(30)의 구성은, 디지털 TV 영상 신호에 대하여 자막 데이터의 추출, 정지 화상의 캡쳐 및 그 외의 처리가 수행된다는 점에서, 아날로그 TV 영상 신호의 경우의 구성과 상이하다. 그러나, 처리 자체는 아날로그 TV 영상 신호의 경우와 마찬가지로 실행된다.
이상, 일본에서의 아날로그 방송 및 디지털 방송의 텔레텍스트(teletext) 서비스에서의 자막 데이터 전송 포맷을 기초로 제어 플래그를 전송하여 자막 첨부 정지 화상의 캡쳐를 제어하는 실시예에 대하여 설명하였다. 본 발명의 정지 화상 컨텐츠 작성 방법은, 제어 플래그의 전송로를 적절히 선택함으로써, 세계 각국의 다양한 텔레텍스트 방식에도 적용할 수 있다는 것은 자명하다.
예컨대, 미국의 텔레텍스트 서비스에서의 클로즈드 캡션의 경우, 아날로그 방송에서는, CEA-608-B 규격(Line 21 Data Services)에 근거하여, 캡션 페이지를 전송하는 텔레텍스트 레코드의 레코드 헤더 내에서 확장할 수 있는 옵션의 헤더 확장 필드를 이용하고, 이 필드 내에서 플래그를 전송할 수도 있다. 또한, 디지털 방송의 경우에는, CEA-708-B 규격(Digital Television(DTV) Closed Captioning)에 근거하여, MPEG-2 비트 스트림의 VIDEO 사용자 비트에 의해 전송되는 캡션 데이터 내에서 마찬가지의 플래그를 전송하고, 그 캡쳐를 제어하는 것이 가능하다.
[변형예]
상기의 실시예에서는, 도 1에 나타낸 바와 같이, 자막 첨부 정지 화상 컨텐츠 작성 장치(30)가 방송국(10) 내에 설치되며, 방송국(10) 내에서 자막 첨부 정지 화상 컨텐츠(42)가 작성된다. 이 경우, 방송국(10)으로부터의 방송파(40)에 있어서는, 자막 방송 송출 시스템(20)이 설정한 제어 플래그가 제어 플래그 소거 유닛(70)(도 8)에 의해 소거되고 있다.
한편, 방송국(10)으로부터의 방송파(40)에 포함되는 자막 첨부 영상 신호 내에 제어 플래그를 포함하여 방송 가능한 경우에는, 도 12에 나타낸 바와 같이, 자막 첨부 정지 화상 컨텐츠 작성 장치(56)를 사용자 환경 내에 형성함으로써, 사용자 자신이 자막 첨부 정지 화상 컨텐츠를 작성하는 것이 가능해진다.
이 경우, 자막 첨부 정지 화상 컨텐츠 작성 장치(56)는 기본적으로 방송국(10)에 설치되는 것과 동일한 것이어도 된다. 이 경우, 자막 첨부 정지 화상 컨텐츠 작성 장치는 그 기능을 TV 프로그램 등을 녹화하는 하드 디스크 레코더나 DVD 레코더의 내부에 탑재할 수도 있다. 또한, 자막 첨부 정지 화상 컨텐츠 작성 장치를 전용 장치로서가 아니라 PC 등의 컴퓨터 상에서 동작 가능한 소프트 웨어(즉, 자막 첨부 정지 화상 컨텐츠 작성 프로그램)로서 구성하고, 사용자의 PC에 인스톨하여 동작시키도록 할 수도 있다.
다른 변형예로서, 휴대 전화기의 텔레비전 수신 기능을 이용하여, 자막 데이터를 갖는 정지 화상 컨텐츠를 생성, 기록 및 표시하는 것도 가능하다. 이 변형예는 도 12에 도시된 사용자 환경(50)에서의 단말기 장치(54)에 TV 수신기(52), 자막 첨부 정지 화상 컨텐츠 작성 장치(56), 자막 첨부 정지 화상 컨텐츠(42) 등이 모두 포함되도록 한 구성에 상당한다.
이동체에 대한 1 세그먼트의 지상 디지털 방송에 의해, 간이 동영상, 음성 외에 옵션이기는 하지만 자막도 데이터 방송으로서 방송된다. 도 11에 관련하여 전술한 디지털 방송에서의 캡쳐 제어 플래그의 전송이 이 경우에도 적용된다.
휴대 전화기에 1 세그먼트의 디지털 TV 방송을 수신하는 기능을 부가하는 동시에, 휴대 전화기에 부가되는 카드 메모리 등의 데이터 저장 기능을 사용함으로써, 전용의 어플리케이션 프로그램에 의해, 간이 동영상을 자막 표시의 타이밍마다 하나의 정지 화상으로서 자동적으로 캡쳐하고, 자막 데이터와 조합시켜 메모리에 저장한다. 1 세그먼트의 지상 디지털 자막 방송에서는, 채용된 방송 규격의 관계상, 방송국이 의도하는 화면 내의 위치에 자막이 표시되는 통상의 자막 방송과는 달리, 자막의 표시 형식과 그 위치가 제작자의 재량에 좌우되어, 어느 정도는 자유도를 갖는다. 따라서, 자막 첨부 정지 화상을 기록할 때에, 정지 화상에 자막을 중첩한 다음 기록하는 방법도 실시 가능하다. 그러나, 정상 화상 데이터와 자막 데이터를 페이지 단위로 1조의 것으로서 저장하는 것이 표시 기능의 자유도를 더 크게 활용할 수 있다.
메모리 내에 저장된 정지 화상과 자막 데이터는 휴대 전화기 내에 설치된 인터넷 표시용 HTML 브라우저 또는 데이터 방송 표시용 BML 브라우저 등을 이용하여 표시하는 것이 가능하다.
이상 설명한 바와 같이, 본 발명에 따른 자막 첨부 정지 화상 컨텐츠는, 자막 방송 프로그램을 구성하는 정지 화상에, 해당 자막 방송 동안에 표시되는 자막을 합성한 컨텐츠이다. 전술한 바와 같이, 자막 방송 프로그램 중의 자막은, 음성을 듣지 않아도 프로그램 내용을 충분히 이해할 수 있도록 작성된 고품질의 정보이므로, 사용자는 자막 첨부 정지 화상 컨텐츠를 열람함으로써, 해당 자막 방송 프로그램을 시청한 경우와 비교하여 동등한 정보를 얻을 수 있다. 또한, 본 발명에 따른 자막 첨부 정지 화상 컨텐츠는, 청각 장애자 뿐만 아니라 일반 사용자가 예를 들면 기차 안이나 공공의 장소 등에서와 같이 음성으로 출력하는 것이 적절하지 않은 환경에서 컨텐츠를 사용하는 경우에도 우수하다.
본 발명은 자막 방송 등의 자막 첨부 영상 신호로부터 자막이 첨부된 정지 화상 컨텐츠를 작성하는 장치 및 프로그램을 제공한다. 본 발명의 컨텐츠 작성 장치는 방송국 내에 설치되는 전용 장치로 할 수도 있고, 또한 가정에 설치되는 DVD 레코더, HDD 레코더 등의 기록/재생 장치에 내장할 수도 있다. 또한, 본 발명의 컨텐츠 작성 장치는 가정에 설치되는 퍼스널 컴퓨터에서 실행되는 프로그램으로서 기록 매체 또는 통신 회선을 통해 제공하는 것도 가능하다.

Claims (9)

  1. 자막 첨부 정지 화상 컨텐츠 작성 장치에 있어서,
    자막 첨부 영상 신호를 수신하는 수신 유닛;
    상기 자막 첨부 영상 신호로부터 자막 신호 및 컨텐츠의 작성을 위한 제어 신호를 추출하는 추출 유닛;
    상기 제어 신호에 기초하여 상기 영상 신호 내에서 화상을 캡쳐하는 정지 화상 캡쳐 유닛;
    상기 자막 신호에 기초하여 자막 화상을 생성하는 자막 화상 생성 유닛; 및
    상기 자막 화상과 상기 정지 화상을 합성하여, 자막 첨부 정지 화상 컨텐츠를 작성하는 작성 유닛
    을 포함하는 자막 첨부 정지 화상 컨텐츠 작성 장치.
  2. 제1항에 있어서,
    상기 정지 화상 캡쳐 유닛은 각각의 상기 자막 신호에 대응하는 상기 영상 신호 내에서 정지 화상을 캡쳐하는, 자막 첨부 정지 화상 컨텐츠 작성 장치.
  3. 제1항에 있어서,
    상기 영상 신호는 녹화된 자막 방송의 영상 신호이며,
    상기 추출 유닛은 상기 영상 신호 내에서 상기 자막 신호를 갖는 프레임으로 부터 상기 자막 신호 및 상기 제어 신호를 추출하며,
    상기 정지 화상 캡쳐 유닛은 상기 프레임의 화상을 캡쳐하는,
    자막 첨부 정지 화상 컨텐츠 작성 장치.
  4. 제1항에 있어서,
    상기 영상 신호는 실시간 자막 방송의 영상 신호이며,
    상기 추출 유닛은 상기 영상 신호 내에서 상기 자막 신호를 갖는 프레임으로부터 상기 자막 신호 및 상기 제어 신호를 추출하며,
    상기 정지 화상 캡쳐 유닛은 상기 프레임으로부터 시간적으로 후방에 위치하는 또 다른 프레임의 화상을 캡쳐하는,
    자막 첨부 정지 화상 컨텐츠 작성 장치.
  5. 제1항에 있어서,
    상기 영상 신호는 아날로그 텔레비전 신호이며,
    상기 추출 유닛은 상기 아날로그 텔레비전 신호 내에서 자막 신호를 포함하는 프레임의 수직 귀선소거 구간(VBI)으로부터 상기 제어 신호를 추출하는,
    자막 첨부 정지 화상 컨텐츠 작성 장치.
  6. 제1항에 있어서,
    상기 영상 신호는 디지털 텔레비전 신호이며,
    상기 추출 유닛은 상기 디지털 텔레비전 신호 내에서 자막 신호를 갖는 PES(Packetized Elementary Stream) 중의 프라이버트 데이터(private data)로부터 상기 제어 신호를 추출하는, 자막 첨부 정지 화상 컨텐츠 작성 장치.
  7. 컴퓨터 단말기에 의해 판독 가능한 매체 내의 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 단말기에 의해 실행됨으로써, 상기 컴퓨터 단말기를,
    자막 첨부 영상 신호를 수신하는 수신 유닛과,
    상기 자막 첨부 영상 신호로부터 자막 신호 및 컨텐츠 작성을 위한 제어 신호를 추출하는 추출 유닛과,
    상기 제어 신호에 기초하여, 상기 영상 신호 내에서 화상을 캡쳐하는 정지 화상 캡쳐 유닛과,
    상기 자막 신호에 기초하여 자막 화상을 생성하는 자막 화상 생성 유닛과,
    상기 자막 화상과 상기 정지 화상을 합성하여, 자막 첨부 정지 화상 컨텐츠를 작성하는 작성 유닛
    으로서 기능하게 하는, 컴퓨터 프로그램 제품.
  8. 자막 첨부 영상 신호 생성 장치와, 정지 화상 컨텐츠 작성 장치를 포함하는 자막 첨부 정지 화상 컨텐츠 작성 시스템에 있어서,
    상기 자막 첨부 영상 신호 생성 장치는,
    영상 신호 및 자막 신호를 수신하는 수신 유닛,
    자막이 실시간 자막인지의 여부에 기초하여 제어 신호를 생성하는 제어 신호 생성 유닛, 및
    상기 자막 신호와 상기 영상 신호를 합성하고, 상기 제어 신호를 소정의 위치에 삽입하여 자막 첨부 영상 신호를 생성하는 신호 생성 유닛을 포함하며,
    상기 정지 화상 컨텐츠 작성 장치는,
    상기 자막 첨부 영상 신호를 수신하는 수신 유닛,
    상기 자막 첨부 영상 신호로부터 상기 자막 신호 및 상기 제어 신호를 추출하는 추출 유닛,
    상기 제어 신호에 기초하여, 상기 영상 신호 내에서 화상을 캡쳐하는 정지 화상 캡쳐 유닛,
    상기 자막 신호에 기초하여 자막 화상을 생성하는 자막 화상 생성 유닛, 및
    상기 자막 화상과 상기 정지 화상을 합성하여, 자막 첨부 정지 화상 컨텐츠를 작성하는 작성 유닛을 포함하는,
    자막 첨부 정지 화상 컨텐츠 작성 시스템.
  9. 제8항에 있어서,
    상기 제어 신호 생성 유닛은,
    상기 자막이 실시간 자막이 아닌 경우에는, 상기 자막 신호 및 상기 제어 신호가 추출되는 프레임 화상을 상기 정지 화상 캡쳐 유닛에 의해 캡쳐해야 할 화상으로 지정하고, 상기 자막이 실시간 자막인 경우에는, 상기 자막 신호 및 상기 제 어 신호가 추출되는 프레임 화상보다 시간적으로 후방에 위치하는 또 다른 프레임 화상을 상기 정지 화상 캡쳐 유닛에 의해 캡쳐해야 할 화상으로 지정하는, 제어 신호를 생성하는,
    자막 첨부 정지 화상 컨텐츠 작성 시스템.
KR1020077011631A 2004-11-02 2005-07-22 자막 첨부 정지 화상 컨텐츠 작성 장치, 자막 첨부 정지화상 컨텐츠 작성 프로그램 및 자막 첨부 정지 화상 컨텐츠작성 시스템 KR100965471B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00319389 2004-11-02
JP2004319389 2004-11-02

Publications (2)

Publication Number Publication Date
KR20070084471A true KR20070084471A (ko) 2007-08-24
KR100965471B1 KR100965471B1 (ko) 2010-06-24

Family

ID=36318980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077011631A KR100965471B1 (ko) 2004-11-02 2005-07-22 자막 첨부 정지 화상 컨텐츠 작성 장치, 자막 첨부 정지화상 컨텐츠 작성 프로그램 및 자막 첨부 정지 화상 컨텐츠작성 시스템

Country Status (5)

Country Link
US (1) US20090009661A1 (ko)
EP (1) EP1809028A4 (ko)
JP (1) JP4616274B2 (ko)
KR (1) KR100965471B1 (ko)
WO (1) WO2006048963A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140044855A (ko) * 2011-07-20 2014-04-15 소니 주식회사 트리거 압축을 위한 방법, 컴퓨터 프로그램, 수신 장치, 및 정보 제공 장치
US9906820B2 (en) 2015-07-06 2018-02-27 Korea Advanced Institute Of Science And Technology Method and system for providing video content based on image
US9973793B2 (en) 2013-12-04 2018-05-15 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for processing video image

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4544166B2 (ja) * 2006-01-30 2010-09-15 ダイキン工業株式会社 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
JP2007324872A (ja) * 2006-05-31 2007-12-13 Tv Asahi Data Vision Corp 字幕付き映像信号の遅延制御装置及び遅延制御プログラム
KR20080057847A (ko) * 2006-12-21 2008-06-25 삼성전자주식회사 방송수신장치 및 이의 오픈 캡션 정보 저장 방법
DE602008004665D1 (de) * 2007-08-09 2011-03-03 Inlet Technologies Raleigh Bewahrung von untertiteln durch videotranskodierung
JP5173337B2 (ja) * 2007-09-18 2013-04-03 Ｋｄｄｉ株式会社 要約コンテンツ生成装置およびコンピュータプログラム
AU2009200990A1 (en) 2008-03-13 2009-10-01 Aristocrat Technologies Australia Pty Limited Method and system of distributing progressive gaming related information
US8249423B2 (en) * 2008-05-08 2012-08-21 Sony Ericsson Mobile Communications Ab Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams
US9202460B2 (en) * 2008-05-14 2015-12-01 At&T Intellectual Property I, Lp Methods and apparatus to generate a speech recognition library
US9077933B2 (en) 2008-05-14 2015-07-07 At&T Intellectual Property I, L.P. Methods and apparatus to generate relevance rankings for use by a program selector of a media presentation system
US9021522B2 (en) 2008-12-10 2015-04-28 Microsoft Technology Licensing, Llc Concurrent interactive television for network connected devices
US8813164B2 (en) * 2009-11-30 2014-08-19 Sony Corporation Data tunneling via closed captioning
US9026446B2 (en) * 2011-06-10 2015-05-05 Morgan Fiumi System for generating captions for live video broadcasts
US8749618B2 (en) 2011-06-10 2014-06-10 Morgan Fiumi Distributed three-dimensional video conversion system
US8532469B2 (en) 2011-06-10 2013-09-10 Morgan Fiumi Distributed digital video processing system
ES2370900B1 (es) * 2011-08-12 2012-10-30 Universidad Carlos Iii De Madrid Método de difusión.
JP2012019538A (ja) * 2011-09-05 2012-01-26 Nec Casio Mobile Communications Ltd 映像記録装置及びプログラム
WO2013077060A1 (ja) * 2011-11-22 2013-05-30 日本放送協会 受信機、プログラム及び受信方法
KR102267861B1 (ko) 2012-06-19 2021-06-23 소니그룹주식회사 대화형 텔레비전을 위한 트리거 파라미터 테이블의 확장
JP6301616B2 (ja) * 2013-09-06 2018-03-28 株式会社東芝 電子機器、電子機器の制御方法、及びシーン制御プログラム
US10769731B2 (en) * 2016-01-26 2020-09-08 Facebook, Inc. Adding paid links to media captions in a social networking system
JP2018029290A (ja) * 2016-08-18 2018-02-22 株式会社東芝 動画再生装置、動画再生システム、および動画再生方法
US10750644B2 (en) 2018-01-05 2020-08-18 Quanta Computer Inc. Rear side swappable fan array module design
US11906651B2 (en) 2021-02-25 2024-02-20 Nxp B.V. Radar-based detection using sparse array processing
US11927664B2 (en) 2021-02-25 2024-03-12 Nxp B.V. Radar-based detection using angle of arrival estimation based on sparse array processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845088A (en) * 1992-11-16 1998-12-01 Multimedia Systems Corporation Method for the production and transmission of enhanced interactive multimedia information
JPH08322046A (ja) * 1995-03-20 1996-12-03 Sony Corp データ符号化／復号化方法および装置、および符号化データ記録媒体
US5884056A (en) * 1995-12-28 1999-03-16 International Business Machines Corporation Method and system for video browsing on the world wide web
JPH10234016A (ja) * 1997-02-21 1998-09-02 Hitachi Ltd 映像信号処理装置及びそれを備えた映像表示装置及び記録再生装置
US6473778B1 (en) * 1998-12-24 2002-10-29 At&T Corporation Generating hypermedia documents from transcriptions of television programs using parallel text alignment
US6647535B1 (en) * 1999-03-18 2003-11-11 Xerox Corporation Methods and systems for real-time storyboarding with a web page and graphical user interface for automatic video parsing and browsing
WO2000072591A1 (en) * 1999-05-20 2000-11-30 Koninklijke Philips Electronics N.V. Method and arrangement for transmitting and receiving encoded images
US7738706B2 (en) * 2000-09-22 2010-06-15 Sri International Method and apparatus for recognition of symbols in images of three-dimensional scenes
US7031553B2 (en) * 2000-09-22 2006-04-18 Sri International Method and apparatus for recognizing text in an image sequence of scene imagery
JP2003288096A (ja) * 2002-03-27 2003-10-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ情報配信方法、コンテンツ情報配信装置、コンテンツ情報配信プログラム
JP2003134064A (ja) * 2001-10-26 2003-05-09 Hitachi Ltd デジタル放送補完方法およびデジタル放送受信システム
JP2004128872A (ja) * 2002-10-02 2004-04-22 Canon Inc 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US7250983B2 (en) * 2004-08-04 2007-07-31 Trident Technologies, Inc. System and method for overlaying images from multiple video sources on a display device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140044855A (ko) * 2011-07-20 2014-04-15 소니 주식회사 트리거 압축을 위한 방법, 컴퓨터 프로그램, 수신 장치, 및 정보 제공 장치
KR20140047658A (ko) * 2011-07-20 2014-04-22 소니 주식회사 대화형 텔레비전을 위한 트리거 파라미터 테이블의 확장
US20150195605A1 (en) 2011-07-20 2015-07-09 Sony Corporation Extensions to trigger parameters table for interactive television
US10341715B2 (en) 2011-07-20 2019-07-02 Saturn Licensing Llc Extensions to trigger parameters table for interactive television
US9973793B2 (en) 2013-12-04 2018-05-15 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for processing video image
US9906820B2 (en) 2015-07-06 2018-02-27 Korea Advanced Institute Of Science And Technology Method and system for providing video content based on image

Also Published As

Publication number Publication date
US20090009661A1 (en) 2009-01-08
KR100965471B1 (ko) 2010-06-24
WO2006048963A1 (ja) 2006-05-11
JPWO2006048963A1 (ja) 2008-05-22
EP1809028A1 (en) 2007-07-18
JP4616274B2 (ja) 2011-01-19
EP1809028A4 (en) 2009-10-28

Similar Documents

Publication Publication Date Title
KR100965471B1 (ko) 자막 첨부 정지 화상 컨텐츠 작성 장치, 자막 첨부 정지화상 컨텐츠 작성 프로그램 및 자막 첨부 정지 화상 컨텐츠작성 시스템
JP5173337B2 (ja) 要約コンテンツ生成装置およびコンピュータプログラム
CN100477757C (zh) 数字广播接收设备及其控制方法
EP2356654B1 (en) Method and process for text-based assistive program descriptions for television
JP4448477B2 (ja) 字幕付き映像信号の遅延制御装置及び遅延制御プログラム
US20100238303A1 (en) Systems and methods for memorializing a viewer&#39;s viewing experience
US11812100B2 (en) Apparatus, systems and methods for accessing information based on an image presented on a display
KR100731189B1 (ko) 신호처리장치, 화상표시장치 및 화상표시방법
JPH09162821A (ja) 多重放送システムとこのシステムで使用される放送送信装置および放送受信装置
JP2004080476A (ja) ディジタル映像再生装置
JP2007324872A (ja) 字幕付き映像信号の遅延制御装置及び遅延制御プログラム
JP2003500946A (ja) 符号化された画像を送信及び受信する方法及び装置
KR100713517B1 (ko) 메타 데이터를 이용한 녹화가 가능한 ｐｖｒ과 그 녹화제어 방법
JP5110978B2 (ja) 送信装置、受信装置及び再生装置
JP5649769B2 (ja) 放送受信装置
JP2008098793A (ja) 受信装置
US20020154245A1 (en) Digital broadcast receiving apparatus and control method therefor
JP4664173B2 (ja) 字幕隠蔽放送に係る送信装置、再生装置、それらの方法
JP2002077872A (ja) データ多重放送を利用する取引方法
JP2006148870A (ja) 信号処理装置、信号処理方法、信号処理プログラム、番組再生装置、画像表示装置及び画像表示方法
KR100618227B1 (ko) 영상표시기기의 자막 처리장치 및 방법
KR20060074230A (ko) 디지털 캡션을 이용한 개인적인 데이터 삽입 장치 및 그방법
KR20030030687A (ko) 셋탑박스의 캡션 신호 처리 장치
EP3554092A1 (en) Video system with improved caption display
JP2003298542A (ja) デジタル放送送信機、デジタル放送送信方法、デジタル放送受信機および識別子付与装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130607

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140610

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150605

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160603

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170602

Year of fee payment: 8