JP4210724B2 - Subtitle program receiving system - Google Patents

Subtitle program receiving system Download PDF

Info

Publication number
JP4210724B2
JP4210724B2 JP7832499A JP7832499A JP4210724B2 JP 4210724 B2 JP4210724 B2 JP 4210724B2 JP 7832499 A JP7832499 A JP 7832499A JP 7832499 A JP7832499 A JP 7832499A JP 4210724 B2 JP4210724 B2 JP 4210724B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
caption
presentation
subtitle
text
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7832499A
Other languages
Japanese (ja)
Other versions
JP2000278622A (en )
Inventor
暉将 江原
英治 沢村
克彦 白井
孝博 福島
Original Assignee
日本放送協会
日本電気株式会社
独立行政法人情報通信研究機構
財団法人エヌエイチケイエンジニアリングサービス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、現行字幕放送下であっても、視聴者側でその字幕提示形式を好みに応じて選択可能な字幕番組受信システムに係り、特に、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報の検出、及び映像との合成処理を自動設定し、選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムに関する。 The present invention, even under the current subtitle broadcast relates to subtitle program receiving system can be selected according to preference the subtitle presentation format viewers side, in particular, with the video and audio, subtitles to be presented It assumes that the broadcast radio wave including a caption text text that is a group is sent, and subtitle statement text that is separated out from the broadcast radio waves received, from a caption presentation format selected by the viewer, the caption text text conversion to presentation unit, the detection of the timing information corresponding thereto, and automatically sets the combining processing with the video, relates subtitle program receiving system which enables view subtitle program according to the selected subtitle presentation format.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
現代は高度情報化社会と一般に言われているが、聴覚障害者は健常者と比較して情報の入手が困難な状況下におかれている。 Modern but is said to advanced information society and the general, deaf on obtaining the information as compared to healthy subjects have been placed under a difficult situation.
【0003】 [0003]
すなわち、例えば、情報メディアとして広く普及しているTV放送番組を例示して、日本国内の全TV放送番組に対する字幕番組の割合に言及すると、欧米では33〜70%に達しているのに対し、わずか10%程ときわめて低いのが現状である。 That is, for example, illustrates a TV broadcast program which is widely used as information media, when referring to the percentage of the subtitle program for all TV broadcast program in Japan, in the West whereas has reached 33-70%, it is very low for the status quo and only about 10 percent.
【0004】 [0004]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
上述した現状を打破して映像及び/又は音声に対して字幕を合成した字幕番組を広く一般に普及させることを目的として、本発明者らは、あらゆる観点から字幕番組関連技術について鋭意研究を進めているところである。 Purposes to overcome the above-mentioned current situation be become popular widely subtitle program obtained by combining the subtitle to the video and / or audio, the present inventors have proceed with extensive research subtitle program related art all aspects it is where you are.
【0005】 [0005]
さて、こうした字幕番組を広く一般に普及させるにあたり、字幕が読みやすく、かつ理解しやすいものであることがきわめて重要である。 Now, when to disseminate to the general public such a subtitle program, subtitles are easy to read, and it is very important is that easy to understand.
【0006】 [0006]
そこで、本発明者らは、視聴者にとっての字幕番組の理想像を探るべく、種々の字幕提示形式に従う字幕番組について、字幕の読みやすさ、理解しやすさなどを評価項目として評価実験を行った。 Accordingly, the present inventors have to explore the ideal image of a subtitle program viewer, carried subtitle programs according to various subtitle presentation format, readability of subtitles, an evaluation experiment as the evaluation items and intelligibility It was.
【0007】 [0007]
この評価結果として、表示行数、文字サイズ、文字修飾、字幕転換法など基本的な字幕提示形式にもその好みの個人差が大きくあらわれ、評価者によっては特定の字幕提示形式を強く推挙する傾向もみられた。 As the results of the evaluation, the number of display lines, character size, character decoration, also appeared large individual differences in the liking to the basic subtitle presentation format such as subtitles transformation method, tend to put forward strongly the particular subtitle presentation format is by the evaluator It was also observed.
【0008】 [0008]
これは、字幕提示形式を視聴者側で選択可能な字幕番組受信システムについての潜在ニーズがきわめて大きいことを暗示しており、換言すれば、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを開発して提供すれば、広範な視聴者の多様なニーズに応えることが可能となる結果として、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができることを意味している。 This potential needs of the subtitle program receiving system can select the subtitle presentation format viewer's side have to imply that very large, in other words, you can view caption program according to the caption presentation format selected by the viewer if provided to develop subtitle program receiving system and, as a result of to meet the diverse needs of a wide audience allows, it is expected intended purpose achieving such disseminate universally subtitle program which means that you can.
【0009】 [0009]
本発明は、上述した実情に鑑みてなされたものであり、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報の検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを提供することを課題とする。 The present invention has been made in view of the above, along with video and audio, assume that the broadcast radio waves sent containing caption text text on which to base to be presented subtitle, received automated and caption text text is separated off from the broadcast radio waves, and a subtitle presentation format selected by the viewer, conversion to presentation unit of caption text text, the detection of the timing information corresponding thereto, and the synthesis process of the image set, and to provide a subtitle program receiving system which enables view subtitle program according to the caption presentation format selected by the viewer.
【0010】 [0010]
【課題を解決するための手段】 In order to solve the problems]
上記課題を解決するために、請求項1の発明は、 映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、 In order to solve the above problems, a first aspect of the invention, video and audio, as well as to receive a broadcast radio wave including a caption presentation timing information indicating a timing for presenting a caption text text and subtitles underlying subtitle, the from among the received broadcast wave, a receiving means for extracting and separating each video, audio, and caption text text,
種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、 From among various subtitle presentation format, and presentation format instruction input unit which is used to selectively instruction input a desired subtitle presentation format,
前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す機能、複数行を一つの提示単位として送られてきた字幕文テキストの二行目以降の文頭タイミング情報を演算で求めるタイミング演算機能を有する字幕抽出・蓄積・読出手段と、 And caption text text separated off by the reception unit, based on an instruction input Captioning format by the presentation format instruction input means, from among the caption text text extracts caption text in the required range , together with the temporarily storing caption text that the extracted, during the storage, keep adding beginning of a sentence timing information indicating a subtitle presentation timing of beginning of a sentence of each subtitle text, caption sentence the extracted and accumulated, the beginning of a sentence timing function to read at the timing indicated by the information, and caption extraction and accumulation and reading means having a timing calculation function for determining the beginning of a sentence timing information of the two subsequent lines of caption text text the sent multiple lines as a single presentation unit in operation,
当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換する提示形式変換手段と、 The caption text read by caption extraction and accumulation and reading means, the caption text, and based on the presentation format instruction input Captioning format instruction input means, at least one or more presentation follow this subtitle presentation format and presentation format conversion means for converting the unit caption sentence,
前記提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、 At least one or more presentation units caption text after presentation format converted by the presentation format converting means, and subtitles synthesizing means for synthesizing the video image is separated out by the receiving unit,
を備えて構成され、 It is configured to include a,
前記タイミング演算機能は、前記字幕文テキスト一行毎の文字種、文字数、又は平均的な文字読み速度から前記字幕文テキスト一行毎の表示に要する時間を演算し、前記文頭タイミング情報に加えることにより、前記字幕文テキスト各行の文頭タイミング情報を取得することを要旨とする。 The timing calculation function, the character type of each of the caption text text line, characters, or the average character read calculates the time required for display of each of the caption text text line from the speed, by adding to the beginning of a sentence timing information, the and it is required to obtain the beginning of a sentence timing information of the subtitle sentence text each line.
【0011】 [0011]
請求項1の発明によれば、まず、受信手段は、 映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す。 According to the present invention, firstly, the receiving means, video and audio, as well as to receive a broadcast radio wave including a caption presentation timing information indicating a timing for presenting a caption text text and subtitles underlying subtitle, the from among the received broadcast radio waves, it is taken out by separating each video, audio, and subtitle statement text.
【0012】 [0012]
次に、字幕抽出・蓄積・抽出手段は、受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す機能と、 複数行を一つの提示単位として送られてきた字幕文テキストの二行目以降の文頭タイミング情報を演算で求めるタイミング演算機能を有する。 Then, caption extraction, storage and extraction means includes a caption text text separated off by the reception unit, based on an instruction input Captioning format by the presentation format instruction input means, among the caption text text from extracts caption text in the required range, temporarily storing the caption text that the extracted, during the storage, keep adding beginning of a sentence timing information indicating a subtitle presentation timing of beginning of a sentence of each subtitle text, the the extracted and accumulated caption text, timing calculation for obtaining the function of reading at the timing indicated by the beginning of a sentence timing information, the second line after the caption text text sent multiple lines as a single presentation units beginning of a sentence timing information in the operation It has a function.
【0013】 [0013]
さらに、提示形式変換手段は、字幕抽出・蓄積・読出手段で読み出された字幕文を、この字幕文及び提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換する。 Furthermore, presentation format conversion means, the caption text read by caption extraction and accumulation and reading means, based on an instruction input subtitle presentation format in this caption text and presentation format instruction input means, according to the caption presentation format It is converted into at least one or more of the presentation unit caption statement.
【0014】 [0014]
そして、字幕合成手段は、提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、受信手段で分離して取り出した映像とを合成する。 The caption synthesizing means includes at least one or more presentation units caption text after presentation format conversion in presentation format converting means, and a video image is separated out by the receiving means is synthesized.
【0015】 [0015]
このように、請求項1の発明によれば、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができる。 Thus, according to the first aspect of the present invention, along with the video and audio, it assumes that the broadcast radio waves sent containing caption text text on which to base to be presented subtitle, from the broadcast waves received and caption text text separated off, and a subtitle presentation format selected by the viewer, conversion to presentation unit of caption text text, timing information detected corresponding thereto, and automatically sets the combining processing with the video viewing have as a result that enables view subtitle program according to the selected subtitle presentation format, with better meet the needs of the viewer, the desired object achieved such is spread universally subtitle program can be expected.
【0016】 [0016]
また、請求項2の発明は、 請求項1に記載の字幕番組受信システムであって、前記字幕合成手段は、前記提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを、タイミング演算機能により得られた各行の文頭タイミング情報と、提示単位字幕文に対応する映像の提示タイミング情報を比較することで時間同期を考慮しつつ合成するにあたり、前記提示単位字幕文に対応する映像の提示タイミングを、当該提示単位字幕文の提示タイミングと比較して提示形式変換による字幕の提示が遅れる分だけ時間的に遅延させることにより、前記両提示タイミングを同期させることを要旨とする。 Further, the invention of claim 2, a subtitle program receiving system according to claim 1, wherein the subtitle combining means includes at least one or more presentation units caption text after presentation format converted by the presentation format conversion means, and a video image is separated out by the receiving unit, and the beginning of a sentence timing information obtained row by the timing computing function, while taking into account the presentation unit caption sentence time by comparing the presentation timing information of a corresponding video sync Upon synthesizing, the presentation timing of the video corresponding to the presentation unit caption text, by delaying presented only delayed correspondingly temporally subtitles by presentation format conversion as compared to the presentation timing of the presentation units caption text, the and summarized in that synchronizing the two presentation timing.
【0017】 [0017]
請求項2の発明によれば、 字幕合成手段は、提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、受信手段で分離して取り出した映像とを、タイミング演算機能により得られた各行の文頭タイミング情報と、提示単位字幕文に対応する映像の提示タイミング情報を比較することで時間同期を考慮しつつ合成するにあたり、前記提示単位字幕文に対応する映像の提示タイミングを、当該提示単位字幕文が提示可能となるタイミングと比較して提示形式変換による字幕の提示が遅れる分だけ時間的に遅延させることにより、前記両提示タイミングを同期させるので、したがって、前記両提示タイミングが同期した望ましい字幕番組を提示可能な字幕番組受信システムを実現することができる。 According to the invention of claim 2, caption synthesizing means includes at least one or more presentation units caption text after presentation format conversion in presentation format converting means, and a video image is separated out by the receiving means, the timing calculation function a beginning of a sentence timing information obtained each row, when synthesized with consideration of the time synchronization by comparing the presentation timing information of images corresponding to the presentation unit caption text, the presentation timing of the video corresponding to the presentation unit caption text , by only the time-delayed partial presentation of subtitles presentation format conversion as compared to the timing of the presentation unit caption text is presentable is delayed, since synchronizing the two presentation timing, therefore, the two presentation timing There can be realized a subtitle program receiving system presentable desired subtitle program synchronized.
【0018】 [0018]
さらに、請求項3の発明は、 映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、 Further, the invention of claim 3, video and audio, as well as to receive a broadcast radio wave including a caption presentation timing information indicating a timing for presenting a caption text text and subtitles underlying subtitles, among broadcast waves the received from a receiving means for extracting and separating each video, audio, and caption text text,
種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、 From among various subtitle presentation format, and presentation format instruction input unit which is used to selectively instruction input a desired subtitle presentation format,
前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す字幕抽出・蓄積・読出手段と、 And caption text text separated off by the reception unit, based on an instruction input Captioning format by the presentation format instruction input means, from among the caption text text extracts caption text in the required range , together with the temporarily storing caption text that the extracted, during the storage, keep adding beginning of a sentence timing information indicating a subtitle presentation timing of beginning of a sentence of each subtitle text, caption sentence the extracted and accumulated, the beginning of a sentence timing and caption extraction and accumulation and reading means for reading at the timing indicated by the information,
当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換する提示形式変換手段と、 The caption text read by caption extraction and accumulation and reading means, the caption text, and based on the presentation format instruction input Captioning format instruction input means, at least one or more presentation follow this subtitle presentation format and presentation format conversion means for converting the unit caption sentence,
前記提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、 At least one or more presentation units caption text after presentation format converted by the presentation format converting means, and subtitles synthesizing means for synthesizing the video image is separated out by the receiving unit,
を備えて構成され、 It is configured to include a,
前記提示形式変換手段は、区切り可能箇所情報が付加されている字幕文を、前記字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換するにあたり、 The presentation format conversion means, upon converting the caption sentence delimiter can place information is added, at least one or more presented units caption text according the subtitle presentation format,
当該字幕文を適宜分割することで提示単位字幕配列案を作成し、前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を所望の字幕提示形式に合うように最適化することで提示単位字幕配列を確定することにより、字幕文を最適箇所で各提示単位字幕文に分割するようにして、前記字幕文を、前記字幕提示形式に従う提示単位字幕文に変換し、 Create a presentation unit caption sequence proposed by dividing the caption text as appropriate, wherein with reference to separator can point information, optimized to suit the presentation unit caption sequence draft the created desired subtitle presentation format by determining the presentation unit caption sequence by, so as to divide each presentation unit caption text subtitle text in an optimum position, and converting the caption text, the presentation unit caption text according the subtitle presentation format,
前記区切り可能箇所情報は、前記字幕文に対する改行・改頁推奨箇所に係る改行・改頁データを含んでおり、当該改行・改頁データで定義される改行・改頁推奨箇所は、第1に、直前の改行・改頁点から(N(提示する字幕一行の最大文字数)−7)文字とN文字の範囲にある句点、第2に、直前の改行・改頁点から(N−4)文字とN文字の範囲にある読点、第3に、「・」を挟む漢字もしくはカナ文字が混在したものがM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点から(N−M)文字以上で、「・」位置がN文字以下の時は「・」の後ろ、第4に、漢字もしくはカナ文字あるいはアラビア数字が混在したものがM個連続する箇所の先頭が、直前の改行・改頁点から(N−M)文字以上の時は先頭の前、第5に The delimiter can place information, the contains a newline-page break data according to line feed-page break recommended locations for caption text, line breaks, page breaks recommended locations defined in the line feed-page break data, the first , from line feed-page break point immediately before (N (maximum number of characters of the subtitle row presenting) -7) characters and N is in the range of characters punctuation, the second, the line feed-page break point immediately before (N-4) comma in the range of characters and N characters, in the third, which kanji or kana characters sandwich the "-" is a mix of (less than N, N / 4 or more) M number beginning of the successive point is, a new line just before the - in the page break point (N-M) or more characters, "-" position when the following N character behind the ".", in the fourth, which kanji or kana characters or Arabic numerals are mixed to the M consecutive the beginning of the point is, from the new line-page break point of the immediately preceding (N-M) when the characters or more before the beginning of the, to the fifth 直前の改行・改頁点から(N−3)文字後、のうちいずれか1又は複数の組み合わせを含んでおり、前記記述順の先頭から優先的に前記提示形式変換手段が提示単位字幕文に変換することを要旨とする。 From newline page break point immediately before after (N-3) characters, it includes any one or more combinations of, preferentially the presentation format converting means from the beginning of the description order is the presentation unit caption text and summarized in that the transformation.
【0019】 [0019]
請求項3の発明によれば、 提示形式変換手段は、区切り可能箇所情報が付加されている字幕文を、字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換するにあたり、当該字幕文を適宜分割することで提示単位字幕配列案を作成し、前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を最適化することで提示単位字幕配列を確定することにより、字幕文を最適箇所で各提示単位字幕文に分割するようにして、前記字幕文を、前記字幕提示形式に従う提示単位字幕文に変換するので、したがって、字幕文を字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を適用することで、見やすく読みやすい最適な提示形式変換を実現することができ、さらに区切り可能箇所情報は、前記字幕文に According to the invention of claim 3, presentation format conversion means, the caption sentence delimiter can place information is added, when converted into at least one or more presentation units caption text according subtitle presentation format, the caption text as appropriate create a presentation unit caption sequence proposed by dividing, by referring to the delimiter can point information, by determining the presentation unit caption sequence by optimizing the presentation unit caption sequence draft created in the above caption text be divided into a respective presentation unit caption text in the optimum position transformation, the caption text, since the conversion to the presentation unit caption text according the subtitle presentation format, thus, the caption text to the presenting unit caption text according Captioning format Upon that, by applying the delimiter possible location information, it is possible to realize a legible readable optimal presentation format conversion, more delimiter can point information, the caption text する改行・改頁推奨箇所に係る改行・改頁データを含んでおり、しかも、当該改行・改頁データで定義される改行・改頁推奨箇所は、第1に、直前の改行・改頁点からN(提示する字幕一行の最大文字数)−7とN文字の範囲にある句点、第2に、直前の改行・改頁点からN−4とN文字の範囲にある読点、第3に、「・」を挟む漢字・カナ文字がM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点からN−M以上で、「・」位置がN以下の時は「・」の後ろ、第4に、漢字・カナ文字・アラビア数字がM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点からN−M以上の時は先頭の前、第5に、直前の改行・改頁点からN−3文字後、のうちいずれか1又は複数の組み合わせを含んでおり、前 It includes a line feed-page break data according to line feed-page break recommended locations for, moreover, new line, form feed recommended locations defined in the line feed-page break data, the first, line feed shortly before-Aratamepejiten from N is in the range of -7 and N characters (maximum number of characters of the subtitle row presenting) period, the second, comma in the line feed-page break point immediately before the range of N-4 and N characters, the third, kanji kana characters on both sides of the "-" are M (N below, N / 4 or more) the beginning of the successive point is, from the new line-page break point immediately before N-M or more, "-" position the following N when behind the ".", in the fourth, kanji, kana characters, Arabic numerals are M (N below, N / 4 or more) the beginning of the successive point is, N-M or more from the new line-page break point just before before the beginning of the time of the fifth, after N-3 characters from line feed-page break point immediately before, it includes any one or more combinations of, before 記述順の先頭から優先的に前記提示形式変換手段が提示単位字幕文に変換するので、実情に即して高精度に最適化された提示形式変換を実現可能な字幕番組受信システムを得ることができる。 Since preferentially the presentation format converting means from the beginning of the description order is converted to a presentation unit caption sentence, to obtain a subtitle program receiving system capable of realizing the optimized presentation format conversion with reference to the situation with high precision it can.
【0020】 [0020]
さらにまた、請求項4の発明は、 請求項3に記載の字幕番組受信システムであって、前記字幕抽出・蓄積・読出手段で読み出された字幕文を要約することでその要約文を作成する要約手段をさらに備え、この場合、要約手段で作成された要約文は、字幕文として前記提示形式変換手段に与えられることを要旨とする。 Furthermore, the invention of claim 4, a subtitle program receiving system according to claim 3, to create the summary by summarizing the caption text read by the caption extraction and accumulation and reading means further comprising a summary means, in this case, summary created in summary means summarized in that applied to said presentation format converter as caption text.
【0021】 [0021]
請求項4の発明によれば、 字幕抽出・蓄積・読出手段で読み出された字幕文を要約することでその要約文を作成する要約手段をさらに備え、この場合、要約手段で作成された要約文は、字幕文として前記提示形式変換手段に与えられるので、したがって、例えば、そのまま提示したのでは冗長若しくは文字数が多過ぎる字幕文テキストが送られてきた場合であっても、これを適宜要約した字幕文を提示可能となる結果として、好ましい字幕文の提示環境を構築することができる。 According to the invention of claim 4, further comprising a summary means for creating the summary by summarizing the caption text read by caption extraction and accumulation and reading means, in this case, summaries created by summarizing means statement, since given to the presentation format converter as caption text, therefore, for example, than presented as even when the caption text text redundant or too many characters have been transmitted, summarizes this appropriate as a result that enables presenting caption text, it is possible to construct a presentation environment preferred caption text.
【0022】 [0022]
しかも、請求項5の発明は、請求項3又は4のうちいずれか一項に記載の字幕番組受信システムであって、前記作成された提示単位字幕配列案を最適化するにあたり、前記提示単位字幕配列案に対応する音声アナウンス中に所定時間を超えるポーズが有る場合には、 ポーズが入る前の音声アナウンスに対応する提示単位字幕文から提示単位字幕配列を再度作成することを要旨とする。 Moreover, the invention of claim 5 is the subtitle program receiving system according to any one of claims 3 or 4, when optimizing the presentation unit caption sequence draft created in the above, the presenting unit caption If the pause exceeds a predetermined time during a voice announcement corresponding to the arrangement proposed there is to be required to create a presentation unit caption sequence from the presentation unit caption text corresponding to the previous speech announcement pause enters again.
【0023】 [0023]
請求項5の発明によれば、前記作成された提示単位字幕配列案を最適化するにあたり、前記提示単位字幕配列案に対応する音声アナウンス中に所定時間を超える比較的長いポーズが有る場合には、このポーズが入る前の音声アナウンスに対応する提示単位字幕文から提示単位字幕配列を再度作成するので、したがって、提示単位字幕文に対応する音声アナウンス中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、相互に時間的に離れており、かつ内容的にも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるのに対し、一旦確定された提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再 According to the invention of claim 5, when optimizing the presentation unit caption sequence draft created in the above, when a relatively long pause exceeds a predetermined time during a voice announcement corresponding to the presentation unit caption sequence proposal there is since creating a presentation unit caption sequence from the presentation unit caption text corresponding to the voice announcement before the pause enters again, therefore, that the pause has over a predetermined time period during a voice announcement that corresponds to the presentation unit caption text , the presentation unit caption sentence, there is a possibility that are configured mutually are temporally spaced, and include a caption text corresponding to a plurality of different scenes in terms of content, one of these caption text One of contrast presented to the unit than were considered caption text is undesirable possibility, once the validity of the determined presented units caption text, re terms of the corresponding announcement voice 証可能となる結果として、好ましい提示単位字幕文の変換確定に多大な貢献を果たすことができる。 As a result of the possible witness, it can play a significant contribution to the conversion determination of preferred presentation unit caption text.
【0026】 [0026]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
既述したように、映像及び/又は音声に対して字幕を付与した字幕番組を広く一般に普及させることを目的として、本発明者らは、あらゆる観点から字幕番組関連技術について鋭意研究を進めているところである。 As already mentioned, the purpose is to spread universally subtitle program imparted with subtitles for the video and / or audio, the present inventors have proceeded with extensive research subtitle program related art all aspects By the way there.
【0027】 [0027]
こうした字幕番組を広く一般に普及させるにあたり、字幕が読みやすく、かつ理解しやすいものであることがきわめて重要である。 Upon disseminate such subtitles program widely general, it subtitles easier to read, and it is very important are those easy to understand.
【0028】 [0028]
そこで、本発明者らは、視聴者にとっての字幕番組の理想像を探るべく、種々の字幕提示形式に従う字幕番組について、字幕の読みやすさ、理解しやすさなどを評価項目として評価実験を行った。 Accordingly, the present inventors have to explore the ideal image of a subtitle program viewer, carried subtitle programs according to various subtitle presentation format, readability of subtitles, an evaluation experiment as the evaluation items and intelligibility It was.
【0029】 [0029]
この評価結果として、表示行数、文字サイズ、文字修飾、字幕転換法など基本的な字幕提示形式にもその好みの個人差が大きくあらわれ、評価者によっては特定の字幕提示形式を強く推挙する傾向もみられた。 As the results of the evaluation, the number of display lines, character size, character decoration, also appeared large individual differences in the liking to the basic subtitle presentation format such as subtitles transformation method, tend to put forward strongly the particular subtitle presentation format is by the evaluator It was also observed.
【0030】 [0030]
これは、字幕提示形式を視聴者側で選択可能な字幕番組受信システムについての潜在ニーズがきわめて大きいことを暗示しており、換言すれば、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを開発して提供すれば、広範な視聴者の多様なニーズに応えることが可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができることを意味している。 This potential needs of the subtitle program receiving system can select the subtitle presentation format viewer's side have to imply that very large, in other words, you can view caption program according to the caption presentation format selected by the viewer if it provided to develop subtitle program receiving system and, as a result of to meet the diverse needs of a wide audience allows, with better meet the needs of viewers, where such is spread universally subtitle program which means that it is possible to expect the achievement of the objectives of the period.
【0031】 [0031]
そこで、本発明では、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が放送局から送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能とした字幕番組受信システムを提供することを課題としている。 Therefore, in the present invention, along with the video and audio broadcast radio wave including a caption text text on which to base to be presented subtitle assumes that transmitted from the broadcasting station, is separated off from the broadcast waves received from the caption text text, the caption presentation format selected by the viewer was, converted into presentation units caption text text, timing information detected corresponding thereto, and automatically sets the combining processing with the video, the viewer has selected It has an object to provide a subtitle program receiving system which enables view subtitle program according to the caption presentation format.
【0032】 [0032]
以下に、本発明に係る字幕番組受信システムの一実施形態について、図に基づいて詳細に説明する。 Hereinafter, an embodiment of a subtitle program receiving system according to the present invention will be described in detail with reference to FIG.
【0033】 [0033]
図1は、本発明に係る字幕番組受信システムの機能ブロック構成図、図2は、第1の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図、図3は、第2の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図である。 Figure 1 is a functional block diagram of a subtitle program receiving system according to the present invention, FIG. 2 is a flow chart representing a subtitle program configuration procedure in the subtitle program receiving system according to the first subtitle presentation format, FIG. 3, the is a flow chart representing a subtitle program configuration procedure in the subtitle program reception system according to the second subtitle presentation format.
【0034】 [0034]
本実施形態の説明に先立って、以下の説明で使用する用語の定義付けを行うと、本実施形態の説明において、提示対象となる字幕の全体集合を「字幕文テキスト」と言い、字幕文テキストのうち、句点で区切られた文章単位の部分集合を「単位字幕文」と言い、ディスプレイの表示画面上における提示単位字幕の全体集合を「提示単位字幕群」と言い、提示単位字幕群のうち、個々の字幕を「提示単位字幕」と言い、提示単位字幕のうちの任意の文字を表現するとき、これを「字幕文字」と言うことにする。 Prior to the description of the present embodiment, when the definition of terms used in the following description, in the description of this embodiment, the entire set of subtitles to be presented objects called "caption text Text", caption text text of the, refers to a subset of the separated sentence units in the period as "the unit caption sentence", the entire set of presentation unit caption on the display screen of the display is called the "presentation unit caption" group, one of the presentation unit caption group refers to the individual of the subtitle as "presented the unit caption", when you represent any of the character of the presentation unit caption, it will be referred to as "the subtitle character".
【0035】 [0035]
さて、好ましい字幕提示形式に関する基礎的な評価実験の結果、有用と考えられる字幕提示パラメータとして、一行・二行・三行等の字幕行数、標準・横2/3・縦2/3等の字幕文字サイズ、表示画面上における字幕の表示位置、字幕文字のフォント・色・厚み等の字幕文字修飾、一括入れ換え・縦スクロール・横スクロール等の字幕転換形式、字幕専用領域の有無、などを挙げることができる。 Now, the basic evaluation experiment of the preferred subtitle presentation format results, as Captioning parameters that may be useful, the number of subtitle lines of row-two lines, three lines, etc., such as a standard, horizontal 2/3 vertical 2/3 include subtitle character size, the display position of the subtitle on the display screen, the caption character modification such as font, color and thickness of the subtitle characters, the caption conversion format such collective replacement, vertical scrolling and horizontal scrolling, the presence or absence of the caption dedicated area, and be able to. これらの字幕提示パラメータのうち、所望の組み合せに係る字幕提示形式を、視聴者側で選択可能な字幕番組受信システムを実現できれば、広範な視聴者の多様なニーズに応えることができる。 Of these Captioning parameters, subtitle presentation format according to desired combinations, if implemented subtitle program receiving system can be selected in a viewer side, it is possible to meet the diverse needs of broad audience.
【0036】 [0036]
上述した字幕転換形式について詳しく述べると、字幕転換形式は、アナウンス音声や番組の進行に伴って字幕を転換する際に用いられるものであり、提示単位字幕群を提示単位毎に一括して総入れ換えする一括総入れ換え形式、横書きの提示単位字幕群のうち、最古の提示単位字幕文を消去する一方、最新の提示単位字幕文を追加するようにして提示単位字幕文を行単位で縦方向に送る縦スクロール形式、横書きの提示単位字幕文のうち、最古の字幕文字を消去する一方、最新の字幕文字を追加するようにして提示単位字幕文を文字単位で横方向に送る横スクロール形式、などを例示することができる。 To elaborate subtitle conversion format described above, caption conversion format is intended to be used for converting the subtitles with the progress of the announcement voice and program, replaced total collectively presentation unit caption group for each presentation unit bulk total replacement format, of the presentation unit caption group of horizontal, while erasing the oldest of the presentation unit caption sentence, in the vertical direction to present the unit caption statement so as to add the latest presentation unit caption statement on a row-by-row basis vertical scrolling style send out the presentation unit caption sentence horizontal, while erasing the oldest subtitle character, horizontal scrolling format Send laterally presentation unit caption text so as to add the latest subtitle character in characters, the like may be exemplified.
【0037】 [0037]
なお、アナウンス音声や番組映像の進行に同期して字幕を転換するにあたり、一括総入れ換え形式では、通常提示単位字幕文毎にその始点/終点タイミングを定め、そのタイミングに応じて提示単位毎の字幕転換を実行する。 Note that when converting the subtitles in synchronization with the progress of the announcement voice and program video, collectively the total replacement type defines the start / end timing to the normal presentation unit caption each sentence, subtitles for each presentation unit in accordance with the timing to perform the conversion. 一方、縦スクロール又は横スクロール形式では、この形式で用いる提示単位字幕文毎の始点及び終点のタイミング、又は始点とスクロール速度を求めておき、所定タイミングで行単位又は文字単位毎の字幕転換を実行する。 On the other hand, the vertical scroll or horizontal scrolling format, start and end points of the timing of the presentation unit caption each sentence used in this form, or to previously obtain the start and scrolling speed, perform the caption conversion per row or character units at a predetermined timing to.
【0038】 [0038]
上述した種々の字幕提示形式のうち、本発明では、例えば、三行の提示単位字幕文を提示単位とした提示単位字幕群を一括して総入れ換えする三行一括総入れ換え形式を内容とした第1の字幕提示形式と、横書き三行の提示単位字幕文を提示単位とした提示単位字幕群のうち、最古の提示単位字幕文を消去する一方、最新の提示単位字幕文を追加するようにして提示単位字幕文を行単位で縦方向に入れ換える三行縦スクロール形式を内容とした第2の字幕提示形式と、を例示して以下の説明を行うことにする。 Of the various Captioning type described above, in the present invention, for example, to a three-line batch total replacement format interchanged total collectively was presentation unit caption group presentation unit caption sentence three lines and presentation unit and the content first 1 and subtitle presentation format, of the horizontal three lines presented unit caption group was presented units caption text presentation units, while erasing the oldest presentation unit caption text, so as to add the latest presentation unit caption text to be carried out and the second Captioning form a three-row vertical scrolling format and the contents, illustrative to the following description of interchanging the presentation unit caption text vertically row by row Te.
【0039】 [0039]
ところで、現行の字幕放送では、一行当たり15文字を限度として、横二行の提示単位字幕文を提示単位とした字幕提示形式を受信側が採択することを前提としており、放送局からは横二行分の提示単位字幕がその開始タイミングで送られてくる。 By the way, in the current subtitle broadcast, a limit of one line per 15 characters, and the horizontal two lines subtitle presentation format that was presented in units of presentation unit caption sentence of the receiving side assumes that the adoption, next to two lines from a broadcast station minute presentation unit caption is sent at the start timing. そこで、二行提示単位を前提として送られてきた字幕文テキストを、三行提示単位とした字幕提示形式に変換する際には、番組映像や音声との間で同期をとりながら、字幕提示形式に従う提示単位字幕文を提示する必要がある。 Therefore, the caption text text that has been sent to the premise of two lines presentation unit, and can be converted to the subtitle presentation format that is a three-line presentation units, while synchronizing with the program video and audio, subtitle presentation format there is a need to present a presentation unit caption sentence in accordance with the. 本発明では、後述するタイミング演算処理や映像時間遅延手法を用いてこの問題を解決している。 In the present invention, solves this problem by using a timing calculation processing and video time delay technique will be described later.
【0040】 [0040]
次に、本発明に係る字幕番組受信システムの構成及び動作について、図面に従って詳細に説明していく。 Next, the configuration and operation of the subtitle program receiving system according to the present invention, will be described in detail with reference to the drawings.
【0041】 [0041]
まず、本発明に係る字幕番組受信システム11の概略構成について、図1を参照して説明する。 First, a schematic configuration of a subtitle program receiving system 11 according to the present invention will be described with reference to FIG.
【0042】 [0042]
同図に示すように、字幕番組受信システム11は、受信アンテナ13が接続された受信手段として機能する字幕番組受信チューナ15と、字幕抽出・蓄積・読出手段として機能する字幕抽出・蓄積・読出部17と、必要に応じて適宜追加される要約手段として機能する要約部19と、提示形式指示入力手段として機能する提示形式指示入力部21と、提示形式変換手段として機能する提示形式変換部23と、NTSC変換器25と、映像遅延部26と、映像処理部27と、字幕合成手段として機能する字幕合成処理部29と、を含んで構成されている。 As shown in the figure, the caption program receiving system 11 includes a subtitle program receiving tuner 15 functions as a receiving means for receiving an antenna 13 is connected, caption extraction and storage and reading unit which functions as a caption extraction and accumulation and reading means 17, a summarizing unit 19 which functions as a summary means that are added as necessary, the presentation format instruction input unit 21 that functions as a presentation format instruction input means, and presentation format converting unit 23 to function as a presentation format converting means , an NTSC converter 25, an image delay unit 26, a video processor 27 is configured to include a caption synthesizing unit 29 which functions as a caption synthesizing means.
【0043】 [0043]
字幕番組受信チューナ15は、放送局から送られてきた映像及び音声、並びに提示すべき字幕の基となる字幕文テキストを含む放送電波を、受信アンテナ13を介して受信するとともに、受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す機能を有している。 Subtitles program receiving tuner 15, video and audio sent from a broadcasting station, and a broadcast radio wave including a group become caption text text to be presented subtitle, which receives via a receiving antenna 13, a broadcast radio wave received from among, it has video, audio, and each taken to separate functions caption text text.
【0044】 [0044]
字幕抽出・蓄積・読出部17は、字幕番組受信チューナ15で分離して取り出される字幕文テキストのうち、所要範囲内の字幕文、つまり、横二行分の提示単位字幕文を単位として、少なくとも2単位分の字幕文を抽出する抽出機能と、抽出した字幕文を一旦蓄積する蓄積機能と、この蓄積の際、字幕文の各単位の文頭タイミングを図示しないタイマを利用して付加する文頭タイミング情報付加機能と、抽出・蓄積機能を発揮することで抽出・蓄積した字幕文を、その文頭タイミング情報に伴って読み出す読出機能と、後に詳述するタイミング演算機能と、等を有している。 Caption extraction and accumulation and reading unit 17, of the caption text text extracted and separated by the subtitle program reception tuner 15, caption text in the required range, that is, units of presentation units caption text of the lateral two rows, at least an extracting function for extracting the caption sentence 2 unit of the extracted and accumulated function of temporarily storing the caption text was, during this accumulation with initial timing of adding by using a timer (not shown) the beginning of a sentence timing of each unit of the caption text and information adding function, a caption text extracted and accumulated by exerting an extraction and storage capabilities, has a reading function of reading with its beginning of a sentence timing information, the timing calculation function to be described later, and the like.
【0045】 [0045]
要約部19は、必要に応じて追加される付加的な機能ブロックであり、字幕抽出・蓄積・読出部17で読み出された字幕文からその要約文を作成する要約機能を有し、さらに必要ならば、要約機能を発揮することで作成された要約文、すなわち字幕文に対し、字幕文を区切る際に適切と考えられる区切り可能箇所に関する区切り可能箇所情報を付加する情報付加機能も有している。 Summarizing unit 19 is an additional function block is added as needed, it has a summary function for creating the summary from closed caption text read by caption extraction and accumulation and reading unit 17, further necessary If, summary created by exerting a summary function, namely to caption text, information adding function for adding delimiter can place information about the separator can place considered appropriate when delimiting the caption text also has been there. 上述した要約機能は、字幕文字数を減らして字幕を読みやすくしたい場合等に適用し、字幕文の文末を対象とした簡略化や、字幕文中に含まれる特定の単語を出現したとき、これを簡略化するものである。 The above summary function, when applied to a case such as to be easy to read subtitles Reduce the subtitle characters, simplified or intended for the sentence end of caption text, appeared a specific word included in the caption sentence, simplified this it is intended to reduction. 特定の単語の簡略化例としては、例えば、「小渕内閣総理大臣は、…」との字幕文が出現したとき、これを、「小渕総理は、…」に簡略化する等を挙げることができる。 The simplified flounder of a particular word, for example, "Obuchi Prime Minister, ..." when the caption text of the appeared, this, "Obuchi Prime Minister, ..." and the like can be given simplified to . ここで、本要約部19の要約機能は、本字幕番組受信システムにとって必ずしも必須の機能ではなく、例えば、放送局から送られてきた字幕文テキストをそのまま字幕として使用するのが適当な番組においては、これを省略可能であることを付言しておく。 Here, summary function of this summary section 19 is not necessarily essential feature for the subtitle program receiving system, for example, in a suitable program to use caption text text sent from a broadcasting station as a subtitle it should be added that it is possible omitted. なお、区切り可能箇所情報としては、受信した横二行分の提示単位字幕文の一行目と二行目との間にある改行記号を利用することができるほか、例えば、必要に応じて文節データ付き形態素解析データや、次述する改行・改頁データ(分割ルール)を利用することもできる。 As the separator can point information, in addition to be able to use the line breaks in between the first line and the second line of the presentation units caption text of the lateral two rows received, for example, clauses data as necessary and morphological analysis data attached, it is also possible to use the new line-page break data, which will be described next (split rule).
【0046】 [0046]
字幕文に対する改行・改頁推奨箇所に係る改行・改頁データ(分割ルール)で定義される改行・改頁推奨箇所としては、例えば、第1に、直前の改行・改頁点からN(提示する字幕一行の最大文字数)−7とN文字の範囲にある句点、第2に、直前の改行・改頁点からN−4とN文字の範囲にある読点、第3に、「・」を挟む漢字・カナ文字がM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点からN−M以上で、「・」位置がN以下の時は「・」の後ろ、第4に、漢字・カナ文字・アラビア数字がM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点からN−M以上の時は先頭の前、第5に、直前の改行・改頁点からN−3文字後、などを挙げることができる。 The new line-page breaks recommended locations defined by a line feed, page feed data related to line feed-page break recommended locations for caption text (splitting rule), for example, to a 1, N (presented by newline-page break point immediately before period in the range of the maximum number of characters) -7 and N characters of the subtitle line which, in the second, comma there from the new line-page break point just before the range of N-4 and N characters, in the third, the "." kanji kana characters separated are M (N below, N / 4 or more) the beginning of the successive point is, in the new line-page break point of the previous N-M or more, when the "-" position is less of N is "- behind ", in the fourth, kanji, kana characters, Arabic numerals (less than N, N / 4 or more) M number top the beginning of the successive point is, when from the new line-page break point of the previous more than N-M before, in the fifth, mention may be made from the new line-page break point of the previous post-N-3 characters, and the like. なお、要約部19を使用する場合には、文節データを活用してより適切な改行・改頁を行うことが可能である。 When using the summary section 19, it is possible to perform more appropriate newline page breaks by utilizing clause data.
【0047】 [0047]
提示形式指示入力部21は、例えば、ディスプレイのGUI(グラフィカル・ユーザー・インターフェース)画面をみながら、複数の字幕提示パラメータの組み合わせに係る種々の字幕提示形式のなかから、視聴者が所望の字幕提示形式を選択的に指示入力操作する際に用いられる。 Presentation format instruction input unit 21, for example, while viewing the display of the GUI (graphical user interface) screen, from among a variety of the subtitle presentation format according to a combination of a plurality of subtitle presentation parameters, desired subtitle presentation viewer used in selectively instructing input operation format. ここで選択された字幕提示形式は、字幕抽出・蓄積・読出部17、要約部19、提示形式変換部23、映像遅延部26、映像処理部27、及び字幕合成処理部29の各々で参照される。 Here selected Captioning format, caption extraction and storage and reading unit 17, summary section 19, presentation format conversion unit 23, image delay unit 26, is referenced in each of the video processing unit 27 and the caption synthesizing unit 29, that. なお、ここで選択可能な字幕提示形式としては、前述した複数の字幕提示パラメータに加えて、映像時間遅延や映像圧縮等の映像処理、又は字幕合成処理における処理パラメータや、要約を使用する場合には要約手法やその程度の指定を含むものとする。 As the where the selectable subtitle presentation format, in addition to a plurality of subtitle presentation parameters described above, the video processing such as video time delay and video compression, or and processing parameters in the caption synthesizing process, when using summary It is intended to include the designation of the summary methods and its extent.
【0048】 [0048]
提示形式変換部23は、字幕抽出・蓄積・読出部17で読み出された字幕文若しくは必要に応じて要約部19で要約された要約文を、この字幕文若しくは要約文、これらに付加されている区切り可能箇所情報、及び提示形式指示入力部21を介して指示入力された字幕提示形式に基づいて、字幕提示形式に従う提示単位字幕文に変換する提示形式変換機能を有している。 Presentation format converter 23, a summary summarized summary section 19 as needed or caption text read by caption extraction and accumulation and reading unit 17, the caption text or summary, is added thereto delimiter possible location information are, and based on the presentation format instruction input unit 21 instruction input subtitle presentation format via has a presentation format conversion function for converting the presentation unit caption text according subtitle presentation format.
【0049】 [0049]
NTSC変換器25は、提示形式変換部23で提示形式変換後の提示単位字幕文に該当する字幕信号に対してNTSC変換処理を施すことで字幕TV信号を出力する機能を有している。 NTSC converter 25 has a function of outputting the subtitles TV signal by performing NTSC conversion process on the caption signal corresponding to the presentation unit caption sentence after presentation format conversion in presentation format conversion unit 23.
【0050】 [0050]
映像遅延部26は、字幕番組受信チューナ15で分離して取り出された番組映像に対し、提示形式指示入力部21からの提示形式指示に従って、時間遅延処理を行う映像遅延機能を有しており、最終的に生成された提示単位字幕と映像間のタイミングを合わせるようにする。 Image delay unit 26 to the program image taken and separated by the subtitle program reception tuner 15, in accordance with presentation format instruction from the presentation format instruction input unit 21 has an image delay function for time delay processing, so as to time between presentation unit caption and the video that is finally generated.
【0051】 [0051]
映像処理部27は、映像遅延部26で時間遅延処理が施された番組映像に対し、提示形式指示入力部21からの提示形式指示に従って、映像圧縮、又は字幕が表示される映像領域のレベル制御等の映像処理を行う機能を有している。 Image processing section 27, to program video time delay processing by the image delay unit 26 is performed in accordance with presentation format instruction from the presentation format instruction input unit 21, video compression, or level control of the video region subtitle is displayed It has a function of performing image processing and the like.
【0052】 [0052]
字幕合成処理部29は、提示形式指示入力部21からの提示形式指示に従って、NTSC変換器25でNTSC変換処理後の字幕TV信号と、映像処理部27で映像処理後の映像信号とを対象として、字幕キー合成処理や混合処理を行うことで、番組映像に対して字幕が合成された字幕番組を出力する機能を有している。 Caption synthesizing unit 29, in accordance with presentation format instruction from the presentation format instruction input unit 21, and the caption TV signal after NTSC conversion processing NTSC converter 25, as a target and a video signal after the video processing by the video processing unit 27 , by performing the caption key composition processing or mixing process, the caption has a function of outputting a subtitle program synthesized for a program video. なお、字幕キー合成処理は、字幕TV信号をキーとして、字幕部分では字幕TV信号を、その他の部分では映像信号を出力する合成法である。 Note that the caption key synthesizing process, as a key caption TV signal, the caption portion subtitles TV signal, the other portion is a synthesis method for outputting a video signal.
【0053】 [0053]
次に、三行一括総入れ換え形式を内容とする第1の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順について、図2に示すフローチャート図を参照して説明する。 Next, subtitle program construction procedure in the first subtitle program reception system according to the subtitle presentation format that the content three rows collectively total replacement format will be described with reference to a flowchart shown in FIG.
【0054】 [0054]
ステップS1において、提示形式指示入力部21は、種々の字幕提示形式のなかから、視聴者の操作指示入力に従う所望の字幕提示形式を選択的に入力する。 In step S1, presentation format instruction input unit 21, from among various subtitle presentation format, to selectively input the desired subtitle presentation format according the operation instruction input of the viewer.
本実施形態の例では、三行一括総入れ換え形式を内容とする第1の字幕提示形式を選択的に入力する。 In the example of this embodiment, selectively inputting the first subtitle presentation format for the contents of the three lines collectively total replacement form.
【0055】 [0055]
ステップS2乃至S4において、字幕抽出・蓄積・読出部17は、字幕番組受信チューナ15で分離して取り出された字幕文テキストのなかから、少なくとも前記2単位分に相当する所定時間後までの範囲内の字幕文を抽出し、抽出した字幕文を一旦蓄積するとともに、この蓄積の際に、各単位の字幕文の文頭タイミング情報をタイマを利用して付加しておき、抽出・蓄積機能を発揮することで抽出・蓄積した字幕文を、その文頭タイミング情報に伴って読み出す。 In steps S2 to S4, caption extraction and storage and reading unit 17 is in the range from among the caption text text taken in isolation subtitle program reception tuner 15, until after a predetermined corresponding to at least the 2 unit of time the caption text extracted the extracted once with storing caption text was, at the time of the storage, the beginning of a sentence timing information of the subtitle text of each unit in advance is added by using a timer, exerts extracting and accumulating function the caption text extracted and accumulated by, read along with the beginning of a sentence timing information.
【0056】 [0056]
ステップS5において、字幕抽出・蓄積・読出部17は、読み出した字幕文とその文頭タイミング情報とを入力として、タイミング演算機能を発揮することで、次の単位の字幕文との間のポーズの有無を検出する。 In step S5, caption extraction and storage and reading unit 17 is input with the read caption text and its beginning of a sentence timing information, by exerting a timing calculation function, whether the pause between the caption text for the next unit to detect. 実際には、対応するアナウンス音声中における例えば2秒以上等の所定時間を超える無音区間すなわちポーズの有無を検出する。 In fact, to detect the presence or absence of silent sections or pause exceeds a predetermined time, such as more than 2 seconds for instance in the corresponding announcement voice. ポーズの有無を検出するにあたっては、当該字幕文の文字種、文字数、又は平均的な文字読み速度などから、当該単位の字幕文相互間の文末タイミングを求め、次単位の字幕文の文頭タイミングと比較することでポーズの有無を検出する。 Comparison order to detect the presence or absence of pose, the character type of the caption text, characters, or the like average character reading speed, obtains a sentence end timing between caption text cross of the unit, the beginning of a sentence timing of caption text the following units detecting the presence or absence of a pose by. ここで、ポーズの有無を検出する趣旨は、このポーズの前後では、時間的にも内容的にも相異なる字幕文となるのが通常であるため、したがって、ポーズの前と後の各字幕文を別の提示単位字幕文として字幕文テキストの分割処理等を行うのに使用する趣旨である。 Here, intended to detect the presence or absence of pause, in before and after this pause, because that becomes also different caption text both in terms of content time is usually therefore each subtitle text before and after the pause which is a purpose to be used to perform the division processing and the like of the subtitle sentence text as a separate presentation unit caption statement. さて、字幕抽出・蓄積・読出部17は、タイミング演算機能を発揮することで、さらに、現行字幕放送下での二行目に相当する提示単位字幕文の文頭タイミングも、必要に応じて演算で求めている。 Now, caption extraction and storage and reading unit 17, by exerting a timing calculation function, addition with initial timing of the presentation units caption text corresponding to the second line under the current subtitle broadcasting, by the operation as required seeking. その理由は、現行字幕放送の字幕文の1頁と、2頁の一行目とから、新たな1頁目の三行提示字幕を生成したとすると、新たな2頁目の字幕は、現行2頁目の二行目と、3頁目の一及び二行目とで構成することとなり、この新たな2頁目の開始タイミングは、内容的には現行2頁の二行目の開始タイミングでなければならないためである。 The reason for this, and one page of the caption text of the current subtitle broadcast, from the second page of the first line, and that it has produced a three-line presentation subtitle of a new first page, the new two-page of the subtitle, the current 2 and th page of the second line, will be composed of the first and second line of the third page, the start timing of the new second page is in terms of content in the second line of the start timing of the current page 2 This is because there must be. その求め方は、当該字幕文の一行目の文字種、文字数、又は平均的な文字読み速度などから、一行目の所要時間を演算し、文頭タイミング時間に加えるようにする。 Its Determination is first line of the character type of the caption text, characters, or the like average character reading speed, it calculates the required time of the first line, so that added to the beginning of a sentence timing period.
【0057】 [0057]
ステップS6において、要約部19は、字幕抽出・蓄積・読出部17で読み出された字幕文を対象とした要約を行う。 In step S6, summarizing unit 19 performs Summarization for caption text read by caption extraction and accumulation and reading unit 17. これは、字幕文字数を減らして字幕を読みやすくしたい場合等に適用し、例えば字幕文の文末を対象とした簡略化や、字幕文中に含まれる特定の単語を出現したとき、これを簡略化するなどの手法による。 This applies when such to be easier to read the subtitles Reduce the subtitle number, for example, simplification and intended for the sentence end of caption text, when appearing a specific word included in the caption sentence, to simplify this by techniques such as. したがって、例えば、そのまま提示したのでは文字数が多過ぎて読取りが困難又は冗長な字幕文テキストが送られてきた場合であっても、これを適宜要約した字幕文を提示可能となる結果として、好ましい字幕文の提示環境を構築することができる。 Thus, for example, even if have than been presented as sent the number of characters is too many to read difficult or redundant caption text text, as a result that enables presenting caption text summarizing this appropriately, preferably it is possible to build a presentation environment of the caption text. しかし、本ステップS6は、本字幕番組受信システムにとって必ずしも必須の処理要素ではなく、例えば、放送局から送られてきた字幕文テキストをそのまま字幕として使用するのが適当な番組等においては、提示形式指示による視聴者の提示でこれを省略可能である。 However, the step S6 is not necessarily essential processing elements for the present subtitle program receiving system, for example, in a suitable program, such as to use the caption text text sent from a broadcasting station directly as subtitles, the presentation format it is possible to omit this in the presentation of the viewer by the instruction. 本例では、要約が省略された形態を例示して以下の説明を行う。 In this example, the following description illustrates an embodiment in which summary is omitted.
【0058】 [0058]
ステップS7乃至S10において、提示形式変換部23は、字幕抽出・蓄積・読出部17で読み出された字幕文を、この字幕文、これに付加されている区切り可能箇所情報、及び提示形式指示入力部21を介して指示入力された字幕提示形式に基づいて、字幕提示形式に従う提示単位字幕文に変換する。 In Step S7 to S10, presentation format conversion unit 23, a caption text read by caption extraction and accumulation and reading unit 17, the caption text, delimiter can place information added thereto, and the presentation format instruction input based on an instruction input subtitle presentation format via the part 21, it converted to a presentation unit caption text according subtitle presentation format.
【0059】 [0059]
詳しく述べると、提示形式変換部23は、字幕抽出・蓄積・読出部17で読み出された、区切り可能箇所情報が付加されている字幕文を、ステップS1で指示入力された第1の字幕提示形式に従う提示単位字幕文に変換するにあたり、字幕文を適宜分割することで提示単位字幕配列案を作成し(ステップS7)、ステップS8で示す改行・改頁データ(分割ルール)を含む区切り可能箇所情報を参照して、ステップS7で作成された提示単位字幕配列案の改行・改頁点を最適化することで提示単位字幕配列を確定(ステップS9乃至S10)することにより、字幕文を最適箇所で三行の各提示単位字幕文に分割するようにして、字幕文を、字幕提示形式に従う提示単位字幕文に変換する。 More particularly, the presentation format conversion unit 23, read at caption extraction and accumulation and reading unit 17, the caption sentence delimiter can place information is added, first Captioning instructed inputted in step S1 Upon converting to the presentation unit caption text follow the format, to create a presentation unit caption sequence proposed by dividing the caption text as appropriate (step S7), and separator can locations including line feed-page break data shown in step S8 (division rule) Referring to information, by determining the presentation unit caption sequence by optimizing the newline Aratamepejiten presentation unit caption sequence draft created (step S9 to S10) in step S7, the optimum locations to caption text in so as to divide each presentation unit caption sentence three lines, to convert the caption text, the presentation unit caption text according subtitle presentation format.
【0060】 [0060]
したがって、字幕文を字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を参照することで、見やすく読みやすい最適な提示形式変換を実現することができる。 Therefore, when converting the caption text to the presenting unit caption text according subtitle presentation format, by referring to the delimiter possible location information, it is possible to realize a legible readable optimal presentation format conversion.
【0061】 [0061]
具体的には、受信した字幕文に含まれる改行記号を利用するとともに、文節データがあればこれも利用する。 More specifically, the use of line breaks included in the subtitle text received, which is also used if any clause data. そのほか、区切り可能箇所情報を参照して、ステップS7で作成された提示単位字幕配列案を最適化するにあたり、ステップS8で示す改行・改頁データ(分割ルール)で定義される改行・改頁推奨箇所は、第1に、直前の改行・改頁点からN(提示する字幕一行の最大文字数)−7とN文字の範囲にある句点、第2に、直前の改行・改頁点からN−4とN文字の範囲にある読点、第3に、「・」を挟む漢字・カナ文字がM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点からN−M以上で、「・」位置がN以下の時は「・」の後ろ、第4に、漢字・カナ文字・アラビア数字がM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点からN−M以上の時は先頭の前、第5に、直前の改行・改頁点からN In addition, with reference to the separator can point information, when optimizing the presentation unit caption sequence plan created in step S7, line feed-form feed recommendations defined by a line feed, page feed data shown in step S8 (division rule) point is the first, from line feed-page break point immediately before the range of -7 and N characters (maximum number of characters of the subtitle row presenting) N punctuation, the second, the line feed-page break point immediately before N- comma in the range of 4 and N characters, in the third, kanji, kana characters on both sides of the "-" is (less than N, N / 4 or more) M number beginning of the successive point is, from the new line-page break point just before in N-M or more, behind the "·" position the following when the "-" N, in the fourth, kanji, kana characters, Arabic numerals are M (N below, N / 4 or more) the beginning of the point to be continuous N but, before the time of more than N-M from the new line-page break point just before the beginning of the, to the fifth, from the new line-page break point just before 3文字後、のうちいずれか1又は複数の組み合わせを含んでおり、この改行・改頁データ(分割ルール)を適用するにあたっては、前記記述順の先頭から優先的に適用するようにする。 After three characters, it includes any one or more combinations of, the line feed-page breaks in applying the data (divided rule) is to be preferentially applied from the beginning of the description order.
【0062】 [0062]
このようにすれば、さらに実情に即して高精度に最適化された提示形式変換を実現することができる。 Thus, it is possible to realize an optimized presentation format conversion with high accuracy in line with further circumstances.
【0063】 [0063]
なお、ステップS10における提示単位字幕配列確定処理において、提示単位字幕配列案に対応する音声アナウンス中におけるポーズの有無を、ステップS5におけるタイミング演算処理からの情報をもとに調査し、この調査の結果、ポーズが有る場合にはポーズ以前の字幕文から新たに提示単位字幕配列を再変換するようにする。 Incidentally, in the presentation unit caption sequence confirmation process in step S10, the presence or absence of a pause in the speech announcement corresponding to the presentation unit caption sequences proposed to investigate based on information from the timing calculation process in the step S5, the results of this survey , so as to re-convert the newly presented unit caption array from the pause before the subtitle sentence in the case of a pause there.
【0064】 [0064]
ここで、ステップS10において提示単位字幕配列、すなわち提示単位字幕文に対応する音声アナウンス中におけるポーズの有無を調査する趣旨は、提示単位字幕文に対応する音声アナウンス中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、相互に時間的に離れており、かつ内容的にも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるからである。 Here, the presentation unit caption sequence in step S10, i.e., intended to examine the existence of pauses during speech announcement corresponding to the presentation unit caption sentence, there is a pause of more than a predetermined time during a voice announcement that corresponds to the presentation unit caption text the fact that you, the presentation unit caption sentence, there is a possibility that are configured mutually are temporally spaced, and include a caption text corresponding to a plurality of different scenes in the content, these subtitles than the sentence was regarded as one of the presentation unit caption sentence there is a undesirable possibility. これにより、ステップS10で一旦確定された提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換確定に多大な貢献を果たすことができる。 Thus, once the validity of the determined presented units caption text in step S10, as a result of the re-verification from the viewpoint of the corresponding announcement voice, to play a significant contribution to the conversion determination of preferred presentation unit caption text it can.
【0065】 [0065]
ステップS11乃至S15において、ステップS10における提示単位字幕配列が確定すると、確定した配列の先頭・最後の字幕文字が判るので、前記の文頭に付加したタイミング情報や、ステップS5及びS12におけるタイミング演算結果を利用することによって、番組映像若しくは音声との間の相対時間同期を考慮した提示開始・提示終了を行うことが可能となる。 In steps S11 through S15, the presentation unit caption sequence in step S10 is determined, since it is seen head-end of the subtitle characters of defined sequences, the or timing information added to the beginning of a sentence of a timing calculation result in the step S5 and S12 by using, it is possible to perform a presentation start and presentation ends considering the relative time synchronization between the program video or audio. 絶対時間同期は、後述の時間遅延部26の設定で行う。 The absolute time synchronization is performed by setting the time delay unit 26 will be described later. なお、ステップS12の終点タイム算出処理は、ステップS5のタイミング演算処理に含めることも可能である。 Incidentally, destination time calculation process in step S12, it is also possible to include in the timing calculation processing in step S5.
【0066】 [0066]
具体的には、字幕番組受信チューナ15から分離して取り出された映像信号は、映像遅延部26における映像の遅延処理や、映像処理部27における映像の圧縮処理又は字幕が表示される映像領域のレベル制御などの処理を施した後、字幕合成処理部29において、NTSC変換器25から送出されるNTSC信号化字幕信号との字幕キー合成や混合処理を施すことにより字幕番組となる。 Specifically, the image signal taken out separately from subtitle program reception tuner 15, the delay processing of the video in the video delay unit 26, the image area to be displayed compressed or subtitle of the video in the video processing unit 27 after performing processing such as level control, the caption synthesizing unit 29, a subtitle program by performing subtitles key synthesis and mixing treatment of NTSC signal of the caption signal sent from the NTSC converter 25. 2頁目以降の提示単位字幕についても、上述と同様に行われる。 For also presented the unit caption of the second page or later, is carried out in the same manner as described above. このとき、映像処理や字幕合成処理の処理内容も、当然提示形式指示に従って実行される。 In this case, the processing contents of the video processing and subtitle synthesis processing is also executed in accordance with course presentation format instructions.
【0067】 [0067]
次に、三行縦スクロール形式を内容とする第2の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順について、図3に示すフローチャート図を参照して、上述した第1の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順との相違点を中心に説明すると、その相違点は、図3におけるステップS11乃至S15に示すように、所定時間以上のポーズを切れ目としたスクロール提示単位字幕文を作成し、この提示単位字幕文について、ステップS5におけるタイミング演算からのタイミングに応じて表示開始、スクロール開始、スクロール終了、表示終了を行う点である。 Next, subtitle program construction procedure according to the second subtitle program reception system according to the subtitle presentation format that the content three rows vertical scrolling format, with reference to the flowchart shown in FIG. 3, the first Captioning described above to describe mainly the difference from the subtitle program configuration procedure in the subtitle program reception system according to the format, the difference is, as shown in steps S11 to S15 in FIG. 3, scroll was cut poses a predetermined time or more create a presentation unit caption text, this presentation unit caption text, display start in response to the timing from the timing calculation in step S5, the scroll starting, stop the scrolling, it is that performing display end. なお、スクロール終了タイミングは、固定若しくはステップS5におけるタイミング演算からのスクロール速度で代替可能である。 Note that the scroll end timing can be replaced at a scrolling speed from the timing operation at a fixed or step S5. また、提示単位として選択した提示単位字幕群を三行縦スクロールさせる手法は、周知の手法を適用すればよい。 Further, the method for the selected presentation unit caption group as presented unit is three lines vertical scroll may be applied to well-known techniques.
【0068】 [0068]
ここで、映像遅延部26における映像の時間遅延処理を設けた趣旨を説明すると、例えば二行字幕提示を前提にこの二行の開始点が映像・音声とタイミングが合った状態で送信されてきた字幕信号を、上述した第1乃至第2の字幕提示形式に従う本実施形態のように三行字幕提示に変換する場合には、二行目の字幕文を受信してから、三行目の字幕文を受信するまでの間に時間差を生じるので、少なくともこの時間差分だけ三行字幕の提示は待たされることになる。 Here, to describe the purpose of providing a time delay processing of the video in the video delay unit 26, for example, the start point of the two lines assumes two lines Captioning is transmitted in a state that suits the video and audio timing the caption signal, to convert the third line Captioning as in the embodiment according to the first or second Captioning type described above, from the reception of the caption text of the second line, the third line of subtitle since it produces a time difference between the time to receive the sentence, so that at least the presentation of the time difference only three lines subtitles wait. したがって、この三行字幕の一行目と二行目の字幕文は、映像・音声に対して少なくともこの待ち時間分だけ遅れることになる。 Therefore, the caption text of the first line and the second line of the three lines subtitles, will be delayed by at least the wait time for the video and audio. そこで、字幕処理に伴う映像・音声信号との間のタイミングのずれは、映像遅延部26における映像信号の遅延時間処理で解消するようにしている。 Therefore, time lag between the video and audio signals associated with the subtitle processing is designed so as to eliminate the delay time processing of the video signal in the image delay unit 26. このときの遅延時間は、例えば3〜5秒程度である。 Delay time at this time is, for example, about 3 to 5 seconds.
【0069】 [0069]
なお、字幕提示形式として一行字幕提示又は二行字幕提示を選択した場合には、総入換え形式、又は縦・横スクロール形式のいずれの場合であっても、構成や処理は三行の場合と比較してはるかに簡単になる。 Incidentally, when the user selects the row Captioning or two lines Captioning as Captioning format, in any case the total exchange process type or vertical and horizontal scrolling style, configuration and processing in the case of three banks It becomes much easier in comparison. それは、提示すべき字幕文の開始タイミングが映像・音声のタイミングと同一又はそれ以前であるので、本質的に映像の遅延処理は不要であり、また、この場合、ステップS5におけるタイミング演算での所定時間を越えるポーズの検出、及び分割最適化は不要となるので、その構成を簡易化することができる。 It since the start timing of the caption text to be presented is the same or earlier timing of video and audio, the delay processing essentially image is unnecessary, predetermined in this case, the timing calculation in step S5 detection pose exceeding time, and divided since optimization is not required, thereby simplifying the configuration. しかし、一行字幕提示では、受信した字幕文テキストの二行目タイミング演算は必須である。 However, in line Captioning, second line timing operation of the received caption text text is essential.
【0070】 [0070]
以上述べたように、本発明に係る字幕番組受信システムによれば、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が放送局から送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができる。 As described above, according to the subtitle program receiving system according to the present invention, that with the video and audio broadcast radio wave including a caption text text on which to base to be presented caption is sent from a broadcasting station assume, and caption text text is separated off from the broadcast radio waves received, and a subtitle presentation format selected by the viewer, conversion to presentation unit of caption text text, timing information detected corresponding thereto, and the video expect synthesizing process automatically sets, as a result of a possible view subtitle program according to the caption presentation format selected by the viewer, with better meet the needs of the viewer, the desired object achieved such is spread universally subtitle program can do.
【0071】 [0071]
なお、本発明は、上述した実施形態の例に限定されることなく、請求の範囲内において適宜の変更を加えることにより、その他の態様で実施可能であることは言うまでもない。 The present invention is not limited to the example embodiments described above, by adding appropriate modifications within the scope of the claims, it is needless to say be embodied in other embodiments.
【0072】 [0072]
【発明の効果】 【Effect of the invention】
以上詳細に説明したように、請求項1の発明によれば、映像・音声に伴って、提示すべき字幕の基となる字幕文テキストを含む放送電波が送られてくることを前提とし、受信した放送電波から分離して取り出した字幕文テキストと、視聴者が選択した字幕提示形式とから、字幕文テキストの提示単位への変換、それに対応するタイミング情報検出、及び映像との合成処理を自動設定し、視聴者が選択した字幕提示形式に従う字幕番組を視聴可能となる結果として、視聴者の要望をより満たすとともに、字幕番組を広く一般に普及させるといった所期の目的達成を期待することができる。 As described above in detail, according to the first aspect of the present invention, along with the video and audio, assume that the broadcast radio waves sent containing caption text text on which to base to be presented subtitles, received automatic and the caption text text is separated off from the airwaves was, and a subtitle presentation format selected by the viewer, conversion to presentation unit of caption text text, timing information detected corresponding thereto, and the synthesis process of the image set, as a result of a possible view subtitle program according to the caption presentation format selected by the viewer, with better meet the needs of the viewer, it is possible to expect the desired object achieved such is spread universally subtitle program .
【0073】 [0073]
また、請求項2の発明によれば、 提示単位字幕文に対応する映像の提示タイミングと、この提示単位字幕文の提示タイミングとが同期した望ましい字幕番組を提示可能な字幕番組受信システムを実現することができるというきわめて優れた効果を奏する。 Further, according to the invention of claim 2, the presentation timing of the video corresponding to the presentation unit caption text, to achieve a presentable subtitle program receiving system the desired subtitle program and presentation timing is synchronized in this presentation unit caption text It exhibits an extremely excellent effect that it is possible.
【0074】 [0074]
さらに、請求項3の発明によれば、 字幕文を字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を適用することで、見やすく読みやすい高精度に最適化された提示形式変換を実現可能な字幕番組受信システムを得ることができる。 Furthermore, according to the invention of claim 3, when converting the caption text to the presenting unit caption text according subtitle presentation format, delimiter can point information by applying a presentation format conversion optimized for legible readable precision it can be obtained subtitle program receiving system capable of realizing.
【0075】 [0075]
さらにまた、請求項4の発明によれば、 例えば、そのまま提示したのでは文字数が多過ぎて読取りが困難又は冗長な字幕文テキストが送られてきた場合であっても、これを適宜要約した字幕文を提示可能となる結果として、好ましい字幕文の提示環境を構築することができる。 Furthermore, according to the invention of claim 4, for example, even if have than been presented as sent the number of characters is too many to read difficult or redundant caption text text summarizing this appropriate subtitle as a result that enables presenting statements, it is possible to build a presentation environment preferred caption text.
【0076】 [0076]
しかも、請求項5の発明によれば、提示単位字幕文に対応する音声アナウンス中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、相互に時間的に離れており、かつ内容的にも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるのに対し、一旦確定された提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換確定に多大な貢献を果たすことができる。 Moreover, according to the invention of claim 5, the fact that there is a pause of more than a predetermined time during a voice announcement that corresponds to the presentation unit caption text, the presentation unit caption text is temporally separated from each other, and there is a possibility that is configured to include a caption text corresponding to a plurality of different scenes in terms of content, whereas than these caption text was considered one of the presentation units caption text is not preferred possibility once the validity of the determined presented units caption text, as a result of the re-verification from the viewpoint of the corresponding announcement voice, can play a significant contribution to the conversion determination of preferred presentation unit caption text.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】図1は、本発明に係る字幕番組受信システムの機能ブロック構成図である。 FIG. 1 is a functional block diagram of a subtitle program receiving system according to the present invention.
【図2】図2は、第1の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図である。 Figure 2 is a flow chart representing a subtitle program configuration procedure in the subtitle program receiving system according to the first subtitle presentation format.
【図3】図3は、第2の字幕提示形式を適用した字幕番組受信システムにおける字幕番組構成手順を表すフローチャート図である。 Figure 3 is a flow chart representing a subtitle program configuration procedure in the subtitle program receiving system according to the second subtitle presentation format.
【符号の説明】 DESCRIPTION OF SYMBOLS
11 字幕番組受信システム13 受信アンテナ15 字幕番組受信チューナ(受信手段) 11 subtitle program receiving system 13 receiving antenna 15 subtitle program receiving tuner (receiving means)
17 字幕抽出・蓄積・読出部(字幕抽出・蓄積・読出手段) 17 caption extraction and storage and reading unit (caption extraction and accumulation and reading means)
19 要約部(要約手段) 19 summarizing section (summary means)
21 提示形式指示入力部(提示形式指示入力手段) 21 presentation format instruction input unit (presentation format instruction input means)
23 提示形式変換部(提示形式変換手段) 23 presentation format conversion unit (presentation format converting means)
25 NTSC変換器26 映像遅延部27 映像処理部29 字幕合成処理部(字幕合成手段) 25 NTSC converter 26 image delay unit 27 the video processing unit 29 subtitle synthesis processing unit (caption synthesizing means)

Claims (5)

  1. 映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、 Video and audio, as well as to receive a broadcast radio wave including a caption presentation timing information indicating a timing for presenting a caption text text and subtitles underlying subtitle, from among the broadcast waves the received video, audio, and caption text receiving means for taking out respectively separated text,
    種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、 From among various subtitle presentation format, and presentation format instruction input unit which is used to selectively instruction input a desired subtitle presentation format,
    前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す機能、複数行を一つの提示単位として送られてきた字幕文テキストの二行目以降の文頭タイミング情報を演算で求めるタイミング演算機能を有する字幕抽出・蓄積・読出手段と、 And caption text text separated off by the reception unit, based on an instruction input Captioning format by the presentation format instruction input means, from among the caption text text extracts caption text in the required range , together with the temporarily storing caption text that the extracted, during the storage, keep adding beginning of a sentence timing information indicating a subtitle presentation timing of beginning of a sentence of each subtitle text, caption sentence the extracted and accumulated, the beginning of a sentence timing function to read at the timing indicated by the information, and caption extraction and accumulation and reading means having a timing calculation function for determining the beginning of a sentence timing information of the two subsequent lines of caption text text the sent multiple lines as a single presentation unit in operation,
    当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換する提示形式変換手段と、 The caption text read by caption extraction and accumulation and reading means, the caption text, and based on the presentation format instruction input Captioning format instruction input means, at least one or more presentation follow this subtitle presentation format and presentation format conversion means for converting the unit caption sentence,
    前記提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、 At least one or more presentation units caption text after presentation format converted by the presentation format converting means, and subtitles synthesizing means for synthesizing the video image is separated out by the receiving unit,
    を備えて構成され、 It is configured to include a,
    前記タイミング演算機能は、前記字幕文テキスト一行毎の文字種、文字数、又は平均的な文字読み速度から前記字幕文テキスト一行毎の表示に要する時間を演算し、前記文頭タイミング情報に加えることにより、前記字幕文テキスト各行の文頭タイミング情報を取得することを特徴とする字幕番組受信システム。 The timing calculation function, the character type of each of the caption text text line, characters, or the average character read calculates the time required for display of each of the caption text text line from the speed, by adding to the beginning of a sentence timing information, the Subtitles program receiving system and acquires the beginning of a sentence timing information of the subtitle text text row.
  2. 請求項に記載の字幕番組受信システムであって、 A subtitle program receiving system according to claim 1,
    前記字幕合成手段は、 The subtitle synthesis means,
    前記提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを、 前記タイミング演算機能により得られた各行の文頭タイミング情報と、提示単位字幕文に対応する映像の提示タイミング情報を比較することで時間同期を考慮しつつ合成するにあたり At least one or more presentation units caption text after presentation format converted by the presentation format converting means, and a video image is separated out by the receiving unit, and the beginning of a sentence timing information of each line obtained by the timing calculation function, a presentation Upon synthesized taking into account the time synchronization by comparing the presentation timing information of the image corresponding to the unit caption text,
    前記提示単位字幕文に対応する映像の提示タイミングを、当該提示単位字幕文の提示タイミングと比較して提示形式変換による字幕の提示が遅れる分だけ時間的に遅延させることにより、前記両提示タイミングを同期させることを特徴とする字幕番組受信システム。 The presentation timing of the video corresponding to the presentation unit caption text, by comparing delayed presented only delayed correspondingly temporally subtitles by presentation format conversion and presentation timing of the presentation units caption text, the two presentation timing Subtitles program receiving system, characterized in that to synchronize.
  3. 映像及び音声、並びに字幕の基となる字幕文テキスト及び字幕を提示するタイミングを示す字幕提示タイミング情報を含む放送電波を受信するとともに、当該受信した放送電波のなかから、映像、音声、及び字幕文テキストを各々分離して取り出す受信手段と、 Video and audio, as well as to receive a broadcast radio wave including a caption presentation timing information indicating a timing for presenting a caption text text and subtitles underlying subtitle, from among the broadcast waves the received video, audio, and caption text receiving means for taking out respectively separated text,
    種々の字幕提示形式のなかから、所望の字幕提示形式を選択的に指示入力する際に用いられる提示形式指示入力手段と、 From among various subtitle presentation format, and presentation format instruction input unit which is used to selectively instruction input a desired subtitle presentation format,
    前記受信手段で分離して取り出した字幕文テキストと、前記提示形式指示入力手段で指示入力された字幕提示形式とに基づいて、前記字幕文テキストのなかから、所要範囲内の字幕文を抽出し、当該抽出した字幕文を一旦蓄積するとともに、当該蓄積の際に、各字幕文の文頭の字幕提示タイミングを示す文頭タイミング情報を付加しておき、前記抽出・蓄積した字幕文を、その文頭タイミング情報の示すタイミングで読み出す字幕抽出・蓄積・読出手段と、 And caption text text separated off by the reception unit, based on an instruction input Captioning format by the presentation format instruction input means, from among the caption text text extracts caption text in the required range , together with the temporarily storing caption text that the extracted, during the storage, keep adding beginning of a sentence timing information indicating a subtitle presentation timing of beginning of a sentence of each subtitle text, caption sentence the extracted and accumulated, the beginning of a sentence timing and caption extraction and accumulation and reading means for reading at the timing indicated by the information,
    当該字幕抽出・蓄積・読出手段で読み出された字幕文を、当該字幕文、及び前記提示形式指示入力手段で指示入力された字幕提示形式に基づいて、この字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換する提示形式変換手段と、 The caption text read by caption extraction and accumulation and reading means, the caption text, and based on the presentation format instruction input Captioning format instruction input means, at least one or more presentation follow this subtitle presentation format and presentation format conversion means for converting the unit caption sentence,
    前記提示形式変換手段で提示形式変換後の少なくとも1以上の提示単位字幕文と、前記受信手段で分離して取り出した映像とを合成する字幕合成手段と、 At least one or more presentation units caption text after presentation format converted by the presentation format converting means, and subtitles synthesizing means for synthesizing the video image is separated out by the receiving unit,
    を備えて構成され、 It is configured to include a,
    前記提示形式変換手段は、区切り可能箇所情報が付加されている字幕文を、前記字幕提示形式に従う少なくとも1以上の提示単位字幕文に変換するにあたり、 The presentation format conversion means, upon converting the caption sentence delimiter can place information is added, at least one or more presented units caption text according the subtitle presentation format,
    当該字幕文を適宜分割することで提示単位字幕配列案を作成し、前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を所望の字幕提示形式に合うように最適化することで提示単位字幕配列を確定することにより、字幕文を最適箇所で各提示単位字幕文に分割するようにして、前記字幕文を、前記字幕提示形式に従う提示単位字幕文に変換し、 Create a presentation unit caption sequence proposed by dividing the caption text as appropriate, wherein with reference to separator can point information, optimized to suit the presentation unit caption sequence draft the created desired subtitle presentation format by determining the presentation unit caption sequence by, so as to divide each presentation unit caption text subtitle text in an optimum position, and converting the caption text, the presentation unit caption text according the subtitle presentation format,
    前記区切り可能箇所情報は、前記字幕文に対する改行・改頁推奨箇所に係る改行・改頁データを含んでおり、当該改行・改頁データで定義される改行・改頁推奨箇所は、第1に、直前の改行・改頁点から(N(提示する字幕一行の最大文字数)−7)文字とN文字の範囲にある句点、第2に、直前の改行・改頁点から(N−4)文字とN文字の範囲にある読点、第3に、「・」を挟む漢字もしくはカナ文字が混在したものがM個(N以下、N/4以上)連続する箇所の先頭が、直前の改行・改頁点から(N−M)文字以上で、「・」位置がN文字以下の時は「・」の後ろ、第4に、漢字もしくはカナ文字あるいはアラビア数字が混在したものがM個連続する箇所の先頭が、直前の改行・改頁点から(N−M)文字以上の時は先頭の前、第5に The delimiter can place information, the contains a newline-page break data according to line feed-page break recommended locations for caption text, line breaks, page breaks recommended locations defined in the line feed-page break data, the first , from line feed-page break point immediately before (N (maximum number of characters of the subtitle row presenting) -7) characters and N is in the range of characters punctuation, the second, the line feed-page break point immediately before (N-4) comma in the range of characters and N characters, in the third, which kanji or kana characters sandwich the "-" is a mix of (less than N, N / 4 or more) M number beginning of the successive point is, a new line just before the - in the page break point (N-M) or more characters, "-" position when the following N character behind the ".", in the fourth, which kanji or kana characters or Arabic numerals are mixed to the M consecutive the beginning of the point is, from the new line-page break point of the immediately preceding (N-M) when the characters or more before the beginning of the, to the fifth 直前の改行・改頁点から(N−3)文字後、のうちいずれか1又は複数の組み合わせを含んでおり、前記記述順の先頭から優先的に前記提示形式変換手段が提示単位字幕文に変換することを特徴とする字幕番組受信システム。 From newline page break point immediately before after (N-3) characters, it includes any one or more combinations of, preferentially the presentation format converting means from the beginning of the description order is the presentation unit caption text Subtitles program receiving system and converting.
  4. 請求項に記載の字幕番組受信システムであって、 A subtitle program receiving system according to claim 3,
    前記字幕抽出・蓄積・読出手段で読み出された字幕文を要約することでその要約文を作成する要約手段をさらに備え、この場合、要約手段で作成された要約文は、字幕文として前記提示形式変換手段に与えられることを特徴とする字幕番組受信システム。 Further comprising a summary means for creating the summary by summarizing the caption text read by the caption extraction and accumulation and reading means, in this case, summary created summary section, the presentation as caption text Subtitles program receiving system, characterized in that provided in the format conversion means.
  5. 請求項3又は4のうちいずれか一項に記載の字幕番組受信システムであって、 A subtitle program receiving system according to any one of claims 3 or 4,
    前記作成された提示単位字幕配列案を最適化するにあたり、 Upon optimizing the presentation unit caption sequence draft created in the above,
    前記提示単位字幕配列案に対応する音声アナウンス中に所定時間を超えるポーズが有る場合には、 ポーズが入る前の音声アナウンスに対応する提示単位字幕文から提示単位字幕配列を再度作成することを特徴とする字幕番組受信システム。 If the pause exceeds a predetermined time during a voice announcement corresponding to the presentation unit caption sequence proposal there is characterized in that to create a presentation unit caption sequence from the presentation unit caption text corresponding to the voice announcement before the pause enters again subtitle program receiving system that.
JP7832499A 1999-03-23 1999-03-23 Subtitle program receiving system Expired - Fee Related JP4210724B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7832499A JP4210724B2 (en) 1999-03-23 1999-03-23 Subtitle program receiving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7832499A JP4210724B2 (en) 1999-03-23 1999-03-23 Subtitle program receiving system

Publications (2)

Publication Number Publication Date
JP2000278622A true JP2000278622A (en) 2000-10-06
JP4210724B2 true JP4210724B2 (en) 2009-01-21

Family

ID=13658792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7832499A Expired - Fee Related JP4210724B2 (en) 1999-03-23 1999-03-23 Subtitle program receiving system

Country Status (1)

Country Link
JP (1) JP4210724B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082923A (en) * 2009-11-30 2011-06-01 新奥特(北京)视频技术有限公司 Subtitle replacing method and device adopting subtitle templates
CN102752550A (en) * 2011-07-28 2012-10-24 新奥特(北京)视频技术有限公司 Method and system for generating caption formwork

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001006770A8 (en) * 1999-07-15 2001-06-21 Koninkl Philips Electronics Nv Methods and apparatus for presentation of multimedia information in conjunction with broadcast programming
KR100927143B1 (en) 2002-11-27 2009-11-18 삼성전자주식회사 The motion detection apparatus and method
US7631326B2 (en) * 2002-12-26 2009-12-08 Microsoft Corporation Synchronization mechanism for multimedia captioning and audio description
JP4161770B2 (en) 2003-04-01 2008-10-08 ソニー株式会社 How data combining device and a data synthesis
US7676737B2 (en) 2003-04-10 2010-03-09 Microsoft Corporation Synchronization mechanism and the implementation for multimedia captioning and audio descriptions
JP2007336478A (en) * 2006-06-19 2007-12-27 Sharp Corp Output method and output apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082923A (en) * 2009-11-30 2011-06-01 新奥特(北京)视频技术有限公司 Subtitle replacing method and device adopting subtitle templates
CN102752550A (en) * 2011-07-28 2012-10-24 新奥特(北京)视频技术有限公司 Method and system for generating caption formwork

Also Published As

Publication number Publication date Type
JP2000278622A (en) 2000-10-06 application

Similar Documents

Publication Publication Date Title
US6606127B1 (en) System and method for synchronizing, storing and accurately reproducing video signals
US20030093788A1 (en) Automatic emergency message display television receiver
US5325183A (en) OSD circuit for displaying advertising picture data
US5375160A (en) Interface apparatus for effecting captioning and communications between a telephone line and a television
US7474359B2 (en) System and method of displaying a video stream
US20030189669A1 (en) Method for off-image data display
US5963265A (en) Closed-caption broadcasting and receiving method and apparatus suitable for syllable characters
US5914719A (en) Index and storage system for data provided in the vertical blanking interval
US6295093B1 (en) Closed-caption broadcasting and receiving method and apparatus thereof suitable for syllable characters
JPH11234648A (en) Epg transmitter and method therefor, epg receiver and method therefor, epg transmission/reception system and method therefor, and providing medium
US5835153A (en) Software teletext decoder architecture
WO1996019077A1 (en) Subtitling transmission system
US6208383B1 (en) Soft scrolling method and apparatus of closed-caption words
JPH09162821A (en) Multiplex broadcasting system and broadcasting transmission device/broadcasting reception device used in the same
JP2002305695A (en) Display controller
CN1171698A (en) Viewer's selection type caption broadcasting device and method capable of transmitting dual language caption
US5995159A (en) Closed-caption scrolling method and apparatus suitable for syllable characters
US6130722A (en) Closed-caption broadcasting and displaying method and apparatus suitable for syllable characters
JPH10234016A (en) Video signal processor, video display device and recording and reproducing device provided with the processor
US6775842B1 (en) Method and arrangement for transmitting and receiving encoded images
JP2002125207A (en) Signal transmitter and signal receiver
JP2006197492A (en) Digital broadcast receiver
JP2000270277A (en) Television receiver
JP2000101947A (en) Information display device and information display method
EP0788279A2 (en) Television receiver and additional information transmitting method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040517

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080910

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131107

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees