JP4320001B2 - 字幕生成プログラムおよび字幕生成装置 - Google Patents

Description

この発明は、字幕情報を生成する字幕生成プログラムおよび字幕生成装置に関し、特に、映像に対応した字幕をリアルタイムに生成することができ、オペレータの人件費や訓練費が少なくて済む字幕生成プログラムおよび字幕生成装置に関するものである。

映像と連動させて字幕（テロップ）を表示する手法は、映像の内容を補足したり、映像の臨場感を高めたりする目的において非常に有効な手法である。映像と連動させて字幕を表示する方式には、予め字幕の内容と表示タイミングとをデータベース等に登録しておく方式と、映像に合わせて字幕を動的に入力していく方式とがある。

前者の方式を実現するための技術は、たとえば、特許文献１において開示されている。また、後者の方式を実現するための技術は、たとえば、特許文献２において開示されている。具体的には、特許文献１においては、ビデオデータに対応した電子文書を予め用意しておき、この電子文書に基づいて字幕を表示する技術が開示されている。また、特許文献２においては、字幕の入力を複数の端末で分担することにより、字幕の表示が映像の表示よりも遅れることを回避する技術が開示されている。

特開２００１−１６００６４号公報 特開２００４−７２７０５号公報

しかしながら、特許文献１のように字幕の内容と表示タイミングを事前に登録しておく方式は、テレビのニュース番組やスポーツ中継のように映像の内容が確定していない生番組等には対応することができない。また、特許文献２のように映像に合わせて字幕を動的に入力していく方式は、生番組等への対応は可能だが、入力を担当するオペレータの人件費や訓練費などのコストが高くつく。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、映像に対応した字幕をリアルタイムに生成することができ、オペレータの人件費や訓練費を低く抑えることができる字幕生成プログラムおよび字幕生成装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、字幕情報を生成する字幕生成プログラムであって、入力された映像を解析する解析手順と、前記解析手順の解析結果と予め記憶手段に格納されたキーワードとを照合して映像の内容を特定する特定手順と、映像の内容と関連付けて記憶手段に格納されたメッセージから前記特定手順が特定した内容に対応するメッセージを選択する選択手順とをコンピュータに実行させることを特徴とする。

また、本発明は、字幕情報を生成する字幕生成装置であって、入力された映像を解析する解析手段と、前記解析手段の解析結果と予め記憶手段に格納されたキーワードとを照合して映像の内容を特定する特定手段と、映像の内容と関連付けて記憶手段に格納されたメッセージから前記特定手段が特定した内容に対応するメッセージを選択する選択手段とを備えたことを特徴とする。

この発明によれば、映像の内容を特定するためのキーワードと映像の内容に対応するメッセージとを記憶手段に格納しておき、入力される映像を逐次解析してその結果と記憶手段に格納されたキーワードとを照合して映像の内容を特定し、特定した内容と対応するメッセージを逐次出力するように構成したので、テレビの生放送のように内容が確定していない映像に対応してリアルタイムで字幕情報を生成することができる。

また、字幕の生成時に訓練された複数のオペレータを必要としないので、高い人件費や訓練費を必要とせず、低コストで字幕のリアルタイム生成を実現することができる。

また、本発明は、上記の発明において、前記解析手段は、映像に含まれる音声を解析することを特徴とする。

この発明によれば、映像に含まれる音声によって映像を解析するように構成したので、画像による内容の特定が困難な映像にも適用することができる。

また、本発明は、上記の発明において、前記解析手段は、映像に含まれる画像を解析することを特徴とする。

この発明によれば、映像に含まれる画像によって映像を解析するように構成したので、音声による内容の特定が困難な映像にも適用することができる。

また、本発明は、上記の発明において、字幕情報の生成をおこなっている最中に前記記憶手段にメッセージを登録することが可能なメッセージ登録手順をさらにコンピュータに実行させることを特徴とする。

この発明によれば、映像の内容と対応したメッセージを字幕情報の生成中においても登録できるように構成したので、視聴者の反応をメッセージに動的に反映させて、映像の臨場感を一層高めることができる。

本発明によれば、映像の内容を特定するためのキーワードと映像の内容に対応するメッセージとを記憶手段に格納しておき、入力される映像を逐次解析してその結果と記憶手段に格納されたキーワードとを照合して映像の内容を特定し、特定した内容と対応するメッセージを逐次出力するように構成したので、テレビの生放送のように内容が確定していない映像に対応してリアルタイムで字幕情報を生成することができるという効果を奏する。

また、字幕の生成時に訓練された複数のオペレータを必要としないので、高い人件費や訓練費を必要とせず、低コストで字幕のリアルタイム生成を実現することができるという効果を奏する。

また、本発明によれば、映像に含まれる音声によって映像を解析するように構成したので、画像による内容の特定が困難な映像にも適用することができるという効果を奏する。

また、本発明によれば、映像に含まれる画像によって映像を解析するように構成したので、音声による内容の特定が困難な映像にも適用することができるという効果を奏する。

また、本発明によれば、映像の内容と対応したメッセージを字幕情報の生成中においても登録できるように構成したので、視聴者の反応をメッセージに動的に反映させて、映像の臨場感を一層高めることができるという効果を奏する。

以下に添付図面を参照して、本発明に係る字幕生成プログラムおよび字幕生成装置の好適な実施の形態を詳細に説明する。なお、以下の実施例では、本発明に係る字幕生成プログラムおよび字幕生成装置を野球中継における応援メッセージの表示に適用した例について説明をおこなうが、本発明に係る字幕生成プログラムおよび字幕生成装置の適用対象はこれに限定されるものではない。

本実施例では、本発明に係る字幕生成プログラムおよび字幕生成装置を野球中継における応援メッセージの表示に適用した場合を例にして説明をおこなう。まず、本実施例に係る字幕生成装置の構成について説明する。図１は、本実施例に係る字幕生成装置の構成を示す機能ブロック図である。

同図に示すように、字幕生成装置１００は、映像入力装置２００と、データ方法装置３００と、字幕合成装置４００と接続された構成をとる。映像入力装置２００は、字幕生成装置１００に映像を入力する装置であり、ビデオカメラやビデオ再生装置などがこれに相当する。本実施例では、字幕生成装置１００は、映像入力装置２００から野球中継の映像が入力されるものとする。なお、本実施例においては、特に断りがない場合、映像という語は、画像の他に音声も含むものを表すこととする。

データ放送装置３００は、受信端末との間で双方向のサービスを実現するための装置である。近年サービスが開始されたデジタル放送においては、放送電波の一部をもちいてＢＭＬ（Broadcast Markup Language）と呼ばれるフォーマットの電子画面データを受信端末に配信し、必要があれば、通信回線を通じて受信端末とサーバ装置との間でデータ通信をおこなうデータ放送サービスが実現されている。本実施例では、字幕生成装置１００は、データ放送装置３００を通じて視聴者から野球選手への応援メッセージが入力されるものとする。

字幕合成装置４００は、映像に字幕を重畳するための装置である。字幕生成装置１００から出力された字幕情報は、字幕合成装置４００によって映像に字幕として重畳され、放送設備へ送られる。本実施例では、字幕生成装置１００は、野球中継の映像を基にして字幕情報を出力し、字幕合成装置４００が野球中継の映像と字幕情報を重畳して出力する構成となる。

字幕生成装置１００は、入力された映像から字幕情報を出力する装置であり、制御部１１０と、記憶部１２０とを有する。制御部１１０は、字幕生成装置１００を全体制御する制御部であり、映像解析部１１１と、認識対象特定部１１２と、メッセージ選択部１１３と、メッセージ出力部１１４と、メッセージ登録部１１５とを有する。

映像解析部１１１は、映像に含まれる画像や音声を解析し、解析結果を文字情報として出力する処理部である。本実施例では、映像に映し出されている野球選手を特定するために、画像を解析してユニフォームの背番号、チーム名、選手名等を文字情報として出力し、また、音声を解析してアナウンサーの発した語を文字情報として出力する。もちろん、選手の顔や体型を解析対象としてもよい。なお、画像や音声の解析方式については、本発明では特定しないものとする。

認識対象特定部１１２は、映像解析部１１１が出力した文字情報と記憶部１２０のキーワードデータベース１２１に予め格納されたキーワードとを照合して、映像に含まれているはずのものを認識対象として特定する処理部である。本実施例においては、キーワードデータベース１２１に野球選手の選手名やチーム名、背番号等がキーワードとして格納され、認識対象特定部１１２は、これらのキーワードと映像解析部１１１が出力した文字情報とを照合して、映像に映し出されている野球選手を特定する処理をおこなう。

メッセージ選択部１１３は、認識対象特定部１１２が特定した認識対象に対応するメッセージを記憶部１２０のメッセージデータベース１２２から選択する処理部である。認識対象に対応するメッセージが複数存在する場合は、所定の優先順位等に従ってどのメッセージを選択するかを判断する。なお、メッセージの優先順位の付け方については、本発明では特定しないものとする。本実施例においては、メッセージ選択部１１３は、認識対象特定部１１２が特定した野球選手に対応する応援メッセージを選択する処理をおこなう。

メッセージ出力部１１４は、メッセージ選択部１１３が選択したメッセージを出力先の装置が使用しやすい形で字幕情報として出力する処理部である。字幕情報は、たとえば、文字データでもよいし、文字データを所定の字体をもちいて映像化した映像データでもよいし、音声読み上げ技術をもちいて文字データを音声化した音声データでもよい。本実施例では、字幕合成装置４００に対して文字データとして字幕情報を出力する。

メッセージ登録部１１５は、記憶部１２０のメッセージデータベース１２２にメッセージを登録する処理部である。本実施例では、野球中継の放送中にデータ放送の双方向サービスを使って視聴者から応援メッセージの登録を受付ける仕組みをとっており、データ放送装置３００が出力したメッセージ情報をメッセージ登録部１１５がメッセージデータベース１２２に随時追加していくようになっている。

記憶部１２０は、各種情報を記憶する記憶部であり、既に説明したキーワードデータベース１２１およびメッセージデータベース１２２を有する。

このように、本実施例に係る字幕生成装置１００は、映像を解析し、その解析結果と予め登録されたキーワードとを照合して映像に含まれている対象を特定し、特定した対象に関するメッセージをデータベースから取得して出力するように構成したので、人手を介すことなく、リルタイムに字幕情報を出力することができる。

次に、本実施例に係る字幕生成装置１００の処理手順について説明する。図２は、図１に示した字幕生成装置１００の処理手順を示すフローチャートである。同図に示すように、字幕生成装置１００は、映像が入力されたならば、映像解析部１１１において入力映像を画像と音声に分離する（ステップＳ１０１）。

そして、画像については、画像に含まれるシンボルを認識し（ステップＳ１０２）、認識したシンボルを対応する単語に変換する（ステップＳ１０３）。また、音声については、音声認識をおこなって音声中の単語の抽出をおこなう（ステップＳ１０４）。

続いて、認識対象特定部１１２において、映像解析部１１１の認識結果である各単語をキーワードデータベース１２１のキーワードと照合して認識対象を特定する（ステップＳ１０６）。ここで、認識対象を特定できなかった場合は（ステップＳ１０６否定）、ステップＳ１０７〜１０８は実行しない。

認識対象特定部１１２において認識対象を特定できた場合は（ステップＳ１０６肯定）、メッセージ選択部１１３において、メッセージデータベース１２２から認識対象に対応するメッセージを選択し（ステップＳ１０７）、メッセージ出力部１１４を通じてそのメッセージを字幕情報として出力する（ステップＳ１０８）。この一連の処理を映像が入力される間繰り返し実行することで、字幕情報の出力処理が実現される。

次に、本発明に係る字幕生成装置１００を野球中継における応援メッセージの表示に適用した場合の端末装置側の動作について例を示して説明する。ここでは、携帯電話を端末装置として使用する例にして説明する。地上波デジタル放送においては、携帯電話のような携帯端末向けの放送もおこなわれることとなっており、携帯電話をつかって野球中継を鑑賞する様態は一般的なものとなる。

図３−１〜３−７は、本発明に係る字幕生成装置１００を野球中継における応援メッセージの表示に適用した場合の端末装置側の動作の一例を示すサンプル図である。この例では、データ放送画面の一部として野球放送が表示されており、応援メッセージを随時登録可能な状態となっている。

図３−１は、応援メッセージが字幕として表示される場面を示している。同図に示すように、画面の下部にはデータ放送の機能により、応援メッセージの送信を受付けている旨のメッセージと、機能キーに割当てられている機能についてのガイドが表示されている。携帯電話は、通常、左右２つの機能キーを備えており、この例では、左の機能キーには機能一覧メニューを表示する機能が割当てられ、右の機能キーには映像の録画を開始する機能が割当てられている。

このような画面は、放送電波の一部を使用して配信されたＢＭＬフォーマットの電子データに基づいて表示される。ＢＭＬは、ＸＭＬ（eXtensible Markup Language）の一種で、データ放送の画面レイアウトや表示内容を定義したものである。

データ放送による表示部分の上部には、野球中継の画面が表示され、その画面の一部（この例では最上部）には、字幕生成装置１００が生成した字幕情報が表示されている。この字幕情報の生成過程は以下の通りである。

まず、映像に写っている選手のユニフォームの背番号「１０」と選手名「ＴＡＮＡＫＡ」を画像認識し、これらの単語に対応する選手をキーワードデータベース１２１より検索する。あるいは、アナウンサーの「東京タワーズの田中、バッターボックスに入りました」というようなアナウンスを音声認識し、認識した各単語と最も関連が強い選手をキーワードデータベース１２１より検索する。

図４は、キーワードデータベース１２１のデータ構成の一例を示すサンプル図である。同図に示すように、キーワードデータベース１２１は、認識対象のＩＤと、認識対象の属性情報と、キーワードとを有する。キーワードデータベース１２１は、認識対象１つについてレコードが１つ存在し、認識対象の属性情報とキーワードが、１つのレコードについて複数存在する構成となっている。

図４の例では、選手毎にレコードが１つずつ存在する構成となっている。そして、レコード毎に認識対象の属性情報が２つ存在し、それぞれ、所属チーム名と、選手名とを格納するようになっている。また、レコード毎にキーワードが７つ存在し、それぞれ、チームのフランチャイズ名の読み仮名、チーム名の読み仮名、ユニフォームにおけるチーム名表記、選手の姓の読み仮名、選手の名の読み仮名、ユニフォームにおける選手名表記、背番号を格納するようになっている。

図３−１の例では、画像認識されたユニフォームの背番号「１０」と選手名「ＴＡＮＡＫＡ」から１行目の田中選手のレコードが認識対象として選択される。あるいは、音声認識された「とうきょう」、「たわーず」、「たなか」から１行目の田中選手のレコードが認識対象として選択される。

認識対象が特定されると、その認識対象に対応するメッセージをメッセージデータベース１２２から選択する。図５は、メッセージデータベース１２２のデータ構成の一例を示すサンプル図である。同図に示すように、メッセージデータベース１２２は、認識対象のＩＤと、メッセージのＩＤと、メッセージの本文と、優先順位と、出力回数とを有する。メッセージデータベース１２２は、認識対象１つについてレコードが複数存在する構成となっている。

認識対象のＩＤは、認識対象を識別するためのＩＤであり、キーワードデータベース１２１中の認識対象のＩＤと対応する。メッセージのＩＤは、メッセージを識別するためのＩＤであり、前レコードを通じて一意な値を保持する。メッセージの本文は、字幕情報として出力するメッセージである。優先順位は、同一の認識対象に複数のメッセージが存在する場合の優先順位であり、値が小さいほど優先順位が高くなる。出力回数は、そのメッセージを出力した回数である。

同一の認識対象に複数のメッセージが存在する場合にどのメッセージが選択されるかは、優先順位と出力回数によって決まる。たとえば、出力回数が最も小さいものの中で優先順位が最も高いものを選択する。なお、メッセージの選択方式は、字幕生成装置１００の使用目的によって変更してよい。

図３−２は、視聴者が左の機能キーを押下した場面を示している。左の機能キーには機能一覧メニューを表示する機能が割当てられており、画面に機能一覧メニューが表示されている。この機能一覧メニューの表示内容もＢＭＬにより定義されており、たとえば、双方向サービスのためのデータ通信をおこなう「通信」や番組の情報を案内する「番組情報」といった項目を有している。

図３−３は、機能一覧メニューにおいて「通信」を選択した後の場面を示している。「通信」を選択すると、データ放送装置３００との間でデータ通信がおこなわれ、通信の結果として取得された画面が表示される。このデータ放送装置３００とのデータ通信は、一般的なＷＥＢサービスと同様の仕組みで実現される。この例では、応援メッセージを送信するか、応援メッセージ数を表示するかという選択画面が表示されている。

図３−４は、選択画面において応援メッセージの送信を選択した後の場面を示している。応援メッセージの送信を選択すると、再びデータ放送装置３００との間でデータ通信がおこなわれ、ホームチームとビジターチームのどちらに応援メッセージを送信するかという選択画面が表示される。

図３−５は、チームの選択画面でいずれかのチームを選択した後の場面を示している。ホームチームとビジターチームのいずれかのチームを選択すると、再びデータ放送装置３００との間でデータ通信がおこなわれ、応援メッセージを送信する対象の選手を選択する画面が表示される。この画面は、キーワードデータベース１２１等に格納された選手名情報から生成された選手名のリストを有しており、このリストから対象選手を選択するようになっている。

図３−６は、応援メッセージを送信する対象の選手を選択した後の場面を示している。選手を選択すると、再びデータ放送装置３００との間でデータ通信がおこなわれ、応援メッセージを入力する画面が表示される。

図３−７は、応援メッセージを入力した後の場面を示している。応援メッセージを入力すると、再びデータ放送装置３００との間でデータ通信がおこなわれ、入力した応援メッセージが字幕生成装置１００のメッセージデータベース１２２に格納される。そして、その応援メッセージは、認識対象特定部１１２が当該の選手を認識対象として特定した場合に選択候補となる。応援メッセージの送信完了後、受信端末には応援メッセージが受付けられた旨の画面が表示される。

なお、ここでは、字幕生成装置１００が生成した字幕情報である応援メッセージが放送局側で映像と合成されて放送される例を示したが、字幕情報を字幕放送によって野球中継の映像と別に放送することとしてもよい。あるいは、字幕情報を字幕放送ではなくデータ放送によって配信することとしてもよい。

上記実施例で説明した字幕生成装置１００の各種の処理は、あらかじめ用意されたプログラムをコンピュータで実行することによって実現することができる。そこで、以下では、図６を用いて、本実施例に係る字幕生成装置１００を実現するためのプログラムを実行するコンピュータの一例を説明する。

図６は、字幕生成プログラムを実行するコンピュータを示す機能ブロック図である。このコンピュータ１０００は、ユーザからのデータの入力を受付ける入力装置１０１０、モニタ１０２０、各種プログラムを記録した記録媒体からプログラムを読取る媒体読取り装置１０３０、各種情報を一時記憶するＲＡＭ（Random Access Memory）１０４０、ネットワークを介して他のコンピュータとの間でデータの授受をおこなうネットワークインターフェース装置１０５０、映像の入力を受けるための映像入力インターフェース装置１０６０、ＨＤＤ（Hard Disk Drive）１０７０およびＣＰＵ１０８０をバス１０９０で接続して構成される。

ＨＤＤ１０７０には、字幕生成装置１００の機能と同様の機能を発揮するプログラムである字幕生成プログラム１０７０ｃが記憶されている。そして、ＣＰＵ１０８０が、字幕生成プログラム１０７０ｃをＨＤＤ１０７０から読み出して実行することにより、同プログラムは、字幕生成プロセス１０８０ａとして機能するようになる。字幕生成プロセス１０８０ａは、図１に示した制御部１１０に対応する。

また、ＣＰＵ１０８０は、ＨＤＤ１０７０からキーワードデータベース１０７０ａおよびメッセージデータベース１０７０ｂとを読み出して、キーワードデータ１０４０ａおよびメッセージデータ１０４０ｂとしてＲＡＭ１０４０に格納する。そして、ＲＡＭ１０４０に格納されたキーワードデータ１０４０ａおよびメッセージデータ１０４０ｂに基づいて各種データ処理を実行する。キーワードデータベース１０７０ａは、図１に示したキーワードデータベース１２１に対応し、メッセージデータベース１０７０ｂは、メッセージデータベース１２２に対応する。

なお、上記の字幕生成プログラム１０７０ｃについては、必ずしもＨＤＤ１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮ等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）などにプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。

また、本実施例では、字幕生成装置１００もしくは字幕生成プログラム１０７０ｃが放送局側に配置される場合について説明したが、受信端末側に配置される構成としてもよい。この場合、字幕生成装置１００もしくは字幕生成プログラム１０７０ｃは、受信端末が受信した映像を入力され、この映像を基にした字幕情報を出力する。出力された字幕情報は、受信端末上で映像と重畳され、視聴者に提供される。この場合、キーワードデータベース１２１やメッセージデータベース１２２の内容は、視聴者自身が入力したものであってもよいし、データ通信によりダウンロードしたものであってもよい。

また、本実施例における装置およびプログラムの構成は一例であり、本実施例において１つとして構成されている装置およびプログラムが分散配置されていてもよいし、逆に、複数に分かれている装置およびプログラムの全体もしくは一部が統合されていてもよい。

上述してきたように、本実施例では、映像の内容を特定するためのキーワードと映像の内容に対応するメッセージとを記憶手段に格納しておき、入力される映像を逐次解析してその結果と記憶手段に格納されたキーワードとを照合して映像の内容を特定し、特定した内容と対応するメッセージを逐次出力するように構成したので、テレビの生放送のように内容が確定していない映像に対応してリアルタイムで字幕情報を生成することができる。

また、字幕の生成時に訓練された複数のオペレータを必要としないので、高い人件費や訓練費を必要とせず、低コストで字幕のリアルタイム生成を実現することができる。

（付記１）字幕情報を生成する字幕生成プログラムであって、
入力された映像を解析する解析手順と、
前記解析手順の解析結果と予め記憶手段に格納されたキーワードとを照合して映像の内容を特定する特定手順と、
映像の内容と関連付けて記憶手段に格納されたメッセージから前記特定手順が特定した内容に対応するメッセージを選択する選択手順と
をコンピュータに実行させることを特徴とする字幕生成プログラム。

（付記２）前記解析手段は、映像に含まれる音声を解析することを特徴とする付記１に記載の字幕生成プログラム。

（付記３）前記解析手段は、映像に含まれる画像を解析することを特徴とする付記１または２に記載の字幕生成プログラム。

（付記４）字幕情報の生成をおこなっている最中に前記記憶手段にメッセージを登録することが可能なメッセージ登録手順をさらにコンピュータに実行させることを特徴とする付記１〜３のいずれか一つに記載の字幕生成プログラム。

（付記５）字幕情報を生成する字幕生成装置であって、
入力された映像を解析する解析手段と、
前記解析手段の解析結果と予め記憶手段に格納されたキーワードとを照合して映像の内容を特定する特定手段と、
映像の内容と関連付けて記憶手段に格納されたメッセージから前記特定手段が特定した内容に対応するメッセージを選択する選択手段と
を備えたことを特徴とする字幕生成装置。

（付記６）前記解析手段は、映像に含まれる音声を解析することを特徴とする付記５に記載の字幕生成装置。

（付記７）前記解析手段は、映像に含まれる画像を解析することを特徴とする付記５または６に記載の字幕生成装置。

（付記８）字幕情報の生成をおこなっている最中に前記記憶手段にメッセージを登録することが可能なメッセージ登録手段をさらに備えたことを特徴とする付記５〜７のいずれか一つに記載の字幕生成装置。

以上のように、本発明に係る字幕生成プログラムおよび字幕生成装置は、字幕情報の生成に有用であり、特に、映像に対応した字幕をリアルタイムに生成することを低コストで実現することが必要な場合に適している。

本実施例に係る字幕生成装置の構成を示す機能ブロック図である。 図１に示した字幕生成装置の処理手順を示すフローチャートである。 端末装置側の動作の一例を示すサンプル図である。 端末装置側の動作の一例を示すサンプル図である。 端末装置側の動作の一例を示すサンプル図である。 端末装置側の動作の一例を示すサンプル図である。 端末装置側の動作の一例を示すサンプル図である。 端末装置側の動作の一例を示すサンプル図である。 端末装置側の動作の一例を示すサンプル図である。 キーワードデータベースのデータ構成の一例を示すサンプル図である。 メッセージデータベースのデータ構成の一例を示すサンプル図である。 字幕生成プログラムを実行するコンピュータを示す機能ブロック図である。

符号の説明

１００ 字幕生成装置
１１０ 制御部
１１１ 映像解析部
１１２ 認識対象特定部
１１３ メッセージ選択部
１１４ メッセージ出力部
１１５ メッセージ登録部
１２０ 記憶部
１２１ キーワードデータベース
１２２ メッセージデータベース
２００ 映像入力装置
３００ データ放送装置
４００ 字幕合成装置
１０００ コンピュータ
１０１０ 入力装置
１０２０ モニタ
１０３０ 媒体読取り装置
１０４０ ＲＡＭ
１０４０ａ キーワードデータ
１０４０ｂ メッセージデータ
１０５０ ネットワークインターフェース装置
１０６０ 映像入力インターフェース装置
１０７０ ＨＤＤ
１０７０ａ キーワードデータベース
１０７０ｂ メッセージデータベース
１０７０ｃ 字幕生成プログラム
１０８０ ＣＰＵ
１０８０ａ 字幕生成プロセス
１０９０ バス

Claims (5)

1. 放送を受信する受信端末から通信回線を介してデータの入力を受け付けるコンピュータに、前記放送において前記受信端末に表示される字幕情報を生成する機能を実現させる字幕生成プログラムであって、
   前記受信端末から受け付けた映像内容とメッセージとを対応付けてメッセージデータベースに格納するメッセージ登録手順と、
   放送される映像を解析して文字情報を抽出する解析手順と、
   前記解析手順で抽出された文字情報をキーとして、キーワードと映像内容を対応付けて格納したキーワードデータベースを検索して映像内容を特定する特定手順と、
   前記特定手順で特定された映像内容に対応付けられたメッセージを前記メッセージデータベースから読み出し、所定の規則に基づいて選択する選択手順と
   をコンピュータに実行させることを特徴とする字幕生成プログラム。
2. 前記解析手段は、映像に含まれる音声を解析することを特徴とする請求項１に記載の字幕生成プログラム。
3. 前記解析手段は、映像に含まれる画像を解析することを特徴とする請求項１または２に記載の字幕生成プログラム。
4. 前記メッセージデータベースにおいて、前記メッセージには所定の優先順位と出力回数とが対応付けて格納され、
   前記所定の規則は、前記特定手順で特定された映像内容に対応付けられたメッセージのうち、対応付けられている前記出力回数が最も少ないメッセージの中で、対応付けられている前記優先順位が最も高いメッセージを選択する規則であることを特徴とする請求項１〜３のいずれか一つに記載の字幕生成プログラム。
5. 放送を受信する受信端末から通信回線を介してデータの入力を受け、前記放送において前記受信端末に表示される字幕情報を生成する字幕生成装置であって、
   前記受信端末から受け付けた映像内容とメッセージとを対応付けてメッセージデータベースに格納するメッセージ登録手段と、
   放送される映像を解析して文字情報を抽出する解析手段と、
   前記解析手段で抽出された文字情報をキーとして、キーワードと映像内容を対応付けて格納したキーワードデータベースを検索して映像内容を特定する特定手段と、
   前記特定手段で特定された映像内容に対応付けられたメッセージを前記メッセージデータベースから読み出し、所定の規則に基づいて選択する選択手段と
   を備えたことを特徴とする字幕生成装置。

Images