JPWO2006048963A1 - 字幕付き静止画コンテンツ作成装置、字幕付き静止画コンテンツ作成プログラム及び字幕付き静止画コンテンツ作成システム - Google Patents

Abstract

クローズド・キャプションである字幕放送コンテンツをオープン化して、テレビ映像から得た静止画に合成し、新たな字幕付き静止画コンテンツを自動作成することが可能な字幕付き静止画コンテンツの作成技術を提供する。字幕付き静止画コンテンツ作成システムでは、字幕付き映像信号生成装置は字幕付き映像信号を生成し、静止画コンテンツ作成装置は当該字幕付き映像信号から字幕付き静止画コンテンツを作成する。字幕付き映像信号生成装置は、元になる映像信号及び字幕信号を受信し、当該字幕がリアルタイム字幕であるか否かに応じて、制御信号を生成する。そして、前記字幕信号と前記映像信号とを合成し、前記制御信号を所定位置に挿入して字幕付き映像信号を生成する。一方、静止画コンテンツ作成装置は、字幕付き映像信号から字幕信号及び制御信号を抽出し、制御信号に基づいて映像信号中の画像をキャプチャーして静止画を生成するとともに、字幕信号から字幕画像を生成する。そして、静止画と字幕画像とを合成して字幕付き静止画コンテンツを作成する。

Description

本発明は、字幕放送などの字幕付き映像信号から、字幕付きの静止画コンテンツを作成する技術に関する。

テレビ放送の字幕は、音声を聞かなくてもテレビ番組の内容がよく理解できるように注意深く作られている。テレビ字幕放送は、その放送の使命が聴覚障害者への情報伝達手段であることから、番組内の出演者の言葉や効果音など音声情報を文字情報化している。また、画面内の複数人物の対話なども、話者を区別した表現で文字情報化している。よって、テレビ放送中の字幕は、ユーザが音声を聞かなくても内容を理解できる質の高い情報となっている。

なお、字幕を含む映像から、字幕コードをきっかけとして代表画像を切り出す映像情報蓄積装置が提案されている（特許文献１参照）。

特開平１０−３２７３８６号公報

技術的面の特徴として、字幕信号はテレビ映像信号のフレームに同期している（物理的な同期）。一方、字幕データとしての観点では情報として番組内容のシーンにも同期している（意味的な同期）。この特徴はデジタル放送でも同様である。

これらの特徴から、字幕信号を利用して、当該番組のテレビジョン映像信号（動画シーン）から、意味的同期で１枚の静止画を得ることが出来る。つまり、字幕信号を『意味のある静止画』キャプチャーのトリガー（きっかけ）として利用することにより、質の高い情報を活かした、新たな字幕付き静止画コンテンツに編成することが可能である。

字幕放送は「クローズド・キャプション」と呼ばれる。これに対して、通常にテレビ放送にスーパーインポーズされるものを「オープン・キャプション」と呼ぶ。本発明は、クローズド・キャプションである字幕放送コンテンツをオープン化して、テレビ映像から得た静止画に合成し、新たなコンテンツを自動作成する技術を提供するものである。

字幕放送の伝送規格は、ＯＳＩモデル（Open Systems Interconnection）に準拠してデータ構造が構成されている。なお、ＯＳＩはＩＳＯ（国際標準化機構）が国際標準化した、７階層からなる開放型システム間相互接続参照モデルを意味する。文字放送は、この階層モデルに準じた次の定義を用いている。
（階層７） （適用なし）
（階層６） 提示 文字・図形・付加音の表出を行う。文字放送専用の
外字も使われ、人名などの特殊文字はビットパターンの
伝送（ＤＪＣＳ）で表示される。
（階層５） 番組 番組管理データ、ページデータ（ＰＡＣＩやデータ
ユニットを含む）から成る。
（階層４） データグループ データブロックの集合である。
（階層３） データパケット プリフィクスと２２バイトのデータブロック
から成る。
（階層２） データライン パケット同期部とデータパケットから成る
（階層１） 伝送路 電気物理的信号である。

本発明では、映像と字幕の合成タイミングを正確にするために、及び、処理システムをコンパクトにするために「ＯＳＩレイヤー」の物理層に近い部分「階層（レイヤー）２から５」で制御処理する方法を考案した。具体的には、ＮＴＳＣ方式を例にすると、テレビ映像信号をデジタイズ後に、字幕部分のパケットデータとデジタル化した映像データをバイナリーデータでメモリなどに一時記憶しておき、レイヤー５までの定義判定処理を行うことで実現する。また、字幕放送規格で扱う文字には、外字や再定義文字などがあり、バイナリーデータを文字コードにデコード後の処理方式では（上位のレイヤー６以上、例えば、漢字文字コードを認識するような方式）システム動作を曖昧にしてしまう恐れがある。この方式の大きな利点として、これを防止できることが挙げられる。

また、デジタル放送方式の場合でも、ＰＥＳからバイナリーデータとして抽出後は、同じ処理で行える。

本発明の１つの観点では、字幕付き静止画コンテンツ作成装置は、字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から、字幕信号及びコンテンツ作成のための制御信号を抽出する抽出部と、前記制御信号に基づいて、前記映像信号中の画像をキャプチャーする静止画キャプチャー部と、前記字幕信号に基づいて字幕画像を生成する字幕画像生成部と、前記字幕画像と前記静止画とを合成し、字幕付静止画コンテンツを作成する作成部と、を備える。

「制御信号」としては、字幕パケット構成規格にある、ＰＡＣＩ内の「字幕フラグ」と、字幕パケットのページバイナリデータにより、キャプチャーと合成タイミング制御信号を生成する方法が、最も簡易な手法である。この場合も、「ＯＳＩレイヤー」の物理層に近い「レイヤー２から５」部分で制御処理する方法であるので、物理的なタイミングは正確である。一方、コンテンツ制作を考慮すると、制作側の意図をより詳細に反映する目的で、タイミング制御信号を付加する方法がより優れたコンテンツを提供可能となる。

上記の字幕付き静止画コンテンツ作成装置は、字幕付き映像信号から、字幕付き静止画コンテンツを作成する。字幕付き映像信号としては、例えば放送局から放送される字幕放送番組の映像信号などが含まれる。テレビ等の番組は、事前にＶＴＲなどに収録したパッケージ番組とニュースなどの様に生放送の番組に大別される。これらの番組に字幕を付与する場合、パッケージ番組では、映像信号などと字幕信号を一緒にＶＴＲなどに記録し放送する方法と、映像信号などをＶＴＲなどに記録し、放送時に字幕信号を付加する方法があり、それらは共にパッケージ字幕番組（以下、「パッケージ字幕放送番組」と呼ぶ。）である。また、ニュース番組など生放送の放送時に、リアルタイムで字幕を付加するリアルタイム字幕（「生字幕」とも呼ばれる。）放送番組（以下、「リアルタイム字幕放送番組」と呼ぶ。）がある。

なお、字幕付き映像信号は、アナログ映像信号であってもデジタル映像信号であってもよく、また、パッケージ字幕放送番組の映像信号であっても、リアルタイム字幕放送番組の映像信号であってもよい。

受信部により受信された字幕付き映像信号からは、字幕信号及びコンテンツ作成のための制御信号が抽出される。コンテンツ作成のための制御信号は、映像信号中の特定の画像のキャプチャータイミングなどを示す制御信号を含むことができ、その制御信号に基づいて映像信号中の画像が静止画としてキャプチャーされる。一方、抽出された字幕信号に基づいて、字幕の文字に対応する字幕画像が生成される。そして、字幕画像と、キャプチャーされた静止画とが合成され、字幕付き静止画コンテンツが作成される。

この字幕付き静止画コンテンツは、映像信号に含まれる字幕と、その字幕に対応する画像の静止画とが合成されたものである。通常、字幕放送の内容は当該番組の主要な情報を提供するように構成されているので、字幕と、それに対応する画像とが合成された静止画を閲覧することにより、ユーザは当該字幕放送番組を実際に視聴した場合と比べてそれほど遜色のない情報を短時間に取得することができる。

上記の字幕付き静止画コンテンツ作成装置の一態様では、前記静止画キャプチャー部は、各字幕信号に対応する前記映像信号中の静止画をキャプチャーする。これにより、字幕付き静止画コンテンツに含まれる静止画の内容と、字幕とを内容的、意味的に整合させることが可能となる。

上記の字幕付き静止画コンテンツ作成装置の好適な例では、前記映像信号はパッケージ字幕放送番組の映像信号であり、前記抽出部は前記映像信号中の字幕信号を含むフレームから当該字幕信号及び前記制御信号を抽出し、前記静止画キャプチャー部は、当該フレームの画像をキャプチャーする。パッケージ字幕放送番組の映像信号においては、字幕が挿入されている位置は映像信号が示す画像の内容と時間的、内容的に整合がとれている。即ち、字幕は、その字幕の内容と対応する画像上に挿入されるように字幕付き映像信号が予め構成されている。よって、字幕信号が含まれるフレームから字幕信号を抽出し、そのフレーム画像の静止画と合成することにより、内容的に字幕と画像との整合がとれた字幕付き静止画コンテンツを作成することができる。

上記の字幕付き静止画コンテンツ作成装置の他の好適な例では、前記映像信号はリアルタイム字幕放送の映像信号であり、前記抽出部は前記映像信号中の字幕信号を含むフレームから当該字幕信号及び前記制御信号を抽出し、前記静止画キャプチャー部は、当該フレームより時間的に後方に位置するフレームの画像をキャプチャーする。リアルタイム字幕放送番組では、映像とともに生放送される音声に基づいてリアルタイムで字幕信号が生成され、映像信号に付加されるので、字幕信号はそれに対応する画像よりも時間的に遅れた位置に付加されることになる。よって、通常、リアルタイム字幕放送番組では、対応する画像に対して遅れて字幕が表示される。そこで、リアルタイム字幕放送番組の場合には、字幕信号が含まれるフレームから字幕信号及び制御信号を抽出するとともに、それより時間的に後方に位置するフレームから、当該字幕に対応するフレーム画像をキャプチャーして静止画を生成する。そして、その字幕と静止画とを合成する。これにより、リアルタイム字幕放送番組からも、字幕と静止画とが内容的に整合された字幕付き静止画コンテンツを作成することができる。

上記の字幕付き静止画コンテンツ作成装置の一例では、前記映像信号をアナログテレビジョン信号とし、前記抽出部は前記アナログテレビジョン信号中の字幕信号を含むフレームの垂直帰線期間内から前記制御信号を抽出することができる。また、他の例では、前記映像信号をデジタルテレビジョン信号とし、前記抽出部は前記デジタルテレビジョン信号中の字幕信号を含むＰＥＳ中のプライベートデータ内から前記制御信号を抽出することができる。

本発明の他の観点では、字幕付き静止画コンテンツ作成プログラムは、コンピュータ端末により実行されることにより、前記コンピュータ端末を、字幕付き映像信号を受信する受信部、前記字幕付き映像信号から字幕信号及びコンテンツ作成のための制御信号を抽出する抽出部、前記制御信号に基づいて、前記映像信号中の画像をキャプチャーする静止画キャプチャー部、前記字幕信号に基づいて字幕画像を生成する字幕画像生成部、及び、前記字幕画像と前記静止画とを合成し、字幕付静止画コンテンツを作成する作成部として機能させる。上記の字幕付き静止画コンテンツ作成プログラムを、ＰＣその他のコンピュータ端末上で実行することにより、上述の字幕付き静止画コンテンツ作成装置を実現することができる。

本発明のさらに他の観点では、字幕付静止画コンテンツ作成システムは、字幕付き映像信号生成装置と、静止画コンテンツ作成装置とを備える。ここで、字幕付き映像信号生成装置は、映像信号及び字幕信号を受信する受信部と、前記字幕がリアルタイム字幕であるか否かに応じて制御信号を生成する制御信号生成部と、前記字幕信号と前記映像信号とを合成し、前記制御信号を所定位置に挿入して字幕付き映像信号を生成する信号生成部と、を備える。また、静止画コンテンツ作成装置は、前記字幕付き映像信号を受信する受信部と、前記字幕付き映像信号から前記字幕信号及び前記制御信号を抽出する抽出部と、前記制御信号に基づいて、前記映像信号中の画像をキャプチャーする静止画キャプチャー部と、前記字幕信号に基づいて字幕画像を生成する字幕画像生成部と、前記字幕画像と前記静止画とを合成し、字幕付き静止画コンテンツを作成する作成部と、を備える。

上記の字幕付き静止画コンテンツ作成システムによれば、字幕付き映像信号生成装置は字幕付き映像信号を生成し、静止画コンテンツ作成装置は当該字幕付き映像信号から字幕付き静止画コンテンツを作成する。

字幕付き映像信号生成装置は、元になる映像信号及び字幕信号を受信し、当該字幕がリアルタイム字幕であるか否かに応じて、制御信号を生成する。そして、前記字幕信号と前記映像信号とを合成し、前記制御信号を所定位置に挿入して字幕付き映像信号を生成する。一方、静止画コンテンツ作成装置は、字幕付き映像信号から字幕信号及び制御信号を抽出し、制御信号に基づいて映像信号中の画像をキャプチャーして静止画を生成するとともに、字幕信号から字幕画像を生成する。そして、静止画と字幕画像とを合成して字幕付き静止画コンテンツを作成する。

この字幕付き静止画コンテンツは、映像信号に含まれる字幕と、その字幕に対応する画像の静止画とが合成されたものであるので、その合成画を閲覧することにより、ユーザは当該字幕放送番組を実際に視聴した場合と比べてそれほど遜色のない情報を短時間に取得することができる。

上記の字幕付き静止画コンテンツ作成システムの一態様では、前記制御信号生成部は、前記字幕がリアルタイム字幕でない場合には、前記字幕信号及び前記制御信号が抽出されたフレーム画像を前記静止画キャプチャー部によりキャプチャーすべき画像に指定する制御信号を生成し、前記字幕がリアルタイム字幕である場合には、前記字幕信号及び前記制御信号が抽出されたフレーム画像より時間的に後方のフレーム画像を前記静止画キャプチャー部によりキャプチャーすべき画像に指定する制御信号を生成する。これにより、パッケージ字幕放送番組の場合でも、リアルタイム字幕放送番組の場合でも、内容的に字幕と静止画の内容が整合した字幕付き静止画コンテンツを作成することができる。

本発明に係る字幕付き静止画コンテンツ作成システムを適用した環境の例を示す。 一般的な字幕放送用映像信号と、本発明による字幕付き静止画コンテンツの表示画像例を示す。 字幕付き映像信号と、それに対応する画像と、字幕付きＴＶ映像信号から字幕付き静止画コンテンツを作成する処理の概要とを模式的に示す。 字幕付き映像信号中における制御情報の位置及び内容を示す。 字幕付き映像信号中における制御情報の位置及び内容を示す。 パッケージ放送番組における字幕付き静止画コンテンツの作成の様子、及び、リアルタイム字幕放送における字幕送出の遅れを模式的に示す。 リアルタイム字幕放送番組における字幕付き静止画コンテンツの作成の様子を模式的に示す。 放送局内のシステム構成を示すブロック図である。 字幕付き静止画コンテンツ作成装置の主要構成を示す。 字幕付き静止画コンテンツ作成装置の実施例の構成を示す。 デジタルＴＶ映像信号の場合の制御フラグの設定例を示す。 本発明に係る字幕付き静止画コンテンツ作成システムを適用した環境の例を示す。

符号の説明

１０ 放送局
２０ 字幕放送送出システム
３０ 字幕付き静止画コンテンツ作成装置
４０ 放送波
４２ 字幕付き静止画コンテンツ
５０ ユーザ環境
５２ ＴＶ受信機
５４ 端末装置

以下、図面を参照して本発明の好適な実施形態について説明する。

［第１実施形態］
（字幕付き静止画コンテンツ作成システム）
図１に、本発明に係る字幕付き静止画コンテンツ作成システムを適用した環境の例を示す。図１では、放送局１０がユーザ環境５０に対して字幕テレビ放送を行っている。放送局１０内では、字幕放送送出システム２０が字幕放送用の映像信号を作成し、これを放送波４０に乗せて送出する。ユーザ環境５０では字幕チューナを備えるＴＶ受信機５２により放送波４０を受信し、字幕放送番組を見ることができる。

これに加え、本発明では、字幕放送送出システム２０は通常の字幕放送用の映像信号に対して、字幕付き静止画コンテンツ作成時に使用する制御情報を付加した映像信号（以下、「字幕付き映像信号」と呼ぶ。）を作成し、字幕付き静止画コンテンツ作成装置３０へ供給する。即ち、本発明による字幕付き静止画コンテンツ作成システムは、字幕放送送出システム２０及び字幕付き静止画コンテンツ作成装置３０により構成される。

字幕付き静止画コンテンツ作成装置３０は、字幕放送送出システム２０から供給された字幕付き映像信号を使用して、字幕付き静止画コンテンツ４２を作成する。字幕付き静止画コンテンツ４２は、字幕が合成された静止画コンテンツであり、放送、インターネットその他によるデータ通信、記憶媒体による頒布など、各種の伝達方法によりユーザに提供される。ユーザは、ＰＣ、ＰＤＡ、携帯電話、電子ブックその他の端末装置５４により、字幕付き静止画コンテンツ４２を閲覧することができる。

字幕付き静止画コンテンツは、字幕放送番組を構成する静止画に、当該字幕放送中に表示される字幕が合成されたコンテンツである。前述のように、字幕放送番組中の字幕は、音声を聞かなくても番組内容を十分に理解できるように作成された質の高い情報であるため、ユーザは字幕付き静止画コンテンツを閲覧することにより、当該字幕放送番組を視聴した場合と比べても遜色ない情報を得ることができる。

（字幕付き静止画コンテンツ）
次に、字幕付き静止画コンテンツの概略について説明する。図２に、一般的な字幕放送用映像信号と、本発明による字幕付き静止画コンテンツの表示画像例を示す。図２の上段に示すように、字幕放送中のフレーム画像１〜５において、フレーム画像１及び２中に字幕１が表示され、フレーム画像３中に字幕２が表示され、フレーム画像４及び５中に字幕３が表示されるように字幕放送用映像信号が構成されているとする。この場合、本発明の字幕付き静止画コンテンツとしては、図２の下段に示すように、フレーム画像１に字幕１が合成された静止画と、フレーム画像３に字幕２が合成された静止画と、フレーム画像４に字幕３が合成された静止画とが作成される。このように、本発明では、字幕を基準として、その字幕に対応するフレーム画像をキャプチャーし、キャプチャーしたフレーム画像に字幕を合成することにより字幕付き静止画を作成する。これにより、元になる字幕放送用映像信号中に含まれる字幕は全て字幕付き静止画コンテンツ中に含められることになる。即ち、字幕放送において重要な情報である字幕を漏らさず静止画コンテンツ中に取り込むことができるので、作成された字幕付き静止画コンテンツを閲覧することにより、ユーザは元になる字幕放送を視聴した場合とほぼ同等の情報を得ることができる。

また、字幕付き静止画コンテンツは時系列に配列された静止画の集合であるので、ユーザは通常、ＰＣ、ＰＤＡ、携帯電話、電子ブックなどの端末装置を使用してその順序に従って再生、閲覧することになる。

（字幕付き静止画コンテンツ作成方法の概要）
次に、字幕付き静止画コンテンツの作成方法の概要について説明する。図３は、字幕付き映像信号と、それに対応する画像と、字幕付きＴＶ映像信号から字幕付き静止画コンテンツを作成する処理の概要とを模式的に示す。この例では、図３の最上段に示すように、字幕付きＴＶ映像信号中の画像はフレーム画像３〜５を有し、フレーム画像３には字幕はなく、フレーム画像４及び５には字幕３が含まれている。即ち、図３の中段に示すように、字幕付きＴＶ映像信号は、フレーム画像３には字幕信号が含まれておらず、フレーム画像４及び５には字幕３の字幕信号が含まれている。

この場合、字幕付き静止画コンテンツの作成処理は、まずフレーム画像中の字幕信号を検出する。本例では、字幕信号が含まれるフレーム画像、即ちフレーム画像４を検出し、その字幕信号を含む字幕パケットを抽出する（ステップＳ１）。字幕パケットには後述する制御情報が含まれている。制御情報には字幕付きＴＶ映像信号のフレーム画像をキャプチャーするタイミングを示す情報が含まれているので、字幕付き静止画コンテンツの作成処理は、当該制御信号を抽出し、その内容に応じてＴＶ映像信号のフレーム画像をキャプチャーするタイミングを示すキャプチャートリガを生成し、それに基づいて対応するフレーム画像をキャプチャーする（ステップＳ２）。キャプチャーされたフレーム画像はＪＰＥＧ圧縮され、静止画データ１１が作成される（ステップＳ３）。

一方、ステップＳ１で抽出された字幕パケットからは字幕３の字幕データが抽出され、その字幕に対応する字幕画像１２が生成される。そして、フレーム画像４に対応する静止画データ１１と、字幕３に対応する字幕画像１２とが合成され、字幕付き静止画コンテンツ１３が作成される。

このように、字幕付き静止画コンテンツの作成処理では、字幕付きＴＶ映像信号中のフレーム画像のうち、字幕を含む映像信号から字幕パケットを抽出し、その中に含まれる制御信号に基づいて、静止画としてキャプチャーすべきフレーム画像を決定する。そして、制御信号に従ってキャプチャーされた静止画と、字幕パケットに含まれる字幕データに対応する字幕画像とを合成して字幕付き静止画コンテンツが作成される。

（制御信号）
次に、字幕付き静止画コンテンツの作成に用いられる制御信号について詳しく説明する。図４及び５に、字幕付き映像信号中における制御情報の位置及び内容を示す。本例では、字幕付き映像信号は文字放送規格に従ったアナログＴＶ映像信号であるものとする。アナログ字幕付き映像信号では、字幕データ及び字幕に関する情報はＴＶ映像信号の垂直帰線期間（ＶＢＩ）中に挿入される。本例では、特に制御信号は文字放送規格のうち、ページデータヘッダ（ＰＡＣＩ）の「ページ提示デバイス（ＤＢ１５）のうちのビット番号ｂ５〜ｂ８に設定されるものとする。

図４に文字放送のページデータヘッダの構成を示す。文字放送データのうち、図４の最下段に示すデータグループ０〜３にはそれぞれヘッダ（Ｈ）２１と、データグループデータ２２と、ＣＲＣなどの情報２３が含まれる。このうち、データグループ０中のデータグループデータ２２は番組管理データに対応し、番組管理データは番組データヘッダ２４及びデータユニット２５を含む。一方、データグループ１及び２中のデータグループデータ２２はページデータ中のページデータヘッダ２６及びデータユニット２７にそれぞれ対応する。

ページデータ中のページデータヘッダ２６は、データヘッダ識別３１、データヘッダデータ長３２及びデータヘッダデータ３２を含む。データヘッダ識別３１は情報分離符号ＤＢ８及びデータヘッダパラメータＤＢ９を含む。一方、データヘッダデータ３３は、図４の最上段に示すように、番組番号及びマガジン番号ＤＢ１１〜ラスタ色及びヘッダラスタ色ＤＢ１９の各種情報を含み、その中にページ提示デバイスＤＢ１５が含まれている。

図５に、ページデータヘッダ２６及びページ提示デバイスＤＢ１５の構成、並びに、制御フラグの例を示す。図示のように、ページ提示デバイスＤＢ１５はｂ１〜ｂ８の８ビットを有し、ｂ５〜ｂ８の４ビットが本発明による制御信号を設定するための制御ビットとして使用される。また、これらの制御ビットは、ページデータヘッダ中の番組形態ＤＢ１４の制御ビット「ｂ４」、「ｂ３」がともに“１”（オン）である場合、つまり「“１１”＝字幕」である場合に有効となる。

図５の最下段に制御ビットｂ５〜ｂ８に設定される制御フラグの意味を示す。図５の中段に例示するように、例えば制御タイプがＣｂである場合、制御ビットｂ８〜ｂ５がそれぞれ“０”、“０”、“０”、“１”に設定され、制御フラグ「０００１」となる。なお、制御タイプＣａ〜Ｃｇなどは、制御の種類を区別するために説明の便宜上付けたものである。

これらの制御フラグは、放送局内で、前述の字幕放送送出システム２０が字幕付き映像信号を生成する際に設定される。即ち、字幕放送送出システム２０が出力する字幕付き映像信号にはこれら制御情報が既に含まれている。

パッケージ字幕放送番組では、既にＶＴＲ収録されたＴＶ映像信号に対して字幕を挿入するので、ＴＶ画像と字幕を時間的、内容的に正しく対応させることができる。即ち、ＴＶ画像中の適切なフレーム画像に対して字幕が挿入されている。よって、パッケージ字幕放送番組から字幕付き静止画コンテンツを生成する場合は、字幕を含むフレーム画像を検出し、そのフレーム画像の静止画と、そのフレーム画像の映像信号に含まれている字幕とを合成させればよい。

このため、パッケージ字幕放送番組の字幕付き映像信号には、制御タイプＣｄの制御フラグ「００１１」が設定される。制御フラグ「００１１」はフレーム内のベース映像のキャプチャー、字幕データの保存、及び、字幕の文字レンダリングの指示に対応する。よって、制御フラグ「００１１」が検出されると、そのフレームのフレーム画像をキャプチャーして静止画を作成し、作成された静止画にそのフレーム内の字幕が抽出されてレンダリング（画像生成）されて合成される。

図６（ａ）に、パッケージ放送番組における字幕付き静止画コンテンツの作成の様子を模式的に示す。パッケージ字幕放送番組のフレーム画像４１は、ベース映像となるフレーム画像４３と字幕データ４４を含み、さらにＶＢＩ４２内に制御フラグ「００１１」が挿入されている。字幕付き静止画コンテンツ作成装置３０は、制御フラグ「００１１」を検出すると、キャプチャー機能３１により当該フレーム画像４１をキャプチャーするとともに、当該フレームに含まれる字幕データ４４を抽出し、文字レンダリング機能３２により文字レンダリングを行う。そして、キャプチャーした静止画とレンダリングした文字とを合成して字幕付き静止画コンテンツ４５を作成する。

一方、リアルタイム字幕放送番組の場合は、ＴＶ映像の生放送中に、リアルタイムで字幕を生成し、ＴＶ映像に挿入して放送するため、字幕はＴＶ映像の放送に対して時間的に遅れて表示されることになる。以下、リアルタイム字幕放送における字幕送出の遅延について簡単に説明する。ニュースなどの生のテレビ番組で聴覚障害者向けサービスとして字幕を放送することが増えている。このリアルタイム（生）字幕放送では、時として映像に対して字幕が数秒〜数十秒遅れて放送されることがあり、この遅延が大きいと視聴者が違和感を覚えることがある。

アナログ放送では、映像の垂直帰線消去期間（ＶＢＩ）に字幕データを映像に合わせて重畳している。パッケージ字幕放送番組ではあらかじめ字幕を制作しておき、映像と完全に合ったタイミングで字幕データをページ単位で送出できるが、リアルタイム字幕番組では、図６（ｂ）に示すように字幕の重畳タイミングがリアルタイムでなく、若干遅れたタイミングで行われる。これは、放送局の字幕入力者が、放送される映像を見ながら字幕文をキー入力し、漢字変換、誤変換訂正などを行ったのちに始めて字幕データを重畳するため、字幕データの送出が映像より遅れるのである。なお、図６（ｂ）において、字幕の入力開始タイミングと、対応する字幕データが重畳されるタイミングとのずれ、即ち字幕送出の遅延時間がΔｔで示されている。

よって、例えばニュース番組の場合、アナウンサーがニュース記事を読んだときに、その内容を音声認識などにより取得して字幕を生成し、これをＴＶ映像に付加するので、実際にはそのニュース項目に対応する映像及びアナウンサーの音声が終了し、次のニュース項目に移った頃に字幕が挿入されるということもある。なお、リアルタイム字幕の生成方法としては、アナウンサーの発声に基づいて音声認識を用いる音声認識方式や、放送音声を入力オペレータがキー入力することにより字幕を生成するキーボード方式などが知られている。

このため、リアルタイム字幕放送番組の字幕付き映像信号中では、映像（フレーム画像）の内容と字幕とが時間的に一致していない。即ち、ある映像に対応する字幕は、当該映像から時間的に数フレームから数百フレーム程度遅れたフレーム画像の信号中に含まれていることになる。よって、リアルタイム字幕放送番組から字幕付き静止画コンテンツを作成する場合には、静止画のキャプチャータイミングと、字幕の抽出タイミングとを異ならせる必要がある。

そこで、リアルタイム字幕放送番組の字幕付き映像信号には、制御タイプＣｂ及びＣｃの２つの制御タイプが使用される。制御タイプＣｂの制御フラグ「０００１」はベース映像のキャプチャー指示であり、制御タイプＣｃの制御フラグ「００１０」は字幕データの保存及び字幕の文字レンダリングの指示である。通常、リアルタイム字幕放送番組の字幕付き映像信号中では、ベース映像のキャプチャー指示に対応する制御フラグ「０００１」が登場し、その数フレーム後に文字データの保存及びレンダリングに対応する制御フラグ「００１０」が登場することになる。

なお、遅延して送出されるリアルタイム字幕に映像・音声情報を合致させる手段としては、上述の制御ビットを使用する方法のほかに、字幕入力を開始したタイミングを受信機に通知するための透明字幕頁を送出する方法も可能である。

図７に、リアルタイム字幕放送番組における字幕付き静止画コンテンツの作成の様子を模式的に示す。リアルタイム字幕放送番組のフレーム画像５１は、ベース映像となるフレーム画像５３を含み、さらにＶＢＩ５２内に制御フラグ「０００１」が挿入されている。但し、前述のようにリアルタイム字幕放送では、ある映像（フレーム画像）に対して、それに対応する字幕は数フレーム遅れたフレームに含まれている。図７の例では、フレームＮのＶＢＩ５２には制御フラグ「０００１」が含まれているが字幕データは含まれておらず、そこからｍフレーム後のフレーム（Ｎ＋ｍ）のＶＢＩ５２に字幕データ５４及び制御フラグ「００１０」が含まれている。

字幕付き静止画コンテンツ作成装置３０は、まずフレームＮの制御フラグ「０００１」を検出すると、その制御内容（図５参照）に従い、キャプチャー機能３１により当該フレーム画像５３をキャプチャーする。次に、フレーム（Ｎ＋ｍ）の制御フラグ「００１０」を検出すると、当該フレームに含まれる字幕データ５４を抽出し、文字レンダリング機能３２により文字レンダリングを行う。そして、キャプチャーした静止画５７とレンダリングにより得た文字画像５８とを合成して字幕付き静止画コンテンツ５５を作成する。

このように、本発明では、パッケージ字幕放送番組とリアルタイム字幕放送番組に対して、異なる制御信号を設定することにより、いずれの字幕放送番組からも字幕付き静止画コンテンツを作成することが可能である。特に、リアルタイム字幕放送番組をＴＶ受信機などで視聴しているときには、字幕は対応する映像に対して遅れて表示されることになるので、その遅れが大きいときには内容を理解しにくい場合もある。この点、本発明により作成された字幕付き静止画コンテンツでは、その遅れが補正されて映像と字幕の整合がとられ、字幕は対応する映像上に表示されるので、内容を容易に理解することが可能となる。

また、図５に示す制御フラグとしては、上記の他にベース映像のキャプチャーを行わないことを示すキャプチャー無し指示（制御タイプＣａ）も用意されている。制御タイプＣａは４ビットのフラグを全て立てない場合に用い、制作装置の初期設定も制御タイプＣａである。また、番組毎のサービスの体裁を整えるため、必要に応じて制御タイプＣｅ〜Ｃｇを設定している。具体的には、番組の本編タイトル部分（番組開始部分）及び番組終了部分に対応するフレームを透明字幕ページ（表示する文字の表示色と背景色をラスター色と同じにして目に見えないようにしたページ）とし、制御タイプＣｅを設定する。これにより、番組の開始時及び終了時のフレーム画像にもともと字幕が挿入されていない場合でも、それらのフレーム画像を静止画としてキャプチャーすることができる。これにより、ある番組の字幕付き静止画コンテンツファイルのフロントページ及び終了ページの静止画を作成することができる。また、同様に、サブタイトルやドラマなどの「第２話」などの表示を含むフレーム画像に字幕が含まれていない場合でも、それらのフレーム画像をキャプチャーするために、透明字幕ページとして制御タイプＣｆが設定される。

（放送局内システム）
次に、図１に示す放送局内のシステムについて詳しく説明する。図８は、放送局１０内のシステム構成を示すブロック図である。放送局１０は、字幕放送送出システム２０と、字幕付き静止画コンテンツ作成装置３０と、キャプチャーフラグ消去部７０と、ＴＶ送信機７１とを備える。

字幕放送送出システム２０は、前述の制御フラグを含む字幕付き映像信号Ｓ１を生成し、字幕付き静止画コンテンツ作成装置３０及び制御フラグ消去部７０へ供給する。字幕付き静止画コンテンツ作成装置３０は、先に概略的に説明したように、字幕付き映像信号から字幕付き静止画コンテンツを作成する。

制御フラグ消去部７０は、字幕放送送出システム２０が作成した字幕付き映像信号から、前述の制御フラグを消去する。制御フラグは、字幕付き静止画コンテンツ作成装置３０が字幕付き静止画コンテンツを作成する際に必要となるが、放送局１０から視聴者宅へ放送する際には、ユーザ側における悪用やユーザ側システムにおける誤動作などを防止する観点から消去することが好ましい。そこで、制御フラグ消去部７０は字幕付き映像信号から前述の制御フラグを消去し、ＴＶ送信機７１は制御フラグを含まない通常の字幕放送用映像信号を放送する。

（字幕放送送出システム）
次に、字幕放送送出システムについて説明する。図示のように、字幕放送送出システム２０は、リアルタイム字幕放送番組とパッケージ字幕放送番組の字幕付き映像信号を生成する。リアルタイム字幕放送番組については、リアルタイム字幕システム６１は映像信号Ｓ１１をリアルタイム字幕ＯＡ−ＴＡＫＥシステム６２に供給するとともに、字幕信号Ｓ２１を映像フレームキャプチャーフラグ設定部６７へ供給する。

映像フレームキャプチャーフラグ設定部６７は、映像信号中の字幕を付すべきフレーム画像に制御タイプＣｂの制御フラグ「０００１」を設定し、その字幕信号Ｓ２２を出力する。なお、制御フラグ「０００１」の設定は、リアルタイム字幕が音声認識方式である場合などには、話者（アナウンサー又はリスピーカ）の発音検知やカフキーをトリガとして設定することができる。一方、リアルタイム字幕がキーボード方式である場合には、システムで定める所定のトリガに基づいてシステムが自動的に設定することができる。

リアルタイム字幕ＯＡ−ＴＡＫＥシステム６２は、映像信号Ｓ１２を字幕信号合成装置６９へ出力するとともに、字幕信号Ｓ２３を字幕データキャプチャーフラグ設定部６４へ出力する。字幕データキャプチャーフラグ設定部６４は、字幕信号Ｓ２３中の、字幕データをキャプチャーすべきフレーム画像に制御タイプＣｄの制御フラグ「００１０」を設定し、その字幕信号Ｓ２４を出力する。なお、制御フラグ「００１０」の設定は、例えばディレクターなどのテイク（TAKE）指示に応じて行うことができる。

ＶＢＩキャプチャーフラグ設定部６８は、制御フラグ「０００１」及び「００１０」が設定された字幕信号Ｓ２２及びＳ２４を受け取り、それらの制御フラグをともにＶＢＩ中の前述の位置（図５参照）に含む字幕信号Ｓ２５を字幕信号合成装置６９へ出力する。字幕信号合成装置６９は、上記の２つの制御フラグが設定された字幕信号Ｓ２５と、映像信号Ｓ１２とを合成して字幕付き映像信号Ｓ１を生成し、字幕付き静止画コンテンツ作成装置３０及び制御フラグ消去部３０へ供給する。こうして、リアルタイム字幕放送番組の字幕付き映像信号が生成される。

一方、パッケージ字幕放送番組の場合、パッケージ番組字幕制作機６５は映像信号Ｓ１３をパッケージ番組ＯＡサーバー６６に供給し、パッケージ番組ＯＡサーバー６６は映像信号Ｓ１２を字幕信号合成装置６９へ出力する。また、パッケージ番組字幕制作機６５は、字幕を含むフレームに制御タイプＣｄの制御フラグ「００１１」を設定し、字幕信号Ｓ２４をパッケージ番組字幕サーバー６７へ出力する。パッケージ番組字幕サーバー６７は、その字幕信号Ｓ２４をＶＢＩキャプチャーフラグ設定部６８に送る。ＶＢＩキャプチャーフラグ設定部６８はその制御フラグ「００１１」をＶＢＩ中の前述の位置（図５参照）に含めた字幕信号Ｓ２５を字幕信号合成装置６９へ送る。字幕信号合成装置６９は、上記の制御フラグが設定された字幕信号Ｓ２５と、映像信号Ｓ１２とを合成して字幕付き映像信号Ｓ１を静止し、字幕付き静止画コンテンツ作成装置３０及び制御フラグ消去部３０へ供給する。こうして、パッケージ字幕放送番組の字幕付き映像信号が生成される。

（字幕付き静止画コンテンツ作成装置）
次に、字幕付き静止画コンテンツ作成装置について説明する。図９に、字幕付き静止画コンテンツ作成装置３０の主要構成を示す。図９において、字幕付き映像信号受信部８１は、前述の字幕放送送出システム２０から字幕付き映像信号を受信し、映像信号Ｓ３１をＶＢＩ抽出部８２及び映像信号キャプチャー部８５へ供給する。ＶＢＩ抽出部８２は、字幕付き映像信号Ｓ３１のＶＢＩから前述の制御フラグＳ３２を抽出して制御タイミング発生部８３へ送る。制御タイミング発生部８３は、制御フラグＳ３２に応じて映像信号フレーム画像をキャプチャーするタイミングを示すタイミング信号Ｓ３５を生成して映像信号キャプチャー部８５へ送る。映像信号キャプチャー部８５は、タイミング信号Ｓ３５に従って映像信号Ｓ３１中の特定のフレーム画像をキャプチャーし、静止画信号Ｓ３７として静止画／字幕合成部８６へ送る。

一方、制御タイミング発生部８３は、制御フラグＳ３２に従って字幕信号から字幕データＳ３３を抽出し、字幕文字フォント生成部８４へ送る。字幕文字フォント生成部８４は、字幕データＳ３３に基づいて、字幕の文字フォントＳ３６を生成し、静止画／字幕合成部８６へ送る。

静止画／字幕合成部８６は、字幕の文字フォントＳ３６と静止画信号Ｓ３７とを合成して、字幕付き静止画Ｓ３８を作成し、字幕付き静止画コンテンツ蓄積部８７に送る。字幕付き静止画コンテンツ蓄積部８７は、複数の字幕付き静止画を時系列に配列し、字幕付き静止画コンテンツとして保存する。即ち、字幕付き静止画コンテンツは、複数の字幕付き静止画が時系列に配列されたコンテンツであり、複数の字幕付き静止画とそれらの順序を示す時間情報又は順序情報とを含む。

次に、字幕付き静止画コンテンツ作成装置の実施例について説明する。図１０は、字幕付き静止画コンテンツ作成装置の実施例の構成を示す。図１０において、字幕放送送出システム２０から供給された字幕付き映像信号Ｓ５１はトランスコーダー１０１へ入力される。字幕付き映像信号Ｓ５１はＮＴＳＣ信号（Ｄ２信号）として入力され、トランスコーダー１０１はそれをＶＢＩ分離部１０３へ出力するとともに、ＲＧＢ信号（Ｄ１）に変換し、信号Ｓ５６としてＲＧＢインタフェース１０２へ供給する。ＶＢＩ分離部１０３は映像信号からＶＢＩを分離し、ＶＢＩ信号Ｓ５２として、ＶＢＩパケットキャプチャー部１０４及び映像キャプチャーフラグ検出部１０５へ供給する。ＶＢＩパケットキャプチャー部１０４は、ＶＢＩ信号Ｓ５２から字幕データＳ５３を抽出し、字幕データデコード／文字レンダリング制御部１１０へ供給する。字幕データデコード／文字レンダリング制御部１１０は、字幕データＳ５３をデコードして字幕の文字を取得し、ＲＯＭなどにより構成される字幕フォントＤＢ１１１から対応する文字フォントを取得して文字レンダリングを行い、生成された文字画像Ｓ５４を映像／字幕合成・圧縮部１１２へ送る。

一方、映像キャプチャーフラグ検出部１０５は、ＶＢＩ信号Ｓ５２から前述の制御フラグを抽出して映像キャプチャータイミング発生部１０６へ送る。映像キャプチャータイミング発生部１０６は、制御フラグの内容に基づいて映像信号中の特定のフレーム画像のキャプチャータイミング信号Ｓ５５を生成し、フレーム遅延カウンター１０７及びフレームメモリ１０８へ送る。フレーム遅延カウンター１０７にはＲＧＢインタフェース１０２から映像信号Ｓ５６が送られており、映像信号Ｓ５６中のキャプチャータイミング信号が示すフレーム画像を特定し、キャプチャーして静止画としてフレームメモリ１０８に一時的に記憶させる。なお、フレーム遅延カウンター１０７は必要に応じて、静止画としてキャプチャーすべきフレーム画像を数フレームの範囲内で前後のフレーム画像に変更することも可能である。フレームメモリ１０８に記憶された静止画は、キャプチャーされた静止画Ｓ５７として映像／字幕合成・圧縮部１１２へ送られる。

映像／字幕合成・圧縮部１１２は、インターレス／フリッカ除去空間フィルタリングなどの所定の処理を行った後、字幕の文字画像Ｓ５４と静止画Ｓ５７を合成し、合成後の静止画をたとえばＪＰＥＧ圧縮して字幕付き静止画１２０として出力する。こうして作成された複数の字幕付き静止画１２０は、メモリなどに一旦記憶され、それらの順序を示す情報が付加された状態で字幕付き静止画コンテンツとして完成する。

［他の実施形態］
上記の実施形態は、字幕付き映像信号がアナログＴＶ映像信号である場合を示したが、字幕付き映像信号がデジタルＴＶ映像信号である場合にも本発明を適用することができる。

図１１に、デジタルＴＶ映像信号の場合の制御フラグの設定方法について説明する。ＡＲＩＢ標準規格では、字幕の伝送方法として、まずページ単位の字幕データを収容した字幕データユニットをデータグループとして構成し、これをデータバイトに収容したＰＥＳ（Packetized Elementary Stream）としてＴＳ（Transport Stream）に乗せて放送すると規定している。本発明の趣旨から、制御フラグは字幕ページ単位で伝送する必要があるが、１枚の字幕ページについて少なくとも１個のＰＥＳが生成されるので、制御フラグはＰＥＳ内のどこかに収容するのが適当である。

データグループからＰＥＳまでの階層構造と制御フラグの収容場所を図１１に示す。図示のように、データグループ内には制御フラグの収容に適する場所が無いため、１つの方法では、ＰＥＳヘッダ中の１２８バイトのプライベートデータ領域内に前述の４ビットの制御ビットを確保し、制御フラグを設定する。この領域は事業者が使用できるので最も好ましいと考えられる。

また、他の方法としては、ページ単位のＰＥＳ、データグループ、字幕文データなどの既存データ構造の一部に新たにフィールドを追加して制御フラグを収容する方法が考えられる。但し、この場合はＡＲＩＢの標準規格外となるため、関連装置の互換性を考慮することが必要となる。また、制御フラグが設定された信号は放送局内に限定して使用することとし、放送前に消去することが必要である。

さらに他の方法としては、字幕データ、字幕ＰＥＳなどとは別に、制御フラグの生成機器から字幕付き静止画コンテンツ作成装置３０へ独立のデータ伝送路を設け、その伝送路を使用して制御フラグを字幕付き静止画コンテンツ作成装置３０へ供給することとしてもよい。この場合、そのような別個の伝送路が必要となるが、映像信号中に制御フラグを挿入しないので、放送前にそれらを消去するなどの作業は不要となる。

デジタルＴＶ映像信号の場合、字幕放送送出システム２０や字幕付き静止画コンテンツ作成装置３０の構成は、字幕データの抽出や静止画のキャプチャーその他の各処理がデジタルＴＶ映像信号に対して行われる点で構成上相違があるものの、処理自体としてはアナログＴＶ映像信号の場合と同様の処理が実行される。

以上、日本のアナログ放送およびデジタル放送のテレテキストサービスにおける字幕データ伝送形式に基づいて制御フラグを伝送し字幕付き静止画のキャプチャリングを制御する実施例を示した。本発明の静止画コンテンツ作成方法は、世界各国の多様なテレテキスト方式においても制御フラグの伝送路を適切に選ぶことによって適用できることはいうまでもない。

たとえばアメリカ合衆国のテレテキストサービスにおけるクローズドキャプションの場合、アナログ放送ではCEA-608-B規格（Line 21 Data Services）に基づき、キャプションページを伝送するテレテキスト・レコードのレコードヘッダ内に拡張できるオプショナル・ヘッダ・エキステンションフィールドを利用し、このフィールド内でフラグを伝送することも可能である。またデジタル放送の場合はCEA-708-B規格(Digital Television (DTV) Closed Captioning)に基づき、MPEG-2ビットストリームのVIDEOユーザーズビットにより伝送されるキャプショニング・データ内で同様なフラグを伝送しキャプチャーを制御することが可能である。

［変形例］
上記の実施形態では、図１に示すように、字幕付き静止画コンテンツ作成装置３０が放送局１０内に設置され、放送局１０内で字幕付き静止画コンテンツ４２が作成される。この場合、放送局１０からの放送波４０においては、字幕放送送出システム２０が設定した制御フラグを制御フラグ消去部７０（図８）により消去されている。

これに対し、放送局１０からの放送波４０に含まれる字幕付き映像信号中に制御フラグを含めて放送可能な場合には、図１２に示すように、字幕付き静止画コンテンツ作成装置５６をユーザ環境内に設けることにより、ユーザ自身が字幕付き静止画コンテンツを作成することが可能となる。

この場合、字幕付き静止画コンテンツ作成装置５６は、基本的に放送局１０に設けられるものと同様とすればよい。その場合、字幕付き静止画コンテンツ作成装置は、その機能をＴＶ番組などを録画するハードディスクレコーダやＤＶＤレコーダなどの内部に搭載することも可能である。また、字幕付き静止画コンテンツ作成装置を専用装置として構成するのではなく、ＰＣなどのコンピュータ上で動作可能なソフトウェア（即ち、字幕付き静止画コンテンツ作成プログラム）として構成し、ユーザ所有のＰＣなどにインストールして動作させるようにすることもできる。

別の変形例として、携帯電話機のテレビ受信機能を利用して字幕データ付き静止画コンテンツの生成、記録、表示を行うことも可能である。これは図１２のユーザ環境５０における端末装置５４の中に、ＴＶ受信機５２、字幕付静止画コンテンツ作成装置５６、字幕付静止画コンテンツ４２などがすべて含まれるような構成に相当する。

移動体向けの１セグメント地上デジタル放送は、データ放送として簡易動画、音声のほかにオプションであるが字幕も放送される。図１１に関連して前に述べたデジタル放送におけるキャプチャー制御フラグの伝送がこの場合にも適用される。

携帯電話機にこの１セグメントデジタルＴＶ放送受信機能を付加するとともに、携帯電話機に付加されるカードメモリなどのデータ蓄積機能を用い、専用のアプリケーションプログラムにより、簡易動画を字幕表示のタイミングごとに１枚の静止画として自動的にキャプチャーするとともに字幕データと組み合わせてメモリに蓄積する。１セグメント地上デジタルの字幕放送では、採用された放送規格の関係上、放送局が意図する画面内の場所に字幕が表示される通常の字幕放送と異なり、字幕の表示形式や位置はある程度メーカーの裁量にまかされ自由度がある。したがって字幕付静止画を記録する際に、静止画と字幕をスーパーした上で記録する方法も実施可能であるが、静止画データと字幕データを頁単位で１組のものとして蓄積する方が表示機能の自由度を活用できることになる。

メモリ内に蓄積された静止画と字幕データは、携帯電話が備えるインターネット表示用ＨＴＭＬブラウザあるいはデータ放送表示用ＢＭＬブラウザなどを利用して表示することができる。

以上説明したように、本発明による字幕付き静止画コンテンツは、字幕放送番組を構成する静止画に、当該字幕放送中に表示される字幕が合成されたコンテンツである。前述のように、字幕放送番組中の字幕は、音声を聞かなくても番組内容を十分に理解できるように作成された質の高い情報であるため、ユーザは字幕付き静止画コンテンツを閲覧することにより、当該字幕放送番組を視聴した場合と比べても遜色ない情報を得ることができる。また、本発明による字幕付き静止画コンテンツは、聴覚障害者のみならず、一般のユーザが、例えば電車の中や公共の場所など、音声出力のあまりふさわしくない環境にて使用する場合にも優れている。

本発明は、字幕放送などの字幕付き映像信号から、字幕付きの静止画コンテンツを作成する装置及びプログラムを提供する。そのコンテンツ作成装置は、放送局内に設置される専用装置とすることができ、家庭に設置されるＤＶＤレコーダー、ＨＤＤレコーダーなどの記録／再生装置に内蔵することもできる。また、家庭に設置されるパーソナルコンピュータにおいて実行されるプログラムとして記録メディアや通信回線を通じて提供することができる。

Claims (9)

1. 字幕付き映像信号を受信する受信部と、
   前記字幕付き映像信号から、字幕信号及びコンテンツ作成のための制御信号を抽出する抽出部と、
   前記制御信号に基づいて、前記映像信号中の画像をキャプチャーする静止画キャプチャー部と、
   前記字幕信号に基づいて字幕画像を生成する字幕画像生成部と、
   前記字幕画像と前記静止画とを合成し、字幕付静止画コンテンツを作成する作成部と、を備えることを特徴とする字幕付き静止画コンテンツ作成装置。
2. 前記静止画キャプチャー部は、各字幕信号に対応する前記映像信号中の静止画をキャプチャーすることを特徴とする請求の範囲第１項に記載の字幕付き静止画コンテンツ作成装置。
3. 前記映像信号は録画された字幕放送の映像信号であり、
   前記抽出部は前記映像信号中の字幕信号を含むフレームから当該字幕信号及び前記制御信号を抽出し、
   前記静止画キャプチャー部は、当該フレームの画像をキャプチャーすることを特徴とする請求の範囲第１項に記載の字幕付き静止画コンテンツ作成装置。
4. 前記映像信号はリアルタイム字幕放送の映像信号であり、
   前記抽出部は前記映像信号中の字幕信号を含むフレームから当該字幕信号及び前記制御信号を抽出し、
   前記静止画キャプチャー部は、当該フレームより時間的に後方に位置するフレームの画像をキャプチャーすることを特徴とする請求の範囲第１項に記載の字幕付き静止画コンテンツ作成装置。
5. 前記映像信号はアナログテレビジョン信号であり、前記抽出部は前記アナログテレビジョン信号中の字幕信号を含むフレームの垂直帰線期間内から前記制御信号を抽出することを特徴とする請求の範囲第１項に記載の字幕付き静止画コンテンツ作成装置。
6. 前記映像信号はデジタルテレビジョン信号であり、前記抽出部は前記デジタルテレビジョン信号中の字幕信号を含むＰＥＳ中のプライベートデータ内から前記制御信号を抽出することを特徴とする請求の範囲第１項に記載の字幕付き静止画コンテンツ作成装置。
7. コンピュータ端末により実行されることにより、前記コンピュータ端末を、
   字幕付き映像信号を受信する受信部、
   前記字幕付き映像信号から字幕信号及びコンテンツ作成のための制御信号を抽出する抽出部、
   前記制御信号に基づいて、前記映像信号中の画像をキャプチャーする静止画キャプチャー部、
   前記字幕信号に基づいて字幕画像を生成する字幕画像生成部、及び、
   前記字幕画像と前記静止画とを合成し、字幕付静止画コンテンツを作成する作成部として機能させることを特徴とする字幕付き静止画コンテンツ作成プログラム。
8. 字幕付き映像信号生成装置と、静止画コンテンツ作成装置とを備える字幕付コンテンツ作成システムであって、
   前記字幕付き映像信号生成装置は、
   映像信号及び字幕信号を受信する受信部と、
   字幕がリアルタイム字幕であるか否かに応じて制御信号を生成する制御信号生成部と、
   前記字幕信号と前記映像信号とを合成し、前記制御信号を所定位置に挿入して字幕付き映像信号を生成する信号生成部と、を備え、
   前記静止画コンテンツ作成装置は、
   前記字幕付き映像信号を受信する受信部と、
   前記字幕付き映像信号から前記字幕信号及び前記制御信号を抽出する抽出部と、
   前記制御信号に基づいて、前記映像信号中の画像をキャプチャーする静止画キャプチャー部と、
   前記字幕信号に基づいて字幕画像を生成する字幕画像生成部と、
   前記字幕画像と前記静止画とを合成し、字幕付き静止画コンテンツを作成する作成部と、を備えることを特徴とする字幕付き静止画コンテンツ作成システム。
9. 前記制御信号生成部は、前記字幕がリアルタイム字幕でない場合には、前記字幕信号及び前記制御信号が抽出されたフレーム画像を前記静止画キャプチャー部によりキャプチャーすべき画像に指定する制御信号を生成し、前記字幕がリアルタイム字幕である場合には、前記字幕信号及び前記制御信号が抽出されたフレーム画像より時間的に後方のフレーム画像を前記静止画キャプチャー部によりキャプチャーすべき画像に指定する制御信号を生成することを特徴とする請求の範囲第８項に記載の字幕付き静止画コンテンツ作成システム。
   
   

Images