JPWO2006068269A1 - 映像構造化装置及び方法 - Google Patents

Abstract

映像構造化装置は、フレーム画像中に文字列が存在するか否かを判断して文字列が存在すると判断した場合には、その文字列が存在した文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、文字列位置情報と、文字列存在フレーム画像を識別するフレーム識別情報と、文字列存在フレーム画像とを出力する文字列抽出手段と、フレーム識別情報と文字列存在フレーム画像と文字列位置情報とをそれぞれ関連付けてインデックスファイルに蓄積する映像情報蓄積手段と、インデックスファイルに蓄積されている文字列存在フレーム画像と文字列位置情報とに基づいて、文字列が存在する範囲を切り出した画像による文字列表示をフレーム識別情報と関連付けて表示手段に表示させる構造情報呈示手段と、を有する。

Description

本発明は、映像のアーカイブ及び監視と、映像内容に関する構造情報の呈示方法とに関し、特に、映像内の所定の箇所に効率的にアクセスするための映像構造化装置及び方法に関する。

近年のデジタル映像技術の発展に伴って、多くの映像が動画ファイルとしてハードディスク等の記憶装置に蓄積されている。動画ファイルは多くの時系列の画像を含んでいるので、一般に、動画ファイルの中から所望の映像の内容を検索することは困難となっている。

映像内容に関する構造情報の呈示方式の一例として、特開２００４−８０５８７号公報に開示されたテレビジョン信号記録再生装置が知られている。このテレビジョン信号記録再生装置は、デジタル形式のテレビジョン信号であるデジタルビデオ信号を番組ごとに書き込み、あるいは、書き込まれたデジタルビデオ信号を各番組ごとに読み出す記録再生部と、デジタルビデオ信号の書き込み、及び、読み出し処理を実施する制御部と、記録再生部から読み出されるデジタルビデオ信号の内、各番組の任意時点の少なくとも１フレームの画面から画面寸法が縮小されたサムネイル画像を生成するサムネイル生成部と、サムネイル生成部で生成された各番組のサムネイル画像からサムネイル一覧画面を合成して出力するサムネイル合成部と、を備えている。記録再生部内には、サムネイル一覧画面を格納するサムネイル一覧領域が設けられている。制御部は、記録再生部に対して各番組のデジタルビデオ信号を書き込むたびに、サムネイル生成部によってサムネイル画像を生成し、生成した各番組のサムネイル画像からサムネイル合成部によってサムネイル一覧画面を合成し、この合成したサムネイル一覧画面をサムネイル一覧領域に格納する。このテレビジョン信号記録再生装置では、各番組の最初の１フレーム、又はタイマー等を利用して番組開始から５分後の画面などの任意時点の１フレーム以上の画面をサムネイル画像としている。

しかしながら、特開２００４−８０５８７号公報に開示されたテレビジョン信号記録再生装置は、一定の時間間隔又はシーンチェンジのタイミングで複数のフレーム画像をサムネイルとして利用しているので、必ずしも画像コンテンツの内容を適切に表現したインデックスが映像ソースと関連付けて構造化されているとは限らないものである。したがって、このテレビジョン信号記録再生装置では、利用者が必要とする映像ファイルの特定部分がインデックス上に現れない可能性が高いために、利用者が必要とする画像へのアクセス効率が悪いという不具合を生じている。

映像中のテロップ文字を認識する方法として、特開平１１−１６７５８３号公報には、まず映像を映像蓄積媒体とテロップ文字認識・検索端末に入力し、映像蓄積媒体側では、映像と映像が蓄積された時点でのＩＤ情報を映像蓄積部に蓄積し、テロップ文字認識・検索端末側では、テロップ文字表示フレームの検出、テロップ文字領域の抽出、テロップ文字の認識の各処理を行い、テロップ文字認識結果とそのテロップ文字の表示された時点でのＩＤ情報をインデックスファイルとしてインデックスファイル蓄積部に蓄積する方法が開示されている。ＩＤ情報としては、例えば時間情報が蓄積され、テロップ文字の認識結果としては、例えば文字コードが出力される。利用者が、例えばＷＷＷ（Ｗｏｒｌｄ ｗｉｄｅ ｗｅｂ）ブラウザなどのインタフェ−スから、その所望とする映像について、映像検索端末の映像検索情報入力記憶部から文字コードで入力すると、入力された文字コードは、テロップ文字認識・検索端末のインデックスファイル蓄積部に蓄積されているインデックスファイルの中から検索され、対応するＩＤ情報を持つ映像が映像蓄積部から引き出される。その結果、映像検索端末の映像表示部、例えばコンピュータディスプレイには、検索された映像が表示されることとなっている。

しかしながら、特開平１１−１６７５８３号公報に基づくシステムでは、インデックスファイルに含まれるテロップ文字は、文字認識により得られたテキスト情報であるために、誤認識を含む可能性が高いテキスト情報である。この誤認識による無意味なテキスト情報がインデックス上に現れるために、利用者が所望のシーンを選択する際の検索効率が上がらないという不具合を生じている。

特開２００３−３４５８０９号公報には、ニュース映像に対応するニュース音声を文字列に書き起こす音声書き起こし装置と、ニュース映像において文字列が現れる文字出現区間を検出するとともに、文字列を認識する文字認識装置と、文字認識装置で検出された文字出現区間に対応する音声書き起こし結果中の単語間の類似度を求め、この類似度を利用して、音声書き起こし結果から、文字認識装置で認識された文字列と類似するパッセージを検索する検索装置と、文字認識装置の認識結果と検索装置で検索されたパッセージに対応するニュース映像とを関連付けてデータベースに登録する登録装置とを備えたデータベース構築システムが開示されている。このデータベース構築システムでは、文字認識装置によって認識されたテロップやＣＧフリップ文字列中の全単語を用いてニュース音声の書き起こしに対してパッセージ検索を行っている。このようなパッセージ検索を行うことにより、データベース構築システムでは、一つの単語のシソーラスの影響に引きづられて関係のない文を抽出してしまう危険性が軽減され、データベースに関係のないニュース映像が登録される危険性を低減できる。このデータベース構築システムでは、検索結果をパッセージ単位としているので結果の前後関係が理解しやすく、前後関係が分かりやすい形でニュース映像をデータベースに登録することが可能になる。

しかしながら、特開２００３−３４５８０９号公報のデータベース構築システムでは、音声に含まれない文字情報はデータベースに登録されないので、利用者が所望のシーンを選択する際の検索の効率が上がらないという不具合を生じていた。

画像データを管理する情報管理装置として、特開２００３−３３３２６５号公報には、外部から画像データを受信して画像データの予め定められた部分からその画像データの属性情報を抽出する属性抽出部と、画像データを受信した旨を示す通知情報を通知すべき通知先を、予め属性情報に対応付けて格納する通知先格納部と、属性抽出部が抽出した属性情報を用いて通知先を通知先格納部から抽出する通知先決定部と、通知先決定部が抽出した通知先に通知情報を通知する出力部と、を備える情報管理装置が開示されている。この情報管理装置によれば、外部から外部情報を受信したときに、外部情報を受信した旨を示す情報を、その情報を通知すべき通知先に出力することができる。ここで出力部は、内部情報ＩＤに基づいて内部情報格納部から内部情報を抽出し、関連情報及び画像データとともにこの内部情報を、通知先に基づいて閲覧情報データベースに格納している。また出力部は、画像データを受信した旨を示す通知情報を、通知先決定部から受け取った通知先に基づいてユーザ端末に送信することができるとともに、内部情報検索部から受け取った内部情報ＩＤを通知情報とともにユーザ端末に送ることが可能である。

しかしながら、特開２００３−３３３２６５号公報の情報管理装置では、画像コンテンツの内容を適切に表現したインデックスが映像ソースと関連付けて構造化されていないので、利用者が必要とする映像の特定の部分へのアクセスが効率的でないという不具合を生じている。

画像から文字を切り出す方法として、特開平３−１４１４８４号公報には、文字列に含まれる文字数が既知であるときに、文字列を光学的に読み取り、その文字列画像から１文字に相当する部分画面を切り出す、文字切り出し方法を開示している。この文字切り出し方法では、文字列画像から１次元系列特徴を抽出するとともに、文字数と１次元系列特徴に対応する、文字切り出し位置の特定が可能なモデル関数を定義する。そしてこの方法では、１次元系列特徴とそのモデル関数とを非線形にマッチングし、非線形マッチングにおける非線形対応関数からモデル関数の文字切り出し位置に対応する文字列画像の文字切り出し位置を求め、求めた文字切り出し位置から１文字に相当する部分画像を切り出している。この文字切り出し方法によれば、文字列に含まれる文字数が与えられたときに、文字幅や文字間隔の変動が比較的大きい文字列画像や、文字と文字が接触している文字列画像から１文字ずつを切り出すことができ、しかもパラメータの数が比較的少なく単純な方法で切り出しを行うことが可能になる。

しかしながら、特開平３−１４１４８４号公報の文字切り出し装置は、画像コンテンツの内容を適切に表現したインデックスが映像ソースと関連付けて構造化されていないので、利用者が必要とする映像の特定の部分へのアクセスが効率良く行うことができないという不具合を秘めている。

高速認識検索システムとして、特開２００１−３４７０９号公報には、入力された文字パターンから特徴ベクトルを生成し、予め生成された決定木の各ノードに記憶された条件にしたがってその特徴ベクトルを識別し、その識別結果にしたがって子ノードを順次選択し、この分類を終端ノードに到達するまで繰り返し行う高速認識検索システムが開示されている。この高速認識検索システムは、予め設定された正解カテゴリを付与してあるパターンの集合から、認識辞書に記憶された複数次元の特徴ベクトルのテンプレートを生成する生成手段と、生成手段で作成されたテンプレートとテンプレートの生成に寄与したパターンとを関連付けて記憶するテンプレート辞書記憶手段と、現在着目しているテンプレート及びそのテンプレートそれぞれに対応するパターンの集合と正解カテゴリの出現頻度とを部分集合に分類しかつ部分集合に属するテンプレートと部分集合への分離を行うためのしきい値とを出力する部分集合生成手段と、部分集合生成手段が逐次生成するテンプレートの部分集合を該当する分離前のテンプレートの部分集合に関連付けて記憶する階層辞書手段と、階層辞書記憶手段に記憶された階層構造を上位階層から順に入力して入力パターンを分類しかつ分類された結果の子ノードを出力する決定木分類手段と、階層構造のリーフノードからテンプレートを決定するために効果的な特徴量を読出してそれらの特徴量を用いて大分類を行うカテゴリ決定手段とを備えている。ここで部分集合生成手段は、決定されたしきい値に跨って存在するカテゴリをしきい値の両側の部分集合に含めて決定木を生成する。この高速認識検索システムによれば、決定木のリーフノードに属するテンプレートの分布に応じて、以降のカテゴリを特定するための分類方法を最適化し、決定木の生成を行う際に、部分集合の境界面に跨って存在するテンプレートを両方のノードに含めて登録することによって、バックトラックを伴わずに安定な所要時間で高速に検索を実行できる。

しかしながら、特開２００１−３４７０９号の高速認識検索システムは、画像コンテンツの内容を適切に表現したインデックスが映像ソースと関連付けて構造化されていないので、利用者が必要とする映像の特定の部分へのアクセスが効率良く行うことができないという不具合を秘めている。

以下、本明細書中で引用した特許文献を列挙する。いずれも日本国の特許公開公報である。
特開２００４−８０５８７号公報 特開平１１−１６７５８３号公報 特開２００３−３４５８０９号公報 特開２００３−３３３２６５号公報 特開平３−１４１４８４号公報 特開２００１−３４７０９号公報

結局、上述した従来技術には、利用者が必要とする画像へのアクセス効率が悪い、利用者が所望のシーンを選択する際の検索効率が上がらない、利用者が必要とする映像の特定の部分へのアクセスが効率的でない、などの問題点がある。

本発明の目的は、画像コンテンツの内容を適切に表現した文字列表示を映像ソースと関連付けて構造化し、利用者が必要とする映像の特定の部分へのアクセス効率を向上させることが可能な映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像の内容を解析し、得られる構造情報を文字列表示のインデックスリストとして呈示することで、目的の映像に効率的にアクセスすることが可能な映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像の中に存在する文字列を文字認識した際の文字認識結果に含まれる認識誤りの影響を低減したインデックスを呈示することが可能な、映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像の内容を表現した文字列表示又は認識文字列を映像の頭出し用のインデックスとして利用者に対して表示することが可能な、映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像の内容を表現した文字列表示又は認識文字列を映像の頭出し用のインデックスとして利用者に対して表示するとともに、利用者がその文字列表示又は認識文字列を選択する旨の情報を入力することによって、その選択した文字列表示又は認識文字列で特定されるフレーム画像以降の映像を頭出し再生することが可能な、映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像中の文字列を文字認識した時の認識信頼度の大きさに応じて認識文字列の表示を優先させて利用者に対して表示することによって、映像の内容をより適切に表現した文字列の表示を映像の頭出し用のインデックスとして利用者が利用することが可能な、映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像中の文字列を文字認識した時の認識信頼度の小ささに応じて画像による文字列表示を優先させて利用者に対して表示することによって、映像の内容をより適切に表現した文字列の表示を映像の頭出し用のインデックスとして利用者が利用することが可能な、映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像が逐次入力されてくるような場合に、映像中に文字列が出現したことを利用者が知ることが可能な映像構造化装置及び方法を提供することにある。

本発明の別の目的は、映像が逐次入力されてくるような場合に、映像中に予め設定した文字列が出現したことを利用者が知ることが可能な映像構造化装置及び方法を提供することにある。

本発明の第１の様相によれば、映像構造化装置は、映像信号を受け取って、映像のフレーム画像と、フレーム画像を識別するフレーム識別情報とを出力する映像入力手段と、映像入力手段からフレーム画像及びフレーム識別情報を受け取ってそのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、そのフレーム画像を文字列存在フレーム画像として文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、文字列位置情報と、文字列存在フレーム画像を識別するフレーム識別情報と、文字列存在フレーム画像とを出力する文字列抽出手段と、文字列抽出手段からフレーム識別情報と文字列存在フレーム画像と文字列位置情報とを取得し、取得した情報をそれぞれ関連付けてインデックスファイルに蓄積する映像情報蓄積手段と、映像情報蓄積手段からインデックスファイルを読み出し、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出した画像による文字列表示を、文字列存在フレーム画像を識別するフレーム識別情報と関連付けて表示手段に表示させる構造情報呈示手段と、を有する。この映像構造化装置において、文字列位置情報は、例えば、文字列の座標値などによって構成されている。

本発明の第２の様相によれば、映像構造化装置は、映像信号を受け取って、映像のフレーム画像と、フレーム画像を識別するフレーム識別情報と、映像信号の映像データとを出力する映像入力手段と、映像入力手段からフレーム画像及びフレーム識別情報を受け取ってそのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、そのフレーム画像を文字列存在フレーム画像として文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、文字列位置情報と、文字列存在フレーム画像を識別するフレーム識別情報と、文字列存在フレーム画像とを出力する文字列抽出手段と、構造情報呈示手段と、文字列抽出手段からフレーム識別情報と文字列存在フレーム画像と文字列位置情報とを取得して関連付けてインデックスファイルに蓄積し、映像入力手段から映像データ及びフレーム識別情報とを取得して関連付けて蓄積し、構造情報呈示手段からフレーム識別情報を取得したときには構造情報呈示手段から取得したフレーム識別情報と関連付けられて記録されている映像データを読み出して、構造情報呈示手段から取得したフレーム識別情報に対応するフレーム画像以降の映像データを出力する映像情報蓄積手段と、映像情報蓄積手段が出力する映像データを取得して表示手段に出力して表示させる映像再生手段と、を有する。ここで構造情報呈示手段は、映像情報蓄積手段からインデックスファイルを読み出して、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出した画像による文字列表示を表示手段に出力して表示させ、利用者からその文字列表示を選択する旨の情報が入力されると、選択した文字列表示と関連付けられているフレーム識別情報を映像情報蓄積手段に出力する。

本発明の第３の様相によれば、映像構造化装置は、映像信号を受け取って、映像のフレーム画像と、フレーム画像を識別するフレーム識別情報とを出力する映像入力手段と、映像入力手段からフレーム画像及びフレーム識別情報を受け取ってそのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、そのフレーム画像を文字列存在フレーム画像として文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、文字列位置情報と、文字列存在フレーム画像を識別するフレーム識別情報と、文字列存在フレーム画像とを出力する文字列抽出手段と、文字列抽出手段からフレーム識別情報と文字列存在フレーム画像と文字列位置情報とを取得し、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出した画像に対して文字列認識処理を行って文字コードによる認識文字列を取得して、その認識文字列とフレーム識別情報と文字列位置情報とを出力する文字列認識手段と、文字列抽出手段からフレーム識別情報と文字列存在フレーム画像と文字列位置情報とを取得し、文字列認識手段から認識文字列とフレーム識別情報と文字列位置情報とを取得し、これらの取得した画像及び情報を関連付けてインデックスファイルに蓄積する映像情報蓄積手段と、映像情報蓄積手段からインデックスファイルを読み出し、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出した画像による文字列表示と認識文字列とを、文字列存在フレーム画像を識別するフレーム識別情報と関連付けて表示手段に表示させることが可能な構造情報呈示手段と、を備える。

本発明の第４の様相によれば、映像構造化装置は、映像信号を受け取って、映像のフレーム画像と、フレーム画像を識別するフレーム識別情報と、映像信号の映像データとを出力する映像入力手段と、映像入力手段からフレーム画像及びフレーム識別情報を受け取ってそのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、そのフレーム画像を文字列存在フレーム画像として文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、文字列位置情報と、文字列存在フレーム画像を識別するフレーム識別情報と、文字列存在フレーム画像とを出力する文字列抽出手段と、文字列抽出手段からフレーム識別情報と文字列存在フレーム画像と文字列位置情報とを取得し、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出した画像に対して文字列認識処理を行って文字コードによる認識文字列を取得して、その認識文字列とフレーム識別情報と文字列位置情報とを出力する文字列認識手段と、構造情報呈示手段と、文字列抽出手段からフレーム識別情報と文字列存在フレーム画像と文字列位置情報とを取得し、文字列認識手段から認識文字列とフレーム識別情報と文字列位置情報とを取得し、これらの取得した画像及び情報を関連付けてインデックスファイルに蓄積し、映像入力手段から取得した映像データとフレーム識別情報とを関連付けて蓄積し、構造情報呈示手段からフレーム識別情報を取得したときには構造情報呈示手段から取得したフレーム識別情報と関連付けて記録されている映像データを読み出して、構造情報呈示手段から取得したフレーム識別情報に対応するフレーム画像以降の映像データを出力する映像情報蓄積手段と、映像情報蓄積手段が出力する映像データを取得し、取得した映像データを表示手段に出力して表示させる映像再生手段と、を有する。ここで構造情報呈示手段は、映像情報蓄積手段からインデックスファイルを読み出して、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出した画像による文字列表示及び認識文字列を表示手段に出力して表示させることが可能であり、利用者から表示された文字列表示又は認識文字列を選択する旨の情報が入力されると、その選択された文字列表示又は認識文字列と関連付けられているフレーム識別情報を映像情報蓄積手段に出力する。

本発明において文字列認識手段は、文字列の認識信頼度を算出して映像情報蓄積手段にするものであってよい。認識信頼度としては、例えば、文字列画像中の個々の文字に対応する文字認識における尤度値や、距離値の平均値の逆数などを用いることができる。認識信頼度が算出される場合、映像情報蓄積手段は、文字列認識手段から取得した認識信頼度を、文字列位置情報と関連付けてインデックスファイルに蓄積し、構造情報呈示手段は、認識信頼度と所定のしきい値と比較を行う。ここで構造情報呈示手段は、文字列認識の認識信頼度が所定のしきい値より大きいと判断した場合には、画像による文字列表示を表示させずに認識文字列を表示手段に出力して表示させるようにしてもよい。あるいは構造情報呈示手段は、認識信頼度と所定のしきい値と比較を行って文字列認識の信頼度が所定のしきい値より小さいと判断した場合には、認識文字列の表示をさせずに画像による文字列表示を表示手段に出力して表示させるようにしてもよい。このように認識信頼度の大きさに応じて、文字列表示を優先させるか、認識文字列の表示を優先させるかを選択することにより、利用者は、文字列表示と認識文字列のうち、映像の内容をより適切に表現したものを映像の頭出し用のインデックスとして利用することが可能となる。

さらに本発明では、構造情報提示手段は、新たな文字列位置情報が存在すると判断した場合に、映像中に文字列が存在する旨の情報を表示手段に表示させ、及び／又は音声出力手段から音声を出力させてもよい。このように構成することにより、利用者は、映像が逐次入力されてくるような場合に映像中に文字列が出現したことを知ることができ、さらには、映像の内容を適切に表現した文字列表示又は認識文字列を映像の頭出し用のインデックスとして利用することができるようになる。

本発明の第５の様相によれば、映像構造化装置は、映像信号を受け取って、映像のフレーム画像を出力する映像入力手段と、映像入力手段からフレーム画像を受け取ってそのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、文字列が存在する旨の情報を出力する文字列抽出手段と、文字列抽出手段から文字列が存在する旨の情報を取得した場合には、映像中に文字列が存在する旨の情報を表示手段に表示させ及び／又は音声出力手段から音声を出力させる構造情報呈示手段と、を有する。

本発明の第６の様相によれば、映像構造化装置は、映像信号を受け取って、映像のフレーム画像を出力する映像入力手段と、映像入力手段からフレーム画像を受け取ってそのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、その文字列が存在した文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、文字列位置情報を出力する文字列抽出手段と、文字列抽出手段から文字列位置情報を取得した場合には、映像中に文字列が存在する旨の情報を表示手段に表示させ及び／又は音声出力手段から音声を出力させる構造情報呈示手段と、を有する。

本発明の第７の様相によれば、映像構造化装置は、映像信号を受け取って、映像のフレーム画像と、フレーム画像を識別するフレーム識別情報とを出力する映像入力手段と、映像入力手段からフレーム画像を受け取ってそのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、文字列が存在する文字列存在フレーム画像と、フレーム画像の中に存在する文字列についての文字列位置情報とを出力する文字列抽出手段と、文字列抽出手段から文字列存在フレーム画像と文字列位置情報とを取得し、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出した画像に対して文字列認識処理を行って文字コードによる認識文字列を取得して、その認識文字列と文字列位置情報とを出力する文字列認識手段と、文字列認識手段から認識文字列を取得し、取得した認識文字列が予め設定されているキーワード群に含まれる文字列であるか否かを判断し、取得した認識文字列が予め設定されているキーワードに含まれる文字列であると判断した場合には、映像中に文字列が存在する旨の情報を表示手段に表示させ及び／又は音声出力手段から音声を出力させる構造情報呈示手段と、を有する。このような構成を採用することにより、利用者は、映像が逐次入力されてくるような場合に、予め設定した文字列が映像中に出現したことを知ることが可能となる。

本発明によれば、映像コンテンツの内容を適切に表現した文字列表示や認識文字列等のインデックスと、映像データ（映像ソース）とを関連付けて呈示するようにしたので、利用者が必要とする映像の特定の部分へのアクセスを効率良く行うことが可能となる。多くの映像コンテンツの場合、映像の中に現れる文字情報は的確に映像の内容を反映したものであることが期待され、文字情報の出現のタイミングで生成されたインデックスを映像データと関連付けておくことで、利用者は効率的に映像の必要部分にアクセスできるようになる。なお、「ニュース速報」などの映像の内容とは関連しない文字情報が映像中に含まれている場合であっても、利用者が文字列表示によるインデックスを見ることによって、その利用者は、「ニュース速報」の部分の映像を閲覧するか否かを即時に判断することができる。

本発明によれば、映像中に現れる文字情報を自動認識して文字コード化し、得られる認識文字列をインデックスとして利用する場合であっても、認識した文字列の認識信頼度に基づいて画像による文字列表示と認識文字列の表示を切り換えることにより、映像の特定部分へのアクセスをより確実なものとすることができ、映像の検索を効率良くして、利用者による選択操作の負担を軽減することが可能となる。

さらに本発明によれば、映像が逐次入力されてくるような場合であっても、映像中に文字列が出現したことを利用者は知ることができるようになるとともに、映像中に新たな文字列が出現した旨の通知を受けた利用者は、それらの文字列表示又は認識文字列を選択する旨の情報を入力することによって、その選択した文字列表示又は認識文字列に対応するフレーム画像以降の映像を頭出し再生して閲覧することが可能となる。

本発明によれば、利用者は、映像の内容を適切に表現した文字列表示又は認識文字列を映像の頭出し用のインデックスとして利用することが可能となり、さらには、映像の内容を適切に表現した文字列表示又は認識文字列を選択することによって、所望の映像の頭出しを行うことが可能となる。

本発明に基づく映像構造化装置を含む映像構造化システムの構成例を示すブロック図である。 本発明の第１の実施形態の映像構造化装置を示すブロック図である。 映像識別情報「ＡＢＣ．ＭＰＧ」の映像ファイルをデコードして得た時系列のフレーム画像を示す図である。 図３に示した映像ファイルに基づいて文字列抽出部が出力するインデックス情報の一例を示す図である。 図４に示したインデックス情報を含む第１のインデックスファイルの内容の一例を示す図である。 インデックスリスト表示の一例を示す図である。 本発明の第２の実施形態の映像構造化装置における信号処理系を示すブロック図である。 図７に示す映像構造化装置における映像構造化処理を説明するフローチャートである。 文字列抽出処理の一例を示すフローチャートである。 本発明の第３の実施形態の映像構造化装置を示すブロック図である。 本発明の第４の実施形態の映像構造化装置を示すブロック図である。 第２のインデックスファイルの内容の一例を示す図である。 インデックスリスト表示の一例を示す図である。 本発明の第５の実施形態の映像構造化装置を示すブロック図である。 本発明の第６の実施形態の映像構造化装置を示すブロック図である。 本発明の第７の実施形態の映像構造化装置を示すブロック図である。 本発明の第８の実施形態の映像構造化装置を示すブロック図である。 本発明の第９の実施形態の映像構造化装置を示すブロック図である。 インデックスリスト表示の他の例を示す図である。 インデックスリスト表示の他の例を示す図である。

符号の説明

１０ 映像構造化システム
１２，１４ 撮像装置
１６ 映像データベース
１８，２２ アンテナ
２０ 映像出力装置
２４ 基地局
３０ 通信網
１００，２００，３００，４００，５００，６００，７００，８００，９００ 映像構造化装置
１０１，１０２ フレーム画像
１０３ 文字列
１０４，１０５ 撮影時刻
１０６ 文字列
１２０ インデックスリスト表示の題名
１２２ 映像識別情報表示欄
１２４ フレーム識別情報
１２６ 文字列表示
１２８ 文字列存在フレーム画像
１３８，１３９ 認識文字列
１７０ 入力装置
１７２ 表示装置
２１０，３１０，４１０，５１０，６１０，７１０，８１０，９１０ 映像入力部
２１２，３１２，４１２，５１２，６１２，７１２，８１２，９１２ 文字列抽出部
２１６，３１６，４１６，５１６，８１６，９１６ 映像情報蓄積部
２１８，３１８，４１８，５１８，６１８，７１８，８１８，９１８ 構造情報呈示部
３２０，５２０，９２０ 映像再生部
４１４，５１４，７１４，８１４，９１４ 文字列認識部
９５１ 画像処理部
９５３ 圧縮伸張部
９５５ 音声処理部
９５６ 音声出力装置
９５７ 発音処理部
９６５，９６８ 送受信部
９７１ 入力インタフェース
９７３ 表示インタフェース
９７７ 記録媒体
９７８ 記録媒体装着部
９７９ 記録媒体インタフェース
９８０ 情報処理部
９８１ メモリ
９８４ 記録部
９９０ カレンダ時計
９９９ バス

図１は、本発明に基づく映像構造化装置を含む映像構造化システムの構成の一例を示している。この映像構造化システムは、被写体像を受光面に結像させて光電変換してその映像信号を出力する撮像装置１２と、撮像した映像信号を送信用の映像データに変換して通信網３０に対して出力する映像出力装置２０と、本発明に基づく映像構造化装置１００を備えている。映像構造化装置としては、後述する各実施形態での映像構造化装置２００，３００，４００，５００，６００，７００，８００，９００を用いることも可能である。

映像出力装置２０は、撮像した映像信号を無線送信用の映像データに変換し、この映像データをアンテナ１８を介して基地局２４や映像構造化装置１００に送信することができるように構成されている。また映像出力装置２０は、撮像した映像信号を記録用の映像データに変換して映像データベース１６に記録することもできるように構成されている。さらに映像出力装置２０は、映像データベース１６に記録されている映像データを読み出して、送信用の映像データに変換して通信網３０に対して出力することができるように構成されている。なお、映像データは、コンポジット映像信号等であってもよい。通信網３０として、ケーブルテレビ用のネットワークを用いてもよい。

またさらに、映像出力装置２０は、映像データベース１６に記録されている映像データを読み出して、無線送信用の映像データに変換し、この映像データをアンテナ１８、２２を介して基地局２４や映像構造化装置１００に送信する機能も備えている。映像出力装置２０は、基地局２４や映像構造化装置１００が無線又は有線の通信手段を用いて送信した映像データをアンテナ１８等を用いて受信し、映像データベース１６に記録する機能も備えている。

基地局２４は、映像出力装置２０のアンテナ１８から出力された映像データをアンテナ２２を用いて受信し、有線で伝送される映像データに変換した後に通信網３０を介して映像構造化装置１００に出力する機能を備えている。基地局２４は、さらに、映像構造化装置１００が送信した映像データや映像のインデックス情報等の各種情報を受信して、アンテナ２２を介して映像出力装置２０や、図示しない携帯電話、携帯端末等の通信機器に送信する機能も備えている。

映像構造化装置１００は、撮像装置１４あるいは映像出力装置２０が出力した映像信号を後述する映像入力部又は映像信号入力部を介して受け取り、映像信号から時系列のフレーム画像を抽出し、テロップなどの文字列部分を含んでいるフレーム画像を特定するフレーム識別情報と、そのフレーム画像内に占める文字列部分の位置若しくは範囲に関する文字列の位置を特定する文字列位置情報とを関連付けたインデックス情報を生成する機能を有する。ここでのフレーム識別情報は、例えば、時刻情報、カウンタ情報、ページ情報を含んでいる。そして、映像構造化装置１００は、この生成したインデックス情報を、通信網３０若しくは無線などの通信手段を介して、他の通信機器に出力する。また、撮像装置１４は、マイクロホンなどを内蔵して音声信号を出力ことが可能なものであってもよい。

また映像構造化装置１００は、生成したインデックス情報を映像構造化装置１００内に設られている記録部や記録媒体に記録する機能を備えている。さらに、映像構造化装置１００は、生成したインデックス情報に含まれるフレーム識別情報と文字列の位置を特定する文字列位置情報とに基づいて、フレーム画像に含まれる文字列部分の画像を抽出してインデックスリスト表示用の表示データを生成する機能も備えている。文字列部分の画像には、文字列表示や文字列画像などが含まれる。この表示データは、映像構造化装置１００から表示装置１７２に出力され、これによって利用者に対してインデックスリスト表示を行うことができる。

この映像構造化システムでは、利用者が、文字列表示又は文字列画像等を含むインデックスリスト表示を閲覧して、キーボードやマウス等の入力装置１７０を介してその利用者の所望の文字列表示又は文字列画像等を選択すると、その文字列表示等と関連付けられているフレーム識別情報情報等に基づいてそのフレーム画像を含む画像ファイルを読み出される。その結果、この映像構造化システムでは、そのフレームの位置から再生を開始することができる。

図２は、上述したような構成を有する、本発明の第１の実施形態の映像構造化装置を示している。図２に示す映像構造化装置２００は、デジタル化された映像データ、又は映像信号を入力として、フレーム画像又は時系列のフレーム画像とその個々のフレーム画像を識別するためのフレーム識別情報と映像識別情報とを出力する映像入力部２１０と、映像入力部２１０からフレーム画像又は時系列のフレーム画像が入力され、そのフレーム画像中に文字列が存在するか否かを判断して文字列が存在すると判断した場合にはその文字列が存在する文字列存在フレーム画像のフレーム識別情報とそのフレーム画像内における文字列の座標値等の文字列位置情報とを出力する文字列抽出部２１２と、文字列存在フレーム画像と文字列位置情報とフレーム識別情報とを関連付けたインデックス情報を第１のインデックスファイルとして蓄積するとともに、映像データを蓄積する映像情報蓄積部２１６と、蓄積された第１のインデックスファイルを読み出して、文字列が存在するフレーム画像、又は文字列位置情報に対応した文字列画像を表示装置１７２に対して出力する構造情報呈示部２１８と、を備えている。ここで映像信号には、ＲＧＢ信号やコンポジット映像信号等が含まれる。

この構成において、映像入力部２１０は、デジタル化された映像データ、又はＲＧＢ信号やコンポジット映像信号等の映像信号を受け取ると、その映像全体を識別する映像識別情報と、デジタル化した映像データと、映像データにおける各フレーム画像を再生する際にフレーム画像を識別するためフレーム識別情報とを映像情報蓄積部２１６に出力する機能を有する。さらに映像入力部２１０は、これらの映像データや映像信号を受け取ったときに、入力した映像信号からフレーム画像又は時系列のフレーム画像を生成するとともに、個々のフレーム画像を個別に識別するためのフレーム識別情報を付して、その映像全体を識別する映像識別情報と、個々のフレーム画像又は時系列のフレーム画像とを文字列抽出部２１２に出力する機能も備えている。

文字列抽出部２１２は、映像入力部２１０から、映像が記録されているファイル名やプログラムタイトル等の映像識別情報と、フレーム画像と、その第２フレーム識別情報とが入力され、入力されたフレーム画像中に文字列が存在するかどうかを判断し、入力されたフレーム画像中に文字列が存在すると判断した場合には、その映像識別情報と、文字列存在フレーム画像と、文字列が存在する特定のフレーム画像を識別するためフレーム識別情報と、そのフレーム画像の中に存在する文字列についての文字列位置情報とをインデックス情報として映像情報蓄積部２１６に対して出力する。文字列存在フレーム画像とは、文字列が存在するものとして検出されたフレーム画像のことであるが、ここでは、必要に応じて、そのようなフレーム画像を縮小したサムネイル画像などであってもよい。文字列位置情報は、例えば、検出された文字列がフレーム画像中においてどこに位置するかを示す座標値によって構成される。構造情報呈示部２１８は、このように取得されたインデックス情報に基づいて、画像による文字列表示を利用者に呈示する。

本実施形態においてフレーム識別情報は、いずれも個々のフレーム画像を識別するためのものである。これらのフレーム識別情報として、撮影時刻に関する情報、フレーム画像番号、又はカウンタ情報等の情報を用いてもよい。また、時間情報として、同期再生のための時間情報ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）やＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）、基準時間情報ＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）等の時間情報を用いるようにしてもよい。

文字列抽出部２１２は、先ず、映像入力部２１０から、映像識別情報と、第１のフレーム画像と、その個々のフレーム画像を識別するためのフレーム識別情報とを入力して、そのフレーム画像中に文字列が存在するか否かを判断する。次に、そのフレーム画像中に文字列が存在すると判断した場合には、その映像識別情報と、文字列存在フレーム画像と、文字列が存在する特定のフレーム画像を識別するためのフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを、第１のインデックス情報として映像情報蓄積部２１６に出力する。このとき、文字列が存在する特定のフレーム画像は、同一の文字列が存在するフレーム画像が複数ある場合には、これらの同一の文字列が存在するフレーム画像のうち、最初のフレーム画像であることが好ましい。なお、フレーム画像中に文字列が存在しない場合には、文字列抽出部２１２は、フレーム識別情報及び文字列位置情報の出力を行わない。

そして、文字列抽出部２１２は、２番目のフレーム画像について、そのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、その文字列が存在した文字列存在フレーム画像を特定するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを出力する。文字列抽出部２１２は、以降の各フレーム画像に対し、順次、この処理を繰り返す。

ここで、文字列抽出部２１２において文字列を抽出する処理の一例について説明する。文字列抽出部２１２は、まず、入力されたフレーム画像を微分して微分画像を生成する。微分画像の各画素値を既定のしきい値で二値化し、得られる二値画像を水平、垂直方向に射影して、画素に関するヒストグラムを生成することで射影パターンを得る。

次に、文字列抽出部２１２は、射影パターンが既定値以上の値を持つ連続領域を、文字列候補領域として定める。このとき、連続領域の大きさが既定値に満たないものは、ノイズとして文字領域候補から除外してもよい。そして、射影パターンに基づいて定めた各文字列候補領域に対してレイアウト解析処理を適用することで、最終的な文字列位置情報を生成することができる。

レイアウト解析処理の例として、例えば１９９８年の「ＩＡＰＲ ｗｏｒｋｓｈｏｐ ｏｎ Ｄｏｃｕｍｅｎｔ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍｓ」の予稿集４０６ページから４１５ページに記載の「Ｄｏｃｕｍｅｎｔ ｌａｙｏｕｔ ａｎａｌｙｓｉｓ ｂｙ ｅｘｔｅｎｄｅｄ ｓｐｌｉｔ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ」などの手法を用いることができる。このレイアウト解析処理では、文字以外の画像領域を抽出し、それらの位置を境界として領域分割を行って部分領域に分割する。これを部分領域に再帰的に適用することで、最終的に文字列の位置情報を、例えば画像中の座標値等として、取得することができる。

なお、文字以外の多くのノイズが背景の映像から過抽出されてしまうことにより、文字列候補領域にノイズが残ることが予想されるが、上記のレイアウト解析方法を用いることによって、これらのノイズは、文字列以外の領域として再帰処理の途中で消去される。したがって、ここで述べた方法によれば、文字列のみを抽出することができる。文字列位置情報は、１つの文字列を最小包囲する矩形を表わす情報としてもよいし、複数の矩形を合わせた形状を表わす情報としてもよい。

図３は、例えば映像識別情報が「ＡＢＣ．ＭＰＧ」である映像ファイルをデコードして得た時系列のフレーム画像と、そのフレーム画像に含まれる文字列を表した図である。

映像入力部２１０が映像ファイル「ＡＢＣ．ＭＰＧ」をデコードすると、図に示すように、１又は複数枚のフレーム画像が得られる。映像入力部２１０に対してＲＧＢ信号又はＹＣ信号（コンポジット信号）等の映像信号を入力した場合には、時系列のフレーム画像を数値化することによって、やはり図３に示すような１又は複数枚のフレーム画像を得ることができる。

文字列抽出部２１２は、映像入力部２１０から、ファイル「ＡＢＣ．ＭＰＧ」の映像識別情報と、個々のフレーム画像と、その個々のフレーム画像を識別するフレーム識別情報とを受け取って、これらフレーム画像中に文字列が存在するか否かを判断する。図示した例では、映像識別情報として、映像ファイル名が使用されているが、電子番組表（ＥＰＧ）のプログラムタイトルなどを用いることもできる。フレーム識別情報としては、図示した例では、撮影時刻情報が用いられている。以下、図３に示すような一連のフレーム画像が入力された場合を例にあげて、図２に示した映像構造化装置２００での処理を説明する。

この例では、撮影時刻１０４（１：２３：１４’３３）のフレーム画像１０１に、「撮像中に含まれる文字列」という文字列１０３が存在するので、文字列抽出部２１２は、映像全体を識別する映像識別情報「ＡＢＣ．ＭＰＧ」と、必要に応じて縮小したフレーム画像１０１の映像データと、文字列が存在する文字列存在フレーム画像１０１を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標Ｐａ１０１（１２０，４００）及びＰｂ１０１（６００，４５０）からなる文字列位置情報とを、インデックス情報として映像情報蓄積部２１６に出力する。文字列存在フレーム画像１０１を識別するフレーム識別情報としては、例えば、ファイル名「ＡＢＣ−０１２３１４３３．ＪＰＧ」を用いることができる。

図３に示す例での文字列の座標系としては、フレーム画像の左上の画素を原点にした座標系が用いられている。ここでは、文字列を最小に包囲する矩形の左上の頂点の座標値をＰａと定義し、文字列を最小に包囲する矩形の右下の頂点の座標値をＰｂと定義している。

同様に、撮影時刻１０５（２：５４：０４’６７）のフレーム画像１０２には、「文字列」という文字列１０６が存在するので、文字列抽出部２１２は、映像全体を識別する映像識別情報「ＡＢＣ．ＭＰＧ」と、必要に応じて縮小したフレーム画像１０２の映像データと、文字列存在フレーム画像１０２を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標Ｐａ１０２（２０，１００）及びＰｂ１０２（１２０，１５０）からなる文字列位置情報とを、インデックス情報として映像情報蓄積部２１６に出力する。ここでのフレーム識別情報としては、例えば、ファイル名「ＡＢＣ−０２５４０４６７．ＪＰＧ」が使用される。

図４は、図３に示した映像ファイルに基づいて文字列抽出部２１２が出力するインデックス情報の一例を示している。図４に示すように、文字列抽出部２１２が出力するインデックス情報には、映像ファイルを識別する映像識別情報「ＡＢＣ．ＭＰＧ」と、文字列が存在するフレーム画像を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の文字列位置情報とが含まれている。フレーム識別情報は、例えばファイル名「ＡＢＣ−０１２３１４３３．ＪＰＧ」等であり、文字列位置情報は、例えば、座標Ｐａ１０１（１２０，４００）及びＰｂ１０１（６００，４５０）等である。

映像情報蓄積部２１６は、文字列抽出部２１２が出力した映像識別情報と、文字列が存在する文字列存在フレーム画像と、その文字列存在フレーム画像を識別するフレーム識別情報と、その文字列位置情報とを関連付けた第１のインデックス情報とを、第１のインデックスファイルとして蓄積する。また映像情報蓄積部２１６は、映像入力部２１０が出力した映像識別情報、映像データ及びフレーム識別情報を映像データとして蓄積する。

図５は、図４に示したインデックス情報を含む第１のインデックスファイルの一例を示す図である。

図示するように、第１のインデックスファイル（ＩＮＤＥＸ０１．ＸＭＬ）には、図４に示した映像ファイル「ＡＢＣ．ＭＰＧ」の１又は複数のインデックス情報とともに、他の映像ファイル（例えば「ＤＥＦ．ＭＰＧ」など）のインデックス情報もまとめて記載してある。なお、第１のインデックスファイルとしては、ＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）等によるデータベース構造を有するものに限定されるものではなく、ＨＴＭＬ（ｈｙｐｅｒｔｅｘｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）等による表示用のファイル形式のものや、その他のファイル形式のものを用いることができる。

構造情報呈示部２１８は、映像情報蓄積部２１６が蓄積したインデックスファイルを読み出してインデックスリスト表示情報を生成し、表示装置１７２に出力する。表示装置１７２は、図６に示すようなインデックスリスト表示を行って利用者に通知する。図６は、インデックスリスト表示の一例を示している。

図６に示すようにインデックスリスト表示には、インデックスリスト表示の題名１２０と、映像ファイルを識別する映像識別情報表示欄１２２と、文字列が存在する文字列存在フレーム画像を識別するための、撮影時刻等のフレーム識別情報１２４と、フレーム識別情報とフレーム画像の映像データと文字列位置情報とを用いてフレーム画像から文字列が存在する範囲を切り出した画像による文字列表示１２６とが表示されている。文字列表示１２６は、利用者所望の順序で表示するようにしてもよいし、利用者所望の位置に表示するようにしてもよい。また、利用者所望の時間間隔でインデックスリストの表示を行うようにしてもよい。

なお利用者は、マウス又はキーボード等の入力装置１７０を操作することにより、所望の文字列表示１２６や、撮影時刻等の再生ポイント情報等を選択することが可能である。再生ポイント情報は、映像をどこから再生するかを示す情報であり、フレーム識別情報で表わされるものである。もし利用者が所望の文字列表示１２６等を選択して映像の再生ポイントを指定した場合には、選択された映像識別情報の映像ファイルが読み出され、対応するフレーム識別情報１２４で特定されるフレーム画像以降の映像が表示装置１７２に表示される。ここに示す例では、再生ポイント情報として撮影時刻が用いられている。

図７は、本発明の第２の実施形態の映像構造化装置における信号処理系の構成を示している。図７に示す映像構造化装置は、コンピュータシステムにインストールされたプログラムがコンピュータシステムのハードウェア資源を制御することによって実現されるものである。そして、この映像構造化装置では、映像が入力したときに、この入力した映像のフレーム画像中に文字列が存在すると判断した場合には、その映像識別情報と、必要に応じて縮小したサムネイル等の文字列存在フレーム画像と、文字列が存在する特定の文字列存在フレーム画像を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とをインデックス情報として出力することが可能となっている。

映像構造化装置９５０は、被写体像を受光面に結像させて光電変換してその映像信号を出力する撮像装置１４から映像信号が入力されるものである。映像構造化装置９５０は、入力映像信号を記録用の映像データに変換する画像処理部９５１と、撮像装置１４が集音した音声信号が入力されて記録用の音声データ又は映像データに変換する音声処理部９５５と、通信網３０に対して映像データ、音声データ、又はその他の各種情報の入出力を行う送受信部９６５と、無線の通信網に対して映像データ、音声データ、又はその他の各種情報の送受信を行うアンテナ２０及び送受信部９６８とを備えている。

さらに映像構造化装置９５０は、圧縮伸張部９５３と、記録媒体装着部９７８と、記録媒体インタフェース９７９と、入力インタフェース９７１と、表示インタフェース９７３と、情報処理部９８０と、メモリ９８１と、記録部９８４と、カレンダ時計９９０とを備えている。

圧縮伸張部９５３は、映像データ又は音声データに対し、ＭＰＥＧ（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔ ｇｒｏｕｐ）に代表される手法で映像を圧縮制御したり、圧縮した映像を伸張展開制御する。さらに圧縮伸張部９５３は、映像データに対して、ＪＰＥＧ（ｊｏｉｎｔ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔ ｇｒｏｕｐ）に代表される手法で画像を圧縮制御したり、圧縮した画像を伸張展開制御する処理を行う。

記録媒体装着部９７８は、記録媒体９７７を着脱可能に装着するものであり、記録媒体インタフェース９７９は、記録媒体９７７に対して各種の情報を記録したり読み出したりするためのものである。記録媒体９７７は、メモリーカード等の半導体や、ＤＶＤ、ＣＤ等に代表される光記録媒体、磁気記録媒体等の着脱可能な記録媒体である。

入力インタフェース９７１は、インデックスリスト表示の開始若しくは終了、映像ファイルの選択、文字列表示又は文字列画像の選択等の各種指示を入力するために用いられる、キーボード、マウス等の入力装置１７０に対して情報の送受信を行う。また、表示インタフェース９７３は、画像や文字等の情報を表示する表示装置１７２に表示用の画像信号を出力する。

情報処理部９８０は、例えばＣＰＵによって構成されるものであって、映像信号の入力処理、映像信号からフレーム画像やフレーム識別情報を生成する処理、フレーム画像中に文字列が存在するか否かの判断処理、文字列位置情報の生成処理、各種情報の関連付け処理、フレーム画像の中から文字列が存在する範囲を切り出す処理、その他映像構造化装置９５０全体の制御を行う処理などを実行する。メモリ９８１は、プログラム実行時の作業領域として用いられる。記録部９８４は、映像構造化装置９５０が実行する処理プログラムや各種定数、ネットワーク上の通信機器と通信接続する際のアドレス、ダイヤルアップ電話番号、属性情報、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒｓ）、ゲートウェイ情報、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｙｓｔｅｍ）等の各種情報を記録するハードディスク等によって構成されている。カレンダ時計は、時刻を刻むものである。

この映像構造化装置９５０において、情報処理部９８０とその周辺の回路とはバス９９９で接続されており、相互に高速な情報の伝達を行うことが可能となっている。そして情報処理部９８０において動作する処理プログラムの指示に基づいて、情報処理部９８０は、これらの周辺の回路を制御することができる。

なお、上記の映像構造化装置９５０は、映像情報の構造化に関する処理能力を備えた専用の装置であってもよい。あるいは映像構造化装置９５０として、ビデオレコーダ、ビデオカメラ、デジタルスチルカメラ、カメラを搭載した携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ，Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け携帯型情報通信機器）、パーソナルコンピュータ等の汎用的な処理装置を用いるようにしてもよい。

ここで、画像処理部９５１、送受信部９６５、９６８、記録媒体インタフェース９７９、記録部９８４等は、それぞれ映像信号入力部として機能し得るものであり、デジタル化された映像データ、又はＲＧＢ信号やコンポジット映像信号等の映像信号を受け取ることが可能となっている。なお、送受信部９６８に対してテレビビジョンチューナーの機能を持たせることにより、外部の機器から映像信号を映像構造化装置９５０に入力することも可能である。

液晶表示装置又はＣＲＴ（陰極線管）等の表示装置１７２は、文字列画像や認識文字列、画像、文字、インデックスリスト表示等の各種情報を表示し、これらの情報を利用者に通知するために用いられている。スピーカ等の音声出力装置９５６は、発音処理部９５７が出力する音声信号に基づいて、映像中に文字列が存在する旨の情報を音声によって利用者に伝えるために用いられる。

情報処理部９８０は、入力した映像信号から、映像のフレーム画像と、そのフレーム画像を識別するフレーム識別情報とを生成する機能と、生成したフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、その文字列が存在した文字列存在フレーム画像の中に存在する文字列の座標値等の文字列位置情報を生成する機能と、文字列位置情報に基づいて文字列存在フレーム画像から文字列が存在する範囲を切り出して文字列画像を生成する機能と、を備えている。

次に、図７に示した映像構造化装置における処理について、図８のフローチャートを用いて説明する。

利用者から映像構造化処理の開始指示が入力された場合、映像出力装置２０から映像信号が出力された場合、映像構造化装置９５０のカレンダ時計９８０に対して設定した映像構造化処理の開始時刻が経過した場合、あるいは、その他映像構造化処理の開始が指示された場合には、映像構造化装置９５０の情報処理部９８０が実施する処理は、「映像構造化処理」（ボックスＳ１２００）に移行する。そして、情報処理部９８０は、映像出力装置２０や撮像装置１４から映像信号が送信されて来るのを待ち受ける処理を行う。

「映像出力処理」（ボックスＳ１２０２）において、映像出力装置２０や撮像装置１４等が、ＲＧＢ、ＹＣ、ＭＰＥＧあるいはその他のフォーマットによる映像信号を出力すると、映像構造化装置９５０の画像入力部９５１、送受信部９６５又は送受信部９６８などは、「映像入力処理」（ボックスＳ１２１０）によってこれらの映像信号を受け取り、デジタル化した時系列の映像データをバス９９９を介して情報処理部９８０、圧縮伸張部９５３、メモリ９８１などに出力する。

映像出力装置２０や撮像装置１４などからＲＧＢ又はＹＣ等の映像信号が入力した場合には、画像処理部９５１に、ＲＧＢの映像信号やＹＣのコンポジット映像信号等が入力する。画像処理部９５１は、映像データの各フレーム画像を再生する際にフレーム画像を識別するフレーム識別情報を付して、デジタル化した時系列の映像データを情報処理部９８０、圧縮伸張部９５３、メモリ９８１等にバス９９９を介して出力する。同様に、映像出力装置２０や撮像装置１４が音声信号を出力した場合には、音声処理部９５５にその音声信号が入力し、音声処理部９５５は、バス９９９を介し、デジタル化した音声データを映像データと関連付けて情報処理部９８０、圧縮伸張部９５３、メモリ９８１等に出力する。

次に情報処理部９８０は、画像処理部９５１が出力した時系列の画像データに対してその映像全体を識別する映像識別情報を付与し、時系列の画像データに対して圧縮伸張部９５３によってＭＰＥＧ等の規格に基づいた圧縮処理（エンコード処理）を行う。この状態で情報処理部９８０は、映像全体を識別する映像識別情報と、デジタル化した時系列の映像データと、映像データの各フレーム画像を再生する際にフレーム画像を識別するフレーム識別情報とを関連付けて管理している。映像全体を識別する映像識別情報としては、例えば、映像が記録されているファイル名やプログラムタイトルなどが用いられる。

一方、映像出力装置２０や撮像装置１４からＭＰＥＧ等の映像信号が入力した場合には、画像処理部９５１は、入力した映像データを情報処理部９８０、圧縮伸張部９５３、メモリ９８１等にバス９９９を介して出力する。また、映像出力装置２０からＭＰＥＧ等で符号化された映像データが入力した場合には、送受信部９６５又は送受信部９６８は、入力した映像データをバス９９９を介して情報処理部９８０、圧縮伸張部９５３、メモリ９８１等に出力する。

次に情報処理部９８０は、取得したＭＰＥＧ等による映像データを圧縮伸張部９５３に転送して伸張処理（デコード処理）を行なわせ、時系列の画像データを取得する。この状態で情報処理部９８０は、映像識別情報と、時系列の映像データと、映像データの各フレーム画像を再生する際にフレーム画像を識別するフレーム識別情報とを関連付けて管理している。上記の場合と同様に、個々のフレーム画像を識別するフレーム識別情報として、撮影時刻に関する情報、フレーム画像番号、又はカウンタ情報等の情報を用いてもよい。また、時間情報として、同期再生のための時間情報ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）やＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）、基準時間情報ＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）等の時間情報を用いるようにしてもよい。

次の「文字列抽出処理」（ボックスＳ１２１２）において、情報処理部９８０は、バス９９９を介し、メモリ９８１又は圧縮伸張部９５３から、映像識別情報と、第１のフレーム画像と、その個々のフレーム画像を識別するフレーム識別情報とを受け取り、そのフレーム画像中に文字列が存在するか否かを判断する。ここでフレーム画像中に文字列が存在すると判断した場合には、情報処理部９８０は、その映像識別情報と、文字列存在フレーム画像と、文字列が存在する特定のフレーム画像を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを第１のインデックス情報として、メモリ９８１又は記録部９８４に記録する。ここで文字列存在フレーム画像は、必要に応じて縮小したサムネイル画像などであってもよい。文字列が存在する特定のフレーム画像は、複数のフレーム画像に同一の文字列が存在する場合には、そのような複数のフレーム画像における最初のフレーム画像であることが好ましい。なお、フレーム画像中に文字列が存在しないと判断した場合には、フレーム識別情報及び文字列位置情報の記録は行われない。

そして、情報処理部９８０は、２番目以降の各フレーム画像について、順次、そのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、その文字列が存在する文字列存在フレーム画像を特定するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを記録する。

図９は、文字列抽出処理（ボックスＳ１２１２）における具体的な処理の一例を示している。

情報処理部９８０が実行する処理が図８の「文字列抽出処理」（ボックスＳ１２１２）に進むと、図９に示す一連の処理が開始される。ます、ステップＳ１２６０において文字列抽出処理が開始し、情報処理部９８０は、ステップＳ１２６２において、映像識別情報と、第ｎ番目のフレーム画像（Ｆｎ）と、そのフレーム画像（Ｆｎ）を識別するフレーム識別情報とを受け取って、これらをメモリ９８１又は記録部９８４に一時的に格納する処理を行う。そして、情報処理部９８０は、ステップＳ１２６４において、文字列を抽出する対象となるフレーム画像が存在するか否かを判断する。もし、全ての画像データに対して文字列を抽出する処理が既に終了していて、新たなフレーム画像が存在しない場合には、ステップＳ１２６６において文字列抽出処理が終了し、情報処理部９８０は、図８に示す処理ルーチンに戻って、文字列抽出処理の次の処理を実行する。一方、情報処理部９８０は、文字列を抽出する新たなフレーム画像が存在すると判断した場合には、ステップＳ１２６８において、文字列を抽出するフレーム画像をＦｃごとに間引くためにＦｎ／Ｆｃを計算して、その結果が整数であるか否かを判断する。ここでＦｃは自然数の定数であるとする。もしＦｎ／Ｆｃの値が整数でないと判断した場合には、情報処理部９８０は、ステップＳ１２６２に戻って、次の番号Ｆｎ＋１のフレーム画像を受け取る。これに対しステップＳ１２６８においてＦｎ／Ｆｃの値が整数であると判断した場合には、情報処理部９８０は、ステップＳ１２７０において、微分画像生成処理を実行する。微分画像生成処理では、情報処理部９８０は、ステップＳ１２６２において入力されたフレーム画像を微分して、微分画像を生成し、この微分画像をメモリ９８１又は記録部９８４に一時的に格納する。

次に、情報処理部９８０は、ステップＳ１２７２において、微分画像二値化処理を実行する。微分画像二値化処理では、情報処理部９８０は、Ｓ１２７０において生成した微分画像と二値化のためのしきい値とをメモリ９８１又は記録部９８４から読み出して、微分画像の各画素値をそのしきい値を用いて二値化し、この二値化後の画像データをメモリ９８１又は記録部９８４に一時的に格納する。

次に、情報処理部９８０は、ステップＳ１２７４において、射影パターン生成処理を実行する。射影パターン生成処理では、情報処理部９８０は、二値化した画像データをメモリ９８１又は記録部９８４から読み出して、二値化後の画像を水平方向及び垂直方向にそれぞれ射影し、画素に関するヒストグラムを生成することで、射影パターンを得る。次に、情報処理部９８０は、この射影パターンにおいて既定値以上の値を持つ連続領域を文字列候補領域として定める。このとき、連続領域の大きさが既定値に満たないものは、ノイズとして文字列領域候補から除外してもよい。各文字列候補領域に対して、レイアウト解析処理を適用することで、情報処理部９８０は、最終的な文字列位置情報を生成する。

第１の実施形態において説明した場合と同様に、レイアウト解析処理としては、１９９８年の「ＩＡＰＲ ｗｏｒｋｓｈｏｐ ｏｎ Ｄｏｃｕｍｅｎｔ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍｓ」の予稿集４０６ページから４１５ページに記載の「Ｄｏｃｕｍｅｎｔ ｌａｙｏｕｔ ａｎａｌｙｓｉｓ ｂｙ ｅｘｔｅｎｄｅｄ ｓｐｌｉｔ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ」などの手法を用いることができる。このレイアウト解析処理では、文字以外の画像領域を抽出し、それらの位置を境界として領域分割を行って部分領域に分割する。これを部分領域に再帰的に適用することで、最終的に文字列の位置情報を、例えば画像中の座標値等として、取得することができる。この文字列の位置情報は、例えば図３に示したＰａ１０１、Ｐｂ１０１等の座標値である。

次に、ステップＳ１２７６において、情報処理部９８０はステップＳ１２７４において取得した文字列候補領域について、文字認識処理を実施する。その後、情報処理部９８０は、ステップＳ１２７８において、文字認識処理の結果から、文字列候補領域に文字列が存在するか否かを判断する。もし、文字列が存在しないと判断した場合には、情報処理部９８０は、ステップＳ１２６２に戻って、次の番号Ｆｎ＋１のフレーム画像を受け取る。一方、もし文字列が存在すると判断した場合には、情報処理部９８０は、ステップＳ１２８０において、文字列候補領域から認識された文字列が、前回文字認識処理を行ったときに存在した文字列と同一か否かを判断する。

ステップＳ１２８０において前回の文字列と異なる文字列でないと判断した場合、すなわち同一の文字列であると判断した場合には、情報処理部９８０は、ステップＳ１２６２に戻って、次の番号Ｆｎ＋１のフレーム画像を受け取る。これに対し、前回の文字列と今回認識した文字列とが異なると判断した場合には、情報処理部９８０は、ステップＳ１２８４において、インデックス情報記録処理を実行する。インデックス情報記録処理において情報処理部９８０は、ステップＳ１２６２において入力された映像識別情報と、文字列が存在しているフレーム画像すなわち文字列存在フレーム画像と、その文字列が存在するフレーム画像を識別するフレーム識別情報と、ステップＳ１２７４において取得した文字列位置情報とを、それぞれ関連付けたインデックス情報としてメモリ９８１又は記録部９８４に一時的に記録する。このときの映像識別情報「ＡＢＣ．ＭＰＧ」をデコードして得られる時系列のフレーム画像と、そのフレーム画像に含まれる文字列と、フレーム画像を識別するフレーム識別情報と、文字列位置情報との例は、図３に示されている。また、図３に示した映像ファイルのインデックス情報は、例えば図４に示す形式の情報となる。インデックス情報記録処理が終了すると、情報処理部９８０は、ステップＳ１２６２に戻って、次の番号Ｆｎ＋１のフレーム画像を受け取る処理を実行する。

上述した文字列抽出処理において、文字列が存在する文字列存在フレーム画像は、記録容量を減少させるとともにインデックスリスト表示の際に表示しやすいように、必要に応じて縮小したサムネイル画像として記録してもよい。

図８に戻って、文字列抽出処理（ボックスＳ１２１２）が終了すると、情報処理部９８０は「映像情報蓄積処理」（ボックスＳ１２１６）を実行する。映像情報蓄積処理では、情報処理部９８０は、メモリ９８１又は記録部９８４等に一時的に格納した映像識別情報と、文字列が存在するフレーム画像と、そのフレーム画像を識別するフレーム識別情報と、その文字列位置情報とを関連付けた第１のインデックス情報を読み出して、第１のインデックスファイルとして蓄積する。第１のインデックスファイルの一例が図５に示されている。

前述の「映像出力処理」（ボックスＳ１２０２）において映像出力装置２０や撮像装置１４等がＲＧＢ、ＹＣ等の映像信号を入力した場合には、情報処理部９８０は、これらの映像信号をデジタル化し、圧縮伸張部９５３によってＭＰＥＧ等の動画ファイルに符号化し、記録部９８４や記録媒体９７７に記録する。また、「映像出力処理」（ボックスＳ１２０２）において、映像出力装置２０や撮像装置１４等が、ＭＰＥＧ等によって符号化された映像信号を入力した場合には、情報処理部９８０は、この映像信号から記録用の動画ファイルを生成して、記録部９８４や記録媒体９７７に記録する。これらの動画ファイルには識別用の固有の映像識別情報が付されており、デコードした際に個々のフレーム画像を識別するためのフレーム識別情報が記録されている。映像情報の蓄積処理が終了すると、情報処理部９８０は、「構造情報呈示処理」（ボックスＳ１２１８）を実行する。

構造情報呈示処理では情報処理部９８０は、記録部９８４又は記録媒体９７７等に記録されている第１のインデックスファイルを読み出して、図６に示すようなインデックスリスト表示を行うための表示ファイルを生成する。そして、第１のインデックスファイルに記載されている文字列が存在するフレーム画像を記録部９８４又は記録媒体９７７等から読み出してメモリ９８１に展開する。そして情報処理部９８０は、文字列位置情報に基づいて、文字列が存在する文字列候補領域をフレーム画像から切り出して生成した文字列画像をインデックスリスト表示に添付する。情報処理部９８０は、このようにして生成したインデックスリスト表示の表示信号を、表示インタフェース９７３を介して表示装置１７２に出力する。インデックスリスト表示の表示例が図６に示されている。構造情報呈示処理が終了すると、情報処理部９８０は、ステップＳ１２３２に示す、終了指示が入力したかを判定する処理を実行する。

ステップＳ１２３２において情報処理部９８０は、利用者が入力装置１７０を介して映像構造化処理の終了指示を入力したか否かの判断を行う。もし利用者がインデックスリスト表示終了ボタンを選択するなどして、ボックスＳ１２３０で示すように終了指示入力を行った場合には、情報処理部９８０は、終了指示の入力がなされたと判断し、ステップＳ１２４０において、映像構造化処理を終了させる。一方、利用者から終了指示の入力がなされていないと判断した場合には、情報処理部９８０は、映像入力処理（ボックスＳ１２１０）に戻る。これによって、映像構造化処理が継続して実行される。

なお、図６に示すインデックスリスト表示を利用者が閲覧し、利用者がマウス又はキーボード等の入力装置１７０を操作して所望の文字列表示１２６あるいは文字列画像等を選択して映像の再生ポイントを指定した場合には、情報処理部９８０は、選択された映像識別情報の映像ファイルを記録部９８４等から読み出してデコードし、対応するフレーム識別情報１２４で特定されるフレーム画像以降の映像を表示装置１７２に出力して表示させる。図６に示した例では、フレーム識別情報は、撮影時刻で表わされている。

次に、本発明の第３の実施形態の映像構造化装置について、図１０を参照して説明する。図１０に示す映像構造化装置３００では、文字列抽出部３１２には、映像が記録されているファイル名やプログラムタイトル等の映像識別情報と、フレーム画像と、その個々のフレーム画像を識別するフレーム識別情報とが、映像入力部３１０から入力される。そして、文字列抽出部３１２は、この入力されたフレーム画像中に文字列が存在すると判断した場合には、その映像識別情報と、文字列存在フレーム画像と、文字列が存在する特定のフレーム画像を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とをインデックス情報として映像情報蓄積部３１６に出力する。文字列存在フレーム画像は、必要に応じて、縮小されたサムネイル画像などとされる。構造情報呈示部３１８は文字列の画像を利用者に呈示する。利用者が、映像の再生ポイントを示す文字列表示１２６等を指定した場合には、映像再生部３２０は、利用者から指定された再生ポイント以降の映像を再生する。

第３の実施形態の映像構造化装置３００での映像入力部３１０及び文字列抽出部３１２が実行する処理は、図２に示した映像構造化装置２００における映像入力部２１０及び文字列抽出部２１２が実行する処理とそれぞれ同一であるので、ここでは詳細な説明を省略する。

この映像構造化装置３００において、映像情報蓄積部３１６は、文字列抽出部３１２が出力した映像識別情報と、文字列が存在する文字列存在フレーム画像と、そのフレーム画像を識別するフレーム識別情報と、その文字列位置情報とを関連付けた第１のインデックス情報を、第１のインデックスファイルとして蓄積する。ここで映像情報蓄積部３１６は、映像入力部３１０が出力した映像識別情報、映像データ、及びフレーム識別情報を映像データとして蓄積する。

構造情報呈示部３１８は、映像情報蓄積部３１６が蓄積したインデックスファイルを読み出してインデックスリスト表示情報を生成し、インデックスリスト表示を表示装置１７２に出力する。表示装置１７２は、図６に示すようなインデックスリスト表示を行って利用者に通知する。

利用者が、マウスやキーボード等の入力装置１７０を操作して所望の文字列表示１２６又は撮影時刻等の再生開始ポイント情報を選択すると、構造情報呈示部３１８は、再生開始ポイントに対応する映像識別情報とフレーム識別情報とを選び出して、映像情報蓄積部３１６に出力する。映像情報蓄積部３１６は、構造情報呈示部３１８から映像識別情報とフレーム識別情報とを取得すると、取得した映像情報に対応する映像データを読み出して、フレーム識別情報とともに映像再生部３２０に出力する。映像再生部３２０が、映像ファイルをデコードして時系列のフレーム画像を取得することが可能な構成である場合には、映像情報蓄積部３１６は、映像ファイルとフレーム識別情報とを映像再生部３２０に出力する。映像再生部３２０は、取得した映像ファイルをデコードして、フレーム識別情報以降のフレーム画像を表示して、利用者に再生ポイント以降の映像を呈示する。映像再生部３２０が、時系列のフレーム画像を取得して表示する構成である場合には、映像情報蓄積部３１６は、フレーム識別情報以降の時系列のフレーム画像を映像再生部３２０に出力する。この場合は、映像再生部３２０は、フレーム識別情報以降のフレーム画像を表示して、利用者に再生ポイント以降の映像を呈示する。

図１０に示す映像構造化装置３００では、インデックスとなる画像による文字列表示１２６が文字列存在フレーム画像の一部を用いているために、文字認識を行った結果の文字列のみを表示する場合と異なり、文字列表示１２６が映像の内容と一致しないという現象が起きる可能性が小さくなる。したがって、利用者は、文字列表示１２６が表示されているインデックスリスト表示を閲覧することで映像の内容を一覧することが可能となり、映像の頭出しを容易に行うことが可能となる。

図１１は、本発明の第４の実施形態の映像構造化装置を示している。この映像構造化装置４００では、文字列抽出部４１２には、映像が記録されているファイル名やプログラムタイトル等の映像識別情報と、フレーム画像と、その個々のフレーム画像を識別するフレーム識別情報とが、映像入力部４１０から入力される。そして、文字列抽出部４１２は、入力されたフレーム画像中に文字列が存在すると判断した場合には、その映像識別情報と、文字列存在フレーム画像と、文字列が存在する特定のフレーム画像を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とをインデックス情報として映像情報蓄積部４１６に出力するとともに、文字列存在フレーム画像と、フレーム識別情報と、文字列位置情報とを文字列認識部４１４にも出力する。文字列存在フレーム画像は、必要に応じて、縮小されたサムネイル画像などとされる。

文字列認識部４１４は、文字列存在フレーム画像から文字列位置情報で特定される範囲を画像データとして切り出し、切り出された画像データに含まれる文字列を認識文字列すなわち文字コードとして抽出して、その認識文字列を映像情報蓄積部４１６に出力する。構造情報呈示部４１８は、文字列の画像又は認識文字列を利用者に呈示する。

第４の実施形態の映像構造化装置４００での映像入力部４１０の処理、及び文字列抽出部４１２が映像情報蓄積部４１６に対してインデックス情報を出力するまでの処理は、図２に示した映像構造化装置２００における映像入力部２１０での処理、及び文字列抽出部２１２での処理とそれぞれ同一であるので、ここでは詳細な説明を省略する。

文字列抽出部４１２は、フレーム画像中に文字列が存在すると判断した場合には、第１のインデックス情報を映像情報蓄積部４１６に出力するとともに、文字列存在フレーム画像とフレーム識別情報と文字列位置情報とを文字列認識部４１４に出力する。なお、フレーム画像中に文字列が存在しないと判断した場合には、文字列抽出部４１２は、文字列認識部４１４に対して文字列存在フレーム画像、フレーム識別情報及び文字列位置情報は出力することはしない。

文字列認識部４１４では、文字列存在フレーム画像内で、文字列位置情報で特定される範囲内に存在する文字列の画像データと、文字列認識用の辞書データとを用いて、文字列が認識文字列（文字コード）として抽出される。ここでの文字列認識処理として、例えば特開平３−１４１４８４号公報に記載されている文字切り出し方法及びその装置、あるいは特開２００１−３４７０９号公報に記載されている高速認識検索システム及びそれに用いる認識検索高速化方法などを利用することが可能である。この文字列認識処理において、文字列認識の結果の認識信頼度を算出するようにしてもよい。文字列の認識信頼度としては、例えば、文字列画像中の個々の文字に対応する文字認識における尤度値や、距離値の平均値の逆数などを用いることができる。

文字列の認識処理が終了すると、次に文字列認識部４１４は、得られた認識文字列と、その文字列が存在するフレーム画像のフレーム識別情報と、文字列位置情報と、文字列認識の結果得られた文字列の認識信頼度とを映像情報蓄積部４１６に出力する。映像情報蓄積部４１６は、文字列抽出部４１２及び文字列認識部４１４が出力した、映像識別情報と、文字列が存在する文字列存在フレーム画像と、そのフレーム画像を識別するフレーム識別情報と、その文字列位置情報と、認識文字列、認識信頼度とを関連付けた第２のインデックス情報を、第２のインデックスファイルとして蓄積する。また映像情報蓄積部４１６は、映像入力部４１０が出力した映像識別情報、映像データ、及びフレーム識別情報を映像データとして蓄積する。

図１２は、第２のインデックスファイルの一例を示している。第２のインデックスファイル（ＩＮＤＥＸ０２．ＸＭＬ）には、図５に示した第１のインデックスファイルに記載した情報に加えて、認識文字列とその文字列の認識信頼度とがフレーム識別情報と関連付けて蓄積されている。ここでは、フレーム識別情報として、撮影時刻の情報が用いられいる。

構造情報呈示部４１８は、映像情報蓄積部４１６が蓄積した第２のデックスファイルを読み出してインデックスリスト表示情報を生成し、表示装置１７２に出力する。表示装置１７２は、図１３に示すようなインデックスリスト表示を行って利用者に通知する。図１３は、インデックスリスト表示の一例を示している。

図１３に示すように、インデックスリスト表示には、インデックスリスト表示の題名１２０と、映像ファイルを識別する映像識別情報表示欄１２２と、文字列が存在するフレーム画像を識別する撮影時刻等のフレーム識別情報１２４と、フレーム画像の映像データと文字列位置情報とを用いてフレーム画像から文字列が存在する範囲を切り出した画像による文字列表示１２６と、認識文字列１３８とが示されている。

なお利用者は、マウス又はキーボード等の入力装置１７０を操作することにより、所望の文字列表示１２６や認識文字列１３８、撮影時刻等の再生ポイント情報等を選択することが可能となっている。利用者が所望の文字列表示１２６等を選択して映像の再生ポイントを指定した場合に、選択された映像識別情報の映像ファイルを読み出して、対応するフレーム識別情報１２４で特定されるフレーム画像以降の映像が表示装置１７２に表示されるようにすることも可能である。ここで示す例では、再生ポイント情報として撮影時刻を利用している。

認識文字列１３８は、必ず表示するようにしてもよいが、認識信頼度が所定のしきい値Θ１以下の場合、例えば認識信頼度がしきい値Θ１＝５０％以下の場合には、表示されないようにしてもよい。また、認識信頼度が所定のしきい値Θ２以上の場合、例えば、認識信頼度がしきい値Θ２＝９０％以上の場合には、認識文字列１３８のみを表示して、画像による文字列表示１２６を表示しないようにしてもよい。

本実施形態によれば、インデックスとなる画像による文字列表示１２６が文字列存在フレーム画像の一部を用いているために、文字認識を行った結果の文字列のみを表示する場合と異なり、文字列表示１２６が映像の内容と一致しないという現象が起きる可能性が小さくなる。したがって、利用者は、インデックスリスト表示を閲覧することで映像の内容を一覧することが可能となり、映像の頭出しを容易に行うことができる。また、文字列認識の結果の信頼度に応じて、画像による文字列表示と認識文字列の表示との間で表示方法を制御できるようにしたので、利用者は、認識文字列を信頼してインデックスを選択することができ、利用者が映像を検索する際の作業効率を改善することができる。

図１４は、本発明の第５の実施形態の映像構造化装置を示している。この映像構造化装置５００では、文字列抽出部５１２には、映像が記録されているファイル名やプログラムタイトル等の映像識別情報と、フレーム画像と、その個々のフレーム画像を識別するフレーム識別情報とが、映像入力部５１０から入力される。そして、文字列抽出部５１２は、入力されたフレーム画像中に文字列が存在すると判断した場合には、その映像識別情報と、文字列存在フレーム画像と、フレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とをインデックス情報として映像情報蓄積部５１６に出力するとともに、文字列存在フレーム画像と、フレーム識別情報と、文字列位置情報とを文字列認識部５１４に出力する。文字列認識部５１４は、文字列存在フレーム画像内の文字列位置情報で特定される範囲内に存在する文字列の画像データから、その文字列を認識文字列（文字コード）として抽出して、その認識文字列と、フレーム識別情報と、文字列位置情報と、認識信頼度とを映像情報蓄積部５１６に出力する。

構造情報呈示部５１８は、文字列の画像又は認識文字列を利用者に呈示する。そして構造情報呈示部５１８は、利用者が所望の文字列表示１２６や認識文字列１３８、撮影時刻等の再生ポイント情報等を選択した場合には、映像情報蓄積部５１６から利用者の選択に基づいて映像識別情報の映像ファイルを読み出して、対応するフレーム識別情報１２４で特定されるフレーム画像以降の映像を表示装置１７２に表示させる。

第５の実施形態の映像構造化装置５００での映像入力部５１０、文字列抽出部５１２及び文字列認識部５１４が実施する処理と、映像情報蓄積部５１６が情報を蓄積する処理と、構造情報呈示部５１８が構造情報を呈示するまでの一部の処理は、図１１に示した映像構造化装置４００における、映像入力部４１０、文字列抽出部４１２、文字列認識部５１４、映像情報蓄積部４１６及び構造情報呈示部４１８が実施する処理と同一であるので、ここでは詳細な説明を省略する。

映像情報蓄積部５１６は、文字列抽出部５１２及び文字列認識部５１４が出力した、映像識別情報と、文字列存在フレーム画像と、そのフレーム画像を識別するフレーム識別情報と、その文字列位置情報と、認識文字列と、認識信頼度とを関連付けた第２のインデックス情報を、第２のインデックスファイルとして蓄積する。また映像情報蓄積部５１６は、映像入力部５１０が出力した映像識別情報、映像データ及びフレーム識別情報を映像データとして蓄積する。

構造情報呈示部５１８は、映像情報蓄積部５１６が蓄積した第２のデックスファイルを読み出してインデックスリスト表示情報を生成し、インデックスリスト表示を表示装置１７２に出力する。表示装置１７２は、図１３に示すようなインデックスリスト表示を行って利用者に通知する。

利用者は、マウス又はキーボード等の入力装置１７０を操作して、所望の文字列表示１２６や認識文字列１３８、撮影時刻等の再生ポイント情報等を選択して映像の再生開始ポイントを指定することができる。利用者が映像の再生開始ポイントを指定すると、構造情報呈示部５１８は、再生開始ポイントに対応する映像識別情報とフレーム識別情報とを選び出して、映像情報蓄積部５１６に出力する。映像情報蓄積部５１６は、映像識別情報とフレーム識別情報とを構造情報呈示部５１８から取得すると、取得した映像情報に対応する映像データを読み出して、フレーム識別情報とともに映像再生部５２０に出力する。映像再生部５２０が、映像ファイルをデコードして時系列のフレーム画像を取得することが可能な構成である場合には、映像情報蓄積部５１６は、映像ファイルとフレーム識別情報とを映像再生部５２０に出力する。この場合には映像再生部５２０は、取得した映像ファイルをデコードして、フレーム識別情報以降のフレーム画像を表示し、利用者に再生ポイント以降の映像を呈示する。映像再生部５２０が、時系列のフレーム画像を取得して表示する構成である場合には、映像情報蓄積部５１６は、フレーム識別情報以降の時系列のフレーム画像を映像再生部５２０に出力する。この場合、映像再生部５２０は、フレーム識別情報以降のフレーム画像を表示して、利用者に再生ポイント以降の映像を呈示する。

本実施形態によれば、インデックスとなる画像による文字列表示１２６が文字列存在フレーム画像の一部を用いているために、文字認識を行った結果の文字列のみを表示する場合と異なり、文字列表示１２６が映像の内容と一致しないという現象が起きる可能性が小さくなる。利用者は、インデックスリスト表示を閲覧することで映像の内容を一覧することができ、映像の頭出しを容易に行うことができる。また、文字列認識の結果の信頼度に応じて、画像による文字列表示と認識文字列の表示との間で表示方法を制御できるようにしたので、利用者は、認識文字列を信頼してインデックスを選択することができ、利用者が映像を検索する際の作業効率を改善することができる。

図１５は、本発明の第６の実施形態の映像構造化装置を示している。この映像構造化装置６００では、文字列抽出部６１２は、映像入力部６１０からフレーム画像が入力したときに、この入力したフレーム画像中に文字列が存在するかどうかを判断する。そして文字列抽出部６１２は、文字列が存在すると判断した場合には、その旨と、文字列存在フレーム画像と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを構造情報呈示部６１８に出力する。すると構造情報呈示部６１８は、文字列位置情報に対応するフレーム画像若しくは文字列画像を即時に表示するか、又は、フレーム画像中に文字列が存在する旨の情報を表示して利用者に通知する。

映像入力部６１０は、デジタル化された映像データ、又はＲＧＢ信号やコンポジット映像信号等の映像信号を入力して、表示用の映像データを構造情報呈示部６１８に出力することができる構成となっている。また映像入力部６１０は、デジタル化された映像データ、又はＲＧＢ信号やコンポジット映像信号等の映像信号を入力して、入力した映像信号からフレーム画像を生成して文字列抽出部６１２に出力する。

文字列抽出部６１２は、映像入力部６１０からフレーム画像が入力されて、そのフレーム画像中に文字列が存在するか否かを判断する。そして次に、文字列抽出部６１２は、そのフレーム画像中に文字列が存在すると判断した場合には、その旨と、文字列存在フレーム画像と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを構造情報呈示部６１８に出力する。

構造情報呈示部６１８は、通常は、映像入力部６１０から入力した映像データに基づいて表示映像を生成して、その映像を表示装置１７２に出力して利用者に呈示している。構造情報呈示部６１８は、文字列抽出部６１２から、フレーム画像中に文字列が存在する旨と、文字列存在フレーム画像と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを取得すると、フレーム画像中に文字列が存在する旨の情報を表示して利用者に通知する。フレーム画像中に文字列が存在する旨の通知は、音声により文字列出現の情報を報知することによって行ってもよいし、図６に示したようなインデックスリスト表示内に新たな文字列表示を行って、インデックスリスト表示を更新するようにしてもよい。また、構造情報呈示部６１８は、フレーム画像中に文字列が存在することを判断したタイミングで、表示装置１７２の起動スイッチをオンにして利用者に注意を促してもよい。構造情報呈示部６１８は、フレーム画像中に文字列が存在することを判断した場合に、予め定めたメールアドレスに、文字列の存在を通知する電子メールを送信してもよい。

図１６は、本発明の第７の実施形態の映像構造化装置を示している。図１６に示す製造構造化装置７００では、文字列抽出部７１２は、映像入力部７１０からフレーム画像と、その個々のフレーム画像を識別するフレーム識別情報とを受け取って、この入力したフレーム画像中に文字列が存在すると判断した場合には、その文字列存在フレーム画像と、フレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを第３のインデックス情報として構造情報呈示部７１８に出力するとともに、文字列存在フレーム画像と、フレーム識別情報と、文字列位置情報とを文字列認識部７１４に出力する。文字列認識部７１４は、文字列存在フレーム画像内の文字列位置情報で特定される範囲内に存在する文字列の画像データから、その文字列を認識文字列（文字コード）として抽出して、その認識文字列と、フレーム識別情報と、文字列位置情報と、認識信頼度とを構造情報呈示部７１８に出力する。

第７の実施形態の映像構造化装置７００は、映像入力部７１０は、デジタル化された映像データ、又はＲＧＢ信号やコンポジット映像信号等の映像信号を入力として、デジタル化した映像データと、映像データの各フレーム画像を再生する際にフレーム画像を識別するフレーム識別情報とを構造情報呈示部７１８に出力することができる。映像入力部７１０は、このようなデジタル化された映像データ又は映像信号を入力して、入力した映像信号からフレーム画像又は時系列のフレーム画像を生成し、そのフレーム画像と、フレーム識別情報とを文字列抽出部７１２に出力する。

文字列抽出部７１２は、まず、映像入力部７１０から第１のフレーム画像を受け取って、そのフレーム画像中に文字列が存在するか否かを判断する。そして次に、そのフレーム画像中に文字列が存在すると判断した場合には、その映像識別情報と、文字列存在フレーム画像と、文字列が存在する特定のフレーム画像を識別するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを第３のインデックス情報として構造情報呈示部７１８に出力する。同時に、文字列抽出部７１２は、文字列存在フレーム画像とフレーム識別情報と文字列位置情報とを文字列認識部７１４に出力する。ここで文字列存在フレーム画像は、必要に応じて縮小したサムネイル画像などであってもよい。文字列が存在する特定のフレーム画像は、複数のフレーム画像に同一の文字列が存在する場合には、そのような複数のフレーム画像における最初のフレーム画像であることが好ましい。なお、フレーム画像中に文字列が存在しない場合には、文字列抽出部７１２は、文字列存在フレーム画像、フレーム識別情報及び文字列位置情報を出力しない。

そして、文字列抽出部２１２は、２番目のフレーム画像について、そのフレーム画像中に文字列が存在するか否かを判断し、そのフレーム画像中に文字列が存在すると判断した場合には、その文字列が存在する文字列存在フレーム画像と、その文字列存在フレーム画像を特定するフレーム識別情報と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報とを出力する。文字列抽出部２１２は、以降のフレーム画像について、順次、この処理を繰り返す。

文字列認識部７１４では、文字列認識用の辞書データとを用いて、文字列存在フレーム画像内の文字列位置情報で特定される範囲内に存在する文字列の画像データから、その画像データに含まれる文字列を認識文字列（文字コード）として抽出する。

この第７の実施形態においても、上述した各実施形態の場合と同様に、文字列認識処理として、例えば特開平３−１４１４８４号公報に記載されている文字切り出し方法及びその装置、あるいは特開２００１−３４７０９号公報に記載されている高速認識検索システム及びそれに用いる認識検索高速化方法などを利用することが可能である。この文字列認識処理においても、文字列認識の結果の認識信頼度を算出するようにしてもよい。文字列の認識信頼度としては、例えば、文字列画像中の個々の文字に対応する文字認識における尤度値や、距離値の平均値の逆数などを用いることができる。文字列の認識を終えると、文字列認識部７１４は、得られた認識文字列と、文字列位置情報と、その文字列が存在するフレーム画像のフレーム識別情報と、文字列認識の結果得られる文字列の認識信頼度とを構造情報呈示部７１８に出力する。

構造情報呈示部７１８は、通常は、映像入力部７１０から入力した映像データに基づいて表示映像を生成して、その映像を表示装置１７２に出力して利用者に呈示している。構造情報呈示部７１８は、文字列抽出部７１２及び文字列認識部７１４から、フレーム画像中に文字列が存在する旨と、文字列存在フレーム画像と、そのフレーム画像の中に存在する文字列の座標値等の文字列位置情報と、フレーム識別情報などとを含む第３のインデックス情報等を取得すると、フレーム画像中に文字列が存在する旨の情報を表示して利用者に通知するとともに、図１３に示したインデックスリスト表示内に新たな文字列表示１２６又は認識文字列１３８の表示を行って、インデックスリスト表示を更新する。

認識文字列１３８は、必ず表示するようにしてもよいが、認識信頼度が所定のしきい値Θ１以下の場合、例えば認識信頼度がしきい値Θ１＝５０％以下の場合には表示されないようにしてもよい。また、認識信頼度が所定のしきい値Θ２以上の場合、例えば、認識信頼度がしきい値Θ２＝９０％以上の場合には、認識文字列１３８のみを表示して、画像による文字列表示１２６を表示しないようにしてもよい。

なお本実施形態では、フレーム画像中に文字列が存在する旨の通知は、文字列出現の情報を音声で報知することによって行ってもよい。また構造情報提示部７１８は、フレーム画像中に文字列が存在することを判断したタイミングで、表示装置１７２の起動スイッチをオンにして利用者に注意を促すようにしてもよい。

利用者に通知する情報として、予め利用者が設定した特定の文字列を利用者に対して通知することも可能である。その場合には、利用者が通知において使用してもらいたい文字列を記録部等に予め登録しておく。構造情報呈示部７１８は、フレーム画像中に文字列が存在する旨の情報を文字列抽出部７１２から取得した場合に、その予め記録部等に登録しておいた文字列をその記録部等から読み出して、表示装置１７２に表示する。さらに、認識信頼度に応じて、利用者に対するフレーム画像中に文字列が存在することの通知の形態や、通知内容を変更するようにしてもよい。

利用者への情報の通知の形態として、予め設定した特定の文字列が映像中に存在する場合に、利用者に対して文字列の存在を通知するようにしてもよい。この場合には、構造情報呈示部７１８は、文字列認識部７１２から認識文字列を取得すると、取得した認識文字列が予め設定されているキーワード群に含まれる文字列であるか否かを判断する。そして構造情報呈示部７１８は、取得した認識文字列が予め設定されているキーワードに含まれる文字列であると判断した場合には、映像中に文字列が存在する旨の情報を表示装置１７２に表示し、あるいは音声出力装置から音声を出力することにより、予め設定した文字列が出現した旨の通知を利用者に対して行う。

さらに構造情報呈示部７１８は、フレーム画像中に文字列が存在すると判断した場合には、予め定めたメールアドレスに、文字列の存在を通知する電子メールを送信するようにしてもよい。文字列認識部７１４が認識して出力した認識文字列をこの電子メールに、埋め込むことにより、利用者に認識文字列そのものを通知するようにしてもよい。この場合、認識文字列の埋め込みは、文字列を認識した際の認識信頼度に応じて実行するようにしてもよい。例えば、認識信頼度が５０％以上の場合にのみ認識文字列を電子メールに埋め込めばよい。

図１７は、本発明の第８の実施形態の映像構造化装置を示している。この映像構造化装置８００は、図１１に示した映像構造化装置４００の機能と、図１６に示した映像構造化装置７００の機能とをともに備えるものである。ここで構造情報呈示部８１８は、利用者に対し、インデックスリスト表示を行うとともに、文字列存在の通知を行うことが可能な構成となっている。

映像構造化装置８００の映像入力部８１０は、図１１に示した映像構造化装置４００における映像入力部４１０の機能と図１６に示した映像構造化装置７００における映像入力部７１０の機能とを備えたものである。そして映像構造化装置８００の文字列抽出部８１２は、図１１に示した文字列抽出部４１２の機能と図１６に示した文字列抽出部７１２の機能とを備え、文字列認識部８１４は、図１１に示した文字列認識部４１４の機能と文字列認識部７１４の機能とを備えている。映像構造化装置８００の映像情報蓄積部８１６は、図１６に示した映像情報蓄積部７１６の機能を備え、構造情報呈示部８１８は、図１１に示した構造情報呈示部４１８の機能と図１６に示した構造情報呈示部７１８の機能とを備える。

構造情報呈示部８１８は、表示装置１７２に対し、図１３に示すようなインデックスリスト表示を行って、利用者に対する通知を行う。文字列抽出部８１２からフレーム画像中に文字列が存在する旨の情報を取得すると、構造情報呈示部８１８は、フレーム画像中に文字列が存在する旨の情報を表示して利用者に通知して、インデックスリスト表示内に新たな文字列表示１２６又は認識文字列１３８の表示を行って、インデックスリスト表示を更新する。

認識文字列１３８は、必ず表示するようにしてもよいが、認識信頼度が所定のしきい値Θ１以下の場合、例えば認識信頼度がしきい値Θ１＝５０％以下の場合には表示されないようにしてもよい。また、認識信頼度が所定のしきい値Θ２以上の場合、例えば、認識信頼度がしきい値Θ２＝９０％以上の場合には、認識文字列１３８のみを表示して、画像による文字列表示１２６を表示しないようにしてもよい。

なお本実施形態では、フレーム画像中に文字列が存在する旨の通知は、文字列出現の情報を音声で報知することによって行ってもよい。また構造情報提示部７１８は、フレーム画像中に文字列が存在することを判断したタイミングで、表示装置１７２の起動スイッチをオンにして利用者に注意を促すようにしてもよい。

利用者に通知する情報として、予め設定された特定の文字列を利用者に対して通知することも可能である。その場合には、通知において使用したい文字列を記録部等に予め登録しておく。構造情報呈示部８１８は、フレーム画像中に文字列が存在する旨の情報を文字列抽出部８１２から取得した場合に、その予め登録しておいた文字列を記録部等から読み出して、表示装置１７２に表示する。さらに、認識信頼度に応じて、利用者に対するフレーム画像中に文字列が存在することの通知の形態や、通知内容を変更するようにしてもよい。

さらに構造情報呈示部８１８は、フレーム画像中に文字列が存在すると判断した場合には、予め定めたメールアドレスに、文字列の存在を通知する電子メールを送信するようにしてもよい。文字列認識部８１４が認識して出力した認識文字列をこの電子メールに埋め込むようにしてもよい。この場合、認識文字列の埋め込みは、文字列を認識した際の認識信頼度に応じて実行するようにしてもよい。例えば、認識信頼度が５０％以上の場合にのみ認識文字列を電子メールに埋め込めばよい。

図１８は、本発明の第９の実施形態の映像構造化装置を示している。この映像構造化装置９００は、図１４に示した映像構造化装置５００の機能と、図１６に示した映像構造化装置７００の機能とをともに備えるものである。ここで映像再生部９２０は、利用者が選択した再生ポイント以降の映像を表示装置１７２に表示することができるように構成されている。

映像構造化装置９００の映像入力部９１０は、図１４に示した映像構造化装置５００の映像入力部５１０の機能と図１６に示した映像構造化装置７００の映像入力部７１０の機能とを備えたものである。そして映像構造化装置９００の文字列抽出部９１２は、図１４に示した文字列抽出部５１２の機能と図１６に示した文字列抽出部７１２の機能とを備え、文字列認識部９１４は、図１４に示した文字列認識部５１４の機能と図１６に示した文字列認識部７１４の機能とを備えている。映像構造化装置９００の映像情報蓄積部９１６は、図１６に示した映像情報蓄積部７１６の機能を備え、構造情報呈示部９１８は、図１４に示した構造情報呈示部５１８の機能と図１６に示した構造情報呈示部７１８の機能とを備える。

構造情報呈示部９１８は、表示装置１７２に対し、図１３に示すようなインデックスリスト表示を行って、利用者に対する通知を行う。文字列抽出部９１２からフレーム画像中に文字列が存在する旨の情報を取得すると、構造情報呈示部９１８は、フレーム画像中に文字列が存在する旨の情報を表示することにより利用者に通知し、さらに、インデックスリスト表示内に新たな文字列表示１２６又は認識文字列１３８の表示を行って、インデックスリスト表示を更新する。

フレーム画像中に文字列が存在する旨の通知は、文字列出現の情報を音声で報知することによって行ってもよい。また構造情報提示部７１８は、フレーム画像中に文字列が存在することを判断したタイミングで、表示装置１７２の起動スイッチをオンにして利用者に注意を促すようにしてもよい。

利用者に通知する情報として、予め設定された特定の文字列を利用者に対して通知することも可能である。その場合には、通知において使用したい文字列を記録部等に予め登録しておく。構造情報呈示部９１８は、フレーム画像中に文字列が存在する旨の情報を文字列抽出部９１２から取得した場合に、その予め登録しておいた文字列を記録部等から読み出して、表示装置１７２に表示する。さらに、認識信頼度に応じて、利用者に対するフレーム画像中に文字列が存在することの通知の形態や、通知内容を変更するようにしてもよい。

さらに構造情報呈示部８１８は、フレーム画像中に文字列が存在すると判断した場合には、予め定めたメールアドレスに、文字列の存在を通知する電子メールを送信するようにしてもよい。文字列認識部８１４が認識して出力した認識文字列をこの電子メールに埋め込むようにしてもよい。この場合、認識文字列の埋め込みは、文字列を認識した際の認識信頼度に応じて実行するようにしてもよい。

この実施形態では、利用者は、表示装置１７２に表示されているインデックスリスト表示を閲覧し、マウス又はキーボード等の入力装置１７０を操作して、所望の文字列表示１２６や認識文字列１３８、撮影時刻等の再生ポイント情報等を選択して映像の再生開始ポイントを指定することができる。利用者が入力装置１７０を操作して映像の再生開始ポイントを指定すると、構造情報呈示部９１８は、再生開始ポイントに対応する映像識別情報とフレーム識別情報とを選び出して、映像情報蓄積部９１６に出力する。映像情報蓄積部９１６は、構造情報呈示部９１８から映像識別情報とフレーム識別情報とを取得すると、取得した映像情報に対応する映像データを読み出して、フレーム識別情報とともに映像再生部９２０に出力する。映像再生部９２０が、映像ファイルをデコードして時系列のフレーム画像を取得することが可能な構成である場合には、映像情報蓄積部９１６は、映像ファイルとフレーム識別情報とを映像再生部９２０に出力する。この場合には映像再生部９２０は、取得した映像ファイルをデコードして、フレーム識別情報以降のフレーム画像を表示して、利用者に再生ポイント以降の映像を呈示する。また、映像再生部９２０が、時系列のフレーム画像を取得して表示する構成である場合には、映像情報蓄積部９１６は、フレーム識別情報以降の時系列のフレーム画像を映像再生部９２０に出力する。この場合、映像再生部９２０は、フレーム識別情報以降のフレーム画像を表示して、利用者に再生ポイント以降の映像を呈示する。

本実施形態においても、利用者への情報の通知の形態として、予め設定した特定の文字列が映像中に存在する場合に、利用者に対して文字列の存在を通知するようにしてもよい。この場合には、構造情報呈示部９１８は、文字列認識部９１２から認識文字列を取得すると、取得した認識文字列が予め設定されているキーワード群に含まれる文字列であるか否かを判断する。そして構造情報呈示部９１８は、取得した認識文字列が予め設定されているキーワードに含まれる文字列であると判断した場合には、映像中に文字列が存在する旨の情報を表示装置１７２に表示し、あるいは音声出力装置から音声を出力することにより、予め設定した文字列が出現した旨の通知を利用者に対して行う。

この実施形態によれば、インデックスとなる画像による文字列表示１２６が文字列存在フレーム画像の一部を用いているために、文字認識を行った結果の文字列のみを表示する場合と異なり、文字列表示１２６が映像の内容と一致しないという現象が起きる可能性が小さくなる。利用者は、インデックスリスト表示を閲覧することで映像の内容を一覧することができ、映像の頭出しを容易に行うことができる。また、文字列認識の結果の信頼度に応じて表示方法を制御できるようにしたので、利用者は、認識文字列を信頼してインデックスの選択ができ、利用者が映像を検索する際の作業効率を改善することができる。

本発明では、映像が逐次入力されてくるような場合において、その映像上に文字列もしくは所望の文字列が出現した場合、そのような文字列が存在する旨を利用者に通知する。そのため、本発明を用いることにより、映像上に特定の文字列が出現するのを監視する必要がある場合に、対象とする文字列が存在する旨を即座に利用者に通知することが可能となる。

本発明におけるインデックスリスト表示の例は図６及び図１３に示しているが、インデックスリスト表示はこれらのものに限定されるものではない。

図１９は、インデックスリスト表示の他の例を示している。図６及び図１３に示したインデックスリスト表示では、文字列位置情報に基づいて、文字列存在フレーム画像から文字列が存在する範囲を切り出し、切り出された画像による文字列表示をフレーム識別情報と関連付けて表示装置に表示させているが、図１９に示したものは、文字列存在フレーム画像１２８を縮小してインデックスリスト表示に表示している。

図２０は、インデックスリスト表示のさらに別の例を示している。図１３に示すインデックスリスト表示では、画像による文字列表示１２６と認識文字列１３８とを同時に表示しているが、図２０に示すものでは、認識信頼度に応じて、画像による文字列表示１２６と認識文字列１３９による表示とを切り替えている。

ここで、画像による文字列表示と認識文字列による表示との切り替えについて説明する。ここでは、認識信頼度に応じて表示方法を切り替える例を説明する。一例として、認識文字列を表示するか否かを判断するためのしきい値Θ１を５０％とし、認識文字列について強調表示するか否かを判断するためのしきい値Θ３を８０％とし、画像による文字列表示をするか否かを判断するしきい値Θ２を９０％に設定した場合について説明する。

各しきい値を上記のように設定したときに、文字列「映像中に含まれる文字列」の認識信頼度が４０％と算出されていた場合には、認識信頼度の値がΘ１（＝５０％）以下であるので、図２０に示すように、「映像中に含まれる文字列」の表示は、画像による文字列表示１２６のみが表示され、認識文字列は表示されない。また、文字列「文字列」の認識信頼度が９５％と算出されていた場合には、認識信頼度の値がΘ２（９０％）以上、かつ、Θ３（８０％）以上であるので、図２０に示すように、「文字列」の表示は、認識文字列１３９のみが強調表示され、画像による文字列表示は表示されない。なお、強調表示では、太字で表示するようにしてもよいし、注目度の高い色彩や模様を用いて表示するようにしてもよい。

このように、文字列認識の結果の認識信頼度に応じて、画像による文字列表示と、認識文字列の表示との間で表示方法を制御できるようにしたので、利用者は認識文字列を信頼してインデックスの選択ができ、利用者が映像を検索する際の作業効率を改善することができる。

以上説明した本発明の第１及び第３〜第９の実施形態の映像構造化装置は、第２の実施形態の映像構造化装置と同様に、上述した各処理を実行するためのプログラムをコンピュータシステムにインストールことによっても実現できるものである。したがって、第１〜第９の実施形態の映像構造化装置を実現するためのコンピュータプログラムも、本発明の範疇に含まれるものである。

本発明によれば、文字列の存在に基づいた映像検索用のインデックスリスト表示を行うことによって、利用者による映像の検索と映像の頭出しを容易にすることが可能となる。本発明は、ビデオレコーダ、ビデオカメラ、デジタルスチルカメラ等のシステムに適用することができる。さらに本発明は、いずれもカメラを搭載した携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ，Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け携帯型情報通信機器）等の、撮像受像機能を有する携帯端末装置やその他のシステムに適用することができる。

Claims (12)

1. 映像信号を受け取って、映像のフレーム画像と、該フレーム画像を識別するフレーム識別情報とを出力する映像入力手段と、
   前記映像入力手段から前記フレーム画像及び前記フレーム識別情報を受け取って当該フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、当該フレーム画像を文字列存在フレーム画像として該文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、該文字列位置情報と、前記文字列存在フレーム画像を識別するフレーム識別情報と、前記文字列存在フレーム画像とを出力する文字列抽出手段と、
   前記文字列抽出手段から前記フレーム識別情報と前記文字列存在フレーム画像と前記文字列位置情報とを取得し、取得した情報をそれぞれ関連付けてインデックスファイルに蓄積する映像情報蓄積手段と、
   前記映像情報蓄積手段から前記インデックスファイルを読み出し、前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出し、前記切り出した画像による文字列表示を、前記文字列存在フレーム画像を識別するフレーム識別情報と関連付けて表示手段に表示させる構造情報呈示手段と、
   を有する、映像構造化装置。
2. 映像信号を受け取って、映像のフレーム画像と、該フレーム画像を識別するフレーム識別情報と、前記映像信号の映像データとを出力する映像入力手段と、
   前記映像入力手段から前記フレーム画像及び前記フレーム識別情報を受け取って当該フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、当該フレーム画像を文字列存在フレーム画像として該文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、該文字列位置情報と、前記文字列存在フレーム画像を識別するフレーム識別情報と、前記文字列存在フレーム画像とを出力する文字列抽出手段と、
   構造情報呈示手段と、
   前記文字列抽出手段から前記フレーム識別情報と前記文字列存在フレーム画像と前記文字列位置情報とを取得して関連付けてインデックスファイルに蓄積し、前記映像入力手段から前記映像データ及びフレーム識別情報とを取得して関連付けて蓄積し、前記構造情報呈示手段から前記フレーム識別情報を取得したときには該構造情報呈示手段から取得したフレーム識別情報と関連付けられて記録されている映像データを読み出して、前記構造情報呈示手段から取得したフレーム識別情報に対応するフレーム画像以降の映像データを出力する映像情報蓄積手段と、
   前記映像情報蓄積手段が出力する映像データを取得して表示手段に出力して表示させる映像再生手段と、
   を有し、
   前記構造情報呈示手段は、前記映像情報蓄積手段から前記インデックスファイルを読み出して、前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出し、前記切り出した画像による文字列表示を前記表示手段に出力して表示させ、利用者から当該文字列表示を選択する旨の情報が入力されると、該選択した文字列表示と関連付けられているフレーム識別情報を前記映像情報蓄積手段に出力する、映像構造化装置。
3. 映像信号を受け取って、映像のフレーム画像と、該フレーム画像を識別するフレーム識別情報とを出力する映像入力手段と、
   前記映像入力手段から前記フレーム画像及び前記フレーム識別情報を受け取って当該フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、当該フレーム画像を文字列存在フレーム画像として該文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、該文字列位置情報と、前記文字列存在フレーム画像を識別するフレーム識別情報と、前記文字列存在フレーム画像とを出力する文字列抽出手段と、
   前記文字列抽出手段から前記フレーム識別情報と前記文字列存在フレーム画像と前記文字列位置情報とを取得し、前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出し、前記切り出した画像に対して文字列認識処理を行って文字コードによる認識文字列を取得して、当該認識文字列と前記フレーム識別情報と前記文字列位置情報とを出力する文字列認識手段と、
   前記文字列抽出手段から前記フレーム識別情報と前記文字列存在フレーム画像と前記文字列位置情報とを取得し、前記文字列認識手段から前記認識文字列と前記フレーム識別情報と前記文字列位置情報とを取得し、これらの取得した画像及び情報を関連付けてインデックスファイルに蓄積する映像情報蓄積手段と、
   前記映像情報蓄積手段から前記インデックスファイルを読み出し、前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出し、前記切り出した画像による文字列表示と前記認識文字列とを、前記文字列存在フレーム画像を識別するフレーム識別情報と関連付けて表示手段に表示させることが可能な構造情報呈示手段と、
   を備える、映像構造化装置。
4. 映像信号を受け取って、映像のフレーム画像と、該フレーム画像を識別するフレーム識別情報と、前記映像信号の映像データとを出力する映像入力手段と、
   前記映像入力手段から前記フレーム画像及び前記フレーム識別情報を受け取って当該フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、当該フレーム画像を文字列存在フレーム画像として該文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、該文字列位置情報と、前記文字列存在フレーム画像を識別するフレーム識別情報と、前記文字列存在フレーム画像とを出力する文字列抽出手段と、
   前記文字列抽出手段から前記フレーム識別情報と前記文字列存在フレーム画像と前記文字列位置情報とを取得し、前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出し、前記切り出した画像に対して文字列認識処理を行って文字コードによる認識文字列を取得して、当該認識文字列と前記フレーム識別情報と前記文字列位置情報とを出力する文字列認識手段と、
   構造情報呈示手段と、
   前記文字列抽出手段から前記フレーム識別情報と前記文字列存在フレーム画像と前記文字列位置情報とを取得し、前記文字列認識手段から前記認識文字列と前記フレーム識別情報と前記文字列位置情報とを取得し、これらの取得した画像及び情報を関連付けてインデックスファイルに蓄積し、前記映像入力手段から取得した前記映像データと前記フレーム識別情報とを関連付けて蓄積し、前記構造情報呈示手段から前記フレーム識別情報を取得したときには該構造情報呈示手段から取得したフレーム識別情報と関連付けて記録されている映像データを読み出して、前記構造情報呈示手段から取得したフレーム識別情報に対応するフレーム画像以降の映像データを出力する映像情報蓄積手段と、
   前記映像情報蓄積手段が出力する映像データを取得し、該取得した映像データを表示手段に出力して表示させる映像再生手段と、
   を有し、
   前記構造情報呈示手段は、前記映像情報蓄積手段から前記インデックスファイルを読み出して、前記文字列位置情報に基づいて前記文字列存在フレーム画像から前記文字列が存在する範囲を切り出し、前記切り出した画像による文字列表示及び前記認識文字列を前記表示手段に出力して表示させることが可能であり、利用者から前記表示された文字列表示又は認識文字列を選択する旨の情報が入力されると、その選択された文字列表示又は認識文字列と関連付けられている前記フレーム識別情報を映像情報蓄積手段に出力する、映像構造化装置。
5. 前記文字列認識手段は、文字列の認識信頼度を算出して前記映像情報蓄積手段に出力し、
   前記映像情報蓄積手段は、前記文字列認識手段から取得した前記認識信頼度を、前記文字列位置情報と関連付けて前記インデックスファイルに蓄積し、
   前記構造情報呈示手段は、前記映像情報蓄積手段から前記インデックスファイルを読み出して取得した認識信頼度と所定のしきい値と比較を行って文字列認識の信頼度が所定のしきい値より大きいと判断した場合には、画像による文字列表示を表示させずに前記認識文字列を前記表示手段に出力して表示させる、
   請求項３又は４に記載の映像構造化装置。
6. 前記文字列認識手段は、文字列の認識信頼度を算出して前記映像情報蓄積手段に出力し、
   前記映像情報蓄積手段は、前記文字列認識手段から取得した前記認識信頼度を、前記文字列位置情報と関連付けて前記インデックスファイルに蓄積し、
   前記構造情報呈示手段は、前記映像情報蓄積手段から前記インデックスファイルを読み出して取得した認識信頼度と所定のしきい値と比較を行って文字列認識の信頼度が所定のしきい値より小さいと判断した場合には、前記認識文字列の表示をさせずに画像による文字列表示を前記表示手段に出力して表示させる、
   請求項３又は４に記載の映像構造化装置。
7. 映像信号を受け取って、映像のフレーム画像を出力する映像入力手段と、
   前記映像入力手段から前記フレーム画像を受け取って当該フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、文字列が存在する旨の情報を出力する文字列抽出手段と、
   前記文字列抽出手段から前記文字列が存在する旨の情報を取得した場合には、前記映像中に文字列が存在する旨の情報を表示手段に表示させ及び／又は音声出力手段から音声を出力させる構造情報呈示手段と、
   を有する映像構造化装置。
8. 映像信号を受け取って、映像のフレーム画像を出力する映像入力手段と、
   前記映像入力手段からフレーム画像を受け取って当該フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、その文字列が存在した文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成し、該文字列位置情報を出力する文字列抽出手段と、
   前記文字列抽出手段から前記文字列位置情報を取得した場合には、前記映像中に文字列が存在する旨の情報を表示手段に表示させ及び／又は音声出力手段から音声を出力させる構造情報呈示手段と、
   を有する映像構造化装置。
9. 映像信号を受け取って、映像のフレーム画像と、該フレーム画像を識別するフレーム識別情報とを出力する映像入力手段と、
   前記映像入力手段から前記フレーム画像を受け取って当該フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、前記文字列が存在する文字列存在フレーム画像と、前記フレーム画像の中に存在する文字列についての文字列位置情報とを出力する文字列抽出手段と、
   前記文字列抽出手段から前記文字列存在フレーム画像と前記文字列位置情報とを取得し、前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出し、前記切り出した画像に対して文字列認識処理を行って文字コードによる認識文字列を取得して、当該認識文字列と前記文字列位置情報とを出力する文字列認識手段と、
   前記文字列認識手段から前記認識文字列を取得し、前記取得した認識文字列が予め設定されているキーワード群に含まれる文字列であるか否かを判断し、前記取得した認識文字列が予め設定されているキーワードに含まれる文字列であると判断した場合には、前記映像中に文字列が存在する旨の情報を表示手段に表示させ及び／又は音声出力手段から音声を出力させる構造情報呈示手段と、
   を有する映像構造化装置。
10. 前記構造情報提示手段は、さらに、新たな文字列位置情報が存在すると判断した場合には、前記映像中に文字列が存在する旨の情報を前記表示手段に表示させ及び／又は音声出力手段から音声を出力させる、請求項３又は４に記載の映像構造化装置。
11. 動画の映像信号を入力する段階と、
    前記映像信号から、映像のフレーム画像と、そのフレーム画像を識別するフレーム識別情報とを生成する段階と、
    前記フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、当該フレーム画像を文字列存在フレーム画像として該文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成する段階と、
    前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出して文字列画像を生成する段階と、
    前記文字列画像を表示装置に出力する段階と、
    を有する映像構造化方法。
12. コンピュータに、
    入力映像信号から、映像のフレーム画像と、そのフレーム画像を識別するフレーム識別情報とを生成する処理と、
    前記フレーム画像中に文字列が存在するか否かを判断し、当該フレーム画像中に文字列が存在すると判断した場合には、当該フレーム画像を文字列存在フレーム画像として該文字列存在フレーム画像の中に存在する文字列についての文字列位置情報を生成する処理と、
    前記文字列位置情報に基づいて前記文字列存在フレーム画像から文字列が存在する範囲を切り出して文字列画像を生成する処理と、
    前記文字列画像を表示装置に出力する処理と、
    を実行させるプログラム。
    

Images