JP4354441B2 - 映像データ管理装置及び方法及びプログラム - Google Patents

Description

本発明は、映像データ管理装置及び方法及びプログラムに係り、特に、パーソナルコンピュータ、ハードディスクレコーダ、または、セットトップボックス等の、映像データを記録することが可能なあらゆる装置において、映像データに関連する索引情報を自動生成し、また、映像データの管理、検索、及び閲覧を行うための映像データ管理装置及び方法及びプログラムに関する。

個人が所有する映像データの中から、所望の映像データを短時間に探したいという要求がある。例えば、録画、コピー、またはダウンロードの手段によって多くの映像データがディスクに保存されている状態において、映像を順次再生して内容を確認し、探す方法でなく、映像のシーンを静止画の一覧によって把握することにより探す方法や、テキスト検索によって求める映像ファイルを探したいという要求である。

この要求に対し、従来技術により以下の機能が提供されている。

（１）ファイル管理アプリケーション（Internet Explorer（登録商標）等）の機能によって映像データの一覧を表示する機能；
（２）ファイル名を対象とし映像データを検索する機能；

しかしながら、上記従来の技術が提供する機能では、以下のような問題がある。

・現在一般に提供されているファイル管理アプリケーションの機能では、映像データの一覧表示の際、映像の先頭のシーンだけが表示される。このため、映像データの途中に含まれる内容の把握が困難となり、結果として、所望の映像データへの到達が困難になる。

・現在一般に提供されている映像データの検索機能では、ファイル名のみを対象としている。映像データの名称は、必ずしも映像の内容を表したものでなく、ユーザが映像データのファイル名でなく内容の一部を記憶している場合には、適切な検索キーを入力することができない場合があり、結果として所望の映像データへの到達が困難となる。

・現在一般に提供されている映像データの検索機能では、検索結果画面は映像データの一覧を示すのみである。このため、ユーザが一旦検索を行った後、別の検索キーを入力してもう一度検索を行いたいと考えた場合に、ユーザは新たな検索キーを自力で考案する必要が生じる。このため、結果として所望映像データへの到達が困難となる場合がある。

上記のように、従来の技術では、所望の映像データに到達する場合に困難が伴う。

本発明は、上記の点に鑑みなされたもので、所望する映像データへの到達が従来よりも容易となる映像データ管理装置及び方法及びプログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理装置であって、
記憶手段中の映像データ及び記憶媒体２０へ入出力される映像データを監視し、インデクシングの対象となる映像データを監視し、該映像データのファイル名とプロパティデータに含まれる文字列を初期メタデータとして、映像毎のフィールドを持つメタデータＤＢ５０に格納する映像データ監視手段３１と、
映像データ監視手段３１で指定された映像データからカット点、カメラワーク区間、音声区間、音楽区間、テロップ表示区間、及び音声強調区間を抽出するインデクシングを行い、該インデクシングによって得られる特徴部分と該映像データの時刻情報と、該特徴部分と該映像データの時刻情報における映像中の静止画とを、インデクシングメタデータとして、メタデータＤＢ５０に格納するインデクシング手段３２と、
一定時間毎に、映像データ監視手段３１から取得した初期メタデータと、インデクシング手段から取得したインデクシングメタデータとから、テキスト文字列のみを抽出し、該テキスト文字列を構文解析により複数の単語に分割し、分割の結果得られた単語のリストを検索キーワード群とし、該検索キーワード群の単語のそれぞれを、検索キーワードとして、インターネット検索を行い、該インターネット検索の結果、取得されるＷｅｂページのデータ内に含まれるデータのうち、ページタイトルとキーワードタグとの中に含まれる単語を抽出し、重複する単語を除外し、該重複する単語が除外されたページタイトルとキーワードタグとの中に含まれる単語を追加メタデータとして、メタデータＤＢ５０に追加格納する追加メタデータ生成手段３４と、
入力された検索キーに基づいて、メタデータＤＢ５０を検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段３６と、
を有する。

また、本発明（請求項２）は、追加メタデータ生成手段３４において、
インターネット検索を行う際に、検索キーワード群の中に含まれる全ての単語をキーワードとするＡＮＤ検索から検索を開始し、次に、該検索に用いるキーワード数を段階的に少なくして検索を行う手段を含む。

図２は、本発明の原理を説明するための図である。

本発明（請求項３）は、映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、映像データ一覧生成手段、追加メタデータ生成手段、検索手段を有する映像データ管理装置において、
映像データ監視手段が、記憶手段中の映像データ及び記憶媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを監視し、該映像データのファイル名とプロパティデータに含まれる文字列を初期メタデータとして、映像毎のフィールドを持つメタデータＤＢに格納する映像データモニタリングステップ（ステップ１）と、
インデクシング手段が、映像データモニタリングステップ（ステップ１）で指定された映像データからカット点、カメラワーク区間、音声区間、音楽区間、テロップ表示区間、及び音声強調区間を抽出するインデクシングを行い、該インデクシングによって得られる特徴部分と該映像データの時刻情報と、該特徴部分と該映像データの時刻情報における映像中の静止画とを、インデクシングメタデータとして、メタデータＤＢに格納するインデクシングステップ（ステップ２）と、
一定時間毎に、追加メタデータ生成手段が、映像データモニタリングステップで取得した初期メタデータと、インデクシングステップにより得られたインデクシングメタデータとから、テキスト文字列のみを抽出し、該テキスト文字列を構文解析により複数の単語に分割し、分割の結果得られた単語のリストを検索キーワード群とし、該検索キーワード群の単語のそれぞれを、検索キーワードとして、インターネット検索を行い、該インターネット検索の結果、取得されるＷｅｂページのデータ内に含まれるデータのうち、ページタイトルとキーワードタグとの中に含まれる単語を抽出し、重複する単語を除外し、該重複する単語が除外されたページタイトルとキーワードタグとの中に含まれる単語を追加メタデータとして（ステップ３）、メタデータＤＢに追加格納する追加メタデータ生成ステップ（ステップ４）と、
検索手段が、入力された検索キーに基づいて、メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップ（ステップ５）と、を行う。

本発明（請求項４）は、追加メタデータ生成ステップにおいて、
インターネット検索を行う際に、検索キーワード群の中に含まれる全ての単語をキーワードとするＡＮＤ検索から検索を開始し、次に、該検索に用いるキーワード数を段階的に少なくして検索を行う。

本発明（請求項５）は、請求項1または２に記載の映像データ管理装置を構成する各手段としてコンピュータを機能させるための映像データ管理プログラムである。

本発明は、映像の内容が判別できる一覧が提供され、映像の内容に関連する単語が自動的に追加され、検索結果取得時に新たな検索語となりうる文字列が提供される。従って、従来技術よりも所望の映像データに短時間で到達できる。

更に、本発明によれば、長時間の映像が入力されても、すぐに一覧に反映されるため、従来技術の提供する方法に比較して、所望の映像データへの到達が容易となる。

特に、映像データを１時間とすると、従来は映像データ一覧の取得に４０分程度かかるものが、５分程度で取得できる。このため、従来技術に比較して１／８程度の時間で映像の一覧を取得することができる。

最初に本実施の形態を説明する前に、本明細書中で用いられる用語について定義する。

映像データを記憶することが可能なあらゆる装置（コンピュータのディスクやメモリ等、あるいは、ハードディスクレコーダ、セットトップボックス等）を「記憶媒体（記憶部）」と称する。

放送受信装置または、ネットワークを介して記憶媒体へと格納された番組等の動画を含むコンテンツを、「映像データ」と称する。

映像データからカット点、カメラワーク区間、音声区間、音楽区間、テロップ表示区間等を自動抽出する処理を「インデクシング」と称し、インデクシングによって得られる特徴部分の情報（静止画、特徴パラメータ等）と映像データの時刻情報とが関連付けられたものを、「インデクシングメタデータ」と称する。

映像データのファイル名や電子番組表等の、映像データをユーザが取得する時点で予め付与されている関連情報を「初期メタデータ」と称する。

本発明で述べる手法を用いて映像データに付与する関連情報を「追加メタデータ」と称する。

初期メタデータ、インデクシングメタデータ、及び追加メタデータを総称して、「メタデータ」と称する。

ｇｏｏ（登録商標）、ｇｏｏｇｌｅ（登録商標）、Ｙａｈｏｏ（登録商標）等のポータルサイトにおいて提供される検索機能を「インターネット検索機能」と称する。

コンピュータ上で動作するソフトウェアが、ディスプレイ等の表示装置の画面上で一時的に占有する表示部位であって、一般に矩形で区切られた箇所を「ウィンドウ」と称する。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における映像データ管理装置の構成を示す。

同図に示す映像データ管理装置は、映像データ入出力部１０、記憶部２０、処理部３０、表示部４０及びメタデータＤＢ５０から構成される。本実施の形態では、記憶部２０はハードディスクを用いるものとし、映像データ、メタデータ、ログデータ等を格納するものとする。

処理部３０は、映像データ監視部３１、インデクシング部３２、映像データ一覧生成部３３、追加メタデータ生成部３４、メタデータデータベース生成部３５、及び検索部３６から構成される。

映像データ監視部３１は、記憶部２０に存在する映像データ及び、映像データ入出力部１０から入出力される映像データを監視し、インデクシングを行う映像を決定し、初期メタデータを映像データ一覧生成部３３に出力する。

インデクシング部３２は、映像データ監視部３１で指定された映像データを入力とし、文献「谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸、“Scene Cabinet:映像解析技術を統合した映像インデクシングシステム”電子情報通信学会論文誌、Vol. J84-D-II, No.6, pp.1112-1121, 2001」及び、文献「森稔、倉掛正治、杉村利明、塩明夫、鈴木章、“背景・文字の形状特徴と動的修正識別関数を用いた映像中テロップ文字認識”、電子情報通信学会論文誌、D-II、Vol. J83-D-II」及び特開２００３−３１６３７８「音声処理方法及びその方法を利用した装置及びそのプログラム」に記載されている方法等に基づいて、インデクシングを行い、インデクシングメタデータを映像データ一覧生成部３３に出力する。

映像データ一覧生成部３３は、インデクシング部３２から出力されたインデクシングメタデータ及び映像データを入力とし、映像データの一覧を作成し、記憶部２０に出力する。

追加メタデータ生成部３４は、映像データ監視部３１から出力された初期メタデータ、インデクシング部３２から出力されたインデクシングメタデータを入力とし、追加メタデータを生成し、記憶部２０に出力する。

メタデータデータベース生成部３５は、初期メタデータ、インデクシングメタデータ、追加メタデータ及び映像データを入力とし、メタデータデータベース（ＤＢ）５０に出力する。

データ検索部３６は、ユーザが入力した任意のテキストをキーとして、メタデータＤＢ５０を検索し、同時にインターネット検索エンジン（図示せず）を用いてインターネット上の情報を検索し、両者の結果を、表示部４０の１つのウィンドウに集約表示する。

以下に、上記の動作を詳細に説明する。

図４は、本発明の第１の実施の形態における全体の概要動作のフローチャートであり、図５は、本発明の第１の実施の形態における映像モニタリングステップのフローチャート、図６は、本発明の第１の実施の形態における一覧及びＤＢ生成ステップの一般フローチャート、図７は、本発明の第１の実施の形態における検索ステップの一般フローチャートである。

以下の処理に先立って、映像データ入出力部１０から記憶部２０に少なくとも映像データが格納されているものとする。

ステップ１１）映像データモニタリングステップ：
ステップ１１１） ファイル検索ステップ：
処理部３０の映像データ監視部３１は、記憶部２０（ディスク）内の映像ファイルを監視し、ファイルパスを取得する。

ステップ１１２） インデクシングログファイル検索ステップ：
インデクシング部３２は、ステップ１１１で得られたファイルパスのインデクシングログファイルを検索する。

ステップ１１３） インデクシング対象動画指定ステップ：
ステップ１１１で得られた映像データのうち、ステップ１１２で記憶部２０のログファイルがみつからなかったものについて、インデクシング対象動画として指定し出力する。

ステップ１１４） 初期メタデータ出力ステップ：
映像データ監視部３１は、ステップ１１３で出力された映像データの初期メタデータを映像データ一覧生成部３３及び、追加メタデータ生成部３４に出力する。

ステップ１２） 一覧及びＤＢ生成ステップ：
ステップ１２１） 初期メタデータ入力ステップ：
映像データ一覧生成部３３は、ステップ１１４で出力された初期メタデータを入力する。

ステップ１２２） インデクシングステップ：
インデクシング部３２は、ステップ１１３で出力された映像データを入力し、文献「谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸、“Scene Cabinet:映像解析技術を統合した映像インデクシングシステム”電子情報通信学会論文誌、Vol. J84-D-II, No.6, pp.1112-1121, 2001」の方法（以下、文献１と記す）によって特徴抽出処理を施し、インデクシングメタデータを映像一覧生成部３２と、メタデータベース生成部３５に出力すると共に、インデクシングログファイルを記憶部２０に出力する。

ステップ１２３） 一覧生成ステップ：
映像データ一覧生成部３３は、ステップ１２２で出力されたインデクシングメタデータ及び、ステップ１１４で出力された初期メタデータに基づいて、映像データの一覧を生成する。

ステップ１２４） 追加メタデータ生成ステップ：
追加メタデータ生成部３４は、ステップ１２１で入力された初期メタデータを用いてインターネット検索を行い、得られた結果から追加メタデータを生成する。

ステップ１２５） メタデータＤＢ生成ステップ：
メタデータデータベース生成部３５は、ステップ１２１で入力された初期メタデータとステップ１２２で得られたインデクシングメタデータと、ステップ１２４で生成された追加メタデータを用い、映像データ毎のフィールドを持つメタデータＤＢ５０を生成する。

ステップ１３）検索ステップ：
ステップ１３１）テキスト取得ステップ：
検索部３６は、プログラム上で表示するテキスト入力フィールドに入力されたテキストを取得する。

ステップ１３２） メタデータＤＢ検索ステップ：
検索部３６は、ステップ１３１で得られたテキスト文字列をキーとして、ステップ１２５で生成されたメタデータＤＢ５０を検索する。検索結果は、初期メタデータもしくはインデクシングメタデータ中に合致するものがあった映像データのパスと、追加メタデータ中に合致するものがあった映像データのパスと２種類に分けて得る。

ステップ１３３） インターネット検索ステップ：
検索部３６は、ステップ１３１で得られたテキスト文字列をキーとして、インターネット検索エンジンを用いて検索を行い、検索結果を取得する。

ステップ１３４） 検索結果ページ生成ステップ：
検索部３６は、ステップ１３２、及びステップ１３３で得られた結果をまとめ、特に、ステップ１３２で得られた映像データのパスから、インデクシングメタデータを参照して代表画像を選択し、結果ページを生成する。

次に、上記のインデクシング部３２におけるインデクシングステップ（ステップ１２２）について詳細に説明する。

図８は、本発明の第１の実施の形態におけるインデクシングステップの詳細フローチャートである。

ステップ１２２１）映像データ入力ステップ：
インデクシング部３２は、ステップ１１３で出力された映像データを入力する。

ステップ１２２２）特徴抽出ステップ：
ステップ１２２１で入力された映像ファイルに対し、前述の文献１の手法により、特徴量を抽出し、抽出された結果から、イベント成否を判断し、記録する。

ステップ１２２３）インデクシングメタデータ出力ステップ：
ステップ１２２２で記録されたイベントを、映像データのファイル情報（パス情報、ファイルサイズ等、一般にプロパティに記載されている情報が含まれる）と映像データの再生時刻情報と共に出力する。

ステップ１２２４）インデクシングログ出力ステップ：
インデクシングの実行結果を記憶部２０のログファイルに出力する。ログファイルには、映像データのパス情報、インデクシングの途中におけるエラー情報、及び日時などが含まれている。

図９は、本発明の第１の実施の形態における一覧作成ステップの詳細フローチャートである。

ステップ１２３１）：インデクシングメタデータ入力ステップ：
映像データ一覧生成部３３は、ステップ１２２により出力されたインデクシングメタデータ、及び、ステップ１１４により出力された初期メタデータを入力する。

ステップ１２３２）画像選択ステップ：
インデクシングメタデータの情報に基づき、カット点情報のうち、映像の長さに対して均等に近くなるようにカット点を選択し、インデクシングメタデータを参照することにより、関連付けられた静止画像を出力する。

ステップ１２３３） プレイリスト生成ステップ：
ステップ１２３２で出力された静止画像にステップ１２３３で生成されたプレイリストをＨＭＴＬ等のリンク方法でリンクした一覧ファイルを記憶部２０に出力する。

次に、上記の映像データ監視部３１における追加メタデータ生成ステップ（ステップ１２４）の動作を詳細に説明する。

図１０は、本発明の第１の実施の形態における追加メタデータ生成ステップの詳細フローチャートである。

ステップ１２４１）初期メタデータ入力ステップ：
追加メタデータ生成部３４は、ステップ１２１で得られる初期メタデータを入力する。

ステップ１２４２）インデクシングメタデータ入力ステップ：
インデクシング部３２において、ステップ１２２の処理を行うことで得られるインデクシングメタデータを入力し、テキスト文字列以外をフィルタリングする。

ステップ１２４３）インターネット検索ステップ：
ステップ１２４１及びステップ１２４２で入力された初期メタデータ及びテキスト文字列以外をフィルタリングされたインデクシングメタデータをキーとして、インターネット検索を行い、ＵＲＬを取得する。初期メタデータ及びフィルタリングされたインデクシングメタデータ中に、重複しないＮ個のユニークな単語が含まれている場合、ｎ個の単語によるａｎｄ検索の結果、上位ｐ位までに含まれる重複のないＵＲＬの集合をＵ（ｎ，ｐ）として、ＵＲＬの集合Ｕ，
Ｕ＝Σ（Ｕ（ｉ，ｐ）），where（ｉ＝１，２，…，Ｎ）
を取得する。

ステップ１２４４）テキスト抽出ステップ：
ステップ１２４３で得られたＵＲＬの集合に含まれるページを解析し、テキスト文字列を抽出する。

ステップ１２４５）追加メタデータ出力ステップ：
ステップ１２４４で得られたテキスト文字列を、メタデータＤＢ５０の追加メタデータのフィールドに追加する。

次に、追加メタデータ生成部３４における、上記のステップ１２４４のテキスト抽出ステップについて、詳細に説明する。

図１１は、本発明の第１の実施の形態におけるテキスト抽出ステップの詳細フローチャートである。

ステップ１２４４１）ページ取得ステップ：
ステップ１２４３から得られたＵＲＬに対し、ページを取得する。

ステップ１２４４２）ページ解析ステップ：
ステップ１２４４１で得られたページから、ページタイトルタグ中の文字列、keyword
タグ中の文字列及び、Bodyテキストの文字列を抽出する。Bodyタグ中の文字列から、リンクを除去する。

ステップ１２４４３）フィルタリングステップ：
ステップ１２４４２で得られた文字列のうち、Body由来の文字列を形態素解析により分割する。分割後、名詞以外をフィルタリングし、ステップ１２４５の処理へ移行する。
ステップ１２４４２で得られた文字列のうち、ページタイトルタグ、keywordタグ中の文字列は、重複を除外し、ステップ１２４５の処理に移行する。

［第２の実施の形態］
図１２は、本発明の第２の実施の形態における映像データ管理装置の構成を示す。

同図に示す映像データ管理装置は、前述の図３の構成において、処理部３０にシステム監視部３７を設けたものである。

図１３は、本発明の第２の実施の形態における全体の概要動作のフローチャートである。

本実施の形態では、前述の第１の実施の形態における図４のフローチャートのステップ１１の前段において、システム監視部３７によるシステムモニタステップ（ステップ１４）の動作を行うものであり、その他の動作は第１の実施の形態と同様である。

当該システムモニタステップ（ステップ１４）では、システム監視部３７は、システム上の他のタスクをモニタする。当該ステップの存在により、特にパーソナルコンピュータ上で実施する場合において、一覧及びＤＢ作成ステップ（ステップ１２）の開始及び終了を、システム上の他のソフトウェア（例：スクリーンセイバー）の起動及び終了と同期させて実施することができる。スクリーンセイバーと同期させた場合には、メモリ及びＣＰＵ等のコンピュータリソースの利用が少ない時間に、インデクシングステップを実行させることができる。

また、スクリーンセイバー実行中にディスプレイ等の表示装置４０に出力する情報として、インデクシングステップ実行中の画像及び初期メタデータを出力する。

そのほかのステップの動作に関しては、前述の第１の実施の形態と同様である。

［第３の実施の形態］
図１４は、本発明の第３の実施の形態における全体の概要動作のフローチャートである。

本実施の形態では、前述の第１の実施の形態において一覧及びＤＢ生成ステップ（ステップ１２）の次に検索ステップ（ステップ１３）を行っていたのに対し、一覧及びＤＢ生成ステップ（ステップ１２）と検索ステップ（ステップ１３）とを並列に実施するものであり、その他の動作は、第１の実施の形態と同様である。

［第４の実施の形態］
図１５は、本発明の第４の実施の形態における映像データ管理装置の構成を示す。

同図に示す映像データ管理装置は、図３に示す構成に、タスク設定部３８を追加した構成である。

図１６は、本発明の第４の実施の形態における全体の概要動作のフローチャートである。

本実施の形態では、第１の実施の形態の映像データモニタリングステップ（ステップ１１）の前段に、タスク設定ステップ（ステップ１５）を行うものである。

ステップ１５において、タスク設定部３８は、追加メタデータ生成ステップ（ステップ１２４）の実行タスクを設定する（例：１時間毎にステップ１２４の処理を繰り返し実行）。これにより、インターネット上の情報が更新された場合でも、追加メタデータがその更新情報を反映することができる。

その他の動作は、前述の第１の実施の形態と同様である。

［第５の実施の形態］
本実施の形態では、第１の実施の形態と概要動作については同様であるが、インデクシングステップ（ステップ１２２）の動作が異なる。

図１７は、本発明の第５の実施の形態におけるインデクシングステップの詳細な動作のフローチャートである。

本実施の形態では、インデクシングステップ（ステップ１２２）において、コンテンツジャンル判定ステップ（ステップ１２２１１）を行う。

ステップ１２２１１）映像データ一覧生成部３３において、初期メタデータを入力とし、コンテンツジャンル及びデフォルトのインデクシングパラメータを出力する。

ステップ１２２１２）ステップ１２２１１のパラメータに基づいて、インデクシングを実行する。初期メタデータ中にデフォルトのインデクシングパラメータが記載されている場合には、その値を出力する。また、ユーザは、デフォルトのインデクシングパラメータやＧＵＩ等を用い、任意の値に変更することができる。その他の全ての動作は、第１の実施の形態と同様である。

なお、本発明は、上記の第１〜第５の実施の形態に記載された以外の機器（例えば、ハードディスクレコーダ）で実施することも可能である。

また、個人端末でなく、映像配信サーバ上で行うことも可能である。

また、ユーザは、エディタ等を用いて任意にメタデータＤＢ５０の内容を自由に追記・削除することが可能である。

［第６の実施の形態］
前述の実施の形態では、ある映像データに対するインデクシングが終了しないと映像データ一覧が表示されなかった。インデクシング処理は、実装上、１時間の映像データに対して４０分程度のコストがあるため、映像データの投入から一覧に反映されるまでにタイムラグが存在する。

本実施の形態では、インデクシングの進捗状況を管理し、当該インデクシングの進捗状況に応じて映像データ一覧を更新することにより、インデクシング処理の途中経過が一覧で反映され、それがインデクシングの進捗に従って自動更新する例を説明する。

図１８は、本発明の第６の実施の形態における映像データ管理装置の構成図である。

同図において、図３の構成と同一部分については同一符号を付し、その説明を省略する。

図１８に示す構成は、第１の実施の形態における図３の構成に、進捗管理部３２１、音声強調区間抽出処理部３２２が付加され、図３の映像データ一覧生成部３３の代わりに、映像データ一覧更新部３２３が設けられている。本実施の形態における記憶部２０には、映像データ、インデクシングメタデータ、映像データ一覧が記憶される。

進捗管理部３２１は、インデクシング部３２で行われているインデクシングの進行度を出力する。

音声強調区間抽出処理部３２２は、例えば、特開２００３−３１６３７８「音声処理方法及びその方法を使用した装置及びプログラム」に開示されている手法を用いて、映像中で音声が強調される区間情報を出力する。当該手法は、予め抽出したい条件を設定することなく、また、原稿などを使用しない、自然な話し言葉や会話においても、話者に依存せず、複数話者の同時発話にも依存せず、雑音環境でも安定して、音声が強調状態であるか平静状態であるかの判定ができる音声処理技術である。これにより、例えば、野球やサッカーなどのスポーツで、音声が盛り上がった箇所を映像データの一覧上に反映させることができる。

映像データ一覧更新部３２３は、音声強調区間抽出処理部３２２から出力された音声強調区間情報、インデクシング部３２からのインデクシングメタデータ及び映像データを入力とし、映像データの一覧を更新し、更新された映像データ一覧を表示部４０に出力する。

次に、上記の構成における動作を説明する。

本実施の形態では、映像データ一覧を生成するまでの処理について説明するが、その他の検索処理等については前述の実施の形態と同様である。

図１９は、本発明の第６の実施の形態における映像データ一覧生成までの処理の概要動作のフローチャートであり、図２０は、本発明の本発明の第６の実施の形態における映像モニタリングステップのフローチャートであり、図２１は、本発明の第６の実施の形態における一覧生成ステップのフローチャートである。

ステップ３１） 映像データモニタリングステップ：
ステップ３１１） 映像ファイル検索ステップ：
映像データ監視部３１において、記憶部２０（ディスク）内の映像ファイルを監視し、ファイルパスを取得する。

ステップ３１２） ログファイル検索ステップ：
映像データ監視部３１において、ステップ３１１で得られたファイルのインデクシングログファイルを記憶部２０から検索する。

ステップ３１３） インデクシング対象動画指定ステップ：
映像データ監視部３１において、ステップ３１１で得られた映像データのうち、ステップ３１２で記憶部２０のログファイルが見つからなかったものについて、インデクシング対象動画として指定し出力する。

ステップ３１４） 初期メタデータ出力ステップ：
映像データ監視部３１は、ステップ３１３で出力された映像データの初期メタデータを出力する。

ステップ３２）一覧生成ステップ：
ステップ３２１） 初期メタデータ入力ステップ：
インデクシング部３２は、ステップ３１４で映像データ監視部３１から出力された初期メタデータを入力する。

ステップ３２２） インデクシングステップ：
インデクシング部３２は、ステップ３１３において映像データ監視部３１から出力された映像データを入力し、文献１の方法によって特徴抽出処理を施し、インデクシングメタデータを進捗管理部３２１に出力すると共に、インデクシングログファイルを記憶部２０に出力する。

ステップ３２３） 音声強調区間抽出ステップ：
音声強調区間抽出処理部３２２は、ステップ３１３で映像データ監視部３１から出力された映像データを入力とし、文献２の方法を用いて、音声の強調された区間を判別し、当該区間の開始時刻、終了時刻、及び開始時刻における静止画像を音声強調区間情報として映像データ一覧更新部３２３に出力する。

ステップ３２４） インデクシング進度管理ステップ：
進捗管理部３２１において、ステップ３２２でインデクシング部３２から出力されたインデクシングメタデータを入力とし、インデクシングメタデータ及びインデクシング進度情報（進捗率）を、映像データ一覧更新部３２３からの問い合わせに応じて出力する。

ステップ３２５） 映像データ一覧作成ステップ：
映像データ一覧更新部３２３において、ステップ３２３において音声強調区間抽出処理部３２２から出力された音声強調区間情報、及び、ステップ３２２においてインデクシング部３２から出力されたインデクシングメタデータ、及び、ステップ３２４において進捗管理部３２１から出力されたインデクシング進度情報（進捗率）に基づいて、映像データ一覧を作成して記憶部２０に格納すると共に、表示部４０に表示する。

次に、上記の図２１のインデクシングステップ（ステップ３２２）について詳細に説明する。

図２２は、本発明の第６の実施の形態におけるインデクシングステップの詳細フローチャートである。

ステップ３２２１） 映像データ入力ステップ：
インデクシング部３２は、ステップ３１３で映像データ監視部３１から出力された映像データを入力する。

ステップ３２２２） 特徴抽出ステップ：
インデクシング部３２は、ステップ３２２１で入力された映像データに対して、文献１の手法により特徴量を抽出し、抽出された結果からイベント成否を判断し、記録する。

ステップ３２２３） インデクシングメタデータ出力ステップ：
インデクシング部３２は、ステップ３２２２で記録されたイベントを、映像データのファイル情報（ファイルへのパス情報、ファイルサイズ等、一般にプロパティに記載されている情報が含まれる）と映像データの再生時刻情報と共に出力する。

ステップ３２２４） インデクシング出力ステップ：
インデクシング部３２は、インデクシングの実行結果を記憶部２０のログファイルに出力する。ログファイルには、映像データのパス情報、インデクシングの途中におけるエラー情報、及び日時などが含まれている。

次に、上記の図２１の音声強調区間抽出ステップ（ステップ３２３）について詳細に説明する。

図２３は、本発明の第６の実施の形態における音声強調区間抽出ステップの詳細フローチャートである。

ステップ３２３１） 映像データ入力ステップ：
音声強調区間抽出処理部３２２において、ステップ１１３において映像データ監視部３１から出力された映像データを入力する。

ステップ３２３２） 強調区間判別処理ステップ：
音声強調区間抽出処理部３２２は、文献２の手法に基づいて、映像中から音声が強調されている箇所を判別する。

ステップ３２３３） 音声強調区間情報出力ステップ：
音声強調区間抽出処理部３２２は、ステップ３２３２で判別された箇所の時刻情報、及び開始点の静止画を映像データ一覧更新部３２３に出力する。

次に、上記の図２１の映像データ一覧作成ステップ（ステップ３２５）について詳細に説明する。

図２４は、本発明の第６の実施の形態における映像データ一覧作成ステップの詳細フローチャートである。

ステップ３２５１） 音声強調区間情報入力ステップ：
映像データ一覧更新部３２３は、ステップ３２３３において音声強調区間抽出処理部３２２から出力された音声強調区間情報を入力する。

ステップ３２５２） インデクシングメタデータ入力ステップ：
映像データ一覧更新部３２３は、ステップ３２２においてインデクシング部３２から出力されたインデクシングメタデータ及び、後述するステップ３２５６で得られるフラグを入力する。

ステップ３２５３） プレイリスト生成ステップ：
映像データ一覧更新部３２３は、ステップ３２５１及びステップ３１５２で得られた音声強調区間情報及びインデクシングメタデータ、フラグに基づいて、再生を開始できるようなリンク文字列を生成する。

ステップ３２５４） 一覧ファイル更新ステップ：
映像データ一覧更新部３２３は、プレイリスト情報（ステップ３２５３で得られたリンク文字列）を記憶部２０の映像データ一覧に上書きし、更新する。

ステップ３２５５） 一覧ファイル出力ステップ：
映像データ一覧更新部３２３は、ステップ３２５４で更新された映像一覧ファイルを表示部４０に表示する。

ステップ３２５６） インデクシング進度問い合わせステップ：
映像データ一覧更新部３２３は、進捗管理部３２１にインデクシング進度を問い合わせ、インデクシングの進度を得る。取得した進度（進捗率）が、メモリ（図示せず）に記録されている前回の進度（進捗率）よりも進んでいれば、「更新あり」というフラグを出力する。

なお、本実施の形態では、映像データ一覧生成部３３の代わりに映像データ一覧更新部３２３を設けているが、映像データ一覧更新部３２３は、映像データ一覧生成部３３と同様に、映像データ一覧を作成しているため、第１〜第５の実施の形態と同様に、後段の追加メタデータ生成部３４の追加メタデータの生成処理、メタデータデータベース生成部３５のメタデータデータベースの生成、データ検索部３６の検索・表示処理を行うことができる。

本実施の形態によれば、長時間の映像が入力されても映像データ一覧に反映することができるため、従来の技術に比べて所望する映像データへの到達が容易になる。

なお、上記の各実施の形態における動作をプログラムとして構築し、映像データ管理装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像データを記録する装置において、映像データに関連する索引情報を自動生成し、管理、検索、閲覧を行うシステムに適用可能である。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の第１の実施の形態における映像データ管理装置の構成図である。 本発明の第１の実施の形態における全体の概要動作のフローチャートである。 本発明の第１の実施の形態における映像モニタリングステップ（ｓ１１）のフローチャートである。 本発明の第１の実施の形態における一覧及びＤＢ生成ステップ（ｓ１２）のフローチャートである。 本発明の第１の実施の形態における検索ステップ（ｓ１３）の一般フローチャートである。 本発明の第１の実施の形態におけるインデクシングステップ（ｓ１２２）の詳細フローチャートである。 本発明の第１の実施の形態における一覧作成ステップ（ｓ１２３）の詳細フローチャートである。 本発明の第１の実施の形態における追加メタデータ生成ステップ（ｓ１２４）の詳細フローチャートである。 本発明の第１の実施の形態におけるテキスト抽出ステップ（ｓ１２４４）の詳細フローチャートである。 本発明の第２の実施の形態における映像データ管理装置の構成図である。 本発明の第２の実施の形態における全体の概要動作のフローチャートである。 本発明の第３の実施の形態における全体の概要動作のフローチャートである。 本発明の第４の実施の形態における映像データ管理装置の構成図である。 本発明の第４の実施の形態における全体の概要動作のフローチャートである。 本発明の第５の実施の形態におけるインデクシングステップの詳細な動作のフローチャートである。 本発明の第６の実施の形態における映像データ管理装置の構成図である。 本発明の第６の実施の形態における映像データ一覧出力までの処理の概要動作のフローチャートである。 本発明の第６の実施の形態における映像モニタリングステップ（Ｓ３１）のフローチャートである。 本発明の第６の実施の形態における一覧生成ステップ（Ｓ３２）のフローチャートである。 本発明の第６の実施の形態におけるインデクシングステップ（Ｓ３２２）のフローチャートである。 本発明の第６の実施の形態における音声強調区間抽出ステップ（Ｓ３２３）の詳細フローチャートでる。 本発明の第６の実施の形態における映像データ一覧作成ステップ（Ｓ３２５）の詳細フローチャートである。

符号の説明

１０ 映像データ入出力部
２０ 記憶媒体、記憶部
３１ 映像データ監視手段、映像データ監視部
３２ インデクシング手段、インデクシング部
３３ 映像データ一覧生成部
３４ 追加メタデータ生成手段、追加メタデータ生成部
３５ メタＤＢ生成部
３６ 検索手段、検索部
３７ システム管理部
３８ タスク表示部
４０ 表示部
５０ メタデータＤＢ
３２１ 進捗管理部
３２２ 音声強調区間抽出処理部
３２３ 映像データ一覧更新部

Claims (5)

1. 映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理装置であって、
   記憶手段中の映像データ及び記憶媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを監視し、該映像データのファイル名とプロパティデータに含まれる文字列を初期メタデータとして、映像毎のフィールドを持つメタデータＤＢに格納する映像データ監視手段と、
   前記映像データ監視手段で指定された映像データからカット点、カメラワーク区間、音声区間、音楽区間、テロップ表示区間、及び音声強調区間を抽出するインデクシングを行い、該インデクシングによって得られる特徴部分と該映像データの時刻情報と、該特徴部分と該映像データの時刻情報における映像中の静止画とを、インデクシングメタデータとして、前記メタデータＤＢに格納するインデクシング手段と、
   一定時間毎に、前記映像データ監視手段から取得した前記初期メタデータと、前記インデクシング手段から取得した前記インデクシングメタデータとから、テキスト文字列のみを抽出し、該テキスト文字列を構文解析により複数の単語に分割し、分割の結果得られた単語のリストを検索キーワード群とし、該検索キーワード群の単語のそれぞれを、検索キーワードとして、インターネット検索を行い、該インターネット検索の結果、取得されるＷｅｂページのデータ内に含まれるデータのうち、ページタイトルとキーワードタグとの中に含まれる単語を抽出し、重複する単語を除外し、該重複する単語が除外されたページタイトルとキーワードタグとの中に含まれる単語を追加メタデータとして、前記メタデータＤＢに追加格納する追加メタデータ生成手段と、
   入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段と、
   を有することを特徴とする映像データ管理装置。
2. 前記追加メタデータ生成手段は、
   前記インターネット検索を行う際に、前記検索キーワード群の中に含まれる全ての単語をキーワードとするＡＮＤ検索から検索を開始し、次に、該検索に用いるキーワード数を段階的に少なくして検索を行う手段を含む
   請求項1記載の映像データ管理装置。
3. 映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
   映像データ監視手段、インデクシング手段、映像データ一覧生成手段、追加メタデータ生成手段、検索手段を有する映像データ管理装置において、
   前記映像データ監視手段が、記憶手段中の映像データ及び記憶媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを監視し、該映像データのファイル名とプロパティデータに含まれる文字列を初期メタデータとして、映像毎のフィールドを持つメタデータＤＢに格納する映像データモニタリングステップと、
   前記インデクシング手段が、前記映像データモニタリングステップで指定された映像データからカット点、カメラワーク区間、音声区間、音楽区間、テロップ表示区間、及び音声強調区間を抽出するインデクシングを行い、該インデクシングによって得られる特徴部分と該映像データの時刻情報と、該特徴部分と該映像データの時刻情報における映像中の静止画とを、インデクシングメタデータとして、前記メタデータＤＢに格納するインデクシングステップと、
   追加メタデータ生成手段が、一定時間毎に、前記映像データモニタリングステップで取得した前記初期メタデータと、前記インデクシングステップにより得られた前記インデクシングメタデータとから、テキスト文字列のみを抽出し、該テキスト文字列を構文解析により複数の単語に分割し、分割の結果得られた単語のリストを検索キーワード群とし、該検索キーワード群の単語のそれぞれを、検索キーワードとして、インターネット検索を行い、該インターネット検索の結果、取得されるＷｅｂページのデータ内に含まれるデータのうち、ページタイトルとキーワードタグとの中に含まれる単語を抽出し、重複する単語を除外し、該重複する単語が除外されたページタイトルとキーワードタグとの中に含まれる単語を追加メタデータとして、前記メタデータＤＢに追加格納する追加メタデータ生成ステップと、
   検索手段が、入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップと、
   を行うことを特徴とする映像データ管理方法。
4. 前記追加メタデータ生成ステップにおいて、
   前記インターネット検索を行う際に、前記検索キーワード群の中に含まれる全ての単語をキーワードとするＡＮＤ検索から検索を開始し、次に、該検索に用いるキーワード数を段階的に少なくして検索を行う
   請求項３記載の映像データ管理方法。
5. 請求項1または２に記載の映像データ管理装置を構成する各手段としてコンピュータを機能させるための映像データ管理プログラム。

Images