JP4918836B2 - 動的情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、動的情報処理装置及び情報処理プログラムに関する。

音声つきの動画像などの動的情報を要約して再生する装置がある（例えば特許文献１）。
特開２００４−２３１９７号公報

ここで、複数の動的情報から所望の動的情報を選択する場合には、それぞれの動的情報の要約を視聴した後に該当する動的情報を選択する必要があった。本発明は、複数の動的情報の要約を視聴する利便性を向上できる動的情報処理装置を提供することにある。

請求項１記載の発明は、動的情報処理装置であって、少なくとも一つの動的情報のうち、与えられた条件を満足する複数の部分を抽出する抽出手段と、前記抽出した複数の部分を相互に結合して、一つの部分動的情報を生成する生成手段と、前記生成した部分動的情報を出力する出力手段と、を含むこととしたものである。

また、請求項２記載の発明は、請求項１に記載の動的情報処理装置であって、前記生成手段は、前記抽出された部分のうち、所定しきい値との比較において、前記動的情報の一つの中で短い時間間隔だけおいて再生される複数の部分の組については、当該複数の部分の組の部分を連続して連結することとしたものである。

また、請求項３記載の発明は、請求項１または２に記載の動的情報処理装置であって、前記生成手段は、前記複数の部分を連結する際に、各部分の間に、所定の情報を挿入して連結することとしたものである。

さらに請求項４記載の発明は、情報処理プログラムであって、電子計算機に、動的情報のうち、与えられた条件を満足する複数の部分を抽出する手順と、前記抽出した複数の部分を相互に結合して、一つの部分動的情報を生成する手順と、前記生成した部分動的情報を出力する手順と、を実行させることとしたものである。

請求項１に記載の発明によると、要約に係る情報が互いに連結されるので、利便性を向上できる。

また請求項２に記載の発明によると、元となった動的情報で連続的に現れる部分については、連続して連結されるので、本発明をしない場合に比して連結による違和感を軽減できる。

さらに請求項３に記載の発明によると、連結される部分の間に、所定の情報が挿入され、連結による違和感を軽減できる。

請求項４に記載の発明によると、要約に係る情報が互いに連結されるので、利便性を向上できる。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る動的情報処理装置１は、図１に示すように、制御部１１、記憶部１２、及び通信部１３を備えて構成される。また、この動的情報処理装置１は、電気通信設備等の通信手段を介して端末装置２に接続されている。

制御部１１は、マイクロプロセッサなどのプログラム制御デバイスであり、電子計算機としての機能を提供する。本実施の形態の制御部１１は、記憶部１２に格納されている動的情報から所定の条件を満足する部分を抽出し、抽出した部分を連結して一つの動的情報を生成して出力する。この制御部１１の具体的な処理の内容については、後に述べる。

記憶部１２は、読み書き可能な記憶素子（ランダム・アクセス・メモリなど）や、読み出し専用の記憶素子（リード・オンリー・メモリなど）を含む。この記憶部１２には、制御部１１が実行するプログラムが格納されている。また、この記憶部１２は、制御部１１の動作に必要となる種々の情報を保持する、ワークメモリとしても動作する。さらに本実施の形態の記憶部１２は、磁気または光学的な手段によって情報を記録する、ハードディスク装置などの情報記録装置を含む。そしてこの記憶部１２は、制御部１１の処理の対象となる、動的情報が格納されている。以下では一例として、動的情報は、動画像情報であり、図２に示すように、タイトル情報と、少なくとも一つのシーン情報とを含んでなるものとする。ここでタイトル情報は、動画像情報ごとに固有のタイトル識別子（タイトルＩＤ）と、タイトル名を表す文字列情報（名称）と、タイトルメタデータ（Ｔ）を含む。また、各シーン情報は、タイトル識別子（タイトルＩＤ）を含み、このタイトルＩＤによってタイトル情報に関連づけられる。各シーン情報には、シーンごとに固有のシーン識別子（シーンＩＤ）と、動画像情報を先頭から再生したときに、当該シーンが再生開始されるまでの先頭からの時間（開始時刻）と、当該シーンの再生が終了するまでの先頭からの時間（終了時刻）と、検索の対象となる文字列を含むシーンメタデータ（Ｍ）と、このシーンに含まれる動画像（Ｓ：一連の静止画像）と、動画像とともに再生されるべき音声情報（Ａ）とを含む。ここで、シーン識別子は、タイトル中におけるシーンの再生順を表す連番（シーン番号）であってもよい。シーン識別子をシーン番号としない場合は、シーン番号をシーン識別子とは別にシーン情報に含めてもよい。

なお、制御部１１によって実行されるプログラムは、磁気または光学的手段によって情報を記録する、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのコンピュータ可読な情報記録媒体に格納されていてもよく、また、こうした情報記録媒体から上記記憶素子に複写等されて格納されたものであってもよい。

通信部１３は、ネットワークカードやモデムに代表される通信設備（通信手段）を介して、端末装置２との間で、種々の情報を送受する。この通信部１３は、端末装置２から受信される情報を制御部１１に出力する。また、この通信部１３は、制御部１１から入力される指示に従い、端末装置２宛に情報を送出する。

端末装置２は、例えばモニタやキーボード、マウスなどの入出力デバイスを備えた電子計算機であり、本実施の形態の動的情報処理装置１に対して、動的情報である動画情報を、通信手段を介して要求し、この要求に応答して動的情報処理装置１が送出する動的情報に含まれる画像を表示し、また、音声を鳴動して再生処理する。また、この端末装置２は、利用者から入力される指示に従い、動的情報処理装置１に対して、動的情報のうち、利用者から指定された条件を満足する部分を検索するよう指示する。

以下、本実施の形態の動的情報処理装置１の制御部１１の具体的な処理について説明する。この制御部１１が記憶部１２に格納されたプログラムを実行することにより、本実施の形態の動的情報処理装置１は、図３に示すように、検索部２１と、連結処理部２３と、出力部２４とを機能的に含むものとして、ソフトウエア的に実現される。

検索部２１は、端末装置２から受信した、動的情報の部分を検索するための条件を受け入れる。ここでは検索の条件は文字列で与えられるものとして説明するが、これに限られるものではない。検索部２１は、受け入れた検索条件の文字列をシーンメタデータに含む動的情報を、記憶部１２に格納された動画像から検索し、検索の結果、見出された動的情報を抽出して、連結処理部２３に出力する。

連結処理部２３は、検索部２１が抽出した動的情報を結合して、一つの動的情報を生成する。ここで生成した一つの動的情報を以下では部分動的情報と呼ぶ。出力部２４は、連結処理部２３が生成した部分動的情報を、端末装置２へ送出する。ここで部分動的情報は、例えば図４に示すように、シーン情報を連結順に列挙した情報である。

なお、この制御部１１は、タイトル識別子を特定する情報を受信して、当該タイトル識別子で識別されるタイトルの再生を行うよう、端末装置２から指示を受けた場合は、当該タイトル識別子を含むシーン情報を記憶部１２から検索し、検索の結果として得られたシーン情報を、シーン番号の順に、再生の指示を行った端末装置２へ配信する。

以上の構成により、本実施の形態の動的情報処理装置１を含むシステムでは、端末装置２の利用者が、端末装置２において検索の条件となる文字列を入力すると、当該検索の条件が動的情報処理装置１に送信され、動的情報処理装置１において、当該検索の条件の文字列を、シーンメタデータに含むシーン情報が検索される。動的情報処理装置１では、これら検索の結果として得られたシーン情報に含まれる動画像や音声情報を連結して、一つの動的情報を生成する。そしてこの一つの動的情報を端末装置２へ配信する。

一例として、家畜動物に関する動画像が動的情報処理装置１の記憶部１２に複数格納されている場合を想定する。ここで、あるシーン情報（シーン識別子「１」とする）のシーンメタデータに「日本の犬、日本テリア」との情報が含まれ、これとは異なる、シーン識別子「２」のシーン情報のシーンメタデータに「外国の犬、アイリッシュセッター」との情報が含まれ、さらに別のシーン識別子「３」のシーン情報のシーンメタデータに「猫、短毛種、雑種」との情報が含まれているとする。このとき、検索条件として「日本、犬」の文字列が与えられると、動的情報処理装置１の制御部１１は、上記シーン情報のうち、「日本」または「犬」をシーンメタデータに含むシーン情報を検索する。また、その検索結果のシーン情報が検索条件に対してどの程度関連しているかを表す関連度として、シーンメタデータに含まれる検索条件の文字列の数をカウントして関連づける。

ここでの例では、シーン識別子「１」において関連度が「３」（日本が２回、犬が１回の合計３回のヒットがあるため）、シーン識別子「２」において関連度が「１」となる。シーン識別子「３」のシーンメタデータには、「日本」も「犬」も含まれないので、検索結果として列挙されない。

動的情報処理装置１の制御部１１は、シーン識別子「１」の部分的な動的情報と、シーン識別子「２」の部分的な動的情報を連結して一つの動的情報（部分動的情報）を生成して、端末装置２に配信する。

このとき、各シーン情報に係る部分的な動的情報に、各シーン情報が属しているタイトル（シーン情報に含まれるタイトル識別子で特定されるタイトル）の文字列を重ね合わせて表示されるようにしてもよい。この処理は、例えば部分動的情報に含める各シーン情報の動画像に、関連づけられているタイトルの文字列をスーパーインポーズして合成し、当該合成後の動画像を端末装置２へ配信してもよいし、各シーン情報の動画像に、関連づけられているタイトルの文字列を関連づけて端末装置２へ配信し、端末装置２側で動画像にタイトルの文字列をスーパーインポーズして表示することとしてもよい。

また、タイトルの文字列だけでなく、シーン情報に含まれる他の情報、例えば開始時刻や終了時刻の情報を含んでもよい。また、端末装置２においては、各シーン情報の再生ごとに、再生時間を計時しておき、利用者から所定の指示（画面上に表示したボタンの一つが押下されるなどの指示）を受けると、再生中のシーン情報に含まれる再生開始時間に、計時している再生時間を加算し、現在再生している動画像の再生時間を、タイトル中での再生時間に変換する。そして当該変換後の再生時間の情報と、再生中のシーン情報に含まれるタイトル識別子とを動的情報処理装置１へ送信し、当該タイトル識別子で識別されるタイトルを、変換後の再生時間から再生開始するよう指示してもよい。この結果、利用者は部分動的情報で現在視聴している位置から、タイトルの再生を開始させることとなる。

さらに、端末装置２は、利用者の指示に応じて、現在再生中のシーン情報に含まれるタイトル識別子を動的情報処理装置１へ送信し、動的情報処理装置１に、当該タイトル識別子で識別されるタイトルの動画像を最初から配信させてもよい。端末装置２はこのとき、当該シーン情報に含まれる開始時刻の情報を併せて動的情報処理装置１へ送信し、当該シーンからの配信を行わせてもよい。

このように端末装置２においては、部分動的情報の表示画面において、図５に示すように、
（１）部分動的情報を表示する領域、
（２）部分動的情報として現在再生中の動画像に係るタイトルの再生を行わせる指示（タイトルの先頭から（２ａ）、現在再生中の位置から（２ｂ）、現在再生中のシーンの最初から（２ｃ））のためのボタン、
（３）現在再生中のシーン情報の先頭から再生を行わせる指示のためのボタン（３ａ）、次のシーン情報の先頭から再生を行わせる指示のためのボタン（３ｂ）、
（４）配信された部分動的情報に含まれるシーン情報の一覧（例えばシーン情報にシーン名の文字列が含まれていれば、当該文字列であってもよいし、シーンメタデータの少なくとも一部であってもよい）
等が含まれる。

ここで、（３ａ）現在再生中のシーン情報の先頭から再生を行わせる指示が行われた場合、端末装置２は、現在再生中のシーン情報に含まれる動的情報を最初から再生する。また、（３ｂ）次のシーン情報の先頭から再生を行わせる指示が行われた場合、連結された順に、現在再生中のシーン情報の次に再生するべきシーン情報の動的情報の先頭から再生を開始する。

なお、ここまでの説明では、各シーン情報の連結の順序については特に限定していないが、上記の関連度の順に連結を行ってもよい。また、タイトル識別子の順に連結を行い、同一タイトルに含まれるシーン情報の動画像が連続的に再生されるようにしてもよい。また、関連度は、ここでは、シーン情報に含まれるシーンメタデータに含まれる、検索条件として与えられた文字列の数としているが、これに限られるものではない。さらに、関連度の情報は、シーンメタデータのみならず、シーンの長さ、タイトルメタデータに含まれる、検索条件として与えられた文字列の数、シーンごとに予め設定されている重要度などの情報を用いて演算してもよい。ここで動的情報処理装置１の制御部１１は、シーン重要度が「０」などと所定の値に設定されているシーン情報は、部分動的情報に含めないこととしてもよい。

また、連結の順序は、利用者から与えられた順としてもよい。例えば図２に示したタイトル識別子にさらに、作成者名、作成日時、記録日時などが含まれていたり、シーン情報にさらにシーン名として文字列が含まれていれば、これらの順に並べ替えた順で連結されてもよい。

さらに連結の順序として、連結の対象となるシーン情報が、一つのタイトルにおいて連続して再生されるなど、比較的短時間に連続して再生されるべきシーン情報である場合は、これらを連続して連結するようにしてもよい。

すなわち制御部１１は、与えられた検索条件に基づく検索の結果、抽出した複数のシーン情報（連結対象）を、含まれるタイトル識別子が共通するものごとに、次の図６に示す処理を行う。共通のタイトル識別子が含まれる複数の連結対象のシーン情報を処理対象として、処理対象の一つを注目シーン情報として選択し（Ｓ１）、その再生の終了時刻Ｔｅを取得する（Ｓ２）。そして、この終了時刻Ｔｅに、所定のしきい値ΔＴを加算する（Ｓ３）。そして制御部１１は、注目シーン情報以外の各シーン情報のうち、処理Ｓ２で取得した終了時刻Ｔｅと、処理Ｓ３で演算した時刻Ｔｅ＋ΔＴとに対して、再生の開始時刻Ｔｓが、Ｔｅ＜Ｔｓ＜Ｔｅ＋ΔＴとなるようなシーン情報があるか否かを判断する（Ｓ４）。そしてかかるシーン情報があれば、注目シーン情報と、処理Ｓ４で見出したシーン情報とをシーン番号の順に連結（隣接した順に列挙）する（Ｓ５）。そして、注目シーン情報として選択されていないシーン情報が、処理対象にまだあるか否かを調べる（Ｓ６）。ここで、注目シーン情報として選択されていないシーン情報が、処理対象になければ、処理を終了する。

また、処理Ｓ６において、注目シーン情報として選択されていないシーン情報が、処理対象にあれば、処理Ｓ１に戻り、そのうちの一つを注目シーンとして選択して処理を続ける。

さらに処理Ｓ４において、上記条件を満足するシーン情報がなければ、処理Ｓ６に移行して処理を続ける。

この処理によって、検索の条件により抽出された動的情報の部分（ここではシーン情報）のうち、一つの動的情報に含まれ、また予め定められているしきい値との関係において、短い時間間隔だけおいて再生されるシーン情報群については、当該シーン情報群が連続して連結されることとなる。このように連続的に連結した場合、当該連結されたシーン情報群に含まれるシーン情報の関連度に基づいてその統計演算量（例えば当該関連度のうち最大のもの、または総和や平均値など）を、連結されたシーン情報群に含まれる各シーン情報の関連度として、改めて各シーン情報の関連度を設定してもよい。このように関連度を設定したときには、同一の関連度となっているシーン情報については、タイトル識別子の順、かつシーン番号の順に並べ替えて部分動的情報に含めることとしておき、関連度の順に部分動的情報に含める処理を行えば、上記連続して再生するべき各シーン情報の順序が維持されたまま、端末装置２へ配信される。

なお、連続して再生されるべきシーン情報については、その旨の情報をシーン情報に関連づけておき、連結の順序を定める際に、当該情報を参照して、連続して再生されるべきとされるシーン情報は、当該連続するべき順に連続的に連結するよう処理してもよい。

さらに動的情報処理装置１は、シーン情報を連結する際に、各シーン識別子の間に予め定めた動的情報に係るシーン識別子（ブリッジ情報識別子と呼ぶ）を挿入してもよい。具体的な例として、ブラックアウトした画面（黒一色となる画面）を１秒程度表示する動画像を、ブリッジ情報識別子に関連づけてシーン情報として、記憶部１２に予め格納しておき、図７に示すように、部分動的情報として生成するシーン情報の列において、各シーン情報の間に、当該ブリッジ情報識別子に関連づけられたシーン情報（ブリッジシーン）を含めておく。

端末装置２では、部分動的情報として提供されたシーン情報の列について、その列に含まれる順に、シーン情報に含まれる動画像や音声などを再生する。従って、検索によって見出されたシーン情報間にブリッジ情報識別子に係るシーン情報が再生されることとなり、各シーン情報の間に黒一色の画面などが表示されることとなる。

なお、この場合も、図６の処理により連続して連結されるものとされたシーン情報間には、ブリッジ情報識別子に関連するシーン情報を含めなくてもよい。

さらに、ここまでの説明では、部分動的情報には、与えられた検索条件に基づく検索の結果、抽出されたシーン情報に含まれる動的情報の全体が連続的に再生されるものとしたが、これに限られない。例えば、制御部１１は、部分動的情報の総再生時間Ｔtotalの入力を利用者から受けておき、検索の結果抽出したシーン情報の数Ｎを用いて、一つのシーン情報の再生時間τ＝Ｔtotal／Ｎを算出し、各シーン情報について、それぞれに含まれる動的情報の先頭τ分の時間だけずつ再生するように、部分動的情報の配信時に、端末装置２へ指示してもよい。また、端末装置２において、上記τを演算し、各シーン情報について、それぞれに含まれる動的情報の先頭τ分の時間だけずつ再生するようにしてもよい。

なお、この場合には、制御部１１は、再生時間の最小単位（τの下限値）τminを予め定めておき、演算したτがτmin以下、またはτmin未満である場合に、Ｔtotal／Ｎmax＞τminを満足するＮmaxを演算し、部分動的情報に含まれるシーン情報の数がこのＮmaxとなるまで、Ｎ−Ｎmax個のシーン情報を、部分動的情報から選択的に除去してもよい。この選択は、例えば関連度の情報を用い、関連度の低い順に、Ｎ−Ｎmax個だけ、部分動的情報から除去する。

さらに、動的情報処理装置１の制御部１１は、与えられた検索条件に基づく検索の結果、抽出されたシーン情報の数が予め定められた数Ｎｐよりも多い場合、Ｎｐ個のシーン情報ごとに複数の部分動的情報を生成して、それぞれを端末装置２へ配信することとしてもよい。

ここまでの説明ではシーンメタデータは、検索の対象となるキーワードとして、含まれる動的情報を説明する文字列などとなる例を示したが、これに代えて、またはこれとともに、作成者名、講演者名、分類に関する情報、収録期間、更新日時、公開日時、関連する動的情報への参照情報（ＵＲＬ（Uniform Resource Locator）等のリンクでよい）、関連文書の参照情報などを含んでもよい。

そして端末装置２では、部分動的情報に含まれるシーン情報の各々を再生する際に、これらの情報を表示画面に併せて表示してもよい。

また、ここまでの説明では、各シーン情報には動画像と音声が含まれるものとして説明したが、これに限らず、資料（スライドなど）の情報が含まれてもよい。この場合も端末装置２は、部分動的情報を再生する際に、これら資料などの情報を併せて提示してもよい。

本実施の形態によると、図８に示すように、動的情報処理装置１により、例えば複数の動画像情報Ａ，Ｂ…のうちから、指定された検索条件に合致する部分（ここではシーンＳ１，Ｓ２）が抽出され、これらが連結された部分動的情報が生成されて（Ｘ）、端末装置２において再生される。

本発明の実施の形態に係る動的情報処理装置の構成及びその接続状態の例を表すブロック図である。 本発明の実施の形態に係る動的情報処理装置が保持する動的情報の例を表す説明図である。 本発明の実施の形態に係る動的情報処理装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る動的情報処理装置が生成する部分動的情報の例を表す説明図である。 本発明の実施の形態に係る動的情報処理装置から配信を受けた部分動的情報の表示例を表す説明図である。 本発明の実施の形態に係る動的情報処理装置での処理例を表すフローチャート図である。 本発明の実施の形態に係る動的情報処理装置で生成される部分動的情報の別の例を表す説明図である。 本発明の実施の形態に係る動的情報処理装置の動作の概要を表す説明図である。

符号の説明

１ 動的情報処理装置、２ 端末装置、１１ 制御部、１２ 記憶部、１３ 通信部、２１ 検索部、２３ 連結処理部、２４ 出力部。

Claims (3)

1. 少なくとも一つの動的情報に含まれる部分のうち、与えられた検索の条件との関連度を演算し、当該関連度が予め定めた条件を満足する複数の部分を抽出する抽出手段と、
   前記抽出した複数の部分を、前記関連度の順に相互に結合して、一つの部分動的情報を生成する生成手段と、
   前記生成した部分動的情報を出力する出力手段と、
   を含み、
   前記生成手段は、前記抽出された部分のうち、所定しきい値との比較において、前記動的情報の一つの中で短い時間間隔で再生される複数の部分の組については、当該複数の部分の組の部分を連続して連結処理するとともに、当該組に含まれる複数の部分について設定された関連度の統計演算量を、連結処理された後の動的情報の関連度として設定し、当該関連度の順に前記部分動的情報に含めることを特徴とする動的情報処理装置。
2. 前記生成手段は、前記複数の部分を連結する際に、各部分の間に、所定の情報を挿入して連結処理することを特徴とする
   請求項１に記載の動的情報処理装置。
3. コンピュータを、
   少なくとも一つの動的情報に含まれる部分のうち、与えられた検索の条件との関連度を演算し、当該関連度が予め定めた条件を満足する複数の部分を抽出する抽出手段と、
   前記抽出した複数の部分を、前記関連度の順に相互に結合して、一つの部分動的情報を生成する生成手段と、
   前記生成した部分動的情報を出力する出力手段と、
   として機能させ、
   前記生成手段として機能させる際は、前記抽出された部分のうち、所定しきい値との比較において、前記動的情報の一つの中で短い時間間隔で再生される複数の部分の組については、当該複数の部分の組の部分を連続して連結処理させるとともに、当該組に含まれる複数の部分について設定された関連度の統計演算量を、連結処理された後の動的情報の関連度として設定させ、当該関連度の順に前記部分動的情報に含めることを特徴とするプログラム。

Images