JPH11250081A - マルチメディア情報処理装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】複数種類のマルチメディア解析処理を複合的に
実行できるマルチメディア情報処理装置を提供する。 【解決手段】入力されたマルチメディア情報を解析し、
該解析結果を出力するマルチメディア情報処理装置にお
いて、前記マルチメディア情報を解析する複数種類の解
析手段を着脱可能に接続する接続手段（マルチメディア
データ解析ソケット部等）と、この接続手段に接続され
た解析手段の解析結果と前記入力されたマルチメディア
情報とを出力する出力手段とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データ等の
マルチメディア情報を編集するためのマルチメシア情報
処理方法およびそれを用いたマルチメディア情報処理装
置に関する。

【０００２】

【従来の技術】衛星放送、ケーブルテレビジョン放送の
普及などにより、家庭においても視聴可能な映像チャン
ネル数は増加の一途をたどっている。また従来のビデオ
テープやレーザーディスクなどの映像記録媒体に加え、
映像音声情報をディジタルで他として記録再生できるＤ
ＶＤ（ディジタル・ビデオ・ディスク）も製品化され、
ごく普通のユーザが大量の映像にアクセスできる環境は
充実しつつあるといってよい。

【０００３】その一方で、それら大量の映像の中から目
的の映像に効率よくアクセスできる技術の提供は従前の
ままである。たとえばテレビの視聴者は、新聞などに掲
載される番組欄を参照して、見たい映像（番組）を選択
したり、ビデオソフトパッケージを購入しようとする消
費者はパッケージに記載されているタイトルや出演者、
あらすじなどを参照して希望のビデオを選択する。これ
らは文字による映像情報のテキスト記述であるが、映像
の全てに対して記述がなされているわけでもなく、その
ように全てに対して記述をすることは大変な手間となる
ものであることは言うまでもない。

【０００４】また、映像のどの部分を見たいか、という
要求は当然ユーザ個々にも異なるものであるはずで、全
てのユーザに対応可能なテキスト記述を作成することは
付加情報の増大を招き、主に放送メディアなど、供給で
きる情報量に限界があるソースにおいては実用が難し
い。このためテレビ視聴者はニュース番組中の特定のコ
ーナーだけを見たい場合にも、テレビをつけたままで目
的の話題となるのを待たなくてはならなかったり、すで
に別の番組で見て知っているニュースを繰り返し見させ
られたりして、著しく時間の無駄となっている。

【０００５】このように貧弱な映像アクセスの環境のま
までは、近い将来、ユーザが大量の映像情報にアクセス
できる状況が実現したとしても、その情報量をスムーズ
に享受できるとはいえず、かえって情報量の多さに混乱
するユーザが増える懸念もある。

【０００６】これに関連して、本件出願人は映像を少な
いアイコンで一覧することのできる動画像処理方法をす
でに出願している（特開平９−２７０００６）。この方
法によれば、映像中の場面構成を推定し、場面を単位と
した映像内容の一覧提示が可能になる。上記発明によれ
ば、ドラマの映像を処理した場合、対話などから構成さ
れる場面は一枚のアイコンとして表示することが可能に
なる。

【０００７】上記発明も含め、映像、音声などのマルチ
メディアデータを解析する方法はさまざまに発表されて
いる。しかしながら現況では、それぞれの解析技術が独
立に研究、試験されており、研究成果を複合的に用いる
ことによってより高度な解析結果を生み出すような汎用
かつ拡張容易なプラットフォームが存在しない。また、
それら既発表の技術の多くはオフライン処理（すなわ
ち、まず映像や音声を一度ディジタル化したファイルに
保存し、次にそのファイル中をランダムアクセスするこ
とによって解析結果を得る方法）で実現されている。こ
れが解析技術の複合を阻むとともに、家庭のユーザにと
ってのデメリットの１つである「待ち時間」を生み出し
ている。つまり、現況のまま個々の解析技術がアプリケ
ーションの姿となってリリースされたとしても、家庭の
ユーザは（１）まず解析したいテレビ番組などをパソコ
ンに取り込む。（２）ある１つの解析処理を専門に行う
アプリケーションに処理させる。（３）処理が完了する
のを待って次の解析処理アプリケーションに処理させ
る。という手順をとらなくてはならず、手間と時間を要
する。さらに、より高度な解析処理を行うために高性能
のコンピュータを購入しなければならなかったり、新し
くソフトウェアをインストールしなければならなかった
りすることもあり、未だ多くのユーザが手軽に解析処理
を利用し、楽しむ状況ではない。我が国および世界の研
究機関が保持するマルチメディアデータ処理技術は高い
にも関わらず、これでは家庭のユーザの利便に貢献した
とはいえない。

【０００８】

【発明が解決しようとする問題】以上説明したように、
従来は、ユーザが画面に着目してなければならない時間
を軽減する目的で、映像、音声などのマルチメディアデ
ータを解析するさまざまな手法（カット検出、話者認
識、ＣＭ認識、待ち受け等）は、別個独立して実行し、
各手法による解析結果を出力するだけで、それらを複合
的に用いることにより高度な解析結果を得るような汎用
かつ拡張容易なプラットフォームが存在しなかった。

【０００９】そこで、本発明は、上記問題点に鑑み、複
数種類のマルチメディア解析処理を複合的に実行できる
マルチメディア情報処理装置を提供することを目的とす
る。

【００１０】すなわち、本発明は、マルチメディアデー
タ解析処理部分を着脱式に搭載できるインタフェースを
持つマルチメディアデータ処理装置およびソフトウェア
の実現を可能にする。

【００１１】これによりユーザは、所有する装置本体を
置き換えたり、アップグレードすることなく、各研究機
関等が開発した最新の高度なマルチメディア解析処理技
術を、複数、容易に搭載することができる。さらに、マ
ルチメディアデータ解析処理部分が着脱式であるため
に、装置の性能に応じて解析処理部分の使用不使用をユ
ーザが選択でき、マルチメディアデータ入力から出力ま
での経路が滞りないように構成を自由に変更することが
できる上、本発明のマルチメディア処理装置自身もデー
タ処理の所要時間を観測してサンプリング間隔を自動決
定するなど、テレビ受信とほぼ同時に映像音声の保存お
よび解析処理が終了するような装置が実現できる。これ
は多くの面でユーザの利便性を向上させることが期待で
きる。

【００１２】

【課題を解決するための手段】（１）本発明のマルチメ
ディア情報処理装置は、入力されたマルチメディア情報
を解析し、該解析結果を出力するマルチメディア情報処
理装置において、前記マルチメディア情報を解析する複
数種類の解析手段（マルチメディア解析部（プラグイ
ン））を着脱可能に接続する接続手段と、この接続手段
に接続された解析手段の解析結果と前記入力されたマル
チメディア情報とを出力する出力手段と、を具備したこ
とを特徴とする。

【００１３】本発明によれば、複数種類のマルチメディ
ア解析処理を複合的に実行できる。すなわち、ユーザは
自分が必要とするプラグインを選択して本体に装着する
ことでき、そのプラグインが提供する機能で、マルチメ
ディアデータ解析処理を行うことができる。

【００１４】ユーザはマルチメディアデータ解析部を除
くマルチメディア情報処理装置本体だけを持っていれば
よく、プラグイン開発者はマルチメディア情報処理装置
本体との交信規定を遵守したプラグインさえ作成すれば
よいために、各研究機関が開発しているマルチメディア
データ解析処理技術をその交信規定にあわせて修正する
程度の軽微な工数で多くのユーザに機能を提供できる。

【００１５】（２）本発明のマルチメディア情報処理装
置は、入力されたマルチメディア情報を解析し、該解析
結果を出力するマルチメディア情報処理装置において、
前記マルチメディア情報を解析する複数種類の解析手段
を着脱可能に接続する複数の接続手段と、この複数の接
続手段に接続された複数種類の解析手段の解析結果と前
記入力されたマルチメディア情報とを出力する出力手段
と、を具備したことを特徴とする。

【００１６】本発明によれば、複数種類のマルチメディ
ア解析処理を複合的に実行できる。すなわち、高度なマ
ルチメディアデータ解析手法の併用により、それらの精
度向上や新しい機能の提供が期待できる。

【００１７】（３）本発明のマルチメディア情報処理装
置は、前記解析手段の解析処理の一部（例えば特徴量計
算）を実行する処理実行部をさらに具備し、この処理実
行部での処理結果を前記接続手段で接続された解析手段
へ送信することを特徴とする。

【００１８】例えば、特徴量計算は、本来ならば類似シ
ョット検出等を行うプラグイン側で行うべきものである
が、画像解析や音声解析などに基本的な特徴量であれ
ば、どのようなプラグインが装着されようとも、それら
の多くでこういった基本的な特徴量を利用することが想
定できる。このような場合、すべてのプラグイン設計者
が同じ結果を得るための色相ヒストグラム計算部分など
をプラグインに組み込むことになるが、本体側に基本的
な特徴量計算部を保持していればプラグイン側の処理手
続きは簡便になり、プラグイン開発時の負担も軽減され
る。

【００１９】（４）本発明のマルチメディア情報処理装
置は、前記複数の接続手段に接続された複数種類の解析
手段のそれぞれの解析機能（例えば、カット検出、シー
ン検出、顔検出等）に基づく処理実行順序に従って該解
析手段に対し処理動作の開始を指示する指示手段をさら
に具備したことを特徴とする。

【００２０】本発明によれば、例えば、カット検出によ
って分けられたショットの中から類似のものを選び出
し、類似であるショットが存在する時間区間を上位階層
の「シーン」とするために、カット検出プラグインと類
似ショット検出（シーン検出）プラグインの２つを接続
した場合、カット検出プラグインは類似ショット検出プ
ラグインより前に実行されなければならない。このよう
な各プラグインの機能に基づく処理実行順序を（例えば
プラグイン機能ＩＤを参照して）自動的に判定して処理
実行を指示することにより、解析機能の異なる複数のプ
ラグインのそれぞれの解析結果を効率よく利用できる。

【００２１】（５）本発明のマルチメディア情報処理装
置は、前記接続手段に接続された解析手段での処理能力
に応じて該解析手段へのマルチメディア情報の入力を調
節する手段をさらに具備したことを特徴とする。

【００２２】例えば、テレビ放送を受信しながら本装置
を使おうとしている場合、エンコーダが１秒に３０フレ
ームの速度でエンコードを行っているのにもかかわら
ず、後段のプラグインの処理能力が１秒に２９フレーム
であったとする。するとマルチメディアデータ入力バッ
ファには最初の１秒で１フレーム分のデータが引き去ら
れずに残る。さらに１秒後には２フレーム分が残り…と
いうふうにマルチメディアデータ入力バッファの残高が
徐々に増えていき、バッファの大きさが有限である限り
いずれ破綻をきたす。本発明によれば、このような入力
データがリアルタイムに送られてくる放送などのストリ
ームである場合にも、破綻をきたすことなく装置が動作
することが保証される。

【００２３】（６）本発明のマルチメディア情報処理装
置は、前記接続手段に接続される解析手段での解析結果
に基づき前記出力手段の出力を制限する手段をさらに具
備したこと特徴とする。

【００２４】本発明によれば、例えば、あらかじめ希望
のフレームイメージをプラグインのに登録しておき、そ
の登録画面と類似あるいは一致した画面を検出した際
に、入力マルチメディアデータとしてのテレビ放送の録
画を開始させるためのイベントを発生するという機能を
持ったプラグインがあれば、毎週同じタイトル画面で始
まるドラマ放送を録画したいのに、その前にある野球中
継の延長時間が不明なために正確な録画ができない、と
いった問題を解決できる。すなわち、高度なマルチメデ
ィア情報解析技術を有効活用した留守録（留守番録画）
が実現する。

【００２５】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００２６】本発明の実施形態に係るマルチメディア情
報処理装置の各構成例を挙げて説明する前に、各例に共
通の事項について説明する。

【００２７】本発明のマルチメディア情報処理装置は、
それが単体の装置として働く場合、その入力端子は通常
のビデオデッキと同様の映像音声入力端子、またはテレ
ビ放送を受信するためのアンテナ端子、またはマルチメ
ディアデータ（映像、音声、テキストデータなどの総
称）をディジタル受信するためのシリアルポート、パラ
レルポート、ＰＣカードスロットなどである。またこの
場合、マルチメディアデータ解析部（以下「プラグイ
ン」と略すことがある）は、解析処理手続きを電子的に
記憶した基盤カートリッジやボックスで、本発明のマル
チメディア情報処理装置（以下「本体」と略すことがあ
る）に挿入またはケーブル接続され、本体から送られた
電子的情報を受け、プラグイン内で処理を行い、解析結
果を電子的情報として本体に送信する形態のものであ
る。あるいはプラグインは、メモリカードや磁気テー
プ、光磁気ディスクなどに解析処理手続きを記憶したも
ので、本体での処理に先駆けて、または処理の際に本体
内のメモリ領域にコピーされ、本体内でプログラムとし
て解析処理が実行される。

【００２８】本発明のマルチメディア情報処理装置が単
体の装置として働く場合、その出力端子は通常のビデオ
デッキと同様の映像音声出力端子、または映像音声出力
をテレビ電波としてテレビ受像機に送信するためのアン
テナ端子、またはパーソナルコンピュータ用のディスプ
レイに表示させるためのＲＧＢ端子、電話回線に送信す
るためのモジュラー端子、パーソナルコンピュータなど
にディジタルデータを出力するためのシリアルポート、
パラレルポート、ＰＣカードスロット、赤外線ポートな
どである。

【００２９】本発明のマルチメディア情報処理装置は、
それが電子計算機内のプログラムとして働く場合、その
入力端子はコンピュータに装備されたキャプチャボード
が出力したマルチメディアデータをコンピュータ内でデ
ィジタルデータとして受け入れる役割を果たすソフトウ
ェアインタフェース、または既にディジタル化されたマ
ルチメディアデータをアプリケーションソフトウェアが
利用できるように提供されたソフトウェアインタフェー
スである。またこの場合、マルチメディアデータ解析部
（以下、上記と同様に「プラグイン」と略すことがあ
る）は、解析処理手続きを電子的に記憶した基盤カート
リッジやボックスで、本発明のマルチメディア情報処理
装置（以下、上記と同様に「本体」と略すことがある）
に挿入またはケーブル接続され、本体から送られた電子
的情報を受け、プラグイン内で処理を行い、解析結果を
電子的情報として本体に送信する形態のものである。あ
るいはプラグインはメモリカードや磁気テープ、光磁気
ディスクなどに解析処理手続きを記憶したもので、本体
での処理に先駆けて、または処理の際に本体内のメモリ
領域にコピーされ、本体内でプログラムとして解析処理
が実行される。

【００３０】本発明のマルチメディア情報処理装置が電
子計算機内のプログラムとして働く場合、その出力端子
はコンピュータ内のディジタルデータを外部に表示する
ために用意されたディスプレイデバイスドライバ（ソフ
トウェア）、またはディジタルデータをそのまま外部に
出力するためのデバイスドライバなどである。

【００３１】どちらの場合にも、本発明のマルチメディ
ア情報処理装置内に、磁気テープ、光磁気ディスク（フ
ロッピーディスク、ハードディスク、ＤＶＤ）などの記
録再生装置を含んでおり、上記の入力および出力端子は
装置内でこの記録再生装置に接続されていてもよいし、
記録再生装置は外部で供給されるものでもよい。

【００３２】入出力がディジタルデータの場合、パーソ
ナルコンピュータなどで用いられているＡＶＩファイル
形式、ＱｕｉｃｋＴｉｍｅ形式、ＭＰＥＧファイル形式
などのファイル形式をとっていてもよい。

【００３３】いずれにしても以下に説明する実施形態で
は、入力端子、出力端子、入出力のデータ形式およびプ
ラグインの提供形態について限定するものではない。

【００３４】また、以下図１〜７には同じ説明番号を付
した構成部が存在するが、それらは特に説明がない限り
前段の実施例で説明したのと同じ役割、機能を持つもの
である。特に図ごとに構成部を区別する場合には「図１
の１０１」などの記述で示す。図１〜７中では情報の流
れに即して参考のために線種を異にしてある。実線は映
像、音声などのマルチメディアデータ、および前処理に
よって得られた映像、音声についての特徴量の流れを示
す。太い実線は、マルチメディアデータ解析部の解析処
理によって得られたカット（＝シーンチェンジ、場面の
切り替わり）イベント、登録画面と入力画面が合致した
ことを示す発見イベント、入力画面と類似の画面が既に
登場したことを示す類似フレームイベントなど、マルチ
メディアデータに促した付加情報の流れを示す。二重線
は情報の流れをコントロールするコントロール情報を示
し、破線はその他の情報を示す。

【００３５】（第１の実施形態）図１は、第１の実施形
態に係る第１のマルチメディア情報処理装置の構成例を
示したものである。

【００３６】入力端子１０１から入力されたマルチメデ
ィアデータはマルチメディアデータ入力部１０２によっ
てこれ以降の工程で電子的に処理可能なディジタルデー
タに翻訳される。

【００３７】入力されたマルチメディアデータとしての
映像、音声などがＭＰＥＧその他の形式で圧縮され、あ
るいはデータが暗号化されていた場合には、デコーダ１
０３によって伸長あるいは解読復元が行われ、処理に適
切な単位でマルチメディアデータ入力バッファ１０４に
送られる。処理に適切な単位とは、画像であれば１フレ
ーム、音声であれば１音節、テキストであれば１文など
であるが、音声の場合には数ミリ秒などの固定単位で区
切ってもいいし、ＭＰＥＧ圧縮された映像の場合などは
圧縮の単位ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ
ｓ：通常１５フレーム程度）を一度にマルチメディアデ
ータ入力バッファ１０４に送ってもよい。いずれにして
も本発明ではマルチメディアデータ入力バッファに送ら
れる形式や量を限定しない。

【００３８】一方、マルチメディアデータ解析ソケット
部１０８は、プラグイン受け入れ端子１０９を持ってお
り、このプラグイン受入端子１０９を経由してマルチメ
ディアデータ解析部１１０と接続するようになってい
る。

【００３９】マルチメディアデータ解析部１１０とは、
たとえば映像カット検出などを行う。この場合、マルチ
メディアデータ中の映像フレーム情報がマルチメディア
データ解析部１１０に送られ、マルチメディアデータ解
析部１１０では前回送られたフレームイメージを保持し
ている。この前回のフレームと今回のフレームとを比較
し、その差が設定値よりも大きかった場合には場面の切
り替わりである「カット」が生じたと判定するものであ
る。カットが検出されると、この「カット検出プラグイ
ン」としての役割を持ったマルチメディアデータ解析部
１１０はカットが生じた旨を示すメッセージ（イベント
情報）をプラグイン受入端子１０９を経由して本体に通
知する。

【００４０】映像カット検出を行うプラグイン（カット
検出プラグイン）の構成例を図８に示す。

【００４１】マルチメディアデータ中の動画像の映像フ
レーム情報は、定められた時間間隔で入力端子２０１を
介してをフレームメモリ２０２に計算機で処理可能な静
止画像データとして一時記憶される。

【００４２】フレームメモリ２０２に蓄積された１フレ
ームの画像データは、特徴量計算部２０３によって特徴
量が数量化される。ここで、画像の特徴量とは、例え
ば、画像データそのものでもよいし（この場合、格納記
憶領域や処理時間を大きく浪費するので入力画像そのも
のを特徴量とするのは好ましくない）、映像の解像度を
落として特徴量としてもよい。その他、輝度（Ｙ）、輝
度と赤との色差（Ｃｒ）、輝度と青との色差（Ｃｂ）の
ＹＣｒＣｂ３次元空間に基づく特徴量、画像の輝度値平
均等もあり、特徴量計算の方法は特に限定するものでは
ない。

【００４３】特徴量計算部２０３で計算された特徴量
は、入力画像が新規の場合は、特徴量記憶部２０６に記
録される。

【００４４】類似度判定部２０４は、今入力端子２０１
を介してフレームメモリ２０３に入力された画像の特徴
量と特徴量記憶部２０６に記憶されている特徴量とを比
較し、合致の度合いを調べる。合致の度合いは、例え
ば、今入力された画像に関する特徴量と特徴量記憶部２
０６内の画像に対する特徴量の距離を計算することによ
り行う。

【００４５】合致の度合いが高い、すなわち、距離が予
め設定した値より近い場合には、今入力した画像は既出
であると判定され、比較の対象となった既出フレームの
特徴量等は特徴量記憶部２０６から削除され、代わりに
今入力された画像に関する特徴量等が新規登録される。

【００４６】既出と判定されなかった場合、すなわち、
新規である場合、映像中の場面転換（カット）が検出さ
れたとして、その１フレームの特徴量等を特徴量記憶部
２０６に追加登録するとともに、カットが生じた旨を示
すメッセージ（イベント情報）およびカットが検出され
た映像そのもの、あるいはいずれか一方を選択的に、出
力端子２０７、プラグイン受入端子１０９を経由して本
体に通知する。

【００４７】パラメータ設定部２０５は、本体から通知
された、プラグインと本体でやり取りする際に必要なデ
ータの形式等のパラメータ値（例えば、フレームサイズ
（幅、高さ）、フレームナンバー等の）等が設定される
ようになっている。

【００４８】図９は、マルチメディア情報処理装置本体
の出力端子１１６に表示装置が接続されている場合、上
述のようにカット検出された際、マルチメディアデータ
解析ソケット部１０８が、そのカット毎に１枚の小画面
（アイコン）を作成して、表示装置に表示した例を示し
ている。図９では、検出されたカット全体の一覧表示の
一画面を表している。

【００４９】マルチメディアデータ解析部１１０は「話
者識別プラグイン」でもよい。この場合、マルチメディ
アデータ解析部１１０にはマルチメディアデータ中の音
声情報（例えば音声のセグメント）が送られ、プラグイ
ン（マルチメディアデータ解析部１１０）側では特徴量
記憶部２０６に前回送られてきた音声情報（例えば音声
のセグメント）を保持しており、類似度判定部２０４で
は、前回の音声情報と今回の音声情報とを比較する。こ
の差が設定値よりも大きかった場合には、話者の交代が
生じた旨を示すメッセージを本体に通知する。

【００５０】このように本発明ではプラグイン（マルチ
メディアデータ解析部１１０）として用いられるマルチ
メディアデータ解析手法の種類によって限定されない。

【００５１】この際、プラグインと本体でやり取りする
際のデータの形式（例えば、フレームサイズ（幅、高
さ）、フレームナンバー等のパラメータ値）等のインタ
フェースは全ての種類のプラグインに共通して、あるい
は、プラグインの種類毎に予め規定されていてもよく、
例えば、図１０に示すように本体が動作開始に先だって
当該プラグインに規定されているパラメータ値を一括し
て通知し、パラメータ設定部２０５に設定するようにし
てもよい。

【００５２】また、図１１に示すように、プラグインと
本体との間の通信によりプラグインに設けられたパラメ
ータ設定部２０５に必要なパラメータ値等を設定するよ
うにしてもよい。すなわち、プラグイン側でパラメータ
値等の情報が必要な際に本体側に求めるメッセージを送
り、本体がそれに応えて送信する方式でもよい。

【００５３】図１０と図１１はこの前者と後者の場合で
本体とプラグインが交信する１セッション（交信）の様
子の例を示したものである。図１０は一括して本体から
プラグインに情報を送信する場合で、本体が送信するデ
ータの形式はあらかじめ規定されており、プラグインは
それに沿って機能するようにデザインされている。セッ
ションは本体からプラグインにデータを送信し、それに
対しプラグインがメッセージを返すことで完了する。
「イベントがない」というのもメッセージの一種とす
る。

【００５４】図１１は、例えば、マルチメディアデータ
入力バッファ１０４が更新され、新しいデータが受信可
能であるメッセージをまず本体がプラグインに送信する
と、プラグイン側で必要な情報をリクエストし、それに
応えるかたちで本体が情報を送信する。セッションの終
了はプラグイン側がイベントメッセージ（「イベントが
ない」というイベントメッセージも可）を送信すること
で認識してもいいし、あらかじめ規定したセッションエ
ンドメッセージを送信することで認識してもよい。いず
れの場合にもリクエストコードや終了コード、イベント
メッセージコードはあらかじめ規定しておく。

【００５５】マルチメディアデータソケット部１０８
は、受信したイベントをユーザに提示する。たとえばプ
ラグインとしてＣＭ認識機能が搭載されており、本発明
のマルチメディア情報処理装置がテレビ放送を処理して
いる場合、コマーシャル放送の開始または終了をユーザ
は知ることができるので、コマーシャル放送中は席を外
したり、逆にコマーシャル放送だけに注意を喚起するこ
ともできる。この提示方法は「ＣＭになりました」とい
った音声出力でもいいし、単なるアラームでもよい。

【００５６】あるいは本発明のマルチメディア情報処理
装置が表示装置に接続されている場合にはその表示装置
に表示してもよい。また、カット検出プラグインの場
合、検出されたカット毎に１枚の小画面（アイコン）を
作成して、図９に示したように表示装置に表示してもよ
い。

【００５７】以上の解析処理を受けたマルチメディアデ
ータは、マルチメディアデータ出力バッファ１１３に送
られ、出力に適切なだけ蓄積されるとエンコーダ１１４
によって（必要ならば）圧縮、暗号化などを施され、マ
ルチメディアデータ出力部１１５で出力形式に符号化さ
れて、出力端子１１６から出力される。

【００５８】出力に適切な単位とは、たとえばエンコー
ダ１１４が３フレームをまとめてエンコードするもので
ある場合には３フレームのことである。また通常コンピ
ュータ内のファイル記録方法の場合には、出力バッファ
をメモリ領域内に確保しており、規定されたバイト数
（４ｋバイトなど）だけの情報が蓄積されると出力され
る。

【００５９】以上により、ユーザは自分が必要とするプ
ラグインを選択して本体に装着することでき、そのプラ
グインが提供する機能で、マルチメディアデータ解析処
理を行うことができる。

【００６０】ユーザはマルチメディアデータ解析部１１
０を除くマルチメディア情報処理装置本体だけを持って
いればよく、プラグイン開発者はマルチメディア情報処
理装置本体との交信規定を遵守したプラグインさえ作成
すればよいために、各研究機関が開発しているマルチメ
ディアデータ解析処理技術をその交信規定にあわせて修
正する程度の軽微な工数で多くのユーザに機能を提供で
きる。

【００６１】（第２の実施形態）図２は、本発明の第２
の実施形態に係る第２のマルチメディア情報処理装置の
構成例を示したものである。

【００６２】図１の第１のマルチメディア情報処理装置
と比較して、第２のマルチメディア情報処理装置では、
付加情報バッファ１１７、エンコーダ１１８および付加
情報出力部１１９をさらに具備している。

【００６３】マルチメディアデータ解析ソケット部１０
８は、プラグインから送られてきた情報のうちイベント
情報だけを付加情報出力バッファ１１７に送信する。前
述ののマルチメディアデータ出力バッファ１１３から出
力端子１１６までの流れと同様に、付加情報（イベント
情報）も適切な単位ごとにエンコーダ１１８でエンコー
ドされ、付加情報出力部１１９で符号化された上で、付
加情報出力端子１２０に出力される。

【００６４】これにより、イベント情報を本来のマルチ
メディアデータ（たとえばテレビ放送をディジタル化し
た映像音声など）と別に出力を行うことができるので、
イベント情報を記録して後で再現させることができる。

【００６５】たとえば本件出願人から既に出願した特開
平９−２７０００６号に記載してあるように、映像をカ
ットごとに切り分けさらに上位の単位「シーン」でまと
める機能を持ったプラグインを使用している場合、テレ
ビ放送を受信、録画しながらこのようなカット検出、シ
ーン検出を行い、この解析結果をコンピュータ上のファ
イル、あるいはＤＶＤなどの記録メディアのインデック
ス情報として保存することができるので、後日改めて記
録済みのテレビ放送を見る際に、インデックスを利用し
て効率的に内容を把握することができる。

【００６６】（第３の実施形態）図３は、本発明の第３
の実施形態に係る第３のマルチメディア情報処理装置の
構成例を示したものである。

【００６７】図２の第２のマルチメディア情報処理装置
と比較して、第３のマルチメディア情報処理装置では、
マルチメディアデータ前処理部１０６およびマルチメデ
ィアデータ前処理情報記憶部１０７をさらに具備してい
る。

【００６８】マルチメディアデータ前処理部１０６は、
入力されたマルチメディアデータから映像、音声などの
特徴量を計算する。この特徴量とは、たとえば映像フレ
ームであればＲＧＢ値の平均値や色相ヒストグラム、輝
度ヒストグラム、音声であればスペクトル、テキスト情
報であれば、その言葉の属すカテゴリなどで、一般に原
データより少ない情報量で原データの特徴を記述する情
報である。たとえば、特開平９−２７０００６号に記載
されているように、類似ショットを検出する方法として
色相・輝度ヒストグラムを併用することがある。こうい
った特徴量計算は、本来ならば類似ショット検出を行う
プラグイン側で行うべきものであるが、画像解析や音声
解析などに基本的な特徴量であれば、どのようなプラグ
インが装着されようとも、それらの多くでこういった基
本的な特徴量を利用することが想定できる。このような
場合、すべてのプラグイン設計者が同じ結果を得るため
の色相ヒストグラム計算部分などをプラグイン（具体的
には、図８の特徴量計算部２０３）に組み込むことにな
るが、本実施形態のように、本体側に基本的な特徴量計
算部を保持していればプラグイン側の処理手続きは簡便
になり、プラグイン開発時の負担も軽減される。

【００６９】このマルチメディアデータ前処理部１０６
で計算された特徴量はマルチメディアデータ解析ソケッ
ト部１０８に送られ、そこを経由して各プラグインに送
られる。必要があれば、既に処理済の特徴量をマルチメ
ディアデータ前処理情報記憶部１０７に対して記憶・呼
び出しさせ、同様にマルチメディアデータ解析ソケット
部１０８を経由して各プラグインに送ることができる。
この場合、図８に示したような構成のプラグインでは、
少なくとも類似度判定部２０４、パラメータ設定部２０
５、特徴量記憶部２０６を具備していればよい。

【００７０】また、図１１を用いて説明した場合のよう
に、プラグイン側から過去に蓄積された特徴量を求めて
きた場合にも、このマルチメディアデータ前処理情報記
憶部１０７から過去の特徴量を呼び出し、プラグインに
送信してもよい。

【００７１】マルチメディアデータ前処理部１０６およ
びマルチメディアデータ前処理情報記憶部１０７は、マ
ルチメディアデータ入力部１０２、デコーダ１０３およ
びマルチメディアデータ入力バッファ１０４と一体のも
のでもよい。たとえば入力データがＭＰＥＧ圧縮された
ファイルまたはストリームであった場合、文献「動きベ
クトル符号量を用いたＭＰＥＧ映像からの高速カット検
出」（電子情報通信学会・研究報告ＰＲＭＵ９６−１０
０、金子、堀）に示されているような高速カット検出方
式を用いてカット検出を行うことができる。この場合、
プラグインの能力を用いずに、ＭＰＥＧ圧縮ファイルま
たはストリームのデコード時に軽微な計算負担でカット
イベントを検出することができる。このように前処理部
でイベントメッセージを生成し、それをプラグインから
送られてきたメッセージと同様に取り扱うこともでき
る。

【００７２】（第４の実施形態）図４は本発明の第４の
実施形態に係る第４のマルチメディア情報処理装置の構
成例を示したものである。

【００７３】図３の第３のマルチメディア情報処理装置
と比較して、プラグイン受入端子１０９が複数設けられ
（図４では、例えば２つのプラグイン受け入れ端子１０
９ａ、１０９ｂの場合を示しており、以下、これらをプ
ラグイン受入端子１０９と総称する）、複数のマルチメ
ディアデータ解析部１１０（図４では、例えば２つのプ
ラグイン１１０ａ、１１０ｂの場合を示しており、以
下、これらをプラグイン１０９と総称する）を受け入れ
ることが可能になっている。

【００７４】これにより、入力端子１０１から入力され
るひとまとまりのマルチメディアデータに対して複数の
解析処理を施すことができる。

【００７５】例えばカット検出プラグインと顔検出プラ
グインの２つを同時に接続することにより、カットが生
じた最初のフレームにだけ顔の存在をチェックするよう
に顔検出プラグを作成することができる。これは、本体
から顔検出プラグインに送られてくる情報の中で「ショ
ット番号」をウォッチしておき、この数字が更新（増
加）したときにカットが検出されたものとして顔検出の
処理手続きに入ればよく、ショット番号が不変の間は何
も行わずに「イベントなし」メッセージを本体に返して
おけばよい。

【００７６】また、シーン検出プラグイン、顔検出プラ
グインと話者識別プラグインとの３つを同時に接続する
ことにより、顔検出プラグインとシーン検出プラグイン
からその場面（シーン）の登場人物をリストアップした
うえで話者との照合を行い、その場面に登場していない
話者を識別対象から取り除くことで、話者識別の精度を
向上させられることが期待できる。

【００７７】このように、高度なマルチメディアデータ
解析手法の併用により、それらの精度向上や新しい機能
の提供が期待できる。

【００７８】（第５の実施形態）図５は、本発明の第５
の実施形態に係る第５のマルチメディア情報処理装置の
構成例を示したものである。

【００７９】図４の第４のマルチメディア情報処理装置
と比較して、第５のマルチメディア情報処理装置では、
マルチメディアデータ解析コントロール部１１１をさら
に具備している。

【００８０】プラグインに実行すべき順序が存在する場
合、このマルチメディアデータ解析コントロール部１１
１がその実行順に並べ替える。例えば、カット検出によ
って分けられたショットの中から類似のものを選び出
し、類似であるショットが存在する時間区間を上位階層
の「シーン」とするために、カット検出プラグインと類
似ショット検出（シーン検出）プラグインの２つを接続
した場合、カット検出プラグインは類似ショット検出プ
ラグインより前に実行されなければならない。この順序
を把握するために、各プラグイン（マルチメディアデー
タ解析部１１０）は、本体に接続（プラグイン受入端子
１０９に接続）されたとき、または接続後、一連の解析
処理を行うための最初のデータがプラグインに送られる
前に、図５の点線の経路をつたってプラグイン情報をマ
ルチメディアデータ解析コントロール部１１１に送信す
る。

【００８１】このプラグイン情報は、例えば、プラグイ
ンＩＤ、プラグイン製作者ＩＤ、プラグインが必要とす
るデータの種類などを含むが、もっとも重要な情報とし
てプラグイン機能ＩＤを持つ。プラグイン機能ＩＤは、
あらかじめ規定されている数値であり、そのプラグイン
がどのような機能を持つのかを表すものである。たとえ
ば映像のカットを検出するプラグインであることを示す
なら１６進数の「１００１」、類似ショットを検出する
プラグインであることを示すなら１６進数の「１００
８」、などである。

【００８２】マルチメディアデータ解析コントロール部
１１１は、このプラグイン情報を受け取り、プラグイン
機能ＩＤに基づいて、各プラグインの実行順序を決定
し、実行順テーブルを作成する。

【００８３】処理単位のデータがマルチメディアデータ
解析ソケット部１０８からプラグインに流れ込もうとす
る際、このマルチメディアデータ解析コントロール部１
１１が、上記の実行順テーブルにしたがって、プラグイ
ンに必要なデータを送り込む。マルチメディアデータ解
析コントロール部１１１が決定する順序の中には、プラ
グインの組み合わせによっては同時に実行する（あるい
は同時に実行することが可能である）という場合もあり
うる。

【００８４】コンピュータが複数の解析処理を同時に行
える機能を持ったものである場合（マルチスレッド）、
前段のプラグインの処理終了を待たずに平行して別のプ
ラグインによる処理を行わせたほうが全体として処理速
度が早くなる場合がある。例えばカット検出プラグイ
ン、シーン検出プラグイン、および顔検出プラグインの
３つを接続する場合、カット検出プラグインは他の２つ
に先駆けて実行される必要があるが、残りの２つは同時
実行されても差し支えない。また、このマルチメディア
データ解析コントロール部の判定結果が、あるプラグイ
ンは実行しない、というものでもよい。

【００８５】例えば、前述の第３の実施形態で説明した
ように、入力するデータがＭＰＥＧファイルまたはスト
リームであり、マルチメディアデータ前処理部１０６で
ＭＰＥＧ高速カット検出が既に完了している場合、仮に
カット検出プラグインが接続されていてもそれを実行す
る必要はない。このような場合にはカット検出プラグイ
ンは接続しない（データを送信せず、機能させない）。
さらに、このマルチメディアデータ解析コントロール部
が表示機能を持ち、自動順序判定結果を表示した上でユ
ーザが実行順序を補正させてもよい。

【００８６】（第６の実施形態）図６は、本発明の第６
の実施形態に係る第６のマルチメディア情報処理装置の
構成例を示したものである。

【００８７】図５の第５のマルチメディア情報処理装置
と比較して第６のマルチメディア情報処理装置では、マ
ルチメディアデータ入力コントロール部１０５をさらに
具備している。

【００８８】入力端子１０１からマルチメディアデータ
入力バッファ１０４までの経路がマルチスレッドで動作
する場合など、マルチメディアデータ受信のスピードが
後段の解析処理および出力のスピードよりも速い場合が
ある。例えば第６のマルチメディア情報処理装置がＭＰ
ＥＧエンコーダを搭載したもので、テレビ放送を受信し
ながら本装置を使おうとしている場合、エンコーダが１
秒に３０フレームの速度でエンコードを行っているのに
もかかわらず、後段の処理能力が１秒に２９フレームで
あったとする。するとマルチメディアデータ入力バッフ
ァ１０４には最初の１秒で１フレーム分のデータが引き
去られずに残る。さらに１秒後には２フレーム分が残り
…というふうにマルチメディアデータ入力バッファ１０
４の残高が徐々に増えていき、バッファの大きさが有限
である限りいずれ破綻をきたす。

【００８９】そこでマルチメディアデータ入力コントロ
ール部１０５が１０６以下後段の処理速度を測定し、最
適なタイミングでデータを後段に流すようにコントロー
ルする。この場合、たとえばマルチメディアデータ入力
バッファ１０４は一定量のデータを保持し、古いものか
ら捨てていけばよく、マルチメディアデータ入力コント
ロール部１０５が新しいデータの流出を許容した時点で
もっとも古いデータのコピーを後段の処理経路に流せば
よい。もちろん、この場合かならずしもバッファから取
り出すのがもっとも古いデータである必要はない。

【００９０】たとえば第６のマルチメディア情報処理装
置が、パーソナルコンピュータ内のプログラムであり、
１０１〜１０４までがテレビチューナに接続されたキャ
プチャボードだとすると、キャプチャボードは常にその
最高能力（仮に毎秒１５フレーム）でテレビ画面をマル
チメディアデータ入力バッファ１０４に蓄えている。こ
の場合、マルチメディアデータ入力バッファ１０４の容
量は１フレームである。マルチメディアデータ入力コン
トロール部１０５より後段の処理能力が毎秒１０フレー
ムであったとしても、マルチメディアデータ入力コント
ロール部１０５の制御により、１／１０秒に１回だけデ
ータ流路がつながれ、その時点でマルチメディアデータ
入力バッファ１０４に蓄積されていたフレームデータが
後段に送られる。

【００９１】図１２、１３を用いて、この場合の動作例
を更に説明する。

【００９２】図１２は、第５のマルチメディア情報処理
装置がマルチスレッドで動作する場合（接続された各プ
ラグイン毎にプロセッサを割り当てることができる場
合、あるいは、各プラグインのそれぞれにプロセッサが
具備されている場合）のデータの流れを模式的に示した
図である。図１２では、Ｐ１、Ｐ２、Ｐ３の３つのプラ
グインが接続されている。Ｐ１はＰ２、Ｐ３に先駆けて
実行すべきであり、Ｐ２、Ｐ３は同時に実行してもよい
ことがマルチメディアデータ解析コントロール部１１
１）ですでに関知されている。

【００９３】まずマルチメディアデータ（映像フレーム
など）を受信するに先駆けて、各プラグインには初期化
指令が送られ、各プラグイン側ではメモリ領域確保など
の必要な初期化処理を完了した上でデータ受信スタンバ
イ状態（ＳＴＢＹ）になる。

【００９４】マルチメディアデータの受信が開始される
と、入力バッファには決められたデータ単位（たとえば
映像の１フレームなど）のデータが蓄積され、逐次更新
される。すべてのプラグインがデータ受信可能な状態に
なり、入力バッファに新しいデータが蓄積されると、マ
ルチメディアデータ解析コントロール部１１１で管理さ
れている呼び出し順にしたがって、各プラグインにデー
タが送られ、各プラグインは解析処理動作を行う（図の
斜線部分は処理中を示す）。

【００９５】図１２ではデータパケット（フレーム）
「０」が各プラグインに送られている。すべてのプラグ
インのデータ処理が完了すると、処理済みの付加情報が
出力される。再びすべてのプラグインが受信可能な状態
になり、入力バッファに新しいデータが蓄積されると、
上記と同様に次のデータパケットに対しての処理手続き
が行われる。

【００９６】以上の処理手続きの中でマルチメディアデ
ータ入力コントロール部１０５の働きは、すべてのプラ
グインおよび入力バッファの処理状況を把握し、解析処
理にデータを流すタイミングをコントロールすることで
ある。

【００９７】図１３は、第５のマルチメディア情報処理
装置がマルチスレッドで動作しない場合（接続された複
数のプラグインがただ１つのプロセッサを用いる場合）
のデータの流れを模式的に示した図である。図１２と同
様に、この例でもＰ１、Ｐ２、Ｐ３の３つのプラグイン
が接続されている。また同様に、 Ｐ１はＰ２、Ｐ３に
先駆けて実行すべきであり、Ｐ２、Ｐ３は同時に実行し
てもよいことがマルチメディアデータ解析コントロール
部１１１）ですでに関知されているものの、マルチスレ
ッドでないので複数のプラグインを同時に実行させるこ
とはできない。したがって、プラグインは準に「Ｐ１→
Ｐ２→Ｐ３」または「Ｐ１→Ｐ３→Ｐ２」の順で実行さ
れるが、以下の例では前者の順で実行されるように決定
されたとする。

【００９８】この例の場合、プラグインに処理開始を指
示するとプラグインでの処理が終了するまで他の処理を
行うことができない。したがって、初期化指示やデータ
処理は前段のプラグインでの処理が完了したのを待って
行われる。

【００９９】新しいデータが到着し入力バッファに格納
されると、あらかじめマルチメディアデータ解析コント
ロール部１１１で決定された順でデータがプラグインに
送られる。プラグインが解析処理を行っている間、入力
バッファは更新されない（マルチメディアデータ入力端
子からマルチメディアデータ入力バッファまでが一体の
基盤から構成されるビデオキャプチャボードのようなも
ので、それが単体でバックグラウンド動作する場合には
入力バッファは図１２と同様に逐次更新されてもよい。
そうでない場合、ビデオキャプチャ部へのキャプチャ指
示がマルチスレッドにできないので入力バッファのデー
タは更新されない）。

【０１００】すべてのプラグインでの解析処理が完了す
ると、入力バッファにはその時点での最新のデータパケ
ットが蓄積され、上記と同様の処理となる。以上の処理
手続きの中でマルチメディアデータ入力コントロール部
１０５の働きは、すべてのプラグインおよび入力バッフ
ァの処理状況を把握し、「次はデータをバッファに取り
込む」「次はＰ１にデータを送る」などの手順通りに指
示を発することである。

【０１０１】このマルチメディアデータ入力コントロー
ル部１０５の存在により、入力データがリアルタイムに
送られてくる放送などのストリームである場合にも、破
綻をきたすことなく装置が動作することが保証される。

【０１０２】（第７の実施形態）図７は、本発明の第７
の実施形態に係る第７のマルチメディア情報処理装置の
構成例を示したものである。

【０１０３】図６の第６のマルチメディア情報処理装置
と比較して第７のマルチメディア情報処理装置では、マ
ルチメディアデータ出力コントロール部１１２をさらに
具備している。

【０１０４】プラグインの中には録画の開始、終了を指
示するものが存在してもよい。例えばあらかじめ希望の
フレームイメージをプラグインの特徴量記憶部２０６に
登録しておき、類似度判定部２０４にて、その登録画面
と類似あるいは一致した画面を検出した際に、入力マル
チメディアデータとしてのテレビ放送の録画を開始させ
るためのイベントを発生するという機能を持ったプラグ
インがあれば、毎週同じタイトル画面で始まるドラマ放
送を録画したいのに、その前にある野球中継の延長時間
が不明なために正確な録画ができない、といった問題を
解決できる。

【０１０５】また、音声認識を行い、自分の希望の話
題、たとえば「為替相場」という単語が発音されたら録
画を開始させるイベントを発生するプラグインでもいい
し、字幕認識を行い、自分の好みのタレント名が字幕に
登場したら録画を開始させるイベントを発生するという
プラグインでもいい。このようなプラグインをここでは
総称して「待ち受けプラグイン」と称する。

【０１０６】マルチメディアデータ出力コントロール部
１１２は、プラグインから送られてくるイベント情報の
うち、このような録画開始・終了情報に従って、出力流
路の開閉を行う。たとえば、上記のように登録した画面
が登場したら録画を開始する待ち受けプラグインの場
合、ドラマのオープニング画面が出た瞬間から５４分間
の録画などのようにユーザは待ち受けプラグイン上で設
定する。すると待ち受けプラグは登録済みのオープニン
グ画面が放送され受信されたときに録画開始イベントを
送信する。するとマルチメディアデータ出力コントロー
ル部１１２が出力流路をつなぎ、映像音声のデータがコ
ンピュータ上のマルチメディアデータとして保存開始さ
れる。

【０１０７】録画開始イベント送信後５４分が経過する
と、待ち受けプラグインが録画終了イベントを送信し、
これを受けてマルチメディアデータ出力コントロール部
１１２が出力流路を切り、映像音声のファイル記録は終
了する。録画開始イベントの中には、各待ち受けプラグ
インでのユーザ指示によって「何秒前から録画」「何シ
ョット前から録画」といった情報を含めてもよい。

【０１０８】マルチメディアデータ出力バッファ１１３
および付加情報出力バッファ１１７の格納容量が十分に
大きい場合には、図７でマルチメディアデータ出力コン
トロール部１１２に接続されているスイッチ１３１、１
３２はそれぞれ１１３と１１４、１１７と１１８の中間
に設けられていることが望ましい。

【０１０９】録画開始終了イベントと関係なく両出力バ
ッファ１１３、１１７には常に最新の数秒〜数分のデー
タを格納しておく。待ち受けプラグインから「何秒前か
ら録画」の指示がきたとき、マルチメディアデータ出力
コントロール部１１２は両バッファ１１３、１１７に働
きかけて条件に合致するデータだけを両バッファ１１
３、１１７に残し、それ以外を削除した上でスイッチ１
３１、１３２を閉じて流路をつなぎ、出力を開始する。

【０１１０】また「何ショット前から録画」という指示
であった場合には、付加情報出力バッファ１１７から条
件に合致するデータが１１７および１１３内でどれであ
るかをマルチメディアデータ出力コントロール部１１２
が判定し、同様に両バッファ１１３、１１７内の蓄積デ
ータを整理した上でスイッチ１３１、１３２を閉じて流
路をつなぐ。

【０１１１】さらに、マルチメディアデータ出力コント
ロール部１１２がビデオデッキやＤＶＤ−ＲＡＭなどの
コントロール信号を出力して、出力端子１１６、付加情
報出力端子１２０などに接続されたこれら外部装置の録
画開始・終了を司令してもよい。

【０１１２】このマルチメディアデータ出力コントロー
ル部１１２の存在により、高度なマルチメディア情報解
析技術を有効活用した留守録（留守番録画）が実現す
る。

【０１１３】（第８の実施形態）以上第１〜第７の実施
形態で説明した手法は、コンピュータに実行させること
のできるプログラムとして、磁気ディスク（フロッピー
ディスク、ハードディスクなど）、光ディスク（ＣＤ−
ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に
格納して頒布することもできる。例えば、この場合、マ
ルチメディアデータ解析ソケット部は、前記マルチメデ
ィア情報を解析するための複数種類のプログラムをそれ
ぞれ実行させ、その各実行結果を受け取るモジュールと
なる。

【０１１４】

【発明の効果】以上説明したように、本発明のマルチメ
ディア情報処理装置によれば、これまで各研究機関が別
々に組み上げてきた高度なマルチメディアデータ解析処
理手法を容易に、複合的に家庭向けの装置に組み込むこ
とが可能になる。ユーザにとっては高度な処理技術を簡
単に利用することができる上、解析処理開発者にとって
も開発した処理技術の製品搭載が容易になるため、さら
に高度の処理技術の開発を補助することになり、ユーザ
の利便を一層増すことが期待できる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る第１のマルチメディア
情報処理装置の構成例を示した図。

【図２】本発明の実施形態に係る第２のマルチメディア
情報処理装置の構成例を示した図。

【図３】本発明の実施形態に係る第３のマルチメディア
情報処理装置の構成例を示した図。

【図４】本発明の実施形態に係る第４のマルチメディア
情報処理装置の構成例を示した図。

【図５】本発明の実施形態に係る第５のマルチメディア
情報処理装置の構成例を示した図。

【図６】本発明の実施形態に係る第６のマルチメディア
情報処理装置の構成例を示した図。

【図７】本発明の実施形態に係る第７のマルチメディア
情報処理装置の構成例を示した図。

【図８】マルチメディアデータ解析部の構成例を示した
図。

【図９】マルチメディア情報処理装置本体の出力端子に
表示装置が接続されている場合、マルチメディアデータ
解析部でカット検出した際、表示装置に表示される検出
されたカット全体の一覧表示画面の一例を示した図。

【図１０】マルチメディア情報処理装置本体とプラグイ
ンとの間でパラメータ値等を通知し合うための通信手順
の一例を示したシーケンス図。

【図１１】マルチメディア情報処理装置本体とプラグイ
ンとの間でパラメータ値等を通知し合うための通信手順
の他の例を示したシーケンス図。

【図１２】マルチメディア情報処理装置がマルチスレッ
ドで動作する場合（接続された各プラグイン毎にプロセ
ッサを割り当てることができる場合、あるいは、各プラ
グインのそれぞれにプロセッサが具備されている場合）
のデータの流れを模式的に示した図。

【図１３】マルチメディア情報処理装置がマルチスレッ
ドで動作しない場合（接続された複数のプラグインがた
だ１つのプロセッサを用いる場合）のデータの流れを模
式的に示した図。

【符号の説明】

１０１…入力端子 １０２…マルチメディア入力部 １０３…デコーダ １０４…マルチメディアデータ入力バッファ １０５…マルチメディアデータ入力コントロール部 １０６…マルチメディアデータ前処理部 １０７…マルチメディアデータ前処理情報記憶部 １０８…マルチメディアデータ解析ソケット部 １０９…プラグイン受け入れ端子 １１０…マルチメディアデータ解析部 １１１…マルチメディアデータ解析コントロール部 １１２…マルチメディアデータ出力コントロール部 １１３…マルチメディアデータ出力バッファ １１４…エンコーダ １１５…マルチメディアデータ出力部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力されたマルチメディア情報を解析
   し、該解析結果を出力するマルチメディア情報処理装置
   において、 前記マルチメディア情報を解析する複数種類の解析手段
   を着脱可能に接続する接続手段と、 この接続手段に接続された解析手段の解析結果と前記入
   力されたマルチメディア情報とを出力する出力手段と、 を具備したことを特徴とするマルチメディア情報処理装
   置。
2. 【請求項２】 入力されたマルチメディア情報を解析
   し、該解析結果を出力するマルチメディア情報処理装置
   において、 前記マルチメディア情報を解析する複数種類の解析手段
   を着脱可能に接続する複数の接続手段と、 この複数の接続手段に接続された複数種類の解析手段の
   解析結果と前記入力されたマルチメディア情報とを出力
   する出力手段と、 を具備したことを特徴とするマルチメディア情報処理装
   置。
3. 【請求項３】 前記解析手段の解析処理の一部を実行す
   る処理実行部をさらに具備し、 この処理実行部での処理結果を前記接続手段で接続され
   た解析手段へ送信することを特徴とする請求項１または
   ２記載のマルチメディア情報処理装置。
4. 【請求項４】 前記複数の接続手段に接続された複数種
   類の解析手段の解析機能に基づく処理実行順序に従って
   該解析手段に対し処理動作の開始を指示する指示手段を
   さらに具備したことを特徴とする請求項２記載のマルチ
   メディア情報処理装置。
5. 【請求項５】 前記接続手段に接続された解析手段での
   処理能力に応じて該解析手段へのマルチメディア情報の
   入力を調節する手段をさらに具備したことを特徴とする
   請求項１または請求項２記載のマルチメディア情報処理
   装置。
6. 【請求項６】 前記接続手段に接続される解析手段での
   解析結果に基づき前記出力手段の出力を制限する手段を
   さらに具備したこと特徴とする請求項１または請求項２
   記載のマルチメディア情報処理装置。
7. 【請求項７】 入力されたマルチメディア情報を解析
   し、該解析結果を出力するためのプログラムを記録した
   機械読取可能な記録媒体であって、 前記マルチメディア情報を解析するための複数種類のプ
   ログラムをそれぞれ実行させる実行手段と、 この実行手段で実行されたプログラムによる解析結果と
   前記入力されたマルチメディア情報とを出力させる出力
   手段と、 を実行するプログラムを記録した記録媒体。