JP4462922B2 - 動画像検索情報生成装置、動画像要約情報生成装置、および要約情報生成方法 - Google Patents

Description

本発明は、動画像を検索するための情報を生成する装置（動画像検索情報生成装置）、動画像の要約情報を生成する装置（動画像要約情報生成装置）、および動画像の要約情報を格納する格納フォーマット（動画像要約情報格納フォーマット）に関し、より詳細には、動画像を構成する複数個のシーンの中から、所望のシーンを効率的に検索して取出すことを可能とする動画像検索情報生成装置、動画像要約情報生成装置、および動画像要約情報格納フォーマットに関する。

コンピュータの性能の向上、記憶装置の大容量化、通信のためのインフラストラクチャーの整備などにより、大量の画像をデータベース化しておき必要なときに必要な画像を配信するサービスなどが普及しつつある。画像をデジタル化する技術も普及しているため、個人で動画像のデータベースを構築することも可能である。

このように動画像をデータベース化すると、その中からいかにして所望の動画像を検索するかが問題となる。本発明は、そのような動画像の検索の技術の改良に関する。

本明細書において使用する「動画像」という用語は、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）信号からなる、加工されていない動画像データ、およびＭＰＥＧ（Moving Picture Experts Group）などのように、デジタル化され、所定の動画圧縮方式によって符号化された動画像データの両者を含むものとする。

「シーン」という用語は、連続する複数の画像フレームからなる、動画像の構成単位であって、例えば録画の開始から停止までの１回の撮影で得られた動画像、または編集済みの動画像の中で、二つの編集点で両端を区切られた一連の動画像のことをいう。編集箇所がフェード、ディゾルブなどの特殊な効果を含んでいる場合も含む。一つのシーンは複数個のシーンを含んでもよい。

「シーンチェンジ点」とは、二つのシーンが切替わる時間軸上の位置を指し、シーンが切替わった直後のシーンの先頭フレームを「シーンチェンジフレーム」という。

「キーフレーム」とは、検索などで利用される、各シーンまたは動画像全体を代表するような特徴的なフレームをいう。

動画像データは、時間軸に沿って変化する画像情報からなるコンテンツである。動画像データは、その全てが検索の対象となる。したがって、所望の動画像を検索するための最も単純な方法は、動画像の全体を見て所望の動画像を選ぶことである。しかし、動画像の全体を見るためにはある時間を要する。したがって、データベースに登録されている動画像の数が増えると、所望の動画像を取出すために要する時間が極めて大きくなる。したがってこの方法は現実的ではない。

効率的に動画像を検索するための一般的な方法では、予め各動画像の内容を代表する種々の検索のための情報（検索情報）を各動画像について用意し、これに基づいて所望の動画像を検索する。

検索情報として用いられる情報は、画像に付加された情報（付加情報）、画像の特性を表わす情報（特性情報）、および画像の概要を表わす情報（概要情報）を含む。付加情報は、動画像に附随して用意されるタイトルまたは説明文を含む。特性情報は、画像信号から導出される輝度値の頻度もしくはフレーム間での動き情報など、画像の特性を表わす情報を含む。概要情報は、画像の特性情報または外部からの入力によって定められるシーンチェンジ点またはキーフレームなどを含む。

上記した情報の中で、特性情報は特に便利でかつ重要である。たとえば動画像を代表するキーフレームは特性情報を利用して選択できる。特性情報は数値化することが容易で、所望の動画像の特性を特性情報の形で数値化すれば、要求された特性情報と一致する特性を有する動画像を抽出することも容易にできる。以下の説明では「検索情報」とはこの特性情報のことをいうものとする。

一般に動画像は複数個のシーンを含む。検索者が動画像を検索するのは、多くの場合、検索の対象となる１または複数の動画像から、動画像中に含まれている所望のフレームまたは所望のシーンを発見するためである。検索情報を用いて動画像の中から所望のフレームまたはシーンを発見するための基本的な方法は、予め各フレームに関する検索情報または各シーンに関する検索情報を求めて記録しておき、これらに基づいてフレームまたはシーンの選択を行なうことである。

この点に関し特許文献１には、シーンチェンジ点を検出するためのフレームの特徴量として、フレームごとの動きベクトルの総和、ならびに、フレームを構成する複数個の小領域の、フレーム内およびフレーム間の連続度を用いる装置および方法が開示されている。

また特許文献２には、各シーン内の動きベクトルの大きさの平均値および画像の色ヒストグラムをシーンの特徴量として用いて、各シーンの代表画像を画像インデックスとして表示する際の制御方法が開示されている。

こうした従来技術を考慮して、動画像を検索するための情報を記録するための装置（動画像検索情報記録装置）および動画像を検索するための装置（動画像検索装置）を作成したとすれば、以下に示すようなものとなると考えられる。

図１を参照して、想定された従来の動画像検索情報記録装置は、入力される動画像データを解析してシーンに分割し、シーンの分割位置（シーンチェンジ）などの動画像の構造を表わす情報（動画像構造情報）を出力するための解析部６０１と、解析部６０１の出力と入力された動画像データとを受けるように接続され、解析部６０１から出力された動画像構造情報および動画像データに基づいて、シーン内の各フレームに対応する動きベクトルの総和などの、画像の要約情報を検索情報として生成し、出力するフレーム単位の検索情報生成部６０２と、フレーム単位の検索情報生成部６０２の出力を受けるように接続され、フレーム単位の検索情報生成部６０２から出力されるフレーム単位の要約情報に基づいて、あるシーンの全体に対する動きベクトルの大きさの平均値などの要約情報を検索情報として生成し出力するためのシーン単位の検索情報生成部６０３と、解析部６０１から出力される動画像構造情報、フレーム単位の検索情報生成部６０２から出力される各フレーム単位の検索情報、およびシーン単位の検索情報生成部６０３から出力されるシーン全体に対する検索情報を、所定の形式に配置することにより、動画像に対応する検索情報を生成し出力するための動画像の検索情報生成部６０４と、もとの動画像データと、動画像の検索情報生成部６０４から出力される、動画像に対応する検索情報とを対応付けて記録媒体６０６に記憶するための記録部６０５とを含む。

なお、１フレームは、動画像を時間的に分割した単位であると考えることができる。したがってフレームは時間分割ブロックの一例と呼ぶことができる。

図２を参照して、想定される従来の画像検索装置は、記録媒体６０６から動画像検索情報および動画像データを読出すための読出部７０１と、読出部７０１から供給される各動画像検索情報を保持し、検索情報に対する要求を受けて、シーン単位の検索情報またはフレーム単位の検索情報を動画像の構造情報とともに出力するための検索情報管理部７０２と、シーン単位の検索の要求を受けて、検索情報管理部７０２にシーン単位の検索情報と動画像構造情報とを要求し、受取ったシーン単位の検索情報と動画像構造情報とに基づいて、検索要求に合致したシーンを検出して、検出されたシーンに関する情報を出力するためのシーン単位の検索実行部７０３と、フレーム単位の検索の要求を受けて、検索情報管理部７０２に対してシーン内のフレーム単位の検索情報および動画像構造情報を要求し、受取ったシーン内のフレーム単位の検索情報および動画像情報に基づいて、検索要求に合致したシーンまたはフレームを検出して、検出されたシーンまたはフレームに関する情報を出力するためのフレーム単位の検索実行部７０４と、シーン単位の検索実行部７０３およびフレーム単位の検索実行部７０４から出力される、検出されたシーンに関する情報または検出されたフレームに関する情報に基づいて、それら検出されたシーンまたはフレームに対応する画像データを読出部７０１を介して取出し、出力するためのデータ管理部７０５と、オペレータから与えられる検索指示に応答し、検索要求をシーン単位の検索実行部７０３またはフレーム単位の検索実行部７０４に与え、データ管理部７０５から与えられる動画像データを検索結果として表示する処理を繰返し、検索終了時には検索結果を出力するための検索制御部７０６とを含む。

図１に示される装置は以下のように動作することが想定される。動画像データが入力されると、解析部６０１がその動画像データをシーン単位に分割する。解析部６０１はまた、動画像構造情報を出力する。

フレーム単位の検索情報生成部６０２は、解析部６０１から出力された動画像構造情報および動画像データに基づいて、シーン内のフレームに対応する要約情報を生成する。フレーム単位の検索情報生成部６０２はさらに、こうして生成された要約情報をシーン単位の検索情報生成部６０３および動画像の検索情報生成部６０４に検索情報として出力する。

シーン単位の検索情報生成部６０３は、フレーム単位の検索情報生成部６０２から与えられたフレーム単位の要約情報に基づき、シーン全体に対する要約情報を生成する。シーン単位の検索情報生成部６０３はさらに、こうして生成された要約情報をシーン単位の検索情報生成部６０３に検索情報として与える。

動画像の検索情報生成部６０４は、解析部６０１から動画像構造情報を、フレーム単位の検索情報生成部６０２からフレーム単位の検索情報を、シーン単位の検索情報生成部６０３からシーン全体のための検索情報をそれぞれ受け、所定の形式で配置して動画像に対応する検索情報を生成する。動画像の検索情報生成部６０４は、こうして生成された、動画像に対応する検索情報を記録部６０５に与える。

記録部６０５は、もとの動画像データと、動画像の検索情報生成部６０４から与えられた検索情報とを記録媒体６０６に記録する。このとき記録部６０５は、記録される動画像データと検索情報とが対応していることを示す情報を動画像データまたは検索情報のいずれか一方または双方に付加するか、または動画像データおよび検索情報とは別に記録する。

図２を参照して、従来の検索装置は以下のように動作することが想定される。検索の開始時に、オペレータは検索制御部７０６に対して検索指示を与える。検索制御部７０６は、この検索指示に応答してシーン単位の検索、またはフレーム単位の検索のいずれかを選択する。

たとえばシーン単位の検索が選択されたものとする。すると、検索制御部７０６はシーン単位の検索実行部７０３に対して検索の要求を与える。シーン単位の検索実行部７０３はこの要求に応答して、検索情報管理部７０２に対してシーン単位の検索情報と動画像構造情報とを要求し、検索情報管理部７０２から出力されたシーン単位の検索情報と動画像情報とを受取る。

シーン単位の検索実行部７０３は、このシーン単位の検索情報と動画像構造情報とに基づいて、検索制御部７０６から与えられた検索要求に合致したシーンを検出する。そしてシーン単位の検索実行部７０３は、検出されたシーンに関する情報をデータ管理部７０５に対して出力する。

データ管理部７０５は、シーン単位の検索実行部７０３から与えられたシーンに関する情報に基づいて、対応する画像データを読出部７０１を介して記録媒体６０６から読出し、検索制御部７０６に与える。

検索制御部７０６は、この画像データを表示する。オペレータは、表示された画像データを見て、次の検索方針を決め、次の検索指示を検索制御部７０６に与える。以下、同様の処理が繰返される。

こうして、オペレータが取出したいと考えていた画像が取出されると検索は終了する。検索結果は検索制御部７０６から出力される。

従来の技術では、シーンに関する検索情報は、そのシーンに含まれるフレーム単位の検索情報に基づいて生成されている。これは、シーンを構成する最小の単位はフレームであると一般的に認識されていることによる。
特開平９−２８４７０２号公報 特開平７−３８８４２号公報

このように個々のフレーム単位の検索情報に基づいてシーンの検索情報を生成すると、各フレームを小領域に分割して得られる、各フレーム内の空間的な特徴（画面分割ブロック単位の検索情報）を検索情報として利用することができる。しかし、これらの従来の装置では時間軸上である長さを有するシーン全体にわたる、画像の空間的な特徴を扱うことができないという問題がある。この明細書では、このようにシーン全体にわたる、画像の空間的な特徴を「空間分割ブロック単位の検索情報」と呼ぶ。

たとえば、画面の中央部に激しく動く物体が映っている、という特徴を有するシーンを取出そうとする場合を考える。従来の技術では、このようなシーンをシーン単位の検索情報から検索することができず、各シーンに含まれる各フレームに付加された検索情報まで降りて検索する必要がある。そのため従来の技術では、そのような検索は効率が極めて低くなる。

本発明は、従来技術の、上記したような問題点に鑑みてなされたものであり、シーンの特徴を的確に表わす新たな指標を用いて動画像検索を効率的に行なうことを可能とする動画像の検索情報を記録する装置および動画像を検索するための装置を提供することを目的とする。

本発明の他の目的は、シーンを時間的なブロックに分割してその特徴を抽出するだけでなく、シーンを、時間軸上では分割せず、空間的にのみ分割してシーンの別の特徴を抽出することにより、動画像の検索を効率的に行なうことを可能とする、動画像検索情報生成装置、動画像要約情報生成装置、および動画像要約情報格納フォーマットを提供することである。

本発明のさらに他の目的は、シーンの特徴を的確に表わす新たな指標を用いて動画像の検索を効率的に行なうことが可能で、かつ検索のための情報の情報量が少なくて済む、動画像検索情報生成装置、動画像要約情報生成装置、および動画像要約情報格納フォーマットを提供することである。

上記目的を達成するために、本発明のある局面に従うと、動画像検索情報生成装置は、１以上のシーンからなる動画像データを検索するための検索情報を生成する動画像検索情報生成装置であって、動画像データに基づいて、シーンの各々に対応して検索情報を生成する検索情報生成部を備え、検索情報生成部は、シーンの各々について、当該シーンを空間的に分割することにより、時間方向には当該シーンの長さを持った複数の空間分割ブロックを構成し、この空間分割ブロック単位の要約情報を生成するための第１の要約情報生成手段を含む。さらに、上記要約情報は、空間分割ブロック内の動画像データに基づいて算出される画像特性を示した数値情報であって、当該シーン内での相対値で与えられる。

また、シーンの各々は、連続する動画像データが時間軸上で分割されたものであり、動画像検索情報生成装置は、シーンの各々の動画像データ中の位置を表わす動画像構造情報を出力する動画像構造情報出力部をさらに備え、検索情報生成部は、動画像構造情報と動画像データとに基づいて、シーンの各々に対応した検索情報を生成することが好ましい。

また、第１の要約情報生成手段は、シーンを空間的に分割する際に、空間方向に定義される２つの方向において予め定める数に分割することが好ましい。

また、第１の要約情報生成手段は、シーンを空間的に分割する際に、予め定める２のべき乗数に分割することが好ましい。

また、検索情報生成部はさらに、シーンの各々について、当該シーンを時間的に分割することにより、空間方向には当該シーンの画像サイズを持った複数の時間分割ブロックを構成し、この時間分割ブロック単位の要約情報を生成するための第２の要約情報生成手段を含むことが好ましい。

さらに、検索情報生成部は、シーンの各々について、当該シーン全体の要約情報を生成するための第３の要約情報生成手段を含むことが好ましい。

本発明の他の局面に従うと、動画像検索情報生成装置は、１以上のシーンからなる動画像データを検索するための検索情報を生成する動画像検索情報生成装置であって、動画像データに基づいて、シーンの各々に対応して検索情報を生成する検索情報生成部を備え、検索情報生成部は、シーンの各々について、当該シーンを構成する複数のフレームの各々を同一の方法で複数のブロックに分割し、複数のフレームの対応する位置にある複数のブロックを集めてシーンに対する複数の空間分割ブロックを形成し、この空間分割ブロック単位の要約情報を生成するための第１の要約情報生成手段を含む。
また、第１の要約情報生成手段は、フレームを複数のブロックに分割する際に、空間方向に定義される２つの方向において予め定める数に分割することが好ましい。
または、第１の要約情報生成手段は、フレームを複数のブロックに分割する際に、予め定める２のべき乗数に分割することが好ましい。
本発明のさらに他の局面に従うと、動画像要約情報生成装置は、１以上のシーンからなる動画像データの要約情報を生成する動画像要約情報生成装置であって、シーンの各々について、当該シーンを空間的に分割することにより、時間方向には当該シーンの長さを持った複数の空間分割ブロックを構成し、この空間分割ブロック単位の要約情報を生成するための第１の要約情報生成手段を備える。さらに、上記要約情報は、空間分割ブロック内の動画像データに基づいて算出される画像特性を示した数値情報であって、当該シーン内での相対値で与えられる。

また、第１の要約情報生成手段は、シーンを空間的に分割する際に、空間方向に定義される２つの方向において予め定める数に分割することが好ましい。

または、第１の要約情報生成手段は、シーンを空間的に分割する際に、予め定める２のべき乗数に分割することが好ましい。

また、動画像要約情報生成装置は、シーンの各々について、当該シーンを時間的に分割することにより、空間方向には当該シーンの画像サイズを持った複数の時間分割ブロックを構成し、この時間分割ブロック単位の要約情報を生成するための第２の要約情報生成手段をさらに備えることが好ましい。

また、動画像要約情報生成装置は、シーンの各々について、当該シーン全体を単位とする要約情報を生成するための第３の要約情報生成手段をさらに備えることが好ましい。

本発明のさらに他の局面に従うと、記録媒体は、１以上のシーンからなる動画像データを検索するための検索情報が、検索情報と動画像データとの対応情報とともに記録された記録媒体であって、検索情報は、シーンの各々について、当該シーンを空間的に分割することにより得られる、時間方向には当該シーンの長さを持った複数の空間分割ブロックを単位とする要約情報を含む。

また、検索情報はさらに、シーンの各々について、当該シーンを時間的に分割することにより得られる、空間方向には当該シーンの画像サイズを持った複数の時間分割ブロックを単位とする要約情報を含むことが好ましい。

また、検索情報はさらに、シーンの各々について、当該シーン全体の要約情報を含むことが好ましい。

本発明のさらに他の局面に従うと、記録媒体は、１以上のシーンからなる動画像データの要約情報が記録された記録媒体であって、シーンの各々について、当該シーンを空間的に分割することにより得られる、時間方向には当該シーンの長さを持った複数の空間分割ブロックを単位とする要約情報を記録している。

また、記録媒体は、シーンの各々について、当該シーンを時間的に分割することにより得られる、空間方向には当該シーンの画像サイズを持った複数の時間分割ブロックを単位とする要約情報をさらに記録していることが好ましい。

また、記録媒体は、シーンの各々について、当該シーン全体を単位とする要約情報をさらに記録していることが好ましい。

本発明のさらに他の局面に従うと、動画像要約情報生成装置は、１以上のシーンからなる動画像データの要約情報を生成する動画像要約情報生成装置であって、シーンの各々について、当該シーンを構成する複数のフレームの各々を同一の方法で複数のブロックに分割し、複数のフレームの対応する位置にある複数のブロックを集めてシーンに対する複数の空間分割ブロックを形成し、この空間分割ブロック単位の要約情報を生成するための第１の要約情報生成手段を備える。
また、第１の要約情報生成手段は、フレームを複数のブロックに分割する際に、空間方向に定義される２つの方向において予め定める数に分割することが好ましい。
または、第１の要約情報生成手段は、フレームを複数のブロックに分割する際に、予め定める２のべき乗数に分割することが好ましい。
本発明のさらに他の局面に従うと、動画像要約情報格納フォーマットは、動画像データを構成する１以上のシーンの各々について、当該シーンを空間的に分割することにより得られる、時間方向には当該シーンの長さを持った複数の空間分割ブロックを単位とする要約情報であって、空間分割ブロック内の動画像データに基づいて算出される画像特性を示した数値情報であり、かつ当該シーン内での相対値で与えられる空間分割ブロック単位の要約情報を、空間分割ブロックの分割数を表わす指定情報とともに格納することを特徴とする。

また、分割数は、空間方向に定義される２つの方向において予め定まる数であることが好ましい。

または、分割数は、予め定まる２のべき乗数であることが好ましい。

また、動画像要約情報格納フォーマットは、シーンの各々について、当該シーン全体を単位とする要約情報を格納することが好ましい。

図３に、本実施の形態にかかる動画像検索情報記録装置４０のブロック図を示す。図３を参照して、この動画像検索情報記録装置４０は、動画像データを受け、動画像の構造を解析してシーンに分割し、シーンチェンジ点などの動画像構造情報を出力するための解析部１０１と、動画像データと、解析部１０１から出力される動画像構造情報とを受け、各シーンに含まれる各フレームの画像データに対する要約情報（フレームという時間分割ブロックを単位とする要約情報）を生成し出力するための第１の検索情報生成部１０２と、解析部１０１から出力された動画像構造情報、および動画像データを受け、各シーンに関する検索情報として、シーン内の全てのフレームの同一分割ブロック位置の画像データから構成される空間分割ブロックの要約情報を生成し出力するための第２の検索情報生成部１０３と、第１の検索情報生成部１０２から出力されたシーン内の各フレーム（時間分割ブロック）に対する要約情報、および／または、第２の検索情報生成部１０３から出力されたシーン内の各空間分割ブロックに対する要約情報を入力とし、第１の検索情報生成部１０２からの要約情報、および／または第２の検索情報生成部１０３からの要約情報の一方または双方に基づき、シーン全体に対する要約情報を生成し出力するための第３の検索情報生成部１０４と、第１の検索情報生成部１０２から出力された要約情報、第２の検索情報生成部１０３から出力された要約情報、第３の検索情報生成部１０４から出力される要約情報、および解析部１０１から出力される動画像構造情報を所定の形式に配置することにより、動画像に対応する検索情報を生成し出力するための第４の検索情報生成部１０５と、第４の検索情報生成部１０５から出力される、動画像に対する検索情報と、もとの動画像データとを受け、それらの一方または双方に検索情報と動画像データとの対応情報などを付加するかまたは別データとし、検索情報および動画像データとの対応情報などを記録媒体１０７に記録するための記録部１０６とを含む。

本願発明の装置が扱う動画像データは、ＲＧＢ信号などの原画像信号、ＭＰＥＧ（Moving Picture Experts Group）などの動画圧縮方式を用いて符号化された画像データのいずれでも良い。本実施の形態では、説明の簡便のため、動画像データは符号化されたものであると仮定する。

図３に示された各ブロックの機能についてさらに詳細に以下に説明する。解析部１０１は、動画像を時間的な小単位（シーン）に分割する。そのために解析部１０１は、画像データ中のシーンチェンジ点の検出を行なう。解析部１０１はこの例では、符号化画像データに含まれる符号化ブロックの予測モードの、フレーム内での頻度情報を用いてシーンチェンジ点を検出する。

たとえば、図４を参照して、解析部１０１は、動画像１２０の中の第１のシーンチェンジフレーム１３０、第２のシーンチェンジフレーム１３２、第３のシーンチェンジフレーム１３４、第４のシーンチェンジフレーム１３６を検出する。それによって解析部１０１は、第１のシーンチェンジフレーム１３０と第２のシーンチェンジフレーム１３２との間の画像データ（第１のシーンチェンジフレーム１３０を含む）からなる第１のシーン１４０、第２のシーンチェンジフレーム１３２と第３のシーンチェンジフレーム１３４との間の画像データ（第２のシーンチェンジフレーム１３２を含む）からなる第２のシーン１４２、第３のシーンチェンジフレーム１３４と第４のシーンチェンジフレーム１３６との間の画像データ（第３のシーンチェンジフレーム１３４を含む）からなる第３のシーン１４４、および第４のシーンチェンジフレーム１３６から動画像１２０の最後までの画像データ（第４のシーンチェンジフレーム１３６を含む）からなる第４のシーン１４６とに動画像１２０を分割する。すなわち、解析部１０１は、動画像１２０をこの例では４つのシーン１４０、１４２、１４４、１４６に分割する。

解析部１０１は、第１のシーンチェンジフレーム１３０、第２のシーンチェンジフレーム１３２、第３のシーンチェンジフレーム１３４、第４のシーンチェンジフレーム１３６などのシーンチェンジフレームの、画像データ中の位置を表わす情報を、動画像構造情報として出力する機能を有する。

図５を参照して、第１の検索情報生成部１０２は、解析部１０１から出力された動画像構造情報に基づいて動画像データを分割することにより得られたあるシーン１６０に対して以下のような処理を行なって、シーン１６０に含まれる各フレームの要約情報を作成する。なおシーン１６０はフレーム１６２Ａから１６２Ｎを含むものとする。

第１の検索情報生成部１０２は、フレーム１６２Ａ〜１６２Ｎの各々について、動きベクトルのフレーム内の頻度情報１６６Ａから１６６Ｎを求める。また第１の検索情報生成部１０２は、フレーム１６２Ａ〜１６２Ｎの各々における動きベクトルの平均値１６８Ａから１６８Ｎを求める。

このようにして求められた頻度情報１６６と平均値情報１６８とが、この例では各フレームの要約情報１７０を構成する。要約情報は、フレーム番号の関数（すなわち時間の関数）として与えられる。

この要約情報は、シーン１６０に含まれる各フレームの空間内に分布する情報を圧縮して得られた検索情報である。各フレームは、画像を時間的に分割した単位であって、時間分割ブロックの一種である。したがって要約情報１７０は、時間分割ブロック単位の検索情報ということができる。

第２の検索情報生成部１０３は、解析部１０１から出力された動画像構造情報（シーンチェンジ位置の情報）と、動画像データとを受ける。第２の検索情報生成部１０３はこの動画像構造情報と動画像データとを用いて以下のようにして空間分割ブロックに対する要約情報を生成する。

なおここで空間分割ブロックとは以下のようなものをいう。一つのシーン内の全てのフレームの各々を同じ方法で複数個の分割ブロックに空間的に分割する。それら全てのフレームの、対応する位置の分割ブロックの全体をそのシーンの空間分割ブロックと呼ぶ。したがって、一つのシーンがｎ個のフレームを含み、各フレームがｍ個の分割ブロックに分割される場合には、そのシーンはｍ個の空間分割ブロックに分割され、各空間分割ブロックはｎ個の分割ブロックを含む。

具体的には、図６を参照して、第２の検索情報生成部１０３ではシーン１６０に対して以下のような処理が行なわれる。前述のとおり、シーン１６０が複数個のフレーム１６２Ａ〜１６２Ｎを含むものとする。これらフレーム１６２Ａ〜１６２Ｎが各々、Ｍ個の分割ブロックに空間的に分割される。ここで、分割ブロックとは、画像面を複数に分割したときの、各小領域を指す。たとえば図６に示されるフレーム１６２Ａは、複数個の分割ブロック１８０Ａ１から１８０ＡＭに分割される。他のフレーム１６２Ｂから１６２Ｎも同様である。

そして、複数個のフレーム１６２Ａ〜１６２Ｎの各々の、同じ位置の分割ブロックによって、シーン１６０の一つの空間分割ブロックが形成される。たとえばＮ個のフレームの各々のＭ番目の分割ブロックの集合（その要素の数はＮと等しい。）によって空間分割ブロック１８２−Ｍが形成される。他の空間分割ブロックも同様に形成される。

こうして得られたＭ個の空間分割ブロックの各々に対して、時間軸方向に分布する情報を圧縮して要約情報１８８を生成する。ここでいう要約情報１８８は、各空間分割ブロックに対する要約情報であり、各空間分割ブロックに含まれる分割ブロックの、フレーム内の位置（座標）に対する関数値である。

典型的には、要約情報１８８は、頻度情報１８４と平均値情報１８６とを含む。頻度情報１８４としては、各符号化ブロックの予測モードの空間分割ブロック内の頻度情報、または動き補償予測符号化時の動きベクトルの空間分割ブロック内の頻度情報を用いることができる。たとえば図示されていないが空間分割ブロック１８２−１からは頻度情報１８４Ａが得られ、空間分割ブロック１８２−２からは頻度情報１８４Ｂが得られ、以下同様にして空間分割ブロック１８２−Ｍからは頻度情報１８４Ｍが得られる。

また平均値情報１８６としては、空間分割ブロック内の動きベクトルの総和もしくは平均値を用いることができる。たとえば図示されていないが空間分割ブロック１８２−１からは平均値情報１８６Ａが得られ、空間分割ブロック１８２−２からは平均値情報１８６Ｂが得られ、以下同様にして空間分割ブロック１８２−Ｍからは平均値情報１８６Ｍが得られる。

これ以外にも要約情報としては、空間分割ブロック内の動きベクトルの標準偏差などを用いることもできる。

第３の検索情報生成部１０４は、第１の検索情報生成部１０２から出力された要約情報、または、第２の検索情報生成部１０３から出力された要約情報を受け、これらの一方または双方に基づいて、シーン全体に対する要約情報を生成し出力する。

ここで、シーン全体に対する要約情報とは、シーンを検索する際に用いられる検索情報である。シーン全体に対する要約情報としては、動きベクトル、輝度値、または色差値などの、シーン全体における頻度情報、平均値、標準偏差などを用いることができる。

第４の検索情報生成部１０５は、第１の検索情報生成部１０２から出力された要約情報と、第２の検索情報生成部１０３から出力された要約情報と、第３の検索情報生成部１０４から出力された要約情報と、解析部１０１から出力された動画像構造情報とを所定の形式に配置することにより、動画像に対応する検索情報を生成し出力して記録部１０６に与える。

記録部１０６は、第４の検索情報生成部１０５から出力された、動画像に対応する検索情報と、もとの動画像データとを受けて、検索情報のみ、または検索情報と動画像データとを記録媒体１０７に記録する。このとき記録部１０６は、動画像データと検索情報とが対応していることを示す情報を動画像データもしくは検索情報のいずれか一方もしくは双方に付加するか、または動画像データおよび検索情報とは別データとして記録する。

上に構造と一般的動作とを説明した本実施の形態にかかる動画像検索情報記録装置４０において用いられる検索情報としては、動き補償予測符号化された動画像データに含まれる動きベクトルに基づいて得られる動きの大きさの情報を用いるものとする。

より具体的には、時間分割ブロック（フレーム）単位の検索情報は、シーン内の各フレームに対して、各符号化ブロックに付加された動きベクトルから求められた、フレーム全体における動きベクトルの絶対値の総和として求められる。なお、動きベクトルの絶対値の総和にかえて動きベクトルの絶対値の平均としても同じことである。実際、一フレームに含まれる符号化ブロックの数が定まっていれば、動きベクトルの絶対値の総和とその平均値との一方から容易に他方が求められる。

空間分割ブロック単位の検索情報としては、各空間分割ブロックにおける動きベクトルの絶対値の総和が使用される。ここでも、動きベクトルの総和に替えてその平均を検索情報として用いることができる。空間分割ブロックを構成する各分割ブロックが符号化ブロックと一致する場合には、各分割ブロックに対応する動きベクトルの数は１となる。各分割ブロックが複数個の符号化ブロックを含む場合には、各分割ブロックに対応する動きベクトルの数はその分割ブロックに含まれる符号化ブロックの数と等しい。

または空間分割ブロック単位の検索情報は、各空間分割ブロック内での動きベクトルの絶対値の総和を、空間分割ブロックを構成する分割ブロックの数で除した値でもよい。この場合の分割ブロックの数は、シーンを構成するフレームの数と等しい。さらにまた、空間分割ブロック単位の検索情報は、各空間分割ブロック内での動きベクトルの絶対値の総和を、空間分割ブロックを構成する分割ブロックに含まれる符号化ブロックの数の総和で除した値でもよい。

時間分割ブロックまたは空間分割ブロックの検索情報として、動きベクトルの絶対値の総和を用いたとすると、シーンに含まれる全ての動きベクトルの絶対値の総和を計算することができる。本実施の形態では、こうして得られた総和をシーン単位の検索情報とする。

次に、空間分割ブロック単位での検索情報の生成に用いられる分割ブロックの具体例について説明する。図７に示されるように、シーン１６０がフレーム１６２Ａ〜１６２Ｎからなっているものとする。これらフレーム１６２Ａ〜１６２Ｎの動きベクトルの絶対値の総和から、シーン１６０のシーン単位検索情報Ｉが求められる。

図８に示されるように、フレーム１６２Ａ〜１６２Ｎはそれぞれ、２×２個の分割ブロックに分割されているものとする。すなわちフレーム１６２Ａ〜１６２Ｎはそれぞれ４つの分割ブロックに分割されている。たとえばフレーム１６２Ａは４つの分割ブロック１９０Ａ１から１９０Ａ４に分割される。以下のフレームについても図示しないが同様である。たとえばフレーム１６２Ｂはフレーム１９０Ｂ１から１９０Ｂ４に分割される、などである。したがって先の空間分割ブロックの説明からわかるように、シーン１６０は４つの空間分割ブロックに分割され、これら４つの空間分割ブロックに対して、各空間分割ブロック内の動きベクトルの絶対値の総和からそれぞれ空間分割ブロック単位の検索情報Ｉ1からＩ4がいずれも実数値として求められる。

したがって、シーン１６０のためのシーン検索情報として、たとえばこれら検索情報Ｉ，Ｉ₁，Ｉ₂，Ｉ₃，Ｉ₄を順番に配列して得られる｛Ｉ，Ｉ₁，Ｉ₂，Ｉ₃，Ｉ₄｝を用いることができる。この検索情報をもとの画像データとともに記録すればよい。

ただし、上記した検索情報は冗長性を含む。これは、この例ではシーン単位検索情報Ｉが空間分割ブロック単位の検索情報の和と等しいことによる。たとえばシーン単位検索情報Ｉは、空間分割ブロック単位の検索情報Ｉ₁からＩ₄より求めることができる。または、空間分割ブロック単位の検索情報Ｉ₁からＩ₄のうちの任意の３つとシーン単位検索情報Ｉとから、空間分割ブロック単位の検索情報の残りの一つを計算することができる。

そこで、本実施の形態の装置では、Ｉ₄については検索情報には含ませないようにする。さらに本実施の形態の装置では、各空間分割ブロック単位検索情報のそのままの値ではなく、シーン単位の検索情報に対する各空間分割ブロック単位検索情報の値の百分率で示す。第１から第３の空間分割ブロックの検索情報の、シーン単位の検索情報Ｉに対する比率をＰ₁、Ｐ₂およびＰ₃とすれば、このときの空間分割ブロック単位の検索情報は図９に示されるようにして求められる。すなわち、第１の空間分割ブロックとシーン単位検索情報とから第１の空間分割ブロックの検索情報Ｐ₁が計算される。第２の空間分割ブロックとシーン単位検索情報とから第２の空間分割ブロックの検索情報Ｐ₂が計算される。第３の空間分割ブロックとシーン単位検索情報とから第３の空間分割ブロックの検索情報Ｐ₃が計算される。第４の空間分割ブロックについて検索情報を求めると冗長となるので、求めることはしない。つまり、シーン１６０は４つの空間分割ブロックに分割されるが、そのうち３つの検索情報を求めればよい。一般的にＰ_kは、Ｐ_k＝１００×Ｉ_k／Ｉによって求められる。

このように空間分割ブロックの検索情報として、シーン単位検索情報に対する百分率として記録すると、以下のような利点が得られる。第１に検索情報を記録するための信号のダイナミックレンジが制限されるため、より効率的に検索情報を記録できる。すなわち記録される情報量がそうでない場合より減少する。第２に、検索情報の値が正規化されるため、別々のシーンに付された検索情報を互いに比較することが可能となる。第３に、既に述べたとおり、記録すべき変数を一つ省略することができる。

このようにして動画像検索情報が第４の検索情報生成部１０５によって生成され、記録部１０６を介して記録媒体１０７に記録される。

さて、図３に示された動画像検索情報記録装置４０によって記録媒体１０７に記録された動画像データおよび検索情報を用いて動画像検索をする装置について以下説明する。図１０を参照して、この実施の形態にかかる動画像検索装置５０は、記録媒体１０７に記録された動画像データとその検索情報とを読出すための読出部５０１と、読出部５０１により読出された動画像の検索情報を保持し、検索要求に応じてシーン単位検索情報、空間分割ブロック単位検索情報、または時間分割ブロック単位検索情報を、動画像構造情報とともに出力するための検索情報管理部５０２と、シーン単位の検索要求に応答して、検索情報管理部５０２に対して要求を出し、検索情報管理部５０２からシーン全体に対する検索情報と、動画像構造情報とを受け、シーン単位の検索要求に合致したシーンを検出して、検出されたシーンに関する情報を出力するための第１の検索実行部５０３と、空間分割ブロック単位の検索要求に応答して、検索情報管理部５０２に対して要求を出し、検索情報管理部５０２から受取った、シーン内の各空間分割ブロックに対する要約情報と、動画像構造情報とに基づいて、検索要求に合致したシーンを検出して検出されたシーンに関する情報を出力するための第２の検索実行部５０４と、時間分割ブロック単位の検索要求に応答して検索情報管理部５０２に対して要求を出し、検索情報管理部５０２から受取ったシーン内の各フレームに対する要約情報と、動画像構造情報とに基づいて検索要求に合致したシーンまたはフレームを検出し、検出されたシーンまたはフレームに関する情報を出力するための第３の検索実行部５０５と、読出部５０１によって読出された動画像情報を保持し、第１の検索実行部５０３、第２の検索実行部５０４または第３の検索実行部５０５から出力される検索結果に基づいて、検索結果に基づき検出されるシーンまたはフレームの画像データを出力するためのデータ管理部５０６と、オペレータからの検索指示入力に応答して、シーン単位の検索要求を第１の検索実行部５０３に、空間分割ブロック単位の検索要求を第２の検索実行部５０４に、または時間分割ブロック単位の検索要求を第３の検索実行部５０５に、それぞれ出力し、その結果データ管理部５０６から出力されるシーンまたはフレームの画像データを表示し、検索終了時には検索結果を出力するための検索制御部５０７とを含む。

この動画像検索装置５０は以下のように動作する。検索開始時、オペレータは検索制御部５０７に対して検索指示を与える。検索制御部５０７は、この検索指示に応じて、シーン単位の検索、空間分割ブロック単位での検索、または時間分割ブロック単位での検索のいずれかを選択し、第１の検索実行部５０３、第２の検索実行部５０４、または第３の検索実行部５０５のいずれかに対して検索要求を出す。

第１の検索実行部５０３、第２の検索実行部５０４、第３の検索実行部５０５のうち、検索制御部５０７から検索要求を受取ったものは、検索情報管理部５０２から与えられる動画像構造情報と、シーン単位、空間分割ブロック単位、または時間分割ブロック（フレーム）単位の要約情報に基づいて、検索要求に合致したシーンまたはフレームを検出し、検出されたシーンまたはフレームに関する情報をデータ管理部５０６に与える。

データ管理部５０６は、第１の検索実行部５０３、第２の検索実行部５０４または第３の検索実行部５０５から受取った、シーンまたはフレームに関する情報に対応するシーンまたはフレームの画像を動画像データから抽出し検索制御部５０７に与える。

検索制御部５０７は、データ管理部５０６から与えられた画像を表示する。表示された画像により、オペレータはその画像が所望のシーンであるかどうかを判断し、所望のシーンであれば検索結果を出力するように指示を検索制御部５０７に与える。検索制御部５０７はこの指示に応答して、検索結果を出力する。

検索制御部５０７により表示された画像が所望のシーンを表わすものではなかった場合、オペレータはさらに次の検索指示を検索制御部５０７に与える。以下検索制御部５０７は上述したのと同様の動作を行なって、検索結果のシーンの表示を行なう。以下、検索が終了するまでこの動作を繰返す。

具体的な動画像検索の例について説明する。この実施の形態では、検索情報として、動き補償予測符号化された動画像データに含まれる動きベクトルに基づいて得られる動きの大きさに関する情報を用いる。

所望のシーンまたはシーン内のフレームは、次のようにして検索される。

シーン単位の検索情報を利用すると、たとえば全体的に動きの大きなシーンと、全体的に動きの小さなシーンとを選別することができる。

空間分割ブロック単位の検索情報を利用すると、たとえば一シーンにわたって動きが空間的に遍在するようなシーンと、動きが空間的に比較的均等に分布するシーンとを選別できる。また、動きの遍在する部分が画像のどの部分かを指定することができる。たとえば、画像の中央部分に激しく動く部分（被写体）があるシーン、または画像の下半分に激しく動く部分があるシーン（空を含む画像）などを選び出すことができる。

本実施の形態では、空間分割ブロックという、従来は考慮されていなかったものを単位とする検索情報をシーンの検索に用いる。そのため、次のような効果が得られる。

図１１から図１３を参照して、図１２（Ａ）に示すシーンＡと、図１３（Ａ）に示すシーンＢとについて、図１１（Ａ）に示す基準となるシーンとの類似度を計算する場合を考える。こうした「類似度」計算により、基準となるシーンと類似した動き特徴を有するシーンを検出することができる。図１２から図１３は、シーン単位の検索情報のみを用いた場合を示す。

図１１から図１３の（Ｂ）に、それぞれの（Ａ）に示す画像に対するシーン単位検索情報を示す。図１１から図１３の（Ａ）に示されるように、シーンＡおよびシーンＢは、基準となるシーンに対して、シーン全体として同じような動きの強さを持っている。そのため、図１１から図１３の（Ｂ）に示されるように、対応のシーン単位検索情報も同様の値となる。すなわち、シーンＡ、Ｂのいずれも、基準となるシーンと類似していると判断される。

続いて、図１４から図１６を参照して、空間分割ブロック単位の検索情報を用いた場合の類似度検索の特徴について説明する。図１４から図１６の（Ａ）にはそれぞれ基準となるシーン、シーンＡ、Ｂを示す。図示されるように、各シーンの各フレームは４つの分割ブロックを含む。そのうちそれぞれ第１から第３の分割ブロックからなる空間分割ブロックに対して、空間分割ブロック単位の検索情報Ｐ₁、Ｐ₂およびＰ₃が計算されている。また図１４から図１６の（Ｂ）に示すように、基準となるシーン、シーンＡおよびＢに対するシーン単位の検索情報はほぼ同じ値である。

しかし、図１４から図１６の（Ｃ）に示されるように、空間分割ブロック単位の検索情報で各シーンを比較すると、次の事実が分る。すなわち、シーンＡの方が、基準となるシーンの空間分割ブロック単位検索情報の分布と類似した分布を有する。これは、シーンＢでは人物が右の方によっているため、空間的に動きの偏りができるためである。基準となるシーンおよびシーンＡはいずれも、人物がほぼ中央にいる。したがって、基準となるシーンと類似したシーンとしてシーンＡは検出されるが、シーンＢは検出されない。つまり、シーン全体としての動きはシーンＡ、Ｂとも基準となるシーンと類似している場合であっても、動きが遍在しているか否かによってシーンを選別することができる。

さらに、フレーム（時間分割ブロック）単位の検索情報を利用すれば、たとえばシーン内の特に動きの激しいフレーム、逆に動きの止まっているようなフレームを選別することができる。

上記したシーン単位の検索情報、空間分割ブロック単位での検索情報、および時間分割ブロック単位での検索情報を組合わせることによって、さらに細かく所望のシーンの検索をすることができる。

たとえば、全体的に動きの大きなシーンを選び、特に画像の中央部分に激しく動く部分を持つシーンに絞り込み、さらに絞り込まれた各シーン内の、特に動きの激しいフレームをキーフレームとして取出す、という形で動画像検索を実行することができる。

このように、本実施の形態の装置によれば、多面的な条件指定により、画像の動きなどの画像特徴に基づいて、所望のシーンの画像を効率的に検索することができる。検索に要する時間も短縮される。

上記した実施の形態は、本発明を実施するための一つの例に過ぎない。この他にも種々の変形をこれらの装置に対して行なうことができる。

たとえば、この実施の形態の装置では解析部１０１が自動的に動画像データに対する信号解析によりシーンチェンジ点を見出している。しかし本発明はこれには限定されず、たとえばオペレータが動画像を見て、オペレータの主観によって動画像の構造を解析しシーンの分割位置にタグを付すようにしてもよい。この場合解析部１０１は、動画像データを同様に解析するが、その際、動画像データに付されたタグを見て動画像をシーンに分割する。

上記した実施の形態では、フレームの要約情報の頻度情報１６６として動き補償予測符号化時の動きベクトルのフレーム内頻度情報を用いた。しかしこの発明はこれには限定されず、頻度情報として各符号化ブロックの予測モードのフレーム内頻度情報を用いることもできる。

また、要約情報としては、上記したほかに、フレーム内の動きベクトルの総和もしくは標準偏差、または原画像信号もしくは復号画像信号を用いて計算されるフレーム内の平均輝度値、もしくは平均色差値などを用いてもよい。

検索方法および手順は、ここに示した組合せには限定されない。選択される候補を絞り込む順序を変えることも可能である。また、生成される検索情報によっても、検索のための方法およびその手順は変化する。

またたとえば、上記した実施の形態の装置では、空間分割ブロックとして、１フレームを２×２＝４分割した分割ブロックの１シーンにわたる集合を用いた。分割の個数は４個には限定されない。たとえば図１７に示されるように４×４、８×８、またはそれ以上の数による分割を行なうことも可能である。４×４分割の場合には、百分率で表わした空間分割ブロック単位検索情報はＰ₁からＰ₁₅である。Ｐ₁₆は１００％から他の空間分割ブロックの検索情報の和を減ずることにより得られる。８×８分割の場合には、百分率で表わした空間分割ブロック単位検索情報はＰ₁からＰ₆₃である。Ｐ₆₄も１００％から他の空間分割ブロックの検索情報の和を減ずることにより得られる。

さらに、このように複数通りの分割方法のいずれを用いるかを選択できるようにしてもよい。この場合、選択された個数（「解像度」と呼ぶことができる。）にしたがって分割された分割ブロックによって空間分割ブロックを構成し、その各々に対して検索情報を求める。さらに、検索情報を記録するときには、シーン単位検索情報と、選択された解像度による空間分割ブロック単位の検索情報に加えて、図１８にその値と分割数との対応関係が示される分割数指定フラグを検索情報に付加する。分割数指定フラグが「０」であれば｛Ｐ₁，Ｐ₂，Ｐ₃｝、「１」であれば｛Ｐ₁，Ｐ₂，…，Ｐ₁₅｝、「２」であれば｛Ｐ₁，Ｐ₂，…，Ｐ₆₃｝、「３」であれば｛Ｐ₁，Ｐ₂，…，Ｐ₂₅₆｝の空間分割ブロック単位の検索情報が記録される。

このように空間分割ブロックの解像度を複数通り指定できることにより、以下のような効果が生じる。

まず、画像のうち上下左右のおおまかな画像の動きの分布を知りたいという、比較的簡易な検索のみが要求されるデータベースでは、２×２など、小さな分割数を用いる。検索情報の記録量を抑えることができる。

画像の特定の一部または離れた２つの部分で動きが大きいシーンを抽出したい、というような要求が頻繁にあるデータベースでは、８×８など、比較的大きな分割数を用いる。高機能な検索を実現することができる。高解像度の検索情報は、低解像度の検索情報を含むので、低解像度の検索が必要なときにも、低解像度の検索情報を重複して持つ必要はない。

以上説明した実施の形態では、２×２、４×４、および８×８のように、縦方向の分割数と横方向の分割数とが等しく、かついずれも２のべき乗である。こうした分割数を選択的に用いると、分割の解像度が異なる空間分割ブロック単位検索情報を記録したデータベース間においても検索情報の間の対応付けが可能となる。また、異なる分割解像度どうしでの検索情報を比較することも可能となる。

さらに、図１９に示されるように、複数種類の解像度の空間分割ブロック単位の検索情報を階層的に記録してもよい。たとえば、シーンの検索情報は、シーン単位の検索情報２００と、２×２分割による空間分割ブロック単位の検索情報２０２と、４×４分割による空間分割ブロック単位の検索情報２０４と、８×８分割による空間分割ブロック単位の検索情報２０６とを含む。

この階層構造では、ある層の空間分割ブロック単位の検索情報は、一段高解像度の４つの空間ブロック単位の検索情報で表わされる。したがって、各層において、４つの空間分割ブロック単位の検索情報のうちの一つを記録しなくとも、検索に必要な全ての情報を得ることができる。

図１９に示した例による検索情報は、図１７に示した８×８にフレームを分割して形成される空間分割ブロックを単位とする検索情報を記録するのと同じ解像度の検索情報を含む。一方で図１９に示した検索情報によれば、他の解像度の検索情報を容易に得ることができるという利点を有する。

上に説明した実施の形態では、シーン内の全フレームを、２×２、４×４、８×８などのようにｎ×ｎの配置に分割して、空間分割ブロックを形成している。しかし本発明によれば、フレームの分割方法はこれには限られない。たとえば図２０から図２４に示されるような形でフレームを分割して、得られた空間分割ブロックを単位として検索情報を生成するようにしてもよい。図２０から図２４に示した例では、シーン内の全フレームを２のべき乗（２ⁿ）個（図２０ではｎ＝２、図２１ではｎ＝３、図２２ではｎ＝４、図２３ではｎ＝５、図２４ではｎ＝６）に分割している。このような分割方法を用いても、上に述べた実施の形態の装置で得られたものと同様の検索機能を実現するための検索情報を生成することができる。

図２０〜図２４に示したようなフレームの分割方法によっても、上に記載した実施の形態と同様に、異なる解像度の検索情報同士の対応付けが容易である。また、異なる解像度の検索情報を互いに容易に比較することができる。
なお、図５に示される例の場合は、たとえばフレーム１６２Ｎを一つの時間分割ブロック１６４Ｎとして要約情報を求めている。しかし本発明はこうした実現例に限定されない。たとえば一つの時間分割ブロックが２以上のフレームを含むようにしてもよい。また、各フレームをサブサンプリングしてサブフレームを生成し、一時間分割ブロックが一または複数個のサブフレームを含むようにしてもよい。またシーン内のフレームを適宜間引いて、間引いた各フレームに対する要約情報を用いるとしてもよい。

なお、図６に示される例または図８に示される例の場合は、空間分割ブロックに含まれる全ての分割ブロックを用いて空間分割ブロックの要約情報を求めている。しかし本発明はこうした実現例に限定されない。必ずしも空間分割ブロック内の全ての分割ブロックに対応する画像データを用いる必要はなく、分割ブロックを適当に間引いて、または分割ブロック内の画像データを適当に間引いて、空間分割ブロックの要約情報を生成してもよい。

なお、図５および図６を参照して説明した、時間分割ブロック単位もしくは空間分割ブロック単位の検索情報、またはシーン単位の検索情報を生成する際に、動画像を撮影したカメラの動きによるバックグラウンドの動きへの影響を除くために、カメラの動きに相当する動きベクトル分を補正して検索情報を生成するようにしてもよい。

さらに、上記した実施の形態では、動画像検索情報記録装置４０と動画像検索装置５０とは分離された別の装置である。そして検索情報は記録媒体１０７を介して動画像検索情報記録装置４０から動画像検索装置５０に渡されている。これに替えて、例えば、図３に示す第１の検索情報生成部１０２、第２の検索情報生成部１０３、第３の検索情報生成部１０４で生成された各種の検索情報を、解析部１０１から出力される動画像構造情報とあわせて、直接図１０の検索情報管理部５０２に渡すようにしてもよい。この場合の検索処理は、いわゆるリアルタイム検索と呼ばれる。

上記した実施の形態でフレームを分割した分割ブロックは、符号化ブロックと一致してもよい。符号化ブロックとは別の、適当な大きさのブロックを新たに定義してもよい。上の実施の形態では、分割ブロックは対称形であり、かつ分割ブロックの配置も対称である。しかし分割ブロックを新しく定義する場合には、ブロックが対称形である必要はない。またブロックの配置に関しても対称である必要はない。また、画像面内を適当に間引くことも可能である。すなわち、画像内に分割ブロックが含まれない領域があってもよい。また、分割ブロックが部分的に重複してもよい。すなわち、画像内に複数の分割ブロックに含まれる領域があってもよい。

上記した実施の形態では、図３に示される第３の検索情報生成部１０４は、第１の検索情報生成部１０２から出力される要約情報および第２の検索情報生成部１０３から出力される要約情報を受けて、シーン全体に関する要約情報を生成している。しかし本発明はこのような実現例には限定されない。たとえば第３の検索情報生成部１０４は、入力された画像データから直接にシーン全体に関する要約情報を生成するようにしてもよい。

また、上記した実施の形態では、各種の要約情報（検索情報）を、物理的に定義された一シーンを単位として求めている。しかし検索情報を、シーンを単位として求める必要は必ずしもない。たとえば１つのシーンを複数に分割したサブシーンを単位として検索情報を求めてもよい。すなわち「シーン」という語は「サブシーン」をも意味する。逆に、複数のシーンからなる複合シーンを単位として検索情報を求めることもできる。すなわち「シーン」という語は、「複数のシーンの集まり」をも意味する。

また、上記した実施の形態では、１つの動画像データに対して検索情報を生成し、記録し、検索を実行しているが、本発明はこうした実現例に限定されない。すなわち、複数の動画像データを検索の対象とし、検索情報を生成し、記録し、複数の動画像データ中から所望のシーンまたはフレームを検索することも想定するものである。

その一例として、図２５に示す、複数のシーンの各々が独立した動画像データとして蓄積されている画像データベースからの動画像検索を考える。昨今の、動画像を撮影することが可能なデジタルカメラなどで動画像の撮影を行なった場合には、各撮影された動画像、すなわち１回の録画開始から録画停止までの１シーンを表わす動画像データが、それぞれ独立したデータファイルとして生成される。したがって、図２５に示すような画像データベースも容易に想起できる。

このような画像データベースに対して、図３に示される動画像検索情報記録装置４０によって検索情報を生成する。このとき、入力される動画像データは、データベースに存在する複数の動画像データである。格動画像データは既にシーンに分解されている（１つの動画像データは各々一つのシーンのみを含んでいる）ため、動画像構造情報は不要である。したがって解析部１０１では動画像の構造解析を行なう必要はない。第１、第２、第３の検索情報生成部１０２、１０３、１０４は、動画像データからそれぞれフレーム（時間分割ブロック）、空間分割ブロック、シーン全体に対する要約情報を生成する。第４の検索情報生成部１０５は、これらの要約情報を所定の形式に配置して動画像に対する検索情報を生成する。記録部１０６は、各動画像データと各動画像に対応する検索情報とを受け、各動画像データと検索情報との対応情報をいずれか一方もしくは双方に付加するか、または別データとし、検索情報と対応情報とを記録媒体１０７に記録する。記録媒体１０７を元の画像データベース内としてもよい。また、各検索情報は各々独立して記録しても、または画像データベースに対応する検索情報としてまとめて記録してもよい。

また、このような画像データベースならびに生成および記録された検索情報から、図１０に示される動画像検索装置によって検索を実行する。このとき、読出部５０１で読出され検索情報管理装置５０２で管理されるのは、データベースに存在する複数の動画像データに対応した検索情報であり、各動画像データに対応した動画像構造情報は不要である。第１、第２、第３の検索実行部５０３、５０４、５０５ではそれぞれ、対応する検索情報を用いて検索要求と合致したシーンまたはフレームを検出し、検出されたシーンまたはフレームに関する情報を出力する。データ管理部５０６および検索制御部５０７は前記した実施の形態と同様に動作し、検索結果が得られる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

想定された従来の動画像の検索情報記録装置の概略ブロック図である。 想定された従来の動画像の検索装置の概略ブロック図である。 本発明の一実施の形態にかかる動画像検索情報記録装置のブロック図である。 本発明の一実施の形態にかかる動画像検索情報記録装置において、動画像をシーンに分解する過程を示す図である。 本発明の一実施の形態にかかる動画像検索情報記録装置において、時間分割ブロック単位の検索情報が生成される過程を示す図である。 本発明の一実施の形態にかかる動画像検索情報記録装置において、空間分割ブロック単位の検索情報が生成される過程を示す図である。 本発明の一実施の形態にかかる動画像検索情報記録装置におけるシーン単位の検索情報の概念を説明するための図である。 本発明の一実施の形態にかかる動画像検索情報記録装置における空間分割ブロック単位の検索情報の概念を説明するための図である。 本発明の一実施の形態にかかる動画像検索情報記録装置における、冗長性を排した空間分割ブロック単位の検索情報の概念を説明するための図である。 本発明の一実施の形態にかかる動画像検索装置のブロック図である。 シーン単位検索情報による類似度検索における、基準となるシーンを示す図である。 シーン単位検索情報による類似度検索における、一つのシーンを示す図である。 シーン単位検索情報による類似度検索における、他のシーンを示す図である。 空間分割ブロック単位検索情報による類似度検索における、基準となるシーンを示す図である。 空間分割ブロック単位検索情報による類似度検索における、一つのシーンを示す図である。 空間分割ブロック単位検索情報による類似度検索における、他のシーンを示す図である。 本発明の一実施の形態にかかる動画像検索情報記録装置において、シーン単位検索情報の記録と、空間分割ブロック単位の検索情報の選択的な記録という概念を示す図である。 分割指定数フラグの値の意味を表形式で示す図である。 本発明の一実施の形態にかかる動画像検索情報記録装置における、シーン単位の検索情報の記録と、空間分割ブロック単位の検索情報の階層的な記録という概念を表わす図である。 フレームを２²個に分割するときの分割例を示す図である。 フレームを２³個に分割するときの分割例を示す図である。 フレームを２⁴個に分割するときの分割例を示す図である。 フレームを２⁵個に分割するときの分割例を示す図である。 フレームを２⁶個に分割するときの分割例を示す図である。 動画像データがシーン単位に分割して蓄積されている動画像データベースを示す図である。

符号の説明

１０１ 解析部、１０２ 第１の検索情報生成部、１０３ 第２の検索情報生成部、１０４ 第３の検索情報生成部、１０５ 第４の検索情報生成部、１０６ 記録部、１０７ 記録媒体、５０１ 読出部、５０２ 検索情報管理部、５０３ 第１の検索実行部、５０４ 第２の検索実行部、５０５ 第３の検索実行部、５０６ データ管理部、５０７ 検索制御部、６０１ 解析部、６０２ フレーム単位の検索情報生成部、６０３ シーン単位の検索情報生成部、６０４ 動画像の検索情報生成部、６０５ 記録部、６０６ 記録媒体、７０１ 読出部、７０２ 検索情報管理部、７０３ シーン単位の検索実行部、７０４ フレーム単位の検索実行部、７０５ データ管理部、７０６ 検索制御部。

Claims (24)

1. １以上のシーンからなる動画像データを検索するための検索情報を生成する動画像検索情報生成装置であって、
   前記動画像データに基づいて、前記シーンの各々に対応して要約情報を前記検索情報として生成する検索情報生成部を備え、
   前記検索情報生成部は、前記シーンの各々について、当該シーンを空間的に分割することにより、時間方向には当該シーンの長さを持った複数の空間分割ブロックを構成し、この空間分割ブロック単位の前記要約情報を生成するための第１の要約情報生成手段を含み、
   前記空間分割ブロック単位の要約情報の各々は、前記空間分割ブロック毎の動画像データに基づいて算出される画像特性を示した数値情報であって、当該シーン内での他の空間分割ブロックに対する相対値で与えられる、動画像検索情報生成装置。
2. 前記シーンの各々は、連続する動画像データが時間軸上で分割されたものであり、
   前記シーンの各々の前記動画像データ中の位置を表わす動画像構造情報を出力する動画像構造情報出力部をさらに備え、
   前記検索情報生成部は、前記動画像構造情報と前記動画像データとに基づいて、前記シーンの各々に対応した検索情報を生成する、請求項１に記載の動画像検索情報生成装置。
3. 前記第１の要約情報生成手段は、前記シーンを空間的に分割する際に、空間方向に定義される２つの方向において予め定める数に分割することを特徴とする、請求項１に記載の動画像検索情報生成装置。
4. 前記第１の要約情報生成手段は、前記シーンを空間的に分割する際に、予め定める２のべき乗数に分割することを特徴とする、請求項１に記載の動画像検索情報生成装置。
5. 前記検索情報生成部はさらに、前記シーンの各々について、当該シーンを時間的に分割することにより、空間方向には当該シーンの画像サイズを持った複数の時間分割ブロックを構成し、この時間分割ブロック単位の要約情報を生成するための第２の要約情報生成手段を含む、請求項１に記載の動画像検索情報生成装置。
6. 前記検索情報生成部はさらに、前記シーンの各々について、当該シーン全体の要約情報を生成するための第３の要約情報生成手段を含む、請求項５に記載の動画像検索情報生成装置。
7. 前記検索情報生成部はさらに、前記シーンの各々について、当該シーンを時間的に分割することにより、空間方向には当該シーンの画像サイズを持った複数の時間分割ブロックを構成し、この時間分割ブロック単位の要約情報を生成するための第２の要約情報生成手段を含む、請求項３または４に記載の動画像検索情報生成装置。
8. 前記検索情報生成部はさらに、前記シーンの各々について、当該シーン全体の要約情報を生成するための第３の要約情報生成手段を含む、請求項７に記載の動画像検索情報生成装置。
9. 前記検索情報生成部はさらに、前記シーンの各々について、当該シーン全体の要約情報を生成するための第３の要約情報生成手段を含む、請求項１、３および４のいずれかに記載の動画像検索情報生成装置。
10. １以上のシーンからなる動画像データを検索するための検索情報を生成する動画像検索情報生成装置であって、
    前記動画像データに基づいて、前記シーンの各々に対応して要約情報を前記検索情報として生成する検索情報生成部を備え、
    前記検索情報生成部は、前記シーンの各々について、当該シーンを構成する複数のフレームの各々を同一の方法で複数のブロックに分割し、前記複数のフレームの対応する位置にある複数の前記ブロックを集めて前記シーンに対する複数の空間分割ブロックを形成し、この空間分割ブロック単位の前記要約情報を生成するための第１の要約情報生成手段を含み、
    前記空間分割ブロック単位の要約情報の各々は、前記空間分割ブロック毎の動画像データに基づいて算出される画像特性を示した数値情報であって、当該シーン内での他の空間分割ブロックに対する相対値で与えられる、動画像検索情報生成装置。
11. 前記第１の要約情報生成手段は、前記フレームを前記複数のブロックに分割する際に、空間方向に定義される２つの方向において予め定める数に分割することを特徴とする、請求項１０に記載の動画像検索情報生成装置。
12. 前記第１の要約情報生成手段は、前記フレームを前記複数のブロックに分割する際に、予め定める２のべき乗数に分割することを特徴とする、請求項１０に記載の動画像検索情報生成装置。
13. １以上のシーンからなる動画像データの要約情報を生成する動画像要約情報生成装置であって、
    前記シーンの各々について、当該シーンを空間的に分割することにより、時間方向には当該シーンの長さを持った複数の空間分割ブロックを構成し、この空間分割ブロック単位の前記要約情報を生成するための第１の要約情報生成手段を備え、
    前記空間分割ブロック単位の要約情報の各々は、前記空間分割ブロック毎の動画像データに基づいて算出される画像特性を示した数値情報であって、当該シーン内での他の空間分割ブロックに対する相対値で与えられる、動画像要約情報生成装置。
14. 前記第１の要約情報生成手段は、前記シーンを空間的に分割する際に、空間方向に定義される２つの方向において予め定める数に分割することを特徴とする、請求項１３に記載の動画像要約情報生成装置。
15. 前記第１の要約情報生成手段は、前記シーンを空間的に分割する際に、予め定める２のべき乗数に分割することを特徴とする、請求項１３に記載の動画像要約情報生成装置。
16. 前記シーンの各々について、当該シーンを時間的に分割することにより、空間方向には当該シーンの画像サイズを持った複数の時間分割ブロックを構成し、この時間分割ブロック単位の要約情報を生成するための第２の要約情報生成手段をさらに備える、請求項１３に記載の動画像要約情報生成装置。
17. 前記シーンの各々について、当該シーン全体を単位とする要約情報を生成するための第３の要約情報生成手段をさらに備える、請求項１３〜１６のいずれかに記載の動画像要約情報生成装置。
18. １以上のシーンからなる動画像データの要約情報を生成する動画像要約情報生成装置であって、
    前記シーンの各々について、当該シーンを構成する複数のフレームの各々を同一の方法で複数のブロックに分割し、前記複数のフレームの対応する位置にある複数の前記ブロックを集めて前記シーンに対する複数の空間分割ブロックを形成し、この空間分割ブロック単位の前記要約情報を生成するための第１の要約情報生成手段を備え、
    前記空間分割ブロック単位の要約情報の各々は、前記空間分割ブロック毎の動画像データに基づいて算出される画像特性を示した数値情報であって、当該シーン内での他の空間分割ブロックに対する相対値で与えられる、動画像要約情報生成装置。
19. 前記第１の要約情報生成手段は、前記フレームを前記複数のブロックに分割する際に、空間方向に定義される２つの方向において予め定める数に分割することを特徴とする、請求項１８に記載の動画像要約情報生成装置。
20. 前記第１の要約情報生成手段は、前記フレームを前記複数のブロックに分割する際に、予め定める２のべき乗数に分割することを特徴とする、請求項１８に記載の動画像要約情報生成装置。
21. １以上のシーンからなる動画像データを検索するための要約情報を生成するための要約情報生成装置における要約情報生成方法であって、
    前記要約情報生成装置が、前記シーンの各々について、当該シーンを空間的に分割することにより、時間方向に当該シーンの長さを持った複数の空間分割ブロックを構成するステップと、
    前記要約情報生成装置が、前記空間分割ブロック単位の前記要約情報を生成するステップとを備え、
    前記要約情報を生成するステップは、前記空間分割ブロック単位の前記要約情報として、前記空間分割ブロック毎の動画像データに基づいて算出される画像特性を示した数値情報であって、当該シーン内での他の空間分割ブロックに対する相対値を算出するステップを含む、要約情報生成方法。
22. 前記空間分割ブロックの分割数は、空間方向に定義される２つの方向において予め定まる数であることを特徴とする、請求項２１に記載の要約情報生成方法。
23. 前記空間分割ブロックの分割数は、予め定まる２のべき乗数であることを特徴とする、請求項２１に記載の要約情報生成方法。
24. 前記要約情報生成装置が、前記シーンの各々について、当該シーン全体を単位とする要約情報を生成するステップをさらに備える、請求項２１〜２３のいずれかに記載の要約情報生成方法。

Images