JPH07200627A - マルチメディアデータベース検索装置 - Google Patents

Abstract

(57)【要約】 【目的】一般的・汎用的なデータベース検索方式を利用
しながら、マルチメディアデータに特有の検索条件での
検索を行う。 【構成】検索対象となるマルチメディアデータの特徴を
表した図形の大きさ等の図形情報は図形入力部２０２を
介して図形管理部２０３に格納される。この図形を内部
処理に変換するための変換方式が指定された検索条件文
は、参照処理部２０７に入力される。参照処理部２０７
は、この条件文で指定されている変換方式の実体を変換
方式管理部２０５から読出し、変換対象である図形の図
形情報を図形管理部２０３から読出して、条件変換部２
０８に渡す。条件変換部２０８は、得られた変換方式に
従って当該図形の図形情報を検索対象であるマルチメデ
ィアデータのデータ構造に対応した形式に変換する。検
索部２０９は、この変換後の条件式を用いて記憶装置１
０１を検索する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置によって
データの蓄積・管理を行うデータベースシステム、特に
文字、図形、音声、静止画像、および動画像などの複数
のメディアに混在するマルチメディアデータの蓄積・管
理を行うマルチメディアデータベースシステムに係り、
任意の検索条件を入力しその検索条件を処理することに
より所望のデータを取り出すのに好適なマルチメディア
データベース検索装置に関する。

【０００２】

【従来の技術】従来の関係データベースに代表されるよ
うなデータベースシステムにおいては、ＳＱＬ、ＱＢＥ
などのデータベース検索方式を用いて検索を行ってい
た。この種の検索方式においては、データベースに対し
ていくつかの検索条件を任意に組み合わせることによ
り、任意の利用者の目的を忠実に反映するような検索条
件の指定が可能であるため、利用者の所望するデータを
得ることが可能である。このため、上記したデータベー
ス検索方式は、データベースシステムに対する一般的、
汎用的な検索方式として有用である。但し、これらの検
索方式においては、検索条件を文字、数値で表現する必
要がある。

【０００３】ところが、マルチメディアデータベースで
は、マルチメディアデータ、特に画像データなどにおけ
る位置および大きさの扱い、並びに音声、動画データの
再生時間などといった時間の扱いなど、関連する他のマ
ルチメディアデータとの比較によって大体割り合いを求
めることは出来ても、その正確な値は一見しただけでは
判定できないような情報を、大量に扱わなければならな
い。このようなマルチメディアデータに対して上記した
汎用データベース検索方式を適用した場合、位置、長さ
などの属性に対する値を数値で正確に表現しなければな
らないため、検索条件を指定する際非常な困難が伴うと
いう問題があった。

【０００４】他方、静止画像および動画像を扱う画像デ
ータベースシステムなどにおいては、画像の位置情報や
色情報をビットマップディスプレイ上に図形として入力
して検索を行ったり、類似画像を指定して検索を行うな
ど、画像特有の検索条件、数値を用いずに視覚的な形式
で入力して所望の画像を得ることが可能な画像データベ
ース検索方式を採るものがある。しかし、このようなデ
ータベースシステムは、扱うデータのデータ構造、入力
できる検索条件の組み合わせがシステムによって固定さ
れた、特殊目的のデータベースシステムである。

【０００５】このため、任意のデータ構造を定義して、
定義されたデータに対して任意の検索条件を設定できる
ような一般的・汎用的なデータベースシステムに、当該
画像データベース検索方式を適用するためには、検索シ
ステムの再開発を余儀なくされるという問題があった。

【０００６】このような問題点は画像データベースに限
らず、ある特定のマルチメディアデータ専用データベー
スシステムに共通に生じる問題である。

【０００７】

【発明が解決しようとする課題】上記したように、マル
チメディアデータに対して従来の汎用データベース検索
方式を適用した場合、位置、長さなどの属性に対する値
を数値で正確に表現しなければならないため、検索条件
を指定する際非常な困難が伴うという問題があった。

【０００８】また、画像特有の検索条件を文字、数値で
入力せず視覚的な形式で入力して所望の画像を得る画像
データベース検索方式を用いたデータベースシステム
は、扱うデータのデータ構造、および入力できる検索条
件の組み合わせがシステムによって固定された、特殊目
的のデータベースシステムである。このため、任意のデ
ータ構造を定義して、定義されたデータに対して任意の
検索条件を設定できるような一般的・汎用的なデータベ
ースシステムに、当該画像データベース検索方式を適用
するためには、検索システムの再開発を余儀なくされる
という問題があった。

【０００９】本発明は、上記問題点を解決するためにな
されたもので、その目的は、情報処理装置によってデー
タの蓄積・管理を行うデータベースシステム、特に文
字、図形、音声、静止画像、および動画像などの複数の
メディアに混在するマルチメディアデータの蓄積・管理
を行うマルチメディアデータベースシステムにおいて、
一般的・汎用的なデータベース検索方式を利用可能で、
且つ画像データベースなどに代表されるマルチメディア
データに特有の検索条件の入力を行うことが可能なマル
チメディアデータベース検索装置を提供することにあ
る。

【００１０】

【課題を解決するための手段および作用】本発明は、検
索条件入力手段と、任意の図形を入力するための図形入
力手段と、入力された図形を管理するための図形管理手
段と、この図形を、検索対象であるマルチメディアデー
タのデータ構造に対応した形式の検索条件に変換するた
めの変換方式を蓄積・管理するための変換方式蓄積・管
理手段と、上記検索条件入力手段により入力された検索
条件文の中で上記図形入力手段により入力された図形お
よび当該図形の変換方式が指定されている場合、上記図
形管理手段から指定の図形を呼び出す図形参照処理手段
と、上検索条件文の中で上記図形の変換方式が指定され
ている場合、上記検索条件文中で指定されている変換方
式を利用することを宣言し、同利用宣言された上記変換
方式蓄積・管理手段から指定の変換方式を呼び出す変換
方式宣言手段と、この呼び出された図形を当該変換方式
に従って、システム定義の検索処理可能な形式に変換す
る検索条件変換手段と、この変換された条件を用いて検
索する検索手段とを設けた構成としたことを特徴とす
る。

【００１１】上記した構成において、検索対象であるマ
ルチメディアデータの特徴となっている属性が図形とし
て図形入力手段により入力される。この図形の位置、大
きさの情報は、図形管理手段で管理される。

【００１２】一方、通常の文字列による検索条件文は検
索条件入力手段により入力される。この入力の際、図形
入力手段により入力された図形を、検索対象であるマル
チメディアデータのデータ構造に適合した形式（当該マ
ルチメディアデータに特有の属性データのデータ形式）
に変換するための変換方式を指定した検索条件（変換方
式指定検索条件）も通常の検索条件文と共に入力され
る。

【００１３】図形参照処理手段は、入力された検索条件
文中で指定されている図形の情報を図形管理手段から呼
び出す。これと共に、変換方式宣言手段は、同検索条件
で指定されている変換方式を変換方式管理手段から呼び
出す。ここで、当該変換方式は、予め変換方式入力手段
により入力されて、変換方式管理手段に予め登録されて
いるものとする。検索条件変換手段は、変換方式宣言手
段により呼び出された当該変換方式に従って、当該図形
の情報を、検索対象であるマルチメディアのデータ構造
に対応した形式の検索条件に変換する。

【００１４】検索手段は、この変換された検索条件を用
いて、当該マルチメディアデータのの検索を行う。

【００１５】上記した構成とすることにより、位置、長
さなどのマルチメディアデータに特有の検索条件を、文
字数値などで正確に指定する必要がなく、図形などの位
置、大きさなどで曖昧に指定することが可能なため、マ
ルチメディアデータに対する検索条件入力を容易に行う
ことができる。

【００１６】また、図形入力手段により入力された図形
の情報を、検索条件入力手段により入力された検索条件
文の指定の中から参照し、検索条件文で適切な変換方式
を選択して、この変換方式を当該図形情報およびマルチ
メディアデータに対して適用することにより、入力され
た図形を変換方式の記述に従って「カード中のタイトル
の位置」、「動画像の再生時間」、および「ある画像中
の上の方」といった検索条件の記述に解釈し直すことが
できる。

【００１７】このように、図形入力手段により入力され
た図形を、検索対象であるマルチメディアデータのデー
タ構造に対応した形式の検索条件に変換するための変換
方式を指定して、指定した変換方式に従って図形を当該
マルチメディアデータのデータ構造に対応する形式の検
索条件に変換する構成としたことにより、検索条件入力
手段と図形入力手段とをマルチメディアデータ毎に作り
直す必要なく、１つの検索条件入力手段と１つの図形入
力手段とを任意のデータ構造を持つマルチメディアデー
タベースを検索する際の任意の検索条件の入力に利用す
ることができる。

【００１８】また、上記した構成において、任意の変換
方式を記述する変換方式記述手段と、この変換方式を上
記変換方式蓄積・管理手段に追加登録する変換方式登録
手段とをさらに設け、マルチメディアデータベースに新
たなデータ構造を持つマルチメディアデータを登録され
た場合に、当該マルチメディアデータに対応する変換方
式を新たに追加登録する構成とすることにより、新たに
追加登録されたマルチメディアデータに特有の検索に対
応させるためにシステムを再開発することなく、通常の
検索を行うことができる。すなわち、変換方式を追加す
るという最小限のシステムの拡張で新たに追加登録され
たマルチメディアデータに特有の検索を行うことができ
る。さらに、今まで使っていた検索条件と新たなマルチ
メディアデータに特有の検索条件とを混在させて検索す
ることもできる。

【００１９】また、上記した構成において、上記マルチ
メディアデータが階層的な構造を持つ場合、そのマルチ
メディアデータの階層構造を図形の入れ子構造で表現す
ることもできる。これにより、階層的な構造のデータの
検索条件の入力が容易となる。

【００２０】上記した構成において、検索対象であるマ
ルチメディアデータと当該マルチメディアを検索するた
めに上記図形入力手段により入力された図形が共に階層
的な構造を持ち、且つ、当該マルチメディアデータの階
層のあるレベルにある複数の部分マルチメディアデータ
と、当該マルチメディアデータに対応する図形の入れ子
構造の同じレベルにある複数の部分図形について、上記
各部分マルチメディアデータと各部分図形との間に明示
的な対応関係を指定することができない場合、上記検索
条件変換手段が、各部分図形の位置情報と各部分マルチ
メディアデータの内容とを基に、両者の対応関係を示す
類似度を算出し、この算出した類似度に従って当該図形
と当該部分マルチメディアデータとの対応を決定する構
成とすることもできる。

【００２１】さらに、上記した構成において、検索対象
とであるマルチメディアデータが複雑な階層構造を持
ち、各階層毎に異なるデータ構造の部分マルチメディア
データが組み込まれており、当該マルチメディアデータ
の当該階層構造に対応して、上記図形入力手段により入
力される図形が複数段の入れ子構造を持つ場合、上記検
索条件変換手段は、入れ子構造の各レベル毎に指定され
た変換方式に従って、上記図形を当該マルチメディアデ
ータのデータ構造に対応する形式の検索条件に変換する
構成とすることもできる。これにより、複雑な階層構造
を持つマルチメディアデータに対する複合的な検索がで
きる。

【００２２】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。

【００２３】図１は同実施例に係るマルチメディア検索
装置を適用するマルチメディアデータベースシステムの
構成を表す概念図である。

【００２４】図１において、記憶装置１０１は、文字、
図形、音声、静止画、および動画像などのマルチメディ
アデータを蓄えるためのものである。

【００２５】入力装置１０２および座標入力装置１０３
は、マルチメディアデータの検索条件を入力するための
ものである。

【００２６】情報処理装置１０４は、ユーザの所望する
データ、つまり入力装置１０２または座標入力装置１０
３により入力された検索条件を満たすマルチメディアデ
ータを記憶装置１０１から取り出す。

【００２７】出力装置１０５は、情報処理装置１０４に
より記憶装置１０１から取り出されたマルチメディアデ
ータを表示するためのものである。

【００２８】図２は、図１の情報処理装置１０４の詳細
な構成を示すブロック図である。

【００２９】検索条件入力部２０１、図形入力部２０
２、図形管理部２０３、変換方式入力部２０４、変換方
式管理部２０５、検索条件解析部２０６、図形参照処理
部２０７、検索条件変換部２０８、検索部２０９、およ
び結果表示部２１０から構成される。

【００３０】検索条件入力部２０１は、図１の入力装置
１０２からの検索条件を入力するものである。

【００３１】図形入力部２０２は、図１の座標入力装置
１０３により入力された図形、つまり検索条件入力部２
０１により入力される検索条件を視覚的に表現した図形
を入力するものである。

【００３２】図形管理部２０３は、図形入力部２０２に
より入力された図形の識別名（図形名）、位置（位置座
標）、および大きさ（幅、高さ）等の図形情報を管理す
るためのものである。

【００３３】変換方式入力部２０４は、図形入力部２０
２により入力された図形で表現された検索条件の指定
を、検索処理な形式に変換するための変換方式（変換関
数）を変換方式管理部２０５に入力するものである。

【００３４】変換方式管理部２０５は、変換方式入力部
２０４により入力された変換方式の実体である変換関数
を保持するためのものである。

【００３５】検索条件解析部２０６は、検索条件入力部
２０１により入力された検索条件を、内部処理可能な形
式である内部表現に翻訳するものである。この翻訳処理
は、一般的・汎用的なデータベース検索装置と同様の処
理である。

【００３６】図形参照処理部２０７は、検索条件解析部
２０６により生成された検索条件の内部表現で指定され
ている図形及び変換方式を、ぞれぞれ図形管理部２０３
およびから変換方式管理部２０５から呼び出すものであ
る。

【００３７】検索条件変換部２０８は、検索条件の内部
表現を、図形参照処理部２０７で得られた変換方式に従
って検索可能な形式に変換するものである。

【００３８】検索部２０９は、検索条件変換部２０８で
変換された検索条件を用いてデータベース（図１の記憶
装置１０１）の検索を行うものである。

【００３９】結果表示部２１０は、検索部２０９による
検索結果を表示するものである。

【００４０】つぎに上記した構成のマルチメディアデー
タベース検索装置の動作をカードデータの検索に適用し
た場合を例に、図３乃至図９を適宜参照して説明する。

【００４１】データベース（図１の記憶装置１０１）中
には、マルチメディアデータ、例えば図５に示すカード
＃１のデータが、図６に示すようなデータ構造で格納さ
れている。このカード＃１は、タイトル、説明、挿絵と
から構成されている。

【００４２】従来までの一般的・汎用的データベース検
索装置によるカードデータの検索条件の記述例を図１３
に示す。

【００４３】図１３に示すように、従来は、幅、高さ、
文章といった属性を任意に組み合わせて検索条件の記述
が行える反面、属性の値を文字および数値を使って正確
に記述する必要があり、特に幅、高さなどの属性は、正
確な値を入力することを強要されるため、検索条件の記
述が困難であった。

【００４４】ここで、図５に示すようなカード＃１を検
索する場合の検索条件の入力画面の表示例を図７に示
す。

【００４５】図７において、検索条件入力画面は、検索
条件式記述部６０１と図形検索条件入力部６０２とから
構成される。

【００４６】検索条件式記述部６０１には、検索条件式
が、例えば「レイアウト（カード＃１のタイトル，図＃
１．１）」のように文字列で記述される。この検索条件
式は、変換方式名６０５と引数６０７とから構成され
る。変換方式名６０５は、後述する図形検索条件入力部
６０２に描かれる図形を検索可能な形式に変換するため
の変換方式（変換関数）の識別名である。この変換方式
は、変換方式管理部２０５において、一般的なハッシュ
表などの技法を用いて変換方式名と対応付けられて管理
されている。図７の例では、「レイアウト」が変換式名
である。変換方式名「レイアウト」は、図形検索条件入
力部６０２に入力された図形がカード＃１のレイアウト
であることを示す。

【００４７】引数６０３は、変換方式名６０５で示され
る変換関数の引数である。図７の例では、「カード＃１
のタイトル，図＃１．１」および「カード＃１の説明，
図＃１．２」が引数である。

【００４８】一方、図形検索条件入力部６０２には、検
索条件式記述部６０１に記述された検索条件を視角的に
現したもの、すなわち図形により表現した検索条件が記
述される。

【００４９】この例では、図形検索条件入力部６０２に
は、検索の対象であるカード＃１の概略的なレイアウト
が図形名「図＃１」を持つ図形６０４で記述される。具
体的には、カード＃１のタイトル、説明および挿絵の表
示位置・範囲が、それぞれ図形６０４ａ、図形６０４ｂ
および図形６０４ｃにより指定される。各図形６０４
ａ，６０４ｂおよび６０４ｃには、それぞれ図形名とし
て「図＃１．１」，「図＃１．２」および「図＃１．
３」が付与される。

【００５０】このような構成の検索条件入力画面におい
て、図形検索条件入力部６０２に入力された図形６０４
（図形名「図＃１」）の図形情報、すなわち、図形６０
４（「図＃１」）を構成する図形６０４ａ（図形名「図
＃１．１」）、６０４ｂ（図形名「図＃１．２」）およ
び６０４ｃ（図形名「図＃１．３」）のそれぞれの位置
座標および大きさ（幅、高さ）などの図形情報が図形管
理部２０３に格納される。図形管理部２０３において
も、変換方式管理部２０５と同様、ハッシュ表などの技
法を用いて図形名と図形実体である図形情報とを対応付
けておくことで、図形の管理が行われる。

【００５１】一方、図７の検索条件入力画面において、
検索条件式記述部６０１に記述された検索条件式、例え
ば「レイアウト（カード＃１のタイトル，図１．１）」
は検索条件入力部２０１により検索条件解析部２０６に
入力される。

【００５２】検索条件解析部２０６は、検索条件入力部
２０１から入力された検索条件式を解析して、内部処理
可能な形式、すなわち検索条件式の内部表現（内部条件
式）に翻訳する。この翻訳処理は、一般的・汎用的なデ
ータベース検索装置による処理と同様である。

【００５３】検索条件解析部２０６は、この翻訳結果で
ある検索条件の内部表現（内部条件式）を図形参照処理
部２０７に転送する。以下の説明においては、便宜上内
部条件式として、翻訳前の表記形式「レイアウト（カー
ド＃１のタイトル，図＃１．１）」をそのまま用いる。

【００５４】つぎに、図形参照処理部２０７での、図形
の参照処理の詳細を図３のフローチャートを用いて説明
する。なお、実際の検索条件の内部構造は、このフロー
チャートで扱うものよりも複雑なため処理自体も複雑に
なるが、ここでは、本発明に直接関わる部分のみを詳細
に記述するため、本発明に直接関係のない処理を簡略化
している。

【００５５】まず、図形参照処理部２０７は、検索条件
解析部２０６から出力された内部条件式の中から、最初
の条件式「レイアウト（カード＃１のタイトル，図＃
１．１）」をｘに代入する（ステップＳ１２０１）。

【００５６】つぎに図形参照処理部２０７は、ｘの表す
関数、すなわち変換方式「レイアウト」の実体がこの検
索装置の組み込み関数であるか否かを判断する（ステッ
プＳ１２０２）。ここで、組み込み関数とは、図７の例
では、等価を表す関数「＝」などをいう。変換方式名
「レイアウト」の実体である関数は組み込み関数ではな
い。

【００５７】ステップＳ１２０２で判断の結果、ｘの表
す関数が組み込み関数でなければ、図形参照処理部２０
７は、変換方式管理部２０５に対して、ｘの表す関数が
存在するか否かの問い合わせを行う（ステップＳ１２０
３）。

【００５８】図形参照処理部２０７は、問い合わせの結
果、ｘの表す関数が変換方式管理部２０５内に存在した
場合は、変換方式の実体であるその関数、すなわち変換
方式の実体を変換方式管理部２０５から呼び出す（ステ
ップＳ１２０４）。

【００５９】一方、ステップＳ１２０３での問い合わせ
の結果、ｘの表す関数が存在しない場合は、当該関数は
未定義のものであるので、エラーとなり、図形参照処理
部２０７は、処理を終了する。

【００６０】ここで、変換方式「レイアウト」の実体で
ある関数は、変換方式管理部２０５に予め登録済みであ
るので、図形参照管理部２０７は、変換方式「レイアウ
ト」の実体となる関数を得る（ステップＳ１２０５）。

【００６１】つぎに、図形参照処理部２０７は、変換方
式「レイアウト」の引数、すなわち、図７の条件式「レ
イアウト（カード＃１のタイトル，図＃１．１）」の
「（カード＃１のタイトル，図＃１．１）」についての
処理を行う。

【００６２】まず、図形参照処理部２０７は、ｙに変換
方式「レイアウト」の最初の引数「カード＃１のタイト
ル」を代入する（ステップＳ１２０５）。

【００６３】つぎに、図形参照処理部２０７は、引数ｙ
「カード＃１のタイトル」に対応する図形、すなわち
「カード＃１のタイトル」という図形名を持つ図形が図
形管理部２０３内に存在するか否かを問い合わせる（ス
テップＳ１２０６）。

【００６４】問い合わせの結果、引数ｙ「カード＃１の
タイトル」という図形名を持つ図形は存在しないので、
図形参照処理部２０７は、未処理の引数が存在するか否
かを判断する（ステップＳ１２０７）。

【００６５】ここでは、未処理の引数「図＃１．１」が
存在するので、図形参照処理部２０７は、ｙに引数「図
＃１．１」を代入する（ステップＳ１２１１）。

【００６６】つぎに、図形参照処理部２０７は、「図＃
１．１」を図形名に持つ図形の情報（位置情報、大き
さ）を図形管理部２０３から取り出す（ステップＳ１２
０６，Ｓ１２０７）。

【００６７】つぎに、図形参照処理部２０７は、未処理
の引数が存在しないので、つぎの検索条件式「カード１
のタイトルの文章＝“コンサート”」をｘに代入し（ス
テップＳ１２１２）、同検索条件式での図形管理部２０
３内の図形の参照処理を続行する。

【００６８】そして、図形参照処理部２０７は、すべて
の処理を各検索条件式について行い、各検索条件式で指
定されている変換方式名を変換方式の実体である関数
に、図形名を図形の実体にそれぞれ結び付けて、参照の
解決を行う。

【００６９】このように、すべての検索条件式（内部条
件式）について、図形の参照処理が終了すると、図形参
照処理部２０７は、各検索条件式毎に得られた、変換方
式の実体（変換関数）および図形の実体（図形情報）を
検索条件変換部２０８に出力する。

【００７０】つぎに、検索条件変換部２０８での検索条
件変換処理を図４のフローチャートを用いて説明する。
なお、検索条件変換部２０８は図形参照処理部２０７に
おいて得られた個々の変換方式に基づいた検索条件変換
処理を行うので、変換方式の記述により検索条件変換処
理が異なってくる。よって、ここでは、変換方式「レイ
アウト」を例にとり、検索条件変換の概要を説明する。

【００７１】変換方式が「レイアウト」の場合には、２
つの引数が図形参照処理部２０７から検索条件変換部２
０８に渡される。引数の１つはデータベース（図１の記
憶装置１０１）中のデータであり、もう１つは図形情報
である。例えば、検索条件式「レイアウト（カード＃１
のタイトル，図＃１．１）」の場合であれば、引数とし
て「カード＃１のタイトル」のデータと「図＃１．１」
の図形情報が図形参照処理部２０７から検索条件変換部
２０８に渡される。

【００７２】すると、検索条件変換部２０８は、Ａにデ
ータベース中の「カード＃１のタイトル」のデータ（図
６参照）を代入する（ステップＳ１３０１）。すなわ
ち、検索条件変換部２０８は、「カード＃１のタイト
ル」のデータの中から、タイトルの幅、高さ、およびタ
イトルの位置座標（Ｘ座標、Ｙ座標）を取り出し、Ａに
代入する。

【００７３】つぎに、検索条件変換部２０８は、Ｂに図
形参照処理部２０８で得られた「図＃１．１」の図形情
報を代入する（ステップＳ１３０１）。

【００７４】つぎに、検索条件変換部２０８は、後の処
理（ステップＳ１３０６、Ｓ１３０８、Ｓ１３１０での
処理）で生成される検索条件の内部形式の集合を保持す
るための内部形式保持リストを生成する（ステップＳ１
３０３）。この内部形式保持リストは不定個数の検索条
件を生成するために必要とする。

【００７５】内部形式保持リストＬを生成すると、検索
条件変換部２０８は、データベース中の「カード＃１の
タイトル」の幅、高さ、および位置座標と、図形参照処
理部２０７で得られた「図＃１．１」の幅、高さ、およ
び位置座標との間でそれぞれ類似度を求める。なお、類
似度は次式（１）により算出される。

【００７６】ｓ＝１−｜１−ｍ／Ｍ｜ …（１） ｍ：入力された図形の属性情報 Ｍ：マルチメディアデータの属性情報 この場合、ｍは「図＃１．１」の属性情報（幅、高さ、
位置座標）、Ｍは「カード＃１のタイトル」の属性情報
（幅、高さ、位置座標）である。

【００７７】上式（１）により類似度が求まると、検索
条件変換部２０８は、求めた類似度を予め設定されたし
きい値と比較する。

【００７８】類似度がしきい値より大きければ、実際の
「カード＃１のタイトル」のデータと図形が対応すると
みなす。

【００７９】さて、類似度による比較の結果、検索条件
変換部２０８は、互いのＸ座標が類似していれば、条件
式“Ａ．Ｘ＠Ｂ．Ｘ”を得る（記号「＠」は、“Ａ．
Ｘ”と“Ｂ．Ｘ”とがほぼ等しいことを示すものであ
る）。そして、検索条件変換部２０８は、条件式“Ａ．
Ｘ＠Ｂ．Ｘ”を内部表現に変換して（ステップＳ１３０
４）、ステップＳ１３０３で生成しておいた内部形式保
持リストに加える（ステップＳ１３０５）。

【００８０】つぎに、検索条件変換部２０８は、互いの
幅が類似していれば、条件式“Ａ．Ｗｉｄｔｈ＠Ｂ．Ｗ
ｉｄｔｈ”を得る。検索条件変換部２０８は、条件式
“Ａ．Ｗｉｄｔｈ＠Ｂ．Ｗｉｄｔｈ”を内部表現に変換
して（ステップＳ１３０６）、内部形式保持リストＬに
加える（ステップＳ１３０７）。

【００８１】つぎに、検索条件変換部２０８は、互いの
高さが類似していれば、条件式“Ａ．Ｈｅｉｇｈｔ＠
Ｂ．Ｈｅｉｇｈｔ”を得る。検索条件変換部２０８は、
条件式“Ａ．Ｈｅｉｇｈｔ＠Ｂ．Ｈｅｉｇｈｔ”を内部
表現に変換して（ステップＳ１３０８）、内部形式保持
リストＬに加える（ステップＳ１３０９）。

【００８２】つぎに、検索条件変換部２０８は、互いの
Ｙ座標が類似していれば、条件式“Ａ．Ｙ＠Ｂ．Ｙ”を
得る。検索条件変換部２０８は、条件式“Ａ．Ｙ＠Ｂ．
Ｙ”を内部表現に変換して（ステップＳ１３１０）、内
部形式保持リストＬに加える（ステップＳ１３１１）。

【００８３】このようにして、検索条件式「レイアウト
（カード＃１のタイトル，図＃１．１）」についての変
換が終了すると、検索条件変換部２０８は、変換結果と
して生成された内部形式保持リストＬを呼び出し、当該
リストをもとの処理系に戻す（検索部２０９に出力す
る）（ステップＳ１３０２）。

【００８４】この結果、検索条件式「レイアウト（カー
ド＃１のタイトル，図＃１．１）」は、図８に示す４つ
の条件式に置き換えられるので、一般的、汎用的なデー
タベース検索装置と同等の処理が可能となる。

【００８５】さらに、検索条件変換部２０８は、残りの
検索条件式「レイアウト（カード＃１の説明，図＃１．
２）」についても同様に、内部条件式に変換した後、内
部形式保持リストＬに追加する。

【００８６】検索部２０９は、検索条件変換部２０８で
の条件変換処理の結果得られた内部形式保持リストＬを
基に、図１の記憶装置１０１内を検索し、該当するマル
チメディアデータを得る。検索部２０９は、検索された
該当するマルチメディアデータを結果表示部２１０に送
る。

【００８７】結果表示部２１０は、検索部２０９から送
られてきたマルチメディアデータを図１の出力装置１０
５に出力する。

【００８８】本装置の動作を、動画像データの検索に適
用した場合を例に、図９乃至図１２を適宜参照して説明
する。

【００８９】まず、ここでは、動画像データがマルチメ
ディアデータのデータ構造のある部分に組み込まれてい
るデータベース、例えば、図９に示すような、コマーシ
ャル等の製品紹介の動画像を属性に持つ製品データベー
スを考える。

【００９０】製品データベース中の製品＃１のデータ
は、製品＃１の名前、分類、製造年月日、価格、その製
品＃１についての説明、製品＃１のコマーシャル（Ｃ
Ｍ）の動画像データへのポインタから構成されている。

【００９１】このＣＭの動画像データの構成を図１０に
示す。図１０に示すように、ＣＭの動画像データのう
ち、開始から全体の４分の１程度までがズームインの部
分（図９のフレーム＃０からフレーム＃１までの区間）
で、ズームイン終了から全体の４分の３程度までが静止
画の表示部分（図９のフレーム＃１からフレーム＃２ま
での区間）である。ＣＭの動画像データの後半部分で
は、ＢＧＭ（Back GroundMugic ）などの音声が同時に
流れる。

【００９２】また、図２の図形入力部２０２により入力
される図形を、動画像中の特徴を表すフレーム区間に変
換するための変換方式「特殊効果」に対応する関数が、
予め図２の変換方式管理部２０５に登録されているもの
とする。

【００９３】続いて、この製品データベースを検索する
場合の検索条件の入力画面の表示例を図１１に示す。な
お、この入力画面は、既に説明したカードデータの検索
の場合と同様に、検索条件式記述部６０１と図形検索条
件入力部６０２とから構成される。

【００９４】検索条件式記述部６０１には、検索条件式
９０１〜９０３ｃが記述される。検索条件式９０１は製
品＃１の分類に関する条件を示すもの、検索条件式９０
２は製品＃１の価格に関する条件を示すもの、検索条件
式９０３ａ〜９０３ｃは製品＃１のＣＭの構成（ＣＭの
ズームイン区間、ＣＭ中の静止画像区間、ＢＧＭの流れ
る区間）に関する条件を示すものである。

【００９５】また、図形検索条件入力部６０２には、図
形９０６ａ，９０６ｂおよび９０６ｃから構成される図
形９０６が記述される。各図形９０６ａ〜９０６ｃは、
検索条件式記述部６０１に記述された各検索条件式９０
３ａ〜９０３ｃにそれぞれ対応している。また、各図形
９０６ａ〜９０６ｃには、ぞれぞれ図形名「図＃２．
１」、「図＃２．２」、「図＃２．３」が付与される。

【００９６】さて、このように検索入力画面の検索条件
式記述部６０１に記述された検索条件式９０１〜９０３
ｃは、検索条件入力部２０１により検索条件解析部２０
６に入力される。

【００９７】一方、検索入力画面の図形検索条件入力部
６０２に描かれた図形９０６ａ〜９０６ｃのそれぞれの
図形情報は、図形入力部２０２により図形管理部２０３
に格納される。

【００９８】検索条件解析部２０６は、検索条件入力部
２０１から入力された検索条件式９０１〜９０３ｃを、
それぞれ内部処理可能な形式（内部表現）に翻訳して、
図形参照処理部２０７に転送する。

【００９９】すると、図形参照処理部２０７は、検索条
件解析部２０６で内部表現に翻訳された検索条件式９０
１〜９０３ｃの中から、変換方式「特殊効果」に対応す
る部分を検出する。図形参照処理部２０７は、検出した
変換方式「特殊効果」の実体（変換関数）を変換方式管
理部２０５から取り出し、検索条件変換部２０８に転送
する。また、図形参照処理部２０７は、検索条件式９０
３ａ〜９０３ｃ中にそれぞれ記述されている図形名「図
＃２．１」〜「図＃２．２」を持つ図形の大きさ、位置
座標等の図形情報を図形管理部２０３から取り出し、検
索条件変換部２０８に転送する。

【０１００】つぎに検索条件変換部２０８での条件変換
処理の詳細を図１２を用いて説明する。図１２は、検索
条件式９０３「特殊効果（製品＃１のＣＭ，図＃２．
１，ズームイン）」を変換する場合の処理の概略を示
す。

【０１０１】まず、検索条件変換部２０８は、図形参照
処理部２０７から変換方式「特殊効果」の実体である関
数および図形９０６（図形名「図＃２」）の実体である
図形情報を受け取る。

【０１０２】つぎに、検索条件変換部２０８は、図１の
記憶装置１０１中の「製品＃１のＣＭ」の動画から、図
形９０６（図形名「図＃２」）の全体の幅を「製品＃１
のＣＭ」の動画の長さとしたときの図形９０６ａ（図形
名「図＃２．１」）の幅に対応する部分動画を切り出
す。

【０１０３】つぎに、検索条件変換部２０８は、切り出
した部分動画の先頭のフレーム（フレーム＃０）と終端
のフレーム（フレーム＃１）のそれぞれのフレーム番号
を求め、求めたフレーム番号を、切り出した部分動画が
ズームインしているか否かを調べるためのズームイン判
定関数（変換方式名「ズームイン」）に渡す。

【０１０４】この結果、検索条件式９０３ａ「特殊効果
（製品＃１のＣＭ，図＃２．１，ズームイン）」は、図
１２に示すように「ズームイン（製品＃１のＣＭ，フレ
ーム＃０，フレーム＃１）」に変換される。

【０１０５】検索条件変換部２０８は、ズームイン判定
関数「ズームイン」を用いて、当該部分動画がズームイ
ンしているかを調べ、ズームインしていれば、検索条件
文で指定されている図形と実際のマルチメディアデータ
との対応関係の度合いを示す類似度を算出する。以下に
類似度の算出の詳細を説明する。

【０１０６】まず、実際の動画、つまり図１０の例で
は、動画全体区間８０１の幅を１とすると、ズームイン
区間８０１ａは始めから０．３までの部分、静止画区間
８０１ｂは０．３から０．７までの部分、音楽再生区間
８０１ｃは０．５から１までの部分であるとそれぞれ表
現できる。

【０１０７】一方、検索条件として入力した図形９０６
では、図形９０６の幅を１とすると、ズームイン区間を
示す図形９０６ａは始めから０．２までの部分、静止画
区間を示す図形９０６ｂは０．２から０．８までの部
分、音楽再生区間を示す図形９０６ｃは０．５から１ま
での部分であるとそれぞれ表現できる。

【０１０８】ことから実際の動画と検索条件として入力
された図形との類似度ｓは、次式（２）で求めることが
できる。

【０１０９】ｓ＝１−｜Ｌ1 −Ｌ2 ｜ …（２） Ｌ1 ：実動画での比較対象となる特徴部分の動画全体に
占める割合 Ｌ2 ：検索条件として入力された部分図形の図形全体に
占める割合 上記したような構成の動画の場合、検索条件変換部２０
８は、まず、ズームイン区間の類似度ｓ1 を求める。 Ｌ1 ＝０．３、Ｌ2 ＝０．２ ｓ1 ＝１−｜０．３−０．２｜ ＝０．９ 検索条件変換部２０８は、次に静止画区間の類似度ｓ2
を求める。 Ｌ1 ＝０．８、Ｌ2 ＝０．７ ｓ2 ＝１−｜０．８−０．７｜ ＝０．９ 検索条件変換部２０８は、類似度ｓ1 およびｓ2 を比較
し、このうち値の大きくない方を当該図形の類似度とし
て選択する。この場合、類似度ｓ1 およびｓ2の値は共
に０．９であるのでこの検索条件での類似度を０．９と
する。

【０１１０】つぎに、検索条件変換部２０８は、求めた
類似度を予め設定されたしきい値と比較する。

【０１１１】類似度がしきい値より大きければ、検索条
件変換部２０８は、検索条件に合致すると判断して、検
索条件として組み込む。

【０１１２】つぎに、検索条件変換部２０８は、このよ
うにして変換した検索条件を検索部２０９に出力する。

【０１１３】検索部２０９は、検索条件変換部２０８か
ら出力された検索条件を基に図１の記憶装置１０１内を
検索し、当該検索条件に合致するマルチメディアデータ
を取り出す。

【０１１４】検索部２０９は、得られたマルチメディア
データを結果表示部２１０に出力する。

【０１１５】結果表示部２１０は、検索部２０９から出
力されたマルチメディアデータを利用者に提示するため
に図１の出力装置１０５に出力する。

【０１１６】なお、上記実施例では、比較的簡単な検索
条件の記述例を用いて説明を行ったが、これに限定され
るものではない。例えば、量限定子を用いた検索、副問
い合わせなどを含む検索など、さらに複雑な検索条件の
記述に対しても適用することができる。

【０１１７】

【発明の効果】以上説明したように本発明によれば、位
置、長さなどのマルチメディアデータ特有の検索条件を
図形により入力し、入力された図形を検索対象となるマ
ルチメディアデータのデータ構造に対応する形式に変換
して検索を行うようにしている。 すなわち、本発明に
よれば、検索条件文中で指定されている変換方式を選択
し、入力された図形をこの変換方式に従って、「カード
中のタイトルの位置」、「動画像の再生時間」、「ある
画像中の上の方」といった検索条件の記述に解釈し直し
た後、検索を行うようにしているので、メディアの異な
るマルチメディアデータ毎にそのデータ構造に合わせて
検索条件入力手段および図形入力手段を新たに作り直す
ことなく、当該検索条件入力手段および当該図形入力手
段をそのまま再利用することができる。よって、１つの
検索条件入力手段と１つの図形入力手段とを任意のデー
タ構造を持つ任意のマルチメディアデータに対する任意
の検索条件の入力に利用することができる。

【０１１８】また、本発明によれば図形により検索条件
を指定できるようにしているので、従来のように、位
置、長さなどのマルチメディアデータ特有の検索条件を
文字数値などで正確に指定する必要がなく、図形などの
位置、大きさなどで検索したいマルチメディアデータを
曖昧に指定することができる。よって、マルチメディア
データに対する検索条件を容易に入力することができ
る。

【０１１９】本発明によれば、人間が他人に何か説明を
行う際、主に言葉を用いながら必要に応じて図を利用す
るという状況と類似していることから、データベースを
利用する人が検索条件を率直に表現してシステムに伝え
るための機構を提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るマルチメディアデータ
ベース検索装置の構成を示すブロック図。

【図２】図１の情報処理装置１０４の詳細を示すブロッ
ク図。

【図３】図２の図形参照処理部２０７での処理の一例を
説明するためのフローチャート。

【図４】図２の検索条件変換部２０８での処理の一例を
説明するためのフローチャート。

【図５】検索対象となるマルチメディアデータの一例で
あるカードデータを示す図。

【図６】図５のカードデータのデータ構造を示す図。

【図７】図５のカードデータを検索する場合での本実施
例における検索条件入力画面を示す図。

【図８】図７の検索条件入力画面に入力された図形を内
部処理に適合した形式に変換するまでの処理を詳細に示
した図。

【図９】検索対象となるマルチメディアデータの一例で
ある動画像データを示す図。

【図１０】図９の動画像データの構成を示す図。

【図１１】図９の動画像データを検索する場合での本実
施例における検索条件入力画面を示す図。

【図１２】図１１の検索条件入力画面に入力された図形
を内部処理に適合した形式に変換するまでの処理を詳細
に示した図。

【図１３】図５のカードデータを検索する場合での従来
の検索条件入力画面を示す図。

【符号の説明】

２０１…検索条件入力部、２０２…図形入力部、２０３
…図形管理部、２０４…変換方式入力部（変換方式記述
手段、変換方式登録手段）、２０５…変換方式管理部、
２０６…検索条件解析部、２０７…図形参照処理部（変
換方式宣言手段、図形参照処理手段）、２０８…検索条
件変換部、２０９…検索部、２１０…結果表示部。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 文字、図形、音声、静止画像および動画
   像など複数のメディアの混在するマルチメディアの蓄積
   ・管理を行うマルチメディアデータベース管理システム
   に適用されるマルチメディアデータベース検索装置にお
   いて、 マルチメディアデータを検索するための検索条件文を入
   力する検索条件文入力手段と、 任意の図形を入力する図形入力手段と、 前記図形入力手段により入力される図形を、検索対象と
   なるマルチメディアデータの持つデータ構造に対応した
   形式の検索条件に変換するための変換方式を蓄積・管理
   するための変換方式蓄積・管理手段と、 前記図形入力手段により入力された図形を保持するため
   の図形管理手段と、 前記検索条件文入力手段により入力された検索条件文中
   で前記図形入力手段により入力された図形が指定されて
   いる場合、前記指定されている図形を前記図形管理手段
   から呼び出す図形参照処理手段と、 前記検索条件文中で、前記図形参照処理手段により呼出
   された前記図形を前記検索条件に変換するための変換方
   式が指定されている場合、前記検索条件文中で指定され
   ている変換方式を利用することを宣言し、同利用宣言さ
   れた変換方式を前記変換方式蓄積・管理手段から呼び出
   す変換方式宣言手段と、 前記変換方式宣言手段により利用宣言された変換方式に
   従って、前記図形参照処理手段により得られた前記図形
   を前記検索条件に変換する検索条件変換手段と、 前記検索条件変換手段により変換された検索条件を用い
   て前記マルチメディアデータの検索をする検索手段とを
   具備したことを特徴とするマルチメディアデータベース
   検索装置。
2. 【請求項２】 前記図形入力手段により入力された図形
   を個々の検索目的に合致するよう解釈し直すための変換
   方式を記述する変換方式記述手段と、 前記変換方式記述手段により記述された前記変換方式を
   前記変換方式蓄積・管理手段に追加登録する変換方式登
   録手段と、 をさらに具備したことを特徴とする請求項１記載のマル
   チメディアデータベース検索装置。
3. 【請求項３】前記マルチメディアデータが階層的な構造
   を持つ場合、前記マルチメディアデータの階層構造を図
   形の入れ子構造で表現することを特徴とする請求項１ま
   たは請求項２に記載のマルチメディアデータベース検索
   装置。
4. 【請求項４】 前記検索条件変換手段が、前記指定され
   た変換方式に従って前記図形を検索条件に変換する際
   に、検索対象であるマルチメディアデータと前記図形と
   が共に階層的な構造を持ち、且つ、当該マルチメディア
   データの階層のあるレベルに組み込まれた複数の部分マ
   ルチメディアデータと、当該マルチメディアデータに対
   応する前記図形の入れ子構造において、前記レベルと同
   じレベルにある複数の部分図形とについて、前記各部分
   マルチメディアデータと各部分図形との間に明示的な対
   応関係を指定することができない場合、 前記検索条件変換手段は、各部分図形の位置情報と各部
   分マルチメディアデータの内容とを基に、両者の対応関
   係を示す類似度を算出し、この算出した類似度に従って
   当該部分図形と当該部分マルチメディアデータとの対応
   関係を決定し、この決定された対応関係を基に当該図形
   を前記検索条件に変換することを特徴とする請求項３記
   載のマルチメディアデータベース検索装置。
5. 【請求項５】 検索対象であるマルチメディアデータが
   階層構造を持ち、各階層毎に、異なるデータ構造の部分
   マルチメディアデータが組み込まれており、当該マルチ
   メディアデータの階層構造に対応して、前記図形入力手
   段により入力される図形が複数段の入れ子構造を持つ場
   合、 前記検索条件変換手段は、前記検索条件入力手段により
   入力される検索条件文中で前記図形の入れ子構造の各レ
   ベル毎に指定された変換方式に従って、前記図形を当該
   マルチメディアデータのデータ構造に対応する形式の検
   索条件に変換することを特徴とする請求項３記載のマル
   チメディアデータベース検索装置。