JP4717402B2 - 情報処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを検索する情報処理装置及びその制御方法、プログラムに関するものである。

小型の計算機システムの高性能化と記憶装置の大容量化によって、文書データや画像データ、音声データ等のデータをはじめ、それらが混在したマルチメディアデータが流通するようになってきた。さらに、ここ数年の地球規模のコンピュータネットワークであるインターネットの普及や、移動体通信機器の低価格化によって、これらのデータが簡単に入手でき、また楽しめる時代になってきた。個人が扱う情報量は、増大し、これらの情報を検索する機能は非常に重要になってきている。

このような大量のマルチメディアデータを効率よく利用するために、様々な検索方法と、これらを実装した装置が提案されている。例えば、マルチメディアデータをデータベース等の記憶装置で管理し、これらに特徴量やキーワード等のメタデータを付与しておき、検索条件を与えることによって、検索条件に適合するマルチメディアデータを検索する方法がある。

個人が扱う情報量が多く、内容も多様化・複雑化している現在、大規模なデータベースから、検索条件によって必要な情報だけを取得することは難しく、通常、ユーザは検索条件によって候補を絞り込み、その中から所望の情報を探さなければいけない。検索結果を表示する際には、検索条件に適合する候補のタイトルやサムネイル等の識別情報を一覧表示するのが一般的で、ユーザはこの識別情報を選択することによって、更に詳細な情報を表示させる。

従来のマルチメディアデータを検索するマルチメディアデータ検索装置では、検索結果の一覧は、検索条件との適合度や類似度によってランク付けされて並べられる等、検索クエリとの適合性に従って表示されることが多かった（例えば、特許文献１を参照）。

今後は、マルチメディアデータの検索機能を提供するだけでなく、ユーザが所望の情報を探し易く、また利用し易くなるように、検索結果が表示されることが望ましい。
特開２００１−１０９７７９号公報

情報収集等の様に、多数の情報を検索し、これを利用する場合には、検索結果の中から目的に合わせて必要な情報を探索、選択し、整理しなければいけない。

従来の方法では、検索クエリとの適合性に従って検索結果の一覧表示を行っていたので、検索クエリに関連する多種多様な内容の情報が一貫性なく混在して表示されていた。即ち、検索結果として得られた多数のデータの内容などによる関連性やつながりを考慮した表示が行われていないので、検索結果を見る場合に、ユーザは、一度見た情報を何度も見直したり、内容を記憶して頭の中で整理したり、情報の閲覧順を考慮して調整したりしなければならず、非常に手間のかかる大変な作業であった。特に、検索結果数が多い場合には、スクロールや改ページを繰り返しながら一つずつ詳細情報を見ていかなければいけないので、非常に労力と時間と慣れを必要とする。

本発明は上記の課題を解決するためになされたものであり、ユーザが意図する検索結果を効率的にかつ好適に提示することができる情報処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
静止画像データ又は動画像データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを検索する情報処理装置であって、
検索対象となる前記マルチメディアデータを複数記憶する記憶手段と、
前記マルチメディアデータを検索するための検索条件を入力する入力手段と、
前記検索条件に基づいて、前記記憶手段からマルチメディアデータを検索する検索手段と、
前記検索手段によって検索結果として得られた複数のマルチメディアデータそれぞれを解析するための、前記検索条件に対応する解析規則に従って、前記検索手段で検索結果として得られた複数のマルチメディアデータをグループに分類し、そのグループの関係付けを解析する解析手段と、
前記検索結果として表示する内容を決定するための、前記検索条件に対応する表示規則と、前記解析手段の解析結果に基づいて、前記検索結果として表示する表示内容として、前記検索手段によって検索結果として得られた複数のマルチメディアデータを連続的に表示する場合に、前記複数のマルチメディアデータそれぞれの区切りを明示するための表示効果を各区切りに対して決定する表示内容決定手段と、
前記表示内容決定手段で決定された前記複数のマルチメディアデータの各区切りに対する表示効果を用いて、前記検索結果として得られた複数のマルチメディアデータを連続的に再生表示する検索結果表示手段と
を備える。

本発明によれば、ユーザが意図する検索結果を効率的にかつ好適に提示することができる情報処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

本発明は、文書データ、画像データ（静止画像または動画像データ）、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを利用するシステムにおいて、検索エンジンによって検索した検索結果をブラウジングソフトウエアや検索アプリケーションを用いて表示する際に、検索結果として得られたデータを特定の手法で取り扱うことにより、ユーザに理解し易く、効果的に提示するための構成を提供するものである。

［実施形態１］
図１は本発明の実施形態１の情報処理装置であるマルチメディアデータ検索システムが構築されるコンピュータ装置の基本構成を示すブロック図である。

図１において、１００はマイクロプロセッサからなるＣＰＵであり、各種処理のための演算、論理判断等を行ない、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その制御内容は、後述するＲＯＭ１０１やＲＡＭ１０２上のプログラムによって指示される。

また、ＣＰＵ１０１自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。

アドレスバスＡＢは、ＣＰＵ１０１の制御対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢは、ＣＰＵ１００の制御対象とする各構成要素のコントロール信号を転送する。データバスＤＢは、各構成機器相互間のデータ転送を行なう。

１０１はＲＯＭであり、読出専用の固定メモリである。ＲＯＭ１０１には、後述するＣＰＵ１０１による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。

また、１０２はＲＡＭであり、書込可能のランダムアクセスメモリであって、後述するＣＰＵ１００による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ１００以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。

これらＲＯＭ１０１やＲＡＭ１０２などの記憶媒体には、実施形態１のデータ管理を実現する計算機プログラムやデータ等の各種データが格納されており、これらの記憶媒体に格納されたプログラムコードを、ＣＰＵ１００が読み出し実行することによって機能が実現されるが、記憶媒体の種類は問われない。

また、本発明に係わるプログラムやデータを格納した記憶媒体をシステムあるいは装置に供給して、ＲＡＭ１０２等の書換可能記憶媒体上に、前記の記憶媒体から、そのプログラムが書換可能記憶媒体上にコピーされる構成も想定されるが、その記憶媒体としては、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなどを用いることができる。

１０３はハードディスク（ＤＩＳＫ）であり、さまざまなデータを記憶するための外部メモリとして機能する。ＤＩＳＫ１０３は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種データを必要に応じて記憶し読み出すことができる。また、記憶された計算機プログラムやデータは、キーボード（ＫＢ）１０７の指示や、各種計算機プログラムの指示により、必要な時に、ＲＡＭ１０２上に完全もしくは部分的に呼び出される。

１０４はＭｅｍＣａｒｄ（メモリカード）であり、着脱型の記憶媒体であり、この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。

１０７はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、及び、カーソル移動を指示するカーソル移動キー等の各種機能キーを備えている。尚、マウスのようなポインティングデバイスも含むこともできる。

１０８はカーソルレジスタ（ＣＲ）であり、ＣＲＴ１１１上に表示される位置を示すアドレスを記憶する。ＣＰＵ１００により、ＣＲ１０８の内容を読み書きできる。後述するＣＲＴコントローラ（ＣＲＴＣ）１１０は、ＣＲ１０８に記憶されたアドレスに対応する、表示装置であるＣＲＴ１１１上の位置にカーソルを表示する。

１０９は表示用バッファメモリ（ＤＢＵＦ）であり、表示対象のデータのパターンを記憶する。１１０はＣＲＴコントローラ（ＣＲＴＣ）であり、ＣＲ１０８及びＤＢＵＦ１０９に記憶された内容をＣＲＴ１１１に表示する役割を担う。また、ＣＲＴ１１１は、陰極線管等を用いた表示装置であり、そのＣＲＴ１１１におけるドット構成の表示パターンおよびカーソルの表示をＣＲＴＣ１１０で制御する。尚、ＣＲＴ１１１の代りに、ＬＣＤ等の他の表示装置を用いることも可能である。

１１２はキャラクタジェネレータ（ＣＧ）であり、ＣＲＴ１１１に表示する文字、記号のパターンを記憶する。

１０５はＮＣＵであり、他のコンピュータ装置等の外部機器と通信を行うための通信デバイスであり、これを利用することで、実施形態１のプログラムやデータを、他の装置と共有することが可能になる。

図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ（パーソナルコンピュータ））１１４、テレビ放送や自分で撮影した映像等の画像の受信・蓄積・表示装置（ＴＶ／ＶＲ）１１５、家庭用の遊戯用計算機（ＧＣ）１１６と接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置と、ネットワークで接続されている機器は、何でもかまわない。尚、ネットワークの種類などは何でもかまわないし、ネットワークは、図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでもかまわない。

１０６は人工衛星等を利用した同報型通信の受信機能を実現する受信デバイス（ＤＴＵ）であり、人工衛星を経由して放送される電波等の信号を、パラボラアンテナ（ＡＮＴ）１１３で受信して、放送されているデータを取得する機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。

次に、実施形態１のマルチメディアデータ検索システムの機能構成について、図２を用いて説明する。

図２は本発明の実施形態１のマルチメディアデータ検索表示システムの機能構成を示す図である。

尚、図２に示す各種構成要素は、図１のＣＰＵ１００がＲＯＭ１０１に格納された制御プログラムを実行し、各構成を制御することで実現されるものである。

２０１は検索クエリ入力処理部であり、所望の検索対象に関する要求事項（検索クエリ（検索条件））を入力する。２０２は検索クエリ保持部であり、検索クエリ入力処理部２０１によって入力された検索クエリを一時的に記憶する。この検索クエリ保持部２０２は、例えば、ＲＡＭ１０２によって実現される。

２０３は検索処理部であり、検索クエリ保持部２０２で保持される検索クエリを参照して、その検索クエリと合致するマルチメディアデータを検索する。２０４は検索結果保持部であり、検索処理部２０３によって検索された検索結果を一時的に保持する。この検索結果保持部２０４は、例えば、ＲＡＭ１０２によって実現される。

２０５はメタデータ保持部であり、マルチメディアデータ保持部２０６に格納されているマルチメディアデータに付与されているメタデータを格納している。２０６はマルチメディアデータ保持部であり、検索対象となるマルチメディアデータを格納している。

２０７は解析規則選択処理部であり、検索クエリ保持部２０２で保持される検索クエリを参照して、その検索クエリに対応する解析規則を、解析規則保持部２０８に格納された解析規則の中から選択する。

２０８は解析規則保持部であり、検索結果として得られたマルチメディアデータを解析するための解析規則を格納している。２０９は決定解析規則保持部であり、解析規則選択処理部２０７で選択された解析規則を識別する情報を、一時的に保持する。この決定解析規則保持部２０９は、例えば、ＲＡＭ１０２で実現される。

２１０は検索結果解析処理部であり、検索結果保持部２０４に保持された検索結果を、決定解析規則保持部２０９で保持される解析規則に従って解析する。

２１１は解析結果保持部であり、検索結果解析処理部２１０で解析した解析結果を一時的に記憶する。この解析結果保持部２１１は、例えば、ＲＡＭ１０２で実現される。

２１２は表示内容決定処理部であり、決定表示規則保持部２１７で保持される表示規則を利用して、検索結果として表示する表示内容を、解析結果保持部２１１に保持された解析結果に従って決定する。

２１３は表示内容保持部でであり、表示内容決定処理部２１２で決定された表示内容を一時的に記憶する。この表示内容保持部２１３は、例えば、ＲＡＭ１０２で実現される。

２１４は検索結果表示部であり、表示内容保持部２１３で保持される表示内容を参照して、検索結果を表示する。２１５は表示規則保持部であり、検索結果として表示する表示内容を決定するための表示規則を格納している。

２１６は表示規則選択処理部であり、検索クエリ保持部２０２で保持される検索クエリを参照して、その検索クエリに対応する表示規則を、表示規則保持部２１５に格納された表示規則の中から選択する。

２１７は決定表示規則保持部であり、表示規則選択処理部２１６で選択された表示規則を識別する情報を一時的に保持する。この決定表示規則保持部２１７は、例えば、ＲＡＭ１０２で実現される。

実施形態１では、例えば、家庭などで撮影された静止画や動画等のマルチメディアデータを検索し、検索結果として得られた静止画や動画のショットを再生することによって、効果的に表示する場合を想定している。

＜検索処理＞
実施形態１では、検索対象となる各データに関連付けられたメタデータを利用して検索を行う。メタデータは、タイトルやキーワード等のデータを人手によって付与したり、検索対象となるマルチメディアデータを解析してメディア特徴量等の特徴量を抽出したりして付与される。

検索は、ユーザから検索キーワードやキーワードリスト等の検索条件（検索クエリ）を与えてもらい、その検索条件と各データに関連つけられたメタデータを対比し、その検索条件と適合するメタデータが付与されているマルチメディアデータを取得する。また、検索条件と取得した各マルチメディアデータのメタデータとの類似度を計算して、その計算結果に基づいて、取得してもよい。

尚、ここでいう類似度とは、ユーザが入力した検索条件中の特定の文字列が、各データとの関係を示す表現としてどの程度適切であるかを示す値である。

次に、実施形態１の検索条件設定画面の一例について、図３を用いて説明する。

図３は本発明の実施形態１の検索条件設定画面の一例を示す図である。

この検索条件設定画面は、ウィンドウシステムを利用した場合の画面で例示している。また、図３の検索条件設定画面は、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、デジタルカメラやビデオカメラ等の小型画面に表示する場合は、画面サイズに応じた表示の仕方を行うことが望ましい。

３１はタイトルバーであり、この検索条件設定画面のタイトル表示と、例えば、移動や大きさの変更等の画面全体の操作を行う部分である。３２、３３はそれぞれこの検索条件設定画面に関する機能を提供するボタンであり、３２はヘルプ表示ボタン、３３は検索条件設定画面を閉じるボタンである。

３４は検索を行うための検索条件を入力するための入力領域である。入力領域３４は、画像を検索するためのキーワードやフレーズ等を入力するためのテキスト入力領域であり、複数のキーワードやフレーズを区切り文字（例えば、空白等）で区切って入力するとともに、論理演算ＡＮＤとＯＲのどちらかをラジオボタンによって指定できるようになっている。

また、実施形態１では示していないが、入力した複数のキーワードやフレーズ等の重要度や類似距離を設定するようにしてもよいし、他の検索条件として、日付の範囲等の情報を指定するようにしてもよい。

３５はＯＫボタンである。このＯＫボタン３５を操作すると、検索条件として入力領域３４に入力された内容を最終的に確定し、次の処理へ移行する。一方、３６はキャンセルボタンである。このキャンセルボタン３６を操作すると、入力領域３４の入力内容を破棄する。

次に、検索対象となる静止画像や動画のショット等の画像データ（マルチメディアデータ）に付与されるメタデータ（メタデータ保持部２０５で保持される）の一例について、図４を用いて説明する。

図４は本発明の実施形態１のメタデータの一例を示す図である。

図４では、各画像データに対して、それぞれタイトルや撮影者、撮影日時、データ種別（動画／静止画）、カテゴリ、キーワード、重要度等がメタデータとして付与されていることを示している。ここでは、簡単なキーワードとして扱える文字情報等を主に格納している例を示しているが、画像特徴量等の文字情報以外の情報をメタデータとして付与することも可能である。

図４では、一例として、ある画像Ａでは、タイトルとして「ケーキ入刀」、撮影者として「情報太郎」、撮影日時として「２００３−０４−０１Ｔ１２:３０」、データ種別として「動画」、カテゴリとして「結婚式−結婚式−ケーキ入刀」、キーワードとして「新郎新婦」、「ウエディングケーキ」、重要度として「高」が付与されている。これらのメタデータは、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に記憶されている。

そして、このメタデータを用いることで、記憶媒体上のデータベースに格納された静止画像や動画のショット等の画像データを検索することができる。

＜検索結果の表示＞
次に、検索結果を効果的に表示する方法について、詳細に説明する。

実施形態１では、検索結果である静止画や動画等の画像データを解析し、解析結果に従って効果的な表示内容を決定する。

１．検索結果の解析
データ管理上、データは多岐に及ぶことが考えられるが、ある状況において取り扱うデータの種類や内容は、ある程度予想可能か、あるいは、ある範囲に限定される。また、各データの内容の種類に応じて、その具体的な内容や、各データに登場する事物や人物、状況等についても、経験則的にある程度予想が可能であり、更に、それらによってデータの関係等をある程度推測することができる。

そこで、実施形態１では、データを取り扱う状況やデータの範囲、内容の種類等に応じたデータの解析規則をあらかじめ定義して、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納してき、これにより、検索結果として得られたデータを解析する。解析規則は、検索エンジン毎に定義してもよいし、検索対象となるデータが蓄積されているデータベース毎に定義してもよい。

データの解析方法は、検索対象となるデータの内容や種類、また検索を行う状況や範囲によって適切な方法が異なるが、実施形態１では、特に、検索結果として得られたデータに表現されている意味・内容に従って分類と関係付けを行う。

まず、データの内容や種類によって分類を行う場合は、例えば、イベント、カテゴリ、シーン、中心となる事象物等についての共通因子（データが属する因子）に着目して分類することができる。イベント、カテゴリ、シーン等は、複数のイベント、カテゴリ、シーン等から構成されると予想できる。そこで、イベント、カテゴリ、シーン等の階層構造を解析規則として定義しておき、これらの階層構造に従ってデータを分類する。

次に、この階層構造からなる解析規則の一例について、図５を用いて説明する。

図５は本発明の実施形態１の階層構造からなる解析規則の一例を示す図である。

図５では、イベント、カテゴリ、シーン等の分類要素の階層構造を示している。図５では、ある分類要素Ｘに含まれる個々のサブ分類要素Ｘ−ＡからＸ−Ｉの包含関係・階層関係を示している。分類要素Ｘは、まず、分類要素Ｘ−ＡからＣを含み、更に、分類要素Ｘ−Ａは、分類要素Ｘ−ＤからＦを含むことを示している。また、階層構造の末端の要素に対してキーワードを対応つけておき、データの分類に利用してもよい。この階層構造における情報は、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納する。

例えば、実施形態１では、主に家庭内で撮影された動画や静止画等の画像データを検索対象としているため、「結婚式」、「運動会」など、家庭内で画像を撮影する際のイベントやテーマを単位として階層構造を定義することができる。

図５の分類要素Ｘを結婚式というイベントとすると、まず、新郎新婦の紹介、結婚式までの経緯、会場風景、結婚式、披露宴、等のカテゴリに分類できる。そして、これらの分類の中の結婚式のカテゴリは、入場、誓いの言葉、指輪の交換、等から構成され、また、披露宴のカテゴリは、入場、ケーキ入刀、スピーチ等から構成され、更にスピーチのカテゴリは、来賓のスピーチ、友人代表のスピーチ、等のシーンから構成することができる。

また、分類要素Ｘを子供の成長というテーマとすると、例えば、誕生、七五三、幼稚園時代、小学校時代、等のカテゴリに分類できる。そして、例えば、幼稚園時代のカテゴリは、入園式、運動会、学芸会、等の小さなイベントによって構成することができる。

実施形態１では、図４に示すような、画像データに付与されたメタデータを利用して、検索結果として得られた個々のデータを、上述した階層構造に従ってカテゴリに分類する。例えば、図４では、データにあらかじめ、図５の階層構造に従ってカテゴリ情報が付与されており、これを利用してカテゴリに分類することができる。

また、図５に示すように、階層構造の末端の要素に対してキーワードを対応つけておき、これと各データに付与されたキーワードやタイトル等のメタデータを比較することによって、検索結果がどのような内容なのかを推定してカテゴリに分類することもできる。

次に、検索結果として得られた個々のデータや分類結果であるデータのグループについての関係付けを行う。

実施形態１では、例えば、空間的な位置関係、時間や意味の前後関係、類似関係、対等・並列関係、対照（反対）関係、原因と結果などの因果関係、概要と詳細、具体化・例示・補足、修飾、等の相互関係を見い出す関係付け規則を解析規則として保持している。

ここで、関係付け規則の一例について、図６を用いて説明する。

図６は本発明の実施形態１の画像データの意味・内容による関係付け規則の一例を示す図である。

図６では、「結婚式」というカテゴリに属する検索クエリから得られた検索結果に対する関係付け規則を示している。

例えば、「結婚式」というイベントにおける「会場風景」というカテゴリのサブカテゴリである「会場外観」と「会場内部」は、遠近、外内、全体と部分、という空間的な位置関係をもっている。また、「新郎新婦のなれそめ」というカテゴリと「結婚式」というカテゴリは、原因と結果という因果関係にあるといえる。また、「控え室の様子」というカテゴリと「結婚式」は、修飾関係や補足の関係にあたる。

実施形態１では、図４に示すような画像データに付与されたタイトルやキーワード等のメタデータを利用して、図６の関係付け規則に従って関係付けを行う。また、画像データの撮影日時に従って前後の関係付けを行ってもよい。

実施形態１では、更に、検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行う。

ここで、グループの関係付けの一例について、図７を用いて説明する。

図７は本発明の実施形態１の検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行う一例を示す図である。

図７において、Ｇはデータのグループ、Ｄはデータ、Ｒは関係を表しており、Ｒが指す線の○は始点、●は終点を示している。

例えば、分類要素Ｇ１と分類要素Ｇ２はＲ１３の関係をもち、分類要素Ｇ１と分類要素Ｇ３はＲ１１の関係をもっている。分類要素Ｇ１に包含される分類要素Ｇ１１とＧ１２はＲ１１の関係にある。

また、分類要素Ｇ１１に包まれるデータＤ１１１とＤ１１２とは、Ｄ１１１を始点でＤ１１２を終点とするＲ１３の関係をもっている。また、Ｄ２２４は、分類要素Ｇ２に含まれる要素であるが、どの要素とも関係付けられていない。

そして、これらの情報は、一時的にＲＡＭ１０２等の記憶媒体に記憶しておく。

次に、検索結果解析処理部２１０による検索結果解析処理の詳細について、図８を用いて説明する。

図８は本発明の実施形態１の検索結果解析処理部による検索結果解析処理を示すフローチャートである。

まず、ステップＳ９０１において、検索結果として得られたデータを、解析規則に従って分類する。この分類の方法については、前述したとおりである。

次に、ステップＳ９０２において、検索結果として得られたデータと、分類結果として得られるデータのグループについて、関係付けを行う。関係付けの方法については前述したとおりである。

以上説明してきたように、実施形態１では、検索結果解析処理部２１０の解析処理として、検索結果の分類と、検索結果と分類結果との関係付けを行ったが、検索対象となるデータを取り扱う状況やデータの範囲、内容の種類、特徴等によって、他にも様々な解析方法が考えられる。

２．表示内容の決定
次に、得られる解析結果を基に、検索結果の表示内容を決定し、ユーザに対して、検索結果を分かり易く表示する方法について詳細に説明する。

人間は、言語的・非言語的な多種多様なシンボルを統合し、脈絡をつけることによって、断片的な情報を頭の中で接続し理解している。複雑な想像内容の媒介が必要となる場合は理解が難しく、時間・空間・意味的な連続性がまったくない情報提示は混乱を招くことになる。そのため、人間が自然に解釈できるような方法で、情報提示を行うことが重要である。

実施形態１では、人間の理解のパターンを応用して、検索対象に応じた表示規則をあらかじめ定義しておく。この表示規則に従って、前述の解析結果を基に表示内容を決定することによって、検索結果を理解し易く示すことができる。

特に、実施形態１では、表示内容として、表示する要素と構成、及び展開方法（表示要素の提示順序）、表示要素の連結方法等を表示規則として決定しておく。また、この表示規則は、検索エンジン毎に定義してもよいし、検索対象となるデータが蓄積されているデータベースの種類毎に定義してもよい。

検索結果を示す際には、文では章や段落、映像ではシークエンスやシーン等に当たる一つの内容を表したデータのブロックを段階的に構成すると、ユーザが理解し易くなる。各ブロックの要素としては、ブロックの中心となる中心的要素、中心的要素と内容的につながりのある補足的要素、各中心的要素・補足的要素を連結する連結要素、内容の理解を助けるための説明要素、等がある。

次に、表示内容決定処理部２１２による表示内容決定処理について、図９を用いて説明する。

図９は本発明の実施形態１の表示内容決定処理部による表示内容決定処理を示すフローチャートである。

まず、ステップＳ１４０１において、前述の解析結果に基づいて、検索結果の中から表示対象の要素と構成を決定する。

ここで、ステップＳ１４０１の処理の詳細について、図１０を用いて説明する。

図１０は本発明の実施形態１のステップＳ１４０１の処理の詳細を示すフローチャートである。

実施形態１では、まず、ステップＳ１５０１において、検索結果の中で、特に重要性が高いと判定された要素を中心的要素として選択する。これは、検索結果として得られた個々のデータについて、例えば、類似度などから、データの重要性を判定する。あるいは、図４に示すメタデータを利用してもよいし、検索時にユーザが指定するようにしてもよい。

実施形態１で、表示する各要素とは、検索結果として得られた静止画像や動画のショットを示しており、検索時に得られた類似度、及びメタデータとして付与された重要度が共に高いものを、特に、重要性が高い要素と判定し、これを中心的要素として選択する。

次に、ステップＳ１５０２において、決定された中心的要素を中心とするデータのブロックを決定する。実施形態１では、検索結果を分類したデータのグループの内で、中心的要素を含むものを、データのブロックとして決定する。特に、実施形態１で、データのブロックとは、分類によって決定されたシーンやシークエンスを示す複数の静止画像や動画のショットの集合である。

次に、ステップＳ１５０３において、各ブロックの中の中心的要素と関連性をもつ要素を、補足的要素として選択する。中心的要素の補足的要素に関連する要素もまた、補足的要素として選択する。どの中心的要素とも関係を持たない要素は、補足的要素として選択されない。また、補足的要素を選択する際に、各データの重要性を加味して、重要性が低い要素は選択しないようにしてもよい。

上述した中心的要素、補足的要素が表示する表示要素となり、この表示要素及び表示要素を含むデータのブロックを、検索結果を表示する際の構成要素とする。ここで、中心的要素は、どの要素とも関係をもっていなくてもよい。

ここで、表示要素と構成及びその関係の一例について、図１１を用いて説明する。

図１１は本発明の実施形態１の表示要素と構成及びその関係の一例を示す図である。

図１１において、Ｇはブロックであるデータのグループ、Ｄは表示要素である各データ、Ｒは関係を表しており、Ｒが指す線の○は始点、●は終点を示している。Ｄが太枠・太字で示してあるものは中心的要素であり、細枠・細字で示してあるものは補足的要素であることを示している。

そして、これらの情報は、一時的にＲＡＭ１０２等の記憶媒体に記憶しておく。

図９の説明に戻る。

ステップＳ１４０２において、ステップＳ１４０１で決定された表示要素、及び表示要素を含むデータのブロックの展開方法（提示順序）を決定する。

検索結果を示す際に、各要素を、例えば、説明を理解する順に、空間的・時間的な配列に従って、概論や全体から細部へ、というように人間が自然に理解できるような順序で展開すると理解し易くなる。これは解析によって得られた各要素の関係から導くことができる。そこで、実施形態１では、構成要素の相互関係による提示順序を表示規則として定義して、これを、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納しておく。この表示規則を利用することによって、構成要素の提示順序を決定する。

ここで、この提示順序の一例について、図１２を用いて説明する。

図１２は本発明の実施形態１の提示順序の一例を示す図である。

図１２は、データのブロックや個々のデータの相互関係による提示順序、及びその優先度を定義したものである。優先度とは、構成要素を相互関係に従って提示する際の、構成要素同士の依存性・結束性の強さを示したものである。

優先度が強の場合は、構成要素を離して提示すると理解が難しいので、必ず提示順序にデータを連続させなければいけないことを表している。

優先度が中の場合は、提示順序が守られていれば、必ずしも構成要素が連続していなくてもよいが、連続していない場合には、相互関係が分かるような要素を補わなければいけないことを表している。

優先度が弱の場合は、提示順序が守られていれば、構成要素を連続させる必要がないことを表している。

図１２において、例えば、データＡと、データＢの間に空間や意味的な全体と部分の関係がある場合には、データＡ（全体）からデータＢ（部分）の順にも、データＢ（部分）からデータＡ（全体）の順にも提示でき、どちらの優先度も強である。

また、データＡとデータＢの間に因果関係がある場合には、原因を表しているデータＡから結果を表しているデータＢの順に提示する場合には、優先度は中だが、逆にデータＢ（結果）からデータＡ（原因）の順に提示する場合には、優先度が強で必ずデータＢとＡを連続させなければいけない。

例えば、実施形態１では、「会場付近の様子」と「会場の様子」は、遠近や外内の関係があるので、「会場付近の様子」から「会場の様子」の順に表示するとよいことが分かる。

この規則は、データブロックに対しても同様に適応することができ、２つのデータブロックが関係付けられている場合は、それぞれのデータブロック内のデータが関連付けられていなくても、データブロックの相互関係によってブロック内のデータの提示順序を決定することができる。

また、構成要素が複数の要素と関係をもつ場合は、関係の優先度とデータの重要度によって提示順序が決まる。ある表示要素が、中心的要素と補足的要素の両方と関連性をもつ場合は、中心的要素との関係が優先される。

例えば、図１１のデータブロックＧ１２において、補足的要素Ｄ１２１は、中心的要素Ｄ１２２とは優先度が強のＲ４の関係を、中心的要素Ｄ１２３とは優先度が中のＲ２の関係を持ち、更に、中心的要素Ｄ１２３は補足的要素Ｄ１２４と優先度が強のＲ４の関係を持つので、Ｄ１２１、Ｄ１２２、Ｄ１２４、Ｄ１２３の順にデータを表示することができる。また、補足的要素Ｄ１２１は、補足的要素Ｄ１２５とも関係があるが、中心的要素との関係が優先されるので、この関係は無視される。

図９の説明に戻る。

ステップＳ１４０３において、各構成要素の関係や展開方法を基に、各構成要素の区切りや中心的要素との関係、他の構成要素との関係が明確になるように連結する連結方法を決定する。即ち、表示によって異なる構成要素であることを明示し、構成要素の相互関係が自然に理解できない場合は、関係を示すための連結要素が必要となる。また、展開が理解し難い場合は、更にユーザの理解を助けるための説明要素が必要となる。

実施形態１において、画像を再生する場合には、シークエンスやシーンを、カットつなぎや白や黒の間をとる画面などによって連結して区切りを明示する。シークエンスやシーンの関係が明らかでない場合には、素材画像、トランジション効果、効果音、等を利用することによって、これらの相互関係を示す。また、展開や内容が分かり難い場合には、理解し易くなるようにテロップやスーパーなどの説明要素として利用する。

図１３は本発明の実施形態１の構成要素の相互関係と提示順序に対する連結方法を示す連結ＩＤを定義した図である。図１２の優先度が中のものは、連結する要素が連続しているか否かによって連結の仕方が異なっている。

図１４は本発明の実施形態１の各々の連結ＩＤに対応した表示内容を表示規則として示した図である。

図１４では、連結する要素がショットかシーンか、シークエンスかによって表示内容が異なっている。図１４の連結ＩＤに対応した表示内容は、検索対象となるデータの種類や内容によって異なり、それぞれに応じたものを定義する必要がある。

図１３と図１４から、例えば、前後関係があるショットやシーンを前から後に連続して表示させる場合はカットでつなぎ、シークエンスを前から後に連続して表示させる場合はフェードアウトやポーズ画面を挿入することによってつなぐとよいことが分かる。また、前後関係があるショットやシーンを後ろから前に表示させる場合は、クロスフェードや素材画像、ＢＧＭ、等を挿入することによって関係を明示する必要がある。更に、シークエンスの場合はテロップやスーパーなどの説明要素が必要となることが分かる。

例えば、図１１のデータブロックＧ１１とデータブロックＧ１２はシーンであり、Ｒ１１の前後関係があるので、Ｇ１１からＧ１２の順に、要素をＤ１１１、Ｄ１１２、Ｄ１２１、・・・と表示する場合は、Ｄ１１２とＤ１２１をカットでつなぐ。また、Ｇ１２からＧ１１の順に、要素を・・・、Ｄ１２３、Ｄ１１１、Ｄ１１２と表示する場合は、Ｄ１２３とＤ１１１をクロスフェード等によってつなぐこととなる。

次に、実施形態１の検索結果表示画面の一例について、図１５を用いて説明する。

図１５は本発明の実施形態１の検索結果表示画面の一例を示す図である。

図１５は、前述した表示内容に従って、検索結果をＣＲＴに表示した検索結果表示画面の例である。これは、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、ビデオカメラ等の小型画面に表示する場合は、画面サイズに応じた表示の仕方を行うことが望ましい。

１６１はタイトルバーでり、この検索結果表示画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。１６２、１６３はそれぞれこの検索結果表示画面に関する機能を提供するボタンであり、１６２はヘルプ表示ボタン、１６３は検索結果表示画面を閉じるボタンである。

１６４は、ユーザが入力した検索条件や検索結果数、等の表示を行うための表示領域である。実施形態１では、検索条件として使用したキーワードと、検索結果として得たデータ数を表示する。

１６５及び１６６は、検索結果の表示を行うための表示領域である。表示領域１６５には、データの解析結果に基づいて決定した表示内容に従って画像データを再生する。表示領域１６６は、タイトルや説明、コメントなどのテキスト情報を表示する。

１６７は、画像データの再生の開始を指示するための再生ボタンである。１６８は、画像データの再生の停止を指示するための停止ボタンである。１６９は、この検索結果表示画面の表示を終了させるための終了ボタンである。

実施形態１では、イベントを単位として解析規則、表示規則を定義することで、ホームビデオのコンテンツなどに対して、内容を解析して表示するのに適した例となっている。しかし、本発明は、基準となる単位をコンテンツに応じた単位のものを選ぶことで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。

次に、実施形態１で実行する処理全体の概要について、図１６を用いて説明する。

図１６は本発明の実施形態１で実行する処理全体の概要を示すフローチャートである。

まず、ステップＳ２２０１において、検索結果解析処理を実行する。この詳細については、図８で示したとおりである。

次に、ステップＳ２２０２において、ステップＳ２２０１の解析結果に基づいて、表示内容決定処理を実行する。この詳細については、図９で示したとおりである。

次に、ステップＳ２２０３において、ステップＳ２２０２で決定した表示内容に従って、検索結果表示処理を実行する。

以上説明したように、実施形態１によれば、検索結果を表示する際に、検索結果として得られたデータを解析し、その解析結果に基づいて表示内容を動的に決定して表示を行う。これにより、ユーザにとって必要であると思われるデータを、データ種類や内容などの関連性に応じて理解し易く表示することができ、情報収集等の様に多数の情報を検索する場合でも、必要な情報を容易に探索、選択、整理し、利用することができる。

尚、実施形態１では、データを解析した結果に基づいて、特に、検索結果の構成と構成要素、及びその展開方法（構成要素の提示順序）、構成要素の連結方法を決定することによって表示内容を決定したが、検索対象となるデータの種類や内容、解析方法、等によって決定することもできる。

［実施形態２］
実施形態２では、検索された文書データを効果的に表示する場合について説明する。

＜検索処理＞
実施形態１と同様に、検索対象に付与されたメタデータを利用して検索を行う。実施形態２において、メタデータは、人手やメディア特徴量を抽出して付与する他に、文書データを解析して抽出した文字情報を付与することができる。また、作成日時や作成者などの情報は、ＯＳによって自動付与されたものを抽出して付与することもできる。

まず、実施形態２の検索条件設定画面の一例について、図１７を用いて説明する。

図１７は本発明の実施形態２の検索条件設定画面の一例を示す図である。

この検索条件設定画面は、ウィンドウシステムを利用した場合の画面例であり、コンピュータネットワーク上の文書データを検索し、結果を表示することを想定している。この検索条件設定画面は、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、Ｗｅｂブラウザ等によって同様の機能が提供されるのでもかまわない。

１７１はタイトルバーであり、この検索条件設定画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。１７２、１７３はそれぞれこの検索条件設定画面に関する機能を提供するボタンであり、１７２はヘルプ表示ボタン、１７３は検索条件設定画面を閉じるボタンである。

１７４は検索を行うための検索条件を入力するための入力領域である。入力領域１７４には、キーワードを入力するためのテキスト入力領域であり、複数のキーワードを区切り文字（空白等）で区切って入力するとともに、論理演算ＡＮＤとＯＲのどちらかをラジオボタンによって指定できるようになっている。また、キーワード以外にフレーズやセンテンスを入力することもできる。

また、その他の検索条件として、検索結果を一画面に表示する件数や、検索対象にする情報が記述されている言語を指定するようになっている。

また、実施形態２では示していないが、入力した複数のキーワードやフレーズ等の重要度や類似距離を設定するようにしてもよいし、他の検索条件として、日付の範囲や検索の対象にする位置等の情報を指定するようにしてもよい。

１７５はＯＫボタンである。このＯＫボタン１７５を操作すると、検索条件として入力領域１７４に設定された内容を最終的に確定し、次の処理へ移行する。一方、１７６はキャンセルボタンである。このキャンセルボタン１７６を操作すると、入力領域１７４の入力内容を破棄する。

尚、図１７の検索条件設定画面では、キーワードやフレーズ、センテンスなどをユーザが任意に入力することによって、検索条件を指定したが、情報が属するジャンルやカテゴリ等をユーザに指定してもらい、その中から検索することもできる。例えば、実施形態２で提供されているカテゴリの種類やジャンルをリストやツリーなどで表示して、ユーザに所望のものを選択させてもよい。

図１７の入力領域１７４で「ノートＰＣ」というキーワードを入力すると、検索対象となる各データに付与されたメタデータを利用して、関連する情報を検索する。

ここで、メタデータの一例について、図１８を用いて説明する。

図１８は本発明の実施形態２のメタデータの一例を示す図である。

図１８では、各データに対して、それぞれタイトルや作成者、作成日付、カテゴリ、キーワード等がメタデータとして付与されていることを示している。ここでは、簡単なキーワードとして扱える文字情報などを主に格納している例を示しているが、各データ特性に応じた特徴量等の文字情報以外の情報をメタデータとして付与することも可能である。

図１８では、一例として、ある文書データＡでは、タイトルとして「ＡＡＡノート価格情報」、作成者として「情報 太郎」、作成日付として「２００３−０４−０１Ｔ０８：３０」、カテゴリとして「経済−企業−コンピュータ−製品−価格」、キーワードとして「ノートＰＣ」、製品名「ＡＡＡノート」が付与されている。これらのメタデータは、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に保存されている。

実施形態２では、検索クエリとして文字情報が与えられ、これに従って検索を行ったが、画像や音声等を検索クエリとして指定し、検索クエリから抽出したメディア特徴量と各データのメディア特徴量を比較することによって検索を行うこともできる。また、検索クエリとして与えられた文字情報にメディア特徴量を対応付けることによって、検索を行ってもよい。

実施形態２では、各データに付与されたメタデータを利用して検索を行ったが、直接文書データを解析することによって検索することもできる。

以上説明したようにして、記憶媒体上のデータベースに格納された文字情報等のデータを検索することができる。

＜検索結果の表示＞
次に、検索結果を効果的に表示する方法について、詳細に説明する。

実施形態２では、検索結果である文書データを解析し、解析結果に従って効果的な表示内容を決定する。

基本的な処理手順は、実施形態１と同様であり、検索対象となるデータの種類、及び検索結果を解析する解析規則、表示内容を決定するための表示規則が実施形態１と異なる。

１．検索結果の解析
検索結果の解析は、実施形態１と同様に、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納されているデータの解析規則を利用することによって、検索結果として得られたデータの解析を実現する。実施形態２では、検索時に指定された検索クエリから、検索クエリに関連するカテゴリを推定し、そのカテゴリに応じた解析規則を選択する。

次に、実施形態１と同様に、図５に示すような、カテゴリの階層構造からなる解析規則に従って、検索結果として得られたマルチメディアデータを分類する。例えば、インターネットのようなコンピュータネットワークを介して取得される文書データは、一般的に、まず、経済、政治、芸術、宗教等にカテゴリ分類でき、経済というカテゴリは企業、金融、不動産、ショッピング、投資、等から構成され、更に企業というカテゴリは、電機、自動車、建築、等の業界種別や、製品情報、サービス情報などといった更に小さなカテゴリから構成することができる。

実施形態２では、図１８に示すような、文書データに付与されたメタデータを利用して、検索結果として得られた個々のデータを、上述した階層構造に従ってカテゴリ分類する。例えば、図１８では、メタデータとしてあらかじめ、図５の階層構造に従ってカテゴリ情報が付与されており、これを利用してカテゴリに分類することができる。

また、図５の階層構造の各分類要素に対してキーワードなどを付与しておき、これと各文書データに付与されたキーワードやタイトル等のメタデータを比較することによって、検索結果がどのような内容なのかを推定してカテゴリに分類することもできる。

また、検索クエリから検索クエリに関連するカテゴリ等を推定し、その下層に属するカテゴリに対してのみ分類を行ってもよい。

実施形態２では、更に、検索結果として得られたデータのデータ種別、データの管理構造（ディレクトリ、フォルダ、ＵＲＩ・ＵＲＬ等）等による共通因子に従って分類してもよい。

データ種別によって分類する場合は、例えば、テキストか動画像か静止画像等のメディア種別や、文書でも、テキストのみか文字情報と画像が混在しているか等によって分類する。これはあらかじめメタデータの一つとしてメディア種別を付与しておいたものを利用してもよいが、ファイル名（拡張子）からも推定することができる。また、ＨＴＭＬ文書やＸＭＬ文書の場合は、文書内に記述されたタグやテキストを解析することによって、テキストのみで構成されているか、画像等が文書に張り込まれているかを推定することができる。

また、静止画像の場合は、自然画像か図表データかなどを解析し、分類に利用してもよい。これも、あらかじめメタデータとして付与しておいたものを利用することもできるし、または、エッジなどの画像特徴量によって推定してもよい。

データの管理構造やデータが格納されている位置関係に基づいて分類する場合は、例えば、ディレクトリ、フォルダ、ＵＲＩ・ＵＲＬ、ネットワークアドレス、等によるロケーションの階層構造によって分類する。

他にも、画像や音声などの各コンテンツのメディア特徴量、等を解析することによって分類することもでき、分類する際に類似度やクラスタリング技術を利用してもよい。

実施形態２では、実施形態１と同様に、検索結果として得られた個々のデータや分類結果であるデータのグループについての関係付けを行う関係付け規則を解析規則として保持している。

ここで、関係付け規則の一例について、図１９を用いて説明する。

図１９は本発明の実施形態２のデータの意味・内容による関係付け規則の一例を示す図である。

図１９では、「コンピュータ−製品」というカテゴリに属する検索クエリから得られた検索結果に対する関係付け規則を示している。

例えば、「製品情報」というカテゴリとそのサブカテゴリである「製品スペック」は、概要と詳細、全体と部分、という関係をもっている。また、「アクセサリ」というカテゴリは、「製品スペック」というカテゴリに対して、補足という関係にあたる。

実施形態２でも実施形態１と同様に、図１８に示すようなデータに付与されたメタデータを利用して、図１９の関係付け規則に従って関係付けを行う。また、データの作成日時、更新日時に従って前後の関係付けを行ってもよい。

実施形態２では、各データに付与されたメタデータを利用して解析を行ったが、直接文書データを解析したり、他にも、画像や音声などの各コンテンツのメディア特徴量、等を解析することによって相関関係を見出すこともできる。

また、実施形態１と同様に、検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行う（図７）。

尚、実施形態２において、検索結果解析処理部２１０による検索結果解析処理は、使用する解析規則が異なる以外は、実施形態１と同様である。

２．表示内容の決定
実施形態２でも、得られる解析結果を基に、検索結果の表示内容を決定する。ここで、実施形態２において、表示内容決定処理部２１２による表示内容決定処理の流れは、実施形態１と同様に図９に示したとおりであるが、表示内容を決定するための各表示規則が異なる。

そこで、図９を参照して、実施形態２における、表示内容決定処理部２１２による表示内容決定処理について説明する。

まず、ステップＳ１４０１において、検索結果の中から表示対象の要素と構成を決定するが、実施形態２での、表示要素とは、検索結果として得られた文書データを示しており、検索時に得られた類似度が高いものを特に重要性が高い要素と判定し、これを中心的要素とする。また、実施形態２でのデータのブロックとは、分類によって決定されたカテゴリやジャンルを表す複数の文書データのグループである。

次に、ステップＳ１４０２で、実施形態１と同様に図１２を利用して、ステップＳ１４０１で決定された表示要素、及び表示要素を含むデータのブロックの展開方法（提示順）を決定する。

例えば、実施形態２では、「アクセサリ」というカテゴリは、「製品スペック」というカテゴリに対して、補足という関係にあたるので、「製品スペック」から「アクセサリ」の順に表示するとよいことが分かる。

次に、ステップＳ１４０３において、各構成要素の関係や展開方法を基に、各構成要素の区切りや中心的要素との関係、他の構成要素との関係が明確になるように連結する連結方法を決定する。また、展開が理解し難い場合は、更にユーザの理解を助けるための説明要素が必要となる。

実施形態２では、例えば、改行や空白などによって、各構成要素の区切りが明確に分かるように示す。また、枠で囲むことによって、データのブロックであることを示してもよい。関係が明らかでない場合には、字下げや記号、色などのデザインを利用することによって、これらの相互関係を示す。また、流れが自然に理解できない場合は、項目名やサブタイトルなどの様に、内容を説明するための説明要素が必要となる。

図２０は本発明の実施形態２の各々の連結ＩＤに対応した表示内容を表示規則として示した図である。

図２０では、連結する要素が個々のデータか段落（パラグラフ）か、章かによって表示内容が異なっている。図１３と図２０から、例えば、前後関係があるデータや段落を前から後に連続して表示させる場合は、「→」記号や番号などを表示することによってつなぎ、章を前から後に連続して表示させる場合は改行と番号表示によってつなぐとよいことが分かる。

また、反対の関係があるデータや段落を連続して表示させる場合は、「⇔」記号などを表示することによって関係を明示する必要がある。更に、章の場合はサブタイトルなどの説明要素が必要となることが分かる。

また、検索結果数が多かったり画面に表示するデータ量が多かったりして、一画面では見にくい場合は、検索結果を複数の画面で構成し、ハイパーリンクやボタン等によって画面を遷移させて、章や段落の区切りや他の構成要素との相互関係を示してもよい。画面遷移方法は、ブロック構成や展開、各構成要素の相互関係、一画面に表示できる要素数、等によって決定することができる。

また、ＰＤＡ等の検索結果を表示させるデバイス、検索対象となるデータの種類、等によっても適切な画面遷移方法は異なる。例えば、画面遷移によって階層関係を明示する場合は、階層構造に従って画面遷移を決め、画面切替によって下の階層の要素を示す。また、データに前後関係等の明確な順序があり、適切な順序で見ていかないと内容が把握し難い場合は、前述の展開に従って、次にみる情報を限定して示してもよい。

次に、実施形態２の検索結果表示画面の一例について、図２１を用いて説明する。

図２１は本発明の実施形態２の検索結果表示画面の一例を示す図である。

図２１は、前述した表示内容に従って、検索結果をＣＲＴに表示した検索結果表示画面の例である。これは、専用のアプリケーションでウィンドウシステムを利用した場合の画面の例であるが、携帯電話やＰＤＡ等の小型画面に表示する場合は、画面サイズに応じた表示の仕方を行うことが望ましい。

２３１はタイトルバーであり、この検索結果表示画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。２３２、２３３はそれぞれこの検索結果表示画面に関する機能を提供するボタンであり、２３２はヘルプ表示ボタン、２３３は検索結果表示画面を閉じるボタンである。

２３４は、ユーザが入力した検索条件や検索結果数、等の表示を行うための表示領域である。実施形態２では、検索条件として使用したキーワードと、検索結果として得たデータ数を表示する。

２３５は、検索結果の表示を行うための表示領域である。表示領域２３５には、データの解析結果に基づいて決定した表示内容を表示する。実施形態２では、まず、データの固まりの内容を表す文字列である「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」が表示され、この階層には序列があるため、順序を示す番号を表示する。

次に、「ＡＡＡ」の下の階層について、データの固まりの内容を表す文字列である「ＡＡＡ−ａ１」、「ＡＡＡ−ａ２」、「ＡＡＡ−ａ３」を表示する。これらは、対等または並列の関係にあるので、先頭に「●」が付与されている。

次に、「ＡＡＡ−ａ１」に属する検索結果として、文書名「ＡＡＡ−ａ１１」〜「ＡＡＡ−ａ１５」が、「ＡＡＡ−ａ２」に属する検索結果として、文書名「ＡＡＡ−ａ２１」、「ＡＡＡ−ａ２２」を表示する。他の階層についても、同様にして検索結果である文書名を表示する。

２３６は、この検索結果表示画面の表示を終了させるためのボタンである。

尚、図２１の例では、一つの画面によって検索結果を表示しているが、前述した様に検索結果を複数の画面で構成し、画面を遷移させてもよい。また、前述した表示内容に従って、ＨＴＭＬ文書を生成し、Ｗｅｂブラウザに表示してもよい。

次に、Ｗｅｂブラウザを利用して表示する検索結果表示画面の一例について、図２２を用いて説明する。

図２２は本発明の実施形態２の検索結果表示画面の一例を示す図である。

図２２は、Ｗｅｂブラウザを利用して、検索結果をＣＲＴに表示した検索結果表示画面の例である。図２２では、一画面に検索結果を表示するのではなく、リンクさせることによって検索結果を複数の画面で構成して示している。

２４１はタイトルバーであり、この検索結果表示画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。２４２、２４３はそれぞれこの検索結果表示画面に関する機能を提供するボタンであり、２４２はヘルプ表示ボタン、２４３は検索結果表示画面を閉じるボタンである。

２４４は、ユーザが入力した検索条件や検索結果数、等の表示を行うための表示領域である。実施形態２では、検索条件として使用したキーワードと、検索結果として得たデータ数が表示されている。

２４５は、検索結果の表示を行うための表示領域である。表示領域２４５には、データの解析結果に基づいて決定した表示内容を表示する。実施形態２では、まず、データの固まりの内容を表す文字列である「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」を表示し、この階層には序列があるため、順序を示す番号が表示されている。

次に、「ＡＡＡ」の下の階層について、データの固まりの内容を表す文字列である「ＡＡＡ−ａ１」、「ＡＡＡ−ａ２」、「ＡＡＡ−ａ３」を表示する。「ＡＡＡ−ａ１」〜「ＡＡＡ−ａ３」には、下線（アンカー）が付与されており、他のＨＴＭＬ文書にリンクが張られていることを示している。ユーザが文字列をクリックすると、各々に属する検索結果の表示画面にジャンプする。

以上説明したように、実施形態２によれば、文字情報を有する文書データについても、実施形態１と同様の効果を得ることができる。

［実施形態３］
実施形態３では、実施形態１の応用例について説明する。

まず、実施形態３における、検索条件設定画面の一例について、図２３を用いて説明する。

図２３は本発明の実施形態３の検索条件設定画面の一例を示す図である。

尚、図２３において、実施形態１の図３と同一の構成については、同一の参照番号を付加して、その詳細説明については省略する。

３４ａは検索を行うための検索条件を入力するための入力領域である。入力領域３４ａは、図３の入力領域３４の構成に加えて、検索結果を表示する場合の表示条件として、表示時間を「長」、「中」、「短」と「ハイライト」の４段階でチェックボックスで指定できるようになっている。

次に、実施形態３の検索条件設定画面における、表示内容決定処理部２１２による表示内容決定処理について説明する。実施形態３では、表示内容決定処理の流れは、実施形態１と同様に図９に示したとおりであるが、ステップＳ１４０１による、解析結果に基づく検索結果の中から表示対象の要素と構成を決定する構成が異なる。

以下、実施形態３のステップＳ１４０１の処理の詳細について、図２４を用いて説明する。

図２４は本発明の実施形態３のステップＳ１４０１の処理の詳細を示すフローチャートである。

尚、図２４において、実施形態１の図１０と同一の処理については、同一のステップ番号を付加して、その詳細説明は省略する。

ステップＳ１５０１及びステップＳ１５０２の処理後、補足的要素を選択するが、補足的要素の選択方法は、表示を行うための表示条件等によって異なる。例えば、ハイライトなどで要約を表示する場合は、補足的要素を選択せず、中心的要素のみで構成する。また、全体のデータサイズや表示時間等の表示条件によって選択する補足的要素が異なる。

そこで、ステップＳ１５１３において、検索結果を表示するための表示条件を判定する。実施形態３では、検索時にユーザが全体の表示時間を「長」、「中」、「短」と「ハイライト」の４段階で指定するようになっており、これによって補足的要素の選択方法を決定する。

まず、ステップＳ１５１３ａにおいて、表示時間が「長」であるか否かを判定する。表示時間が「長」である場合（ステップＳ１５１３ａでＹＥＳ）、ステップＳ１５１４において、各ブロックの中の中心的要素と関連性をもつ要素を、補足的要素として選択する。次に、ステップＳ１５１５において、中心的要素の補足的要素に関連する要素もまた、補足的要素として選択する。どの中心的要素とも関係を持たない要素は、補足的要素として選択されない。

一方、表示時間が「長」でない場合（ステップＳ１５１３ａでＮＯ）、ステップＳ１５１３ｂにおいて、表示時間が「中」であるか否かを判定する。表示時間が「中」である場合（ステップＳ１５１３ｂでＹＥＳ）、ステップＳ１５１６において、各ブロックの中の中心的要素と直接的な関連性をもつ要素を補足的要素として選択する。また、中心的要素が複数の補足的要素と直接的な関連性をもつ場合は、中心的要素との関係の優先度が最も高い要素を選択してもよい。次に、ステップＳ１５１７において、中心的要素の補足的要素に関連する要素を、補足的要素との関係の優先度が高いか、類似度やメタデータによって重要性が高いと判断できるか、によって決定する。

一方、表示時間が「中」でない場合（ステップＳ１５１３ｂでＮＯ）、ステップＳ１５１３ｃにおいて、表示時間が「短」であるか否かを判定する。表示時間が「短」である場合（ステップＳ１５１３ｃでＹＥＳ）、ステップＳ１５１８において、各ブロックの中の中心的要素と直接的な関連性をもつ要素のうち、中心的要素との関係の優先度が高いか、または類似度やメタデータによって重要性が高いと判別された要素を補足的要素として選択する。

一方、表示時間が「短」でない場合（ステップＳ１５１３ｃでＮＯ）、つまり、表示時間が「ハイライト」である場合は、処理を終了する。

上述した中心的要素、または補足的要素が表示する要素となり、この表示要素及び表示要素を含むデータのブロックを、検索結果を表示する際の構成要素とする。ここで、中心的要素は、どの要素とも関係をもっていなくてもよい。

尚、実施形態３の場合、図１１は、ステップＳ１５０４で決定された表示要素と構成、及びその関係の一例となる。また、図９のステップＳ１４０２における、提示順序の決定方法は、提示順序の決定方法は、全体のデータサイズや表示時間等の表示条件等によって異なる。

また、実施形態３の場合、図１２において、提示順序を決定する際にも、表示条件によって、表示要素やデータのブロックの展開方法が決定される。例えば、表示時間が「短」、「ハイライト」の場合は、なるべく関係の優先度が強くなるように提示順を決定することによって、連結要素や説明要素がなるべく必要なくなるようにする。

以上説明したように、実施形態３によれば、実施形態１で説明した効果に加えて、表示条件に基づいて、ユーザにとって必要であると思われるデータを、データ種類や内容などの関連性に応じて理解し易く表示することができ、情報収集等の様に多数の情報を検索する場合でも、必要な情報を容易に探索、選択、整理し、利用することができる。

［実施形態４］
実施形態４は、実施形態３の構成下での実施形態２の応用例である。

まず、実施形態４における、検索条件設定画面の一例について、図２５を用いて説明する。

図２５は本発明の実施形態４の検索条件設定画面の一例を示す図である。

尚、図２５において、実施形態２の図１７と同一の構成については、同一の参照番号を付加して、その詳細説明については省略する。

１７４ａは検索を行うための検索条件を入力するための入力領域である。入力領域１７４ａは、図１７の入力領域１７４の構成に加えて、検索結果を表示する場合の表示条件として、検索結果全体のデータサイズを「大」、「中」、「小」と「要約」の４段階でチェックボックスで指定できるようになっている。

そして、この検索条件設定画面を用いた場合には、図２４の処理は、表示条件の１つである全体のデータサイズ（例えば、「大」、「中」、「小」）に基づいて、補足的要素の選択方法を決定する。

以上説明したように、実施形態４によれば、文字情報を有する文書データについても、実施形態３と同様の効果を得ることができる。

［実施形態５］
上記実施形態では、マルチメディアデータにキーワード等のメタデータを付与しておき、これを検索及び検索結果の解析に利用する場合の例について説明したが、検索や検索結果の解析には、何を利用してもよく、各マルチメディアデータの種類・特性及びユーザの目的に応じた方法を用いることができる。

また、上記実施形態では、図１のＤＩＳＫ１０３、ＲＯＭ１０１及びＲＡＭ１０２、またはメモリカード等の記憶媒体に、図４及び図１８に示すメタデータ、及び図５、図６、図１９に示す解析規則、図１２〜図１４、図２０に示す表示規則が格納されているが、これらの情報は、ネットワーク上の外部機器から取得して、記憶媒体に格納して利用することも可能である。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態１のマルチメディアデータ検索システムが構築されるコンピュータ装置の基本構成を示すブロック図である。 本発明の実施形態１のマルチメディアデータ検索表示システムの機能構成を示す図である。 本発明の実施形態１の検索条件設定画面の一例を示す図である。 本発明の実施形態１のメタデータの一例を示す図である。 本発明の実施形態１の階層構造からなる解析規則の一例を示す図である。 本発明の実施形態１の画像データの意味・内容による関係付け規則の一例を示す図である。 本発明の実施形態１の検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行う一例を示す図である。 本発明の実施形態１の検索結果解析処理部による検索結果解析処理を示すフローチャートである。 本発明の実施形態１の表示内容決定処理部による表示内容決定処理を示すフローチャートである。 本発明の実施形態１のステップＳ１４０１の処理の詳細を示すフローチャートである。 本発明の実施形態１の表示要素と構成及びその関係の一例を示す図である。 本発明の実施形態１の提示順序の一例を示す図である。 本発明の実施形態１の構成要素の相互関係と提示順序に対する連結方法を示す連結ＩＤを定義した図である。 本発明の実施形態１の各々の連結ＩＤに対応した表示内容を表示規則として示した図である。 本発明の実施形態１の検索結果表示画面の一例を示す図である。 本発明の実施形態１で実行する処理全体の概要を示すフローチャートである。 本発明の実施形態２の検索条件設定画面の一例を示す図である。 本発明の実施形態２のメタデータの一例を示す図である。 本発明の実施形態２のデータの意味・内容による関係付け規則の一例を示す図である。 本発明の実施形態２の各々の連結ＩＤに対応した表示内容を表示規則として示した図である。 本発明の実施形態２の検索結果表示画面の一例を示す図である。 本発明の実施形態２の検索結果表示画面の一例を示す図である。 本発明の実施形態３の検索条件設定画面の一例を示す図である。 本発明の実施形態３のステップＳ１４０１の処理の詳細を示すフローチャートである。 本発明の実施形態４の検索条件設定画面の一例を示す図である。

符号の説明

２０１ 検索クエリ入力処理部
２０２ 検索保持部
２０３ 検索処理部
２０４ 検索結果保持部
２０５ メタデータ保持部
２０６ マルチメディアデータ保持部
２０７ 解析規則選択処理部
２０８ 解析規則保持部
２０９ 決定解析規則保持部
２１０ 検索結果解析処理部
２１１ 解析結果保持部
２１２ 表示内容決定処理部
２１３ 表示内容保持部
２１４ 検索結果保持部
２１５ 表示規則保持部
２１６ 表示規則選択処理部
２１７ 決定表示規則保持部

Claims (29)

1. 静止画像データ又は動画像データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを検索する情報処理装置であって、
   検索対象となる前記マルチメディアデータを複数記憶する記憶手段と、
   前記マルチメディアデータを検索するための検索条件を入力する入力手段と、
   前記検索条件に基づいて、前記記憶手段からマルチメディアデータを検索する検索手段と、
   前記検索手段によって検索結果として得られた複数のマルチメディアデータそれぞれを解析するための、前記検索条件に対応する解析規則に従って、前記検索手段で検索結果として得られた複数のマルチメディアデータをグループに分類し、そのグループの関係付けを解析する解析手段と、
   前記検索結果として表示する内容を決定するための、前記検索条件に対応する表示規則と、前記解析手段の解析結果に基づいて、前記検索結果として表示する表示内容として、前記検索手段によって検索結果として得られた複数のマルチメディアデータを連続的に表示する場合に、前記複数のマルチメディアデータそれぞれの区切りを明示するための表示効果を各区切りに対して決定する表示内容決定手段と、
   前記表示内容決定手段で決定された前記複数のマルチメディアデータの各区切りに対する表示効果を用いて、前記検索結果として得られた複数のマルチメディアデータを連続的に再生表示する検索結果表示手段と
   を備えることを特徴とする情報処理装置。
2. 前記解析手段は、前記検索手段で検索結果として得られた複数のマルチメディアデータを、その意味・内容に従って分類する分類手段と、
   前記検索手段で検索結果として得られた複数のマルチメディアデータと、前記分類手段で分類されたマルチメディアデータのグループについての関係付けを行う関係付け手段とを備え、
   前記表示内容決定手段は、前記分類手段による分類結果及び前記関係付け手段による関係付け結果に基づいて、前記検索結果として表示する表示内容を決定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記分類手段は、前記検索手段で検索結果として得られた複数のマルチメディアデータを階層構造に従って分類し、
   前記関係付け手段は、前記検索手段で検索結果として得られた複数のマルチメディアデータと、前記分類手段で前記階層構造に従って階層的に分類されたマルチメディアデータのグループについての関係付けを行う
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記解析手段は、前記マルチメディアデータを検索対象として前記記憶手段に記憶する時に解析を行い、その解析結果をメタデータとして前記マルチメディアデータに関連付け、
   前記表示内容決定手段は、前記マルチメディアデータに関連付けられたメタデータに基づいて、前記検索結果として表示する表示内容を決定する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記表示規則は、前記複数のマルチメディアデータ間の関係によってその提示順序を決定するための定義を含み、
   前記表示内容決定手段は、前記関係付け手段の関係付け結果に基づいて、前記検索手段の検索結果として得られた複数のマルチメディアデータの前記提示順序を決定する
   ことを特徴とする請求項２に記載の情報処理装置。
6. 前記表示規則は、前記複数のマルチメディアデータ間の関係と提示順序に対する優先度の定義を含み、
   前記表示内容決定手段は、前記分類手段で分類されたマルチメディアデータのグループが、前記検索手段の検索結果として得られた複数のマルチメディアデータ及び前記分類手段で分類されたマルチメディアデータのグループと関係をもつ場合、前記優先度に基づいて、前記検索手段の検索結果として得られた複数のマルチメディアデータの前記提示順序を決定する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記分類手段は、前記検索手段で検索結果として得られた複数のマルチメディアデータである前記静止画像データまたは前記動画像データを、該静止画像データまたは該動画像データが属する共通因子を階層の単位とする階層構造に従って分類し、
   前記関係付け手段は、前記検索手段で検索結果として得られた複数のマルチメディアデータと、前記階層構造に従って階層的に分類されたマルチメディアデータのグループについての関係付けを行う
   ことを特徴とする請求項３に記載の情報処理装置。
8. 前記表示規則は、更に、前記マルチメディアデータの種類に応じて、該マルチメディアデータと他のマルチメディアデータを連結するための定義を含み、
   前記表示内容決定手段は、前記関係付け手段の関係付け結果に基づいて、前記検索手段の検索結果として得られた複数のマルチメディアデータの前記提示順序を決定するとともに、前記表示規則を参照して、その複数のマルチメディアデータを連結する連結方法を決定する
   ことを特徴とする請求項５に記載の情報処理装置。
9. 前記表示内容決定手段は、更に、前記分類手段で分類されたマルチメディアデータのグループの提示順序と関係に基づいて、前記グループを連結する連結方法を決定する
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記表示内容決定手段は、前記連結方法として、前記検索手段の検索結果として得られた複数のマルチメディアデータの区切り、あるいは前記分類手段で分類されたマルチメディアデータのグループの区切りが明確になるように連結する連結方法を決定する
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記表示内容決定手段は、前記連結方法として、更に、関連する他の前記マルチメディアデータとの関係や、前記分類手段で分類された、関連する他の前記マルチメディアデータのグループとの関係が明確になるように連結する連結方法を決定する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記表示内容決定手段は、前記連結方法として、更に、前記検索手段の検索結果として得られた複数のマルチメディアデータと、前記分類手段で分類されたマルチメディアデータのグループが連続して表示されるか否かによって連結する連結方法を決定する
    ことを特徴とする請求項９に記載の情報処理装置。
13. 前記検索手段の検索結果として得られた複数のマルチメディアデータそれぞれの重要度を識別する識別手段を更に備え、
    前記表示内容決定手段は、前記検索条件に対応する表示規則と、前記解析手段の解析結果と、前記識別手段で識別された重要度とに基づいて、前記検索結果として表示する表示内容を決定する
    ことを特徴とする請求項１に記載の情報処理装置。
14. 前記解析手段は、前記検索手段で検索結果として得られた複数のマルチメディアデータそれぞれを、その意味・内容に従って分類する分類手段と、
    前記検索手段で検索結果として得られた複数のマルチメディアデータと、前記分類手段で分類されたマルチメディアデータのグループについての関係付けを行う関係付け手段とを備え、
    前記表示内容決定手段は、前記分類手段による分類結果及び前記関係付け手段による関係付け結果に基づいて、前記検索結果として表示する表示内容を決定する
    ことを特徴とする請求項１３に記載の情報処理装置。
15. 前記識別手段は、前記検索手段の検索時に得られる類似度及び前記マルチメディアデータに関連付けられている重要度の少なくとも１つ、あるいはこれらの組み合わせを用いて、前記マルチメディアデータの重要度を識別する
    ことを特徴とする請求項１３に記載の情報処理装置。
16. 前記表示規則は、前記複数のマルチメディアデータ間の関係によってその提示順序を決定するための定義を含み、
    前記表示内容決定手段は、前記分類手段の分類結果と、前記関係付け手段の関係付け結果と、前記識別手段で識別された重要度に基づいて、前記検索手段で検索結果として得られた複数のマルチメディアデータの中から、表示するマルチメディアデータとその構成を決定し、更に、前記関係付け手段の関係付け結果と、前記重要度に基づいて、前記表示するマルチメディアデータの提示順序を決定する
    ことを特徴とする請求項１４に記載の情報処理装置。
17. 前記表示内容決定手段は、前記検索手段の検索結果として得られる複数のマルチメディアデータそれぞれの重要度に基づいて、その複数のマルチメディアデータ中の中心となるマルチメディアデータを表示要素として選択し、
    前記分類手段の分類結果に基づいて、前記中心となるマルチメディアデータを含むマルチメディアデータのグループを決定し、更に、前記関係付け手段の関係付け結果に基づいて、各グループの中から前記中心となるマルチメディアデータと関連するマルチメディアデータを表示要素として選択する
    ことを特徴とする請求項１６に記載の情報処理装置。
18. 前記表示内容決定手段は、前記各グループの中から前記中心となるマルチメディアデータと関連するマルチメディアデータを表示要素として選択する場合は、更に、前記検索手段の検索結果として得られる複数のマルチメディアデータそれぞれの重要度に基づいて選択を行う
    ことを特徴とする請求項１７に記載の情報処理装置。
19. 前記表示規則は、前記複数のマルチメディアデータ間の関係と提示順序に対する優先度の定義を含み、
    前記表示内容決定手段は、前記選択された表示要素及び前記中心となるマルチメディアデータを含むマルチメディアデータのグループが、複数の表示要素あるいは前記中心となるマルチメディアデータを含むマルチメディアデータのグループと関係をもつ場合に、前記優先度、または前記優先度と前記マルチメディアデータの重要度に基づいて、前記表示するマルチメディアデータの提示順序を決定する
    ことを特徴とする請求項１６に記載の情報処理装置。
20. 前記検索結果を表示する際の表示条件を設定する設定手段と、
    前記検索手段の検索結果として得られた複数のマルチメディアデータそれぞれの重要度を識別する識別手段とを更に備え、
    前記表示内容決定手段は、前記検索条件に対応する表示規則と、前記解析手段の解析結果と、前記設定手段で設定された表示条件と、前記識別手段で識別された重要度とに基づいて、前記検索結果として表示する表示内容を決定する
    ことを特徴とする請求項１に記載の情報処理装置。
21. 前記解析手段は、前記検索手段で検索結果として得られた複数のマルチメディアデータを、その意味・内容に従って分類する分類手段と、
    前記検索手段で検索結果として得られた複数のマルチメディアデータと、前記分類手段で分類されたマルチメディアデータのグループについての関係付けを行う関係付け手段とを備え、
    前記表示内容決定手段は、前記分類手段による分類結果及び前記関係付け手段による関係付け結果に基づいて、前記検索結果として表示する表示内容を決定する
    ことを特徴とする請求項２０に記載の情報処理装置。
22. 前記表示条件は、表示する前記検索結果全体のデータサイズ、表示時間の少なくともいずれか一つ、若しくはこれらの組み合わせである
    ことを特徴とする請求項２１に記載の情報処理装置。
23. 前記表示規則は、前記複数のマルチメディアデータ間の関係によってその提示順序を決定するための定義を含み、
    前記表示内容決定手段は、前記分類手段の分類結果と、前記関係付け手段の関係付け結果と、前記設定手段で設定された表示条件と、前記識別手段で識別された重要度とに基づいて、前記検索手段で検索結果として得られた複数のマルチメディアデータの中から、表示するマルチメディアデータとその構成を決定し、
    前記重要度と、前記表示条件の少なくともいずれか１つあるいはこれらの組み合わせと、前記関係付け手段の関係付け結果に基づいて、前記表示するマルチメディアデータの提示順序を決定する
    ことを特徴とする請求項２１に記載の情報処理装置。
24. 前記表示内容決定手段は、前記検索手段の検索結果として得られた複数のマルチメディアデータの重要度に基づいて、その複数のマルチメディアデータ中の中心となるマルチメディアデータを表示要素として選択し、
    前記分類手段の分類結果に基づいて、前記中心となるマルチメディアデータを含むマルチメディアデータのグループを決定し、
    前記関係付け手段の関係付け結果と、前記設定手段で設定された表示条件とに基づいて、前記各グループの中から前記中心となるマルチメディアデータと関連するマルチメディアデータを表示要素として選択する
    ことを特徴とする請求項２３に記載の情報処理装置。
25. 前記表示内容決定手段は、前記各グループの中から前記中心となるマルチメディアデータと関連するマルチメディアデータを表示要素として選択する際に、更に、前記検索手段の検索結果として得られる複数のマルチメディアデータそれぞれの重要度に基づいて選択を行う
    ことを特徴とする請求項２４に記載の情報処理装置。
26. 前記表示内容決定手段は、前記表示条件が要約表示の場合、前記各グループの中から前記中心となるマルチメディアデータと関連するマルチメディアデータを表示要素として選択しない
    ことを特徴とする請求項２３に記載の情報処理装置。
27. 前記表示規則は、前記複数のマルチメディアデータ間の関係と提示順序に対する優先度の定義を含み、
    前記表示内容決定手段は、前記選択された表示要素や、前記中心となるマルチメディアデータを含むマルチメディアデータのグループが、複数の表示要素あるいは前記中心となるマルチメディアデータを含むマルチメディアデータのグループと関係をもつ場合に、前記マルチメディアデータの重要度、前記設定手段で設定された表示条件の少なくともいずれか１つあるいはこれらの組み合わせと、前記優先度とに基づいて、前記表示するマルチメディアデータの提示順序を決定する
    ことを特徴とする請求項２３に記載の情報処理装置。
28. 静止画像データ又は動画像データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを複数記憶する記憶部から、マルチメディアデータを検索する情報処理装置を制御する制御方法であって、
    前記マルチメディアデータを検索するための検索条件を入力する入力工程と、
    前記検索条件に基づいて、前記記憶部からマルチメディアデータを検索する検索工程と、
    前記検索工程によって検索結果として得られた複数のマルチメディアデータそれぞれを解析するための、前記検索条件に対応する解析規則に従って、前記検索工程で検索結果として得られた複数のマルチメディアデータをグループに分類し、そのグループの関係付けを解析する解析工程と、
    前記検索結果として表示する内容を決定するための、前記検索条件に対応する表示規則と、前記解析工程の解析結果に基づいて、前記検索結果として表示する表示内容として、前記検索工程によって検索結果として得られた複数のマルチメディアデータを連続的に表示する場合に、前記複数のマルチメディアデータそれぞれの区切りを明示するための表示効果を各区切りに対して決定する表示内容決定工程と、
    前記表示内容決定工程で決定された前記複数のマルチメディアデータの各区切りに対する表示効果を用いて、前記検索結果として得られた複数のマルチメディアデータを連続的に再生表示する検索結果表示工程と
    を備えることを特徴とする情報処理装置の制御方法。
29. 静止画像データ又は動画像データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを複数記憶する記憶部から、マルチメディアデータを検索することを、コンピュータに実行させるためのプログラムであって、
    前記マルチメディアデータを検索するための検索条件を入力する入力工程と、
    前記検索条件に基づいて、前記記憶部からマルチメディアデータを検索する検索工程と、
    前記検索工程によって検索結果として得られた複数のマルチメディアデータそれぞれを解析するための、前記検索条件に対応する解析規則に従って、前記検索工程で検索結果として得られた複数のマルチメディアデータをグループに分類し、そのグループの関係付けを解析する解析工程と、
    前記検索結果として表示する内容を決定するための、前記検索条件に対応する表示規則と、前記解析工程の解析結果に基づいて、前記検索結果として表示する表示内容として、前記検索工程によって検索結果として得られた複数のマルチメディアデータを連続的に表示する場合に、前記複数のマルチメディアデータそれぞれの区切りを明示するための表示効果を各区切りに対して決定する表示内容決定工程と、
    前記表示内容決定工程で決定された前記複数のマルチメディアデータの各区切りに対する表示効果を用いて、前記検索結果として得られた複数のマルチメディアデータを連続的に再生表示する検索結果表示工程と
    をコンピュータに実行させることを特徴とするプログラム。

Images