WO2001031502A1 - Dispositif et procede de classement et de rangement d'informations multimedia - Google Patents

Description

明 細 書 マルチメディア情報分類配置装置および分類配置方法 技術分野

本発明は、 テキス ト情報のみならず、 画像情報、 音声情報など多様な メディア情報と して混在しているマルチメディア情報群の分類 · 配置を 効率的かつ柔軟に行なうことのできるマルチメディア情報分類配置装置 に関する。 インターネッ トの www (ワールドワイ ドウェブ。 以下、 w

WWと略記する） 上においてアクセス可能であるマルチメディァ情報群 の分類 · 配置も可能である。 背景技術

現在、 テキス ト情報のみならず、 画像情報、 音声情報などマルチメデ ィァデータが大量に格納され、 アクセス可能となっている。 特に、 イン ターネッ トの発展に伴い、 www (ワールドワイ ドウヱブ） 上にある情 報は、 増加の一途をたどっており、 テキス ト情報、 画像情報、 音声情報 など多様なマルチメディァデータが大量に格納され、 アクセス可能とな つている。 その結果、 www上から必要な情報を的確に検索することが 非常に難しくなってきている。

従来の www 上での情報検索システムおよび当該検索システムにお ける情報の分類 ·配置処理と して以下のものが知られている。

第 1には、 テキス トキ一検索システムが知られている。 検索対象とな るマルチメディァデータに対してその内容を表わす 1または複数のテキ ス ト情報を適当に割り付けておき、 検索に当たっては、 単語などのテキ ス トを検索キーと して指定し、 当該検索キーと同一のテキス ト情報が割 り付けられているマルチメディァデータを検出する方法が知られている: 検索対象のメディア情報がテキス ト情報である場合には、 テキス ト情報 の内容をテキス トキ一により検索することとなり、 当該テキス トキー検 索はおおむね適切に実行できる場合が多い。 このテキス トキ一検索シス テムにおける情報の分類 .配置例と しては、 検索にてヒ ッ トしたデータ をソートしてリ ス ト表示するものが挙げられる。

第 2には、 テキス ト全文検索システムが知られている。 これは、 検索 対象となるマルチメディァデータがテキス ト情報の場合に特に有効な検 索システムである。 幾つかの方法が提案されているが、 例えば、 前処理 としてテキス ト全文からその内容の特徴を表わす単語すベてを自動的に 抽出しておき、 検索キーファイルを生成して割り付けておく。 検索に当 たっては、 単語などのテキス トを検索キ一と して指定し、 検索キーファ ィル中に当該検索キーと同一のテキス トが存在するテキス ト情報を検出 する。 この方法によっても上記第 1 のテキス トをキーと した検索方法と 同様、 テキス ト情報以外のメディア情報、 例えば、 画像情報については、 画像情報ごとに適切なテキス トキーを付与するのでなければ、 テキス ト をキーと した検索では、 検索を適切に行なうことは難しい。

このテキス ト全文検索システムにおける情報の分類 ·配置例もテキス トキー検索システム同様、 検索にてヒッ 卜したデータをソートしてリス ト表示するものが挙げられる。

第 3には、 画像情報を検索する方法として、 画像の特定部分を指定し て部分画像を検索キーと した画像パターン照合による画像検索方法が知 られている。 この画像検索方法によれば、 指定した部分画像を持つ画像 情報を検索することは可能である。

この画像パターン照合による画像検索システムにおける情報の分類 · 配置例も検索にてヒッ トしたデータをソートしてリ ス ト表示するものが 挙げられる。

しかし、 従来の WWW 上での情報検索システムは、 テキス ト情報以 外のメディア情報、 例えば、 画像情報や音声情報については有効な検索 方法が存在していない。

従来の第 1のテキス トキー検索システムでは、 画像情報や音声情報に ついて適切に行なうことは難しい。 つまり、 1つの画像情報に対して複 数のキ一ヮ一ドを割り付けたと しても、 画像の特徴を的確かつ柔軟にテ キス トで表現することが困難である以上、 検索者の検索する意図に応じ てキーヮードにより適切で柔軟な画像検索の実行は困難である。 テキス ト検索サーバーなどを用いて間接的に検索を行っても、 その結果得られ る情報はあまり有効なものではない。 数多くの画像を収集し、 それらを 順番に表示することが可能であるが、 画像数が多くなるとその中から目 的の画像を探し出すのが困難になるという問題があった。

従来の第 2の全文テキス ト検索システムの場合でも、 第 1 のテキス ト キー検索システムと同様、 画像情報や音声情報について適切に行なうこ とは難しい。 つまり、 画像情報や音声情報は元々テキス ト情報を持って おらず、 テキス ト情報の抽出は期待できない。

従来の第 3の画像パターン照合による画像検索システムによれば、 指 定した部分画像を持つ画像情報を検索することは可能である。 しかし、 検索者は、 検索したい画像が持つ部分画像を用意して指定する必要があ る。 検索者がもつとも欲しい画像がどのような部分画像を持つか明らか でない場合もあり、 また、 検索に用いる部分画像が常に用意できるとは 限らず、 検索が困難となる。 さらに、 検索者自身が検索したい画像を明 確に把握していない場合もある。 つまり、 検索したい画像のおおむねの 内容を指定することはできるが、 部分的であっても画像そのものの指定 ができない場合がある。 また、 検索者は漠然と何か利用できる画像がな いか試行錯誤的に検索したい場合もある。 このよ うな場合には部分画像 のマツチングのみでは柔軟性に欠け、 不充分である。 発明の開示

本発明は、 効率的にテキス ト情報、 画像情報、 音声情報などマルチメ ディア情報を、 マルチメディァ情報の持つ多様な特徴量を利用すること により効率的かつ柔軟に検索し、 検索結果をビジュアルかつ分かり易い ように分類 · 配置して表示することができるマルチメディア情報分類配 置装置を提供することを目的とする。 特に www 上のマルチメディア 情報を効率的かつ柔軟に検索し、 分類 '配置することができるマルチメ ディア情報分類配置装置を提供することを目的とする。

また、 本発明は、 上記表示した検索結果を基にして、 検索者がインタ ラクティブに所望のマルチメディア情報を柔軟に絞り込んだり、 検索し たマルチメディア情報を基にしてさらに異なる切り 口により検索を次々 と続行することができるマルチメディア情報分類配置装置を提供するこ とを目的とする。

本発明では、 取得した画像について、 その画像をただ利用者に提示す るだけでなく、 検索者の指定した条件にしたがって絞り込みを行う。 そ の上、 絞り込まれた画像について、 画像の特徴量や画像に関する付加情 報に基づき、 関連する画像を近くに配置したり、 特定の特徴を持つ画像 を特定の場所に配置することによって、 ユーザの検索性を向上させる。 上記目的を達成するために、 本発明のマルチメディア情報分類配置装 置は、 画像情報、 テキス ト情報、 音声情報を含むメディア情報のうち互 いに関連性を持った情報の集合を情報セッ トと し、 情報セッ ト配置空間 軸を設定する部分であって、 各メディア情報から抽出される特徴量の情 報セッ ト配置空間各軸への割り当てを設定し、 1以上の軸を備えた情報 セッ ト配置空間を設定する軸設定部と、 情報セッ トを取得する情報セッ ト取得部と、 前記情報セッ トの各メディア情報から特徴量を抽出する特 徴量抽出部と、 前記抽出した特徴量に基づいて前記情報セッ トを前記情 報セッ ト配置空間内に分類配置する情報セッ ト分類配置部と、 前記情報 セッ ト配置空間内に分類配置された情報セッ トのメディア情報のうち、 前記情報セッ ト配置空間に対する視点に応じたメディァ情報を表示する 情報表示部を備えたことを特徴とする。

上記構成により、 WWW上から効率的にテキス ト情報、 画像情報、 音 声情報などマルチメディア情報を、 マルチメディア情報の持つ多様な特 徴量を利用して効率的かつ柔軟に検索することができ、 また、 検索結果 をビジュアルかつ分かり易いように表示することができる。 前記軸設定 部における、 1つの空間軸に対して割り当てる特徴量が、 複数の特徴量 を組み合わせたものを用いることができ、 逆に、 二つ以上の軸に対して

1つの特徴量を割り当てることができる。

なお、 情報セッ トの生成にあたっては、 画像情報、 テキス ト情報、 音 声情報を含むメディア情報を収集し、 収集したメディア情報相互の関連 性を関連解析部により解析し、 情報セッ ト生成部により相互に関連性を 持つメディア情報の集合を情報セッ トとすれば良い。 もちろん既に生成 された情報セッ トを情報セッ ト読み込み部により C D— R O Mのような 記憶媒体から読み込んでも良く、 また、 情報セッ ト収集部によりネッ ト ワーク上から収集してきても良い。 このよ うに、 関連性を持つメディア 情報を情報セッ トと してく くることにより、 画像情報に対して、 テキス ト情報、 音声情報などを関連付けられるので、 例えば、 音声情報に関す る特徴量ゃテキス ト情報に関する特徴量を用レ、て検索すれば関連付けら れている画像情報も同時に得ることができる。

また、 用いる特徴量は、 画像情報に対する特徴量と しては、 D C T変 換係数特徴量、 画像情報に対するゥ ブレッ ト変換係数特徴量、 画像 情報に対する H S I色ヒス トグラム特徴量などが挙げられる。 テキス ト 情報に対する特徴量と しては、 特定単語の存在を示す特徴量、 テキス ト 情報に対する特定単語の使用回数の特徴量などが挙げられる。 音声情報 に対する特徴量と しては、 音声周波数特徴量、 音声情報に対する振幅特 徴量、 音声情報に対する時間変移特徴量などが挙げられる。

次に、 上記マルチメディア情報分類配置装置は、 情報セッ ト配置空間 軸を再設定する部分であって、 各メディア情報から抽出される特徴量の 情報セッ ト配置空間軸の各軸への割り当てを再設定し、 1以上の軸を備 えた情報セッ ト配置空間を再設定する軸再設定部を備え、 前記特徴量抽 出部が再設定にかかる特徴量を抽出し、 前記情報セッ ト分類配置部が前 記抽出された特徴量に応じて前記情報セッ トを前記情報セッ ト配置空間 内に分類配置し、 前記情報表示部が前記再設定された情報セッ ト配置空 間に対する視点に応じたメディア情報を表示することが好ましい。

上記構成により、 検索者が実行した検索結果を見て、 インタラクティ ブに再度検索を行なって柔軟に情報を絞り込んだり、 再設定した情報セ ッ ト配置空間軸を用いて、 さらに異なる切り 口により検索を次々と続行 することができる。 つまり、 検索結果を見て試行錯誤的に、 別の特徴量 を指定して情報セッ ト配置空間の軸再設定を行なうことができ、 再設定 した軸を用いた情報セッ ト配置空間を用いて情報セッ トを再配置し、 再 表示を行なうことができる。

次に、 本発明のマルチメディァ情報分類配置装置を実現する処理プロ グラムを記録したコンピュータ読み取り可能な記録媒体は、 情報セッ ト 配置空間軸を設定する処理ステップであって、 情報セッ ト取得処理ステ ップと、 各メディア情報から抽出される特徴量の情報セッ ト配置空間各 軸への割り当てを設定し、 1以上の軸を備えた情報セッ ト配置空間を設 定する軸設定処理ステップと、 前記情報セッ 卜の各メディア情報から特 徴量を抽出する特徴量抽出処理ステップと、 前記抽出した特徴量に基づ いて前記情報セッ トを前記情報セッ ト配置空間内に分類配置する情報セ ッ ト分類配置処理ステップと、 前記情報セッ ト配置空間内に分類配置さ れた情報セッ トのメディア情報のうち、 前記情報セッ ト配置空間に対す る視点に応じたメディァ情報を表示する情報表示処理ステツプを備えた 処理プログラムを記録したことを特徴とする。

上記構成により、 当該記録媒体をコンピュータに読み取らせることに より、 コンピュータを用いて本発明のマルチメディァ情報分類配置装置 を実現することができる。

次に、 本発明のマルチメディア情報分類配置方法は、 画像情報、 テキ ス ト情報、 音声情報を含むメディア情報のうち互いに関連性を持った情 報の集合である情報セッ トが多数存在するマルチメディア情報群から特 定の情報セッ トを検索する方法であって、 情報セッ トを取得し、 各メデ ィァ情報から抽出される特徴量の情報セッ ト配置空間各軸への割り当て を設定して 1以上の軸を備えた情報セッ ト配置空間を設定し、 前記情報 セッ トのメディア情報から抽出した特徴量に応じて前記情報セッ トを前 記情報セッ ト配置空間内に分類配置し、 前記分類配置した情報セッ トに 対して、 前記特徴量とは異なる特徴量を指定して前記情報セッ ト配置空 間各軸への割り当てを再設定し、 前記再設定に従って前記情報セッ トを 前記情報セッ ト配置空間内に再分類配置し、 用いる特徴量を切り替えつ つ前記情報セッ ト配置空間の軸設定と情報セッ トの情報セッ ト配置空間 への分類配置を繰り返すことを特徴とする：

上記構成により、 マルチメディア情報の検索において、 用いる特徴量 を切り替えつつ前記情報セッ ト配置空間の軸設定と情報セッ トの情報セ ッ ト配置空間への分類配置を繰り返すことにより検索を行なうことがで き、 従来の検索方法においては、 用いた検索キーでは検索絞り込みが不 充分な場合、 再度同じ種類、 同じ特徴量に属する別の検索キーを適当に 選んで再検索を行なっていたが、 本発明の分類配置方法においては、 用 いた検索キーでは検索絞り込みが不充分な場合は、 別の種類、 別の特徴 量に属する検索キーを適当に選んで再検索を行なうことができ、 より柔 軟で適切な検索が行なうことができる。 また、 このように別の種類、 別 の特徴量の検索キーを用いるので、 検索者にとつて予期しないような発 見的な検索結果を得ることも期待できる。 例えば、 テキス ト情報に対す る特徴量と して特定単語の存在を示す特徴量により一次検索を実行し、 引き続き、 画像情報に対する特徴量としてウェーブレッ ト変換係数特徴 量と H S I 色ヒス トグラム特徴量を組み合わせて当該情報セッ トを再分 類、 再配置すれば、 特定単語により検索された情報セッ トは、 特定の形 状部分と色を持つものが多いなど、 従来知られていなかった傾向を発見 できるなどと言った新しい検索システムの利用方法も提供できる。 図面の簡単な説明

第 1図は、 本発明の実施形態 1のマルチメディア情報分類配置装置の 装置構成例を示す図である。

第 2図は、 本発明の実施形態 1のマルチメディア情報分類配置装置の 処理の流れを示すフローチャートである。

第 3図は、 本発明の実施形態 1のマルチメディア情報分類配置装置に おいて、 "バッグ" のキーワードで収集された情報セッ トを情報セッ ト 配置空間に分類、 配置した場合の表示例を示す写真である。

第 4図は、 図 3に示した情報セッ ト配置空間上の画像情報に付随して いるテキス ト情報の I D番号がプルダウンメニューで表示された例を示 す写真である。 第 5図は、 図 4に示されたプルダウンメニューからテキス ト情報の I D番号を選んで該当するテキス トが表示された例を示す写真である。 第 6図は、 軸設定部 2 0により情報セッ ト配置空間軸を再設定し、 特 徴量の再抽出、 当該情報セッ ト配置空間へ再分類、 再表示した例を示す 写真である。

第 7図は、 キーィメージに類似する画像情報を類似ィメージリス トと して表示した例を示す写真である。

第 8図は、 本発明の実施形態 2のマルチメディァ情報分類配置装置の 装置構成例を示す図である。

第 9図は、 本発明の実施形態 3のマルチメディア情報分類配置装置の 装置構成例を示す図である。

第 1 0図は、 本発明の実施形態 4のマルチメディア情報分類配置装置 の装置構成例を示す図である。

第 1 1図は、 本発明の実施形態 4のマルチメディア情報分類配置装置 において、 表示視点を奥行き方向に進めた場合の表示例を示す写真であ る。

第 1 2図は、 本発明の実施形態 5のマルチメディア情報分類配置装置 をクライアントサーバ構成で構築した例を示す図である。

第 1 3図は、 本発明の実施形態 5のマルチメディア情報分類配置装置 をクライアントサーバ構成で構築した例を示す図である。

第 1 4図は、 本発明の実施形態 5のマルチメディア情報分類配置装置 をクライアントサーバ構成で構築した例を示す図である。

第 1 5図は、 本発明のマルチメディア情報分類配置装置の処理内容を 処理ステップとしたプログラムを記録した記録媒体の例を示す図である _c

発明を実施するための最良の形態 以下、 本発明のマルチメディァ情報分類配置装置および分類配置方法 の実施形態について、 図面を参照しながら説明する。

(実施の形態 1 )

本発明の実施形態 1のマルチメディア情報分類配置装置を説明する。 本実施形態 1 のマルチメディア情報分類配置装置は、 画像情報、 テキス ト情報、 音声情報を含むメディア情報のうち互いに関連性を持った情報 の集合を情報セッ トと し、 設定した情報セッ ト配置空間に当該情報セッ トを分類配置し、 当該情報セッ ト配置空間に対する視点に応じたメディ ァ情報を表示するものである。

まず、 本実施形態 1 のマルチメディア情報分類配置装置の装置構成例 を図 1に示す。 また、 本実施形態 1 のマルチメディア情報分類配置装置 の処理の流れを図 2のフローチヤ一トに示す。

本実施形態 1のマルチメディア情報分類配置装置は図 1 に示すように 情報セッ ト取得部 1、 軸設定部 2 0、 特徴量抽出部 3 0、 情報セッ ト分 類配置部 4 0、 情報表示部 5 0を備えている。 また、 6 0はインターネ ッ トなどのアクセス可能なネッ トワーク網であって、 ネッ トワーク 6 0 を介してマルチメディァ情報源 7 0がアクセス可能な状態にある。 マル チメディア情報源 7 0には画像情報、 テキス ト情報、 音声情報などの多 様なマルチメディア情報が格納されており、 この例では相互に関連があ るメディア情報の集合である情報セッ トも格納されているとする。 ここで、 情報セッ ト とは、 テキス ト情報、 画像情報、 音声情報など多 様なメディア情報のうち、 相互に関連があるもの同士を一まとまりの集 合とし、 関連付けたものである。 情報セッ トの一例としては、 画像情報 とテキス ト情報が関連付けられた情報セッ トがある。 これは、 例えば、 WWW上の画像とテキス トが混在した H T M L文書から、 画像部分を画 像情報として抽出し、 また H T M L文書の画像まわりのテキス トをテキ ス ト情報と して抽出し、 両者を関連付けて生成されたものである。 他の 例と しては、 動画像の画像情報と音声情報とテキス ト情報が関連付けら れた情報セッ トがある。 これは、 例えば、 動画像と音声を含むムービー データを含む X M Lファイルから、動画部分を動画像情報と して抽出し、 また音声データを音声情報と して抽出し、 ムービーデータが埋め込まれ ている周辺のテキス トをテキス ト情報として抽出し、 それぞれを関連付 けて生成されたものである。 また、 他のデータに対してリ ンクが張られ ている H T M Lデータからリンクを迪り、 当該リ ンク先の画像情報、 テ キス ト情報、 音声情報などを抽出して生成したものを情報セッ トと して も良い。 また、 H T M L文書のように当初から画像情報とテキス ト情報 が 1 ファイルの形態で存在するもののみならず、 1つの画像情報に対し て複数のテキス ト情報が関連付けられたり、 その逆に 1つのテキス トに 対して複数の画像情報が関連付けられている場合もあり うる。 また、 情 幸艮セッ トの一部として U R L (Universal Resource Locator) を含めるこ とができる。 情報セッ トの一部に U R Lを含めることにより、 後述する ように分類配置された情報セッ トを選択し、 その U R Lを基に当該情報 セッ トを含むウェブのページを表示することが可能となる

図 1 の装置構成例において、 情報セッ ト取得部 1は、 情報セッ ト読み 込み部 2と情報セッ ト収集部 1 0を備えた構成としている。 情報セッ ト 収集部 1 0は、 情報セッ トを収集する部分であり、 ネッ トワーク 6 0を 介してマルチメディア情報源 7 0に存在する情報セッ トを収集する。 情 報セッ ト読み込み部 2は、 C D— R O Mなどの記憶媒体などから直接、 情報セッ トの入力を受け付けることもできるものである。 このように情 報セッ ト取得部 1は、 情報セッ ト読み込み部 2 と情報セッ ト収集部 1 0 のいずれかまたは両者を適宜備えた構成とすることにより、 ネッ トヮー ク 6 0を介してマルチメディァ情報源 7 0に存在する情報セッ トを収集 する機能、 C D— R O Mなどの記憶媒体などから直接、 情報セッ 卜の入 力を受け付ける機能を選択的に保持することができる。

この実施形態 1 で説明する情報セッ ト収集部 1 0の構成例は、 通信ィ ンタフェース 1 1 、 ハー ドディスクなどの記録媒体 1 2、 情報セッ ト収 集キー入力部 1 3を備えている。 通信ィンタフェース 1 1を介してネッ トワーク 6 0上のマルチメディァ情報源 7 0 と通信する。 記録媒体 1 2 は、 収集した情報セッ トを格納しておく場合に利用できる。 情報セッ ト 収集キー入力部 1 3は、 情報セッ トの収集に当たり、 キーワードを用い て収集する範囲を指定する部分である。 ネッ トワーク上のマルチメディ ァ情報源 7 0に格納されている情報セッ トが大量にある場合には何も指 定せずに情報セッ トを収集すれば、 収集するデータ容量が極めて大きく なってしまう。 そこで、 情報セッ トの収集にあたり、 あらかじめ範囲を 絞り込むために情報セッ ト収集キー入力部 1 3よりキーヮードが入力さ れた場合には、 情報セッ ト収集部 1 0は、 当該キーワードを持つ情報セ ッ トを収集する。

軸設定部 2 0は、 情報セッ ト配置空間軸を設定する部分であって、 各 メディァ情報から抽出される特徴量の情報セッ ト配置空間各軸への割り 当てを設定し、 1以上の軸を備えた情報セッ ト配置空間を設定する。 例 えば、 X軸 Y軸 Z軸の 3軸を指定し、 この X Y Z軸が張る空間を情報セ ッ ト配置空間とする。

ここで、 設定し得る特徴量は、 画像情報、 テキス ト情報、 音声情報な どメディァに応じて抽出し得る特徴量であれば良い。

例えば、 画像情報に対しては、 D C T変換係数特徴量、 ウエーブレツ ト変換係数特徴量、 H S I色ヒス トグラム特徴量などが挙げられる。 D C T変換係数特徴量を情報セッ ト配置空間軸に設定することにより、 画 像情報の空間周波数成分の特徴による情報の分類、 配置が可能となる。 ウェーブレツ ト変換係数特徴量を情報セッ ト配置空間軸に設定すること により、 画像情報の特に空間周波数の低周波部分の特徴、 つまり、 画像 中に写り込んでいる物体の大枠の外形の特徴による情報の分類、 配置が 可能となる。 ウェーブレツ ト変換も D C T変換と同じく波形 · 周波数変 換であるが、 位置 （時間） 情報を保ったまま変換することが出来る。 H S I色ヒス トグラム特徴量を情報セッ ト配置空間軸に設定することによ り、 画像の色情報に基づく情報の分類、 配置が可能となる。 H S I色ヒ ス トグラムによれば、 人間の肌領域がどの程度含まれているかなどの画 像の特徴を良く掴むことができる。

また、 例えば、 テキス ト情報に对しては、 特定単語の存在を示す特徴 量、 特定単語の使用回数の特徴量などを挙げることができる。 特定単語 の存在を示す特徴量や特定単語の使用回数の特徴量を情報セッ ト配置空 間軸に設定することにより、 特定単語の説明などが含まれているテキス ト情報の分類、 配置が可能となる。 これらテキス ト情報に画像情報が関 連付けられている情報セッ トであれば、 特定単語により表わされる画像 情報も併せて情報セッ ト配置空間に分類、 配置されることとなる。

また、 例えば、 音声情報に対しては、 音声周波数特徴量、 音声の振幅 特徴量、 音声の時間変移特徴量などを挙げることができる。 音声周波数 特徴量を情報セッ ト配置空間軸に設定することにより、 音声周波数の特 徴、 つまり、 音声の高低、 音質などにより音声情報の分類、 配置が可能 となる。 音声周波数によれば、 発音体の別、 動物の鳴き声、 男性の声、 女性の声の別、 精度が上がれば、 声の人物など音声情報の特徴を表わす ことができる。 音声の振幅特徴量や時間変移特徴量を情報セッ ト配置空 間軸に設定することにより、 音声の大小に応じた音声情報の分類、 配置 が可能となる。

なお、軸設定部 2 0による、一の空間軸に対する特徴量の割り当ては、 複数の特徴量を組み合わせて割り当てることが可能である。 2つ以上の 特徴量の組み合わせは、 互いの特徴量の単位を変換、 調整する必要があ るが、 スコアのような点数に置き換えて合算することが可能である。 例 えば、 一つの空間軸に対して、 第 1の特徴量と して H S I色ヒス トグラ ムの指定色成分が閾値以上の割合で含まれていれば " 1 "、 含まれてい ない場合に " 0 " とし、 第 2の特徴量と して、 テキス ト情報中の特定単 語の存在を示す特徴量と して存在すれば " 1 "、 存在しない場合に " 0 " と し、 第 1 の特徴量と第 2の特徴量を合算して一つの空間軸に割り当て るなどの処理が可能である。 逆に、 複数の軸に対して一つの特徴量を割 り当てることもできる。 一つの特徴量から二つ以上の軸に割り当てる方 法は数多く存在するが、 そのような方法の一つとして、 特徴量をべク ト ルとみなして、 ベタ トルの各次元について分散が大きい次元を複数選択 してその次元を軸とする方法が挙げられる。

特徴量抽出部 3 0は、 情報セッ トの各メディア情報から特徴量を抽出 する部分である。 図 1には図示していないが、 上述した通り、 特徴量抽 出部 3 0には、 各メディア情報から様々な特徴量を抽出するための機能 を備えており、 例えば、 画像情報の特徴量抽出機能として、 D C T変換 係数特徴量算出機能、 ウェーブレッ ト変換係数特徴量算出機能、 H S I 色ヒス トグラム特徴量算出機能などを備えており、 例えば、 テキス ト情 報の特徴量抽出機能として、特定単語が存在しているか否かの検知機能、 特定単語の使用回数算出機能などを備えており、 また例えば音声情報の 特徴量抽出機能として、 音声周波数特徴量抽出機能、 音声の振幅特徴量 抽出機能、 音声の時間変移特徴量抽出機能などを備えている。 これら諸 機能を利用して収集した情報セッ トのそれぞれのメディァ情報から、 特 徴量を抽出する。 また、 特徴量抽出部 3 0は、 各メディア情報から特徴 量を抽出する機能の追加、 更新、 削除などが可能とする。 特徴量抽出機 能を D S P (デジタルシグナルプロセッサ） などで提供しておけば、 必 要に応じて内容を容易に書き換え、 追加できる。

情報セッ ト分類配置部 4 0は、 特徴量抽出部 3 0により抽出した特徴 量に基づいて情報セッ トを情報セッ ト配置空間内に分類配置する部分で ある。 例えば、 情報セッ ト配置空間が X Y Z 3軸により設定されておれ ば、 情報セッ トは当該 3次元情報セッ ト配置空間内に分類、 配置される こととなる。

情報表示部 5 0は、 情報セッ ト分類配置部 4 0により情報セッ ト配置 空間内に分類配置された情報セッ トのメディア情報を表示する部分であ り、 情報セッ ト配置空間に対する視点に応じた方向から情報セッ ト配置 空間内のメディア情報を表示する。 例えば、 X Y Z軸から張られた情報 セッ ト配置空間に対して、 X Y平面が正面であり、 z軸方向を奥行き方 向とすると、 ディスプレイ面が X Y平面であり、 画面奥行きが z軸方向 であるように表示される。

以上のように構成された本発明の実施形態 1のマルチメディア情報分 類配置装置の処理の流れの例を図 2を参照しつつ説明する。

図 2に示すように、 本発明の実施形態 1 のマルチメディア情報分類配 置装置の処理は大別して、 次のように、 情報セッ トの取得処理 （S 1 0 1 ) と、 情報セッ ト配置空間の軸に割り付ける特徴量を設定し、 情報セ ッ ト配置空間を定義する軸設定処理 （S 1 0 2 ) と、 情報セッ トのメデ ィァ情報から所定の特徴量を抽出する特徴量抽出処理 （S 1 0 3 ) と、 抽出した特徴量に従って情報セッ トを情報セッ ト配置空間内に分類、 配 置する情報分類配置処理 （S 1 0 4 ) と、 情報セッ ト配置空間および情 報セッ ト配置空間に分類、 配置した情報セッ トを設定視点から表示する 情報表示処理 （S 1 0 5 ) と、 表示された検索結果を見て、 必要に応じ てさらなる絞り込みや切り 口を変えた検索を続行するため、 情報セッ ト 配置空間の軸に割り付ける特徴量を再設定し、 情報セッ ト配置空間を再 定義する再軸設定処理 （ステップ S 1 0 2へのループ） を備えている。 なお、 最初の軸設定処理 （S 1 0 2 ) により設定された情報セッ ト配置 空間に基づく情報セッ トの分類、 配置により所望の検索結果が得られた 場合には、 再軸設定処理は必須のものではない。 また、 上記処理の流れ では、 情報セッ トは当初からアクセス可能な状態で存在していることを 前提としたものであるが、 実施形態 2において後述するようにマルチメ ディア情報分類配置装置が、 画像情報、 テキス ト情報、 音声情報を含む メディア情報のうち互いに関連性を持った情報をまとめ、 情報セッ トを 定義 ·生成する情報セッ ト生成処理を前処理と して実行しても良い。 まず、 本発明のマルチメディア情報分類配置装置は、 情報セッ ト取得 部 1により情報セッ ト取得処理 （S 1 0 1 ) を実行する。 ここでは、 例 えば、 情報セッ ト取得部 1により、 通信インタフェース 1 1 を介してィ ンターネッ トなどのネッ トワーク 6 0上にアクセス可能な状態にある W WWサーバーなどのマルチメディア情報源 7 0から情報セッ トを収集し て情報セッ トを取得する。 この例では、 情報セッ ト取得処理 （S 1 0 1 ) として、 画像情報とテキス ト情報が関連付けられている情報セッ トを複 数取得する。 また、 取得する情報セッ トの範囲をある程度絞るため、 キ 一ワード検索により ヒッ トしたもののみ取得しても良い。 この例では、 "バッグ"とレ、うキーヮードにヒッ トする情報セッ トを取得したとする。 次に、 マルチメディア情報分類配置装置は、 軸設定部 2 0により情報 セッ ト配置空間の軸に割り付ける特徴量を設定し、 情報セッ ト配置空間 を定義する軸設定処理 （S 1 0 2 ) を実行する。 軸設定部 2 0は、 上記 に示した画像情報に対する D C T変換係数特徴量など各メディア情報か ら抽出可能な特徴量から、 情報セッ ト配置空間の各軸に対して割り付け る特徴量をそれぞれ設定し、 情報セッ ト配置空間を定義することにより 軸設定処理を実行する。 この例では、 X軸 （水平方向） と して画像情報 のゥユーブレッ ト変換係数特徴量を割り当て、 γ軸 （垂直方向） と して H S I色ヒス トグラム特徴量を割り当て、 Z軸 （奥行き方向） と してテ キス ト情報内での特定単語の使用回数を示す特徴量を割り当てる。 この 説明では、 Z軸に割り付ける特定単語の存在を示す特徴量と して、 情報 セッ ト収集において用いた "バッグ" という単語の使用回数とする。 次に、 マルチメディア情報分類配置装置は、 特徴量抽出部 3 0を用い て、 収集されている情報セッ トのそれぞれのメディア情報から、 各空間 軸に割り当てられている特徴量を抽出する特徴量抽出処理 （S 1 0 3 ) を実行する。 上述した通り、 図 1には示されていないが、 特徴量抽出部 3 0には、 ウェーブレッ ト変換係数特徴量算出機能、 H S I色ヒス トグ ラム特徴量算出機能、 特定単語の使用回数算出機能を保持しており、 収 集されている情報セッ トのそれぞれのメディア情報から、 ウェーブレツ ト変換係数特徴量、 H S I色ヒス トグラム、 特定単語の使用回数を抽出 する。

次に、 マルチメディア情報分類配置装置は、 情報セッ ト分類配置部 4 0を用いて、 抽出した特徴量に従って情報セッ トを情報セッ ト配置空間 内に分類、 配置する情報分類配置処理 （S 1 0 4 ) を実行する。 そして、 情報表示部 5 0により、 情報セッ ト配置空間および情報セッ ト配置空間 に分類、 配置した情報セッ トを設定視点から表示する情報表示処理 （S 1 0 5 ) を実行する。 図 3に、 "バッグ" のキーワードで収集された情 報セッ トを設定された情報セッ ト配置空間内に分類、配置した例を示す。 この表示例では各情報セッ トは関連付けられたメディア情報のうち、 画 像情報を前面 （X Y平面） として表示している。 X軸がウェーブレッ ト 変換係数特徴量であるので、 X軸座標が似通った位置には、 外形が似通 つたバッグが表示されている。 Y軸が H S I色ヒス トグラム特徴量であ るので Y軸座標が似通った位置には、 色合いが似通つたバッグが表示さ れている。

図 3に示したように、 情報セッ ト配置空間に分類、 配置された情報セ ッ トの中には、 複数のテキス ト情報が関連付けられているものがある。 図 3では画像情報が前面に表示されているが、 それらはテキス ト情報を 伴っている。 ここでは、 図 4に示すように情報セッ ト配置空間上の画像 情報をボインティングデバイスでク リ ックすると付随しているテキス ト 情報の I D番号 （"テキス ト 1 " など） がブルダウンメニューで表示さ れる。 プルダウンメニューからテキス ト情報の I D番号を選ぶと、 図 5 に示すように該当するテキス トが表示される。

以上の情報セッ ト取得処理ステップ S 1 0 1から情報表示処理ステツ プ S 1 0 5により所望の画像情報などが得られ、 当初の検索処理の目的 が達成され、 再軸設定処理が必要でない場合は （ステップ S 1 0 6 ： Ν 0 )、 検索処理を終了すればよいが、 当初の検索処理の目的が達成され ておらず、 再軸設定処理が必要な場合は （ステップ S 1 0 6 ： Y E S )、 本発明のマルチメディァ情報分類配置装置は、 再軸設定処理を行なうた めステップ S 1 0 2にループすることが可能である。 つまり、 情報表示 処理ステップ S 1 0 5により表示された分類 ·配置表示結果を見て、 必 要に応じてさらなる絞り込みや切り 口を変えた検索を続行するため、 軸 設定部 2 0を用いて、 情報セッ ト配置空間の軸に割り付ける特徴量を再 設定し、 情報セッ ト配置空間を再定義する再軸設定処理を実行する。 こ のように、 必要な画像情報が得られるまで情報セッ ト配置空間軸に割り 当てる特徴量を再設定し （S 1 0 2 )、 情報セッ トの各メディア情報か ら再設定した特徴量を再抽出し （ S 1 0 3 )、 再抽出した特徴量に基づ いて情報セッ トを情報セッ ト配置空間に再分類、 再配置し （S 1 0 4 )、 情報表示部 5 0により情報セッ ト配置空間に再配置された情報セッ トを 再表示する （ S 1 0 5 )。 例えば、 軸設定部 2 0により、 X軸をゥユー ブレツ ト変換係数特徴量から D C T変換係数特徴量に替えたり、 Y軸を H S I色ヒス トグラム特徴量から全く異なる切り 口と して音声周波数特 徴量に替えたりすることも可能である。 この例では、 X軸をウェーブレ ッ ト変換係数特徴量から H S I色ヒス トグラム特徴量に切り替え、 Y軸 を H S I色ヒス トグラム特徴量から D C T変換係数特徴量に替えたもの とする。 軸設定部 2 0により情報セッ ト配置空間軸を再設定し、 特徴量 の再抽出、 当該情報セッ ト配置空間への再分類、 再表示した例を図 6に 示す。 このような一連の軸再設定処理を、 所望の検索結果が得られるま で繰り返す。

このように、 ある特徴量で得られた情報セッ トの分類 · 配置の表示結 果を見て、 全く異なる切り 口の特徴量を使って情報セッ トの分類 ·配置 を試すことができ、 検索者にとって予期しない新しい発見的な情報が得 られる可能性が生じる。

また、 画像情報など情報セッ トの分類 ·配置である表示結果を見て、 以下のような情報処理も可能である。

第 1には、 分類 ·配置された情報セッ トのうち選択した情報セッ トが 含まれるウェブのページを表示することも可能である。 情報セッ トの一 部に当該画像情報など情報セッ トが含まれている U R Lを併せて保存し ておけば、 当該画像情報が情報表示部 5 0上において利用者より選ばれ た場合に U R L情報を基にしてそのウェブページを表示することが可能 となる。 例えば、 画像情報を選び、 メニューなどから "ウェブページ" というボタンをポインティングデバイスでク リ ックすることによりその ウェブページを表示する。

第 2には、 分類 '配置された情報セッ トを見て、 検索キーを与え、 当 該キーに類似する情報セッ トをリ ス ト表示することも可能である。 例え ば、 図 3のように分類 ' 配置された情報セッ トに対して、 検索キーと し てキーイメージ （ハターン照合用のキーとなる画像） を与え、 パターン 照合により当該キーイメージに類似する画像情報を類似ィメージリ ス ト と して表示する。 その例を図 7に示す。 入力されたキーイメージに対し て類似イメージリス トが表示されている。 図 7の例は、 検索キーとして キーイメージを与えるものであるが、 検索キ一と してテキス ト情報を与 えることもできる。 この場合、 当該入力キーワードと、 類似イメージリ ス トが表示される。

以上、 本実施形態 1 に示したマルチメディア情報分類配置装置によれ ば、 画像情報、 テキス ト情報、 音声情報を含むメディア情報のうち互い に関連性を持った情報の集合を情報セッ トと し、 設定した情報セッ ト配 置空間に当該情報セッ トを分類配置し、 当該情報セッ ト配置空間に対す る視点に応じたメディァ情報を表示することができる。

(実施形態 2 )

本発明の実施形態 2のマルチメディァ情報分類配置装置を説明する。 本実施形態 2のマルチメディア情報分類配置装置は、 実施形態 1で説明 した情報セッ トの分類、 配置処理に先立ち、 前処理として、 画像情報、 テキス ト情報、 音声情報を含むメディア情報を収集し、 収集したメディ ァ情報相互の関連性を解析し、 関連するメディァ情報をまとめて情報セ ッ トを生成する機能を備えたものである。

まず、 本実施形態 2のマルチメディア情報分類配置装置の装置構成例 を図 8に示す。 本実施形態 2のマルチメディァ情報分類配置装置は図 8 に示すように、 情報セッ ト取得部 1以外の、 軸設定部 2 0、 特徴量抽出 部 3 0、 情報セッ ト分類配置部 4 0、 情報表示部 5 0、 ネッ トワーク 6 0、 マルチメディア情報源 7 0については、 実施形態 1で説明した図 1 のマルチメディァ情報分類配置装置構成例のものと同様で良い。 本実施形態 2のマルチメディァ情報分類配置装置では、 図 8に示すよ うに、 情報セッ ト取得部 1の情報セッ ト収集部 1 0が、 通信ィンタフユ ース 1 1、 記録媒体 1 2、 情報セッ ト収集キー入力部 1 3に加え、 情報 収集部 1 4、 関連解析部 1 5、 情報セッ ト生成部 1 6を備えている。 情報収集部 1 4は、 ネッ トワーク 6 0上のアクセス可能なマルチメデ ィァ情報源 7 0に格納されている画像情報、 テキス ト情報、 音声情報を 含むメディァ情報を収集する。 メディァ情報の収集にはロボッ トを用い て自動収集することができる。 ロボッ トを用いる場合には、 ネッ トヮー ク 6 0上のマルチメディア情報群 7 0からメディァ情報を収集する選択 基準を指定する。 例えば、 キーワード情報、 サイ ト情報、 リ ンク情報、 特定情報セッ トに对する類似度情報を含む基準群から選んで指定する。 選択基準にキーヮード情報を持たせれば、 当該キーヮードが付されてい ないメディア情報は収集されず、 範囲を限定することができる。 テキス ト検索サーバにキーヮ一ドを与えて、 その結果返されるページの検索を 行う。

選択基準としてサイ ト情報、 リンク情報を持たせれば、 ロボッ トは、 指定されている U R Lおよびその U R L以下のページやその U R から リンクされているページを検索する。 このように、 WWW上を巡回し、 リンクをたどることによって、 複数の Webぺージをたどる。

選択基準として特定情報セッ トに対する類似度情報を持たせれば、 あ る情報セッ トのメディア情報と似通っているメディア情報を中心に収集 することができる。

情報収集部 1 4は、 画像情報、 テキス ト情報、 音声情報などを収集し、 記憶媒体 1 2に格納する。

関連解析部 1 5は、 情報収集部 1 4によりマルチメディア情報源から 収集したメディア情報相互間の関連性を解析する部分である。 例えば、 画像情報に関連しているテキス トの解析と しては、 H T M L文書であれ ば、 当該画像付近のテキス トや H T M Lの情報を参照しながら、 H T M Lの構造を解釈した上で、 画像部分を画像情報と して抽出し、 また H T M L文書の画像まわりのテキス トをテキス ト情報と して抽出し、 画像に 近いテキス トの関連度合を解析する。 音声情報の関連度合の解析も同様 に可能である。 また、 H T M Lでなく とも P D Fファイルなど 1つのフ アイルにまとめられているものであれば、 当該ファイル中に存在する画 像情報、 テキス ト情報、 音声情報について関連度合が高いと して解析す ることが可能である。 また、 例えば、 1つのまとまったファイルでなく とも、 複数のメディア情報に同じキーワードが付されていれば、 関連度 合が高いと して解析することが可能である。 当該キーワードがありふれ たものでなく、 特異なものであれば、 関連度合がより高いとして解析す ることも可能である。 さらに、 複数のメディア情報の関連度合を人手に よって決めることも可能であることは言うまでもない。 また、 他の例と して、 動画像と音声を含むムービーデータを含む P D Fファイルであれ ば、 動画部分を動画像情報として抽出し、 また音声データを音声情報と して抽出し、 ムービーデータが埋め込まれている周辺のテキス トをテキ ス ト情報と して抽出し、 それぞれを関連付け、 情報セッ トとすることが できる。

情報セッ ト生成部 1 6は、関連解析部 1 5による解析結果に基づいて、 相互に関連性を持つメディア情報同士をまとめ、 その集合を情報セッ ト と して関連付けて 1つの情報セッ トと して生成される。

以上のように、 本実施形態 2のマルチメディア情報分類配置装置は、 実施形態 1 で説明した情報セッ トの分類、 配置処理に先立ち、 前処理と して、 画像情報、 テキス ト情報、 音声情報を含むメディア情報を収集し、 収集したメディア情報相互の関連性を解析し、 関連するメディア情報を まとめて情報セッ トを生成することができる。 なお、 生成した情報セッ トを用いて、 情報セッ ト配置空間に情報セッ トを分類配置する処理は、 実施形態 1で図 2のフローチャートを用いて説明したものと同様であり ここでの詳しい説明は省略する。

(実施形態 3 )

本発明の実施形態 3のマルチメディア情報分類配置装置を説明する。 本実施形態 3のマルチメディァ情報分類配置装置は、 情報セッ ト分類配 置部によるメディア情報の特徴量に基づいた情報セッ ト配置空間への分 類、 配置において、 自己組織化マップを応用するものである。

本実施形態 3マルチメディァ情報分類配置装置の装置構成例を図 9に 示す。 図 9に示すように、 情報セッ ト分類配置部 4 0は、 自己組織化マ ップ処理部 4 1を備えている。 なお、 情報セッ ト分類配置部 4 0以外の、 情報セッ ト取得部 1、 軸設定部 2 0、 特徴量抽出部 3 0、 情報表示部 5 0ネッ トワーク 6 0、 マルチメディア情報源 7 0については、 実施形態 1で説明した図 1のマルチメディア情報分類配置装置構成例のものと同 様で良い。

自己組織化マップは、 ニューラルネッ トワークを用いた教師なし学習 モデルである。 自己組織化マップでは、 高次元の特徴ベク トル空間から 低次元空間に写像を行なう。 その際に、 特徴ベク トルが類似しているも のは低次元空間でも近くに配置される。 この自己組織化マップをメディ ァ情報の分類 ·配置処理に応用し、 特徴量抽出部 3 0が抽出した特徴量 をもとに自己組織化マップ処理を用いて情報セッ トを配置する。 自己組 織化マップ処理部 4 1は特徴量抽出部 3 0が抽出した特徴量に対して当 該自己組織化マップ生成処理を実行するものである。 本実施形態 3の情 報セッ ト分類配置部 4 0は、 自己組織化マップ処理部 4 1が生成した自 己組織化マップで得られた配置情報を基に情報セッ ト配置空間に分類 · 配置する。 また、 自己組織化マップ処理と併せて、 z軸 （奥行き方向） に割り当てられている特徴量を基にした奥行き表現も組み合わせること もできる。 例えば、 テキス ト情報を元に、 単語の頻度情報に分解し、 そ れぞれの頻度をべク トル化して、 そのべク トルに基づき、 奥行き方向の 軸の位置を決定する。 また、 他の例と しては、 キーワードを用いて Web を検索した場合、 テキス ト検索サーバが返すキーワードと Web ページ の関連度をもとに、 関連度が高い順に奥行き情報として表示する事もで き、 それらを切り替えて表示することができる。

以上のように、 本実施形態 3のマルチメディア情報分類配置装置によ れば、 自己組織化マップ処理を応用して、 画像を空間上で内容が近いと 思われるものが近くに、 内容が遠いと思われるものが遠くにそれぞれ配 置することが出来る。

(実施形態 4 )

本発明の実施形態 4のマルチメディァ情報分類配置装置を説明する。 本実施形態 4のマルチメディア情報分類配置装置は、 情報セッ トが分 類 ·配置された情報セッ ト配置空間の表示方法、 ブラウジング方法にェ 夫を加えたものである。

本実施形態 4のマルチメディア情報分類配置装置の装置構成例を図 1 0に示す。 図 1 0に示すように、 情報表示部 5 0は表示視点移動部 5 1 を備えている。 なお、 情報表示部 5 0以外の、 情報セッ ト取得部 1、 軸 設定部 2 0、 特徴量抽出部 3 0、 情報セッ ト分類配置部 4 0、 ネッ トヮ ーク 6 0、 マルチメディア情報源 7 0については、 実施形態 1で説明し た図 1のマルチメディア情報分類配置装置構成例のものと同様で良い。 表示視点移動部 5 1は、 情報表示部 5 0において、 情報セッ ト分類配 置部 4 0により情報セッ トが分類 ·配置された情報セッ ト配置空間を表 示するにあたり、 当該空間を表示する視点の設定位置を移動させる機能 を備えている。 情報表示部 5 0は、 表示視点移動部 5 1 により設定され た表示視点から見た情報セッ ト配置空間を表示する。

実施形態 1では、 情報表示部 5 0による情報セッ ト配置空間の表示例 として図 3を示した。 本実施形態 3のマルチメディァ情報分類配置装置 では、 この図 3の表示視点をデフォル トとし、 表示視点移動部 5 1によ り表示視点を動的に変化させることが可能となる。 言わば、 情報セッ ト が分類'配置された情報セッ ト配置空間内を仮想的に自由に動きまわり、 移動位置から見える情報セッ ト配置空間内の情報セッ 卜の分類 ·配置さ れた様子を表示することができる。 通常であれば、 ディスプレイ表示面 は、 基本的には 2次元平面であるので、 遠近法による表示が可能ではあ るものの、 奥行きの深い位置にある情報セッ トは見づらいものとなりが ちである。 しかし、 本実施形態 3のマルチメディア情報分類配置装置に よれば、 動的に表示視点を変化させることができ、 検索者の操作に応じ て、 検索者がより詳しく見たい情報セッ トの分類 ·配置の様子をディス プレイ表示面近くに表示させることができる。 図 1 1は、 図 3の状態か ら、 表示視点を奥行き方向に進めた場合の表示例を示したものである。

(実施形態 5 )

本発明の実施形態 5のマルチメディア情報分類配置装置を説明する。 本実施形態 5のマルチメディア情報分類配置装置は、 上述した実施形態 1〜 4のマルチメディア情報分類配置装置を、 コンピュータネッ トヮー クを介したクライアントサーバーシステムで構築したものである。 上述 した実施形態 1〜 4のマルチメディア情報分類配置装置の装置構成のう ち、 どの要素をサーバーコンピュータに組み込み、 どの要素をクライア ントコンピュータに組み込むかにより幾つかのパターンが可能である。 図 1 2は、サーバ一コンピュータ 1 0 0に情報セッ ト取得部 1を設け、 クライアン トコンピュータ 1 0 1に軸設定部 2 0、 特徴量抽出部 3 0、 情報セッ ト分類配置部 4 0、 情報表示部 5 0を設けたクライアントサー バ構成例である。

図 1 3は、 サーバーコンピュータ 1 0 0に情報セッ ト取得部 1、 特徴 量抽出部 3 0を設け、クライアントコンピュータ 1 0 1に軸設定部 2 0 、 情報セッ ト分類配置部 4 0、 情報表示部 5 0を設けた構成である。

図 1 4は、 サーバーコンピュータ 1 0 0に情報セッ ト取得部 1、 特徴 量抽出部 3 0、 情報セッ ト分類配置部 4 0を設け、 クライアン トコンビ ユータ 1 0 1に軸設定部 2 0、 情報表示部 5 0を設けた構成である。 ただし、 上記の図 1 2〜図 1 4のそれぞれの構成において、 情報セッ トの取得方法に関して幾通りかの方法が挙げられる。 例えば、 サーバコ ンピュータ 1 0 0がロボッ トと して、 あらかじめ指定されている内容の 情報セッ トをネッ トワーク上などから定期的に自動収集 · 自動更新する 方法がある。 他には、 図 1 2〜図 1 4はいずれも情報セッ ト取得部 1が サーバコンピュータ 1 0 0に図示されているが、 情報セッ ト取得部 1の 情報セッ ト収集部 1 0から情報セッ ト収集キー入力部 1 3を分離してク ライアントコンピュータ 1 0 1に設け （図示せず）、 クライアントコン ピュータ 1 0 1 の利用者が情報セッ ト収集キー入力部 1 3を用いて情報 セッ ト収集キーを入力し、 当該入力された情報セッ ト収集キーをサーバ コンピュータ 1 0 0の情報セッ ト取得部 1に渡し、 サーバコンピュータ 1 0 0が当該情報セッ ト収集キーを用いて、 該当する情報セッ トをネッ トワーク上などから動的に収集する方法がある。

このよ うに、 上述した実施形態 1 〜 4のマルチメディア情報分類配置 装置の装置構成要素を、 サーバーコンピュータとクラアン トコンピュー タに分けて設けることにより、 クライアントサーバシステムにより本発 明のマルチメディア情報分類配置装置を構築することができる。

(実施形態 6 ) 本発明の実施形態 6は、 上記先行する実施形態 1 〜 4で説明したマル チメディア情報分類配置装置などを用いたマルチメディア情報検索分類 処理を用いて、 情報セッ トに対する柔軟な分類、 配置、 検索絞り込み、 他の検索の切り 口に切り替えた分類配置方法である。

従来に見られる検索方法は、 検索キーヮードを与え、検索結果を見て、 さらに、 検索キーヮードを限定的なものに絞り込んで再検索を実行した り、 検索結果が思わしくない場合に、 新たな検索キーワードに代えて再 検索を実行するものであり、 試行錯誤的に検索キーヮードを調整しつつ 検索を実行するものと言える。

しかし、 検索キーワードというテキス ト情報と しての 1つの特徴量に ついて試行錯誤を重ねるのみである。

本実施形態 6の情報セッ トの分類配置方法は、 検索キーと してあるメ ディア情報のある特徴量を用いて検索した場合、検索結果を見て、 次に、 前記メディア情報とは異なるメディア情報の特徴量を用いた検索や、 同 じメディア情報であるが前回とは異なる特徴量を指定したり して、 検索 を次々と実行してゆく方法である。 つまり、 各メディア情報から抽出さ れる特徴量の情報セッ ト配置空間各軸への割り当てを設定して 1以上の 軸を備えた情報セッ ト配置空間を設定し、 分類配置した情報セッ トに対 して、 分類 ·配置に用いた特徴量とは異なる特徴量を指定して情報セッ ト配置空間各軸への割り当てを再設定し、 前記再設定に従って情報セッ トを前記情報セッ ト配置空間内に再分類配置し、 用いる特徴量を切り替 えつつ情報セッ ト配置空間の軸設定と情報セッ トの情報セッ ト配置空間 への分類配置を繰り返す分類配置方法である。

この方法であれば、 ある特徴量で得られた情報セッ トの分類 ·配置で ある検索結果を見て、 全く異なる切り 口の特徴量を使って情報セッ トの 分類 ·配置を試すことができ、 検索者にとって予期しない新しい発見的 な情報が得られる可能性が生じる。

例えば、 実施形態 1で説明したマルチメディァ情報分類配置装置を用 いて、 売れ筋の女性用バッグのデザインを調べるため、 "バッグ" とい うキーワードを指定して情報セッ トを収集し、 次に、 情報セッ ト配置空 間軸と して、 X軸にウエーブレッ ト変換係数特徴量、 Y軸に女性という キ一ヮ一ドの存在を示す特徴量、 Z軸にバッグというキーヮードの存在 を示す特徴量を割り付けて情報セッ ト配置空間内に分類配置し、 表示結 果が得られたとする。 ここで例えば、 検索者が、 表示された画像情報の 中に、 白系統色のバッグを持ち、 白毛の犬を連れていた女性が写ってい る画像を発見した場合、 「犬を連れ歩く女性は犬と同系統色のバッグを 持つ人が多いかも知れない」 という推測を持つ場合がある。 当該推測を 確かめるべく、 情報セッ ト配置空間軸に対して異なる切り 口の特徴量を 割り付けて、 再軸設定をし、 情報セッ トの再分類、 再配置、 再表示を実 行する。 例えば、 X軸に "バッグ" というキーワードの存在を示す特徴 量と "犬" というキーワードの存在を示す特徴量の合算を割り付け （つ まり、 バッグと犬の両方のキーワードを持つことを指定し）、 Y軸に色 ヒス トグラム特徴量を割り付けて、 情報セッ ト配置空間軸を再設定し、 情報セッ トを再分類 · 再配置するというような新たな切り 口の検索が可 能となる。 得られた画像情報の分類 · 配置の表示結果を見て、 同系統の 色のバッグと犬を持ち歩く女性が多いかも知れないという推測の真偽判 断に役立てることができる。

また、 ここで、 実施形態 1でも説明したように当該情報セッ トに他の メディア情報、 例えば、 テキス ト情報と して個人情報が付随している場 合、 ボインティングデバイスでそれぞれの画像情報をク リ ックすると、 同系統の色のバッグと犬を持ち歩く女性は年収が高い傾向があるなどの 新たな傾向が発見できるかも知れない。 さらに、 情報セッ ト中に、 画像 情報に関連づけられた音声情報と しての犬の鳴き声音声情報が含まれて おれば、 情報セッ ト配置空間軸の一つを音声情報の音声周波数特徴量を 割り付けて再分類 ·配置、 再表示を実行した場合に、 別の切り 口からの 発見があるかも知れない。 例えば、 音声周波数が高い座標に多くの画像 情報が配置されておれば、 犬の音声が高い傾向にある、 つまり、 室内で 飼えるような小型犬が多い傾向が発見できるかも知れない。 つまり 「小 型犬を連れ歩く女性は、 持ち歩くバッグの色を犬の色に合わせる傾向が ある」 とレ、う傾向を発見できるかも知れない：

このように、 本実施形態 6の情報セッ トの分類配置方法によれば、 あ る特徴量で得られた情報セッ トの分類 · 配置である検索結果を見て、 全 く異なる切り 口の特徴量を使って情報セッ トの分類 ·配置を試すことが でき、 検索者にとって予期しない新しい発見的な情報が得られる。

(実施形態 7 )

本発明のマルチメディア情報分類配置装置は、 上記実施形態に説明し た処理を実現する処理ステップを記述したプログラムをコンピュータ読 み取り可能な記録媒体に記録して提供することにより、 各種コンビユー タを用いて構築することができる。 本発明のマルチメディァ情報分類配 置装置を実現する処理ステップを備えたプログラムを記録した記録媒体 は、 図 1 5に図示した記録媒体の例に示すように、 C D— R O M 2 0 2 ゃフレキシブルディスク 2 0 3等の可搬型記録媒体 2 0 1だけでなく、 ネッ トワーク上にある記録装置内の記録媒体 2 0 0や、 コンピュータの ハードディスクゃ R A M等の記録媒体 2 0 5のいずれであっても良く、 プログラム実行時には、 プログラムはコンピュータ 2 0 4上にローディ ングされ、 主メモリ上で実行される。

産業上の利用可能性

本発明のマルチメディア情報分類配置装置によれば、 画像情報、 テキ ス ト情報、 音声情報を含むメディア情報のうち互いに関連性を持った情 報の集合を情報セッ トとし、 設定した情報セッ ト配置空間に当該情報セ ッ トを分類配置し、 当該情報セッ ト配置空間に対する視点に応じたメデ ィァ情報を表示することができる。

また、 本発明のマルチメディア情報分類配置装置によれば、 情報セッ ト生成部を保持することにより、情報セッ トの分類、 配置処理に先立ち、 前処理と して、 画像情報、 テキス ト情報、 音声情報を含むメディア情報 を収集し、 収集したメディア情報相互の関連性を解析し、 関連するメデ ィァ情報をまとめて情報セッ トを生成することができる。

また、 本発明のマルチメディア情報分類配置装置によれば、 自己組織 化マップ処理部を備えることにより、 自己組織化マップ処理を応用し、 情報セッ トの情報セッ ト配置空間への分類'配置を行なうことができる。 また、 本発明のマルチメディア情報分類配置装置によれば、 表示視点 移動部を備えることにより、 動的に表示視点を変化させることができ、 検索者の操作に応じて、 検索者がより詳しく見たい情報セッ トの分類 - 配置の様子をディスプレイ表示面近くに表示させることができる。

また、 本発明の情報セッ トの分類配置方法によれば、 ある特徴量で得 られた情報セッ 卜の分類 ·配置である検索結果を見て、 全く異なる切り 口の特徴量を使って情報セッ トの分類 ·配置を試すことができ、 検索者 にとつて予期しない新しい発見的な情報を得ることができる。

Claims

請求の範囲

1 . 画像情報、 テキス ト情報、 音声情報を含むメディア情報のうち互 いに関連性を持った情報の集合を情報セッ トと し、

情報セッ ト配置空間軸を設定する部分であって、 各メディア情報から 抽出される特徴量の情報セッ ト配置空間各軸への割り当てを設定し、 1 以上の軸を備えた情報セッ ト配置空間を設定する軸設定部と、

情報セッ トを取得する情報セッ ト取得部と、

前記情報セッ トの各メディァ情報から特徴量を抽出する特徴量抽出部 と、

前記抽出した特徴量に基づいて前記情報セッ トを前記情報セッ ト配置 空間内に分類配置する情報セッ ト分類配置部と、

前記情報セッ ト配置空間内に分類配置された情報セッ 卜のメディア情 報のうち、 前記情報セッ ト配置空間に対する視点に応じたメディァ情報 を表示する情報表示部を備えたことを特徴とするマルチメディア情報分 類配置装置。

2 . 前記軸設定部における、 1つの空間軸に対して割り当てる特徴量 が複数の特徴量を組み合わせたもの、 または、 複数の軸に対して 1つの 特徴量を割り当てたものである請求項 1に記載のマルチメディア情報分

3 . 前記軸設定部が、 各メディア情報から抽出される特徴量の情報セ ッ ト配置空間軸の各軸への割り当てを再設定し、 1以上の軸を備えた情 報セッ ト配置空間を再設定する軸再設定機能を備え、

前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量を抽 出し、 前記情報セッ ト分類配置部が前記抽出された特徴量に応じて前記 情報セッ トを前記情報セッ ト配置空間内に分類配置し、 前記情報表示部 が前記再設定された情報セッ ト配置空間に対する視点に応じたメディア 情報を表示する請求項 1または 2に記載のマルチメディァ情報分類配置

4 . 画像情報、 テキス ト情報、 音声情報を含むメディア情報を収集す る情報収集部と、 前記収集したメディア情報相互の関連性を解析する関 連解析部と、 相互に関連性を持つメディア情報の集合を情報セッ トとす る情報セッ ト生成部を備えた請求項 1 に記載のマルチメディア情報分類

5 . 前記情報収集部が、 マルチメディア情報群からメディア情報を収 集する際に指定された選択基準に従ってメディァ情報を収集するもので あって、 前記選択基準を、 キーワー ド情報、 サイ ト情報、 リ ンク情報、 特定情報セッ トに対する類似度情報を含む基準群から選んで指定する請 求項 1に記載のマルチメディァ情報分類配置装置。

6 . 前記特徴量が、 画像情報に対する D C T変換係数特徴量、 画像情 報に対するゥ ーブレツ ト変換係数特徴量、 画像情報に対する H S I色 ヒス トグラム特徴量、 テキス ト情報に対する特定単語の存在を示す特徴 量、 テキス ト情報に対する特定単語の使用回数の特徴量、 音声情報に対 する音声周波数特徴量、 音声情報に対する振幅特徴量、 音声情報に対す る時間変移特徴量から選ばれた特徴量である請求項 1に記載のマルチメ ディア情報分類配置装置。

7 . 前記情報セッ ト分類配置部が、 局所相互作用を利用して学習によ り 自己組織化をおこなう 自己組織化マップ処理部を備え、

前記情報セッ ト分類配置部は、 前記特徴量抽出部が抽出した特徴量を もとに、 前記自己組織化マップ処理部による自己組織化マップ処理を用 いて情報セッ トを配置する請求項 1に記載のマルチメディア情報分類配 置装置。

8 . 前記情報表示部が、 情報セッ トおよび情報セッ ト配置空間を表示 する視点の設定位置を移動させる機能を持つ表示視点移動部を備え、 前記情報表示部は、 前記表示視点移動部が設定した視点位置に基づい て情報セッ トが分類 ·配置された情報セッ ト配置空間を表示する請求項 1に記載のマルチメディア情報分類配置装置。

9 . 画像情報、 テキス ト情報、 音声情報を含むメディア情報のうち互 いに関連性を持った情報の集合である情報セッ トを情報セッ ト配置空間 内に分類配置して表示するマルチメディア情報分類配置装置を実現する 処理プログラムを記録したコンピュータ読み取り可能な記録媒体であつ て、

情報セッ トを取得する情報セッ ト取得処理ステップと、

情報セッ ト配置空間軸を設定する処理ステップであって、 各メディア 情報から抽出される特徴量の情報セッ ト配置空間各軸への割り当てを設 定し、 1以上の軸を備えた情報セッ ト配置空間を設定する軸設定処理ス テツフ°と、

前記情報セッ トの各メディア情報から特徴量を抽出する特徴量抽出処 理ステップと、

前記抽出した特徴量に基づいて前記情報セッ トを前記情報セッ ト配置 空間内に分類配置する情報セッ ト分類配置処理ステップと、

前記情報セッ ト配置空間内に分類配置された情報セッ トのメディア情 報のうち、 前記情報セッ ト配置空間に対する視点に応じたメディア情報 を表示する情報表示処理ステップを備えた処理プログラムを記録したこ とを特徴とする記録媒体。

1 0 . 画像情報、 テキス ト情報、 音声情報を含むメディア情報のうち 互いに関連性を持った情報の集合である情報セッ トが多数存在するマル チメディア情報群から特定の情報セッ トを検索する方法であって、 情報セッ トを取得し、 各メディア情報から抽出される特徴量の情報セッ ト配置空間各軸への 割り当てを設定して 1以上の軸を備えた情報セッ ト配置空間を設定し、 前記情報セッ トのメディァ情報から抽出した特徴量に応じて前記情報 セッ トを前記情報セッ ト配置空間内に分類配置し、

前記分類配置した情報セッ トに対して、 前記特徴量とは異なる特徴量 を指定して前記情報セッ ト配置空間各軸への割り当てを再設定し、 前記 再設定に従って前記情報セッ トを前記情報セッ ト配置空間内に再分類配 置し、

用いる特徴量を切り替えつつ前記情報セッ ト配置空間の軸設定と情報 セッ トの情報セッ ト配置空間への分類配置を繰り返す情報セッ トの分類 配置方法。