JP4295510B2

JP4295510B2 - Multimedia information classification and arrangement device and classification and arrangement method

Info

Publication number: JP4295510B2
Application number: JP2002565195A
Authority: JP
Inventors: 大器増本; 進遠藤; 祐介上原; 直毅指田; 秀一椎谷
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-01-09
Filing date: 2001-01-09
Publication date: 2009-07-15
Anticipated expiration: 2021-01-09
Also published as: JPWO2002065339A1; WO2002065339A1

Description

技術分野
本発明は、テキスト情報のみならず、画像情報、音声情報など多様なメディア情報として混在しているマルチメディア情報群の分類・配置を効率的かつ柔軟に行なうことのできるマルチメディア情報分類配置装置に関する。インターネットのＷＷＷ（ワールドワイドウェブ。以下、ＷＷＷと略記する）上においてアクセス可能であるマルチメディア情報群の分類・配置も可能である。
背景技術
現在、テキスト情報のみならず、画像情報、音声情報などマルチメディアデータが大量に格納され、アクセス可能となっている。特に、インターネットの発展に伴い、ＷＷＷ（ワールドワイドウェブ）上にある情報は、増加の一途をたどっており、テキスト情報、画像情報、音声情報など多様なマルチメディアデータが大量に格納され、アクセス可能となっている。その結果、情報源から必要な情報を的確に検索することが非常に難しくなってきている。
従来の情報検索システムおよび当該検索システムにおける情報の分類・配置処理技術として以下のものが知られている。
第１には、テキストキー検索システムが知られている。検索対象となるマルチメディアデータに対してその内容を表わす１または複数のテキスト情報を適当に割り付けておき、検索に当たっては、単語などのテキストを検索キーとして指定し、当該検索キーと同一のテキスト情報が割り付けられているマルチメディアデータを検出する方法が知られている。検索対象のメディア情報がテキスト情報である場合には、テキスト情報の内容をテキストキーにより検索することとなり、当該テキストキー検索はおおむね適切に実行できる場合が多い。このテキストキー検索システムにおける情報の分類・配置例としては、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
第２には、テキスト全文検索システムが知られている。これは、検索対象となるマルチメディアデータがテキスト情報の場合に特に有効な検索システムである。幾つかの方法が提案されているが、例えば、前処理としてテキスト全文からその内容の特徴を表わす単語すべてを自動的に抽出しておき、検索キーファイルを生成して割り付けておく。検索に当たっては、単語などのテキストを検索キーとして指定し、検索キーファイル中に当該検索キーと同一のテキストが存在するテキスト情報を検出する。この方法によっても上記第１のテキストをキーとした検索方法と同様、テキスト情報以外のメディア情報、例えば、画像情報については、画像情報ごとに適切なテキストキーを付与するのでなければ、テキストをキーとした検索では、検索を適切に行なうことは難しい。
このテキスト全文検索システムにおける情報の分類・配置例もテキストキー検索システム同様、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
第３には、画像情報を検索する技術として、画像の特定部分を指定して部分画像を検索キーとした画像パターン照合による画像検索技術が知られている。この画像検索方法によれば、指定した部分画像を持つ画像情報を検索することは可能である。
この画像パターン照合による画像検索システムにおける情報の分類・配置例も検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
第４には、音響情報を検索する技術として、音響パターン照合による音響検索技術が研究されている。音響情報検索システムとして、ユーザがキーとなる音響データ（ハミング等）を指定することにより、システムはその音響信号と類似する音響データを検索し、曲名等の情報をユーザに呈示するものが挙げられる。
第５には、映像情報を検索する技術がある。映像検索の方法としては、あらかじめ映像をセグメンテーションし、各セグメントの内容を動作認識アルゴリズムや音声認識、テロップ認識等の技術を使って認識し、情報内容に沿ったラベル付けを行っておく方法や、物体の移動方向をスケッチすることにより検索キーを作成して検索する方法が研究されている。この映像情報検索システムとしてはホームランやシュート、ゴール等、野球やサッカーなどの実況中継で生じるハイライトシーンの検索、テニスにおけるスマッシュやボレー等のような特定の動作の検索を行うシステムが開発されつつある。
しかし、従来の情報検索システムは、テキスト情報以外のメディア情報、例えば、画像情報や音声情報については実用性の高い有効な検索方法が存在していない。
従来の第１のテキストキー検索システムでは、画像情報や音声情報について適切に行なうことは難しい。つまり、１つの画像情報に対して複数のキーワードを割り付けたとしても、画像の特徴を的確かつ柔軟にテキストで表現することが困難である以上、検索者の検索する意図に応じてキーワードにより適切で柔軟な画像検索の実行は困難である。数多くの画像を収集し、それらを順番に表示することが可能であるが、画像数が多くなるとその中から目的の画像を探し出すのが困難になるという問題があった。
従来の第２の全文テキスト検索システムの場合でも、第１のテキストキー検索システムと同様、画像情報や音声情報について適切に行なうことは難しい。つまり、画像情報や音声情報は元々テキスト情報を持っておらず、テキスト情報の抽出は期待できない。
従来の第３の画像パターン照合による画像検索システムによれば、指定した部分画像を持つ画像情報を検索することは可能である。しかし、検索者は、検索したい画像が持つ部分画像を用意して指定する必要がある。検索者がもっとも欲しい画像がどのような部分画像を持つか明らかでない場合もあり、また、検索に用いる部分画像が常に用意できるとは限らず、検索が困難となる。さらに、検索者自身が検索したい画像を明確に把握していない場合もある。つまり、検索したい画像のおおむねの内容を指定することはできるが、部分的であっても画像そのものの指定ができない場合がある。また、検索者は漠然と何か利用できる画像がないか試行錯誤的に検索したい場合もある。このような場合には部分画像のマッチングのみでは柔軟性に欠け、不充分である。
従来の第４の音響パターン照合による音響検索システムでは、一般のユーザのハミングは、一つの音符であるにもかかわらず、半音以上音程がふらついたり、音程を間違ってしまう等の現象が起こるため、適切な検索は難しい。
従来の第５の映像情報検索システムにおいても、的確に映像内容にラベル付けしたり、映像中の対象物の運動を記述したりすることは困難であり、一般の映像に対して適用できる汎用性のある映像情報検索方法は未だ存在しないのが現状である。
上記のように、従来の情報検索技術には共通して、「情報を絞り込むための適切なキー指定の難しさ」という問題がある。この問題を解決する手段として、なるべくたくさんの情報を検索者に呈示し、検索者にその中から所望の情報を探してもらうというアプローチがある。検索対象が画像を含む情報単位（画像そのもの、画像・テキスト混在文書等）から構成されている場合などは、人間にとって一覧性に優れているためユーザは呈示された大量の情報の中から所望の情報を比較的容易に探し出すことが可能となる。しかし、以下のような問題が生じる。
第１の問題は、検索装置がサーバ上で動作しており、ネットワークを介してクライアント上で画像の表示を行なう場合には大量の画像を転送しなければならず、検索者の待ち時間が長くなってしまうという問題である。
第２の問題は、画像・テキスト混在文書のように、情報単位に画像以外の情報も含まれる場合には、画像がその情報単位の内容を的確に表現しているとは限らないという問題である。つまり、情報単位が含む画像は、単に、装飾などのために利用されている場合も多く、このような場合、当該画像を基にした閲覧検索では、検索者が的確に所望の情報セットを見つけられない場合がある。
第３の問題は、検索対象が画像を含まない情報単位（テキストのみの文書データ、音響データのみ、映像データのみ）から構成されている場合には、情報をそのまま呈示しても一覧性に欠けるため、ユーザの検索効率は上がらない。
本発明は、上記問題点に鑑み、ネットワークを介してクライアント上で情報表示を行う際に、転送するデータ量を低減し、かつ、検索者に対する情報内容の一覧性、把握容易性を確保したマルチメディア情報分類配置装置および分類配置方法を提供することを目的とする。
また、本発明は、効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を、マルチメディア情報の持つ多様な特徴量を利用することにより効率的かつ柔軟に検索し、検索結果をビジュアルかつ分かり易いように分類・配置して表示することができるマルチメディア情報分類配置装置および分類配置方法を提供することを目的とする。
発明の開示
上記目的を達成するために、本発明のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを“情報セット”とし、その情報セットを処理単位として用いる。そして、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する“情報セットアイコン”を用いる。
本発明において“情報セット”を情報処理の単位として用いる点、および、“情報セットアイコン”を用いる点は、従来技術の情報検索技術とは明瞭に異なるものである。本願の“情報セット”は、従来技術のマルチメディア情報のごとく各メディア情報そのものを合成して一体化しているものではなく、共通する概念をもって関連付けているもので、従来の一体合成型のマルチメディア情報とは明瞭に異なるものである。また、“情報セットアイコン”は、情報処理単位が情報セットであり、その情報セットを構成するテキスト、画像、音声などの各メディア情報に対して該当するアイコンを割り当て、これらアイコンを合成して情報処理単位としての情報セットに対応する形にしたアイコンである。この情報セットアイコンによれば、圧縮効率が高くデータ転送量が少なくて済むよう作成できると同時に、情報セットにどのようなメディア情報が含まれているのかが一見して容易に把握できるものであり、検索者に対する情報内容の一覧性、把握容易性を確保せしめることができる。
本発明のマルチメディア情報分類配置装置は、情報セットを単位としてメディア情報を取得する情報セット取得部と、前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成する情報可視化部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定する軸設定部と、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置する分類配置部と、前記分類配置空間と前記情報セットアイコンを表示する情報表示部を備えたことを特徴とする。
上記構成により、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済む情報セットアイコンを生成して利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。
なお、上記マルチメディア情報分類配置装置による処理を、情報セットアイコン生成フェーズと情報セットを用いた情報検索フェーズの２つのフェーズに分け、情報セットアイコン生成フェーズを前処理としてあらかじめ実行し、情報検索フェーズでの検索に用いる情報セットの情報セットアイコンをまとめて生成・準備しておくこともできる。この構成によれば、情報セット検索フェーズにおいては、検索の結果得られた情報セットからその都度情報セットアイコンを生成する必要がなく、検索された情報セットに対応する情報セットアイコンを分類配置空間に分類配置するのみで良く、処理を高速化することができる。
次に、本発明のマルチメディア情報分類配置装置の他の構成は、上記のように、情報セットを構成する各メディア情報に対応するアイコンを合成して情報セットアイコンを作成するのではなく、各メディア情報に対応するアイコンを一まとまりとしてアイコンをその特徴量に応じて分類配置空間に分類配置し、当該配置位置において各アイコンを表示順序に従って時間的に切り替えつつ前記配置位置に表示する。
つまり、前記情報セットを単位としてメディア情報を取得する情報セット取得部と、前記情報セットを単位として情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てる情報可視化部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、アイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定する軸設定部と、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に前記情報セットに含まれる各メディア情報に対するアイコンを分類配置する分類配置部と、前記分類配置空間と前記アイコンを表示する情報表示部であって、前記情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ前記配置位置に表示する情報表示部を備えたことを特徴とする。
上記構成により、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを生成して利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、各アイコンを表示順序に従って切り替えつつ表示するので検索者に対する情報内容の一覧性、把握容易性を確保することができる。
なお、上記構成においても、情報セットアイコン生成フェーズと情報セットを用いた情報検索フェーズの２つのフェーズに分け、情報セットアイコン生成フェーズを前処理としてあらかじめ実行し、情報検索フェーズでの検索に用いる情報セットの情報セットアイコンをまとめて生成・準備しておくことができる。
なお、上記構成において、特徴量抽出部が抽出した特徴量の成分が、ある情報セットのあるメディア情報について複数個存在した場合、分類配置部は、特徴量の複数個の成分それぞれに基づいて複数個の位置に、前記情報セットアイコン、または、表示順序に従って切り替え表示する各アイコンを分類配置すれば、特徴量に複数個の成分が存在しても適切に特徴空間内に分類配置できる。
なお、上記構成において、情報可視化部によるアイコンの割り当てにおいて、あらかじめ用意されているアイコンのいずれかを選択し、対応するメディア情報の内容に応じて前記選択したアイコンの表示内容を修飾することとすれば、各メディアごとのアイコンや情報セットアイコンを、情報の内容を反映した把握容易で検索に適切なものとすることができる。
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、分類配置空間軸の各軸への特徴量の属性の割り当てを再設定し、１以上の軸を備えた分類配置空間を再設定する軸再設定機能を備え、前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記分類配置部が前記抽出された特徴量の成分に応じて各情報セットアイコンを前記分類配置空間内に分類配置し、前記情報表示部が前記再設定された分類配置空間に対する視点に応じたメディア情報を表示することが好ましい。
上記構成により、検索者が実行した検索結果を見て、インタラクティブに再検索を行なって柔軟に情報を絞り込んだり、再設定した分類配置空間軸を用いて、さらに異なる切り口により検索を次々と続行することができる。つまり、検索結果を見て試行錯誤的に、別の特徴量を指定して分類配置空間の軸再設定を行なうことができ、再設定した軸を用いた分類配置空間を用いて情報セットアイコンを再配置し、再表示を行なうことができる。
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、分類配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている分類配置空間を再設定し、前記分類配置部が、再設定された分類配置空間に対して各情報セットアイコンを再分類配置し、前記情報表示部が、各情報セットアイコンが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示することが好ましい。
上記構成によれば、分類配置空間を再設定し、情報セットアイコンを再分類した場合に、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
また、上記マルチメディア情報分類配置装置において、前記分類配置部が、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、前記ユーザが選択した情報セットアイコンを前記特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えることが好ましい。
上記構成によれば、注目する情報セットアイコンの表示位置が特定位置に固定されるので容易に注目している情報セットアイコンを見つけられ、また、注目している情報セットアイコンと軸設定された特徴量において類似する情報セットアイコンが付近に配置されるため、情報セット間の関係の把握が容易になる。また、特定情報セットに注目した上で試行錯誤的な再分類表示が実行できる。
次に、本発明のマルチメディア情報分類配置装置は、コンピュータ読み取り可能な記録媒体に、本発明のマルチメディア情報分類配置装置の処理プログラムを記録して提供することにより、コンピュータを用いて本発明のマルチメディア情報分類配置装置を実現することができる。
発明を実施するための最良の形態
以下、本発明のマルチメディア情報分類配置装置および分類配置方法の実施形態について、図面を参照しながら説明する。
（実施の形態１）
本発明の実施形態１のマルチメディア情報分類配置装置を説明する。本実施形態１のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを“情報セット”とし、その情報セットを処理単位として用いる。そして、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する“情報セットアイコン”を用いる。
まず、本発明のマルチメディア情報分類配置装置において用いる情報の処理単位となる情報セットの概念について説明する。次に、本実施形態１のマルチメディア情報分類配置装置の装置構成例を示し、本実施形態１のマルチメディア情報分類配置装置の処理の流れをフローチャートを参照しつつ示す。
本発明のマルチメディア情報分類配置装置は、情報の処理単位として情報セットを用いる。この情報セットとは、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化した処理単位である。図１は、本発明の“情報セット”の概念を簡単に示した図である。図１に示すように、一つの情報セット１には相互に関連性を持った複数の同種または異種のメディア情報が一まとまりに関連付けらている。情報セット１の例では、画像情報１ａと画像情報１ｂ、音声情報１ｃ、キーワード情報１ｄの４つの同種または異種のメディア情報が一まとまりに関連付けらている。これら４つの同種または異種のメディア情報は、例えば、「Ｆ社のパーソナルコンピュータ」という関連性を持っている情報という概念で集められたものである。
図１には、従来技術におけるマルチメディア情報などから本発明の情報セットを生成する様子も示している。５００は従来技術におけるマルチメディア情報であり、複数のメディア情報が一つに一体化され合成されている。例えば、ＨＴＭＬファイルデータなどである。情報セット取得部１０は本願の情報セットを取得するためのものであり、例えば、従来型のマルチメディア情報を取り込み、情報セットを生成することができる。
情報セット生成の手順は以下のようである。情報セット取得部１０は画像部分を抽出して収集し、さらに当該画像に関連するテキスト情報や他の画像情報、動画情報、音声情報など他のメディア情報を収集する。例えば、テキスト情報であれば、ＨＴＭＬファイルを解析して取得する。解析手法の一例を挙げると、画像と近い位置にあるテキストは画像と内容的に関連しているとし、画像とテキストの位置的な近さの尺度として両者間の改行数を１つの目安とする。また、ＨＴＭＬタグ構造から画像とテキストの関連度を推測することが可能である。タグが多く存在すると両者の関連度が低いと推測でき、特に文章の切れ目を表わすタグである＜Ｐ＞や＜Ｈ１＞や＜ＨＲ＞などが存在する場合には関連度が低いと推測できる。また、画像を表示するためのタグである＜ＩＭＧ＞につけられた画像の代用となるテキストを表わすＡＬＴアトリビュートは画像との関連性が深いので大きいな関連度を割り当てることができる。このように画像とテキストの間に含まれるタグの種類と数を１つの目安とする。このように情報セット取得部１０は、画像と関連するメディア情報を収集する。情報セット取得部１０は収集したメディア情報を、同じ対象に関連しているメディア情報として一まとまりに関連付けて情報セットとする。図１の例では画像情報１ａが抽出され、画像情報１ａに関連するテキスト情報１ｂ、音声情報１ｃ、キーワード情報１ｄが共通の概念を持って関連付けられ情報セット１が生成された。従来のマルチメディア情報５００においては、これら画像情報１ａ、テキスト情報１ｂ、音声情報１ｃ、キーワード情報１ｄは共通の概念を持って関連付けられているわけではなく、管理上では各メディア情報がバラバラに管理されているものである。
情報セットは、各メディアが合成されたものではなく、同じ対象に関連しているメディア情報として一まとまりに関連付けられたものなので、メディア情報を柔軟に追加・削除することが可能である。もし、この従来技術におけるマルチメディア情報に対して新たなメディア情報を追加する場合、マルチメディア情報に対して追加するメディア情報を埋め込む部分を探して埋め込み、合成する処理が必要となり、マルチメディア情報自体を作り替える必要が生じる。一方、本願の“情報セット”を用いる場合、追加する新たなメディア情報、例えば、「Ｆ社のパーソナルコンピュータ」に関する音声データが得られた場合、簡単に情報セット１に対して当該音声データの関連付けを増やせば良いこととなる。本願の情報セットは、各メディア情報そのものを合成して一体化しているものではなく、共通する概念をもって関連付けているのみで、メディア情報の中身そのものには特別な処理を行うものではなく、従来の一体合成型のマルチメディア情報とは明瞭に異なるものである。
さらに、情報セットについて述べる。画像情報とテキスト情報を情報セットとして関連付けにおいては、例えば、ＷＷＷ上の画像とテキストが混在したＨＴＭＬ文書から、画像部分を画像情報として抽出し、またＨＴＭＬ文書の画像まわりのテキストをテキスト情報として抽出して両者を関連付ける。他の例としては、テキスト情報の中から例えばｔｆ−ｉｄｆ法に基づき重要と思われる単語をキーワード情報として抽出する。また、動画像の画像情報と音声情報とテキスト情報の関連付けであれば、例えば、動画像と音声を含むムービーデータを含むＸＭＬファイルから、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出してそれぞれを関連付ける。また、他のデータに対してリンクが張られているＨＴＭＬデータからリンクを辿り、当該リンク先の画像情報、テキスト情報、音声情報などを抽出して生成したものを情報セットとしても良い。また、ＨＴＭＬ文書のように当初から画像情報とテキスト情報が１ファイルの形態で存在するもののみならず、１つの画像情報に対して複数のテキスト情報が関連付けられたり、その逆に１つのテキストに対して複数の画像情報が関連付けられている場合もありうる。また、情報セットの一部としてＵＲＬ（ＵｎｉｖｅｒｓａｌＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）を含めることができる。情報セットの一部にＵＲＬを含めることにより、後述するように分類配置された情報セットを選択し、そのＵＲＬを基に当該情報セットを含むウェブのページを表示することが可能となる。
この情報セットの特徴の一つとして、属する各メディア情報そのものは編集加工されることなく、画像情報は画像情報のまま、音声情報は音声情報のまま存在する一方、各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理できる点を挙げることができる。後述するように情報セットを処理単位として特徴量に基づいて分類配置する際には、情報セットに属する各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理し、情報セットアイコンが分類配置される位置が決まる。
この本発明の情報セットを処理単位として用いる処理は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の２つの処理を指す。従来技術のマルチメディア処理の第１の意味は、１つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、１つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第２の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第１の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。また、新しいメディア情報が与えられると、簡単に、既存の情報セットのうち関連性のある情報セットに属させることや、関連性のある既存の情報セットがない場合に、新しい情報セットを生成することなどが可能となる。上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものであれば、新しいメディア情報の追加は容易にはできない。
次に、本発明において用いる“情報セットアイコン”について説明する。“情報セットアイコン”を用いる点も、従来技術の情報検索技術とは明瞭に異なるものである。情報セットアイコンは、情報処理単位が情報セットであり、その情報セットを構成するテキスト、画像、音声などの各メディア情報に対して該当するアイコンを割り当て、これらアイコンを合成して情報処理単位としての情報セットに対応する形のアイコンである。
図２は、情報セットアイコンの例および当該情報セットアイコンの生成手順の一例を示した図である。
まず、情報セットを取得する。いま、情報セット３が取得されたとする。この情報セット３は、「モーツァルト」という共通の概念で関連付けられた情報処理単位であって、音楽家「モーツァルト」に関する３つのメディア情報が含まれているものとする。ここでは音響データ３ａ、画像データ３ｂ、テキストデータ３ｃが含まれている。なお、これら各メディア情報は一体化されたり、合成されたりせず、情報セット３として関連付けられているのみである。
次に、各メディア情報の特徴量を抽出する。音響データ３ａの特徴として「音楽区間、短調、ピアノ」という特徴量が得られたとする。画像データ３ｂの特徴として「背景：黒、対象：人物顔（領域肌色）」という特徴量が得られたとする。テキストデータ３ｃの特徴として「モーツァルト、ピアノ協奏曲第２０番」という特徴量が得られたとする。なお、各メディア情報から特徴量を抽出する手法については後述するものとする。
次に、各メディア情報に対してその特徴量に応じたアイコンを割り当てる。また、割り当てたアイコンをその特徴量に応じて修飾する。この例では、音響データ３ａに対して、ピアノ鍵盤状のアイコンを割り当てる。また、短調であることを表現するため、例えば、ピアノ鍵盤の色をブルーに変える。画像データ３ｂに対しては、人物顔を示す肌色領域を中心に切り出し、かつ、ＤＣＴなどの画像データ圧縮を施したアイコンを割り当てる。テキストデータ３ｃに対して、「モーツァルト、ピアノ協奏曲第２０番」というテキスト文からなるテキストアイコンを割り当てる。
次に、各メディア情報に対して割り当てたアイコンを合成して一つの情報セットアイコンを生成する。この例では情報セット３に対して、情報セットアイコン３ｄが得られた。
もし、情報セットを構成するメディア情報のうち、一部のメディア情報のデータが欠けている場合、欠けているデータを補って情報セットアイコンを作成することも可能である。特に画像データが欠けている場合は、情報分類表示の際の閲覧性に影響が出るので、画像データを補うことは好ましい。例えば、ある情報セットにおいて、音響データの特徴が「音楽区間のみ、短調、ギター」であり、テキストデータの内容特徴が「ピアノ演奏家Ａ、アレグロ・モデラート第１３番二短調」であり、画像データが無い場合に、次に述べるようなアイコン作成手順に従って情報セットアイコンを作成する。
まず、アーチスト辞書で「ピアノ演奏家Ａ」を検索し、顔写真を取得する。次に、顔写真の背景を黄色（二短調に対応）にする。次に、背景にギターの絵を貼り付ける。次に、「ピアノ演奏家Ａ、アレグロ・モデラート第１３番二短調」というラベルを添付し、欠けていた画像データを補完しながら情報セットアイコンを作成する。
以上、情報セットアイコンによれば、圧縮効率が高くデータ転送量が少なくて済むと同時に、情報セットにどのようなメディア情報が含まれているのかが一見して容易に把握できるものであり、検索者に対する情報内容の一覧性、把握容易性を確保せしめることができる。
次に、本実施形態１のマルチメディア情報分類配置装置の構成例を図３に示す。図３に示すようにマルチメディア情報分類配置装置は、情報セット取得部１０、特徴量抽出部２０、情報可視化部３０、軸設定部４０、分類配置部５０、情報表示部６０を備えている。また、７０はインターネットなどのアクセス可能なネットワーク網であって、ネットワーク７０を介してマルチメディア情報源８０がアクセス可能な状態にある。マルチメディア情報源８０には画像情報、テキスト情報、音声情報などの多様なマルチメディア情報が格納されており、この例では相互に関連があるメディア情報の集合である情報セットも格納されているとする。
図３の装置構成例において、情報セット取得部１０は、情報セット読み込み部１１、情報セット収集部１２、情報セット収集キー入力部１３、記憶媒体１３を備えた構成としている。情報セット収集部１２は、情報セットを収集する部分であり、ネットワーク７０を介してマルチメディア情報源８０に存在する情報セットを収集する。情報セット読み込み部１１は、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付けることもできるものである。このように情報セット取得部１０は、情報セット読み込み部１１と情報セット収集部１２のいずれかまたは両者を適宜備えた構成とすることにより、ネットワーク７０を介してマルチメディア情報源８０に存在する情報セットを収集する機能、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付ける機能を選択的に保持することができる。
この実施形態１で説明する情報セット収集部１２の構成例は、ハードディスクなどの記憶媒体１３、情報セット収集キー入力部１４を備えている。通信インタフェースを介してネットワーク７０上のマルチメディア情報源８０と通信する。記憶媒体１３は、収集した情報セットを格納しておく場合に利用できる。情報セット収集キー入力部１４は、情報セットの収集に当たり、キーワードを用いて収集する範囲を指定する部分である。ネットワーク上のマルチメディア情報源８０に格納されている情報セットが大量にある場合には何も指定せずに情報セットを収集すれば、収集するデータ容量が極めて大きくなってしまう。そこで、情報セットの収集にあたり、あらかじめ範囲を絞り込むために情報セット収集キー入力部１４よりキーワードが入力された場合には、情報セット収集部１２は、当該キーワードを持つ情報セットを収集する。
特徴量抽出部２０は、情報セットの各メディア情報から特徴量を抽出する部分である。図３には図示していないが、特徴量抽出部２０には、各メディア情報から様々な特徴量を抽出するための機能を備えている。
例えば、画像情報に対しては、ＤＣＴ変換係数特徴量、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム特徴量などが挙げられる。ＤＣＴ変換係数特徴量を分類配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。ウェーブレット変換係数特徴量を分類配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。ウェーブレット変換もＤＣＴ変換と同じく波形・周波数変換であるが、位置（時間）情報を保ったまま変換することが出来る。ＨＳＩ色ヒストグラム特徴量を分類配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。ＨＳＩ色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。
また、例えば、テキスト情報に対しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。あらかじめテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法（ｔｅｒｍｆｒｅｑｕｅｎｃｙ−ｉｎｖｅｒｓｅｄｏｃｕｍｅｎｔｆｒｅｑｕｅｎｃｙ）を用いて各単語の相対的重要度を測り、それを列挙することで各テキストから単語のｔｆ−ｉｄｆ値を要素として持つ特徴ベクトルを抽出する。
また、例えば、音声情報に対しては、短時間周波数分析（フーリエ変換やＭＦＣＣ）を用いた音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。ＭＦＣＣ分析やＬＰＣケプストラム分析の結果得られる特徴ベクトルを利用し、音声周波数の特徴、つまり、音声の高低、音質などにより特徴量抽出が可能となる。音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。音声の振幅特徴量や時間変移特徴量により音声の大小に応じた音声情報の特徴量抽出が可能となる。
また、特徴量抽出部２０は、各メディア情報から特徴量を抽出する機能の追加、更新、削除などが可能であることが好ましい。特徴量抽出機能をマイクロプログラムとしてＤＳＰ（デジタルシグナルプロセッサ）などで提供しておけば、必要に応じて内容を容易に書き換え、追加できる。
情報可視化部３０は、マルチメディア情報源８０に格納されている各情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して情報セットの内容を視覚的に表現する情報セットアイコンを生成する部分である。情報セットアイコンは利用者による情報分類配置処理が実行される前に生成しておくことが好ましい。
情報可視化部３０による情報セットアイコンの生成処理手順は、図２を用いて上記に説明した通りである。なお、図２により説明した手順において、メディア情報の特徴量（内容）に応じてアイコンを割り当てる処理には複数の手法がある。
第１には、「内容−アイコン変換テーブル」を利用するものである。これは、各メディア情報の内容とそれに対して割り当てるアイコンの対応を記述した変換テーブルを用意するものである。各メディア情報の特徴量（内容）が内容−アイコン変換テーブルに記述されていれば、対応するアイコンを簡単に割り当てることができる。
第２には、あらかじめ人手で記述しておいた「内容特徴からアイコンに変換するルール」を利用する方法である。内容特徴からアイコンに変換するルールを含むプログラムを提供するものである。
第３には、「内容特徴−アイコンのペア」データを大量に用意し、内容特徴からアイコンに変換するマップを自動的に学習し、それを利用する方法がある。内容特徴からアイコンに変換するルールを知識として持つエキスパートシステムを提供するものである。
第４には、上記の応用として、上記処理では各メディア情報の内容を表しきれない場合には、複数個のアイコンに変換したり、表しきれない差分情報を付加情報として付随させるものである。
なお、特徴量が複数の値（成分）を持っていたり、情報内容が複数の部分に分けられる場合には、特徴ベクトルとして複数個認め、個々の特徴ベクトルに対して別のアイコンを用意したり、あるいは同一のアイコンをコピーしたりすることによって一つの情報単位を複数のアイコンで表現することができる。
軸設定部４０は、分類配置空間軸を設定する部分であって、各メディア情報から抽出される特徴量の分類配置空間各軸への割り当てを設定し、１以上の軸を備えた分類配置空間を設定する。例えば、Ｘ軸Ｙ軸Ｚ軸の３軸を指定し、このＸＹＺ軸が張る空間を分類配置空間とする。ここでは、例えば、後述する情報表示部６０の表示ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
ここで、分類配置空間軸に設定し得る特徴量は、画像情報、テキスト情報、音声情報などメディアに応じて抽出し得る特徴量であれば良い。
例えば、テキスト情報に関しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。特定単語の存在を示す特徴量や特定単語の使用回数の特徴量を分類配置空間軸に設定することにより、特定単語の説明などが含まれているテキスト情報の分類、配置が可能となる。これらテキスト情報に画像情報が関連付けられている情報セットであれば、特定単語により表わされる画像情報も併せて分類配置空間に分類、配置されることとなる。
また、例えば、画像情報に関しては、ＤＣＴ変換係数特徴量、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム特徴量などが挙げられる。ＤＣＴ変換係数特徴量を分類配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。ウェーブレット変換係数特徴量を分類配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。ウェーブレット変換もＤＣＴ変換と同じく波形・周波数変換であるが、位置（時間）情報を保ったまま変換することが出来る。ＨＳＩ色ヒストグラム特徴量を分類配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。ＨＳＩ色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。
また、例えば、音声情報に関しては、音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。音声周波数特徴量を分類配置空間軸に設定することにより、音声周波数の特徴、つまり、音声の高低、音質などにより音声情報の分類、配置が可能となる。音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。音声の振幅特徴量や時間変移特徴量を分類配置空間軸に設定することにより、音声の大小に応じた音声情報の分類、配置が可能となる。
なお、軸設定部４０による、一の空間軸に対する特徴量の割り当ては、複数の特徴量を組み合わせて割り当てることが可能である。２つ以上の特徴量の組み合わせは、互いの特徴量の単位を変換、調整する必要があるが、スコアのような点数に置き換えて合算することが可能である。例えば、一つの空間軸に対して、第１の特徴量としてＨＳＩ色ヒストグラムの指定色成分が閾値以上の割合で含まれていれば“１”、含まれていない場合に“０”とし、第２の特徴量として、テキスト情報中の特定単語の存在を示す特徴量として存在すれば“１”、存在しない場合に“０”とし、第１の特徴量と第２の特徴量を合算して一つの空間軸に割り当てるなどの処理が可能である。逆に、複数の軸に対して一つの特徴量を割り当てることもできる。一つの特徴量から二つ以上の軸に割り当てる方法は数多く存在するが、そのような方法の一つとして、特徴量をベクトルとみなして、ベクトルの各次元について分散が大きい次元を複数選択してその次元を軸とする方法（主成分分析法）が挙げられる。
分類配置部５０は、特徴量抽出部２０により抽出した特徴量に基づいて情報セットアイコンを分類配置空間内に分類配置する部分である。例えば、分類配置空間がＸＹＺ３軸により設定されておれば、情報セットアイコンは当該３次元分類配置空間内に分類、配置されることとなる。
情報表示部６０は、分類配置部５０により分類配置空間内に分類配置された情報セットに対する情報セットアイコンを表示する部分であり、分類配置空間に対する視点に応じた位置に情報セットアイコンを表示する。例えば、ＸＹＺ軸から張られた分類配置空間に対して、ＸＹ平面が正面であり、Ｚ軸方向を奥行き方向とすると、ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
以上のように構成された本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れの例を図４を参照しつつ説明する。
図４に示すように、本発明の実施形態１のマルチメディア情報分類配置装置の処理は大別して、次のように、情報セットの取得処理（Ｓ１０１）と、情報セットに対応する情報セットアイコンの生成処理（Ｓ１０２）と、分類配置空間の軸に割り付ける特徴量を設定し、分類配置空間を定義する軸設定処理（Ｓ１０３）と、情報セットのメディア情報から所定の特徴量を抽出する特徴量抽出処理（Ｓ１０４）と、抽出した特徴量に従って情報セットアイコンを分類配置空間内に分類、配置する情報分類配置処理（Ｓ１０５）と、分類配置空間および分類配置空間に分類、配置した情報セットアイコンを設定視点から表示する情報表示処理（Ｓ１０６）と、表示された検索結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、分類配置空間の軸に割り付ける特徴量を再設定し、分類配置空間を再定義する再軸設定処理（ステップＳ１０３へのループ）を備えている。
なお、最初の軸設定処理（Ｓ１０３）により設定された分類配置空間に基づく情報セットアイコンの分類、配置により所望の検索結果が得られた場合には、再軸設定処理は必須のものではない。また、上記処理の流れでは、情報セットは当初からアクセス可能な状態で存在していることを前提としたものであるが、実施形態２において後述するようにマルチメディア情報分類配置装置が、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報をまとめ、情報セットを定義・生成する情報セット生成処理を前処理として実行しても良い。
まず、本発明のマルチメディア情報分類配置装置は、利用者による検索実行などにより、情報セット取得部１０により情報セット取得処理（Ｓ１０１）を実行する。ここでは、例えば、情報セット取得部１０により、通信インタフェースを介してインターネットなどのネットワーク７０上にアクセス可能な状態にあるＷＷＷサーバーなどのマルチメディア情報源８０から情報セットを収集して情報セットを取得する。この例では、情報セット取得処理（Ｓ１０１）として、画像情報とテキスト情報が関連付けられている情報セットを複数取得する。また、取得する情報セットの範囲をある程度絞るため、キーワード検索によりヒットしたもののみ取得しても良い。
この例では、“音楽家”というキーワードにヒットする情報セット３を含む情報セットを取得したとする。例えば、いずれも音響データ、画像データ、テキストデータを含む６つの情報セット、「シューベルトピアの五重奏曲ます」、「モーツァルトピアノ協奏曲第２０番」、「モーツァルトフィガロの結婚」、「ヘンデル調子の良いかじ屋ホ長調」、「バッハ幻想曲とフーガト短調」、「バッハトッカータとフーガニ短調」などが得られたとする。
次に、マルチメディア情報分類配置装置は、情報可視化部３０により各情報セットに対応する情報セットアイコンを生成する（Ｓ１０２）。その手順は図２に示したとおりである。ここでは、圧縮画像とその上側に音響データを示すアイコン、その下側にテキスト内容を示すアイコンが付されて合成されている。なお、情報セットアイコン生成の特徴量抽出処理の実行にあたり特徴量抽出部２０を用いても良い。
次に、マルチメディア情報分類配置装置は、利用者から情報分類配置に関する指示の入力を受け、分類配置処理を開始する。
まず、軸設定部４０により分類配置空間の軸に割り付ける特徴量を設定し、分類配置空間を定義する軸設定処理（Ｓ１０３）を実行する。この例では、Ｘ軸（水平方向）に音色、Ｙ軸（垂直方向）に画像情報に対するＤＣＴ変換係数特徴量、Ｚ軸（奥行き方向）には特徴量を設定しないこととする。
次に、マルチメディア情報分類配置装置は、特徴量抽出部２０を用いて、収集されている情報セットのそれぞれのメディア情報から、各空間軸に割り当てられている特徴量を抽出する特徴量抽出処理（Ｓ１０４）を実行する。上述した通り、特徴量抽出部２０は、各情報セットから、軸設定処理Ｓ１０３で指定された特徴量を抽出する。この例では、音響データの音色の特徴量、画像データのＤＣＴ変換係数特徴量が抽出される。
なお、特徴量が複数の値（成分）を持つ場合、特徴ベクトルも複数個出力できる。
次に、マルチメディア情報分類配置装置は、分類配置部５０を用いて、抽出した特徴量に従って情報セットアイコンを分類配置空間内に分類、配置する情報分類配置処理（Ｓ１０５）を実行する。そして、情報表示部６０により、分類配置空間および分類配置空間に分類、配置した情報セットアイコンを設定視点から表示する情報表示処理（Ｓ１０６）を実行する。図５に、“音楽家”のキーワードで収集された６つの情報セットアイコンを分類配置空間内に分類、配置した例を示す。この例では、Ｘ軸は音色の特徴量として、ピアノはＸ軸左側、バイオリンが中央付近、ハープが右側付近に分類配置され、Ｙ軸は画像データのＤＣＴ変換係数特徴量の大きさで分類配置されたとする。なお、図５の例の情報セットアイコンは、音響データを例に採れば、音響データのアイコン部分はその音色に応じてピアノ鍵盤、バイオリン、ハープというアイコンが割り当てられたり、短調、長調などに合わせて色づけされたりという具合に修飾されている。
なお、一つの情報セットに対して、特徴ベクトルが複数個出力されている場合は、個々の特徴ベクトルに対する分類配置位置に別々の情報セットアイコンを表示したりあるいは同一の情報セットアイコンをコピーしたりすることによって一つの情報単位を複数のアイコンで表現する。
以上の情報セット取得処理ステップＳ１０１から情報表示処理ステップＳ１０６により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は（ステップＳ１０７：ＮＯ）、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は（ステップＳ１０７：ＹＥＳ）、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップＳ１０３にループすることが可能である。つまり、情報表示処理ステップＳ１０６により表示された分類・配置表示結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、軸設定部４０を用いて、分類配置空間の軸に割り付ける特徴量を再設定し、分類配置空間を再定義する再軸設定処理を実行する。このように、必要な画像情報が得られるまで分類配置空間軸に割り当てる特徴量を再設定し（Ｓ１０３）、情報セットの各メディア情報から再設定した特徴量を再抽出し（Ｓ１０４）、再抽出した特徴量に基づいて情報セットアイコンを分類配置空間に再分類、再配置し（Ｓ１０５）、情報表示部６０により分類配置空間に再配置された情報セットアイコンを再表示する（Ｓ１０６）。例えば、軸設定部４０により、Ｘ軸を音色の特徴量から、ウェーブレット変換係数特徴量に替えたり、Ｙ軸をＤＣＴ変換係数特徴量からＨＳＩ色ヒストグラム特徴量に替えたりすることも可能である。このような一連の軸再設定処理を、所望の検索結果が得られるまで繰り返すことができる。
このように、ある特徴量で得られた情報セットアイコンの分類・配置の表示結果を見て、全く異なる切り口の特徴量を使って情報セットアイコンの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
また、画像情報など情報セットアイコンの分類・配置である表示結果を見て、図６のように、選択した情報セットアイコンに対応する情報セットのウェブのページを表示することも可能である。情報セットアイコンの一部に当該画像情報など情報セットが含まれているＵＲＬを併せて保存しておけば、当該画像情報が情報表示部６０上において利用者より選ばれた場合にＵＲＬ情報を基にしてそのウェブページを表示することが可能となる。例えば、画像情報を選び、メニューなどから“ウェブページ”というボタンをポインティングデバイスでクリックすることによりそのウェブページを表示する。画像そのものをクリックするとそのウェブページを表示することとしても良い。
次に、上記図４に示した処理の流れとは異なる別の処理の流れを図７を用いて説明する。この図７に示した処理では、処理全体を、情報セットアイコン生成フェーズと、情報セット検索フェーズの２つのフェーズに分け、情報セットアイコンの生成処理を情報セットアイコン生成フェーズとして前処理として実行し、情報セット検索フェーズで用いる情報セットに対する情報セットアイコンをまとめて生成しておくものである。情報セット検索フェーズとして、情報セットの検索取得処理（７０１）、軸設定処理（Ｓ７０２）と、特徴量抽出処理（Ｓ７０３）と、情報分類配置処理（Ｓ７０４）と、情報表示処理（Ｓ７０５）と、必要に応じて実行する再軸設定処理（ステップＳ７０２へのループ）を実行する。この処理の流れとすると、情報セット検索フェーズにおいて、検索の結果得られた情報セットからその都度情報セットアイコンを生成する必要がなく、検索された情報セットに対応する情報セットアイコンを分類配置空間に分類配置するのみで良いので、処理を高速化することができる。
さらに、特徴量抽出処理７０３を前処理として情報セット生成フェーズで実行しておき、情報セットに対して情報セットアイコンと各特徴量を抽出して対応づけて記憶しておいても良い。この構成によれば、情報セット検索フェーズにおいて、検索の結果得られた情報セットからその都度特徴量を抽出する必要がないのでさらに処理を高速化することができる。
以上、本実施形態１に示したマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。
（実施形態２）
次に、実施形態２のマルチメディア情報分類配置装置は、実施形態１のように、情報セットを構成する各メディア情報に対応するアイコンを合成して情報セットアイコンを作成するのではなく、各メディア情報ごとのアイコンを用意し、情報セットの分類配置においては該当する配置位置において各メディア情報ごとにアイコンを表示順序に従って時間的に切り替えつつ表示するものである。
本実施形態２のマルチメディア情報分類配置装置の装置構成例は図３と同様である。ただし、構成要素の処理内容が異なる。
情報可視化部３０は、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てるが、それら各メディア情報に対するアイコンを合成して情報セットアイコンを生成することはしない。
分類配置部５０は、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、分類配置空間内に情報セットに含まれる各メディア情報に対するアイコンを分類配置するものである。情報セットアイコンを配置するのではなく、情報セットに含まれるメディア情報それぞれに対応するアイコンをグループとして分類配置する。
情報表示部６０は、分類配置空間とアイコンを表示し、情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ配置位置に表示するものである。例えば、アイコンを画像データのアイコン、音響データのアイコン、テキスト情報のアイコンという順で繰り返して１秒おきに切り替えて表示する。
情報セット取得部１０、特徴量抽出部２０、軸設定部４０、ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明したものと同様で良い。
以上の実施形態２のマルチメディア情報分類配置装置の処理の流れの例を図８を参照しつつ説明する。
図８に示すように、本発明の実施形態２のマルチメディア情報分類配置装置の処理は、情報セットの取得処理（Ｓ８０１）と、各メディア情報のアイコンの生成処理（Ｓ８０２）と、分類配置空間の軸設定処理（Ｓ８０３）と、情報セットの特徴量抽出処理（Ｓ８０４）と、各メディア情報のアイコンの分類配置空間内への分類、配置処理（Ｓ８０５）と、分類配置空間および各メディア情報のアイコンの切り替え表示処理（Ｓ８０６）と、再軸設定処理（ステップＳ８０３へのループ）を備えている。なお、最初の軸設定処理（Ｓ８０３）により設定された分類配置空間に基づく分類、配置により所望の検索結果が得られた場合には、再軸設定処理（Ｓ８０６）は必須のものではない。
マルチメディア情報分類配置装置は、情報セットの取得処理（Ｓ８０１）を実行後、情報可視化部３０によりマルチメディア情報源８０に格納されている各情報セットに含まれる各メディア情報に対応するアイコンを生成する（Ｓ８０２）。その手順は図２に示したものと同様であるが、最終的に情報セットアイコンという形で合成することはしない。なお、各メディア情報のアイコン生成における特徴量抽出処理の実行にあたり特徴量抽出部２０を用いても良い。
分類配置空間の軸設定処理（Ｓ８０３）、情報セットの特徴量抽出処理（Ｓ８０４）は、実施形態１の図４のＳ１０３〜Ｓ１０４と同様であり、説明は省略する。
次に、マルチメディア情報分類配置装置は、分類配置部５０を用いて、抽出した特徴量に従って各メディア情報のアイコンを分類配置空間内に分類、配置する（Ｓ８０５）。そして、情報表示部６０により、分類配置空間および各メディア情報のアイコンを切り替えつつ、分類配置空間に分類、配置して表示する（Ｓ８０６）。
なお、一つの情報セットに対して、特徴ベクトルが複数個出力されている場合は、個々の特徴ベクトルに対する分類配置位置にアイコンを表示することによって一つの情報単位を複数のアイコンで表現する。
以上の情報セット取得処理ステップＳ８０１から情報表示処理ステップＳ８０６により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は（ステップＳ８０７：ＮＯ）、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は（ステップＳ８０７：ＹＥＳ）、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップＳ８０３にループすることが可能である。
なお、実施形態１の図７と同様、処理全体を、アイコン生成フェーズと、情報セット検索フェーズの２つのフェーズに分け、アイコンの生成処理をアイコン生成フェーズとして前処理として実行し、情報セット検索フェーズで用いる各メディア情報のアイコンをまとめて生成しておくものでも良い。
以上、本実施形態２に示したマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、各アイコンを表示順序に従って切り替えつつ表示するので検索者に対する情報内容の一覧性、把握容易性を確保することができる。
（実施形態３）
本発明の実施形態３のマルチメディア情報分類配置装置を説明する。本実施形態３のマルチメディア情報分類配置装置は、分類配置部によるメディア情報の特徴量に基づいた分類配置空間への分類、配置において、自己組織化マップを応用するものである。
本実施形態３マルチメディア情報分類配置装置の装置構成例を図９に示す。図９に示すように、分類配置部５０は、自己組織化マップ処理部５１を備えている。なお、分類配置部５０以外の、情報セット取得部１０、情報可視化部３０、軸設定部４０、特徴量抽出部２０、情報表示部６０ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明した図３のマルチメディア情報分類配置装置構成例のものと同様で良い。
自己組織化マップは、ニューラルネットワークを用いた教師なし学習モデルである。自己組織化マップでは、高次元の特徴ベクトル空間から低次元空間に写像を行なう。その際に、特徴ベクトルが類似しているものは低次元空間でも近くに配置される。この自己組織化マップをメディア情報の分類・配置処理に応用し、特徴量抽出部２０が抽出した特徴量をもとに自己組織化マップ処理を用いて実施形態１のように情報セットアイコンまたは実施形態２のように各メディア情報のアイコンを配置する。自己組織化マップ処理部５１は特徴量抽出部２０が抽出した特徴量に対して当該自己組織化マップ生成処理を実行するものである。本実施形態３の分類配置部５０は、自己組織化マップ処理部５１が生成した自己組織化マップで得られた配置情報を基に分類配置空間に分類・配置する。また、自己組織化マップ処理と併せて、Ｚ軸（奥行き方向）に割り当てられている特徴量を基にした奥行き表現も組み合わせることもできる。例えば、テキスト情報を元に、単語の頻度情報に分解し、それぞれの頻度をベクトル化して、そのベクトルに基づき、奥行き方向の軸の位置を決定する。また、他の例としては、キーワードを用いてＷｅｂを検索した場合、テキスト検索サーバが返すキーワードとＷｅｂページの関連度をもとに、関連度が高い順に奥行き情報として表示する事もでき、それらを切り替えて表示することができる。
以上のように、本実施形態３のマルチメディア情報分類配置装置によれば、自己組織化マップ処理を応用して、画像を空間上で内容が近いと思われるものが近くに、内容が遠いと思われるものが遠くにそれぞれ配置することが出来る。
（実施形態４）
本発明の実施形態４のマルチメディア情報分類配置装置を説明する。本実施形態４のマルチメディア情報分類配置装置は、情報セットアイコンが分類・配置された分類配置空間の表示方法、ブラウジング方法に工夫を加えたものである。
本実施形態４のマルチメディア情報分類配置装置の装置構成例を図１０に示す。図１０に示すように、情報表示部６０は表示視点移動部６１を備えている。なお、情報表示部６０以外の、情報セット取得部１０、情報可視化部３０、軸設定部４０、特徴量抽出部２０、分類配置部５０、ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明した図３のマルチメディア情報分類配置装置構成例のものと同様で良い。
表示視点移動部６１は、情報表示部６０において、分類配置部５０により情報セットアイコンが分類・配置された分類配置空間を表示するにあたり、当該空間を表示する視点の設定位置を移動させる機能を備えている。情報表示部６０は、表示視点移動部６１により設定された表示視点から見た分類配置空間を表示する。
本実施形態４のマルチメディア情報分類配置装置では、実施形態１で示した図５の表示視点をデフォルトとし、表示視点移動部６１により表示視点を動的に変化させることが可能となる。言わば、情報セットアイコンが分類・配置された分類配置空間内を仮想的に自由に動きまわり、移動位置から見える分類配置空間内の情報セットアイコンの分類・配置された様子を表示することができる。通常であれば、ディスプレイ表示面は、基本的には２次元平面であるので、遠近法による表示が可能ではあるものの、奥行きの深い位置にある情報セットアイコンは見づらいものとなりがちである。しかし、本実施形態４のマルチメディア情報分類配置装置によれば、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットアイコンの分類・配置の様子をディスプレイ表示面近くに表示させることができる。
（実施形態５）
実施形態５のマルチメディア情報分類配置装置は、分類配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている分類配置空間を再設定し、再設定された分類配置空間に対して各情報セットアイコンを再分類配置し、各情報セットアイコンが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示するものである。
また、再分類配置において、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、ユーザが選択した情報セットアイコンを特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えたものである。
図１１は、実施形態５にかかるマルチメディア情報分類配置装置の装置構成を簡単に示したものである。図１１に示すように、情報表示部６０は動画処理部６２を備えている。また、分類配置部５０は、配置位置固定指定部５２を備えている。なお、分類配置部５０および情報表示部６０以外の、情報セット取得部１０、情報可視化部３０、軸設定部４０、特徴量抽出部２０、ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明した図３のマルチメディア情報分類配置装置構成例のものと同様で良い。
情報表示部６０の動画処理部６２は、軸の再設定により各情報セットアイコンを分類配置空間上に再分類配置する様子を表示するにあたり、各情報セットアイコンを、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する機能を有する。例えば、各情報セットアイコンの再分類配置前の位置を記憶しておき、各情報セットアイコンの再分類配置後の位置を分類配置部５０から通知を受け、両座標点を基に各情報セットアイコンごとに移動方向、移動距離を求め、所定きざみで各情報セットアイコンを移動して行く。なお、所定きざみとは、移動ステップ数にかかわらず所定の距離ずつの移動としても良く、また、所定のステップ数で移動が完了するように移動距離を調整したきざみとしても良い。
分類配置部５０は配置位置固定指定部５２を備えており、ユーザは配置位置固定指定部５２を介して特定の情報セットアイコンを特定位置に固定するように指定することができる。分類配置部５０は、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、指定された情報セットアイコンを特定位置に固定した状態で、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えたものである。
上記した、所定きざみで各情報セットアイコンを移動して行く再分類配置機能と、特定の情報セットアイコンを特定位置に固定した再分類配置機能を、図５と図１２の具体例を用いつつ説明する。
再分類配置前の分類配置空間における情報セットアイコンの表示状態の例として実施形態１で説明した図５を用いる。この例では、Ｘ軸（水平方向）に音色、Ｙ軸（垂直方向）に画像情報に対するＤＣＴ変換係数特徴量、Ｚ軸（奥行き方向）には特徴量を設定しないこととする。
次に、再分類配置される様子を説明する。再軸設定によりＸＹ平面方向の軸としてＨＳＩ色ヒストグラム特徴量が割り当てられ、Ｚ軸には特に特徴量が割り当てられずにすべて“０”値が割り当てられたものとする。情報表示部６０により表示された再分類配置後の表示例を示したものが図１２である。
このように、再軸設定により、軸に新たに割り付けられた特徴量に沿って情報セットアイコンが再分類配置される。
ここで、動画処理部６２は、各情報セットアイコンを再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する。つまり、図５の状態から図１２の状態まで、各情報セットアイコンを再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかも情報セットアイコンが目で追えるように移動してゆく様子を表示する。動画処理部６２は、図５に示した各情報セットアイコンの再分類配置前の位置を記憶しておき、図１２に示した各情報セットアイコンの再分類配置後の位置の通知を受け、両座標位置を基に各情報セットアイコンごとに移動方向、移動距離を求め、所定きざみで各情報セットアイコンの表示されているメディア情報を移動して行く。
次に、分類配置部５０の配置位置固定指定部５２を用いた特定の情報セットアイコンを特定位置に固定した状態での再分類配置の具体例を説明する。
ユーザは、配置位置固定指定部５２を介して、特定の情報セットと他の情報セットとの関係を把握するために、表示されている画面内から一つまたは複数の情報セットアイコンを選択する。例えば一つの情報セットアイコンを選択し、その情報セットアイコンを中央に固定し、他の情報セットアイコンを自己組織化マップ法により分類配置空間内に配置してゆく。また、複数の情報セットアイコン、例えば、４つの情報セットアイコンを選択し、それら情報セットアイコンの位置関係を特定の位置関係、例えば、画面の四隅に固定して、他の情報セットアイコンを自己組織化マップ法により分類配置空間内に配置してゆくことも可能である。このように特定の情報セットアイコンを特定の位置関係に固定して分類配置を行うことにより、選択した情報セットと他の個々の情報セットがどのような関係にあるのかが視覚的に容易に把握できるようになる。例えば、今、分類配置空間の軸が色情報を特徴量としている場合、四隅にそれぞれ、赤の画像、青の画像、黄の画像、緑の画像を固定して分類配置すれば、赤系統の画像は固定した赤い画像のある隅側に集まり、紫色の画像は、赤い画像の位置と青い画像の位置の中間付近に集まって表示されるため、色の系統に沿って個々の画像を見つけることが容易になる。
図１３と図１４は、配置位置固定指定部５２を用いた特定の情報セットアイコンを特定位置に固定した再分類配置の概念を示した図である。図１３は、再分類配置前において配置位置固定指定部５２を用いて特定の情報セットアイコンを選択指定した様子を示す図、図１４が図１３で選択指定された情報セットアイコンを特定位置（画面中央）に固定して他の情報セットアイコンを再分類配置した様子を示した図である。図１３において、情報セットアイコン５がユーザによって配置位置固定指定部５２を介して選択指定された情報セットアイコンである。この情報セットアイコン５を中央に固定し、再分類前とは異なる属性、例えば、色情報により再分類配置すれば、図１４のように情報セットアイコン５に近い色合いを持つ情報セットアイコンが中央付近に集まることとなる。
なお、この配置位置固定指定部５２を用いた特定の情報セットアイコンを特定位置に固定した再分類配置機能に対して、所定きざみで各情報セットアイコンを移動して行く再分類配置機能とを組み合わせることも可能であり、特定の情報セットアイコンを特定位置に固定した再分類配置の際に、各情報セットアイコンが再分類後の位置まで所定きざみで移動していくように表示させることも可能である。
上記構成によれば、分類配置空間を再設定し、注目する情報セットアイコンを特定位置に固定された状態で再分類することができ、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットアイコンの検索、分類処理の利便性が向上する。
（実施形態６）
本発明の実施形態６のマルチメディア情報分類配置装置を説明する。本実施形態６のマルチメディア情報分類配置装置は、上述した実施形態１〜５のマルチメディア情報分類配置装置を、コンピュータネットワークを介したクライアントサーバーシステムで構築したものである。上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成のうち、どの要素をサーバーコンピュータに組み込み、どの要素をクライアントコンピュータに組み込むかにより幾つかのパターンが可能である。
図１５は、サーバーコンピュータ１００に情報可視化部３０、情報セット取得部１０、特徴量抽出部２０を設け、クライアントコンピュータ１０１に軸設定部４０、分類配置部５０、情報表示部６０を設けたクライアントサーバ構成例である。
図１６は、サーバーコンピュータ１００に情報可視化部３０、情報セット取得部１０、特徴量抽出部２０、分類配置部５０を設け、クライアントコンピュータ１０１に軸設定部４０、情報表示部６０を設けた構成である。
ただし、上記の図１５〜図１６のそれぞれの構成において、情報セットの取得方法に関して幾通りかの方法が挙げられる。例えば、サーバコンピュータ１００がロボットとして、あらかじめ指定されている内容の情報セットをネットワーク上などから定期的に自動収集・自動更新する方法がある。他には、図１５〜図１６はいずれも情報セット取得部１０がサーバコンピュータ１００に図示されているが、情報セット取得部１０の情報セット収集部１２から情報セット収集キー入力部１４を分離してクライアントコンピュータ１０１に設け（図示せず）、クライアントコンピュータ１０１の利用者が情報セット収集キー入力部１４を用いて情報セット収集キーを入力し、当該入力された情報セット収集キーをサーバコンピュータ１００の情報セット取得部１０に渡し、サーバコンピュータ１００が当該情報セット収集キーを用いて、該当する情報セットをネットワーク上などから動的に収集する方法がある。
このように、上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成要素を、サーバーコンピュータとクラアントコンピュータに分けて設けることにより、クライアントサーバシステムにより本発明のマルチメディア情報分類配置装置を構築することができる。
（実施形態７）
本発明のマルチメディア情報分類配置装置は、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のマルチメディア情報分類配置装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１７に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
産業上の利用可能性
本発明のマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済む情報セットアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。また、情報セットアイコンに代え、各メディア情報のアイコンを表示順序に従って切り替えつつ表示する場合においても、検索者に対する情報内容の一覧性、把握容易性を確保することができる。
また、本発明のマルチメディア情報分類配置装置によれば、情報セット生成部を保持することにより、情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットアイコンを生成することができる。
また、本発明のマルチメディア情報分類配置装置によれば、分類配置空間を再設定し、注目する情報セットアイコンを特定位置に固定された状態で再分類することができ、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【図面の簡単な説明】
第１図の（ａ）は、本発明の“情報セット”の概念を簡単に示した図、（ｂ）は従来技術におけるマルチメディア情報の例を示す図である。
第２図は、情報セットアイコンの例および当該情報セットアイコンの生成手順の一例を示した図である。
第３図は、本発明の実施形態１のマルチメディア情報分類配置装置の装置構成例を示す図である。
第４図は、本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れの例を示すフローチャートである。
第５図は、“音楽家”のキーワードで収集された６つの情報セットアイコンを分類配置空間内に分類、配置した例を示す図である。
第６図は、選択した情報セットアイコンに対応する情報セットのウェブのページを示す図である。
第７図は、本発明の実施形態２のマルチメディア情報分類配置装置の処理の流れの例を示すフローチャート
第８図は、本発明の実施形態３マルチメディア情報分類配置装置の装置構成例を示す図である。
第９図は、本発明の実施形態４のマルチメディア情報分類配置装置の装置構成例を示す図である。
第１０図は、本発明の実施形態５にかかるマルチメディア情報分類配置装置の装置構成を簡単に示した図である。
第１１図は、本発明の実施形態５にかかる情報表示部６０により表示された再分類配置後の表示例を示した図である。
第１２図は、再分類配置前において配置位置固定指定部５２を用いて特定の情報セットアイコンを選択指定した様子を示す図である。
第１３図は、第１２図で選択指定された情報セットアイコンを特定位置（画面中央）に固定して他の情報セットアイコンを再分類配置した様子を示した図である。
第１４図は、本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図である。
第１５図は、本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した他の例を示す図である。
第１６図は、本発明の実施形態７のマルチメディア情報分類配置装置の処理内容を処理ステップとしたプログラムを記録した記録媒体の例を示す図である。Technical field
The present invention relates to a multimedia information classification and arrangement apparatus capable of efficiently and flexibly classifying and arranging multimedia information groups mixed not only as text information but also as various media information such as image information and audio information. . It is also possible to classify and arrange multimedia information groups that can be accessed on the Internet WWW (World Wide Web, hereinafter abbreviated as WWW).
Background art
Currently, not only text information but also a large amount of multimedia data such as image information and audio information is stored and accessible. In particular, with the development of the Internet, information on the WWW (World Wide Web) continues to increase, and a large amount of various multimedia data such as text information, image information, and audio information is stored and accessible. It has become. As a result, it has become very difficult to accurately retrieve necessary information from information sources.
The following is known as a conventional information retrieval system and information classification / arrangement processing technology in the retrieval system.
First, a text key search system is known. Appropriately assign one or more text information representing the contents to the multimedia data to be searched, specify a text such as a word as a search key for the search, and the same text information as the search key There is known a method for detecting multimedia data to which is assigned. When the media information to be searched is text information, the contents of the text information are searched using a text key, and the text key search can be generally executed appropriately. As an example of the classification and arrangement of information in this text key search system, there is one in which data hit in the search is sorted and displayed in a list.
Secondly, a full text search system is known. This is a search system particularly effective when the multimedia data to be searched is text information. Several methods have been proposed. For example, as a preprocessing, all the words representing the features of the contents are automatically extracted from the entire text, and a search key file is generated and assigned. In the search, text such as a word is designated as a search key, and text information having the same text as the search key in the search key file is detected. In this method, as in the search method using the first text as a key, for media information other than text information, for example, image information, the text is keyed unless an appropriate text key is assigned to each image information. In such a search, it is difficult to perform the search appropriately.
As in the text key search system, an example of information classification / arrangement in this text full-text search system is one in which data hit in the search is sorted and displayed in a list.
Thirdly, as a technique for searching for image information, an image search technique based on image pattern matching in which a specific part of an image is designated and a partial image is used as a search key is known. According to this image retrieval method, it is possible to retrieve image information having a designated partial image.
An example of information classification / arrangement in the image search system based on this image pattern matching is one in which data hit in the search is sorted and displayed in a list.
Fourthly, as a technique for retrieving acoustic information, an acoustic retrieval technique using acoustic pattern matching has been studied. As an acoustic information retrieval system, the user searches for acoustic data similar to the acoustic signal when the user designates acoustic data (such as humming) as a key, and presents information such as a song name to the user. .
Fifth, there is a technique for retrieving video information. Video search methods include segmenting video in advance, recognizing the content of each segment using techniques such as motion recognition algorithms, voice recognition, and telop recognition, and labeling according to the information content, A method of searching by creating a search key by sketching the moving direction of an object has been studied. As this video information retrieval system, a system for searching for a specific action such as a home run, a shoot, a goal, a highlight scene that occurs in a live broadcast such as baseball or soccer, or a smash or volley in tennis is being developed. is there.
However, in the conventional information search system, there is no effective search method with high practicality for media information other than text information, for example, image information and audio information.
In the conventional first text key search system, it is difficult to appropriately perform image information and audio information. In other words, even if multiple keywords are assigned to one image information, it is difficult to accurately and flexibly express the image features in text. It is difficult to perform flexible image retrieval. Although it is possible to collect a large number of images and display them in order, there is a problem that it becomes difficult to find a target image from among them when the number of images increases.
Even in the case of the conventional second full-text search system, it is difficult to appropriately perform image information and audio information as in the first text key search system. That is, image information and audio information originally do not have text information, and extraction of text information cannot be expected.
According to the conventional image retrieval system using the third image pattern matching, it is possible to retrieve image information having a designated partial image. However, the searcher needs to prepare and specify a partial image included in the image to be searched. In some cases, it is not clear what kind of partial image the searcher wants most, and the partial image used for the search is not always prepared, and the search becomes difficult. Furthermore, there are cases where the searcher himself / herself does not clearly grasp the image he / she wants to search. That is, it is possible to specify the general contents of the image to be searched, but there are cases where the image itself cannot be specified even if it is partial. Also, the searcher may want to search through a trial and error for vaguely available images. In such a case, only the matching of the partial images lacks flexibility and is insufficient.
In the conventional acoustic search system based on the fourth acoustic pattern matching, a general user's humming occurs as a single note, but a phenomenon such as a pitch fluctuating more than a semitone or a wrong pitch occurs. Proper search is difficult.
Even in the conventional fifth video information retrieval system, it is difficult to accurately label the video content or describe the motion of the object in the video, and it can be applied to general video. Currently, there is no video information retrieval method.
As described above, the conventional information retrieval technique has a common problem of “difficulty in specifying an appropriate key for narrowing down information”. As a means for solving this problem, there is an approach in which as much information as possible is presented to the searcher, and the searcher is requested to search for desired information. When the search target is composed of information units including images (images themselves, mixed images / text documents, etc.), the user can select the desired information from the large amount of information presented. Information can be found relatively easily. However, the following problems arise.
The first problem is that the search device operates on the server, and when displaying images on the client via the network, a large amount of images must be transferred, and the waiting time of the searcher is long. It is a problem that becomes.
The second problem is that when information other than an image is included in an information unit, such as an image / text mixed document, the image does not always accurately represent the contents of the information unit. is there. In other words, the image included in the information unit is often simply used for decoration or the like. In such a case, in the browsing search based on the image, the searcher accurately finds a desired information set. It may not be possible.
The third problem is that if the search target is composed of information units that do not include images (text-only document data, audio data only, and video data only), even if the information is presented as it is, the listability is lacking. Therefore, the user's search efficiency does not increase.
In view of the above problems, the present invention reduces the amount of data to be transferred when displaying information on a client via a network, and ensures a listability and ease of grasping information contents for a searcher. It is an object of the present invention to provide a media information classification and arrangement apparatus and a classification and arrangement method.
In addition, the present invention efficiently and flexibly searches for multimedia information such as text information, image information, and audio information by using various feature values of the multimedia information, and the search result is visually and flexibly. An object of the present invention is to provide a multimedia information classification and arrangement apparatus and a classification and arrangement method that can be classified and arranged for easy understanding.
Disclosure of the invention
In order to achieve the above object, the multimedia information classification and arrangement apparatus of the present invention groups similar and heterogeneous media information related to the same object from a set of media information including image information, text information, and audio information. The information set is used as a processing unit. Then, an icon for visually displaying the contents is assigned to each piece of media information constituting the information set, and an “information set icon” for visually expressing the contents of the information set by combining the icons is used. .
The point that the “information set” is used as a unit of information processing and the point that the “information set icon” is used in the present invention are clearly different from the conventional information search technology. The “information set” of the present application is not a combination of the media information itself as in the case of the multimedia information of the prior art, but is associated with a common concept. Information is clearly different. An “information set icon” is an information set in an information processing unit, and a corresponding icon is assigned to each piece of media information such as text, image, and sound constituting the information set, and the information is synthesized by combining these icons. An icon corresponding to an information set as a processing unit. According to this information set icon, it can be created so that the compression efficiency is high and the data transfer amount is small, and at the same time it is easy to understand what kind of media information is included in the information set. It is possible to ensure the listability and the ease of grasping of the information contents for the searcher.
The multimedia information classification and arrangement apparatus of the present invention includes an information set acquisition unit for acquiring media information in units of information sets, and an icon for visually displaying the contents of each piece of media information constituting the information set. An information visualization unit that generates and sets information icons for visually expressing the contents of the information set by allocating and synthesizing the icons; a feature amount extraction unit that extracts a component of a feature amount from each piece of media information of each information set; Assign an attribute selected from the attribute of feature amount extracted from each media information included in each acquired information set as an axis of the space where the information set icon is arranged, and set a classification arrangement space having one or more axes The classification setting space based on the feature setting attribute and the feature value component of the media information that each information set has Wherein the classification and arrangement unit for classifying arrangement information set icon, further comprising an information display unit that displays the information set icon and the classification configuration space.
With the above configuration, the amount of data to be transferred can be reduced by generating and using an information set icon that requires high compression efficiency and a small amount of data transfer as data used for displaying information. The waiting time until the display can be shortened, and the listability and ease of grasping of the information contents for the searcher can be ensured. In addition, the information set icons are classified and arranged in the feature space according to the feature amount, so that related information set icons are arranged in the vicinity, and images having specific features are arranged in specific locations, thereby allowing the user to The search efficiency can be improved.
The processing by the multimedia information classification and arrangement apparatus is divided into two phases, an information set icon generation phase and an information search phase using an information set, and the information set icon generation phase is executed in advance as preprocessing, and the information search phase It is also possible to generate and prepare information set icons of information sets used for searching in the database. According to this configuration, in the information set search phase, it is not necessary to generate an information set icon each time from the information set obtained as a result of the search, and the information set icon corresponding to the searched information set is placed in the classification arrangement space. It is only necessary to classify and arrange, and the processing can be speeded up.
Next, as described above, the other configuration of the multimedia information classification and arrangement apparatus of the present invention does not create an information set icon by combining icons corresponding to each piece of media information constituting the information set. The icons corresponding to the media information are grouped and arranged in the classification arrangement space according to the feature amount, and the icons are displayed at the arrangement positions while being temporally switched according to the display order at the arrangement positions.
In other words, an information set acquisition unit for acquiring media information in units of the information set, and information visualization for assigning an icon for visually displaying the contents of each piece of media information constituting the information set in units of the information set An attribute selected from the attribute of the feature quantity extracted from each piece of media information included in each acquired information set, a feature quantity extraction section that extracts a feature quantity component from each media information of each information set, and an icon Is assigned as an axis of the space to be arranged, based on the axis setting unit for setting the classification arrangement space having one or more axes, the attribute of the feature amount of the media information each information set has, and the component of the feature amount, A classification arrangement unit that classifies and arranges icons for each piece of media information included in the information set in the classification arrangement space, the classification arrangement space, and the classification arrangement space An information display unit that displays icons, and includes an information display unit that determines a display order of icons for each piece of media information included in the information set and displays the icons at the arrangement position while temporally switching the icons. Features.
With the above configuration, the amount of data to be transferred can be reduced by generating and using an icon with high compression efficiency and a small amount of data transfer as data to be used for displaying information. The waiting time can be shortened, and the icons are displayed while being switched in accordance with the display order. Therefore, it is possible to ensure the listability and the ease of grasping the information contents for the searcher.
Even in the above configuration, the information set icon generation phase and the information search phase using the information set are divided into two phases, the information set icon generation phase is executed in advance as preprocessing, and the information used for the search in the information search phase Set information set icons can be created and prepared in a batch.
In the above configuration, when there are a plurality of feature amount components extracted by the feature amount extraction unit with respect to a certain piece of media information in a certain information set, a plurality of classification arrangement units are provided based on each of the plurality of feature amount components. If the information set icons or the icons to be switched and displayed in accordance with the display order are classified and arranged at individual positions, even if a plurality of components exist in the feature quantity, the information can be appropriately classified and arranged in the feature space.
In the above configuration, when assigning icons by the information visualization unit, one of the icons prepared in advance is selected, and the display content of the selected icon is modified according to the content of the corresponding media information. For example, the icons and information set icons for each medium can be easily grasped reflecting information contents and appropriate for searching.
Next, in the multimedia information classification and arrangement apparatus, the axis setting unit resets the assignment of the feature amount attribute to each axis of the classification and arrangement space axis, and reconfigures the classification and arrangement space including one or more axes. An axis resetting function for setting, wherein the feature amount extraction unit extracts a component of the feature amount according to the axis resetting by the axis setting unit, and the classification arrangement unit according to the component of the extracted feature amount Preferably, each information set icon is classified and arranged in the classification arrangement space, and the information display unit displays media information corresponding to the viewpoint for the reset classification arrangement space.
With the above configuration, you can see the search results executed by the searcher, perform re-search interactively to narrow down the information flexibly, or use the reconfigured classification space axis to continue the search one after another from different points of view. be able to. In other words, it is possible to reset the classification arrangement space axis by specifying another feature amount by looking at the search results, and use the classification arrangement space using the reset axis to set the information set icon. It can be rearranged and redisplayed.
Next, in the multimedia information classification and arrangement apparatus, the axis setting unit resets the assignment of the feature amount attribute to each axis of the classification arrangement space and resets the already displayed classification arrangement space, The classification arrangement unit reclassifies and arranges each information set icon with respect to the reset classification arrangement space, and the information display unit displays the reclassification arrangement when the information display unit displays the reclassification arrangement. It is preferable that the displayed media information is moved and displayed in a predetermined increment from the previously displayed position to the position displayed after the reclassification arrangement.
According to the above configuration, when the classification arrangement space is reset and the information set icons are reclassified, it is possible to visually check the status of how the arrangement position of each information set icon has changed. The convenience of set search and classification processing is improved.
In the multimedia information classification and arrangement apparatus, the classification and arrangement unit fixes the information set icon selected by the user to a specific position in the classification and arrangement space designated by the user, and the classification and arrangement in which the axis is reset. A function of fixing the information set icon selected by the user at the specific position and reclassifying and arranging only other information set icons according to the classification arrangement space when the information set icons are reclassified and arranged with respect to the space. It is preferable to provide.
According to the above configuration, since the display position of the information set icon of interest is fixed at a specific position, the information set icon of interest can be easily found, and the feature of the information set icon of interest and the axis is set Since information set icons that are similar in quantity are arranged in the vicinity, it is easy to grasp the relationship between information sets. In addition, reclassification display can be executed by trial and error while paying attention to the specific information set.
Next, the multimedia information classification / arrangement apparatus of the present invention records the processing program of the multimedia information classification / arrangement apparatus of the present invention on a computer-readable recording medium, and provides the processing program using the computer. A multimedia information classification and arrangement apparatus can be realized.
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of a multimedia information classification and arrangement apparatus and classification and arrangement method of the present invention will be described with reference to the drawings.
(Embodiment 1)
A multimedia information classification and arrangement apparatus according to Embodiment 1 of the present invention will be described. The multimedia information classification and arrangement apparatus according to the first embodiment is an “information set” obtained by grouping the same type and different types of media information related to the same object from a set of media information including image information, text information, and audio information. And the information set is used as a processing unit. Then, an icon for visually displaying the contents is assigned to each piece of media information constituting the information set, and an “information set icon” for visually expressing the contents of the information set by combining the icons is used. .
First, the concept of an information set serving as an information processing unit used in the multimedia information classification and arrangement apparatus of the present invention will be described. Next, an apparatus configuration example of the multimedia information classification and arrangement apparatus of the first embodiment will be shown, and a processing flow of the multimedia information classification and arrangement apparatus of the first embodiment will be shown with reference to a flowchart.
The multimedia information classification and arrangement apparatus of the present invention uses an information set as an information processing unit. This information set is a processing unit in which homogeneous and heterogeneous media information related to the same object is grouped from a set of media information including image information, text information, and audio information. FIG. 1 is a diagram simply showing the concept of the “information set” of the present invention. As shown in FIG. 1, one information set 1 is associated with a plurality of the same type or different types of media information that are related to each other. In the example of the information set 1, four pieces of media information of the same type or different types of image information 1a, image information 1b, audio information 1c, and keyword information 1d are associated together. These four types of media information of the same type or different types are collected under the concept of information having a relationship of “personal computer of company F”, for example.
FIG. 1 also shows how the information set of the present invention is generated from multimedia information in the prior art. Reference numeral 500 denotes multimedia information in the prior art, in which a plurality of pieces of media information are integrated and combined. For example, HTML file data. The information set acquisition unit 10 is for acquiring the information set of the present application. For example, the information set acquisition unit 10 can take in conventional multimedia information and generate an information set.
The procedure for generating the information set is as follows. The information set acquisition unit 10 extracts and collects image portions, and further collects other media information such as text information, other image information, moving image information, audio information related to the image. For example, if it is text information, an HTML file is analyzed and acquired. As an example of the analysis method, text near the image is related to the image in terms of content, and the number of line breaks between the two is used as a measure as a measure of the positional proximity between the image and text. . Further, it is possible to infer the degree of association between an image and text from the HTML tag structure. If there are many tags, it can be inferred that the degree of relevance between the two is low, and in particular, if there are <P>, <H1>, <HR>, etc., which are tags representing sentence breaks, it can be assumed that the degree of relevance is low. Moreover, since the ALT attribute representing the text used as a substitute for the image attached to <IMG>, which is a tag for displaying an image, is highly related to the image, it can be assigned a large degree of relevance. In this way, the type and number of tags included between the image and the text are used as one guide. In this manner, the information set acquisition unit 10 collects media information related to images. The information set acquisition unit 10 associates the collected media information as a set of media information related to the same object to form an information set. In the example of FIG. 1, the image information 1a is extracted, and the text information 1b, the audio information 1c, and the keyword information 1d related to the image information 1a are associated with a common concept, and the information set 1 is generated. In the conventional multimedia information 500, the image information 1a, text information 1b, audio information 1c, and keyword information 1d are not associated with a common concept, and each piece of media information is managed separately in terms of management. It is what has been.
Since the information set is not a combination of media, but is associated with a group as media information related to the same object, the media information can be added and deleted flexibly. If new media information is added to the multimedia information in this prior art, it is necessary to find and embed a portion for embedding the media information to be added to the multimedia information, and the multimedia information itself It becomes necessary to remake. On the other hand, when the “information set” of the present application is used, when new media information to be added, for example, voice data related to “Personal Computer of Company F” is obtained, the voice data is simply associated with the information set 1. If you increase the number, it will be good. The information set of the present application is not a combination of each piece of media information itself, but is associated with a common concept, and the contents of the media information itself are not subjected to special processing. It is distinctly different from the integrated composite multimedia information.
Furthermore, an information set is described. When associating image information and text information as an information set, for example, an image portion is extracted as image information from an HTML document in which images and text on the WWW are mixed, and text around the image of the HTML document is extracted as text information. And associate them. As another example, a word that seems to be important is extracted as keyword information from text information based on, for example, the tf-idf method. If the image information, audio information, and text information of the moving image are associated with each other, for example, a moving image portion is extracted as moving image information from an XML file including movie data including the moving image and audio, and the audio data is converted into audio data. As information, the surrounding text in which the movie data is embedded is extracted as text information and associated with each other. An information set may be generated by tracing a link from HTML data linked to other data and extracting image information, text information, audio information, and the like of the link destination. Moreover, not only the image information and text information exist in the form of one file from the beginning like an HTML document, but also a plurality of text information is associated with one image information, and vice versa. On the other hand, a plurality of pieces of image information may be associated. Also, a URL (Universal Resource Locator) can be included as part of the information set. By including a URL in a part of the information set, it is possible to select an information set classified and arranged as described later, and display a web page including the information set based on the URL.
One feature of this information set is that each piece of media information itself is not edited and processed, the image information remains as image information, and the sound information remains as sound information. Can be processed as a feature amount of the entire information set. As will be described later, when classifying and arranging information sets as processing units based on feature quantities, various feature quantities of media information belonging to the information set are processed as feature quantities of the entire information set, and information set icons are classified. The position to be placed is determined.
The processing using the information set of the present invention as a processing unit is clearly different from the conventional multimedia processing. Prior art multimedia processing mainly refers to the following two processes. The first meaning of the conventional multimedia processing means that one apparatus can handle a plurality of media such as image information, text information, and audio information. In this case, one apparatus can handle a plurality of media, but the processing unit itself is for each media information, and each media information such as image information, text information, and audio information is individually processed. The second meaning of the conventional multimedia processing means that the processing unit itself is multimedia data in which a plurality of media are integrated. In this case, for example, image information or audio information is embedded in text information or a link is established, and the data itself is integrated and processed. On the other hand, the information set of the present invention uses, as a processing unit, an information set in which the same type and different types of media information that are related to each other among media information including image information, text information, and audio information are collectively associated. Unlike the conventional multimedia information of the first meaning described above, each media information is processed separately without being associated with each other. Further, in the present invention, although a plurality of pieces of media information data are associated with each other, the plurality of pieces of media data itself are not integrated and processed as in the conventional multimedia information having the second meaning. Information is collected and collected. Also, given new media information, it is easy to create a new information set if it belongs to a related information set among existing information sets or if there is no existing related information set It becomes possible. New media information cannot be easily added if data of a plurality of media are integrated and processed as in the conventional multimedia information of the second meaning.
Next, the “information set icon” used in the present invention will be described. The point of using the “information set icon” is also clearly different from the conventional information retrieval technology. In the information set icon, the information processing unit is an information set, and a corresponding icon is assigned to each piece of media information such as text, image, and sound constituting the information set, and these icons are combined to form an information processing unit. An icon corresponding to an information set.
FIG. 2 is a diagram illustrating an example of an information set icon and an example of a procedure for generating the information set icon.
First, an information set is acquired. Assume that the information set 3 is acquired. This information set 3 is an information processing unit associated with a common concept of “Mozart”, and includes three pieces of media information related to the musician “Mozart”. Here, acoustic data 3a, image data 3b, and text data 3c are included. Note that these pieces of media information are not integrated or combined, but are merely associated as the information set 3.
Next, the feature amount of each media information is extracted. It is assumed that a feature value “music section, minor, piano” is obtained as a feature of the acoustic data 3a. Assume that a feature amount “background: black, target: human face (region skin color)” is obtained as a feature of the image data 3b. It is assumed that a feature amount “Mozart, Piano Concerto No. 20” is obtained as a feature of the text data 3c. Note that a method of extracting feature amounts from each piece of media information will be described later.
Next, an icon corresponding to the feature amount is assigned to each piece of media information. Further, the assigned icon is modified according to the feature amount. In this example, a piano keyboard icon is assigned to the acoustic data 3a. Further, in order to express that it is a minor key, for example, the color of the piano keyboard is changed to blue. For the image data 3b, an icon that is cut out around a skin color area indicating a human face and subjected to image data compression such as DCT is assigned. A text icon consisting of a text sentence “Mozart, Piano Concerto No. 20” is assigned to the text data 3c.
Next, an icon assigned to each piece of media information is combined to generate one information set icon. In this example, an information set icon 3d is obtained for the information set 3.
If some pieces of media information data are missing from the media information constituting the information set, an information set icon can be created by supplementing the missing data. In particular, when the image data is missing, it is preferable to supplement the image data because it affects the viewability in the information classification display. For example, in a certain information set, the characteristic of the acoustic data is “music section only, minor, guitar”, and the content characteristic of the text data is “piano player A, Allegro Moderate No. 13 second minor”. If there is no icon, an information set icon is created according to the icon creation procedure described below.
First, “piano player A” is searched in the artist dictionary to obtain a face photo. Next, the background of the face photo is yellow (corresponding to the second minor). Next, paste a guitar picture on the background. Next, a label “Piano performer A, Allegro Moderate No. 13 in B minor” is attached, and an information set icon is created while complementing the missing image data.
As described above, according to the information set icon, it is possible to easily understand at a glance what kind of media information is contained in the information set while at the same time requiring high compression efficiency and a small amount of data transfer. It is possible to ensure the listability and the ease of grasping the information content for the person.
Next, FIG. 3 shows a configuration example of the multimedia information classification and arrangement apparatus of the first embodiment. As shown in FIG. 3, the multimedia information classification and arrangement apparatus includes an information set acquisition unit 10, a feature amount extraction unit 20, an information visualization unit 30, an axis setting unit 40, a classification arrangement unit 50, and an information display unit 60. Reference numeral 70 denotes an accessible network such as the Internet, and the multimedia information source 80 is accessible via the network 70. The multimedia information source 80 stores a variety of multimedia information such as image information, text information, audio information, and the like. In this example, an information set that is a set of media information related to each other is also stored. To do.
In the apparatus configuration example of FIG. 3, the information set acquisition unit 10 includes an information set reading unit 11, an information set collection unit 12, an information set collection key input unit 13, and a storage medium 13. The information set collection unit 12 is a part that collects information sets, and collects information sets that exist in the multimedia information source 80 via the network 70. The information set reading unit 11 can accept input of an information set directly from a storage medium such as a CD-ROM. As described above, the information set acquisition unit 10 is configured to include either or both of the information set reading unit 11 and the information set collection unit 12 as appropriate, so that information existing in the multimedia information source 80 via the network 70 is obtained. A function of collecting sets and a function of receiving input of information sets directly from a storage medium such as a CD-ROM can be selectively retained.
The configuration example of the information set collection unit 12 described in the first embodiment includes a storage medium 13 such as a hard disk and an information set collection key input unit 14. It communicates with a multimedia information source 80 on the network 70 via a communication interface. The storage medium 13 can be used when storing the collected information set. The information set collection key input unit 14 is a part that specifies a range to be collected using a keyword when collecting an information set. If there are a large number of information sets stored in the multimedia information source 80 on the network, collecting the information sets without specifying anything will result in an extremely large data capacity. Therefore, when collecting information sets, if a keyword is input from the information set collection key input unit 14 to narrow down the range in advance, the information set collection unit 12 collects an information set having the keyword.
The feature amount extraction unit 20 is a portion that extracts a feature amount from each piece of media information of the information set. Although not shown in FIG. 3, the feature amount extraction unit 20 has a function for extracting various feature amounts from each piece of media information.
For example, for image information, DCT transform coefficient feature quantities, wavelet transform coefficient feature quantities, HSI color histogram feature quantities, and the like can be given. By setting the DCT transform coefficient feature quantity in the classification and arrangement space axis, information can be classified and arranged based on the feature of the spatial frequency component of the image information. By setting the wavelet transform coefficient feature amount to the classification arrangement space axis, the classification of information by the characteristics of the low-frequency part of the image information, in particular, the outline of the outline of the object reflected in the image, Placement is possible. The wavelet transform is also a waveform / frequency transform similar to the DCT transform, but can be transformed while maintaining the position (time) information. By setting the HSI color histogram feature amount in the classification and arrangement space axis, information can be classified and arranged based on the color information of the image. According to the HSI color histogram, it is possible to grasp the features of the image such as how much the human skin region is included.
For example, for text information, a feature amount indicating the presence of a specific word, a feature amount of the number of times the specific word is used, and the like can be given. Select a word set that seems to be effective for characterizing the text beforehand, measure the relative importance of each word using the tf-idf method (term frequency-inverse document frequency), and enumerate them A feature vector having the word tf-idf value as an element is extracted from each text.
In addition, for example, for speech information, speech frequency feature amounts using short-time frequency analysis (Fourier transform or MFCC), speech amplitude feature amounts, speech time-shift feature amounts, and the like can be given. Using feature vectors obtained as a result of MFCC analysis or LPC cepstrum analysis, feature quantities can be extracted based on the characteristics of speech frequency, that is, the level of speech, sound quality, and the like. According to the sound frequency, characteristics of sound information, such as a voice person, can be expressed if the accuracy is improved by different sound generators, animal calls, male voices, and female voices. It is possible to extract the feature amount of the voice information according to the size of the voice based on the amplitude feature amount and the time-shift feature amount of the voice.
In addition, the feature quantity extraction unit 20 is preferably capable of adding, updating, and deleting functions for extracting feature quantities from each piece of media information. If the feature quantity extraction function is provided as a microprogram by a DSP (digital signal processor) or the like, the contents can be easily rewritten and added as necessary.
The information visualization unit 30 assigns an icon for visually displaying the contents of each piece of media information constituting each information set stored in the multimedia information source 80, and synthesizes these icons to synthesize the information set. This is a part that generates an information set icon that visually represents the contents. The information set icon is preferably generated before the information classification / arrangement process is executed by the user.
The information set icon generation processing procedure by the information visualization unit 30 is as described above with reference to FIG. In the procedure described with reference to FIG. 2, there are a plurality of methods for assigning icons according to the feature amount (contents) of media information.
First, a “content-icon conversion table” is used. This prepares a conversion table that describes the contents of each piece of media information and the correspondence between icons assigned thereto. If the feature amount (content) of each media information is described in the content-icon conversion table, the corresponding icon can be easily assigned.
The second is a method of using “rules for converting content features into icons” that has been described manually in advance. A program including rules for converting content features into icons is provided.
Third, there is a method of preparing a large amount of “content feature-icon pair” data, automatically learning a map for converting the content feature into an icon, and using it. An expert system having knowledge of rules for converting content features into icons is provided.
Fourth, as the above application, when the contents of each piece of media information cannot be expressed by the above processing, the information is converted into a plurality of icons, or difference information that cannot be expressed is attached as additional information.
If the feature quantity has multiple values (components) or the information content is divided into multiple parts, multiple feature vectors are recognized and different icons are prepared for each feature vector. Alternatively, one information unit can be expressed by a plurality of icons by copying the same icon.
The axis setting unit 40 is a part for setting the classification arrangement space axis, sets the allocation of the feature amount extracted from each media information to each axis of the classification arrangement space, and has one or more axes. Set. For example, three axes of the X axis, the Y axis, and the Z axis are designated, and the space spanned by the XYZ axes is set as the classification arrangement space. Here, for example, the information display unit 60 described later is displayed such that the display display surface is the XY plane and the screen depth is in the Z-axis direction.
Here, the feature quantity that can be set for the classification arrangement space axis may be a feature quantity that can be extracted according to media such as image information, text information, and audio information.
For example, regarding text information, a feature amount indicating the presence of a specific word, a feature amount of the number of times the specific word is used, and the like can be given. By setting the feature quantity indicating the presence of a specific word and the feature quantity of the number of times the specific word is used on the classification and arrangement space axis, it is possible to classify and arrange text information including the explanation of the specific word. If it is an information set in which image information is associated with these text information, the image information represented by the specific word is also classified and arranged in the classification arrangement space.
Further, for example, with respect to image information, there are DCT transform coefficient feature quantities, wavelet transform coefficient feature quantities, HSI color histogram feature quantities, and the like. By setting the DCT transform coefficient feature quantity in the classification and arrangement space axis, information can be classified and arranged based on the feature of the spatial frequency component of the image information. By setting the wavelet transform coefficient feature amount to the classification arrangement space axis, the classification of information by the characteristics of the low-frequency part of the image information, in particular, the outline of the outline of the object reflected in the image, Placement is possible. The wavelet transform is also a waveform / frequency transform similar to the DCT transform, but can be transformed while maintaining the position (time) information. By setting the HSI color histogram feature amount in the classification and arrangement space axis, information can be classified and arranged based on the color information of the image. According to the HSI color histogram, it is possible to grasp the features of the image such as how much the human skin region is included.
Further, for example, with respect to audio information, audio frequency feature quantity, audio amplitude feature quantity, audio time-shift feature quantity, and the like can be cited. By setting the voice frequency feature amount to the classification arrangement space axis, the voice information can be classified and arranged according to the voice frequency feature, that is, the voice level, sound quality, and the like. According to the sound frequency, characteristics of sound information, such as a voice person, can be expressed if the accuracy is improved by different sound generators, animal calls, male voices, and female voices. By setting the amplitude feature quantity and the time-shift feature quantity of the voice to the classification arrangement space axis, the voice information can be classified and arranged according to the magnitude of the voice.
Note that the feature amount assigned to one spatial axis by the axis setting unit 40 can be assigned by combining a plurality of feature amounts. The combination of two or more feature amounts needs to be converted and adjusted with respect to each other, but can be combined with a score such as a score. For example, with respect to one spatial axis, “1” is set if the specified color component of the HSI color histogram is included as a first feature amount at a ratio equal to or higher than the threshold, and “0” is set if it is not included. The feature amount 2 is “1” if it exists as a feature amount indicating the presence of a specific word in the text information, “0” if it does not exist, and the first feature amount and the second feature amount are added together. Processing such as assigning to one space axis is possible. Conversely, one feature amount can be assigned to a plurality of axes. There are many methods for assigning two or more axes from one feature, but one such method is to consider the feature as a vector and select multiple dimensions with large variance for each dimension of the vector. A method (principal component analysis method) using the dimension as an axis can be mentioned.
The classification arrangement unit 50 is a part that classifies and arranges information set icons in the classification arrangement space based on the feature amount extracted by the feature amount extraction unit 20. For example, if the classification arrangement space is set by the XYZ three axes, the information set icons are classified and arranged in the three-dimensional classification arrangement space.
The information display unit 60 is a part that displays an information set icon for the information set classified and arranged in the classification arrangement space by the classification arrangement unit 50, and displays the information set icon at a position corresponding to the viewpoint for the classification arrangement space. For example, with respect to the classification arrangement space stretched from the XYZ axes, if the XY plane is the front and the Z-axis direction is the depth direction, the display surface is the XY plane and the screen depth is the Z-axis direction. Is done.
An example of the processing flow of the multimedia information classification and arrangement apparatus according to the first embodiment of the present invention configured as described above will be described with reference to FIG.
As shown in FIG. 4, the processing of the multimedia information classification and arrangement apparatus according to the first embodiment of the present invention is broadly divided into the following: information set acquisition processing (S101) and information set icon corresponding to the information set Generation processing (S102), setting of feature quantities to be assigned to the axes of the classification arrangement space, axis setting processing (S103) for defining the classification arrangement space, and feature quantity extraction for extracting predetermined feature quantities from the media information of the information set Processing (S104), information classification icon processing for classifying and arranging information set icons in the classification arrangement space according to the extracted feature amount (S105), and setting information set icons classified and arranged in the classification arrangement space and the classification arrangement space The information display process (S106) displayed from the viewpoint and the search result displayed are continued, and the search is further refined or changed as necessary. To order, a resetting feature amounts allocated to the axis of the classification configuration space, redefined re axial setting processing classification configuration space (loop to step S103).
Note that the re-axis setting process is not indispensable when a desired search result is obtained by the classification and arrangement of the information set icons based on the classification arrangement space set by the first axis setting process (S103). In the above processing flow, it is assumed that the information set exists in an accessible state from the beginning. However, as described later in the second embodiment, the multimedia information classification and arrangement apparatus performs image information processing. Information set generation processing for defining and generating an information set by collecting information having relevance among media information including text information and audio information may be executed as preprocessing.
First, the multimedia information classification and arrangement apparatus of the present invention executes information set acquisition processing (S101) by the information set acquisition unit 10 by performing search by a user or the like. Here, for example, the information set acquisition unit 10 acquires the information set by collecting the information set from the multimedia information source 80 such as a WWW server that is accessible on the network 70 such as the Internet via the communication interface. To do. In this example, as the information set acquisition process (S101), a plurality of information sets in which image information and text information are associated are acquired. Further, in order to narrow down the range of information sets to be acquired to some extent, only those hit by a keyword search may be acquired.
In this example, it is assumed that an information set including the information set 3 that hits the keyword “musician” is acquired. For example, all six sets of information including acoustic data, image data, text data, “Schubert Piert Quintet”, “Mozart Piano Concerto No. 20”, “Mozart Figaro Marriage”, “Handel Tone” “Kajiya E major”, “Bach Fantasia and Fugat minor”, “Bach Toccata and Fugani minor”, etc. are obtained.
Next, the multimedia information classification and arrangement apparatus generates information set icons corresponding to each information set by the information visualization unit 30 (S102). The procedure is as shown in FIG. Here, the compressed image and the icon indicating the acoustic data are added to the upper side, and the icon indicating the text content is added to the lower side, and the resultant is combined. Note that the feature amount extraction unit 20 may be used in executing the feature amount extraction process for generating the information set icon.
Next, the multimedia information classification and arrangement apparatus receives an instruction regarding information classification and arrangement from the user, and starts classification and arrangement processing.
First, the axis setting unit 40 sets the feature amount to be assigned to the axis of the classified arrangement space, and executes the axis setting process (S103) for defining the classified arrangement space. In this example, no timbre is set on the X axis (horizontal direction), no DCT conversion coefficient feature quantity is set for image information on the Y axis (vertical direction), and no feature quantity is set on the Z axis (depth direction).
Next, the multimedia information classification and arrangement apparatus uses the feature amount extraction unit 20 to extract feature amounts assigned to each spatial axis from each piece of media information in the collected information set. (S104) is executed. As described above, the feature amount extraction unit 20 extracts the feature amount specified in the axis setting process S103 from each information set. In this example, the timbre feature amount of the acoustic data and the DCT conversion coefficient feature amount of the image data are extracted.
When the feature quantity has a plurality of values (components), a plurality of feature vectors can be output.
Next, the multimedia information classification and arrangement apparatus uses the classification and arrangement unit 50 to execute information classification and arrangement processing (S105) for classifying and arranging information set icons in the classification and arrangement space according to the extracted feature amount. Then, the information display unit 60 executes an information display process (S106) for displaying the classified and arranged information set icons in the classified arrangement space and the classified arrangement space from the setting viewpoint. FIG. 5 shows an example in which six information set icons collected with the keyword “musician” are classified and arranged in the classification arrangement space. In this example, the X-axis is classified as a timbre feature amount, the piano is classified and arranged on the left side of the X-axis, the violin is near the center, and the harp is near the right side, and the Y-axis is classified and arranged according to the size of the DCT conversion coefficient feature amount of the image data. Suppose that If the information set icon in the example of FIG. 5 is taken as an example of acoustic data, the icon part of the acoustic data is assigned an icon such as piano keyboard, violin, or harp according to the tone color, or adjusted to minor or major. It has been modified to be colored.
When multiple feature vectors are output for one information set, separate information set icons are displayed at the classification and arrangement positions for the individual feature vectors, or the same information set icon is copied. By doing so, one information unit is expressed by a plurality of icons.
When desired image information or the like is obtained by the information display processing step S106 from the above information set acquisition processing step S101, the purpose of the initial search processing is achieved, and the re-axis setting processing is not necessary (step S107: NO), The search process may be terminated. However, when the purpose of the original search process is not achieved and the re-axis setting process is necessary (step S107: YES), the multimedia information classification and arrangement apparatus of the present invention It is possible to loop to step S103 to perform the axis setting process. In other words, the axis setting unit 40 is used to continue the search by changing the further narrowing down and the cut point as necessary by looking at the classification / arrangement display result displayed in the information display processing step S106. The feature amount to be assigned to is reset, and the re-axis setting process for redefining the classification arrangement space is executed. As described above, until the necessary image information is obtained, the feature amount to be assigned to the classified arrangement space axis is reset (S103), the reset feature amount is re-extracted from each piece of media information of the information set (S104), and re-extraction is performed. Based on the feature amount, the information set icons are reclassified and rearranged in the classification arrangement space (S105), and the information set icons rearranged in the classification arrangement space by the information display unit 60 are redisplayed (S106). For example, the axis setting unit 40 can change the X axis from a timbre feature quantity to a wavelet transform coefficient feature quantity, and the Y axis from a DCT transform coefficient feature quantity to an HSI color histogram feature quantity. Such a series of axis resetting processes can be repeated until a desired search result is obtained.
In this way, by looking at the display result of the classification / placement of the information set icon obtained with a certain feature amount, it is possible to try the classification / placement of the information set icon using a completely different feature amount, which is useful for the searcher. Unexpected new and heuristic information can be obtained.
Further, it is possible to display a web page of an information set corresponding to the selected information set icon as shown in FIG. 6 by looking at a display result that is a classification / arrangement of information set icons such as image information. If a URL including the information set such as the image information is stored in part of the information set icon, the URL information is used when the image information is selected by the user on the information display unit 60. It becomes possible to display the web page. For example, image information is selected, and a web page is displayed by clicking a button “web page” from a menu or the like with a pointing device. Clicking on the image itself may display the web page.
Next, another processing flow different from the processing flow shown in FIG. 4 will be described with reference to FIG. In the process shown in FIG. 7, the entire process is divided into two phases, an information set icon generation phase and an information set search phase, and the information set icon generation process is executed as a pre-process as an information set icon generation phase. Information set icons for information sets used in the information set search phase are generated together. As the information set search phase, information set search acquisition processing (701), axis setting processing (S702), feature amount extraction processing (S703), information classification arrangement processing (S704), information display processing (S705), A re-axis setting process (a loop to step S702) is executed as necessary. In this information flow, in the information set search phase, there is no need to generate an information set icon from the information set obtained as a result of the search, and the information set icon corresponding to the searched information set is stored in the classification arrangement space. Since it is only necessary to classify and arrange, the processing can be speeded up.
Furthermore, the feature quantity extraction processing 703 may be executed as a pre-process in the information set generation phase, and an information set icon and each feature quantity may be extracted and stored in association with the information set. According to this configuration, in the information set search phase, it is not necessary to extract the feature amount from the information set obtained as a result of the search every time, so that the processing can be further speeded up.
As described above, according to the multimedia information classification and arrangement apparatus shown in the first embodiment, the amount of data to be transferred can be reduced by using an icon with high compression efficiency and a small amount of data transfer as data used for displaying information. It is possible to reduce the waiting time until the searcher displays the information, and it is possible to ensure the listability and ease of grasping of the information contents for the searcher. In addition, the information set icons are classified and arranged in the feature space according to the feature amount, so that related information set icons are arranged in the vicinity, and images having specific features are arranged in specific locations, thereby allowing the user to The search efficiency can be improved.
(Embodiment 2)
Next, the multimedia information classification and arrangement apparatus of Embodiment 2 does not create an information set icon by combining icons corresponding to each piece of media information constituting the information set as in Embodiment 1, but instead of creating an information set icon. An icon for each information is prepared, and in the classified arrangement of the information set, the icon is displayed for each piece of media information at the corresponding arrangement position while switching in time according to the display order.
The apparatus configuration example of the multimedia information classification and arrangement apparatus of the second embodiment is the same as that shown in FIG. However, the processing contents of the constituent elements are different.
The information visualization unit 30 assigns an icon for visually displaying the contents to each piece of media information constituting the information set, but does not generate an information set icon by combining the icons for each piece of media information. .
The classification arrangement unit 50 classifies and arranges icons for each piece of media information included in the information set in the classification arrangement space based on the feature amount attribute of the media information and the component of the feature amount of each information set. . Instead of arranging information set icons, icons corresponding to each piece of media information included in the information set are classified and arranged as a group.
The information display unit 60 displays the classification arrangement space and icons, determines the display order of icons for each piece of media information included in the information set, and displays the icons at the arrangement positions while temporally switching the icons. For example, the icons are repeatedly displayed in the order of an image data icon, an acoustic data icon, and a text information icon, and are switched and displayed every second.
The information set acquisition unit 10, the feature amount extraction unit 20, the axis setting unit 40, the network 70, and the multimedia information source 80 may be the same as those described in the first embodiment.
An example of the processing flow of the multimedia information classification and arrangement apparatus of the second embodiment will be described with reference to FIG.
As shown in FIG. 8, the processing of the multimedia information classification and arrangement apparatus according to the second embodiment of the present invention includes information set acquisition processing (S801), icon generation processing for each media information (S802), and classification arrangement space. Axis setting processing (S803), information set feature amount extraction processing (S804), classification and arrangement processing (S805) of icons of each media information in the classification arrangement space, classification arrangement space and each media information An icon switching display process (S806) and a re-axis setting process (loop to step S803) are provided. Note that the re-axis setting process (S806) is not indispensable when a desired search result is obtained by classification and arrangement based on the classification arrangement space set by the first axis setting process (S803).
The multimedia information classification and arrangement apparatus generates an icon corresponding to each piece of media information included in each information set stored in the multimedia information source 80 by the information visualization unit 30 after executing the information set acquisition process (S801). (S802). The procedure is the same as that shown in FIG. 2, but it is not finally synthesized in the form of an information set icon. Note that the feature amount extraction unit 20 may be used in executing the feature amount extraction process in generating icons for each media information.
The axis setting process (S803) of the classification arrangement space and the feature amount extraction process (S804) of the information set are the same as S103 to S104 of FIG.
Next, the multimedia information classification and arrangement apparatus uses the classification and arrangement unit 50 to classify and arrange the icons of each media information in the classification and arrangement space according to the extracted feature amount (S805). Then, the information display unit 60 classifies, arranges, and displays the information in the classified arrangement space while switching the classified arrangement space and the icon of each media information (S806).
When a plurality of feature vectors are output for one information set, one information unit is represented by a plurality of icons by displaying icons at the classification and arrangement positions for the individual feature vectors.
When desired image information or the like is obtained from the above information set acquisition processing step S801 through information display processing step S806, the purpose of the initial search processing is achieved, and re-axis setting processing is not required (step S807: NO), The search process may be terminated. However, when the purpose of the initial search process is not achieved and the re-axis setting process is necessary (step S807: YES), the multimedia information classification and arrangement apparatus of the present invention It is possible to loop to step S803 to perform the axis setting process.
As in FIG. 7 of the first embodiment, the entire process is divided into two phases, an icon generation phase and an information set search phase, and the icon generation process is executed as a pre-process as an icon generation phase. An icon for each media information used in the above may be generated collectively.
As described above, according to the multimedia information classification and arrangement apparatus shown in the second embodiment, the amount of data to be transferred can be reduced by using an icon with high compression efficiency and a small amount of data transfer as data used for displaying information. It is possible to reduce the waiting time until the searcher's information is displayed, and each icon is displayed while being switched according to the display order, so that the listability and easy grasp of the information content for the searcher is ensured. be able to.
(Embodiment 3)
A multimedia information classification and arrangement apparatus according to Embodiment 3 of the present invention will be described. The multimedia information classification and arrangement apparatus according to the third embodiment applies a self-organizing map in classification and arrangement into a classification and arrangement space based on a feature amount of media information by a classification and arrangement unit.
FIG. 9 shows a device configuration example of the multimedia information classification and arrangement device of the third embodiment. As shown in FIG. 9, the classification and arrangement unit 50 includes a self-organizing map processing unit 51. The information set acquisition unit 10, the information visualization unit 30, the axis setting unit 40, the feature amount extraction unit 20, the information display unit 60, the network 70, and the multimedia information source 80 other than the classification and arrangement unit 50 are described in the first embodiment. This may be the same as that of the configuration example of the multimedia information classification and arrangement apparatus shown in FIG.
The self-organizing map is an unsupervised learning model using a neural network. In the self-organizing map, mapping is performed from a high-dimensional feature vector space to a low-dimensional space. At that time, those having similar feature vectors are arranged close to each other even in a low-dimensional space. This self-organizing map is applied to media information classification / arrangement processing, and the information set icon or implementation is performed as in the first embodiment using self-organizing map processing based on the feature amount extracted by the feature amount extraction unit 20. As in form 2, icons for each media information are arranged. The self-organizing map processing unit 51 executes the self-organizing map generation process on the feature amount extracted by the feature amount extracting unit 20. The classification and arrangement unit 50 according to the third embodiment classifies and arranges the information in the classification arrangement space based on the arrangement information obtained from the self-organizing map generated by the self-organizing map processing unit 51. In addition to the self-organizing map processing, depth expression based on the feature amount assigned to the Z axis (depth direction) can also be combined. For example, based on text information, it is decomposed into word frequency information, each frequency is vectorized, and the position of the axis in the depth direction is determined based on the vector. As another example, when a Web is searched using a keyword, it can be displayed as depth information in descending order of the degree of association based on the degree of association between the keyword returned by the text search server and the web page. Can be switched and displayed.
As described above, according to the multimedia information classification and arrangement apparatus of the third embodiment, by applying the self-organizing map processing, an image whose content is considered to be close in space is close and the content is distant. What you think can be placed far away.
(Embodiment 4)
A multimedia information classification and arrangement apparatus according to Embodiment 4 of the present invention will be described. The multimedia information classification and arrangement apparatus according to the fourth embodiment is a modification of the display method and browsing method of the classification and arrangement space in which information set icons are classified and arranged.
FIG. 10 shows an apparatus configuration example of the multimedia information classification and arrangement apparatus of the fourth embodiment. As shown in FIG. 10, the information display unit 60 includes a display viewpoint moving unit 61. In addition to the information display unit 60, the information set acquisition unit 10, the information visualization unit 30, the axis setting unit 40, the feature amount extraction unit 20, the classification arrangement unit 50, the network 70, and the multimedia information source 80 are described in the first embodiment. 3 may be the same as the configuration example of the multimedia information classification and arrangement apparatus shown in FIG.
The display viewpoint moving unit 61 has a function of moving the setting position of the viewpoint for displaying the space when displaying the classification arrangement space in which the information set icons are classified and arranged by the classification arrangement unit 50 in the information display unit 60. ing. The information display unit 60 displays the classification arrangement space viewed from the display viewpoint set by the display viewpoint movement unit 61.
In the multimedia information classification and arrangement apparatus according to the fourth embodiment, the display viewpoint of FIG. 5 shown in the first embodiment is set as a default, and the display viewpoint can be dynamically changed by the display viewpoint moving unit 61. In other words, it is possible to virtually move freely in the classification arrangement space where the information set icons are classified and arranged, and to display the classification and arrangement of the information set icons in the classification arrangement space visible from the movement position. Normally, since the display surface is basically a two-dimensional plane, information display icons at deep positions tend to be difficult to see although they can be displayed by perspective. However, according to the multimedia information classification and arrangement apparatus of the fourth embodiment, the display viewpoint can be dynamically changed, and according to the searcher's operation, the information set icon classification / The state of arrangement can be displayed near the display surface.
(Embodiment 5)
The multimedia information classification and arrangement apparatus of the fifth embodiment resets the classification arrangement space that has already been displayed by resetting the assignment of the attribute of the feature quantity to each axis of the classification arrangement space, and reset the classification arrangement space that has been reset. When reclassifying and arranging each information set icon and displaying how each information set icon is reclassified and arranged, from the position displayed before the reclassification arrangement to the position displayed after the reclassification arrangement The displayed media information is moved and displayed in predetermined increments.
In the reclassification arrangement, the information set icon selected by the user is fixed to a specific position on the classification arrangement space designated by the user, and each information set icon is re-established with respect to the classification arrangement space in which the axis is reset. When performing classification and arrangement, the information set icon selected by the user is fixed at a specific position, and only other information set icons are reclassified and arranged according to the classification arrangement space.
FIG. 11 simply shows a device configuration of a multimedia information classification and arrangement device according to the fifth embodiment. As shown in FIG. 11, the information display unit 60 includes a moving image processing unit 62. The classification and arrangement unit 50 includes an arrangement position fixing designation unit 52. The information set acquisition unit 10, the information visualization unit 30, the axis setting unit 40, the feature amount extraction unit 20, the network 70, and the multimedia information source 80 other than the classification arrangement unit 50 and the information display unit 60 are described in the first embodiment. 3 may be the same as the configuration example of the multimedia information classification and arrangement apparatus shown in FIG.
The moving image processing unit 62 of the information display unit 60 displays each information set icon before the reclassification arrangement when displaying the state where each information set icon is reclassified and arranged on the classification arrangement space by resetting the axis. A function of moving the image from the selected position to the position displayed after the reclassification arrangement in a predetermined increment. For example, the position of each information set icon before reclassification and arrangement is stored, the position after reclassification and arrangement of each information set icon is notified from the classification arrangement unit 50, and each information set icon is based on both coordinate points. Each time, the moving direction and moving distance are obtained, and each information set icon is moved in predetermined increments. The predetermined increment may be a predetermined distance regardless of the number of movement steps, or may be a increment in which the movement distance is adjusted so that the movement is completed with a predetermined number of steps.
The classification arrangement unit 50 includes an arrangement position fixing designation unit 52, and the user can designate a specific information set icon to be fixed at a specific position via the arrangement position fixation designation unit 52. The classification arrangement unit 50 fixes other information set icons in a state where the designated information set icon is fixed at a specific position when the information set icons are reclassified and arranged in the classification arrangement space in which the axes are reset. Is provided with a function of re-classifying and arranging only according to the classification and arrangement space.
The above-described reclassification arrangement function that moves each information set icon in predetermined increments and the reclassification arrangement function that fixes a specific information set icon at a specific position will be described using the specific examples of FIGS. 5 and 12. To do.
FIG. 5 described in the first embodiment is used as an example of the display state of the information set icon in the classification arrangement space before the reclassification arrangement. In this example, no timbre is set on the X axis (horizontal direction), no DCT conversion coefficient feature quantity is set for image information on the Y axis (vertical direction), and no feature quantity is set on the Z axis (depth direction).
Next, a state where the reclassification arrangement is performed will be described. It is assumed that the HSI color histogram feature amount is assigned as an axis in the XY plane direction by the re-axis setting, and the value “0” is all assigned to the Z axis without any feature amount being assigned. FIG. 12 shows a display example after the reclassification arrangement displayed by the information display unit 60.
In this way, the information set icons are reclassified and arranged along the feature amount newly assigned to the axis by the re-axis setting.
Here, the moving image processing unit 62 displays each information set icon by moving the information set icon from the position displayed before the reclassification arrangement to the position displayed after the reclassification arrangement in a predetermined unit. That is, from the state of FIG. 5 to the state of FIG. 12, each information set icon is displayed in a predetermined increment from the position before the reclassification arrangement to the position after the reclassification arrangement, and moves as if the information set icon can be tracked. The state of going is displayed. The moving image processing unit 62 stores the position of each information set icon shown in FIG. 5 before the reclassification arrangement, receives the notification of the position after the reclassification arrangement of each information set icon shown in FIG. The movement direction and movement distance are obtained for each information set icon based on the coordinate position, and the media information on which each information set icon is displayed is moved in predetermined increments.
Next, a specific example of reclassification arrangement in a state where a specific information set icon is fixed at a specific position using the arrangement position fixing designation unit 52 of the classification arrangement unit 50 will be described.
The user selects one or a plurality of information set icons from the displayed screen in order to grasp the relationship between a specific information set and another information set via the arrangement position fixing designation unit 52. For example, one information set icon is selected, the information set icon is fixed at the center, and the other information set icons are arranged in the classification arrangement space by the self-organizing map method. In addition, a plurality of information set icons, for example, four information set icons are selected, and the positional relationship of these information set icons is fixed to a specific positional relationship, for example, at the four corners of the screen, and other information set icons are self-organized. It is also possible to arrange in the classification arrangement space by the categorized map method. By fixing the specific information set icon in a specific positional relationship and performing the classification and placement in this way, it is possible to easily grasp the relationship between the selected information set and other individual information sets visually. become able to. For example, if the axis of the classification arrangement space now has color information as a feature quantity, if the red image, the blue image, the yellow image, and the green image are fixed and arranged at the four corners respectively, The images are gathered near the corner of the fixed red image, and the purple images are displayed near the middle of the red and blue image locations, so you can find individual images along the color system Becomes easier.
FIG. 13 and FIG. 14 are diagrams showing the concept of reclassification arrangement in which a specific information set icon is fixed at a specific position using the arrangement position fixing designation unit 52. FIG. 13 is a diagram showing a state in which a specific information set icon is selected and designated using the arrangement position fixing designation unit 52 before the reclassification arrangement. FIG. 14 shows the information set icon selected and designated in FIG. It is the figure which showed a mode that the other information set icon was rearranged and arrange | positioned fixed to the center. In FIG. 13, an information set icon 5 is an information set icon selected and designated by the user via the arrangement position fixing designation unit 52. If this information set icon 5 is fixed at the center and is reclassified and arranged by an attribute different from that before reclassification, for example, color information, the information set icon having a color close to the information set icon 5 as shown in FIG. Will be gathered together.
Note that the reclassification arrangement function that fixes a specific information set icon at a specific position using the arrangement position fixing designation unit 52 is combined with a reclassification arrangement function that moves each information set icon in a predetermined unit. It is also possible to display each information set icon so that it moves in a predetermined increment to the reclassified position when reclassifying and placing a specific information set icon at a specific position. is there.
According to the above configuration, the classification arrangement space can be reset, and the information set icon of interest can be reclassified in a fixed state, and how the arrangement position of each information set icon has changed. The situation can be visually confirmed, and the convenience of searching and classifying information set icons is improved.
(Embodiment 6)
A multimedia information classification and arrangement apparatus according to Embodiment 6 of the present invention will be described. The multimedia information classification and arrangement apparatus of the sixth embodiment is constructed by constructing the multimedia information classification and arrangement apparatus of the first to fifth embodiments described above with a client server system via a computer network. Among the device configurations of the multimedia information classification and arrangement apparatuses of the first to fifth embodiments described above, several patterns are possible depending on which elements are incorporated in the server computer and which elements are incorporated in the client computer.
FIG. 15 illustrates a client server in which an information visualization unit 30, an information set acquisition unit 10, and a feature amount extraction unit 20 are provided in a server computer 100, and an axis setting unit 40, a classification arrangement unit 50, and an information display unit 60 are provided in a client computer 101. It is a structural example.
FIG. 16 shows a configuration in which an information visualization unit 30, an information set acquisition unit 10, a feature amount extraction unit 20, and a classification arrangement unit 50 are provided in the server computer 100, and an axis setting unit 40 and an information display unit 60 are provided in the client computer 101. is there.
However, in each of the configurations shown in FIGS. 15 to 16, there are several methods for obtaining the information set. For example, there is a method in which the server computer 100 automatically collects and automatically updates an information set having contents designated in advance as a robot from a network or the like. In addition, the information set acquisition unit 10 is illustrated in the server computer 100 in FIGS. 15 to 16, but the information set collection key input unit 14 is separated from the information set collection unit 12 of the information set acquisition unit 10. Provided on the client computer 101 (not shown), and a user of the client computer 101 inputs an information set collection key using the information set collection key input unit 14, and uses the input information set collection key of the server computer 100. There is a method in which the server computer 100 dynamically collects the corresponding information set from the network or the like by using the information set collection key.
As described above, by providing the apparatus components of the multimedia information classification and arrangement apparatus of the first to fifth embodiments described above separately for the server computer and the client computer, the multimedia information classification and arrangement apparatus of the present invention can be provided by the client server system. Can be built.
(Embodiment 7)
The multimedia information classification and arrangement apparatus of the present invention is constructed by using various computers by recording and providing a program describing processing steps for realizing the processing described in the above embodiment on a computer-readable recording medium. be able to. As shown in the example of the recording medium shown in FIG. 17, the recording medium on which the program having the processing steps for realizing the multimedia information classification and arrangement apparatus of the present invention is recorded is a portable type such as a CD-ROM 202 or a flexible disk 203. The recording medium 201 may be any of the recording medium 200 in the recording apparatus on the network and the recording medium 205 such as a computer hard disk or RAM. When the program is executed, the program is loaded on the computer 204. Executed on the main memory.
Industrial applicability
According to the multimedia information classification and arrangement apparatus of the present invention, the amount of data to be transferred can be reduced by using an information set icon that requires high compression efficiency and a small amount of data transfer as data used for displaying information. It is possible to reduce the waiting time until the searcher displays the information, and to ensure the listability and easy grasp of the information contents for the searcher. In addition, the information set icons are classified and arranged in the feature space according to the feature amount, so that related information set icons are arranged in the vicinity, and images having specific features are arranged in specific locations, thereby allowing the user to The search efficiency can be improved. Even when the icons of the media information are displayed while being switched in accordance with the display order instead of the information set icons, it is possible to ensure the listability and the ease of grasping the information contents for the searcher.
In addition, according to the multimedia information classification and arrangement apparatus of the present invention, by holding the information set generation unit, media including image information, text information, and audio information as preprocessing prior to information set classification and arrangement processing. It is possible to collect information, analyze the relationship between the collected media information, and collect related media information to generate an information set icon.
Further, according to the multimedia information classification and arrangement apparatus of the present invention, the classification and arrangement space can be reset, and the information set icon of interest can be reclassified in a fixed state at a specific position. The situation of how the position has changed can be visually confirmed, and the convenience of information set search and classification processing is improved.
[Brief description of the drawings]
FIG. 1A is a diagram simply showing the concept of the “information set” of the present invention, and FIG. 1B is a diagram showing an example of multimedia information in the prior art.
FIG. 2 is a diagram showing an example of an information set icon and an example of a procedure for generating the information set icon.
FIG. 3 is a diagram showing an apparatus configuration example of the multimedia information classification and arrangement apparatus according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing an example of a processing flow of the multimedia information classification and arrangement apparatus according to the first embodiment of the present invention.
FIG. 5 is a diagram showing an example in which six information set icons collected with the keyword “musician” are classified and arranged in the classification arrangement space.
FIG. 6 is a diagram showing a web page of an information set corresponding to a selected information set icon.
FIG. 7 is a flowchart showing an example of the processing flow of the multimedia information classification and arrangement apparatus according to the second embodiment of the present invention.
FIG. 8 is a diagram showing an apparatus configuration example of a multimedia information classification and arrangement apparatus according to the third embodiment of the present invention.
FIG. 9 is a diagram showing a device configuration example of the multimedia information classification and arrangement device according to the fourth embodiment of the present invention.
FIG. 10 is a diagram simply showing a device configuration of a multimedia information classification and arrangement device according to Embodiment 5 of the present invention.
FIG. 11 is a diagram showing a display example after the reclassification arrangement displayed by the information display unit 60 according to the fifth embodiment of the present invention.
FIG. 12 is a diagram showing a state in which a specific information set icon is selected and designated using the arrangement position fixing designation unit 52 before the reclassification arrangement.
FIG. 13 is a diagram showing a state in which the information set icon selected and designated in FIG. 12 is fixed at a specific position (center of the screen) and other information set icons are reclassified and arranged.
FIG. 14 is a diagram showing an example in which the multimedia information classification and arrangement apparatus according to the sixth embodiment of the present invention is constructed with a client-server configuration.
FIG. 15 is a diagram showing another example in which the multimedia information classification and arrangement apparatus according to the sixth embodiment of the present invention is constructed with a client-server configuration.
FIG. 16 is a diagram showing an example of a recording medium on which a program having processing contents as processing steps of the multimedia information classification and arrangement apparatus according to the seventh embodiment of the present invention is recorded.

Claims

A set of media information including image information, text information, audio information, and a group of similar and heterogeneous media information related to the same object as an information set,
An information set acquisition unit for acquiring media information in units of the information set;
A feature amount extraction unit that extracts a component of a feature amount from each media information of each information set;
The contents of each piece of media information constituting the information set are visually displayed using data indicating the correspondence between the feature amount of the media information and the icon or the rule for converting the feature amount of the media information into an icon. An information visualization unit that assigns icons and generates an information set icon for visually expressing the contents of the information set by combining the icons ;
An attribute selected from the attribute of the feature amount extracted from each piece of media information included in each acquired information set is assigned as an axis of a space in which the information set icon is arranged, and a classification arrangement space having one or more axes is set. An axis setting section;
A classification arrangement unit that classifies and arranges information set icons in the classification arrangement space based on the attribute of the characteristic amount of media information that each information set has and the component of the characteristic amount;
A multimedia information classification and arrangement apparatus comprising an information display unit for displaying the classification and arrangement space and the information set icon.

A set of media information including image information, text information, audio information, and a group of similar and heterogeneous media information related to the same object as an information set,
An information set acquisition unit for acquiring media information in units of the information set;
A feature amount extraction unit that extracts a component of a feature amount from each media information of each information set;
The contents of each piece of media information constituting the information set are visually displayed using data indicating the correspondence between the feature amount of the media information and the icon or the rule for converting the feature amount of the media information into an icon. An information visualization unit that assigns icons ;
An axis setting that assigns an attribute selected from the attribute of the feature amount extracted from each media information included in each acquired information set as an axis of a space for arranging icons, and sets a classification arrangement space having one or more axes And
A classification arrangement unit that classifies and arranges icons for each piece of media information included in the information set in the classification arrangement space based on the attribute of the characteristic amount of the media information included in each information set and the component of the characteristic amount;
An information display unit for displaying the classified arrangement space and the icon, wherein the information display unit determines an icon display order for each piece of media information included in the information set, and displays the icons at the arrangement position while temporally switching the icons. A multimedia information classification and arrangement apparatus characterized by comprising a section.

When there are a plurality of feature value components extracted by the feature value extraction unit with respect to a certain piece of media information in a certain information set, the classification and placement unit may determine the information set based on each of the plurality of components of the feature value. 2. The multimedia information classification and arrangement apparatus according to claim 1, wherein the icons are classified and arranged at a plurality of positions.

When there are a plurality of feature value components extracted by the feature value extraction unit with respect to a certain piece of media information in a certain information set, the classification and placement unit may determine the information set based on each of the plurality of components of the feature value. The multimedia information classification / arrangement device according to claim 2, wherein icons for media information included in the are classified and arranged at a plurality of positions.

The information display unit includes a display viewpoint moving unit having a function of moving a setting position of a viewpoint for displaying the information set and the classification arrangement space,
The multimedia information classification and arrangement device according to claim 1 or 2, wherein the information display unit displays a classification and arrangement space in which information set icons are classified and arranged based on the viewpoint position set by the display viewpoint movement unit.

The multimedia information classification and arrangement apparatus according to claim 1, wherein the information display unit displays the classification arrangement space and the information set icon on a terminal device via a network.

The multimedia information classification / arrangement apparatus according to claim 1 or 2, wherein the information visualization unit assigns icons by selecting one of icons prepared in advance.

The multimedia according to claim 7, wherein in the icon assignment by the information visualization unit, one of icons prepared in advance is selected, and the display content of the selected icon is modified according to the content of the corresponding media information. Information classification arrangement device.

In the axis setting unit, a feature amount attribute assigned to one spatial axis is a combination of a plurality of feature amount attributes, or one feature amount attribute is assigned to a plurality of axes. The multimedia information classification and arrangement apparatus according to claim 1 or 2.

The axis setting unit has an axis reset function for resetting the assignment of the attribute of the feature amount to each axis of the classification arrangement space axis and resetting the classification arrangement space having one or more axes,
The feature amount extraction unit extracts a feature amount component according to the axis resetting by the axis setting unit, and the classification arrangement unit assigns each information set icon to the classification arrangement space according to the extracted feature amount component. The multimedia information classification and arrangement apparatus according to claim 1, wherein the information display unit displays media information according to a viewpoint with respect to the reset classification arrangement space.

The classification and placement unit includes a self-organizing map processing unit that performs self-organization by learning using local interaction,
The said classification arrangement | positioning part arrange | positions an information set icon using the self-organization map process part by the self-organization map process part based on the feature-value extracted by the said feature-value extraction part. Multimedia information classification and arrangement device.

A function of fixing the information set icon selected by the user to a specific position on the classification arrangement space designated by the user;
When reclassifying and arranging each information set icon with respect to the classification arrangement space in which the axis is reset, the information set icon selected by the user is fixed at the specific position, and only the other information set icons are classified and arranged. The multimedia information classification / arrangement device according to claim 1, further comprising a function of performing reclassification / arrangement in accordance with the information.

Processing program for realizing a multimedia information classification and arrangement apparatus that displays an information set, which is a set of mutually related information among media information including image information, text information, and audio information, classified and arranged in a classification arrangement space A computer-readable recording medium on which is recorded,
An information set in which a set of media information including image information, text information, and audio information is grouped with the same type and different types of media information related to the same target, and the media information is acquired in units of the information set. an acquisition processing,
A feature amount extraction process for extracting a component of a feature amount from each media information of each information set;
The contents of each piece of media information constituting the information set are visually displayed using data indicating the correspondence between the feature amount of the media information and the icon or the rule for converting the feature amount of the media information into an icon. Assign the icon, and information visualization Kasho sense of generating information set icon visually representing the contents of the information set by combining them icons,
An attribute selected from the attribute of the feature amount extracted from each piece of media information included in each acquired information set is assigned as an axis of a space in which the information set icon is arranged, and a classification arrangement space having one or more axes is set. and the shaft set processing,
Characteristic of the attribute of the media information held by the respective information sets and on the basis of components of the feature quantity, the classification and arrangement processing for classification and arrangement information set icon in the classification and arrangement space,
Storage medium characterized by storing a processing program for executing an information display processing for displaying the information set icon and the classification configuration space to the computer.

A multimedia information classification and arrangement method in which a computer classifies and displays an information set, which is a set of information related to each other among media information including image information, text information, and audio information, in a classification arrangement space. And
The computer is a set of media information including image information, text information, audio information, and grouped the same type and different type media information related to the same object as an information set, and the media information is set in units of the information set. Acquired,
The computer extracts a feature component from each piece of media information in each information set,
The computer visually recognizes the contents of each piece of media information constituting the information set using a rule that converts data indicating the correspondence between the feature amount of media information and the icon or the feature amount of media information into an icon. Assigning icons to be displayed, and combining the icons to generate information set icons that visually represent the contents of the information set ,
An attribute selected from the attribute of the feature amount extracted from each piece of media information included in each acquired information set by the computer is assigned as an axis of a space where the information set icon is arranged, and the classification arrangement having one or more axes Set the space,
The computer categorizes and arranges information set icons in the classification arrangement space based on the feature amount attribute of media information and the component of the feature amount that each information set has,
The multimedia information classification and arrangement method , wherein the computer displays the classification and arrangement space and the information set icon.