JP3615518B2 - マルチメディア情報分類配置装置および分類配置方法 - Google Patents
マルチメディア情報分類配置装置および分類配置方法 Download PDFInfo
- Publication number
- JP3615518B2 JP3615518B2 JP2001534014A JP2001534014A JP3615518B2 JP 3615518 B2 JP3615518 B2 JP 3615518B2 JP 2001534014 A JP2001534014 A JP 2001534014A JP 2001534014 A JP2001534014 A JP 2001534014A JP 3615518 B2 JP3615518 B2 JP 3615518B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- information set
- arrangement
- classification
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
- Y10S715/961—Operator interface with visual structure or function dictated by intended use
- Y10S715/965—Operator interface with visual structure or function dictated by intended use for process control and configuration
- Y10S715/966—Computer process, e.g. operation of computer
- Y10S715/968—Computer process, e.g. operation of computer interface for database querying and retrieval
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、テキスト情報のみならず、画像情報、音声情報など多様なメディア情報として混在しているマルチメディア情報群の分類・配置を効率的かつ柔軟に行なうことのできるマルチメディア情報分類配置装置に関する。インターネットのWWW(ワールドワイドウェブ。以下、WWWと略記する)上においてアクセス可能であるマルチメディア情報群の分類・配置も可能である。
【0002】
【背景技術】
現在、テキスト情報のみならず、画像情報、音声情報などマルチメディアデータが大量に格納され、アクセス可能となっている。特に、インターネットの発展に伴い、WWW(ワールドワイドウェブ)上にある情報は、増加の一途をたどっており、テキスト情報、画像情報、音声情報など多様なマルチメディアデータが大量に格納され、アクセス可能となっている。その結果、WWW上から必要な情報を的確に検索することが非常に難しくなってきている。
【0003】
従来のWWW上での情報検索システムおよび当該検索システムにおける情報の分類・配置処理として以下のものが知られている。
【0004】
第1には、テキストキー検索システムが知られている。検索対象となるマルチメディアデータに対してその内容を表わす1または複数のテキスト情報を適当に割り付けておき、検索に当たっては、単語などのテキストを検索キーとして指定し、当該検索キーと同一のテキスト情報が割り付けられているマルチメディアデータを検出する方法が知られている。検索対象のメディア情報がテキスト情報である場合には、テキスト情報の内容をテキストキーにより検索することとなり、当該テキストキー検索はおおむね適切に実行できる場合が多い。このテキストキー検索システムにおける情報の分類・配置例としては、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【0005】
第2には、テキスト全文検索システムが知られている。これは、検索対象となるマルチメディアデータがテキスト情報の場合に特に有効な検索システムである。幾つかの方法が提案されているが、例えば、前処理としてテキスト全文からその内容の特徴を表わす単語すべてを自動的に抽出しておき、検索キーファイルを生成して割り付けておく。検索に当たっては、単語などのテキストを検索キーとして指定し、検索キーファイル中に当該検索キーと同一のテキストが存在するテキスト情報を検出する。この方法によっても上記第1のテキストをキーとした検索方法と同様、テキスト情報以外のメディア情報、例えば、画像情報については、画像情報ごとに適切なテキストキーを付与するのでなければ、テキストをキーとした検索では、検索を適切に行なうことは難しい。
【0006】
このテキスト全文検索システムにおける情報の分類・配置例もテキストキー検索システム同様、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【0007】
第3には、画像情報を検索する方法として、画像の特定部分を指定して部分画像を検索キーとした画像パターン照合による画像検索方法が知られている。この画像検索方法によれば、指定した部分画像を持つ画像情報を検索することは可能である。
【0008】
この画像パターン照合による画像検索システムにおける情報の分類・配置例も検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【0009】
しかし、従来のWWW上での情報検索システムは、テキスト情報以外のメディア情報、例えば、画像情報や音声情報については有効な検索方法が存在していない。
【0010】
従来の第1のテキストキー検索システムでは、画像情報や音声情報について適切に行なうことは難しい。つまり、1つの画像情報に対して複数のキーワードを割り付けたとしても、画像の特徴を的確かつ柔軟にテキストで表現することが困難である以上、検索者の検索する意図に応じてキーワードにより適切で柔軟な画像検索の実行は困難である。テキスト検索サーバーなどを用いて間接的に検索を行っても、その結果得られる情報はあまり有効なものではない。数多くの画像を収集し、それらを順番に表示することが可能であるが、画像数が多くなるとその中から目的の画像を探し出すのが困難になるという問題があった。
【0011】
従来の第2の全文テキスト検索システムの場合でも、第1のテキストキー検索システムと同様、画像情報や音声情報について適切に行なうことは難しい。つまり、画像情報や音声情報は元々テキスト情報を持っておらず、テキスト情報の抽出は期待できない。
【0012】
従来の第3の画像パターン照合による画像検索システムによれば、指定した部分画像を持つ画像情報を検索することは可能である。しかし、検索者は、検索したい画像が持つ部分画像を用意して指定する必要がある。検索者がもっとも欲しい画像がどのような部分画像を持つか明らかでない場合もあり、また、検索に用いる部分画像が常に用意できるとは限らず、検索が困難となる。さらに、検索者自身が検索したい画像を明確に把握していない場合もある。つまり、検索したい画像のおおむねの内容を指定することはできるが、部分的であっても画像そのものの指定ができない場合がある。また、検索者は漠然と何か利用できる画像がないか試行錯誤的に検索したい場合もある。このような場合には部分画像のマッチングのみでは柔軟性に欠け、不充分である。
【0013】
【発明の開示】
本発明は、効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を、マルチメディア情報の持つ多様な特徴量を利用することにより効率的かつ柔軟に検索し、検索結果をビジュアルかつ分かり易いように分類・配置して表示することができるマルチメディア情報分類配置装置を提供することを目的とする。特にWWW上のマルチメディア情報を効率的かつ柔軟に検索し、分類・配置することができるマルチメディア情報分類配置装置を提供することを目的とする。
【0014】
また、本発明は、上記表示した検索結果を基にして、検索者がインタラクティブに所望のマルチメディア情報を柔軟に絞り込んだり、検索したマルチメディア情報を基にしてさらに異なる切り口により検索を次々と続行することができるマルチメディア情報分類配置装置を提供することを目的とする。
【0015】
上記目的を達成するために、本発明のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、その情報セットを処理単位として用いる。この本発明の情報セットを処理単位として用いる点は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の2つの処理を指す。従来技術のマルチメディア処理の第1の意味は、1つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、1つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第2の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第1の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第2の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。
【0016】
本発明のマルチメディア情報分類配置装置は、上記情報セットを単位としてメディア情報を取得する情報セット取得部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、1以上の軸を備えた情報セット配置空間を設定する軸設定部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置する情報セット分類配置部と、前記情報セット配置空間内に分類配置された各情報セットのメディア情報のうち、前記情報セット配置空間に対する視点に応じたメディア情報を表示する情報表示部を備えたことを特徴とする。
【0017】
上記構成により、WWW上から効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を情報セットとして収集・取得し、多様な特徴量を利用して効率的かつ柔軟に検索することができ、検索結果を情報セット配置空間上にビジュアルかつ分かり易いように表示することができる。
【0018】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部における、1つの空間軸に対して割り当てる特徴量の属性が複数の特徴量の属性を組み合わせたもの、または、複数の軸に対して1つの特徴量の属性を割り当てたものとすることができる。
【0019】
なお、情報セットの生成にあたっては、情報セット取得部が、画像情報、テキスト情報、音声情報を含むメディア情報を収集する情報収集部と、前記収集したメディア情報相互の関連性を解析する関連解析部と、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する情報セット生成部を備え、相互に関連性を持つメディア情報の集合を情報セットとすれば良い。もちろん既に生成された情報セットを情報セット読み込み部によりCD−ROMのような記憶媒体から読み込んでも良く、また、情報セット収集部によりネットワーク上から収集してきても良い。このように、関連性を持つメディア情報を情報セットとしてくくることにより、画像情報に対して、テキスト情報、音声情報などを関連付けられるので、例えば、音声情報に関する特徴量やテキスト情報に関する特徴量を用いて検索すれば関連付けられている画像情報も同時に得ることができる。
【0020】
また、用いる特徴量は、画像情報に対する特徴量としては、DCT変換係数特徴量、画像情報に対するウェーブレット変換係数特徴量、画像情報に対するHSI色ヒストグラム特徴量などが挙げられる。テキスト情報に対する特徴量としては、特定単語の存在を示す特徴量、テキスト情報に対する特定単語の使用回数の特徴量などが挙げられる。音声情報に対する特徴量としては、音声周波数特徴量、音声情報に対する振幅特徴量、音声情報に対する時間変移特徴量などが挙げられる。
【0021】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、情報セット配置空間軸の各軸への特徴量の属性の割り当てを再設定し、1以上の軸を備えた情報セット配置空間を再設定する軸再設定機能を備え、前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記情報セット分類配置部が前記抽出された特徴量の成分に応じて各情報セットを前記情報セット配置空間内に分類配置し、前記情報表示部が前記再設定された情報セット配置空間に対する視点に応じたメディア情報を表示することが好ましい。
【0022】
上記構成により、検索者が実行した検索結果を見て、インタラクティブに再度検索を行なって柔軟に情報を絞り込んだり、再設定した情報セット配置空間軸を用いて、さらに異なる切り口により検索を次々と続行することができる。つまり、検索結果を見て試行錯誤的に、別の特徴量を指定して情報セット配置空間の軸再設定を行なうことができ、再設定した軸を用いた情報セット配置空間を用いて情報セットを再配置し、再表示を行なうことができる。
【0023】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、前記情報セット分類配置部が、再設定された情報セット配置空間に対して各情報セットを再分類配置し、前記情報表示部が、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示することが好ましい。
【0024】
上記構成によれば、情報セット配置空間を再設定し、情報セットを再分類した場合に、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【0025】
また、上記マルチメディア情報分類配置装置において、前記情報セット分類配置部が、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、前記ユーザが選択した情報セットを前記特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えることが好ましい。
【0026】
上記構成によれば、注目する情報セットの表示位置が特定位置に固定されるので容易に注目している情報セットを見つけられ、また、注目している情報セットと軸設定された特徴量において類似する情報セットが付近に配置されるため、情報セット間の関係の把握が容易になる。また、特定情報セットに注目した上で試行錯誤的な再分類表示が実行できる。
【0027】
次に、本発明のマルチメディア情報分類配置装置は、コンピュータ読み取り可能な記録媒体に、本発明のマルチメディア情報分類配置装置の処理プログラムを記録して提供することにより、コンピュータを用いて本発明のマルチメディア情報分類配置装置を実現することができる。
【0028】
次に、本発明のマルチメディア情報分類配置方法は、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを単位としてメディア情報を取得し、前記取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、1以上の軸を備えた情報セット配置空間を設定し、各情報セットの各メディア情報から特徴量の成分を抽出し、各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置し、前記分類配置した情報セットに対して、前記特徴量とは異なる特徴量を指定して前記情報セット配置空間各軸への割り当てを再設定し、前記再設定に従って前記情報セットを前記情報セット配置空間内に再分類配置し、用いる特徴量を切り替えつつ前記情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返して情報セットを分類配置する。
【0029】
上記構成により、マルチメディア情報の検索において、用いる特徴量を切り替えつつ前記情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返すことにより検索を行なうことができ、従来の検索方法においては、用いた検索キーでは検索絞り込みが不充分な場合、再度同じ種類、同じ特徴量に属する別の検索キーを適当に選んで再検索を行なっていたが、本発明の分類配置方法においては、用いた検索キーでは検索絞り込みが不充分な場合は、別の種類、別の特徴量に属する検索キーを適当に選んで再検索を行なうことができ、より柔軟で適切な検索が行なうことができる。また、このように別の種類、別の特徴量の検索キーを用いるので、検索者にとって予期しないような発見的な検索結果を得ることも期待できる。例えば、テキスト情報に対する特徴量として特定単語の存在を示す特徴量により一次検索を実行し、引き続き、画像情報に対する特徴量としてウェーブレット変換係数特徴量とHSI色ヒストグラム特徴量を組み合わせて当該情報セットを再分類、再配置すれば、特定単語により検索された情報セットは、特定の形状部分と色を持つものが多いなど、従来知られていなかった傾向を発見できるなどと言った新しい検索システムの利用方法も提供できる。
【0030】
【発明の実施の形態】
以下、本発明のマルチメディア情報分類配置装置および分類配置方法の実施形態について、図面を参照しながら説明する。
【0031】
(実施の形態1)
本発明の実施形態1のマルチメディア情報分類配置装置を説明する。本実施形態1のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示するものである。
【0032】
まず、本発明のマルチメディア情報分類配置装置において用いる情報の処理単位となる情報セットの概念について説明する。次に、本実施形態1のマルチメディア情報分類配置装置の装置構成例を示し、本実施形態1のマルチメディア情報分類配置装置の処理の流れをフローチャートを参照しつつ示す。
【0033】
本発明のマルチメディア情報分類配置装置は、情報の処理単位として情報セットを用いる。この情報セットとは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた処理単位である。この概念を簡単に示した模式図を図1に示す。図1に示すように、一つの情報セット1には相互に関連性を持った複数の同種または異種のメディア情報が一まとまりに関連付けらている。情報セット1の例では、画像情報1aと画像情報1b、音声情報1c、キーワード情報1dの4つの同種または異種のメディア情報が一まとまりに関連付けらている。これら4つの同種または異種のメディア情報は、例えば、「F社のパーソナルコンピュータ」という関連性を持っている情報という概念で集められたものとする。
【0034】
画像情報とテキスト情報を情報セットとして関連付けにおいては、例えば、WWW上の画像とテキストが混在したHTML文書から、画像部分を画像情報として抽出し、またHTML文書の画像まわりのテキストをテキスト情報として抽出して両者を関連付ける。他の例としては、動画像の画像情報と音声情報とテキスト情報の関連付けにおいては、例えば、動画像と音声を含むムービーデータを含むXMLファイルから、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出してそれぞれを関連付ける。また、他のデータに対してリンクが張られているHTMLデータからリンクを辿り、当該リンク先の画像情報、テキスト情報、音声情報などを抽出して生成したものを情報セットとしても良い。また、HTML文書のように当初から画像情報とテキスト情報が1ファイルの形態で存在するもののみならず、1つの画像情報に対して複数のテキスト情報が関連付けられたり、その逆に1つのテキストに対して複数の画像情報が関連付けられている場合もありうる。また、情報セットの一部としてURL(Universal Resource Locator)を含めることができる。情報セットの一部にURLを含めることにより、後述するように分類配置された情報セットを選択し、そのURLを基に当該情報セットを含むウェブのページを表示することが可能となる。
【0035】
この情報セットの特徴の一つとして、属する各メディア情報そのものは編集加工されることなく、画像情報は画像情報のまま、音声情報は音声情報のまま存在する一方、各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理できる点を挙げることができる。後述するように情報セットを処理単位として特徴量に基づいて分類配置する際には、情報セットに属する各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理し、情報セットが分類配置される位置が決まる。しかし、後述するように情報セットの表示の際においては、表示画面のXY平面(Z軸を奥行きとする)が画像を表示する面である場合には、その表示位置において情報セットに属する画像情報の一つまたは複数が表示されることとなる。もし、表示画面のXY平面がテキスト情報を表示する面である場合には、各情報セットの表示位置において情報セットに属するテキスト情報の一つまたは複数が表示されることとなる。
【0036】
この本発明の情報セットを処理単位として用いる点は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の2つの処理を指す。従来技術のマルチメディア処理の第1の意味は、1つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、1つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第2の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第1の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第2の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。また、新しいメディア情報が与えられると、簡単に、既存の情報セットのうち関連性のある情報セットに属させることや、関連性のある既存の情報セットがない場合に、新しい情報セットすることなどが可能となる。上記従来の第2の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものであれば、新しいメディア情報の追加は自立的かつ容易にはできない。
【0037】
次に、本実施形態1のマルチメディア情報分類配置装置の構成例を図2に示す。図2に示すようにマルチメディア情報分類配置装置は、情報セット取得部10、軸設定部20、特徴量抽出部30、情報セット分類配置部40、情報表示部50を備えている。また、60はインターネットなどのアクセス可能なネットワーク網であって、ネットワーク60を介してマルチメディア情報源70がアクセス可能な状態にある。マルチメディア情報源70には画像情報、テキスト情報、音声情報などの多様なマルチメディア情報が格納されており、この例では相互に関連があるメディア情報の集合である情報セットも格納されているとする。
【0038】
図2の装置構成例において、情報セット取得部10は、情報セット読み込み部11と情報セット収集部12を備えた構成としている。情報セット収集部12は、情報セットを収集する部分であり、ネットワーク60を介してマルチメディア情報源70に存在する情報セットを収集する。情報セット読み込み部11は、CD−ROMなどの記憶媒体などから直接、情報セットの入力を受け付けることもできるものである。このように情報セット取得部10は、情報セット読み込み部11と情報セット収集部12のいずれかまたは両者を適宜備えた構成とすることにより、ネットワーク60を介してマルチメディア情報源70に存在する情報セットを収集する機能、CD−ROMなどの記憶媒体などから直接、情報セットの入力を受け付ける機能を選択的に保持することができる。
【0039】
この実施形態1で説明する情報セット収集部12の構成例は、通信インタフェース13、ハードディスクなどの記憶媒体14、情報セット収集キー入力部15を備えている。通信インタフェース13を介してネットワーク60上のマルチメディア情報源70と通信する。記憶媒体14は、収集した情報セットを格納しておく場合に利用できる。情報セット収集キー入力部15は、情報セットの収集に当たり、キーワードを用いて収集する範囲を指定する部分である。ネットワーク上のマルチメディア情報源70に格納されている情報セットが大量にある場合には何も指定せずに情報セットを収集すれば、収集するデータ容量が極めて大きくなってしまう。そこで、情報セットの収集にあたり、あらかじめ範囲を絞り込むために情報セット収集キー入力部15よりキーワードが入力された場合には、情報セット収集部12は、当該キーワードを持つ情報セットを収集する。
【0040】
軸設定部20は、情報セット配置空間軸を設定する部分であって、各メディア情報から抽出される特徴量の情報セット配置空間各軸への割り当てを設定し、1以上の軸を備えた情報セット配置空間を設定する。例えば、X軸Y軸Z軸の3軸を指定し、このXYZ軸が張る空間を情報セット配置空間とする。ここでは、例えば、後述する情報表示部50の表示ディスプレイ面がXY平面であり、画面奥行きがZ軸方向であるように表示される。
【0041】
ここで、情報セット分類配置空間軸に設定し得る特徴量は、画像情報、テキスト情報、音声情報などメディアに応じて抽出し得る特徴量であれば良い。
【0042】
例えば、画像情報に対しては、DCT変換係数特徴量、ウェーブレット変換係数特徴量、HSI色ヒストグラム特徴量などが挙げられる。DCT変換係数特徴量を情報セット配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。ウェーブレット変換係数特徴量を情報セット配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。ウェーブレット変換もDCT変換と同じく波形・周波数変換であるが、位置(時間)情報を保ったまま変換することが出来る。HSI色ヒストグラム特徴量を情報セット配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。HSI色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。
【0043】
また、例えば、テキスト情報に対しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。特定単語の存在を示す特徴量や特定単語の使用回数の特徴量を情報セット配置空間軸に設定することにより、特定単語の説明などが含まれているテキスト情報の分類、配置が可能となる。これらテキスト情報に画像情報が関連付けられている情報セットであれば、特定単語により表わされる画像情報も併せて情報セット配置空間に分類、配置されることとなる。
【0044】
また、例えば、音声情報に対しては、音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。音声周波数特徴量を情報セット配置空間軸に設定することにより、音声周波数の特徴、つまり、音声の高低、音質などにより音声情報の分類、配置が可能となる。音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。音声の振幅特徴量や時間変移特徴量を情報セット配置空間軸に設定することにより、音声の大小に応じた音声情報の分類、配置が可能となる。
【0045】
なお、軸設定部20による、一の空間軸に対する特徴量の割り当ては、複数の特徴量を組み合わせて割り当てることが可能である。2つ以上の特徴量の組み合わせは、互いの特徴量の単位を変換、調整する必要があるが、スコアのような点数に置き換えて合算することが可能である。例えば、一つの空間軸に対して、第1の特徴量としてHSI色ヒストグラムの指定色成分が閾値以上の割合で含まれていれば“1”、含まれていない場合に“0”とし、第2の特徴量として、テキスト情報中の特定単語の存在を示す特徴量として存在すれば“1”、存在しない場合に“0”とし、第1の特徴量と第2の特徴量を合算して一つの空間軸に割り当てるなどの処理が可能である。逆に、複数の軸に対して一つの特徴量を割り当てることもできる。一つの特徴量から二つ以上の軸に割り当てる方法は数多く存在するが、そのような方法の一つとして、特徴量をベクトルとみなして、ベクトルの各次元について分散が大きい次元を複数選択してその次元を軸とする方法が挙げられる。
【0046】
特徴量抽出部30は、情報セットの各メディア情報から特徴量を抽出する部分である。図2には図示していないが、上述した通り、特徴量抽出部30には、各メディア情報から様々な特徴量を抽出するための機能を備えており、例えば、画像情報の特徴量抽出機能として、DCT変換係数特徴量算出機能、ウェーブレット変換係数特徴量算出機能、HSI色ヒストグラム特徴量算出機能などを備えており、例えば、テキスト情報の特徴量抽出機能として、特定単語が存在しているか否かの検知機能、特定単語の使用回数算出機能などを備えており、また例えば音声情報の特徴量抽出機能として、音声周波数特徴量抽出機能、音声の振幅特徴量抽出機能、音声の時間変移特徴量抽出機能などを備えている。これら諸機能を利用して収集した情報セットのそれぞれのメディア情報から、特徴量を抽出する。また、特徴量抽出部30は、各メディア情報から特徴量を抽出する機能の追加、更新、削除などが可能とする。特徴量抽出機能をDSP(デジタルシグナルプロセッサ)などで提供しておけば、必要に応じて内容を容易に書き換え、追加できる。
【0047】
情報セット分類配置部40は、特徴量抽出部30により抽出した特徴量に基づいて情報セットを情報セット配置空間内に分類配置する部分である。例えば、情報セット配置空間がXYZ3軸により設定されておれば、情報セットは当該3次元情報セット配置空間内に分類、配置されることとなる。
【0048】
情報表示部50は、情報セット分類配置部40により情報セット配置空間内に分類配置された情報セットのメディア情報を表示する部分であり、情報セット配置空間に対する視点に応じた方向から情報セット配置空間内のメディア情報を表示する。例えば、XYZ軸から張られた情報セット配置空間に対して、XY平面が正面であり、Z軸方向を奥行き方向とすると、ディスプレイ面がXY平面であり、画面奥行きがZ軸方向であるように表示される。
【0049】
以上のように構成された本発明の実施形態1のマルチメディア情報分類配置装置の処理の流れの例を図3を参照しつつ説明する。
【0050】
図3に示すように、本発明の実施形態1のマルチメディア情報分類配置装置の処理は大別して、次のように、情報セットの取得処理(S101)と、情報セット配置空間の軸に割り付ける特徴量を設定し、情報セット配置空間を定義する軸設定処理(S102)と、情報セットのメディア情報から所定の特徴量を抽出する特徴量抽出処理(S103)と、抽出した特徴量に従って情報セットを情報セット配置空間内に分類、配置する情報分類配置処理(S104)と、情報セット配置空間および情報セット配置空間に分類、配置した情報セットを設定視点から表示する情報表示処理(S105)と、表示された検索結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、情報セット配置空間の軸に割り付ける特徴量を再設定し、情報セット配置空間を再定義する再軸設定処理(ステップS102へのループ)を備えている。なお、最初の軸設定処理(S102)により設定された情報セット配置空間に基づく情報セットの分類、配置により所望の検索結果が得られた場合には、再軸設定処理は必須のものではない。また、上記処理の流れでは、情報セットは当初からアクセス可能な状態で存在していることを前提としたものであるが、実施形態2において後述するようにマルチメディア情報分類配置装置が、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報をまとめ、情報セットを定義・生成する情報セット生成処理を前処理として実行しても良い。
【0051】
まず、本発明のマルチメディア情報分類配置装置は、情報セット取得部10により情報セット取得処理(S101)を実行する。ここでは、例えば、情報セット取得部10により、通信インタフェース13を介してインターネットなどのネットワーク60上にアクセス可能な状態にあるWWWサーバーなどのマルチメディア情報源70から情報セットを収集して情報セットを取得する。この例では、情報セット取得処理(S101)として、画像情報とテキスト情報が関連付けられている情報セットを複数取得する。また、取得する情報セットの範囲をある程度絞るため、キーワード検索によりヒットしたもののみ取得しても良い。この例では、“バッグ”というキーワードにヒットする情報セットを取得したとする。
【0052】
次に、マルチメディア情報分類配置装置は、軸設定部20により情報セット配置空間の軸に割り付ける特徴量を設定し、情報セット配置空間を定義する軸設定処理(S102)を実行する。軸設定部20は、上記に示した画像情報に対するDCT変換係数特徴量など各メディア情報から抽出可能な特徴量から、情報セット配置空間の各軸に対して割り付ける特徴量をそれぞれ設定し、情報セット配置空間を定義することにより軸設定処理を実行する。この例では、X軸(水平方向)として画像情報のウェーブレット変換係数特徴量を割り当て、Y軸(垂直方向)としてHSI色ヒストグラム特徴量を割り当て、Z軸(奥行き方向)としてテキスト情報内での特定単語の使用回数を示す特徴量を割り当てる。この説明では、Z軸に割り付ける特定単語の存在を示す特徴量として、情報セット収集において用いた“バッグ”という単語の使用回数とする。
【0053】
次に、マルチメディア情報分類配置装置は、特徴量抽出部30を用いて、収集されている情報セットのそれぞれのメディア情報から、各空間軸に割り当てられている特徴量を抽出する特徴量抽出処理(S103)を実行する。上述した通り、図2には示されていないが、特徴量抽出部30には、ウェーブレット変換係数特徴量算出機能、HSI色ヒストグラム特徴量算出機能、特定単語の使用回数算出機能を保持しており、収集されている情報セットのそれぞれのメディア情報から、ウェーブレット変換係数特徴量、HSI色ヒストグラム、特定単語の使用回数を抽出する。
【0054】
次に、マルチメディア情報分類配置装置は、情報セット分類配置部40を用いて、抽出した特徴量に従って情報セットを情報セット配置空間内に分類、配置する情報分類配置処理(S104)を実行する。そして、情報表示部50により、情報セット配置空間および情報セット配置空間に分類、配置した情報セットを設定視点から表示する情報表示処理(S105)を実行する。図4に、“バッグ”のキーワードで収集された情報セットを設定された情報セット配置空間内に分類、配置した例を示す。この表示例では各情報セットは関連付けられたメディア情報のうち、画像情報を前面(XY平面)として表示している。X軸がウェーブレット変換係数特徴量であるので、X軸座標が似通った位置には、外形が似通ったバッグが表示されている。Y軸がHSI色ヒストグラム特徴量であるのでY軸座標が似通った位置には、色合いが似通ったバッグが表示されている。
【0055】
図4に示したように、情報セット配置空間に分類、配置された情報セットの中には、複数のテキスト情報が関連付けられているものがある。図4では画像情報が前面に表示されているが、それらはテキスト情報を伴っている。ここでは、図5に示すように情報セット配置空間上の画像情報をポインティングデバイスでクリックすると付随しているテキスト情報のID番号(“テキスト1”など)がプルダウンメニューで表示される。プルダウンメニューからテキスト情報のID番号を選ぶと、図6に示すように該当するテキストが表示される。
【0056】
以上の情報セット取得処理ステップS101から情報表示処理ステップS105により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は(ステップS106:NO)、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は(ステップS106:YES)、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップS102にループすることが可能である。つまり、情報表示処理ステップS105により表示された分類・配置表示結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、軸設定部20を用いて、情報セット配置空間の軸に割り付ける特徴量を再設定し、情報セット配置空間を再定義する再軸設定処理を実行する。このように、必要な画像情報が得られるまで情報セット配置空間軸に割り当てる特徴量を再設定し(S102)、情報セットの各メディア情報から再設定した特徴量を再抽出し(S103)、再抽出した特徴量に基づいて情報セットを情報セット配置空間に再分類、再配置し(S104)、情報表示部50により情報セット配置空間に再配置された情報セットを再表示する(S105)。例えば、軸設定部20により、X軸をウェーブレット変換係数特徴量からDCT変換係数特徴量に替えたり、Y軸をHSI色ヒストグラム特徴量から全く異なる切り口として音声周波数特徴量に替えたりすることも可能である。この例では、X軸をウェーブレット変換係数特徴量からHSI色ヒストグラム特徴量に切り替え、Y軸をHSI色ヒストグラム特徴量からDCT変換係数特徴量に替えたものとする。軸設定部20により情報セット配置空間軸を再設定し、特徴量の再抽出、当該情報セット配置空間への再分類、再表示した例を図7に示す。このような一連の軸再設定処理を、所望の検索結果が得られるまで繰り返す。
【0057】
このように、ある特徴量で得られた情報セットの分類・配置の表示結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
【0058】
また、画像情報など情報セットの分類・配置である表示結果を見て、以下のような情報処理も可能である。
【0059】
第1には、分類・配置された情報セットのうち選択した情報セットが含まれるウェブのページを表示することも可能である。情報セットの一部に当該画像情報など情報セットが含まれているURLを併せて保存しておけば、当該画像情報が情報表示部50上において利用者より選ばれた場合にURL情報を基にしてそのウェブページを表示することが可能となる。例えば、画像情報を選び、メニューなどから“ウェブページ”というボタンをポインティングデバイスでクリックすることによりそのウェブページを表示する。
【0060】
第2には、分類・配置された情報セットを見て、検索キーを与え、当該キーに類似する情報セットをリスト表示することも可能である。例えば、図4のように分類・配置された情報セットに対して、検索キーとしてキーイメージ(パターン照合用のキーとなる画像)を与え、パターン照合により当該キーイメージに類似する画像情報を類似イメージリストとして表示する。その例を図8に示す。入力されたキーイメージに対して類似イメージリストが表示されている。図8の例は、検索キーとしてキーイメージを与えるものであるが、検索キーとしてテキスト情報を与えることもできる。この場合、当該入力キーワードと、類似イメージリストが表示される。
【0061】
以上、本実施形態1に示したマルチメディア情報分類配置装置によれば、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示することができる。
【0062】
(実施形態2)
本発明の実施形態2のマルチメディア情報分類配置装置を説明する。本実施形態2のマルチメディア情報分類配置装置は、実施形態1で説明した情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成する機能を備えたものである。
【0063】
まず、本実施形態2のマルチメディア情報分類配置装置の装置構成例を図9に示す。本実施形態2のマルチメディア情報分類配置装置は図9に示すように、情報セット取得部10以外の、軸設定部20、特徴量抽出部30、情報セット分類配置部40、情報表示部50、ネットワーク60、マルチメディア情報源70については、実施形態1で説明した図2のマルチメディア情報分類配置装置構成例のものと同様で良い。
【0064】
本実施形態2のマルチメディア情報分類配置装置では、図9に示すように、情報セット取得部10の情報セット収集部12が、通信インタフェース13、記憶媒体14、情報セット収集キー入力部15に加え、情報収集部16、関連解析部17、情報セット生成部18を備えている。
【0065】
情報収集部16は、ネットワーク60上のアクセス可能なマルチメディア情報源70に格納されている画像情報、テキスト情報、音声情報を含むメディア情報を収集する。メディア情報の収集にはロボットを用いて自動収集することができる。ロボットを用いる場合には、ネットワーク60上のマルチメディア情報群70からメディア情報を収集する選択基準を指定する。例えば、キーワード情報、サイト情報、リンク情報、特定情報セットに対する類似度情報を含む基準群から選んで指定する。選択基準にキーワード情報を持たせれば、当該キーワードが付されていないメディア情報は収集されず、範囲を限定することができる。テキスト検索サーバにキーワードを与えて、その結果返されるぺージの検索を行う。
【0066】
選択基準としてサイト情報、リンク情報を持たせれば、ロボットは、指定されているURLおよびそのURL以下のぺージやそのURLからリンクされているぺージを検索する。このように、WWW上を巡回し、リンクをたどることによって、複数のWebぺージをたどる。
【0067】
選択基準として特定情報セットに対する類似度情報を持たせれば、ある情報セットのメディア情報と似通っているメディア情報を中心に収集することができる。
【0068】
情報収集部16は、画像情報、テキスト情報、音声情報などを収集し、記憶媒体14に格納する。
【0069】
関連解析部17は、情報収集部16によりマルチメディア情報源から収集したメディア情報相互間の関連性を解析する部分である。例えば、画像情報に関連しているテキストの解析としては、HTML文書であれば、当該画像付近のテキストやHTMLの情報を参照しながら、HTMLの構造を解釈した上で、画像部分を画像情報として抽出し、またHTML文書の画像まわりのテキストをテキスト情報として抽出し、画像に近いテキストの関連度合を解析する。音声情報の関連度合の解析も同様に可能である。また、HTMLでなくともPDFファイルなど1つのファイルにまとめられているものであれば、当該ファイル中に存在する画像情報、テキスト情報、音声情報について関連度合が高いとして解析することが可能である。また、例えば、1つのまとまったファイルでなくとも、複数のメディア情報に同じキーワードが付されていれば、関連度合が高いとして解析することが可能である。当該キーワードがありふれたものでなく、特異なものであれば、関連度合がより高いとして解析することも可能である。さらに、複数のメディア情報の関連度合を人手によって決めることも可能であることは言うまでもない。また、他の例として、動画像と音声を含むムービーデータを含むPDFファイルであれば、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出し、それぞれを関連付け、情報セットとすることができる。
【0070】
情報セット生成部18は、関連解析部17による解析結果に基づいて、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する。
【0071】
以上のように、本実施形態2のマルチメディア情報分類配置装置は、実施形態1で説明した情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成することができる。なお、生成した情報セットを用いて、情報セット配置空間に情報セットを分類配置する処理は、実施形態1で図3のフローチャートを用いて説明したものと同様であり、ここでの詳しい説明は省略する。
【0072】
(実施形態3)
本発明の実施形態3のマルチメディア情報分類配置装置を説明する。本実施形態3のマルチメディア情報分類配置装置は、情報セット分類配置部によるメディア情報の特徴量に基づいた情報セット配置空間への分類、配置において、自己組織化マップを応用するものである。
【0073】
本実施形態3マルチメディア情報分類配置装置の装置構成例を図10に示す。図10に示すように、情報セット分類配置部40は、自己組織化マップ処理部41を備えている。なお、情報セット分類配置部40以外の、情報セット取得部10、軸設定部20、特徴量抽出部30、情報表示部50ネットワーク60、マルチメディア情報源70については、実施形態1で説明した図2のマルチメディア情報分類配置装置構成例のものと同様で良い。
【0074】
自己組織化マップは、ニューラルネットワークを用いた教師なし学習モデルである。自己組織化マップでは、高次元の特徴ベクトル空間から低次元空間に写像を行なう。その際に、特徴ベクトルが類似しているものは低次元空間でも近くに配置される。この自己組織化マップをメディア情報の分類・配置処理に応用し、特徴量抽出部30が抽出した特徴量をもとに自己組織化マップ処理を用いて情報セットを配置する。自己組織化マップ処理部41は特徴量抽出部30が抽出した特徴量に対して当該自己組織化マップ生成処理を実行するものである。本実施形態3の情報セット分類配置部40は、自己組織化マップ処理部41が生成した自己組織化マップで得られた配置情報を基に情報セット配置空間に分類・配置する。また、自己組織化マップ処理と併せて、Z軸(奥行き方向)に割り当てられている特徴量を基にした奥行き表現も組み合わせることもできる。例えば、テキスト情報を元に、単語の頻度情報に分解し、それぞれの頻度をベクトル化して、そのベクトルに基づき、奥行き方向の軸の位置を決定する。また、他の例としては、キーワードを用いてWebを検索した場合、テキスト検索サーバが返すキーワードとWebぺージの関連度をもとに、関連度が高い順に奥行き情報として表示する事もでき、それらを切り替えて表示することができる。
【0075】
以上のように、本実施形態3のマルチメディア情報分類配置装置によれば、自己組織化マップ処理を応用して、画像を空間上で内容が近いと思われるものが近くに、内容が遠いと思われるものが遠くにそれぞれ配置することが出来る。
【0076】
(実施形態4)
本発明の実施形態4のマルチメディア情報分類配置装置を説明する。本実施形態4のマルチメディア情報分類配置装置は、情報セットが分類・配置された情報セット配置空間の表示方法、ブラウジング方法に工夫を加えたものである。
【0077】
本実施形態4のマルチメディア情報分類配置装置の装置構成例を図11に示す。図11に示すように、情報表示部50は表示視点移動部51を備えている。なお、情報表示部50以外の、情報セット取得部10、軸設定部20、特徴量抽出部30、情報セット分類配置部40、ネットワーク60、マルチメディア情報源70については、実施形態1で説明した図2のマルチメディア情報分類配置装置構成例のものと同様で良い。
【0078】
表示視点移動部51は、情報表示部50において、情報セット分類配置部40により情報セットが分類・配置された情報セット配置空間を表示するにあたり、当該空間を表示する視点の設定位置を移動させる機能を備えている。情報表示部50は、表示視点移動部51により設定された表示視点から見た情報セット配置空間を表示する。
【0079】
実施形態1では、情報表示部50による情報セット配置空間の表示例として図4を示した。本実施形態3のマルチメディア情報分類配置装置では、この図4の表示視点をデフォルトとし、表示視点移動部51により表示視点を動的に変化させることが可能となる。言わば、情報セットが分類・配置された情報セット配置空間内を仮想的に自由に動きまわり、移動位置から見える情報セット配置空間内の情報セットの分類・配置された様子を表示することができる。通常であれば、ディスプレイ表示面は、基本的には2次元平面であるので、遠近法による表示が可能ではあるものの、奥行きの深い位置にある情報セットは見づらいものとなりがちである。しかし、本実施形態3のマルチメディア情報分類配置装置によれば、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットの分類・配置の様子をディスプレイ表示面近くに表示させることができる。図12は、図4の状態から、表示視点を奥行き方向に進めた場合の表示例を示したものである。
【0080】
(実施形態5)
実施形態5のマルチメディア情報分類配置装置は、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、再設定された情報セット配置空間に対して各情報セットを再分類配置し、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示するものである。
【0081】
また、再分類配置において、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、ユーザが選択した情報セットを特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたものである。
【0082】
図13は、実施形態5にかかるマルチメディア情報分類配置装置の装置構成を簡単に示したものである。図13に示すように、情報表示部50は動画処理部52を備えている。また、情報セット分類配置部40は、配置位置固定指定部41を備えている。なお、情報セット分類配置部40および情報表示部50以外の、情報セット取得部10、軸設定部20、特徴量抽出部30、ネットワーク60、マルチメディア情報源70については、実施形態1で説明した図2のマルチメディア情報分類配置装置構成例のものと同様で良い。
【0083】
情報表示部50の動画処理部52は、軸の再設定により各情報セットを情報セット分類配置空間上に再分類配置する様子を表示するにあたり、各情報セットの表示されているメディア情報を、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する機能を有する。例えば、各情報セットの再分類配置前の位置を記憶しておき、各情報セットの再分類配置後の位置を情報セット分類配置部40から通知を受け、両座標点を基に各情報セットごとに移動方向、移動距離を求め、所定きざみで各情報セットの表示されているメディア情報を移動して行く。なお、所定きざみとは、移動ステップ数にかかわらず所定の距離ずつの移動としても良く、また、所定のステップ数で移動が完了するように移動距離を調整したきざみとしても良い。
【0084】
情報セット分類配置部40は配置位置固定指定部41を備えており、ユーザは配置位置固定指定部41を介して特定の情報セットを特定位置に固定するように指定することができる。情報セット分類配置部40は、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、指定された情報セットを特定位置に固定した状態で、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたものである。
【0085】
上記した、所定きざみで各情報セットの表示されているメディア情報を移動して行く再分類配置機能と、特定の情報セットを特定位置に固定した再分類配置機能を、図14と図15の具体例を用いつつ説明する。
【0086】
まず、再分類配置前の情報セット配置空間における情報セットの表示状態である図14を説明する。XYZ軸が張る情報セット配置空間において情報表示部50の表示ディスプレイ面がXY平面、画面奥行きがZ軸方向とする。いま、軸設定部20によりXY平面方向の軸としてHSI色ヒストグラム特徴量が割り当てられ、Z軸には特に特徴量が割り当てられずにすべて“0”値が割り当てられたものとする。この当初の再分類配置前の情報セット配置空間において、情報セット分類配置部40により各情報セットは、情報セット中に含まれる画像メディア情報のHSI色ヒストグラムに応じて、Z=0の平面上に分類配置される。情報表示部50により表示された再分類配置前の表示例を示したものが図14である。この例では、各々の情報セット中にネクタイなど織物の模様の画像メディア情報が含まれていたため、図14に見るように、当該画像メディア情報の色情報が類似した情報セットの画像同士がXY平面上において近くに配置されている。
【0087】
次に、再分類配置される様子を説明する。各情報セットはそのコンテンツを表わすキーワードなど各種のキーワード情報を含んでおり、特定のキーワードとの類似度合いを特徴量として持っている。いま、軸設定部20により特定のキーワードとの類似度合いの特徴量がZ軸に対して割り当てられたものとする。次に、情報セット分類配置部40が軸設定部20により再設定された情報セット配置空間軸に応じて情報セットを再分類配置する。この場合、再分類配置前ではXY平面上に並べられていた各情報セットが、特定キーワードとの類似度合いの特徴量をZ軸(奥行き)として再配置される。情報表示部50により表示された再分類配置後の具体例を示したものが図15である。図15の例では特定キーワードとして「ストライプ柄」を用いた。図15の再分類配置結果は、XY平面方向は色ヒストグラム、Z方向は「ストライプ柄」という特定キーワードの特徴量によって並べられ、ストライプ柄を持つ情報セットの画像が前面に大きく表示されたものとなった。このように情報セット群の色の傾向とストライプ柄の有無の分類を同時に視覚的に把握できる。また、再分類配置前ではすべての情報セットがXY平面上に並べられていた状態であったのに対して再分類配置後では特定キーワードとの類似度合いが高いものほど前面に、低いものほど遠方に並べられ、特定キーワードに関連する情報セットを見易くしたり、逆に関連の薄い情報セットを小さく表示することもできる。
【0088】
ここで、動画処理部52は、各情報セットの表示されているメディア情報を、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する。つまり、図14の状態から図15の状態まで、各情報セットの表示メディア情報を再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかもメディア情報が目で追えるように移動してゆく様子を表示する。動画処理部52は、図14に示した各情報セットの再分類配置前の位置を記憶しておき、図15に示した各情報セットの再分類配置後の位置の通知を受け、両座標位置を基に各情報セットごとに移動方向、移動距離を求め、所定きざみで各情報セットの表示されているメディア情報を移動して行く。
【0089】
また、別の具体例としては、軸設定部20がXY軸する色ヒストグラム特徴量の割り当てに代え、ウェーブレット変換係数特徴量を割り当てたものとすると、上記と同様に、情報セット分類配置部40により新しい情報セット分類配置空間上において各情報セットが分類配置され、情報表示部50により再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかもメディア情報が目で追えるように移動してゆく様子が表示される。
【0090】
次に、情報セット分類配置部40の配置位置固定指定部41を用いた特定の情報セットを特定位置に固定した状態での再分類配置の具体例を説明する。
【0091】
ユーザは、配置位置固定指定部41を介して、特定の情報セットと他の情報セットとの関係を把握するために、表示されている画面内から一つまたは複数の情報セットを選択する。例えば一つの情報セットを選択し、その情報セットを中央に固定し、他の情報セットを自己組織化マップ法により情報セット分類配置空間内に配置してゆく。また、複数の情報セット、例えば、4つの情報セットを選択し、それら情報セットの位置関係を特定の位置関係、例えば、画面の四隅に固定して、他の情報セットを自己組織化マップ法により情報セット分類配置空間内に配置してゆくことも可能である。このように特定の情報セットを特定の位置関係に固定して分類配置を行うことにより、選択した情報セットと他の個々の情報セットとどのような関係にあるのかが視覚的に容易に把握できるようになる。例えば、今、情報セット分類配置空間の軸が色情報を特徴量としている場合、四隅にそれぞれ、赤の画像、青の画像、黄の画像、緑の画像を固定して分類配置すれば、赤系統の画像は固定した赤い画像のある隅側に集まり、紫色の画像は、赤い画像の位置と青い画像の位置の中間付近に集まって表示されるため、色の系統に沿って個々の画像を見つけることが容易になる。
【0092】
図16と図17は、配置位置固定指定部41を用いた特定の情報セットを特定位置に固定した再分類配置の概念を示した図である。図16は、再分類配置前において配置位置固定指定部41を用いて特定の情報セットを選択指定した様子を示す図、図17が図16で選択指定された情報セットを特定位置(画面中央)に固定して他の情報セットを再分類配置した様子を示した図である。図16において、情報セット5がユーザによって配置位置固定指定部41を介して選択指定された情報セットである。この情報セット5を中央に固定して色情報により再分類配置すれば、図17のように情報セット5に近い色合いを持つ情報セットが中央付近に集まることとなる。
【0093】
上記は一例であって、例えば、色以外にも、テキスト情報に対する特定単語の存在を示す特徴量が情報セット分類配置空間の軸として割り当てられている場合であれば、選択された情報セットの持つテキストに類似しているテキストを持つ情報セットをその近隣に分類配置することも可能である。
【0094】
なお、この配置位置固定指定部41を用いた特定の情報セットを特定位置に固定した再分類配置機能に対して、所定きざみで各情報セットの表示されているメディア情報を移動して行く再分類配置機能とを組み合わせることも可能であり、特定の情報セットを特定位置に固定した再分類配置の際に、各情報セットが再分類後の位置まで所定きざみで移動していくように表示させることも可能である。
【0095】
上記構成によれば、情報セット配置空間を再設定し、注目する情報セットを特定位置に固定された状態で再分類することができ、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【0096】
(実施形態6)
本発明の実施形態6のマルチメディア情報分類配置装置を説明する。本実施形態6のマルチメディア情報分類配置装置は、上述した実施形態1〜5のマルチメディア情報分類配置装置を、コンピュータネットワークを介したクライアントサーバーシステムで構築したものである。上述した実施形態1〜5のマルチメディア情報分類配置装置の装置構成のうち、どの要素をサーバーコンピュータに組み込み、どの要素をクライアントコンピュータに組み込むかにより幾つかのパターンが可能である。
【0097】
図18は、サーバーコンピュータ101に情報セット取得部10を設け、クライアントコンピュータ100に軸設定部20、特徴量抽出部30、情報セット分類配置部40、情報表示部50を設けたクライアントサーバ構成例である。
【0098】
図19は、サーバーコンピュータ101に情報セット取得部10、特徴量抽出部30を設け、クライアントコンピュータ100に軸設定部20、情報セット分類配置部40、情報表示部50を設けた構成である。
【0099】
図20は、サーバーコンピュータ101に情報セット取得部10、特徴量抽出部30、情報セット分類配置部40を設け、クライアントコンピュータ100に軸設定部20、情報表示部50を設けた構成である。
【0100】
ただし、上記の図18〜図20のそれぞれの構成において、情報セットの取得方法に関して幾通りかの方法が挙げられる。例えば、サーバコンピュータ101がロボットとして、あらかじめ指定されている内容の情報セットをネットワーク上などから定期的に自動収集・自動更新する方法がある。他には、図18〜図20はいずれも情報セット取得部10がサーバコンピュータ101に図示されているが、情報セット取得部10の情報セット収集部12から情報セット収集キー入力部15を分離してクライアントコンピュータ100に設け(図示せず)、クライアントコンピュータ100の利用者が情報セット収集キー入力部15を用いて情報セット収集キーを入力し、当該入力された情報セット収集キーをサーバコンピュータ101の情報セット取得部10に渡し、サーバコンピュータ101が当該情報セット収集キーを用いて、該当する情報セットをネットワーク上などから動的に収集する方法がある。
【0101】
このように、上述した実施形態1〜5のマルチメディア情報分類配置装置の装置構成要素を、サーバーコンピュータとクラアントコンピュータに分けて設けることにより、クライアントサーバシステムにより本発明のマルチメディア情報分類配置装置を構築することができる。
【0102】
(実施形態7)
本発明の実施形態7は、上記先行する実施形態1〜6で説明したマルチメディア情報分類配置装置などを用いたマルチメディア情報検索分類処理を用いて、情報セットに対する柔軟な分類、配置、検索絞り込み、他の検索の切り口に切り替えた分類配置方法である。
【0103】
従来に見られる検索方法は、検索キーワードを与え、検索結果を見て、さらに、検索キーワードを限定的なものに絞り込んで再検索を実行したり、検索結果が思わしくない場合に、新たな検索キーワードに代えて再検索を実行するものであり、試行錯誤的に検索キーワードを調整しつつ検索を実行するものと言える。
【0104】
しかし、検索キーワードというテキスト情報としての1つの特徴量について試行錯誤を重ねるのみである。
【0105】
本実施形態7の情報セットの分類配置方法は、検索キーとしてあるメディア情報のある特徴量を用いて検索した場合、検索結果を見て、次に、前記メディア情報とは異なるメディア情報の特徴量を用いた検索や、同じメディア情報であるが前回とは異なる特徴量を指定したりして、検索を次々と実行してゆく方法である。つまり、各メディア情報から抽出される特徴量の情報セット配置空間各軸への割り当てを設定して1以上の軸を備えた情報セット配置空間を設定し、分類配置した情報セットに対して、分類・配置に用いた特徴量とは異なる特徴量を指定して情報セット配置空間各軸への割り当てを再設定し、前記再設定に従って情報セットを前記情報セット配置空間内に再分類配置し、用いる特徴量を切り替えつつ情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返す分類配置方法である。
【0106】
この方法であれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
【0107】
例えば、実施形態1で説明したマルチメディア情報分類配置装置を用いて、売れ筋の女性用バッグのデザインを調べるため、“バッグ”というキーワードを指定して情報セットを収集し、次に、情報セット配置空間軸として、X軸にウェーブレット変換係数特徴量、Y軸に女性というキーワードの存在を示す特徴量、Z軸にバッグというキーワードの存在を示す特徴量を割り付けて情報セット配置空間内に分類配置し、表示結果が得られたとする。ここで例えば、検索者が、表示された画像情報の中に、白系統色のバッグを持ち、白毛の犬を連れていた女性が写っている画像を発見した場合、「犬を連れ歩く女性は犬と同系統色のバッグを持つ人が多いかも知れない」という推測を持つ場合がある。当該推測を確かめるべく、情報セット配置空間軸に対して異なる切り口の特徴量を割り付けて、再軸設定をし、情報セットの再分類、再配置、再表示を実行する。例えば、X軸に“バッグ”というキーワードの存在を示す特徴量と“犬”というキーワードの存在を示す特徴量の合算を割り付け(つまり、バッグと犬の両方のキーワードを持つことを指定し)、Y軸に色ヒストグラム特徴量を割り付けて、情報セット配置空間軸を再設定し、情報セットを再分類・再配置するというような新たな切り口の検索が可能となる。得られた画像情報の分類・配置の表示結果を見て、同系統の色のバッグと犬を持ち歩く女性が多いかも知れないという推測の真偽判断に役立てることができる。
【0108】
また、ここで、実施形態1でも説明したように当該情報セットに他のメディア情報、例えば、テキスト情報として個人情報が付随している場合、ポインティングデバイスでそれぞれの画像情報をクリックすると、同系統の色のバッグと犬を持ち歩く女性は年収が高い傾向があるなどの新たな傾向が発見できるかも知れない。さらに、情報セット中に、画像情報に関連づけられた音声情報としての犬の鳴き声音声情報が含まれておれば、情報セット配置空間軸の一つを音声情報の音声周波数特徴量を割り付けて再分類・配置、再表示を実行した場合に、別の切り口からの発見があるかも知れない。例えば、音声周波数が高い座標に多くの画像情報が配置されておれば、犬の音声が高い傾向にある、つまり、室内で飼えるような小型犬が多い傾向が発見できるかも知れない。つまり「小型犬を連れ歩く女性は、持ち歩くバッグの色を犬の色に合わせる傾向がある」という傾向を発見できるかも知れない。
【0109】
このように、本実施形態7の情報セットの分類配置方法によれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる。
【0110】
(実施形態8)
本発明のマルチメディア情報分類配置装置は、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のマルチメディア情報分類配置装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図21に図示した記録媒体の例に示すように、CD−ROM202やフレキシブルディスク203等の可搬型記録媒体201だけでなく、ネットワーク上にある記録装置内の記録媒体200や、コンピュータのハードディスクやRAM等の記録媒体205のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ204上にローディングされ、主メモリ上で実行される。
【0111】
産業上の利用可能性
本発明のマルチメディア情報分類配置装置によれば、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示することができる。
【0112】
また、本発明のマルチメディア情報分類配置装置によれば、情報セット生成部を保持することにより、情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成することができる。
【0113】
また、本発明のマルチメディア情報分類配置装置によれば、自己組織化マップ処理部を備えることにより、自己組織化マップ処理を応用し、情報セットの情報セット配置空間への分類・配置を行なうことができる。
【0114】
また、本発明のマルチメディア情報分類配置装置によれば、表示視点移動部を備えることにより、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットの分類・配置の様子をディスプレイ表示面近くに表示させることができる。
【0115】
また、本発明のマルチメディア情報分類配置装置によれば、情報セット配置空間を再設定し、注目する情報セットを特定位置に固定された状態で再分類することができ、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【0116】
また、本発明の情報セットの分類配置方法によれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報を得ることができる。
【図面の簡単な説明】
【図1】本発明のマルチメディア情報分類配置装置で用いる処理単位としての情報セットの概念を説明する図
【図2】本発明の実施形態1のマルチメディア情報分類配置装置の装置構成例を示す図
【図3】本発明の実施形態1のマルチメディア情報分類配置装置の処理の流れを示すフローチャート
【図4】本発明の実施形態1のマルチメディア情報分類配置装置において、“バッグ”のキーワードで収集された情報セットを情報セット配置空間に分類、配置した場合の表示例を示す写真
【図5】第4図に示した情報セット配置空間上の画像情報に付随しているテキスト情報のID番号がプルダウンメニューで表示された例を示す写真
【図6】第5図に示されたプルダウンメニューからテキスト情報のID番号を選んで該当するテキストが表示された例を示す写真
【図7】軸設定部20により情報セット配置空間軸を再設定し、特徴量の再抽出、当該情報セット配置空間へ再分類、再表示した例を示す写真
【図8】キーイメージに類似する画像情報を類似イメージリストとして表示した例を示す写真
【図9】本発明の実施形態2のマルチメディア情報分類配置装置の装置構成例を示す図
【図10】本発明の実施形態3のマルチメディア情報分類配置装置の装置構成例を示す図
【図11】本発明の実施形態4のマルチメディア情報分類配置装置の装置構成例を示す図
【図12】本発明の実施形態5のマルチメディア情報分類配置装置において、表示視点を奥行き方向に進めた場合の表示例を示す写真
【図13】本発明の実施形態5のマルチメディア情報分類配置装置の装置構成例を示す図
【図14】情報表示部50により表示された再分類配置前の具体例を示した図
【図15】情報表示部50により表示された再分類配置後の具体例を示した図
【図16】再分類配置前において配置位置固定指定部41を用いて特定の情報セットを選択指定した様子を示す図
【図17】第16図で選択指定された情報セットを特定位置(画面中央)に固定して他の情報セットを再分類配置した様子を示した図
【図18】本発明の実施形態6のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図19】本発明の実施形態6のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図20】本発明の実施形態6のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図21】本発明の実施形態7のマルチメディア情報分類配置装置の処理内容を処理ステップとしたプログラムを記録した記録媒体の例を示す図
Claims (12)
- 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、その情報セットを単位としてメディア情報を取得する情報セット取得部と、
取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、1以上の軸を備えた情報セット配置空間を設定する軸設定部と、
各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、
各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置する情報セット分類配置部と、
前記情報セット配置空間内に分類配置された各情報セットのメディア情報のうち、前記情報セット配置空間に対する視点に応じたメディア情報を表示する情報表示部を備え、
前記情報セット分類配置部が、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、
軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、前記ユーザが選択した情報セットを前記特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたことを特徴とするマルチメディア情報分類配置装置。 - 前記軸設定部が、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、
前記情報セット分類配置部が、再設定された情報セット配置空間に対して各情報セットを再分類配置し、
前記情報表示部が、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示する、請求項1に記載のマルチメディア情報分類配置装置。 - 前記情報セット取得部が、画像情報、テキスト情報、音声情報を含むメディア情報を収集する情報収集部と、前記収集したメディア情報相互の関連性を解析する関連解析部と、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する情報セット生成部を備えた、請求項1に記載のマルチメディア情報分類配置装置。
- 前記軸設定部における、1つの空間軸に対して割り当てる特徴量の属性が複数の特徴量の属性を組み合わせたもの、または、複数の軸に対して1つの特徴量の属性を割り当てたものである請求項1〜3のいずれか一項に記載のマルチメディア情報分類配置装置。
- 前記軸設定部が、情報セット配置空間軸の各軸への特徴量の属性の割り当てを再設定し、1以上の軸を備えた情報セット配置空間を再設定する軸再設定機能を備え、
前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記情報セット分類配置部が前記抽出された特徴量の成分に応じて各情報セットを前記情報セット配置空間内に分類配置し、前記情報表示部が前記再設定された情報セット配置空間に対する視点に応じたメディア情報を表示する請求項1〜4のいずれか一項に記載のマルチメディア情報分類配置装置。 - 前記情報収集部が、マルチメディア情報群からメディア情報を収集する際に指定された選択基準に従ってメディア情報を収集するものであって、前記選択基準を、キーワード情報、サイト情報、リンク情報、特定情報セットに対する類似度情報を含む基準群から選んで指定する請求項3に記載のマルチメディア情報分類配置装置。
- 前記特徴量が、画像情報に対するDCT変換係数特徴量、画像情報に対するウェーブレット変換係数特徴量、画像情報に対するHSI色ヒストグラム特徴量、テキスト情報に対する特定単語の存在を示す特徴量、テキスト情報に対する特定単語の使用回数の特徴量、音声情報に対する音声周波数特徴量、音声情報に対する振幅特徴量、音声情報に対する時間変移特徴量から選ばれた特徴量である請求項1〜3のいずれか一項に記載のマルチメディア情報分類配置装置。
- 前記情報セット分類配置部が、局所相互作用を利用して学習により自己組織化をおこなう自己組織化マップ処理部を備え、
前記情報セット分類配置部は、前記特徴量抽出部が抽出した特徴量をもとに、前記自己組織化マップ処理部による自己組織化マップ処理を用いて情報セットを配置する請求項1〜3のいずれか一項に記載のマルチメディア情報分類配置装置。 - 前記情報表示部が、情報セットおよび情報セット配置空間を表示する視点の設定位置を移動させる機能を持つ表示視点移動部を備え、
前記情報表示部は、前記表示視点移動部が設定した視点位置に基づいて情報セットが分類・配置された情報セット配置空間を表示する請求項1〜3のいずれか一項に記載のマルチメディア情報分類配置装置。 - 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、その情報セットを単位としてメディア情報を取得する情報セット処理ステップと、
取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、1以上の軸を備えた情報セット配置空間を設定する軸設定処理ステップと、
各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出処理ステップと、
前記抽出した特徴量の成分に基づいて各情報セットを前記情報セット配置空間内に分類配置する情報セット分類配置処理ステップと、
前記情報セット配置空間内に分類配置された各情報セットのメディア情報のうち、前記情報セット配置空間に対する視点に応じたメディア情報を表示する情報表示処理ステップを含む処理をコンピュータに実行させるための処理プログラムを記録した記録媒体であって、
前記情報セット分類配置処理ステップにおいて、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定し、
軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、前記ユーザが選択した情報セットを前記特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する処理をコンピュータに実行させるための処理プログラムを記録した記録媒体。 - 前記軸設定処理ステップにおいて、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、
前記情報セット分類配置処理ステップにおいて、再設定された情報セット配置空間に対して各情報セットを再分類配置し、
前記情報表示ステップにおいて、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示する処理をコンピュータに実行させるための処理プログラムを記録した、請求項10に記載の記録媒体。 - 前記情報セット処理ステップにおいて、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、前記収集したメディア情報相互の関連性を解析し、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する処理をコンピュータに実行させるための処理プログラムを記録した、請求項10に記載の記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP1999/005950 WO2001031502A1 (fr) | 1999-10-27 | 1999-10-27 | Dispositif et procede de classement et de rangement d'informations multimedia |
PCT/JP2000/006684 WO2001031503A1 (fr) | 1999-10-27 | 2000-09-27 | Dispositif et procede de structuration/tri d'informations multimedia |
Publications (1)
Publication Number | Publication Date |
---|---|
JP3615518B2 true JP3615518B2 (ja) | 2005-02-02 |
Family
ID=14237112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001534014A Expired - Lifetime JP3615518B2 (ja) | 1999-10-27 | 2000-09-27 | マルチメディア情報分類配置装置および分類配置方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6948123B2 (ja) |
EP (1) | EP1241585A4 (ja) |
JP (1) | JP3615518B2 (ja) |
WO (2) | WO2001031502A1 (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3738631B2 (ja) * | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
JP3840928B2 (ja) * | 2001-07-17 | 2006-11-01 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
US20030126601A1 (en) * | 2001-12-31 | 2003-07-03 | Koninklijke Philips Electronics N.V. | Visualization of entertainment content |
JP4116325B2 (ja) * | 2002-05-09 | 2008-07-09 | 富士フイルム株式会社 | 画像表示制御装置 |
GB2393271A (en) * | 2002-09-19 | 2004-03-24 | Sony Uk Ltd | Information storage and retrieval |
GB2395808A (en) * | 2002-11-27 | 2004-06-02 | Sony Uk Ltd | Information retrieval |
GB2395807A (en) * | 2002-11-27 | 2004-06-02 | Sony Uk Ltd | Information retrieval |
US7124149B2 (en) * | 2002-12-13 | 2006-10-17 | International Business Machines Corporation | Method and apparatus for content representation and retrieval in concept model space |
JP2004348591A (ja) * | 2003-05-23 | 2004-12-09 | Canon Inc | 文書検索方法及び装置 |
US20050193015A1 (en) * | 2004-02-19 | 2005-09-01 | Sandraic Logic, Llc A California Limited Liability Company | Method and apparatus for organizing, sorting and navigating multimedia content |
US8499248B1 (en) * | 2004-04-29 | 2013-07-30 | Paul Erich Keel | Methods and apparatus for managing and exchanging information using information objects |
JP4539207B2 (ja) * | 2004-07-21 | 2010-09-08 | 株式会社日立製作所 | プレイリスト作成装置、その方法、ダビングリスト作成装置、及びその方法 |
US20060136417A1 (en) * | 2004-12-17 | 2006-06-22 | General Electric Company | Method and system for search, analysis and display of structured data |
US20060136259A1 (en) * | 2004-12-17 | 2006-06-22 | General Electric Company | Multi-dimensional analysis of medical data |
US20070011169A1 (en) * | 2005-07-05 | 2007-01-11 | Xerox Corporation | Method and system for collecting data from diverse sources and transforming the collected data into a user-friendly format |
JP2007066291A (ja) * | 2005-08-02 | 2007-03-15 | Seiko Epson Corp | 画像表示方法および画像表示装置、画像表示システム、サーバ、プログラム、記録媒体 |
JP2007080061A (ja) * | 2005-09-15 | 2007-03-29 | Univ Of Tsukuba | Webページの検索方法及びWebページのクラスタリング方法 |
US20070078873A1 (en) * | 2005-09-30 | 2007-04-05 | Avinash Gopal B | Computer assisted domain specific entity mapping method and system |
US7707204B2 (en) * | 2005-12-13 | 2010-04-27 | Microsoft Corporation | Factoid-based searching |
US20070209025A1 (en) * | 2006-01-25 | 2007-09-06 | Microsoft Corporation | User interface for viewing images |
JP4958456B2 (ja) * | 2006-03-14 | 2012-06-20 | 学校法人同志社 | 画面の表示方法 |
EP2050022A1 (de) * | 2006-08-07 | 2009-04-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Verfahren zur herstellung skalierbarer bildmatrizen |
US7707208B2 (en) | 2006-10-10 | 2010-04-27 | Microsoft Corporation | Identifying sight for a location |
JP4296521B2 (ja) * | 2007-02-13 | 2009-07-15 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US20080208791A1 (en) * | 2007-02-27 | 2008-08-28 | Madirakshi Das | Retrieving images based on an example image |
JP4356027B2 (ja) * | 2007-03-30 | 2009-11-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
WO2008122914A2 (en) * | 2007-04-04 | 2008-10-16 | Koninklijke Philips Electronics N.V. | Method and apparatus for rendering a plurality of multimedia objects |
US8375312B2 (en) * | 2007-06-08 | 2013-02-12 | Apple Inc. | Classifying digital media based on content |
CA2601154C (en) | 2007-07-07 | 2016-09-13 | Mathieu Audet | Method and system for distinguising elements of information along a plurality of axes on a basis of a commonality |
US8601392B2 (en) | 2007-08-22 | 2013-12-03 | 9224-5489 Quebec Inc. | Timeline for presenting information |
US20090199093A1 (en) * | 2007-09-04 | 2009-08-06 | Tridib Chakravarty | Image Capture And Sharing System and Method |
CA2657835C (en) | 2008-03-07 | 2017-09-19 | Mathieu Audet | Documents discrimination system and method thereof |
JP2009266188A (ja) * | 2008-03-31 | 2009-11-12 | Yahoo Japan Corp | 表示制御方法及びプログラム |
JP4636141B2 (ja) * | 2008-08-28 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
WO2010053160A1 (ja) * | 2008-11-07 | 2010-05-14 | 国立大学法人 北海道大学 | コンテンツ検索装置およびコンテンツ検索プログラム |
US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
KR101695490B1 (ko) * | 2009-12-23 | 2017-01-12 | 삼성전자주식회사 | 컨텐츠 검색방법 |
US9384216B2 (en) * | 2010-11-16 | 2016-07-05 | Microsoft Technology Licensing, Llc | Browsing related image search result sets |
US9058093B2 (en) | 2011-02-01 | 2015-06-16 | 9224-5489 Quebec Inc. | Active element |
US10289657B2 (en) | 2011-09-25 | 2019-05-14 | 9224-5489 Quebec Inc. | Method of retrieving information elements on an undisplayed portion of an axis of information elements |
US9519693B2 (en) | 2012-06-11 | 2016-12-13 | 9224-5489 Quebec Inc. | Method and apparatus for displaying data element axes |
US9646080B2 (en) | 2012-06-12 | 2017-05-09 | 9224-5489 Quebec Inc. | Multi-functions axis-based interface |
JP6144968B2 (ja) * | 2013-06-05 | 2017-06-07 | 日本電信電話株式会社 | 情報提示装置、方法、及びプログラム |
CN103473040A (zh) * | 2013-07-08 | 2013-12-25 | 北京百纳威尔科技有限公司 | 多媒体播放方法及装置 |
WO2015016219A1 (ja) * | 2013-07-31 | 2015-02-05 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
CN105488084A (zh) * | 2014-12-24 | 2016-04-13 | 哈尔滨安天科技股份有限公司 | 基于树同构的软件安装包分类方法及系统 |
US10671266B2 (en) | 2017-06-05 | 2020-06-02 | 9224-5489 Quebec Inc. | Method and apparatus of aligning information element axes |
US10726851B2 (en) * | 2017-08-31 | 2020-07-28 | Sony Interactive Entertainment Inc. | Low latency audio stream acceleration by selectively dropping and blending audio blocks |
JP7014072B2 (ja) * | 2018-07-17 | 2022-02-01 | 日本電信電話株式会社 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
CN112218167B (zh) * | 2019-07-10 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 多媒体信息播放方法、服务器、终端及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0728687A (ja) * | 1993-07-15 | 1995-01-31 | Fujitsu Ltd | マルチメディア知識ベ−ス装置,及び、情報提供装置 |
JPH09114859A (ja) * | 1995-10-20 | 1997-05-02 | Fuji Xerox Co Ltd | 情報提示装置 |
JPH09259130A (ja) * | 1996-03-19 | 1997-10-03 | Fujitsu Ltd | 情報探索方法及び装置 |
JPH1011463A (ja) * | 1996-06-26 | 1998-01-16 | Mitsubishi Materials Corp | 音楽情報検索装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3715690B2 (ja) * | 1995-08-02 | 2005-11-09 | キヤノン株式会社 | マルチメディアデータファイリングシステム |
US5918223A (en) * | 1996-07-22 | 1999-06-29 | Muscle Fish | Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information |
US5915038A (en) * | 1996-08-26 | 1999-06-22 | Philips Electronics North America Corporation | Using index keys extracted from JPEG-compressed images for image retrieval |
US6253218B1 (en) * | 1996-12-26 | 2001-06-26 | Atsushi Aoki | Three dimensional data display method utilizing view point tracing and reduced document images |
US6633893B2 (en) * | 1998-09-04 | 2003-10-14 | Canon Kabushiki Kaisha | File management system and method, and storage medium |
-
1999
- 1999-10-27 WO PCT/JP1999/005950 patent/WO2001031502A1/ja active Application Filing
-
2000
- 2000-09-27 EP EP00962905A patent/EP1241585A4/en not_active Ceased
- 2000-09-27 WO PCT/JP2000/006684 patent/WO2001031503A1/ja active Application Filing
- 2000-09-27 JP JP2001534014A patent/JP3615518B2/ja not_active Expired - Lifetime
-
2002
- 2002-03-20 US US10/101,272 patent/US6948123B2/en not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0728687A (ja) * | 1993-07-15 | 1995-01-31 | Fujitsu Ltd | マルチメディア知識ベ−ス装置,及び、情報提供装置 |
JPH09114859A (ja) * | 1995-10-20 | 1997-05-02 | Fuji Xerox Co Ltd | 情報提示装置 |
JPH09259130A (ja) * | 1996-03-19 | 1997-10-03 | Fujitsu Ltd | 情報探索方法及び装置 |
JPH1011463A (ja) * | 1996-06-26 | 1998-01-16 | Mitsubishi Materials Corp | 音楽情報検索装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2001031502A1 (fr) | 2001-05-03 |
WO2001031503A1 (fr) | 2001-05-03 |
US20020105541A1 (en) | 2002-08-08 |
US6948123B2 (en) | 2005-09-20 |
EP1241585A4 (en) | 2007-08-08 |
EP1241585A1 (en) | 2002-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3615518B2 (ja) | マルチメディア情報分類配置装置および分類配置方法 | |
JP3177746B2 (ja) | デ−タ処理システム及び方法 | |
JP4116329B2 (ja) | 文書情報表示システム、文書情報表示方法及び文書検索方法 | |
US5832494A (en) | Method and apparatus for indexing, searching and displaying data | |
JP3489615B2 (ja) | 画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置 | |
Teoh et al. | PaintingClass: interactive construction, visualization and exploration of decision trees | |
US7043474B2 (en) | System and method for measuring image similarity based on semantic meaning | |
JP3671008B2 (ja) | コンテキスト・クラスタ発見および検証のための顧客セルフ・サービス・サブシステム | |
JP2009251850A (ja) | 類似画像検索を用いた商品推薦システム | |
JPH11175535A (ja) | 画像検索方法およびその装置およびこれを利用した検索サービス | |
JP2002259410A (ja) | オブジェクト分類管理方法、オブジェクト分類管理システム、オブジェクト分類管理プログラム及び記録媒体 | |
JP4841926B2 (ja) | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム | |
JP4295510B2 (ja) | マルチメディア情報分類配置装置および分類配置方法 | |
JP3522570B2 (ja) | 画像検索・画像分類連携システム | |
JP4979528B2 (ja) | コンテンツ表示装置、コンテンツ表示方法、プログラムおよび記録媒体 | |
Mansmann et al. | Visual OLAP: A new paradigm for exploring multidimensional aggregates | |
Alam et al. | Steps towards interactive formal concept analysis with latviz | |
Colombo et al. | Interactive image retrieval by color distributions | |
Zekri et al. | Optimized image retrieval system in Oracle DBMS | |
Chuah et al. | Sketching, searching, and customizing visualizations: A content-based approach to design retrieval | |
Ventura Royo | Image-based query by example using mpeg-7 visual descriptors | |
Hirata et al. | Integration of image matching and classification for multimedia navigation | |
JP4331882B2 (ja) | 検索用要素画像抽出装置、検索参照画像入力装置及びプログラムを記録した記録媒体 | |
Nuchprayoon et al. | GUIDO: visualizing document retrieval | |
JPH09160931A (ja) | 複数メニューによる複合検索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3615518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |