JP4295510B2 - Multimedia information classification and arrangement apparatus and classification arrangement method - Google Patents

Multimedia information classification and arrangement apparatus and classification arrangement method Download PDF

Info

Publication number
JP4295510B2
JP4295510B2 JP2002565195A JP2002565195A JP4295510B2 JP 4295510 B2 JP4295510 B2 JP 4295510B2 JP 2002565195 A JP2002565195 A JP 2002565195A JP 2002565195 A JP2002565195 A JP 2002565195A JP 4295510 B2 JP4295510 B2 JP 4295510B2
Authority
JP
Japan
Prior art keywords
information
classification
arrangement
icon
set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002565195A
Other languages
Japanese (ja)
Other versions
JPWO2002065339A1 (en
Inventor
祐介 上原
大器 増本
直毅 指田
秀一 椎谷
進 遠藤
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2001/000049 priority Critical patent/WO2002065339A1/en
Publication of JPWO2002065339A1 publication Critical patent/JPWO2002065339A1/en
Application granted granted Critical
Publication of JP4295510B2 publication Critical patent/JP4295510B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Description

技術分野本発明は、テキスト情報のみならず、画像情報、音声情報など多様なメディア情報として混在しているマルチメディア情報群の分類・配置を効率的かつ柔軟に行なうことのできるマルチメディア情報分類配置装置に関する。 TECHNICAL FIELD The present invention is not text information only, the image information, the multimedia information classification arrangement capable of performing classification and arrangement of the multimedia information group efficiently and flexibly that are mixed as various media information such as audio information apparatus on. インターネットのWWW(ワールドワイドウェブ。以下、WWWと略記する)上においてアクセス可能であるマルチメディア情報群の分類・配置も可能である。 Internet WWW (World Wide Web. Hereinafter abbreviated as WWW) on the classification and arrangement of multi-media information group is also possible is accessible in.
背景技術現在、テキスト情報のみならず、画像情報、音声情報などマルチメディアデータが大量に格納され、アクセス可能となっている。 BACKGROUND Currently, not text information only, image information, multimedia data such as audio information is stored in large quantities, has become accessible. 特に、インターネットの発展に伴い、WWW(ワールドワイドウェブ)上にある情報は、増加の一途をたどっており、テキスト情報、画像情報、音声情報など多様なマルチメディアデータが大量に格納され、アクセス可能となっている。 In particular, with the development of the Internet, information that is on the WWW (World Wide Web) has been increasing, text information, image information, a variety of multi-media data such as voice information is stored in large quantities, can be accessed It has become. その結果、情報源から必要な情報を的確に検索することが非常に難しくなってきている。 As a result, it possible to accurately search for the required information from the information source is becoming very difficult.
従来の情報検索システムおよび当該検索システムにおける情報の分類・配置処理技術として以下のものが知られている。 The following have been known as the classification and arrangement processing technology of information in the conventional information retrieval system and the search system.
第1には、テキストキー検索システムが知られている。 In the first, it is known text key retrieval system. 検索対象となるマルチメディアデータに対してその内容を表わす1または複数のテキスト情報を適当に割り付けておき、検索に当たっては、単語などのテキストを検索キーとして指定し、当該検索キーと同一のテキスト情報が割り付けられているマルチメディアデータを検出する方法が知られている。 Searched multimedia data keep appropriately allocated one or more text information representing the content to made, when searching, you specify the text such as a word as a search key, the same text information and the search key method of detecting is known multimedia data is allocated. 検索対象のメディア情報がテキスト情報である場合には、テキスト情報の内容をテキストキーにより検索することとなり、当該テキストキー検索はおおむね適切に実行できる場合が多い。 If media information to be searched is text information, it is possible to search the contents of the text information by text key, the text key search is often generally can be appropriately executed. このテキストキー検索システムにおける情報の分類・配置例としては、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。 This as a classification and arrangement of the text key retrieval information in the system include those that lists sorted data hits in the search.
第2には、テキスト全文検索システムが知られている。 In the second, it is known the full text search system. これは、検索対象となるマルチメディアデータがテキスト情報の場合に特に有効な検索システムである。 This multimedia data to be searched is particularly effective retrieval system for text information. 幾つかの方法が提案されているが、例えば、前処理としてテキスト全文からその内容の特徴を表わす単語すべてを自動的に抽出しておき、検索キーファイルを生成して割り付けておく。 Several methods have been proposed, for example, pre-treatment in advance to automatically extract all words representing the characteristics of the contents from the text entirety, previously allocated to generate the search key file. 検索に当たっては、単語などのテキストを検索キーとして指定し、検索キーファイル中に当該検索キーと同一のテキストが存在するテキスト情報を検出する。 Search In specifies the text, such as a word as a search key, the same text and the search key is to detect the text information to be present in the search key file. この方法によっても上記第1のテキストをキーとした検索方法と同様、テキスト情報以外のメディア情報、例えば、画像情報については、画像情報ごとに適切なテキストキーを付与するのでなければ、テキストをキーとした検索では、検索を適切に行なうことは難しい。 As with search method is also that the key the first text by this method, the media information other than text information, for example, the image information, unless the grant the appropriate text key for each image information, the key text and was in search, it is difficult to properly carry out the search.
このテキスト全文検索システムにおける情報の分類・配置例もテキストキー検索システム同様、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。 Classification and arrangement of information in the full text retrieval system similarly text key retrieval system include those sorts the hit data list displayed on the search.
第3には、画像情報を検索する技術として、画像の特定部分を指定して部分画像を検索キーとした画像パターン照合による画像検索技術が知られている。 Third, as a technique for searching image information, an image retrieval technique it is known by the image pattern matching in which the partial image as a search key with a specific portion of the image. この画像検索方法によれば、指定した部分画像を持つ画像情報を検索することは可能である。 According to the image retrieval method, it is possible to search for image information with the specified partial image.
この画像パターン照合による画像検索システムにおける情報の分類・配置例も検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。 Classification and arrangement of information in the image retrieval system according to an image pattern matching also include those sorts the hit data list displayed on the search.
第4には、音響情報を検索する技術として、音響パターン照合による音響検索技術が研究されている。 The fourth, as a technique to find the acoustic information, the acoustic retrieval techniques have been studied by acoustic pattern matching. 音響情報検索システムとして、ユーザがキーとなる音響データ(ハミング等)を指定することにより、システムはその音響信号と類似する音響データを検索し、曲名等の情報をユーザに呈示するものが挙げられる。 As audio information retrieval systems by specifying the sound data that the user is a key (Hamming, etc.), the system retrieves the sound data similar to the acoustic signals include those that present the information Song such user .
第5には、映像情報を検索する技術がある。 The fifth, there is a technique for searching the video information. 映像検索の方法としては、あらかじめ映像をセグメンテーションし、各セグメントの内容を動作認識アルゴリズムや音声認識、テロップ認識等の技術を使って認識し、情報内容に沿ったラベル付けを行っておく方法や、物体の移動方向をスケッチすることにより検索キーを作成して検索する方法が研究されている。 As a method for video retrieval, and methods advance segmenting an image, motion recognition algorithm and voice recognition the content of each segment, and recognize using techniques telop recognition etc., subjected to labeling along the information content, how to search creates a search key by sketching the movement direction of the object being studied. この映像情報検索システムとしてはホームランやシュート、ゴール等、野球やサッカーなどの実況中継で生じるハイライトシーンの検索、テニスにおけるスマッシュやボレー等のような特定の動作の検索を行うシステムが開発されつつある。 Home run and shoot as the video information retrieval system, goals, etc., the search of the highlight scene that occurs in live coverage such as baseball and soccer, while the system for searching for specific operations such as smash and volley has been developed in tennis is there.
しかし、従来の情報検索システムは、テキスト情報以外のメディア情報、例えば、画像情報や音声情報については実用性の高い有効な検索方法が存在していない。 However, conventional information retrieval systems, media information other than text information, for example, valid search method highly practical does not exist for the image information and audio information.
従来の第1のテキストキー検索システムでは、画像情報や音声情報について適切に行なうことは難しい。 In the first conventional text key retrieval system, it is difficult to properly perform the image information and audio information. つまり、1つの画像情報に対して複数のキーワードを割り付けたとしても、画像の特徴を的確かつ柔軟にテキストで表現することが困難である以上、検索者の検索する意図に応じてキーワードにより適切で柔軟な画像検索の実行は困難である。 That is, even allocated a plurality of keywords with respect to one image information, the image features accurately and flexibly than is difficult to express in text, keywords appropriate depending on the intended looking searcher perform flexible image search is difficult. 数多くの画像を収集し、それらを順番に表示することが可能であるが、画像数が多くなるとその中から目的の画像を探し出すのが困難になるという問題があった。 Collect a number of images, but they are to be able to display the order, the number of images increases that find a target image from among them there is a problem that it is difficult.
従来の第2の全文テキスト検索システムの場合でも、第1のテキストキー検索システムと同様、画像情報や音声情報について適切に行なうことは難しい。 Even in the case of the second conventional full-text retrieval system, similarly to the first text key retrieval system, it is difficult to properly perform the image information and audio information. つまり、画像情報や音声情報は元々テキスト情報を持っておらず、テキスト情報の抽出は期待できない。 In other words, the image information and audio information is not originally have the text information, extraction of text information can not be expected.
従来の第3の画像パターン照合による画像検索システムによれば、指定した部分画像を持つ画像情報を検索することは可能である。 According to the third conventional image retrieval system according to an image pattern matching, it is possible to search for image information with the specified partial image. しかし、検索者は、検索したい画像が持つ部分画像を用意して指定する必要がある。 However, searcher, it is necessary to specify to prepare the partial image with the image that you want to search. 検索者がもっとも欲しい画像がどのような部分画像を持つか明らかでない場合もあり、また、検索に用いる部分画像が常に用意できるとは限らず、検索が困難となる。 In some cases the searcher is not clear whether the most wanted image has what part image, also not limited to a partial image is always ready to use in the search, the search is difficult. さらに、検索者自身が検索したい画像を明確に把握していない場合もある。 In addition, there is a case where the search themselves do not clearly understand the image that you want to search. つまり、検索したい画像のおおむねの内容を指定することはできるが、部分的であっても画像そのものの指定ができない場合がある。 In other words, although it is possible to specify generally the content of the search image desired, may be partially not be able to specify the image itself. また、検索者は漠然と何か利用できる画像がないか試行錯誤的に検索したい場合もある。 In addition, the searcher is also if you want to search something image or trial and error not available vaguely. このような場合には部分画像のマッチングのみでは柔軟性に欠け、不充分である。 Lacks only by the flexible matching of the partial image in this case is insufficient.
従来の第4の音響パターン照合による音響検索システムでは、一般のユーザのハミングは、一つの音符であるにもかかわらず、半音以上音程がふらついたり、音程を間違ってしまう等の現象が起こるため、適切な検索は難しい。 Since the conventional fourth acoustic retrieval system according to the acoustic pattern matching, humming a general user, despite being one note, the or unsteady pitch than a semitone, a phenomenon such as would incorrectly pitch occurs, appropriate search is difficult.
従来の第5の映像情報検索システムにおいても、的確に映像内容にラベル付けしたり、映像中の対象物の運動を記述したりすることは困難であり、一般の映像に対して適用できる汎用性のある映像情報検索方法は未だ存在しないのが現状である。 Also in the conventional fifth video information retrieval system, or label the accurately video content, it is difficult or describe the motion of the object in the video, the versatility to be able to be applied to a general image the video information retrieval method of is at present not yet exist.
上記のように、従来の情報検索技術には共通して、「情報を絞り込むための適切なキー指定の難しさ」という問題がある。 As noted above, in common with the conventional information retrieval technology, there is a problem that the "difficulty of the appropriate key specified to narrow the information". この問題を解決する手段として、なるべくたくさんの情報を検索者に呈示し、検索者にその中から所望の情報を探してもらうというアプローチがある。 As a means for solving this problem, as much as possible and presented a lot of information to the searcher, there is an approach that get looking for the desired information from among them to the searcher. 検索対象が画像を含む情報単位(画像そのもの、画像・テキスト混在文書等)から構成されている場合などは、人間にとって一覧性に優れているためユーザは呈示された大量の情報の中から所望の情報を比較的容易に探し出すことが可能となる。 Information unit searched contains an image (image itself, image text mixed documents, etc.) for example, if it is composed, the user because it is excellent in the list of humans desired from a large amount of information presented it is possible to locate the information relatively easily. しかし、以下のような問題が生じる。 However, the following problems occur.
第1の問題は、検索装置がサーバ上で動作しており、ネットワークを介してクライアント上で画像の表示を行なう場合には大量の画像を転送しなければならず、検索者の待ち時間が長くなってしまうという問題である。 The first problem, the search device is operating on the server, when through the network for displaying an image on the client must transfer large amounts of image, long searcher latency is a problem that is to become.
第2の問題は、画像・テキスト混在文書のように、情報単位に画像以外の情報も含まれる場合には、画像がその情報単位の内容を的確に表現しているとは限らないという問題である。 The second problem, as in the image-text mixed document, in the case also included information other than the image in the information unit, the image is a problem that is not always to be accurately represent the content of the information unit is there. つまり、情報単位が含む画像は、単に、装飾などのために利用されている場合も多く、このような場合、当該画像を基にした閲覧検索では、検索者が的確に所望の情報セットを見つけられない場合がある。 That is, the image contained in the information unit may simply many cases have been utilized for such decorative, such a case, in the view search that the image based on, find the desired information set accurately searcher there is a case that is not.
第3の問題は、検索対象が画像を含まない情報単位(テキストのみの文書データ、音響データのみ、映像データのみ)から構成されている場合には、情報をそのまま呈示しても一覧性に欠けるため、ユーザの検索効率は上がらない。 A third problem, the search target information unit that does not include the image (document data only text, sound data only, the video data only) if it is composed can be directly presented information lacks glance Therefore, the search efficiency of the user does not increase.
本発明は、上記問題点に鑑み、ネットワークを介してクライアント上で情報表示を行う際に、転送するデータ量を低減し、かつ、検索者に対する情報内容の一覧性、把握容易性を確保したマルチメディア情報分類配置装置および分類配置方法を提供することを目的とする。 Multi In view of the above problems, when performing information display on the client via the network, to reduce the amount of data to be transferred, and a list of the information content for the searcher, to ensure a grasping easiness and to provide a media information classification and arrangement apparatus and classification alignment.
また、本発明は、効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を、マルチメディア情報の持つ多様な特徴量を利用することにより効率的かつ柔軟に検索し、検索結果をビジュアルかつ分かり易いように分類・配置して表示することができるマルチメディア情報分類配置装置および分類配置方法を提供することを目的とする。 The present invention also efficiently text information, image information, multimedia information such as audio information, searches efficiently and flexibly by using various characteristic amounts possessed by multimedia information, visual and Results and to provide a multimedia information classification and arrangement apparatus and classification arrangement method capable of displaying classified and arranged to the easy understanding.
発明の開示上記目的を達成するために、本発明のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを“情報セット”とし、その情報セットを処理単位として用いる。 To achieve the disclosure above object of the invention, the multimedia information classification arrangement apparatus of the present invention, image information, text information, a homologous and heterologous media information associated with the same object from a set of media information including audio information what were grouped as "information set", it uses that information set as a processing unit. そして、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する“情報セットアイコン”を用いる。 Then, for each media information constituting the information set assigned an icon visually displaying the contents, using them icon synthesized by the visually represent the content of the information set "information set icon" .
本発明において“情報セット”を情報処理の単位として用いる点、および、“情報セットアイコン”を用いる点は、従来技術の情報検索技術とは明瞭に異なるものである。 That it uses a "data set" in the present invention as a unit of the information processing, and, that using "information set icon", the prior art information retrieval technology is different clarity. 本願の“情報セット”は、従来技術のマルチメディア情報のごとく各メディア情報そのものを合成して一体化しているものではなく、共通する概念をもって関連付けているもので、従来の一体合成型のマルチメディア情報とは明瞭に異なるものである。 "Information set" in the present application, but the present invention is integrated by combining the media information itself as the multimedia information of the prior art, one that is associated with a concept common, conventional integral synthetic Multimedia the information is distinctly different. また、“情報セットアイコン”は、情報処理単位が情報セットであり、その情報セットを構成するテキスト、画像、音声などの各メディア情報に対して該当するアイコンを割り当て、これらアイコンを合成して情報処理単位としての情報セットに対応する形にしたアイコンである。 Furthermore, "information set icon", the information processing unit is information set, text constituting the information set, image, assign the appropriate icon for each media information such as voice, by combining these icon information an icon that is in the form corresponding to the information set as a processing unit. この情報セットアイコンによれば、圧縮効率が高くデータ転送量が少なくて済むよう作成できると同時に、情報セットにどのようなメディア情報が含まれているのかが一見して容易に把握できるものであり、検索者に対する情報内容の一覧性、把握容易性を確保せしめることができる。 According to the information set icon, while at the same time can be created so that the compression efficiency is fewer high data transfer amount, which the one can be easily grasped at a glance contains what media information to the information set , it can be allowed to ensure a list of the information content for the searcher, the grasp ease.
本発明のマルチメディア情報分類配置装置は、情報セットを単位としてメディア情報を取得する情報セット取得部と、前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成する情報可視化部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、1以上の軸を備えた分類配置空間を設定する軸設定部と、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間 Multimedia information classification and arrangement apparatus of the present invention, the information set obtaining unit that obtains the media information of information set as a unit, for each media information constituting the information set, the icon visually displaying the contents allocation, and information visualization unit for generating information set icon visually representing the contents of the information set by combining them icon, a feature extraction unit for extracting a component of the feature quantity from each medium information of each information set the selected attributes from the feature quantity of attributes extracted from the media information included in the information set obtained, assigned as the axis of the space for arranging information set icon, sets the classification and arrangement space with one or more axes a shaft setting unit which, based on the component attribute and its feature amount of the feature amount of media information held by the respective information sets, the classification and arrangement space に情報セットアイコンを分類配置する分類配置部と、前記分類配置空間と前記情報セットアイコンを表示する情報表示部を備えたことを特徴とする。 Wherein the classification and arrangement unit for classifying arrangement information set icon, further comprising an information display unit that displays the information set icon and the classification configuration space.
上記構成により、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済む情報セットアイコンを生成して利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。 With the above structure, as data used for display of information, by utilizing to generate information set icon fewer high data transfer amount of compression efficiency, it is possible to reduce the amount of data to be transferred, information of the searcher it is possible to shorten the waiting time until the display, and, it is possible to secure a list of the information content for the searcher, the grasp ease. また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。 Further, by classifying disposed feature space in accordance with information set icon to the feature amount, or placed near the relevant information set icon, by placing an image with particular characteristics in a specific location, the user it is possible to improve the search efficiency.
なお、上記マルチメディア情報分類配置装置による処理を、情報セットアイコン生成フェーズと情報セットを用いた情報検索フェーズの2つのフェーズに分け、情報セットアイコン生成フェーズを前処理としてあらかじめ実行し、情報検索フェーズでの検索に用いる情報セットの情報セットアイコンをまとめて生成・準備しておくこともできる。 Incidentally, the processing by the multimedia information classification placement device, in two phases of the information set icon generating phase information set information search phase with previously running information set icon generation phase as a pretreatment, the information search phase it is also possible to search to keep generation and prepare together the information set of information set icons that are employed in. この構成によれば、情報セット検索フェーズにおいては、検索の結果得られた情報セットからその都度情報セットアイコンを生成する必要がなく、検索された情報セットに対応する情報セットアイコンを分類配置空間に分類配置するのみで良く、処理を高速化することができる。 According to this configuration, in the information set search phase, there is no need to generate each time information set icon resulting information set of search, the classification configuration space information set icon corresponding to the searched information set well only classification and arrangement, it is possible to speed up the process.
次に、本発明のマルチメディア情報分類配置装置の他の構成は、上記のように、情報セットを構成する各メディア情報に対応するアイコンを合成して情報セットアイコンを作成するのではなく、各メディア情報に対応するアイコンを一まとまりとしてアイコンをその特徴量に応じて分類配置空間に分類配置し、当該配置位置において各アイコンを表示順序に従って時間的に切り替えつつ前記配置位置に表示する。 Next, another configuration of the multimedia information classification and arrangement apparatus of the present invention, as described above, rather than creating an information set icon by combining icon corresponding to each media information constituting the information set, each an icon corresponding to the media information classification placed classification and arrangement space according to the feature amount the icon as a collection, is displayed in the position while temporally switching according to the display order of the icons in the placement position.
つまり、前記情報セットを単位としてメディア情報を取得する情報セット取得部と、前記情報セットを単位として情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てる情報可視化部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、アイコンを配置する空間の軸として割り当て、1以上の軸を備えた分類配置空間を設定する軸設定部と、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に前記情報セットに含まれる各メディア情報に対するアイコンを分類配置する分類配置部と、前記分類配置空間と前記 That is, the information set obtaining unit that obtains the media information the information set as a unit, for each media information constituting the information set the information set as a unit, information visualization assign an icon visually displaying the contents a Department, the feature extraction unit for extracting a component of the feature quantity from each medium information of each information set, the selected attributes from the feature quantity of attributes extracted from the media information included in the information set obtained, icons assigned as the axis of the space for disposing the a shaft setting unit for setting a classification arrangement space with one or more axes, based on component attribute and its feature amount of the feature amount of media information held by the respective information sets, wherein a classification arrangement unit which classifies place icons for each media information included in the information set in the classification configuration space, the said classification and arrangement space イコンを表示する情報表示部であって、前記情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ前記配置位置に表示する情報表示部を備えたことを特徴とする。 An information display unit for displaying the icon, further comprising an information display unit for displaying the position while switching them icon in time decide the display order of icons for each media information included in the information set and features.
上記構成により、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを生成して利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、各アイコンを表示順序に従って切り替えつつ表示するので検索者に対する情報内容の一覧性、把握容易性を確保することができる。 With the above structure, as data used for display of information, by utilizing to generate an icon fewer high data transfer amount of compression efficiency, it is possible to reduce the amount of data to be transferred until the searcher's information display it is possible to shorten the waiting time, and a list of the information content for the searcher because display while switching according to the display order of the icons, it is possible to secure the grasping ease.
なお、上記構成においても、情報セットアイコン生成フェーズと情報セットを用いた情報検索フェーズの2つのフェーズに分け、情報セットアイコン生成フェーズを前処理としてあらかじめ実行し、情報検索フェーズでの検索に用いる情報セットの情報セットアイコンをまとめて生成・準備しておくことができる。 Also in the above structure, in two phases of the information set icon generating phase information set information search phase using, perform pre-information set icon generation phase as a pre-treatment, used to search for the information search phase information It may have been generated and prepare together a set of information set icon.
なお、上記構成において、特徴量抽出部が抽出した特徴量の成分が、ある情報セットのあるメディア情報について複数個存在した場合、分類配置部は、特徴量の複数個の成分それぞれに基づいて複数個の位置に、前記情報セットアイコン、または、表示順序に従って切り替え表示する各アイコンを分類配置すれば、特徴量に複数個の成分が存在しても適切に特徴空間内に分類配置できる。 In the above arrangement, the components of the feature by the feature extraction unit and extracted, when the plurality exist for media information that is information set, classification and arrangement unit, based on the respective plurality of components of the feature plurality the number of positions, the information set icon or, if classified placing each icon to switch the display according to the display order, even in the presence of a plurality of components in the feature quantity can be properly classified disposed feature space.
なお、上記構成において、情報可視化部によるアイコンの割り当てにおいて、あらかじめ用意されているアイコンのいずれかを選択し、対応するメディア情報の内容に応じて前記選択したアイコンの表示内容を修飾することとすれば、各メディアごとのアイコンや情報セットアイコンを、情報の内容を反映した把握容易で検索に適切なものとすることができる。 Incidentally, by the above configuration, in the assignment of the icon by Visualization unit, select one of the icons that are prepared in advance, and modifying the display contents of the icon and the selection in accordance with the content of the corresponding media information if the icons and information set icon for each media, it can be appropriate to grasp easily search that reflects the content of the information.
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、分類配置空間軸の各軸への特徴量の属性の割り当てを再設定し、1以上の軸を備えた分類配置空間を再設定する軸再設定機能を備え、前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記分類配置部が前記抽出された特徴量の成分に応じて各情報セットアイコンを前記分類配置空間内に分類配置し、前記情報表示部が前記再設定された分類配置空間に対する視点に応じたメディア情報を表示することが好ましい。 Then, in the multimedia information classification placement device, the shaft setting unit, reconfigure the allocation of the feature attributes to each axis of classification configuration space axis, the classification and arrangement space with one or more axes re comprising a shaft reconfiguration function of setting, the feature extraction unit extracts the component of the feature amount according to the axial resetting by the axis setting unit, depending on the components of the quantity characteristic of the classification and arrangement section is the extracted each information set icon classifying disposed in the classification and arrangement space, it is preferable that the information display unit displays the media information corresponding to the viewpoint with respect to the reconfigured classified configuration space.
上記構成により、検索者が実行した検索結果を見て、インタラクティブに再検索を行なって柔軟に情報を絞り込んだり、再設定した分類配置空間軸を用いて、さらに異なる切り口により検索を次々と続行することができる。 With the above structure, a look at the search results searcher has executed, narrow down the flexible information by performing re-search interactively, using a classification configuration space axes that are reconfigured to continue one after another, searching more different kerf be able to. つまり、検索結果を見て試行錯誤的に、別の特徴量を指定して分類配置空間の軸再設定を行なうことができ、再設定した軸を用いた分類配置空間を用いて情報セットアイコンを再配置し、再表示を行なうことができる。 In other words, the search results trial and error have viewed the axial resetting of classification configuration space to specify a different feature quantity can be performed, the information set icon using classification configuration space using an axis reconfigure repositioned, it is possible to re-display.
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、分類配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている分類配置空間を再設定し、前記分類配置部が、再設定された分類配置空間に対して各情報セットアイコンを再分類配置し、前記情報表示部が、各情報セットアイコンが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示することが好ましい。 Then, in the multimedia information classification placement device, the shaft setting unit, reconfigure the allocation of the feature attributes to the classification configuration space each axis reconfigure the classification arrangement space that is already displayed, the classification and arrangement portion, reclassification place each information set icon against reconfigured classification configuration space, when the information display unit displays the manner in which each information set icon is reclassified arranged, reclassification arrangement from the position that was displayed before, to a position that appears after reclassification arrangement, it is preferable to display by moving the media information that is displayed in a predetermined increments.
上記構成によれば、分類配置空間を再設定し、情報セットアイコンを再分類した場合に、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。 According to the above configuration, reconfigure the classification configuration space, when re-classify the information set icon can be position of each information set icon to confirm how changed to a situation where either the visual information Search of the set, the convenience of the classification process can be improved.
また、上記マルチメディア情報分類配置装置において、前記分類配置部が、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、前記ユーザが選択した情報セットアイコンを前記特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えることが好ましい。 Further, in the above-mentioned multimedia information classification and arrangement apparatus, the classification and arrangement part, a function of the user to secure the information set selected icon to a specific position on the classification configuration space specified by the user, classification and arrangement of axes is reset when reclassifying place each information set icon to the spatial, functional by the user to secure the information set icon selected in the specific position, reclassify arranged in accordance with only the classification configuration space other information set icon preferably comprises a.
上記構成によれば、注目する情報セットアイコンの表示位置が特定位置に固定されるので容易に注目している情報セットアイコンを見つけられ、また、注目している情報セットアイコンと軸設定された特徴量において類似する情報セットアイコンが付近に配置されるため、情報セット間の関係の把握が容易になる。 According to the above configuration, find the information set icon display position information set icon of interest is easily noted because they are fixed to a specific position, also noted to have information set icon and axial designs feature since the information set icon similar in quantity is disposed near, to grasp the relationship between the information set is facilitated. また、特定情報セットに注目した上で試行錯誤的な再分類表示が実行できる。 In addition, trial-and-error re-classification display can be run on focusing on specific information set.
次に、本発明のマルチメディア情報分類配置装置は、コンピュータ読み取り可能な記録媒体に、本発明のマルチメディア情報分類配置装置の処理プログラムを記録して提供することにより、コンピュータを用いて本発明のマルチメディア情報分類配置装置を実現することができる。 Next, the multimedia information classification arrangement apparatus of the present invention, a computer-readable recording medium, by providing recorded a processing program of multimedia information classification and arrangement apparatus of the present invention, the present invention using a computer it is possible to realize a multimedia information classification and arrangement apparatus.
発明を実施するための最良の形態以下、本発明のマルチメディア情報分類配置装置および分類配置方法の実施形態について、図面を参照しながら説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the multimedia information classification and arrangement apparatus and classification and arrangement method of the present invention will be described with reference to the drawings.
(実施の形態1) (Embodiment 1)
本発明の実施形態1のマルチメディア情報分類配置装置を説明する。 Multimedia information classification and arrangement apparatus of the first embodiment of the present invention will be described. 本実施形態1のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを“情報セット”とし、その情報セットを処理単位として用いる。 Multimedia information classification arrangement device of the first embodiment, image information, text information, and those that have been grouped homologous and heterologous media information associated with the same object from a set of media information including audio information "information set" and then, using the information set as a processing unit. そして、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する“情報セットアイコン”を用いる。 Then, for each media information constituting the information set assigned an icon visually displaying the contents, using them icon synthesized by the visually represent the content of the information set "information set icon" .
まず、本発明のマルチメディア情報分類配置装置において用いる情報の処理単位となる情報セットの概念について説明する。 First described the concept of multimedia information classification and arrangement information set as a processing unit of information used in the apparatus of the present invention. 次に、本実施形態1のマルチメディア情報分類配置装置の装置構成例を示し、本実施形態1のマルチメディア情報分類配置装置の処理の流れをフローチャートを参照しつつ示す。 Next, an example device structure of multimedia information classification and arrangement apparatus of the present embodiment 1, the flow of the processing of the multimedia information classification arrangement apparatus of the present embodiment 1 shown with reference to a flowchart.
本発明のマルチメディア情報分類配置装置は、情報の処理単位として情報セットを用いる。 Multimedia information classification and arrangement apparatus of the present invention uses an information set as a processing unit of information. この情報セットとは、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化した処理単位である。 And the information set, image information, text information, a processing unit that groups homologous and heterologous media information associated with the same object from a set of media information including audio information. 図1は、本発明の“情報セット”の概念を簡単に示した図である。 Figure 1 is a diagram of simply showing the concept of "information set" of the present invention. 図1に示すように、一つの情報セット1には相互に関連性を持った複数の同種または異種のメディア情報が一まとまりに関連付けらている。 As shown in FIG. 1, the one information set 1 media information of a plurality of same or different having a relationship to one another is associated with a a collection. 情報セット1の例では、画像情報1aと画像情報1b、音声情報1c、キーワード情報1dの4つの同種または異種のメディア情報が一まとまりに関連付けらている。 In the example of information set 1, image information 1a and the image information 1b, audio information 1c, the media information of the four same or different keyword information 1d are associated with a a collection. これら4つの同種または異種のメディア情報は、例えば、「F社のパーソナルコンピュータ」という関連性を持っている情報という概念で集められたものである。 Media information of these four identical or different, for example, but is gathered in concept information having the relevance of "F's personal computer."
図1には、従来技術におけるマルチメディア情報などから本発明の情報セットを生成する様子も示している。 FIG 1 also shows how to generate a set of information present invention from such multimedia information in the prior art. 500は従来技術におけるマルチメディア情報であり、複数のメディア情報が一つに一体化され合成されている。 500 is a multimedia information in the prior art, a plurality of media information are integrated into a single synthesis. 例えば、HTMLファイルデータなどである。 For example, HTML file data, and the like. 情報セット取得部10は本願の情報セットを取得するためのものであり、例えば、従来型のマルチメディア情報を取り込み、情報セットを生成することができる。 Information set acquisition unit 10 is for acquiring the application information set, for example, takes in the conventional multimedia information, it is possible to generate an information set.
情報セット生成の手順は以下のようである。 Procedure of the information set generation is as follows. 情報セット取得部10は画像部分を抽出して収集し、さらに当該画像に関連するテキスト情報や他の画像情報、動画情報、音声情報など他のメディア情報を収集する。 Information set acquisition unit 10 collects and extracts an image portion, further text information or other image information relating to the image, moving image information, collects the other media information such as audio information. 例えば、テキスト情報であれば、HTMLファイルを解析して取得する。 For example, if the text information, to get by analyzing the HTML file. 解析手法の一例を挙げると、画像と近い位置にあるテキストは画像と内容的に関連しているとし、画像とテキストの位置的な近さの尺度として両者間の改行数を1つの目安とする。 As an example of the analysis method, the text in the image and close is that image the contents related, the number of line breaks between them a single measure as an image and positional proximity measure of Text . また、HTMLタグ構造から画像とテキストの関連度を推測することが可能である。 Further, it is possible to estimate the relevance of the image and text from the HTML tag structure. タグが多く存在すると両者の関連度が低いと推測でき、特に文章の切れ目を表わすタグである<P>や<H1>や<HR>などが存在する場合には関連度が低いと推測できる。 Tag number can be inferred if there is a low both relevance, especially presumed to be less relevance if such a tag that represents the break between sentences <P> and <H1> and <HR> is present. また、画像を表示するためのタグである<IMG>につけられた画像の代用となるテキストを表わすALTアトリビュートは画像との関連性が深いので大きいな関連度を割り当てることができる。 Further, a tag for displaying the image ALT attributes representing text to be substituted for Lighted images <IMG> can be assigned relevance deep so large Do relevance between images. このように画像とテキストの間に含まれるタグの種類と数を1つの目安とする。 Thus it tags in between the image and the text type and number as one guide. このように情報セット取得部10は、画像と関連するメディア情報を収集する。 Thus information set acquisition unit 10 collects the media information associated with the image. 情報セット取得部10は収集したメディア情報を、同じ対象に関連しているメディア情報として一まとまりに関連付けて情報セットとする。 Media information information set acquisition unit 10 collected, and information set in association with a collection as a media information associated with the same target. 図1の例では画像情報1aが抽出され、画像情報1aに関連するテキスト情報1b、音声情報1c、キーワード情報1dが共通の概念を持って関連付けられ情報セット1が生成された。 In the example of FIG. 1 the image information 1a is extracted, the text information 1b associated with the image information 1a, voice information 1c, the information set 1 associated keyword information 1d is have a common concept is generated. 従来のマルチメディア情報500においては、これら画像情報1a、テキスト情報1b、音声情報1c、キーワード情報1dは共通の概念を持って関連付けられているわけではなく、管理上では各メディア情報がバラバラに管理されているものである。 In conventional multimedia information 500, these image data 1a, text information 1b, audio information 1c, does not mean the keyword information 1d are associated with a common concept, management apart each media information on the management those which are.
情報セットは、各メディアが合成されたものではなく、同じ対象に関連しているメディア情報として一まとまりに関連付けられたものなので、メディア情報を柔軟に追加・削除することが可能である。 Information set is not intended to respective media are synthesized, because they are associated with a collection as a media information associated with the same object, it is possible to flexibly add and remove media information. もし、この従来技術におけるマルチメディア情報に対して新たなメディア情報を追加する場合、マルチメディア情報に対して追加するメディア情報を埋め込む部分を探して埋め込み、合成する処理が必要となり、マルチメディア情報自体を作り替える必要が生じる。 If you add a new media information to the multimedia information in the prior art, embedded look for parts to embed media information to be added to the multimedia information, processing of combining is required, the multimedia information itself it becomes necessary to remake the. 一方、本願の“情報セット”を用いる場合、追加する新たなメディア情報、例えば、「F社のパーソナルコンピュータ」に関する音声データが得られた場合、簡単に情報セット1に対して当該音声データの関連付けを増やせば良いこととなる。 On the other hand, when using the "information set" of the present application, new media information to be added, for example, when the audio data is obtained relating to "personal computer F's", association of the sound data easily to the information set 1 so that the may be increased. 本願の情報セットは、各メディア情報そのものを合成して一体化しているものではなく、共通する概念をもって関連付けているのみで、メディア情報の中身そのものには特別な処理を行うものではなく、従来の一体合成型のマルチメディア情報とは明瞭に異なるものである。 The present set of information, not being integrally combines the media information itself, only associates with the concept of common, not to perform the special processing to the contents themselves of the media information, the conventional the integrated combining multimedia information is distinctly different.
さらに、情報セットについて述べる。 In addition, it describes the information set. 画像情報とテキスト情報を情報セットとして関連付けにおいては、例えば、WWW上の画像とテキストが混在したHTML文書から、画像部分を画像情報として抽出し、またHTML文書の画像まわりのテキストをテキスト情報として抽出して両者を関連付ける。 In association with the image information and text information as information sets extracted, for example, from an HTML document images and text on the WWW are mixed to extract the image portion as image information and text images around the HTML document as text information to associate them together. 他の例としては、テキスト情報の中から例えばtf−idf法に基づき重要と思われる単語をキーワード情報として抽出する。 As another example, it extracts words that appear from the text information is important based on the example tf-idf method as keyword information. また、動画像の画像情報と音声情報とテキスト情報の関連付けであれば、例えば、動画像と音声を含むムービーデータを含むXMLファイルから、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出してそれぞれを関連付ける。 Also, if the association of the image information and audio information and text information of the moving image, for example, from the XML file containing the movie data including moving picture and the audio, extracts a moving image portion as a moving image information and voice sound data extracted as information associating each extracted text near the movie data is embedded as text information. また、他のデータに対してリンクが張られているHTMLデータからリンクを辿り、当該リンク先の画像情報、テキスト情報、音声情報などを抽出して生成したものを情報セットとしても良い。 Also, follow the link from the HTML data link is tensioned against the other data, the image information of the link destination, text information may be an information set which is generated by extracting the voice information. また、HTML文書のように当初から画像情報とテキスト情報が1ファイルの形態で存在するもののみならず、1つの画像情報に対して複数のテキスト情報が関連付けられたり、その逆に1つのテキストに対して複数の画像情報が関連付けられている場合もありうる。 Further, image information and text information from the beginning as HTML documents not only those present in the form of one file, or an associated plurality of text information to one image information, in a single text and vice versa there may be a case where a plurality of image information is associated for. また、情報セットの一部としてURL(Universal Resource Locator)を含めることができる。 Further, it can be included as part of the information set URL to (Universal Resource Locator). 情報セットの一部にURLを含めることにより、後述するように分類配置された情報セットを選択し、そのURLを基に当該情報セットを含むウェブのページを表示することが可能となる。 By including the URL to a part of the information set, select the classification and arrangement information set as described below, it is possible to display the web page including the information set on the basis of the URL.
この情報セットの特徴の一つとして、属する各メディア情報そのものは編集加工されることなく、画像情報は画像情報のまま、音声情報は音声情報のまま存在する一方、各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理できる点を挙げることができる。 One of the features of this information set, without the media information itself is edited processed belongs, the image information remains in the image information, whereas the audio information that is present as a speech information, various characteristic amounts possessed by each media information it can be mentioned that it can handle as the feature amount of the entire information set. 後述するように情報セットを処理単位として特徴量に基づいて分類配置する際には、情報セットに属する各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理し、情報セットアイコンが分類配置される位置が決まる。 In classifying arranged based on the feature amount as a processing unit of the information set as described later, processes various characteristic amounts possessed by each media information belonging to the information set as the feature amount of the entire information set, the information set icon classification placed the position is determined.
この本発明の情報セットを処理単位として用いる処理は、従来技術のマルチメディア処理とは明瞭に異なるものである。 Process using information set in the present invention as a processing unit, the multimedia processing of the prior art is different clarity. 従来技術のマルチメディア処理は主に次の2つの処理を指す。 Multimedia processing of the prior art mainly refers to the following two processes. 従来技術のマルチメディア処理の第1の意味は、1つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。 First means for multimedia processing of the prior art, means that one device is intended to handle image information, text information, a plurality of media that the audio information. この場合、1つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。 In this case, although can handle multiple media in a single device, the processing unit itself is each media information, image information, text information, and the media information such as audio information are processed separately. 従来技術のマルチメディア処理の第2の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。 The second meaning of multimedia processing of the prior art, the processing unit itself is more media means that multimedia data integrated. この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。 In this case, for example, or the image information and audio information is embedded in the text information, which is in a state in which the link is stretched, it has become what data itself is integrated processing. 一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第1の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。 On the other hand, the information set of the present invention is used the image information, text information, the information set associated with a collection of homologous and heterologous media information having relevance to each other among the media information including audio information as a processing unit different from those respective media information as multimedia information of the first means of the prior are processed individually rather correlated. また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第2の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。 Although a set of data is associated a plurality of media information in the present invention, not that the data itself of the plurality media as multi-media information of the second means of the conventional integrated processing, each media information is maintained in a state in which it is collected and obtained. また、新しいメディア情報が与えられると、簡単に、既存の情報セットのうち関連性のある情報セットに属させることや、関連性のある既存の情報セットがない場合に、新しい情報セットを生成することなどが可能となる。 Further, when the new media information is provided, easily, and it is belong to the information set that is relevant of the existing set of information when there is no existing information sets that are related, and generates a new information set and it becomes possible. 上記従来の第2の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものであれば、新しいメディア情報の追加は容易にはできない。 As long as the data itself of the plurality media as multi-media information of the second means of the conventional integrated processing, addition of new media information can not easily.
次に、本発明において用いる“情報セットアイコン”について説明する。 Next, a description will be given "information set icon" used in the present invention. “情報セットアイコン”を用いる点も、従来技術の情報検索技術とは明瞭に異なるものである。 That it uses a "data set icon" also, the prior art information retrieval technology is different clarity. 情報セットアイコンは、情報処理単位が情報セットであり、その情報セットを構成するテキスト、画像、音声などの各メディア情報に対して該当するアイコンを割り当て、これらアイコンを合成して情報処理単位としての情報セットに対応する形のアイコンである。 Information set icon, the information processing unit is information set, text constituting the information set, image, assign the appropriate icon for each media information such as voice, as the information processing unit these icons synthesized by in the form of icons corresponding to the information set.
図2は、情報セットアイコンの例および当該情報セットアイコンの生成手順の一例を示した図である。 Figure 2 is a diagram showing an example of the generation procedure of example of information set icon and the information set icon.
まず、情報セットを取得する。 First of all, to get the information set. いま、情報セット3が取得されたとする。 Now, the information set 3 has been acquired. この情報セット3は、「モーツァルト」という共通の概念で関連付けられた情報処理単位であって、音楽家「モーツァルト」に関する3つのメディア情報が含まれているものとする。 The information set 3 is an information processing unit associated with a common concept of "Mozart" is assumed to include three media information about the musician "Mozart". ここでは音響データ3a、画像データ3b、テキストデータ3cが含まれている。 Here it is included acoustic data 3a, image data 3b, the text data 3c. なお、これら各メディア情報は一体化されたり、合成されたりせず、情報セット3として関連付けられているのみである。 Incidentally, each of these media information or integrated, without or synthesized, only associated with the information set 3.
次に、各メディア情報の特徴量を抽出する。 Then, to extract the feature amount of each media information. 音響データ3aの特徴として「音楽区間、短調、ピアノ」という特徴量が得られたとする。 As a feature of the audio data 3a "music section, minor, piano" and the feature quantity that is obtained. 画像データ3bの特徴として「背景:黒、対象:人物顔(領域肌色)」という特徴量が得られたとする。 Image data 3b as a feature of the feature amounts of "background: black, target person face (region skin color)" is obtained. テキストデータ3cの特徴として「モーツァルト、ピアノ協奏曲第20番」という特徴量が得られたとする。 As a feature of the text data 3c wherein the amount of "Mozart Piano Concerto No. 20" is obtained. なお、各メディア情報から特徴量を抽出する手法については後述するものとする。 It is assumed to be described later a technique for extracting a feature from the media information.
次に、各メディア情報に対してその特徴量に応じたアイコンを割り当てる。 Next, assign an icon corresponding to the feature quantity for each media information. また、割り当てたアイコンをその特徴量に応じて修飾する。 Further, modified in accordance with the assigned icon to the feature quantity. この例では、音響データ3aに対して、ピアノ鍵盤状のアイコンを割り当てる。 In this example, to the acoustic data 3a, assign piano keyboard-like icon. また、短調であることを表現するため、例えば、ピアノ鍵盤の色をブルーに変える。 In addition, in order to express that it is a minor, for example, changing the color of the piano keyboard in blue. 画像データ3bに対しては、人物顔を示す肌色領域を中心に切り出し、かつ、DCTなどの画像データ圧縮を施したアイコンを割り当てる。 For image data 3b, cut around the skin color area indicating the person's face, and assign an icon which has been subjected to image data compression, such as DCT. テキストデータ3cに対して、「モーツァルト、ピアノ協奏曲第20番」というテキスト文からなるテキストアイコンを割り当てる。 For text data 3c, assign the text icon consisting of a text sentence "Mozart, Piano Concerto No. 20".
次に、各メディア情報に対して割り当てたアイコンを合成して一つの情報セットアイコンを生成する。 Next, generates one information set icon by combining icon assigned for each media information. この例では情報セット3に対して、情報セットアイコン3dが得られた。 The information set 3 in this example, information set icon 3d was obtained.
もし、情報セットを構成するメディア情報のうち、一部のメディア情報のデータが欠けている場合、欠けているデータを補って情報セットアイコンを作成することも可能である。 If, among the media information constituting the information set, if the data of some media information is missing, it is possible to create an information set icon supplemented the missing data. 特に画像データが欠けている場合は、情報分類表示の際の閲覧性に影響が出るので、画像データを補うことは好ましい。 If missing particular image data, the influence on the viewing of the time information classification display comes, it is preferable to supplement the image data. 例えば、ある情報セットにおいて、音響データの特徴が「音楽区間のみ、短調、ギター」であり、テキストデータの内容特徴が「ピアノ演奏家A、アレグロ・モデラート第13番二短調」であり、画像データが無い場合に、次に述べるようなアイコン作成手順に従って情報セットアイコンを作成する。 For example, in one set of information, the characteristics of the acoustic data is "only music section, minor, guitar" is a, is a content feature of the text data is "piano musician A, Allegro moderato No. 13 in D minor", and the image data If no, according to the icon creation procedure as described below to create an information set icon.
まず、アーチスト辞書で「ピアノ演奏家A」を検索し、顔写真を取得する。 First, search for "piano musicians A" in the artist dictionary, to get a face photo. 次に、顔写真の背景を黄色(二短調に対応)にする。 Then, a background photograph of the face to yellow (corresponding to D minor). 次に、背景にギターの絵を貼り付ける。 Then, paste a picture of a guitar in the background. 次に、「ピアノ演奏家A、アレグロ・モデラート第13番二短調」というラベルを添付し、欠けていた画像データを補完しながら情報セットアイコンを作成する。 Next, attach the label "piano musicians A, Allegro moderato No. 13 in D minor", to create the information set icon while complementing the image data that was lacking.
以上、情報セットアイコンによれば、圧縮効率が高くデータ転送量が少なくて済むと同時に、情報セットにどのようなメディア情報が含まれているのかが一見して容易に把握できるものであり、検索者に対する情報内容の一覧性、把握容易性を確保せしめることができる。 As described above, according to the information set icon, at the same time as compression efficiency requires less high data transfer amount, which the one can be easily grasped at a glance contains what media information to the information set, search list of the information content to the user, can be allowed to ensure the grasp ease.
次に、本実施形態1のマルチメディア情報分類配置装置の構成例を図3に示す。 Next, a configuration example of a multimedia information classification and arrangement apparatus of the present embodiment 1 shown in FIG. 図3に示すようにマルチメディア情報分類配置装置は、情報セット取得部10、特徴量抽出部20、情報可視化部30、軸設定部40、分類配置部50、情報表示部60を備えている。 Multimedia information classification and arrangement apparatus as shown in FIG. 3, the information set obtaining unit 10, feature extractor 20, information visualizing unit 30, the shaft setting unit 40, classification and arrangement unit 50, an information display unit 60. また、70はインターネットなどのアクセス可能なネットワーク網であって、ネットワーク70を介してマルチメディア情報源80がアクセス可能な状態にある。 Further, 70 designates a accessible network network such as the Internet, multimedia information source 80 via the network 70 is in the accessible state. マルチメディア情報源80には画像情報、テキスト情報、音声情報などの多様なマルチメディア情報が格納されており、この例では相互に関連があるメディア情報の集合である情報セットも格納されているとする。 The image information in the multimedia information source 80, the text information is stored a variety of multimedia information such as audio information and in this example is also stored information set is a set of media information are related to each other to.
図3の装置構成例において、情報セット取得部10は、情報セット読み込み部11、情報セット収集部12、情報セット収集キー入力部13、記憶媒体13を備えた構成としている。 In the device configuration example of FIG. 3, the information set acquisition unit 10, information set reading unit 11, information set collecting unit 12, the information set collecting the key input unit 13 has a configuration having a storage medium 13. 情報セット収集部12は、情報セットを収集する部分であり、ネットワーク70を介してマルチメディア情報源80に存在する情報セットを収集する。 Information set collecting section 12 is a portion for collecting information set, to collect information set exists in the multimedia information source 80 via a network 70. 情報セット読み込み部11は、CD−ROMなどの記憶媒体などから直接、情報セットの入力を受け付けることもできるものである。 Information set reading unit 11, directly from such a storage medium such as a CD-ROM, in which it is also possible to accept an input of the information set. このように情報セット取得部10は、情報セット読み込み部11と情報セット収集部12のいずれかまたは両者を適宜備えた構成とすることにより、ネットワーク70を介してマルチメディア情報源80に存在する情報セットを収集する機能、CD−ROMなどの記憶媒体などから直接、情報セットの入力を受け付ける機能を選択的に保持することができる。 Information thus information set acquisition unit 10, by a suitably equipped configuration either or both sets of information reading unit 11 and the information set collecting unit 12, which is present in the multimedia information source 80 via the network 70 ability to collect a set, directly from such a storage medium such as a CD-ROM, it is possible to selectively retain a function of accepting input of information set.
この実施形態1で説明する情報セット収集部12の構成例は、ハードディスクなどの記憶媒体13、情報セット収集キー入力部14を備えている。 Configuration example of information set collecting unit 12 to be described in this embodiment 1 includes a storage medium 13, information set collecting the key input unit 14 such as a hard disk. 通信インタフェースを介してネットワーク70上のマルチメディア情報源80と通信する。 Via the communication interface to communicate with the multimedia information sources 80 on the network 70. 記憶媒体13は、収集した情報セットを格納しておく場合に利用できる。 Storage medium 13 may be utilized when storing the collected information set. 情報セット収集キー入力部14は、情報セットの収集に当たり、キーワードを用いて収集する範囲を指定する部分である。 Information set collecting the key input unit 14 strikes the collection of information set is a portion for specifying a range to be collected using a keyword. ネットワーク上のマルチメディア情報源80に格納されている情報セットが大量にある場合には何も指定せずに情報セットを収集すれば、収集するデータ容量が極めて大きくなってしまう。 If collecting information set without specifying anything when information set stored in the multimedia information sources 80 on the network have a large number, capacity of data collection becomes very large. そこで、情報セットの収集にあたり、あらかじめ範囲を絞り込むために情報セット収集キー入力部14よりキーワードが入力された場合には、情報セット収集部12は、当該キーワードを持つ情報セットを収集する。 Therefore, when the collection of information set, if the keyword from the information set collecting the key input unit 14 is input to narrow down the advance range information set collecting section 12 collects information set with the keyword.
特徴量抽出部20は、情報セットの各メディア情報から特徴量を抽出する部分である。 Feature amount extraction unit 20 is a portion for extracting a feature value from each medium information of the information set. 図3には図示していないが、特徴量抽出部20には、各メディア情報から様々な特徴量を抽出するための機能を備えている。 Although not shown in FIG. 3, but the feature quantity extraction unit 20 has a function to extract various features from the media information.
例えば、画像情報に対しては、DCT変換係数特徴量、ウェーブレット変換係数特徴量、HSI色ヒストグラム特徴量などが挙げられる。 For example, for the image information, DCT transform coefficients characteristic quantity, wavelet transform coefficients feature amount, and the like HSI color histogram feature amount. DCT変換係数特徴量を分類配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。 By setting the DCT transform coefficients feature amount to the classification configuration space axis, the classification of information according to the features of the spatial frequency component of the image information, arrangement is possible. ウェーブレット変換係数特徴量を分類配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。 By setting the wavelet transform coefficients feature amount to the classification configuration space axes, characterized the low-frequency portion of the particular spatial frequency of the image information, i.e., the classification of information according to the features of the outline of outline of the object are crowded-through in an image, arrangement is possible. ウェーブレット変換もDCT変換と同じく波形・周波数変換であるが、位置(時間)情報を保ったまま変換することが出来る。 Wavelet transform is equally waveform, frequency conversion and DCT transformation, it can be converted position (time) while maintaining the information. HSI色ヒストグラム特徴量を分類配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。 By setting the HSI color histogram feature amount to the classification configuration space axis, the classification of the information based on the color information of the image, arrangement is made possible. HSI色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。 According to HSI color histogram can be gripped well the characteristics of the image such as whether human skin regions are contained degree.
また、例えば、テキスト情報に対しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。 Further, for example, for the text information, the feature amount indicating the presence of a particular word, and the like characteristic of the number of uses of a particular word. あらかじめテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、tf−idf法(term frequency−inverse document frequency)を用いて各単語の相対的重要度を測り、それを列挙することで各テキストから単語のtf−idf値を要素として持つ特徴ベクトルを抽出する。 Need to select a set of words seems effective in characterizing the advance text, measure the relative importance of each word using tf-idf method (term frequency-inverse document frequency), by listing it extracting a feature vector having a tf-idf value of a word as an element from the text.
また、例えば、音声情報に対しては、短時間周波数分析(フーリエ変換やMFCC)を用いた音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。 Further, for example, for the audio information, and the like short frequency analysis (Fourier transform or MFCC) speech frequency feature quantity with amplitude characteristic amount of the voice, the time shift feature amount of voice. MFCC分析やLPCケプストラム分析の結果得られる特徴ベクトルを利用し、音声周波数の特徴、つまり、音声の高低、音質などにより特徴量抽出が可能となる。 Using the results obtained feature vector of MFCC analysis and LPC cepstrum analysis, characteristic of audio frequency, that is, it is possible to feature quantity extracting voice high and low, due to the sound quality. 音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。 According to the audio frequency, different sounding body, animal sounds, a male voice, another female voice, if rises accuracy can represent the feature of the audio information such as voice of a person. 音声の振幅特徴量や時間変移特徴量により音声の大小に応じた音声情報の特徴量抽出が可能となる。 It is possible feature extraction of speech information corresponding to the magnitude of the speech by the amplitude characteristic quantity and time displacement characteristic amount of the voice.
また、特徴量抽出部20は、各メディア情報から特徴量を抽出する機能の追加、更新、削除などが可能であることが好ましい。 Further, the feature extraction unit 20, the additional function of extracting a feature from the media information, updates are preferably capable of such deletion. 特徴量抽出機能をマイクロプログラムとしてDSP(デジタルシグナルプロセッサ)などで提供しておけば、必要に応じて内容を容易に書き換え、追加できる。 If provided by such a DSP (digital signal processor) feature extraction functions as a microprogram, easily rewrite the contents as needed, it can be added.
情報可視化部30は、マルチメディア情報源80に格納されている各情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して情報セットの内容を視覚的に表現する情報セットアイコンを生成する部分である。 Information visualization unit 30, for each media information constituting each information set stored in the multimedia information sources 80, assigns the icon visually displays the content, the information set by combining them icon it is a part for generating the information set icon to visually represent the content. 情報セットアイコンは利用者による情報分類配置処理が実行される前に生成しておくことが好ましい。 Information set icons it is preferable to produce before the information classification arrangement process by the user is executed.
情報可視化部30による情報セットアイコンの生成処理手順は、図2を用いて上記に説明した通りである。 Generation processing procedure of the information set icon by Visualization section 30 are as described above with reference to FIG. なお、図2により説明した手順において、メディア情報の特徴量(内容)に応じてアイコンを割り当てる処理には複数の手法がある。 Incidentally, in the procedure described with reference to FIG 2, there are several approaches to the process of assigning an icon in accordance with the feature quantity of media information (content).
第1には、「内容−アイコン変換テーブル」を利用するものである。 The first, - is to use a "content icon conversion table". これは、各メディア情報の内容とそれに対して割り当てるアイコンの対応を記述した変換テーブルを用意するものである。 This is to prepare a conversion table describing the correspondence between the icon assigned to it and the contents of each media information. 各メディア情報の特徴量(内容)が内容−アイコン変換テーブルに記述されていれば、対応するアイコンを簡単に割り当てることができる。 Feature amount of each media information (contents) contents - if it is described in the icon conversion table can be assigned a corresponding icon easily.
第2には、あらかじめ人手で記述しておいた「内容特徴からアイコンに変換するルール」を利用する方法である。 The second is a method of utilizing a "rule for converting the icon from the contents feature" that has been described in advance manually. 内容特徴からアイコンに変換するルールを含むプログラムを提供するものである。 There is provided a program including a rule for converting the content features to the icon.
第3には、「内容特徴−アイコンのペア」データを大量に用意し、内容特徴からアイコンに変換するマップを自動的に学習し、それを利用する方法がある。 In the third, - the "content characteristic icon of the pair" data in large quantities available, automatically learn the map to convert the icon from the content feature, there is a method to make use of it. 内容特徴からアイコンに変換するルールを知識として持つエキスパートシステムを提供するものである。 There is provided an expert system having rules for converting the content features to the icon as knowledge.
第4には、上記の応用として、上記処理では各メディア情報の内容を表しきれない場合には、複数個のアイコンに変換したり、表しきれない差分情報を付加情報として付随させるものである。 The fourth, as an application of the above, if in the above process can not be represent the contents of each media information is to be associated to convert into a plurality of icons, difference information that can not be expressed as additional information.
なお、特徴量が複数の値(成分)を持っていたり、情報内容が複数の部分に分けられる場合には、特徴ベクトルとして複数個認め、個々の特徴ベクトルに対して別のアイコンを用意したり、あるいは同一のアイコンをコピーしたりすることによって一つの情報単位を複数のアイコンで表現することができる。 Incidentally, or feature value has multiple values ​​(component), if the information content is divided into a plurality of portions, it acknowledged plurality as a feature vector, or providing a different icon for each feature vector , or it can be expressed one information unit at a plurality of icons by or to copy the same icon.
軸設定部40は、分類配置空間軸を設定する部分であって、各メディア情報から抽出される特徴量の分類配置空間各軸への割り当てを設定し、1以上の軸を備えた分類配置空間を設定する。 Shaft setting unit 40 is a part for setting the classification and arrangement space axes, sets the allocation to classification and arrangement space axes of feature amounts extracted from the media information, classification and arrangement space with one or more axes to set. 例えば、X軸Y軸Z軸の3軸を指定し、このXYZ軸が張る空間を分類配置空間とする。 For example, to specify the three axes of X-axis Y-axis Z-axis, the space which the XYZ shaft spanned classification configuration space. ここでは、例えば、後述する情報表示部60の表示ディスプレイ面がXY平面であり、画面奥行きがZ軸方向であるように表示される。 Here, for example, displays the display surface of the information display unit 60 to be described later is the XY plane, the screen depth is displayed such that the Z-axis direction.
ここで、分類配置空間軸に設定し得る特徴量は、画像情報、テキスト情報、音声情報などメディアに応じて抽出し得る特徴量であれば良い。 Here, feature quantity can be set to classify configuration space axis, image information, text information may be a feature value can be extracted according to media such as audio information.
例えば、テキスト情報に関しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。 For example, for text information, feature amount indicating the presence of a particular word, and the like characteristic of the number of uses of a particular word. 特定単語の存在を示す特徴量や特定単語の使用回数の特徴量を分類配置空間軸に設定することにより、特定単語の説明などが含まれているテキスト情報の分類、配置が可能となる。 By setting the feature quantity of the number of uses of the feature or a specific word indicating the presence of a particular word in the classification configuration space axis, the classification of the text information that contains a description of each particular word, arrangement is possible. これらテキスト情報に画像情報が関連付けられている情報セットであれば、特定単語により表わされる画像情報も併せて分類配置空間に分類、配置されることとなる。 If information set image information in these text information is associated with the classification in the classification configuration space together also image information represented by a particular word, and thus is disposed.
また、例えば、画像情報に関しては、DCT変換係数特徴量、ウェーブレット変換係数特徴量、HSI色ヒストグラム特徴量などが挙げられる。 Further, for example, with respect to image information, DCT transform coefficients characteristic quantity, wavelet transform coefficients feature amount, and the like HSI color histogram feature amount. DCT変換係数特徴量を分類配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。 By setting the DCT transform coefficients feature amount to the classification configuration space axis, the classification of information according to the features of the spatial frequency component of the image information, arrangement is possible. ウェーブレット変換係数特徴量を分類配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。 By setting the wavelet transform coefficients feature amount to the classification configuration space axes, characterized the low-frequency portion of the particular spatial frequency of the image information, i.e., the classification of information according to the features of the outline of outline of the object are crowded-through in an image, arrangement is possible. ウェーブレット変換もDCT変換と同じく波形・周波数変換であるが、位置(時間)情報を保ったまま変換することが出来る。 Wavelet transform is equally waveform, frequency conversion and DCT transformation, it can be converted position (time) while maintaining the information. HSI色ヒストグラム特徴量を分類配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。 By setting the HSI color histogram feature amount to the classification configuration space axis, the classification of the information based on the color information of the image, arrangement is made possible. HSI色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。 According to HSI color histogram can be gripped well the characteristics of the image such as whether human skin regions are contained degree.
また、例えば、音声情報に関しては、音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。 Further, for example, with respect to the audio information include audio frequency feature quantity, the amplitude characteristic of the speech, and the time shift feature amount of voice. 音声周波数特徴量を分類配置空間軸に設定することにより、音声周波数の特徴、つまり、音声の高低、音質などにより音声情報の分類、配置が可能となる。 By setting the classification and arrangement space axes audio frequency feature quantity, feature of voice frequencies, i.e., voice high and low, the sound quality by the classification of the audio information, arrangement is possible. 音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。 According to the audio frequency, different sounding body, animal sounds, a male voice, another female voice, if rises accuracy can represent the feature of the audio information such as voice of a person. 音声の振幅特徴量や時間変移特徴量を分類配置空間軸に設定することにより、音声の大小に応じた音声情報の分類、配置が可能となる。 By setting the amplitude characteristic quantity and time displacement characteristic quantity of the speech classification arrangement space axis, the classification of the audio information corresponding to the magnitude of the sound, placement becomes possible.
なお、軸設定部40による、一の空間軸に対する特徴量の割り当ては、複数の特徴量を組み合わせて割り当てることが可能である。 Incidentally, by the shaft setting unit 40, the assignment of the feature for one of the spatial axes, it is possible to assign a combination of a plurality of feature amounts. 2つ以上の特徴量の組み合わせは、互いの特徴量の単位を変換、調整する必要があるが、スコアのような点数に置き換えて合算することが可能である。 Combinations of two or more feature quantity conversion unit of each other feature amounts, it is necessary to adjust, it is possible to aggregate by replacing the score as the score. 例えば、一つの空間軸に対して、第1の特徴量としてHSI色ヒストグラムの指定色成分が閾値以上の割合で含まれていれば“1”、含まれていない場合に“0”とし、第2の特徴量として、テキスト情報中の特定単語の存在を示す特徴量として存在すれば“1”、存在しない場合に“0”とし、第1の特徴量と第2の特徴量を合算して一つの空間軸に割り当てるなどの処理が可能である。 For example, for one spatial axis, if the designated color component of HSI color histogram as the first feature is included in an amount of more than the threshold value "1", and "0" if not included, the as the second feature amounts, if any "1" as the feature amount indicating the presence of a particular word in the text information, and "0" if it does not exist, by summing the first feature quantity and the second feature quantity processing such as assigning the one spatial axis are possible. 逆に、複数の軸に対して一つの特徴量を割り当てることもできる。 Conversely, it is also possible to assign one of the feature amounts for a plurality of axes. 一つの特徴量から二つ以上の軸に割り当てる方法は数多く存在するが、そのような方法の一つとして、特徴量をベクトルとみなして、ベクトルの各次元について分散が大きい次元を複数選択してその次元を軸とする方法(主成分分析法)が挙げられる。 Although methods exist numerous allocated from one feature amount to two or more axes, as one such method, the feature amount is regarded as a vector, select a plurality of dimensions large dispersion for each dimension of the vector how to make that dimension with the axis (PCA) can be mentioned.
分類配置部50は、特徴量抽出部20により抽出した特徴量に基づいて情報セットアイコンを分類配置空間内に分類配置する部分である。 Classification and arrangement unit 50 is a portion for classification and arrangement information set icon classification and arrangement space based on the feature amount extracted by the feature extraction unit 20. 例えば、分類配置空間がXYZ3軸により設定されておれば、情報セットアイコンは当該3次元分類配置空間内に分類、配置されることとなる。 For example, if I classification and arrangement space is set by XYZ3 axis information set icons classified into the three-dimensional classification and arrangement space, and be disposed.
情報表示部60は、分類配置部50により分類配置空間内に分類配置された情報セットに対する情報セットアイコンを表示する部分であり、分類配置空間に対する視点に応じた位置に情報セットアイコンを表示する。 Information display unit 60 is a part for displaying the information set icon for classification and arrangement information set in classification and arrangement in space by the classification placement unit 50, a position to view the information set icon corresponding to a viewpoint with respect to classification and arrangement space. 例えば、XYZ軸から張られた分類配置空間に対して、XY平面が正面であり、Z軸方向を奥行き方向とすると、ディスプレイ面がXY平面であり、画面奥行きがZ軸方向であるように表示される。 For example, for classification and arrangement space spanned from XYZ axis, an XY plane is the front, when the Z-axis direction and the depth direction, a display surface is the XY plane, displayed as screen depth is the Z-axis direction It is.
以上のように構成された本発明の実施形態1のマルチメディア情報分類配置装置の処理の流れの例を図4を参照しつつ説明する。 While referring to a description of FIG 4 is an example of a processing flow of multimedia information classification and arrangement apparatus of the first embodiment of the present invention configured as described above.
図4に示すように、本発明の実施形態1のマルチメディア情報分類配置装置の処理は大別して、次のように、情報セットの取得処理(S101)と、情報セットに対応する情報セットアイコンの生成処理(S102)と、分類配置空間の軸に割り付ける特徴量を設定し、分類配置空間を定義する軸設定処理(S103)と、情報セットのメディア情報から所定の特徴量を抽出する特徴量抽出処理(S104)と、抽出した特徴量に従って情報セットアイコンを分類配置空間内に分類、配置する情報分類配置処理(S105)と、分類配置空間および分類配置空間に分類、配置した情報セットアイコンを設定視点から表示する情報表示処理(S106)と、表示された検索結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続 As shown in FIG. 4, the processing of the multimedia information classification and arrangement apparatus of the first embodiment of the present invention is roughly as follows: acquisition of information set as (S101), the information set icon corresponding to the information set a generation process (S102), sets the feature quantity to be allocated to the axis of the classification and arrangement space, the axis setting process (S103) to define a classification configuration space, feature extraction for extracting a predetermined feature quantity from the media information of the information set setting processing (S104), the extracted feature quantity classified information set icon classification and arrangement space according, placement information classification and arrangement processing (S105), the classification in the classification configuration space and the classification configuration space, the arrangement information set icon information display process to display the viewpoint and (S106), a look at the search results displayed, the search with different further refine and cut if necessary continue するため、分類配置空間の軸に割り付ける特徴量を再設定し、分類配置空間を再定義する再軸設定処理(ステップS103へのループ)を備えている。 To order, a resetting feature amounts allocated to the axis of the classification configuration space, redefined re axial setting processing classification configuration space (loop to step S103).
なお、最初の軸設定処理(S103)により設定された分類配置空間に基づく情報セットアイコンの分類、配置により所望の検索結果が得られた場合には、再軸設定処理は必須のものではない。 Incidentally, the first axis setting process (S103) by setting classification information set icon based on the classification and arrangement space, if the desired search result by the arrangement is obtained, re-axis setting process is not essential. また、上記処理の流れでは、情報セットは当初からアクセス可能な状態で存在していることを前提としたものであるが、実施形態2において後述するようにマルチメディア情報分類配置装置が、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報をまとめ、情報セットを定義・生成する情報セット生成処理を前処理として実行しても良い。 Further, in the flow of the processing, but the information set is premised that are present in an accessible state from the beginning, the multimedia information classification and arrangement apparatus as described later in the second embodiment, the image information , text information, summary of the information having the relevance to each other among the media information including audio information, information set generating process to define and generate information set may be executed as pre-processing.
まず、本発明のマルチメディア情報分類配置装置は、利用者による検索実行などにより、情報セット取得部10により情報セット取得処理(S101)を実行する。 First, multimedia information classification and arrangement apparatus of the present invention, such as by the searching by the user, the information set acquisition unit 10 to perform information set acquisition processing (S101). ここでは、例えば、情報セット取得部10により、通信インタフェースを介してインターネットなどのネットワーク70上にアクセス可能な状態にあるWWWサーバーなどのマルチメディア情報源80から情報セットを収集して情報セットを取得する。 Here, for example, by information set acquisition unit 10, acquires information set by collecting information set from the multimedia information source 80, such as a WWW server on the network 70 is available for access, such as the Internet via the communication interface to. この例では、情報セット取得処理(S101)として、画像情報とテキスト情報が関連付けられている情報セットを複数取得する。 In this example, as the information set acquisition processing (S101), it acquires a plurality of information sets image information and text information are associated. また、取得する情報セットの範囲をある程度絞るため、キーワード検索によりヒットしたもののみ取得しても良い。 In addition, to narrow the scope of the information set to get a certain extent, it may be obtained only thing that was hit by the keyword search.
この例では、“音楽家”というキーワードにヒットする情報セット3を含む情報セットを取得したとする。 In this example, it is assumed that to get the information set that contains the information set 3 to hit the keyword "musician". 例えば、いずれも音響データ、画像データ、テキストデータを含む6つの情報セット、「シューベルトピアの五重奏曲ます」、「モーツァルトピアノ協奏曲第20番」、「モーツァルトフィガロの結婚」、「ヘンデル調子の良いかじ屋ホ長調」、「バッハ幻想曲とフーガト短調」、「バッハトッカータとフーガニ短調」などが得られたとする。 For example, both acoustic data, image data, 6 sets of information, including text data, "Masu Quintet of Schubert peer", "Mozart Piano Concerto No. 20", "The Marriage of Mozart Figaro", good "Handel tone blacksmith in e major "," Bach Fantasy and Fugato minor ", and so on" Bach Toccata and Fugue "is obtained.
次に、マルチメディア情報分類配置装置は、情報可視化部30により各情報セットに対応する情報セットアイコンを生成する(S102)。 Next, the multimedia information classification placement device, the information visualizing unit 30 generates the information set icon corresponding to each information set (S102). その手順は図2に示したとおりである。 The procedure is as shown in FIG. ここでは、圧縮画像とその上側に音響データを示すアイコン、その下側にテキスト内容を示すアイコンが付されて合成されている。 Here, an icon indicating the sound data compressed image and on its upper side, an icon indicating a text content are attached are synthesized on the lower side thereof. なお、情報セットアイコン生成の特徴量抽出処理の実行にあたり特徴量抽出部20を用いても良い。 It is also possible to use the feature extraction unit 20 Upon execution of the feature amount extraction processing of information set icon generation.
次に、マルチメディア情報分類配置装置は、利用者から情報分類配置に関する指示の入力を受け、分類配置処理を開始する。 Next, the multimedia information classification placement device receives an input of an instruction related information classification placed from the user, starts the classification and arrangement processing.
まず、軸設定部40により分類配置空間の軸に割り付ける特徴量を設定し、分類配置空間を定義する軸設定処理(S103)を実行する。 First, to set the feature quantity to be allocated to the axis of the classification and arrangement space by the shaft setting unit 40 performs the axis setting process (S103) to define a classification configuration space. この例では、X軸(水平方向)に音色、Y軸(垂直方向)に画像情報に対するDCT変換係数特徴量、Z軸(奥行き方向)には特徴量を設定しないこととする。 In this example, the tone color in the X-axis (horizontal direction), Y-axis DCT transform coefficients characteristic amount with respect to image information (vertical direction), the Z-axis (depth direction) and not to set the feature quantity.
次に、マルチメディア情報分類配置装置は、特徴量抽出部20を用いて、収集されている情報セットのそれぞれのメディア情報から、各空間軸に割り当てられている特徴量を抽出する特徴量抽出処理(S104)を実行する。 Next, the multimedia information classification placement device, using the feature amount extraction unit 20, from each of the media information of the information set being collected, the feature amount extraction processing for extracting a feature value that is assigned to each spatial axis to run (S104). 上述した通り、特徴量抽出部20は、各情報セットから、軸設定処理S103で指定された特徴量を抽出する。 As described above, the feature extraction unit 20, from the information set, extracting a feature amount specified by the axis setting process S103. この例では、音響データの音色の特徴量、画像データのDCT変換係数特徴量が抽出される。 In this example, the feature quantity of tone color of the sound data, DCT transform coefficients characteristic quantity of the image data are extracted.
なお、特徴量が複数の値(成分)を持つ場合、特徴ベクトルも複数個出力できる。 Incidentally, if the feature amount has a plurality of values ​​(component), the feature vector can also multiple output.
次に、マルチメディア情報分類配置装置は、分類配置部50を用いて、抽出した特徴量に従って情報セットアイコンを分類配置空間内に分類、配置する情報分類配置処理(S105)を実行する。 Next, the multimedia information classification placement device, using the classification and arrangement unit 50, the extracted feature classification information set icon classification and arrangement space as the amount, executing the information classification and arrangement processing (S105) of placing. そして、情報表示部60により、分類配置空間および分類配置空間に分類、配置した情報セットアイコンを設定視点から表示する情報表示処理(S106)を実行する。 Then, the information display unit 60, classified in the classification configuration space and the classification configuration space, to execute an information display process of displaying the layout information set icon set viewpoint (S106). 図5に、“音楽家”のキーワードで収集された6つの情報セットアイコンを分類配置空間内に分類、配置した例を示す。 5, "musician" sort 6 information set icon collected by keyword classification and arrangement space of an example of arranging. この例では、X軸は音色の特徴量として、ピアノはX軸左側、バイオリンが中央付近、ハープが右側付近に分類配置され、Y軸は画像データのDCT変換係数特徴量の大きさで分類配置されたとする。 In this example, as the feature amount of the X-axis tone, piano X-axis left, near the violin center, harp are classified disposed near the right, Y axis classification and arrangement by the magnitude of the DCT transform coefficients characteristic quantity of the image data and it has been. なお、図5の例の情報セットアイコンは、音響データを例に採れば、音響データのアイコン部分はその音色に応じてピアノ鍵盤、バイオリン、ハープというアイコンが割り当てられたり、短調、長調などに合わせて色づけされたりという具合に修飾されている。 The information set icon in the example of FIG. 5, taking the acoustic data as an example, an icon portion of the acoustic data piano keyboard in accordance with the tone color, a violin, or the icon is assigned as harp, combined minor, such as major It has been modified so on or is colored Te.
なお、一つの情報セットに対して、特徴ベクトルが複数個出力されている場合は、個々の特徴ベクトルに対する分類配置位置に別々の情報セットアイコンを表示したりあるいは同一の情報セットアイコンをコピーしたりすることによって一つの情報単位を複数のアイコンで表現する。 Incidentally, with respect to one information set, if the feature vectors are plural output, copy the view and or the same information set icon separate information set icon in the classification position for the individual feature vectors It represents a single information unit in a plurality of icons by.
以上の情報セット取得処理ステップS101から情報表示処理ステップS106により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は(ステップS107:NO)、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は(ステップS107:YES)、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップS103にループすることが可能である。 If more than the information set acquisition processing step S101 by the information display processing step S106 such desired image information is obtained, the purpose of the original search process is achieved, not required re-axis setting process (step S107: NO), it may be end the search process, not an object of the original search process is achieved, when re-axis setting processing is required (step S107: YES), the multimedia information classification and arrangement apparatus of the present invention, re it is possible to loop to step S103 to perform the axial setting process. つまり、情報表示処理ステップS106により表示された分類・配置表示結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、軸設定部40を用いて、分類配置空間の軸に割り付ける特徴量を再設定し、分類配置空間を再定義する再軸設定処理を実行する。 In other words, looking at the information display processing step S106 classification and arrangement displaying results displayed by, to continue the search with different further refine and cut as required, with the shaft setting unit 40, the axis of the classification and arrangement space reconfigure the feature amount to be allocated to, to perform the re-axis setting process to redefine the classification configuration space. このように、必要な画像情報が得られるまで分類配置空間軸に割り当てる特徴量を再設定し(S103)、情報セットの各メディア情報から再設定した特徴量を再抽出し(S104)、再抽出した特徴量に基づいて情報セットアイコンを分類配置空間に再分類、再配置し(S105)、情報表示部60により分類配置空間に再配置された情報セットアイコンを再表示する(S106)。 Thus, reconfigure the feature amount to be assigned to the classified configuration space axis to necessary image information is obtained (S103), and re-extracted feature quantity reconfigured from the media information of the information set (S104), re-extracted feature amount to reclassify information set icon in the classification configuration space based, repositioned (S105), and re-display the information set icons are rearranged classification configuration space by the information display unit 60 (S106). 例えば、軸設定部40により、X軸を音色の特徴量から、ウェーブレット変換係数特徴量に替えたり、Y軸をDCT変換係数特徴量からHSI色ヒストグラム特徴量に替えたりすることも可能である。 For example, the shaft setting unit 40, a feature amount of tone on the X axis, or instead of wavelet transform coefficients characteristic amount, it is also possible to or instead of the HSI color histogram feature quantity from the DCT transform coefficients feature quantity Y axis. このような一連の軸再設定処理を、所望の検索結果が得られるまで繰り返すことができる。 Such a series of axial resetting process can be repeated until a desired search result is obtained.
このように、ある特徴量で得られた情報セットアイコンの分類・配置の表示結果を見て、全く異なる切り口の特徴量を使って情報セットアイコンの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。 Thus, there looking at the display result of the classification and arrangement of the resulting information set icon in the feature amount, you can try classification and arrangement of completely different cut feature amount with information set icon, for searcher possibility that the expected new heuristic information that is not obtained occurs.
また、画像情報など情報セットアイコンの分類・配置である表示結果を見て、図6のように、選択した情報セットアイコンに対応する情報セットのウェブのページを表示することも可能である。 Also, look at the display result is a classification and arrangement of information set icon such as image information, as shown in FIG. 6, it is also possible to display the web page of the information set corresponding to the information set selected icon. 情報セットアイコンの一部に当該画像情報など情報セットが含まれているURLを併せて保存しておけば、当該画像情報が情報表示部60上において利用者より選ばれた場合にURL情報を基にしてそのウェブページを表示することが可能となる。 If you save together URL containing information set including the image information in a portion of the information set icon, based on the URL information when the image information is selected from the user on the information display section 60 a manner so that it is possible to display the web page. 例えば、画像情報を選び、メニューなどから“ウェブページ”というボタンをポインティングデバイスでクリックすることによりそのウェブページを表示する。 For example, select the image information, and displays the web page by clicking the button "web page" from a menu with a pointing device. 画像そのものをクリックするとそのウェブページを表示することとしても良い。 When you click the image itself, it is also possible to display the web page.
次に、上記図4に示した処理の流れとは異なる別の処理の流れを図7を用いて説明する。 Will now be described with reference to FIG. 7 the flow of different separate process from the flow of processing shown in FIG. 4. この図7に示した処理では、処理全体を、情報セットアイコン生成フェーズと、情報セット検索フェーズの2つのフェーズに分け、情報セットアイコンの生成処理を情報セットアイコン生成フェーズとして前処理として実行し、情報セット検索フェーズで用いる情報セットに対する情報セットアイコンをまとめて生成しておくものである。 In the process shown in FIG. 7, to perform the entire process, and the information set icon generation phase, two phases of the information set search phase, as a pretreatment process of generating information set icon as information set icon generation phase, those to be generated by compiling information set icon for the information set used by the information set search phase. 情報セット検索フェーズとして、情報セットの検索取得処理(701)、軸設定処理(S702)と、特徴量抽出処理(S703)と、情報分類配置処理(S704)と、情報表示処理(S705)と、必要に応じて実行する再軸設定処理(ステップS702へのループ)を実行する。 As information set search phase, the search process of obtaining information set and (701), the axial setting processing (S702), the feature amount extraction processing (S703), information classification and arrangement processing (S704), the information display processing (S705), executing the re-axis setting process (loop to step S702) to perform as required. この処理の流れとすると、情報セット検索フェーズにおいて、検索の結果得られた情報セットからその都度情報セットアイコンを生成する必要がなく、検索された情報セットに対応する情報セットアイコンを分類配置空間に分類配置するのみで良いので、処理を高速化することができる。 When this flow of processing, the information set search phase, each time there is no need to generate the information set icon resulting information set of search, the classification configuration space information set icon corresponding to the searched information set since it only classification and arrangement, it is possible to speed up the process.
さらに、特徴量抽出処理703を前処理として情報セット生成フェーズで実行しておき、情報セットに対して情報セットアイコンと各特徴量を抽出して対応づけて記憶しておいても良い。 Furthermore, it must be running on the information set generation phase the feature amount extraction processing 703 as a pre-treatment, may be stored in association with extracts each characteristic quantity information set icon for the information set. この構成によれば、情報セット検索フェーズにおいて、検索の結果得られた情報セットからその都度特徴量を抽出する必要がないのでさらに処理を高速化することができる。 According to this configuration, in the information set search phase, it is possible to speed further processing since it is not necessary to extract each time features from resulting information set of search.
以上、本実施形態1に示したマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。 As described above, according to the multimedia information classification and arrangement device shown in this embodiment 1, as data used for display of information, by utilizing the icon fewer high data transfer amount of compression efficiency, the amount of data to be transferred can be reduced, it is possible to shorten the waiting time until the search of the information display, and can be secured list of the information content for the searcher, the grasping ease. また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。 Further, by classifying disposed feature space in accordance with information set icon to the feature amount, or placed near the relevant information set icon, by placing an image with particular characteristics in a specific location, the user it is possible to improve the search efficiency.
(実施形態2) (Embodiment 2)
次に、実施形態2のマルチメディア情報分類配置装置は、実施形態1のように、情報セットを構成する各メディア情報に対応するアイコンを合成して情報セットアイコンを作成するのではなく、各メディア情報ごとのアイコンを用意し、情報セットの分類配置においては該当する配置位置において各メディア情報ごとにアイコンを表示順序に従って時間的に切り替えつつ表示するものである。 Next, the multimedia information classification and arrangement apparatus of the second embodiment, as in the embodiment 1, instead of creating an information set icon by combining icon corresponding to each media information constituting the information set, each media prepared icons each information, and displays while temporally switching according to the display order of the icons for each media information at positions applicable in classification and arrangement of information sets.
本実施形態2のマルチメディア情報分類配置装置の装置構成例は図3と同様である。 Apparatus configuration example of a multimedia information classification arrangement apparatus of the present embodiment 2 is similar to FIG. ただし、構成要素の処理内容が異なる。 However, processing contents of the components are different.
情報可視化部30は、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てるが、それら各メディア情報に対するアイコンを合成して情報セットアイコンを生成することはしない。 Information visualization unit 30, for each media information constituting the information set, but assigns an icon visually displaying the contents and will not be generating a synthesized and information set icon icons for each of these media information .
分類配置部50は、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、分類配置空間内に情報セットに含まれる各メディア情報に対するアイコンを分類配置するものである。 Classification and arrangement unit 50 is for feature quantity of the attribute of the media information held by the respective information sets and on the basis of components of the feature amount, the classification and arrangement of icons for each media information included in the information set classification and arrangement space . 情報セットアイコンを配置するのではなく、情報セットに含まれるメディア情報それぞれに対応するアイコンをグループとして分類配置する。 Instead of placing the information set icon, it classifies place icons corresponding to each media information included in the information set as a group.
情報表示部60は、分類配置空間とアイコンを表示し、情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ配置位置に表示するものである。 Information display unit 60 displays the classification and arrangement space and icon, determines the display order of icons for each media information included in the information set is for displaying the position while switching them icon in time. 例えば、アイコンを画像データのアイコン、音響データのアイコン、テキスト情報のアイコンという順で繰り返して1秒おきに切り替えて表示する。 For example, the icon image data icon, the acoustic data icon display is switched every second repeat in the order of the text information of the icon.
情報セット取得部10、特徴量抽出部20、軸設定部40、ネットワーク70、マルチメディア情報源80については、実施形態1で説明したものと同様で良い。 Information set obtaining unit 10, feature amount extraction unit 20, the shaft setting unit 40, a network 70, for the multimedia source 80 may be the same as that described in Embodiment 1.
以上の実施形態2のマルチメディア情報分類配置装置の処理の流れの例を図8を参照しつつ説明する。 Will be described with reference to FIG. 8 is an example of a processing flow of the above multimedia information classification and arrangement apparatus of the second embodiment.
図8に示すように、本発明の実施形態2のマルチメディア情報分類配置装置の処理は、情報セットの取得処理(S801)と、各メディア情報のアイコンの生成処理(S802)と、分類配置空間の軸設定処理(S803)と、情報セットの特徴量抽出処理(S804)と、各メディア情報のアイコンの分類配置空間内への分類、配置処理(S805)と、分類配置空間および各メディア情報のアイコンの切り替え表示処理(S806)と、再軸設定処理(ステップS803へのループ)を備えている。 As shown in FIG. 8, the processing of the multimedia information classification and arrangement apparatus of the second embodiment of the present invention, acquisition of information set as (S801), and generation processing of the icon for each media information (S802), the classification arrangement space axis setting processing (S803), the feature amount extraction processing information set and (S804), classification into classification and arrangement space of the icon of each media information, arrangement processing (S805), the classification configuration space and the media information display switching process between icons (S806), and a re-axis setting process (loop to step S803). なお、最初の軸設定処理(S803)により設定された分類配置空間に基づく分類、配置により所望の検索結果が得られた場合には、再軸設定処理(S806)は必須のものではない。 Incidentally, the first axis setting process (S803) based on the set classification and arrangement space by the classification, if the desired search result by the arrangement is obtained, re-axis setting process (S806) is not essential.
マルチメディア情報分類配置装置は、情報セットの取得処理(S801)を実行後、情報可視化部30によりマルチメディア情報源80に格納されている各情報セットに含まれる各メディア情報に対応するアイコンを生成する(S802)。 Multimedia information classification placement device, generates an icon corresponding to each media information included acquisition process of the information set (S801) after execution, the information visualizing unit 30 in each information set stored in the multimedia information source 80 to (S802). その手順は図2に示したものと同様であるが、最終的に情報セットアイコンという形で合成することはしない。 The procedure is similar to that shown in FIG. 2 and will not be finally synthesized in the form of information set icon. なお、各メディア情報のアイコン生成における特徴量抽出処理の実行にあたり特徴量抽出部20を用いても良い。 It is also possible to use the feature extraction unit 20 Upon execution of the feature extraction process in the icon generating for each media information.
分類配置空間の軸設定処理(S803)、情報セットの特徴量抽出処理(S804)は、実施形態1の図4のS103〜S104と同様であり、説明は省略する。 Axis setting processing of classification configuration space (S803), the feature amount extraction processing information set (S804) is the same as S103~S104 of FIG. 4 of the first embodiment, description thereof is omitted.
次に、マルチメディア情報分類配置装置は、分類配置部50を用いて、抽出した特徴量に従って各メディア情報のアイコンを分類配置空間内に分類、配置する(S805)。 Next, the multimedia information classification placement device, using the classification and arrangement unit 50, the extracted feature classification icon of each media information classification and arrangement space as the amount, placing (S805). そして、情報表示部60により、分類配置空間および各メディア情報のアイコンを切り替えつつ、分類配置空間に分類、配置して表示する(S806)。 Then, the information display unit 60, while switching the icon of classification configuration space and the media information, classified in the classification configuration space, and displays arranged to (S806).
なお、一つの情報セットに対して、特徴ベクトルが複数個出力されている場合は、個々の特徴ベクトルに対する分類配置位置にアイコンを表示することによって一つの情報単位を複数のアイコンで表現する。 Incidentally, with respect to one information set, if the feature vectors are plural output, it represents a single information unit in a plurality of icons by displaying an icon on the classification position for the individual feature vectors.
以上の情報セット取得処理ステップS801から情報表示処理ステップS806により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は(ステップS807:NO)、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は(ステップS807:YES)、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップS803にループすることが可能である。 If more than the information set acquisition processing step S801 by the information display processing step S806 such desired image information is obtained, the purpose of the original search process is achieved, not required re-axis setting process (step S807: NO), it may be end the search process, not an object of the original search process is achieved, when re-axis setting processing is required (step S807: YES), the multimedia information classification and arrangement apparatus of the present invention, re it is possible to loop to step S803 to perform the axial setting process.
なお、実施形態1の図7と同様、処理全体を、アイコン生成フェーズと、情報セット検索フェーズの2つのフェーズに分け、アイコンの生成処理をアイコン生成フェーズとして前処理として実行し、情報セット検索フェーズで用いる各メディア情報のアイコンをまとめて生成しておくものでも良い。 Incidentally, similarly to FIG. 7 of the first embodiment, the entire process, the icon generating phase, in two phases of the information set search phase, executed as a pre-treatment process of generating the icon as icon generating phase, information set search phase it may be one to be generated collectively icon for each media information to be used in.
以上、本実施形態2に示したマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、各アイコンを表示順序に従って切り替えつつ表示するので検索者に対する情報内容の一覧性、把握容易性を確保することができる。 As described above, according to the multimedia information classification and arrangement device shown in this embodiment 2, as data used for display of information, by utilizing the icon fewer high data transfer amount of compression efficiency, the amount of data to be transferred can be reduced, it is possible to shorten the waiting time until the search of the information display, and a list of the information content for the searcher because display while switching according to the display order of the icons, to ensure understanding easiness be able to.
(実施形態3) (Embodiment 3)
本発明の実施形態3のマルチメディア情報分類配置装置を説明する。 Multimedia information classification and arrangement apparatus of the third embodiment of the present invention will be described. 本実施形態3のマルチメディア情報分類配置装置は、分類配置部によるメディア情報の特徴量に基づいた分類配置空間への分類、配置において、自己組織化マップを応用するものである。 Multimedia information classification and arrangement apparatus of the present embodiment 3, the classification into the classification configuration spaces based on the feature quantity of the medium information by classifying arrangement unit in the arrangement is intended to apply the self-organizing map.
本実施形態3マルチメディア情報分類配置装置の装置構成例を図9に示す。 The apparatus configuration example of the embodiment 3 multimedia information classification and arrangement apparatus shown in FIG. 図9に示すように、分類配置部50は、自己組織化マップ処理部51を備えている。 As shown in FIG. 9, classification and arrangement unit 50 is provided with a self-organizing map processing unit 51. なお、分類配置部50以外の、情報セット取得部10、情報可視化部30、軸設定部40、特徴量抽出部20、情報表示部60ネットワーク70、マルチメディア情報源80については、実施形態1で説明した図3のマルチメディア情報分類配置装置構成例のものと同様で良い。 Incidentally, other than the classification and arrangement unit 50, information set acquisition unit 10, information visualizing unit 30, the shaft setting unit 40, the feature extraction unit 20, information display unit 60 network 70, the multimedia information source 80, in the embodiment 1 it may be the same as those of the multimedia information classification and arrangement device configuration example of FIG. 3 described.
自己組織化マップは、ニューラルネットワークを用いた教師なし学習モデルである。 Self-organizing map is a unsupervised learning model using a neural network. 自己組織化マップでは、高次元の特徴ベクトル空間から低次元空間に写像を行なう。 The self-organizing map, perform a mapping from the feature vector space of higher dimension to a low dimensional space. その際に、特徴ベクトルが類似しているものは低次元空間でも近くに配置される。 At that time, those feature vectors are similar are disposed near at low dimensional space. この自己組織化マップをメディア情報の分類・配置処理に応用し、特徴量抽出部20が抽出した特徴量をもとに自己組織化マップ処理を用いて実施形態1のように情報セットアイコンまたは実施形態2のように各メディア情報のアイコンを配置する。 The self-organizing map is applied to the classification and arrangement processing of the media information, the information set icons or embodiment as in the first embodiment using a self-organizing map processing based on the feature amount by the feature extraction unit 20 has extracted placing the icon for each media information as the second embodiment. 自己組織化マップ処理部51は特徴量抽出部20が抽出した特徴量に対して当該自己組織化マップ生成処理を実行するものである。 Self-organizing map processing unit 51 is for executing the self-organizing map generation processing for the feature amount extracted by the feature quantity extraction section 20. 本実施形態3の分類配置部50は、自己組織化マップ処理部51が生成した自己組織化マップで得られた配置情報を基に分類配置空間に分類・配置する。 Classification and arrangement unit 50 of the present embodiment 3 will be classified and arranged to classify configuration space based on the layout information obtained by the self-organizing map is self-organizing map processing unit 51 generates. また、自己組織化マップ処理と併せて、Z軸(奥行き方向)に割り当てられている特徴量を基にした奥行き表現も組み合わせることもできる。 Also, in conjunction with self-organizing map processing may be combined depth representation that is based on the feature quantity that is assigned to the Z-axis (depth direction). 例えば、テキスト情報を元に、単語の頻度情報に分解し、それぞれの頻度をベクトル化して、そのベクトルに基づき、奥行き方向の軸の位置を決定する。 For example, based on the text information, to decompose the word frequency information, the respective frequencies are vectorized, based on the vector, to determine the position of the depth axis. また、他の例としては、キーワードを用いてWebを検索した場合、テキスト検索サーバが返すキーワードとWebページの関連度をもとに、関連度が高い順に奥行き情報として表示する事もでき、それらを切り替えて表示することができる。 In addition, as another example, if you search the Web by using a keyword, based on the relevance of keywords and Web pages returned by the text search server, can also be displayed as depth information on the relevant degree of high order, they it can be displayed by switching.
以上のように、本実施形態3のマルチメディア情報分類配置装置によれば、自己組織化マップ処理を応用して、画像を空間上で内容が近いと思われるものが近くに、内容が遠いと思われるものが遠くにそれぞれ配置することが出来る。 As described above, according to the multimedia information classification and arrangement apparatus of the present embodiment 3, by applying a self-organizing map processing, image near what content seems to be close in space and the contents is long It seems things can be arranged far away.
(実施形態4) (Embodiment 4)
本発明の実施形態4のマルチメディア情報分類配置装置を説明する。 Multimedia information classification and arrangement device according to the fourth embodiment of the present invention will be described. 本実施形態4のマルチメディア情報分類配置装置は、情報セットアイコンが分類・配置された分類配置空間の表示方法、ブラウジング方法に工夫を加えたものである。 Multimedia information classification and arrangement apparatus of the present embodiment 4, the display method of classification configuration space information set icon is classified and arranged, is obtained by adding a twist to browsing method.
本実施形態4のマルチメディア情報分類配置装置の装置構成例を図10に示す。 The apparatus configuration example of a multimedia information classification arrangement apparatus of the present embodiment 4 shown in FIG. 10. 図10に示すように、情報表示部60は表示視点移動部61を備えている。 As shown in FIG. 10, information display unit 60 includes a display viewpoint moving unit 61. なお、情報表示部60以外の、情報セット取得部10、情報可視化部30、軸設定部40、特徴量抽出部20、分類配置部50、ネットワーク70、マルチメディア情報源80については、実施形態1で説明した図3のマルチメディア情報分類配置装置構成例のものと同様で良い。 Incidentally, other than the information display unit 60, information set acquisition unit 10, information visualizing unit 30, the shaft setting unit 40, the feature extraction unit 20, classification and arrangement unit 50, a network 70, for the multimedia information source 80, Embodiment 1 in may be the same as those of the multimedia information classification and arrangement device configuration example of FIG. 3 described.
表示視点移動部61は、情報表示部60において、分類配置部50により情報セットアイコンが分類・配置された分類配置空間を表示するにあたり、当該空間を表示する視点の設定位置を移動させる機能を備えている。 Display viewpoint moving unit 61, the information display unit 60, when the information set icon displays the classification and arrangement classification configuration space by the classification placement unit 50, a function of moving the set position of the viewpoint to view the space ing. 情報表示部60は、表示視点移動部61により設定された表示視点から見た分類配置空間を表示する。 Information display unit 60 displays the classification and arrangement space viewed from a display perspective set by the display viewpoint moving unit 61.
本実施形態4のマルチメディア情報分類配置装置では、実施形態1で示した図5の表示視点をデフォルトとし、表示視点移動部61により表示視点を動的に変化させることが可能となる。 In multimedia information classification and arrangement apparatus of the fourth embodiment, the display point of view of FIG. 5 shown in Embodiment 1 as the default, it is possible to dynamically change the display viewpoint on the display viewpoint moving unit 61. 言わば、情報セットアイコンが分類・配置された分類配置空間内を仮想的に自由に動きまわり、移動位置から見える分類配置空間内の情報セットアイコンの分類・配置された様子を表示することができる。 So to speak, it can be information set icons move around classification and arranged classification arrangement in space virtually freely, to display the state that are classified and arranged information set icon classification arrangement in space seen from the moving position. 通常であれば、ディスプレイ表示面は、基本的には2次元平面であるので、遠近法による表示が可能ではあるものの、奥行きの深い位置にある情報セットアイコンは見づらいものとなりがちである。 Ordinarily, it displays the display surface is basically because it is a two-dimensional plane, albeit can be displayed by perspective, information set icon in the depth deep position tends to be as difficult to read. しかし、本実施形態4のマルチメディア情報分類配置装置によれば、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットアイコンの分類・配置の様子をディスプレイ表示面近くに表示させることができる。 However, according to the multimedia information classification and arrangement apparatus of the present embodiment 4, dynamically display the viewpoint can be changed, depending on the searcher operation, classification and searcher information set icon wants to see more detail the state of arrangement can be displayed near the display the display surface.
(実施形態5) (Embodiment 5)
実施形態5のマルチメディア情報分類配置装置は、分類配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている分類配置空間を再設定し、再設定された分類配置空間に対して各情報セットアイコンを再分類配置し、各情報セットアイコンが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示するものである。 Multimedia information classification and arrangement apparatus of the fifth embodiment is to reconfigure the allocation of the feature attributes to the classification configuration space each axis reconfigure the classification arrangement space that is already displayed, reset classification configuration space reclassification place each information set icon against, when the information set icon displays the manner in which reclassified arranged, from a position that was displayed before reclassification arrangement, to a position that appears after reclassification arrangement is to display by moving the media information that is displayed in a predetermined increments.
また、再分類配置において、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、ユーザが選択した情報セットアイコンを特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えたものである。 Further, the reclassification arrangement, a function of user fixed to a specific location on the selected information set icon classification configuration space specified by the user, each information set icon relative classification and arrangement space axes is reset again in classifying arrangement, in which a function the user secures the information set selected icon to a specific position, reclassify arranged in accordance with only the classification configuration space other information set icon.
図11は、実施形態5にかかるマルチメディア情報分類配置装置の装置構成を簡単に示したものである。 Figure 11 is simply showing the device structure of a multimedia information classification placement device according to a fifth embodiment. 図11に示すように、情報表示部60は動画処理部62を備えている。 As shown in FIG. 11, information display unit 60 includes a moving image processing section 62. また、分類配置部50は、配置位置固定指定部52を備えている。 Moreover, classification and arrangement unit 50 is provided with a position fixing specifying unit 52. なお、分類配置部50および情報表示部60以外の、情報セット取得部10、情報可視化部30、軸設定部40、特徴量抽出部20、ネットワーク70、マルチメディア情報源80については、実施形態1で説明した図3のマルチメディア情報分類配置装置構成例のものと同様で良い。 Incidentally, classification and arrangement of the other 50 and the information display section 60, information set acquisition unit 10, information visualizing unit 30, the shaft setting unit 40, the feature extraction unit 20, the network 70, multimedia source 80, Embodiment 1 in may be the same as those of the multimedia information classification and arrangement device configuration example of FIG. 3 described.
情報表示部60の動画処理部62は、軸の再設定により各情報セットアイコンを分類配置空間上に再分類配置する様子を表示するにあたり、各情報セットアイコンを、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する機能を有する。 Moving image processing section 62 of the information display unit 60, when displaying the state of reclassification place each information set icon on classification configuration space by resetting the axis, each information set icon, displayed before reclassification arrangement has a function of displaying is moved at a predetermined increments from position to position to be displayed after reclassification arrangement. 例えば、各情報セットアイコンの再分類配置前の位置を記憶しておき、各情報セットアイコンの再分類配置後の位置を分類配置部50から通知を受け、両座標点を基に各情報セットアイコンごとに移動方向、移動距離を求め、所定きざみで各情報セットアイコンを移動して行く。 For example, stores the reclassification predeployment position of each information set icon, notified the position after reclassification arrangement of each information set icon from the classification placement unit 50, the information set icon based on both coordinate points moving direction each time determines the movement distance, moves the respective information set icon at a predetermined increments. なお、所定きざみとは、移動ステップ数にかかわらず所定の距離ずつの移動としても良く、また、所定のステップ数で移動が完了するように移動距離を調整したきざみとしても良い。 Note that the predetermined increment may be a movement by a predetermined distance regardless of the number of moving steps, or may be chopped with an adjusted travel distance to move in a predetermined number of steps is completed.
分類配置部50は配置位置固定指定部52を備えており、ユーザは配置位置固定指定部52を介して特定の情報セットアイコンを特定位置に固定するように指定することができる。 Classification and arrangement unit 50 is provided with a position fixing specifying unit 52, the user can specify that fixed to a specific position specific information set icon via the position fixing specifying unit 52. 分類配置部50は、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、指定された情報セットアイコンを特定位置に固定した状態で、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えたものである。 Classification and arrangement unit 50, when reclassifying place each information set icon relative classification and arrangement space axes is reset, in fixing the specified information set icon to a specific position condition, other information set icon those having a function to reclassify arranged according only to the classification and arrangement space.
上記した、所定きざみで各情報セットアイコンを移動して行く再分類配置機能と、特定の情報セットアイコンを特定位置に固定した再分類配置機能を、図5と図12の具体例を用いつつ説明する。 Above, the reclassification arrangement function moves the respective information set icon at a predetermined increments, the reclassification arrangement functions with a fixed specific information set icon to a specific position, while a specific example of FIG. 5 and FIG. 12 described to.
再分類配置前の分類配置空間における情報セットアイコンの表示状態の例として実施形態1で説明した図5を用いる。 FIG 5 described in Embodiment 1 as an example of a display state of the information set icon in the classification configuration space before reclassification arrangement used. この例では、X軸(水平方向)に音色、Y軸(垂直方向)に画像情報に対するDCT変換係数特徴量、Z軸(奥行き方向)には特徴量を設定しないこととする。 In this example, the tone color in the X-axis (horizontal direction), Y-axis DCT transform coefficients characteristic amount with respect to image information (vertical direction), the Z-axis (depth direction) and not to set the feature quantity.
次に、再分類配置される様子を説明する。 Next, the manner in which reclassified arranged. 再軸設定によりXY平面方向の軸としてHSI色ヒストグラム特徴量が割り当てられ、Z軸には特に特徴量が割り当てられずにすべて“0”値が割り当てられたものとする。 HSI color histogram feature amount as the XY plane direction axis is assigned by the re-axis setting, and that all "0" value without assigned particular feature quantity in the Z-axis is assigned. 情報表示部60により表示された再分類配置後の表示例を示したものが図12である。 It is 12 illustrates a display example after reclassification arrangement displayed by the information display unit 60.
このように、再軸設定により、軸に新たに割り付けられた特徴量に沿って情報セットアイコンが再分類配置される。 Thus, by re-axis setting, information set icon along the newly allocated feature amount is reclassified arranged axially.
ここで、動画処理部62は、各情報セットアイコンを再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する。 Here, moving image processing section 62 displays are moved at a predetermined increment to a position that appears after reclassification arranged from a position that was displayed before reclassification place each information set icon. つまり、図5の状態から図12の状態まで、各情報セットアイコンを再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかも情報セットアイコンが目で追えるように移動してゆく様子を表示する。 That is, from the state of FIG. 5 to the state of FIG. 12, increments the predetermined displayed to a position after reclassification arranged from reclassification predeployment position of each information set icon, though information set icon is moved as able to track the eye and Yuku to display the state. 動画処理部62は、図5に示した各情報セットアイコンの再分類配置前の位置を記憶しておき、図12に示した各情報セットアイコンの再分類配置後の位置の通知を受け、両座標位置を基に各情報セットアイコンごとに移動方向、移動距離を求め、所定きざみで各情報セットアイコンの表示されているメディア情報を移動して行く。 Moving image processing section 62 may store the reclassification predeployment position of each information set icon shown in FIG. 5, it receives a notification of position after reclassification arrangement of each information set icon shown in FIG. 12, both movement direction on the basis of the coordinate position for each information set icon, obtains the moving distance, moves the media information displayed for each information set icon at a predetermined increments.
次に、分類配置部50の配置位置固定指定部52を用いた特定の情報セットアイコンを特定位置に固定した状態での再分類配置の具体例を説明する。 Next, a specific example of the re-classification and arrangement of the particular information set icons using position fixing specifying unit 52 of the classifying arrangement portion 50 in a state of being fixed to a specific position.
ユーザは、配置位置固定指定部52を介して、特定の情報セットと他の情報セットとの関係を把握するために、表示されている画面内から一つまたは複数の情報セットアイコンを選択する。 The user, via the position fixing specifying unit 52, in order to grasp the relationship between specific information sets and other sets of information, selecting one or more sets of information icon screen being displayed. 例えば一つの情報セットアイコンを選択し、その情報セットアイコンを中央に固定し、他の情報セットアイコンを自己組織化マップ法により分類配置空間内に配置してゆく。 For example, selecting one of the information set icon, to fix the information set icon in the center, slide into place the other information set icon in the classification configuration space by the self-organizing map method. また、複数の情報セットアイコン、例えば、4つの情報セットアイコンを選択し、それら情報セットアイコンの位置関係を特定の位置関係、例えば、画面の四隅に固定して、他の情報セットアイコンを自己組織化マップ法により分類配置空間内に配置してゆくことも可能である。 Further, a plurality of information set icon, for example, select the four pieces of information set icon, specific positional relationship the positional relationship of them information set icon, for example, fixed to the four corners of the screen, the self-organizing other information set icon it is also possible to slide into place in the classification configuration space by map method. このように特定の情報セットアイコンを特定の位置関係に固定して分類配置を行うことにより、選択した情報セットと他の個々の情報セットがどのような関係にあるのかが視覚的に容易に把握できるようになる。 By performing classification arranging the certain information set icon fixed to the specific positional relationship, whether the information sets and other pieces of information set selected and how they relate visually easily grasped become able to. 例えば、今、分類配置空間の軸が色情報を特徴量としている場合、四隅にそれぞれ、赤の画像、青の画像、黄の画像、緑の画像を固定して分類配置すれば、赤系統の画像は固定した赤い画像のある隅側に集まり、紫色の画像は、赤い画像の位置と青い画像の位置の中間付近に集まって表示されるため、色の系統に沿って個々の画像を見つけることが容易になる。 For example, now, if the axis of the classification and arrangement space is the feature amount of color information, respectively at the four corners, red image, a blue image, yellow image, if classified disposed by fixing the green image, the red- image gather in the corner side with a red image fixed, purple image to be displayed gathered near the middle of the positions of the blue image of the red image, to find an individual image along with the color of the system it becomes easy.
図13と図14は、配置位置固定指定部52を用いた特定の情報セットアイコンを特定位置に固定した再分類配置の概念を示した図である。 13 and FIG. 14 is a diagram showing the concept of reclassification arrangement fixed to a specific position specific information set icon with position fixing specifying unit 52. 図13は、再分類配置前において配置位置固定指定部52を用いて特定の情報セットアイコンを選択指定した様子を示す図、図14が図13で選択指定された情報セットアイコンを特定位置(画面中央)に固定して他の情報セットアイコンを再分類配置した様子を示した図である。 Figure 13 is a diagram showing how certain information set icon with position fixing specifying unit 52 specifies selected before reclassification arrangement, Figure 14 is the specific position information set icon selected and designated in FIG. 13 (Screen and fixed to the center) is a diagram showing a state in which reclassified place other information set icon. 図13において、情報セットアイコン5がユーザによって配置位置固定指定部52を介して選択指定された情報セットアイコンである。 13, the information set icon 5 is information set icon selected and designated via the position fixing specifying unit 52 by the user. この情報セットアイコン5を中央に固定し、再分類前とは異なる属性、例えば、色情報により再分類配置すれば、図14のように情報セットアイコン5に近い色合いを持つ情報セットアイコンが中央付近に集まることとなる。 The information set icon 5 is fixed to the center, different attributes from the reclassification before, for example, if the reclassification arranged by color information, information set icon near the center with a shade close to the information set icon 5 as shown in FIG. 14 so that the gather in.
なお、この配置位置固定指定部52を用いた特定の情報セットアイコンを特定位置に固定した再分類配置機能に対して、所定きざみで各情報セットアイコンを移動して行く再分類配置機能とを組み合わせることも可能であり、特定の情報セットアイコンを特定位置に固定した再分類配置の際に、各情報セットアイコンが再分類後の位置まで所定きざみで移動していくように表示させることも可能である。 Incidentally, combining respect reclassification arrangement functions with a fixed specific information set icon using the position fixing specifying unit 52 to a particular position, and a reclassification arrangement function moves the respective information set icon at a predetermined increments is also possible, when the reclassification arrangement with a fixed specific information set icon to a specific position, also possible that each information set icon is displayed as moves in a predetermined increment to a position after reclassification that is there.
上記構成によれば、分類配置空間を再設定し、注目する情報セットアイコンを特定位置に固定された状態で再分類することができ、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットアイコンの検索、分類処理の利便性が向上する。 According to the above configuration, reconfigure the classification configuration space, the information set icon of interest can be reclassified in a state of being fixed to a specific position, the arrangement position of each information set icon of how changed the it is possible to check the situation in the visual, the search of the information set icon, the convenience of the classification process can be improved.
(実施形態6) (Embodiment 6)
本発明の実施形態6のマルチメディア情報分類配置装置を説明する。 Multimedia information classification and arrangement device according to the sixth embodiment of the present invention will be described. 本実施形態6のマルチメディア情報分類配置装置は、上述した実施形態1〜5のマルチメディア情報分類配置装置を、コンピュータネットワークを介したクライアントサーバーシステムで構築したものである。 Multimedia information classification and arrangement apparatus of the present embodiment 6, in which the multimedia information classification and arrangement apparatus embodiments 1-5 described above, was constructed in a client-server system via the computer network. 上述した実施形態1〜5のマルチメディア情報分類配置装置の装置構成のうち、どの要素をサーバーコンピュータに組み込み、どの要素をクライアントコンピュータに組み込むかにより幾つかのパターンが可能である。 Among the device configuration of the multimedia information classification and arrangement apparatus embodiments 1-5 described above, built which elements in the server computer, are possible several patterns depending on whether incorporating which elements on the client computer.
図15は、サーバーコンピュータ100に情報可視化部30、情報セット取得部10、特徴量抽出部20を設け、クライアントコンピュータ101に軸設定部40、分類配置部50、情報表示部60を設けたクライアントサーバ構成例である。 15, information visualizing unit 30 in the server computer 100, information set acquisition unit 10, a feature extractor 20 is provided, the client server shaft setting unit 40, classification and arrangement unit 50 to the client computer 101, the information display unit 60 is provided it is a configuration example.
図16は、サーバーコンピュータ100に情報可視化部30、情報セット取得部10、特徴量抽出部20、分類配置部50を設け、クライアントコンピュータ101に軸設定部40、情報表示部60を設けた構成である。 16, information visualizing unit 30 in the server computer 100, information set acquisition unit 10, the provided feature extractor 20, classification and arrangement unit 50, the shaft setting unit 40 to the client computer 101, a configuration provided with the information display section 60 is there.
ただし、上記の図15〜図16のそれぞれの構成において、情報セットの取得方法に関して幾通りかの方法が挙げられる。 However, in each of the above-described configuration of FIGS. 15 16, include several ways with respect to method of obtaining information set. 例えば、サーバコンピュータ100がロボットとして、あらかじめ指定されている内容の情報セットをネットワーク上などから定期的に自動収集・自動更新する方法がある。 For example, the server computer 100 is a robot, there is a regular method for automatic collection and automatic updates to the information set of the content that is specified in advance and the like on the network. 他には、図15〜図16はいずれも情報セット取得部10がサーバコンピュータ100に図示されているが、情報セット取得部10の情報セット収集部12から情報セット収集キー入力部14を分離してクライアントコンピュータ101に設け(図示せず)、クライアントコンピュータ101の利用者が情報セット収集キー入力部14を用いて情報セット収集キーを入力し、当該入力された情報セット収集キーをサーバコンピュータ100の情報セット取得部10に渡し、サーバコンピュータ100が当該情報セット収集キーを用いて、該当する情報セットをネットワーク上などから動的に収集する方法がある。 Other, but 15 to 16 Both the information set acquisition unit 10 is illustrated in the server computer 100, separates the information set collecting the key input unit 14 from the information set collecting unit 12 of the information set acquisition unit 10 Te (not shown) provided in the client computer 101, the user of the client computer 101 inputs the information set collection key using the information set collecting the key input unit 14, an information set collection key that is the input of the server computer 100 pass the information set acquisition unit 10, the server computer 100 by using the information set collection key, there is a method of dynamically collect the relevant information set from such a network.
このように、上述した実施形態1〜5のマルチメディア情報分類配置装置の装置構成要素を、サーバーコンピュータとクラアントコンピュータに分けて設けることにより、クライアントサーバシステムにより本発明のマルチメディア情報分類配置装置を構築することができる。 Thus, the apparatus components of the multimedia information classification arrangement device embodiments 1-5 described above, by providing separately the server computer and the class Ant computers, multimedia information classification and arrangement apparatus of the present invention by the client server system it can be constructed.
(実施形態7) (Embodiment 7)
本発明のマルチメディア情報分類配置装置は、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。 Multimedia information classification and arrangement apparatus of the present invention, by providing a record of program describing the process steps for realizing the processing described above in a computer-readable recording medium is constructed using a variety of computer be able to. 本発明のマルチメディア情報分類配置装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図17に図示した記録媒体の例に示すように、CD−ROM202やフレキシブルディスク203等の可搬型記録媒体201だけでなく、ネットワーク上にある記録装置内の記録媒体200や、コンピュータのハードディスクやRAM等の記録媒体205のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ204上にローディングされ、主メモリ上で実行される。 Recording medium in which the program was recorded with the processing steps for implementing multimedia information classification and arrangement apparatus of the present invention, as shown in the example of the recording medium shown in FIG. 17, a portable, such as a CD-ROM 202 or flexible disk 203 not only recording medium 201, and recording medium 200 in the recording apparatus on the network may be any of a recording medium 205 such as a computer hard disk and a RAM, at the time of execution, the program is loaded onto computer 204 , it is executed on the main memory.
産業上の利用可能性本発明のマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済む情報セットアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。 According to the multimedia information classification and arrangement apparatus INDUSTRIAL APPLICABILITY According to the present invention, as data used for display of information, by increasing the data transfer rate compression efficiency is to utilize a less requires information set icon, the data to be transferred it is possible to reduce the amount, it is possible to shorten the waiting time until the search of the information display, and can be secured list of the information content for the searcher, the grasping ease. また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。 Further, by classifying disposed feature space in accordance with information set icon to the feature amount, or placed near the relevant information set icon, by placing an image with particular characteristics in a specific location, the user it is possible to improve the search efficiency. また、情報セットアイコンに代え、各メディア情報のアイコンを表示順序に従って切り替えつつ表示する場合においても、検索者に対する情報内容の一覧性、把握容易性を確保することができる。 Further, instead of the information set icon, even in the case of displaying while switching according to the display order of the icons of the media information, it is possible to secure a list of the information content for the searcher, the grasping ease.
また、本発明のマルチメディア情報分類配置装置によれば、情報セット生成部を保持することにより、情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットアイコンを生成することができる。 The media according to the multimedia information classification and arrangement apparatus of the present invention, by keeping the information set generation unit, information set classification prior to placement process, including as a pretreatment, image information, text information, audio information collecting information, analyzing the collected media information Interactions can generate information set icon together relevant media information.
また、本発明のマルチメディア情報分類配置装置によれば、分類配置空間を再設定し、注目する情報セットアイコンを特定位置に固定された状態で再分類することができ、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。 Further, according to the multimedia information classification and arrangement apparatus of the present invention, resetting the classification configuration space, can be re-classified information set icon of interest in the state of being fixed to a specific position, the arrangement of the information set icon position is how can see changed to a situation where either the visual search of the information set, the convenience of the classification process is improved.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
第1図の(a)は、本発明の“情報セット”の概念を簡単に示した図、(b)は従来技術におけるマルチメディア情報の例を示す図である。 Of FIG. 1 (a), the "information set" view of simply showing the concept of the present invention, is a diagram showing an example of multimedia information in (b) the prior art.
第2図は、情報セットアイコンの例および当該情報セットアイコンの生成手順の一例を示した図である。 Figure 2 is a diagram showing an example of the generation procedure of example of information set icon and the information set icon.
第3図は、本発明の実施形態1のマルチメディア情報分類配置装置の装置構成例を示す図である。 FIG. 3 is a diagram showing an apparatus configuration example of a multimedia information classification and arrangement apparatus of the first embodiment of the present invention.
第4図は、本発明の実施形態1のマルチメディア情報分類配置装置の処理の流れの例を示すフローチャートである。 Figure 4 is a flow chart showing an example of a process flow of multimedia information classification and arrangement apparatus of the first embodiment of the present invention.
第5図は、“音楽家”のキーワードで収集された6つの情報セットアイコンを分類配置空間内に分類、配置した例を示す図である。 Figure 5 is a "musician" sort 6 information set icon collected by keyword classification and arrangement space of a diagram showing an example in which.
第6図は、選択した情報セットアイコンに対応する情報セットのウェブのページを示す図である。 6 is a diagram illustrating a web page of the information set corresponding to the information set selected icon.
第7図は、本発明の実施形態2のマルチメディア情報分類配置装置の処理の流れの例を示すフローチャート第8図は、本発明の実施形態3マルチメディア情報分類配置装置の装置構成例を示す図である。 Figure 7 is a Figure 8 flowchart showing an example of a process flow of multimedia information classification and arrangement apparatus of the second embodiment of the present invention, showing a device configuration example of the third embodiment multimedia information classification and arrangement apparatus of the present invention it is a diagram.
第9図は、本発明の実施形態4のマルチメディア情報分類配置装置の装置構成例を示す図である。 9 is a diagram showing an apparatus configuration example of a multimedia information classification and arrangement device according to the fourth embodiment of the present invention.
第10図は、本発明の実施形態5にかかるマルチメディア情報分類配置装置の装置構成を簡単に示した図である。 FIG. 10 is a diagram simply showing the device structure of a multimedia information classification placement device according to Embodiment 5 of the present invention.
第11図は、本発明の実施形態5にかかる情報表示部60により表示された再分類配置後の表示例を示した図である。 11 is a diagram showing a display example after reclassification arrangement displayed by the information display unit 60 according to Embodiment 5 of the present invention.
第12図は、再分類配置前において配置位置固定指定部52を用いて特定の情報セットアイコンを選択指定した様子を示す図である。 FIG. 12 is a diagram showing a state in which the specified select a particular information set icon with position fixing designation unit 52 before reclassification arrangement.
第13図は、第12図で選択指定された情報セットアイコンを特定位置(画面中央)に固定して他の情報セットアイコンを再分類配置した様子を示した図である。 13 is a diagram showing a state in which fixed to FIG. 12 at a selected given specific position information set icons (screen center) reclassified place other information set icon.
第14図は、本発明の実施形態6のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図である。 14 is a diagram showing an example of constructing a multimedia information classification and arrangement device according to the sixth embodiment of the present invention in a client-server configuration.
第15図は、本発明の実施形態6のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した他の例を示す図である。 FIG. 15 is a diagram showing another example of the multimedia information classification and arrangement device according to the sixth embodiment constructed in a client-server configuration of the present invention.
第16図は、本発明の実施形態7のマルチメディア情報分類配置装置の処理内容を処理ステップとしたプログラムを記録した記録媒体の例を示す図である。 16 is a diagram showing an example of the multimedia information classification arrangement device processing the recording medium the content is recorded a program processing step the embodiment 7 of the present invention.

Claims (14)

  1. 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、 Image information, and text information, information set a grouping of homogeneous and heterogeneous media information associated with the same object from a set of media information including audio information,
    前記情報セットを単位としてメディア情報を取得する情報セット取得部と、 And information set obtaining unit that obtains the media information the information set as a unit,
    各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、 A feature extraction unit for extracting a component of the feature quantity from each medium information of each information set,
    メディア情報の特徴量とアイコンとの対応を示すデータまたはメディア情報の特徴量をアイコンに変換するルールを用いて、前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成する情報可視化部と Using a rule that transforms the feature of data or media information indicating the correspondence between the features and the icon of media information in the icon, for each media information constituting the information set, a visual indication of its contents Assign the icon, and information visualization unit for generating information set icon visually representing the contents of the information set by combining them icons,
    取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、1以上の軸を備えた分類配置空間を設定する軸設定部と、 The selected attributes from the feature quantity of attributes extracted from the media information included in the information set obtained, assigned as the axis of the space for arranging information set icon, sets the classification and arrangement space with one or more axes and the shaft setting section,
    各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置する分類配置部と、 Characteristic of the attribute of the media information held by the respective information sets and on the basis of components of the feature quantity, the classification and arrangement unit for classifying arrangement information set icon in the classification and arrangement space,
    前記分類配置空間と前記情報セットアイコンを表示する情報表示部を備えたことを特徴とするマルチメディア情報分類配置装置。 Multimedia information classification and arrangement apparatus comprising the information display unit that displays the information set icon and the classification configuration space.
  2. 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、 Image information, and text information, information set a grouping of homogeneous and heterogeneous media information associated with the same object from a set of media information including audio information,
    前記情報セットを単位としてメディア情報を取得する情報セット取得部と、 And information set obtaining unit that obtains the media information the information set as a unit,
    各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、 A feature extraction unit for extracting a component of the feature quantity from each medium information of each information set,
    メディア情報の特徴量とアイコンとの対応を示すデータまたはメディア情報の特徴量をアイコンに変換するルールを用いて、前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てる情報可視化部と Using a rule that transforms the feature of data or media information indicating the correspondence between the features and the icon of media information in the icon, for each media information constituting the information set, a visual indication of its contents and information visualization unit for assigning an icon,
    取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、アイコンを配置する空間の軸として割り当て、1以上の軸を備えた分類配置空間を設定する軸設定部と、 The selected attributes from the feature quantity of attributes extracted from the media information included in the information set obtained, assigned as the axis of the space for disposing the icon axes set for setting the classification and arrangement space with one or more axes and parts,
    各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に前記情報セットに含まれる各メディア情報に対するアイコンを分類配置する分類配置部と、 Characteristic of the attribute of the media information held by the respective information sets and on the basis of components of the feature quantity, the classification and arrangement unit which classifies place icons for each media information included in the information set in the classification and arrangement space,
    前記分類配置空間と前記アイコンを表示する情報表示部であって、前記情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ前記配置位置に表示する情報表示部を備えたことを特徴とするマルチメディア情報分類配置装置。 An information display unit that displays the said classification and arrangement space icon, the information display to be displayed on the arrangement position while switching them icon in time decide the display order of icons for each media information included in the information set multimedia information classification and arrangement apparatus comprising the parts.
  3. 前記特徴量抽出部が抽出した特徴量の成分が、ある情報セットのあるメディア情報について複数個存在した場合、前記分類配置部は、前記特徴量の複数個の成分それぞれに基づいて、前記情報セットアイコンを複数個の位置にそれぞれ分類配置する請求項1に記載のマルチメディア情報分類配置装置。 Component of the feature quantity the feature extraction unit has extracted, when the plurality exist for media information that is information set, the classification and arrangement unit, based on the respective plurality of components of the feature amount, the information set multimedia information classification placement device of claim 1, each classification and arrangement icons into a plurality of positions.
  4. 前記特徴量抽出部が抽出した特徴量の成分が、ある情報セットのあるメディア情報について複数個存在した場合、前記分類配置部は、前記特徴量の複数個の成分それぞれに基づいて、前記情報セットに含まれるメディア情報に対するアイコンを複数個の位置にそれぞれ分類配置する請求項2に記載のマルチメディア情報分類配置装置。 Component of the feature quantity the feature extraction unit has extracted, when the plurality exist for media information that is information set, the classification and arrangement unit, based on the respective plurality of components of the feature amount, the information set multimedia information classification placement device of claim 2, respectively classifying place icons into a plurality of positions relative to the media information included in the.
  5. 前記情報表示部が、情報セットおよび分類配置空間を表示する視点の設定位置を移動させる機能を持つ表示視点移動部を備え、 Wherein the information display unit includes a display viewpoint moving unit having a function of moving the set position of the viewpoint to display the information set and the classification and arrangement space,
    前記情報表示部は、前記表示視点移動部が設定した視点位置に基づいて情報セットアイコンが分類・配置された分類配置空間を表示する請求項1または2に記載のマルチメディア情報分類配置装置。 Wherein the information display unit, the multimedia information classification arrangement according to claim 1 or 2 for displaying the classification and arrangement space information set icon is classified and arranged on the basis of the viewpoint position and the display viewpoint moving unit is set.
  6. 前記情報表示部が、ネットワークを介した端末装置上に前記分類配置空間と前記情報セットアイコンを表示する請求項1または2に記載のマルチメディア情報分類配置装置。 Wherein the information display unit, the multimedia information classification arrangement according to claim 1 or 2, and the classification and arrangement space on the terminal device via the network to display the information set icon.
  7. 前記情報可視化部によるアイコンの割り当てにおいて、あらかじめ用意されているアイコンのいずれかを選択することで割り当てる請求項1または2に記載のマルチメディア情報分類配置装置。 The information in the assignment of the icon by Visualization section, multimedia information classification arrangement according to claim 1 or 2 assigned by selecting one of the icons that are prepared in advance.
  8. 前記情報可視化部によるアイコンの割り当てにおいて、あらかじめ用意されているアイコンのいずれかを選択し、対応するメディア情報の内容に応じて前記選択したアイコンの表示内容を修飾する請求項7に記載のマルチメディア情報分類配置装置。 In the assignment of the icon by the information visualizing unit, multimedia according to claim 7, pre-prepared to select one of the icons is, to modify the display contents of the icon and the selection in accordance with the content of the corresponding media information information classification placement device.
  9. 前記軸設定部における、1つの空間軸に対して割り当てる特徴量の属性が複数の特徴量の属性を組み合わせたもの、または、複数の軸に対して1つの特徴量の属性を割り当てたものである請求項1または2に記載のマルチメディア情報分類配置装置。 In the axis setting unit, which feature quantity of attributes allocated to one spatial axis combines attributes of a plurality of feature amounts, or, those assigned to one feature of attributes for a plurality of axes multimedia information classification arrangement according to claim 1 or 2.
  10. 前記軸設定部が、分類配置空間軸の各軸への特徴量の属性の割り当てを再設定し、1以上の軸を備えた分類配置空間を再設定する軸再設定機能を備え、 The axis setting unit, reconfigure the allocation of the feature attributes to each axis of classification configuration space axis, provided with a reset shaft resetting function of the classification and arrangement space with one or more axes,
    前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記分類配置部が前記抽出された特徴量の成分に応じて各情報セットアイコンを前記分類配置空間内に分類配置し、前記情報表示部が前記再設定された分類配置空間に対する視点に応じたメディア情報を表示する請求項1または2に記載のマルチメディア情報分類配置装置。 The feature extraction unit extracts the component of the feature amount according to the axial resetting by the axis setting unit, the classification and arrangement space of each information set icon depending on the components of the feature which the classification and arrangement section is the extracted classification disposed within, multimedia information classification arrangement according to claim 1 or 2, wherein the information display unit displays the media information corresponding to the viewpoint with respect to the reconfigured classified configuration space.
  11. 前記分類配置部が、局所相互作用を利用して学習により自己組織化をおこなう自己組織化マップ処理部を備え、 The classification and arrangement section is provided with a self-organizing map processing unit that performs self-organizing by learning using the local interaction,
    前記分類配置部は、前記特徴量抽出部が抽出した特徴量をもとに、前記自己組織化マップ処理部による自己組織化マップ処理を用いて情報セットアイコンを配置する請求項1または2に記載のマルチメディア情報分類配置装置。 The classification and arrangement unit, based on the feature quantity the feature extraction unit has extracted, according to claim 1 or 2, placing the information set icon using the self-organizing map processing by the self-organizing map processing unit multimedia information classification and arrangement device.
  12. 前記分類配置部が、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、 The classification and arrangement portion, and a function of fixing the information set icon selected by the user to a specific position on the classification configuration space specified by the user,
    軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、前記ユーザが選択した情報セットアイコンを前記特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えた請求項1に記載のマルチメディア情報分類配置装置。 When the axis reclassify place each information set icon against reconfigured classification configuration space, the information set icon selected by the user and fixed in the specific position, only classification configuration space other information set icon multimedia information classification arrangement according to claim 1 having a function to reclassify arranged according to.
  13. 画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合である情報セットを分類配置空間内に分類配置して表示するマルチメディア情報分類配置装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、 Image information, text information, processing program for realizing the multimedia information classification and arrangement apparatus for displaying classification and arrangement to the information set in the classification configuration space is a set of information having the relevance to each other among the media information including audio information a computer-readable recording medium recording a,
    画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、前記情報セットを単位としてメディア情報を取得する情報セット取得処理と Image information, text information, information set by the information setting a grouping of homogeneous and heterogeneous media information associated with the same object from a set of media information including audio information, obtains the media information the information set as a unit an acquisition processing,
    各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出処理と、 A feature quantity extraction process for extracting a component of the feature quantity from each medium information of each information set,
    メディア情報の特徴量とアイコンとの対応を示すデータまたはメディア情報の特徴量をアイコンに変換するルールを用いて、前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成する情報可視化処理と Using a rule that transforms the feature of data or media information indicating the correspondence between the features and the icon of media information in the icon, for each media information constituting the information set, a visual indication of its contents Assign the icon, and information visualization Kasho sense of generating information set icon visually representing the contents of the information set by combining them icons,
    取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、1以上の軸を備えた分類配置空間を設定する軸設定処理と The selected attributes from the feature quantity of attributes extracted from the media information included in the information set obtained, assigned as the axis of the space for arranging information set icon, sets the classification and arrangement space with one or more axes and the shaft set processing,
    各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置する分類配置処理と Characteristic of the attribute of the media information held by the respective information sets and on the basis of components of the feature quantity, the classification and arrangement processing for classification and arrangement information set icon in the classification and arrangement space,
    前記分類配置空間と前記情報セットアイコンを表示する情報表示処理をコンピュータに実行させる処理プログラムを記憶したことを特徴とする記憶媒体。 Storage medium characterized by storing a processing program for executing an information display processing for displaying the information set icon and the classification configuration space to the computer.
  14. コンピュータが、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合である情報セットを分類配置空間内に分類配置して表示するマルチメディア情報分類配置方法であって、 Computer, a image information, text information, multimedia information classification method of arranging and displaying the classified disposed classification and arrangement space information set is a set of information having the relevance to each other among the media information including audio information Te,
    前記コンピュータが、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、前記情報セットを単位としてメディア情報を取得し、 The computer, image information, text information, and the information set a grouping of homogeneous and heterogeneous media information associated with the same object from a set of media information including audio information, the media information the information set as a unit Acquired,
    前記コンピュータが、各情報セットの各メディア情報から特徴量の成分を抽出し、 The computer extracts the component of the feature quantity from each medium information of each information set,
    前記コンピュータが、メディア情報の特徴量とアイコンとの対応を示すデータまたはメディア情報の特徴量をアイコンに変換するルールを用いて、前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成し The computer, using the rule that transforms the feature of data or media information indicating the correspondence between the features and the icon of media information in the icon, for each media information constituting the information set, visually the contents to assign the icon to be displayed, it generates information set icon visually representing the contents of the information set by combining them icons,
    前記コンピュータが、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、1以上の軸を備えた分類配置空間を設定し、 The computer, the selected attributes from the feature quantity of attributes extracted from the media information included in the information set obtained, assigned as the axis of the space for arranging information set icon, classification arrangement with one or more axes set the space,
    前記コンピュータが、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置し、 The computer, on the basis of the component attribute and its feature amount of the feature amount of media information held by the respective information set, the information set icon classified disposed in the classification and arrangement space,
    前記コンピュータが、前記分類配置空間と前記情報セットアイコンを表示することを特徴とするマルチメディア情報分類配置方法。 The computer, multimedia information classification method of arranging and displaying the information set icon and the classification configuration space.
JP2002565195A 2001-01-09 2001-01-09 Multimedia information classification and arrangement apparatus and classification arrangement method Expired - Fee Related JP4295510B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2001/000049 WO2002065339A1 (en) 2001-01-09 2001-01-09 Multimedia information sorting/arranging device and sorting/arranging method

Publications (2)

Publication Number Publication Date
JPWO2002065339A1 JPWO2002065339A1 (en) 2004-06-17
JP4295510B2 true JP4295510B2 (en) 2009-07-15

Family

ID=11736891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002565195A Expired - Fee Related JP4295510B2 (en) 2001-01-09 2001-01-09 Multimedia information classification and arrangement apparatus and classification arrangement method

Country Status (2)

Country Link
JP (1) JP4295510B2 (en)
WO (1) WO2002065339A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395805A (en) 2002-11-27 2004-06-02 Sony Uk Ltd Information retrieval
US7120619B2 (en) * 2003-04-22 2006-10-10 Microsoft Corporation Relationship view
US9424563B2 (en) 2005-03-11 2016-08-23 Microsoft Technology Licensing, Llc Accessing medial context information using contextual links
JP2008287125A (en) 2007-05-21 2008-11-27 Sony Corp Method of displaying content, device of displaying content, recording medium and server device
JP5121904B2 (en) * 2010-09-13 2013-01-16 京セラ株式会社 Data retrieval apparatus and search method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2989606B2 (en) * 1987-11-11 1999-12-13 キヤノン株式会社 An information processing method and information processing apparatus
JPH06103018A (en) * 1992-09-21 1994-04-15 Toshiba Corp Display system
JPH08227297A (en) * 1994-12-21 1996-09-03 Fujitsu Ltd Mapping method for sound data and display device
JPH08329099A (en) * 1995-05-30 1996-12-13 Matsushita Electric Ind Co Ltd Image information processor
JP3614235B2 (en) * 1996-03-19 2005-01-26 富士通株式会社 Information search apparatus
JPH09298699A (en) * 1996-05-07 1997-11-18 Matsushita Electric Ind Co Ltd Icon menu display method and display device
JP3603599B2 (en) * 1998-06-08 2004-12-22 ヤマハ株式会社 Visual display method and visual display program recorded computer-readable recording medium playing system performance system
US6459441B1 (en) * 1999-03-03 2002-10-01 Dassault Systemes Software interface

Also Published As

Publication number Publication date
JPWO2002065339A1 (en) 2004-06-17
WO2002065339A1 (en) 2002-08-22

Similar Documents

Publication Publication Date Title
US7849090B2 (en) System, method and computer program for faceted classification synthesis
US6038574A (en) Method and apparatus for clustering a collection of linked documents using co-citation analysis
US6240424B1 (en) Method and system for similarity-based image classification
US9177049B2 (en) System and method for interactive visual representation of information content using assertions
US8190604B2 (en) User intention modeling for interactive image retrieval
EP1678635B1 (en) Method and apparatus for automatic file clustering into a data-driven, user-specific taxonomy
US7606781B2 (en) System, method and computer program for facet analysis
US7877425B2 (en) Method for managing file using network structure, operation object display limiting program, and recording medium
US8234581B2 (en) User interface for processing data by utilizing attribute information on data
US6408293B1 (en) Interactive framework for understanding user&#39;s perception of multimedia data
US20060242564A1 (en) Method and apparatus for indexing, searching and displaying data
US6912550B2 (en) File classification management system and method used in operating systems
CA2640032C (en) Providing a dynamic user interface for a dense three-dimensional scene
US7596574B2 (en) Complex-adaptive system for providing a facted classification
KR100388401B1 (en) Computer system, method, and user interface components for abstracting and accessing a body of knowledge
US7548936B2 (en) Systems and methods to present web image search results for effective image browsing
EP1565846B1 (en) Information storage and retrieval
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
US20080301128A1 (en) Method and system for searching for digital assets
EP1395916B1 (en) Meta-descriptor for multimedia information
EP2284733A2 (en) Multi-modal information access
US6735583B1 (en) Method and system for classifying and locating media content
US7502780B2 (en) Information storage and retrieval
US7478091B2 (en) System and method for measuring image similarity based on semantic meaning
WO2011092793A1 (en) Data processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090410

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees