JP5062819B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、ユーザ間のコミュニケーションを円滑に進めるために、画像情報に付加されたタグ情報と画像情報の特徴量による類似分類結果を参照して画像表示装置の画面表示領域に複数枚の画像情報を効率良く表示すると共に、表示された複数枚の画像情報とのユーザインタラクションを考慮して画像情報の再検索処理を効率良く実行する画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、例えば、画像検索システム、会話（コミュニケーション）支援システム、アイデア発想支援システム、プレゼンテーションシステム、会議支援システム、会場案内・観光案内システム、デジタルカメラ等の撮影装置で撮影した画像編集・表示システムなどに好適な技術に関する。

近年、デジタルカメラの普及や携帯端末の画像撮影機能により、誰でも手軽に画像情報が取得できるようになった。このような画像情報を保存しておくために、ウェブ上ではＦｌｉｃｋｅｒやＰｉｃｃｙ等に代表されるような画像情報の登録サービスがある。これらのサービスでは、画像情報がウェブ上で公開されて編集されることにより、撮影した人はもとより、撮影した人以外からも画像情報に複数のタグ情報を付けられる。また、画像情報の登録サービスを利用せずに画像情報をウェブ上に公開するために、画像情報を単純にＨＴＭＬ文書へ添付している例も多い。この場合には、添付された画像情報の周辺にあるＨＴＭＬ文書内のテキスト情報をタグ情報とみなして利用する技術も開発されている。また、デジタルカメラで撮影した場合には、一般的にデジタルカメラのタグ情報の規格であるＥｘｉｆ形式で保存され、撮影条件のタグ情報が撮影した画像情報に付加される。このように、ウェブに代表されるネットワーク上のデータベースには複数のタグ情報が付加された大量の画像情報が保管されている。

データベース上に大量に保管された画像情報からユーザが所望する画像情報を検索する機能としては、Ｇｏｏｇｌｅのイメージ検索やＹａｈｏｏの画像検索やｇｏｏの画像検索などがある。

イメージ検索ではユーザが検索クエリーを入力し、入力した検索クエリーとウェブ上に保存されている画像情報に付加されたタグ情報が関連している画像情報を選出する。このようなイメージ検索のサービスが提供されるようになって画像情報の検索は便利になってきたが、イメージ検索を実行してもユーザの所望する画像情報がすぐに見つけられることは少なく、表示された画像情報からユーザの所望する画像情報へ辿りつくことは容易ではない。

特開２００５−１２２６９０号公報 特開２００５−２７６１７８号公報 特開２００３−１３２０７４号公報

例えば、イメージ検索では画像情報に付加されたタグ情報を参照して順番に複数枚の画像情報を配置して画面上に表示していることが多く、画像情報の特徴量による類似度で分類されていないため、同じ特徴量を持つ画像情報が一塊になって表示されておらず、所々に分散されて表示される。小型の画面上に少数枚の画像情報を表示する場合には、分散された表示方法でも一覧視できるが、大型の画面上や複数台の画像表示装置に多量の画像情報を表示した場合には同じ特徴量を持つ画像情報が一塊になって表示されないとユーザは所望の画像情報を効率的に見つけられない。また反対に、タグ情報を参照せずに画像情報の特徴量から類似度で分類して配置する方法もあるが、画像情報に付加されたタグ情報を参照せずに表示すると、画像情報の特徴量が類似していても、異なる物体が撮影された画像情報を隣接して表示してしまう確率が高くなるため、ユーザは所望の画像情報を効率的に見つけられなくなる。

また、表示された複数枚の画像情報内にユーザが所望する画像情報が存在しない場合には、ユーザは検索条件または検索クエリーを変更して再検索処理する必要がある。この際に、従来のイメージ検索では、検索クエリーのテキスト情報を変更し、あるいは検索対象とする画像情報のファイル形式やサイズを変更して再検索の処理はできるが、検索結果として表示された複数枚の画像情報を直接的に選択することにより検索条件を変更できないため、検索結果を利用した直感的な再検索処理が実行できない。

例えば、特許文献１では、ウェブページ等から検索した結果である複数の文書情報から文書の属性を示す各特徴ベクトルを算出して文書情報を複数の部分集合に分割し、レイアウト処理を行って所定の画面表示領域に代表的な擬似画像を生成することで文書情報の検索結果をユーザへ分かりやすく表示している。しかし、検索対象がテキスト情報のみであるため、画像類似検索などの画像情報の特徴量に対する検索方法が考慮されておらず、複数枚の画像情報を効果的に分類して表示できない。また、表示された複数枚の画像情報とインタラクションを行って再検索処理することを考慮していないため、画像情報を利用した直感的な再検索処理を実行できない。

また、特許文献２では、画像除法の高速ソートとユーザのソート処理よるグループへの分類作業によって画像に注釈メタデータを付加し、メタデータから複数枚の画像をグループ化して画像情報を表示することでユーザインタラクションを容易にし、かつデジタルカメラで撮影した画像情報などを分かりやすく表示する。しかし、画像類似検索結果から画像情報を分類することを考慮していないため、複数枚の画像情報を効果的に分類して表示できず、また、画像情報を利用した直感的な再検索処理を実行できない。

さらに、特許文献３では、元文書からユーザが直感的に分かりやすいサムネイル画像を生成して表示し、サムネイル画像をマウス等で選択した位置によって元画像を表示する部分や選択した部分と類似した文書を表示している。しかし、複数枚の画像情報を表示する位置を決定することを考慮していないため、複数枚の画像情報を効果的に表示できず、また、複数枚の画像情報が表示された場合を考慮していないため、複数枚の画像情報を使用したインタラクション方法が利用できず、複数枚の画像情報から直感的な再検索処理を実行できない。

本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、大型の画像表示画面に多量の画像情報を表示する際に、ユーザに分かりやすく効率的に画像情報を表示するための画像表示位置を決定し、また表示された複数枚の画像情報をユーザが任意に選択して再検索条件を変更することによって直感的で分かりやすい再検索処理を実行できる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

第１の目的：画像情報に付加されたタグ情報と画像情報の特徴量から算出された類似度情報を利用して画像情報の配置位置を決定することで、多量の画像情報を表示する際に、ユーザに分かりやすく効率的に所望の画像情報を見つけることできるように表示する。

第２の目的：ユーザから入力された検索クエリー情報を使用して、ウェブに代表されるような画像データベースから多量の画像情報を選出し、選出した画像情報に付加されたタグ情報と画像情報の特徴量から算出された類似度情報を利用して画像情報の配置位置を決定することで、多量の画像情報を表示する際に、ユーザに分かりやすく効率的に所望の画像情報を見つけることできるように表示する。

第３の目的：画像表示装置が複数台利用できる場合には、利用できる画像表示装置の画面表示領域を有効に利用することで、多量の画像情報を表示する際に、ユーザに分かりやすく効率的に所望の画像情報を見つけることできるように表示する。

第４の目的：表示する画像情報に任意の背景色を加えて表示することや、画像に付加されたタグ情報を画面上に表示することで、ユーザに分かりやすく画像情報のグループ情報を表示する。

第５の目的：表示された複数枚の画像情報をユーザが任意に選択することで再検索条件を変更することによって直感的で分かりやすい再画像検索処理を実行する。

第６の目的：ユーザが任意に選択した画面表示領域によって、画像タグ検索と画像類似検索との重み付けを判定することで、ユーザに直感的で分かりやすい、再画像検索処理のパラメータ設定を可能にする。

第７の目的：ユーザ同士のコミュニケーション中に使用する資料に関連した画像情報を表示することでコミュニケーションを円滑にする。

第８の目的：コミュニケーション中に使用する資料と関連の深い画像情報をより多く表示することでユーザになじみの深い画像情報を多く表示してユーザ同士のコミュニケーションを円滑にする。

第９の目的：コミュニケーションが進む前に、予め先の資料と関連した画像情報を表示するための検索処理・画像類似分類処理・配置位置決定処理を実行しておくことでコミュニケーションの流れに沿ってリアルタイムに画像情報を表示させる。

第１０の目的：画像情報を再検索処理する際に、ユーザが画像情報を選択した領域周辺だけを再検索処理の結果を表示する画面表示領域に割り当て、その他はコミュニケーションの流れに沿った画像情報を表示する画面表示領域に割り当てることで、他のユーザが再検索処理を実行してもコミュニケーションの流れを阻害することなく画像情報を表示させる。

第１１の目的：ユーザが選択した画面表示領域にユーザと関連する画像情報を多く表示することで、画像情報の選択を実行したユーザが利用しやすいようにパーソナライズ化された表示画面を生成する。

第１２の目的：ユーザと画像表示装置の位置情報を計測してその位置情報からユーザに適した画像情報を表示する。

第１３の目的：ユーザの状態を観察してユーザに適した画像情報を表示する。

本発明は、画像情報を取得する画像情報取得手段と、前記取得された画像情報の特徴量に基づいて類似した画像情報をグループ毎に分類する画像類似分類手段と、前記取得された画像情報に付加されたタグ情報を取得するタグ情報取得手段と、前記分類されたグループ内にある画像情報に付加されたタグ情報を参照して各グループで重要なタグ情報を選出し、前記各グループ同士が持つ重要なタグ情報を比較して、同一の意味を持つタグ情報が存在するグループ同士を近接させてグループ化する画像分類手段と、前記グループ化したもの同士が持つ特徴量を比較して、同一の特徴量を持つグループが存在する場合には、同一の特徴量を持つグループを一つに統合する方向に移動させてグループ間の位置関係を決定し、前記グループ間の位置関係情報を参照して前記取得された画像情報の表示位置を決定する画像表示位置決定手段を有することを最も主要な特徴とする。

（１）画像情報に付加されたタグ情報と画像情報の特徴量から算出された類似度情報を利用して画像情報の配置位置を決定しているので、多量の画像情報を表示する際に、ユーザに分かりやすく、効率的に所望の画像情報を見つけることができる。
（２）ユーザが利用するコンテンツ情報から検索クエリーを自動的に取得し、ウェブに代表されるような画像データベースから多量の画像情報を取得し、取得した画像情報に付加されたタグ情報と画像情報の特徴量から算出された類似度情報を利用して画像情報の配置位置を決定しているので、多量の画像情報を表示する際に、ユーザに分かりやすく、効率的に所望の画像情報を見つけることができる。
（３）画像表示装置が複数台利用できる場合には、利用できる画像表示装置の画面表示領域を有効に利用しているので、多量の画像情報を表示する際に、ユーザに分かりやすく、効率的に所望の画像情報を見つけることができる。
（４）表示する画像情報に任意の背景色を加えて表示し、画像に付加されたタグ情報を画面上に表示しているので、ユーザに分かりやすく、画像情報のグループ情報を表示できる。
（５）表示された複数枚の画像情報をユーザが任意に選択することにより再検索条件を変更しているので、直感的で分かりやすい再画像検索処理が実行できる。
（６）ユーザが任意に選択した画面表示領域によって、画像タグ検索と画像類似検索との重み付けを判定しているので、ユーザに直感的で分かりやすい、再画像検索処理のパラメータ設定が可能となる。
（７）ユーザ同士のコミュニケーション中に使用する資料に関連した画像情報を表示しているので、コミュニケーションを円滑に進めることが可能となる。
（８）コミュニケーション中に使用する資料と関連の深い画像情報をより多く表示しているので、ユーザになじみの深い画像情報を多く表示してユーザ同士のコミュニケーションを円滑に進めることが可能となる。
（９）コミュニケーションが進む前に、予め先の資料と関連した画像情報を表示するための検索処理・画像類似分類処理・配置位置決定処理を実行しているので、コミュニケーションの流れに沿ってリアルタイムに画像情報を表示できる。
（１０）画像情報を再検索処理する際に、ユーザが画像情報を選択した領域周辺だけを再検索処理の結果を表示する画面表示領域に割り当て、その他はコミュニケーションの流れに沿った画像情報を表示する画面表示領域に割り当てているので、他のユーザが再検索処理を実行してもコミュニケーションの流れを阻害することなく画像情報を表示できる。
（１１）ユーザが選択した画面表示領域にユーザと関連する画像情報を多く表示しているので、画像情報の選択を実行したユーザが利用しやすいようにパーソナライズ化された表示画面を生成できる。
（１２）ユーザと画像表示装置の位置情報を計測しているので、その位置情報からユーザに適した画像情報を表示できる。
（１３）ユーザの状態を観察しているので、ユーザに適した画像情報を表示できる。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
図１は、実施例１における画像処理システムの構成例を示す。本発明の画像処理システムは、画像処理装置１０１、画像表示装置１０２、イメージ検索サービス用のウェブサーバ１０３、その他ウェブサーバ１０４がウェブ等のネットワーク１０５を介して接続されている。

画像処理装置の詳細は後述する。その他ウェブサーバ１０４には、ＨＴＭＬ文書や画像情報が保存されており、ネットワーク１０５を介してそれらの情報が取得可能になっている。イメージ検索サービス用のウェブサーバ１０３は、画像情報が保存されているウェブサーバ１０４から画像情報を取得して、ユーザが入力した検索クエリーと対応するタグ情報が付加された画像情報を選出するサービスを提供している。

一般的に、イメージ検索サービスではウェブ上にウェブページ収集ロボットを放ち、その他ウェブサーバが公開している情報を収集するクロールと呼ばれる作業を実行する。次に、クロールで収集された情報をまとめてインデックスを構築しておく。画像情報にタグ情報が付加されておらず、画像情報がＨＴＭＬ文書等に添付されている場合には、画像情報の周辺に記述されているテキスト情報をタグ情報として利用してインデックス情報を構築しても良い（図４）。ユーザがイメージ検索サービスを利用する際に、構築されたインデックス情報を参照してユーザが入力した検索クエリーと関連する画像情報を選出する。イメージ検索サービス用のウェブサーバの代表的な例としては、ｇｏｏｇｌｅ・ｙａｈｏｏ・ｇｏｏ等のウェブサービスが挙げられる。図１では、イメージ検索サービスのウェブサーバ１０３と画像処理装置１０１とを異なる場所に設置したが、画像処理装置１０１内にイメージ検索サービスの機能を追加したシステム構成にしても良い。

画像表示装置１０２は、画像処理装置１０１によって指定された配置位置に画像情報を表示する。画像表示装置１０２は複数台設置されていても良い。画像表示装置１０２には、タッチパネル等の操作入力部が付いており、ユーザからの入力処理を受け付け可能であることが望ましい。また、画像表示装置１０２は、ユーザから入力された操作情報や画像表示装置１０２のスペック情報（画面サイズ、解像度、輝度、色情報）、複数台の画像表示装置同士の設置位置情報などを画像処理装置１０１へ通知できることが望ましい。

画像処理システム全体の処理手順の概要を説明する。始めにイメージ検索サービス用のウェブサーバ１０３は、ユーザから入力された検索クエリーとなるテキスト情報を取得し、検索クエリーと関連した画像情報をその他ウェブサーバ１０４に公開された多量の画像情報内から選出して、画像処理装置１０１に送信する。次に、画像処理装置１０１はイメージ検索サービス用のウェブサーバ１０３によって選出された複数枚の画像情報を取得し、画像情報に付加されたタグ情報と画像情報の特徴量の類似情報から画像情報を分類する。画像処理装置１０１は、画像情報を表示する画像表示装置１０２のスペック情報・複数台の画像表示装置の設置位置情報を問い合わせ、それらの情報を取得して画像情報を表示する画面表示領域を算出する。次に、分類された複数枚の画像情報と画面表示領域情報から表示する画像情報の配置位置を決定し、その配置位置情報を画像表示装置１０２へ送信する。画像表示装置１０２は、画像処理装置１０１から送信された配置位置情報を参照して画面上に画像情報を表示する。

図２は、本発明の画像処理システムの利用形態の一例を示す。本発明を利用するユーザは、所望する画像情報を検索するために、ユーザが所有する携帯端末装置１０６等を利用して検索クエリーとなるテキスト情報を入力する。携帯端末装置１０６は近隣に設置されているユーザが利用可能な画像表示装置１０２と通信処理を行って、画像表示装置１０２のスペック情報と設置位置情報を取得して、取得した情報と検索クエリー情報を画像処理装置１０１へ送信する。画像処理装置１０１は送信された情報と分類された画像情報を参照して画像表示装置１０２に表示する画像情報の配置位置を決定し、画像表示装置１０２に複数枚の画像情報を表示させる。ユーザは画像表示装置１０２に表示された画像情報を一覧することでユーザが所望する画像情報の探索が容易になる。図２では、検索クエリーとなるテキスト情報を携帯端末装置１０６から入力したが、携帯端末装置１０６を利用せずに画像入力装置の操作入力部を利用して検索クエリーを入力しても良い。

図３は、実施例１の画像処理装置の構成を示す。図３の画像情報取得手段２０１は、表示対象となる画像情報を取得する手段である。画像情報取得手段２０１は、任意に設定されたデータベースに保存された画像情報を取得しても良いし、ユーザが表示対象となる画像情報を設定して取得しても良い。またウェブ上に公開された画像情報からイメージ検索処理を行って選出された画像情報を取得しても良い。イメージ検索処理を利用する場合には、検索クエリー取得手段２０２、データベース接続手段２０３、画像情報選出手段２０４を使用する。

検索クエリー取得手段２０２は、ユーザが所望する画像情報を表示するための検索クエリー情報を取得する。実施例１では、ユーザが携帯端末装置１０６や画像表示装置１０２を利用して入力したテキスト情報を検索クエリーとして取得する。

データベース接続手段２０３は、画像情報が保存されているデータベースへ接続し、検索対象となる画像情報を取得する手段である。データベースの一例としてはウェブサーバに公開された画像情報等が挙げられるが、ユーザが使用している情報処理装置に接続して画像情報を取得しても良いし、本発明のシステムを利用しているユーザグループが所有する情報処理装置に接続して画像情報を取得しても良い。

画像情報選出手段２０４は、データベース接続手段２０３で接続したデータベース内に保存された画像情報からインデックス情報を作成する。検索クエリー取得手段２０２から検索クエリー情報を受信した際には、作成したインデックス情報を参照して検索クエリー情報と関連した画像情報を選出する。選出した画像情報は、画像情報取得手段２０１で取得された画像情報としてタグ情報取得手段２０５、画像類似分類手段２０６へ送信する。

データベース内に保存された画像情報の一例としてウェブサーバに公開された画像情報が挙げられる。画像情報はＨＴＭＬ文書内に記載されたタグ情報：＜ｉｍｇ ｓｒｃ＝ ｉｍａｇｅ１．ｊｐｇ＞と関連付けられてウェブサーバ内のＨＴＭＬ文書と同様のフォルダ内に保存される。なお、ＨＴＭＬ文書内に上記のタグ情報が記載されている場合には、ｉｍａｇｅ１．ｊｐｇが画像情報のファイル名となる。図４は、画像情報が添付されたＨＴＭＬ文書のプログラム例を示す。インデックス情報の作成方法の一例としては、ＨＴＭＬ文書内に記載されたタグ情報：＜ｉｍｇ ｓｒｃ＝ ｉｍａｇｅ１．ｊｐｇ＞の周辺に記載されている文書情報からインデックス情報を作成し、作成したインデックス情報はイメージ検索処理を実行するサーバのハードディスク内に保存する。インデックス情報としては、例えば複数の単語情報から成るタグ情報が挙げられ、各単語のタグ情報は複数の画像情報のＵＲＬ情報と関連付けられて保存されている。

タグ情報取得手段２０５は、画像情報に付加されたタグ情報を取得する。画像情報には複数のタグ情報が付加されている。タグ情報取得手段２０５では、予め画像情報に付加されたタグ情報だけでなく、画像情報を認識することにより生成されたタグ情報も取得しても良い。

図５は、画像情報に付加されたタグ情報の例を示す。図５では、画像情報を保存する代わりに画像情報が保存されているウェブサーバ内のＵＲＩ情報が保存されている。イメージ検索処理を利用して表示対象となる画像情報を取得した場合には、検索処理で使用した検索クエリー情報と関連したタグ情報とそれ以外のタグ情報を分類して取得しても良い。例えば、検索処理で「スポーツ・男性」等の検索クエリー情報を使用した場合には、「スポーツ・男性」というタグ情報とそれ以外のタグ情報を分類する。また辞書を持つことで検索クエリー情報の類義語（男性＝男）や反義語（男性⇔女性）も検索処理に利用したタグとして分類しても良い。

画像類似分類手段２０６は、画像情報の特徴量から画像情報の類似度を算出して、類似した画像情報をグループごとに分類する。画像情報の代表的な特徴量としては、色・形状・テクスチャ・輝度などが挙げられる。これらの特徴量を比較することで画像情報を分類する。

画像分類手段２０７は、タグ情報と画像の類似度情報を使用して画像情報を分類する。分類方法の一例としては、画像の類似度情報より画像情報を分類し、分類された画像情報グループ内のタグ情報から子グループを生成する。図６は、画像分類処理の一例を示す。図６では、画像類似度情報による分類処理によって、色の特徴量情報を基に、画像情報（Ａ〜Ｚ）を５つのグループ（赤・緑・青・黄・黒）に分類した例である。

色の特徴量情報の算出方法としては、各画像情報を構成するピクセルのＲＧＢ値を参照し（図７（ａ））、各ピクセルが任意に分割した色空間の中から、どの色空間に分類されるかを判定し、全ピクセルのヒストグラムを作成する（図７（ｂ））。ヒストグラム値が一番高い色空間を画像情報の色特徴量として決定する（図７（ｃ））。

次に、分類されたグループ内にある画像情報からタグ情報を参照して子グループを生成した例を図８に示す。赤色の類似画像グループでは、画像情報Ｅ・Ｋ・Ｐ・Ｑ・Ｒに付加されたタグ情報を参照して子グループを生成する。子グループの生成方法は画像検索手段の検索クエリー情報以外のタグ情報を参照し、同一の意味を持つタグ情報の数が大きいものから順に子グループを生成する。例えば、画像情報Ｅ・Ｋ・Ｐ・Ｑ・Ｒのタグ情報が図５に示したタグ情報と同様の場合には、画像情報Ｋ・Ｐ・Ｒに同一のタグ情報（カーリング：合計３個）があり、画像情報Ｅ・Ｐ・Ｑに同一のタグ情報（国旗：合計３個）があり、画像情報Ｑ・Ｒに同一のタグ情報（強豪：合計２個）がある。その他はタグ情報が一つだけである。これにより、画像情報Ｋ・Ｐ・Ｒと画像情報Ｅ・Ｐ・Ｑと画像情報Ｑ・Ｒが子グループを生成する。上記した例では、画像情報の枚数及びタグ情報の数が少ないが、これらの数が多い場合には、子グループが大量に生成されてしまうため、子グループの生成条件を設定しても良い。生成条件の一例としては、子グループの数を最大３個までと限定しても良いし、タグ情報の合計数に閾値を設定して生成条件を変更しても良い。

画像表示位置決定手段２０８は、画像分類手段２０７で分類されたグループを参照して画像情報を表示する位置を決定する。図９、１０は、画像表示位置決定処理の一例を示す。図９は、画像分類手段２０７によって、画像の類似度情報から赤・緑・青・黄・黒のグループに、タグ情報から子グループに分類された結果を示す（図６と図８の結果を合わせた図：各画像情報は省略）。

図９（ａ）の例では、赤・緑・青・黄・黒のグループ内から子グループを生成しているタグ情報を参照して同一の意味を持つタグ情報を検出する。次に、同一の意味を持つタグ情報が存在するグループ同士を近接表示するようにグループ化する。図９の例では青・黄・黒のグループが同一のタグ情報（スケート）を持ち、赤・緑・黒のグループが同一のタグ情報（カーリング）を持つので、青・黄・黒のグループと赤・緑・黒のグループが近接して表示されるようにグループ化する（図９（ｂ））。次に、グループ化されたもの同士が同一の色情報（画像情報の特徴量）を持つ場合には、同一の色情報を持つグループを統合するように配置する。図９の例では、青・黄・黒グループと赤・緑・黒グループでは黒グループが同一の色情報を持つので、黒グループを統合して一つになるように画像情報の表示位置を決定する（図１０）。

画像表示位置決定処理のアルゴリズムの一例を示す。この例では、画像特徴量（色グループ）とタグ情報による分類を行った結果、図１１のように分類され、グループ化された際の画像表示位置決定処理の例を示す。

図１１は、分類した結果、スケートというタグ情報を持つ画像情報は、黄・青・黒・紫の色グループに分類された画像情報群の中にあり（緑・赤・黄の色グループに分類された画像情報群の中には無い）、カーリングというタグ情報を持つ画像情報は、緑・赤・黒・紫の色グループに分類された画像情報群の中にあるということを意味する。

画像情報を表示する表示画面領域を、図１２（ａ）のように９分割する。図１１を参照して、最も頻度の高い色グループ（黒）を９分割した表示画面領域の中心に配置する（図１２（ｂ））。

次に、中心に配置した色グループ（黒）が持つタグ情報と同じタグ情報を持つ色グループで、頻度の高い色グループを選出する。この際、図１１を参照すると紫・赤の色グループが選出されるが、紫・赤の色グループが持つタグ情報と同じタグ情報を持つ色グループを参照すると、紫の色グループが持つタグ情報：スケートはその他の色グループとして黄・青・黒と３つあるが、赤の色グループが持つタグ情報：テストはその他の色グループとして黒・橙と２つしかない。従って、色グループの選出ではその他の色グループとも関連性が強い紫色グループが選出される。その他のグループ数が等しいときには、色グループを構成する画像の枚数から選出しても良いし、予め優位となる色グループを設定しておいても良い。選出した色グループ（紫）を、中心に配置した色グループ（黒）と隣接する位置に配置する（図１２（ｃ））。ここで隣接距離を評価する指標方法としては、横縦方向は距離１と置き、斜め方向は距離１．５と置いて隣接距離を算出する。この評価手法により図１２（ｃ）の丸印が付いた場所は隣接距離がいずれも等しくなる。隣接位置がいずれも等しい際には予め左隣の場所に配置するなど設定しておけば良い。

次に、以前に配置した色グループ（黒・紫）が持つタグ情報と同じタグ情報を持つ色グループで、頻度が高く、その他の色グループとも関連性が高い色グループ（赤）を選出する。選出した色グループ（赤）を、以前に配置した色グループの隣接位置に配置する（図１２（ｄ））。隣接位置の評価は色グループごと（黒・紫）に上記と同様に行う。複数の色グループとの隣接位置を評価する場合には、最も頻度の高い色グループ（黒）に隣接位置が設定されるように重み付けを行って（黒には隣接距離に１を乗算し、紫には隣接距離に１．２を乗算するなど）隣接位置を算出する。この評価手法により、図１２（ｄ）の丸印がついた場所には隣接距離がいずれも等しくなるが、予め上隣に配置するなど設定しておけば良い。

以下同様に、以前に配置した色グループ（黒・紫・赤）が持つタグ情報と同じタグ情報を持つ色グループで、頻度が高く、その他の色グループとも関連性が高い色グループ（緑）が選出され、以前に配置された色グループと隣接した位置に配置される（図１２（ｅ））。以上の処理を同様に実行することにより、各色グループの画像表示位置を決定し、配置する（図１２（ｆ）〜（ｈ））。

画像表示位置決定処理は、上記以外の方法を用いても良い。例えば、スプリングモデルなどデータ間の接続関係を利用してグラフ構造を視覚化するグラフ自動描画アルゴリズムを利用して画像表示位置を決定する方法がある。最も単純なモデルであるＥａｄｅｓのスプリングモデルは、接続関係があるデータ間の距離がどの接続においても一定に保たれて２次元平面状に配置される。Ｅａｄｅｓのスプリングモデルを利用する場合には、同一の意味を持つタグ情報同士を接続関係で接続し、接続したタグ情報を持つ画像情報の枚数を参照して重み付けを行って、グループ間の距離を変化させて画像情報の表示位置を決定しても良い。その他の配置方法の一例として、多次元尺度法もある（多次元尺度法とは、いくつかの項目を統計的に分析して関連性のある項目を近くに、関連性のない項目を遠くに配置する方法である）。多次元尺度法の処理を本発明に適用する場合には、画像情報に付加されたタグ情報や画像情報の特徴量を多次元の項目とし、画像情報を表示する配置位置を決定する。

また、画像情報を表示する際には、グループ情報・子グループ情報の一覧性を高めるために分類されたグループごとに画像情報の背景に色差を付けて表示し、子グループ化されたタグ情報を表示しても良い（図１０）。色差の他にも画像情報の特徴量として輪郭情報を検出した場合には、背景に輪郭情報を表示しても良い。表示方法としては、輪郭情報を画像情報に重ねて表示しても良いし（図１３（ａ））、画像情報の下部等に縮小された輪郭情報を表示しても良い（図１３（ｂ））。また、色情報の代わりに輪郭情報の特徴量によるグループを生成した場合には画像情報を表示するグループ領域を輪郭情報と同様の形で表示しても良い（図１３（ｃ））。

また、画像処理装置１０１が画像表示装置１０２の画面表示領域情報を既知でない場合には、画面表示領域情報取得手段２０９を使用して、画像表示装置１０２から画面表示領域情報を取得する。画面表示領域情報取得手段１０９は、表示可能な画像表示装置１０２に接続し、画像表示装置１０２のスペック情報（表示サイズ・解像度・色情報など）を取得する。また、複数台の画像表示装置が利用できる場合には画像表示装置同士の設置位置情報も取得する。画像処理装置１０１の画像表示位置決定手段２０８は、画像表示装置１０２のスペック情報を参照して画像情報の表示サイズや表示枚数を決定する。図２のように、複数台の画像表示装置が利用できる場合には、画像表示装置の境目に、画像情報のグループの境目が配置されるように画像情報の表示枚数を調節して表示しても良い。また、ユーザは携帯端末装置１０６または画像表示装置１０２にあるスクロールバーを利用することで、各画像表示装置に表示された画像情報をスクロールさせても良いし、画像表示装置に表示される画像情報を隣接する画像表示装置に表示されている画像情報と切り替えて表示させても良い。

以上の処理を実行することにより、画像情報に付加されたタグ情報と画像情報の特徴量から算出された類似度情報を利用して画像情報の配置位置を決定し、多量の画像情報を表示する際にもユーザに分かりやすく、画像情報を表示できる。

図１４は、画像処理装置のハードウェア構成を示す。画像処理部における各種の制御及び処理を行うＣＰＵ３０１と、ＳＤＲＡＭ３０２と、ＨＤＤ３０３と、マウス等のポインティングデバイス、キーボード、ボタン等の各種入力インターフェース（以下Ｉ／Ｆ）３０４と、表示Ｉ／Ｆ３０６を介して接続されるＣＲＴなどのディスプレイ３０９と、ＣＤ−ＲＷドライブ等の記録装置３０７と、画像表示装置やイメージ検索サービス用のウェブサーバまたはウェブサーバ等と有線または無線接続するための通信Ｉ／Ｆ３０８とを、バスを介して接続することにより構成される。ＳＤＲＡＭ３０２は、ＣＰＵ３０１の作業領域として利用されるとともに、本発明における画像処理方法の各工程を実行するための処理プログラムや、その他制御プログラムなどの固定情報の記録領域として利用される。処理プログラムは、例えば記録装置３０７を介してＳＤＲＡＭ３０２にロードされ、またはＨＤＤ３０３に一旦保存された後に必要なときにＳＤＲＡＭ３０２にロードされる。また、イメージ検索サービス用のウェブサーバから送信される多量の画像情報はＨＤＤ３０６に保存される。画像処理システムを構成するイメージ検索サービス用のウェブサーバやその他ウェブサーバ、画像表示装置に関するハードウェア構成も画像処理装置と同様の構成としても良い。

図１５、１６は、本発明の画像処理方法のフローチャートを示す。ステップ１〜３は、イメージ検索サービスを利用してウェブ等から多量の画像情報を取得する場合に利用される。任意のデータベースに保存された画像情報を利用する場合にはステップ１〜３の処理は行わずに、ステップ４の処理から実行する。また、ステップ９、１０は画像表示装置のスペック・画面表示領域等の情報が既知でない場合に利用される。画像表示装置のスペック・画面表示領域等の条件が既知である場合にはステップ９、１０の処理を行わずに、ステップ８で画像表示装置の表示条件も参照して画像情報の表示位置を決定してステップ１１の処理から実行する。

ステップ１は、ユーザが所望する画像情報を表示するために、入力されたテキスト情報を取得する。ステップ２は、テキスト情報を検索クエリー情報として画像処理装置１０１からイメージ検索サービス用のウェブサーバ１０３へ送信する。ステップ３は、検索クエリー情報とイメージ検索サービス用のウェブサーバ１０３がウェブサーバに公開された画像情報を収集してインデックス化した情報とを比較して画像情報を選出する。

ステップ４は、画像処理装置１０１がステップ３で選出された画像情報を取得し、画像情報に付加されたタグ情報を取得する。ステップ５は、画像処理装置１０１が選出された画像情報の特徴量を算出し、算出した特徴量同士を比較することで類似した画像情報ごとに分類する。ステップ６は、画像処理装置１０１が画像情報の特徴量ごとに分類されたグループ内にある画像情報に付加されたタグ情報を参照して各グループで重要なタグ情報を選出する。重要なタグ情報とは画像情報に付加されたタグ情報の数の多さで単純に決定しても良いし、検索クエリーと関連するタグ情報には重み付けを行ってから決定しても良い。ステップ７は、各グループ同士が持つ重要なタグ情報を比較して、同一の意味を持つタグ情報が存在するグループ同士を近接させてグループ化する。ステップ８は、ステップ７でグループ化したもの同士が持つ特徴量を比較して同一の特徴量を持つグループが存在する場合には、そのグループを一つに統合する方向に移動させてグループ間の位置関係を決定する。

ステップ９は、画像情報の表示対象となる画像表示装置１０２のスペック情報・画像表示装置同士の配置位置情報を取得する。ステップ１０は、画像表示装置１０２のスペック情報とグループ間の位置関係情報を参照して画像情報の表示位置及び画像サイズを決定する。

ステップ１１は、ステップ１０で決定された画像情報の表示位置情報を各画像表示装置へ送信する。画像情報の送信はネットワークに接続されたウェブサーバに公開されている画像のＵＲＩ情報のみを送信して画像表示装置がＵＲＩ情報から画像情報を取得しても良いし、画像処理装置１０１から画像表示装置１０２へ直接的に画像情報を送信しても良い。ステップ１２は、画像表示装置１０２が送信された画像情報の表示位置情報に従って画面上に画像情報を表示する。

以上の各ステップを処理することにより、画像情報に付加されたタグ情報と画像情報の特徴量から算出された類似度情報を利用して画像情報の配置位置を決定し、多量の画像情報を表示する際にもユーザに分かりやすく、画像情報を表示できる。

実施例２：
実施例２は、画像表示装置に表示された複数枚の画像情報をユーザが任意に選択し、画像情報の再検索処条件を変更することによって直感的で分かりやすい再画像検索処理を実行する実施例である。実施例２における画像処理システムの構成、画像処理装置のハードウェア構成は、実施例１と同様である。

図１７は、実施例２における画像処理装置の構成を示す。図１７のユーザ画像情報選択手段４０１は、画像表示装置１０２に表示された複数枚の画像情報から、ユーザが再検索処理の検索条件を指定するために画像情報または画面表示領域を選択させる手段である。選択方法としては、ユーザが所有する携帯端末装置１０６の画面上へ画像表示装置１０２に表示されている画像情報の全体画面を縮小して表示させることで、画面表示領域を簡易に選択できるようになっている。また、ユーザのスクロールバー操作により詳細に閲覧したい画面部分がズーミングされる。また、一般的に画面表示領域の選択はペン・マウス・指を利用して指定する。携帯端末装置以外にも画像表示装置から直接的に画面表示領域を選択しても良い。画像表示装置にタッチパネル機能を追加することでユーザが画面表示領域を選択できるようにしても良いし、画像表示装置に設置されたＵＳＢカメラ等の画像入力装置がユーザの手を撮影して認識することで画面表示領域を選択できるようにしても良い。

再検索処理判定手段４０２は、ユーザ画像情報選択手段４０１で選択した画面表示領域情報から再検索処理方法を判定する。図１８、１９は、ユーザが画面表示領域を選択した一例を示す。図１８、１９では、斜線領域５０１がユーザの選択した画面表示領域を示す。図１８（ａ）のように、画像情報に付加されたタグ情報（カーリング）から生成された子グループの画面表示領域をユーザが選択した場合には、主にタグ情報を使用した検索方法を再検索方法として判定する。また、タグ情報が表示されている画面表示領域部分をユーザが選択した場合にも、主にタグ情報を使用した検索方法を再検索方法として判定しても良い。

また、図１８（ｂ）のように、画像情報の特徴量（赤色）を基に分類されたグループの画面表示領域５０１をユーザが選択した場合には、主に画像情報の特徴量を使用した検索方法を再検索方法として判定する。また、図１９（ａ）のように、画像情報の特徴量（赤色）を基に分類されたグループの画面表示領域を指定せずにタグ情報（カーリング）から生成された子グループの画面表示領域５０１が指定された場合には、その特徴量（赤色）以外の特徴量（黒・緑色）を持つ画像情報の中から、主にタグ情報を使用した検索処理をする方法を再検索方法として判定する。

また、図１９（ｂ）のように選択された場合には、除外されたタグ情報（スケート・カーリング）を持たなく、主に画像情報の特徴量（黒色）を使用した検索方法を再検索方法として判定する。以上のように、ユーザは画面表示領域を選択することで、画像情報の特徴量とタグ情報との検索条件をａｎｄ、ｏｒの条件で設定して画像情報の再検索処理を実行できる。また、上記した例では、ユーザが一つの画面表示領域を指定したが、ユーザは複数の画面表示領域を指定することで様々な検索条件を指定できる。

重み付け判定手段４０３は、ユーザ画像情報選択手段４０１で選択した画面表示領域情報から再検索処理方法の重み付けを判定する。図２０は、ユーザが画面表示領域を選択した一例を示す。図２０は図１８、１９と同様に、斜線領域５０１がユーザの選択した画面表示領域を示す。図２０のように、画像情報の特徴量（赤色）を基に分類されたグループの画面表示領域が半分だけ指定されており、タグ情報（カーリング）から生成された子グループの画面表示領域が指定された場合には、半分だけ指定された特徴量（赤色）の画像情報が他の特徴量（黒・緑色）の半分程度に表示されるように重み付けを行って、タグ情報（カーリング）を使用した検索方法を再検索方法として判定する。

画像情報再検索手段４０４は、再検索処理判定手段４０２、重み付け判定手段４０３によって判定された再検索方法に従って画像情報を検索する。主にタグ情報を使用した再検索方法では、実施例１の画像情報選出手段２０４を利用する。検索クエリーとして以前に使用した検索クエリーにユーザが選択したタグ情報を追加して再検索処理を実行しても良いし、以前に使用した検索クエリーを消去してユーザが選択したタグ情報のみを利用して再検索処理を実行しても良い。また、主に画像情報の特徴量を使用した再検索方法では、ユーザに選択されなかった特徴量を持つ画像情報の表示枚数を減少させて、ユーザに選択された特徴量を持つ画像情報を画面上により多く表示する。

画像再表示位置決定手段４０５は、画像情報再検索手段４０４で検索された画像情報を表示する位置を決定する。画像再表示位置決定手段４０５は、実施例１の画像表示位置決定手段２０８と同様である。また、ユーザが画面表示装置を利用して画面表示領域を指定した場合には、ユーザが指定した画面表示領域を中心として画像情報が表示されるように表示位置を決定しても良い。

以上により、表示された複数枚の画像情報をユーザが任意に選択して再検索条件を変更することによって直感的で分かりやすい再画像検索処理を実行できる。

図２１は、本発明の実施例２の処理フローチャートを示す。ステップ２１は、画像表示装置１０２に表示された複数枚の画像情報の中からユーザが選択した画像情報または画面表示領域を取得して画像処理装置１０１へ送信する。ステップ２２は、ステップ２１でユーザが選択した画面表示領域情報が、画像情報の特徴量のグループまたは画像情報に付加されたタグ情報の子グループと関連しているかを識別して再検索条件を判定する。ステップ２３は、ステップ２２で判定された再検索条件に従って、再検索処理を実行して画像情報を選出する。ステップ２４は、実施例１と同様にして、ステップ２３で選出された画像情報の表示位置を決定する。ステップ２５は、画像処理装置側から各画像表示装置へ画像情報とステップ２４で決定された画像情報の表示位置情報を送信する。ステップ２６は、ステップ２５で送信された表示位置情報を参照して、画像表示装置の画面上に画像情報を表示する。

以上により、表示された複数枚の画像情報をユーザが任意に選択して再検索条件を変更することによって直感的で分かりやすい再画像検索処理を実行できる。

実施例３：
実施例３では、実施例１の検索クエリー取得手段が、ユーザ同士のコミュニケーション中に使用するコンテンツ資料情報から検索クエリー情報を自動的に取得して、その検索クエリー情報に関連する複数枚の画像情報を表示する実施例である。実施例３における画像処理システムの構成、画像処理装置の構成は、実施例１、２と同様である。

図２２は、実施例３における画像処理システムの利用形態例を示す。実施例３では、ユーザ同士でコンテンツ資料情報を使用してコミュニケーションを行っており、画像表示面Ａにはユーザが用意したコンテンツ資料情報が表示されている。一般的に、他のユーザは画像表示面Ａのコンテンツ資料情報を閲覧しながらコミュニケーションすることによって円滑にお互いの意思疎通を図る。しかしながら、他のユーザがコンテンツ資料情報に掲載されている情報を理解できないときや、ユーザ同士の話題が尽きたときなどには、コンテンツ資料情報と関連した情報を閲覧してお互いの意思疎通を図ることが望ましい。

そこで、実施例３では、コンテンツ資料情報と関連する画像情報をユーザ周辺にある画像表示面Ｂ、Ｃに表示することで、ユーザ同士のコミュニケーションを円滑にする。

実施例３における検索クエリー取得手段２０２は、ユーザ同士がコミュニケーションに使用するコンテンツ資料情報から検索クエリー情報を自動的に取得する。検索クエリー取得手段２０２は、コミュニケーション時に画像表示装置１０２へ表示されているコンテンツ資料情報を取得する。例えばコンテンツ資料情報がＭｉｃｒｏＳｏｆｔ社のＰｏｗｅｒＰｏｉｎｔやＯｐｅｎＯｆｆｉｃｅ．ｏｒｇのＩｍｐｒｅｓｓなどのプレゼンテーションツールで作成されたコンテンツ資料情報の例を図２３に示す。表示されているページのタイトル文から抽出した単語情報を検索クエリー情報とする場合には、タイトル文を形態素解析して単語情報に分割して単語情報を取得する。

図２３に示したコンテンツ資料情報のページ２の例では、単語情報として「画像・表示・システム」が取得される。ここで、取得した全ての単語情報を検索クエリー情報としても良いし、コンテンツ資料情報内に存在する文書情報と参照して頻出度の高い単語情報のみを検索クエリー情報としても良い。また、タイトル文以外にもコンテンツ資料情報に添付された画像情報のタグ情報を取得して検索クエリー情報としても良いし、コンテンツ資料情報の文書中でハイライト（太字・色変化）されている単語情報を検索クエリー情報としても良い。また、ユーザ同士がコミュニケーションした際の音声情報を録音して検索クエリー情報として取得しても良い。一般的にユーザへ表示する画像情報をコミュニケーションの流れと合った画像情報にするため、コミュニケーション中に使用されているコンテンツ資料情報のページまたはその周辺ページから検索クエリー情報を取得する。また、コミュニケーションの流れと合わせて画像情報をリアルタイムに表示させるために、ユーザ同士がコミュニケーションを始める前に、コンテンツ資料情報からの検索クエリー情報の取得処理や画像情報の検索処理及び表示位置の決定処理等を予め実行しておいても良い。以上の処理を実行することでコンテンツ資料情報から検索クエリー情報を自動的に取得できる。

実施例３における画像表示位置決定手段２０８は、基本的には実施例１とほぼ同様である。ただし、実施例３では、コンテンツ資料情報を利用して、画像表示装置１０２に表示される複数枚の画像情報を変更しても良い。例えば、表示される複数枚の画像情報内にコンテンツ資料情報に添付された画像情報と同様の画像情報が検出された場合には、その画像情報と関連する情報を多く表示するようにしても良い。同様の画像情報の検出処理は、画像情報のファイル名やタグ情報から検出する方法や、画像情報の特徴量を比較することで検出する方法が挙げられる。画像情報と関連する情報の選出方法としては、画像情報を取得したウェブサーバに接続して画像情報を添付していた近隣の場所に公開されているウェブページ等から取得できる情報を選出する方法や、画像情報の特徴量・タグ情報が類似した画像情報を多く選出する方法などが挙げられる。

実施例３における画像再表示位置決定手段４０５は、基本的には実施例２とほぼ同様である。ただし、実施例３の画像再表示位置決定手段４０５は、コミュニケーションの流れに合った画像情報の表示を阻害しないように、再検索処理によって検索された画像情報の表示位置を決定しても良い。例えば、ユーザが再検索処理のために領域選択した画面表示領域周辺に再検索処理結果の画像情報を表示して、その他の画面表示領域にはコミュニケーション中に使用されているコンテンツ資料情報から検索された画像情報を表示するようにしても良い。これにより、多人数でコミュニケーションしている場合に、任意のユーザが再検索処理を実行しても、他のユーザにはコミュニケーションの流れに沿った画像情報が表示可能となる。その一例を図２４に示す。図２４は、任意のユーザが画像表示面Ｂの画面表示領域を選択して再検索処理を実行した例である。再検索処理はユーザが選択した画面表示領域を参照して、実施例２と同様に画像情報の再検索処理を行う。

実施例３における画像再表示位置決定手段４０５では、再検索処理結果である複数枚の画像情報をユーザが選択した画像表示面Ｂ（図２４）だけに表示するように表示位置を決定する。その他の画像表示面Ｃには、コミュニケーションの流れに合わせてコンテンツ資料情報と関連した画像情報を表示する。また、再検索処理を行う際の検索条件としては、画面表示領域を選択したユーザと関連する情報を追加しても良い。予めシステムにユーザ情報として興味を持つ分野などのタグ情報を登録しておき、ユーザ情報として登録されたタグ情報を使用して再検索処理を実行する。また、ユーザが閲覧したことのあるウェブページ情報を保存しておき、検索条件を閲覧したことのあるウェブページ、または閲覧したことのないウェブページ内から画像情報を検索するように検索条件を変更しても良い。

以上の処理を実行することにより、コンテンツ資料情報と関連する画像情報をユーザ周辺にある画像表示面に表示することで、ユーザ同士のコミュニケーションを円滑に進めることができる。

実施例４：
実施例４は、ユーザの状態情報に適応して画像表示装置に表示する画像情報の位置を変更する実施例である。実施例４における画像処理システムの構成、画像処理装置のハードウェア構成は、実施例１と同様である。

図２５は、実施例４の画像処理装置の構成を示す。図２５の画像情報取得手段２０１、タグ情報取得手段２０５、画像類似分類手段２０６、画像分類手段２０７は実施例１と同様である。

実施例４で追加された距離測定手段２１０は、画像表示装置１０２の表示画面とユーザとの距離を測定する手段である。測定方法としては、画像表示装置１０２に距離計測装置（超音波・赤外線等）を取り付けてユーザまでの距離測定をする方法や、ユーザが持つ携帯端末装置１０６の通信機器（無線ＬＡＮ、ＵＷＢ等）を利用して距離計測をする方法などが挙げられる。

実施例４で追加された輪郭情報測定手段２１１は、ユーザの輪郭情報を測定する手段である。輪郭情報の測定手段は画像表示装置１０２に画像入力装置を取り付けてユーザを撮影することにより、ユーザの目や顔・全体像の輪郭情報を計測する。輪郭情報の抽出方法としては、２値化処理やフィルタ処理などの前処理を実行してからエッジ情報を検出することで輪郭情報を抽出する。

実施例４における画像表示位置決定手段２０８は、距離測定手段２１０や輪郭情報測定手段２１１で測定された情報を利用して検索結果である画像情報の表示位置や画像サイズ、画像内容等を変化させる。距離に応じて画像情報の表示サイズを変化させた例を図２６に示す。図２６（ａ）では、ユーザと画像表示装置との距離が長いときには、ユーザが画像情報を閲覧できるように表示させる画像情報のサイズを大きくする。反対に、図２６（ｂ）のように、ユーザと画像表示装置との距離が短いときには、ユーザがより多くの画像情報を閲覧できるように表示させる画像情報のサイズを小さくし、サムネイル画像の表示方法を変更する。

図２６の例では、画像情報のサイズを変更したが、画像情報自体の内容を変化させて、遠くにいるユーザへ画像情報を分かりやすく表示させても良い。例えば、画像情報にタイトル等の文字情報が描かれている場合には、画像サイズの比率に対して文字情報を大きくなるように画像情報を変化させても良いし、画像情報を解析して中心に存在するオブジェクトの比率を拡大するように画像情報を変化させても良い。輪郭情報を用いた画像サイズの変更方法も同様に、ユーザの輪郭情報が小さくなれば画像サイズを大きく表示し、反対に大きくなれば画像サイズを小さく表示すれば良い。また、ユーザの目の輪郭情報から目が細くなっているときには画像サイズを大きく表示するような機能など、ユーザの状態に合わせて画像表示方法を変更する機能を追加しても良い。

実施例５：
本発明に係る画像処理装置は、実施例１〜４で説明した機能を実現する処理プログラムを画像処理装置に保存して実行させるだけではなく、記録媒体に格納した記録媒体を読み取らせることにより、その機能を実現させることができる。例えば、図２７（ａ）に示すように、該プログラムを格納したＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭをＰＣまたはサーバに装着し、該プログラムを実行させることにより、その機能を実現させることができる。

また、図２７（ｂ）に示すように、画像表示装置に該プログラムを格納した記録媒体を取り付けて、該プログラムを実行させることにより、その機能を実現させることもできる。なお、該プログラムを格納する記録媒体は上記に限られず、例えばＨＤＤや半導体メモリ等の別の記録媒体でも良い。

実施例１における画像処理システムの構成例を示す。 本発明の画像処理システムの利用形態例を示す。 実施例１の画像処理装置の構成を示す。 ＨＴＭＬ文書に添付された画像情報の例を示す。 画像情報に付加されたタグ情報の例を示す。 画像分類処理の一例を示す。 画像情報から色特徴量の算出を説明する図である。 タグ情報を参照して子グループを生成する例を示す。 画像表示位置決定処理の一例を示す。 図９の続きの図である。 画像特徴量（色グループ）とタグ情報の分類結果を示す。 画像表示位置決定処理を説明する図である。 背景への輪郭情報表示の例を示す。 画像処理装置のハードウェア構成を示す。 本発明の画像処理方法のフローチャートを示す。 図１５の続きのフローチャートである。 実施例２の画像処理装置の構成を示す。 ユーザによる画像表示領域の選択例を示す。 図１８の続きの図である。 図１８の続きの図である。 実施例２の処理フローチャートを示す。 実施例３の画像処理システムの利用形態例を示す。 コンテンツ資料情報の例を示す。 実施例３における再検索処理時の画像情報の表示方法を示す。 実施例４の画像処理装置の構成を示す。 距離に応じて画像情報の表示サイズを変化させた例を示す。 本発明をソフトウェアによって実現する場合の構成例を示す。

符号の説明

１０１ 画像処理装置
１０２ 画像表示装置
１０３ イメージ検索サービス用のウェブサーバ
１０４ ウェブサーバ
１０５ ネットワーク

Claims (5)

1. 画像情報を取得する画像情報取得手段と、前記取得された画像情報の特徴量に基づいて類似した画像情報をグループ毎に分類する画像類似分類手段と、前記取得された画像情報に付加されたタグ情報を取得するタグ情報取得手段と、前記分類されたグループ内にある画像情報に付加されたタグ情報を参照して各グループで重要なタグ情報を選出し、前記各グループ同士が持つ重要なタグ情報を比較して、同一の意味を持つタグ情報が存在するグループ同士を近接させてグループ化する画像分類手段と、前記グループ化したもの同士が持つ特徴量を比較して、同一の特徴量を持つグループが存在する場合には、同一の特徴量を持つグループを一つに統合する方向に移動させてグループ間の位置関係を決定し、前記グループ間の位置関係情報を参照して前記取得された画像情報の表示位置を決定する画像表示位置決定手段を有することを特徴とする画像処理装置。
2. 前記画像表示位置決定手段は、最も頻度の高いグループを表示画面領域の中心に配置することを特徴とする請求項１記載の画像処理装置。
3. 画像情報取得手段が画像情報を取得する工程と、画像類似分類手段が前記取得された画像情報の特徴量に基づいて類似した画像情報をグループ毎に分類する工程と、タグ情報取得手段が前記取得された画像情報に付加されたタグ情報を取得する工程と、画像分類手段が前記分類されたグループ内にある画像情報に付加されたタグ情報を参照して各グループで重要なタグ情報を選出し、前記各グループ同士が持つ重要なタグ情報を比較して、同一の意味を持つタグ情報が存在するグループ同士を近接させてグループ化する工程と、画像表示位置決定手段が前記グループ化したもの同士が持つ特徴量を比較して、同一の特徴量を持つグループが存在する場合には、同一の特徴量を持つグループを一つに統合する方向に移動させてグループ間の位置関係を決定し、前記グループ間の位置関係情報を参照して前記取得された画像情報の表示位置を決定する工程を有することを特徴とする画像処理方法。
4. 請求項１または２記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラム。
5. 請求項１または２記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images