JPH1196176A - キーワード付与方法およびキーワード自動付与装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡単に自動的にキーワードを付与する。 【解決手段】 特徴量抽出部１５は、登録対象画像の特
徴量を抽出してｐ次元の特徴ベクトルを得る。ベクトル
変換部１６は、ｐ次元の特徴ベクトルに正準相関係数行
列Ａ2を掛けてｋ次元の特徴合成変数ベクトルに変換し
てスケール変更する。キーワード自動設定処理部１４
は、登録対象画像の特徴合成変数ベクトルとベクトル変
換係数格納部１０に格納されたｒ個の既登録画像の座標
合成変数ベクトルとの距離に基づいて、ｑ個の近傍画像
を得る。そして、得られたｑ個の近傍画像の画像空間上
の位置と既登録キーワードのキーワード空間上の位置と
の距離に基づいて、個々の近傍画像の近傍キーワードを
ｈ個ずつ得る。こうして、登録対象画像に付与するに相
応しいｑ×ｈ個のキーワードを簡単に自動的に設定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、記憶部に登録す
るオブジェクトにキーワードを自動的に付与するキーワ
ード付与方法、および、このキーワード付与方法を用い
たキーワード自動付与装置に関する。

【０００２】

【従来の技術】コンピュータの急激な普及に伴って、人
々の扱う電子情報が急激に増加してきている。これらの
多量の電子情報は、一般には、キーワードと共に保存さ
れており、このキーワードを指定することによって所望
の電子情報を検索できるようにしている。

【０００３】このような電子情報にキーワードを付与す
る方法として、特開平６−２９５３１８号公報に記載さ
れた方法がある。このキーワード付与方法では、例え
ば、人間の顔写真の画像データにキーワードを付与して
登録する場合には以下のようにしている。

【０００４】予め、人間の顔に関する「面長」,「丸顔」
等の種々のキーワード候補を登録しておく。また、各の
キーワード候補毎に、適合度を算出する際に用いる適合
度演算情報と閾値とを登録しておく。例えば、キーワー
ド候補が「面長」の場合の適合度演算情報は「輪郭の縦
横比」である。次に、一つのキーワード候補「面長」と
このキーワード候補「面長」に関する適合度演算情報お
よび閾値とを読み出して、キーワード付与対象の画像デ
ータの特徴量からキーワード候補「面長」の適合度演算
情報に基づいて適合度を演算する。そして、得られた適
合度がキーワード候補「面長」の閾値以上であれば、キ
ーワード候補「面長」を当該画像データに付与するキー
ワードであると決定する。以下、同様の操作を登録され
ているキーワード候補の総てについて行い、付与するキ
ーワードが決定される。こうして、登録作業者の主観に
よらず、客観的なキーワード付与が行われるのである。

【０００５】また、他のキーワード付与方法として、特
開平８−３２９０９６号公報に記載された方法がある。
このキーワード付与方法では、例えば、快−不快と強−
弱との２つの軸を有する２次元のキーワードマップを定
義している。そして、キーワードを登録する場合には、
登録すべきキーワードを上記キーワードマップ上の点に
手動操作によって配置しておくのである。そうすること
によって、登録画像データを曖昧検索する場合には、指
定キーワードと上記キーワードマップの軸上の距離を指
定すれば、上記キーワードマップ上において指定キーワ
ードの位置を中心として上記指定距離内に位置している
キーワードを検索条件として画像データが検索されるの
である。

【０００６】

【発明が解決しようとする課題】しかしながら、上記特
開平６−２９５３１８号公報に記載されたキーワード付
与方法においては、全キーワード候補相互の関連度が不
明である。したがって、画像検索時に１つのキーワード
を指定して、この指定キーワードと上記指定キーワード
の近傍に位置する類似キーワードとに基づいて画像検索
を行う曖昧検索を行うことができないという問題があ
る。また、適合度演算情報に基づく適合度の演算及び閾
値との比較を、登録されているキーワード候補の数だけ
繰り返さなければならず、画像データ登録作業に時間を
要するという問題がある。また、予め夫々のキーワード
候補毎に適当な適合度演算情報と閾値とを設定して登録
しておく必要があり、キーワード付与作業そのものは自
動的に行われるもののキーワード付与システムの構築に
面倒で困難な作業を伴うという問題もある。

【０００７】また、上記特開平８−３２９０９６号公報
に記載されたキーワード付与方法では、キーワードをあ
る２次元空間上に位置付けることができ、キーワード間
の関連度を定義付けることが可能である。したがって、
上述のように曖昧検索時のキーワード選択には有効では
ある。ところが、キーワードとこのキーワードを付与す
べき画像データとの対応付けは人間が行っている。ま
た、上述のごとく、上記キーワードマップ上へのキーワ
ードの配置も手動操作によって行わなければならず、非
常に面倒であるという問題がある。

【０００８】そこで、この発明の目的は、簡単に自動的
にキーワードを付与できるキーワード付与方法、およ
び、このキーワード付与方法を用いたキーワード自動付
与装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る発明は、記憶部に登録するオブジェ
クトにキーワードを自動的に付与するキーワード付与方
法であって、複数のオブジェクトとこれらのオブジェク
トに付与されたキーワードとが配置された２次元以上の
意味空間を用意し、登録対象オブジェクトの特徴量を抽
出し、上記特徴量に基づいて上記登録対象オブジェクト
の上記意味空間上の位置を求め、上記意味空間上に配置
されているキーワードのうち,上記登録対象オブジェク
トの位置の近傍に位置しているキーワードを選出して,
上記登録対象オブジェクトに付与することを特徴として
いる。

【００１０】上記構成によれば、複数のオブジェクトと
これらのオブジェクトに付与されたキーワードとが配置
された２次元以上の意味空間は、数量化理論III類等の
多変量解析によって容易に得ることができる。したがっ
て、キーワードが付与された複数のオブジェクトを例示
するだけで、登録対象オブジェクトに相応しいキーワー
ドが簡単に且つ自動的に選出されて付与される。

【００１１】また、請求項２に係る発明は、請求項１に
係る発明のキーワード付与方法において、複数のオブジ
ェクトに関する上記意味空間上の位置と特徴量とに対し
て正凖相関分析を行って上記複数のオブジェクトに関す
る上記意味空間上の位置と特徴量との相関関係を求め、
上記相関関係を用いて、上記登録対象オブジェクトの特
徴量に基づいて上記登録対象オブジェクトの上記意味空
間上の位置を求めることを特徴としている。

【００１２】上記構成によれば、正準相関分析によって
得られた複数のオブジェクトに関する上記意味空間上の
位置と特徴量との相関関係を用いることによって、登録
対象オブジェクトの特徴量に基づいて、上記登録対象オ
ブジェクトの上記意味空間上の正しい位置が求められ
る。

【００１３】また、請求項３に係る発明は、請求項１に
係る発明のキーワード付与方法において、上記意味空間
は,上記複数のオブジェクトが配置されているオブジェ
クト用の意味空間と,このオブジェクト用の意味空間と
同一空間構造を有すると共に上記複数のオブジェクトに
付与されたキーワードが配置されているキーワード用の
意味空間とに分けて用意されており、上記オブジェクト
用の意味空間上における上記登録対象オブジェクトの位
置の近傍に位置しているｎ個のオブジェクトを選出し、
この選出されたｎ個のオブジェクト夫々の上記オブジェ
クト用の意味空間上における位置に基づいて,上記キー
ワード用の意味空間を用いて,上記登録対象オブジェク
トの近傍に位置するキーワードを選出することを特徴と
している。

【００１４】上記構成によれば、同一空間構造を有する
オブジェクト用の意味空間とキーワード用の意味空間と
を用いることによって、上記登録対象オブジェクトの位
置の近傍に位置しているキーワードが容易に選出され
る。

【００１５】また、請求項４に係る発明は、請求項１に
係る発明のキーワード付与方法において、上記意味空間
は,上記複数のオブジェクトが配置されているオブジェ
クト用の意味空間と,このオブジェクト用の意味空間と
同一空間構造を有すると共に上記複数のオブジェクトに
付与されたキーワードが配置されているキーワード用の
意味空間とに分けて用意されており、上記オブジェクト
用の意味空間上における上記登録対象オブジェクトの位
置の近傍に位置しているｎ個のオブジェクトを選出し、
この選出されたｎ個のオブジェクトの上記オブジェクト
用の意味空間上における位置に基づいて,上記オブジェ
クト用の意味空間上における注目位置を求め、上記注目
位置に基づいて,上記キーワード用の意味空間を用いて,
登録対象オブジェクトの近傍に位置するキーワードを選
出することを特徴としている。

【００１６】上記構成によれば、同一空間構造を有する
オブジェクト用の意味空間とキーワード用の意味空間と
を用いることによって、上記登録対象オブジェクトの位
置の近傍に位置しているキーワードが容易に選出され
る。

【００１７】また、請求項５に係る発明は、記憶部に登
録するオブジェクトにキーワードを自動的に付与するキ
ーワード自動付与装置であって、複数のオブジェクトと
これらのオブジェクトに付与されたキーワードとが配置
された２次元以上の意味空間の情報が格納された意味空
間格納手段と、登録対象オブジェクトの特徴量を抽出す
る特徴量抽出手段と、上記特徴量に基づいて,上記登録
対象オブジェクトの上記意味空間上の位置を求めるオブ
ジェクト位置算出手段と、上記意味空間上に配置されて
いるキーワードのうち,上記登録対象オブジェクトの位
置の近傍に位置しているキーワードを選出するキーワー
ド選出手段と、上記選出されたキーワードを上記登録対
象オブジェクトに付与するキーワード付与手段を備えた
ことを特徴としている。

【００１８】上記構成によれば、意味空間格納部に格納
される２次元以上の意味空間は、複数のオブジェクトと
これらのオブジェクトに付与されたキーワードとに基づ
いて数量化理論III類等の多変量解析によって容易に得
ることができる。したがって、キーワードが付与された
複数のオブジェクトを用意するだけで、登録対象オブジ
ェクトの上記意味空間上の位置に基づいて、上記意味空
間上に配置されているキーワードの中から上記登録対象
オブジェクトに相応しいキーワードが簡単に且つ自動的
に選出される。

【００１９】また、請求項６に係る発明は、請求項５に
係る発明のキーワード自動付与装置において、複数のオ
ブジェクトに関する上記意味空間上の位置と特徴量とに
対して正凖相関分析を行って,上記複数のオブジェクト
に関する上記意味空間上の位置と特徴量との相関関係を
求める相関関係算出手段を備えて、上記オブジェクト位
置算出手段は,上記相関関係を用いて,上記登録対象オブ
ジェクトの特徴量に基づいて,上記登録対象オブジェク
トの上記意味空間上の位置を求めるようになっているこ
とを特徴としている。

【００２０】上記構成によれば、正凖相関分析によって
得られた複数のオブジェクトに関する上記意味空間上の
位置と特徴量との相関関係を用いることによって、登録
対象オブジェクトの特徴量に基づいて、上記登録対象オ
ブジェクトの上記意味空間上の正しい位置が求められ
る。

【００２１】また、請求項７に係る発明は、請求項５に
係る発明のキーワード自動付与装置において、上記意味
空間の情報は,上記複数のオブジェクトが配置されてい
るオブジェクト用の意味空間と,このオブジェクト用の
意味空間と同一空間構造を有すると共に上記複数のオブ
ジェクトに付与されたキーワードが配置されているキー
ワード用の意味空間とに分けて格納されており、上記キ
ーワード選出手段は、上記オブジェクト用の意味空間上
における上記登録対象オブジェクトの位置の近傍に位置
しているオブジェクトをｎ個抽出する近傍オブジェクト
抽出手段と、この抽出されたｎ個のオブジェクト夫々の
上記オブジェクト用の意味空間上における位置に基づい
て,上記キーワード用の意味空間を用いて,上記登録対象
オブジェクトの近傍に位置するキーワードを抽出する近
傍キーワード抽出手段を備えたことを特徴としている。

【００２２】上記構成によれば、同一空間構造を有する
オブジェクト用の意味空間とキーワード用の意味空間と
を対応させることによって、上記登録対象オブジェクト
の位置の近傍に位置しているキーワードが容易に選出さ
れる。

【００２３】また、請求項８に係る発明は、請求項５に
係る発明のキーワード自動付与装置において、上記意味
空間の情報は,上記複数のオブジェクトが配置されてい
るオブジェクト用の意味空間と,このオブジェクト用の
意味空間と同一空間構造を有すると共に上記複数のオブ
ジェクトに付与されたキーワードが配置されているキー
ワード用の意味空間とに分けて格納されており、上記キ
ーワード選出手段は、上記オブジェクト用の意味空間上
における上記登録対象オブジェクトの位置の近傍に位置
しているオブジェクトをｎ個抽出する近傍オブジェクト
抽出手段と、この抽出されたｎ個のオブジェクトの上記
オブジェクト用の意味空間上における位置に基づいて,
上記オブジェクト用の意味空間上における注目位置を求
める注目位置算出手段と、上記注目位置に基づいて,上
記キーワード用の意味空間を用いて,上記登録対象オブ
ジェクトの近傍に位置するキーワードを抽出する近傍キ
ーワード抽出手段を備えたことを特徴としている。

【００２４】上記構成によれば、同一空間構造を有する
オブジェクト用の意味空間とキーワード用の意味空間と
を対応させることによって、上記登録対象オブジェクト
の位置の近傍に位置しているキーワードが容易に選出さ
れる。

【００２５】また、請求項９に係る発明のプログラム記
憶媒体は、登録対象オブジェクトの特徴量を抽出し、複
数のオブジェクトとこれらのオブジェクトに付与された
キーワードとが配置された２次元以上の意味空間上にお
ける上記登録対象オブジェクトの位置を上記特徴量に基
づいて求め、上記意味空間上に配置されているキーワー
ドのうち,上記登録対象オブジェクトの位置の近傍に位
置しているキーワードを選出して,上記登録対象オブジ
ェクトに付与するプログラムを記憶していることを特徴
としている。

【００２６】上記構成によれば、複数のオブジェクトと
これらのオブジェクトに付与されたキーワードとが配置
された意味空間上における登録対象オブジェクトの位置
が、この登録対象オブジェクトの特徴量に基づいて求め
られる。その結果、この登録対象オブジェクトの上記意
味空間上の位置の近傍に在るキーワードが、登録対象オ
ブジェクトに相応しいキーワードとして容易に得られ
る。

【００２７】また、請求項１０に係る発明は、請求項９
に係る発明のプログラム記憶媒体において、複数のオブ
ジェクトに関する上記意味空間上の位置と特徴量とに対
して正凖相関分析を行って,上記複数のオブジェクトに
関する上記意味空間上の位置と特徴量との相関関係を求
め、上記相関関係を用いて,上記登録対象オブジェクト
の特徴量に基づいて上記登録対象オブジェクトの上記意
味空間上の位置を求めるプログラムを記憶していること
を特徴としている。

【００２８】上記構成によれば、上記登録対象オブジェ
クトの特徴量に基づいて上記登録対象オブジェクトの上
記意味空間上の位置を求める場合に、正凖相関分析によ
って求められた相関関係が用いられる。こうして、登録
対象オブジェクトの特徴量に基づいて、上記登録対象オ
ブジェクトの上記意味空間上の正しい位置が求められ
る。

【００２９】尚、ここで、上記「オブジェクト」とは、
本検索装置のような情報処理装置によって保存されるべ
き主体となる電子情報(例えば、テキストデータや画像
データや音声データ)、あるいは、これらをまとめたフ
ォルダ等を意味する。

【００３０】

【発明の実施の形態】以下、この発明を図示の実施の形
態により詳細に説明する。図１は、本実施の形態のキー
ワード自動付与装置が搭載された検索装置の機能ブロッ
ク図である。尚、本実施の形態においては、上記「オブ
ジェクト」として画像データを用いている。

【００３１】入力部１からは、画像データ格納部１２に
格納する画像データや検索条件や各種の指示等が入力さ
れる。キーワード登録処理部２は、入力部１から入力さ
れた検索条件の一つであるキーワードとキーワード空間
上の座標とを、互いに対応づけてキーワード格納部３に
登録する。画像データ検索処理部４は、入力部１から設
定されたキーワードを検索条件として、画像データ格納
部１２に格納された画像データの中から上記検索条件に
適合する画像データを検索する。そして、検索された画
像データに基づいて候補画像を表示部５に表示する。

【００３２】辞書作成処理部６は、例示画像に対するキ
ーワードの付与状態を示すサンプルデータに基づいて、
後に詳述するようにして画像辞書およびキーワード辞書
を構築して辞書格納部８に格納する。尚、軸追加部７
は、構築された各辞書に新たな軸を追加する。ベクトル
変換係数作成処理部９は、画像の画像辞書上のｎ次元座
標ベクトルをｋ次元合成変数ベクトルｆに変換する際に
用いる係数行列Ａ1と、画像のｐ次元特徴ベクトルをｋ
次元合成変数ベクトルｇに変換する際に用いる係数行列
Ａ2を求めて、ベクトル変換係数格納部１０に格納す
る。

【００３３】キーワード自動設定処理部１４は、特徴量
抽出部１５で抽出した登録対象画像のｐ次元特徴ベクト
ルを、ベクトル変換部１６でｋ次元合成変数ベクトルｇ
に変換する。そして、画像データ格納部１２に登録され
ている全画像の画像辞書上のｎ次元座標ベクトルを変換
して得られたｋ次元合成変数ベクトルｆとの対応付けか
ら、登録対象画像の近傍画像を得る。そして、この近傍
画像の画像辞書上の座標ベクトルに基づいて、後に詳述
するようにして登録対象画像に相応しいキーワードを設
定する。付加情報入力処理部１７は、キーワードやその
他の付加情報をマニュアル入力する。

【００３４】画像データ登録処理部１１は、上記キーワ
ード自動設定処理部１４および付加情報入力処理部１７
を制御して、入力部１から入力された画像データに自動
的にあるいはマニュアルでキーワードを付与して画像デ
ータ格納部１２に登録する。また、付加情報変更処理部
１３は、キーワード自動設定処理部１４および付加情報
入力処理部１７を制御して、変更対象画像の画像データ
に付与されているキーワードを自動的にあるいはマニュ
アルで変更して画像データ格納部１２を更新する。

【００３５】また、図２および図３は、図１の機能を実
現するハードウェア構成を示す図である。本検索装置
は、図２に示すように、ＣＰＵ(中央演算処理装置)が搭
載されて検索装置全体の動作を制御する制御装置２１を
中心として、ＣＲＴ(陰極線管)２２,キーボード２３,マ
ウス２４,フロッピーディスクドライブ２５b,ハードデ
ィスク装置２６,プリンタ２７,スキャナ２８,ＣＤ−Ｒ
ＯＭドライブ２９b,スピーカ３０およびマイクロフォン
３１等によって構成される。

【００３６】上記ＣＲＴ２２には、検索された画像や、
文字情報等の操作に必要な各種情報が表示される。キー
ボード２３およびマウス２４は、各種入力操作や指示操
作の際に使用される。フロッピーディスク２５aは、制
御装置２１のフロッピーディスクドライブ２５bに装着
されてデータが記憶再生される。ハードディスク装置２
６は、画像データやキーワードを記憶する。プリンタ２
７は、画像データに基づく画像や画像編成によって作成
した図面等を用紙上に出力する。スキャナ２８は、シー
ト状の原稿上の画像を読み取って画像データを出力す
る。ＣＤ−ＲＯＭ２９aは、画像データを所定のフォー
マット形式で格納しており、ＣＤ−ＲＯＭドライブ２９
bに装着されて画像データが再生される。スピーカ３０
は音声出力を行い、マイクロフォン３１は音声入力を行
う。ここで、スキャナ２８およびＣＤ−ＲＯＭドライブ
２９bによって読み取られた画像データはハードディス
ク装置２６に記憶される。尚、スキャナ２８,ＣＤ−Ｒ
ＯＭドライブ２９b,スピーカ３０およびマイクロフォン
３１は、制御装置２１に内蔵して一体に構成してもよ
い。

【００３７】図３は、図２を上記制御装置１１に搭載さ
れたＣＰＵを中心としたブロック図で表現している。上
記ＣＰＵ３５としては、例えばインテル社製の品番ｉ８
０４８６ＤＸ等を用いる。そして、ＣＰＵ３５には、デ
ータバス３６を介して、本検索装置を制御するプログラ
ムが格納されるＲＯＭ(リード・オンリ・メモリ)３８、各
種データおよびプログラムが格納されるＲＡＭ(ランダ
ム・アクセス・メモリ)３９、画像あるいは文字等をＣＲ
Ｔ２２に表示する表示制御回路４０、キーボード２３か
らの入力を転送制御するキーボード制御回路４１、マウ
ス２４からの入力を転送制御するマウス制御回路４２、
フロッピーディスクドライブ２５bを制御するフロッピ
ーディスクドライブ制御回路４３、ハードディスク装置
２６を制御するハードディスク制御回路４４、プリンタ
２７の出力動作を制御するプリンタ制御回路４５、スキ
ャナ２８の画像入力動作を制御するスキャナ制御回路４
６、ＣＤ−ＲＯＭドライブ２９bを制御するＣＤ−ＲＯ
Ｍドライブ制御回路４７、スピーカ３０の音声出力を制
御するスピーカ制御部４８、および、マイクロフォン３
１からの音声入力を制御するマイクロフォン制御回路４
９が接続される。

【００３８】また、上記ＣＰＵ３５には、本検索装置を
動作させるのに必要な基準クロックを発生するためのク
ロック３７が接続され、さらに、データバス３６を介し
て各種拡張ボードを接続するための拡張スロット５０が
接続される。ここで、上記拡張スロット５０にＳＣＳＩ
ボードを接続し、このＳＣＳＩボードを介して、フロッ
ピーディスクドライブ２５b、ハードディスク装置２
６、スキャナ２８、ＣＤ−ＲＯＭドライブ２９b等を接
続してもよい。

【００３９】すなわち、本実施の形態においては、上記
入力部１をキーボード２３,マウス２４,ハードディスク
装置２６,スキャナ２８およびＣＤ−ＲＯＭドライブ２
９bで構成し、上記画像データ格納部６および辞書格納
部８をフロッピーディスク２５aおよびハードディスク
装置２６等で構成し、キーワード格納部３およびベクト
ル変換係数格納部１０をＲＡＭ３９等で構成し、表示部
５をＣＲＴ２２で構成し、キーワード登録処理部２,画
像データ検索処理部４,辞書作成処理部６,ベクトル変換
係数作成処理部９,画像データ登録処理部１１,付加情報
変更処理部１３,キーワード自動設定処理部１４,付加情
報入力処理部１７をＣＰＵ３５で構成しているのであ
る。

【００４０】本実施の形態においては、上述のように、
上記画像データ格納部１２をフロッピーディスク２５a
およびハードディスク装置２６で構成しているが、光磁
気ディスク装置等の他の記憶媒体を用いても差し支えな
い。また、入力部１のうち画像データの入力部をハード
ディスク装置２６,スキャナ２８およびＣＤ−ＲＯＭド
ライブ２９bで構成しているが、スチルビデオカメラや
ディジタルカメラ等の他の入力装置を用いてもよい。ま
た、プリンタ２７の代わりにディジタル複写機等の他の
出力装置を用いてもよい。

【００４１】また、本検索装置では、キーワード登録処
理,辞書作成処理,ベクトル変換係数作成処理,キーワー
ド自動設定処理、付加情報入力処理,画像データ登録処
理,付加情報変更処理および画像データ検索処理等のプ
ログラムをＲＯＭ３８に記憶するようにしている。しか
しながら、上記プログラムの一部あるいは全部をフロッ
ピーディスク２５aやハードディスク装置２６等の外部
記憶媒体に保管しておき、必要に応じて上記プログラム
をＲＡＭ３９に読み込ませるようにしても差し支えな
い。

【００４２】上記構成を有する検索装置は、以下のよう
に動作する。図４は、上記ＲＯＭ３８に格納されたプロ
グラムに基づいてＣＰＵ３５による制御の下に実行され
る基本処理動作のフローチャートである。以下、図１お
よび図４に従って、本検索装置の基本処理動作について
説明する。

【００４３】本検索装置の電源が投入されて上記プログ
ラムが起動すると、基本処理動作がスタートする。

【００４４】ステップＳ1で、以下の処理において必要
なフラグやレジスタ等のイニシャライズ、および、表示
部５への初期画面表示等の初期設定処理が行われる。

【００４５】ステップＳ2で、上記表示部５に表示され
た初期画面からジョブメニュー「検索」が選択されたと
判別されるとステップＳ3に進み、そうでなければステ
ップＳ4に進む。

【００４６】ステップＳ3で、上記選択されたジョブメ
ニュー「検索」に従って、画像データ格納部１２から所
望の画像データを検索して表示部５に表示する検索処理
が実行される。そうした後、ステップＳ17に進む。尚、
上記検索処理は、画像データ検索処理部４によって行わ
れる。

【００４７】ステップＳ4で、上記表示部５に表示され
た初期画面からジョブメニュー「辞書作成」が選択され
たと判別されるとステップＳ5に進み、そうでなければ
ステップＳ6に進む。

【００４８】ステップＳ5で、上記選択されたジョブメ
ニュー「辞書作成」に従って、予めキーワードが付与さ
れた例示画像に基づいて、画像辞書(画像空間)とキーワ
ード辞書(キーワード空間)を設定し、例示画像の画像辞
書上の座標と付与されたキーワードのキーワード辞書上
の座標とを求めて辞書格納部８に格納する辞書作成処理
が実行される。そうした後、ステップＳ17に進む。尚、
辞書作成処理は、辞書作成処理部６によって行われる。

【００４９】ステップＳ6で、上記表示部５に表示され
た初期画面からジョブメニュー「キーワード登録」が選
択されたと判別されるとステップＳ7に進み、そうでな
ければステップＳ8に進む。

【００５０】ステップＳ7で、上記選択されたジョブメ
ニュー「キーワード登録」に従って、入力部１から入力
されたキーワードを上記キーワード空間上の座標値と共
にキーワード格納部３に登録するキーワード登録処理が
実行される。そうした後に、ステップＳ17に進む。尚、
キーワード登録処理は、キーワード登録処理部２によっ
て行われる。

【００５１】ステップＳ8で、上記表示部５に表示され
た初期画面からジョブメニュー「ベクトル変換係数作
成」が選択されたと判別されるとステップＳ9に進み、
そうでなければステップＳ10に進む。

【００５２】ステップＳ9で、上記選択されたジョブメ
ニュー「ベクトル変換係数作成」に従って、上記作成さ
れた辞書に格納された各画像のｎ次元の座標ベクトルと
上記各画像の画像データから抽出されたｐ次元の特徴量
ベクトルとの正凖相関分析が行われ、後に詳述する正凖
相関係数行列Ａ1,Ａ2を求めるベクトル変換係数作成処
理が実行される。そうした後、ステップＳ17に進む。こ
こで、正凖相関係数行列Ａ1はｎ次元の座標ベクトルを
ｋ次元の合成変数ベクトルｆに変換するためのベクトル
変換係数であり、正凖相関係数行列Ａ2はｐ次元の特徴
ベクトルをｋ次元の合成変数ベクトルｇに変換するため
のベクトル変換係数である。尚、ベクトル変換係数作成
処理は、ベクトル変換係数作成処理部９によって行われ
る。

【００５３】ステップＳ10で、上記表示部５に表示され
た初期画面からジョブメニュー「データ登録」が選択さ
れたと判別されるとステップＳ11に進み、そうでなけれ
ばステップＳ12に進む。

【００５４】ステップＳ11で、上記選択されたジョブメ
ニュー「データ登録」に従って、入力部１から入力され
た画像データを取り込んで、この画像データにキーワー
ドを付与して画像データ格納部１２に登録する画像デー
タ登録処理が実行される。そうした後、ステップＳ17に
進む。尚、画像データ登録処理は、画像データ登録処理
部１１によって行われる。

【００５５】ステップＳ12で、上記表示部５に表示され
た初期画面からジョブメニュー「付加情報変更」が選択
されたと判別されるとステップＳ13に進み、そうでなけ
ればステップＳ14に進む。

【００５６】ステップＳ13で、上記選択されたジョブメ
ニュー「付加情報変更」に従って、画像データ格納部１
２に登録されている画像データを取り込んで、この画像
データに付与されているキーワード等の付加情報を変更
する付加情報変更処理が実行される。そうした後、ステ
ップＳ17に進む。尚、付加情報変更処理は、付加情報変
更処理部１３によって行われる。

【００５７】ステップＳ14で、上記表示部５に表示され
た初期画面からジョブメニュー「その他のメニュー」が
選択されたと判別されるとステップＳ15に進み、そうで
なければステップＳ16に進む。

【００５８】ステップＳ15で、上記選択されたジョブメ
ニュー「その他のメニュー」に従って、検索画像のプリ
ントアウト等のその他のメニュー処理が実行される。そ
うした後、ステップＳ17に進む。

【００５９】ステップＳ16で、上記表示部５に表示され
た初期画面から「終了」が選択されたか否かが判別され
る。その結果、「終了」が選択されていれば基本処理動
作を終了する一方、そうでなければ、ステップＳ17に進
む。

【００６０】ステップＳ17で、その他の処理が実行され
る。そうした後、上記ステップＳ2に戻って次のメニュ
ー処理に移行する。そして、上記ステップＳ16において
「終了」が選択されると基本処理動作を終了する。

【００６１】以下、上記「辞書作成処理」,「キーワード登
録処理」,「ベクトル変換係数作成処理」,「画像データ登録
処理」及び「付加情報変更処理」について詳細に説明す
る。尚、「検索処理」および「その他のメニュー処理」
等については、この発明とは直接関係ないので詳細な説
明は省略する。

【００６２】図５は、図４に示す基本処理動作における
ステップＳ5において、上記辞書作成処理部６によって
実行される辞書作成処理サブルーチンのフローチャート
である。以下、図５に従って、辞書作成処理動作につい
て詳細に説明する。図４に示す基本処理動作のメインル
ーチンの上記ステップＳ4においてジョブメニュー「辞書
作成」が選択されたと判別されると、辞書作成処理サブ
ルーチンがスタートする。

【００６３】ここで、上記辞書とは、複数の画像と各画
像に付与されたキーワードとの相関辞書であり、ｎ次元
の意味空間上における各画像の座標ベクトルが登録され
た画像辞書と、上記意味空間上における各キーワードの
座標ベクトルが登録されたキーワード辞書とで構成され
る。尚、上記辞書の構築は、アンケートによって、多数
の例示画像に１例示画像毎に複数のキーワードを付与し
てもらったサンプルデータに基づいて行う。

【００６４】図６は上記サンプルデータの例を示す。図
６(a)は、例示画像にそのキーワードが付与された(１)
か否か(０)を表すものである。これに対して、図６(b)
は、例示画像にそのキーワードを付与した人数を表すも
のである。この他に、例示画像にそのキーワードが閾値
回数以上付与された(１)か否か(０)を表すものであって
も、キーワードに重みを持たせて集計したものであって
も差し支えない。尚、上記サンプルデータには各例示画
像の特徴量も含まれており、後のベクトル変換係数作成
処理の際に用いられる。

【００６５】ステップＳ21で、ユーザとの対話によっ
て、辞書全体の構築を行うのか否かが判別される。その
結果、辞書全体の構築を行う場合にはステップＳ22に進
み、そうでなければステップＳ23に進む。

【００６６】ステップＳ22で、後に詳述するようにして
辞書全体の構築処理が実行される。

【００６７】ステップＳ23で、ユーザとの対話によっ
て、上記辞書に対する軸の追加を行うか否かが判別され
る。その結果、軸を追加する場合にはステップＳ24に進
み、そうでなければ辞書作成処理サブルーチンを終了し
て、図４に示す基本処理動作のメインルーチンにリター
ンする。

【００６８】ステップＳ24で、後に詳述するようにして
軸追加処理が実行される。そうした後、辞書作成処理サ
ブルーチンを終了して、図４に示す基本処理動作のメイ
ンルーチンにリターンする。

【００６９】図７は、図５に示す辞書作成処理サブルー
チンの上記ステップＳ22において実行される辞書全体の
構築処理サブルーチンのフローチャートである。以下、
図１および図７に従って、辞書全体の構築処理動作につ
いて詳細に説明する。図５に示す辞書作成処理サブルー
チンにおける上記ステップＳ21において「辞書全体の構
築」が指定されると辞書全体の構築処理サブルーチンが
スタートする。

【００７０】ステップＳ31で、上記入力部１から上記サ
ンプルデータが読み込まれて内部メモリ等に格納され
る。そして、全例示画像と各例示画像に付与されている
キーワードとが対となって取り込まれる。

【００７１】ステップＳ32で、上記各キーワードをカテ
ゴリとし、上記各画像の画像データをサンプルとして、
数量化理論III類による解析が行われる。

【００７２】ここで、上記数量化理論III類とは、多変
量解析の１つであり、サンプルの種々カテゴリへの対応
の仕方に基づいて、サンプルとカテゴリの両方をｎ次元
の意味空間上における座標として数量化する。つまり、
サンプルｉにｘ_i ⁽ⁿ⁾という数量を与え、カテゴリｊにｙ
_j ⁽ⁿ⁾という数量を与えるに際して、ｘ_i ⁽ⁿ⁾とｙ_j ⁽ⁿ⁾との
相関係数を最大にするようなｘ_i ⁽ⁿ⁾,ｙ_j ⁽ⁿ⁾を求めるこ
とである。

【００７３】ステップＳ33で、上記数量化理論III類に
よる解析結果より、第ｎ成分までのカテゴリスコアｙ_j
⁽ⁿ⁾とサンプルスコアｘ_i ⁽ⁿ⁾とが求められる。ここで、
ｎは、カテゴリ数とサンプル数とのうち小さい方の数よ
りも小さい数である。

【００７４】ステップＳ34で、上記各成分毎に、上記カ
テゴリスコアの最大値が「１」、最小値が「−１」になるよ
うに各カテゴリスコアが正規化される。

【００７５】ステップＳ35で、上記各成分毎に、上記サ
ンプルスコアの最大値が「１」、最小値が「−１」になるよ
うに各サンプルスコアが正規化される。

【００７６】ステップＳ36で、上記ステップＳ34におい
て求められた各カテゴリスコアの正規化値から得られた
各キーワードのｎ次元意味空間(キーワード空間)上の座
標ベクトルが、キーワード辞書として辞書格納部８に格
納される。

【００７７】ステップＳ37で、上記ステップＳ35におい
て求められた各サンプルスコアの正規化値から得られた
各画像のｎ次元意味空間(画像空間)上の座標ベクトル
が、画像辞書として上記辞書格納部８に格納される。そ
うした後、辞書全体の構築処理サブルーチンを終了し
て、図４に示す基本処理動作のメインルーチンにリター
ンする。

【００７８】上述のようにして構築されたキーワードの
ｎ次元の意味空間(キーワード空間)と画像のｎ次元の意
味空間(画像空間)とは高い相関を有している。したがっ
て、上記画像空間上の任意の画像に対して、当該画像の
画像空間上の座標に対応するキーワード空間上の座標付
近には、当該画像に相応しいキーワードが配置されてい
る。逆に、上記キーワード空間上の任意のキーワードに
対して、当該キーワードのキーワード空間上の座標に対
応する画像空間上の座標付近には、当該キーワードに相
応しい画像が配置されているのである。

【００７９】すなわち、本実施の形態では、上記意味空
間格納手段を辞書格納部８で構成するのである。

【００８０】こうして、上記辞書格納部８に、キーワー
ドのｎ次元の意味空間(キーワード空間)上における座標
ベクトルをキーワード辞書として登録すると共に、画像
のｎ次元の意味空間(画像空間)上における座標ベクトル
を画像辞書として登録しておくことによって、キーワー
ド間および画像間の関連度を設定できる。したがって、
あるキーワードの類似キーワードやある画像の類似画像
を上記キーワード辞書や画像辞書を引くことによって容
易に得ることができる。さらに、新たな画像に付与する
のに相応しいキーワードを検索することもできるのであ
る。

【００８１】図８は、図５に示す辞書作成処理サブルー
チンの上記ステップＳ24において、上記辞書作成処理部
６の軸追加部７によって実行される軸追加処理サブルー
チンのフローチャートである。以下、図１および図８に
従って、軸追加処理動作について詳細に説明する。図５
に示す辞書作成処理サブルーチンにおける上記ステップ
Ｓ23において「軸の追加」が指定されると軸追加処理サブ
ルーチンがスタートする。

【００８２】ステップＳ41で、上記キーワード格納部３
に登録されている登録キーワードのリストが表示部５に
表される。

【００８３】ステップＳ42で、ユーザとの対話によっ
て、登録キーワードの中から対極に配置したい２つのキ
ーワードが選択される。

【００８４】ステップＳ43で、上記キーワード空間上に
おいて両選択キーワードの距離が最も遠くなる２軸を組
み合わせた２軸マップが作成される。そして、２軸マッ
プ上においてを両選択キーワード結ぶ直線上に全登録キ
ーワードが射影され、全登録キーワードの上記直線上の
座標が得られる。

【００８５】ステップＳ44で、上記ステップＳ43におい
て得られた全登録キーワードの上記直線上の座標のうち
最大値が「１」、最小値が「−１」になるように各登録キー
ワードの座標値が正規化される。

【００８６】ステップＳ45で、上記正規化された座標値
の順に、全登録キーワードが表示部５に表示される。

【００８７】ステップＳ46で、ユーザとの対話によっ
て、上記直線を新たな座標軸とする軸名称が設定され、
新規軸の「＋」ラベルと「−」ラベルとが設定される。

【００８８】ステップＳ47で、設定された新規軸の情報
と全登録キーワードの新規軸上の座標とが、辞書格納部
８に追加登録される。そうした後、軸追加処理サブルー
チンを終了して、図４に示す基本処理動作のメインルー
チンにリターンする。

【００８９】ここで、上記数量化理論III類による解析
の結果得られたｎ本の軸の具体的意味を、ユーザは知る
ことはできない。ところが、上述のような新たな軸をユ
ーザによって自由に設定することによって、ユーザがそ
の意味を理解できる軸上に登録キーワードを配置できる
のである。

【００９０】図９は、図４に示す基本処理動作における
ステップＳ7において、上記キーワード登録処理部２に
よって実行されるキーワード登録処理サブルーチンのフ
ローチャートである。以下、図９に従って、キーワード
登録処理動作について詳細に説明する。図４に示す基本
処理動作のメインルーチンの上記ステップＳ6において
ジョブメニュー「キーワード登録」が選択されたと判別
されると、キーワード登録処理サブルーチンがスタート
する。

【００９１】ステップＳ51で、ユーザによって上記入力
部１から入力された入力キーワードが取り込まれる。

【００９２】ステップＳ52で、上記画像データ格納部１
２に登録されている画像データに基づいて、既登録画像
が表示部５に一覧表示される。

【００９３】ステップＳ53で、ユーザとの対話によっ
て、一覧表示されている既登録画像の中から上記入力キ
ーワードに相応しい画像が選択される。尚、選択画像は
少なくとも１つあればよく、複数選択されても一向に構
わない。

【００９４】ステップＳ54で、上記ステップＳ53におい
て選択された画像の上記画像辞書上における座標ベクト
ルが辞書格納部８から読み出され、選択画像の画像空間
(画像辞書)上での平均座標が求められる。この平均座標
の算出は、読み出された座標ベクトルの各要素値を単純
平均した値を要素値とするベクトルを求めることによっ
て行う。尚、上記画像空間上の平均座標は、同一意味空
間であるキーワード空間上における同一座標と対応付け
られているのであるから、上記入力キーワードのキーワ
ード空間上の座標と見なすことができる。

【００９５】ステップＳ55で、上記入力キーワードに上
記ステップＳ54において求められた平均座標の座標ベク
トルが付加されて、キーワード格納部３に追加登録され
る。また、上記入力キーワードのキーワード空間上の位
置情報が辞書格納部８に追加登録される。

【００９６】ステップＳ56で、ユーザとの対話によっ
て、キーワード登録が終了したか否かが判別される。そ
の結果、終了していなければ上記ステップＳ51にリター
ンして次のキーワードの入力に移行し、終了していれ
ば、図４に示すメインルーチンにリターンする。

【００９７】こうして、ユーザは、新たに登録したいキ
ーワードに相応しい画像を選択するだけの簡単な操作
で、この選択画像の画像空間上での位置に基づいて登録
対象キーワードのキーワード空間上での位置が自動的に
求められ、そのキーワード空間上の位置に登録されるの
である。尚、上述のようにして上記キーワード辞書に新
たにキーワードが追加されて行くことによってキーワー
ド辞書が拡張されて行くと、やがて、追加登録されたキ
ーワードの座標からの影響を受けて既に登録されている
キーワードの座標を変更する必要が生ずる。その場合に
は、再度「辞書全体の構築処理」を実行することによっ
て、ユーザのキーワード設定の最新の判断基準が反映さ
れたキーワード辞書を構築できるのである。

【００９８】ところで、上述のようにして構築された画
像辞書(画像空間)とキーワード辞書(キーワード空間)と
は同じｎ次元の意味空間であるから、互いに高い相関を
有している。したがって、新たに登録する画像の画像辞
書上の位置が分かれば、その画像辞書上の位置に対応す
るキーワード辞書上の位置の近傍にあるキーワードを上
記新たに登録する画像に相応しいキーワードとして自動
的に付与できることになる。そこで、このような自動キ
ーワード付与を実現するためには、新たに登録する画像
の画像辞書上の位置を知る必要となる。

【００９９】一方、画像の特性を表す値として色や形状
やテクスチャ等の特徴量がある。そこで、画像の特徴量
と画像辞書上の位置との関係が分かっていれば、新たに
登録する画像の特徴量を求めることによって、上記新た
に登録する画像の画像辞書上の位置を知ることができ
る。以下、画像の画像辞書上の位置と特徴量との関係、
つまり、定量的に測定された２組の変数群の対応関係の
分析について説明する。

【０１００】２組の変数群Ｘ(Ｘ₁,Ｘ₂,…,Ｘ_n),Ｙ(Ｙ₁,
Ｙ₂,…,Ｙ_p)の間の相関的構造を分析する方法に正準相
関分析がある。この正準相関分析によれば、画像辞書上
のｒ個の画像のｎ次元の座標ベクトルをＸとし、その合
成変数行列をＦ(＝Ａ1・Ｘ^T)とする。一方、ｐ次元の特
徴ベクトルをＹとし、その合成変数行列をＧ(＝Ａ2・
Ｙ^T)とする。そして、上記合成変数行列Ｆ,Ｇの相関を
高くするように正準相関係数行列Ａ1,Ａ2を決定するの
である。その結果、互いに高い相関を持って対応付けら
れた(ｒ×ｋ)の合成変数行列Ｆの空間と(ｒ×ｋ)の合成
変数行列Ｇの空間が構築され、画像の特徴ベクトルに基
づく合成変数行列Ｇの空間上のベクトルが与えられる
と、合成変数行列Ｆの空間上の対応するベクトルを介し
て同一画像の画像辞書上の座標ベクトルを求めることが
できるのである。つまり、正準相関係数行列Ａ1はｎ次
元の座標ベクトルをｋ次元の合成変数ベクトルｆに変換
するためのベクトル変換係数であり、正準相関係数行列
Ａ2はｐ次元の特徴ベクトルをｋ次元の合成変数ベクト
ルｇに変換するためのベクトル変換係数なのである。

【０１０１】図１０は、図４に示す基本処理動作におけ
るステップＳ9において、上記ベクトル変換係数作成処
理部９によって実行されるベクトル変換係数作成サブル
ーチンのフローチャートである。以下、図１および図１
０に従って、ベクトル変換係数作成処理動作について詳
細に説明する。図４に示す基本処理動作のメインルーチ
ンの上記ステップＳ8においてジョブメニュー「ベクト
ル変換係数作成」が選択されたと判別されると、ベクト
ル変換係数作成処理サブルーチンがスタートする。

【０１０２】ステップＳ61で、上記辞書格納部８から画
像辞書上における各画像のｎ次元座標ベクトルが読み出
される。一方、対応する画像のｐ次元特徴ベクトルが上
記内部メモリから読み出される。そして、上記読み出さ
れた各画像の座標ベクトルと対応する特徴ベクトルとの
正準相関分析が行われる。

【０１０３】ステップＳ62で、上記ステップＳ61におけ
る正準相関分析の結果得られた座標ベクトル変換用の正
準相関係数行列Ａ1(ｎ×ｋ)と、特徴ベクトル変換用の
正準相関係数行列Ａ2(ｐ×ｋ)とが、ベクトル変換係数
格納部１０に格納される。

【０１０４】ステップＳ63で、上記画像辞書に格納され
たｒ個の画像の座標ベクトルに正準相関係数行列Ａ1が
掛けられて、ｋ次元の合成変数ベクトルｆに変換され
る。そして、得られた合成変数ベクトルｆが上記ベクト
ル変換係数格納部１０に格納される。

【０１０５】ステップＳ64で、上記ｒ個の画像の特徴ベ
クトルに正準相関係数行列Ａ2が掛けられて、ｋ次元の
合成変数ベクトルにｇ変換される。

【０１０６】ステップＳ65で、上記ステップＳ64におい
て求められたｋ次元合成変数ベクトルｇの各次元に関し
て最大値と最小値とが求められ、ベクトル変換係数格納
部１０に格納される。そうした後、ベクトル変換係数作
成処理動作を終了して図４に示すメインルーチンにリタ
ーンする。

【０１０７】すなわち、本実施の形態においては、上記
相関関係算出手段を、上記ベクトル変換係数作成処理サ
ブルーチンにおける上記ステップＳ61,Ｓ62で構成する
のである。

【０１０８】こうして、画像のｐ次元特徴ベクトルをｋ
次元の合成変数ベクトルｇに変換する正準相関係数行列
Ａ2が求められたので、当該画像の画像辞書上の位置を
推定することができる。したがって、上述したように、
新たに登録する画像に相応しいキーワードを自動付与す
ることが可能になる。以下、キーワード自動付与動作が
含まれる画像データ登録処理について説明する。

【０１０９】図１１は、図４に示す基本処理動作におけ
るステップＳ11において、上記画像データ登録処理部１
１によって実行される画像データ登録処理サブルーチン
のフローチャートである。以下、図１及び図１１に従っ
て、画像データ登録処理動作について詳細に説明する。
図４に示す基本処理動作のメインルーチンにおける上記
ステップＳ10においてジョブメニュー「データ登録」が
選択されたと判別されると、画像データ登録処理サブル
ーチンがスタートする。

【０１１０】ステップＳ71で、ユーザとの対話によっ
て、新規の画像データを登録するのか否かが判別され
る。その結果、新規画像データの場合にはステップＳ72
に進み、そうでなければステップＳ73に進む。

【０１１１】ステップＳ72で、後に詳述するようにし
て、画像データ取り込み処理が実行される。そうした
後、ステップＳ74に進む。

【０１１２】ステップＳ73で、既存の画像データが選択
されて読み出される。

【０１１３】ステップＳ74で、ユーザとの対話によっ
て、自動でキーワードを付与するか否かが判別される。
その結果、自動キーワード付与を行う場合にはステップ
Ｓ75に進み、そうでない場合にはステップＳ77に進む。

【０１１４】ステップＳ75で、後に詳述するように上記
キーワード自動設定処理部１４が制御されて、キーワー
ド自動設定処理が実行される。

【０１１５】ステップＳ76で、上記ステップＳ75におい
て設定されたキーワードが上記ステップＳ72あるいはス
テップＳ73において取り込まれた画像データの付加情報
の一つとして設定される。

【０１１６】ステップＳ77で、ユーザとの対話によっ
て、付加情報を手動で入力するか否かが判別される。そ
の結果、手動で入力する場合にはステップＳ78に進み、
そうでなければステップＳ79に進む。

【０１１７】ステップＳ78で、後に詳述するように上記
付加情報入力処理部１７が制御されて、付加情報入力処
理が実行される。

【０１１８】ステップＳ79で、上記取り込まれた画像デ
ータが、上記設定された付加情報と対応付けられて、画
像データ格納部１２に登録される。そうした後、画像デ
ータ登録処理動作を終了して図４に示すメインルーチン
にリターンする。

【０１１９】こうして、ユーザは、上記入力部１からジ
ョブメニュー「データ登録」を選択して「キーワード自
動設定」を指定するだけで、登録対象画像に相応しいキ
ーワードが自動的に設定されて、該当する画像データに
付与されて登録されるのである。

【０１２０】図１２は、図１１に示す画像データ登録処
理サブルーチンにおける上記ステップＳ72において実行
される画像データ取り込み処理サブルーチンのフローチ
ャートである。以下、図１および図１２に従って、画像
データ取り込み処理動作について詳細に説明する。図１
１に示す画像データ登録処理サブルーチンの上記ステッ
プＳ71において、新規の画像データを登録すると判別さ
れると、画像データ取り込み処理サブルーチンがスター
トする。

【０１２１】ステップＳ81で、上記入力部１(スキャナ
２８やＣＤ−ＲＯＭドライブ２９b等の画像入力装置あ
るいはハードディスク装置２６等の画像データ保存媒
体)から新規の画像データが取り込まれる。

【０１２２】ステップＳ82で、上記取り込まれた画像デ
ータを保管する作業メモリ等の保管先が指定される。

【０１２３】ステップＳ83で、上記取り込まれた画像デ
ータが、ユーザによって入力部１から設定された画像デ
ータ名が付けられて、上記作業メモリに格納される。そ
うした後、画像データ取り込み処理サブルーチンが終了
されて、図１１に示す画像データ登録処理サブルーチン
にリターンする。

【０１２４】図１３は、図１１に示す画像データ登録処
理サブルーチンにおける上記ステップＳ75において、キ
ーワード自動設定部１４によって実行されるキーワード
自動設定処理サブルーチンのフローチャートである。以
下、図１および図１３に従って、キーワード自動設定処
理動作について詳細に説明する。図１１に示す画像デー
タ登録処理サブルーチンの上記ステップＳ74において、
自動でキーワードを付与すると判別されるとキーワード
自動設定処理サブルーチンがスタートする。

【０１２５】ステップＳ91で、上記特徴量抽出部１５に
よって、図１１に示す画像データ登録処理サブルーチン
の上記ステップＳ72あるいはステップＳ73において取り
込まれた画像データから、例えば色味や形状やテクスチ
ャ等のｐ個の特徴量が抽出されて、ｐ次元の特徴ベクト
ルが得られる。

【０１２６】ステップＳ92で、後に詳述するようにして
ベクトル変換処理が実行される。このベクトル変換処理
によって、上記ステップＳ91において抽出されたｐ次元
の特徴ベクトルがｋ次元の合成変数ベクトルｇに変換さ
れるのである。

【０１２７】ステップＳ93で、後に詳述するようにして
近傍画像抽出処理が実行される。この近傍画像抽出処理
によって、上記ステップＳ92において変換されたｋ次元
の合成変換ベクトルｇに基づいて登録対象画像の近傍画
像が抽出される。

【０１２８】ステップＳ94で、後に詳述するようにし
て、画像近傍キーワード抽出処理が実行される。この画
像近傍キーワード抽出処理によって、上記画像辞書を用
いて、上記ステップＳ93において抽出された近傍画像に
近い画像近傍キーワードが抽出される。

【０１２９】ステップＳ95で、上記ステップＳ94におい
て抽出された画像近傍キーワードの中から重複するキー
ワードが除かれて、設定用キーワードとして確定され
る。そうした後、キーワード自動設定処理サブルーチン
が終了されて、図１１に示す画像データ登録処理サブル
ーチンにリターンする。

【０１３０】すなわち、本実施の形態においては、上記
オブジェクト位置算出手段を上記キーワード自動設定処
理サブルーチンにおける上記ステップＳ92で構成し、上
記キーワード選出手段を上記ステップＳ93〜Ｓ95で構成
し、上記近傍オブジェクト抽出手段を上記ステップＳ93
で構成し、上記近傍キーワード抽出手段を上記ステップ
Ｓ94,Ｓ95で構成し、上記キーワード付与手段を上記画
像データ登録処理サブルーチンにおける上記ステップＳ
76,Ｓ79で構成するのである。

【０１３１】図１４は、図１３に示すキーワード自動設
定処理サブルーチンにおける上記ステップＳ92におい
て、ベクトル変換部１６によって実行されるベクトル変
換処理サブルーチンのフローチャートである。以下、図
１４に従って、ベクトル変換処理動作について詳細に説
明する。図１３に示すキーワード自動設定処理サブルー
チンの上記ステップＳ91において、登録対象画像データ
のｐ次元特徴ベクトルが抽出されると、ベクトル変換処
理サブルーチンがスタートする。

【０１３２】ステップＳ101で、上記抽出されたｐ次元
特徴ベクトルに、上記ベクトル変換係数格納部１０に格
納されている特徴ベクトル変換用の正準相関係数行列Ａ
2(ｐ×ｋ)が掛けられて、ｋ次元の合成変数ベクトルｇ
に変換される。

【０１３３】ステップＳ102で、上記ステップＳ101にお
いて特徴ベクトルから求められたｋ次元合成変数ベクト
ルｇの各要素値(各次元の値)が、ベクトル変換係数格納
部１０に格納されているｒ個の既登録画像の特徴ベクト
ルから求められたｋ次元合成変換ベクトルｇの各次元毎
の最大値と最小値とを用いてスケール変更される。こう
して、登録対象画像の合成変数ベクトルｇが合成変数行
列Ｇの空間上の該当位置に配置されるのである。そうし
た後、ベクトル変換処理動作を終了して図１３に示すキ
ーワード自動設定処理サブルーチンにリターンする。

【０１３４】図１５は、図１３に示すキーワード自動設
定処理サブルーチンにおける上記ステップＳ93において
実行される近傍画像抽出処理サブルーチンのフローチャ
ートである。以下、図１５にしたがって、近傍画像抽出
処理動作について詳細に説明する。図１３に示すキーワ
ード自動設定処理サブルーチンの上記ステップＳ92にお
いて、登録対象画像データのｐ次元特徴ベクトルがｋ次
元合成変換ベクトルｇに変換されると、近傍画像抽出処
理サブルーチンがスタートする。

【０１３５】ステップＳ111で、上記ｒ個の既登録画像
の座標ベクトルから変換されて上記ベクトル変換係数格
納部１０に格納されているｒ個のｋ次元合成変数ベクト
ルｆから、１つの合成変換ベクトルｆが読み出される。

【０１３６】ステップＳ112で、上記登録対象画像の特
徴ベクトルから変換されたｋ次元合成変換ベクトルｇ
と、上記ステップＳ111において読み出されたｋ次元合
成変数ベクトルｆとの距離が算出される。この距離の算
出は、各要素値の差の二乗和を算出することによって行
われる。

【０１３７】ステップＳ113で、上記ベクトル変換係数
格納部１０に格納されている総ての既登録画像の合成変
換ベクトルｆに関して、上記距離が算出されたか否かが
判別される。その結果、算出されていなければ上記ステ
ップＳ111に戻って次の合成変換ベクトルｆとの距離の
算出に移行し、算出されていればステップＳ114に進
む。

【０１３８】ステップＳ114で、上記算出された距離の
近い順にｑ個の合成変換ベクトルｆが求められ、この求
められた合成変換ベクトルｆに関するｑ個の既登録画像
が近傍画像として求められる。そうした後、近傍画像抽
出処理動作を終了して図１３に示すキーワード自動設定
処理サブルーチンにリターンする。

【０１３９】図１６は、図１３に示すキーワード自動設
定処理サブルーチンにおける上記ステップＳ94において
実行される画像近傍キーワード抽出処理サブルーチンの
フローチャートである。以下、図１６に従って、画像近
傍キーワード抽出処理動作について詳細に説明する。図
１３に示すキーワード自動設定処理サブルーチンの上記
ステップＳ93において、近傍画像が抽出されると、画像
近傍キーワード抽出処理サブルーチンがスタートする。

【０１４０】ステップＳ121で、上記辞書格納部８か
ら、上記抽出されたｑ個の近傍画像のうち１つの近傍画
像の上記画像空間上の座標ベクトルが読み出される。

【０１４１】ステップＳ122で、上記読み出された画像
空間上のｎ次元座標ベクトルと、辞書格納部８に格納さ
れた総ての既登録キーワードの上記キーワード空間上の
ｎ次元座標ベクトルとの距離(各要素値に二乗和)が算出
され、内部メモリ等に格納される。

【０１４２】ステップＳ123で、上記算出された距離の
近い順にｈ個のキーワードが求められる。

【０１４３】ステップＳ124で、上記抽出されたｑ個総
ての近傍画像の画像ベクトルからｈ個ずつキーワードが
求められたか否かが判別される。その結果、求められて
いなければ上記ステップＳ121に戻って次の既登録キー
ワードに対する処理に移行する。一方、求められていれ
ばステップＳ125に進む。

【０１４４】ステップＳ125で、上記求められたｑ×ｈ
個のキーワードが画像近傍キーワードとして内部メモリ
等に格納される。そうした後、画像近傍キーワード抽出
処理を終了して、キーワード自動設定処理サブルーチン
にリターンする。

【０１４５】そして、上述したように、上記抽出された
画像近傍キーワードから重複が除かれて設定用キーワー
ドが確定されるとキーワード自動設定処理を終了して、
画像データ登録処理サブルーチンにリターンする。そし
て、上述のようにして自動的に設定されたキーワードが
付加情報の１つとして設定され、付加情報を手動入力す
ると判別されると付加情報入力処理が実行されるのであ
る。

【０１４６】図１７は、図１１に示す画像データ登録処
理サブルーチンにおける上記ステップＳ78において、付
加情報入力処理部１７によって実行される付加情報入力
処理サブルーチンのフローチャートである。以下、図１
および図１７に従って、付加情報入力処理動作について
詳細に説明する。図１１に示す画像データ登録処理サブ
ルーチンの上記ステップＳ77において「付加情報の手動
入力」が指定されていると判別されると、付加情報入力
処理サブルーチンがスタートする。

【０１４７】ステップＳ131で、上記表示部５に付加情
報入力メニューが表示される。

【０１４８】ステップＳ132で、付加情報入力メニュー
「キーワード付加」が選択されたと判別されるとステッ
プＳ133に進み、そうでなければステップＳ134に進む。

【０１４９】ステップＳ133で、上記選択された付加情
報入力メニュー「キーワード付加」に従って、後に詳述
するキーワード付加処理が実行される。そうした後に、
ステップＳ136に進む。

【０１５０】ステップＳ134で、付加情報入力メニュー
「その他の情報付加」が選択されたと判別されるとステ
ップＳ135に進み、そうでなければステップＳ136に進
む。

【０１５１】ステップＳ135で、上記選択された付加情
報入力メニュー「その他の情報付加」に従って、入力部
１から入力された付加情報が取り込まれて当該画像デー
タの付加情報の１つとしてレジスタに保持される。

【０１５２】ステップＳ136で、ユーザとの対話によっ
て、付加情報入力処理を終了するか否かが判別される。
その結果、終了であれば付加情報入力処理サブルーチン
を終了して図１１に示す画像データ登録処理サブルーチ
ンにリターンする。一方、終了でなければ上記ステップ
Ｓ132に戻って次のメニュー処理に移行する。

【０１５３】こうして、上記画像データ登録処理サブル
ーチンにおける上記ステップＳ75において設定されたキ
ーワード以外のキーワードや、データの作成者名,作成
日,登録日,サイズおよびコメント等のキーワード以外の
付加情報が、ユーザによってマニュアル入力される。

【０１５４】図１８は、図１７に示す付加情報入力処理
サブルーチンの上記ステップＳ133において実行される
キーワード付加処理サブルーチンのフローチャートであ
る。以下、図１および図１８に従って、キーワード付加
処理動作について詳細に説明する。図１７に示す付加情
報入力処理サブルーチンの上記ステップＳ132において
付加情報入力メニュー「キーワード付加」が選択された
と判別されると、キーワード付加処理サブルーチンがス
タートする。

【０１５５】ステップＳ141で、上記キーワード格納部
３に登録されているキーワードが表示部５に一覧表示さ
れる。

【０１５６】ステップＳ142で、ユーザとの対話によっ
て、上記表示されているキーワードの中から特定のキー
ワードが選択される。

【０１５７】ステップＳ143で、上記選択されたキーワ
ードが付加情報の１つとして設定されて、上記レジスタ
に保持される。

【０１５８】ステップＳ144で、ユーザとの対話によっ
て、キーワード付加処理を終了するか否かが判別され
る。その結果、終了でなければ上記ステップＳ142に戻
って次のキーワードの選択に移行する。一方、終了であ
ればキーワード付加処理サブルーチンを終了し、図１７
に示す付加情報入力処理サブルーチンにリターンする。

【０１５９】そして、上述のように、ユーザとの対話に
よって付加情報入力処理を終了すると判別されると画像
データ登録処理サブルーチンにリターンする。そして、
上記ステップＳ75,Ｓ76,Ｓ78で設定された付加情報が登
録対象の画像データと共に画像データ格納部１２に格納
されるのである。

【０１６０】図１９は、図４に示す基本処理動作におけ
るステップＳ13において、上記付加情報変更処理部１３
によって実行される付加情報変更処理サブルーチンのフ
ローチャートである。以下、図１および図１９に従っ
て、付加情報変更処理動作について詳細に説明する。図
４に示す基本処理動作のメインルーチンの上記ステップ
Ｓ12においてジョブメニュー「付加情報変更」が選択さ
れたと判別されると、付加情報変更処理サブルーチンが
スタートする。

【０１６１】ステップＳ151で、上記画像データ格納部
１２に登録されている画像データに基づいて、既登録画
像が表示部５に一覧表示される。

【０１６２】ステップＳ152で、ユーザとの対話によっ
て、上記表示されている画像の中から変更対象の画像デ
ータが選択される。

【０１６３】ステップＳ153〜ステップＳ157で、図１１
に示す画像データ登録処理サブルーチンにおける上記ス
テップＳ74〜ステップＳ78と同様にして、自動でキーワ
ードを付与するかの判別、キーワード自動設定処理の実
行、設定キーワードの付加情報としての設定、付加情報
の手動入力の判別、付加情報入力処理の実行が行われ
る。尚、上記キーワード自動設定処理の実行は、図１３
に示すキーワード自動設定処理サブルーチンに従って行
われる。その場合に、「登録対象画像」は「変更対象画
像」となる。また、上記付加情報入力処理の実行は、図
１７に示す付加情報入力処理サブルーチンに従って行わ
れる。

【０１６４】ステップＳ158で、上記画像データ格納部
１２に格納されている選択画像データの付加情報が、上
記設定された付加情報に書き換えられる。そうした後、
付加情報変更処理動作を終了して図４に示すメインルー
チンにリターンする。

【０１６５】こうして、ユーザは、上記入力部１からジ
ョブメニュー「付加情報変更」を選択して「キーワード
自動設定」を指定するだけで、既登録画像に付与されて
いるキーワードを更に相応しいキーワードに変更できる
のである。

【０１６６】図２０は、図１３に示すキーワード自動設
定処理の概念を示す。上記辞書格納部８には、ｒ個の既
登録画像のｎ次元画像空間上の座標ベクトルが格納され
ている。また、上記ｒ個の画像の特徴量からｐ次元の特
徴ベクトルが得られる。そして、ｎ次元座標ベクトルは
正準相関係数行列Ａ1によってｋ次元の合成変数ベクト
ルｆに変換される一方、ｐ次元特徴ベクトルは正準相関
係数行列Ａ2によってｋ次元の合成変数ベクトルｇに変
換される。こうすることによって、ｎ次元の座標ベクト
ルとｐ次元の特徴ベクトルとが、同じ(ｒ×ｋ)の合成変
数行列Ｆ,Ｇの空間上で対応付けることが可能となるの
である。

【０１６７】一方、登録対象画像のｐ次元特徴ベクトル
を正準相関係数行列Ａ2によってｋ次元の合成変数ベク
トルｇに変換すると、登録対象画像の合成変数行列Ｇ空
間上の位置が分かる。そして、上述のように、ｎ次元の
座標ベクトルとｐ次元の特徴ベクトルとは同サイズの合
成変数行列Ｆ,Ｇの空間上で対応付け可能なのであるか
ら、登録対象画像の合成変数ベクトルｇの合成変数行列
Ｇ空間上の位置と各既登録画像の合成変数ベクトルｆの
合成変数行列Ｆ空間上の位置との距離を比較することに
よって、登録対象画像と類似したｑ個の既登録画像(近
傍画像)を得ることができるのである。

【０１６８】以後は、こうして得られたｑ個の近傍画像
の画像空間(画像辞書)上の位置に対応するキーワード空
間(キーワード辞書)上の位置と、既登録キーワードのキ
ーワード空間上の位置との距離を比較して、個々の近傍
画像の近傍キーワードをｈ個ずつ得るのである。こうし
て、登録対象画像に付与するに相応しいｑ×ｈ個のキー
ワードが自動的に設定されるのである。

【０１６９】このように、本実施の形態においては、上
記辞書作成処理部６によって、複数の例示画像と各例示
画像に付与されたキーワードとに基づいて、例示画像の
画像データをサンプルとし、キーワードをカテゴリとす
る数量化理論III類による解析を行う。そして、この解
析結果より第ｎ成分までのサンプルスコアｘ_i ⁽ⁿ⁾を最大
値を「１」に最小値を「−１」に正規化する一方、カテゴリ
スコアｙ_j ⁽ⁿ⁾を最大値を「１」に最小値を「−１」に正規化
する。そして、得られたサンプルスコアｘ_i ⁽ⁿ⁾の正規化
値を要素値とする画像空間上の座標ベクトルを画像辞書
として辞書格納部８に格納する。一方、カテゴリスコア
ｙ_j ⁽ⁿ⁾の正規値を要素値とするキーワード空間上の座標
ベクトルをキーワード辞書として辞書格納部８に格納す
る。

【０１７０】こうして構築されたキーワード辞書上に位
置付けられたキーワードは、ｎ次元の意味空間における
ｎ個の意味尺度上に配置されている。したがって、本実
施の形態によれば、キーワード空間を定義することがで
き、あるキーワードのキーワード空間上の位置(他のキ
ーワードとの関連度)を自動的に設定できるのである。
したがって、このキーワード間の関連度を用いて曖昧検
索を行うことが可能となる。

【０１７１】このように、上記実施の形態によれば、複
数の例示画像にキーワードを付与して提示するだけで、
自動的にキーワード空間を定義し、このキーワード空間
に基づいてあるキーワードと他のキーワードとの関連度
を自動的に設定できるのである。したがって、特開平８
−３２９０９６号公報に開示されたキーワード付与方法
のようなキーワードマップ上へのキーワードの配置(つ
まり、キーワードの他のキーワードの関連度の設定)を
手動操作によって行うという面倒な作業からユーザを解
放することができるのである。

【０１７２】その場合に、上記例示画像として、使用分
野や用途に応じた画像を選ぶことによって、分野や用途
別の画像辞書およびキーワード辞書を構築できる。

【０１７３】また、上記辞書作成処理部６は、上記画像
辞書やキーワード辞書における自動的に設定されたｎ個
の軸以外の軸を、ユーザとの対話によって設定する軸追
加部７を有している。この軸追加部７は、対極に配置し
たい２つのキーワードが選択されると、この選択キーワ
ードの距離が最も遠い２軸マップ上において両選択キー
ワードを結ぶ直線を新たな軸とし、この軸上に全登録キ
ーワードを射影して、全キーワードの上記新たな軸上の
座標を得るようにしている。

【０１７４】したがって、上記実施の形態によれば、上
記キーワード空間に、ユーザによって指定された新規な
評価尺度を有する軸を追加設定できる。こうすることに
よって、上記数量化理論III類による解析の結果得られ
た具体的意味の分かりにくいｎ本の軸に加えて、ユーザ
にとって意味の分かる軸を設定できるのである。

【０１７５】また、上述のようにして構築された上記画
像辞書(ｎ次元の意味空間：画像空間)と上記キーワード
辞書(ｎ次元の意味空間：キーワード空間)とは高い相関
を有している。したがって、ある画像の画像辞書上の座
標に対応するキーワード辞書上の座標付近には、当該画
像に相応しいキーワードが配置されている。また、逆の
ことも言える。そこで、キーワード登録処理部２は、ユ
ーザとの対話によって画像データ格納部１２から登録対
象キーワードに相応しい画像を選択し、この選択画像の
画像空間上の平均座標を求める。そして、この画像空間
上の平均座標を登録対象キーワードのキーワード辞書上
の座標として、登録対象キーワードと共にキーワード格
納部３および辞書格納部８のキーワード辞書に追加登録
するのである。

【０１７６】したがって、上記実施の形態によれば、登
録対象キーワードに相応しい画像を既登録画像から選択
するだけの簡単な処理で、新たなキーワードを上記例示
画像によって構築されたキーワード辞書に座標ベクトル
と共に登録できるのである。

【０１７７】上述したように、上記画像辞書(画像空間)
とキーワード辞書(キーワード空間)とは同じｎ次元の意
味空間であるから、互いに高い相関を有している。した
がって、登録対象画像の上記画像辞書上の位置に対応す
るキーワード辞書上の位置の近傍には、登録対象画像に
相応しいキーワードが登録されている。そこで、登録対
象画像の上記画像辞書上の位置が分かれば、登録対象画
像に相応しいキーワードを得ることができることにな
る。

【０１７８】上記ベクトル変換係数作成処理部９は、上
記画像辞書から読み出した各既登録画像のｎ次元座標ベ
クトルと上記既登録画像のｐ次元特徴ベクトルとの正凖
相関分析を行う。そして、座標ベクトル変換用の正凖相
関係数行列Ａ1(ｎ×ｋ)と、特徴ベクトル変換用の正凖
相関係数行列Ａ2(ｐ×ｋ)とを求めて、ベクトル変換係
数格納部１０に格納する。さらに、上記画像辞書に登録
されているｒ個の既登録画像のｎ次元座標ベクトルに正
凖相関係数行列Ａ1(ｎ×ｋ)を掛けて、ｋ次元の合成変
数ベクトルｆを得る。また、ｒ個の既登録画像のｐ次元
特徴ベクトルに正凖相関係数行列Ａ2(ｐ×ｋ)を掛け
て、ｋ次元の合成変数ベクトルｇを得る。こうして得ら
れた合成変数行列Ｆと合成変数行列Ｇとはベクトル変換
係数格納部１０に格納される。ここで、合成変数行列Ｆ
と合成変数行列Ｇとは高い相関を有している。したがっ
て、登録対象画像の特徴ベクトルから登録対象画像の画
像辞書上の座標ベクトルを得ることが可能となる。

【０１７９】上記キーワード自動設定処理部１４は、上
記特徴量抽出部１５で登録対象画像あるいは変更対象画
像の特徴量を抽出してｐ次元の特徴ベクトルを得、ベク
トル変換部１６で正準相関係数行列Ａ2を掛けてｋ次元
の合成変数ベクトルｇに変換し、スケール変更する。そ
して、対象画像の合成変数ベクトルｇとベクトル変換係
数格納部１０に格納されたｒ個の既登録画像の合成変数
ベクトルｆとの距離に基づいて、対象画像と類似したｑ
個の既登録画像(近傍画像)を得る。そして、得られたｑ
個の近傍画像の画像空間(画像辞書)上の座標ベクトルと
既登録キーワードのキーワード空間(キーワード辞書)上
の座標ベクトルとの距離に基づいて、個々の近傍画像の
近傍キーワードをｈ個ずつ得るようにしている。したが
って、登録対象画像あるいは変更対象画像に付与するに
相応しいｑ×ｈ個のキーワードを自動的に設定できるの
である。

【０１８０】すなわち、上記実施の形態によれば、登録
対象画像や変更対象画像にキーワードを手動で付与する
という煩わしさからユーザを解放できる。したがって、
新規画像の登録や既登録画像の付加情報変更を効率よく
行うことができるのである。

【０１８１】その際に、予め複数の例示画像にキーワー
ドを付与して提示し、上記辞書作成処理部６によって画
像辞書とキーワード辞書とを自動的に構築して辞書格納
部８に格納しておくだけで、登録対象画像あるいは変更
対象画像に相応しいキーワードが自動的に設定される。
したがって、上記特開平６−２９５３１８号公報に開示
されたキーワード付与方法のように、キーワード候補毎
に適合演算情報と閾値とを設定して登録しておく必要が
ない。

【０１８２】上記実施の形態におけるキーワード自動設
定処理部１４は、キーワードを自動的に設定する場合
に、登録対象画像あるいは変更対象画像の各近傍画像の
画像近傍キーワードをｈ個ずつ得、登録対象画像に付与
するに相応しいｑ×ｈ個のキーワードを設定するように
している。しかしながら、この発明はこれに限定される
ものではなく、次のようにして登録対象画像あるいは変
更対象画像に相応しいキーワードを設定してもよい。

【０１８３】図２１は、図１１に示す画像データ登録処
理サブルーチンにおける上記ステップＳ75において、キ
ーワード自動設定処理部１４によって実行されるキーワ
ード自動設定処理サブルーチンの図１３とは異なるフロ
ーチャートである。以下、図１および図２１に従って、
本キーワード自動設定処理動作について説明する。図１
１に示す画像データ登録処理サブルーチンの上記ステッ
プＳ74において、自動でキーワードを付与すると判別さ
れると、本キーワード自動設定処理サブルーチンがスタ
ートする。

【０１８４】ステップＳ161〜ステップＳ163で、図１３
に示すキーワード自動設定処理サブルーチンにおける上
記ステップＳ91〜ステップＳ93と同様にして、上記特徴
量抽出部１５によるｐ個の特徴量抽出と、ベクトル変換
部１６によるベクトル変換処理と、近傍画像抽出処理と
が実行される。そして、登録対象画像あるいは変更対象
画像の近傍画像が抽出される。

【０１８５】ステップＳ164で、上記抽出されたｑ個の
近傍画像の辞書空間上の座標ベクトルに基づいて、上記
辞書空間上の近傍画像の中心座標ベクトルが求められ
る。この中心座標ベクトルは、全近傍画像の座標ベクト
ルの対応する要素値の平均値を要素とするベクトルであ
る。

【０１８６】ステップＳ165で、上記ステップＳ164にお
いて求められた辞書空間上の中心座標ベクトルに対応す
るキーワード空間上の座標ベクトルに近いｈ'個のキー
ワードが選出されて、設定用キーワードとして確定され
る。そうした後、キーワード自動設定処理サブルーチン
が終了されて、図１１に示す画像データ登録処理サブル
ーチンにリターンする。

【０１８７】すなわち、本実施の形態においては、上記
オブジェクト位置算出手段を、図２１に示すキーワード
自動設定処理サブルーチンにおける上記ステップＳ162
で構成し、上記キーワード選出手段を上記ステップＳ16
3〜Ｓ165で構成し、上記近傍オブジェクト抽出手段を上
記ステップＳ163で構成し、上記注目位置算出手段を上
記ステップＳ164で構成し、上記近傍キーワード抽出手
段を上記ステップＳ165で構成するのである。

【０１８８】図２２は、図２１に示すキーワード自動設
定処理の概念を示す。本キーワード自動設定処理では、
図１３に示すキーワード自動設定処理と同様にして、登
録対象画像と類似したｑ個の既登録画像(近傍画像)が得
られる。

【０１８９】そして、こうして得られたｑ個の近傍画像
の画像空間(画像辞書)上の中心位置に対応するキーワー
ド空間(キーワード辞書)上の位置と、既登録キーワード
のキーワード空間上の位置との距離に基づいて、中心位
置の近傍キーワードをｈ'個得るのである。こうして、
登録対象画像に付与するに相応しいｈ'個のキーワード
が自動的に設定されるのである。

【０１９０】尚、上記実施の形態においては、登録対象
画像の特徴量に関する合成変数ベクトルｇに対応するキ
ーワード空間上の座標を求める場合に、近傍画像抽出処
理サブルーチンと画像近傍キーワード抽出処理サブルー
チンとによって、既登録画像の合成変数行列Ｇ,Ｆを利
用しているが、この発明はこれに限定されるものではな
い。すなわち、例えば、予め幾つかの代表画像の特徴量
に関する合成変数ベクトルとキーワード空間上の座標と
の対応関係を、既登録画像の合成変数行列Ｇ,Ｆを利用
して求めておく。そして、この対応関係を用いて、登録
対象画像の特徴量に関する合成変数ベクトルｇに対応す
るキーワード空間上の座標を求めてもよい。また、予め
画像の特徴量に関する合成変数ベクトルからキーワード
空間への変換行列を作成しておき、この変換行列を用い
て登録対象画像の特徴量に関する合成変数ベクトルｇに
対応するキーワード空間上の座標を求めてもよい。

【０１９１】また、上記実施の形態においては、画像デ
ータにキーワードを付与する場合を例に説明している。
しかしながら、この発明はこれに限らず、音声データ
や、画像データに音声データを組み合わせたマルチメデ
ィアデータにキーワードを付与する場合にも適用可能で
ある。要は、データの内容の特徴を表す特徴量を抽出可
能なデータであればよいのである。

【０１９２】また、上記辞書作成処理動作,キーワード
登録処理動作,ベクトル変換係数作成処理動作,画像デー
タ登録処理動作および付加情報変更処理動作のアルゴリ
ズムは、上述のフローチャートに限定されるものではな
い。

【０１９３】

【発明の効果】以上より明らかなように、請求項１に係
る発明のキーワード付与方法は、複数のオブジェクトと
付与されたキーワードとが配置された２次元以上の意味
空間を用意し、登録対象オブジェクトの特徴量を抽出
し、上記特徴量に基づいて求められた上記登録対象オブ
ジェクトの上記意味空間上の位置の近傍のキーワードを
選出して上記登録対象オブジェクトに付与するので、キ
ーワードが付与された複数のオブジェクトを例示するだ
けで数量化理論III類等の多変量解析によって容易に得
られる上記意味空間を用いることによって、登録対象オ
ブジェクトに相応しいキーワードを、簡単に且つ自動的
に選出して付与できる。したがって、オブジェクト登録
の際に、相応しいキーワードを選出して付与するという
非常に面倒な作業からユーザを解放し、オブジェクト登
録作業を効率よく行うことができる。

【０１９４】さらに、使用分野や用途に応じた複数のオ
ブジェクトとこれらのオブジェクトに付与されたキーワ
ードとが配置された意味空間を用意すれば、上記使用分
野や用途に応じて適当なキーワード付与を行うことがで
きる。

【０１９５】また、請求項２に係る発明のキーワード付
与方法は、複数のオブジェクトに関する上記意味空間上
の位置と特徴量との相関関係を正凖相関分析を用いて求
め、上記相関関係を用いて、上記登録対象オブジェクト
の特徴量に基づいて上記意味空間上の位置を求めるの
で、登録対象オブジェクトの特徴量から上記登録対象オ
ブジェクトの上記意味空間上の位置を正しく求めること
ができる。したがって、登録対象オブジェクトにより相
応しいキーワードを付与できる。

【０１９６】また、請求項３に係る発明のキーワード付
与方法は、上記意味空間をオブジェクト用の意味空間と
キーワード用の意味空間とに分けて用意し、上記オブジ
ェクト用の意味空間上における上記登録対象オブジェク
トの位置の近傍からｎ個のオブジェクトを選出し、この
ｎ個のオブジェクト夫々の上記オブジェクト用の意味空
間上の位置から、上記キーワード用の意味空間を用いて
上記登録対象オブジェクトの近傍のキーワードを選出す
るので、同一空間構造を有するオブジェクト用の意味空
間とキーワード用の意味空間とを対応付けて、上記登録
対象オブジェクトの近傍に位置しているキーワードを容
易に選出できる。

【０１９７】また、請求項４に係る発明のキーワード付
与方法は、上記意味空間をオブジェクト用の意味空間と
キーワード用の意味空間とに分けて用意し、上記オブジ
ェクト用の意味空間上における上記登録対象オブジェク
トの位置の近傍からｎ個のオブジェクトを選出し、この
ｎ個のオブジェクトの上記オブジェクト用の意味空間上
における位置から注目位置を求め、この注目位置に基づ
いて、上記キーワード用の意味空間を用いて上記登録対
象オブジェクトの近傍のキーワードを選出するので、同
一空間構造を有するオブジェクト用の意味空間とキーワ
ード用の意味空間とを対応付けて、上記登録対象オブジ
ェクトの近傍に位置しているキーワードを容易に選出で
きる。

【０１９８】また、請求項５に係る発明のキーワード自
動付与装置は、複数のオブジェクトとこれらのオブジェ
クトに付与されたキーワードとが配置された２次元以上
の意味空間の情報を意味空間格納手段に格納し、特徴量
抽出手段によって登録対象オブジェクトの特徴量を抽出
し、上記特徴量に基づいて、オブジェクト位置算出手段
によって上記登録対象オブジェクトの上記意味空間上の
位置を求め、キーワード選出手段によって上記登録対象
オブジェクトの位置の近傍のキーワードを選出し、この
選出されたキーワードをキーワード付与手段によって上
記登録対象オブジェクトに付与するので、複数のオブジ
ェクトと付与されたキーワードとに基づいて数量化理論
III類等の多変量解析によって容易に得られる上記意味
空間を用いることによって、上記登録対象オブジェクト
に相応しいキーワードを、簡単に且つ自動的に選出でき
る。したがって、オブジェクト登録の際に、相応しいキ
ーワードを選出して付与するという非常に面倒な作業か
らユーザを解放し、オブジェクト登録作業を効率よく行
うことができる。

【０１９９】さらに、上記意味空間格納手段に、使用分
野や用途に応じた複数のオブジェクトとこれらのオブジ
ェクトに付与されたキーワードとが配置された意味空間
の情報を記憶しておけば、上記使用分野や用途に応じた
適当なキーワード付与することができる。

【０２００】また、請求項６に係る発明のキーワード自
動付与装置は、相関関係算出手段によって、複数のオブ
ジェクトに関する上記意味空間上の位置と特徴量との相
関関係を正凖相関分析によって求め、上記オブジェクト
位置算出手段は、上記相関関係を用いて、上記登録対象
オブジェクトの特徴量に基づいて上記登録対象オブジェ
クトの上記意味空間上の位置を求めるので、登録対象オ
ブジェクトの特徴量から上記登録対象オブジェクトの上
記意味空間上の位置を正しく求めることができる。した
がって、上記登録対象オブジェクトにより相応しいキー
ワードを付与できる。

【０２０１】また、請求項７に係る発明のキーワード自
動付与装置は、上記意味空間の情報をオブジェクト用の
意味空間とキーワード用の意味空間とに分けて格納し、
上記キーワード選出手段は、上記オブジェクト用の意味
空間上における登録対象オブジェクトの近傍のオブジェ
クトをｎ個抽出する近傍オブジェクト抽出手段と、この
ｎ個のオブジェクト夫々の位置から、上記キーワード用
の意味空間を用いて上記登録対象オブジェクトの近傍の
キーワードを抽出する近傍キーワード抽出手段を有する
ので、同一空間構造を有するオブジェクト用の意味空間
とキーワード用の意味空間とを対応させて、上記登録対
象オブジェクトの近傍に位置しているキーワードを容易
に選出できる。

【０２０２】また、請求項８に係る発明のキーワード自
動付与装置は、上記意味空間の情報をオブジェクト用の
意味空間とキーワード用の意味空間とに分けて格納し、
上記キーワード選出手段は、上記オブジェクト用の意味
空間上における登録対象オブジェクトの近傍のオブジェ
クトをｎ個抽出する近傍オブジェクト抽出手段と、この
ｎ個のオブジェクトの位置から注目位置を求める注目位
置算出手段と、上記注目位置に基づいて、上記キーワー
ド用の意味空間を用いて上記登録対象オブジェクトの近
傍のキーワードを抽出する近傍キーワード抽出手段を有
するので、同一空間構造を有するオブジェクト用の意味
空間とキーワード用の意味空間とを対応させて、上記登
録対象オブジェクトの近傍に位置しているキーワードを
容易に選出できる。

【０２０３】また、請求項９に係る発明のプログラム記
憶媒体は、登録対象オブジェクトの特徴量を抽出し、複
数のオブジェクトとこれらのオブジェクトに付与された
キーワードとが配置された２次元以上の意味空間上の上
記登録対象オブジェクトの位置を上記特徴量に基づいて
求め、上記登録対象オブジェクトの位置の近傍のキーワ
ードを選出して上記登録対象オブジェクトに付与するプ
ログラムを記憶しているので、上記登録対象オブジェク
トの特徴量から上記意味空間上の位置を求めることがで
きる。したがって、上記登録対象オブジェクトの上記意
味空間上の位置から、付与するに相応しいキーワードを
容易に得ることができる。

【０２０４】また、請求項１０に係る発明のプログラム
記憶媒体は、複数のオブジェクトに関する上記意味空間
上の位置と特徴量との相関関係を正凖相関分析で求め、
この相関関係を用いて、上記登録対象オブジェクトの特
徴量に基づいて上記意味空間上の位置を求めるプログラ
ムを記憶しているので、登録対象オブジェクトの特徴量
から上記登録対象オブジェクトの上記意味空間上の位置
を正しく求めることができる。したがって、登録対象オ
ブジェクトにより相応しいキーワードを付与できる。

【図面の簡単な説明】

【図１】この発明のキーワード自動付与装置が搭載され
た検索装置の機能ブロック図である。

【図２】図１に示す機能を実現する装置構成を示す図で
ある。

【図３】図１に示す機能を実現するハードウェアのＣＰ
Ｕを中心としたブロック図である。

【図４】図３におけるＣＰＵによる制御の下に実行され
る基本処理動作のフローチャートである。

【図５】図１における辞書作成処理部によって実行され
る辞書作成処理サブルーチンのフローチャートである。

【図６】サンプルデータの説明図である。

【図７】図５に示す辞書作成処理中において実行される
辞書全体の構築処理サブルーチンのフローチャートであ
る。

【図８】図１における軸追加部によって実行される軸追
加処理サブルーチンのフローチャートである。

【図９】図１におけるキーワード登録処理部によって実
行されるキーワード登録処理サブルーチンのフローチャ
ートである。

【図１０】図１におけるベクトル変換係数作成部によっ
て実行されるベクトル変換係数作成処理サブルーチンの
フローチャートである。

【図１１】図１における画像データ登録処理部によって
実行される画像データ登録処理サブルーチンのフローチ
ャートである。

【図１２】図１１に示す画像データ登録処理中において
実行される画像データ取り込み処理サブルーチンのフロ
ーチャートである。

【図１３】図１１に示す画像データ登録処理中において
実行されるキーワード自動設定処理サブルーチンのフロ
ーチャートである。

【図１４】図１におけるベクトル変換部によって実行さ
れるベクトル変換処理サブルーチンのフローチャートで
ある。

【図１５】図１３に示すキーワード自動設定処理中にお
いて実行される近傍画像抽出処理サブルーチンのフロー
チャートである。

【図１６】図１３に示すキーワード自動設定処理中にお
いて実行される画像近傍キーワード抽出処理サブルーチ
ンのフローチャートである。

【図１７】図１における付加情報入力処理部によって実
行される付加情報入力処理サブルーチンのフローチャー
トである。

【図１８】図１７に示す付加情報入力処理中において実
行されるキーワード付加処理サブルーチンのフローチャ
ートである。

【図１９】図１における付加情報変更処理部によって実
行される付加情報変更処理サブルーチンのフローチャー
トである。

【図２０】図１３に示すキーワード自動設定処理の概念
を示す図である。

【図２１】図１３とは異なるキーワード自動設定処理サ
ブルーチンのフローチャートである。

【図２２】図２１に示すキーワード自動設定処理の概念
を示す図である。

【符号の説明】

１…入力部、 ２…キーワード登
録処理部、３…キーワード格納部、 ４…画
像データ検索処理部、５…表示部、
６…辞書作成処理部、７…軸追加部、
９…ベクトル変換係数作成処理部、１１…画像
データ登録処理部、 １２…画像データ格納部、１
３…付加情報変更処理部、 １４…キーワード自
動設定処理部、１５…特徴量抽出部、 １
６…ベクトル変換部、１７…付加情報入力処理部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 記憶部に登録するオブジェクトにキーワ
   ードを自動的に付与するキーワード付与方法であって、 複数のオブジェクトとこれらのオブジェクトに付与され
   たキーワードとが配置された２次元以上の意味空間を用
   意し、 登録対象オブジェクトの特徴量を抽出し、 上記特徴量に基づいて、上記登録対象オブジェクトの上
   記意味空間上の位置を求め、 上記意味空間上に配置されているキーワードのうち、上
   記登録対象オブジェクトの位置の近傍に位置しているキ
   ーワードを選出して、上記登録対象オブジェクトに付与
   することを特徴とするキーワード付与方法。
2. 【請求項２】 請求項１に記載のキーワード付与方法に
   おいて、 複数のオブジェクトに関する上記意味空間上の位置と特
   徴量とに対して正凖相関分析を行って、上記複数のオブ
   ジェクトに関する上記意味空間上の位置と特徴量との相
   関関係を求め、 上記相関関係を用いて、上記登録対象オブジェクトの特
   徴量に基づいて上記登録対象オブジェクトの上記意味空
   間上の位置を求めることを特徴とするキーワード付与方
   法。
3. 【請求項３】 請求項１に記載のキーワード付与方法に
   おいて、 上記意味空間は、上記複数のオブジェクトが配置されて
   いるオブジェクト用の意味空間と、このオブジェクト用
   の意味空間と同一空間構造を有すると共に、上記複数の
   オブジェクトに付与されたキーワードが配置されている
   キーワード用の意味空間とに分けて用意されており、 上記オブジェクト用の意味空間上における上記登録対象
   オブジェクトの位置の近傍に位置しているｎ個のオブジ
   ェクトを選出し、 この選出されたｎ個のオブジェクト夫々の上記オブジェ
   クト用の意味空間上における位置に基づいて、上記キー
   ワード用の意味空間を用いて、上記登録対象オブジェク
   トの近傍に位置するキーワードを選出することを特徴と
   するキーワード付与方法。
4. 【請求項４】 請求項１に記載のキーワード付与方法に
   おいて、 上記意味空間は、上記複数のオブジェクトが配置されて
   いるオブジェクト用の意味空間と、このオブジェクト用
   の意味空間と同一空間構造を有すると共に、上記複数の
   オブジェクトに付与されたキーワードが配置されている
   キーワード用の意味空間とに分けて用意されており、 上記オブジェクト用の意味空間上における上記登録対象
   オブジェクトの位置の近傍に位置しているｎ個のオブジ
   ェクトを選出し、 この選出されたｎ個のオブジェクトの上記オブジェクト
   用の意味空間上における位置に基づいて、上記オブジェ
   クト用の意味空間上における注目位置を求め、 上記注目位置に基づいて、上記キーワード用の意味空間
   を用いて、上記登録対象オブジェクトの近傍に位置する
   キーワードを選出することを特徴とするキーワード付与
   方法。
5. 【請求項５】 記憶部に登録するオブジェクトにキーワ
   ードを自動的に付与するキーワード自動付与装置であっ
   て、 複数のオブジェクトとこれらのオブジェクトに付与され
   たキーワードとが配置された２次元以上の意味空間の情
   報が格納された意味空間格納手段と、 登録対象オブジェクトの特徴量を抽出する特徴量抽出手
   段と、 上記特徴量に基づいて、上記登録対象オブジェクトの上
   記意味空間上の位置を求めるオブジェクト位置算出手段
   と、 上記意味空間上に配置されているキーワードのうち、上
   記登録対象オブジェクトの位置の近傍に位置しているキ
   ーワードを選出するキーワード選出手段と、 上記選出されたキーワードを上記登録対象オブジェクト
   に付与するキーワード付与手段を備えたことを特徴とす
   るキーワード自動付与装置。
6. 【請求項６】 請求項５に記載のキーワード自動付与装
   置において、 複数のオブジェクトに関する上記意味空間上の位置と特
   徴量とに対して正凖相関分析を行って、上記複数のオブ
   ジェクトに関する上記意味空間上の位置と特徴量との相
   関関係を求める相関関係算出手段を備えて、 上記オブジェクト位置算出手段は、上記相関関係を用い
   て、上記登録対象オブジェクトの特徴量に基づいて、上
   記登録対象オブジェクトの上記意味空間上の位置を求め
   るようになっていることを特徴とするキーワード自動付
   与装置。
7. 【請求項７】 請求項５に記載のキーワード自動付与装
   置において、 上記意味空間の情報は、上記複数のオブジェクトが配置
   されているオブジェクト用の意味空間と、このオブジェ
   クト用の意味空間と同一空間構造を有すると共に、上記
   複数のオブジェクトに付与されたキーワードが配置され
   ているキーワード用の意味空間とに分けて格納されてお
   り、 上記キーワード選出手段は、 上記オブジェクト用の意味空間上における上記登録対象
   オブジェクトの位置の近傍に位置しているオブジェクト
   をｎ個抽出する近傍オブジェクト抽出手段と、 この抽出されたｎ個のオブジェクト夫々の上記オブジェ
   クト用の意味空間上における位置に基づいて、上記キー
   ワード用の意味空間を用いて、上記登録対象オブジェク
   トの近傍に位置するキーワードを抽出する近傍キーワー
   ド抽出手段を備えたことを特徴とするキーワード自動付
   与装置。
8. 【請求項８】 請求項５に記載のキーワード自動付与装
   置において、 上記意味空間の情報は、上記複数のオブジェクトが配置
   されているオブジェクト用の意味空間と、このオブジェ
   クト用の意味空間と同一空間構造を有すると共に、上記
   複数のオブジェクトに付与されたキーワードが配置され
   ているキーワード用の意味空間とに分けて格納されてお
   り、 上記キーワード選出手段は、 上記オブジェクト用の意味空間上における上記登録対象
   オブジェクトの位置の近傍に位置しているオブジェクト
   をｎ個抽出する近傍オブジェクト抽出手段と、 この抽出されたｎ個のオブジェクトの上記オブジェクト
   用の意味空間上における位置に基づいて、上記オブジェ
   クト用の意味空間上における注目位置を求める注目位置
   算出手段と、 上記注目位置に基づいて、上記キーワード用の意味空間
   を用いて、上記登録対象オブジェクトの近傍に位置する
   キーワードを抽出する近傍キーワード抽出手段を備えた
   ことを特徴とするキーワード自動付与装置。
9. 【請求項９】 登録対象オブジェクトの特徴量を抽出
   し、 上記特徴量に基づいて、複数のオブジェクトとこれらの
   オブジェクトに付与されたキーワードとが配置された２
   次元以上の意味空間上における上記登録対象オブジェク
   トの位置を求め、 上記意味空間上に配置されているキーワードのうち、上
   記登録対象オブジェクトの位置の近傍に位置しているキ
   ーワードを選出して、上記登録対象オブジェクトに付与
   するプログラムを記憶していることを特徴とするプログ
   ラム記憶媒体。
10. 【請求項１０】 請求項９に記載のプログラム記憶媒体
    において、 複数のオブジェクトに関する上記意味空間上の位置と特
    徴量とに対して正凖相関分析を行って、上記複数のオブ
    ジェクトに関する上記意味空間上の位置と特徴量との相
    関関係を求め、 上記相関関係を用いて、上記登録対象オブジェクトの特
    徴量に基づいて上記登録対象オブジェクトの上記意味空
    間上の位置を求めるプログラムを記憶していることを特
    徴とするプログラム記憶媒体。