JP2624969B2 - 画像検索装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は形容詞などの感覚表現語をキーワードに用い
てその表現語のイメージの持つ画像を素早く検索できる
画像検索装置に関する。

人間の感性を刺激する絵画や写真等の画像をコンピュ
ータに多数蓄積して画像データベースを構築し，必要に
応じて自分のイメージした画像を素早く引き出せるよう
にしたいといった要求を，商品コンセプトに基づいて新
しい造形を行う工業デザイナーやプランナーの多くが持
っている。この場合，所望の画像の検索を，「暖か
い」，「近代的な」といった画像をイメージとして捕ら
えた感覚的な表現語を用いて行えると非常に便利であ
り，その場合には画像を検索するキーワードとして多種
多様の表現語を用いることができ，また検索対象となる
画像を多数蓄積することが望まれる。

〔従来の技術〕

従来，多数の画像を蓄積したデータベースから所望の
画像を検索するには，検索すべき画像を特定するキーワ
ード，例えば「ゴッホのひまわり」等のように作者名や
作品名等で対象を特定する言葉を用いている（例えば特
開昭60−93571号公報参照）。この場合，画像の数だけ
特定のキーワードが個々に必要となることになり，検索
者が検索対象の画像を特定するキーワードを知っていな
い場合には所望する画像の検索は容易ではない。

一方，画像をイメージ的に捕らえ，例えば「非常に日
本風でやや懐しいイメージ」といった感覚的な言葉をキ
ーワードとして画像を検索できれば便利であるが，従来
はこのような方法で画像を検索する画像検索装置は知ら
れていない。

〔発明が解決しようとする問題点〕

画像をイメージ的に捕らえて感覚的な言葉を用いて画
像検索を行おうとする場合，ある画像から連想されるイ
メージは多様でかつ曖昧であり，したがってそのキーワ
ードも多種多様になる。例えば「暖かい」，「近代的
な」といった感覚属性とそのような感覚属性を持つ画像
との対応づけは極めて曖昧である。このため感覚属性の
表現を用いて画像検索を行うには，予め個々の画像に対
してあらゆる感覚属性を評価しておき，それらを個々の
画像の属性データとしてすべて登録しておく必要があ
る。しかし，画像の持つイメージが曖昧であり多様な表
現が可能なことからもわかるように，画像と感覚表現を
結び付ける情報の量は膨大であり，よって感覚属性と画
像との対応づけ作業は多大な労力と時間を必要とし，感
覚属性と画像との関連度の記述あるいは処理機構は極め
て複雑となる。したがって従来は，感覚属性表現をキー
ワードにして画像を検索することは事実上不可能であっ
た。

したがって本発明の目的は，形容詞等の感覚を表現す
る多種多様の表現語をキーワードに用いてその表現語で
イメージされる画像を多量の画像データベースから迅速
に検索することができる画像検索装置を提供することに
ある。

〔問題点を解決するための手段〕

第１図は本発明にかかる画像検索装置を概略的に示す
ブロック図である。

上述の目的を達成するために，本発明にかかる画像検
索装置は，複数の画像を記憶する画像記憶手段50と，画
像から受けるイメージを表現する多数の表現語から共通
的感覚を持つ少数の因子を抽出し，この多数の表現語の
各々についてその表現語と該各因子との関連度をその表
現語の因子負荷量として記憶する表現語属性記憶手段51
と，多数の画像の各々についてその画像と各因子との関
連度をその画像の因子得点として記憶する画像属性記憶
手段52と，検索対象となる画像を表現する１以上の表現
語を入力する入力手段53と，入力手段53で入力された表
現語の因子負荷量を表現語属性記憶手段51の記憶情報を
参照して求め，この求められた因子負荷量にもとづき画
像属性記憶手段52の記憶情報を参照して検索対象画像を
特定する画像特定手段54と，画像特定手段54で特定され
た画像を画像記憶手段50の記憶情報を用いて表示する画
像表示手段55とを具備してなる。

〔作用〕

画像をイメージ的に捕らえる表現語を用いて画像を検
索する場合，表現語と画像との対応関係が極めて曖昧な
ことが問題となるが，本発明においては，感覚表現語で
定義される概念的なイメージ空間を創成し，このイメー
ジ空間に画像をマッピングして特定化することによって
画像の持つ曖昧なイメージを定量化し，このイメージ空
間を介して感覚表現語から画像を特定化して検索するも
のである。

すなわち，まず形容詞などの視覚心理的感覚を表現す
る言葉を多数用意し，これらから共通的な視覚心理的感
覚を与える主要な因子を抽出する。例えば「活発な」，
「陽気な」，「明るい」などは或る共通感覚の視覚心理
を与える因子を主として持ち，「高級な」，「立派な」
などは他の共通感覚の視覚心理を与える因子を主として
持つと考えらる。多数の表現語について官能評価試験を
した結果では,6個の視覚心理因子で人間の視覚心理の大
半を説明できることが判明された。

次にこれらの因子を視覚心理因子軸として用いて定義
されるイメージ空間を作成する。このイメージ空間は因
子数が６の場合は６次元空間として表現される。そして
各表現語について官能評価を行ってその表現語とイメー
ジ空間の各因子軸との関連度（相関係数あるいは重み係
数）をその表現語の因子負荷量として求め，それにより
全ての表現語をイメージ空間にマッピングする。求めら
れた因子負荷量は各表現語対応に表現語属性記憶手段51
に格納する。このように表現語の因子負荷量を求めるこ
とによりその表現語をイメージ空間の特定位置にマッピ
ングすることができ，表現語属性記憶手段51には各表現
語のイメージ空間におけるマッピング情報が格納され
る。

同様に多数の画像についても，各因子を代表すると考
えられる少数の表現語を用いて各々官能評価を行い，画
像と各因子軸との関連度をその画像の因子得点として求
め，それにより，全ての画像をイメージ空間にマッピン
グする。画像の因子得点は各画像対応に画像属性記憶手
段52に格納され，イメージ空間における画像のマッピン
グ情報となる。このようにして多数の表現語と多数の画
像は，同一のイメージ空間にそれぞれマッピングされ，
表現語および画像の持つ曖昧なイメージはこのイメージ
空間によって定量化されたことになる。

第２図はこのようなイメージ空間の理解を容易にする
ため，因子軸が２つの場合についてイメージ空間を想定
し示したものである。第１因子軸として「高級な」など
の画像の豊かさを表す因子が，また第２因子軸として
「暖かい」などの暖かさを表す因子が採用されている。
各軸は一方から他方に移行するに従い感覚の陽陰の対応
づけがされており，例えば第１因子軸は右側に移動する
に従い一層豊かな感じを与え，左側に移動するに従い一
層貧しい感じを与えるものである。第２図のイメージ空
間ではこのような二つの因子を用いて表現語と画像がマ
ッピングされており，表現語は○印で示され，画像は□
印で示されている。

画像検索は，検索対象となる画像のイメージを表現し
た言葉を入力手段53で入力することにより行われる。例
えば「非常に日本的でやや懐かしい」などの表現を入力
する。すると画像特定手段54はこのような表現語の因子
負荷量すなわちイメージ空間におけるマッピング方向
（ベクトル）を表現語属性記憶手段51に格納されている
因子負荷量データを参照して算出し，さらにこの位置ベ
クトル方向にマッピングされている画像を画像属性記憶
手段51に格納されている因子得点データを参照して特定
する。この画像の数は一般に複数となる。

このようにして検索された画像は次に画像表示手段55
で表示される。

〔実施例〕

以下，本発明の実施例を図面を参照して説明する。

本発明の一実施例としての画像検索装置が第３図に示
される。この画像検索装置はデザイン等，現場での利用
および複数の利用者を想定し，形容詞情報や画像属性情
報をセンターのホストコンピュータ３上で一括管理する
ようにし，このホストコンピュータ３に端末装置２を通
信回線を介して接続するようにシステム構成されてい
る。従って第３図中では端末装置２は一つのみが示され
ているが，実際には複数の端末装置がホストコンピュー
タ３に接続されているものである。

ホストコンピュータ３は情報検索・管理用ソフトの
他，端末装置２からの検索要求を受け付ける通信制御ソ
フトを備えており，さらにデータベースとして後述する
形容詞属性情報および画像属性情報を蓄積している。

端末装置２は端末本体装置20,キーボード21,マウス2
2,ディスプレイ23等を含み鋼製され，光ディスク装置１
に接続されている。この端末装置２はホストコンピュー
タ３との間で情報やメッセージを送受信するための通信
ソフトの他，利用者とのマンマシーンインタフェースを
容易にする画面制御用ソフト，画像出力コマンドの送信
と光ディスク装置１の状態を監視する画像出力制御用ソ
フトを備える。

光ディスク装置１は高品質のイメージ画像を得ること
ができるように高精細，高解像度の追記型光ディスク装
置が採用されており，光ディスク制御装置10,最大2000
枚の画像を蓄積できる光ディスクドライブ装置11,およ
び，臨場感のある大画面プロジェクタ12を備えている。

ホストコンピュータ３のデータベースとして蓄積され
る形容詞情報および画像属性情報の作成手順が以下に説
明される。これらは因子分析法を用い,20代ないし40代
の男女約150人に対して50枚のスライド画像によるSD官
能評価実験を実施することによって作成されたものであ
る。

まず絵や写真等の静止画像を視覚イメージで評価でき
ると考えられる形容詞を収集し，これらの類語を整理し
て180対の形容詞対を形容詞尺度として作成する。第１
表はかかる視覚イメージ評価用形容詞対の一例を示した
ものである。

つぎにこれらの形容詞対から人間の視覚心理の基本的
な因子となると考えられる因子を抽出する。この因子抽
出の方法は，例えば各種のジャンルに及ぶ代表的なスラ
イド画像を50枚選択し，各画像に対して180対の形容詞
対を用いてSD法（意味微分法）による官能評価を行う。
この官能評価は形容詞対に重み付けを行い，重み付けさ
れた形容詞対で各画像を評価することによる。例えば
〔ホット−クール〕という形容詞対を第４図に示すよう
に７レベルに分けて「非常に」，「かなり」，「やや」
等の重み付けをし，この重み付けされた形容詞対を用い
て画像を評価して１〜７の得点を与える。これを180対
の形容詞対全てについてそれぞれ行い，さらにこの手順
を50枚の画像全てについて行う。

以上にようして官能評価を行った結果を表にまとめる
と第２表に示されたようなものとなる。

この評価結果を検討すると，いくつかの形容詞対は各
画像に対して同じような傾向で得点を得る現象が見られ
る。この場合，これらの形容詞対はそれらに共通的な感
覚を与える同一の視覚心理因子を主要素として持ってい
ると考えられる。このようにして180対の形容詞対を類
別化すると,6つの基本的な視覚心理因子が抽出される。

すなわち第１因子は「高級な」，「立派な」といった
画像の豊かさを表す因子，第２因子は「暖かい」，「フ
レンドリーな」といった暖かさを表す因子，第３因子は
「新しい」，「若い」といった画像の時間性を表す因
子，第４因子は「活発な」，「躍動した」といった画像
の動きを表す因子，第５因子は「簡素な」，「あっさり
した」といった画像のすっきり感を表す因子，および，
第６因子は「幻想的な」，「ファンタスチックな」とい
った画像の現実性を表す因子である。これら６つの因子
の寄与率すなわち180の形容詞対による全分散のうち６
因子の占める割合は78％となり，したがってこの６因子
で人間の視覚心理の大半を説明できるものと考えられ
る。

次にこの６つの因子をそれぞれ因子軸として定義され
るイメージ空間を作成する。このイメージ空間は６次元
空間として表現されており，各因子軸はその軸に沿って
陽陰の意味付けがされている。例えば第１因子軸は一方
に行くに従い豊かさを表し，他方に行くに従い貧しさを
表す。各形容詞はこのイメージ空間にマッピングされる
ものである。

次に各形容詞対について各因子との関連度すなわち６
因子に対する重み係数として因子負荷量を算出する。第
３表はかかる形容詞対の因子負荷量の算出結果の一例を
示すものである。

ここで各形容詞対の各因子に関しての因子負荷量はそ
の因子軸からの形容詞対のバラツキの度合を表してお
り，イメージ空間において形容詞対がマッピングされた
位置までの位置ベクトルと各軸とがなす角度の余弦に相
当する。かようにして求められた形容詞対の因子負荷量
は形容詞属性情報としてホストコンピュータ３のデータ
ベースに蓄積される。

画像属性情報は以下のようにして作成される。すなわ
ち，前述した180対の形容詞対のうちから６つの因子を
それぞれ代表すると考えられる形容詞対を18対選択す
る。前掲の第１表にはかかる形容詞対が＊印で示されて
いる。この18対の形容詞対を用いて画像を評価して各画
像について因子得点を算出する。第４表はかかる画像の
因子得点の１例を示すものであり，かかる因子得点が画
像属性情報としてホストコンピュータ３のデータベース
に蓄積される。

以上の説明からも明らかなように，形容詞対と画像と
は両者に共通な空間として定義されたイメージ空間にマ
ッピングされるものであり，形容詞相互間の曖昧性およ
び画像から連想されるイメージの曖昧性がこのイメージ
空間によって定量化できるものである。

上述の実施例装置の動作が第５図および第６図を参照
しつつ以下に説明される。第５図は画像検索を行うため
端末装置２のディスプレイ23の画面上に表示されるメニ
ューの一例を示すものであり,231は画像対象分野エリ
ア,232は形容詞分類エリア,233は形容詞エリア,234は軸
方向探索エリア,235は選択スイッチエリアである。また
第６図は画像検索の手順を示す流れ図である。

検索を所望する画像のイメージを入力するには，マウ
ス22を用いてディスプレイ23の画面上でカーソルを移動
させて各エリアのメニューを選択することによる。まず
対象分野エリア231により検索対象の物理的属性を「風
景」「建造物」等に限定するか否かを決定する（ステッ
プS2,S3）。次に形容詞分類エリア232により形容詞のイ
メージを大まかに選択する。この選択に応じて形容詞エ
リア233に形容詞分類エリア232で大まかに選択された分
類の詳細な内容である形容詞が表示されるので，さらに
所望する形容詞をカーソルで選択する（ステップS4）。
このような形容詞の選択は一度に複数個可能であり，さ
らに各形容詞に重み付けをすることも可能である。よっ
て例えば「非常に贅沢でメカニカルなイメージ」といっ
た重み付き複合語の入力が可能である。

このようにして入力された重み付き複合語の総合因子
負荷量が，データベースの形容詞属性情報を参照しつつ
次式によって算出される。

ここでａは因子負荷量,iは形容詞数,wはウェイト,qは
因子数である。

この総合因子負荷量を算出することによって重み付き
複合語がイメージ空間において占める位置を特定するこ
とができる。この重み付き複合語によって検索対象とな
る画像は，イメージ空間の原点を中心とし，計算された
総合負荷量方向（ベクトル）となす角度が或る一定微少
角（ε）以内の領域にマッピングされた画像群であり，
かかる画像群がデータベースの画像属性情報を参照して
検索され，それら画像が光ディスク装置１の光ディスク
ドライブ装置11から順次に読み出されて大画面プロジェ
クタ12に表示される（ステップS5）。

以上のようにして検索した画像が自分のイメージにあ
っていない場合はキーワードを再び入力し直すか，ある
いは因子軸方向の探索を行う（ステップS6,S7）。因子
軸方向の探索機能は，因子軸方向の意味の重み付けの度
合を軸方向探索エリア234によって代えることにより，
利用者が自由に検索方向を操作し，それにより現在表示
されている画像から因子軸方向に徐々に新たな画像を探
索するものである。移動後の点（新しい因子負荷量）
は，空間上現在点の位置ベクトルを指定軸方向に回転さ
せることによって得られる。この機能よって検索者は検
索された画像と自分の抱くイメージとの隔たりを補正し
ていくことができる。なお，この現在位置は探索エリア
234に表示されるようになっている。

本実施例装置では，「画像対象」，「形容詞」，「探
索方向」によって検索，表示された画像から，逆に形容
詞の検索が可能である。これは形容詞から画像の特定化
と同様な方法によるもので，現在検索されている画像の
方向に対して角度ε以内の領域に属する形容詞を逆にイ
メージ空間から探索し表示するものである。この機能
は，検索された画像のイメージ評価や新しく追加された
画像のイメージの確認作業等に利用できるものである。

本発明の実施にあたっては種々の変更態様が可能であ
る。上述の実施例では画像のイメージを表現する感覚表
現語として形容詞を用いたが，勿論これに限定されるも
のではない。用い得る表現語の数や蓄積し得る画像の数
も実施例のものに限られるものではない。また主要な視
覚心理因子の数も，最適には実施例に示した６個である
が，勿論これに限定されるものではなく，多少の増減に
よっても本発明を実施し得る。

〔発明の効果〕

本発明によれば，画像をイメージ的に捕らえた言葉を
キーワードとして所望の画像を容易かつ迅速に探索する
ことが可能となる。

本発明は形容詞等の表現語の持つ意味の曖昧性および
画像の持つイメージの曖昧性をイメージ空間で定量化し
たため画像の評価を各因子軸を代表する少数の表現語に
よって行えるものであるから，入力表現語および蓄積画
像の数が多大となってもその処理は複雑とならず，よっ
て多種多様な表現をキーワードとして多大な量の蓄積画
像から所望の画像を検索できる画像探索システムを構築
できるものであり，このシステムにおいては蓄積画像の
追加も容易に行えるものである。

また対象を特定しての検索ではないので，画像の正確
な属性，例えば作品名や作家名を知らなくても検索が可
能であり，対象が広範囲になっても検索が複雑となら
ず，あたかも画集をみるような楽な気持で画像を検索す
ることができるものである。

【図面の簡単な説明】

第１図は本発明にかかる画像検索装置の概要を示す機能
ブロック図，第２図はイメージ空間の一例を示す図，第
３図は本発明の一実施例としての画像検索装置を示すブ
ロック図，第４図は形容詞対の重み付けを説明するため
の図，第５図は端末装置のディスプレイ画面上のメニュ
ーの一例を示す図，および，第６図は実施例装置による
検索の手順を示す流れ図である。 １……光ディスク装置,2……端末装置,3……ホストコン
ピュータ,10……光ディスク制御装置,11……光ディスク
ドライブ装置,12……大画面プロジェクタ,20……端末本
体装置,21……キーボード,22……マウス,23……ディス
プレイ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 愛知県尾張繊維技術センター年報第７ 号（昭和61年４月）Ｐ．93−106大竹昌 幸ほか「繊維デザインのシステム化に関 する研究」 情報処理学会第34回（昭和62年前期) 全国大会Ｐ．1819〜1820兵頭啓一郎ほか 「人工カラー画像のデータベース化の前 処理」 官能検査シンポジウム（昭和61年10月 １日）Ｐ．45〜Ｐ．50小谷章夫ほか「電 気製品のカラー計画におけるイメージ分 析」

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】多数の画像を記憶する画像記憶手段と， 画像から受けるイメージを表現する多数の表現語から共
   通的な感覚を持つ少数の因子を抽出し，この多数の表現
   語の各々についてその表現語と該各因子との関連度を因
   子負荷量として記憶する表現語属性記憶手段と， 該多数の画像の各々についてその画像と該各因子との関
   連度を因子得点として記憶する画像属性記憶手段と， 検索対象となる画像を表現する１以上の表現語を入力す
   る入力手段と， 該入力手段で入力された表現語の因子負荷量を該表現語
   属性記憶手段の記憶情報を参照して求め，この求められ
   た因子負荷量にもとづき該画像属性記憶手段の記憶情報
   を参照して検索対象画像を特定する画像特定手段と， 該画像特定手段で特定された画像を該画像記憶手段の記
   憶情報を用いて表示する画像表示手段と， を具備する画像検索装置。