JPH06149904A

JPH06149904A - 画像検索装置

Info

Publication number: JPH06149904A
Application number: JP4298740A
Authority: JP
Inventors: Hisayo Inosawa; 久代猪澤; Hiroshi Akahori; 裕志赤堀
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-11-09
Filing date: 1992-11-09
Publication date: 1994-05-31

Abstract

(57)【要約】【目的】画像中の物体間の距離に基づいた画像検索を
行う際に、人間が画像を見て感じる画像中の物体間の距
離を求め、画像データベースから検索者の希望する画像
を取り出せる画像検索装置を提供することを目的とす
る。【構成】縦方向距離算出部１０３が、検索対象画像の画
像特徴から、複数個のファジィルールとファジィルール
で用いるメンバシップ関数に関する知識を用いて画像の
一番手前から画像中の物体までの人間の感じる奥行きの
距離を算出して縦方向距離を求め、横方向距離算出部１
０５が、画像特徴を用いて物体から画像の水平方向の中
心線に下ろした垂線の距離を算出して横方向距離を求
め、これらの縦方向距離、横方向距離から、物体間距離
算出部１０６が、人間が画像を見て感じる物体間の距離
を求める。そして、検索者の検索条件と検索対象画像の
物体間の距離から検索対象画像の順位付けあるいはグル
ープ分けを行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データベースか
ら、利用者の希望する画像と同じ、あるいは類似した画
像を検索する画像検索装置に関するものである。

【０００２】

【従来の技術】従来の画像検索手法として、「誰々の絵
で、富士山が真ん中にあった絵」のように、作者名とい
ったテキスト情報による検索に加え、富士山が真ん中に
あるといった画像イメージに言及した内容検索が考えら
れている。

【０００３】例えば、情報処理学会論文誌 Vol.31,No.1
1,pp1636-pp1643 には、画像に付与されたテキスト情報
の他に、ユーザの問い合わせに含まれる対象の位置関係
を検索手がかりとする内容検索法が示されている。この
方法は、画像中の対象の近似多角形の頂点座標を用い
て、物体の位置関係を定義し、ユーザの問い合わせに使
用できるようになっている。

【０００４】

【発明が解決しようとする課題】上記のような従来の画
像検索装置では、物体間の距離を求める時は、物体の中
心間の距離を算出していた。しかしながら、人間が画像
を見て感じる物体間の距離は、画像上の物理的距離とは
異なるものである。

【０００５】例えば、図１１に示した画像で、２人の人
物間の距離を考える。図１１(a)と図１１(b)の画像で、
２人の人物間の距離を人物の中心間の距離とすると、物
理的な画像上での距離は、同じ距離dとなる。しかし、
図１１(a)と図１１(b)では、人物の大きさが異なってい
るので、図１１(a)よりも、図１１(b)の方が、２人の人
物間の距離は遠いと、人間は感じる。

【０００６】また、カメラの望遠レンズを用いて撮影し
た画像と、広角レンズを用いて撮影した画像では、人間
の感じる距離感は、実際の距離と大きく異なってくる。
図１２(a)は、２人の人が立っている様子を真上から見
た図である。「人物１」は、手前から、24mの位置に立
っており、「人物２」は、10mの位置に立っており、２
人の横方向の距離は5mである。例えば、このような状態
を、望遠レンズと広角レンズを用いて撮影した画像を考
える。図１２(b)は、望遠レンズを用いて写したもの、
図１２(c)は、広角レンズを用いて写したものである。
図１２(b)では、画像上で、「人物１」は5cm、「人物
２」は6.5cmの長さで写っており、図１２(c)では、「人
物１」は1.2cm、「人物２」は2.4cmの長さになってい
る。図１２(b)、(c)は、同じ状態を写した画像である
が、画像を見ると、2人の間の距離が同じであるとは見
えない。望遠レンズを用いると遠くのものが近くに見え
るので、図１２(b)は、縦方向の距離が、図１２(c)より
近く見え、２人の人物間の距離が近く感じる。

【０００７】このように、人が画像を見て感じる物体間
の距離は、画像上の物理的距離とは異なっている。ま
た、望遠レンズなどを用いて写した画像を見て、人間が
感じる物体間の距離は、実際の物体間の距離とは大きく
異なってくる。

【０００８】したがって、人間が画像を見て感じる物体
間の距離感をもとに、画像の検索を行うような場合、画
像上の物体の中心間の距離だけでは、検索者の希望する
検索結果が得られないという課題がある。

【０００９】本発明は、このような従来の画像検索方法
の課題を考慮し、人間が画像を見て感じる画像中の物体
間の距離を求め、その物体間の距離により、画像データ
ベースから検索者の希望する画像を取り出せる画像検索
装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】第１の発明（請求項１）
は、検索対象画像の画像特徴を記憶する画像特徴記憶部
と、画像特徴記憶部が記憶している検索対象画像の画像
特徴を読み出す画像特徴入力部と、複数個のファジィル
ールとファジィルールで用いるメンバシップ関数を記憶
する知識記憶部と、画像特徴入力部が取りだした画像特
徴から知識記憶部に記憶されている知識を用いて画像の
一番手前から画像中の物体までの人間の感じる奥行きの
距離を算出する縦方向距離算出部と、画像特徴入力部が
取りだした画像特徴を用いて物体から画像の水平方向の
中心線に下ろした垂線の距離を算出する横方向距離算出
部と、縦方向距離算出部と横方向距離算出部が算出した
距離から２個の物体間の距離を算出する物体間距離算出
部と、物体間距離算出部が算出した物体間距離を記憶す
る距離記憶部と、検索者の検索条件を入力する検索条件
入力部と、検索条件入力部に入力された検索者の検索条
件と距離記憶部に記憶されている検索対象画像の物体間
の距離から検索対象画像の順位付けあるいはグループ分
けを行う検索処理部と、検索処理部の結果に基づいて検
索結果を出力する結果出力部とを備えた画像検索装置で
ある。

【００１１】第２の発明（請求項３）は、検索対象画像
の画像特徴を記憶する画像特徴記憶部と、画像特徴記憶
部が記憶している検索対象画像の画像特徴を読み出す画
像特徴入力部と、複数個のファジィルールとファジィル
ールで用いるメンバシップ関数を記憶する知識記憶部
と、画像特徴入力部が取りだした画像特徴から知識記憶
部に記憶されている知識を用いて画像の一番手前から画
像中の物体までの人間の感じる奥行きの距離を算出する
縦方向距離算出部と、画像特徴入力部が取りだした画像
特徴を用いて物体から画像の水平方向の中心線に下ろし
た垂線の距離を算出する横方向距離算出部と、縦方向距
離算出部が求めた縦方向距離から２個の物体の縦方向距
離の差を求める縦方向距離差算出部と、横方向距離算出
部が求めた横方向距離から２個の物体の横方向距離の差
を求める横方向距離差算出部と、縦方向距離差算出部が
算出した縦方向距離差と横方向距離差算出部が算出した
横方向距離差を記憶する距離差記憶部と、検索者の検索
条件を入力する検索条件入力部と、検索条件入力部に入
力された検索者の検索条件と距離差記憶部に記憶されて
いる検索対象画像の物体間の縦方向距離差と横方向距離
差から検索対象画像のグループ分けを行う検索処理部
と、検索処理部の結果に基づいて検索結果を出力する結
果出力部とを備えた画像検索装置である。

【００１２】

【作用】第１の発明では、画像特徴記憶部が、検索対象
画像の画像特徴を記憶し、画像特徴入力部が、画像特徴
記憶部が記憶している検索対象画像の画像特徴を読み出
し、知識記憶部が、複数個のファジィルールとファジィ
ルールで用いるメンバシップ関数を記憶し、縦方向距離
算出部が、画像特徴入力部が取りだした画像特徴から知
識記憶部に記憶されている知識を用いて画像の一番手前
から画像中の物体までの人間の感じる奥行きの距離を算
出し、横方向距離算出部が、画像特徴入力部が取りだし
た画像特徴を用いて物体から画像の水平方向の中心線に
下ろした垂線の距離を算出し、物体間距離算出部が、縦
方向距離算出部と横方向距離算出部が算出した距離から
２個の物体間の距離を算出し、そして、距離記憶部が、
物体間距離算出部が算出した物体間距離を記憶してお
く。他方、検索条件入力部から、検索者の検索条件を入
力すると、検索処理部が、検索条件入力部に入力された
検索者の検索条件と距離記憶部に記憶されている検索対
象画像の物体間の距離から検索対象画像の順位付けある
いはグループ分けを行い、結果出力部が、検索処理部の
結果に基づいて検索結果を出力する。

【００１３】第２の発明では、縦方向距離差算出部が、
上記縦方向距離算出部が求めた縦方向距離から２個の物
体の縦方向距離の差を求め、横方向距離差算出部が、上
記横方向距離算出部が求めた横方向距離から２個の物体
の横方向距離の差を求め、距離差記憶部が、縦方向距離
差算出部が算出した縦方向距離差と横方向距離差算出部
が算出した横方向距離差を記憶しておく。他方、検索条
件入力部から検索者の検索条件を入力すると、検索処理
部が、検索条件入力部に入力された検索者の検索条件と
距離差記憶部に記憶されている検索対象画像の物体間の
縦方向距離差と横方向距離差から検索対象画像のグルー
プ分けを行い、結果出力部が、検索処理部の結果に基づ
いて検索結果を出力する。

【００１４】本発明は、このようにして、画像中に存在
する物体に関して、人間が画像を見て感じる物体間の距
離を求めることができる。そして、画像中の物体間の距
離に関する検索要求に対して、求めた物体間の距離を用
いて検索を行うので、検索者の希望する画像に類似した
画像を画像データベースから取り出すことができる。

【００１５】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００１６】図１は本発明の第１の発明の一実施例であ
る画像検索装置の構成を示すブロック図である。図１に
おいて、画像特徴記憶部１０１は、検索対象画像の画像
特徴を記憶する手段、画像特徴入力部１０２は画像特徴
記憶部１０１が記憶している検索対象画像の画像特徴を
読み出す手段、縦方向距離算出部１０３は人間が画像を
見て感じる画像の一番手前から物体までの奥行きの距離
を算出する手段、知識記憶部１０４は複数個のファジィ
ルールとファジィルールで用いるメンバシップ関数を記
憶する手段、横方向距離算出部１０５は物体から画像の
水平方向の中心線に下ろした垂線の距離を算出する手
段、物体間距離算出部１０６は画像中の２個の物体間の
距離を算出する手段、距離記憶部１０７は物体間距離算
出部１０６が算出した物体間距離を記憶する手段、検索
条件入力部１０８はユーザの検索条件を入力する手段、
検索処理部１０９は検索条件入力部１０８に入力された
ユーザの検索条件と距離記憶部１０７に記憶されている
検索対象画像の物体間の距離を比較し、検索対象画像を
順位付け、あるいはグループ分けを行う手段、結果出力
部１１０は検索処理部１０９が行った検索対象画像の順
位付け、あるいはグループ分けに基づいて検索結果を出
力する手段である。

【００１７】以上のように構成された本実施例の画像検
索装置の動作について次に説明する。ここでは、図２に
示したような画像中に複数の人物が写っている画像を取
り扱い、人間が画像を見て感じる２人の人物間の距離を
求め、ユーザの入力した人物間の距離に基づいた検索条
件により画像を検索することとする。

【００１８】まず、本実施例の画像検索装置における、
画像中の人物間の距離の求め方を説明する。ここでは、
図３のような２人の人物が存在する場面を写した画像を
考え、この２人の人物間の距離を求める。図３の画像
は、５１２×４８０ドットの画像であり、画像中の人物
の位置を表すために、ｘ軸、ｙ軸を図のようにとる。

【００１９】画像特徴量記憶部１０１には、検索対象画
像として登録してある画像中の人物の画像特徴が記憶さ
れている。画像特徴としては、画像中の人物の位置、面
積、高さ、主要色などが考えられるが、ここでは、人物
の画像上での高さと位置が与えられる。図３の画像特徴
として、人物１は、高さL₁、位置(x₁,y₁)、人物２は、
高さL₂、位置(x₂,y₂)が得られたとき、画像特徴記憶部
１０１には、（表１）に示すような情報が記憶されてい
る。

【００２０】画像特徴入力部１０２は、画像特徴記憶部
１０１から人物間の距離を求める画像の人物の画像特徴
を取りだす。図３の画像について人物間の距離を求める
際は、画像特徴記憶部１０１から、人物１の画像特徴と
して、高さL₁、位置(x₁,y₁)、人物２の画像特徴とし
て、高さL₂、位置(x₂,y₂)が、取り出される。

【００２１】

【表１】

【００２２】本実施例では、次に説明する２個の距離を
まず求めてから、人物間の距離を求める。図４は、図３
の画像における２人の人物の状態を上から見た図であ
り、画像の水平方向の中心線である図３のｙ軸の位置
が、図４においてlineで示されている。人物間の距離を
求めるための１個目の距離は、図４において、rx₁,rx₂
で示された距離である。これは、各人物からlineに下ろ
した垂線の距離である。以下この距離を横方向距離と呼
ぶ。２個目の距離は、人間が画像を見て感じる画像の一
番手前から人物までの奥行きの距離である。以下この距
離を縦方向距離と呼ぶ。縦方向距離は、図４において、
ry₁',ry₂'で示された距離に対応するものであるが、実
際の距離ではなく、人間が画像を見て感じる距離ry₁,ry
₂である。

【００２３】縦方向距離算出部１０３では、画像特徴入
力部１０２が取り出した人物の画像特徴を用いて、人物
の縦方向距離を求める。知識記憶部１０４には、縦方向
距離算出部１０３が用いる、画像特徴から縦方向距離を
求めるためのファジィルールとファジィルールで用いる
メンバシップ関数が記憶されている。例えば、画像特徴
g₁,g₂,g₃ から、縦方向距離RYを求めるとき、知識記憶
部１０４には、以下のようなファジィルールが記憶され
ている。 R₁: If g₁ = A₁₁, g₂ = A₁₂, g₃ = A₁₃ then RY = B₁ R₂: If g₁ = A₂₁, g₂ = A₂₂, g₃ = A₂₃ then RY = B₂ ・・・・・・・・・・・・・ R_n: If g₁ = A_n1, g₂ = A_n2, g₃ = A_n3 then RY = B_n ここで、A₁₁,A₂₁,…,A_n1,A₁₂,A₂₂,…,A_n2,A₁₃,A₂₃,…,A
_n3,B₁,B₂,…,B_nはメンバシップ関数を表すラベルであ
る。また、B₁,B₂,…,B_nは実数値でもよい。これらの、
ファジィルールとメンバシップ関数を用いてファジィ推
論を行うことにより、縦方向距離RYを求める。本実施例
では、縦方向距離算出部１０３は、画像特徴入力部１０
２から得た、画像上の人物の高さlengthから、縦方向距
離RYを求める。画像中の人物が大きいほど、手前にいる
人物であると人間には見えるので、これをファジィルー
ルに表すと例えば次のようになる。 R1: If length = small then RY = far R2: If length = medium then RY = medium R3: If length = large then RY = near small, medium,…といったメンバシップ関数は、図５に
示すような関数が用いられる。また、B₁,B₂,…,B_nが実
数値である場合のファジィルールの例は、（数１）のよ
うになる。

【００２４】

【数１】

【００２５】（数１）で用いた４５ぐらい、７５ぐらい
を表すメンバシップ関数を図６に示す。これらのファジ
ィルール及びメンバシップ関数は、例えば、「人物がど
のくらいの大きさで画像中に写っていれば、どのくらい
距離があるように感じるか」というアンケートをもとに
作成したり、「実際の距離が既知である場合にどのくら
いの大きさで写るのか」といった実験をもとに作成す
る。これらのファジィルールとメンバシップ関数を用い
て、縦方向距離算出部１０３は、図３に示した画像につ
いて、人物１の高さL₁、人物２の高さL₂から、画像の一
番手前から人物までの奥行き距離ry₁,ry₂を求める。

【００２６】横方向距離算出部１０５では、画像特徴入
力部１０２が取り出した人物の画像特徴を用いて、人物
の横方向距離を求める。本実施例では、画像中の人物の
高さと位置から、横方向距離を求める。ここで、画像上
の人物の高さをlength、位置を(X,Y)、人物の身長をMAN
として、横方向距離RXを（数２）を用いて求める。図３
の画像では、人物１の画像上での高さがL₁、位置が(x₁,
y₁)、人物２の画像上での高さがL₂、位置が(x₂,y₂)であ
るので、rx₁,rx₂は、（数３）のように求められる。MAN
は、検索対象画像に写っている人物の身長から、標準的
な値を選択して用いる。

【００２７】

【数２】

【００２８】

【数３】

【００２９】つぎに、物体間距離算出部１０６が、縦方
向距離算出部１０３が求めた縦方向距離と横方向距離算
出部１０５が求めた横方向距離を用いて、人物間の距離
を求める。ここで、図３の画像で考えると、横方向距離
rx₁,rx₂と縦方向距離ry₁,ry₂から、物体間距離算出部１
０６は、（数４）を用いて、人物１と人物２の間の距離
ｄを求める。

【００３０】

【数４】

【００３１】距離記憶部１０７では、物体間距離算出部
１０６で求めた人物間の距離を記憶する。例えば、（表
２）のようにして、検索対象画像中の人物間の距離を記
憶しておく。

【００３２】

【表２】

【００３３】次に本実施例の画像検索装置の画像検索の
方法について説明する。

【００３４】検索条件入力部１０８に画像中の２人の人
物間の距離に基づいたユーザの検索条件を入力する。検
索条件の例として、「２人の人物間の距離が遠い」ある
いは「２人の人物間の距離が近い」などが考えられる。

【００３５】検索処理部１０９では、検索条件入力部１
０８に入力された検索条件と距離記憶部１０７に記憶さ
れている検索対象画像中の人物間の距離を比較し、検索
条件を満たす順に順位付けを行うか、あるいは検索条件
を同程度満たすグループに分けることを行う。検索条件
として検索条件入力部１０８に、「２人の人物間の距離
が近い」という条件が与えられた時の検索処理部１０９
が行う処理の例を説明する。ここで、距離記憶部１０７
に（表３）のような情報が記憶されているとする。

【００３６】

【表３】

【００３７】処理の第１の例としては、距離記憶部１０
７に記憶されている検索対象画像すべてについて求めて
ある人物間の距離ｄを、値が小さいもの順に並び替える
処理である。（表３）の検索対象画像に対してこの処理
を行うと、結果は（数５）のようになる。

【００３８】

【数５】 I₂ < I₃ < I₆ < I₇ < I₁ < I₄ < I₅ < I₈ < I₁₀ < I₉ 処理の第２の例としては、ユーザの範囲指定による画像
の分類である。ユーザが人物間の距離を用いて、(0〜2
m)、(2〜5m)、(5〜10m)、(10〜20m)、(20m〜)の５段階
のグループ分けを要求しているとき、結果は（数６）の
ようになる。

【００３９】

【数６】( I₂ ) < ( I₃, I₆ ) < ( I₇, I₁ ) < ( I₄, I
₅ ) < ( I₈, I₁₀, I₉ ) 処理の第３の例としては、人物間の距離をもとにして、
距離の近い画像をひとつのグループとして、全体をいく
つかのグループ（クラスタ）に自動的に分類する。クラ
スタの構成方法としては、例えば、「多変量解析入門Ｉ
Ｉ」数学ライブラリー４６,河口至商著,pp26-44に示さ
れている。この階層的クラスタリングを距離記憶部１０
７に記憶されている（表３）のような情報に適応した場
合の、逐次クラスタが形成されてゆく過程を図７に示
す。クラスタ構成のための各画像間の距離は、それぞれ
について求められている人物間の距離の差を用い、クラ
スタ間の距離は、例えば最短距離法を用いる。図７は、
クラスタ間の距離TH3でクラスタの統合を終了した場合
に、クラスタ分類の結果は、（数７）のようになること
を示している。

【００４０】

【数７】( I₂, I₃, I₆, I₇, I₁ ) < ( I₄, I₅ ) <
( I₈, I₁₀ ) < I₉ この方法によるクラスタリングで問題となるのは、クラ
スタの融合をどの時点で終了し、クラスタリング結果と
するかである。クラスタ融合は、ユーザの指定により終
了を決定するか、あるいは評価基準を決めておいて条件
を満たしているものをクラスタリング結果とする。ここ
では、Ｎ個のクラスタに分割されているとき、例えば
（数８）に示すような評価基準を用いる。（数８）の条
件を満たすクラスタ融合結果で、クラスタ数Ｎが最小の
結果を最終的なクラスタリング結果として用いる。

【００４１】

【数８】

【００４２】結果出力部１１０では、検索処理部１０９
が行った検索対象画像の順位付け、あるいは、クラスタ
リング結果に基づいて、ユーザの希望する画像をユーザ
に対して出力する。検索処理部１０９が上述した第１の
例の処理を行った場合、結果出力部１１０は、順位付け
された検索対象画像の最も上位の画像あるいは、ユーザ
の望む複数個の画像を検索結果として、ユーザに出力す
る。また、検索処理部１０９が上述した第２、あるいは
第３の処理の例を行ったときは、複数個のグループにク
ラスタリングされた検索対象画像で、最も上位のグルー
プに属する画像あるいは、ユーザの指定したグループに
属する画像を検索結果として、ユーザに出力する。

【００４３】以上のように本実施例の画像検索装置は、
画像中の人物間の距離に関する検索要求に対して、人間
が画像を見て感じる人物間の距離感を求め、その距離に
より検索条件に当てはまる画像を検索するので、検索者
の意図する画像を結果として取り出すことができる。

【００４４】なお、本実施例では、人物が写っている画
像を取り扱い、人間が画像を見て感じる人物間の距離を
求め、求めた距離を用いて画像検索を行ったが、人物が
写っている画像だけでなく、標準的な大きさがわかって
いる物体であれば、同様に物体間の距離を求めることが
でき、画像検索が行えることは明かである。

【００４５】図８は本発明の第２の発明の一実施例であ
る画像検索装置の構成を示すブロック図である。図８に
おいて、図１と同一な部分には図１と同一番号を付け、
それらの説明を省略する。縦方向距離差算出部８０１は
縦方向距離算出部１０３が求めた縦方向距離から画像中
の２個の物体の縦方向距離の差を求める手段、横方向距
離差算出部８０２は横方向距離算出部１０５が求めた横
方向距離から画像中の２個の物体の横方向距離の差を求
める手段、距離差記憶部８０３は縦方向距離差算出部８
０１が算出した縦方向距離差と横方向距離差算出部８０
２が算出した横方向距離差を記憶する手段、検索処理部
８０４は検索条件入力部１０８に入力されたユーザの検
索条件から距離差記憶部８０３に記憶されている検索対
象画像の物体間の縦方向距離差と横方向距離差を用いて
検索対象画像をグループごとに分ける手段、結果出力部
８０５は検索処理部８０４が行った検索対象画像のクラ
スタリング結果に基づいて検索結果を出力する手段であ
る。

【００４６】以上のように構成された第２の発明の一実
施例の画像検索装置の動作について説明する。ここで
も、第１の発明の実施例と同様に、図２に示したような
画像について考える。画像特徴記憶部１０１に記憶され
ている画像特徴が画像特徴入力部１０２から入力され、
縦方向距離算出部１０３が知識記憶部１０４に記憶され
ている知識を用いて縦方向距離を算出し、横方向距離算
出部１０５が横方向距離を算出する過程までは、第１の
発明の実施例の画像検索装置の動作と同様である。ここ
でも、第１の発明の実施例の説明と同様に、図３に示し
た画像について、人物１の画像上での高さL₁、位置(x₁,
y₁)、人物２の画像上での高さL₂、位置(x₂,y₂)から、縦
方向距離ry₁,ry₂と、横方向距離rx₁,rx₂が求められると
する。

【００４７】縦方向距離差算出部８０１では、縦方向距
離算出部１０３が算出した縦方向距離から、画像中の２
人の人物の縦方向距離の差を求める。図３の人物１、人
物２について、（数９）により、縦方向距離差dyが求め
られる。

【００４８】

【数９】dy ＝｜ ry₁ − ry₂ ｜横方向距離差算出部８０２では、横方向距離算出部１０
５が算出した横方向距離から、画像中の２人の人物の横
方向距離の差を求める。図３の人物１、人物２につい
て、（数１０）により、横方向距離差dxが求められる。

【００４９】

【数１０】dx ＝｜ rx₁ − rx₂ ｜距離差記憶部８０３では、縦方向距離差算出部８０１が
算出した縦方向距離差と横方向距離差算出部８０２が算
出した横方向距離差を（表４）のように記憶する。

【００５０】

【表４】

【００５１】次に本実施例の画像検索装置の検索手法に
ついて説明する。検索条件入力部１０８に画像中の２人
の人物間の距離に基づいたユーザの検索条件を入力す
る。

【００５２】検索処理部８０４では、検索条件入力部１
０８に入力された検索条件と距離差記憶部８０３に記憶
されている検索対象画像中の人物間の距離差を用いて、
検索条件を同程度満たすグループに分けることを行う。
検索条件として検索条件入力部１０８に、「２人の人物
間の距離が近い」という条件が与えられた時に検索処理
部８０４が行う処理を説明する。ここでの処理は、２枚
の画像を順次比較していくことにより行う。説明のため
に、横方向距離差dx₁、縦方向距離差dy₁である画像I₁、
横方向距離差dx₂、縦方向距離差dy₂である画像I₂の画像
を比較することを考える。このとき、（数１１）、（数
１２）のような評価関数f_a(b)を定義する。（数１１）
の（１）は、「I₁の方がI₂より距離が近いことは真」を
表し、（２）は、「I₂の方がI₁より距離が近いことは
偽」を表している。また、（数１２）の（３）、（４）
は、I₁,I₂のどちらの距離が近いかがわからないこと表
している。

【００５３】

【数１１】・( dx₁ < dx₂ ) かつ ( dy₁ < dy₂ ) のとき f₂(1) = 1 （１） f₁(2) = 0 （２）

【００５４】

【数１２】・（ ( dx₁ < dx₂ ) かつ ( dy₁ > dy₂ )
）あるいは（ ( dx₁ > dx₂ ) かつ ( dy₁ < dy₂ )
）のとき f₂(1) = 1 （３） f₁(2) = 1 （４）ここで、６枚の検索対象画像I₁,I₂,I₃,I₄,I₅,I₆につい
ての情報が距離差記憶部８０３に記憶されているとす
る。このとき、（数１１）、（数１２）の評価関数を用
いて、２人の人物間の距離が近い順に並び替えてみる。
まず、I₁と他のI₂〜I₆の画像を比べ、( f_i(1), f₁(i) )
を求めると、図９のような結果が得られたとする。この
とき、図９の結果より、６枚の画像の距離は近い順に
（数１３）のようになることがわかる。

【００５５】

【数１３】( I₂, I₄, I₆ ) < ( I₁, I₅ ) < I₃ 次に、( I₂, I₄, I₆ )のグループについて調べる。この
ために、I₂とI₄,I₆を比べると、図１０のような結果が
得られたとする。この結果、この３枚の画像は距離の近
い順に（数１４）のようになることがわかる。

【００５６】

【数１４】I₄ < ( I₂, I₆ ) したがって、（数１３）、（数１４）より、（数１５）
の結果が得られる。（数１５）より、画像I₄が、「２人
の人物間の距離が近い」という検索条件を最も満たし、
次に、画像I₂,I₆が同程度に検索条件を満たすというこ
とがわかる。

【００５７】

【数１５】I₄ < ( I₂, I₆ ) < ( I₁, I₅ ) < I₃ 結果出力部８０５では、検索処理部８０４が行った検索
対象画像のグループ分け結果に基づいて、ユーザの希望
する画像をユーザに対して出力する。検索処理部８０４
が、（数１５）に示したような結果を得た場合、結果出
力部８０５は、検索条件を最も満たす画像I₄が、検索結
果として出力される。あるいは、ユーザの指定したグル
ープに属する複数個の画像を検索結果として出力する。

【００５８】以上のように本実施例の画像検索装置は、
画像中の人物間の距離に関する検索要求に対して、人間
が画像を見て感じる人物間の距離感を求め、その距離に
より検索条件を満たす画像を検索するので、検索者の意
図する画像を結果として取り出すことができる。

【００５９】なお、本実施例では、人物が写っている画
像を取り扱ったが、人物が写っている画像だけでなく、
標準的な大きさがわかっている物体であれば、同様に物
体間の距離を求めることができ、画像検索が行えること
は明かである。

【００６０】また、本発明の各部は、コンピュータを用
いてソフトウェア的に実現し、あるいはそれら各機能を
有する専用のハード回路を用いて実現する事が出来る。

【００６１】

【発明の効果】以上述べたところから明らかなように、
本発明の画像検索装置では、画像中の物体間の距離に関
する検索要求に対して、人間が画像を見て感じる物体間
の距離感を求め、その距離により検索条件を満たす画像
を検索するので、検索者の意図する画像を結果として取
り出すことができる。

【図面の簡単な説明】

【図１】本発明の第１の発明の一実施例の画像検索装置
の構成を示すブロック図である。

【図２】本発明の画像検索装置が取り扱う画像の例を示
す図である。

【図３】本発明の画像検索装置の動作を説明するための
画像を示す図である。

【図４】本発明の画像検索装置が求める２個の距離を説
明する図である。

【図５】本発明の実施例の知識の記述に用いるメンバシ
ップ関数の例を示す図である。

【図６】本発明の実施例の知識の記述に用いるメンバシ
ップ関数の例を示す図である。

【図７】上記実施例の画像検索装置の検索処理が行うク
ラスタリングを説明する図である。

【図８】本発明の第２の発明の一実施例の画像検索装置
の構成を示すブロック図である。

【図９】第２の発明の実施例の画像検索装置の検索処理
を説明するための図である。

【図１０】第２の発明の実施例の画像検索装置の検索処
理を説明するための図である。

【図１１】従来の画像検索装置を説明するための画像の
例である。

【図１２】従来の画像検索装置の問題点を説明するため
の画像の例である。

【符号の説明】

１０１画像特徴記憶部１０２画像特徴入力部１０３縦方向距離算出部１０４知識記憶部１０５横方向距離算出部１０６物体間距離算出部１０７距離記憶部１０８検索条件入力部１０９検索処理部１１０結果出力部８０１縦方向距離差算出部８０２横方向距離差算出部８０３距離差記憶部８０４検索処理部８０５結果出力部

Claims

【特許請求の範囲】

【請求項１】検索対象画像の画像特徴を記憶する画像
特徴記憶部と、前記画像特徴記憶部が記憶している検索
対象画像の画像特徴を読み出す画像特徴入力部と、複数
個のファジィルールとファジィルールで用いるメンバシ
ップ関数を記憶する知識記憶部と、前記画像特徴入力部
が取り出した画像特徴から前記知識記憶部に記憶されて
いる知識を用いて画像の一番手前から画像中の物体まで
の人間の感じる奥行きの距離を算出する縦方向距離算出
部と、前記画像特徴入力部が取り出した画像特徴を用い
て物体から画像の水平方向の中心線に下ろした垂線の距
離を算出する横方向距離算出部と、前記縦方向距離算出
部と横方向距離算出部が算出した距離から２個の物体間
の距離を算出する物体間距離算出部と、前記物体間距離
算出部が算出した物体間距離を記憶する距離記憶部と、
検索者の検索条件を入力する検索条件入力部と、前記検
索条件入力部に入力された検索者の検索条件と前記距離
記憶部に記憶されている検索対象画像の物体間の距離か
ら検索対象画像の順位付けあるいはグループ分けを行う
検索処理部と、前記検索処理部の結果に基づいて検索結
果を出力する結果出力部とを備えたことを特徴とする画
像検索装置。
【請求項２】検索対象画像の画像特徴から、複数個の
ファジィルールとファジィルールで用いるメンバシップ
関数に関する知識を用いて画像の一番手前から画像中の
物体までの人間の感じる奥行きの距離を算出して縦方向
距離を得、前記画像特徴を用いて物体から画像の水平方
向の中心線に下ろした垂線の距離を算出して横方向距離
を得、それらの縦方向距離と横方向距離から２個の物体
間の距離を算出して得られた物体間距離情報を記憶した
距離記憶部と、検索者の検索条件を入力する検索条件入
力部と、前記検索条件入力部に入力された検索者の検索
条件と前記距離記憶部に記憶されている検索対象画像の
物体間の距離から検索対象画像の順位付けあるいはグル
ープ分けを行う検索処理部と、前記検索処理部の結果に
基づいて検索結果を出力する結果出力部とを備えたこと
を特徴とする画像検索装置。
【請求項３】検索対象画像の画像特徴を記憶する画像
特徴記憶部と、前記画像特徴記憶部が記憶している検索
対象画像の画像特徴を読み出す画像特徴入力部と、複数
個のファジィルールとファジィルールで用いるメンバシ
ップ関数を記憶する知識記憶部と、前記画像特徴入力部
が取りだした画像特徴から前記知識記憶部に記憶されて
いる知識を用いて画像の一番手前から画像中の物体まで
の人間の感じる奥行きの距離を算出する縦方向距離算出
部と、前記画像特徴入力部が取りだした画像特徴を用い
て物体から画像の水平方向の中心線に下ろしたの垂線の
距離を算出する横方向距離算出部と、前記縦方向距離算
出部が求めた縦方向距離から２個の物体の縦方向距離の
差を求める縦方向距離差算出部と、前記横方向距離算出
部が求めた横方向距離から２個の物体の横方向距離の差
を求める横方向距離差算出部と、前記縦方向距離差算出
部が算出した縦方向距離差と前記横方向距離差算出部が
算出した横方向距離差を記憶する距離差記憶部と、検索
者の検索条件を入力する検索条件入力部と、前記検索条
件入力部に入力された検索者の検索条件と前記距離差記
憶部に記憶されている検索対象画像の物体間の縦方向距
離差と横方向距離差から検索対象画像のグループ分けを
行う検索処理部と、前記検索処理部の結果に基づいて検
索結果を出力する結果出力部とを備えたことを特徴とす
る画像検索装置。
【請求項４】検索対象画像の画像特徴から、複数個の
ファジィルールとファジィルールで用いるメンバシップ
関数に関する知識を用いて画像の一番手前から画像中の
物体までの人間の感じる奥行きの距離を算出して縦方向
距離を得、前記画像特徴を用いて物体から画像の水平方
向の中心線に下ろした垂線の距離を算出して横方向距離
を得、前記縦方向距離から２個の物体の縦方向距離の差
を求め、前記横方向距離から２個の物体の横方向距離の
差を求めて、得られた縦方向距離差と横方向距離差を記
憶した距離差記憶部と、検索者の検索条件を入力する検
索条件入力部と、前記検索条件入力部に入力された検索
者の検索条件と前記距離差記憶部に記憶されている検索
対象画像の物体間の縦方向距離差と横方向距離差から検
索対象画像のグループ分けを行う検索処理部と、前記検
索処理部の結果に基づいて検索結果を出力する結果出力
部とを備えたことを特徴とする画像検索装置。