JPH10301948A - 画像および映像検索方法 - Google Patents

Abstract

(57)【要約】 【課題】 より精度の高い被写体検索、および被写体の
サイズに依らない安定な被写体の検索を実現する画像お
よび映像検索方法を提供する。 【解決手段】 検索キーとして提示された例示画像中の
色の空間的な分布を調べることにより、例示画像を複数
の部品に分解する（１）。次に、例示画像及び検索対象
画像を複数の粗さにブロック分割し、各ブロック内の色
ヒストグラムを算出する（２）。次に、例示画像及び検
索対象画像について、ブロック内の色ヒストグラムと部
品を比較して部品を構成するブロックを抽出し、階層的
に重ねて部品を構成する領域を示す部品画像を生成する
（３）。次に、この部品画像を用いて部品の配置関係を
ヒストグラム化した隣接ヒストグラムを算出する
（４）。最後に、例示画像から得られた隣接ヒストグラ
ムと検索対象画像から得られた隣接ヒストグラムを照合
し、検索対象画像中の被写体の有無を判定する（５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像や映像に対し
て検索を行うデータベースシステム、並びに画像や映像
の整理や属性情報の付与を行う画像編集システムおよび
映像編集システムなどにおいて、画像や映像を検索キー
として所望の映像や画像を検索するための画像処理方法
に関する。

【０００２】

【従来の技術】これまでに提案されている被写体検索技
術は、２つに分類することができる。１つ目は、色の情
報のみに注目し、色のヒストグラムマッチングにより被
写体の検索を行う手法である。２つ目は、色情報に空間
的な情報を加えた手法であり、画像を一定サイズにブロ
ック分割し、ブロックの色の隣接関係を用いて被写体の
有無を判定する手法である。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の１つ目の手法による被写体検索技術では、空間的な
情報を用いていないため、被写体以外にも色の似ている
物体や領域を誤抽出してしまうという問題がある。さら
に被写体の位置や大きさが不明の場合には、様々なサイ
ズ、位置の探索窓を用いた総当たりの探索が必要になる
ため処理コストおよび処理時間が大きくなるという問題
がある。

【０００４】また、上記従来の２つ目の手法による被写
体検索技術では、適切なブロックのサイズが被写体のサ
イズに依存するため、被写体のサイズが不定の場合には
不安定になるという問題がある。また対象の記述が粗す
ぎるため検索の精度は不十分である。

【０００５】このように２つの従来手法は、いずれの場
合も検索の精度が低く誤抽出が多いという問題があっ
た。また、被写体のサイズが不定の場合には、１つ目の
従来手法では総当たり的な探索が必要になるため処理コ
ストおよび処理時間が大きくなるという問題があり、２
つ目の手法では、適切なブロックのサイズが被写体のサ
イズに依存するため処理の結果が不安定になるという問
題があった。

【０００６】本発明は、以上のような問題点に対し、よ
り精度の高い被写体検索、および被写体のサイズに依ら
ない安定な被写体の検索を実現する画像および映像検索
方法を提供することを課題とする。

【０００７】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は、指定する被写体の例示画像を検索キーと
して提示することにより、検索対象となる画像データも
しくは映像データから、前記指定された被写体が写って
いる画像もしくは映像の一部分を提示する画像検索方法
であって、前記検索キーとして提示された例示画像中の
色の空間的な分布を調べることにより、該例示画像を複
数の部品に分解する第１の過程と、前記例示画像および
検索対象画像を複数の粗さにブロック分割し、各ブロッ
ク内の色ヒストグラムを算出する第２の過程と、前記色
ヒストグラムを用いて前記部品を構成するブロックを抽
出し、該抽出されたブロックを例えば粗いブロックの階
層の上に細いブロックの階層を重ねるというように重ね
合わせて前記部品を構成する領域を示す部品画像を生成
する第３の過程と、前記生成された部品画像を用いて前
記部品の配置関係をヒストグラム化した隣接ヒストグラ
ムを算出する第４の過程と、前記例示画像から得られた
隣接ヒストグラムと前記検索対象画像から得られた隣接
ヒストグラムを照合することにより、前記検索対象画像
中の被写体の有無を判定する第５の過程と、を有するこ
とを特徴とする。

【０００８】また、前記第３の過程では、当該ブロック
に前記部品の構成色が含まれるかを検証し、当該ブロッ
クの色ヒストグラムと前記部品の色ヒストグラムの重な
りを評価し、前記構成色が含まれ、前記色ヒストグラム
の重なりの評価が高い場合に当該ブロックを前記部品を
構成するブロックとして抽出することを特徴とする。

【０００９】本発明は、（１）検索キーとして提示され
た例示画像中の色の空間的な分布を調べることにより、
例示画像を複数の部品に分解し、検索キー画像および検
索対象画像を、複数の粗さのブロックに分割し、そのブ
ロック毎に色ヒストグラムを算出し、検索キー画像から
抽出された各々の部品と各ブロック内の色ヒストグラム
を比較することにより、そのブロック内に部品が含まれ
るかどうか調べ、部品の存在する候補領域を示す部品画
像を生成することを特徴とする画像または映像中からの
部品抽出方法と、（２）上記部品画像を用いて、画像中
の部品の配置関係をヒストグラム化した隣接ヒストグラ
ムを算出し、検索キー画像から得られた隣接ヒストグラ
ムと検索対象画像から得られた隣接ヒストグラムを照合
するすることにより、検索対象画像中の被写体の有無を
判定することを特徴とする被写体検知方法と、を用いた
画像および映像検索方法である。

【００１０】本発明では、検索キーとして提示された例
示画像中の色の空間的な分布を調べることにより、例示
画像を複数の部品に分解する第１の手段と、画像を複数
の粗さにブロック分割し、各ブロック内の色ヒストグラ
ムを算出する第２の手段と、部品を構成する領域を示す
部品画像を生成する第３の手段と、部品画像を用いて部
品の配置関係をヒストグラム化した隣接ヒストグラムを
算出する第４の手段と、例示画像から得られた隣接ヒス
トグラムと検索対象画像から得られた隣接ヒストグラム
を照合することにより、検索対象画像中の被写体の有無
を判定する第５の手段とを有する。

【００１１】本発明では、検索キー画像から部品を抽出
する際に被写体の色情報と空間的な情報を組み合わせる
ことにより、また、その部品を構成する部分画像を生成
する際に複数サイズのブロックを抽出して階層的に重ね
合わせることにより、さらに、検索対象画像中の被写体
有無を判定する際に前記部品の配置関係を隣接ヒストグ
ラムで記述して比較することにより、より精度の高い被
写体検索および被写体のサイズに依らず安定な被写体の
検索を実現する。これにより、画像や映像に対して検索
を行うデータベースシステム、並びに画像や映像の整理
や属性情報の付与を行う画像編集システムおよび映像編
集システムにおいて、画像や映像を検索キーとして所望
の映像や画像を検索する処理の高精度化および処理時間
の短縮が可能になり、大幅に作業効率を改善することが
可能となる。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００１３】以下に示す本発明の一実施形態例では、静
止画像を単位とした処理を行うので、検索キーおよび検
索対象が、静止画像であっても動画像であっても同様に
適用できる。例えば、動画像の場合の例として「映像中
の特定の被写体が映っているシーンだけを抜き出した
い」という検索要求が考えられる。この際には、その被
写体が映っているフレームの一つを検索キーとしてユー
ザーが指定すれば良い。また検索対象が動画像であって
も、フレーム単位に処理を行うことにより、静止画像と
全く同様に扱うことができる。

【００１４】一般に人や物などの被写体は様々な背景の
中に存在しているが、検索キー画像に、被写体と関係の
ない背景を含めたままでの被写体検索は技術的に極めて
困難である。そこで被写体の映っている部分をユーザー
が矩形で囲むことにより、背景のない被写体のみの検索
キー画像を得るものとする。

【００１５】本実施形態例での手法の処理の流れを図１
に示す。

【００１６】まずはじめに、検索キー画像を複数の領域
（部品）に分割する（第１の過程）。部品化するための
手法としては、カラーセグメンテーションを用い、色が
似ている領域を抽出する方法用いても良いが、カラーセ
グメンテーションの際には局所的な色の比較を行うの
で、異なる物体や背景との接合が発生しやすい。また、
物体表面のテクスチャの影響や陰影や遮蔽の影響で、物
理的に一つの物体であっても複数領域に分割される場合
も多い。ここでは、このような問題点を考慮した、より
安定な手法を適用するものとする。この手法の例を次に
示す。

【００１７】本手法では、物体の色が複数の色から構成
されること、およびそれらの空間的な分布が重なってい
ることを考慮した被写体の部品化を考える。つまり、色
は似ていなくても、全体的な空問分布がほぼ一致してい
るものは全て一つの部品の構成色として統合する。これ
により、従来のカラーセグメンテーションで発生した局
所的な色の類似による不適切な接合を抑えることがで
き、かつ物体の色が複数の色から構成される場合でも、
物理的な物体に近いまとまりのある部品の抽出が可能に
なる。具体的には、部品の構成色を得るために、まず画
像内の色のヒストグラムから被写体に多く含まれる色を
抽出する。次に、それぞれの色の画素を周囲に膨張させ
重畳する画素数をカウントすることにより、色同士の空
間的な重なりを評価する。膨張前の画素数に対し重畳す
る画素数の比率が一定以上の場合に、これらが空間的に
密集していると判断し、一つの部品を構成する色とす
る。この処理を主要な色の全てに対して行うことによ
り、空間的に密集した複数の色を一つの部品としてまと
めることができる。

【００１８】上記手法を用いて分解された部品の例を図
２に示す。ここで、部品の構成色と部品毎の色ヒストグ
ラムを部品構成色データとして保持しておく。

【００１９】次に、部品画像を生成する過程へ進む。部
品画像とは、部品の存在する領域を示す画像である。部
品画像の生成法を以下に述べる。なお以下の処理は検索
キー画像、検索対象画像に共通である。

【００２０】まず、画像をブロック分割しブロック内の
色ヒストグラムを算出し一定の大きさに規格化する（第
２の過程）。被写体の大きさが未知であること、および
部品によってその大きさがまちまちであることに対応す
るため、異なるブロックサイズを階層的に設定する。こ
れにより、部品の大きさが変動しても、後述する部品の
侯補領域の抽出処理によって、小さい部品は小さいブロ
ックで、大きい部品は大きいブロックで抽出されること
になる。なお、検索対象画像に対しては、処理の高速化
のために色ヒストグラムの算出を事前に行うことも可能
である。本手法では、部品を「複数の色が一定の割合で
空間的に密集している領域」として定義する。これに従
い、部品の候補領域はその部品の構成色が一定の割合で
そろっている領域として抽出される。部品の有無を以下
の２つの基準を用いてブロック毎に判定する。

【００２１】ｉ）部品の構成色がそろっているか ｉｉ）構成色の比率が似ているか ｉ）は単に第１の過程で分解された部品の構成色がブロ
ックの中に含まれているかどうかを検証するものであ
る。ｉｉ）は、ブロックのヒストグラムと部品のヒスト
グラムの分布の重なりを算出し評価する。２つのヒスト
グラムＨ₁（ｈ，ｓ，ｉ）、Ｈ₂（ｈ，ｓ，ｉ）の重なり
Ｉ₁₂は式（１）により算出される。Ｉ₁₂は、２つのヒス
トグラムの分布が似ている場合に高い値をとる。なお、
ｈ，ｓ，ｉは色を指定する任意のパラメータとする。

【００２２】 Ｉ₁₂＝Σ_hΣ_sΣ_iｍｉｎ［Ｈ₁（ｈ，ｓ，ｉ），Ｈ₂（ｈ，ｓ，ｉ）］…（１） なお、部品の構成色の比率は撮影条件により多少変化す
ると考えられるので、ｉ）については部品の構成色数が
多い場合には、全色そろっていなくても一定割合以上そ
ろっていれば良いものとする。ｉｉ）については、部品
のヒストグラムとブロックのヒストグラムとの重なりを
判定する際のしきい値を緩く設定する。上記ｉ），ｉ
ｉ）の条件の両方を満たしたブロックは、その部品の候
補領域となる。この処理を全てのブロックに対して行
い、図３に示すように、階層毎に抽出された全ての部品
の侯補領域を重ね合わせ、全階層の和としての部品画像
を生成する（第３の過程）。この際、小さな部品が大き
な部品に埋もれてしまうのを避けるために、粗い階層の
上に細かい階層を順次重ねていくものとする。

【００２３】図４に検索キー画像から抽出された部品画
像、図５に検索対象画像から抽出された部品画像の例を
示す。この部品画像では、各々の部品が塊として抽出さ
れており、空間的な配置関係の記述およびマッチングが
可能になる。ただし通常、図５のように背景中に存在す
る様々な物体により、被写体の部品以外にも多数の部品
侯補領域が抽出されるとともに、部品のサイズや形状も
正確ではない。これらの影響を受けにくい配置関係の記
述およびマッチングが必要である。

【００２４】部品の配置関係を記述する手法としては、
部品の階層的な構造を記述する手法や、２次元空間上で
の物体の配置関係を位相的に体系化して表す手法などが
提案されている。しかし部品の抽出が必ずしも正確でな
く、背景から多数の誤った部品侯補が抽出されている状
況では、部品間の配置を厳密に記述し照合することは困
難である。ただし、このような状況においても被写体の
内部の異なる部品間の隣接関係は比較的安定であると考
えられる。部品の隣接関係に注目した手法としては、画
像をブロック分割してブロック単位の隣接色を用いて被
写体の有無を判定する手法や、３角形状の３点を走査
し、３点の色の組み合わせのヒストグラムを評価する手
法がある。しかし、これらはいずれも被写体のサイズに
よって記述が変動してしまい不安定になるという欠点が
ある。これに対して本手法では、前段の処理で個々の部
品が抽出されているため、被写体のサイズに依存しない
配置関係の記述が可能になる。

【００２５】本手法では、部品画像を用い異なる部品の
隣接する部分を検出し、部品の組み合わせ毎のヒストグ
ラムとして記述する（第４の過程）。配置関係をヒスト
グラムとして表現することにより、部品抽出の部分的な
乱れに対して安定な記述となる。また個々の部品が抽出
されているため、隣接関係は２つの部品の配置関係だけ
ではなく、３つ以上に拡張することができる。以下に配
置関係を表す隣接ヒストグラムの算出方法を図６を用い
て示す。なお以下に提案する手法は、被写体の回転のな
い場合を対象としている。つまり、部品の上下左右のお
おまかな部品間の配置関係は保存されているものとす
る。

【００２６】まず、左から右（および上から下）に探索
画素を走査しながら、異なる部品が隣接している場所を
探す。この際、部品の輪郭の凹凸や部品内部の部分的な
未抽出の影響を排除するため、異なる部品の隣接のみを
検出するものとする。また部品同士が直接接していなく
ても、間に別の部品がなければ隣接しているとみなす。
異なる部品の隣接が検出されたら、その部品の組の隣接
ヒストグラムにカウントしていく。なお、隣接ヒストグ
ラムは、２つの部品の隣接関係（ｈｉｓｔ２［ｉ］
［ｊ］）、および連続する３つの部品の隣接関係（ｈｉ
ｓｔ３［ｉ］［ｊ］［ｋ］）について求める。ここで
ｉ，ｊ，ｋは部品の番号を表すパラメータである。本手
法では部品単位に抽出されているため、４つ以上の部品
の配置関係を記述することも可能であるが、一般的な被
写体の構成部品数を考慮すると４つ以上の部品が一方向
に並ぶことは多くないと考えられる。また部品抽出が必
ずしも正確でないことも考えられるので、多くの部品の
配置関係は不安定になると思われる。以上の点を考慮す
ると、部品の配置関係の記述は３つ程度までが適切であ
ると考えられる。隣接ヒストグラムは、２項関係の水平
方向、２項関係の垂直方向、３項関係の水平方向、３項
関係の垂直方向の４つを算出するものとする。

【００２７】検索対象画像中においては、背景からも多
くの部品侯補が抽出されるが、これらが被写体と同じ配
置関係を保っていることは少ないと考えられる。このた
め、この隣接ヒストグラムは背景に影響されにくいと言
える。従って、画像全体の隣接ヒストグラムには被写体
部分の部品の隣接関係が大きく寄与し、被写体のセグメ
ンテーションを行わなくても、被写体の有無を十分に判
定できる。

【００２８】検索キー画像と検索対象画像の隣接ヒスト
グラムのマッチング（第５の過程）では、上記４つのそ
れぞれについて独立にヒストグラムの重なり（式
（１））を算出し、それらを積算（または加算）するこ
とにより統合し、適合度とする。この適合度が一定値以
上の場合に、検索対象画像中に探している被写体が存在
していると判断する。

【００２９】

【発明の効果】以上説明したように、本発明によれば、
従来手法と比較し、より精度の高い被写体検索が可能に
なるとともに、被写体のサイズに依らず安定な被写体の
検索を実現することができる。これにより、画像や映像
に対して検索を行うデータベースシステム、および画像
や映像の整理や属性情報の付与を行う画像編集システム
および映像編集システムにおいて、画像や映像を検索キ
ーとして所望の映像や画像を検索する処理の高精度化お
よび処理時間の短縮が可能になり、大幅に作業効率を改
善することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態例の手法での処理の概要を
示している図である。

【図２】上記実施形態例により部品化された画像の例を
示している図面代用写真である。

【図３】上記実施形態例での部品画像の生成法を示して
いる図である。

【図４】上記実施形態例により検索キー画像から生成さ
れた部品画像の例を示している図面代用写真である。

【図５】上記実施形態例により検索対象画像から生成さ
れた部品画像の例を示している図面代用写真である。

【図６】上記実施形態例での隣接ヒストグラムの算出方
法を示している図面代用写真である。

【符号の説明】

１…画像を部品に分解する過程（第１の過程） ２…ブロックヒストグラム算出過程（第２の過程） ３…部品画像の生成過程（第３の過程） ４…隣接ヒストグラム算出過程（第４の過程） ５…被写体の有無の判定過程（第５の過程）

Claims (2)

【特許請求の範囲】
1. 【請求項１】 指定する被写体の例示画像を検索キーと
   して提示することにより、検索対象となる画像データも
   しくは映像データから、前記指定された被写体が写って
   いる画像もしくは映像の一部分を提示する画像検索方法
   であって、 前記検索キーとして提示された例示画像中の色の空間的
   な分布を調べることにより、該例示画像を複数の部品に
   分解する第１の過程と、 前記例示画像および検索対象画像を複数の粗さにブロッ
   ク分割し、各ブロック内の色ヒストグラムを算出する第
   ２の過程と、 前記色ヒストグラムを用いて前記部品を構成するブロッ
   クを抽出し、該抽出されたブロックを前記粗さの階層的
   に重ね合わせて前記部品を構成する領域を示す部品画像
   を生成する第３の過程と、 前記生成された部品画像を用いて前記部品の配置関係を
   ヒストグラム化した隣接ヒストグラムを算出する第４の
   過程と、 前記例示画像から得られた隣接ヒストグラムと前記検索
   対象画像から得られた隣接ヒストグラムを照合すること
   により、前記検索対象画像中の被写体の有無を判定する
   第５の過程と、 を有することを特徴とする画像および映像検索方法。
2. 【請求項２】 前記第３の過程では、 当該ブロックに前記部品の構成色が含まれるかを検証
   し、 当該ブロックの色ヒストグラムと前記部品の色ヒストグ
   ラムの重なりを評価し、 前記構成色が含まれ、前記色ヒストグラムの重なりの評
   価が高い場合に当該ブロックを前記部品を構成するブロ
   ックとして抽出する、 ことを特徴とする請求項１に記載の画像および映像検索
   方法。