JPH08189809A

JPH08189809A - 画像中の対象物抽出装置

Info

Publication number: JPH08189809A
Application number: JP7001056A
Authority: JP
Inventors: Shoichi Araki; 昭一荒木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-01-09
Filing date: 1995-01-09
Publication date: 1996-07-23

Abstract

(57)【要約】【目的】抽出したい対象物の数と概略の領域をあらか
じめ与えることなく、画像中から複数の対象物を同時に
抽出できる画像中の対象物抽出装置を提供すること。【構成】赤外線カメラ１により撮像した熱画像中に配
置した探索点を、近傍の探索点の温度による評価値に基
づき個体位置更新部６により移動させることによって、
熱画像中の複数の対象物の概略の領域を同時に探索し、
探索点をグループ化した後、グループ毎に隣接する探索
点を連結してネットワークを作り、予め定義された対象
物の温度特徴を表すエネルギー関数を極小化してネット
ワークを変形することにより、熱画像中の複数の熱源を
同時に抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラ等の視覚センサ
を用いて画像中の対象物を抽出する対象物抽出装置に関
するものである。

【０００２】

【従来の技術】従来、ＣＣＤ等を用いて撮像された画像
から対象物を抽出する技術としては、特に、ノイズなど
の影響を受けにくい優れた抽出技術として、電子情報通
信学会誌Vol.74、No.4、pp.326〜pp.334等に記載されて
いるＳＮＡＫＥＳやアクティブネットがある。この技術
は、抽出したい対象物を囲む概略の輪郭を予め与えてや
れば、輪郭および画像データから定義されるエネルギー
関数を極小化することにより、対象物の正確な輪郭を得
ることができる。従って、インタラクティブな画像編集
などのマルチメディア機器への応用が可能である。

【０００３】また近年、対象物の抽出に、熱画像、可視
画像など複数種類の画像データを用いることによって抽
出精度を高めようとする技術が提案されている。このよ
うな技術は、特にセキュリティや空調システムにおける
人体検知に応用されている。具体例としては、特開平４
−２８３６３４の非接触温度計測装置がある。これは、
人物の顔領域を抽出するもので、まず熱画像を２値化し
て温度の高い領域を抽出し、次に可視画像から肌色の領
域を抽出する。これらの各抽出結果をＡＮＤ処理するこ
とにより、温度が高く肌色である領域を人物の顔領域と
して抽出している。これにより、熱画像のみを用いて抽
出する方法よりも精度良く人体領域を抽出できる。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような画像中の対象物抽出装置には、次のような課題が
ある。

【０００５】まず、ＳＮＡＫＥＳやアクティブネット等
の方法は、予め対象物を囲む概略の輪郭を与える方式で
あるため、画像中にいくつの対象物があるかを自動的に
知りたいという要求に対応できない。このような要求の
具体例としては、セキュリティシステムにおける侵入者
数の検知や、空調制御における在室者数の検知等が挙げ
られる。このような要求の実現には、予め数を指定する
ことなく複数の対象物を同時に抽出できる技術が必要で
ある。

【０００６】また、複数種類の画像データを用いて対象
物の抽出精度を上げるというアプローチについても、特
開平４−２８３６３４の非接触温度計測装置では、熱画
像と可視画像は別々に処理され、その結果から総合的に
判断するという方式であるので、どちらか一方の処理結
果が適切でなければ、全体の結果も破綻してしまう。従
って、複数種類の画像データを同時に扱える対象物の抽
出技術の開発が不可欠である。

【０００７】本発明は、従来の対象物抽出装置のこのよ
うな課題を考慮し、予め対象物の数の概略輪郭を与える
ことなく、画像中から複数の対象物を同時に抽出でき、
複数種類の画像データを同時に扱うことが可能な画像中
の対象物抽出装置を提供することを目的とするものであ
る。

【０００８】

【課題を解決するための手段】本発明は、対象物を含む
所定領域の所定の物理量による画像を得るための撮像手
段と、その得られた画像内の対象物を探索するために、
複数の探索点を設定し、その設定した各探索点における
所定の物理量により定義される評価値を算出する評価値
算出手段と、その算出された評価値を利用することによ
り、各探索点が対象物を覆う領域に集合するように、所
定の評価値を持つ探索点を基準にして各探索点の位置を
繰り返し更新する位置更新手段と、その位置の更新され
た各探索点が集合するグループを検出する固体検出手段
とを備えた画像中の対象物抽出装置である。

【０００９】

【作用】本発明は、撮像手段が、対象物を含む所定領域
の画像を得、評価値算出手段が、得られた画像内の対象
物を探索するために、複数の探索点を設定し、その設定
した各探索点における所定の物理量により定義される評
価値を算出し、位置更新手段が、各探索点が対象物を覆
う領域に集合するように、所定の評価値を持つ探索点を
基準にして各探索点の位置を繰り返し更新し、固体検出
手段が、位置の更新された各探索点が集合するグループ
を検出する。

【００１０】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。（実施例１）図１は、本発明にかかる第１の実施例の対
象物抽出装置のブロック図である。図１において、１は
対象物を含む特定領域を撮像する赤外線カメラ、２は赤
外線カメラ１から得られる画像を記憶する熱画像記憶
部、３は画像中の対象物を探索するための複数の探索点
の位置を記憶する個体位置記憶部、４は個体位置記憶部
３に記憶されている探索点の熱画像用の評価式を定義す
る熱画像用適応度定義部、５は熱画像用適応度定義部４
に定義されている評価式に従い個体位置記憶部３に記憶
されている探索点の評価値を算出し記憶する適応度算出
記憶部、６は適応度算出記憶部５により算出された評価
値に従い個体位置記憶部３に記憶されている探索点の位
置を更新する個体位置更新部、７は個体位置記憶部３に
記憶されている探索点の位置情報により個体位置更新部
６の動作を停止させる探索終了判定部、８は個体位置更
新部６の動作が停止した後に個体位置記憶部３に記憶さ
れている探索点を少なくとも１つのグループに分類する
個体分類部、９は個体分類部８により分類されたグルー
プごとに、隣接する探索点を連結してネットワークを構
成する固体ネットワーク構成部、１０は固体ネットワー
ク構成部９により構成された探索点のネットワークを記
憶する個体ネットワーク記憶部、１１は個体ネットワー
ク記憶部１０に記憶されているネットワークの熱画像用
のエネルギーを定義する熱画像用ネットワークエネルギ
ー定義部、１２は個体ネットワークエネルギー定義部１
１で定義されているエネルギーを極小化するように個体
ネットワークの形状を変化させる個体ネットワーク最適
化部である。

【００１１】上記の適応度算出記憶部５に評価値算出手
段が含まれ、固体位置更新部６が位置更新手段であり、
固体分類部８が固体検出手段であり、固体ネットワーク
構成部９がネットワーク形成手段であり、固体ネットワ
ーク最適化部１２がネットワーク最適化手段である。

【００１２】以上のように構成された第１の実施例の画
像中の対象物抽出装置の動作について、図２のフローチ
ャートを参照しながら説明する。

【００１３】本実施例では撮像手段として赤外線カメラ
１を用いて説明する。熱画像記憶部２には赤外線カメラ
１から得られる熱画像がデジタル化され記憶されてい
る。画素値はI_T(i,j) と表す。熱画像の画素値は温度に
対応しており、例えば、８ｂｉｔであれば０〜２５５の
値をとる。また、本実施例の動作をより分かり易く説明
するため、抽出する対象物を人体あるいはその一部、特
定領域を室内として説明する。［ステップＳ１］まず、赤外線カメラ１により、対象物
を含む特定領域（ここでは対象物を人体とし、特定領域
を室内とする）を撮像し、得られた熱画像を熱画像記憶
部２に記憶する。［ステップＳ２］次に、熱画像上に対象物を探索するた
めの探索点p_k(x_k(t),y_k(t))（k=1,…,N，t は時刻を表
す）を配置し、その位置を個体位置記憶部３に記憶す
る。画像中の対象物をくまなく探索するために、p_kは、
例えば図３に示すように、格子状に配置すればよい。こ
の例ではN=19*15個の探索点を配置している。［ステップＳ３］個体位置記憶部３に記憶されている全
ての探索点について、熱画像用適応度定義部４に予め定
義されている探索点の評価式に従って、適応度算出記憶
部５により評価値を算出して記憶する。熱画像から人体
領域を抽出する場合には、温度の高い領域、すなわち大
きな画素値の画素からなる領域を探索すれば良いので、
熱画像用適応度定義部４に予め定義しておく探索点p_k(x
_k(t),y_k(t)) の評価式は、例えば以下のように定義すれ
ばよい。

【００１４】

【数１】Fit_t(p_k) = I_T(x_k(t),y_k(t)) あるいは、

【００１５】

【数２】Fit_t(p_k) = ΣI_T(x_k(t)+i,y_k(t)+j)，i=-1,0,
1, j=-1,0,1 ［ステップＳ４］適応度算出記憶部５により算出された
評価値により、個体位置記憶部３に記憶されている探索
点の位置を個体位置更新部６により更新する。すべての
探索点p_k(k=1,…,N)の位置を、以下の（ステップＳ４_
１）〜（ステップＳ４_４）により更新する。［ステップＳ４_１］交叉対象選択部６ａにより、ある
探索点の位置の更新に際し参照する探索点を決定する。
具体的には、探索点から予め定められた範囲内に存在す
る探索点のなかで適応度算出記憶部５により算出された
評価値が最大のものを選択する。参照する探索点を選択
するための予め定める範囲は、一定でも良いし、対象物
の探索の初期は広く、探索が進むにつれて範囲を狭めて
いく方式でも良い。［ステップＳ４_２］交叉部６ｂにより、交叉対象選択
部６ａで選択された探索点p_k ^lmax(x_k ^lmax,y_k ^lmax)の位
置を参照し、探索点p_k(x_k,y_k)の位置を以下のように更
新する。

【００１６】

【数３】x_k(t+1)<-x_k(t) - ks * { k1 * (x_k(t) - x_k
^lmax)+ k2 * (I_T(x_k(t),y_k(t))-I_T(x_k(t)-1,(int)y
_k(t)) } y_k(t+1)<-y_k(t) - ks * { k1 * (y_k(t) - y_k ^lmax)+ k2
* (I_T(x_k(t),y_k(t))-I_T(x_k(t),y_k(t)-1) } ただし、ks, k1, k2は予め定められた定数である。（数
３）に従い探索点の位置を更新することで、探索点は、
評価値の高くなる画像中の領域、すなわち対象物の領域
へ集まることになる。k1の項は、k1の値が正の時、評価
値の高い点に近づこうとする力となり、負の時、離れよ
うとする力となる。従って２つの探索点間の距離に従っ
てk1の符号を反転すれば、探索点同士はある一定の距離
を保とうとする。また、k2の項は、画像中にエッジがあ
ればそこに探索点がとどまろうとする力を表し、強いエ
ッジがあれば探索点はその付近で停止する。［ステップＳ４_３］突然変異部６ｃにより、交叉部６
ｂで決定された探索点p_k(x_k(t+1),y_k(t+1))の位置を予
め定められた確率により乱数で置き換える。この操作に
より、まだ探索されていない対象物の一部を発見できる
可能性がある。予め定められた確率は探索が進むにつれ
て小さくしていき、やがて０にする。また、必ずしもこ
のステップは実行しなくても良い。［ステップＳ４_４］探索点p_k(x_k(t+1),y_k(t+1))の近傍
の探索点p_i(x_i,y_i) の位置を次式により更新する。

【００１７】

【数４】x_i <- x_i - ks * k3 * (x_i - x_k(t+1)) y_i <- y_i - ks * k3 * (y_i - y_k(t+1)) ただし、k3は負の定数、p_i(x_i,y_i)は、（数３）で位置
を更新された探索点p_k(x_k(t+1),y_k(t+1))から予め定め
られた距離以下にあるすべての探索点を表す。（数４）
は、異なる探索点p_i(x_i,y_i)とp_k(x_k(t+1),y_k(t+1))が重
なり合って１つの点に収束しないように、探索点同士を
ある距離より近づけない反発力に相当する。

【００１８】このようにして探索点の位置を更新してい
くことにより、図３に示すように初期配置した探索点
は、図４に示すように、対象物の領域を覆う一様な点の
集合となる。［ステップＳ５］すべての探索点の位置変化Δp_k(x_k(t)
-x_k(tーs), y_k(t)-y_k(tーs))が予め定められた微小量以下
δ_gaになったとき、探索点の位置の更新を終了しステッ
プＳ６へ進む。ただし、s は適当な時間間隔を表す。そ
れ以外の時は、ステップＳ４へ戻る。［ステップＳ６］個体分類部８により、個体位置記憶部
３に記憶されている探索点を以下のステップによりグル
ープ分けする。［ステップＳ６_１］画像をラスター走査し、ラベルの
付いていない探索点を見つけてラベルを付ける。ラスタ
ー走査は今ラベルを付けた探索点の位置で一旦中断す
る。ラベルは自然数やアルファベットなど識別できるも
のなら何でも良い。［ステップＳ６_２］ラベルが付けられた探索点から予
め定められた範囲内にあるまだラベルが付いていない探
索点に同じラベルを付ける。［ステップＳ６_３］ラベルの付いている探索点から予
め定められた範囲内にラベルを付ける対象となる探索点
の有無を判断する。あればステップＳ６_２へ戻り、な
ければステップＳ６_４へ進む。［ステップＳ６_４］ラスター走査が終了か否かを判断
する。ラスター走査終了ならばグループ化が終了したも
のとしてステップＳ７へ進む。この時異なったラベルの
種類の数だけ探索点のグループができている。図５にラ
ベル付けした結果の一例を示す。ラスター走査が終了し
ていないならばステップＳ６_１へ戻る。［ステップＳ７］個体分類部８により分類されたグルー
プごとに、隣接する探索点を連結してネットワークを構
成し、構成された探索点のネットワークを個体ネットワ
ーク記憶部１０に記憶する。

【００１９】個体ネットワークの構成は次の（ステップ
Ｓ７_１）〜（ステップＳ７_２）による。［ステップＳ７_１］図６に示すような基準ネットワー
ク（格子点をA_i(u,v)=(x(u,v),y(u,v)), u=1,…,Nu, v=
1,…,Nvで表す）をグループiごとに、グループ化された
各探索点を覆うように設置する。［ステップＳ７_２］基準ネットワークの各格子点を最
短距離に存在する探索点と対応づける。図７に対応付け
の結果を示す。この変形した基準ネットワークを個体ネ
ットワークと呼ぶ。［ステップＳ８］熱画像用ネットワークエネルギー定義
部１１には、熱画像中の人体のように背景に比べて相対
的に温度の高い物体を抽出するために最適化すべきエネ
ルギーE_Tを次式のように予め定義しておく。

【００２０】

【数５】E_T = E_int + E_thermal ただし、E_intはネットワークを収縮させ、かつ平行性を
保つエネルギー、E_therm _alは熱画像から受けるエネルギ
ーで、それぞれ以下のように表される。

【００２１】

【数６】

【００２２】

【数７】E_thermal = ωI_T(x(u,v),y(u,v)) ただし、α、β、γ、ωは予め定められた定数、また、
u,v がネットワークの最外郭である時ω>0、それ以外の
時ω<0とする。

【００２３】個体ネットワーク最適化部１２では、次式
により個体ネットワークの形状を変化させる。

【００２４】

【数８】x(u,v,t+1) = x(u,v,t) - η*(∂E_T/∂x) y(u,v,t+1) = y(u,v,t) - η*(∂E_T/∂y) ただし、∂E_thermal/∂x、∂E_thermal/∂y は、それぞ
れ次式で与える。

【００２５】

【数９】∂E_thermal/∂x = ω{I_T(x(u,v),y(u,v)) ー I_T
(x(u,v)-Δx,y(u,v))} ∂E_thermal/∂y = ω{I_T(x(u,v),y(u,v)) ー I_T(x(u,v),
y(u,v)ーΔy)} ［ステップＳ９］エネルギーの変化量ΔE_T=｜E_T(t)-E
_T(tーs)｜が、予め定められた微小量δ_E 以下になったと
き、あるいは、すべての格子点A(u,v)=(x(u,v),y(u,v))
の位置の変化量 ΔA_i(u,v)=｜A_i(x(u,v,t)ーx(u,v,t-s),
y(u,v,t)ーy(u,v,t-s))｜が予め定められた微小量δ_A 以
下になったとき個体ネットワーク最適化部１２の動作を
停止し、対象物の抽出を終了する。それ以外の時、ステ
ップＳ８へ戻る。

【００２６】以上の手順により、図８に示すように、熱
画像記憶部２に記憶されている画像中の複数の対象物を
同時に抽出できる。ここでは、図７のような２次元の基
準ネットワークを用いて説明したが、基準ネットワーク
の最外郭のみの閉曲線を設置し、対象物の輪郭形状のみ
を抽出することもできる。

【００２７】以上説明したように、第１の実施例によれ
ば、画像上に一様に配置した探索点を対象物の特徴に応
じて定義した評価式により評価し、予め定められた局所
的な範囲での評価値に応じて探索点を移動させることを
繰り返すことにより、複数の対象物の概略の領域を同時
に探索し、更に、その探索した複数の概略領域のそれぞ
れについて隣接する探索点を連結して構成したネットワ
ークをそのエネルギーを極小化するように変形するの
で、画像中の複数の対象物を同時に抽出することが可能
となる。（実施例２）次に第２の実施例について説明する。第１
の実施例では、赤外線カメラにより得られる熱画像から
人体のような背景に対して相対的に温度の高い物体を抽
出できることを説明した。第２の実施例では、ＣＣＤカ
メラにより得られる可視画像からも複数の対象物が同時
に抽出できることを示す。ＣＣＤカメラから得られる可
視画像はデジタル化され記憶される。画素(x,y) の画素
値はＲＧＢの３種類からなり、それぞれI_vR(x,y)、I
_vG(x,y)、I_vB(x,y)で参照できる。さらに輝度値I_v(x,y)
も参照できる。第２の実施例では、人間の手足や頭の
動きを解析するために人体に付けられた特定色の複数の
マーカーを、撮像された可視画像から同時に抽出する例
で説明する。ここでは、ＲＧＢ値を人間の直感的な色感
覚に良く合うといわれているＨＳＶ値、I_vH(x,y)、I_vS
(x,y)、I_vV(x,y)に変換して用いる。

【００２８】図９は、第２の実施例の対象物抽出装置の
ブロック図であり、図１に示した第１の実施例と同じ構
成部分には同一番号を付して詳細な説明は省略する。第
２の実施例と第１の実施例との相違点は、第１の実施例
における赤外線カメラ１を対象物を含む特定領域の可視
画像を撮像するＣＣＤカメラ１３で、熱画像記憶部２を
ＣＣＤカメラから得られる可視画像を記憶する可視画像
記憶部１４で、熱画像用適応度定義部４を個体位置記憶
部３に記憶されている探索点の可視画像用の評価式を定
義する可視画像用適応度定義部１５で、熱画像用ネット
ワークエネルギー定義部１１を個体ネットワーク記憶部
１０に記憶されているネットワークの可視画像用のエネ
ルギーを定義する可視画像用ネットワークエネルギー定
義部１６でそれぞれ置き換えたことである。

【００２９】以上のように構成された第２の実施例の画
像中の対象物抽出装置の動作を、図１０のフローチャー
トを参照しながら説明する。ただし、第２の実施例のス
テップのＳ１a、Ｓ３a、Ｓ８a 以外は、第１の実施例と
全く同様の手順であるため、異なるステップのみ説明す
る。［ステップＳ１a］ＣＣＤカメラ１３により、対象物を
含む特定領域を撮像し、得られた可視画像を可視画像記
憶部１４に記憶する。［ステップＳ３a］個体位置記憶部３に記憶されている
全ての探索点について、可視画像用適応度定義部１５に
予め定義されている探索点の評価式に従って、適応度算
出記憶部５により評価値を算出して記憶する。可視画像
から特定色のマーカーを抽出する場合には、特定色に対
するＨＳＶ値、I_vH(x,y)、I_vS(x,y)、I_vV(x,y)の適合度
を与える関数F(I_vH(x,y))、G(I_vS(x,y))、H(I_vV(x,y))
を図１１のように定義し、探索点p_k(x_k(t),y_k(t))の評
価式は、例えば以下のように算出する。

【００３０】

【数１０】Fit_c(p_k) = F(I_vH(x_k(t),y_k(t)))*G(I_vS(x_k
(t),y_k(t)))*H(I_vV(x_k(t),y_k(t))) ［ステップＳ８a］可視画像用ネットワークエネルギー
定義部１６には、可視画像中の特定色のマーカーのよう
に、色情報により対象物を抽出するために最適化すべき
エネルギーE_Tを次式のように予め定義しておく。

【００３１】

【数１１】E_T = E_int + E_color ただし、E_intは（数５）と同様、E_colorは次式のように
定める。

【００３２】

【数１２】 E_color=ω[{∂I_v(x(u,v),y(u,v))/∂x}²+{∂I_v(x(u,v),y(u,v))/∂y}²] ；u,vがネットワークの最外郭のとき =ωF(I_vH(x(u,v),y(u,v))*G(I_vS(x(u,v),y(u,v))*H(I_vV(x(u,v),y(u,v))) ;u,vがネットワークの最外郭以外のときただし、ω<0とする。

【００３３】個体ネットワーク最適化部１２では、（数
８）により個体ネットワークの形状を変化させる。

【００３４】以上の手順により、可視画像中の複数の特
定色の物体を同時に抽出することができる。

【００３５】以上説明したように、第２の実施例によれ
ば、抽出したい対象物の色に対する適合度を探索点の評
価値として定義することにより、可視画像中の複数の対
象物を同時に抽出することができる。（実施例３）次に第３の実施例について説明する。第２
の実施例では、１台のＣＣＤカメラにより得られる可視
画像から色情報に基づいて対象物を抽出する方法を説明
した。第３の実施例では、撮像手段に複数のＣＣＤカメ
ラを用い、複数の可視画像から作成される視差画像を用
いて対象物を抽出する。したがって、指定した距離にあ
る対象物を選択的に抽出することが可能となる。ここで
は、視差値はI_d(x,y)として与えられるとする。

【００３６】図１２は、第３の実施例の対象物抽出装置
のブロック図であり、図１に示した第１の実施例と同じ
構成部分には同一番号を付して詳細な説明は省略する。
第３の実施例と第１の実施例との相違点は、第１の実施
例における赤外線カメラ１を、対象物を含む特定領域の
可視画像を撮像する少なくとも２台のＣＣＤカメラから
なるステレオ画像入力部１７で置き換え、さらにステレ
オ画像入力部１７から得られる複数の可視画像から視差
画像を生成する視差画像生成部１８を付加し、熱画像記
憶部２を、視差画像生成部１８から得られる視差画像を
記憶する視差画像記憶部１９で、熱画像用適応度定義部
４を、個体位置記憶部３に記憶されている探索点の視差
画像用の評価式を定義する視差画像用適応度定義部２０
で、熱画像用ネットワークエネルギー定義部１１を、個
体ネットワーク記憶部１０に記憶されているネットワー
クの視差画像用のエネルギーを定義する視差画像用ネッ
トワークエネルギー定義部２１でそれぞれ置き換えたこ
とである。又、撮像手段は、ステレオ画像入力部１７及
び視差画像生成部１８により構成されている。

【００３７】以上のように構成された第３の実施例の画
像中の対象物抽出装置の動作を、図１３のフローチャー
トを参照しながら説明する。ただし、第３の実施例のス
テップのＳ１b、Ｓ３b、Ｓ８b 以外は、第１の実施例と
全く同様の手順であるため、異なるステップのみ説明す
る。［ステップＳ１b］ステレオ画像入力部１７により、対
象物を含む特定領域を撮像し、得られた複数の可視画像
から視差画像生成部１８により視差画像を生成し、それ
を視差画像記憶部１９に記憶する。［ステップＳ３b］個体位置記憶部３に記憶されている
全ての探索点について、視差画像用適応度定義部２０に
予め定義されている探索点の評価式に従って、適応度算
出記憶部５により評価値を算出して記憶する。視差画像
から特定距離にある物体を抽出する場合には、距離に対
する視差値I_d(x,y)の適合度を与える関数D(I_d(x,y)) を
図１４に示すように定義し、探索点p_k(x_k(t),y_k(t)) の
評価式は、例えば以下のように算出する。

【００３８】

【数１３】Fit_d(p_k) = D(I_d(x_k(t),y_k(t))) ［ステップＳ８b］視差画像用ネットワークエネルギー
定義部２１には、視差画像中の視差が一様な領域を特定
距離にある対象物として抽出するために最適化すべきエ
ネルギーE_Tを次式のように予め定義しておく。

【００３９】

【数１４】E_T = E_int + E_disparity ただし、E_intは（数５）と同様、E_disparityは次式のよ
うに定める。

【００４０】

【数１５】 E_color=ω[I_d(x(u,v),y(u,v))] ；u,vがネットワークの最外郭のとき、ω>0 =ωD(I_d(x_k(t),y_k(t))) ;u,vがネットワークの最外郭以外のとき、ω<0 個体ネットワーク最適化部１２では、（数８）により個
体ネットワークの形状を変化させる。

【００４１】以上の手順によれば、視差画像から特定距
離にある物体のみを選択的に抽出することができる。ま
た、視差画像上で抽出された領域を可視画像に投影すれ
ば、可視画像から指定した距離にある対象物を抽出する
ことができる。

【００４２】以上説明したように、第３の実施例によれ
ば、抽出したい対象物の距離（視差）に対する適合度を
探索点の評価値として定義することにより、特定距離に
ある複数の対象物を同時に選択的に抽出することができ
る。（実施例４）次に第４の実施例について説明する。第１
や第２の実施例では、赤外線カメラやＣＣＤカメラを単
独で用いていた。（実施例１）では背景に比べて相対的
に温度の高い領域を人体として切り出していたが、温度
が相対的に高いだけでは人体であると確定することは必
ずしも正しくない。従って、複数の異種画像情報を同時
に扱い、より確度の高い対象物の抽出法が望まれる。第
４の実施例は、上記のように複数の画像情報を同時に扱
って対象物を抽出するように考慮したものである。ここ
では、熱画像と可視画像を用いて人体の顔面領域を抽出
する例で説明する。

【００４３】図１５は、第４の実施例の対象物抽出装置
のブロック図であり、図１に示した第１の実施例と同じ
構成部分には同一番号を付して詳細な説明は省略する。
第４の実施例と第１の実施例との相違点は、特定領域の
可視画像を撮像するＣＣＤカメラ１３、ＣＣＤカメラ１
３から得られる可視画像を記憶する可視画像記憶部１４
及び特定領域からの赤外光を反射して赤外線カメラ１に
入射させ可視光を透過してＣＣＤカメラ１３に入射させ
るミラー２２とハーフミラー２３を付加し、熱画像用適
応度定義部４を、個体位置記憶部３に記憶されている探
索点の熱画像及び可視画像用の評価式を定義する熱・可
視画像用適応度定義部２４で、熱画像用ネットワークエ
ネルギー定義部１１を、個体ネットワーク記憶部１０に
記憶されているネットワークの熱画像および可視画像用
のエネルギーを定義する熱・可視画像用ネットワークエ
ネルギー定義部２５でそれぞれ置き換えたことである。

【００４４】これにより、熱画像と可視画像を全く同一
の視野および解像度で得ることができる。得られた画像
はそれぞれ熱画像記憶部２および可視画像記憶部１４に
デジタル化して記憶される。

【００４５】以上のように構成された第４の実施例の画
像中の対象物抽出装置の動作を図１６のフローチャート
を参照しながら説明する。ただし、第４の実施例のステ
ップのＳ１c、Ｓ３c、Ｓ８c 以外は、第１の実施例と全
く同様の手順であるため、異なるステップのみ説明す
る。［ステップＳ１c］ハーフミラー２３を透過した可視光
をＣＣＤカメラ１３により、又ハーフミラー２３及びミ
ラー２２で反射した赤外光を赤外線カメラ１によって、
対象物を含む特定領域について撮像し、得られた熱画像
と可視画像を、それぞれ熱画像記憶部２および可視画像
記憶部１４に記憶する。［ステップＳ３c］個体位置記憶部３に記憶されている
全ての探索点について、熱・可視画像用適応度定義部２
４に予め定義されている探索点の評価式に従って、適応
度算出記憶部５により評価値を算出し記憶する。人物の
顔領域は、背景に対して温度が相対的に高くかつ肌色の
領域であるので、熱画像の画素値I_T(x,y) および肌色に
対するＨＳＶ値、I_vH(x,y)、I_vS(x,y)、I_vV(x,y)の適合
度を与える関数F(I_vH(x,y))、G(I_vS(x,y))、H(I_vV(x,
y))を図１１と同様に定義して同時に考慮することによ
り、探索点p_k(x_k(t),y_k(t))の評価式は、例えば以下の
ように算出する。

【００４６】

【数１６】 Fit_tc(p_k) = I_T(x_k(t),y_k(t)) *F(I_vH(x_k(t),y_k(t)))*G(I_vS(x_k(t),y_k(t)))*H(I_vV(x_k(t),y_k(t))) ［ステップＳ８a］熱・可視画像用ネットワークエネル
ギー定義部２５には、人物の顔領域のように温度情報と
色情報により対象物を抽出するために最適化すべきエネ
ルギーE_Tを次式のように予め定義しておく。

【００４７】

【数１７】E_T = E_int + E_tc ただし、E_intは（数５）と同様、E_tcは温度が高く肌色
の領域を選択的に抽出するため次式のように定める。

【００４８】

【数１８】 E_tc =ω[{∂I_v(x(u,v),y(u,v))/∂x}²+{∂I_v(x(u,v),y(u,v))/∂y}²] ；u,vがネットワークの最外郭のとき =ωI_T(x(u,v),y(u,v)) *F(I_vH(x(u,v),y(u,v))*G(I_vS(x(u,v),y(u,v))*H(I_vV(x(u,v),y(u,v))) ;u,vがネットワークの最外郭以外のときただし、ω<0とする。

【００４９】個体ネットワーク最適化部１２では、（数
８）により個体ネットワークの形状を変化させる。

【００５０】以上の手順によれば、温度情報と色情報を
同時に考慮することにより、人体の顔領域などを正確に
抽出することができる。

【００５１】以上説明したように、第４の実施例によれ
ば、複数の異種画像情報を同時に扱うことにより、より
高い確信度で対象物の抽出が可能となる。（実施例５）次に第５の実施例について説明する。第４
の実施例では、赤外線カメラとＣＣＤカメラを用いるこ
とにより、複数の異種画像情報を同時に扱い、より高い
確信度で対象物の抽出法を説明した。第５の実施例で
は、さらにＣＣＤカメラを複数にし、熱画像と可視画像
さらに視差画像を用いて対象物を抽出するように考慮し
たものである。これにより、特定の距離にある人体のよ
うな熱源を選択的に抽出することができ、例えば、特定
の距離以上に近づいている人体を抽出する侵入者検知シ
ステム等に応用可能である。

【００５２】図１７は、第５の実施例の対象物抽出装置
のブロック図であり、図１５に示した第４の実施例と同
じ構成部分には同一番号を付して詳細な説明は省略す
る。第５の実施例と第４の実施例との相違点は、更に、
特定領域の可視画像を撮像する少なくとも２台のＣＣＤ
カメラからなるステレオ画像入力部１７、ステレオ画像
入力部１７から得られる複数の可視画像から視差画像を
生成する視差画像生成部１８、視差画像生成部１８から
得られる視差画像を記憶する視差画像記憶部１９を付加
し、熱・可視画像用適応度定義部２４を、個体位置記憶
部３に記憶されている探索点の熱画像、可視画像および
視差画像用の評価式を定義する熱・可視・視差画像用適
応度定義部２６で、熱・可視画像用ネットワークエネル
ギー定義部２５を、個体ネットワーク記憶部１０に記憶
されているネットワークの熱画像、可視画像および視差
画像用のエネルギーを定義する熱・可視・視差画像用ネ
ットワークエネルギー定義部２７でそれぞれ置き換えた
ことである。

【００５３】以上のように構成された第５の実施例の画
像中の対象物抽出装置の動作を図１８のフローチャート
を参照しながら説明する。ただし、第５の実施例のステ
ップのＳ１d、Ｓ３d、Ｓ８d 以外は、第４の実施例と全
く同様の手順であるため、異なるステップのみ説明す
る。［ステップＳ１d］ハーフミラー２３を透過した可視光
をステレオ画像入力部１７のＣＣＤカメラにより、又ハ
ーフミラー２３及びミラー２２で反射した赤外光を赤外
線カメラ１によって、対象物を含む特定領域について撮
像し、得られた熱画像と可視画像を、それぞれ熱画像記
憶部２および可視画像記憶部１４に記憶する。さらにス
テレオ画像入力部１７により得られた複数の可視画像か
ら視差画像生成部１８により視差画像を生成し視差画像
記憶部１９に記憶する。［ステップＳ３d］個体位置記憶部３に記憶されている
全ての探索点について、熱・可視・視差画像用適応度定
義部２６に予め定義されている探索点の評価式に従っ
て、適応度算出記憶部５により評価値を算出して記憶す
る。ある特定の距離以上に近づいている人体を選択的に
抽出するには、温度情報として熱画像の画素値I_T(x,y)
、色情報として図１１と同様に定義される肌色に対す
るＨＳＶ値、I_vH(x,y)、I_vS(x,y)、I_vV(x,y)の適合度を
与える関数F(I_vH(x,y))、G(I_vS(x,y))、H(I_vV(x,y)) お
よび距離情報として同時に考慮することにより、探索点
p_k(x_k(t),y_k(t)) の評価式は、例えば以下のように算出
する。

【００５４】

【数１９】 Fit_tcd(p_k) = I_T(x_k(t),y_k(t)) *F(I_vH(x_k(t),y_k(t)))*G(I_vS(x_k(t),y_k(t)))*H(I_vV(x_k(t),y_k(t))) *D(I_d(x_k(t),y_k(t))) ［ステップＳ８d］熱・可視・視差画像用ネットワーク
エネルギー定義部２７には、ある特定の距離以上に近づ
いている人体を正確に抽出するための温度情報、色情報
および距離情報により対象物を抽出する際に最適化すべ
きエネルギーE_Tを次式のように予め定義しておく。

【００５５】

【数２０】E_T = E_int + E_tcd ただし、E_intは（数５）と同様、E_tcdは温度が高く肌色
でかつ特定の距離以上にある領域を選択的に抽出するた
め次式のように定める。

【００５６】

【数２１】 E_tcd=ω[{∂I_v(x(u,v),y(u,v))/∂x}²+{∂I_v(x(u,v),y(u,v))/∂y}²] ；u,vがネットワークの最外郭のとき =ωI_T(x(u,v),y(u,v)) *F(I_vH(x(u,v),y(u,v))*G(I_vS(x(u,v),y(u,v))*H(I_vV(x(u,v),y(u,v))) *D(I_d(x(u,v),y(u,v))) ;u,vがネットワークの最外郭以外のときただし、ω<0とする。

【００５７】個体ネットワーク最適化部１２では、（数
８）により個体ネットワークの形状を変化させる。

【００５８】以上の手順によれば、温度情報と色情報に
加え距離情報を同時に考慮することにより、特定の距離
以上に近づいている人体をなどを正確に抽出することが
でき、セキュリティシステムへの応用が可能となる。

【００５９】以上説明したように、第５の実施例によれ
ば、熱、可視の情報にさらに視差情報を同時に扱うこと
により、さらに高い確信度で対象物の抽出が可能とな
る。（実施例６）次に第６の実施例について説明する。第５
の実施例では、赤外線カメラと複数のＣＣＤカメラを用
いることにより複数の異種画像情報を同時に扱い、より
高い確信度での対象物の抽出法を説明した。しかしなが
ら第５の実施例では、ネットワークの最外郭では可視画
像のエッジ情報のみにより対象物の輪郭部分を抽出して
おり、エッジが弱い場合などにはうまく対象物を抽出で
きない可能性がある。第６の実施例では、各画像ごとに
ネットワークを設定し、それらを適当な拘束条件のもと
で協調的に動作させることにより、正確に対象物を抽出
できるように考慮したものである。

【００６０】図１９は、第６の実施例の対象物抽出装置
のブロック図であり、図１７に示した第５の実施例と同
じ構成部分には同一番号を付して詳細な説明は省略す
る。第６の実施例と第５の実施例との相違点は、更に、
固体ネットワーク構成部９により構成された個体ネット
ワークを熱画像記憶部２に記憶されている熱画像、可視
画像記憶部１４に記憶されている可視画像および視差画
像記憶部１９に記憶されている視差画像のそれぞれに設
定し、それぞれの個体ネットワークを画像間で連結する
画像間協調ネットワーク構成部２８を付加し、個体ネッ
トワーク記憶部１０を、画像間協調ネットワーク構成部
２８により構成された画像間協調ネットワークを記憶す
る画像間協調ネットワーク記憶部２９で、熱・可視・視
差画像用ネットワークエネルギー定義部２７を、画像間
協調ネットワーク記憶部２９に記憶されている画像間協
調ネットワークのエネルギーを定義する熱・可視・視差
画像間協調ネットワークエネルギー定義部３０で、個体
ネットワーク最適化部１２を、熱・可視・視差画像用ネ
ットワークエネルギー定義部３０で定義されているエネ
ルギーを極小化するように画像間協調ネットワークの形
状を変化させる画像間協調ネットワーク最適化部３１で
それぞれ置き換えたことである。

【００６１】以上のように構成された第６の実施例の画
像中の対象物抽出装置の動作を図２０のフローチャート
を参照しながら説明する。ただし、第６の実施例のステ
ップＳ８e〜ステップＳ１１e以外は、第５の実施例と全
く同様の手順であるため、異なるステップのみ説明す
る。［ステップＳ８e］画像間協調ネットワーク構成部２８
により、個体ネットワーク構成部９で構成されたネット
ワークを熱、可視、視差画像それぞれに対してAt_i(u,v)
=(x_t(u,v),y_t(u,v))、Av_i(u,v)=(x_v(u,v),y_v(u,v))、Ad
_i(u,v)=(x_d(u,v),y_d(u,v))として設置し、対応するu,v
について画像間で格子点を連結して画像間協調ネットワ
ークを構成し、画像間協調ネットワーク記憶部２９に記
憶する。［ステップＳ９e］熱・可視・視差画像間協調ネットワ
ークエネルギー定義部３０には、各画像に設定されたネ
ットワークがある協調をすることにより、温度情報、色
情報および距離情報を協調させて対象物を抽出する際に
最適化すべきエネルギーE_Tt、E_Tv、E_Tdを以下のように
予め定義しておく。

【００６２】

【数２２】E_Tt = E_int + E_tcd__t + E_con

【００６３】

【数２３】E_Tv = E_int + E_tcd__v + E_con

【００６４】

【数２４】E_Td = E_int + E_tcd__d + E_con ただし、E_intは（数５）と同様、E_tcd__t、E_tcd__v、E_tcd
__dおよび格子点の画像間での拘束力E_conは以下のように
定める。

【００６５】

【数２５】 E_tcd__t=ωI_T(x(u,v),y(u,v)) ;u,vがネットワークの最外郭のとき、ω>0 =ωI_T(x(u,v),y(u,v)) *F(I_vH(x(u,v),y(u,v))*G(I_vS(x(u,v),y(u,v))*H(I_vV(x(u,v),y(u,v))) *D(I_d(x(u,v),y(u,v))) ;u,vがネットワークの最外郭以外のとき、ω<0とする。

【００６６】

【数２６】 E_tcd__v=ω[{∂I_v(x(u,v),y(u,v))/∂x}²+{∂I_v(x(u,v),y(u,v))/∂y}²] ；u,vがネットワークの最外郭のとき =ωI_T(x(u,v),y(u,v)) *F(I_vH(x(u,v),y(u,v))*G(I_vS(x(u,v),y(u,v))*H(I_vV(x(u,v),y(u,v))) *D(I_d(x(u,v),y(u,v))) ;u,vがネットワークの最外郭以外のときただし、ω<0とする。

【００６７】

【数２７】 E_tcd__d=ω[{∂I_d(x(u,v),y(u,v))/∂x}²+{∂I_d(x(u,v),y(u,v))/∂y}²] ；u,vがネットワークの最外郭のとき =ωI_T(x(u,v),y(u,v)) *F(I_vH(x(u,v),y(u,v))*G(I_vS(x(u,v),y(u,v))*H(I_vV(x(u,v),y(u,v))) *D(I_d(x(u,v),y(u,v))) ;u,vがネットワークの最外郭以外のときただし、ω<0とする。

【００６８】

【数２８】E_con = {x_v(u,v) - x_t(u,v)}² + {x_d(u,v) -
x_v(u,v)}²+{y_v(u,v) - y_t(u,v)}² + {y_d(u,v) - y_v(u,
v)}² ［ステップＳ１０e］画像間協調ネットワーク最適化部
３１では、次式により画像間協調ネットワークの形状を
変化させる。

【００６９】

【数２９】x_t(u,v,t+1) = x_t(u,v,t) - η*(∂E_Tt/∂x) y_t(u,v,t+1) = y_t(u,v,t) - η*(∂E_Tt/∂y)

【００７０】

【数３０】x_v(u,v,t+1) = x_v(u,v,t) - η*(∂E_Tv/∂x) y_v(u,v,t+1) = y_v(u,v,t) - η*(∂E_Tv/∂y)

【００７１】

【数３１】x_d(u,v,t+1) = x_d(u,v,t) - η*(∂E_Td/∂x) y_d(u,v,t+1) = y_d(u,v,t) - η*(∂E_Td/∂y) ［ステップＳ１１e］エネルギーの変化量ΔE_Tt=｜E
_Tt(t)-E_Tt(tーs)｜、ΔE_Tv=｜E_Tv(t)-E_Tv(tーs)｜、ΔE_Td
=｜E_Td(t)-E_Td(tーs)｜がすべて、予め定められた微小量
δ_E以下になったとき、あるいは、すべての格子点A
_ti(u,v)=(x_t(u,v),y_t(u,v))、A_vi(u,v)=(x_v(u,v),y_v(u,
v))、A_di(u,v)=(x_d(u,v),y_d(u,v))の位置の変化量ΔA_ti
(u,v)=｜A_ti(x _t(u,v,t)ーx_t(u,v,t-s),y_t(u,v,t)ーy_t(u,
v,t-s))｜、ΔA_vi(u,v)=｜A_vi(x_v(u,v,t)ーx_v(u,v,t-s),
y_v(u,v,t)ーy_v(u,v,t-s))｜、ΔA_di(u,v)=｜A_di(x_d(u,v,
t)ーx_d(u,v,t-s),y_d(u,v,t)ーy_d(u,v,t-s))｜がすべて、
予め定められた微小量δ_A以下になったとき画像間協調
ネットワーク最適化部３１の動作を停止し、対象物の抽
出を終了する。それ以外の時、ステップＳ１０eへ戻
る。

【００７２】以上の手順によれば、熱、可視、視差画像
上のネットワークを協調させることにより、可視のエッ
ジが弱い場合にも補完的に正確な輪郭形状が抽出でき
る。

【００７３】以上説明したように、第６の実施例によれ
ば、複数の画像に設定した複数のネットワークを協調的
に動作させることにより、さらに正確に対象物の抽出が
可能となる。

【００７４】以上述べたように、第１の実施例によれ
ば、赤外線カメラ１により撮像した熱画像中に配置した
探索点を、その近傍の探索点の温度による評価値に基づ
き移動させることにより、熱画像中の複数の対象物のお
おまかな領域を同時に探索し、探索点をグループ化した
後グループ毎に隣接する探索点を連結してネットワーク
を作り、予め定義された対象物の温度特徴を表すエネル
ギー関数を極小化することにより、予め対象物の数の概
略輪郭を与えることなく、特定領域内の複数の熱源の同
時抽出が可能となる。従って、例えば室内の熱源の数を
検知し、その数に応じてきめ細やかな温度調節が可能な
空調システムを実現できる。

【００７５】第２の実施例によれば、ＣＣＤカメラ１３
により撮像された可視画像中に配置した探索点を、その
近傍の探索点の色による評価値に基づき移動させること
により、画像中の特定色を持つ複数の対象物のおおまか
な領域を同時に探索し、探索点をグループ化した後グル
ープ毎に隣接する探索点を連結してネットワークを作
り、予め定義された対象物の色特徴を表すエネルギー関
数を極小化することにより、予め対象物の数の概略輪郭
を与えることなく、特定領域内の複数の特定色を持つ対
象物を同時に抽出できる。従って、人体等に付けた複数
のマーカーを同時に追跡し、その動きを解析するシステ
ムを実現できる。

【００７６】第３の実施例によれば、複数のＣＣＤカメ
ラにより撮像された可視画像中から生成される視差画像
中に配置した探索点を、その近傍の探索点の距離による
評価値に基づき移動させることにより、画像中の特定の
距離にある複数の対象物のおおまかな領域を同時に探索
し、探索点をグループ化した後グループ毎に隣接する探
索点を連結してネットワークを作り、予め定義された対
象物の距離特徴を表すエネルギー関数を極小化すること
により、予め対象物の数の概略輪郭を与えることなく、
特定領域内の特定距離にある複数の対象物を同時に抽出
できる。従って、指定した距離にある対象物を選択的に
抽出することができる。

【００７７】第４の実施例によれば、赤外線カメラ１、
ＣＣＤカメラ１３、及び赤外光を反射し可視光を透過す
るミラー２２，ハーフミラー２３を用いて熱画像と可視
画像をまったく同一の視野で撮像し、画像中に配置した
探索点をその近傍の探索点の温度および色による評価値
に基づき移動させることにより、画像中の特定色を持つ
複数の熱源のおおまかな領域を同時に探索し、探索点を
グループ化した後グループ毎に隣接する探索点を連結し
てネットワークを作り、予め定義された対象物の温度お
よび色特徴を表すエネルギー関数を極小化することによ
り、予め対象物の数の概略輪郭を与えることなく、特定
領域内の特定色を持つ複数の熱源の同時抽出ができる。
従って、温度の高い肌色の領域を抽出することにより人
体の顔領域を抽出することができ、ビデオカメラの色補
正や人数に応じた空調などが実現できる。

【００７８】第５の実施例によれば、赤外線カメラ１、
複数のＣＣＤカメラ、及び赤外光を反射し可視光を透過
するミラー２２，ハーフミラー２３を用いて熱画像と可
視画像をまったく同一の視野で撮像し、さらに複数の可
視画像から視差画像を生成し、画像中に配置した探索点
をその近傍の探索点の温度、色、距離による評価値に基
づき移動させることにより、画像中の特定距離にある特
定色を持つ複数の熱源のおおまかな領域を同時に探索
し、探索点をグループ化した後グループ毎に隣接する探
索点を連結してネットワークを作り、予め定義された対
象物の温度、色および距離特徴を表すエネルギー関数を
極小化することにより、予め対象物の数の概略輪郭を与
えることなく、特定領域内の特定距離にある特定色を持
つ複数の熱源の同時抽出ができる。従って、特定の距離
以上に近づいている温度の高い肌色領域を選択的に抽出
できるので、特定場所に侵入している人体を抽出でき、
セキュリティシステムが実現できる。

【００７９】更に、第６の実施例によれば、熱画像、可
視画像、視差画像等の複数の画像おのおのに探索点を連
結したネットワークを設定し、それらのネットワークを
画像間で連結し、予め定義された対象物の温度、色、距
離特徴およびネットワークの画像間における拘束条件を
表すエネルギー関数を極小化することにより、各画像に
設置したネットワークを協調動作させることによって、
各画像における情報不足を補完的に補い、得られた画像
情報が不完全であっても対象物の抽出が可能となる。

【００８０】なお、上記実施例では、いずれも抽出する
対象物として人体を例に説明したが、対象物はこれに限
定されるものではない。

【００８１】また、上記実施例では、いずれも所定の物
理量を赤外線、可視光、視差としたが、これに限らず、
例えば紫外線、電波等、抽出する対象物に最適なものを
用いてもよい。

【００８２】

【発明の効果】以上述べたところから明らかなように本
発明は、あらかじめ対象物の数の概略輪郭を与えること
なく、画像中から複数の対象物を同時に抽出でき、複数
種類の画像データを同時に扱うことが可能となるという
長所を有する。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例の対象物抽出装置
のブロック図である。

【図２】同第１の実施例における動作手順を示すフロー
チャートである。

【図３】同第１の実施例における探索点の初期配置を示
す図である。

【図４】同第１の実施例における収束した探索点を示す
図である。

【図５】同第１の実施例におけるラベル付けの結果を示
す図である。

【図６】同第１の実施例における基準ネットワークの設
置を示す図である。

【図７】同第１の実施例における個体ネットワークの初
期値を示す図である。

【図８】同第１の実施例における収束した個体ネットワ
ークを示す図である。

【図９】本発明にかかる第２の実施例の対象物抽出装置
のブロック図である。

【図１０】同第２の実施例における動作手順を示すフロ
ーチャートである。

【図１１】同第２の実施例における特定色に対する適合
度関数を示す図である。

【図１２】本発明にかかる第３の実施例の対象物抽出装
置のブロック図である。

【図１３】同第３の実施例における動作手順を示すフロ
ーチャートである。

【図１４】同第３の実施例における特定距離に対する適
合度関数を示す図である。

【図１５】本発明にかかる第４の実施例の対象物抽出装
置のブロック図である。

【図１６】同第４の実施例における動作手順を示すフロ
ーチャートである。

【図１７】本発明にかかる第５の実施例の対象物抽出装
置のブロック図である。

【図１８】同第５の実施例における動作手順を示すフロ
ーチャートである。

【図１９】本発明にかかる第６の実施例の対象物抽出装
置のブロック図である。

【図２０】同第６の実施例における動作手順を示すフロ
ーチャートである。

【符号の説明】

１赤外線カメラ２熱画像記憶部３個体位置記憶部４熱画像用適応度定義部５適応度算出記憶部６個体位置更新部７探索終了判定部８個体分類部９個体ネットワーク構成部１０個体ネットワーク記憶部１１熱画像用ネットワークエネルギー定義部１２個体ネットワーク最適化部１５可視画像用適応度定義部

Claims

【特許請求の範囲】

【請求項１】対象物を含む所定領域の所定の物理量に
よる画像を得るための撮像手段と、その得られた画像内
の対象物を探索するために、複数の探索点を設定し、そ
の設定した各探索点における前記所定の物理量により定
義される評価値を算出する評価値算出手段と、その算出
された評価値を利用することにより、前記各探索点が前
記対象物を覆う領域に集合するように、所定の評価値を
持つ探索点を基準にして各探索点の位置を繰り返し更新
する位置更新手段と、その位置の更新された各探索点が
集合するグループを検出する固体検出手段とを備えたこ
とを特徴とする画像中の対象物抽出装置。
【請求項２】位置更新手段は、探索点の更新位置を決
定する際に参照する探索点を、前記探索点の評価値に従
い選択する交叉対象選択部と、その交叉対象選択部によ
り選択された探索点の位置を参照して探索点の更新位置
を決定する交叉部と、その交叉部により決定された探索
点の更新位置をあらかじめ定められた確率で乱数で置き
換える突然変異部とを有することを特徴とする請求項１
記載の画像中の対象物抽出装置。
【請求項３】固体検出手段によって検出された前記グ
ループ毎に、隣接する各探索点を連結することによりネ
ットワークを形成するネットワーク形成手段と、その形
成されたネットワークを、予め定義された前記所定の物
理量の特徴を表すエネルギー式に基づいて、変形するこ
とにより前記対象物を抽出するネットワーク最適化手段
とを備えたことを特徴とする請求項１、又は２記載の画
像中の対象物抽出装置。
【請求項４】所定の物理量は、赤外線、又は可視光
線、又は異なる方向から得た少なくとも２つの画像から
生成された視差であることを特徴とする請求項１〜３の
いずれかに記載の画像中の対象物抽出装置。
【請求項５】撮像手段により得られる前記画像は、同
じ画像領域についての熱画像及び可視画像であって、前
記評価値は、前記熱画像及び可視画像用に総合して算出
され、前記エネルギー式は、前記熱画像及び可視画像用
に総合されたものであることを特徴とする請求項３記載
の画像中の対象物抽出装置。
【請求項６】撮像手段により得られる前記画像は、同
じ画像領域についての熱画像、可視画像、及び異なる方
向から得た少なくとも２つの画像から生成された視差画
像であって、前記評価値は、前記熱画像、可視画像、及
び視差画像用に総合して算出され、前記エネルギー式
は、前記熱画像、可視画像、及び視差画像用に総合され
たものであることを特徴とする請求項３記載の画像中の
対象物抽出装置。
【請求項７】更に、前記ネットワーク形成手段により
形成されたネットワークを前記熱画像、可視画像、及び
視差画像にそれぞれ設定し、その設定したネットワーク
を各画像間で連結する画像間協調ネットワーク構成部
と、前記ネットワーク最適化手段に代えて、前記連結さ
れた画像間協調ネットワークの形状を、予め設定された
熱画像、可視画像、及び視差画像の画像間協調ネットワ
ーク用のエネルギー式に基づいて、変化させる画像間協
調ネットワーク最適化部とを備えたことを特徴とする請
求項６記載の画像中の対象物抽出装置。
【請求項８】ネットワーク形成手段を、前記分類され
たグループ各々に対し、それらを包含するあらかじめ定
められた形状の探索点のネットワークを設置する個体ネ
ットワーク設置部で置き換えたことを特徴とする請求項
３〜６のいずれかに記載の画像中の対象物抽出装置。