JPH06176150A - 物体検出方式 - Google Patents

Abstract

(57)【要約】 【目的】画像中から目的物体の領域を、照明条件等の環
境変動に影響されずに、高速且つ比較的正確に検出でき
るようにする。 【構成】ディジタル動画像入力部１により入力されたデ
ィジタル動画像から、領域抽出部２により検出対象物体
の候補領域を抽出し、各領域について、対象物体の領域
である確信度Ｘi を、対象物体の形状特徴を基準に形状
判定部３で求め、その値に応じて対象物体の領域である
らしいか否かを判定する。影判定部５は、対象物体の領
域であるらしいと判定された各領域毎に、その内部が影
であるか否かを調べて影の度合いＳi を求め、その際、
影位置推定部４にて照明条件モデルに基づき推定される
影の位置を反映させる。対象物体検出部６は、上記各領
域毎の確信度Ｘi と影の度合いＳi をもとに、対象物体
としての確信度Ｙi ＝Ｘi ＊（1.0 −Ｓi ）を求め、Ｙ
i が最大の領域を対象物体領域として検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像中から、検出対象
物体領域を比較的厳密に検出するのに好適な物体検出方
式に関する。

【０００２】

【従来の技術】従来、物体、特に移動物体を検出する技
術として、次の３つの方式が知られていた。 （１）対象物体の通過経路（存在領域）を限定すること
を前提として、赤外線、超音波等のセンサを用いて対象
物体の検知を行う方式（第１の方式）。 （２）入力されたディジタル画像内の各領域に対して、
対象物体に対するテンプレートマッチングを行う方式
（第２の方式）。

【０００３】（３）画像（動画像）内からの移動物体の
検出を行うために、全画面（動画像中の各フレーム）に
対して影の除去処理を行う方式（第３の方式）。この影
の除去処理は、例えば移動物体が、他の物体をも含んで
いる、ある視野内に存在する可能性があり、その移動物
体のみを厳密に特定したいという要求に対し、照明条件
によって画像内に影が発生し、それによって物体の誤検
出がなされるのを防ぐために行われるものである。

【０００４】

【発明が解決しようとする課題】前述の従来技術におい
て、まず第１の方式は、比較的に確実に対象物体の検知
が行えるものの、対象物体の通過経路を限定する必要が
あり、感度等を考慮すると、設置するセンサの規模が大
掛かりになりやすいという欠点があった。

【０００５】次に第２の方式は、画像の全領域に対し
て、コストのかかるマッチング処理を行うことから、処
理に長時間を要するという欠点があった。また、厳密に
対象物体との一致を調べなければならないために、照明
条件等の環境変動に弱いという欠点もあった。

【０００６】そして、第３の方式は、動画像中の各フレ
ームに対して影の除去を行うことから、処理時間がかか
る上、各画像での影判定アルゴリズムの結果が対象物体
の検出性能にそのまま影響を及ぼしてしまう欠点があっ
た。

【０００７】本発明は上記事情を考慮してなされたもの
でその目的は、画像中から検出対象とする物体領域を検
出するのに、照明条件等の環境変動に影響されることな
く、しかも高速且つ比較的正確に行える物体検出方式を
提供することにある。

【０００８】

【課題を解決するための手段】本発明は、上記課題を解
決するために、画像中から、検出対象物体の候補となる
第１候補領域を抽出する領域抽出手段と、抽出された各
第１候補領域毎に、予め設定された検出対象物体の形状
特徴を基準として、その領域が検出対象物体の領域であ
る確信度を算出して、その領域が検出対象物体の形状特
徴と適合する第２候補領域であるか否かを判定する形状
判定手段と、第２候補領域であると判定された領域毎
に、その内部が影であるか否かを検証して、影らしさの
評価値を算出する影判定手段と、各領域毎の影らしさの
評価値を、それぞれ形状判定手段によって算出された対
応領域の確信度に反映させ、その反映した値に従って検
出対象物体の領域を検出する対象物体検出手段とを備え
たことを特徴とするものである。

【０００９】また本発明は、影判定手段による影の検証
処理の際に、照明環境のモデルに基づいて、影のできる
位置を推定する影位置推定手段を更に備え、この影位置
の推定結果を影判定手段が算出する影らしさの評価値に
反映させるようにしたことを特徴とする

【００１０】

【作用】上記の構成において、領域抽出手段は、時系列
のディジタル動画像が入力されると、例えば連続する２
フレーム間の差分の絶対値画像を求めて、ある閾値で２
値化することにより、その入力画像中から、検出すべき
対象物体の候補となる領域（第１候補領域）を抽出す
る。

【００１１】形状判定手段は、領域抽出手段により抽出
された領域毎に、予め設定された検出対象物体の形状特
徴を基準として、検出対象物体（の領域である）らしさ
の確信度を算出して、検出対象物体の形状特徴と適合す
る領域（第２候補領域）であるか否かを判定する。

【００１２】影位置推定手段は、照明環境のモデルを持
ち、形状判定手段により検出対象物体の候補領域（第２
候補領域）であると判定された領域毎に、そのモデルに
基づいて影のできる位置を推定する。

【００１３】影判定手段は、形状判定手段により検出対
象物体の候補領域であると判定された領域毎に、その領
域の位置、およびその周辺で、影であるか否かの検証処
理を行って、影らしさの評価値（影の度合い）を算出す
る。この際、影らしさの評価値の重みが、影位置推定手
段によって推定された影位置に応じて変化させられる。
即ち、影位置推定手段による影位置推定結果が影らしさ
の評価値に反映される。

【００１４】対象物体検出手段は、影判定手段によって
求められた各領域毎の影らしさの評価値を、それぞれ形
状判定手段によって算出された対応領域の確信度に反映
させ、その反映した値が最大となる領域を、検出対象物
体の領域として検出する。

【００１５】このように、本発明においては、検出対象
物体の候補領域であると判定された位置とその周辺で影
の検証処理を行い、結果を検出対象物体らしさの確信度
に寄与させることにより、影のような環境変動の影響を
受けることなく対象物体を検出することが可能である。
また、本発明においては、影の判定を、検出対象物体で
あるらしいと判定された領域（第２候補領域）のみに対
して行うため、処理の高速化が可能である。

【００１６】更に、本発明においては、照明条件のモデ
ルに基づいて、影のできる位置を予め推定する方式を適
用しているため、影としての判定の正解率を向上させる
ことが可能である。

【００１７】

【実施例】図１は本発明の物体検出方式の一実施例を示
すブロック構成図である。

【００１８】図１において、１は時系列のディジタル動
画像を入力するためのディジタル動画像入力部、２は入
力されたディジタル動画像から検出の対象となる物体
（移動物体）の候補となる領域（の画像）を抽出するた
めの領域抽出部である。

【００１９】３は領域抽出部２により抽出された候補領
域の形状が検出すべき対象物体の形状特徴に適合するか
否かを検証するために、検出対象物体らしさの確信度
（Ｘi）を計算する形状判定部である。

【００２０】４は形状判定部３により検出対象物体であ
るらしいと判定された候補領域画像を対象に、照明条件
のモデルに基づいて、影のできる位置を推定する影位置
推定部、５は影判定部である。影判定部５は、形状判定
部３により検出対象物体であるらしいと判定された候補
領域の画像に対して、影位置推定部４の影推定結果をも
とに影であるか否かを検証する。

【００２１】６は影判定部５の影判定結果を形状判定部
３により求められた対象物体らしさの確信度（Ｘi ）に
反映させ、これに従って検出対象物体領域を検出するた
めの対象物体検出部、７は上記各部を制御する動作制御
部である。次に、図１の構成による物体検出処理を説明
する。まず、本実施例における物体検出処理は、５段階
に大別される。

【００２２】第１の段階は、連続フレームのディジタル
動画像をディジタル動画像入力部１により入力する処理
である。この第１の段階において、ディジタル動画像入
力部１は、内蔵のＡ／Ｄ（アナログ／ディジタル）コン
バータ（図示せず）によりアナログ入力画像をディジタ
ル化し、１フレーム毎に１画像として入力する。

【００２３】第２の段階は、検出対象となる移動物体
（対象物体）の候補領域（第１対象物体候補領域）を領
域抽出部２により抽出する処理である。領域抽出部２
は、この対象物体候補領域（の画像）の抽出を、図２に
示す処理手順に従って行う。

【００２４】即ち領域抽出部２は、まずディジタル動画
像入力部１により入力される連続フレームのディジタル
動画像を受けて、連続する２フレーム間の差分の絶対値
画像を求める（ステップＳ１，Ｓ２）。次に領域抽出部
２は、この差分の絶対値画像を、ある閾値で２値化する
ことにより（ステップＳ３，Ｓ４）、対象物体の候補と
なる第１対象物体候補領域（の画像）を抽出する。第３
の段階は、形状判定部３により行われる形状判定処理で
ある。形状判定部３は、この形状判定処理を、図３に示
す処理手順に従って行う。

【００２５】即ち形状判定部３は、まず領域抽出部２に
より抽出された第１対象物体候補領域の画像を入力し
（ステップＳ１１）、その画像に対して８近傍での連結
領域を求めて、その連結領域と外接する矩形についての
形状を計測する（ステップＳ１２）。ここで計測される
外接矩形の形状は、視野の横方向長（矩形幅ｗ）、視野
の縦方向長（矩形高さｈ）、および対象物体候補領域の
重心位置ｇである。

【００２６】次に形状判定部３は、入力した対象物体候
補領域（の画像）のうち、ステップＳ１２で計測された
外接矩形の面積が予め定められた値以下の領域を、対象
物体候補領域から除外する（ステップＳ１３）。

【００２７】そして形状判定部３は、予め与えられてい
る対象物体（対象移動物体）の形状特徴と、（ステップ
Ｓ１３で除外されずに残っている）対象物体候補領域
（第１対象物体候補領域）についての計測された形状
（を表す矩形幅ｗ、矩形高さｈおよび重心位置ｇ）とを
比較することにより、その候補領域の画像が検出すべき
対象物体の画像であるらしいか否かを検証する。

【００２８】この検証においては、対象物体の形状特徴
として、矩形幅の上限閾値ＷU と下限閾値ＷL 、矩形高
さの上限閾値ＨU と下限閾値ＨL 、および重心位置の上
限閾値ＧU と下限閾値ＧL が用いられる。これらの閾値
は、対象物体の画面内での実測により予め決定されるも
のである。この形状特徴を用いた場合、第１対象物体候
補領域（の外接矩形）が検出すべき対象物体（対象移動
物体）の候補領域（第２対象物体候補領域）であるか否
かの判定（検証）条件は、 ＷU ≧ｗ≧ＷL 且つ ＨU ≧ｈ≧ＨL 且つ ＧU ≧ｈ≧ＧL …（１） となる。

【００２９】但し、形状判定部３で実際に適用される形
状判定のアルゴリズムには、対象物体らしさの確信度と
いう概念が導入されており、確信度の値を用いて形状判
定が実現されている。

【００３０】即ち、形状判定部３においては、まず図３
のステップＳ１４に示すように、対象物体らしさの確信
度を第１対象物体候補領域（の外接矩形）毎に求める。
この、確信度は、各フレーム内のｉ番目の第１対象物体
候補領域（の外接矩形）が存在しているとした場合、次
式に示すＸi で定義される。 Ｘi ＝ｍｉｎ｛（ｗi ／ＷL ＋Ｗu ／ｗi ）， （ｈi ／ＨL ＋Ｈu ／ｈi ）， （ｇi ／ＧL ＋Ｇu ／ｇi ）｝ ……（２） 形状判定部３はステップＳ１４で確信度Ｘi を求める
と、次式 ｉｆ Ｘi ＜2.0 ：非対象物体候補 ｅｌｓｅ ｉｆ Ｘi ≧2.0 ：対象物体候補 ……（３） に従う形状判定を行う。

【００３１】即ち形状判定部３は、確信度Ｘi の値が例
えば2.0 未満であるか否かを調べて（ステップＳ１
５）、Ｘi ＜2.0 である場合には、対応する第１対象物
体候補領域の（画像の示す）物体は非対象物体（非対象
移動物体）であると判定する（ステップＳ１６）。これ
に対してＸi ≧2.0 である場合には、形状判定部３は、
対応する第１対象物体候補領域の（画像の示す）物体は
対象物体（対象移動物体）であるらしいと判定する（ス
テップＳ１７）。なお、上記（３）式（ステップＳ１
５）での判定に用いる閾値を「2.0 」とするのは、矩形
幅を例にとると、上記（１）式中のＷU ≧ｗi ≧ＷL
（但し、ｗをｗi としている）が、ＷU ／ｗi ≧1.0 且
つｗi ／ＷL ≧1.0 であること、即ち（ｗi ／ＷL ＋Ｗ
u ／ｗi ）≧2.0であることからも明らかである。以上
が、第３の段階の処理である。

【００３２】次の第４の段階は、第１対象物体候補領域
のうち対象物体（の領域）であるらしいと形状判定部３
により判定された領域（以下、第２対象物体候補領域と
称する）について、その内部が影であるか否かを、影判
定部５により調べて、影の度合い（Ｓi ）を領域毎に求
める処理である。このとき、影位置推定部４により、影
が存在する可能性の高い部分を予め求めて、これを影の
度合い（Ｓi ）に反映させる。この影位置推定部４およ
び影判定部５の処理の詳細を、図４に示す処理手順に従
って説明する。

【００３３】まず、影の要因となる照明の条件は、例え
ば屋外では、季節、時刻および天候に応じて変わり、屋
内においては、照明の設置状況によって変わる。この照
明条件に応じて、影のでき方は異なってくる。

【００３４】そこで本実施例では、このような照明条件
（照明環境）のモデルを持ち、その照明条件に従って、
平面上の物体の影のできる方向ＤS を、影位置推定部４
により、８方向（４５度の整数倍の角度を持つ方向）の
分類形式で推定しておく（ステップＳ２１）。ここで、
例えば屋外の場合の照明条件を決定する季節と時刻は、
内部の時計（時計機能）によって知ることができ、同じ
く天候は、入力画像のヒストグラム形状によって知るこ
とができる（例えば、富樫、阿部、大波田：“自動閾値
機能を持った画像監視装置の開発”、情処全大Ｄ−２，
１９９１）。また、屋内においては、照明は概ね人工的
なものであるから、光源の強度や照射方向は既知である
場合が多く、この既知情報を利用することができる。

【００３５】さて影位置推定部４は、形状判定部３によ
って対象物体（の領域）であるらしいと判定されたｉ番
目の対象物体候補領域（第２対象物体候補領域）の外接
矩形（対象矩形と称する）の重心ｇi から、図５に示す
ように（ステップＳ２１で推定しておいた）影の方向
（推定方向）Ｄs に長さＬのベクトルを仮定し、このベ
クトルの終点と直交する線分Ｌv を導入する。ここでＬ
は、 Ｌ＝（ｈi ＋ｗi ）／（２＊α） ……（４） である。但し、αはα≧1.0 の正規化パラメータ、ｈi
は矩形の高さ、ｗi は矩形の幅である。

【００３６】そして影位置推定部４は、対象矩形内の画
素位置が、この線分Ｌv に対していずれの側にあるか
（重心ｇi の側にあるか、あるいは重心ｇi とは反対側
にあるか）によって、対象矩形内の画素毎の、モデルに
基づく影の推定度Ｓi(x,y)を図５に示すように決定する
（ステップＳ２２）。この画素毎の影の推定度Ｓi(x,y)
の決定の仕方は、次式 Ｓi(x,y)＝1.0 ｛Ｐi(x,y)｜(x,y) はＬv に対しｇi 側｝ Ｓi(x,y)＝β ｛Ｐi(x,y)｜(x,y) はＬv に対しｇi と反対側｝…（５）

【００３７】に従う。但し、Ｐi(x,y)はｉ番目の矩形内
の座標(x,y) の画素、βは0.0 ＜β＜1.0 を満たす一定
値である。なお、影の推定度Ｓi(x,y)＝1.0 は、画素Ｐ
i(x,y)が影でないことを示す。

【００３８】影判定部５は、影位置推定部４によって画
素毎の影の推定度Ｓi(x,y)が決定されると、対象矩形内
部の画像について、ラプラシアン画像Ｐri(x,y) を計算
し、そのＰri(x,y) と影の推定度Ｓi(x,y)を用いて、次
式 Ｓpi(x,y) ＝Ｐri(x,y) ＊Ｓi(x,y)／(1/9＊ΣＰri(x+j,y+k) ) …（６）

【００３９】に従い、画素毎の影の度合いＳpi(x,y) を
求める（ステップＳ２３）。但し、ΣＰri(x+j,y+k)
は、対象画素Ｐi(x,y) を中心とする３×３画素の各Ｐ
ri(x+j,y+k) の総和（ｊ，ｋはそれぞれ、−１，０，
１）を表す。なお、５×５画素の各Ｐri(x+j,y+k) の総
和（ｊ，ｋはそれぞれ、−２，−１，０，１，２）を用
いても構わない、この場合、上記（６）式で、１／９に
代えて１／２５を用いる。

【００４０】次に影判定部５は、ｉ番目の対象矩形内で
Ｓpi(x,y) が1.0 より小さい画素の数、即ち対象矩形内
で影領域をなす画素数（影領域画素数）Ｎshを求める
（ステップＳ２４）。この影領域（影領域画素数）を求
める方式は、例えば、THORPE,HEBERT,KANADE,SHAFER:
“Vision and Navigation for the Carnegie-Mellon Na
vlav”,IEEE PAMI,Vol 10,Number3,pp362-373,May 1988
に記載されている。影判定部５は、影領域画素数Ｎshを
求めると、このＮshと対象矩形内の全画素数Ｎi をもと
に、次式 Ｓi ＝Ｎsh／Ｎi ……（７） で定義される、対象矩形毎の影の度合い（対象矩形内に
占める影の割合）Ｓi を求める（ステップＳ２５）。以
上が、第４の段階の処理である。

【００４１】次の第５の段階は、形状判定部３によって
求められた第２対象物体候補領域の中から、対象物体の
領域を対象物体検出部６により検出（選択）する処理で
ある。即ち対象物体検出部６は、影判定部５によって求
められた第２対象物体候補領域（の外接矩形）の影の度
合いＳi を、形状判定部３によって求められた同じ領域
（の外接矩形）の確信度Ｘi に反映させ、１フレーム画
像内で確信度が最大となる領域を目的の対象物体の領域
として選択する。この対象物体検出部６による対象物体
領域選択処理の詳細を以下に説明する。

【００４２】まず対象物体検出部６は、形状判定部３に
より前記（３）式に従って第２対象物体候補領域と判定
された各領域の外接矩形ｉについて、同判定部３により
前記（２）式に従って求められた確信度Ｘi 、および影
判定部５により前記（７）式に従って求められた影の度
合いＳi をもとに、その矩形ｉのある画像（フレーム）
内での目標物体としての確信度Ｙi を、次式 Ｙi ＝Ｘi ＊（1.0 −Ｓi ） ……（８） に従って求める。次に対象物体検出部６は、このように
して求めたフレーム（フレーム画像）内の各矩形ｉ（ｉ
は０〜ｎ−１）毎の目標物体としての確信度Ｙi の中
で、次式 ｍａｘ Ｙi （＞γ） （ｉは０〜ｎ−１） ……（９）

【００４３】を満足する確信度を持つ領域（の外接矩
形）ｉを対象物体領域として検出する。但し、ｎはフレ
ーム内の第２対象物体候補領域（の外接矩形）の数、γ
は予め設定される閾値である。

【００４４】以上が、図１の構成による物体検出処理の
最後の第５段階の処理である。なお第５段階の処理にお
いて、フレーム内に（９）式中のＹi ＞γを満足する対
象物体候補領域（の外接矩形）が存在していなかった場
合には、対象物体検出部６は、画像中には対象物体は存
在しなかったと判定する。以上の第１乃至第５の各段階
での処理タイミングは、動作制御部７にて調整される。

【００４５】

【発明の効果】以上詳述したように本発明によれば、画
像中から検出された対象物体の候補領域の中で、対象物
体の領域らしいと判定された領域の位置とその周辺で影
の検証処理を行い、その結果を検出対象物体らしさの確
信度に反映させて、その反映された値をもとに対象物体
の領域を検出する構成としたので、対象物体であると誤
検出しやすい影の影響を軽減して、環境変動の影響を受
けることなく対象物体を検出することができる。

【００４６】また、本発明によれば、影の判定を、検出
対象物体であるらしいと判定された領域のみに対して行
うため、高速化が図れ、しかも照明条件のモデルに基づ
いて、影のできる位置を予め推定するため、影判定の正
解率を向上させ、対象物体の領域として、より適切なも
のを選択することができる。

【００４７】したがって本発明は、例えばある物体が、
屋外のある視野内を通過する可能性があり、画像中から
その対象物体を検出したいというような応用において、
環境変動に対して極めて強く、高速かつ比較的正確な検
出を行う用途に利用することができる。

【図面の簡単な説明】

【図１】本発明の物体検出方式の一実施例を示すブロッ
ク構成図。

【図２】同実施例における領域抽出部２の処理手順を示
すフローチャート。

【図３】同実施例における形状判定部３の処理手順を示
すフローチャート。

【図４】同実施例における影位置推定部４および影判定
部５の処理手順を示すフローチャート。

【図５】同実施例における影位置推定部４の影位置推定
動作を説明するための処理概念図。

【符号の説明】

１…ディジタル動画像入力部、２…領域抽出部、３…形
状判定部、４…影位置推定部、５…影判定部、６…対象
物体検出部、７…動作制御部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像中から検出対象物体領域を検出する
   物体検出方式において、 前記画像中から、検出対象物体の候補となる第１候補領
   域を抽出する領域抽出手段と、 この領域抽出手段によって抽出された前記各第１候補領
   域毎に、予め設定された前記検出対象物体の形状特徴を
   基準として、その領域が前記検出対象物体の領域である
   確信度を算出して、その領域が前記検出対象物体の形状
   特徴と適合する第２候補領域であるか否かを判定する形
   状判定手段と、 この形状判定手段によって前記第２候補領域であると判
   定された領域毎に、その内部が影であるか否かを検証し
   て、影らしさの評価値を算出する影判定手段と、 この影判定手段によって前記領域毎に算出された前記各
   影らしさの評価値を、それぞれ前記形状判定手段によっ
   て算出された対応する領域の確信度に反映させ、その反
   映した値に従って前記検出対象物体の領域を検出する対
   象物体検出手段と、 を具備することを特徴とする物体検出方式。
2. 【請求項２】 前記影判定手段は、前記第２候補領域で
   あると判定された位置、およびその周辺で影の検証処理
   を行うことを特徴とする請求項１記載の物体検出方式。
3. 【請求項３】 前記影判定手段による影の検証処理の際
   に、照明環境のモデルに基づいて、影のできる位置を推
   定する影位置推定手段を更に備え、前記影判定手段は、
   前記影位置推定手段による影位置推定結果を前記影らし
   さの評価値に反映させるようにしたことを特徴とする請
   求項２記載の物体検出方式。