JP3388087B2

JP3388087B2 - 物体検出装置

Info

Publication number: JP3388087B2
Application number: JP09696096A
Authority: JP
Inventors: 勝政恩田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-04-18
Filing date: 1996-04-18
Publication date: 2003-03-17
Anticipated expiration: 2016-04-18
Also published as: JPH09282459A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像処理
によって撮像空間の３次元情報を獲得し、その３次元情
報をもとに物体の検出を行う物体検出装置に関するもの
である。

【０００２】

【従来の技術】従来、物体検出装置は、特開平７−2147
6号公報に記載されたものが知られている。図10は、そ
の従来の物体検出装置の構成を示したもので、像本体抽
出手段1001、全体エリア記憶手段1002、本体重なり検出
手段1003、像足元部抽出手段1004、足元エリア記憶手段
1005、足元重なり検出手段1006、侵入判定手段1007で構
成されている。

【０００３】まず、図11を用いて基本的な考え方につい
て説明する。検知領域への侵入監視方法は、床を含む被
監視域の画像1101内に多面体からなる検知領域1102の全
体エリア1104及び足元エリア1105とを設定し、画像1101
内の物体像Ｌの像本体ＬＡのうち被監視域の床に最も近
い部分を像足元部ＬＦとして抽出し、前記物体像Ｌの像
本体ＬＡ及び像足元部ＬＦがそれぞれ前記検知領域1102
の全体エリア1104及び足元エリア1105と同時に重なるこ
との検出により前記検知領域1102への侵入を監視する。

【０００４】次に、図10の動作について図11を参照しな
がら説明する。まず、床を含む被監視域の画像1101内に
検知領域1102を全体エリア1104及び検知領域直下の床面
部分相当の足元エリア1105として設定し、前記検知領域
1102の全体エリア1104及び足元エリア1105をそれぞれ全
体エリア記憶手段1002及び足元エリア記憶手段1005に記
憶する。像本体抽出手段1001は被監視域の画像1101の変
化により物体像Ｌの像本体ＬＡを抽出し、像足元部抽出
手段1004は前記像本体ＬＡのうち被監視域の床に最も近
い像足元部ＬＦを抽出する。本体重なり検出手段1003で
は前記物体像の像本体ＬＡと前記検知領域の全体エリア
1104との重なりを検出する。また、足元重なり検出手段
1006は前記物体像の足元部ＬＦと前記検知領域の足元エ
リア1105との重なりを検出する。侵入判定手段1007で
は、本体重なり検出手段1003及び足元重なり検出手段10
06の両方で同時に重なりが検出されたときに侵入ありと
判定する。このような構成により図11(A)の物体像Ｌ1の
みが検知領域内に侵入したと判定することができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の検知領域設定方法においては、擬似的に多面体から
なる空間的な検知領域を設定しているために様々な不具
合が発生するという問題があった。以下、図12を用い
て、発生する不具合の一例を紹介する。

【０００６】まず、図12(A)は、実際には検知領域内に
侵入していない物体像を、検知領域内に侵入したとして
誤報を発してしまう例である。ここでは、被監視域の画
像1201内に多面体からなる検知領域1202が上述の方法で
設定されており、その手前(検知領域外)に物体像Ｌ4が
存在している様子を表している。ところで、映像信号の
時間的変動から物体像を抽出する方法においては頻繁に
発生することであるが、像本体抽出手段1001で物体像Ｌ
4の一部、図12(A)中Ｌ4の斜線部のみしか抽出できなか
ったとする。このとき、像足元部抽出手段1004では、本
来足元部としてＬＦ4を抽出すべきであるが、誤ってＬ
Ｆ4′を足元部として抽出してしまう。このようなこと
が発生すると、物体像Ｌ4は検知領域外にいるにもかか
わらず、検知領域内に侵入したとして判定され、誤報を
発してしまうことになる。

【０００７】次に、図12(B)は、実際には検知領域内に
侵入した物体像があるにもかかわらず、検知領域外に存
在すると誤って判定し、検出を見逃してしまう例であ
る。ここでも、被監視域の画像1201内に多面体からなる
検知領域1202が上述の方法で設定されており、検知領域
内に物体像Ｌ5が、検知領域の手前(検知領域外)に物体
像Ｌ6が存在しており両者が重なっている様子を表して
いる。このような場合、像本体抽出手段1001では、物体
像Ｌ5及びＬ6を一つの物体として抽出し、ＬＦ6をこの
物体像の足元部として抽出してしまう。このようなこと
が発生すると、物体像Ｌ5は検知領域内に侵入している
にもかかわらず、検知領域外にいるものと見なされて、
検出を見逃してしまうことになる。

【０００８】本発明は、上記従来の問題を解決するもの
で、被監視域をステレオカメラで撮像し、ステレオ画像
処理によって被監視域を立体的にセンシングすることに
より、真に空間的な検知領域を設定することを可能とす
る優れた物体検出装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、請求項１、請求項２に記載の発明は、ステレオ画像
処理によって撮像空間の３次元情報を獲得し、獲得した
前記３次元情報をもとに物体を検出する物体検出装置に
おいて、検知領域を３次元空間として設定可能な検知領
域設定手段を設けたものである。これにより、従来技術
のように１台のカメラを用いた画像処理によって擬似的
に多面体からなる空間的検知領域を設定する方法で問題
となる上述のような誤報や検出見逃しを防止することが
できるという作用を有する。

【００１０】

【００１１】

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図を参照しながら詳細に説明する。 (実施の形態１)図１は、本発明の実施の形態１における
物体検出装置のブロック図を示したものである。図１に
おいて、物体位置検出手段101は、被監視域の画像中に
おける物体像領域を抽出するとともにその３次元位置を
検出する作用を行うもので、ステレオ画像から３次元情
報を獲得する３次元情報獲得手段105、制御信号Ｓ1によ
り信号の流れを切り替えるスイッチ106、被監視域にお
ける床面など平面からなる部分の３次元情報を得るため
の平面推定手段107、ステレオ画像入力毎に３次元情報
獲得手段105によって獲得される３次元情報を一時格納
する３次元情報格納手段108、被監視域において物体が
存在しない状態での３次元情報(以下、背景３次元情報)
を一時格納する背景３次元情報格納手段109、３次元情
報格納手段108の内容と背景３次元情報格納手段109の内
容を比較し変化領域を検出するとともにその３次元位置
を検出する変化領域検出手段110から構成されている。

【００１３】検知領域設定手段102は、例えば、２次元
領域設定手段117、高さ設定手段116、２次元領域記憶手
段114、高さ記憶手段115から構成され、多面体からなる
空間的検知領域を設定するという作用を有する。空間的
検知領域設定において高さの制限を必要としないような
場合には、高さ設定手段116、高さ記憶手段115はなくて
もよい。

【００１４】検知領域内(毎)物体有無判定手段103は、
例えば、投影位置算出手段111、高さ算出手段112、判定
手段113から構成され、物体位置検出手段101によって検
出された物体像領域の３次元位置が、検知領域設定手段
102によって設定された空間的検知領域内に存在するか
否かを判定し、空間内に存在すると判定したときに警報
出力手段104に対して警報出力を指示し、警報出力手段1
04から警報が発せられる。

【００１５】以上のように構成された物体検出装置につ
いて、図１〜図６を参照しながらその動作を説明する。
まず、ステレオカメラによって撮影されたステレオ画像
対である左画像ＳL、右画像ＳRが３次元情報獲得手段10
5に入力される。３次元情報獲得手段105では、入力され
た左画像ＳL、右画像ＳRから被監視域(撮像空間)の３次
元情報を獲得する。

【００１６】ステレオ画像から３次元情報を獲得する方
法について図２を用いて説明する。実空間を表す座標と
してｘ，ｙ，ｚを用い、画像面(カメラの撮像面)上の位
置を表す座標としてＸ，Ｙを用いる。ただし、２台のカ
メラ23Ｌ，23Ｒを区別するために、左カメラの画像面上
の位置を表す座標としてＸ_L，Ｙ_Lを用い、右カメラの画
像面上の位置を表す座標としてＸ_R，Ｙ_Rを用いる。ｘ軸
とＸ_L軸，ｘ軸とＸ_R軸，ｙ軸とＹ_L軸，ｙ軸とＹ_R軸は各
々互いに平行であり、ｚ軸は２台のカメラの光軸に共に
平行であるとする。実空間座標系の原点を左右カメラの
投影中心の中点にとり、投影中心間の距離を基線長と呼
びその長さを２ａで表すことにする。また、投影中心と
画像面との距離(焦点距離)をｆで表す。

【００１７】今、実空間内の点ｐが左画像面上の点Ｐ
_L(Ｘ_L，Ｙ_L)、右画像面上の点Ｐ_R(Ｘ_R，Ｙ_R)にそれぞれ
投影されたとする。ステレオ画像計測では、画像面上に
おいてＰ_L，Ｐ_Rを決定し(画像間対応付け)、三角測量の
原理に基づいて点ｐの実空間座標(ｘ，ｙ，ｚ)を求め
る。ここでは、２台のカメラの光軸が同一平面上にあり
ｘ軸とＸ軸とを平行にとっていることから、Ｙ_LとＹ_Rと
は同じ値をとる。画像面上の座標Ｘ_L，Ｙ_L，Ｘ_R，Ｙ_Rと
実空間内の座標ｘ，ｙ，ｚとの関係は、

【００１８】

【数１】

【００１９】あるいは、

【００２０】

【数２】

【００２１】と求められる。ここで、

【００２２】

【数３】ｄ＝Ｘ_L−Ｘ_R は視差を表している。(数２)から、ａ＞０であるので

【００２３】

【数４】Ｘ_L＞Ｘ_R かつＹ_L＝Ｙ_R これは、一方の画像面上の１点の他方の画像面上での対
応点は、エピポーラ線である同じ走査線上、かつＸ_L＞
Ｘ_Rの範囲に存在することを表す。したがって、一方の
画像上の１点に対応した他方の画像上の点は、対応点が
存在する可能性のある直線に沿ったある小領域について
画像の類似性を調べて見いだすことができる。

【００２４】次に、類似性の評価方法について説明す
る。一例として、実吉他”三次元画像認識技術を用いた
運転支援システム”,自動車技術会学術講演会前刷集92
4，pp.169-172(1992−10)に記載の方法について、図
３，図４，図５を用いて説明する。今、左画像301を基
準とし、左画像をｎ×ｍ画素のサイズのブロック303を
単位に分割し、分割されたブロック毎に右画像302中よ
り対応領域を探索し視差を求める。対応領域決定のため
の類似度評価式として、

【００２５】

【数５】Ｃ＝Σ｜Ｌ_i−Ｒ_i｜を用いる。ここでＬ_i，Ｒ_iはそれぞれ左ブロック303、
右ブロック304内のｉ番目の画素における輝度である。
探索範囲にわたって前記右ブロック304を１画素ずつ移
動しながら類似度評価値Ｃを計算し、類似度評価値Ｃが
最小となる位置を対応領域として決定する。このような
類似度評価を左画像301の各ブロック毎に行うことによ
って、全ブロックの視差あるいは(数１)によって変換し
た距離ｚなどの３次元情報を求めることができる。

【００２６】このようにして得られた３次元情報401は
スイッチ106に入力される。スイッチ106では制御信号Ｓ
1により、例えば電源立ち上げ直後においてはＴ2側に、
それ以降についてはＴ1側に接続されるよう動作させ
る。Ｔ2側に接続されたとき、３次元情報獲得手段105に
て得られた３次元情報のうち検知領域設定手段102にて
設定された領域内の３次元情報をもとに床面あるいは地
面など平面位置における３次元情報を平面推定手段107
にて推定する。平面推定手段107における平面推定方法
については発明者らが先に提案した特願平７−234019号
に記載の方法がある。その結果が背景３次元情報402と
して背景３次元情報格納手段109に格納される。一方、
Ｔ1側に接続されたとき、３次元情報獲得手段105にて得
られた３次元情報401は３次元情報格納手段108に格納さ
れる。変化領域検出手段110では、３次元情報格納手段1
08に格納された３次元情報401と背景３次元情報格納手
段109に格納された背景３次元情報402とを比較し、物体
像領域404を検出するとともに、物体像領域404の実空間
上での３次元位置405を検出する。

【００２７】検知領域設定手段102では、一方のカメラ
で撮像された被監視域の画像501上に空間的な検知領域5
07を設定する。まず、２次元領域設定手段117により少
なくとも同一平面上に存在する３点(図５では、502、50
3、504、505の４点)を設定し前記少なくとも３点で囲ま
れる２次元領域506を設定する。設定された２次元領域5
06は２次元領域記憶手段114に記憶される。また、必要
に応じて、高さ設定手段116により検知領域の高さ512を
設定する。設定された検知領域の高さ512は高さ記憶手
段115に記憶される。

【００２８】検知領域内(毎)物体有無判定手段103で
は、物体位置検出手段101にて検出された物体像領域50
8、509が検知領域設定手段102にて設定された空間的検
知領域内に存在するか否かを判定する。まず、投影位置
算出手段111では、物体位置検出手段101にて検出された
物体像領域508、509の各ブロックについて、その実空間
上の３次元位置から、被監視域の平面上へ垂線を降ろし
た時の平面上での位置(以下、投影位置)510、511を求め
る。また、高さ算出手段112では、物体位置検出手段101
にて検出された物体像領域508、509の各ブロックについ
て、その実空間上の３次元位置から、被監視域の平面か
らの高さ513を求める。

【００２９】判定手段113では、投影位置算出手段111で
求められた物体像領域508、509の各ブロックの被監視域
の平面上への投影位置が２次元領域設定手段117にて設
定された２次元領域内に存在するか否か、高さ算出手段
112で求められた物体像領域508、509の各ブロックの被
監視域の平面からの高さ513が高さ設定手段116にて設定
された空間的検知領域507の高さ512より高いか低いかを
判定することによって、前記物体像領域508、509の各ブ
ロックが検知領域設定手段102にて設定された空間的検
知領域507内に存在するか否かを判定する。前記設定さ
れた空間的検知領域507の外側の物体像領域509の投影位
置511は２次元領域506の外側に存在する。また、空間的
検知領域507の内側の物体508の投影位置510は２次元領
域506の内側に存在する。検知領域内(毎)物体有無判定
手段103で物体有りと判定されたときには、警報出力手
段104に対し警報を発するよう指示が出され、警報出力
手段104より警報が発せられる。

【００３０】また、検知領域設定手段102では、複数の
検知領域を設定することも可能である。図６に示すよう
に、被監視域の画像601の中に第一の空間的検知領域602
及び第二の空間的検知領域603を設定し、第一の空間的
検知領域602内に物体有りと検知されたときには侵入者
に対して威嚇警報を発するとともにＶＴＲ等記録開始の
待機状態に入り、第二の空間的検知領域603内に侵入し
た時点でＶＴＲ等の記録を開始するとともに、監視セン
ターへ通報する、などといった複数種類の警報を発する
ことも可能となる。

【００３１】以上のように本発明の実施の形態１によれ
ば、ステレオ画像処理によって撮像空間の３次元情報を
獲得し、獲得した前記３次元情報をもとに物体を検出す
るとともに、検知領域を真に３次元空間として設定可能
な検知領域設定手段を設けることにより、従来技術のよ
うに１台のカメラを用いた画像処理によって擬似的に多
面体からなる空間的検知領域を設定する手法で問題とな
っている従来技術に記載のような誤報や検出見逃しを防
止することができる。

【００３２】（参考例１）図７は、本発明の実施の形態１を説明する参考例１にお
ける物体検出装置のブロック図を示したものである。図
７において、背景３次元情報更新手段701、時間計測手
段702以外のものについては図１と同一のもので、同一
符号を付してある。また、その動作については、(実施
の形態１)で説明した。

【００３３】背景３次元情報更新手段701では、電源立
ち上げ直後、または、検知領域内(毎)物体有無判定手段
103で物体無しと判定されたとき、または、検知領域内
(毎)物体有無判定手段103で物体無しと判定され、かつ
時間計測手段702で計測された時間がある値より大きく
なったときに制御信号Ｓ1によってスイッチ106をＴ2側
に接続するよう制御することよって、背景３次元情報を
更新する。

【００３４】以上のように本参考例１によれば、物体が
存在しないときの背景３次元情報を定期的に更新するこ
とによって、例えば、雪が降ったり、雑草が成長したり
することに起因する背景３次元情報の変化により引き起
こされるおそれのある誤報を防止することが可能であ
る。

【００３５】（参考例２）図８は、本発明の実施の形態１を説明する参考例２にお
ける物体検出装置のブロック図を示したもので、背景３
次元情報更新手段801、遮断機状態検出手段802以外につ
いては図７のものと同じである。また、その動作につい
ては、(実施の形態１)および(参考例１)で説明した。

【００３６】本参考例２は、特に踏切内の障害物を監視
する踏切内物体検出装置に関するものであり、図９に示
すように被監視域の画像901内に、遮断機の内側に空間
的な検知領域903を設定する。遮断機状態検出手段802
は、遮断機遮断杆902の昇降状態を検出する。背景３次
元情報更新手段801では、電源立ち上げ直後、または、
検知領域内(毎)物体有無判定手段103で物体無しと判定
されたとき、及びあるいは、時間計測手段702で計測さ
れた時間がある値より大きくなったとき、及びあるい
は、遮断機状態検出手段802によって遮断機遮断杆902が
降りていることを検出したときにスイッチ106をＴ2側に
接続することによって、背景３次元情報を更新する。

【００３７】以上のように、本参考例２によれば、物体
が存在しないときの背景３次元情報を定期的に更新する
ことによって、例えば、雪が降ったり、雑草が成長した
りすることに起因する背景３次元情報の変化により引き
起こされるおそれのある誤報を防止することが可能であ
る。

【００３８】なお、以上の説明では、本発明の物体検出
装置を侵入者監視に使用した例を中心に説明したため、
図１、図７、図８には警報出力手段が存在するが、本発
明はこれに限定されるものではない。本発明の物体検出
装置を、例えば、設定した検知領域を通過した物体数を
計数することにも使用することができる。

【００３９】

【発明の効果】以上説明したように、請求項１，２に記
載した発明によれば、ステレオ画像処理によって撮像空
間の３次元情報を獲得し、獲得した前記３次元情報をも
とに物体を検出するとともに、検知領域を真に３次元空
間として設定可能な検知領域設定手段を設けることによ
り、従来技術のように１台のカメラを用いた画像処理に
よって擬似的に多面体からなる空間的検知領域を設定す
る手法で問題となっている従来技術に記載のような誤報
や検出見逃しを防止することができるという効果が得ら
れる。

【００４０】

【００４１】

【図面の簡単な説明】

【図１】本発明の実施の形態１における物体検出装置の
ブロック図である。

【図２】ステレオ画像計測の原理について説明するため
の説明図である。

【図３】ステレオ画像計測における左右画像の対応付け
方法についての説明図である。

【図４】本発明の実施の形態１における変化領域検出手
段についての説明図である。

【図５】本発明の実施の形態１における空間的検知領域
設定手段および、検知領域内物体有無判定手段について
の説明図である。

【図６】本発明の実施の形態１における複数の空間的検
知領域設定手段の一例についての説明図である。

【図７】本発明の実施の形態１を説明する参考例１にお
ける物体検出装置のブロック図である。

【図８】本発明の実施の形態１を説明する参考例２にお
ける物体検出装置のブロック図である。

【図９】本発明の実施の形態１を説明する参考例２にお
ける検知領域設定手段および背景３次元情報更新手段に
ついての説明図である。

【図１０】従来の物体検出装置のブロック図である。

【図１１】従来の物体検出装置における検知領域設定方
法および空間的物体検出方法についての説明図である。

【図１２】従来の物体検出装置における検知領域設定方
法で発生する可能性のある不具合事項について説明する
ための図である。

【符号の説明】

101…物体位置検出手段、 102…検知領域設定手段、
103…検知領域内(毎)物体有無判定手段、 104…警報出
力手段、 105…３次元情報獲得手段、 106…スイッ
チ、 107…平面推定手段、 108…３次元情報格納手
段、 109…背景３次元情報格納手段、 110…変化領域
検出手段、 111…投影位置算出手段、 112…高さ算出
手段、 113…判定手段、 114…２次元領域記憶手段、
115…高さ記憶手段、 116…高さ設定手段、 117…
２次元領域設定手段、 701…背景３次元情報更新手
段、 702…時間計測手段、 801…背景３次元情報更新
手段、802…遮断機状態検出手段。

フロントページの続き (56)参考文献特開昭63−187392（ＪＰ，Ａ) 特開昭61−127289（ＪＰ，Ａ) 特開昭60−7593（ＪＰ，Ａ) 特開平８−55288（ＪＰ，Ａ) 特開平７−336669（ＪＰ，Ａ) 特開平６−35443（ＪＰ，Ａ) 特開平４−31996（ＪＰ，Ａ) 特開平２−71380（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 315 G08B 13/196 G08B 29/18 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】ステレオ画像処理によって撮像空間の３
次元情報を獲得し、獲得した前記３次元情報をもとに物
体を検出する物体検出装置において、前記撮像空間中の
どこに物体が存在するかを３次元位置として検出する物
体位置検出手段と、一方のカメラで撮像された画像上に
少なくとも前記撮像空間中の同一平面上に存在する３点
を設定し前記少なくとも３点で囲まれる２次元領域を設
定する２次元領域設定手段と、前記２次元領域から検知
領域を３次元空間として設定する検知領域設定手段と、
前記物体位置検出手段によって検出された物体の３次元
位置を前記撮像空間の床面あるいは地面を含む平面上へ
投影した位置を算出する投影位置算出手段とを有し、前
記投影位置算出手段によって算出された位置が前記設定
された２次元領域内にあるときに物体有りと判定するこ
とを特徴とする物体検出装置。
【請求項２】ステレオ画像処理によって撮像空間の３
次元情報を獲得し、獲得した前記３次元情報をもとに物
体を検出する物体検出装置において、前記撮像空間中の
どこに物体が存在するかを３次元位置として検出する物
体位置検出手段と、一方のカメラで撮像された画像上に
少なくとも前記撮像空間中の同一平面上に存在する３点
を設定し前記少なくとも３点で囲まれる２次元領域を設
定する２次元領域設定手段と、前記２次元領域から検知
領域を３次元空間として設定する検知領域設定手段と、
前記物体位置検出手段によって検出された物体の３次元
位置を前記撮像空間の床面あるいは地面を含む平面上へ
投影した位置を算出する投影位置算出手段とを有し、前
記投影位置算出手段によって算出された位置が前記２次
元領域内に投影されたときで、かつ前記２次元領域内に
投影された物体の前記２次元領域からの高さが予め設定
した高さよりも高いときにのみ物体有りと判定すること
を特徴とする物体検出装置。