JPH1093954A - 物体検知方法及びシステム - Google Patents

Abstract

(57)【要約】 【課題】 予め背景画像を用意することなく、１台のビ
デオカメラの視野範囲を大きく越える監視領域につい
て、静止物体の存在を検知する。 【解決手段】 ビデオカメラは、所定方向に移動しなが
ら撮像を行なう。異なる時刻に撮影された２枚の画像か
らオプティカルフローを算出する。算出されたオプティ
カルフローから、各オプティカルフローを生成した物体
とビデオカメラまでの奥行き方向の距離情報を生成す
る。ビデオカメラの位置と常設物体の位置及び形状によ
って定まる、撮像画像の各画素に対応するビデオカメラ
からの奥行き情報を出力する。距離情報と奥行き情報と
の距離差分値を求める。オプティカルフロー及び距離差
分値に基づいて、常設物体以外の静止物体の検出を行な
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報により監
視領域内の物体の存在を検知する物体検知方法及びシス
テムに関し、例えば、道路上に存在する停止車両や落下
物等の検知や、踏切内に取り残された車両等の検知に適
用し得るものである。

【０００２】

【従来の技術】従来から、画像を用いた物体検知方式と
して様々なものが提案されており、例えば、文献１『特
開平８−５５２８８号公報』に記載されたものがある。

【０００３】この文献１に記載の物体検知方式（監視シ
ステム）は、予め物体が存在しないときの画像を背景画
像として撮影しておき、現在の画像との比較を行なって
物体が存在するか否かを判定するものであった。

【０００４】

【発明が解決しようとする課題】しかしながら、背景画
像を参照して物体を検知する場合には、現在の画像を撮
影するビデオカメラの位置や向き等が、背景画像を撮影
したビデオカメラのものに一致している必要があるた
め、通常、固定のビデオカメラが用いられ、そのため、
監視領域は、ビデオカメラの視野範囲に制限される。従
って、例えば道路上等の屋外の広い範囲にわたって監視
を行なう場合には、複数の監視システムを設置する必要
がある。

【０００５】また、例えば、昼夜や天候の違い等によ
り、入力画像の照明条件が背景画像の撮像時と異なる場
合には性能への影響が顕著であり、この問題を克服する
ための工夫が必要となる。

【０００６】そのため、予め背景画像を用意することな
く、１台のビデオカメラの視野範囲を越える広さの監視
領域を監視し、物体の存在を検知する物体検知方法及び
システムが求められている。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
め、第１の本発明は、監視領域をビデオカメラで撮影
し、得られた画像に基づいて、監視領域中の物体の存在
を検知する物体検知方法において、(1) ビデオカメラ
は、所定方向に移動しながら撮像を行ない、(2) 異なる
時刻に撮影された２枚の画像からオプティカルフローを
算出し、(3) 算出されたオプティカルフローから、各オ
プティカルフローを生成した物体とビデオカメラまでの
距離情報を生成し、(4) ビデオカメラの位置と常設物体
の位置及び形状によって定まる、撮像画像の各画素に対
応するビデオカメラからの奥行き情報を出力し、(5) 距
離情報と奥行き情報との距離差分値を求め、(6) オプテ
ィカルフロー及び距離差分値に基づいて、常設物体以外
の静止物体の検出を行なうことを特徴とする。

【０００８】また、第２の本発明は、監視領域をビデオ
カメラで撮影し、得られた画像に基づいて、監視領域中
の物体の存在を検知する物体検知システムにおいて、
(1) ビデオカメラを、所定方向に移動させるカメラ移動
機構と、(2) ビデオカメラの位置情報を出力するカメラ
位置出力手段と、(3) 異なる時刻に撮影された２枚の画
像からオプティカルフローを算出するオプティカルフロ
ー算出手段と、(4) 算出されたオプティカルフローか
ら、各オプティカルフローを生成した物体とビデオカメ
ラまでの距離情報を生成する距離算出手段と、(5) ビデ
オカメラの位置と常設物体の位置及び形状によって定ま
る、撮像画像の各画素に対応するビデオカメラからの奥
行き情報を出力する奥行き出力手段と、(6) 距離情報と
奥行き情報との距離差分値を求める奥行き比較手段と、
(7) オプティカルフロー及び距離差分値に基づいて、常
設物体以外の静止物体の検出を行なう物体検出手段とを
備えることを特徴とする。

【０００９】第１の本発明の物体検知方法及び第２の本
発明の物体検知システムにより、予め背景画像を用意す
ることなく、１台のビデオカメラの視野範囲を大きく越
える監視領域について、静止物体の存在を検知すること
ができる。

【００１０】

【発明の実施の形態】 （Ａ）第１の実施形態 （Ａ−１）第１の実施形態の構成 以下、本発明による物体検知方法及びシステムを道路上
の障害物検知に適用した第１の実施形態について、図面
を用いて説明する。

【００１１】ここで、図１がこの第１の実施形態の電気
的な処理構成、特に、物体検知装置の内部構成を示すブ
ロック図であり、図２は、第１の実施形態のシステム要
素の実際的な配置を示す概略斜視図である。

【００１２】図２において、ビデオカメラ１１は、監視
領域である道路２１に沿って路側に設置されたレール２
２上を移動する台車２３上に載置されているものであ
る。ビデオカメラ１１は、道路２１の横断方向に、地面
に対して平行に向けられている。ビデオカメラ１１によ
って得られた画像信号（以下、単に画像と呼ぶこともあ
る）は、レール２２（レール自体がケーブルとして機能
するか、又は、レールの側面に図示しないケーブルが敷
設されている）、及び、そのレール２２の一方の端部か
ら延出されているケーブル２４を介して、レール２２の
一方の端部近傍に設けられた、図１に詳細構成を示す物
体検知装置１９に供給されるようになされている。

【００１３】レール２２の他方の端部近傍には、正逆回
転可能なモータ２５が設けられており、モータ２５の回
転軸には回転直動変換機構（ラック及びピニオン、ベル
ト車及びベルト、歯車及びチェーン等：図では明確には
示していない）が設けられており、その直動部２６の所
定位置に台車２３が固定され、これにより、台車２３
が、モータ２５の回転に応じて、往復動し得るようにな
されている。

【００１４】なお、台車２３の往動及び復動のいずれに
おいても、ビデオカメラ１１による撮像を行なうことも
可能であるが、この実施形態では、例えば、台車２３
（従ってビデオカメラ１１）が、物体検知装置１９の近
傍からモータ２５の近傍への移動時にのみ、ビデオカメ
ラ１１による撮像を行なうものとする。また、この実施
形態では、撮像を行なう移動方向でのビデオカメラ１１
の移動速度は定速度になされているとする。

【００１５】また、モータ２５の回転軸には、カメラ位
置獲得装置（例えばシャフトエンコーダ）１５が取り付
けられており、カメラ位置獲得装置１５による検出信号
が、台車２３（従ってビデオカメラ１１）の位置情報と
して、信号線２７を介して、物体検知装置１９に供給さ
れるようになされている。

【００１６】以上のように、ビデオカメラ１１が撮像し
た画像信号、及び、カメラ位置獲得装置１５が獲得した
ビデオカメラ１１の位置情報が与えられる物体検知装置
１９は、図１に示す詳細構成を有し、道路２１上に存在
する静止物体（従って障害物）を検知するものである。

【００１７】物体検知装置１９は、図１に示すように、
オプティカルフロー算出部１２、距離算出部１３、奥行
き算出部１４、環境情報格納部１６、奥行き比較部１７
及び障害物検出部１８から構成されている。

【００１８】オプティカルフロー算出部１２には、ビデ
オカメラ１１が撮像して得た画像信号が供給される。オ
プティカルフロー算出部１２は、撮像時刻が異なる２枚
の画像信号から、ビデオカメラ１１の移動に伴う画像上
での見かけの動きを示すオプティカルフロー（動きベク
トル）を算出し、得られたオプティカルフローを距離算
出部１３に供給するものである。オプティカルフローの
算出に供する２枚の画像信号は、後述するように、オプ
ティカルフローから道路幅方向の距離を算出した場合
に、十分な精度を有する距離値が得られる時間差を有す
るものとする。言い換えると、２枚の画像信号の撮像位
置間の距離が、オプティカルフローから道路幅方向の距
離を算出した場合に十分な精度を有する距離値が得られ
るような画像信号としている。

【００１９】なお、ビデオカメラ１１の移動が等速度で
ない場合には、カメラ位置獲得装置１５が獲得したビデ
オカメラ１１の位置情報に基づいて、撮像位置間の距離
が所定距離の２枚の画像信号を用いるようにすれば良
い。

【００２０】また、オプティカルフローは、各画素毎に
求められるが、画像信号の変化が少ない道路表面等、２
枚の画像信号間で画素の対応付けが難しい部分の画素に
ついてはほぼ０として求められることが多い。

【００２１】距離算出部１３には、オプティカルフロー
が与えられる。距離算出部１３は、各オプティカルフロ
ーを画面内での距離データに変換する。ビデオカメラ１
１が等速度で移動していた場合、周知のように、遠い物
体のオプティカルフロー（相対的な移動量）は小さく、
近い物体のオプティカルフローは大きい。この特性を利
用して、各オプティカルフローを画面内での距離データ
（ビデオカメラ１１からの距離データ）に変換する。得
られた距離データは、奥行き比較部１７に与えられる。
なお、移動物体については、ビデオカメラ１１の速度
と、その物体の速度に応じたオプティカルフローが得ら
れるため、算出された距離値は正しいものではなくなっ
ている。

【００２２】環境情報記憶部１６は、監視領域内に常時
存在する検知対象ではない物体（常設物体）の位置及び
形状に関するデータを記憶しているものである。例え
ば、ガードレールや中央分離線や道路脇の建物等の位置
及び形状に関するデータを記憶している。この記憶デー
タは、奥行き算出部１４によって、適宜取り出されるも
のである。

【００２３】奥行き算出部１４には、カメラ位置獲得装
置１５からカメラ位置情報が与えられるようになされて
いる。奥行き算出部１４は、与えられたカメラ位置情
報、及び、環境情報記憶部１６に記憶されている監視領
域内の常設物体の位置及び形状に関するデータから、ビ
デオカメラ１１がその位置で背景画像を撮像したと仮定
した場合における各画素に対応する、ビデオカメラ１１
からの距離データである奥行きデータを算出し、奥行き
比較部１７に与える。

【００２４】奥行き比較部１７は、奥行き算出部１４に
よって算出された奥行きデータと、距離算出部１３にお
いて得られた距離データを比較し、各画素について、そ
の差分値（以下、「距離差分値」と呼ぶ）を求めて障害
物検出部１８に与えるものである。

【００２５】障害物検出部１８は、オプティカルフロー
と算出された距離差分値とに基づいて、撮像された画像
内に常設物体以外の静止物体が存在するかを判定し、判
定結果を出力するものである。なお、この障害物検出部
１８の機能については、後述する動作説明で詳細に説明
する。

【００２６】（Ａ−２）第１の実施形態の動作 以下、第１の実施形態の物体検知システムの動作を説明
する。なお、ビデオカメラ１１を移動させる動作は、一
般的な動作であるのでその説明を省略し、物体検知装置
１９における動作を中心に説明する。

【００２７】ビデオカメラ１１によって得られた画像信
号は、オプティカルフロー算出部１２に与えられる。オ
プティカルフロー算出部１２においては、所定時間Δｔ
だけ異なる２枚の画像信号から、オプティカルフローが
算出される。

【００２８】時刻ｔ及び時刻ｔ＋Δｔで撮像された２枚
の画像信号は、その時間差Δｔにおけるビデオカメラ１
１の移動量によって、例えば、図３（ａ）及び（ｂ）に
示すように、僅かにほぼ平行移動した関係にある画像内
容を有するものとなる。図４には、図３（ａ）及び
（ｂ）に示す２枚の画像信号から得られたオプティカル
フローの算出例を示すものである。なお、図４は、見易
さから、算出された一部のオプティカルフローだけを示
している。

【００２９】ここで、オプティカルフローの算出方法と
しては勾配法等各種が提案されているが、そのいずれの
方法を適用しても良い。なお、ブロックマッチング等の
局所比較による方法ではオプティカルフローの算出が難
しい箇所についてもオプティカルフローを算出し得る勾
配法を適用することは好ましい。勾配法の詳細について
は、例えば、文献２に記載されている。

【００３０】文献２『B.K.P.Horn&B.G.Schunck，「Dete
rmining optical flow」，Artificial Intelligence ，
vol.17，pp.185−203 ，1991』 以下、簡単に勾配法について説明する。時刻ｔで撮影さ
れた画像をＩ_t とし、その位置（ｘ，ｙ）にある画素の
輝度値をＩ（ｘ，ｙ，ｔ）と表す。このとき、物体上の
点の明るさは時間変化しないことを仮定すると、(1) 式
が得られる。(1) 式の右辺をテイラー展開して高次の項
を無視し、両辺をΔｔで割ってΔｔ→０とすると、(2)
式が得られる。 Ｉ（ｘ，ｙ，ｔ）＝Ｉ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ＋Δｔ） …(1) Ｅ_x ・Ｖ_x ＋Ｅ_y ・Ｖ_y ＋Ｅ_t ＝０ …(2) ここで、Ｅx 、Ｅy 及びＥt （スカラー量）はそれぞ
れ、画像から求められる明るさのｘ方向、ｙ方向及び時
間方向の勾配である。

【００３１】この(2) 式は移動ベクトルを表す末知数Ｖ
_x 、Ｖ_y を含む方程式であり、未知数が２つで式が１つ
のため解くことができないが、移動ベクトルが滑らかに
変化することを拘束条件として利用することにより、
(3) 式を最小にするものとして移動ベクトルを決定する
ことができる。 Ｅ² ＝（Ｅ_x ・Ｖ_x ＋Ｅ_y ・Ｖ_y ＋Ｅ_t ）² ＋λ² ｛（▽² Ｖ_x ）² ＋（▽² Ｖ_y ）² ｝ …(3) ここで、λは重み係数である。実際には上式の最小値を
与える（Ｖ_x ，Ｖ_y ）を反復解法で求める。

【００３２】すなわち、(4) 式及び(5) 式を繰り返し計
算し、収束したときの（ｕ，ｖ）の値を移動ベクトルと
する。ここで、ｕ’ⁿ 、ｖ’ⁿ はそれぞれ、ｕⁿ 、ｖⁿ
の８近傍平均値である。

【００３３】

【数１】 なお、オプティカルフローは、時間的に連続する一組
（連続する２フレーム）の画像から求めたものでも、複
数の時間的に連続する画像列において順次求めたオプテ
ィカルフローをつなぎ合わせたものでも構わない。ビデ
オカメラ１１の移動速度に応じて選定すれば良い。

【００３４】距離算出部１３においては、各画素のオプ
ティカルフローの長さに基づいて、ビデオカメラ１１か
ら、各画素に対応する被撮像物体までの奥行き方向の距
離が算出される。ここで、ビデオカメラ１１の向きは移
動方向に対して直交しているため、オプティカルフロー
を与えた被撮像物体Ｐ’までの奥行き方向の距離ｚ
（ｘ，ｙ，ｔ）は、その被撮像物体が静止している場合
には、オプティカルフローの水平方向（ビデオカメラ１
１の移動方向）の画素単位の長さｌ（ｘ，ｙ，ｔ）と、
(6) 式に示す関係があり、この(6) 式に従って、オプテ
ィカルフローを距離値に変換する。なお、(6) 式におい
て、αはビデオカメラ１１内の受光素子の画素密度（単
位長あたりの画素数）、ｆはビデオカメラ１１の焦点距
離、Ｌは時間Δｔの間のビデオカメラ１１の移動距離で
ある。

【００３５】 ｚ（ｘ，ｙ，ｔ）＝α・ｆ・Ｌ／ｌ（ｘ，ｙ，ｔ） …(6) 一方、奥行き算出部１４において、オプティカルフロー
が観測された画像Ｉ_t上の各画素位置に対して、カメラ
位置獲得装置１５から送られた現在のビデオカメラ１１
の位置情報、及び、環境情報格納部１６に格納されてい
る路面やガードレール等の常設構造物の位置や形状に関
する環境情報をもとに、そのビデオカメラ１１で撮像し
たと仮定した背景画像における各画素に対応した被撮像
物体とビデオカメラ１１との間の距離（背景奥行き）Ｚ
（ｘ，ｙ，ｔ）を求める。背景奥行きＺ（ｘ，ｙ，ｔ）
を、カメラ位置と環境情報から求める方法として、例え
ば文献３に記載のＺバッファ法を適用することができ
る。

【００３６】文献３『中前、西田著、「３次元コンピュ
ータグラフィクス」、昭晃堂、1986、pp.127−129 』 そして、奥行き比較部１７において、オプティカルフロ
ーから算出した距離情報と、カメラ位置及び環境情報か
ら求めた奥行き情報との差分値ｄ（ｘ，ｙ，ｔ）を、
(7) 式に従って求める。

【００３７】 ｄ（ｘ，ｙ，ｔ）＝ｚ（ｘ，ｙ，ｔ）−Ｚ（ｘ，ｙ，ｔ） …(7) このようにして計算された距離差分値ｄ（ｘ，ｙ，ｔ）
やオプティカルフローに基づいて、障害物検出部１８に
おいて、得られたオプティカルフローのうち異常なもの
が取り除かれる。

【００３８】すなわち、オプティカルフローの水平方向
（移動方向、ここではｘ成分とする）が大きいものや、
距離差分値ｄ（ｘ，ｙ，ｔ）が負（多少のマージンを設
けていても良い）であるものは、静止している物体では
ないものとして取り除かれる。ビデオカメラ１１が所定
速度で移動しているので、監視領域内でビデオカメラ１
１に最も近く存在する静止物体でも、そのオプティカル
フローの水平方向の大きさはある上限値以内をとり、そ
れを越えたオプティカルフローは、静止物体に関するも
の以外であるとして取り除く。また、常設物体以外の静
止物体が存在する画素位置の場合、その物体の存在のた
めに物体がない場合よりオプティカルフローが大きくな
り、その結果、距離差分値ｄ（ｘ，ｙ，ｔ）は正とな
る。一方、常設物体が存在する画素位置の場合には、２
個の距離値ｚ（ｘ，ｙ，ｔ）及びＺ（ｘ，ｙ，ｔ）は等
しく、その結果、距離差分値ｄ（ｘ，ｙ，ｔ）は０とな
る。従って、距離差分値ｄ（ｘ，ｙ，ｔ）が負であるも
のは、静止している物体ではなく、取り除かれる。

【００３９】その後、障害物検出部１８において、残っ
た各オプティカルフローの始点がある画像Ｉ_t の各画素
位置について、カメラ位置情報と距離ｚ（ｘ，ｙ，ｔ）
より、その３次元位置を求める。

【００４０】以下、その３次元位置の算出法について説
明する。今、図５に示すように、ワールド座標系とし
て、ビデオカメラ１１の移動方向にＸ軸、路面の垂直方
向にＹ軸、路面を横断する方向にＺ軸をとり、カメラ中
心Ｏのワールド座標系での座標を（Ｘ_c ，Ｙ_c ，Ｚ_c ）
とする。また、カメラ画像上の座標原点Ｏ’をカメラ中
心を出る光軸と画像面との交点とし、水平、垂直方向を
それぞれｘ軸、ｙ軸とする。さらに、ビデオカメラ１１
の光軸の方向ベクトルを（０， cosθ， sinθ）とする
（路面とのなす角を下向きにθとする）。なお、ここで
は簡単のため、画像面は光軸に直交し、画像上のｘ軸は
ビデオカメラの運動方向であるワールド座標系のＸ軸に
平行であると仮定する。実際、ビデオカメラは、この仮
定を満足するように設置することができる。

【００４１】このとき、点Ｏ' のワールド座標系での座
標は（Ｘ_c ，Ｙ_c −ｆ sinθ，Ｚ_c＋ｆ cosθ）であ
り、画面上の点Ｐ（ｘ，ｙ）のワールド座標系での座標
は（Ｘ_c ＋ｘ／α，Ｙ_c −ｆ sinθ＋（ｙ／α） cos
θ，Ｚ_c ＋ｆ cosθ＋（ｙ／α）sinθ）となる。そし
て、画像面上で点Ｐに写っている点Ｐ’の３次元位置
（ｘ，ｙ，ｚ）は、点Ｏと点Ｐを通る直線上で点Ｏから
距離ｚ（ｘ，ｙ，ｔ）だけ離れた点であることから、
(9) 式で表されるｋを用いた(8) 式で表される。

【００４２】

【数２】 ここで、障害物検出部１８においては、最初に、得られ
たオプティカルフローのうち異常なものが取り除かれて
いるので、上述した処理により得られる３次元位置情報
は、静止物体あるいはビデオカメラ１１の移動方向の反
対方向に移動している物体によるものである。

【００４３】障害物検出部１８は、今回の２枚の画像の
処理により得られた３次元位置情報を内蔵メモリに格納
する。以上のような一連の処理は、ビデオカメラ１１の
移動に伴って繰り返し実行され、ビデオカメラ１１の異
なる位置で検出された３次元位置情報が格納される。そ
して、ビデオカメラ１１の異なる位置について得られた
３次元位置情報で共通する３次元位置情報がとるものを
静止物体として検知する。

【００４４】なお、距離差分値が０である画素について
は３次元位置情報が算出されないので、路面等の背景要
素（常設物体）が静止物体として検出されないが、環境
情報格納部１６に格納されている常設物体の位置情報等
を参照して、３次元位置情報から求めた静止物体に常設
物体が含まれている場合には、それを除くようにしても
良い。

【００４５】静止物体を検知したときには、例えば、物
体検知装置１９に関連して設けられた警告ランプを点灯
させると共に、図示しない通信装置によって中央監視セ
ンタに、その旨を通知する。

【００４６】（Ａ−３）第１の実施形態の効果 以上のように、第ｌの実施形態によれば、ビデオカメラ
を移動させながら得た２枚の画像からオプティカルフロ
ーを得た後、それを奥行き方向の距離値に変換し、その
距離値と常設物体についての距離値（奥行き情報）との
差分を得、この距離差分値が妥当な範囲にある画素に対
応した絶対的な３次元位置を算出し、ビデオカメラの異
なる位置について得られた絶対的な３次元位置の一致性
に基づいて、常設物体以外の静止物体を検出するように
したので、予め背景画像を用意することなく、１台のビ
デオカメラの視野範囲を大きく越える監視領域につい
て、静止物体の存在を検知することができる。

【００４７】すなわち、従来行なわれている固定カメラ
を用いた監視範囲よりも広範囲を一台のビデオカメラで
監視でき、画像処理装置（物体検知装置）の台数を減ら
すことができる。また、背景画像を直接利用する手法で
はないため、言い換えると、距離情報を利用した手法で
あるため、照明条件や天候等の環境変化に対しても、性
能低下は発生せず、信頼性の高い物体検知を行なうこと
ができる。

【００４８】（Ｂ）第２の実施形態 次に、本発明による物体検知方法及びシステムを道路上
の障害物検知に適用した第２の実施形態について、図面
を用いて説明する。

【００４９】ここで、図６がこの第２の実施形態の電気
的な処理構成、特に、物体検知装置の内部構成を示すブ
ロック図であり、上述した図１との同一、対応部分には
同一符号を付して示している。

【００５０】図６及び図１の比較から明らかなように、
第２の実施形態においては、第１の実施形態におけるカ
メラ位置獲得装置１５（図２も参照）を省略し、それに
代えて、カメラ位置推定部１５ａ及び位置マーカ情報記
憶部１５ｂを設けたものであり、ビデオカメラ１１が撮
像した画像信号を用いて、ビデオカメラ１１の位置情報
を得るようにしている点が第１の実施形態と異なってい
る。

【００５１】その他の構成要素、すなわち、オプティカ
ルフロー算出部１２、距離算出部１３、奥行き算出部１
４、環境情報格納部１６、奥行き比較部１７及び障害物
検出部１８は、第１の実施形態と同一のものであり、そ
の機能の説明は省略する。

【００５２】新たに設けられた位置マーカ情報記憶部１
５ｂには、ビデオカメラ１１の位置を特定（推定）する
ための位置マーカの情報（画像パターン及び位置情報）
が記憶されている。この位置マーカは、カメラ位置を画
像処理によって推定する際の目印となるものであり、高
いコントラストの特定のパターンを持つものである。位
置マーカに係る物体としては、既存の常設物体を用いて
も良く、位置マーカ専用の物体を設置しても良い。位置
マーカに係る物体は、例えば、監視領域の適宜の複数位
置に存在するものとし、ビデオカメラ１１が監視領域内
のいかなる位置にあっても、その画像信号に少なくとも
１以上の位置マーカパターンが含まれるように選定され
ている。例えば、図３に示すガードレール外側の木や固
定物を位置マーカとすることができる。

【００５３】また、第２の実施形態で新たに設けられた
カメラ位置推定部１５ａには、ビデオカメラ１１が出力
した画像信号が供給されるようになされている。カメラ
位置推定部１５ａは、位置マーカ情報記憶部１５ｂに記
憶された位置マーカのパターンを参照して、入力された
画像信号に含まれている位置マーカパターンの存在を認
識して、カメラ位置の推定を行なうものである。カメラ
位置推定部１５ａによって推定されたカメラ位置情報
は、奥行き算出部１４に与えられる。

【００５４】この第２の実施形態においても、カメラ位
置を推定する点を除き、静止物体を検知する一連の動作
は、第１の実施形態と同様である。そこで、以下では、
図７のフローチャートを参照しながら、カメラ位置推定
部１５ａが実行するカメラ位置の推定動作を詳述する。

【００５５】まず、カメラ位置推定部１５ａは、位置マ
ーカ情報記憶部１５ｂに記憶された位置マーカのパター
ンを入力画像中において探索し、その画面上での位置を
特定する。位置マーカとして複数用意されている場合に
は、各位置マーカについて、入力画像中の探索を行なう
（ステップ１００）。位置マーカパターンの画像中の探
索方法については、例えば、文献４『廣田、李、徐、
辻、「相関法を用いた実時間物体追跡システムの製
作」、情報処理学会第４７回全国大会、6L-2、1993』に
記載の装置を用いることにより行なうことができる。以
下、この方法を説明する。

【００５６】位置マーカのパターンにおける位置（ｘ，
ｙ）の画素の輝度値をＴ（ｘ，ｙ）、入力画像の位置
（ｘ，ｙ）にある画素の輝度をＩ（ｘ，ｙ）とすると、
(10)式で与えられる相違度Ｄ_i,j を入力画像全体につい
て計算し、得られた相違度の中での最小値Ｄ_min とその
ときの（ｉ，ｊ）を求める。なお、(10)式における総和
ΣΣは、位置マーカのパターンの大きさを横Ｍ画素、縦
Ｎ画素の長方形としたとき、ｍが０〜Ｍ、ｎが０〜Ｎに
ついてである。

【００５７】 Ｄ_i,j ＝ ΣΣ ｜Ｉ（ｉ＋ｍ，ｊ＋ｎ）−Ｔ（ｍ，ｎ）｜ …(10) そして、相違度最小値Ｄmin を閾値Ｄ_thと比較し、相違
度最小値Ｄ_min が閾値Ｄ_th以下であった場合に、画像中
に位置マーカのパターンがあったと判定する。複数の位
置マーカを用いた場合には、少なくとも相違度最小値Ｄ
_min が閾値Ｄ_th以下であるものを捜し出す。

【００５８】以上のようにして位置マーカを検出する
と、そのマーカの３次元位置（Ｘ，Ｙ，Ｚ）を位置マー
カ情報記憶部１５ｂから呼び出す（ステップ１０１）。

【００５９】そして、カメラ中心のワールド座標系によ
る座標（ｘ，ｙ，ｚ）を算出する（ステップ１０２）。
但し、ビデオカメラ１１は、既設レール２２の上を移動
するだけであるので、ｙ及びｚの値は既知であり、ｘの
値だけが末知である。この未知の値ｘは、(11)式に従っ
て求めることができる。

【００６０】 ｘ＝Ｘ−（Ｚ／ｆ）・（ｉ／α） …(11) ここで、α及びθは第ｌの実施形態と同様、それぞれカ
メラ内受光素子の画素密度（単位長当りの画素数）及び
焦点距離である。

【００６１】以上のように、第２の実施形態によって
も、ビデオカメラを移動させながら得た２枚の画像から
オプティカルフローを得た後、それを距離値に変換し、
その距離値と常設物体についての距離値との差分を得、
この距離差分値が妥当な範囲にある画素に対応した絶対
的位置を算出し、ビデオカメラの異なる位置について得
られた絶対的位置の一致性に基づいて、常設物体以外の
静止物体を検出するようにしたので、予め背景画像を用
意することなく、１台のビデオカメラの視野範囲を大き
く越える監視領域について、静止物体の存在を検知する
ことができる。

【００６２】また、第２の実施形態によれば、シャフト
エンコーダ等の特殊なカメラ位置情報獲得装置を用いる
ことなく、静止物体の検知を行なうことができる。

【００６３】（Ｃ）他の実施形態 上記各実施形態においては、ビデオカメラが所定の１方
向に移動しているときのみ、物体検知を行なうものを示
したが、往復動する双方向で物体検知を行なうようにし
ても良い。この場合、一方の移動方向での処理において
は、上述した処理における符号等を逆にして適用すれば
良い。

【００６４】また、上記各実施形態においては、参照さ
れる常設物体までの基準奥行き情報を、カメラ位置情報
と環境情報とからその都度算出するものを示したが、基
準奥行き情報自体を予め作成しておいて格納しておき、
カメラ位置に応じて、読み出すようにしても良い。

【００６５】さらに、上記各実施形態においては、ビデ
オカメラが常時撮像を行なうものを示したが、カメラ位
置情報に基づいて、所定距離ずつ異なる所定の位置に到
達する毎に間欠的に撮像を行なうものであっても良い。
この場合には、いわゆるスチルカメラ（特許請求の範囲
におけるビデオカメラの用語は、このスチルカメラを含
むものとする）を適用することもできる。

【００６６】さらにまた、上記各実施形態においては、
本発明を、道路上の障害物検知に適用したものを示した
が、監視領域や監視対象物がこれに限定されないことは
勿論である。

【００６７】

【発明の効果】以上のように、本発明の物体検出方法及
び物体検知システムによれば、ビデオカメラは、所定方
向に移動しながら撮像を行ない、異なる時刻に撮影され
た２枚の画像からオプティカルフローを算出し、算出さ
れたオプティカルフローから、各オプティカルフローを
生成した物体とビデオカメラまでの奥行き方向の距離情
報を生成し、ビデオカメラの位置と常設物体の位置及び
形状によって定まる、撮像画像の各画素に対応するビデ
オカメラからの奥行き情報を出力し、距離情報と奥行き
情報との距離差分値を求め、オプティカルフロー及び距
離差分値に基づいて、常設物体以外の静止物体の検出を
行なうので、予め背景画像を用意することなく、１台の
ビデオカメラの視野範囲を大きく越える監視領域につい
て、静止物体の存在を検知することができる。

【図面の簡単な説明】

【図１】第ｌの実施形態のシステム構成を示すブロック
図である。

【図２】第ｌの実施形態の各種要素の配置を示す概略斜
視図である。

【図３】第ｌの実施形態の入力画像例を示す説明図であ
る。

【図４】図３の画像例に対するオプティカルフローの算
出例を示す説明図である。

【図５】第ｌの実施形態の座標系の説明図である。

【図６】第２の実施形態のシステム構成を示すブロック
図である。

【図７】第２の実施形態のカメラ位置推定部の処理フロ
ーチャートである。

【符号の説明】

１１…ビデオカメラ、１２…オプティカルフロー算出
部、１３…距離算出部、１４…奥行き算出部、１５…カ
メラ位置獲得装置、１５ａ…カメラ位置推定部、１５ｂ
…位置マーカ情報記憶部、１６…環境情報格納部、１７
…奥行き比較部、１８…障害物検出部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 浩司 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内

Claims (10)

【特許請求の範囲】
1. 【請求項１】 監視領域をビデオカメラで撮影し、得ら
   れた画像に基づいて、監視領域中の物体の存在を検知す
   る物体検知方法において、 上記ビデオカメラは、所定方向に移動しながら撮像を行
   ない、 異なる時刻に撮影された２枚の画像からオプティカルフ
   ローを算出し、 算出された上記オプティカルフローから、各オプティカ
   ルフローを生成した物体と上記ビデオカメラまでの奥行
   き方向の距離情報を生成し、 上記ビデオカメラの位置と常設物体の位置及び形状によ
   って定まる、撮像画像の各画素に対応する上記ビデオカ
   メラからの奥行き情報を出力し、 上記距離情報と上記奥行き情報との距離差分値を求め、 上記オプティカルフロー及び距離差分値に基づいて、常
   設物体以外の静止物体の検出を行なうことを特徴とする
   物体検知方法。
2. 【請求項２】 上記奥行き情報を、監視領域内の常設物
   体についての予め格納されている位置及び形状データ
   と、上記ビデオカメラの位置情報とを用いた演算によっ
   て求めることを特徴とする請求項１に記載の物体検知方
   法。
3. 【請求項３】 上記ビデオカメラの位置情報を、上記ビ
   デオカメラの移動機構による移動量から得ることを特徴
   とする請求項１又は２に記載の物体検知方法。
4. 【請求項４】 上記ビデオカメラの位置情報を、監視領
   域内に位置マーカを配置しておき、撮像画像中における
   当該位置マーカの位置により推定して得ることを特徴と
   する請求項ｌ又は２に記載の物体検知方法。
5. 【請求項５】 予め位置マーカのパターンを記憶してお
   き、この位置マーカのパターンに類似した撮像画像中の
   領域を、画像間の相関値により求めて、上記位置マーカ
   の撮像画像中での位置を特定することを特徴とする請求
   項４に記載の物体検知方法。
6. 【請求項６】 監視領域をビデオカメラで撮影し、得ら
   れた画像に基づいて、監視領域中の物体の存在を検知す
   る物体検知システムにおいて、 上記ビデオカメラを、所定方向に移動させるカメラ移動
   機構と、 上記ビデオカメラの位置情報を出力するカメラ位置出力
   手段と、 異なる時刻に撮影された２枚の画像からオプティカルフ
   ローを算出するオプティカルフロー算出手段と、 算出された上記オプティカルフローから、各オプティカ
   ルフローを生成した物体と上記ビデオカメラまでの奥行
   き方向の距離情報を生成する距離算出手段と、 上記ビデオカメラの位置と常設物体の位置及び形状によ
   って定まる、撮像画像の各画素に対応する上記ビデオカ
   メラからの奥行き情報を出力する奥行き出力手段と、 上記距離情報と上記奥行き情報との距離差分値を求める
   奥行き比較手段と、 上記オプティカルフロー及び距離差分値に基づいて、常
   設物体以外の静止物体の検出を行なう物体検出手段とを
   備えることを特徴とする物体検知システム。
7. 【請求項７】 上記奥行き出力手段は、監視領域内の常
   設物体についての位置及び形状データを予め格納してい
   る環境情報格納部と、この常設物体についての位置及び
   形状データと、上記ビデオカメラの位置情報とを用いた
   演算によって奥行き情報を生成する奥行き算出部とでな
   ることを特徴とする請求項６に記載の物体検知システ
   ム。
8. 【請求項８】 上記カメラ位置出力手段は、上記カメラ
   移動機構による移動量から上記ビデオカメラの位置情報
   を得るものであることを特徴とする請求項５又は６に記
   載の物体検知システム。
9. 【請求項９】 上記カメラ位置出力手段は、撮像画像中
   における、監視領域内に配置されている当該位置マーカ
   の位置により、上記ビデオカメラの位置情報を推定して
   得るものであることを特徴とする請求項６又は７に記載
   の物体検知システム。
10. 【請求項１０】 上記カメラ位置出力手段は、予め位置
    マーカのパターンを記憶している位置マーカ情報記憶部
    と、この位置マーカのパターンに類似した撮像画像中の
    領域を、画像間の相関値により求めて、上記位置マーカ
    の撮像画像中での位置を特定するカメラ位置推定部とで
    なることを特徴とする請求項９に記載の物体検知システ
    ム。