JP4254022B2 - 静止障害物検出方式 - Google Patents

静止障害物検出方式 Download PDF

Info

Publication number
JP4254022B2
JP4254022B2 JP2000206289A JP2000206289A JP4254022B2 JP 4254022 B2 JP4254022 B2 JP 4254022B2 JP 2000206289 A JP2000206289 A JP 2000206289A JP 2000206289 A JP2000206289 A JP 2000206289A JP 4254022 B2 JP4254022 B2 JP 4254022B2
Authority
JP
Japan
Prior art keywords
correlation value
normalized correlation
small
image
small area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000206289A
Other languages
English (en)
Other versions
JP2002024808A (ja
Inventor
貴 五十嵐
誠 庭川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP2000206289A priority Critical patent/JP4254022B2/ja
Publication of JP2002024808A publication Critical patent/JP2002024808A/ja
Application granted granted Critical
Publication of JP4254022B2 publication Critical patent/JP4254022B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、静止障害物検出方に関する。詳しくは、静止した単一カメラの画像を処理することにより、道路又は通路において移動物体を含む環境下で落下物のような正常な状態では存在せず通行の妨げとなるような静止した障害物を検出する方に関するものである。
【0002】
【従来の技術】
道路や建物内の異常等を非接触で検出する技術として画像処理技術がある。
また、障害物検出の技術としては、車両や移動ロボットなどそれ自身が移動しながら進行方向の障害物を検出するものが多いが、これらは移動しない状態でも障害物の検出が可能である。
【0003】
これらはステレオカメラ、超音波センサ、レーザなどを用いて距離を計測することで3次元の凹凸を把握し、路面や床面より高い位置にある場合に障害物があると判断するものである。
これにより路上の移動・静止物体が検出される。
【0004】
また、静止した単一カメラの画像を処理する背景差分法としては、落下物などのない状態で移動物体を含まない背景画像を予め用意しておき、この背景画像と現在の画像の差分をとって差の大きい領域には背景には含まれない物体が存在すると判断するものがある(参考文献:画像処理産業広用総覧下巻)。
これにより背景にない物体が、移動しているいないに関わらず抽出される。
【0005】
いずれの方法も移動・静止物体の双方を検出するものであるが、単位時間ごとに繰り返し行うことにより、移動物体であるか静止物体であるかの区別は可能である。
後述の画像処理による方法は、移動物体の検出に関する研究が多くなされており、背景画像を適宜更新することにより環境変化に対応し、安定して移動物体を検出するといった研究もある。
【0006】
【発明が解決しようとする課題】
移動体の障害物検出でよく用いられる距離を計測する方法では、路面との高さの違いによって物体が存在するかどうかを判定することになるため、板、布、紙といった厚みのあまりないものに関しては検出が難しい。
また、画像処理を用いる方法では、天候や時間による明るさや見え方の変化によって背景画像も変化していくため、単純な背景差分では障害物のみを抽出することは困難である。
これに対応するため、移動物体の検出を行う場合には背景を適宜更新していく方法がとられるが、この方法では始めの背景画像には存在しない静止障害物も更新時に背景画像として取り込んでしまうため、静止障害物は検出できなくなってしまう。
【0007】
【課題を解決するための手段】
上記課題を解決する本発明の請求項1に係る静止障害物検出方は、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする。
【0008】
上記課題を解決する本発明の請求項2に係る静止障害物検出方は、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定し、また、正規化相関値の大きさが1に近く、正規化相関値の変化量が小さい状態が一定期間継続している小領域については背景画像としての更新も適宜行いながら、路上の静止障害物を検出することを特徴とする。
【0009】
上記課題を解決する本発明の請求項3に係る静止障害物検出方は、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがその小領域の画像の輝度値に応じて設定される閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする。
【0010】
上記課題を解決する本発明の請求項4に係る静止障害物検出方は、静止した単一の撮像装置により時系列的に取り込まれた画像と、予め前記撮像装置で取り込まれた移動物体を含まず障害物の存在しない背景画像とを小領域毎に正規化相関値により比較し、正規相関値の大きさがある閾値より小さく、正規相関値の変化量が小さい状態が一定期間継続している小領域について静止障害物があると判断することを特徴とする。
【0011】
【発明の実施の形態】
1)基本的な考え方
本方式は、図1に示すように、移動物体を含む動画像からサンプリングした画像(現在の画像)を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず、障害物の存在しない背景画像の対応する小領域との正規化相関を計算することを、一定時間ごとにサンプリングされる画像に対して繰り返す。
図1は、画像を縦横に分割して小領域(高さL、幅K)としたものである。
正規化相関の計算式は、例えば、式(1)がある。
【0012】
【数1】
Figure 0004254022
【0013】
ある小領域についてその相関値の時間変化をグラフにした例を図2に示す。
図2の区間Aに示すように、ある小領域についてこの相関値の変化量が大きければ、移動物体が通過中であると判断し、また、図2の区間B、Cに示すように、相関値の変化量が小さい状態が一定回数以上連続すれば、その小領域に写っているのは背景であると判断できる。
このようにして背景と見なされた小領域の相関値が、図2の区間Bに示すように、1に近い値であれば、予め準備した背景画像の対応する小領域と同じ画像であることになる。
【0014】
しかし、図2の区間Cに示すように、ある閾値より小さければ、この小領域には予め準備した背景画像には写っていない静止物体が存在すると判断できる。そこで、図3のフローチャートに示すように、先ず、移動物体を含む動画像からサンプリングした現在の画像を取り込み(ステップS1)、次いで、相関計算の済んでいない小領域を選択し(ステップS2)、その小領域について背景画像との正規化相関を式(1)に従って計算する(ステップS3)。
【0015】
そして、計算した相関値の時間的な変化量が小さく(ステップS4)、その小さな変化量がN(Nは自然数)回連続し(ステップS5)、かつ、相関値が1に近くないとき(ステップS6)、その小領域において静止障害物が検出したと判断する(ステップS7)。
尚、計算した相関値の時間的な変化量が小さくないか(ステップS4)、小さな変化量がN(Nは自然数)回連続しないか(ステップS5)、或いは、相関値が1に近いとき(ステップS6)、その小領域において静止障害物が検出されないことになる。
【0016】
その後、全領域について上述した判断が済んでいない場合は(ステップS8)、相関計算の済んでいない小領域の選択(ステップS2)へ戻り、全領域について、上述した判断を繰り返す。
【0017】
2)背景画像の更新
基本的な考え方で説明したように、相関値の変化量が小さい状態が一定回数以上連続し相関値が1に近い値となった小領域について、現在の画像の小領域を背景画像の対応する小領域と置き換えることにより、背景画像を更新する。
【0018】
即ち、図4のフローチャートに示すように、先ず、移動物体を含む動画像からサンプリングした現在の画像を取り込み(ステップT1)、次いで、相関計算の済んでいない小領域を選択し(ステップT2)、その小領域について背景画像との正規化相関を式(1)に従って計算する(ステップT3)。
【0019】
そして、計算した相関値の時間的な変化量が小さく(ステップT4)、その小さな変化量がN(Nは自然数)回連続し(ステップT5)、かつ、相関値が1に近くないとき(ステップT6)、その小領域において静止障害物が検出したと判断する(ステップT7)。
【0020】
一方、計算した相関値の時間的な変化量が小さく(ステップT4)、その小さな変化量がN(Nは自然数)回連続し(ステップT5)、かつ、相関値が1に近いとき(ステップT6)、その小領域の画像を背景に上書き、つまり、置き換えることにより、背景画像を更新する(ステップT9)。
その後、全領域について上述した判断が済んでいない場合は(ステップT8)、相関計算の済んでいない小領域の選択(ステップT2)へ戻り、全領域について、上述した判断を繰り返す。
【0021】
3)閾値の設定
正規化相関の計算式は、例えば、式(1)に示すとおりであるが、この式の分母(以後Dと呼ぶ)がそれぞれの画像領域の輝度値の2乗和の平方根の積であるため、輝度値の小さい暗い領域では明るい領域に比べて、量子化誤差及びノイズによる輝度値の変化の影響が大きく現れることになる。
【0022】
そこで、正規化相関値から計算した値を閾値と比較して判定を行う場合には、閾値を一定値とせず、Dの関数として設定することで、領域の明暗による量子化誤差及びノイズの影響の違いを吸収できる。
ここでは、そのような閾値として、正規化相関値の変化量の大小を判定する閾値v(i,j)と背景画像との一致度(正規化相関値が1に十分近いかどうか)を判定する閾値W(i,j)の2つがある。
これらの閾値を、例えばそれぞれ式(2)、(3)に示すように設定する。
【0023】
【数2】
Figure 0004254022
【0024】
【発明の効果】
以上、実施例に基づいて具体的に説明したように、本発明によれば、以下の効果を奏する。
(1)カメラ映像中の静止した路上障害物を検出できる。
(2)正規化相関を使うことで明るさの変動による誤検出が減る。
(3)板、布、紙といった厚みの小さいものも検出できる。
(4)背景画像を適宜更新すれば、時刻による影の移動や、天候、時間によるゆっくりとした背景変化を誤って検出する確率を減らすことができる。
(5)背景画像の更新に際して静止障害物を背景画像に取り込むことを防げる。
(6)ノイズや量子化誤差の影響を小領域の明暗によらず均等化できるので、より安定した検出が可能になる。
【図面の簡単な説明】
【図1】小領域に区分された現在の画像と背景画像とを示す説明図である。
【図2】背景画像との正規化相関値時間推移を示すグラフである。
【図3】静止障害物を検出するフローチャートである。
【図4】障害物を検出すると共に背景更新を行うフローチャートである。
【符号の説明】
A,B,C 区間

Claims (4)

  1. 動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする静止障害物検出方
  2. 動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがある閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定し、また、正規化相関値の大きさが1に近く、正規化相関値の変化量が小さい状態が一定期間継続している小領域については背景画像としての更新も適宜行いながら、路上の静止障害物を検出することを特徴とする静止障害物検出方
  3. 動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、正規化相関値の大きさがその小領域の画像の輝度値に応じて設定される閾値より小さく、正規化相関値の変化量が小さい状態が一定期間継続している小領域については静止障害物があると判定することにより、路上の静止障害物を検出することを特徴とする静止障害物検出方
  4. 静止した単一の撮像装置により時系列的に取り込まれた画像と、予め前記撮像装置で取り込まれた移動物体を含まず障害物の存在しない背景画像とを小領域毎に正規化相関値により比較し、正規相関値の大きさがある閾値より小さく、正規相関値の変化量が小さい状態が一定期間継続している小領域について静止障害物があると判断することを特徴とする静止障害物検出方
JP2000206289A 2000-07-07 2000-07-07 静止障害物検出方式 Expired - Fee Related JP4254022B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000206289A JP4254022B2 (ja) 2000-07-07 2000-07-07 静止障害物検出方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000206289A JP4254022B2 (ja) 2000-07-07 2000-07-07 静止障害物検出方式

Publications (2)

Publication Number Publication Date
JP2002024808A JP2002024808A (ja) 2002-01-25
JP4254022B2 true JP4254022B2 (ja) 2009-04-15

Family

ID=18703238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000206289A Expired - Fee Related JP4254022B2 (ja) 2000-07-07 2000-07-07 静止障害物検出方式

Country Status (1)

Country Link
JP (1) JP4254022B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384901B2 (ja) 2018-09-11 2023-11-21 ブローゼ ファールツォイクタイレ エスエー ウント コンパニ コマンディートゲゼルシャフト バンベルク 自動車のフラップ用の駆動アセンブリ

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224735B2 (en) * 2003-05-21 2007-05-29 Mitsubishi Electronic Research Laboratories, Inc. Adaptive background image updating
WO2006050395A2 (en) * 2004-11-02 2006-05-11 Umech Technologies, Co. Optically enhanced digital imaging system
JP4956400B2 (ja) * 2007-12-18 2012-06-20 株式会社京三製作所 車両存否判定装置、車両存否判定方法及びプログラム
JP5045449B2 (ja) * 2008-01-17 2012-10-10 株式会社明電舎 画像処理による環境適応型侵入者検知装置
JP5223563B2 (ja) * 2008-09-25 2013-06-26 日産自動車株式会社 警告装置及び警告方法
JP5701005B2 (ja) * 2010-10-15 2015-04-15 キヤノン株式会社 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
CN108427424B (zh) * 2018-05-14 2023-10-27 珠海一微半导体股份有限公司 一种障碍物的检测装置、方法与移动机器人
CN113822593B (zh) * 2021-09-30 2024-06-14 中国第一汽车股份有限公司 一种安全态势评估方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384901B2 (ja) 2018-09-11 2023-11-21 ブローゼ ファールツォイクタイレ エスエー ウント コンパニ コマンディートゲゼルシャフト バンベルク 自動車のフラップ用の駆動アセンブリ

Also Published As

Publication number Publication date
JP2002024808A (ja) 2002-01-25

Similar Documents

Publication Publication Date Title
JP3569992B2 (ja) 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
JP3307335B2 (ja) 車両領域検出装置及び車両領域検定方法
US8243987B2 (en) Object tracking using color histogram and object size
US7262710B2 (en) Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles
JP5075672B2 (ja) 対象物検出装置及び方法
JP5019375B2 (ja) 物体検出装置および物体検出方法
CN106780565B (zh) 一种基于光流与k-means聚类的多学生起坐检测方法
JP4877801B2 (ja) 車両追跡方法及び装置
JPH07302328A (ja) 背景差分による動物体領域抽出方法
JP4254022B2 (ja) 静止障害物検出方式
JPH11502351A (ja) 時間的に順次連続する画像の運動物体を検出する方法
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
JP2009110185A (ja) 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム
JP2536986B2 (ja) 車間距離検出装置
JP4254045B2 (ja) 路上静止障害物検出方法
JPH05242399A (ja) 車間距離検出装置
JPH06180749A (ja) 路上物体監視装置
JP2002367077A (ja) 交通渋滞判定装置及び交通渋滞判定方法
KR100631082B1 (ko) 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법
JP5903901B2 (ja) 車両位置算出装置
JPH05300516A (ja) 動画処理装置
JP3047895B2 (ja) 消失点による補正を伴う白線検出方法及び装置
JP2001126192A (ja) 駐車場の駐車スペースの駐/空車判定方法
JP4697761B2 (ja) 待ち行列検出方法及び待ち行列検出装置
JP2001209804A (ja) 動画像処理装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4254022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees