JP3600964B2 - 移動物体検出装置 - Google Patents

移動物体検出装置 Download PDF

Info

Publication number
JP3600964B2
JP3600964B2 JP05490995A JP5490995A JP3600964B2 JP 3600964 B2 JP3600964 B2 JP 3600964B2 JP 05490995 A JP05490995 A JP 05490995A JP 5490995 A JP5490995 A JP 5490995A JP 3600964 B2 JP3600964 B2 JP 3600964B2
Authority
JP
Japan
Prior art keywords
image
moving object
cluster
moving
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05490995A
Other languages
English (en)
Other versions
JPH08212352A (ja
Inventor
雄二 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP05490995A priority Critical patent/JP3600964B2/ja
Publication of JPH08212352A publication Critical patent/JPH08212352A/ja
Application granted granted Critical
Publication of JP3600964B2 publication Critical patent/JP3600964B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、動画像のなかに存在する移動物体を画像処理によって検出する移動物体検出装置に関する。
【0002】
【従来の技術】
従来、動画像のなかから移動物体を検出する方法として、動画像のフレーム間における濃度の差分をとり、そのフレーム間を差分した画像のなかから、あらかじめ設定された濃度のしきい値を用いて濃度の変化領域を抽出して、その抽出領域に対応するものが移動物体であるとしてそれを検出するようにしている。
【0003】
しかし、このような方法によるのでは、フレーム間の濃度の差分によって画像中の移動物体を検出するためには移動物体を撮像する側が静止状態にある必要があり、撮像側が移動している状態では背景の動きにも濃度変化が生じて背景と移動物体との判別ができないものとなっている。
【0004】
また、従来、移動体に搭載されたカメラによって外界を撮像することによって得られる動画像から、空間的な濃度勾配と時間的な濃度勾配とを用いて速度ベクトルの分布状態を示すオプティカルフローを算出し、その得られたオプティカルフローに基いて移動体の三次元的な動きを認識する方法が提案されている(U.S.Patent No.4,980,762参照)。
【0005】
しかし、このような方法によるのでは、動画像の撮像側である移動体の移動にともなう画像全体の平行移動または回転移動を検出することができるが、画像中に存在する他の移動物体を検出することができないものとなっている。
【0006】
【発明が解決しようとする課題】
解決しようとする問題点は、動画像の入力側が移動している状況下で、その入力された動画像のなかから移動物体を画像処理によって検出することができないことである。
【0007】
【課題を解決するための手段】
本発明は、動画像中に移動物体があると、その動画像から得られたオプティカルフローが移動物体に対応する部分で偏よりを生ずる点に着目してなされたもので、動画像の入力側が移動している状況下で、その入力された動画像のなかから移動物体を確実に検出できるようにするべく、動画像を入力する画像入力手段と、その入力された動画像から速度ベクトルの分布状態を示すオプティカルフローを算出し、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベルとなり、そのしきい値よりも小さくなっている点で黒レベルとなる処理を行うオプティカルフロー演算手段と、その処理画像を非線形振動ユニットにおける振動の引き込み現象によって連続的に移動する白部分のかたまりであるクラスタを抽出するクラスタ抽出手段とをそなえ、その抽出されたクラスタにもとづいて移動物体を検出するようにしている。
【0008】
【実施例】
本発明による移動物体検出装置は、図1に示すように、車両に搭載され、その進行方向の領域をビデオカメラにより連続的に撮像して動画像を得る画像入力部1と、その連続的に撮像される各画像を画素単位でサンプリングして濃度に関するデータを得て、動画像の空間的な濃度勾配と時間的な濃度勾配とにしたがう、画像上での速度ベクトルの分布状態を示すオプティカルフローを算出するオプティカルフロー演算部2と、その算出されたオプティカルフローのなかからオプティカルフローの偏り部分に対応したクラスタを抽出するクラスタ抽出部3と、その抽出されたクラスタに応じて入力された動画像中に存在する移動物体を検出する移動物体検出部4とによって構成されている。
【0009】
オプティカルフロー演算部2におけるオプティカルフローの算出としては、例えば、文献「Artifical Inteligence」 Vol.17.No.1−3(1981)の第185ないし203頁、Berthold K.P.Horn and Brian G.Schunck著による”Determining Optical Flow”に記載されている従来の手法がそのまま用いられる。
【0010】
この実施例では、オプティカルフロー演算部2において、さらに、算出されたオプティカルフローにもとづいて、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベル信号の出力を生じ、そうでない点で黒レベル信号の出力を生ずるような処理を行うようにしている。
【0011】
例えば、図2に示すような入力画像に対するオプティカルフロー演算部2の出力は、図3に示すような状態になる。図中、白部分が速度ベクトルの値が予め設定されたしきい値以上になっている画素の点の集合である。
【0012】
そして、そのオプティカルフロー演算部2の出力がクラスタ抽出部3に与えられて、オプティカルフローの偏り部分に対応したクラスタの抽出が行われる。
【0013】
この実施例では、クラスタ抽出部3において、図5に示すように、ニューロオシレータとして、1つの非線形振動ユニットUij(i=0〜I,j=0〜J)を画素単位として、それを入力画像に応じた画素構成と同じになるように、各隣接する振動ユニットが所定の結合値をもって接続されるようにして、マトリクス状に配設することによって形成されるセルブロック5を用いて、クラスタの抽出を以下のように行わせるようにしている。
【0014】
なお、ニューロオシレータ自体は、例えば、特開昭62−103773号公報に記載されているように公知である。
【0015】
1つの非線形振動ユニットUijは、図6に示すように、2つの振動子u1,u2が順,逆符号で結合されて、非線形振動を行うように形成されている。図中、白丸が順符号の結合(興奮結合)を、黒丸が逆符号の結合(抑制結合)をそれぞれ示している。
【0016】
非線形振動ユニットUijの入力vijにはオプティカルフロー演算部2の対応する点におけるの出力が与えられて、その出力が白レベル信号であるときに非線形振動ユニットUijが興奮し、その出力が黒レベル信号であるときに非線形振動ユニットUijが抑制するように設定されている。
【0017】
このようなセルブロック5を用いたクラスタ抽出部3にあって、そのセルブロック5に動画像を処理したときのオプティカルフロー演算部2の出力を連続的に与えると、動画像中に移動物体M(図2参照)が存在する場合、その対応する画素領域にある各非線形振動ユニットUijの振動の引き込み現象によって、連続的に移動する白部分のかたまりであるクラスタが抽出される。
【0018】
その際、クラスタ抽出部3は、ノイズ成分を除去するために、大きさが予め設定したしきい値以上となるクラスタのみを抽出するようにしている。
【0019】
そして、移動物体検出部4は、クラスタ抽出部3において抽出されたクラスタから、動画像中に存在する移動物体Mを2次元的な位置情報をもって検出するが、その際、移動物体Mのチラツキのない安定した検出出力を得ることができるように、抽出されたクラスタに対応する各非線形振動ユニットUijの出力oijをそれぞれ所定時間積分して、その積分値が予め設定したしきい値以上となる点の集合を移動体Mの検出結果とするようにしている。
【0020】
図4に、図2の入力画像中に存在する移動物体Mの検出出力の状態を示している。
【0021】
【発明の効果】
以上、本発明による移動物体検出装置にあっては、動画像を入力する画像入力手段と、その入力された動画像から速度ベクトルの分布状態を示すオプティカルフローを算出し、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベルとなり、そのしきい値よりも小さくなっている点で黒レベルとなる処理を行うオプティカルフロー演算手段と、その処理画像を非線形振動ユニットにおける振動の引き込み現象によって連続的に移動する白部分のかたまりであるクラスタを抽出するクラスタ抽出手段とをそなえ、その抽出されたクラスタにもとづいて移動物体を検出するようにしたもので、動画像の入力側が移動している状況下で、その入力された動画像のなかから移動物体をノイズの影響を受けることなく確実に検出することができ、特に低品質のオプティカルフローからでもデータを補間して移動物体の検出と認識が容易になるという利点を有している。
【0022】
また、本発明による移動物体検出装置は、特に非線形振動ユニットを複数のセルマトリクスによって構成するようにしたもので、振動の引き込み現象によって移動物体の検出を容易に行わせることができるという利点を有している。
【図面の簡単な説明】
【図1】本発明による移動物体検出装置の一実施例を示すブロック構成図である。
【図2】入力画像の一例を示す図である。
【図3】同実施例におけるオプティカルフロー演算部の出力状態の一例を示す図である。
【図4】図2の入力画像中に存在する移動物体の検出出力の状態を示す図である。
【図5】画素単位による非線形振動ユニットを入力画像の画素構成に対応してマトリクス状に配設したセルブロックを示す図である。
【図6】非線形振動ユニットの構成を示す図である。
【符号の説明】
1 画像入力部
2 オプティカルフロー演算部
3 クラスタ抽出部
4 移動物体検出部
5 セルブロック
M 移動物体

Claims (2)

  1. 動画像を入力する画像入力手段と、その入力された動画像から速度ベクトルの分布状態を示すオプティカルフローを算出し、各画素における速度ベクトルの値が予め設定されたしきい値以上になっている点で白レベルとなり、そのしきい値よりも小さくなっている点で黒レベルとなる処理を行うオプティカルフロー演算手段と、その処理画像を非線形振動ユニットにおける振動の引き込み現象によって連続的に移動する白部分のかたまりであるクラスタを抽出するクラスタ抽出手段とをそなえ、その抽出されたクラスタにもとづいて移動物体を検出することを特徴とする移動物体検出装置。
  2. 複数の非線形ユニットがマトリクス状に配設されたセルブロックを用いてクラスタを抽出するようにしたことを特徴とする請求項1の記載による移動物体検出装置。
JP05490995A 1995-02-06 1995-02-06 移動物体検出装置 Expired - Fee Related JP3600964B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05490995A JP3600964B2 (ja) 1995-02-06 1995-02-06 移動物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05490995A JP3600964B2 (ja) 1995-02-06 1995-02-06 移動物体検出装置

Publications (2)

Publication Number Publication Date
JPH08212352A JPH08212352A (ja) 1996-08-20
JP3600964B2 true JP3600964B2 (ja) 2004-12-15

Family

ID=12983738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05490995A Expired - Fee Related JP3600964B2 (ja) 1995-02-06 1995-02-06 移動物体検出装置

Country Status (1)

Country Link
JP (1) JP3600964B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213137A (ja) * 1998-01-29 1999-08-06 Matsushita Electric Ind Co Ltd 画像処理装置

Also Published As

Publication number Publication date
JPH08212352A (ja) 1996-08-20

Similar Documents

Publication Publication Date Title
JP3747866B2 (ja) 車両用画像処理装置
US7747075B2 (en) Salient motion detection system, method and program product therefor
CN102473281B (zh) 车辆周围监测装置
JP5644097B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20040105493A1 (en) Image processing apparatus and method, and image pickup apparatus
CN107133559A (zh) 基于360度全景的运动物体检测方法
JP5909147B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP2006059252A (ja) 動き検出方法及び装置,プログラム,車両用監視システム
JP3011566B2 (ja) 接近車監視装置
JP2015138319A (ja) 物体検出装置、物体検出方法、および物体検出プログラム
JP2008171108A (ja) 顔状況判定処理装置および撮像装置
JP7255819B2 (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
JP3600964B2 (ja) 移動物体検出装置
Zuo et al. Accurate depth estimation from a hybrid event-RGB stereo setup
JPH07249127A (ja) 移動物体検出装置
JPH07104160B2 (ja) 車間距離検出方式
US6754372B1 (en) Method for determining movement of objects in a video image sequence
JP2000011134A (ja) 移動量検出装置及びその方法
JPH04340178A (ja) 侵入監視装置
JP3854143B2 (ja) 車線境界検出装置
JP2008040724A (ja) 画像処理装置、及び画像処理方法
JP2009042909A (ja) 特徴点検出装置、およびそれを搭載した動画像処理装置
JPH083492B2 (ja) 流れ画像解析装置
JP3250126B2 (ja) 移動物体検出装置
WO2023223704A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040908

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071001

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees