JPH07162845A - 移動物体検出装置 - Google Patents
移動物体検出装置Info
- Publication number
- JPH07162845A JPH07162845A JP34216193A JP34216193A JPH07162845A JP H07162845 A JPH07162845 A JP H07162845A JP 34216193 A JP34216193 A JP 34216193A JP 34216193 A JP34216193 A JP 34216193A JP H07162845 A JPH07162845 A JP H07162845A
- Authority
- JP
- Japan
- Prior art keywords
- point
- optical flow
- image
- moving
- infinity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 動画像の入力側の静止、移動の状態の如何に
かかわらず、画像中に存在する移動物体を検出すること
ができるようにする。 【構成】 動画像を入力する手段と、その入力された動
画像から画像上での速度ベクトルの分布状態を示すオプ
ティカルフローを算出する手段と、その算出されたオプ
ティカルフローの不連続点を抽出する手段と、自己運動
方向の無限遠点を検出する手段と、その検出された無限
遠点に対応してオプティカルフローに生ずる不連続点を
除去したうえで、オプティカルフローの不連続点から動
画像中に存在する移動物体を検出する手段とをとるよう
にする。
かかわらず、画像中に存在する移動物体を検出すること
ができるようにする。 【構成】 動画像を入力する手段と、その入力された動
画像から画像上での速度ベクトルの分布状態を示すオプ
ティカルフローを算出する手段と、その算出されたオプ
ティカルフローの不連続点を抽出する手段と、自己運動
方向の無限遠点を検出する手段と、その検出された無限
遠点に対応してオプティカルフローに生ずる不連続点を
除去したうえで、オプティカルフローの不連続点から動
画像中に存在する移動物体を検出する手段とをとるよう
にする。
Description
【０００１】
【産業上の利用分野】本発明は、動画像のなかに存在す
る移動物体を検出する移動物体検出装置に関する。
る移動物体を検出する移動物体検出装置に関する。
【０００２】
【従来の技術】従来、動画像のなかから移動物体を検出
する方法として、動画像のフレーム間における濃度の差
分をとり、そのフレーム間を差分した画像のなかから、
予め設定された濃度のしきい値を用いて濃度の変化領域
を抽出して、その抽出領域に対応するものが移動物体で
あるとしてそれを検出するようにしている。
する方法として、動画像のフレーム間における濃度の差
分をとり、そのフレーム間を差分した画像のなかから、
予め設定された濃度のしきい値を用いて濃度の変化領域
を抽出して、その抽出領域に対応するものが移動物体で
あるとしてそれを検出するようにしている。
【０００３】また、従来、移動体に搭載されたカメラに
よって外界を撮像することによって得られる動画像か
ら、空間的な濃度勾配と時間的な濃度勾配とを用いて、
速度ベクトルの分布状態を示すオプティカルフローを算
出し、その得られた画像のオプティカルフローにもとづ
いて移動体の三次元的な動きを認識する方法がある
（Ｕ．Ｓ．Ｐａｔｅｎｔ Ｎｏ．４，９８０，７６２参
照）。
よって外界を撮像することによって得られる動画像か
ら、空間的な濃度勾配と時間的な濃度勾配とを用いて、
速度ベクトルの分布状態を示すオプティカルフローを算
出し、その得られた画像のオプティカルフローにもとづ
いて移動体の三次元的な動きを認識する方法がある
（Ｕ．Ｓ．Ｐａｔｅｎｔ Ｎｏ．４，９８０，７６２参
照）。
【０００４】
【発明が解決しようとする課題】解決しようとする問題
点は、動画像のフレーム間の濃度の差分によって画像中
の移動物体を検出する方法によるのでは、移動物体を撮
像する側が静止状態にある必要があり、撮像側が移動し
ている状態では背景の動きにも濃度変化が生じて背景と
移動物体との判別ができないことである。
点は、動画像のフレーム間の濃度の差分によって画像中
の移動物体を検出する方法によるのでは、移動物体を撮
像する側が静止状態にある必要があり、撮像側が移動し
ている状態では背景の動きにも濃度変化が生じて背景と
移動物体との判別ができないことである。
【０００５】また、従来のオプティカルフローを用いた
移動体の三次元的な動きを認識する方法によるのでは、
動画像の入力側である移動体の移動にともなう画像全体
の平行移動または回転移動を検出することができるが、
画像中に存在する移動物体を検出することができないと
いう問題がある。
移動体の三次元的な動きを認識する方法によるのでは、
動画像の入力側である移動体の移動にともなう画像全体
の平行移動または回転移動を検出することができるが、
画像中に存在する移動物体を検出することができないと
いう問題がある。
【０００６】
【課題を解決するための手段】本発明は、動画像の入力
側の静止、移動の状態の如何にかかわらず、画像中に存
在する移動物体を検出することができるようにするべ
く、動画像を入力する手段と、その入力された動画像か
ら画像上での速度ベクトルの分布状態を示すオプティカ
ルフローを算出する手段と、その算出されたオプティカ
ルフローの不連続点を抽出する手段と、自己運動方向の
無限遠点を検出する手段と、その検出された無限遠点に
対応してオプティカルフローに生ずる不連続点を除去し
たうえで、オプティカルフローの不連続点から移動物体
の境界を検出する手段とをとるようにしている。
側の静止、移動の状態の如何にかかわらず、画像中に存
在する移動物体を検出することができるようにするべ
く、動画像を入力する手段と、その入力された動画像か
ら画像上での速度ベクトルの分布状態を示すオプティカ
ルフローを算出する手段と、その算出されたオプティカ
ルフローの不連続点を抽出する手段と、自己運動方向の
無限遠点を検出する手段と、その検出された無限遠点に
対応してオプティカルフローに生ずる不連続点を除去し
たうえで、オプティカルフローの不連続点から移動物体
の境界を検出する手段とをとるようにしている。
【０００７】
【実施例】本発明による移動物体検出装置は、図１に示
すように、車両に搭載され、その進行方向の領域をビデ
オカメラにより連続的に撮像して動画像を得る画像入力
部１と、その連続的に撮像される各画像を画素単位でサ
ンプリングして濃度に関するデータを得て、動画像の空
間的な濃度勾配と時間的な濃度勾配とにしたがう、画像
上での速度ベクトルの分布状態を示すオプティカルフロ
ーを算出するオプティカルフロー演算部２と、その算出
されたオプティカルフローのベクトル場を空間的に平滑
化する空間フィルタ処理部３と、その平滑化されたオプ
ティカルフローの各点における近傍の差分をとり、その
差分が予め設定されたしきい値以上となる点（オプティ
カルフローの不連続点となる）を特徴点として抽出する
特徴点抽出部４と、車両の進行方向の無限遠点を検出す
る無限遠点検出部５と、その検出された無限遠点に対応
する位置に生ずるオプティカルフローの特徴点を取り除
いたうえで、オプティカルフローの特徴点から動画像中
に存在する移動物体を検出する移動物体検出部６とから
なっている。
すように、車両に搭載され、その進行方向の領域をビデ
オカメラにより連続的に撮像して動画像を得る画像入力
部１と、その連続的に撮像される各画像を画素単位でサ
ンプリングして濃度に関するデータを得て、動画像の空
間的な濃度勾配と時間的な濃度勾配とにしたがう、画像
上での速度ベクトルの分布状態を示すオプティカルフロ
ーを算出するオプティカルフロー演算部２と、その算出
されたオプティカルフローのベクトル場を空間的に平滑
化する空間フィルタ処理部３と、その平滑化されたオプ
ティカルフローの各点における近傍の差分をとり、その
差分が予め設定されたしきい値以上となる点（オプティ
カルフローの不連続点となる）を特徴点として抽出する
特徴点抽出部４と、車両の進行方向の無限遠点を検出す
る無限遠点検出部５と、その検出された無限遠点に対応
する位置に生ずるオプティカルフローの特徴点を取り除
いたうえで、オプティカルフローの特徴点から動画像中
に存在する移動物体を検出する移動物体検出部６とから
なっている。
【０００８】オプティカルフロー演算部２におけるオプ
ティカルフローの算出としては、例えば、文献「Ａｒｔ
ｉｆｉｃａｌ Ｉｎｔｅｌｉｇｅｎｃｅ」 Ｖｏｌ．１
７．Ｎｏ．１−３（１９８１）．ｐｐ．１８５〜２０
３．Ｂｅｒｔｈｏｌｄ Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂ
ｒｉａｎ Ｇ．Ｓｃｈｕｎｃｋ 「Ｄｅｔｅｒｍｉｎｉ
ｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ」に記載されている、
従来の手法がそのまま用いられる。
ティカルフローの算出としては、例えば、文献「Ａｒｔ
ｉｆｉｃａｌ Ｉｎｔｅｌｉｇｅｎｃｅ」 Ｖｏｌ．１
７．Ｎｏ．１−３（１９８１）．ｐｐ．１８５〜２０
３．Ｂｅｒｔｈｏｌｄ Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂ
ｒｉａｎ Ｇ．Ｓｃｈｕｎｃｋ 「Ｄｅｔｅｒｍｉｎｉ
ｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ」に記載されている、
従来の手法がそのまま用いられる。
【０００９】図３はオプティカルフローの一例を示すも
ので、この場合は、図２に示すような、本装置を搭載す
る車両よりも速度の速い移動物体Ｍが同じ方向に走行し
ているときの入力画像における局所的な２次元の速度ベ
クトルの場となっている。図中、Ｐは車両の進行方向に
応じた無限遠点を示している。
ので、この場合は、図２に示すような、本装置を搭載す
る車両よりも速度の速い移動物体Ｍが同じ方向に走行し
ているときの入力画像における局所的な２次元の速度ベ
クトルの場となっている。図中、Ｐは車両の進行方向に
応じた無限遠点を示している。
【００１０】空間フィルタ処理部３は、例えば、ガウス
フィルタによってオプティカルフローのベクトル場を平
滑化して、そのベクトル場に含まれるノイズ成分を減少
させる。
フィルタによってオプティカルフローのベクトル場を平
滑化して、そのベクトル場に含まれるノイズ成分を減少
させる。
【００１１】そのガウスフィルタｆ（ｒ）は、中心から
の距離ｒ，標準偏差σにしたがって次式（１）によって
あらわされる。
の距離ｒ，標準偏差σにしたがって次式（１）によって
あらわされる。
【００１２】
【数１】
【００１３】また、特徴点抽出部４は、画像上の点
（ｘ，ｙ）を中心に（ｄｘ，ｄｙ）離れた近傍におけ
る、平滑化されたオプティカルフローのベクトル場Ｖ
（ｘ，ｙ）の差分ｅ（ｘ，ｙ）を求める。
（ｘ，ｙ）を中心に（ｄｘ，ｄｙ）離れた近傍におけ
る、平滑化されたオプティカルフローのベクトル場Ｖ
（ｘ，ｙ）の差分ｅ（ｘ，ｙ）を求める。
【００１４】 ｅ（ｘ，ｙ）＝Ｖ（ｘ−ｄｘ，ｙ−ｄｙ）−Ｖ（ｘ＋ｄｘ，ｙ＋ｄｙ）…（２ ）
【００１５】そして、予め設定されたしきい値ｅｏを基
準にして、次式（３）にしたがい、特徴点Ｅ（ｘ，ｙ）
を求める。
準にして、次式（３）にしたがい、特徴点Ｅ（ｘ，ｙ）
を求める。
【００１６】
【数２】
【００１７】図４に、図３のオプティカルフローから抽
出された特徴点を示している。
出された特徴点を示している。
【００１８】ここで、無限遠点Ｐの位置に、自己運動す
なわち本装置を搭載する車両の走行によって生じる速度
ベクトルの流出によって特徴点Ｃ１が得られる。また、
移動物体Ｍと本装置を搭載する車両の走行にともなう背
景との速度ベクトルの差によって、移動物体Ｍの境界部
分に速度ベクトルの流出点、流入点が生じて、特徴点Ｃ
２が得られる。
なわち本装置を搭載する車両の走行によって生じる速度
ベクトルの流出によって特徴点Ｃ１が得られる。また、
移動物体Ｍと本装置を搭載する車両の走行にともなう背
景との速度ベクトルの差によって、移動物体Ｍの境界部
分に速度ベクトルの流出点、流入点が生じて、特徴点Ｃ
２が得られる。
【００１９】無限遠点検出部５は、例えばジャイロケー
タなどを用いて、本装置を搭載する車両の進行による自
己運動方向（無限遠点Ｐ）を検出する。
タなどを用いて、本装置を搭載する車両の進行による自
己運動方向（無限遠点Ｐ）を検出する。
【００２０】そして、移動物体検出部６は、移動物体誤
検出の要因となる無限遠点Ｐの位置に対応して生ずる特
徴点Ｃ１を除去したうえで、図５に示すように、特徴点
Ｃ２から目的とする移動物体Ｍの境界を検出する。
検出の要因となる無限遠点Ｐの位置に対応して生ずる特
徴点Ｃ１を除去したうえで、図５に示すように、特徴点
Ｃ２から目的とする移動物体Ｍの境界を検出する。
【００２１】このように、本発明によれば、車両の進行
方向の領域を連続的に撮像することによって得られる図
２に示す入力画像のなかから、自車と相対速度をもって
移動する移動物体Ｍの位置の検出を行うことができるよ
うになる。
方向の領域を連続的に撮像することによって得られる図
２に示す入力画像のなかから、自車と相対速度をもって
移動する移動物体Ｍの位置の検出を行うことができるよ
うになる。
【００２２】なお、本発明にあっては、動画像を入力す
る側が静止しているときにも、オプティカルフローの不
連続点を抽出することによって、その動画像中に存在す
る移動物体の検出を行わせることができることはいうま
でもない。その場合、オプティカルフロー中には、自己
運動方向の無限遠点に対応する特徴点といったものが生
じない。
る側が静止しているときにも、オプティカルフローの不
連続点を抽出することによって、その動画像中に存在す
る移動物体の検出を行わせることができることはいうま
でもない。その場合、オプティカルフロー中には、自己
運動方向の無限遠点に対応する特徴点といったものが生
じない。
【００２３】
【発明の効果】以上、本発明による移動物体検出装置
は、自己運動方向の動画像から画像上での速度ベクトル
の分布状態を示すオプティカルフローを算出して、その
算出されたオプティカルフローの不連続点を抽出すると
ともに、自己運動方向における無限遠点を検出して、そ
の検出された無限遠点に対応してオプティカルフローに
生ずる誤検出の要因となる不連続点を除去したうえで、
オプティカルフローの不連続点から動画像中に存在する
移動物体を検出するようにしたもので、特に、動画像の
入力側が静止しているときに限らず、移動しているとき
にあっても、その画像中に存在する移動物体を確実に検
出することができるようになる。
は、自己運動方向の動画像から画像上での速度ベクトル
の分布状態を示すオプティカルフローを算出して、その
算出されたオプティカルフローの不連続点を抽出すると
ともに、自己運動方向における無限遠点を検出して、そ
の検出された無限遠点に対応してオプティカルフローに
生ずる誤検出の要因となる不連続点を除去したうえで、
オプティカルフローの不連続点から動画像中に存在する
移動物体を検出するようにしたもので、特に、動画像の
入力側が静止しているときに限らず、移動しているとき
にあっても、その画像中に存在する移動物体を確実に検
出することができるようになる。
【図１】本発明による移動物体検出装置の一実施例を示
すブロック構成図である。
すブロック構成図である。
【図２】入力画像の一例を示す図である。
【図３】入力画像に対応したオプティカルフローを示す
図である。
図である。
【図４】オプティカルフローから抽出された特徴点を示
す図である。
す図である。
【図５】オプティカルフローの特徴点によって検出され
た移動物体の境界を示す図である。
た移動物体の境界を示す図である。
１ 画像入力部 ２ オプティカルフロー演算部 ３ 空間フィルタ処理部 ４ 特徴点抽出部 ５ 移動物体検出部 Ｍ 移動物体 Ｐ 無限遠点 Ｃ１ 特徴点 Ｃ２ 特徴点
Claims (3)
- 【請求項１】 動画像を入力する手段と、その入力され
た動画像から画像上での速度ベクトルの分布状態を示す
オプティカルフローを算出する手段と、その算出された
オプティカルフローの不連続点を抽出する手段と、自己
運動方向の無限遠点を検出する手段と、その検出された
無限遠点に対応してオプティカルフローに生ずる不連続
点を除去したうえで、オプティカルフローの不連続点か
ら動画像中に存在する移動物体を検出する手段とによっ
て構成された移動物体検出装置。 - 【請求項２】 動画像から得られるオプティカルフロー
を空間フィルタ処理することによって平滑化し、その平
滑化されたオプティカルフローにおける各点の近傍の差
分をとることによって不連続点を抽出するようにしたこ
とを特徴とする前記第１項の記載による移動物体検出装
置。 - 【請求項３】 移動体に搭載されたビデオカメラにより
その移動方向の領域を連続的に撮像して動画像を得ると
ともに、その移動体の進行方向の無限遠点を検出するよ
うにしたことを特徴とする前記第１項の記載による移動
物体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34216193A JP3250126B2 (ja) | 1993-12-02 | 1993-12-02 | 移動物体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34216193A JP3250126B2 (ja) | 1993-12-02 | 1993-12-02 | 移動物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07162845A true JPH07162845A (ja) | 1995-06-23 |
| JP3250126B2 JP3250126B2 (ja) | 2002-01-28 |
Family
ID=18351596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34216193A Expired - Fee Related JP3250126B2 (ja) | 1993-12-02 | 1993-12-02 | 移動物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3250126B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072480A (ja) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
| JP2012525190A (ja) * | 2009-04-29 | 2012-10-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 単眼の内視鏡画像からのリアルタイム深度推定 |
-
1993
- 1993-12-02 JP JP34216193A patent/JP3250126B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072480A (ja) * | 2004-08-31 | 2006-03-16 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
| JP4555635B2 (ja) * | 2004-08-31 | 2010-10-06 | 富士重工業株式会社 | 画像処理装置および画像処理方法 |
| JP2012525190A (ja) * | 2009-04-29 | 2012-10-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 単眼の内視鏡画像からのリアルタイム深度推定 |
| US9750399B2 (en) | 2009-04-29 | 2017-09-05 | Koninklijke Philips N.V. | Real-time depth estimation from monocular endoscope images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3250126B2 (ja) | 2002-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| KR100738522B1 (ko) | 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법 | |
| US20110286671A1 (en) | Edge detection technique having improved feature visibility | |
| KR100879623B1 (ko) | Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법 | |
| KR101486308B1 (ko) | 이동 객체를 추종하기 위한 이동로봇 제어 장치, 방법 및 이동로봇 | |
| JP2016162232A (ja) | 画像認識方法及び装置、プログラム | |
| JP2006268097A (ja) | 車載物体検出装置、および物体検出方法 | |
| JP2008242571A (ja) | 物体検出装置 | |
| JPH07262375A (ja) | 移動体検出装置 | |
| JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
| JP3888055B2 (ja) | オプティカルフローを利用した列車前方異常検出装置 | |
| JP3011566B2 (ja) | 接近車監視装置 | |
| JP3377743B2 (ja) | 移動体識別装置 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JP3364771B2 (ja) | 移動物体検出装置 | |
| JP2010003253A (ja) | 運動推定装置 | |
| KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
| JP3250126B2 (ja) | 移動物体検出装置 | |
| CN109740558B (zh) | 一种基于改进光流法的移动目标检测方法 | |
| JP6163732B2 (ja) | 画像処理装置、プログラム、及び方法 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| US11393128B2 (en) | Adhered substance detection apparatus | |
| TW201239813A (en) | Automatic tracking method for dome camera | |
| KR102239734B1 (ko) | 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법 | |
| Cutler et al. | Monitoring human and vehicle activities using airborne video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081116 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081116 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |