JPH06203163A - 移動物体検出方法および装置 - Google Patents

移動物体検出方法および装置

Info

Publication number
JPH06203163A
JPH06203163A JP5000457A JP45793A JPH06203163A JP H06203163 A JPH06203163 A JP H06203163A JP 5000457 A JP5000457 A JP 5000457A JP 45793 A JP45793 A JP 45793A JP H06203163 A JPH06203163 A JP H06203163A
Authority
JP
Japan
Prior art keywords
moving object
optical flow
distance
moving
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5000457A
Other languages
English (en)
Other versions
JPH07113974B2 (ja
Inventor
Naoya Ota
直哉 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP5000457A priority Critical patent/JPH07113974B2/ja
Publication of JPH06203163A publication Critical patent/JPH06203163A/ja
Publication of JPH07113974B2 publication Critical patent/JPH07113974B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 カメラ自身が環境中を移動する場合でも、他
の移動物体の精度の良い検出を可能とする移動物体検出
方法および装置を提供する。 【構成】 移動するカメラからとられた動画像1はオプ
ティカルフロー検出装置2に入力され、オプティカルフ
ローが計算される。検出されたオプティカルフローはオ
プティカルフロー解析装置3に入力されカメラの運動パ
ラメータ4と逆距離5が計算される。逆距離5は距離情
報選別装置6に入力され、逆距離が特定の範囲にある部
分を検出し、移動物体領域7として出力する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、たとえば自動車のよう
な移動する物体上に設置されたカメラによって得られる
動画像から検出される画像上の移動ベクトル(オプティ
カルフロー)を解析することにより、先行車や対向車の
ように、環境に対して移動している物体を検出する技術
に関するものである。
【0002】
【従来の技術】環境に関して静止して設置されたカメラ
からの画像を使用して移動物体を検出する技術に関する
報告は多く、たとえば、谷口博康,古澤春樹,関明伸,
池端重樹,「DTT法を用いた車両監視」,情報処理学
会,コンピュータビジョン研究会技術報告CV72−
5、あるいは、長谷川為春,大野寛之,小沢真治,「屋
外駐車場における車両計数」,電気学会,道路交通研究
会技術報告RTA91−21、などがある。また、カメ
ラが移動する場合の移動物体検出技術としては、「動画
像解析方法」(特願平3−308623号明細書)があ
る。この概要を次に述べる。 まず、カメラが静止環境
中を運動したときにカメラの撮像面上に生じる移動ベク
トル(オプティカルフロー)について説明する。撮像系
のモデルとして、図2に示す中心投影系を採用する。こ
の撮像系の焦点距離は簡単のため1とするが、これは距
離の単位を焦点距離に採ったことを意味し、このことに
より一般性は失われない。この撮像系を持つカメラが静
止環境中を並進速度T、回転速度Rで運動したときに生
じるオプティカルフローの、画像上の点(xi,yi)
での移動ベクトルuiは次式で表される。
【0003】
【数1】
【0004】上式において、添え字i(i=1・・・
N)は画像上の各々の点に対応する番号である。また、
piは画像上の点(xi,yi)に写っている物体の3
次元空間内でのZ座標値の逆数(inverse depth)であ
る。ここではpiを逆距離と呼ぶ。
【0005】次に、動画像から検出されたオプティカル
フローからカメラの移動パラメータT,Rおよび逆距離
piを求めるために、最小自乗法による当てはめを行
う。動画像から検出されたオプティカルフローの画像上
の点(xi,yi)での移動ベクトルをui* =(vx
i* ,vyi* T とすると、次式で示すJを最小にす
るようなT,Rおよびpiを検出結果とする。
【0006】
【数2】
【0007】ここで、Vi-1は検出結果ui* に対する
信頼性を表す2×2の行列で、ui*に含まれる雑音の
共分散行列の逆行列と考えて差し支えない。また、行列
の肩のTは転置を表す。ui* およびVi-1を動画像か
ら計算する方法については、太田直哉,「信頼性指標を
持つ移動ベクトルの検出」,コンピュータビジョン’9
0,シンポジウム論文集,1990−8,pp.21−
30、に記載されている技術を用いることができる。
【0008】ここで、式(3)を最小にするTおよびp
iには、スケールファクタkと呼ばれる定数に関する自
由度が存在することに注意する必要がある。T0 ,p0
iを一つの解とすれば、kT0 ,p0 i/kも解とな
る。これは、オプティカルフローの解析のみではカメラ
の並進速度Tおよび物体までの逆距離piの絶対値は決
定できないという事実に立脚している。この自由度をな
くすため、一般には並進速度Tの大きさによって正規化
し、Tの大きさが1であるという拘束条件を付けて解か
れる。
【0009】 |T|=1 (4) さて、式(1)で表されるオプティカルフローは静止環
境を前提に導かれた結果なので、これを検出されたオプ
ティカルフローに当てはめたときに、もし画像上に移動
物体が存在したならば、その部分ではうまく当てはまら
ず、その部分での自乗誤差は大きくなる。注目している
点での自乗誤差Jiは式(3)の総和の内部の式で与え
られる。 Ji=(ui* −ui)T Vi-1(ui* −ui) (5) この値が大きな部分を検出することで、移動物体を検出
することができる。
【0010】
【発明が解決しようとする課題】従来の移動物体検出方
法で、環境に固定されたカメラを想定している方法で
は、前述の自動車の例のように、カメラが移動する場合
には使用することができない。また、移動するカメラを
前提にして移動物体を検出する方法を示した従来技術、
「動画像解析方法」(特願平3−308623号明細
書)には次のような欠点がある。すなわち、移動物体に
より生じるオプティカルフローが式(1)で表される静
止環境によるオプティカルフローと矛盾しない場合があ
り、この場合には前述の自乗誤差Jiが生じないので、
移動物体が検出できないことである。静止環境のみの場
合に生じるオプティカルフローは、カメラの運動の回転
成分Rにより生じる成分を除いた後、画像上の一点FO
E(focus of expansion)から放射状に広がる移動ベクト
ルとなる。この移動ベクトルがカメラの運動の並進成分
Tによって生じるオプティカルフローであり、このオプ
ティカルフローのベクトルの大きさが逆距離piに関係
しているが、移動物体により生じるオプティカルフロー
がこの方向を向いている場合、逆距離piが実際の距離
を表さないのみで、上述の自乗誤差は生じない。他の言
葉で言えば、移動物体によって生じる移動ベクトルの成
分を逆距離piが持つ自由度が吸収してしまい、自乗誤
差に現れてこないということである。
【0011】本発明の目的は、このような場合において
も移動物体を検出することができる移動物体検出方法お
よび装置を提供することにある。
【0012】
【課題を解決するための手段】本発明の移動物体検出方
法は、静止環境に対して相対運動をするカメラによって
撮影された動画像上での各点での移動ベクトル(オプテ
ィカルフロー)に対し、前記動画像に撮影されている物
体は単一の剛体であるという仮定の基に理論的に計算さ
れる移動ベクトルを当てはめることにより得られる前記
物体までの距離情報を使用し、前記距離の値が特定の範
囲内にある部分を移動物体として検出することを特徴と
する。
【0013】本発明の移動物体検出装置は、静止環境に
対して相対運動をするカメラによって撮影された動画像
上での各点での移動ベクトル(オプティカルフロー)を
検出するオプティカルフロー検出装置と、検出されたオ
プティカルフローに対し、カメラの運動パラメータと逆
距離を計算するオプティカルフロー解析装置と、計算さ
れた逆距離が特定の範囲にある部分を検出し、移動物体
領域として出力する距離情報選別装置とを備えることを
特徴とする。
【0014】
【作用】移動物体によるオプティカルフローがカメラの
並進運動Tによるオプティカルフローと同じ方向を向く
場合、その部分で自乗誤差Jiは生じず、逆距離piの
持つ自由度に吸収されることを説明した。したがって、
自乗誤差Jiで移動物体を検出することはできないが、
逆距離piが静止環境では生じ得ない値を示した場合に
は、移動物体が原因であると考えることができる。ま
ず、式(2)で示したように、逆距離piは画像上の物
体のZ座標値の逆数であるので負の値になることはな
い。したがって、piが負の値を示している領域は移動
物体によるものと判断できる。それ以外の値に対して
は、逆距離piは0または正のいかなる値をも取る可能
性があるので、一般には計算されたpiが正しく物体ま
での逆距離を示しているのか、あるいは移動物体の影響
を受けているのか判断することができない。しかしこの
場合でも、カメラの移動速度が制限されており、さらに
ある距離以上カメラに近い物体は存在しないと仮定でき
る場合、逆距離piはある程度以上大きな値を取り得な
い。これを次に説明する。まず、式(1)を変形して次
式を得る。 ui−BiR=piAiT (6) 両辺のベクトルの絶対値をとり、piについて解けば次
式になる。 pi=|ui−BiR|/|AiT| (7) 運動パラメータと逆距離を求める場合には、式(4)で
示したようにTの大きさを1と仮定して解かれる。しか
し、実際の並進速度の大きさがkであったときに、実際
の逆距離p0 iはpi/kになることが式(7)より分
かる。 k p0 i=p (8) これより、kとp0 iのとり得る範囲が限定されていれ
ば、式(8)によりpiのとり得る値も限定される。た
とえば、並進速度が0〜1(m/フレーム)、物体まで
の距離が10〜∞(m)とするとpiは0.1以上の値
はとり得ない。したがって、piが0.1以上を示して
いる領域を移動物体領域と判断することができる。
【0015】以上、移動物体検出のための条件をまとめ
ると次のようになる。 {pi <tl } OR {pi >tu } (9) ここで、tl ,tu はしきい値である。上述の例ではt
u は0.1、tl は0であるが、tl については誤差を
考慮して小さな負の値(たとえば−0.04)とした方
が良い結果を得られる場合が多い。なお、並進速度と物
体までの距離の制限によっては、上記の不等式で示され
る領域でなく、さらに区分的な領域でもかまわない。ま
た、ここでは並進速度Tもオプティカルフローを解析し
て求めることを想定して説明したが、場合によっては速
度計などの出力により与えられることもある。この場合
にはTの大きさが与えられるので、しきい値tu は物体
までの距離のみを条件に決定する。
【0016】
【実施例】図1に本発明の実施例を示す。
【0017】図1に示す移動物体検出装置は、静止環境
に対して相対運動をするカメラによって撮影された動画
像上での各点でのオプティカルフローを検出するオプテ
ィカルフロー検出装置2と、検出されたオプティカルフ
ローに対し、カメラの運動パラメータ(T,R)と逆距
離(pi)を計算するオプティカルフロー解析装置3
と、計算された逆距離が式(9)で示される範囲にある
部分を検出し、移動物体領域として出力する距離情報選
別装置6とを備えている。
【0018】移動するカメラからとられた動画像1はオ
プティカルフロー検出装置2に入力され、画像上の移動
ベクトル(オプティカルフロー)が計算される。この装
置に使われるアルゴリズムの例は、太田直哉,「信頼性
指標を持つ移動ベクトルの検出」,コンピュータビジョ
ン’90,シンポジウム論文集,1990−8,pp.
21−30、に見ることができる。検出されたオプティ
カルフローはオプティカルフロー解析装置3に入力され
カメラの運動パラメータ4(T,R)と逆距離5(p
i)が計算される。ここで用いられる技術の例として、
「動画像解析方法」(特願平3−308623号明細
書)に示された技術を使用できる。逆距離5は距離情報
選別装置6に入力され、逆距離が式(9)で示される範
囲にある部分を検出し、移動物体領域7として出力す
る。
【0019】
【発明の効果】本発明により、カメラ自身が環境中を移
動する場合でも、他の移動物体の精度の良い検出が可能
となる。
【図面の簡単な説明】
【図1】本発明の実施例の構成を示す図である。
【図2】撮像系の投影関係を示す図である。
【符号の説明】
1 動画像 2 オプティカルフロー検出装置 3 オプティカルフロー解析装置 4 カメラの運動パラメータ 5 逆距離 6 距離情報選別装置 7 移動物体領域

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】静止環境に対して相対運動をするカメラに
    よって撮影された動画像上での各点での移動ベクトル
    (オプティカルフロー)に対し、前記動画像に撮影され
    ている物体は単一の剛体であるという仮定の基に理論的
    に計算される移動ベクトルを当てはめることにより得ら
    れる前記物体までの距離情報を使用し、前記距離の値が
    特定の範囲内にある部分を移動物体として検出する移動
    物体検出方法。
  2. 【請求項2】請求項1記載の移動物体検出方法におい
    て、移動物体として判断する距離の値の範囲を負の区間
    または所定の負の値以下の区間に設定する移動物体検出
    方法。
  3. 【請求項3】請求項1記載の移動物体検出方法におい
    て、移動物体として判断する距離の値の範囲を所定の正
    の値以上の区間に設定する移動物体検出方法。
  4. 【請求項4】静止環境に対して相対運動をするカメラに
    よって撮影された動画像上での各点での移動ベクトル
    (オプティカルフロー)を検出するオプティカルフロー
    検出装置と、 検出されたオプティカルフローに対し、カメラの運動パ
    ラメータと逆距離を計算するオプティカルフロー解析装
    置と、 計算された逆距離が特定の範囲にある部分を検出し、移
    動物体領域として出力する距離情報選別装置と、を備え
    る移動物体検出装置。
JP5000457A 1993-01-06 1993-01-06 移動物体検出方法および装置 Expired - Fee Related JPH07113974B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5000457A JPH07113974B2 (ja) 1993-01-06 1993-01-06 移動物体検出方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5000457A JPH07113974B2 (ja) 1993-01-06 1993-01-06 移動物体検出方法および装置

Publications (2)

Publication Number Publication Date
JPH06203163A true JPH06203163A (ja) 1994-07-22
JPH07113974B2 JPH07113974B2 (ja) 1995-12-06

Family

ID=11474332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5000457A Expired - Fee Related JPH07113974B2 (ja) 1993-01-06 1993-01-06 移動物体検出方法および装置

Country Status (1)

Country Link
JP (1) JPH07113974B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997004428A1 (de) * 1995-07-20 1997-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interaktives überwachungssystem
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JP2012074777A (ja) * 2010-09-27 2012-04-12 Kyocera Corp 運転支援装置及び運転支援表示の表示方法
JP2013149110A (ja) * 2012-01-20 2013-08-01 Renesas Electronics Corp 移動量検出装置、移動体検出装置及び移動量検出方法
JP5299513B2 (ja) * 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
WO1997004428A1 (de) * 1995-07-20 1997-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interaktives überwachungssystem
JP5299513B2 (ja) * 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
JP2012074777A (ja) * 2010-09-27 2012-04-12 Kyocera Corp 運転支援装置及び運転支援表示の表示方法
JP2013149110A (ja) * 2012-01-20 2013-08-01 Renesas Electronics Corp 移動量検出装置、移動体検出装置及び移動量検出方法

Also Published As

Publication number Publication date
JPH07113974B2 (ja) 1995-12-06

Similar Documents

Publication Publication Date Title
US5719954A (en) Stereo matching method and disparity measuring method
US8050459B2 (en) System and method for detecting pedestrians
US6810132B1 (en) Traffic monitoring apparatus
EP1391845B1 (en) Image based object detection apparatus and method
JPH0750769A (ja) 車両用後側方監視方法
Goodarzi et al. Optimization of a cnn-based object detector for fisheye cameras
US20100040290A1 (en) Motion estimation and scene change detection using two matching criteria
JPH06203163A (ja) 移動物体検出方法および装置
JP2003281700A (ja) 割り込み車両検出装置及びその方法
CN110728700A (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
JP2882136B2 (ja) 動画像解析方法
CN112115810A (zh) 基于信息融合的目标识别方法、系统、计算机设备和存储介质
WO2022179016A1 (zh) 车道检测方法、装置、设备及存储介质
Burlina et al. Time-to-x: Analysis of motion through temporal parameters
Riedl et al. Importance of Contextual Information for the Detection of Road Damages
JP2000331169A (ja) 画像の動きベクトル計測方法及び装置
JP7384158B2 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
Hu Robust seatbelt detection and usage recognition for driver monitoring systems
JP2007272461A (ja) 運動推定装置、方法及びプログラム
CN1922633A (zh) 使用鲁棒的信息融合从动态背景中检测正经过的车辆的系统和方法
JP2000011134A (ja) 移動量検出装置及びその方法
Mountelos et al. Vehicle windshield detection by fast and compact encoder-decoder fcn architecture
JPH0894320A (ja) 移動物体計測装置
Lamża et al. New efficient method of digital video stabilization for in-car camera
US20220406070A1 (en) Method and device for recognizing an object for a vehicle including a mono camera, and camera system

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071206

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081206

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees