JPH07113974B2 - 移動物体検出方法および装置 - Google Patents

移動物体検出方法および装置

Info

Publication number
JPH07113974B2
JPH07113974B2 JP5000457A JP45793A JPH07113974B2 JP H07113974 B2 JPH07113974 B2 JP H07113974B2 JP 5000457 A JP5000457 A JP 5000457A JP 45793 A JP45793 A JP 45793A JP H07113974 B2 JPH07113974 B2 JP H07113974B2
Authority
JP
Japan
Prior art keywords
moving object
optical flow
distance
moving
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5000457A
Other languages
English (en)
Other versions
JPH06203163A (ja
Inventor
直哉 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP5000457A priority Critical patent/JPH07113974B2/ja
Publication of JPH06203163A publication Critical patent/JPH06203163A/ja
Publication of JPH07113974B2 publication Critical patent/JPH07113974B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、たとえば自動車のよう
な移動する物体上に設置されたカメラによって得られる
動画像から検出される画像上の移動ベクトル(オプティ
カルフロー)を解析することにより、先行車や対向車の
ように、環境に対して移動している物体を検出する技術
に関するものである。
【0002】
【従来の技術】環境に関して静止して設置されたカメラ
からの画像を使用して移動物体を検出する技術に関する
報告は多く、たとえば、谷口博康,古澤春樹,関明伸,
池端重樹,「DTT法を用いた車両監視」,情報処理学
会,コンピュータビジョン研究会技術報告CV72−
5、あるいは、長谷川為春,大野寛之,小沢真治,「屋
外駐車場における車両計数」,電気学会,道路交通研究
会技術報告RTA91−21、などがある。また、カメ
ラが移動する場合の移動物体検出技術としては、「動画
像解析方法」(特願平3−308623号明細書)があ
る。この概要を次に述べる。 まず、カメラが静止環境
中を運動したときにカメラの撮像面上に生じる移動ベク
トル(オプティカルフロー)について説明する。撮像系
のモデルとして、図2に示す中心投影系を採用する。こ
の撮像系の焦点距離は簡単のため1とするが、これは距
離の単位を焦点距離に採ったことを意味し、このことに
より一般性は失われない。この撮像系を持つカメラが静
止環境中を並進速度T、回転速度Rで運動したときに生
じるオプティカルフローの、画像上の点(xi,yi)
での移動ベクトルuiは次式で表される。
【0003】
【数1】
【0004】上式において、添え字i(i=1・・・
N)は画像上の各々の点に対応する番号である。また、
piは画像上の点(xi,yi)に写っている物体の3
次元空間内でのZ座標値の逆数(inverse depth)であ
る。ここではpiを逆距離と呼ぶ。
【0005】次に、動画像から検出されたオプティカル
フローからカメラの移動パラメータT,Rおよび逆距離
piを求めるために、最小自乗法による当てはめを行
う。動画像から検出されたオプティカルフローの画像上
の点(xi,yi)での移動ベクトルをui* =(vx
i* ,vyi* T とすると、次式で示すJを最小にす
るようなT,Rおよびpiを検出結果とする。
【0006】
【数2】
【0007】ここで、Vi-1は検出結果ui* に対する
信頼性を表す2×2の行列で、ui*に含まれる雑音の
共分散行列の逆行列と考えて差し支えない。また、行列
の肩のTは転置を表す。ui* およびVi-1を動画像か
ら計算する方法については、太田直哉,「信頼性指標を
持つ移動ベクトルの検出」,コンピュータビジョン’9
0,シンポジウム論文集,1990−8,pp.21−
30、に記載されている技術を用いることができる。
【0008】ここで、式(3)を最小にするTおよびp
iには、スケールファクタkと呼ばれる定数に関する自
由度が存在することに注意する必要がある。T0 ,p0
iを一つの解とすれば、kT0 ,p0 i/kも解とな
る。これは、オプティカルフローの解析のみではカメラ
の並進速度Tおよび物体までの逆距離piの絶対値は決
定できないという事実に立脚している。この自由度をな
くすため、一般には並進速度Tの大きさによって正規化
し、Tの大きさが1であるという拘束条件を付けて解か
れる。
【0009】 |T|=1 (4) さて、式(1)で表されるオプティカルフローは静止環
境を前提に導かれた結果なので、これを検出されたオプ
ティカルフローに当てはめたときに、もし画像上に移動
物体が存在したならば、その部分ではうまく当てはまら
ず、その部分での自乗誤差は大きくなる。注目している
点での自乗誤差Jiは式(3)の総和の内部の式で与え
られる。 Ji=(ui* −ui)T Vi-1(ui* −ui) (5) この値が大きな部分を検出することで、移動物体を検出
することができる。
【0010】
【発明が解決しようとする課題】従来の移動物体検出方
法で、環境に固定されたカメラを想定している方法で
は、前述の自動車の例のように、カメラが移動する場合
には使用することができない。また、移動するカメラを
前提にして移動物体を検出する方法を示した従来技術、
「動画像解析方法」(特願平3−308623号明細
書)には次のような欠点がある。すなわち、移動物体に
より生じるオプティカルフローが式(1)で表される静
止環境によるオプティカルフローと矛盾しない場合があ
り、この場合には前述の自乗誤差Jiが生じないので、
移動物体が検出できないことである。静止環境のみの場
合に生じるオプティカルフローは、カメラの運動の回転
成分Rにより生じる成分を除いた後、画像上の一点FO
E(focus of expansion)から放射状に広がる移動ベクト
ルとなる。この移動ベクトルがカメラの運動の並進成分
Tによって生じるオプティカルフローであり、このオプ
ティカルフローのベクトルの大きさが逆距離piに関係
しているが、移動物体により生じるオプティカルフロー
がこの方向を向いている場合、逆距離piが実際の距離
を表さないのみで、上述の自乗誤差は生じない。他の言
葉で言えば、移動物体によって生じる移動ベクトルの成
分を逆距離piが持つ自由度が吸収してしまい、自乗誤
差に現れてこないということである。
【0011】本発明の目的は、このような場合において
も移動物体を検出することができる移動物体検出方法お
よび装置を提供することにある。
【0012】本発明の移動物体検出方法は、静止環境に
対して並進運動と回転運動からなる相対運動をするカメ
ラによって撮影された動画像上の各点での移動ベクトル
から移動物体を検出する移動物体検出方法において、前
記動画像に撮影されている物体が単一の剛体であるとい
う仮定のもとに、前記動画像上の各点の移動ベクトルを
前記並進速度と前記回転速及び各点とカメラのレンズ中
心からの距離で表現し、該移動ベクトルの表現と前記動
画像上の各点で検出された移動ベクトルとから、前記距
離を前記並進速度で割り算した量を推定し、該量が特定
の範囲内にある画像上の部分を移動物体として検出する
ことを特徴とする。
【0013】本発明の移動物体検出装置は、静止環境に
対して並進運動と回転運動からなる相対運動をするカメ
ラによって撮影された動画像上の各点での移動ベクトル
(オプティカルフロー)を検出するオプティカルフロー
検出装置と、前記オプティカルフロー検出装置において
検出されたオプティカルフローから、距離の逆数に前記
並進運動の速度を乗じた量を算出するオプティカルフロ
ー解析装置と、前記オプティカルフロー解析装置によっ
て算出されるところの前記距離の逆数に前記並進運動の
速度を乗じた量が特定の範囲にある画素上の部分を検出
し、移動物体領域として出力する距離情報選別装置とを
備えることを特徴とする。
【0014】
【作用】移動物体によるオプティカルフローがカメラの
並進運動Tによるオプティカルフローと同じ方向を向く
場合、その部分で自乗誤差Jiは生じず、逆距離piの
持つ自由度に吸収されることを説明した。したがって、
自乗誤差Jiで移動物体を検出することはできないが、
逆距離piが静止環境では生じ得ない値を示した場合に
は、移動物体が原因であると考えることができる。ま
ず、式(2)で示したように、逆距離piは画像上の物
体のZ座標値の逆数であるので負の値になることはな
い。したがって、piが負の値を示している領域は移動
物体によるものと判断できる。それ以外の値に対して
は、逆距離piは0または正のいかなる値をも取る可能
性があるので、一般には計算されたpiが正しく物体ま
での逆距離を示しているのか、あるいは移動物体の影響
を受けているのか判断することができない。しかしこの
場合でも、カメラの移動速度が制限されており、さらに
ある距離以上カメラに近い物体は存在しないと仮定でき
る場合、逆距離piはある程度以上大きな値を取り得な
い。これを次に説明する。まず、式(1)を変形して次
式を得る。 ui−BiR=piAiT (6) 両辺のベクトルの絶対値をとり、piについて解けば次
式になる。 pi=|ui−BiR|/|AiT| (7) 運動パラメータと逆距離を求める場合には、式(4)で
示したようにTの大きさを1と仮定して解かれる。しか
し、実際の並進速度の大きさがkであったときに、実際
の逆距離p0 iはpi/kになることが式(7)より分
かる。 k p 0 i=pi (8) これより、kとp0 iのとり得る範囲が限定されていれ
ば、式(8)によりpiのとり得る値も限定される。た
とえば、並進速度が0〜1(m/フレーム)、物体まで
の距離が10〜∞(m)とするとpiは0.1以上の値
はとり得ない。したがって、piが0.1以上を示して
いる領域を移動物体領域と判断することができる。
【0015】以上、移動物体検出のための条件をまとめ
ると次のようになる。 {pi <tl } OR {pi >tu } (9) ここで、tl ,tu はしきい値である。上述の例ではt
u は0.1、tl は0であるが、tl については誤差を
考慮して小さな負の値(たとえば−0.04)とした方
が良い結果を得られる場合が多い。なお、並進速度と物
体までの距離の制限によっては、上記の不等式で示され
る領域でなく、さらに区分的な領域でもかまわない。ま
た、ここでは並進速度Tもオプティカルフローを解析し
て求めることを想定して説明したが、場合によっては速
度計などの出力により与えられることもある。この場合
にはTの大きさが与えられるので、しきい値tu は物体
までの距離のみを条件に決定する。
【0016】
【実施例】図1に本発明の実施例を示す。
【0017】図1に示す移動物体検出装置は、静止環境
に対して相対運動をするカメラによって撮影された動画
像上での各点でのオプティカルフローを検出するオプテ
ィカルフロー検出装置2と、検出されたオプティカルフ
ローに対し、カメラの運動パラメータ(T,R)と逆距
離(pi)を計算するオプティカルフロー解析装置3
と、計算された逆距離が式(9)で示される範囲にある
部分を検出し、移動物体領域として出力する距離情報選
別装置6とを備えている。
【0018】移動するカメラからとられた動画像1はオ
プティカルフロー検出装置2に入力され、画像上の移動
ベクトル(オプティカルフロー)が計算される。この装
置に使われるアルゴリズムの例は、太田直哉,「信頼性
指標を持つ移動ベクトルの検出」,コンピュータビジョ
ン’90,シンポジウム論文集,1990−8,pp.
21−30、に見ることができる。検出されたオプティ
カルフローはオプティカルフロー解析装置3に入力され
カメラの運動パラメータ4(T,R)と逆距離5(p
i)が計算される。ここで用いられる技術の例として、
「動画像解析方法」(特願平3−308623号明細
書)に示された技術を使用できる。逆距離5は距離情報
選別装置6に入力され、逆距離が式(9)で示される範
囲にある部分を検出し、移動物体領域7として出力す
る。
【0019】
【発明の効果】本発明により、カメラ自身が環境中を移
動する場合でも、他の移動物体の精度の良い検出が可能
となる。
【図面の簡単な説明】
【図1】本発明の実施例の構成を示す図である。
【図2】撮像系の投影関係を示す図である。
【符号の説明】
1 動画像 2 オプティカルフロー検出装置 3 オプティカルフロー解析装置 4 カメラの運動パラメータ 5 逆距離 6 距離情報選別装置 7 移動物体領域
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 7/00 H04N 7/18 G

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】静止環境に対して並進運動と回転運動から
    なる相対運動をするカメラによって撮影された動画像上
    の各点での移動ベクトルから移動物体を検出する移動物
    体検出方法において、 前記動画像に撮影されている物体が単一の剛体であると
    いう仮定のもとに、前記動画像上の各点の移動ベクトル
    を前記並進速度と前記回転速度および各点とカメラのレ
    ンズ中心からの距離で表現し、 該移動ベクトルの表現と前記動画像上の各点で検出され
    た移動ベクトルとから、前記距離を前記並進速度で割り
    算した量を推定し、 該量が特定の範囲内にある画像上の部分を 移動物体とし
    て検出する移動物体検出方法。
  2. 【請求項2】請求項1記載の移動物体検出方法におい
    て、前記距離を前記並進速度で割り算した量が負または
    所定の負の値以下である画像上の部分を移動物体として
    判断する移動物体検出方法。
  3. 【請求項3】請求項1記載の移動物体検出方法におい
    て、前記距離を前記並進速度で割り算した量が所定の正
    の値以上である画像上の部分を移動物体として判断する
    移動物体検出方法。
  4. 【請求項4】静止環境に対して並進運動と回転運動から
    なる相対運動をするカメラによって撮影された動画像上
    の各点での移動ベクトル(オプティカルフロー)を検出
    するオプティカルフロー検出装置と、 前記オプティカルフロー検出装置において検出されたオ
    プティカルフローから、距離の逆数に前記並進運動の速
    度を乗じた量を算出するオプティカルフロー解析装置
    と、 前記オプティカルフロー解析装置によって算出されると
    ころの前記距離の逆数に前記並進運動の速度を乗じた量
    が特定の範囲にある画素上の部分を 検出し、移動物体領
    域として出力する距離情報選別装置と、 を備える移動物体検出装置。
JP5000457A 1993-01-06 1993-01-06 移動物体検出方法および装置 Expired - Fee Related JPH07113974B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5000457A JPH07113974B2 (ja) 1993-01-06 1993-01-06 移動物体検出方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5000457A JPH07113974B2 (ja) 1993-01-06 1993-01-06 移動物体検出方法および装置

Publications (2)

Publication Number Publication Date
JPH06203163A JPH06203163A (ja) 1994-07-22
JPH07113974B2 true JPH07113974B2 (ja) 1995-12-06

Family

ID=11474332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5000457A Expired - Fee Related JPH07113974B2 (ja) 1993-01-06 1993-01-06 移動物体検出方法および装置

Country Status (1)

Country Link
JP (1) JPH07113974B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
WO1997004428A1 (de) * 1995-07-20 1997-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interaktives überwachungssystem
JP5299513B2 (ja) * 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
JP5665458B2 (ja) * 2010-09-27 2015-02-04 京セラ株式会社 運転支援装置及び運転支援表示の表示方法
JP5798497B2 (ja) * 2012-01-20 2015-10-21 ルネサスエレクトロニクス株式会社 移動量検出装置、移動体検出装置及び移動量検出方法

Also Published As

Publication number Publication date
JPH06203163A (ja) 1994-07-22

Similar Documents

Publication Publication Date Title
US7295684B2 (en) Image-based object detection apparatus and method
US5719954A (en) Stereo matching method and disparity measuring method
US8050459B2 (en) System and method for detecting pedestrians
US20050008194A1 (en) Apparatus and method for image processing
JP2005128619A (ja) 物体計測装置、物体計測方法、およびプログラム
JPH0750769A (ja) 車両用後側方監視方法
Hinz Detection and counting of cars in aerial images
US20130182896A1 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
JP2994170B2 (ja) 車両周辺監視装置
JP2003281700A (ja) 割り込み車両検出装置及びその方法
JPH07113974B2 (ja) 移動物体検出方法および装置
CN112949401B (zh) 图像分析方法、装置、设备及计算机存储介质
CA2392578A1 (en) System and method for detecting obstacles to vehicle motion
CN113689493A (zh) 镜头附着物检测方法、装置、电子设备和存储介质
WO2022179016A1 (zh) 车道检测方法、装置、设备及存储介质
Hu Robust seatbelt detection and usage recognition for driver monitoring systems
JP2007272461A (ja) 運動推定装置、方法及びプログラム
JP2000011134A (ja) 移動量検出装置及びその方法
CN1922633A (zh) 使用鲁棒的信息融合从动态背景中检测正经过的车辆的系统和方法
JP3543912B2 (ja) オプティカルフロー検出方法
JPH1091793A (ja) オプティカルフロー算出方法及び装置
US20220406070A1 (en) Method and device for recognizing an object for a vehicle including a mono camera, and camera system
JPH09190533A (ja) 車両検知装置
JP2018151940A (ja) 障害物検出装置および障害物検出方法
JPH08249472A (ja) 移動物体検知装置及び移動物体検知方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071206

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081206

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees