JPH10320535A

JPH10320535A - 背景画像自動生成装置

Info

Publication number: JPH10320535A
Application number: JP9132278A
Authority: JP
Inventors: Shintaro Kumano; 信太郎熊野; Kazumasa Miyamoto; 一正宮本
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 1997-05-22
Filing date: 1997-05-22
Publication date: 1998-12-04

Abstract

(57)【要約】【課題】振動する場所で撮られた画像から、明確な輪郭
をもった背景画像を自動的に生成する。【解決手段】撮影された複数枚の画像を取り込む連続画
像入力部１１と、複数枚の画像から前記カメラの設置場
所の振動ぶれ情報を推定する振動ぶれ検出部１２と、前
記振動ぶれ情報から画像のぶれを補正する振動ぶれ補正
部１３と、補正された複数枚の画像から背景画像の生成
に用いる画像を選択する背景画像用連続画像選択部１４
と、選択された画像から背景画像を生成する背景画像生
成部１５とを具備してなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、振動の可能性のあ
る場所に設置されたカメラによって撮影された連続画像
を用いて、背景画像を生成する背景画像自動生成装置に
関する。

【０００２】

【従来の技術】カメラで撮影された画像から車両や人物
の進入検知や車両の認識を行う技術が開発されている。
画像から進入検知や認識を行う場合、前処理として車両
や人物等の移動体のない正確な背景画像を用意する必要
がある。

【０００３】従来、背景画像の生成には、カメラの振動
ぶれがないものとして撮影された連続画像を平均して作
成する方法が用いられていた。また、人間が画像の一つ
を選んで背景画像として登録するという方法が用いられ
ていた。

【０００４】

【発明が解決しようとする課題】しかし、上述した背景
画像生成方法には、以下のような問題を有する。すなわ
ち、カメラの振動ぶれがないと仮定して背景画像を生成
しているので、実際に振動する場所に設置されたカメラ
で得られた連続画像を平均して作成された背景画像は、
背景の各物体の輪郭がぼけるという問題点がある。ま
た、連続画像中の各画像に差が多少あっても平均処理を
行うため、突発的なノイズや予期せぬ移動体を含む画像
を用いて不適当な背景画像を生成するという問題点があ
る。

【０００５】また、人間が背景画像を登録する方法にお
いては、朝の景色を背景画像として登録した後、夕方や
雨天等によって背景の状態が登録された背景画像から変
化する場合、その時々の入力画像に対して適切な背景画
像でなくなるという問題点がある。

【０００６】この問題点を回避するために頻繁に人間が
背景画像を更新することも考えられるが、自動化効率が
低下するという問題が生じる。また、可能性のある背景
画像の状態をいくつか事前に登録すると、時々刻々最適
な背景を自動選択しなければならないという新たな問題
が生じる。

【０００７】本発明の目的は、振動する位置に設置され
たカメラによって得られた連続画像からも明確な輪郭を
持ち，突発的なノイズや予期せぬ移動体が含まれず，且
つ背景の経時変化があっても最適な背景画像を自動的に
生成する背景画像自動生成装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明は、カメラによって撮影された連続画像から移
動体を削除した背景画像を生成する背景画像自動生成装
置であって、撮影された連続画像を取り込む連続画像入
力部と、複数枚の画像から前記カメラの設置場所の振動
ぶれ情報を計算する振動ぶれ検出部と、前記振動ぶれ情
報から画像のぶれを補正する振動ぶれ補正部と、補正さ
れた連続画像から背景画像の生成に用いる画像を選択す
る背景画像用連続画像選択部と、選択された画像から背
景画像を生成する背景画像生成部とを具備してなること
を特徴とする。

【０００９】

【発明の実施の形態】以下、図面を参照しながら本発明
の一実施形態を説明する。図１は、本発明の一実施形態
に係る背景画像自動生成装置の構成を示す図である。

【００１０】カメラにより撮像された連続画像Ｉ（ｘ，
ｙ，ｔ₀ ），Ｉ（ｘ，ｙ，ｔ₁ ），．．．を背景画像自
動生成装置１０内に取り込むための連続画像入力部１１
が、連続画像から振幅，周期及び初期位相等の振動ぶれ
情報を計算する振動ぶれ検出部１２に接続されている。
振動ぶれ検出部１２は、連続画像と振動ぶれ情報とから
振動ぶれを補正した画像を生成する振動ぶれ補正部１３
に接続されている。振動ぶれ補正部１３は、補正された
連続画像から背景用の画像として好ましい画像を選択す
る背景画像用連続画像選択部１４に接続されている。背
景画像用連続画像選択部１４は、選択された画像から背
景画像を生成する背景画像生成部１５に接続されてい
る。

【００１１】動作を説明する。先ず、カメラによって撮
影がなされる。この時、撮影された時間ｔが同時に記録
される。そして、時間ｔ＝ｔ₀ ，ｔ₁ ，．ｔ_i ．．に撮
影された画像（Ｉ（ｘ，ｙ，ｔ₀ ），Ｉ（ｘ，ｙ，ｔ
₁ ），．．．）は、撮影時間情報と一緒に、連続画像入
力部１１によって、背景画像自動生成装置１０内に取り
込まれる。

【００１２】そして、連続画像入力部１１によって取り
込まれた連続画像は、振動ぶれ検出部１２に出力され
る。振動ぶれ検出部は、連続画像振動から振動ぶれ情報
を計算する。

【００１３】先ず、ぶれ検出部１２は、連続画像の一定
期間（ｔ₀ ，ｔ₁ ，．．．，ｔ_N ）の各画像に対して、
連続して撮られた２枚の画像に対する最適重ね合わせ状
態からのズレ量Δｘ（ｔ_i ），Δｙ（ｔ_i ）を公知の手
法である正規化相互相関を用いて求める。

【００１４】図２（ａ）に示すように、画像内に移動体
が無ければ、画像Ｉ（ｘ，ｙ，ｔ_i）とＩ（ｘ，ｙ，ｔ
_i-1 ）をずらしながら画像がぴったり重なる位置を探
す。そして、図２（ｂ）に示すように、２枚の画像が重
なり合う位置でのＩ（ｘ，ｙ，ｔ_i-1 ）からのズレ量Δ
ｘ，Δｙが、画像Ｉ（ｘ，ｙ，ｔ_i ）のズレ量Δｘ（ｔ
_i ），Δｙ（ｔ_i ）として求められる。

【００１５】また、図３（ａ）に示すように、画像内に
移動体が存在する場合、移動体が存在する画像領域が既
知であれば、移動体が存在する画像領域を除いた静止領
域だけで相関ｓを取ることによって、時間ｔ_i に撮られ
た画像Ｉ（ｘ，ｙ，ｔ_i ）のズレ量Δｘ（ｔ_i ），Δｙ
（ｔ_i ）が求められる。具体的には、各画像に対して静
止領域を定義し（図３（ｂ））、静止領域において次式
の正規相互相関相関ｓを計算する。

【００１６】

【数１】そして、求められた正規相互相関相関ｓから、次式を用
いてズレ量Δｘ（ｔ_i），Δｙ（ｔ_i ）を求める（図３
（ｃ））。

【００１７】

【数２】

【００１８】そして、求められたズレ量Δｘ（ｔ），Δ
ｙ（ｔ）から、縦（ｙ）方向及び横（ｘ）方向の振動振
幅（Ａ_x ，Ａ_y ），周期Ｔ及び初期位相ａの振動ぶれ情
報を推定する。例えば、縦方向（ｙ方向）、横方向（ｘ
方向）の振動をｘ（ｔ）＝Ａ_x sin （ωｔ＋ａ） … （１），ｙ（ｔ）＝Ａ_y sin （ωｔ＋ａ） … （２）， ω＝２π／Ｔ，と表すと、ズレ量Δｘ（ｔ），Δｙ（ｔ）はそれぞれ

【００１９】

【数３】となる。上式より、振動ぶれ情報Ａ_x ，Ａ_y ，Ｔ，ａが
公知の手法である逐次２次計画法や、フーリエ変換等の
公知手法の段階的組み合わせ法で求めることができる。

【００２０】逐次２次計画法は、ズレ量Δｘ（ｔ），Δ
ｙ（ｔ）をそれぞれ上式にあてはめた時、誤差が最小と
なる振動ぶれ情報Ａ_x ，Ａ_y ，Ｔ，ａを繰り返し計算で
求める方法である。

【００２１】一方、フーリエ変換等の公知手法の段階的
組み合わせ法では、先ず、Δｘ（ｔ），Δｙ（ｔ）をそ
れぞれフーリエ変換し、パワースペクトルが最大である
周期Ｔ_x ，Ｔ_y を求める。本来ならＴ_x ＝Ｔ_y であるの
で、Ｔ_x とＴ_y が近い場合には両者の平均をとり周期Ｔ
＝（Ｔ_x ＋Ｔ_y ）／２とすればよい。しかし、Ｔ_x とＴ
_y との値が近くない場合には、パワースペクトルの大き
い方を周期Ｔとする。次いで、Δｘ（ｔ），Δｙ（ｔ）
のｔ₀ になるべく近い最大点の時刻ｔp をcos関数の始
まりと判断し、この時刻において、２π×ｔ_p ／Ｔ＋ａ
がゼロになるように初期位相ａを設定する。つまり、ａ
＝−２π×ｔ_p ／Ｔとする。さらに、最大点と最小点の
差をＡ_x ，Ａ_y とする事によって、全ての振動ぶれ情報
Ａ_x ，Ａ_y ，Ｔ，ａが求められる。

【００２２】そして、固有振動ぶれ補正部１３は、振動
ぶれ検出部１２によって求められた振動ぶれ情報Ａ_x ，
Ａ_y ，Ｔ，ａと（３），（４）式から、任意の時間ｔ_i
に撮影された画像Ｉ（ｘ，ｙ，ｔ_i ）のずれ量Δｘ（ｔ
_i ），Δｙ（ｔ_i ）を求める。ここでは、正規相互相関
計算に用いた時刻以外の画像についてもズレ量を求める
ことができる。

【００２３】振動ぶれ補正部１３は、図４に示すよう
に、求められたΔｘ（ｔ_i ），Δｙ（ｔ_i ）を用いて、
画像Ｉ（ｘ，ｙ，ｔ_i ）からぶれのない画像Ｊ（ｘ，
ｙ，ｔ_i）を生成する。振動ぶれ補正済みの画像Ｊ
（ｘ，ｙ，ｔ_i ）は、時刻ｔ_i における現画像をＩ
（ｘ，ｙ，ｔ_i ）とすると、

【００２４】

【数４】となる。

【００２５】次いで、背景画像用連続画像選択部１４
は、図５に示すように、補正済みの画像Ｊ（ｘ，ｙ，ｔ
_i ）に対して、連続して撮られた２枚の画像の差ΔＪ
（ｘ，ｙ，ｔ_i ）をとり、変化が小さい場合に背景画像
用連続画像として選択する。変化が大きい場合には、ノ
イズや予期せぬ変動等が撮像されていると考えられるの
で、これを用いると背景画像の精度が落ちるため、画像
を選択しない。

【００２６】「変化が小さい」ことを評価する方法は色
々あるが、一般的には、差画像ΔＪ（ｘ，ｙ，ｔ_i ）
（＝Ｊ（ｘ，ｙ，ｔ_i ）−Ｊ（ｘ，ｙ，ｔ_i+1 ））の輝
度の全場所での総和（Σ_x,y ΔＪ（ｘ，ｙ，ｔ））が基
準値以下であった場合に「変化が小さい」と判断する。

【００２７】背景画像生成部１５は、背景画像用連続画
像選択部１４で選択された連続画像Ｊ（ｘ，ｙ，ｔ
_start ），．．，Ｊ（ｘ，ｙ，ｔ_end ）から、ノイズや
変動のない平均画像を計算する。なお、平均画像ＭＪ
（ｘ，ｙ）は、

【００２８】

【数５】によって求められる。そして、求められたへ基板画像を
背景画像として出力する。

【００２９】そして、適当なタイミング（例えば１時間
毎）で本装置を起動することによって、天候や朝夕の景
色の変化等の緩やかな経時変化にも対応した背景画像を
生成する。

【００３０】以上説明したように、位置ずれがなく、ノ
イズや予期せぬ変動が取り除かれ、明確な輪郭をもった
背景画像を自動的に生成することができる。また、選択
された連続画像に対して平均画像ＭＪ（ｘ，ｙ）を計算
することにより、位置ずれがなく明確な輪郭をもった背
景画像を自動的に生成することができる。また、平均画
像を背景画像として出力するため、微小なホワイトノイ
ズは平均化されてキャンセルされる。なお、本発明は、
上記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲で、種々変形して実施することが可能であ
る。

【００３１】

【発明の効果】複数枚の画像から、入力された各画像に
対してズレ量を求め、求められたズレ量から振動ぶれ情
報を推定することによって、任意の時間における画像に
対してズレ量が求められるようになる。そして、ズレが
補正された画像に対して時間毎に差を取り、変化が小さ
い画像を背景画像生成用の画像として選択することによ
って、精度の高い背景画像を生成することができる。

【００３２】また、適当なタイミングで本装置を起動す
ることによって、天候や朝夕の景色の変化等の緩やかな
経時変化にも対応した背景画像を生成することができ
る。以上説明したように本発明によれば、振動する位置
に設置されたカメラによって得られた連続画像からも明
確な輪郭を持ち，平均処理を行っても突発的なノイズや
予期せぬ移動体が含まれず、且つ背景の経時変化があっ
ても最適な背景画像を自動的に生成することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る背景画像自動生成装
置の構成を示すブロック図。

【図２】正規化相互相関によるずれ量検出を説明する
図。

【図３】画像内に移動体が存在する場合の正規化相互相
関によるずれ量検出を説明する図。

【図４】本発明の一実施形態に係わる振動ぶれ補正部の
動作を説明する図。

【図５】本発明の一実施形態に係わる背景画像用連続画
像選択部の動作を説明する図。

【符号の説明】

１０背景画像自動生成装置１１連続画像入力部１２振動ぶれ検出部１３振動ぶれ補正部１４背景画像用連続画像選択部１５背景画像生成部

Claims

【特許請求の範囲】

【請求項１】カメラによって撮影された連続画像から移
動体を削除した背景画像を生成する背景画像自動生成装
置であって、撮影された連続画像を取り込む連続画像入力部と、複数枚の画像から前記カメラの設置場所の振動ぶれ情報
を推定する振動ぶれ検出部と、前記振動ぶれ情報から画像のぶれを補正する振動ぶれ補
正部と、補正された複数枚の画像から背景画像の生成に用いる連
続画像を選択する背景画像用連続画像選択部と、選択された画像から背景画像を生成する背景画像生成部
とを具備してなることを特徴とする背景画像自動生成装
置。