JPH0373075A - 移動物体検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、通常環境下で撮影した動画、特に、低画質な
動画に好適な移動物体検出装置に関するものである。

〔従来技術〕

連続した画像フレーム間で対応する同一の物体点を工枚
の画像上に表示すると、画像上に流れの軌跡が得られる
。これは「オプティカル・フロー」と呼ばれている。

動画フレームからオプティカル・フローの抽出を経て、
オプティカル・フローが作るベクトル場の違いから、移
動物体の領域を抽出する方法が知られている。

よく知られたオプティカル・フロー検出の手法は、以下
の２つの手順から成り立つ、まず、各動画フレームごと
に物体上の点を検出し、次にフレームごとに抽出した物
体上の点同士を対応付ける。

合成画像のように、物体と背景との差が鮮明で。

背景が単純な動画フレームからは、物体の点は比較的容
易に検出できるが、日常的な風景のように。

種々の物体が移るような複雑な背景の動画では、該当す
る物体の点のみを鮮明に検出できるとは限らない。

さらに、物体が奥行きのある空間を運動する場合、物体
の見え隠れが画面上に発生し、点の抽出数が動画フレー
ムごとに増減する。また１点の増減は動画フレームごと
の画質の違いからも発生する。

動画フレームごとに点の抽出数が増減する場合、動画フ
レーム間で物体上の点を正しく対応付けるためには、未
対応をも考慮した対応付は処理が必要となるが、未対応
を考慮した柔軟な対応付は手法の実現は一般に難しい。

画像の画素数を増加し解像度を上げると、動画フレーム
ごとの物体上の点は増加するが、画像の細部の情報を利
用した対応付けが可能になる。ところが、物体上の点が
増加すると、対応付けが可能な組合せ数が急増し、膨大
な処理時間や処理量が必要になる。特に、日常的な風景
の動画では、物体上の点の数が多く、組合せ数が急激に
増加することが多いから、処理時間や処理量を効率的に
軽減しない限り、日常的な風景の動画像からのオプティ
カル・フローの抽出は現実的ではない。

〔発明が解決しようとする課題〕 前記した従来の方法では、動画からのオプティカル・フ
ローの抽出能力が、移動物体の領域の抽出能力を左右す
る。そして、不均一な照明条件下で日常的な風景を撮影
した低画質の実画像から、オプティカル・フローを正確
に抽出することは、一般に困難とされている。

動画フレーム間での対応点検出を容易にするために、運
動を制限し、時空間的に滑らかで連続的にかつ小さい変
位で運動する物体を対象にした方法が知られているが、
微小変動の運動が作るオプティカル・フローは高精度に
抽出できても、それらが作るベクトル場の違いが目立た
なくなるため、結果的に移動物体の検出能力が低下して
しまうという問題があった。

即ち、オプティカル・フローの抽出性能の向上と移動物
体の検出能力の向上とは、トレードオフの関係にあった
。

さらに、移動物体の対応点の検出が容易な動画フレーム
を得るためには、個々の動画フレームで画質のばらつき
が少なく鮮明に撮影された、動画フレームを使用するこ
とが望ましいが、そのような動画撮影の環境は理想的で
あるが現実的でないという問題があった。

本発明は、前記問題点を解決するためになされたもので
ある。

本発明の目的は、オプティカル・フローの検出処理が省
酩可能で、多少低画質な動画にも適用できる、移動物体
検出装置を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本
明細書の記述及び添付図面によって明らかになるであろ
う。

〔課題を解決するための手段〕

前記目的を達成するために、指定した濃淡画像（動画フ
レーム）を外部から入力し、動画フレームごとの濃度の
ばらつきを均一化する画素値正規化手段と、動画フレー
ムを組み合せ、動画フレーム間に見られる変位情報を強
調した画像を作成する動画フレーム間変位像生成手段と
動画フレーム間変位像生成手段で使用する動画フレーム
の組み合せを指定する動画フレーム設定手段とを備えて
いる。

少数枚の動画フレーム間で見られる移動物体像の瞬間的
なかすれ・途切れを他の動画フレームの情報から補い、
移動物体検出に有効な大きな運動軌跡像を作成するため
に、動画フレームの様々な組み合せにより動画フレーム
間変位像生成手段で作成した、複数の変位像を重みづけ
しながら時間順に累積する変位像累積手段と、さらに、
変位像累積手段で使用するパラメータを設定するために
累積のための重みを調整する手段と、累積範囲を指定す
る手段とを備えている。

移動物体の候補領域を確定するために、変位像累積手段
で作成した画像内に見られる運動領域像の領域を確定す
る移動物体候補領域確定手段と、移動物体の候補領域か
ら移動物体の領域を選択する手段とを備えている。

移動物体の位置・形状・運動に関する情報が刻々と変化
し、その変化が新規に動画に撮影されることを想定し、
この変化を常に検出し続けるために、新規の動画フレー
ムを常時入力し、それまでに入力済みの動画フレームと
併せて、前記の各処理を繰り返し実行する手段と、移動
物体の新しい変化を時間的に追従しながら移動物体領域
の検出結果を統合し、検出結果を作成する手段とを備え
ている。

〔作　用〕

前述した手段によれば、 画素値正規化手段では、入力対象とした多数枚の動画フ
レームにわたる動画フレームごとの濃淡のばらつきをそ
ろえるために、外部から入力した動画フレームの個々の
画素値を、あらかじめ設定した画素値範囲内に正規化し
た濃淡画像を作成する。

動画フレーム設定手段、フレーム間変位像生成手段、累
積範囲指定手段、累積重み調整手段、変位像累積手段と
を併用することにより、該当した動画内の移動物体の情
報を運動軌跡に沿った筋状の濃淡像に画像化する。

移動物体の候補領域を確定する手段では、移動物体の個
々の運動軌跡像がうつる濃淡画像で個々の軌跡像の領域
を確定し、移動物体領域の候補領域を決定する。

移動物体の領域を選択する手段では、移動物体領域の候
補領域の中から移動物体領域を選択することにより、画
面内を移動物体が占める位置、形状等を特定し、これが
最終的な処理結果となる。

新しい動画フレームを常に追加入力し、新規に入力した
動画フレームとそれまでに入力した動画フレームとを使
用し、最新の動画フレームにもとづく移動物体領域の検
出結果を作威し、それまでの検出結果とこの結果とを統
合することにより、時間経過にともなう変動に追従しな
がら、移動物体の確定領域を検出する。

〔発明の実施例〕

以下、本発明の一実施例を図面を用いて具体的に説明す
る。

第１図は本発明による移動物体検出装置のブロック図で
ある。

図中、１は動画フレーム間変位検出回路、２は運動領域
像生成回路、３は運動領域確定回路、４は移動物体領域
切り出し回路である。動画フレーム間変位検出回路１へ
の動画フレームが本発明の装置への入力データとなり、
移動物体領域切り出し回路４の処理結果が、本発明の装
置の最終的な出力となる。

動画フレーム間変位検出回路工では、動画にうつる移動
物体の変位情報を画像化するために、時間順に並んだ２
枚の動画フレームを入力し、１枚の処理画像を出力する
。動画フレームの新たな組を動画フレーム間変位検出回
路１に入力するたびに、動画フレーム間変位検出回路１
は新たな処理画像を１枚出力する。

運動領域像生成回路２では、動画フレーム間変位検出回
路１の処理画像を入力順に逐次累積し。

移動物体の変位情報を強調した画像を作威し、それを運
動領域確定回路３へ出力する。運動領域像生成回路２は
、動画フレーム間変位検出回路１からの画像を一枚入力
するたびに、新たな処理画像を１枚出力する。

運動領域確定回路３では、運動領域像生成回路２の出力
画像を処理し、移動物体領域の候補領域を画像化する。

運動領域像生成回路２からの画像を入力するたびに、運
動領域確定回路３は、その画像の領域化処理を実行する
。

移動物体領域切り出し回路４では、運動領域確定回路３
の出力画像を入力し、その画像のなかから移動物体の領
域を選択し、画面内での移動物体の領域を確定する。そ
して、その結果を移動物体領域切り出し回路４から出力
する。

上述した回路の構成を以下に詳細に説明する。

個々の動画フレームには、Ｔ、Ｔ１．、、、Ｔｎといっ
た番号が、撮影順に固有のフレーム番号として付与され
、そのフレーム番号で動画フレームを特定するものとす
る。

！１及び１２はそれぞれ、指定時刻動画フレーム入力部
で、指定したフレーム番号に該当する動画フレームを入
力する回路である。１３は基準フレーム番号設定部で、
指定時刻動画フレーム入力部１１及び１２に入力する動
画フレームのフレーム番号を決定する回路である。基準
フレーム番号設定部１３内での基準フレーム番号の更新
決定は、指定時刻動画フレーム入力部１１及び１２内の
画像を画素値正規化部１７及び１８へ出力した後に、事
前設定した基準フレーム番号の初期値を参考に実行する
。この操作により、指定時刻動画フレーム入力部１１及
び１２に入力する動画フレームを逐次更新する。基準フ
レーム番号設定部１３の出力は、指定時刻動画フレーム
入力部１２と遅れフレーム番号設定部１４へ入力する。

遅れフレーム番号設定部１４では、基準フレーム番号設
定部１３の出力値と遅れパラメータ指定部１５の出力値
との差分値を出力する。この差分値は、指定時刻動画フ
レーム入力部１１へ入力する動画フレームのフレーム番
号で、指定時刻動画フレーム入力部１１及び１２の動画
フレニム間の関係を示すパラメータ値である。指定時刻
動画フレーム入力部１１及び１２への動画フレームの入
力動作前までに。

該当する動画フレーム番号を遅れパラメータ指定部１５
のパラメータ値から個々に決定できるよう、基準フレー
ム番号設定部１３と遅れパラメータ指定部１５との動作
時期を調整する。

画素値正規化部１７及び１８では、基準フレーム番号設
定部１３と遅れフレーム番号設定部！４とで指定し、指
定時刻動画フレーム入力部１１及び１２から入力した動
画フレームをそれぞれ処理する。画素値正規化部１７及
び１８では、指定時刻動画フレーム入力部１１及び１２
から入力した個々の動画フレームの画質のばらつきを減
少するために、動画フレームの濃度の正規化を個々の動
画フレームごとに行う。

具体的には、画素値正規化パラメータ指定部１６で事前
設定したパラメータ値をもとに、画素値正規化部１７及
び１８に入力した画像フレームの画素値を正規化する。

画素値正規化部１７及び１８の出力を画像間絶対値差分
演算部ＩＳに入力し、画像間の絶対値差分演算を行い１
画像間加算演算部２１へ出力する。基準フレーム番号設
定部１３で動画フレーム番号を更新した時に５画像間絶
対値差分演算部１９への入力画像が更新されるため、画
像間絶対値差分演算部１９はその入力画像を処理する。

画像間加算演算部２１は、画像間絶対値差分演算部１９
が画像を出力するたびに画像間絶対値差分演算部！９の
出力画像と１画素値正規化部２２の出力画像とを画像間
加算演算する回路である０画像間加算演算部２１の出力
画像は、画素値正規化部２２へ入力し画素値を正規化す
る。正規化のためのパラメータ値は、画素値正規化部２
２の処理実行前に、画素値正規化パラメータ指定部２３
で事前設定する。

画素値を正規化した画像は、画素値正規化部２２から運
動領域画像生成部３１へ出力する。

さらにこの画像は、画像間絶対値差分演算部１９が次に
出力した別の処理画像との画像間加算のために画像間加
算演算部２１の入力へもどす。画像間加算演算部２１の
出力を画素値正規化部２２を経由した後に再び画像間加
算演算部２１へもどす操作を繰り返すことにより、移動
物体検出に有効な大きな運動軌跡像を作る。

この繰り返し処理で、時間的に新しい動画フレームにｔ
まれた移動物体の運動情報はど強調された濃淡画像を得
る１画素値正規化部２２の出力には、移動物体の個々の
運動軌跡が物体の移動範囲に相当する広さの濃淡像とし
て画像化される。

運動領域画像生成部３１では、画素値正規化部２２の出
力画像内で個々の移動物体による濃淡像の各領域を確定
するために、例えば、個々の濃淡像の濃淡分布の違いな
どの全体的な特徴を使い、画素値正規化部２２の出力画
像に公知の画像領域分割処理を実行し、各領域を移動物
体の領域候補とする領域分割画像を作成する。

基準フレーム番号設定部１３の動画フレーム番号の更新
のたびに、画素値正規化部２２の出力画像を更新する。

運動領域画像生成部３１は画素値正規化部２２の画像を
入力するたびに、正規化処理を実行する。結果的に、基
準フレーム番号設定部１３の動画フレーム番号の更新の
たびに運動領域画像生成部３１は領域分割画像を出力す
る。運動領域画像生成部３１の出力は、画像間加算演算
部３２へ入力される。

画像間加算演算部３２は、運動領域画像生成部３１での
処理画像と、画素値正規化部３３での処理画像とを画像
間加算演算する回路である。画像間加算演算部３２の出
力画像は、画素値正規化部３３へ入力し画素値を正規化
し濃淡を調整する。正規化処理のパラメータは、画素値
正規化部３３の処理実行前に画素値正規化パラメータ指
定部３４で事前設定する。画素値を正規化した画像は、
画素値正規化部３３から移動物体領域切り出し部４へ出
力される。

さらにこの画像は、運動領域画像生成部３１が次に出力
した別の処理画像との画像間加算のために。

画像間加算演算部３２の入力へもどす。

時間経過にともなう移動物体の変動は、基準フレーム番
号の更新により入力される最新の動画フレームに出現す
る。この変動に常に追従し、移動物体の領域を確定でき
るように５画像間加算演算部３２への新規入力があるた
びに、画像間加算演算部３２での処理結果を画素値正規
化部３３へ送り再び画像間加算演算部３２へもどす操作
を繰り返す。

この操作によって、移動物体の形状等の時間的な変化が
新しい時間順に強調された、すなわち。

移動物体の運動軌跡像の領域ごとに画素値が異なる画像
が得られる。

移動物体領域切り出し回路４は、画素値正規化部３３の
出力である、領域ごとに異なる画素値を持つ領域化画像
を移動物体の領域部分とその他の領域とに区別し、移動
物体の領域を画面上で確定する回路である。

画素値正規化部３３の出力である、領域ごとに異なる画
素値を持つ領域化画像の画素値の違いから。

公知の閾値処理方法を用いて、移動物体の領域部分とそ
の他の領域とに区別する２値化処理を実行する。そして
、移動物体領域切り出し回路４の出力が、最終的な出力
となる。

以上、本発明を実施例にもとづき具体的に説明したが、
本発明は、前記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、次のような効
果が得られる。

■動画フレームの画像間絶対値差分画像を作成する手段
を設けているので、動画フレーム間に出現する移動物体
の変位情報を簡単な方法で高速に画像化できる。

■動画フレームの画像間絶対値差分画像を作成する前に
、動画フレームの濃度の正規化処理を個々の動画フレー
ムごとに行い、個々の動画フレームの画質のばらつきを
減少する手段を設けているので、動像フレームごとの濃
度差により画像間絶対値差分画像に発生するノイズを抑
制でき、動画フレーム間の変位情報を鮮明に画像化でき
る。

■一部の動画フレームで欠落した移動物体の変位情報を
他の動画フレームで補いながら画像化するために、動画
の適用範囲が拡大できる。

■正規化の回数が多い、より以前に入力された絶対値差
分画像はど薄い濃度で累積されるので、変位情報の時間
的な前後関係が濃淡差できめ細かく表現できる。

■全体的な特徴が類似する濃淡像を同一領域化するので
、背景にとけ込む迷彩的な模様をもつ移動物体の形状を
動画から鮮明に検出できる。

【図面の簡単な説明】

第１図は、本発明の一実施例を示すブロック図である。 図中、１・・・動画フレーム間変位検出回路、２・・・
運動領域像生成回路、３・・・運動領域確定回路、４・
・・移動物体領域切り出し回路、１１．１２・・・指定
時刻動画フレーム入力部、１３・・・基準フレーム番号
設定部、１４・・・遅れフレーム番号設定部、１５・・
・遅れパラメータ指定部、１６．２３．３４・・・画素
値正規化パラメータ指定部、１７．１８．２２．３３・
・・画素値正規化部、１９・・・画像間絶対値差分演算
部、２１３２・・・画像間加算演算部、３１・・・運動
領域画像生成部。

Claims (1)

【特許請求の範囲】
1. （１）画面中の部分領域に出現する時間的な変動部分を
   撮影した動画から移動物体の領域を検出する移動物体検
   出装置において、動画を構成する動画フレームのうち、
   移動物体検出が可能な十分に長い一定経過時間分の複数
   枚の動画フレームを入力し、動画に出現した変動部分の
   軌跡を画像化する手段と、変動の軌跡画像のなかで類似
   する軌跡像の領域を個々に確定する手段と、領域を確定
   した軌跡のなかから移動物体の変動領域に該当する軌跡
   像の領域を切り出し、動画から移動物体が占めた部分領
   域を検出する手段とを備えたことを特徴とする移動物体
   検出装置。