JPWO2009078056A1 - 移動物検知装置及び移動物検知プログラム - Google Patents

Abstract

動画像からの移動物検知装置の第１の手段において、時刻ｔに取得した画像フレームと時刻ｔ−１に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の各特徴点についての移動量を算出する。第２の手段と、第１の手段により算出した移動量が所定の値よりも小さい特徴点について、時刻ｔ−１に取得した画像フレームとｔ＋ｍに取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の該特徴点についての移動量を算出する。

Description

本発明は、動画像から移動物を検知する技術に関し、特に、接近する移動物を画像処理により検知する技術に関する。

従来より、見通しが悪い交差点等におけるドライバの運転判断支援を目的として、車両の先端等にカメラを設置して、カメラからの車両左右方向の映像を、車載ディスプレイに表示させる車載型死角カメラ映像表示装置（ブラインドコーナーモニタ）がある。ドライバは、モニタに表示された映像で車両左右方向を確認することにより、接近物体の見落としを低減させる。

しかし、遠方から接近する物体については、以下の性質により、ドライバがモニタに十分な注意を払っているつもりであっても、見落としや誤判断が生じて交通事故につながる危険があった。

すなわち、遠方から接近する物体は、画像中を占める領域サイズが小さいため、背景に溶け込み易く、ドライバにとっては車両やオートバイ等の形状に気づきにくい。また、接近物体であるために、画像上においては移動量が小さく、移動していてもその変化に気づきにくい。これに対し、カメラ映像データから画像処理によって接近物体を検知し、接近物体の画像領域を強調表示させる技術について提供されている（例えば、特許文献１）。

ところで、動画像から移動する物体を検出する技術の１つとして、オプティカルフロー方式があり、オプティカルフロー方式を大きく分けるとブロックマッチング法と勾配法とがある。

上記のとおり、遠方から接近する物体については画像上の動きが小さく、１画素未満となる場合もある。例えばあるカメラレンズの設定においては約５０メートル先の接近中の車両をブラインドコーナーモニタで検知するには、１画素の水平移動を観測するために５フレーム程度が必要となる。

この場合は、ブロックマッチング法によりオプティカルフローを求めようとすると、サブピクセル推定を行わない限り、フローは０と算出されてしまう。これにより、従来の移動物検知技術においては、遠方領域に対する検出精度が不足していた。

上記の特許文献１に記載されている移動体判定方法においては、遠方の領域のオプティカルフローについては、サブピクセル推定機能を有する勾配法を用い、これにより、１画素未満のフローを算出している。

しかし、勾配法においては、２フレーム間では輝度は不変であるという仮定の下で数学的近似を用いている。このため、算出値自体が不安定になる傾向があるという欠点があった。

また、一般的に、サブピクセル推定を行うと、動領域に１画素以下のフローの値が算出できる一方で、静止領域にも０以外のフローが算出され、動領域／静止領域の区別が困難となる欠点があった。

さらに、特許文献１では、ブロックマッチング法と勾配法の組み合わせによって動領域と静止領域との区別をするために、画像の領域が遠距離領域あるいは近距離領域のいずれであるかを示す情報が必要となる、という課題があった。

更には、勾配法は複雑な除算処理を含む。このため、処理速度が遅く、またハードウェア実装が困難である。その上、勾配法によれば細かい動きまで検出できてしまうため、ノイズも多く拾ってしまう、という課題があった。

一方、ブロックマッチング法により１画素未満のフローを算出する場合は、フローの算出に使用する２フレームの間隔を、１時刻よりも長く取る必要がある。しかし、使用する２フレーム間の時間間隔を単純に間延びさせるだけでは、高速に移動する物体や近距離付近に存在する物体については、動きが大きくなりすぎ、あるフレーム中の物体を示す点に対応する他方のフレーム中の点が探索範囲を超えてしまう、という情況が発生してしまう。これにより、誤ったフローが算出されてしまう、という課題があった。

また、フレームごとに移動物体の検知を行うとすると、間延びさせた分の画像フレームを記憶させなければならず、メモリが大量に必要となる、という課題があった。
特開２００７−１７２５４０号公報

本発明は、動画像から移動物を検出するときに、より簡易な構成で、近距離の移動物体の検出精度を維持しつつ、遠方の移動物体の検出精度を省メモリ、省計算量で向上させることのできる技術を提供することを目的とする。

この動画像からの移動物検知装置の特徴は、時刻ｔに取得した画像フレームと時刻ｔ−１に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の各特徴点についての移動量を算出する第１の手段と、前記第１の手段により算出した移動量が所定の値よりも小さい特徴点について、前記時刻ｔ−１に取得した画像フレームとｔ＋ｍ（ｍ＞０）に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の該特徴点についての移動量を算出する第２の手段と、を備えることにある。

まず、第１の手段において、時刻ｔ−１及び時刻ｔに取得した連続する画像フレーム間で特徴点の移動量を計算する。計算した結果、移動量が所定の値未満であるときは、第２の手段において、２以上時刻の離れた画像フレーム間で特徴点の移動量を計算する。画像中動きの大きい物体については第１の手段において検知することができ、画像中動きの小さい物体については第２の手段において検知することができる。

前記第２の手段により算出した移動量が所定の値よりも小さい特徴点について、前記ｍの値をインクリメントして、再度、前記第２の手段を実行する構成としてもよい。時刻ｔ−１に取得した画像フレームから抽出した特徴点について動きを追跡することができる。

なお、本発明は、上記の移動物検知装置に限らない。上記の移動物検知方法やその方法をコンピュータに実行させるプログラム等であっても、本発明に含まれる。

本発明の実施形態に係る車載型死角カメラ映像装置の構成図である。 特徴点追跡処理部のより詳細な構成を示す図である。 特徴点の追跡処理を説明する図である。 特徴点の追跡に伴う特徴点追跡管理テーブルの更新を示す図である。 特徴点追跡管理テーブルから冗長な項目を削除する処理を説明する図である。 冗長な項目の削除に伴う特徴点追跡管理テーブルの更新を示す図である。 新たに特徴点を抽出する処理を説明する図である。 新たに抽出された特徴点について項目を追加することによる、特徴点追跡管理テーブルの更新を示す図である。 本実施形態に係る接近物検知処理を示すフローチャートである。

以下、本発明の好適な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本発明の実施形態に係る車載型死角カメラ映像装置の構成図である。図１（ａ）に示す車載型死角カメラ映像装置１０は、車載装置１、カメラ装置４及びディスプレイ装置５を含んで構成される。

カメラ装置４は、実施例においては、魚眼レンズあるいはプリズムレンズから構成され、車両の左右方向の画像が得られるように調整されて配置される。カメラ装置４は、所定の時間間隔で画像を取得し、取得した画像を車載装置１に与える。

ディスプレイ装置５は、カメラ装置４において撮影した映像及び車載装置１において加工した映像を出力表示させ、車両の運転席から出力された映像を確認できる位置に設けられている。

車載装置１は、接近物体検出部２及び合成映像データ生成部３を含む。車載装置１は、カメラ装置４から入力された映像データから移動物を検知して、ディスプレイ装置５に映像を出力表示するときに、検知した移動物を強調表示させる。

接近物体検出部２は、２つの画像フレーム間について算出したオプティカルフローにより、接近物体を検出する。合成映像データ生成部３は、接近物体検出部２において検出した接近物体については画像を加工して、透過的に色分け表示する等により表示変更して、ディスプレイ装置５に出力表示させる。

図１（ｂ）は、接近物検出部２の構成をより具体的に示す図である。接近物検出部２は、特徴点算出処理部２１、特徴点登録処理部２２、特徴点追跡管理テーブル２３、適応的時間差制御型特徴点追跡処理部（以下の説明においては特徴点追跡処理部と略記）２４及び出力処理部２５を含んで構成される。

特徴点算出処理部２１は、画像フレームから画像のコーナー（角）等を示す特徴点を抽出する。特徴点の抽出には、実施例においては、画像上の物体形状のコーナーによく反応するハリスオペレータを用い、ハリスオペレータの演算結果から、局所窓内で評価値が極大値をとる座標を算出することにより求めている。特徴点登録処理部２２は、特徴点算出処理部２１において抽出した特徴点に関わる情報を、特徴点追跡管理テーブル２３に登録する。

特徴点追跡処理部２４は、特徴点追跡管理テーブル２３を参照し、所定の条件を満たす場合には、新たに入力された画像フレームから、特徴点追跡管理テーブル２３に登録されている特徴点についてのオプティカルフローを算出する。そして、算出したオプティカルフローの値に応じて、特徴点追跡管理テーブル２３を更新する。特徴点追跡処理部２４における処理の詳細については後述する。

出力処理部２５は、特徴点追跡管理テーブル２３に格納されている特徴点に関わる情報を参照して、ディスプレイ装置５に出力を変更して表示すべき特徴点に関わる情報を示す出力リスト２６を作成する。ディスプレイ装置５には、最新の特徴点近傍領域の部分画像の中から、特徴点の周辺のエッジ領域を公知技術により取り出して、取り出したエッジ領域に透過的な色分け等を行った合成画像が出力される。

図２は、特徴点追跡処理部２４のより詳細な構成を示す図である。特徴点追跡処理部２４は、オプティカルフロー算出部３１、フロー評価部３２、特徴点管理テーブル更新部３３及び冗長トラック削減部３４を含んで構成される。以下、図２を参照して、特徴点追跡処理について説明する。

オプティカルフロー算出部３１は、入力された時刻ｔの画像フレームからオプティカルフローを算出する。オプティカルフローを算出するときに、まず、特徴点追跡管理テーブル２３を参照してその特徴点を検出した時刻ｔ−ｎ（ｎ≧２）を取り出し、時刻ｔ−ｎと現時刻ｔの時刻差｜ｔ−（ｔ−ｎ）｜＝｜ｎ｜と所定のしきい値Ｔｈとを比較する。時刻差がしきい値Ｔｈ未満である場合には、その特徴点についてオプティカルフローを算出する。本実施形態においては、ブロックマッチング法を用いて、時刻ｔの画像フレームから９×９画素のブロックを取り出して、ブロックの類似点の評価関数として、ＳＡＤ（差分絶対値和）を使用してオプティカルフローを算出する。オプティカルフローは、以下の式で定義する。

上の（１）式のうち、まず、上段の計算（中心座標同士のＳＡＤ値の評価）を行い、所定のしきい値Ｔｈ_ＳＡＤよりも小さい場合は、動きは０とする。これは、図１に示す車載型死角カメラ映像装置１０は、交差点での車両停止状態において利用されることが多いことに基づく。すなわち、最初に画像の中心座標（交差点中心付近）についてフローを算出し、フローが０でない場合についてのみ以降の処理を実行する構成とすることで、オプティカルフロー算出の総計算量を削減できる。

フロー評価部３２は、オプティカルフロー算出部３１において算出したフローｖ（ｕ、ｖ）の大きさを評価する。具体的には、フローの大きさ｜ｖ｜が所定のしきい値Ｖよりも大きい場合には、その特徴点について、接近物体であるか否かを判定する。

具体的には、フローｖのうち水平成分の向きが、画面中央等の基準点に対して内向きであるか否か等により判定する。これは、例えば魚眼レンズにより取得した画像のうち、魚眼レンズを取り付けた車両に対して左右から車両に近づく物体については画像の中央へと移動することに基づく。なお、車両が移動中の場合には、車両に接近する物体については画面中央方向へと移動し、背景については画面の外側方向へと移動する。このように、実施例においては、特徴点近傍領域が他の領域と比べてユニークな動きをすることに着目し、その動きを検出することにより、接近物体か否かを判定している。

カメラ装置４に魚眼レンズ以外のレンズ、例えばプリズムレンズその他の通常のレンズを用いる場合であっても、移動物体の移動方向と背景の移動方向が逆になる画像については、上記の方法により移動物体を検出することが可能である。

特徴点管理テーブル更新部３３は、フロー評価部３２において移動物体の接近フローと判定された場合に、特徴点追跡管理テーブル２３を更新する。特徴点追跡管理テーブル２３には、特徴点ごとにその座標を含む情報が格納されており、特徴点管理テーブル更新部３３は、フローｖの各成分の値を加算することにより、座標値を更新する。

冗長トラック削減部３４は、特徴点追跡管理テーブル２３により管理されている特徴点のうち、冗長と判定した特徴点については、その情報をテーブルから削除する。冗長と判定してテーブルから情報を削除する場合の例としては、互いに距離の近い特徴点同士については、一方のみを残す場合や、一定の期間以上に渡り追跡ができていない特徴点が存在する場合等である。冗長トラック削減処理については、後述する。

次に、図３及び図４を参照して、特徴点を追跡して特徴点追跡管理テーブル２３を更新する処理について、具体的に説明する。
図３は、特徴点の追跡処理を説明する図であり、図４は、特徴点の追跡に伴う特徴点追跡管理テーブル２３の更新を示す図である。なお、ここでは、説明の簡単のため、接近フローと判定される特徴点についてのみ図示している。

図３においては、時刻ｔ−１、ｔ、ｔ＋１における画像フレーム、各時刻の画像フレームから抽出された５つの特徴点及び特徴点の近傍領域を図示している。
図４（ａ）は、時刻ｔ−１における画像フレームについて接近物検出処理を実行した後の特徴点追跡管理テーブル２３を示す図であり、図４（ｂ）は、時刻ｔにおける画像フレームについて接近物検出処理を実行した後の特徴点追跡管理テーブル２３を示す図であり、図４（ｃ）は、時刻ｔ＋１における画像フレームについて接近物検出処理を実行した後の特徴点追跡管理テーブル２３を示す図である。

図４に示すように、特徴点追跡管理テーブル２３は、項番ごとに、画像パッチデータ情報、座標、時刻（ＴＭ）及び追跡回数が格納されている。
項番は、抽出された特徴点を識別するための識別情報である。画像パッチデータ情報は、特徴点の近傍領域についての部分画像データ（パッチデータ）を識別するための識別情報である。座標は、特徴点の位置座標が格納される。時刻は、その特徴点が検出された最新のタイムスタンプが格納される。追跡回数は、特徴点が上記のフロー検出処理において検出された回数が格納される。

特徴点追跡管理テーブル２３において、それぞれの特徴点について、該特徴点の近傍領域の画像（周辺画像）を、前記各データと併せて格納しても良い。特徴点の近傍領域の画像（周辺画像）を格納する構成にすれば、特徴点の追跡のために過去のｔ−１〜ｔ−Ｔの各フレームをそのまま記憶しておくためのメモリ（容量フレームサイズ×Ｔ）を保持する必要が無くなる。例えば、この構成をＬＳＩに搭載した場合、外側にＤＲＡＭとしてフレーム記憶用のメモリを備える必要が無くなる。また、空間的に冗長な特徴点の削除・マージ処理を導入していることで、過去Ｔ以上を遡っても、１フレームサイズ相当のメモリ領域だけを確保すれば良いことになり、装置の低コスト化に寄与することができる。

時刻ｔにおける画像フレームが図１に示す接近物体検出部２に入力されると、特徴点追跡管理テーブル２３から、過去（図３及び図４に示す例では時刻ｔ−１）において抽出された特徴点の座標を読み出す。読み出した座標の周辺の領域を探索して、特徴点に対応する点が含まれる領域を求め、フローを算出する。

項番「１」の特徴点については、時刻ｔ−１からｔの間のフローは０である。このため、図４（ａ）及び図４（ｂ）に示すとおり、時刻ｔにおける画像フレームについて接近物検出処理を実行する前後で更新はなされていない。連続するフレーム間でフローが検出されなかったときは、更に次の時刻の画像フレームとの間でフローを算出する。しかし、項番「１」の特徴点については、時刻ｔ−１からｔ＋１の間についてもフローが０であるため、図４（ｂ）及び図４（ｃ）に示すように、時刻ｔ＋１における画像フレームについて接近物検出処理を実行する前後で更新されていない。

項番「２」の特徴点については、時刻ｔ−１からｔの間については、上記と同様にフローは０であり、図４（ａ）及び図４（ｂ）の間ではデータ更新はなされていない。しかし、時刻ｔ−１からｔ＋１の間については０以外のフロー（ｖ２´）が検出されている。このため、図４（ｃ）に示すように、時刻ｔ＋１の画像フレームについて接近物検出処理実行後の特徴点管理テーブル２３においては、項番２の特徴点の座標として、時刻ｔ−１の特徴点の座標に算出したフローｖ２´を加算して得られる値が格納されている。また、追跡回数については、１を加算した値「Ｎ２＋１」が格納され、時刻については、フローが検出された最新の画像フレームに対応する時刻が格納される。

なお、ここでは、最初に特徴点を検出した時刻における特徴点の座標にフローを加算して新たに特徴点の座標値を得ているが、これには限らない。例えば、０以外のフローを検出することができた時刻の画像フレームから特徴点を抽出し、抽出した特徴点の座標を得る構成とすることもできる。

項番「３」〜「５」の特徴点については、時刻ｔ−１と時刻ｔとの間、時刻ｔと時刻ｔ＋１との間のいずれにおいてもフローが検出されている。この場合は、時刻ｔ−１及びｔの画像フレーム間で算出したフロー（ｖ３、ｖ４及びｖ５）及び時刻ｔ及びｔ＋１の画像フレーム間で算出したフロー（ｖ３´、ｖ４´及びｖ５´）に基づいて、座標値を順次更新していく。時刻及び追跡回数についても、上記と同様に更新される。

以上説明したように、図１に示す車載型死角カメラ映像装置１０によれば、画像フレームから、画像中のコーナー等を特徴点として抽出し、抽出した特徴点の動きを追跡する。特徴点ごとに、特徴点が抽出された時刻以後の画像フレームから特徴点に対応する領域を探索し、オプティカルフローを算出する。オプティカルフロー算出中のＳＡＤ値が所定のしきい値Ｔｈ_ＳＡＤ未満の場合にはオプティカルフローを０とする。フローｖの大きさ｜ｖ｜が所定のしきい値Ｖよりも大きいこと判定することで、所定の画素以上の動きを検出している。連続する２つの画像フレーム間で動きが検出されない場合についてのみ、所定の観測期間Ｔｈに渡って特徴点の動きを評価する。これにより、省計算量で遠方の移動物体の検出精度の向上を実現させている。

また、本実施形態に係る車載型死角カメラ映像装置１０においては、抽出された特徴点の近傍領域の部分画像データをパッチデータとして保持しておくとともに、特徴点追跡管理テーブル２３に座標値を格納しておく。オプティカルフローの算出等の処理においては、過去のある時点の特徴点に対応する点を現在の時刻についての画像フレームから求める構成としているため、過去の画像データを全て記憶させておく必要がなく、遠方の移動物体の検出を省メモリで実現することが可能となる。

具体的には、パッチデータサイズを９×９画素とすると、特徴点は最大で約１５０点存在するため、パッチデータの保持には、９×９×１５０≒約１１キロバイト要する。１画像フレームのサイズは１８０×８０画素≒約１４キロバイトであり、１画像フレーム未満の記憶領域で済む。

次に、特徴点追跡管理テーブル２３から冗長なトラックを削減する処理について説明する。
図５は、特徴点追跡管理テーブル２３から冗長な項目を削除する処理を説明する図であり、図６は、冗長な項目の削除に伴う特徴点追跡管理テーブル２３の更新を示す図である。図５においては、時刻ｔの画像フレームを示す。時刻ｔ以前の時刻においては、５つの特徴点が抽出されている。

図５に示すように、５つの特徴点のうち項番３、４、５の特徴点の座標は、時刻ｔの画像フレーム上では互いに近い。この場合は、ある物体について特徴点が複数抽出されていることが考えられる。このため、互いの距離が所定の値Ｄ以下である特徴点が複数存在する場合は、少なくとも１点についてはテーブルに残し、他の特徴点についての項目については、テーブルから削除する。実施例においては、追跡回数が最大である１項目のみを残し、他の項目については削除している。

図６（ａ）は、冗長な項目を削除する前の特徴点追跡管理テーブル２３を示す図であり、図６（ｂ）は、冗長な項目を削除した後の特徴点追跡管理テーブル２３を示す図である。

互いの特徴点間の距離が所定の値Ｄ以下であるとの条件を満たす３つの特徴点（図５においては＃３、＃４、＃５）については、追跡回数（図６中においてはＬＥＮと表記）が最大の値を取る特徴点、すなわち追跡回数が５回である項目（項番５の項目）のみを残し、項番３、４の項目については特徴点追跡管理テーブル２３から削除する。そして、２つの項目を削除すると、削除前には項番５であった項目について、項番を繰り上げて項番「３」と更新している。

上記の実施例においては、特徴点追跡管理テーブル２３に登録されている特徴点のうち、近傍の点同士については長く追跡できている点を残し、他についてはテーブルから削除することとしている。ここでは、長く追跡できている方を信頼することとしているためである。

他の実施例としては、特徴点追跡管理テーブル２３の更新において、過去の画像パッチデータ情報、座標及び時刻等をリストとして管理しておき、リスト長もしくは時間長が最も長い項目について残す構成としてもよい。

更に、追跡回数等の条件に、他の条件を追加することもできる。例えば、移動軌跡がより直線的なものを選択してテーブルに残す構成とすることもできる。
この場合は、各特徴点についての最新の画像及び座標値から、特徴点ごとに直線方程式を最小二乗法等により求める。そして、所定の誤差の範囲内で特徴点が求めた直線方程式にのるか否かにより、その特徴点の移動軌跡を求めた直線方程式に近似することの適・不適を判断する。移動軌跡がより直線的な特徴点を残す構成とすることにより、道路を走行中の車両等の移動を検出することが可能となる。

この他、例えば、魚眼レンズを用いるシステム構成においては、１秒間以上動きが追跡できない項目については削除する構成とすることもできる。
図７は、新たに特徴点を抽出する処理を説明する図であり、図８は、新たに抽出された特徴点について項目を追加することによる、特徴点追跡管理テーブル２３の更新を示す図である。図７及び図８を参照して、入力された画像データから特徴点を新たに抽出する処理について具体的に説明する。

図７（ａ）は、時刻ｔ以前に追跡していた特徴点を示し、図７（ｂ）は、時刻ｔの画像フレームから抽出した特徴点を示す。図１の説明において述べたとおり、実施例においては、特徴点はハリスオペレータを用いて抽出している。

時刻ｔの画像フレームから抽出された特徴点は、＃ＦＴ１、２、３、４の４つである。これら４つの特徴点と、特徴点追跡管理テーブル２３に既に登録されている特徴点＃１〜５との距離を求める。距離が所定のしきい値Ｄ_ａｂ以上である場合、すなわち、既に登録されている特徴点と新たに抽出された特徴点とが距離Ｄ_ａｂ以上離れている場合は、新たに抽出された特徴点について、座標等の情報を特徴点追跡管理テーブル２３に登録する。そして、時刻ｔの画像フレームから新たに抽出された特徴点の部分画像データを取り出して、メモリに記憶させる。メモリに記憶させていた過去の部分画像データについては削除する。

図７に示す例では、時刻ｔの画像フレームから新たに抽出された特徴点のうち、特徴点＃ＦＴ３については、すでにテーブルにおいて管理されている特徴点との距離がしきい値Ｄ_ａｂ以上である。この場合は、特徴点＃ＦＴ３について、特徴点追跡管理テーブル２３に座標等の情報を登録し、部分画像データを記憶させる。

図８に示すように、特徴点追跡管理テーブル２３のうち、新たに追加される特徴点については、項番「６」の項目に登録されている。時刻ｔの画像フレームのうち特徴点＃ＦＴ３の近傍領域についての部分画像データ＃ＦＴ３を示す情報が記憶され、座標としては、時刻ｔの画像フレームにおける特徴点＃ＦＴ３の座標が格納されている。

図９は、本実施形態に係る接近物検知処理を示すフローチャートである。図９に示す処理は、カメラ装置４において取得した画像フレームが入力されるごと（実施例においては３０分の１秒ごと）に実行される。

まず、ステップＳ１で、入力された画像フレームを取得した時刻ｔが開始時刻であるか否か判定し、開始時刻である場合には、接近物検知処理については行わず、ステップＳ１０に進む。時刻ｔが開始時刻でない場合は、ステップＳ２に進む。

ステップＳ２で、特徴点追跡管理テーブル２３に登録されている項目の１つを参照し、画像フレームの時刻ｔと、テーブルに格納されている時刻とを比較し、時刻差がしきい値Ｔｈ未満であるか否かを判定する。時刻差がしきい値Ｔｈ未満である場合にはステップＳ３に進む。時刻差がしきい値Ｔｈ以上である場合は、ステップＳ７に進み、その項目については特徴点追跡管理テーブル２３から削除し、ステップＳ２に戻り次の項目について時刻差の判定を行う。

ステップＳ３で、時刻ｔ（現時刻）の画像フレームから、特徴点追跡管理テーブル２３の参照している項目に対応するブロックを取り出し、上記の（１）式によりオプティカルフローｖを算出する。そして、ステップＳ４で、算出したオプティカルフローｖの大きさ｜ｖ｜がしきい値Ｖよりも大きいか否かを判定する。

ステップＳ４において、オプティカルフローｖの大きさがしきい値Ｖ以下であると判定された場合は、その項目については、時刻ｔの画像フレームからは動きが検出することができなかったと判断し、ステップＳ２に戻る。

ステップＳ４において、オプティカルフローｖの大きさがしきい値Ｖよりも大きいと判定された場合は、ステップＳ５に進み、更に、算出したフローｖが接近フローであるか否かを判定する。上記のとおり、実施例においては、オプティカルフローｖの水平成分の向きに基づいて接近フローか否かを判定する。ステップＳ５において、接近フローでないと判定された場合は、ステップＳ２に戻り、次の項目について上記と同様の処理を実行する。ステップＳ５において、接近フローと判定された場合は、ステップＳ６に進む。

ステップＳ６で、参照している項目について更新処理を行う。具体的には、座標を「ｘ＋ｖ」に、時刻については「ｔ」にそれぞれ更新し、追跡回数については１インクリメントする。画像パッチデータについては、時刻ｔの部分画像データを保持していることを示す情報に更新する。

以降、特徴点追跡管理テーブル２３に登録されている全ての項目について上記の処理を実行する。全ての項目について上記の処理を実行したか否かを判定し、全ての項目について処理を実行したと判定されると、ステップＳ８に進む。

ステップＳ８で、特徴点追跡管理テーブル２３から、冗長な特徴点についての項目を削除する。削除の具体的な方法については、図５及び図６を参照して説明したとおりである。

ステップＳ９で、接近物検知処理の結果を出力する。ステップＳ９においては、例えば、追跡回数が所定のしきい値ＴＮ以上になった項目について出力する。ステップＳ１０で、時刻ｔの画像フレームから新たに特徴点の抽出を行い、ステップＳ１１で、新たに追加する特徴点について、必要な情報を特徴点追跡管理テーブル２３に登録し、処理を完了する。ステップＳ１０及びステップＳ１１における新たな特徴点の抽出処理及びテーブル２３への登録処理については、図７及び図８を参照して説明したとおりである。

以上説明したように、本実施形態に係る車載型死角カメラ映像装置１０によれば、時刻ごとに取得する画像フレームのうち、２つの画像フレーム間のオプティカルフローを算出して画像中の物体の移動を検出する。連続する画像フレーム間で物体の移動が検出されれば、その動きを追跡するが、連続画像フレーム間で所定の画素以上の物体の移動が検出されなかった場合には、次の時刻以降の画像フレームを用いて動きを再評価する。これにより、画像の領域ごとに遠距離領域／近距離領域のいずれであるかを示す情報を要せずに、遠方の移動物体であっても高精度で検出することが可能となる。

なお、上記においては、車載型死角カメラ映像装置（ブラインドコーナーモニタ）を例について説明しているが、本発明は、上記の方法をコンピュータに実行させるプログラムによっても実現可能である。また、車載型死角カメラ映像装置以外にも、例えば、監視カメラ等の撮影範囲が広いカメラにおいて移動物体を検出する場合にも適用が可能である。

Claims (11)

1. 動画像からの移動物検知装置であって、
   時刻ｔに取得した画像フレームと時刻ｔ−１に取得した画像フレームとに基づいて、時刻ｔ−1に取得した画像フレーム内の各特徴点についての移動量を算出する第１の手段と、
   前記第１の手段により算出した移動量が所定の値よりも小さい特徴点について、前記時刻ｔ−１に取得した画像フレームとｔ＋ｍに取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の該特徴点についての移動量を算出する第２の手段と、
   を備えることを特徴とする移動物検知装置。
2. 前記第２の手段により算出した移動量が所定の値よりも小さい特徴点について、前記ｍの値をインクリメントして、再度、前記第２の手段を実行する
   ことを特徴とする請求項１記載の移動物検知装置。
3. 前記第１の手段または第２の手段により算出した移動量が、前記所定の値よりも大きい前記特徴点について、画面上の表示を変更して出力する出力手段、
   を更に備えることを特徴とする請求項２記載の移動物検知装置。
4. 前記出力手段は、前記第２の手段により算出した移動量が前記所定の値よりも大きく、且つ該特徴点についての追跡回数が所定のしきい値以上である特徴点については、画面上の表示を変更して出力する、
   ことを特徴とする請求項３記載の移動物検知装置。
5. 前記第１の手段または第２の手段は、画像フレームの内側へと移動する特徴点についての移動量を算出する
   ことを特徴とする請求項２記載の移動物検知装置。
6. 画像フレームから抽出した特徴点に関わる情報を格納する格納手段と、
   を更に備え、
   新たに特徴点が抽出されたときは、前記格納手段に既に格納されている特徴点との距離が所定のしきい値以上である場合に、該新たに抽出された特徴点に関わる情報を該格納手段に格納する
   ことを特徴とする請求項２記載の移動物検知装置。
7. 画像フレームから抽出した特徴点に関わる情報を格納する格納手段と、
   を更に備え、
   前記格納手段に格納されている情報のうち、時刻ｔ＋ｍに取得した画像フレーム内で、互いに所定の距離範囲内にある複数の特徴点が存在するときは、該複数の特徴点のうち少なくとも１つの特徴点に関わる情報については該格納手段に残し、他については削除する
   ことを特徴とする請求項２記載の移動物検知装置。
8. 前記格納手段は、さらに、時刻ｔ−１における前記各特徴点に関する情報と対応付けて、該各特徴点の周辺画像を格納することを特徴とする請求項６記載の移動物検知装置。
9. 前記特徴点は、前記画像フレームのコーナー度合の評価値の極大点を選択することにより求める
   ことを特徴とする請求項２記載の移動物検知装置。
10. 動画像からの移動物検知を行うための移動物検知プログラムであって、
    時刻ｔに取得した画像フレームと時刻ｔ−１に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の各特徴点についての移動量を算出し、
    前記算出した移動量が所定の値よりも小さい特徴点について、前記時刻ｔ−１に取得した画像フレームとｔ＋ｍに取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の該特徴点についての移動量を算出する、
    処理をコンピュータに実行させることを特徴とする移動物検知プログラム。
11. 動画像からの移動物検知を行うための移動物検知方法であって、
    時刻ｔに取得した画像フレームと時刻ｔ−１に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の各特徴点についての移動量を算出する第１のステップと、
    前記第１のステップにおいて算出した移動量が所定の値よりも小さい特徴点について、前記時刻ｔ−１に取得した画像フレームとｔ＋ｍに取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の該特徴点についての移動量を算出する第２のステップと、
    を備えることを特徴とする移動物検知方法。

Images