JP7251409B2 - 車線変更車両の検出装置、方法及びビデオ監視装置 - Google Patents

Description

本発明の実施例は、ビデオ監視の技術分野に関し、特に車線変更車両の検出装置、方法及びビデオ監視装置に関する。

回避運転（ａｖｏｉｄａｎｃｅ ｄｒｉｖｉｎｇ）又は回避イベントは異常な交通イベントの１つである。例えば、車線に道路の崩壊や車両の故障などの異常なイベントが発生した場合、後続車両は対向車線、追越車線又は予備車線を通過する必要があるため、車線変更（ｃｒｏｓｓ－ｌｉｎｅ）走行が発生する。

このような場合は、ビデオ監視装置は、交通管理部門がこのような異常な交通行為を迅速に処理できるように、車線変更車両（ｃｒｏｓｓ－ｌｉｎｅ ｖｅｈｉｃｌｅ）を検出し、且つ回避イベントを迅速、且つ正確にトリガする必要がある。現在、このようなイベントを検出するための画像に基づくアルゴリズムが多く存在する。

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。

しかし、本発明の発明者の発見によると、従来の回避検出の解決方法は、通常は目標車両をリアルタイムで検出、追跡し、車両の軌跡に基づいて回避イベントが発生したか否かを決定するが、複雑な環境において不安定であり、遮蔽の影響を受けやすく、計算量が多い。

本発明の実施例は、遮蔽の影響を低減させ、計算量を低減させることができる車線変更車両の検出装置、方法及びビデオ監視装置を提供する。

本発明の実施例の第１態様では、車線変更車両の検出装置であって、ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択し、前記複数の特徴点の前記複数のフレーム画像におけるオプティカルフローベクトルを算出するベクトル算出手段と、前記オプティカルフローベクトルの角度及び大きさに基づいて前記オプティカルフローベクトルをフィルタリングし、車線変更車両の特徴に適合する複数のオプティカルフローベクトルを取得するベクトルフィルタリング手段と、フィルタリング後の前記複数のオプティカルフローベクトルの統計を取り、前記複数のオプティカルフローベクトルの数の前記複数のフレーム画像における分布情報を取得するベクトル統計手段と、前記分布情報に基づいて前記複数のフレーム画像における１つ又は複数の車線変更車両を決定する車両決定手段と、を含む、装置を提供する。

本発明の実施例の第２態様では、車線変更車両の検出方法であって、ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択し、前記複数の特徴点の前記複数のフレーム画像におけるオプティカルフローベクトルを算出するステップと、前記オプティカルフローベクトルの角度及び大きさに基づいて前記オプティカルフローベクトルをフィルタリングし、車線変更車両の特徴に適合する複数のオプティカルフローベクトルを取得するステップと、フィルタリング後の前記複数のオプティカルフローベクトルの統計を取り、前記複数のオプティカルフローベクトルの数の前記複数のフレーム画像における分布情報を取得するステップと、前記分布情報に基づいて前記複数のフレーム画像における１つ又は複数の車線変更車両を決定するステップと、を含む、方法を提供する。

本発明の実施例の第３態様では、コンピュータプログラムが記憶された記憶装置と、処理装置とを含み、前記処理装置は、前記コンピュータプログラムを実行することで、上記の車線変更車両の検出方法を実現する、ビデオ監視装置を提供する。

本発明の実施例の有利な効果は以下の通りである。複数のフレーム画像の複数の特徴点に基づいてオプティカルフローベクトルを算出し、オプティカルフローベクトルの角度及び大きさに基づいてフィルタリングを行い、フィルタリング後の複数のオプティカルフローベクトルの統計を取り、複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を取得し、該分布情報に基づいて複数のフレーム画像における１つ又は複数の車線変更車両を決定する。これによって、遮蔽の影響を回避又は緩和することができ、部分的な輪郭を有する車両でも検出することができると共に、オプティカルフロー又は照明変化による計算量を効果的に低減させることができ、高い検出精度を有する。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。

なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

本発明の実施例の図面又は実施形態に説明されている要素及び特徴は、１つ又は複数の他の図面又は実施形態に示す要素及び特徴と組み合わせてもよい。図面において、類似する符号は複数の図面における対応する構成部を表し、複数の態様に用いられる対応構成部を表してもよい。
本発明の実施例の車線変更車両の検出方法を示す図である。 対向車線を用いる右下方向への車線変更を示す図である。 対向車線を用いる右下方向への車線変更を示す他の図である。 対向車線を用いる左上方向への車線変更を示す図である。 対向車線を用いる左上方向への車線変更を示す他の図である。 本発明の実施例の車線変更車両の検出方法を示す他の図である。 本発明の実施例の分布情報を示す図である。 本発明の実施例の分布情報を示す他の図である。 本発明の実施例のサンプリング後の分布情報を示す図である。 本発明の実施例のサンプリング後の分布情報を示す他の図である。 本発明の実施例の車線変更車両の検出装置を示す図である。 本発明の実施例のビデオ監視装置を示す図である。

本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。

本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。

本発明の実施例では、単数形の「一」、「該」等は複数形を含み、「一種」又は「一類」を意味し、「１つ」に限定するものではない。また、用語「前記」は、文脈上明確に指示されない限り、単数形及び複数形両方を含む。また、文脈上明確に指示されない限り、用語「応じて」は「少なくとも部分的に応じて」を意味し、用語「に基づいて」は「少なくとも部分的に基づいて」を意味する。

交通ビデオ監視の分野では、監視カメラの設置角度及び高さにより、車線変更をする際に車両間に視覚的な遮蔽が存在する場合がある。また、監視カメラの視野角により、ビデオの画像フレームに一部の車体輪郭のみが現れる可能性がある。場合によっては、明滅する光により輪郭情報が失われる場合もある。従来のリアルタイムの検出及び追跡のアルゴリズムはこれらの問題を解決することは困難である。

本発明の実施例は、上記の問題の少なくとも１つを鑑み、オプティカルフローベクトルに基づく解決方法を提供する。オプティカルフローベクトルを検出して数の統計を取り、統計の分布情報に基づいて車線変更車両を決定することができる。そして、複数のフレーム画像における車線変更車両の数の統計を取り、回避イベントをトリガするか否かを決定してもよい。本発明の実施例は、従来のオプティカルフロー検出方法に比べて、オプティカルフローベクトルの長さ、方向及び検出領域の制約を追加することで、オプティカルフローの光干渉に対する脆弱性を改善することができ、計算量を低減させることができる。

以下は、本発明の実施例を例示的に説明する。なお、本発明の実施例は、回避イベントを一例にして説明するが、本発明はこれに限定されず、他の同様のシナリオに適用されてもよい。

＜実施例１＞
本発明の実施例は車線変更車両の検出方法を提供する。図１は本発明の実施例の車線変更車両の検出方法を示す図であり、図１に示すように、該方法は以下のステップを含む。

ステップ１０１：ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択し、該複数の特徴点の該複数のフレーム画像におけるオプティカルフローベクトルを算出する。

ステップ１０２：該オプティカルフローベクトルの角度及び大きさに基づいて該オプティカルフローベクトルをフィルタリングし、車線変更車両の特徴に適合する複数のオプティカルフローベクトルを取得する。

ステップ１０３：フィルタリング後の該複数のオプティカルフローベクトルの統計を取り、該複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を取得する。

ステップ１０４：該分布情報に基づいて該複数のフレーム画像における１つ又は複数の車線変更車両を決定する。

本実施例では、カメラにより、複数のフレーム画像を含むビデオ情報を取得してもよい。該カメラは、インテリジェント輸送（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ）のビデオ監視を行うためのカメラであってもよく、監視領域を継続的に撮影する。なお、本発明はこれに限定されず、他のビデオ監視のシナリオ、例えば駐車場のビデオ監視のシナリオであってもよい。以下は、交通ビデオ監視のシナリオを一例にして説明する。

本実施例では、該ビデオにおける複数のフレーム画像についてグレースケール画像を算出し、該グレースケール画像における交通標示線に基づいて関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を設定してもよい。これによって、検出領域を制限することができ、オプティカルフローベクトルの計算量をさらに低減させることができる。

本実施例では、例えばＳｈｉ－Ｔｏｍａｓｉコーナーを特徴点として選択してもよく、特徴点の数は複数個、例えば１００個以上又はそれ以下であってもよい。そして、これらの特徴点のピラミッドＬＫオプティカルフローベクトルを算出してもよい。特徴点及びオプティカルフローベクトルの詳細は、関連技術を参照してもよく、ここでその説明を省略する。

通常、同一の車両について算出されたオプティカルフローベクトルは類似する方向及び大きさを有する。車線方向に沿って移動する車線変更車両のオプティカルフローベクトルと正常走行車両のオプティカルフローベクトルとの間には一般的に明らかな差異を存在する。このため、オプティカルフローベクトルの大きさ及び方向を条件として選択し、正常走行車両に属するオプティカルフローベクトルをフィルタリングにより除去し、車線変更車両に属する可能性のあるオプティカルフローベクトルを保留してもよい。

本実施例では、以下の条件が満たされた場合、該オプティカルフローベクトルを、該車線変更車両の特徴に適合するオプティカルフローベクトルとして決定してもよい。

０＜α_ｉ＜Ｔ１、且つ０＜Ｌ_ｉ＜ＴＬ
ここで、Ｔ１は所定の角度閾値を表し、ＴＬは所定の長さ閾値を表し、α_ｉはｉ番目の該オプティカルフローベクトルと水平方向との夾角を表し、Ｌ_ｉはｉ番目の該オプティカルフローベクトルの大きさを表す。

以下は角度の制約（即ち方向の制約）を例示的に説明する。

例えば、画像平面では、オプティカルフローベクトル（例えば
（外１）

で表される）と水平方向（即ちＸ軸）との［－１８０°，１８０°］の範囲内の角度はαであり、１０°を統計間隔として用い、ヒストグラムを用いて現在フレームにおける３６（例えば（１８０°－（－１８０°））／１０°＝３６）個の角度分布に分布しているオプティカルフローベクトルの数を算出する。例えば、実験分析の結果に基づいて、車線変更車両の角度値が（－１０°，１０°）の範囲内にあると考えられてもよい。また、オプティカルフローベクトルの角度は、車両が通過する車線に関する情報をさらに提供することができる。

図２は対向車線を用いる右下（ｒｉｇｈｔ ｄｏｗｎ）方向への車線変更を示す図であり、車両２が走行車線から出るように車線変更すること（１回目の車線変更）を示している。図２に示すように、車両２については、この際に前方の車両１が走行車線に戻るように車線変更しており、監視カメラの設置角度及び高さにより、この際に車両２が車両１により遮蔽されやすい。その結果、図２における車両２のような場合は（この場合、αは鈍角であり、正の値であり、且つ絶対値が大きい）、車線変更車両の検出に適さない。

図３は対向車線を用いる右下方向への車線変更を示す他の図であり、車両２が走行車線に戻るように車線変更すること（２回目の車線変更）を示している。図３に示すように、車両２については、この際に前方の車両１が既に走行車線に戻るように車線変更し、監視カメラの設置角度及び高さにより、この際に車両２が車両１により遮蔽されない。その結果、図３における車両２のような場合は（この場合、αは鋭角であり、正の値であり、且つ絶対値が小さい）、車線変更車両の検出に適する。

図４は対向車線を用いる左上（ｌｅｆｔ ｕｐ）方向への車線変更を示す図であり、車両２が走行車線から出るように車線変更すること（１回目の車線変更）を示している。図４に示すように、車両２については、この際に後方の車両３がまだ走行車線に位置し、監視カメラの設置角度及び高さにより、この際に車両２が車両３により遮蔽されない。その結果、図４における車両２のような場合は（この場合、αは鋭角であり、負の値であり、且つ絶対値が小さい）、車線変更車両の検出に適する。

図５は対向車線を用いる左上方向への車線変更を示す他の図であり、車両２が走行車線に戻るように車線変更すること（２回目の車線変更）を示している。図５に示すように、車両２については、この際に後方の車両３が走行車線から出るように車線変更しており、監視カメラの設置角度及び高さにより、この際に車両２が車両３により遮蔽されやすい。その結果、図５における車両２のような場合は（この場合、αは鈍角であり、負の値であり、且つ絶対値が大きい）、車線変更車両の検出に適さない。

上述したように、画像平面では、図３及び図４のような２種類の車線変更の車両のα（ｘ軸との夾角）が共に鋭角であるため、Ｔ１を閾値として選択してαの絶対値と比較することで、図３及び図４以外のものをフィルタリングにより除去することができる。そして、αが正の値又は負の値であるかに基づいて、左上への車線変更と右下への車線変更とを区別することができる。例えば、－１０°～＋１０°をＴ１の基準値として用いて、図２及び図５のような鈍角のものをフィルタリングにより除去してもよい。

この観点から、本発明の実施例は、従来方法で解決しにくい遮蔽の問題を回避し、従来方法では、車両の位置をリアルタイムで追跡する必要があり、例えば図２及び図５のようなものが現れる場合、車両２が部分的に遮蔽され、又は全て遮蔽されやすく、その追跡及び測位に影響を与え、検出精度に影響を与える。

なお、図２乃至図５は単なる本発明の実施例の角度の制約を例示的に説明するものであり、本発明はこれに限定されない。例えば、図２乃至図５では左側通行の交通ルールを一例にして説明しているが、右側通行の交通ルールについて具体的な実施形態を適切に調整してもよく、ここでその説明を省略する。

以下は、大きさの制約（即ちサイズの制約）を例示的に説明する。

例えば、隣接するフレームには、有限サイズの移動対象のオプティカルフローベクトルが存在する。Ｓｈｉ－Ｔｏｍａｓｉにより検出された初期特徴についてデータバッファを構成してもよく、ベクトルの大きさは、現在の特徴点とデータバッファにおける特徴点とをマッチングすることで算出されてもよい。そして、その長さに基づくフィルタリングにより必要なベクトルを取得し、例えば長さは画像の幅の０．２５倍であってもよい。

他の例として、前の複数の画像について検出された特徴点をバッファに保存し、現在のフレームに現れる特徴点とバッファにおける特徴点とが一致する場合、２つの点を連結してオプティカルフローベクトルを形成してもよい。理論的には、オプティカルフローベクトルの大きさは車両の移動速度の特性を表し、同一の車両の特徴ベクトルの移動特性は略同一である。

従って、オプティカルフローベクトルの大きさに基づいて、本車両以外の車両により生成されたオプティカルフローベクトルをフィルタリングにより除去することができる。即ち、ＴＬはオプティカルフローベクトルの大きさの閾値であり、車両の移動特性を表すことができる。また、バッファにより比較的に大きいオプティカルフローベクトルを取得してもよく、大きい閾値を選択してもよく、これによって、選別を加速することができ、計算量をさらに低減させることができる。

以上はオプティカルフローベクトルのフィルタリング方法を例示的に説明したが、以下は検出方法を説明する。

図６は本発明の実施例の車線変更車両の検出方法を示す他の図であり、図６に示すように、該方法は以下のステップを含む。

ステップ６０１：交通標示線に基づいて関心領域を設定する。

ステップ６０２：ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択する。

ステップ６０３：該複数の特徴点の該複数のフレーム画像におけるオプティカルフローベクトルを算出する。

ステップ６０４：該オプティカルフローベクトルの角度及び大きさに基づいて該オプティカルフローベクトルをフィルタリングする。

ステップ６０５：フィルタリング後の該複数のオプティカルフローベクトルの統計を取り、該複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を取得する。

本実施例では、各フレーム画像（例えばｋ番目のフレーム画像）について、フィルタリング後の複数のオプティカルフローベクトル（即ち車線変更車両の特徴に適合するオプティカルフローベクトル）の数Ｃ_ｋの統計を取り、複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を形成してもよい。

図７は本発明の実施例の分布情報を示す図である。図７に示すように、該分布情報の横座標は複数のフレーム画像のシーケンス番号を表し、縦座標は対応するオプティカルフローベクトルの数を表す。該分布情報に基づいて該複数のフレーム画像における１つ又は複数の車線変更車両を決定してもよい。例えば、図７には５つの大きなピークが現れ、複数のフレーム画像に５つの車線変更車両が現れると初歩的に決定してもよい。

本実施例では、検出精度を向上させるために、分布情報をさらに処理してもよい。

例えば、オプティカルフローの算出は、特徴点の抽出に基づいて行われる。環境における小さな変化は、特徴検出の変動を引き起こす可能性があり、オプティカルフローの算出に影響を与える。図７に示すように、例えば、環境要因の影響により、フレーム４７００の周囲に変動が発生している（円形７０１に示すパルス波形）。よって、ランダムノイズの影響を排除するために、フィルタを追加してもよい。

図６に示すように、該方法は以下のステップをさらに含んでもよい。

ステップ６０６：以下のフィルタリング式を用いて、該複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報に対して平滑化フィルタリングを行う。

Ｃ_ｋはｋ番目のフレームに対応するオプティカルフローベクトルの数であり、Ｍはｋ番目のフレームの前の連続するフレームの数であり、δ及びγは重み付け係数であり、且つδ＋γ＝１となる。なお、本発明はこれに限定されず、例えば上記の式に対して変形などを行ってもよく、実際の需要に応じて具体的な実施形態を決定してもよい。

図８は本発明の実施例の分布情報を示す他の図であり、図７の分布情報に対してフィルタリングを行うことを示している。図８に示すように、上記のフィルタリングにより、図７における部分的なランダムノイズ（円形７０１に示す波形）が既に除去されたため、検出精度をさらに向上させることができる。

本実施例では、複数のオプティカルフローベクトルの数について制約を行ってもよい。該複数のオプティカルフローベクトルの数（Ｃ）が所定の数閾値（Ｔ２）以下である場合、対応する該複数のオプティカルフローベクトルを、同一の車両からのものとして決定する。例えば、０＜Ｃ＜Ｔ２のオプティカルフローベクトルが同一の車両からのものであり、該条件を満たさないオプティカルフローベクトルがノイズに起因するものであると考えられてもよいが、本発明はこれに限定されない。

本実施例では、例えばトンネル、洞窟及び他の暗い監視のシーンでは、明滅するランプ及び輝度の変化がオプティカルフローの算出に影響を与え、例えばオプティカルフローベクトルの方向及び大きさが変動してしまう。従って、本発明の実施例は、分布情報をさらにサンプリングして車線変更を判断してもよい。

図６に示すように、該方法は以下のステップをさらに含んでもよい。

ステップ６０７：所定閾値に基づいて該分布情報をサンプリングし、一定の時間の幅を有する１つ又は複数の矩形波を生成する。

例えば、閾値Ｔ３を予め決定し、

（外２）

が閾値Ｔ３に達した場合、オプティカルフローベクトルが同一の車線変更車両からのものであることを意味し、車線変更フラグを１に設定してもよい。

図９は本発明の実施例のサンプリング後の分布情報を示す図であり、図９に示すように、該分布情報の横座標は複数のフレーム画像のシーケンス番号を表し、縦座標はオプティカルフローベクトルの数が所定閾値に達したか否かを表す。１つ又は複数の方形波を形成してもよく（図９に５つの方形波を示している）、各方形波は一定の幅を有してもよい。

例えば、フレームの数で方形波の幅を表し、図９における１番目の方形波の幅は５個のフレームの長さであり、２番目の方形波の幅は２５個のフレームの長さであり、３番目の方形波の幅は２７個のフレームの長さであり、４番目の方形波の幅は３０個のフレームの長さであり、５番目の方形波の幅は２５個のフレームの長さである。

図６に示すように、該方法は以下のステップをさらに含んでもよい。

ステップ６０８：所定の時間の長さよりも短い幅を有する矩形波をフィルタリングにより除去する。

例えば、所定の時間の長さをＮに設定してもよい。例えば、フレームの数で表し、Ｎ＝１０となる。

図１０は本発明の実施例のサンプリング後の分布情報を示す他の図であり、図９の分布情報に対してフィルタリングすることを示している。図１０に示すように、該分布情報の横座標は複数のフレーム画像のシーケンス番号を表し、縦座標はオプティカルフローベクトルの数が所定閾値に達したか否かを表す。図１０に示すように、Ｎより小さい幅を有する方形波（１番目の方形波）は既にフィルタリングにより除去され、Ｎよりも大きい幅を有する４つの方形波が保留されているため、図１０において４つの車線変更車両があると考えられてもよい。

即ち、本発明の実施例は、車線変更フラグを表すための方形波のようなグラフを取得することができる。車線変更動作が数フレーム続くため、遅延処理により可能な環境ノイズの干渉を防止することができる。例えば図９に示すように、Ｎ個の連続するフレームの車線変更フラグを１に設定してもよい。該遅延処理により、初期フィルタにおいて閾値を満たすＣ_ｋが特定のフレームのみに出現することを回避することができる。連続するＮ個のフレームの後に車線変更条件を満たした場合、該車両が車線変更車両であると判断してもよい。

なお、図９及び図１０は単なる本発明の実施例を例示的に説明するものであり、本発明はこれに限定されない。例えば方形波をフィルタリングした後に、一定の幅を有しない線を生成してもよく、即ち図１０に示す方形波の代わりに線を用いて車線変更フラグを表してもよい。

図６に示すように、該方法は以下のステップをさらに含んでもよい。

ステップ６０９：車線変更車両及び／又は車線変更車両の数を決定する。

例えば、上述したように、該所定の時間の長さ以上の幅を有する矩形波に対応する車両を車線変更車両として決定し、該所定の時間の長さ以上の幅を有する矩形波の数を該車線変更車両の数として決定してもよい。

以上は、車線変更車両の検出方法を例示的に説明した。なお、上記の図６は単なる本発明の実施例を例示的に説明するものであり、本発明はこれに限定されない。例えば、各ステップの実行順序を適切に調整してもよいし、他のステップを追加し、或いはその中のステップを削除してもよい。当業者は上記の内容に基づいて適切な変形を行ってもよく、上記図６の記載に限定されない。

本実施例では、該オプティカルフローベクトルの角度に基づいて、該オプティカルフローベクトルの交通標示線に対する方向を決定し、該オプティカルフローベクトルの該交通標示線に対する方向が所定方向であり、且つ該車線変更車両の数が所定数以上である場合、回避イベントをトリガすると決定してもよい。

例えば、オプティカルフローベクトルの交通標示線に対する方向が右下であり、且つ車線変更車両の数が５台に達した場合、回避イベントをトリガすると決定する。他の例として、オプティカルフローベクトルの交通標示線に対する方向が左上であり、且つ車線変更車両の数が１０台に達した場合、回避イベントをトリガすると決定する。本発明はこれに限定されず、実際の状況に応じて具体的な実施形態を決定してもよい。

上記の各実施例又は実施形態は単なる本発明の実施例を例示的に説明するものであり、本発明はこれに限定されず、上記の各実施例又は実施形態に基づいて適切な変形を行ってもよい。例えば、上記の各実施例又は実施形態を単独して用いてもよいし、上記の各実施例又は実施形態の１つ又は複数を組み合わせてもよい。

本実施例によれば、複数のフレーム画像の複数の特徴点に基づいてオプティカルフローベクトルを算出し、オプティカルフローベクトルの角度及び大きさに基づいてフィルタリングを行い、フィルタリング後の複数のオプティカルフローベクトルの統計を取り、複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を取得し、該分布情報に基づいて複数のフレーム画像における１つ又は複数の車線変更車両を決定する。これによって、遮蔽の影響を回避又は緩和することができ、部分的な輪郭を有する車両でも検出することができると共に、オプティカルフロー又は照明変化による計算量を効果的に低減させることができ、高い検出精度を有する。

＜実施例２＞
本発明の実施例は車線変更車両の検出装置を提供する。該装置は、例えばビデオ監視装置であってもよいし、ビデオ監視装置に配置された１つ又は複数の部材又は部品であってもよい。本実施例２の実施例と同様な内容について、説明を省略する。

図１１は本発明の実施例の車線変更車両の検出装置を示す図であり、図１１に示すように、車線変更車両の検出装置１１００は、ベクトル算出部１１０１、ベクトルフィルタリング部１１０２、ベクトル統計部１１０３及び車両決定部１１０４を含む。

ベクトル算出部１１０１は、ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択し、該複数の特徴点の該複数のフレーム画像におけるオプティカルフローベクトルを算出する。

ベクトルフィルタリング部１１０２は、該オプティカルフローベクトルの角度及び大きさに基づいて該オプティカルフローベクトルをフィルタリングし、車線変更車両の特徴に適合する複数のオプティカルフローベクトルを取得する。

ベクトル統計部１１０３は、フィルタリング後の該複数のオプティカルフローベクトルの統計を取り、該複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を取得する。

車両決定部１１０４は、該分布情報に基づいて該複数のフレーム画像における１つ又は複数の車線変更車両を決定する。

１つの実施形態では、ベクトルフィルタリング部１１０２は、以下の条件が満たされた場合、該オプティカルフローベクトルを、該車線変更車両の特徴に適合するオプティカルフローベクトルとして決定する。

０＜α_ｉ＜Ｔ１、且つ０＜Ｌ_ｉ＜ＴＬ
ここで、Ｔ１は所定の角度閾値を表し、ＴＬは所定の長さ閾値を表し、α_ｉはｉ番目の該オプティカルフローベクトルと水平方向との夾角を表し、Ｌ_ｉはｉ番目の該オプティカルフローベクトルの大きさを表す。

１つの実施形態では、車両決定部１１０４は、該複数のオプティカルフローベクトルの数が所定の数閾値以下である場合、対応する該複数のオプティカルフローベクトルを、同一の車両からのものとして決定してもよい。

図１１に示すように、車線変更車両の検出装置１１００は、第１フィルタリング部１１０５をさらに含んでもよい。

第１フィルタリング部１１０５は、以下のフィルタリング式を用いて、該複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報に対して平滑化フィルタリングを行う。

Ｃ_ｋはｋ番目のフレームに対応するオプティカルフローベクトルの数であり、Ｍはｋ番目のフレームの前の連続するフレームの数であり、δ及びγは重み付け係数であり、且つδ＋γ＝１となる。

図１１に示すように、車線変更車両の検出装置１１００は、サンプリング部１１０６及び第２フィルタリング部１１０７をさらに含んでもよい。

サンプリング部１１０６は、所定閾値に基づいて該分布情報をサンプリングし、一定の時間の幅を有する１つ又は複数の矩形波を生成する。

第２フィルタリング部１１０７は、所定の時間の長さよりも短い幅を有する矩形波をフィルタリングにより除去する。

１つの実施形態では、車両決定部１１０４は、該所定の時間の長さ以上の幅を有する矩形波に対応する車両を車線変更車両として決定し、該所定の時間の長さ以上の幅を有する矩形波の数を該車線変更車両の数として決定してもよい。

図１１に示すように、車線変更車両の検出装置１１００は、方向決定部１１０８及びイベント決定部１１０９をさらに含んでもよい。

方向決定部１１０８は、該オプティカルフローベクトルの角度に基づいて、該オプティカルフローベクトルの交通標示線に対する方向を決定する。

イベント決定部１１０９は、該オプティカルフローベクトルの該交通標示線に対する方向が所定方向であり、且つ該車線変更車両の数が所定数以上である場合、回避イベントをトリガすると決定する。

図１１に示すように、車線変更車両の検出装置１１００は、グレースケール算出部１１１０及び領域設定部１１１１をさらに含んでもよい。

グレースケール算出部１１１０は、該ビデオにおける複数のフレーム画像についてグレースケール画像を算出する。

領域設定部１１１１は、該グレースケール画像における交通標示線に基づいて関心領域を設定する。

なお、以上は本発明に関連する各部材又はモジュールのみを説明し、本発明はこれに限定されない。車線変更車両の検出装置１１００は他の部材又はモジュールをさらに含んでもよく、これらの部材又はモジュールの詳細は関連技術を参考してもよい。

また、説明の便宜上、図１１は各部材又はモジュール間の接続関係又は信号の方向のみを示し、当業者はバス接続などの各種の関連技術を採用してもよい。上記の各部材又はモジュールは例えば処理装置、記憶装置、送信機、受信機などのハードウェア機器により実現されてもよく、本発明の実施はこれらに限定されない。

本実施例によれば、複数のフレーム画像の複数の特徴点に基づいてオプティカルフローベクトルを算出し、オプティカルフローベクトルの角度及び大きさに基づいてフィルタリングを行い、フィルタリング後の複数のオプティカルフローベクトルの統計を取り、複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を取得し、該分布情報に基づいて複数のフレーム画像における１つ又は複数の車線変更車両を決定する。これによって、遮蔽の影響を回避又は緩和することができ、部分的な輪郭を有する車両でも検出することができると共に、オプティカルフロー又は照明変化による計算量を効果的に低減させることができ、高い検出精度を有する。

＜実施例３＞
本発明の実施例は、実施例２に記載の車線変更車両の検出装置を含むビデオ監視装置をさらに提供し、ここでその内容を援用する。該ビデオ監視装置は例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよく、本発明の実施例はこれに限定されない。

図１２は本発明の実施例のビデオ監視装置を示す図である。図１２に示すように、ビデオ監視装置１２００は、処理装置（例えば中央処理装置：ＣＰＵ）１２１０及び記憶装置１２２０を含んでもよく、記憶装置１２２０は処理装置１２１０に接続される。記憶装置１２２０は、各種のデータ及び情報処理のプログラム１２２１を記憶してもよく、処理装置１２１０の制御により該プログラム１２２１を実行する。

１つの態様では、車線変更車両の検出装置１１００の機能は処理装置１２１０に統合されてもよい。ここで、処理装置１２１０は、実施例１に説明された車線変更車両の検出方法を実現するように構成されてもよい。

もう１つの態様では、車線変更車両の検出装置１１００は処理装置１２１０とそれぞれ配置されてもよく、例えば、車線変更車両の検出装置１１００は処理装置１２１０に接続されたチップであり、処理装置１２１０の制御により車線変更車両の検出装置１１００の機能を実現するように構成されてもよい。

例えば、処理装置１２１０は、ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択し、該複数の特徴点の該複数のフレーム画像におけるオプティカルフローベクトルを算出し、該オプティカルフローベクトルの角度及び大きさに基づいて該オプティカルフローベクトルをフィルタリングし、車線変更車両の特徴に適合する複数のオプティカルフローベクトルを取得し、フィルタリング後の該複数のオプティカルフローベクトルの統計を取り、該複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報を取得し、該分布情報に基づいて該複数のフレーム画像における１つ又は複数の車線変更車両を決定するように構成されてもよい。

１つの実施形態では、処理装置１２１０は、以下の条件が満たされた場合、該オプティカルフローベクトルを、該車線変更車両の特徴に適合するオプティカルフローベクトルとして決定するように構成されてもよい。

０＜α_ｉ＜Ｔ１、且つ０＜Ｌ_ｉ＜ＴＬ
ここで、Ｔ１は所定の角度閾値を表し、ＴＬは所定の長さ閾値を表し、α_ｉはｉ番目の該オプティカルフローベクトルと水平方向との夾角を表し、Ｌ_ｉはｉ番目の該オプティカルフローベクトルの大きさを表す。

１つの実施形態では、処理装置１２１０は、該複数のオプティカルフローベクトルの数が所定の数閾値以下である場合、対応する該複数のオプティカルフローベクトルを、同一の車両からのものとして決定するように構成されてもよい。

１つの実施形態では、処理装置１２１０は、以下のフィルタリング式を用いて、該複数のオプティカルフローベクトルの数の該複数のフレーム画像における分布情報に対して平滑化フィルタリングを行うように構成されてもよい。

Ｃ_ｋはｋ番目のフレームに対応するオプティカルフローベクトルの数であり、Ｍはｋ番目のフレームの前の連続するフレームの数であり、δ及びγは重み付け係数であり、且つδ＋γ＝１となる。

１つの実施形態では、処理装置１２１０は、所定閾値に基づいて該分布情報をサンプリングし、一定の時間の幅を有する１つ又は複数の矩形波を生成し、所定の時間の長さよりも短い幅を有する矩形波をフィルタリングにより除去するように構成されてもよい。

１つの実施形態では、処理装置１２１０は、該所定の時間の長さ以上の幅を有する矩形波に対応する車両を車線変更車両として決定し、該所定の時間の長さ以上の幅を有する矩形波の数を該車線変更車両の数として決定するように構成されてもよい。

１つの実施形態では、処理装置１２１０は、該オプティカルフローベクトルの角度に基づいて、該オプティカルフローベクトルの交通標示線に対する方向を決定し、該オプティカルフローベクトルの該交通標示線に対する方向が所定方向であり、且つ該車線変更車両の数が所定数以上である場合、回避イベントをトリガすると決定するように構成されでもよい。

１つの実施形態では、処理装置１２１０は、該ビデオにおける複数のフレーム画像についてグレースケール画像を算出し、該グレースケール画像における交通標示線に基づいて関心領域を設定するように構成されてもよい。

また、図１２に示すように、ビデオ監視装置１２００は、入力出力（Ｉ／Ｏ）装置１２３０及び表示装置１２４０等をさらに含んでもよい。ここで、上記各部の機能は従来技術と類似し、ここでその説明を省略する。なお、ビデオ監視装置１２００は、図１２に示す全ての構成部を含まなくてもよい。また、ビデオ監視装置１２００は、図１２に示していない構成部を含んでもよく、従来技術を参考してもよい。

本発明の実施例は、ビデオ監視装置においてプログラムを実行する際に、コンピュータに、該ビデオ監視装置において実施例１に記載の車線変更車両の検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。

本発明の実施例は、コンピュータに、ビデオ監視装置において実施例１に記載の車線変更車両の検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。

本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムは論理部により実行される時に、該論理部に上述した装置又は構成要件を実現させる、或いは該論理部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。

本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図面に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図面に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。

図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本発明に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。

Claims (10)

1. 車線変更車両の検出装置であって、
   ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択し、前記複数の特徴点の前記複数のフレーム画像におけるオプティカルフローベクトルを算出するベクトル算出手段と、
   前記オプティカルフローベクトルの角度及び大きさに基づいて前記オプティカルフローベクトルをフィルタリングし、車線変更車両の特徴に適合する複数のオプティカルフローベクトルを取得するベクトルフィルタリング手段と、
   フィルタリング後の前記複数のオプティカルフローベクトルの統計を取り、前記複数のオプティカルフローベクトルの数の前記複数のフレーム画像における分布情報を取得するベクトル統計手段と、
   前記分布情報に基づいて前記複数のフレーム画像における１つ又は複数の車線変更車両を決定する車両決定手段と、を含む、装置。
2. 前記ベクトルフィルタリング手段は、以下の条件が満たされた場合、前記オプティカルフローベクトルを、前記車線変更車両の特徴に適合するオプティカルフローベクトルとして決定し、
   ０＜α_ｉ＜Ｔ１、且つ０＜Ｌ_ｉ＜ＴＬ
   ここで、Ｔ１は所定の角度閾値を表し、ＴＬは所定の長さ閾値を表し、α_ｉはｉ番目の前記オプティカルフローベクトルと水平方向との夾角を表し、Ｌ_ｉはｉ番目の前記オプティカルフローベクトルの大きさを表す、請求項１に記載の装置。
3. 前記車両決定手段は、前記複数のオプティカルフローベクトルの数が所定の数閾値以下である場合、対応する前記複数のオプティカルフローベクトルを、同一の車両からのものとして決定する、請求項１に記載の装置。
4. 以下のフィルタリング式を用いて、前記複数のオプティカルフローベクトルの数の前記複数のフレーム画像における分布情報に対して平滑化フィルタリングを行う第１フィルタリング手段、をさらに含み、
   

   

   Ｃ_ｋはｋ番目のフレームに対応するオプティカルフローベクトルの数であり、Ｍはｋ番目のフレームの前の連続するフレームの数であり、δ及びγは重み付け係数であり、且つδ＋γ＝１となる、請求項１に記載の装置。
5. 所定閾値に基づいて前記分布情報をサンプリングし、一定の時間の幅を有する１つ又は複数の矩形波を生成するサンプリング手段と、
   所定の時間の長さよりも短い幅を有する矩形波をフィルタリングにより除去する第２フィルタリング手段と、をさらに含む、請求項１に記載の装置。
6. 前記車両決定手段は、前記所定の時間の長さ以上の幅を有する矩形波に対応する車両を車線変更車両として決定し、前記所定の時間の長さ以上の幅を有する矩形波の数を前記車線変更車両の数として決定する、請求項５に記載の装置。
7. 前記オプティカルフローベクトルの角度に基づいて、前記オプティカルフローベクトルの交通標示線に対する方向を決定する方向決定手段と、
   前記オプティカルフローベクトルの前記交通標示線に対する方向が所定方向であり、且つ前記車線変更車両の数が所定数以上である場合、回避イベントをトリガすると決定するイベント決定手段と、をさらに含む、請求項１に記載の装置。
8. 前記ビデオにおける複数のフレーム画像についてグレースケール画像を算出するグレースケール算出手段と、
   前記グレースケール画像における交通標示線に基づいて関心領域を設定する領域設定手段と、をさらに含む、請求項１に記載の装置。
9. 車線変更車両の検出方法であって、
   ビデオにおける複数のフレーム画像に基づいて複数の特徴点を選択し、前記複数の特徴点の前記複数のフレーム画像におけるオプティカルフローベクトルを算出するステップと、
   前記オプティカルフローベクトルの角度及び大きさに基づいて前記オプティカルフローベクトルをフィルタリングし、車線変更車両の特徴に適合する複数のオプティカルフローベクトルを取得するステップと、
   フィルタリング後の前記複数のオプティカルフローベクトルの統計を取り、前記複数のオプティカルフローベクトルの数の前記複数のフレーム画像における分布情報を取得するステップと、
   前記分布情報に基づいて前記複数のフレーム画像における１つ又は複数の車線変更車両を決定するステップと、を含む、方法。
10. コンピュータプログラムが記憶された記憶装置と、処理装置とを含み、
    前記処理装置は、前記コンピュータプログラムを実行することで、請求項９に記載の方法を実現する、ビデオ監視装置。

Images