JP7081438B2 - オブジェクト速度推定方法と装置及び画像処理機器 - Google Patents

Description

本発明は、画像処理技術に関し、特に、オブジェクト（object）速度推定方法と装置及び画像処理機器に関する。

高度道路交通システム（Intelligent Transportation System、ITS）が現代交通（modern transportation）の主な部分になっており、それは、交通事故など（traffic incidents）を自動検出し、これらの事故などに対応するためにこれらの情報を交通管理部門に提供することができる。ITSの一部として、交通状況監視システム（traffic state monitoring system）は、交通状況を自動検出することができ、渋滞が発生して交通状況が良くなくなる時に、それ相応の措置を行って交通状況を最適化することができる。良くない交通状況が通行時間を増加させ、社会経済の効果と利益及び生活の品質に影響を与え、エネルギー浪費及び大気汚染を来すこともある。よって、交通状況監視システムは、現代交通にとって非常に重要なものである。

交通状況は、主に次のような２つの要素により記述（describe）することができ、１つは、車両密度（vehicle density）であり、それは、道路の単位長さ当たりの車両の数量と定義され、もう１つは、車両速度（vehicle velocity）である。実際には、車両速度は、異なる類型の機器、例えば、ドップラーレーダー、GPS（Global Positioning System）機器、地下センシングライン（センサー）などにより測定することができる。デジタルカメラの普及に伴い、シティ（都市）の道路に交通監視カメラ（traffic surveillance cameras）が設置されており、これらのカメラからのビデオフレームを用いて、追加の機器などを増設する必要なく車両速度を検出することができる。

また、車両速度を検出するために、各種のビデオ処理方法が提案されている。これらの方法では、車両検出及び前景検出により車両をポジショニング（位置を確定すること）し、そして、車両を追跡し、車両の変位（displacement）に基づいて車両の速度を得ることができる。しかし、交通渋滞のとき、車両のポジショニングは、遮蔽などの原因で不正確になり、これらの方法で良い結果を得ることができなくなる恐れがある。

オプティカルフローアルゴリズム（optical flow algorithm）がローカル画素のグレースケール情報を用いて変位を計算し、車両をポジショニングする必要がないため、それは、交通渋滞のときにも正常にワーキングすることができる。

よって、本発明の実施例は、背景技術に述べた問題のうちの少なくとも１つを解決することができる、オプティカルフローアルゴリズムに基づくオブジェクト速度推定方法と装置及び画像処理機器を提供することを課題とする。

本発明の実施例の第一側面によれば、オブジェクト速度推定方法が提供され、そのうち、前記方法は、
入力された現在フレーム画像に対して前景検出及びエッジ検出を行い、前景画像及びエッジ画像を取得し；
前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定し；
前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得し；
前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値をオブジェクトの速度とすることを含む。

本発明の実施例の第二側面によれば、オブジェクト速度推定装置が提供され、そのうち、前記装置は、
入力された現在フレーム画像に対して前景検出を行い、前景画像を得るための第一検出ユニット；
入力された現在フレーム画像に対してエッジ検出を行い、エッジ画像を得るための第二検出ユニット；
前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定するための確定ユニット；
前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを得るための第三検出ユニット；及び
前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値をオブジェクトの速度とするための計算ユニットを含む。

本発明の実施例の第三側面によれば、画像処理機器が提供され、そのうち、前記画像処理機器は、前述の第二側面に記載のオブジェクト速度推定装置を含む。

本発明の実施例の第四側面によれば、コンピュータ可読プログラムが提供され、そのうち、オブジェクト速度推定装置又は画像処理機器中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、本発明の実施例の第一側面に記載のオブジェクト速度推定方法を実行させる。

本発明の実施例の第五側面によれば、コンピュータ可読プログラムを記憶した記憶媒体が提供され、そのうち、前記コンピュータ可読プログラムは、コンピュータに、本発明の実施例の第一側面に記載のオブジェクト速度推定方法を実行させる。

本発明の実施例による有益な効果は、次の通りであり、即ち、先ず、現在のフレームの前景及びエッジを抽出することで、候補検出領域を取得し、そして、該候補検出領域からコーナーポイント（corner pixels）を抽出し、これらのコーナーポイントに基づいてオプティカルフローを計算することで、これらのコーナーポイントの速度を取得し、最後に、計算された速度の平均値をオブジェクト（前景）の速度とすることができる。車両速度の推定に用いる時に、車両の速度を迅速且つロバストに推定することができるため、交通状態の検出、渋滞の検出、及び他のインテリジェント交通の応用に適用することができる。

実施例1におけるオブジェクト速度推定方法の１つの実施方式を示す図である。 現在フレーム画像に対して前景検出を行って前景画像を得ることを示す図である。 現在フレーム画像に対して背景検出を行って背景画像を得ることを示す図である。 候補検出領域に対しての検出より得られたコーナーポイントのうちからコーナーポイントを選択することを示す図である。 実施例1におけるオブジェクト速度推定方法の他の実施方式を示す図である。 実施例2におけるオブジェクト速度推定装置を示す図である。 実施例3における画像処理機器を示す図である。

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。なお、便宜のため、実施例では、車両速度の推定を例として説明を行う。

本実施例は、オブジェクト速度推定方法を提供する。図1は、本実施例のオブジェクト速度推定方法の１つの実施方式を示す図である。図1に示すように、該方法は、次のようなステップを含む。

ステップ101：入力された現在フレーム画像（現在のフレームの画像）に対して前景検出及びエッジ検出を行い、前景画像及びエッジ画像を取得し；
ステップ102：前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定し；
ステップ103：前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得し；
ステップ104：前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値をオブジェクトの速度とする。

本実施例では、現在のフレームの前景及びエッジを抽出することで、候補検出領域を取得し、そして、該候補検出領域からコーナーポイントを抽出し、これらのコーナーポイントに基づいてオプティカルフローを計算することで、これらのコーナーポイントの速度を取得し、最後に、計算された速度の平均値をオブジェクト（前景）の速度とする。これにより、車両の速度を迅速且つロバストに推定することができる、例えば、交通状態の検出、渋滞の検出、及び他のインテリジェント交通の応用において車両速度を推定することができる。

なお、図1は、本発明の実施例を例示的に説明したが、本発明は、これに限定されない。例えば、各ステップ間の実行順序を適切に変更したり、そのうちのステップを減らしたり、他のステップを追加したりすることもできる。即ち、当業者は、図1の記載に限定されず、上述の内容に基づいて適切に変更することもできる。

本実施例では、入力された現在フレーム画像は、入力されたビデオ画像のうちの１つのフレーム（画像）であっても良く、ビデオフレーム画像と略称され、又は、該ビデオフレーム画像中の関心領域（Region Of Interest、ROI）であっても良く、本実施例では、I_videoにより表される。

本実施例では、車両をオブジェクトとすることを例とする。車両の速度を推定するために、車両を道路から分離する必要があり、道路について言えば、車両は、前景と見なすことができ、この場合、道路は、背景と見なされる。よって、ステップ101では、前景検出方法、例えば、混合ガウスモデル方法を用いて、I_video中の前景画素を検出することで、車両（前景）を道路（背景）から分離し、前景画像を得ることができ、ここでは、I_foregroundと表される。

１つの実施方式では、現在フレーム画像中のある画素点が前景であれば、その画素値を1とすることができ、逆に、現在フレーム画像中のある画素点が背景であれば、その画素値を0とすることができ、これにより、前景画像I_foregroundを得ることができる。該前景画像I_foregroundは、次のような公式で表すことができる。

そのうち、（y，x）は、現在フレーム画像中の画素点の垂直及び水平座標を示す。

本実施例では、現在フレーム画像に車両がない可能性もあるため、本実施例では、得られた前景画像の面積（又は、画素数）に基づいて、後続の処理を行うかを決定することができる。

１つの実施方式では、得られた前景画像の面積に基づいて、後続の処理を行うかを決定することができ、例えば、該前景画像の面積が該現在フレーム画像の高さ、幅、及び第一閾値の三者の乗積以上であるかを判断し、「はい」と判断された場合、現在フレーム画像に車両があると見なし、又は、検出された前景画像が道路から分離された車両を表していると言っても良く、この場合、後続の処理を継続して行うことができ、そうでない場合、現在フレーム画像に対しての処理を終了し、次の１つのフレーム画像に対しての処理を行っても良い。

本実施方式では、該前景画像の面積は、area_foregroundと表されれば、

であり、area_foreground≧Th₁・height・widthの場合、後続の処理を継続して行う。

また、area_foreground＜Th₁・height・widthの場合、現在フレーム画像に対しての処理を終了し、次の１つのフレーム画像があれば、次の１つのフレーム画像に対して処理を行う。

上述の公式では、Th₁は、第一閾値であり、それは、予め設定されたものであって良く、１つの経験値であっても良く、現在フレーム画像の面積、車両の面積、現在フレーム画像を得たカメラの視角などのファクターに関連するが、本実施例では、その具体的な値について限定しない。上述の公式では、heightは、現在フレーム画像の高さであり、widthは、現在フレーム画像の幅である。

もう１つの実施方式では、得られた前景画像の画素数に基づいて、後続の処理を行うかを決めても良く、例えば、該前景画像の画素数と現在フレーム画像の画素数との比が所定範囲内にあるかを判断し、又は、該前景画像の画素数と現在フレーム画像の画素数との差が所定範囲内にあるかを判断し、「はい」と判断された場合、現在フレーム画像に車両があると見なし、又は、検出された前景画像が道路から分離された車両を表していると言っても良く、この場合、後続の処理を継続して行うことができ、そうでない場合、現在フレーム画像に対しての処理を終了し、次の１つのフレーム画像に対して処理を行っても良い。

本実施方式では、該所定範囲について限定せず、経験値であっても良く、また、判断対象が異なる（例えば、前述の比又は前述の差）ことにより異なる値を取っても良く、もちろん、同じ値を取っても良いが、具体的には、実際の状況に応じてその値を決めても良い。

図2は、現在フレーム画像200に対して前景検出を行った後に得られた前景画像300を示す図である。図2に示す例では、図2の左側に示すように、現在フレーム画像200は、入力画像201の関心領域であるが、前述のように、現在フレーム画像は、入力画像201であっても良い。また、図2の右側に示すように、前景検出により得られた前景画像300は、車両が所在する位置である。

本実施例では、コーナーポイントがエッジ画素の一部であるため、コーナー検出前に先ずエッジ画素を取得し、該エッジ画素を用いてコーナー検出を助けることができる。よって、ステップ101では、さらに、エッジ検出方法、例えば、Canny法、Sobel法などを用いて、現在フレーム画像に対してエッジ検出を行い、エッジ画素を抽出し、そして、該エッジ画素を標識することで、エッジ画像を得ることができ、ここでは、I_edgeと表される。

該エッジ画像I_edgeは、次のような公式で表すことができる。

図3は、現在フレーム画像200に対してエッジ検出を行った後に得られたエッジ画像400を示す図である。図3に示す例では、図3の右側に示すように、エッジ検出により得られたエッジ画像400は、車両の大体の輪郭である。図3に示す例では、現在フレーム画像200に１つのみの車両があるため、エッジ検出により得られたエッジ画像400は、該車両のみの輪郭であるが、他の例では、現在フレーム画像200に車両以外の他の物体、例えば、分離帯、指示線、横断歩道、街路灯、案内サインなども存在する可能性があり、この場合、エッジ検出により得られたエッジ画像400は、他の輪郭も含む。

本実施例では、前景検出及びエッジ検出の実行順序について限定せず、本実施例では、先ず、前景検出を行い、その後、エッジ検出を行うケースを例とし、これにより、前景検出により得られた前景画像の面積（又は、画素数）に基づいて後続の処理を行うかを判断することができ、後続の処理を行う必要がなく、即ち、現在フレーム画像に対しての処理を終了し、次の１つの画像の処理に進む場合、計算量を減少させ、後続のフレーム画像への検出の安定性を保証することができる。他の例では、先にエッジ検出を行い、そして前景検出を行っても良く、又は、前景検出及びエッジ検出を同時に行っても良い。

本実施例では、前景画像は、現在フレーム画像中のオブジェクト、例えば、車両を示しており、エッジ画像は、現在フレーム画像中の物体のエッジ、例えば、車両の輪郭などを示している。前景画像及びエッジ画像を得た後に、ステップ102でコーナー検出のための候補検出領域を確定することができる。

ステップ102では、前景画像中の画素点及びエッジ画像中の画素点に対して「AND」論理演算を行うことで得られた画素点を候補検出領域中の画素点とし、これにより、候補検出領域を得ることができ、ここでは、I_candidateと表される。

該候補検出領域I_candidateは、次のような公式で表すことができる。

本実施例では、図2及び図3に示す例では、現在フレーム画像200に１つのみの車両があるため、前景画素（前景画像300中の画素点）及びエッジ画素（エッジ画像400中の画素点）に対してAND論理演算を行った後に得られた後続の検出領域における画素点は、エッジ画像400中の画素点と同じであり、これらの画素点は、すべて、車両の輪郭を構成している。他の例では、エッジ画像400に車両の輪郭を構成するエッジ画素以外に他のエッジ画素が含まれる可能性があり、この場合、ステップ102のAND論理演算の後に、エッジ画像400中の他のエッジ画素を除去し、車両の輪郭を構成するエッジ画素のみを残すことができる。同様に、前景画像300において、車両が所在する位置に対応する前景画素以外に、他の位置の前景画素が含まれる可能性があり、この場合、ステップ102のAND論理演算の後に、車両の輪郭を構成する前景画素のみを残すことができる。

本実施例では、候補検出領域（図3に示す例では、該後続の検出領域は、エッジ画像400と同じである）を得た後に、ステップ103で該候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを得ることができる。本実施例では、具体的なコーナー検出方法について限定しない。以下、１つの例を示しているが、当業者が該例に基づいて得た任意の他の実施可能なコーナー検出方法も、本発明の範囲に属する。

１つの実施方式では、候補検出領域中の各画素点について、該画素点のHarris演算子を計算し、Harris演算子のレスポンスが「ローカル最大」で且つ第二閾値よりも大きい画素点作をコーナーポイントとし、これにより、候補検出領域中のすべでのコーナーポイントを得ることができる。ここでの「ローカル最大」とは、該コーナーポイントのHarris演算子のレスポンスがその隣接するコーナーポイントのHarris演算子のレスポンスよりも大きいことを指し、以下、便宜のため、「最大」と言う。

本実施方式では、Harris演算子を候補検出領域に適用し、候補検出領域中の各コーナーポイントに対して、偏導関数I_x及びI_yによりベクトルA_Harrisを計算し、その後、Harris演算子のレスポンスR_Harrisを得ることができる。

A_Harris及びR_Harrisは、それぞれ、次のように表すことができる。

上述の公式では、I_xは、コーナーポイント(y，x)の画像グレースケール値の、x方向上での変化率であり、I_yは、コーナーポイント(y，x)の画像グレースケール値の、y方向上での変化率であり、I_x及びI_yは、すべて、偏導関数であり、kは、定数である。

本実施方式では、R_Harrisの最大値（R_maxと表されても良い）に１つの定数cをかけることにより第二閾値を取得することができ、ここでは、thresh_Rと表される。R_max及びthresh_Rは、それぞれ、次のように表すことができる。

R_max＝max R_Harris(y，x)（I_candidate(y，x)＝1によって制限される）
thresh_R＝ｃ・R_max
Harris演算子のレスポンスが最大で且つ該第二閾値thresh_Rよりも大きい画素点は、コーナーポイントと見なすことができ、これにより、コーナーポイント画像を得ることができ、ここでは、I_connerと表される。

該コーナーポイント画像I_connerは、次のような公式で表すことができる。

上述の方法により、候補検出領域中のすべてのコーナーポイントを得ることができる。前述のように、本実施例は、コーナー検出方法について限定せず、他の既存のコーナー検出方法又は将来に開発のコーナー検出方法を用いて候補検出領域に対してコーナー検出を行うことで、候補検出領域中のすべてのコーナーポイントを取得することもできる。

例えば、もう１つの実施方式では、Shi-Tomasiコーナー検出方法を使用することもできる。Harrisコーナー検出方法と同様に、本実施方式では、Harris演算子を候補検出領域中の画素点に適用し、各画素点のHarris演算子についてのレスポンスを計算し、また、前の１つ実施方式中の同様な規則でコーナーポイントを得ることができる。

Shi-Tomasiコーナー検出方法とHarrisコーナー検出方法との相違点は、Harris演算子のレスポンスの計算方法が異なることにある。Harrisコーナー検出方法では、レスポンス値の計算方法は、

であり、Shi-Tomasiコーナー検出方法では、レスポンス値の計算方式は、

であり、そのうち、λ₁及びλ₂は、ベクトルA_Harrisの２つの固有値である。Harrisコーナー検出に比べ、Shi-Tomasiコーナー検出によるコーナーポイントの抽出は、より安定であるが、固有値を計算する必要があるため、より大きい計算量を要する。

また、例えば、他の実施方式では、FASTコーナー検出方法を用いて候補検出領域中のコーナーポイントを抽出しても良い。FASTコーナー検出は、前述の２つの実施方式に比べ、計算量がより小さい。その具体的な計算プロセスは、次の通りであり、即ち、候補検出領域中の各画素点pについて、そのグレースケール値をI_pとし、その周囲の隣接領域内で時計回り又は反計回りの順序で順次16個の隣接する画素点を選択し、ここでは、Iⁱ _n（i=1，2，3，…，16）と表される。それから、順次I_pとIⁱ _nを比較し、また、閾値tも設定し、もしIⁱ _nがI_p+tよりも大きく、又は、Iⁱ _nがI_p-tよりも小さくすることができる、連続した12個の隣接点が存在すれば、この画素点pは、コーナーポイントと見なすことができる。

本実施方式では、計算量を減少させるために、さらに、得られたすべてのコーナーポイントのうちから一部を選択して後続の処理を行っても良く、例えば、得られたコーナーポイントのうちから、Harris演算子のレスポンスが最大のk個のコーナーポイントを選択し、また、選択されたこのk個のコーナーポイントが比較的小さい領域内に集中しないようにさせるために、さらに、最小距離の制限を使用しても良く、即ち、選択されたコーナーポイント間の距離が第三閾値（thresh_distと表される）よりも大きくなる必要がある。

以下、k個のコーナーポイントを選択する１つのアルゴリズムを示している。

図4は、選択された5個のコーナーポイントを示しており、図4に示すように、選択されたこれらのコーナーポイントは、車両の異なる位置に分布しており、その速度は、該車両の速度を表すことができる。

本実施方式では、１つの例外があり、それは、コーナーポイントの数量がkよりも小さい場合であり、このような場合、コーナーポイントの数量が比較的少ないため、車両の速度を表すことができず、後続の処理の安定性に影響を与える可能性がある。よって、このような場合、本実施例では、現在フレーム画像に対しての処理を終了し、次の１つのフレーム画像（ある場合）に対して処理を行っても良い。

上述のことに基づいて、本実施例の方法では、候補検出領域中のすべてのコーナーポイントを得た後に、先ず、得られたすべてのコーナーポイントの数量が第一所定数量kよりも小さいかを判断し、「はい」と判断された場合、現在フレーム画像に対しての処理を終了し、「いいえ」と判断された場合、得られたすべてのコーナーポイントのHarris演算子のレスポンスの、大から小への順序に従って、得られたすべてのコーナーポイントのうちから第一所定数量kのコーナーポイントを選択し、そのうち、選択された前記第一所定数量kのコーナーポイント間の距離は、第三閾値よりも大きい。

本実施例では、コーナーポイントを得た後に、ステップ104ですべてのコーナーポイントの速度を計算し、そして、すべてのコーナーポイントの速度の平均値を該前景画像（即ち、前述車両）の速度とすることができる。

１つの実施方式では、オプティカルフロー計算公式により各コーナーポイントの速度を計算することができる。以下、オプティカルフロー計算公式の１つの例を示しているが、本実施例は、これに限定されない。

上述の公式では、I_x、I_y、及びI_tは、コーナーポイント(y，x)の画像グレースケール値の、異なる次元の偏導関数であり、そのうち、I_xは、コーナーポイント(y，x)の画像グレースケール値の、x方向上での変化率であり、I_yは、コーナーポイント(y，x)の画像グレースケール値の、y方向上での変化率であり、I_tは、コーナーポイント(y，x)の画像グレースケール値の、時間上での変化率である、v_x及びv_yは、コーナーポイント(y，x)の２つの次元上での速度である。

この公式を用いて、k次ガウス加重最小二乗を解くことで、k個のコーナーポイントの速度v_x及びv_yを得ることができる。

本実施例では、上述の計算方法は、若干の仮説に基づくものであり、例えば、照明条件が時間の次元上で不変であるとする。しかし、交通ビデオ画像では、天気が変わった時に、照明条件もそれに伴って変わる。これらの仮説が成立しなければ、計算結果が不正確になる可能性がある。速度推定のロバスト性を向上させるために、本実施例では、さらに、上述の検出されたオプティカルフロー、即ち、計算されたk個のコーナーポイントの速度に対して検証及びフィルタリングを行っても良い。

本実施例では、次の２つの側面から検証を行っても良く、即ち、１つは、上述のk個のコーナーポイントの速度v_x及びv_yが上限を有すべきであり、これは、v_x及びv_yを１つの閾値よりも小さくする必要があることを意味し、本実施例では、第四閾値と称され、thresh_vと表され、即ち、各コーナーポイントについて、v_x＜thresh_v及びv_y＜thresh_vを要し、もう１つは、速度ベクトルの方向
（外１）

（v_x及びv_yの組み合わせ）が道路の方向
（外２）

に接近することを要し、即ち、

であり、ここでの道路の方向とは、車両の走行方向を指す。

１つの実施方式では、計算された各コーナーポイントの速度について、該コーナーポイントの速度が第四閾値以上であるかを判断し、又は、該コーナーポイントの速度ベクトルの方向が道路の方向と異なるかを判断しても良く、「はい」と判断されたとき、即ち、速度が速すぎる又は方向が異なる場合、このコーナーポイントは車両のコーナーポイントに対応するものでない可能性があり、その速度は、車両の速度を表すことができず、この場合、該コーナーポイントの速度を捨てても良く、即ち、上述の平均値を計算する時に該コーナーポイントの速度を考慮しない。本実施方式では、「いいえ」と判断された場合、即ち、速度が上述の閾値に達しておらず且つ方向が同じである場合、このコーナーポイントは車両のコーナーポイントに対応するものであり、且つその速度は車両の速度を表すことができると認め、この場合、上述の平均値を計算する時に、該コーナーポイントの速度を考慮する。

上述の検証により最後に得られた速度の平均値は、車両の速度とすることができ、次のように表することができる。

ガウス加重最小二乗を 上述の公式では、k個のコーナーポイントが前述の検証をパスしたとし、また、v_iは、第i個目のコーナーポイントの速度であり、第i個目のコーナーポイントのx、y方向上での速度成分v_x及びv_yからなり、即ち、

である。

本実施例では、計算結果の正確性を向上させるために、さらに上述のk個のコーナーポイント（検証をパスしても良く、しなくても良い）の速度の平均値に対してフィルタリングを行っても良い。例えば、次の公式のように、移動平均の方法で該平均値に対して時間の次元上でフィルタリングを行うことで得られた速度を車両の速度としても良い。

上述の公式では、αは、予め設定された因子であり、それは、定数であり、v_aveは、上述の平均値であり、v_t-1は、前の１つのフレームの移動平均の速度であり、v_tは、現在のフレームの移動平均の速度である。

図5は、本実施例のオブジェクト速度推定方法のもう１つの実施方式を示す図である。図5に示すように、該方法は、次のようなステップを含む。

ステップ501：現在フレーム画像に対して前景検出を行い、前景画像を取得し；
ステップ502：前景画像の面積が第一閾値よりも大きいかを判断し、判断の結果が「はい」の場合、ステップ503を実行し、そうでない場合、次の１つのフレーム画像に対しての処理を行い；
ステップ503：現在フレーム画像に対してエッジ検出を行い、エッジ画像を取得し、前景画像及びエッジ画像に基づいて候補検出領域を生成し；
ステップ504：候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得し；
ステップ505：コーナーポイントの数量が第二閾値よりも大きいかを判断し、判断の結果が「はい」の場合、ステップ506を実行し、そうでない場合、次の１つのフレーム画像に対しての処理を行い；
ステップ506：すべてのコーナーポイントの速度を計算し、すべてのコーナーポイントの速度の平均値を取得し；
ステップ507：すべてのコーナーポイントの速度の平均値に対して検証及びフィルタリングを行い、オブジェクトの速度を得る。

図5に示す例では、上述のステップの各種の実施方式は、前に既に説明されているため、ここでは、その詳しい説明を省略する。

なお、図5は、本発明の実施例を例示的に説明したが、本発明は、これに限定されない。例えば、各ステップ間の実行順序を適切に変更したり、そのうちの幾つかのステップを減らしたり、他の幾つかのステップを追加したりすることもできる。即ち、当業者は、上述の図5の記載に限定されず、上述の内容に基づいて適切に変更することもできる。

なお、以上、本発明に関連する各ステップ又はプロセスについて説明したが、本発明は、これに限定されない。オブジェクト速度推定方法は、さらに他のステップ又はプロセスを含んでも良く、これらのステップ又はプロセスの具体的な内容については、従来技術を参照することができる。

本実施例における方法により、オブジェクトの速度を正確に推定することができ、計算量が小さく、安定性が高く、且つロバスト性が高い。また、車両速度の推定に用いる時に、車両の速度を迅速且つロバストに推定することができ、交通状態の検出、渋滞の検出、及び他のインテリジェント交通の応用に適用することができる。

本実施例は、オブジェクト速度推定装置を提供し、該装置は、例えば、画像処理又はビデオ処理を行うための電子機器であっても良く、電子機器に配置される１つ又は複数の部品又はアセンブリであっても良い。該装置が問題を解決する原理は、実施例1の方法と同様であるため、その具体的な実施は、実施例1の方法の実施を参照することができ、内容が同じである重複説明は、省略される。

図6は、本実施例のオブジェクト速度推定装置600を示す図である。図6に示すように、該オブジェクト速度推定装置600は、第一検出ユニット601、第二検出ユニット602、確定ユニット603、第三検出ユニット604、及び計算ユニット605を含む。第一検出ユニット601は、入力された現在フレーム画像に対して前景検出を行い、前景画像を取得し；第二検出ユニット602は、入力された現在フレーム画像に対してエッジ検出を行い、エッジ画像を取得し；確定ユニット603は、前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定し；第三検出ユニット604は、前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得し；計算ユニット605は、前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値を前記オブジェクト速度とする。

上述の各ユニットの具体的な実施は、図1中の各ステップの実施を参照することができ、ここでは、その詳しい説明を省略する。

本実施例の１つ実施方式では、図6に示すように、該装置600は、さらに次のようなものを含んでも良い。

第一判断ユニット606：第一検出ユニット601が現在フレーム画像に対して前景検出を行って前景画像を得た後に、該前景画像の面積が現在フレーム画像の高さ、幅、及び第一閾値の三者の乗積以上であるかを判断し；
第一判断ユニット606の判断結果が「はい」の場合、第一検出ユニット601は、後続の処理を継続して行い；
第一判断ユニット606の判断結果が「いいえ」の場合、第一検出ユニット601は、現在フレーム画像に対しての処理を終了する。

本実施例では、確定ユニット603は、前景画像中の画素点及びエッジ画像中の画素点に対してAND論理演算を行うことで得られた画素点を上述の候補検出領域中の画素点とすることができる。

本実施例では、第三検出ユニット604は、上述の候補検出領域中のHarris演算子のレスポンスが最大で且つ第二閾値よりも大きい画素点をコーナーポイントとし、これにより、複数のコーナーポイントを取得することができる。

本実施例の１つ実施方式では、図6に示すように、該装置600は、さらに次のようなものを含んでも良い。

第二判断ユニット607：第三検出ユニット604により得られたすべてのコーナーポイントの数量が第一所定数量よりも小さいかを判断し；
第二判断ユニット607の判断結果が「はい」の場合、第三検出ユニット604は、現在フレーム画像に対しての処理を終了し；
第二判断ユニット607の判断結果が「いいえ」の場合、第三検出ユニット604は、得られたすべてのコーナーポイントのHarris演算子のレスポンスの、大から小への順序に従って、得られたすべてのコーナーポイントのうちから第一所定数量のコーナーポイントを上述の複数のコーナーポイントとして選択し、そのうち、選択された該第一所定数量のコーナーポイント間の距離は、第三閾値よりも大きい。

本実施例では、計算ユニット605は、オプティカルフロー計算公式を用いて、各コーナーポイントの速度を計算し、すべてのコーナーポイントの速度の平均値を前記オブジェクトの速度とすることができる。本実施例では、オプティカルフロー計算公式について限定せず、実施例1では、既に１つの例を示している。

本実施例の１つ実施方式では、図6に示すように、該装置600は、さらに、次のようなものを含んでも良い。

第三判断ユニット608：計算された各コーナーポイントの速度について、該コーナーポイントの速度が第四閾値以上であるか、又は、該コーナーポイントの速度ベクトルの方向が道路の方向と異なるかを判断し；
第三判断ユニット608の判断結果が「はい」の場合、計算ユニット605は、該コーナーポイントの速度を捨てる。

本実施例の１つの実施方式では、図6に示すように、該装置600は、さらに、次のようなものを含んでも良い。

後処理ユニット609：移動平均の方法で上述の平均値に対して時間の次元でフィルタリングを行うことで得られた速度を前記オブジェクトの速度とする。

なお、以上、本発明に関連する各部品又はモジュールを説明したが、本発明は、これに限定されない。オブジェクト速度推定装置600は、さらに他の部品又はモジュールを含んでも良く、これらの部品又はモジュールの具体的な内容は、従来技術を参照することができる。

本実施例における装置により、オブジェクトの速度を正確に推定することができ、計算量が小さく、安定性が高く、且つロバスト性が高い。また、車両速度の推定に用いる時に、車両の速度を迅速且つロバストに推定することができ、交通状態の検出、渋滞の検出、及び他のインテリジェント交通の応用に適用することができる。

本実施例は、画像処理機器を提供し、該画像処理機器は、実施例2に記載のオブジェクト速度推定装置を含む。

図7は、本実施例の画像処理機器を示す図である。図7に示すように、画像処理機器700は、中央処理装置（CPU）701及び記憶器702を含み、記憶器702は、中央処理装置701に接続される。そのうち、該記憶器702は、各種のデータを記憶することができ、また、さらに情報処理用のプログラムを記憶し、且つ中央処理装置701の制御下で該プログラムを実行することができる。

１つの実施方式では、オブジェクト速度推定装置600の機能は、中央処理装置701に統合することができる。そのうち、中央処理装置701は、実施例1に記載のオブジェクト速度推定方法を実現するように構成されても良い。

もう１つの実施方式では、オブジェクト速度推定装置600は、中央処理装置701と別々で配置されても良く、例えば、オブジェクト速度推定装置を、中央処理装置701に接続されるチップとして構成し、中央処理装置701の制御によりオブジェクト速度推定装置の機能を実現しても良い。

本実施例では、中央処理装置701は、次のような制御を行うように構成されても良く、即ち、入力された現在フレーム画像に対して前景検出及びエッジ検出を行い、前景画像及びエッジ画像を取得し；前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定し；前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得し；及び、前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値を前記オブジェクト速度とする。

また、図7に示すように、画像処理機器700は、さらに、入出力（I/O）装置703、表示器704などを含み、そのうち、上述の部品の機能は、従来技術と同様であるため、ここでは、その詳しい説明を省略する。なお、画像処理機器700は、必ずしも図7中のすべての部品を含む必要がない。また、画像処理機器700は、さらに図7に無いものを含んでも良く、これについては、従来技術を参照することができる。

また、本発明の実施例は、コンピュータ可読プログラムを提供し、そのうち、オブジェクト速度推定装置又は画像処理機器中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、実施例1に記載のオブジェクト速度推定方法を実行させることができる。

さらに、本発明の実施例は、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、実施例1に記載のオブジェクト速度推定方法を実行させることができる。

なお、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。

また、上述の実施例などに関し、さらに次のように付記を開示する。

（付記1）
オブジェクト速度推定方法であって、
入力された現在フレーム画像に対して前景検出及びエッジ検出を行い、前景画像及びエッジ画像を取得し；
前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定し；
前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得し；及び
前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値を前記オブジェクト速度とすることを含む、方法。

（付記2）
付記1に記載の方法であって、
前記現在フレーム画像は、ビデオフレーム画像、又は、ビデオフレーム画像中の関心領域である、方法。

（付記3）
付記1に記載の方法であって、
現在フレーム画像に対して前景検出を行い、前景画像を得た後に、前記方法は、さらに、
前記前景画像の面積が前記現在フレーム画像の高さ、幅、及び第一閾値の三者の乗積以上であるかを判断し、「はい」と判断された場合、後続の検出ステップを行い、「いいえ」と判断された場合、現在フレーム画像についての処理を終了する、方法。

（付記4）
付記1に記載の方法であって、
前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定することは、
前記前景画像中の画素点及び前記エッジ画像中の画素点に対してAND論理演算を行ることで得られた画素点を前記候補検出領域中の画素点とすることを含む、方法。

（付記5）
付記1に記載の方法であって、
前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得することは、
前記候補検出領域中の各画素点について、前記画素点のHarris演算子のレスポンスが最大で且つ第二閾値よりも大きい場合、前記画素点をコーナーポイントとし、これにより得られた前記候補検出領域中のすべてのコーナーポイントを前記複数のコーナーポイントとすることを含む、方法。

（付記6）
付記5に記載の方法であって、さらに、
得られたすべてのコーナーポイントの数量が第一所定数量よりも小さいかを判断することを含み、
「はい」と判断された場合、現在フレーム画像についての処理を終了し、
「いいえ」と判断された場合、得られたすべてのコーナーポイントのHarris演算子のレスポンスの、大から小への順序に従って、得られたすべてのコーナーポイントのうちから第一所定数量のコーナーポイントを前記複数のコーナーポイントとして選択し、そのうち、選択された前記第一所定数量のコーナーポイント間の距離は、第三閾値よりも大きい、方法。

（付記7）
付記1に記載の方法であって、
オプティカルフロー計算公式により各コーナーポイントの速度を計算し、すべてのコーナーポイントの速度の平均値と前記オブジェクトの速度とする、方法。

（付記8）
付記7に記載の方法であって、さらに、
計算された各コーナーポイントの速度について、前記コーナーポイントの速度が第四閾値以上であるか、又は、前記コーナーポイントの速度ベクトルの方向が道路の方向と異なるかを判断することを含み、
「はい」と判断された場合、前記コーナーポイントの速度を捨てる、方法。

（付記9）
付記7に記載の方法であって、さらに、
移動平均の方法で前記平均値に対して時間の次元（time dimension）でフィルタリングを行うことで得られた速度を前記オブジェクトの速度とすることを含む、方法。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

1. オブジェクトの速度を推定する装置であって、
   入力された現在フレーム画像に対して前景検出を行い、前景画像を得るための第一検出ユニット；
   入力された現在フレーム画像に対してエッジ検出を行い、エッジ画像を得るための第二検出ユニット；
   前記前景画像及び前記エッジ画像に基づいて、候補検出領域を確定するための確定ユニット；
   前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを得るための第三検出ユニット；及び
   前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値を前記オブジェクトの速度とするための計算ユニットを含む、装置。
2. 請求項1に記載の装置であって、
   前記第一検出ユニットが現在フレーム画像に対して前景検出を行って前景画像を得た後に、前記前景画像の面積が前記現在フレーム画像の高さ、幅、及び第一閾値の三者の乗積以上であるかを判断するための第一判断ユニットをさらに含み、
   前記第一判断ユニットにより「はい」と判断された場合、前記第一検出ユニットは、後続の処理を行い、
   前記第一判断ユニットにより「いいえ」と判断された場合、前記第一検出ユニットは、現在フレーム画像に対しての処理を終了する、装置。
3. 請求項1に記載の装置であって、
   前記確定ユニットは、前記前景画像中の画素点及び前記エッジ画像中の画素点に対して論理積（AND）演算を行うことで得られた画素点を前記候補検出領域中の画素点とする、装置。
4. 請求項1に記載の装置であって、
   前記第三検出ユニットは、前記候補検出領域中のHarris演算子のレスポンスが最大であり且つ第二閾値よりも大きい画素点をコーナーポイントとすることで、複数のコーナーポイントを取得する、装置。
5. 請求項4に記載の装置であって、
   前記第三検出ユニットにより得られたすべてのコーナーポイントの数量が第一所定数量よりも小さいかを判断するための第二判断ユニットをさらに含み、
   前記第二判断ユニットにより「はい」と判断された場合、前記第三検出ユニットは、現在フレーム画像に対しての処理を終了し、
   前記第二判断ユニットにより「いいえ」と判断された場合、前記第三検出ユニットは、得られたすべてのコーナーポイントのHarris演算子のレスポンスの、大から小への順序に従って、得られたすべてのコーナーポイントのうちから第一所定数量のコーナーポイントを前記複数のコーナーポイントとして選択し、また、選択された前記第一所定数量のコーナーポイント間の距離は、第三閾値よりも大きい、装置。
6. 請求項1に記載の装置であって、
   前記計算ユニットは、オプティカルフロー計算公式を用いて各コーナーポイントの速度を計算し、すべてのコーナーポイントの速度の平均値を前記オブジェクトの速度とする、装置。
7. 請求項6に記載の装置であって、
   計算された各コーナーポイントの速度について、該コーナーポイントの速度が第四閾値以上であるか、又は、該コーナーポイントの速度ベクトルの方向が道路の方向と異なるかを判断するための第三判断ユニットをさらに含み、
   前記第三判断ユニットにより「はい」と判断された場合、前記計算ユニットは、前記コーナーポイントの速度を捨てる、装置。
8. 請求項6に記載の装置であって、
   移動平均の方法で前記平均値に対して時間的にフィルタリングを行うことで得られた速度を前記オブジェクトの速度とするための後処理ユニットをさらに含む、装置。
9. オブジェクトの速度を推定する方法であって、
   入力された現在フレーム画像に対して前景検出及びエッジ検出を行い、前景画像及びエッジ画像を取得し；
   前記前景画像及び前記エッジ画像に基づいて候補検出領域を確定し；
   前記候補検出領域に対してコーナー検出を行い、複数のコーナーポイントを取得し；及び
   前記複数のコーナーポイントの速度を計算し、前記複数のコーナーポイントの速度の平均値を前記オブジェクト速度とすることを含む、方法。
10. 請求項１～８のうちの任意の１項に記載の装置を含む、画像処理機器。

Images