JP4919036B2 - 移動物体認識装置 - Google Patents
移動物体認識装置 Download PDFInfo
- Publication number
- JP4919036B2 JP4919036B2 JP2007019319A JP2007019319A JP4919036B2 JP 4919036 B2 JP4919036 B2 JP 4919036B2 JP 2007019319 A JP2007019319 A JP 2007019319A JP 2007019319 A JP2007019319 A JP 2007019319A JP 4919036 B2 JP4919036 B2 JP 4919036B2
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- moving object
- recognition
- optical flow
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Description
本発明は、画像データから移動物体を認識する移動物体認識装置に関する。
近年、車両の運転に際して、より安全性を向上させる技術が種々提案されている。その一つとして、車両に接近する、とりわけ後方から接近する他の車両を移動物体として認識する移動物体認識装置が提案されている。下記に出典を示す特許文献１〜３には、このような移動物体認識の技術が記載されている。
特許文献１には、斜め後方走行車を検出する方法が記載されている。この方法では、撮影画像から導出されたオプティカルフローと、車速センサによる自車の走行速度に対応したオプティカルフローとに基づいて斜め後方の走行車を検出する。つまり、画像処理により得られるオプティカルフローと、自車の走行速度において撮影画像のフレーム間の画像の移動ベクトルとして算出されるオプティカルフローとの一致／不一致に基づいて検出する。そして、斜め後方の走行車が検出された場合には、画像処理・演算部から警報部に駆動信号が出力されて、警報部から警報が発せられる。
特許文献２には、夜間やトンネルなどの暗所の走行時においても良好に他の車両を認識することのできる車両後方監視装置の技術が開示されている。これによれば、走行方向検出手段及び走行距離検出手段により自車両の移動量を検出し、これによりオプティカルフロー算出のための無限遠点の位置を変更する。つまり、画像データに依らずに無限遠点の位置を変更可能に構成することによって、暗所走行時においても、認識精度を確保する。
そして、算出したオプティカルフローに基づいて算出された警報の必要性に応じて、警報部を介して運転者に対して注意を促す。
そして、算出したオプティカルフローに基づいて算出された警報の必要性に応じて、警報部を介して運転者に対して注意を促す。
特許文献３には、自車が直進走行していない状況においても、得られたオプティカルフローに基づいて車両周囲の移動物体を良好に認識可能な技術が開示されている。これによれば、自車両の運動方向データを検出する運動方向検出手段を備え、分類されたオプティカルフロー群をこの運動方向データに基づいて補正する。つまり、自車の運動がオプティカルフローに与える影響を補償して移動物体を抽出する。そして、走行路に対する自車の位置とオプティカルフローから相対速度を算出し、距離センサからの距離信号に基づいて警報が必要と判断された場合に警報装置を作動させる。
上述した特許文献に記載された技術は、オプティカルフローを算出して自車両への他車の接近を認識し、必要に応じて乗員に警報を発している。オプティカルフローは、異なる時刻に撮影された画像間において同じ対象点を結ぶ動きベクトルであり、画像データの輝度情報の相関関係に基づいて算出される。従って、天候や場所、時刻などの周囲の状況によっては、画像のコントラストが低いなどの理由により、正確にオプティカルフローを算出できない場合がある。
例えば、雨天の場合には、自車が巻き上げる水しぶきにより自車から後続車への視界を妨げ、不鮮明な後方画像しか得られない場合がある。このような場合には正確なオプティカルフローの算出も妨げられる。
オプティカルフローの算出が不正確となると、移動物体の認識率も低下する。その結果、他車が接近しても警報を発することができなかったり、他車の接近が無いにも拘らず警報を発したりする場合がある。特に、他車の接近が無いにも拘らず警報を発することが頻発すると、乗員が移動物体認識のシステムを信用しなくなる可能性がある。その結果、正確な警報に対しても無視したり、システムを使用しなくなったりして、安全性の向上が損なわれる。
例えば、雨天の場合には、自車が巻き上げる水しぶきにより自車から後続車への視界を妨げ、不鮮明な後方画像しか得られない場合がある。このような場合には正確なオプティカルフローの算出も妨げられる。
オプティカルフローの算出が不正確となると、移動物体の認識率も低下する。その結果、他車が接近しても警報を発することができなかったり、他車の接近が無いにも拘らず警報を発したりする場合がある。特に、他車の接近が無いにも拘らず警報を発することが頻発すると、乗員が移動物体認識のシステムを信用しなくなる可能性がある。その結果、正確な警報に対しても無視したり、システムを使用しなくなったりして、安全性の向上が損なわれる。
本願は、このような課題に鑑みて創案されたもので、移動物体認識に係る画像処理の結果の確実性を良好に示すことが可能であり、必要に応じ適切な報知を可能とする移動物体認識装置を提供することを目的とする。
上記目的を達成するため、本発明に係る移動物体認識装置は、
撮影装置により時系列に撮影された画像データを取得するデータ取得部と、
前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、異なる時刻に撮影された２つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部とを備えて、異なる時刻に撮影された２つの前記画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して前記移動物体の認識を行う認識部と、
少なくとも前記特徴点抽出部、前記オプティカルフロー算出部、前記グルーピング部による画像処理を含む複数の画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す一次中間信頼度と、
前記一次中間信頼度の何れか１つが選択され、又は前記一次中間信頼度の複数が融合された二次中間信頼度と、
前記二次中間信頼度が高い方から所定の割合に含まれる前記オプティカルフローに対する前記二次中間信頼度が平均された平均信頼度と、
１つの認識対象となる前記移動物体に許容される大きさと、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算され、当該認識された移動物体が前記認識対象となる移動物体であるか否かの確実性を示す対象物信頼度と、
前記認識対象となる移動物体の大きさに相当する範囲に対し、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する位置が分散する度合いに基づいて演算され、当該認識された移動物体が存在する位置の確実性を示す位置精度信頼度との少なくとも１つを用いて前記移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部と、を備えることを特徴とする。
撮影装置により時系列に撮影された画像データを取得するデータ取得部と、
前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、異なる時刻に撮影された２つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部とを備えて、異なる時刻に撮影された２つの前記画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して前記移動物体の認識を行う認識部と、
少なくとも前記特徴点抽出部、前記オプティカルフロー算出部、前記グルーピング部による画像処理を含む複数の画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す一次中間信頼度と、
前記一次中間信頼度の何れか１つが選択され、又は前記一次中間信頼度の複数が融合された二次中間信頼度と、
前記二次中間信頼度が高い方から所定の割合に含まれる前記オプティカルフローに対する前記二次中間信頼度が平均された平均信頼度と、
１つの認識対象となる前記移動物体に許容される大きさと、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算され、当該認識された移動物体が前記認識対象となる移動物体であるか否かの確実性を示す対象物信頼度と、
前記認識対象となる移動物体の大きさに相当する範囲に対し、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する位置が分散する度合いに基づいて演算され、当該認識された移動物体が存在する位置の確実性を示す位置精度信頼度との少なくとも１つを用いて前記移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部と、を備えることを特徴とする。
この特徴構成によれば、認識部における各画像処理結果のうちの少なくとも１つの結果に基づいて認識信頼度が演算される。認識部における画像処理には、通常、種々のものが含まれるがそのうちの少なくとも１つの結果に基づいて認識信頼度が演算される。画像処理は、一連の流れとして実行されるから、このようにして演算された認識信頼度は、移動物体認識に係る画像処理の結果の確実性を良好に示すものとなる。そして、この認識信頼度を用いれば、必要に応じて信頼性の高い報知を可能とすることもできる。
また、上記特徴構成によれば、本発明に係る移動物体認識装置の前記認識部は、前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、異なる時刻に撮影された２つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローのうち、１つの前記移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部とを備え、前記複数の画像処理を実行して移動物体の認識を行う。
認識部が実行する複数の画像処理は、上記特徴抽出部と、オプティカルフロー算出部と、グルーピング部とによって実行される。移動物体の認識には、異なる画像間における同一の特徴点を結ぶ動きベクトルであるオプティカルフローを用いると都合がよい。当然ながら、このオプティカルフローの算出には、正確な特徴点の抽出が必要である。また、複数の移動物体や背景に対して算出されるオプティカルフローを用いて単一の移動物体を認識するには、個々の移動物体に対してオプティカルフローをグルーピングすることが好ましい。
従って、本構成のように、特徴抽出部と、オプティカルフロー算出部と、グルーピング部とによって複数の画像処理を実行すると良好に移動物体の認識を行うことができる。また、上述したように、これら複数の画像処理は一連の流れとして実行される。従って、これらの画像処理の少なくとも１つの結果に基づいて演算される認識信頼度は、移動物体認識に係る画像処理の結果の確実性を良好に示すものとなる。
従って、本構成のように、特徴抽出部と、オプティカルフロー算出部と、グルーピング部とによって複数の画像処理を実行すると良好に移動物体の認識を行うことができる。また、上述したように、これら複数の画像処理は一連の流れとして実行される。従って、これらの画像処理の少なくとも１つの結果に基づいて演算される認識信頼度は、移動物体認識に係る画像処理の結果の確実性を良好に示すものとなる。
また、上記特徴構成によれば、本発明に係る移動物体認識装置の前記信頼度演算部は、以下の少なくとも１つを用いて認識信頼度を演算する。
即ち、前記信頼度演算部は、前記一次中間信頼度と、前記二次中間信頼度と、前記平均信頼度と、前記対象物信頼度と、前記位置精度信頼度との少なくとも１つを用いて前記認識信頼度を演算する。
即ち、前記信頼度演算部は、前記一次中間信頼度と、前記二次中間信頼度と、前記平均信頼度と、前記対象物信頼度と、前記位置精度信頼度との少なくとも１つを用いて前記認識信頼度を演算する。
複数の画像処理の結果を複合的に用いることによって、認識対象となる移動物体の確からしさを定量化して、認識信頼度を演算することができる。
また、本発明に係る移動物体認識装置は、以下の特徴構成を備えることができる。
前記オプティカルフロー算出部は、
先に撮影された前記画像データの前記特徴点の周辺の対象領域と、
一定時間経過後に撮影された前記画像データの中で前記対象領域との相関値が最も高い領域と、に基づいて前記オプティカルフローを算出する。
そして、前記信頼度演算部は、
前記相関値に基づいて、算出された前記オプティカルフローの確実性を示すオプティカルフロー信頼度を演算し、
前記オプティカルフロー信頼度を用いて前記認識信頼度を演算する。
前記オプティカルフロー算出部は、
先に撮影された前記画像データの前記特徴点の周辺の対象領域と、
一定時間経過後に撮影された前記画像データの中で前記対象領域との相関値が最も高い領域と、に基づいて前記オプティカルフローを算出する。
そして、前記信頼度演算部は、
前記相関値に基づいて、算出された前記オプティカルフローの確実性を示すオプティカルフロー信頼度を演算し、
前記オプティカルフロー信頼度を用いて前記認識信頼度を演算する。
オプティカルフロー演算部は、２つの画像間における相関値を利用してオプティカルフローを算出する。上述したように、画像が撮影される環境によって撮影された画像のコントラストなど、画質が変動する場合がある。従って、オプティカルフローを算出する際の相関値にも変動が生じる。相関値は、画質が低下すれば低下する傾向にあるから、この相関値に基づいてオプティカルフロー信頼度を演算することができる。上述したように、画像処理の少なくとも１つの結果に基づいて認識信頼度が演算されるから、オプティカルフロー信頼度を用いて認識信頼度を演算することができる。
また、本発明に係る移動物体認識装置は、以下の特徴構成を備えることができる。
前記グルーピング部は、算出された前記オプティカルフローのうち、
オプティカルフローの延長線が所定の収束範囲内で１点の消失点に収束すると共に、
オプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなる、オプティカルフローを１つの前記移動物体に属するオプティカルフローとしてグルーピングする。
そして、前記信頼度演算部は、
グルーピングされたオプティカルフローの収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピングされたオプティカルフローが１つの前記移動物体に属する確実性を示すグルーピング信頼度を演算し、
前記グルーピング信頼度を用いて前記認識信頼度を演算する。
前記グルーピング部は、算出された前記オプティカルフローのうち、
オプティカルフローの延長線が所定の収束範囲内で１点の消失点に収束すると共に、
オプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなる、オプティカルフローを１つの前記移動物体に属するオプティカルフローとしてグルーピングする。
そして、前記信頼度演算部は、
グルーピングされたオプティカルフローの収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピングされたオプティカルフローが１つの前記移動物体に属する確実性を示すグルーピング信頼度を演算し、
前記グルーピング信頼度を用いて前記認識信頼度を演算する。
グルーピング部は、オプティカルフローの延長線の消失点への収束性と、外分比とに基づいて、１つの移動物体に属するオプティカルフローをグルーピングする。一般のカメラは透視カメラモデルであり、このカメラを用いて３次元空間から２次元画像に透視変換された画像は、上記条件によってグルーピングすることができる。この条件を満たすには、２つの２次元画像間において移動物体が回転を伴わない並進運動をしていることが条件となる。時系列に受け取る２次元画像の時間差において、移動物体と撮影装置との相対速度によって移動する距離が充分に小さければ、並進運動とみなすことができる。
消失点への収束性が低かったり、外分比のばらつきが大きかったりすると、並進運動に伴う運動ベクトルの集合体としてのオプティカルフローが１つの移動物体に属する確実性が低いことになる。上述したように、画像処理の少なくとも１つの結果に基づいて認識信頼度が演算されるから、グルーピングの確実性を示すグルーピング信頼度を用いて認識信頼度を演算することができる。
消失点への収束性が低かったり、外分比のばらつきが大きかったりすると、並進運動に伴う運動ベクトルの集合体としてのオプティカルフローが１つの移動物体に属する確実性が低いことになる。上述したように、画像処理の少なくとも１つの結果に基づいて認識信頼度が演算されるから、グルーピングの確実性を示すグルーピング信頼度を用いて認識信頼度を演算することができる。
ここで、前記信頼度演算部は、各グルーピング基準に対してグルーピングされた各オプティカルフローが有する偏差及び当該偏差の分散の一方又は双方に基づいて前記収束度を演算することができる。
オプティカルフローの消失点への収束性や外分比のばらつきを、各グルーピング基準に対する偏差や当該偏差の分散によって定量化することによって、移動物体認識に係る画像
処理の結果の確実性を良好に示すことが可能となる。
処理の結果の確実性を良好に示すことが可能となる。
また、本発明に係る移動物体認識装置は、以下の特徴構成を備えることができる。
前記特徴点抽出部は、前記画像データにおける前記特徴点の固有性を示す特徴量を算出する。
そして、前記信頼度演算部は、前記特徴量に基づいて抽出された前記特徴点の確実性を示す特徴点信頼度を演算し、
前記特徴点信頼度を用いて前記認識信頼度を演算する。
前記特徴点抽出部は、前記画像データにおける前記特徴点の固有性を示す特徴量を算出する。
そして、前記信頼度演算部は、前記特徴量に基づいて抽出された前記特徴点の確実性を示す特徴点信頼度を演算し、
前記特徴点信頼度を用いて前記認識信頼度を演算する。
オプティカルフローを精度良く算出するには、画像データから認識対象パターンとなる特徴点を精度良く抽出することが重要である。特徴点は、周辺の画像に比べ、例えば輝度が大きく異なるなどの特徴（固有性）を有している。この固有性は当然画像データの画質にも影響される。従って、特徴点抽出の際には固有性を定量的に示す特徴量が算出される。特徴量が低いと、特徴点の固有性が低く、他の特徴点との混同の可能性が高くなる。上述したように、画像処理の少なくとも１つの結果に基づいて認識信頼度が演算されるから、特徴点の確実性を示す特徴点信頼度を用いて認識信頼度を演算することができる。
また、本発明に係る移動物体認識装置は、
前記認識部が、時系列に撮影され取得される前記画像データに応じて、時系列に前記画像処理を実行するものであり、
前記信頼度演算部が、時系列に実行される前記画像処理に応じて、時系列に前記認識信頼度を演算するものであって、
さらに、以下の特徴構成を備えることができる。
前記信頼度演算部において最新の前記画像処理に応じて演算される前記認識信頼度は、
当該最新の前記画像処理の結果と、
前記画像処理の前回の結果を用いて演算された前回の前記認識信頼度と、
に基づいて演算されることを特徴とする。
前記認識部が、時系列に撮影され取得される前記画像データに応じて、時系列に前記画像処理を実行するものであり、
前記信頼度演算部が、時系列に実行される前記画像処理に応じて、時系列に前記認識信頼度を演算するものであって、
さらに、以下の特徴構成を備えることができる。
前記信頼度演算部において最新の前記画像処理に応じて演算される前記認識信頼度は、
当該最新の前記画像処理の結果と、
前記画像処理の前回の結果を用いて演算された前回の前記認識信頼度と、
に基づいて演算されることを特徴とする。
この構成によれば、最新の画像処理の結果と、前回の画像処理の結果とに基づいて、時間的な連続性を有して認識信頼度が演算される。従って、突発的な画像データの乱れによる影響を抑制して、良好に認識信頼度を演算することができる。
また、本発明に係る移動物体認識装置は、さらに、
前記認識部が、時系列に撮影され取得された前記画像データの時間差、及び、前記画像データを用いて時系列に前記画像処理を実行されて求められた前記移動物体の位置、に基づいて前記移動物体の各時刻における瞬間速度及び平均速度を演算し、
前記信頼度演算部が、前記平均速度に対する前記瞬間速度の逸脱量に基づいて、認識された前記移動物体が時系列の前記画像処理を通じ、連続して同一のものであるか否かの確実性を示す連続性信頼度を演算し、前記連続性信頼度を用いて前記認識信頼度を演算することを特徴とする。
前記認識部が、時系列に撮影され取得された前記画像データの時間差、及び、前記画像データを用いて時系列に前記画像処理を実行されて求められた前記移動物体の位置、に基づいて前記移動物体の各時刻における瞬間速度及び平均速度を演算し、
前記信頼度演算部が、前記平均速度に対する前記瞬間速度の逸脱量に基づいて、認識された前記移動物体が時系列の前記画像処理を通じ、連続して同一のものであるか否かの確実性を示す連続性信頼度を演算し、前記連続性信頼度を用いて前記認識信頼度を演算することを特徴とする。
同一の移動物体は、速度や位置が飛躍的に変化することはない。従って、同一の移動物体を連続して認識していることの確実性を示す連続性信頼度を用いると良好に認識信頼度を演算することができる。
また、本発明に係る移動物体認識装置は、前記認識信頼度に応じて、前記移動物体の認識結果を報知する報知部を備えることができる。
この構成によれば、移動物体認識に係る画像処理の結果の確実性を良好に示すと共に、必要に応じ適切な報知を可能とする移動物体認識装置を提供することができる。
また、本発明に係る移動物体認識装置の前記報知部は、前記移動物体の認識結果を以下のように報知することを特徴とする。
前記認識信頼度が所定の第１しきい値以上の場合には、視覚及び聴覚の少なくとも一方により利用者が迅速に認識可能な警報モードで報知する。
前記認識信頼度が前記第１しきい値未満、且つ前記第１しきい値よりも小さい値に設定された第２しきい値以上の場合には、前記警報モードよりも認識性が低い注意モードで報知する。
前記認識信頼度が前記第２しきい値未満の場合には、報知を行わない。
前記認識信頼度が所定の第１しきい値以上の場合には、視覚及び聴覚の少なくとも一方により利用者が迅速に認識可能な警報モードで報知する。
前記認識信頼度が前記第１しきい値未満、且つ前記第１しきい値よりも小さい値に設定された第２しきい値以上の場合には、前記警報モードよりも認識性が低い注意モードで報知する。
前記認識信頼度が前記第２しきい値未満の場合には、報知を行わない。
この特徴によれば、必要に応じ適切な報知、即ち、警報モードや注意モードでの報知を可能とする。また、認識信頼度が第２しきい値を下回るなど非常に低い場合には報知を行わない。従って、移動物体の接近が無いにも拘らず警報を発するようなことを抑制することができる。また、認識信頼度が第１しきい値を下回るなど比較的低い場合でも、警報モードよりも認識性の低い注意モードで報知するので、安全性を向上することができる。
以下、本発明の実施形態を図面に基づいて説明する。ここでは、本発明の移動物体認識装置を車両に適用し、自車両に接近する他の車両を認識する場合を例として説明する。
図１は、本発明の移動物体認識装置の論理的な構成を模式的に示すブロック図である。また、図２は、車両の一部を切り欠いて運転席を見た斜視図である。
本発明の移動物体認識装置は、図２に示すようにＥＣＵ（electronic control unit）２０を中核部品として構成され、車両３０に搭載される。ＥＣＵ２０は、図１に示すように、情報の入出力を行う入出力インターフェース２１を備えると共に、この入出力インターフェース２１からの情報を処理するマイクロプロセッサを備えている。もちろん、入出力インターフェース２１の一部又は全てがマイクロプロセッサに含まれていてもよい。ＥＣＵ２０は、マイクロプロセッサを中核部品とする電子回路により構成されている。また、当該マイクロプロセッサに内蔵され、あるいは別部品としてメモリやレジスタなどによって構成される記憶部を有している。
本発明の移動物体認識装置は、図２に示すようにＥＣＵ（electronic control unit）２０を中核部品として構成され、車両３０に搭載される。ＥＣＵ２０は、図１に示すように、情報の入出力を行う入出力インターフェース２１を備えると共に、この入出力インターフェース２１からの情報を処理するマイクロプロセッサを備えている。もちろん、入出力インターフェース２１の一部又は全てがマイクロプロセッサに含まれていてもよい。ＥＣＵ２０は、マイクロプロセッサを中核部品とする電子回路により構成されている。また、当該マイクロプロセッサに内蔵され、あるいは別部品としてメモリやレジスタなどによって構成される記憶部を有している。
運転席の近傍、コンソールの上部位置には表示面にタッチパネル１０Ｔが形成されたモニタ１０が備えられている。モニタ１０は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル１０Ｔは、感圧式のものや静電式のものが使用され、指等の接触位置をロケーションデータとして出力することができる。モニタ１０にはスピーカ１１も備えられているが、スピーカ１１はドアの内側など、他の場所に備えられても良い。尚、モニタ１０はナビゲーションシステムの表示装置として用いるものを兼用しても良い。
車両３０の後端にはカメラ１３（撮影装置）が備えられている。カメラ１３はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を時系列の動画情報としてリアルタイムに出力する。カメラ１３は、車両３０を駐車させる際に利用される後方モニタ用のものを兼用することができる。この場合、カメラ１３は、水平方向の視野角１２０〜１４０度の広角カメラであり、車両１の後方に向けて光軸にやや俯角を有して設置されている。
また、車両３０には車両３０の運転操作や移動状態を検出するための各種センサが備えられている。ステアリング３４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測可能である。シフトレバー３６の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別可能である。アクセルペダル３７の操作系にはアクセルセンサ１６が備えられ、操作量が計測可能である。ブレーキペダル３８の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出可能である。
また、車両３０の移動距離センサとして、前車輪及び後車輪の少なくとも一方の車輪３２の回転量を計測する回転センサ１８が備えられている。もちろん、変速機構において、駆動系の回転量から車両３０の移動量を計測することもできる。
また、車両３０の移動距離センサとして、前車輪及び後車輪の少なくとも一方の車輪３２の回転量を計測する回転センサ１８が備えられている。もちろん、変速機構において、駆動系の回転量から車両３０の移動量を計測することもできる。
図１に示すように、本発明の移動物体認識装置は、データ取得部１と、認識部２と、信頼度演算部７と、報知判定部８との各機能部を備えている。また、認識部２は、特徴点抽出部３と、オプティカルフロー算出部４と、グルーピング部５と、移動物体判定部６との各機能部を備えている。各機能部は、入出力インターフェース２１と接続されている。この接続は、例えば、マイクロプロセッサ内外のデータバス、アドレスバス、コントロールバス、メモリ、ディスク装置（ハードディスク、光・磁気・光磁気ディスクなど）などを介して行われる。例えば、マイクロプロセッサに実行させるプログラムや、取得された画像データの一時記憶などには、内外のメモリやディスク装置が使用される。このような接続については公知であり、ここでは説明を容易にするため、詳細な図示及び説明は省略する。
データ取得部１は、カメラ１３（撮影装置）により時系列に撮影された画像データを取得する機能部である。
認識部２は、異なる時刻に撮影された２つの画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して移動物体の認識を行う機能部である。
信頼度演算部７は、認識部２における各画像処理の結果のうちの少なくとも１つの結果に基づいて、移動物体の認識の確実性を示す認識信頼度を演算する機能部である。
報知判定部８は、認識信頼度に応じて、モニタ１０やスピーカ１１などの報知装置を介して移動物体の認識結果を報知する機能部である。報知装置に対して報知出力を行う報知判定部８は本発明の報知部として機能する。また、乗員に対して、報知出力を行う報知装置も本発明の報知部として機能することができる。
特徴点抽出部３は、画像データから前記認識対象パターンとなる特徴点を抽出する機能部である。
オプティカルフロー算出部４は、異なる時刻に撮影された２つの画像データにおける特徴点に基づいて、オプティカルフローを算出する機能部である。
グルーピング部５は、オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングする機能部である。
以上、各機能部の概要を説明したが、詳細については後述する。
認識部２は、異なる時刻に撮影された２つの画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して移動物体の認識を行う機能部である。
信頼度演算部７は、認識部２における各画像処理の結果のうちの少なくとも１つの結果に基づいて、移動物体の認識の確実性を示す認識信頼度を演算する機能部である。
報知判定部８は、認識信頼度に応じて、モニタ１０やスピーカ１１などの報知装置を介して移動物体の認識結果を報知する機能部である。報知装置に対して報知出力を行う報知判定部８は本発明の報知部として機能する。また、乗員に対して、報知出力を行う報知装置も本発明の報知部として機能することができる。
特徴点抽出部３は、画像データから前記認識対象パターンとなる特徴点を抽出する機能部である。
オプティカルフロー算出部４は、異なる時刻に撮影された２つの画像データにおける特徴点に基づいて、オプティカルフローを算出する機能部である。
グルーピング部５は、オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングする機能部である。
以上、各機能部の概要を説明したが、詳細については後述する。
データ取得部１は、カメラ１３から出力される画像信号に同期分離とＡ／Ｄ変換を施し、例えば１秒間に３０フレームの画像データを取得する。勿論、認識部２の画像処理能力に応じて、１秒間に１５フレームや６０フレームとするなど、時系列に取得する画像データの所定間隔は変更可能である。得られた画像データは、ＥＣＵ２０のフレームメモリ（不図示）に蓄積され、適宜読み出されて使用される。車両３０が走行している場合、画像データが取得される所定間隔の間に車両３０や認識対象となる移動物体は、車両３０の速度や車両３０との相対速度に応じた所定距離移動する。例えば、所定距離移動後の画像データは第１画像面に投影された画像であり、所定距離移動前の画像データは第２画像面に投影された画像である。車両３０及び移動物体は大きな慣性を有しており、また、所定距離は充分に短い。従って、第１画像面の画像データと、第２画像面の画像データとは並進カメラ運動に基づく幾何学的な関係を有すると見なすことができる。
認識部２は、この幾何学的関係を利用して移動物体を認識する。図３は、ワールド座標系（Ｘ，Ｙ，Ｚ）とカメラ座標系（ｘ，ｙ，ｚ）との関係を示す図である。図４は、カメラ座標系と撮影画像の画像座標系との関係を示す図である。
３次元空間上の点Ｑは、ワールド座標系において座標値（Ｘi，Ｙi，Ｚi）を有している。
３次元空間上の点Ｑは、ワールド座標系において座標値（Ｘi，Ｙi，Ｚi）を有している。
画像座標系（ｕ，ｖ）は、カメラ座標系の光軸に一致するｚ軸に垂直な面Π（投影面、画像面）で、ｚ軸方向にカメラ座標の原点ｏからカメラの焦点距離ｆだけ離れた２次元座標系である。投影面と光軸とが交わる点が、画像中心ＯIである。また、理想的には、画像座標系のｕ軸はカメラ座標系のｘ軸と平行であり、ｖ軸はカメラ座標系のｙ軸と平行である。図中のθは、ｕ軸とｖ軸との為す角度であるが、ここでは、画像座標系（ｕ，ｖ）が直交座標系であり、θが９０度として説明を続ける。
一般のカメラはピンホールカメラに代表される透視カメラモデル（perspective camera model）である。このカメラによって３次元空間の点Ｑが２次元画像に変換される。点Ｑは、図４に示すように投影面Πに投影される。
ワールド座標系に対するカメラ座標系の姿勢に関する変換行列を回転行列Ｒ（式(1)）、ワールド座標系に対するカメラ座標系の位置に関する変換行列を並進ベクトルＳ（式(2)）とし、カメラ内部パラメータを成分に含むカメラ内部行列Ａ（式(3)）とすると、透視カメラ行列Ｐは下記に示す式(4)で表される。
ワールド座標系に対するカメラ座標系の姿勢に関する変換行列を回転行列Ｒ（式(1)）、ワールド座標系に対するカメラ座標系の位置に関する変換行列を並進ベクトルＳ（式(2)）とし、カメラ内部パラメータを成分に含むカメラ内部行列Ａ（式(3)）とすると、透視カメラ行列Ｐは下記に示す式(4)で表される。
尚、カメラ内部行列Ａにおいて（ｕ0，ｖ0）は画像中心座標、ｋｕ及びｋｖはｕ及びｖ方向へのスケールファクター（単位長さ当たりの撮像素子の画素数）である。
図５は、オプティカルフロー（optical flow）の基本概念について説明する図である。説明を容易にするため、ここでは認識対象物である移動物体４０を直方体で模擬している。図４から明らかなように、カメラと対象物との位置関係によって、撮影画像Π（投影面、画像面）への変換画像は異なる。図５には、移動物体４０がカメラに近づいてきている場合に、時系列に撮影された２枚の画像Π1とΠ2とを示している。最新の撮影画像Π1は上述した第１画像面に相当し、過去の撮影画像Π2は上述した第２画像面に相当する。尚、ここでは簡略化のために撮影画像Πとしては、認識の対象物である直方体のみを示している。
２次元画像上の点ｍ１１〜ｍ１４は、最新の撮影画像Π1上での特徴点ｍ１ｉ（ｉ＝１，２，・・・，ｎ）である。２次元画像上の点ｍ２１〜ｍ２４は、過去の撮影画像Π2条での特徴点ｍ２ｉ（ｉ＝１，２，・・・，ｎ）である。最新の撮影画像Π1に過去の撮影画像Π2を重ねて表示した場合に、特徴点ｍ２iから特徴点ｍ１ｉに向かうベクトル（動きベクトル）をオプティカルフローと称する。
カメラ１３が搭載された車両３０及び移動物体４０は共に大きな慣性を有している。また、時系列に取得される画像データの時間差は微小である。従って、上述したように、カメラ座標に対する移動物体４０の運動は回転成分Ｒを含まない並進運動であるとみなすことができる。
ここで、１つの移動物体４０のオプティカルフローを延長する。延長された直線Ｌはいわゆる無限遠点（point at infinity）あるいは消失点（vanishing point）として定義される出現点ＦＯＥ（focus of expansion）において１点で交わる。即ち、３次元空間中を並進する移動物体４０の各特徴点は、画像面上において共通の出現点ＦＯＥを持つ。当然ながら異なる移動物体が互いに平行ではない並進運動をしている場合には、それぞれのオプティカルフローは異なる出現点に収束する。
ここで、１つの移動物体４０のオプティカルフローを延長する。延長された直線Ｌはいわゆる無限遠点（point at infinity）あるいは消失点（vanishing point）として定義される出現点ＦＯＥ（focus of expansion）において１点で交わる。即ち、３次元空間中を並進する移動物体４０の各特徴点は、画像面上において共通の出現点ＦＯＥを持つ。当然ながら異なる移動物体が互いに平行ではない並進運動をしている場合には、それぞれのオプティカルフローは異なる出現点に収束する。
カメラ座標において並進している１つの物体のオプティカルフローには、撮影画像が図４に示すような透視変換された画像であれば以下の関係が成立する。
式(5)において、ｍ１ｉは最新の撮影画像Π1の特徴点の画像上の座標、ｍ２ｉは過去の撮影画像Π2の特徴点の画像上の座標、ｍｆｏｅは出現点ＦＯＥの画像上の座標、Ｃは定数である。
即ち、オプティカルフローの一方の端点（最新の画像の特徴点ｍ１ｉ）を外分点として、他方の端点（過去の画像の特徴点ｍ２ｉ）を超えて出現点ｍｆｏｅに至る線分（Ｌ２：ｍ１ｉ−ｍｆｏｅ）と、当該オプティカルフロー（Ｌ１：ｍ１ｉ−ｍ２ｉ）と、の外分比Ｃが所定の許容範囲内（例えば±α）で等しくなる。
尚、外分比としては、例えば出現点ｍｆｏｅを外分点としてもよい。
即ち、オプティカルフローの一方の端点（最新の画像の特徴点ｍ１ｉ）を外分点として、他方の端点（過去の画像の特徴点ｍ２ｉ）を超えて出現点ｍｆｏｅに至る線分（Ｌ２：ｍ１ｉ−ｍｆｏｅ）と、当該オプティカルフロー（Ｌ１：ｍ１ｉ−ｍ２ｉ）と、の外分比Ｃが所定の許容範囲内（例えば±α）で等しくなる。
尚、外分比としては、例えば出現点ｍｆｏｅを外分点としてもよい。
認識部２は、このようなオプティカルフローの基本概念を利用して移動物体４０を認識する。以下、図６に示すフローチャートも利用して、移動物体認識の手順について説明する。
〔画像データ取得工程（図６＃１）〕
上述したように、データ取得部１は、カメラ１３から出力される画像信号に同期分離とＡ／Ｄ変換を施して画像データを取得する。カメラ１３は上述したように広角レンズを用いているので、撮影画像には歪が生じている。また、遠方の分解能が低く、カメラ１３の取り付け位置も低い。これらの撮影画像の条件はワールド座標との相関を保って画像処理を実行する上で好ましくない。そこで、認識部２による認識処理を実行する前に種々の補正処理が実行される。この補正処理（正規化処理）は、画像データ取得部１において実行してもよいし、認識部２において実行してもよい。また、別に正規化部等の別の機能部を設けて実行してもよい。本実施形態では、画像データ取得部１において下記に示す画像正規化工程が実施される場合を例として説明する。
上述したように、データ取得部１は、カメラ１３から出力される画像信号に同期分離とＡ／Ｄ変換を施して画像データを取得する。カメラ１３は上述したように広角レンズを用いているので、撮影画像には歪が生じている。また、遠方の分解能が低く、カメラ１３の取り付け位置も低い。これらの撮影画像の条件はワールド座標との相関を保って画像処理を実行する上で好ましくない。そこで、認識部２による認識処理を実行する前に種々の補正処理が実行される。この補正処理（正規化処理）は、画像データ取得部１において実行してもよいし、認識部２において実行してもよい。また、別に正規化部等の別の機能部を設けて実行してもよい。本実施形態では、画像データ取得部１において下記に示す画像正規化工程が実施される場合を例として説明する。
〔画像正規化工程（図６＃２）〕
画像データ取得部１は、カメラ１３から出力され所定の処理を施されてフレームメモリに格納された画像データ（撮影画像データ）に対して、レンズ特性に応じた歪補正処理を実行する。そして、補正後の画像データ（歪補正後画像データ）を別のフレームメモリに格納する。補正後の画像データは、図３及び図４に示したような透視投影図となる。補正後の画像データの座標（ｘ，ｙ）と、それに対応する補正前の画像データの座標（ｘ’，Ｙ’）とは、下式(6)〜(9)に示す関係を満たすように補正される。
画像データ取得部１は、カメラ１３から出力され所定の処理を施されてフレームメモリに格納された画像データ（撮影画像データ）に対して、レンズ特性に応じた歪補正処理を実行する。そして、補正後の画像データ（歪補正後画像データ）を別のフレームメモリに格納する。補正後の画像データは、図３及び図４に示したような透視投影図となる。補正後の画像データの座標（ｘ，ｙ）と、それに対応する補正前の画像データの座標（ｘ’，Ｙ’）とは、下式(6)〜(9)に示す関係を満たすように補正される。
ここで、（ｘ0，ｙ0）は補正後の画像データの歪中心座標、（ｘ’0，ｙ’0）は、補正前の画像データの歪中心座標である。
カメラ１３は俯角を有して設置されているから、さらに、カメラ１３の光軸（図４に示すｚ軸）の向きを水平にした場合の画像に変換してもよい。この場合には、変換前の画像データの座標を（ｘ’，ｙ’）、変換後の画像データの座標を（ｘ”、ｙ”）として下式(10)、(11)を満たすように変換される。
ここで、βはカメラ１３のチルト角（本例では水平からの俯角）、ｋzはスケール因子、ｅ０は画像変換前の出現点ＦＯＥと画像中心との距離、Ｗ＝［ｗij］は画像変換行列を示す。
〔画像処理領域設定工程（図６＃３）〕
認識部２は、このようにして補正された画像データを用いて、移動物体４０の認識を行う。但し、画像データの全領域を認識対象とすると、計算量が膨大となるので、状況に応じて画像処理の対象となる領域を設定する。この領域設定は、後述する特徴点抽出、オプティカルフロー算出、グルーピング等の一連の処理の前に行ってもよいし、特徴点抽出後のオプティカルフロー算出前に行うなど随時実施することができる。移動物体認識は、時系列に取得される画像データに対応して逐次、時系列に実施されるので、その認識処理の状況に応じて対象領域を設定が設定される。
認識部２は、このようにして補正された画像データを用いて、移動物体４０の認識を行う。但し、画像データの全領域を認識対象とすると、計算量が膨大となるので、状況に応じて画像処理の対象となる領域を設定する。この領域設定は、後述する特徴点抽出、オプティカルフロー算出、グルーピング等の一連の処理の前に行ってもよいし、特徴点抽出後のオプティカルフロー算出前に行うなど随時実施することができる。移動物体認識は、時系列に取得される画像データに対応して逐次、時系列に実施されるので、その認識処理の状況に応じて対象領域を設定が設定される。
〔特徴点抽出工程（図６＃４）〕
認識部２の特徴点抽出部３は、補正後の画像データから画像間の比較を行うため、認識対象パターンとなる特徴点を抽出する。そして、オプティカルフロー算出部４は、異なる時刻に撮影された２つの画像データにおける特徴点に基づいて、オプティカルフローを算出する。このように、特徴点の抽出とオプティカルフローの算出には密接な関係があるため、オプティカルフローの生成原理も交えて説明する。
認識部２の特徴点抽出部３は、補正後の画像データから画像間の比較を行うため、認識対象パターンとなる特徴点を抽出する。そして、オプティカルフロー算出部４は、異なる時刻に撮影された２つの画像データにおける特徴点に基づいて、オプティカルフローを算出する。このように、特徴点の抽出とオプティカルフローの算出には密接な関係があるため、オプティカルフローの生成原理も交えて説明する。
画像データ上にある点（ｘ，ｙ）の時刻ｔにおける輝度をＩ（ｘ，ｙ，ｔ）とする。下記式(12)、(13)は点（ｘ，ｙ）における空間的な輝度勾配を示し、下記式(14)は時間的な輝度勾配を示す。また、見かけの速度ベクトルを式(15)、(16)とおく。
式(12)〜(16)を用いて下記式(17)に示すオプティカルフローの拘束方程式が表される。
しかし、式(17)だけでは、オプティカルフローを一意に決定することができない。そこで、例えば、ＫＬＴ法（Kanade-Lucas-Tomasi tracker）では、同一物体の濃淡パターン上の局所領域において、オプティカルフローは一定であるという条件を仮定する。そして、弛緩法によるエネルギー最小化問題として特徴点（対応点）の探索を行う。この探索方法については、Bruce D.Lucas, Takao Kanade : "An Iterative Image Registration Technique with an Application to Stereo Vision", In IJCAI, 1981 や、Carlo Tomashi, Takeo Kanade : "Detection and Tracking of Point Features", Technical Report CMU-CS-91-132 April 1991に詳しいので、ここでは以下に記すような簡単に説明にとどめ、詳細な説明は省略する。
ＫＬＴ法によれば、特徴点の探索に際し、対応点ごとにＫＬＴ特徴量が演算される。そして、このＫＬＴ特徴量が所定のしきい値λTHを超えた場合に、当該対応点を特徴点として抽出する。ＫＬＴ特徴量は以下のようにして演算される。
式(12)、(13)より、点（ｘ，ｙ）における空間的な輝度勾配▽Ｉ（式(18)）のモーメント行列を式(19)とおく。
モーメント行列Ｍ（式(19)）の固有値λは、Ｅを単位行列として次式(20)のλに対する解として求められる。
本例の場合、式(20)の解は、２次方程式の解として下記式(21)、(22)に示すλ1と、λ2として求められる。
そして、例えば、下式(23)に示すように、求められた特徴量λ（λ1、λ2）の何れかが所定のしきい値λTHを超えた場合に、当該対応点が特徴点として抽出される。
ＫＬＴ特徴量は、式(23)で示したように、λ1、λ2の何れかの値そのものを用いてもよいし、”λ1／λ2”のようにλ1とλ2との比としてもよい。このようにして、特徴点抽出部３によって特徴点の固有性を示す特徴量が算出される。
〔オプティカルフロー算出工程（図６＃５）〕
オプティカルフロー算出部４は、このようにして得られた特徴点の周りにテンプレートを設定し、時系列の後の画像から当該テンプレートと相関の高い領域を探索する（テンプレートマッチング）。探索の結果、その移動ベクトルが動きベクトル（オプティカルフロー）として得られる。テンプレートマッチングの手法としては、例えば、正規化相関法（NCC : normalized cross correlation）を用いることができる。正規化相関法は、周囲の照度による影響を抑制して安定したテンプレートマッチングを可能にする方法である。初めに、時系列に得られた前後の画像データそれぞれの画像全体の平均輝度を演算し、元の画像データからこの平均輝度差し引いて正規化する。これによって、画像間の輝度の差を無くし、テンプレートと最も相関のとれる位置を高精度に探索する。
オプティカルフロー算出部４は、このようにして得られた特徴点の周りにテンプレートを設定し、時系列の後の画像から当該テンプレートと相関の高い領域を探索する（テンプレートマッチング）。探索の結果、その移動ベクトルが動きベクトル（オプティカルフロー）として得られる。テンプレートマッチングの手法としては、例えば、正規化相関法（NCC : normalized cross correlation）を用いることができる。正規化相関法は、周囲の照度による影響を抑制して安定したテンプレートマッチングを可能にする方法である。初めに、時系列に得られた前後の画像データそれぞれの画像全体の平均輝度を演算し、元の画像データからこの平均輝度差し引いて正規化する。これによって、画像間の輝度の差を無くし、テンプレートと最も相関のとれる位置を高精度に探索する。
正規化相関法では、ＭT×ＮT画素のテンプレート画像Ｔ(ｉ，ｊ)を、画像データＩ(ｉ，ｊ)内の探索範囲の画素上で動かし、次式(24)の相関係数（相関値）ＲNCC(ａ，ｂ)が最大になるようなテンプレート画像の位置を探索する。式(24)において変数の上のバーは当該領域内の平均値を示す。
尚、（ａ，ｂ）は探索範囲の画像内におけるテンプレート画像Ｔの位置を示しており、Ｉ(a,b)（ｉ，ｊ）は探索範囲の画像内における部分画像を示す。
テンプレートマッチングの手法には、他にも、残差逐次検定法（SSDA法：sequential similarity detection algorithm）や、最小２乗マッチング（least squares matching）など種々の手法がある。本例では、比較的環境の変化による影響を受けにくい手法である正規化相関法を用いる場合を例示し、この手法による相関値の導出方法について説明した。他の方法を用いた場合には、それぞれの方法によって相関値が導かれる。
テンプレートマッチングにおいて、画像データの全ての領域を探索すると、非常に計算量が多くなる。従って、上記画像処理領域設定工程（＃３）の説明において述べたように、状況に応じて探索領域を設定するとよい。例えば、移動物体の移動制約量を想定し、その制約された領域のみを探索して計算量を低減することができる。具体的には、移動物体の接近方向以外は探索しないように画像処理領域を設定する。また、過去の移動量から物理的に達することが想定しがたい領域は探索しないように画像処理領域を設定してもよい。
図６に示すフローチャートからも明らかなように、移動物体の認識処理は、時系列に取得される画像データに応じて繰り返し実行される。従って、前回のフローにおいて認識された移動物体の位置に応じ、画像処理領域設定工程において事前に探索領域を制限することができる。
図６に示すフローチャートからも明らかなように、移動物体の認識処理は、時系列に取得される画像データに応じて繰り返し実行される。従って、前回のフローにおいて認識された移動物体の位置に応じ、画像処理領域設定工程において事前に探索領域を制限することができる。
さらに、カメラ１３に近い位置にある移動物体は画像データ上の移動量が大きいので階層化処理を行い、探索領域を絞った上で詳細検索するような階層化処理を実施するようにしてもよい。
〔グルーピング工程（図６＃６）〕
グルーピング部５は、オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングする。ここで、所定の条件とは、図５に基づいて上述したように、以下の２点である。
第１に、オプティカルフローの延長線Ｌが所定の収束範囲内で１点の消失点ＦＯＥ（ｍｆｏｅ）に収束することである。
第２に、オプティカルフローの一方の端点（ｍ１ｉ）を外分点として、他方の端点（ｍ２ｉ）を超えて出現点（ｍｆｏｅ）に至る線分Ｌ２と、当該オプティカルフローＬ１との外分比が所定の許容範囲α内で等しい値Ｃとなることである。
グルーピング部５は、オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングする。ここで、所定の条件とは、図５に基づいて上述したように、以下の２点である。
第１に、オプティカルフローの延長線Ｌが所定の収束範囲内で１点の消失点ＦＯＥ（ｍｆｏｅ）に収束することである。
第２に、オプティカルフローの一方の端点（ｍ１ｉ）を外分点として、他方の端点（ｍ２ｉ）を超えて出現点（ｍｆｏｅ）に至る線分Ｌ２と、当該オプティカルフローＬ１との外分比が所定の許容範囲α内で等しい値Ｃとなることである。
この所定の条件を示した式(5)には、出現点ｆｏｅと外分比定数Ｃとの２つのパラメータがある。また、各オプティカルフローに対してパラメータが所定の許容範囲内αで同様の値であることがグルーピングの条件である。そこで、式(5)を式(25)〜(27)に基づいて式(28)のように変形し、２つの変数に対する直線の式に変形する。
式(28)に基づき、各オプティカルフロー（ｄｍｉ）のｘ成分及びｙ成分のそれぞれと、特徴点（ｍ１ｉ）との関係を示すグラフを図７に示す。図７のようにプロットされた点のうち、所定の誤差Ｄを許容して直線（パラメータ直線Ｐ）上にある点を同一の移動物体に属するオプティカルフローとしてグルーピングすることができる。プロットされた点に対してパラメータ直線Ｐを当てはめる方法には、ハフ（Hough）変換や最小２乗法など種々の方法がある。本例では、これらの手法よりも遥かに演算量が少なく、ノイズ耐性も強いＲＡＮＳＡＣ（RANdom SAmple Consensus）を用いる。
図８は、ＲＡＮＳＡＣの原理を示す説明図である。ＲＡＮＳＡＣでは、直線や曲線のフィッティングに必要な最小点数の点が標本群から選択され、フィッティングモデルが設定される。対象が直線の場合は、最小点数は２点であり、ランダムに選択された２点を結ぶ直線が、例えばフィッティングモデルｐ１，ｐ２として設定される。図８には、黒点でインライア（inlier）と称される同一のグループに属する標本群を示し、白抜き点でアウトライア(outlier)と称されるノイズ性の標本群を示している（図７のグラフ中のプロットも同様である）。フィッティングモデルｐ１は共にインライアである２点ａ、ｂが選択された場合、フィッティングモデルｐ２はアウトライアを含む２点ｃ、ｄが選択された場合を例示している。設定されたフィッティングモデルｐ１、ｐ２に対し、所定の許容幅ｄ１の範囲にどの程度標本群が適合するかが評価される。図８より、アウトライアを含むフィッティングモデルｐ２には殆ど適合しないことが容易に理解できる。順次、ランダムに２点を選んでこのような評価を繰り返し、最もフィットしたフィッティングモデルが直線として決定される。勿論、フィッティングモデルに対する適合性のしきい値を設けて当該しきい値を超えた時点で決定してもよい。
尚、図８（ａ）に示した標本群に対して例えば最小２乗法を用いて直線を設定すると、アウトライアの点ｃ及び点ｅの影響により、図８（ｂ）に示すように本来の直線とは大きく外れた直線ｐ３が設定される。オプティカルフローにはノイズ性の標本が混入する可能性が高いため、耐ノイズ性に優れたＲＡＮＳＡＣの適用は好適である。
再び、図７を参照すると、ＲＡＮＳＡＣの手法により設定されたパラメータ直線Ｐ（Ｐｘ及びＰｙ）に対して所定の許容範囲Ｄ内に含まれる点が１つのオプティカルフローのグループとして決定される。
１つのグループに分類された標本を除いて、さらに所定の許容範囲Ｄを許容してパラメータ直線Ｐに適合する標本を選択する。これによって、別の移動物体に属するオプティカルフローをグルーピングすることができる。これを繰り返すことによって、複数の移動物体に対するグルーピングを行うことができる。
〔移動物体判定工程（図６＃７）〕
認識部２の移動物体判定部６は、グルーピングされたオプティカルフローに基づいて移動物体を判定する。例えば、特徴点の配置から移動物体の大きさや車種などを判定する。また、移動物体までの距離を算出することもできる。
認識部２の移動物体判定部６は、グルーピングされたオプティカルフローに基づいて移動物体を判定する。例えば、特徴点の配置から移動物体の大きさや車種などを判定する。また、移動物体までの距離を算出することもできる。
〔位置・速度推定工程（図６＃８）〕
移動物体判定部６は、オプティカルフローの最下点を車両３０と同じ平面上にある路面であると仮定して、下記に示す式(29)でカメラ１３から移動物体までの距離を算出することができる。ここでいう距離Ｚは、カメラ１３から物体の特徴点までの距離の撮像方向（光軸）への方向余弦である。上述した正規化工程において画像データを水平方向に正規化している場合には、撮像方向は路面に平行な水平方向となる。式(29)は、撮像方向が路面に平行である場合の距離Ｚの算出式である。
式(29)においては、画像平面座標を（ｕ，ｖ）、ワールド座標を（Ｘ，Ｙ，Ｚ）画像中心ＯIの座標を（ｃｕ，ｃｖ）とする（図３及び図４参照）。また、Ｕ＝ｕ−ｃｕ、Ｖ＝ｖ−ｃｖとおく。
移動物体判定部６は、オプティカルフローの最下点を車両３０と同じ平面上にある路面であると仮定して、下記に示す式(29)でカメラ１３から移動物体までの距離を算出することができる。ここでいう距離Ｚは、カメラ１３から物体の特徴点までの距離の撮像方向（光軸）への方向余弦である。上述した正規化工程において画像データを水平方向に正規化している場合には、撮像方向は路面に平行な水平方向となる。式(29)は、撮像方向が路面に平行である場合の距離Ｚの算出式である。
式(29)においては、画像平面座標を（ｕ，ｖ）、ワールド座標を（Ｘ，Ｙ，Ｚ）画像中心ＯIの座標を（ｃｕ，ｃｖ）とする（図３及び図４参照）。また、Ｕ＝ｕ−ｃｕ、Ｖ＝ｖ−ｃｖとおく。
ここで、ｆは図４及び式(3)に示したようにカメラ１３の焦点距離である。δｕ、δｖはそれぞれカメラ１３の撮像素子のｕ軸、ｖ軸の画素の物理的な間隔である。ｈは、カメラ１３のレンズの中心（光軸）の路面からの高さである。Ｒ＝［ｒij］は、式(1)に示した回転行列である。また、Ｓ＝［ｓk］は、式(2)に示した並進ベクトルである。
移動物体判定部６は、このようにして求めた移動物体の位置に基づいて移動物体と車両３０との相対速度を演算することができる。また、回転センサ１８から得られた車両３０の速度を加味して、移動物体の速度を演算することもできる。つまり、時系列に撮影され取得された画像データの時間差、及び、画像データを用いて時系列に画像処理を実行されて求められた移動物体の位置に基づいて相対速度や速度を演算することができる。具体的には、図６に示すフローチャートの１回のフローにおいて、移動物体の各時刻における瞬間速度が演算される。また、その時刻までの累積移動距離と経過時間とによって、その時刻までの移動物体の平均速度も演算可能である。
〔認識信頼度演算工程（図６＃９）〕
信頼度演算部７は、上述したような認識部２における各画像処理の結果のうちの少なくとも１つの結果に基づいて、移動物体の認識の確実性を示す認識信頼度Ｃｏｕｔを演算する。図６に示すフローチャートでは、上述した全ての画像処理が終わった後に認識信頼度Ｃｏｕｔを演算しているが、勿論、複数の画像処理の間で認識信頼度Ｃｏｕｔを演算してもよい。
例えば、各画像処理の結果のうちの１つである特徴点抽出の結果に基づいて認識信頼度Ｃｏｕｔを演算する場合には、特徴点抽出工程＃４とオプティカルフロー算出工程＃５との間に認識信頼度度演算工程＃９を実施してもよい。
具体的な認識信頼度Ｃｏｕｔの導出方法については後述する。
信頼度演算部７は、上述したような認識部２における各画像処理の結果のうちの少なくとも１つの結果に基づいて、移動物体の認識の確実性を示す認識信頼度Ｃｏｕｔを演算する。図６に示すフローチャートでは、上述した全ての画像処理が終わった後に認識信頼度Ｃｏｕｔを演算しているが、勿論、複数の画像処理の間で認識信頼度Ｃｏｕｔを演算してもよい。
例えば、各画像処理の結果のうちの１つである特徴点抽出の結果に基づいて認識信頼度Ｃｏｕｔを演算する場合には、特徴点抽出工程＃４とオプティカルフロー算出工程＃５との間に認識信頼度度演算工程＃９を実施してもよい。
具体的な認識信頼度Ｃｏｕｔの導出方法については後述する。
〔報知判定工程（図６＃１０〜＃１３）〕
報知判定部８は、認識信頼度演算部７で演算された認識信頼度Ｃｏｕｔに応じて、移動物体の認識結果を報知するか否かを判定する。例えば、認識信頼度Ｃｏｕｔが所定の第１しきい値ＴＨ１以上の場合には、警報モードで報知する必要があると判定する（＃１０、＃１１）。具体的には、図１に示すモニタ１０やスピーカ１１を介して、例えば図９（ａ）に示す形態で車両３０の乗員に報知される。
報知判定部８は、認識信頼度演算部７で演算された認識信頼度Ｃｏｕｔに応じて、移動物体の認識結果を報知するか否かを判定する。例えば、認識信頼度Ｃｏｕｔが所定の第１しきい値ＴＨ１以上の場合には、警報モードで報知する必要があると判定する（＃１０、＃１１）。具体的には、図１に示すモニタ１０やスピーカ１１を介して、例えば図９（ａ）に示す形態で車両３０の乗員に報知される。
図９（ａ）はモニタ１０上の表示画面を示しており、中央部上方には自車（車両３０）が描かれている。自車の後方（表示画面で下方）には左後方あるいは右後方から接近する他の車両（移動物体４０）が描かれている。図９（ａ）に示す例では、右後方から他の車両が接近しており、その認識信頼度Ｃｏｕｔが所定の第１しきい値ＴＨ１以上であるので警報モードによる報知がなされている。つまり、右側の他の車両を示すインジケータが赤く点滅発光し、連続音や断続音を発して乗員に報知される。
認識信頼度Ｃｏｕｔが所定の第１しきい値ＴＨ１未満、且つ第１しきい値ＴＨ１よりも小さい値に設定された第２しきい値ＴＨ２以上の場合には、警報モードよりも認識性が低い注意モードによる報知が必要と判定される（＃１２、＃１３）。図９（ｂ）に示す例では、右後方から他の車両が接近しており、その認識信頼度Ｃｏｕｔに基づいて注意モードによる報知がなされている。つまり、右側の他の車両を示すインジケータが黄色く連続発光し、一時音を発して乗員に報知される。
認識信頼度Ｃｏｕｔが第２しきい値ＴＨ２未満の場合には、報知を行う必要がないと判定される。図９（ｃ）に示す例では、他の車両が接近している場合であっても、その認識信頼度Ｃｏｕｔに基づいて報知がなされない。つまり、他の車両を示すインジケータは全て消灯し、音声も発せられない。
報知判定部８は、モニタ１０やスピーカ１１に報知指令を発する点において本発明の報知部として機能する。また、報知判定部８及びモニタ１０及びスピーカ１１は協働して乗員に報知する点において本発明の報知部として機能する。
〔認識信頼度Ｃｏｕｔ〕
以下、認識部における各画像処理の結果のうちの少なくとも１つの結果に基づいて演算される認識信頼度Ｃｏｕｔの具体例について説明する。
以下、認識部における各画像処理の結果のうちの少なくとも１つの結果に基づいて演算される認識信頼度Ｃｏｕｔの具体例について説明する。
（特徴量信頼度Ｃｆ）
上述したように、特徴点抽出部３は、画像データにおける特徴点の固有性を示す特徴量（例えばＫＬＴ特徴量）を算出する。信頼度演算部７は、この算出された特徴量に基づいて、抽出された特徴点の確実性を示す特徴点信頼度Ｃｆを演算する。そして、信頼度演算部７は、この特徴点信頼度Ｃｆを用いて認識信頼度Ｃｏｕｔを演算する。
上述したように、特徴点抽出部３は、画像データにおける特徴点の固有性を示す特徴量（例えばＫＬＴ特徴量）を算出する。信頼度演算部７は、この算出された特徴量に基づいて、抽出された特徴点の確実性を示す特徴点信頼度Ｃｆを演算する。そして、信頼度演算部７は、この特徴点信頼度Ｃｆを用いて認識信頼度Ｃｏｕｔを演算する。
図１０は、特徴量と特徴点信頼度Ｃｆとの関係の一例を示すグラフである。このグラフに示すように、特徴量が大きくなるに従って、非線形マップに沿った特徴点信頼度Ｃｆが高くなる。特徴量が大きいということは画像データにおける特徴点のコントラストが高く、特徴点がくっきりと抽出されていることになる。従って、移動物体の認識に対する信頼度が高くなる。尚、この非線形マップの形状は一例であり、勿論他の特性を有するマップを適用することも可能である。
信頼度演算部７が特徴点抽出部３による画像処理結果のみに基づいて認識信頼度Ｃｏｕｔを演算する場合には、Ｃｏｕｔ＝Ｃｆとなる。
信頼度演算部７が特徴点抽出部３による画像処理結果のみに基づいて認識信頼度Ｃｏｕｔを演算する場合には、Ｃｏｕｔ＝Ｃｆとなる。
（オプティカルフロー信頼度Ｃｖ）
上述したように、オプティカルフロー算出部４は、先に撮影された画像データの特徴点の周辺の対象領域（テンプレート）と、一定時間経過後に撮影された画像データの中で対象領域との相関値が最も高い領域と、に基づいてオプティカルフローを算出する。信頼度演算部７は、この相関値に基づいて、算出されたオプティカルフローの確実性を示すオプティカルフロー信頼度Ｃｖを演算する。そして、信頼度演算部７は、オプティカルフロー信頼度Ｃｖを用いて認識信頼度Ｃｏｕｔを演算する。
上述したように、オプティカルフロー算出部４は、先に撮影された画像データの特徴点の周辺の対象領域（テンプレート）と、一定時間経過後に撮影された画像データの中で対象領域との相関値が最も高い領域と、に基づいてオプティカルフローを算出する。信頼度演算部７は、この相関値に基づいて、算出されたオプティカルフローの確実性を示すオプティカルフロー信頼度Ｃｖを演算する。そして、信頼度演算部７は、オプティカルフロー信頼度Ｃｖを用いて認識信頼度Ｃｏｕｔを演算する。
図１１は、相関値とオプティカルフロー信頼度Ｃｖとの関係の一例を示すグラフである。このグラフに示すように、相関値が高くなるに従って、非線形マップに沿ったオプティカルフロー信頼度Ｃｖが高くなる。相関値が高いということは２つの画像データにおける特徴点の同一性が高く、オプティカルフローが精度良く生成されていることになる。従って、移動物体の認識に対する信頼度が高くなる。尚、この非線形マップの形状も、特徴点信頼度Ｃｆと同様に一例であり、勿論他の特性を有するマップを適用することも可能である。
信頼度演算部７がオプティカルフロー算出部４による画像処理結果のみに基づいて認識信頼度Ｃｏｕｔを演算する場合には、Ｃｏｕｔ＝Ｃｖとなる。
信頼度演算部７がオプティカルフロー算出部４による画像処理結果のみに基づいて認識信頼度Ｃｏｕｔを演算する場合には、Ｃｏｕｔ＝Ｃｖとなる。
（グルーピング信頼度Ｃｇ）
上述したように、グルーピング部５は、算出されたオプティカルフローを下記２つの条件に基づいて、１つの移動物体に属するオプティカルフローとしてグルーピングする。
第１の条件は、オプティカルフローの延長線が所定の収束範囲内で１点の消失点に収束することである。第２の条件はオプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなることである。
この条件を満たすための具体的な方法として、図７に示したように、式(28)に基づいて、各オプティカルフロー（ｄｍｉ）のｘ成分及びｙ成分のそれぞれと、特徴点（ｍ１ｉ）との関係を利用している。
上述したように、グルーピング部５は、算出されたオプティカルフローを下記２つの条件に基づいて、１つの移動物体に属するオプティカルフローとしてグルーピングする。
第１の条件は、オプティカルフローの延長線が所定の収束範囲内で１点の消失点に収束することである。第２の条件はオプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなることである。
この条件を満たすための具体的な方法として、図７に示したように、式(28)に基づいて、各オプティカルフロー（ｄｍｉ）のｘ成分及びｙ成分のそれぞれと、特徴点（ｍ１ｉ）との関係を利用している。
信頼度演算部７は、グルーピングされたオプティカルフローのパラメータ直線Ｐに対する収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピング信頼度Ｃｇを演算する。グルーピング信頼度Ｃｇとは、即ち、グルーピングされたオプティカルフローが１つの移動物体に属する確実性を示す数値である。また、信頼度演算部７は、各パラメータ直線Ｐ（各グルーピング基準）に対してグルーピングされた各オプティカルフローが有する偏差及び当該偏差の分散の一方又は双方に基づいて収束度を演算する。そして、信頼度演算部７は、グルーピング信頼度Ｃｇを用いて認識信頼度Ｃｏｕｔを演算する。
グルーピング信頼度Ｃｇの算出方法については後述するが、信頼度演算部７がオプティカルフロー算出部４による画像処理結果のみに基づいて認識信頼度Ｃｏｕｔを演算する場合には、Ｃｏｕｔ＝Ｃｇとなる。
グルーピング信頼度Ｃｇの算出方法については後述するが、信頼度演算部７がオプティカルフロー算出部４による画像処理結果のみに基づいて認識信頼度Ｃｏｕｔを演算する場合には、Ｃｏｕｔ＝Ｃｇとなる。
グルーピング信頼度Ｃｇは、下記に示すパラメータ偏差信頼度Ｃｇ１、パラメータ分散信頼度Ｃｇ２、グルーピング点数信頼度Ｃｇ３の何れか１つ又は複数を融合したものである。以下にそれぞれの詳細を説明する。それに先立って、グルーピング信頼度Ｃｇの演算原理を説明する。
図１２は、グルーピング信頼度Ｃｇの演算原理を示す説明図である。上述したように、パラメータ直線Ｐに対して所定の許容幅Ｄに含まれるオプティカルフローが１つのグループとしてグルーピングされる。このとき、グルーピング基準となるパラメータ直線Ｐから各オプティカルフローへの偏差（偏差距離）ｄｐを求める。そして、この偏差ｄｐをグルーピングデータの分散値で除してパラメータ偏差を求める。
図１２は、グルーピング信頼度Ｃｇの演算原理を示す説明図である。上述したように、パラメータ直線Ｐに対して所定の許容幅Ｄに含まれるオプティカルフローが１つのグループとしてグルーピングされる。このとき、グルーピング基準となるパラメータ直線Ｐから各オプティカルフローへの偏差（偏差距離）ｄｐを求める。そして、この偏差ｄｐをグルーピングデータの分散値で除してパラメータ偏差を求める。
図１３は、オプティカルフローの収束度（各特徴点の偏差）とグルーピング信頼度Ｃｇの関係の一例を示すグラフである。具体的には、パラメータ偏差とパラメータ偏差信頼度Ｃｇ１との関係の一例を示すグラフである。このグラフに示すように、パラメータ偏差の値が所定の値までの間は最大の信頼度を示し、所定の値を超えて大きくなるに従って信頼度が低下する。この所定の値は、勿論、適宜設定可能である。パラメータ偏差の値が小さいほど、オプティカルフローの収束度は高く、オプティカルフローが精度良くグルーピングされていることになる。従って、移動物体の認識に対する信頼度が高くなる。尚、図１３では所定の値以降、線形的なマップを適用しているが勿論非線形マップを適用してもよい。
信頼度演算部７がパラメータ偏差信頼度Ｃｇ１のみに基づいてグルーピング信頼度Ｃｇを演算する場合には、Ｃｇ＝Ｃｇ１となる。
信頼度演算部７がパラメータ偏差信頼度Ｃｇ１のみに基づいてグルーピング信頼度Ｃｇを演算する場合には、Ｃｇ＝Ｃｇ１となる。
図１４は、オプティカルフローの収束度（各特徴点の分散値）とグルーピング信頼度Ｃｇの関係の一例を示すグラフである。具体的には、パラメータ偏差の分散値とパラメータ分散信頼度Ｃｇ２との関係の一例を示すグラフである。パラメータ分散信頼度Ｃｇ２は、グルーピングされた特徴点全体のパラメータ偏差の分散値に基づいて演算される。具体的には、図１２に示す幅Ｄｐに基づいて演算される。幅Ｄｐが狭いほど、オプティカルフローはパラメータ直線Ｐに近いことになり、オプティカルフローの収束度は高く、オプティカルフローが精度良くグルーピングされていることになる。従って、移動物体の認識に対する信頼度が高くなる。
図１４に示すように、パラメータ偏差の分散値が所定の値までの間は最大の信頼度を示し、所定の値を超えて大きくなるに従って信頼度が低下する。この所定の値は、勿論、適宜設定可能である。尚、図１４では所定の値以降、線形的なマップを適用しているが勿論非線形マップを適用してもよい。
信頼度演算部７がパラメータ分散信頼度Ｃｇ２のみに基づいてグルーピング信頼度Ｃｇを演算する場合には、Ｃｇ＝Ｃｇ２となる。
図１４に示すように、パラメータ偏差の分散値が所定の値までの間は最大の信頼度を示し、所定の値を超えて大きくなるに従って信頼度が低下する。この所定の値は、勿論、適宜設定可能である。尚、図１４では所定の値以降、線形的なマップを適用しているが勿論非線形マップを適用してもよい。
信頼度演算部７がパラメータ分散信頼度Ｃｇ２のみに基づいてグルーピング信頼度Ｃｇを演算する場合には、Ｃｇ＝Ｃｇ２となる。
図１５は、グルーピングされたオプティカルフローの総数とグルーピング信頼度Ｃｇとの関係の一例を示すグラフである。具体的には、グルーピングされたオプティカルフローの総数とグルーピング点数信頼度Ｃｇ３との関係の一例を示すグラフである。１つの移動物体に属するものとしてグルーピングされたオプティカルフローの総数が多い方が当然認識の信頼度は向上する。従って、図１５に示すように、オプティカルフローの総数が所定の値まで増加するに従ってグルーピング点数信頼度Ｃｇ３も上昇する。オプティカルフローの総数が充分な数（所定の値）に達すると、グルーピング点数信頼度Ｃｇ３も最大値となる。
当然ながら、この所定の値は適宜設定可能であり、グルーピング点数信頼度Ｃｇ３のマップも線形に限定されず非線形のものとすることができる。
信頼度演算部７がグルーピング点数信頼度Ｃｇ３のみに基づいてグルーピング信頼度Ｃｇを演算する場合には、Ｃｇ＝Ｃｇ３となる。
当然ながら、この所定の値は適宜設定可能であり、グルーピング点数信頼度Ｃｇ３のマップも線形に限定されず非線形のものとすることができる。
信頼度演算部７がグルーピング点数信頼度Ｃｇ３のみに基づいてグルーピング信頼度Ｃｇを演算する場合には、Ｃｇ＝Ｃｇ３となる。
上述したように、グルーピング信頼度Ｃｇは、パラメータ偏差信頼度Ｃｇ１、パラメータ分散信頼度Ｃｇ２、グルーピング点数信頼度Ｃｇ３の何れか２つを融合したもの、あるいは全てを融合したものとすることができる。融合の方法としては、それぞれの信頼度の論理積（Ｃｇ＝Ｃｇ１・Ｃｇ２・Ｃｇ３）とすることができる。勿論、各信頼度に係数を掛けて影響度を異ならせてもよい。この係数には勿論ゼロも含まれる。
（融合信頼度Ｃｙ（二次中間信頼度））
認識部２における主要な画像処理、即ち、少なくとも特徴点抽出、オプティカルフロー算出、グルーピングを含む複数の画像処理の各画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す信頼度を一次中間信頼度とする。つまり、上述した特徴点信頼度Ｃｆ、オプティカルフロー信頼度Ｃｖ、グルーピング信頼度Ｃｇは一次中間信頼度である。
そして、一次中間信頼度の何れか１つが選択され、又は一次中間信頼度の複数が融合された信頼度は、二次中間信頼度である。上述したように、例えば、特徴点抽出部３の画像処理結果のみに基づいて認識信頼度Ｃｏｕｔが演算されるような場合には、一次中間信頼度としての特徴点信頼度Ｃｆが、二次中間信頼度Ｃｙとして選択される。
また、複数の一次中間信頼度を融合することによって二次中間信頼度Ｃｙを算出する場合には、論理積（Ｃｙ＝Ｃｆ・Ｃｖ・Ｃｇ）を用いる。グルーピング信頼度Ｃｇを求める際に説明したように、論理積をとる際に各信頼度に係数を掛けて影響度を異ならせてもよい。この係数には勿論ゼロも含まれる。
認識部２における主要な画像処理、即ち、少なくとも特徴点抽出、オプティカルフロー算出、グルーピングを含む複数の画像処理の各画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す信頼度を一次中間信頼度とする。つまり、上述した特徴点信頼度Ｃｆ、オプティカルフロー信頼度Ｃｖ、グルーピング信頼度Ｃｇは一次中間信頼度である。
そして、一次中間信頼度の何れか１つが選択され、又は一次中間信頼度の複数が融合された信頼度は、二次中間信頼度である。上述したように、例えば、特徴点抽出部３の画像処理結果のみに基づいて認識信頼度Ｃｏｕｔが演算されるような場合には、一次中間信頼度としての特徴点信頼度Ｃｆが、二次中間信頼度Ｃｙとして選択される。
また、複数の一次中間信頼度を融合することによって二次中間信頼度Ｃｙを算出する場合には、論理積（Ｃｙ＝Ｃｆ・Ｃｖ・Ｃｇ）を用いる。グルーピング信頼度Ｃｇを求める際に説明したように、論理積をとる際に各信頼度に係数を掛けて影響度を異ならせてもよい。この係数には勿論ゼロも含まれる。
信頼度演算部７は二次信頼度Ｃｙを演算して、Ｃｏｕｔ＝Ｃｙとして出力することもできる。当然ながら、二次中間信頼度Ｃｙは、一次中間信頼度の何れか一つ、又はそれらの融合したものであるから、上述した実施形態の全ては二次中間信頼度Ｃｙに含まれる。
〔継続性信頼度Ｃｔ〕
上述したように、認識部２は、時系列に撮影され取得される画像データに応じて、時系列に画像処理を実行する。また、信頼度演算部７は、時系列に実行される画像処理に応じて、時系列に認識信頼度Ｃｏｕｔを演算する。信頼度演算部７は、当該最新の画像処理の結果と、前回の画像処理の結果を用いて演算された前回の認識信頼度と、に基づいて、最新の画像処理に応じた認識信頼度Ｃｏｕｔを演算することができる。これは、認識信頼度Ｃｏｕｔの継続性を考慮したものであるので、継続性信頼度Ｃｔと称する。継続性信頼度Ｃｔは、下式(30)によって演算することができる。
上述したように、認識部２は、時系列に撮影され取得される画像データに応じて、時系列に画像処理を実行する。また、信頼度演算部７は、時系列に実行される画像処理に応じて、時系列に認識信頼度Ｃｏｕｔを演算する。信頼度演算部７は、当該最新の画像処理の結果と、前回の画像処理の結果を用いて演算された前回の認識信頼度と、に基づいて、最新の画像処理に応じた認識信頼度Ｃｏｕｔを演算することができる。これは、認識信頼度Ｃｏｕｔの継続性を考慮したものであるので、継続性信頼度Ｃｔと称する。継続性信頼度Ｃｔは、下式(30)によって演算することができる。
Ｃｔ＝Ｋｔ・Ｃｙ＋（１−Ｋｔ）Ｃｔ１ (30)
ここで、Ｃｔ１は前回演算された継続性信頼度であり、Ｋｔは係数である。また、係数Ｋｔは例えば０．７である。この場合、最新の画像処理結果に基づく信頼度を７割、前回の画像処理結果に基づいて演算された継続性信頼度を３割用いて最新の継続性信頼度Ｃｔが演算される。
信頼度演算部７はこのようにして演算した継続性信頼度Ｃｔを、Ｃｏｕｔ＝Ｃｔとして出力することもできる。
信頼度演算部７はこのようにして演算した継続性信頼度Ｃｔを、Ｃｏｕｔ＝Ｃｔとして出力することもできる。
〔移動物体判定信頼度Ｃｏ〕
認識信頼度演算部７は、移動物体判定部６の演算結果に基づいて認識信頼度Ｃｏｕｔを演算することもできる。移動物体判定信頼度Ｃｏは、後述する平均信頼度Ｃｏａ、対象物信頼度Ｃｏｂ１、位置精度信頼度Ｃｏｂ２、連続性信頼度Ｃｏｃを、論理積をとることによって（Ｃｏ＝Ｃｏａ・Ｃｏｂ１・Ｃｏｂ２・Ｃｏｃ）融合したものである。
勿論、各信頼度に係数（ゼロを含む）を掛けて影響度を異ならせてもよい。また、上述した他の信頼度を融合する場合と同様に、必ずしも全ての信頼度を融合する必要はなく何れか１つの信頼度が選択されるものであってもよい。
認識信頼度演算部７は、この移動物体判定信頼度Ｃｏを用いて認識信頼度Ｃｏｕｔを演算する。当然ながら、信頼度演算部７は移動物体判定信頼度Ｃｏを、Ｃｏｕｔ＝Ｃｏとして出力することもできる。
認識信頼度演算部７は、移動物体判定部６の演算結果に基づいて認識信頼度Ｃｏｕｔを演算することもできる。移動物体判定信頼度Ｃｏは、後述する平均信頼度Ｃｏａ、対象物信頼度Ｃｏｂ１、位置精度信頼度Ｃｏｂ２、連続性信頼度Ｃｏｃを、論理積をとることによって（Ｃｏ＝Ｃｏａ・Ｃｏｂ１・Ｃｏｂ２・Ｃｏｃ）融合したものである。
勿論、各信頼度に係数（ゼロを含む）を掛けて影響度を異ならせてもよい。また、上述した他の信頼度を融合する場合と同様に、必ずしも全ての信頼度を融合する必要はなく何れか１つの信頼度が選択されるものであってもよい。
認識信頼度演算部７は、この移動物体判定信頼度Ｃｏを用いて認識信頼度Ｃｏｕｔを演算する。当然ながら、信頼度演算部７は移動物体判定信頼度Ｃｏを、Ｃｏｕｔ＝Ｃｏとして出力することもできる。
平均信頼度Ｃｏａは、下式(31)に示すように二次中間信頼度Ｃｙが高い方から所定の割合に含まれるｎ個のオプティカルフローに対する二次中間信頼度Ｃｙが平均されたものである。
対象物信頼度Ｃｏｂ１は、１つの認識対象となる移動物体に許容される大きさと、１つの認識された移動物体に属するものとしてグルーピングされたオプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算される。例えば、認識対象となる移動物体が車両である場合、その水平方向の大きさは概ね２メートル以内である。従って、移動物体判定部６によって推定される移動物体の大きさが、図１６に示すように２メートルを超えると信頼度を低下させる。即ち、対象物信頼度Ｃｏｂ１は、認識された移動物体が認識対象となる移動物体であるか否かの確実性を示すものである。
尚、上述した種々の信頼度と同様に、２メートルのしきい値やマップの形状については適宜変更可能である。
尚、上述した種々の信頼度と同様に、２メートルのしきい値やマップの形状については適宜変更可能である。
位置精度信頼度Ｃｏｂ２は、認識対象となる移動物体の大きさに相当する範囲に対し、１つの認識された移動物体に属するものとしてグルーピングされたオプティカルフローが存在する位置が分散する度合いに基づいて演算される。例えば、自車（車両３０）が水しぶきを上げて走行していた場合、後方が撮影された画像データが水しぶきで曇り、不鮮明となる場合がある。このような場合には、後方の移動物体の一部が不鮮明となる。そして、認識対象となる移動物体の大きさに相当する範囲の一部分においてしかオプティカルフローが算出されない場合がある。位置精度信頼度Ｃｏｂ２は、図１７に示すように、認識対象となる移動物体の大きさに相当する範囲にオプティカルフローが分散する分散値に基づいて算出される。つまり、当該範囲に適度に分散しているほど、信頼度が高くなる。このように、位置精度信頼度Ｃｏｂ２は、移動物体が存在する位置の確実性を示す。
尚、上述した種々の信頼度と同様に、マップの変曲点の値や形状については適宜変更可能である。
尚、上述した種々の信頼度と同様に、マップの変曲点の値や形状については適宜変更可能である。
連続性信頼度Ｃｏｃは、認識された移動物体の位置の連続性に着目した信頼度である。上述したように、移動物体判定部６は、時系列に撮影され取得された画像データの時間差、及び、画像データを用いて時系列に画像処理を実行されて求められた移動物体の位置に基づいて移動物体の各時刻における瞬間速度及び平均速度を演算する。信頼度演算部７は、平均速度に対する瞬間速度の逸脱量に基づいて、認識された移動物体が時系列の画像処理を通じて連続して同一のものであるか否かの確実性を示す連続性信頼度Ｃｏｃを演算する。速度逸脱量Ｖｄは、下式(32)によって算出される。ここで、Ｚ０は最新の画像処理結果に基づく距離であり、Ｚ１は前回の画像処理結果に基づく距離である。平均速度は、過去ｎ回分の画像処理の各回における前回との距離の差を積算し、総回数ｎにより平均した平均移動距離を時系列の画像データの時間差Δｔで除したものである。
図１８は、速度逸脱量Ｖｄと連続性信頼度との関係の一例を示すグラフである。図に示すように、速度逸脱量Ｖｄが大きくなると、連続性信頼度Ｃｏｃは低下する。尚、上述した種々の信頼度と同様に、マップの変曲点の値や形状については適宜変更可能である。
以上説明したようにして求められた認識信頼度Ｃｏｕｔに基づいて、上述したように移動物体の接近を報知することができる。本例では図中に示したように認識信頼度Ｃｏｕｔの値域を０〜１としている。従って、例えば、上述した第１しきい値ＴＨ１を０．９、第２しきい値ＴＨ２を０．２等とすることによって、効果的な報知が可能となる。つまり、認識信頼度Ｃｏｕｔを用いることによって、必要に応じて信頼性の高い報知を可能とすることができる。
尚、当然ながら、認識信頼度Ｃｏｕｔの値域、第１しきい値ＴＨ１、第２しきい値ＴＨ２の値は、上記例に限定されるものではなく、適宜設定可能である。また、２つのしきい値を用いて警報モード、注意モードを有した報知方法に限定されることなく、さらに多段階の報知モードを用意することも可能である。
尚、当然ながら、認識信頼度Ｃｏｕｔの値域、第１しきい値ＴＨ１、第２しきい値ＴＨ２の値は、上記例に限定されるものではなく、適宜設定可能である。また、２つのしきい値を用いて警報モード、注意モードを有した報知方法に限定されることなく、さらに多段階の報知モードを用意することも可能である。
以上説明したように、本発明によって、移動物体認識に係る画像処理の結果の確実性を良好に示すことが可能であり、必要に応じ適切な報知を可能とする移動物体認識装置を提供することが可能となる。
１：データ取得部
２：認識部
３：特徴点抽出部
４：オプティカルフロー算出部
５：グルーピング部
７：信頼度演算部
８：報知判定部（報知部）
１０：モニタ（報知部）
１１：スピーカ（報知部）
１３：カメラ（撮影装置）
４０：移動物体
ｍ１ｉ、ｍ１１〜ｍ１４：オプティカルフローの一方の端点、外分点
ｍ２ｉ、ｍ２１〜ｍ２４：オプティカルフローの他方の端点
ＦＯＥ、ｍｆｏｅ：出現点（消失点）
Ｄ：所定の収束範囲
ＴＨ１：第１しきい値
ＴＨ２：第２しきい値
２：認識部
３：特徴点抽出部
４：オプティカルフロー算出部
５：グルーピング部
７：信頼度演算部
８：報知判定部（報知部）
１０：モニタ（報知部）
１１：スピーカ（報知部）
１３：カメラ（撮影装置）
４０：移動物体
ｍ１ｉ、ｍ１１〜ｍ１４：オプティカルフローの一方の端点、外分点
ｍ２ｉ、ｍ２１〜ｍ２４：オプティカルフローの他方の端点
ＦＯＥ、ｍｆｏｅ：出現点（消失点）
Ｄ：所定の収束範囲
ＴＨ１：第１しきい値
ＴＨ２：第２しきい値
Claims (9)
- 撮影装置により時系列に撮影された画像データを取得するデータ取得部と、
前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、異なる時刻に撮影された２つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部とを備えて、異なる時刻に撮影された２つの前記画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して前記移動物体の認識を行う認識部と、
少なくとも前記特徴点抽出部、前記オプティカルフロー算出部、前記グルーピング部による画像処理を含む複数の画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す一次中間信頼度と、
前記一次中間信頼度の何れか１つが選択され、又は前記一次中間信頼度の複数が融合された二次中間信頼度と、
前記二次中間信頼度が高い方から所定の割合に含まれる前記オプティカルフローに対する前記二次中間信頼度が平均された平均信頼度と、
１つの認識対象となる前記移動物体に許容される大きさと、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算され、当該認識された移動物体が前記認識対象となる移動物体であるか否かの確実性を示す対象物信頼度と、
前記認識対象となる移動物体の大きさに相当する範囲に対し、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する位置が分散する度合いに基づいて演算され、当該認識された移動物体が存在する位置の確実性を示す位置精度信頼度との少なくとも１つを用いて前記移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部と、
を備える移動物体認識装置。 - 前記オプティカルフロー算出部は、
先に撮影された前記画像データの前記特徴点の周辺の対象領域と、
一定時間経過後に撮影された前記画像データの中で前記対象領域との相関値が最も高い領域と、に基づいて前記オプティカルフローを算出し、
前記信頼度演算部は、
前記相関値に基づいて、算出された前記オプティカルフローの確実性を示すオプティカルフロー信頼度を演算し、
前記オプティカルフロー信頼度を用いて前記認識信頼度を演算する請求項１に記載の移動物体認識装置。 - 前記グルーピング部は、算出された前記オプティカルフローのうち、
オプティカルフローの延長線が所定の収束範囲内で１点の消失点に収束すると共に、
オプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と当該オプティカルフローとの外分比が所定の許容範囲内で等しくなるオプティカルフローを、１つの前記移動物体に属するオプティカルフローとしてグルーピングし、
前記信頼度演算部は、
グルーピングされたオプティカルフローの収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピングされたオプティカルフローが１つの前記移動物体に属する確実性を示すグルーピング信頼度を演算し、
前記グルーピング信頼度を用いて前記認識信頼度を演算する請求項１又は２に記載の移動物体認識装置。 - 前記信頼度演算部は、各グルーピング基準に対してグルーピングされた各オプティカルフローが有する偏差及び当該偏差の分散の一方又は双方に基づいて前記収束度を演算する請求項３に記載の移動物体認識装置。
- 前記特徴点抽出部は、前記画像データにおける前記特徴点の固有性を示す特徴量を算出し、
前記信頼度演算部は、
前記特徴量に基づいて抽出された前記特徴点の確実性を示す特徴点信頼度を演算し、
前記特徴点信頼度を用いて前記認識信頼度を演算する請求項１〜４の何れか一項に記載の移動物体認識装置。 - 前記認識部は、時系列に撮影され取得される前記画像データに応じて、時系列に前記画像処理を実行するものであり、
前記信頼度演算部は、時系列に実行される前記画像処理に応じて、時系列に前記認識信頼度を演算するものであって、
最新の前記画像処理に応じて演算される前記認識信頼度は、
当該最新の前記画像処理の結果と、
前記画像処理の前回の結果を用いて演算された前回の前記認識信頼度と、
に基づいて演算される請求項１〜５の何れか一項に記載の移動物体認識装置。 - 前記認識部は、時系列に撮影され取得された前記画像データの時間差、及び、前記画像データを用いて時系列に前記画像処理を実行されて求められた前記移動物体の位置、に基づいて前記移動物体の各時刻における瞬間速度及び平均速度を演算し、
前記信頼度演算部は、
前記平均速度に対する前記瞬間速度の逸脱量に基づいて、認識された前記移動物体が時系列の前記画像処理を通じ、連続して同一のものであるか否かの確実性を示す連続性信頼度を演算し、
前記連続性信頼度を用いて前記認識信頼度を演算する請求項１〜６の何れか一項に記載の移動物体認識装置。 - 前記認識信頼度に応じて、前記移動物体の認識結果を報知する報知部を備える請求項１〜７の何れか一項に記載の移動物体認識装置。
- 前記報知部は、前記移動物体の認識結果を
前記認識信頼度が所定の第１しきい値以上の場合には、視覚及び聴覚の少なくとも一方により利用者が迅速に認識可能な警報モードで報知し、
前記認識信頼度が前記第１しきい値未満、且つ前記第１しきい値よりも小さい値に設定された第２しきい値以上の場合には、前記警報モードよりも認識性が低い注意モードで報知し、
前記認識信頼度が前記第２しきい値未満の場合には、報知を行わない請求項８に記載の移動物体認識装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007019319A JP4919036B2 (ja) | 2007-01-30 | 2007-01-30 | 移動物体認識装置 |
| PCT/JP2008/050951 WO2008093585A1 (ja) | 2007-01-30 | 2008-01-24 | 移動物体認識装置 |
| EP08703779.2A EP2128821B1 (en) | 2007-01-30 | 2008-01-24 | Moving object recognizing apparatus |
| US12/525,018 US8184857B2 (en) | 2007-01-30 | 2008-01-24 | Moving object recognizing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007019319A JP4919036B2 (ja) | 2007-01-30 | 2007-01-30 | 移動物体認識装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008186246A JP2008186246A (ja) | 2008-08-14 |
| JP2008186246A5 JP2008186246A5 (ja) | 2009-10-01 |
| JP4919036B2 true JP4919036B2 (ja) | 2012-04-18 |
Family
ID=39673896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007019319A Expired - Fee Related JP4919036B2 (ja) | 2007-01-30 | 2007-01-30 | 移動物体認識装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8184857B2 (ja) |
| EP (1) | EP2128821B1 (ja) |
| JP (1) | JP4919036B2 (ja) |
| WO (1) | WO2008093585A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014026555A (ja) * | 2012-07-30 | 2014-02-06 | Denso It Laboratory Inc | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
| US9824586B2 (en) | 2012-07-31 | 2017-11-21 | Denso It Laboratory, Inc. | Moving object recognition systems, moving object recognition programs, and moving object recognition methods |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010050095A1 (ja) * | 2008-10-31 | 2010-05-06 | 株式会社小糸製作所 | 前照灯制御装置 |
| FR2948759B1 (fr) * | 2009-07-31 | 2011-08-12 | Movea | Procede d'estimation de l'orientation d'un solide en mouvement |
| US8983127B2 (en) | 2010-03-19 | 2015-03-17 | University Of Central Florida Research Foundation, Inc. | Object tracking with opposing image capture devices |
| JP5400718B2 (ja) * | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | 監視システムおよび監視方法 |
| EP2601782A4 (en) | 2010-08-02 | 2016-09-28 | Univ Beijing | REPRESENTATIVE MOVEMENT DATA FLOW EXTRACTION FOR EFFICIENT RECOVERY AND CLASSIFICATION OF VIDEO DATA |
| JP5695405B2 (ja) * | 2010-12-10 | 2015-04-08 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車両用画像処理装置および車両用画像処理方法 |
| JP5482672B2 (ja) * | 2011-01-12 | 2014-05-07 | 株式会社デンソーアイティーラボラトリ | 移動物体検出装置 |
| US9342746B1 (en) * | 2011-03-17 | 2016-05-17 | UtopiaCompression Corporation | Maneuverless passive range estimation using monocular image sequences |
| US20120242806A1 (en) * | 2011-03-23 | 2012-09-27 | Tk Holdings Inc. | Dynamic stereo camera calibration system and method |
| JP2013007921A (ja) * | 2011-06-24 | 2013-01-10 | Sony Corp | 音制御装置、プログラム及び制御方法 |
| JP5772321B2 (ja) * | 2011-07-12 | 2015-09-02 | アイシン精機株式会社 | 車両検出装置、車両検出方法及びプログラム |
| US9072929B1 (en) * | 2011-12-01 | 2015-07-07 | Nebraska Global Investment Company, LLC | Image capture system |
| JP5516561B2 (ja) * | 2011-12-08 | 2014-06-11 | 株式会社デンソーアイティーラボラトリ | 車両用運転支援装置 |
| US9465844B2 (en) * | 2012-04-30 | 2016-10-11 | Sap Se | Unified table query processing |
| JP6141601B2 (ja) * | 2012-05-15 | 2017-06-07 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車載カメラ自動キャリブレーション装置 |
| KR101344056B1 (ko) | 2013-09-25 | 2014-01-16 | 주식회사 피엘케이 테크놀로지 | 차량의 출발 정지 지원 장치 및 그 방법 |
| KR101480647B1 (ko) * | 2013-11-15 | 2015-01-09 | 현대자동차주식회사 | 협로 주행을 위한 조향 위험도 판단 시스템 및 그 판단 방법 |
| KR101592125B1 (ko) | 2014-12-17 | 2016-02-04 | 한양대학교 에리카산학협력단 | 표적 추적 방법 및 장치 |
| JP6557973B2 (ja) * | 2015-01-07 | 2019-08-14 | 株式会社リコー | 地図生成装置、地図生成方法およびプログラム |
| EP3057061B1 (en) * | 2015-02-16 | 2017-08-30 | Application Solutions (Electronics and Vision) Limited | Method and device for the estimation of car egomotion from surround view images |
| US9430840B1 (en) * | 2015-07-23 | 2016-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting an image based on motion vanishing points |
| JP6450294B2 (ja) | 2015-09-30 | 2019-01-09 | 株式会社デンソーアイティーラボラトリ | 物体検出装置、物体検出方法、及びプログラム |
| JP6742173B2 (ja) * | 2016-06-30 | 2020-08-19 | キヤノン株式会社 | 焦点調節装置及び方法、及び撮像装置 |
| US9996752B2 (en) * | 2016-08-30 | 2018-06-12 | Canon Kabushiki Kaisha | Method, system and apparatus for processing an image |
| IT201600094414A1 (it) * | 2016-09-20 | 2018-03-20 | St Microelectronics Srl | Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo |
| US20180293735A1 (en) * | 2017-04-11 | 2018-10-11 | Sony Corporation | Optical flow and sensor input based background subtraction in video content |
| JP6960827B2 (ja) | 2017-11-08 | 2021-11-05 | フォルシアクラリオン・エレクトロニクス株式会社 | 路面領域検出装置 |
| US10688662B2 (en) | 2017-12-13 | 2020-06-23 | Disney Enterprises, Inc. | Robot navigation in context of obstacle traffic including movement of groups |
| RU2680765C1 (ru) * | 2017-12-22 | 2019-02-26 | Общество с ограниченной ответственностью "Аби Продакшн" | Автоматизированное определение и обрезка неоднозначного контура документа на изображении |
| US10565714B2 (en) | 2018-05-25 | 2020-02-18 | Denso Corporation | Feature tracking for visual odometry |
| JP2020023285A (ja) * | 2018-08-08 | 2020-02-13 | 株式会社東芝 | 監視装置 |
| CN109300143B (zh) * | 2018-09-07 | 2021-07-27 | 百度在线网络技术（北京）有限公司 | 运动向量场的确定方法、装置、设备、存储介质和车辆 |
| JP7212486B2 (ja) * | 2018-09-26 | 2023-01-25 | フォルシアクラリオン・エレクトロニクス株式会社 | 位置推定装置 |
| DE102018221617A1 (de) * | 2018-12-13 | 2020-06-18 | Robert Bosch Gmbh | Verfahren zur Bestimmung einer Relativbewegung mittels einer digitalen Bilderfolge |
| KR102250077B1 (ko) * | 2019-07-23 | 2021-05-10 | 파킹클라우드 주식회사 | 차량번호판 인식률을 모니터링 하는 방법, 장치 및 컴퓨터 판독가능 저장 매체 |
| KR102186983B1 (ko) * | 2019-09-17 | 2020-12-04 | 한성대학교 산학협력단 | 사용자 영상 단말의 이동거리 측정 방법 및 장치 |
| US11580833B2 (en) * | 2020-03-24 | 2023-02-14 | Object Video Labs, LLC | Camera detection of human activity with co-occurrence |
| CN116547714A (zh) * | 2020-12-11 | 2023-08-04 | 三菱电机株式会社 | 可靠度推定装置、位置推定装置以及可靠度推定方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5036474A (en) * | 1989-03-31 | 1991-07-30 | Honeywell Inc. | Motion detection and tracking from a mobile platform |
| US5265172A (en) * | 1989-10-13 | 1993-11-23 | Texas Instruments Incorporated | Method and apparatus for producing optical flow using multi-spectral images |
| JP2940582B2 (ja) | 1992-10-15 | 1999-08-25 | ダイハツ工業株式会社 | 斜め後方走行車検出方法 |
| JP3239521B2 (ja) | 1993-03-30 | 2001-12-17 | トヨタ自動車株式会社 | 移動体認識装置 |
| JP3630703B2 (ja) * | 1993-07-22 | 2005-03-23 | 富士電機システムズ株式会社 | 物体監視装置 |
| JP3371613B2 (ja) * | 1994-07-14 | 2003-01-27 | トヨタ自動車株式会社 | 移動物体検出方法 |
| JP3485135B2 (ja) | 1995-09-27 | 2004-01-13 | 矢崎総業株式会社 | 車両用後側方監視装置 |
| JP3263311B2 (ja) * | 1996-04-24 | 2002-03-04 | ニッタン株式会社 | 対象検知装置および対象検知方法および対象監視システム |
| US6330353B1 (en) * | 1997-12-18 | 2001-12-11 | Siemens Corporate Research, Inc. | Method of localization refinement of pattern images using optical flow constraints |
| US6124647A (en) * | 1998-12-16 | 2000-09-26 | Donnelly Corporation | Information display in a rearview mirror |
| US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
| US7324665B2 (en) * | 2002-09-16 | 2008-01-29 | Massachusetts Institute Of Technology | Method of multi-resolution adaptive correlation processing |
| US7446798B2 (en) * | 2003-02-05 | 2008-11-04 | Siemens Corporate Research, Inc. | Real-time obstacle detection with a calibrated camera and known ego-motion |
| WO2005081178A1 (en) * | 2004-02-17 | 2005-09-01 | Yeda Research & Development Co., Ltd. | Method and apparatus for matching portions of input images |
| US7190282B2 (en) * | 2004-03-26 | 2007-03-13 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Nose-view monitoring apparatus |
| JP4373840B2 (ja) * | 2004-04-21 | 2009-11-25 | 日本電信電話株式会社 | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 |
| DE102004048400A1 (de) * | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Verfahren für die Erfassung einer optischen Struktur |
| JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
| JP4367475B2 (ja) | 2006-10-06 | 2009-11-18 | アイシン精機株式会社 | 移動物体認識装置、移動物体認識方法及びコンピュータプログラム |
-
2007
- 2007-01-30 JP JP2007019319A patent/JP4919036B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-24 EP EP08703779.2A patent/EP2128821B1/en not_active Not-in-force
- 2008-01-24 US US12/525,018 patent/US8184857B2/en not_active Expired - Fee Related
- 2008-01-24 WO PCT/JP2008/050951 patent/WO2008093585A1/ja active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014026555A (ja) * | 2012-07-30 | 2014-02-06 | Denso It Laboratory Inc | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
| US9824586B2 (en) | 2012-07-31 | 2017-11-21 | Denso It Laboratory, Inc. | Moving object recognition systems, moving object recognition programs, and moving object recognition methods |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2128821A4 (en) | 2011-05-04 |
| US20100027844A1 (en) | 2010-02-04 |
| EP2128821A1 (en) | 2009-12-02 |
| WO2008093585A1 (ja) | 2008-08-07 |
| EP2128821B1 (en) | 2014-03-26 |
| JP2008186246A (ja) | 2008-08-14 |
| US8184857B2 (en) | 2012-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4919036B2 (ja) | 移動物体認識装置 | |
| JP5689907B2 (ja) | 車両において通行物体位置検出を向上する方法 | |
| Goldbeck et al. | Lane detection and tracking by video sensors | |
| US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP4899424B2 (ja) | 物体検出装置 | |
| US20180292201A1 (en) | Calibration apparatus, calibration method, and calibration program | |
| JP5136504B2 (ja) | 物体識別装置 | |
| US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
| WO2015001878A1 (ja) | 接近物検出システム、及び車両 | |
| WO2010067770A1 (ja) | 立体物出現検知装置 | |
| US20110228101A1 (en) | Method and device for determining calibration parameters of a camera | |
| KR101551026B1 (ko) | 차량 검출 방법 | |
| JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
| US20200286244A1 (en) | Image processing method and apparatus | |
| Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
| US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
| JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| US8675047B2 (en) | Detection device of planar area and stereo camera system | |
| JP2009139324A (ja) | 車両用走行路面検出装置 | |
| KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
| Yang | Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| WO2022009537A1 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120118 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4919036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |