JP3710548B2

JP3710548B2 - Vehicle detection device

Info

Publication number: JP3710548B2
Application number: JP11389796A
Authority: JP
Inventors: 本泰之道
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-05-08
Filing date: 1996-05-08
Publication date: 2005-10-26
Anticipated expiration: 2016-05-08
Also published as: JPH09297849A

Description

【０００１】
【発明の属する技術分野】
本発明は、交通流計測等に有用なステレオ画像処理技術を応用した車両検出装置に関するものである。
【０００２】
【従来の技術】
従来の画像処理を用いた車両検出装置として、林田光紀ほか著「外部環境変化に強い画像形車両感知器」（OMRON TECHNICS Vol.32 ）に記載された装置があり、以下これを図１１を参照して説明する。図１１において、ハードウエア構成は、撮像装置１０１としてＣＣＤカメラ１０２を用い、外部照度変化に対してはＥＥレンズ１０３で補正する。ＣＣＤカメラ１０２からの画像入力を装置本体１０４の画像処理部１０５に入力し、Ａ／Ｄ変換部１０６でＡ／Ｄ変換して画像処理を行い、ビデオＲＡＭ１０７に蓄えられた後、端末通信ユニット１０８を介して端末ＬＡＮに出力される。
【０００３】
ＣＣＤカメラ１０２から出力された画像は、画像処理部１０５においてフレーム間差分処理と背景差分処理が施されて、画像中の車両領域が抽出される。フレーム間差分では、時間的に異なった２つの入力画像の差分処理を行った後に二値化し、移動領域のみの二値画像Ｂ₁（ｍ、ｎ）を抽出する。このフレーム間差分処理は屋外の照度変化に対して安定して移動物体（車両）を検出できる特徴を持つ。
【０００４】
【数１】

・・・（１）
ただし、
ｆ₁（ｍ，ｎ）、ｆ₂（ｍ、ｎ）：時刻ｔ＝ｔ₁、ｔ₂（ｔ₁＜ｔ₂）における入力画像上の画素（ｍ、ｎ）の輝度
α：二値化閾値
【０００５】
背景差分処理では、あらかじめ作成されている、車両の存在しない状態の画像（以下、背景画像）と入力画像の差分処理を行った後に二値化する。背景画像に対して正方向の輝度差を持つ領域の２値画像Ｂ₂（ｍ、ｎ）を抽出する。
【０００６】
【数２】

・・・（２）
ただし、
ｆ₂（ｍ、ｎ）：時刻ｔ₂における入力画像上の画素（ｍ、ｎ）の輝度
ｆ_b（ｍ、ｎ）：背景画像上の画素（ｍ、ｎ）の輝度
β：二値化閾値
背景差分は、車両の検出領域が正確であるという特徴を持つ。この装置では、フレーム間差分処理と背景差分処理を組み合わせることにより、互いの利点を生かし、高精度に車両を検出することを目指している。
【０００７】
次にステレオ画像処理の原理について説明する。ステレオ画像処理技術は、左右２台の撮像装置によって同一の物体を撮影し、三角測量の原理で物体までの距離を計測するものである。図１２では水平かつ平行に配置した２台の撮像装置の撮像面１１１、１１２と物体Ｐが示してある。実際には、撮像装置の撮像面１１１、１１２はｘ軸より手前に存在するが、説明の便宜上このように示すことにする。今、物体Ｐまでの距離を計測しようとすると、物体Ｐは左右の画像上でそれぞれ点Ｐ_L、Ｐ_Rに結像する。点Ｐ_L、Ｐ_Rの画像上でのｘ方向の座標をそれぞれＸ_L、Ｘ_Rとすると、視差Ｓは式（３）のように求められる。
視差Ｓ＝Ｘ_L−Ｘ_R ・・・（３）
左右の画像から点（Ｘ_L，Ｙ_L）、（Ｘ_R，Ｙ_R）｛但しＹ_L＝Ｙ_R｝を見つけ出す処理を対応付け処理という。
【０００８】
視差Ｓから式（４）により撮像装置から物体Ｐまでの距離Ｋを算出することができる。
物体までの距離Ｋ＝（Ｂ×ｆ）／Ｓ・・・（４）
ただし、Ｂ：撮像装置の配置間隔
ｆ：レンズの焦点距離
【０００９】
次に、従来のステレオ画像処理を用いた物体検出装置を図１３を用いて説明する。光軸が平行になるように配置された左右２台の撮像装置１２１、１２２によって左画像１２３および右画像１２４を撮像する。撮影された画像のうち、左画像１２３を基準とする。左画像１２３を水平方向Ｍ、垂直方向Ｎのブロックに分割し、対応付け部１２５によって各ブロックの視差を決定する。対応付け方法の一例として、実吉敬二他著「３次元画像認識技術を用いた運転支援システム」（自動車技術学会学術講演会前刷集９２４１９９２−１０）に記載の方法を用いて説明する。図１４において、左画像１３１のブロック１３２はｍ×ｎ個の画素で構成されている。ブロック１３２内部におけるｉ番目の画素の明るさをＬｉとする。また右画像１３３にもｍ×ｎ画素の矩形領域１３４ａを設定し、この矩形領域内部におけるｉ番目の画素の明るさをＲｉとする。これら左右画像間の矩形領域の類似度評価値は次式（５）で与えられる。
【００１０】
【数３】

・・・（５）
対応領域が存在する可能性のある図１４中の右画像１３３内の探索範囲１３４において、矩形領域１３４ａを水平方向に１画素ずつ移動させて類似度評価値Ｃを計算し、この値が最小になる領域を対応領域とする。この方法では、対応領域を左画像１３１におけるブロック単位で決定することができ、また対応領域が決まれば、その対応領域の座標位置から即座に式（３）を用いて視差Ｓを求めることができる。
【００１１】
距離計測部１２６では、各ブロック毎の視差から式（４）を用いて撮像装置から物体までの距離を算出し、各ブロック位置に格納した画像を距離画像１２７と呼び、検出すべき物体の無い状態での距離画像を特に初期距離画像１２８と呼び両者を区別する。距離差検出部１２９では、初期距離画像１２８と随時獲得される距離画像１２７に格納された同一ブロック位置の距離を比較し、距離変化があったブロックには、新たに物体が存在すると判断して、物体検出画像１３０を検出する。
【００１２】
次に、ステレオ画像処理を用いて道路面の３次元的な位置を推定する技術として、特願平7-234019号公報に記載の「平面推定方法」について説明する。左右画像のうち、基準とする一方の画像（左画像）を図１５中、画像面１４１のように水平方向（Ｘ）Ｍ個、垂直方向（Ｙ）Ｎ個の合計Ｍ×Ｎのブロックに分割し、各ブロックごとに視差を計測している。各ブロックにおいて計測された視差データをＳ（Ｘ、Ｙ）と表記する。これを図１５に示すＸ−Ｙ−Ｓの３次元座標上にプロットし、インデックスＹ（１≦Ｙ≦Ｎ）を固定したときの点列Ｓ（Ｘ、Ｙ）に直線を当てはめる。この直線は道路面１４３を通過していることから平面通過直線１４２と呼ぶことにする。直線の当てはめには、データを大局的に扱うことができるハフ変換を用いる。ハフ変換を行うに当たって必要となる直線パラメータは、直線から原点（Ｙ軸）へ下ろした垂線の距離ρと垂線の傾きθを用いる。そのため平面通過直線１４２は式（６）のように表される。
【００１３】
ρ_Y＝Ｘｃｏｓθ_Y＋Ｙｓｉｎθ_Y ・・・（６）
ただし、ρ_Y：Ｙ軸から平面通過直線までの距離
θ_Y：平面通過直線から下ろした垂線とＸ−Ｙ平面がなす角
道路面１４３は平面通過直線１４２群で近似できるようになり、特徴不足等の原因で視差が未決定のブロックでは、平面通過直線１４２群から道路面１４３上の視差を求められる。ハフ変換のもつ大局性により、道路上に車両や人等が存在していても、これらに影響されずに、Ｘ−Ｙ−Ｓ座標上で道路面１４３の位置を推定することができる。
【００１４】
【発明が解決しようとする課題】
車両検出装置においては、あらゆる気象条件や撮像装置設置条件、車両形状、道路状態に対して安定して各車両の領域を正確に検出することが望まれている。しかしながら、従来の単一の撮像装置による画像を用いた車両検出装置では、画像の時間的、空間的輝度変化で車両を検出しているため、走行車両以外による輝度変化（たとえば夜間のヘッドライトの道路面反射、日差しや照明による影等）に対して誤検出を起こすことや、カメラから見て複数の車両が重なってみえた場合、それぞれの車両を分離して検出することは困難であるという問題があった。また、これまで車両検出装置として一般的に用いられていた超音波センサや光センサ、磁気センサは、その設置位置が限定され、しかも設置には多額の費用を要するという問題があった。
【００１５】
本発明は、このような従来の問題を解決するものであり、道路環境を３次元的に把握することで、車両検出の精度を向上し、従来の超音波センサ、光センサ等を用いた車両感知器に代わる車両検出装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、上記目的を達成するために、従来技術で述べたステレオ画像処理を用いて、道路環境を広範囲にわたって３次元的にセンシングし、計測された３次元データを変換することで、人間の感覚に近い処理で車両の位置や領域を精度良く検出するようにしたものである。また、３次元データの投影を行うことで、大局的に車線の位置や車両の位置および車種を把握するようにしたものであり、これにより、車両検出の精度を向上し、従来の超音波、光等を用いた車両感知器に代わる優れた車両検出装置を実現することができる。
【００１７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、水平かつ平行に配置されて道路面上の複数の画像を撮影する複数台の撮像装置と、前記撮影された複数の画像間で相関が高い領域を対応付ける対応付け部と、前記対応付けの結果から前記道路面の位置を３次元的に推定する平面推定部と、前記対応付けの結果から三角測量の原理で前記道路面上の車両および前記道路面の３次元データを計測する距離計測部と、前記計測された３次元データを用いて前記車両の道路面からの高さＨと前記撮像装置から前記車両までの道路面上の距離Ｖを算出して前記３次元データを座標変換する座標変換部と、前記座標変換された３次元データをＶ−Ｈ平面に投影し、前記距離Ｖに沿って前記車両の道路面からの高さＨが
Ｈ＝０からＨ＞０
に変化する位置を検出することによって、画像中の車両先頭位置および車両領域の抽出を行う車両検出部とを備え、前記抽出された車両先頭位置を基に車両通過台数を計測することを特徴とする車両検出装置であり、ステレオ画像処理によって車両や道路面の３次元データをセンシングすることで、走行車両以外の輝度変化に影響されることなく道路面上の車両の位置と領域を広範囲に精度よく検出することができ、車両通過台数を計測する際に有用な情報を得ることができる。
また、座標変換部を持つことで、道路面上での位置、車両の道路面からの高さ等人間の感覚に近い３次元データを得ることができる。
【００２１】
本発明の請求項２に記載の発明は、片側１車線以上ある道路において前記道路面上の車両を前方あるいは後方から撮影した複数の画像を使用し、前記道路面を基準とした座標系の３次元データを前記車両の進行方向に投影し、一定以上の時間において前記車両の高さデータが零となる位置を検出することにより車線位置を判別する車線検出部を備えた請求項１記載の車両検出装置であり、３次元データを投影した結果から大局的に車線位置を判断することができる。
【００２３】
本発明の請求項３に記載の発明は、前記道路面上の車両を前方あるいは後方から撮影した複数の画像を使用し、前記車線検出部によって得られた車線位置情報と前記道路面を基準とした座標系の３次元データを用いて、各車線毎に３次元データを車両側方方向に投影し、前記車両検出部によって検出された車両の長さ、車両の高さをあらじめ蓄積してある各車種の諸元データと比較することで、前記車両の車種を判別する車種判別部を備えた請求項２記載の車両検出装置であり、３次元データを車両側方方向に投影することで不完全な３次元データからでも、大型車、小型車等の車種を判別することができる。
【００２４】
（実施の形態１）
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態１における車両検出装置の構成を示している。図１において、１は第１の撮像装置、２は第２の撮像装置であり、３は撮像装置１によって撮像された左画像、４は撮像装置２によって撮像された右画像である。５は左画像３および右画像４に対して画像処理を施す画像処理部である。画像処理部５は、対応付け部６と平面推定部７と距離計測部８と車両検出部９とからなる。１０は画像処理部５によって検出された車両検出画像である。
【００２５】
次に、本実施の形態における動作について説明する。図２に示すように左右に配置される２台の撮像装置１、２によって道路面１１と道路環境上の車両１２とを撮像し、それによって得られる左右の２画像３と４のうち、左画像３を基準画像として、対応付け部６で、図１４を用いて説明したのように、左画像３を水平方向Ｍ垂直方向Ｎのブロックに分割し、各ブロック毎に右画像４から類似した領域を見つけ、視差を獲得する。平面推定部７では、対応付け部６から出力される各ブロック毎の視差を用いて、ハフ変換により３次元的に道路面の位置を推定する。距離計測部８では、推定された道路面の視差や対応付け部６で得られた視差を用いて、これを撮像装置１、２から車両１２や道路面１１までの距離に変換する。車両検出部９では、各ブロック毎に車両が存在している３次元データと推定した道路面の３次元データとを比較し、道路面１１より撮像装置１、２側にある物体を検出することで、車両１２を検出し、車両検出画像１０を得る。
【００２６】
このように、本実施の形態１によれば、車両検出装置にステレオ画像処理を用いることで、道路環境を３次元的に把握することができ、従来、センサや単眼の撮像装置を用いた画像処理では獲得できなかった広範囲の道路環境の立体情報から車両を正確に検出することができるようになる。
【００２７】
（実施の形態２）
図３は本発明の実施の形態２における車両検出装置の構成を示している。図３において、２１は第１の撮像装置、２２は第２の撮像装置であり、２３は撮像装置２１によって撮像された左画像、２４は撮像装置２２によって撮像された右画像である。２５は左画像２３および右画像２４に対して画像処理を施す画像処理部である。画像処理部２５は、対応付け部２６と平面推定部２７と距離計測部２８と座標変換部２９と車両検出部３０とからなる。３０Ａは画像処理部２５によって検出された車両検出画像である。
【００２８】
次に、本実施の形態における動作について説明する。複数の撮像装置２１、２２と対応付け部２６と平面推定部２７における処理は、実施の形態１と同様であるので、ここでは距離計測部２８と座標変換部２９の処理について説明する。座標変換部２９では、図４に示すように、撮像装置２１、２２を基準とした座標系ＣＯ１を道路面３１を基準とした座標系ＣＯ２に変換する。道路面３１を基準とした座標系は、具体的には道路面３１上の位置を示す２つの次元と、道路上の物体の高さを示す１つの次元からなる。座標の変換は、まず距離計測部２８で必要な距離を計測した上で、次のような３フェーズで行われる。
【００２９】
フェーズ（１）：Ｘ方向の変換
撮像装置２１、２２を図２に示す撮像装置１、２のように設置した場合、一般的に撮像される画像は図５（ａ）のようになる。これを画像水平方向に関して、３次元データの配列間隔が実際の道路面の一定間隔毎になるように変換する。具体的な手法は、画像を図５(a) のように小レーンＳＬに分割し、各小レーンＳＬが平行になるように３次元データの水平方向への配置間隔を変換する。本フェーズにおける処理を図的に説明すれば、図５（ａ）の画像が図５（ｂ）の画像のようになる。
【００３０】
フェーズ（２）：車両高さ方向の変換
このフェーズでは、獲得された３次元データを用いて、図６に示すように、撮影された車両３２の道路面３１からの高さＨを算出する。道路面３１からの車両３２の高さＨは、撮像装置２１、２２と道路面３１および検出する車両３２の幾何学的関係において式（７）を用いて算出される。
【００３１】
【数４】

・・・（７）
ただし、Ｋ：撮像装置から車両までの距離
ｈ：撮像装置の道路面からの高さ
ＲＫ：撮像装置から道路面までの距離
画像中、車両がある領域では車両の高さＨを算出し、各位置毎に３次元データとして格納する。本処理を図５（ｂ）を用いて説明すれば、車両の高さＨを算出することは紙面の法線方向の３次元データを求めることである。
【００３２】
フェーズ（３）：Ｙ方向の変換
フェーズ３では、図４の画像Ｙ方向についても３次元データの配列間隔が、道路面での距離に比例するように変換する。具体的には、撮像装置２１、２２から車両３２までの道路面３１上での水平距離Ｖは、図６に示すように、撮像装置２１、２２と道路面３１および検出する車両３２の幾何学的関係において式（８）を用いて算出される。
【００３３】
【数５】

・・・（８）
ただし、Ｋ：撮像装置から車両までの距離
ｈ：撮像装置の道路面からの高さ
ＲＫ：撮像装置から道路面までの距離
θ ：垂線と撮像装置の光軸がなす角
【００３４】
各ブロック毎に距離計測部２８によって得られる撮像装置２１、２２から道路面３１までの距離ＲＫと車両３２までの距離Ｋを用いて、式（８）から、撮像装置２１、２２が道路面３１に落とした垂線の位置から車両３２までの距離、すなわち道路面３２上の距離Ｖを算出し、道路面３２上の距離Ｖに応じて３次元データを配置、変換する。図５で本フェーズにおける処理を図的に説明すれば、図５（ｂ）の画像が図５（ｃ）の画像のように変換され、画像垂直方向の３次元データの配置間隔も水平方向と同様に道路面上での一定間隔毎になる。その後、実施の形態１と同様に、車両検出部３０では、各ブロック毎に車両が存在している３次元データと推定した道路面の３次元データとを比較し、道路面３２より撮像装置２１、２２側にある物体を検出することで車両３１を検出し、車両検出画像３０Ａを得る。
【００３５】
このように、本実施の形態２によれば、撮像装置を基準とした座標系で獲得された３次元データは、道路面を基準とした座標系に座標変換され、より人間の感覚に近いデータが得られるようになる。これにより、まず各車両の道路面からの高さを算出することができる。また、車両までの距離を、撮像装置からの距離ではなく、道路面上の距離で把握できるので、一定時間毎の車両の位置変化から車両速度を求める等の際、有用な情報を得ることができる。
【００３６】
（実施の形態３）
図７は本発明の実施の形態３における車両検出装置の構成を示している。図７において、４１は第１の撮像装置、４２は第２の撮像装置であり、４３は撮像装置４１によって撮像された左画像、４４は撮像装置４２によって撮像された右画像である。４５は左画像４３および右画像４４に対して画像処理を施す画像処理部である。画像処理部４５は、対応付け部４６と平面推定部４７と距離計測部４８と座標変換部４９と車線検出部５０と投影車両検出部５１と車種判別部５２とからなる。５３は画像処理部４５によって検出された車両検出画像である。
【００３７】
次に、本実施の形態における動作について説明する。複数の撮像装置４１、４２と対応付け部４６と平面推定部４７と距離計測部４８と座標変換部４９の処理は、実施の形態２と同様であるので、ここでは車線検出部５０の処理について説明する。座標変換部４９で座標変換された３次元データを、車両の進行方向あるいはその逆方向に投影する。図４で説明すれば、Ｕ−Ｈ平面に車両と道路の３次元データを投影する。投影すると図８のようになる。投影像から道路の車線位置を検出するには、Ｕ軸上で車両の高さＨが零となる位置を検出することで可能となる。なお、車線検出部５０では、ある一定以上の時間において安定して存在する車線位置のみを出力することにより、車線変更等を行う車両等に影響されずに車線位置を検出することができる。
【００３８】
次に、投影車両検出部５１の処理について説明する。車線検出部５０で得られた車線位置をもとに、座標変換部４９で座標変換された３次元データを車線毎に分割し、各車線ごとに、車両の進行方向とは直角方向すなわち車両の側方方向に３次元データを投影する。具体的には、各車線毎に３次元データを図４中のＶ−Ｈ平面に投影する。例えば、ある車線内の３次元データをＶ−Ｈ平面に投影すれば、図９のようになる。車両の先頭部ＦＲをもって車両の位置とすれば、Ｖ軸に沿って車高を示すＨの値がＨ＝０からＨ＞０に変化する位置を検出することによって車両位置を検出することができる。
【００３９】
上記処理により、図１０に示すように画像上では重なって見える複数の車両ＴＲ１、ＴＲ２があっても、３次元データを上記のように投影すれば、図９のように車両毎に分離して検出することができる。また、車種判別部５２では、図９に示すような投影像から車両のＶ軸方向の長さ、車両の高さを示すＨの大きさを計測し、あらかじめ把握してある各車種の諸元データと比較することで、大型車、小型車、二輪車等の種別を判別する。この処理によって、たとえば車種別の通過台数を計測する際に有用な情報を得ることができる。
【００４０】
このように、本実施の形態３によれば、車線検出部を設けることにより、大局的に車線位置を検出することができ、たとえば車線位置が工事、渋滞等で変化した場合であっても、自動的に車線位置を検出することができる。また、投影車両検出部を設けることにより、車線毎の３次元データを車両側方方向へ投影することで、不完全な３次元データからでも画像上では上下に重なって見える車両を個々に分離して検出することができる。さらに、車種判別部を設けることにより、不完全な３次元データからでも、大型車、小型車等の車種を判別することができる。
【００４１】
【発明の効果】
以上の説明から明らかなように、車両検出装置においてステレオ画像処理を用いることで、従来のようなセンサを必要とせず、道路の３次元データから広範囲に車両を検出することができる。また、ステレオ画像処理によって得られる撮像装置が、基準となる座標系の３次元データを道路面を基準とした座標系に座標変換することで、車両の位置や車両の高さ等、人間の感覚に近い情報が得られ、その後の処理を容易かつ効率的に行うことができる。さらに、車両の道路面からの高さを非接触な方法で計測することができ、車両までの距離を道路面上の距離で計測することができ、車線の位置を計測した３次元データから検出することができるため、撮像装置設置後、車線位置が変更になった場合でも車線を分離することができる。さらに、計測後に変換された３次元データを、各車線毎に投影することにより、画像上で重なって見える車両同士を分離して検出することができ、不完全な３次元データからでも、大型車、小型車等の車種を判別することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における車両検出装置の構成を示すブロック図
【図２】本発明の実施の形態１における動作を説明するための構成図
【図３】本発明の実施の形態２における車両検出装置の構成を示すブロック図
【図４】本発明の実施の形態２における動作を説明するための模式図
【図５】本発明の実施の形態２における動作を説明するための模式図
【図６】本発明の実施の形態２における動作を説明するための模式図
【図７】本発明の実施の形態３における車両検出装置の構成を示すブロック図
【図８】本発明の実施の形態３における動作を説明するための模式図
【図９】本発明の実施の形態３における動作を説明するための模式図
【図１０】本発明の実施の形態３における動作を説明するための模式図
【図１１】従来の車両検出装置の構成を示すブロック図
【図１２】ステレオ画像処理の原理を説明するための模式図
【図１３】従来のステレオ画像処理を用いた物体検出装置の構成を示すブロック図
【図１４】ステレオ画像処理における画像とブロックとの関係を示す模式図
【図１５】ステレオ画像処理における平面推定方法を説明するための模式図
【符号の説明】
１、２、２１、２２、４１、４２撮像装置
３、２３、４３左画像
４、２４、４４右画像
５、２５、４５画像処理部
６、２６、４６対応付け部
７、２７、４７平面推定部
８、２８、４８距離計測部
９、３０車両検出部
１０、３０Ａ、５３車両検出画像
２９、４９座標変換部
５０車線検出部
５１投影車両検出部
５２車種判別部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle detection apparatus to which stereo image processing technology useful for traffic flow measurement and the like is applied.
[0002]
[Prior art]
As a conventional vehicle detection device using image processing, there is a device described in Mitsunori Hayashida et al., “Image-type vehicle detector resistant to external environment changes” (OMRON TECHNICS Vol.32). To explain. In FIG. 11, the hardware configuration uses a CCD camera 102 as the imaging device 101, and corrects changes in external illuminance by the EE lens 103. An image input from the CCD camera 102 is input to the image processing unit 105 of the apparatus main body 104, A / D converted by the A / D conversion unit 106, subjected to image processing, stored in the video RAM 107, and then the terminal communication unit 108. To the terminal LAN.
[0003]
The image output from the CCD camera 102 is subjected to inter-frame difference processing and background difference processing in the image processing unit 105, and a vehicle region in the image is extracted. In the inter-frame difference, binarization is performed after differential processing of two input images that are different in time, and a binary image B ₁ (m, n) of only the moving region is extracted. This inter-frame difference processing has a feature that a moving object (vehicle) can be detected stably with respect to outdoor illuminance changes.
[0004]
[Expression 1]

... (1)
However,
f ₁ (m, n), f ₂ (m, n): luminance α of pixel (m, n) on input image at time t = t ₁ , t ₂ (t ₁ <t ₂ ): binarization threshold [0005]
In the background difference processing, binarization is performed after the difference processing between an input image and an image (hereinafter referred to as a background image) that has been created in advance and does not exist. A binary image B ₂ (m, n) in a region having a luminance difference in the positive direction with respect to the background image is extracted.
[0006]
[Expression 2]

... (2)
However,
f ₂ (m, n): luminance of pixel (m, n) on input image at time t ₂ f _b (m, n): luminance of pixel (m, n) on background image β: binarization threshold The background difference has a feature that the detection area of the vehicle is accurate. This device aims to detect a vehicle with high accuracy by combining the inter-frame difference process and the background difference process, taking advantage of each other.
[0007]
Next, the principle of stereo image processing will be described. In the stereo image processing technique, the same object is photographed by two imaging devices on the left and right sides, and the distance to the object is measured by the principle of triangulation. In FIG. 12,

imaging surfaces

111 and 112 and an object P of two imaging devices arranged horizontally and in parallel are shown. Actually, the

imaging planes

111 and 112 of the imaging apparatus exist in front of the x-axis, but are shown in this way for convenience of explanation. Now, when trying to measure the distance to the object P, the object P is imaged at points P _L and P _R on the left and right images, respectively. If the coordinates in the x direction on the images of the points P _L and P _R are X _L and X _R , respectively, the parallax S is obtained as shown in Equation (3).
Parallax S = X _L −X _R (3)
The process of finding the points (X _L , Y _L ), (X _R , Y _R ) {where Y _L = Y _R } from the left and right images is called an association process.
[0008]
The distance K from the imaging device to the object P can be calculated from the parallax S by the equation (4).
Distance to object K = (B × f) / S (4)
However, B: Arrangement interval of the imaging device f: Focal length of the lens
Next, a conventional object detection apparatus using stereo image processing will be described with reference to FIG. The left image 123 and the right image 124 are imaged by the left and

right imaging devices

121 and 122 arranged so that the optical axes are parallel to each other. Of the captured images, the left image 123 is used as a reference. The left image 123 is divided into blocks in the horizontal direction M and the vertical direction N, and the associating unit 125 determines the parallax of each block. As an example of the association method, a method described in Keiji Miyoshi et al., “Driving support system using 3D image recognition technology” (Academic Lecture Preprint 92419922-10) will be described. In FIG. 14, the block 132 of the left image 131 is composed of m × n pixels. Let Li be the brightness of the i-th pixel inside the block 132. Also, a rectangular area 134a of m × n pixels is set for the right image 133, and the brightness of the i-th pixel in the rectangular area is Ri. The similarity evaluation value of the rectangular area between these left and right images is given by the following equation (5).
[0010]
[Equation 3]

... (5)
In the search range 134 in the right image 133 in FIG. 14 where the corresponding region may exist, the rectangular region 134a is moved pixel by pixel in the horizontal direction to calculate the similarity evaluation value C, and this value is minimized. Is set as a corresponding area. In this method, the corresponding area can be determined in units of blocks in the left image 131. If the corresponding area is determined, the parallax S can be obtained immediately using the equation (3) from the coordinate position of the corresponding area. .
[0011]
The distance measuring unit 126 calculates the distance from the imaging device to the object using the equation (4) from the parallax for each block, and the image stored at each block position is called a distance image 127, and there is no object to be detected. The distance image in the state is particularly called the initial distance image 128 and is distinguished from each other. The distance difference detection unit 129 compares the distance of the same block position stored in the initial distance image 128 and the distance image 127 acquired as needed, and determines that a new object exists in the block in which the distance has changed. The object detection image 130 is detected.
[0012]
Next, a “planar estimation method” described in Japanese Patent Application No. 7-234019 will be described as a technique for estimating a three-dimensional position of a road surface using stereo image processing. Of the left and right images, one reference image (left image) is divided into M × N blocks in the horizontal direction (X) M and vertical direction (Y) N as shown in the image plane 141 in FIG. The parallax is measured for each block. The parallax data measured in each block is denoted as S (X, Y). This is plotted on the three-dimensional coordinates of XYS shown in FIG. 15, and a straight line is applied to the point sequence S (X, Y) when the index Y (1 ≦ Y ≦ N) is fixed. Since this straight line passes through the road surface 143, it will be referred to as a plane passing straight line 142. For fitting a straight line, Hough transform that can handle data globally is used. As the linear parameters necessary for performing the Hough transform, the distance ρ of the perpendicular drawn from the straight line to the origin (Y axis) and the inclination θ of the perpendicular are used. Therefore, the plane passing straight line 142 is expressed as shown in Expression (6).
[0013]
ρ _Y = _X cos θ _Y + _Y sin θ _Y (6)
However, ρ _Y : distance from the Y axis to the plane passing straight line θ _Y : the angular road surface 143 formed by the perpendicular drawn from the plane passing straight line and the XY plane can be approximated by the plane passing straight line 142 group, and the feature is insufficient For blocks where the parallax is undetermined due to such reasons, the parallax on the road surface 143 is obtained from the plane passing straight line 142 group. Due to the global nature of the Hough transform, the position of the road surface 143 can be estimated on the XYS coordinates without being affected by the presence of vehicles or people on the road.
[0014]
[Problems to be solved by the invention]
In a vehicle detection device, it is desired to accurately detect a region of each vehicle stably with respect to all weather conditions, imaging device installation conditions, vehicle shapes, and road conditions. However, in the conventional vehicle detection device using an image by a single imaging device, the vehicle is detected by a temporal and spatial luminance change of the image. It is difficult to detect each vehicle separately if it is erroneously detected for road surface reflections, sunlight or shadows due to lighting, etc. There was a problem. In addition, ultrasonic sensors, optical sensors, and magnetic sensors that have been generally used as vehicle detection devices so far have a problem in that their installation positions are limited and that installation requires a large amount of money.
[0015]
The present invention solves such a conventional problem, and improves the accuracy of vehicle detection by grasping the road environment three-dimensionally, and uses a conventional ultrasonic sensor, optical sensor, or the like. An object of the present invention is to provide a vehicle detection device that replaces a sensor.
[0016]
[Means for Solving the Problems]
In order to achieve the above object, the present invention uses the stereo image processing described in the prior art to sense a road environment three-dimensionally over a wide area and convert the measured three-dimensional data, thereby The position and area of the vehicle are detected with high accuracy by processing close to a sense. Also, by projecting three-dimensional data, the position of the lane, the position of the vehicle, and the vehicle type are grasped globally, thereby improving the accuracy of vehicle detection, It is possible to realize an excellent vehicle detection device that replaces a vehicle detector using light or the like.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
According to a first aspect of the present invention, there are provided a plurality of imaging devices that are arranged horizontally and in parallel to capture a plurality of images on a road surface, and a region having a high correlation between the plurality of captured images. An associating unit for associating; a plane estimating unit for three-dimensionally estimating a position of the road surface from the result of the associating; and a vehicle and the road surface on the road surface by the principle of triangulation from the associating result A distance measuring unit that measures the three-dimensional data, and using the measured three-dimensional data, a height H of the vehicle from the road surface and a distance V on the road surface from the imaging device to the vehicle are calculated. A coordinate conversion unit for converting the coordinates of the three-dimensional data, and projecting the coordinate-converted three-dimensional data onto a VH plane, and a height H from the road surface of the vehicle along the distance V is H = 0 to H> 0
A vehicle detection unit that extracts a vehicle head position and a vehicle region in the image by detecting a position that changes to the vehicle, and measures the number of vehicles passing based on the extracted vehicle head position. This is a vehicle detection device that senses the three-dimensional data of the vehicle and the road surface by stereo image processing, so that the position and area of the vehicle on the road surface can be accurately detected over a wide range without being affected by luminance changes other than the traveling vehicle. can be detected, it is possible to obtain information useful for measuring the vehicle passage number.
In addition, by having the coordinate conversion unit, it is possible to obtain three-dimensional data close to human senses such as the position on the road surface and the height of the vehicle from the road surface.
[0021]
The invention according to claim 2 of the present invention uses a plurality of images obtained by photographing the vehicle on the road surface from the front or rear in a road with one lane or more, of the coordinate system based on the road surface 3 projecting the dimensional data in the traveling direction of the vehicle, the vehicle of claim 1, further comprising a lane detecting unit for determining a lane position by detecting the position where the height data of the vehicle at a constant or time is zero It is a detection device, and the lane position can be determined globally from the result of projecting the three-dimensional data.
[0023]
The invention described in claim 3 of the present invention uses a plurality of images obtained by photographing the vehicle on the road surface from the front or rear, the lane position information obtained by the traffic lane detecting section and the reference of the road surface The three-dimensional data of the coordinate system is used to project the three-dimensional data in the vehicle lateral direction for each lane, and the vehicle length and vehicle height detected by the vehicle detection unit are stored in advance. The vehicle detection device according to claim 2 , further comprising: a vehicle type discriminating unit that discriminates the vehicle type of the vehicle by comparing with specification data of each vehicle type, and projecting three-dimensional data in a vehicle lateral direction. Thus, even from incomplete three-dimensional data, it is possible to discriminate vehicle types such as large vehicles and small vehicles.
[0024]
(Embodiment 1)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a vehicle detection apparatus according to Embodiment 1 of the present invention. In FIG. 1, 1 is a first imaging device, 2 is a second imaging device, 3 is a left image taken by the

imaging device

1, and 4 is a right image taken by the imaging device 2. An image processing unit 5 performs image processing on the left image 3 and the right image 4. The image processing unit 5 includes an association unit 6, a plane estimation unit 7, a distance measurement unit 8, and a vehicle detection unit 9. Reference numeral 10 denotes a vehicle detection image detected by the image processing unit 5.
[0025]
Next, the operation in this embodiment will be described. As shown in FIG. 2, the left and right two

images

3 and 4 are obtained by imaging the road surface 11 and the vehicle 12 on the road environment with the two

imaging devices

1 and 2 arranged on the left and right. Using the image 3 as a reference image, the associating unit 6 divides the left image 3 into blocks in the horizontal direction M and the vertical direction N as described with reference to FIG. Find a region and get parallax. The plane estimation unit 7 uses the parallax for each block output from the association unit 6 to estimate the position of the road surface three-dimensionally by Hough transform. The distance measuring unit 8 converts the estimated road surface parallax and the parallax obtained by the associating unit 6 into distances from the

imaging devices

1 and 2 to the vehicle 12 and the road surface 11. The vehicle detection unit 9 compares the three-dimensional data on which the vehicle exists for each block with the estimated three-dimensional data on the road surface, and detects an object on the

imaging device

1 or 2 side from the road surface 11. Thus, the vehicle 12 is detected and a vehicle detection image 10 is obtained.
[0026]
As described above, according to the first embodiment, by using stereo image processing for the vehicle detection device, the road environment can be grasped three-dimensionally, and conventionally an image using a sensor or a monocular imaging device is used. The vehicle can be accurately detected from the three-dimensional information of a wide range of road environment that could not be acquired by the processing.
[0027]
(Embodiment 2)
FIG. 3 shows the configuration of the vehicle detection apparatus according to Embodiment 2 of the present invention. In FIG. 3, 21 is a first imaging device, 22 is a second imaging device, 23 is a left image taken by the

imaging device

21, and 24 is a right image taken by the imaging device 22. An image processing unit 25 performs image processing on the left image 23 and the right image 24. The image processing unit 25 includes an association unit 26, a plane estimation unit 27, a distance measurement unit 28, a coordinate conversion unit 29, and a vehicle detection unit 30. Reference numeral 30A denotes a vehicle detection image detected by the image processing unit 25.
[0028]
Next, the operation in this embodiment will be described. Since the processes in the plurality of

imaging devices

21 and 22, the association unit 26, and the plane estimation unit 27 are the same as those in the first embodiment, the processes of the distance measurement unit 28 and the coordinate conversion unit 29 will be described here. As shown in FIG. 4, the coordinate conversion unit 29 converts the coordinate system CO1 based on the

imaging devices

21 and 22 into a coordinate system CO2 based on the road surface 31. Specifically, the coordinate system based on the road surface 31 includes two dimensions indicating a position on the road surface 31 and one dimension indicating the height of an object on the road. The coordinate conversion is performed in the following three phases after a necessary distance is first measured by the distance measuring unit 28.
[0029]
Phase (1): When the

conversion imaging devices

21 and 22 in the X direction are installed like the

imaging devices

1 and 2 shown in FIG. 2, generally captured images are as shown in FIG. With respect to the horizontal direction of the image, this is converted so that the arrangement interval of the three-dimensional data becomes every constant interval on the actual road surface. Specifically, the image is divided into small lanes SL as shown in FIG. 5A, and the arrangement interval in the horizontal direction of the three-dimensional data is converted so that the small lanes SL are parallel. If the processing in this phase is described graphically, the image in FIG. 5A becomes the image in FIG. 5B.
[0030]
Phase (2): Conversion in the vehicle height direction In this phase, as shown in FIG. 6, the height H from the road surface 31 of the photographed vehicle 32 is calculated using the acquired three-dimensional data. The height H of the vehicle 32 from the road surface 31 is calculated using Expression (7) in the geometric relationship between the

imaging devices

21 and 22, the road surface 31, and the vehicle 32 to be detected.
[0031]
[Expression 4]

... (7)
K: distance from the imaging device to the vehicle h: height from the road surface of the imaging device RK: in the distance image from the imaging device to the road surface, in a region where the vehicle is present, the vehicle height H is calculated. Stored as three-dimensional data for each position. If this process is described with reference to FIG. 5B, calculating the height H of the vehicle means obtaining three-dimensional data in the normal direction of the paper surface.
[0032]
Phase (3): Conversion in Y direction In Phase 3, conversion is also performed so that the arrangement interval of the three-dimensional data is proportional to the distance on the road surface in the image Y direction in FIG. Specifically, as shown in FIG. 6, the horizontal distance V on the road surface 31 from the

imaging devices

21 and 22 to the vehicle 32 is the geometry of the

imaging devices

21 and 22 and the road surface 31 and the vehicle 32 to be detected. The relationship is calculated using the equation (8).
[0033]
[Equation 5]

... (8)
Where K: distance from the imaging device to the vehicle h: height of the imaging device from the road surface RK: distance from the imaging device to the road surface θ: angle formed by the perpendicular and the optical axis of the imaging device
Using the distance RK from the

imaging devices

21 and 22 to the road surface 31 and the distance K to the vehicle 32 obtained by the distance measuring unit 28 for each block, the

imaging devices

21 and 22 are obtained from the equation (8). The distance from the vertical line dropped to the vehicle 32, that is, the distance V on the road surface 32 is calculated, and the three-dimensional data is arranged and converted according to the distance V on the road surface 32. If the processing in this phase is illustrated graphically in FIG. 5, the image in FIG. 5B is converted into the image in FIG. 5C, and the arrangement interval of the three-dimensional data in the vertical direction of the image is also set in the horizontal direction. Similarly, it is every fixed interval on the road surface. Thereafter, as in the first embodiment, the vehicle detection unit 30 compares the three-dimensional data on which the vehicle exists for each block with the estimated three-dimensional data of the road surface, and the imaging device 21 from the road surface 32. The vehicle 31 is detected by detecting an object on the 22 side, and a vehicle detection image 30A is obtained.
[0035]
As described above, according to the second embodiment, the three-dimensional data acquired in the coordinate system based on the imaging device is coordinate-transformed into the coordinate system based on the road surface, and is closer to the human sense. Can be obtained. Thereby, first, the height from the road surface of each vehicle can be calculated. In addition, since the distance to the vehicle can be grasped not by the distance from the imaging device but by the distance on the road surface, it is possible to obtain useful information when obtaining the vehicle speed from the position change of the vehicle at regular intervals. it can.
[0036]
(Embodiment 3)
FIG. 7 shows the configuration of the vehicle detection apparatus according to Embodiment 3 of the present invention. In FIG. 7, reference numeral 41 denotes a first imaging device, 42 denotes a second imaging device, 43 denotes a left image taken by the

imaging device

41, and 44 denotes a right image taken by the imaging device 42. An image processing unit 45 performs image processing on the left image 43 and the right image 44. The image processing unit 45 includes an association unit 46, a plane estimation unit 47, a distance measurement unit 48, a coordinate conversion unit 49, a lane detection unit 50, a projection vehicle detection unit 51, and a vehicle type determination unit 52. 53 is a vehicle detection image detected by the image processing unit 45.
[0037]
Next, the operation in this embodiment will be described. Since the processes of the plurality of

imaging devices

41 and 42, the association unit 46, the plane estimation unit 47, the distance measurement unit 48, and the coordinate conversion unit 49 are the same as those in the second embodiment, the processing of the lane detection unit 50 is here. explain. The three-dimensional data transformed by the coordinate transformation unit 49 is projected in the traveling direction of the vehicle or in the opposite direction. If it demonstrates in FIG. 4, the three-dimensional data of a vehicle and a road will be projected on a UH plane. The projected image is as shown in FIG. The road lane position can be detected from the projected image by detecting the position where the vehicle height H is zero on the U-axis. Note that the lane detection unit 50 can detect the lane position without being influenced by the vehicle or the like that changes the lane by outputting only the lane position that exists stably for a certain period of time or more.
[0038]
Next, the process of the projection vehicle detection part 51 is demonstrated. Based on the lane position obtained by the lane detection unit 50, the three-dimensional data coordinate-transformed by the coordinate transformation unit 49 is divided for each lane, and for each lane, a direction perpendicular to the traveling direction of the vehicle, that is, the vehicle Project 3D data in the lateral direction. Specifically, the three-dimensional data is projected onto the VH plane in FIG. 4 for each lane. For example, when three-dimensional data in a certain lane is projected onto the VH plane, the result is as shown in FIG. If the vehicle head portion FR is used as the vehicle position, the vehicle position can be detected by detecting the position where the value of H indicating the vehicle height changes from H = 0 to H> 0 along the V-axis. .
[0039]
As a result of the above processing, even if there are a plurality of vehicles TR1 and TR2 that appear to overlap each other as shown in FIG. 10, if the three-dimensional data is projected as described above, it is separated for each vehicle as shown in FIG. Can be detected. Further, the vehicle type discriminating unit 52 measures the length of the vehicle in the V-axis direction and the size of H indicating the height of the vehicle from the projection image as shown in FIG. By comparing with the data, the type of large vehicle, small vehicle, two-wheeled vehicle or the like is determined. By this processing, for example, useful information can be obtained when measuring the number of vehicles passing by vehicle type.
[0040]
Thus, according to the third embodiment, by providing the lane detection unit, the lane position can be detected globally. For example, even if the lane position changes due to construction, traffic jams, etc. The lane position can be automatically detected. In addition, by providing a projection vehicle detection unit, by projecting the three-dimensional data for each lane in the vehicle lateral direction, even vehicles that appear to overlap in the image even from incomplete three-dimensional data are separated individually. Can be detected. Furthermore, by providing a vehicle type discriminating section, it is possible to discriminate vehicle types such as large vehicles and small vehicles from incomplete three-dimensional data.
[0041]
【The invention's effect】
As is apparent from the above description, by using stereo image processing in the vehicle detection device, a vehicle can be detected over a wide range from the three-dimensional data of the road without using a conventional sensor. In addition, the imaging device obtained by stereo image processing converts the three-dimensional data of the reference coordinate system into a coordinate system based on the road surface, thereby enabling human senses such as the position of the vehicle and the height of the vehicle. Information can be obtained, and the subsequent processing can be performed easily and efficiently. Furthermore, the height of the vehicle from the road surface can be measured by a non-contact method, the distance to the vehicle can be measured by the distance on the road surface, and the position of the lane is detected from 3D data. Therefore, the lane can be separated even when the lane position is changed after the image pickup apparatus is installed. Furthermore, by projecting the three-dimensional data converted after the measurement for each lane, it is possible to separate and detect vehicles that appear to overlap each other on the image. Even from incomplete three-dimensional data, large vehicles can be detected. A vehicle type such as a small car can be discriminated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a vehicle detection device according to a first embodiment of the present invention. FIG. 2 is a configuration diagram for explaining an operation according to the first embodiment of the present invention. FIG. 4 is a schematic diagram for explaining an operation in the second embodiment of the present invention. FIG. 5 is a diagram for explaining an operation in the second embodiment of the present invention. Fig. 6 is a schematic diagram for explaining the operation in the second embodiment of the present invention. Fig. 7 is a block diagram showing the configuration of the vehicle detection device in the third embodiment of the present invention. FIG. 9 is a schematic diagram for explaining the operation in the third embodiment. FIG. 9 is a schematic diagram for explaining the operation in the third embodiment of the invention. FIG. 10 is for explaining the operation in the third embodiment of the invention. [Fig. 11] Conventional vehicle FIG. 12 is a schematic diagram for explaining the principle of stereo image processing. FIG. 13 is a block diagram showing the configuration of an object detection device using conventional stereo image processing. Schematic diagram showing the relationship between images and blocks in image processing. FIG. 15 is a schematic diagram for explaining a plane estimation method in stereo image processing.
1, 2, 21, 22, 41, 42

Imaging device

3, 23, 43

Left image

4, 24, 44 Right image 5, 25, 45

Image processing unit

6, 26, 46 Associating

unit

7, 27, 47

Plane estimation Units

8, 28, 48

Distance measurement unit

9, 30

Vehicle detection unit

10, 30A, 53

Vehicle detection image

29, 49 Coordinate conversion unit 50 Lane detection unit 51 Projected vehicle detection unit 52 Vehicle type determination unit

Claims

A plurality of imaging devices that are arranged horizontally and parallel to capture a plurality of images on the road surface;
An associating unit for associating a region having a high correlation between the plurality of captured images;
A plane estimation unit that three-dimensionally estimates the position of the road surface from the result of the association;
A distance measuring unit that measures the vehicle on the road surface and the three-dimensional data of the road surface by the principle of triangulation from the result of the association;
A coordinate converter that calculates the height H of the vehicle from the road surface and the distance V on the road surface from the imaging device to the vehicle using the measured three-dimensional data, and performs coordinate conversion of the three-dimensional data. When,
The coordinate-converted three-dimensional data is projected onto a VH plane, and the height H of the vehicle from the road surface along the distance V is H = 0 to H> 0.
A vehicle detection unit that extracts a vehicle head position and a vehicle region in the image by detecting a position that changes to the vehicle, and measures the number of vehicles passing based on the extracted vehicle head position. A vehicle detection device.

Using a plurality of images taken from the front or rear of the vehicle on the road surface on one or more lanes on one side,
Projecting the three-dimensional data of the coordinate system based on the road surface in the traveling direction of the vehicle,
The vehicle detection device according to claim 1, further comprising a lane detection unit that determines a lane position by detecting a position at which the height data of the vehicle becomes zero for a predetermined time or more.

Using a plurality of images taken from the front or rear of the vehicle on the road surface,
Using the lane position information obtained by the lane detection unit and the three-dimensional data of the coordinate system based on the road surface, the three-dimensional data is projected in the vehicle lateral direction for each lane,
A vehicle type discriminating unit that discriminates the vehicle type of the vehicle by comparing the length of the vehicle detected by the vehicle detection unit and the specification data of each vehicle type that has been accumulated in advance. The vehicle detection device according to claim 2.