JP4311107B2 - 三次元物体認識装置およびその設定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像を用いて三次元物体を認識する三次元物体認識装置に関し、特に、この三次元物体認識装置の認識処理に用いられるパラメータの可否確認および設定を行うための技術に関するものである。
【０００２】
【従来の技術】
所定の撮像エリアを複数の撮像装置で撮像し、得られたステレオ画像から撮像エリア内に存在する三次元物体を認識する装置が知られている（特許文献１、２参照）。このような装置においては、装置の設置環境や認識目的などに応じて、認識処理に用いられるパラメータをあらかじめ設定する必要がある。
【０００３】
パラメータとしては、三次元物体が存在する基準面の三次元的位置（撮像装置と基準面の相対的位置関係で規定される）が設定されていることが一般的である。その基準面の三次元的位置を基準にすれば、背景である基準面と認識対象である三次元物体の切り分け、三次元物体の高さ情報の算出などが容易になるからである。
【０００４】
また、撮像エリア内の一部に三次元物体を認識する認識部が設定されることもある。たとえば、道路上の車両を認識する車両認識装置の場合には、道路上に認識ラインを設定し、その認識ラインを通過する走行車両の数をカウントしたり、あるいは、感知式信号の手前に認識領域を設定し、その認識領域内に車両が存在するか否かを検出して感知式信号の制御に利用することが行われる。
【０００５】
【特許文献１】
特開平１０−１２２８１９号公報
【特許文献２】
特開平１１−２５９６５８号公報
【０００６】
【発明が解決しようとする課題】
パラメータの可否は、装置の認識性能に直接影響を及ぼす。それゆえ、装置の設置時またはメンテナンス時には、パラメータが適切か否かの可否確認やパラメータの調整作業が必須となる。
【０００７】
しかしながら、従来、パラメータの可否確認は、ユーザ（操作者）が装置の認識性能をみて判断する以外になかった。つまり、車両認識装置の場合を例にとれば、車両の数や種別を人手で計測する一方、装置でも同様に計測を行い、両者の計測結果を照らし合わせることで認識性能を把握し、その結果からパラメータの可否を判断していたのである。
【０００８】
このような方法では、認識性能の把握のために多大な時間と労力を要してしまうし、認識対象とする三次元物体がほとんど存在しない時間帯・設置場所では計測自体が困難である。また、人手で三次元物体を計測する必要があるため、誤計測が生じやすいという問題もある。しかも、パラメータの可否確認に時間を要する結果、パラメータの調整作業も困難となる。
【０００９】
さらに、撮像画像上に認識部を設定する際には次のような問題もある。ステレオ画像を用いた物体認識では、撮像装置からの距離が遠くなるほど測距精度が悪化し、逆に距離が近すぎると認識対象が視野から外れて測距不能となるおそれがある。それゆえ、良好な認識性能が得られる領域は自ずと決まってくる。しかし、撮像画像を見るだけではそのような領域を把握することができないため、認識性能の低い領域に誤って認識部を設定してしまう可能性がある。しかも、撮像画像では遠近感を把握しづらいうえに、撮像装置からの距離が遠くなるほど画像上のサイズが小さくなるために、所望の場所に認識部を設定することが困難であった。
【００１０】
本発明は上記実情に鑑みてなされたものであって、三次元物体認識装置の認識処理に用いるパラメータの可否確認および設定を容易化することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の三次元物体認識装置は、物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段を備える。ステレオ画像撮像手段は、２以上の複数の撮像手段から構成されるものである。
【００１２】
ここで「物体が存在する基準面」は、装置の用途、撮像エリアの選び方、認識対象等によって種々のものが想定できる。たとえば、車両の交通状況等を監視する装置の場合には、撮像エリアは道路や交差点であって、「物体」は車両、「基準面」は道路面となる。電車の運行状況等を監視する装置の場合には、撮像エリアは線路や踏切であって、「物体」は電車、「基準面」は線路となる。工場内の製造現場や物流現場において製造物や搬送物の搬送状況を監視する装置の場合には、「物体」は製造物や搬送物、「基準面」は搬送装置の搬送面となる。侵入者を監視する装置の場合には、「物体」は侵入者、「基準面」は監視エリアの地面や床等になる。なお、基準面は平面に限られず、曲面や段差のある面であってもよい。
【００１３】
認識処理に用いられる各種パラメータは記憶手段に記憶されている。パラメータには、ステレオ画像撮像手段と基準面との相対的位置関係（基準面の方程式を含む。）、三次元物体を認識する認識部等が含まれる。パラメータは、三次元物体認識装置によって自動的に生成される場合と、ユーザによって設定される場合とがある。パラメータ設定の効率に鑑みれば、原則として、装置がパラメータの初期値を自動生成し、ユーザがその値を確認、調整するようになっていることが好ましい。
【００１４】
本発明では、認識手段が、パラメータの一つであるステレオ画像撮像手段と基準面との相対的位置関係に基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する。また、パラメータとして認識部が設定されている場合には、認識手段は、その位置に存在する三次元物体のみを認識対象として扱う。
【００１５】
このように各種パラメータは三次元物体認識装置の認識性能を左右するものである。それゆえ、装置の設置時または定期メンテナンス時に、パラメータが適切であるか否かの可否確認を行い、必要に応じてパラメータの入力、変更等の設定を行うことが好ましい。
【００１６】
しかし、パラメータは単なる数値にしかすぎないため、それをみても直接可否を判断することは困難を極める。そこで、本発明者らは鋭意検討を行った結果、ステレオ画像を用いた三次元物体認識処理の特性を利用することはできないか、との着想を得た。
【００１７】
すなわち、本発明の三次元物体認識装置は、基準面の三次元的位置を基準にして物体認識を行うものであり、ステレオ画像撮像手段と基準面の相対的位置関係が正しく設定されている限り、原理的には基準面上の物体は正確に認識できるはずである。逆にいえば、認識性能が悪いということは、相対的位置関係から定まる基準面の三次元的位置と実空間における基準面の三次元的位置との間にずれがあるということに等しい。したがって、その「ずれ」を視覚的に表現することができれば、パラメータの可否を容易に確認でき、また、パラメータの調整も容易に行うことができるはずである。
【００１８】
このような知見に基づいて、本発明では、下記構成の設定手段を用いて、パラメータの可否確認および設定を行う。
【００１９】
設定手段は、まず、三次元モデル生成手段によって、相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成する。そして、表示手段によって、三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示する。
【００２０】
三次元モデルは相対的位置関係に基づいて生成されるので、その構造は相対的位置関係の設定値の可否に応じて変化する。つまり、設定値が正しければ三次元モデルは実空間と一致し、設定値が悪くなるほど三次元モデルは実空間から乖離していくのである。よって、三次元モデルと撮像画像とを対比することによって、パラメータの可否を視覚的に把握することができる。
【００２１】
三次元モデルは視点を変化させることによって任意の方向から眺めることができるが、対比のしやすさを考慮すれば、三次元モデルと撮像画像の視点を一致させることが好ましい。より好ましくは、対比する撮像画像上に三次元モデルを重ねて表示するとよい。これにより、両座標系のずれを一目で把握できるようになる。
【００２２】
ユーザは、両画像を対比した結果、パラメータ調整が必要と判断したら、入力手段を用いてパラメータの入力または変更を行えばよい。あるいは、設定手段が、両画像から「ずれ」を判別し、その「ずれ」を補正すべく自動的にパラメータ調整を行う構成も好ましい。入力または変更されたパラメータは、書込手段によって記憶手段に書き込まれる。これにより、適切なパラメータを三次元物体認識装置に対して設定することができる。
【００２３】
このとき、ステレオ画像撮像手段と基準面との相対的位置関係の変更に伴って、変更後の三次元座標系に基づく新たな三次元モデルが生成、表示されるとよい。これにより、ユーザは、都度更新される三次元モデルを確認しながら、パラメータを最適な値に調整することができる。
【００２４】
三次元モデルの構成としては、種々のものを採用できる。単に三次元座標軸を表すだけのモデルでもよいし、基準面や基準面上の物体を仮想的に作り出した仮想モデルであってもよい。
【００２５】
好ましくは、三次元モデル生成手段が、ステレオ画像から抽出条件を満たす特徴点を抽出し、抽出された特徴点群から三次元モデルを生成するとよい。これにより、撮像画像に含まれている像情報が三次元モデルで表されるので、三次元モデルと撮像画像との対比が行いやすくなる。また、抽出条件の設定しだいで、余分な情報のない、目的に応じた三次元モデルの生成が可能となる。
【００２６】
このとき、三次元モデル生成手段は、抽出された複数の特徴点を基準面の特徴点群と三次元物体の特徴点群に分類して、各特徴点群から別々の三次元モデルを生成するとなおよい。これにより、三次元モデルと撮像画像との間で、基準面同士または三次元物体同士のような個別の対比が可能となり、両画像のずれの把握がより簡単になる。
【００２７】
ここで、特徴点の抽出条件が、ステレオ画像間の正規化相関に関する条件、特徴点のエッジ強度に関する条件、もしくは、特徴点の三次元座標値に関する条件、または、これらの組み合わせを含むとよい。正規化相関が強いほど、また、エッジ強度が大きいほど、高い精度でステレオ画像間の特徴点の対応をとることができるので、三次元モデルの信頼性が向上し、パラメータの可否確認および設定を精度良く行うことができる。また、特徴点の三次元座標値を参照すれば、ノイズや外れ値を排除できるので三次元モデルの信頼性が向上するとともに、パラメータ確認に必要な情報のみ（たとえば基準面の特徴点のみ）を抽出できるので可否判断の容易化が図られる。
【００２８】
三次元モデル生成手段は、抽出された特徴点の数が所定の範囲から外れている場合に警告を出力するとよい。特徴点が少なすぎる場合もしくは多すぎる場合には、パラメータの値が不適切である蓋然性が高い。よって、警告を出力することで、ユーザにパラメータの設定変更を促し、設定間違いを未然に防止できる。
【００２９】
入力手段は、ユーザに対し基準面上の任意の座標に三次元物体を認識する認識部を配置させ、配置された認識部は撮像画像上に三次元モデルで表示されることが好ましい。これにより、撮像手段の視点や撮像手段からの距離に応じて、認識部の表示用画像が生成され、正確な位置、形状、大きさで三次元的に撮像画像上に表示されるため、認識部の可否確認および設定を容易に行うことができる。
【００３０】
このとき、良好な認識性能が得られる領域をユーザにガイドするとよい。さらには、認識性能が保証されない領域内に認識部が配置された場合に警告を出力することも好ましい。これにより、認識性能が悪い領域に認識部を配置してしまうといった設定間違いを防ぐことができる。
【００３１】
また、基準面をほぼ垂直に臨む視点からみた様子を表すＣＧ（コンピュータ・グラフィックス）画像が生成、表示され、そのＣＧ画像上に認識部を配置できるようにする構成も好ましい。撮像装置からの距離が遠くなるほど画像上のサイズが小さくなるため、撮像画像上では認識部の配置が困難になるところ、上記ＣＧ画像では撮像装置からの距離にかかわらず画像上のサイズがほぼ同一となるので、所望の場所に認識部を正確に配置することが容易になる。
【００３２】
ここで、ＣＧ画像と撮像画像とが並べて表示されると好ましい。撮像画像を参照しつつ認識部の設定を行えるようにすれば、障害物（撮像手段と基準面との間に存在する非認識対象物など）がある場所など画像処理上問題となる場所や、撮像手段から距離が離れている場所など認識処理上問題となる場所に、認識部が設定されてしまうことを回避できる。
【００３３】
また、認識部の変更に伴って、ＣＧ画像上の認識部の表示と撮像画像上の認識部の表示が連動して変わるとなお好ましい。これにより、認識部の設定状態を両方の画像で同時に確認でき、設定時間の短縮を図ることができる。
【００３４】
三次元モデル生成手段は、所定の規則にしたがって三次元モデルに色を付すことが好ましい。たとえば、基準面と三次元物体で色を異ならせたり、基準面よりも下にある部分などに警告色を付すようにすれば、視覚的にわかりやすくなり、パラメータの可否確認が一層容易になる。
【００３５】
三次元モデル生成手段は、所定の規則にしたがって三次元モデルに塗りつぶしパターン（ハッチング）を付してもよい。これも色付けと同様の作用効果を奏する。また、塗りつぶしパターンであれば表示画像が白黒であっても判別可能であるという利点がある。
【００３６】
なお、本発明は、上記手段の少なくとも一部を有する三次元物体認識装置として捉えることができ、上記設定手段の全部または一部の構成要素を三次元物体認識装置本体と別体に構成すれば、三次元物体認識処理用パラメータの設定装置として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む三次元物体認識装置の設定方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００３７】
たとえば、本発明の一態様としての三次元物体認識装置は、物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段と、認識処理に用いられるパラメータを記憶する記憶手段と、パラメータの一つであるステレオ画像撮像手段と基準面との相対的位置関係に基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する認識手段と、パラメータの可否確認および設定を行うための設定手段と、を備え、前記設定手段は、前記相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成する三次元モデル生成手段と、三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示する表示手段と、ユーザによるパラメータの入力または変更を受け付ける入力手段と、入力または変更されたパラメータを記憶手段に書き込む書込手段と、を有することが好ましい。
【００３８】
また、本発明の一態様としての三次元物体認識処理用パラメータの設定装置は、物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段と、認識処理に用いられるパラメータを記憶する記憶手段と、パラメータの一つであるステレオ画像撮像手段と基準面との相対的位置関係に基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する認識手段と、を備えた三次元物体認識装置に対して、パラメータの可否確認および設定を行うための装置であって、前記相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成する三次元モデル生成手段と、三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示する表示手段と、ユーザによるパラメータの入力または変更を受け付ける入力手段と、入力または変更されたパラメータを記憶手段に書き込む書込手段と、を有することが好ましい。
【００３９】
また、本発明の一態様としての三次元物体認識装置の設定方法は、物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段と、認識処理に用いられるパラメータを記憶する記憶手段と、パラメータの一つであるステレオ画像撮像手段と基準面との相対的位置関係に基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する認識手段と、を備えた三次元物体認識装置に対して、パラメータの可否確認および設定を行う設定方法であって、前記相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成するステップと、三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示するステップと、ユーザによるパラメータの入力または変更を受け付けるステップと、入力または変更されたパラメータを記憶手段に書き込むステップと、を含むことが好ましい。
【００４０】
また、本発明の一態様としての三次元物体認識装置の設定プログラムは、物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段と、認識処理に用いられるパラメータを記憶する記憶手段と、パラメータの一つであるステレオ画像撮像手段と基準面との相対的位置関係に基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する認識手段と、を備えた三次元物体認識装置に対して、パラメータの可否確認および設定を行う設定プログラムであって、コンピュータに、前記相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成するステップと、三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示するステップと、ユーザによるパラメータの入力または変更を受け付けるステップと、入力または変更されたパラメータを記憶手段に書き込むステップと、を実行させることが好ましい。
【００４１】
【発明の実施の形態】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００４２】
（第１の実施形態）
図１は、本発明の三次元物体認識装置の一実施形態に係る車両認識装置の設置例を示す。
【００４３】
（車両認識装置の構成）
車両認識装置１は、道路ＲＤの脇に設置された支柱４に取り付けられており、道路ＲＤの各車線毎の通過台数や車種の判別、通過速度の計測、渋滞状況の把握、違法駐車中の車両の認識、信号待ちの車両の認識等を自動的に行う装置である。この車両認識装置１は、２台の撮像装置２ａ，２ｂと制御装置３とを有して構成される。
【００４４】
撮像装置２ａ，２ｂは、車両５が存在する道路ＲＤを俯瞰する（斜めに臨む）ように設置されたステレオ画像撮像手段である。撮像装置としては、たとえばビデオカメラやＣＣＤカメラなどを用いることができる。
【００４５】
各撮像装置２ａ，２ｂは、焦点距離が同じものを用いる。また、各撮像装置２ａ，２ｂは、互いの光軸が平行になり、かつ、各撮像面が同一平面上に位置するようにして、所定間隔をあけて並設されている。したがって、撮像装置２ａ，２ｂにより、基準面である道路ＲＤを俯瞰するようなステレオ画像を撮像することができる。
【００４６】
なお、同図の例では、２台の撮像装置を用いているが、これに限らず、３台以上の撮像装置を用いてもよい。また、撮像装置の配置は縦並びに限らず、横または斜めに並べてもよい。
【００４７】
（制御装置の構成）
制御装置３は、ＣＰＵ（中央演算処理装置）、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access Memory）、Ａ／Ｄコンバータ、画像メモリ、通信Ｉ／Ｆ（Interface）、入力装置（キーボード、マウス）、モニタ等を基本ハードウエアとして備えるコンピュータシステムである。装置稼働時には、ＲＯＭに格納されたプログラムが、ＣＰＵに読み込まれ実行されることで、上記各ハードウエア資源と協働して次の各機能を実現する。
【００４８】
図２は、制御装置３の機能構成を示す機能ブロック図である。同図に示すように、制御装置３は、概略、Ａ／Ｄ変換部３０，３０、画像記憶部３１、物体認識処理部３２、パラメータ記憶部３３、ＣＧ生成部３４、パラメータ入出力部３５、表示部３６を有している。
【００４９】
Ａ／Ｄ変換部３０，３０は、Ａ／Ｄコンバータ等から構成され、撮像装置２ａ，２ｂから入力されたアナログ画像信号をディジタル画像信号に変換するものである。なお、撮像装置がディジタル画像信号を出力する場合には、Ａ／Ｄ変換部は不要である。ディジタル化された画像信号は、画像メモリ等から構成される画像記憶部３１に格納される。このようにして得られた２枚の撮像画像（ステレオ画像）は、後述する物体認識処理やパラメータ確認・設定処理に供される。なお、撮像画像はカラー画像でもモノクロ画像（濃淡画像）でもよい。
【００５０】
物体認識処理部３２は、ステレオ画像から基準面（道路面）上に存在する三次元物体（車両５）を認識する認識手段である。
【００５１】
物体認識処理部３２では、画像記憶部３１に取り込まれたステレオ画像のうち一方の基準画像から車両５や道路面の特徴点を抽出し、各々の特徴点について他方の参照画像中の対応点を見つけ、視差を求める。そして、各特徴点について、三角測量の原理に基づき実空間上のカメラ座標系（撮像装置の撮像面を基準とした三次元座標系）における座標値を算出する。
【００５２】
続いて、物体認識処理部３２は、カメラ座標系における座標値を道路面座標系における座標値に変換する。道路面座標系は、実空間上の三次元座標系であって、図３〜図５に示すように、撮像装置２ａ，２ｂから道路面に垂線をおろしたときの道路面と垂線（Ｙ軸）の交点を原点Ｏとし、車線と直交方向にＸ軸、平行方向にＺ軸をとった座標系である。この道路面座標系では、道路面の三次元的位置（方程式）がＹ＝０のＸＺ平面で表されるので、認識処理における演算が簡易となる利点がある。カメラ座標系を道路面座標系に変換するためのパラメータとしては、撮像装置２ａ，２ｂと道路面との相対的位置関係である「設置高さ」、「俯角」および「法角」が用いられる。
【００５３】
物体認識処理部３２は、各特徴点の道路面座標系における座標値を得たら、そのＹ座標値に基づいて車両の特徴点を判別する。また、パラメータとして認識部が設定されている場合には、物体認識処理部３２は、その認識部に存在する車両５に関する特徴点のみを抽出する。このようにして、物体認識処理部３２は、撮像装置２ａ，２ｂと基準面との相対的位置関係に基づいて、道路面の特徴点と車両５の特徴点の判別、車両５の高さ情報の算出等を行い、車両５を認識するのである。
【００５４】
上述した認識処理に用いられる各種パラメータは、あらかじめパラメータ記憶部３３に設定されている。パラメータ記憶部３３は、ＥＰＲＯＭ等で構成される記憶手段である。
【００５５】
（設定手段の構成）
本実施形態の車両認識装置１では、パラメータ記憶部３３に設定されているパラメータ、特に、撮像装置２ａ，２ｂと道路面との相対的位置関係が正確に設定されていないと、特徴点の判別や高さ情報の算出を正確に行うことができず、認識性能が低下してしまう。そこで、パラメータの可否確認および設定（調整）を行うために、図２のごとく、ＣＧ生成部３４、パラメータ入出力部３５、および、表示部３６からなる設定手段が設けられている。
【００５６】
ＣＧ生成部３４は、三次元モデルやＣＧ画像を生成する機能であって、本実施形態では相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成する三次元モデル生成手段として機能する。
【００５７】
パラメータ入出力部３５は、パラメータ記憶部３３、ＣＧ生成部３４、および、ユーザの三者間のパラメータの入出力を行う機能である。たとえば、パラメータ入出力部３５は、パラメータ記憶部３３との間でパラメータの読み出し／書き込みを行う読出手段／書込手段として、モニタにＧＵＩを表示してユーザへのパラメータの通知／ユーザによるパラメータの入力および変更の受け付けを行う通知手段／入力手段として、ＣＧ生成部３４とのパラメータの受け渡しを行う手段として、機能する。
【００５８】
表示部３６は、ＣＧ生成部３４で生成されたＣＧと、画像記憶部３１から読み出した撮像画像とを合成してモニタに表示する表示手段である。
【００５９】
（パラメータ確認・設定処理）
図６〜図８を参照して、装置設置時やメンテナンス時に実行されるパラメータ確認・設定処理について詳しく説明する。図６は、パラメータ確認処理の流れを示すフローチャートであり、図７は、三次元モデルの一例を示す図であり、図８は、パラメータ確認画面の一例を示す図である。
【００６０】
パラメータ確認・設定処理では、まず、ＣＧ生成部３４が画像記憶部３１からステレオ画像（基準画像と参照画像）を取得するとともに、パラメータ入出力部３５を介してパラメータ記憶部３３からパラメータを取得する（ステップＳ１００）。
【００６１】
ＣＧ生成部３４は、取得した基準画像からエッジ抽出処理によって複数の特徴点を抽出する（ステップＳ１０１）。エッジ抽出処理は、ラプラシアンフィルタやソーベルフィルタなどのエッジ抽出フィルタで画像を走査することにより行うことができる。ここでは、エッジ強度が所定のしきい値よりも大きい特徴点のみを抽出する。その結果、車両の輪郭、道路のレーンマーキングやひび割れ、道路にうつる車両の影の輪郭など、際立ったエッジ部分が特徴点として選ばれる。
【００６２】
次に、ＣＧ生成部３４は、抽出した各特徴点について参照画像中の対応点を探索し、視差を求める（ステップＳ１０２）。この対応付け処理は正規化相関法を利用して行われる。詳しくは、特徴点の周囲数近傍の小画像をサンプルパターンとして用意し、このサンプルパターンと類似する濃度パターンを参照画像中から探索することにより、対応点を見つける。ここでは、ステレオ画像間（基準画像と参照画像の間）の正規化相関が所定のしきい値よりも強い特徴点のみを残して、正規化相関の弱い特徴点は破棄する。
【００６３】
このように、エッジ強度と正規化相関の２つの抽出条件を満たす特徴点のみを抽出することで、高い精度でステレオ画像間の特徴点の対応付けを行うことができ、その結果、測距精度の良好な特徴点のみを選び出すことができる。
【００６４】
次に、ＣＧ生成部３４は、各特徴点について、三角測量の原理に基づきカメラ座標系における座標値を算出し、ステップＳ１００で取得したパラメータの一つである撮像装置と基準面の相対的位置関係（設置高さ、俯角、法角）に基づいて道路面座標系における座標値を算出する（ステップＳ１０３）。このようにして算出された座標値は、パラメータとして設定されている相対的位置関係の良し悪しをそのまま内包する値となる。なお、実際の処理では、画像上の座標と視差から道路面座標系における座標値を直接算出している。
【００６５】
続いて、ＣＧ生成部３４は、特徴点の分類を行う（ステップＳ１０４）。詳しくは、特徴点のＹ座標値に基づき、グループＡ〜Ｄの４つの特徴点群に分類する。グループＡは基準面よりも下に位置する点（Ｙ＜０）であり、グループＢは道路面を構成する点（Ｙ＝０）であり、グループＣは車両を構成する点（０＜Ｙ≦α）であり、グループＤはそれ以外の点（Ｙ＞α）である。αは認識対象となる車両の最大高さを考慮して決められる数値であり、たとえば４メートル程度に設定される。なお、測距精度の誤差を考慮し、グループＢの条件にある程度の幅をもたせることも好ましい。
【００６６】
ＣＧ生成部３４は、グループＣの特徴点群を車両単位にさらに細かく分類する。同一の車両を構成する特徴点か否かの判断は、一般的な車両の長さを考慮しつつ、特徴点のＺ座標値に基づいて行えばよい。
【００６７】
グループＡの特徴点は、本来存在し得ない点である。よって、グループＡの特徴点が多いときは、パラメータに基づく三次元座標系が実際の三次元座標系よりもＹ方向にずれている蓋然性が高い。また、道路面に対応するグループＢの特徴点が少ないとき、グループＤの特徴点が多いときも、パラメータの設定値が不適切である蓋然性が高い。しかも、グループＢの特徴点が３点よりも少ない場合には、道路面を構成することができない。
【００６８】
そこで、ＣＧ生成部３４は、グループ毎に抽出された特徴点の数が所定の範囲内に収まっているかを調べ（ステップＳ１０５）、その範囲から外れている場合には、設定が不適切である旨の警告をパラメータ確認画面に出力する（ステップＳ１０６）。
【００６９】
次に、ＣＧ生成部３４は、グループＡ〜Ｃの特徴点群それぞれの三次元モデルを生成する（ステップＳ１０７）。本実施形態では、図７に示すように、三次元モデルとしてワイヤーフレームモデルを用いる。グループＡは道路面よりも下の部分、つまり、本来存在し得ない部分を表すものなので、そのワイヤーフレームモデルには警告色である黄色を付すとともに（図中、破線で示す。）、フレーム内部を黄色で塗りつぶす（図中、斜線のハッチングで示す。）。グループＢは道路面を表す部分であり、そのワイヤーフレームモデルには青色を付すとともに（図中、一点鎖線で示す。）、フレーム内部に青色のメッシュパターンを付す（図中、メッシュ状のハッチングで示す。）。グループＣは車両を表す部分であり、車両ごとに別々のワイヤーフレームモデルを生成する。そのワイヤーフレームモデルには赤色を付す（図中、実線で示す。）。このようにして生成された三次元モデルは、表示部３６に引き渡される。
【００７０】
そして、表示部３６は、図８に示すように、画像記憶部３１から取得した撮像画像をモニタに表示し、その画像に重ねて三次元モデルを表示する（ステップＳ１０８）。パラメータ確認画面には、現在のパラメータの設定値（設置高さ＝７．４６ｍ、俯角＝２１．８０ｄｅｇ、法角＝１．８０ｄｅｇ）もあわせて表示される。
【００７１】
三次元モデルは撮像装置と道路面との相対的位置関係（設置高さ、俯角、法角）に基づいて生成されるので、その構造は相対的位置関係の設定値の可否に応じて変化する。つまり、設定値が正しければ三次元モデルは実空間と一致し、設定値が悪くなるほど三次元モデルは実空間（撮像画像）から乖離していくのである。よって、図８のパラメータ確認画面上で三次元モデルと撮像画像とを対比することによって、パラメータの可否を視覚的に把握することができる。
【００７２】
たとえば、図８の画面をみれば、道路面と車両の切り分け（判別）が適切に行われ、かつ、三次元モデルの道路面および車両は撮像画像のものと概ね一致していることがわかる。このことから、パラメータ設定値は概ね良好であると判断できる。
【００７３】
また、グループＡの三次元モデルが表示されていることから、撮像装置からの距離が遠い領域では、撮像画像から抽出した特徴点がパラメータから生成した道路面よりも下に位置してしまっていることがわかる。撮像装置に近い領域では道路面が適切に表示されていることとあわせて考えれば、俯角の設定がややずれていると判断できる。
【００７４】
両画像を対比した結果、パラメータ調整が必要と判断したら、図８のパラメータ確認画面上でパラメータの入力または変更を行うことができる。
【００７５】
たとえば、ユーザがキーボードやマウスなどの入力装置を用いて、俯角の値を変更すると、変更後の値がパラメータ入出力部３５を介してＣＧ生成部３４に引き渡される。そして、ＣＧ生成部３４にて変更後のパラメータを用いて新たな三次元モデルが生成され、モニタに表示される。
【００７６】
三次元モデルの再計算は、パラメータが変更されるたびに実行されるので、ユーザは、都度更新される三次元モデルを確認しながら、パラメータを最適な値に調整することができる。なお、本実施形態においては、グループＡの部分が無く、グループＢの部分が道路のほぼ全面を覆っているような三次元モデルが表示されたときに、パラメータの値が最適であるといえる。
【００７７】
以上述べたように、本実施形態のパラメータ確認・設定処理によれば、従来のように実際に装置を稼働させて認識性能を計測するようなことをせずとも、一対のステレオ画像を用いるだけで迅速かつ容易に高い信頼性をもってパラメータの可否確認および設定を行うことができる。
【００７８】
特に本実施形態では、ステレオ画像から三次元モデルを生成することから、撮像画像に含まれている像情報（道路面や車両）が三次元モデルで表されるので、三次元モデルと撮像画像との対比が容易となっている。
【００７９】
また、ステレオ画像には少なくとも道路面だけ写っていればよいので、開通前の道路など認識対象とする車両が存在しないエリアに設置された装置に対しても、パラメータを設定できるという利点もある。
【００８０】
また、三次元モデルに色や塗りつぶしパターンを付したことで、視覚的にわかりやすくなり、パラメータの可否確認が一層容易になる。
【００８１】
また、所定の抽出条件を課して測距精度の高い特徴点のみを抽出したので、三次元モデルの信頼性が向上するとともに、余分な情報が排除されパラメータ確認に必要な情報のみで構成された三次元モデルを生成でき、可否判断の容易化が図られる。
【００８２】
また、道路面（グループＢ）、車両（グループＣ）、エラー部分（グループＡ）を別々の三次元モデルで表示したので、三次元モデルと撮像画像との間で、道路面同士または車両同士のような個別の対比が可能になるとともに、エラー部分をすぐに認識でき、両画像のずれの把握がより簡単になる。しかも、特徴点の分類は設定されているパラメータに基づいて行われることから、パラメータが適切でない場合には、道路面上の点を車両の特徴点と分類したり、逆に車両の点を道路面の特徴点と分類するなどの分類ミスが発生する。その結果、特徴点を分類しない場合に比べて、三次元モデルの形状が大きく歪む（撮像画像との乖離が大きくなる）ので、両画像のずれの把握が一層容易になるという利点もある。
【００８３】
また、装置側でパラメータの信頼性を自動的に判断し（ステップＳ１０５）、必要に応じて警告を出力するので、ユーザにパラメータの設定変更を促し、設定間違いを未然に防止できる。
【００８４】
なお、上述した三次元モデルを物体認識処理に応用することも好ましい。たとえば、物体認識処理において、各車両の特徴点群を抽出し、その特徴点群から車両の位置、高さ、幅、長さなどを推定することによって車両情報を得る。そして、得られた車両情報から車両を表す三次元モデルを生成し、撮像画像に重ねてモニタに表示する。その一例を図９に示す。同図では、車両の特徴点群を包含するような直方体からなるワイヤーフレームモデルを表示している。
【００８５】
これにより、車両の認識結果を三次元的に表示することができるため、従来よりも多くの情報を持ち、なおかつ、わかりやすい認識結果をユーザに提供することができる。
【００８６】
（第２の実施形態）
本発明の第２の実施形態に係る車両認識装置は、パラメータの１つである認識部の可否確認および設定を行うための構成を備える。それ以外の構成は第１の実施形態のものと同様なので、ここでは詳しい説明を省略する。
【００８７】
認識部設定処理では、ＣＧ生成部３４が、道路面をほぼ垂直に臨む視点からみた様子を表すＣＧ画像を生成し、表示部３６に引き渡す。表示部３６は、画像記憶部３１から撮像画像を取得し、図１０に示すようにＣＧ画像９０と撮像画像９１を横に並べてモニタに表示する。なお、ＣＧ画像９０には撮像装置からの距離が表示される。
【００８８】
次に、ＣＧ生成部３４は、パラメータ入出力部３５を介してパラメータ記憶部３３からパラメータを取得し、認識部を表す三次元モデルを生成する。本実施形態では、認識部として矩形領域が設定されており、矩形のワイヤーフレームモデルが生成される。そして、ＣＧ生成部３４は、ＣＧ画像の視点と撮像画像の視点のそれぞれに合わせて三次元モデルから表示用の枠画像を生成する。表示部３６は、ＣＧ画像９０と撮像画像９１のそれぞれに枠画像９２，９３を重ねて表示する。
【００８９】
ユーザは、図１０の認識部設定画面の表示をみることで、パラメータの設定内容を容易に確認することができる。ここで、認識部の設定の変更が必要と判断したら、ユーザは、マウスやキーボード等の入力装置を用いて、ＣＧ画像９０上に表示された枠画像９２あるいは撮像画像９１上に表示された枠画像９３を直接操作することができる。
【００９０】
ユーザにより、一方の画像上の枠画像の配置が変更されると、その情報がパラメータ入出力部３５を介してＣＧ生成部３４に入力される。ＣＧ生成部３４は、変更後の認識部にしたがって三次元モデルを再計算し、新たな枠画像９２，９３を生成する。そして、表示部３６が枠画像９２，９３の表示を更新する。このようにして、ＣＧ画像９０上の認識部の表示と撮像画像９１上の認識部の表示が連動して変わる。
【００９１】
認識部の調整が完了したら、パラメータ入出力部３５が調整後の値をパラメータ記憶部３３に書き込んで、処理を終了する。
【００９２】
本実施形態の認識部設定画面によれば、道路面をほぼ垂直にみたＣＧ画像９０上で認識部の確認、設定を行うことができる。このＣＧ画像９０では撮像装置からの距離にかかわらず道路幅や枠画像が一定の大きさで表示されるので、所望の場所に認識部を正確に配置することが容易になる。また、ＣＧ画像９０には撮像装置からの距離が表示されているので、認識部の調整に役立てることができる。
【００９３】
また、撮像画像９１を参照しながら認識部の設定を行えるので、ユーザが、障害物（道路上に存在するカラーコーンや、撮像装置と道路面の間に存在する信号や電線など）がある場所など画像処理上問題となる場所や、撮像装置から距離が離れている場所など認識処理上問題となる場所に、認識部を設定してしまうことがない。
【００９４】
さらに、ＣＧ画像９０と撮像画像９１が同時に表示され、かつ、両画像の枠画像９２，９３が連動して動くので、認識部の設定状態を両方の画像で同時に確認することができる。これにより、設定時間を短縮することができ、ユーザの負担を減らすことができる。
【００９５】
また、三次元モデルを利用することで、撮像装置の視点や撮像装置からの距離に応じて、枠画像９３が生成され、正確な位置、形状、大きさで三次元的に撮像画像９１上に表示されるため、ユーザは認識部の可否確認および設定を容易に行うことができる。
【００９６】
（第３の実施形態）
本発明の第３の実施形態に係る車両認識装置は、パラメータの１つである車両の認識部の可否確認および設定を行うための構成を備える。それ以外の構成は第１の実施形態のものと同様なので、ここでは詳しい説明を省略する。
【００９７】
ＣＧ生成部３４は、道路面上の各地点における認識性能を算出する。認識性能は主に撮像装置からの距離によって決まり、原則として距離が近いほど良好な認識性能が得られる。続いて、ＣＧ生成部３４は、良好な認識性能が得られる地点のなかから、車両認識に最適な推奨位置を決定する。これは、車両の最大速度と装置の画像取り込み間隔とを考慮して定められる。つまり、認識部と撮像装置との距離を近づけすぎると、画像取り込み間隔の間に車両が認識部を通過して撮像エリアから外れてしまうおそれがあるため、このような認識もれが発生しない程度に撮像装置と認識部との距離を確保するのである。
【００９８】
次に、ＣＧ生成部３４は、道路面を表すＣＧ画像を、認識性能に応じて色を変化させた三次元モデル（ワイヤーフレームモデル）を用いて生成する。このとき、ＣＧ生成部３４は、認識部の推奨位置を示すマーキングも生成する。
【００９９】
表示部３６では、ＣＧ生成部３４で生成されたＣＧ画像と画像記憶部３１から取得した撮像画像とを重ね、モニタに表示する。これにより、良好な認識性能が得られる領域をユーザにガイドすることができる。その様子を図１１に示す。図中、一点鎖線が認識性能の良好な領域を示し、二点鎖線、破線の順に認識性能が悪くなる様子を示している。また、実線が認識部の推奨位置を示すマーキングである。
【０１００】
ユーザは、図１１の認識部設定画面に表示された推奨位置、および、認識性能に応じて色の異なるワイヤーフレームを参考にして、マウスやキーボード等の入力装置を用いて、道路面上の任意の位置に認識部を配置することができる。
【０１０１】
ユーザにより認識部の配置が行われると、パラメータ入出力部３５は、その認識部における認識性能を確認し、認識性能が保証されない領域内であればその旨の警告を出力する。
【０１０２】
認識部の設定が完了したら、パラメータ入出力部３５が設定値をパラメータ記憶部３３に書き込んで、処理を終了する。
【０１０３】
本実施形態によれば、認識性能が悪い領域に認識部を配置してしまうといった設定間違いを防ぐことができる。また、認識性能や推奨位置がガイド表示されるので、パラメータ設定に関するノウハウのないユーザであっても適切な場所に認識部を設定できるようになる。
【０１０４】
なお、上記第１〜第３の実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲はこれらの実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
【０１０５】
たとえば、上記実施形態では、設定手段を制御装置の内部機能として実現しているが、設定手段の全部または一部の構成要素を制御装置とは別体に構成することも好ましい。これにより、車両認識装置を低コスト化できる。
【０１０６】
その場合には、モバイルコンピュータやＰＤＡなどの携帯端末装置により設定手段を構成すればよい。車両認識装置に対してパラメータ設定を行うときには、携帯端末装置を制御装置の通信Ｉ／Ｆを介して有線または無線で接続して設定処理を実行することになる。
【０１０７】
あるいは、インターネットなどの広域ネットワークを介して制御装置とデータ送受信可能なセンター装置により設定手段を構成することも考えられる。この構成によれば、遠隔地からパラメータの可否確認および設定を行うことができ、メンテナンスが楽になるという利点がある。しかも、本発明では、少なくとも一対のステレオ画像があればパラメータの可否確認を行うことができるので、リアルタイムでの動画像送信などが不要となり、リモートメンテナンスを容易に実現できる。
【０１０８】
また、三次元モデルは、ワイヤーフレームモデルではなくソリッドモデルなどを用いてもよい。その場合には、三次元モデルに透明度をもたせて、撮像画像と重ね合わせることが好ましい。
【０１０９】
【発明の効果】
本発明によれば、三次元物体認識装置の認識処理に用いるパラメータの可否確認および設定を容易化できる。
【図面の簡単な説明】
【図１】車両認識装置の設置例を示す図である。
【図２】制御装置の機能構成を示す機能ブロック図である。
【図３】道路面座標系を示す図である。
【図４】撮像装置と道路面の相対的位置関係（設置高さと俯角）を示す図である。
【図５】撮像装置と道路面の相対的位置関係（設置高さと法角）を示す図である。
【図６】パラメータ確認処理の流れを示すフローチャートである。
【図７】三次元モデルの一例を示す図である。
【図８】パラメータ確認画面の一例を示す図である。
【図９】車両認識結果を三次元モデルで表示する出力画面の一例を示すである。
【図１０】第２の実施形態に係る認識部設定画面の一例を示す図である。
【図１１】第３の実施形態に係る認識部設定画面の一例を示す図である。
【符号の説明】
１ 車両認識装置
２ａ，２ｂ 撮像装置
３ 制御装置
４ 支柱
５ 車両
３０ Ａ／Ｄ変換部
３１ 画像記憶部
３２ 物体認識処理部
３３ パラメータ記憶部
３４ ＣＧ生成部
３５ パラメータ入出力部
３６ 表示部
９０ ＣＧ画像
９１ 撮像画像
９２，９３ 枠画像
ＲＤ 道路

Claims (17)

1. 移動している物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段と、
   このステレオ画像撮像手段と前記基準面との相対的位置関係を示すステレオ画像撮像手段の設置高さ、俯角、法角等のパラメータを記憶する記憶手段と、
   この記憶手段が記憶しているパラメータに基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する認識手段と、
   前記記憶手段に記憶しているパラメータの可否確認および設定を行うための設定手段と、を備え、
   前記設定手段は、
   前記相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成する三次元モデル生成手段と、
   この三次元モデル生成手段が生成した三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示する表示手段と、
   この表示手段の表示を見ているユーザによるパラメータの入力または変更を受け付ける入力手段と、
   この入力手段を介して入力または変更されたパラメータを前記記憶手段に書き込む書込手段と、を有し、
   移動している物体を前記ステレオ画像撮像手段で撮影し前記表示手段で前記三次元モデルと対比表示しながら前記入力手段を介して前記パラメータの入力または変更が可能な三次元物体認識装置。
2. 表示手段は、対比する撮像画像上に三次元モデルを重ねて表示する請求項１記載の三次元物体認識装置。
3. ステレオ画像撮像手段と基準面との相対的位置関係の変更に伴って、変更後の三次元座標系に基づく新たな三次元モデルが生成、表示される請求項１または２記載の三次元物体認識装置。
4. 三次元モデル生成手段は、ステレオ画像から抽出条件を満たす特徴点を抽出し、抽出された特徴点群から三次元モデルを生成する請求項１〜３のいずれかに記載の三次元物体認識装置。
5. 三次元モデル生成手段は、抽出された複数の特徴点を基準面の特徴点群と三次元物体の特徴点群に分類して、各特徴点群から別々の三次元モデルを生成する請求項４記載の三次元物体認識装置。
6. 抽出条件は、ステレオ画像間の正規化相関に関する条件を含む請求項４または５記載の三次元物体認識装置。
7. 抽出条件は、特徴点のエッジ強度に関する条件を含む請求項４〜６のいずれかに記載の三次元物体認識装置。
8. 抽出条件は、特徴点の三次元座標値に関する条件を含む請求項４〜７のいずれかに記載の三次元物体認識装置。
9. 三次元モデル生成手段は、抽出された特徴点の数が所定の範囲から外れている場合に警告を出力する請求項４〜８のいずれかに記載の三次元物体認識装置。
10. 入力手段は、ユーザに対し基準面上の任意の座標に三次元物体を認識する認識部を配置させ、
    配置された認識部は撮像画像上に三次元モデルで表示される請求項１〜９のいずれかに記載の三次元物体認識装置。
11. 基準面をほぼ垂直に臨む視点からみた様子を表すＣＧ（コンピュータ・グラフィックス）画像が生成、表示され、
    表示されたＣＧ画像上に認識部を配置可能である請求項１０に記載の三次元物体認識装置。
12. ＣＧ画像と撮像画像とが並べて表示される請求項１１記載の三次元物体認識装置。
13. 認識部の変更に伴って、ＣＧ画像上の認識部の表示と撮像画像上の認識部の表示が連動して変わる請求項１１または１２記載の三次元物体認識装置。
14. 三次元モデル生成手段は、所定の規則にしたがって三次元モデルに色を付す請求項１〜１３のいずれかに記載の三次元物体認識装置。
15. 三次元モデル生成手段は、所定の規則にしたがって三次元モデルに塗りつぶしパターンを付す請求項１〜１４のいずれかに記載の三次元物体認識装置。
16. 移動している物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段と、
    このステレオ画像撮像手段と前記基準面との相対的位置関係を示すステレオ画像撮像手段の設置高さ、俯角、法角等のパラメータを記憶する記憶手段と、
    この記憶手段が記憶しているパラメータに基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する認識手段と、を備えた三次元物体認識装置に対して、パラメータの可否確認および設定を行う設定方法であって、
    前記相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成するステップと、
    生成した三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示手段に表示するステップと、
    この表示手段の表示を見ているユーザによるパラメータの入力または変更を入力手段で受け付けるステップと、
    この入力手段を介して入力または変更されたパラメータを前記記憶手段に書き込むステップと、を含み、
    移動している物体を前記ステレオ画像撮像手段で撮影し前記表示手段で前記三次元モデルと対比表示しながら前記入力手段を介して前記パラメータの入力または変更が可能な三次元物体認識装置の設定方法。
17. 移動している物体が存在する基準面を斜めに臨むように設置されたステレオ画像撮像手段と、
    このステレオ画像撮像手段と前記基準面との相対的位置関係を示すステレオ画像撮像手段の設置高さ、俯角、法角等のパラメータを記憶する記憶手段と、
    この記憶手段が記憶しているパラメータに基づいて、ステレオ画像から基準面上に存在する三次元物体を認識する認識手段と、を備えた三次元物体認識装置に対して、パラメータの可否確認および設定を行う設定プログラムであって、
    コンピュータに、
    前記相対的位置関係から定まる三次元座標系に基づき三次元モデルを生成するステップと、
    生成した三次元モデルをステレオ画像のなかの少なくとも１つの撮像画像と対比可能な態様で表示手段に表示するステップと、
    この表示手段の表示を見ているユーザによるパラメータの入力または変更を入力手段で受け付けるステップと、
    この入力手段を介して入力または変更されたパラメータを前記記憶手段に書き込むステップと、を実行させ、
    移動している物体を前記ステレオ画像撮像手段で撮像し前記表示手段で前記三次元モデルと対比表示しながら前記入力手段を介して前記パラメータの入力または変更が可能な三次元物体認識装置の設定プログラム。

Images