JP3893981B2 - 車両認識方法およびこの方法を用いた交通流計測装置 - Google Patents
車両認識方法およびこの方法を用いた交通流計測装置 Download PDFInfo
- Publication number
- JP3893981B2 JP3893981B2 JP2002005372A JP2002005372A JP3893981B2 JP 3893981 B2 JP3893981 B2 JP 3893981B2 JP 2002005372 A JP2002005372 A JP 2002005372A JP 2002005372 A JP2002005372 A JP 2002005372A JP 3893981 B2 JP3893981 B2 JP 3893981B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- road
- points
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、道路の近傍に撮像手段を設置して道路を撮像させ、得られた画像を処理して前記道路上の車両を認識する方法、およびこの方法を用いて交通流の計測処理を行う装置に関連する。
【０００２】
【従来の技術】
出願人は、以前に、道路の近傍に２台のカメラを設置し、各カメラからの画像を用いて走行中の車両を認識する方法を提案した（特開平９−３３２３２号）。この方法では、縦並びに配備された２台のカメラにより走行中の車両を前方の斜め上方位置から撮像し、各カメラにより得られた画像から車両を示す特徴点を抽出して、その点に対応する３次元座標を算出する。つぎに道路に沿って設定された仮想垂直平面に各３次元座標を投影することによって各車両の側面形状を抽出した後、この抽出結果に車両の２次元モデルを用いたパターンマッチング処理を施すことにより、各車両を切り分けて認識する。
【０００３】
図９および図１０は、前記車両の認識処理に用いられる３次元計測処理の原理を示す。図中、５０Ｕ，５０Ｌは、各カメラの撮像面を一次元状に表したものであり、５１Ｕ，５１Ｌは、各カメラのレンズ、ＣU，ＣLは、撮像面５０Ｕ，５０Ｌの中心点である。またＢは各カメラのレンズ中心間の距離（基線長）であり、ｆは各カメラの焦点距離である。
【０００４】
上記のような撮像系により空間上の任意の点Ｐｉ（ｉ＝１，２・・・）を撮像すると、各撮像面５０Ｕ，５０Ｌ間における点Ｐｉの結像位置には所定のずれが生じる。ここで実際の空間において、前記点Ｐｉの各結像位置間の距離をａｉとおくと、点Ｐｉに対する各カメラ間の視差ｄｉは、下記の（１）式により求められる。またこの視差ｄｉ，前記基線長Ｂ，および焦点距離ｆを（２）式にあてはめることによって、基線から点Ｐｉまでの距離Ｌｉを求めることができる。
【０００５】
ｄｉ＝ａｉ−Ｂ ・・・（１）
Ｌｉ＝Ｂ・ｆ／ｄｉ ・・・（２）
【０００６】
３次元計測処理では、上記の原理に基づき、各カメラからの画像間において、空間内の同じ点を示す特徴点を対応づけし、これら特徴点の２次元座標を用いて３次元座標を算出するようにしている。
なお、空間内の一点Ｐが各カメラの撮像面５０Ｕ，５０Ｌに結像する場合、各カメラにより得られる画像ＧU，ＧL上の像点ＱU，ＱLは、カメラの配置関係に基づく所定の直線（エピポーラライン）上に位置する。特に、上下のカメラを、各光軸を平行にし、かつ各撮像面５０Ｕ，５０Ｌが同一平面上に位置するような関係をもって設置すると、図１０に示すように、エピポーララインＥＬは、各画像ＧU，ＧLのｙ軸に平行となる。
【０００７】
前記した車両認識処理では、この原理に基づき、一方の画像上の任意の特徴点につき、ｙ軸に平行なエピポーララインＥＬを設定した後、他方の画像において、このエピポーララインＥＬに沿って前記特徴点に対応する点を検索する。
図１１は、この方法による特徴点の対応づけ処理の具体例を示す。図示例では、下方のカメラからの画像ＧLを基準画像として、この画像上の所定の特徴点ＱLのｘ座標に基づいてエピポーララインＥＬを設定し、上方のカメラからの画像ＧU（以下、「比較画像ＧU」という。）において、このエピポーララインＥＬに沿って特徴点ＱLへの対応点ＱUを検索する処理が行われる。なお、この検索処理では、エピポーララインＥＬに沿って所定大きさの検索領域を走査しつつ、検索領域内の画像データを、特徴点ＱLを中心とする同じ大きさの領域内の画像データと比較し、最も類似度の高い走査位置に対応点ＱUが存在するものと判断する。
【０００８】
【発明が解決しようとする課題】
このように理論上は、基準画像上の特徴点のｘ座標に基づいてエピポーララインを設定し、このエピポーララインに沿って対応点の検索処理を行うことができる。しかしながら現実には、同じ機種のカメラを用いても、カメラ間の個体差やカメラの取り付け状態によって光軸や撮像面の位置に微妙なずれが生じ、この結果、基準画像と検索画像との間のエピポーララインにも、ピクセル単位のずれが生じる。このずれは、ソフトウェア処理によりある程度は補正することができるが、この補正には限界がある。
【０００９】
このようにエピポーララインにずれが生じると、前記対応点の検索処理において、検索画像では、本来の対応点とは異なる点が抽出されてしまう。このため、３次元計測処理の精度が低下し、交通流を精度良く計測できなくなる虞が生じる。
【００１０】
図１２は、エッジの傾きが視差に及ぼす影響を示す。図１２（１）（２）は、それぞれ前記図１１の基準画像ＧL上に破線で示した領域Ａ，Ｂ内の画像を拡大したものであり、ＥＬは本来のエピポーラライン、ＥＬ´は位置ずれして設定されたエピポーララインである。
【００１１】
画像領域Ａは、車両のボンネットとフロントガラスとの境界線の一部にかかるように設定されており、この画像領域Ａ内には前記特徴点ＱLが含まれている。
この特徴点ＱLへの対応点を検索する場合、検索画像ＧUでは、位置ずれしたエピポーララインＥＬ´に沿って対応点の検索が行われる。前記したように、対応点の検索処理では、処理対象の特徴点ＱLに周囲近傍の画像データが類似する点を抽出するので、基準画像ＧL上においてエピポーララインＥＬ´と前記境界線との交点にあたる点ＱL´に対応する点が抽出されることになる。
【００１２】
画像領域Ｂは、道路の白線の一部にかかるように設定されている。この画像領域Ｂにおいて、白線上の一構成点ＲLへの対応点を検索した場合も同様に、位置ずれしたエピポーララインＥＬ´と白線との交点ＲL´に対応する点が抽出されることになる。
【００１３】
ところで理論上のエピポーララインがｙ軸に平行に設定される場合、前記（１）式の視差ｄｉを求めるための各結像点間の距離ａｉは、各結像点のｙ座標に基づき算出される。したがって前記画像領域Ａのように、ｘ軸方向に対する傾きが小さな成分の構成点を処理対象とする場合には、エピポーララインのずれによって対応点を誤抽出しても、その対応点のｙ座標と本来のｙ座標との差はわずかとなり、視差の誤差を小さくすることができる。これに対し、前記画像領域Ｂのように、ｘ軸に対する傾きが大きな成分の構成点を処理対象とする場合には、エピポーララインのずれによって誤抽出された対応点は、ｙ軸方向において、本来の対応点から大きく離れることになる。このため、たとえエピポーララインのずれが僅かであっても、視差には大きな誤差が生じることになる。
【００１４】
ここで認識対象の特徴点を含む成分の方向がエピポーララインＥＬに対してとる角度をγとし、エピポーララインＥＬ，ＥＬ´間の距離（エピポーラ誤差）をΔｅとすると、対応点の誤抽出により生じる視差の誤差Δｄeは、つぎの（３）式のようになる。
Δｄe＝Δｅ＊ｃｏｓγ ・・・（３）
【００１５】
また対応点検索時の相関演算など、エピポーララインのずれ以外の要因によって生じる誤差の誤差をΔｄotherとすると、前記（２）式により求めた距離Ｌｉに生じる誤差ΔＬは、つぎの（４）式のようになる。
【００１６】
【数１】
【００１７】
よって前記角度γが９０度に近づくほど、言い換えれば前記成分の方向が水平方向に近づくほど、視差の誤差Δｄを小さくすることができ、３次元計測処理における誤差も小さくすることができる。
【００１８】
この発明は上記の問題や原理に着目してなされたもので、複数の撮像手段により得られた画像による３次元計測処理によって道路上の車両を認識する場合に、エピポーララインのずれの影響を受けにくい３次元計測処理を行って、車両の認識精度を高めることを目的とする。
【００１９】
またこの発明は、複数の撮像手段により得られた画像による３次元計測処理によって道路上の交通流を計測する場合に、エピポーララインのずれの影響を受けにくい３次元計測処理を行って、交通流を正確に計測することを目的とする。
【００２０】
【課題を解決するための手段】
この発明にかかる車両認識方法では、観測対象の道路の近傍に複数の撮像手段を車両の走行方向に光軸を向け、かつ高さ方向（縦方向）または道路の幅方向（横方向）に沿って並ぶように設置し、各撮像手段により得られた画像を用いた３次元計測処理により前記道路上の車両を個別に認識する場合に、認識処理に先立ち、特定の１の撮像手段からの画像を基準画像として、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分について、前記基準画像に現れる当該輪郭成分の向きの範囲を求める準備のステップを実行する。また認識処理では、前記特定の撮像手段から得た基準画像において、前記準備のステップで求められた向きの範囲に適合するエッジの構成点を抽出するステップと、抽出されたエッジの構成点について、前記基準画像以外の画像における対応点を特定するステップと、この特定により画像間で対応づけられた各点の座標を用いた３次元計測処理を実行するステップとを実行する。
【００２１】
この方法における各撮像手段は、道路を走行する車両を前方向から撮像するように設置されるのが望ましい。（ただし後方向から撮像しても、認識処理には差し支えない。）また各撮像手段の光軸を、可能な限り平行に近くなるように設定するとともに、各撮像面を同一平面上に可能な限り合わせて設定されるのが望ましい。
【００２２】
道路上の車両の輪郭成分とは、観測対象の道路を走行する車両の輪郭線（車両の外形を示す輪郭線のみならず、窓枠などの特徴部分の輪郭線も含む。）に相当する。撮像手段の並び方向に直交する方向に対応する輪郭成分は、撮像手段が縦並びに配備される場合には、前記したボンネットとフロントガラスとの境界線のように、車両の横幅方向に沿い、かつ地表面に沿って延びる成分となる（以下、この輪郭成分を「横幅成分」と呼ぶ）。この横幅成分は、道路の幅方向にほぼ沿った方向を向いて位置するので、撮像手段をその光軸を車両の走行方向に向けて設置すると、画像上における横幅成分も、水平方向（ｘ軸方向）に対する傾きが小さい成分として出現するようになる。
【００２３】
各撮像手段を縦並びに配置して３次元計測を行う場合には、処理対象の特徴点に対応するエッジの水平方向（ｘ軸方向）に対する傾きが小さくなるほど、視差の誤差を小さくすることができる。この発明では、車両の横幅成分が画像上で示す向きの範囲を設定した上で、この範囲に対応する方向を向くエッジの構成点を３次元計測処理の対象とするので、画像上に現れる車両の特徴点のうち、水平方向に対する傾きの小さいエッジの構成点のみを用いた３次元計測処理を行うことができ、エピポーララインのずれによる視差の誤差が大きくなるのを防いで、精度の高い３次元計測を行うことができる。また横幅成分だけでも、車両の大きさや存在範囲を示すには十分であるから、これらの成分の構成点に対応する空間座標を精度良く求めることにより、道路上の車両の位置や大きさの認識精度を向上することができる。
【００２４】
したがって好適な車両認識方法では、観測対象の道路の近傍に複数台の撮像手段を車両の走行方向に光軸を向けて縦並びに設置し、前記各撮像手段により得られた画像を用いた３次元計測処理により前記道路上の車両を認識する場合に、認識処理に先立ち、いずれかの撮像手段からの画像について、車両の横幅成分が画像上で示す向きの範囲を設定しておき、認識処理において、処理対象の各画像上で前記設定された向きの範囲に適合するエッジの構成点を前記３次元計測処理の対象とする。
【００２５】
なお、撮像手段は縦並びに限らず、横並びに設置することもできる。この場合には、前記撮像手段の並び方向に直交する方向に対応する輪郭成分として、車両の垂直成分（空間において垂直方向に対応する輪郭成分）を採用することになる。
【００２６】
さらに上記の車両認識方法では、前記準備のステップにおいて、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分を構成する複数点について、前記道路に設定された空間座標系における空間座標の入力を受け付け、入力された空間座標と前記各撮像手段の設置条件とに基づき、前記基準画像上で前記各空間座標に対応する点の座標を算出し、その算出結果から前記基準画像における前記輪郭成分の向きの範囲を特定するようにしている。
【００２７】
前記空間座標系は、車両などの実際の位置を表すのに用いられる座標系であり、たとえば原点を地表面（または道路面）に設定し、道路の幅方向，長さ方向，および高さ方向に沿ってそれぞれ座標軸を定めることができる。（以下、この座標系を「地面座標系」と呼ぶ。）この地面座標系における輪郭成分の構成点の空間座標は、所定の車両の３次元モデルが道路上の所定位置にあるときの輪郭成分の構成点の空間座標によって表すことができる。たとえば１つの輪郭成分の各端点など、２点以上の構成点の空間座標によって、前記輪郭成分の向きを表すことができる。
【００２８】
各撮像手段の設置条件としては、各撮像手段により規定されるステレオ座標系の設定条件を用いることができる。この設定条件は、たとえば前記地面座標系に対するステレオ座標系の回転角度や原点のずれ量などであって、認識処理に先立ち、地面座標系における位置が既知の点とこの点に対応する画像上の特徴点とを用いたキャリブレーション処理によって求めることができる。
【００２９】
上記の準備のステップによれば、３次元計測処理の対象となる輪郭成分の空間位置に基づき、この成分の複数の構成点に対応する２次元座標を求めることができ、これら２次元座標から前記輪郭成分の画像上での向きを特定することができる。たとえば、各撮像手段が縦並びに設置される場合には、道路の幅方向に対して車両の横幅成分が取り得る傾きの範囲に応じて空間座標を入力することにより、画像上でその傾きの範囲に対応する角度範囲を求めることができる。このような角度範囲に適合するエッジの構成点は、車両の横幅成分を構成する特徴点に相当する可能性が高いから、車両認識に必要な特徴点を精度良く抽出することができる。
なお、輪郭成分の向きを示す空間座標の入力は、複数の向きについて行うことができる。また複数のモデルを用いて、各種車両に対応する輪郭成分の向きを入力することもできる。
【００３０】
車両の輪郭成分の向きの範囲を設定する処理においては、上記の方法のほか、画像上の道路の白線を示す直線の方程式などから画像上における道路の幅方向または長さ方向を認識し、これらの方向を基準として輪郭成分の向きの範囲を設定することもできる。また撮像手段からの画像を係員に視認させながら、この係員による輪郭成分の向きの範囲の指定を受け付け、これを設定データとして登録してもよい。
【００３１】
つぎにこの発明にかかる交通流計測装置は、観測対象の道路の近傍に車両の走行方向に光軸を向け、かつ高さ方向または道路の幅方向に沿って並ぶように設置された複数の撮像手段と、前記各撮像手段からの画像を用いた３次元計測処理を行って前記道路上の車両を個別に認識しつつ、その認識処理結果を順次追跡して前記道路上における車両の流れを計測する制御装置とを具備する。前記制御装置は、各撮像手段からの画像を個別に入力する画像入力手段と、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分の構成点について、前記道路に設定された空間座標系における空間座標の入力を受け付ける座標入力手段と、特定の１の撮像手段からの画像を基準画像として、前記座標入力手段により入力された複数点の空間座標と前記各撮像手段の設置条件とに基づき、これらの空間座標により構成される輪郭成分について、前記基準画像における向きの範囲を特定する範囲特定手段と、前記特定の撮像手段から入力された基準画像において、前記範囲特定手段により特定された向きの範囲に適合するエッジの構成点を抽出するエッジ構成点抽出手段と、前記エッジ構成点抽出手段により抽出されたエッジの構成点について、基準画像以外の各入力画像における対応点を特定し、その特定により入力画像間で対応づけられた各点の座標を用いた３次元計測処理を実行する３次元計測手段とを含むように構成される。なお、各撮像手段は、可能な限り、各光軸が並行であり、かつ各撮像面が同一平面上に位置するように調整されるのが望ましい。
【００３２】
前記制御装置の画像入力手段は、各撮像手段毎の入力インターフェース、Ａ／Ｄ変換回路、およびＡ／Ｄ変換処理後の入力画像を格納するメモリなどを含む。なお、撮像手段としてディジタルカメラを使用すれば、Ａ／Ｄ変換回路は不要である。
【００３３】
範囲特定手段には、特定された向きの範囲を保存するための記憶手段などを含ませることができる。座標入力手段は、パーソナルコンピュータのような外部機器からのデータ伝送を受け付けるようにすることができる。
【００３４】
エッジ構成点抽出手段は、たとえば基準画像にエッジ抽出フィルタを走査するなどしてエッジを抽出した後、抽出されたエッジの中で前記設定手段により設定された範囲の方向を向くエッジの構成点を処理対象として抽出する。３次元計測手段は、たとえば前記エッジ構成点抽出手段により最終的に特定されたエッジの構成点について、他の入力画像上での対応点を抽出した後、これら対応する点の２次元座標と撮像手段の設置条件とに基づき、地面座標系における空間座標を求めるように構成することができる。
なお、これらエッジ構成点抽出手段，３次元計測手段は、コンピュータに処理用のプログラムを組み込むことによって設定することができるが、これに限らず、一部または全ての構成を、ハードウェアによって実現することもできる。
【００３５】
上記構成の装置によれば、前記した車両認識方法に基づき、道路上の各車両を精度良く認識することができるから、この認識処理結果に基づき、高精度の交通流計測を行うことができる。
【００３６】
好適な態様の交通流計測装置では、各撮像手段は縦並びに設置される。この場合、設定手段は、いずれかの撮像手段からの入力画像について、車両の横幅成分が画像上で示す向きの範囲を設定するように構成される。
【００３８】
さらに上記構成の交通流計測装置において、座標入力手段をパーソナルコンピュータなどの外部機器からの入力を受け付けるように構成すれば、パーソナルコンピュータに設定されたユーザインターフェースにより、前記した車両の３次元モデルを仮想の空間に設定するなどして、輪郭成分の構成点の空間座標を簡単に求めることができる。
【００３９】
【発明の実施の形態】
図１は、この発明の一実施例にかかる交通流計測装置の設置例を示す。
この交通流計測装置３は、道路ＲＤにおける走行車両の台数や車両の移動速度などを計測するためのもので、２台のカメラ１ａ，１ｂおよび制御装置２により構成される。
【００４０】
前記カメラ１ａ，１ｂは、道路ＲＤの近傍に設置されたＦ字型支柱４の上方に、縦並びに設置される。これらのカメラ１ａ，１ｂは、焦点距離を同じくするレンズを有し、各光軸が平行かつ斜め下方向を向くように、また各撮像面が同一平面上に位置するように可能な限りの調整が行われ、道路ＲＤの支柱４側の走行路を走行する車両５を、前方の斜め上方向から撮像する。
制御装置２は、保守，点検，ならびに設置時に各種設定処理を行う必要性から、前記支柱４の基部付近に取り付けられる。
【００４１】
図２は、前記交通流計測装置３の構成を示す。
前記制御装置２は、各カメラ１ａ，１ｂに対応する画像入力部６ａ，６ｂ，特徴点抽出部７，特徴点特定部８，対応付け処理部９，３次元計測部１０，認識処理部１１，交通流計測部１２，出力部１３を主要構成として具備する。また後記する処理対象の特徴点の特定のための構成として、設定用通信部１４，抽出範囲設定部１５，抽出範囲記憶部１６などを具備する。
【００４２】
各画像入力部６ａ，６ｂは、各カメラ１ａ，１ｂからの画像信号を取り込むインターフェースや処理対象の画像を生成するためのＡ／Ｄ変換回路などを含む。Ａ／Ｄ変換処理後の濃淡画像データ（以下、「入力画像」という。）は、図示しないメモリに格納され、以下の計測処理に使用される。
【００４３】
前記特徴点抽出部７および特徴点特定部８は、基準画像となる下側のカメラ１ｂからの画像を処理対象とする。特徴点抽出部７は、前記基準画像上にソーベルフィルタなどのエッジ抽出フィルタを走査して画像上のエッジを抽出し、各エッジ構成点を黒画素とする２値画像（エッジ画像）を生成する。さらに特徴点抽出部は、このエッジ画像を複数の小領域に分割し、所定数以上のエッジ構成点が含まれる領域毎に、代表点となるエッジ構成点を抽出する。（以下、この代表点としてのエッジ構成点を「特徴点」という。）
【００４４】
特徴点特定部８は、前記特徴点抽出部７により抽出された特徴点の中から抽出範囲記憶部６に設定された向きの範囲（詳細は後記する。）に適合する方向を向くエッジの構成点を抽出し、これを以後の処理対象の特徴点として特定する。対応付け処理部９は、特定された各特徴点につき、各入力画像間での対応づけ処理を行う。３次元計測部１０は、対応づけられた各特徴点の座標を三角測量の原理にあてはめて、各特徴点に対応する空間座標を算出する。
【００４５】
図３は、実際の空間を基準として各特徴点の空間位置を示すための地面座標系（Ｘ，Ｙ，Ｚ軸で示す。）と、各カメラにより設定されるステレオ座標系（Ｘ´，Ｙ´，Ｚ´軸で示す。）との関係を示す。なお、図中のｘL，ｙLはカメラ１ｂ側の画像ＧLにおける２次元座標を、ｘU，ｙUはカメラ１ａ側の画像ＧUにおける２次元座標を、それぞれ示す。
【００４６】
地面座標系は、地面上の所定位置を原点Ｏとして、道路の幅方向をＸ軸，長さ方向をＺ軸，高さ方向をＹ軸とするものである。この地面座標系のＸ，Ｙ，Ｚ軸に対し、ステレオ座標系のＸ´，Ｙ´，Ｚ´軸は、それぞれ所定角度回転した状態にある。３次元計測処理では、各入力画像上の対応点の座標を用いてステレオ座標系の空間座標を求めた後、これを地面座標系の空間座標に置き換えることになるが、この空間座標の変換処理には、上記の３方向における回転角度やＸＺ平面から原点Ｏ´までの距離Ｈなどのパラメータが必要となる。さらに原点Ｏ´がＹ軸上に位置しない場合には、原点Ｏに対するＯ´の位置ずれ量もパラメータとして設定する必要がある。
【００４７】
この実施例の制御装置２では、装置の設置時に、カメラ１ｂからの基準画像上において地面座標系の位置が既知の複数の点の指定を受け付け、これら指定点の座標と前記既知の空間座標とを用いて、上記の各パラメータを算出し、その算出結果を３次元計測処理のためにメモリ内に登録するようにしている。（パラメータの算出処理の詳細については、特開平１０−１２２８１９号を参照されたい。）
【００４８】
図２に戻って、認識処理部１１は、前記３次元計測部１０により計測された各点の空間座標を、道路ＲＤの長さ方向（Ｚ軸方向）に沿う仮想垂直平面（ＹＺ平面）に投影する。さらに認識処理部１１は、この投影結果に、種々の車両の側面形状に対応する２次元モデルを照合して道路上の車両を切り分けて認識する。この認識処理結果は、メモリに逐次格納されるもので、交通流計測部１２は、認識処理結果の時系列データを用いて、前記車両台数や車両の移動速度などの交通流データを算出する。
【００４９】
出力部１３は、図示しない情報センターの管理装置などと通信を行うための通信インターフェースを含み、前記交通流計測部１２により算出された交通流データを取り込んで前記管理装置に送信する。
【００５０】
設定用通信部１４は、ノート型のパーソナルコンピュータやＰＤＡなどの外部機器１７と通信を行って、前記した３次元計測のためのパラメータ算出や特徴点の抽出範囲の設定のためのデータを取り込む。抽出範囲設定部１５は、設定用通信部により取り込まれた設定データを用いて、前記処理対象の特徴点の抽出範囲を示すデータを作成し、これを抽出範囲記憶部１６に格納する。
【００５１】
なお、上記構成において、特徴点抽出部７，特徴点特定部８，対応づけ処理部９，３次元計測部１０，認識処理部１１，交通流計測部１２，抽出範囲設定部１５の各処理部は、いずれもマイクロプロセッサ（ＭＰＵ）またはプロセッサ（ＣＰＵ）に各処理のアルゴリズムを示すプログラムを実行させることによって実現することができる。ただし一部の構成（たとえば特徴点抽出部７，対応付け処理部９）については、フリップフロップ，レジスタなどを含む専用の演算回路として構成することもできる。また抽出範囲記憶部１６は、前記した３次元計測処理のためのパラメータを格納するのと同一のメモリに設定することができる。
【００５２】
つぎに前記設定用通信部１４や抽出範囲設定部１５の詳細な処理について説明する。
この実施例の設定用通信部１４は、外部機器１７に対して、カメラ１ｂからの基準画像を送信する。外部機器１７は、送信された各入力画像を表示して、その画面上で地面座標系における位置が既知の点の指定を受け付ける。ここで係員が、前記パラメータの算出のための空間座標を複数設定すると、この指定された点の２次元座標および既知の空間座標が設定用通信部１４に伝送される。さらにこれらの座標は、図示しないパラメータ算出部に与えられ、３次元計測のための各種パラメータが算出される。
【００５３】
さらに設定用通信部１４は、前記特徴点の抽出範囲を設定するためのデータとして、地面座標系における車両につきカメラ１ａ，１ｂの並び方向に直交する方向に対応する輪郭成分、すなわち車両の横幅成分の空間位置を示すデータの送信を受け付ける。このデータは、車両が地面座標系の所定位置に所定の方向を向いて位置する場合の各種横幅成分（ボンネットとフロントガラスとの間の境界線，ルーフやバンパーに対応する幅成分など）を示す空間座標となる。
【００５４】
外部機器１７では、ユーザーインターフェースを用いるなどして、たとえば車両の位置や方向の指定を受け付け、その指定に応じて車両の３次元モデルの設定データから各横幅成分の構成点の空間座標を自動算出する。これらの空間座標は、設定用通信部１４を介して抽出範囲設定部１５に与えられる。抽出範囲設定部１５は、前記３次元計測のためのパラメータなどを用いて、これらの空間座標が基準画像上のどの位置に対応するかを算出し、さらにこの算出結果を用いて基準画像における前記水平成分の傾きを算出する。
【００５５】
なお、道路の幅方向に対して走行中の車両の横幅成分が取り得る傾きの範囲を設定できる場合、この範囲を規定する最小の傾きと最大の傾きとに応じて、前記横幅成分の空間座標を得ることができる。抽出範囲設定部１５は、これらの設定データに上記の処理を実行して、基準画像上における横幅成分の向きの範囲を求めることができる。たとえばこの向きを、ｘ軸に対する角度αとして示すと、向きの範囲を表すデータとして、最小の角度αminと最大の角度αmaxとを設定することができる。
【００５６】
こうして設定された向きの範囲を示すデータは、前記抽出範囲記憶部１６に格納される。よって特徴点特定部８は、前記特徴点抽出部７により抽出された特徴点のうち、抽出範囲記憶部１６に格納された向きの範囲に適合する方向を向くエッジの構成点を処理対象として特定することになるので、以後の処理では、車両の横幅成分に対応する特徴点を用いた処理が行われることになる。
【００５７】
図４は、前記特徴点の抽出範囲の設定例を示す。図４（１）（２）のＧ１L，Ｇ２Lは、いずれも基準画像の一例であり、それぞれ道路の画像が所定の向きをもって現れている。Ｓ１，Ｓ２は、これら基準画像Ｇ１L，Ｇ２Lにおいて車両の横幅成分が取り得る向きの範囲を、ｘ軸を基準に示したもので、画像上の道路の幅方向の向きに対応させて、ｘ軸から時計回り方向または反時計回り方向に所定角度までの角度範囲が設定されている。
【００５８】
このような角度範囲によれば、画像上の各エッジについて、そのエッジの方向から車両の横幅成分の向きに適合するエッジであるかどうかを容易にかつ精度良く認識することができる。よって対応付け処理部および３次元計測部では、車両の横幅成分に対応する特徴点を処理対象とすることができる。
【００５９】
この実施例のように、走行中の車両を前方側から撮像すると、画像上の車両の横幅成分は、前記図４に示すように、ｘ軸方向に対する傾きが小さい成分として現れる。したがってこの横幅成分に対応する特徴点を３次元計測処理の対象とすれば、基準画像と処理画像との間でエピポーララインにずれが生じても、視差の誤差を小さく抑えることができ、その後の車両認識処理においても精度の高い認識処理を行うことができる。
【００６０】
図５は、横幅成分のみを処理対象とする場合と、横幅成分以外の成分も処理対象とする場合とでの車両認識精度の違いを示す。図５（１）は、認識対象の車両を模式的に示したもので、●は横幅成分の特徴点を、×は道路の奥行き方向に沿って延びる輪郭成分（以下、「長さ成分」という。）の特徴点をそれぞれ示す。また図５（２）（３）中に破線で示す領域ｒ１，ｒ２は、各車両の実際の存在範囲を示す。
【００６１】
図５（２）（３）は、地面座標系における観測対象の車両と前記特徴点の３次元計測結果との関係を示す。
図５（２）では、横幅成分の特徴点のみを用いた３次元計測の結果を示す。横幅成分の特徴点は、いずれも視差の誤差が小さくなるから、実際の特徴点の位置にほぼ対応する位置に空間座標を特定することができる。
【００６２】
図５（３）では、横幅成分の特徴点とともに長さ成分の特徴点も用いた３次元計測が行われている。道路の長さ方向に沿う長さ成分は、画像上においては、ｘ軸に対する傾きが大きな成分として現れるので、視差の誤差が大きくなる。このため、図５（３）の矢印ａ〜ｅに示すように、本来の空間位置から大きく離れた位置に空間座標が特定されるので、投影処理においても、車両の位置や大きさを正しく抽出できなくなる。特に、矢印ａ，ｃのように、求められた空間座標が後続の車両の存在領域（ｒ２）に近い位置に特定されると、車両を切り分けて認識するのが困難になる。
【００６３】
よってこの実施例の交通流計測装置３によれば、視差の誤差を小さくすることができる横幅成分の特徴点を処理対象とすることによって、各車両の位置や大きさを精度良く認識することができる。さらにこの認識結果を用いて、信頼性の高い交通流データを生成することができる。
【００６４】
さらにこの実施例では、車両の横幅成分の空間座標に応じてその横幅成分の基準画像における方向を求めているので、車両を構成する特徴点を精度良く特定することができる。ただし、横幅成分の向きの特定は上記の方法に限らず、たとえば、基準画像上に現れる道路の画像からこの道路の長さ方向または幅方向を求め、この方向に基づき、画像上に現れる車両の横幅成分の向きの範囲を特定するようにしてもよい。
【００６５】
図６は、前記制御装置２の設置時における初期設定手順を示す。なお、この図６ならびにつぎの図７、および以下の説明では、各処理のステップを「ＳＴ」として示す。
【００６６】
前記したように、初期設定時には、制御装置２には外部機器１７が接続される。最初のＳＴ１では、各カメラ１ａ，１ｂからの画像を入力し、つぎのＳＴ２では、これら入力画像のうち、カメラ１ｂからの基準画像の画像データを外部機器１７に送信する。
【００６７】
外部機器１７では、前記したように、送信された基準画像上で、車線の構成点などの空間座標が既知の点の指定を受け付ける。ＳＴ３では、これら指定された点の２次元座標および既知の空間座標を入力する。つぎのＳＴ４では、これらの座標を用いて、前記３次元計測のためのパラメータを算出する。なお、算出されたパラメータは、制御装置２内のメモリに登録される。
【００６８】
つぎに、ＳＴ５で、外部機器１７から道路ＲＤ上における車両の横幅成分の向きの範囲を示す空間座標が入力されると、続くＳＴ６において、これらの空間座標や前記ＳＴ４で求めたパラメータを用いて、基準画像における車両の横幅成分のｘ軸方向に対する角度の範囲を算出する。さらにＳＴ７において、算出された角度範囲を前記抽出範囲記憶部１６に格納した後、初期設定処理を終了する。
【００６９】
図７は、上記の初期設定処理後に実行される交通流計測処理の一連の手順を示す。なお、この手順は、各カメラ１ａ，１ｂからの１フレーム分の画像に対する処理手順であって、所定時間毎に繰り返し実行されることになる。
【００７０】
まず最初のＳＴ１１では、各カメラ１ａ，１ｂからの画像を入力し、前記したディジタル変換処理により処理対象の入力画像を生成する。つぎのＳＴ１２では、これら入力画像のうちの基準画像について、前記エッジ抽出処理や代表点の抽出処理を実行して、車両を示す特徴点を抽出する。さらにＳＴ１３では、抽出された各特徴点のうち、前記抽出範囲記憶部１６に登録された角度範囲に適合する方向を向くエッジの構成点を、処理対象の特徴点として特定する。
【００７１】
このようにして特徴点が特定されると、つぎのＳＴ１４では、これら特徴点について、それぞれカメラ１ａから入力した比較画像上にエピポーララインを設定して前記特徴点に対応する点を抽出する。さらにＳＴ１５では、前記３次元計測のためのパラメータを用いてこれら対応する特徴点の座標から地面座標系における空間座標を算出する。
【００７２】
つぎのＳＴ１６では、道路の長さ方向に沿う仮想垂直平面すなわち地面座標系のＹＺ平面に、算出された各空間座標を投影する。ＳＴ１７では、各種車両の２次元モデルをこの投影結果に走査して、道路ＲＤ上の車両の位置や大きさを認識する。
【００７３】
前記ＳＴ１７の認識結果は、メモリ内に蓄積される。ＳＴ１８では、直前に得た認識結果を含む過去所定回数の認識結果を対応づけて、個々の車両の移動軌跡を認識する。さらにこの認識結果を用いて、車両の移動速度，所定の基準位置を通過した車両台数などを算出する。ＳＴ１９では、この算出結果を前記した外部の管理装置などに出力する。
【００７４】
なお、上記実施例では、２台のカメラ１ａ，１ｂからの画像を用いた３次元計測処理により車両を認識するようにしているが、１台のカメラからの画像を用いた車両認識処理を行う場合にも、車両の横幅成分に対応する特徴点のみを処理対象とすれば、データ量の削減により処理を高速化できる。また２次元の画像処理では、対象物の高さを特定することができないので、影や路面上の標識などのノイズの影響を受けやすいが、車両の横幅成分の方向として限定された角度範囲に適合する特徴点のみを処理対象とすることで、これらのノイズをかなりの割合で取り除くことができる。
【００７５】
図８は、２次元の画像処理により交通流を計測する場合の装置構成を示す。
この交通流計測装置は、カメラ２１と制御装置２２とにより構成されるもので、カメラ２１は、第１の実施例のカメラ１ａ，１ｂと同様に、道路ＲＤの近傍に、走行車両を前方の斜め上方向から撮像するように設置される。
【００７６】
制御装置２２には、画像入力部２３，特徴点抽出部２４，特徴点特定部２５，認識処理部２６，交通流計測部２７，出力部２８，設定用通信部２９，抽出範囲設定部３０，抽出範囲記憶部３１などが組み込まれる。
【００７７】
設定用通信部２９は、前記第１の実施例の設定用通信部１４と同様に外部機器１７に接続され、地面座標系に対するカメラ２１の設置状態を示すデータや、特徴点の抽出範囲設定用のデータの入力を受け付ける。抽出範囲設定部３０は、この入力データを用いて、画像上における車両の横幅成分の向きの範囲を求め、これを抽出範囲記憶部３１に格納する。
【００７８】
画像入力部２３，特徴点抽出部２４，特徴点特定部２５は、それぞれ前記第１の実施例の画像入力部６ａ，６ｂ，特徴点抽出部７，特徴点特定部８と同様の構成のものである。認識処理部２６は、たとえば特徴点特定部２５により特定された特徴点のみから成るエッジ画像に、車両の２次元モデルを走査するなどして、各車両の位置などを認識する。交通流計測部２７は、毎時の認識処理結果を用いて車両の速度や通過車両数などの交通流データを作成する。出力部２８は、作成された交通流データを外部の管理装置などに出力する。
【００７９】
なお、この実施例では、特徴点の抽出範囲の設定のために画像上の白線の構成点を複数指定する。抽出範囲設定部３０は、これら指定点の座標を用いて画像上での道路の長さ方向または幅方向の向きを特定し、その向きの特定結果に基づき、車両の横幅成分の向きの範囲を設定することになる。
【００８０】
【発明の効果】
上記したようにこの発明では、複数の撮像手段を車両の走行方向に光軸を向け、かつ高さ方向または道路の幅方向に沿って並ぶように設置し、各撮像手段からの画像による３次元計測処理によって道路上の車両を認識する場合に、あらかじめ道路上の車両について、撮像手段の並び方向に直交する方向に対応する輪郭成分が画像上で示す向きの範囲を求め、この範囲の向きを持つエッジの構成点を３次元計測処理の対象とするようにした。したがって撮像系の問題によりエピポーララインにずれが生じても、視差の誤差を小さくして３次元計測処理の精度を向上することができ、高精度の車両の認識処理を行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる交通流計測装置の設置例を示す斜視図である。
【図２】交通流計測装置の構成を示す機能ブロック図である。
【図３】ステレオ座標系と地面座標系との関係を示す説明図である。
【図４】画像上の道路の出現状態と横幅成分の向きの範囲の設定例とを対応づけて示す説明図である。
【図５】処理対象の特徴点が３次元計測結果に及ぼす影響を示す説明図である。
【図６】制御装置における初期設定時の手順を示すフローチャートである。
【図７】制御装置における交通流計測処理の手順を示すフローチャートである。
【図８】１台のカメラで交通流を計測する装置の構成を示す機能ブロック図である。
【図９】３次元計測処理の原理を示す説明図である。
【図１０】３次元計測処理の原理を示す説明図である。
【図１１】特徴点の対応づけ処理の具体例を示す説明図である。
【図１２】エピポーララインのずれが視差に及ぼす影響を示す説明図である。
【符号の説明】
１ａ，１ｂ カメラ
２ 制御装置
３ 交通流計測装置
５ 車両
６ａ，６ｂ 画像入力部
７ 特徴点抽出部
８ 特徴点特定部
９ 対応付け処理部
１０ ３次元計測部
１１ 認識処理部
１２ 交通流計測部
１４ 設定用通信部
１５ 抽出範囲設定部
１６ 抽出範囲記憶部
【発明の属する技術分野】
この発明は、道路の近傍に撮像手段を設置して道路を撮像させ、得られた画像を処理して前記道路上の車両を認識する方法、およびこの方法を用いて交通流の計測処理を行う装置に関連する。
【０００２】
【従来の技術】
出願人は、以前に、道路の近傍に２台のカメラを設置し、各カメラからの画像を用いて走行中の車両を認識する方法を提案した（特開平９−３３２３２号）。この方法では、縦並びに配備された２台のカメラにより走行中の車両を前方の斜め上方位置から撮像し、各カメラにより得られた画像から車両を示す特徴点を抽出して、その点に対応する３次元座標を算出する。つぎに道路に沿って設定された仮想垂直平面に各３次元座標を投影することによって各車両の側面形状を抽出した後、この抽出結果に車両の２次元モデルを用いたパターンマッチング処理を施すことにより、各車両を切り分けて認識する。
【０００３】
図９および図１０は、前記車両の認識処理に用いられる３次元計測処理の原理を示す。図中、５０Ｕ，５０Ｌは、各カメラの撮像面を一次元状に表したものであり、５１Ｕ，５１Ｌは、各カメラのレンズ、ＣU，ＣLは、撮像面５０Ｕ，５０Ｌの中心点である。またＢは各カメラのレンズ中心間の距離（基線長）であり、ｆは各カメラの焦点距離である。
【０００４】
上記のような撮像系により空間上の任意の点Ｐｉ（ｉ＝１，２・・・）を撮像すると、各撮像面５０Ｕ，５０Ｌ間における点Ｐｉの結像位置には所定のずれが生じる。ここで実際の空間において、前記点Ｐｉの各結像位置間の距離をａｉとおくと、点Ｐｉに対する各カメラ間の視差ｄｉは、下記の（１）式により求められる。またこの視差ｄｉ，前記基線長Ｂ，および焦点距離ｆを（２）式にあてはめることによって、基線から点Ｐｉまでの距離Ｌｉを求めることができる。
【０００５】
ｄｉ＝ａｉ−Ｂ ・・・（１）
Ｌｉ＝Ｂ・ｆ／ｄｉ ・・・（２）
【０００６】
３次元計測処理では、上記の原理に基づき、各カメラからの画像間において、空間内の同じ点を示す特徴点を対応づけし、これら特徴点の２次元座標を用いて３次元座標を算出するようにしている。
なお、空間内の一点Ｐが各カメラの撮像面５０Ｕ，５０Ｌに結像する場合、各カメラにより得られる画像ＧU，ＧL上の像点ＱU，ＱLは、カメラの配置関係に基づく所定の直線（エピポーラライン）上に位置する。特に、上下のカメラを、各光軸を平行にし、かつ各撮像面５０Ｕ，５０Ｌが同一平面上に位置するような関係をもって設置すると、図１０に示すように、エピポーララインＥＬは、各画像ＧU，ＧLのｙ軸に平行となる。
【０００７】
前記した車両認識処理では、この原理に基づき、一方の画像上の任意の特徴点につき、ｙ軸に平行なエピポーララインＥＬを設定した後、他方の画像において、このエピポーララインＥＬに沿って前記特徴点に対応する点を検索する。
図１１は、この方法による特徴点の対応づけ処理の具体例を示す。図示例では、下方のカメラからの画像ＧLを基準画像として、この画像上の所定の特徴点ＱLのｘ座標に基づいてエピポーララインＥＬを設定し、上方のカメラからの画像ＧU（以下、「比較画像ＧU」という。）において、このエピポーララインＥＬに沿って特徴点ＱLへの対応点ＱUを検索する処理が行われる。なお、この検索処理では、エピポーララインＥＬに沿って所定大きさの検索領域を走査しつつ、検索領域内の画像データを、特徴点ＱLを中心とする同じ大きさの領域内の画像データと比較し、最も類似度の高い走査位置に対応点ＱUが存在するものと判断する。
【０００８】
【発明が解決しようとする課題】
このように理論上は、基準画像上の特徴点のｘ座標に基づいてエピポーララインを設定し、このエピポーララインに沿って対応点の検索処理を行うことができる。しかしながら現実には、同じ機種のカメラを用いても、カメラ間の個体差やカメラの取り付け状態によって光軸や撮像面の位置に微妙なずれが生じ、この結果、基準画像と検索画像との間のエピポーララインにも、ピクセル単位のずれが生じる。このずれは、ソフトウェア処理によりある程度は補正することができるが、この補正には限界がある。
【０００９】
このようにエピポーララインにずれが生じると、前記対応点の検索処理において、検索画像では、本来の対応点とは異なる点が抽出されてしまう。このため、３次元計測処理の精度が低下し、交通流を精度良く計測できなくなる虞が生じる。
【００１０】
図１２は、エッジの傾きが視差に及ぼす影響を示す。図１２（１）（２）は、それぞれ前記図１１の基準画像ＧL上に破線で示した領域Ａ，Ｂ内の画像を拡大したものであり、ＥＬは本来のエピポーラライン、ＥＬ´は位置ずれして設定されたエピポーララインである。
【００１１】
画像領域Ａは、車両のボンネットとフロントガラスとの境界線の一部にかかるように設定されており、この画像領域Ａ内には前記特徴点ＱLが含まれている。
この特徴点ＱLへの対応点を検索する場合、検索画像ＧUでは、位置ずれしたエピポーララインＥＬ´に沿って対応点の検索が行われる。前記したように、対応点の検索処理では、処理対象の特徴点ＱLに周囲近傍の画像データが類似する点を抽出するので、基準画像ＧL上においてエピポーララインＥＬ´と前記境界線との交点にあたる点ＱL´に対応する点が抽出されることになる。
【００１２】
画像領域Ｂは、道路の白線の一部にかかるように設定されている。この画像領域Ｂにおいて、白線上の一構成点ＲLへの対応点を検索した場合も同様に、位置ずれしたエピポーララインＥＬ´と白線との交点ＲL´に対応する点が抽出されることになる。
【００１３】
ところで理論上のエピポーララインがｙ軸に平行に設定される場合、前記（１）式の視差ｄｉを求めるための各結像点間の距離ａｉは、各結像点のｙ座標に基づき算出される。したがって前記画像領域Ａのように、ｘ軸方向に対する傾きが小さな成分の構成点を処理対象とする場合には、エピポーララインのずれによって対応点を誤抽出しても、その対応点のｙ座標と本来のｙ座標との差はわずかとなり、視差の誤差を小さくすることができる。これに対し、前記画像領域Ｂのように、ｘ軸に対する傾きが大きな成分の構成点を処理対象とする場合には、エピポーララインのずれによって誤抽出された対応点は、ｙ軸方向において、本来の対応点から大きく離れることになる。このため、たとえエピポーララインのずれが僅かであっても、視差には大きな誤差が生じることになる。
【００１４】
ここで認識対象の特徴点を含む成分の方向がエピポーララインＥＬに対してとる角度をγとし、エピポーララインＥＬ，ＥＬ´間の距離（エピポーラ誤差）をΔｅとすると、対応点の誤抽出により生じる視差の誤差Δｄeは、つぎの（３）式のようになる。
Δｄe＝Δｅ＊ｃｏｓγ ・・・（３）
【００１５】
また対応点検索時の相関演算など、エピポーララインのずれ以外の要因によって生じる誤差の誤差をΔｄotherとすると、前記（２）式により求めた距離Ｌｉに生じる誤差ΔＬは、つぎの（４）式のようになる。
【００１６】
【数１】
よって前記角度γが９０度に近づくほど、言い換えれば前記成分の方向が水平方向に近づくほど、視差の誤差Δｄを小さくすることができ、３次元計測処理における誤差も小さくすることができる。
【００１８】
この発明は上記の問題や原理に着目してなされたもので、複数の撮像手段により得られた画像による３次元計測処理によって道路上の車両を認識する場合に、エピポーララインのずれの影響を受けにくい３次元計測処理を行って、車両の認識精度を高めることを目的とする。
【００１９】
またこの発明は、複数の撮像手段により得られた画像による３次元計測処理によって道路上の交通流を計測する場合に、エピポーララインのずれの影響を受けにくい３次元計測処理を行って、交通流を正確に計測することを目的とする。
【００２０】
【課題を解決するための手段】
この発明にかかる車両認識方法では、観測対象の道路の近傍に複数の撮像手段を車両の走行方向に光軸を向け、かつ高さ方向（縦方向）または道路の幅方向（横方向）に沿って並ぶように設置し、各撮像手段により得られた画像を用いた３次元計測処理により前記道路上の車両を個別に認識する場合に、認識処理に先立ち、特定の１の撮像手段からの画像を基準画像として、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分について、前記基準画像に現れる当該輪郭成分の向きの範囲を求める準備のステップを実行する。また認識処理では、前記特定の撮像手段から得た基準画像において、前記準備のステップで求められた向きの範囲に適合するエッジの構成点を抽出するステップと、抽出されたエッジの構成点について、前記基準画像以外の画像における対応点を特定するステップと、この特定により画像間で対応づけられた各点の座標を用いた３次元計測処理を実行するステップとを実行する。
【００２１】
この方法における各撮像手段は、道路を走行する車両を前方向から撮像するように設置されるのが望ましい。（ただし後方向から撮像しても、認識処理には差し支えない。）また各撮像手段の光軸を、可能な限り平行に近くなるように設定するとともに、各撮像面を同一平面上に可能な限り合わせて設定されるのが望ましい。
【００２２】
道路上の車両の輪郭成分とは、観測対象の道路を走行する車両の輪郭線（車両の外形を示す輪郭線のみならず、窓枠などの特徴部分の輪郭線も含む。）に相当する。撮像手段の並び方向に直交する方向に対応する輪郭成分は、撮像手段が縦並びに配備される場合には、前記したボンネットとフロントガラスとの境界線のように、車両の横幅方向に沿い、かつ地表面に沿って延びる成分となる（以下、この輪郭成分を「横幅成分」と呼ぶ）。この横幅成分は、道路の幅方向にほぼ沿った方向を向いて位置するので、撮像手段をその光軸を車両の走行方向に向けて設置すると、画像上における横幅成分も、水平方向（ｘ軸方向）に対する傾きが小さい成分として出現するようになる。
【００２３】
各撮像手段を縦並びに配置して３次元計測を行う場合には、処理対象の特徴点に対応するエッジの水平方向（ｘ軸方向）に対する傾きが小さくなるほど、視差の誤差を小さくすることができる。この発明では、車両の横幅成分が画像上で示す向きの範囲を設定した上で、この範囲に対応する方向を向くエッジの構成点を３次元計測処理の対象とするので、画像上に現れる車両の特徴点のうち、水平方向に対する傾きの小さいエッジの構成点のみを用いた３次元計測処理を行うことができ、エピポーララインのずれによる視差の誤差が大きくなるのを防いで、精度の高い３次元計測を行うことができる。また横幅成分だけでも、車両の大きさや存在範囲を示すには十分であるから、これらの成分の構成点に対応する空間座標を精度良く求めることにより、道路上の車両の位置や大きさの認識精度を向上することができる。
【００２４】
したがって好適な車両認識方法では、観測対象の道路の近傍に複数台の撮像手段を車両の走行方向に光軸を向けて縦並びに設置し、前記各撮像手段により得られた画像を用いた３次元計測処理により前記道路上の車両を認識する場合に、認識処理に先立ち、いずれかの撮像手段からの画像について、車両の横幅成分が画像上で示す向きの範囲を設定しておき、認識処理において、処理対象の各画像上で前記設定された向きの範囲に適合するエッジの構成点を前記３次元計測処理の対象とする。
【００２５】
なお、撮像手段は縦並びに限らず、横並びに設置することもできる。この場合には、前記撮像手段の並び方向に直交する方向に対応する輪郭成分として、車両の垂直成分（空間において垂直方向に対応する輪郭成分）を採用することになる。
【００２６】
さらに上記の車両認識方法では、前記準備のステップにおいて、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分を構成する複数点について、前記道路に設定された空間座標系における空間座標の入力を受け付け、入力された空間座標と前記各撮像手段の設置条件とに基づき、前記基準画像上で前記各空間座標に対応する点の座標を算出し、その算出結果から前記基準画像における前記輪郭成分の向きの範囲を特定するようにしている。
【００２７】
前記空間座標系は、車両などの実際の位置を表すのに用いられる座標系であり、たとえば原点を地表面（または道路面）に設定し、道路の幅方向，長さ方向，および高さ方向に沿ってそれぞれ座標軸を定めることができる。（以下、この座標系を「地面座標系」と呼ぶ。）この地面座標系における輪郭成分の構成点の空間座標は、所定の車両の３次元モデルが道路上の所定位置にあるときの輪郭成分の構成点の空間座標によって表すことができる。たとえば１つの輪郭成分の各端点など、２点以上の構成点の空間座標によって、前記輪郭成分の向きを表すことができる。
【００２８】
各撮像手段の設置条件としては、各撮像手段により規定されるステレオ座標系の設定条件を用いることができる。この設定条件は、たとえば前記地面座標系に対するステレオ座標系の回転角度や原点のずれ量などであって、認識処理に先立ち、地面座標系における位置が既知の点とこの点に対応する画像上の特徴点とを用いたキャリブレーション処理によって求めることができる。
【００２９】
上記の準備のステップによれば、３次元計測処理の対象となる輪郭成分の空間位置に基づき、この成分の複数の構成点に対応する２次元座標を求めることができ、これら２次元座標から前記輪郭成分の画像上での向きを特定することができる。たとえば、各撮像手段が縦並びに設置される場合には、道路の幅方向に対して車両の横幅成分が取り得る傾きの範囲に応じて空間座標を入力することにより、画像上でその傾きの範囲に対応する角度範囲を求めることができる。このような角度範囲に適合するエッジの構成点は、車両の横幅成分を構成する特徴点に相当する可能性が高いから、車両認識に必要な特徴点を精度良く抽出することができる。
なお、輪郭成分の向きを示す空間座標の入力は、複数の向きについて行うことができる。また複数のモデルを用いて、各種車両に対応する輪郭成分の向きを入力することもできる。
【００３０】
車両の輪郭成分の向きの範囲を設定する処理においては、上記の方法のほか、画像上の道路の白線を示す直線の方程式などから画像上における道路の幅方向または長さ方向を認識し、これらの方向を基準として輪郭成分の向きの範囲を設定することもできる。また撮像手段からの画像を係員に視認させながら、この係員による輪郭成分の向きの範囲の指定を受け付け、これを設定データとして登録してもよい。
【００３１】
つぎにこの発明にかかる交通流計測装置は、観測対象の道路の近傍に車両の走行方向に光軸を向け、かつ高さ方向または道路の幅方向に沿って並ぶように設置された複数の撮像手段と、前記各撮像手段からの画像を用いた３次元計測処理を行って前記道路上の車両を個別に認識しつつ、その認識処理結果を順次追跡して前記道路上における車両の流れを計測する制御装置とを具備する。前記制御装置は、各撮像手段からの画像を個別に入力する画像入力手段と、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分の構成点について、前記道路に設定された空間座標系における空間座標の入力を受け付ける座標入力手段と、特定の１の撮像手段からの画像を基準画像として、前記座標入力手段により入力された複数点の空間座標と前記各撮像手段の設置条件とに基づき、これらの空間座標により構成される輪郭成分について、前記基準画像における向きの範囲を特定する範囲特定手段と、前記特定の撮像手段から入力された基準画像において、前記範囲特定手段により特定された向きの範囲に適合するエッジの構成点を抽出するエッジ構成点抽出手段と、前記エッジ構成点抽出手段により抽出されたエッジの構成点について、基準画像以外の各入力画像における対応点を特定し、その特定により入力画像間で対応づけられた各点の座標を用いた３次元計測処理を実行する３次元計測手段とを含むように構成される。なお、各撮像手段は、可能な限り、各光軸が並行であり、かつ各撮像面が同一平面上に位置するように調整されるのが望ましい。
【００３２】
前記制御装置の画像入力手段は、各撮像手段毎の入力インターフェース、Ａ／Ｄ変換回路、およびＡ／Ｄ変換処理後の入力画像を格納するメモリなどを含む。なお、撮像手段としてディジタルカメラを使用すれば、Ａ／Ｄ変換回路は不要である。
【００３３】
範囲特定手段には、特定された向きの範囲を保存するための記憶手段などを含ませることができる。座標入力手段は、パーソナルコンピュータのような外部機器からのデータ伝送を受け付けるようにすることができる。
【００３４】
エッジ構成点抽出手段は、たとえば基準画像にエッジ抽出フィルタを走査するなどしてエッジを抽出した後、抽出されたエッジの中で前記設定手段により設定された範囲の方向を向くエッジの構成点を処理対象として抽出する。３次元計測手段は、たとえば前記エッジ構成点抽出手段により最終的に特定されたエッジの構成点について、他の入力画像上での対応点を抽出した後、これら対応する点の２次元座標と撮像手段の設置条件とに基づき、地面座標系における空間座標を求めるように構成することができる。
なお、これらエッジ構成点抽出手段，３次元計測手段は、コンピュータに処理用のプログラムを組み込むことによって設定することができるが、これに限らず、一部または全ての構成を、ハードウェアによって実現することもできる。
【００３５】
上記構成の装置によれば、前記した車両認識方法に基づき、道路上の各車両を精度良く認識することができるから、この認識処理結果に基づき、高精度の交通流計測を行うことができる。
【００３６】
好適な態様の交通流計測装置では、各撮像手段は縦並びに設置される。この場合、設定手段は、いずれかの撮像手段からの入力画像について、車両の横幅成分が画像上で示す向きの範囲を設定するように構成される。
【００３８】
さらに上記構成の交通流計測装置において、座標入力手段をパーソナルコンピュータなどの外部機器からの入力を受け付けるように構成すれば、パーソナルコンピュータに設定されたユーザインターフェースにより、前記した車両の３次元モデルを仮想の空間に設定するなどして、輪郭成分の構成点の空間座標を簡単に求めることができる。
【００３９】
【発明の実施の形態】
図１は、この発明の一実施例にかかる交通流計測装置の設置例を示す。
この交通流計測装置３は、道路ＲＤにおける走行車両の台数や車両の移動速度などを計測するためのもので、２台のカメラ１ａ，１ｂおよび制御装置２により構成される。
【００４０】
前記カメラ１ａ，１ｂは、道路ＲＤの近傍に設置されたＦ字型支柱４の上方に、縦並びに設置される。これらのカメラ１ａ，１ｂは、焦点距離を同じくするレンズを有し、各光軸が平行かつ斜め下方向を向くように、また各撮像面が同一平面上に位置するように可能な限りの調整が行われ、道路ＲＤの支柱４側の走行路を走行する車両５を、前方の斜め上方向から撮像する。
制御装置２は、保守，点検，ならびに設置時に各種設定処理を行う必要性から、前記支柱４の基部付近に取り付けられる。
【００４１】
図２は、前記交通流計測装置３の構成を示す。
前記制御装置２は、各カメラ１ａ，１ｂに対応する画像入力部６ａ，６ｂ，特徴点抽出部７，特徴点特定部８，対応付け処理部９，３次元計測部１０，認識処理部１１，交通流計測部１２，出力部１３を主要構成として具備する。また後記する処理対象の特徴点の特定のための構成として、設定用通信部１４，抽出範囲設定部１５，抽出範囲記憶部１６などを具備する。
【００４２】
各画像入力部６ａ，６ｂは、各カメラ１ａ，１ｂからの画像信号を取り込むインターフェースや処理対象の画像を生成するためのＡ／Ｄ変換回路などを含む。Ａ／Ｄ変換処理後の濃淡画像データ（以下、「入力画像」という。）は、図示しないメモリに格納され、以下の計測処理に使用される。
【００４３】
前記特徴点抽出部７および特徴点特定部８は、基準画像となる下側のカメラ１ｂからの画像を処理対象とする。特徴点抽出部７は、前記基準画像上にソーベルフィルタなどのエッジ抽出フィルタを走査して画像上のエッジを抽出し、各エッジ構成点を黒画素とする２値画像（エッジ画像）を生成する。さらに特徴点抽出部は、このエッジ画像を複数の小領域に分割し、所定数以上のエッジ構成点が含まれる領域毎に、代表点となるエッジ構成点を抽出する。（以下、この代表点としてのエッジ構成点を「特徴点」という。）
【００４４】
特徴点特定部８は、前記特徴点抽出部７により抽出された特徴点の中から抽出範囲記憶部６に設定された向きの範囲（詳細は後記する。）に適合する方向を向くエッジの構成点を抽出し、これを以後の処理対象の特徴点として特定する。対応付け処理部９は、特定された各特徴点につき、各入力画像間での対応づけ処理を行う。３次元計測部１０は、対応づけられた各特徴点の座標を三角測量の原理にあてはめて、各特徴点に対応する空間座標を算出する。
【００４５】
図３は、実際の空間を基準として各特徴点の空間位置を示すための地面座標系（Ｘ，Ｙ，Ｚ軸で示す。）と、各カメラにより設定されるステレオ座標系（Ｘ´，Ｙ´，Ｚ´軸で示す。）との関係を示す。なお、図中のｘL，ｙLはカメラ１ｂ側の画像ＧLにおける２次元座標を、ｘU，ｙUはカメラ１ａ側の画像ＧUにおける２次元座標を、それぞれ示す。
【００４６】
地面座標系は、地面上の所定位置を原点Ｏとして、道路の幅方向をＸ軸，長さ方向をＺ軸，高さ方向をＹ軸とするものである。この地面座標系のＸ，Ｙ，Ｚ軸に対し、ステレオ座標系のＸ´，Ｙ´，Ｚ´軸は、それぞれ所定角度回転した状態にある。３次元計測処理では、各入力画像上の対応点の座標を用いてステレオ座標系の空間座標を求めた後、これを地面座標系の空間座標に置き換えることになるが、この空間座標の変換処理には、上記の３方向における回転角度やＸＺ平面から原点Ｏ´までの距離Ｈなどのパラメータが必要となる。さらに原点Ｏ´がＹ軸上に位置しない場合には、原点Ｏに対するＯ´の位置ずれ量もパラメータとして設定する必要がある。
【００４７】
この実施例の制御装置２では、装置の設置時に、カメラ１ｂからの基準画像上において地面座標系の位置が既知の複数の点の指定を受け付け、これら指定点の座標と前記既知の空間座標とを用いて、上記の各パラメータを算出し、その算出結果を３次元計測処理のためにメモリ内に登録するようにしている。（パラメータの算出処理の詳細については、特開平１０−１２２８１９号を参照されたい。）
【００４８】
図２に戻って、認識処理部１１は、前記３次元計測部１０により計測された各点の空間座標を、道路ＲＤの長さ方向（Ｚ軸方向）に沿う仮想垂直平面（ＹＺ平面）に投影する。さらに認識処理部１１は、この投影結果に、種々の車両の側面形状に対応する２次元モデルを照合して道路上の車両を切り分けて認識する。この認識処理結果は、メモリに逐次格納されるもので、交通流計測部１２は、認識処理結果の時系列データを用いて、前記車両台数や車両の移動速度などの交通流データを算出する。
【００４９】
出力部１３は、図示しない情報センターの管理装置などと通信を行うための通信インターフェースを含み、前記交通流計測部１２により算出された交通流データを取り込んで前記管理装置に送信する。
【００５０】
設定用通信部１４は、ノート型のパーソナルコンピュータやＰＤＡなどの外部機器１７と通信を行って、前記した３次元計測のためのパラメータ算出や特徴点の抽出範囲の設定のためのデータを取り込む。抽出範囲設定部１５は、設定用通信部により取り込まれた設定データを用いて、前記処理対象の特徴点の抽出範囲を示すデータを作成し、これを抽出範囲記憶部１６に格納する。
【００５１】
なお、上記構成において、特徴点抽出部７，特徴点特定部８，対応づけ処理部９，３次元計測部１０，認識処理部１１，交通流計測部１２，抽出範囲設定部１５の各処理部は、いずれもマイクロプロセッサ（ＭＰＵ）またはプロセッサ（ＣＰＵ）に各処理のアルゴリズムを示すプログラムを実行させることによって実現することができる。ただし一部の構成（たとえば特徴点抽出部７，対応付け処理部９）については、フリップフロップ，レジスタなどを含む専用の演算回路として構成することもできる。また抽出範囲記憶部１６は、前記した３次元計測処理のためのパラメータを格納するのと同一のメモリに設定することができる。
【００５２】
つぎに前記設定用通信部１４や抽出範囲設定部１５の詳細な処理について説明する。
この実施例の設定用通信部１４は、外部機器１７に対して、カメラ１ｂからの基準画像を送信する。外部機器１７は、送信された各入力画像を表示して、その画面上で地面座標系における位置が既知の点の指定を受け付ける。ここで係員が、前記パラメータの算出のための空間座標を複数設定すると、この指定された点の２次元座標および既知の空間座標が設定用通信部１４に伝送される。さらにこれらの座標は、図示しないパラメータ算出部に与えられ、３次元計測のための各種パラメータが算出される。
【００５３】
さらに設定用通信部１４は、前記特徴点の抽出範囲を設定するためのデータとして、地面座標系における車両につきカメラ１ａ，１ｂの並び方向に直交する方向に対応する輪郭成分、すなわち車両の横幅成分の空間位置を示すデータの送信を受け付ける。このデータは、車両が地面座標系の所定位置に所定の方向を向いて位置する場合の各種横幅成分（ボンネットとフロントガラスとの間の境界線，ルーフやバンパーに対応する幅成分など）を示す空間座標となる。
【００５４】
外部機器１７では、ユーザーインターフェースを用いるなどして、たとえば車両の位置や方向の指定を受け付け、その指定に応じて車両の３次元モデルの設定データから各横幅成分の構成点の空間座標を自動算出する。これらの空間座標は、設定用通信部１４を介して抽出範囲設定部１５に与えられる。抽出範囲設定部１５は、前記３次元計測のためのパラメータなどを用いて、これらの空間座標が基準画像上のどの位置に対応するかを算出し、さらにこの算出結果を用いて基準画像における前記水平成分の傾きを算出する。
【００５５】
なお、道路の幅方向に対して走行中の車両の横幅成分が取り得る傾きの範囲を設定できる場合、この範囲を規定する最小の傾きと最大の傾きとに応じて、前記横幅成分の空間座標を得ることができる。抽出範囲設定部１５は、これらの設定データに上記の処理を実行して、基準画像上における横幅成分の向きの範囲を求めることができる。たとえばこの向きを、ｘ軸に対する角度αとして示すと、向きの範囲を表すデータとして、最小の角度αminと最大の角度αmaxとを設定することができる。
【００５６】
こうして設定された向きの範囲を示すデータは、前記抽出範囲記憶部１６に格納される。よって特徴点特定部８は、前記特徴点抽出部７により抽出された特徴点のうち、抽出範囲記憶部１６に格納された向きの範囲に適合する方向を向くエッジの構成点を処理対象として特定することになるので、以後の処理では、車両の横幅成分に対応する特徴点を用いた処理が行われることになる。
【００５７】
図４は、前記特徴点の抽出範囲の設定例を示す。図４（１）（２）のＧ１L，Ｇ２Lは、いずれも基準画像の一例であり、それぞれ道路の画像が所定の向きをもって現れている。Ｓ１，Ｓ２は、これら基準画像Ｇ１L，Ｇ２Lにおいて車両の横幅成分が取り得る向きの範囲を、ｘ軸を基準に示したもので、画像上の道路の幅方向の向きに対応させて、ｘ軸から時計回り方向または反時計回り方向に所定角度までの角度範囲が設定されている。
【００５８】
このような角度範囲によれば、画像上の各エッジについて、そのエッジの方向から車両の横幅成分の向きに適合するエッジであるかどうかを容易にかつ精度良く認識することができる。よって対応付け処理部および３次元計測部では、車両の横幅成分に対応する特徴点を処理対象とすることができる。
【００５９】
この実施例のように、走行中の車両を前方側から撮像すると、画像上の車両の横幅成分は、前記図４に示すように、ｘ軸方向に対する傾きが小さい成分として現れる。したがってこの横幅成分に対応する特徴点を３次元計測処理の対象とすれば、基準画像と処理画像との間でエピポーララインにずれが生じても、視差の誤差を小さく抑えることができ、その後の車両認識処理においても精度の高い認識処理を行うことができる。
【００６０】
図５は、横幅成分のみを処理対象とする場合と、横幅成分以外の成分も処理対象とする場合とでの車両認識精度の違いを示す。図５（１）は、認識対象の車両を模式的に示したもので、●は横幅成分の特徴点を、×は道路の奥行き方向に沿って延びる輪郭成分（以下、「長さ成分」という。）の特徴点をそれぞれ示す。また図５（２）（３）中に破線で示す領域ｒ１，ｒ２は、各車両の実際の存在範囲を示す。
【００６１】
図５（２）（３）は、地面座標系における観測対象の車両と前記特徴点の３次元計測結果との関係を示す。
図５（２）では、横幅成分の特徴点のみを用いた３次元計測の結果を示す。横幅成分の特徴点は、いずれも視差の誤差が小さくなるから、実際の特徴点の位置にほぼ対応する位置に空間座標を特定することができる。
【００６２】
図５（３）では、横幅成分の特徴点とともに長さ成分の特徴点も用いた３次元計測が行われている。道路の長さ方向に沿う長さ成分は、画像上においては、ｘ軸に対する傾きが大きな成分として現れるので、視差の誤差が大きくなる。このため、図５（３）の矢印ａ〜ｅに示すように、本来の空間位置から大きく離れた位置に空間座標が特定されるので、投影処理においても、車両の位置や大きさを正しく抽出できなくなる。特に、矢印ａ，ｃのように、求められた空間座標が後続の車両の存在領域（ｒ２）に近い位置に特定されると、車両を切り分けて認識するのが困難になる。
【００６３】
よってこの実施例の交通流計測装置３によれば、視差の誤差を小さくすることができる横幅成分の特徴点を処理対象とすることによって、各車両の位置や大きさを精度良く認識することができる。さらにこの認識結果を用いて、信頼性の高い交通流データを生成することができる。
【００６４】
さらにこの実施例では、車両の横幅成分の空間座標に応じてその横幅成分の基準画像における方向を求めているので、車両を構成する特徴点を精度良く特定することができる。ただし、横幅成分の向きの特定は上記の方法に限らず、たとえば、基準画像上に現れる道路の画像からこの道路の長さ方向または幅方向を求め、この方向に基づき、画像上に現れる車両の横幅成分の向きの範囲を特定するようにしてもよい。
【００６５】
図６は、前記制御装置２の設置時における初期設定手順を示す。なお、この図６ならびにつぎの図７、および以下の説明では、各処理のステップを「ＳＴ」として示す。
【００６６】
前記したように、初期設定時には、制御装置２には外部機器１７が接続される。最初のＳＴ１では、各カメラ１ａ，１ｂからの画像を入力し、つぎのＳＴ２では、これら入力画像のうち、カメラ１ｂからの基準画像の画像データを外部機器１７に送信する。
【００６７】
外部機器１７では、前記したように、送信された基準画像上で、車線の構成点などの空間座標が既知の点の指定を受け付ける。ＳＴ３では、これら指定された点の２次元座標および既知の空間座標を入力する。つぎのＳＴ４では、これらの座標を用いて、前記３次元計測のためのパラメータを算出する。なお、算出されたパラメータは、制御装置２内のメモリに登録される。
【００６８】
つぎに、ＳＴ５で、外部機器１７から道路ＲＤ上における車両の横幅成分の向きの範囲を示す空間座標が入力されると、続くＳＴ６において、これらの空間座標や前記ＳＴ４で求めたパラメータを用いて、基準画像における車両の横幅成分のｘ軸方向に対する角度の範囲を算出する。さらにＳＴ７において、算出された角度範囲を前記抽出範囲記憶部１６に格納した後、初期設定処理を終了する。
【００６９】
図７は、上記の初期設定処理後に実行される交通流計測処理の一連の手順を示す。なお、この手順は、各カメラ１ａ，１ｂからの１フレーム分の画像に対する処理手順であって、所定時間毎に繰り返し実行されることになる。
【００７０】
まず最初のＳＴ１１では、各カメラ１ａ，１ｂからの画像を入力し、前記したディジタル変換処理により処理対象の入力画像を生成する。つぎのＳＴ１２では、これら入力画像のうちの基準画像について、前記エッジ抽出処理や代表点の抽出処理を実行して、車両を示す特徴点を抽出する。さらにＳＴ１３では、抽出された各特徴点のうち、前記抽出範囲記憶部１６に登録された角度範囲に適合する方向を向くエッジの構成点を、処理対象の特徴点として特定する。
【００７１】
このようにして特徴点が特定されると、つぎのＳＴ１４では、これら特徴点について、それぞれカメラ１ａから入力した比較画像上にエピポーララインを設定して前記特徴点に対応する点を抽出する。さらにＳＴ１５では、前記３次元計測のためのパラメータを用いてこれら対応する特徴点の座標から地面座標系における空間座標を算出する。
【００７２】
つぎのＳＴ１６では、道路の長さ方向に沿う仮想垂直平面すなわち地面座標系のＹＺ平面に、算出された各空間座標を投影する。ＳＴ１７では、各種車両の２次元モデルをこの投影結果に走査して、道路ＲＤ上の車両の位置や大きさを認識する。
【００７３】
前記ＳＴ１７の認識結果は、メモリ内に蓄積される。ＳＴ１８では、直前に得た認識結果を含む過去所定回数の認識結果を対応づけて、個々の車両の移動軌跡を認識する。さらにこの認識結果を用いて、車両の移動速度，所定の基準位置を通過した車両台数などを算出する。ＳＴ１９では、この算出結果を前記した外部の管理装置などに出力する。
【００７４】
なお、上記実施例では、２台のカメラ１ａ，１ｂからの画像を用いた３次元計測処理により車両を認識するようにしているが、１台のカメラからの画像を用いた車両認識処理を行う場合にも、車両の横幅成分に対応する特徴点のみを処理対象とすれば、データ量の削減により処理を高速化できる。また２次元の画像処理では、対象物の高さを特定することができないので、影や路面上の標識などのノイズの影響を受けやすいが、車両の横幅成分の方向として限定された角度範囲に適合する特徴点のみを処理対象とすることで、これらのノイズをかなりの割合で取り除くことができる。
【００７５】
図８は、２次元の画像処理により交通流を計測する場合の装置構成を示す。
この交通流計測装置は、カメラ２１と制御装置２２とにより構成されるもので、カメラ２１は、第１の実施例のカメラ１ａ，１ｂと同様に、道路ＲＤの近傍に、走行車両を前方の斜め上方向から撮像するように設置される。
【００７６】
制御装置２２には、画像入力部２３，特徴点抽出部２４，特徴点特定部２５，認識処理部２６，交通流計測部２７，出力部２８，設定用通信部２９，抽出範囲設定部３０，抽出範囲記憶部３１などが組み込まれる。
【００７７】
設定用通信部２９は、前記第１の実施例の設定用通信部１４と同様に外部機器１７に接続され、地面座標系に対するカメラ２１の設置状態を示すデータや、特徴点の抽出範囲設定用のデータの入力を受け付ける。抽出範囲設定部３０は、この入力データを用いて、画像上における車両の横幅成分の向きの範囲を求め、これを抽出範囲記憶部３１に格納する。
【００７８】
画像入力部２３，特徴点抽出部２４，特徴点特定部２５は、それぞれ前記第１の実施例の画像入力部６ａ，６ｂ，特徴点抽出部７，特徴点特定部８と同様の構成のものである。認識処理部２６は、たとえば特徴点特定部２５により特定された特徴点のみから成るエッジ画像に、車両の２次元モデルを走査するなどして、各車両の位置などを認識する。交通流計測部２７は、毎時の認識処理結果を用いて車両の速度や通過車両数などの交通流データを作成する。出力部２８は、作成された交通流データを外部の管理装置などに出力する。
【００７９】
なお、この実施例では、特徴点の抽出範囲の設定のために画像上の白線の構成点を複数指定する。抽出範囲設定部３０は、これら指定点の座標を用いて画像上での道路の長さ方向または幅方向の向きを特定し、その向きの特定結果に基づき、車両の横幅成分の向きの範囲を設定することになる。
【００８０】
【発明の効果】
上記したようにこの発明では、複数の撮像手段を車両の走行方向に光軸を向け、かつ高さ方向または道路の幅方向に沿って並ぶように設置し、各撮像手段からの画像による３次元計測処理によって道路上の車両を認識する場合に、あらかじめ道路上の車両について、撮像手段の並び方向に直交する方向に対応する輪郭成分が画像上で示す向きの範囲を求め、この範囲の向きを持つエッジの構成点を３次元計測処理の対象とするようにした。したがって撮像系の問題によりエピポーララインにずれが生じても、視差の誤差を小さくして３次元計測処理の精度を向上することができ、高精度の車両の認識処理を行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる交通流計測装置の設置例を示す斜視図である。
【図２】交通流計測装置の構成を示す機能ブロック図である。
【図３】ステレオ座標系と地面座標系との関係を示す説明図である。
【図４】画像上の道路の出現状態と横幅成分の向きの範囲の設定例とを対応づけて示す説明図である。
【図５】処理対象の特徴点が３次元計測結果に及ぼす影響を示す説明図である。
【図６】制御装置における初期設定時の手順を示すフローチャートである。
【図７】制御装置における交通流計測処理の手順を示すフローチャートである。
【図８】１台のカメラで交通流を計測する装置の構成を示す機能ブロック図である。
【図９】３次元計測処理の原理を示す説明図である。
【図１０】３次元計測処理の原理を示す説明図である。
【図１１】特徴点の対応づけ処理の具体例を示す説明図である。
【図１２】エピポーララインのずれが視差に及ぼす影響を示す説明図である。
【符号の説明】
１ａ，１ｂ カメラ
２ 制御装置
３ 交通流計測装置
５ 車両
６ａ，６ｂ 画像入力部
７ 特徴点抽出部
８ 特徴点特定部
９ 対応付け処理部
１０ ３次元計測部
１１ 認識処理部
１２ 交通流計測部
１４ 設定用通信部
１５ 抽出範囲設定部
１６ 抽出範囲記憶部
Claims (2)
- 観測対象の道路の近傍に複数の撮像手段を車両の走行方向に光軸を向け、かつ高さ方向または道路の幅方向に沿って並ぶように設置し、前記各撮像手段により得られた画像を用いた３次元計測処理により前記道路上の車両を個別に認識する方法において、
認識処理に先立ち、特定の１の撮像手段からの画像を基準画像として、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分について、前記基準画像に現れる当該輪郭成分の向きの範囲を求める準備のステップを実行し、
前記認識処理には、前記特定の撮像手段から得た基準画像において、前記準備のステップで求められた向きの範囲に適合するエッジの構成点を抽出するステップと、抽出されたエッジの構成点について、前記基準画像以外の画像における対応点を特定するステップと、この特定により画像間で対応づけられた各点の座標を用いた３次元計測処理を実行するステップとが含まれており、
前記準備のステップでは、前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分を構成する複数点について、前記道路に設定された空間座標系における空間座標の入力を受け付け、入力された空間座標と前記各撮像手段の設置条件とに基づき、前記基準画像上で前記各空間座標に対応する点の座標を算出し、その算出結果から前記基準画像における前記輪郭成分の向きの範囲を特定する、ことを特徴とする車両認識方法。 - 観測対象の道路の近傍に車両の走行方向に光軸を向け、かつ高さ方向または道路の幅方向に沿って並ぶように設置された複数の撮像手段と、前記各撮像手段からの画像を用いた３次元計測処理を行って前記道路上の車両を個別に認識しつつ、その認識処理結果を順次追跡して前記道路上における車両の流れを計測する制御装置とを具備し、
前記制御装置は、
各撮像手段からの画像を個別に入力する画像入力手段と、
前記道路上の車両の輪郭成分のうち前記撮像手段の並び方向に直交する方向に対応する輪郭成分の構成点について、前記道路に設定された空間座標系における空間座標の入力を受け付ける座標入力手段と、
特定の１の撮像手段からの画像を基準画像として、前記座標入力手段により入力された複数点の空間座標と前記各撮像手段の設置条件とに基づき、これらの空間座標により構成される輪郭成分について、前記基準画像における向きの範囲を特定する範囲特定手段と、
前記特定の撮像手段から入力された基準画像において、前記範囲特定手段により特定された向きの範囲に適合するエッジの構成点を抽出するエッジ構成点抽出手段と、
前記エッジ構成点抽出手段により抽出されたエッジの構成点について、基準画像以外の各入力画像における対応点を特定し、その特定により入力画像間で対応づけられた各点の座標を用いた３次元計測処理を実行する３次元計測手段とを、含んで成る交通流計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002005372A JP3893981B2 (ja) | 2002-01-11 | 2002-01-11 | 車両認識方法およびこの方法を用いた交通流計測装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002005372A JP3893981B2 (ja) | 2002-01-11 | 2002-01-11 | 車両認識方法およびこの方法を用いた交通流計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208692A JP2003208692A (ja) | 2003-07-25 |
| JP3893981B2 true JP3893981B2 (ja) | 2007-03-14 |
Family
ID=27644438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002005372A Expired - Lifetime JP3893981B2 (ja) | 2002-01-11 | 2002-01-11 | 車両認識方法およびこの方法を用いた交通流計測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3893981B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1530156B1 (en) * | 2003-11-07 | 2012-03-14 | Mitsubishi Electric Information Technology Centre Europe B.V. | Visual object detection |
| JP4858280B2 (ja) * | 2007-04-10 | 2012-01-18 | 株式会社明電舎 | コンテナ車両傾き角度検出装置 |
| JP5299101B2 (ja) * | 2009-06-11 | 2013-09-25 | コニカミノルタ株式会社 | 周辺表示装置 |
| JP5740241B2 (ja) | 2011-08-03 | 2015-06-24 | 株式会社東芝 | 車両検出装置 |
| JP5600220B2 (ja) * | 2011-10-28 | 2014-10-01 | 富士フイルム株式会社 | ３次元測定装置 |
| JP6323077B2 (ja) * | 2014-03-07 | 2018-05-16 | オムロン株式会社 | 画像処理装置、車両検出方法、および車両検出プログラム |
| CN105761507B (zh) * | 2016-03-28 | 2018-03-02 | 长安大学 | 一种基于三维轨迹聚类的车辆计数方法 |
-
2002
- 2002-01-11 JP JP2002005372A patent/JP3893981B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003208692A (ja) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11320833B2 (en) | Data processing method, apparatus and terminal | |
| EP1983484B1 (en) | Three-dimensional-object detecting device | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| JP3525896B2 (ja) | ３次元物体認識方法および同方法を使用したビンピッキングシステム | |
| JP4406381B2 (ja) | 障害物検出装置及び方法 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| JP2009041972A (ja) | 画像処理装置及びその方法 | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| CN110826512B (zh) | 地面障碍物检测方法、设备及计算机可读存储介质 | |
| JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
| CN113884002A (zh) | 基于二三维信息融合的受电弓滑板上表面检测系统及方法 | |
| JP2010133751A (ja) | 形状測定装置およびプログラム | |
| JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| JP2014134856A (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
| JP3893981B2 (ja) | 車両認識方法およびこの方法を用いた交通流計測装置 | |
| JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
| KR20120108256A (ko) | 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법 | |
| JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
| JP7426611B2 (ja) | 校正方法および校正装置 | |
| JP2007233440A (ja) | 車載用画像処理装置 | |
| JPH11211738A (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| US11580662B2 (en) | Associating three-dimensional coordinates with two-dimensional feature points | |
| CN110852278B (zh) | 地面标识线识别方法、设备及计算机可读存储介质 | |
| JP2004020398A (ja) | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3893981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |