JPH10269362A

JPH10269362A - 物体認識方法およびその装置

Info

Publication number: JPH10269362A
Application number: JP9087372A
Authority: JP
Inventors: Katsumi Ohashi; 勝巳大橋
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1997-03-21
Filing date: 1997-03-21
Publication date: 1998-10-09

Abstract

(57)【要約】【課題】遠方の地点における認識精度を大幅に向上す
る。【解決手段】道路ＬＤの近傍位置の支柱３に２台のカ
メラ１ａ，１ｂを取り付け、道路の長さ方向を撮像す
る。第１のカメラ１ａには、撮像位置近傍を中心とする
広角視野が、第２のカメラ１ｂにはこの広角視野よりも
遠方の地点を対象とする望遠視野が設定される。制御装
置５は、各カメラ１ａ，１ｂからの画像をそれぞれ取り
込んで個別に処理し、各画像上の車輌を示す特徴を抽出
してカメラの視野内における車輌の動きを追跡した後、
各画像毎の追跡処理結果を統合して交通流データを生成
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の観測位置から
特定方向を観測して前記特定方向における対象物を認識
するための方法および装置に関連する。

【０００２】

【従来の技術】近年、道路近傍の所定位置にテレビカメ
ラを道路に向けて設置し、このテレビカメラ（以下単に
「カメラ」という）からの画像上で、道路上の車輌の特
徴部分を抽出して、車輌の通過台数，速度，渋滞状況な
どを計測する交通流計測装置が開発されている。

【０００３】従来のこの種の分野では、例えば、カメラ
により撮像して得られた画像上で、車輌の水平方向の輪
郭を示すエッジ成分を抽出し、抽出されたエッジの数か
ら道路の渋滞状況を認識したり（「道路交通渋滞計測シ
ステムの検討」（平成３年電気学会産業応用部門全国大
会）、画像上でのエッジ抽出結果にパターンマッチング
処理を施して、道路上の車輌を個別に観測する（"Image
Processing VehicleDetector for Urban Traffic Cont
rol Systems" Vehicle Nabigation & Information Syst
ems Conference, 92CH3198-9 (1992)）などの方法が提
案されている。

【０００４】さらに近年では、観測位置に複数台のカメ
ラを設置して３次元計測処理を実施し、道路上の車輌の
３次元座標を検出する方法が開発されている（「ステレ
オ画像を用いた物体検出技術の開発」第２回画像セン
シングシンポジウム講演論文集Ｇ−１５，画像センシ
ング技術研究会）。

【０００５】

【発明が解決しようとする課題】一般に、道路上の車輌
の流れを認識するためには、観測位置の手前位置から遠
方の地点までが撮像できるように、カメラの視野を設定
する必要がある。しかしながらこの場合、観測位置近傍
の画像部分については認識処理に十分な解像度が得られ
るが、観測位置より遠方になるほど、解像度が低下し、
最終的に各車輌の特徴が重なり合ってそれぞれの特徴を
分離して取り出すのは困難となる。

【０００６】上記した各方法のうち、エッジ抽出処理に
よる第１の方法では、観測位置より１５０ｍ以上遠方に
なると、正確な渋滞度を計測することができなくなると
発表されている。またパターンマッチング処理を行う第
２の方法の場合には、計測可能な範囲は観測位置より２
０ｍ程度離れた地点までと考えられている。この計測範
囲をより遠方に設定するために、高解像度のカメラを導
入することが考えられる。しかしながらその導入に通常
のカメラの１０数倍のコストがかかるにもかかわらず、
解像度は通常の１．５倍程度しか向上せず、投資コスト
に見合うだけの効果は得られない。

【０００７】また３次元計測処理を用いた方法の場合に
も、各カメラ間の距離やカメラの解像度の限界などによ
り、遠方地点の３次元計測結果の信頼度が極端に低下す
るという問題がある。上記した３次元計測処理による車
輌検出処理でも、観測位置から２０ｍ程度遠方の地点ま
でしか検出できないとされており、１つの観測地点から
道路の遠方地点までを精度良く観測して、交通流を計測
するなど、到底不可能である。

【０００８】この発明は上記問題点に着目してなされた
もので、所定の観測位置より特定方向を観測して、この
特定方向における対象物の位置や、特定方向に沿って並
ぶ対象物の列長さなどを認識する場合に、遠方の地点に
おける認識精度を大幅に向上することを技術課題とす
る。

【０００９】

【課題を解決するための手段】請求項１〜６の発明は、
所定の観測位置から特定方向を観測して前記特定方向に
おける対象物を認識する方法に関するもので、請求項１
の物体認識方法は、前記観測位置から特定方向に対し複
数の視野を設定して撮像し、各視野毎に、前記撮像によ
り得られた画像を用いてそれぞれ対象物を示す特徴を抽
出した後、これら抽出結果を統合して対象物の認識処理
を実施することを特徴とする。

【００１０】請求項２の発明の物体認識方法は、前記観
測位置に相対位置関係が既知の複数個の撮像手段を前記
特定方向に向けて設置し、各撮像手段からの画像を用い
て対象物にかかる３次元計測処理を行うとともに、少な
くとも１つの撮像手段からの画像を用いて対象物にかか
る２次元計測処理を実施し、これら計測結果を統合して
対象物の認識処理を実施することを特徴とする。

【００１１】請求項３の発明では、前記請求項２の認識
処理において、前記観測位置より所定距離だけ離れた地
点までは前記３次元計測結果を優先的に採用し、この地
点より遠方については前記２次元計測を優先的に採用す
るようにしている。

【００１２】請求項４の発明では、前記認識処理とし
て、特定方向における対象物の位置を認識する。また前
記認識処理として請求項５の発明では、特定方向に並ぶ
対象物の列長さを認識し、請求項６の発明では前記特定
方向における対象物の動きあるいは流れを認識する。

【００１３】請求項７〜１５の発明は、所定の観測位置
から特定方向を観測して前記特定方向における対象物を
認識する物体認識装置にかかるものである。請求項７の
物体認識装置は、前記観測位置に設置され、前記特定方
向に対しそれぞれ異なる視野が設定されて成る複数個の
撮像手段と、前記各撮像手段からの画像に対し、それぞ
れその画像上で対象物を示す特徴を抽出する特徴抽出手
段と、各画像に対する特徴抽出結果を統合して前記特定
方向における対象物の認識処理を実施する認識手段とを
具備している。

【００１４】請求項８の発明では、前記特徴抽出手段
は、前記各撮像手段からの画像に対する特徴抽出処理
を、所定の時間毎に切り替えて実施するように構成され
る。

【００１５】請求項９の物体認識装置は、請求項７と同
様の複数個の撮像手段と、前記各撮像手段からの画像を
それぞれ対象物の支持面を含む仮想水平面上に透視変換
する透視変換手段と、前記透視変換手段により生成され
た各透視変換画像上でそれぞれ対象物を示す特徴を抽出
する特徴抽出手段と、各透視変換画像毎の特徴抽出結果
を統合して前記特定方向における対象物を認識する認識
手段とを具備している。

【００１６】請求項１０の発明では、請求項９の構成に
おいて、特徴抽出手段を、前記各透視変換画像を合成し
て１枚の画像を生成した後、この合成画像上で対象物を
示す特徴の抽出処理を実施するように構成する。

【００１７】請求項１１の物体認識装置は、請求項７，
９と同様の複数個の撮像手段と、いずれかの撮像手段の
画像を取り込む画像入力手段と、前記画像入力手段に取
り込まれた画像上で対象物を示す特徴を抽出する特徴抽
出手段と、前記特徴抽出手段の抽出結果に基づき前記画
像入力手段の画像入力元の撮像手段を切替え制御する切
替え制御手段と、前記切替え制御下で得られた各入力画
像毎の特徴抽出結果を統合して前記特定方向における対
象物の認識処理を実施する認識手段とを具備している。

【００１８】請求項１２の物体認識装置は、前記観測位
置に設置され、前記特定方向に対し複数の視野を設定可
能な撮像手段と、前記撮像手段の視野を所定の時間毎に
切替え制御する視野制御手段と、各視野毎に得られた画
像上でそれぞれ対象物を示す特徴を抽出する特徴抽出手
段と、各視野毎の特徴抽出結果を統合して前記特定方向
における対象物を認識する認識手段を具備している。

【００１９】請求項１３の物体認識装置は、前記請求項
１２と同様の撮像手段および視野制御手段と、各視野毎
に得られた画像をそれぞれ対象物の支持面を含む仮想水
平面上に透視変換する透視変換手段と、前記透視変換手
段により生成された各透視変換画像上でそれぞれ対象物
を示す特徴を抽出する特徴抽出手段と、各視野毎の特徴
抽出結果を統合して前記特定方向における対象物を認識
する認識手段を具備している。

【００２０】請求項１４の物体認識装置は、請求項１
２，１３と同様の撮像手段と、前記撮像手段により得ら
れた画像上で対象物を示す特徴を抽出する特徴抽出手段
と、前記特徴抽出手段の抽出結果に基づき前記撮像手段
の視野を切替え制御する視野制御手段と、前記切替え制
御下で得られた各視野毎の特徴抽出結果を統合して前記
特定方向における対象物の認識処理を実施する認識手段
とを具備している。

【００２１】請求項１５の物体認識装置は、前記観測位
置に特定方向に向けて設置され、相対的な位置関係が既
知の複数個の撮像手段と、前記各撮像手段からの画像を
用いた３次元計測処理を実施する３次元計測処理手段
と、少なくとも１つの撮像手段からの画像を用いた２次
元計測処理を実施する２次元計測処理手段と、前記３次
元計測処理手段による計測結果のうち、前記観測位置か
ら所定距離離れた地点までに計測された結果を選択する
とともに、前記２次元計測処理手段による計測結果の中
から、前記３次元計測結果が選択された地点よりも遠方
の地点に対応する計測結果を選択し、これら選択された
計測結果を統合して前記特定方向における対象物の認識
処理を実施する認識手段とを具備している。

【００２２】

【作用】請求項１の発明では、観測位置から特定方向に
対し、複数の視野を設定し、各視野毎に得られた画像上
で抽出された対象物の特徴を統合して対象物を認識す
る。したがって観測位置の近傍位置と遠方位置とをそれ
ぞれ別の視野内で観測して、それぞれの視野内で対象物
を示す特徴を精度良く抽出し、その結果を結果を統合し
て認識処理を実施することにより、従来よりもはるかに
広い範囲で対象物を精度良く認識することができる。

【００２３】請求項２の発明では、特定方向に対し、複
数個の撮像手段を用いた３次元計測処理と少なくとも１
つの撮像手段を用いた２次元計測とを実施し、これら抽
出結果を統合するので、３次元計測処理では信頼性の低
くなる地点の処理が２次元計測処理により補われる。

【００２４】請求項３の発明では、前記請求項２の認識
処理において、前記観測位置より所定の地点までの特徴
抽出結果については前記３次元計測結果を優先的に採用
し、それ以降の地点における特徴抽出結果については前
記２次元計測結果を採用する。

【００２５】請求項４の発明では、請求項１，２のいず
れかの方法により、前記特定方向における対象物の位置
を認識する。また請求項５の発明では、上記いずれかの
方法により、特定方向に並ぶ対象物の列長さを認識す
る。さらに請求項６の発明では、上記いずれかの方法に
より、特定方向における対象物の動きあるいは流れが認
識される。

【００２６】請求項７の発明では、複数個の撮像手段の
視野を、それぞれ観測位置から特定方向に対し異なるよ
うに設定して撮像を行い、各撮像手段からの画像毎に抽
出された特徴を統合して対象物を認識する。

【００２７】請求項８の発明では、各撮像手段からの画
像に対する特徴処理を所定の時間毎に切り替えて実施す
る。

【００２８】請求項９の発明では、請求項７と同様の状
態で観測位置に設置された各撮像手段からの画像を、そ
れぞれ対象物の支持面を含む仮想水平面上に透視変換す
る。この後、各透視変換画像上で対象物の特徴を精度良
く抽出して画像間で統合し、対象物の認識処理を実施す
る。

【００２９】請求項１０の発明では、前記各透視変換画
像を１枚の画像に合成した後、この合成画像上で対象物
の特徴を抽出する。

【００３０】請求項１１の発明では、異なる視野が設定
された複数個の撮像手段のいずれかから取り込んだ画像
に対し、特徴抽出処理を実施するとともに、その抽出結
果に基づき画像を取り込む撮像手段を切り替え制御す
る。この後、各入力画像毎に得られた特徴抽出結果を統
合して対象物を認識する。

【００３１】請求項１２の発明では、観測位置におい
て、前記特定方向に対し複数の視野を設定可能な撮像手
段が設置される。この撮像手段の視野を所定の時間毎に
切り替えつつ、各視野毎の画像上で特徴抽出を行い、そ
の結果を統合して対象物を認識する。

【００３２】請求項１３の発明では、請求項１２と同様
の撮像手段の視野を所定の時間毎に切り替えて撮像さ
せ、各視野毎の画像を、前記請求項９の発明と同様の仮
想水平面上に透視変換し、特徴の抽出処理を行う。この
後、各画像毎の特徴抽出結果が統合され、対象物の認識
処理が実施される。

【００３３】請求項１４の発明では、請求項１２と同様
の撮像手段からの画像上で特徴を抽出した後、その結果
に応じて撮像手段の視野を切り替える。この後、この切
替え制御下で各視野毎に得られた特徴抽出結果を統合し
て対象物の認識処理を実施する。

【００３４】請求項１５の発明では、相対位置関係が既
知の複数個の撮像手段を特定方向に向けて撮像を行わ
せ、各撮像手段からの画像を用いた３次元計測処理と、
少なくとも１つの撮像手段を用いた２次元計測処理とを
実施した後、観測位置より所定距離離れた地点までは３
次元計測結果を、その地点より遠方については２次元計
測結果を、それぞれ選択して対象物を認識する。

【００３５】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。この交通流計測装置は、道路
ＬＤの近傍に設置された支柱３の上方に２台のカメラ１
ａ，１ｂを、支柱３の下部側方位置に制御ボックス２
を、それぞれ設置して成るもので、制御ボックス２の内
部には、各カメラ１ａ，１ｂからの画像を取り込んで道
路上の車輌の動きを計測する制御装置５や、その計測結
果を管理センターなどに伝送するための伝送装置（図示
せず）などが組み込まれている。

【００３６】前記カメラ１ａ，１ｂは、それぞれ支柱３
上部に配備された水平棒４ａ，４ｂ上に道路ＬＤの長さ
方向に向けて設置されており、第１のカメラ１ａには広
角レンズが、第２のカメラ１ｂには望遠レンズが、それ
ぞれ取り付けられている。またカメラ１ａの光軸は、撮
像位置近傍に向けて設定される一方、カメラ１ｂの光軸
は、道路の遠方地点に向けて設定される。これによりカ
メラ１ａには、道路の長さ方向に対し撮像位置近傍を中
心とする広角視野が設定され、カメラ１ｂには、この広
角視野よりも遠方の地点を対象とする望遠視野が設定さ
れることになる。なお各カメラ１ａ，１ｂの視野は、そ
れぞれ一部分で重なり合うように設定される。

【００３７】図２（１）は、上記の視野設定により、カ
メラ１ａにより得られる画像の一例を、図２（２）は、
このカメラ１ａの画像と同じタイミングでカメラ１ｂに
より得られる画像を、それぞれ示す。なお図中ｒ１，ｒ
２は、各カメラ１ａ，１ｂの視野の重なり部分に対応す
る画像領域であって、Ｃ_a1とＣ_b1，Ｃ_a2とＣ_b2は、それ
ぞれ同じ車輌の画像を表している。

【００３８】前記制御装置５は、各カメラ１ａ，１ｂか
らの画像を所定の時間毎に取り込んで画像上の車輌の特
徴を抽出した後、これら抽出結果を統合して道路上の車
輌の位置を認識する。さらに制御装置５は、各処理時点
での認識結果を順次追跡することにより、道路上の車輌
の移動方向，移動速度などを把握し、交通流の計測結果
として出力する。

【００３９】図３は、制御装置５の構成例を示すもの
で、各カメラ１ａ，１ｂに対応する画像入力部６ａ，６
ｂ，車輌認識部７ａ，７ｂのほか、追跡結果記憶部８，
統合認識部９などを構成として含んでいる。前記画像入
力部６ａ，６ｂは、それぞれカメラ１ａ，１ｂからのア
ナログ量の画像データをディジタル変換するためのＡ／
Ｄ変換回路や、変換処理後のディジタル画像を記憶する
ための画像メモリを備えている。車輌認識部７ａ，７ｂ
は、それぞれ各画像入力部６ａ，６ｂに入力された画像
データを処理して、道路上の車輌の動きを認識するため
のもので、各車輌認識部７ａ，７ｂとも、背景画像記憶
部１０，差分処理部１１，２値化処理部１２，特徴抽出
部１３，特徴量モデル記憶部１４，認識処理部１５，追
跡処理部１６などを構成として含んでいる。

【００４０】図４は、前記制御装置５による認識処理の
一連の手順を示すもので、以下図５〜図１０を参照しな
がら図４の手順に沿って、上記各構成による処理の詳細
を説明する。なお、図４中の「ＳＴ」は各ステップを示
し、このうちステップ１〜６までの手順は、各車輌認識
部７ａ，７ｂで並列して行われる。

【００４１】各背景画像記憶部１０には、対応するカメ
ラ１ａ，１ｂの視野内に含まれる背景の画像が記憶され
ており、各画像入力部６ａ，６ｂに前記カメラ１ａ，１
ｂからの画像が取り込まれると、差分処理部１１は、こ
の入力画像と前記背景画像記憶部１０内の背景画像との
差分処理を実施する（ステップ１，２）。なおこの差分
処理結果は、黒色の車輌など差分値がマイナスの値にな
る特徴に対応できるように、各画像の対応する画素毎の
濃度差分値の絶対値により表される。図５（１）（２）
は、それぞれカメラ１ａ，１ｂの視野内の背景画像を示
すもので、ともに道路およびその近傍の画像が現れてい
る。

【００４２】上記差分処理により、各入力画像から背景
部分の濃度値が取り除かれると、２値化処理部１２は、
この差分画像を２値化処理する（ステップ３）。ついで
特徴抽出部１３は、この抽出結果に対し、黒画素が連続
する画像領域毎にラベル付け処理を行って、画像上の車
輌などの物体を表す特徴を抽出する（ステップ４）。

【００４３】図６（１）は前記第１のカメラ１ａからの
入力画像に対する特徴抽出結果を示すもので、前記ステ
ップ２〜４の処理により、４個の特徴Ｐ１，Ｐ２，Ｐ
３，Ｐ４が車輌候補として抽出されている。また図６
（２）は前記第２のカメラ１ｂからの入力画像に対する
特徴抽出結果を示すもので、同様の処理により、３個の
特徴ｐ１，ｐ２，ｐ３が抽出されている。

【００４４】つぎに各認識処理部１５は、処理対象の画
像につき、抽出された特徴が車輌に相当するものである
か否かを判定する（ステップ５）。図７は、前記図６
（１）に示した第１入力画像に対する特徴抽出結果のう
ち、特徴Ｐ１に対する車輌判別処理を示すもので、図６
（１）の点線で囲んだ領域ｒ内の画像を拡大して示して
ある。

【００４５】まず認識処理部１５は、抽出された特徴の
最下端部分を特徴抽出位置として設定し、この抽出位置
のｙ座標（図示例ではｙ₁）を計測するとともに、特徴
量として、前記特徴の最下端部分の幅ｗ，および特徴全
体のｙ軸方向の長さｈを計測する。前記特徴量モデル記
憶部１４には、複数の車種毎に、それぞれ入力画像上の
各ｙ座標の位置にその車輌が存在するときに画像上に現
れる特徴の最下端部分の幅ＭＷおよび特徴全体ＭＨの長
さが記憶されている（以下この記憶データを「モデル特
徴量」という）。認識処理部１５は、前記特徴量の計測
値ｗ，ｈをその抽出位置のｙ座標における各車種のモデ
ル特徴量と比較し、いずれかの車種にかかるモデル特徴
量ＭＷ，ＭＨおよび所定のしきい値ＴＨ_W，ＴＨ_Hに対
し、前記計測値ｗ，ｈがつぎの（１）式の関係にあると
き、この特徴部分は車輌を表すものと判断する。

【００４６】

【数１】

【００４７】また認識処理部１５には、入力画像の各ｙ
座標位置が実際の道路上のどの位置に対応するかを示す
変換テーブルがセットされており、上記の比較処理によ
り、車輌を示す特徴が特定されると、認識処理部１５
は、この特徴の抽出位置のｙ座標により前記変換テーブ
ルを参照して、この特徴の示す車輌の道路上における位
置を求め、追跡処理部１６へと出力する。ここで実際の
空間座標系として、例えば前記支柱３の設置位置を原点
とし、道路の幅方向をＸ軸，長さ方向をＺ軸，高さ方向
をＹ軸とする座標系を設定すると、前記入力画像上の特
徴の抽出位置のｙ座標は、この空間座標系のＺ座標に変
換されることになる。

【００４８】前記追跡処理部１６には、道路上の車輌の
位置を示すＺ座標を時間軸と対応づけて記憶するための
テーブルが設定されており、前記ステップ２〜５の処理
により抽出された車輌位置は、このテーブル上にプロッ
トされる。図８は、前記第１の車輌認識部７ａにおける
車輌の抽出結果の一例を示すもので、左側車線の車輌を
抽出対象とした結果、前記図６に示した２個の特徴部分
Ｐ１，Ｐ２が車輌として認識され、それぞれの抽出位置
のＺ座標Ｚ₁，Ｚ₂が処理時刻ｔ₁に対応づけてプロッ
トされている。

【００４９】ここまでの処理は、画像の取込み動作に応
じて実施され、車輌の抽出位置を示すＺ座標が前記テー
ブル上に順次プロットされる。追跡処理部１６は、各段
階で得られた抽出位置を、それぞれ前段階でその抽出位
置から所定距離内にあった抽出位置と対応づけることに
より、対応するカメラの視野内の車輌の動きを追跡する
（ステップ６）。

【００５０】図９（１）は、前記第１の車輌認識部７ａ
において、前記特徴Ｐ１，Ｐ２の示す車輌の抽出位置の
追跡結果（それぞれＰＴ１，ＰＴ２と示す）を示す。図
中、Ｚ_amaxは、カメラ１ａの視野に含まれる最後方の境
界地点（入力画像の最上段に相当する）を示すもので、
特徴Ｐ１に対応する車輌は時刻ｔ₇の時点で、また特徴
Ｐ３に対応する車輌は時刻ｔ₃の時点で、観測不可能と
なっている。

【００５１】図９（２）は前記第２の車輌認識部７ｂに
おける車輌抽出位置の追跡処理結果を示すもので、前記
図８，図９（１）と同様、左側車線の車輌を抽出対象と
している。図中、ｐｔ１，ｐｔ２は、それぞれ前記図６
（２）に示した各特徴のうち左側車線に対応する特徴ｐ
１，ｐ２の追跡結果である。またｐｔ３は、時刻ｔ₅に
おいて、カメラ１ｂの視野の前方境界地点Ｚ_bmin付近に
出現した車輌の追跡結果である。

【００５２】各車輌認識部の追跡処理部１６毎に得られ
た追跡結果は、追跡結果記憶部８へと格納される。統合
認識部９は、各追跡結果を統合して、最終的な交通流デ
ータを生成する（ステップ７）。

【００５３】図１０は、前記図９（１）（２）に示した
各追跡結果を統合したデータを示す。図中、Ｚ_bminから
Ｚ_amaxまでの範囲は、各カメラ１ａ，１ｂの視野にとも
に含まれる領域であるので、この領域内に位置する車輌
は、各車輌認識部７ａ，７ｂでともに抽出されることに
なる。

【００５４】図示例の場合、第１の車輌認識部７ａによ
る追跡結果ＰＴ２と、第２の車輌認識部７ｂによる追跡
結果ｐｔ１とは時刻ｔ₁，ｔ₂の時点で一致しており、
統合認識部９は、これら追跡結果ＰＴ２，ｐｔ１は同一
の車輌の動きを示すものと認識して両者を統合する。ま
た第１の車輌認識部７ａによる追跡結果ＰＴ１は、時刻
ｔ₅，ｔ₆の時点で、第２の車輌認識部７ｂにより新た
に抽出された特徴の追跡結果ｐｔ３と一致しており、こ
れらの追跡結果も同様に同一車輌の動きを示すものとし
て統合される。

【００５５】このように２台のカメラ１ａ，１ｂに、道
路の長さ方向に対し異なる視野を設定して撮像し、これ
らカメラ１ａ，１ｂからの画像を個別に処理して各視野
内における車輌の動きを追跡することにより、撮像位置
の近傍から遠方までの各地点に位置する車輌の位置を精
度良く観測して、各車輌の動きを正確に反映した交通流
データを得ることができる。

【００５６】なお上記実施例の制御装置は、各カメラ１
ａ，１ｂからの入力画像を並列的に処理するようにした
が、これに限らず、図１１に示すように、処理対象の入
力画像を交互に切り替えるように構成すれば、ハードウ
エア構成は大幅に削減される。

【００５７】図１１に示す制御装置５では、各カメラ１
ａ，１ｂからの画像を入力する画像入力部６ａ，６ｂと
各入力画像を処理する車輌認識部７との間に切替え部１
７が配備されるとともに、車輌認識部７の後段に、認識
結果記憶部１８および結果統合部１９が設けられてい
る。

【００５８】前記車輌認識部７は、前記図３の各車輌認
識部７ａ，７ｂから追跡処理部１６の機能のみを除いた
構成をとるもので、切替え部１７により交互に供給され
る各カメラ１ａ，１ｂからの画像に対し、それぞれ前記
図４のステップ２〜５と同様の処理を実行し、各カメラ
１ａ，１ｂの視野内における車輌位置を抽出する。

【００５９】認識結果記憶部１８には、前記図１０に示
したのと同様のテーブルが設定されており、前記各処理
時点における車輌位置の抽出結果は、このテーブル上に
順次プロットされる。図１２は、この記憶データの一例
であって、カメラ１ａからの入力画像に対する処理結果
（図中×印で示す）とカメラ１ｂからの入力画像に対す
る処理結果（図中・印で示す）とが、時間軸に沿って交
互にプロットされている。

【００６０】結果統合部１９は、このテーブル上の各点
を順次対応づけることにより、各車輌の動きを認識す
る。この場合、各カメラ１ａ，１ｂの視野の重なり部分
に対応するＺ_bminからＺ_amaxまでの範囲に含まれる抽出
結果は、１段階前の他方の視野における抽出結果と対応
づけられ、１台の車輌の動きとして統合される。

【００６１】ところで車輌のような３次元物体の特徴部
分を２次元画像上で抽出する場合、実際の車輌の画像部
分のみならず、車輌の影の画像が誤抽出される虞があ
る。そこでつぎの第３実施例では、各カメラからの画像
を道路面上へ透視変換した画像を用いて、車輌の立体形
状を反映した特徴部分のみを抽出することにより、上記
の問題を解決するようにしている。

【００６２】この透視変換画像は、カメラ１ａ，１ｂ毎
に、そのカメラにより撮像して得られた道路の画像に対
し、この画像を構成する各画素を、それぞれカメラの視
点とその画素の座標点とを通る直線と道路面との交点位
置に投影することにより得られるもので、あらかじめ車
輌を透視変換したときに得られる特徴をモデルデータと
して記憶しておき、入力画像の透視変換画像上で得られ
た特徴とこのモデルデータとを比較することにより、入
力画像上の車輌の特徴を精度良く抽出することができ
る。

【００６３】ここで、この透視変換処理を導入した制御
装置の具体的な構成を示す前に、この透視変換処理の原
理および変換処理の詳細な方法を説明する。この透視変
換処理は、あらかじめ定められた空間座標系（ここでは
前記第１，第２の実施例で用いたのと同様の空間座標系
を考える）に対するカメラ座標系の回転角度により決定
されるパラメータを用いて、入力画像上の各画素を前記
仮想水平面上の所定位置へと変換するものである。この
パラメータは、計測処理に先立ち、空間座標が既知の点
を用いたキャリブレーションによりカメラ座標系の回転
角度を算出した後、さらにこの算出結果を後記する（２
９）〜（３６）式にあてはめることにより算出される。

【００６４】図１３は、１台のカメラのカメラ座標系
（図中、ｘ_c，ｙ_c，ｚ_cの各軸で示される座標系）
と、前記した空間座標系（図中、Ｘ，Ｙ，Ｚの各軸で示
される座標系）との関係を示す。なおＯ_cはカメラの撮
像中心点であって、ここではカメラ座標系の原点に対応
するものとする。またＯは空間座標系の原点を、Ａは空
間中の任意の物点を、それぞれ示す。

【００６５】いま空間座標系のＸ，Ｙ，Ｚ各軸に対しカ
メラ座標系のｘ_c，ｙ_c，ｚ_c軸がそれぞれ角度α，
β，γだけ回転していると想定すると、点Ｏ_cの空間座
標を（Ｘ₀，Ｙ₀，Ｚ₀），点Ａの空間座標を（Ｘ_A，
Ｙ_A，Ｚ_A）としたときの点Ａのカメラ座標（ｘ₁，ｙ
₁，ｚ₁）は、これら回転角度α，β，γにより決定さ
れるパラメータｓ₁，ｓ₂，ｓ₃，ｔ₁，ｔ₂，ｔ₃，
ｕ₁，ｕ₂，ｕ₃に基づき、つぎの（２）〜（４）で表
される。なお上記各パラメータは、それぞれ（５）〜
（１３）式で表される。また前記ｘ₁，ｙ₁は、点Ａの
入力画像上の対応点Ａ´のｘ，ｙ座標に、ｚ₁はカメラ
の焦点距離Ｆに、それぞれ相当する。

【００６６】

【数２】

【００６７】

【数３】

【００６８】

【数４】

【００６９】

【数５】

【００７０】

【数６】

【００７１】

【数７】

【００７２】

【数８】

【００７３】

【数９】

【００７４】

【数１０】

【００７５】

【数１１】

【００７６】

【数１２】

【００７７】

【数１３】

【００７８】一方、直線Ｏ_cＡ，および道路ＬＤを含む
仮想水平面は、それぞれつぎの（１４）（１５）式によ
り表される。

【００７９】

【数１４】

【００８０】

【数１５】

【００８１】いま前記点Ａ´を含む画像を前記仮想水平
面上に透視変換するものとすると、点Ａ´は前記直線Ｏ
_cＡと仮想水平面との交点Ｂ（Ｘ_B，Ｙ_B，０）の位置
に投影される。したがって前記（１４）（１５）式よ
り、Ｘ_B，Ｙ_Bは、つぎの（１６）（１７）式で表され
る

【００８２】

【数１６】

【００８３】

【数１７】

【００８４】さらにＸ´＝Ｘ_A−Ｘ₀／Ｚ_A−Ｚ_{0 ,}Ｙ
´＝Ｙ_A−Ｙ₀／Ｚ_A−Ｚ₀，Ｚ´＝１／Ｚ_A−Ｚ₀と
おくと、前記（１）〜（４）式および（１６）（１７）
式は、それぞれ（１８）〜（２２）式に変形される。

【００８５】

【数１８】

【００８６】

【数１９】

【００８７】

【数２０】

【００８８】

【数２１】

【００８９】

【数２２】

【００９０】上記（１８）〜（２０）式よりＺ´を消去
することにより、Ｘ´，Ｙ´は、それぞれつぎの（２
３）（２４）式により表される。さらにこの（２３）
（２４）式を用いて前記（２１）（２２）式を変形する
ことにより、（２５）（２６）式が得られる。

【００９１】

【数２３】

【００９２】

【数２４】

【００９３】

【数２５】

【００９４】

【数２６】

【００９５】よって、前記Ｘ_B，Ｙ_Bは、（２９）〜
（３６）式により定義されるパラメータａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｈを用いた（２７）（２８）式により
算出される。

【００９６】

【数２７】

【００９７】

【数２８】

【００９８】

【数２９】

【００９９】

【数３０】

【０１００】

【数３１】

【０１０１】

【数３２】

【０１０２】

【数３３】

【０１０３】

【数３４】

【０１０４】

【数３５】

【０１０５】

【数３６】

【０１０６】したがって、カメラの撮像中心点Ｏ_cの空
間座標（Ｘ₀，Ｙ₀，Ｚ₀），キャリブレーションによ
り算出されたカメラ座標系の回転角度α，β，γ，およ
びカメラ３２の焦点距離Ｆを、前記（２９）〜（３６）
式に代入して各パラメータａ〜ｈを求めておき、カメラ
３２からの入力画像の各画素毎に、そのｘ，ｙ座標を前
記（２７）（２８）式にあてはめることにより、各画素
の投影点の座標を算出することができる。

【０１０７】このように、空間中の点Ａに対応する入力
画像上の点Ａ´を仮想水平面上に透視変換すると、この
点Ａにおける画像データは、カメラ中心点Ｏと点Ａとを
結ぶ直線と仮想水平面との交点に投影される。したがっ
てこの直線ＯＡの傾きが緩慢であるほど、仮想水平面上
の投影点は、点Ａを真上方向から透視した際の投影点
（すなわち点Ａのｘ，ｙ座標により特定される点）から
離れた場所に位置することになる。言い換えれば、点Ａ
が高い位置にあるほど、その投影点は、本来の点Ａのあ
るべき位置から離れた場所に位置するので、高さ成分を
有する対象物を透視変換したとき、実際の対象物を真上
位置より見た場合とは異なる大きさ，形状を有する特徴
が得られることになる。

【０１０８】一方、空間座標におけるＺ座標が０となる
点の画像データは、実際と同じ位置に投影されるため、
影など道路面上の２次元対象物は、透視変換後も、実際
の対象物を真上位置より見た場合と同様の大きさ，形状
の特徴を有する。

【０１０９】図１４（１）は、カメラからの入力画像の
一例であって、道路の車線を示す画像部分２０のほか
に、車輌の画像２１やその影の画像２２などが含まれて
いる。図１４（２）は、上記入力画像を前記水平面上に
透視変換した結果を示すもので、透視変換画像中、前記
車輌の画像２１の変換画像２１´の形状には、その高さ
成分を反映した歪みが現れている。これに対し、車線の
画像２０や影の画像２１の変換画像２０´，２２´の形
状は、実際の車線や影を真上位置から観察した結果と同
様になる。

【０１１０】図１５は、上記透視変換画像を用いた計測
処理を導入した制御装置５の構成を示すもので、各カメ
ラ１ａ，１ｂからの画像を入力するための画像入力部６
ａ，６ｂ，透視変換処理部２３ａ，２３ｂ，画像合成部
２４，車輌認識部２５などを構成として含んでいる。な
おカメラ１ａ，１ｂは、前記図１に示したのと同様の状
態で設置される。

【０１１１】透視変換処理部２３ａ，２３ｂには、それ
ぞれ各カメラ１ａ，１ｂからの画像の各構成画素につい
て、それぞれ上記（２７）〜（３６）式に示した変換式
により得られる透視変換先の座標を記憶するルックアッ
プテーブルが設けられており、前段の各画像入力部６
ａ，６ｂから画像データが供給されると、このルックア
ップテーブルを参照して各画素の投影先を特定し、透視
変換画像を生成する。画像合成部２４は、これら透視変
換処理部２３ａ，２３ｂにより生成された透視変換画像
を、座標位置をあわせて１枚の画像に合成するためのも
ので、合成処理後の画像は車輌認識部２５へと出力され
る。

【０１１２】車輌認識部２５は、前記第１の実施例の車
輌認識部７ａ，７ｂと同様の構成をとるもので、前記画
像合成部２４より供給された合成画像から車輌の特徴部
分を抽出し、その抽出結果を順次追跡することにより、
各カメラ１ａ，１ｂ毎の視野内に含まれる車輌の動きを
統合した交通流データを生成する。

【０１１３】図１６は、上記制御装置５による一連の手
順を示すもので、以下図１７〜１９を参照しつつ図１６
の手順に沿って認識処理の詳細な流れを説明する。まず
ステップ１で各カメラ１ａ，１ｂからの画像が画像入力
部６ａ，６ｂに入力されると、つぎのステップ２で、各
透視変換処理部２３ａ，２３ｂにより各入力画像の透視
変換処理が行われ、さらに続くステップ３で、画像合成
部２４による画像合成処理が実施される。

【０１１４】図１７（１）（２）は、それぞれカメラ１
ａ，１ｂにより同じタイミングで得られる入力画像
Ｉ_a，Ｉ_bを示すもので、前記図２（１）（２）に示し
た例と同様、各画像には、カメラ１ａ，１ｂの各視野が
重なる位置を走行する車輌を示す画像Ｃ_a3，Ｃ_b3が現れ
ている。

【０１１５】カメラ１ａからの広角視野内の画像を処理
する第１の透視変換処理部２３ａは、この広角視野の始
端（すなわち入力画像の最下端）を基準として、前記カ
メラ１ｂの視野の始端に対応する位置（図１７（１）中
のｙ座標がｙ_aとなる位置）に至るまでの画像領域Ｒ_a
に対する透視変換処理を実施する。他方、カメラ１ｂか
らの望遠視野内の画像を処理する第２の透視変換処理部
２３ｂは、カメラ１ｂの視野の始端から視野内の道路の
認識可能な位置（図１７（２）中のｙ座標がｙ_bとなる
位置）までの画像領域Ｒ_bに対する透視変換処理を実施
する。

【０１１６】図１７（３）は、前記図１７（１）（２）
に示した透視変換画像を合成処理した結果を示すもの
で、画像合成部２４は、前記カメラ１ｂの視野の始端に
対応するライン（図中点線で示す）を基準として、第１
の入力画像Ｉ_aの透視変換画像Ｈ_aを下に、第２の入力
画像Ｉ_bの透視変換画像Ｈ_bを上に配置して両者を貼り
合わせ、１枚の透視変換画像を生成する（以下これを
「合成透視変換画像」という）。この合成透視変換画像
は、カメラ１ａの視野の始端からカメラ１ｂの視野内の
道路確認可能な位置までの道路平面上における透視変換
結果を示すものとなり、生成された画像データは車輌認
識部２５へと出力される。

【０１１７】前記背景画像記憶部１０には、処理に先立
ち、この合成透視変換画像の表す領域内の背景部分が記
憶されており、ステップ３で前記画像合成部２４により
合成透視変換画像が生成されると、つぎのステップ４
で、差分処理部１１により、この合成透視変換画像と前
記背景画像との差分処理が行われる。さらにこの差分画
像には、２値化処理部１２による２値化処理と、特徴抽
出部１３によるラベル付け処理が施され、合成透視変換
画像上の車輌候補となる特徴が抽出される（ステップ
５，６）。

【０１１８】図１８は、前記背景画像記憶部１０に記憶
される背景画像であって、前記合成透視変換画像に対応
する領域の道路を真上から見た状態を示す画像が現れて
いる。また図１９は、前記図１７（３）に示した合成透
視変換画像と図１８の背景画像との差分画像に対する特
徴抽出結果を示すもので、車輌候補となる特徴Ｑ１，Ｑ
２が現れている。

【０１１９】特徴モデル記憶部１４には、複数種の車輌
の特徴モデルとして、それぞれその車輌が道路上の各位
置で撮像されて前記透視変換処理が行われた場合に、合
成透視変換画像上に現れる特徴のサイズや形状などが記
憶されている。認識処理部１５は、前記特徴抽出部によ
り抽出された各特徴をこれら特徴モデルと比較すること
により、前記抽出された特徴が車輌を表すものであるか
否かを判定する（ステップ７）。

【０１２０】追跡処理部１６は、合成透視変換画像上で
車輌と判定された特徴部分について、例えば重心点など
所定の代表点を車輌の抽出位置として特定し、この抽出
位置を、前記第１，第２の各実施例と同様、時間軸に沿
って追跡する。この場合、前記合成変換画像は、第１の
カメラ１ａの視野の手前位置から各カメラ１ｂの視野内
の道路認識可能な位置までの領域を捉えているので、車
輌が各カメラ１ａの視野からカメラ１ｂの視野へと移動
した状態を連続的に把握することが可能となる。しかも
一連の認識処理を２次元画像上で実施できるので、簡易
な構成で精度の高い交通流計測を行うことができる。

【０１２１】なおここまでの実施例は、いずれも各カメ
ラからの画像を用いて車輌の位置を認識し、その認識結
果の時間的な推移に基づき道路上の車輌の動きを計測す
るものでものであるが、この発明はこれに限らず、交差
点やパーキング口などにおける車列長の計測処理にも適
用することができる。

【０１２２】図２０は、交差点における車列計測装置の
設置例を示すもので、信号機用の支柱２９の上方位置に
１台のカメラ３０を取り付けて信号待ち方向を撮像する
とともに、支柱２９の下方位置に、制御装置３２や伝送
装置（図示せず）が収容された制御ボックス３１が配備
されている。

【０１２３】この実施例のカメラ３０には、ズームレン
ズ４２および電動式の俯角調整機構４３（ともに図２１
に示す）が取り付けられており、後記するように、制御
装置３２からの制御信号を受けてこれらの機構が作動す
ることにより、カメラ３０の視野を、撮像位置近傍を中
心とする広角視野またはこの広角視野よりも遠方位置を
中心とする望遠視野のいずれかに切り替えることができ
る。制御部３２は、この視野の切替え制御下のカメラ３
０から得られた画像を処理することにより、交差点に向
かって並ぶ車輌の列長さを計測する。

【０１２４】図２１は、前記制御装置３２の構成を示す
もので、画像入力部３３，差分処理部３４，背景画像記
憶部３５，２値化処理部３６，特徴抽出部３７，後尾判
定部３８，車列長計測部３９，レンズ制御部４０，角度
制御部４１などにより構成される。

【０１２５】画像入力部３３は、前記した各実施例と同
様、Ａ／Ｄ変換回路や画像メモリなどにより構成される
もので、カメラ３０に設定されている視野内の画像デー
タが入力される。図２２（１）は、前記カメラ３０に広
角視野が設定されているときに得られる画像の一例を、
図２２（２）は、図２２（１）と同じ撮像条件において
カメラ３０に望遠視野が設定されている場合に得られる
画像を、それぞれ示す。なおこの実施例の各視野は、殆
ど重ならずに、道路上の連続した領域を捉えるように設
定されている。

【０１２６】背景画像記憶部３５には、前記広角視野，
望遠視野について、それぞれ図２３（１）（２）に示す
ような背景画像が記憶されている。差分処理部３４は、
この背景画像記憶部からカメラ３０に現在設定されてい
る視野にかかる背景画像を取り出して、入力画像に対す
る差分処理を実行する。この差分処理後の画像には、前
記した各実施例と同様、２値化処理部３６による２値化
処理と特徴抽出部３７によるラベル付け処理とが施さ
れ、画像上の車輌候補となる特徴が抽出される。

【０１２７】図２４（１）は、前記図２２（１）に示し
た広角視野内の入力画像についての特徴抽出結果を、図
２４（２）は、前記図２２（２）に示した望遠視野内の
入力画像についての特徴抽出結果を、それぞれ示すもの
で、いずれの画像上でも車列が形成されている位置にお
いて、車輌の繋がりを示す特徴ＣＬ１，ＣＬ２が抽出さ
れている。

【０１２８】後尾判定部３８は、前記入力画像上の車列
の特徴の後尾位置を抽出するとととともに、その抽出位
置よりカメラの視野を切り替える必要があるか否かを判
断し、さらに視野の切替えが必要であると判断した場合
には、レンズ制御部４０および角度制御部４１に制御信
号を出力する。これによりレンズ制御部４０はズームレ
ンズ４２の焦点調節機構を、角度制御部４１はカメラ３
０の俯角調節機構４３を、それぞれ作動させ、カメラの
視野を切り替える。このようにしてカメラ３０の視野を
適宜切り替えながら車列の最後尾が確認されると、車列
長計測部により車列の列長さが計測され、計測結果とし
て出力される。

【０１２９】図２５は、前記制御装置における計測処理
の一連の流れを示すもので、以下、前記図２２（１）
（２）に示した入力画像を例にとって、車列長計測の詳
細な方法を説明する。

【０１３０】前記したように、画像入力部３３に入力さ
れた画像と背景画像との差分処理がなされた後、この差
分画像の２値化処理およびラベル付け処理が行われ、画
像上の車列候補となる特徴部分が抽出される（ステップ
１〜４）。後尾判定部３８は、この特徴抽出結果につい
て、道路の長さ方向に沿って繋がりのある特徴があるか
否かを判定し、そのような特徴部分が認められる場合に
は、さらにその特徴の後尾位置を抽出する（ステップ
５）。

【０１３１】つぎのステップ６で、後尾判定部３８は、
カメラ３０に現在設定されている視野を確認する。ここ
で広角視野が設定されていることが確認された場合には
ステップ７に、望遠視野が設定されていることが確認さ
れた場合にはステップ９に、それぞれ移行して、それぞ
れ視野内に車列の特徴が現れているか否かをチェックす
る。

【０１３２】いまカメラに広角視野が設定されて前記図
２２（１）に示した画像が入力されているものとする
と、前記ステップ１〜４の処理により図２４（１）に示
したような特徴抽出結果が得られる。これによりステッ
プ６，７がともに「ＹＥＳ」となってステップ８へと移
行し、前記特徴の後尾位置の座標が抽出される。このス
テップ８において、図２４（１）に示すように、後尾位
置のｙ座標が画像上のｙ座標の上限値ｙ_maxにあたる場
合には、後尾判定部３８は、この特徴の示す車列は望遠
視野の領域内まで繋がっているものと判断し、カメラ３
０の視野の切替えを実施する（ステップ１０）。

【０１３３】ステップ１０の処理によりカメラの視野が
広角視野から望遠視野に切り替えられると、ステップ１
へと戻り、以下前記と同様の処理を経てステップ９へと
到達する。ここで前記図２２（２）に示したような入力
画像が得られるものとすると、この入力画像から前記図
２４（２）に示したような特徴抽出結果が得られるの
で、このステップ９は「ＹＥＳ」となり、車列長計測部
３９による計測処理へと移行する（ステップ１１）。

【０１３４】なお前記ステップ８で、広角視野内におけ
る車列後尾位置のｙ座標が前記上限値ｙ_maxに達してい
ない場合には、視野の切替えは行われずにステップ１１
の車列長の計測処理へと移行する。また望遠視野内に車
列の特徴が認められなかった場合には、ステップ９が
「ＮＯ」となり、ステップ１０で広角視野への切替え制
御が行われる。他方、前記ステップ７が「ＮＯ」の場
合、すなわち広角視野内において、車列の特徴が認めら
れなかった場合には、視野の切替えは行われずにステッ
プ１へと戻り、以下、車列の特徴が認められるまで広角
視野における観測処理が継続される。

【０１３５】前記車列長は、いずれかの視野における画
像上で抽出された車列の最後尾位置を実際の地面上の座
標に変換した後、車列の先頭車輌の停止位置近傍の点
（ここでは図２０の点Ｓにより示す）を基準点として、
この基準点Ｓから前記変換された座標点までの距離Ｄを
求めることにより算出される。いま実際の空間におい
て、前記した各実施例と同様、支柱２９の設置位置を原
点Ｏとして、道路幅方向にＸ軸，道路長さ方向をＺ軸，
高さ方向をＹ軸とする空間座標系を設定すると、道路面
上の各点の位置はこの空間座標系のＸＺ平面上の座標と
して表される。

【０１３６】ここで図２６に示すように、カメラ３０の
原点Ｏからの高さをＨ，カメラ３０の焦点距離をＦ，俯
角をθと定義するとともに、入力画像のｘ，ｙ各軸方向
の画素数をＷＴ，ＨＴとおき、カメラ３０のＣＣＤ素子
の横方向，縦方向（それぞれカメラ座標系のｘ，ｙ軸方
向に対応する）の各サイズをＣＤ_w，ＣＤ_Hとおく。こ
のとき、カメラ３０からの画像上で抽出された車輌の最
後尾の点ＢＫの座標を（ｘ_BK，ｙ_BK）とすると、この点
ＢＫのＸＺ平面上への変換点の座標（Ｘ，Ｚ）は、つぎ
の（３７）（３８）式により求められる。なお前記パラ
メータのうち、Ｈ，Ｆ，θは、カメラ３０に設定されて
いる視野により変動する。またＶは、標準的な車輌の高
さを示す。

【０１３７】

【数３７】

【０１３８】

【数３８】

【０１３９】つぎにＸＺ平面上における点Ｓの座標を
（Ｘ_S，Ｚ_S）とすると車列長Ｄはつぎの（３９）式に
より算出される。

【０１４０】

【数３９】

【０１４１】なお上記実施例では、カメラ３０にズーム
レンズ４２と俯角調整機構４３とを取り付けて視野の切
替えを行っているが、これに限らず、図２７に示すよう
に、ズームレンズ４２のみを用いて視野を切り替えるよ
うにしても良い。

【０１４２】図２８（１）（２）は、前記図２７の構成
を用いた場合のカメラの視野の設定例を示すもので、図
２８（１）の広角視野は、撮像位置から遠方の道路消失
点に至るまでを範囲とするように設定されている。また
図２８（２）に示す望遠視野は、前記広角視野内の道路
消失点付近の領域４４を捉えたものである。

【０１４３】上記のような視野内の画像を処理する場
合、まずカメラ３０には図２８（１）の広角視野が設定
される。この視野内の画像上で車列を示す特徴が抽出さ
れると、その後尾位置が抽出され、さらにこの抽出され
た後尾位置が前記領域４４内に含まれる場合には、カメ
ラ３０の視野が望遠視野へと切り替えられ、後尾位置の
詳細な位置が計測される。この後、前記実施例と同様、
計測された後尾位置の道路平面上への変換点の座標を用
いて車列長Ｄが算出される。

【０１４４】このように車列の長さに応じてカメラの視
野を切り替え、車列の後尾位置を正確に計測することに
より、車列長の計測精度が向上し、道路の渋滞度合いを
精度良く認識することができる。なおここで用いられる
カメラは、２種類の視野のいずれかに切り替えるように
構成されているが、これに限らず、道路方向に対して連
続する複数の視野を自在に切り替えられるように構成し
てもよい。

【０１４５】なおこの車列計測装置に用いるカメラは１
台に限らず、前記した第１〜３の実施例のように、異な
る視野が設定された複数台のカメラを設置し、車列長に
応じて処理対象とするカメラを切り替えるように構成し
てもよい。また逆に上記カメラ３０を前記図１に示した
交通流計測装置に導入し、カメラ３０の視野を交互に切
り替えながら、各視野毎の画像もしくはその透視変換画
像上で車輌の特徴を抽出し、その結果を統合処理するこ
とも可能である。

【０１４６】このように特定方向における物体を認識す
る際に、この特定方向に複数の視野を設定し、各視野毎
の特徴抽出結果を統合的に認識するという処理は、道路
上の車輌に限らず、各種物体を認識対象とすることがで
きる。そこでつぎの実施例として、イベント会場のよう
な特定の場所への入場口付近で入場待ちをしている人の
動きを計測する装置（以下これを「人流計測装置」とい
う）を例にあげて、この発明のさらに異なる態様につい
て説明する。

【０１４７】図２９は、人流計測装置の設置例を示すも
ので、入場口４９の上方位置に２台のカメラ５０ａ，５
０ｂを設置するとともに、会場内部の所定位置に各カメ
ラ５０ａ，５０ｂからの画像データを処理するための制
御装置５２が配備されている。

【０１４８】各カメラ５０ａ，５０ｂは、焦点距離を等
しくするもので、図３０に示すように、ボックス形状の
ハウジング５１の内部に各光軸を平行に設定した状態で
収容配備されている。また設置位置においては、各カメ
ラ５０ａ，５０ｂが人の並び方向に向けて一定の俯角を
持って水平方向に並ぶように、ハウジング５１の取り付
け位置，角度が調整される。

【０１４９】図３１（１）（２）は、それぞれ各カメラ
５０ａ，５０ｂにより得られた画像の具体例であって、
いずれの画像にも入場口に向かって並ぶ人の画像Ｍ_LA〜
Ｍ_LD，Ｍ_RA〜Ｍ_RDが含まれている。なお以下の説明で
は、図３１（１）に示すカメラ５０ａからの入力画像Ｉ
_aを「第１入力画像Ｉ_a」、図３１（２）のカメラｂか
らの入力画像Ｉ_bを「第２入力画像Ｉ_b」と呼ぶものと
する。

【０１５０】前記制御装置は、図３２に示すように、各
カメラ５０ａ，５０ｂからの画像を入力するための画像
入力部５３ａ，５３ｂと、３次元および２次元の２個の
計測処理部５４，５５と、各計測処理部５４，５５によ
る計測結果を統合して外部に出力するための統合出力部
５６とにより構成される。３次元計測処理部５４は、各
カメラ５０ａ，５０ｂからの入力画像を用いて画像上に
現れた人間の特徴の３次元計測処理を実施するためのも
ので、エッジ抽出部５７，対応付け処理部５８，３次元
座標計測部５９，物体判定部６０などにより構成され
る。また２次元計測処理部５５は、一方のカメラ５０ａ
からの入力画像のみを用いて人間の特徴の２次元計測処
理を実施するためのもので、差分処理部６１，背景画像
記憶部６２，２値化処理部６３，削除処理部６４，特徴
抽出部６５，物体判定部６６などを構成として含んでい
る。

【０１５１】この制御装置５２では、前記３次元，２次
元の各計測処理部５４，５５による処理を並列して実行
して、それぞれのカメラ５０ａ，５０ｂが捉えた人間の
特徴を抽出し、その位置計測を行っており、後記するよ
うに、２次元計測部５５は、画像上で抽出した特徴のう
ち、３次元計測処理部５４による計測処理が行われなか
った特徴のみを計測対象として、その計測結果を出力す
る。統合出力部５６は、各計測処理部５４，５５により
得られた計測結果を時間軸に沿って統合して、各人物の
移動方向や移動速度などを示すデータ（以下これを「人
流データ」という）を作成し、ディスプレイや伝送装置
などの外部装置に出力する。

【０１５２】図３３は、前記制御装置５２における一連
の処理手順を示す。ステップ１の画像入力を受けると、
前記したように、各計測処理部５４，５５が同時に処理
を開始し、３次元計測処理部５４ではステップ２〜５の
処理が、２次元計測処理部５５ではステップ６〜１１の
処理が、それぞれ実行される。

【０１５３】まず図３４〜図３７を参照しつつ、３次元
計測処理部５４による詳細な処理の流れを説明する。な
おここで設定される空間座標は、入場口４９付近の所定
位置を原点Ｏとして、人の並び方向をＺ軸，並んだ人の
幅方向をＸ軸，高さ方向をＹ方向とするものとする。

【０１５４】まず特徴抽出部５７は、各画像入力部５３
ａ，５３ｂに入力された画像に対し、それぞれ図３４に
示すようなラプラシアンフィルタを走査して、ゼロクロ
ッシング点を抽出することにより、画像上の垂直方向に
おけるエッジ成分を抽出する（ステップ２）。この抽出
結果は、具体的には、エッジを構成する画素を黒画素と
する２値のエッジ画像として内部のメモリに記憶される
もので、つぎに対応付け処理部５８によりこれら各エッ
ジ画像間でのエッジ構成点の対応付け処理が行われる
（ステップ３）。

【０１５５】図３５（１）（２）は、前記対応付け処理
の具体例を示すもので、図３５（１）は第１のカメラ５
０ａからの入力画像Ｉ_aおよびそのエッジ画像Ｅ_a（以
下「第１エッジ画像Ｅ_a」という）を、図３５（２）は
第２のカメラｂからの入力画像Ｉ_bおよびそのエッジ画
像Ｅ_b（以下「第２エッジ画像Ｅ_b」という）を、それ
ぞれ示す。

【０１５６】ここで第１のカメラ５０ａに対応する第１
エッジ画像Ｅ_a上の任意のエッジ構成点Ｕ（ｘ_U，
ｙ_U）について、第２エッジ画像Ｅ_b上でこの点Ｕに対
応する点を検索する場合、対応付け処理部５８は、まず
第２エッジ画像Ｅ_b上で前記点ＵのエピポーララインＥ
Ｐ上に位置するエッジ構成点（図示例では点Ｖ₁，
Ｖ₂，Ｖ₃）を、前記点Ｕへの対応候補点として抽出す
る。なお前記したように、カメラ５０ａ，５０ｂは光軸
を平行にして横並びに配置されているので、エピポーラ
ラインＥＰはｙ軸に垂直な方向に設定されることにな
る。

【０１５７】つぎに対応付け処理部５８は、前記第１入
力画像Ｉ_a上の前記エッジ構成点Ｕの座標位置（ｘ_U，
ｙ_U）に、この点Ｕを中心とする所定大きさのウィンド
ウＷ_Uを設定するとともに、第２入力画像Ｉ_b上の前記
各点Ｖ₁，Ｖ₂，Ｖ₃の位置に、それぞれその点を中心
とする前記ウィンドウＷ_Uと同じ大きさのウィンドウＷ
_V1，Ｗ_V2，Ｗ_V3を設定し、つぎの（４０）式を用いてウ
ィンドウＷ_Uに対する各ウィンドウＷ_V1，Ｗ_V2，Ｗ_V3の
相違度ＤＦを算出する。ただし（４０）式において、ｇ
_U（ｉ，ｊ）は前記ウィンドウＷ_u内の所定の画素の輝
度値を、ｇ_Vk（ｉ，ｊ）は比較対照のウィンドウＷ
_Vk（ｋ＝１，２，３）内の対応画素の輝度値を、それぞ
れ示す。またｉ，ｊは１よりウィンドウのサイズ（ｘ軸
方向をＭ，ｙ軸方向をＮとする）に応じた値までの範囲
内で変動する変数である。

【０１５８】

【数４０】

【０１５９】対応付け処理部５８は、各ウィンドウＷ_Vk
毎に求められたウィンドウＷ_Uに対する相違度ＤＦを比
較して、この相違度ＤＦが最も小さくなるようなウィン
ドウを、前記ウィンドウＷ_Uに対応するものとして判別
する。そしてそのウィンドウの中心点に相当するエッジ
構成点を、前記第１エッジ画像のエッジ構成点Ｕへの対
応点として決定する。

【０１６０】図３６は、前記ウィンドウＷ_V1〜Ｗ_V3につ
いてウィンドウＷ_Uに対する相違度を算出した結果を示
す。この例ではウィンドウＷ_V1の相違度が最も小さくな
っており、したがって前記エッジ構成点Ｕに対する第２
エッジ画像上での対応点はＶ₁であるとみなされる。

【０１６１】上記の対応付け処理が、両エッジ画像内の
すべてのエッジ構成点について行われると、３次元座標
算出部５９は、この対応付け結果と三角測量の原理とを
用いて各エッジ構成点の表す物点の３次元座標を算出す
る（ステップ４）。いま第１エッジ画像上の点Ｕ
（ｘ_U，ｙ_U）に対する第２エッジ画像上の対応点Ｖの
座標を（ｘ_V，ｙ_U）とすると、これら点Ｕ，Ｖに対応
する空間中の物点の３次元座標（Ｘ，Ｙ，Ｚ）は、つぎ
の（４１）式により算出される。ただし（４１）式にお
いて、ＷＴ，ＨＴ，ＣＤ_W，ＣＤ_Hは、前記（３７）
（３８）式で定義したのと同様のパラメータであり、Ｂ
は基線長に相当する各カメラ間の距離である。

【０１６２】

【数４１】

【０１６３】なお上記の３次元座標の算出処理は、対応
する各エッジ構成点のｘ座標値の差（ｘ_U−ｘ_V）によ
り表される視差が所定のしきい値以上となる物点につい
てのみ行われるもので、これにより安定した計測結果が
得られる範囲内に位置する物体の３次元データが得られ
ることになる。

【０１６４】上記の３次元座標の算出処理が終了する
と、物体判定部６０は、得られた各３次元座標点の中か
ら人間の特徴を示すものとして、所定値以上の高さを有
する点（すなわちＹ座標値が所定のしきい値以上となる
点）を抽出し、これら各点のＸ，Ｚ座標をＸＺ平面上に
プロットする。さらに物体判定部６０は、これらプロッ
トされた点に対しクラスタリング処理を行って、所定の
距離内にある特徴点群毎にグループ分けし、これら各グ
ループの中心点などを１人の人物の位置データとして特
定する（ステップ５）。

【０１６５】図３７は、前記図３１（１）（２）の入力
画像についての３次元座標点の抽出結果をグループ分け
の結果とともに示すもので、各グループＭＧ_A，ＭＧ_B
は、撮像位置の手前に位置する２人の人物（図３１
（１）中の画像Ｍ_RA，Ｍ_RBおよび図３１（２）中の画像
Ｍ_LA，Ｍ_LBに相当する）を表している。なおこの判定結
果は、前記統合出力部５６のほか、２次元計測処理部５
５の領域削除部６４へと出力される。

【０１６６】つぎにステップ６〜１１の２次元計測処理
部５５による一連の処理を説明する。まずステップ６で
は、差分処理部６１により、カメラ５０ａからの入力画
像と背景画像記憶部６２に記憶された背景画像（図３８
に示す）との差分処理が行われた後、つぎのステップ７
で、２値化処理部６３によりこの差分処理画像の２値化
処理が実施される。

【０１６７】図３９は、前記図３１（１）に示した第１
入力画像Ｉ_aに対し、前記差分処理と２値化処理とを実
施した結果を示すもので、前記４人の人物の特徴ｍ_A，
ｍ_B，ｍ_C，ｍ_Dが抽出されている。

【０１６８】削除処理部６４は、この抽出結果から前記
３次元計測処理部５４による計測対に対応する特徴を削
除するためのもので、特徴抽出部６５は、この削除処理
後の２値画像上で前記したラベル付け処理を実行して、
人物を示す特徴を抽出する（ステップ８，９，１０）。
図４０は、前記図３５〜３７に示した３次元計測処理に
より得られた特徴点の３次元座標から導き出した２次元
データを示す。また図４０は、前記図３９の２値画像か
らこの図４０の画像を差し引き処理した結果であって、
３次元計測処理が行われなかった後方の２人の人物の特
徴ｍ_C，ｍ_Dのみが抽出される。

【０１６９】物体判定部６６は、この抽出結果に対し、
各特徴の重心などの代表点を人物の位置として特定した
後、この特定位置を前記第４の実施例の（３７）（３
８）式を用いてＸＺ平面上の座標に変換し、その結果を
統合出力部５６へと出力する（ステップ１１）。

【０１７０】こうして３次元，２次元の各計測処理が終
了すると、統合出力部５６は、これら計測結果から各人
物の位置を特定し、その特定結果を用いて各人物の動き
を示す人流データを生成し、外部へと出力する（ステッ
プ１２）。図４２は、前記各入力画像Ｉａ，Ｉｂ上に現
れた４人の人物それぞれについて、ＸＺ平面上における
位置の変化を示すデータＭ_A〜Ｍ_Dを示したもので、こ
れら各データＭ_A〜Ｍ_Dにより各人物の動きや移動速度
などを認識することができる。なお３次元計測処理に基
づく人物の位置は、前記特徴点群の中心点などをもって
特定されるものとする。

【０１７１】このように、撮像位置から見て信頼度の高
い３次元計測値の得られる範囲内に範囲内においては３
次元計測結果を採用し、この範囲より遠方の地点につい
ては２次元計測結果を採用することにより、３次元計測
処理の信頼性が低下する地点での計測処理を２次元計測
処理により肩代わりでき、広い範囲にわたって精度の良
い観測を行うことができる。しかも時間の流れに沿っ
て、各計測結果を対応づけるので、２次元計測処理にお
いて複数の人物の特徴が１人の人物の特徴として誤認識
されることがあっても、３次元計測結果との関連づけに
よりその認識結果を修正することができ、いずれか一方
の計測処理を用いるよりもはるかに精度の良い認識処理
を行うことができる。

【０１７２】

【発明の効果】請求項１の発明では、観測位置から特定
方向に対し、複数の視野を設定し、各視野毎に得られた
画像上で抽出された特徴部分を統合して対象物を認識す
るので、観測位置の近傍位置と遠方位置とをそれぞれ別
の視野内で観測してその結果を統合することにより、従
来よりもはるかに広い範囲で対象物を精度良く認識する
ことができる。

【０１７３】請求項２の発明では、特定方向に対し、複
数個の撮像手段を用いた３次元計測処理と少なくとも１
つの撮像手段を用いた２次元計測とを実施し、これら抽
出結果を統合するので、３次元計測処理では信頼性の低
くなる地点の処理を２次元計測処理により補うことがで
き、従来の３次元計測処理よりもはるかに広い範囲で対
象物を精度良く認識できる。

【０１７４】請求項３の発明では、前記請求項２の認識
処理において、前記観測位置より所定の地点までの特徴
抽出結果については前記３次元計測結果を優先的に採用
し、それ以降の地点における特徴抽出結果については前
記２次元計測結果を採用するので、３次元計測処理では
対象物を正確に認識できない遠方の地点までを認識可能
な範囲に含むことができる。

【０１７５】請求項４の発明では、請求項１，２のいず
れかの方法により、前記特定方向における対象物の位置
を遠方地点まで精度良く認識できる。また請求項５の発
明では特定方向に並ぶ対象物の列長さを、請求項６の発
明では特定方向における対象物の動きあるいは流れを、
観測位置近傍から遠方に至るまで正確に認識することが
できる。

【０１７６】請求項７の発明では、複数個の撮像手段の
視野を、それぞれ観測位置から特定方向に対し異なるよ
うに設定して撮像を行い、各撮像手段からの画像毎に抽
出された特徴部分を統合するので、前記請求項１と同
様、広い範囲で精度の高い認識処理を実施することがで
きる。

【０１７７】請求項８の発明では、各撮像手段からの画
像に対する特徴処理を、所定の時間毎に切り替えて実施
するので、装置構成が簡易化される。

【０１７８】請求項９の発明では、請求項７と同様の状
態で観測位置に複数個の撮像手段を設置し、各撮像手段
からの画像をそれぞれ対象物の支持面を含む仮想水平面
上に投影して特徴部分を抽出するので、対象物の影など
認識対象以外の特徴部分を誤抽出することがなくなり、
認識精度が大幅に向上する。

【０１７９】請求項１０の発明では、前記各透視変換画
像を１枚の画像に合成した後、この合成画像上で対象物
の特徴部分の抽出処理を行うので、装置構成が簡易化さ
れる上、処理速度を向上することができる。

【０１８０】請求項１１の発明では、異なる視野が設定
された複数個の撮像手段のいずれかから画像を取り込
み、この取り込まれた画像上での特徴抽出を行いつつ、
その抽出結果に基づき画像を取り込む撮像手段を切り替
え制御する。この結果、各入力画像毎に得られた特徴抽
出結果を統合して対象物の認識処理を行うので、前記特
定方向における対象物の位置に応じた画像を用いて精度
の良い認識処理を実施することができる。

【０１８１】請求項１２の発明では、観測位置におい
て、前記特定方向に対し複数の視野を設定可能な撮像手
段を設置し、この撮像手段をその視野を所定の時間毎に
切り替えて撮像させ、各視野毎の画像上での特徴抽出結
果を統合して認識処理を行うので、単独の撮像手段を用
いて遠方地点までを精度良く認識することが可能とな
る。

【０１８２】請求項１３の発明では、請求項１２と同
様、撮像手段の視野を所定の時間毎に切り替えて撮像さ
せ、各視野毎の画像を、前記請求項９の発明と同様、対
象物の支持面を含む仮想水平面上に透視変換し、特徴の
抽出処理を行うので、対象物の影などの特徴を誤抽出す
ることなく、認識精度を大幅に向上できる。

【０１８３】請求項１４の発明では、請求項１２と同様
の撮像手段を観測位置に設置し、この撮像手段からの画
像上での特徴抽出結果に応じてその視野を切り替えつ
つ、各視野毎の特徴抽出結果を統合して認識処理を行う
ので、前記請求項１１と同様、前記特定方向における対
象物の位置に応じた視野を設定して、精度の良い認識を
行うことが可能となる。

【０１８４】請求項１５の発明では、相対位置関係が既
知の複数個の撮像手段を特定方向に向けて撮像を行わ
せ、各撮像手段からの画像を用いた３次元計測処理と、
少なくとも１つの撮像手段を用いた２次元計測処理とを
実施した後、観測位置より所定距離離れた地点までは３
次元計測結果を、その地点より遠方については２次元計
測結果を、それぞれ選択して対象物を認識するので、３
次元計測による特徴抽出精度が悪くなる遠方の地点にお
いても、２次元計測結果を用いて対象物を精度良く認識
することができる。また特に移動する物体に対し時間に
沿った認識処理を行う場合には、遠方位置での２次元計
測処理により複数の物体が単体として誤認識されること
があっても、後の３次元計測結果との関連づけによりそ
の誤認識を修正することができるなど、いずれか一方の
計測処理を用いるよりもはるかに精度の良い認識処理を
行うことができる。

【図面の簡単な説明】

【図１】この発明が適用された交通流計測装置の設置例
を示す説明図である。

【図２】各カメラからの入力画像を示す説明図である。

【図３】図１の交通流計測装置に用いられる制御装置の
構成例を示すブロック図である。

【図４】図３の制御装置における処理手順を示すフロー
チャートである。

【図５】各入力画像の差分処理に用いられる背景画像を
示す説明図である。

【図６】図２（１）（２）の各入力画像に対する特徴抽
出結果を示す説明図である。

【図７】車輌判別処理の方法を示す説明図である。

【図８】車輌位置の抽出結果をＸＺ平面上にプロットし
た状態を示す説明図である。

【図９】各入力画像毎の車輌位置の追跡処理結果を示す
説明図である。

【図１０】図９の追跡処理結果を統合した状態を示す説
明図である。

【図１１】制御装置の他の構成例を示すブロック図であ
る。

【図１２】図１１の制御装置における追跡処理結果を示
す説明図である。

【図１３】透視変換処理にかかるカメラ座標系と空間座
標系との関係を示す説明図である。

【図１４】入力画像およびその透視変換画像を示す説明
図である。

【図１５】透視変換処理が導入された制御装置の構成を
示すブロック図である。

【図１６】図１５の制御装置における処理手順を示すフ
ローチャートである。

【図１７】各カメラからの入力画像、および合成透視変
換画像の生成方法を示す説明図である。

【図１８】合成透視変換画像の差分処理に用いられる背
景画像を示す説明図である。

【図１９】図１７（３）の合成透視変換画像上における
特徴抽出結果を示す説明図である。

【図２０】この発明が適用された車列計測装置の設置例
を示す説明図である。

【図２１】図２０の車列計測装置に用いられるカメラお
よび制御装置の構成例を示すブロック図である。

【図２２】各カメラからの入力画像を示す説明図であ
る。

【図２３】図２２の入力画像の差分処理に用いられる背
景画像を示す説明図である。

【図２４】図２２の入力画像に対する特徴抽出結果を示
す説明図である。

【図２５】図２１の制御装置における処理手順を示すフ
ローチャートである。

【図２６】カメラの撮像系と空間座標系との関係を示す
説明図である。

【図２７】図２０の車列計測装置に用いられるカメラお
よび制御装置の他の構成例を示すブロック図である。

【図２８】図２７の制御装置が導入された場合のカメラ
の視野の設定例を示す説明図である。

【図２９】この発明が適用された人流計測装置の設置例
を示す説明図である。

【図３０】図２９の人流計測装置に導入されるカメラの
配置構成を示す説明図である。

【図３１】各カメラからの入力画像を示す説明図であ
る。

【図３２】図２９の人流計測装置に導入される制御装置
の構成を示すブロック図である。

【図３３】図３２の制御装置における処理手順を示すフ
ローチャートである。

【図３４】ラプラシアンフィルタの構成を示す説明図で
ある。

【図３５】エッジ構成点の対応付け処理の原理を示す説
明図である。

【図３６】エッジ構成点の対応付け処理の原理を示す説
明図である。

【図３７】３次元計測結果を示す説明図である。

【図３８】入力画像の差分処理に用いられる背景画像を
示す説明図である。

【図３９】図３１の入力画像に対する特徴抽出結果を示
す説明図である。

【図４０】３次元計測処理の処理対象となった特徴を示
す説明図である。

【図４１】図３９の特徴抽出結果から図４０に示した特
徴を差し引き処理した結果を示す説明図である。

【図４２】３次元計測処理と２次元計測処理とを統合し
て追跡処理を行った結果を示す説明図である。

【符号の説明】

１ａ，１ｂ，３０，５０ａ，５０ｂカメラ５，３１，５２制御装置７ａ，７ｂ，７，２５車輌認識部９統合認識部１９結果統合部２３ａ，２３ｂ透視変換処理部２４画像合成部３８後尾判定部４０レンズ制御部４１角度制御部４２ズームレンズ４３俯角調整機構５４３次元計測処理部５５２次元計測処理部５６統合出力部

Claims

【特許請求の範囲】

【請求項１】所定の観測位置から特定方向を観測して
前記特定方向における対象物を認識する方法において、前記観測位置から特定方向に対し複数の視野を設定して
撮像し、各視野毎に、前記撮像により得られた画像を用
いてそれぞれ対象物を示す特徴を抽出した後、これら抽
出結果を統合して対象物の認識処理を実施することを特
徴とする物体認識方法。
【請求項２】所定の観測位置から特定方向を観測して
前記特定方向における対象物を認識する方法において、前記観測位置に相対位置関係が既知の複数個の撮像手段
を前記特定方向に向けて設置し、各撮像手段からの画像
を用いて対象物にかかる３次元計測処理を行うととも
に、少なくとも１つの撮像手段からの画像を用いて対象
物にかかる２次元計測処理を実施し、これら計測結果を
統合して対象物の認識処理を実施することを特徴とする
物体認識方法。
【請求項３】前記認識処理において、前記観測位置よ
り所定距離だけ離れた地点までは前記３次元計測結果を
優先的に採用し、この地点より遠方については前記２次
元計測を優先的に採用する請求項２に記載された物体認
識方法。
【請求項４】前記認識処理は、前記特定方向における
対象物の位置を認識する処理である請求項１または２に
記載された物体認識方法。
【請求項５】前記認識処理は、前記特定方向に並ぶ対
象物の列長さを認識する処理である請求項１または２に
記載された物体認識方法。
【請求項６】前記認識処理は、前記特定方向における
対象物の動きあるいは流れを認識する処理である請求項
１または２に記載された物体認識方法。
【請求項７】所定の観測位置から特定方向を観測して
前記特定方向における対象物を認識する装置であって、前記観測位置に設置され、前記特定方向に対しそれぞれ
異なる視野が設定されて成る複数個の撮像手段と、前記各撮像手段からの画像に対し、それぞれその画像上
で対象物を示す特徴を抽出する特徴抽出手段と、各画像に対する特徴抽出結果を統合して前記特定方向に
おける対象物の認識処理を実施する認識手段とを具備し
て成る物体認識装置。
【請求項８】前記特徴抽出手段は、前記各撮像手段か
らの画像に対する特徴抽出処理を、所定の時間毎に切り
替えて実施する請求項７に記載された物体認識装置。
【請求項９】所定の観測位置から特定方向を観測して
前記特定方向における対象物を認識する装置であって、前記観測位置に設置され、前記特定方向に対しそれぞれ
異なる視野が設定されて成る複数個の撮像手段と、前記各撮像手段からの画像をそれぞれ対象物の支持面を
含む仮想水平面上に透視変換する透視変換手段と、前記透視変換手段により生成された各透視変換画像上で
それぞれ対象物を示す特徴を抽出する特徴抽出手段と、各透視変換画像毎の特徴抽出結果を統合して前記特定方
向における対象物を認識する認識手段とを具備して成る
物体認識装置。
【請求項１０】前記特徴抽出手段は、前記各透視変換
画像を合成して１枚の画像を生成した後、この合成画像
上で対象物を示す特徴の抽出処理を実施する請求項９に
記載された物体認識装置。
【請求項１１】所定の観測位置から特定方向を観測し
て前記特定方向における対象物を認識する装置であっ
て、前記観測位置に設置され、前記特定方向に対しそれぞれ
異なる視野が設定されて成る複数個の撮像手段と、いずれかの撮像手段の画像を取り込む画像入力手段と、前記画像入力手段に取り込まれた画像上で対象物を示す
特徴を抽出する特徴抽出手段と、前記特徴抽出手段の抽出結果に基づき前記画像入力手段
の画像入力元の撮像手段を切替え制御する切替え制御手
段と、前記切替え制御下で得られた各入力画像毎の特徴抽出結
果を統合して前記特定方向における対象物の認識処理を
実施する認識手段とを具備して成る物体認識装置。
【請求項１２】所定の観測位置から特定方向を観測し
て前記特定方向における対象物を認識する装置であっ
て、前記観測位置に設置され、前記特定方向に対し複数の視
野を設定可能な撮像手段と、前記撮像手段の視野を所定の時間毎に切替え制御する視
野制御手段と、各視野毎に得られた画像上でそれぞれ対象物を示す特徴
を抽出する特徴抽出手段と、各視野毎の特徴抽出結果を統合して前記特定方向におけ
る対象物を認識する認識手段を具備して成る物体認識装
置。
【請求項１３】所定の観測位置から特定方向を観測し
て前記特定方向における対象物を認識する装置であっ
て、前記観測位置に設置され、前記特定方向に対し複数の視
野を設定可能な撮像手段と、前記撮像手段の視野を所定の時間毎に切替え制御する視
野制御手段と、各視野毎に得られた画像をそれぞれ対象物の支持面を含
む仮想水平面上に透視変換する透視変換手段と、前記透視変換手段により生成された各透視変換画像上で
それぞれ対象物を示す特徴を抽出する特徴抽出手段と、各視野毎の特徴抽出結果を統合して前記特定方向におけ
る対象物を認識する認識手段を具備して成る物体認識装
置。
【請求項１４】所定の観測位置から特定方向を観測し
て前記特定方向における対象物を認識する装置であっ
て、前記観測位置に設置され、前記特定方向に対し複数の視
野を設定可能な撮像手段と、前記撮像手段により得られた画像上で対象物を示す特徴
を抽出する特徴抽出手段と、前記特徴抽出手段の抽出結果に基づき前記撮像手段の視
野を切替え制御する視野制御手段と、前記切替え制御下で得られた各視野毎の特徴抽出結果を
統合して前記特定方向における対象物の認識処理を実施
する認識手段とを具備して成る物体認識装置。
【請求項１５】所定の観測位置から特定方向を観測し
て前記特定方向における対象物を認識する装置であっ
て、前記観測位置に特定方向に向けて設置され、相対的な位
置関係が既知の複数個の撮像手段と、前記各撮像手段からの画像を用いた３次元計測処理を実
施する３次元計測処理手段と、少なくとも１つの撮像手段からの画像を用いた２次元計
測処理を実施する２次元計測処理手段と、前記３次元計測処理手段による計測結果のうち、前記観
測位置から所定距離離れた地点までに計測された結果を
選択するとともに、前記２次元計測処理手段による計測
結果の中から、前記３次元計測結果が選択された地点よ
りも遠方の地点に対応する計測結果を選択し、これら選
択された計測結果を統合して前記特定方向における対象
物の認識処理を実施する認識手段とを具備して成る物体
認識装置。