JPH1055446A - 物体認識装置 - Google Patents
物体認識装置Info
- Publication number
- JPH1055446A JPH1055446A JP8227684A JP22768496A JPH1055446A JP H1055446 A JPH1055446 A JP H1055446A JP 8227684 A JP8227684 A JP 8227684A JP 22768496 A JP22768496 A JP 22768496A JP H1055446 A JPH1055446 A JP H1055446A
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- vehicle
- perspective
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 ３次元対象物を高精度で認識する。
【解決手段】 道路を上方から撮像し、その撮像結果を
画像入力部１に入力する。透視変換処理部２は、この入
力画像を道路を含む仮想水平面上に透視変換する。特徴
点抽出部５がこの透視変換画像上の特徴点を抽出する
と、推定部６は、その抽出結果をモデル記憶部７内の車
輌モデルと対応づけして、車輌が仮想水平面上のどの位
置にどの方向を向いて存在するかを推定する。モデル座
標変換部８は、前記推定部６の推定結果に基づき、前記
車輌モデルの各構成点の前記仮想水平面上への透視変換
先の座標を算出する。マッチング処理部９は、前記特徴
点の抽出結果と車輌モデルの各構成点の投影結果を用い
て透視変換画像上の特徴と車輌モデルの変換結果との相
違度を算出するもので、判定部１０は、この算出結果を
用いて、抽出された各特徴点が車輌に相当するものであ
るか否かを判別する。
画像入力部１に入力する。透視変換処理部２は、この入
力画像を道路を含む仮想水平面上に透視変換する。特徴
点抽出部５がこの透視変換画像上の特徴点を抽出する
と、推定部６は、その抽出結果をモデル記憶部７内の車
輌モデルと対応づけして、車輌が仮想水平面上のどの位
置にどの方向を向いて存在するかを推定する。モデル座
標変換部８は、前記推定部６の推定結果に基づき、前記
車輌モデルの各構成点の前記仮想水平面上への透視変換
先の座標を算出する。マッチング処理部９は、前記特徴
点の抽出結果と車輌モデルの各構成点の投影結果を用い
て透視変換画像上の特徴と車輌モデルの変換結果との相
違度を算出するもので、判定部１０は、この算出結果を
用いて、抽出された各特徴点が車輌に相当するものであ
るか否かを判別する。
Description
【０００１】
【産業上の利用分野】この発明は、所定の観測位置にお
いて３次元対象物を認識するのに用いられる物体認識装
置に関連する。
いて３次元対象物を認識するのに用いられる物体認識装
置に関連する。
【０００２】
【従来の技術】一般に、３次元対象物の認識は、対象物
を撮像して得た画像と所定のモデルの３次元形状（以下
これを「３次元モデル」という）とを比較することによ
り行われる。
を撮像して得た画像と所定のモデルの３次元形状（以下
これを「３次元モデル」という）とを比較することによ
り行われる。
【０００３】上記の比較処理の一方法として、観測位置
を撮像して得られた画像から対象物の３次元形状を抽出
し、この抽出結果と３次元モデルとを比較することが提
案されている（以下、この方法を「３次元マッチング方
法」という）。この方法において対象物の３次元形状を
抽出するには、２台以上のカメラを観測位置に向けて同
時に撮像するか、または１台のカメラにより観測位置を
複数方向から連続的に撮像し、得られた各画像間で特徴
点の対応づけを行って各特徴点毎の３次元座標を算出す
る必要がある。
を撮像して得られた画像から対象物の３次元形状を抽出
し、この抽出結果と３次元モデルとを比較することが提
案されている（以下、この方法を「３次元マッチング方
法」という）。この方法において対象物の３次元形状を
抽出するには、２台以上のカメラを観測位置に向けて同
時に撮像するか、または１台のカメラにより観測位置を
複数方向から連続的に撮像し、得られた各画像間で特徴
点の対応づけを行って各特徴点毎の３次元座標を算出す
る必要がある。
【０００４】上記の３次元マッチング方法の他に、１台
のカメラにより１方向から撮像された画像を用いて、対
象物とモデルとの２次元データを比較する方法も提案さ
れている（以下、この方法を「２次元マッチング方法」
という）。この場合は、まずカメラにより撮像された画
像上で対象物を示す特徴が抽出された後、この抽出結果
に基づき、対象物がどの位置にどの方向を向いて配置さ
れているかが推定される。さらに前記３次元モデルがそ
の推定結果に基づく位置、方向に配置されているときの
撮像画像を想定して、その仮想画像上の特徴点の２次元
座標を算出し、この算出結果と実際の入力画像上の特徴
点の座標とが比較される。
のカメラにより１方向から撮像された画像を用いて、対
象物とモデルとの２次元データを比較する方法も提案さ
れている（以下、この方法を「２次元マッチング方法」
という）。この場合は、まずカメラにより撮像された画
像上で対象物を示す特徴が抽出された後、この抽出結果
に基づき、対象物がどの位置にどの方向を向いて配置さ
れているかが推定される。さらに前記３次元モデルがそ
の推定結果に基づく位置、方向に配置されているときの
撮像画像を想定して、その仮想画像上の特徴点の２次元
座標を算出し、この算出結果と実際の入力画像上の特徴
点の座標とが比較される。
【０００５】
【発明が解決しようとする課題】上記各方法のうち、３
次元マッチング方法を用いる場合には、入力画像毎に画
像処理機構を設ける必要がある上、複数台のカメラを用
いる場合には各カメラ毎に照明装置が、単独のカメラを
用いる場合にはカメラの移動機構が、それぞれ必要とな
る。このためハードウエア構成が複雑化し、コストが増
大するという問題が生じる。さらに３次元座標の算出処
理や３次元空間上でのマッチング処理は複雑であるた
め、処理に多大な時間がかかるという問題も存在する。
次元マッチング方法を用いる場合には、入力画像毎に画
像処理機構を設ける必要がある上、複数台のカメラを用
いる場合には各カメラ毎に照明装置が、単独のカメラを
用いる場合にはカメラの移動機構が、それぞれ必要とな
る。このためハードウエア構成が複雑化し、コストが増
大するという問題が生じる。さらに３次元座標の算出処
理や３次元空間上でのマッチング処理は複雑であるた
め、処理に多大な時間がかかるという問題も存在する。
【０００６】これに対し、２次元マッチング方法を用い
る場合、１種類の入力画像を用いることにより撮像装置
にかかる負担を軽くすることができる。しかしながら前
記３次元モデルの各特徴点を２次元画像上に変換するに
は、前記対象物について推定位置のｘ，ｙ，ｚ座標のみ
ならず、対象物の推定された配置方向が３次元モデルの
基準の配置方向に対し、ｘ，ｙ，ｚの各軸方向において
それぞれどれだけ回転しているかを考慮する必要があ
る。したがってその変換処理は、３次元モデルの各構成
点毎に、前記推定結果から割り出されるｘ，ｙ，ｚ座標
および３方向における回転角度という６種類のパラメー
タを用いた演算を行う必要があり、やはり処理時間が膨
大なものとなる。
る場合、１種類の入力画像を用いることにより撮像装置
にかかる負担を軽くすることができる。しかしながら前
記３次元モデルの各特徴点を２次元画像上に変換するに
は、前記対象物について推定位置のｘ，ｙ，ｚ座標のみ
ならず、対象物の推定された配置方向が３次元モデルの
基準の配置方向に対し、ｘ，ｙ，ｚの各軸方向において
それぞれどれだけ回転しているかを考慮する必要があ
る。したがってその変換処理は、３次元モデルの各構成
点毎に、前記推定結果から割り出されるｘ，ｙ，ｚ座標
および３方向における回転角度という６種類のパラメー
タを用いた演算を行う必要があり、やはり処理時間が膨
大なものとなる。
【０００７】このように３次元モデルを用いたマッチン
グ処理は困難であるため、実用化レベルでは、３次元モ
デルを撮像するなどしてそのモデルの観察結果を示す２
次元モデルを設定しておき、この２次元モデルにより対
象物の画像を照合して認識処理を行うようにしている。
しかしながらこの場合、対象物が３次元モデルの基準の
配置方向に対して回転ずれしていると、入力画像と２次
元モデルとの一致度合いは低くなり、認識精度が著しく
悪くなるという問題が発生する。
グ処理は困難であるため、実用化レベルでは、３次元モ
デルを撮像するなどしてそのモデルの観察結果を示す２
次元モデルを設定しておき、この２次元モデルにより対
象物の画像を照合して認識処理を行うようにしている。
しかしながらこの場合、対象物が３次元モデルの基準の
配置方向に対して回転ずれしていると、入力画像と２次
元モデルとの一致度合いは低くなり、認識精度が著しく
悪くなるという問題が発生する。
【０００８】この発明は上記問題点に着目してなされた
もので、３次元対象物を撮像して得られた２次元画像
を、この対象物の支持面を含む仮想水平面上に透視変換
し、この透視変換画像を、所定の３次元モデルを同様に
透視変換して得られる結果と比較することにより、３次
元対象物を高精度で認識することを技術課題とする。
もので、３次元対象物を撮像して得られた２次元画像
を、この対象物の支持面を含む仮想水平面上に透視変換
し、この透視変換画像を、所定の３次元モデルを同様に
透視変換して得られる結果と比較することにより、３次
元対象物を高精度で認識することを技術課題とする。
【０００９】
【課題を解決するための手段】請求項１の発明にかかる
物体認識装置は、所定の観測位置における２次元画像を
入力する画像入力手段と、前記画像入力手段により入力
された画像を、対象物の支持面を含む仮想水平面上に透
視変換する画像変換手段と、認識対象物の３次元モデル
が前記支持面上に配置された状態を前記仮想水平面上に
透視変換した結果を、透視変換のモデル画像として設定
するモデル画像設定手段と、前記モデル画像を前記入力
画像の透視変換結果と照合して、前記観測位置における
対象物の有無を判別する判別手段とを備えている。
物体認識装置は、所定の観測位置における２次元画像を
入力する画像入力手段と、前記画像入力手段により入力
された画像を、対象物の支持面を含む仮想水平面上に透
視変換する画像変換手段と、認識対象物の３次元モデル
が前記支持面上に配置された状態を前記仮想水平面上に
透視変換した結果を、透視変換のモデル画像として設定
するモデル画像設定手段と、前記モデル画像を前記入力
画像の透視変換結果と照合して、前記観測位置における
対象物の有無を判別する判別手段とを備えている。
【００１０】請求項２の発明にかかる物体認識装置は、
請求項１と同様の画像入力手段，画像変換手段を具備す
るほか、画像変換手段により透視変換された画像を用い
て前記支持面における対象物の位置および配置方向を推
定する推定手段と、認識対象物の３次元モデルが前記推
定手段により推定された位置および配置方向に基づき配
置された状態を前記仮想水平面上に透視変換した画像
を、透視変換のモデル画像として設定するモデル画像設
定手段と、前記モデル画像を前記入力画像の透視変換結
果と照合して、前記観測位置における対象物の有無を判
別する判別手段とを備えている。
請求項１と同様の画像入力手段，画像変換手段を具備す
るほか、画像変換手段により透視変換された画像を用い
て前記支持面における対象物の位置および配置方向を推
定する推定手段と、認識対象物の３次元モデルが前記推
定手段により推定された位置および配置方向に基づき配
置された状態を前記仮想水平面上に透視変換した画像
を、透視変換のモデル画像として設定するモデル画像設
定手段と、前記モデル画像を前記入力画像の透視変換結
果と照合して、前記観測位置における対象物の有無を判
別する判別手段とを備えている。
【００１１】請求項３の発明にかかる物体認識装置で
は、前記推定手段を、前記透視変換された画像から対象
物の特徴を示す点を抽出した後、その抽出結果を用いて
対象物の位置および配置方向を推定するように構成して
いる。
は、前記推定手段を、前記透視変換された画像から対象
物の特徴を示す点を抽出した後、その抽出結果を用いて
対象物の位置および配置方向を推定するように構成して
いる。
【００１２】請求項４の発明にかかる物体認識装置で
は、前記判別手段を、透視変換された画像上において、
対象物の特徴を示す点毎に、前記モデル画像中でこの特
徴点に対応する構成点との距離を算出し、その算出結果
の総和を用いて観測位置における対象物の有無を判別す
るように構成している。
は、前記判別手段を、透視変換された画像上において、
対象物の特徴を示す点毎に、前記モデル画像中でこの特
徴点に対応する構成点との距離を算出し、その算出結果
の総和を用いて観測位置における対象物の有無を判別す
るように構成している。
【００１３】請求項５の発明にかかる物体認識装置で
は、前記判別手段を、前記透視変換された画像と前記モ
デル画像との一致度を算出し、この算出結果を用いて観
測位置における対象物の有無を判別するように構成して
いる。
は、前記判別手段を、前記透視変換された画像と前記モ
デル画像との一致度を算出し、この算出結果を用いて観
測位置における対象物の有無を判別するように構成して
いる。
【００１４】
【作用】請求項１の発明では、対象物を撮像して得られ
た画像を対象物の支持面を含む仮想水平面上に透視変換
するとともに、認識対象物の３次元モデルが支持面上に
配置されている状態の透視変換変換画像をモデル画像と
して設定し、両透視変換結果を照合して対象物を認識す
る。このように対象物の支持面上の透視変換画像を用い
た比較処理により、３次元モデルに対する対象物の位置
ずれや回転ずれを２次元平面上で把握でき、精度の高い
照合処理を、短時間で行うことができる。しかも観測位
置を一方向から撮像した画像を用いて処理を行うので、
従来の３次元マッチング方法のように、撮像機構の構成
が大がかりになることがない。さらに３次元モデルの透
視変換処理は、仮想水平面を構成する２軸（ｘ，ｙ軸）
方向における位置、および基準となる方向に対するモデ
ルの配置方向の回転角度という３種類のパラメータを用
いて算出されるので、従来の２次元マッチング方法にお
けるモデルの変換処理と比較すると、変換処理にかかる
時間は大幅に削減される。
た画像を対象物の支持面を含む仮想水平面上に透視変換
するとともに、認識対象物の３次元モデルが支持面上に
配置されている状態の透視変換変換画像をモデル画像と
して設定し、両透視変換結果を照合して対象物を認識す
る。このように対象物の支持面上の透視変換画像を用い
た比較処理により、３次元モデルに対する対象物の位置
ずれや回転ずれを２次元平面上で把握でき、精度の高い
照合処理を、短時間で行うことができる。しかも観測位
置を一方向から撮像した画像を用いて処理を行うので、
従来の３次元マッチング方法のように、撮像機構の構成
が大がかりになることがない。さらに３次元モデルの透
視変換処理は、仮想水平面を構成する２軸（ｘ，ｙ軸）
方向における位置、および基準となる方向に対するモデ
ルの配置方向の回転角度という３種類のパラメータを用
いて算出されるので、従来の２次元マッチング方法にお
けるモデルの変換処理と比較すると、変換処理にかかる
時間は大幅に削減される。
【００１５】請求項２の発明では、入力画像を透視変換
した画像から対象物の位置および配置方向を推定し、３
次元モデルがこの推定された位置、および配置方向に基
づき配置された状態における透視変換画像をモデル画像
として設定するので、３次元モデルの変換処理および対
象物の認識処理にかかる時間が大幅に削減される。
した画像から対象物の位置および配置方向を推定し、３
次元モデルがこの推定された位置、および配置方向に基
づき配置された状態における透視変換画像をモデル画像
として設定するので、３次元モデルの変換処理および対
象物の認識処理にかかる時間が大幅に削減される。
【００１６】請求項３の発明では、入力画像を透視変換
した画像上で、対象物の特徴を示す点を抽出することに
より、対象物の位置および配置方向の推定処理が行われ
る。
した画像上で、対象物の特徴を示す点を抽出することに
より、対象物の位置および配置方向の推定処理が行われ
る。
【００１７】請求項４の発明では、入力画像を透視変換
した画像上において、対象物の特徴点毎に、モデル画像
中の対応する構成点との距離が算出された後、その距離
の総和により、透視変換画像とモデル画像との類似度が
求められ、観測位置における対象物の有無の判別がなさ
れる。
した画像上において、対象物の特徴点毎に、モデル画像
中の対応する構成点との距離が算出された後、その距離
の総和により、透視変換画像とモデル画像との類似度が
求められ、観測位置における対象物の有無の判別がなさ
れる。
【００１８】請求項５の発明では、入力画像を透視変換
した画像上において、対象物の特徴点により決定される
画像領域とモデル画像との一致度が算出され、さらにそ
の算出結果に基づき観測位置における対象物の有無が判
別される。
した画像上において、対象物の特徴点により決定される
画像領域とモデル画像との一致度が算出され、さらにそ
の算出結果に基づき観測位置における対象物の有無が判
別される。
【００１９】
【発明の実施の形態】図１に、この発明にかかる車輌認
識装置が組み込まれた交通流計測装置の設置例を示すと
共に、この車輌認識処理の原理を図２〜図７および数式
（１）〜（４５）を用いて説明する。さらに図８および
図９により、車輌認識装置の好適な実施例を説明する。
識装置が組み込まれた交通流計測装置の設置例を示すと
共に、この車輌認識処理の原理を図２〜図７および数式
（１）〜（４５）を用いて説明する。さらに図８および
図９により、車輌認識装置の好適な実施例を説明する。
【００２０】
【実施例】図１は、含む交通流計測装置の一設置例を示
す。この交通流計測装置は、道路２０の近傍に支柱２１
を配備し、この支柱２１の上部位置にカメラ２２を、下
部位置に制御ボックス２３を、それぞれ取り付けて構成
されるもので、制御ボックス２３の内部には、この発明
の一実施例にかかる車輌認識装置や計測装置が組み込ま
れている。
す。この交通流計測装置は、道路２０の近傍に支柱２１
を配備し、この支柱２１の上部位置にカメラ２２を、下
部位置に制御ボックス２３を、それぞれ取り付けて構成
されるもので、制御ボックス２３の内部には、この発明
の一実施例にかかる車輌認識装置や計測装置が組み込ま
れている。
【００２１】この実施例の車輌認識装置は、カメラ２２
より入力された２次元画像をフレーム単位で道路２０を
含む仮想水平面上に透視変換し、この透視変換画像につ
いて後記する特徴抽出処理や車輌の判別処理を実行し、
さらにこの判別結果を、道路上の車輌の位置データに編
集して計測装置へと出力する。計測装置は、各フレーム
毎に入力されるデータの時間的な推移により、道路上の
車輌の流れを示すデータを作成し、図示しないセンター
装置などに伝送する。
より入力された２次元画像をフレーム単位で道路２０を
含む仮想水平面上に透視変換し、この透視変換画像につ
いて後記する特徴抽出処理や車輌の判別処理を実行し、
さらにこの判別結果を、道路上の車輌の位置データに編
集して計測装置へと出力する。計測装置は、各フレーム
毎に入力されるデータの時間的な推移により、道路上の
車輌の流れを示すデータを作成し、図示しないセンター
装置などに伝送する。
【００２２】前記透視変換処理は、あらかじめ所定の位
置（例えば前記支柱２１の設置位置）を原点とする空間
座標系（以下単に「空間座標系」という）を定めてお
き、この空間座標系に対するカメラ座標系の回転角度に
より決定されるパラメータを用いて、入力画像上の各画
素を前記仮想水平面上の所定位置へと変換するものであ
る。前記パラメータは、計測処理に先立ち、空間座標が
既知の点を用いたキャリブレーションによりカメラ座標
系の回転角度を算出した後、さらにこの算出結果を後記
する（２８）〜（３５）式にあてはめることにより算出
される。
置（例えば前記支柱２１の設置位置）を原点とする空間
座標系（以下単に「空間座標系」という）を定めてお
き、この空間座標系に対するカメラ座標系の回転角度に
より決定されるパラメータを用いて、入力画像上の各画
素を前記仮想水平面上の所定位置へと変換するものであ
る。前記パラメータは、計測処理に先立ち、空間座標が
既知の点を用いたキャリブレーションによりカメラ座標
系の回転角度を算出した後、さらにこの算出結果を後記
する（２８）〜（３５）式にあてはめることにより算出
される。
【００２３】つぎに図２を用いて、前記車輌判別装置に
よる透視変換処理および前記パラメータの算出処理の原
理を、順を追って説明する。図２中、Ｘw ，Ｙw ，Ｚw
の各軸で示される座標系は前記した空間座標系を、
Ｘc ，Ｙc ，Ｚc の各軸で示される座標系は前記カメラ
座標系を、それぞれ示す。またＯはカメラの撮像位置
を、Ａは空間中の任意の１点を、それぞれ示す。
よる透視変換処理および前記パラメータの算出処理の原
理を、順を追って説明する。図２中、Ｘw ，Ｙw ，Ｚw
の各軸で示される座標系は前記した空間座標系を、
Ｘc ，Ｙc ，Ｚc の各軸で示される座標系は前記カメラ
座標系を、それぞれ示す。またＯはカメラの撮像位置
を、Ａは空間中の任意の１点を、それぞれ示す。
【００２４】いま前記中心点Ｏがカメラ座標系の原点Ｏ
c （０，０，０）に対応しており、空間座標系のＸw ，
Ｙw ，Ｚw 各軸に対しカメラ座標系のＸc ，Ｙc ，Ｚc
軸がそれぞれ角度α，β，γだけ回転していると想定す
ると、点Ｏの空間座標を（ｘ0 ，ｙ0 ，ｚ0 ），点Ａの
空間座標を（ｘA ，ｙA ，ｚA ）としたときの点Ａのカ
メラ座標（ｘ1 ，ｙ1 ，ｚ1 ）は、これら回転角度α，
β，γにより決定されるパラメータｓ1 ，ｓ2 ，ｓ3 ，
ｔ1 ，ｔ2 ，ｔ3 ，ｕ1 ，ｕ2 ，ｕ3 に基づき、つぎの
（１）〜（３）で表される。なお上記各パラメータは、
それぞれ（４）〜（１２）式で表される。また前記
ｘ1 ，ｙ1 は、点Ａの入力画像上の対応点Ａ´のｘ，ｙ
座標に、ｚ1 はカメラの焦点距離Ｆに、それぞれ相当す
る。
c （０，０，０）に対応しており、空間座標系のＸw ，
Ｙw ，Ｚw 各軸に対しカメラ座標系のＸc ，Ｙc ，Ｚc
軸がそれぞれ角度α，β，γだけ回転していると想定す
ると、点Ｏの空間座標を（ｘ0 ，ｙ0 ，ｚ0 ），点Ａの
空間座標を（ｘA ，ｙA ，ｚA ）としたときの点Ａのカ
メラ座標（ｘ1 ，ｙ1 ，ｚ1 ）は、これら回転角度α，
β，γにより決定されるパラメータｓ1 ，ｓ2 ，ｓ3 ，
ｔ1 ，ｔ2 ，ｔ3 ，ｕ1 ，ｕ2 ，ｕ3 に基づき、つぎの
（１）〜（３）で表される。なお上記各パラメータは、
それぞれ（４）〜（１２）式で表される。また前記
ｘ1 ，ｙ1 は、点Ａの入力画像上の対応点Ａ´のｘ，ｙ
座標に、ｚ1 はカメラの焦点距離Ｆに、それぞれ相当す
る。
【００２５】
【数１】
【００２６】
【数２】
【００２７】
【数３】
【００２８】
【数４】
【００２９】
【数５】
【００３０】
【数６】
【００３１】
【数７】
【００３２】
【数８】
【００３３】
【数９】
【００３４】
【数１０】
【００３５】
【数１１】
【００３６】
【数１２】
【００３７】一方、直線ＯＡ，および道路３０を含む仮
想水平面は、それぞれつぎの（１３）（１４）式により
表される。
想水平面は、それぞれつぎの（１３）（１４）式により
表される。
【００３８】
【数１３】
【００３９】
【数１４】
【００４０】いま前記点Ａ´を含む画像を前記仮想水平
面上に透視変換するものとすると、点Ａ´は前記直線Ｏ
Ａと仮想水平面との交点Ｂ（ｘB ，ｙB ，０）の位置に
投影される。したがって前記（１３）（１４）式より、
ｘB ，ｙB は、つぎの（１５）（１６）式で表される
面上に透視変換するものとすると、点Ａ´は前記直線Ｏ
Ａと仮想水平面との交点Ｂ（ｘB ，ｙB ，０）の位置に
投影される。したがって前記（１３）（１４）式より、
ｘB ，ｙB は、つぎの（１５）（１６）式で表される
【００４１】
【数１５】
【００４２】
【数１６】
【００４３】さらにｘ´＝ｘA −ｘ0 ／ｚA −ｚ0 , ｙ
´＝ｙA −ｙ0 ／ｚA −ｚ0 ，ｚ´＝１／ｚA −ｚ0 と
おくと、前記（１）〜（３）式および（１５）（１６）
式は、それぞれ（１７）〜（２１）式に変形される。
´＝ｙA −ｙ0 ／ｚA −ｚ0 ，ｚ´＝１／ｚA −ｚ0 と
おくと、前記（１）〜（３）式および（１５）（１６）
式は、それぞれ（１７）〜（２１）式に変形される。
【００４４】
【数１７】
【００４５】
【数１８】
【００４６】
【数１９】
【００４７】
【数２０】
【００４８】
【数２１】
【００４９】上記（１７）〜（１９）式よりｚ´を消去
することにより、ｘ´，ｙ´は、それぞれつぎの（２
２）（２３）式により表される。さらにこの（２２）
（２３）式を用いて前記（２０）（２１）式を変形する
ことにより、（２４）（２５）式が得られる。
することにより、ｘ´，ｙ´は、それぞれつぎの（２
２）（２３）式により表される。さらにこの（２２）
（２３）式を用いて前記（２０）（２１）式を変形する
ことにより、（２４）（２５）式が得られる。
【００５０】
【数２２】
【００５１】
【数２３】
【００５２】
【数２４】
【００５３】
【数２５】
【００５４】よって、前記ｘB ，ｙB は、（２８）〜
（３５）式により定義されるパラメータａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｈを用いた（２６）（２７）式により
算出される。
（３５）式により定義されるパラメータａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｈを用いた（２６）（２７）式により
算出される。
【００５５】
【数２６】
【００５６】
【数２７】
【００５７】
【数２８】
【００５８】
【数２９】
【００５９】
【数３０】
【００６０】
【数３１】
【００６１】
【数３２】
【００６２】
【数３３】
【００６３】
【数３４】
【００６４】
【数３５】
【００６５】したがって、前記カメラの中心点Ｏの空間
座標（ｘ0 ，ｙ0 ，ｚ0 ），キャリブレーションにより
算出されたカメラ座標系の回転角度α，β，γ，および
カメラの焦点距離Ｆを、前記（２８）〜（３５）式に代
入して各パラメータａ〜ｈを求めておき、カメラからの
入力画像の各画素毎に、そのｘ，ｙ座標を前記（２６）
（２７）式にあてはめることにより、各画素の投影点の
座標を算出することができる。
座標（ｘ0 ，ｙ0 ，ｚ0 ），キャリブレーションにより
算出されたカメラ座標系の回転角度α，β，γ，および
カメラの焦点距離Ｆを、前記（２８）〜（３５）式に代
入して各パラメータａ〜ｈを求めておき、カメラからの
入力画像の各画素毎に、そのｘ，ｙ座標を前記（２６）
（２７）式にあてはめることにより、各画素の投影点の
座標を算出することができる。
【００６６】前記したように、空間中の点Ａに対応する
入力画像上の点Ａ´を仮想水平面上に透視変換すると、
この点Ａにおける画像データは、カメラ中心点Ｏと点Ａ
とを結ぶ直線と仮想水平面との交点に投影される。した
がってこの直線ＯＡの傾きが緩慢であるほど、仮想水平
面上の投影点は、点Ａを真上方向から透視した際の投影
点（すなわち点Ａのｘ，ｙ座標により特定される点）か
ら離れた場所に位置することになる。言い換えれば、点
Ａが高い位置にあるほど、もしくは点Ａがカメラから離
れた位置にあるほど、その投影点は、本来の点Ａのある
べき位置から離れた場所に位置するので、高さ成分を有
する対象物を透視変換したとき、実際の対象物を真上位
置より見た場合とは異なる大きさ，形状を有する特徴が
得られることになる。
入力画像上の点Ａ´を仮想水平面上に透視変換すると、
この点Ａにおける画像データは、カメラ中心点Ｏと点Ａ
とを結ぶ直線と仮想水平面との交点に投影される。した
がってこの直線ＯＡの傾きが緩慢であるほど、仮想水平
面上の投影点は、点Ａを真上方向から透視した際の投影
点（すなわち点Ａのｘ，ｙ座標により特定される点）か
ら離れた場所に位置することになる。言い換えれば、点
Ａが高い位置にあるほど、もしくは点Ａがカメラから離
れた位置にあるほど、その投影点は、本来の点Ａのある
べき位置から離れた場所に位置するので、高さ成分を有
する対象物を透視変換したとき、実際の対象物を真上位
置より見た場合とは異なる大きさ，形状を有する特徴が
得られることになる。
【００６７】一方、空間座標におけるｚ座標が０となる
点の画像データは、実際と同じ位置に投影されるため、
影などの２次元対象物は、透視変換後も、実際の対象物
を真上位置より見た場合と同様の大きさ，形状の特徴を
有する。
点の画像データは、実際と同じ位置に投影されるため、
影などの２次元対象物は、透視変換後も、実際の対象物
を真上位置より見た場合と同様の大きさ，形状の特徴を
有する。
【００６８】図３は、カメラ３２からの入力画像の一例
であって、道路の車線を示す画像２４のほかに、車輌
（図示例ではバス）の画像２５などが含まれている。図
４は、前記図３の入力画像を前記水平面上に透視変換し
た結果を示すもので、透視変換画像中、前記画像２５の
変換画像２５´の形状には、その高さ成分を反映した歪
みが現れている。
であって、道路の車線を示す画像２４のほかに、車輌
（図示例ではバス）の画像２５などが含まれている。図
４は、前記図３の入力画像を前記水平面上に透視変換し
た結果を示すもので、透視変換画像中、前記画像２５の
変換画像２５´の形状には、その高さ成分を反映した歪
みが現れている。
【００６９】この実施例における車輌認識装置は、上記
の原理に基づきカメラからの入力画像を道路面を含む仮
想水平面上に透視変換した後、この透視変換画像上で車
輌を示す特徴の抽出を行い、さらにその抽出結果を、所
定の車輌モデルを仮想水平面上に透視変換して得られた
画像（以下「変換モデル画像」という）と照合すること
により、前記の特徴抽出位置に車輌が存在するか否かを
認識している。
の原理に基づきカメラからの入力画像を道路面を含む仮
想水平面上に透視変換した後、この透視変換画像上で車
輌を示す特徴の抽出を行い、さらにその抽出結果を、所
定の車輌モデルを仮想水平面上に透視変換して得られた
画像（以下「変換モデル画像」という）と照合すること
により、前記の特徴抽出位置に車輌が存在するか否かを
認識している。
【００７０】図５は、前記透視変換画像より特徴点の抽
出処理を行った結果を示すもので、透視変換画像上のエ
ッジ成分などを抽出した後、その抽出結果を所定の法則
に基づき統合して車輌の輪郭部分を抽出し、さらにこの
輪郭の頂点を構成する特徴点Ｐ0 〜Ｐ6 を抽出してい
る。
出処理を行った結果を示すもので、透視変換画像上のエ
ッジ成分などを抽出した後、その抽出結果を所定の法則
に基づき統合して車輌の輪郭部分を抽出し、さらにこの
輪郭の頂点を構成する特徴点Ｐ0 〜Ｐ6 を抽出してい
る。
【００７１】図６は前記車輌モデルの一例を示すもの
で、ここでは説明を簡単にするために、バスの標準的な
形状を示す立方体のモデルを設定している。図中Ｍ0 〜
Ｍ6 は、車輌モデルの輪郭上の頂点であって、このうち
道路面上に接する１頂点Ｍ0 は、車輌モデルを仮想水平
面上に位置決めするための基準点として用いられる。
で、ここでは説明を簡単にするために、バスの標準的な
形状を示す立方体のモデルを設定している。図中Ｍ0 〜
Ｍ6 は、車輌モデルの輪郭上の頂点であって、このうち
道路面上に接する１頂点Ｍ0 は、車輌モデルを仮想水平
面上に位置決めするための基準点として用いられる。
【００７２】たとえば前記図５の特徴抽出結果を図６の
車輌モデルと照合し、基準点Ｍ0 に特徴点Ｐ0 が対応
し、以下、頂点Ｍi （ｉ＝１〜６）にそれぞれ特徴点Ｐ
i が対応すると推定されたとき、この対応づけが正しけ
れば、前記車輌モデルを仮想水平面上に透視変換したと
き、各頂点Ｍi はそれぞれ対応する特徴点Ｐi の位置に
投影される。言い換えれば車輌モデルによる変換モデル
画像と前記透視変換画像上の各特徴点により表される特
徴とが類似していれば、その特徴は車輌に該当するもの
であると考えられるのである。
車輌モデルと照合し、基準点Ｍ0 に特徴点Ｐ0 が対応
し、以下、頂点Ｍi （ｉ＝１〜６）にそれぞれ特徴点Ｐ
i が対応すると推定されたとき、この対応づけが正しけ
れば、前記車輌モデルを仮想水平面上に透視変換したと
き、各頂点Ｍi はそれぞれ対応する特徴点Ｐi の位置に
投影される。言い換えれば車輌モデルによる変換モデル
画像と前記透視変換画像上の各特徴点により表される特
徴とが類似していれば、その特徴は車輌に該当するもの
であると考えられるのである。
【００７３】前記変換モデル画像は、車輌モデルの各構
成点の空間座標を、前記推定結果に基づき仮想水平面上
に変換することにより求められるもので、以下、上記変
換処理の原理について説明する。
成点の空間座標を、前記推定結果に基づき仮想水平面上
に変換することにより求められるもので、以下、上記変
換処理の原理について説明する。
【００７４】図７に示すように、カメラの中心点Ｏの空
間座標を（０，０，ｋ），空間中の任意の１点Ｑの空間
座標を（ｘw ，ｙw ，ｚw ），この点Ｑを透視変換して
得られる投影点Ｑ´の座標を（ｘr ，ｙr ，０）とする
と、点Ｑ´のｘ，ｙ座標ｘr，ｙr は、つぎの（３６）
（３７）式により算出される。
間座標を（０，０，ｋ），空間中の任意の１点Ｑの空間
座標を（ｘw ，ｙw ，ｚw ），この点Ｑを透視変換して
得られる投影点Ｑ´の座標を（ｘr ，ｙr ，０）とする
と、点Ｑ´のｘ，ｙ座標ｘr，ｙr は、つぎの（３６）
（３７）式により算出される。
【００７５】
【数３６】
【００７６】
【数３７】
【００７７】いま前記車輌モデルが仮想水平面に対して
所定の方向（例えば車両の進行方向であるｙ軸に平行な
方向）を向いて存在している状態を、車輌モデルの基準
方向とし、前記車輌モデルの各頂点Ｍ0 〜Ｍ6 を透視変
換画像上の各頂点Ｐ0 〜Ｐ6に対応づけて配置したと
き、前記基準方向に対しモデルの配置方向が時計回りに
角度θだけ回転していたものとする（以下この回転角度
θを「モデル設定角度θ」という）。このとき各頂点Ｍ
i （ｉ＝１〜６）の基準点Ｍ0 に対する相対的な空間座
標を（ｒｘi ，ｒｙi ，ｒｚi ），基準点Ｍ0 に対応す
る透視変換画像上の特徴点Ｐ0 の座標を（ｐｘ0 ，ｐｙ
0 ）とすると、各頂点Ｍi の空間座標（ｍｘi ，ｍ
ｙi ，ｍｚi ）は、それぞれつぎの（３８）〜（４０）
式で表される。
所定の方向（例えば車両の進行方向であるｙ軸に平行な
方向）を向いて存在している状態を、車輌モデルの基準
方向とし、前記車輌モデルの各頂点Ｍ0 〜Ｍ6 を透視変
換画像上の各頂点Ｐ0 〜Ｐ6に対応づけて配置したと
き、前記基準方向に対しモデルの配置方向が時計回りに
角度θだけ回転していたものとする（以下この回転角度
θを「モデル設定角度θ」という）。このとき各頂点Ｍ
i （ｉ＝１〜６）の基準点Ｍ0 に対する相対的な空間座
標を（ｒｘi ，ｒｙi ，ｒｚi ），基準点Ｍ0 に対応す
る透視変換画像上の特徴点Ｐ0 の座標を（ｐｘ0 ，ｐｙ
0 ）とすると、各頂点Ｍi の空間座標（ｍｘi ，ｍ
ｙi ，ｍｚi ）は、それぞれつぎの（３８）〜（４０）
式で表される。
【００７８】
【数３８】
【００７９】
【数３９】
【００８０】
【数４０】
【００８１】したがって車輌モデルを仮想水平面上に透
視変換した場合、頂点Ｍi の変換先のｘ，ｙ座標ｃ
ｘi ，ｃｙi は、それぞれ（４１）（４２）式の形で表
される。なお（４１）（４２）式は、Ｋi ＝ｋ／ｋ−ｒ
ｚi とおくことにより、（４３）（４４）式のように変
形される。
視変換した場合、頂点Ｍi の変換先のｘ，ｙ座標ｃ
ｘi ，ｃｙi は、それぞれ（４１）（４２）式の形で表
される。なお（４１）（４２）式は、Ｋi ＝ｋ／ｋ−ｒ
ｚi とおくことにより、（４３）（４４）式のように変
形される。
【００８２】
【数４１】
【００８３】
【数４２】
【００８４】
【数４３】
【００８５】
【数４４】
【００８６】このように透視変換画像上の各特徴点を前
記車輌モデルの各頂点を対応づけて、基準点Ｍ0 に対応
する点のｘ，ｙ座標ｐｘ0 ，ｐｙ0 と前記モデル設定角
度θとを設定することにより、透視変換画像上の特徴点
により車輌が表されているとしたとき、その車輌が仮想
水平面上のどの位置に、どの方向を向いて存在するかを
推定していることになる。そこでこの推定値を用いて前
記（４３）（４４）式を実行することにより、推定され
た位置および方向に車輌モデルを変換した結果が得られ
るのである。
記車輌モデルの各頂点を対応づけて、基準点Ｍ0 に対応
する点のｘ，ｙ座標ｐｘ0 ，ｐｙ0 と前記モデル設定角
度θとを設定することにより、透視変換画像上の特徴点
により車輌が表されているとしたとき、その車輌が仮想
水平面上のどの位置に、どの方向を向いて存在するかを
推定していることになる。そこでこの推定値を用いて前
記（４３）（４４）式を実行することにより、推定され
た位置および方向に車輌モデルを変換した結果が得られ
るのである。
【００８７】したがって３次元モデルの各構成点Ｍi に
対応する透視変換画像上の特徴点Ｐ i の座標を（ｐ
ｘi ，ｐｙi ）として、つぎの（４５）式を実行するこ
とにより、透視変換画像上の各特徴点により決定される
特徴と、前記推定結果に基づく変換モデル画像との相違
度Ｒが算出される。
対応する透視変換画像上の特徴点Ｐ i の座標を（ｐ
ｘi ，ｐｙi ）として、つぎの（４５）式を実行するこ
とにより、透視変換画像上の各特徴点により決定される
特徴と、前記推定結果に基づく変換モデル画像との相違
度Ｒが算出される。
【００８８】
【数４５】
【００８９】上記の認識処理は、入力画像上の特徴と３
次元モデルとを、ともに認識対象である車輌の支持面上
に透視変換した結果を比較することにより行われるの
で、３次元モデルに対する対象物の位置ずれや回転ずれ
を２次元平面上で簡単に推定でき、精度の高い照合処理
を短時間で行うことができる。しかも３次元モデルの投
影処理は、前記したように、基準点の推定位置にあたる
ｘ，ｙ座標、およびモデル設定角度θという３つのパラ
メータを用いて行われるので、従来の２次元マッチング
方法におけるモデルの変換処理と比較すると、変換処理
にかかる時間は大幅に削減される。
次元モデルとを、ともに認識対象である車輌の支持面上
に透視変換した結果を比較することにより行われるの
で、３次元モデルに対する対象物の位置ずれや回転ずれ
を２次元平面上で簡単に推定でき、精度の高い照合処理
を短時間で行うことができる。しかも３次元モデルの投
影処理は、前記したように、基準点の推定位置にあたる
ｘ，ｙ座標、およびモデル設定角度θという３つのパラ
メータを用いて行われるので、従来の２次元マッチング
方法におけるモデルの変換処理と比較すると、変換処理
にかかる時間は大幅に削減される。
【００９０】図８は、上記原理が導入された車輌認識装
置の一構成例であって、画像入力部１，透視変換処理部
２，パラメータ記憶部３，画像メモリ４，特徴点抽出部
５，推定部６，モデル記憶部７，モデル座標変換部８，
マッチング処理部９，判定部１０などから構成される。
置の一構成例であって、画像入力部１，透視変換処理部
２，パラメータ記憶部３，画像メモリ４，特徴点抽出部
５，推定部６，モデル記憶部７，モデル座標変換部８，
マッチング処理部９，判定部１０などから構成される。
【００９１】前記画像入力部１は、前記カメラ２２から
のアナログ量の画像データをディジタル変換するＡ／Ｄ
変換回路や変換処理後の画像データを格納する画像メモ
リなどから構成される。パラメータ記憶部３には、前記
（２８）〜（３５）式により算出されたパラメータａ，
ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈが記憶されている。透視変
換処理部２は、これらパラメータと入力画像中の各画素
のｘ，ｙ座標とを前記（２６），（２７）式に代入する
ことにより、各画素の透視変換点の座標を算出し、この
算出結果に基づき、入力画像の透視変換処理を実行す
る。
のアナログ量の画像データをディジタル変換するＡ／Ｄ
変換回路や変換処理後の画像データを格納する画像メモ
リなどから構成される。パラメータ記憶部３には、前記
（２８）〜（３５）式により算出されたパラメータａ，
ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈが記憶されている。透視変
換処理部２は、これらパラメータと入力画像中の各画素
のｘ，ｙ座標とを前記（２６），（２７）式に代入する
ことにより、各画素の透視変換点の座標を算出し、この
算出結果に基づき、入力画像の透視変換処理を実行す
る。
【００９２】なお、前記パラメータ記憶部３の代わり
に、入力画像の各画素についての透視変換先の座標が記
憶されたルックアップテーブルを設け、画像入力時に、
各画素を、このルックアップテーブル中の対応する設定
値に基づく位置に変換するようにすれば、変換処理の高
速化を実現できる。
に、入力画像の各画素についての透視変換先の座標が記
憶されたルックアップテーブルを設け、画像入力時に、
各画素を、このルックアップテーブル中の対応する設定
値に基づく位置に変換するようにすれば、変換処理の高
速化を実現できる。
【００９３】透視変換後の画像は画像メモリ４に格納さ
れた後、特徴点抽出部５により、前記したエッジ成分の
抽出処理などが行われ、特徴の輪郭の頂点を示す特徴点
が抽出される。モデル記憶部７には、複数種の車輌につ
いて、前記図６に示したような車輌モデルを示す３次元
データが記憶されており、推定部６は、特徴点抽出部５
による抽出結果に基づき、各特徴点を車輌モデルのいず
れかの頂点に対応づけして、前記基準点Ｍ0 の位置、お
よびモデル設定角度θを推定する。
れた後、特徴点抽出部５により、前記したエッジ成分の
抽出処理などが行われ、特徴の輪郭の頂点を示す特徴点
が抽出される。モデル記憶部７には、複数種の車輌につ
いて、前記図６に示したような車輌モデルを示す３次元
データが記憶されており、推定部６は、特徴点抽出部５
による抽出結果に基づき、各特徴点を車輌モデルのいず
れかの頂点に対応づけして、前記基準点Ｍ0 の位置、お
よびモデル設定角度θを推定する。
【００９４】モデル座標変換部８は、前記推定結果に基
づき上記（４３）（４４）の各演算を実行し、車輌モデ
ルを透視変換した場合の各頂点の変換先の座標を算出す
る。この算出結果を受けてマッチング処理部９は、透視
変換画像上の各特徴点と前記変換モデル画像の各頂点と
の座標から前記（４５）式を実行して、特徴抽出位置に
おける画像データと変換モデル画像との相違度Ｒを算出
する。
づき上記（４３）（４４）の各演算を実行し、車輌モデ
ルを透視変換した場合の各頂点の変換先の座標を算出す
る。この算出結果を受けてマッチング処理部９は、透視
変換画像上の各特徴点と前記変換モデル画像の各頂点と
の座標から前記（４５）式を実行して、特徴抽出位置に
おける画像データと変換モデル画像との相違度Ｒを算出
する。
【００９５】判定部１０は、マッチング処理部９により
算出された相違度Ｒを所定のしきい値と比較し、この値
がしきい値以下であれば、特徴抽出位置に前記車輌モデ
ルに相当する車輌が存在するものと判定する。
算出された相違度Ｒを所定のしきい値と比較し、この値
がしきい値以下であれば、特徴抽出位置に前記車輌モデ
ルに相当する車輌が存在するものと判定する。
【００９６】図９は、車輌認識装置の他の構成例を示す
もので、図８の実施例と同様の構成の画像入力部１，透
視変換画像部２，パラメータ記憶部３，画像メモリ４の
ほか、背景差分処理部１１，背景画像記憶部１２，２値
化処理部１３，推定部６Ａ，モデル記憶部７Ａ，モデル
座標変換部８Ａ，モデル領域設定部１４，マッチング処
理部９Ａ，判定部１０Ａなどを構成として含んでいる。
もので、図８の実施例と同様の構成の画像入力部１，透
視変換画像部２，パラメータ記憶部３，画像メモリ４の
ほか、背景差分処理部１１，背景画像記憶部１２，２値
化処理部１３，推定部６Ａ，モデル記憶部７Ａ，モデル
座標変換部８Ａ，モデル領域設定部１４，マッチング処
理部９Ａ，判定部１０Ａなどを構成として含んでいる。
【００９７】前記背景画像記憶部１２には、あらかじめ
観測位置を撮像して得られた背景画像に対する透視変換
処理結果が記憶されている（以下この変換画像を「背景
変換画像」という）。背景差分処理部１１は、画像メモ
リ４から読み出した透視変換画像の各画素データと、こ
の背景変換画像の対応する画像データの差分を求める。
２値化処理部１３は、この差分処理により生成された差
分画像を所定のしきい値により２値化処理するもので、
これにより図１０に示すように、車輌などの画像の透視
変換結果を示す特徴が抽出される。
観測位置を撮像して得られた背景画像に対する透視変換
処理結果が記憶されている（以下この変換画像を「背景
変換画像」という）。背景差分処理部１１は、画像メモ
リ４から読み出した透視変換画像の各画素データと、こ
の背景変換画像の対応する画像データの差分を求める。
２値化処理部１３は、この差分処理により生成された差
分画像を所定のしきい値により２値化処理するもので、
これにより図１０に示すように、車輌などの画像の透視
変換結果を示す特徴が抽出される。
【００９８】モデル記憶部７Ａには、前記図８の実施例
と同様の車輌モデルが記憶されている。推定部６Ａは、
背景差分処理部１１および２値化処理部１３による特徴
抽出結果に基づき、車輌モデルの各頂点を抽出されたい
ずれかの特徴点に対応づけし、前記基準点Ｍ0 の位置お
よびモデル設定角度θを推定する。
と同様の車輌モデルが記憶されている。推定部６Ａは、
背景差分処理部１１および２値化処理部１３による特徴
抽出結果に基づき、車輌モデルの各頂点を抽出されたい
ずれかの特徴点に対応づけし、前記基準点Ｍ0 の位置お
よびモデル設定角度θを推定する。
【００９９】モデル座標変換部８Ａが、この推定結果に
基づき、前記と同様の演算を実行して車輌モデルの各頂
点の透視変換先の座標を算出すると、モデル領域設定部
１４は、この算出結果を用いて、前記車輌モデルの仮想
水平面上への透視変換画像に対応する画像領域を設定す
る（以下この画像領域を「モデル画像領域」という）。
基づき、前記と同様の演算を実行して車輌モデルの各頂
点の透視変換先の座標を算出すると、モデル領域設定部
１４は、この算出結果を用いて、前記車輌モデルの仮想
水平面上への透視変換画像に対応する画像領域を設定す
る（以下この画像領域を「モデル画像領域」という）。
【０１００】マッチング処理部９Ａは、前記透視変換画
像上で抽出された特徴に対応する画像領域と、モデル領
域設定部１４により設定されたモデル画像領域との間
で、両画像領域の面積や形状などに基づき両者の一致度
合いを算出し、その算出結果を判定部１０Ａに出力す
る。判定部１０Ａは、この一致度合いが所定のしきい値
以上であったとき、透視変換画像上の特徴が車輌に相当
するものであると判定する。
像上で抽出された特徴に対応する画像領域と、モデル領
域設定部１４により設定されたモデル画像領域との間
で、両画像領域の面積や形状などに基づき両者の一致度
合いを算出し、その算出結果を判定部１０Ａに出力す
る。判定部１０Ａは、この一致度合いが所定のしきい値
以上であったとき、透視変換画像上の特徴が車輌に相当
するものであると判定する。
【０１０１】なお上記の各実施例では、車輌モデルとし
て、その輪郭線の各頂点の３次元データを記憶するよう
にしているが、これに代えて、車種や車の色毎に複数種
の車輌モデルを設定しておき、各車輌モデルの各構成点
毎に、所定の基準点に対する相対的な空間座標と、その
位置における車輌の輝度や色彩に関わる情報を記憶する
ようにしても良い。この場合、入力画像の透視変換結果
から推定された対象物の位置および配置方向に応じて前
記（４３）（４４）式を実行することにより、各構成点
毎に透視変換先の２次元座標が算出されるとともに、そ
の構成点の保有する輝度や色彩などの情報が変換されて
変換モデル画像が生成される。さらにこの変換モデル画
像を画像メモリに記憶された透視変換画像上に対応づけ
て両画像データ間の相関を求めることにより、単に車輌
の有無のみならず、その車種や色彩までを高精度に認識
することができる。
て、その輪郭線の各頂点の３次元データを記憶するよう
にしているが、これに代えて、車種や車の色毎に複数種
の車輌モデルを設定しておき、各車輌モデルの各構成点
毎に、所定の基準点に対する相対的な空間座標と、その
位置における車輌の輝度や色彩に関わる情報を記憶する
ようにしても良い。この場合、入力画像の透視変換結果
から推定された対象物の位置および配置方向に応じて前
記（４３）（４４）式を実行することにより、各構成点
毎に透視変換先の２次元座標が算出されるとともに、そ
の構成点の保有する輝度や色彩などの情報が変換されて
変換モデル画像が生成される。さらにこの変換モデル画
像を画像メモリに記憶された透視変換画像上に対応づけ
て両画像データ間の相関を求めることにより、単に車輌
の有無のみならず、その車種や色彩までを高精度に認識
することができる。
【０１０２】さらに上記各実施例は、道路上を走行する
車輌を認識する場合を例にとって説明したが、この発明
はこれに限らず、各種の３次元対象物の認識処理に適用
できることは言うまでもない。
車輌を認識する場合を例にとって説明したが、この発明
はこれに限らず、各種の３次元対象物の認識処理に適用
できることは言うまでもない。
【０１０３】
【発明の効果】この発明は上記の如く、対象物を撮像し
て得られた画像を対象物の支持面を含む仮想水平面上に
透視変換するとともに、認識対象物の３次元モデルが支
持面上に配置されている状態の透視変換変換画像をモデ
ル画像として設定し、両透視変換結果を照合して対象物
を認識するようにしたので、３次元モデルに対する対象
物の位置ずれや回転ずれを２次元平面上で把握でき、精
度の高い照合処理を、短時間で行うことができる上、ハ
ードウエア構成の簡易化を実現することができる。
て得られた画像を対象物の支持面を含む仮想水平面上に
透視変換するとともに、認識対象物の３次元モデルが支
持面上に配置されている状態の透視変換変換画像をモデ
ル画像として設定し、両透視変換結果を照合して対象物
を認識するようにしたので、３次元モデルに対する対象
物の位置ずれや回転ずれを２次元平面上で把握でき、精
度の高い照合処理を、短時間で行うことができる上、ハ
ードウエア構成の簡易化を実現することができる。
【０１０４】請求項２の発明では、入力画像を透視変換
した画像から対象物の位置および配置方向を推定し、３
次元モデルがこの推定された位置、および配置方向に基
づき配置された状態における透視変換画像をモデル画像
として設定するので、３次元モデルの変換処理および対
象物の認識処理にかかる時間が大幅に削減でき、しかも
高精度の認識処理を行うことができる。
した画像から対象物の位置および配置方向を推定し、３
次元モデルがこの推定された位置、および配置方向に基
づき配置された状態における透視変換画像をモデル画像
として設定するので、３次元モデルの変換処理および対
象物の認識処理にかかる時間が大幅に削減でき、しかも
高精度の認識処理を行うことができる。
【０１０５】請求項３の発明では、入力画像を透視変換
した画像上で、対象物の特徴を示す点を抽出することに
より、対象物の位置および配置方向を簡単に推定するこ
とができる。
した画像上で、対象物の特徴を示す点を抽出することに
より、対象物の位置および配置方向を簡単に推定するこ
とができる。
【０１０６】請求項４の発明では、透視変換画像上の特
徴点とモデル画像中の対応する構成点との距離の総和に
より、また請求項５の発明では、透視変換画像上の各特
徴点により決定される画像領域とモデル画像との一致度
により、観測位置における対象物の有無が判別されるの
で、観測位置に観測対象の物体が存在するか否かを正確
に認識することができる。
徴点とモデル画像中の対応する構成点との距離の総和に
より、また請求項５の発明では、透視変換画像上の各特
徴点により決定される画像領域とモデル画像との一致度
により、観測位置における対象物の有無が判別されるの
で、観測位置に観測対象の物体が存在するか否かを正確
に認識することができる。
【図１】この発明にかかる車輌認識装置が組み込まれた
交通流計測装置の設置例を示す説明図である。
交通流計測装置の設置例を示す説明図である。
【図２】透視変換処理の原理を示す説明図である。
【図３】カメラからの入力画像を示す説明図である。
【図４】図３の入力画像を透視変換した結果を示す説明
図である。
図である。
【図５】図４の透視変換画像から特徴点を抽出した結果
を示す説明図である。
を示す説明図である。
【図６】車輌モデルの一例を示す説明図である。
【図７】任意の点Ｑの空間座標からこの点Ｑの透視変換
先の座標を算出する原理を示す説明図である。
先の座標を算出する原理を示す説明図である。
【図８】車輌認識装置の構成例を示すブロック図であ
る。
る。
【図９】車輌認識装置の他の構成例を示すブロック図で
ある。
ある。
【図１０】背景差分と２値化処理による特徴抽出結果を
示す説明図である。
示す説明図である。
【符号の説明】 ２ 透視変換処理部 ６，６Ａ 推定部 ７，７Ａ モデル記憶部 ８，８Ａ モデル座標変換部 ９，９Ａ マッチング処理部 １０ 判定部
Claims (5)
- 【請求項１】 所定の観測位置において３次元対象物を
認識するための装置であって、 前記観測位置における２次元画像を入力する画像入力手
段と、 前記画像入力手段により入力された画像を、対象物の支
持面を含む仮想水平面上に透視変換する画像変換手段
と、 認識対象物の３次元モデルが前記支持面上に配置された
状態を前記仮想水平面上に透視変換した結果を、透視変
換のモデル画像として設定するモデル画像設定手段と、 前記モデル画像を前記入力画像の透視変換結果と照合し
て、前記観測位置における対象物の有無を判別する判別
手段とを備えて成る物体認識装置。 - 【請求項２】 所定の観測位置において３次元対象物を
認識するための装置であって、 前記観測位置における２次元画像を入力する画像入力手
段と、 前記画像入力手段により入力された画像を、対象物の支
持面を含む仮想水平面上に透視変換する画像変換手段
と、 前記画像変換手段により透視変換された画像を用いて前
記支持面における対象物の位置および配置方向を推定す
る推定手段と、 認識対象物の３次元モデルが前記推定手段により推定さ
れた位置および配置方向に基づき配置された状態を前記
仮想水平面上に透視変換した画像を、透視変換のモデル
画像として設定するモデル画像設定手段と、 前記モデル画像を前記入力画像の透視変換結果と照合し
て、前記観測位置における対象物の有無を判別する判別
手段とを備えて成る物体認識装置。 - 【請求項３】 前記推定手段は、前記透視変換された画
像から対象物の特徴を示す点を抽出した後、その抽出結
果を用いて対象物の位置および配置方向を推定する請求
項２に記載された物体認識装置。 - 【請求項４】 前記判別手段は、透視変換された画像上
において、対象物の特徴を示す点毎に、前記モデル画像
中でこの特徴点に対応する構成点との距離を算出し、そ
の算出結果の総和を用いて観測位置における対象物の有
無を判別する請求項２に記載された物体認識装置。 - 【請求項５】 前記判別手段は、前記透視変換された画
像と前記モデル画像との一致度を算出し、この算出結果
を用いて観測位置における対象物の有無を判別する請求
項２に記載された物体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8227684A JPH1055446A (ja) | 1996-08-09 | 1996-08-09 | 物体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8227684A JPH1055446A (ja) | 1996-08-09 | 1996-08-09 | 物体認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1055446A true JPH1055446A (ja) | 1998-02-24 |
Family
ID=16864721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8227684A Pending JPH1055446A (ja) | 1996-08-09 | 1996-08-09 | 物体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1055446A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002202290A (ja) * | 2001-01-05 | 2002-07-19 | Daido Steel Co Ltd | 蛍光磁粉探傷方法および探傷装置 |
| JP2007333679A (ja) * | 2006-06-19 | 2007-12-27 | Mitsubishi Electric Corp | ３次元位置補正装置 |
| JP2010014693A (ja) * | 2008-06-03 | 2010-01-21 | Shimizu Corp | 配筋検査装置および配筋検査方法 |
| JP2011112379A (ja) * | 2009-11-24 | 2011-06-09 | Omron Corp | 画像処理装置および画像処理プログラム |
| JP2016099918A (ja) * | 2014-11-26 | 2016-05-30 | レノボ・シンガポール・プライベート・リミテッド | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム |
| WO2017096759A1 (zh) * | 2015-12-07 | 2017-06-15 | 腾讯科技（深圳）有限公司 | 一种检测图像中信息卡的方法、装置和系统 |
| CN108136954A (zh) * | 2015-09-14 | 2018-06-08 | 法雷奥照明公司 | 用于将图像投影到投影表面上的用于机动车辆的投影方法 |
| JP2019074398A (ja) * | 2017-10-16 | 2019-05-16 | 独立行政法人自動車技術総合機構 | 車両周囲認識センサ検査システム、車両周囲認識センサ検査方法 |
| JP2020042818A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 |
-
1996
- 1996-08-09 JP JP8227684A patent/JPH1055446A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002202290A (ja) * | 2001-01-05 | 2002-07-19 | Daido Steel Co Ltd | 蛍光磁粉探傷方法および探傷装置 |
| JP2007333679A (ja) * | 2006-06-19 | 2007-12-27 | Mitsubishi Electric Corp | ３次元位置補正装置 |
| JP2010014693A (ja) * | 2008-06-03 | 2010-01-21 | Shimizu Corp | 配筋検査装置および配筋検査方法 |
| JP2011112379A (ja) * | 2009-11-24 | 2011-06-09 | Omron Corp | 画像処理装置および画像処理プログラム |
| JP2016099918A (ja) * | 2014-11-26 | 2016-05-30 | レノボ・シンガポール・プライベート・リミテッド | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム |
| CN108136954A (zh) * | 2015-09-14 | 2018-06-08 | 法雷奥照明公司 | 用于将图像投影到投影表面上的用于机动车辆的投影方法 |
| CN108136954B (zh) * | 2015-09-14 | 2021-06-11 | 法雷奥照明公司 | 用于将图像投影到投影表面上的用于机动车辆的投影方法 |
| WO2017096759A1 (zh) * | 2015-12-07 | 2017-06-15 | 腾讯科技（深圳）有限公司 | 一种检测图像中信息卡的方法、装置和系统 |
| US10410053B2 (en) | 2015-12-07 | 2019-09-10 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, system, and storage medium for detecting information card in image |
| JP2019074398A (ja) * | 2017-10-16 | 2019-05-16 | 独立行政法人自動車技術総合機構 | 車両周囲認識センサ検査システム、車両周囲認識センサ検査方法 |
| JP2020042818A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 |
| US11024045B2 (en) | 2018-09-07 | 2021-06-01 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating three-dimensional data, device, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7151996B2 (en) | System and method for generating a model of the path of a roadway from an image recorded by a camera | |
| JP4899424B2 (ja) | 物体検出装置 | |
| US20020134151A1 (en) | Apparatus and method for measuring distances | |
| JP2004334819A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
| JP2000339468A (ja) | ３次元データの位置合わせ方法及び装置 | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP2004117078A (ja) | 障害物検出装置及び方法 | |
| JP2006071471A (ja) | 移動体高さ判別装置 | |
| JP4521235B2 (ja) | 撮影画像の変化抽出装置及び方法 | |
| JP2000517452A (ja) | 視認の方法 | |
| US10872246B2 (en) | Vehicle lane detection system | |
| JPH1055446A (ja) | 物体認識装置 | |
| KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| Tan et al. | Fast Vehicle Localisation and Recognition Without Line Extraction and Matching. | |
| KR102065337B1 (ko) | 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법 | |
| JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
| JP3605955B2 (ja) | 車輌判別装置 | |
| JP3465531B2 (ja) | 物体認識方法およびその装置 | |
| JP3503543B2 (ja) | 道路構造認識方法、距離測定方法及び距離測定装置 | |
| JPH11211738A (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| CN107292932B (zh) | 基于图像膨胀率的迎面视频测速方法 | |
| JPH1151611A (ja) | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 | |
| CN110008918B (zh) | 一种摩托车模拟器驾驶员姿态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040706 |