JPH06265330A - 画像計測装置 - Google Patents
画像計測装置Info
- Publication number
- JPH06265330A JPH06265330A JP5050756A JP5075693A JPH06265330A JP H06265330 A JPH06265330 A JP H06265330A JP 5050756 A JP5050756 A JP 5050756A JP 5075693 A JP5075693 A JP 5075693A JP H06265330 A JPH06265330 A JP H06265330A
- Authority
- JP
- Japan
- Prior art keywords
- vanishing point
- image
- vehicle
- straight line
- width direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 道路交通状況の画像から道路面の傾斜方向を
計測する画像計測装置に関し、より広い範囲の適用場所
に対して計測を可能とすることを目的とする。 【構成】 画像入力部１０１は、道路交通状況を撮像し
たデジタル画像データを算出する。車線方向の消失点決
定部１０２は、この画像から車両領域を抽出し、それに
基づき車両経路を抽出し、更にそれに基づいて車線方向
の消失点を算出する。直線成分抽出部１０３は、微小時
間間隔で入力された２枚の上記画像から差分画像を算出
し、そこから有効なエッジ部分を抽出し、それに対応す
る直線成分を抽出する。車幅方向の消失点候補算出部１
０４は、抽出された２本以上の直線を用いてその交点を
求めることにより、車幅方向の消失点候補を算出する。
傾斜方向決定部１０５は、車線方向の消失点と車幅方向
の消失点候補とを用い、これらの消失点に最も適合する
平面を算出し、その平面の傾斜方向を決定する。
計測する画像計測装置に関し、より広い範囲の適用場所
に対して計測を可能とすることを目的とする。 【構成】 画像入力部１０１は、道路交通状況を撮像し
たデジタル画像データを算出する。車線方向の消失点決
定部１０２は、この画像から車両領域を抽出し、それに
基づき車両経路を抽出し、更にそれに基づいて車線方向
の消失点を算出する。直線成分抽出部１０３は、微小時
間間隔で入力された２枚の上記画像から差分画像を算出
し、そこから有効なエッジ部分を抽出し、それに対応す
る直線成分を抽出する。車幅方向の消失点候補算出部１
０４は、抽出された２本以上の直線を用いてその交点を
求めることにより、車幅方向の消失点候補を算出する。
傾斜方向決定部１０５は、車線方向の消失点と車幅方向
の消失点候補とを用い、これらの消失点に最も適合する
平面を算出し、その平面の傾斜方向を決定する。
Description
【０００１】
【産業上の利用分野】本発明は、撮像装置から取り込ん
だ画像に基づいて、その画像の対象となった道路面の傾
斜方向を計測する画像計測装置に関する。
だ画像に基づいて、その画像の対象となった道路面の傾
斜方向を計測する画像計測装置に関する。
【０００２】
【従来の技術】道路の上方に設置されたテレビカメラ等
の撮像装置によって交通状況の監視が行われる場合、画
像に撮像されている道路面の傾斜方向を計測すること
は、画像中の車両の実世界における位置を決定するため
に必要であり、更には画像処理によって走行車両の検出
や追跡を行う場合に有効である。
の撮像装置によって交通状況の監視が行われる場合、画
像に撮像されている道路面の傾斜方向を計測すること
は、画像中の車両の実世界における位置を決定するため
に必要であり、更には画像処理によって走行車両の検出
や追跡を行う場合に有効である。
【０００３】ここで、道路面の傾斜方向とは、道路面を
平面であると仮定した場合の、カメラに対する道路面の
法線ベクトルの方向をいう。カメラから得られた画像に
基づいて道路面の傾斜方向の計測が行われる場合にその
画像から得られる有効な特徴情報として、消失点と呼ば
れるものがある。この消失点とは、実世界で互いに平行
な直線が、撮像された画像上で交差する点をいう。平面
の方向は、目的とする平面と平行な複数の直線から算出
される消失点を二点以上用いることにより決定すること
ができる。この手法について述べられた文献としては、
例えば、金谷健一著の「画像理解」がある。
平面であると仮定した場合の、カメラに対する道路面の
法線ベクトルの方向をいう。カメラから得られた画像に
基づいて道路面の傾斜方向の計測が行われる場合にその
画像から得られる有効な特徴情報として、消失点と呼ば
れるものがある。この消失点とは、実世界で互いに平行
な直線が、撮像された画像上で交差する点をいう。平面
の方向は、目的とする平面と平行な複数の直線から算出
される消失点を二点以上用いることにより決定すること
ができる。この手法について述べられた文献としては、
例えば、金谷健一著の「画像理解」がある。
【０００４】従来、画像から道路面の傾斜方向の計測を
行う第１の従来技術として、道路面の特徴を用いた方式
がある。この方式では、主に１枚の画像について路面の
センターラインや路肩の白線・境界線などの特徴が抽出
されることにより二点以上の消失点が求められ、それら
の消失点を用いて傾斜方向が抽出される。
行う第１の従来技術として、道路面の特徴を用いた方式
がある。この方式では、主に１枚の画像について路面の
センターラインや路肩の白線・境界線などの特徴が抽出
されることにより二点以上の消失点が求められ、それら
の消失点を用いて傾斜方向が抽出される。
【０００５】上述の手法について述べられた技術論文と
しては、Shih-Ping Liou,Ramesh C.Jain著の「Road Fol
lowing Using Vanishing Points 」がある。また、画像
から道路面の傾斜方向の計測を行う第２の従来技術とし
て、複数枚の画像から得られた道路面上の車両の動き情
報を用いた方式がある。この方式では、まず平行でない
二方向に車両が走行する交差点等において、画像から車
両の複数の走行経路が抽出される。１つの走行車両は道
路面上に拘束されてほぼ同じ方向に動くことから、抽出
された複数の走行経路を用いて動きの消失点が各方向に
ついて算出されることにより、道路面の傾斜方向が抽出
される。
しては、Shih-Ping Liou,Ramesh C.Jain著の「Road Fol
lowing Using Vanishing Points 」がある。また、画像
から道路面の傾斜方向の計測を行う第２の従来技術とし
て、複数枚の画像から得られた道路面上の車両の動き情
報を用いた方式がある。この方式では、まず平行でない
二方向に車両が走行する交差点等において、画像から車
両の複数の走行経路が抽出される。１つの走行車両は道
路面上に拘束されてほぼ同じ方向に動くことから、抽出
された複数の走行経路を用いて動きの消失点が各方向に
ついて算出されることにより、道路面の傾斜方向が抽出
される。
【０００６】上述の手法について述べられた技術論文と
しては、Xu Li-Qun, David Young,David Hogg著の「Bui
lding a Model of a Road Junction Using Moving Vehi
cleInformation」がある。
しては、Xu Li-Qun, David Young,David Hogg著の「Bui
lding a Model of a Road Junction Using Moving Vehi
cleInformation」がある。
【０００７】
【発明が解決しようとする課題】しかし、上述した第１
の従来技術では、計測が行われる場所によっては、採用
されるセンターラインなどの有効な特徴が必ずしも路面
上に存在するとは限らないため、道路面の傾斜方向の計
測が可能な場所が上述のような道路面の特徴が存在する
場所に限られてしまうという問題点を有している。
の従来技術では、計測が行われる場所によっては、採用
されるセンターラインなどの有効な特徴が必ずしも路面
上に存在するとは限らないため、道路面の傾斜方向の計
測が可能な場所が上述のような道路面の特徴が存在する
場所に限られてしまうという問題点を有している。
【０００８】また、上述した第２の従来技術では、道路
面の傾斜方向の計測のために複数の走行経路が必要であ
るため、道路面の傾斜方向の計測が可能な場所が、２方
向以上の経路が同時に画像に撮像される交差点等の場所
に限られてしまうという問題点を有している。
面の傾斜方向の計測のために複数の走行経路が必要であ
るため、道路面の傾斜方向の計測が可能な場所が、２方
向以上の経路が同時に画像に撮像される交差点等の場所
に限られてしまうという問題点を有している。
【０００９】以上のように、従来技術は、道路面の傾斜
方向の計測が可能な場所が限定されてしまうという問題
点を有している。本発明は、より広い範囲の適用場所に
対して、カメラから得られた道路交通状況の画像から道
路面の傾斜方向の計測を可能とすることを目的とする。
方向の計測が可能な場所が限定されてしまうという問題
点を有している。本発明は、より広い範囲の適用場所に
対して、カメラから得られた道路交通状況の画像から道
路面の傾斜方向の計測を可能とすることを目的とする。
【００１０】
【課題を解決するための手段】本発明は、道路交通状況
をテレビカメラなどにより撮像して得られるデジタル画
像などの画像から、道路面の傾斜方向を画像処理により
計測する画像計測装置を前提とする。
をテレビカメラなどにより撮像して得られるデジタル画
像などの画像から、道路面の傾斜方向を画像処理により
計測する画像計測装置を前提とする。
【００１１】まず、車線方向消失点決定手段は、画像中
の走行する車両の経路を複数抽出して、道路の車線方向
の消失点を決定する。この手段は、次のような車両領域
抽出手段、車両経路抽出手段、及び車線方向の消失点の
算出手段とから構成される。即ち、まず、車両領域抽出
手段は、連続する所定間隔の複数の時点で撮像された複
数の画像のそれぞれから車両の領域を抽出する処理を、
複数の車両について実行する。次に、車両経路抽出手段
は、複数の車両のそれぞれについて、車両領域抽出手段
で連続する所定間隔の複数の時点で抽出された複数の領
域の軌跡、例えば重心の軌跡として、車両の経路を抽出
する。そして、車線方向の消失点の算出手段は、抽出さ
れた複数の車両の経路のそれぞれについてその経路を直
線経路で近似し、その複数の直線経路の交点として車線
方向の消失点を算出する。
の走行する車両の経路を複数抽出して、道路の車線方向
の消失点を決定する。この手段は、次のような車両領域
抽出手段、車両経路抽出手段、及び車線方向の消失点の
算出手段とから構成される。即ち、まず、車両領域抽出
手段は、連続する所定間隔の複数の時点で撮像された複
数の画像のそれぞれから車両の領域を抽出する処理を、
複数の車両について実行する。次に、車両経路抽出手段
は、複数の車両のそれぞれについて、車両領域抽出手段
で連続する所定間隔の複数の時点で抽出された複数の領
域の軌跡、例えば重心の軌跡として、車両の経路を抽出
する。そして、車線方向の消失点の算出手段は、抽出さ
れた複数の車両の経路のそれぞれについてその経路を直
線経路で近似し、その複数の直線経路の交点として車線
方向の消失点を算出する。
【００１２】続いて、直線成分抽出手段は、連続する複
数の時点で撮像された複数の画像から、車両の車幅方向
の直線成分を逐次抽出する。この手段は、例えば次のよ
うな差分画像算出手段、エッジ抽出手段、及び直線抽出
手段から構成される。即ち、差分画像算出手段は、連続
する複数の時点で撮像された複数の画像から、それらの
差分画像を算出する。次に、エッジ抽出手段は、その算
出された差分画像から有効なエッジを複数抽出する。そ
して、直線抽出手段は、その抽出された複数のエッジの
それぞれに直線を当てはめ、その複数のエッジのそれぞ
れに対応する直線成分を車両の車幅方向の直線成分とし
て抽出する。
数の時点で撮像された複数の画像から、車両の車幅方向
の直線成分を逐次抽出する。この手段は、例えば次のよ
うな差分画像算出手段、エッジ抽出手段、及び直線抽出
手段から構成される。即ち、差分画像算出手段は、連続
する複数の時点で撮像された複数の画像から、それらの
差分画像を算出する。次に、エッジ抽出手段は、その算
出された差分画像から有効なエッジを複数抽出する。そ
して、直線抽出手段は、その抽出された複数のエッジの
それぞれに直線を当てはめ、その複数のエッジのそれぞ
れに対応する直線成分を車両の車幅方向の直線成分とし
て抽出する。
【００１３】更に、車幅方向の消失点候補算出手段は、
抽出された車両の車幅方向の直線成分から、車両の車幅
方向の消失点候補を算出する。この手段は、例えば直線
成分抽出手段で抽出された複数の直線から任意に選択さ
れる複数組の２本の直線の組のそれぞれについてその交
点を算出することにより、車幅方向の消失点候補を算出
する。そして、この場合の交点は、例えばその交点に対
応する２本の直線の組が含まれる画像の焦点からその画
像上の交点に向かう方向の直線の単位ベクトルの成分と
して算出される。
抽出された車両の車幅方向の直線成分から、車両の車幅
方向の消失点候補を算出する。この手段は、例えば直線
成分抽出手段で抽出された複数の直線から任意に選択さ
れる複数組の２本の直線の組のそれぞれについてその交
点を算出することにより、車幅方向の消失点候補を算出
する。そして、この場合の交点は、例えばその交点に対
応する２本の直線の組が含まれる画像の焦点からその画
像上の交点に向かう方向の直線の単位ベクトルの成分と
して算出される。
【００１４】そして、傾斜方向決定手段は、車線方向の
消失点と車幅方向の消失点候補とから、道路面の傾斜方
向を決定する。この手段は、例えば車線方向の消失点と
画像の焦点を通過する平面であって複数の車幅方向の消
失点候補に最も適合する平面を、最小二乗法により決定
することによって、例えばその平面の法線ベクトルとし
て、道路面の傾斜方向を決定する。
消失点と車幅方向の消失点候補とから、道路面の傾斜方
向を決定する。この手段は、例えば車線方向の消失点と
画像の焦点を通過する平面であって複数の車幅方向の消
失点候補に最も適合する平面を、最小二乗法により決定
することによって、例えばその平面の法線ベクトルとし
て、道路面の傾斜方向を決定する。
【００１５】
【作用】本発明では、画像上の消失点として、車線方向
消失点決定手段により決定される道路の車線方向の消失
点のほかに、直線成分抽出手段によって抽出された車両
の車幅方向の直線成分に基づいて車幅方向の消失点候補
算出手段により算出された車両の車幅方向の消失点候補
が採用される。傾斜方向決定手段は、これらの消失点に
基づいて、道路面の傾斜方向を決定することができる。
従って、一方向の車両走行経路が得られれば、道路面の
傾斜方向を計測することができる。
消失点決定手段により決定される道路の車線方向の消失
点のほかに、直線成分抽出手段によって抽出された車両
の車幅方向の直線成分に基づいて車幅方向の消失点候補
算出手段により算出された車両の車幅方向の消失点候補
が採用される。傾斜方向決定手段は、これらの消失点に
基づいて、道路面の傾斜方向を決定することができる。
従って、一方向の車両走行経路が得られれば、道路面の
傾斜方向を計測することができる。
【００１６】ここで、傾斜方向決定手段は、例えば車線
方向の消失点と画像の焦点を通過する平面であって複数
の車幅方向の消失点候補に最も適合する平面を、最小二
乗法により決定することによって、車幅方向の直線成分
の抽出誤差を軽減することができる。
方向の消失点と画像の焦点を通過する平面であって複数
の車幅方向の消失点候補に最も適合する平面を、最小二
乗法により決定することによって、車幅方向の直線成分
の抽出誤差を軽減することができる。
【００１７】
【実施例】以下、図面を用いて本発明の実施例につき詳
細に説明する。図１は、本発明の実施例の構成図であ
り、図２は、図１の実施例が適用されるコンピュータシ
ステムの構成図である。
細に説明する。図１は、本発明の実施例の構成図であ
り、図２は、図１の実施例が適用されるコンピュータシ
ステムの構成図である。
【００１８】画像入力部１０１は、図２のカメラ２０
１、Ａ／Ｄ変換器２０２、ＣＰＵ（中央処理装置）２０
３０とメモリ２０３１とからなる情報処理装置２０３、
及び磁気ディスク、光ディスク等の補助記憶装置２０５
とからなる部分の機能として実現され、道路交通状況を
撮像することにより、デジタル画像データを算出する。
算出されたデジタル画像デジタルは、補助記憶装置２０
５に記憶される。
１、Ａ／Ｄ変換器２０２、ＣＰＵ（中央処理装置）２０
３０とメモリ２０３１とからなる情報処理装置２０３、
及び磁気ディスク、光ディスク等の補助記憶装置２０５
とからなる部分の機能として実現され、道路交通状況を
撮像することにより、デジタル画像データを算出する。
算出されたデジタル画像デジタルは、補助記憶装置２０
５に記憶される。
【００１９】車線方向の消失点決定部１０２は、情報処
理装置２０３及び補助記憶装置２０５とからなる部分の
機能として実現され、画像入力部３０１によって入力さ
れた道路交通状況のデジタル画像データから、車両領域
の抽出とその領域の情報を用いた車両経路の抽出を行
い、抽出された車両経路から車線方向の消失点を算出す
る。
理装置２０３及び補助記憶装置２０５とからなる部分の
機能として実現され、画像入力部３０１によって入力さ
れた道路交通状況のデジタル画像データから、車両領域
の抽出とその領域の情報を用いた車両経路の抽出を行
い、抽出された車両経路から車線方向の消失点を算出す
る。
【００２０】直線成分抽出部１０３は、情報処理装置２
０３及び補助記憶装置２０５とからなる部分の機能とし
て実現され、画像入力部３０１によって微小時間間隔で
入力された２枚の道路交通状況のデジタル画像データか
ら差分画像を算出し、その差分画像から有効なエッジ部
分を抽出する。更に、直線成分抽出部１０３は、有効な
エッジ部分に対して直線の当てはめを行うことにより直
線成分を抽出する。
０３及び補助記憶装置２０５とからなる部分の機能とし
て実現され、画像入力部３０１によって微小時間間隔で
入力された２枚の道路交通状況のデジタル画像データか
ら差分画像を算出し、その差分画像から有効なエッジ部
分を抽出する。更に、直線成分抽出部１０３は、有効な
エッジ部分に対して直線の当てはめを行うことにより直
線成分を抽出する。
【００２１】車幅方向の消失点候補算出部１０４は、情
報処理装置２０３及び補助記憶装置２０５とからなる部
分の機能として実現され、直線成分抽出部３０３で抽出
された２本以上の直線を用いてその交点を求めることに
より、車幅方向の消失点候補を算出する。
報処理装置２０３及び補助記憶装置２０５とからなる部
分の機能として実現され、直線成分抽出部３０３で抽出
された２本以上の直線を用いてその交点を求めることに
より、車幅方向の消失点候補を算出する。
【００２２】傾斜方向決定部１０５は、情報処理装置２
０３及び補助記憶装置２０５とからなる部分の機能とし
て実現され、車線方向の消失点決定部１０２で抽出され
た車線方向の消失点と、車幅方向の消失点候補算出部１
０４で算出された車幅方向の消失点候補とを用い、これ
らの消失点に最も適合する平面を算出し、その平面の傾
斜方向を決定する。
０３及び補助記憶装置２０５とからなる部分の機能とし
て実現され、車線方向の消失点決定部１０２で抽出され
た車線方向の消失点と、車幅方向の消失点候補算出部１
０４で算出された車幅方向の消失点候補とを用い、これ
らの消失点に最も適合する平面を算出し、その平面の傾
斜方向を決定する。
【００２３】なお、入力された画像データやその他の各
種データは、ＣＲＴ４に随時表示される。上述の構成に
基づく本発明の実施例の動作について以下に説明する。
種データは、ＣＲＴ４に随時表示される。上述の構成に
基づく本発明の実施例の動作について以下に説明する。
【００２４】まず、図１の車線方向の消失点決定部１０
２は、画像入力部３０１によって入力された道路交通状
況のデジタル画像データから、図３の動作フローチャー
トに示されるように、ステップＳ３０１で示される車両
領域の抽出処理と、その領域の情報を用いたステップＳ
３０２で示される車両経路の抽出処理を行い、抽出され
た車両経路からステップＳ３０３で示される車線方向の
消失点の算出処理を実行する。ここで、図３の動作フロ
ーチャートは、図２のＣＰＵ２０３０が、補助記憶装置
２０５からメモリ２０３１にロードされた制御プログラ
ムを実行する動作として実現される。
２は、画像入力部３０１によって入力された道路交通状
況のデジタル画像データから、図３の動作フローチャー
トに示されるように、ステップＳ３０１で示される車両
領域の抽出処理と、その領域の情報を用いたステップＳ
３０２で示される車両経路の抽出処理を行い、抽出され
た車両経路からステップＳ３０３で示される車線方向の
消失点の算出処理を実行する。ここで、図３の動作フロ
ーチャートは、図２のＣＰＵ２０３０が、補助記憶装置
２０５からメモリ２０３１にロードされた制御プログラ
ムを実行する動作として実現される。
【００２５】以下に、これらの処理について、図５、図
６を用いて説明する。図５における（ｘ，ｙ）は、画像
平面の座標を示す。まず、図３のステップＳ３０１で示
される車両領域抽出処理では、画像入力部１０１によっ
て予め撮像され補助記憶装置２０５に記憶されている同
一場所における車両の存在しない画像（以下、参照画像
という）と、画像入力部１０１によって新たに撮像され
たデジタル画像（以下、単に画像という）とで、対応す
る画素毎にそれらの輝度値の差が算出され、その結果得
られる差分画像の各画素が所定の閾値を境として２値化
されることによって、車両領域Ｒi が抽出される。そし
て、このような処理が、一定時間後の画像についても逐
次行われて、同一の車両の領域Ｒi+1 、・・・が順次抽
出される。
６を用いて説明する。図５における（ｘ，ｙ）は、画像
平面の座標を示す。まず、図３のステップＳ３０１で示
される車両領域抽出処理では、画像入力部１０１によっ
て予め撮像され補助記憶装置２０５に記憶されている同
一場所における車両の存在しない画像（以下、参照画像
という）と、画像入力部１０１によって新たに撮像され
たデジタル画像（以下、単に画像という）とで、対応す
る画素毎にそれらの輝度値の差が算出され、その結果得
られる差分画像の各画素が所定の閾値を境として２値化
されることによって、車両領域Ｒi が抽出される。そし
て、このような処理が、一定時間後の画像についても逐
次行われて、同一の車両の領域Ｒi+1 、・・・が順次抽
出される。
【００２６】次に、図３のステップＳ３０２の車両経路
抽出処理では、ステップＳ３０１の車両領域抽出処理に
よって異なる時刻において抽出された同一車両の領域Ｒ
i 、Ｒi+1 、・・・の重心Ｇi 、Ｇi+1 、・・・が逐次
算出され、隣接する重心同士を結ぶ直線として、車両の
経路Ｖi 、Ｖi+1 、・・・が逐次抽出される。このよう
な処理が、多くの車両に対して行われる。
抽出処理では、ステップＳ３０１の車両領域抽出処理に
よって異なる時刻において抽出された同一車両の領域Ｒ
i 、Ｒi+1 、・・・の重心Ｇi 、Ｇi+1 、・・・が逐次
算出され、隣接する重心同士を結ぶ直線として、車両の
経路Ｖi 、Ｖi+1 、・・・が逐次抽出される。このよう
な処理が、多くの車両に対して行われる。
【００２７】そして、図３のステップＳ３０３の車線方
向の消失点の算出処理では、ステップＳ３０２の車両経
路抽出処理で抽出された車両の経路Ｖi 、Ｖi+1 、・・
・から近似処理によって直線経路Ｔi が算出され、更に
別の車両の経路についても直線経路Ｔj が近似的に算出
される。このようにして、２本以上の直線経路Ｔi 、Ｔ
j 、・・・が近似的に算出される。そして、これらの直
線経路がほぼ交わる交点として車線方向の消失点Ｐが算
出される。
向の消失点の算出処理では、ステップＳ３０２の車両経
路抽出処理で抽出された車両の経路Ｖi 、Ｖi+1 、・・
・から近似処理によって直線経路Ｔi が算出され、更に
別の車両の経路についても直線経路Ｔj が近似的に算出
される。このようにして、２本以上の直線経路Ｔi 、Ｔ
j 、・・・が近似的に算出される。そして、これらの直
線経路がほぼ交わる交点として車線方向の消失点Ｐが算
出される。
【００２８】一方、図１の直線成分抽出部１０３は、画
像入力部３０１によって微小時間間隔で入力された２枚
の道路交通状況のデジタル画像データを用い、図４の動
作フローチャートで示されるように、ステップＳ４０１
で示される２枚の画像からの差分画像の算出処理、差分
画像からの任意の窓関数を用いたステップＳ４０２で示
されるエッジ抽出処理、所定の閾値以上の画素を有する
有効なエッジのみを抽出するステップＳ４０３で示され
る閾値処理、及びその有効なエッジ部分に対し直線の当
てはめを行うステップＳ４０４で示される直線抽出処理
を実行する。ここで、図４の動作フローチャートは、図
３の場合と同様、図２のＣＰＵ２０３０が、補助記憶装
置２０５からメモリ２０３１にロードされた制御プログ
ラムを実行する動作として実現される。
像入力部３０１によって微小時間間隔で入力された２枚
の道路交通状況のデジタル画像データを用い、図４の動
作フローチャートで示されるように、ステップＳ４０１
で示される２枚の画像からの差分画像の算出処理、差分
画像からの任意の窓関数を用いたステップＳ４０２で示
されるエッジ抽出処理、所定の閾値以上の画素を有する
有効なエッジのみを抽出するステップＳ４０３で示され
る閾値処理、及びその有効なエッジ部分に対し直線の当
てはめを行うステップＳ４０４で示される直線抽出処理
を実行する。ここで、図４の動作フローチャートは、図
３の場合と同様、図２のＣＰＵ２０３０が、補助記憶装
置２０５からメモリ２０３１にロードされた制御プログ
ラムを実行する動作として実現される。
【００２９】以下に、これらの処理について、図７、図
８を用いて説明する。まず、図７において、Ｉt 、Ｉ
t+1 は微小時間間隔で得られた２枚の画像を表してい
る。撮像されている車両は走行しており、微小時間が経
過する間にその位置がわずかに異なる。そこで、まず、
ステップＳ４０１で、この２枚の画像について、次式に
示されるように、各画素毎にそれらの輝度値の差が算出
され、差分画像Ｄが算出される。
８を用いて説明する。まず、図７において、Ｉt 、Ｉ
t+1 は微小時間間隔で得られた２枚の画像を表してい
る。撮像されている車両は走行しており、微小時間が経
過する間にその位置がわずかに異なる。そこで、まず、
ステップＳ４０１で、この２枚の画像について、次式に
示されるように、各画素毎にそれらの輝度値の差が算出
され、差分画像Ｄが算出される。
【００３０】
【数１】
【００３１】次に、ステップＳ４０２のエッジ抽出処理
で、上述の差分画像の各画素に対して所定の窓関数が処
理されることにより、エッジ部分が抽出される。続い
て、ステップＳ４０３の閾値処理で、抽出されたエッジ
部分のうち所定の閾値以上の画素を有するものとして、
図８に示されるように、有効なエッジＥiのみが抽出さ
れる。この処理によって、車幅方向（車両の横方向）の
直線成分を抽出するのに不要な微小エッジが除去され
る。
で、上述の差分画像の各画素に対して所定の窓関数が処
理されることにより、エッジ部分が抽出される。続い
て、ステップＳ４０３の閾値処理で、抽出されたエッジ
部分のうち所定の閾値以上の画素を有するものとして、
図８に示されるように、有効なエッジＥiのみが抽出さ
れる。この処理によって、車幅方向（車両の横方向）の
直線成分を抽出するのに不要な微小エッジが除去され
る。
【００３２】そして、ステップＳ４０４の直線抽出処理
で、ハフ変換とよばれる画像の直線抽出法に基づいて、
上述の有効なエッジＥi に対して直線の当てはめが行わ
れ、図８に示されるように、直線Ｌi が抽出される。
で、ハフ変換とよばれる画像の直線抽出法に基づいて、
上述の有効なエッジＥi に対して直線の当てはめが行わ
れ、図８に示されるように、直線Ｌi が抽出される。
【００３３】次に、図１の車幅方向の消失点候補算出部
１０４は、直線成分抽出部３０３で抽出された２本以上
の直線を用いてその交点を求めることにより、車幅方向
の消失点候補を算出する。実際の車幅方向の消失点候補
の算出法を図９を用いて説明する。
１０４は、直線成分抽出部３０３で抽出された２本以上
の直線を用いてその交点を求めることにより、車幅方向
の消失点候補を算出する。実際の車幅方向の消失点候補
の算出法を図９を用いて説明する。
【００３４】図９に示してある点Ｏはカメラの焦点、I
は画像を表し、ｆは焦点Ｏから画像Ｉまでの距離であり
焦点距離と呼ばれる。また、（Ｘ，Ｙ，Ｚ）はカメラを
中心とした座標を表し、それぞれ撮像面のＸ方向、Ｙ方
向、及びカメラの光軸方向に対応する。
は画像を表し、ｆは焦点Ｏから画像Ｉまでの距離であり
焦点距離と呼ばれる。また、（Ｘ，Ｙ，Ｚ）はカメラを
中心とした座標を表し、それぞれ撮像面のＸ方向、Ｙ方
向、及びカメラの光軸方向に対応する。
【００３５】図９に示されるように、車幅方向の消失点
候補Ｑijは、焦点Ｏから直線成分抽出部１０３で得られ
た直線Ｌi 、Ｌj の画像上の交点へ向かう方向の直線の
単位ベクトルで与えられる。換言するならば、車幅方向
の消失点候補Ｑijは、画像上の直線Ｌi を含み焦点Ｏを
通る平面が焦点Ｏを原点とし半径が１の球面と交わると
きの交線である曲線と、画像上の直線Ｌj を含み焦点Ｏ
を通る平面が上述の球面と交わるときの交線である曲線
との交点として算出される。このように、画像上の直線
Ｌi 、Ｌj が焦点Ｏを中心とする球面に仮想的に投影さ
れた上で、それらの交点として車幅方向の消失点候補Ｑ
ijが算出されることにより、画像上の直線Ｌi 、Ｌj が
平行である場合であってもこれらの直線に対応する球面
上の曲線は交わるため、球面上で車幅方向の消失点候補
を求めることができる。
候補Ｑijは、焦点Ｏから直線成分抽出部１０３で得られ
た直線Ｌi 、Ｌj の画像上の交点へ向かう方向の直線の
単位ベクトルで与えられる。換言するならば、車幅方向
の消失点候補Ｑijは、画像上の直線Ｌi を含み焦点Ｏを
通る平面が焦点Ｏを原点とし半径が１の球面と交わると
きの交線である曲線と、画像上の直線Ｌj を含み焦点Ｏ
を通る平面が上述の球面と交わるときの交線である曲線
との交点として算出される。このように、画像上の直線
Ｌi 、Ｌj が焦点Ｏを中心とする球面に仮想的に投影さ
れた上で、それらの交点として車幅方向の消失点候補Ｑ
ijが算出されることにより、画像上の直線Ｌi 、Ｌj が
平行である場合であってもこれらの直線に対応する球面
上の曲線は交わるため、球面上で車幅方向の消失点候補
を求めることができる。
【００３６】今、直線Ｌi 、Ｌj の画像上での表現は、
次式によって与えられる。
次式によって与えられる。
【００３７】
【数２】
【００３８】この結果、車幅方向の消失点候補Ｑijは、
次式によって算出される。
次式によって算出される。
【００３９】
【数３】
【００４０】以上の処理が、直線成分抽出部３０３で抽
出された複数本の直線から任意に選択される複数組の２
本の直線の組Ｌi 、Ｌj に対して繰り返し実行されるこ
とにより、複数個の車幅方向の消失点候補Ｑijを算出す
ることができる。
出された複数本の直線から任意に選択される複数組の２
本の直線の組Ｌi 、Ｌj に対して繰り返し実行されるこ
とにより、複数個の車幅方向の消失点候補Ｑijを算出す
ることができる。
【００４１】最後に、傾斜方向決定部１０５は、車線方
向の消失点決定部１０２で抽出された車線方向の消失点
と、車幅方向の消失点候補算出部１０４で算出された車
幅方向の消失点候補とを用い、これらの消失点に最も適
合する平面を算出し、その平面の傾斜方向を決定する。
向の消失点決定部１０２で抽出された車線方向の消失点
と、車幅方向の消失点候補算出部１０４で算出された車
幅方向の消失点候補とを用い、これらの消失点に最も適
合する平面を算出し、その平面の傾斜方向を決定する。
【００４２】ここで、道路面の傾斜方向は、道路面を平
面であると仮定した場合の、カメラに対する道路面の法
線ベクトルの方向として定義される。従って、車線方向
の消失点と車幅方向の消失点候補が含まれる平面を算出
できれば、道路面の傾斜方向を決定できる。
面であると仮定した場合の、カメラに対する道路面の法
線ベクトルの方向として定義される。従って、車線方向
の消失点と車幅方向の消失点候補が含まれる平面を算出
できれば、道路面の傾斜方向を決定できる。
【００４３】以下に、傾斜方向の決定処理について、図
１０を用いて説明する。図１０において、Ｓは求める平
面を表し、点Ｐは車線方向の消失点決定部１０２によっ
て既に得られている車線方向の消失点を表す。また、点
Ｑk は、車幅方向の消失点候補算出部１０４によって算
出された車幅方向の消失点候補であり、添字ｋは第ｋ番
目の任意の消失点候補を表す。その他の表記は図９の場
合と同様である。
１０を用いて説明する。図１０において、Ｓは求める平
面を表し、点Ｐは車線方向の消失点決定部１０２によっ
て既に得られている車線方向の消失点を表す。また、点
Ｑk は、車幅方向の消失点候補算出部１０４によって算
出された車幅方向の消失点候補であり、添字ｋは第ｋ番
目の任意の消失点候補を表す。その他の表記は図９の場
合と同様である。
【００４４】傾斜方向決定部１０５は、車線方向の消失
点Ｐと原点Ｏを通過し複数の車幅方向の消失点候補Ｑk
に最も適合する平面Ｓを、最小二乗法により決定する。
まず、図１０に示される３次元座標上での平面Ｓ、車線
方向の消失点Ｐ、及び複数の車幅方向の消失点候補Ｑk
の表現を、次式で表わす。
点Ｐと原点Ｏを通過し複数の車幅方向の消失点候補Ｑk
に最も適合する平面Ｓを、最小二乗法により決定する。
まず、図１０に示される３次元座標上での平面Ｓ、車線
方向の消失点Ｐ、及び複数の車幅方向の消失点候補Ｑk
の表現を、次式で表わす。
【００４５】
【数４】
【００４６】この結果、車幅方向の消失点候補Ｑk と平
面Ｓとの誤差の総和Ｅは次式で表される。
面Ｓとの誤差の総和Ｅは次式で表される。
【００４７】
【数５】
【００４８】この式で示される誤差の総和Ｅ2 に最上二
乗法が適用されることにより、この誤差の総和Ｅ2 を最
小にする平面ＳのパラメータＡ，Ｂ，Ｃは、次式によっ
て算出される。
乗法が適用されることにより、この誤差の総和Ｅ2 を最
小にする平面ＳのパラメータＡ，Ｂ，Ｃは、次式によっ
て算出される。
【００４９】
【数６】
【００５０】この式によって算出されたパラメータ
（Ａ，Ｂ，Ｃ）が、平面Ｓの法線ベクトル（平面Ｓに垂
直なベクトル）であり、カメラに対する道路面の傾斜方
向を表す量となる。
（Ａ，Ｂ，Ｃ）が、平面Ｓの法線ベクトル（平面Ｓに垂
直なベクトル）であり、カメラに対する道路面の傾斜方
向を表す量となる。
【００５１】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、上述の実施例に限定されることな
く、その要旨に逸脱しない範囲において種々変更し得る
ことはいうまでもない。
明したが、本発明は、上述の実施例に限定されることな
く、その要旨に逸脱しない範囲において種々変更し得る
ことはいうまでもない。
【００５２】
【発明の効果】本発明によれば、道路の車線方向の消失
点に加えて、直線成分抽出手段により抽出された車両の
車幅方向の直線成分に基づいて車幅方向の消失点候補算
出手段により算出された車両の車幅方向の消失点候補を
使用して、道路面の傾斜方向を決定することが可能とな
る。このため、一方向の車両走行経路が得られれば道路
面の傾斜方向を計測することが可能となる。従って、従
来技術に比較して適用場所に対する制約がなく、道路に
白線等がない場所又は交差点以外の場所などの広い範囲
の計測場所に対して、道路面の傾斜方向を計測すること
が可能となる。
点に加えて、直線成分抽出手段により抽出された車両の
車幅方向の直線成分に基づいて車幅方向の消失点候補算
出手段により算出された車両の車幅方向の消失点候補を
使用して、道路面の傾斜方向を決定することが可能とな
る。このため、一方向の車両走行経路が得られれば道路
面の傾斜方向を計測することが可能となる。従って、従
来技術に比較して適用場所に対する制約がなく、道路に
白線等がない場所又は交差点以外の場所などの広い範囲
の計測場所に対して、道路面の傾斜方向を計測すること
が可能となる。
【図１】本発明の実施例の構成図である。
【図２】本発明の実施例が適用されるコンピュータシス
テムの構成図である。
テムの構成図である。
【図３】車線方向の消失点決定部の動作フローチャート
である。
である。
【図４】直線成分抽出部の動作フローチャートである。
【図５】車両領域抽出処理と車両経路抽出処理の説明図
である。
である。
【図６】車線方向の消失点の算出処理の説明図である。
【図７】直線成分抽出部の説明図（その１）である。
【図８】直線成分抽出部の説明図（その２）である。
【図９】車幅方向の消失点候補算出部の説明図である。
【図１０】傾斜方向決定部の説明図である。
１０１ 画像入力部 １０２ 車線方向の消失点決定部 １０３ 直線成分抽出部 １０４ 車幅方向の消失点候補算出部 １０５ 傾斜方向決定部 ２０１ カメラ ２０２ Ａ／Ｄ変換器 ２０３ 情報処理装置 ２０３０ ＣＰＵ ２０３１ メモリ ２０４ ＣＲＴ ２０５ 補助記憶装置
フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/04 Ｄ 2105−3Ｈ
Claims (8)
- 【請求項１】 道路交通状況を撮像して得られる画像か
ら道路面の傾斜方向を画像処理により計測する画像計測
装置において、 前記画像中の走行する車両の経路を複数抽出し、道路の
車線方向の消失点を決定する車線方向消失点決定手段
と、 連続する複数の時点で撮像された複数の前記画像から、
前記車両の車幅方向の直線成分を逐次抽出する直線成分
抽出手段と、 該抽出された前記車両の車幅方向の直線成分から、前記
車両の車幅方向の消失点候補を算出する車幅方向の消失
点候補算出手段と、 前記車線方向の消失点と前記車幅方向の消失点候補とか
ら、前記道路面の傾斜方向を決定する傾斜方向決定手段
と、 を有することを特徴とする画像計測装置。 - 【請求項２】 前記車線方向消失点決定手段は、 連続する所定間隔の複数の時点で撮像された複数の前記
画像のそれぞれから前記車両の領域を抽出する処理を、
複数の前記車両について実行する車両領域抽出手段と、 前記複数の車両のそれぞれについて、前記車両領域抽出
手段で前記連続する所定間隔の複数の時点で抽出された
複数の領域の軌跡として、該車両の経路を抽出する車両
経路抽出手段と、 該抽出された前記複数の車両の経路のそれぞれについて
該経路を直線経路で近似し、該複数の直線経路の交点と
して前記車線方向の消失点を算出する車線方向の消失点
の算出手段と、 から構成されることを特徴とする請求項１に記載の画像
計測装置。 - 【請求項３】 前記車両経路抽出手段は、前記複数の車
両のそれぞれについて、前記車両領域抽出手段で前記連
続する所定間隔の複数の時点で抽出された複数の領域の
重心を算出し該複数の重心の軌跡として該車両の経路を
抽出する、 ことを特徴とする請求項２に記載の画像計測装置。 - 【請求項４】 前記直線成分抽出手段は、 前記連続する複数の時点で撮像された複数の画像から、
それらの差分画像を算出する差分画像算出手段と、 該算出された差分画像から有効なエッジを複数抽出する
エッジ抽出手段と、 該抽出された複数のエッジのそれぞれに直線を当ては
め、該複数のエッジのそれぞれに対応する直線成分を前
記車両の車幅方向の直線成分として抽出する直線抽出手
段と、 から構成されることを特徴とする請求項１乃至３の何れ
か１項に記載の画像計測装置。 - 【請求項５】 前記車幅方向の消失点候補算出手段は、
前記直線成分抽出手段で抽出された複数の直線から任意
に選択される複数組の２本の直線の組のそれぞれについ
てその交点を算出することにより、前記車幅方向の消失
点候補を算出する、 ことを特徴とする請求項１乃至４の何れか１項に記載の
画像計測装置。 - 【請求項６】 前記車幅方向の消失点候補算出手段は、
前記直線成分抽出手段で抽出された複数の直線から任意
に選択される複数組の２本の直線の組のそれぞれの交点
を、該交点に対応する前記２本の直線の組が含まれる前
記画像の焦点から該画像上の前記交点に向かう方向の直
線の単位ベクトルの成分として算出する、 ことを特徴とする請求項５に記載の画像計測装置。 - 【請求項７】 前記傾斜方向決定手段は、前記車線方向
の消失点と前記画像の焦点を通過する平面であって前記
複数の車幅方向の消失点候補に最も適合する平面を、最
小二乗法により決定することによって、前記道路面の傾
斜方向を決定する、 ことを特徴とする請求項６に記載の画像計測装置。 - 【請求項８】 傾斜方向は、前記平面の法線ベクトルと
して決定される、 ことを特徴とする請求項７に記載の画像計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5050756A JPH06265330A (ja) | 1993-03-11 | 1993-03-11 | 画像計測装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5050756A JPH06265330A (ja) | 1993-03-11 | 1993-03-11 | 画像計測装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06265330A true JPH06265330A (ja) | 1994-09-20 |
Family
ID=12867691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5050756A Withdrawn JPH06265330A (ja) | 1993-03-11 | 1993-03-11 | 画像計測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06265330A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188269A (ja) * | 2006-01-12 | 2007-07-26 | Univ Of Tokyo | 画像上移動物体追跡方法及び装置 |
| JP2011022995A (ja) * | 2009-06-16 | 2011-02-03 | Nippon Soken Inc | 消失点推定装置およびプログラム |
| JP2012168845A (ja) * | 2011-02-16 | 2012-09-06 | Fujitsu Ten Ltd | 物体検出装置、および、物体検出方法 |
| KR102177614B1 (ko) * | 2020-01-09 | 2020-11-12 | 렉스젠(주) | 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법 |
| JP2023034603A (ja) * | 2021-08-31 | 2023-03-13 | 国立大学法人東海国立大学機構 | 片側交互通行の制御システムおよび交通信号機 |
-
1993
- 1993-03-11 JP JP5050756A patent/JPH06265330A/ja not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188269A (ja) * | 2006-01-12 | 2007-07-26 | Univ Of Tokyo | 画像上移動物体追跡方法及び装置 |
| JP4734568B2 (ja) * | 2006-01-12 | 2011-07-27 | 国立大学法人 東京大学 | 画像上移動物体計測点決定方法及び装置 |
| JP2011022995A (ja) * | 2009-06-16 | 2011-02-03 | Nippon Soken Inc | 消失点推定装置およびプログラム |
| JP2012168845A (ja) * | 2011-02-16 | 2012-09-06 | Fujitsu Ten Ltd | 物体検出装置、および、物体検出方法 |
| KR102177614B1 (ko) * | 2020-01-09 | 2020-11-12 | 렉스젠(주) | 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법 |
| JP2023034603A (ja) * | 2021-08-31 | 2023-03-13 | 国立大学法人東海国立大学機構 | 片側交互通行の制御システムおよび交通信号機 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11270131B2 (en) | Map points-of-change detection device | |
| US7151996B2 (en) | System and method for generating a model of the path of a roadway from an image recorded by a camera | |
| JP4409035B2 (ja) | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 | |
| US7062071B2 (en) | Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow | |
| US6801244B2 (en) | Obstacle detection apparatus and method | |
| Jung et al. | A lane departure warning system using lateral offset with uncalibrated camera | |
| US9076047B2 (en) | System and method for recognizing parking space line markings for vehicle | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| JP4162618B2 (ja) | 車線境界判定装置 | |
| KR102485480B1 (ko) | 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 | |
| US7149327B2 (en) | Image processing apparatus and method | |
| CN109815831B (zh) | 一种车辆朝向获取方法及相关装置 | |
| JPH11252587A (ja) | 物体追跡装置 | |
| CN114543819B (zh) | 车辆定位方法、装置、电子设备及存储介质 | |
| JP3288566B2 (ja) | 走行レーン認識装置 | |
| EP4250245A1 (en) | System and method for determining a viewpoint of a traffic camera | |
| US6925194B2 (en) | Curved lane recognizing method in road modeling system | |
| CN110909620A (zh) | 车辆检测方法、装置、电子设备及存储介质 | |
| US11904843B2 (en) | Autonomous parking systems and methods for vehicles | |
| JPH06265330A (ja) | 画像計測装置 | |
| JP4462533B2 (ja) | 路面走行レーン検出装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JPH07271978A (ja) | 画像処理装置 | |
| JPH08159716A (ja) | 道路消失点の算出方法及び車両の位置・姿勢計測装置 | |
| JPH1055446A (ja) | 物体認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20000530 |