JP3797949B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP3797949B2 JP3797949B2 JP2002092980A JP2002092980A JP3797949B2 JP 3797949 B2 JP3797949 B2 JP 3797949B2 JP 2002092980 A JP2002092980 A JP 2002092980A JP 2002092980 A JP2002092980 A JP 2002092980A JP 3797949 B2 JP3797949 B2 JP 3797949B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- state information
- image
- vehicle state
- translational movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車の安全運転の支援や自動走行を実現するために、複数の撮像装置により、先行車、駐車車両、歩行者など、道路上に存在する障害物を検出するステレオ障害物検出において、撮像装置で撮影した画像が道路平面であると仮定して一方の画像から他方の画像へ変換する変換パラメータを推定する画像処理装置及び方法である。
【０００２】
【従来の技術】
障害物を検知するための技術は、レーザや超音波等を利用するものとＴＶカメラを利用するものに大別できる。レーザを利用するものは高価であり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題がある。また、レーザや超音波等を用いる能動センサ単独では走行レーンの認識ができない。
【０００３】
これに対し、ＴＶカメラは比較的安価であり、解像度、計測精度、計測範囲の面からも障害物検出に適する。また、走行レーンの認識も可能である。ＴＶカメラを用いる場合、１台のカメラを使用する方法と複数台のカメラ（ステレオカメラ）を使用する方法がある。
【０００４】
１台のカメラを使用する方法は、そのカメラで撮影した１枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域を分離する。例えば、画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出し道路領域を求めたり、テクスチャの少ない領域を求めて、道路領域を抽出し、それ以外の領域を障害物領域とする。しかし、道路と似た輝度、色、あるいはテクスチャを持つ障害物も数多く存在するため、この方法で障害物領域と道路領域を切り分けるのは困難である。
【０００５】
これに対し、複数台のカメラを用いる方法は３次元情報を手がかりにして障害物を検出する。この方法は一般にステレオ視と呼ばれる。
【０００６】
「ステレオ視」とは、例えば２つのカメラを左右に配置し、３次元空間中で同一点である点を左右画像間で対応つけ、三角測量の要領で、その点の３次元位置を求めるものである。各カメラの道路平面に対する位置や姿勢等を予め求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さが得られる。このようにすることにより、高さの有無によって障害物領域と道路領域を分離することができる。ステレオ視によれば、１台のカメラを用いる場合のような問題を回避することが可能である。
【０００７】
しかし、通常のステレオ視には、対応点探索という問題点がある。ステレオ視とは、一般的には画像上の任意の点のステレオカメラに固定した座標系（以下では「ステレオカメラ座標系」と呼ぶ）に対する３次元位置を求める技術である。対応点探索は空間中で同一である点を左右の画像間で対応づける際に必要な探索計算を意味し、計算コストが極めて高いという問題がある。対応点探索は、ステレオ視の実用化を妨げる要因となっている。
【０００８】
それに対し、一方の画像上の点が道路平面上に存在すると仮定して、一方の画像上への点をもう一方の画像上への投影点へ変換するパラメータを計算し、そのパラメータを用いて画像を変換し、その画像間の差を用いて道路領域と障害物領域を分離する手法も特開２００１−７６１２８、特開２００１−２４３４５６で提案されている。
【０００９】
ところで、起伏のある道路を車両が通行する場合、車両への人員の搭載状態や荷物の積載状態が変わった場合、車両の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化し、変換パラメータの値も変化する。
【００１０】
特開２００１−７６１２８では、道路上に描かれた２本の白線を利用して、画像の変換パラメータを計算している。しかし、この方法では白線が１本しか見えない場合や汚れている場合には、変換パラメータを計算できないという問題がある。
【００１１】
また、特開２００１−２４３４５６では、この問題に対して、想定されるカメラと道路面の取りうる相対的関係の範囲から適当な姿勢を複数選び、それらの全ての姿勢に対応する変換パラメータを計算し、その変換パラメータを用いた変換画像を用意して他の画像と比較を行い、一致度の最も低い領域を障害物として検出している。
【００１２】
しかし、上記の方法では、道路平面として照合したときに一致度の最も低い領域を検出するので、車両に周期的な模様が描かれている場合や路面での写り込み等で正しく障害物が検出されない場合があり、道路平面の変換パラメータが必要になる。
【００１３】
また、精度よく障害物を検出するためには選択した変換パラメータが実際の変換パラメータから十分な精度内になければならない。さらに、例えば車両後部に重い荷物を積載した結果、車体が前後に傾くといった、発生する可能性の少ない事象に応じた変換パラメータも用意しておく必要がある。上記の２つの条件を満たすためには数多くの変換画像が必要であり、多くの変換画像の作成で、計算時間がかかってしまうという問題がある。
【００１４】
さらに、路面の段差による急激な振動を除けば、車両の振動や路面の傾斜の変化は通常のテレビカメラ画像の撮影間隔に比べて緩やかであり、車両の走行中に人員の搭載状態や貨物の積載状態が変化することはない。したがって、画像の変換パラメータも緩やかに変化するが、上記の方法では、現在の変換パラメータの状態を考慮せず、全ての変換パラメータを用いた変換画像を用意するので、無駄な変換を数多く行うという問題がある。
【００１５】
【発明が解決しようとする課題】
以上述べたように、従来方法では、撮像装置で撮影した画像が道路平面を撮影していると仮定して一つの撮像装置で撮影した画像を他の撮像装置で撮影した画像上へ変換する際に、白線を用いて変換パラメータを計算する方法では、白線が見えない場合に変換パラメータを計算できないという問題がある。
【００１６】
また、多数の変換パラメータを用意して、一致度の最も低い領域を検出する方法では、車両に周期的な模様が描かれていたりそれらの変換パラメータを用いた変換画像を作成する必要があり、計算時間がかかってしまうという問題がある。その上、用意した変換パラメータは車両の現在の状態を考慮していないので無駄な変換も多いという問題もある。
【００１７】
そこで、本発明は、起伏のある道路を車両が通行する場合、車両への人員の搭載状態や荷物の積載状態が変わった場合、車両の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化したときでも、撮像装置で撮影した画像が道路平面であると仮定して一方の画像から他方の画像へ変換する変換パラメータを確実に推定できる画像処理装置及びその方法を提供する。
【００１８】
【課題を解決するための手段】
請求項１の発明は、道路平面上の車両に取り付けられた異なる視点を持つ複数の撮像装置から前記道路平面を時系列に撮影して、この時系列に撮影した画像に基づいて前記複数の撮像装置の中の一の撮像装置で撮影された画像を、前記他の撮像装置の位置から見たアフィン変換の変換パラメータを用いて変換する画像処理装置において、時刻（ｔ−１）における車両の状態情報から時刻ｔにおける車両の状態情報を予測する状態情報第１予測手段と、前記一の撮像装置で撮影された時刻ｔにおける画像と、前記他の撮像装置で撮影された時刻ｔにおける画像と、前記予測した時刻ｔにおける車両の状態情報とを用いて、時刻ｔにおける前記アフィン変換の並進成分である並進移動量を推定する並進移動量推定手段と、前記推定した時刻ｔにおける並進移動量と、前記予測した時刻ｔにおける車両の状態情報を用いて、時刻ｔにおける車両の状態情報を予測する状態情報第２予測手段と、を有し、前記車両の状態情報が、状態ベクトルと共分散行列であり、前記状態ベクトルは、並進移動方向を表す単位ベクトルと、並進移動の大きさと、その大きさの単位時間当たりの変化量を要素とするベクトルであり、前記共分散行列は前記状態ベクトルの各要素の共分散を表す行列であることを特徴とする画像処理装置である。
【００２６】
【発明の実施の形態】
以下、図１から図６に従って本発明の実施の形態を説明する。
【００２７】
本発明による実施形態の画像処理装置は、左右２台のステレオカメラを車両に搭載し、ステレオカメラ搭載車両が走行する状態で、周囲の車両や歩行者などの障害物検出を目的として使用する状態を想定する。
【００２８】
（１）画像処理装置の構成
画像処理装置は、図１の構成図に示すように、画像入力部１、画像蓄積部２、画像変換部３、画像照合部４、状態推定部５、状態メモリ６、状態予測部７より構成される。これら各部１〜７の各機能は、コンピュータのプログラムによって実現される。
【００２９】
画像入力部１は、車両に搭載した左右２台のカメラにより、車両前方もしくは後方を撮影したステレオ画像を入力する。ここでは最も単純な例として左右２台のカメラを例にとり、左カメラの画像を右カメラの画像に変換する例を説明するが、同一の方法を右カメラの画像から左カメラへの変換に適用することも可能である。また、３台以上カメラがある場合についても互いに共通視野のある２台のカメラ画像間での変換に適用可能である。
【００３０】
画像蓄積部２は、画像入力部１で入力された左右のカメラ画像を蓄積する。
【００３１】
画像変換部３では、画像蓄積部２に蓄積された画像のうち、左画像を道路平面を撮影した画像と仮定し、変換パラメータを用いて画像を変換する。
【００３２】
画像照合部４では画像変換部３で変換した左画像と右画像を照合を行い、最も照合した変換パラメータを出力する。
【００３３】
状態推定部５、状態メモリ６、状態予測部７は、画像照合部４で得られた変換パラメータを入力とし、カルマンフィルタを用いて現在の道路平面を推定する変換パラメータの最適値を推定する。
【００３４】
すなわち、車両の振動などによるカメラと道路の幾何学関係の変化は、車両を中心にすればカメラに対する道路の傾きの変化であり、状態推定部５、状態メモリ６、状態予測部７では、車両に対する道路平面の傾きを推定する。
【００３５】
状態メモリ６は、現在の車両の状態情報を表すメモリである。
【００３６】
状態推定部５は、画像変換部３の出力した変換パラメータを用いて、状態メモリ６に記憶された車両の状態情報を更新する。
【００３７】
状態予測部７は、カルマンフィルタでの予測式に基づいて、状態メモリ６に記憶された車両の状態情報から、新しく撮影した画像での変換パラメータを予測する。予測した変換パラメータの値は画像変換部３に出力する。
【００３８】
（２）従来の画像変換とその問題点
ここで、まず、道路平面と２台のカメラの幾何学的関係から導き出される、一方のカメラ画像を他方のカメラ視点へ変換する従来の画像変換とその問題点について説明する。
【００３９】
まず、２台のカメラを図２に示すような平面上（道路平面上）に配置する。
【００４０】
３次元の点Ｐ＝（Ｘ，Ｙ，Ｚ）の左画像への投影先を（ｕ，ｖ）とすると、一般に、透視変換では、以下の式１が成立する。
【００４１】
【数１】
ここでは、Ｚ＝０の道路平面上の点Ｐ＝（Ｘ，Ｙ，０）を想定しているので、投影先との関係は、式２になる。
【００４２】
【数２】
但し、ｈ１１〜ｈ３４はカメラのワールド座標系に対する位置や方向、カメラレンズの焦点距離、画像原点等によって決まるパラメータである。ｈ１１〜ｈ３４は定数倍しても同一のカメラモデルを表すので、ｈ１１〜ｈ３４の任意の要素を１にしても一般性を失わない。そこで、以下では、ｈ３２を１とする。
【００４３】
上式の分母ｄ＝ｈ３１Ｘ＋ｈ３２Ｙ＋ｈ３４は、図３に示すように、カメラの視点Ｃと点Ｐの間の光軸方向の距離、すなわち、奥行きを表す。本装置においてステレオカメラは、光軸がＸ軸にほぼ直交するように設置しているので、奥行きｄはＸに依存しないとみなすことができる。したがって、上記関係式はｈ３１＝０として、
【数３】
と近似できる。
【００４４】
さらに、ＹＣ ＝Ｙ＋ｈ３４と置くと、
【数４】
よって、道路平面を撮影した左右の画像は、互いにアフィン変換の関係にあることがわかる。
【００４５】
式７の変換パラメータは、車両にカメラを取り付けた時点で、車両を平坦な道路上に置いて道路平面を撮影し、左右の画像から道路平面上の同一点を撮影した座標を与えるキャリブレーション作業により計算することができる。画像上の座標点は３組以上与えることによって計算可能であるが、実際には、さらに多数の座標を与えて、最小自乗により最適なパラメータを計算する。
【００４６】
また、車両を直線道路の進行方向に沿って斜線の中央に置けば、左右の白線の交点から消失点ベクトルｔの座標が計算可能である。
【００４７】
（３）道路平面が変化したときの画像変化
次に、道路の傾斜や自車両の振動により道路平面が、Ｚ＝０から、Ｚ＝ｐＹへ変化したとする。すなわち、カメラを取り付けた自車が起伏のある道路を車両が通行する場合、自車への人員の搭載状態や荷物の積載状態が変わった場合、自車の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化して、上下方向の振動を含む移動があって画像が変化することがある。
【００４８】
このとき、Ｚ＝０の場合は式３は、以下の式８になる。
【００４９】
【数５】
これに、ＹＣ ＝Ｙ＋ｈ３４とおくと、
【数６】
と表すことができる。
【００５０】
【数７】
上記の道路平面とカメラに関する幾何学関係についての説明から、左画像と右画像は互いにアフィン変換の関係にあり、道路の傾きや自車の振動によって画像の変形は起きず、アフィン変換の並進成分だけが変化し、また、その並進成分の変化は方向が一定であることがわかる。
【００５１】
ここで、並進移動量を（α，β）とおくと、（α，β）と式７から変換パラメータを求めることができる。
【００５２】
（４）画像変換部３の機能
先の説明により、道路、自車ともに水平であれば、左画像を変換する際のアフィン変換の変換パラメータはキャリブレーション作業により求めることができる。また、道路や自車が傾いた場合にも、アフィン変換した画像が一定方向に並進する変化が起きるだけである。
【００５３】
そこで、画像変換部３では、並進移動量（α，β）を変えた変換パラメータにより左画像を右画像の位置から見た右画像の視点へ変換して、最も照合評価値のよい並進移動量（α，β）を、求めたい並進移動量（α，β）とする。
【００５４】
詳細は後で述べるが、状態予測部７では、２次元の並進移動量の予測値Ｙの分布は、平均Ｙｔ／ｔ−１＝（αｔ，βｔ）Ｔと、その予測共分散行列ハットＰｔを使った以下の式１４で表される２次元正規分布Ｚ（Ｙ）で表される。
【００５５】
なお、以下で使用する共分散行列Ｐ，状態ベクトルＸ，並進移動量Ｙ，２次元正規分布Ｚの符号は、前記の３次元の点Ｐ＝（Ｘ，Ｙ，Ｚ）の各符号とは異なる意味であることを注記しておく。
【００５６】
但し、Ｙｔ／ｔ−１は、後から説明する状態ベクトルの予測値Ｘｔ／ｔ−１に、式２４のｈｔを適用して計算する。
【００５７】
また、Ｙｔ／ｔ−１の添字のｔ／ｔ−１の意味は、時刻ｔ−１の計測時刻が与えられたときの時刻ｔの予測推定値を意味する。後から登場するＸｔ／ｔ−１、Ｐｔ／ｔ−１ も同様に推定値を意味する。
【００５８】
【数８】
画像変換部３は、この式１４の確率分布に基づいて、一定数（ここではｎとする）のｇｉ ＝（αｉ ，βｉ ）（ｉは１〜ｎ）を選択する。ｇｉ は、例えばこの確率分布にしたがってランダムに選択してもよいし、確率分布で等確率になるように選択してもよい。
【００５９】
そして、画像変換部３は、この選択したｇｉ ＝（αｉ ，βｉ ）と式７によって変換パラメータを求め、この変換パラメータによって左画像を右画像の視点へ変換する。
【００６０】
図６にランダムサンプルの例を示す。
【００６１】
図６の楕円は、２次元正規分布で等確率な座標を結んだ等高線でこれより内側が外側より確率が高いことを表す。確率分布に従ってランダムサンプルを選べば、確率の高いところは密に、確率の低いところは疎にサンプルすることになるので、確率の高い部分では、変換パラメータを精度よく推定することができる。
【００６２】
選択したｇｉ （ｉ＝１〜ｎ）は、予測値から近い順に並べ替え、順次、ｇｉ を使った変換パラメータにより左画像を変換し、画像照合部４に出力する。画像が小さく、変換画像の作成時間が少なければ、式１４の確率分布に基づかず、一定間隔でｇｉ を選択しても構わない。
【００６３】
（５）画像照合部４の機能
画像照合部４では画像変換部３で変換した左画像と右画像の照合を行う。ここで、左画像をＩｌ 、右画像をＩｒ とする。
【００６４】
（５−１）照合領域の作成
まず、左画像から、道路平面を多く含む領域を抽出して、これを照合領域Ｒｌ とする。
【００６５】
照合領域は、別に車両検出や道路の境界に描かれた白線を抽出した結果を用いて動的に設定してもよいし、図４のように、予め道路平面を多く含むと想定される領域を指定してそれを用いてもよい。
【００６６】
画像変換部３では、左画像から右画像への変換パラメータと同じパラメータを用いて、照合領域Ｒｌ を変換した領域Ｒ’ｌ を予め作成しておく。
【００６７】
左画像Ｉｌ を変換パラメータによって変形した画像Ｉｌ ′を作成する。
【００６８】
照合領域Ｒｌ も画像と同様に変形することができ、変形した照合領域をＲｌ ′とする。
【００６９】
右画像Ｉｒ からも同様に照合領域Ｒｒ を抽出し、画像Ｉｌ ′の座標（ｉ，ｊ）の画素値をＩｌ ′（ｉ，ｊ）とし、画像Ｉｒ の座標（ｉ，ｊ）の画素値をＩｒ （ｉ，ｊ）とする。
【００７０】
（５−２）左右画像の撮影条件の違いによる補正
左右の画像で撮影条件の違いにより、道路平面の同じ座標を撮影していても画像の画素値が異なる場合がある。
【００７１】
例えば、オートアイリスレンズ（自動しぼりレンズ）を搭載したカメラで撮影していて、左画像にだけ撮影される視野に白い車が入っている場合では、左カメラのアイリス（しぼり）は、右カメラのアイリス（しぼり）より少し閉じられ、その結果、道路平面の同じ座標であっても左画像では右画像より明度が低くなる場合がある。
【００７２】
そこで、画像Ｉｌ ′，Ｉｒ の明度平均を用いて補正する。
【００７３】
【数９】
（５−３）照合方法
補正した明度平均を用いて照合を行う方法は幾つかあり、ここではそのうち４つについて説明する。
【００７４】
（５−３−１）第１，２の照合方法
明度平均の差が０になるように補正して、照合評価値を明度の差の総和とした場合、照合評価値は以下の式１６になる。
【００７５】
【数１０】
他に、明度平均の比が等しくなるように補正した場合は、以下の式１７で評価式を求めることができる。
【００７６】
【数１１】
式１６、式１７の照合評価値は０になる場合が２つの画像が一致していることを表す。その場合、全ての変換パラメータについて照合評価値を計算し、照合評価値の絶対値が最小になるパラメータと２番目に小さいパラメータを選択する。最小になるパラメータをｗｉ 、２番目に小さいパラメータをｗｊ とする。
【００７７】
また、ｗｉ ，ｗｊ の照合評価値をＤｉ ，Ｄｊ とする。
【００７８】
このとき、照合するパラメータの値は、式１８に示すように、照合評価値の符号が違うときだけ、照合評価値が０になる時のパラメータの値を推定値Ｗ’として出力する。
【００７９】
【数１２】
（５−３−２）第３，４の照合方法
式１９のような評価式を用いた第３の照合方法、式２０のような評価式を用いた第４の照合評価方法を用いることもできる。
【００８０】
【数１３】
この評価式は、画素毎の差の絶対値を総和したもので照合評価値は正で照合評価値最小の並進移動量（α，β）が照合する。ある変換画像について照合評価値計算の途中で、既に計算した照合評価値の最小値を越えれば、その画像についての計算を打ち切っても問題がない。
【００８１】
画像変換部３は、先に述べた式１４の確率分布に従って変換画像を作成する。
【００８２】
画像照合部４での照合では、画像変換部３で作成した画像を順次照合するが、画像変換部３では、予測値に近い並進移動量（α，β）でより多くの変換画像を作成するので、予測が大きく外れなければ精度よく並進移動量（α，β）を求めることができる。
【００８３】
また、中心値からの距離によってサンプルの順序を並び替えているため順序の最初の方の画像が照合して照合評価値の最小値がでる確率が高い。
【００８４】
したがって、変換画像を順次照合する際に式１９、式２０の照合評価値を用いれば、照合評価値計算を途中で打ち切る可能性が高くなり、結果的に照合処理が高速になる。
【００８５】
本実施例による画像照合部４では、複数の並進移動量（α，β）を用いて左画像を画像変換して、照合して、照合評価値を得る。照合した並進移動量（α，β）は、照合評価値を最小にするパラメータである。
【００８６】
（６）状態推定部５、状態メモリ６、状態予測部７の機能
状態推定部５、状態メモリ６、状態予測部７では、画像照合部４で得られた変換パラメータが入力され、カルマンフィルタを用いて現在の道路平面を推定する。
【００８７】
状態メモリ６は、時刻ｔにおける車両の状態情報である状態ベクトルＸｔ と、その共分散行列Ｐｔ を記憶している。
【００８８】
状態メモリ６で記憶するのは、上記のような画像の並進移動に関する情報であるが、これから式Aを用いて道路平面の傾きを推定することができる
（６−１）状態ベクトルの説明
状態ベクトルＸｔ は、並進移動方向を表す単位ベクトルｃｘ ，ｃｙ と、並進移動の大きさｌ、ｌの単位時間当たりの変化量ａを用いて、以下の式２１で表す。
【００８９】
【数１４】
（６−２）共分散行列の説明
共分散行列Ｐｔは、状態ベクトルの各要素の共分散を表す４行４列の行列である。この行列のｉ行ｊ列の要素は、ｉ＝ｊなら状態ベクトルのｉ番目の要素の分散を表し、ｉとｊが等しくないなら状態ベクトルのｉ番目とｊ番目の要素の共分散を表す。
【００９０】
分散は、その要素の値が変化する度合いを表し、共分散は、二つの要素が共に変化する度合いを表している。つまり、分散、共分散が小さければ状態ベクトルの値は変化が小さいために信頼性が高いことを表す。逆に、分散と共分散が大きければ状態ベクトルの値は変化する度合いが大きいために信頼性が低くなる。
【００９１】
（６−３）計測値の説明
また、画像照合部４で得られた、時刻ｔにおける並進移動量に関する計測値をＹｔ とすると、
【数１５】
とする。
【００９２】
（６−５）状態遷移関数ｆ
車両の振動と道路の傾きの変化が滑らかであると仮定して、ある状態Ｘｔ から単位時間だけ経過した後の状態ベクトルＸｔ＋１ は、以下の式２３で示す状態遷移関数ｆで表すことにする。
【００９３】
【数１６】
（６−６）カルマンフィルタの説明
カルマンフィルタは、画像から計測した時系列座標データに上記の状態遷移モデルを当てはめ、モデルパラメータの最適値を計算するアルゴリズムである。
【００９４】
計測値Ｙｔ と、状態ベクトルの関係を以下の式２４によって定義する。
【００９５】
【数１７】
すると、車両の状態ベクトルを推定するカルマンフィルタは、以下の式２５から式２９で表される。
【００９６】
【数１８】
ここでｍｔ ，ｎｔ は、状態遷移での誤差と計測誤差を表す平均０のガウス白色雑音ベクトルであり、それぞれ共分散行列をＱｔ ，Ｓｔ とする。
【００９７】
【数１９】
また、上式でハットＦｔ、ハットＨｔは、定義される４×４行列、２×４行列である。４は状態ベクトルの長さ、２は計測ベクトルの長さである。
【００９８】
この画像処理装置での行列の値を具体的に示すと式３１と式３２になる。
【００９９】
【数２０】
（６−７）状態ベクトル、共分散行列の推定手順
上記の拡張カルマンフィルタを用いた時刻ｔでの状態ベクトル、共分散行列の推定手順は、以下の手順になる。
【０１００】
（ステップ１）
状態予測部７において、式２５，式２８により、時刻ｔでの車両の状態情報である状態ベクトルＸｔ／ｔ−１と共分散行列Ｐｔ／ｔ−１を、時刻（ｔ−１）での状態ベクトルＸｔ−１／ｔ−１と共分散行列Ｐｔ−１／ｔ−１を用いて予測する。
【０１０１】
（ステップ２）
状態予測部７において、式２７でカルマンゲインＫｔを、式２８で計算した共分散行列Ｐｔ／ｔ−１を用いて計算する。
【０１０２】
（ステップ３）
画像変換部３では、時刻（ｔ−１）での状態ベクトルＸｔ／ｔ−１とに基づいて式１４の確率分布を求め、ここからｇｉ ＝（αｉ ，βｉ ）（ｉは１〜ｎ）を選択する。ｇｉ は、例えばこの確率分布にしたがってランダムに選択してもよいし、確率分布で等確率になるように選択してもよい。
【０１０３】
（ステップ４）
画像変換部３では、選択した並進移動量の中の一つの並進移動量（α，β）に基づいてアフィン変換の変換パラメータを式７から求める。
【０１０４】
（ステップ５）
画像変換部３では、求めた変換パラメータにより時刻ｔにおける左画像を右画像の視点へアフィン変換する。
【０１０５】
（ステップ６）
画像照合部４では、時刻ｔにおける右画像と、時刻ｔにおける変換した左画像から照合領域を抽出する。
【０１０６】
（ステップ７）
画像照合部４では、右画像と、左画像の撮影条件による違いから明度を式９により補正する。
【０１０７】
（ステップ８）
画像照合部４では、時刻ｔにおける右画像と、時刻ｔにおける変換した左画像と右画像の照合を前記で説明した４つの照合方法の中から一つの照合方法で照合して、照合評価値を求める。
【０１０８】
（ステップ９）
画像照合部４では、時刻ｔにおける右画像と、時刻ｔにおける変換した左画像とを照合を、前記で説明した４つの照合方法の中から一つの照合方法で照合して、時刻ｔにおける照合評価値を求める。
【０１０９】
（ステップ１０）
前記したステップ４〜９を繰り返して、時刻ｔにおける最もよい照合評価値を求める。
【０１１０】
（ステップ１１）
時刻ｔにおける最もよい照合評価値に対応する並進移動量（α，βを、求める時刻ｔにおける並進移動量Ｙｔ とする。
【０１１１】
（ステップ１２）
状態推定部５では、時刻ｔにおける並進移動量Ｙｔ と、状態ベクトルＸｔ／ｔ−１と、共分散行列Ｐｔ／ｔ−１に基づいて式２６、式２９により、時刻ｔでの状態ベクトルＸｔ／ｔと、共分散行列Ｐｔ／ｔを推定する。
【０１１２】
（ステップ１３）
そして、ステップ１〜１２を繰り返して、各時刻における状態ベクトルＸｔ／ｔと共分散行列Ｐｔ／ｔを推定する。
【０１１３】
（６−８）道路平面の推定
次に、道路平面の推定について説明する。
【０１１４】
式９と式１３で説明したように、道路の傾きが変化すると、カメラで撮影した画像上では、画像照合部４で左右の画像の照合する位置が一定の直線上を並進移動する変化になって現れる。
【０１１５】
そして、状態メモリ６は、この照合位置の並進移動量を予測推定するための情報を記憶するメモリであるが、道路の傾きは状態メモリ６の情報から計算することができる。
【０１１６】
道路の傾きをＢとし、そのときの画像照合位置の移動量を式９により（Ｂ×ｈ１３，Ｂ×ｈ２３）とする。
【０１１７】
この計算で用いるｈ１３，ｈ２３の値は、傾きのある道路平面上の座標とその投影先座標の式８で用いられる変数である。
【０１１８】
予め平坦な道路上に車両を置いて、高さが既知の物体を車両の前方に置き、この物体のが傾いた道路平面上にあると仮定したときの道路の傾きと、撮影した左右の画像上でのこの物体の座標と、道路が平面であると仮定して計算した式８の他の変数を用いて、ｈ１３，ｈ２３の値を計算することができる。
【０１１９】
状態メモリ６では、時刻ｔにおける並進移動方向の単位ベクトルｃｘ，ｃｙと並進移動量ｌを記憶しているので、時刻ｔにおける道路の傾きＢは、それらの値から式３３によって計算できる。
【０１２０】
Ｂ＝ｌ×sqrt（ｃｘ ２＋ｃｙ ２）／sqrt（ｈ１３ ２＋ｈ２３ ２） （３３）
【０１２１】
【発明の効果】
本発明によれば、アフィン変換の並進移動量に着目して、車両の状態情報を予測するために、起伏のある道路を車両が通行する場合、車両への人員の搭載状態や荷物の積載状態が変わった場合、車両の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化したときでも、確実に車両の状態情報を予測できる。
【０１２２】
また、複数の並進移動量から、画像の照合結果により最適な並進移動量を選択する際、カルマンフィルタを用いるので効率的に計算できる。
【０１２３】
さらに、画像の照合により道路平面を推定するため、白線の有無にかかわらず推定ができる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示す画像処理装置の構成図である。
【図２】道路平面とカメラの位置関係を示す図である。
【図３】カメラの投影系の説明図である。
【図４】照合領域を示す図である。
【図５】画像照合部の処理手順を示す図である。
【図６】ランダムサンプルを示す図である。
【符号の説明】
１ 画像入力部
２ 画像蓄積部
３ 画像変換部
４ 画像照合部
５ 状態推定部
６ 状態メモリ
７ 状態予測部
【発明の属する技術分野】
本発明は、自動車の安全運転の支援や自動走行を実現するために、複数の撮像装置により、先行車、駐車車両、歩行者など、道路上に存在する障害物を検出するステレオ障害物検出において、撮像装置で撮影した画像が道路平面であると仮定して一方の画像から他方の画像へ変換する変換パラメータを推定する画像処理装置及び方法である。
【０００２】
【従来の技術】
障害物を検知するための技術は、レーザや超音波等を利用するものとＴＶカメラを利用するものに大別できる。レーザを利用するものは高価であり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題がある。また、レーザや超音波等を用いる能動センサ単独では走行レーンの認識ができない。
【０００３】
これに対し、ＴＶカメラは比較的安価であり、解像度、計測精度、計測範囲の面からも障害物検出に適する。また、走行レーンの認識も可能である。ＴＶカメラを用いる場合、１台のカメラを使用する方法と複数台のカメラ（ステレオカメラ）を使用する方法がある。
【０００４】
１台のカメラを使用する方法は、そのカメラで撮影した１枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域を分離する。例えば、画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出し道路領域を求めたり、テクスチャの少ない領域を求めて、道路領域を抽出し、それ以外の領域を障害物領域とする。しかし、道路と似た輝度、色、あるいはテクスチャを持つ障害物も数多く存在するため、この方法で障害物領域と道路領域を切り分けるのは困難である。
【０００５】
これに対し、複数台のカメラを用いる方法は３次元情報を手がかりにして障害物を検出する。この方法は一般にステレオ視と呼ばれる。
【０００６】
「ステレオ視」とは、例えば２つのカメラを左右に配置し、３次元空間中で同一点である点を左右画像間で対応つけ、三角測量の要領で、その点の３次元位置を求めるものである。各カメラの道路平面に対する位置や姿勢等を予め求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さが得られる。このようにすることにより、高さの有無によって障害物領域と道路領域を分離することができる。ステレオ視によれば、１台のカメラを用いる場合のような問題を回避することが可能である。
【０００７】
しかし、通常のステレオ視には、対応点探索という問題点がある。ステレオ視とは、一般的には画像上の任意の点のステレオカメラに固定した座標系（以下では「ステレオカメラ座標系」と呼ぶ）に対する３次元位置を求める技術である。対応点探索は空間中で同一である点を左右の画像間で対応づける際に必要な探索計算を意味し、計算コストが極めて高いという問題がある。対応点探索は、ステレオ視の実用化を妨げる要因となっている。
【０００８】
それに対し、一方の画像上の点が道路平面上に存在すると仮定して、一方の画像上への点をもう一方の画像上への投影点へ変換するパラメータを計算し、そのパラメータを用いて画像を変換し、その画像間の差を用いて道路領域と障害物領域を分離する手法も特開２００１−７６１２８、特開２００１−２４３４５６で提案されている。
【０００９】
ところで、起伏のある道路を車両が通行する場合、車両への人員の搭載状態や荷物の積載状態が変わった場合、車両の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化し、変換パラメータの値も変化する。
【００１０】
特開２００１−７６１２８では、道路上に描かれた２本の白線を利用して、画像の変換パラメータを計算している。しかし、この方法では白線が１本しか見えない場合や汚れている場合には、変換パラメータを計算できないという問題がある。
【００１１】
また、特開２００１−２４３４５６では、この問題に対して、想定されるカメラと道路面の取りうる相対的関係の範囲から適当な姿勢を複数選び、それらの全ての姿勢に対応する変換パラメータを計算し、その変換パラメータを用いた変換画像を用意して他の画像と比較を行い、一致度の最も低い領域を障害物として検出している。
【００１２】
しかし、上記の方法では、道路平面として照合したときに一致度の最も低い領域を検出するので、車両に周期的な模様が描かれている場合や路面での写り込み等で正しく障害物が検出されない場合があり、道路平面の変換パラメータが必要になる。
【００１３】
また、精度よく障害物を検出するためには選択した変換パラメータが実際の変換パラメータから十分な精度内になければならない。さらに、例えば車両後部に重い荷物を積載した結果、車体が前後に傾くといった、発生する可能性の少ない事象に応じた変換パラメータも用意しておく必要がある。上記の２つの条件を満たすためには数多くの変換画像が必要であり、多くの変換画像の作成で、計算時間がかかってしまうという問題がある。
【００１４】
さらに、路面の段差による急激な振動を除けば、車両の振動や路面の傾斜の変化は通常のテレビカメラ画像の撮影間隔に比べて緩やかであり、車両の走行中に人員の搭載状態や貨物の積載状態が変化することはない。したがって、画像の変換パラメータも緩やかに変化するが、上記の方法では、現在の変換パラメータの状態を考慮せず、全ての変換パラメータを用いた変換画像を用意するので、無駄な変換を数多く行うという問題がある。
【００１５】
【発明が解決しようとする課題】
以上述べたように、従来方法では、撮像装置で撮影した画像が道路平面を撮影していると仮定して一つの撮像装置で撮影した画像を他の撮像装置で撮影した画像上へ変換する際に、白線を用いて変換パラメータを計算する方法では、白線が見えない場合に変換パラメータを計算できないという問題がある。
【００１６】
また、多数の変換パラメータを用意して、一致度の最も低い領域を検出する方法では、車両に周期的な模様が描かれていたりそれらの変換パラメータを用いた変換画像を作成する必要があり、計算時間がかかってしまうという問題がある。その上、用意した変換パラメータは車両の現在の状態を考慮していないので無駄な変換も多いという問題もある。
【００１７】
そこで、本発明は、起伏のある道路を車両が通行する場合、車両への人員の搭載状態や荷物の積載状態が変わった場合、車両の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化したときでも、撮像装置で撮影した画像が道路平面であると仮定して一方の画像から他方の画像へ変換する変換パラメータを確実に推定できる画像処理装置及びその方法を提供する。
【００１８】
【課題を解決するための手段】
請求項１の発明は、道路平面上の車両に取り付けられた異なる視点を持つ複数の撮像装置から前記道路平面を時系列に撮影して、この時系列に撮影した画像に基づいて前記複数の撮像装置の中の一の撮像装置で撮影された画像を、前記他の撮像装置の位置から見たアフィン変換の変換パラメータを用いて変換する画像処理装置において、時刻（ｔ−１）における車両の状態情報から時刻ｔにおける車両の状態情報を予測する状態情報第１予測手段と、前記一の撮像装置で撮影された時刻ｔにおける画像と、前記他の撮像装置で撮影された時刻ｔにおける画像と、前記予測した時刻ｔにおける車両の状態情報とを用いて、時刻ｔにおける前記アフィン変換の並進成分である並進移動量を推定する並進移動量推定手段と、前記推定した時刻ｔにおける並進移動量と、前記予測した時刻ｔにおける車両の状態情報を用いて、時刻ｔにおける車両の状態情報を予測する状態情報第２予測手段と、を有し、前記車両の状態情報が、状態ベクトルと共分散行列であり、前記状態ベクトルは、並進移動方向を表す単位ベクトルと、並進移動の大きさと、その大きさの単位時間当たりの変化量を要素とするベクトルであり、前記共分散行列は前記状態ベクトルの各要素の共分散を表す行列であることを特徴とする画像処理装置である。
【００２６】
【発明の実施の形態】
以下、図１から図６に従って本発明の実施の形態を説明する。
【００２７】
本発明による実施形態の画像処理装置は、左右２台のステレオカメラを車両に搭載し、ステレオカメラ搭載車両が走行する状態で、周囲の車両や歩行者などの障害物検出を目的として使用する状態を想定する。
【００２８】
（１）画像処理装置の構成
画像処理装置は、図１の構成図に示すように、画像入力部１、画像蓄積部２、画像変換部３、画像照合部４、状態推定部５、状態メモリ６、状態予測部７より構成される。これら各部１〜７の各機能は、コンピュータのプログラムによって実現される。
【００２９】
画像入力部１は、車両に搭載した左右２台のカメラにより、車両前方もしくは後方を撮影したステレオ画像を入力する。ここでは最も単純な例として左右２台のカメラを例にとり、左カメラの画像を右カメラの画像に変換する例を説明するが、同一の方法を右カメラの画像から左カメラへの変換に適用することも可能である。また、３台以上カメラがある場合についても互いに共通視野のある２台のカメラ画像間での変換に適用可能である。
【００３０】
画像蓄積部２は、画像入力部１で入力された左右のカメラ画像を蓄積する。
【００３１】
画像変換部３では、画像蓄積部２に蓄積された画像のうち、左画像を道路平面を撮影した画像と仮定し、変換パラメータを用いて画像を変換する。
【００３２】
画像照合部４では画像変換部３で変換した左画像と右画像を照合を行い、最も照合した変換パラメータを出力する。
【００３３】
状態推定部５、状態メモリ６、状態予測部７は、画像照合部４で得られた変換パラメータを入力とし、カルマンフィルタを用いて現在の道路平面を推定する変換パラメータの最適値を推定する。
【００３４】
すなわち、車両の振動などによるカメラと道路の幾何学関係の変化は、車両を中心にすればカメラに対する道路の傾きの変化であり、状態推定部５、状態メモリ６、状態予測部７では、車両に対する道路平面の傾きを推定する。
【００３５】
状態メモリ６は、現在の車両の状態情報を表すメモリである。
【００３６】
状態推定部５は、画像変換部３の出力した変換パラメータを用いて、状態メモリ６に記憶された車両の状態情報を更新する。
【００３７】
状態予測部７は、カルマンフィルタでの予測式に基づいて、状態メモリ６に記憶された車両の状態情報から、新しく撮影した画像での変換パラメータを予測する。予測した変換パラメータの値は画像変換部３に出力する。
【００３８】
（２）従来の画像変換とその問題点
ここで、まず、道路平面と２台のカメラの幾何学的関係から導き出される、一方のカメラ画像を他方のカメラ視点へ変換する従来の画像変換とその問題点について説明する。
【００３９】
まず、２台のカメラを図２に示すような平面上（道路平面上）に配置する。
【００４０】
３次元の点Ｐ＝（Ｘ，Ｙ，Ｚ）の左画像への投影先を（ｕ，ｖ）とすると、一般に、透視変換では、以下の式１が成立する。
【００４１】
【数１】
【００４２】
【数２】
【００４３】
上式の分母ｄ＝ｈ３１Ｘ＋ｈ３２Ｙ＋ｈ３４は、図３に示すように、カメラの視点Ｃと点Ｐの間の光軸方向の距離、すなわち、奥行きを表す。本装置においてステレオカメラは、光軸がＸ軸にほぼ直交するように設置しているので、奥行きｄはＸに依存しないとみなすことができる。したがって、上記関係式はｈ３１＝０として、
【数３】
【００４４】
さらに、ＹＣ ＝Ｙ＋ｈ３４と置くと、
【数４】
【００４５】
式７の変換パラメータは、車両にカメラを取り付けた時点で、車両を平坦な道路上に置いて道路平面を撮影し、左右の画像から道路平面上の同一点を撮影した座標を与えるキャリブレーション作業により計算することができる。画像上の座標点は３組以上与えることによって計算可能であるが、実際には、さらに多数の座標を与えて、最小自乗により最適なパラメータを計算する。
【００４６】
また、車両を直線道路の進行方向に沿って斜線の中央に置けば、左右の白線の交点から消失点ベクトルｔの座標が計算可能である。
【００４７】
（３）道路平面が変化したときの画像変化
次に、道路の傾斜や自車両の振動により道路平面が、Ｚ＝０から、Ｚ＝ｐＹへ変化したとする。すなわち、カメラを取り付けた自車が起伏のある道路を車両が通行する場合、自車への人員の搭載状態や荷物の積載状態が変わった場合、自車の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化して、上下方向の振動を含む移動があって画像が変化することがある。
【００４８】
このとき、Ｚ＝０の場合は式３は、以下の式８になる。
【００４９】
【数５】
【数６】
【００５０】
【数７】
【００５１】
ここで、並進移動量を（α，β）とおくと、（α，β）と式７から変換パラメータを求めることができる。
【００５２】
（４）画像変換部３の機能
先の説明により、道路、自車ともに水平であれば、左画像を変換する際のアフィン変換の変換パラメータはキャリブレーション作業により求めることができる。また、道路や自車が傾いた場合にも、アフィン変換した画像が一定方向に並進する変化が起きるだけである。
【００５３】
そこで、画像変換部３では、並進移動量（α，β）を変えた変換パラメータにより左画像を右画像の位置から見た右画像の視点へ変換して、最も照合評価値のよい並進移動量（α，β）を、求めたい並進移動量（α，β）とする。
【００５４】
詳細は後で述べるが、状態予測部７では、２次元の並進移動量の予測値Ｙの分布は、平均Ｙｔ／ｔ−１＝（αｔ，βｔ）Ｔと、その予測共分散行列ハットＰｔを使った以下の式１４で表される２次元正規分布Ｚ（Ｙ）で表される。
【００５５】
なお、以下で使用する共分散行列Ｐ，状態ベクトルＸ，並進移動量Ｙ，２次元正規分布Ｚの符号は、前記の３次元の点Ｐ＝（Ｘ，Ｙ，Ｚ）の各符号とは異なる意味であることを注記しておく。
【００５６】
但し、Ｙｔ／ｔ−１は、後から説明する状態ベクトルの予測値Ｘｔ／ｔ−１に、式２４のｈｔを適用して計算する。
【００５７】
また、Ｙｔ／ｔ−１の添字のｔ／ｔ−１の意味は、時刻ｔ−１の計測時刻が与えられたときの時刻ｔの予測推定値を意味する。後から登場するＸｔ／ｔ−１、Ｐｔ／ｔ−１ も同様に推定値を意味する。
【００５８】
【数８】
【００５９】
そして、画像変換部３は、この選択したｇｉ ＝（αｉ ，βｉ ）と式７によって変換パラメータを求め、この変換パラメータによって左画像を右画像の視点へ変換する。
【００６０】
図６にランダムサンプルの例を示す。
【００６１】
図６の楕円は、２次元正規分布で等確率な座標を結んだ等高線でこれより内側が外側より確率が高いことを表す。確率分布に従ってランダムサンプルを選べば、確率の高いところは密に、確率の低いところは疎にサンプルすることになるので、確率の高い部分では、変換パラメータを精度よく推定することができる。
【００６２】
選択したｇｉ （ｉ＝１〜ｎ）は、予測値から近い順に並べ替え、順次、ｇｉ を使った変換パラメータにより左画像を変換し、画像照合部４に出力する。画像が小さく、変換画像の作成時間が少なければ、式１４の確率分布に基づかず、一定間隔でｇｉ を選択しても構わない。
【００６３】
（５）画像照合部４の機能
画像照合部４では画像変換部３で変換した左画像と右画像の照合を行う。ここで、左画像をＩｌ 、右画像をＩｒ とする。
【００６４】
（５−１）照合領域の作成
まず、左画像から、道路平面を多く含む領域を抽出して、これを照合領域Ｒｌ とする。
【００６５】
照合領域は、別に車両検出や道路の境界に描かれた白線を抽出した結果を用いて動的に設定してもよいし、図４のように、予め道路平面を多く含むと想定される領域を指定してそれを用いてもよい。
【００６６】
画像変換部３では、左画像から右画像への変換パラメータと同じパラメータを用いて、照合領域Ｒｌ を変換した領域Ｒ’ｌ を予め作成しておく。
【００６７】
左画像Ｉｌ を変換パラメータによって変形した画像Ｉｌ ′を作成する。
【００６８】
照合領域Ｒｌ も画像と同様に変形することができ、変形した照合領域をＲｌ ′とする。
【００６９】
右画像Ｉｒ からも同様に照合領域Ｒｒ を抽出し、画像Ｉｌ ′の座標（ｉ，ｊ）の画素値をＩｌ ′（ｉ，ｊ）とし、画像Ｉｒ の座標（ｉ，ｊ）の画素値をＩｒ （ｉ，ｊ）とする。
【００７０】
（５−２）左右画像の撮影条件の違いによる補正
左右の画像で撮影条件の違いにより、道路平面の同じ座標を撮影していても画像の画素値が異なる場合がある。
【００７１】
例えば、オートアイリスレンズ（自動しぼりレンズ）を搭載したカメラで撮影していて、左画像にだけ撮影される視野に白い車が入っている場合では、左カメラのアイリス（しぼり）は、右カメラのアイリス（しぼり）より少し閉じられ、その結果、道路平面の同じ座標であっても左画像では右画像より明度が低くなる場合がある。
【００７２】
そこで、画像Ｉｌ ′，Ｉｒ の明度平均を用いて補正する。
【００７３】
【数９】
補正した明度平均を用いて照合を行う方法は幾つかあり、ここではそのうち４つについて説明する。
【００７４】
（５−３−１）第１，２の照合方法
明度平均の差が０になるように補正して、照合評価値を明度の差の総和とした場合、照合評価値は以下の式１６になる。
【００７５】
【数１０】
【００７６】
【数１１】
【００７７】
また、ｗｉ ，ｗｊ の照合評価値をＤｉ ，Ｄｊ とする。
【００７８】
このとき、照合するパラメータの値は、式１８に示すように、照合評価値の符号が違うときだけ、照合評価値が０になる時のパラメータの値を推定値Ｗ’として出力する。
【００７９】
【数１２】
式１９のような評価式を用いた第３の照合方法、式２０のような評価式を用いた第４の照合評価方法を用いることもできる。
【００８０】
【数１３】
【００８１】
画像変換部３は、先に述べた式１４の確率分布に従って変換画像を作成する。
【００８２】
画像照合部４での照合では、画像変換部３で作成した画像を順次照合するが、画像変換部３では、予測値に近い並進移動量（α，β）でより多くの変換画像を作成するので、予測が大きく外れなければ精度よく並進移動量（α，β）を求めることができる。
【００８３】
また、中心値からの距離によってサンプルの順序を並び替えているため順序の最初の方の画像が照合して照合評価値の最小値がでる確率が高い。
【００８４】
したがって、変換画像を順次照合する際に式１９、式２０の照合評価値を用いれば、照合評価値計算を途中で打ち切る可能性が高くなり、結果的に照合処理が高速になる。
【００８５】
本実施例による画像照合部４では、複数の並進移動量（α，β）を用いて左画像を画像変換して、照合して、照合評価値を得る。照合した並進移動量（α，β）は、照合評価値を最小にするパラメータである。
【００８６】
（６）状態推定部５、状態メモリ６、状態予測部７の機能
状態推定部５、状態メモリ６、状態予測部７では、画像照合部４で得られた変換パラメータが入力され、カルマンフィルタを用いて現在の道路平面を推定する。
【００８７】
状態メモリ６は、時刻ｔにおける車両の状態情報である状態ベクトルＸｔ と、その共分散行列Ｐｔ を記憶している。
【００８８】
状態メモリ６で記憶するのは、上記のような画像の並進移動に関する情報であるが、これから式Aを用いて道路平面の傾きを推定することができる
（６−１）状態ベクトルの説明
状態ベクトルＸｔ は、並進移動方向を表す単位ベクトルｃｘ ，ｃｙ と、並進移動の大きさｌ、ｌの単位時間当たりの変化量ａを用いて、以下の式２１で表す。
【００８９】
【数１４】
共分散行列Ｐｔは、状態ベクトルの各要素の共分散を表す４行４列の行列である。この行列のｉ行ｊ列の要素は、ｉ＝ｊなら状態ベクトルのｉ番目の要素の分散を表し、ｉとｊが等しくないなら状態ベクトルのｉ番目とｊ番目の要素の共分散を表す。
【００９０】
分散は、その要素の値が変化する度合いを表し、共分散は、二つの要素が共に変化する度合いを表している。つまり、分散、共分散が小さければ状態ベクトルの値は変化が小さいために信頼性が高いことを表す。逆に、分散と共分散が大きければ状態ベクトルの値は変化する度合いが大きいために信頼性が低くなる。
【００９１】
（６−３）計測値の説明
また、画像照合部４で得られた、時刻ｔにおける並進移動量に関する計測値をＹｔ とすると、
【数１５】
【００９２】
（６−５）状態遷移関数ｆ
車両の振動と道路の傾きの変化が滑らかであると仮定して、ある状態Ｘｔ から単位時間だけ経過した後の状態ベクトルＸｔ＋１ は、以下の式２３で示す状態遷移関数ｆで表すことにする。
【００９３】
【数１６】
カルマンフィルタは、画像から計測した時系列座標データに上記の状態遷移モデルを当てはめ、モデルパラメータの最適値を計算するアルゴリズムである。
【００９４】
計測値Ｙｔ と、状態ベクトルの関係を以下の式２４によって定義する。
【００９５】
【数１７】
【００９６】
【数１８】
【００９７】
【数１９】
【００９８】
この画像処理装置での行列の値を具体的に示すと式３１と式３２になる。
【００９９】
【数２０】
上記の拡張カルマンフィルタを用いた時刻ｔでの状態ベクトル、共分散行列の推定手順は、以下の手順になる。
【０１００】
（ステップ１）
状態予測部７において、式２５，式２８により、時刻ｔでの車両の状態情報である状態ベクトルＸｔ／ｔ−１と共分散行列Ｐｔ／ｔ−１を、時刻（ｔ−１）での状態ベクトルＸｔ−１／ｔ−１と共分散行列Ｐｔ−１／ｔ−１を用いて予測する。
【０１０１】
（ステップ２）
状態予測部７において、式２７でカルマンゲインＫｔを、式２８で計算した共分散行列Ｐｔ／ｔ−１を用いて計算する。
【０１０２】
（ステップ３）
画像変換部３では、時刻（ｔ−１）での状態ベクトルＸｔ／ｔ−１とに基づいて式１４の確率分布を求め、ここからｇｉ ＝（αｉ ，βｉ ）（ｉは１〜ｎ）を選択する。ｇｉ は、例えばこの確率分布にしたがってランダムに選択してもよいし、確率分布で等確率になるように選択してもよい。
【０１０３】
（ステップ４）
画像変換部３では、選択した並進移動量の中の一つの並進移動量（α，β）に基づいてアフィン変換の変換パラメータを式７から求める。
【０１０４】
（ステップ５）
画像変換部３では、求めた変換パラメータにより時刻ｔにおける左画像を右画像の視点へアフィン変換する。
【０１０５】
（ステップ６）
画像照合部４では、時刻ｔにおける右画像と、時刻ｔにおける変換した左画像から照合領域を抽出する。
【０１０６】
（ステップ７）
画像照合部４では、右画像と、左画像の撮影条件による違いから明度を式９により補正する。
【０１０７】
（ステップ８）
画像照合部４では、時刻ｔにおける右画像と、時刻ｔにおける変換した左画像と右画像の照合を前記で説明した４つの照合方法の中から一つの照合方法で照合して、照合評価値を求める。
【０１０８】
（ステップ９）
画像照合部４では、時刻ｔにおける右画像と、時刻ｔにおける変換した左画像とを照合を、前記で説明した４つの照合方法の中から一つの照合方法で照合して、時刻ｔにおける照合評価値を求める。
【０１０９】
（ステップ１０）
前記したステップ４〜９を繰り返して、時刻ｔにおける最もよい照合評価値を求める。
【０１１０】
（ステップ１１）
時刻ｔにおける最もよい照合評価値に対応する並進移動量（α，βを、求める時刻ｔにおける並進移動量Ｙｔ とする。
【０１１１】
（ステップ１２）
状態推定部５では、時刻ｔにおける並進移動量Ｙｔ と、状態ベクトルＸｔ／ｔ−１と、共分散行列Ｐｔ／ｔ−１に基づいて式２６、式２９により、時刻ｔでの状態ベクトルＸｔ／ｔと、共分散行列Ｐｔ／ｔを推定する。
【０１１２】
（ステップ１３）
そして、ステップ１〜１２を繰り返して、各時刻における状態ベクトルＸｔ／ｔと共分散行列Ｐｔ／ｔを推定する。
【０１１３】
（６−８）道路平面の推定
次に、道路平面の推定について説明する。
【０１１４】
式９と式１３で説明したように、道路の傾きが変化すると、カメラで撮影した画像上では、画像照合部４で左右の画像の照合する位置が一定の直線上を並進移動する変化になって現れる。
【０１１５】
そして、状態メモリ６は、この照合位置の並進移動量を予測推定するための情報を記憶するメモリであるが、道路の傾きは状態メモリ６の情報から計算することができる。
【０１１６】
道路の傾きをＢとし、そのときの画像照合位置の移動量を式９により（Ｂ×ｈ１３，Ｂ×ｈ２３）とする。
【０１１７】
この計算で用いるｈ１３，ｈ２３の値は、傾きのある道路平面上の座標とその投影先座標の式８で用いられる変数である。
【０１１８】
予め平坦な道路上に車両を置いて、高さが既知の物体を車両の前方に置き、この物体のが傾いた道路平面上にあると仮定したときの道路の傾きと、撮影した左右の画像上でのこの物体の座標と、道路が平面であると仮定して計算した式８の他の変数を用いて、ｈ１３，ｈ２３の値を計算することができる。
【０１１９】
状態メモリ６では、時刻ｔにおける並進移動方向の単位ベクトルｃｘ，ｃｙと並進移動量ｌを記憶しているので、時刻ｔにおける道路の傾きＢは、それらの値から式３３によって計算できる。
【０１２０】
Ｂ＝ｌ×sqrt（ｃｘ ２＋ｃｙ ２）／sqrt（ｈ１３ ２＋ｈ２３ ２） （３３）
【０１２１】
【発明の効果】
本発明によれば、アフィン変換の並進移動量に着目して、車両の状態情報を予測するために、起伏のある道路を車両が通行する場合、車両への人員の搭載状態や荷物の積載状態が変わった場合、車両の振動や道路の傾斜があった場合など、道路平面と車両に取り付けたカメラの位置姿勢の関係、つまり車両から見た道路平面の傾きが変化したときでも、確実に車両の状態情報を予測できる。
【０１２２】
また、複数の並進移動量から、画像の照合結果により最適な並進移動量を選択する際、カルマンフィルタを用いるので効率的に計算できる。
【０１２３】
さらに、画像の照合により道路平面を推定するため、白線の有無にかかわらず推定ができる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示す画像処理装置の構成図である。
【図２】道路平面とカメラの位置関係を示す図である。
【図３】カメラの投影系の説明図である。
【図４】照合領域を示す図である。
【図５】画像照合部の処理手順を示す図である。
【図６】ランダムサンプルを示す図である。
【符号の説明】
１ 画像入力部
２ 画像蓄積部
３ 画像変換部
４ 画像照合部
５ 状態推定部
６ 状態メモリ
７ 状態予測部
Claims (7)
- 道路平面上の車両に取り付けられた異なる視点を持つ複数の撮像装置から前記道路平面を時系列に撮影して、この時系列に撮影した画像に基づいて前記複数の撮像装置の中の一の撮像装置で撮影された画像を、前記他の撮像装置の位置から見たアフィン変換の変換パラメータを用いて変換する画像処理装置において、
時刻（ｔ−１）における車両の状態情報から時刻ｔにおける車両の状態情報を予測する状態情報第１予測手段と、
前記一の撮像装置で撮影された時刻ｔにおける画像と、前記他の撮像装置で撮影された時刻ｔにおける画像と、前記予測した時刻ｔにおける車両の状態情報とを用いて、時刻ｔにおける前記アフィン変換の並進成分である並進移動量を推定する並進移動量推定手段と、
前記推定した時刻ｔにおける並進移動量と、前記予測した時刻ｔにおける車両の状態情報を用いて、時刻ｔにおける車両の状態情報を予測する状態情報第２予測手段と、
を有し、
前記車両の状態情報が、状態ベクトルと共分散行列であり、前記状態ベクトルは、並進移動方向を表す単位ベクトルと、並進移動の大きさの単位時間当たりの変化量を要素とするベクトルであり、前記共分散行列は前記状態ベクトルの各要素の共分散を表す行列である
ことを特徴とする画像処理装置。 - 前記並進移動量推定手段は、
前記予測した時刻ｔにおける車両の状態情報を用いて時刻ｔにおける並進移動量の確率分布を求め、
この確率分布に基づいて一の並進移動量を選択し、この選択した並進移動量に基づいて変換パラメータを求め、この求めた変換パラメータに基づいて前記一の撮像装置で撮影された時刻ｔにおける画像を、前記他の撮像装置の位置から見た変換し、前記変換した時刻ｔにおける画像と、前記他の撮像装置で撮影された時刻ｔにおける画像を照合して時刻ｔにおける照合評価値を求め、
前記選択する並進移動量を変化させて、前記時刻ｔにおける照合評価値が最もよい並進移動量を、時刻ｔにおける並進移動量と推定する
ことを特徴とする請求項１記載の画像処理装置。 - 前記状態情報第１予測手段は、
前記時刻（ｔ−１）における車両の状態情報から前記時刻ｔにおける車両の状態情報をカルマンフィルタによって予測する
ことを特徴とする請求項１または２記載の画像処理装置。 - 前記状態情報第２予測手段は、
前記推定した時刻ｔにおける並進移動量と、前記予測した時刻ｔにおける車両の状態情報を用いて、前記時刻ｔにおける車両の状態情報をカルマンフィルタによって推定する
ことを特徴とする請求項１から３のうちのいずれか一項に記載の画像処理装置。 - 前記時刻ｔにおける並進移動量に基づいて、車両を中心とした撮像装置に対する時刻ｔにおける道路平面の傾きを求める道路平面推定手段を有する
ことを特徴とする請求項１から４のうちのいずれか一項に記載の画像処理装置。 - 道路平面上の車両に取り付けられた異なる視点を持つ複数の撮像装置から前記道路平面を時系列に撮影して、この時系列に撮影した画像に基づいて前記複数の撮像装置の中の一の撮像装置で撮影された画像を、前記他の撮像装置の位置から見たアフィン変換の変換パラメータを用いて変換する画像処理方法において、
時刻（ｔ−１）における車両の状態情報から時刻ｔにおける車両の状態情報を予測する状態情報第１予測ステップと、
前記一の撮像装置で撮影された時刻ｔにおける画像と、前記他の撮像装置で撮影された時刻ｔにおける画像と、前記予測した時刻ｔにおける車両の状態情報とを用いて、時刻ｔにおける前記アフィン変換の並進成分である並進移動量を推定する並進移動量推定ステップと、
前記推定した時刻ｔにおける並進移動量と、前記予測した時刻ｔにおける車両の状態情報を用いて、時刻ｔにおける車両の状態情報を予測する状態情報第２予測ステップと、
を有し、
前記車両の状態情報が、状態ベクトルと共分散行列であり、前記状態ベクトルは、並進移動方向を表す単位ベクトルと、並進移動の大きさと、その大きさの単位時間当たりの変化量を要素とするベクトルであり、前記共分散行列は前記状態ベクトルの各要素の共分散を表す行列である
ことを特徴とする画像処理方法。 - 道路平面上の車両に取り付けられた異なる視点を持つ複数の撮像装置から前記道路平面を時系列に撮影して、この時系列に撮影した画像に基づいて前記複数の撮像装置の中の一の撮像装置で撮影された画像を、前記他の撮像装置の位置から見たアフィン変換の変換パラメータを用いて変換する画像処理方法をコンピュータによって実現するプログラムにおいて、
時刻（ｔ−１）における車両の状態情報から時刻ｔにおける車両の状態情報を予測する状態情報第１予測機能と、
前記一の撮像装置で撮影された時刻ｔにおける画像と、前記他の撮像装置で撮影された時刻ｔにおける画像と、前記予測した時刻ｔにおける車両の状態情報とを用いて、時刻ｔにおける前記アフィン変換の並進成分である並進移動量を推定する並進移動量推定機能と、
前記推定した時刻ｔにおける並進移動量と、前記予測した時刻ｔにおける車両の状態情報を用いて、時刻ｔにおける車両の状態情報を予測する状態情報第２予測機能と、
を実現し、
前記車両の状態情報が、状態ベクトルと共分散行列であり、前記状態ベクトルは、並進移動方向を表す単位ベクトルと、並進移動の大きさと、その大きさの単位時間当たりの変化量を要素とするベクトルであり、前記共分散行列は前記状態ベクトルの各要素の共分散を表す行列である
ことを特徴とする画像処理方法のプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092980A JP3797949B2 (ja) | 2002-03-28 | 2002-03-28 | 画像処理装置及びその方法 |
| US10/391,626 US7149327B2 (en) | 2002-03-28 | 2003-03-20 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092980A JP3797949B2 (ja) | 2002-03-28 | 2002-03-28 | 画像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003288602A JP2003288602A (ja) | 2003-10-10 |
| JP3797949B2 true JP3797949B2 (ja) | 2006-07-19 |
Family
ID=28449641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002092980A Expired - Fee Related JP3797949B2 (ja) | 2002-03-28 | 2002-03-28 | 画像処理装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7149327B2 (ja) |
| JP (1) | JP3797949B2 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2004288251B2 (en) * | 2003-11-11 | 2012-06-07 | Technikus Ag | Device for recording driving and/or traffic conditions and method for evaluating said recorded data |
| JP4406381B2 (ja) * | 2004-07-13 | 2010-01-27 | 株式会社東芝 | 障害物検出装置及び方法 |
| FR2874300B1 (fr) * | 2004-08-11 | 2006-11-24 | Renault Sas | Procede de calibration automatique d'un systeme de stereovision |
| US7583819B2 (en) * | 2004-11-05 | 2009-09-01 | Kyprianos Papademetriou | Digital signal processing methods, systems and computer program products that identify threshold positions and values |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP2006252473A (ja) * | 2005-03-14 | 2006-09-21 | Toshiba Corp | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム |
| EP1883242B1 (en) * | 2005-05-20 | 2014-09-17 | Toyota Jidosha Kabushiki Kaisha | Image processor for vehicles |
| US8736672B2 (en) * | 2006-08-24 | 2014-05-27 | Reald Inc. | Algorithmic interaxial reduction |
| US7886334B1 (en) * | 2006-12-11 | 2011-02-08 | Qurio Holdings, Inc. | System and method for social network trust assessment |
| US9195996B1 (en) | 2006-12-27 | 2015-11-24 | Qurio Holdings, Inc. | System and method for classification of communication sessions in a social network |
| JP5234894B2 (ja) * | 2007-06-28 | 2013-07-10 | 富士重工業株式会社 | ステレオ画像処理装置 |
| JP2009041972A (ja) * | 2007-08-07 | 2009-02-26 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2009053818A (ja) * | 2007-08-24 | 2009-03-12 | Toshiba Corp | 画像処理装置及びその方法 |
| EP2043045B1 (de) * | 2007-09-20 | 2011-09-07 | Delphi Technologies, Inc. | Verfahren zur Objektverfolgung |
| US8264537B2 (en) * | 2007-09-28 | 2012-09-11 | The Mainz Group Llc | Photogrammetric networks for positional accuracy |
| JP4876080B2 (ja) * | 2008-01-25 | 2012-02-15 | 富士重工業株式会社 | 環境認識装置 |
| JP4956452B2 (ja) * | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
| TW200937348A (en) * | 2008-02-19 | 2009-09-01 | Univ Nat Chiao Tung | Calibration method for image capturing device |
| DE102008026876A1 (de) | 2008-06-05 | 2009-12-10 | Hella Kgaa Hueck & Co. | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems |
| CN102339463B (zh) * | 2010-07-22 | 2015-10-21 | 首都师范大学 | 基于激光扫描仪标定线阵相机的系统及方法 |
| JP5870266B2 (ja) | 2011-06-06 | 2016-02-24 | パナソニックＩｐマネジメント株式会社 | キャリブレーション装置及びキャリブレーション方法 |
| DK3027482T3 (da) * | 2013-07-31 | 2021-12-20 | Rail Vision Ltd | System og fremgangsmåde til identificering og undvigelse af forhindring |
| JP6256207B2 (ja) * | 2014-05-30 | 2018-01-10 | 株式会社Ｊｖｃケンウッド | 車線認識装置、車線認識方法、及び、プログラム |
| JP6224543B2 (ja) * | 2014-07-29 | 2017-11-01 | アルプス電気株式会社 | 入力装置及び指判定方法並びにプログラム |
| US10558867B2 (en) * | 2015-09-28 | 2020-02-11 | Kyocera Corporation | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
| DE102016104730A1 (de) * | 2016-03-15 | 2017-09-21 | Connaught Electronics Ltd. | Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
| US10784841B2 (en) * | 2018-03-08 | 2020-09-22 | Cnh Industrial America Llc | Kalman filter for an autonomous work vehicle system |
| WO2020039837A1 (ja) * | 2018-08-22 | 2020-02-27 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| US11740078B2 (en) * | 2020-07-21 | 2023-08-29 | Argo AI, LLC | Enhanced sensor alignment |
| CN111951553B (zh) * | 2020-08-17 | 2022-11-11 | 上海电科智能系统股份有限公司 | 一种基于交通大数据平台与中观仿真模型的预测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4172554B2 (ja) * | 1998-03-12 | 2008-10-29 | 富士重工業株式会社 | ステレオカメラの調整装置 |
| JP4256992B2 (ja) | 1999-09-09 | 2009-04-22 | 株式会社東芝 | 障害物検出装置 |
| JP4573977B2 (ja) * | 1999-09-22 | 2010-11-04 | 富士重工業株式会社 | 監視システムの距離補正装置、および監視システムの消失点補正装置 |
| JP2001243456A (ja) | 2000-02-29 | 2001-09-07 | Toshiba Corp | 障害物検出装置及び障害物検出方法 |
| US6535114B1 (en) * | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
| US6577952B2 (en) * | 2001-01-08 | 2003-06-10 | Motorola, Inc. | Position and heading error-correction method and apparatus for vehicle navigation systems |
-
2002
- 2002-03-28 JP JP2002092980A patent/JP3797949B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-20 US US10/391,626 patent/US7149327B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003288602A (ja) | 2003-10-10 |
| US20030185421A1 (en) | 2003-10-02 |
| US7149327B2 (en) | 2006-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3797949B2 (ja) | 画像処理装置及びその方法 | |
| JP3719095B2 (ja) | 挙動検出装置および勾配検出方法 | |
| KR101188588B1 (ko) | 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법 | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| JP3868876B2 (ja) | 障害物検出装置及び方法 | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| JP3352655B2 (ja) | 車線認識装置 | |
| US9659497B2 (en) | Lane departure warning system and lane departure warning method | |
| US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
| EP1391845A2 (en) | Image based object detection apparatus and method | |
| JP2009026250A (ja) | 面成分検出装置、地上面検出装置、及び障害物検出装置 | |
| JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP4067340B2 (ja) | 対象物認識装置および対象物認識方法 | |
| JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
| JP4256992B2 (ja) | 障害物検出装置 | |
| JP2003281552A (ja) | 画像処理装置及びその方法 | |
| JP2004034946A (ja) | 画像処理装置、駐車支援装置、及び画像処理方法 | |
| JP2001243456A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP2006072757A (ja) | 物体検出装置 | |
| JP3237705B2 (ja) | 障害物検出装置および障害物検出装置を搭載した移動体 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| JP4462533B2 (ja) | 路面走行レーン検出装置 | |
| JP4661578B2 (ja) | 移動体認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060418 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |