JP4026641B2 - 物体検出装置、および物体検出方法 - Google Patents

Description

本発明は、自車両前方に存在する物体を検出する物体検出装置、および物体検出方法に関する。

車載カメラによって得られる画像から複数の対象物を抽出し、該複数の対象物のｙ方向（高さ方向）の位置の時間変化量に基づいて、ピッチングなどの車両挙動を考慮した対象物のｙ座標値の補正を行うことにより、ピッチングなどの車両挙動の影響を排除して、対象物の位置を検出する位置検出装置が特許文献１によって知られている。

特開２００１−８４４９７号公報

しかしながら、対象物のｙ方向の位置の時間変化量に基づいてｙ座標値の検出を行うため、乗員や荷物搭載などによって定常的に発生するピッチングによる対象物の位置変化は検出できないという問題が生じていた。

本発明は、撮像手段で撮像した自車両前方の画像（以下、「撮像画像」と呼ぶ）を画像処理して、撮像画像が自車両がピッチングによる上下方向の周期運動の変極点（以下、「ピッチング変極点」と呼ぶ）にあるときに撮像されたものであるか否かを判定し、撮像画像が自車両がピッチング変極点にないときに撮像されたものであると判定されたときに、自車両がピッチング変極点にあるときに撮像された撮像画像に基づいて、撮像画像内に存在する物体の画像上における位置を算出し、撮像画像に基づいて算出されるオプティカルフロー上で検出される、撮像画像内に存在する物体の画像垂直方向の加速度（以下、「画像加速度」と呼ぶ）を算出し、画像加速度が０である撮像画像を自車両がピッチング変極点にあるときに撮像されたものであると判定することを特徴とする。

本発明によれば、撮像画像が自車両がピッチング変極点にあるときに撮像されたものであるか否かを判定して、撮像画像が自車両がピッチング変極点にないときに撮像されたものであると判定されたときに、自車両がピッチング変極点にあるときに撮像された撮像画像から算出された対象物情報に基づいて、撮像画像内に存在する物体の画像上における位置を算出することとした。これによって、乗員や荷物搭載などによって定常的にピッチングが発生した場合であっても、画像上の正確な物体の位置を算出することができる。

図１は、本実施の形態における物体検出装置の一実施の形態の構成例を示すブロック図である。物体検出装置１００は、車両に搭載され、カメラ１と、画像メモリ２と、マイコン３と、ディスプレイ４とを備えている。カメラ１は、車両前部に設けられ、車両前方を一定時間Δｔ間隔で撮像する。画像メモリ２は、カメラ１で撮像された画像をデジタル値に変換し、デジタル画像を保存する。マイコン３は入力画像メモリ２に保存されたデジタル画像を読み込み、後述するように車両のピッチングを考慮して画像内に存在する物体の実空間における大きさ、および物体までの距離を検出する。ディスプレイ４は検出した物体を、例えば、自車両を中心とし、上方から見た地図上にマッピングした鳥瞰図上に表示して出力する。

なお、本実施の形態においては、カメラ１で撮像された画像内には、例えば１台の他車両など、一つの移動物体のみが存在しているものとし、画像内に存在する物体の実空間における大きさは、画像上で検出可能な物体の幅とする。

図２は、車両にピッチングが発生した場合に、撮像画像内に存在する前方車両に存在する物体の位置変化の具体例を示す図である。図２（ａ）に示すように、車両が平衡状態（後述のように定義する）にあるときの撮像画像内における物体のｙ座標値ｙoは、水平方向に対するカメラ視軸向きθから物体を見た時のずれ角を物体の見える角θoとすると、次式（１）により算出される。
ｙo＝αθo・・・（１）
なお、αはカメラ１の撮像素子サイズや焦点距離など（以下、これらを「カメラパラメータ」と呼ぶ）によって一意に算出できる定数である。

このときに、車両にピッチングが発生し、このときのピッチング角がθｐである場合には、物体の画像上のｙ座標値ｙo'は、次式（２）により算出される。
ｙo'＝αθo'＝α（θo＋θｐ）＝ｙｏ＋αθp・・・（２）
すなわち、ピッチングが発生した時の物体の画像上のｙ座標値の変化は、ピッチング角θｐの大きさに比例することがわかる。よって、ピッチング角θｐ、画像上の物体のｙ軸方向の速度、すなわち画像垂直方向の速度（画像速度）、画像上の物体のｙ軸方向の加速度、すなわち画像垂直方向の加速度（画像加速度）は図３に示すような関係になる。

図３において、特性３ａは自車両にピッチングが発生したときのピッチングによるカメラ１の上下方向の周期運動（周期運動３ａ）、特性３ｂは時間変化に伴う画像速度の変化（画像速度３ｂ）、特性３ｃは時間変化に伴う画像加速度の変化（画像加速度３ｃ）を示している。この図３に示すように、画像加速度３ｃがゼロである時点では、画像速度３ｂが最大、または最小となり、周期運動３ａは変極点にある。周期運動３ａの変極点は、車両は平衡状態にある点を示していることから、画像加速度３ｃがゼロである画像は、自車両にピッチングが発生した場合において、自車両が平衡状態となったときに撮像された画像であると判定することができる。

なお、本実施の形態においては、撮像画像に対してエッジ抽出処理を行った結果、公知の勾配法やブロックマッチング法を用いてオプティカルフローを算出し、画像上に存在する物体の速度を検出することによって、上述した画像速度３ｂ、および画像加速度３ｃを検出する。なお、エッジ抽出処理、およびオプティカルフロー算出処理については、公知の技術のため、説明を省略する。

この自車両が平衡状態となったときに撮像された画像（平衡時の画像）、すなわち、画像内から検出された物体の画像上のｙ軸方向の加速度３ｃがゼロである画像に基づいて、後述するように画像上の物体のｙ座標、実空間における物体の幅（物体の大きさ）、カメラ１から物体までの距離、すなわちカメラ１の焦点位置から物体までの距離Ｄが算出できる。図４は，平衡時の画像を用いて画像上の物体のｙ座標、実空間における物体の幅、およびカメラ１の焦点位置から物体までの距離を算出する場合の具体例を示す図である。なお、図４（ａ）は、物体を側方から見た図を示しており、図４（ｂ）は、物体を上方から見た図を示している。

図４（ａ）に示すように、画像上の物体のｙ座標は、あらかじめ測定されているカメラ１の視軸向きθ、および画像内で検出可能な物体の見える角θoを用いて次式（３）により算出される。
ｙ＝α（θ＋θｏ）・・・（３）
また、カメラ１の焦点位置から物体までの距離Ｄは、あらかじめ測定されているカメラ設置高Ｈ、カメラ１の視軸向きθ、および物体の見える角θoによって、次式（４）により算出される。
Ｄ＝Ｈ／ｔａｎ（θ＋θｏ）・・・（４）

次に、物体の幅Ｗｓを算出する。図４（ｂ）に示す、画像幅ｘｗと、物体の幅角θxとの関係より、次式（５）が成立する。
ｘｗ＝βθx・・・（５）
なお、βはカメラパラメータによって一意に算出できる定数である。

よって、式（５）に基づいて、物体の幅Ｗｓは次式（６）によって算出される。
Ｗｓ＝θｘ・Ｄ＝ｘｗ／β・Ｄ・・・（６）
これにより、平衡時の画像に基づいて、式（３）、（４）、および（６）によって、画像上の物体のｙ座標、実空間における物体の幅Ｗｓ、およびカメラ１の焦点位置から物体までの距離Ｄを算出することができる。

しかし、車両に定常的なピッチングが発生した場合には、カメラ１の視軸向きθがピッチング角の分だけ変化し、この大きさが不明となるため、この場合には上述した処理によっては画像上の物体のｙ座標、実空間における物体の幅Ｗｓ、およびカメラ１の焦点位置から物体までの距離Ｄを算出することができない。よって、画像加速度３ｃがゼロでない画像においては、これらを以下のように算出することができる。

まず、画像加速度３ｃがゼロでない画像内で検出された物体と同一物体と判断できる物体が存在する異なる時刻Ｔ１、Ｔ２において撮像された平衡時の画像を画像メモリ２から読み込む。画像加速度３ｃがゼロでない画像内で検出された物体と同一物体であるか否かは、それぞれの画像上における物体の速度や上述したエッジ抽出処理で検出される物体の形状が近似しているか否かによって判断する。なお、本実施の形態におけるカメラ１は、高速カメラであり、極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔で連続的に車両前方を撮像するものとし、異なる時刻Ｔ１、Ｔ２において撮像された平衡時の画像には必ず画像加速度３ｃがゼロでない画像内で検出された物体と同一物体が存在していることを前提として以下説明する。

時刻Ｔ１，Ｔ２における平衡時の画像でのカメラ１の焦点位置から物体までの距離Ｄ１、およびＤ２については、それぞれの時点における物体の見える角θｏ１、およびθｏ２により、式（４）を用いて次式（７）、および（８）のように表すことができる。
Ｄ１＝Ｈ／ｔａｎ（θ＋θｏ１）・・・（７）
Ｄ２＝Ｈ／ｔａｎ（θ＋θｏ２）・・・（８）

また、時刻Ｔ１，Ｔ２のそれぞれにおける物体の幅Ｗｓは、それぞれの時点における物体の幅角θｘ１、およびθｘ２により、式（６）を用いて次式（９）、および（１０）のように表すことができる。
Ｗｓ＝θｘ１・Ｄ１・・・（９）
Ｗｓ＝θｘ２・Ｄ２・・・（１０）
これにより、式（９）、および（１０）に式（７）、および（８）をそれぞれ代入して、次式（１１）、および（１２）が算出される。
Ｗｓ＝θｘ１・Ｈ／ｔａｎ（θ＋θｏ１）・・・（１１）
Ｗｓ＝θｘ２・Ｈ／ｔａｎ（θ＋θｏ２）・・・（１２）

式（１１）、および式（１２）において、車両に搭載されたカメラ１から車両前方の遠方を撮像する場合は、θ≒０、θｏ１≒０、およびθｏ２≒０と近似できるため、式（１１）においては、ｔａｎ（θ＋θｏ１）→θ＋θｏ１となり、式（１２）においては、ｔａｎ（θ＋θｏ２）→θ＋θｏ２となる。これにより、式（１１）、および（１２）は、次式（１３）、および（１４）で表され、これに基づいて次式（１５）、および（１６）を得ることができる。
Ｗｓ＝θｘ１・Ｈ／（θ＋θｏ１）・・・（１３）
Ｗｓ＝θｘ２・Ｈ／（θ＋θｏ２）・・・（１４）
Ｗｓ・（θ＋θｏ１）＝θｘ１・Ｈ・・・（１５）
Ｗｓ・（θ＋θｏ２）＝θｘ２・Ｈ・・・（１６）

ここで、式（１５）から式（１６）を減算することにより、次式（１７）が算出され、物体の幅Ｗｓを算出することができる。
Ｗｓ＝Ｈ・（θｘ１−θｘ２） ／（θｏ１−θｏ２）・・・（１７）
これによって、車両にピッチングが発生したことによって、その間に撮像した画像におけるカメラ１の視軸向きθがわからない場合であっても、同一物体が検出された異なる時刻における平衡状態の画像２枚において検出可能なカメラ設置高Ｈ、画像から計測可能なθｏ１、θｏ２、θｘ１、およびθｘ２を用いて、物体の幅Ｗｓを算出することができる。

そして、このピッチングが発生したときの画像におけるカメラ１の焦点位置から物体までの距離Ｄは、算出された物体の幅Ｗｓに基づいて、式（６）を用いて次式（１８）で算出できる。
Ｄ＝Ｗｓ／θx ＝Ｗｓ・β／ｘｗ・・・（１８）
これにより、カメラ１の視軸向きθは、式（４）より、カメラ１の焦点位置から物体までの距離Ｄを用いて次式（１９）で算出できる。
θ＝ａｔａｎ（Ｈ／Ｄ）−θｏ・・・（１９）
以上より、車両にピッチングが発生したことによって、カメラ１の視軸向きθが変化した場合でも、異なる時刻Ｔ１、Ｔ２における平衡時の画像に基づいて、物体の幅Ｗｓを算出し、カメラ１の視軸向きθを算出することができる。そして、カメラ１の視軸向きθが算出されると、式（３）により画像上の物体のｙ座標を算出することができる。

上述した処理によって算出した画像上の物体のｙ座標に基づいて、例えば鳥瞰図表示した地図上に物体をマッピングして、ディスプレイ４に表示する。これによって、車両にピッチングが発生した場合であっても、ピッチングによって生じる物体の画像上におけるｙ軸方向のずれを的確に補正して鳥瞰図上に表示することができる。

図５は、本実施の形態における物体検出装置１００の処理を示すフローチャートである。図５に示す処理は車両のイグニションスイッチがオンされて、物体検出装置の電源がオンされると起動するプログラムとしてマイコン３によって実行される。ステップＳ１０において、カメラ１によって撮像され、画像メモリ２に記憶された撮像画像を読み込む。その後、ステップＳ２０へ進む。

ステップＳ２０では、上述したように読み込んだ任意の画像に対して、エッジ抽出処理を実行し、オプティカルフローを算出することによって、画像速度３ｂ、および画像加速度３ｃを算出して、ステップＳ３０へ進む。ステップＳ３０では、算出した画像加速度３ｃがゼロであるか否かを判断する。算出した画像加速度３ｃがゼロであると判断した場合には、読み込んだ画像は車両が平衡時に撮像された画像であると判断してステップＳ４０へ進む。ステップＳ４０では、上述したように式（３）、（４）、および（６）によって、画像上の物体のｙ座標、実空間における物体の幅Ｗｓ、およびカメラ１の焦点位置から物体までの距離Ｄを算出する。

これに対して、算出した画像加速度３ｃがゼロでないと判断した場合には、読み込んだ画像は車両にピッチングが発生したときに撮像された画像であると判断してステップＳ５０へ進む。ステップＳ５０では、上述したように撮像画像内で検出された物体と同一物体を含む異なる時刻Ｔ１、Ｔ２において撮像された平衡時の画像を画像メモリ２から読み込む。その後、ステップＳ６０へ進み、式（１７）、（１８）、（１９）によって、実空間における物体の幅Ｗｓ、カメラ１の焦点位置から物体までの距離Ｄ、およびカメラ１の視軸向きθを算出する。その後、ステップＳ７０へ進み、式（３）により画像上の物体のｙ座標を算出する。

その後、ステップＳ８０へ進み、算出した画像上の物体のｙ座標、および実空間における物体の幅Ｗｓに基づいて、検出した物体を地図上、例えば鳥瞰図上にマッピングして、ディスプレイ４に表示して、ステップＳ９０へ進む。ステップＳ９０では、車両のイグニションスイッチがオフされたか否かを判断する。オフされないと判断した場合には、ステップＳ１０へ戻って処理を繰り返す。これに対して、オフされたと判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）物体の画像上の画像加速度３ｃを算出して、物体の画像上の画像加速度３ｃがゼロでない画像は、その撮像時に車両にピッチングが発生していたと判断することとした。これによって、車両姿勢を検出する装置など、ピッチングの発生を検出するための装置を車両に搭載することなく、ピッチングの発生を検出することができ、装置を安価に構成することができる。
（２）車両にピッチングが発生していない状態で撮像された画像、すなわち平衡時の画像においては、カメラ設置高Ｈ、カメラ１の視軸向きθ、および物体の見える角θoに基づいてカメラ１の焦点位置から物体までの距離Ｄを算出し、画像幅ｘｗ、物体の幅角θx、およびカメラ１の焦点位置から物体までの距離Ｄに基づいて物体の幅Ｗｓを算出することとした。これによって、物体までの距離、および物体の大きさを検出するに当たって、特別なセンサを必要とせず、簡易な構成により装置を実現することができる。

（３）車両にピッチングが発生した場合には、ピッチング発生時の画像内で検出された物体と同一物体と判断できる物体が存在する異なる時刻Ｔ１、Ｔ２において撮像された平衡時の画像に基づいて、実空間における物体の幅Ｗｓを算出し、当該算出結果に基づいて、カメラ１の焦点位置から物体までの距離Ｄ、およびカメラ１の視軸向きθを算出することとした。これによって、ピッチングが発生してカメラ１の視軸向きθが不明な場合でも、カメラ１の視軸向きθ、検出物体までの距離、および検出物体の大きさを、正確に算出することができる。

（４）また、車両にピッチングが発生した場合には、算出したカメラ１の視軸向きθに基づいて、画像上の物体のｙ座標を算出して鳥瞰図表示した地図上に物体をマッピングして、ディスプレイ４に表示することとした。これによって、車両にピッチングが発生した場合であっても、ピッチングによって生じる物体の画像上におけるｙ軸方向のずれを的確に補正して鳥瞰図上に表示することができる。

なお、以下のように変形することもできる。
（１）上述した実施の形態では、画像速度３ｂ、および画像加速度３ｃを検出するために、撮像画像に対してエッジ抽出処理を行い、オプティカルフローを算出する例について説明した。しかし、その他の方法によって画像速度３ｂ、および画像加速度３ｃを検出してもよい。

（２）上述した実施の形態では、画像加速度３ｃがゼロである画像は、自車両が平衡状態となったときに撮像された画像であると判定する例について説明した。しかし、画像速度３ｂがプラス、もしくはマイナスのいずれか一方で、かつ画像加速度３ｃがゼロである画像を自車両が平衡状態となったときに撮像された画像であると判定してもよい。これによって、自車両のサスペンションにおける伸び側と縮み側の特性が違う場合でも、車両の平衡状態を正確に検出することができる。

（３）上述した実施の形態では、カメラ１で撮像された画像内には、一つの移動物体のみが存在している例について説明したが、これに限定されず、複数の移動物体が存在していてもよい。この場合には、画像内で検出された全ての物体に対して上述した処理を実行して、画像上の物体のｙ座標、実空間における物体の幅Ｗｓ、およびカメラ１の焦点位置から物体までの距離Ｄを算出する

（４）上述した実施の形態では、車両にピッチングが発生した場合に、カメラ１の視軸向きθが不明となることから、そのときの実空間における物体の幅Ｗｓを算出し、カメラ１の焦点位置から物体までの距離Ｄ、カメラ１の視軸向きθ、および画像上の物体のｙ座標を算出する例について説明した。しかし、これに限定されず、例えば、カメラ１の取り付け位置にずれが発生してカメラ１の視軸向きθが不明な場合についても、上述した方法で実空間における物体の幅Ｗｓ、カメラ１の焦点位置から物体までの距離Ｄ、カメラ１の視軸向きθ、および画像上の物体のｙ座標を算出してもよい。

（５）上述した実施の形態では、検出した物体を鳥瞰図上にマッピングしてディスプレイ４に表示する例について説明した。しかし、これに限定されず、例えば平面地図等のその他の形態の地図上に物体をマッピングして表示してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１は撮像手段に、マイコン３は画像判定手段、物体位置算出手段、加速度算出手段、速度算出手段、および物体情報算出手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

物体検出装置の一実施の形態の構成例を示すブロック図である。 車両にピッチングが発生した場合に、撮像画像内に存在する前方車両に存在する物体の位置変化の具体例を示す図である。 ピッチング角θｐ、画像上の物体のｙ軸方向の速度、画像上の物体のｙ軸方向の加速度の関係を示すグラフ図である。 平衡時の画像を用いて実空間における物体の高さ、物体の幅、およびカメラ１の焦点位置から物体までの距離を算出する場合の具体例を示す図である。 物体検出装置１００の処理を示すフローチャート図である。

符号の説明

１００ 物体検出装置
１ カメラ
２ 画像メモリ
３ マイコン
４ ディスプレイ

Claims (5)

1. 自車両前方の画像を撮像する撮像手段と、
   前記撮像手段で撮像した画像（以下、「撮像画像」と呼ぶ）を画像処理して、前記撮像画像が、自車両がピッチングによる上下方向の周期運動の変極点（以下、「ピッチング変極点」と呼ぶ）にあるときに撮像されたものであるか否かを判定する画像判定手段と、
   前記画像判定手段によって前記撮像画像が自車両が前記ピッチング変極点にないときに撮像されたものであると判定されたときに、自車両が前記ピッチング変極点にあるときに撮像された撮像画像に基づいて、前記撮像画像内に存在する物体の画像上における位置を算出する物体位置算出手段と、
   前記撮像画像に基づいて算出されるオプティカルフロー上で検出される、前記撮像画像内に存在する物体の画像垂直方向の加速度（以下、「画像加速度」と呼ぶ）を算出する加速度算出手段とを備え、
   前記画像判定手段は、前記加速度算出手段によって算出された前記画像加速度が０である前記撮像画像を自車両が前記ピッチング変極点にあるときに撮像されたものであると判定することを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記撮像画像に基づいて算出されるオプティカルフロー上で検出される、前記撮像画像内に存在する物体の画像垂直方向の速度（以下、「画像速度」と呼ぶ）を算出する速度算出手段をさらに備え、
   前記画像判定手段は、前記加速度算出手段によって算出された前記画像加速度が０であり、かつそのときの前記速度算出手段によって算出された前記画像速度が正、および負のいずれか一方である前記撮像画像を自車両が前記ピッチング変極点にあるときに撮像されたものであると判定することを特徴とする物体検出装置。
3. 請求項１または２に記載の物体検出装置において、
   前記画像判定手段によって前記撮像画像が自車両が前記ピッチング変極点にないときに撮像されたものであると判定された場合には、当該撮像画像と、当該撮像画像内に存在する物体と同一物体が含まれる異なる時刻に撮像された自車両が前記ピッチング変極点にあるときに撮像された撮像画像との比較結果に基づいて、実空間上における前記物体の幅を算出し、この算出結果と、前記撮像画像内における前記物体の幅とに基づいて、前記撮像手段から当該撮像画像内に存在する物体までの距離を算出する物体情報算出手段をさらに備えることを特徴とする物体検出装置。
4. 請求項３に記載の物体検出装置において、
   前記物体位置算出手段は、前記画像判定手段によって前記撮像画像が自車両が前記ピッチング変極点にないときに撮像されたものであると判定された場合には、前記物体情報算出手段によって算出された前記撮像手段から当該撮像画像内に存在する物体までの距離に基づいて、当該撮像画像を撮像した時点における前記撮像手段の視軸向きを算出し、算出した前記撮像手段の視軸向きに基づいて、画像上における物体の位置を算出することを特徴とする物体検出装置。
5. 撮像手段で撮像した自車両前方の画像（以下、「撮像画像」と呼ぶ）を画像処理して、前記撮像画像が自車両がピッチングによる上下方向の周期運動の変極点（ピッチング変極点）にあるときに撮像されたものであるか否かを判定し、
   前記撮像画像が自車両が前記ピッチング変極点にないときに撮像されたものであると判定されたときに、自車両が前記ピッチング変極点にあるときに撮像された撮像画像に基づいて、前記撮像画像内に存在する物体の画像上における位置を算出し、
   前記撮像画像に基づいて算出されるオプティカルフロー上で検出される、前記撮像画像内に存在する物体の画像垂直方向の加速度（以下、「画像加速度」と呼ぶ）を算出し、
   前記画像加速度が０である前記撮像画像を自車両が前記ピッチング変極点にあるときに撮像されたものであると判定することを特徴とする物体検出方法。

Images