JP3125836B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置Info
- Publication number
- JP3125836B2 JP3125836B2 JP06263506A JP26350694A JP3125836B2 JP 3125836 B2 JP3125836 B2 JP 3125836B2 JP 06263506 A JP06263506 A JP 06263506A JP 26350694 A JP26350694 A JP 26350694A JP 3125836 B2 JP3125836 B2 JP 3125836B2
- Authority
- JP
- Japan
- Prior art keywords
- line number
- vehicle
- inspection
- scan line
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は車両に設置された２台の
カメラより撮像された信号に基づいて危険と判定された
とき警報を発する車両周辺監視装置に関する。
カメラより撮像された信号に基づいて危険と判定された
とき警報を発する車両周辺監視装置に関する。
【０００２】
【従来の技術】この種の装置としては、例えば特開平４
−２６１００号公報および特開平４−３０１５１３号公
報で示されるように、２台のカメラで撮像した画像信号
より物体の位置を算出する方法が記載されている。
−２６１００号公報および特開平４−３０１５１３号公
報で示されるように、２台のカメラで撮像した画像信号
より物体の位置を算出する方法が記載されている。
【０００３】これらの車両周辺監視装置においては、一
方のカメラで撮像された画像信号の隣接する画素の輝度
差を調べて物体のエッジ点Ｐa を検出し、検出したエッ
ジ点に対応する他方のカメラで撮像された画像信号の対
応点Ｐb を相関法で検出して、Ｐa およびＰb の画像信
号座標より物体の位置Ｐを算出している。
方のカメラで撮像された画像信号の隣接する画素の輝度
差を調べて物体のエッジ点Ｐa を検出し、検出したエッ
ジ点に対応する他方のカメラで撮像された画像信号の対
応点Ｐb を相関法で検出して、Ｐa およびＰb の画像信
号座標より物体の位置Ｐを算出している。
【０００４】いま２台のカメラを、例えば、図７に示す
ように、車両後部に路面よりＨなる高さに設置されて、
車両後方を撮像する。そこで、以後の説明を容易にする
ため、図８に示すように、カメラ設置点での座標を
Ｘ′，Ｙ′およびＺ′で表わし、路面での座標をＸ，Ｙ
およびＺで表わすものとする。したがって、カメラの設
置俯角θs ＝９０のときは、 Ｘ＝Ｘ′，Ｙ＝Ｙ′＋Ｈ，Ｚ＝Ｚ′ …（１） となる。
ように、車両後部に路面よりＨなる高さに設置されて、
車両後方を撮像する。そこで、以後の説明を容易にする
ため、図８に示すように、カメラ設置点での座標を
Ｘ′，Ｙ′およびＺ′で表わし、路面での座標をＸ，Ｙ
およびＺで表わすものとする。したがって、カメラの設
置俯角θs ＝９０のときは、 Ｘ＝Ｘ′，Ｙ＝Ｙ′＋Ｈ，Ｚ＝Ｚ′ …（１） となる。
【０００５】両カメラのレンズの光軸は、図９に示すよ
うに、両光軸ともＺ′軸と一致させ、距離Ｌだけ離れて
設置される。図９において、Ｘ′軸は両カメラのレンズ
の中心点を結ぶ方向にとり、Ｘ′軸は路面と平行になる
ようにカメラ１１および１２を設置する。
うに、両光軸ともＺ′軸と一致させ、距離Ｌだけ離れて
設置される。図９において、Ｘ′軸は両カメラのレンズ
の中心点を結ぶ方向にとり、Ｘ′軸は路面と平行になる
ようにカメラ１１および１２を設置する。
【０００６】Ｙ′軸は、Ｚ′軸とＸ′軸とに垂直となる
軸で、路面に対して垂直に起立した軸である。以後の説
明を容易にするため、Ｘ′，Ｙ′およびＺ′軸のＯ点は
カメラ（左）のレンズの中心にとる。このように設置さ
れた両カメラによって撮像され、メモリに記録されてい
る点Ｐ（Ｘp ′，Ｙp ′，Ｚp ′）の記録を、それぞれ
ＰL （ｘLP，ｙLP）および（ｘRP，ｙRP）とすると、点
Ｐまでの距離Ｚp ′は Ｚp ′＝Ｌｆ／（ｘLP−ｘRP） …（２） ただし、Ｌは両レンズの間隔ｆはレンズの焦点距離で表
わされる。
軸で、路面に対して垂直に起立した軸である。以後の説
明を容易にするため、Ｘ′，Ｙ′およびＺ′軸のＯ点は
カメラ（左）のレンズの中心にとる。このように設置さ
れた両カメラによって撮像され、メモリに記録されてい
る点Ｐ（Ｘp ′，Ｙp ′，Ｚp ′）の記録を、それぞれ
ＰL （ｘLP，ｙLP）および（ｘRP，ｙRP）とすると、点
Ｐまでの距離Ｚp ′は Ｚp ′＝Ｌｆ／（ｘLP−ｘRP） …（２） ただし、Ｌは両レンズの間隔ｆはレンズの焦点距離で表
わされる。
【０００７】また、点Ｐ（Ｘp ′，Ｙp ′，Ｚp ′）の
Ｙp ′は、図９より、 Ｙp ′＝Ａtan ΦL ＝Ｚp ′tan ΦL ／sin θL ＝Ｚp ′ｙLP／ｆ …（３） ＝ＬｙLP／（ｘLP−ｘRP） …（４） で表わされる。
Ｙp ′は、図９より、 Ｙp ′＝Ａtan ΦL ＝Ｚp ′tan ΦL ／sin θL ＝Ｚp ′ｙLP／ｆ …（３） ＝ＬｙLP／（ｘLP−ｘRP） …（４） で表わされる。
【０００８】また、点Ｐ（Ｘp ′，Ｙp ′，Ｚp ′）の
Ｘp ′は、図９より、 Ｘp ′＝Ａcos θL ＝Ｚp ′cos θL ／sin θL ＝Ｚp ′ｘLP／ｆ …（５） ＝ＬｘLP／（ｘLP−ｘRP） …（６） で表わされる。
Ｘp ′は、図９より、 Ｘp ′＝Ａcos θL ＝Ｚp ′cos θL ／sin θL ＝Ｚp ′ｘLP／ｆ …（５） ＝ＬｘLP／（ｘLP−ｘRP） …（６） で表わされる。
【０００９】なお、物体のＸ軸方向の位置を両カメラの
中央よりの距離としたい場合は、Ｘ軸距離Ｘp ′は Ｘp ′＝Ｘp ′−Ｌ／２ …（７） なる演算を行なえば良い。
中央よりの距離としたい場合は、Ｘ軸距離Ｘp ′は Ｘp ′＝Ｘp ′−Ｌ／２ …（７） なる演算を行なえば良い。
【００１０】カメラが図７で示すように、垂直方向より
θS 下方向に向けられている場合は補正が必要となる。
カメラの俯角がθS である場合、図８に示すようにな
る。Ｘ′，Ｙ′およびＺ′座標で表わした点Ｐの位置Ｘ
p ′，Ｙp ′およびＺp ′は路面座標Ｘ，ＹおよびＺで
表わすと図８で示すようになる。
θS 下方向に向けられている場合は補正が必要となる。
カメラの俯角がθS である場合、図８に示すようにな
る。Ｘ′，Ｙ′およびＺ′座標で表わした点Ｐの位置Ｘ
p ′，Ｙp ′およびＺp ′は路面座標Ｘ，ＹおよびＺで
表わすと図８で示すようになる。
【００１１】したがって、式（２），（４）および
（６）で算出したＺp ′，Ｙp ′およびＸp ′を用いて
Ｘ，ＹおよびＺ座標で表わした点Ｐの値をＸp ，Ｙp お
よびＺpとすると、 Ｘp ＝Ｘp ′ …（８） Ｙp ＝Ｈ−Ｚp ′cos θS ＋Ｙp ′sin θS …（９） Ｚp ＝Ｚp ′sin θS ＋Ｙp ′cos θS …（10） となる。
（６）で算出したＺp ′，Ｙp ′およびＸp ′を用いて
Ｘ，ＹおよびＺ座標で表わした点Ｐの値をＸp ，Ｙp お
よびＺpとすると、 Ｘp ＝Ｘp ′ …（８） Ｙp ＝Ｈ−Ｚp ′cos θS ＋Ｙp ′sin θS …（９） Ｚp ＝Ｚp ′sin θS ＋Ｙp ′cos θS …（10） となる。
【００１２】図１０（Ａ）および（Ｂ）は、左および右
のカメラで撮像した画像信号を示しており、この画像信
号の水平方向（走査線）の隣接する画素間の輝度差よ
り、図１０（Ｆ）に示すように、物体のエッジを検出
し、図（Ａ）（Ｂ）の左右画像より対応点の座標ｘLP，
ｙLPおよびｘRP，ｙRPを読出して式（２），（４）およ
び（６）に代入してＺp ′，Ｙp ′およびＸp ′を求
め、式（８），（９）および（１０）に代入して物体位
置Ｘp ，Ｙp およびＺp を求めていた。
のカメラで撮像した画像信号を示しており、この画像信
号の水平方向（走査線）の隣接する画素間の輝度差よ
り、図１０（Ｆ）に示すように、物体のエッジを検出
し、図（Ａ）（Ｂ）の左右画像より対応点の座標ｘLP，
ｙLPおよびｘRP，ｙRPを読出して式（２），（４）およ
び（６）に代入してＺp ′，Ｙp ′およびＸp ′を求
め、式（８），（９）および（１０）に代入して物体位
置Ｘp ，Ｙp およびＺp を求めていた。
【００１３】
【発明が解決しようとする課題】前述したように、従来
の車両周辺監視装置においては、カメラで撮像された画
像信号の全てに対して処理を行ない物体位置を算出する
ようにしていたため、処理に長時間を要していた。
の車両周辺監視装置においては、カメラで撮像された画
像信号の全てに対して処理を行ない物体位置を算出する
ようにしていたため、処理に長時間を要していた。
【００１４】処理時間を短縮するには、例えば、等間隔
で配置された特定の走査線に対してのみ処理を行なって
物体位置を算出させる方法が考えられている。すなわ
ち、図１０で示したポール３１を検出するには、例えば
１０走査線毎に検出されるエッジ点の位置を算出し、算
出されたエッジ点位置間を補間することに物体全体を認
識することができる。
で配置された特定の走査線に対してのみ処理を行なって
物体位置を算出させる方法が考えられている。すなわ
ち、図１０で示したポール３１を検出するには、例えば
１０走査線毎に検出されるエッジ点の位置を算出し、算
出されたエッジ点位置間を補間することに物体全体を認
識することができる。
【００１５】しかし、このような方法をとった場合は次
のような問題が発生する。すなわち、カメラで撮像した
物体のエッジは最大１画素のズレが発生することがあ
る。このため、式（２），（４）および（６）のｘLP−
ｘRPの値が変化し、式（１０）で算出される車両より物
体までの距離Ｚp が大きく変化する。またＺ p の誤差は
車両より遠方になるに従って大きくなる。
のような問題が発生する。すなわち、カメラで撮像した
物体のエッジは最大１画素のズレが発生することがあ
る。このため、式（２），（４）および（６）のｘLP−
ｘRPの値が変化し、式（１０）で算出される車両より物
体までの距離Ｚp が大きく変化する。またＺ p の誤差は
車両より遠方になるに従って大きくなる。
【００１６】このため、図１３に示すように、車両の近
方に対応する走査線４で算出された物体ｂの位置が、車
両の遠方に対応する走査線５で算出された物体ａより遠
方にあると算出されることが発生し、物体を確実に認識
することができなくなる。本発明は短時間で、かつ確実
に物体を検出できるようにした車両周辺監視装置を提供
することを目的とする。
方に対応する走査線４で算出された物体ｂの位置が、車
両の遠方に対応する走査線５で算出された物体ａより遠
方にあると算出されることが発生し、物体を確実に認識
することができなくなる。本発明は短時間で、かつ確実
に物体を検出できるようにした車両周辺監視装置を提供
することを目的とする。
【００１７】
【課題を解決するための手段】前述した課題を解決する
ために本発明が採用した手段を図１を参照して説明す
る。図１は本発明の基本構成図である。車両に所定距離
だけ離して設置された２台の撮像手段より得られた画像
データに基づいて物体位置を算出し、車両の周辺を監視
する車両周辺監視装置において、前記２台の撮像手段よ
り出力された画像信号を記録するフレームメモリ１と、
前記フレームメモリの自車両より近方は密に遠方は粗と
なるようにした検査走査線番号記録手段２と、前記検査
走査線番号記録手段２に記録されている走査線番号の画
像データを前記フレームメモリより読出して物体位置を
算出する物体位置算出手段３と、を備える。
ために本発明が採用した手段を図１を参照して説明す
る。図１は本発明の基本構成図である。車両に所定距離
だけ離して設置された２台の撮像手段より得られた画像
データに基づいて物体位置を算出し、車両の周辺を監視
する車両周辺監視装置において、前記２台の撮像手段よ
り出力された画像信号を記録するフレームメモリ１と、
前記フレームメモリの自車両より近方は密に遠方は粗と
なるようにした検査走査線番号記録手段２と、前記検査
走査線番号記録手段２に記録されている走査線番号の画
像データを前記フレームメモリより読出して物体位置を
算出する物体位置算出手段３と、を備える。
【００１８】また、前記検査走査線番号記録手段２に記
録する検査走査線の番号を、前記フレームメモリに記録
されている物体に対する両画像間の水平方向の画素数を
１画素変化しても隣接する検査走査線より算出された自
車両より物体までの距離が重複しないように選定するよ
うにする。
録する検査走査線の番号を、前記フレームメモリに記録
されている物体に対する両画像間の水平方向の画素数を
１画素変化しても隣接する検査走査線より算出された自
車両より物体までの距離が重複しないように選定するよ
うにする。
【００１９】また、前記検査走査線番号を、前記２台の
撮像手段の設置距離、レンズの焦点距離、路面上よりの
設置距離および路面に対する設置俯角より算出して記録
検査走査線番号記録手段２に記録する検査走査線番号算
出手段４を備える。
撮像手段の設置距離、レンズの焦点距離、路面上よりの
設置距離および路面に対する設置俯角より算出して記録
検査走査線番号記録手段２に記録する検査走査線番号算
出手段４を備える。
【００２０】
【作用】検査走査線番号記録手段２には予め自車両より
近方は走査線間隔を小に、また遠方は走査線間隔を大に
した特定の複数の検査走査線番号を記録する。物体位置
算出手段３は、２台の操作手段で撮像されてフレームメ
モリ１に記録されている検査走査線番号記録手段２に記
録されている検査走査線番号に対応する画像信号の信号
を読出して物体位置を算出する。
近方は走査線間隔を小に、また遠方は走査線間隔を大に
した特定の複数の検査走査線番号を記録する。物体位置
算出手段３は、２台の操作手段で撮像されてフレームメ
モリ１に記録されている検査走査線番号記録手段２に記
録されている検査走査線番号に対応する画像信号の信号
を読出して物体位置を算出する。
【００２１】また、検査走査線の番号をフレームメモリ
に記録されている物体に対する両画像間の水平方向の画
素数を１画素変化させても隣接する検査走査線より算出
した自車両より物体までの距離が重複しないように選定
して検査走査線番号記録手段２に記録する。
に記録されている物体に対する両画像間の水平方向の画
素数を１画素変化させても隣接する検査走査線より算出
した自車両より物体までの距離が重複しないように選定
して検査走査線番号記録手段２に記録する。
【００２２】また、検査走査線番号算出手段４は、２台
の撮像手段の設置距離、レンズの焦点距離、路面上より
の設置距離および路面に対する設置俯角より検査走査線
番号を算出して検査走査線番号記録手段２に記録する。
以上のように、検査走査線を自車両より近方は密に遠方
は粗となるような走査線番号の画像データより物体の位
置を算出するようにしたので、撮像された両画像の水平
方向の視差値に誤差が発生しても隣接する検査走査線で
算出された物体位置が前後することなく、短時間で近方
ほど精度の良い物体の認識を行なわせることができる。
の撮像手段の設置距離、レンズの焦点距離、路面上より
の設置距離および路面に対する設置俯角より検査走査線
番号を算出して検査走査線番号記録手段２に記録する。
以上のように、検査走査線を自車両より近方は密に遠方
は粗となるような走査線番号の画像データより物体の位
置を算出するようにしたので、撮像された両画像の水平
方向の視差値に誤差が発生しても隣接する検査走査線で
算出された物体位置が前後することなく、短時間で近方
ほど精度の良い物体の認識を行なわせることができる。
【００２３】また、撮像され両画像の水平方向の視差値
に１画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
に１画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
【００２４】また、検査走査線番号を２台の撮像手段の
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
【００２５】
【実施例】本発明の一実施例を図２〜図５を参照して説
明する。図２は本発明の実施例の構成図、図３〜図５は
同実施例の動作フローチャートである。図２において、
１１および１２は車両の周辺を撮像するカメラ、１３お
よび１４はカメラ１１および１２で撮像された画像信号
を一時記録するフレームメモリ、１５はフレームメモリ
１３および１４に記録されている画像データに対して、
それぞれカメラ１１および１２のレンズの歪曲収差を補
正して、それぞれメモリ（右）１８およびメモリ（左）
１９に記録する歪曲収差補正部、１７は物体のエッジを
検出する物体エッジ検出部である。
明する。図２は本発明の実施例の構成図、図３〜図５は
同実施例の動作フローチャートである。図２において、
１１および１２は車両の周辺を撮像するカメラ、１３お
よび１４はカメラ１１および１２で撮像された画像信号
を一時記録するフレームメモリ、１５はフレームメモリ
１３および１４に記録されている画像データに対して、
それぞれカメラ１１および１２のレンズの歪曲収差を補
正して、それぞれメモリ（右）１８およびメモリ（左）
１９に記録する歪曲収差補正部、１７は物体のエッジを
検出する物体エッジ検出部である。
【００２６】また、２０は物体の位置を算出する物体位
置算出部、２１は挿込軌跡推定部、２２は表示警報部、
２３はその他の処理を行なう処理部、２４は検査走査線
番号記録部、２５は検査走査線番号算出部、２６は車両
の舵角信号を読込むインタフェース（Ｉ／Ｏ）、２７は
処理を実行するプロセッサ（ＣＰＵ）である。
置算出部、２１は挿込軌跡推定部、２２は表示警報部、
２３はその他の処理を行なう処理部、２４は検査走査線
番号記録部、２５は検査走査線番号算出部、２６は車両
の舵角信号を読込むインタフェース（Ｉ／Ｏ）、２７は
処理を実行するプロセッサ（ＣＰＵ）である。
【００２７】まず、図３を参照して、検査走査線番号算
出部２５の動作を説明する。図３の動作の開始は、カメ
ラの設置条件が変更になった場合等において、検査走査
線番号算出部２５の図示しないスイッチをオンにすると
動作が開始する。処理Ｓ２０では、図示しない入力キー
より、図７〜図９に示すように、カメラ１１および１２
が設置されている距離Ｌ、カメラ１１および１２のレン
ズの焦点距離ｆ、カメラが設置されている路面高Ｈ、お
よびカメラの設置俯角θS を入力する。
出部２５の動作を説明する。図３の動作の開始は、カメ
ラの設置条件が変更になった場合等において、検査走査
線番号算出部２５の図示しないスイッチをオンにすると
動作が開始する。処理Ｓ２０では、図示しない入力キー
より、図７〜図９に示すように、カメラ１１および１２
が設置されている距離Ｌ、カメラ１１および１２のレン
ズの焦点距離ｆ、カメラが設置されている路面高Ｈ、お
よびカメラの設置俯角θS を入力する。
【００２８】処理Ｓ２１では、まず車両の最近方が撮像
された走査線番号である第１番の走査線に対して、高さ
Ｏの物体が存在した場合のカメラ１１および１２で撮像
された画像データの視差値Ｓ（＝ｘLP−ｘRP）を算出す
る。ｘLP−ｘRPの算出は、式（９）のＹp を０とした式
に式（２）および（４）を代入すると、 Ｓ＝ｘLP−ｘRP ＝Ｌ（ｆcos θS −ｙLPsin θS ）／Ｈ …（11） が得られる。
された走査線番号である第１番の走査線に対して、高さ
Ｏの物体が存在した場合のカメラ１１および１２で撮像
された画像データの視差値Ｓ（＝ｘLP−ｘRP）を算出す
る。ｘLP−ｘRPの算出は、式（９）のＹp を０とした式
に式（２）および（４）を代入すると、 Ｓ＝ｘLP−ｘRP ＝Ｌ（ｆcos θS −ｙLPsin θS ）／Ｈ …（11） が得られる。
【００２９】したがって、式（１１）のｙLPに走査線番
号である１を、また、Ｌ，ｆ，ＨおよびθS は処理Ｓ２
０で入力された値を代入して視差値Ｓを算出する。処理
Ｓ２２では、処理Ｓ２１で算出されたＳに＋１したＳ＋
１、また−１したＳ−１をｘLP−ｘRPとして式（２），
（４）および（６）に代入してＸp ′，Ｙ p ′およびＺ
p ′を算出し、算出された値を式（８）〜（１０）に代
入してＸp，Ｙp およびＺp を算出して記録する。
号である１を、また、Ｌ，ｆ，ＨおよびθS は処理Ｓ２
０で入力された値を代入して視差値Ｓを算出する。処理
Ｓ２２では、処理Ｓ２１で算出されたＳに＋１したＳ＋
１、また−１したＳ−１をｘLP−ｘRPとして式（２），
（４）および（６）に代入してＸp ′，Ｙ p ′およびＺ
p ′を算出し、算出された値を式（８）〜（１０）に代
入してＸp，Ｙp およびＺp を算出して記録する。
【００３０】処理Ｓ２３では、後の処理Ｓ２５で説明す
る検査走査線番号記録部２５に記録されている前回記録
された走査線番号に対するＺPS+1およびＺPS-1と今回算
出したＺPS+1およびＺPS-1が重複するか否かを判定し、
重複されると判定された場合は処理Ｓ２４に移って走査
線番号を＋１して処理Ｓ２１〜Ｓ２３を繰返し、判定が
重複しないと判定された場合は処理Ｓ２５に移って走査
線番号ｉを検査走査線番号記録部２４に記録する。
る検査走査線番号記録部２５に記録されている前回記録
された走査線番号に対するＺPS+1およびＺPS-1と今回算
出したＺPS+1およびＺPS-1が重複するか否かを判定し、
重複されると判定された場合は処理Ｓ２４に移って走査
線番号を＋１して処理Ｓ２１〜Ｓ２３を繰返し、判定が
重複しないと判定された場合は処理Ｓ２５に移って走査
線番号ｉを検査走査線番号記録部２４に記録する。
【００３１】処理Ｓ２６では、残りの走査線が有る場合
は処理Ｓ２４に移って、処理Ｓ２５で記録した走査線番
号ｉに＋１し、処理Ｓ２１〜Ｓ２６が最終走査線まで繰
返えされる。すなわち、処理Ｓ２２では、図１１に示す
ように、視差値をＳ，Ｓ＋１およびＳ−１として物体ま
での距離を算出すると、それぞれ、ＺPS，ＺPS+1および
ＺPS -1が算出され、ＺPS+1およびＺPS-1を記録する。
は処理Ｓ２４に移って、処理Ｓ２５で記録した走査線番
号ｉに＋１し、処理Ｓ２１〜Ｓ２６が最終走査線まで繰
返えされる。すなわち、処理Ｓ２２では、図１１に示す
ように、視差値をＳ，Ｓ＋１およびＳ−１として物体ま
での距離を算出すると、それぞれ、ＺPS，ＺPS+1および
ＺPS -1が算出され、ＺPS+1およびＺPS-1を記録する。
【００３２】処理Ｓ２３では、図１２（Ａ）に示すよう
に、走査線番号４は前回処理Ｓ２５で検査走査線番号と
して記録した走査線であり、走査線番号５は処理Ｓ２１
でｉ＝５として処理Ｓ２２で算出されたＺP の誤差範囲
を示している。図１２（Ａ）で示すように誤差範囲が重
複する場合（処理Ｓ２３の判定がＹＥＳ）の場合は処理
Ｓ２４に移ってｉを＋１したｉ＝６として処理Ｓ２１に
移って処理Ｓ２１〜Ｓ２３が繰返えされる。
に、走査線番号４は前回処理Ｓ２５で検査走査線番号と
して記録した走査線であり、走査線番号５は処理Ｓ２１
でｉ＝５として処理Ｓ２２で算出されたＺP の誤差範囲
を示している。図１２（Ａ）で示すように誤差範囲が重
複する場合（処理Ｓ２３の判定がＹＥＳ）の場合は処理
Ｓ２４に移ってｉを＋１したｉ＝６として処理Ｓ２１に
移って処理Ｓ２１〜Ｓ２３が繰返えされる。
【００３３】したがって、検査走査線番号記録部２４に
記録されている検査走査線番号は、図１２（Ｂ）に示す
ように、誤差範囲が重複しないようになった走査線番号
が記録される。なお実施例では検査走査線番号算出部２
５を備えるようにしたが、カメラの設置条件が変更とな
った時は別の計算機で検査走査線番号を算出し、検査走
査線番号記録部２４に記録させるようにしても良い。し
かし、検査走査線番号算出部２５を備えることによって
カメラの設置条件が変更になったときは直ちに対処する
ことができる。
記録されている検査走査線番号は、図１２（Ｂ）に示す
ように、誤差範囲が重複しないようになった走査線番号
が記録される。なお実施例では検査走査線番号算出部２
５を備えるようにしたが、カメラの設置条件が変更とな
った時は別の計算機で検査走査線番号を算出し、検査走
査線番号記録部２４に記録させるようにしても良い。し
かし、検査走査線番号算出部２５を備えることによって
カメラの設置条件が変更になったときは直ちに対処する
ことができる。
【００３４】つぎに物体位置算出について説明する。ま
ず歪曲収差補正部１５について説明する。カメラ１１お
よび１２で撮像された画像信号は、カメラ１１および１
２のレンズに歪曲収差が有る場合は、以後説明する物体
エッジ検出部１７、物体位置算出部２０の処理結果に誤
差を発生する。
ず歪曲収差補正部１５について説明する。カメラ１１お
よび１２で撮像された画像信号は、カメラ１１および１
２のレンズに歪曲収差が有る場合は、以後説明する物体
エッジ検出部１７、物体位置算出部２０の処理結果に誤
差を発生する。
【００３５】すなわち、カメラのレンズに収差が無い場
合、格子状の模様を撮像した場合は図６（Ａ）に示すよ
うに格子状の画像データがフレームメモリに記録され
る。しかし、レンズに収差が有る場合は、図６（Ｂ）ま
たは（Ｃ）に示すように歪んだ格子状画像が記録され
る。
合、格子状の模様を撮像した場合は図６（Ａ）に示すよ
うに格子状の画像データがフレームメモリに記録され
る。しかし、レンズに収差が有る場合は、図６（Ｂ）ま
たは（Ｃ）に示すように歪んだ格子状画像が記録され
る。
【００３６】収差量は光軸の中心より点Ｐの距離の３乗
に比例して大きくなる。すなわち、図６（Ｄ）に示すよ
うに、収差が無い時の点Ｐ（ｘ0 ，ｙ0 ）が収差によっ
て点Ｐ′（ｘ．ｙ）に結像したものとすると、収差量Ｄ
は Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 …（12） となり、このＤはレンズの中心点より点Ｐまでの距離の
３乗に比例する。すなわち、 ［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ［（ｘ0 2 −ｙ0 2 ）0.5 ］2 …（13） ただし、ｋは比例定数 となる。
に比例して大きくなる。すなわち、図６（Ｄ）に示すよ
うに、収差が無い時の点Ｐ（ｘ0 ，ｙ0 ）が収差によっ
て点Ｐ′（ｘ．ｙ）に結像したものとすると、収差量Ｄ
は Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 …（12） となり、このＤはレンズの中心点より点Ｐまでの距離の
３乗に比例する。すなわち、 ［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ［（ｘ0 2 −ｙ0 2 ）0.5 ］2 …（13） ただし、ｋは比例定数 となる。
【００３７】したがって、レンズに収差が存在する場合
は、例えば ｘ0 ≒ｘ（１−ｋ（ｘ2 ＋ｙ2 ）） ｙ0 ≒ｙ（１−ｋ（ｘ2 ＋ｙ2 ）） …（14） なる演算を行って歪曲収差を補正する。
は、例えば ｘ0 ≒ｘ（１−ｋ（ｘ2 ＋ｙ2 ）） ｙ0 ≒ｙ（１−ｋ（ｘ2 ＋ｙ2 ）） …（14） なる演算を行って歪曲収差を補正する。
【００３８】歪曲収差補正部１５は、フレームメモリ１
３および１４に記録されている画素データについて式
（１４）の演算を行ってレンズ収差の補正を行なって、
それぞれ、メモリ１８および１９に記録する。また式
（１４）の演算を行ってフレームメモリの画素の補正を
行なった場合、補正後のメモリ１８および１９にデータ
ぬけが生ずる。このようなデータぬけの画素に対しては
隣接する画素のデータを基にして補間を行なう。
３および１４に記録されている画素データについて式
（１４）の演算を行ってレンズ収差の補正を行なって、
それぞれ、メモリ１８および１９に記録する。また式
（１４）の演算を行ってフレームメモリの画素の補正を
行なった場合、補正後のメモリ１８および１９にデータ
ぬけが生ずる。このようなデータぬけの画素に対しては
隣接する画素のデータを基にして補間を行なう。
【００３９】つぎに物体エッジ検出部１７について説明
する。図１０（Ａ）および（Ｂ）は、それぞれメモリ１
９および１８に記録されている画像信号を示している。
物体エッジで検出部１７は、第ｍ走査線に対して図１０
（Ａ）〜（Ｆ）に示す処理を行うと、図１０（Ｆ）に示
すようにエッジ部分が１となって表われる。
する。図１０（Ａ）および（Ｂ）は、それぞれメモリ１
９および１８に記録されている画像信号を示している。
物体エッジで検出部１７は、第ｍ走査線に対して図１０
（Ａ）〜（Ｆ）に示す処理を行うと、図１０（Ｆ）に示
すようにエッジ部分が１となって表われる。
【００４０】このようにして検出されたエッジ部分につ
いて物体の３次元位置を算出させる。つぎに、図３およ
び図４を参照して実施例の動作を説明する。処理Ｓ１で
は、処理部２３は、カメラ１１および１２で撮像した画
像データを、それぞれフレームメモリ１３および１４に
記録する。
いて物体の３次元位置を算出させる。つぎに、図３およ
び図４を参照して実施例の動作を説明する。処理Ｓ１で
は、処理部２３は、カメラ１１および１２で撮像した画
像データを、それぞれフレームメモリ１３および１４に
記録する。
【００４１】処理Ｓ２では、歪曲収差補正部１５は、フ
レームメモリ１３および１４に記録されているデータに
対して、カメラ１１および１２のレンズの収差に対応す
る補正を行なって、それぞれ、メモリ１８および１９に
記録する。処理Ｓ３では、物体エッジ検出部１７は、検
査走査線番号記録部２４に記録されている最初の検査走
査線番号を読出し、処理Ｓ４に移って読出した走査線番
号のメモリ１８および１９に記録されている画像信号に
対して図１０で説明した処理を行なって物体のエッジを
検出する。
レームメモリ１３および１４に記録されているデータに
対して、カメラ１１および１２のレンズの収差に対応す
る補正を行なって、それぞれ、メモリ１８および１９に
記録する。処理Ｓ３では、物体エッジ検出部１７は、検
査走査線番号記録部２４に記録されている最初の検査走
査線番号を読出し、処理Ｓ４に移って読出した走査線番
号のメモリ１８および１９に記録されている画像信号に
対して図１０で説明した処理を行なって物体のエッジを
検出する。
【００４２】処理Ｓ５では、物体位置算出部２０は、処
理Ｓ４で物体のエッジが検出されたか否かを判定し、判
定がＹＥＳの場合は処理Ｓ６に移り、ＮＯの場合は処理
Ｓ６をスキップして処理Ｓ７に移る。処理Ｓ６では、物
体位置算出部２０は、左画像のエッジ点（ｘLP，ｙLP）
と、これに対応する右画像のエッジ点（ｘRP，ｙRP）を
読出して、式（２），（４），（６），（８）〜（１
０）に代入して物体の位置Ｘp ，Ｙp およびＺp を算出
して記録する。
理Ｓ４で物体のエッジが検出されたか否かを判定し、判
定がＹＥＳの場合は処理Ｓ６に移り、ＮＯの場合は処理
Ｓ６をスキップして処理Ｓ７に移る。処理Ｓ６では、物
体位置算出部２０は、左画像のエッジ点（ｘLP，ｙLP）
と、これに対応する右画像のエッジ点（ｘRP，ｙRP）を
読出して、式（２），（４），（６），（８）〜（１
０）に代入して物体の位置Ｘp ，Ｙp およびＺp を算出
して記録する。
【００４３】処理Ｓ７では、検査走査線番号記録部２４
に処理Ｓ３〜Ｓ６が実行されていない検査走査線番号が
有る場合は処理Ｓ３〜Ｓ６を実行させ、無い場合には処
理Ｓ８に移る。処理Ｓ８では、処理Ｓ６で物体の位置が
算出されて記録されている場合は処理Ｓ９に移り、記録
が無い場合は処理Ｓ１に移って処理Ｓ１〜Ｓ８が繰返え
されている。
に処理Ｓ３〜Ｓ６が実行されていない検査走査線番号が
有る場合は処理Ｓ３〜Ｓ６を実行させ、無い場合には処
理Ｓ８に移る。処理Ｓ８では、処理Ｓ６で物体の位置が
算出されて記録されている場合は処理Ｓ９に移り、記録
が無い場合は処理Ｓ１に移って処理Ｓ１〜Ｓ８が繰返え
されている。
【００４４】処理Ｓ９では、走行軌跡推定部２１は、Ｉ
／Ｏ２６を介して舵角信号を読込む。処理Ｓ１０では、
走行軌跡推定部２１は、処理Ｓ１０で読込んだ舵角より
車両が走行する軌跡を推定する。
／Ｏ２６を介して舵角信号を読込む。処理Ｓ１０では、
走行軌跡推定部２１は、処理Ｓ１０で読込んだ舵角より
車両が走行する軌跡を推定する。
【００４５】処理Ｓ１１では、表示警報部２２は、処理
Ｓ６の記録結果より障害物が有か否かの判定を行ない、
判定がＮＯの場合は処理Ｓ１に移り、ＹＥＳの場合は処
理Ｓ１２に移る。処理Ｓ１２では、表示警報部２２は、
検出された障害物に対して車両が衝突の可能性が有るか
否かを処理Ｓ１０の走行軌跡と比較して判定し、判定が
ＹＥＳの場合は処理Ｓ１３に移って図示しないブザーよ
り警報を発すると共に衝突予想位置を表示する。また、
衝突の可能性が無い場合は処理Ｓ１４に移って障害物の
位置を表示して処理Ｓ１に移る。
Ｓ６の記録結果より障害物が有か否かの判定を行ない、
判定がＮＯの場合は処理Ｓ１に移り、ＹＥＳの場合は処
理Ｓ１２に移る。処理Ｓ１２では、表示警報部２２は、
検出された障害物に対して車両が衝突の可能性が有るか
否かを処理Ｓ１０の走行軌跡と比較して判定し、判定が
ＹＥＳの場合は処理Ｓ１３に移って図示しないブザーよ
り警報を発すると共に衝突予想位置を表示する。また、
衝突の可能性が無い場合は処理Ｓ１４に移って障害物の
位置を表示して処理Ｓ１に移る。
【００４６】
【発明の効果】以上説明したように本発明によれば次の
効果が得られる。検査走査線を自車両より近方は密に遠
方は粗となるような走査線番号の画像データより物体の
位置を算出するようにしたので、撮像された両画像の水
平方向の視差値に誤差が発生しても隣接する検査走査線
で算出された物体位置が前後することなく、短時間で近
方ほど精度の良い物体の認識を行なわせることができ
る。
効果が得られる。検査走査線を自車両より近方は密に遠
方は粗となるような走査線番号の画像データより物体の
位置を算出するようにしたので、撮像された両画像の水
平方向の視差値に誤差が発生しても隣接する検査走査線
で算出された物体位置が前後することなく、短時間で近
方ほど精度の良い物体の認識を行なわせることができ
る。
【００４７】また、撮像され両画像の水平方向の視差値
に１画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
に１画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
【００４８】また、検査走査線番号を２台の撮像手段の
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
【図１】本発明の基本構成図である。
【図２】本発明の実施例の構成図である。
【図３】同実施例の動作フローチャートである。
【図４】同実施例の動作フローチャートである。
【図５】同実施例の動作フローチャートである。
【図６】同実施例のレンズ収差補正の説明図である。
【図７】カメラ設置側説明図である。
【図８】カメラ俯角補正の説明図である。
【図９】同実施例の３次元位置測定説明図である。
【図１０】同実施例の物体エッジ検出の説明図である。
【図１１】同実施例の検査走査線番号算出部の動作を説
明するための図である。
明するための図である。
【図１２】同実施例の検査走査線番号算出部の動作を説
明するための図である。
明するための図である。
【図１３】誤差範囲が重複した場合の問題点の説明図で
ある。
ある。
１，１３，１４ フレームメモリ ２ 検査走査線番号記録手段 ３ 物体位置算出手段 ４ 検査走査線番号算出手段 １１，１２ カメラ １５ 歪曲収差補正部 １７ 物体エッジ検出部 １８，１９ メモリ ２０ 物体位置算出部 ２１ 走行軌跡推定部 ２２ 表示警報部 ２３ 処理部 ２４ 検査走査線番号記録部 ２５ 検査走査線番号算出部 ２６ インタフェース（Ｉ／Ｏ） ２７ プロセッサ（ＣＰＵ）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ４１５ (56)参考文献 特開 平４−113214（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01C 3/00 - 3/32 B60R 21/00 620 - 624 G06T 1/00 G06T 7/00 G08G 1/16 H04N 7/18
Claims (3)
- 【請求項１】 車両に所定距離だけ離して設置された２
台の撮像手段より得られた画像データに基づいて物体位
置を算出し、車両の周辺を監視する車両周辺監視装置に
おいて、 前記２台の撮像手段より出力された画像信号を記録する
フレームメモリと、 前記フレームメモリの自車両より近方は密に遠方は粗と
なるようにした検査走査線番号記録手段と、 前記検査走査線番号記録手段に記録されている走査線番
号の画像データを前記フレームメモリより読出して物体
位置を算出する物体位置算出手段と、を有することを特
徴とする車両周辺監視装置。 - 【請求項２】 前記検査走査線番号記録手段に記録する
検査走査線の番号を、前記フレームメモリに記録されて
いる物体に対する両画像間の水平方向の画素数を１画素
変化しても隣接する検査走査線より算出された自車両よ
り物体までの距離が重複しないように選定するようにし
たことを特徴とする請求項１記載の車両周辺監視装置。 - 【請求項３】 前記検査走査線番号を、前記２台の撮像
手段の設置距離、レンズの焦点距離、路面上よりの設置
距離および路面に対する設置俯角より算出して記録検査
走査線番号記録手段に記録する検査走査線番号算出手段
を備えたことを特徴とする請求項１または２記載の車両
周辺監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06263506A JP3125836B2 (ja) | 1994-10-27 | 1994-10-27 | 車両周辺監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06263506A JP3125836B2 (ja) | 1994-10-27 | 1994-10-27 | 車両周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08122062A JPH08122062A (ja) | 1996-05-17 |
| JP3125836B2 true JP3125836B2 (ja) | 2001-01-22 |
Family
ID=17390480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06263506A Expired - Fee Related JP3125836B2 (ja) | 1994-10-27 | 1994-10-27 | 車両周辺監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3125836B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5874411B2 (ja) * | 2012-01-26 | 2016-03-02 | 株式会社日本自動車部品総合研究所 | 車両周辺監視装置 |
| JP5411976B1 (ja) * | 2012-09-21 | 2014-02-12 | 株式会社小松製作所 | 作業車両用周辺監視システム及び作業車両 |
| CN110312952B (zh) | 2017-02-20 | 2022-09-27 | 3M创新有限公司 | 光学制品和与其交互的系统 |
| EP3688662A1 (en) | 2017-09-27 | 2020-08-05 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
-
1994
- 1994-10-27 JP JP06263506A patent/JP3125836B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08122062A (ja) | 1996-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3156817B2 (ja) | 車両周辺監視装置 | |
| JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3284190B2 (ja) | ステレオカメラの画像補正装置 | |
| JP4406381B2 (ja) | 障害物検出装置及び方法 | |
| US6381360B1 (en) | Apparatus and method for stereoscopic image processing | |
| US6184781B1 (en) | Rear looking vision system | |
| US8126210B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| US20130002861A1 (en) | Camera distance measurement device | |
| JP2008085710A (ja) | 運転支援システム | |
| JP2509386B2 (ja) | 距離検出装置 | |
| JPH09133525A (ja) | 距離計測装置 | |
| US20020196423A1 (en) | Range finder for finding range by image realization | |
| US8044998B2 (en) | Sensing apparatus and method for vehicles | |
| JP4397573B2 (ja) | 画像処理装置 | |
| JP2006268076A (ja) | 運転支援システム | |
| US20060093239A1 (en) | Image processing method and image processing device | |
| JP3125836B2 (ja) | 車両周辺監視装置 | |
| CN113674361B (zh) | 一种车载环视校准实现方法及系统 | |
| JP4752319B2 (ja) | 画像認識装置及び画像認識方法 | |
| JP2961140B2 (ja) | 画像処理方法 | |
| JP3373331B2 (ja) | 車間距離検出装置 | |
| JP5580062B2 (ja) | 障害物検知警報装置 | |
| JP2635232B2 (ja) | 車間距離検出装置 | |
| JP4165966B2 (ja) | 物体認識装置 | |
| JP3446471B2 (ja) | ステレオ画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000919 |
|
| LAPS | Cancellation because of no payment of annual fees |