JP3446471B2

JP3446471B2 - ステレオ画像処理装置

Info

Publication number: JP3446471B2
Application number: JP10588296A
Authority: JP
Inventors: 倫子下村; 千典農宗
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-04-25
Filing date: 1996-04-25
Publication date: 2003-09-16
Anticipated expiration: 2016-04-25
Also published as: JPH09294280A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像処理
を行うステレオ画像処理装置に係わり、特にステレオ画
像の入力方法に関する。

【０００２】

【従来の技術】従来のステレオ画像処理装置のステレオ
画像入力方法としては、カメラから出力される映像信号
を規定の規格（例えばＮＴＳＣ）の水平・垂直同期信号
をもとに１フィールドずつ交互に入力する方法がある。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のステレオ画像の入力方法にあっては、次のよ
うな問題がある。２台のカメラから入力が一系統しかな
い１台の画像処理装置へステレオ画像を入力する方法に
おいては、従来のステレオ画像処理装置では、図２５に
示すように１フィールド毎に２台カメラの画像入力を交
互に切り換えて画像を入力していた。この場合、撮像し
た２枚の画像間で１フィールド分の時間と走査位置のず
れが発生し、且つ、全画像入力時間が２フィールド分を
要するため長くかかってしまう。

【０００４】また、２枚の画像間の時間差をなくすた
め、図２６に示すように１主走査ライン（以降、特に断
りのない限り走査ラインと省略して表す）毎に２台のカ
メラから交互に入力する方法もあるが、この方法では一
方のカメラから１走査ライン分の映像信号を入力すると
同時に、他方のカメラからも同じ走査ライン上の１走査
ライン分の映像信号が出力されてしまうために、メモリ
上に格納される２枚の画像は互いに走査ラインの垂直方
向（副走査ライン方向）に１走査ライン分の位置ずれの
ある画像となってしまう。そのため、２枚の画像間で撮
像面の走査ラインの垂直方向、即ち、後述する視差が生
じる方向と直角の方向に前者の入力方法よりも大きなず
れが生じることになる。精度が要求されるステレオ画像
処理においては視差方向以外の位置の差のない同時刻に
撮像された映像を必要とするため、上記の従来の画像入
力方法を用いた画像処理装置では正確なステレオ画像処
理を行うことは困難である。

【０００５】これらのステレオ画像の入力方法とは別
に、１フレーム（または１フィールド）分の画像を一旦
確保するためのメモリ付のカメラを使用することで、時
間差、視差方向以外の位置の差の無い２枚の画像を入力
する方法もあるが、この方法では、メモリ付きのカメラ
を用意する必要があり、且つ、入力時間が少なくとも１
フレーム分を要するため、高速処理が困難であるという
欠点がある。

【０００６】本発明は、このような従来の問題点に着目
してなされたもので、画像の入力時間を短縮しつつ、高
精度なステレオ画像処理が可能な画像入力方法を備えた
ステレオ画像処理装置を提供することを目的としてい
る。

【０００７】

【課題を解決するための手段】

【０００８】上記目的を達成するため、請求項１に記載
の発明は、ステレオ画像入力を行うステレオ画像処理装
置において、光軸が特定の水平平面内に含まれるように
第１および第２のカメラを並列に配設して対象物を撮像
する撮像手段と、前記第１および第２のカメラからの映
像信号の走査ライン前半部に対しては、前記第１のカメ
ラから得られる前記対象物を含む領域の映像信号を選択
する一方、走査ライン後半部に対しては、前記第２のカ
メラから得られる前記領域に対応した前記対象物を含む
領域の映像信号を選択して切り換える映像信号切り換え
手段であって、前記第１および第２のカメラからの映像
信号を、（１）前記走査ラインの前半部および後半部共
に前記対象物が含まれるように、走査ラインの前半部を
一方のカメラからの映像信号に、後半部を他方のカメラ
からの映像信号に切り換える場合と、（２）走査ライン
の全体に渡り、どちらか一方のカメラからの映像信号に
固定する場合と、のどちらか一方の状態を選択して前記
カメラからの映像信号を出力する映像信号切り換え手段
と、該映像信号切り換え手段から出力された映像信号を
記憶する画像記憶手段と、該画像記憶手段に記憶された
画像に対してステレオ画像処理を施すステレオ画像処理
手段と、前記（２）の場合に単眼画像に対する画像処理
を行う単眼画像処理手段と、を備え、前記単眼画像処理
手段は、前記映像信号切り換え手段により選択されたど
ちらか一方のカメラだけの画像に基づいて、撮像方向前
方の標識の内容を認識するものとした。請求項２に記載
の発明は、前記ステレオ画像処理手段は、前記画像記憶
手段に記憶された画像に基づいて、撮像された対象物ま
での距離情報を算出するものとした。

【０００９】請求項３に記載の発明は、前記第１および
第２のカメラは、前記特定の水平平面内でカメラの光軸
をカメラ前方で交差するように傾けて配設するようにし
た。

【００１０】請求項４に記載の発明は、前記第１および
第２のカメラからの映像信号をデジタル信号に変換する
Ａ／Ｄ変換手段を備え、該Ａ／Ｄ変換手段による映像信
号のサンプリング間隔を、該カメラの副走査方向より主
走査方向が短くなるように設定するようにした。

【００１１】請求項５に記載の発明は、前記第１および
第２のカメラにより撮像した撮像画像の水平方向、垂直
方向の少なくとも一方の方向に対し、前記画像記憶手段
に入力する映像信号を制限するようにした。請求項６に
記載の発明は、前記第１および第２のカメラからの映像
信号は、所定の走査ライン数毎に前記画像記憶手段に入
力するようにした。

【００１２】請求項７に記載の発明は、前記第１および
第２のカメラからの映像信号は、所定の走査ライン数だ
けを前記画像記憶手段に入力するようにした。

【００１３】

【発明の効果】

【００１４】請求項１に記載の発明によれば、撮像手段
を構成する２台のカメラからの映像信号を映像信号切り
換え手段により切り換え、走査ラインの前半部および後
半部で各カメラから交互に画像を取り込んで画像記憶手
段に記憶し、ステレオ画像処理用の画像を生成すること
により、１枚の画像（１フィールド）分の入力時間で２
台のカメラからの２枚分の画像入力が可能となるため、
画像入力時間が短縮されると共に必要とする画像メモリ
の容量が削減され、画像入力後に行うステレオ画像処理
を軽減することができ、以て、処理の高速化を図ること
ができる。また、両カメラからの映像の記憶対象部分を
切り換えることで、高速な入力が可能なステレオ画像処
理と、広角な撮像範囲を有する単眼画像処理とを選択し
て行うことができ、処理の目的に応じてフレキシブルな
画像入力を行うことができる。また、撮像方向前方の標
識を一方のカメラからの撮像画像を用いて認識すること
により、撮像方向前方の標識は勿論、カメラ近傍の標識
に対しても撮像する画角に収めることができ、より詳細
な標識のパターンを検出することができる。以て、標識
内容の認識精度を向上させることができる。請求項２に
記載の発明によれば、入力したステレオ画像を、該ステ
レオ画像中に撮像されている対象物までの距離の算出に
用いることにより、高速に且つ精度よく距離を算出する
ことができる。

【００１５】請求項３に記載の発明によれば、カメラの
光軸をカメラ前方で交差するように傾斜させることによ
り、両カメラからの入力画像に対する実質的な画角を拡
げることができ、例えば、道路標識等の対象物をより近
接した位置で撮影することができるため、該道路標識を
より正確に識別することができる。

【００１６】請求項４に記載の発明によれば、各カメラ
からの映像信号の入力サンプリング間隔を主走査方向に
細かくすることで、より詳細な画像情報を得ることがで
き、例えば対象物までの距離を測定する際に、精度良く
距離を算出することができる。

【００１７】請求項５に記載の発明によれば、画像記憶
手段に入力する映像信号を制限することにより、画像メ
モリを節約することができると共に画像処理の計算負担
をより軽減することができ、処理の高速化を図ることが
できる。請求項６に記載の発明によれば、垂直方向のラ
イン入力を１ライン毎に交互に行うことで、画像メモリ
を節約することができ、且つ、２枚の画像間のマッチン
グ処理をより高速に行うことができると共に、画像処理
を開始するタイミングを早めることができるため、画像
入力時間を含む画像処理全体の処理時間をより短縮する
ことができる。

【００１８】請求項７に記載の発明によれば、１フィー
ルドの後半の数ラインの入力を行わないことで、画像メ
モリを節約することができると共に、画像処理を開始す
るタイミングを早めることができるため、画像入力時間
も含む画像処理全体の処理時間をより短縮することがで
きる。

【００１９】

【発明の実施の形態】以下に本発明の実施の形態を図に
基づいて説明する。まず、各実施の形態に共通するステ
レオ画像を用いた距離算出方法について説明する。図３
は２台のカメラの撮像方向の水平平面上で、各カメラの
光軸がカメラ前方で交差するように、カメラの向きをそ
れぞれ内側に傾けた場合のステレオ画像を用いた距離算
出方法を示した図である。この構成におけるカメラから
対象物までの距離Ｚの算出式を（１）式に示す。Ｚ＝Ｆ×Ｄ／｜（Ｘ_B−Ｘ_VB）−（Ｘ_A−Ｘ_VA）｜（１）ここで、Ｆは焦点距離で、Ｄは各カメラの光軸間距離
（眼間距離）を表している。また、Ｘ_VAはカメラＡによ
る画像Ａ上の消失点位置，Ｘ_Aは画像Ａ上の対象物の位
置で、同様にＸ_BはカメラＢによる画像Ｂ上の対象物の
位置，Ｘ_VBは画像Ｂ上の消失点位置である。

【００２０】図３に示すように２台のカメラの光軸が平
行でない場合には、２枚の画像上の消失点および両画像
に対応した対象物のエッジ位置をそれぞれ求め、各画像
上で消失点から対応するエッジ位置までの距離を求め、
その距離の差を視差としてカメラから対象物までの距離
Ｚを（１）式により求めることができる。次に、これら
のカメラによるステレオ画像の入力方法を具体的に説明
する。図１に示すように、まず、カメラＡによる撮像画
像の走査ライン前半部とカメラＢによる撮像画像の走査
ライン後半部に対象物が撮像されるように、光軸を撮像
方向前方で交差させる方向に各カメラを傾斜させる。そ
して、２台のカメラをこのような傾斜させた配置とした
まま、図４に示すように後述するカメラセレクタ制御部
で１走査ライン毎の入力の開始時にカメラＡを選択し、
入力が走査ラインの中間にきた時点でカメラＢを選択す
ることで、走査ラインの前半部でカメラＡの画像を、走
査ラインの後半部でカメラＢの画像を切り換えつつ、画
像を入力する。

【００２１】このようなカメラの配置で画像を入力する
ことで、１枚分の画像入力時間で２枚の画像を入力する
ことができる。このときのカメラからの１走査ライン分
の出力時間は常に一定である。仮に１走査ラインの前半
部しか入力しない場合でも、カメラが１走査ラインの後
半部を出力し終わるまで入力側は次の走査ラインの入力
を待たなければならない。この入力方法は、その待ち時
間を有効に利用し、１走査ラインの前後半で入力対象の
カメラを切り換えながら画像を入力することで、画像入
力時間を半減することを可能としたものである。

【００２２】しかし、この入力方法では図５，図６に示
すように撮像面の水平方向の画角、即ち、２つのカメラ
で共通に撮影されるステレオ画像処理が可能な画像の画
角が、単一のカメラの画角の半分になってしまうが、対
象物がその画角範囲内に収まっている場合には、該範囲
外の画角はもともと距離認識には不要な画角であるた
め、先行車検出等の処理の効率化を図ることができる。
つまり、カメラＡの左半分とカメラＢの右半分の撮像領
域に対する不必要な画像入力を省略するため、画像入力
時間を短縮することができると共に、画像メモリを節約
することができる。

【００２３】また、図１のカメラＡの右半分とカメラＢ
の左半分に撮像されている対象物以外の部分は、単眼処
理用の画像として利用することもできる。つまり、処理
内容に応じて入力画像領域を切り換えることで、１組の
ステレオカメラを用いて、ステレオ画像処理と単眼画像
処理の両方を選択的に行うことができる。例えば、図２
に示すように入力画像領域を切り換えると、入力方法１：ステレオ画像処理による正面の先行車まで
の距離認識入力方法２：路肩（例えば標識認識なども可能）と隣接
レーンの物体認識入力方法３：路肩と前方の認識入力方法４：隣接レーンと前方の認識を行うことが可能となる。このときのステレオカメラの
配置は、各カメラが互いに内側に傾いているため、図５
に示すように同じ画角のレンズを用いた単眼カメラ１台
の約1.5 倍の画角の画像を入力するこが可能となる。通
常、広角レンズは周囲が歪むため画像処理が行いにく
い。しかし、図１に示すようなステレオカメラにおいて
は、標準レンズ等の標準的な画角のレンズを用いている
ため撮像画像の歪みは少ない。つまり、このステレオカ
メラを用いることで高速画像入力が可能なステレオ画像
処理が行えることに加えて、広い画角が要求される単眼
処理に対してもより確実に行うことができる。

【００２４】これにより、例えば自車両の前方正面を走
行する先行車までの距離認識を行いながら、必要時に応
じて斜め前方に存在する道路標識や隣接レーン上の走行
車を認識する等の車載用としての前方向の画像処理が可
能となる。図７はアナログ信号として出力されるカメラ
からの映像信号をデジタル化する様子を示した図であ
る。対象物を撮像したときのカメラからの映像信号は、
一定の時間内で１走査ライン毎にアナログ信号で出力さ
れる。画像の入力側では、このアナログ信号を特定のサ
ンプリング間隔でＡ／Ｄ変換した後に画像メモリに入力
する。

【００２５】このように、各走査ライン毎に画像信号を
デジタル化してメモリに入力する操作を、図８に示すよ
うに走査ライン数分繰り返すことで１枚の画像入力を行
う。通常、このサンプリング間隔は、例えばカメラのＣ
ＣＤ（Charge Coupled device)等の撮像素子における撮
像面の縦横比から決定される。尚、通常のＣＣＤの撮像
面の縦横比は３：４である。

【００２６】ＮＴＳＣ方式の場合では１フィールド内に
240 本の走査ラインを入力するので、１走査ライン分の
画像信号を320 （＝240 ×４／３）回サンプリングして
デジタル化することになる。そして、１走査ライン毎に
カメラより送られる画像信号をデジタル化して入力する
操作を、垂直方向の走査ライン数分（ＮＴＳＣ方式の場
合240 回）行うことで、１枚の画像の入力を行うことが
できる。例えば、このサンプリングの間隔を狭くして、
１走査ライン中のサンプリング回数を前記320回の２倍
（640回）にすると、図７に示すように、垂直方向の分
解能や撮像範囲は変えることなく、水平方向の分解能を
２倍に向上させることができる。

【００２７】図９には撮像面上の分解能と画像メモリ内
の１画素の大きさの関係を示した。画像メモリ内の１画
素が実際の撮像面に対してどの程度の大きさに相当する
かは、主に、１走査ライン分の画像信号のサンプリング
間隔、つまり、撮像面上の１走査ライン分の画像信号を
水平方向に何分割してデジタル化するかによって定ま
る。この分割された一つ一つの画像信号の値が画像メモ
リ上の１画素毎の輝度値となる。

【００２８】図１０は、最も一般的なステレオ画像処理
による距離算出方法を示す図である。カメラから対象物
までの距離Ｚは（２）式に示す幾何学的な計算により求
められる。Ｚ＝Ｆ×Ｄ／｜Ｘ_B−Ｘ_A｜（２）（２）式の分母にあたるＸ_A−Ｘ_Bは視差である。
Ｘ_A，Ｘ_Bの値は、画像メモリに保持されたデジタル画
像上において、２枚の画像間の対応する対象物のエッジ
位置を求め、その位置をカメラの撮像面上の位置に換算
することにより算出する。画像メモリ上の位置からカメ
ラの撮像面上の位置への換算は次の要領で行う。

【００２９】例えば、図９に示すように、撮像素子の水
平方向の幅が10ｍｍで前述のサンプリング数が１走査ラ
イン内で100 回であれば、画像メモリ上の１画素の大き
さが撮像面上の0.1 ｍｍに相当する。このことから、Ｘ
_A−Ｘ_Bが画像メモリ上で５画素であれば、Ｘ_A−Ｘ_B
の値は0.5 ｍｍと換算される。また、（２）式におい
て、カメラの焦点距離Ｆと眼間距離Ｄ（２台のカメラの
光軸間距離）を固定値とすると、距離Ｚの精度は視差Ｘ
_A−Ｘ_Bの分解能で決定されることになる。

【００３０】この理由を図１１を用いて説明する。画像
処理で行う２枚の画像間のマッチング結果が１画素ずれ
ると、撮像面上の１画素の大きさが小さい場合は誤差も
小さいが、１画素の大きさが大きい場合には誤差も大き
くなる。例えば、焦点距離Ｆが20ｍｍ、眼間距離Ｄが10
0 ｍｍで、撮像面の水平方向の幅が10ｍｍのステレオカ
メラを用いて距離Ｚが1000ｍｍの位置に存在する対象物
を認識する場合において、水平方向の画像信号を100 回
サンプリングして入力した画像と、水平方向の画像信号
を10回サンプリングして入力した画像を用いて認識した
ときの距離Ｚの測定精度を比較してみる。

【００３１】 1000ｍｍ先の物体を認識した場合、（２）
式より、撮像面上の視差が２ｍｍとなる（Ｘ_A−Ｘ_B＝
Ｆ×Ｄ／Ｚ＝20×100 ／1000＝２）。100 回サンプリン
グして入力した画像の場合は、１画素の大きさが撮像面
上の0.1 ｍｍに相当するので、メモリに保持されたデジ
タル画像上での視差は20画素となる。一方、10回サンプ
リングして入力した画像の場合は、１画素の大きさが撮
像面上の１ｍｍに相当するので、視差は２画素となる。

【００３２】ここで、それぞれの画像において視差が１
画素ずれた場合を考えると、100 回サンプリングの場合
では視差が19画素となるため距離が1052ｍｍ｛＝20×10
0 ／(19 ×0.1)｝となり、10回サンプリングの場合では
視差が１画素となるため距離が2000ｍｍ｛＝20×100 ／
（１×１) ｝となる。このように、前者の誤差が52ｍｍ
であるのに対し、後者の誤差は1000ｍｍにも達する。

【００３３】そのため、距離測定精度に大きな影響を及
ぼす視差の生じる水平方向のサンプリング間隔をより細
かく設定することが望ましく、これにより、画像の入力
時間や撮像範囲等の入力に関する他の部分に影響を及ぼ
すことなく測定する距離の精度を向上させることができ
る。一般的にステレオ画像処理において、より高い精度
が要求される場合に視差方向の分解能を上げるため、図
１２(a) に示すレンズの画角θ₁から図１２(b) に示す
ように小さいレンズの画角θ₂に設定する対応策がある
が、撮像範囲が狭くなる問題点がある。そこで、図１に
示す配置のステレオカメラは、視差の生じる方向を撮像
面の水平方向に合わせているため、カメラから走査ライ
ン毎に出力される映像信号をより細かくサンプリングす
る。このようにしてデジタル化することで、視差方向に
垂直な方向の分解能は変化させずに、視差方向の分解能
を向上させることができる。この方法においてはカメラ
のレンズを交換する必要はなく、撮像範囲が変化するこ
とはない。また、１走査ラインの入力時間は不変であ
り、且つ、入力走査ライン数は一定であるため画像全体
の入力時間も不変である。即ち、撮像範囲や入力時間を
変えることなく、精度良く距離を算出できるステレオ画
像を得ることができる。

【００３４】そのため、ステレオ画像処理の認識対象物
が、視差方向に広い画角を必要としない場合であれば、
前記２台のカメラの入力を水平走査ラインの前後半で切
り換えながら入力する方法に加え、サンプリング間隔を
細かく設定することで、ステレオ画像を高速に入力する
ことができ、該ステレオ画像により精度良く距離を求め
ることができる。

【００３５】また、認識対象のエッジが、視差方向に対
して垂直な方向にある程度十分な長さを有している場
合、各カメラからの画像間でそのエッジの対応が取れる
程度に画像を間引いても、対象物の認識および距離認識
を行なうことができる。例えば、１走査ライン毎に画像
を入力して画像を間引くと共に、該走査ラインの前後半
で２台のカメラの入力を切り換えることにより、撮像さ
れた２枚の画像に対して同じ位置の走査ラインを１つの
走査ライン上に入力することができ、画像メモリが節約
され、より高速なステレオ画像処理用の画像入力が可能
となる。加えて、画像データを間引いて入力するため、
視差の算出のために行う２枚の画像間のマッチングの計
算量も低減されるので、画像処理全体に要する時間を短
縮することができる。

【００３６】図１３(a) は、各カメラからの出力を切り
換えつつ、１走査ライン毎に入力したときの画像入力お
よび画像処理開始のタイミングを示すタイミングチャー
トである。全走査ライン入力した場合は、図１３(b) に
示す画像データが画像メモリに入力されることになる
が、１走査ライン毎に画像データを入力して画像を間引
くことにより図１３(c) に示すように入力される画像デ
ータ量が半減する。

【００３７】通常、カメラからの画像信号は、所定の規
格でカメラに入力される水平・垂直同期信号に基づいて
出力される。具体的には、カメラが画像出力を開始する
タイミングは、カメラが出力の開始を表す垂直同期信号
を待ち、その垂直同期信号を受け取った時点から規定の
走査ライン数分の画像信号を出力する。一方、カメラか
ら出力された画像の入力側では、カメラからの画像信号
の入力を途中で止めることも可能である。この場合、入
力を止めた時点で画像入力側は入力以外の他の処理（例
えば画像処理等）を行なうことができるため、画像入力
時間だけでなく画像処理全体の処理時間を短縮すること
ができる。

【００３８】次に、前記のステレオ画像を入力する方法
を先行車の検出、距離算出、および標識の認識に用いた
第１の実施の形態について説明する。図１４に本実施の
形態に係るステレオ画像処理装置の構成を示した。ここ
では、まず概略を説明する。撮像した光学画像を電気的
な画像信号として出力する２台のカメラＡ，Ｂの光軸
が、カメラ撮像面の水平方向に視差ができるように路面
に平行な平面上に含まれるようにすると共に、光軸がそ
れぞれ撮像方向の前方で交差するように傾斜させて配設
する。これらのカメラから出力される映像信号をカメラ
セレクタ制御部171 に入力し、該カメラセレクタ制御部
171 においてどちらか一方のカメラからの映像信号のみ
を選択してＡ／Ｄ変換部172 に出力する。このＡ／Ｄ変
換部172 では、入力された映像信号を基準クロック生成
部173 で生成する基準クロック信号に基づいて所定のサ
ンプリング間隔でデジタル化する。

【００３９】そして、ＨＤ信号生成部174 は、基準クロ
ック生成部173 により生成される基準クロックが１走査
ラインの出力分送られる毎に、２台のカメラそれぞれに
水平方向の映像信号の出力開始タイミングを知らせる水
平同期信号を出力する。また、ＶＤ信号生成部175 によ
り前記水平同期信号が１フィールド内に出力する走査ラ
イン数分送られる毎に、２台のカメラそれぞれに１フィ
ールド分の画像の出力開始タイミングを知らせる垂直同
期信号を出力する。

【００４０】これらの同期信号を基に、カメラＡ，Ｂか
ら出力される映像信号を基準クロック毎にデジタル化し
て得られる合計２枚のデジタル画像を２つの画像メモリ
176a,176b により一時的に記憶すると共に、それらの画
像メモリ176a,176b への書き込み許可信号とメモリ上の
アドレス位置の指定を、画像メモリ制御部176 により基
準クロック毎に制御する。

【００４１】さらに、対象物検出部177 により、２つの
画像メモリのどちらか一方に記憶された画像中から対象
物のエッジ位置を求め、求めた対象物のエッジと対応す
るエッジを対応点探索部178 により他方の画像から探索
する。そして、２枚の画像間の互いに最も類似度の高い
範囲の座標と２台のカメラの焦点距離と２台のカメラの
位置関係をもとに、距離算出部179 により三角測量の原
理でカメラから対象物までの距離を求める。

【００４２】かかる構成のステレオ画像処理装置を用い
てステレオ画像を入力し、先行車の検出、先行車までの
距離算出、および標識の認識処理を行うフローチャート
を図１５に示した。本実施の形態は、通常は図２(a) に
示す入力方法１を用いてステレオ画像を入力しつつ前方
の先行車までの距離を認識し、必要に応じて図２(c)に
示す入力方法３により入力画像を片方のカメラだけに切
り替え、該選択されたカメラからの画像を用いて道路標
識を認識するものである。

【００４３】図１６には、カメラ搭載車と先行車（対象
物）とカメラの配置、および、設定した絶対座標系を示
した。２台のカメラＡ，Ｂは、それぞれカメラＡからの
撮像画像の水平方向前半部とカメラＢからの撮像画像の
水平方向後半部に先行車が映出するようにカメラをそれ
ぞれ傾斜させて設置する。このような構成のステレオカ
メラを用いて、前記図３で説明したステレオ画像を用い
た距離認識方法に基づき、先行車までの距離を算出す
る。

【００４４】まず、ステレオ画像処理による距離認識方
法について説明する。図１７は無限遠点である消失点の
求め方を説明する図である。ここでは前記ステレオカメ
ラを搭載した自車両の左右に存在する白線の撮像画像上
における直線の式を求め、これらの交点を消失点とする
（ステップ１、以降Ｓ１と記す。）。これは、撮像画像
上でのステレオカメラに近い位置においては、左右の白
線は互いに離れた位置に存在するが、遠方の白線ほど白
線の間隔は狭まり、無限遠方においては２本の白線は交
わるようになることから、白線が交わる位置が消失点と
なる。

【００４５】次に、左右の白線の検出方法を説明する。
概略的には、取り付けたステレオカメラの位置と焦点距
離により計算できる撮像画像内の白線部分にウィンドウ
を作成し、このウィンドウ内を微分処理等を施して得ら
れるエッジ画像を用いて、例えば直線を検出対象とした
Hough 変換により、ウィンドウ内の白線を表す直線の式
を求める（Ｓ２）。

【００４６】このウィンドウ位置の具体的な求め方を図
１８を用いて説明する。ウィンドウ位置は白線が検出で
きそうなおよその位置で良いので、微小である各カメラ
の傾き角は無視することにする。いま、焦点距離がＦの
レンズをもつカメラＡを路面からの高さがｈの位置に配
設し、該カメラＡにより撮像することを考えると、撮像
方向に前方Ｚ' の位置に存在する白線は、撮像面の中心
からＸ_C軸方向にｈ・Ｆ／Ｚ' の位置に撮像されると計
算できる。また、Ｙ_C軸方向の位置は、道幅をＷとし、
カメラＡが道路のほぼ中央に位置していると仮定する
と、撮像面の中央から、２Ｗ・Ｆ／Ｚ' の位置に白線が
撮像されると計算できる。この位置の画像メモリ上の位
置への変換は、撮像面上の１画素に対する大きさが判明
すれば求めることができる。

【００４７】このような方法で白線検出のためのウィン
ドウの位置を決定し、その位置で左右の白線の直線式を
求め、これらの交差点からカメラＡからの画像Ａに対す
る消失点（Ｘ_VA，Ｙ_VA）を求める。また、カメラＢから
の画像Ｂについても同様に、消失点（Ｘ_VB，Ｙ_VB）を求
める。これらの消失点はカメラの取付位置により決定さ
れるため、初期設定時に１度だけ求めればよい。

【００４８】次に、詳細を後述する標識の有無を判断し
（Ｓ３）、標識が無いと判断したときは先行車位置を検
出する（Ｓ４）。先行車は２本の白線の間に挟まれた位
置に長い水平エッジを有するものとして判断できるた
め、該水平エッジを画像Ａ，Ｂのどちらかを用いて検出
する。この先行車の位置の検出には、まず、消失点の検
出と同様な方法で白線を検出し、該検出された白線の間
に挟まれた位置に存在する水平エッジを、画面上で下か
ら上に向けて探索する。図１９に示すように、水平エッ
ジがあるしきい値以上で、且つ、ある程度の長さをもつ
場合、その水平エッジが先行車による水平エッジと認識
することにより先行車を検出する。

【００４９】次に、２枚の画像Ａ，Ｂ間での対応点の求
め方を図２０を用いて説明する。これは検出された画像
Ａ内の先行車の位置に、所定の大きさのウィンドウを設
定し、このウィンドウ内の画像をテンプレートとしてマ
ッチング処理を行う（Ｓ５）。即ち、このテンプレート
と最も類似度の高い画像の位置を画像Ｂより求める。こ
のときの類似度の計算は、例えば正規化相関法を用いて
行えばよい。画像Ａより抽出したテンプレートの各画素
の輝度値をＡ_ij、画像Ｂより抽出した画像の輝度値をＢ
_ijとすると、正規化相関法による互いの画像の類似度は
（３）式により算出することができる。

【００５０】

【数１】

【００５１】（３）式の値が高いほど類似度が高くな
る。そこで、画像Ｂより抽出する画像の位置を変化さ
せ、（３）式を用いて前記テンプレートと画像Ｂの各位
置の画像との類似度を算出することを繰り返し行い、図
２１に示すように最も類似度の高い位置Ｘ_Bを求める。
そして、距離算出に必要となる視差を、画像Ａの消失点
Ｘ_VAと画像Ａ内に設定したウィンドウの位置Ｘ_Aとの距
離（Ｘ_VA−Ｘ_A）と、画像Ｂの消失点Ｘ_VBと正規化相関
法により求めた最も類似度の高い位置のウィンドウの位
置Ｘ_Bとの距離（Ｘ_VB−Ｘ_B）との差（Ｘ_VB−Ｘ_B）−
（Ｘ_VA−Ｘ_A）の絶対値により求める（Ｓ６）。

【００５２】この値は画素単位であるので、用いたカメ
ラの撮像面の大きさと水平方向のサンプリング間隔を基
に１画素に相当する撮像面上の長さを算出し、この長さ
を基に画素単位で求められた視差を撮像面上の長さに換
算する。この視差を算出した後、（１）式を用いて先行
車までの距離を算出する（Ｓ７）。

【００５３】図２２は本実施の形態におけるステレオ画
像の入力方式と、従来の入力方式とを比較したタイムチ
ャートである。通常の画像入力方式においては、１フレ
ーム１の第１フィールドで画像Ａを入力し、第２フィー
ルドで画像Ｂを入力する。そして、フレーム２の第１フ
ィールドにおいて、該入力した画像Ａ，Ｂを処理するこ
とを繰り返し行う。

【００５４】一方、本実施の形態においては、フレーム
１の第１フィールドで画像Ａ，Ｂを入力し、第２フィー
ルドで該入力した画像Ａ，Ｂを処理することを繰り返し
行う。これにより、画像の入力時間を半減させることが
でき、さらに画像の処理時間が１フィールド以下であれ
ば、１フレーム内で入力画像に対する処理を終了させる
ことが可能となる。また、この配置のステレオカメラを
用いることにより、撮像面の水平方向を視差方向とほぼ
一致させ、画像信号をデジタル化する際のサンプリング
間隔を狭くすることにより、対象物（例えば先行車）ま
での距離を精度良く求めることができる。

【００５５】次に標識認識について図２３を用いて説明
する。図２３はステレオ画像処理用の画像から標識の存
在を認識する方法を説明している。この標識認識は、例
えば標識を検出したときだけ行うようにし、通常は距離
認識を行うようにする。これにより距離認識の処理速度
が低下することを極力抑制しつつ標識認識を行うことが
できる。

【００５６】標識が存在しない通常時の入力画像は、例
えば図２３(a) に示すようなステレオ画像処理用の画像
となる。距離認識用の画像は図２３(b) に示すように、
１台のカメラの半分の画角だけを使用しているため、自
車両近傍（斜め横）の標識は認識することができない
が、前方の標識の存在を認識することはできる。また、
広角レンズを使用して画角を拡げることにより、遠方の
標識から自車両近傍の標識まで撮像することもできる
が、広角レンズを使用すると撮像画像にレンズによる歪
みが生じるため、画像処理段階で精度よく距離を算出す
ることが困難となり好ましくない。

【００５７】この標識は、撮像画像上において路面の白
線上に存在しているように撮像される。前述のステレオ
画像処理時に検出した白線の検出結果をもとに、図２３
(c)に示すように画像の左端での白線位置（ｙ座標）を
求め、その白線位置に予め定めた大きさの標識認識用の
ウィンドウを設定する。このウィンドウ内に長い縦エッ
ジの存在が確認されたときに標識があると判断する。こ
のときの画像メモリに取り込まれた画像は、図２３(d)
に示すように標識の存在は検出されても標識内容を判断
するには撮像された標識が小さ過ぎる。そこで、標識の
存在が検出されてから自車両が数ｍ進んだ後、入力対象
を左斜め前方を入力するカメラＢだけに切り換え、図２
(c) に示す入力方法３で１回画像を入力する（Ｓ８）。
このとき入力される画像の一例を図２４(a) に示した。
この画像には標識が大きく撮像されており、図２３(d)
に示す画像より十分詳細な情報が得られるため、標識内
容を認識するには好適である。

【００５８】図２４(a) に示す撮像画像から標識内容を
認識するには、まず、撮像画像から円を検出する（Ｓ
９）。これは、例えば円を認識対象としたHough 変換を
用いることにより検出することができる。そして、標識
内容は図２４(b) に示す円の内部の画像と、図２４(c)
の予め用意した標識内容を表すテンプレートとの類似度
を求め、この類似度が最も高いテンプレートをその標識
内容と判断する（Ｓ１０）。尚、この類似度は、例えば
前述の正規化相関法により求めることができる。

【００５９】このように、本実施の形態におけるステレ
オカメラは、斜め前方を撮像するため、遠方の標識を認
識することができると共に、自車両近傍の標識を大きく
撮像することができ、より確実な標識認識を行うことが
できる。

【図面の簡単な説明】

【図１】本発明の概要を説明するための図。

【図２】映像信号の切り換えて画像記憶手段に入力す
る方法の４パターンを示した図。

【図３】基本的な距離算出のためのステレオ画像処理
方法を説明する図。

【図４】走査ラインの前半および後半でカメラの入力
を切り換えて入力することを説明する図。

【図５】１台のカメラの画角と２台のカメラを傾けて
配設したときの画角を示す図。

【図６】各カメラからの画像に対するステレオ画像領
域を示す図。

【図７】サンプリング間隔に対する画像の状態を説明
する図。

【図８】アナログの画像信号をデジタルの画像信号に
変換した画像を説明する図。

【図９】撮像面上の分解能と画像メモリ内の１画素の
大きさを示す図。

【図１０】一般的なステレオ画像処理による距離算出
方法を示す図。

【図１１】カメラの焦点距離Ｆと眼間距離Ｄを一定と
したときの距離Ｚの測定精度と視差の分解能との関係を
示す図。

【図１２】撮像範囲と対象物の測定精度との関係を示
す図。

【図１３】各カメラからの画像入力タイミングの関係
とそのとき入力される画像を示す図。

【図１４】第１の実施の形態におけるステレオ画像処
理装置のブロック構成図。

【図１５】第１の実施の形態における先行車までの距
離算出および標識認識処理のフローチャート図。

【図１６】第１の実施の形態における撮像方法とその
とき得られる画像とを示す図。

【図１７】消失点の算出方法を説明する図。

【図１８】ウィンドウ位置の設定方法を説明するため
のカメラの取付位置を示した図。

【図１９】先行車位置の検出方法を説明する図。

【図２０】撮像した２枚の画像間での対応点の求め方
を説明する図。

【図２１】類似度の最も高い画像切取り位置を示す
図。

【図２２】第１の実施の形態における画像入力および
画像処理のタイミングを示すタイミングチャート。

【図２３】標識の認識方法を説明する図。

【図２４】標識認識時における標識内容の認識方法を
説明する図。

【図２５】従来の画像入力方法を説明する図。

【図２６】従来の他の画像入力方法を説明する図。

【符号の説明】

171 カメラセレクタ制御部 172 Ａ／Ｄ変換部174 ＨＤ信号生成部 175 ＶＤ信号生成部 176 画像メモリ 177 対象物検出部 178 対応点検索部 179 距離算出部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平８−47000（ＪＰ，Ａ) 特開平７−85400（ＪＰ，Ａ) 特開平７−274213（ＪＰ，Ａ) 特開平６−187597（ＪＰ，Ａ) 特開平７−296297（ＪＰ，Ａ) 特開昭64−47196（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/00 H04N 7/18 G08G 1/16

Claims

(57)【特許請求の範囲】

【請求項１】ステレオ画像入力を行うステレオ画像処理
装置において、光軸が特定の水平平面内に含まれるように第１および第
２のカメラを並列に配設して対象物を撮像する撮像手段
と、前記第１および第２のカメラからの映像信号の走査ライ
ン前半部に対しては、前記第１のカメラから得られる前
記対象物を含む領域の映像信号を選択する一方、走査ラ
イン後半部に対しては、前記第２のカメラから得られる
前記領域に対応した前記対象物を含む領域の映像信号を
選択して切り換える映像信号切り換え手段であって、前
記第１および第２のカメラからの映像信号を、（１）前記走査ラインの前半部および後半部共に前記対
象物が含まれるように、走査ラインの前半部を一方のカ
メラからの映像信号に、後半部を他方のカメラからの映
像信号に切り換える場合と、（２）走査ラインの全体に渡り、どちらか一方のカメラ
からの映像信号に固定する場合と、のどちらか一方の状
態を選択して前記カメラからの映像信号を出力する映像
信号切り換え手段と、該映像信号切り換え手段から出力された映像信号を記憶
する画像記憶手段と、該画像記憶手段に記憶された画像に対してステレオ画像
処理を施すステレオ画像処理手段と、前記（２）の場合に単眼画像に対する画像処理を行う単
眼画像処理手段と、を備え、前記単眼画像処理手段は、前記映像信号切り換え手段に
より選択されたどちらか一方のカメラだけの画像に基づ
いて、撮像方向前方の標識の内容を認識するものである
ステレオ画像処理装置。
【請求項２】前記ステレオ画像処理手段は、前記画像記
憶手段に記憶された画像に基づいて、撮像された対象物
までの距離情報を算出するものである請求項１に記載の
ステレオ画像処理装置。
【請求項３】前記第１および第２のカメラは、前記特定
の水平平面内でカメラの光軸をカメラ前方で交差するよ
うに傾けて配設した請求項１または請求項２に記載のス
テレオ画像処理装置。
【請求項４】前記第１および第２のカメラからの映像信
号をデジタル信号に変換するＡ／Ｄ変換手段を備え、該
Ａ／Ｄ変換手段による映像信号のサンプリング間隔を、
該カメラの副走査方向より主走査方向が短くなるように
設定した請求項１〜請求項３のいずれか１つに記載のス
テレオ画像処理装置。
【請求項５】前記第１および第２のカメラにより撮像し
た撮像画像の水平方向、垂直方向の少なくとも一方の方
向に対し、前記画像記憶手段に入力する映像信号を制限
するようにした請求項１〜請求項４のいずれか１つに記
載のステレオ画像処理装置。
【請求項６】前記第１および第２のカメラからの映像信
号は、所定の走査ライン数毎に前記画像記憶手段に入力
するようにした請求項５に記載のステレオ画像処理装
置。
【請求項７】前記第１および第２のカメラからの映像信
号は、所定の走査ライン数だけを前記画像記憶手段に入
力するようにした請求項５または請求項６に記載のステ
レオ画像処理装置。