JP3965067B2 - ステレオ式監視装置およびステレオ式監視方法 - Google Patents
ステレオ式監視装置およびステレオ式監視方法 Download PDFInfo
- Publication number
- JP3965067B2 JP3965067B2 JP2002108356A JP2002108356A JP3965067B2 JP 3965067 B2 JP3965067 B2 JP 3965067B2 JP 2002108356 A JP2002108356 A JP 2002108356A JP 2002108356 A JP2002108356 A JP 2002108356A JP 3965067 B2 JP3965067 B2 JP 3965067B2
- Authority
- JP
- Japan
- Prior art keywords
- output mode
- stereo
- image data
- distance
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の出力モードを有するステレオカメラを用いたステレオ式監視装置およびステレオ式監視方法に関する。
【０００２】
【従来の技術】
近年、ステレオカメラを用いたステレオ式監視装置が実用化されている。この監視装置は、一対の撮像画像（ステレオ画像）に写し出された同一対象物に関する位置的なずれ量（すなわち視差）を、ステレオマッチングを用いて算出する。画像に写し出された対象物の実空間上の位置は、対象物に関して算出された視差と、その画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
一般的に、このステレオ式監視装置に適用可能なカメラは、ＣＣＤまたはＣＭＯＳセンサなどのイメージセンサを内蔵しており、イメージセンサからの信号の読み出しは、プログレッシブ（porgressive）方式で行われる。この方式は、ノンインターレース（non-interlace）と称されることもある。プログレッシブ方式の場合、１画像の表示単位である１フレーム相当の画像は、イメージセンサの配列に対応した所定の本数の水平ライン群（画素列）で構成され、水平ライン間隔は密である。ある種のステレオ式監視装置は、水平ライン数が480本（一例）のイメージセンサを使用しながら、カメラから出力されるデータの水平ライン数を200本（一例）程度に制限している。全ての水平ラインを出力しない理由は、カメラ後段の処理部における負荷増大を抑えるためである。また、一般に、地面を含む景色を撮像した場合、画像の下側には近傍の景色が写し出され、画像の上方に向かうほど遠方の景色が写し出される。このような特性上、画像中に写し出された対象物を認識する場合、画像の上方に向かうほど情報が不足する傾向にある。このような理由から、画像下側（下側の水平ライン）のデータは出力せず、下側を除いた画像領域のデータのみが出力される。
【０００４】
なお、特開２０００−１３７８９８号公報には、ステレオカメラの出力をインターレース方式またはプログレッシブ方式に択一的に切替える装置が開示されている。この切替えは、工場で生産・調整を行う際に、プログレッシブ方式の車両用画像装置をインターレース方式のディスプレイに表示しなけれならない関係上行われる。すなわち、ステレオ画像をインターレース方式のディスプレイでモニタするために、通常の使用状況では、プログレッシブ方式で出力されるステレオ画像を、製造・調整工程では、インターレース方式に変更する。
【０００５】
【発明が解決しようとする課題】
ところで、プログレッシブ方式において、水平ラインの本数を制限して上下幅を狭めると（換言すれば、画像下側を無視すると）、特に、近景の景色に注目したい場合に問題が生じる。水平ライン群の幅を制限することは、画角を狭ばめることになり、画像下側に相当する自車両近傍に死角が生じやすい。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオ画像処理の負荷増大を抑えつつ、監視における死角の発生を抑制することである。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項 1 記載の発明は、ステレオ式監視装置において、切替可能な出力モードとして、第１の出力モードと第２の出力モードとを有し、前記第１の出力モードでは、所定の画角に対応すると共に所定の本数の水平ライン群で１フレームが構成されたステレオ画像データを出力し、前記第２の出力モードでは、前記第１の出力モードよりも広い画角に対応すると共に前記第１の出力モードよりも疎な垂直間隔を有する水平ライン群で１フレームが構成されたステレオ画像データを出力するステレオカメラと、前記ステレオカメラより出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出するステレオ処理部と、前記ステレオ処理部によって算出された距離データに基づいて、対象物を認識する認識部と、認識すべき対象物の距離に応じて、前記ステレオカメラに対して、前記出力モードの切替えを指示する指示部とを有することを特徴とする。
【０００８】
請求項２記載の発明は、請求項１に記載されたステレオ式監視装置において、前記第２の出力モードにおいて出力される画像データは、前記第１の出力モードの水平ライン群によって規定される監視領域を含み、かつ、当該監視領域よりも垂直下方に延在している領域内の画像データであることを特徴とする。
【０００９】
請求項３記載の発明は、請求項１または２に記載されたステレオ式監視装置において、前記第２の出力モードにおける水平ライン群の本数は、前記第１の出力モードにおける水平ライン群の本数と同一であることを特徴とする。
【００１０】
上記目的を達成するため、請求項４記載の発明は、ステレオ式監視方法において、認識すべき対象物の距離が第１の距離の場合、第１の出力モードによって出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出し、当該距離データに基づいて、対象物を認識する第１のステップと、認識すべき対象物の距離が前記第１の距離よりも近い第２の距離の場合、前記第１の出力モードとは異なる第２の出力モードによって出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出し、当該距離データに基づいて、対象物を認識する第２のステップとを有し、前記第１の出力モードは、所定の画角に対応すると共に所定の本数の水平ライン群で１フレームが構成されたステレオ画像データを出力する出力モードであり、前記第２の出力モードは、前記第１の出力モードよりも広い画角に対応すると共に前記第１の出力モードよりも疎な垂直間隔を有する水平ライン群で１フレームが構成されたステレオ画像データを出力する出力モードであることを特徴とする。
【００１１】
請求項５記載の発明は、請求項４に記載されたステレオ式監視方法において、前記第２の出力モードにおいて出力される画像データは、前記第１の出力モードの水平ライン群によって規定される監視領域を含み、かつ、当該監視領域よりも垂直下方に延在している領域内の画像データであることを特徴とする。
【００１２】
請求項６記載の発明は、請求項４または５に記載されたステレオ式監視方法において、前記第２の出力モードにおける水平ライン群の本数は、前記第１の出力モードにおける水平ライン群の本数と同一であることを特徴とする。
【００１４】
【発明の実施の形態】
図１は、本実施形態に係るステレオ式監視装置のブロック構成図である。ステレオ式監視装置１（以下、単に「監視装置１」と称する）は、自車両の走行状況を監視する車外監視装置である。自車両前方を撮像する一対のカメラ２，３で構成されたステレオカメラは、ルームミラーの近傍に取り付けられており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。
【００１５】
メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００１６】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、各画素の輝度値（0〜255）の集合である。画像平面におけるｉ−ｊ座標系は、イメージセンサの有効画像領域の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当の両画像データは、後段のステレオ画像処理部７に出力されるとともに、後段の画像データメモリ８に格納される。
【００１７】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関して、距離データを算出する。ここで、「距離データ」とは、１フレーム相当の撮像画像より算出される視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。
【００１８】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００１９】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００２０】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２１】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ（ｉ，ｊ，ｄ）は、距離データメモリ９に出力される。
【００２２】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等を主体に構成されているが、これを機能的に捉えた場合、対象物認識部１１、制御部１２および指示部１３を有する。対象物認識部１１は、画像データメモリ８に格納された画像データと、距離データメモリ９に格納された距離データとに基づき、自車両前方の対象物（道路（車線）や立体物（走行車）等）を検出するとともに、その実空間上の位置を算出する。制御部１２は、対象物認識部１１による認識結果に基づいて、ドライバーへの警報が必要と判定した場合、モニタやスピーカ等の警報装置を動作させる。また、制御部１２は、必要に応じてアクチュエーター類を制御し、車両制御を行ってもよい。
【００２３】
指示部１３は、対象物認識部１１による認識結果に基づいて、カメラ２，３の出力モードを決定し、それをカメラ２，３側に指示する。この指示は、それぞれのカメラ２，３のカメラドライバ１４，１５に対して、出力モード指示信号Ｓdを出力することによって行われる。カメラドライバ１４，１５は、出力モード指示信号Ｓdの指示内容に応じて、カメラ２，３の出力モードを設定する。また、指示部１３は、出力モード指示信号Ｓdを対象物認識部１１に対しても出力する。現在の出力モードを対象物認識部１１に知らせる理由は、出力モードによって画像平面上の位置が変わり、その結果、そこに写し出されている対象物の実空間上の位置も変わるからである。本実施形態の監視装置１は、対象物認識部１１が監視制御を行うとともに、指示部１３がこの監視制御に関する画像の出力モードの決定をリアルタイムで処理している。
【００２４】
ここで、カメラ２，３は、切替可能な出力モードとして、第１の出力モードと第２の出力モードとを有している。第１の出力モードが指示された場合、図３に示すように、カメラ２，３は、第１の出力モードにより、所定の本数（例えば200本）の水平ライン群で１フレームが構成された画像データ（ステレオ画像データ）を出力する。これにより得られる１フレーム相当の画像データは、ｊ＝0〜200の垂直範囲内であり、これを監視領域としたステレオ画像処理および認識処理等が行われる。
【００２５】
一方、第２の出力モードが指示された場合、図４に示すように、カメラ２，３は、第１の出力モードよりも疎な垂直間隔（水平ライン群を１ラインおきに間引く）を有する水平ライン群で１フレームが構成された画像データを出力する。第２の出力モードにおける１フレームの画像は、第１の出力モードにおける偶数フィールド（偶数番目の垂直ライン群）または奇数フィールド（奇数番目の垂直ライン群）のいずれか一方に相当する。
【００２６】
本実施形態において、第２の出力モードにおける１フレーム相当の画像データは、第１の出力モードにおける水平ライン群によって規定される監視領域を含み、かつ、この監視領域よりも垂直下方に延在している領域内の画像データである。図４に示したように、第２の出力モードにおける垂直座標は、第１の出力モードと共通の座標系において、ｊ＝-200〜200の範囲内となっている。このように、第２の出力モードは、第１の出力モードと比較して、画像幅が垂直下方に延在している。換言すれば、第１の出力モードでは、所定の画角に対応する水平ライン群で１フレームが構成されたステレオ画像データが出力される。これに対して、第２の出力モードでは、第１の出力モードよりも広い画角に対応する水平ライン群で１フレームが構成されたステレオ画像データが出力される。
【００２７】
また、第２の出力モードにおける水平ライン数は、第１の出力モードにおける水平ライン数と同一である。第２の出力モードにおける水平ラインの各垂直間隔は、第１の出力モードにおける垂直間隔と比べて、水平ラインが一列づつ間引かれた状態となっている。つまり、第２の出力モードは、第１の出力モードよりも広い範囲を監視領域としながら、全体的な水平ライン数は、第１の出力モードのそれと同じ200本である。そのため、画像データの増大を避けることができるとともに、カメラ２，３の後段側の処理を、その出力モードによって変える必要がないので、システム構成の複雑化を回避できる。
【００２８】
第１の出力モードは、第２の出力モードに比べ画像幅（あるいは画角）は狭いが、画像データ上での情報は密となるので、遠景の景色を有効に認識することができる。例えば、図３に示すように、第１の出力モードは、遠方を走行する先行車、または、障害物を正確に認識する上で有利である。一方、第２の出力モードは、第１の出力モードに比べ画像データとしての情報は疎となるが、画像幅（すなわち、画角に相当）は拡大するので、近景の景色を有効に認識することができる。例えば、図４に示すように、車長が長いトラックなどが接近していると、第１の出力モードでは、その画像範囲（0〜200の範囲）にトラックの運転台しか収まりきらず、荷台部分を認識し落としてしまう可能性もある。これに対して、第２の出力モードでは、画像幅が拡大しているので（-200〜200の範囲）、車両近傍の広い領域を正確に認識することができる。
【００２９】
本実施形態では、出力モードの切替は、認識すべき対象物の距離（車間距離）に応じて行う。図５は、出力モードの設定ルーチンのフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１０によって実行される。
【００３０】
まず、ステップ１において、対象物認識部１１は、画像データメモリ８より１フレーム相当の画像データを読み込むとともに、それに対応する距離データを距離データメモリ９より読み込む。
【００３１】
ステップ２において、対象物認識部１１は対象物を認識する。自車両前方の走行状況を監視する車外監視装置の場合、認識すべき対象物は先行車である。先行車の認識プロセスは、まず、実空間上の道路形状を特定し、この道路上に位置する対象物を先行車とみなしている。具体的には、対象物認識部１１は、この距離データ（ｉ，ｊ，ｄ）を実空間の座標系に変換し、道路形状の認識および立体物の位置検出等の処理を行う。自車両の位置を基準に設定された実空間の座標系は、ステレオカメラの中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。このとき、ｘ−ｚ平面（ｙ＝0）は、道路が平坦な場合、道路面と一致する。
【００３２】
対象物認識部１１は、指示部１３からの出力モード指示信号Ｓdによって、処理対象とするフレームがどちらの出力モードで出力されたものかを把握している。出力モードが第１の出力モードである場合、以下に示す数式２〜４により、距離データ（ｉ，ｊ，ｄ）から実空間上の点（ｘ，ｙ，ｚ）が算出される。
【数２】
ｚ＝ＫＺＨ／（ｄ−Ｄｐ）
【数３】
ｙ＝ＣＡＨ−ｚ（ＪＶ−ｊ）ＰＷＶp
【数４】
ｘ＝ｒ／2−ｚ（ＩＶ−ｉ）ＰＷＨ
【００３３】
上式において、ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、Ｄｐは消失点視差である。また、定数ＣＡＨはステレオカメラの取付高さ、定数ｒはカメラ２，３の取り付け間隔、定数ＰＷＶp，ＰＷＨはそれぞれ１画素当たりの垂直視野角、水平視野角である。また、定数ＩＶ，ＪＶはそれぞれ予め設定された消失点Ｖのｉ座標値、ｊ座標値である。
【００３４】
これに対して、出力モードが第２の出力モードである場合、以下に示す数式５〜７により、距離データ（ｉ，ｊ，ｄ）から実空間上の点（ｘ，ｙ，ｚ）が算出される。
【数５】
ｚ＝ＫＺＨ／（ｄ−Ｄｐ）
【数６】
ｙ＝ＣＡＨ−ｚ（ＪＶ−ｊ）ＰＷＶi
【数７】
ｘ＝ｒ／2−ｚ（ＩＶ−ｉ）ＰＷＨ
【００３５】
上式において、数式２〜４と同様のパラメータは、同一の記号で表されている。ここで、ＰＷＶiは、ｎ画素あたりの垂直視野角であり、第２の出力モードにおける画素間の間隔に対応しており、本実施形態では、ｎは、「２」である。そして、ＰＷＶiとＰＷＶpとの間には、以下に示す数式８の関係が成り立つ。
【数８】
ＰＷＶi＝ｎ・ＰＷＶp
【００３６】
なお、対象物認識部１１は、初期出力モード、すなわち、１フレーム目の画像に関する出力モードを、第１のモードで取り扱う。
【００３７】
道路形状の認識プロセスを概略的に説明する。「道路形状の認識」とは、三次元的な道路形状を左右の車線（白線や追い越し禁止ライン等）に関する関数で表現し、この関数の各パラメータを、実際の道路形状（直線、カーブ曲率または起伏）に合致するような値に設定することである。例えば、対象物認識部１１は、画像データメモリ８より基準画像データを読み込み、その基準画像データにおいて、白線エッジ、すなわち、水平方向の輝度エッジ（隣接画素間の輝度の変化量が大きい箇所）のうち白線に起因して生じたものが特定される。
【００３８】
対象物認識部１１は、特定された白線エッジ毎に、その座標（ｉ，ｊ）およびその視差ｄを画像の出力モードに対応した座標変換式（数式３〜５）に代入することにより、実空間上の座標（ｘ，ｙ，ｚ）を算出する。このようにして特定された各白線エッジの実空間上の座標（ｘ，ｙ，ｚ）に基づいて白線モデルが特定される。白線モデルは、進行方向に関し左右の白線エッジのそれぞれに関して所定区間ごとに近似直線を求め、これを折れ線状に連結して表現したものである。これらの白線モデルは、道路のカーブ曲率を表現したカーブ関数（Ｘ＝ｆ(Ｚ)）と、道路の勾配や起伏を表現した勾配関数（Ｙ＝ｆ(Ｚ)）とで構成されている。したがって、実空間における道路の三次元的な変化状態は、左右の白線モデルによって把握することができる。
【００３９】
つぎに、対象物認識部１１は、「対象物の認識」を行う。図６に示すように、二次元的に距離データが格子状に所定の間隔で区分され、それぞれの区分において、この区分に含まれる距離データに基づき実空間上の位置が算出される。そして、検出された道路形状（白線モデル）に基づいて、それぞれの区分において、道路表面より上のデータが立体物データの候補として特定される。対象物認識部１１は、この立体物データの候補に関し、区分毎、さらには、この区分間同士で、ｚ方向およびｘ方向に距離が近似しているものをグループとして取り扱う。そして、対象物認識部１１は、自車両と同一車線上に位置するグループを先行車として特定する。
【００４０】
ステップ２に続くステップ３において、対象物認識部１１は、監視すべき対象物、すなわち、先行車までの距離Ｄcを算出する。この距離Ｄcは、ステップ２において特定したグループ（自車両と同一車線上に位置するグループ）までの距離である。
【００４１】
ステップ４において、指示部１３は、距離Ｄcが所定の判定値Ｄ以下であるか否かを判定する。ステップ４で肯定判定された場合、指示部１３は、監視すべき対象物が近接していると判断する。この場合、指示部１３は、出力モードを、第２の出力モードに設定すべき旨の出力モード指示信号Ｓdを出力して（ステップ５）、本ルーチンを抜ける。指示部１３からの指示を受けて、カメラ２，３の出力モードは、現在が第１の出力モードの場合には第２の出力モードに切り替わり、現在が第２の出力モードの場合にはこの出力モードが継続される。また、この指示を受けて、対象物認識部１１は、第２の出力モードベースで、対象物の実空間上の位置を算出する。
【００４２】
これに対して、ステップ４で否定判定された場合、指示部１３は、監視すべき対象物が近接していないと判断する。この場合、指示部１３は、出力モードを第１の出力モードに設定すべき旨の出力モード指示信号Ｓdを出力して（ステップ６）、本ルーチンを抜ける。指示部１３からの指示を受けて、カメラ２，３の出力モードは、現在が第２の出力モードの場合には第１の出力モードに切り替わり、現在が第１の出力モードの場合にはこの出力モードが継続される。また、この指示を受けて、対象物認識部１１は、第１の出力モードベースで、対象物の実空間上の位置を算出する。
【００４３】
以上説明したように、本実施形態の監視装置１によれば、対象物認識部１１によって監視制御が行われるとともに、指示部１３によってこの監視制御に関する画像の出力モードの決定がリアルタイム処理されている。この監視装置１は、先行車との車間距離に応じて、出力モードを切替えることで、より有効に対象物の認識・監視を行うことができる。この出力モードの切替えにより、例えば、監視装置１は、高速道路を走行しているときなどは第１の出力モードに切替えて、画面上方に映る遠方の風景を高密度で正確に認識処理する。これに対して、監視装置１は、渋滞しているときなどは、第２の出力モードに切替えて、画像データを構成する水平ラインを適当に間引くことで、画面の下側に映る直前の障害物など広範囲に認識処理する。その結果、ステレオ画像処理の負荷増大を抑えつつ、監視における死角の発生を抑制し、対象物の遠近に拘わらず、有効な認識を行うことが可能になる。
【００４４】
なお、上述した実施形態は、自車両前方の走行状況を監視する車外監視装置を例に説明したが、本発明は、これに限定されるものではない。本発明は、所定箇所に固定的に配置されて、人間または動物などの動的な侵入者を監視対象とした、侵入者監視装置などにも適用することができる。この侵入者監視装置において、指示部１３は、遠方に侵入者が検出された場合には、第１の出力モードに切替え、近傍に侵入者が検出された場合には、第２の出力モードに切替える。これにより、侵入者監視装置は、第１の出力モードにおいて、遠方に位置する侵入者を精度よく認識するとともに、第２の出力モードにおいて、侵入者の全身を広範囲に認識することで、有効に監視を行うことができる。
【００４５】
また、上述した実施形態において、監視装置１は、認識すべき対象物の距離に応じて、出力モードを切替えている。しかしながら、本発明はこれに限定されるものではなく、指示部１３は、ドライバー（あるいは、オペレータ）の任意の指示、または、一定時間周期ごとに出力モードを切替可能であってもよい。これにより、カメラ２，３の視線を任意に、或いは、一定周期ごとに変えながら、監視を行うことができる。
【００４６】
さらに、１フレームの水平ライン数および設定する監視領域は、本実施形態に限定されるものではなく、様々なバリエーションが考えられる。例えば、第１の出力モードでは、画像幅ｊ＝40〜200に対応する水平ライン160本、第２の出力モードでは、ｊ＝-120〜200に対応する水平ライン160本の画像を有効画像とするなどである。図７に示すように、たとえライン数を減らしても、本実施形態では出力モードを遠景と近景とで切替可能とするため、単一出力モードと比較して、有利に監視を行うことができ、かつ、処理量を減少することができる。ここで、図７（ａ）は、上述した図３に対応しており、図７（ｂ）は、上述した図４に対応する。
【００４７】
また、指示部１３は、車間距離Ｄcのみに応じて出力モードを切替えるものであるが、さらに車速などの車両情報を考慮したうえで、出力モードの切替えを指示してもよい。例えば、指示部１３は、車速センサから自車両の速度を特定し、速度が60km/h以上であるときは判定値Ｄを40ｍ、速度が10〜60km/hであるときは判定値Ｄを20ｍ、速度が10km/h以下であるときは判定値Ｄを6mに切替えるといった如くである。このように自車両の速度を考慮することで、より有効に出力モードの切替えを行うことができる。
【００４８】
【発明の効果】
このように、本発明によれば、認識すべき対象物の距離に応じて、出力モードを変更することができる。これにより、ステレオ画像処理の負荷増大を抑えつつ、監視における死角の発生を抑制し、対象物の遠近に拘わらず、有効な認識を行える。
【図面の簡単な説明】
【図１】本実施形態に係るステレオ式監視装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】第１の出力モードで出力される１フレーム相当の画像を示す説明図
【図４】第２の出力モードで出力される１フレーム相当の画像を示す説明図
【図５】出力モードの設定ルーチンのフローチャート
【図６】対象物認識の手法の一例を示す説明図
【図７】水平ライン群数を減少させた際の画像を示す説明図
【符号の説明】
１ ステレオ式監視装置
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ マイクロコンピュータ
１１ 対象物認識部
１２ 制御部
１３ 指示部
１４ カメラドライバ
１５ カメラドライバ
【発明の属する技術分野】
本発明は、複数の出力モードを有するステレオカメラを用いたステレオ式監視装置およびステレオ式監視方法に関する。
【０００２】
【従来の技術】
近年、ステレオカメラを用いたステレオ式監視装置が実用化されている。この監視装置は、一対の撮像画像（ステレオ画像）に写し出された同一対象物に関する位置的なずれ量（すなわち視差）を、ステレオマッチングを用いて算出する。画像に写し出された対象物の実空間上の位置は、対象物に関して算出された視差と、その画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
一般的に、このステレオ式監視装置に適用可能なカメラは、ＣＣＤまたはＣＭＯＳセンサなどのイメージセンサを内蔵しており、イメージセンサからの信号の読み出しは、プログレッシブ（porgressive）方式で行われる。この方式は、ノンインターレース（non-interlace）と称されることもある。プログレッシブ方式の場合、１画像の表示単位である１フレーム相当の画像は、イメージセンサの配列に対応した所定の本数の水平ライン群（画素列）で構成され、水平ライン間隔は密である。ある種のステレオ式監視装置は、水平ライン数が480本（一例）のイメージセンサを使用しながら、カメラから出力されるデータの水平ライン数を200本（一例）程度に制限している。全ての水平ラインを出力しない理由は、カメラ後段の処理部における負荷増大を抑えるためである。また、一般に、地面を含む景色を撮像した場合、画像の下側には近傍の景色が写し出され、画像の上方に向かうほど遠方の景色が写し出される。このような特性上、画像中に写し出された対象物を認識する場合、画像の上方に向かうほど情報が不足する傾向にある。このような理由から、画像下側（下側の水平ライン）のデータは出力せず、下側を除いた画像領域のデータのみが出力される。
【０００４】
なお、特開２０００−１３７８９８号公報には、ステレオカメラの出力をインターレース方式またはプログレッシブ方式に択一的に切替える装置が開示されている。この切替えは、工場で生産・調整を行う際に、プログレッシブ方式の車両用画像装置をインターレース方式のディスプレイに表示しなけれならない関係上行われる。すなわち、ステレオ画像をインターレース方式のディスプレイでモニタするために、通常の使用状況では、プログレッシブ方式で出力されるステレオ画像を、製造・調整工程では、インターレース方式に変更する。
【０００５】
【発明が解決しようとする課題】
ところで、プログレッシブ方式において、水平ラインの本数を制限して上下幅を狭めると（換言すれば、画像下側を無視すると）、特に、近景の景色に注目したい場合に問題が生じる。水平ライン群の幅を制限することは、画角を狭ばめることになり、画像下側に相当する自車両近傍に死角が生じやすい。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオ画像処理の負荷増大を抑えつつ、監視における死角の発生を抑制することである。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項 1 記載の発明は、ステレオ式監視装置において、切替可能な出力モードとして、第１の出力モードと第２の出力モードとを有し、前記第１の出力モードでは、所定の画角に対応すると共に所定の本数の水平ライン群で１フレームが構成されたステレオ画像データを出力し、前記第２の出力モードでは、前記第１の出力モードよりも広い画角に対応すると共に前記第１の出力モードよりも疎な垂直間隔を有する水平ライン群で１フレームが構成されたステレオ画像データを出力するステレオカメラと、前記ステレオカメラより出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出するステレオ処理部と、前記ステレオ処理部によって算出された距離データに基づいて、対象物を認識する認識部と、認識すべき対象物の距離に応じて、前記ステレオカメラに対して、前記出力モードの切替えを指示する指示部とを有することを特徴とする。
【０００８】
請求項２記載の発明は、請求項１に記載されたステレオ式監視装置において、前記第２の出力モードにおいて出力される画像データは、前記第１の出力モードの水平ライン群によって規定される監視領域を含み、かつ、当該監視領域よりも垂直下方に延在している領域内の画像データであることを特徴とする。
【０００９】
請求項３記載の発明は、請求項１または２に記載されたステレオ式監視装置において、前記第２の出力モードにおける水平ライン群の本数は、前記第１の出力モードにおける水平ライン群の本数と同一であることを特徴とする。
【００１０】
上記目的を達成するため、請求項４記載の発明は、ステレオ式監視方法において、認識すべき対象物の距離が第１の距離の場合、第１の出力モードによって出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出し、当該距離データに基づいて、対象物を認識する第１のステップと、認識すべき対象物の距離が前記第１の距離よりも近い第２の距離の場合、前記第１の出力モードとは異なる第２の出力モードによって出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出し、当該距離データに基づいて、対象物を認識する第２のステップとを有し、前記第１の出力モードは、所定の画角に対応すると共に所定の本数の水平ライン群で１フレームが構成されたステレオ画像データを出力する出力モードであり、前記第２の出力モードは、前記第１の出力モードよりも広い画角に対応すると共に前記第１の出力モードよりも疎な垂直間隔を有する水平ライン群で１フレームが構成されたステレオ画像データを出力する出力モードであることを特徴とする。
【００１１】
請求項５記載の発明は、請求項４に記載されたステレオ式監視方法において、前記第２の出力モードにおいて出力される画像データは、前記第１の出力モードの水平ライン群によって規定される監視領域を含み、かつ、当該監視領域よりも垂直下方に延在している領域内の画像データであることを特徴とする。
【００１２】
請求項６記載の発明は、請求項４または５に記載されたステレオ式監視方法において、前記第２の出力モードにおける水平ライン群の本数は、前記第１の出力モードにおける水平ライン群の本数と同一であることを特徴とする。
【００１４】
【発明の実施の形態】
図１は、本実施形態に係るステレオ式監視装置のブロック構成図である。ステレオ式監視装置１（以下、単に「監視装置１」と称する）は、自車両の走行状況を監視する車外監視装置である。自車両前方を撮像する一対のカメラ２，３で構成されたステレオカメラは、ルームミラーの近傍に取り付けられており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。
【００１５】
メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００１６】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、各画素の輝度値（0〜255）の集合である。画像平面におけるｉ−ｊ座標系は、イメージセンサの有効画像領域の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当の両画像データは、後段のステレオ画像処理部７に出力されるとともに、後段の画像データメモリ８に格納される。
【００１７】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関して、距離データを算出する。ここで、「距離データ」とは、１フレーム相当の撮像画像より算出される視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。
【００１８】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００１９】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００２０】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２１】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ（ｉ，ｊ，ｄ）は、距離データメモリ９に出力される。
【００２２】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等を主体に構成されているが、これを機能的に捉えた場合、対象物認識部１１、制御部１２および指示部１３を有する。対象物認識部１１は、画像データメモリ８に格納された画像データと、距離データメモリ９に格納された距離データとに基づき、自車両前方の対象物（道路（車線）や立体物（走行車）等）を検出するとともに、その実空間上の位置を算出する。制御部１２は、対象物認識部１１による認識結果に基づいて、ドライバーへの警報が必要と判定した場合、モニタやスピーカ等の警報装置を動作させる。また、制御部１２は、必要に応じてアクチュエーター類を制御し、車両制御を行ってもよい。
【００２３】
指示部１３は、対象物認識部１１による認識結果に基づいて、カメラ２，３の出力モードを決定し、それをカメラ２，３側に指示する。この指示は、それぞれのカメラ２，３のカメラドライバ１４，１５に対して、出力モード指示信号Ｓdを出力することによって行われる。カメラドライバ１４，１５は、出力モード指示信号Ｓdの指示内容に応じて、カメラ２，３の出力モードを設定する。また、指示部１３は、出力モード指示信号Ｓdを対象物認識部１１に対しても出力する。現在の出力モードを対象物認識部１１に知らせる理由は、出力モードによって画像平面上の位置が変わり、その結果、そこに写し出されている対象物の実空間上の位置も変わるからである。本実施形態の監視装置１は、対象物認識部１１が監視制御を行うとともに、指示部１３がこの監視制御に関する画像の出力モードの決定をリアルタイムで処理している。
【００２４】
ここで、カメラ２，３は、切替可能な出力モードとして、第１の出力モードと第２の出力モードとを有している。第１の出力モードが指示された場合、図３に示すように、カメラ２，３は、第１の出力モードにより、所定の本数（例えば200本）の水平ライン群で１フレームが構成された画像データ（ステレオ画像データ）を出力する。これにより得られる１フレーム相当の画像データは、ｊ＝0〜200の垂直範囲内であり、これを監視領域としたステレオ画像処理および認識処理等が行われる。
【００２５】
一方、第２の出力モードが指示された場合、図４に示すように、カメラ２，３は、第１の出力モードよりも疎な垂直間隔（水平ライン群を１ラインおきに間引く）を有する水平ライン群で１フレームが構成された画像データを出力する。第２の出力モードにおける１フレームの画像は、第１の出力モードにおける偶数フィールド（偶数番目の垂直ライン群）または奇数フィールド（奇数番目の垂直ライン群）のいずれか一方に相当する。
【００２６】
本実施形態において、第２の出力モードにおける１フレーム相当の画像データは、第１の出力モードにおける水平ライン群によって規定される監視領域を含み、かつ、この監視領域よりも垂直下方に延在している領域内の画像データである。図４に示したように、第２の出力モードにおける垂直座標は、第１の出力モードと共通の座標系において、ｊ＝-200〜200の範囲内となっている。このように、第２の出力モードは、第１の出力モードと比較して、画像幅が垂直下方に延在している。換言すれば、第１の出力モードでは、所定の画角に対応する水平ライン群で１フレームが構成されたステレオ画像データが出力される。これに対して、第２の出力モードでは、第１の出力モードよりも広い画角に対応する水平ライン群で１フレームが構成されたステレオ画像データが出力される。
【００２７】
また、第２の出力モードにおける水平ライン数は、第１の出力モードにおける水平ライン数と同一である。第２の出力モードにおける水平ラインの各垂直間隔は、第１の出力モードにおける垂直間隔と比べて、水平ラインが一列づつ間引かれた状態となっている。つまり、第２の出力モードは、第１の出力モードよりも広い範囲を監視領域としながら、全体的な水平ライン数は、第１の出力モードのそれと同じ200本である。そのため、画像データの増大を避けることができるとともに、カメラ２，３の後段側の処理を、その出力モードによって変える必要がないので、システム構成の複雑化を回避できる。
【００２８】
第１の出力モードは、第２の出力モードに比べ画像幅（あるいは画角）は狭いが、画像データ上での情報は密となるので、遠景の景色を有効に認識することができる。例えば、図３に示すように、第１の出力モードは、遠方を走行する先行車、または、障害物を正確に認識する上で有利である。一方、第２の出力モードは、第１の出力モードに比べ画像データとしての情報は疎となるが、画像幅（すなわち、画角に相当）は拡大するので、近景の景色を有効に認識することができる。例えば、図４に示すように、車長が長いトラックなどが接近していると、第１の出力モードでは、その画像範囲（0〜200の範囲）にトラックの運転台しか収まりきらず、荷台部分を認識し落としてしまう可能性もある。これに対して、第２の出力モードでは、画像幅が拡大しているので（-200〜200の範囲）、車両近傍の広い領域を正確に認識することができる。
【００２９】
本実施形態では、出力モードの切替は、認識すべき対象物の距離（車間距離）に応じて行う。図５は、出力モードの設定ルーチンのフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１０によって実行される。
【００３０】
まず、ステップ１において、対象物認識部１１は、画像データメモリ８より１フレーム相当の画像データを読み込むとともに、それに対応する距離データを距離データメモリ９より読み込む。
【００３１】
ステップ２において、対象物認識部１１は対象物を認識する。自車両前方の走行状況を監視する車外監視装置の場合、認識すべき対象物は先行車である。先行車の認識プロセスは、まず、実空間上の道路形状を特定し、この道路上に位置する対象物を先行車とみなしている。具体的には、対象物認識部１１は、この距離データ（ｉ，ｊ，ｄ）を実空間の座標系に変換し、道路形状の認識および立体物の位置検出等の処理を行う。自車両の位置を基準に設定された実空間の座標系は、ステレオカメラの中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。このとき、ｘ−ｚ平面（ｙ＝0）は、道路が平坦な場合、道路面と一致する。
【００３２】
対象物認識部１１は、指示部１３からの出力モード指示信号Ｓdによって、処理対象とするフレームがどちらの出力モードで出力されたものかを把握している。出力モードが第１の出力モードである場合、以下に示す数式２〜４により、距離データ（ｉ，ｊ，ｄ）から実空間上の点（ｘ，ｙ，ｚ）が算出される。
【数２】
ｚ＝ＫＺＨ／（ｄ−Ｄｐ）
【数３】
ｙ＝ＣＡＨ−ｚ（ＪＶ−ｊ）ＰＷＶp
【数４】
ｘ＝ｒ／2−ｚ（ＩＶ−ｉ）ＰＷＨ
【００３３】
上式において、ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、Ｄｐは消失点視差である。また、定数ＣＡＨはステレオカメラの取付高さ、定数ｒはカメラ２，３の取り付け間隔、定数ＰＷＶp，ＰＷＨはそれぞれ１画素当たりの垂直視野角、水平視野角である。また、定数ＩＶ，ＪＶはそれぞれ予め設定された消失点Ｖのｉ座標値、ｊ座標値である。
【００３４】
これに対して、出力モードが第２の出力モードである場合、以下に示す数式５〜７により、距離データ（ｉ，ｊ，ｄ）から実空間上の点（ｘ，ｙ，ｚ）が算出される。
【数５】
ｚ＝ＫＺＨ／（ｄ−Ｄｐ）
【数６】
ｙ＝ＣＡＨ−ｚ（ＪＶ−ｊ）ＰＷＶi
【数７】
ｘ＝ｒ／2−ｚ（ＩＶ−ｉ）ＰＷＨ
【００３５】
上式において、数式２〜４と同様のパラメータは、同一の記号で表されている。ここで、ＰＷＶiは、ｎ画素あたりの垂直視野角であり、第２の出力モードにおける画素間の間隔に対応しており、本実施形態では、ｎは、「２」である。そして、ＰＷＶiとＰＷＶpとの間には、以下に示す数式８の関係が成り立つ。
【数８】
ＰＷＶi＝ｎ・ＰＷＶp
【００３６】
なお、対象物認識部１１は、初期出力モード、すなわち、１フレーム目の画像に関する出力モードを、第１のモードで取り扱う。
【００３７】
道路形状の認識プロセスを概略的に説明する。「道路形状の認識」とは、三次元的な道路形状を左右の車線（白線や追い越し禁止ライン等）に関する関数で表現し、この関数の各パラメータを、実際の道路形状（直線、カーブ曲率または起伏）に合致するような値に設定することである。例えば、対象物認識部１１は、画像データメモリ８より基準画像データを読み込み、その基準画像データにおいて、白線エッジ、すなわち、水平方向の輝度エッジ（隣接画素間の輝度の変化量が大きい箇所）のうち白線に起因して生じたものが特定される。
【００３８】
対象物認識部１１は、特定された白線エッジ毎に、その座標（ｉ，ｊ）およびその視差ｄを画像の出力モードに対応した座標変換式（数式３〜５）に代入することにより、実空間上の座標（ｘ，ｙ，ｚ）を算出する。このようにして特定された各白線エッジの実空間上の座標（ｘ，ｙ，ｚ）に基づいて白線モデルが特定される。白線モデルは、進行方向に関し左右の白線エッジのそれぞれに関して所定区間ごとに近似直線を求め、これを折れ線状に連結して表現したものである。これらの白線モデルは、道路のカーブ曲率を表現したカーブ関数（Ｘ＝ｆ(Ｚ)）と、道路の勾配や起伏を表現した勾配関数（Ｙ＝ｆ(Ｚ)）とで構成されている。したがって、実空間における道路の三次元的な変化状態は、左右の白線モデルによって把握することができる。
【００３９】
つぎに、対象物認識部１１は、「対象物の認識」を行う。図６に示すように、二次元的に距離データが格子状に所定の間隔で区分され、それぞれの区分において、この区分に含まれる距離データに基づき実空間上の位置が算出される。そして、検出された道路形状（白線モデル）に基づいて、それぞれの区分において、道路表面より上のデータが立体物データの候補として特定される。対象物認識部１１は、この立体物データの候補に関し、区分毎、さらには、この区分間同士で、ｚ方向およびｘ方向に距離が近似しているものをグループとして取り扱う。そして、対象物認識部１１は、自車両と同一車線上に位置するグループを先行車として特定する。
【００４０】
ステップ２に続くステップ３において、対象物認識部１１は、監視すべき対象物、すなわち、先行車までの距離Ｄcを算出する。この距離Ｄcは、ステップ２において特定したグループ（自車両と同一車線上に位置するグループ）までの距離である。
【００４１】
ステップ４において、指示部１３は、距離Ｄcが所定の判定値Ｄ以下であるか否かを判定する。ステップ４で肯定判定された場合、指示部１３は、監視すべき対象物が近接していると判断する。この場合、指示部１３は、出力モードを、第２の出力モードに設定すべき旨の出力モード指示信号Ｓdを出力して（ステップ５）、本ルーチンを抜ける。指示部１３からの指示を受けて、カメラ２，３の出力モードは、現在が第１の出力モードの場合には第２の出力モードに切り替わり、現在が第２の出力モードの場合にはこの出力モードが継続される。また、この指示を受けて、対象物認識部１１は、第２の出力モードベースで、対象物の実空間上の位置を算出する。
【００４２】
これに対して、ステップ４で否定判定された場合、指示部１３は、監視すべき対象物が近接していないと判断する。この場合、指示部１３は、出力モードを第１の出力モードに設定すべき旨の出力モード指示信号Ｓdを出力して（ステップ６）、本ルーチンを抜ける。指示部１３からの指示を受けて、カメラ２，３の出力モードは、現在が第２の出力モードの場合には第１の出力モードに切り替わり、現在が第１の出力モードの場合にはこの出力モードが継続される。また、この指示を受けて、対象物認識部１１は、第１の出力モードベースで、対象物の実空間上の位置を算出する。
【００４３】
以上説明したように、本実施形態の監視装置１によれば、対象物認識部１１によって監視制御が行われるとともに、指示部１３によってこの監視制御に関する画像の出力モードの決定がリアルタイム処理されている。この監視装置１は、先行車との車間距離に応じて、出力モードを切替えることで、より有効に対象物の認識・監視を行うことができる。この出力モードの切替えにより、例えば、監視装置１は、高速道路を走行しているときなどは第１の出力モードに切替えて、画面上方に映る遠方の風景を高密度で正確に認識処理する。これに対して、監視装置１は、渋滞しているときなどは、第２の出力モードに切替えて、画像データを構成する水平ラインを適当に間引くことで、画面の下側に映る直前の障害物など広範囲に認識処理する。その結果、ステレオ画像処理の負荷増大を抑えつつ、監視における死角の発生を抑制し、対象物の遠近に拘わらず、有効な認識を行うことが可能になる。
【００４４】
なお、上述した実施形態は、自車両前方の走行状況を監視する車外監視装置を例に説明したが、本発明は、これに限定されるものではない。本発明は、所定箇所に固定的に配置されて、人間または動物などの動的な侵入者を監視対象とした、侵入者監視装置などにも適用することができる。この侵入者監視装置において、指示部１３は、遠方に侵入者が検出された場合には、第１の出力モードに切替え、近傍に侵入者が検出された場合には、第２の出力モードに切替える。これにより、侵入者監視装置は、第１の出力モードにおいて、遠方に位置する侵入者を精度よく認識するとともに、第２の出力モードにおいて、侵入者の全身を広範囲に認識することで、有効に監視を行うことができる。
【００４５】
また、上述した実施形態において、監視装置１は、認識すべき対象物の距離に応じて、出力モードを切替えている。しかしながら、本発明はこれに限定されるものではなく、指示部１３は、ドライバー（あるいは、オペレータ）の任意の指示、または、一定時間周期ごとに出力モードを切替可能であってもよい。これにより、カメラ２，３の視線を任意に、或いは、一定周期ごとに変えながら、監視を行うことができる。
【００４６】
さらに、１フレームの水平ライン数および設定する監視領域は、本実施形態に限定されるものではなく、様々なバリエーションが考えられる。例えば、第１の出力モードでは、画像幅ｊ＝40〜200に対応する水平ライン160本、第２の出力モードでは、ｊ＝-120〜200に対応する水平ライン160本の画像を有効画像とするなどである。図７に示すように、たとえライン数を減らしても、本実施形態では出力モードを遠景と近景とで切替可能とするため、単一出力モードと比較して、有利に監視を行うことができ、かつ、処理量を減少することができる。ここで、図７（ａ）は、上述した図３に対応しており、図７（ｂ）は、上述した図４に対応する。
【００４７】
また、指示部１３は、車間距離Ｄcのみに応じて出力モードを切替えるものであるが、さらに車速などの車両情報を考慮したうえで、出力モードの切替えを指示してもよい。例えば、指示部１３は、車速センサから自車両の速度を特定し、速度が60km/h以上であるときは判定値Ｄを40ｍ、速度が10〜60km/hであるときは判定値Ｄを20ｍ、速度が10km/h以下であるときは判定値Ｄを6mに切替えるといった如くである。このように自車両の速度を考慮することで、より有効に出力モードの切替えを行うことができる。
【００４８】
【発明の効果】
このように、本発明によれば、認識すべき対象物の距離に応じて、出力モードを変更することができる。これにより、ステレオ画像処理の負荷増大を抑えつつ、監視における死角の発生を抑制し、対象物の遠近に拘わらず、有効な認識を行える。
【図面の簡単な説明】
【図１】本実施形態に係るステレオ式監視装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】第１の出力モードで出力される１フレーム相当の画像を示す説明図
【図４】第２の出力モードで出力される１フレーム相当の画像を示す説明図
【図５】出力モードの設定ルーチンのフローチャート
【図６】対象物認識の手法の一例を示す説明図
【図７】水平ライン群数を減少させた際の画像を示す説明図
【符号の説明】
１ ステレオ式監視装置
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ マイクロコンピュータ
１１ 対象物認識部
１２ 制御部
１３ 指示部
１４ カメラドライバ
１５ カメラドライバ
Claims (6)
- ステレオ式監視装置において、
切替可能な出力モードとして、第１の出力モードと第２の出力モードとを有し、前記第１の出力モードでは、所定の画角に対応すると共に所定の本数の水平ライン群で１フレームが構成されたステレオ画像データを出力し、前記第２の出力モードでは、前記第１の出力モードよりも広い画角に対応すると共に前記第１の出力モードよりも疎な垂直間隔を有する水平ライン群で１フレームが構成されたステレオ画像データを出力するステレオカメラと、
前記ステレオカメラより出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出するステレオ処理部と、
前記ステレオ処理部によって算出された距離データに基づいて、対象物を認識する認識部と、
認識すべき対象物の距離に応じて、前記ステレオカメラに対して、前記出力モードの切替えを指示する指示部とを有することを特徴とするステレオ式監視装置。 - 前記第２の出力モードにおいて出力される画像データは、前記第１の出力モードの水平ライン群によって規定される監視領域を含み、かつ、当該監視領域よりも垂直下方に延在している領域内の画像データであることを特徴とする請求項１に記載されたステレオ式監視装置。
- 前記第２の出力モードにおける水平ライン群の本数は、前記第１の出力モードにおける水平ライン群の本数と同一であることを特徴とする請求項１または２に記載されたステレオ式監視装置。
- ステレオ式監視方法において、
認識すべき対象物の距離が第１の距離の場合、第１の出力モードによって出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出し、当該距離データに基づいて、対象物を認識する第１のステップと、
認識すべき対象物の距離が前記第１の距離よりも近い第２の距離の場合、前記第１の出力モードとは異なる第２の出力モードによって出力されたステレオ画像データに基づいて、ステレオマッチングによって、距離データを算出し、当該距離データに基づいて、対象物を認識する第２のステップとを有し、
前記第１の出力モードは、所定の画角に対応すると共に所定の本数の水平ライン群で１フレームが構成されたステレオ画像データを出力する出力モードであり、
前記第２の出力モードは、前記第１の出力モードよりも広い画角に対応すると共に前記第１の出力モードよりも疎な垂直間隔を有する水平ライン群で１フレームが構成されたステレオ画像データを出力する出力モードであることを特徴とするステレオ式監視方法。 - 前記第２の出力モードにおいて出力される画像データは、前記第１の出力モードの水平ライン群によって規定される監視領域を含み、かつ、当該監視領域よりも垂直下方に延在している領域内の画像データであることを特徴とする請求項４に記載されたステレオ式監視方法。
- 前記第２の出力モードにおける水平ライン群の本数は、前記第１の出力モードにおける水平ライン群の本数と同一であることを特徴とする請求項４または５に記載されたステレオ式監視方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002108356A JP3965067B2 (ja) | 2002-04-10 | 2002-04-10 | ステレオ式監視装置およびステレオ式監視方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002108356A JP3965067B2 (ja) | 2002-04-10 | 2002-04-10 | ステレオ式監視装置およびステレオ式監視方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003304528A JP2003304528A (ja) | 2003-10-24 |
| JP2003304528A5 JP2003304528A5 (ja) | 2005-09-22 |
| JP3965067B2 true JP3965067B2 (ja) | 2007-08-22 |
Family
ID=29392160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002108356A Expired - Fee Related JP3965067B2 (ja) | 2002-04-10 | 2002-04-10 | ステレオ式監視装置およびステレオ式監視方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965067B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100727033B1 (ko) | 2005-12-07 | 2007-06-12 | 한국전자통신연구원 | 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템 |
| JP5172314B2 (ja) * | 2007-12-14 | 2013-03-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| JP6082556B2 (ja) * | 2012-09-28 | 2017-02-15 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| JP6355161B2 (ja) * | 2014-08-06 | 2018-07-11 | オムロンオートモーティブエレクトロニクス株式会社 | 車両用撮像装置 |
-
2002
- 2002-04-10 JP JP2002108356A patent/JP3965067B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003304528A (ja) | 2003-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4956452B2 (ja) | 車両用環境認識装置 | |
| JP4876080B2 (ja) | 環境認識装置 | |
| US6734787B2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
| JP4803927B2 (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP6606369B2 (ja) | 物体検出装置及び物体検出方法 | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| JP5188430B2 (ja) | 画像処理装置 | |
| JP5371725B2 (ja) | 物体検出装置 | |
| JP4893212B2 (ja) | 周辺監視装置 | |
| JP4901275B2 (ja) | 走行誘導障害物検出装置および車両用制御装置 | |
| JP2003259361A (ja) | 車両用画像処理装置 | |
| JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| JP2008158640A (ja) | 移動物体検出装置 | |
| US9813694B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method | |
| JP4721278B2 (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
| JP2004173195A (ja) | 車両監視装置および車両監視方法 | |
| JP2004013400A (ja) | 対象物認識装置および対象物認識方法 | |
| JP5411671B2 (ja) | 物体検出装置および運転支援システム | |
| JP3965067B2 (ja) | ステレオ式監視装置およびステレオ式監視方法 | |
| JP6899673B2 (ja) | 物体距離検出装置 | |
| WO2020213386A1 (ja) | 物体位置検出装置、走行制御システム、および走行制御方法 | |
| JP4150218B2 (ja) | 地形認識装置および地形認識方法 | |
| JP3084208B2 (ja) | 画像処理装置 | |
| JP2006038578A (ja) | 物体検出装置 | |
| JP6891082B2 (ja) | 物体距離検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050407 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050407 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3965067 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |