WO2002104032A1 - Processeur d'images peripheriques pour vehicule et support d'enregistrement - Google Patents

Description

明細書 車両周辺画像処理装置及び記録媒体 技術分野

本発明は、 例えば車両の後方を撮影してモニタに表示できる車両周辺 画像処理装置及び記録媒体に関するものである。 背景技術

従来より、 車両の後方の様子を表示する装置として、 車両の後部に取 り付けたカメラの画像を、 そのままモニタに出力する表示装置が知られ ている。 この表示装置では、 車両後方の状態が有る程度分かるが、 自車 両とモニタに表示されている対象物 （例えば駐車枠） の画像の相対位置 関係が分かりに難いという問題がある。

また、 これとは別に、 特開平 1 0— 2 1 1 8 4 9号公報には、 後方力 メラで撮影した画像 （後方カメラ画像） を鳥瞰図に変換し、 自車両をそ の中に表示するという技術が提案されている。 この技術の場合には、 鳥 瞰図の中に自車両を示すので、 画像に表示された対象物と自車両の位置 関係は、 撮影した画像をそのままモニタに表示するものより分かり易く なっているが、 カメラの現在の視野の外にあるものは表示できないとい う別の問題があった。

よって、 例えば車両を後退させて駐車枠に入れるような場合には、 力 メラの視野外に出た駐車枠を表示できないので、 依然として、 車両を駐 車枠に入れる操作が容易ではないという問題があった。

本発明は、 前記課題を解決するためになされたものであり、 例えば力 メラの視野の外に出た部分を推定して描画することができる車両周辺 画像処理装置及び記録媒体を提供することを第 1の目的とする。 さらに、 本発明は、 例えばカメラの視野の外に出た部分を推定して描画すること ができるとともに、 その演算処理の負担を軽減することができる車両周 辺画像処理装置及び記録媒体を提供することを第 2の目的とする。 発明の開示

上記第 1の目的を達成するために、 第 1の発明は、 車両周辺の画像を撮 影する撮影手段 (例えばカメラ) と、 画像を表示する表示手段 （例えば モニタ） とを備えた車両に対して、 撮影手段により撮影された画像を処 理して表示手段に表示する車両周辺画像処理装置において、 撮影手段に より撮影した画像を、 撮影手段を視点として投影した地上面座標系のデ ータに変換して鳥瞰図画像を生成する。 これにより、 画像は、 例えば力 メラで撮影したままの歪んだ画像ではなく、 地面の上方より見たような 見やすい鳥瞰図画像となる。 次に、 この様,にして生成した第 1鳥瞰図画 像と、 それより後に生成した第 2鳥瞰図画像とを比較し、 その一致領域 と不一致領域とを判別する。 そして、 この判別により得られた不一致領 域を、 第 2鳥瞰図画像に加味して合成画像を作成し、 この合成画像を、 表示手段に表示できるように処理して、 表示手段に表示する。

つまり、 車両が移動するにつれて、 例えばカメラの視野が変化するの で、 当然、 （撮影レた時間が異なる） 第 1鳥瞰図画像と第 2鳥瞰図画像 では、 画像のずれである不一致領域 （第 1鳥瞰図画像では表示されてい るが、 第 2鳥瞰図画像では消えている部分） が生ずる。

そこで、 本発明では、 第 1鳥瞰図画像と第 2鳥瞰図画像の画像のずれ を検出し、 第 2鳥瞰図画像にそのずれの部分 （過去に表示されていた部 分） の画像を加味することにより、 車両の周囲の状況をより明確に把握 することができる。 この様に、 本発明では、 例えばカメラの現在の視野 から外れた領域を表示できるので、 例えばバックで駐車する場合に、 そ の操作が極めて容易になるという効果を奏する。

撮影手段により撮影される画像は、 例えば車両後部配置されたカメラ により撮影された車両の後方の画像とすることができる。 従って、 例え ば車両をバックで駐車枠に入れる場合には、 駐車枠と車両との位置関係 がよく分かるので、 容易に駐車ができるという効果がある。 また、 撮影 手段により、 車両の側方も撮影できる場合には、 バックで幅寄せする際 に、 側方の状況がよく分かるので、 容易に幅寄せを行うことができる。 更に、 撮影手段により撮影される画像としては、 車両の後方以外に、 車 両の前方が挙げられる。 この場合、 車両の側方も撮影できる場合には、 前進で幅寄せする際に、 側方の状況がよく分かるので、 容易に幅寄せを 行うことができる。

鳥瞰図画像生成手段は、 車線 （例えば駐車枠） を示す画像を抽出して 鳥瞰図画像を生成してもよい。つまり、鳥瞰図画像を生成する場合には、 撮影した画像全体を鳥瞰図画像に変換してもよいが、 （例えば白線で示 される） 車線だけを例えば 2値化処理することにより抽出して表示して もよい。 この場合には、 車線だけを処理すれば良いので、 画像処理の負 担が軽減されるという効果がある。 また、 例えば車両を車線で囲まれた 駐車枠に入れる場合には、 駐車枠の位置だけを認識できればよく、 他の 画像があるとかえつて見づらいという点もあるので、 車線だけを抽出し た方が、 車両の操作が容易になるという利点がある。

第 1鳥瞰図画像と第 2鳥瞰図画像とは、 時間的に連続した鳥瞰図画像 とすることができる。 この場合、 第 1鳥瞰図画像と第 2鳥瞰図画像との 画像のずれは僅かであるので、 一致領域及び不一致領域の検出が容易で ある。 また、 第 2鳥瞰図画像に不一致領域を加味する場合でも、 画像間 のつながりに違和感がなく好適である。

表示処理手段は、 合成画像の画像データを、 表示手段に表示するため の座標変換を行うことが好ましい。 つまり、 鳥瞰図画像を例えばモニタ に表示するためには、 そのサイズの調節などが必要であるので、 モニタ に好適に表示できる様に必要な処理を行う。

合成画像と、 それより後に撮影されて生成された第 3鳥瞰図画像とを 比較して不一致領域を判別し、 この不一致領域を前記合成画像に加味し て新たな合成画像を生成することができる。 これにより、 移動後の鳥瞰 図画像を適宜加味することにより、 連続的に画像を合成することができ. それによつて、 車両の周囲の状況をより明確に把握することができる。 次に、 上記第 2の目的を達成するために、 第 2の発明は、 車両周辺の 画像を撮影する撮影手段 （例えばカメラ） と、 画像を表示する表示手段 (例えばモニタ） とを備えた車両に対して、 撮影手段により撮影された 画像を処理して表示手段に表示する車両周辺画像処理装置において、 撮 影手段により撮影した画像を、 例えば撮影手段を視点として投影した地 上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成す る。 即ち、 第 1鳥瞰図画像及びそれより後の画像である第 2鳥瞰図画像 等の画像データを作成する。 これにより、 画像は、 例えばカメラで撮影 したままの歪んだ画像ではなく、 地面の上方より見たような見やすい鳥 瞰図画像となる。

更に、 本発明では、 車両の動き量 （移動量） を、 車両から得られる車 両信号 （例えば車速信号ゃョーレイ ト信号） に基づいて検出する。 この 検出した車両の動き量は、 第 1鳥瞰図画像の動き量に対応しているので- 車両の動き量に応じて第 1鳥瞰図画像を移動させて移動後鳥瞰図画像 の画像データを作成する。

そして、 （第 1鳥瞰図画像より） 新しい第 2鳥瞰図画像の画像データ と、 移動後鳥瞰図画像の画像データとを合成して、 表示手段に表示する 合成鳥瞰図画像の画像データを作成する。 つまり、 車両が移動するにつ れて、 例えばカメラの視野が変化するので、 当然、 撮影した時間が異な る第 1鳥瞰図画像と第 2鳥瞰図画像では、 画像のずれ （撮影された部分 の違い） が発生する。 そこで、 本発明では、 第 2鳥瞰図画像に、 そのず れの部分 （即ち過去に視野内であつたが現在視野から消えている部分） の移動後鳥瞰図画像を適宜加味することにより、 モニタ等にカメラの視 野から消えた部分を表示でき、 それによつて、 車両の周囲の状況をより 明確に把握することができる。 この様に、 本発明では、 例えばカメラの 現在の視野から外れた領域を表示できるので、 例えばバックで駐車する 場合に、 その操作が極めて容易になるという効果を奏する。

特に、 本発明では、 画像の時間的変化から車両の動きを算出して移動 後鳥瞰図画像を作成するのではなく、 車両信号を用いて移動後鳥瞰図画 像を作成するので、 画像処理のための演算等を簡易化できるという利点 がある。 よって、 マイクロコンピュータ等の負担が軽減するので、 全体 として処理速度を高めることができる。 また、 演算処理能力の低いマイ ク口コンピュータでも処理が可能になるので、 コス トダウンにも寄与す る。

合成鳥瞰図画像は、 第 2鳥瞰図画像を表示する表示領域以外に、 移動 後鳥瞰図画像を加入した画像とすることができる。 これは、 合成鳥瞰図 画像の形成方法の一例であるが、 これにより、 車両の周囲の画像を連続 して表示することができる。 つまり、 上述した様に、 例えばカメラによ り現在撮影されている画像は、 第 2鳥瞰図画像としてモニタに表示可能 であるので、 それ以前のモニタから消えてしまう画像を、 移動後鳥瞰図 画像として第 2鳥瞰図画像の表示領域以外に加えることにより、 カメラ の視野から消えた過去の周囲の状況をもモニタに表示することができ る。

合成鳥瞰図画像に用いる第 2鳥瞰図画像として、 最新の鳥瞰図画像を 用いることができる。 第 2鳥瞰図画像として、 新たにカメラ等にて撮影 された最新の鳥瞰図画像を用いると、 車両の周辺の状況をより的確に把 握することができる。

メモリ Aに、 鳥瞰図画像作成手段により作成された鳥瞰図画像を記憶 し、 メモリ Bに、 合成鳥瞰図画像作成手段により作成された合成鳥瞰図 画像を記憶するように構成しても良い。 これは、 各鳥瞰図画像を記憶す るメモリを例示したものである。 そして、 メモリ Bに記憶された合成鳥 瞰図画像を、 表示手段に表示することが好ましい。 これにより、 合成鳥 瞰図画像をモニタ等に表示することができる。 上述した第 1及び第 2の発明において、 表示手段に合成画像を表示す る場合には、 自車両を示す画像を加えて表示しても良い。 このように、 車両の周囲の状況を示す合成画像に自車両を示す画像を加えて表示す ることにより、 自車両と例えば駐車枠との位置関係が明瞭となるので、 車両の操作が容易になる。 尚、 例えばカメラは車両の所定位置に固定さ れているので、 例えばモニタの画面における自車両の位置は常に一定で ある。 従って、 モニタの画面の決まった位置に自車両を表示することが でき、 更には、 モニタの画面上に予めプリント等により車両を記載して もよい。 また、 カメラの視野角も通常は一定であるので、 自車両だけで なく、 モエタの画面に、 カメラの視野角 （左右の範囲） も表示してもよ い。

上述した車両周辺画像処理装置による処理を実行させる手段を、 プロ グラムとして記録媒体に記憶させることができる。 例えば記録媒体とし ては、 マイクロコンピュータとして構成される電子制御装置、 マイクロ チップ、 フロッピィディスク、 ハードディスク、 光ディスク等の各種の 記録媒体が挙げられる。 図面の簡単な説明

図 1は、 実施例 1の車両周辺画像処理装置の主要構成を示す説明図で ある。 図 2は、 実施例 1の車両周辺画像処理装置の電気的構成を示す説 明図である。 図 3は、 実施例 1の車両周辺画像処理装置による処理の手 順を示す説明図である。 図 4は、 実施例 1の車両周辺画像処理装置によ る座標変換の際の位置関係を示す説明図である。 図 5は、 実施例 1の車 両周辺画像処理装置による処理の手順を示す説明図である。 図 6は、 実 施例 1の車両周辺画像処理装置の画像の移動量を求めるための手順を 示す説明図である。 図 7は、 実施例 1の車両周辺画像処理装置の処理を 示すフローチャートである。 図 8は、 実施例 2の車両周辺画像処理装置 の処理を示すフローチャートである。 図 9は、 実施例 3の車両周辺画像 処理装置の主要構成を示す説明図である。 図 1 0は、 実施例 3の車両周 辺画像処理装置の電気的構成を示す説明図である。 図 1 1は、 実施例 3 の車両周辺画像処理装置により用いられる画像を示し、 （a ) はカメラ により撮影された画像の説明図、 （b ) は鳥瞰図画像を示す説明図であ る。 図 1 2は、 実施例 3の車両周辺画像処理装置による座標変換の際の 位置関係を示す説明図である。 図 1 3は、 実施例 3の車両周辺画像処理 装置の処理を示すフローチヤ一トである。 図 1 4は、 実施例 3の車両周 辺画像処理装置による画像作成の手順を示す説明図である。 図 1 5は、 実施例 3の車両周辺画像処理装置により表示されるモニタ画像を示す 説明図である。

- 発明を実施するための最良の形態

以下に、 本発明の車両周辺画像処理装置及ぴ記録媒体の実施の形態の 例 （実施例） を説明する。

(実施例 1 )

本実施例の基本的なシステム構成を図 1及び図 2を用いて説明する。 図 1に示す様に、 本実施例の車両周辺画像処理装置は、 自動車の後部 に配置されたカメラ （例えば C C Dカメラ） 1 と、 ダッシュボードに配 置された車載モニタ （例えば液晶ディスプレイ） 3と、 画像処理を行う 画像処理ュニッ ト 5を備えている。

前記画像処理ユニット 5は、 図 2に示す様に、 マイクロコンピュータ を主要部とする画像データの処理を行う電子装置であり、 機能的に、 力 メラ 1で撮影した画像データの座標変換を行って鳥瞰図画像を生成す る座標変換部 1 1と、 時間的に連続した 2つの鳥瞰図画像を取り込んで その比較を行うマッチング部 1 3と、 その 2つの鳥瞰図画像の不一致部 分からカメラ 1の視野から外れた領域を推定する領域推定部 1 5と、 モ ニタ 3に表示する画像を描画する描画部 1 7とを備えている。 尚、 画像 処理ュニッ ト 5は、 カメラ 1と一体の構造となっていてもよい。 次に、 本実施例における画像処理の手順等を、 図 3〜図 5に基づいて 説明する。 ここでは、 車両を後退 （バック） させて駐車枠内に入れる場 合を例に挙げる。

まず、 カメラ 1から出力される画像 （出力画像） を、 図 3 ( a ) 左図 に示す。 この画像は、 車両の後部の上部に配置されたカメラ 1により、 地上に描かれた駐車枠及ぴその周囲を撮影した画像であるので、 自車両 (従ってカメラ 1 ) と駐車枠の各線の位置との距離などに応じて、 本来 矩形である駐車枠が歪んで表示されている。

次に、 図 3 ( a ) 左図の画像を、 後に詳述する様に、 座標変換して鳥 瞰図画像を生成し、 更に、 その鳥瞰図画像に、 自車両の位置やカメラ 1 の視野角の画像を加入して合成し、 その合成画像を、 図 3 ( a ) 右図に 示す様に、 モユタ 5の画面に表示する。 つまり、 カメラ 1の取り付け高 さや、 取り付け角度、 視野角は既知であるため、 カメラ 1の出力画像を 座標変換部 1 1にて座標変換 （周知の鳥瞰図変換） し、 図 3 ( a ) 右図 に示す様な鳥瞰図画像とする。

このカメラ 1で撮影した画像を鳥瞰図画像に変換してモニタ 5に表 示する処理は、 以下に説明する様に、 従来技術 （例えば特開平 1 0— 2 1 1 8 4 9号公報） を利用できる。 ここでは、 通常の透視変換の逆の処 理を行うことにより、 地上平面における画像 （例えば駐車枠） の位置を 鳥瞰図として求める。 具体的には、 図 4に示す様に、 地上の画像の位置 データをカメラ位置 Rからの焦点距離 f にあるスク リーン平面 Tに投 影するときの透視変換を実行する。

詳しくは、 カメラ 1は、 Z軸上の点 R ( 0， 0 , H ) に位置し、 見下 ろし角 τで地上面（X y座標面）における画像をモニタしているとする。 従って、 ここでは、 下記式 （1 ) に示す様にして、 スクリーン平面 T上 の 2次元座標 （α、 6) を、 地上面上の座標 （鳥瞰図座標） に変換 （逆の 透視変換） できる。 -x- 「H ■ / (一 jS cos τ + f s i π τ ) -,

• ■ (Ί )

Ly」 -H ■ (j8 sinr + f cos τ) / (一 jScosT+ f sinて） - つまり、 上記式 （1 ) を用いることにより、 投影画像データを （鳥瞰 図画像を示す） モニタ 5の画面に対応した画像データに変換してモニタ 表示することができる。

次に、 車両がバックして駐車枠に近づく と、 図 3 (b) 左図及び図 3 ( c ) 左図に示す様に、 車両に近い部分は、 カメラ 1の視野から徐々に 外れてしまうが、 このとき、 マッチング部 1 3にて、 時間的に連続した 2つの鳥瞰図画像を取り込んで比較を行う。

例えば図 5 ( a )、 図 5 ( b ) に連続した （画像 Aから画像 Bに変化 した） 鳥瞰図画像を示すが、 後述する様にして、 画像 Aと画像 Bのマツ チングを取ることにより、 2つの画像で完全に一致する領域（一致領域） を抽出することができる。 尚、 画像 Bは、 画像 Aより車両が駐車枠に近 づいている画像であるので、駐車枠の一部が力ットされている。 よって、 領域推定部 1 5では、 画像が一致しない領域 （不一致領域） のうち、 力 メラ 1側の V字状の領域を、 車両の移動により画像が移動した領域 （移 動領域） であると推定する。 そして、 画像 Bに、 画像 Aのうちの移動領 域を合成することにより、 図 5 ( c ) に示す様に、 カメラ 1の視野外の 車両枠 （合成領域） をも表示した合成画像を作成することができる。 ここで、 画像 Aと画像 Bのマッチングの手法を説明するが、 画像処理 における従来の各種の手法を採用できる。例えば画像 A、 Bの所定の（マ ツチング用の） 領域を、 図 6に示す様に、 複数の細かい領域 （ピクセル） に分割し、 各画像 A、 Bのピクセルの一致する程度が最も高いものを検 出し、一致するピクセルの位置関係から、画像 Aと画像 Bの位置関係（即 ち画像 Aがどれだけ移動したか） を求めることができる。

具体的には、 図 6に示す様に、 各ピクセルにおける例えば図形の明る さ （色彩でもよい） の程度を数字で示す場合を考えると、 ここでは、 画 像 Aの下 3列のピクセルの明るさと、 画像 Bの上 3列のピクセルの明る さとが一致する。 従って、 この場合には、 画像 Aは、 1列のピクセルの 幅だけ図の上下方向に移動して、 画像 Bと一致すると見なすことができ る。 この場合は、 車両が図の下方に移動したことにより、 画像 Bの図形 が上方に移動したように見える。

つまり、 画像 Aと画像 Bとを比較する場合には、 両画像を細かい領域 に区分し、 その分割した細かい領域のうち多くの領域で一致する場合 (一致の程度が高い場合） には、 一致する部分が同じ画像であると見な すものである。 従って、 画像 Aと画像 Bにおいて、 一致する部分がずれ ている場合には、 画像が移動することによりずれたと見なすことができ、 その移動量や移動方向も求めることができる。 尚、 同様に、 左右方向及 び斜め方向の移動量も求めることができる。

次に、 この合成画像をモユタ 3に表示する場合には、 図 3 ( b ) 右図 及び図 3 ( c ) 右図に示す様に、 描画部 1 7により、 上述した合成画像 を描画するとともに、 車両の位置とカメラ 1の視野角の画像も合成して 描画する。 この場合、 カメラ 1は車両に固定されて一定であるので、 モ ユタ 3の画面の同じ位置 （例えば表示画面中央の上部） に表示すればよ い。

次に、 前記画像処理ユニット 5等にて行われる処理を、 図 7のフロー チャートに基づいて説明する。

図 7に示す様に、 まず、 ステップ 1 0 0にて、 シフ ト位置がバックで あるか否かを判定する。 ここで肯定判断されるとステップ 1 1 0に進み、 一方否定判断されるとステップ 1 7 0に進む。 尚、 シフ ト位置は、 シフ ト位置検出センサ （図示せず） からの信号や、 他の電子制御装置からの 信号により検出することができる。

ステップ 1 7 0では、 以前に描画したカメラの視野外の領域の画像を 消去し、 即ち、 現在のカメラの画像 （鳥瞰図画像） のみを表示し、 前記 ステップ 1 0 0に戻る。 —方、 ステップ 1 1 0では、 カメラ 1で撮影した画像の座標変換 （前 記鳥瞰図変換）を行って、鳥瞰図画像を得る。続くステップ 1 2 0では、 連続した 2つの鳥瞰図画像の中で、 一致する領域を抽出する。 例えば図 5の画像 Aと画像 Bとから、 一致する領域を抽出する。 続くステップ 1 3 0では、 現在のカメラ 1の視野から外れる移動領域を抽出する。

続くステップ 1 4 0では、 後に画面 Aの移動領域を画面 Bのカメラ視 野の外に描画するのであるが、 描画する前に、 既に画面 Bに描画されて いる部分を移動領域だけ （画面 Bの下方に） ずらせることにより、 描画 領域を確保する。

続くステップ 1 5 0では、 例えば図 5 ( c ) に示す様に、 前記ステツ プ 1 3 0にて確保した描画領域に移動領域の画像を描画する （合成画像 を作成する）。 続くステップ 1 6 0では、 例えば図 3 ( c ) 右図に示す 様に、 自車両及び視野角を示す V字状の線の描画を行い、 ー且本処理を 終了する。

なお、 すでに合成画像が作成され記憶されている場合は、 その合成画 像と最新の鳥瞰図画像とを比較して不一致領域を判別し、 この不一致領 域を記憶されている合成画像に加味して新たな合成画像を生成するこ とが好ましい。 これにより、 移動後の鳥瞰図画像を適宜加味することに より、 連続的に画像を合成することができ、 それによつて、 車両の周囲 の状況をより明確に把握することができる。

この様に、 本実施例では、 カメラで撮影した画像を鳥瞰図画像に変換 するとともに、 時間的に連続した鳥瞰図画像の一致領域を抽出して、 そ の両鳥瞰図画像のずれ部分である移動領域を検出する。 そして、 現在の 画像を示す鳥瞰図画像に移動領域を合成して合成画像を作成するとと もに、 合成画像をモニタ 5の画面に表示する場合には、 自車両及び視野 角の画像を加えている。 つまり、 本実施例では、 車両が移動する際に力 メラ視野から外れた領域を推定し、 合成することによって、 通常はカメ ラ視野外となる表示できない部分も含めて表示することができるので、 自車両と駐車枠との位置関係が明瞭に把握できる。 そのため、 バックで 駐車する操作などが、 極めて容易になるという顕著な効果を奏する。

(実施例 2 )

次に、 実施例 2について説明するが、 前記実施例 1と同様な箇所の説 明は省略する。 本実施例は、 駐車枠や車止めのみを抽出して描画し、 そ の背景の画像は省略するものである。

図 8のフローチャートに示す様に、 まず、 ステップ 2 0 0にて、 シフ ト位置がバックであるか否かを判定する。 ここで肯定判断されるとステ ップ 2 1 0に進み、 一方否定判断されるとステップ 2 8 0に進む。

ステップ 2 8 0では、 以前に描画したカメラの視野外の領域の画像を 消去する。 一方、 ステップ 2 1 0では、 カメラで撮影した画像から、 駐 車枠及び車止めの画像を、 2値化処理により抽出する。 尚、 ここでは、 駐車枠及ぴ車止めは、 白色で塗られており、 アスファルトの黒色の地面 から容易に分離可能だとする。

続くステップ 2 2 0では、 2値化処理した画像を鳥瞰図変換して、 駐 車枠及び車止めの鳥瞰図画像を生成する。 ここでは、 背景は、 単一の色 彩とする。続くステップ 2 3 0では、連続した 2つの鳥瞰図画像の中で、 —致する領域を抽出する。 続くステップ 2 4 0では、 現在のカメラ 1の 視野から外れる移動領域を抽出する。

続くステップ 2 5 0では、 描画する前に、 既に画面 Bに描画されてい る部分を移動領域だけ （画面 Bの下方に） ずらせることにより、 描画領 域を確保する。 続くステップ 2 6 0では、 前記ステップ 2 5 0にて確保 した描画領域に移動領域の画像を描画する （合成画像を作成する）。 続 くステップ 2 7 0では、 自車両及び視野角を示す V字状の線の描画を行 い、 一旦本処理を終了する。

本実施例においても、 前記実施例 1と同様な効果を奏するが、 特に本 実施例では、 撮影した画像全体を鳥瞰図変換して表示するのではなく、 自車両や視野角以外に、 例えば駐車枠や車止めのみの様に、 運転に必要 なもののみを表示するようにしている。 これにより、 画像処理の負担が 軽減されるとともに、 モニタ 3における画像表示も見やすくなって、 車 両の操作が容易になるという利点がある。

(実施例 3 )

次に実施例 3について説明する。 まず、 本実施例の基本的なシステム 構成を図 9及び図 1 0を用いて説明する。

図 9に示す様に、 本実施例の車両周辺画像処理装置は、 自動車の後部 に配置されたカメラ （例えば C C Dカメラ） 2 1と、 ダッシュボードに 配置された車載モニタ （例えば液晶ディスプレイ） 2 3と、 車速を検出 する車速センサ 2 5と、 ョーレイ トを検出するョーレイ トセンサ 2 7と、 画像処理を行う画像処理ュ-ッ ト 2 9を備えている。

画像処理ュ-ット 2 9は、 図 1 0に示す様に、 マイクロコンピュータ を主要部とする画像データの処理を行う電子装置であり、 カメラ 2 1で 撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変 換部 （鳥瞰図変換回路） 3 1 と、 作成された鳥瞰図画像の画像データを 一時的に蓄える画像メモリ Aと、 車速信号を入力する車速信号入力回路 3 3と、 ョーレイ ト信号を入力するョーレイ ト信号入力回路 3 5と、 車 速信号及ぴョーレイ ト信号を読み込んで鳥瞰図画像を移動 （例えば回転 移動） させる等の演算を行う C P U 3 7と、 モニタ 2 3に表示する鳥瞰 図画像のデータを記憶する画像メモリ Bとを備えている。

ここで、 画像メモリ Bに記憶する鳥瞰図画像の画像データとは、 後述 する様に、 前回 (例えば時刻丁に) カメラ 2 1にて撮影され、 その画像 データに基づいて作成された鳥瞰図画像 （第 1鳥瞰図画像） を移動させ た鳥瞰図画像 （移動後鳥瞰図画像） と、 新たに （例えば時刻 T + 1に） カメラ 2 1にて撮影され、 その画像データに基づいて作成された鳥瞰図 画像 （第 2鳥瞰図画像） とを合成した鳥瞰図画像 （合成鳥瞰図画像） の 画像データである。 尚、 画像処理ュエツト 2 9は、 カメラ 2 1 と一体の 構造となっていてもよく、 画像処理ュニット 2 9内の各構成は、 一部又 は全体で一体化して L S Iで構成してもよい。

次に、 本実施例における画像処理の手順等を、 図 1 1及び図 1 2に基 づいて説明する。 ここでは、 車両を後退 （バック） させて駐車枠内に入 れる場合を例に挙げる。

最初に、 カメラ 2 1から入力された画像を、 座標変換部 3 1で上空か ら見た鳥瞰図画像に変換し、 画像メモリ Aに保存する手順を説明する。 カメラ 2 1から出力される原画像 （出力画像） を、 図 1 1 (a ) に示す。 この原画像は、 車両の後部の上部に配置されたカメラ 2 1により、 地上 に描かれた駐車枠及びその周囲を撮影した画像であるので、 自車両 （従 つてカメラ 2 1 ) と駐車枠の各線の位置との距離などに応じて、 本来矩 形である駐車枠が歪んで表示されている。

よって、 実施例 1にて説明したと同様の手法により、 原画像の画像デ ータを座標変換して、 図 1 1 (b ) に示す様な歪みのない鳥瞰図画像を 作成し、 この鳥瞰図画像の画像データを画像メモリ Aに記憶する。

次に、 車速信号とョーレイ ト信号を用い、 車両の動き量 （移動量） に 応じて、 前記画像メモリ Aに記憶した鳥瞰図画像を移動 （例えば回転移 動） させる手順を説明する。 ここでは、 図 1 2に時刻 Tの車両位置を示 すが、 時刻 T+ 1になるまでの車両の移動距離は L、 時刻 T+ 1になる までに車両が動いた角度は Θ 1 (=回転中心における回転角度 ΘΟ と する。

まず、 カメラ 2 1のサンプリング時間が 1 0 0[m s ]の場合、 車速信 号から得られる車速 S[k m/h]を用いて、 下記式 （2 ) から、 車両が 移動した距離 L[m]を算出できる。

L[m]= S [k m/h]x 1 0 0 0 [m/ k m]÷3 6 0 0 [S/h]

x 1 0 0 [m s ]÷1 0 0 0 [m s / s ] · - - ( 2)

また、 図 1 2に示す図形の関係があるので、 ョーレイ ト信号から得ら れるョ一レイ ト ΘΟ〖度 / s ]を用いて、 下記式 （3 ) から、 車両が動い た角度 Θ 1を算出できる。 θ 1 [度 θ 0 [度 Z s ]x 1 00 [m s ]÷ 1 0 0 0 [m s / s ]■ · ( 3 ) 更に、 ここでは、 車両の回転中心は後輪車軸の延長線上にあるとして いるので、 その回転中心は、 カメラ位置を原点として算出し、 車両の進 行方向を Y、 これに垂直な方向を Xとすると、 X方向の回転中心位置 X C[m〗は、 下記式 （4) から算出できる。

X C[m]= L[m]÷T AN (θ 1 ) . - (4)

一方、 Υ方向の中心位置は、 後輪車軸上であるので、 カメラ 2 1 と後 輪車軸までの距離は YC[c m]である。 また、 回転中心における回転角 度 6Cは、 図 1 2に示す図形の関係から、 車両が動いた角度 Θ1に一致 する。

次に、 上述した様にして求めた回転中心位置 （XC、 YC)、 回転角 度 ecを用いて、 下記の様にして、 鳥瞰図画像を移動する。

画像メモリ Aに記憶された鳥瞰図画像の画像データは、 一旦、 画像メ モリ Bにも記憶される。 従って、 ここでは、 画像メモリ Bに記憶された 鳥瞰図画像の画像データを、 C PU 3 7の内部メモリに転送し、 前記回 転中心位置 （xc、 YC) 及び回転角度 ecを用いて、 鳥瞰図画像を回 転移動する。

この回転移動を行うための変換式を、 下記式 （5) に示すが、 この変 換式を用いた C PU 3 7の内部処理により、 回転角度 Θにて移動させた 移動後の座標 （XB、 YB) に対して、 移動前の対応する点 （XA、 Y A) を算出し、 （XA、 Y A) の画素値を （XB、 YB) のア ドレスメ モリに保存する。 · · ■ ( 5 )

但し、 （XA、 YB) :移動前の座標

(XB、 YB) ：移動後の座標

Θ ： 回転角度

そして、 全ての座標についてこれらの演算を行うことにより、 画像メ モリ Aに記憶された鳥瞰図画像（時刻 Tにおける第 1鳥瞰図画像）から、 移動後の鳥瞰図画像 （時刻 Tにおける移動後鳥瞰図画像） を作成する。 それとともに、 新たにカメラ 2 1により撮影した画像に基づいて作成し た鳥瞰図画像、 即ち、 現在の鳥瞰図画像 （時刻 T + 1における第 2鳥瞰 図画像） を、 新たに画像メモリ Aより C P U 3 7に転送する。

よって、 C P U 3 7では、 第 2鳥瞰図画像を時刻 Tと位置関係が対応 する位置 （移動後鳥瞰図画像との画像のずれが生じない位置） に書き込 み、 それによつて、 移動後鳥瞰図画像と第 2鳥瞰図画像とを合成した合 成鳥瞰図画像の画像データを作成し、 その画像データを画像メモリ Bに 記憶する。

尚、 合成鳥瞰図画像を作成する際には、 自車両の位置やカメラ 2 1の 視野角の画像なども加入して画像メモリ Bに記憶し、 その合成鳥瞰図画 像をモニタ 2 3の画面に表示してもよいが、 自車両の位置やカメラ 2 1 の視野角の画像などは画像メモリ Bに記憶せずに、 モニタ 2 3に画像メ モリ Bに記憶した合成鳥瞰図画像を描画する際に、 自車両の位置やカメ ラ 2 1の視野角の画像など加えて描画してもよい。

次に、 画像処理ュニッ ト 2 9等にて行われる処理を、 図 1 3のフロー チヤ一トに基づいて説明する。

図 1 3に示す様に、 まず、 ステップ 3 0 0にて、 シフ ト位置がバック であるか否かを判定する。 ここで肯定判断されるとステップ 3 1 0に進 み、 一方否定判断されるとステップ 3 9 0に進む。 尚、 シフト位置は、 シフト位置検出センサ （図示せず） からの信号や、 他の電子制御装置か らの信号により検出することができる。

ステップ 3 9 0では、 以前に描画したカメラ 2 1の視野外の領域の画 像を消去し、 即ち、 現在のカメラ 2 1の画像 （鳥瞰図画像） のみを表示 し、 前記ステップ 3 0 0に戻る。 一方、 ステップ 3 1 0では、 カメラ 2 1で撮影した画像の座標変換 （前記鳥瞰図変換） を行って、 鳥瞰図画像 を作成する。 続くステップ 3 2 0では、 前記鳥瞰図画像を画像メモリ Aに記憶する _c 尚、 このときには、 画像メモリ Bにも同様な鳥瞰図画像を記憶する。 続 くステップ 3 3 0では、 車速信号及びョーレイ ト信号に基づいて、 移動 距離 L及ぴ回転角度 6 Cで示される車両の動き量 （移動量） を求める。 続くステップ 3 4 0では、 車両の移動量に基づいて、 前記画像メモリ Bに記憶されている鳥瞰図画像 （時刻 Tの第 1鳥瞰図画像） を移動させ て、 移動後の鳥瞰図画像 （時刻 Tの移動後鳥瞰図画像） を求める。

続くステップ 3 5 0では、 新たに撮影されて画像メモリ Aに記憶され た (時刻 T + 1における) 第 2鳥瞰図画像を、 画像メモリ Aから読み込 む。 続くステップ 3 6 0では、 移動後鳥瞰図画像と第 2鳥瞰図画像とを 合成して合成鳥瞰図画像を作成する。 具体的には、 図 1 4に示す様に、 新たな （第 2鳥瞰図画像に対応する） カメラ視野の外に、 今回の車両の 移動によりカメラ視野外となった部分、 即ち、 第 1鳥瞰図画像を車両の 移動量に対応して移動させて形成した移動後鳥瞰図画像の一部 （詳しく は第 2鳥瞰図画像と重なる部分は除いたもの） を書き込むようにして、 合成鳥瞰図画像を作成する。 尚、 同図で車両は参考にために記載したも のであり、 実際には、 例えばモニタ画面の描画の際に、 車両を示す枠等 を描画する。

続くステップ 3 7 0では、 合成鳥瞰図画像を、 画像メモリ Bに記憶す る。 続くステップ 3 8 0では、 車両を示す画像や視野角を示す画像など を加味して、 画像メモリ Bに記憶した合成鳥瞰図画像をモニタ 2 3に表 示し、 一旦本処理を終了する。

この様に、 本実施例では、 カメラ 2 1で撮影した画像を鳥瞰図画像に 変換し、 車両信号に基づいて車両の移動量を検出し、 その車両の移動量 に応じて鳥瞰図画像を移動させて移動後鳥瞰図画像を作成している。 そ して、 移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像とを合成して合 成鳥瞰図画像を作成し、 その合成鳥瞰図画像に自車両及び視野角の画像 を加えて、 モニタ 2 3の画面に表示している。 つまり、 本実施例では、 車両が移動する際にカメラ視野から外れた領 域を推定し、 合成することによって、 通常はカメラ視野外となる表示で きない部分も含めて表示することができるので、図 1 5 ( a ) , ( b ) ( c ) に示す様に、 自車両と駐車枠との位置関係が明瞭に把握できる。 そのた め、 バックで駐車する操作などが、 極めて容易になるという顕著な効果 を奏する。

尚、 図 1 5 ( a )、 （b )、 ( c ) では、 車両が駐車枠に対して、 回転移 動した後に後方に直線的に移動する際に、 本実施例の手法によって演算 処理されたモユタ 2 3の表示画面を順を追って示している。

特に本実施例では、 例えば第 1及び第 2鳥瞰図画像の画像の時間的変 化から車両の動きを算出して移動後鳥瞰図画像を作成するのではなく、 車速センサ 2 5ゃョーレイ トセンサ 2 7によって得られた車両信号を 用いて移動後鳥瞰図画像を作成するので、 その演算処理が容易であると いう利点がある。 つまり、 多くの演算処理が必要な画像のマッチングな どによる画像処理を省略できるので、 演算処理の負担が軽減され、 速や かに必要な画像をモニタ 2 3に表示することができる。

よって、 マイクロコンピュータ等の負担が軽減するので、 全体として 処理速度を高めることができる。 また、 演算処理能力の低いマイクロコ ンピュータでも処理が可能になるので、 コストダウンにも寄与する。 尚、 本発明は前記実施例になんら限定されるものではなく、 本発明を 逸脱しない範囲において種々の態様で実施しうることはいうまでもな い。 '

( 1 ) 例えば、 前記実施例 1において、 駐車枠や車止めの画像は、 単 に撮影した画像を座標変換して表示するだけではなく、 カメラで撮影し た画像から、 車両の操作の目印になる駐車枠や車止めの画像を抽出し、 その駐車枠や車止めの色彩や色の濃淡等で強調した画像とすることが 望ましい。

( 2 ) また、 前記実施例 3では、 シフ ト位置がバックであることを検 出して処理を開始しているが、 駐車時の切り返し運転による車両の前進 時でも処理するため、 車速信号で処理の開始 ·継続を決定してもよい。 例えば、 時速が 1 0 k mZ hで処理を開始し、 この間は処理を実行して 鳥瞰図画像を表示するなどである。 これにより、 切り返しでシフ ト位置 が変化しても、 鳥瞰図画像がリセッ トされることなく継続して表示でき る。

( 3 ) 更に、 本発明のその他の応用例として、 車両の前方を撮像する カメラによって、 視野外となる車体近傍の合成鳥瞰図画像を表示し、 狭 い道などでのすり抜けの可否を判断する情報を提供することもできる。

( 4 ) また、 前記実施例 1、 2、 3では、 車両周辺画像処理装置につ いて述べたが、 この装置による処理を実行させる手段を記憶している記 録媒体も、 本発明の範囲である。 例えば記録媒体としては、 マイクロコ ンピュータとして構成される電子制御装置、 マイクロチップ、 フロッピ ィディスク、 ハードディスク、 光ディスク等の各種の記録媒体が挙げら れる。 つまり、 上述した車両周辺画像処理装置の処理を実行させること ができる例えばプログラム等の手段を記憶したものであれば、 特に限定 はない。 産業上の利用可能性

以上のように、 本発明に係わる車両周辺画像処理装置及び記録媒体は、 カメラの視野の外に出た部分を推定して車両の周辺画像をモニタに描 画させることができるので、 例えば駐車のための運転操作を援助する装 置として好適に利用されるものである。

Claims

請求の範囲

1 . 車両周辺の画像を撮影する撮影手段と、 画像を表示する表示手段と を備えた車両に対して、 前記撮影手段により撮影された画像を処理して 前記表示手段に表示する車両周辺画像処理装置において、

前記撮影手段により撮影した画像を、 前記撮影手段を視点として投影 した地上面座標系のデータに変換して鳥瞰図画像を生成する鳥瞰図画 像生成手段と、

前記鳥瞰図画像生成手段により生成された第 1鳥瞰図画像と、 それよ り後に撮影されて生成された第 2鳥瞰図画像とを比較して、 その一致領 域と不一致領域とを判別する領域判別手段と、

前記領域判別手段により判別された不一致領域を、 前記第 2鳥瞰図画 像に加味して合成画像を作成する合成画像作成手段と、

前記合成画像を、 前記表示手段に表示する表示処理手段と、 を備えたことを特徴とする車両周辺画像処理装置。

2 . 前記撮影手段により撮影される画像は、 車両の後方の画像であるこ とを特徴とする請求の範囲第 1項に記載の車両周辺画像処理装置。

3 . 前記鳥瞰図画像生成手段は、 車線を示す画像を抽出して鳥瞰図画像 を生成することを特徴とする請求の範囲第 1項に記載の車両周辺画像 処理装置。

4 . 前記第 1鳥瞰図画像と第 2鳥瞰図画像とは、 時間的に連続した鳥瞰 図画像であることを特徴とする請求の範囲第 1項に記載の車両周辺画 像処理装置。

5 . 前記表示処理手段は、 前記合成画像の画像データを、 前記表示手段 に表示するための座標変換を行うことを特徴とする請求の範囲第 1項 に記載の車両周辺画像処理装置。

6 . 前記表示手段に前記合成画像を表示する場合には、 自車両を示す画 像を加えて表示することを特徴とする請求の範囲第 1項に記載の車両 周辺画像処理装置。

7 . 前記領域判別手段は、 前記合成画像生成手段により作成された合成 画像と、 それより後に撮影されて生成された第 3鳥瞰図画像とを比較し て、 その一致領域と不一致領域とを判別するとともに、

前記合成画像作成手段は、 判別された不一致領域を、 前記合成画像に 加味して新たな合成画像を生成することを特徴とする請求の範囲第 1 項に記載の車両周辺画像処理装置。

8 . 請求の範囲第 1項〜第 7項のいずれかに記載の車両周辺画像処理装 置による処理を実行させる手段を記憶していることを特徴とする記録 媒体。

9 . 車両周辺の画像を撮影する撮影手段と、 画像を表示する表示手段と を備えた車両に対して、 前記撮影手段により撮影された画像を処理して 前記表示手段に表示する車両周辺画像処理装置において、

前記撮影手段により撮影した画像に基づいて、 その鳥瞰図画像を作成 する鳥瞰図画像作成手段と、

前記車両の動き量を、 前記車両から得られる車両信号に基づいて検出 する車両動き量検出手段と、

前記: 両動き量検出手段により検出した車両の動き量に基づいて、 前 記鳥瞰図画像作成手段により作成された第 1鳥瞰図画像を移動させて、 移動後鳥瞰図画像を作成する鳥瞰図画像移動手段と、

前記第 1鳥瞰図画像より後に撮影されて作成された第 2鳥瞰図画像 と、 前記移動後鳥瞰図画像とを合成して、 前記表示手段に表示する合成 鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、

を備えたことを特徴とする車両周辺画像処理装置。

1 0 . 前記合成鳥瞰図画像は、 前記第 2鳥瞰図画像を表示する表示領域 以外に、 前記移動後鳥瞰図画像を加入した画像であることを特徴とする 請求の範囲第 9項に記載の車両周辺画像処理装置。

1 1 . 前記合成鳥瞰図画像に用いる第 2鳥瞰図画像として、 最新の鳥瞰 図画像を用いることを特徴とする請求の範囲第 9項に記載の車両周辺 画像処理装置。

1 2 . 前記鳥瞰図画像作成手段により作成された鳥瞰図画像を記憶する メモリ Aと、

前記合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像を記 ) 憶するメモリ Bと、

を備えたことを特徴とする請求の範囲第 9項に記載の車両周辺画像 処理装置。

1 3 . 前記メモリ Bに記憶された合成鳥瞰図画像を、 前記表示手段に表 示することを特徴とする請求の範囲第 1 2項に記載の車両周辺画像処

1 4 . 前記表示手段に前記合成鳥瞰図画像を表示する場合には、 自車両 を示す画像を加えて表示することを特徴とする請求の範囲第 9項に記 載の車両周辺画像処理装置。

1 5 . 前記請求の範囲第 9項〜第 1 4項のいずれかに記載の車両周辺画 像処理装置による処理を実行させる手段を記憶していることを特徴と する記録媒体。