JP3446277B2 - 車両用周囲状況表示装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】この発明は，例えば，見通しの悪
い交差点などにおける前方左右の確認用画像表示器や車
線変更時における後側方の確認用モニタの撮像方法や表
示方法として利用され，特に，車両の周囲状況を広範囲
にわたって鮮明に撮像し，認識しやすい自然な画像で表
示する車両用周囲状況表示装置に関するものである。 【０００２】 【従来の技術】従来における車両用周囲状況表示装置と
しては，通常のＴＶカメラを車両の後部などに設置し，
運転席から見える位置に画像表示モニタを設置するシス
テムが知られており，大型車やワンボックス車において
普及しつつある。また，後方の確認用カメラでは，バッ
クミラーに写る画像のようにＴＶカメラの信号に対し
て，左右が逆転するように表示するのが一般的である。 【０００３】 【発明が解決しようとする課題】しかしながら，上記に
示されるような従来における車両用周囲状況表示装置に
あっては，映像をそのままの状態で表示したり，単に左
右反転を行って表示するだけの構成であるため，歪みの
少ない画像を表示するためには画角の小さなカメラを用
いる必要がある。このため，車両の周囲の広い範囲をモ
ニタ表示しようとした場合，多くのカメラ台数を必要と
し，システム自体が高価になると共に，カメラの設置ス
ペースの確保が難しいという問題点があった。 【０００４】この発明は，上記に鑑みてなされたもので
あって，１台の超広角レンズ付きのカメラによって得ら
れた画像を部分的に切り出し表示するもので，部分切り
出しの際にレンズ歪みを吸収補正し，複数台の標準カメ
ラによって撮像したような自然な画像を簡単な構成で出
力可能とし，経済的で，かつ，省スペース化を実現する
ことを目的とする。 【０００５】 【課題を解決するための手段】上記の目的を達成するた
めに、請求項１に係る車両用周囲状況表示装置は、車両
周囲における９０度以上の広角画像を撮像する撮像手段
と、撮像手段により撮像された画像（以下、撮像画像と
呼ぶ）の主走査方向の画像歪みが補正されるように、撮
像画像を部分的に抜き出す画像抜き出し手段と、画像抜
き出し手段により抜き出された画像を表示する表示手段
とを具備するものである。 【０００６】請求項１に記載されている画像抜き出し手
段は、表示手段の副走査方向の表示位置に基づいて、撮
像画像の抜き出し開始位置と、画像歪みを補正するため
の伸縮倍率とを算出することにより、表示手段の主走査
方向の１ラインに表示するための画像を撮像画像から抜
き出す。 【０００７】また、請求項１に記載されている撮像手段
を、主走査方向が水平路面に対して垂直になるように設
置する。 【０００８】 【作用】この発明に係る車両用周囲状況表示装置（請求
項１）は、撮像した車両周囲の広角画像を表示手段に表
示する際の画像歪みが補正されるように、撮像画像を部
分的に抜き出して、自然な画像として表示する。 【０００９】また、この発明に係る車両用周囲状況表示
装置（請求項１）は、撮像手段を、主走査方向が水平路
面に対して垂直になるように設置することにより、撮像
画像を部分的に抜き出す座標の演算処理の簡素化を図
る。 【００１０】 【実施例】以下、この発明に係る車両用周囲状況表示装
置の一実施例を添付図面に基づいて説明する。図１は、
この発明に係る車両用周囲状況表示装置の基本構成を示
すブロック図である。 【００１１】図において、１０１は車体に取り付けられ
たカメラにより車両の周囲を撮像する撮像手段、１０２
は車両の信号（車速信号、ウインカ信号、ギア位置信号
等）に基づいて、複数のカメラで撮影される画像のう
ち、表示する画像を決定する制御手段、１０３は撮像手
段１０１から入力された画像を部分的に抜き出して、座
標変換処理を実行する画像抜き出し手段、１０４は抜き
出された画像を表示するために運転席近傍に設置され
た、例えば、ＴＶモニタの如き２次元ディスプレイを用
いた表示手段である。なお、上記における撮像手段１０
１としてのカメラには、画角９０°以上の超広角レンズ
が装着されているものとする。また、制御手段１０２の
処理内容については、後述する。 【００１２】図２は，本実施例に係るカメラの設置例を
示す説明図であり，図２に示すように，該カメラは，車
両のフロントバンパに対して横向きに設置する。なお，
本実施例では，前方の右側についてのみ図示したが，左
側にもう１台のカメラを設置してもよい。さらに，後方
の確認用としてトランク上端に後ろ向きに設置してもよ
い。また，いずれのカメラも，主走査方向（通常のＴＶ
画面では水平方向）が路面と垂直となるように縦方向に
設置する。これは，後述する画像の切り出し処理を簡略
化するためである。 【００１３】また，表示手段１０４は，運転席に設置さ
れるが，上記と同様に主走査方向が縦となるように設置
することが望ましい。これは画像を回転表示処理する必
要がなくなるので回路構成が簡易化されるためである。 【００１４】次に，上記構成による動作を説明する。ま
ず，カメラによる撮像画像と出力画像について説明す
る。図３は，格子状の画像を撮像した場合における入力
画像および表示画像例を示す説明図である。図３（ａ）
に示すように，簡単なレンズで超広角レンズを構成する
と，画面の周囲が大きく歪んだ画像となる。 【００１５】図３（ａ）の（１）に示す領域は，図２に
おけるカメラ位置では車両の真横に対応し，（２）で示
した領域は後側方に対応する。例えば，見通しのきかな
い交差点において，上記（１）の領域を車線変更する場
合は，（２）の領域を表示すれば効果的な表示となる。 【００１６】また、撮像画像は、（ａ）に示す表示画像
のように、その歪みは台形に近似される。該台形を長方
形となるように変換すれば、歪みを抑えた画像を表示す
ることができる。台形を長方形に変換するには、ｘｙ軸
に伸縮処理を実行すればよい。このとき、画像の主走査
方向と台形の上辺や下辺とが平行になれば、副走査アド
レス（ｙやＹ）の計算処理が１ラインに対して１回で済
むことになる。したがって、以下に説明するような簡単
な処理方法により、かつ、簡単な回路構成で実現するこ
とができるので、カメラを縦置きにする。 【００１７】また，図３（ｂ），（ｃ）は表示画像であ
るが，いずれも，歪みを小さく抑えた座標変換がなされ
ている。しかし，格子の縦線に湾曲が残っており，完全
に歪みを除去した変換とはならない。しかし，次に示す
ように，ある主走査方向の１ラインについては，カメラ
の１主走査ライン上の画像を表示する。完全に歪みを除
去するためには，カメラの複数の主走査ラインにまたが
って走査する必要があるのに対して，カメラの走査回路
を簡略化することが狙いである。 【００１８】図４は，表示画像の横方向アドレス（副走
査方向のアドレス）Ｙに対する撮像系のアドレスｙと，
主走査方向の倍率ｋの関係を示すグラフである。図４
（ａ）において，例えば，図３（ａ）に示した領域
（１）では，Ｙが小さいときは，ｙアドレスはゆっくり
と増加し，Ｙが大きくなると急激にｙも大きくなるが，
撮像系の中央より少し左までしか増加しない。これは図
３（ａ）に示したように格子を撮像したとき，画面の隅
になるほど縦線が密になるのに対して，表示系では等間
隔となるように補正するためである。 【００１９】また，上記倍率ｋとは，主走査方向の１ラ
インを伸縮して表示するための伸縮倍率である。図３
（ａ）に示したように格子を撮像したとき，画面の隅に
なるほど縦線の長さが短くなるのに対して，表示系では
同じ長さになるように補正するものである。 【００２０】また，上記２つについては，Ｙアドレスを
アドレス値としてｙやｋを内容とするメモリにテーブル
（ルック・アップ・テーブル）として，予め記憶されて
いるものとする。図４（ｂ）の画像（図３（ａ）に示し
た領域（２））の場合についても別のテーブルに記憶さ
れているものとする。なお，以下，Ｙに対するｙアドレ
スのテーブルをＹ−ｙテーブル，Ｙに対する倍率ｋのテ
ーブルをＹ−ｋテーブルとして説明する。 【００２１】図５は、画像切り出し（抜き出し）および
座標変換の処理動作を示すフローチャートである。本フ
ローチャートによる処理は、後述する画像表示処理（Ｓ
５０７）を除いて、画像抜き出し手段１０３により行わ
れる。図５において、まず、表示画像の副走査方向アド
レスＹを１に初期化し（Ｓ５０１）、次に、Ｙ−ｙテー
ブルを参照して、現在のＹに対するｙの値を求める（Ｓ
５０２）。さらに、Ｙ−ｋテーブルを参照して倍率ｋを
求める（Ｓ５０３）。次に、主走査方向における抜き出
し開始アドレスｘ０を下記式により計算する（Ｓ５０
４）。すなわち、ｘ０＝Ｎ／２−ｋ・Ｎ／２によりｘ０
を求める。なお、ここで、Ｎは主走査方向の表示アドレ
スの上限値（表示系のＸアドレスの上限値）である。 【００２２】その後，１ラインの走査を実行する（Ｓ５
０５）。この１ラインの走査はｘ０を始点に行われ，ｋ
画素毎に演算され（Ｓ５０６），該撮像画像（ｘ，ｙ）
を（Ｘ，Ｙ）に表示する（Ｓ５０７）。この１ラインの
走査において，走査するｙアドレスとサンプリング間隔
に相当する倍率は一定である。したがって，２次元の座
標変換に必要な，１画素毎のｙ座標の計算は不要であ
り，簡単な制御回路により実現することができる。 【００２３】続いて、表示画像の主走査方向のアドレス
Ｘに１を追加した後（Ｓ５０７Ａ）、Ｘ＞Ｎか否かを判
断する（Ｓ５０８）。Ｘ＞Ｎではないと判断すると、上
記ステップＳ５０６に戻って、上述したステップＳ５０
６〜Ｓ５０７Ａまでの処理を行う。すなわち、ｘ０を始
点として、撮像画像の主走査方向（ｘ軸方向）におい
て、ｋ画素毎に撮像画像を抜き出して表示モニタに出力
する。反対に、Ｘ＞Ｎであると判断したときには、表示
画像の主走査方向Ｘ＝１〜Ｎまでの１ラインの走査が終
了したので、次の１ラインの走査を行うために、副走査
方向のアドレスＹに１を追加し（Ｓ５０８Ａ）、Ｙ＞Ｍ
であるか否かを判断する（Ｓ５０９）。ここで、Ｍは、
副走査方向の表示アドレスの上限値である。Ｙ＞Ｍでは
ないと判断すると、上記ステップＳ５０２に戻り、新た
な副走査方向のアドレスＹ上の１ラインの走査を行う。
反対に、Ｙ＞Ｍであると判断したときには、１画面全体
の表示が完了する。 【００２４】次に，上記における切り出し処理を実行す
るハードウェア構成について説明する。図６は，画像切
り出し処理用の回路構成を示すブロック図である，図に
おいて，６０１は一般に用いられているＣＣＤ（電荷結
合素子），６０２はＣＣＤ６０１からの副走査方向のデ
ータを切り換えためのマルチプレクサ，６０３はアナロ
グデータをデジタルデータに変換するＡ／Ｄ変換器，６
０４はデュアルポートメモリで構成され，Ａ／Ｄ変換器
６０３からのデータを格納するラインメモリである。 【００２５】また，６０５はラインメモリ６０４のライ
トアドレスを制御するライトアドレス制御部，６０６は
表示アドレスを出力する表示アドレス制御部，６０７は
表示部６１０の副走査方向のアドレスに対してＣＣＤ６
０１の副走査方向のアドレスと主走査方向の始点や倍率
を指定する切り出し座標変換部，６０８はラインメモリ
６０４のリードアドレスを制御するリードアドレス制御
部，６０９はデジタルデータをアナログデータに変換す
るＤ／Ａ変換器，６１０はモニタ表示として処理後の画
像が表示される表示部である。 【００２６】次に，動作について説明する。ＣＣＤ６０
１からの映像信号は主走査方向については，シリアル
（順次）に出力される。また，副走査方向についてはマ
ルチプレクサ６０２によって切り換えられる。その後，
このマルチプレクサ６０２に切り出し座標変換部６０７
により生成されるアドレスｙを与える。ＣＣＤ素子の駆
動回路（図示せず）によって，アドレスｙの１ライン分
のアナログデータがマルチプレクサ６０２から順次出力
され，Ａ／Ｄ変換器６０３に入力される。 【００２７】Ａ／Ｄ変換器６０３の出力はデジタルの１
ライン分のラインメモリ６０４に順次入力される。ライ
ンメモリ６０４はディアルポートメモリにより構成さ
れ，書き込みはＣＣＤ６０１の駆動回路により発生され
るライトアドレスがアドレス値となり，読み出しはリー
ドアドレス制御部６０８から出力されるアドレスがアド
レス値となる。書き込みアドレスはＣＣＤ６０１の駆動
回路と同期し，アドレスは１ずつ増加する。 【００２８】リードアドレス制御部６０８には、切り出
し座標変換部６０７から始点アドレスｘ０と倍率ｋ等の
情報が送られる。切り出し座標変換部６０７は、上述し
たように、Ｙ−ｙテーブルおよびＹ−ｋテーブルを参照
することにより、始点アドレスｘ０と倍率ｋとを求め
る。リードアドレス制御部６０８は、表示部６１０側と
同期した信号Ｘに基づいて、アドレスｘ＝ｘ０＋ｋＸを
演算する。このアドレスｘがラインメモリ６０４のリー
ドアドレスとなる。その後、ラインメモリ６０４の出力
をＤ／Ａ変換器６０９により変換し、表示部６０１にモ
ニタ表示する。 【００２９】以上のように，表示部６１０の１ラインを
撮像系の１ラインと対応させ，さらに，その１ラインは
主走査方向にとったため，１ライン分のメモリが追加さ
れるのみでレンズの歪みが緩和された画像表示が可能と
なる。また，主走査方向を路面に対して垂直方向になる
ようにカメラを設置することにより，効果的な歪み除去
を実行することができる。なお，ラインを対応させず，
２次元的な歪みを除去する場合，２次元メモリが必要と
なり，その結果，回路規模が大きくなり高価な装置とな
る。 【００３０】次に，アドレス変換の他の処理例について
説明する。図７は，他のアドレス変換処理（視線方向の
変換）における原理を示す説明図である。上記のように
して，歪みが抑えられた画像が得られるが，該画像は，
光軸方向に見た画像である。すなわち，図２に示すよう
にカメラが横方向に光軸を向けて設置されているとき，
後側方の画像も横から見たような画像となる。しかしな
がら，後側方の表示は光軸を後ろに向けて撮像した画像
を表示するほうが自然である。そこで，横方向に向いて
撮像した画像を，あたかも後ろ方向に向いて撮像した画
像のように変換して表示する。この処理について，以
下，図７を用いて説明する。 【００３１】図７（ａ），（ｂ）において，カメラは真
横を向いているものとし，真後ろに向いたカメラのよう
に変換することを考える。すなわち，焦点位置を共通と
し，実の撮像面に対して９０°の角度をもつ仮想撮像面
を考える。物体からからの光は焦点を通り，実撮像面で
は，（ａＲ），（ｂＲ），（ｃＲ）に結像される。一
方，仮想撮像面では，（ａＶ），（ｂＶ），（ｃＶ）に
結像するとみなすことができる。したがって，実撮像面
の結像位置（アドレス）を，仮想撮像面の位置に変換し
て，仮想撮像面の画像を表示すればよいことになる。 【００３２】上記におけるアドレス変換の例は図７
（ｃ）に示す通りである。図４に示したアドレス変換テ
ーブルと同様にテーブルとして以下のように格納してお
く。表示系（仮想撮像面）の水平方向のアドレスをここ
ではｊとし，実撮像面のアドレスＹとの関係がｊ−Ｙテ
ーブル，実撮像面のＸアドレスと仮想撮像面のｉアドレ
ス（高さ方向のアドレス）との伸縮倍率をｊ−Ｂテーブ
ルとする。 【００３３】まず，図７（ｃ）に示したｊ−Ｙテーブル
によってＹ座標を求め，さらに，ｊ−Ｂテーブルによっ
て倍率を求める。次に，図４に示したＹ−ｙテーブルか
ら撮像系のｙアドレスを求め，また，図４に示したＹ−
ｋテーブルから倍率ｋを求め，これに上記倍率Ｂを乗じ
て，倍率ｋとする。これ以降の処理は上記の処理と同様
に実行する。 【００３４】なお，図７では，直角方向の走査開始点変
換を例にとって説明したが，任意の角度で走査開始点変
換は可能である。この場合，ｉ−Ｙテーブルとｊ−Ｂテ
ーブルを変更するだけでよい。 【００３５】次に，図１に示した制御手段１０２の動作
について説明する。この場合，車両から車速信号と，ウ
ィンカ（ターンシグナル）信号，ギア位置信号（シフト
ポジション）が入力されるものとする。モニタは運転席
に１台，カメラはフロント左右に１台ずつ，後方用カメ
ラとしてトランク上部中央に１台（やや下向き）の合計
３台のカメラ（いずれも超広角レンズ採用）が装着され
ているものとする。 【００３６】上記において，車速がある設定車速以上
で，右ウィンカがＯＮのときは，フロント右カメラの後
側方（画面右）側を表示する。また，車速がある設定車
速以上で，左ウィンカがＯＮのときは，フロント左カメ
ラの後側方を表示するように制御する。なお，ウィンカ
がＯＦＦのときは，なにも表示しない。 【００３７】また，ギアがバックポジションであるとき
には，後方カメラによる画像を全面表示する。さらに，
車速が設定車速以下のときは，フロント右カメラの側方
（画面左）側を表示する。これは，左側通行において，
見通しのきかない交差点で，まず右側を確認するために
行うものである。このようにして，１台のモニタに３台
のカメラからの画像を切り換え表示することにより，車
両のほぼ全周囲の画像が効果的に切り出されて表示する
ことができる。なお，制御手段１０２は，運転席に設け
た（手動）スイッチによって切り換えてもよい。 【００３８】上記の如く，上記実施例によれば，超広角
レンズにより撮影された画像から，座標変換によって画
像の一部を切り出してモニタ表示するように構成したた
め，少ないカメラ台数で車両近傍の広い範囲から，必要
とされる範囲を歪みが少なく自然な画像として表示する
ことができる。さらに，カメラを縦置き（主走査方向が
垂直）とすることで，切り出しと座標変換は簡単な回路
構成により実現し，その結果，安価なシステムを得るこ
とができる。 【００３９】また、表示手段の副走査方向の表示位置に
基づいて、撮像画像の抜き出し開始位置（ｘ０，ｙ）
と、画像歪みを補正するための伸縮倍率ｋとを求め、表
示モニタの主走査方向の１ラインに表示するための画像
を撮像画像から順に抜き出すので、画像歪みを補正する
ための処理演算を簡略化することができる。すなわち、
Ｙ−ｙテーブルを参照することにより、表示モニタのア
ドレスＹ上の１ラインに表示するための画像を撮像画像
のアドレスｙ上の１ラインから、画像歪みを補正するた
めの伸縮倍率であるｋ画素ごとに順に抜き出して表示す
るので、撮像画像の１画素ごとに２次元の座標変換を行
う必要がなくなる。 【００４０】 【発明の効果】以上説明したように、本発明による車両
用周囲状況表示装置（請求項１）によれば、撮像した車
両周囲の広角画像の主走査方向の画像歪みが補正される
ように、撮像画像を部分的に抜き出して表示するので、
複数台の標準カメラによって撮像したような自然な画像
を表示することができる。撮像画像の抜き出しを行うに
際し、表示手段の副走査方向の表示位置に基づいて、撮
像画像の抜き出し開始位置と、画像歪みを補正するため
の伸縮倍率とを算出することにより、表示手段の主走査
方向の１ラインに表示するための画像を撮像画像から順
に抜き出すので、画像歪みを補正するための処理演算を
簡略化することができる。 【００４１】また、この発明に係る車両用周囲状況表示
装置（請求項１）は、撮像手段を主走査方向が水平路面
に対して垂直になるように設置することにより、撮像画
像における撮像手段の主走査方向と表示手段の主走査方
向とを一致させることができるので、画像歪みを補正す
るための演算処理をさらに簡単にすることができる。

【図面の簡単な説明】 【図１】この発明に係る車両用周囲状況表示装置の基本
構成を示すブロック（クレーム対応）図である。 【図２】本実施例におけるカメラの設置例を示す説明図
である。 【図３】格子状の画像を撮像した場合における入力画像
および表示画像例を示す説明図である。 【図４】表示画像の横方向アドレス（副走査方向のアド
レス）Ｙに対する撮像系のアドレスｙと，主走査方向の
倍率ｋの関係を示すグラフである。 【図５】画像切り出しおよび座標変換の処理動作を示す
フローチャートである。 【図６】画像切り出し処理用の回路構成を示すブロック
図である。 【図７】他のアドレス変換処理（視線方向の変換）にお
ける原理を示す説明図である。 【符号の説明】 １０１ 撮像手段 １０２ 制御手段 １０３ 座標変換手段 １０４ 表示手段 ６０１ ＣＣＤ ６０４ ラインメモリ ６０５ ライトアドレス制御部 ６０６ 表示アドレス制御部 ６０７ 切り出し座標変換部 ６０８ リードアドレス制御部 ６１０ 表示部

フロントページの続き (56)参考文献 特開 昭58−110334（ＪＰ，Ａ) 特開 平５−252513（ＪＰ，Ａ) 特開 平５−176323（ＪＰ，Ａ) 特開 平５−176216（ＪＰ，Ａ) 特開 昭56−779（ＪＰ，Ａ) 特開 平５−83711（ＪＰ，Ａ) 特開 昭60−120273（ＪＰ，Ａ) 特開 平４−287577（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/00 - 1/16 B60R 16/02 H04N 7/18

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 車両周囲における９０度以上の広角画像
   を撮像する撮像手段と、 前記撮像手段により撮像された画像（以下、撮像画像と
   呼ぶ）の主走査方向の画像歪みが補正されるように、前
   記撮像画像を部分的に抜き出す画像抜き出し手段と、 前記画像抜き出し手段により抜き出された画像を表示す
   る表示手段とを備え、 前記撮像手段は、主走査方向が水平路面に対して垂直に
   なるように設置されており、 前記画像抜き出し手段は、前記表示手段の副走査方向の
   表示位置に基づいて、前記撮像画像の抜き出し開始位置
   と、前記画像歪みを補正するための伸縮倍率とを算出す
   ることにより、前記表示手段の主走査方向の１ラインに
   表示するための画像を前記撮像画像から抜き出すことを
   特徴とする車両用周囲状況表示装置。