JP4929232B2 - 車載用撮像装置 - Google Patents

Description

本発明は、１台の撮像装置のみで広範囲な撮像を実現し、それに伴う表示時の視認性も向上させた画像出力を行うことで、表示器直結で視認性の容易な車両周辺のビューシステムが構成できることを目的とした車載用撮像装置に関するものである。

近年車両の運転支援には、車両周辺のあらゆる方向を撮像装置によって撮像し、運転状況に応じた撮像方向の画像を表示する装置が増えている。この手段を示す例として特許文献１が挙げられる。

前記特許文献１では図８に示すように、車両のフロントビューを６２Ａ、左サイドビューを６２Ｄの配置で表示し、その表示画像が車両に対してどの方向かを視認させる手段として、車両のアイコン６４、相対位置表示６５Ａ、６５Ｄの描画表示を行っている。また、サイドビューにおいては６２Ｄでは樽型歪み画像、図９の７２Ｄでは樽型歪み補正画像を表示している。
特開２００７−２２１７６号公報

しかしながら、前記特許文献１におけるサイドビューの表示には複数の課題を有していた。

一つは、６２Ｄの樽型歪み画像である。７２Ｄの歪み補正を行った場合に比べて、車両の前後方向の表示画角が広くなる反面、６２Ｄ画像でもわかるように、車両と平行にある直線が曲がって表示されてしまうため、例えば駐車場に駐車した際に車両が側方白線と平行であるかわからなくなってしまうという課題と、後方（後輪付近）の立体物（人など）が逆さまに表示されてしまうという課題を有していた。図１０に立体物が逆さまに表示される例を示しておく。

次に７２Ｄの歪み補正の画像である。この補正は地上面の画像歪みを補正することになるので、トップビューの視点変換が実施されることとなる。この場合図１１に示すように地上面に対する立体物９２は、撮像装置９１との角度で地上面に投影された像が仮想視点９３に現れることになるので、撮像装置９１と仮想視点９３の角度差が大きくなる撮像装置９１から離れた立体物は大きく変形して表示されるという課題を有していた。図１２に図１０の画像をトップビュー視点変換し、立体物が変形した例を示しておく。

最後に前記の様に画像の表示方法に伴う課題がある。例えば後方の立体物が逆さまに表示されることを解決するために、図１３（ａ）に示す後方切り出し領域９５を設定して後方画像のみを切り出し、上下反転したサイドミラーイメージの表示方法が考えられるが、この場合にも表示方向を示さなければどの方向を表示しているか視認できなくなる。特許文献１に記載された手法を応用した場合、図１３（ｂ）に示すように、相対位置表示９７のわずかな形状変更となる。前記の画像の表示方法に伴う課題以外にも、真下のみの拡大表示など、表示方向の多様化を図ろうとした場合、相対位置表示９７による表現では、表示方向の区別がより困難となるという課題を有していた。

本発明は、１台の撮像装置のみで広範囲な撮像を実現し、それに伴う表示時の視認性も向上させた画像出力を行うことで、表示器直結で視認性の容易な車両周辺のビューシステムが構成できる車載用撮像装置を提供することを目的とする。

前記従来の課題を解決するため、本発明の請求項１に記載の車載用撮像装置は、外界の被写体の画像を結像する魚眼レンズと、前記魚眼レンズからの光を受ける撮像素子と、前記撮像素子からの画像信号に対し歪み補正及び視点変換を行う画像歪み補正視点変換部と、前記画像歪み補正視点変換部からの画像信号に、歪み補正及び視点変換を行った後の画像表示方向を示す表示方向画像を描画する信号を合成する描画合成部と、前記表示方向画像が合成された歪み補正視点変換画像の信号を外部に出力する画像信号出力部とを備え、前記画像歪み補正視点変換部は、前記魚眼レンズから前記被写体に向かう視線と地面とのなす角度が予め定められた角度の範囲内にある前記視線上の撮像位置付近を仮想視点として歪み補正及び視点変換を行った主画像を１画面以上合成すると共に、車両のボディー画像の一部を含むトップビュー視点変換画像も合成するものであって、前記描画合成部は前記主画像の表示方向を示す表示方向画像を前記トップビュー視点変換画像上に示す描画を行うこととした。

この構成によって、広範囲な車両周辺の撮像画像において、車両周辺の地上面の画像歪みを補正したトップビュー画像を表示することができることと、トップビュー画像では表示できない遠方視野を含めてトップビュー画像とは切り離した画像を表示できることと、トップビュー画像とは切り離した画像がどの方向を表示しているか、実写画像であるトップビュー画像上で描画することができる。

その結果、本発明の請求項１に記載の車載用撮像装置によれば、車両周辺の地上面の歪みを補正したトップビュー画像を表示しつつ、トップビュー画像とは切り離した画像にすることによって、トップビュー画像課題となる遠方視野の表示、立体物の上下逆転、或いは立体物の大きな変形を回避、拡大画像などを表示できる。トップビュー画像との切り離しによって視認困難となる表示方向は、実写画像であるトップビュー画像上で示されるので視認が容易となる。

従って、本発明の請求項１に記載の車載用撮像装置によれば、１台の撮像装置のみで広範囲な撮像画像を、視認性を向上させた動画像出力ができるので、表示器直結で視認性の容易な車両周辺のビューシステムが構成できる。
本発明の請求項２に記載の車載用撮像装置は、前記車載用撮像装置に外部通信部を備え、前記外部通信部は車両側のシステムからの制御信号を判別して制御内容を示す信号を出力し、前記画像歪み補正視点変換部は前記制御内容に基づいた前記主画像の表示方向／範囲／左右反転切り替えを行い、前記描画合成部は前記主画像の切り替えと同時に前記主画像の表示方向を示す描画に変更することとした。

この構成によって、トップビュー画像とは切り離した画像およびその表示方向描画を、前記車載用撮像装置の動作中に変更することができる。

従って、本発明の請求項２に記載の車載用撮像装置によれば、運転状況に応じてトップビュー画像とは切り離した画像の表示方向や範囲を変更できるので視認性を更に向上させることができる。

本発明は、１台の撮像装置のみで広範囲な撮像を実現し、それに伴う表示時の視認性も向上させた画像出力を行うことで、表示器直結で視認性を容易化した車両周辺のビューシステムを構成することができるという効果を有する車載用撮像装置を提供することができるものである。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態１における構成図である。

図１において、１は本発明の請求項１に記載の車載用撮像装置であり、２は外界の被写体の画像を広い画角で結ぶ魚眼レンズ、３は魚眼レンズ２からの光を受ける撮像素子、４は撮像素子３からの画像信号に対し歪み補正及び視点変換を行う画像歪み補正視点変換部、５は画像歪み補正視点変換部４からの画像信号に、歪み補正及び視点変換を行った後の画像表示方向を示す表示方向画像を描画する信号を合成する描画合成部、６は表示方向画像が合成された歪み補正視点変換画像の画像信号７を外部（例えば表示器）に出力する画像信号出力部である。

尚、魚眼レンズ１は本発明の効果をわかりやすくするため画角１８０°以上とするが、１８０°以下であっても良い。

車載用撮像装置１の車両取り付け方を図３に例示する。車載用撮像装置１を車両の左側サイドミラーに、その光軸が光軸１１の方向となるよう取り付ける。これにより、車載用撮像装置１は、地上面１２を含む撮像領域１３が撮像可能となる。尚、図３では車両の左側サイドミラーに取り付けとしているが、車載用撮像装置１を例えば車両ボディーに埋め込み、その光軸を地面と水平な方向にしても良い。

次に、実際の画像処理を図４から図７までを用いて説明する。

図４は車両の前方方向及び側方方向を表示器に表示する例を示したものである。

図４（ａ）において、１００は撮像素子３から画像歪み補正視点変換部４に出力される画像信号による駐車シーン画像である。

画像歪み補正視点変換部４は、図４（ｂ）及び（ｃ）に示すように、駐車シーン画像１００の画像中の切り出しエリア４１及び切り出しエリア４２に対してそれぞれ歪み補正視点変換処理を行った後に補正出力画像１００−４１−４２の信号を出力する。この際、切り出しエリア４１は車両前方方向におけるエリアを示すものであり、画像歪み補正視点変換部４は、車載用撮像装置１が撮像した位置と同等の仮想視点から自然な歪み補正視点変換処理を行うと共に、図４（ｄ）に示す補正出力画像１００−４１（主画像）の信号を出力する。この補正出力画像１００−４１は、車載用撮像装置１の魚眼レンズ２から被写体（本例では車両前方方向のエリア）に向かう視線と地面とのなす角度が予め定められた角度の範囲内（本例では左側サイドミラーに対する車載用撮像装置１の取り付け位置に基づく角度）にある視線上の撮像位置付近を仮想視点として歪み補正及び視点変換を行った画像である。換言すれば、車載用撮像装置１は、撮像画角から大きく視点変換を行わない補正出力画像１００−４１を主画像としてその信号を出力するものである。
一方、図４（ｃ）に示すように、切り出しエリア４２は車両のボディーの一部及び車両前後側方の画像を含むものであり、画像歪み補正視点変換部４は、トップビュー画像処理を行うと共に補正出力画像１００−４１及び補正出力画像１００−４２の信号を同時に出力する（図４（ｄ））。

描画合成部５は、図４（ｄ）に示した補正出力画像１００−４１−４２に対し、図４（ｅ）に示すように、視点を示す視点画像５１−１と、画像歪み補正視点変換後の表示方向を示す表示方向画像５１−２とを描画合成した描画合成画像１００−４１−４２−５１の信号を出力する。この際視点画像５１−１は、補正出力画像１００−４１の視点位置を示すために、補正出力画像１００−４２に含まれるボディー画像に対する相対位置で表示される。更に、視点画像５１−１の形状は視線の方向を示す。表示方向画像５１−２は視点位置からの補正出力画像１００−４１の表示方向を示すために描画されたものである。

図５は車両の後方方向を表示する場合の画像処理例を示す図である。尚、図４と同様の駐車シーン画像１００を用いて説明する。

画像歪み補正視点変換部４は、図５（ａ）に示す切り出しエリア４３を、車載用撮像装置１が撮像した位置と同等の仮想視点から自然な歪み補正視点変換処理を行うと共に、後方であることからサイドミラー視と合わせるために左右反転を行った補正出力画像１００−４３（図５（ｂ））の信号を出力する。尚、画像歪み補正視点変換部４は、切り出しエリア４２に対するトップビュー画像処理と補正出力画像１００−４２の信号出力処理を図４に示したものと同様に行う。

描画合成部５は、図５（ｂ）に示すように、補正出力画像１００−４３に合わせた視点画像５２−１と表示方向画像５２−２とを描画合成し、描画合成画像１００−４３−４２−５２の信号を出力する。

図６は車両の後輪付近を拡大表示する場合の画像処理例を示す図である。この場合においても、トップビュー画像の処理は図４や図５と同様で、その他は図４や図５と同様の要領で表示処理を行う。

図７は図５と同様の処理を示す図である。ただし、駐車シーン画像１００とは異なり、図７に示した画像処理例は、車両後方付近に立体物のある立体物シーン画像１０１を画像処理の対象としたものである。

尚、図４から図７までに示した例では画像の表示方向を車両の前後方向としたが、撮像できている範囲であれば車両の横方向を表示しても良い。

以上のように本実施の形態によれば、図４（ｅ）に示した補正出力画像１００−４２のように車両側方の地上面が画像歪み補正されたトップビュー画像で目視できるので、例えば駐車場に引かれた白線に対しての車両の方向視認を容易化することができる。

一方でトップビュー画像はこれより周辺の画像が表示できない、及び補正出力画像１０１−４２（図７（ｄ））のように立体物が大きく変形することになるが、車載用撮像装置１は、トップビュー画像とは切り離した画像表示を行うことによって、更に広い視野（補正出力画像１００−４１（図４（ｅ））、１００−４３（図５（ｂ）））や、立体物の上下逆転と立体物の大きな変形を回避（補正出力画像１０１−４３（図７（ｄ）））、拡大画像（補正出力画像１００−４４（図６（ｂ））をトップビュー画像とのつなぎの制約なく自由に表示できるため、車載用撮像装置１が出力する画像の表示範囲を広く維持できる。合わせてトップビュー画像とは切り離した画像表示がどの方向を表示しているか、実写のボディーとの相対関係で描画されているため視認性を損なわない。
（実施の形態２）
図２は本発明の実施の形態２における構成図である。

図２において、９は車載用撮像装置８に備えた外部通信部であり、外部通信部９は車両側のシステムからの制御信号１０を判別して制御内容を示す信号を出力し、画像歪み補正視点変換部４は制御内容に基づいた画像の表示方向／範囲／左右反転切り替えを行い、描画合成部５は画像の切り替えと同時に画像の表示方向を示す描画に変更する。制御信号１０としては、例えば、カーナビゲーションシステムからの車両の進行方向を示す信号や、サイドミラーのミラー面の角度を調整する操作器からの信号等がある。
尚、図２では判別した制御内容が制御信号１０から描画合成部５と画像歪み補正視点変換部４にそれぞれ入力される構成であるが、判別した制御内容は画像歪み補正視点変換部４のみに入力し、画像歪み補正視点変換部４が表示方向を示す描画条件を描画合成部５に伝達する構成であっても良い。

以上のように本実施の形態によれば、車載用撮像装置８の動作中運転状況に応じて表示方向を変更することができる。例えば車両が前進中の場合は、車両側のシステムから前方表示の制御内容が伝達され、図４（ｅ）に示した画像の表示を行うとし、車両が後退中の場合は車両側のシステムから後方表示の制御内容が伝達され図５（ｂ）、或いは図６（ｂ）に示す画像の表示に切り替えることができる。

その他、車載用撮像装置８は、例えばサイドミラーと同様の使用目的に合わせた場合は、常に車両後方を中心に表示するものとし、その表示方向を運転者の上下左右操作及びズーム操作によって制御する。その操作器から伝達される制御内容に応じて図５（ｂ）に示した画像から下方向操作の場合は図６（ｂ）に示した画像の方向へと連続的に変化、或いはズーム操作の場合は画像を拡大することもできる。このように用途に応じた視認性の更なる向上が得られる。

本発明にかかる車載用撮像装置は、広い視野を撮像しつつ視認性の容易な画像を出力できるので、表示器に直結可能な車両周辺のビューシステムが構成できる車載用撮像装置として幅広く有用である。

本発明の実施の形態１における車載用撮像装置の構成図 本発明の実施の形態２における車載用撮像装置の構成図 本発明の実施の形態１、２における車載用撮像装置の車両取り付け例 本発明の実施の形態１、２における画像処理 本発明の実施の形態１、２における画像処理 本発明の実施の形態１、２における画像処理 本発明の実施の形態１、２における画像処理 従来画像表示と表示方向描画 樽型歪み補正画像 立体物の上下逆転画像 トップビュー視点変換と立体物の関係図 トップビュー視点変換による立体物変形例 立体物の上下逆転回避と従来表示方向描画

符号の説明

１、８ 車載用撮像装置
２ 魚眼レンズ
３ 撮像素子
４ 画像歪み補正視点変換部
５ 描画合成部
６ 画像信号出力部
７ 画像信号
９ 外部通信部
１０ 制御信号
１１ 光軸
１２ 地上面
１３ 撮像領域
１００ 駐車シーン画像
１０１ 立体物シーン画像
４１、４２、４３、４４ 切り出しエリア
１００−４１、１００−４２、１００−４３、１００−４４、１０１−４２ 補正出力画像
５１−１、５２−１、５３−１ 視点画像
５１−２、５２−２、５３−２ 表示方向画像
１００−４１−４２−５１、１００−４３−４２−５２、１００−４４−４２−５３、１０１−４３−４２−５２ 描画合成画像
６２Ｄ 樽型歪み画像
６４ 車両のアイコン
６５Ａ、６５Ｄ 相対位置表示
７２Ｄ 歪み補正画像
９０ 車両
９１ 撮像装置
９２ 立体物
９３ 仮想視点
９５ 後方切り出し領域
９６ 切り出し表示
９７ 相対位置表示

Claims (2)

1. 外界の被写体の画像を結像する魚眼レンズと、前記魚眼レンズからの光を受ける撮像素子と、前記撮像素子からの画像信号に対し歪み補正及び視点変換を行う画像歪み補正視点変換部と、前記画像歪み補正視点変換部からの画像信号に、歪み補正及び視点変換を行った後の画像表示方向を示す表示方向画像を描画する信号を合成する描画合成部と、前記表示方向画像が合成された歪み補正視点変換画像の信号を外部に出力する画像信号出力部とを備え、
   前記画像歪み補正視点変換部は、前記魚眼レンズから前記被写体に向かう視線と地面とのなす角度が予め定められた角度の範囲内にある前記視線上の撮像位置付近を仮想視点として歪み補正及び視点変換を行った主画像を１画面以上合成すると共に、車両のボディー画像の一部を含むトップビュー視点変換画像も合成するものであって、前記描画合成部は前記主画像の表示方向を示す表示方向画像を前記トップビュー視点変換画像上に示す描画を行うことを特徴とする車載用撮像装置。
2. 前記車載用撮像装置に外部通信部を備え、
   前記外部通信部は車両側のシステムからの制御信号を判別して制御内容を示す信号を出力し、前記画像歪み補正視点変換部は前記制御内容に基づいた前記主画像の表示方向／範囲／左右反転切り替えを行い、前記描画合成部は前記主画像の切り替えと同時に前記主画像の表示方向を示す描画に変更することを特徴とする請求項１に記載の車載用撮像装置。