WO2005079060A1

WO2005079060A1 - 運転支援装置

Info

Publication number: WO2005079060A1
Application number: PCT/JP2005/002287
Authority: WO
Inventors: Hirofumi Ishii; Kazufumi Mizusawa; Tuyoshi Okada
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-02-16
Filing date: 2005-02-16
Publication date: 2005-08-25
Also published as: US20080151053A1; EP1718062A4; JP2005229529A; EP1718062B1; CN100440934C; JP3980565B2; CN1918901A; EP1718062A1

Abstract

　棒状の保持手段の揺れによる画像の乱れを防止して、良好な画像を得ることができる運転支援装置を提供すること。　車両１１から突出する棒状のロッド部１２と、ロッド部１２に設置され、車両１１の周囲を撮像するカメラ１３と、カメラ１３によって撮像された画像が入力され、カメラ１３から路面（特定距離面）１９の揺れを補正量Ｘ０として撮像画像を平行移動して出力する揺れ補正画像処理部１４とを含んで運転支援装置を構成する。

Description

明細書

運転支援装置

技術分野

[0001] 本発明は、運転支援装置に関し、例えば、車両周辺を撮像して車内の表示手段に表示するようにした運転支援装置に関する。

背景技術

[0002] 従来から車両の後方、後側方あるいは左前側方等のように、運転者の死角を補うためにフェンダーミラーやバックミラー等のミラーが用いられており、近年では同じ目的で車両にカメラを設置することが考えられて、る。これは車両に設置されたカメラを用いて車両の周囲を撮像し、得られた画像をモニタ画面に表示して運転者の車両操作を支援するようにしたものである。

[0003] 例えば、特許文献 1に示す技術にお!、ては、車両の後退時の運転者の操作を支援するために車両の後方を監視する車両用カメラが用いられており、このような車両用カメラは、その用途により車両の様々な位置に設置されることが考えられる。

[0004] また、特許文献 2に示す技術にあっては、ロッド形状の先端にレンズと撮像素子を設け、より自由度の高い視点力車両の周囲を監視するようにしており、安全性がより一層高まっている。

[0005] ところで、特許文献 2に示すものは、ロッド形状の先端にレンズと撮像素子を設けているので、ロッドの揺れによって撮像画像の乱れが発生してしまうという不具合が発生してしまう。

[0006] このような撮像画像の乱れを防止するものとしては、車両に適用されるものではないが特許文献 3に示すような技術がある。特許文献 3に示すものは、監視カメラを伸縮軸に設置して観察対象の位置に設定する位置設定装置と、観察対象の監視の基準となる基準映像を設定するための基準映像設定装置とを備え、監視カメラは、レンズ部から入力される観察対象の監視映像を記憶するためのフレームメモリ部と、観察対象の監視映像中に検出領域を設定するための検出領域指定部と、監視映像と基準映像との相関関係を検出領域の映像に基づヽて判定し相関関係があると判定した場合にはフレームメモリ部の内容を更新する相関制御部とを備えており、ロッドの揺れによる監視映像の乱れを防止し監視作業の効率を向上させることができる。

特許文献 1：特開平 2-36417号公報

特許文献 2 :特開 2003-63310号公報

特許文献 3 :特開平 09- 312836号公報

発明の開示

発明が解決しょうとする課題

[0007] しカゝしながら、特許文献 3に示すものを車両に適用した場合に、監視対象である車両周辺の路面、他車両、あるいは障害物が運転による自車両の動きによって動くので、ロッドの揺れによる監視映像の乱れを防止することはできないという問題が発生してしまう。

[0008] ここで、一般的に、ムービーカメラ等で使われる揺れ補正は、図 22に示すように視点位置が一定で、視線のみが回転する揺れ 4に対して撮像装置 1の光学系や画像処理によって揺れを補正するが、これは揺れ 4に対して距離の異なる対象物 2、 3の画像上での変化が同じなので有効である。ところが、ロッドの揺れには図 23に示すように視点位置の揺れ 5も含まれるので、この場合には距離の異なる対象物 6、 7の画像上での影響 (揺れ量)が距離によって異なるため、従来の揺れ補正が一般には有効でない。

[0009] 本発明はこのような問題を解決するためになされたもので、棒状の保持手段の揺れによる画像の乱れを防止して、良好な画像を得ることができる運転支援装置を提供するものである。

課題を解決するための手段

[0010] 本発明の運転支援装置は、車両から突出する棒状の保持手段と、前記保持手段に設置され、前記車両の周囲を撮像する撮像手段と、前記撮像手段から特定距離面の揺れを補正量として前記撮像手段によって撮像された画像を処理して出力する揺れ補正画像処理手段とを備えたものから構成される。

[0011] この構成により、棒状の保持手段が揺れることにより撮像手段の回転揺れと位置揺れが生じた場合でも、撮像手段から特定距離面、例えば、路面等を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

[0012] また、本発明の運転支援装置は、前記揺れ補正画像処理手段は、自車両に設定された複数の特徴点を追跡することにより、前記保持手段に設けられた前記撮像手段の回転揺れと位置揺れとを検出し、検出された前記撮像手段の回転揺れと位置揺れとによる撮像手段力特定距離面までの画像への影響を打ち消すように補正するもの力構成される。

[0013] この構成により、自車両に設定された複数の特徴点を追跡することにより保持手段に設けられた撮像手段の回転揺れと位置揺れとを検出し、撮像手段から特定距離面、例えば、路面等を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

[0014] また、本発明の運転支援装置は、前記撮像手段の回転揺れと位置揺れとを検出する検出手段を有し、前記揺れ補正画像処理手段は、前記検出手段によって検出された撮像手段の回転揺れと位置揺れによって前記撮像手段から特定距離面で生じる画像上の揺れを打ち消すように揺れを補正するものから構成される。

[0015] この構成により、撮像手段の回転揺れと位置揺れとを検出手段によって直接的に検出し、撮像手段から特定距離面、例えば、路面等を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

[0016] また、本発明の運転支援装置は、前記揺れ補正画像処理手段は、前記撮像手段から特定距離面に撮像画像を投影変換した後、揺れの生じな！/ヽ仮想撮像手段に逆投影変換する画像合成を行うもの力も構成される。

[0017] この構成により、路面のように撮像手段力ゝらのある特定距離面を想定して撮像画像を投影変換した後に逆投影変換し、この投影変換と逆投影変換の間で撮像手段の位置揺れと回転揺れの影響を補正することによって見やすい監視画像を得ることができる。

[0018] また、本発明の運転支援装置は、前記撮像手段の撮像範囲について前記撮像手段からの距離を測距する測距手段を有し、前記揺れ補正画像処理手段は、前記測距手段の検出情報に基づいて前記特定距離面を可変にするものから構成される。

[0019] この構成により、監視画像内に他車両のバンパー等の障害物が入って来た場合に、特定距離面を路面力バンパーの高さに変更することにより、路面よりも重要な監視対象である障害物であるバンパーの部分をより揺れが少なく見やすい画像にして提示することができる。

[0020] また、本発明の運転支援装置は、前記揺れ補正画像処理手段は、複数の距離面を想定し、それぞれの距離面につ!、て前記撮像手段の位置揺れと回転揺れの影響を補正した補正画像と自車両の動きから過去の画像を用いて予測した予測画像との一致を判定した後、前記撮像手段の画面の各部において最も一致する距離面の補正画像を選択し、補正画像を合成するものから構成される。

[0021] この構成により、複数の距離面を想定してそれぞれについて撮像手段の位置揺れと回転揺れの影響を補正した補正画像と自車両の動き力過去の画像を用いて予測した予測画像の一致を判定することによって、障害物が画面に入った場合でも障害物の部分でも路面の部分でも揺れの影響が抑制された見やすい監視画像を得ることができる。

[0022] また、本発明の運転支援装置は、前記保持手段を振動させる振動手段を有し、前記揺れ補正画像処理手段は、前記振動手段によって前記保持手段を振動させたときに、前記振動に対する撮像画像の揺れ量から前記特定距離面を検出するものから構成される。

[0023] この構成により、振動手段によって棒状の保持手段を振動させることによって撮像手段に位置揺れが生じさせ、それによる画像の揺れ量により撮像手段からの距離を検出することができ、特定距離面が路面であるか障害物であるかを検出することができる。

[0024] また、本発明の運転支援装置は、前記撮像手段によって撮像された画像を表示する表示手段を備えたものから構成される。

[0025] この構成により、車両の周囲の状況を容易に視認することができ、運転の安全性をより一層確保することができる。

発明の効果

[0026] 以上説明したように、本発明は、棒状の保持手段の揺れによる画像の乱れを防止して、良好な画像を得ることができる運転支援装置を提供することができる。図面の簡単な説明

[図 1]図 1は本発明の第 1の実施の形態の運転支援装置を示す図で、（a)はロッド部を伸長させたときの車両の概略前面図、（b)はロッド部を伸長させたときの車両の概略側面図

[図 2]図 2は本発明の第 1の実施の形態の運転支援装置を示す図で、 (a)はロッド部を縮小させたときの車両の概略前面図、（b)はロッド部を縮小させたときの車両の概略側面図

[図 3]図 3は本発明の第 1の実施の形態の運転支援装置のカメラで撮像される画像を示す図

[図 4]図 4は本発明の第 1の実施の形態の運転支援装置において画像中の 2つの特徴点を追跡することによって路面上の揺れを推定する方法を説明する図

[図 5]図 5は本発明の第 1の実施の形態の運転支援装置のロッド部にカメラを取り付けるとき別途カウンターウェイトを取り付けた例を示す図

[図 6]図 6は本発明の第 2の実施の形態の運転支援装置を示す図で、 (a)は運転支援装置を備えた車両の概略前面図、（b)は運転支援装置を備えた車両の概略側面図

[図 7]図 7は本発明の第 2の実施の形態の運転支援装置のブロック図

[図 8]図 8は本発明の第 2の実施の形態の運転支援装置の揺れ補正処理の動作を説明するための図

[図 9]図 9は本発明の第 2の実施の形態の運転支援装置の他の構成のブロック図 [図 10]図 10は本発明の第 2の実施の形態の運転支援装置の揺れ補正処理の他の手順を示す図

[図 11]図 11は本発明の第 3の実施の形態の運転支援装置を示す図で、 (a)は運転支援装置を備えた車両の概略前面図、（b)は運転支援装置を備えた車両の概略側面図

[図 12]図 12は本発明の第 3の実施の形態の運転支援装置の測距センサーと揺れ補正画像処理部の動作を説明するための概略図

[図 13]図 13は本発明の第 3の実施の形態の運転支援装置の出力画像で、 (a)は障害物がないときの出力画像（b)障害物を検出したときの出力画像

圆 14]図 14は本発明の第 4の実施の形態の運転支援装置を示す図で、 (a)は運転支援装置を備えた車両の概略前面図、（b)は運転支援装置を備えた車両の概略側面図

圆 15]図 15は本発明の第 4の実施の形態の運転支援装置のブロック図

圆 16]図 16は本発明の第 4の実施の形態の運転支援装置の揺れ補正処理を示す図で、（a)は撮像画像を投影変換するときのカメラと投影範囲を示す図、（b)は撮像画像を逆投影変換するときの仮想カメラと逆投影範囲を示す図

圆 17]図 17は本発明の第 4の実施の形態の運転支援装置の出力画像を示す図で、

(a)は障害物がないときの出力画像を、 (b)障害物を検出したときの出力画像を示す圆 18]図 18は本発明の第 4の実施の形態の運転支援装置の他の構成のブロック図

[図 19]図 19は本発明の第 5の実施の形態の運転支援装置を示す図で、 (a)は運転支援装置を備えた車両の概略前面図、（b)は運転支援装置を備えた車両の概略側面図

圆 20]図 20は本発明の第 5の実施の形態の運転支援装置のブロック図

圆 21]図 21は本発明の第 5の実施の形態の運転支援装置を揺れ補正処理を説明する図で、（a)はカメラを振動させたときの障害物とカメラの位置関係を示す図、 (b) はカメラを振動させたときの振幅と時間の関係を示す図

圆 22]図 22はムービーカメラ等で使われる一般的な揺れ補正を説明するための図 [図 23]図 23はロッド部が揺れたときのカメラの視点揺れを説明するための図符号の説明

11 車両

12 ロッド部 (棒状の保持手段）

13 カメラ (撮像手段）

14 揺れ補正画像処理部 (揺れ補正画像処理手段、距離検出手段）

15 ディスプレイ (表示手段）

31、 81 加速度センサ (検出手段）

42 仮想カメラ (仮想撮像手段） 71 測距センサ (測距手段）

121 振動手段

発明を実施するための最良の形態

[0029] 以下、本発明の実施の形態について、図面を用いて説明する。

図 1乃至図 5は本発明に係る運転支援装置の第 1の実施の形態を示す図である。まず、構成を説明する。図 1、図 2において、運転支援装置は車両 11のバンパー 1 laから突出して設けられた伸縮自在なロッド部 (棒状の保持手段） 12と、ロッド部 12 の先端に設置され、車両 11の周囲を撮像する撮像手段としてのカメラ 13と、カメラ 13 によって撮像された画像が入力され、カメラ 13から特定距離面の揺れを補正量として撮像画像を平行移動して出力する揺れ補正画像処理部 (揺れ補正画像処理部） 14 と、車室内に設けられ、揺れが補正された画像が表示される表示手段としてのデイスプレイ 15とを含んで構成される。

[0030] 本実施の形態では、揺れ補正画像処理部 14は、車両 11に設定された 2つの特徴点を追跡することにより、ロッド部 12に設けられたカメラ 13の回転揺れと位置揺れとを検出し、検出されたカメラ 13の回転揺れと位置揺れとによるカメラ 13から特定距離面までの画像への影響を打ち消すように補正するようになって!/、る。

[0031] また、バンパー 11aにはロッド収納保持部 16が設けられており、ロッド部 12はこの口ッド収納保持部 16に支持されるとともに、長手方向に縮小したときにカメラ 13と共にロッド収納保持部 16に収納されるようになって!/、る。

[0032] 具体的には、ロッド部 12は車両 11の左前方角のバンパー 11aの内部に設置されており、撮像時には図 1に示すように車両 11の左前方角のバンパー 1 laの上方から突出することにより、カメラ 13はその位置からの画像を撮像して駐車操作やすり抜け時等に左前方の死角の画像を運転者に提示する。また、不使用時には、図 2に示すようにロッド収納保持部 16内に収納されることにより、カメラ 13がバンパー 11a内に格納される。

[0033] 図 3、図 4は揺れ補正画像処理部 14の揺れ補正処理を示す図である。図 1に示すように伸長した状態にあるロッド部 12の下方の車両には上下方向に離隔してマーカ一 17、 18が設けられており、ロッド部 12が伸長したときには、カメラ 13は図 3に示す画像を撮像するようになっている。図 3はこのときの撮像画像を示す図であり、カメラ 1 3はマーカー 17、 18、路面 19、路面 19上の白線 20、ロッド部 12、自車両 11のバンパー 11aを撮像する。

[0034] 揺れ補正画像処理部 14は、撮像画像中のマーカー 17、 18の動きを追跡してカメラ 13の位置揺れと回転揺れを検出し、その結果から図 1中の路面 19の高さの画像上での揺れの影響を想定してこれを補正する。

[0035] この結果、図 3中の路面 19や路面 19上の白線 20はロッド部 12の揺れによる画像の揺れが補正され、運転操作による自車両 11の動きに合わせた動きのみになり、運転者の視認性が向上する。

[0036] 次に、図 4に基づいて揺れ補正処理を具体的に説明する。

[0037] 図 4は車両 11の 2つの特徴点であるマーカー 17、 18を追跡することによって路面 1 9上の揺れを推定する方法を示したものである。図 4において、マーカー 17、 18は車両 11の上下方向に離隔して設けられており、カメラ 13からマーカー 17、 18、路面 19 までの距離をそれぞれ Zl, Z2, ZOで示す。

[0038] カメラ 13はレンズが真下を向いており、カメラ 13の揺れとしてはカメラ 13の水平方向の位置揺れ Dxおよび回転揺れ Axとし、画像の揺れはこれらの揺れの影響の線形和と仮定する。

[0039] 位置揺れ Dxによる画像揺れ（dxO, dxl, dx2)は、カメラ 13からの距離 Zによって d xO = Dx'fZZO、 dxl = Dx'fZZl、 dx2 = Dx'fZZ2で表せられる（但し、 fは焦点距離)。また、回転揺れ Axによる揺れは、カメラ 13からの距離 Zに関係なぐ axO = ax l = ax2で表わされる。

[0040] 実際に観測できる車両 11の 2つの特徴点の揺れ (xl, x2)は、それぞれの線形和： xl = dxl + axl、 x2 = dx2 + ax2である力も、路面 19上の揺れ XO = dxO + axOは、 XO= (X2— Χ1)·Ζ2·Ζ1Ζ (Ζ0· (Zl— Ζ2) ) + (Z

1 ·Χ1-Ζ2·Χ2)/ (Ζ1-Ζ2)と想定される。

[0041] 揺れ補正画像処理部 14は、この想定される路面上の揺れ ΧΟを補正量として入力画像の平行移動によって揺れを補正した出力画像を作ることができる。実際には、画像は 2次元 (X, Υ)情報であるので X方向を横方向としたとき縦方向である Υ方向にも同様の操作をすることによって、 X方向と Y方向のそれぞれの揺れを補正できる。

[0042] また、この方法は主にカメラ 13の光軸に近い画像に有効で撮像対称が光軸力離れるにしたがって補正量の誤差が生じてくる力それでも入力の揺れを 1Z2乃至 1 Z4以下に補正できれば、視覚上の見やすさは向上するので効果的である。

[0043] このように本実施の形態では、車両 11から突出する棒状のロッド部 12と、ロッド部 1 2に設置され、車両 11の周囲を撮像するカメラ 13と、カメラ 13によって撮像された画像が入力され、カメラ 13から路面 (特定距離面） 19の揺れを補正量 XOとして撮像画像を平行移動して出力する揺れ補正画像処理部 14とを設けたので、ロッド部 12が揺れることによりカメラ 13の回転揺れ Axと位置揺れ Dxが生じた場合でも、路面 19を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

[0044] 特に、本実施の形態では、揺れ補正画像処理部 14は、自車両 11に設定された複数のマーカー 17、 18を追跡することにより、ロッド部 12に設けられたカメラ 13の回転揺れ Axと位置揺れ Dxとを検出し、検出されたカメラ 13の回転揺れ Axと位置揺れ D Xとによるカメラ 13から路面 19までの画像への影響を打ち消すように補正するようにしたので、路面 19を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

[0045] また、本実施の形態では、カメラ 13によって撮像された画像をディスプレイ 15に表示するようにしたので、車両 11の周囲の状況を簡単に視認することができ、運転の安全性をより一層確保することができる。

[0046] なお、本実施の形態の揺れ補正画像処理部 14は、カメラ 13から路面 19の揺れを補正量 XOとして撮像画像を平行移動して出力しているので、カメラ 13が光軸方向を中心とした回転揺れを生じた場合に対応することができないが、この場合には、図 5 に示すようにカメラ 13が光軸方向に回転揺れを生じな、ようにすれば良、。

[0047] 図 5において、ロッド部 12にカメラ 13を取り付けるときに、ロッド部 12の先端にカメラ 13と反対側に位置するようにカウンターウェイト 21を取り付ければ良い。

[0048] すなわち、上述した揺れの補正方法は、画像を X方向と Y方向を独立して平行移動することによって揺れを補正する力これ以外に、カメラ 13の揺れにはカメラ 13の光軸方向を中心とした回転揺れ Rがある。この回転揺れ Rが生じた場合には、撮像画像は画面中心点を中心とした回転揺れが生じるので、平行移動では補正できな、。

[0049] 図 5 (a)に示すようにカメラ 13の重心位置 22がロッド部 12の中心軸 12aからずれて V、た場合、車両の加減速 23によってカメラ 13の重心位置 22とロッド部 12の中心軸 1 2aの間で回転モーメント 25が発生し、この結果、回転揺れ Rが発生しやすくなる。

[0050] 図 5 (b)ではこの回転揺れ Rを押さえるためにカメラ 13の重心位置 22と対称の位置にカウンターウェイト 21の重心位置 26を設置することによって 2つを合わせた重心位置 27をロッド部 12の中心に一致するようにしている。これにより車両 11の加減速 23 によってカメラ 13とカウンターウェイト 21それぞれに発生する回転モーメント 25と 28 が打ち消し合い、それによりカメラ 13光軸方向を中心とした回転揺れ Rは殆ど発生しない。この結果、このカウンターウェイト 21によりカメラ 13光軸方向を中心とした回転揺れ Rを抑制することができ、より補正効果の高、揺れ補正画像を得ることができる。

[0051] 図 6乃至図 10は本発明に係る運転支援装置の第 2の実施の形態を示す図であり、第 1の実施の形態と同様の構成には同一番号を付して説明を省略する。

[0052] 図 6において、ロッド部 12の先端にはカメラ 13と同じ位置に加速度センサ (検出手段） 31が設けられており、この加速度センサ 31はカメラ 13の位置揺れと回転揺れを検出して、この検出情報を揺れ補正画像処理部 14に出力するようになっている。

[0053] 本実施の形態の揺れ補正画像処理部 14は、図 7に示すように投影変換部 32および逆投影変換部 33を備えており、カメラ 13から特定距離面、例えば、路面 19に撮像画像を投影変換部 32によって投影変換した後、逆投影変換部 33によって揺れの生じなヽ仮想撮像装置に逆投影変換する画像合成を行うことで揺れ補正を行うようになつている。

[0054] 次に、図 7、図 8に基づいて揺れ補正処理を具体的に説明する。

[0055] 図 7は揺れ補正画像処理部 14のブロック図を示すものであり、図 8は揺れ補正画像処理部 14の揺れ補正を説明するための概念図である。なお、図 8中、カメラ 13はその光軸がやや真下からやや左前方方向に傾!ヽて設置されて!ヽる。

[0056] 運転中にあっては、カメラ 13は位置揺れ Dxと回転揺れ Axを生じ、この揺れ情報 3 4は加速度センサ 31によって検出された後、揺れ補正画像処理部 14に入力される。 [0057] 揺れ補正画像処理部 14はカメラ 13の撮像画像 35と加速度センサ 31から入力された位置揺れ Dxと回転揺れ Axの揺れ量を表わす揺れ情報 34を用いて図 7に示すァルゴリズムに従って揺れを補正し補正画像を出力する。

[0058] 本実施の形態では、カメラ 13は水平画角 110度一 140度の広角レンズを用いるものとし、このような広角レンズの場合レンズ歪みは不可避であるので、このレンズ固有のレンズ歪みや画角等のレンズデータ 36を揺れ補正画像処理部 14内部に記憶しておく。

[0059] さらにカメラ初期位置データ 38を基準に加速度センサ 31から入力された位置揺れ Dxと回転揺れ Axの揺れ情報 34を用いて、撮像画像 35が得られた時点のカメラ 13 の位置と角度を計算し、これらのデータによってレンズ歪み補正と位置揺れおよび回転揺れを補正して投影変換部 32によって車両 11を基準とした路面 19上に入力画像を投影変換する。

[0060] このことを図 8によって説明すると、揺れがない場合に初期位置 13aにあるカメラ 13 は、位置揺れ Dxと回転揺れ Axによってカメラ位置 13bやカメラ位置 13cのように変化する。この位置に基づいて撮像画像を車両 11の基準点 39を原点とした路面 19上に Wで示すように投影変換する。

[0061] この投影変換された画像を、カメラ仮想視点データ 40 (位置と方向）に位置してレンズデータ 37を持つ仮想撮像手段としての仮想カメラ 42で撮像した場合の画像を逆投影変換部 33によって合成して出力する。

[0062] 図 8で説明すると、車体の基準点 39を原点とした路面 19上に Wで示すように投影変換された画像を、さらに仮想視点 41に設置されたレンズデータ 37を持つ仮想カメラ 42で撮像されるであろう画像を逆投影変換部 33によって合成する。

[0063] これらの処理により、路面 19上に入力画像を投影変換した時点で揺れが補正されるので、さらに仮想カメラ 42で撮像した場合の画像を逆投影変換によって合成し出力した画像上でも揺れが補正された良好な画像を得ることができる。

[0064] このように本実施の形態では、カメラ 13のレンズデータ 36を用いることにより、第 1 の実施の形態のように画像の中心付近だけでなく画面全体で揺れの少ない良好な画像を得ることができる。 [0065] また、一度路面 19に投影変換し、さらに仮想視点 41から見た画像を逆投影変換部 33によって合成する構成によって、第 1の実施例のようにカメラ 13を真下ではなぐ斜め左前方に向けて設定した場合であっても、路面 19を特定距離面として揺れを補正できる。したがって、カメラ 13を斜め左前方に向けることができるので、より広い範囲の周囲監視を行うことができる。

[0066] なお、カメラ仮想視点データ 40 (位置と方向）は、図 8の Wに示すように揺れがな、場合のカメラ 13の初期位置の視点と同じでも良、し、仮想視点 41に示すようにカメラ 13の初期位置と異なるものでも良い。

[0067] また、レンズデータ 37は、実際のカメラ 13のレンズデータ 36と同じ物でも良いし、異なる物でも良い。例えば、図 8 (b)に示すように実際のカメラ 13の広いレンズの画角 43に比べて少し狭い画角 44のレンズを想定したレンズデータ 37を用いることにより、揺れ補正による出力画像の周辺部の欠落を防ぐことができる。

[0068] また、本実施の形態では、加速度センサ 31を用いてカメラ 13の位置揺れ Dxと回転揺れ Axを検出しているが、第 1の実施例のように画像上で自車両 11の特徴点であるマーカー 17、 18を追跡することでカメラ 13の位置揺れ Dxと回転揺れ Axを検出しても良い。

[0069] また、本実施の形態では、図 7に示すような構成で入力された撮像画像を投影変換部 32と逆投影変換部 33で 2回の変換を行ったが、図 9に示すような構成にして、画像の変換処理を 1回にすることも可能である。

[0070] 以下、その方法を具体的に説明する。まず、図 10に示すように、入力撮像画像について縦 6列横 8列の長方形に分割し各長方形の頂点をポリゴン頂点としてサンプルする。

[0071] ここで、各ポリゴンは 3角ポリゴンであり、例えば、図 10 (a)の長方形 61は 2つの 3角ポリゴン 61a、 61bに分割される。図 10 (a)の撮像画面は縦 7列横 9列のポリゴン頂点でサンプルされることになる。

[0072] 図 9ではこの撮像画面のポリゴン頂点データ 51につ、て、揺れ情報 34、レンズデータ 36、カメラ初期位置データ 38を用いて路面 19上に投影した場合のポリゴン頂点位置をポリゴン頂点座標投影変換部 52で計算する。 [0073] 図 10 (b)は路面 19上に投影されたポリゴン頂点位置を示したものであり、例えば、図 10 (a)に示す撮像画面中の 1ポリゴン頂点 62は、図 10 (b)に示す路面 19上のポリゴン頂点 63の位置に変換される。図 10 (b)において、自車両 11のバンパー 11aの位置 64が路面 19上に投影されており、この位置 64は自車両 11位置に固定された路面 19の基準点 39に連続する。

[0074] また、図 9においてポリゴン頂点座標逆投影変換部 53では、レンズデータ 37とカメラ仮想視点データ 40を用いて、図 10 (b)に示す路面 19上に投影されたポリゴン頂点データを、図 8に示す仮想カメラ 42で撮像されるであろう画像画面上に図 10 (c)に示すように逆投影変換する。

[0075] このとき、例えば図 10 (b)に示す路面 19上の 1ポリゴン頂点 63は、図 10 (c)に示す仮想カメラ撮像画面中のポリゴン頂点 65の位置に変換される。ここで、図 10 (c)に示す仮想カメラ 42で撮像されるであろう画像画面の枠 66の外のポリゴン頂点データも計算される。 )

また、図 9に示すポリゴン画像合成部 54では、図 10 (c)に示す仮想カメラ 42画面上のポリゴン頂点データと撮像画面ポリゴン頂点 51を用いて撮像画像を変換して揺れ補正画像 45を出力する。

[0076] 例えば、撮像画像の 1長方形 61の 2つの 3角ポリゴン 61a、 61bは、図 10 (c)上で 3 角ポリゴン 67a、 67bに投影変換されているので、その内部の各画素の画像データはァフィン変換 68によって線形的に変換される。

[0077] また、このときレンズデータ 36内にレンズのシェーディングデータ 55、すなわち、画面中央が明るく周囲が暗い現象データを合わせ持ち、ポリゴン頂点データにそれを補正するゲインデータを添付し、ポリゴン画像合成部 54での変換時にこのゲインを乗じて変換することにより、シェーディングを持った撮像カメラの揺れによる揺れ補正画像上の明るさの揺れも補正され、より見やすい画像を得ることができる。

[0078] また、仮想カメラ 42のレンズデータ 37内に仮想レンズのシェーディングデータ 56を持たせることで、補正画像上により自然なシェーディングを持った画像を合成することができる。

[0079] 図 11乃至図 13は本発明に係る運転支援装置の第 3の実施の形態を示す図であり、第 1、第 2の実施の形態と同様の構成には同一番号を付して説明を省略する。

[0080] 図 11において、ロッド部 12の先端にはカメラ 13と同じ位置に測距センサ（測距手段 ) 71が設けられており、この測距センサ 71はカメラ 13の撮像範囲にっ、てカメラ 13 力もの距離を測距してこの検出情報を揺れ補正画像処理部 14に出力するようになつている。

[0081] また、揺れ補正画像処理部 14は測距センサ 71の検出情報に基づいて特定距離面を可変にするようになっており、ディスプレイ 15はこの揺れ補正画像処理部 14の出力画像上に測距センサ 71によって検出された路面、バンパー等の障害物 (特定距離面)警報を合成して表示するようになって!/ヽる。

[0082] 次に、図 12、図 13に基づいて揺れ補正方法を具体的に説明する。

[0083] まず、測距センサ 71はカメラ 13の撮像範囲 72内に障害物がない場合、撮像範囲内で自車両 11を除く最も近い物体である路面 19までの距離 ZOを測距データとして出力する。なお、予め撮像範囲内で自車両 11の部分はマスキングによって測距範囲から除いておく。

[0084] このとき、揺れ補正画像処理部 14は、第 1の実施例と同様に特徴点であるマーカ一 17、 18の揺れ量 XI、 X2から路面上の揺れ XOを下式のように推定し、この揺れを打ち消すように画像を平行移動することによって揺れを補正する。

[0085] ΧΟ= (Χ2-Χ1)·Ζ2·Ζ1/ (Ζ0· (Zl— Ζ2) ) + (Ζ1 ·Χ1— Ζ2

·Χ2)/ (Ζ1-Ζ2)

[0086] 次いで、撮像範囲内に図 12に示すように他車両 73が入って来た場合、測距センサ 71は、撮像範囲内で自車両を除く最も近い物体である他車両 73のバンパーまでの距離 Ζ3を測距データとして出力する。

[0087] このとき、揺れ補正画像処理部 14は、第 1の実施例と同様に特徴点であるマーカ一 17、 18の揺れ量 XI、 Χ2力ら図 12中、カメラ 13から Ζ3の距離にある面 74での摇れ Χ3を下式のように推定し、この揺れを打ち消すように画像を平行移動することによつて揺れを補正する。

[0088] Χ3= (Χ2-Χ1)·Ζ2·Ζ1/ (Ζ3 · (Zl— Ζ2) ) + (Zl 'Xl— Ζ2

·Χ2)/ (Ζ1-Ζ2) [0089] このように本実施の形態では、カメラ 13の撮像範囲についてカメラ 13からの距離を測距する測距センサ 71を設け、揺れ補正画像処理部 14が測距センサ 71に検出情報に基づいて特定距離面を可変にするようにしたので、障害物がない場合は路面 1 9の揺れが少ない見やすい画像を得ることができ、また、画像内に他車両 73のバンパー等の障害物が入って来た場合には、路面 19よりも障害物において揺れの少な V、画像を得ることができるので、運転者は障害物が自車両 11にどの程度接近して!/ヽるかを容易に確認することができ、より安全な運転を行うことができる。

[0090] 一方、図 13は、このときにディスプレイ 15に表示される画像を示したものであり、図 13 (a)は、障害物がない場合で路面 19や路面 19上の白線 20の揺れが少ない見やす、監視画像が表示されて、る。

[0091] また、図 13 (b)は画像内に他車両 73のバンパー等の障害物 75が進入したものを示す図であり、路面 19や路面 19上の白線 20よりも障害物 75において揺れの少ない画像を得ることができるので、運転者は障害物 75と自車両 11との距離 76を容易に確認することができ、より安全な運転を行うことができる。また、画像内に他車両 74のバンパー等の障害物が入って来た場合にはディスプレイ ₁₅上に障害物警報 ₇₇を点滅するようにすれば、運転者の注意を促すことができる。

[0092] 特に、運転者は、車内のディスプレイ 15だけを注視しているわけでなく常に周囲を直視でも確認する必要があるので、この障害物警報 77を点滅させることにより障害物の見逃しを現象させることができ、視認性をより向上させることができる。

[0093] 図 14乃至図 18は本発明に係る運転支援装置の第 4の実施の形態を示す図であり

、第 1、第 2の実施の形態と同様の構成には同一番号を付して説明を省略する。

[0094] 図 14において、ロッド部 12の揺れによるカメラの位置揺れと回転揺れを検出する加速度センサ (検出手段) 81と、舵角を検出する舵角センサ 82と、車輪の回転を検出する車輪センサ 83とを備えている。

[0095] また、揺れ補正画像処理部 14は、図 15に示すようにポリゴン頂点座標投影変換部

88、ポリゴン頂点座標逆投影変換部 89、ポリゴン画像合成部 90、フロー解析部 91、一致判定画像合成部 92、車両動き推定部 95および予測画像作成部 98を備えてヽる。 [0096] 本実施の形態では、図 16に示すように路面 19以外に路面 19上の複数の高さに設定された面 84、 85、 86を想定し、これを図 15の複数距離面 87として、それぞれの面で揺れが補正できるようにポリゴン頂点座標投影変換部 88およびポリゴン頂点座標逆投影変換部 89でポリゴン座標の変換計算を行ヽ、ポリゴン画像合成部 90がそれぞれの 84、 85、 86面で揺れが補正できるよう調整された複数の揺れ補正画像 120 を出力する。

[0097] その複数の揺れ補正画像 120は、メモリ 94とフロー解析部 91と一致判定画像合成手段 92に出力される。メモリ 94では、過去の複数の揺れ補正画像 120が記憶されており、フロー解析部 91では現在の複数の揺れ補正画像 120との比較によって画像の各部の動きを解析したフロー解析結果を車両動き推定部 95に出力する。

[0098] 車両動き推定部 95は舵角センサ 82から舵角情報 96、車輪センサ 83からの車輪情報 97を用いて車両 11の動きを推定するとともにフロー解析部 91の解析結果を用いてこれを調整し、予測画像作成部 98に出力する。

[0099] 予測画像作成部 98は、車両動き推定部 95の出力結果に基づいて各複数距離面 8 7に対応した動き推定予測画像を出力する。また、一致判定画像合成部 92は、実際の複数の揺れ補正画像 120の画面の各部において、各複数距離面 87に対応した予測画像と最も一致する距離面の揺れ補正画像 93を判定選択して 1画面の画像を合成する。

[0100] 図 17はこれらの様子を説明するための概略図であり、図 17 (a)は路面 19での補正画像を示したものである。このとき、自車両が矢印 99aや 99bの方向に動いた場合、補正画像中の路面 19の部分は矢印 100に示すように略反対方向に流れる。

[0101] このような流れはフロー解析 91において過去の補正画像と現在の補正画像を比較すること〖こよって検出される。一方、舵角情報 96および車輪情報 97からも車両の動きを推定できる。

[0102] 図 17 (a)中、舵角情報 96および車輪情報 97からも推定された車両の動き 99aを示す。但し、この推定された車両の動き 99aには車輪のスリップ等により誤差を含む場合がある。この誤差を減らすために、フロー解析結果 100をカ卩味することによって、より正確な車両の動き 99bの推定結果が求められ、予測画像作成部 98に出力される。 [0103] 予測画像作成部 98では、この車両の動き 99bの推定結果に対して、複数距離面 8 7に対応した動き推定予測画像を出力する。例えば、車両の動き 99bに対しては、路面 19においては図 17 (a)中、符号 101のように画像が動き、また路面 19から高さ HI の面では符号 102のように画像が動くと想定され、すなわち、カメラ 13に近い高い面ほど動きの大きさが大きくなるので、それぞれ過去の補正画像を、符号 103、 104のように動かすことによって現在の補正画像の予測画像を得ることができる。

[0104] 一致判定画像合成部 92では、複数距離面 87における補正画像と予測画像を画面各部で比較し、最も一致する距離面の補正画像を判定選択し、 1画面の画像を合成する。このとき、画像にエッジが無くて同様に一致する場合などは路面 19に近いより低い面が選択される。

[0105] 図 17 (b)はその様子を示したものであり、図 17 (b)中、路面 19や路面 19上の白線

20の部分は、路面 19上における補正画像と予測画像が最も一致するので、路面 19 上における補正画像が選択される。

[0106] 一方、他車両のバンパー等の障害物 105が画面に入ってくると、例えば、路面 19 力高さ HI面での補正画像と予測画像が最も一致するので、高さ HIの面補正画像が選択される。

[0107] このように選択された各部の画像を合成して 1枚の揺れ補正画像 93を出力する。なお、このとき、高さ HIの面と路面の補正画像がそれぞれ選択される部分の境界線 10 7では、画像の不連続性が強調されるので、高い位置 HIに有る面の選択部分から低い位置にある路面 19の選択部分へと拡張する形で緩衝域 108を設け、その間で重み付けを変えながら 2つの補正画像を合成することで画像の不連続性を抑えるようにする。

[0108] この一致判定画像合成部 92では画面中のどの部分が複数距離面 87の何れかに近いかを判定するので、この判定結果を車両動き推定部 95にフィードバックして、次の時点でフロー解析結果を用、た車両の動き推定の調整に利用する。

[0109] また、一致判定画像合成部 92では画面中、どの部分が複数距離面 87の何れかに近いかを判定するので、その結果、障害物判定も可能となる。したがって、この判定結果は、別途障害物検出警報にも利用できる。障害物が検出された場合には、図 17 (b)に示すように障害物警報部 109によって障害物検出警報 110を点滅させても良ぐあるいは障害物 105と路面 19の境界の緩衝域 108上全体に警報をスーパーインポーズして点滅させても良！、。

[0110] また、ここでは一致判定画像合成部 92は、実際の複数揺れ補正画像 120の画面の各部において、複数距離面 87に対応した予測画像と最も一致する距離面の補正画像を判定選択し、 1画面の画像を合成する構成にしたが、他の態様として図 18〖こ示す構成も可能である。

[0111] このように本実施の形態では、複数距離面 87を想定してそれぞれについてカメラ 1 3の位置揺れと回転揺れの影響を補正した補正画像と自車両 11の動きから過去の画像を用いて予測した予測画像の一致を判定することによって、障害物 105が画面に入った場合でも障害物の部分でも路面 19の部分でも揺れの影響が抑制された見やす、監視画像を得ることができる。

[0112] なお、図 18では図 15に示す一致判定画像合成部 92の代わりに、一致判定部 111 、ポリゴン頂点合成部 112、ポリゴン画像合成部 113を備えている。一致判定部 111 は、複数補正画像 120の画面の各部において、複数距離面 87に対応した予測画像と最も一致する距離面の判定のみを行、、その結果をポリゴン頂点合成部 112に出力する。

[0113] ポリゴン頂点合成部 112は、ポリゴン頂点座標逆投影変換部 89の出力である複数距離面 87で揺れ補正する場合のポリゴン頂点データと一致判定部 111の出力に基づき、画像の各部で予測画像と最も一致する距離面で揺れ補正した場合のポリゴン頂点データを合成し出力する。ポリゴン画像合成部 113はこのポリゴン頂点データを元に撮像画像 35を用いて画像合成し、揺れ補正画像 93を出力する。

[0114] このようにすれば、高さの異なる面が選択される部分の境界でもポリゴン頂点データで線形的に位置データが補間することができるので、画像の不連続性が強調されるのを防止することができる。したがって、図 17 (b)に示すような緩衝域 108を設け、その間で重み付けを変えながら 2つの補正画像を合成することで画像の不連続性を抑えるのを不要にできる。

[0115] 図 19乃至図 21は本発明に係る運転支援装置の第 5の実施の形態を示す図であり、第 1、第 4の実施の形態と同様の構成には同一番号を付して説明を省略する。

[0116] 第 4の実施例では、揺れ補正画像 93を出力するのと同時に障害物検出警報 110 を副次的に出力することができる力自車両の動きが少なくなり、カメラ 13の揺れが少なくなつた場合、カメラ 13の位置がほとんど動かないために、どの距離面においても同様に予測画像と補正画像が一致する。この場合、一致判定画像合成部 92では画像中に障害物が有っても路面が選択されるので、障害物検出精度が悪くなる。

[0117] 本実施の形態では、第 4の実施の形態をさらに効果的なものにするために、図 19 に示す振動手段 121をロッド部 12の先端のカメラ 13の位置に装着し、カメラ 13を積極的に振動させている点に特徴があり、図 20に示すように振動手段 121からは振動のタイミング信号を出力している。

[0118] すなわち、本実施の形態は、ロッド部 12を振動させる振動手段 121と、カメラ 13で得られる画像を入力し、振動に対する画像の揺れ量から路面等の特定距離面を検出する揺れ補正画像処理部 (距離検出手段） 14とを備えており、揺れ補正画像処理部 14は第 4の実施の形態の構成に加えて、図 20に示すように、振動手段 121からの振動のタイミング信号の出力に基づ!/、て振幅の片方の端点で撮像された画像のみを選択してポリゴン頂点合成部 112とポリゴン画像合成部 113を動作させて揺れ補正画像 93を合成させるためのスィッチ 122を備えている。

[0119] 図 21 (b)は振動の振幅の時間変化 141をグラフにしたものである。カメラ 13は振動手段 121からの振動のタイミング信号を元に、振幅の両端である時間、具体的には時間 142乃至 147のタイミングでシャッターを開けて画像を撮像する。したがって、振動手段 121は 30Hzでカメラ位置を振動させるときにカメラ 13はその振幅の両端で秒 60枚の動画像を撮像する。

[0120] このようにカメラ位置を積極的に動かすことによって図 21 (a)に示すように障害物 1 32が画像内に入って来た場合、その部分の画像は路面 19よりも距離面 84等で予測画像と補正画像が一致するので、これを判定することによって障害物の検出が可能となる。

[0121] したがって、自車両 11の動きが止まった状態で、本来ロッド部 12が揺れないような場合でも、カメラ位置を積極的に揺らすことによって安定した障害物検出精度を得ることができる。

[0122] また、図 20に示すように振動手段 121からの振動のタイミング信号の出力に基づいてスィッチ 122によって振幅の片方の端点で撮像された画像のみを選択し、ポリゴン頂点合成部 112とポリゴン画像合成部 113を動作させ揺れ補正画像 93を合成する。

[0123] また、振幅の片方の端点で撮像された画像として、図 21 (b)に示すように、時間 14 2、 144、 146で撮像されたものを選択し、揺れ補正画像 93を合成し出力する。この場合には秒 30枚の動画像を出力する。

[0124] 以上のように、本実施の形態では、振動手段 121によってロッド部 12を振動させることによってカメラ 13に位置揺れが生じさせるようにしたので、それによる画像の揺れ量によりカメラ 13からの距離を検出することができ、特定距離面が路面であるか障害物であるかを検出することができる。

[0125] この結果、揺れ補正画像 93における振動手段 121によるカメラ位置の振幅の影響はほとんど除去することができ、振動手段 121によるカメラ位置の振幅があるにもかかわらず第 4の実施例と略同等の揺れ補正画像を出力することができる。

産業上の利用可能性

[0126] 以上のように、本発明に係る運転支援装置は、棒状の保持手段の揺れによる画像の乱れを防止して、良好な画像を得ることができるという効果を有し、車両周辺を撮像して車内の表示手段に表示するようにした運転支援装置等して有用である。

Claims

請求の範囲

[1] 車両から突出する棒状の保持手段と、前記保持手段に設置され、前記車両の周囲を撮像する撮像手段と、前記撮像手段から特定距離面の揺れを補正量として前記撮像手段によって撮像された画像を処理して出力する揺れ補正画像処理手段とを備えたことを特徴とする運転支援装置。

[2] 前記揺れ補正画像処理手段は、前記車両に設定された複数の特徴点を追跡することにより、前記保持手段に設けられた前記撮像手段の回転揺れと位置揺れとを検出し、検出された前記撮像手段の回転揺れと位置揺れとによる撮像手段力特定距離面までの画像への影響を打ち消すように補正することを特徴とする請求項 1に記載の運転支援装置。

[3] 前記撮像手段の回転揺れと位置揺れとを検出する検出手段を有し、

前記揺れ補正画像処理手段は、前記検出手段によって検出された撮像手段の回転揺れと位置揺れによって前記撮像手段から特定距離面で生じる画像上の揺れを打ち消すように揺れを補正することを特徴とする請求項 1に記載の運転支援装置。

[4] 前記揺れ補正画像処理手段は、前記撮像手段から特定距離面に撮像画像を投影変換した後、揺れの生じな！/ヽ仮想撮像手段に逆投影変換する画像合成を行うことを特徴とする請求項 1に記載の運転支援装置。

[5] 前記撮像手段の撮像範囲について前記撮像手段からの距離を測距する測距手段を有し、

前記揺れ補正画像処理手段は、前記測距手段の検出情報に基づ!、て前記特定距離面を可変にすることを特徴とする請求項 1乃至請求項 4の何れ力 1つに記載の運転支援装置。

[6] 前記揺れ補正画像処理手段は、複数の距離面を想定し、それぞれの距離面につ V、て前記撮像手段の位置揺れと回転揺れの影響を補正した補正画像と自車両の動きから過去の画像を用いて予測した予測画像との一致を判定した後、前記撮像手段の画面の各部にお!、て最も一致する距離面の補正画像を選択し、補正画像を合成することを特徴とする請求項 1に記載の運転支援装置。

[7] 前記保持手段を振動させる振動手段を有し、前記揺れ補正画像処理手段は、前記振動手段によって前記保持手段を振動させたときに、前記振動に対する撮像画像の揺れ量から前記特定距離面を検出することを特徴とする請求項 1に記載の運転支援装置。

前記撮像手段によって撮像された画像を表示する表示手段を備えたことを特徴とする請求項 1に記載の運転支援装置。