WO2007111377A1

WO2007111377A1 - 運転支援装置

Info

Publication number: WO2007111377A1
Application number: PCT/JP2007/057019
Authority: WO
Inventors: Hideto Fujita; Yohei Ishii; Hitoshi Hongo
Original assignee: Sanyo Electric Co., Ltd.
Priority date: 2006-03-27
Filing date: 2007-03-23
Publication date: 2007-10-04
Also published as: EP2009590A8; JP4104631B2; EP2009590A4; CN101410868A; EP2009590B1; EP2009590A1; CN101410868B; US20100165104A1; JP2007264831A; US9308862B2

Abstract

車体に搭載されかつ車体の周辺領域を撮像する撮像装置（１）、撮像装置（１）によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段（２）、およびレンズ歪み補正手段（２）によって得られた画像を表示するための表示器（３）を備えており、レンズ歪み補正手段（２）は、入力画像を複数の領域に分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なうものである。

Description

運転支援装置技術分野

この発明は、運転支援装置に関する。明

背景技術

1 . 車载カメラ

書

自動車においては、運転者からの死角を無くし視認性を向上させるカメラの装備が一般的になりつつある。 2 0 0 6年度には視認用カメラの出荷台数は 2 0 0 万台を越えると言われている。トラックを含めた国内の新車売上台数が年間 6 0 0万台弱であることから、およそ 3台に 1台は視認用カメラを取り付けている計算になる。

視認用のカメラには、（1 ) 後退時に車両後方映像を表示するリアカメラ、（ 2 ) 運転者と反対側の前輪部分の映像を表示するフロントサイドカメラ、 ( 3 ) 車両直前の死角を視認するフロントカメラ、（4 ) 狭い路地などからの発進時に発生する側方の死角の映像を表示するサイドブラインドカメラなどがある。現在は、リァカメラが視認用カメラの 7 7 %を占め主流となっている。

視認用の車載カメラでは、少しでも死角を小さくするため、広角の光学系を用いることが一般的である。リアカメラでは、水平面が 1 0 0度を越える。このような光学系を備えた車載カメラで撮像された画像には大きな" たる状" の歪曲収差が発生する。この歪みにより、運転者にとって、画像に写る障害物の位置ゃ距離感が直感的に分かりにくくなる問題がある。

2 . 歪み補正

2 . 1 光学処理によるレンズ歪み補正手法

たる型の歪みを補正する方法として大きく 2つの方法がある。 1つは、光学系の構成を工夫することにより歪みを抑える方法であり、 2つめは、画像撮影後にデジタル的な方法で画像を補正する方法である。

光学歪み補正は、非特許文献 1、 2に示されるように、非球面レンズを用いるなど光学系の構成を工夫することにより補正が実現される。非特許文献 1 ：フリー百科事典「ウイキぺディア（Wikipedia) 」写真レンズの項

非特許文献 2 ：デジタルカメラの最先端技術第 4章レンズ ·光学系設計 (株）技術情報研究会し力し、歪曲収差は画角のほぼ 3乗に比例して増大し、車載カメラに用いるような広角の光学系になってくると、光学系の工夫だけで、完全に歪みを補正することは困難である。また、補正の程度は光学系の設計段階で決まってしまい、ュ一ザが使用する段階で、歪みの程度を調整することは難しい。さらに、非球面レンズは金型を用いて生産するため、初期投資が大きくなる問題もある。

2 . 2 画像処理によるレンズ歪み補正手法

画像処理によってカメラのレンズ歪みを補正する手法としては、 Tsaiの手法 (非特許文献 3、 4参照）や Zhengyou Zhangが提案したアルゴリズム（非特許文献 5、 6参照）がよく用いられている。本手法は、コンピュータプログラムとして実装したライブラリとしても提案されており（非特許文献 7参照）、本発明の歪み補正にも利用できる。非特許文献 3 ： R. Y. Tsai： A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses ; IEEE Journal of Robotics and Automation, RA - 3, 4， pp. 323- 344 (1987) . ..

非特許文献 4 ：コンピュータビジョン：技術評論と将来展望 1998年 6月浅田尚紀

非特許文献 5 ： Z. Zhang. "Flexible Camera Calibration By Viewing a Plane From Unknown Orientations ， Proc. of ICCV' 99， pp666 - 673, 1999. 非特許文献 6 ： Z. Zhang. "A Flexible New Technique for Camera

Calibration" IEEE, PAMI 22(11), pp 1130-1134， 2000.

非特許文献 7 ： OpenCV Reference Manual, 6 3D Reconstruction [Camera Calibration] , pp6― 1—6 3. 提供されているライブラリでは、図 1に示すような平面上にある規則的な既知パターンを、カメラと平面の相対関係を変更しながら撮影した複数の画像を用いて、カメラの歪み補正を行うための 4個のパラメータ（k! ， k₂ , pi , p₂ ) を算出する。これらのパラメータは、歪み補正強度を制御するパラメータである。これらのパラメータの値が大きいほど歪み補正強度が大きくなる。

これらのパラメータを用いて、次式（1) を用いて取得画像の座標位置（x， , y' ) と歪み補正後の座標値（x， y) の対応関係を求めることができる。ただし、座標位置は、画像の中心を原点として、水平方向に X座標を、垂直方向に y座標をどった座標系で表されている。式（1) 中において、 r 2 = _X 2 + _{y 2} である。 x ' = x + x (k， r ² +ka r ⁴ ) + 2 p i x y + p₂ ( r ² + 2 x² ) y ' = y + y (k i r ² + k₂ r ⁴ ) + 2 p i x y + p₂ ( r ² + 2 y ² )

… (1) 上記手法を用いて、歪み補正を行った画像の例の模式図を図 2 (a) 、図 2 ( b) および図 2 (c) に示す。図 2 (a) は図 1の既知パターンを撮影した原画像を、図 2 (b) は歪み補正全体画像を、図 2 (c) は歪み補正切出し画像を示している。広角カメラを用いた場合には、原画像のようにたる型の歪みが発生することが多く、歪みを補正すると、矩形の角の 4箇所が広がった「歪み補正全体画像」のような画像となる。また、基本的には歪み部分を広げる変換を行うため、画像サイズは原画像よりも大きくなる。

一般には、これらの画像は視認性が低下するとの判断により、「歪み捕正全体画像」内から矩形領域（図 2 ( b ) において破線の矩形枠で囲まれた領域）を切出した「歪みネ詹正切出画像」を表示に用いることが多い。「歪み補正全体画像」から内部の矩形領域を切出す際には、歪み補正の際広がつた画像の角の 4箇所部分は破棄されるため、原画像で取得していた情報の一部を表示しないことになる。そのため、閲覧者の視認性は向上するかもしれないが、画像全体の情報量は低下している。なお、歪み補正や切出しの際には、表示系の画像解像度に応じて、拡大や縮小の処理を伴う場合がある。

歪み補正をハードウェアにより行う手段として、予め補正前後のァドレスを対応づけた補正テーブル（ルックアップテーブル）を準備し、このルックアップテ一ブルにしたがって、画素のアドレスを変換する方法が考えられる。歪みは 2次元の形状を持つことと、補正後の画素アドレスが必ずしも補正前の整数アドレスに対応しないことにより、 1画面分の入力画像を記憶するフレームメモリと、画素を補間する補間演算回路が必要となり回路規模が大きくなる問題がある。特許文献 1では、歪み補正を水平方向に対して行うことにより、ラインメモリと 2画素の補間回路で歪み補正を行うことが提案されている。また、特許文献 2 では、補間回路の構成を簡略化することと歪み補正により発生する画像 4隅の欠けを回避する目的で、画像の X軸、 Y軸を 2段階に分けて順次処理する手法を提案している。これらの特許文献 1、 2では、回路の簡素化が主目的であり、ユーザの可観測性を向上させるために、歪み補正の強度を制御する考えはない。特許文献 1 ：特許第 3 0 4 7 5 8 1号公報「画像歪み補正方法及び装置」ラインメモリを用いた歪み補正 ..

特許文献 2 ：特許第 3 4 5 1 0 1 7号公報「画像処理方法及び装置」水平、垂直の 2段階補歪み補正デジタルカメラの歪みを補正する目的でも、デジタル歪み補正が提案されている（非特許文献 8参照）。デジタル歪み補正では、歪み補正のパラメータを変換することで、歪みの強度を変更すること、歪み補正の精度を向上させることなどが可能である。しかし、ここでは、光軸を中心に点対称に分布する歪みを一様に減少させることが目的となっている。非特許文献 8 ：「デジタルカメラにおける画像補正技術」 Ricoh Technical Report No, 31 (Dec.， 2005) http .' //www. ricoh. co. jp/ about/business overview/report/31/pdf/A31 l4. pdf

3 . 車載カメラの歪み捕正 ·画像変換

車載用カメラでも、運転者の視認を行いやすくするために、様々な提案が行われている。

特許文献 3では、歪みを完全に補正することが必ずしも運転者の認知性（特に距離感）向上に有利でないとして、縦おょぴ横方向に緩やかな歪みを与えることで距離感を保存するような歪み補正を提案している。この提案では、認知性の向上に主眼がおかれ、画角を保存するとの考えはない。また、歪みをゆるやかに変換させることのみ記述され、画像を領域に分けて歪み補正の強度を変更する概念はない。特許文献 3 ：特開 2 0 0 3— 1 2 3 0 6 4号公報「画像変換装置並びにそれを組み込んだ撮像及び/又は表示装置」特許文献 4では、トレーラを牽引するためのヒ.ツチを持つ車両において、ヒッチ部分を抽出して拡大表示する手法が提案されている。この提案では、ヒッチ部分と広範囲画像を同時に別々の画像として表示することが提案されており、歪み補正の強度を制御する概念はない。特許文献 4 ：特許第 3 4 8 3 1 4 3号公報「運転支援装置」特許文献 5では、 9 0度以上の広角を撮影するカメラにおいて、注目領域の画像を部分的に抜き出すと同時に、歪みを補正する手法が提案されている。この提案では、一律に歪み補正をかけた上で、画像を抜き出すのと等価であり、歪み補正の強度を制御する概念はない。特許文献 5 ：特許第 3 4 4 6 2 7 7号公報「車両用周囲状況表示装置」特許文献 6では、プリズム様の光学部材を用いることで光学的にゆるやかな歪み補正を与えることを提案している。この提案でも、歪みをゆるやかに変化させることのみ記述され、画像を領域に分けて歪み補正の強度を変更する概念はない。また、光学式の歪み補正であるため光学系を設計後に歪み補正の強度を変更することはできず、補正強度を車両への搭載状態に応じて調整する概念はない。特許文献 6 ：特許第 3 4 4 6 9 9 1号公報「監視装置」車両の姿勢や周囲の状況を把握しやすくする目的で、カメラの位置や角度を仮想的に変換する方法が提案されている。特許文献 7では、車両後方カメラの取り付け高さを仮想的に変換することで、車両に近い領域と遠い領域の見えの違いを小さくすることや、カメラの前後方向の取り付け位置を仮想的に変換することで、視界の不要領域となるバンパーの写りを小さくする手法が提案されている。特許文献 7 ：特許第 3 6 2 4 7 6 9号公報「車両後方監視装置用画像変換装置」国内自動車メーカのォプションに採用されるバックカメラ（非特許文献 9参照 ) や特許文献 8では、カメラを仮想的に鉛直下方に向けることで、道路の駐車線と自車の位置関係をわかりやすく表示している。これらの提案では、認知性の向上に主眼がおかれ、画角については犠牲になっている。非特許文献 9 ：スズキエブリイヮゴン用アクセサリーセレクトビューバッグアイカメフ http : //www. suzuki - accessory, jp/ every/ navi/99020 ― bl4. html 特許文献 8 ：特許第 3 2 8 6 3 0 6号公報「画像生成装置、画像生成方法」車幅延長線や進路予想線を正確に表示するには車体に対するカメラ取り付けの精度が求められる。また、上記に記載したような画像の座標変換を行うような高機能なカメラにおいてもカメラ取り付けの精度は重要である。カメラの取り付けを調整し検查する手法も重要となってくる。

特許文献 9では、取り付けた力メラの角度が画像変換による微調整可能範囲であるかどう力 \ あるいは、角度の調整方法を作業者に示すために、車両前方の所定位置に設置する基準テストパターンと、撮影画像の所定位置に表示する判定パ • ターンを比較する手法を提案している。この特許では、カメラの角度調整にのみ注目しており、歪み係数を調整する概念はない。特許文献 9 ：特許第 3 5 6 5 7 4 9号公報「車載力メラの撮像方向の検查方法およびその検査装置」特許文献 1 0では、カメラの取り付け位置、角度、レンズ光軸のずれを補正する目的で、カメラ前の所定位置に設置するテストパターンと、車両に対する設計値として決まる基準位置から算出されるテストパターンの理想撮像位置を比較する手法を提案している。この特許では歪み係数を含めたカメラパラメータを、テストパターンの実撮像位置と理想撮像位置のずれから算出することを提案しているが、歪み係数を調整するための提案はない。特許文献 1 0 ：特許第 3 6 3 2 5 6 3号公報「映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法」上述したように、通常車载カメラは広角の光学系が用いられているため、大きなレンズ歪みを持つ。車体真近の障害物と自車を同時に把握できるように、図 3 に示すように、画像内の一部に車体が写るようにカメラ位置を設定するのが普通である。図 3の例は、駐車場が撮影されているが、車体の一部としてリアパンパ一（図 3に 1 0 0で示す）が写っている。車体は、一部が写っている必要がある、レンズ歪みが大きいと、画像の多くの領域を車体が占めることになる。レンズ歪みに加え、カメラの取付位置が車の中央からオフセットされることが多く、最適な力メラポジションを探すことはさらに難しくなる。

デジタル方式の歪み補正では、ほぼ完全にレンズ歪みを補正することが可能である。図 4に歪み補正後の画像を示す。この場合、車体端の歪みがほとんどなく、車体が大きく写りすぎる難点は解消される。し力し、一方で、歪みを解決することにより、対角の情報が欠落することになる。対角の情報とはカメラの上側視野の両側の領域の情報をいい、図 3の右上おょぴ左上の部分の情報に相当する。例えば、図 4に破線で示すように、図 3の右上の車両の情報が欠落する。

対角画角が重要であるかどうかは、車体に対するカメラのセッティングにより変わる。カメラの俯角が大きい場合はカメラの上側視野が道路面を撮影する。この場合、道路面には人や車など、自車に干渉する障害物がある可能性があり、重要な領域である。歪み補正により、対角情報が欠落することは好ましくない。力メラの俯角が小さい場合は、カメラの上側視野が道路面より上になってくる。この場合、自車に干渉する障害物がある可能性は低..く、また、通常、運転者から直接視認が可能になる。このようなカメラセッティングとなった場合は、対角情報よりも歪みを重視して歪み補正をかけることが可能になる。

この発明は、入力画像に対してレンズ歪み補正を行なう場合に、入力画像を複数の領域に分け、各領域別に歪み補正強度を変えることができる運転支援装置を提供することを目的とする。発明の開示

この発明による運転支援装置は、車体に搭載されかつ車体の周辺領域を撮像する撮像装置、撮像装置によつて撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、およびレンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、レンズ歪み補正手段は、入力画像を複数の領域に分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする。

上記レンズ歪み補正手段としては、例えば、入力画像を車体からの距離およびまたはカメラの俯角に応じて複数の領域に分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なうものを用いてもよい。

複数の領域を設定するための領域設定手段および領域設定手段によつて設定された領域毎に歪み補正強度を決定する歪み捕正強度決定手段を設け、上記レンズ歪み補正手段は、歪み補正強度決定手段によって決定された領域毎の歪み補正強度に応じたレンズ歪み補正を、入力画像に対して行なうようにしてもよい。複数の領域を仮設定するための領域仮設定手段、領域仮設定手段によって仮設定された領域毎に歪み補正強度を仮決定する歪み補正強度仮決定手段、歪み補正強度仮決定手段によつて仮決定された領域毎の歪み補正強度に応じた歪み補正の効果をダリッド線で表示器に表示させる手段、および歪み補正強度仮決定手段によって仮決定された領域毎の歪み補正強度を、本来の領域毎の歪み補正強度として本設定させる本設定手段を設け、上記レンズ歪み補正手段は、本設定手段によつて本設定された領域毎の歪み補正強度に応じた.レンズ歪み補正を、入力画像に対して行なうようにしてもよい。図面の簡単な説明

図 1は、画像処理によってカメラのレンズ歪みを補正する手法を説明するための説明図である。

図 2 (a) 、図 2 (b) および図 2 (c) は、レンズ歪み補正を行った画像の例を示す模式図である。

図 3は、車載力メラによつて撮像された画像の一例を示す模式図である。図 4は、図 3の画像に対するレンズ歪み補正後の画像を示す模式図である。図 5は、車体部および車体近傍部には強い歪み補正をかけ、遠方部では車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけた例を示す模式図である。

図 6は、車体部においては強いレンズ歪み補正をかけ、車体近傍部においては、車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけ、遠方部においてはレンズ歪み補正を行なわないようにした例を示す模式図である。図 7は、運転支援装置の構成を示すブロック図である。

図 8は、 LUT21によるレンズ歪み補正手法の概要を説明するための模式図である。

図 9 (a) および図 9 (b) は、 LUT 21の構造例を示す模式図である。図 10は、補間演算方法を説明するための模式図である。

図 1 1は、歪み補正強度調整ソフトが起動された場合に P C 50に表示される歪み補正強度調整画面の例を示す模式図である。

図 12は、境界位置 u, sと、歪み補正強度パラメータを制御する係数 a (0 ≤α≤ 1) との関係を示す模式図である。

図 1 3 (a) 、図 13 (b) および図 13 (c) は、入力画像、本実施例による歪み捕正を行った結果の全体の画像、および表示用に切出した画像をそれぞれ示す模式図である。 ..

図 14は、歪み補正強度の配分を簡易的に示すためのグリッドの例を示す模式図である。

図 1 5は、画像全体に対して a = 1を設定した場合のグリッド上の座標値から αの設定値に応じて、各々の対応点に相当する座標値を計算する方法を説明するための模式図である。

図 1 6 ( a ) および図 1 6 ( b ) は、歪み補正なしの場合（α = 0 ) の場合のグリッドの一例と、設定された u , sに基づいて作成された、歪み強度の配分を示すダリッドの一例とをそれぞれ示す模式図である。発明を実施するための最良の形態

まず、本願発明の基本的な考え方について説明する。本願発明では、画像領域を車体部、車体近傍部および遠方部の領域に分け、領域毎に予め設定された歪み補正強度パラメータを用いて、レンズ歪み補正が行なわれる。

図 5は、車体部および車体近傍部には強いレンズ歪み補正をかけ、遠方部では車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけた例を示している。車体部および車体近傍部には強いレンズ歪み補正をかけてるため、車体端が正しく直線に表示されている。遠方部では、レンズ歪み捕正が弱くなつているので、レンズ歪みが残るものの、対角の情報量は保存されている。図 5のようなレンズ歪み補正は、カメラの俯角が小さいなど、対角情報がさほど重要でない場合に用いられる。

なお、図 6に示すように、車体部においては強いレンズ歪み補正をかけ、車体近傍部においては、車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけ、遠方部においてはレンズ歪み補正を行なわないようにしてもよレ、。図 6のようなレンズ歪み捕正は、カメラの俯角が大きいなど、対角情報が重要な場合に用いられる。

以下においては、図 6に示すような、歪み補正強度の分配で、入力画像に対してレンズ歪み補正を行なう場合の実施例について説明する。

〔1〕実施例 1 図 7は、運転支援装置の構成を示している。

運転支援装置は、画像を入力するカメラ 1、レンズ歪み補正部 2および画像を表示するモニタ 3を備えている。この例では、レンズ歪み補正部 2はカメラ 1またはモニタ 3から独立した構成となっているが、カメラ 1と一体をなす構成としても、モニタ 3と一体となす構成としてもよレ、。この例では、カメラ 1としては、車両の後方映像を撮像するリアカメラが用いられている。本実施例では、レンズ歪み補正の強度を調整するツールとして、キャリブレーション用 PC 50を用いている。

レンズ歪み補正部 2は、入力画像と出力画像の座標の対応関係を記憶する LU T (ルックアツプテーブル） 21および LUT 21に基づいてレンズ歪みネ甫正画像を計算する CPU 22を備えている。また、後述する実施例 2で説明するように、歪み補正強度の配分（レンズ歪み補正の効果）を画像上で分かりやすく表示するための〇SD (オンスクリーンディスプレイ）回路 23を備えている。 CP U22は、 O SD回路 23への表示指示、 PC 50とのインターフェースも受け持つ。

図 8は、 LUT2 1による歪み補正手法の概要を示している。

図 8の左側は入力画像（歪み画像） 101を示し、図 8の右側は出力画像（歪補正画像） 102を示している。入力画像に対しては、原点（0， 0) を入力画像の左下にとり、横軸に X座標、縦軸に y座標を設定している。出力画像に対しては、原点（0， 0) を出力画像の左下にとり、横軸に i座標、縦軸に j座標を設定している。出力画像 102のある画素位置 P ( i， j ) における画素値を取得するために参照する原画像の画素位置 P' (Xり， Υυ) を、ルックアップテ一ブルの形式で保持している。

図 9 (a) および図 9 (b) は、 LUT 21の構造例を示している。

図 9 (a) および図 9 ( b ) では、出力画像における各画素位置に対して、 X 座標と y座標のそれぞれに対して LUTを保持している。図 9 (a) は、出力画像における各画素位置（i， j ) に対応する入力画像の x座標を記憶した LUT を示し、図 9 (b) は、出力画像における各画素位置（i，； i ) に対応する入力画像の y座標を記憶した L U Tを示している。

例えば、出力画像で（0, 0) の位置にある画素の画素値は、入力画像の（2

2. 5, 43. 7) の位置の画素値となる。また、出力画像で（2, 1) の位置にある画素の画素値は、入力画像の（23. 5, 44. 2) の位置の画素値となる。

出力画像における各画素位置に対応する入力画像の画素位置は、後述する歪み捕正変換式より求める。し力し、入力画像の画素位置は整数値であるため実際には X座標が 22. 5となるような画素は存在しない。そこで、この小数部分を用いて加重平均を行うことで変換後の画素値を算出する（Bi- Linear補間演算）。図 10を用いて補間演算について説明する。

ここでは、出力画像で（2, 1) の位置にある画素の画素値を求める場合について説明する。詳述したように、出力画像で（2， 1) の位置にある画素の画素値は、入力画像の（23. 5, 44. 2) の位置の画素値と'なる。

図 10において、 Xは入力画像内における位置（23. 5， 44. 2) に対応する仮想の画素を示している。図 10の A， B, C, Dは、仮想の画素位置（2

3. 5, 44. 2) に隣接する 4つの画素を示している。 A, B, C, Dの画素の位置は、それぞれ（23, 45) , (24, 45) ，（23, 44) ，（23 ， 44) である。

図 10において、 pは画素 Dと仮想画素 Xとの X座標の差分の絶対値を示し、 qは画素 Dと仮想画素 Xの y座標の差分の絶対値を示している。この例では、 p =0. 5, q = 0. 2となる。仮想画素 Xの画素値は、画素 A, B, C, Dの画素値を A， B, C, Dで表すと、次式（2) によって算出される。 X= p q A+ (1一 p) q B + p (1 - q) C+ (1一 p) ( 1— q ) D

― … （2) ところで、歪み捕正強度の配分は、カメラ 1の車体へのセッティングに応じて変更する必要がある。この実施例では、歪み補正強度の配分の設定は、キヤリブレーション用 P C 5 0を用いて行なわれる。

キヤリブレーション用 P C 5 0には、歪み補正強度の配分の設定を行なうための歪み補正強度調整ソフトがインストールされている。キャリブレーション用 P C 5 0と運転支援装置の C P U 2 2とは通信ケーブルを介して接続されているものとする。

図 1 1は、歪み補正強度調整ソフトが起動された場合に P C 5 0に表示される歪み補正強度調整画面の例を示している。

図 1 1において、 2 0 1は画像表示領域を示し、 2 0 2は画像取込ボタンを示し、 2 0 3は L U Tデータ転送ボタンを示し、 2 0 4は終了ボタンを示し、 2 0 5、 2 0 6はスライドキーを示している。スライドキー 2 0 5は車体部と車体近傍部との境界位置 uを設定するためのキーである。スライドキー 2 0 6は車体近傍部と遠方部との境界位置 sを設定するためのキーである。

図 1 2は、境界位置 u , sと、歪み補正強度パラメータを制御する係数 ( 0 ≤ α≤ 1 ) との関ィ系を示している。

この実施例では、画面下側から境界位置 uまでの領域（車体部）においては歪み補正強度を強くする。つまり、ひ = 1とする。

uと sの間の領域（車体近傍部の領域）においては、 uからの距離が離れるにしたがって、歪み補正強度を弱くさせていく。つまり、 uからの距離を tとすると、 a = I s - t I / I s - u I とする。

sから画面上側までの領域（遠方部）においては、歪み補正を行なわない。つまり、ひ = 0とする。

画像取込ボタン 2 0 2を押すと、カメラ 1で撮影された画像がキヤリブレーシヨン用 P C 5 0に転送され、画像表示領域 2 0 1に表示される。 P C 5 0は、スライドキー 2 0 5、 2 0 6によって設定された境界位置 u , sと後述する歪み補正変換式とに基づいて、入力画像を歪み補正後の画像に変換するための L U Tデータを作成し、作成した LUTデータに基づいて、入力画像に対して歪み補正を行ない、歪み捕正後の画像を画像表示領域 201に表示する。

操作者は、画像変換の効果を確認しながら境界位置 u， sを設定する。最適な境界位置 u， sを設定した場合には、操作者は、 LUTデータ転送ボタン 203 を押す。これにより、 PC 50によって作成された LUTデータが、運転支援装置の CPU22に送られる。 CPU22は、 P C 5◦から送られてきた L U Tデータをレンズ歪み補正部 2の LUT 21にセットする。レンズ歪み補正部 2は、 LUT 21にセットされた座標対応関係を使って入力画像を歪み補正画像に変換し、得られた画像をモニタ 3に表示させる。

LUTデータを作成する場合に用いられるレンズ歪み補正変換式について説明する。「背景技術」の欄で説明したように、入力画像の座標位置（χ' , y ' ) とレンズ歪み捕正後の座標値（X , y ) とは、次式（3) で表される。式（3) 中において、 r 2 = _X 2 +_y2 である。ただし、 x y座標系は、画像の中心を原点とした座標系である。 ' = + X ( k 1 r ² + k ₂ r -¹ ) + 2 p i x y + p a ( r ² + 2 x² ) y ' = y + y ( k i r ² + ka r ⁴ ) + 2 p i y + p ₂ ( r ² + 2 y ² )

… （3) 歪み補正強度を調整するために、 4個のパラメータ ki , k₂， p i , ρ₂ に係数 α を乗算することによって、上記式（3) を、式（4) 、 (5) のように修正する。 k' i= ct k 1

k 2= ct k 2

p ' i= a l ―

p， 2= a p (4) x ' = x + x ( k ' i r ² + k ' 2 r ⁴ ) + 2 p' ix y + p'₂ ( r ² + 2 x² ) y ' = y + y (k' r² + k ' ₂ r ⁴ ) +2 p' ix y + p' a ( r ² + 2 y ² )

… （5) k' l, k' 2， P' tおよび P' 2は、修正後の歪み補正パラメータであり、ひの値によってその大きさが変化する。

本実施例で用いる座標系は、図 8および図 9で説明したように、画像の左下を原点と'した X y座標系であるので、入力画像の水平画素数を M、垂直画像数を N とすると、

x +M/2, j = y + N/2となる。

したがって、上記式（5) は、次式（6) のように表現できる。式（6) では、 r ² = ( i -M/2) ² + (j -N/2) ² となる。

.+ k' a r ⁴ )

+ 2 p' i ( i -M/2) ( j -N/2) +p'₂ { + 2 ( i -M/2) 2 } + M/2

( j -N/2) + ( j -N/2) ( k ' . r 2 + k ' a r -¹ )

+ 2 p' i ( i -M/2) ( j -N/2) +p， ₂ { r 2 + 2 ( j -N/2) 2 } +N/2 - - (6) 運転者の視覚をアシストする場合、画像下部がバンパー部となり画像上部が車両後方（フロントカメラの場合には前方）となることが多い。運転者の視認性を考慮すると、バンパー部は歪みが無い直線として表示されることが望ましい。一方、画像上部となる車両後方（フロントカメラの場合には前方）は、安全確認という目的からできるだけ取得された画像の情報量を損なうことなく表示することが望ましい。そのため、バンパー部に当たる画像下部（実施例において、歪み補正画像の縦軸である jの値が uより小さい部分）においては、歪み補正強度を大きく設定（ α=1) し、上記式（4) および式（6) を用いて LUTに保持する参照画素位置を算出する。

また、画像上部（実施例において、歪み補正画像の縦軸である jの値が sより大きい部分）においては、情報量を保存するため歪み補正強度を小さく設定（ひ =0) し、上記式（4) および式（6) を用いて LUTに保持する参照画素位置を算出する。

中間部（実施例において、歪み補正画像の縦軸である jの値が uと sの間の t の部分）においては、歪み補正強度を段階的に設定（ひ=1 s - t IZI s— u

| ) し、上記式（4) および式（6) を用いて LUTに保持する参照画素位置を算出する。これはひの値を極端に変動させた場合、上部と下部で滑らかに画像をつなげることができず、視認性が低下するためである。本実施例では、画像の中間部ではひの値を段階的に変動させることで、視認性を維持した歪み補正画像を生成している。このように αを設定することによって画像下部に対してはレンズ歪み補正を強く行い、画像上部に対してはレンズ歪み補正を行わない画像を生成する。

図 13 (a) は入力画像を、図 13 (b) は本実施例による歪み補正を行った結果の全体の画像を、図 13 (c) は表示用に切出した画像をそれぞれ示している。

画像の下部ではレンズ歪み補正を強く行うため、画像の下部は入力画像の表示領域よりも広がった状態となる。一方、画像の上部では、レンズ歪み補正を行わないため、入力画像と同じ画像サイズとなる。歪み補正切出し画像を生成する際には、変換後の画像領域の内接領域を切出しているため、横方向の画像サイズは入力画像と同じであるが、縦方向は入力画像よりもやや大きくなる。そのため、縦方向に縮小する必要があり、やや画像の縦横比が変わるが、視認性には大きく影響しない。 LUTに記録する参照画素の値は、切出した画像を表示画像サイズに調整（縮小）した後に対応する参照位置を記録すればよい。また、切出し前の画像の参照位置を LUTに記録し、表示の際に拡大や縮小の処理を行うように構成してもよい。

利用者は、 PC 50上の調整画面で効果を確認しながら、車体部と車両近傍との境界線 u、車両近傍と車両遠方との境界線 sを設定する。 u， sを設定する度に、 LUTデータが計算され、 LUTデータを用いて入力画像に対する歪み捕正画像が生成されて、表示される。

利用者が LUTデータ転送ボタン 203を押すと、 PC 50で生成された LU Tデータが運転支援装置のレンズ歪み補正部 2内の CPU 22に送られ、レンズ歪み補正部 2内の LUT 21にセットされる。 LUT 21に LUTデータがセットされた後においては、レンズ歪み補正部 2は LUT 21にセットされた座標対応関係を使って、カメラ' 1からの入力画像に対して歪み補正を行ない、得られた歪み補正画像をモニタ 3に表示させる。なお、 LUTデータが LUT 21にセットされた後においては、キヤブレーシヨン P C 50は取り外される。

なお、上記キヤブレーシヨン P C 50による歪み補正強度調整機能と同じ機能を、運転支援装置側に持たせるようにしてもよい。

〔2〕実施例 2

実施例 1のように、歪み補正のパラメータ調整に PCを使う場合は、 PCの計算能力により、短時間（P e n 4マシンで約 100msec) で入力画像と出力画像の座標対応関係を計算可能で、ほぼリアルタィムにレンズ歪み補正の効果を確認することが可能である。この計算を、運転支援装置のレンズ歪み補正部 2に内蔵するような比較的低い計算パワーの CPUで行おうとすると、長い計算時間が必要となる。

実施例 2では、歪み補正のパラメータ調整を、運転支援装置側で行なう場合に、簡単な演算で効果を確認できるようにするものである。実施例 2では、運転支援装置側に u， sを設定するとともに、設定され u， sに応じた歪み補正強度の配分を簡易的にオンスクリーン表示させるための歪み補正強度調整ソフトがィンストールされている。

運転支援装置側に u , sが設定されると、運転支援装置の C P U 22は、全画面の入出力座標を計算することなく、つまり LUTデータを計算することなく、設定された u, sに応じた歪み強度の配分をダリッド線で表すようにする。そして、操作者が効果を確認した上で、 LUT作成指令を入力すると、設定された u , sに応じた LUTデータを作成して、 LUT21にセットする。 LUTデータの作成方法は、実施例 1と同様である。

図 14は、歪み補正強度の配分を簡易的に示すためのグリッドの例を示している。

図 14の実線は、画像全体に対して ct = 1を設定した場合のグリッド線を示している。図 14の破線は、画像全体に対してひ =0 (歪み補正なし）に設定した場合のダリッド線を示している。ダリッド線には、通常の直線状のダリッド線を湾曲させた形状も含まれる。

画像全体に対して α =1を設定した場合のグリッド（格子パターン）を予め保存しておく。そして、画像全体に対してひ = 1を設定した場合のダリッド上の座標^:から ο:の設定値に応じて、各々の対応点に相当する座標値を計算して表示する。対応点の計算方法について、図 15を用いて説明する。図 1 5は、図 14の Sで示す部分の拡大図である。

図 1 5において、 α =1の場合におけるグリッド上の点の座標を（X I, Υ 1 ) 、原画像（入力画像）上の参照点（（X I, Y1) の座標値として参照する原画像上の点）の座標を（Χ0， Υ0) とする。原画像上での参照点の座標値（X 0, Υ0) は、歪み補正を行なわない場合のグリッド（ひ =0の場合におけるグリツド）上の対応点と一致する。

0く αく 1の座標 (Xg, Yg) は、次式（7) で表される。

X g =X 0 + α (X 1 -X 0) 一

Yg=Y0 + a (Y1— YO) ··· (7) α= 1の場合におけるグリッド上の点を（ i， j ) で表すと、座標値（X 0， Y O) は、上記式（4) および式（6) に α = 1を代入することにより、次式（ 8) で表される。

X 0 = ( i -M/2) + ( i一 M/ 2) (k i r ² + k₂ r ' )

+ 2 p ( i -M/ 2 ) ( j -N/2) + p₂ { r ² + 2 ( i -M/2)

+ M/2

Y 0 = ( j -N/2) + ( j -N/2) (k r ² + k₂ r

+ 2 p i ( i -M/2) ( j -N/2) + p₂ { r + 2 ( j -N/2)

+ N/2 · (8) また、座標値（X I , Y D は、ひ = 1の場合におけるダリッド上の点であるため、次式 (9) が成り立つ。

X 1 = i

Y l = j … (9) 上記式（8) および式（9) を上記式（7) に代入することにより、次式（1 0) が得られる。

X g = i + ( 1 - α ) 〔 ( i一 M/2) (k i r² +k₂ r ⁴ )

+ 2 p i ( i -M/2) ( j -N/2) + p₂ { r ² + 2 ( i -M/2) ² } 〕 Y g = j + ( 1 - a) [ ( j -M/2) (k r ² + k₂ r ⁴ )

+ 2 p i ( i -M/2) ( j -N/2) + p ₂ { r + 2 ( j 一 MZ 2 〕

… (1 0) 予め保存している a = 1の場合のグリッド線上の座標値を、上記式（1 0 ) を用いることにより、設定された α値に応じた座標値に変換することにより、設定されたに応じた形状のダリッドを生成して、オンスクリーン表示することができる。

図 1 6 ( a ) は、歪み補正なしの場合（α = 0 ) の場合のグリッドの一例示し、図 1 6 ( b ) は、設定された u , sに基づいて作成された、歪み強度の配分を示すグリッドの一例を示している。なお、グリッド線の線種や色を変えることで、歪み補正の強度を表現することが可能である。

歪み補正の効果を事前計算する領域をダリッド上に限ることで、計算量の削減が可能となる。グリッドの形状を O S D機能を使って、モニタ上に表示することで、 L U Tを計算する前に、事前に効果を予測することが可能となる。また、この機能を使って、生産時の光学系のばらつき、歪み補正部の回路の動作を目視確認することも可能になる。

上記実施例によれば、カメラの車体へのセッティングに合わせて、画像の歪み感と対角情報のバランスのとれた画像を得ることが可能となる。また、様々な車種に対して、初期投資の必要な光学系の再設計を行わず、データの変更のみで、個別対応が可能となる。

この発明によれば、入力画像に対してレンズ歪み補正を行なう場合に、入力画像を複数の領域に分け、各領域別に歪み補正強度を変えることができるようになる。

Claims

請求の範囲

1 . 車体に搭載されかつ車体の周辺領域を撮像する撮像装置、

撮像装置によつて撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および

レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、

レンズ歪み補正手段は、入力画像を複数の領域に分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする運転支援装置。

2 . レンズ歪み補正手段は、入力画像を車体からの距離および/またはカメラの俯角に応じて複数の領域に分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なうものであることを特徴とする請求の範囲 1に記載の運転支援装置。

3 . 複数の領域を設定するための領域設定手段および領域設定手段によって設定された領域毎に歪み補正強度を決定する歪み補正強度決定手段を備えており、レンズ歪み: ¾正手段は、歪み補正強度決定手段によって決定された領域毎の歪み補正強度に応じたレンズ歪み補正を、入力画像に対して行なうものであることを特徴とする請求の範囲 1または 2のいずれかに記載の運転支援装置。

4 . 複数の領域を仮設定するための領域仮設定手段、領域仮設定手段によって • 仮設定された領域毎に歪み補正強度を仮決定する歪み補正強度仮決定手段、歪み補正強度仮決定手段によって仮決定された領域毎の歪み補正強度に応じた歪み補正の効果をダリッド線で表示器に表示させる手段、および歪み補正強度仮決定手段によって仮決定された領域毎の歪み補正強度を、本来の領域毎の歪み補正強度として本設定させる本設定手段を備えており、レンズ歪み補正手段は、本設定手段によって本設定された領域毎の歪み補正強度に応じたレンズ歪み補正を、入力画像に対して行なうものであることを特徴とする請求の範囲 1または 2のいずれかに記載の運転支援装置。