JP4695167B2 - 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置 - Google Patents

Description

本発明は、車両の後方像システム、より詳細には、車両の後方像システムの歪みを補正し且つ像を強調する方法及び装置に関する。

自動車を逆に運転することは、煩わしく且つ難しい操作である。これらの煩わしさは、主として、バックミラー及び窓にも拘らず、逆に進む間、車の陰になるものを運転者が見ることができないことによるものである。運転者の視野からブロックされる領域は、車両の構造と、車両のミラーを通ずる視野の陰になる死角領域（ブラインドスポットと称される）に起因するその他の理由とによるものである。

益々人気化しているスポーツ用多目的車（「ＳＵＶ」）は、乗用車と比較して、逆に走行しようとするとき、視認することが一層困難であるという欠点がある。運転者がＳＵＶの陰に隠れた周囲物に気付き易くするため、後方像カメラシステムが提案されている。かかるカメラシステムは、運転者に対して後方像カメラの像のディスプレイを提供する。かかるカメラシステムは、後方像に歪みを生じさせる広角レンズを使用する。

本発明は、修正像を表示するディスプレイ装置と、像強調システムにより強調された捕捉した像を受け取る撮像装置とを備える、車両の像強調システムに関するものである。該システムは、ディスプレイ装置及び撮像装置と連通した像強調モジュールを更に含み、このため、捕捉した像内に配置された画素は、画素を転送工程を介して第一の位置から第二の位置まで位置変更することにより強調される。

本発明は、また、車両に配置された少なくとも１つの撮像装置により捕捉した像を受け取るステップと、捕捉した像を像強調モジュールに連絡するステップとを備える、車両の撮像システム内にて像を強調する方法にも関する。該方法は、捕捉した像を強調して、捕捉した像内に配置された画素が転送工程により第一の位置から第二の位置まで位置変更され、修正像を形成するようにするステップを更に備えている。該方法は、その修正像を像強調モジュールから車両内に配置されたディスプレイ装置まで更に連絡する。

本発明は、車両に配置された撮像装置により受け取った像を向上させる像強調システムに更に関する。像強調システムは、車両に配置された少なくとも１つのカメラを備えている。該カメラは、リアルタイムにて捕捉した像をカメラの視野内にて受け取る画素アレイを含む。像強調システムは、捕捉した像中の画素を像強調モジュールにより実行される転送工程に従って第一の位置から第二の位置まで位置変更し、画素の位置変更が強調された像を形成するようにすることにより、捕捉した像を向上させるべくカメラと連絡した像強調モジュールを有する計算装置を更に備えている。ディスプレイ装置は、計算装置と連絡し且つ、強調された像を表示し得るよう、車両の内部に配置されている。

本発明は、像強調システムにより強調された修正像を表示するディスプレイ装置と、像強調システムにより強調された捕捉した像を受け取る撮像装置とを備える、車用の後方像強調システムに更に関する。該システムは、ディスプレイ装置と連絡した像強調モジュールと、撮像装置とを更に備え、捕捉した像中の画素を地面から参照することにより、捕捉した像内に配置された画素が集合化され且つ分割されて、少なくとも１つの関心領域を形成し、修正像を形成する。

本発明の上記及びその他の特徴及び有利な点は、添付図面を参照して以下の説明を読むことにより、本発明が関係する技術分野の当業者に明らかになるであろう。
図１を参照すると、車両１０は、本発明の一例としての実施の形態に従った後方像の歪み補正及び「ＤＣＩＥ」像強調システム１２と、車両の運転者１８が視認し得るように車両の運転者室１６内に配置されたディスプレイ装置１４とを含む。後方像ＤＣＩＥシステム１２は、撮像装置２０を通して車両１０の後方領域のリアルタイムの広角度のビデオ影像を運転者１８に提供する。撮像装置２０は、例えば、撮像装置２０の視野（「ＦＯＶ」）として示されたリアルタイムの連続像を捕捉するため、電荷結合素子（「ＣＣＤ」）又は相補型金属酸化膜半導体（「ＣＭＯＳ」）センサ技術を利用するカメラを含む。

図１には、スポーツ用多目的車（ＳＵＶ）に適応し得るようにされた後方像ＤＣＩＥシステム１２内が示される一方、図２Ａ及び図２Ｂには、システムは、乗用車２２、貨物輸送車２４、又は請求の範囲に記載された本発明の精神及び範囲から逸脱せずに、フォークリフト及び（又は）トレーラーのような、任意のその他の型式の移動可能な車又は装置にも適応させることもできることが示されている。簡単に説明すれば、車両１０に更に言及することは、特別な記載がない限り、上述した全ての型式の車及び（又は）装置を包合することを意図するものである。

撮像装置２０により捕捉したＦＯＶは、図３に示した制御過程に従って後方像強調システム１２と関係付けられた像強調モジュール２６により処理され且つ強調される。像強調モジュール２６は、ビデオデータとしてディスプレイ装置１４に転送される連続像を修正するとき、１つの基準として車両の一部分（例えば、車のバンパー又はテールゲート２８の一部分）を使用する。ディスプレイ装置１４は、モニタ装置、液晶ディスプレイ（ＬＣＤ）、ナビゲションスクリーン、又は本発明において、像強調モジュール２６を介して強調した無歪み像にて運転者１８が車両１０の後方領域を視認することを許容し、ブラインドスポット及び死角領域を実質的に解消する、その他の既知のビデオ表示装置とすることができる。

像強調モジュール２６は、車両１０内に配置されており、計算装置３０により実行される処理能力を含み、この処理能力は、例えば、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロプロセッサ、又は特定用途向け集積回路（ＡＳＩＣ）又はそれらの結合体であり、この結合体は、例えば、フラッシュ読み取り専用記憶装置（ＲＯＭ）を含むマイクロプロセッサ内に搭載されたソフトウェア又はファームウェアとし又はユーザによってプログラム可能な二値撮像ファイルのようなコンピュータ読み取り可能な媒体とする。像強調モジュール２６は、撮像装置２０又はディスプレイ装置１４と一体化するか又は撮像装置及びディスプレイ装置の双方と連絡する（有線又は無線にて）位置に遠隔的に配置することができる。

図３の後方像強調システム１２の起動は、運転者１８が逆運転のため車両１０と選択的に係合するとき、生じる。このことは、典型的に、車両１０をバックギア３２にすることにより実現される。少なくとも１つの撮像装置２０がステップ３４にて、車両１０の後部からの連続像３６を捕捉し且つ、その連続像３６を像強調モジュール２６に連絡する。像強調モジュール２６は、連続像３６を修正し且つ、運転者を助けるべくその強調した像３８をビデオデータを介してディスプレイ装置１４に伝送する。

光学的歪みの補正
ステップ４０における光学的歪みの補正は、像強調モジュール２６により連続像３６に与えられる１つの像強調機能である。光学的歪みの補正ステップ４０は、撮像装置２０内にて使用される広角レンズに起因する遠近効果及び視覚的歪みを除去することを容易にする。光学的歪みの補正ステップ４０は、数学的歪みモデルを利用して、連続像３６内の捕捉した画素の正確な位置を決定する。数学的モデルは、また、広角レンズにより生じたアスペクト比に起因する画素ユニットの幅と高さとの差の結果として、連続像３６の画素の位置を補正する。

ステップ４０における光学的歪みの補正は、次の等式により参照した数学的モデルを使用し、連続像３６により捕捉した実際の画素の位置が単一の像の点Ｘ_ａ、Ｙ_ａとして表され、次に、それぞれの補正した位置Ｘ_ｃ、Ｙ_ｃに移される。ここで、
Ｘ_ｃ＝ｓ^＊ｃｏｓψ^＊Ｘ_ａ ^＊（１＋ｋ_１ρ^２＋ｋ_２ρ^４） 等式１
Ｙ_ｃ＝（ｓ^＊ｓｉｎψ^＊Ｘ_ａ ^＊＋ｃｏｓψ^＊Ｙ_ａ）（１＋ｋ_１ρ^２＋ｋ_２ρ^４）等式２
上記の等式において、ｓは、画素単位のアスペクト比、及びψは、調整角度である。レンズの歪み係数は、ｋ_１及びｋ_２である。

ρ＝（（ｓ^＊ｃｏｓψ^＊Ｘ_ａ）^２＋（ｓ^＊ｓｉｎψ^＊Ｘ_ａ＋ｃｏｓψ^＊Ｙａ）^２）^１／２
等式３
撮像装置２０が使用する特定のレンズに対して、歪み係数の値ｋ_１及びｋ_２は、広角レンズの使用により形成された樽型歪曲を解消するのを助け得るよう予め決定することができる。歪み係数の値は、連続像３６のリアルタイムの補正、例えば、浮動点計算のため使用される。当該技術の当業者は、これらの値がオフラインのルックアップテーブルを生成させることもできることも理解されよう。

歪み係数の値Ｋ_１、ｋ_２は、既知の直線、例えば、捕捉した連続像３６を示す、図４Ａに示した歪み中心４２を有する連続像３６内にて捕捉した像を使用することにより、更に調整することができる。本発明のこの形態に従い、歪み中心４２は、直線状の水平線及び垂直線に対する捕捉した連続像３６を分析することにより配置され、中心は２本の線が交差する箇所に配置される。次に、捕捉した像は、試行錯誤により異なり又は精密調整した歪み係数の値ｋ_１、ｋ_２にて補正することができる。例えば、像の一側部における線が「樽形歪み（ｂａｒｒｅｌｅｄ）」とされ、像の反対側部の線が「糸巻き歪み（ｐｉｎ−ｃｕｓｈｉｏｎｅｄ）」となるようにされる場合、中心オフセットは、糸巻き歪み側に向けて動かす必要がある。歪みを十分に補正するある１つの値が判明したとき、歪み中心４２及び歪み係数の値ｋ_１、ｋ_２は、光学的歪みの補正ステップ４０の数学的モデルにて使用することができる。換言すれば、捕捉した像のパターン内にて真直ぐな水平線及び垂直線を使用することにより較正手順が行われる。真直ぐな水平線及び垂直線は、上述した光学的歪み等式１、２を較正する際に使用される、歪み係数の値ｋ_１、ｋ_２の値を決定するとき助けとなる。

図４Ａを参照すると、光学的歪みの補正ステップ４０により像を強調する前、連続像３６から捕捉した像が示されている。図４Ａには、歪み中心４２と、単一の像の点Ｘ_ａ、Ｙ_ａにより表わした実際の画素の位置との双方が示されている。図４Ｂには、光学的歪みの補正ステップ４０にて数学的モデルを使用する間、説明した調整技術により実現されるそれぞれの補正位置Ｘ_ｃ、Ｙ_ｃまで像の点Ｘ_ａ、Ｙ_ａを転送する状態を示して、強調された捕捉した像が示されている。図４Ａ及び図４Ｂの像の格子は、説明及び品質保証の目的のためのものであり、光学的歪みの補正ステップ４０により強調された像の全体に対して行なわれる変換を示すものである。特に、図４Ｂの格子内の線は、このとき、実質的に真直ぐであり、図４Ａの歪んだ像の当初の周縁は重なり合っている。

逆透視投影
逆透視投影４４は、像強調モジュール２６により連続像３６に与えられた像強調機能である。撮像装置２０により取得された像の角度及びそこから対物までの距離は、少なくとも２つの撮像上の問題を生じさせる。第一に、画角が捕捉された画素の各々に対して異なる情報コンテントを関係付ける作用を果たすこと、また、第二に、広角レンズにより発生された遠近効果があることである。これらの問題点を解決するため、逆透視投影４４は、幾何学変換又は逆透視的マッピング（ＩＰＭ）変換４６を与えて、取得した像から遠近効果を除去し、また、その像を再マッピングして、新たな２次元的ドメインすなわち再マップされたドメイン４８にする。

図５には、逆透視投影４４を適用することを通じて像強調モジュール２６により強調された捕捉した像点Ｐが示されている。像点Ｐの座標は、図５のＸ、Ｙ、Ｚにより表されており、ここで、Ｚは、撮像装置２０の光軸線である。画素センサアレイ上に投影された捕捉した像点Ｐは、上述した遠近効果の問題及び不正確な情報コンテントという問題がある。かかる問題を解消するため、逆透視投影は、ＩＰＭ変換４６を利用して点Ｐ及び像を再マップし（捕捉した像中の全ての画素を再マッピングすることにより）、再マップされたドメイン４８にする。ＩＰＭ変換は、次式により表される。

ｘ_ｐ＝ｆ Ｘ／Ｚ 等式４
ｙ_ｐ＝ｆ Ｙ／Ｚ 等式５
ここで、ｘ_ｐ及びｙ_ｐは、再マップされたドメイン４８内に投影した再マップした座標であり、パラメータｆは、撮像装置２０のＺ軸又は光軸線に沿って再マップしたドメイン４８から原点「Ｏ」までの距離である。

全ての画素をＩＰＭ変換４６を介して歪んだ像から再マップしたドメイン４８に投影することは、強調された像の面５０を形成することになる。強調された像の面５０内の画素の情報コンテントは、全ての画素の間にて一様に分配される。強調された像の面５０は、車１０のディスプレイ装置に送られる強調した連続像３８を形成する幾つかの強調された像の面の１つを表わす。ＩＰＭ変換４６を利用する逆透視投影４４は、独立的に又は、図３に示したように、像に対して光学的歪みの補正ステップ４０が行なわれた後、捕捉した連続像３６上にて実行することができる。

ＩＰＭ変換４６を適用するためには、特定の取得条件（例えば、撮像装置の位置、向き、光学素子）に関する情報を必要とし、また、像に表わされた情景に関する幾つかの仮定（推測的仮定）を必要とする。従って、ＩＰＭ変換４６は、例えば、撮像装置２０を一定の位置にて取り付けることができる、構造的環境内にて使用することができ、又は、システム及び周囲環境の較正をその他の型式のセンサを介して感知することができる状態にて使用することができる。

図８には、車両８２用の本発明の１つの形態に従った後方像システム８０の一例が側面斜視図にて示されており、このシステムは、像データを２次元的像８４から車８２の後部の空間を表わす３次元的世界座標系８６に変換することを利用するものであり、水平なＺ軸線は車両の長手方向軸線に沿って向き決めされ、鉛直方向に向き決めしたＹ軸線及び水平なＸ軸線は、Ｙ軸線及びＺ軸線に対して垂直に向き決めされている。この変換を使用することを通して、車両から、特に、Ｚ軸線に沿って像の面８４内で見た対物の距離を決定することができる。この目的のため、車両に又は車両の内部に取り付けられたカメラ８８は、車の後部空間の像を形成する形態とされている。図示した例において、カメラは、地面の面９０に向けて所定のピッチ角度θだけ下方に角度が付けられている。

カメラにて捕捉した像は、像中の物体の車両からの距離を決定すべく分析される。この目的のため、２次元的像の面は、３次元的カメラの座標系９２に変換され、カメラの座標系９２のｘ軸線及びｙ軸線は、像の面８４内にて垂直軸線及び水平軸線をそれぞれ表わす。ｚ軸線は、像の面８４に対して直角に、カメラの視野に沿って伸びている。カメラのピッチ及び車両内でのカメラの位置のため、カメラの座標系９２は、Ｘ軸線の周りにて僅かに回転し、また、世界座標系８６に対して垂直に地面からカメラの高さＨに等しい距離だけ垂直に平行移動されている。

カメラ座標への像の変換を簡略化するため、地面の面９０は平坦な面であると仮定することが有用である。幅ｗ_ｕ、高さｗ_ｖ及び焦点距離ｆの画素を有するカメラ８８の場合、カメラの座標（ｘ、ｙ、ｚ）と像の座標（ｕ、ｖ）との間の関係は、次のように表わすことができる。

ｕ＝ｕ_０＋ｆ^＊ｘ／ｗ_ｕ ^＊ｚ 等式６
ｖ＝ｖ_０＋ｆ^＊ｙ／ｗ_ｖ ^＊ｚ 等式７
ここで、（ｕ_０、ｖ_０）は、像の面の中心点を表わす。像の面内の水平線ｖ_ｈは、上述したカメラの特徴及びカメラの既知のピッチ角度θから次式のように決定することができる。

ｖ_ｈ＝ｖ_０−ｆｔａｎ（θ）／ｗ_ｖ 等式８
上記の等式７から、等式８は、次のように書き替えることができる。
（ｖ−ｖ_ｈ）ｗ_ｖ／ｆ＝ｙ／ｚ＋ｔａｎ（θ） 等式９
カメラの座標系９２は、ピッチ角度θに等しいＸ軸線の周りの回転及びカメラの高さＨに等しいＹ軸線に沿った平行移動を有する世界座標系８６を表わし、世界座標は、Ｘ＝ｘ、Ｙ＝ｙ［ｃｏｓ（θ）］−Ｈ、及びＺ＝ｚ［ｃｏｓ（θ）］として表わすことができる。

従って、上記の等式９から、地面の面における所定の点（Ｘ、Ｙ＝０、Ｚ＝ｄ）と車量との間の距離ｄは、次のように表わすことができる。
ｄ＝ｆＨ／｛ｗ_ｖｖ−ｗ_ｖｖ_ｈ−ｆｔａｎ（θ）｝ ｖ＞ｖ_ｈの場合 等式１０
ｄ＝∞ ｖ＜ｖ_ｈの場合
実際には、像中の所定の対物までの距離を決定するため、物体と地面の面との交点を決定することができ、また、物体までの距離ｄを計算すべく像中の交点の垂直位置を利用することができる。従って、追加的なセンサを使用することなく、カメラの視野中の色々な対物の距離を決定し、システム８０のコストを著しく削減することができる。

本発明の後方像強調システム１２の場合、固有の及び外因的なパラメータは、撮像装置２０の取り付け位置、ヨー角及び、ピッチ角を含む、それ以前の較正から既知である。車両１０付近の地面は、平坦であると仮定し、図６Ａに示した採用及び当初の捕捉した連続像３６は、像強調モジュール２６内にてＩＰＭ変換４６により修正され、強調された像３８を発生させる。強調された像３８は、車両の後方領域の鳥瞰像を提供し且つ、車１０の運転者１８のためディスプレイ装置１４上に投影される。

図６Ｃは、ディスプレイ装置１４が当初の捕捉した連続像３６及び強調された像３８の組み合わせの３次元的（３Ｄ）再構築を提供する、本発明の一例としての実施の形態が示されている。

新規な像投影
新規な像投影５４は、像強調モジュール２６によって連続像３６に適用された別の像強調機能である。広角レンズにより起因する遠近効果は、撮像した対物の寸法に歪みを生じさせる。かかる歪みの問題点は、従来の撮像センサにて解決されず又は取り扱われてさえもいない。

新規な像投影機能５４の像強調モジュールを採用すれば、かかる歪み上の問題点は解決される。新規な像投影５４は、頂面像及び側面像から新たな像を発生させ、このため、車両１０の後部から任意の対物又は障害物５６までの距離は、図７に示したように、歪み無しにて直線的に比例する。像強調モジュール２６は、新規な像の投影５４を形成するとき、車両のバンパー又はテールゲート２８のような基準点を使用し、また、１つ以上の撮像装置２０を使用することができる。新規な像投影５４は、車両１０の運転手１８のためディスプレイ装置１４上に形成され、また、距離に対する更なる基準点として運転者のためのスケール５８を含むことができる。

新規な像投影５４は、独立的に、又は、像強調モジュール２６によって実行されるその他の機能、逆透視投影４４及び光学的歪み補正ステップ４０又はその双方を含む機能と組み合わせて、捕捉された連続像３６に適用することができる。

像の集合化及び非地面分割
像の集合化ステップ６０及び非地面分割ステップ６２は、像強調モジュール２６により連続像３６に適用される２つの追加的な像強調機能である。像の集合化ステップ６０及び非地面分割ステップ６２の機能は、色、テキスチャ、及び画素の強度を含む、多数の像キューを使用してタグ付けし又は標識される同様の特徴を共有する画素領域、ブロブ又はクラスタを見い出す。関心領域を形成するため、各画素領域／ブロブ／クラスタから特徴が摘出される。テンプレート照合、モデリング、パターン認識及び同様のもののような技術を使用して、摘出された特徴に基づいて、検出及び認識が実行される。

後方像強調システム１２、より詳細には、像強調モジュール２６は、像の集合化ステップ６０及び非地面分割ステップ６２にて上記の技術を採用して、地面領域と非地面領域とを分離し且つ認識して、関心領域を得る。

地面領域内での画素の全てが平坦な地面に適合すると仮定して、地面領域の強度をマップ化することができる。非地面分割ステップ６２の領域の識別は、特定の対物となるように更に集合化し且つ認識することができ、例えば、対物は、障害物、歩行者等を含むことができる。これらの非地面の認識された対物は、図７に示した障害物５６と同様に、ディスプレイ装置１４上にてポップアップすることができる。地面の面から垂直に伸びる任意の対物は、非地面の対物として認識することができる。従って、非地面の認識された対物は、地面の面の対するその位置によりその位置を探知することができる。次に、非地面の認識された対物は、図７に関して更に説明する合成像を生成すべく使用することができる。

非地面領域は、捕捉した連続像３６上にてＩＰＭ変換４６を実行した後、再マップすることのできる平坦面であると仮定する。歩行者及び障害物の検出ステップ６４のような像の集合化ステップ６０及び非地面分割ステップ６２、投影した補助曲線検出ステップ６６及び、例えば、駐車場内に配置された駐車空間に対して地面又は駐車壁上における駐車レーンの標識を検出するため使用される駐車レーン/ガレージ壁の検出ステップ６８を使用して、その他の非地面領域も像強調モジュール２６によって分析される。像の強調は、対物、線、及び壁が平坦面から立ち上り、これらを運転者１８が容易に検出し又は認識することを許容する。

情報の融合
車両１０のステアリング角度６７により提供される既知の情報を使用して、補助経路７０を、計算装置３０により予見し且つ、ディスプレイ装置１４上に表示することができる。この情報は、像強調モジュール２６により行われる別の機能である、衝突警報モジュール７２にて使用される。像の集合化ステップ６０及び非地面分割ステップ６２技術によって可能とされた上述した歩行者、障害物の検出ステップ６４、投影された補助曲線検出ステップ６６及び駐車レーン／ガレージ壁の検出ステップ６８は、衝突警報モジュール７２にても使用される。計算装置３０は、衝突の可能性を予見し、また、補助経路７０にて見られる障害物又は歩行者を明確にし、ディスプレイ装置１４にて運転者１８に警報することができる。

衝突警報モジュール７２と同様に、後方像強調システム１２は、駐車アシストモジュール７４を提供する。像の集合化ステップ６０及び非地面分割ステップ６２により可能とされた、説明した歩行者及び障害物の検出ステップ６４、投影された補助曲線の検出６６及び駐車レーン／ガレージの壁の検出ステップ６８は、駐車アシストモジュール７４により使用される。駐車アシストモジュール７４は、車両１０の手動又は自動的な操縦モードにて駐車空間への後退又は平行な駐車を容易にすることができる。

情景の再構築及び像の合成
図７には、運転者１８がディスプレイ装置１４にて視認する最終的に構築された情景の一例としての実施の形態が更に示されている。スケール５８の形態による距離の情報を含む、非写実的像が頂面図にて生成され、障害物５６はポップアップとして機能し及び歩行者は明確にされる。補助経路７０は、境野線にて描かれ、車両１０のステアリング角度６７にてリアルタイムに調節される。ディスプレイ装置１４上にて視認された図７の非写実的像は、運転者１８が理解するのを一層容易にし、車１０を後退させる際の助けとなる。図７にてディスプレイ装置１４に示されると同時に、詳細な情報を有する当初の像は、ディスプレイ装置１４上にて視覚サポートとして表示される。当初の像の画素を、頂面透視図に重ね合わせて、図６Ｂに示した頂面図から現実の情景を合成することができる。

本発明の上記の説明から、当該技術の当業者は、改良例、変更例及び改変例が認識されよう。当該技術の範囲に属するかかる改良例、変更例及び改変例は、特許請求の範囲に包合することを意図するものである。

本発明の、一例としての実施の形態に従った後方像歪み補正及び像強調システムを有する車両を示す概略図である。 ２Ａは、本発明の一例としての実施の形態に従った後方像強調システムが設けられた乗用車に撮像装置を取り付ける状態を示す概略図である。２Ｂは、本発明に従った後方像歪み補正及び像強調システムが設けられた貨物車両に撮像装置を取り付ける状態を示す概略図である。 本発明の一例としての実施の形態に従った後方像歪み補正及び像強調システムを制御する制御過程を示すチャートである。 ４Ａは、撮像装置により捕捉した歪んだ像の概略図である。４Ｂは、本発明の一例としての実施の形態に従った後方像歪み補正及び像強調システムにより処理された捕捉した像の概略図である。 本発明の像強調モジュールにより光学的に強調し且つ再マップした捕捉した像のグラフ図である。 ６Ａは、撮像装置による歪んだ像の捕捉を示すグラフ図である。６Ｂは、本発明の像強調モジュールにより光学的に処理し且つ再マップした捕捉した像のグラフ図である。６Ｃは、図６Ａの歪んだ像と、図６Ｂの光学的に強調し且つ再マップした像との双方を投影するディスプレイ装置の３次元的再構築を示す図である。 本発明の像歪み補正及び像増強モジュールによる新規な像の投影を生じさせるべく光学的に処理される捕捉した像のグラフ図である。 本発明の一例としての実施の形態に従った構造とされた後方像強調システムが設けられた貨物車両における後方像強調装置の一例としての実施の形態の側面斜視図から見たグラフ図である。

符号の説明

１０ 車両
１２ 後方像ＤＣＩＥシステム
１４ ディスプレイ装置
１６ 車両の運転者室
１８ 車両の運転者
２０ 撮像装置
２２ 乗用車
２４ 貨物輸送車
２６ 像強調モジュール
２８ テールゲート
３０ 計算装置
３２ バックギア
３４ ステップ
３６ 捕捉した連続像
３８ 強調した像
４０ 光学的歪みの補正ステップ
４２ 歪み中心
４４ 逆透視投影
４６ ＩＰＭ変換
４８ ドメイン
５０ 強調された像の面
５４ 新規な像投影
５６ 障害物
５８ スケール

Claims (23)

1. 車両用の像強調システムにおいて、
   像強調システムにより強調された修正像を表示するディスプレイ装置と、
   前記像強調システムにより強調された捕捉した像を受け取る撮像装置と、
   前記ディスプレイ装置及び前記撮像装置と連絡しており、前記捕捉した像内に配置された画素が前記画素を転送工程を介して第一の位置から第二の位置まで位置変更することにより強調され前記修正像を形成するようにする像強調モジュールとを備え、
   前記転送工程は、前記捕捉した像を分析することにより調整される少なくとも１つの係数を含み、
   前記捕捉した像を分析するステップは、前記捕捉した像内に実質的に水平な及び（又は）実質的に垂直な線を配置することにより転送工程における係数が規定される、較正手順を含み、
   前記第一の位置は、（Ｘ _ａ 、Ｙ _ａ ）によって表わされ、前記第二の位置は、（Ｘ _ｃ 、Ｙ _ｃ ）によって表わされ、前記転送工程は、次式、
   Ｘ _ｃ ＝ｓ＊ｃｏｓψ＊Ｘ _ａ ＊（１＋ｋ _１ ρ ^２ ＋ｋ _２ ρ ^４ ）及び
   Ｙ _ｃ ＝（ｓ＊ｓｉｎψ＊Ｘ _ａ ＋ｃｏｓψ＊Ｙ _ａ ）（１＋ｋ _１ ρ ^２ ＋ｋ _２ ρ ^４ ）に従って実行される、像強調システム。
2. 請求項１に記載の像強調システムにおいて、前記実質的に垂直な線及び水平な線は、前記捕捉した像の周りに歪み中心を形成する線を含む、像強調システム。
3. 請求項１に記載の像強調システムにおいて、前記転送工程は、逆透視マッピング変換を更に含む、像強調システム。
4. 請求項１に記載の像強調システムにおいて、前記転送工程は、前記画素を前記第一の位置から前記第二の位置まで再マッピングするステップを更に含む、像強調システム。
5. 請求項１に記載の像強調システムにおいて、前記第二の位置は、（Ｘ_ｐ、Ｙ_ｐ）により表わされ、前記転送工程は、次式、
   ｘ_ｐ＝ｆＸ／Ｚ及びｙ_ｐ＝ｆＹ／Ｚ、に従って実行される、像強調システム。
6. 請求項１に記載の像強調システムにおいて、前記捕捉した像は、前記撮像装置により受け取られたリアルタイムの連続像である、像強調システム。
7. 請求項１に記載の像強調システムにおいて、前記撮像装置は、少なくとも１つのＣＭＯＳ又はＣＣＤセンサ利用のカメラを含む、像強調システム。
8. 請求項１に記載の像強調システムにおいて、前記像強調モジュールは、前記車両に対する平面像及び側面像から成る前記修正像を前記ディスプレイ装置上に発生させ、車両の後部位置から撮像装置の視野の任意の距離に配置された対物までの距離が前記修正像にて直線的に比例するようにした、像強調システム。
9. 請求項１に記載の像強調システムにおいて、前記転送工程は、前記修正像を形成するよう地面像及び非地面像を再マッピングするステップを更に含む、像強調システム。
10. 請求項１に記載の像強調システムにおいて、前記転送工程は、前記修正像にて示した補助経路を計算すべく車両のステアリング角度の情報を分析するステップを更に含む、像強調システム。
11. 車両の撮像システム内にて像を強調する方法において、
    車両に配置された少なくとも１つの撮像装置により捕捉した像を受け取るステップと、
    前記捕捉した像を像強調モジュールに連絡するステップと、
    捕捉した像を強調し、前記捕捉した像内に配置された画素が転送工程により第一の位置から第二の位置まで位置変更され、前記修正像を形成するようにするステップと、
    前記修正像を前記像強調モジュールから前記車両内に配置されたディスプレイ装置まで連絡するステップとを備え、
    転送工程にて前記捕捉した像を分析することにより、少なくとも１つの係数を調整するステップを更に備え、
    前記捕捉した像を分析するステップは、前記捕捉した像内に実質的に水平な及び（又は）実質的に垂直な線を配置することにより転送工程における係数が規定される、較正手順を更に含み、
    前記第一の位置は、（Ｘ _ａ 、Ｙ _ａ ）によって表わされ、前記第二の位置は、（Ｘ _ｃ 、Ｙ _ｃ ）によって表わされ、前記転送工程は、次式、
    Ｘ _ｃ ＝ｓ＊ｃｏｓψ＊Ｘ _ａ ＊（１＋ｋ _１ ρ ^２ ＋ｋ _２ ρ ^４ ）及び
    Ｙ _ｃ ＝（ｓ＊ｓｉｎψ＊Ｘ _ａ ＋ｃｏｓψ＊Ｙ _ａ ）（１＋ｋ _１ ρ ^２ ＋ｋ _２ ρ ^４ ）に従って実行される、像を強調する方法。
12. 請求項１１に記載の方法において、修正像を形成すべく転送工程を実行するステップは、逆透視変換を実行することにより更に実現される、方法。
13. 車両に配置された撮像装置により受け取った像を向上させる像強調システムにおいて、
    前記車両に配置された少なくとも１つのカメラであって、リアルタイムにて捕捉した像をカメラの視野内にて受け取る画素アレイを有する前記カメラと、
    前記捕捉した像中の画素を像強調モジュールにより実行される転送工程に従って第一の位置から第二の位置まで位置変更し、画素の位置変更が強調された像を形成するようにすることにより、前記捕捉した像を向上させるべく前記カメラと連絡した像強調モジュールを有する計算装置と、
    前記計算装置と連絡しており且つ、前記強調した像を表示し得るよう、車両の内部に配置されたディスプレイ装置とを備え、
    前記転送工程における少なくとも１つの係数は、前記捕捉した像を分析することにより調整され、
    前記捕捉した像を分析するステップは、前記捕捉した像内に実質的に水平な及び（又は）実質的に垂直な線を配置することにより転送工程における係数が規定される、較正手順を含み、
    前記第一の位置は、（Ｘ _ａ 、Ｙ _ａ ）によって表わされ、前記第二の位置は、（Ｘ _ｃ 、Ｙ _ｃ ）によって表わされ、前記転送工程は、次式、
    Ｘｃ＝ｓ＊ｃｏｓψ＊Ｘａ＊（１＋ｋ _１ ρ ^２ ＋ｋ _２ ρ ^４ ）
    Ｙｃ＝（ｓ＊ｓｉｎψ＊Ｘａ＋ｃｏｓψ＊Ｙａ）（１＋ｋ _１ ρ ^２ ＋ｋ _２ ρ ^４ ）に従って実行される、像強調システム。
14. 請求項１３に記載の像強調システムにおいて、前記転送工程は、逆透視マッピング変換を更に含む、像強調システム。
15. 請求項１３に記載の像強調システムにおいて、前記第二の位置は、（Ｘ_ｐ、Ｙ_ｐ）により表わされ、前記転送工程は、次式、
    ｘ_ｐ＝ｆＸ／Ｚ及びｙ_ｐ＝ｆＹ／Ｚに従って実行される、像強調システム。
16. 請求項１に記載の像強調システムにおいて、
    前記像強調モジュールは、更に、画素を捕捉した像中にて地面の面から参照することにより、前記捕捉した像内に配置された画素を集合化し且つ分割して、少なくとも１つの関心領域を形成する、像強調システム。
17. 請求項１６に記載の像強調システムにおいて、少なくとも１つの関心領域を形成すべく使用される前記集合化され且つ分割された画素は、同様の像キューに対して捕捉した像内にて画素を評価することにより、形成される、像強調システム。
18. 請求項１７に記載の像強調システムにおいて、前記同様の像キューは、色、テキスチャ及び（又は）画素の強度を含む、像強調システム。
19. 請求項１６に記載の像強調システムにおいて、前記集合化され且つ分割された画素は、関心領域を取得するとき、地面領域及び非地面領域を分離すべく使用される、像強調システム。
20. 請求項１９に記載の像強調システムにおいて、前記関心領域は、ディスプレイ装置に表示された修正像にポップアップ対物を形成する、像強調システム。
21. 請求項２０に記載の像強調システムにおいて、前記ポップアップ対物は、地面の面に対して修正像内に配置される、像強調システム。
22. 請求項２０に記載の像強調システムにおいて、車両のステアリング角度及び修正像中のポップアップ対物の位置に基づいて前記ポップアップ対物との衝突を予見することができる計算装置を更に備える、像強調システム。
23. 請求項２２に記載の像強調システムにおいて、前記修正像は、前記ポップアップ対物と車両との間の距離を表示するスケールを含む、像強調システム。
    

Images