JP4629839B2 - 画像変換装置 - Google Patents
画像変換装置 Download PDFInfo
- Publication number
- JP4629839B2 JP4629839B2 JP2000271281A JP2000271281A JP4629839B2 JP 4629839 B2 JP4629839 B2 JP 4629839B2 JP 2000271281 A JP2000271281 A JP 2000271281A JP 2000271281 A JP2000271281 A JP 2000271281A JP 4629839 B2 JP4629839 B2 JP 4629839B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- virtual
- real
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、実カメラで撮影した画像をあたかも仮想カメラから撮影したかのような画像に変換するための画像変換装置に関するものである。
【０００２】
【従来の技術】
この種の画像変換装置としては、例えば図１０及び図１１に示すように、実カメラ１で撮像した実画像１０を、実カメラ１とは異なる位置に仮想的に配置した仮想カメラ２から撮像したかのような仮想画像２０に単に変換する構造のものが知られている。
【０００３】
実カメラ１は、その光軸１ａが例えば水平に配置されたＸＺ平面に対して、所定の角度で入射するように設置されている。これに対して、仮想カメラ２は、その光軸２ａが実カメラ１の光軸１ａよりさらに大きな角度（ＸＺ平面に対して９０度により近い角度）でＸＺ平面に入射するような位置に、仮想的に設置したものを想定している。ただし、実カメラ１の光軸１ａと、仮想カメラ２の光軸２ａとは、ＸＺ平面におけるＸ軸とＺ軸とが交わる原点０を通るようになっている。また、ＸＺ平面は、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元直交座標系のＸ軸、Ｚ軸を含む平面であり、ここでは水平方向に広がる基準面を意味している。
【０００４】
実カメラ１による実画像１０は、光軸１ａに直交するＸｒＹｒ平面上に配置された複数の実画素１１によって得られるようになっている。各実画素１１は、正方形状に形成されたものを縦横に隣接して配置されることによって矩形状に広がるイメージセンサの受光面を構成するようになっている。なお、イメージセンサとしては、ＣＣＤ（Charge Coupled Device）型、ＣＰＤ（Charge Priming Device）型等がある。
【０００５】
また、図１１において、丸印１２は実画素１１の中心を示すと共に、色情報等の画像情報が存在することを意味している。
【０００６】
そして、上記実画像１０を仮想画像２０に変換する際には、図１１に示すような処理をコンピュータ上で行うことになる。すなわち、実カメラ１で撮影したＸｒＹｒ平面上の実画像１０をＸＺ平面上の撮像対象物９９に変換し、さらに仮想カメラ２の光軸２ａに直交するＸｉＹｉ平面に変換することによって、このＸｉＹｉ平面上に配置された複数の仮想画素２１によってあたかも撮像されたかのような仮想画像２０をコンピュータ上で生成する。このようにして生成された仮想画像２０はＣＲＴや液晶等のモニタによって表示することができる。
【０００７】
【発明が解決しようとする課題】
ところが、上記従来の画像変換装置においては、ＸｒＹｒ平面からＸＺ平面に変換する際に、画像が粗くなる拡大領域Ｗと、画像がより密になる縮小領域Ｎとが発生することが分かった。すなわち、原点０を通るＸ軸に対して実カメラ１から離れる方向に位置する部分については拡大領域Ｗとなり、原点０を通るＸ軸に対して実カメラ１に近づく方向に位置する部分については縮小領域Ｎとなる。このため、ＸＺ平面上の撮像対象物９９をＸｉＹｉ平面上の画像に単に変換した場合には、図１１（ｃ）に示すように、上記拡大領域Ｗにおける仮想画素２１の中に、実画素１１が対応しない（丸印１２（すなわち画像情報）の全くない）空白画素２１ａが生じることになる。したがって、仮想画像２０の画像品質が上記拡大領域Ｗにおいて落ちるという問題が判明した。
【０００８】
この発明は、上記課題を解決するためになされたものであり、仮想画像の品質の向上を図ることのできる画像変換装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、ある方向から撮像対象物を見るように配設された実カメラの複数の実画素によって撮像された実画像を、別の方向から前記撮像対象物を見るように仮想的に配設された仮想カメラの複数の仮想画素によって撮像された仮想画像に変換するための画像変換装置であって、前記実画像から仮想画像に変換する際に画像面積が拡大される拡大領域では、仮想画像から実画像に画像面積が縮小される逆変換方法を用いて、仮想カメラの各仮想画素を実カメラの各実画素に対応させることにより、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、前記実画像から仮想画像に変換する際に画像面積が縮小されるような縮小領域では、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１１】
請求項３に記載の発明は、ある方向から撮像対象物を見るように配設された実カメラの複数の実画素によって撮像された実画像を、別の方向から前記撮像対象物を見るように仮想的に配設された仮想カメラの複数の仮想画素によって撮像された仮想画像に変換するための画像変換装置であって、前記撮像対象物における前記各実画素に対応する微小範囲についての高さ情報が各実画素ごとに存在している際には、前記高さ情報に基づいて、各微小範囲から仮想カメラまでの間の仮想距離を演算し、仮想距離の大きい順に仮想カメラから前記微小範囲に直線を引いて、その直線と高さ０レベルの基準面との交点を求め、かつその直線について、前記微小範囲に対応する実画素と前記交点に対応する実画素が異なるものであるときには、前記微小範囲に対応する実画素の画像情報をもって交点に対応する実画素の画像情報とする処理を前記微小範囲のすべてについて行うことにより、平面的な二次実画像を作成し、前記二次実画像から仮想画像に変換する際に画像面積が拡大されるような拡大領域では、仮想画像から二次実画像に画像面積が縮小される逆変換方法を用いて、二次実画像の各実画素を仮想カメラの各仮想画素に対応させることにより、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１２】
請求項４に記載の発明は、請求項３に記載の発明において、前記二次実画像から仮想画像に変換する際に画像面積が縮小されるような縮小領域では、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１３】
請求項５に記載の発明は、請求項１〜請求項４のいずれか１項に記載の発明において、前記拡大領域では、所定の仮想画素の中心と、この仮想画素の中心を囲む第１〜第４の４つの実画素の中心とを抽出し、前記仮想画素の中心と第１実画素の中心とを結ぶ線分を対角線とする第１の四角形の面積と、前記仮想画素の中心と第２実画素の中心とを結ぶ線分を対角線とする第２の四角形の面積と、前記仮想画素の中心と第３実画素の中心とを結ぶ線分を対角線とする第３の四角形の面積と、前記仮想画素の中心と第４実画素の中心とを結ぶ線分を対角線とする第４の四角形の面積とを求めて、前記第１〜第４の四角形の面積のそれぞれの逆数を第１〜第４の重み付けとし、前記仮想画素の画像情報は、前記第１〜第４の各重み付けを比率とする前記第１〜第４の各実画素の画像情報からなっていると推定することを特徴とする。
【００１４】
請求項６に記載の発明は、請求項１〜請求項４のいずれか１項に記載の発明において、前記拡大領域では、所定の仮想画素の中心が含まれる実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００１５】
請求項７に記載の発明は、請求項２、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの仮想画素の中心と各実画素の中心とを結ぶ各線分をそれぞれ対角線とする複数の四角形の面積を求めて、各四角形の面積の逆数をそれぞれ重み付けとし、前記仮想画素の画像情報は、前記各重み付けを比率とする前記各実画素の画像情報からなっていると推定することを特徴とする。
【００１６】
請求項８に記載の発明は、請求項２、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの各実画素の画像情報の単純平均をもって仮想画素の画像情報と推定することを特徴とする。
【００１７】
請求項９に記載の発明は、請求項２、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの各実画素のうち最も明るい画像情報を有する実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００１８】
請求項１０に記載の発明は、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際には各実画素のうち仮想距離の最も小さな実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００１９】
請求項１１に記載の発明は、請求項２、請求項４〜請求項１０のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に１つの実画素の中心が含まれる際にはその１つの実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００２０】
請求項１２に記載の発明は、請求項１〜請求項１１のいずれか１項に記載の発明において、前記実カメラは、自動車の周囲を撮影する周囲モニタ用車載カメラであることを特徴とする。
【００２１】
そして、上記のように構成された請求項１に記載の発明においては、拡大領域において、仮想画像から実画像に画像面積が縮小される逆変換方法を用いているので、各仮想画素を１以上の実画素に必ず対応させることができる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、拡大領域における仮想画像の品質の向上を図ることができる。
【００２２】
請求項２に記載の発明においては、縮小領域において、実画像から面積の小さな仮想画像に変換されているので、各仮想画素は１以上の実画素に必ず対応することになる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、縮小領域における仮想画像の品質の向上を図ることができる。
【００２３】
請求項３に記載の発明においては、仮想距離の大きい順に仮想カメラから微小範囲に直線を引いて、その直線と高さ０レベルの基準面との交点を求め、かつその直線について、微小範囲に対応する実画素と交点に対応する実画素とが異なるものであるときには、微小範囲に対応する実画素の画像情報をもって交点に対応する実画素の画像情報とする処理を微小範囲のすべてについて行うことにより、最も高い位置の画像情報を有する実画素からなる二次実画像を作成することができる。したがって、最終的に仮想カメラから俯瞰した状態の画像を正確に得ることができる。
【００２４】
請求項４に記載の発明においては、請求項２に記載の発明と同様の作用効果を奏する。
【００２５】
請求項５に記載の発明においては、拡大領域における所定の仮想画素の中心を囲むように配置された４つの実画素の画像情報の平均的なものであって、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００２６】
請求項６に記載の発明においては、拡大領域における仮想画素の中心が含まれる実画素の画像情報をもって仮想画素の画像情報と推定しているので、色情報などの画像情報が急激に変化するエッジ領域での映像のシャープさを確保することができる。したがって、仮想画像として、実画像の鮮明さを失うことのない見やすい画像を提供することができる。
【００２７】
請求項７に記載の発明においては、縮小領域における仮想画素の中心と各実画素の中心とを結ぶ線分をそれぞれ対角線とする複数の面積を求めて、各四角形の面積の逆数をそれぞれ重み付けとし、これらの各重み付けを比率とする各実画素の画像情報から各仮想画素の画像情報を推定しているので、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００２８】
請求項８に記載の発明においては、縮小領域において、各実画素の画像情報の単純平均を、これらの実画素の中心が含まれる仮想画素の画像情報としているので、各仮想画素の画像情報を比較的正確に推定することができると共に、演算が簡単なため高速で画像処理をすることができる利点がある。
【００２９】
請求項９に記載の発明においては、縮小領域において、最も明る画像情報を有する実画素の画像情報を、仮想画素の画像情報として推定しているので、例えば画像情報の平均化によるボケが生じるのを防止することができる。したがって、鮮明な画像を得ることができる。
【００３０】
請求項１０に記載の発明においては、縮小領域において、仮想距離の最も小さな実画素の画像情報、すなわち最も高い位置の実画素の画像情報を、仮想画素の画像情報として推定しているので、仮想カメラから俯瞰した状態の図を正確にかつ鮮明に得ることができる。
【００３１】
請求項１１に記載の発明においては、縮小領域において、所定の仮想画素に１つの実画素の中心が含まれる際にはその１つの実画素の画像情報を、仮想画素の画像情報として推定しているので、実画像の鮮明さが仮想画像にそのまま現れると共に、画像変換処理が高速になるという利点がある。
【００３２】
請求項１２に記載の発明においては、実カメラが自動車の周囲を撮影する周囲モニタ用車載カメラによって構成されているので、運転者の感覚に合った仮想画像や、運転者が見たい方向からの仮想画像等についての品質の向上を図ることができる。したがって、安全性の向上を図ることができる。
【００３３】
なお、請求項５において新たに記載された構成を第１制御手段とし、請求項６において新たに記載された構成を第２制御手段とした場合、これらの第１及び第２の制御手段のいずれか一方を選択可能に構成された第１選択手段を、請求項１〜請求項４のいずれか１項に記載の発明に設けるように構成してもよい。
【００３４】
さらに、請求項７において新たに記載された構成を第３制御手段とし、請求項８において新たに記載された構成を第４制御手段とし、請求項９において新たに記載された構成を第５制御手段とした場合、第３、第４及び第５の制御手段のいずれか一つを選択可能に構成された第２選択手段を、請求項２、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００３５】
また、請求項１０において新たに記載された構成を第６制御手段とした場合、第３、第４、第５及び第６の制御手段のいずれか一つを選択可能に構成された第３選択手段を、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００３６】
そしてさらに、上記第１及び第２の選択手段の双方を請求項２又は請求項４に記載の発明に設けたり、第１及び第３の選択手段の双方を請求項４に記載の発明に設けるように構成してもよい。
【００３７】
【発明の実施の形態】
以下に、この発明の実施の形態を図面を参照して詳細に説明する。
【００３８】
まず、第１の実施の形態を図１〜図３を参照して説明する。ただし、従来例で示した構成要素と共通する要素には同一の符号を付し、その説明を簡略化する。
【００３９】
この第１の実施の形態は、実カメラ１で撮像した撮像対象物９９の高さ情報が実画像１０の各実画素１１に対応するメモリに存在していない場合を示している。なお、図１は、画像変換の基本的な考え方を示しており、図中の丸印は仮想画像２０における各仮想画素２１の中心２２を示すと共に、色情報等の画像情報を示している。また、図１（ｃ）は、実カメラ１で撮像した撮像対象物９９を仮想カメラ２で見ている図であり、ＸｉＹｉ平面上に、仮想画素２１が隣接して密接に配置されている図を示している。仮想画素２１は、形状及び大きさが実画素１１と同一であるものを想定している。図１（ｂ）は、仮想画像２０を水平状のＸＺ平面（高さ０レベルの基準面）に逆変換することによって、撮像対象物９９を表示した状態を示しており、図１（ａ）は、撮像対象物９９をさらに実画像１０に逆変換して、仮想カメラ２の各仮想画素２１と実カメラ１の実画素１１とを対応させた状態を示している。
【００４０】
すなわち、この第１の実施の形態は、実画像１０から仮想画像２０に変換する際に画像面積が拡大されるような拡大領域Ｗでは、仮想画像２０から実画像１０に画像面積が縮小される逆変換方法を用いて、仮想カメラ２の各仮想画素２１を実カメラ１の各実画素１１に対応させることにより、各仮想画素２１に対応する実画素１１の画像情報から各仮想画素２１の画像情報を推定するようになっている。また、実画像１０から仮想画像２０に変換する際に画像面積が縮小されるような縮小領域Ｎでは、実画像１０から仮想画像２０に画像面積が縮小される正変換方法を用いて、各仮想画素２１に対応する実画素１１の所定の画像情報を各仮想画素２１の画像情報として推定するようになっている。
【００４１】
なお、上記実カメラ１は、自動車の周囲を撮影する周囲モニタ用車載カメラであり、自動車における後面の上部に設置されたものである。
【００４２】
次に、拡大領域Ｗにおいて、実画像１０から仮想画像２０に変換するためのより具体的な構成について説明する。図２は、図１（ａ）における拡大領域Ｗの要部拡大図を示しており、１つの実画素１１に２つの仮想画素２１の中心２２が集積された状態を示している。なお、図２においては、一方の仮想画素２１の中心を２２ａで示し、他方の仮想画素２１の中心を２２ｂで示している。
【００４３】
中心２２ａを有する一方の仮想画素２１の画像情報を推定するには、その中心２２ａと、この中心２２ａを囲む第１〜第４の４つの実画素１１ａ〜１１ｄの各中心１２Ａ〜１２Ｄとを抽出する。そして、仮想画素２１の中心２２ａと第１実画素１１ａの中心１２Ａとを結ぶ線分を対角線とする第１の四角形の面積Ａと、中心２２ａと第２実画素１１ｂの中心１２Ｂとを結ぶ線分を対角線とする第２の四角形の面積Ｂと、中心２２ａと第３実画素１１ｃの中心１２Ｃとを結ぶ線分を対角線とする第３の四角形の面積Ｃと、中心２２ａと第４実画素１１ｄの中心１２Ｄとを結ぶ線分を対角線とする第４の四角形の面積Ｄとを求めて、これらの第１〜第４の四角形の各面積Ａ、Ｂ、Ｃ、Ｄのそれぞれの逆数を第１〜第４の各重み付けとし、中心２２ａを有する仮想画素２１の画像情報が上記第１〜第４の各重み付けを比率とする第１〜第４の各実画素１１ａ〜１１ｄの画像情報からなっていると推定するようになっている。すなわち、各実画素１１ａ〜１１ｄの画像情報、例えば色情報のぞれぞれに上記各重み付けを掛けて、足すことにより、中心２２ａを有する仮想画素２１の色情報を得るようになっている。
【００４４】
例えば、第１〜第４の各実画素１１ａ〜１１ｄの画像情報をＧ１ａ〜Ｇ１ｄとし、中心２２ａの仮想画素２１の推定画像情報をＩＧ２ａとすれば、ＩＧ２ａ＝Ｇ１ａ×１／Ａ＋Ｇ１ｂ×１／Ｂ＋Ｇ１ｃ×１／Ｃ＋Ｇ１ｄ×１／Ｄとなる。ただし、１／Ａ＋１／Ｂ＋１／Ｃ＋１／Ｄ＝１である。すなわち、１／Ａ、１／Ｂ、１／Ｃ、１／Ｄからなる各重み付けは、その総和が１となるように調整されている。なお、上記第１〜第４の四角形は、それぞれ同一長さの２つの対角線によって特定されるようになっており、長方形または正方形の形状を有している。
【００４５】
また、中心２２ｂを有する仮想画素２１の画像情報も、上述した中心２２ａを有する仮想画素２１と同様にして推定することが可能である。
【００４６】
次に、縮小領域Ｎにおいて、各実画素１１の所定の画像情報を、各仮想画素２１の画像情報とするためのより具体的な構成について説明する。図３は、図１１（ｃ）における縮小領域Ｎの要部拡大図を示しており、１つの仮想画素２１に２つの実画素１１の中心１２が集積されている状態を示している。なお、図３においては、一方の実画素１１の中心を１２Ｅで示し、他方の実画素１１の中心を１２Ｆで示している。
【００４７】
すなわち、縮小領域Ｎにおいては、各実画素１１の中心１２Ｅ、１２Ｆと、この中心１２Ｅ、１２Ｆに対応する仮想画素２１の中心２２を抽出することによって、中心１２Ｅ、１２Ｆを有する各実画素１１の画像情報から仮想画素２１の画像情報を推定するようになっている。この仮想画素２１の画像情報は、仮想画素２１の中心２２と各実画素１１の中心１２Ｅ、１２Ｆとを結ぶ各線分をそれぞれ対角線とする第１の四角形の面積Ｅ及び第２の四角形の面積Ｆを求めて、各面積Ｅ、Ｆの逆数を重み付けとし、これらの重み付けを比率とする２つの実画素１１の画像情報からなっていると推定するようになっている。
【００４８】
すなわち、各中心１２Ｅ、１２Ｆをそれぞれ有する実画素１１の画像情報、例えば色情報のぞれぞれに上記各重み付けを掛けて、足すことにより、仮想画素２１の色情報を得るようになっている。
【００４９】
例えば、２つの各実画素１１の画像情報をそれぞれＧ１ｅ、Ｇ１ｆとし、仮想画素２１の推定画像情報をＩＧ２ｂとすれば、ＩＧ２ｂ＝Ｇ１ｅ×１／Ｅ＋Ｇ１ｆ×１／Ｆとなる。ただし、１／Ｅ＋１／Ｆ＝１である。すなわち、１／Ｅ、１／Ｆからなる各重み付けは、その総和が１となるように調整されている。なお、上記第１、第２の四角形は、それぞれ長さの等しい２つの対角線によって特定されるようになっており、長方形または正方形の形状を有している。
【００５０】
また、縮小領域Ｎでは、所定の仮想画素２１に１つの実画素１１の中心１２が含まれることもある。この際にはその１つの実画素１１の画像情報を、仮想画素２１の画像情報と推定するようになっている。そして、上記のような実画像１０から仮想画像２０への変換は、コンピュータによって自動的に行われるようになっている。
【００５１】
上記のように構成された画像変換装置においては、拡大領域Ｗにおいて、仮想画像２０から実画像１０に画像面積が縮小される逆変換方法を用いているので、各仮想画素２１を１以上の実画素１１に必ず対応させることができる。このため、各仮想画素２１の画像情報を各仮想画素２１に対応する実画素１１の画像情報から必ず推定することができる。すなわち、拡大領域Ｗにおける仮想画素２１において、画像情報の全くない空白画素画が生じるのを防止することができる。したがって、拡大領域Ｗにおける仮想画像２０の品質の向上を図ることができる。
【００５２】
また、縮小領域Ｎにおいては、実画像１０から面積の小さな仮想画像２０に変換されるので、各仮想画素２１は１以上の実画素１１に必ず対応することになる。このため、各仮想画素２１は、いずれかの実画素１１の画像情報を必ず得ることができるので、縮小領域Ｎにおいても空白画素画が生じることがない。したがって、縮小領域Ｎにおける仮想画像２０の品質も向上させることができる。
【００５３】
さらに、拡大領域Ｗにおいては、仮想画素２１の中心２２ａを囲むように配置された４つの実画像１１ａ〜１１ｄの画像情報の平均的なものであって、仮想画素２１の中心２２ａに近い実画素の画像情報が強調されたものを、仮想画像２０の画像情報として得ることができる。すなわち、第１〜第４の各四角形の面積Ａ〜Ｄの逆数を、第１〜第４の各実画素１１ａ〜１１ｄの画像情報Ｇ１ａ〜Ｇ１ｄに掛けて、これらを合計することにより、仮想画素２１における真の画像情報、例えば真の色情報に近いものを、４つの実画素１１ａ〜１１ｄから推定することができる。
【００５４】
一方、縮小領域Ｎにおいては、仮想画素２１の中心２２と例えば２つの実画素１１の中心１２Ｅ、１２Ｆとを結ぶ線分を対角線とする面積Ｅ、Ｆを求めて、各面積Ｅ、Ｆの逆数、すなわち１／Ｅ、１／Ｆを重み付けとし、この重み付けを比率とする各実画素１１の画像情報によって、仮想画素２１の画像情報を得ているので、仮想画素２１の中心２２により近い実画素１１の画像情報が強調されたものを、仮想画素２１の画像情報として得ることができる。すなわち、上記各面積Ｅ、Ｆの逆数を、各実画素１１の画像情報Ｇ１ｅ、Ｇ１ｆに掛けて、これらを合計することにより、仮想画素２１における真の画像情報、例えば真の色情報に近いものを実画素１１から推定することができる。
【００５５】
また、縮小領域Ｎにおいて、所定の仮想画素２１に１つの実画素１１の中心１２が含まれる際にはその１つの実画素１１の画像情報を、仮想画素２１の画像情報としているので、実画像１０の鮮明さを仮想画像２０にもそのまま現すことができると共に、高速での画像変換処理ができるという利点がある。
【００５６】
さらに、実カメラ１が自動車の周囲を撮影する周囲モニタ用車載カメラによって構成されているので、運転者の感覚に合った方向からの仮想画像２０や、運転者が見たい方向からの仮想画像２０等について、品質の向上したものを提供することができる。したがって、安全性の向上を図ることができる。
【００５７】
次に、この発明の第２の実施の形態について図４〜図９を参照して説明する。ただし、第１の実施の形態と共通する構成要素には、同一の符号を付し、その説明を省略する。この第２の実施の形態が第１の実施の形態と異なる点は、撮像される撮像対象物９９の高さ情報が各実画素１１に存在している点にある。
【００５８】
すなわち、この第２の実施の形態で示す画像変換装置は、撮像対象物９９における各実画素１１に対応する微小範囲９９ａ（図１１（ｂ）参照）についての高さ情報が各実画素１１ごとに、図５に示すメモリｒ１１〜ｒｍｎ内に記録されるようになっている。そして、上記高さ情報に基づいて、各微小範囲９９ａの中心から仮想カメラ２（又は仮想カメラ２の焦点（仮想画素２１の受光面）又は対物レンズの中心等）までの間の仮想距離を演算して、この仮想距離の大きい順に整数の番号を付す。この番号は、図６に示すように、例えば各実画素１１に対応するメモリｒ１１〜ｒｍｎに追記するようにして記録する。なお、仮想距離のデータも残しておく。
【００５９】
次に、仮想距離の大きい順、すなわち上記番号の順に仮想カメラ２から前記微小範囲９９ａの中心Ｐに直線Ｌを引いて、その直線ＬとＸＺ平面（高さ０レベルの基準面）との交点Ｑを求め、かつその直線Ｌについて、微小範囲９９ａに対応する実画素１１と交点Ｐに対応する実画素１１が異なるものであるときには、微小範囲９９ａに対応する実画素１１の画像情報をもって交点Ｑに対応する実画素１１の画像情報とする処理を微小範囲９９ａのすべてについて行う。これにより、図４〜図７に示す撮像対象物９９における所定の高さの建物Ｓが図８、図９に示すように、仮想カメラ２から俯瞰した状態の平面的な建物Ｓ１になる。すなわち、立体的な実画像１０が平面的な二次実画像１００になる。なお、これらの処理は、実画像１０について、仮想画像２０に変換する前に行われる。また、各実画素１１に対応するメモリｒ１１〜ｒｍｎに残った仮想距離や整数の番号によって、図５、図６に示すように、撮像対象物９９の各微小範囲９９ａについての距離マップ（高さマップ）が生成されるようになっている。なお、実カメラ１の高さ情報をそのまま上記仮想距離として用いてもよい。また、上記のように整数の番号を付すのを省略して、仮想距離の大小を直接判断することにより、直線Ｌを引く順序を決定するようにしてもよい。また、上記のような実画像１０から二次実画像１００への変換は、コンピュータによって自動的に行われるようになっている。
【００６０】
そして、第１の実施の形態で示した構成と同様の構成も備えており、上記二次実画像１００を実画像１０とみなすことにより、その二次実画像１００から仮想画像２０に変換するようになっている。
【００６１】
上記のように構成された画像変換装置においては、仮想距離の大きい順に仮想カメラ２から微小範囲９９ａの中心Ｐに直線Ｌを引いて、その直線ＬとＸＺ平面との交点Ｑを求め、かつその直線Ｌについて、微小範囲９９ａの中心Ｐに対応する実画素１１と交点Ｑに対応する実画素１１が異なるものであるときには、微小範囲９９ａの中心Ｐに対応する実画素１１の画像情報をもって交点Ｑに対応する実画素１１の画像情報とする処理を微小範囲９９ａのすべてについて行うことにより、ＸＺ平面からの高さが最も高い実画素１１の画像情報が二次実画像１００として残ることになる。すなわち、実カメラ１側において、仮想カメラ２から俯瞰した状態の二次実画像１００を作成しているので、この二次実画像１００から仮想画像２０に変換することにより、仮想カメラ２から俯瞰した状態の画像を正確に得ることができる。
【００６２】
なお、上記第１及び第２の実施の形態においては、拡大領域Ｗにおいて、４つの実画素１１ａ〜１１ｄによって、仮想画素２１の画像情報を推定するように構成したが、所定の仮想画素２１の中心２２が含まれる実画素１１の画像情報を、そのまま仮想画素２１の画像情報とするように構成してもよい。すなわち、図２において、仮想画素２１の中心２２ａが含まれる実画素１１ｄの画像情報を、中心２２ａを有する仮想画素２１の画像情報としてもよい。また、中心２２ｂを有する仮想画素２１も、実画素１１ｄの画像情報によるものとなる。このように構成した場合には、色情報などの画像情報が急激に変化するエッジ領域での映像のシャープさを確保することができる。したがって、実画像１０の鮮明さを失うことなく仮想画像２０に変換することができ、極めて見やすい仮想画像２０を提供することができる。
【００６３】
また、縮小領域Ｎにおいては、面積Ｅ、Ｆの逆数を重み付けとして用いることにより、２つの実画素１１の画像情報から仮想画素２１の画像情報を推定するように構成したが、２つの実画素１１の画像情報の単純平均を、これらの各実画素１１が含まれる仮想画素２１の画像情報とするように構成してもよい。このように構成した場合には、各仮想画素２１の画像情報を比較的正確に推定することができると共に、高速で画像処理を行うことができる利点がある。
【００６４】
さらに、縮小領域Ｎにおいては、２つの実画素１１のうち最も明る画像情報を有する実画素１１の画像情報を、仮想画素２１の画像情報として推定するように構成してもよい。このように構成した場合には、例えば画像情報の平均化によるボケが生じるのを防止することができるので、仮想画像２０として鮮明な画像を得ることができる利点がある。
【００６５】
また、第２の実施の形態においては、縮小領域Ｎにおいて、２つの実画素１１のうち仮想距離の最も小さな実画素１１の画像情報、すなわちＸＺ平面からの高さが最も高い実画素１１の画像情報を、仮想画素２１の画像情報とするように構成してもよい。このように構成した場合には、最も高い位置の実画素１１の画像情報が仮想画素２１の画像情報となるので、仮想カメラから俯瞰した画像として正確かつ鮮明なものを得ることができる。
【００６６】
さらに、上述した各説明においては、縮小領域Ｎにおいて、所定の仮想画素２１に最大でも２つの実画素１１の中心１２が含まれる場合について説明したが、所定の仮想画素２１に含まれる実画素１１の中心１２の数は３つ以上であってもよいことは言うまでもない。
【００６７】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、拡大領域において、仮想画像から実画像に画像面積が縮小される逆変換方法を用いているので、各仮想画素を１以上の実画素に必ず対応させることができる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、拡大領域における仮想画像の品質の向上を図ることができる。
【００６８】
請求項２に記載の発明によれば、縮小領域において、実画像から面積の小さな仮想画像に変換されているので、各仮想画素は１以上の実画素に必ず対応することになる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、縮小領域における仮想画像の品質の向上を図ることができる。
【００６９】
請求項３に記載の発明によれば、仮想距離の大きい順に仮想カメラから微小範囲に直線を引いて、その直線と高さ０レベルの基準面との交点を求め、かつその直線について、微小範囲に対応する実画素と交点に対応する実画素とが異なるものであるときには、微小範囲に対応する実画素の画像情報をもって交点に対応する実画素の画像情報とする処理を微小範囲のすべてについて行うことにより、最も高い位置の画像情報を有する実画素からなる二次実画像を作成することができる。したがって、最終的に仮想カメラから俯瞰した状態の画像を正確に得ることができる。
【００７０】
請求項４に記載の発明によれば、請求項２に記載の発明と同様の作用効果を奏する。
【００７１】
請求項５に記載の発明によれば、拡大領域における所定の仮想画素の中心を囲むように配置された４つの実画素の画像情報の平均的なものであって、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００７２】
請求項６に記載の発明によれば、拡大領域における仮想画素の中心が含まれる実画素の画像情報をもって仮想画素の画像情報と推定しているので、色情報などの画像情報が急激に変化するエッジ領域での映像のシャープさを確保することができる。したがって、仮想画像として、実画像の鮮明さを失うことのない見やすい画像を提供することができる。
【００７３】
請求項７に記載の発明によれば、縮小領域における仮想画素の中心と各実画素の中心とを結ぶ線分をそれぞれ対角線とする複数の面積を求めて、各四角形の面積の逆数をそれぞれ重み付けとし、これらの各重み付けを比率とする各実画素の画像情報から各仮想画素の画像情報を推定しているので、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００７４】
請求項８に記載の発明によれば、縮小領域において、各実画素の画像情報の単純平均を、これらの実画素の中心が含まれる仮想画素の画像情報としているので、各仮想画素の画像情報を比較的正確に推定することができると共に、演算が簡単なため高速で画像処理をすることができる利点がある。
【００７５】
請求項９に記載の発明によれば、縮小領域において、最も明る画像情報を有する実画素の画像情報を、仮想画素の画像情報として推定しているので、例えば画像情報の平均化によるボケが生じるのを防止することができる。したがって、鮮明な画像を得ることができる。
【００７６】
請求項１０に記載の発明によれば、縮小領域において、仮想距離の最も小さな実画素の画像情報、すなわち最も高い位置の実画素の画像情報を、仮想画素の画像情報として推定しているので、仮想カメラから俯瞰した状態の図を正確にかつ鮮明に得ることができる。
【００７７】
請求項１１に記載の発明によれば、縮小領域において、所定の仮想画素に１つの実画素の中心が含まれる際にはその１つの実画素の画像情報を、仮想画素の画像情報として推定しているので、実画像の鮮明さが仮想画像にそのまま現れると共に、画像変換処理が高速になるという利点がある。
【００７８】
請求項１２に記載の発明によれば、実カメラが自動車の周囲を撮影する周囲モニタ用車載カメラによって構成されているので、運転者の感覚に合った仮想画像や、運転者が見たい方向からの仮想画像等についての品質の向上を図ることができる。したがって、安全性の向上を図ることができる。
【００７９】
なお、請求項５において新たに記載された構成を第１制御手段とし、請求項６において新たに記載された構成を第２制御手段とした場合、これらの第１及び第２の制御手段のいずれか一方を選択可能に構成された第１選択手段を、請求項１〜請求項４のいずれか１項に記載の発明に設けるように構成してもよい。
【００８０】
さらに、請求項７において新たに記載された構成を第３制御手段とし、請求項８において新たに記載された構成を第４制御手段とし、請求項９において新たに記載された構成を第５制御手段とした場合、第３、第４及び第５の制御手段のいずれか一つを選択可能に構成された第２選択手段を、請求項２、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００８１】
また、請求項１０において新たに記載された構成を第６制御手段とした場合、第３、第４、第５及び第６の制御手段のいずれか一つを選択可能に構成された第３選択手段を、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００８２】
そしてさらに、上記第１及び第２の選択手段の双方を請求項２又は請求項４に記載の発明に設けたり、第１及び第３の選択手段の双方を請求項４に記載の発明に設けるように構成してもよい。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態として示した画像変換装置の説明図である。
【図２】同画像変換装置の要部を示す説明図である。
【図３】同画像変換装置の要部を示す説明図である。
【図４】この発明の第２の実施の形態として示した画像変換装置の斜視図である。
【図５】同画像変換装置における複数の実画素と、各実画素に対応する仮想距離との関係を示す説明図である。
【図６】同画像変換装置における複数の実画素と、各実画素に対応する仮想距離の大きさの順序との関係を示す説明図である。
【図７】同画像変換装置における仮想カメラから撮像対象物の微小範囲に直線を引いた状態を示す実画像の説明図である。
【図８】同画像変換装置における仮想カメラから撮像対象物の微小範囲に直線を引き、この直線とＸＺ平面との交点の軌跡を示す実画像の説明図である。
【図９】同画像変換装置を示す図であって、撮像対象物を平面化した状態を示す斜視図である。
【図１０】従来例として示した画像変換装置の斜視図である。
【図１１】同画像変換装置の説明図である。
【符号の説明】
１ 実カメラ
２ 仮想カメラ
１０ 実画像
１１ 実画素
１１ａ 第１実画素
１１ｂ 第２実画素
１１ｃ 第３実画素
１１ｄ 第４実画素
１２Ａ 第１実画素の中心
１２Ｂ 第２実画素の中心
１２Ｃ 第３実画素の中心
１２Ｄ 第４実画素の中心
１２Ｅ、１２Ｆ 実画素の中心
２０ 仮想画像
２１ 仮想画素
２２、２２ａ、２２ｂ 仮想画素の中心
９９ 撮像対象物
９９ａ 微小範囲
１００ 二次実画像
Ａ 第１の四角形の面積
Ｂ 第２の四角形の面積
Ｃ 第３の四角形の面積
Ｄ 第４の四角形の面積
Ｅ、Ｆ 面積
Ｌ 直線
Ｎ 縮小領域
Ｐ 微小範囲の中点
Ｑ 交点
Ｓ 撮像対象物
Ｗ 拡大領域
【発明の属する技術分野】
この発明は、実カメラで撮影した画像をあたかも仮想カメラから撮影したかのような画像に変換するための画像変換装置に関するものである。
【０００２】
【従来の技術】
この種の画像変換装置としては、例えば図１０及び図１１に示すように、実カメラ１で撮像した実画像１０を、実カメラ１とは異なる位置に仮想的に配置した仮想カメラ２から撮像したかのような仮想画像２０に単に変換する構造のものが知られている。
【０００３】
実カメラ１は、その光軸１ａが例えば水平に配置されたＸＺ平面に対して、所定の角度で入射するように設置されている。これに対して、仮想カメラ２は、その光軸２ａが実カメラ１の光軸１ａよりさらに大きな角度（ＸＺ平面に対して９０度により近い角度）でＸＺ平面に入射するような位置に、仮想的に設置したものを想定している。ただし、実カメラ１の光軸１ａと、仮想カメラ２の光軸２ａとは、ＸＺ平面におけるＸ軸とＺ軸とが交わる原点０を通るようになっている。また、ＸＺ平面は、Ｘ軸、Ｙ軸、Ｚ軸からなる３次元直交座標系のＸ軸、Ｚ軸を含む平面であり、ここでは水平方向に広がる基準面を意味している。
【０００４】
実カメラ１による実画像１０は、光軸１ａに直交するＸｒＹｒ平面上に配置された複数の実画素１１によって得られるようになっている。各実画素１１は、正方形状に形成されたものを縦横に隣接して配置されることによって矩形状に広がるイメージセンサの受光面を構成するようになっている。なお、イメージセンサとしては、ＣＣＤ（Charge Coupled Device）型、ＣＰＤ（Charge Priming Device）型等がある。
【０００５】
また、図１１において、丸印１２は実画素１１の中心を示すと共に、色情報等の画像情報が存在することを意味している。
【０００６】
そして、上記実画像１０を仮想画像２０に変換する際には、図１１に示すような処理をコンピュータ上で行うことになる。すなわち、実カメラ１で撮影したＸｒＹｒ平面上の実画像１０をＸＺ平面上の撮像対象物９９に変換し、さらに仮想カメラ２の光軸２ａに直交するＸｉＹｉ平面に変換することによって、このＸｉＹｉ平面上に配置された複数の仮想画素２１によってあたかも撮像されたかのような仮想画像２０をコンピュータ上で生成する。このようにして生成された仮想画像２０はＣＲＴや液晶等のモニタによって表示することができる。
【０００７】
【発明が解決しようとする課題】
ところが、上記従来の画像変換装置においては、ＸｒＹｒ平面からＸＺ平面に変換する際に、画像が粗くなる拡大領域Ｗと、画像がより密になる縮小領域Ｎとが発生することが分かった。すなわち、原点０を通るＸ軸に対して実カメラ１から離れる方向に位置する部分については拡大領域Ｗとなり、原点０を通るＸ軸に対して実カメラ１に近づく方向に位置する部分については縮小領域Ｎとなる。このため、ＸＺ平面上の撮像対象物９９をＸｉＹｉ平面上の画像に単に変換した場合には、図１１（ｃ）に示すように、上記拡大領域Ｗにおける仮想画素２１の中に、実画素１１が対応しない（丸印１２（すなわち画像情報）の全くない）空白画素２１ａが生じることになる。したがって、仮想画像２０の画像品質が上記拡大領域Ｗにおいて落ちるという問題が判明した。
【０００８】
この発明は、上記課題を解決するためになされたものであり、仮想画像の品質の向上を図ることのできる画像変換装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、ある方向から撮像対象物を見るように配設された実カメラの複数の実画素によって撮像された実画像を、別の方向から前記撮像対象物を見るように仮想的に配設された仮想カメラの複数の仮想画素によって撮像された仮想画像に変換するための画像変換装置であって、前記実画像から仮想画像に変換する際に画像面積が拡大される拡大領域では、仮想画像から実画像に画像面積が縮小される逆変換方法を用いて、仮想カメラの各仮想画素を実カメラの各実画素に対応させることにより、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、前記実画像から仮想画像に変換する際に画像面積が縮小されるような縮小領域では、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１１】
請求項３に記載の発明は、ある方向から撮像対象物を見るように配設された実カメラの複数の実画素によって撮像された実画像を、別の方向から前記撮像対象物を見るように仮想的に配設された仮想カメラの複数の仮想画素によって撮像された仮想画像に変換するための画像変換装置であって、前記撮像対象物における前記各実画素に対応する微小範囲についての高さ情報が各実画素ごとに存在している際には、前記高さ情報に基づいて、各微小範囲から仮想カメラまでの間の仮想距離を演算し、仮想距離の大きい順に仮想カメラから前記微小範囲に直線を引いて、その直線と高さ０レベルの基準面との交点を求め、かつその直線について、前記微小範囲に対応する実画素と前記交点に対応する実画素が異なるものであるときには、前記微小範囲に対応する実画素の画像情報をもって交点に対応する実画素の画像情報とする処理を前記微小範囲のすべてについて行うことにより、平面的な二次実画像を作成し、前記二次実画像から仮想画像に変換する際に画像面積が拡大されるような拡大領域では、仮想画像から二次実画像に画像面積が縮小される逆変換方法を用いて、二次実画像の各実画素を仮想カメラの各仮想画素に対応させることにより、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１２】
請求項４に記載の発明は、請求項３に記載の発明において、前記二次実画像から仮想画像に変換する際に画像面積が縮小されるような縮小領域では、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする。
【００１３】
請求項５に記載の発明は、請求項１〜請求項４のいずれか１項に記載の発明において、前記拡大領域では、所定の仮想画素の中心と、この仮想画素の中心を囲む第１〜第４の４つの実画素の中心とを抽出し、前記仮想画素の中心と第１実画素の中心とを結ぶ線分を対角線とする第１の四角形の面積と、前記仮想画素の中心と第２実画素の中心とを結ぶ線分を対角線とする第２の四角形の面積と、前記仮想画素の中心と第３実画素の中心とを結ぶ線分を対角線とする第３の四角形の面積と、前記仮想画素の中心と第４実画素の中心とを結ぶ線分を対角線とする第４の四角形の面積とを求めて、前記第１〜第４の四角形の面積のそれぞれの逆数を第１〜第４の重み付けとし、前記仮想画素の画像情報は、前記第１〜第４の各重み付けを比率とする前記第１〜第４の各実画素の画像情報からなっていると推定することを特徴とする。
【００１４】
請求項６に記載の発明は、請求項１〜請求項４のいずれか１項に記載の発明において、前記拡大領域では、所定の仮想画素の中心が含まれる実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００１５】
請求項７に記載の発明は、請求項２、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの仮想画素の中心と各実画素の中心とを結ぶ各線分をそれぞれ対角線とする複数の四角形の面積を求めて、各四角形の面積の逆数をそれぞれ重み付けとし、前記仮想画素の画像情報は、前記各重み付けを比率とする前記各実画素の画像情報からなっていると推定することを特徴とする。
【００１６】
請求項８に記載の発明は、請求項２、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの各実画素の画像情報の単純平均をもって仮想画素の画像情報と推定することを特徴とする。
【００１７】
請求項９に記載の発明は、請求項２、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの各実画素のうち最も明るい画像情報を有する実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００１８】
請求項１０に記載の発明は、請求項４〜請求項６のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際には各実画素のうち仮想距離の最も小さな実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００１９】
請求項１１に記載の発明は、請求項２、請求項４〜請求項１０のいずれか１項に記載の発明において、前記縮小領域では、所定の仮想画素に１つの実画素の中心が含まれる際にはその１つの実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする。
【００２０】
請求項１２に記載の発明は、請求項１〜請求項１１のいずれか１項に記載の発明において、前記実カメラは、自動車の周囲を撮影する周囲モニタ用車載カメラであることを特徴とする。
【００２１】
そして、上記のように構成された請求項１に記載の発明においては、拡大領域において、仮想画像から実画像に画像面積が縮小される逆変換方法を用いているので、各仮想画素を１以上の実画素に必ず対応させることができる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、拡大領域における仮想画像の品質の向上を図ることができる。
【００２２】
請求項２に記載の発明においては、縮小領域において、実画像から面積の小さな仮想画像に変換されているので、各仮想画素は１以上の実画素に必ず対応することになる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、縮小領域における仮想画像の品質の向上を図ることができる。
【００２３】
請求項３に記載の発明においては、仮想距離の大きい順に仮想カメラから微小範囲に直線を引いて、その直線と高さ０レベルの基準面との交点を求め、かつその直線について、微小範囲に対応する実画素と交点に対応する実画素とが異なるものであるときには、微小範囲に対応する実画素の画像情報をもって交点に対応する実画素の画像情報とする処理を微小範囲のすべてについて行うことにより、最も高い位置の画像情報を有する実画素からなる二次実画像を作成することができる。したがって、最終的に仮想カメラから俯瞰した状態の画像を正確に得ることができる。
【００２４】
請求項４に記載の発明においては、請求項２に記載の発明と同様の作用効果を奏する。
【００２５】
請求項５に記載の発明においては、拡大領域における所定の仮想画素の中心を囲むように配置された４つの実画素の画像情報の平均的なものであって、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００２６】
請求項６に記載の発明においては、拡大領域における仮想画素の中心が含まれる実画素の画像情報をもって仮想画素の画像情報と推定しているので、色情報などの画像情報が急激に変化するエッジ領域での映像のシャープさを確保することができる。したがって、仮想画像として、実画像の鮮明さを失うことのない見やすい画像を提供することができる。
【００２７】
請求項７に記載の発明においては、縮小領域における仮想画素の中心と各実画素の中心とを結ぶ線分をそれぞれ対角線とする複数の面積を求めて、各四角形の面積の逆数をそれぞれ重み付けとし、これらの各重み付けを比率とする各実画素の画像情報から各仮想画素の画像情報を推定しているので、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００２８】
請求項８に記載の発明においては、縮小領域において、各実画素の画像情報の単純平均を、これらの実画素の中心が含まれる仮想画素の画像情報としているので、各仮想画素の画像情報を比較的正確に推定することができると共に、演算が簡単なため高速で画像処理をすることができる利点がある。
【００２９】
請求項９に記載の発明においては、縮小領域において、最も明る画像情報を有する実画素の画像情報を、仮想画素の画像情報として推定しているので、例えば画像情報の平均化によるボケが生じるのを防止することができる。したがって、鮮明な画像を得ることができる。
【００３０】
請求項１０に記載の発明においては、縮小領域において、仮想距離の最も小さな実画素の画像情報、すなわち最も高い位置の実画素の画像情報を、仮想画素の画像情報として推定しているので、仮想カメラから俯瞰した状態の図を正確にかつ鮮明に得ることができる。
【００３１】
請求項１１に記載の発明においては、縮小領域において、所定の仮想画素に１つの実画素の中心が含まれる際にはその１つの実画素の画像情報を、仮想画素の画像情報として推定しているので、実画像の鮮明さが仮想画像にそのまま現れると共に、画像変換処理が高速になるという利点がある。
【００３２】
請求項１２に記載の発明においては、実カメラが自動車の周囲を撮影する周囲モニタ用車載カメラによって構成されているので、運転者の感覚に合った仮想画像や、運転者が見たい方向からの仮想画像等についての品質の向上を図ることができる。したがって、安全性の向上を図ることができる。
【００３３】
なお、請求項５において新たに記載された構成を第１制御手段とし、請求項６において新たに記載された構成を第２制御手段とした場合、これらの第１及び第２の制御手段のいずれか一方を選択可能に構成された第１選択手段を、請求項１〜請求項４のいずれか１項に記載の発明に設けるように構成してもよい。
【００３４】
さらに、請求項７において新たに記載された構成を第３制御手段とし、請求項８において新たに記載された構成を第４制御手段とし、請求項９において新たに記載された構成を第５制御手段とした場合、第３、第４及び第５の制御手段のいずれか一つを選択可能に構成された第２選択手段を、請求項２、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００３５】
また、請求項１０において新たに記載された構成を第６制御手段とした場合、第３、第４、第５及び第６の制御手段のいずれか一つを選択可能に構成された第３選択手段を、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００３６】
そしてさらに、上記第１及び第２の選択手段の双方を請求項２又は請求項４に記載の発明に設けたり、第１及び第３の選択手段の双方を請求項４に記載の発明に設けるように構成してもよい。
【００３７】
【発明の実施の形態】
以下に、この発明の実施の形態を図面を参照して詳細に説明する。
【００３８】
まず、第１の実施の形態を図１〜図３を参照して説明する。ただし、従来例で示した構成要素と共通する要素には同一の符号を付し、その説明を簡略化する。
【００３９】
この第１の実施の形態は、実カメラ１で撮像した撮像対象物９９の高さ情報が実画像１０の各実画素１１に対応するメモリに存在していない場合を示している。なお、図１は、画像変換の基本的な考え方を示しており、図中の丸印は仮想画像２０における各仮想画素２１の中心２２を示すと共に、色情報等の画像情報を示している。また、図１（ｃ）は、実カメラ１で撮像した撮像対象物９９を仮想カメラ２で見ている図であり、ＸｉＹｉ平面上に、仮想画素２１が隣接して密接に配置されている図を示している。仮想画素２１は、形状及び大きさが実画素１１と同一であるものを想定している。図１（ｂ）は、仮想画像２０を水平状のＸＺ平面（高さ０レベルの基準面）に逆変換することによって、撮像対象物９９を表示した状態を示しており、図１（ａ）は、撮像対象物９９をさらに実画像１０に逆変換して、仮想カメラ２の各仮想画素２１と実カメラ１の実画素１１とを対応させた状態を示している。
【００４０】
すなわち、この第１の実施の形態は、実画像１０から仮想画像２０に変換する際に画像面積が拡大されるような拡大領域Ｗでは、仮想画像２０から実画像１０に画像面積が縮小される逆変換方法を用いて、仮想カメラ２の各仮想画素２１を実カメラ１の各実画素１１に対応させることにより、各仮想画素２１に対応する実画素１１の画像情報から各仮想画素２１の画像情報を推定するようになっている。また、実画像１０から仮想画像２０に変換する際に画像面積が縮小されるような縮小領域Ｎでは、実画像１０から仮想画像２０に画像面積が縮小される正変換方法を用いて、各仮想画素２１に対応する実画素１１の所定の画像情報を各仮想画素２１の画像情報として推定するようになっている。
【００４１】
なお、上記実カメラ１は、自動車の周囲を撮影する周囲モニタ用車載カメラであり、自動車における後面の上部に設置されたものである。
【００４２】
次に、拡大領域Ｗにおいて、実画像１０から仮想画像２０に変換するためのより具体的な構成について説明する。図２は、図１（ａ）における拡大領域Ｗの要部拡大図を示しており、１つの実画素１１に２つの仮想画素２１の中心２２が集積された状態を示している。なお、図２においては、一方の仮想画素２１の中心を２２ａで示し、他方の仮想画素２１の中心を２２ｂで示している。
【００４３】
中心２２ａを有する一方の仮想画素２１の画像情報を推定するには、その中心２２ａと、この中心２２ａを囲む第１〜第４の４つの実画素１１ａ〜１１ｄの各中心１２Ａ〜１２Ｄとを抽出する。そして、仮想画素２１の中心２２ａと第１実画素１１ａの中心１２Ａとを結ぶ線分を対角線とする第１の四角形の面積Ａと、中心２２ａと第２実画素１１ｂの中心１２Ｂとを結ぶ線分を対角線とする第２の四角形の面積Ｂと、中心２２ａと第３実画素１１ｃの中心１２Ｃとを結ぶ線分を対角線とする第３の四角形の面積Ｃと、中心２２ａと第４実画素１１ｄの中心１２Ｄとを結ぶ線分を対角線とする第４の四角形の面積Ｄとを求めて、これらの第１〜第４の四角形の各面積Ａ、Ｂ、Ｃ、Ｄのそれぞれの逆数を第１〜第４の各重み付けとし、中心２２ａを有する仮想画素２１の画像情報が上記第１〜第４の各重み付けを比率とする第１〜第４の各実画素１１ａ〜１１ｄの画像情報からなっていると推定するようになっている。すなわち、各実画素１１ａ〜１１ｄの画像情報、例えば色情報のぞれぞれに上記各重み付けを掛けて、足すことにより、中心２２ａを有する仮想画素２１の色情報を得るようになっている。
【００４４】
例えば、第１〜第４の各実画素１１ａ〜１１ｄの画像情報をＧ１ａ〜Ｇ１ｄとし、中心２２ａの仮想画素２１の推定画像情報をＩＧ２ａとすれば、ＩＧ２ａ＝Ｇ１ａ×１／Ａ＋Ｇ１ｂ×１／Ｂ＋Ｇ１ｃ×１／Ｃ＋Ｇ１ｄ×１／Ｄとなる。ただし、１／Ａ＋１／Ｂ＋１／Ｃ＋１／Ｄ＝１である。すなわち、１／Ａ、１／Ｂ、１／Ｃ、１／Ｄからなる各重み付けは、その総和が１となるように調整されている。なお、上記第１〜第４の四角形は、それぞれ同一長さの２つの対角線によって特定されるようになっており、長方形または正方形の形状を有している。
【００４５】
また、中心２２ｂを有する仮想画素２１の画像情報も、上述した中心２２ａを有する仮想画素２１と同様にして推定することが可能である。
【００４６】
次に、縮小領域Ｎにおいて、各実画素１１の所定の画像情報を、各仮想画素２１の画像情報とするためのより具体的な構成について説明する。図３は、図１１（ｃ）における縮小領域Ｎの要部拡大図を示しており、１つの仮想画素２１に２つの実画素１１の中心１２が集積されている状態を示している。なお、図３においては、一方の実画素１１の中心を１２Ｅで示し、他方の実画素１１の中心を１２Ｆで示している。
【００４７】
すなわち、縮小領域Ｎにおいては、各実画素１１の中心１２Ｅ、１２Ｆと、この中心１２Ｅ、１２Ｆに対応する仮想画素２１の中心２２を抽出することによって、中心１２Ｅ、１２Ｆを有する各実画素１１の画像情報から仮想画素２１の画像情報を推定するようになっている。この仮想画素２１の画像情報は、仮想画素２１の中心２２と各実画素１１の中心１２Ｅ、１２Ｆとを結ぶ各線分をそれぞれ対角線とする第１の四角形の面積Ｅ及び第２の四角形の面積Ｆを求めて、各面積Ｅ、Ｆの逆数を重み付けとし、これらの重み付けを比率とする２つの実画素１１の画像情報からなっていると推定するようになっている。
【００４８】
すなわち、各中心１２Ｅ、１２Ｆをそれぞれ有する実画素１１の画像情報、例えば色情報のぞれぞれに上記各重み付けを掛けて、足すことにより、仮想画素２１の色情報を得るようになっている。
【００４９】
例えば、２つの各実画素１１の画像情報をそれぞれＧ１ｅ、Ｇ１ｆとし、仮想画素２１の推定画像情報をＩＧ２ｂとすれば、ＩＧ２ｂ＝Ｇ１ｅ×１／Ｅ＋Ｇ１ｆ×１／Ｆとなる。ただし、１／Ｅ＋１／Ｆ＝１である。すなわち、１／Ｅ、１／Ｆからなる各重み付けは、その総和が１となるように調整されている。なお、上記第１、第２の四角形は、それぞれ長さの等しい２つの対角線によって特定されるようになっており、長方形または正方形の形状を有している。
【００５０】
また、縮小領域Ｎでは、所定の仮想画素２１に１つの実画素１１の中心１２が含まれることもある。この際にはその１つの実画素１１の画像情報を、仮想画素２１の画像情報と推定するようになっている。そして、上記のような実画像１０から仮想画像２０への変換は、コンピュータによって自動的に行われるようになっている。
【００５１】
上記のように構成された画像変換装置においては、拡大領域Ｗにおいて、仮想画像２０から実画像１０に画像面積が縮小される逆変換方法を用いているので、各仮想画素２１を１以上の実画素１１に必ず対応させることができる。このため、各仮想画素２１の画像情報を各仮想画素２１に対応する実画素１１の画像情報から必ず推定することができる。すなわち、拡大領域Ｗにおける仮想画素２１において、画像情報の全くない空白画素画が生じるのを防止することができる。したがって、拡大領域Ｗにおける仮想画像２０の品質の向上を図ることができる。
【００５２】
また、縮小領域Ｎにおいては、実画像１０から面積の小さな仮想画像２０に変換されるので、各仮想画素２１は１以上の実画素１１に必ず対応することになる。このため、各仮想画素２１は、いずれかの実画素１１の画像情報を必ず得ることができるので、縮小領域Ｎにおいても空白画素画が生じることがない。したがって、縮小領域Ｎにおける仮想画像２０の品質も向上させることができる。
【００５３】
さらに、拡大領域Ｗにおいては、仮想画素２１の中心２２ａを囲むように配置された４つの実画像１１ａ〜１１ｄの画像情報の平均的なものであって、仮想画素２１の中心２２ａに近い実画素の画像情報が強調されたものを、仮想画像２０の画像情報として得ることができる。すなわち、第１〜第４の各四角形の面積Ａ〜Ｄの逆数を、第１〜第４の各実画素１１ａ〜１１ｄの画像情報Ｇ１ａ〜Ｇ１ｄに掛けて、これらを合計することにより、仮想画素２１における真の画像情報、例えば真の色情報に近いものを、４つの実画素１１ａ〜１１ｄから推定することができる。
【００５４】
一方、縮小領域Ｎにおいては、仮想画素２１の中心２２と例えば２つの実画素１１の中心１２Ｅ、１２Ｆとを結ぶ線分を対角線とする面積Ｅ、Ｆを求めて、各面積Ｅ、Ｆの逆数、すなわち１／Ｅ、１／Ｆを重み付けとし、この重み付けを比率とする各実画素１１の画像情報によって、仮想画素２１の画像情報を得ているので、仮想画素２１の中心２２により近い実画素１１の画像情報が強調されたものを、仮想画素２１の画像情報として得ることができる。すなわち、上記各面積Ｅ、Ｆの逆数を、各実画素１１の画像情報Ｇ１ｅ、Ｇ１ｆに掛けて、これらを合計することにより、仮想画素２１における真の画像情報、例えば真の色情報に近いものを実画素１１から推定することができる。
【００５５】
また、縮小領域Ｎにおいて、所定の仮想画素２１に１つの実画素１１の中心１２が含まれる際にはその１つの実画素１１の画像情報を、仮想画素２１の画像情報としているので、実画像１０の鮮明さを仮想画像２０にもそのまま現すことができると共に、高速での画像変換処理ができるという利点がある。
【００５６】
さらに、実カメラ１が自動車の周囲を撮影する周囲モニタ用車載カメラによって構成されているので、運転者の感覚に合った方向からの仮想画像２０や、運転者が見たい方向からの仮想画像２０等について、品質の向上したものを提供することができる。したがって、安全性の向上を図ることができる。
【００５７】
次に、この発明の第２の実施の形態について図４〜図９を参照して説明する。ただし、第１の実施の形態と共通する構成要素には、同一の符号を付し、その説明を省略する。この第２の実施の形態が第１の実施の形態と異なる点は、撮像される撮像対象物９９の高さ情報が各実画素１１に存在している点にある。
【００５８】
すなわち、この第２の実施の形態で示す画像変換装置は、撮像対象物９９における各実画素１１に対応する微小範囲９９ａ（図１１（ｂ）参照）についての高さ情報が各実画素１１ごとに、図５に示すメモリｒ１１〜ｒｍｎ内に記録されるようになっている。そして、上記高さ情報に基づいて、各微小範囲９９ａの中心から仮想カメラ２（又は仮想カメラ２の焦点（仮想画素２１の受光面）又は対物レンズの中心等）までの間の仮想距離を演算して、この仮想距離の大きい順に整数の番号を付す。この番号は、図６に示すように、例えば各実画素１１に対応するメモリｒ１１〜ｒｍｎに追記するようにして記録する。なお、仮想距離のデータも残しておく。
【００５９】
次に、仮想距離の大きい順、すなわち上記番号の順に仮想カメラ２から前記微小範囲９９ａの中心Ｐに直線Ｌを引いて、その直線ＬとＸＺ平面（高さ０レベルの基準面）との交点Ｑを求め、かつその直線Ｌについて、微小範囲９９ａに対応する実画素１１と交点Ｐに対応する実画素１１が異なるものであるときには、微小範囲９９ａに対応する実画素１１の画像情報をもって交点Ｑに対応する実画素１１の画像情報とする処理を微小範囲９９ａのすべてについて行う。これにより、図４〜図７に示す撮像対象物９９における所定の高さの建物Ｓが図８、図９に示すように、仮想カメラ２から俯瞰した状態の平面的な建物Ｓ１になる。すなわち、立体的な実画像１０が平面的な二次実画像１００になる。なお、これらの処理は、実画像１０について、仮想画像２０に変換する前に行われる。また、各実画素１１に対応するメモリｒ１１〜ｒｍｎに残った仮想距離や整数の番号によって、図５、図６に示すように、撮像対象物９９の各微小範囲９９ａについての距離マップ（高さマップ）が生成されるようになっている。なお、実カメラ１の高さ情報をそのまま上記仮想距離として用いてもよい。また、上記のように整数の番号を付すのを省略して、仮想距離の大小を直接判断することにより、直線Ｌを引く順序を決定するようにしてもよい。また、上記のような実画像１０から二次実画像１００への変換は、コンピュータによって自動的に行われるようになっている。
【００６０】
そして、第１の実施の形態で示した構成と同様の構成も備えており、上記二次実画像１００を実画像１０とみなすことにより、その二次実画像１００から仮想画像２０に変換するようになっている。
【００６１】
上記のように構成された画像変換装置においては、仮想距離の大きい順に仮想カメラ２から微小範囲９９ａの中心Ｐに直線Ｌを引いて、その直線ＬとＸＺ平面との交点Ｑを求め、かつその直線Ｌについて、微小範囲９９ａの中心Ｐに対応する実画素１１と交点Ｑに対応する実画素１１が異なるものであるときには、微小範囲９９ａの中心Ｐに対応する実画素１１の画像情報をもって交点Ｑに対応する実画素１１の画像情報とする処理を微小範囲９９ａのすべてについて行うことにより、ＸＺ平面からの高さが最も高い実画素１１の画像情報が二次実画像１００として残ることになる。すなわち、実カメラ１側において、仮想カメラ２から俯瞰した状態の二次実画像１００を作成しているので、この二次実画像１００から仮想画像２０に変換することにより、仮想カメラ２から俯瞰した状態の画像を正確に得ることができる。
【００６２】
なお、上記第１及び第２の実施の形態においては、拡大領域Ｗにおいて、４つの実画素１１ａ〜１１ｄによって、仮想画素２１の画像情報を推定するように構成したが、所定の仮想画素２１の中心２２が含まれる実画素１１の画像情報を、そのまま仮想画素２１の画像情報とするように構成してもよい。すなわち、図２において、仮想画素２１の中心２２ａが含まれる実画素１１ｄの画像情報を、中心２２ａを有する仮想画素２１の画像情報としてもよい。また、中心２２ｂを有する仮想画素２１も、実画素１１ｄの画像情報によるものとなる。このように構成した場合には、色情報などの画像情報が急激に変化するエッジ領域での映像のシャープさを確保することができる。したがって、実画像１０の鮮明さを失うことなく仮想画像２０に変換することができ、極めて見やすい仮想画像２０を提供することができる。
【００６３】
また、縮小領域Ｎにおいては、面積Ｅ、Ｆの逆数を重み付けとして用いることにより、２つの実画素１１の画像情報から仮想画素２１の画像情報を推定するように構成したが、２つの実画素１１の画像情報の単純平均を、これらの各実画素１１が含まれる仮想画素２１の画像情報とするように構成してもよい。このように構成した場合には、各仮想画素２１の画像情報を比較的正確に推定することができると共に、高速で画像処理を行うことができる利点がある。
【００６４】
さらに、縮小領域Ｎにおいては、２つの実画素１１のうち最も明る画像情報を有する実画素１１の画像情報を、仮想画素２１の画像情報として推定するように構成してもよい。このように構成した場合には、例えば画像情報の平均化によるボケが生じるのを防止することができるので、仮想画像２０として鮮明な画像を得ることができる利点がある。
【００６５】
また、第２の実施の形態においては、縮小領域Ｎにおいて、２つの実画素１１のうち仮想距離の最も小さな実画素１１の画像情報、すなわちＸＺ平面からの高さが最も高い実画素１１の画像情報を、仮想画素２１の画像情報とするように構成してもよい。このように構成した場合には、最も高い位置の実画素１１の画像情報が仮想画素２１の画像情報となるので、仮想カメラから俯瞰した画像として正確かつ鮮明なものを得ることができる。
【００６６】
さらに、上述した各説明においては、縮小領域Ｎにおいて、所定の仮想画素２１に最大でも２つの実画素１１の中心１２が含まれる場合について説明したが、所定の仮想画素２１に含まれる実画素１１の中心１２の数は３つ以上であってもよいことは言うまでもない。
【００６７】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、拡大領域において、仮想画像から実画像に画像面積が縮小される逆変換方法を用いているので、各仮想画素を１以上の実画素に必ず対応させることができる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、拡大領域における仮想画像の品質の向上を図ることができる。
【００６８】
請求項２に記載の発明によれば、縮小領域において、実画像から面積の小さな仮想画像に変換されているので、各仮想画素は１以上の実画素に必ず対応することになる。このため、各仮想画素の画像情報を各仮想画素に対応する実画素の画像情報から必ず推定することができる。したがって、縮小領域における仮想画像の品質の向上を図ることができる。
【００６９】
請求項３に記載の発明によれば、仮想距離の大きい順に仮想カメラから微小範囲に直線を引いて、その直線と高さ０レベルの基準面との交点を求め、かつその直線について、微小範囲に対応する実画素と交点に対応する実画素とが異なるものであるときには、微小範囲に対応する実画素の画像情報をもって交点に対応する実画素の画像情報とする処理を微小範囲のすべてについて行うことにより、最も高い位置の画像情報を有する実画素からなる二次実画像を作成することができる。したがって、最終的に仮想カメラから俯瞰した状態の画像を正確に得ることができる。
【００７０】
請求項４に記載の発明によれば、請求項２に記載の発明と同様の作用効果を奏する。
【００７１】
請求項５に記載の発明によれば、拡大領域における所定の仮想画素の中心を囲むように配置された４つの実画素の画像情報の平均的なものであって、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００７２】
請求項６に記載の発明によれば、拡大領域における仮想画素の中心が含まれる実画素の画像情報をもって仮想画素の画像情報と推定しているので、色情報などの画像情報が急激に変化するエッジ領域での映像のシャープさを確保することができる。したがって、仮想画像として、実画像の鮮明さを失うことのない見やすい画像を提供することができる。
【００７３】
請求項７に記載の発明によれば、縮小領域における仮想画素の中心と各実画素の中心とを結ぶ線分をそれぞれ対角線とする複数の面積を求めて、各四角形の面積の逆数をそれぞれ重み付けとし、これらの各重み付けを比率とする各実画素の画像情報から各仮想画素の画像情報を推定しているので、仮想画素の中心により近い実画素の画像情報が強調されたものを、各仮想画像の画像情報として得ることができる。したがって、仮想画像の画像情報として真の画像情報に近いものを得ることができる。
【００７４】
請求項８に記載の発明によれば、縮小領域において、各実画素の画像情報の単純平均を、これらの実画素の中心が含まれる仮想画素の画像情報としているので、各仮想画素の画像情報を比較的正確に推定することができると共に、演算が簡単なため高速で画像処理をすることができる利点がある。
【００７５】
請求項９に記載の発明によれば、縮小領域において、最も明る画像情報を有する実画素の画像情報を、仮想画素の画像情報として推定しているので、例えば画像情報の平均化によるボケが生じるのを防止することができる。したがって、鮮明な画像を得ることができる。
【００７６】
請求項１０に記載の発明によれば、縮小領域において、仮想距離の最も小さな実画素の画像情報、すなわち最も高い位置の実画素の画像情報を、仮想画素の画像情報として推定しているので、仮想カメラから俯瞰した状態の図を正確にかつ鮮明に得ることができる。
【００７７】
請求項１１に記載の発明によれば、縮小領域において、所定の仮想画素に１つの実画素の中心が含まれる際にはその１つの実画素の画像情報を、仮想画素の画像情報として推定しているので、実画像の鮮明さが仮想画像にそのまま現れると共に、画像変換処理が高速になるという利点がある。
【００７８】
請求項１２に記載の発明によれば、実カメラが自動車の周囲を撮影する周囲モニタ用車載カメラによって構成されているので、運転者の感覚に合った仮想画像や、運転者が見たい方向からの仮想画像等についての品質の向上を図ることができる。したがって、安全性の向上を図ることができる。
【００７９】
なお、請求項５において新たに記載された構成を第１制御手段とし、請求項６において新たに記載された構成を第２制御手段とした場合、これらの第１及び第２の制御手段のいずれか一方を選択可能に構成された第１選択手段を、請求項１〜請求項４のいずれか１項に記載の発明に設けるように構成してもよい。
【００８０】
さらに、請求項７において新たに記載された構成を第３制御手段とし、請求項８において新たに記載された構成を第４制御手段とし、請求項９において新たに記載された構成を第５制御手段とした場合、第３、第４及び第５の制御手段のいずれか一つを選択可能に構成された第２選択手段を、請求項２、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００８１】
また、請求項１０において新たに記載された構成を第６制御手段とした場合、第３、第４、第５及び第６の制御手段のいずれか一つを選択可能に構成された第３選択手段を、請求項４、請求項５又は請求項６に記載の発明に設けるように構成してもよい。
【００８２】
そしてさらに、上記第１及び第２の選択手段の双方を請求項２又は請求項４に記載の発明に設けたり、第１及び第３の選択手段の双方を請求項４に記載の発明に設けるように構成してもよい。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態として示した画像変換装置の説明図である。
【図２】同画像変換装置の要部を示す説明図である。
【図３】同画像変換装置の要部を示す説明図である。
【図４】この発明の第２の実施の形態として示した画像変換装置の斜視図である。
【図５】同画像変換装置における複数の実画素と、各実画素に対応する仮想距離との関係を示す説明図である。
【図６】同画像変換装置における複数の実画素と、各実画素に対応する仮想距離の大きさの順序との関係を示す説明図である。
【図７】同画像変換装置における仮想カメラから撮像対象物の微小範囲に直線を引いた状態を示す実画像の説明図である。
【図８】同画像変換装置における仮想カメラから撮像対象物の微小範囲に直線を引き、この直線とＸＺ平面との交点の軌跡を示す実画像の説明図である。
【図９】同画像変換装置を示す図であって、撮像対象物を平面化した状態を示す斜視図である。
【図１０】従来例として示した画像変換装置の斜視図である。
【図１１】同画像変換装置の説明図である。
【符号の説明】
１ 実カメラ
２ 仮想カメラ
１０ 実画像
１１ 実画素
１１ａ 第１実画素
１１ｂ 第２実画素
１１ｃ 第３実画素
１１ｄ 第４実画素
１２Ａ 第１実画素の中心
１２Ｂ 第２実画素の中心
１２Ｃ 第３実画素の中心
１２Ｄ 第４実画素の中心
１２Ｅ、１２Ｆ 実画素の中心
２０ 仮想画像
２１ 仮想画素
２２、２２ａ、２２ｂ 仮想画素の中心
９９ 撮像対象物
９９ａ 微小範囲
１００ 二次実画像
Ａ 第１の四角形の面積
Ｂ 第２の四角形の面積
Ｃ 第３の四角形の面積
Ｄ 第４の四角形の面積
Ｅ、Ｆ 面積
Ｌ 直線
Ｎ 縮小領域
Ｐ 微小範囲の中点
Ｑ 交点
Ｓ 撮像対象物
Ｗ 拡大領域
Claims (12)
- ある方向から撮像対象物を見るように配設された実カメラの複数の実画素によって撮像された実画像を、別の方向から前記撮像対象物を見るように仮想的に配設された仮想カメラの複数の仮想画素によって撮像された仮想画像に変換するための画像変換装置であって、
前記実画像から仮想画像に変換する際に画像面積が拡大される拡大領域では、仮想画像から実画像に画像面積が縮小される逆変換方法を用いて、仮想カメラの各仮想画素を実カメラの各実画素に対応させることにより、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする画像変換装置。 - 請求項１に記載の画像変換装置において、
前記実画像から仮想画像に変換する際に画像面積が縮小されるような縮小領域では、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする画像変換装置。 - ある方向から撮像対象物を見るように配設された実カメラの複数の実画素によって撮像された実画像を、別の方向から前記撮像対象物を見るように仮想的に配設された仮想カメラの複数の仮想画素によって撮像された仮想画像に変換するための画像変換装置であって、
前記撮像対象物における前記各実画素に対応する微小範囲についての高さ情報が各実画素ごとに存在している際には、前記高さ情報に基づいて、各微小範囲から仮想カメラまでの間の仮想距離を演算し、仮想距離の大きい順に仮想カメラから前記微小範囲に直線を引いて、その直線と高さ０レベルの基準面との交点を求め、かつその直線について、前記微小範囲に対応する実画素と前記交点に対応する実画素が異なるものであるときには、前記微小範囲に対応する実画素の画像情報をもって交点に対応する実画素の画像情報とする処理を前記微小範囲のすべてについて行うことにより、平面的な二次実画像を作成し、
前記二次実画像から仮想画像に変換する際に画像面積が拡大されるような拡大領域では、仮想画像から二次実画像に画像面積が縮小される逆変換方法を用いて、二次実画像の各実画素を仮想カメラの各仮想画素に対応させることにより、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする画像変換装置。 - 請求項３に記載の画像変換装置において、
前記二次実画像から仮想画像に変換する際に画像面積が縮小されるような縮小領域では、各仮想画素に対応する実画素の画像情報から各仮想画素の画像情報を推定することを特徴とする画像変換装置。 - 請求項１〜請求項４のいずれか１項に記載の画像変換装置において、
前記拡大領域では、所定の仮想画素の中心と、この仮想画素の中心を囲む第１〜第４の４つの実画素の中心とを抽出し、
前記仮想画素の中心と第１実画素の中心とを結ぶ線分を対角線とする第１の四角形の面積と、
前記仮想画素の中心と第２実画素の中心とを結ぶ線分を対角線とする第２の四角形の面積と、
前記仮想画素の中心と第３実画素の中心とを結ぶ線分を対角線とする第３の四角形の面積と、
前記仮想画素の中心と第４実画素の中心とを結ぶ線分を対角線とする第４の四角形の面積とを求めて、
前記第１〜第４の四角形の面積のそれぞれの逆数を第１〜第４の重み付けとし、
前記仮想画素の画像情報は、前記第１〜第４の各重み付けを比率とする前記第１〜第４の各実画素の画像情報からなっていると推定することを特徴とする画像変換装置。 - 請求項１〜請求項４のいずれか１項に記載の画像変換装置において、
前記拡大領域では、所定の仮想画素の中心が含まれる実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする画像変換装置。 - 請求項２、請求項４〜請求項６のいずれか１項に記載の画像変換装置において、
前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの仮想画素の中心と各実画素の中心とを結ぶ各線分をそれぞれ対角線とする複数の四角形の面積を求めて、各四角形の面積の逆数をそれぞれ重み付けとし、
前記仮想画素の画像情報は、前記各重み付けを比率とする前記各実画素の画像情報からなっていると推定することを特徴とする画像変換装置。 - 請求項２、請求項４〜請求項６のいずれか１項に記載の画像変換装置において、
前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの各実画素の画像情報の単純平均をもって仮想画素の画像情報と推定することを特徴とする画像変換装置。 - 請求項２、請求項４〜請求項６のいずれか１項に記載の画像変換装置において、
前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際にはこれらの各実画素のうち最も明るい画像情報を有する実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする画像変換装置。 - 請求項４〜請求項６のいずれか１項に記載の画像変換装置において、
前記縮小領域では、所定の仮想画素に複数の実画素の中心が含まれる際には各実画素のうち仮想距離の最も小さな実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする画像変換装置。 - 請求項２、請求項４〜請求項１０のいずれか１項に記載の画像変換装置において、
前記縮小領域では、所定の仮想画素に１つの実画素の中心が含まれる際にはその１つの実画素の画像情報をもって仮想画素の画像情報と推定することを特徴とする画像変換装置。 - 請求項１〜請求項１１のいずれか１項に記載の画像変換装置において、
前記実カメラは、自動車の周囲を撮影する周囲モニタ用車載カメラであることを特徴とする画像変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000271281A JP4629839B2 (ja) | 2000-09-07 | 2000-09-07 | 画像変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000271281A JP4629839B2 (ja) | 2000-09-07 | 2000-09-07 | 画像変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002084456A JP2002084456A (ja) | 2002-03-22 |
| JP4629839B2 true JP4629839B2 (ja) | 2011-02-09 |
Family
ID=18757592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000271281A Expired - Fee Related JP4629839B2 (ja) | 2000-09-07 | 2000-09-07 | 画像変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4629839B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003102000A (ja) | 2001-09-26 | 2003-04-04 | Clarion Co Ltd | 車両後方監視方法、車両後方監視装置及び信号処理装置 |
| JP2003264825A (ja) * | 2002-03-06 | 2003-09-19 | Nissan Motor Co Ltd | 車載カメラ映像合成表示装置 |
| JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
| JP2004147210A (ja) * | 2002-10-25 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| US7428329B2 (en) | 2003-05-28 | 2008-09-23 | Fuji Machine Mfg. Co., Ltd. | Pickup image processing device of electronic part mounting device and pickup image processing method |
| JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
| JP4609055B2 (ja) * | 2004-12-07 | 2011-01-12 | 日産自動車株式会社 | 車両用画像生成装置および方法 |
| JP4791222B2 (ja) * | 2006-03-27 | 2011-10-12 | パナソニック株式会社 | 表示制御装置 |
| JP4642723B2 (ja) * | 2006-09-26 | 2011-03-02 | クラリオン株式会社 | 画像生成装置および画像生成方法 |
| JP4853260B2 (ja) * | 2006-12-04 | 2012-01-11 | アイシン・エィ・ダブリュ株式会社 | 駐車支援装置の画像表示方法及び駐車支援装置 |
| JP5143596B2 (ja) * | 2008-03-11 | 2013-02-13 | クラリオン株式会社 | 車両用画像表示装置 |
| CN102449838B (zh) | 2009-04-01 | 2015-01-07 | 巴斯夫欧洲公司 | 存储和运输电化学能的方法 |
| CN107068035B (zh) * | 2017-04-06 | 2020-12-18 | 京东方科技集团股份有限公司 | 一种显示方法、显示装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001163132A (ja) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | 車両後方監視装置用画像変換装置 |
| JP2001339716A (ja) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | 車両周辺監視装置及び方法 |
| JP2002029314A (ja) * | 2000-07-12 | 2002-01-29 | Nissan Motor Co Ltd | 駐車支援装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10271490A (ja) * | 1997-03-24 | 1998-10-09 | Yazaki Corp | 車両後方監視装置 |
-
2000
- 2000-09-07 JP JP2000271281A patent/JP4629839B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001163132A (ja) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | 車両後方監視装置用画像変換装置 |
| JP2001339716A (ja) * | 2000-05-25 | 2001-12-07 | Matsushita Electric Ind Co Ltd | 車両周辺監視装置及び方法 |
| JP2002029314A (ja) * | 2000-07-12 | 2002-01-29 | Nissan Motor Co Ltd | 駐車支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002084456A (ja) | 2002-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11080911B2 (en) | Mosaic oblique images and systems and methods of making and using same | |
| JP4629839B2 (ja) | 画像変換装置 | |
| JP4861574B2 (ja) | 運転支援装置 | |
| US20180160045A1 (en) | Method and device of image processing and camera | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| EP2061234A1 (en) | Imaging apparatus | |
| JPH07225855A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
| JPH07220057A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
| EP1686534A2 (en) | Omnidirectional visual system, image processing method, control program, and readable recording medium | |
| CN108510540A (zh) | 立体视觉摄像机及其高度获取方法 | |
| US6873712B2 (en) | Method for identifying an object image | |
| JP3960092B2 (ja) | 車両用画像処理装置 | |
| JP5083443B2 (ja) | 運転支援装置および方法、ならびに演算装置 | |
| CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| Nagahara et al. | Resolution improving method from multi-focal omnidirectional images | |
| JP6762779B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JP3516117B2 (ja) | 画像処理方法およびその装置 | |
| KR20240066218A (ko) | 장면 뷰 이미지의 생성 장치 및 방법 | |
| AU2012205205B2 (en) | Mosaic oblique images and methods of making and using same | |
| CN113031262A (zh) | 一种集成成像系统显示端像素值计算方法及系统 | |
| CN114296239A (zh) | 一种车辆车窗的图像显示方法及装置 | |
| CN110543027A (zh) | 一种平面图立体转换方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101112 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4629839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |