JP7456153B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

例えば、魚眼レンズを用いた車載用カメラで撮像された被写体の画像から湾曲収差を補正するように画像変換して出力する画像処理装置がある（例えば特許文献１）。

このような画像処理装置では、魚眼レンズの光軸に向かう直線状の被写体と、縦方向に直線の被写体とを出力画像内でほぼ直線状となるように入力画像全体を画像変換する。また、画像処理装置では、横方向に直線の被写体を、出力画像の中央部分、及び同中央部分と左右に連なる左側部分と右側部分とでほぼ直線状に、また、出力画像の中央部分と、左側部分及び右側部分との境目付近で屈曲するように入力画像全体を画像変換する。その結果、画像処理装置は利用者に違和感を与えない広角画像が見易い出力画像を提供している。

また、上記のような画像処理装置から出力された出力画像を入力とした表示装置において車両が進行する方向に進路線を重畳して表示する技術が知られている（例えば特許文献２）。

特開２００８－３１１８９０号公報 特開平１１－３３４４７０号公報

このような表示装置では一般的に進路線のデータに対し、魚眼レンズの湾曲収差や他の画像変換処理によって変形した画像に合致するように、進路線のデータに対して画像変換を行い、画像処理装置が出力した画像内に実際に車両が進む進路を重畳して表示させる。そのため上述した進路線のデータに対する画像変換処理は、画像処理装置内で行う車載カメラで撮像された画像に対する画像変換処理と同様な画像変換処理となる。

より具体的には表示装置側において、例えば表示装置の出力画像の出力座標（Ｘ，Ｙ）毎に、予め記憶された進路線のデータを入力とした入力座標（ｘ，ｙ）を対応づけるテーブルを使用し、出力座標（Ｘ，Ｙ）の画素の輝度と色の情報を、入力座標（ｘ，ｙ）の画素の輝度と色の情報を参照（転写）し生成する画像変換処理を行うことが考えられる。このような処理においては一般的に出力座標に対し、その座標に対応する入力座標をデーブル化した変換データを予め記憶させておき、そのデーブルに従って変換処理を行う。

しかし、このようなデーブル化した変換データは出力画像の画素数分の入力座標（ｘ，ｙ）が必要となり、近年の表示装置の高画素化の流れに合わせその容量が大きくなりメモリのコストアップを招くという問題があった。

本発明ではこのような問題に鑑み、表示装置のメモリの増大を抑えつつ進路線を重畳することができる画像処理装置等を提供することを目的とする。

一つの態様の画像処理装置は、入力画像を画像変換し出力画像を出力する。画像処理装置は、第１の変換部と、第２の変換部と、第３の変換部と、合成部とを有する。第１の変換部は、入力画像の第１の画像領域内の画素毎に第１の歪補正を施し画像とし、当該第１の歪補正が施された画像内の画素毎に補正を施し画像として出力する。第２の変換部は、入力画像の第２の画像領域内の画素毎に第２の歪補正を施し画像として出力する。第３の変換部は、入力画像の第３の画像領域内の画素毎に第３の歪補正を施し画像として出力する。合成部は、第１の変換部からの画像出力と、第２の変換部からの画像出力と、第３の変換部からの画像出力とから出力画像を生成し出力する。出力画像は、第１の変換部からの出力された画像と第２の変換部からの出力された画像との間に第３の変換部からの出力された画像が配置され、第１の変換部からの出力された画像は歪曲収差のみを持つ、又は、歪みを持たない画像である。

本発明によれば、表示装置のメモリ容量の増大を抑えつつ進路線を描画できる。

図１は、前提技術の画像表示システムのハードウェア構成の一例を示す説明図である。 図２は、前提技術の撮像装置の機能構成の一例を示すブロック図である。 図３は、撮像装置で撮像した画像を表示装置に表示させた画像の一例を示す説明図である。 図４は、第１の変換テーブルのテーブル構成の一例を示す説明図である。 図５は、実像高と理想像高との関係の一例を示す説明図である。 図６は、第１の変換部の第１の歪補正前後の画像の一例を示す説明図である。 図７Ａは、画像変換モデルの一例を示す説明図である。 図７Ｂは、第２の変換テーブルのテーブル構成の一例を示す説明図である。 図８は、第２の変換部の第２の歪補正前後の画像の一例を示す説明図である。 図９Ａは、第１の歪補正後の画像の一例を示す説明図である。 図９Ｂは、第１の歪補正後の画像内の第１の画像領域と第１の画像領域以外の画像領域とを明暗で表現した説明図である。 図９Ｃは、前提技術の第１の画像領域と、第２の画像領域と、第３の画像領域とを明暗で表現した説明図である。 図１０は、割合テーブルのテーブル構成の一例を示す説明図である。 図１１は、第３の歪を補正する第３の入力座標を算出する際の算出方法の一例を示す説明図である。 図１２は、第３の変換テーブルのテーブル構成の一例を示す説明図である。 図１３は、出力画像の一例を示す説明図である。 図１４は、前提技術の撮像装置で撮像した入力画像（原画像）の一例を示す説明図である。 図１５は、第１の歪補正後の画像の一例を示す説明図である。 図１６は、第２の歪補正後の画像の一例を示す説明図である。 図１７は、前提技術の第１の画像領域と、第２の画像領域と、第３の画像領域とを明暗で表現した説明図である。 図１８は、前提技術での視認性の良くない出力画像の一例を示す説明図である。 図１９は、実施例１の撮像装置の機能構成の一例を示すブロック図である。 図２０は、第１の歪補正後の画像の一例を示す説明図である。 図２１は、実施例１の第１αの画像領域と、第２αの画像領域と、第３αの画像領域とを明暗で表現した説明図である。 図２２は、撮像装置で撮像した際の出力画像の一例を示す説明図である。 図２３は、実施例２の第１の歪補正と異なる歪補正後の第１βの画像領域を含む画像の一例を示す説明図である。 図２４は、第１の歪補正と異なる歪補正後の第１βの画像領域と、第２αの画像領域と、第３αの画像領域とを明暗で表現した説明図である。 図２５は、第１の歪補正と異なる歪補正後の第１αの画像領域を含む出力画像の一例を示す説明図である。

以下、図面に基づいて、本願の開示する画像処理装置の実施例を詳細に説明する。尚、各実施例により、開示技術が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。

図１は、前提技術の画像表示システム１のハードウェア構成の一例を示す説明図である。図１に示す画像表示システム１は、撮像装置２と、ナビゲーション装置３と、表示装置４とを有する。撮像装置２は、レンズ１１と、撮像素子１２と、画像処理プロセッサ１３と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ(Radom Access Memory)１５とを有する。撮像装置２は、例えば、車両後部のナンバープレート付近に配置されたカメラ装置である。レンズ１１は、例えば、魚眼レンズである。撮像素子１２は、レンズ１１を通じて車両後方の特定範囲の画像を撮像するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサである。画像処理プロセッサ１３は、撮像装置２内部の画像処理を実行する画像処理装置である。ＲＯＭ１４は、各種プログラム等の情報を格納する。ＲＡＭ１５は、各種情報を記憶する。

ナビゲーション装置３は、地図情報等の案内情報を表示装置に出力すると共に、撮像装置２からの出力画像に進路線５０を描画し、進路線５０を描画した出力画像を表示装置４に出力する。表示装置４は、例えば、運転席の正面パネルに配置され、例えば、ナビゲーション装置３からの出力画像や地図情報を表示出力するモニタ装置である。尚、ナビゲーション装置３は、画像の歪み補正後の出力画像に合致するように画像変換された進路線５０を描画する設定としている。

図２は、前提技術の撮像装置２の構成の一例を示す説明図である。図２に示す撮像装置２は、制御部２０及び記憶部３０を備える。制御部２０は図１での画像処理プロセッサ１３に対応し、記憶部３０は図１でのＲＯＭ１４に対応する。制御部２０は、第１の変換部２１と、第２の変換部２２と、算出部２３と、第３の変換部２４と、合成部２５と有する。記憶部３０は、第１の変換テーブル３１と、第２の変換テーブル３２と、割合テーブル３３と、第３の変換テーブル３４とを有する。

図３は、撮像装置２で撮像した画像を表示装置４に表示させた一例を示す説明図である。図３に示す入力画像４０は、第１の画像領域４１と、第２の画像領域４２と、第３の画像領域４３とを有する。画像処理プロセッサ１３は、入力画像内の第１の画像領域４１、第２の画像領域４２及び第３の画像領域４３を識別する。すなわち、画像処理プロセッサ１３は、入力画像内の各画素値を入力座標で識別し、第１の画像領域４１内の各画素値を第１の入力座標、第２の画像領域４２内の各画素値を第２の入力座標、第３の画像領域４３内の各画素値の第３の入力座標で識別する。

破線Ｌ１で囲まれた第１の画像領域４１は、例えば、入力画像内の中央部分の画像領域に相当し、例えば、歪曲収差のみを持つ、又は、歪を持たないように、歪を補正（第１の歪み補正）する対象領域であって、ハンドル回転等の舵角に応じて変化する進路線を描画するための画像領域である。一点鎖線Ｌ２と点線Ｌ３とに囲まれた第２の画像領域４２は、例えば、前述の特許文献１に示すような直線の物体を直線で表示し利用者に違和感を与えない歪補正（第２の歪み補正）する画像領域である。この部分は歪曲収差を持たない。破線Ｌ１と一点鎖線Ｌ２とに囲まれた第３の画像領域４３は、第１の歪補正と第２の歪補正とを加重平均する第３の歪補正を行う画像領域である。加重平均については後述する。

第１の変換部２１は、入力画像４０の第１の画像領域４１内の画素毎に第１の歪補正を施し出力する変換部である。尚、第１の画像領域４１内の画素は、例えば、第１の入力座標の画素値とも言える。第１の変換部２１は、例えば、第１の変換テーブル３１を参照し、入力画像４０内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を出力画像内の出力座標の画素値として出力する。図４は、第１の変換テーブル３１のテーブル構成の一例を示す説明図である。第１の変換テーブル３１は、出力画像の出力座標毎に、入力画像内の歪を補正した画素値の第１の入力座標を対応付けて管理するテーブルである。第１の変換部２１は、出力画像の第１の画像領域４１内の出力座標毎の画素値を合成部２５に出力する。

ここでナビゲーション装置３が進路線５０を画像の歪み補正後の出力画像に合致するように画像変換する動作について説明する。例えば第１の画像領域４１の画像は歪曲収差を有するとした場合、ナビゲーション装置３は進路線５０のデータに対し同じ前述の歪曲収差と同じ収差を持つように画像変換を行う。歪曲収差があると実像高と理想像高が異なる。図５は、実像高と理想像高との関係の一例を示す説明図である。ナビゲーション装置３は、理想像高の極座標（Ｒ，φ）の画素値を実像高の極座標（ｒ、φ）に画像変換する。この変換は図５の線Ｌ上の任意の画素を同じ線Ｌ上の別な箇所に移動させる変換であり、この変換テーブルは出力画像の出力座標（Ｘ，Ｙ）毎に、入力画像の入力座標（ｘ，ｙ）を対応づけた変換テーブルと比較しデータのサイズが小さい。尚、第１の画像領域４１の画像は歪みのないものであってもよい。このとき画像内の極座標（Ｒ，φ）の画素値から極座標（ｒ、φ）の画素値への変換においては前述のような画素の移動は発生しないため変換テーブルは不要となる。

第２の変換部２２は、入力画像４０の第２の画像領域４２内の画素毎に第２の歪補正を施し出力する変換部である。尚、第２の画像領域４２内の画素は、例えば、第２の入力座標の画素値と言える。第２の変換部２２は、例えば、第２の変換テーブル３２を参照し、入力画像４０内の第２の画像領域４２内の歪を補正した第２の入力座標の画素値を出力画像内の第２の出力座標の画素値として出力する。第２の変換テーブル３２は、第２の画像領域４２内の第２の入力座標毎に、第２の歪を補正した画素値の第２の入力座標を対応付けて管理するテーブルである。第２の変換部２２は、出力画像の第２の画像領域４２内の出力座標毎の画素値を合成部２５に出力する。

算出部２３は、入力画像４１内の第３の画像領域４３内の歪を補正した画素値の出力座標毎に、第３の画像領域４３内の出力座標から直近の第１の画像領域４１内の出力座標までの第１の距離と、第３の画像領域４３内の出力座標から直近の第２の画像領域４２内の出力座標までの第２の距離との比率を算出する。更に、算出部２３は、その比率を割合として、出力座標毎に割合テーブル３３内に記憶する。算出部２３は、入力画像４１の画素毎に第１の歪補正を施して得られた出力と第２の歪補正を施して得られた出力とを入力とし、それらを加重平均して出力する。算出部２３は、例えば、割合テーブル３３を参照し、出力座標毎の割合（第１の距離：第２の距離）に応じて第１の入力座標及び第２の入力座標を補正する。算出部２３は、割合補正後の第１の入力座標及び割合補正後の第２の入力座標同士を加算することで出力画像の第３の入力座標を算出する。

算出部２３は、出力座標毎に、第３の入力座標を第３の変換テーブル３４に記憶する。第３の変換部２４は、入力画像の第３の画像領域４３内の画素毎に第３の歪補正を施し出力する変換部である。尚、第３の画像領域４３内の画素は、例えば、第３の入力座標の画素値と言える。第３の変換部２４は、例えば、第３の変換テーブル３４を参照し、入力画像４０内の第３の画像領域４３内の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として出力する。第３の変換部２４は、第３の画像領域４３内の出力座標毎の画素値を合成部２５に出力する。

図６は、第１の変換部２１の第１の歪補正前後の画像の一例を示す説明図である。第１の変換部２１は、第１の変換テーブル３１を参照し、出力座標毎に、歪を補正した第１の入力座標の画素値を出力座標の画素値として出力する。第１の変換部２１は、第１の画像領域４１内の出力座標の画素値を合成部２５に出力する。その結果、第１の変換部２１は、図６に示すように第１の歪補正前の画像を第１の歪補正後の画像として出力できる。第１の変換部２１は、例えば、入力画像内の入力座標β１の画素値を出力画像内の出力座標α１の画素値として、入力画像内の入力座標β３の画素値を出力画像内の出力座標α３の画素値として出力する。尚、説明の便宜上、図６の例では、入力画像内の全ての第１の入力座標の画素値を出力座標の画素値として出力する場合を例示した。しかしながら、実際には、第１の変換部２１は、入力画像内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力するものである。

図７Ａは、画像変換モデルの一例を示す説明図である。図７Ａに示す画像変換モデルは、円形の平面からなる入力画像５１と、レンズ１１と対応して被写体が映し出される半球状の仮想物体面５２と、湾曲収差を補正する補正面５３と、画像変換される表示面５４とを順に並べて構成する。レンズ１１の光軸と対応する仮想光軸ｚは、入力画像５１の中央に位置する光軸原点０からこれらの面の中央を直角に挿通する。補正面５３は、中央に配置された中央面５３Ａと、同中央面５３Ａの左右にそれぞれ配置された左側面５３Ｂ及び右側面５３Ｃとで構成され、同左側面５３Ｂと右側面５３Ｃとは光軸原点に向かって屈曲して構成する。仮想光軸ｚ方向の補正面５３に投射された仮想物体面５２上の画像は、表示面５４へ正射影方式で投射され、投射された表示面５４の画像を出力画像とする。

画像変換モデルでは、表示面５４の画素位置を補正面５３の画素位置に変換し、補正面５３の画素位置を仮想物体面５２の半球面の極座標に変換し、最終的に入力画像５１の画素位置へ変換する。画像変換モデルでは、表示面５４の画素位置毎に入力画像５１の画素位置を変換し、これら表示面５４の画素位置毎に入力画像５１の画素位置を格納する。すなわち、第２の変換テーブル３２は、出力座標毎に歪を補正した画素値の第２の入力座標を管理する。

図７Ｂは、第２の変換テーブル３２のテーブル構成の一例を示す説明図である。図７Ｂに示す第２の変換テーブル３２は、出力座標と、第２の入力座標とを対応付けて管理している。出力座標は、出力画像の画素値を出力する座標である。第２の入力座標は、出力座標毎に歪を補正した画素値を入力する座標である。尚、第２の変換テーブル３２内の出力座標毎に第２の歪を補正した画素値の入力座標を算出する上での原理は、本出願人が特許文献１（特開２００８－３１１８９０号公報）で提案している。尚、ここでは特許文献１で示す技術を適用したが、これに限定されず、広角レンズに起因する歪みを補正する公知の技術が用いられてもよい。

図８は、第２の変換部２２の第２の歪補正前後の画像の一例を示す説明図である。第２の変換部２２は、第２の変換テーブル３２を参照し、出力座標毎に、第２の歪を補正した第２の入力座標の画素値を出力座標の画素値として出力する。第２の変換部２２は、例えば、図８に示すように、入力画像内の入力座標β５の画素値を出力画像内の出力座標α５の画素値として、入力画像内の入力座標β６の画素値を出力画像内の出力座標α６の画素値として出力する。第２の変換部２２は、第２の画像領域４２内の各出力座標の画素値を合成部２５に出力する。その結果、第２の変換部２２は、第２の歪補正前の画像を第２の歪補正後の画像として出力する。尚、説明の便宜上、図８の例では、入力画像内の全ての第２の入力座標の画素値を出力座標の画素値として出力する場合を例示した。しかしながら、第２の変換部２２は、実際には、入力画像内の第２の画像領域４２内の第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力するものである。

図９Ａは、第１の歪補正後の出力画像の一例を示す説明図である。図９Ａに示す出力画像の中央部分には、第１の画像領域４１がある。図９Ｂは、第１の歪補正後の出力画像内の第１の画像領域４１と、第１の画像領域４１以外の画像領域とを明暗で表現した説明図である。出力画像内の第１の画像領域４１は、図９Ｂに示すように白地で表現できる。出力画像内の第１の画像領域４１以外の画像領域は、第２の画像領域４２及び第３の画像領域４３であって、図９Ｂに示すように黒地で表現できる。図９Ｃは、出力画像内の第１の画像領域４１と、第２の画像領域４２と、第３の画像領域４３と明暗で表現した説明図である。図９Ｃに示す出力画像は、第１の画像領域４１は白地、第２の画像領域４２は黒地、第１の画像領域４１と第２の画像領域４２との境界である第３の画像領域４３はグラデーションで表現できる。白地は、輝度が１００％であるため、第１の画像領域４１であることを示し、黒字は、輝度が０％であるため、第２の画像領域４２であることを示し、明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３の画像領域４３であることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを加重平均し新たな出力座標とする第３の歪補正における加重平均の割合を示している。

ここで前述の加重平均について詳述する。第３の画像領域４３内の出力座標毎の割合は、第３の画像領域４３内の出力座標から直近の第１の画像領域４１内の出力座標までの第１の距離と、当該第３の画像領域４３内の出力座標から直近の第２の画像領域４２内の第２の出力座標までの第２の距離との比率に応じた割合である。算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との割合が５：５の場合、出力座標の割合として５０％を算出する。また、算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との割合が７：３の場合、出力座標の割合として７０％を算出する。また、算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との比率が３：７の場合、出力座標の割合として３０％を算出する。尚、第３の画像領域４３内の出力座標の割合Ｘは、０％＜Ｘ＜１００％である。

また、算出部２３は、第１の画像領域４１内の出力座標の場合、出力座標に対する第１の距離と第２の距離との比率が１０：０となるため、出力座標の割合として１００％を算出する。尚、第１の画像領域４１内の出力座標の割合は、１００％となる。また、算出部２３は、第２の画像領域４２内の出力座標の場合、出力座標に対する第１の距離と第２の距離との比率が０：１０となるため、出力座標の割合として０％を算出する。尚、第２の画像領域４２内の出力座標の割合は、０％となる。そして、算出部２３は、出力座標毎の割合を算出した場合、出力座標毎に割合を割合テーブル３３内に記憶する。

図１０は、割合テーブル３３のテーブル構成の一例を示す説明図である。図１０に示す割合テーブル３３は、出力画像内の出力座標毎に割合を対応付けて管理している。割合は、第３の歪を補正した画素値の第３の入力座標を算出する際に使用する、出力座標毎の第１の入力座標及び第２の入力座標の加重平均の割合である。

算出部２３は、例えば、第１の歪を補正した画素値の第１の入力座標をｆ（ｘ，ｙ）で算出する。算出部２３は、例えば、第２の歪を補正した画素値の第２の入力座標をｇ（ｘ，ｙ）で算出する。図１１は、第３の歪を補正する第３の入力座標を算出する際の算出方法の一例を示す説明図である。図１２は、第３の変換テーブル３４のテーブル構成の一例を示す説明図である。算出部２３は加重平均処理を行う。より詳細には図１１に示すように、出力座標の割合をｎ％とした場合、第１の入力座標ｆ（ｘ，ｙ）×ｎ％で第１の入力座標を割合補正する。更に、算出部２３は、第２の入力座標ｇ（ｘ，ｙ）×（１００％－ｎ％）で第２の入力座標を割合補正する。更に、算出部２３は、割合補正後の第１の入力座標と割合補正後の第２の入力座標とを加算して第３の入力座標を出力座標毎に算出する。つまり、算出部２３は、ｆ（ｘ，ｙ）×ｎ％＋ｇ（ｘ，ｙ）×（１００％－ｎ％）の（数式１）で第３の入力座標を出力座標毎に算出する。算出部２３は、割合テーブル３３内の出力座標に対応する割合を参照し、例えば、出力座標の割合が５０％の場合、出力座標に対応する第１の入力座標の５０％と、出力座標に対応する第２の入力座標の５０％とを加算する。そして、算出部２３は、その加算値を第３の入力座標として算出し、図１２に示すように、出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

算出部２３は、例えば、出力座標の割合が７０％の場合、出力座標に対応する第１の入力座標の７０％と、出力座標に対応する第２の入力座標の３０％とを加算する。そして、算出部２３は、その加算値を出力座標の第３の入力座標として算出し、図１２に示すように出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

算出部２３は、例えば、出力座標の割合が３０％の場合、出力座標に対応する第１の入力座標の３０％と、出力座標に対応する第２の入力座標の７０％とを加算する。そして、算出部２３は、その加算値を出力座標の第３の入力座標として算出し、図１２に示すように出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

第３の変換部２４は、第３の変換テーブル３４を参照し、第３の画像領域４３内の第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

つまり、第１の変換部２１は、入力画像内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、入力画像内の第２の画像領域４２内の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、入力画像内の第３の画像領域４３内の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１の画像領域４１内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。図１３は、出力画像の一例を示す説明図である。尚、出力画像は、図１３に示すように第１の歪を補正した第１の画像領域４１と、第２の歪を補正した第２の画像領域４２と、第３の歪を補正した第３の画像領域４３とを含む画像である。出力画像は、例えば、第１の画像領域４１と第２の画像領域４２との間に第３の画像領域４３が配置されることになる。

そして、ナビゲーション装置３は、合成部２５からの出力画像内の第１の画像領域４１上のエリアに進路線５０を描画し、図１３に示すように、描画後の出力画像を表示装置４に出力する。尚、進路線５０は、例えば、横幅が車幅程度の範囲、かつ、奥行きを２メートルの範囲とする。

次に前提技術の画像表示システム１の動作について説明する。尚、説明の便宜上、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３の内容は事前に記憶されているものとする。

第１の変換部２１は、第１の変換テーブル３１を参照し、撮像素子１２にて撮像された入力画像内の第１の画像領域４１内の出力座標毎に、第１の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、第２の変換テーブル３２を参照し、撮像素子１２にて撮像された入力画像内の第２の画像領域４２内の出力座標毎に、第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照し、撮像素子１２にて撮像された入力画像内の第３の画像領域４３内の出力座標毎に、第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１の画像領域４１内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３内の出力座標の画素値とを合成して出力画像を生成する。合成部２５は、生成した出力画像をナビゲーション装置３に出力する。ナビゲーション装置３は、合成部２５からの出力画像内の第１の画像領域４１のエリアに進路線５０を描画し、進路線５０を描画した出力画像を表示装置４に出力する。進路線５０の生成にあたっては第１の画像領域４１に適用されている第１の歪み補正と同じ補正処理を進路線５０の元データに対し行う。その結果、利用者は、進路線５０は出力画像上を車両がどのように進むかを出力画像上に重畳表示することができる。

ナビゲーション装置３は、前述の通り歪曲収差のみを持つ、又は、歪を持たないような第１の歪み補正の画像部分において、進路線のデータに対し同様な画像変換を行なった進路線を重畳する。前述の通り、この画像変換を行うための変換テーブルは容量の小さいメモリに格納が可能なため、メモリ容量を小さくすることができる。メモリ容量増大に伴うコストアップは抑制される。

表示装置４では、実際に車両に搭載された撮像装置２のレンズ１１の歪曲収差の画像に合致するように、実際に車両が進む進路線５０のデータに対して画像変換処理を実行し、第１の画像領域４１上に進路線５０を描画して表示する。撮像装置２のレンズ１１は、例えば、魚眼レンズであるため、撮像装置２で撮像する画像は、画角が水平１８０度以上の視野の歪曲収差の画像となる。しかしながら、ナビゲーション装置３では、進路線５０が描画できるように、魚眼レンズではなく、従来のレンズで撮像した水平１４０度程度の視野の歪曲収差の画像に対応している。つまり、進路線５０を描画する第１の画像領域４１は、画角が水平１４０度程度の視野の歪曲収差の画像である。従って、魚眼レンズで撮像した画像と、ナビゲーション装置３で進路線５０を描画可能にする画像とは、画角差によって歪曲収差の画像が異なることになる。

図１４は、前提技術の撮像装置２で撮像した入力画像（原画像）の一例を示す説明図である。図１４に示す画像は、撮像装置２のレンズ１１である魚眼レンズで撮像した画像の一例であって、進路線５０を描画するための所定画像領域Ｓを含む画像である。尚、図１４に示す所定画像領域Ｓは、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図１５は、第１の歪補正後の画像の一例を示す説明図である。図１５に示す画像は、図１４に示す原画像内の画素毎に、第１の変換部２１で第１の歪補正の画像処理を実行した画像である。図１６は、第２の歪補正後の画像の一例を示す説明図である。図１６に示す画像は、図１４に示す原画像内の画素毎に、第２の変換部２２で第２の歪補正の画像処理を実行した画像である。

図１７は、前提技術の第１の画像領域４１と、第２の画像領域４２と、第３の画像領域４３とを明暗で表現した説明図である。図１７に示す画像では、第１の画像領域４１は白地、第２の画像領域４２は黒地、第１の画像領域４１と第２の画像領域４２との境界である第３の画像領域４３はグラデーションで表現した。白地は、輝度が１００％であるため、第１の画像領域４１であることを示す。黒地は、輝度が０％であるため、第２の画像領域４２であることを示す。明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３の画像領域４３であることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを加重平均し新たな出力座標とする第３の歪補正における加重平均の割合を示している。撮像装置２は、図１７に示す明暗の割合に応じた割合テーブル３３から第３の変換テーブル３４を生成することになる。そして、撮像装置２は、第３の変換テーブル３４を参照して、第１の画像領域４１、第２の画像領域４２及び第３の画像領域４３内の画素毎に歪補正を実行する。

図１８は、前提技術での視認性の良くない出力画像の一例を示す説明図である。図１８に示す出力画像は、第１の変換部２１からの第１の画像領域４１内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３内の出力座標の画素値とを合成した出力画像である。

しかしながら、撮像装置２では、進路線５０を描画する第１の画像領域４１に従来のレンズの歪曲収差を残しながら、当該第１の画像領域４１以外の領域（第２の画像領域４２及び第３の画像領域４３）に画像変換処理を実行したとする。この場合、第１の画像領域４１は、ナビゲーション装置３で進路線５０を描画可能にするように水平１４０度程度の視野の歪曲収差の画像となる。これに対して、第１の画像領域４１以外の画像は、水平１８０度以上の視野の歪曲収差の画像となる。第１の画像領域４１と第１の画像領域４１以外の領域とでは画角差が生じる。従って、第１の画像領域４１と、当該第１の画像領域４１以外の領域（第２の画像領域４２及び第３の画像領域４３）との境界線付近では極端な歪みの変化が生じる。つまり、第１の画像領域４１内の消失点付近の直線は、直線状ではなく歪んだ状態となる。その結果、境界線付近での極端な歪みの変化で画像の視認性が低下する。

そこで、例えば、画像視認性の向上が図れる画像表示システム１を提供すべく、その実施の形態につき、実施例１として以下に説明する。尚、前提技術と同一の構成には、同一符号を付すことで、その重複する構成及び動作の説明については省略する。

図１９は、実施例１の撮像装置２Ａの構成の一例を示す説明図である。図１９に示す撮像装置２Ａ内の制御部２０は、第１の変換部２１、第２の変換部２２、算出部２３、第３の変換部２４及び合成部２５を有する。撮像装置２Ａ内の記憶部３０は、第１の変換テーブル３１、ディストーションテーブル３１Ａ、第２の変換テーブル３２、割合テーブル３３及び第３の変換テーブル３４を有する。

第１の変換テーブル３１は、例えば、原画像内の第１の画像領域４１を補正し、補正後の第１αの画像領域４１α内の画素値毎の入力座標及び出力座標を管理する変換テーブルである。補正後の第１αの画像領域４１αは、図１４に示す原画像から第１の画像領域４１の範囲を縮小及び、上方向へ移動、図２０に示すように、例えば、横に８２．５％、縦に９２．８％に縮小し、上方向に２０ドット分移動した補正後の画像である。補正後の画像は、第１αの画像領域４１αと、第２αの画像領域４２αと、第３αの画像領域４３αとを有する。その結果、第１αの画像領域４１αと、第１αの画像領域４１α以外の画像領域との間の境界線付近の画像の視認性が向上する。すなわち、第１αの画像領域４１αは、境界線付近の画像の視認性が向上するように原画像から第１の画像領域４１の範囲を補正する。

割合テーブル３３は、第１αの画像領域４１α、第２αの画像領域４２α及び第３αの画像領域４３α内の画素毎の割合を定めたテーブルである。尚、割合は、第３の歪を補正した画素値の第３の入力座標を算出する際に使用する、出力座標毎の第１の入力座標及び第２の入力座標の加重平均の割合である。つまり、割合テーブル３３は、第１αの画像領域４１αを含む画像内の出力座標毎の第１の入力座標及び第２の入力座標の加重平均の割合を定めたものである。

算出部２３は、第１の変換テーブル３１を参照して、例えば、第１の歪を補正した画素値の第１の入力座標をｆ（ｘ，ｙ）で算出する。算出部２３は、第２の変換テーブル３２を参照して、例えば、第２の歪を補正した画素値の第２の入力座標をｇ（ｘ，ｙ）で算出する。算出部２３は、割合テーブル３３を参照して、例えば、第３の歪を補正した画素値の第３の入力座標を（数式１）で算出する。算出部２３は、加重平均処理を行う。算出部２３は、図１５に示すように、割合テーブル３３を参照し、出力座標の割合をｎ％とした場合、第１の入力座標ｆ（ｘ，ｙ）×ｎ％で第１の入力座標を割合補正する。更に、算出部２３は、割合テーブル３３を参照し、第２の入力座標ｇ（ｘ，ｙ）×（１００％－ｎ％）で第２の入力座標を割合補正する。更に、算出部２３は、割合補正後の第１の入力座標と割合補正後の第２の入力座標とを加算して第３の入力座標を出力座標毎に算出する。つまり、算出部２３は、割合テーブル３３を参照して、ｆ（ｘ，ｙ）×ｎ％＋ｇ（ｘ，ｙ）×（１００％－ｎ％）の（数式１）で第３の入力座標を出力座標毎に算出する。算出部２３は、割合テーブル３３内の出力座標に対応する割合を参照し、例えば、出力座標の割合が５０％の場合、出力座標に対応する第１の入力座標の５０％と、出力座標に対応する第２の入力座標の５０％とを加算する。そして、算出部２３は、その加算値を第３の入力座標として算出し、出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶することになる。

図２０は、第１の歪補正後の画像の一例を示す説明図である。図２０に示す画像は、撮像装置２Ａで撮像した原画像の第１の歪補正後の画像上の第１の画像領域４１を補正した第１αの画像領域４１αを含む画像である。第１の変換部２１は、撮像装置２Ａで撮像した原画像から第１の歪補正の処理を実行する。更に、第１の変換部２１は、第１の歪補正後の原画像から第１の歪補正後の第１の画像領域４１を補正して第１αの画像領域４１αを得る。尚、第１αの画像領域４１αは、例えば、第１の画像領域４１の範囲を横に８２．５％、縦に９２．８％に縮小し、上方向に２０ドット分移動した画像である。第１の画像領域４１の縮小率、移動方向については、第１αの画像領域４１αとの境界部分の見た目の不連続感が少なくなるように設計時に任意に調整する。第１の画像領域４１の縮小率は１００％以上の拡大としてもよいし、移動方向は上方向に限るものではなく、横や下、あるいは斜め方向のように、設計時に定めた所定の方向であればよい。

図２１は、実施例１の第１αの画像領域４１αと、第２αの画像領域４２αと、第３αの画像領域４３αとを明暗で表現した説明図である。図２１に示す画像内の第１αの画像領域４１αは白地、第２αの画像領域４２αは黒地、第１αの画像領域４１αと第２αの画像領域４２αとの境界である第３αの画像領域４３αはグラデーションで表現した。白地は、輝度が１００％であるため、第１αの画像領域４１αであることを示す。黒地は、輝度が０％であるため、第２αの画像領域４２αであることを示す。明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３αの画像領域４３αであることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを加重平均して新たな出力座標とする第３の歪補正における加重平均の割合を示している。

第１の変換部２１は、第１の変換テーブル３１を参照し、入力画像内の第１αの画像領域４１α内の第１の歪を補正した第１の入力座標の画素値を第１αの画像領域４１α内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、第２の変換テーブル３２を参照し、入力画像内の第２αの画像領域４２α内の第２の歪を補正した第２の入力座標の画素値を第２αの画像領域４２α内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照して、入力画像内の第３αの画像領域４３α内の第３の歪を補正した第３の入力座標の画素値を第３αの画像領域４３α内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１αの画像領域４１α内の出力座標の画素値と、第２の変換部２２からの第２αの画像領域４２α内の出力座標の画素値と、第３の変換部２４からの第３αの画像領域４３α内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。

図２２は、撮像装置２Ａで撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２２に示すように第１の歪を補正した第１αの画像領域４１αと、第２の歪を補正した第２αの画像領域４２αと、第３の歪を補正した第３αの画像領域４３αとを含む画像である。出力画像は、例えば、第１αの画像領域４１Ａと第２αの画像領域４２αとの間に第３αの画像領域４３αが配置されることになる。合成部２５は、入力画像を取得した場合でも、視認性の優れた出力画像を円滑に出力できる。図２２に示す画像内の第１αの画像領域４１α内の消失点付近の直線は、図１８に比較して、ほぼ真っ直ぐな直線状態となる。その結果、境界線付近での歪みの変化が少なく、画像の視認性が向上する。そして、ナビゲーション装置３は、撮像した画像でも、合成部２５からの出力画像内の第１αの画像領域４１α上の範囲に進路線５０を描画し、図２２に示すように、描画後の出力画像を表示装置４に出力する。尚、ナビゲーション装置３は、実際の歪曲収差を有するレンズ画像と異なるものの、例えば、横方向８２．５％、縦方向９２．８％、上方向２０ドット分移動等の補正量を用いて画面座標を修正して第１αの画像領域４１α上に進路線５０を描画する。

実施例１の撮像装置２Ａでは、第１の画像領域４１の範囲を補正した補正後の第１αの画像領域４１αを基本にして第２αの画像領域４２α及び第３αの画像領域４３αを特定する。更に、撮像装置２Ａは、第１αの画像領域４１α、第２αの画像領域４２α及び第３αの画像領域４３α内の画素毎の第１の入力座標及び第２の入力座標の割合を示す割合テーブル３３を生成する。更に、撮像装置２Ａは、割合テーブル３３に基づき、第３の変換テーブル３４を生成する。そして、撮像装置２Ａは、第３の変換テーブル３４を参照し、歪み補正の画像変換処理を実行する。その結果、撮像装置２Ａは、第１の画像領域４１と第１の画像領域４１以外の画像領域とで画角差が生じた場合でも、撮像した入力画像から速やかに第１の歪補正、第２の歪補正及び第３の歪補正を円滑に実現できる。つまり、見やすい歪み補正としては不十分なレンズ自体の歪みだけを補正する部分を最小化でき、自然に見える領域が増えることで視認性を良好に保つことができる。

つまり、撮像装置２Ａでは、第１の画像領域４１を補正した補正後の第１αの画像領域４１αに基づき、第３の変換テーブル３４を生成する。その結果、画角差が生じた場合でも、第１αの画像領域４１αと第１αの画像領域４１α以外の画像領域との境界線付近の画像の消失点付近の直線がほぼ真っ直ぐになる。従って、境界線付近の視認性が向上するため、視認性の良好が出力画像を出力できる。しかも、表示装置４では、出力座標と入力座標とを対応付けるテーブルが不要になるため、メモリ容量が小さくして製品のコストアップを抑制できる。

尚、実施例１の撮像装置２Ａでは、第１の画像領域４１の範囲を補正する例として上方向に移動する場合を例示したが、上方向に限定されるものではなく、例えば、上下方向や左右方向等に適宜変更可能である。更に、撮像装置２Ａでは、第１の画像領域４１の範囲を縮小して移動する場合を例示したが、縮小や移動の何れか一方のみを実行しても良く、適宜変更可能である。また、撮像装置２Ａでは、第１の画像領域４１の範囲を拡大しても良く、また、拡大して移動しても良く、適宜変更可能である。また、撮像装置２Ａでは、第１の画像領域４１と第１の画像領域４１以外の画像領域との境界線付近の画像の視認性が向上するように、第１の画像領域４１の範囲を横方向に拡大して縦方向に縮小するように補正しても良く、適宜変更可能である。

撮像装置２Ａでは、第１の画像領域４１の範囲を補正する場合を例示したが、例えば、第１の歪補正と異なる歪曲収差を残す第４の歪補正を施した画像に第１の画像領域４１を置き換えても良く、その実施の形態につき、実施例２として以下に説明する。尚、実施例１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。

第１の変換部２１は、原画像の第１の画像領域４１の第１の歪補正と異なる歪曲収差を残す第４の歪補正を施した画像である第１βの画像領域４１βを生成する。図２３は、実施例２の第１の歪補正と異なる歪補正後の第１βの画像領域４１βを含む画像の一例を示す説明図である。更に、第１の変換部２１は、第１βの画像領域４１βを、例えば、縦方向に１．５倍に拡大、上方向に１３７ドット分移動する補正する。第１の変換部２１は、第１の画像領域４１を補正後の第１βの画像領域４１βに置き換える。図２３に示す画像は、補正後の第１βの画像領域４１βを含む画像である。

図２４は、第１の歪補正と異なる歪補正後の第１βの画像領域４１βと、第２αの画像領域４２αと、第３αの画像領域４３αとを明暗で表現した説明図である。図２４に示す画像内の第１βの画像領域４１βは白地、第２αの画像領域４２αは黒地、第１βの画像領域４１βと第２αの画像領域４２αとの境界である第３αの画像領域４３αはグラデーションで表現した。白地は、輝度が１００％であるため、第１βの画像領域４１βであることを示す。黒地は、輝度が０％であるため、第２αの画像領域４２αであることを示す。明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３αの画像領域４３αであることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを入力とし、その入力を加重平均して新たな出力座標とする第３の歪補正における加重平均の割合を示している。

第１の変換部２１は、第４の歪補正を施した第１βの画像領域４１β内の入力座標の画素値を第１βの画像領域４１β内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、第２の変換テーブル３２を参照し、入力画像内の第２αの画像領域４２α内の第２の歪を補正した第２の入力座標の画素値を第２αの画像領域４２α内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照して、入力画像内の第３αの画像領域４３α内の第３の歪を補正した第３の入力座標の画素値を第３αの画像領域４３α内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１βの画像領域４１β内の出力座標の画素値と、第２の変換部２２からの第２αの画像領域４２α内の出力座標の画素値と、第３の変換部２４からの第３αの画像領域４３α内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。

図２５は、撮像装置２Ａで撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２５に示すように第１βの画像領域４１βと、第２の歪を補正した第２αの画像領域４２αと、第３の歪を補正した第３αの画像領域４３αとを含む画像である。出力画像は、例えば、第１βの画像領域４１βと第２αの画像領域４２αとの間に第３αの画像領域４３αが配置されることになる。合成部２５は、視認性の優れた出力画像を円滑に出力できる。図２５に示す画像内の第１βの画像領域４１β内の消失点付近の直線は、図１８に比較して、ほぼ真っ直ぐな直線状態となる。その結果、境界線付近での歪みの変化が少なく、画像の視認性が向上する。そして、ナビゲーション装置３は、撮像した画像でも、合成部２５からの出力画像内の第１βの画像領域４１β上に進路線５０を描画し、図２５に示すように、描画後の出力画像を表示装置４に出力する。

実施例２の撮像装置２Ａでは、第１の歪補正と異なる第４の歪補正の第１βの画像領域４１βを生成し、第１の画像領域４１を第１βの画像領域４１βに置き換える。更に、撮像装置２Ａは、第１βの画像領域４１βを基本にして第２αの画像領域４２α及び第３αの画像領域４３αを特定する。更に、撮像装置２Ａは、第１βの画像領域４１β、第２αの画像領域４２α及び第３αの画像領域４３α内の画素毎の第１の入力座標及び第２の入力座標の割合を示す割合テーブル３３を生成する。更に、撮像装置２Ａは、割合テーブル３３に基づき、第３の変換テーブル３４を生成する。そして、撮像装置２Ａは、第３の変換テーブル３４を参照し、歪み補正の画像変換処理を実行する。その結果、撮像装置２Ａは、第１の画像領域４１と第１の画像領域４１以外の画像領域とで画角差が生じた場合でも、撮像した入力画像から速やかに第１の歪補正、第２の歪補正及び第３の歪補正を円滑に実現できる。つまり、見やすい歪み補正としては不十分なレンズ自体の歪みだけを補正する部分を最小化でき、自然に見える領域が増えることで視認性を良好に保つことができる。

つまり、撮像装置２Ａでは、第１の歪補正と異なる第４の歪補正の第１βの画像領域４１βに基づき、第３の変換テーブル３４を生成する。その結果、画角差が生じた場合でも、第１βの画像領域４１βと第１βの画像領域４１β以外の画像領域との境界線付近の画像の消失点付近の直線がほぼ真っ直ぐになる。従って、境界線付近の視認性が向上するため、視認性の良好な出力画像を出力できる。しかも、表示装置４では、出力座標と入力座標とを対応付けるテーブルが不要になるため、メモリ容量が小さくして製品のコストアップを抑制できる。

撮像装置２Ａでは、例えば、縦列駐車中であることを認識し、全く異なる位置に描画される進路線５０に対応する場合にも適用可能である。

撮像装置２（２Ａ）では、撮像装置２（２Ａ）内のＲＡＭ１５に第３の変換テーブル３４等の記憶部３０を格納した。しかしながら、ＲＡＭ１５に限定されるものではなく、例えば、撮像装置２（２Ａ）と外部接続可能な図示せぬ記憶装置に格納しても良く、適宜変更可能である。

撮像装置２（２Ａ）は、図１４に示す記憶部３０内に各種テーブルを内蔵したが、事前に第３の変換テーブル３４のテーブル内容が格納されている場合には、記憶部３０内に第３の変換テーブル３４のみの内蔵でも良く、適宜変更可能である。

撮像装置２（２Ａ）では、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３を使用した。しかしながら、出力座標毎に、第１の歪を補正した画素値の第１の入力座標を算出するための関数ｆ、第２の歪を補正した画素値の第２の入力座標を算出するための関数ｇ、第３の歪を補正した画素値の入力座標を算出する（数式１）を記憶しても良い。

この場合、撮像装置２（２Ａ）では、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３を準備しなくても、関数ｆ、関数ｇ及び数式１で、第１の歪補正、第２の歪補正及び第３の歪補正を施した画素値の入力座標を算出する。そして、撮像装置２（２Ａ）は、第１の歪を補正した第１αの画像領域４１α内の出力座標の画素値と、第２の歪を補正した第２αの画像領域４２α内の出力座標の画素値と、第３の歪を補正した第３αの画像領域４３α内の出力座標の画素値とを含む出力画像をナビゲーション装置３に出力する。

尚、上記実施例では、撮像装置２（２Ａ）内のＲＡＭ１５等に入力画像を記憶したが、撮像装置２（２Ａ）と接続する外部の記憶装置に入力画像を記憶しても良く、適宜変更可能である。

上記実施例では、例えば、第２の歪補正を特許文献１により歪み補正とし説明したが、これらの歪に限定されるものではなく、利用者が見易い他の補正方法を採用してもよい。

上記実施例では、第１の画像領域４１（第１αの画像領域４１α）内の第１の歪補正、第２の画像領域４２（第２αの画像領域４２α）内の第２の歪補正、第３の画像領域４３（第３αの画像領域４３α）内の第３の歪補正を実行する歪補正処理（画像処理）を撮像装置２（２Ａ）内の画像処理プロセッサ１３で実行した。しかしながら、撮像装置２（２Ａ）と接続する外部装置、例えば、ナビゲーション装置３に歪補正処理を実行しても良く、適宜変更可能である。

上記実施例では、第１の変換部２１で第１の歪補正、第２の変換部２２で第２の歪補正、第３の変換部２４で第３の歪補正を実行した。しかしながら、これら第１の歪補正、第２の歪補正及び第３の歪補正を順不同で順次実行、若しくは並列に実行しても良く、適宜変更可能である。

上記実施例のナビゲーション装置３は、撮像装置２（２Ａ）内のディストーションテーブル３１Ａを使用して第１αの画像領域４１αのエリアに進路線５０を描画した。しかしながら、ナビゲーション装置３内に第１の変換テーブル３１を別途設けても良く、適宜変更可能である。

上記実施例では、第１の歪を補正した第１の画像領域４１（第１αの画像領域４１α）を含む出力画像に進路線５０を描画したが、進路線５０に限定されるものではなく、例えば、固定の進路線等の線を描画しても良く、適宜変更可能である。

２Ａ 撮像装置
１３ 画像処理プロセッサ
２１ 第１の変換部
２２ 第２の変換部
２３ 算出部
２４ 第３の変換部
２５ 合成部
３１ 第１の変換テーブル
３２ 第２の変換テーブル
３３ 割合テーブル
３４ 第３の変換テーブル

Claims (7)

1. 入力画像を画像変換し出力画像を出力する画像処理装置であって、
   前記入力画像の第１の画像領域内の画素毎に第１の歪補正を施し画像とし、当該第１の歪補正が施された画像内の画素毎に補正を施し画像として出力する第１の変換部と、
   前記入力画像の第２の画像領域内の画素毎に第２の歪補正を施し画像として出力する第２の変換部と、
   前記入力画像の第３の画像領域内の画素毎に第３の歪補正を施し画像として出力する第３の変換部と、
   前記第１の変換部からの画像出力と、前記第２の変換部からの画像出力と、前記第３の変換部からの画像出力とから前記出力画像を生成し出力する合成部と、
   を有し、
   前記出力画像は、前記第１の変換部からの出力された画像と前記第２の変換部からの出力された画像との間に前記第３の変換部からの出力された画像が配置され、前記第１の変換部からの出力された画像は歪曲収差のみを持つ、又は、歪みを持たない画像であり、
   前記第１の変換部は、
   前記第１の画像領域と、前記第２の画像領域又は前記第３の画像領域との間で画角差がある場合に、前記第１の画像領域内の消失点付近の直線が直線状になるように前記画像内の画素を補正することを特徴とする画像処理装置。
2. 前記第１の変換部は、
   前記第１の歪補正が施された前記画像を拡大又は縮小するように補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の変換部は、
   前記第１の歪補正が施された前記画像を所定方向に移動するように補正することを特徴とする請求項１に記載の画像処理装置。
4. 前記入力画像は、被写体と、前記被写体からの光を集光するレンズと、前記集光された光が結像する撮像素子とから生成され、
   前記第１の変換部は、
   前記第１の画像領域を前記レンズの第１の歪補正と異なる歪曲収差を残す第４の歪補正を施した画像に置き換えるように補正することを特徴とする請求項１に記載の画像処理装置。
5. 前記入力画像は、被写体と、被写体からの光を集光するレンズと、前記集光された光が結像する撮像素子とから生成され、
   前記第２の変換部は、
   前記レンズの光軸に向かう直線状の前記被写体と、縦方向に直線の前記被写体とを前記出力画像内でほぼ直線状となり、かつ、横方向に直線の前記被写体を、前記出力画像の中央部分、及び同中央部分と左右に連なる左側部分と右側部分とでほぼ直線状に、また、前記出力画像の中央部分と、左側部分及び右側部分との境目付近で屈曲するように歪補正すること特徴とする請求項１に記載の画像処理装置。
6. 前記第３の変換部は、
   前記入力画像の画素毎に前記第１の歪補正を施し得られた出力と前記第２の歪補正を施し得られた出力とを加重平均し出力することを特徴とする請求項１に記載の画像処理装置。
7. 前記第１の画像領域内に進路線を描画することを特徴とする請求項１に記載の画像処理装置。

Images