JP5062846B2 - 画像撮像装置 - Google Patents

Description

本発明は広画角で倍率色収差、歪曲収差などが大きい光学系を用いて撮像された画像を取得する画像撮像装置に関し、特に取得した画像の倍率色収差、歪曲収差を補正する技術に関する。

近年、車のバックモニタなどの用途に向けに、広角の小型撮像装置の需要が増大している。しかしながら、小型で倍率色収差や歪曲収差が小さい光学系を設計するのは困難であり、画像処理と組み合わせて性能を向上させる必要がある。この場合、従来は、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られた画像データについて、後段で座標変換して倍率色収差や歪曲収差を補正していた。

図１７に従来のこの種の画像撮像装置の構成図を示す。図において、撮像素子１はＣＣＤやＣＭＯＳセンサ等で構成され、広角で倍率色収差や歪曲収差の大きい光学系（不図）を通して撮像された光学像を電気信号（画像データ）に変換する。カウンタ２は、外部等から与えられるクロック、水平／垂直同期信号（不図）に基づいてフレームアドレスである座標値（ｘ，ｙ）を生成する。該カウンタ２の座標値（ｘ，ｙ）に基づき、撮像素子１０から画像データが順次読み出されて、フレームメモリ３に順次書き込まれる。なお、フレームメモリ３は所定ライン数分のラインバッファでもよい。一方、座標変換手段４は、カウンタ２の座標値（ｘ，ｙ）を入力して、所定の座標変換式に従って倍率色収差や歪曲収差補正の変換座標を計算し、該変換後の座標値（ｘ，ｙ）を用いて、フレームメモリ３から画像データを順次読み出していく。これにより、フレームメモリ３からは、倍率色収差や歪曲収差補正された画像データが読み出される。

例えば、特許文献１には、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する手法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する手法が記載されている。

特開２００６−３４５０５４号公報

従来技術においては、倍率色収差や歪曲収差補正のための座標変換を実現するのに別途、大容量のフレームメモリ、あるいはラインバッフアが必要であった。特にＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する場合には、ＲＧＢ独立にアドレス指定できるメモリが必要で、高価な３チップ構成の３ポートのＲＡＭ（ＳＲＡＭなど）を使用するか、時分割でＲＡＭを駆動する必要がある。また、ＲＧＢ各色成分共通に座標変換して歪曲収差のみを補正する場合には、１チップ構成の低価格のＤＲＡＭ等を使用することが可能であるものの、メモリを別途必要とすることには変わりがない。

さらに、一般に撮像素子にはベイヤー配列などの色フィルタが設けられている。従来技術においては、撮像素子により得られた信号について、ベイヤー配列など、色フィルタのカラー配列による画素欠陥を補完した後に倍率収差や歪曲色収差の補正を行っており、同様に別途、大容量のフレームメモリ、あるいはラインバッファが必要であった。

本発明の目的は、所定のカラー配列の色フィルタを設けた撮像素子を使用する場合にも、別途フレームメモリやラインバッフアを持たずにカラー配列の状態で座標変換を行って、倍率色収差補正や歪曲収差補正を可能とする画像撮像装置を提供することにある。

本発明の画像撮像装置は、光学系による光学像を電気信号としての画像データに変換する所定のカラー配列の色フィルタを備えた撮像素子と、該撮像素子の本来の座標値（ｘ，ｙ）をそれと異なる座標値（Ｘ，Ｙ）に、座標値（ｘ，ｙ）に対応する前記色フィルタの色を考慮し所定のカラー配列の状態で座標変換する座標変換手段とを有し、撮像素子は、座標値（ｘ，ｙ）を座標変換先、座標値（Ｘ，Ｙ）を座標変換元として、座標値（Ｘ，Ｙ）の画素の画素値を座標値（ｘ，ｙ）の画素の画素値として読み出すことを特徴する。これにより、座標変換用のフレームメモリやラインバッファは不要になり、撮像素子から直接、座標変換されたカラー配列の画像データが読み出される。
具体的には、座標変換手段は、撮像素子が、座標変換元のカラー配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値として読出し、座標変換元のカラー配列の色が座標変換先と異なる色の場合には、座標変換元近傍の座標変換先と同色の２つの座標の画素の画素値を読み出すように座標変換するとともに、撮像素子から読み出された前記座標変換元近傍の座標変換先と同色の２つの座標の画素の画素値について、その各画素値から座標変換先に相当する画素の画素値を補間処理し、得られた画素値を座標変換先の画素の画素値とする補正手段を備える。これにより、座標変換前と後でカラー配列を維持でき、かつ、座標変換先の画素の画質が向上する。

撮像素子は、ランダムアクセス機構を備える。座標変換手段は、該撮像素子に内蔵されてもよい。これにより、撮像素子は、座標変換手段と一緒に１チップ化が可能になり、小型化、低コスト化が達成される。

座標変換手段は、画像データを所定のカラー配列の状態で倍率色収差と歪曲収差のいずれか一方あるいは両方を補正するために座標変換する。

別の実施例では、座標変換手段は、撮像素子が、座標変換元のカラー配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値として読出し、座標変換元のカラー配列の色が座標変換先と異なる色の場合には、座標変換元近傍の座標変換先と同色の複数の座標の画素の画素値を読み出すように座標変換するとともに、撮像素子から読み出された前記座標変換元近傍の座標変換先と同色の複数の座標の画素の画素値について、その各画素値から座標変換先に相当する画素の画素値を補間処理し、得られた画素値を座標変換先の画素の画素値とする補正手段を備える。これにより、座標変換前と後でカラー配列を維持でき、かつ、座標変換先の画素の画質が向上する。

また、本発明の画像撮像装置は、座標変換されたカラー配列の画像データについて、該カラー配列による画素欠陥を補完する補完手段をさらに備える。

本発明によれば、カラー配列の色フィルタを備えた撮像素子を使用する画像撮像装置において、直接、撮像素子から所定のカラー配列の状態で倍率色収差補正や歪曲収差補正等の座標変換された画像データを読み出すことができ、座標変換用フレームメモリやラインバッファ等を別途持つ必要がなくなり、装置全体のコスト低減が可能になる。

図１は本発明の画像撮像装置の基本構成図を示す。図１において、撮像素子１１０は、ランダムアクセスが可能なＣＭＯＳカラーセンサ等で構成され、広角で倍率色収差及び歪曲収差の大きい光学系１０を用いて撮像された光学像を電気信号（画像データ）に変換する。該撮像素子１１０には、ベイヤー配列等、所定のカラー配列の色フィルタが設けられている。カウンタ１２０は、外部等から与えられるクロック、水平／垂直同期信号（不図）に基づいて撮像素子１１０の本来の座標値（ｘ，ｙ）を生成する。座標変換手段１３０は、カウンタ１２０の座標値（ｘ，ｙ）を入力として、順次、該座標値（ｘ，ｙ）に対応する色フィルタの色を考慮し所定のカラー配列の状態で、所定の座標変換式に従って倍率色収差補正及び／又は歪曲収差補正のための座標変換元の座標値（Ｘ，Ｙ）を計算して、撮像素子１１０に与える。撮像素子１１０は、該座標値（Ｘ，Ｙ）を読出しアドレスとして、順次、当該座標（Ｘ，Ｙ）の画素の画素値を座標（ｘ，ｙ）の画素の画素値として読み出す。

ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（１）
と表わすことができる。ａｂｓ（ ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめテーブルなどに保持しておけばよい。

図１の構成とすることにより、撮像素子１１０から直接、所定のカラー配列の状態で倍率色収差補正及び／又は歪曲収差補正された画像データを読み出すことが可能となり、別途、座標変換のためのフレームメモリやラインバッファを持つ必要がなくなる。

なお、図１において、カウンタ１２０、座標変換手段１３０は撮像素子１１０に内蔵した構成とすることでもよい。

以下に、本発明の画像撮像装置の一実施の形態について詳しく説明する。実施形態では、撮像素子はベイヤー配列の色フィルタを持つとするが、もちろん、本発明はＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ（赤外）配列など他の色フィルタを持つ撮像素子にも適用可能である。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

従来技術においては、撮像素子により得られた信号について、ベイヤー配列など、所定のカラー配列による画素欠陥を補完した後に倍率色収差の補正を行っていた。しかしながら、倍率色収差が大きい光学系に対応するためには、倍率色収差用（座標変換用）のメモリの容量が極めて多く必要であり、装置が非常に高価になっていた。さらに、倍率色収差は色成分毎に異なるため、倍率色収差補正用には各色成分独立にアドレス指定できるメモリが必要で、高価な３チップ構成の３ポートのＲＡＭ（ＳＲＡＭなど）を使用するか、時分割でＲＡＭを駆動する必要があり、この点からも装置が非常に高価となっていた。

以下に説明する実施形態では、撮像素子から直接、ベイヤー配列の状態で倍率色収差補正した画像データを読出し、この倍率色収差補正されたベイヤー配列の画像データについて、ベイヤー配列による画素欠陥を補完処理する。その後、ＭＴＦ補正、歪曲収差補正、γ補正等の処理を行う。

図２は本発明を適用した画像撮像装置の一実施形態の全体ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図２では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、用途はこれに限らない。

図２において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。

撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像信号）に変換するための、例えばＣＭＯＳセンサ等で構成されるが、ランダムアクセス機構を備えている。また、該撮像素子１１０にはヘイヤー配列の色フィルタが設けられている。

カウンタ１２０は、制御部１００から与えられているクロック、水平／垂直同期信号に基づいて座標値（ｘ，ｙ）を生成して座標変換手段としての座標変換処理部１３０に与える。なお、図２では省略したが、カウンタ１２０で生成された座標値（ｘ，ｙ）は、順次、所定の時間ずらして後段にも与えるようにする。

座標変換処理部１３０は、カウンタ１２０から出力された座標値（ｘ，ｙ）を入力として、順次、（１）式等の所定の座標変換式に従って倍率色収差補正の変換座標を計算し、その変換後座標値（Ｘ，Ｙ）を出力する。撮像素子１１０は、該座標値（Ｘ，Ｙ）を読出しアドレスとして、順次、当該座標値（Ｘ，Ｙ）の画素の画素値を読み出していく。すなわち、撮像素子１１０から直接、倍率色収差補正済みのベイヤー配列のＲＧＢ画像信号が読み出される。

なお、単純な座標変換では、座標変換前と後でベイヤー配列が変化して、後段のベイヤー補完部１５０で正しくベイヤー補完を行えなくなる。すなわち、座標変換前と後でベイヤー配列を維持する必要がある。そこで、座標変換処理部１３０では、座標変換元のベイヤー配列の色が座標変換先と同じ色の場合は座標変換元の座標はそのままとするが、違う色の場合には、例えば、座標変換元の座標を、これにもっとも近い距離の座標変換先と同色の座標に変更する。これにより、ベイヤー配列のＲＧＢ画像のまま倍率色収差補正を施しても、ベイヤー配列を維持することができる。この座標変換処理部１３０については後で詳しく説明する。
先に述べたように、カウンタ１２０、座標変換処理部１３０は、ＣＭＯＳセンサ等の撮像素子１１０に内蔵することでもよい。

Ａ／Ｄ変換器１４０は、撮像素子１１０から出力されたアナログ信号としての倍率色収差補正済みのベイヤー配列のＲＧＢ画像信号をデジタル信号（画像データ）に変換して送出する。例えば、画像データは、ＲＧＢそれぞれ８ビットで構成される。なお、Ａ／Ｄ変換器１４０も、カウンタ１２０、座標変換処理部１３０とともに撮像素子１１０に内蔵することでもよい。

ベイヤー補完部１５０は、倍率色収差補正されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色ごとに、全座標位置の画像データ（画素データ）を線形補完によって生成し、ＭＴＦ補正部１６０に送出する。

図３にベイヤー配列のカラーフィルタを示す。説明の便宜上、図３ではＲ，Ｇ，Ｂごとに分解して示したが、もちろん、実際にはＲＧＢ一体に配列（ベイヤー配列）される。ここで、Ｇ₀は次式により求める。
Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （２）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。
Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （３）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （４）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （５）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （６）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （７）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

ＭＴＦ補正部１６０は、倍率色収差補正済みのベイヤー補完された各ＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正された各ＲＧＢ画像データを出力する。

図４にＭＴＦ補正部１６０の概略構成を示す。変換部１６２は次式によりＲＧＢ画像データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （８）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （９）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （10）

ＦＩＲフィルタ（５×５フィルタ）１６４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図５にＦＩＲフィルタの係数の一例を示す。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。

逆変換部１６６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （11）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （12）
Ｂ＝Ｙ＋１.７７２Ｃｂ （13）

歪曲収差補正部１７０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の式によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。歪曲収差は大きいが、ＲＧＢ各色成分で一様である。このため、歪曲収差補正部１７０での座標変換には、メモリ容量が大ではあるが、１ポートで良いため、高レイテンシのメモリ（ＤＲＡＭ）を使用することが可能である。

ガンマ補正部１８０は、歪曲収差補正部１７０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。

図２のような構成を取ることにより、撮像素子自体がフレームメモリやラインバッファ（ＲＡＭ）の機能を果たし、別途座標変換のためのＲＡＭが必要なくなる。そのため、装置のさらなる低価格化や小型化が可能となる。通常、座標変換はカラーフィルタの欠陥色の補間を行った後に行う必要があり、撮像素子を座標変換用のＲＡＭとして使用することは出来なかった。このような構成が可能となったのは、撮像素子のカラーフィルタの配列のまま座標変換を可能とした本実施形態に起因する。

以下では本実施形態の主要構成である座標変換処理部１３０について詳述する。

はじめに、図６によりベイヤー配列のまま座標変換して倍率色収差補正を可能とする原理を説明する。図６（ａ）は座標変換前のベイヤー配列、図６（ｂ）は座標変換後のベイヤー配列を示す。図６では簡単にベイヤー配列を６×６ピクセルとするが、例えば解像度ＶＧＡでは６４０×６４０ピクセルで、ベイヤー配列は図６の繰り返しとなる。

倍率色収差はＲＧＢ各色成分でそれぞれ異なるずれをするが、光学系の設計データにより、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。いま、図６（ａ）において、座標（０，０）の位置（ピクセル）の画素（Ｇ）は、倍率色収差によって座標（１，１）の位置にずれ、同様に座標（１，０）の画素（Ｂ）は座標（３，１）の位置にずれているとする。倍率色収差補正は、基本的には座標（１，１）、（３，１）の画素の画素値を、本来の位置である座標（０，０）、（１，０）の位置にコピーする、すなわち、座標変換することで可能である。ここで、座標（１，１）、（３，１）などを座標変換元の座標（Ｘ，Ｙ）、本来の位置である座標（０，０）、（１，０）などを座標変換先の座標（ｘ，ｙ）と称す。また、座標の値を意味する場合は（ｘ，ｙ）や（Ｘ，Ｙ）を座標値と称して、必要に応じて座標と座標値を使い分ける。

ところで、上述のように、ベイヤー配列のＲＧＢ画像データについて単純に座標変換を行った場合、座標変換前と後でベイヤー配列が変化し、後段で正しくベイヤー補完を行えなくなる。そこで、座標変換元の色が座標変換先と同色の場合は、そのまま座標変換元の画素の画素値を座標変換先にコピーするが、違う色の場合には、座標変換元の座標を、座標変換先と同色で、該座標変換元の座標に最も近い距離の座標に修正し、この修正後の座標の画素の画素値を座標変換先にコピーする。

図６（ａ）において、座標（０，０）の座標変換先と座標（１，１）の座標変換元の色は、どちらも緑（Ｇ）である。この場合は、座標変換元の座標（１，１）の画素（Ｇ）の画素値を、そのまま座標変換先の座標（０，０）の画素の画素値とする。一方、座標（１，０）の座標変換先と座標（３，１）の座標変換元では、座標（１，０）が青（Ｂ）に対して座標（３，１）は緑（Ｇ）である。この場合には、座標変換元を座標変換先の座標（１，０）と同じ青（Ｂ）で、座標（３，１）に最も近い距離の座標（図６（ａ）では座標（３，２）とする）に修正し、この修正後の座標（３，２）の画素（Ｂ）の画素値を、座標変換先の座標（１，０）の画素の画素値とする。これにより、図６（ｂ）に示すように、座標変換後のベイヤー配列は、図６（ａ）の座標変換前のベイヤー配列に維持される。以下に、座標変換処理部１３０の具体的構成として二、三の実施例を示す。

図７に座標変換処理部１３０の第１の実施例の全体構成図を示す。本実施例は、図６で説明したように、座標変換元座標の色が座標変換先座標と同色の場合は、そのまま、座標変換元座標の画素の画素値を座標変換先座標の画素の画素値とするが、違う色の場合には、座標変換元座標に最も近い距離の座標変換先座標と同色の座標の画素の画素値を座標変換先座標の画素の画素値とするものである。

図７において、倍率色収差補正座標演算部１３０１、座標変換係数テーブル１３０２、色判断部１３０３、選択部１３０４、１３０５、四捨五入部１３０６、１３０７、配列判断部１３０８、座標修正部１３０９、配列選択部１３１０、選択部１３１１によって、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を生成する。この選択部１３１１から出力される座標値（Ｘ，Ｙ）に基づいて、撮像素子１１０から倍率色収差補正されたベイヤー配列のベイヤー配列のＲＧＢ画像データが順次読み出される。すなわち、撮像素子１１０の座標（Ｘ，Ｙ）の画素の画素値が、座標（ｘ，ｙ）の画素の画素値として読み出される。後述するように、座標（Ｘ，Ｙ）は、座標（ｘ，ｙ）とベイヤー配列色が違う場合、該座標（Ｘ，Ｙ）に最も近い距離の座標（ｘ，ｙ）と同色の座標に修正されるため、撮像素子１１０から出力されるＲＧＢ画像データのベイヤー配列は維持される。以下、図７の構成をさらに詳述する。

倍率色収差補正座標変換演算部１３０１は、座標変換先の座標値（ｘ，ｙ）を入力して、先の（１）式等の所定の座標変換式に従い、ＲＧＢに対応する座標変換元の座標値Ｘ，Ｙを計算して選択部１３０４，１３０５に送出する。座標変換係数は、あらかじめ座標変換係数テーブル１３０２に保持されている。

色判断部１３０３は、座標値（ｘ，ｙ）を入力して、ルックアップテーブル（ＬＵＴ）などにより、ベイヤー配列における着目する座標変換先の座標（ｘ，ｙ）の色に対応する色ＩＤを得る。例えば、ＬＵＴに座標値（ｘ，ｙ）をアドレスとして色ＩＤをあらかじめ記憶しておく。ここで、色ＩＤは、Ｒ＝０，Ｇ＝１，Ｂ＝２とする。

選択部１３０４，１３０５は、色判断部１３０３の色ＩＤに基づいて、倍率色収差補正座標変換演算部１３０１で計算されたＲＧＢに対応する座標変換元の座標値Ｘ，Ｙのうち、一つの色の座標値Ｘ，Ｙを選択する。ここで、座標値Ｘ，Ｙは整数とは限らない。四捨五入部１３０６，１３０７は、選択部１３０４，１３０５で選択された座標値Ｘ，Ｙを四捨五入（整数化）して、画素（ピクセル）対応の整数値の座標変換元座標値ｒＸ，ｒＹを出力する。同時に、四捨五入部１３０６，１３０７は、ＸとｒＸ、ＹとｒＹの各誤差（差）ｄＸ，ｄＹを出力する。ｄＸ，ｄＹは−０.５〜０.５の値をとる。図８に、計算で求められた座標変換元の座標値Ｘ，Ｙ、それを四捨五入した座標ｒＸ，ｒＹ、両者の誤差ｄＸ，ｄＹの関係を示す。図８でマスに囲まれた一つの正方形は各画素１ピクセルを示している。

配列判断部１３０８は、ｒＸ，ｒＹを入力して、ルックアップなどにより、ベイヤー配列における着目する座標変換元座標（ｒＸ，ｒＹ）の配列値を得る。図６のベイヤー配列における配列値の例を図９に示す。図９において、各ピクセル中にカッコで記載した数値が配列値を示す。ここでは、配列値は０〜３とするが、配列が識別できれば何でもよい。

一方、座標修正部１３０９は、ｒＸ，ｒＹ，ｄＸ，ｄＹを入力して、ｄＸとｄＹの値に応じてｒＸとｒＹを修正する。すなわち、修正後の座標変換元座標値を計算する。この座標修正部１３０９では、ベイヤー配列における同色の色の配列パターンの取り得る全ての種類について、それぞれ修正後の座標変換元座標値を計算する。

図１０に座標修正部１３０９における演算の内容を示す。図１０のマスに囲まれた１つの正方形は、図８と同様に画素（ピクセル）を示している。ベイヤー配列においては、同色の色の配列パターンは図１０の１〜５の５つに分類される。ここで、３×３の正方形の中央の正方形が、着目する修正対象の座標変換元である。図８に示したように、ｒＸとｒＹは、この中央の正方形の中心位置に対応する。座標修正部１３０９は、図１０のパターン１〜５のそれぞれについて、ｄＸとｄＹに応じてｒＸとｒＹを修正する。具体的には、座標修正部１３０９は、図１０のパターン１〜５について、その下に記載した（ａ）〜（ｅ）の内容の演算を行って、それぞれＸ１とＹ１，Ｘ２とＹ２，Ｘ３とＹ３，Ｘ４とＹ４，Ｘ５とＹ５を出力する。すなわち、修正後の座標は、図１０のパターンのそれぞれについて、網掛けの正方形のいずれかをとる。

図１０において、パターン１は座標変換先と座標変換元が同色の場合に適用される。一方、パターン２〜５は座標変換先と座標変換元が異なる色の場合に適用される。ここで、パターン１はＲＧＢいずれの場合も適用される。パターン２，３，５は座標変換元の色がＲあるいはＢの場合に適用され、パターン４は座標変換元の色がＧの場合に適用される。

配列選択部１３１０は、Ｘ１，Ｙ１，Ｘ２，Ｙ２，Ｘ３，Ｙ３，Ｘ４，Ｙ４，Ｘ５，Ｙ５を入力して、配列判断部１３０８で得られた配列値に基づいて、Ｒ，Ｇ，Ｂそれぞれの色の修正後の座標変換元座標値Ｘ，Ｙを選択する。図１１に配列値とＸ，Ｙの対応を示す。例えば、配列値が０の場合には、Ｒはパターン３のＸ３とＹ３の組をＸ，Ｙとし、Ｇはパターン１のＸ１とＹ１の組をＸ，Ｙとし、Ｂはパターン２のＸ２とＹ２の組をＸ，Ｙとする。配列値が１，２，３の場合も同様である。

選択部１３１１は、Ｒ，Ｇ，Ｂそれぞれの色のＸ，Ｙの組を入力して、色判定部１３０３で得られた色ＩＤに基づいて、座標変換先と同色のＸ，Ｙの組を選択して撮像素子１１０に送る。この結果、撮像素子１１０からは、座標（Ｘ，Ｙ）の画素の画素値が座標（ｘ，ｙ）の画素の画素値として読み出される。座標（Ｘ，Ｙ）と座標（ｘ，ｙ）とは同色に維持されるため、座標変換前と後でベイヤー配列が変化することがない。

以下に、処理の具体例として図６を例に説明する。はじめに、座標変換先の座標（ｘ，ｙ）が（０，０）、座標変換元の座標（Ｘ，Ｙ）が（１，１）の場合について説明する。この場合、色判断部１３０３は色ＩＤとしてＧ（１）を出力する。演算部１３０１は座標値（０，０）を入力として、ＲＧＢそれぞれについて（Ｘ，Ｙ）を計算し、選択部１３０４，１３０５はそのＧの（Ｘ，Ｙ）を出力する。四捨五入部１３０６，１３０７は（Ｘ，Ｙ）を四捨五入し、（ｒＸ，ｒＹ）として（１，１）を出力する。配列判断部１３０８は、図９より配列値として３を出力する。座標修正部１３０９の個々の演算は省略する。配列選択部１３１０は、図１１より、Ｒの（Ｘ，Ｙ）として（Ｘ２，Ｙ２）、Ｇの（Ｘ，Ｙ）として（Ｘ１，Ｙ１）、Ｂの（Ｘ，Ｙ）として（Ｘ３，Ｙ３）を選択する。選択部１３１１は、色ＩＤがＧ（１）ということで、Ｇの（Ｘ，Ｙ）の（Ｘ１，Ｙ１）を選択する。図１０より、（Ｘ１，Ｙ１）＝（ｒＸ，ｒＹ）であり、結局、座標変換元座標（１，１）がそのまま選択部１３１１の出力となる。撮像素子１１０からは、座標（１，１）の画素の画素値が座標（０，０）の画素の画素値として読み出される。

次に、座標変換先の座標（ｘ，ｙ）が（１，０）、座標変換元の座標（Ｘ，Ｙ）が（３，１）の場合について説明する。この場合、色判断部１３０３は色ＩＤとしてＢ（２）を出力する。演算部１３０１は座標値（１，０）を入力として、ＲＧＢそれぞれについて（Ｘ，Ｙ）を計算し、選択部１３０４，１３０５はそのＢの（Ｘ，Ｙ）を出力する。四捨五入部１３０６，１３０７は（Ｘ，Ｙ）を四捨五入し、（ｒＸ，ｒＹ）として（３，１）を出力する。また、四捨五入部１３０６，１３０７は誤差ｄＸ，ｄＹとして、ｄＸ＝０，ｄＹ＝＋０．２を出力するとする。配列判断部１３０８は、図９より配列値として同じく３を出力する。座標修正部１３０９の個々の演算は省略する。配列選択部１３１０は、図１１より、Ｒの（Ｘ，Ｙ）として（Ｘ２，Ｙ２）、Ｇの（Ｘ，Ｙ）として（Ｘ１，Ｘ１）、Ｂの（Ｘ，Ｙ）として（Ｘ３，Ｙ３）を選択し、選択部１３１１は、色ＩＤがＢ（２）ということで、Ｂの（Ｘ，Ｙ）の（Ｘ３，Ｘ３）を選択する。図１０より、（Ｘ３，Ｙ３）は、Ｘ３＝ｒＸであるが、Ｙ３は、ｄＹ＞０の時はＹ３＝ｒＹ＋１、それ以外はＹ３＝ｒＹ−１となる。ここでは、ｄＹ＝＋０.２であるため、（Ｘ３，Ｙ３）＝（ｒＸ，ｒＹ＋１）で、結局、選択部１３１１の出力は（３，２）となる。撮像素子１１０からは、座標（３，２）の画素の画素値が座標（１，０）の画素の画素値として読み出される。

図７の構成によれば、座標変換元座標の色が座標変換先座標と同色の場合は、座標変換元座標はそのままとし、違う色の場合には、該座標変換元座標を、座標変換先座標と同色で該座標変換元座標に最も近い距離の座標に修正することが可能である。その結果、ベイヤー配列のＲＧＢ画像データのまま倍率色収差補正を実施しても、変換前と後でベイヤー配列を維持することが可能になる。また、撮像素子１１０から直接、倍率色収差補正された画像データが読み出されることで、座標変換メモリは不要である。

図１２に座標変換処理部１３０の第２の実施例の全体構成図を示す。本実施例は、座標変換元の色が座標変換先座標と同色の場合は先の第１の実施例と同じであるが、違う色の場合に、該座標変換元座標近傍の座標変換先座標と同色の二つの座標を選択して、各座標の画素値から座標変換先座標の相当する画素の画素値を補間演算し、その画素値を座標変換先座標の画素値とするものである。

図１２において、倍率色収差補正座標変換演算部１３０１、色判断部１３０３、選択部１３０４，１３０５、四捨五入部１３０６，１３０７、配列判断部１３０８での処理は図７の場合とまったく同じであるので省略する。

座標修正部（Ａ）１３１２、座標修正部（Ｂ）１３１５は、図７の座標修正部１３０９と同様に、ｒＸ，ｒＹ，ｄｘ，ｄｙを入力して、ベイヤー配列における同色の配列パターンの取り得る全ての種類（パターン１〜５）について、それぞれ修正後の座標変換元座標値を計算するが、着目する修正対象の座標変換座標（ｄｘ，ｄｙ）の左右、上下、斜め等の異なる座標の座標値を計算する。同時に、座標修正部（Ｂ）１３１５では、新たにｄという値も計算する。後述するように、このｄは、２つの座標の画素の補間演算を行う際の重み付けの係数に用いられる。

図１３に座標修正部（Ａ）１３１２における演算の内容を示す。図１３のパターン１〜５の意味するところは、先の図１０と同じである。本実施形態では、座標修正部（Ａ）１３１２は、ｒＸ，ｒＹ，ｄＸ，ｄＹを入力して、図１３のパターン１〜５について、その下に記載した（ａ）〜（ｅ）の内容の演算を行って、それぞれＸ１とＹ１、Ｘ２とＹ２、Ｘ３とＹ３、Ｘ４とＹ４、Ｘ５とＹ５を出力する。ここで、パターン１では、座標変換元座標（ｒＸ，ｒＹ）（中央の座標）をそのまま（Ｘ１，Ｙ１）とする。パターン２では、座標変換元座標（ｒＸ，ｒＹ）の左隣の座標を（Ｘ２，Ｙ２）とする。パターン３では、（ｒＸ，ｒＹ）の真上の座標を（Ｘ３，Ｙ３）とする。パターン４では、パターン２と同じく（ｒＸ，ｒＹ）の左隣りの座標を（Ｘ４，Ｙ４）とする（ここでは、縦方向は無視する）。パターン５では、ｄＹに応じて（ｒＸ，ｒＹ）の左下あるいは左上の座標を（Ｘ５，Ｙ５）とする。

図１４に座標修正部（Ｂ）１３１５における演算の内容を示す。座標修正部（Ｂ）１３１５は、ｒＸ，ｒＹ，ｄＸ，ｄＹを入力して、図１４のパターン１〜５について、その下に記載した（ａ）〜（ｅ）の内容の演算を行って、それぞれＸ１とＹ１、Ｘ２とＹ２、Ｘ３とＹ３、Ｘ４とＹ４、Ｘ５とＹ５を出力する。また、この座標修正部（Ｂ）１３１２では、同時に値ｄ１，ｄ２，ｄ３，ｄ４，ｄ５も出力する。図１４において、パターン１は図１３の（ａ）と同じである。パターン２〜５が図１３の（ｂ）〜（ｅ）と異なる。すなわち、パターン２では、座標変換元座標（ｒＸ，ｒＹ）（中央の正方形）の右隣りの座標を（Ｘ２，Ｙ２）とし、同時にｄ２＝ｄＸ＋０.５を出力する。パターン３では、（ｒＸ，ｒＹ）の真下の座標を（Ｘ３，Ｙ３）とし、同時にｄ３＝ｄＹ＋０.５を出力する。パターン４では、パターン２と同じく（ｒＸ，ｒＹ）の右隣りの座標を（Ｘ４，Ｙ４）とし（縦方向は無視）、同時にｄ４＝ｄＸ＋０.５を出力する。パターン５では、ｄＹに応じて（ｒＸ，ｒＹ）の右下あるいは右上の座標を（Ｘ５，Ｙ５）とし、同時にｄ５＝ｄＸ＋０.５を出力する。後述するように、ｄ１〜ｄ５により、２つの座標の画素の補間演算を行う際、１ピクセル以下の距離に応じた重み付けが行われる。

先に述べたように、パターン１は座標変換先と座標変換元が同色の場合に適用され、パターン２〜５は座標変換先と座標変換元が異なる色の場合に適用される。パターン１はＲＧＢいずれの場合も適用される。これに対し、パターン２，３，５は座標変換元の色がＲあるいはＢの場合に適用され。パターン４に座標変換元の色がＧの場合に適用される。

配列選択部（Ａ）１３１３は、座標修正部（Ａ）１３１２から出力されるＸ１，Ｙ１，Ｘ２，Ｙ２，Ｘ３，Ｙ３，Ｘ４，Ｙ４，Ｘ５，Ｙ５を入力して、配列判断部１３０８で得られた配列値に基づいて、Ｒ，Ｇ，Ｂそれぞれの色の修正後の座標変換元座標値Ｘ，Ｙを選択する。選択部（Ａ）１３１４は、配列選択部（Ａ）１３１３から出力されるＲ，Ｇ，Ｂそれぞれの色のＸ、Ｙの組を入力して、色判断部１３０３で得られた色ＩＤに基づいて、座標変換先と同色のＸ，Ｙの組を選択してラインバッファ１３２０に送る。配列選択部（Ａ）１３１３、選択部（Ａ）１３１４の処理は図６の配列選択部１３１０、選択部１３１１と同じである。

配列選択部（Ｂ）１３１６は、座標修正部（Ｂ）１３１５から出力されるＸ１，Ｙ１，ｄ１，Ｘ２，Ｙ２，ｄ２，Ｘ３，Ｙ３，ｄ３，Ｘ４，Ｙ４，ｄ４，Ｘ５，Ｙ５，ｄ５を入力して、配列判断部１３０８で得られた配列値に基づいて、Ｒ，Ｇ，Ｂそれぞれの色の修正後の座標変換元座標値Ｘ，Ｙ、及び重み付け係数ｄを選択する。選択部（Ｂ）１３１７は、配列選択部（Ｂ）１３１６から出力されるＲ，Ｇ，Ｂそれぞれの色のＸ，Ｙ，ｄの組を入力して、色判断部１３０３で得られた色ＩＤに基づいて、座標変換先と同色のＸ，Ｙ，ｄの組を選択し、Ｘ，Ｙの組はラインバッファ１３２０に送り、重み付け係数ｄは減算器１３２１及び乗算器１３２３に送る。配列選択部（Ｂ）１３１６、選択部（Ｂ）１３１７の処理は、図７の配列選択部１３１０、選択部１３１１と同じであるが、新たに係数ｄを出力する点が異なる。

本実施形態では、撮像素子１１０は２ポートのランダムアクセスが可能な構成とする。該撮像素子１１０から、選択部（Ａ）１３１４及び選択部（Ｂ）１３１７から出力される座標値（Ｘ，Ｙ）に基づいて、二つの異なる座標（Ｘ，Ｙ）の画素の画素値が座標（ｘ，ｙ）に相当する画素の画素値として読み出される。図９、図１３、図１４より、この二つの異なる座標（Ｘ，Ｙ）と座標（ｘ，ｙ）は同色である。なお、同色パターン１の場合は、二つの座標（Ｘ，Ｙ）は同じ座標（ｒＸ，ｒＹ）となる。

減算器１３２１は、選択部（Ｂ）１３１７から座標値（Ｘ，Ｙ）とともに出力される値ｄだけ１から減算する。乗算器１３２２は、選択部（Ａ）１３１４からの座標値（Ｘ，Ｙ）に基づいてラインバッファ１３２０から読み出される座標（Ｘ，Ｙ）の画素の画素値と減算器１３２１の出力値とを乗算する。一方、乗算器１３２３は、選択部（Ｂ）１３１７からの座標値（Ｘ，Ｙ）に基づいてラインバッファ１３２０から読み出される座標（Ｘ，Ｙ）の画素の画素値と選択部（Ｂ）１３１７から座標値（Ｘ，Ｙ）とともに出力される値ｄとを乗算する。加算器１３２４は、乗算器１３２２、１３２３の出力値を加算して、座標（ｘ，ｙ）の画素の画素値とする。すなわち、加算器１３２４からは、座標変換元座標（ｒＸ，ｒＹ）近傍の二つの座標（Ｘ，Ｙ）の画素の画素値を重みつけ係数ｄに応じて重みつけを行って加算した画素値が、座標変換先座標の画素値として出力される。座標（Ｘ，Ｙ）と座標（ｘ，ｙ）とは同色に維持されるため、座標変換前と後でベイヤー配列が変化することがない。

以下に、処理の具体例として図６を例に説明する。はじめに、座標変換先の座標（ｘ，ｙ）が（０，０）座標変換元の座標（ｒＸ，ｒＹ）が（１，１）の場合について説明する。この場合、選択部（Ａ）１３１４からは（Ｘ，Ｙ）として（１，１）が出力される。また、選択部（Ｂ）１３１７からは（Ｘ，Ｙ）として同じく（１，１）が出力され、同時にｄ＝０が出力される（途中の処理は省略）。したがって、撮像素子１１０からは、同じ座標（１，１）の画素の画素値が二つ読み出される。ｄ＝０ということで、減算器１３２１の出力は１で、乗算器１３２２は座標（１，１）の画素の画素値をそのまま出力する。乗算器１３２３の出力は０である。結局、加算器１３２４からは、座標（１，１）の画素の画素値が、座標（０，０）の画素の画素値として出力される。

次に、座標変換先の座標（ｘ，ｙ）が（１，０）、座標変換元の座標（ｒＸ，ｒＹ）が（３，１）の場合について説明する。この場合、選択部（Ａ）１３１４からは（Ｘ，Ｙ）として（３，０）が出力される（途中の処理は省略）。また、選択部（Ｂ）１３１７からは（Ｘ，Ｙ）として（３，２）が出力され、同時にｄ＝０.７（ｄ３＝ｄＹ＋０.５，ｄＹ＝０.２）が出力される（途中の処理は省略）。したがって、撮像素子１１０からは、座標（３，０）の画素の画素値Ａと座標（３，２）の画素の画素値Ｂがそれぞれ読み出される。ｄ＝０.７ということで、減算器１３２１の出力は０.３である。乗算器１３２２の出力は０.３×Ａ、乗算器１３２３の出力は０.７×Ｂとなる。加算器１３２４は、この乗算器１３２２，１３２３の出力を加算した値を出力する。こうして、加算器１３２４からは、二つの座標の画素の画素値を重み付け係数ｄに応じて重み付けを行って加算した画素値が、座標（ｘ，ｙ）の画素の画素値として出力される。

図１２の構成によれば、撮像素子１１０は２ポートのランダムアクセス可能な構成とする必要があるが、座標変換元の座標の色が座標変換先座標と違う色の場合に、該座標変換元座標近傍の座標変換先座標と同色の二つの座標の画素値から座標変換先座標に相当する画素の画素値を補間演算することで、座標変換先座標の画質を向上することが可能である。もちろん、変換前と後でベイヤー配列は維持される。

なお、図１２の構成を拡張して、座標変換元座標近傍の座標変換先座標と同色の３つ以上の座標の画素値から座標変換先座標に相当する画素の画素値を補間演算してもよく（例えば、４点の画素の画素値を補間演算する）、この場合、座標変換先の画素の画質がさらに向上する。

これは、先の第２の実施例と基本的に同じであるが、座標変換元座標の色が座標変換先座標と違う色の場合に、該座標変換元座標近傍の座標変換先座標と同色の二つの座標として、撮像素子１１０の読み出し方向と同方向（ｘ）の二つの座標に統一するものである。倍率色収差補正部１３０の全体構成は図１２と同じであるので省略する。先の第２の実施例とは、座標修正部（Ａ）１３１２と座標修正部（Ｂ）１３１５の演算の内容が一部相違するだけである。

図１５に座標修正部（Ａ）１３１２の演算の内容を示し、図１６に座標修正部１３１５の演算の内容を示す。先の図１２、図１３との相違はパターン３の場合だけである。すなわち、パターン１，２，４，５の場合は、図１２，図１３においても、撮像素子１１０の読み出し方向と同方向（ｘ）の二つの座標（パターン１では同じ座標）の組みが選択される。パターン３の場合、図１２，図１３では、ｙ方向の二つの座標の組を選択していた。これに対し、本実施例では、図１５、図１６に示すように、パターン３の場合、二つの座標の組として、座標変換元座標の上か下のいずれか一方の同じ座標を選択するようにする。また、重み付け係数ｄ３は０とする。したがって、補間演算はパターン１の場合と同じである。これにより、パターン１〜５のいずれの場合にも撮像素子１１０の読み出し方向と同方向（ｘ）の二つの座標の組を選択することができる。

なお、撮像素子１１０の読み出し方向がｙ方向の場合には、座標修正部（Ａ）１３１２、座標修正部１３１５の演算の内容を変更することで、ｙ方向の二つの座標の組を選択することができる。

本実施例によれば、撮像素子におけるバーストリードがやりやすくなり、ランダムアクセスを減らすことが可能になる。したがって、低コストの低速なＣＭＯＳ等が使用できる。

なお、図２において、座標変換処理部１２０は、倍率色収差と歪曲収差を一緒に補正する構成とすることでもよい。これにより、歪曲収差補正部１６０が省略でき、歪曲収差補正用の座標変換メモリも必要なくなる。倍率色収差と歪曲収差を一緒に補正する構成は、図７や図１２などと基本的に同じであり、倍率色収差補正座標変換演算部１３０１を倍率色収差及び歪曲収差補正座標変換演算部とすればよい。該演算部では、座標変換先の座標値（ｘ，ｙ）を入力して、所定の座標変換式により、ＲＧＢ対応に、座標変換元の座標値Ｘ，Ｙとして、倍率色収差に歪曲収差を加えた座標値を計算して出力する。これ以降の処理は、これまで説明した実施例１，２，３と基本的に同じである。

本発明による画像撮像装置の基本構成図。 本発明による画像撮像装置の一実施形態の全体ブロック図。 ベイヤー配列カラーフィルタを示す図。 ＭＴＦ補正部の一実施例の構成図。 ＦＩＲフィルタの一例を示す図。 本発明の倍率色収差補正の原理を説明する図。 図２における座標変換処理部の第１の実施例の全体構成図。 座標変換元の座標、四捨五入した座標、誤差量の関係を示す図。 図７の配列判断部での処理を説明する図。 図７の座標修正部の演算内容を示す図。 図７の配列選択部での処理を示す図。 図２における座標変換処理部の第２の実施例の全体構成図。 図１２の座標修正部（Ａ）の演算内容を示す図。 図１２の座標修正部（Ｂ）の演算内容を示す図。 座標変換処理部の第３の実施例における座標修正部（Ａ）の演算内容を示す図。 倍率色収差補正部の第３の実施例における座標修正部（Ｂ）の演算内容を示す図。 従来の画像撮像装置の構成図。

符号の説明

１０ 光学系
１００ 制御部
１１０ 撮像素子
１２０ カウンタ
１３０ 座標変換処理部（座標変換手段）
１４０ Ａ／Ｄ変換器
１５０ ベイヤー補完部
１６０ ＭＴＦ補正部
１７０ 歪曲収差補正部
１８０ ガンマ補正部

Claims (7)

1. 光学系による光学像を電気信号としての画像データに変換する所定のカラー配列の色フィルタを備えた撮像素子と、前記撮像素子の本来の座標値（ｘ，ｙ）をそれと異なる座標値（Ｘ，Ｙ）に、前記座標値（ｘ，ｙ）に対応する前記色フィルタの色を考慮し前記カラー配列の状態で座標変換する座標変換手段とを有し、
   前記撮像素子は、前記座標値（ｘ，ｙ）を座標変換先、前記座標値（Ｘ，Ｙ）を座標変換元として、座標値（Ｘ，Ｙ）の画素の画素値を座標値（ｘ，ｙ）の画素の画素値として読み出す画像撮像装置であって、
   前記座標変換手段は、前記撮像素子が、座標変換元のカラー配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値として読出し、座標変換元のカラー配列の色が座標変換先と異なる色の場合には、座標変換元近傍の座標変換先と同色の２つの座標の画素の画素値を読み出すように座標変換し、
   前記撮像素子から読み出された前記座標変換元近傍の座標変換先と同色の２つの座標の画素の画素値について、その各画素値から座標変換先に相当する画素の画素値を補間処理し、得られた画素値を座標変換先の画素の画素値とする補正手段を有する、
   ことを特徴する画像撮像装置。
2. 前記座標変換元近傍の座標変換先と同色の２つの座標は、撮像素子の読み出し方向と同方向の座標とすることを特徴する請求項１記載の画像撮像装置。
3. 前記撮像素子は、ランダムアクセス機構を備えることを特徴とする請求項１又は２記載の画像撮像装置。
4. 前記座標変換手段は、前記撮像素子に内蔵されていることを特徴する請求項１乃至３のいずれか１項に記載の画像撮像装置。
5. 前記座標変換手段は、倍率色収差と歪曲収差のいずれか一方あるいは両方を補正するために座標変換することを特徴とする請求項１乃至４のいずれか１項に記載の画像撮像装置。
6. 座標変換されたカラー配列の画像データについて、該カラー配列による画素欠陥を補完する補完手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像撮像装置。
7. 前記補完手段の後段に、前記座標変換手段によって座標変換されて倍率色収差補正された画像データのカラーフィルタ配列による画素欠陥を補完処理した画像データについて歪曲収差を補正する歪曲収差補正手段をさらに有することを特徴とする請求項６記載の画像撮像装置。

Images