JP5732886B2 - 撮像装置及び画像補正方法 - Google Patents

Description

本発明は、カメラなどの撮像装置における画像補正方法及び撮像装置に関する。

デジタルカメラなどの撮像装置においては、レンズから入光する被写体の光学画像を、ＣＣＤなどの撮像素子により光電変換することにより、被写体の画像データを取得している。
かかる撮像装置においては、レンズを含む光学系と、撮像素子との間の相対的な位置ズレや、回転ズレがあると、正確な画像データを取得することが出来ない。
従って、精度の高い画像データを得るためには、これらのズレを補正する必要がある。また、レンズの特性によって画像に歪みが生じることがあり、これもまた補正を行う必要がある。
これらのズレや歪みが正しく補正されていないと、取得される画像の精度を著しく低下させてしまい、特に、２系統の光学系によってステレオ画像を取得するステレオカメラなどでは、取得された画像間の測距精度を著しく低下させてしまう恐れがある。

これらのズレや歪みを、特許文献１に記載されているようなルックアップテーブル／ＬＵＴ（Look Up Table）を用いて撮像装置内の画像処理部によって補正する技術が既に知られている。
これらの補正処理は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの比較的高速なハードウェアによって実現されている。
上記のＬＵＴは、予め行われるキャリブレーション作業によって求めた入力画像データと出力画像データとの位置関係を示したテーブルであり、例えば既知の画像を撮像装置で撮影し、レンズの特性や、レンズと撮像素子との間の位置ズレや、回転ズレを含んだ、実画像の各画素に対する理想画像の各画素の対応関係を表している。

図７は、従来の撮像装置における画像補正に係るハードウェアの構成を説明する図である。
入射光は、レンズを含む光学系２００を通してイメージセンサ２０１に集光され、ディジタル画像信号に変換される。なお、イメージセンサ２０１は、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。イメージセンサ２０１によって取り込まれたディジタル画像データは、ＦＰＧＡ２０３等のハードウェアに入力され、ズレや歪みの補正を含む各種画像処理を施されて出力される。
ここでは画像処理ブロックとしてＦＰＧＡを例としているが、上記のＡＳＩＣやＤＳＰ等によって実現される構成でも構わない。
画像処理ブロックとしてＦＰＧＡを用いる場合、通常ＲＯＭ（Read Only Memory）２０４等の不揮発性メモリにコンフィグレーションデータを格納しており、ＦＰＧＡ２０３に電源を供給し始めてすぐに、コンフィギュレーションと呼ばれる動作が実行されることによって、内部回路を構成する（ＦＰＧＡは、製造後に内部の論理回路を再構成可能なプログラマブルな集積回路である）。
また、ＦＰＧＡ２０３により構成される回路には、イメージセンサ２０１と、レンズを含む光学系２００との相対的な位置ズレや、回転ズレを補正（以後、歪み補正処理と称する）する補正処理ブロックが含まれている。

図７は、ＬＵＴ（Look Up Table）を用いることによって歪み補正処理を実行する例を示しており、ＬＵＴデータは前述のＲＯＭ２０４に、上述のコンフィグレーションデータと共に格納されている。
補正処理ブロックを有するＦＰＧＡ２０３は、イメージセンサ２０１から画像データと共に入力される垂直同期信号及び水平同期信号と、ＬＵＴデータを使用することによって、入力画像データに対して歪み補正処理を行う。
ここで行われる歪み補正処理は、イメージセンサ２０１から入力される各画素に対してＬＵＴを参照して補正を行うことになるため、ＲＡＭなどの高速にアクセスが可能なメモリに格納しておく必要がある。

例えば、７５２画素×４８０ラインのＷＶＧＡイメージセンサの場合には、水平方向のブランキングを１００ピクセルクロック、垂直方向のブランキングを４０ライン、フレームレートを６０ＦＰＳとすると、（７５２＋１００）＊（４８０＋４０）＊６０≒２６．６ＭＨｚのピクセルクロック周波数となり、それと同じ速度でＬＵＴを参照しなければならない。
従って、ＲＯＭ２０４に格納されていたＬＵＴデータは、電源投入後に一旦ＲＡＭ（Random Access Memory）２０５にコピーされ、歪み補正処理時にはＲＡＭ２０５に格納されたＬＵＴを参照することで、高速に歪み補正処理を実行することができる。
なお、ＲＡＭ２０５としては、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）などが例として挙げられる。

以上のように、ＦＰＧＡ２０３内部ではＬＵＴを用いて入力画像データに対して歪み補正処理が施され、補正後画像データが出力される。
ＦＰＧＡ２０３から出力された補正後画像データは、図示しない後段の処理ブロックを介する等して、撮像装置外部に出力される。
例えば、ＤＡＣ（Digital to Analog Converter）によってアナログ映像信号に変換してディスプレイ装置に出力される、或いはディジタル信号として認識処理装置などに出力され認識処理を施す、などである。
しかしながら、上記のようにＬＵＴを用いる補正技術では、補正処理時に高速にＬＵＴを参照するため、ＬＵＴを格納しておく高速アクセス可能なメモリ（例えばＳＲＡＭ）が必要であり、コストが高くなるという問題があった。

ＬＵＴを用いる補正技術の他に、補正式を用いる方法があるが、この補正式を用いる補正技術では、ＦＰＧＡなどのハードウェアが補正式を回路情報として予め備えておく必要があった。
補正式は、それぞれの撮像装置個体によって異なるため、例えばＦＰＧＡを用いる場合には、それぞれのカメラに対応したＦＰＧＡ内部回路を生成する必要があり、その作業自体が増えるということや、ＦＰＧＡ内部回路を生成するのに時間がかかるなどの問題があった。
それに対し、特許文献１には、複数画素を複数理想位置に対応付ける歪み情報を作成し、複数画素を複数差分に対応付けるルックアップテーブルを歪み情報に基づいて作成することにより、ルックアップテーブルの情報量を小さくする技術が開示されている。

しかしながら、特許文献１に開示の技術でもルックアップテーブルを使用していることには変わりなく、ルックアップテーブルを使用した歪み補正を行うためにＲＡＭが必要という問題は解消できていない。
そこで、本発明は、歪み補正を行う際にＬＵＴを使用しないことで、ＳＲＡＭ等の高速かつ高コストなメモリを必要とせず、撮像素子と、光学系との相対的な位置ズレや回転ズレを低コストに補正可能な歪み補正方法、及び撮像装置を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、被写体からの光が入射する光学系と、前記光学系に入射した光を光電変換して前記被写体の画像データを取得する撮像部と、前記撮像部により取得された前記画像データを処理する画像処理部と、書き換え可能な不揮発性メモリと、を備える撮像装置において、前記画像処理部は、個別の撮像装置ごとの前記撮像部と前記光学系との位置ズレ及び／又は回転ズレに起因する前記画像データの画像歪みを補正するための、所定の近似多項式に基づいて構成された画像補正部を備え、前記不揮発性メモリは、前記画像補正部によって実行される補正動作を制御するための処理パラメータとして、校正により特定した個別の撮像装置ごとの前記画像歪みに対応した前記近似多項式の係数を格納しており、前記画像補正部は、前記不揮発性メモリから読出した前記処理パラメータを適用した前記近似多項式に基づいて、個別の撮像装置ごとの前記撮像部と前記光学系との位置ズレ及び／又は回転ズレに起因する前記画像データの画像歪みを補正する撮像装置を特徴とする。
本発明によれば、撮像部と、光学系との相対的な位置ズレや回転ズレを低コストに補正可能な歪み撮像装置とすることが出来る。
また、請求項２の発明は、前記画像補正部は、プログラム可能な集積回路よりなり、前記不揮発性メモリは、前記集積回路に内部回路を生成するための設定情報及び前記処理パラメータを保持する請求項１に記載の撮像装置を特徴とする。

また、請求項３の発明は、被写体からの光が入射する光学系と、前記光学系に入射した光を光電変換して前記被写体の画像データを取得する撮像部と、前記撮像部により取得された前記画像データを処理する画像処理部と、前記画像データが持つ画像歪みを補正するために、所定の近似多項式に基づいて前記画像データを補正する画像補正部と、書き換え可能な不揮発性メモリと、を備える撮像装置における画像補正方法であって、前記画像補正部によって実行される補正動作を制御するための処理パラメータとして、校正により特定した個別の撮像装置ごとの前記画像歪みに対応した前記近似多項式の係数を前記不揮発性メモリに格納する工程と、前記不揮発性メモリから読出した前記処理パラメータを適用した前記近似多項式に基づいて、個別の撮像装置ごとの前記撮像部と前記光学系との位置ズレ及び／又は回転ズレに起因する前記画像データの画像歪みを補正する工程と、を含む画像補正方法を特徴とする。
本発明によれば、撮像部と、光学系との相対的な位置ズレや回転ズレを低コストに補正することが出来る。

以上のように構成したので、本発明によれば、ＳＲＡＭなどのメモリを使用せずに、撮像素子と光学系との相対的な位置ズレや回転ズレを低コストに補正することができる。

本発明の一実施形態に係るデジタルカメラの外観図。 本発明の一実施形態に係るデジタルカメラのブロック図。 本発明の撮像装置における、画像補正（歪み補正）処理にかかるハードウェア構成を示す図。 画像処理部（ＦＰＧＡ）内の機能ブロックを示す図。 ＲＯＭのメモリマップを示す図。 本発明の撮像装置における画像の歪み補正処理の一例を説明するフローチャート。 従来の撮像装置における画像補正に係るハードウェアの構成を説明する図。

図１は本発明の一実施形態に係るデジタルカメラ（撮像装置）の外観図である。

図１（ａ）はカメラ上面図、図１（ｂ）はカメラ正面図、図１（ｃ）はカメラ裏面図である。同じ構成要素には同じ参照番号が付されている。
このデジタルカメラは、被写体を撮影するレリーズシャタＳＷ１と、各撮影モードを指示するモードダイアルＳＷ２と、フィルム枚数等を表示するサブＬＣＤ１と、メモリカード或いは電池を交換するときに開閉するカード／電池蓋２と、被写体を照射するストロボ発光部３と、被写体を覗いてカメラアングルを決定する光学ファインダ４と、被写体の距離を測定する測距ユニット５と、リモコンからの信号を受光するリモコン受光部６と、レンズ群を収納する鏡胴ユニット７と、オートフォーカスが動作中に点灯するＡＦＬＥＤ８と、ストロボが充電中に点灯するストロボＬＥＤ９と、撮影画像を表示するＬＣＤモニタ１０と、電池電源をＯＮ・ＯＦＦする電源ＳＷ１３と、ＺＯＯＭ・ＳＷ（ＷＩＤＥ）ＳＷ３と、ＺＯＯＭ・ＳＷ（ＴＥＬＥ）ＳＷ４と、セルフタイマ／削除ＳＷ・ＳＷ５と、ＭＥＮＵ・ＳＷ・ＳＷ６と、上／ストロボＳＷ・ＳＷ７と、右ＳＷ・ＳＷ８と、ＤＩＳＰＬＡＹ・ＳＷ・ＳＷ９と、下／マクロＳＷ・ＳＷ０１と、左／画像確認ＳＷ・ＳＷ１１と、ＯＫ・ＳＷ・ＳＷ１２とを備えて構成される。

図２は本発明の一実施形態に係るデジタルカメラのブロック図である。このデジタルカメラ１００は、被写体の光学画像を取り込むズームレンズ１５−１ａ、ズーム駆動モータ７−１ｂからなるズーム光学系７−１、フォーカスレンズ１５−２ａ、フォーカス駆動モータ７−２ｂからなるフォーカス光学系７−２、絞り７−３ａ、絞りモータ７−３ｂからなる絞りユニット７−３、メカシャッタ７−４ａ、メカシャッタモータ７−４ｂからなるメカシャッタユニット７−４、各モータを駆動するモータドライバ７−５を有する鏡胴ユニット７と、リモコン受光部６入力や操作部ＫｅｙユニットＳＷ１〜ＳＷ１３の操作入力に基づく、後述するデジタルスチルカメラプロセッサ１０４内にあるＣＰＵブロック１０４−３からの駆動指令により駆動制御されるモータドライバ７−５と、ＣＰＵブロック１０４−３にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されているＲＯＭ１０８と、このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、そのプログラムに従って装置各部の動作を制御するＣＰＵブロック１０４−３と、制御に必要なデータ等を一時的に保存するＲＡＭ１０７、Ｌｏｃａｌ ＳＲＡＭ１０４−４と、光学画像を光電変換するための固体撮像素子であるＣＣＤ１０１と、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２−１、利得調整を行うＡＧＣ１０２−２、ディジタル信号変換を行うＡ／Ｄ１０２−３、ＣＣＤ１制御ブロック１０４−１より、垂直同期信号（以下、ＶＤと記す）、水平同期信号（以下、ＨＤと記す）を供給されるＦ／Ｅフロントエンド−ＩＣ１０２と、ＣＰＵブロック１０４−３によって制御されるＣＣＤ１０１、及びＦ／Ｅ−ＩＣ１０２の駆動タイミング信号を発生するＴＧ１０２−４と、ＣＣＤ１０１よりＦ／Ｅ―ＩＣ１０２の出力データにホワイトバランス設定やガンマ設定を行い、また前述したように、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１制御ブロック１０４−１、フィルタリング処理により、輝度データ・色差データへの変換を行うＣＣＤ２制御ブロック１０４−２、前述した装置各部の動作を制御するＣＰＵブロック１０４−３、前述した制御に必要なデータ等を、一時的に保存するＬｏｃａｌ ＳＲＡＭ１０４−４、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック１０４−５、パソコンなどの外部機器とシリアル通信を行うシリアルブロック１０４−６、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧ ＣＯＤＥＣブロック１０４−７、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック１０４−８、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック１０４−９、撮影された画像データを記録するメモリカードの制御を行うメモリカードブロック１０４−１０と、本発明において特徴的な画像補正部（ブロック）を有する画像処理ブロック１３０と、を有するデジタルスチルカメラプロセッサ１０４と、前述したデジタルスチルカメラプロセッサ１０４で画像データに各種処理を施す際に、画像データを一時的に保存するＳＤＲＡＭ１０３と、着脱可能なメモリカードまたは通信カード装着するためのスロットルであるカードスロット１２１と、前述したカードスロット１２１にメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである内蔵メモリ１２０と、後述するＬＣＤモニタ１０に駆動するドライブ回路であり、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能も有しているＬＣＤドライバ１１７と、撮影前に被写体の状態を監視したり、撮影した画像を確認したり、メモリカードや前述した内蔵メモリ１２０に記録した画像データを表示するなどを行うためのモニタであるＬＣＤモニタ１０と、ＴＶ信号表示ブロック１０４−９から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであるビデオＡＭＰ１１８と、ＴＶなどの外部表示機器と接続するためのジャックであるビデオジャック１１９と、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタであるＵＳＢコネクタ１２２と、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック１０４−６の出力信号を電圧変換するための回路であるシリアルドライバ回路１２３−１と、パソコンなどの外部機器とシリアル接続を行う為のコネクタであるＲＳ−２３２Ｃコネクタと、ＲＯＭ・ＲＡＭをワンチップに内蔵したＣＰＵであり、操作ＫｅｙユニットＳＷ１〜１３やリモコン受光部６の出力信号をユーザーの操作情報として、前述したＣＰＵブロック１０４−３に出力したり、前述したＣＰＵブロック１０４−３より出力されるカメラの状態を、後述するサブＬＣＤ１、ＡＦ ＬＥＤ８、ストロボＬＥＤ９、ブザー１１３の制御信号に変換して出力するＳＵＢ−ＣＰＵ１０９と、例えば、撮影可能枚数など表示するための表示部であるサブＬＣＤ１と、前述したＳＵＢ−ＣＰＵ１０９の出力信号より、前述したサブＬＣＤ１を駆動するためのドライブ回路であるＬＣＤドライバ１１１と、撮影時の合焦状態を表示するためのＬＥＤであるＡＦ ＬＥＤ８と、ストロボ充電状態を表すためのＬＥＤであるストロボＬＥＤ９と、ユーザーが操作するＫｅｙ回路である操作ＫｅｙユニットＳＷ１〜１３と、ユーザーが操作したリモコン送信機の信号の受信部であるリモコン受光部６と、ユーザーが音声信号を入力するマイク１１５−３、入力された音声信号を増幅するマイクＡＭＰ１１５−２、増幅された音声信号を記録する音声記録回路１１５―３からなる音声記録ユニット１１５と、記録された音声信号をスピーカーから出力できる信号に変換する音声再生回路１１６−１、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰ１１６−２、音声信号を出力するスピーカー１１６−３からなる音声再生ユニット１１６と、を備えて構成される。

図３は、本発明の撮像装置における、画像補正（歪み補正）処理にかかるハードウェア構成を示す図である。
図３に示すように、本発明の撮像装置は、被写体の光学画像が入射するレンズ１５を含む光学系と、レンズ１５に入射した光を電子的な情報に変換（光電変換）して画像データとするＣＣＤなどのイメージセンサ１８（図２のＣＣＤ１０１に相当）と、イメージセンサ１８から入力される画像データに対し、歪み補正を含む画像処理を施す画像処理部としてのＦＰＧＡ２０（図２の画像処理ブロック１３０に相当）と、ＦＰＧＡ２０に供給するコンフィグレーションデータ、処理パラメータを格納したＲＯＭ３０（図２のＲＡＭ１０８に相当）と、を備えている。
図３から分かるように、本発明の撮像装置においては、図７に示したＬＵＴを用いて歪み補正を行う従来の構成とは異なり、歪み補正に際してＲＡＭを使用しない構成となっている。
本発明における歪み補正処理は、ＬＵＴによる歪み補正処理の代わりに、歪み補正式を用いた方式を使用している。

歪みの発生は、不規則であり、多くのパターンがあるが、最も一般的現れる歪みは、光学レンズの対称性に起因する放射状に対称の歪みである。
放射歪みは、通常、主に２類型（糸巻型歪曲、たる型歪曲）に分類可能である。
これらの歪みパターンは、歪みモデルに基づく幾何学変換により補正が可能である。
例えば、２次元光学系のための歪み補正モデル関数（歪み補正式）は、例えば、下式（１）に示すような多項式関数によって表現される。
（式１）

但し、式（１）において、（ｘ，ｙ）は、処理される画像信号の座標であり、Ｄ_x（ｘ，ｙ）は、ｘ、ｙそれぞれの座標系の多項幾何学（座標）変換式であり、ｃ_pq、ｄ_pq、は、多項式関数の係数であり、Ｎ_x、Ｎ_yは、多項式の次数であり、ｐ及びｑは多項式関数の項である。

多項式の係数は予め、行われる公知のキャリブレーション操作によって求められており、個々の撮像装置の歪み補正式は、その多項式関数における係数が異なっている。
なお、多項式関数は、例えば以下のような前方差分演算子を用いて計算出来る。

但し、この前方差分演算子において、ｆⁿは、ｎ^th点における関数ｆの値であり、Δｆⁿは、ｎ^th点における、関数の一次前方差分であり、Δ^kｆ_nは、ｎ^th点における関数のｋ次前方差分である。

図４は、画像処理部（ＦＰＧＡ）内の機能ブロックを示す図である。また、図５は、ＲＯＭのメモリマップを示す図である。
図４に示すように、画像処理部としてのＦＰＧＡ２０は、イメージセンサ１８から入力される画像データに対し歪み補正を行う歪み補正部２１と、ＲＯＭ３０に格納される処理パラメータ３２（図５）をメモリＩ／Ｆ２４を介して取得して歪み補正部２１に対してパラメータを設定するパラメータ設定部２２と、ＲＯＭ３０に格納されるコンフィグレーションデータ３１（図５）により、ＦＰＧＡの内部回路の生成を行うコンフィグレーション部２３と、を備えている。
従来の方式と同様に、レンズ１５を含む光学系を介して撮像素子２０１に集光された入射光は、撮像素子（イメージセンサ）においてディジタル画像信号に変換されＦＰＧＡ２０に入力される。
ＦＰＧＡ２０は、ＲＯＭ３０からコンフィグレーションデータ３１を読み込むことに内部回路を構成し、動作を開始する。
ＲＯＭ３０は、例えばＳＰＩ（Serial Peripheral Interface）プロトコルに準拠したフラッシュメモリや、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）など、電気的に書き換え可能なメモリである。

上述のように、ＲＯＭ３０にはＦＰＧＡ２０のコンフィグレーションデータの他、歪み補正に使用される処理パラメータ３２が格納されており、この処理パラメータ３２は、ＦＰＧＡ２０内の歪み補正処理を表す上記式（１）における歪み補正式の係数に関連するパラメータである。
ＦＰＧＡコンフィギュレーションが終了した後、パラメータ設定部２２はメモリＩ／Ｆ２４を介してＲＯＭ３０に格納されている処理パラメータ３２を読み込む。
読み込まれた処理パラメータ３２は、歪み補正部２１内の歪み補正式の係数に関連するパラメータに設定される。
パラメータは、実際にはＦＰＧＡのコントローラに設定するパラメータである。
なお、設定される処理パラメータの実体は、ＦＰＧＡ内の内部レジスタや内部メモリなどの記憶部などに記憶される。
すなわち、この処理パラメータが設定されることにより、それぞれの撮像装置における歪み補正式が出来上がることになる。
歪み補正式の処理パラメータ３２が設定されたら、イメージセンサ１８から入力された画像データに対して歪み補正式を用いた歪み補正処理が施され、歪み補正後画像データがＦＰＧＡ２０から出力される。

このようにして、歪み補正式の係数パラメータをＲＯＭ３０に格納しておき、それを読み込むことによって各カメラにおける歪み補正式を生成することで、従来の方式のようにＬＵＴを用いた方式に比べて、ＲＡＭを使用する必要がなく、安価に歪み補正処理を実現することができる。
また、歪み補正式の係数に関わるパラメータのみをＦＰＧＡ起動後に設定できるので、ＲＯＭ３０に格納された処理パラメータのみを書き替えることで、それぞれのカメラに対応した歪み補正式を生成することができる。
また、上述ではＦＰＧＡ２０を用いた方式で説明したが、上述のＡＳＩＣやＤＳＰなどで実現しても構わない。
ＦＰＧＡは内部回路を再構成可能なデバイスであるが、ＡＳＩＣは再構成が不可能である。そのため、一旦ＡＳＩＣ内の歪み補正式が回路に組み込まれてしまうと、その歪み補正式は変更することはできない。つまり、個々のカメラに特有の歪み補正式に関わるパラメータを変更できない。
本発明を、ＡＳＩＣを用いた構成に適用した場合、ＲＯＭ内の処理パラメータのみ書き替えれば良いため、ＦＰＧＡを用いる場合に対して、その効果は高い。

図６は、本発明の撮像装置における画像の歪み補正処理の一例を説明するフローチャートである。
まず、コンフィグレーション部２３が、ＲＯＭ３０に格納されるコンフィグレーションデータ３１により、ＦＰＧＡのコンフィグレーション（内部回路の生成）を行う（ステップＳ１０１）。
次に、パラメータ設定部２２が、ＲＯＭ３０に格納される処理パラメータ３２を読み込み（ステップＳ１０２）、歪み補正部２１に処理パラメータ３２を設定する（ステップＳ１０３）。
処理パラメータの設定が完了すると（ステップＳ１０４でＹｅｓ）、歪み補正部２１は、設定された処理パラメータに従って、入力画像データの補正を開始する（ステップＳ１０５）。

このように、撮像素子１０１と、レンズを含む光学系との相対的な位置ズレや回転ズレを、ＬＵＴを用いる方式を採用しないことにより、ＳＲＡＭなどの高速アクセスメモリを使用する必要がなく、コスト高の原因となる高速アクセスメモリを撮像装置から排除または、少なくとも容量を削減することで、コストを削減することが出来る。
また、画像補正に用いる補正式に設定する係数パラメータをＲＯＭ等の不揮発性メモリに格納しておき、それを読み込むことで、それぞれの撮像装置に対応した回路を生成せずに、それぞれの撮像装置特有の補正式を実現することが出来る。
従って、それぞれのカメラ固体に応じて回路生成する手間を削減することができる。
また、ＦＰＧＡの内部回路を生成するのに時間がかからないようにすることが出来る。

１５ レンズ、２０ ＦＰＧＡ、２１ 補正部、２２ パラメータ設定部、２３ コンフィグレーション部、２４ メモリＩ／Ｆ、３０ ＲＯＭ、３１ コンフィグレーションデータ、３２ 処理パラメータ

特開２００９−１９３５４２公報

Claims (3)

1. 被写体からの光が入射する光学系と、
   前記光学系に入射した光を光電変換して前記被写体の画像データを取得する撮像部と、
   前記撮像部により取得された前記画像データを処理する画像処理部と、
   書き換え可能な不揮発性メモリと、を備える撮像装置において、
   前記画像処理部は、個別の撮像装置ごとの前記撮像部と前記光学系との位置ズレ及び／又は回転ズレに起因する前記画像データの画像歪みを補正するための、所定の近似多項式に基づいて構成された画像補正部を備え、
   前記不揮発性メモリは、前記画像補正部によって実行される補正動作を制御するための処理パラメータとして、校正により特定した個別の撮像装置ごとの前記画像歪みに対応した前記近似多項式の係数を格納しており、
   前記画像補正部は、前記不揮発性メモリから読出した前記処理パラメータを適用した前記近似多項式に基づいて、個別の撮像装置ごとの前記撮像部と前記光学系との位置ズレ及び／又は回転ズレに起因する前記画像データの画像歪みを補正することを特徴とする撮像装置。
2. 前記画像補正部は、プログラム可能な集積回路よりなり、前記不揮発性メモリは、前記集積回路に内部回路を生成するための設定情報及び前記処理パラメータを保持することを特徴とする請求項１に記載の撮像装置。
3. 被写体からの光が入射する光学系と、前記光学系に入射した光を光電変換して前記被写体の画像データを取得する撮像部と、前記撮像部により取得された前記画像データを処理する画像処理部と、前記画像データが持つ画像歪みを補正するために、所定の近似多項式に基づいて前記画像データを補正する画像補正部と、書き換え可能な不揮発性メモリと、を備える撮像装置における画像補正方法であって、
   前記画像補正部によって実行される補正動作を制御するための処理パラメータとして、校正により特定した個別の撮像装置ごとの前記画像歪みに対応した前記近似多項式の係数を前記不揮発性メモリに格納する工程と、
   前記不揮発性メモリから読出した前記処理パラメータを適用した前記近似多項式に基づいて、個別の撮像装置ごとの前記撮像部と前記光学系との位置ズレ及び／又は回転ズレに起因する前記画像データの画像歪みを補正する工程と、
   を含むことを特徴とする画像補正方法。

Images