JP6375131B2 - 撮像装置、画像処理方法及び制御プログラム - Google Patents

Description

本発明は、デジタルスチルカメラ、ビデオカメラ等の撮像装置に関する。

昨今の撮像装置では、違和感のない動画像や静止画像を得るため、撮像素子からの画像に対して様々な幾何的な変形を行って出力することが一般的になっている。例えば、レンズの光学的な歪を画像処理によって補正するため、式による変形を行う、手ぶれにより画像位置がずれてしまうのを補正するため、平行移動や回転を行う等の処理を施している。

また、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子を用いている場合には、フォーカルプレーン現象による画像の歪（以下、ＦＰ歪と記載）を生じる場合がある。ＦＰ歪を原因とした画像の違和感は少なくないことから、一部の撮像装置では、撮像された画像を変形することにより補正を行っているものもある。例えば、特許文献１に開示されている撮像装置では、撮像素子により取得した画像に対し、手ぶれによるＦＰ歪を補正するとともに、レンズによる収差の補正を行っている。

特許第４３１０６４５号

上記特許文献１に開示されている手法では、収差や手ぶれによるＦＰ歪を厳密に取り除くことはできない。
本発明は、撮像装置において、収差や手ぶれによるＦＰ歪を厳密に画像から取り除くことを可能とする技術を提供することを目的とする。

本発明の一態様に係る撮像装置によれば、光学系により形成された被写体像から画像データを生成する撮像装置であって、フォーカルプレーン蓄積を行う撮像素子と、前記撮像装置に加わったぶれ量を出力する検出部と、前記光学系の収差により前記画像データに生じる第１の画像歪を補正するための第１の補正量を取得する第１の歪補正量取得部と、前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第２の画像歪を補正するための第２の補正量を取得する第２の歪補正量取得部と、前記第１及び第２の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換部と、を有し、前記座標変換部は、処理対象の座標値を前記第１の補正量に基づき変換する第１の変換動作と、この第１変換動作により変換された座標値を前記第２の補正量に基づき変換する第２の変換動作と、を実行可能に構成されており、かつ、前記第１及び第２の変換動作を１回以上繰り返し実行した後、最後に第１の変換動作によって前記第１の補正量に基づく変換処理を実行し、これを補正された座標値とすることを特徴とする。

また、本発明の一態様に係る画像処理方法によれば、フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する画像処理方法であって、前記被写体像を形成する光学系の収差により前記画像データに生じる第１の画像歪を補正するため、第１の補正量を取得する第１の歪補正量取得ステップと、前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第２の画像歪を補正するための第２の補正量を取得する第２の歪補正量取得ステップと、前記第１及び第２の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、を有し、前記座標変換ステップは、処理対象の座標値を前記第１の補正量に基づき変換する第１の変換ステップと、この第１の変換ステップにより変換された座標値を前記第２の補正量に基づき変換する第２の変換ステップと、を有しており、かつ、前記第１及び第２の変換ステップを１回以上繰り返し実行した後、最後に第１の変換ステップによって前記第１の補正量に基づく変換処理を実行し、これを補正された座標値とすることを特徴とする。

また、本発明の一態様に係る撮像装置の制御プログラムによれば、フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する撮像装置の制御プログラムであって、前記被写体像を形成する光学系の収差により前記画像データに生じる第１の画像歪を補正するため、第１の補正量を取得する第１の歪補正量取得ステップと、前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第２の画像歪を補正するための第２の補正量を取得する第２の歪補正量取得ステップと、前記第１及び第２の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、を有し、前記座標変換ステップは、処理対象の座標値を前記第１の補正量に基づき変換する第１の変換ステップと、この第１の変換ステップにより変換された座標値を前記第２の補正量に基づき変換する第２の変換ステップと、を有しており、かつ、前記第１及び第２の変換ステップを１回以上繰り返し実行した後、最後に第１の変換ステップによって前記第１の補正量に基づく変換処理を実行し、これを補正された座標値とすることを特徴とする。

本発明によれば、撮像装置において、収差や手ぶれによるＦＰ歪を厳密に画像から取り除くことが可能となる。

第１の実施形態に係る撮像装置のブロック図である。 第１の実施形態に係る撮像装置の撮像動作を示したフローチャートである。 画像に現れる歪について説明する図である。 図３（ｂ）の状態を１シャッターで撮像した場合の画像と、歪を除去した場合の画像とを模式的に示す図である。 第１の実施形態における画像の変形処理を示したフローチャートである。 歪なしの理想画像と収差及びＦＰ歪が加わった画像、及び従来技術により歪を補正した画像を模式的に示す図である。 第１の実施形態に係る撮像装置による歪を除去する方法の各段階における画像を模式的に示す図である。 最終的に得られる補正画像を模式的に示す図である。 図５の処理フローの変形例である。 撮像装置の傾きについて説明する図である。 撮像装置に傾きがある場合に画像に現れる歪について説明する図である。 図１１の状態を１シャッターで撮像した場合の画像を模式的に示す図である。 第２の実施形態に係る画像の変形処理を示したフローチャートである。 フレーム毎に画像に現れる歪が動きベクトルに与える影響について説明するための図である。 第３の実施形態に係る撮像装置による動きベクトルの算出処理を示したフローチャートである。 再設定前後の第１の画像のテンプレート領域及び第２の画像の測定領域を模式的に示す図である。

以下、本発明の実施の形態について、図面を参照して詳しく説明する。
＜第１の実施形態＞
図１は、本実施形態に係る撮像装置のブロック図である。図１に示す撮像装置１００は、撮像光学系１１０、撮像素子１１１、Ａ／Ｄ変換部１１２、制御部１４１、操作部１４２、メモリコントローラ１４３、メモリ１４４、表示処理部１４５、モニタ１４６、記録処理部１４７、手ぶれ検出部１２１、手ぶれ処理部１２０及び画像処理部１３０を有する。このうち、Ａ／Ｄ変換部１１２、制御部１４１、メモリコントローラ１４３、表示処理部１４５、記録処理部１４７、手ぶれ処理部１２０及び画像処理部１３０が、互いに配線バス１４０を介して接続されている。

操作部１４２は、ユーザによる撮影開始や撮影終了等の各種操作を受け付ける。
制御部１４１は、操作部１４２やメモリコントローラ１４３等からの指令により、手ぶれ処理部１２０や画像処理部１３０、表示処理部１４５、記録処理部１４７に対する制御信号を送出する。また、制御部１４１は、撮像光学系１１０との通信により、現在の撮像光学系１１０の状態に関する情報を取得する。撮像光学系１１０の状態に関する状態には、収差を含む。撮像光学系１１０の状態に関する情報は、後述するように、収差を補正するための画像の変形処理に使用される。

撮像光学系１１０は、被写体を結像させるレンズ等からなる。撮像素子１１１は、ＣＭＯＳセンサーからなり、フォーカルプレーン蓄積（ライン露光）を行って、撮像光学系１１０から入力される被写体像を光電変換して撮像信号を得る。Ａ／Ｄ変換部１１２は、撮像素子１１１で得た撮像信号をアナログ値からデジタル値に変換（以下Ａ／Ｄ変換という）する。

メモリコントローラ１４３は、Ａ／Ｄ変換部１１２でＡ／Ｄ変換されたデジタルの画像データをメモリ１４４に記憶する。メモリ１４４に記憶された画像データは、バス配線１４０を通じて画像処理部１３０に送信される。

また、メモリ１４４には、本実施形態に係る歪の除去方法を含む撮像装置１００の制御プログラムを記憶する。制御部１４１は、メモリ１４４からプログラムを読み出して実行することにより、後述する撮像動作や歪の除去処理等が実現される。

手ぶれ検出部１２１は、ジャイロセンサーや加速度センサー等からなり、撮像装置１００の動き量を検出する。手ぶれ処理部１２０は、演算により、手ぶれ検出部１２１で検出した動き量に基づき、以後の処理に必要な動き量を抽出する。これは、手ぶれ検出部１２１において検出する動き量には、撮影者が意図するものであるかを問わず、撮像装置１００の動いた量が含まれているためである。また、手ぶれ処理部１２０は、後段の処理において利用し易いよう、値の整形等も行う。このように、手ぶれ処理部１２０は、撮像素子１１１の蓄積動作中の手ぶれによって画像データに生じる画像の歪を補正するための補正量を取得し、取得した補正量を画像処理部１３０に送信する。手ぶれ処理部１２０において取得した補正量は、後述するように、ＦＰ歪を補正するための画像の変形処理に使用される。

画像処理部１３０は、歪補正量取得部１３１と座標変換部１３２とを有し、歪を補正するための画像の変形処理や、色、輝度等の調整処理を行い、表示処理部１１８や記録処理部１４７へと処理を施した画像データを送出する。このうち、歪補正量取得部１３１は、制御部１４１が光学撮像系１１０との通信等により取得した撮像光学系１１０の状態によって生じる歪を補正するための補正量（第１の補正量）と、手ぶれ処理部１２０において求めた手ぶれによる歪を補正するための補正量（第２の補正量）を取得する。座標変換部１３２は、収差やＦＰ歪を補正するために、歪補正量取得部１３１にて取得した第１及び第２の補正量を用いて、画像データを構成する画素の座標値に関して変換処理を行う。具体的にどのような座標の変換処理を行うかについては、後に詳しく説明する。

表示処理部１１８は、モニタ１４６へと画像を表示させ、記録処理部１４７は、記録媒体１４８に画像データを記録する。
以下に、本実施形態に係る撮像装置１００が、第１の補正量である撮像光学系１１０の状態に関する情報と、第２の補正量である手ぶれ量とを取得し、これを用いて歪を除去した画像を得る方法について、具体的に説明する。

図２は、本実施形態に係る撮像装置１００の撮像動作を示したフローチャートである。撮像装置１００の制御部１４１は、撮像装置１００の電源がオン状態に切り替わり、撮像装置１００が起動すると、図２に示す一連の処理を開始する。

処理が開始されると、まず、ステップＳ１０１で、制御部１４１は、撮影開始信号の受信待ち状態となる。開始信号は、例えば、操作部１４２におけるレリーズ操作をもって発行されるものとする。あるいは、制御部１４１が判断をし、撮像装置１００の任意のタイミングで自動的に出力する構成としてもよい。開始信号を受信すると、ステップＳ１０２に進む。

ステップＳ１０２で、制御部１４１は、手ぶれ検出部１２１に対してぶれ量の測定を開始させる。以降のステップにおいても、手ぶれ検出部１２１は常に動作し、手ぶれ処理部１２０に対して撮像装置１００の動き量を出力し続ける。

なお、本実施例においては、ステップＳ１０１で撮影開始信号を受信した後に手ぶれ検出部１２１がぶれ量の検出動作を開始する構成としているが、これに限定されるものではない。例えば、撮影開始信号の受信以前から手ぶれ検出部１２１を動作させる構成としてもよい。

ステップＳ１０３で、制御部１４１は、レンズデータを撮像光学系１１０から取得する。取得したレンズデータには、撮像光学系１１０の収差量が含まれる。撮像光学系１１０の収差量は、後述する画像の変形処理で使用する。

他の実施例では、メモリ等の記憶手段がレンズデータを保持しており、制御部１４１が記憶手段に保持されているレンズデータを取得する構成としてもよい。
ステップＳ１０４で、制御部１４１は、撮像素子１１１に対し、露光を開始させ、所定の露光時間をもって、露光を終了させる。露光時間は、ユーザの指示に基づき決定してもよいし、撮像装置１００が決定してもよい。露光により撮像素子１１１において得られた撮像信号は、撮像素子１１１より読み出されてＡ／Ｄ変換され、得られる画像データは、メモリ１４４に記憶される。

ステップＳ１０５で、制御部１４１は、画像処理部１３０に対し、メモリ１４４から画像データを取得させる。
ステップＳ１０６で、制御部１４１は、手ぶれ処理部１２０から撮像装置１００の動き量を取得する。ここで取得する撮像装置１００の動き量は、上記のステップＳ１０４の露光のタイミングに対応しており、露光時間中の複数のサンプリングより算出された複数のデータからなる。

ステップＳ１０７で、制御部１４１は、画像処理部１３０に対し、画像の変形処理を実行させる。画像の変形処理においては、ステップＳ１０３で取得した撮像光学系１１０の収差量、ステップＳ１０６で取得した撮像装置１００の動き量及びステップＳ１０５で取得した画像データを使用する。変形処理の詳細については、後に図５等を参照して詳しく説明する。

ステップＳ１０８で、制御部１４１は、変形処理の施された画像を画像処理部１３０から表示処理部１１８や記録処理部１２０に出力させる。
そして、ステップＳ１０９で、制御部１４１は、撮影終了信号を受信したか否かを判定する。ステップＳ１０１にて撮影開始信号を受信して以降に撮影終了信号を受信している場合には、ステップＳ１１０へと処理を移行させる。まだ撮影終了信号を受信していない場合は、ステップＳ１０３に戻り、上記の処理を繰り返す。終了信号は、例えば動画撮影の場合には、操作部１４２におけるユーザからの再度のレリーズ操作をもって発行される。シングルショットの静止画撮影の場合には、ステップＳ１０９の終了信号を受信したか否かの判定処理をなくし、直ちにステップＳ１０８からステップＳ１１０へと処理を移行させる構成としてもよい。

ステップＳ１１０で、制御部１４１は、手ぶれ検出部１２１の動作を停止させてぶれ量の測定を終了し、処理を終了する。他の実施例においては、ここでは手ぶれ検出部１２１の動作を終了させず、測定し続ける構成としてもよい。

撮像素子１１１にはＣＭＯＳセンサーを使用しているため、上記のステップＳ１０５の処理において取得した画像には、手ぶれによるＦＰ歪が現れる。また、撮像光学系１１０の収差によっても、画像に歪が現れる。これについて、図３を参照して説明する。

図３は、画像に現れる歪について説明する図である。このうち、図３（ａ）は、手ぶれによる撮像面上の被写体の位置の変化を表す図であり、図３（ｂ）は、これに更に撮像光学系１１０の収差が加わった場合の被写体の位置の変化を表す図である。

図３（ａ）に示すように、時刻ｔ［秒］からｔ＋Δｔ［秒］、ｔ＋２Δｔ［秒］と時間が経るにつれて、撮像装置１００は手ぶれによって右下から左上へと移動した場合は、撮像面上の被写体の位置は、左上から右下へと移動する。

これに更に撮像光学系１１０の収差を考慮すると、被写体は、図３（ｂ）に示すように、収差の量は、被写体が撮像範囲のいずれの位置にあるかにより異なってくる。このため、各時刻における被写体の変形は、異なったものとなる。

図４は、図３（ｂ）の状態を１シャッターで撮像した場合の画像と、歪を除去した場合の画像とを模式的に示す図である。
ここでのシャッターとは、いわゆるローリングシャッター方式の電子シャッターであり、水平ライン毎に露光、読み出しタイミングのずれがあるものである。このため、図４（ａ）に示すように、収差にＦＰ歪が加わり被写体がいびつに変形している。

なお、図４（ａ）においては、露光中に検出される手ぶれによる動きベクトル（手ぶれベクトル）を、水平ラインの露光タイミングに合わせて示している。つまり、第１ライン（ｔ秒）から最終ライン（ｔ＋２Δｔ秒）へと露光時間が進むにつれて、手ぶれベクトルは右下から左上へと変化する。

図４（ｂ）は、図４（ｂ）に示す撮像により得られる画像から収差及びＦＰ歪を除去した画像を示す。図４（ａ）の手ぶれベクトルに対し、大きさが同じで向きがこれとは逆の手ぶれ補正ベクトルを併せて示す。

撮像素子１１１にて取得される撮像信号を変換して得られる図４（ａ）の画像に対し、歪を補正する変形処理を加えることで、図４（ｂ）の画像を生成する方法も考えられる。このような方法をとる場合は、図４（ａ）の画像上の座標Ｐに対し、これにおける手ぶれベクトルμ（Ｐ）と、その収差補正ベクトルｄ（Ｐ）とを合成した補正ベクトルμ（Ｐ）＋ｄ（Ｐ）をＰに加算した位置
Ｑ＝Ｐ＋（μ（Ｐ）＋ｄ（Ｐ））・・・（１）
へと移動する操作を行うことになる。

しかし、かかる手法で画像の変形処理を行うためには、処理座標のステップ幅を変形量すなわち手ぶれ補正ベクトル及び収差補正ベクトルを合成した補正ベクトルに応じて変化させていく必要があり、処理が煩雑となってしまう。

そこで、本実施形態においては、図４（ｂ）の画像上の座標Ｑに対して以下の演算を行うことで、撮像により得られた画像の読み出し位置（図４（ａ）の画像上の座標Ｐが対応）を変化させ、画像の変形を補正する。

なお、上記の（１）式よりＰ＝Ｑ−（μ（Ｐ）＋ｄ（Ｐ））の演算を行うことで、画像の読み出し位置Ｐを容易に算出することができそうに見えるが、この演算によっては、読み出し位置Ｐを算出することはできない。補正ベクトル−（μ（Ｐ）＋ｄ（Ｐ））が、座標Ｐにより決定されるものであり、未知であるためである。

仮に、上記の特許文献１に開示されている手法を用いた場合には、読み出し位置Ｐについては、Ｐ＝Ｑ−（μ（Ｑ）−ｄ^−１（Ｑ））で表される。しかし、この補正ベクトル−（μ（Ｑ）−ｄ^−１（Ｑ））は、本来の補正ベクトルと異なる。すなわち、手ぶれベクトルμ（Ｐ）≠μ（Ｑ）であるため、歪が大きい場合には、これによっては正しく補正することができない。

ここで、ｄ^−１（Ｑ）は、収差ベクトルであり、Ｑ＝Ｐ＋ｄ（Ｐ）よりＰ＝Ｑ−ｄ（Ｐ）であるから、Ｐ＝Ｑ＋ｄ^−１（Ｑ）の関係を有している。
そこで、本実施形態に係る撮像装置１００において、歪のない画像上の座標Ｑと撮像により得られた画像上の読み出し位置Ｐとの関係を求めて、適切に歪を除去した画像を得る具体的な方法について、以下に説明する。

図５は、本実施形態における画像の変形処理を示したフローチャートである。図５においては、図２のステップＳ１０７の処理の詳細フローを示す。図５等を参照して、本実施形態における画像を変形して歪を補正した画像を得る方法について、具体的に説明する。

まず、図２のステップＳ１０７の画像の変形処理が開始すると、ステップＳ１で、制御部１４１から指示を受けて、画像処理部１３０は、処理対象の座標（図４（ｂ）の座標Ｑ）に対して収差を加えた座標を求める。撮像光学系１１０の収差は、レンズやズーム状態、フォーカス状態等により固有であるので、測定により予めその量を知ることが可能である。そこで、ステップＳ１においては、既知のベクトルｄ^−１（Ｑ）を用いることにより、収差を加えた座標
Ｑ´＝Ｑ＋ｄ^−１（Ｑ）・・・（２−１）
により、座標Ｑ´を求める。あるいは、未知の収差がある場合には、撮像により得られた画像データを解析することにより、ベクトルｄ^−１（Ｑ）を近似的に算出することは可能であるため、これを用いてもよい。

次に、ステップＳ２で、画像処理部１３０は、ＦＰ歪に関する演算を行うか否かを判定する。判定は、ユーザが指定した内容に基づくこととしてもよいし、撮像装置１００において決定することとしてもよい。撮像装置１００において決定する場合には、例えば、手ぶれベクトルが微小量であれば、演算を行わず、そうでなければ演算を行う、等の判定が考えられる。画像全体に同じ判定を用いてもよいし、処理対象の座標Ｑにより異なる判定をすることとしてもよい。また、詳しくは後述するが、このステップＳ２においてＦＰ歪に関して再度演算を行うか否かの判定も行っており、図５の一連の演算を繰り返し実行することでより正確に読み出し位置を求めることができることから、いくつかの条件を組み合わせた判定としてもよい。

ステップＳ３では、画像処理部１３０は、ステップＳ１で算出した座標Ｑ´に対して手ぶれベクトルを参照する。つまり、ベクトルμ（Ｑ´）を求める。
ここで、手ぶれベクトルは、元々は手ぶれ検出部１２１にてあるサンプリングレートをもって取得した値であるため、全ての座標Ｑ´に対しても値が存在するわけではない。そこで、値の存在しない座標Ｑ´については、存在する値から補間を行うことで、適宜手ぶれベクトルμ（Ｑ´）を算出する。補間は、手ぶれのパターンによって適切な方法を用いればよい。例えば、周波数の低い手ぶれが主である場合には、線形補間で十分である。より滑らかな補間を行う必要がある場合には、ラグランジュ補間やスプライン補間等を用いることもできる。例えば、手ぶれ処理部１２０においてある程度補間処理を実行しておき、ステップＳ３においては、画像処理部１３０が手ぶれ処理部１２０において求めた補間値の中から最も近い値を参照する構成としてもよい。このような構成とすることで、ステップＳ３において画像処理部１３０が実行する計算量を抑制することができる。

ステップＳ４で、画像処理部１３０は、ＦＰ歪に関する演算を実行する。具体的には、ステップＳ３において求めた手ぶれベクトルμ（Ｑ´）を用いて、処理対象となる座標Ｑを補正する。これは、
Ｑ_１＝Ｑ−μ（Ｑ´）・・・（３−１）
によりＱ_１を求める操作である。

なお、ステップＳ４においては、手ぶれベクトルμ（Ｑ´）を用いずに、大きさが同じで向きが逆の手ぶれ補正ベクトルμ^−１（Ｑ´）＝−μ（Ｑ´）を用いて、
Ｑ_１＝Ｑ＋μ^―１（Ｑ´）
によりＱ_１を求めることとしてもよい。

ステップＳ４の処理が完了すると、ステップＳ１に戻り、画像処理部１３０は、上記と同様の処理を実行する。ここでは、
Ｑ´_１＝Ｑ_１＋ｄ^−１（Ｑ_１）・・・（２−２）
を算出し、座標Ｑ´_１を求める。そして、処理を再びステップＳ２へと移行させる。

ステップＳ２では、画像処理部１３０は、先に座標Ｑについて行ったと同様に、先のステップＳ１において求めた（２−２）式より求まる座標Ｑ´_１について、ＦＰ歪に関する演算を行うか否かを判定する。

ステップＳ２での座標Ｑ´_１についての判定は、先の座標Ｑについての判定と同じ条件で行ってもよいし、異なる条件を用いてもよい。異なる条件により判定を行う場合は、例えば、ＦＰ歪に関する演算を実行した回数をカウントしておき、演算回数が所定のしきい値に達するまで演算を行う構成としてもよい。あるいは、ステップＳ１において１回前に算出した座標を記憶しておき、これと、今回ステップＳ１において算出した座標との差分が所定のしきい値以下となるまで演算を行う構成としてもよい。１回目の判定では常に真（ステップＳ２でＹｅｓの場合）、２回目の判定では常に偽（ステップＳ２でＮｏの場合）となるように、判定結果を固定しておく構成としてもよい。

図５に示す一連の処理が開始してから、ステップＳ４を実行した後にステップＳ１に戻り、２回目のステップＳ２の判定を行うまでの処理によって、ＦＰ歪及び撮像光学系１１０の収差をおよそ除去することは可能である。しかし、これ以降に更にステップＳ３に移行して、その後再びステップＳ１に戻り、収差及びＦＰ歪の除去処理を複数回繰り返し実行することで、求まるＱ´_Ｎを所望の読み取り位置である座標Ｐにより近付けることが可能となる。これは、特に、ＦＰ歪が大きい場合に有効である。これについて、図６及び図７を参照して説明する。

図６は、歪なしの理想画像（Ｑ）と収差及びＦＰ歪が加わった画像（Ｐ）、及び従来技術により歪を補正した画像を模式的に示す図である。先に図４を参照して説明をしたように、撮像光学系１１０の収差及び手ぶれにより、図６（ａ）の理想画像（Ｑ）に対し、実際に撮像される画像は、図６（ｂ）に示すように、いびつに変形している。

なお、図６及び以降で説明する図７や図８及びその説明においては、上記の方法により座標の変換を行って画像の歪が除去されることの説明のため、例えばある画像上に座標Ｑがある場合には、その画像を「画像（Ｑ）」と表記することとする。

収差及びＦＰ歪によって変形した画像（Ｐ）を、上記式（１）よりＰ＝Ｑ−（μ（Ｑ）−ｄ^−１（Ｑ））を用いて座標変換し、補正した場合に得られる画像を、図６（ｃ）に示す。図６（ｃ）に示すように、かかる方法では、先に図４の説明においても述べたとおり、補正ベクトル−（μ（Ｑ）−ｄ^−１（Ｑ））は、本来の補正ベクトルと異なるため、正しく補正することができない。

図７は、本実施形態に係る撮像装置１００による歪を除去する方法の各段階における画像を模式的に示す図である。
図７（１ａ）は、図６（ｂ）の画像（Ｐ）に対し、上記（２−１）式によって収差を除去した画像（Ｑ´）である。画像（Ｑ´）は、図５においては最初にステップＳ１の処理を実行すると得られる。図６（ｂ）の画像（Ｐ）に対し、例えば隅の領域では、樽状の歪が除去されていることがわかる。

図７（１ｂ）は、図６（ｂ）の画像（Ｐ）に対し、上記（３−１）式によって図６（ｂ）からＦＰ歪を除去した画像（Ｑ_１）である。画像（Ｑ_１）は、図５においては１回目のステップＳ４の処理を実行すると得られる。図７（１ａ）の画像（Ｑ^´）に対し、手ぶれによるＦＰ歪が多少は抑えられている。

図７（２ａ）は、図７（１ｂ）の画像（Ｑ_１）に対し、上記（２−２）式によって収差を除去した画像（Ｑ´_１）である。画像（Ｑ´_１）は、図５においては２回目のステップＳ１の処理を実行すると得られる。図７（１ｂ）の画像（Ｑ_１）に対し、隅の領域では樽状の歪が除去されている。

図７（２ｂ）は、図６（ｂ）の画像（Ｐ）に対し、上記（３−１）式のＱ_１をＱ_２に、μ（Ｑ´）をμ（Ｑ´_１）に置き換えて得られる以下の式（３−２）
Ｑ_２＝Ｑ−μ（Ｑ´_１）・・・（３−２）
によってＦＰ歪を除去した画像（Ｑ_２）である。画像（Ｑ_２）は、図５においては２回目のステップＳ４の処理を実行すると得られる。図７（２ａ）の画像（Ｑ´_１）に対して手ぶれによる歪が抑えられているとともに、図７（１ｂ）に示す１回目の手ぶれによるＦＰ歪除去後の画像（Ｑ_１）と比較しても、よりＦＰ歪が抑制されていることがわかる。

以降も同様に、ステップＳ１及びステップＳ４においてそれぞれ収差及びＦＰ歪を除去していくこととなる。
図５の説明に戻ると、画像処理部１３０は、２回目のステップＳ２において、座標Ｑ´_１について再度ＦＰ歪に関する演算を行うと判定した場合には、ステップＳ３に進み、手ぶれベクトルμ（Ｑ´_１）を求め、ステップＳ４で、Ｑ_２＝Ｑ−μ（Ｑ´_１）を求める。これらの演算をＮ回繰り返すと、ステップＳ４においては
Ｑ_Ｎ＝Ｑ−μ（Ｑ´_Ｎ−１）
が得られる。その後戻ったステップＳ１において、Ｎ＋１回目の収差を加えた座標Ｑ´_Ｎを以下の式より算出する。
Ｑ´_Ｎ＝Ｑ_Ｎ＋ｄ^−１（Ｑ_Ｎ）・・・（２−Ｎ）

Ｎ＋１回目ステップＳ２の判定において、ＦＰ歪に関する演算は行わないと判定すると、上記（２−Ｎ）式より得られる座標Ｑ´_Ｎを最終的な結果として、すなわち、撮影画像の読み込み位置として、図５の処理を終了する。

図８は、図７の方法により最終的に得られる補正画像を模式的に示す図である。
図８においては、Ｎ＝４の場合、すなわち、図５のステップＳ１乃至ステップＳ４の処理を４回繰り返した後に、ステップＳ１において５回目の収差を除去した画像（Ｑ´_４）を示す。図７と比較して、ステップＳ１乃至ステップＳ４の処理を４回繰り返すことで、収差及びＦＰ歪のいずれもが除去され、適切に補正されていることがわかる。

図９は、図５の処理フローの変形例である。図５の処理と同様の処理については、同一のステップ番号を付している。図９の処理フローにおいても、先に収差を補正し（ステップＳ１）、次にＦＰ歪を補正する（ステップＳ４）点については図５と同様である。

図５の処理フローと異なる点は、ステップＳ４においてＦＰ歪による補正を行った後に、最初のステップＳ２の判定に戻り、更なるＦＰ歪に関する演算は行わない、と判定した場合に、更にステップＳ１´で、最後に収差を補正し、これを最終的な結果として処理を終了する点である。これは、本実施形態における歪の補正処理は、収差に対する補正ベクトルとＦＰ歪に対する補正ベクトルとを合成して一度に座標変換を行うのでなく、段階的にそれぞれの歪に対する補正ベクトルを加えていき、最後に収差を補正する方法をとっていることによる。

すなわち、図５及び図９のいずれの処理フローであっても、まずは、処理対象を理想画像の座標Ｑとし、これに収差を補正するための補正ベクトルｄ^−１（Ｑ）を加えた座標（Ｑ´）を得る。そして、次に、座標Ｑに「収差を加えた座標Ｑ´についての手ぶれ補正ベクトル」を加えた座標Ｑ_１を得ている。以降は、段階的に補正ベクトルを加えて得られた座標Ｑ_ｎに対して、座標Ｑ_ｎにおける収差を補正するための補正ベクトルｄ^−１（Ｑ_ｎ）を加えて座標Ｑ´_ｎを求め、座標Ｑ´_ｎについての手ぶれ補正ベクトルｄ^−１（Ｑ´_ｎ）を加えて座標Ｑ_ｎ＋１を求めていく。しかし、正しく補正を行うためには、最後に収差を補正するための補正ベクトルによって補正を行って、これを撮像画像の読み取り位置（すなわち座標Ｐ）とする必要がある。このため、図９の処理フローにおいては、最後にステップＳ１´の処理を実行する必要がある。

上記のとおり、図５または図９に示す一連の処理により得られた座標Ｑ´_Ｎは、座標Ｑに対応する画像の読み込み位置である。しかし、撮像により得られる画像Ｐ上には、座標Ｑ´_Ｎに画素値が存在するとは限らない。これは、撮像素子１１１により取得される画像は、空間的にある間隔をもってサンプリングされたものであることによる。したがって、必要な場合には、存在する画素値から補間を行って、適宜座標Ｑ´_Ｎにおける画素値を算出する。補間方法としては、出力する画像に応じて適切な方法を使用すればよい。例えば、バイリニア補間や、バイキュービック補間等が想定される。

以上説明した処理を画像全体にわたり行うことで、収差及びＦＰ歪を除去した画像を取得することが可能となる。
以上のように、本実施形態によれば、従来技術のように収差を補正するベクトルとＦＰ歪を補正するベクトルとを合成して除去する方法はとらず、理想画像の座標Ｑに、まず最初に収差を表すベクトルを加え、次に、ＦＰ歪による歪を表すベクトル（すなわち手ぶれ補正ベクトル）を加える。このような収差及びＦＰ歪を加える処理をそれぞれ実行し、これを複数回繰り返した後に、最後に収差を表すベクトルを加えてこれを画像の読み取り位置、すなわち座標Ｐとする。これにより、手ぶれによるＦＰ歪および収差を厳密に取り除いた画像を得ることが可能となる。
＜第２の実施形態＞

上記の実施形態においては、収差及びＦＰ歪による画像の変形を補正している。これに対し、本実施形態においては、更に、画像の回転に代表されるような、他の幾何的な変形が加わった場合の画像の変形についても補正を行う。

以下に、上記の実施形態と異なる点を中心に、本実施形態に係る撮像装置について説明を行う。なお、本実施形態に係る撮像装置１００の構成については、図１に示すとおりであり、上記の実施形態と同様である。また、撮像装置１００の撮像動作の処理フローについても、先に図２を参照して説明したとおりであるので、これらの説明は省略する。

図１０は、撮像装置１００の傾きについて説明する図である。
図１０に示すように、撮像装置１００の鉛直軸回りの回転であるヨー回転、左右方向の回転であるロール回転、前後方向の回転であるピッチ回転のそれぞれの方向に撮像装置１００が傾いている場合、画像が回転するだけでなく、台形に歪んで撮像されることとなる。

なお、図１０に示すような撮像装置１００の傾きについては、図１の手ぶれ検出部１２１においてこれを検出する。
図１１は、撮像装置１００に傾きがある場合に画像に現れる歪について説明する図である。ここでは、図３（ｂ）に加えてアオリが加わった場合の画像について説明する図である。

図３（ｂ）と比較すると、図１１に示す画像においては、被写体が、撮像装置１００のピッチ回転により、撮像装置１００が上方にあおられたことにより、被写体の形状は、上底の方が下底よりも長い台形となっている。上記実施形態においても説明したとおり、被写体は、手ぶれによって撮像面上を左上から右下へと移動し、撮像光学系１１０の収差は撮像面上の位置により歪の量が異なってくる。このため、各時刻（ｔ［秒］、ｔ＋Δｔ［秒］、及びｔ＋２Δｔ［秒］）における被写体の変形は、それぞれ異なったものとなる。

図１２は、図１１の状態を１シャッターで撮像した場合の画像を模式的に示す図である。収差とＦＰ歪とのみが被写体の形状に影響している図４の画像と比較すると、撮像装置１００のピッチ回転により、上辺と下辺とで長さも異なり、更に複雑な歪が現れている。このような画像を変形して歪を補正する処理の詳細について、図１３を参照して具体的に説明する。

図１３は、本実施形態に係る画像の変形処理を示したフローチャートである。図１３においては、図２のステップＳ１０７の処理の詳細フローを示す。なお、上記の実施形態の画像の変形処理フローを示した図５や図９と同様の処理については、同一のステップ番号を付している。

まず、図２のステップＳ１０７の画像の変形処理が開始すると、ステップＳ０で、制御部１４１から指示を受けて、画像処理部１３０は、収差やＦＰ歪を除いた画像の幾何学的変形に係わる演算を行う。ここでの「幾何学的変形」とは、撮像装置１００自体の位置や状態が変化した結果生じる変形をいい、具体的には、撮像装置１００の回転や並進、あるいは、より一般化したアフィン変形や射影変形等が挙げられる。

ステップＳ０において射影変形が実施される場合の具体例を説明する。
まず、手ぶれにより撮像装置１００が被写体に対して傾いた状態にある場合、傾きの大きさは、手ぶれ検出部１２１によって取得され、手ぶれ処理部１２０により補正されるべき角度が算出される。画像処理部１３０は、手ぶれ処理部１２０から補正されるべき角度を受け取り、この角度を用いて、処理対象の座標Ｑに対して射影変換座標Ｑ^ｇを算出する。

射影変換座標Ｑ^ｇの算出に関しては、
Θ^ｇ＝ＴΘ・・・（４）
による。ここで、Θは、Ｑの斉次座標であり、
の場合に、λを任意乗数として、
である。任意乗数λには、焦点距離等を与えるのが一般的である。

上記Ｔは、射影変換行列である。例えば、ヨー回転θ_ｘ、ピッチ回転θ_ｙ、ロール回転θ_ｚの角度を持つ場合は、Ｔは、次式で与えられる。
（４）式乃至（７）式により求まる座標Ｑ^ｇを用いて、ステップＳ１以降の処理を行う。

例えば、撮像装置１００の傾きがロール回転のみ限定されているような場合には、ステップＳ０において上記の処理を行う必要はなく、より簡単な回転のみを演算すればよい。具体的には、次式により座標Ｑ^ｇが求まる。
これは、（７）式においてθ_ｙ＝θ_ｚ＝０とした場合に（４）式乃至（７）式から求まる。これと同様に、ピッチ回転のみの場合は、（７）式にθ_ｘ＝θ_ｚ＝０を代入し、ロール回転のみの場合は（７）式にθ_ｘ＝θ_ｙ＝０を代入して得られるＴを用いて（４）式乃至（７）式を解くことにより、それぞれの場合の座標Ｑ_ｇの演算を求めることができる。

画像の「幾何学的変形」に、更に手ぶれによる並進が加わっているような場合には、以下の式により演算を行えばよい。ここで、Ｓは、並進ベクトルであり、フレーム間のぶれ量を表す。
Ｑ^ｇ＝Ｑ＋Ｓ

以上で挙げた座標Ｑ^ｇの演算方法は、ステップＳ０おける演算の例であり、他の公知の演算を実施してもよいし、これらを組み合わせて実施してもよい。
図１３のステップＳ１〜ステップＳ４までの処理については、上記の実施形態において、図５を参照して説明したとおりである。また、図１３のステップＳ１〜ステップＳ４の処理の代わりに、図９に示す一連の処理を実行する構成としてもよい。

ステップＳ５で、画像処理部１３０は、ステップＳ５以前の処理により得られた座標Ｑ^´ _Ｎに対し、被写体の位置や状態が変化した結果画像に生じる変形について処理する操作を実施する。ここで取り扱う変形としては、例えば、撮影中の不用意な被写体の移動や、生体に代表される被写体自体の自由な変形等が挙げられる。

被写体の変化が既知である場合には、その変化Ψを用いて、座標Ｑ^ｒ＝Ψ（Ｑ´_Ｎ）を算出する。変化が未知である場合であっても、例えばステップＳ５以前の処理により被写体変化以外の変形を除去した画像を生成しておき、これを解析することで、被写体の変化Ψを近似的に求めることが可能である。このようにして求まるΨを用いて、座標Ｑ^ｒ＝Ψ（Ｑ´_Ｎ）を算出すればよい。そして、処理対象の座標Ｑに対しては、撮像により得られた画像の読み込み位置をＱ^ｒとする。読み込み位置Ｑ^ｒに値が存在しない場合には、上記実施形態と同様に、補間処理により画素値を算出する。

上記の処理を画像全体にわたって行うことで、撮像光学系１１０の歪及びＦＰ歪に加えて、他の画像の変形についても厳密に除去した所望の画像を取得することが可能となる。
＜第３の実施形態＞

上記第１及び第２の実施形態は、画像に現れる収差やＦＰ歪等を除去する方法に関する。これに対し、本実施形態においては、これら収差やＦＰ歪等の影響を排除した動きベクトルを算出する。

以下に、上記の実施形態と異なる点を中心に、本実施形態に係る撮像装置について説明を行う。なお、本実施形態に係る撮像装置１００の構成については、図１に示すとおりであり、上記の実施形態と同様である。

図１４は、フレーム毎に画像に現れる歪が動きベクトルに与える影響について説明するための図である。
例えば、移動体の現在までの動きベクトルを基に未来の動きベクトルを予測することがある。この場合、歪の影響により、画像内の移動体の位置毎に動きベクトルの向きや大きさに変化が生じる。

また、フレーム間で歪が異なる場合には、歪を含んだ動きベクトルが実際の大きさよりも大きく（あるいは小さく）なってしまうことがある。図１４には、あるフレームの画像（第１の画像）に現れる歪と、次のフレームの画像（第２の画像）に現れる歪とが異なる場合を例示する。この場合、２つのフレームから動きベクトルを求めると、実際の被写体の動き量に対し、求まる動きベクトルの大きさは、実際よりも大きくなっている。

従来技術によると、歪によって動きベクトルの大きさが実際の動き量よりも大きくなってしまうことを考慮に入れた場合、動きベクトルの探索範囲を広くとる必要がある。これに対し、本実施形態によれば、歪によって動きベクトルの探索範囲を拡大することなく、効率的に動きベクトルを算出する。

図１５は、本実施形態に係る撮像装置１００による動きベクトルの算出処理を示したフローチャートである。撮像装置１００の制御部１４１は、図２の撮像動作によって動きベクトルの算出に利用する２つのフレーム画像（第１の画像及び第２の画像）のうち、第２の画像を取得すると、画像処理部１３０に指示をして、図１５に示す一連の処理を開始させる。なお、第２の画像は、現在取得した画像であり、第１の画像は、第１の画像の１フレーム前に取得した画像である。

図１５に示す一連の処理のうち、ステップＳ１１〜ステップＳ１６は、「第１の画像」の動きベクトル算出に利用する領域の座標を処理対象とする。ステップＳ１７〜ステップＳ２２は、「第２の画像」の動きベクトル算出において探索範囲とする領域の座標を処理対象とする。それぞれの処理により、第１及び第２の画像中の動きベクトルの算出に利用する所定の領域の座標について、収差やＦＰ歪を加えていき、それぞれ撮像した画像の読み取り位置を求める。

まず、ステップＳ１１で、制御部１４１から動きベクトルを算出する旨の指示を受けた画像処理部１３０は、第１の画像中に、テンプレート領域を設定する。テンプレート領域とは、第１の画像のうちの、動きベクトル算出処理において第２の画像と比較される領域である。

図１６（ａ）左側に、ステップＳ１１において設定したテンプレート領域を例示する。テンプレート領域は、任意に設定することができる。例えば、図１６（ａ）左側に例示するように、テンプレート領域を規則的に配置してもよい。あるいは、画像を認識した上で、人物の顔の領域等の所定の位置のみに設定してもよい。設定する領域の数や大きさについても、任意に設定することができる。このステップＳ１１以後の処理は、設定した領域の数だけ実行することになる。

ステップＳ１２〜ステップＳ１５の処理は、それぞれ図５のステップＳ１〜ステップＳ４の処理と同様である。
ステップＳ１６で、画像処理部１３０は、ステップＳ１６以前の処理で得られた座標Ｑ^ｔ´ _Ｎにテンプレート領域を再設定する。

図１４の「第１の画像」についての再設定前後のテンプレート領域を、図１６（ａ）に示す。上記のとおり、図１６（ａ）の左側が再設定前の（図１５のステップＳ１１で設定した）テンプレート領域である。また、図１６（ａ）の右側は、再設定後の（同ステップＳ１６で設定した）テンプレート領域である。テンプレート領域についてステップＳ１２乃至ステップＳ１５の処理を施すことで、収差やＦＰ歪に応じた位置にテンプレート領域が配置されることとなる。

テンプレート領域の枠上の座標のみについてステップＳ１２〜ステップＳ１５を実施し、ステップＳ１６のテンプレート領域の再設定処理については、テンプレート領域の形状の変形も含めて再設定することとしてもよい。領域内の全座標を処理対象とするよりも、計算量を抑制しつつ、同等の効果を得ることが可能となる。

第２の画像については、ステップＳ１７で、画像処理部１３０は、第２の画像中に測定領域を設定する。測定領域とは、第２の画像のうちの、動きベクトル算出処理における探索範囲となる領域をいう。

図１６（ｂ）左側に、ステップＳ１７において設定した測定領域を例示する。図１６（ｂ）左側に例示するように、測定領域については、テンプレート領域と同様に、任意に設定可能である。例えば、被写体の動きが大きくない場合には、基準となるテンプレート領域としてステップＳ１１において設定した位置と同じ位置に設定するのが一般的である。ステップＳ１８以後の処理は、設定した領域の数だけ実行する。

ステップＳ１８〜ステップＳ２１の処理は、それぞれ図５のステップＳ１〜ステップＳ４（及び上記ステップＳ１２〜ステップＳ１５）の処理と同様である。
ステップＳ２２で、画像処理部１３０は、ステップＳ２２以前の処理で得られた座標Ｑ^ｓ´ _Ｎに測定領域を再設定する。図１４の「第２の画像」についての再設定した測定領域を、図１６（ｂ）に示す。図１６（ｂ）の左側が再設定前の（図１５のステップＳ１７で設定した）測定領域、右側が再設定後の（同ステップＳ２２で設定した）測定領域である。

一般的に、第１の画像と第２の画像とでは、歪が異なっている。このため、基準となるテンプレート領域の座標Ｑ^ｔと測定領域の座標Ｑ^ｓとして、同一の座標を設定しても、それぞれステップＳ１６及びステップＳ２２で得られる座標Ｑ^ｔ´ _ＮとＱ^ｓ´ _Ｎとは、一般的には、互いに異なったものとなる。

最後に、ステップＳ２３で、画像処理部１３０は、再設定されたテンプレート領域と測定領域との相関を順次計算し、最も相関が高くなる位置を探し出して、これを動きベクトルとする。

上記においては、第１の画像のテンプレート領域及び第２の画像の測定領域をそれぞれ再設定する際に、収差及びＦＰ歪を加えた座標を求めているが、これに、上記第２の実施形態のように、幾何学的変形を加えた座標を求める構成とすることもできる。

上記の方法により求めた動きベクトルは、撮像装置１００の制御部１４１において画像内のある部分がどこに移動したかを認識するために利用し、例えば、自動追尾機能や顔認識機能に適用することができる。例えば上記第２の実施形態において説明したような、図１３のステップＳ５において、被写体の変化Ψに利用することもできる。

本発明は、上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１００ 撮像装置
１１０ 撮像光学系
１１１ 撮像素子
１１２ Ａ／Ｄ変換部
１２０ 手ぶれ処理部
１２１ 手ぶれ検出部
１３０ 画像処理部
１３１ 歪補正量取得部
１３２ 座標変換部
１４０ 配線バス
１４１ 制御部
１４２ 操作部
１４３ メモリコントローラ
１４４ メモリ
１４５ 表示処理部
１４６ モニタ
１４７ 記録処理部
１４８ 記録媒体

Claims (8)

1. 光学系により形成された被写体像から画像データを生成する撮像装置であって、
   フォーカルプレーン蓄積を行う撮像素子と、
   前記撮像装置に加わったぶれ量を出力する検出部と、
   前記光学系の収差により前記画像データに生じる第１の画像歪を補正するための第１の補正量を取得する第１の歪補正量取得部と、
   前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第２の画像歪を補正するための第２の補正量を取得する第２の歪補正量取得部と、
   前記第１及び第２の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換部と、
   を有し、
   前記座標変換部は、
   処理対象の座標値を前記第１の補正量に基づき変換する第１の変換動作と、この第１変換動作により変換された座標値を前記第２の補正量に基づき変換する第２の変換動作と、を実行可能に構成されており、かつ、
   前記第１及び第２の変換動作を１回以上繰り返し実行した後、最後に第１の変換動作によって前記第１の補正量に基づく変換処理を実行し、これを補正された座標値とすることを特徴とする撮像装置。
2. 前記座標変換部は、前記第１の変換動作及び前記第２の変換動作を繰り返し実行するかを判定する判定動作を更に実行可能に構成されていることを特徴とする請求項１に記載の撮像装置。
3. 前記判定動作において、前記座標変換部は、前記検出部が出力した、露光時間中に前記撮像装置に加わったぶれ量に基づく手ぶれベクトルの大きさに応じて前記第１と第２の変換動作を繰り返し実行するか判定することを特徴とする請求項２に記載の撮像装置。
4. 前記判定動作において、前記座標変換部は、繰り返し回数が所定の回数に達したか否かに基づき前記第１と第２の変換動作を繰り返し実行するか判定することを特徴とする請求項２に記載の撮像装置。
5. 前記撮像装置の回転により前記画像データに生じた第３の歪を補正するための第３の補正量を取得する第３の歪補正量取得部と、
   を更に有し、
   前記座標変換部は、前記第３の歪補正量に基づく第３の変換動作を更に実行可能に構成され、この第３の変換動作を実行した後に、前記第１及び第２の変換動作を実施することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記画像データを構成する画素の座標値より、動きベクトルを算出する動きベクトル算出部と、
   を更に有し、
   前記座標変換部は、第１のフレーム画像と第２のフレームの画像との間で動きベクトルを算出するときに、前記第１及び第２の画像のうち、動きベクトルの算出に利用する所定の領域内の座標値について、前記座標の変換処理を実施し、
   前記動きベクトル算出部は、前記座標変換部における座標の変換処理により得られた座標値を用いて、動きベクトルを算出する
   ことを特徴とする請求項１記載の撮像装置。
7. フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する画像処理方法であって、
   前記被写体像を形成する光学系の収差により前記画像データに生じる第１の画像歪を補正するため、第１の補正量を取得する第１の歪補正量取得ステップと、
   前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第２の画像歪を補正するための第２の補正量を取得する第２の歪補正量取得ステップと、
   前記第１及び第２の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、
   を有し、
   前記座標変換ステップは、
   処理対象の座標値を前記第１の補正量に基づき変換する第１の変換ステップと、この第１の変換ステップにより変換された座標値を前記第２の補正量に基づき変換する第２の変換ステップと、を有しており、かつ、
   前記第１及び第２の変換ステップを１回以上繰り返し実行した後、最後に第１の変換ステップによって前記第１の補正量に基づく変換処理を実行し、これを補正された座標値とすることを特徴とする画像処理方法。
8. フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する撮像装置の制御プログラムであって、
   前記被写体像を形成する光学系の収差により前記画像データに生じる第１の画像歪を補正するため、第１の補正量を取得する第１の歪補正量取得ステップと、
   前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第２の画像歪を補正するための第２の補正量を取得する第２の歪補正量取得ステップと、
   前記第１及び第２の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、
   を有し、
   前記座標変換ステップは、
   処理対象の座標値を前記第１の補正量に基づき変換する第１の変換ステップと、この第１の変換ステップにより変換された座標値を前記第２の補正量に基づき変換する第２の変換ステップと、を有しており、かつ、
   前記第１及び第２の変換ステップを１回以上繰り返し実行した後、最後に第１の変換ステップによって前記第１の補正量に基づく変換処理を実行し、これを補正された座標値とすることを特徴とする制御プログラム。