JP7297412B2 - 画像処理装置、画像処理方法、およびレンズ装置 - Google Patents

Description

本発明は、撮影光学系による画像の収差を補正する技術に関する。

デジタルカメラなどの撮像装置においては、装着された撮影光学系の収差により撮像画像の品質が低下することがある。撮像光学系のレンズには「被写体とレンズによる光学像とは相似形になる」とういう理想条件を満たすことが求められるが、実際にはレンズの歪曲収差により理想条件を満たすことは難しい。歪曲収差とは被写体の光学像が歪んで写るようになる収差であり、例えば光学像が対角線方向に伸びた形に歪む収差は糸巻型歪曲収差と呼ばれ、逆に対角線方向が縮んだ形に歪む収差は樽型歪曲収差と呼ばれる。

このような撮像画像における歪曲収差を電子的に補正する技術として、その歪曲収差の歪量に応じて画像を像高ごとに変倍する技術が知られている。その一例として、特許文献１には、幾何変形処理により歪曲収差補正を行う技術が開示されている。特に、特許文献１には、幾何変形処理に必要な参照領域が撮像領域内に収まるか否か判定し、収まらない場合には、収まるように参照領域の変位量に上限値を設定し、その上限値に基づくパラメータを用いて幾何変形処理を行う技術が開示されている。

特開２０１４－１２７７７３号公報

ところで、撮像装置の出力画像は、予め設定された出力画素数になることが期待されているため、歪曲収差補正後の画像に対しては、撮像装置で設定された出力画素数になるようなリサイズ処理が施されることが多い。一方で、例えば動画像の撮影中にはピント位置が変化することが多く、その変化したピント位置によって歪曲収差量が変動するため、歪曲収差補正後の画像にリサイズ処理を行うと、被写体像の大きさが変化した動画像になることがある。これは、ピント位置を変えながら静止画の連続撮影を行った場合も同様である。この場合、歪曲収差補正後の画像から、常に撮像装置の設定出力画素数の画像を切り出すようにすれば、被写体像の大きさが変化するのを抑制できる。

しかしながら、例えば糸巻型歪曲収差補正のように縮小する方向への幾何変換が行われるような場合には、画像データが存在しない（糸巻型歪曲収差補正では対角線方向の四隅にデータが存在しない）ブランク領域が生じた出力画像になってしまうことがある。前述した特許文献１の技術は、幾何変換処理に必要な参照領域が撮像領域内に収まらない場合に、収まる範囲内で補正を行うため、ブランク領域が生ずるのをある程度抑えることは可能である。しかしながら、条件によっては歪曲収差を補正できなくなるケースが頻発することが想定される。このように従来の技術では、歪曲収差が良好に補正された品質の高い画像を得ることができなくなる場合がある。

そこで、本発明は、例えば動画像の歪曲収差補正を行う場合において高品質の画像を生成可能にすることを目的とする。

本発明の画像処理装置は、レンズにより形成された光学像を撮像して得られた撮像画像の歪曲収差を補正するための補正値に関する第１の情報と、前記歪曲収差を補正したことによる画角変動を補正するための第２の情報とを取得する取得手段と、前記第１の情報と前記第２の情報とを用いて、前記歪曲収差を補正した画像を生成する処理手段と、を有し、前記第１の情報は、前記レンズの焦点距離およびピント位置の組合せ別に用意された情報であり、前記第２の情報は、前記レンズのピント位置に対応せずに、前記レンズの焦点距離別に用意された情報であることを特徴とする。

本発明によれば、例えば動画像の歪曲収差補正を行う場合において高品質の動画像を生成することが可能となる。

実施形態の撮像装置とレンズ装置の構成例を示す図である。 第１の実施形態に係る補正値算出処理のフローチャートである。 樽型歪曲収差補正の説明図である。 糸巻型歪曲収差補正の説明図である。 動画像の樽型歪曲収差補正の説明図である。 動画像の糸巻型歪曲収差補正の説明図である。 第１の実施形態に係るデータフォーマットの一例を示す図である。 第１の実施形態に係る拡大率算出処理のフローチャートである。 第２の実施形態に係る動画モードの撮像領域を示す図である。 歪曲収差の特性を示す図である。 第２の実施形態に係る陣型歪曲収差補正の特徴を示す図である。 第２の実施形態に係る補正値算出処理のフローチャートである。 第２の実施形態に係る歪曲シフト量を説明する図である。 第２の実施の形態に係るデータフォーマットの一例を示す図である。 歪曲収差補正メニューの一表示例を示す図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
本発明に係る画像処理装置は、例えば静止画や動画を撮影する撮像装置に適用され、例えば動画撮影時や静止画の連続撮影時のフォーカスレンズ駆動による画角変動を抑制した歪曲収差補正処理を実現可能な装置である。
＜第１の実施形態＞

図１は、本発明に係る画像処理装置の適用例である撮像装置１００の概略構成を示すブロック図である。本実施形態の撮像装置１００は、動画撮影時のフォーカスレンズ駆動による画角変動を抑制する歪曲収差補正機能を搭載した、例えばレンズ交換可能なデジタルカメラであるとする。なお本実施形態では、撮像装置１００としてレンズ交換式のデジタルカメラを例に挙げているが、レンズ一体型のデジタルカメラであってもよい。

本実施形態の撮像装置１００はレンズマウント部１８０を有している。レンズマウント部１８０にはレンズ装置１５０を着脱可能とする装着機構が設けられている。図１の例では、撮像装置１００のレンズマウント部１８０にレンズ装置１５０が装着された状態を示している。
レンズ装置１５０は、フォーカスレンズ１５１、ズームレンズ１５２、絞り１５３、防振制御レンズ１５４等で構成された撮影光学系と、撮影光学系の制御や各種情報の送受信制御等を行う制御系とを有して構成されている。レンズ装置１５０の撮像光学系は、撮像装置１００の撮像素子１０２の撮像面上に、被写体等の光学像を結像させる。なお、フォーカスレンズ１５１やズームレンズ１５２、防振制御レンズ１５４は、複数枚のレンズから構成されるレンズ群でもよい。レンズ装置１５０が備える撮影光学系や制御系、その他の構成の説明は後述する。

撮像装置１００のミラー制御部１１１は、システム制御部１３０からの制御信号に基づいて主ミラー１１２をミラーアップまたはミラーダウンさせる駆動制御を行う。
主ミラー１１２は、ミラー制御部１１１による制御の下で、レンズ装置１５０から入射した光束を撮像素子１０２側または光学ファインダー１１４側へと導く。主ミラー１１２は、ミラーダウン状態の時、レンズ装置１５０からの光束を反射させることで光学ファインダー１１４側に導く。主ミラー１１２がミラーアップ状態になされた場合、レンズ装置１５０からの光束は撮像素子１０２に入射する。また、主ミラー１１２は、その中央部が光の一部を透過できるようにハーフミラーとなされており、ミラーダウン状態の時に、レンズ装置１５０からの光束の一部がハーフミラーを透過する。ハーフミラーを透過した光束は、不図示の焦点検出用サブミラーにより反射されて、例えば位相差検出センサーである不図示の焦点検出センサーに導かれる。
ペンタプリズム１１３は、主ミラー１１２がミラーダウン状態となされている場合に、レンズ装置１５０から入射されて主ミラー１１２により反射された光束を、光学ファインダー１１４へ導く。
光学ファインダー１１４は、不図示のピント板や接眼レンズなどを有して構成される。

シャッター１０１はフォーカルプレーンシャッターである。
シャッター制御部１１０は、システム制御部１３０からの制御信号に基づいて、シャッター１０１の開閉駆動を制御する。なお、シャッター制御部１１０は、ミラー制御部１１１と連携しながらシャッター１０１の開閉駆動を制御する。

撮像素子１０２は、例えばＣＣＤセンサーやＣＭＯＳセンサーなどであり、レンズ装置１５０によって結像された被写体像を電気信号に変換する。撮像素子１０２は、いわゆる像面位相差検出用の複数の焦点検出画素を有していてもよい。画像生成部１０３は、撮像素子１０２から出力されたアナログ撮像信号をデジタルデータに変換することにより、撮像画像データを生成する。画像生成部１０３により生成された撮像画像データは、メモリ制御部１０５、画像処理部１４０へ送られる。

タイミング発生部１０４は、撮像素子１０２、画像生成部１０３、メモリ制御部１０５、システム制御部１３０および画像処理部１４０にクロック信号および同期信号を供給する。
メモリ制御部１０５は、システム制御部１３０による制御の下、メモリ１０７の書き込みと読み出し、記録部１０８の書き込みと読み出し、画像生成部１０３の画像生成や出力、画像処理部１４０の画像処理や出力、画像表示部１０６の画像表示等を制御する。例えば、画像生成部１０３から出力された画像データは、画像処理部１４０およびメモリ制御部１０５を介して、メモリ１０７や記録部１０８に書き込まれる。また、メモリ制御部１０５は、システム制御部１３０による制御の下でタイミング発生部１０４を制御して、各部に対するクロック信号や同期信号の出力を制御する。

メモリ１０７は、撮影した静止画像や動画像のデータを格納する。また、メモリ１０７は、システム制御部１３０の作業領域としても使用される。メモリ１０７には、必要に応じて、画像処理部１４０の画像処理に必要な情報が予め格納されていてもよい。
記録部１０８は、撮像装置１００の内蔵された不揮発性メモリ、もしくは撮像装置１００より取り外しが可能な不揮発性メモリにより構成され、撮影した静止画像や動画像のデータを格納する。
画像表示部１０６は、液晶ディスプレイ（ＬＣＤ）などを用いて構成される。画像表示部１０６が電子ビューファインダー（ＥＶＦ）として用いられる場合、撮像素子１０２を用いて撮像した画像データを逐次表示することでＥＶＦ機能が実現される。画像再生時には、メモリ１０７や記録部１０８に記録された画像が読み出されて画像表示部１０６に表示される。

シャッタースイッチ１１５はシャッターボタンのいわゆる半押しでオンになるスイッチＳＷ１であり、シャッタースイッチ１１６はシャッターボタンのいわゆる全押しでオンになるスイッチＳＷ２である。スイッチＳＷ１がオン状態になると、システム制御部１３０は、カメラにおけるＡＦ処理、ＡＥ処理、ＡＷＢ処理などの動作制御を開始する。スイッチＳＷ２がオンになると、システム制御部１３０は、撮像素子１０２、メモリ制御部１０５、シャッター制御部１１０、ミラー制御部１１１等を制御し、またＩ／Ｆ１２０を介してレンズ装置１５０を制御して、撮像装置１００における撮像を開始する。さらに、システム制御部１３０は、画像処理部１４０における画像処理等を行わせ、メモリ１０７や記録部１０８への画像データの記録を行わせる。

カメラ操作部１１７は、各種ボタンやタッチパネル、電源オンオフボタンなどから構成され、ユーザー操作を受け付け、そのユーザー操作による指示をシステム制御部１３０に出力する。カメラ操作部１１７を介したユーザー指示を基に、システム制御部１３０は、撮像装置１００に搭載された各種機能、例えばＡＦモード、ＡＥモードといった動作モードの切り替えなどを実施する。
カメラ電源制御部１１８は、外部電池や内蔵電池の管理を行う。電池が取り外された場合や電池残量がなくなった場合、カメラ電源制御部１１８は、カメラ制御の緊急遮断処理を行う。このとき、システム制御部１３０は、レンズ装置１５０に供給する電源も遮断する。

Ｉ／Ｆ１２０は、レンズ装置１５０との間で各種情報や制御命令などを送受信するためのインターフェース（以後、Ｉ／Ｆとする）部である。Ｉ／Ｆ１２０は、コネクタ１９０を介して、レンズ装置１５０のＩ／Ｆ１７０と接続され、撮像装置１００内のシステム制御部１３０とレンズ装置１５０内のレンズ制御部１６０との間で電気信号を用いた通信を実施する。

システム制御部１３０は、スイッチＳＷ１、スイッチＳＷ２、メモリ制御部１０５、カメラ操作部１１７などからの情報を取得する。そして、システム制御部１３０は、それらの情報を基に、撮像素子１０２、メモリ制御部１０５、シャッター制御部１１０、ミラー制御部１１１、Ｉ／Ｆ１２０を介してレンズ装置１５０などを制御することにより、カメラ全体を制御する。
また、システム制御部１３０は、ＡＦ制御部１３１、レンズ通信制御部１３３、収差補正制御部１３２としての各種制御や処理も行う。

ＡＦ制御部１３１は、撮像装置１００におけるＡＦ処理とＡＦ制御を行う。ＡＦ制御部１３１は、ユーザーにより設定されたＡＦモードに応じたＡＦ処理として、Ｉ／Ｆ１２０を介してレンズ装置１５０から得られるフォーカス位置や焦点距離などのレンズ情報と、後述するＡＦ評価値とを基に、フォーカスレンズ駆動量を演算する。本実施形態の撮像装置１００の場合、ＡＦモードとしては、位相差ＡＦモード、コントラストＡＦモード、像面位相差ＡＦモードが用意されており、ユーザー選択あるいは自動選択によりそれら何れかのＡＦモードに設定されるようになされている。位相差ＡＦモードの場合、ＡＦ制御部１３１は、不図示の焦点検出センサーが検出した位相差検出信号から不図示の合焦状態判定部が生成した位相差ＡＦ評価値を用いてフォーカス駆動量を演算する。コントラストＡＦモードの場合、ＡＦ制御部１３１は、画像処理部１４０にて演算されたコントラストＡＦ評価値を用いてフォーカス駆動量を演算する。像面位相差ＡＦモードの場合、ＡＦ制御部１３１は、撮像素子１０２に設けられた複数の焦点検出画素より出力された撮像面位相差ＡＦ評価値を用いてフォーカスレンズ駆動量を演算する。なお本実施形態では、ＡＦモードとして像面位相差ＡＦモードを想定しているが、これに限定されるものではなく、位相差ＡＦモード、コントラストＡＦモードでもよく、その他にもマニュアルフォーカスが行われてもよい。また本実施形態の撮像装置１００は、１点の測距点でＡＦを行う１点ＡＦモード、多点の測距点でＡＦを行う多点ＡＦモード、被写体の顔に合わせる顔検出ＡＦモードなどのＡＦ評価モードを、ユーザー選択あるいは自動選択可能となされている。ＡＦ制御部１３１は、設定されたＡＦ評価モードに応じて、評価値を演算するＡＦ枠位置を切り替えるような制御も行う。そして、ＡＦ制御部１３１により演算されたフォーカスレンズ駆動量は、レンズ通信制御部１３３からＩ／Ｆ１２０を介してレンズ装置１５０に送られる。

レンズ通信制御部１３３は、撮像装置１００とレンズ装置１５０との間の通信処理を制御する。レンズ通信制御部１３３は、Ｉ／Ｆ１２０を介してレンズ装置１５０が装着されたことを検知すると、撮像装置１００とレンズ装置１５０の間の通信を開始し、任意のタイミングでレンズ情報を受信するとともに、カメラ情報、駆動命令などを送信する。例えば撮像装置１００がファインダー撮影モードの場合、レンズ通信制御部１３３は、任意のタイミングでレンズ装置１５０への通信を行う。またライブビュー撮影モードの場合、レンズ通信制御部１３３は、任意のタイミング以外に、タイミング発生部１０４より出力された撮像同期信号に基づいたタイミングで通信してもよい。撮像同期信号に基づいたタイミングで通信を行う場合、レンズ通信制御部１３３は、タイミング発生部１０４から撮像同期信号が入力されると、レンズ情報（フォーカスレンズ位置、フォーカスレンズ状態、絞り状態、焦点距離など）をまとめて受信する。

収差補正制御部１３２は、レンズ装置１５０からフォーカス位置や焦点距離位置に応じた収差量を表す情報（以下、収差補正情報とする。）を、Ｉ／Ｆ１２０を介しさらにレンズ通信制御部１３３を経由して取得する。なお、レンズ装置１５０の収差補正情報がメモリ１０７に予め保持されている場合、収差補正制御部１３２は、当該メモリ１０７からそれらの情報を取得してもよい。なお本実施形態では、レンズ装置１５０の撮影光学系に起因する収差補正の例として、歪曲収差補正を挙げており、したがって収差補正制御部１３２は歪曲収差補正情報を取得する。そして、収差補正制御部１３２は、取得した歪曲収差補正情報に基づいて、撮像モードに応じた補正量を算出し、画像処理部１４０内のリサイザ１４１に対して歪曲収差補正量を設定する。

画像処理部１４０は、画像生成部１０３から画像データあるいはメモリ制御部１０５からの画像データに対し、所定の画素補完処理や色変換処理を行い、画像データの生成を行う。また画像処理部１４０は、画像データを用いて他のさまざまな演算処理を行うこともできる。また、画像処理部１４０は、レンズ装置１５０から像倍率変化特性情報や歪曲収差特性情報を、Ｉ／Ｆ１２０を介しさらにシステム制御部１３０を経由して取得する。像倍率変化特性情報や歪曲収差特性情報がメモリ１０７に予め保持されている場合、画像処理部１４０は、当該メモリ１０７からそれらの情報を取得してもよい。そして、画像処理部１４０は、それらの情報に基づく収差補正処理をリサイザ１４１において実行する。またリサイザ１４１は、画像の拡大縮小処理をも行い、例えば歪曲収差補正のように像高に応じてリサイズ率が異なるようなケースに対応した拡大縮小処理を行う。なお、画像処理部１４０による収差補正処理は、レンズ装置１５０にて形成された光学像から生成した撮像画像に対して行われる場合の他、別途取得されて記録部１０８等に記録されている撮像画像に対しても行うことができる。本実施形態において、画像処理部１４０で行われる歪曲収差補正処理の詳細については後述する。

次にレンズ装置１５０が有している撮影光学系と制御系、およびその他の構成について説明する。レンズ装置１５０の撮影光学系は前述したようにフォーカスレンズ１５１、ズームレンズ１５２、絞り１５３、防振制御レンズ１５４等を有して構成されている。また、レンズ装置１５０の制御系は、レンズ制御部１６０、フォーカス制御部１５５、ズーム制御部１５６、絞り制御部１５７、防振制御部１５９、およびレンズ操作部１６１等を有して構成されている。その他、レンズ装置１５０は、角速度検出部１５８、メモリ１６２、Ｉ／Ｆ１７０等も有している。

フォーカスレンズ１５１は、光軸方向に移動することで撮像光学系における焦点位置を変化させる。ズームレンズ１５２は、光軸方向に移動することで撮像光学系における焦点距離を変化させる。絞り１５３は、開口径（絞り値）を可変させる機構を有し、開口径を変化させることにより、撮像装置１００への入射光量を変化させる。防振制御レンズ１５４は、光軸方向に対して直交する方向に移動することで、手振れ等のカメラ振れによる像振れを低減する。

フォーカス制御部１５５は、レンズ制御部１６０による制御もしくはレンズ操作部１６１を介して入力されたユーザー指示に応じて、フォーカスレンズ１５１を駆動させる。またフォーカス制御部１５５は、フォーカスレンズ１５１の位置などのフォーカス情報をレンズ制御部１６０へ出力する。
ズーム制御部１５６は、レンズ制御部１６０による制御もしくはレンズ操作部１６１を介して入力されたユーザー指示に応じて、ズームレンズ１５２を駆動させる。またズーム制御部１５６は、焦点距離などのズーム情報をレンズ制御部１６０へ出力する。
絞り制御部１５７は、レンズ制御部１６０による制御もしくはレンズ操作部１６１を介して入力されたユーザー指示に応じて、絞り１５３を駆動させる。また、絞り制御部１５７は、絞り値などの絞り情報をレンズ制御部１６０へ出力する。

角速度検出部１５８は、レンズ制御部１６０による制御の下で、手振れやパンニング、チルティング等によりレンズ装置１５０が移動する際の角速度（Ｙａｗ、Ｐｉｔｃｈ方向の角速度）を検出して、レンズ制御部１６０へ出力する。
防振制御部１５９は、レンズ制御部１６０による制御の下で、防振制御レンズ１５４を駆動させる。また防振制御部１５９は、防振可能範囲などの防振情報をレンズ制御部１６０へ出力する。

レンズ制御部１６０は、レンズ操作部１６１からのユーザー指示もしくはＩ／Ｆ１７０を介した撮像装置１００からの命令に基づき、フォーカス制御部１５５、ズーム制御部１５６、絞り制御部１５７、角速度検出部１５８、防振制御部１５９などを制御する。例えば、撮像装置１００からレンズ情報取得命令が送られてきた場合、レンズ制御部１６０は、各制御部や検出部などから取得した情報を、Ｉ／Ｆ１７０を介して撮像装置１００へ送信する。またレンズ制御部１６０は、フォーカス情報およびズーム情報を基に、フォーカスレンズ１５１の駆動可能な範囲で取り得る最大焦点距離の演算と、フォーカスレンズ１５１の現在位置における焦点距離変動率の演算とを行う。そして、レンズ制御部１６０は、例えば撮像装置１００からの要求に対する応答として、それら最大焦点距離および焦点距離変動率の演算結果の情報を、Ｉ／Ｆ１７０を介して撮像装置１００へ送信する。

レンズ操作部１６１は、例えばフォーカス操作リング、ズーム操作リング、ＡＦ／ＭＦスイッチ、ＩＳ（防振）オンオフスイッチなどを有し、それらをユーザーが操作したとき操作情報をユーザー指示としてレンズ制御部１６０に出力する。またこの時のレンズ制御部１６０は、レンズ操作部１６１から入力されたユーザー操作情報を、Ｉ／Ｆ１７０を介して撮像装置１００へ送信する。この場合、撮像装置１００のシステム制御部１３０は、Ｉ／Ｆ１２０を介して受信したユーザー操作情報を基に、レンズ装置１５０に搭載された各種機能についての動作モードの切り替えを実施する。

メモリ１６２は、レンズ装置１５０の内部メモリであり、制御系における制御に使用される情報や、レンズ装置ごとの個別の情報等が格納されている。レンズ装置ごとの個別の情報としては、様々な情報があるが、一例として、レンズ装置１５０における像倍率変化特性情報や歪曲収差特性情報を含む各種の光学特性情報等が挙げられる。
Ｉ／Ｆ１７０は、レンズ装置１５０がレンズマウント部１８０に装着された場合、コネクタ１９０を介して撮像装置１００のＩ／Ｆ１２０と接続する。そして、Ｉ／Ｆ１７０は、コネクタ１９０およびＩ／Ｆ１２０を介して、撮像装置１００のシステム制御部１３０とレンズ装置１５０のレンズ制御部１６０との間で電気信号を用いた通信を実施する。

＜歪曲収差補正のための構成と処理の説明＞
本実施形態の撮像装置１００は、レンズ装置１５０に起因する歪曲収差を補正するための補正値に関する第１の情報と、歪曲収差を補正したことによる画角変動を抑制するための第２の情報とを用いて、歪曲収差を補正した画像を生成可能となされている。
図２は、本実施形態の撮像装置１００において、焦点位置が変化した時（ピント変動時）に画角変化を抑制した歪曲収差補正を実現する、歪曲収差補正値算出処理の流れを示したフローチャートである。
ここで、図２に示したフローチャートについて説明する前に、本実施形態における歪曲収差補正の理解を容易にするために、以下の図３～図６を用いて、一般的な歪曲収差の補正処理とその問題点について説明する。

図３は、一般的な樽型歪曲収差の補正処理について説明するための図である。図３の画像３００は樽型歪曲収差補正前の画像の一例を表している。なお、図３では、被写体として顔のみが写った例を挙げているため、レンズによる樽型歪曲収差の影響は見え難いが、例えば直線を含む被写体が写っている場合、歪曲収差補正前の画像では、その直線部分が歪んだ状態となって写っている。画像３０１は、画像３００に対してレンズの特性に応じた樽型歪曲収差補正をかけた後の画像を表している。樽型歪曲収差は対角線方向が縮むような歪みが生ずる収差であるため、樽型歪曲収差の補正は、画像を対角線方向に伸ばすような補正となる。また、歪量は一般的に軸上からの距離（以降、像高と呼ぶ。）が長ければ長いほど大きくなる傾向があるので、樽型歪曲収差補正後の画像３０１は、特に対角線方向の四隅がつままれたような、つまり四隅方向を伸ばしたような画像になる。ただし、この収差補正後の画像３０１内に写っている被写体は、レンズの樽型歪曲収差による歪みが補正された状態となる。一方、出力する画像は最終的には正方形や長方形等の矩形画像にする必要があるため、歪曲収差補正後の画像３０１に対しては、可能な限り広い画角の画像３０２にするような処理（以降、この処理を最大画角演算処理と呼ぶ。）が施される。そして、一般的な撮像装置の出力画素数は予め決められた一定値になることが期待されているため、最大画角演算処理後の画像からは矩形画像３０４が切り出され、さらに撮像装置の出力画素数（例えば画像３００と同じ画素数）に合わせる処理がなされる。すなわち、最終的に出力される画像３０３は、樽型歪曲収差補正で四隅方向に伸ばされ更に最大画角演算処理が施された画像から切り出した矩形画像３０４を、元の画像３００と同じサイズまで縮小するようになされた画像となる。このような一連の処理が行われることにより、画角の欠損を最小限に抑えた樽型歪曲収差補正後の画像が生成される。

次に図４を用いて、一般的な糸巻型の歪曲収差の補正処理について説明する。図４の画像４００は糸巻型歪曲収差補正前の画像の一例を表している。なお図４においても図３の例と同様に、被写体として顔のみが写っているため、レンズによる糸巻型歪曲収差の影響は見え難いが、直線を含む被写体の場合、歪曲収差補正前の画像では、その直線部分が歪んだ状態となって写っている。画像４０１は、画像４００に対してレンズの特性に応じた糸巻型歪曲収差補正をかけた後の画像を表している。糸巻型歪曲収差は対角線方向が伸びるような歪みが生ずる収差であるため、糸巻型歪曲収差の補正は、画像を対角線方向に縮めるような補正となる。また糸巻型歪曲収差の場合も、歪量は像高が高くなるほど大きくなる傾向があるので、糸巻型歪曲収差補正後の画像４０１は、特に対角線方向の四隅が縮められたような画像になる。ただし、収差補正後の画像４０１内に写っている被写体は、糸巻型歪曲収差による歪みが補正された状態となる。また糸巻型収差補正が行われた場合も前述同様に、出力する画像は最終的には長方形等の矩形画像にする必要があるため、収差補正後の画像４０１には可能な限り広い画角の画像４０２にするような最大画角演算処理が施される。そして、最大画角演算処理後の画像からは矩形画像４０４が切り出され、さらに撮像装置の出力画素数（画像４００と同サイズ）に合わせる処理がなされる。すなわち最終的に出力される画像４０３は、糸巻型歪曲収差補正で四隅方向に縮められ更に最大画角演算処理が施された画像から切り出した矩形画像４０４を、元の画像４００と同じサイズまで拡大するようになされた画像となる。このような一連の処理が行われることにより、画角の欠損を最小限に抑えた糸巻型歪曲収差補正後の画像が生成される。

以上、一般的な歪曲収差補正の手法を述べたが、例えば動画像が撮影されている場合において、その動画像に歪曲収差補正を行うと、歪曲収差の補正量に応じて、画面中央に映っている被写体の大きさが変化してしまうことがある。前述した図３と図４で説明した歪曲収差補正方法では、最大画角演算処理後の画像から矩形画像を切り出して最終的な出力画像を生成する処理の際に、歪曲収差の補正量に応じて矩形画像を拡大（図３の場合）または縮小（図４の場合）する処理が行われる。このため、動画像の撮影中に、例えばピント位置を動かすと、その動かしたピント位置に応じて歪曲収差量が変化し、その補正のための補正量が変動する。つまり、動画撮影中にピント位置を動かすだけで、最終的な出力画像を得る際の拡大率または縮小率が変化することになり、その結果、画面の中心に映っている被写体の大きさが変わってしまうような低品質の動画になる虞がある。

このようなことに対処するための一例として、前述した最大画角演算処理を行わないようにする方法が考えられる。この方法について図５を用いて説明する。図５では、樽型歪曲収差補正処理が行われる場合の例である。図５の画像５００は図３の画像３００と同様の樽型歪曲補正前の画像例であり、画像５０１は図３の画像３０１と同様の樽型歪曲収差補正後の画像例である。この例の場合には、樽型歪曲収差補正後の画像５０１に対し、前述した最大画角演算処理を行わずに、元の画像５００と同サイズの矩形画像５０４が切り出され、その切り出した矩形画像５０４が最終的に出力される画像５０３となされる。つまり、出力される画像５０３は、矩形画像５０４に対して前述のような縮小するリサイズ処理が行われない画像となされる。この処理によれば、画像の中心に映っている被写体のサイズを変えることなく出力させることが可能となる。したがって、例えば動画像の撮影時にピント位置を変動させて、歪曲収差量が変化しても、被写体中央部の像の倍率が変化することを防ぎつつ、歪曲収差補正を行うことが可能となる。

ところが、この方法では、糸巻型歪曲収差に対する補正が行われる場合に以下のような問題が生ずることがある。これについて図６を用いて説明する。図６の画像６００は図４の画像４００と同様の糸巻型歪曲補正前の画像例であり、画像６０１は図４の画像４０１と同様の糸巻型歪曲収差補正後の画像例である。ここで、糸巻型歪曲収差補正後の画像４０１に対し、前述した最大画角演算処理を行わずに、元の画像４００と同サイズの矩形画像を切り出すとする。しかしながら、糸巻型歪曲収差補正では、前述したように対角線の四隅方向を縮める処理が行われるため、元の画像４００と同サイズとして切り出される矩形画像６０３は、四隅に画像が存在しないブランク領域６０５が生じた画像となる。このため、糸巻型歪曲収差補正を行う場合には、前述した最大画角演算処理を実施せざるを得ず、これにより例えば動画撮影時にピント位置が変動すると、ピント位置の歪曲特性に応じて像の中心の倍率が変動した低品質の動画になるという問題が残る。

そこで、本実施形態の撮像装置１００では、図２に示すフローチャートの歪曲収差補正値算出処理を行うことにより、焦点位置が変化した時（ピント変動時）に画角変化を抑制した歪曲収差補正を実現可能としている。図２に示すフローチャートの処理は、撮像装置１００のシステム制御部１３０により実行される。なおこのフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等が実行するプログラムに基づくソフトウェア構成により実現されてもよく、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ＣＰＵ等が実行するプログラムは、例えば記録部１０８の不揮発性メモリ等に格納されていてもよいし、外部メモリから取得されてもよく、或いは不図示のネットワーク等を介して取得されてもよい。以下の説明では、各処理のステップＳ２０１～ステップＳ２０８をＳ２０１～Ｓ２０８と略記する。これらのことは後述する他のフローチャートにおいても同様とする。

Ｓ２０１において、システム制御部１３０のレンズ通信制御部１３３は、レンズマウント部１８０に装着されたレンズの歪曲収差補正における特徴情報のフラグを、レンズ装置１５０からＩ／Ｆ１７０を介して取得する。ここでいうフラグとは、装着されたレンズ装置１５０が、動画における歪曲収差補正に対応したレンズであるかどうか判定するための情報である。歪曲収差補正は画角変換が行われる補正であるため、動画のように時間軸で変化する画像に対しては連続した各フレームの画像が滑らかにつながる補正を行う必要がある。一方、レンズ装置１５０によっては、フォーカス制御値やズーム制御値を十分細かい精度で所持していないものもある。そのようなレンズ装置の場合、撮影されている動画のフレームに対し歪曲収差補正を実施すると、前述したようにズーム制御値やフォーカス制御値の切り替わり時に補正量が急激に変化して動画像が急激に画角変化を起こし、動画の品質が低下してしまう。このため、動画撮影時にも歪曲収差補正が可能なほど十分な精度のズーム・フォーカス制御値を有しているレンズ装置１５０のみ、当該フラグを立てておく必要がある。このフラグは、予めレンズ装置１５０のメモリ１６２に記録しておくことや後述する歪曲収差補正データの中に記録しておくことが望ましい。

次にＳ２０２において、システム制御部１３０の収差補正制御部１３２は、現在の撮影モードが動画モードか静止画モードかを判定する。静止画の場合、時間軸での微小な画角変化はユーザーにとってさほど気にならないので、収差補正制御部１３２は、静止画モードであると判定した場合にはＳ２０３に処理を進めて図３で説明したような最大画角演算を実施する。ただし、静止画モードであっても、連続撮影により取得される静止画の場合には画角変動を抑える方が望ましいこともあるため、静止画の連続撮影時において画角変動を抑えたい場合には動画モードと判定してもよい。一方、Ｓ２０２において動画モードであると判定した場合、収差補正制御部１３２は、Ｓ２０４に処理を進める。

Ｓ２０４に進むと、収差補正制御部１３２は、装着されたレンズ装置１５０が動画歪曲収差補正に対応可能なレンズか否かを判定する。Ｓ２０４における判定は、Ｓ２０１において取得したフラグの情報を基に行われる。ここで、動画の歪曲収差補正に対応してないレンズ装置１５０を用いて撮影された動画に対して歪曲収差補正を適用してしまうと、前述したように動画の品質が保証できなくなる虞があるため、そのことをユーザーに通知する必要がある。このため、収差補正制御部１３２は、レンズ装置１５０が動画歪曲収差補正に対応していないと判定した場合には、Ｓ２０５に処理を進め、例えば画像表示部１０６への警告表示によりユーザーに対して動画の品質が保証できなくなる虞があることを通知する。なお、ユーザーへの通知の方法としては、例えば、画像表示部１０６に歪曲収差補正が適用されてないことを示すアイコンを表示することや、図１５に示すように、歪曲収差補正のメニューを選択できないようにするなどが挙げられる。図１５は、画像表示部１０６に画面表示される歪曲収差補正メニューの一例であり、通常は歪曲収差補正を「する（ＯＮ）」と「しない（ＯＦＦ）」のメニュー項目選択が可能であるが、それらニュー項目の選択ができないようにする。そして、収差補正制御部１３２は、次のＳ２０６において、強制的に歪曲収差補正のパラメータを無効化して設定する。

また、動画歪曲収差補正に対応可能なレンズであっても、前述したように最大画角演算処理を行うと、ピント変動時のフォーカス位置に応じて画角変化が発生してしまうため、最大画角演算を実施せずに歪曲収差補正値を算出する必要がある。このため、Ｓ２０４でレンズ装置１５０が動画歪曲収差補正に対応可能なレンズであると判定した場合、収差補正制御部１３２は、Ｓ２０７において、最大画角演算処理を実施せずに歪曲収差補正値を算出する。ただし、最大画角演算処理を実施しない場合、前述したように、糸巻型の歪曲収差に対する補正が行われると、画素数が元のサイズよりも小さいくなり周辺部分にブランク領域が生じてしまう。

このため、収差補正制御部１３２は、レンズ装置１５０が糸巻型の歪曲収差が発生するレンズである場合には、Ｓ２０８において、画像処理部１４０に対して拡大処理を行うように指示し、周辺部分にブランク領域が生じないように制御する。すなわち、画像処理部１４０において拡大処理を行うことで、画像が存在しないブランク領域が前述した矩形画像の外側に移動することになるため、元の画像と同じサイズでかつ、周辺部分にも画像が存在している矩形画像を取得することができるようになる。なお、画像処理部１４０で拡大処理を行う際の拡大率は、一律の拡大率として設定されていてもよいし、レンズ装置１５０のメモリ１６２に予め保持されていてもよい。

ただし、焦点距離などの条件によっては糸巻型の歪曲収差が殆ど生じない場合もあり、一律の拡大率を設定すると、糸巻型の歪曲収差が殆ど生じない場合にも一律に拡大処理を行うことになって画像品質が低下してしまうこともある。このため、例えば図７（ａ）、図７（ｂ）のデータや図８のフローチャートを用いて、焦点距離ごとに拡大率を変更することにより、拡大処理による品質低下を最小限に抑えるようにする。

図７（ａ）は、焦点距離ごとの拡大率を事前に保持するためのデータフォーマット例を示した図である。図７（ａ）において、メモリ領域７０１は歪曲収差補正データそのものが格納される領域である。メモリ領域７０１の歪曲収差補正データは、動画と静止画で共通に使用されるため、レンズ装置１５０の光学特性情報を変換せずにそのまま格納しておく。メモリ領域７０２は、Ｓ２０８で取得する拡大率の情報がテーブルとして格納される領域である。

図７（ｂ）は、メモリ領域７０２に格納されるテーブルの一例であり、レンズ装置１５０が取り得る各焦点距離と、焦点距離ごとに対応した拡大率の値との対応関係を示している。図７（ｂ）のテーブルには、焦点距離Ｚ０１～Ｚ０７に応じた糸巻型歪曲収差補正時に必要な拡大率の値が記録されている。この図７（ｂ）の例の場合、焦点距離Ｚ０１～Ｚ０３において、拡大率は１倍に設定されている。つまりこのことは、焦点距離Ｚ０１～Ｚ０３の領域は糸巻型の歪曲収差が殆どないため、拡大する必要がないことを示している。一方、焦点距離Ｚ０４～Ｚ０７では、拡大率が徐々に大きくなるように設定されている。つまりこのことは、焦点距離Ｚ０４～Ｚ０７の領域は糸巻型の収差量が徐々に大きくなっていることを示している。なお図７（ｂ）のように、焦点距離に応じて拡大率は可変になるが、一般的に焦点距離変動による画角の変動に比べて、拡大率の変化は微小なものになって焦点距離変動による画角の変動に埋もれるため、焦点距離変更時に拡大率が変わっても問題ない。図７（ｂ）のテーブルデータは、レンズ装置１５０のメモリ１６２に記録しておくことが望ましい。また、テーブルデータは、必要に応じて撮像装置１００のメモリ１０７に転送して使用されてもよい。

図８は、図７（ｂ）のテーブルを用いて、撮像装置１００の収差補正制御部１３２が実際の拡大率を算出する処理のフローチャートである。
Ｓ８０１において、収差補正制御部１３２は、レンズ装置１５０から送られてくる現在の焦点距離の情報を、レンズ通信制御部１３３を経由して取得する。
次にＳ８０２において、収差補正制御部１３２は、図７（ａ）と図７（ｂ）で説明したメモリ領域７０２のテーブルを用いて、Ｓ８０１で取得した焦点距離に応じた拡大率を参照する。なお、拡大率のデータがレンズ装置１５０の取り得る全焦点距離分だけ用意されておらず、間引かれた焦点距離ごとのデータとして記録されているような場合、収差補正制御部１３２は、必要な焦点距離に応じた拡大率を例えば線形補間により算出する。

そして、収差補正制御部１３２は、前述のようして取得した拡大率と、図７（ａ）のメモリ領域７０１の歪曲収差補正データとに基づく歪曲収差補正および拡大処理を行うように、画像処理部１４０を制御する。
これにより、本実施形態の撮像装置１００によれば、動画時においてピント変動による画角変化を最小限に抑えた歪曲収差補正が可能となる。

＜第２の実施形態＞
第２の実施形態の構成は前述した図１と同様であるため、その図示は省略する。第２の実施形態は、図７（ｂ）で説明した焦点距離と拡大率との対応テーブルに代えて、焦点距離と歪曲収差補正量のシフト量との対応テーブルを用いる例である。

ここで、第１の実施形態で説明した焦点距離に応じた拡大率を用いるようにした場合に生ずる可能性がある問題点について、図９～図１１を参照しながら説明する。拡大率を用いる場合に生ずる問題点の一例として、動画モードごとに必要とされる拡大量の違いが挙げられる。具体的には、撮像装置１００の動画モードによって、撮像素子１０２の読み出し領域が可変になる場合があり、その場合に問題が発生することがある。

例えば図９の領域９０１は、撮像素子１０２の撮像可能領域を示している。静止画モードと動画モードの両方が存在する撮像装置の場合、基本的に、静止画モードに必要な領域が、撮像素子の領域９０１になるように設計されている。撮像装置において動画撮影を行う場合、静止画モードと同様の領域から読み出したデータから動画像を生成することが望ましいが、動画像を生成する際には少なくとも１秒間に３０フレームの読み出しを行う必要があるため、処理能力的に難しいことが多い。このため、一般的に、撮像装置の動画モードでは、領域９０１に対して、例えば水平・垂直に間引き若しくは加算により画素数を減らして動画像を生成することにより、処理負荷を軽減している。ただし、間引きや加算が行われた動画像には、それら間引きや加算の量によってモアレや解像感低下など様々な画質低下が発生してしまうことがある。このため、撮像装置の動画モードには、撮像素子１０２から読み出す領域を、図９の領域９０２のように限定し、間引きや加算を行わずに動画像を生成するモード（クロップ読み出しモードと呼ぶ）が用意されている。クロップ読み出しモードによれば、撮像素子１０２から読み出す領域が限定されることで処理負荷を軽減できるとともに、間引きや加算が行われないためモアレや解像感低下などの画質低下の発生も抑えることができる。

しかしながら、クロップ読み出しモードの場合、撮像素子１０２内における撮像領域が他のモードとは異なるため、例えば陣笠状の歪曲収差補正（陣型歪曲収差補正）で問題が発生する場合がある。その様子について、図１０と図１１を用いて説明する。
先ず図１０を参照しながら、一般的な歪曲収差補正データについて説明する。図１０は、像高と歪曲収差の補正値との関係を示すグラフ図である。図１０において、縦軸の正の方向は、糸巻型歪曲収差の補正値を示しており、その数値が高いほど、歪み量の大きな糸巻型の歪曲収差を補正することを示している。一方、縦軸の負の方向は、樽型歪曲収差の補正値を示しており、その数値が低いほど、歪み量の大きな樽型歪曲収差を補正することを示している。すなわち、図１０の歪曲収差補正では、補正値が正の数値であれば、画像を対角線方向に縮ませる補正が行われることを示し、補正値が負の数値であれば、画像を対角線方向に伸ばす補正が行われることを示している。

次に図１１を参照しながら、前述した第１の実施形態において問題になるような歪曲収差補正の形状について説明する。図１１では、図１０と同様に、縦軸の正の方向が糸巻型歪曲収差の補正値を示し、縦軸の負の方向が樽型歪曲収差の補正値を示している。図１１に例示した補正値の場合、低像高では糸巻き型の歪曲収差に対する補正となり、高像高側では樽型の歪曲収差に対する補正となる、いわゆる陣型歪曲収差補正が行われることになる。また、図１１において、像高ａは図９の領域９０２の最大像高を示しており、像高ｂは図９の領域９０１（撮像可能領域）の最大像高を示している。

ここで、前述した第１の実施形態では、糸巻型歪曲収差補正時の拡大率として、図９の領域９０１の歪曲収差補正を実施した場合の拡大率が、図７（ａ）のメモリ領域７０２に格納されることになる。このため、例えば図９の領域９０２を使用するクロップ読み出しモードで歪曲収差補正を実施した場合、領域９０１よりも必要な拡大量が大きくなるために、領域９０１に必要な拡大率が足りず、ブランク領域が生じた画像が出力されてしまう虞がある。一方で、図７（ａ）のメモリ領域７０１と７０２のデータがレンズ装置１５０のメモリ１６２に格納されている場合に、それらデータを、当該レンズ装置１５０が装着される各機種の撮像装置１００の全ての動画モードを想定したデータにしておくことは難しい。このため、レンズ装置１５０のメモリ１６２に格納されたデータでは、撮像装置において歪曲収差補正後に品質の高い画像を生成できなくなる場合がある。

そこで、第２の実施形態の撮像装置１００では、図１２に示すフローチャートの歪曲収差補正値算出処理を行う。図１２のフローチャートにおいて、Ｓ１２０１～Ｓ１２０７の処理は、図２のＳ２０１～Ｓ２０７の処理と同様であるためその説明は省略する。第２の実施形態において、前述の第１の実施形態との差異は、第１の実施形態の拡大率を算出する代わりに、歪曲収差の補正値のシフト量を算出することである。

ここで、歪曲収差補正値のシフト量について、図１３（ａ）を参照しながら説明する。図１３（ａ）は、図１１で説明したように、第１の実施形態の場合において問題が発生する、陣型歪曲収差補正の特性を示したグラフである。この図１１（ａ）に示した特性の中で、糸巻型の歪曲収差量が最大となる像高をｘとし、その像高ｘに対応した補正値をＤｉｓｔＭａｘとする。第２の実施形態で説明するところの補正値のシフト量とは、この補正値ＤｉｓｔＭａｘのことを示す。

図１２のＳ１２０７において最大画角演算処理を実施せずに歪曲収差補正値を算出した後、収差補正制御部１３２は、Ｓ１２０８において、レンズ通信制御部１３３を経由して、レンズ装置１５０から歪曲収差の補正値のシフト量を取得する。
そして次のＳ１２０９において、収差補正制御部１３２は、歪曲収差の補正値を、Ｓ１２０８で求めたシフト量分だけシフトさせる。この様子を、図１３（ｂ）を参照しながら説明する。図１３（ｂ）に示すように、収差補正制御部１３２は、図１３（ａ）に示したシフト量を、歪曲収差の補正値からシフトさせることにより、仮想的に糸巻型の歪曲収差に対する補正がない、つまり歪曲収差補正後に拡大が必要ないパラメータに変換する。図１３（ａ）は、像高が０すなわち原点の被写体像を移動させない基準点とした場合の収差補正の特性を示しており、図１３（ｂ）は、像高ｘの位置にある被写体像を移動させない基準点とした場合の収差補正の特性を示している。

次に、第２の実施形態における焦点距離ごとの補正値のシフト量のデータ保持方法について、図１４（ａ）と図１４（ｂ）を参照しながら説明する。
図１４（ａ）は、焦点距離ごとの補正値のシフト量を保持するためのデータフォーマット例を示した図である。図１４（ａ）において、メモリ領域１４０１は歪曲収差補正データそのものが格納される領域である。図７（ａ）のメモリ領域７０２と同様、メモリ領域１４０１の歪曲収差補正データは、動画と静止画で共通に使用されるため、レンズ装置１５０の光学特性を変換せずにそのまま格納しておく。メモリ領域１４０２は、Ｓ１４０８で取得する補正値のシフト量の情報がテーブルとして格納される領域である。図７（ａ）の場合と同様に、補正値のシフト量に関しても、メモリ領域１４０１の歪曲収差補正データと紐付けて格納されていることが好ましい。

図１４（ｂ）は、メモリ領域１４０２に格納されるテーブルの一例であり、レンズ装置１５０が取り得る各焦点距離と、焦点距離ごとに対応した補正値のシフト量との対応関係を示している。図１４（ｂ）のテーブルには、レンズ装置１５０において設定可能な各焦点距離Ｚ０１～Ｚ０７において、それぞれ至近から無限遠までピント位置を変化させた場合の最大の補正値のシフト量の値が記録されている。対象の焦点距離の歪曲収差特性が例えば樽型収差である場合、前述した問題は発生しないので、補正値をシフトさせる必要がないため、シフト量の値としては「０」が記録される。つまり、図１４（ｂ）の例の場合、焦点距離Ｚ０１～Ｚ０３では樽型の歪曲収差特性であることを示している。一方、焦点距離Ｚ０４～Ｚ０７では、補正値のシフト量が徐々に大きくなされている。つまり、焦点距離Ｚ０４～Ｚ０７の領域では、補正値をシフトさせるために、シフト量の値が徐々に大きな値となされている。

なお、第２の実施形態の場合も第１の実施形態で説明したのと同様に、テーブルデータはレンズ装置１５０のメモリ１６２に記録しておき、必要なタイミングでシフト量を読み出して撮像装置１００に通知するようにしてもよい。また、レンズ装置１５０が撮像装置１００に装着されたときに、撮像装置１００側に送付されてもよい。
また第２の実施形態の場合、シフト量の値（パラメータ）が予め用意されている例を挙げたが、演算時間等に余裕があるのであれば、メモリ領域１４０１の歪曲収差補正データからその都度、シフト量を算出してもよい。
以上説明したように、第２の実施形態においても、例えば動画の歪曲収差補正において、撮像装置のどのようなモードに対しても、ピント変動時の画角変化を最小限に抑えた歪曲収差補正が可能となる。

＜その他の実施形態＞
また前述した実施形態では、撮像装置１００の一例としてデジタルカメラ等を挙げたが、この例には限定されず他の撮像装置にも適用可能である。例えば、静止画と動画の撮影が可能なカメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、各種の監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどにも本実施形態は適用可能である。

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置、１０２：撮像素子、１０３：画像生成部、１０４：タイミング発生部、１０５：メモリ制御部、１０７：メモリ、１０８：記録部、１３０：システム制御部、１３２：収差補正制御部、１３３：レンズ通信制御部、１４０：画像処理部、１５０：レンズ装置、１５５：フォーカス制御部、１５６：ズーム制御部、１６０：レンズ制御部、１６２：メモリ

Claims (25)

1. レンズにより形成された光学像を撮像して得られた撮像画像の歪曲収差を補正するための補正値に関する第１の情報と、前記歪曲収差を補正したことによる画角変動を補正するための第２の情報とを取得する取得手段と、
   前記第１の情報と前記第２の情報とを用いて、前記歪曲収差を補正した画像を生成する処理手段と、
   を有し、
   前記第１の情報は、前記レンズの焦点距離およびピント位置の組合せ別に用意された情報であり、
   前記第２の情報は、前記レンズのピント位置に対応せずに、前記レンズの焦点距離別に用意された情報であることを特徴とする画像処理装置。
2. 前記レンズの焦点距離に対応する情報は、それぞれの焦点距離において、糸巻型の収差量が最も大きくなるピント位置に基づく情報であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の情報のうち、前記歪曲収差を補正する対象となる画像を撮像したときの前記レンズの焦点距離およびピント位置の組合せに対応する情報を選択し、
   前記第２の情報のうち、前記歪曲収差を補正する対象となる画像を撮像したときの前記レンズの焦点距離に対応する情報を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. レンズにより形成された光学像を撮像して得られた撮像画像の歪曲収差を補正するための補正値に関する第１の情報と、前記歪曲収差を補正したことによる画角変動を補正するための第２の情報とを取得する取得手段と、
   前記第１の情報と前記第２の情報とを用いて、前記歪曲収差を補正した画像を生成する処理手段と、
   を有し、
   前記第１の情報と前記第２の情報は、前記レンズの焦点距離およびピント位置の組合せ別に用意されており、
   前記第１の情報のうち、前記歪曲収差を補正する対象となる画像を撮像したときの前記レンズの焦点距離およびピント位置の組合せに対応する情報を選択し、
   前記第２の情報のうち、前記歪曲収差を補正する対象となる画像を撮像したときの前記レンズの焦点距離に対応する情報を選択することを特徴とする画像処理装置。
5. 前記レンズの焦点距離ごとに、糸巻型の収差量が最も大きくなるピント位置に対応する情報を選択して用いることを特徴とする請求項４に記載の画像処理装置。
6. 前記処理手段は、
   前記第１の情報を用いて前記撮像画像の歪曲収差を補正し、
   前記歪曲収差が補正された画像を前記第２の情報に基づいて拡大処理することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記処理手段は、
   前記歪曲収差が樽型の歪曲収差の場合には、前記歪曲収差が補正された画像を拡大処理せず、
   前記歪曲収差が糸巻型の歪曲収差の場合には、前記歪曲収差が補正された画像を拡大処理することを特徴とする請求項６に記載の画像処理装置。
8. 前記処理手段は、
   前記レンズの焦点距離が第１の焦点距離の場合には、前記歪曲収差が補正された画像を拡大処理せず、
   前記レンズの焦点距離が前記第１の焦点距離よりも遠く、所定距離以上の第２の焦点距離の場合には、前記歪曲収差が補正された画像を拡大処理することを特徴とする請求項６に記載の画像処理装置。
9. 前記第１の情報は歪曲収差の補正値であり、前記第２の情報は前記歪曲収差の補正値のシフト量を示す情報であり、
   前記処理手段は、前記第１の情報が示す歪曲収差の補正値を、前記第２の情報が示すシフト量だけ変化させて新たな歪曲収差の補正値を求め、前記新たな歪曲収差の補正値を用いて、前記歪曲収差を補正した画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
10. 前記処理手段は、
    前記歪曲収差が糸巻型の歪曲収差を含まない場合には、前記第１の情報が示す歪曲収差の補正値を変化させず、
    前記歪曲収差が糸巻型の歪曲収差を含む場合には、前記第１の情報が示す歪曲収差の補正値を前記第２の情報が示すシフト量だけ変化させることを特徴とする請求項９に記載の画像処理装置。
11. 前記処理手段は、
    前記レンズの焦点距離が第１の焦点距離の場合には、前記第１の情報が示す歪曲収差の補正値を変化させず、
    前記レンズの焦点距離が前記第１の焦点距離よりも遠く、所定距離以上の第２の焦点距離の場合には、前記第１の情報が示す歪曲収差の補正値を前記第２の情報が示すシフト量だけ変化させることを特徴とする請求項９に記載の画像処理装置。
12. 前記第２の情報が示すシフト量は、全ての像高において、前記歪曲収差が補正された画像を対角線方向に縮ませるための補正値が存在しなくなるように、前記第１の情報が示す歪曲収差の補正値を変化させるための値であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記処理手段は、前記撮像画像が静止画である場合には、前記第２の情報を用いずに、前記第１の情報を用いて前記歪曲収差を補正した画像を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. レンズ装置を着脱可能な装着機構に装着された当該レンズ装置から、前記第１の情報と前記第２の情報を取得することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. レンズ装置を介して形成された光学像を撮像する撮像手段と、
    請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
16. 撮像装置に着脱可能なレンズ装置であって、
    前記レンズ装置に起因する歪曲収差を補正するための補正値に関する第１の情報と、前記歪曲収差を補正したことによる画角変動を補正するための第２の情報とを記憶した記憶手段と、
    前記第１の情報と前記第２の情報とを、前記撮像装置に通信する通信手段と、
    を有し、
    前記第１の情報は、レンズの焦点距離およびピント位置の組合せ別に用意された情報であり、
    前記第２の情報は、レンズのピント位置に対応せずに、焦点距離別に用意された情報であることを特徴とするレンズ装置。
17. 前記レンズの焦点距離に対応する情報は、それぞれの焦点距離において、糸巻型の収差量が最も大きくなるピント位置に基づく情報であることを特徴とする請求項１６に記載のレンズ装置。
18. 前記第１の情報は、前記歪曲収差を補正するための補正値であり、
    前記第２の情報は、画像の拡大率であることを特徴とする請求項１６または１７に記載のレンズ装置。
19. 前記レンズ装置の焦点距離が第１の焦点距離の場合には、前記第２の情報が示す画像の拡大率は１倍であり、
    前記レンズ装置の焦点距離が前記第１の焦点距離よりも遠く、所定距離以上の第２の焦点距離の場合には、前記第２の情報が示す拡大率は１倍よりも大きな倍率であることを特徴とする請求項１８に記載のレンズ装置。
20. 前記第１の情報は、前記歪曲収差を補正するための補正値であり、
    前記第２の情報は、前記補正値のシフト量であることを特徴とする請求項１６または１７に記載のレンズ装置。
21. 前記レンズ装置の焦点距離が第１の焦点距離の場合には、前記第２の情報が示す前記シフト量は０であり、
    前記レンズ装置の焦点距離が前記第１の焦点距離よりも遠く、所定距離以上の第２の焦点距離の場合には、前記第２の情報が示す前記シフト量は０を除く値であることを特徴とする請求項２０に記載のレンズ装置。
22. 前記第１の焦点距離は、前記レンズ装置に起因する歪曲収差が糸巻型の歪曲収差を含まない焦点距離であり、
    前記第２の焦点距離は、前記レンズ装置に起因する歪曲収差が糸巻型の歪曲収差を含む焦点距離であることを特徴とする請求項２１に記載のレンズ装置。
23. 前記第２の情報が示すシフト量は、全ての像高において、前記歪曲収差が補正された画像を対角線方向に縮ませるための補正値が存在しなくなるように、前記第１の情報が示す歪曲収差の補正値を変化させるための値であることを特徴とする請求項２０乃至２２のいずれか１項に記載のレンズ装置。
24. 画像処理装置が実行する画像処理方法であって、
    レンズにより形成された光学像を撮像して得られた撮像画像の歪曲収差を補正するための補正値に関する第１の情報と、前記歪曲収差を補正したことによる画角変動を補正するための第２の情報とを取得する取得工程と、
    前記第１の情報と前記第２の情報とを用いて、前記歪曲収差を補正した画像を生成する処理工程と、
    を有し、
    前記第１の情報は、前記レンズの焦点距離およびピント位置の組合せ別に用意された情報であり、
    前記第２の情報は、前記レンズのピント位置に対応せずに、前記レンズの焦点距離別に用意された情報であることを特徴とする画像処理方法。
25. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images