JP6516434B2

JP6516434B2 - 画像処理装置、撮像装置、画像処理方法

Info

Publication number: JP6516434B2
Application number: JP2014211042A
Authority: JP
Inventors: 昌芳角田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-10-15
Filing date: 2014-10-15
Publication date: 2019-05-22
Anticipated expiration: 2034-10-15
Also published as: US20160112646A1; US9762804B2; JP2016082358A

Description

本発明は、画像処理装置に関し、特に連続的に映像が変化する状態における歪曲収差補正処理に関するものである。

デジタル一眼カメラは、レンズが着脱可能であるため、各レンズの歪曲収差などのレンズ光学補正を適用する手段がさまざま提案されている。例えば特許文献１によれば、ズーム位置ごとに歪曲収差補正量を保持しており、撮影時のズーム位置を取得して該ズーム位置に対する補正量を取得して補正を適用することが提案されている。また別の手段として、特許文献２によれば、ズーム位置ごとに歪曲収差補正量を保持しており、撮影時のズーム位置の歪曲収差補正量を持っていない場合には、補間処理によって歪曲収差補正量を算出して補正を適用することが提案されている。

特開２００３−２１９２４６号公報特開２００５−５７６０５号公報

デジタル一眼カメラの特徴として、レンズが着脱式であるため、レンズの歪曲収差補正係数をすべてデジタル一眼カメラ内に保持しておくことは困難である。そこで、必要な歪曲収差補正係数を必要なタイミングで算出して、歪曲収差補正を適用する必要がある。静止画撮影時のレンズ光学補正は、デジタル一眼カメラの使用者から撮影指示を受けてから歪曲収差補正係数を求めて、補正を適用する時間を有することが可能である。しかしながら、ライブビュー中や動画撮影中など連続的に映像が変化する状態においては、ズームの変化に応じて歪曲収差補正係数を求めて、補正を適用する時間がない可能性がある。このため、デジタル一眼カメラのライブビュー撮影において歪曲収差補正を適用するには、ズーム変化に遅れて補正を適用しなくてはならない状況が考えられる。

そこで、本発明では、連続的に映像が変化する状態における歪曲収差補正に有利な画像処理装置、撮像装置、画像処理方法を提供することが目的である。

本発明の一側面としての画像処理装置は、ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得する取得手段と、前記取得手段が取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出す読み出し手段と、前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行う補正手段と、前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させる算出手段と、を有し、前記記憶手段は、前記ズーム方向が第１の側である場合において、前記算出手段により算出される前記補正係数を記憶するための空き容量がない場合は、保持している補正係数のうち前記第１の側とは反対の第２の側の補正係数を削除することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、連続的に映像が変化する状態における歪曲収差補正に有利な画像処理装置、撮像装置、画像処理方法を提供することができる。

本発明における、撮像システム全体の構成図である。本発明における、歪曲収差補正の特性を説明する図である。本発明における、実施例１のライブビュー撮影制御を示すフローチャートである。本発明における、歪曲収差補正係数算出処理を示すフローチャートである。本発明における、予測歪曲収差補正係数算出処理を示すフローチャートである。本発明における、歪曲収差補正係数取得処理を示すフローチャートである。本発明における、実施例２の予測歪曲収差補正係数算出処理を示すフローチャートである。本発明における、実施例３のライブビュー撮影制御を示すフローチャートである。本発明における、予測歪曲収差補正係数算出間隔取得処理を示すフローチャートである。本発明における、予測が外れた際に歪曲収差補正係数を取得する処理を示すフローチャートである。本発明における、実施例４のライブビュー撮影制御を示すフローチャートである。本発明における、レンズのズーム駆動速度算出処理を示すフローチャートである。本発明における、実施例５の予測歪曲収差補正係数算出処理を示すフローチャートである。本発明における、実施例６のライブビュー撮影制御を示すフローチャートである。本発明における、ライブビュー時に適用する歪曲収差補正係数を算出する処理を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明を適用するための撮像システムの構成を表すブロック図である。図１において、１０１はレンズであり、不図示のズームレンズや絞りやフォーカスレンズ等の光学素子を含み、本実施例では撮像装置１００と着脱可能に構成される。被写体からの光は、該レンズ１０１を通して取得する。なお、レンズ１０１は、撮像装置１００と一体に構成されていても構わない。１０２はレンズ制御部であり、レンズ１０１のズーム制御や絞りの制御やレンズのズーム方向やズーム位置の取得などレンズを制御・管理するブロックである。換言すれば、レンズ制御部１０２は、レンズ１０１のズーム方向を検出する検出手段としての機能や、ズーム位置を取得する取得手段としての機能を有する。また、レンズ１０１のズーム可能な望遠端および広角端に関する情報や、レンズを駆動するズーム速度に関する情報なども取得することができる。このレンズ制御部１０２は、撮像装置側についていてもよいし、レンズ装置側についていてもよい。１０３は、撮像素子であり、レンズ１０１を通して得られた光の情報を電荷として蓄積する。

換言すれば、撮像素子１０３は、レンズ１０１を介した被写体からの光を受光し画像データを生成する撮像手段として機能する。１０４は、Ａ／Ｄ変換器であり、撮像素子１０３で得られた電荷の情報をデジタルデータに変換する。１０５は、マイクロコンピュータであり、撮像装置１００の操作制御や画像処理のシーケンス制御、歪曲収差補正処理の制御などを行う。また、マイクロコンピュータ１０５は、レンズ制御部１０２から例えばレンズのズーム方向やズーム位置等のレンズに関する情報（信号）を受信（通信）することができる。これにより、レンズのズーム方向を判定する判定手段として機能することができる。

１０６は揮発性メモリであり、マイクロコンピュータ１０５が制御に使用したり、画像処理部１０８や補正係数算出部１０９が処理に使用したりするメモリである。１０７は、不揮発性メモリであり、撮像装置１００の設定情報や歪曲収差補正の補正係数パラメータや撮像素子の情報や画像処理のパラメータなどを記憶しておくブロックである。１０８は、画像処理部でありマイクロコンピュータ１０５が撮像素子１０３からＡ／Ｄ変換器１０４を通して得られた情報に対して現像処理や歪曲収差補正処理などを行うブロックである。換言すれば、画像処理部１０８は、後述する歪曲収差補正係数などを用いて、撮像素子１０３から得られる画像データに補正処理を施す補正手段として機能する。１０９は、補正係数算出部で不揮発性メモリ１０７にある補正係数パラメータから必要な歪曲収差補正係数や色収差補正や周辺光量落ち補正などのレンズ光学補正の補正係数の算出などを算出するためのブロックである。補正係数算出部１０９は、装着されたレンズの現在のズーム位置での収差を補正するための補正係数を算出したり、後述のように、レンズのズーム方向から予測されるズーム位置での収差を補正するための補正係数を算出する算出手段として機能する。補正係数算出部１０９で算出された歪曲収差補正係数は、揮発性メモリ１０６に保持する。

換言すれば、揮発性メモリ１０６は、補正係数算出部１０９で算出された歪曲収差補正係数を記憶する記憶手段として機能する。揮発性メモリ１０６は、歪曲収差補正係数を一つ以上保持することが可能である。予測のために、複数の歪曲収差補正係数を保持できるメモリ領域を揮発性メモリ１０６に確保する。補正係数算出部１０９は、マイクロコンピュータ１０５とは別のブロックであるが、マイクロコンピュータ１０５で処理してもかまわない。１１０は、記憶装置であり、画像処理部１０８から得られた画像データを記憶するブロックである。この記憶装置１１０は、撮像装置１００が内蔵していても、取り外し可能でもどちらでも構わない。１１１は、表示部であり、撮影設定の表示や撮影した画像を表示するブロックである。１１２は、操作部であり、ボタンやスイッチなどで構成されており、ユーザからの入力を受け付けるブロックである。ユーザからの操作は、操作部１１２で受け付け、マイクロコンピュータ１０５が処理内容に応じて各ブロックを制御することで実現する。

また、本実施例において、マイクロコンピュータ１０５、揮発性メモリ１０６、不揮発性メモリ１０７、画像処理部１０８、補正係数算出部１０９は、画像処理装置として機能する。なお、本実施例の画像処理装置は、レンズ制御部１０２からレンズ情報を取得するレンズ情報取得部、および、撮像素子１０３により生成される画像データを取得する画像データ取得部を有している。

図２は、画像の歪曲収差特性を表わす図である。２０１は、歪曲収差が発生しない基本画像を示す。２０２は、基本画像２０１に糸巻型の歪曲収差補正が発生した画像である。２０３は、基本画像２０１に樽型の歪曲収差補正が発生した画像である。２０４は、各レンズの歪曲収差特性曲線を示す。横軸方向にレンズのズーム位置を表し、縦軸方向が歪曲収差特性の強度を表した図である。横軸方向の左端がズームの最広角側（広角端）を表し、右端が最望遠側（望遠端）を表す。縦軸方向は、中央は歪曲収差が発生しないことを表し、上方向は樽型の歪曲収差があり上に行くほど強い特性を持ち、下方向は糸巻型の歪曲収差があり下に行くほど強い特性を持つ。この各レンズの歪曲収差特性曲線２０４を歪曲収差補正係数の予測算出に用いる。この歪曲収差特性曲線２０４は、撮像装置１００の不揮発性メモリ１０７や記憶装置１１０に記録されているものを使用してもよいし、レンズ１０１から装着時に取得するようにしてもかまわない。

図３は、本発明を実施する第１の実施形態の制御を示すフローチャートである。Ｓ３０１でライブビューを開始する。Ｓ３０２で、レンズ制御部１０２を制御してレンズのズーム位置、ズーム方向、望遠端、広角端等のレンズ情報を取得する。Ｓ３０３で、レンズのズーム位置に応じた歪曲収差補正係数が揮発性メモリ１０６に保持していないと判断されれば、Ｓ３０４で補正係数算出部１０９を用いて歪曲収差補正係数算出処理Ｓ４００を実行する。Ｓ３０３で保持している判断した場合、またはＳ３０４完了後、Ｓ３０５で、補正係数算出部１０９を用いて予測歪曲収差補正係数算出処理Ｓ５００を実行する。Ｓ３０６で、歪曲収差補正係数取得処理Ｓ６００を実行してズーム位置に対応する歪曲収差補正係数を取得する。Ｓ３０７で、撮像素子１０３から画像データを読み出し、Ｓ３０８で、Ｓ３０６で取得した歪曲収差補正係数を画像処理部１０８に適用してライブビュー画像を現像する。その後、Ｓ３０９で表示部１１１に対してライブビュー画像を表示する。Ｓ３１０で、撮影指示があると判断されれば、Ｓ３１１からＳ３１４で静止画撮影処理を実行する。指示がなければ、Ｓ３１５でライブビューの終了指示を確認する。

Ｓ３１１で、Ｓ３０６で取得した歪曲収差補正係数から再度算出が必要と判断されれば、Ｓ３１２で補正係数算出部１０９を用いて歪曲収差補正係数算出処理Ｓ４００を実行し、Ｓ３１３で歪曲収差補正係数取得処理Ｓ６００を実行する。必要と判断する条件としては、Ｓ３０２で取得したレンズズーム位置がＳ３１１の時点で変化していたなどがあげられる。

その後、Ｓ３１４で撮像素子１０３から画像データを読み出し、Ｓ３０６、Ｓ３１３のいずれかで取得した歪曲収差補正係数を画像処理部１０８に適用して静止画像を現像し、記憶装置１１０に記憶する。Ｓ３１５でライブビューの終了指示があると判断すれば、一連の制御を終了する。指示がなければ、ライブビューを続けるためにＳ３０２に戻る。このようにすることで、ライブビューをしながら静止画撮影を繰り返し行うことができる。

図４は、補正係数算出部１０９を用いた歪曲収差補正係数算出処理Ｓ４００を示すフローチャートである。Ｓ４０１で、不揮発性メモリ１０７から補正係数パラメータを取得する。補正係数パラメータは、少なくともズーム位置における歪曲収差特性、各像高に対する補正強度を含む。Ｓ４０２では、不揮発性メモリ１０７から撮像素子の情報を取得する。撮像素子の情報とは、少なくとも撮像素子のサイズと画素数を含む。Ｓ４０３では、Ｓ４０１で取得した収差特性から補正方法を決定し、各像高における補正強度と撮像素子のサイズと画素数から各画素における歪曲収差補正係数を算出する。最後に、Ｓ４０３で求めた値を揮発性メモリ１０６に保持する。

図５は、補正係数算出部１０９を用いた予測歪曲収差補正係数算出処理Ｓ５００を示すフローチャートである。予測歪曲収差補正係数算出は、補正係数パラメータを保持している間隔ごとに求める。Ｓ５０１で、Ｓ３０２で取得したレンズズーム方向が望遠側であると判断されれば、Ｓ５０２からの望遠側の予測歪曲収差補正係数算出処理を行う。Ｓ５０２で、新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかどうかを判断する。記憶容量がないと判断されれば、Ｓ５０４で保持している予測歪曲収差補正係数のうち、最も広角側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。換言すれば、ズーム方向が第１の側（望遠側）である場合において、予測歪曲収差補正係数を記憶するための空き容量がない場合は、保持している予測歪曲収差補正係数のうち第１の側（望遠側）とは反対の第２の側（広角側）の補正係数を削除する。Ｓ５０２で記憶容量が残っていると判断されるか、Ｓ５０４が完了後、Ｓ５０３で保持している予測歪曲収差補正係数よりも望遠側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。

すなわち、保持している予測歪曲収差補正係数よりも所定間隔望遠側の予測歪曲収差補正係数を算出する。そののち、該算出した予測歪曲収差補正係数を揮発性メモリ１０６に保持する。Ｓ５０１でズーム方向が望遠側でないと判断されれば、Ｓ５０５でズーム方向が広角側かどうかを判定する。Ｓ５０５でズーム方向が広角側であると判断されれば、Ｓ５０６からの広角側の予測歪曲収差補正係数算出処理を行う。Ｓ５０６で、新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量がないと判断されれば、Ｓ５０８で保持している予測歪曲収差補正係数のうち、最も望遠側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。換言すれば、ズーム方向が第１の側（広角側）である場合において、予測歪曲収差補正係数を記憶するための空き容量がない場合は、保持している予測歪曲収差補正係数のうち第１の側（広角側）とは反対の第２の側（望遠側）の補正係数を削除する。Ｓ５０６で記憶容量が残っていると判断されるか、Ｓ５０８が完了後、Ｓ５０７で保持している予測歪曲収差補正係数よりも広角側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。すなわち、保持している予測歪曲収差補正係数よりも所定間隔広角側の予測歪曲収差補正係数を算出する。そののち、該算出した予測歪曲収差補正係数を揮発性メモリ１０６に保持する。Ｓ５０１、Ｓ５０５で望遠側、広角側に動いておらずレンズが停止状態のときは予測歪曲収差補正係数を算出せずに終了する。

図６は、揮発性メモリ１０６に保持した歪曲収差補正係数を取得する歪曲収差補正係数取得処理Ｓ６００を示すフローチャートを示す。Ｓ６０１で取得するズーム位置に対する歪曲収差補正係数が揮発性メモリ１０６に存在するかどうかを判断する。Ｓ６０１で存在すると判断されれば、Ｓ６０２で揮発性メモリ１０６から歪曲収差補正係数を読みだす。存在しないと判断されれば、Ｓ６０３で補正をしない設定として歪曲収差補正係数の値を１として設定する。最後にＳ６０２、Ｓ６０３で得た歪曲収差補正係数を呼び元に返す。

このように、本実施例では、レンズのズーム方向に応じて、予めズームすると予測されるズーム位置の歪曲収差補正係数を算出して保持する。また、歪曲収差補正を適用する際には、保持されたズーム位置の歪曲収差補正係数を読み出して画像データに歪曲収差補正を適用して現像する。

以上の実施形態を実現することで、ライブビュー時に予測歪曲収差補正係数を保持しておくことにより、歪曲収差補正係数算出処理を省くことができるため、ライブビューへの適用遅延を改善することができる。

本発明を実施する第２の実施形態は、第１の実施形態において、予測歪曲収差補正係数算出制御を変更した実施例である。ライブビューは、実施例１と同様に図３のフローチャートに示す通りの動作を行う。その中で、Ｓ３０５で望遠端、広角端まで予測が完了している場合を加味した、予測歪曲収差補正係数算出処理Ｓ７００を呼び出すように変更する。

図７は、望遠端、広角端まで予測が完了している場合に予測歪曲収差補正係数算出制御を変更した予測歪曲収差補正係数算出処理Ｓ７００を示すフローチャートである。予測歪曲収差補正係数算出は、補正係数パラメータを保持している間隔ごとに求める。Ｓ７０１で、Ｓ３０２で取得したレンズズーム方向が望遠側であると判断されれば、Ｓ７０２からの望遠側の予測歪曲収差補正係数算出処理を行う。Ｓ７０２で、装着されているレンズの最望遠端の歪曲収差補正係数を保持していると判断されれば、Ｓ７０３で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量が残っていると判断されれば、Ｓ７０４で保持している予測歪曲収差補正係数よりも広角側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。

すなわち、保持している予測歪曲収差補正係数よりも所定間隔広角側の予測歪曲収差補正係数を算出する。そののちに、揮発性メモリ１０６に保持する。換言すれば、ズーム方向が第１の側（望遠側）であって、揮発性メモリ１０６が第１の側（望遠側）におけるズーム可能な端（望遠端）の補正係数を記憶している場合に、第１の側とは反対の第２の側（広角側）における補正係数を算出する。一方、Ｓ７０３で記憶容量がないと判断されれば、何もせずに終了する。さらに、Ｓ７０２で、最望遠側の係数を保持していないと判断されれば、Ｓ７０５で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量がないと判断されれば、Ｓ７０７で保持している予測歪曲収差補正係数のうち、最も広角側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。Ｓ７０５で記憶容量があると判断されるか、Ｓ７０７が完了すると、Ｓ７０６で保持している予測歪曲収差補正係数よりも望遠側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。すなわち、保持している予測歪曲収差補正係数よりも所定間隔望遠側の予測歪曲収差補正係数を算出する。

そののちに、揮発性メモリ１０６に保持する。Ｓ７０１でズーム方向が望遠側でないと判断されれば、Ｓ７０８でズーム方向が広角側かどうかを判定する。Ｓ７０８でズーム方向が広角側であると判断されれば、Ｓ７０９からの広角側の予測歪曲収差補正係数算出処理を行う。Ｓ７０９で、装着されているレンズの最広角端の歪曲収差補正係数を保持していると判断されれば、Ｓ７１０で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量が残っていると判断されれば、Ｓ７１１で保持している予測歪曲収差補正係数より望遠側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。すなわち、保持している予測歪曲収差補正係数よりも所定間隔望遠側の予測歪曲収差補正係数を算出する。そののちに、揮発性メモリ１０６に保持する。換言すれば、ズーム方向が第１の側（広角側）であって、揮発性メモリ１０６が第１の側（広角側）におけるズーム可能な端（広角端）の補正係数を記憶している場合に、第１の側とは反対の第２の側（望遠側）における補正係数を算出する。

一方、Ｓ７１０で記憶容量がないと判断されれば、何もせず終了する。さらに、Ｓ７０９で、最広角側の係数を保持していないと判断されれば、Ｓ７１２で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量がないと判断されれば、Ｓ７１４で保持している予測歪曲収差補正係数のうち、最も望遠側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。Ｓ７１２で記憶容量があると判断されるか、Ｓ７１４が完了すると、Ｓ７１３で保持している予測歪曲収差補正係数より広角側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。すなわち、保持している予測歪曲収差補正係数よりも所定間隔広角側の予測歪曲収差補正係数を算出する。そののちに、揮発性メモリ１０６に保持する。Ｓ７０１、Ｓ７０８で望遠側、広角側に動いておらずレンズが停止状態のときは予測歪曲収差補正係数を算出せずに終了する。

このようにすることで、レンズの望遠端、広角端付近においても動ける範囲の大きい方向に予測歪曲収差補正係数を求めることができるので、端から離れる動作の際にライブビューへの補正適用の遅延を少なくすることができる。

図８は、本発明を実施する第３の実施形態の制御を示すフローチャートである。まず、Ｓ８０１で予測係数の算出間隔を算出するために、予測間隔算出処理Ｓ９００を呼び出す。次にＳ８０２でライブビューを開始する。Ｓ８０３で、レンズ制御部１０２を制御してレンズのズーム位置、ズーム方向、望遠端、広角端等のレンズ情報を取得する。Ｓ８０４で、レンズのズーム位置に応じた歪曲収差補正係数が揮発性メモリ１０６に保持していると判断されれば、Ｓ８０５で歪曲収差補正係数取得処理Ｓ６００を実行してズーム位置に対応する歪曲収差補正係数を取得する。保持していないと判断されれば、Ｓ８０６で非保持係数取得処理Ｓ１０００を実行してズーム位置に対応する歪曲収差補正係数を取得する。Ｓ８０５またはＳ８０６の後に、Ｓ８０７で、補正係数算出部１０９を用いて予測歪曲収差補正係数算出処理Ｓ５００を実行する。

Ｓ８０８で、撮像素子１０３から画像データを読み出し、Ｓ８０９で、Ｓ８０５またはＳ８０６で取得した歪曲収差補正係数を画像処理部１０８に適用してライブビュー画像を現像する。その後、Ｓ８１０で表示部１１１に対してライブビュー画像を表示する。Ｓ８１１で、撮影指示があると判断されれば、Ｓ８１２からＳ８１５で静止画撮影処理を行う。指示がなければ、Ｓ８１６でライブビュー終了指示を確認する。Ｓ８１２で、Ｓ８０５またはＳ８０６で取得した歪曲収差補正係数から再度算出が必要と判断されれば、Ｓ８１３で補正係数算出部１０９を用いて歪曲収差補正係数算出処理Ｓ４００を実行し、Ｓ８１４で歪曲収差補正係数取得処理Ｓ６００を実行する。必要と判断する条件としては、Ｓ８０３で取得したレンズズーム位置がＳ８１２の時点で変化していたなどがあげられる。

その後、Ｓ８１５で撮像素子１０３から画像データを読み出し、Ｓ８０５、Ｓ８０６、Ｓ８１４のいずれかで取得した歪曲収差補正係数を画像処理部１０８に適用して静止画像を現像し、記憶装置１１０に記憶する。Ｓ８１６でライブビューの終了指示があると判断すれば、一連の制御を終了する。指示がなければ、ライブビューを続けるためにＳ８０２に戻る。このようにすることで、ライブビューをしながら静止画撮影を繰り返し行うことができる。

図９は、予測歪曲収差補正係数の算出間隔を算出する予測間隔算出処理Ｓ９００を示すフローチャートである。Ｓ９０１で歪曲収差補正係数を算出するために必要となる時間（算出時間）を取得する。この取得には、初期状態での係数算出の実測値であったり、あらかじめ計測された時間を不揮発性メモリ１０７に保持しているようにしてもよい。換言すれば、マイクロコンピュータ１０５は、不揮発性メモリ１０７から歪曲収差補正係数を算出するために必要となる処理時間を取得する係数算出時間取得手段としての機能も有する。

Ｓ９０２で、レンズのズーム駆動ができる最高速度を、レンズ制御部１０２を通して取得する。その後、Ｓ９０３でＳ９０１、Ｓ９０２で得た情報から、予測歪曲収差補正係数を算出するために必要な時間とズーム速度（レンズの駆動可能な速度）とに基づいて、予測歪曲収差補正係数を算出する予測間隔を求める。具体的には、最高速度/算出時間として予測間隔を求めて、最後に呼び元に予測間隔を返す。

図１０は、予測が外れた際に保持していない歪曲収差補正係数を取得するための非保持係数取得処理Ｓ１０００を示すフローチャートである。Ｓ１００１で、Ｓ８０３で取得したズーム位置の歪曲収差特性が保持している歪曲収差補正係数の広角側、望遠側のどちらに近いかを比較する。歪曲収差特性の比較は、図２の２０４に示す曲線において、同じ特性分類に属するものを優先し、さらに保持する点との傾きが小さくなる方を特性が近いものとする。この判断材料において、広角側に近いと判断されれば、Ｓ１００２で広角側の係数を揮発性メモリ１０６から取得して返すようにする。一方、望遠側に近いと判断されれば、Ｓ１００３で望遠側の係数を揮発性メモリ１０６から取得して返すようにする。

このようにすることで、ズーム速度と歪曲収差補正係数算出時間に応じた予測処理を実現し、ライブビューにおける歪曲収差補正の適用遅延を軽減することができる。

図１１は、本発明を実施する第４の実施形態の制御を示すフローチャートである。まず、Ｓ１１０１で歪曲収差補正係数を算出するためのパラメータを保持しているズーム間隔に応じて、ズーム制御速度を決定するズーム制御速度算出処理Ｓ１２００を実行する。次にＳ１１０２でライブビューを開始する。Ｓ１１０３で、レンズ制御部１０２を制御してレンズのズーム位置、ズーム方向、望遠端、広角端等のレンズ情報を取得する。Ｓ１１０４で、レンズのズーム位置に応じた歪曲収差補正係数が揮発性メモリ１０６に保持していると判断されれば、Ｓ１１０５で歪曲収差補正係数取得処理Ｓ６００を実行してズーム位置に対応する歪曲収差補正係数を取得する。保持していないと判断されれば、Ｓ１１０６で非保持係数取得処理Ｓ１０００を実行してズーム位置に対応する歪曲収差補正係数を取得する。Ｓ１１０５または、Ｓ１１０６の後は、Ｓ１１０７で、補正係数算出部１０９を用いて予測歪曲収差補正係数算出処理Ｓ５００を実行する。

Ｓ１１０８で、撮像素子１０３から画像データを読み出し、Ｓ１１０９でＳ１１０５またはＳ１１０６で取得した歪曲収差補正係数を画像処理部１０８に適用してライブビュー画像を現像する。その後、Ｓ１１１０で表示部１１１に対してライブビュー画像を表示する。Ｓ１１１１で、撮影指示があると判断されれば、Ｓ１１１２からＳ１１１５で静止画撮影処理を実行する。指示がなければ、Ｓ１１１６でライブビュー終了指示を確認する。Ｓ１１１２で、Ｓ１１０５またはＳ１１０６で取得した歪曲収差補正係数から再度算出が必要と判断されれば、Ｓ１１１３で補正係数算出部１０９を用いて歪曲収差補正係数算出処理Ｓ４００を実行し、Ｓ１１１４で歪曲収差補正係数取得処理Ｓ６００を実行する。必要と判断する条件としては、Ｓ１１０３で取得したレンズズーム位置がＳ１１１２の時点で変化していたなどがあげられる。

その後、Ｓ１１１５で撮像素子１０３から画像データを読み出し、Ｓ１１０５、Ｓ１１０６、Ｓ１１１４のいずれかで取得した歪曲収差補正係数を画像処理部１０８に適用して静止画像を現像し、記憶装置１１０に記憶する。Ｓ１１１６でライブビューの終了指示があると判断すれば、一連の制御を終了する。指示がなければ、ライブビューを続けるためにＳ１１０２に戻る。このようにすることで、ライブビューをしながら静止画撮影を繰り返し行うことができる。

図１２は、歪曲収差補正係数算出時間に応じてズーム速度を算出するズーム制御速度算出処理Ｓ１２００を示すフローチャートである。Ｓ１２０１で歪曲収差補正係数を算出するために必要となる時間を取得する。この取得には、初期状態での係数算出の実測値であったり、あらかじめ計測された時間を不揮発性メモリ１０７に保持しているようにしてもよい。Ｓ１２０２で、レンズのズーム駆動ができる最高速度を、レンズ制御部１０２を通して取得する。

その後、Ｓ１２０３でＳ１２０１、Ｓ１２０２で得た情報から、最高速度/算出時間として予測間隔を求める。Ｓ１２０３で求めた予測間隔と歪曲収差補正係数算出に使う補正係数パラメータを保持している間隔をＳ１２０４で比較する。予測間隔の方が小さい場合、Ｓ１２０５でズームの駆動速度を最高速度に設定する。一方、予測間隔の方が大きい場合、Ｓ１２０６で最高速度を(パラメータの保持間隔/予測間隔)倍した速度に設定する。換言すれば、マイクロコンピュータ１０５は、求めた予測間隔と歪曲収差補正係数を算出する際に用いる補正係数パラメータを保持している間隔に基づいて、ズーム速度を設定する設定手段としても機能する。そして、該設定手段は、補正係数パラメータを保持している間隔よりも、求めた予測間隔の方が大きい場合、ズーム速度を最高速度よりも遅く設定する。具体的には、予測間隔がパラメータ保持間隔となるようにズーム速度を調整する。

本発明を実施する第５の実施形態は、予測歪曲収差補正係数の算出処理を歪曲収差補正の特性変化量に応じて予測量を変化させる実施形態である。ライブビューは、第１の実施形態と同様に図３のフローチャートに示す通りの動作を行う。その中で、Ｓ３０５で歪曲収差補正の特性を予測した、予測歪曲収差補正係数算出処理Ｓ１３００を呼び出すように変更する。

図１３は、補正係数算出部１０９を用いた予測歪曲収差補正係数算出処理Ｓ１３００を示すフローチャートである。Ｓ１３０１で、Ｓ３０２で取得したレンズズーム方向が望遠側であると判断されれば、Ｓ１３０２からの望遠側の予測歪曲収差補正係数算出処理を行う。Ｓ１３０２で、ズーム方向である望遠側の歪曲収差補正特性が広角側の歪曲収差補正特性の変化量よりも大きいかを判断する。歪曲収差特性の比較は、図２の２０４に示す曲線において、保持している予測係数の最望遠側の点と、それよりも望遠方向の点の傾きが、保持している予測係数の最広角側の点とそれよりも望遠方向の点の傾きよりも大きいかどうかを用いる。Ｓ１３０２で大きいと判断されれば、Ｓ１３０３で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量がないと判断されれば、Ｓ１３０５で保持している予測歪曲収差補正係数のうち、最も広角側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。Ｓ１３０３で記憶容量が残っていると判断されるか、Ｓ１３０５が完了後、Ｓ１３０４で保持している予測歪曲収差補正係数よりも望遠側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。

すなわち、保持している予測歪曲収差補正係数よりも所定間隔望遠側の予測歪曲収差補正係数を算出する。そののちに、揮発性メモリ１０６に保持する。Ｓ１３０６で、Ｓ１３０３からＳ１３０４までが２回繰り返されるまで、Ｓ１３０３に戻り、変化特性の大きい方を繰り返し求める。Ｓ１３０２で望遠側の歪曲収差特性が小さいと判断されれば、Ｓ１３０７で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量がないと判断されれば、Ｓ１３０９で保持している予測歪曲収差補正係数のうち、最も広角側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。Ｓ１３０７で記憶容量が残っていると判断されるか、Ｓ１３０９が完了後、Ｓ１３０８で保持している予測歪曲収差補正係数よりも望遠側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。すなわち、保持している予測歪曲収差補正係数よりも所定間隔望遠側の予測歪曲収差補正係数を算出する。そののちに、揮発性メモリ１０６に保持する。換言すれば、ズーム方向が第１の側（望遠側）であり、かつ、図２に示す関係から収差特性の変化量が大きい側が第１の側（望遠側）である場合は、該収差特性の変化量が小さい側が第１の側である場合よりも補正係数を多く算出する。

ここで、図２に示す関係とは、図２に示すズーム位置と歪曲収差特性の強度との関係である。Ｓ１３０１でズーム方向が望遠側でないと判断されれば、Ｓ１３１０でズーム方向が広角側かどうかを判定する。Ｓ１３１０で、Ｓ３０２で取得したレンズズーム方向が広角側であると判断されれば、Ｓ１３１１からの広角側の予測歪曲収差補正係数算出処理を行う。Ｓ１３１１で、ズーム方向である広角側の歪曲収差補正特性が望遠側の歪曲収差補正特性の変化量よりも大きいかを判断する。歪曲収差特性の比較は、図２の２０４に示す曲線において、保持している予測係数の最広角側の点と、それよりも望遠方向の点の傾きが、保持している予測係数の最望遠側の点とそれよりも望遠方向の点の傾きよりも大きいかどうかを用いる。Ｓ１３１１で大きいと判断されれば、Ｓ１３１２で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量がないと判断されれば、Ｓ１３１４で保持している予測歪曲収差補正係数のうち、最も望遠側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。Ｓ１３１２で記憶容量が残っていると判断されるか、Ｓ１３１４完了後、Ｓ１３１３で保持している予測歪曲収差補正係数よりも広角側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。

すなわち、保持している予測歪曲収差補正係数よりも所定間隔広角側の予測歪曲収差補正係数を算出する。そののちに、揮発性メモリ１０６に保持する。Ｓ１３１５で、Ｓ１３１２からＳ１３１４までが２回繰り返されるまで、Ｓ１３１２に戻り、変化特性の大きい方を繰り返し求める。Ｓ１３１１で広角側の歪曲収差特性が小さいと判断されれば、Ｓ１３１６で新しく算出する予測歪曲収差補正係数が保持可能な記憶容量が残っているかを判断する。記憶容量がないと判断されれば、Ｓ１３１８で保持している予測歪曲収差補正係数のうち、最も望遠側の予測歪曲収差補正係数を揮発性メモリ１０６から削除して記憶容量を確保する。Ｓ１３１６で記憶容量が残っていると判断されるか、Ｓ１３１８完了後、Ｓ１３１７で保持している予測歪曲収差補正係数よりも広角側のズーム位置を指定し歪曲収差補正係数算出処理Ｓ４００で予測歪曲収差補正係数を算出する。

すなわち、保持している予測歪曲収差補正係数よりも所定間隔広角側の予測歪曲収差補正係数を算出する。そののちに、揮発性メモリ１０６に保持する。換言すれば、ズーム方向が第１の側（広角側）であり、かつ、図２に示す関係から収差特性の変化量が大きい側が第１の側（広角側）である場合は、該収差特性の変化量が小さい側が第１の側である場合よりも補正係数を多く算出する。Ｓ１３０１、Ｓ１３１０で望遠側、広角側に動いておらずレンズが停止状態のときは予測歪曲収差補正係数を算出せずに終了する。なお、Ｓ１３０２やＳ１３１１において、ズーム位置の望遠側の歪曲収差特性と広角側の歪曲収差特性を比較して、歪曲収差特性の変化量が大きい側のズーム位置における歪曲収差補正係数を算出して保持するようにしてもよい。

このようにすることで、歪曲収差特性変化が大きい区間においても予測処理を実現し、ライブビューにおける歪曲収差補正の適用遅延を軽減することができる。

図１４は、本発明を実施する第６の実施形態の制御を示すフローチャートである。Ｓ１４０１でライブビューを開始する。Ｓ１４０２で、レンズ制御部１０２を制御してレンズのズーム位置、ズーム方向、望遠端、広角端等のレンズ情報を取得する。Ｓ１４０３で、レンズのズーム位置に応じた歪曲収差補正係数が揮発性メモリ１０６に保持していないと判断されれば、Ｓ１４０４で歪曲収差補正係数算出部１０９を用いてライブビュー用の歪曲収差補正係数算出処理Ｓ１５００を実行する。Ｓ１４０３で保持している判断した場合、またはＳ１４０４の後は、Ｓ１４０５で、歪曲収差補正係数算出部１０９を用いて予測歪曲収差補正係数算出処理Ｓ５００を実行する。Ｓ１４０６で、歪曲収差補正係数取得処理Ｓ６００を実行してズーム位置に対応する歪曲収差補正係数を取得する。Ｓ１４０７で、撮像素子１０３から画像データを読み出し、Ｓ１４０８で、Ｓ１４０６で取得した歪曲収差補正係数を画像処理部１０８に適用してライブビュー画像を現像する。

その後、Ｓ１４０９で表示部１１１に対してライブビュー画像を表示する。Ｓ１４１０で、撮影指示があると判断されれば、Ｓ１４１１からＳ１４１３で静止画撮影処理を実行する。指示がなければ、Ｓ１４１４でライブビューの終了指示を確認する。Ｓ１４１１で、補正係数算出部１０９を用いて歪曲収差補正係数算出処理Ｓ４００を実行し、Ｓ１４１２で歪曲収差補正係数取得処理Ｓ６００を実行する。その後、Ｓ１４１３で撮像素子１０３から画像データを読み出し、Ｓ１４１２で取得した歪曲収差補正係数を画像処理部１０８に適用して静止画像を現像し、記憶装置１１０に記憶する。Ｓ１４１４でライブビューの終了指示があると判断すれば、一連の制御を終了する。指示がなければ、ライブビューを続けるためにＳ１４０２に戻る。このようにすることで、ライブビューをしながら静止画撮影を繰り返し行うことができる。

図１５は、補正係数算出部１０９を用いたライブビュー用の歪曲収差補正係数算出処理Ｓ１５００を示すフローチャートである。Ｓ１５０１で、不揮発性メモリ１０７から補正係数パラメータを取得する。補正係数パラメータは、少なくともズーム位置における収差特性、各像高に対する補正強度を含む。Ｓ１５０２では、不揮発性メモリ１０７から撮像素子の情報を取得する。撮像素子の情報とは、少なくとも撮像素子のサイズと画素数を含む。Ｓ１５０３では、Ｓ１５０１で取得した収差特性から補正方法を決定し、各像高における補正強度と撮像素子のサイズと画素数から各画素における歪曲収差補正係数を算出する。この際、補正強度を通常の０．８倍に設定する。換言すれば、第１のモード（静止画撮影モード）においては、第１の補正強度（すなわち、適切な強度）の補正係数を算出する（Ｓ１４１１）。また、第１のモードと異なる第２のモード（ライブビューモードや動画撮影モードなど）においては、第１の補正強度よりも低い第２の補正強度の補正係数を算出する（Ｓ１４０４）。最後に、Ｓ１５０３で求めた値を揮発性メモリ１０６に保持する。ズームが連続して行われた場合において、過剰に補正が行われることを抑制する。

このようにすることで、連続的にズームが行われる場合においても過剰な補正を抑制し予測処理を実現し、ライブビューにおける歪曲収差補正の適用遅延を軽減することができる。

以上、本発明によれば、レンズのズーム変化からの遅延量を削減して歪曲収差補正を適用したライブビュー制御を実現することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０５マイクロコンピュータ
１０９補正係数算出部

Claims

ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得する取得手段と、
前記取得手段が取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出す読み出し手段と、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行う補正手段と、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させる算出手段と、
を有し、
前記記憶手段は、前記ズーム方向が第１の側である場合において、前記算出手段により算出される前記補正係数を記憶するための空き容量がない場合は、保持している補正係数のうち前記第１の側とは反対の第２の側の補正係数を削除することを特徴とする画像処理装置。
ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得する取得手段と、
前記取得手段が取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出す読み出し手段と、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行う補正手段と、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させる算出手段と、
を有し、
前記ズーム方向が第１の側であって、前記記憶手段が前記第１の側におけるズーム可能な端の補正係数を記憶している場合に、前記算出手段は、前記第１の側とは反対の第２の側における補正係数を算出することを特徴とする画像処理装置。
ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得する取得手段と、
前記取得手段が取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出す読み出し手段と、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行う補正手段と、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させる算出手段と、
を有し、
前記算出手段は、前記補正係数を算出するために必要な時間とズーム速度に基づいて、前記補正係数を算出する間隔を求めることを特徴とする画像処理装置。
前記補正係数を算出する間隔と前記算出手段が前記補正係数を算出する際に用いる補正係数パラメータを保持している間隔に基づいて、ズーム速度を設定する設定手段を有することを特徴とする請求項３に記載の画像処理装置。
前記設定手段は、前記補正係数パラメータを保持している間隔よりも、前記補正係数を算出する間隔の方が大きい場合、前記ズーム速度を遅くすることを特徴とする請求項４に記載の画像処理装置。
前記算出手段は、前記ズーム方向が第１の側であり、かつ、ズーム位置と収差特性の強度との関係に基づいて、前記収差特性の変化量が大きい側が前記第１の側である場合に、前記収差特性の変化量が小さい側が前記第１の側である場合よりも前記補正係数を多く算出することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得する取得手段と、
前記取得手段が取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出す読み出し手段と、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行う補正手段と、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させる算出手段と、
を有し、
前記算出手段は、第１のモードにおいて第１の補正強度の補正係数を算出し、前記第１のモードと異なる第２のモードにおいて前記第１の補正強度よりも低い第２の補正強度の補正係数を算出し、
前記第１のモードは静止画撮影モードであり、前記第２のモードはライブビューモードまたは動画撮影モードであることを特徴とする画像処理装置。
前記補正係数は、歪曲収差補正係数であることを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
被写体からの光を受光し画像データを生成する撮像素子と、
請求項１ないし８のいずれか１項に記載の画像処理装置と、を備えた撮像装置。
ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得するステップと、
取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出すステップと、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行うステップと、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させるステップと、
を有し、
前記記憶手段は、前記ズーム方向が第１の側である場合において、前記算出するステップにより算出される前記補正係数を記憶するための空き容量がない場合は、保持している補正係数のうち前記第１の側とは反対の第２の側の補正係数を削除することを特徴とする画像処理方法。
ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得するステップと、
取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出すステップと、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行うステップと、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させるステップと、
を有し、
前記ズーム方向が第１の側であって、前記記憶手段が前記第１の側におけるズーム可能な端の補正係数を記憶している場合に、前記算出するステップは、前記第１の側とは反対の第２の側における補正係数を算出することを特徴とする画像処理方法。
ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得するステップと、
取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出すステップと、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行うステップと、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させるステップと、
を有し、
前記算出するステップは、前記補正係数を算出するために必要な時間とズーム速度に基づいて、前記補正係数を算出する間隔を求めることを特徴とする画像処理方法。
ライブビューもしくは動画撮影中に、ズーム位置とズーム方向を含むレンズ情報を取得するステップと、
取得した前記レンズ情報に含まれるズーム位置に対応する、収差を補正するための補正係数を記憶手段から読み出すステップと、
前記記憶手段から読み出した前記補正係数を用いて、前記ライブビューもしくは動画に対して収差補正を行うステップと、
前記レンズ情報に含まれるズーム方向に基づいて、前記記憶手段に記憶されている収差を補正するための補正係数に対応するズーム位置よりも、前記ズーム方向におけるズーム位置の端部に近いズーム位置に対応する収差を補正するための補正係数を算出し、算出した前記補正係数を前記記憶手段に記憶させるステップと、
を有し、
前記算出するステップは、第１のモードにおいて第１の補正強度の補正係数を算出し、前記第１のモードと異なる第２のモードにおいて前記第１の補正強度よりも低い第２の補正強度の補正係数を算出し、
前記第１のモードは静止画撮影モードであり、前記第２のモードはライブビューモードまたは動画撮影モードであることを特徴とする画像処理方法。