JP7086155B2 - 画像処理装置、画像処理装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法、及び、プログラムに関する。

撮像素子に被写体像を結像させるためのレンズユニットは、この被写体像に歪み、あるいは、周辺光量落ち等の画質低下を生じさせてしまう各種の要因を内包している。例えば、レンズユニットを通過した光は本来「被写体とレンズによる結像は相似形であること」が理想的であるが、像の周辺の形状が歪む「歪曲収差」という現象では、この理想から外れ直線が歪んで写ってしまう。また、画像中心に比べて端部ほど光量が低下する「周辺光量落ち」という現象は、レンズユニットの鏡筒によって周辺光の一部がケラれることにより生じる所謂、口径食（ヴィグネッティング）、あるいはコサイン４乗則などによって引き起こされる。

特許文献１は、このような画質の低下を招く現象に対して適用される補正処理を開示する。当該補正処理では、レンズユニットの絞り、焦点距離、あるいは、焦点位置に応じた周辺光量落ちの補正データをメモリに記録しておく。そして、実際のレンズユニットの絞り値、焦点距離、あるいは、焦点位置に応じて画像を補正する信号処理を行なう。

当該補正処理は、デジタルカメラの他に、デジタルビデオカムコーダや、撮像素子が受光した像をリアルタイムで表示する所謂ライブビュー（ＬＶ）機能を搭載したカメラ等にも適用されている。この場合、動画におけるレンズユニットに起因する画質低下を、レンズユニットの光学状態に応じてリアルタイムで補正する。

特許文献２は、当該リアルタイムの補正処理を開示する。ここでは、まず交換レンズユニット内部のメモリに、収差や周辺光量などの補正値を記憶させておく。補正値の情報は、撮像装置の電源投入時や、交換レンズユニットを撮像装置に接続したときに、交換レンズユニット内部のメモリから撮像装置へと提供される。撮像装置は、交換レンズユニットの光学状態の情報をリアルタイムで受信しながら、予め受け取った補正値を用いて、光学状態に即した画像補正を行う。

このように、動画撮影中やＬＶ機能実行中に予め記憶した補正値に基づく補正を行う場合、補正結果はレンズユニットの状態情報をレンズユニットと撮像装置との間で通信する際のサンプリング間隔等や補正データの分解能の影響を受ける。例えば、通信のサンプリング間隔が大きい、或いは、補正データの分解能が低い場合、補正値の連続性が低くなり時間軸的に離散的な補正が適用され、動画の品位が低下することが考えられる。これに対し、特許文献３はレンズユニットからの値に基づくリアルタイムの補正は行わず、ある程度の時定数（変化速度）を持たせて徐々に補正値を変化させる技術を開示する。

特開２００３－１１０９３６号公報 特開２００８－０９６９０７号公報 特開２０１１－１３５５６９号公報

しかしながら、レンズユニニットの通信サンプリング間隔や補正データの分解能が十分でない場合に、さらにレンズユニットの変化量が急激に変化した場合、動画やＬＶ機能において、時定数処理を適用すると所望の補正値に到達するまでの時間が長くなってしまう。そして、この間の補正値が適切ではないために、補正結果は不自然な画像になる可能性が高い。一方で、時定数の間隔を短く設定すると補正値の変化が急峻となり、補正結果の画像において時間軸上のチラつきとして認知されてしまう。時定数処理で不自然になる例として、周辺光量落ちが大きい状態から、小さい状態にレンズユニットが変化する場合がある。この場合、周辺光量落ちが小さい状態にもかかわらず、ある一定期間は周辺光量落ちが大きい場合に対応した補正値が適用されてしまう。よって、時定数処理が収束するまで過補正の状態となり、周辺が不自然に明るくなった画像が出力されてしまう。

そこで、本発明は、レンズユニットの状態の変化にかかわらず、適正な補正画像を出力可能な補正処理技術を提供することを目的とする。

上記課題を解決するための本発明は、画像処理装置であって、
光学部材を通過した被写体の光学像を撮像素子が光電変換することによって生成された、時間軸方向に連続する画像を取得する取得手段と、
前記時間軸方向に連続する画像のそれぞれの画像における歪曲収差を補正する補正手段と、
前記補正手段が用いる補正値を算出する補正値算出手段と、
を有し、
前記補正値算出手段は、
前記光学部材の状態に対応する歪曲収差の補正値のうち、歪曲収差を補正した後に当該補正後の画像を歪曲収差の補正前の画像と同じサイズにするために必要とされる拡大率が最大となる補正値に対応する、前記拡大率を算出し、
前記時間軸方向に連続する画像のそれぞれの画像に対して、前記時間軸方向に連続する画像のそれぞれにおける前記光学部材の状態に応じた歪曲収差の補正値に、前記拡大率を加算した第２の補正値を求め、
前記補正手段は、前記時間軸方向に連続する画像のそれぞれの画像に対して得られた前記第２の補正値を用いて、前記時間軸方向に連続する画像のそれぞれの画像における歪曲収差を補正することを特徴とする。

本発明によれば、レンズユニットの状態の変化にかかわらず、適正な補正画像を出力可能な補正処理技術を提供することができる。

発明の実施形態に係る撮像装置の構成の一例を示すブロック図。 周辺光量落ち補正の概念を説明するための図。 周辺光量落ち補正に係る課題を説明するための図。 発明の実施形態に係る補正処理の一例を示すフローチャート。 発明の実施形態１に係る、目標値の算出処理の一例を示すフローチャート。 発明の実施形態１に係る、目標値の算出方法の一例を説明するための図。 発明の実施形態１に係る、補正値の算出方法の一例を説明するための図。 発明の実施形態２に係る、歪曲収差の補正値を説明するための図 発明の実施形態２に係る、樽型の歪曲収差の概念を説明するための図。 発明の実施形態２に係る、糸巻型の歪曲収差の概念を説明するための図。 発明の実施形態２に係る、補正値の算出方法の一例を説明するための図。

以下、本発明の実施の形態について図面を参照しながら詳述する。

［実施形態１］
以下、発明の第１の実施形態について、主として周辺光量補正を行なう場合について説明する。図１は、発明の実施形態に係る撮像装置１００の構成の一例を示すブロック図である。当該撮像装置１００は、例えばデジタルカメラ、デジタルビデオカメラとして実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、携帯型メディアプレーヤなど、撮像機能を有する任意の情報処理端末或いは撮像装置として実現することもできる。なお、図１は、デジタルカメラ等として機能する場合を考慮して光学部材であるレンズユニット１０を含む構成を示した。しかし、発明の実施形態として、撮像装置１００が、一眼レフのデジタルカメラのように交換レンズが取り付け可能に構成されている場合、交換レンズがレンズユニット１０に相当する。この場合、レンズユニット１０は撮像装置１００の構成要素からは除外される。

図１を参照して、本実施形態の撮像装置１００の構成及び動作を説明する。撮像装置１００は、光学部材であるレンズユニット１０として、フォーカスレンズ１０ａ、ズームレンズ１０ｂ、絞りシャッタ１０ｃ、および、レンズ特性情報記録部１０ｄを有する。レンズ特性情報記録部１０ｄは、レンズＩＤやレンズの絞り、焦点距離、焦点位置などの情報を記録している。レンズ特性情報記録部１０ｄに記録されるレンズ特性情報には、周辺光量落ち、色収差、シェーディング、球面収差、歪曲収差等のレンズユニット１０に起因する各種の画質の低下又は劣化（以下、単に「画質低下」という。）を信号処理で補正するためのデータが含まれている。当該データには、レンズユニット１０の各要素の状態に対応した補正を行なうための離散的な値が含まれる。レンズユニット１０における各要素の状態はレンズ状態情報取得部１５により取得され、特定された状態に応じたデータを用いて補正値算出部２３が画像処理回路２０において使用する補正値を算出する。

被写体から反射し、フォーカスレンズ１０ａおよびズームレンズ１０ｂを通過した光学像は、絞りシャッタ１０ｃを開くと撮像素子１４に入射する。撮像素子（撮像ユニット）１４は、例えばＣＭＯイメージセンサとして構成され、入射した光学像を光電変換して、アナログの画像信号を出力する。Ａ／Ｄ変換器１６は、撮像素子１４から出力されたアナログ画像信号をデジタル画像信号（画像データ）に変換する。

タイミング信号発生回路１８は、メモリ制御部２２、システム制御部５０の制御の下に、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号、制御信号等を供給する。画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ、あるいはメモリ制御部２２からの画像データに対して、画素補間処理、色変換処理等の所定の画像処理を施す。また、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。この演算結果に基づいて、システム制御部５０は、絞りシャッタ駆動部４０、フォーカスレンズ駆動部４２を制御するためのＴＴＬ(through-the-lens)方式の自動露出制御処理、オートフォーカス処理およびストロボ４８の自動発光制御処理を行う。更に、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、この演算結果に基づいてＴＴＬ方式のオートホワイトバランス処理も行う。

顔認識回路２１は、被写体像の中から人物像、特に顔を認識（検出）し、その検出結果をシステム制御部５０に通知する。システム制御部５０は、顔認識回路２１での顔検出結果に応じて顔の部分にフォーカスを合わせるためにフォーカスレンズ駆動部４２を制御したり、ストロボ４８の光量を調整したりする。また、システム制御部５０は、顔認識回路２１での顔検出結果に応じて、画像処理回路２０によりオートホワイトバランス処理を行わせる。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング信号発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、および圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力された画像データは、画像処理回路２０およびメモリ制御部２２を介して、またはメモリ制御部２２のみを介して画像表示メモリ２４またはメモリ３０に書き込まれる。メモリ３０は、動画撮影時に所定レートで連続的に記録媒体２００の記録部２０２に書き込まれる画像のフレームバッファとして使用される。また、メモリ３０は、システム制御部５０の作業領域としても使用される。圧縮伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理または伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

絞りシャッタ駆動部４０は、画像処理回路２０での演算結果に基づいて、絞りシャッタ１０ｃを駆動し、絞りおよびシャッタ速度を制御する。フォーカスレンズ駆動部４２は、画像処理回路２０での演算結果に基づいて、フォーカスレンズ１０ａを駆動し、オートフォーカス制御を行う。ズームレンズ駆動部４４は、操作部７０による変倍操作に応じて、ズームレンズ１０ｂを駆動する。ストロボ４８は、オートフォーカス補助光の投光機能やストロボ調光機能を有する。これらの制御情報は、レンズ状態情報取得部１５がレンズユニット１０の状態を検知するために、レンズ状態情報取得部１５にも提供される。

システム制御部５０は、不図示のＣＰＵやメモリを含み、撮像装置１００の動作を全体的に制御する。メモリ５２には、システム制御部５０の動作用の定数、変数、コンピュータプログラム（基本プログラム）等が記憶される。不揮発性メモリ５６は、例えば電気的にデータを消去記録可能なＥＥＰＲＯＭ等で構成され、コンピュータプログラム等の格納用メモリとして使用される。不揮発性メモリ５６に格納されるコンピュータプログラムには、図４を参照して後述する周辺光量補正処理の実行をシステム制御部５０により制御するためのアプリケーションプログラムが含まれる。また、不揮発性メモリ５６には、メニュー画面、露出補正／ＡＥＢ設定画面等のＧＵＩ画面上で設定された設定値等も格納される。

メインスイッチ６０は、撮像装置１００の電源のオン／オフを切換えるためのスイッチである。メインスイッチ６０の操作によって、撮像装置１００に接続された記録媒体２００の電源のオン／オフも同時に切換えることができる。シャッタスイッチ（ＳＷ１）６２は、レリーズボタンの第１ストローク操作（半押し）によってＯＮとなり、オートフォーカス処理や自動露出制御処理等の動作開始をシステム制御部５０に指示する。シャッタスイッチ（ＳＷ２）６４は、レリーズボタンの第２ストローク操作（全押し）によってＯＮとなり、露光処理、現像処理および記録処理からなる一連の撮像処理の動作開始をシステム制御部５０に指示する。

操作部７０は、不図示の各種ボタン、スイッチ、タッチパネル等を有する。ボタンとしては、例えば、メニューボタン、セットボタン、メニュー移動ボタン、圧縮モードスイッチなどが挙げられる。システム制御部５０は、操作部７０からの信号に応じて各種動作を行う。なお、圧縮モードスイッチは、ＪＰＥＧ圧縮の圧縮率を選択するため、あるいは撮像素子１４の信号をそのままデジタル化してＲＡＷ画像データとして記録媒体２００の記録媒体に記録するＲＡＷモードを選択するためのスイッチである。

ＪＰＥＧ圧縮のモードとしては、例えばノーマルモードとファインモードが用意されており、撮影した画像のデータサイズを重視する場合はノーマルモードを、撮影した画像の画質を重視する場合はファインモードを、それぞれ選択すればよい。ＪＰＥＧ圧縮のモードにおいては、撮像素子１４から読み出されてＡ／Ｄ変換器１６、画像処理回路２０、およびメモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出す。この画像データを、設定に係る圧縮率で圧縮伸長回路３２により圧縮し、記録媒体２００の記録媒体に記録する。

ＲＡＷモードでは、撮像素子１４のベイヤー配列の色フィルタの画素配列に応じて、ライン毎に画像データを読み出して、Ａ／Ｄ変換器１６、およびメモリ制御部２２を介して、メモリ３０に書き込まれたＲＡＷ画像データを読み出し、記録媒体２００の記録部２０２に記録する。動画記録ボタン７３は、撮影された動画データをメモリ３０、記録媒体２００の記録媒体に記録する記録動作を指示するために操作される。

Ｉ／Ｆ９０は、撮像装置１００が記録媒体２００と通信するためのインタフェースであり、コネクタ９２は、記録媒体２００を撮像装置１００に接続するための接続部である。記録媒体２００は、Ｉ／Ｆ２０４および記録部２０２を有して、コネクタ２０６を介して撮像装置１００に着脱自在に接続される。撮像装置１００で撮影される動画データや静止画データは、記録部２０２に記録保存される。記録媒体２００の記録部２０２に動画データや静止画データを記録保存する場合、レンズユニット１０に起因する画質低下を抑制するために、本実施形態に対応する画像補正を行うことができる。

画像表示部２８は、画像表示メモリ２４に書き込まれ、逐次Ｄ／Ａ変換器２６によりアナログ信号に変換された画像データを表示することで、電子ビューファインダ（ＥＶＦ）機能、所謂、ライブビュー（ＬＶ）機能を実現する。なお、画像表示部２８は、システム制御部５０の指示に応じて、電子ビューファインダ（ＥＶＦ）機能をＯＮ／ＯＦＦする。上記のライブビュー（ＬＶ）機能においては、レンズユニット１０に起因する画質低下を抑制するための画像補正を行うことができる。

この画像補正においては、電源入時、あるいは交換レンズ（レンズユニット１０）の接続時に、システム制御部５０は、レンズ特性情報記録部１０ｄからレンズユニット１０の特性情報を読み出す。このレンズ特性情報には、前述のように、レンズユニット１０のレンズＩＤや開放絞り値、テレ端、ワイド端の焦点距離などの特性情報が含まれる。

レンズ状態情報取得部１５は、所定のタイミング、例えばフレーム毎にレンズユニット１０の現在の状態に関する情報を取得する。具体的には、レンズ状態情報取得部１５は、絞りシャッタ駆動部４０から現在の絞り値を、ズームレンズ駆動部４４から現在の焦点距離（ズーム位置）を、フォーカスレンズ駆動部４２から現在の焦点位置を、レンズ状態情報として取得する。ただし、これら以外の画像補正に必要なレンズの状態を適宜取得することも可能である。

システム制御部５０は、レンズ特性情報記録部１０ｄから取得したレンズ特性情報、およびレンズ状態情報取得部１５から取得したレンズ状態情報を補正値算出部２３へ通知する。補正値算出部２３は、通知されたレンズ特性情報およびレンズ状態情報に基づき、例えばレンズユニット１０の周辺光量落ちを補正する補正係数、歪曲を補正する補正係数、色収差を補正する補正係数等の種々の補正値を算出する。ここでの補正値は、レンズ状態情報とレンズ特性情報から予め算出して記録しておいた補正値を基に算出しても良いし、レンズ状態情報とレンズ特性情報を基に一般的な光学式から導かれる近似された値を用いても良い。

システム制御部５０は、補正値算出部２３で算出した補正値を画像処理回路２０に通知する。画像処理回路２０は、通知された補正値に基づき、レンズユニット１０に起因する画像低下を補正する。この時の画像劣化の補正は、基本的にはレンズユニット１０の劣化を完全に補正することが望ましい。しかし、レンズユニットの製造誤差の影響や、撮像素子１４のノイズ耐性、補正データの分解能やそれによる補間誤差などの影響により、過補正を招く場合がある。この過補正は、補正強度を弱めることにより対応可能であり、その場合の処理について図２を参照して説明する。

図２は、周辺光量落ち補正の概念を説明するための図である。図２（ａ）は、レンズユニット１０があるレンズ状態にある場合に撮像装置１００で撮像して得られた画像であって、周辺光量落ちが発生している画像の例を示す。ここでは、画面の中心から四隅にかけて、光量が落ちている。図２（ｃ）は、図２（ａ）のような、周辺光量落ちが発生している画像の画像特性値の一例を示す。横軸は画像中心（光軸）からの距離（像高）を示し、縦軸は、中心の光量を１とした場合の、各像高における規格化光量値が示されている。このように周辺光量落ちは、像高が高い画像周辺部において光量が落ちる特性を示す。

図２（ｄ）は補正値算出部２３で生成された周辺光量補正値の一例を示すグラフである。図２（ｄ）では、図２（ｃ）で示したような周辺光量落ちが発生している画像を、完全に補正するための補正値を破線２０１で示している。本実施形態では、補正値は、所定の像高における規格化光量に対し掛け合わせることにより用いられるので、補正値自体は、入出力の比率、即ちゲインを表すことになる。よって、補正値のことを「補正ゲイン」、或いは、単に「ゲイン」と呼んでもよい。また、本実施形態において、完全に補正するとは、規格化光量が全ての像高において１になるように補正することをいい、このように完全に補正するための補正値のことを「理想補正値」という。周辺光量落ちを補正するならば、この破線で示す理想補正値２０１を適用することが望ましい。しかし、前述のように製造誤差の影響や、撮像素子１４のノイズ耐性などの理由により、理想補正値２０１を適用した場合に過補正を招くおそれがある場合を考慮すると、そのまま適用することはできない。

例えば、撮像素子１４の出力信号にノイズ成分が含まれていれば、後段の画像処理で補正値２０１により画素値を増幅すれば、当然ノイズ成分も増幅されることとなる。この場合、せっかく周辺光量落ちが発生している画像を補正しても、補正値が大きすぎる場合にはノイズ成分が強調され却って画質の低下を招くことになりかねない。このように、撮像素子１４を用いた撮像システムにおける周辺光量補正においては撮像素子１４の特性に基づく制約が存在する。そこで本実施形態では、過補正が発生しないような補正値とすべく図２（ｄ）の破線で示される理想補正値２０１を実線で示すような補正値２０２に弱め、補正値２０２により周辺光量補正を行なう。この補正値２０２のことを本実施形態では「適用補正値」と呼び、理想補正値２０１から生成することができる。この時、撮像素子１４の特性に基づく最大の補正値（許容最大ゲイン）を利用することができる。

ここで補正値２０２の生成方法の一例を説明する。まず、補正値算出部２３は算出した補正値２０１の最大値を抽出する。当該補正値２０１の最大値は、レンズユニット１０に起因して発生した画質低下の度合いが最大の画像を補正するための値となる。例えば図２（ｃ）の場合では、像高の最大値において規格化光量が最小値となっており、この値を１に持っていくための補正値が、補正値２０１のうち最大値となる。次に、予め不揮発性メモリ５６に記録しておいた撮像素子１４の許容最大ゲインをシステム制御部５０経由で取得し、算出した補正値が許容最大ゲイン内に収まるように弱め、それに応じて他の値を適宜修正する方法がある。補正値を修正する方法はこの限りではなく、他のどのような方法を用いても良い。

生成される画像が時間的連続性の影響を受けない静止画像の場合、各撮影において最適な補正、つまり上記制約があった場合にはそれぞれの撮影条件で最大限補正をかける値を算出して適用すれば良い。このとき、撮影毎に補正値算出部２３は算出した周辺光量補正値の最大値を、上記最大許容ゲインに落とし込む処理を行えばよい。しかし、生成される画像が動画の場合、或いは、ＬＶ機能を利用して撮影を行なう場合は、静止画と同様に処理すると補正結果の画質が不自然なものになってしまう可能性が高い。この問題について図３を参照して詳細に説明する。

ここでは、動画撮影、及び、ＬＶ機能実行中に、自動露出制御やユーザ操作などの影響により、レンズユニット１０の特性がＡからＢの状態に変化した場合を例に説明する。図３（ａ）は状態Ａの周辺光量落ち特性の状態を示す画像の例であり、図３（ｂ）は状態Ｂの周辺光量落ち特性を示す画像の例である。比較して分るように状態Ａから状態Ｂにかけて周辺光量落ちの量が少なくなる方向に状態が変化している。図３（ｃ）は、図３（ａ）のような状態Ａの周辺光量落ちが発生している画像の画像特性値の一例を示す。図３（ｄ）は、図３（ｂ）のような状態Ｂの周辺光量落ちが発生している画像の画像特性値の一例を示す。補正値算出部２３は、それぞれの状態について補正値を算出する。

状態Ａの場合、本来は理想補正値（図３（ｅ）の破線３０１の補正値）を使用したいが、周辺光量落ちの程度が大きいために前述のシステム上の制約を受けて、補正量を落とした補正値（図３（ｅ）の実線のゲイン３０２）を適用することになる。その結果、状態Ａの周辺光量落ちが発生していた画像の補正後の画像特性値は、図３（ｇ）に示すようなになる。この場合、補正後であっても、ある程度周辺光量落ちが残存した状態になる。

一方、状態Ｂの場合、周辺光量落ちの程度がもともと少ない為、前述のシステム制約を受けることなく理想補正値（図３（ｆ））を適用することができる。これにより、状態Ｂの周辺光量落ちが発生していた画像の補正後の画像特性値は、図３（ｈ）に示すようにほぼ周辺光量落ちがない状態を実現できる。

以上の補正の結果、状態Ａの周辺光量落ちが発生していた画像の補正結果は、図３（ｉ）の状態になり、状態Ｂの周辺光量落ちが発生していた画像の補正結果は図３（ｊ）の状態になる。静止画像の場合、それぞれが独立した画像であって個々の画像に最適な処理を行えばよいので、この結果でも問題はない。しかし、撮影動画やＬＶ機能の画質の観点では、図３（ｉ）の次に図３（ｊ）の画像が表示されることになるので、観察者には画面の周辺が突然明るくなったような印象を与えかねない。この状態を回避する方法として、特許文献３に記載の時定数処理を適用して、チラつきを軽減することができる。しかし、この方法では時定数処理が安定するまでに時間がかかり、その間は周辺光量落ちが少ない状態Ｂの画像に対して、周辺光量落ちが大きい状態Ａの画像を補正するための補正値が適用されてしまう。よって状態Ｂの画像の周辺は、過補正状態になり、結果として不自然な画像が出力されることになる。

このような問題は、特に状態Ａと状態Ｂとの間の変化が大きい場合に顕著になる。例えば、微速度動画（所謂タイムラプス）のような動画が生成される場合、動画像のコマ間の実時間間隔が長くなるため、直前に生成された画像との間で状態変化が大きくなりやすい。このような問題を解決するための本実施形態における処理を、図４及び図５のフローチャートを参照して説明する。

図４及び図５は、補正値算出部２３が実行する処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、補正値算出部２３として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

Ｓ４０１では、補正値算出部２３は、装着されたレンズユニット１０の補正データを取得する。補正データが撮像装置１００の不揮発性メモリ５６に記録されている場合には、補正値算出部２３は、当該補正データを取得することができる。また、レンズユニット１０が交換レンズの場合、レンズユニット１０のレンズ特性情報記録部１０ｄが保持する補正データを、システム制御部５０経由で取得しても良い。当該補正データは、交換レンズが撮像装置１００に装着された時に、システム制御部５０が取得し、補正値算出部２３に提供しても良い。

次に、Ｓ４０２では、補正値算出部２３は、撮像装置１００内の不揮発性メモリ５６に記録されているシステム制約における最大補正値である許容最大ゲインを取得する。許容最大ゲインは、例えば事前に撮像素子１４の特性を計測して定め、その値を不揮発性メモリ５６に記録しておくことができる。

次に、Ｓ４０３では、補正値算出部２３はＳ４０１とＳ４０２で得た情報に基づき周辺光量補正の目標値を算出する。（Ｓ１０３）。この算出手順の詳細は図５のフローチャートに示すとおりである。以下、図５を参照して、目標値の算出処理の詳細について説明する。

まず、補正値算出部２３は、装着されたレンズユニット１０で設定可能な条件のうち周辺光量落ち量が最も大きくなる（画質が最も低下する）条件における補正値を以下の手順で取得する。まず、一般的なレンズユニットは絞り値、焦点距離、焦点位置の組み合わせによって周辺光量落ちのレベルが決定する。そこで、補正値算出部２３は、撮像装置１００またはレンズユニット１０が有するレンズ特性情報に基づき、周辺光量落ちのレベルが最も大きくなる絞り値、焦点距離、焦点位置の組み合わせについて、規格化光量の最低値を抽出する。この最低値の例を図６（ａ）に示す。この時の周辺光量落ちを示す特性曲線を、像高ｈに対してＶ（ｈ）と定義する。補正値は、Ｖ（ｈ）の逆数（１／Ｖ（ｈ））として求めることができる。なお、規格化光量の最低値、或いは、その場合の補正値は、Ｓ４０１で取得する補正データの中に予め含まれていても良い。

次にＳ５０２おいて、補正値算出部２３はＳ４０２で取得したシステム制約における最大補正値に基づく補正値を算出する。この算出方法の一例を図６（ｂ）を参照して説明する。ここでは、システム制約上の最大補正値である許容最大ゲインをαとする。この場合、例えば、下記の式に基づき、許容最大ゲインに基づく補正値を算出することができる。

Ｇ(h)＝α(Ｆ(h)－１)／Ｆ(hmax)＋１・・・（式１）
ここでは、像高ｈに対する当初の補正値の関数をＦ（ｈ）、求めるシステム制約を加味した補正値の関数をＧ（ｈ）とする。また、最大補正値を規定する像高をｈｍａｘとする。

ここで、Ｖ（ｈ）に対して式１のＧ（ｈ）を乗算した補正結果は、レンズユニット１０が取り得る状態のうち周辺光量落ち量が最も大きくなる状態において撮像された画像の特性を、許容最大ゲインにより補正した場合に相当する。このとき補正の残りが最大、換言すれば、補正結果と規格化光量＝１との差分が最大となる。レンズユニット１０の他の状態では、少なくとも周辺光量落ち量はより小さくなるので、本実施形態における撮像装置１００において、下記式２で定義される図６（ｃ）の周辺光量であれば、他の状態で撮像した場合であっても達成できる。

Ｖ'(h)＝Ｇ(h)・Ｖ(h)・・・（式２）
そこで、Ｖ'（ｈ）を目標値として周辺光量補正を行えば、同一のレンズユニット１０と撮像装置１００の組み合わせであれば、絞り値、焦点距離、焦点位置の任意の組み合わせについて周辺の明るさを統一できる。そこで補正値算出部２３は、Ｓ５０３おいて目標値としてＶ'（ｈ）を記録する。

ここで図４のフローチャートの説明に戻り、Ｓ４０３において目標値を算出した後、Ｓ４０４において補正値算出部２３は動画制御を開始する。このように先に目標値を決定するのは、仮に目標を決定せずに動画制御を開始すると、動画撮影開始時に周辺の明るさが安定しなくなってしまうためである。Ｓ４０４にて動画制御が開始されると、ＡＥ制御やユーザ操作により、レンズユニット１０の状態がリアルタイムに変化する可能性がある。そこで、Ｓ４０５において補正値算出部２３は、周辺光量補正のために毎フレームのレンズユニット１０の絞り値、焦点距離、焦点位置などのレンズ状態情報を取得する。

次に、Ｓ４０６にて補正値算出部２３は周辺光量補正に適用する適用補正値を算出する。まず、Ｓ４０５で取得したレンズ状態情報に基づく周辺光量落ち特性から、現フレームにおける画像特性値を算出する。次に、補正値算出部２３は、算出した画像特性値と、Ｓ４０３で記録した目標値とを利用して、現フレームに対する適用補正値を決定する。続くＳ４０７では、補正値算出部２３は、Ｓ４０６で算出された適用補正値を、システム制御部５０に出力する。システム制御部５０は適用補正値を画像処理回路２０に提供し、画像処理回路２０が適用補正値に基づき現フレームの補正を行なう。その後、Ｓ４０８において補正値算出部２３は、システム制御部５０からの指示に基づき動画撮影を終了するか否かを判定し、撮影を終了しないと判定された場合（Ｓ４０８でＮＯ）、Ｓ４０５にもどって処理を継続する。撮影終了と判定された場合（Ｓ４０８でＹＥＳ）、本処理を終了する。

以下、Ｓ４０６における適用補正値の算出処理について、図７を参照して具体的に説明する。図７（ａ）においてＶ'（ｈ）はＳ４０３で算出した目標値に対応する画像特性値（周辺光量落ち特性）を示す。
Ｒ（ｈ）はＳ４０５で取得したレンズ状態情報に対応する状態をレンズユニット１０が有する場合に想定される、現フレームの画像特性値（周辺光量落ち特性）を示す。このとき、現フレームでの周辺光量補正にＲ（ｈ）の逆数で算出される図７（ｂ）の補正値Ｔ（ｈ）を適用すると、前述の動画品位の低下を招くおそれがある。そこで、Ｓ４０３で設定した目標値Ｖ'（ｈ）になるような下記式３で定義される補正値Ｔ'（ｈ）を適用する。

Ｔ'(h)=Ｖ'(h)／Ｒ(h)・・・（式３）
上記Ｔ'（ｈ）を提供することにより、周辺光量補正後のフレーム画像は、常に図６（ｃ）に示す特性を有する。よって、ＡＥ制御やユーザ操作により、レンズユニット１０の状態がリアルタイムに変化した場合であっても、動画としてのチラつきを最大限抑えることが可能となる。

以上の説明では、毎フレームについて補正値の算出を行う場合を記載したが、Ｓ４０５において取得したレンズ状態情報に基づき、フレーム間で画像特性値が所定レベル以上変化してないと判定される場合は、補正値の算出処理をスキップしてもよい。この場合、画像特性の変化の判定のために、現フレーム（現画像）と、その直前に処理された直前フレーム（直前画像）とを比較することができる。そして、画像処理回路２０は、直前画像の周辺光量補正に用いられた補正値を、現画像の周辺光量補正に使用することができる。

以上の補正値の算出及び、算出した補正値に基づく周辺光量補正を動画撮影が終了するまで継続することで、チラつきのない動画像を出力することが可能となる。また、ＬＶ機能の実行時にも上記の周辺光量補正を実施することで、ライブビュー表示における画面のチラつきを抑えることができる。このように、本実施形態によれば、レンズユニットの状態の変化に対して、ユーザに違和感を与えにくい補正画像を得ることができる。

［実施形態２］
以下、発明の第２の実施形態について、主として歪曲収差補正を行なう場合について説明する。本実施形態における撮像装置１００の構成は、実施形態１に示したものと同様であるため、詳細な説明は省略する。また、それ以外の構成についても、実施形態１と重複または対応する部分については説明を省略し、本実施形態に特有の部分については、必要に応じて実施形態１における図および符号を流用して説明する。

実施形態１において採り上げた周辺光量落ちは一般的に、画像の中央の輝度より周辺の輝度が高くなることはない。従って、周辺光量補正では、画像の端部（像高が高い領域）の補正値を上げることになる。一方、本実施形態で採り上げる歪曲収差では、理想の状態（無収差レンズで撮影した状態）に対して、画像が内側に歪む状態（所謂、樽型歪み）と、画像が外側に歪む状態（所謂、糸巻き型歪み）との２つの方向の画質低下が存在する。つまり、歪曲収差に関しては、樽型歪みと糸巻き型歪みの一方の状態から、理想の状態を経て、他方の状態となるようにレンズユニット１０の光学状態が変化する可能性がある。

図８は、像高と歪曲収差の補正値との関係の一例を示すグラフである。図８では、縦軸の正の方向が樽型の歪曲収差の補正値を示しており、数値が高いほど、歪み量の大きな樽型の歪曲収差が発生していることを示す。逆に、縦軸の負の方向は糸巻き型の歪曲収差の補正値を示しており、数値が低いほど、歪み量の大きな糸巻き型の歪曲収差が発生していることを示す。

上記歪曲補正に対する補正方法について、樽型と糸巻型それぞれ図９、図１０を参照して説明する。

まず、図９において、図９（ａ）は補正前の画像を示している。この画像は、レンズユニット１０を経由して撮像された樽型歪を含んだ画像で、図８で示した＋方向の樽型補正値により補正される。図９（ａ）に対して歪補正を行うと、像高ごとに歪成分をキャンセルする補正が適用され像高ごとに変倍率の異なる拡大処理が施される。当該補正後の画像は、図９（ｂ）のような形状を有する。樽型の場合、＋側の補正になるので、画素数が増加する。補正後の画像の中心部を元のサイズでクロップすると、画角欠損の量が大きくなってしまい、光学ファインダーを備える撮像装置の場合は光学ファインダーで視認できる画角からの欠損が大きくなってしまう。そこで、図９（ｃ）に示すように歪変換後の画像に対して内接する矩形を設定し、当該矩形領域に含まれる画像が元のサイズに収まるように一律縮小する。最終的には、図９（ｄ）に示すように元のサイズの画像となる。

次に、糸巻型の歪曲収差の補正について図１０を参照して説明する。図１０（ａ）は補正前の画像を示している。この画像は、レンズユニット１０を経由して撮像された糸巻歪を含んだ画像で、図８で示した－方向の糸巻き型補正値により補正される。図１０（ａ）に対して歪補正を行うと、像高ごとに歪成分をキャンセルする補正が適用され、像高ごとに変倍率の異なる縮小処理が施される。当該補正後の画像は、図１０（ｂ）のような形状を有する。糸巻歪の場合、－側の補正になるので、画素数が減少し、画像が縮小方向に補正されてしまう。よって、そのまま出力すると元の画像サイズを下回ってしまい、周辺部で不正な画像が出力されてしまう。そこで、図１０（ｃ）に示すように、歪変換後の画像に対して同様に内接する矩形を設定し、当該矩形領域に含まれる画像が元のサイズに一致するように拡大処理する。最終的には、図１０（ｄ）に示すように元のサイズの画像となる。

静止画像の場合、糸巻収差と樽型収差でそれぞれ個別に補正すれば問題ない。しかし、実施形態１で示した周辺光量補正の場合と同様に、時間軸方向の連続性が重要な動画において、上記のような補正を適用すると、次のような問題がある。上記のように、糸巻と樽型とでは、最後にそれぞれ縮小処理、拡大処理が適用される。従って、糸巻から樽型、或いはその逆方向に光学系がシフトした場合、本来は歪曲収差の影響をほとんど受けない画面中心の像倍率が変化してしまうことになる。

以下、当該問題を解決するための本実施形態に対応する歪曲収差補正処理の一例を、図４のフローチャートを参照して説明する。

まず、Ｓ４０１では実施形態１と同様に、補正値算出部２３は、装着されたレンズユニット１０の補正データを取得する。次にＳ４０２では、補正値算出部２３は、撮像装置１００内の不揮発性メモリ５６に記録されているシステム上の最大補正値を取得する。上述の通り最終画像の画素サイズを均一にするために、糸巻収差補正後は拡大処理を行なう。糸巻収差補正での縮小では画面中心は縮小処理が成されないが、糸巻収差補正後のこの拡大処理では画像全体が拡大されるため、画面中心が拡大されることになる。このときの拡大率が最大になるのは、糸巻収差補正における補正値が最大（縮小率が最大）の場合である。そこで、Ｓ４０２では、歪曲収差補正における最大補正値として、糸巻収差補正値の最大値を取得する。ここでは、特に、装着されたレンズユニット１０に起因して発生し得る全ての歪曲収差の状態から糸巻収差補正値の最大値を抽出する。

次にＳ４０３では、補正値算出部２３は、Ｓ４０２で取得した糸巻収差補正値の最大値を適用して得られた補正結果の画像につき、図１０（ｃ）で示した内接矩形を目標画像サイズに収めるための目標値となる拡大率を算出する。この拡大率は、このレンズユニット１０における像高中心部分の像倍率の目標値に相当する。なお、歪曲収差補正の場合でも、目標値となる拡大率を予め計算しておいてＳ４０１で取得する補正データに含めも良い。

次に、Ｓ４０３において目標値となる拡大率を算出した後、Ｓ４０４において補正値算出部２３は動画制御を開始する。動画を開始するとオートフォーカス機能やユーザ操作により、レンズユニット１０の光学条件が変更する可能性がある。そこで、Ｓ４０５において補正値算出部２３は、毎フレームの絞り値、焦点距離、焦点位置などのレンズ状態情報を取得する。次にＳ４０６では、歪曲収差補正に適用する適用補正値を算出する。まず、補正値算出部２３は、Ｓ４０５で取得したレンズ状態情報に基づく歪曲収差特性から歪曲補正値を算出する。ここでは糸巻型歪みか樽型歪みかは特に判定せず、補正データに基づいて該当位置での歪曲補正値を算出する。そして、補正値算出部２３は、算出した歪曲補正値と、Ｓ４０３で算出した目標値とに基づき、現フレームに対する適用補正値を決定する。続くＳ４０７では、補正値算出部２３は、Ｓ４０６で算出された適用補正値を、システム制御部５０に出力する。システム制御部５０は適用補正値を画像処理回路２０に提供し、画像処理回路２０が適用補正値に基づき現フレームの補正を行なう。その後、Ｓ４０８において補正値算出部２３は、システム制御部５０からの指示に基づき動画撮影を終了するか否かを判定し、撮影を終了しないと判定された場合（Ｓ４０８でＮＯ）、Ｓ４０５にもどって処理を継続する。撮影終了と判定された場合（Ｓ４０８でＹＥＳ）、本処理を終了する。

以下、Ｓ４０６における本実施形態に対応する適用補正値の算出処理について、図１１を参照して具体的に説明する。図１１では、Ｓ４０６で算出した歪曲補正値を示す関数をＤ（ｈ）として点線で示している。ここでＤ（ｈ）は、補正値が＋側の値を取っているため、樽型歪みに対する補正値である。また、Ｓ４０３で算出した拡大率をβとする。図１１に示すようにＳ４０６で算出する最終的な補正値は下記式４で定義されるＤ'（ｈ）となる。

Ｄ'(h)＝β＋Ｄ(h)・・・（式４）
このように拡大率βを補正値Ｄ（ｈ）に加算することで、βが適用補正値の初期値となる。これにより、樽型歪の場合にもＳ４０３で算出した拡大率が適用される。図９を参照して説明したように、樽型歪の場合も、図９（ｃ）の内接矩形を設定した後、縮小処理を行なって元の画像サイズに設定しているが、式４のように歪変換の際に画像中心の拡大率をβに設定して予め拡大しておくことにより、最後の縮小処理の影響を相対的に低減することができる。これにより、装着されたレンズユニット１０の状態が変化した場合でも画面中央の像倍率をほぼ一定に保つことができる。また、以上の補正値の算出及び、算出した補正値に基づく歪曲収差補正を動画撮影が終了するまで継続することで、像倍率変動の少ない動画の生成が可能となる。

上述の実施形態の説明においては、レンズユニット１０の全条件を見てβの値を決定しているが、ズーム操作により焦点距離が変動する場合、画面中心の像倍率が変化するので、焦点距離が所定以上変動するごとにβの値を算出し直しも良い。これによりβの値を小さくすることができ、拡大処理による画質劣化や画角欠損を最小限に抑えることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：レンズユニット、１０ｄ：レンズ特性情報記録部、１５：レンズ状態情報取得部、２０：画像処理回路、２３：補正値算出部、５０：システム制御部

Claims (6)

1. 光学部材を通過した被写体の光学像を撮像素子が光電変換することによって生成された、時間軸方向に連続する画像を取得する取得手段と、
   前記時間軸方向に連続する画像のそれぞれの画像における歪曲収差を補正する補正手段と、
   前記補正手段が用いる補正値を算出する補正値算出手段と、
   を有し、
   前記補正値算出手段は、
   前記光学部材の状態に対応する歪曲収差の補正値のうち、歪曲収差を補正した後に当該補正後の画像を歪曲収差の補正前の画像と同じサイズにするために必要とされる拡大率が最大となる補正値に対応する、前記拡大率を算出し、
   前記時間軸方向に連続する画像のそれぞれの画像に対して、前記時間軸方向に連続する画像のそれぞれにおける前記光学部材の状態に応じた補正値に、前記拡大率を加算した第２の補正値を求め、
   前記補正手段は、前記時間軸方向に連続する画像のそれぞれの画像に対して得られた前記第２の補正値を用いて、前記時間軸方向に連続する画像のそれぞれの画像における歪曲収差を補正することを特徴とする画像処理装置。
2. 前記光学部材によって生じる糸巻歪みの程度が最大となるときに、前記拡大率が最大となることを特徴とする請求項１に記載の画像処理装置。
3. 前記光学部材の状態には、少なくとも、絞り、焦点距離、及び、焦点位置に関する状態が含まれることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像素子を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 光学部材を通過した被写体の光学像を撮像素子が光電変換することによって生成された時間軸方向に連続する画像の、それぞれの画像における歪曲収差を補正する画像処理装置の制御方法において、
   前記光学部材の状態に対応する歪曲収差の補正値のうち、歪曲収差を補正した後に当該補正後の画像を歪曲収差の補正前の画像と同じサイズにするために必要とされる拡大率が最大となる補正値に対応する、前記拡大率を算出する工程と、
   前記時間軸方向に連続する画像のそれぞれの画像に対して、前記時間軸方向に連続する画像のそれぞれにおける前記光学部材の状態に応じた補正値に、前記拡大率を加算した第２の補正値を求める工程と、
   前記時間軸方向に連続する画像のそれぞれの画像に対して得られた前記第２の補正値を用いて、前記時間軸方向に連続する画像のそれぞれの画像における歪曲収差を補正する工程と、
   を有することを特徴とする画像処理装置の制御方法。
6. コンピュータを、請求項１から４のいずれか１項に記載の画像処理装置における取得手段、補正手段及び補正値算出手段として動作させるためのプログラム。

Images