JP5094686B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、画像にシェーディングを付加する技術に関する。

デジタルカメラにおいて、撮影時に用いられるレンズなどの光学系の特性により、撮影された画像の周辺部が中心部に比べて暗くなるシェーディングが生じることがある。近年のデジタルカメラの中には、特許文献１のように、暗くなった部分を修正して、シェーディングを補正する機能や、光学系の改良により、シェーディングの発生が抑えられたレンズを搭載するものがある。そのようなデジタルカメラを用いると、見た目ではシェーディングが生じていることがわからないような画像を撮影することができる。

一方で、シェーディングには、画像に立体感を生じさせる効果や、主要被写体を強調するような効果も生じさせる。そのため、同様な被写体を撮影した場合であっても、シェーディングが生じた画像には、シェーディングが生じていない画像とは異なる印象を、見る人に対して与える場合がある。
特開２００５−２７７６１８号公報

一般的にシェーディングは、レンズなどの光学系の特性により生じる。そのため、シェーディングがあまり生じない光学系を有するデジタルカメラにおいては、シェーディングがあまり生じていない画像を撮影することはできる。しかしながら、印象的な画像を撮影するためにシェーディングを生じさせるためには、撮影時にレンズの前面にフィルターを配置するなど、光学系の変更を行わなければならなかった。また、光学系に応じたシェーディングが付加される場合、画像のアスペクト比によっては、シェーディングが強過ぎたり、逆に弱過ぎる状態となる場合がある。

本発明は、光学系の変更を行うことなく、画像のアスペクト比に応じて適した形状のシェーディングを付加する技術を提供することを目的とする。

本発明のある態様に係る画像処理装置は、撮影レンズを通して撮像素子で受光した被写体光を光電変換することにより得られる画像データに対して、前記撮影レンズの光学特性よりも強調したシェーディングを付加する画像処理装置であって、シェーディングを付加する画像データのアスペクト比を取得するアスペクト比取得部と、前記アスペクト比取得部によって取得されたアスペクト比に基づいて、前記画像データに付加するシェーディングの特性を決定するシェーディング特性決定部と、前記シェーディング特性決定部によって決定されたシェーディングの特性に応じたシェーディングを、前記画像データに付加するシェーディング付加部と、を備えることを特徴とする。

本発明の別の態様に係る画像処理方法は、撮影レンズを通して撮像素子で受光した被写体光を光電変換することにより得られる画像データに対して、前記撮影レンズの光学特性よりも強調したシェーディングを付加する画像処理方法であって、シェーディングを付加する画像データのアスペクト比を取得するステップと、取得したアスペクト比に基づいて、前記画像データに付加するシェーディングの特性を決定するステップと、決定したシェーディングの特性に応じたシェーディングを、前記画像データに付加するステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、撮影レンズを通して撮像素子で受光した被写体光を光電変換することにより得られる画像データに対して、前記撮影レンズの光学特性よりも強調したシェーディングを付加する処理をコンピュータに実行させるためのプログラムであって、シェーディングを付加する画像データのアスペクト比を取得するステップと、取得したアスペクト比に基づいて、前記画像データに付加するシェーディングの特性を決定するステップと、決定したシェーディングの特性に応じたシェーディングを、前記画像データに付加するステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、画像のアスペクト比に応じて適した形状のシェーディングを付加することができる。

図１は、一実施形態に係る画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。このデジタルスチルカメラでは、ユーザの操作に基づいて、画像のアスペクト比を、例えば、４：３、６：６、１６：９等のように、変更することができる。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。

交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。

カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、シェーディング処理部１１８と、ＭＰＥＧ処理部１１９とを有している。

レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。Ｆｌａｓｈメモリ１０１１には、レンズ１０１０に関するシェーディング特性の情報が記憶されている。

マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、シェーディング特性などの情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。

ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。

メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。

アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５と、シェーディング処理部１１８と、ＭＰＥＧ処理部１１９に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、ＪＰＥＧ処理部１１０、ＭＰＥＧ処理部１１９において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、ホワイトバランス補正部１０７１（以下、ＷＢ補正部１０７１）、同時化処理部１０７２、色再現処理部１０７３、および、ノイズ低減処理部１０７４（以下、ＮＲ処理部１０７４）を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。ＷＢ補正部１０７１は、画像データのホワイトバランスを補正する処理を行う。同時化処理部１０７２は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。色再現処理部１０７３は、画像の色味を変化させる色再現処理を行い、ＮＲ処理部１０７４は、ノイズを低減する処理を行う。ノイズ低減処理後の画像データは、ＳＤＲＡＭ１０６に記憶される。

デジタルスチルカメラによる撮影時には、メカシャッター１０１を開放した状態で繰り返し撮像を行い、撮像結果を動画像として逐次ＬＣＤ１１４に表示して、ＬＣＤ上で構図等の確認を可能とした、いわゆるライブビュー表示（スルー画表示とも呼ばれる）が可能である。このライブビュー表示時には、画像処理部１０７は、画像データに基づいて、ライブビュー表示を行うためのライブビュー表示画像を生成する処理を行っていると言える。

シェーディング処理部１１８は、画像処理部１０７によって様々な画像処理が行われて、ＳＤＲＡＭ１０６に一旦記憶された画像データを読み出して、画像の中心部に対して周辺部が暗くなるようにシェーディングを付加する処理を行う。

ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。

ＪＰＥＧ処理部１１０は、画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＭＰＥＧ処理部１１９は、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＭＰＥＧ圧縮方式に従って時系列的に多重化して、圧縮動画データを生成する。生成された圧縮動画ファイルは、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録される。

ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。記録媒体１１２に記録されたＪＰＥＧファイルを再生する場合、ＪＰＥＧ処理部１１０は、記録媒体１１２に記録されているＪＰＥＧファイルを読み出して伸張処理を施した上で、伸張した画像データを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張された画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データを映像信号へ変換した後でＬＣＤ１１４へ出力して、画像の表示を行う。画像の表示には、静止画の表示だけでなく、ライブビュー表示画等の動画の表示も含まれる。

制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。

操作部１１６は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザは、各種入力キーを操作することによって、画像のアスペクト比を設定することができる。例えば、予め設定されている複数のアスペクト比の中から、希望するアスペクト比を選択するようにしてもよいし、任意のアスペクト比をユーザが設定できるようにしてもよい。

ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイクロコンピュータ１１５は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１７は、ホワイトバランス補正値やローパスフィルタ係数、シェーディングの特性を決めるシェーディングテーブル等のデジタルカメラの動作に必要な各種パラメータや、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、一実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。電源ボタンがオンされると、ステップＳ１０１の処理が開始される。

ステップＳ１０１では、撮影を行うか否か、すなわち、レリーズボタンが押されたか否かを判定する。レリーズボタンが押されたと判定すると、ステップＳ１０２に進み、撮影動作を行う。撮影動作については、図３に示すフローチャートを用いて後述する。

ステップＳ１０１でレリーズボタンが押されていないと判定すると、ステップＳ１０３に進む。ステップＳ１０３では、ユーザによる操作部１１６の操作により、画像のアスペクト比を変更する操作が行われたか否かを判定する。画像のアスペクト比を変更する操作が行われたと判定するとステップＳ１０４に進み、画像のアスペクト比を変更する設定を行う。

一方、ステップＳ１０３において、画像のアスペクト比を変更する操作が行われていないと判定すると、ステップＳ１０５に進む。ステップＳ１０５では、ライブビュー表示を行う。ライブビュー表示の処理については、図４に示すフローチャートを用いて後述する。

ステップＳ１０６では、全ての動作を終了するか否か、すなわち、電源ボタンの操作によって、電源がオフされたか否かを判定する。電源がオフされていないと判定するとステップＳ１０１に戻り、電源がオフされたと判定すると、全ての動作を終了する。

図３は、図２に示すフローチャートのステップＳ１０２で行う撮影動作についての詳しい処理内容を示すフローチャートである。

ステップＳ２０１では、撮影を行う。撮影に関しては、従来から用いられている手法と同様である。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、被写体の像が最も鮮明になるように、図示していないレンズ駆動機構を駆動させるＡＦ処理、および、被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶された絞り値およびシャッター速決定テーブルを参照することにより、絞りとシャッター速を算出するＡＥ処理を行う。そして、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、Ｉ／Ｆ９９９を介して、算出した絞り値をマイクロコンピュータ１０１２に送信する。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、算出された絞り値になるように絞り１０１４を駆動させる。そして、算出したシャッター速に基づいて、メカシャッター１０１を制御して撮影を行い、画像データを得る。

ステップＳ２０２では、ステップＳ２０１で得られた画像データに対して、画像処理部１０７にて、ホワイトバランス補正処理、色変換処理および色再現処理や、ノイズ低減処理等の画像処理などを行い、同時化された画像データを得る。

ステップＳ２０３では、シェーディングを付加する必要があるか否かの判定を行う。この判定は、ユーザによる操作部１１６の操作結果に基づいて行う。すなわち、ユーザは、操作部１１６の操作によって、画像にシェーディングを付加するか否かを予め設定することができ、その設定結果はＦｌａｓｈメモリ１１７に記録される。Ｆｌａｓｈメモリ１１７に記録されている、シェーディング付加に関する設定結果に基づいて、シェーディングを付加する必要があると判定するとステップＳ２０４に進み、付加しないと判定すると、ステップＳ２０５に進む。

ステップＳ２０４において、シェーディング処理部１１８は、ステップＳ２０２において同時化された画像データに対して、画像の中心部に対して周辺部が暗くなるようにシェーディングを付加する処理を行い、シェーディングが付加された画像データを作成する。シェーディング付加の処理に関する詳細については、後述する。

ステップＳ２０５では、ＬＣＤドライバ１１３を制御して、画像データをＬＣＤ１１４に表示させる。この処理は、記録媒体１１２に記録される画像データを一時的にユーザに見せるための処理である。

ステップＳ２０６では、画像データをＪＰＥＧ処理部１１０でＪＰＥＧ圧縮して、ＪＰＥＧ画像データを得るとともに、ＪＰＥＧヘッダを作成して、ＳＤＲＡＭ１０６に記憶する。ステップＳ２０７では、ＪＰＥＧ画像データとＪＰＥＧヘッダを１つのファイルとして構成し、記録媒体１１２に記録する。

図４は、図２に示すフローチャートのステップＳ１０５で行うライブビュー表示動作についての詳しい処理内容を示すフローチャートである。

ステップＳ３０１では、撮影を行う。この撮影は、ライブビュー表示を行うための撮影のため、いわゆる電子シャッターによる撮影を行う。ライブビュー表示を行うための撮影については、従来から用いられている手法と同様であるため、ここでは詳しい説明を省略する。

ステップＳ３０２では、ステップＳ３０１で得られた画像データに対して、画像処理部１０７にて、ホワイトバランス補正処理、色変換処理および色再現処理や、ノイズ低減処理等の画像処理などを行い、同時化された画像データを得る。

ステップＳ３０３では、シェーディングを付加する必要があるか否かの判定を行う。この判定は、図３に示すフローチャートのステップＳ２０３の判定と同じである。シェーディングを付加する必要があると判定するとステップＳ３０４に進み、付加しないと判定すると、ステップＳ３０５に進む。

ステップＳ３０４において、シェーディング処理部１１８は、ステップＳ３０２において同時化された画像データに対して、画像の中心部に対して周辺部が暗くなるようにシェーディング付加の処理を行い、シェーディングが付加された画像データを作成する。シェーディング付加の処理に関する詳細については、後述する。

ステップＳ３０５では、ＬＣＤドライバ１１３を制御して、画像データをＬＣＤ１１４に表示させる。この処理は、ライブビュー表示画像をユーザに見せるための処理である。ステップＳ３０４でシェーディングを付加する処理が行われた場合には、シェーディングが付加された状態の動画像がＬＣＤ１１４に表示される。以後、ライブビュー表示が終了するまで、ステップＳ３０１からステップＳ３０５の処理が繰り返し行われる。

図５は、シェーディング付加時の処理フロー、すなわち、図３に示すフローチャートのステップＳ２０４、および、図４に示すフローチャートのステップＳ３０４における処理の内容を示すフローチャートである。

ステップＳ４０１では、後述する補正係数をシェーディング処理部１１８が算出して、保持しているか否かを判定する。後述するように、シェーディング処理部１１８は、Ｆｌａｓｈメモリ１１７からシェーディングの特性を決めるシェーディングテーブルを読み込んで（ステップＳ４０３）、補正係数を算出して（ステップＳ４０５）、シェーディングを付加する処理（ステップＳ４０６）を繰り返し行う。ステップＳ４０１では、後述するステップＳ４０５の補正係数算出処理を一度行ったか否かを判定する。補正係数の算出処理を行っており、補正係数を保持していると判定すると、ステップＳ４０２に進む。

ステップＳ４０２では、画像のアスペクト比が変更されたか否かを判定する。画像のアスペクト比が変更されていないと判定すると、ステップＳ４０６に進む。

一方、ステップＳ４０１において、補正係数の算出処理を行っておらず、補正係数を保持していないと判定した場合、および、ステップＳ４０２において、画像のアスペクト比が変更されたと判定した場合には、ステップＳ４０３に進む。 ステップＳ４０３では、予めＦｌａｓｈメモリ１１７に記憶されている、シェーディングの特性を決めるシェーディングテーブルを読み込む。

シェーディングテーブルは、例えば、図６に示すように、基準点からの距離に応じて、補正係数が１から徐々に減少するような特性の連続データを、一定間隔でサンプリングしたものである。基準点は、例えば、画像データにおける光軸中心に対応する位置とし、ここでは、画像の中心位置とする。なお、図６では、画像の中心位置から最も遠い位置における距離が１となるように正規化している。

上述したように、シェーディング処理部１１８によるシェーディングの付加は、ＷＢ補正部１０７１によるホワイトバランス補正処理が行われた後に行われる。一般的に、撮影された画像データは、適切な明るさであることが多いので、画像の基準となる中心は、適切な明るさとしたまま、周辺部を徐々に暗くするのが好ましい。よって、補正係数を１以下としている。補正係数は、撮影レンズ１０１０の光学特性よりも強調したシェーディングが付加されるような値とする。

なお、シェーディングテーブルにおいて、サンプリング間隔を大きくすると、データ量は小さくなるが、図６に示すような特性の再現性が悪くなる。逆に、サンプリング間隔を小さくすると、図６に示すような特性の再現性は良くなるが、データ量は大きくなる。

ステップＳ４０４では、画像のアスペクト比ｒを算出する。アスペクト比ｒは、画像の幅Ｗを画像の高さＨで除算することにより得られる（ｒ＝Ｗ／Ｈ）。

ステップＳ４０５では、ステップＳ４０３で取得したシェーディングテーブル、および、ステップＳ４０４で算出した画像のアスペクト比ｒに基づいて、各画素位置における補正係数を算出する。以下では、基準点である画像の中心位置の座標を（０，０）とし、座標（ｘ，ｙ）の画素位置の補正係数の算出方法について説明する。

まず初めに、次式（１）より、係数ｋを算出する。

［数１］
ｋ＝ｒ^a （１）
ただし、ａは任意の値であり、例えば、ａ＝２．４とする。

続いて、基準点である画像の中心位置からの距離ｄを次式（２）により算出する。

［数２］
ｄ＝（ｘ²＋ｋ×ｙ²）^1/2 （２）
最後に、式（２）により算出した距離ｄを、ｄの最大値ｄ_maxで正規化（ｄ／ｄ_max）し、正規化した距離に基づいて、ステップＳ４０３で取得したシェーディングテーブルを参照することにより、補正係数を求める。ｄの最大値ｄ_maxは、画像の中心位置から最も遠い位置の距離である。

なお、シェーディングテーブルにおけるデータのサンプリング間隔が大きい場合には、線形補間などの補間手法を用いて補間することで、画像の中心位置からの距離に応じてなめらかに補正係数を変化させることができる。

ここで、距離ｄを算出するためには、式（２）に示すように、平方根を求める必要がある。一般に、平方根を求めると演算量が増加してしまうため、シェーディングテーブルを、距離ｄの２乗に応じた補正係数を格納したデータテーブルとしてもよい。図７は、横軸を距離ｄの２乗とした場合の補正係数の特性の一例を示す図である。ただし、図６と同様に、画像の中心位置から最も遠い位置における距離が１となるように正規化している。この場合のシェーディングテーブルは、距離ｄの２乗に応じて、補正係数が１から徐々に減少するような特性の連続データを、一定間隔でサンプリングしたものとなる。図７に示すような特性のシェーディングテーブルを用いることにより、図６に示すような特性のシェーディングテーブルを用いる場合に比べて、少ない演算量で高速に、補正係数を求めることができる。

図８（ａ）〜（ｃ）は、画像のアスペクト比に応じて求められた補正係数を用いて付加されるシェーディングデータの一例を示す図である。図８（ａ）は、アスペクト比ｒ＝４／３の画像を、図８（ｂ）は、アスペクト比ｒ＝６／６の画像を、図８（ｃ）は、アスペクト比ｒ＝１６／９の画像をそれぞれ示している。

画像が長方形の形状の場合には、図８（ａ）および図８（ｃ）に示すように、シェーディングが付加されない領域の形状は楕円形状となる。一方、画像が正方形の場合には、図８（ｂ）に示すように、シェーディングが付加されない領域の形状は同心円形状となる。これにより、画像の形状に応じて、自然に見える適切な形状のシェーディングを付加することができる。

式（１）において、ａの値を大きくしていくと、画像の縦方向において、付加されるシェーディングの度合いは大きくなる。ここでは、ａ＝２．４に設定することにより、図８（ａ）に示すように、画像の長辺の中心点７１の輝度の低下量が短辺の中心点７２の輝度の低下量よりも大きくなるようにしている。

図８（ａ）において、ａ＝２とすると、画像長辺の中心点７１の輝度の低下量と、短辺の中心点７２の輝度の低下量が同じになる。この場合、シェーディングが付加された画像において、画像の画角が狭い印象をユーザに与えてしまう。従って、本実施の形態では、画像に付加するシェーディングの特性を、画像の長辺の中心点の輝度の低下量が短辺の中心点の輝度の低下量よりも大きくなるようにすることで、画像の画角が狭い印象となるのを防ぎつつ、画像のアスペクト比に応じた適切な形状のシェーディングを付加できるようにしている。

ステップＳ４０６では、画像を構成する各画素の値に、各画素位置に対応する補正係数を乗じることによって、シェーディングを付加する処理を行う。補正係数は、ステップＳ４０５の処理を行った後にステップＳ４０６に進んだ場合には、ステップＳ４０５で算出した補正係数を用い、ステップＳ４０２の判定を否定してステップＳ４０６に進んだ場合には、既に算出済みの補正係数を用いる。既に算出済みの補正係数を用いてシェーディングを付加する処理を行うことにより、シェーディングテーブルを読み込んで補正係数を算出する処理を省略し、演算負荷を低減することができる。 シェーディングの付加処理では、例えば、画像データがＲＧＢ形式のデータである場合には、Ｒ、Ｇ、Ｂ全てに同じ補正係数を乗算することで、画像の中心位置に対して画像周辺が暗くなるように、輝度を変更することができる。

ここで、ＪＰＥＧ圧縮等のために、ＲＧＢ形式の画像データを輝度成分（例えば、Ｙ）と色差成分（例えば、ＣｂとＣｒ）に分離した画像データに変換することがある。この場合、輝度成分のデータのみに補正係数を乗算することで、輝度を変更することができる。例えば、画像処理部１０７において、ＲＧＢ形式の画像データを輝度成分および色差成分のデータに変換し、変換後のデータを一旦ＳＤＲＡＭ１０６に記憶させる。シェーディング処理部１１８は、ＳＤＲＡＭ１０６に記憶されている輝度成分および色差成分のデータを読み出して、輝度成分のデータのみに対して、補正係数を乗算することにより、シェーディングを付加する処理を行う。この方法によれば、Ｒ、Ｇ、Ｂのそれぞれに補正係数を乗算する場合に比べて、乗算量が３分の１になるため、演算処理を高速化することができる。

図９（ａ）〜（ｃ）は、アスペクト比に応じたシェーディングが付加された画像を示しており、それぞれ、図８（ａ）〜（ｃ）に対応している。また、図９（ｃ）に示す画像と対応させて、シェーディングが付加されていない画像を図９（ｄ）に示す。なお、図９（ａ）〜（ｄ）において、符号８１で示されている被写体は、模式的に表された人物の上半身である。

以上、一実施形態における画像処理装置によれば、画像データのアスペクト比に応じて、画像データに付加するシェーディングの特性を決定し、決定したシェーディング特性に応じたシェーディングを画像データに付加する。これにより、画像のアスペクト比に応じて適した形状のシェーディングを付加することができる。

特に、画像データのアスペクト比が正方形のアスペクト比であった場合には、シェーディングが付加されない領域の形状が同心円となるようなシェーディング特性とし、長方形のアスペクト比であった場合には、シェーディングが付加されない領域の形状が楕円形状となるようなシェーディング特性とするので、自然に見える適切な形状のシェーディングを付加することができる。

さらに、画像データのアスペクト比が長方形のアスペクト比であった場合に、画像の長手方向の少なくとも一方の端部で最もシェーディングが小さい領域の輝度の低下量に対して、短手方向の少なくとも一方の端部で最もシェーディングが小さい領域の輝度の低下量が小さくなるように、シェーディング特性を決定する。これにより、画像の画角が狭い印象となるのを防ぎつつ、画像のアスペクト比に応じた適切な形状のシェーディングを付加することができる。

本発明は、上述した一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、撮影時の各種情報やデータ記録時の情報等を表示するためのオンスクリーンディスプレイ（ＯＳＤ）データを生成し、生成したＯＳＤデータを画像データと合成してＬＣＤ１１４に表示させる構成のデジタルスチルカメラにおいて、ＯＳＤデータを生成する処理部において、アスペクト比に応じたシェーディング付きのＯＳＤデータを生成して画像データと合成し、ＬＣＤ１１４に表示させるようにすることもできる。

上述した一実施形態では、画像データにおける光軸中心に対応する位置、すなわち、画像の中心位置を基準としてシェーディングを付加する処理を行ったが、シェーディング付加処理を行う際の基準位置は、画像上の任意の位置とすることができる。

なお、上述した一実施形態の説明では、画像処理装置をデジタルスチルカメラに適用した例を挙げて説明したが、上述した処理を実現するためのプログラムをコンピュータが実行する構成とすることもできる。すなわち、ＣＰＵ、ＲＡＭ等の主記憶装置、各実施形態で説明した処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えたコンピュータにおいて、ＣＰＵが上記記憶媒体に記憶されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、上述したプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがプログラムを実行するようにしても良い。

一実施形態に係る画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。 一実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。 図２に示すフローチャートのステップＳ１０２で行う撮影動作についての詳しい処理内容を示すフローチャートである。 図２に示すフローチャートのステップＳ１０５で行うライブビュー表示動作についての詳しい処理内容を示すフローチャートである。 シェーディング付加時の処理の内容を示すフローチャートである。 基準点からの距離に応じた補正係数の特性の一例を示す図である。 基準点からの距離の２乗に応じた補正係数の特性の一例を示す図である。 図８（ａ）〜（ｃ）は、画像のアスペクト比に応じて求められた補正係数を用いて付加されるシェーディングデータの一例を示す図である。 図９（ａ）〜（ｃ）は、アスペクト比に応じたシェーディングが付加された画像を示す図であり、図９（ｄ）は、図９（ｃ）に示す画像と対応させて、シェーディングが付加されていない画像を示す図である。

符号の説明

１…カメラ本体、２…交換式レンズ、１０１…メカシャッター、１０２…撮像素子、１０３…アナログ処理部、１０４…アナログ/デジタル変換部、１０５…バス、１０６…ＳＤＲＡＭ、１０７…画像処理部、１０８…ＡＥ処理部、１０９…ＡＦ処理部、１１０…ＪＰＥＧ処理部、１１１…メモリインターフェース、１１２…記録媒体、１１３…ＬＣＤドライバ、１１４…ＬＣＤ、１１５…マイクロコンピュータ、１１６…操作部、１１７…Ｆｌａｓｈメモリ、１１８…シェーディング処理部、１１９…ＭＰＥＧ処理部、９９９…Ｉ／Ｆ、１０１０…レンズ、１０１１…Ｆｌａｓｈメモリ、１０１２…マイクロコンピュータ、１０１３…ドライバ、１０１４…絞り、１０７１…ホワイトバランス補正部、１０７２…同時化処理部、１０７３…色再現処理部、１０７４…ノイズ低減処理部

Claims (6)

1. 撮影レンズを通して撮像素子で受光した被写体光を光電変換することにより得られる画像データに対して、前記撮影レンズの光学特性よりも強調したシェーディングを付加する画像処理装置であって、
   シェーディングを付加する画像データのアスペクト比を取得するアスペクト比取得部と、
   前記アスペクト比取得部によって取得されたアスペクト比に基づいて、前記画像データに付加するシェーディングの特性を決定するシェーディング特性決定部と、
   前記シェーディング特性決定部によって決定されたシェーディングの特性に応じたシェーディングを、前記画像データに付加するシェーディング付加部と、
   を備えることを特徴とする画像処理装置。
2. 前記シェーディング特性決定部は、前記アスペクト比取得部によって取得されたアスペクト比が正方形のアスペクト比であった場合には、シェーディングが付加されない領域の形状が同心円となるようなシェーディング特性とし、長方形のアスペクト比であった場合には、シェーディングが付加されない領域の形状が楕円形状となるようなシェーディング特性とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記シェーディング特性決定部は、前記アスペクト比取得部によって取得されたアスペクト比が長方形のアスペクト比であった場合に、前記画像データの長手方向の少なくとも一方の端部で最もシェーディングの小さい領域の輝度の低下量に対して、短手方向の少なくとも一方の端部で最もシェーディングの小さい領域の輝度の低下量が小さくなるように、前記シェーディング特性を決定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記シェーディング特性決定部は、前記画像データの各画素の位置に応じて、前記シェーディングを付加する処理で用いる補正係数を１以下の値として算出する補正係数算出部を備え、
   前記シェーディング付加部は、前記画像データの各画素の位置ごとに、その画素位置の画素値に前記１以下の補正係数を乗ずることにより、シェーディングを付加した画像を得ることを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 撮影レンズを通して撮像素子で受光した被写体光を光電変換することにより得られる画像データに対して、前記撮影レンズの光学特性よりも強調したシェーディングを付加する画像処理方法であって、
   シェーディングを付加する画像データのアスペクト比を取得するステップと、
   取得したアスペクト比に基づいて、前記画像データに付加するシェーディングの特性を決定するステップと、
   決定したシェーディングの特性に応じたシェーディングを、前記画像データに付加するステップと、
   を備えることを特徴とする画像処理方法。
6. 撮影レンズを通して撮像素子で受光した被写体光を光電変換することにより得られる画像データに対して、前記撮影レンズの光学特性よりも強調したシェーディングを付加する処理をコンピュータに実行させるためのプログラムであって、
   シェーディングを付加する画像データのアスペクト比を取得するステップと、
   取得したアスペクト比に基づいて、前記画像データに付加するシェーディングの特性を決定するステップと、
   決定したシェーディングの特性に応じたシェーディングを、前記画像データに付加するステップと、
   をコンピュータに実行させるための画像処理プログラム。