JP5191941B2 - 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、デジタルカメラ等によって得られる画像データに対して、所定の粒状パターンを付加する技術に関する。

デジタルカメラで撮影した画像データに対して、銀塩写真の銀塩粒子による粒状感に似せた粒状パターンを重畳する技術が様々提案されている。特許文献１では、画素単位で乱数を発生させ、周波数フィルタ処理やスケール変更を行って期待する粒状度の粒状を画像に重畳させている。また、特許文献２では、均一露光されたカラーフィルムから得られた露光画像から平滑化した画像を減算することで、粒状パターンを算出している。

米国特許第５，６４１，５９６号明細書 特開平１１−８５９５５号公報

デジタルカメラでは、画像データのサイズを小さくして、記録・表示する場合がある。通常、様々な画像処理が施された画像データに対して、データサイズを小さくする処理を行うが、画像データに粒状パターンを重畳させてから、データサイズを縮小すると、縮小時に細かな粒状パターンがつぶれてしまうという問題があった。

本発明は、十分に粒状感のある粒状パターンが重畳された縮小画像データを得るための技術を提供することを目的とする。

本発明のある態様に係る撮像装置は、被写体を撮像して第１の画像データを得る撮像部と、前記第１の画像データに対して画像処理を行い第２の画像データを生成する画像処理部と、記録時の記録サイズを設定するサイズ設定部と、前記サイズ設定部で設定された記録サイズと前記第２の画像データのサイズに基づいて前記第２の画像データをリサイズし、第３の画像データを生成するリサイズ部と、前記第２または第３の画像データに所定の粒状パターンを付加する粒状パターン付加モードを設定する粒状パターン付加モード設定部と、前記粒状パターン付加モード設定部により、前記粒状パターン付加モードが設定されている場合において、前記サイズ設定部で設定された記録サイズが、前記第２の画像データを縮小して生成されるサイズの場合には、前記第３の画像データに対して前記所定の粒状パターンを付加し、前記サイズ設定部で設定された記録サイズが前記第２の画像データを縮小せずに生成されるサイズの場合には、前記第２の画像データに対して前記所定の粒状パターンを付加する粒状パターン付加部と、を備えることを特徴とする。

本発明のある態様に係る画像処理装置は、入力された画像データに対して所定の粒状パターンを付加する画像処理装置であって、前記入力された画像データよりも画素数の少ない縮小画像データを生成するリサイズ部と、前記リサイズ部によって前記縮小画像データを生成する処理が行われていない場合には、前記入力された画像データに対して、前記所定の粒状パターンを付加する第１の粒状パターン付加部と、前記リサイズ部によって前記縮小画像データが生成された場合には、前記縮小画像データに対して、前記所定の粒状パターンを付加する第２の粒状パターン付加部と、を備えることを特徴とする。

本発明のある態様に係る画像処理方法は、画像データに対して所定の粒状パターンを付加する画像処理方法であって、前記画像データよりも画素数の少ない縮小画像データを生成するステップと、前記縮小画像データを生成する処理が行われていない場合には、前記画像データに対して所定の粒状パターンを付加し、前記縮小画像データを生成する処理が行われた場合には、前記縮小画像データに対して、前記所定の粒状パターンを付加するステップと、を備えることを特徴とする。

本発明のある態様に係る画像処理プログラムは、画像データに対して所定の粒状パターンを付加するための画像処理プログラムであって、前記画像データよりも画素数の少ない縮小画像データを生成するステップと、前記縮小画像データを生成する処理が行われていない場合には、前記画像データに対して所定の粒状パターンを付加し、前記縮小画像データを生成する処理が行われた場合には、前記縮小画像データに対して、前記所定の粒状パターンを付加するステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、粒状感が損なわれていない粒状パターンが付加された縮小画像データを得ることができる。

第１の実施形態における画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。 第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。 静止画の撮影・記録動作の詳しい処理内容を示すフローチャートである。 図３Ａに示すフローチャートに続く処理内容を示すフローチャートである。 ライブビュー表示の詳しい処理内容を示すフローチャートである。 第２の実施形態における画像処理装置において行われる静止画の撮影・記録動作の処理のうち、図３ＡのステップＳ３１３の後に行われる処理内容を示すフローチャートである。 第２の実施形態における画像処理装置において行われるライブビュー表示処理の詳しい処理内容を示すフローチャートである。

＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置を適用したデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。

交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。

カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、拡大・縮小部１１８と、画像加算部１１９と、を有している。

レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。

マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、様々な情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。

ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。

メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。

アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５と、拡大・縮小部１１８と、画像加算部１１９に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、ＪＰＥＧ処理部１１０、拡大・縮小部１１８、画像加算部１１９において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、オプティカルブラック減算部１０７１（以下、ＯＢ減算部）、ホワイトバランス補正部１０７２（以下、ＷＢ補正部１０７２）、同時化処理部１０７３、ガンマ・色再現処理部１０７４、カラーマトリクス演算部１０７５、エッジ強調処理部１０７６、および、ノイズ低減処理部１０７７（以下、ＮＲ処理部１０７７）を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。

ＯＢ減算部１０７１は、画像データに対して、オプティカルブラック減算処理（以下、ＯＢ減算処理）を行う。ＯＢ減算処理は、画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値（以下、ＯＢ値）を減算する処理である。

ＷＢ補正部１０７２は、画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。ホワイトバランスモードは、晴天、曇天、電球、蛍光灯などの光源に応じて、ユーザが設定可能である。

同時化処理部１０７３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。ガンマ・色再現処理部１０７４は、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

カラーマトリクス演算部１０７５は、画像データに対して、カラーマトリクスを乗じる線形変換を行って、画像データの色を補正する。エッジ強調処理部１０７６は、画像データから、エッジを抽出し、抽出したエッジのデータに所定のゲインを乗じてから、画像データに加算することにより、画像データのエッジを強調する処理を行う。ＮＲ処理部１０７７は、高周波を低減するフィルタを用いた処理や、コアリング処理等により、ノイズを低減する処理を行う。

画像処理部１０７は、必要に応じて、内部に備えた各部１０７１〜１０７７を選択して、各処理を行う。画像処理部１０７によって各処理が行われた後の画像データは、ＳＤＲＡＭ１０６に記憶される。

ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。

拡大・縮小部１１８は、ＳＤＲＡＭ１０６に記憶されている画像データのサイズを、指定されたサイズに縮小または拡大する処理を行う。拡大・縮小部１１８は、画像データを縮小する場合には、ローパスフィルタを用いて、折り返し歪みが生じないように、高周波成分を低減させてから、画像の画素数を減らす処理を行う。

画像加算部１１９は、画像処理後の画像データと、銀塩粒子による粒状感に似せた粒状パターンの画像データとを加算して、粒状パターンを重畳させた画像データを出力する。粒状パターンを重畳させた画像データは、ＳＤＲＡＭ１０６に記憶される。なお、粒状パターンの画像データと加算する前の画像処理後の画像データには、拡大・縮小部１１８で縮小処理が行われない画像データだけでなく、縮小処理が行われた画像データも含まれる。

ＪＰＥＧ処理部１１０は、画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。画像の表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体１１２に記録されたＪＰＥＧファイルの再生表示、および、ライブビュー表示等の動画の表示が含まれる。記録媒体１１２に記録されたＪＰＥＧファイルを再生する場合、ＪＰＥＧ処理部１１０は、記録媒体１１２に記録されているＪＰＥＧファイルを読み出して伸張処理を施した上で、伸張した画像データを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張された画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データを映像信号へ変換した後でＬＣＤ１１４へ出力して、画像の表示を行う。

制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。

操作部１１６は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイクロコンピュータ１１５は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１７は、ホワイトバランスモードに応じたホワイトバランスゲインやローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、銀塩粒子による粒状感に似せた粒状パターンの画像データ、および、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、第１の実施形態に係る画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。ユーザにより電源ボタンが押されて、デジタルスチルカメラの電源がオンになると、マイクロコンピュータ１１５は、ステップＳ２０１の処理を開始する。

ステップＳ２０１では、撮影を行うか否か、すなわち、レリーズボタンが押されたか否かを判定する。レリーズボタンが押されたと判定すると、ステップＳ２０２に進み、静止画の撮影・記録動作を行う。静止画の撮影・記録動作については、図３Ａおよび図３Ｂに示すフローチャートを用いて後述する。

ステップＳ２０１でレリーズボタンが押されていないと判定すると、ステップＳ２０３に進む。ステップＳ２０３では、画像データの記録サイズの変更指示があったか否かを判定する。ユーザは、操作部１１６のボタンを操作することにより、画像データの記録サイズを変更（指定）することができる。記録サイズは、例えば、４０３２×３０２４（フルサイズ）、２５６０×１９２０、１２８０×９６０、６４０×４８０の画素サイズの中から選択することができる。ユーザによる記録サイズの変更指示があったと判定すると、ステップＳ２０４に進む。

ステップＳ２０４では、ユーザの指示に応じた記録サイズへの変更・設定を行う。

一方、ステップＳ２０３において、記録サイズの変更指示が無いと判定すると、ステップＳ２０５に進む。ステップＳ２０５では、ライブビュー表示を行う。ライブビュー表示の詳細な処理については、図４に示すフローチャートを用いて後述する。

なお、上述した図２のフローチャートでは、電源がオンされた後、レリーズボタンが押されず、画像データの記録サイズの変更指示も無い場合に、ライブビュー表示を行うものとして説明したが、ユーザによってライブビュー表示の指示が出された場合に、ライブビュー表示を行うようにしてもよい。

図３Ａおよび図３Ｂは、図２に示すフローチャートのステップＳ２０２で行う静止画の撮影・記録動作の詳しい処理内容を示すフローチャートである。ステップＳ３０１からステップＳ３０３までの処理は、ファーストレリーズにて行われる処理であり、ステップＳ３０４以後の処理は、セカンドレリーズにて行われる処理である。

ステップＳ３０１では、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。

ステップＳ３０２では、ＡＥ処理部１０８において、被写体輝度を算出する。ステップＳ３０３では、被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶された絞り値およびシャッター速決定テーブルを参照することにより、絞りとシャッター速を算出する。

ステップＳ３０４では、ユーザによってレリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされていないと判定すると、ステップＳ３０５に進む。ステップＳ３０５では、レリーズボタンが戻されたか否かを判定する。レリーズボタンが半押しされている状態から戻されたと判定すると、撮影・記録動作を終了し、レリーズボタンが戻されていないと判定すると、ステップＳ３０４に戻る。

一方、ステップＳ３０４でセカンドレリーズスイッチがオンされたと判定すると、ステップＳ３０６に進む。ステップＳ３０６では、撮影を行う。撮影に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そして、算出したシャッター速に基づいて、メカシャッター１０１を制御して撮影を行い、画像データ（第１の画像データ）を得る。

ステップＳ３０７では、ＯＢ減算部１０７１により、撮影により得られた画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。

ステップＳ３０８では、ＷＢ補正部１０７２により、ＯＢ減算処理が施された画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。なお、ホワイトバランスモードは、ユーザが操作部１１６に含まれる入力キーを操作することによって、１回の撮影ごとに設定することができる。マイクロコンピュータ１１５は、ユーザによる操作部１１６の操作に基づいて、ホワイトバランスモードを設定する。また、デジタルスチルカメラがホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている場合、マイクロコンピュータ１１５は、撮影時の光源に応じたホワイトバランスモードを自動的に設定する。

ステップＳ３０９では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。ステップＳ３１０では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、ホワイトバランスモードに応じたカラーマトリクスを乗じるカラーマトリクス演算を行う。

ステップＳ３１１では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われた画像データに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

ステップＳ３１２では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われた画像データに対して、エッジ強調処理を行う。

ステップＳ３１３では、ＮＲ処理部１０７７により、エッジ強調処理が行われた画像データに対して、ノイズを低減する処理を行う。ノイズ低減処理は、コアリングパラメータに基づいたコアリング処理、または、ノイズ低減パラメータ（以下、ＮＲパラメータ）に基づいて、高周波を低減するフィルタを用いた処理を行う。

ステップＳ３１３の処理を行うと、図３ＢのステップＳ３１４に進む。ステップＳ３１４では、拡大・縮小部１１８により、ノイズ低減処理後の画像データ（第２の画像データ）をＳＤＲＡＭ１０６から読み出し、読み出した画像データ（フルサイズ）のデータサイズを、レックビュー表示サイズに縮小する処理を行う。レックビュー表示サイズは、例えば、６４０×４８０の画素サイズである。

ステップＳ３１４に続くステップＳ３２１では、画像データに対して、粒状パターンの画像データを付加する粒状パターン付加モードに設定されているか否かを判定する。ユーザは、操作部１１６の操作により、粒状パターン付加モードの設定を予め行うことができる。粒状パターン付加モードに設定されていないと判定するとステップＳ３１６に進み、粒状パターン付加モードに設定されていると判定すると、ステップＳ３１５に進む。

ステップＳ３１５では、画像加算部１１９により、ステップＳ３１４で縮小された画像データに対して、Ｆｌａｓｈメモリ１１７に記憶されている粒状パターンの画像データを加算する処理を行う。この後、ガンマ・色再現処理部１０７４により、加算後の画像データに対して、画像データのコントラストを強調する階調変換処理が行われる。この階調変換処理により、ハイライトおよびシャドーの粒状感を抑えつつ、中間調の粒状感を強調して、銀塩写真が持つ独特の粒状感を表現することができる。

ステップＳ３１６では、画像データを、極短時間だけＬＣＤ１１４に表示するレックビュー表示を行う。レックビュー表示を行う画像データは、ステップＳ３１５の処理を行った場合には、粒状パターンを加算した画像データであり、ステップＳ３１５の処理を行わなかった場合には、粒状パターンを加算していない画像データである。

ステップＳ３１６に続くステップＳ３２２では、設定されている記録サイズが縮小サイズであるか否かを判定する。ここでは、設定されている記録サイズがフルサイズであれば、縮小サイズではないと判定し、それ以外の記録サイズが設定されている場合には、縮小サイズであると判定する。設定されている記録サイズが縮小サイズではないと判定するとステップＳ３２３に進み、縮小サイズであると判定すると、ステップＳ３１７に進む。

ステップＳ３１７では、拡大・縮小部１１８により、ステップＳ３１３でノイズ低減処理が行われた後にＳＤＲＡＭ１０６に記憶されているフルサイズの画像データを読み出して、画像データのデータサイズを記録サイズに縮小する処理を行う。記録サイズは、図２に示すフローチャートのステップＳ２０４で変更されたデータサイズである。

ステップＳ３２３では、粒状パターン付加モードに設定されているか否かを判定する。粒状パターン付加モードに設定されていないと判定するとステップＳ３１９に進み、粒状パターン付加モードに設定されていると判定すると、ステップＳ３１８に進む。

ステップＳ３１８では、画像加算部１１９により、ステップＳ３１７で記録サイズに縮小された画像データ（第３の画像データ）に対して、Ｆｌａｓｈメモリ１１７に記憶されている粒状パターンの画像データを加算する処理を行う。この後、ガンマ・色再現処理部１０７４により、加算後の画像データに対して、画像データのコントラストを強調する階調変換処理が行われる。この階調変換処理により、ハイライトおよびシャドーの粒状感を抑えつつ、中間調の粒状感を強調して、銀塩写真が持つ独特の粒状感を表現することができる。

なお、ステップＳ３２２において、設定されている記録サイズが縮小サイズではないと判定してから、ステップＳ３１８に進んだ場合には、ステップＳ３１３でノイズ低減処理が行われた画像データに対して、粒状パターンの画像データが加算される。この場合、縮小しない画像データに加算する粒状パターンの画像データと、縮小した画像データに加算する粒状パターンの画像データとは、同一のものである。

ステップＳ３１９では、ＪＰＥＧ処理部１１０において、画像データに対して、ＪＰＥＧ圧縮を行う。ＪＰＥＧ圧縮を行う画像データは、ステップＳ３１８の処理を行った場合には、粒状パターンが加算された画像データであり、ステップＳ３１８の処理を行っていない場合には、粒状パターンが加算されていない画像データである。ステップＳ３２０では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、作成したファイルヘッダ情報を、ＪＰＥＧ圧縮された画像データに付加して、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。

図４は、図２に示すフローチャートのステップＳ２０５で行うライブビュー表示の詳しい処理内容を示すフローチャートである。

ステップＳ４０１では、ＡＥ処理部１０８において、被写体輝度を算出する。ステップＳ４０２では、被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶された絞り値およびシャッター速決定テーブルを参照することにより、絞りとシャッター速を算出する。

ステップＳ４０３では、撮影を行う。この撮影は、ライブビュー表示を行うための撮影であり、いわゆる電子シャッターによる撮影である。ライブビュー表示を行うための撮影については、従来から用いられている手法と同様であるため、ここでは詳しい説明を省略する。

ステップＳ４０４では、ＯＢ減算部１０７１により、撮影により得られた画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。ステップＳ４０５では、ＷＢ補正部１０７２により、ＯＢ減算処理が施された画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。

ステップＳ４０６では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。ステップＳ４０７では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、ホワイトバランスモードに応じたカラーマトリクスを乗じるカラーマトリクス演算を行う。

ステップＳ４０８では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われた画像データに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。ステップＳ４０９では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われた画像データに対して、エッジ強調処理を行う。

ステップＳ４１０では、ＮＲ処理部１０７７により、エッジ強調処理が行われた画像データに対して、ノイズを低減する処理を行う。ノイズ低減処理は、コアリングパラメータに基づいたコアリング処理、または、ノイズ低減パラメータ（以下、ＮＲパラメータ）に基づいて、高周波を低減するフィルタを用いた処理を行う。

ステップＳ４１１では、拡大・縮小部１１８により、ステップＳ４１０でノイズ低減処理が行われた後にＳＤＲＡＭ１０６に記憶されている画像データを読み出して、画像データのデータサイズをライブビュー表示画像サイズに縮小する処理を行う。ライブビュー表示画像サイズは、例えば、６４０×４８０の画素サイズである。

ステップＳ４１１に続くステップＳ４１４では、粒状パターン付加モードに設定されているか否かを判定する。粒状パターン付加モードに設定されていないと判定するとステップＳ４１３に進み、粒状パターン付加モードに設定されていると判定すると、ステップＳ４１２に進む。

ステップＳ４１２では、画像加算部１１９により、ステップＳ４１１で縮小された画像データに対して、Ｆｌａｓｈメモリ１１７に記憶されている粒状パターンの画像データを加算する処理を行う。この後、ガンマ・色再現処理部１０７４により、加算後の画像データに対して、画像データのコントラストを強調する階調変換処理が行われる。この階調変換処理により、ハイライトおよびシャドーの粒状感を抑えつつ、中間調の粒状感を強調して、銀塩写真が持つ独特の粒状感を表現することができる。

ステップＳ４１３では、ＬＣＤドライバ１１３により、画像データを、ＬＣＤ１１４に表示させる。ここでは、ステップＳ４１２の処理を行った場合には、粒状パターンが加算された画像データの表示を行い、ステップＳ４１２の処理を行っていない場合には、粒状パターンが加算されていない画像データの表示を行う。ステップＳ４０１からステップＳ４１３の処理を繰り返し行うことにより、ライブビュー表示を継続して行うことができる。

以上、第１の実施形態における画像処理装置によれば、画像データに対して所定の粒状パターンを付加する画像処理装置であって、画素数の少ない縮小画像データを生成する場合には、縮小画像データに対して、所定の粒状パターンを付加するので、十分に粒状感のある粒状パターンが重畳された縮小画像データを得ることができる。すなわち、従来技術のように、粒状パターンを付加した画像データを縮小することによって、縮小画像データを生成した場合には、縮小時に粒状パターンがつぶれてしまうことがあるが、第１の実施形態における画像処理装置によれば、粒状パターンがつぶれるようなことはない。

＜第２の実施形態＞
第１の実施形態における画像処理装置では、画像データを縮小してから、所定の粒状パターンを付加することにより、粒状感を維持した縮小画像データを生成した。第２の実施形態における画像処理装置では、画像を縮小する際の縮小率に対応する拡大率で粒状パターンを拡大し、縮小前の画像データと拡大した粒状パターンとを加算してから画像データを縮小することにより、粒状パターンを付加した縮小画像データを生成する。

第２の実施形態における画像処理装置を適用したデジタルスチルカメラで行われるメインの処理フローは、図２に示す処理フローと同じである。ただし、ステップＳ２０２で行われる静止画の撮影・記録処理、および、ステップＳ２０５で行われるライブビュー表示処理の内容が異なるので、以下でそれらの処理内容について説明する。

始めに、第２の実施形態における画像処理装置において行われる静止画の撮影・記録処理について説明する。第２の実施形態における画像処理装置で行われる静止画の撮影・記録処理では、第１の実施形態に対して、図３Ａに示すステップＳ３０１からステップＳ３１３までの処理は同一であり、ステップＳ３１３より後に行われる処理が異なる。従って、以下では、ステップＳ３１３の処理の後に行われる処理について説明する。

図５は、第２の実施形態における画像処理装置において行われる静止画の撮影・記録動作の処理のうち、図３ＡのステップＳ３１３の後に行われる処理内容を示すフローチャートである。ステップＳ３１３の処理が行われた後に進むステップＳ５０７では、粒状パターン付加モードに設定されているか否かを判定する。粒状パターン付加モードに設定されていないと判定するとステップＳ５０２に進み、粒状パターン付加モードに設定されていると判定すると、ステップＳ５００に進む。

ステップＳ５００では、撮影して得られたフルサイズの画像データを記録サイズの画像データに縮小する際の縮小率の逆数を拡大率に設定し、Ｆｌａｓｈメモリ１１７に記憶されている粒状パターンの画像データを、設定した拡大率で拡大することにより、拡大粒状パターン画像データを生成する。例えば、縮小率が１／２の場合には、拡大率を２倍に設定し、Ｆｌａｓｈメモリ１１７に記憶されている粒状パターンの画像データを２倍に拡大する。ここでの処理は、マイクロコンピュータ１１５で行ってもよいし、拡大粒状パターンデータ生成部を別途設けて、拡大粒状パターンデータ生成部で行うようにしてもよい。

ステップＳ５０１では、拡大・縮小部１１８により、ステップＳ３１３でノイズ低減処理が行われた後にＳＤＲＡＭ１０６に記憶されているフルサイズの画像データを読み出して、ステップＳ５００で生成した拡大粒状パターン画像データと加算する処理を行う。この後、ガンマ・色再現処理部１０７４により、加算後の画像データに対して、画像データのコントラストを強調する階調変換処理が行われる。この階調変換処理により、ハイライトおよびシャドーの粒状感を抑えつつ、中間調の粒状感を強調して、銀塩写真が持つ独特の粒状感を表現することができる。

ステップＳ５０２では、拡大・縮小部１１８により、拡大粒状パターン画像データと加算された画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データ（フルサイズ）のデータサイズを、レックビュー表示サイズに縮小する処理を行う。ただし、ステップＳ５００およびＳ５０１の処理を行っていない場合には、粒状パターン画像データが加算されていない画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データのデータサイズを、レックビュー表示サイズに縮小する。

ステップＳ５０３では、ステップＳ５０２で縮小された画像データを、極短時間だけＬＣＤ１１４に表示するレックビュー表示を行う。

ステップＳ５０３に続くステップＳ５０８では、設定されている記録サイズが縮小サイズであるか否かを判定する。設定されている記録サイズが縮小サイズではないと判定するとステップＳ５０５に進み、縮小サイズであると判定すると、ステップＳ５０４に進む。

ステップＳ５０４では、拡大・縮小部１１８により、ＳＤＲＡＭ１０６に記憶されているフルサイズの画像データを読み出して、データサイズを記録サイズに縮小する処理を行う。縮小対象の画像データは、ステップＳ５０１の処理を行った場合には、拡大粒状パターン画像データと加算された画像データであり、ステップＳ５０１の処理を行っていない場合には、拡大粒状パターン画像データと加算されていない画像データである。

ステップＳ５０５では、ＪＰＥＧ処理部１１０において、画像データに対して、ＪＰＥＧ圧縮を行う。ＪＰＥＧ圧縮を行う画像データは、ステップＳ５０４の処理を行った場合には、縮小された画像データであり、ステップＳ５０４の処理を行っていない場合には、縮小されていない画像データである。ステップＳ５０６では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、作成したファイルヘッダ情報を、ＪＰＥＧ圧縮された画像データに付加して、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。

続いて、第２の実施形態における画像処理装置において行われるライブビュー表示処理について説明する。

図６は、第２の実施形態における画像処理装置において行われるライブビュー表示処理の詳しい処理内容を示すフローチャートである。図４に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。

ステップＳ４０１からステップＳ４１０までの処理は、図４に示すフローチャートの処理と同じである。ステップＳ４１０に続くステップＳ６０３では、粒状パターン付加モードに設定されているか否かを判定する。粒状パターン付加モードに設定されていないと判定するとステップＳ６０２に進み、粒状パターン付加モードに設定されていると判定すると、ステップＳ６００に進む。

ステップＳ６００では、撮影して得られたフルサイズの画像データを記録サイズの画像データに縮小する際の縮小率の逆数を拡大率に設定し、Ｆｌａｓｈメモリ１１７に記憶されている粒状パターンの画像データを、設定した拡大率で拡大することにより、拡大粒状パターン画像データを生成する。この処理は、マイクロコンピュータ１１５で行ってもよいし、拡大粒状パターンデータ生成部を別途設けて、拡大粒状パターンデータ生成部で行うようにしてもよい。

ステップＳ６０１では、拡大・縮小部１１８により、ステップＳ４１０でノイズ低減処理が行われた後にＳＤＲＡＭ１０６に記憶されているフルサイズの画像データを読み出して、ステップＳ６００で生成した拡大粒状パターン画像データと加算する処理を行う。この後、ガンマ・色再現処理部１０７４により、加算後の画像データに対して、画像データのコントラストを強調する階調変換処理が行われる。この階調変換処理により、ハイライトおよびシャドーの粒状感を抑えつつ、中間調の粒状感を強調して、銀塩写真が持つ独特の粒状感を表現することができる。

ステップＳ６０２では、拡大・縮小部１１８により、拡大粒状パターン画像データと加算された画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データのデータサイズを、ライブビュー表示画像サイズに縮小する処理を行う。ただし、ステップＳ６００およびＳ６０１の処理を行っていない場合には、拡大粒状パターン画像データが加算されていない画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データのデータサイズを、ライブビュー表示画像サイズに縮小する。

ステップＳ４１３では、ステップＳ６０２で縮小した画像データを、ＬＣＤ１１４に表示する。ステップＳ４０１からステップＳ４１３の処理を繰り返し行うことにより、ライブビュー表示を継続して行うことができる。

以上、第２の実施形態における画像処理装置によれば、所定の縮小率で、画像データよりも画素数の少ない縮小画像データを生成する画像処理装置であって、所定の縮小率に対応する拡大率で粒状パターンを拡大し、画像データに対して、拡大された粒状パターンを付加してから、所定の縮小率で縮小する。これにより、十分に粒状感のある粒状パターンが重畳された縮小画像データを得ることができる。

また、第１の実施形態では、静止画の撮影・記録処理時に、図３Ｂに示すように、粒状パターンの画像データを加算する処理を２回行っているが、第２の実施形態では、図５に示すように、１回だけで済むので、処理時間を短縮することができる。なお、ステップＳ５０１では、記録サイズの画像データに縮小する際の縮小率の逆数の値である拡大率で拡大した粒状パターン画像データを加算して、レックビュー表示を行った。レックビュー表示サイズと記録サイズとが異なる場合、拡大粒状パターン画像データは、レックビュー表示サイズに応じたデータサイズとなっていないが、レックビュー表示は、極短時間だけ行われるものであるため、表示時に問題となる可能性は低い。

なお、上述した第１〜第２の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、画像データに加算する所定の粒状パターンとして、銀塩粒子による粒状感に似せた粒状パターンを一例として挙げたが、この粒状パターンに限定されることはない。

第２の実施形態では、レックビュー表示の場合でも、記録サイズの画像データに縮小する際の縮小率の逆数の値である拡大率で拡大した粒状パターンを加算するようにした。しかし、レックビュー表示サイズの画像データに縮小する際の縮小率の逆数の値である拡大率で粒状パターンを拡大して、画像データに加算してから、レックビュー表示サイズに縮小する際の縮小率で縮小して、レックビュー表示するようにしてもよい。

１…カメラ本体
２…交換式レンズ
１０１…メカシャッター
１０２…撮像素子
１０３…アナログ処理部
１０４…アナログ/デジタル変換部
１０６…ＳＤＲＡＭ
１０７…画像処理部
１０８…ＡＥ処理部
１０９…ＡＦ処理部
１１０…ＪＰＥＧ処理部
１１２…記録媒体
１１４…ＬＣＤ
１１５…マイクロコンピュータ
１１６…操作部
１１７…Ｆｌａｓｈメモリ
１１８…拡大・縮小部
１１９…画像加算部
１０１０…レンズ
１０１２…マイクロコンピュータ
１０７１…ＯＢ減算部
１０７２…ホワイトバランス補正部
１０７３…同時化処理部
１０７４…ガンマ・色再現処理部
１０７５…カラーマトリクス演算部
１０７６…エッジ強調処理部
１０７７…ノイズ低減処理部

Claims (4)

1. 被写体を撮像して第１の画像データを得る撮像部と、
   前記第１の画像データに対して画像処理を行い第２の画像データを生成する画像処理部と、
   記録時の記録サイズを設定するサイズ設定部と、
   前記サイズ設定部で設定された記録サイズと前記第２の画像データのサイズに基づいて前記第２の画像データをリサイズし、第３の画像データを生成するリサイズ部と、
   前記第２または第３の画像データに所定の粒状パターンを付加する粒状パターン付加モードを設定する粒状パターン付加モード設定部と、
   前記粒状パターン付加モード設定部により、前記粒状パターン付加モードが設定されている場合において、前記サイズ設定部で設定された記録サイズが、前記第２の画像データを縮小して生成されるサイズの場合には、前記第３の画像データに対して前記所定の粒状パターンを付加し、前記サイズ設定部で設定された記録サイズが前記第２の画像データを縮小せずに生成されるサイズの場合には、前記第２の画像データに対して前記所定の粒状パターンを付加する粒状パターン付加部と、
   を備えることを特徴とする撮像装置。
2. 入力された画像データに対して所定の粒状パターンを付加する画像処理装置であって、
   前記入力された画像データよりも画素数の少ない縮小画像データを生成するリサイズ部と、
   前記リサイズ部によって前記縮小画像データを生成する処理が行われていない場合には、前記入力された画像データに対して、前記所定の粒状パターンを付加する第１の粒状パターン付加部と、
   前記リサイズ部によって前記縮小画像データが生成された場合には、前記縮小画像データに対して、前記所定の粒状パターンを付加する第２の粒状パターン付加部と、
   を備えることを特徴とする画像処理装置。
3. 画像データに対して所定の粒状パターンを付加する画像処理方法であって、
   前記画像データよりも画素数の少ない縮小画像データを生成するステップと、
   前記縮小画像データを生成する処理が行われていない場合には、前記画像データに対して所定の粒状パターンを付加し、前記縮小画像データを生成する処理が行われた場合には、前記縮小画像データに対して、前記所定の粒状パターンを付加するステップと、
   を備えることを特徴とする画像処理方法。
4. 画像データに対して所定の粒状パターンを付加するための画像処理プログラムであって、
   前記画像データよりも画素数の少ない縮小画像データを生成するステップと、
   前記縮小画像データを生成する処理が行われていない場合には、前記画像データに対して所定の粒状パターンを付加し、前記縮小画像データを生成する処理が行われた場合には、前記縮小画像データに対して、前記所定の粒状パターンを付加するステップと、
   をコンピュータに実行させるための画像処理プログラム。

Images