JPWO2019087547A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する。そして算出した制御値を用いて画像処理パラメータを変調する。この変調された画像処理パラメータを用いて画像データ処理を行ったり、画像処理パラメータの記憶や送信等を行う。これによりホワイトバランスゲインを反映した高度な画像処理を実現する。

Description

本技術は画像処理装置、画像処理方法、プログラムに関し、特に各種の画像処理のパラメータの制御に関する。

各種の画像処理に関する技術が知られているが、例えば色再現に関する処理のパラメータを変調する技術として、下記特許文献がある。
特許文献１には複数の輝度範囲に応じて色再現パラメータを変調する技術が開示されている。
特許文献２には輝度とカメラ姿勢からシーン推定を行い、色再現パラメータを変調する技術が開示されている。
特許文献３にはＧＰＳ（Global Positioning System）により得た位置情報に応じて色再現パラメータを変調する技術が開示されている。
特許文献４には画像生成履歴と被写体の明るさ情報に応じて色再現パラメータを変調する技術が開示されている。

特開２０１４−１６８１２０号公報 特開２０１２−１６５１４７号公報 特開２０１１−１６６６０７号公報 特開２００８−１１３４４５号公報

ところで画像処理としてはホワイトバランス調整により光源の色味の影響をなくすような処理が一般に行われるが、写真表現としては、あえて光源の色味を残したり、光源の色味を積極的に用いたりすることも行われる。ところが、そのようなホワイトバランス調整状態に応じた画像処理を行うという技術は知られていない。
そこで本技術はホワイトバランス調整の状態（ホワイトバランスゲイン）に応じて画像処理のパラメータを変調する技術を提供する。

本技術に係る画像処理装置は、第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出部と、前記制御値算出部で算出した制御値を用いて画像処理パラメータを変調するパラメータ変調部とを備える。
撮像の際の様々な光源色に対して画像の色合いを補正するホワイトバランス制御に用いるホワイトバランスゲインとしては、基本的には光源の色を打ち消すようにホワイトバランスゲインが設定されるが、異なるホワイトバランスゲインを設定することでより多様な色合いの調整を行うことができる。上記構成では２種類のホワイトバランスゲインを用いて制御値を算出し、その制御値を用いて、画像処理過程で用いる何らかのパラメータを変調する。

上記した本技術に係る画像処理装置においては、前記制御値算出部は、処理対象の画像に応じた前記第１のホワイトバランスゲインを算出する処理も行うことが考えられる。
第１のホワイトバランスゲインは、固定の値であってもよいし、記憶された、いくつかの値の一つなどとされても良いが、例えば処理対象の画像を光源が所定の色温度である状態のように調整するためのホワイトバランスゲインを、処理対象の画像から算出する。

上記した本技術に係る画像処理装置においては、前記制御値算出部は、処理対象の画像に応じた前記第２のホワイトバランスゲインを算出する処理も行うことが考えられる。
第２のホワイトバランスゲインも固定の値であってもよいし、記憶された、いくつかの値の一つなどとされても良いが、例えば処理対象の画像を光源が所定の色温度である状態のように調整するためのホワイトバランスゲイン（第１のホワイトバランスゲインとは異なる値）を、処理対象の画像から算出する。

上記した本技術に係る画像処理装置においては、前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す方向に調整するためのホワイトバランスゲインで、前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を、前記第１のホワイトバランスゲインよりは残す方向に調整するためのホワイトバランスゲインであり、前記制御値算出部が算出する前記制御値は光源の色味残し量を反映した制御値であることが考えられる。
第１のホワイトバランスゲインは、例えば光源の色味を完全に打ち消す、或いは大幅に打ち消すなどのホワイトバランス調整のための値としたとき、第２のホワイトバランスゲインは、ある程度光源の色味を残すようなホワイトバランス調整のための値などとする。この場合、第２のホワイトバランスゲインでホワイトバランス調整を行った場合の色味残し量を反映した制御値を第１，第２のホワイトバランスゲインから求めることができる。

上記した本技術に係る画像処理装置においては、前記制御値を用いて変調された画像処理パラメータを用いて画像データに対する処理を行う画像信号処理部を備えることが考えられる。
画像データに対する処理内容としては、画像データの色、輝度、コントラスト、シャープネスなど多様に想定される。またここで画像データに対する処理とは、その目的が例えば画像の現像、記憶、再生、送信、印刷、表示等の多様な目的の処理が想定される。
このような各種の画像データ処理で用いられる画像処理パラメータが、ホワイトバランスゲインを用いて生成された制御値により変調される。画像信号処理部は変調された画像処理パラメータにより所定の画像処理を行う。

上記した本技術に係る画像処理装置においては、前記制御値を用いて変調された画像処理パラメータを記憶媒体に記憶する情報として出力する処理を行う出力処理部を備えることが考えられる。
例えば処理対象の画像データに用いることのできる画像処理パラメータとして記憶する。画像処理パラメータは、画像データとともに、或いは対応づけて記憶することが想定される。

上記した本技術に係る画像処理装置においては、前記制御値を用いて変調された画像処理パラメータを外部機器に送信する情報として出力する処理を行う出力処理部を備えることが考えられる。
例えば処理対象の画像データに用いることのできる画像処理パラメータとして外部機器に送信する。画像処理パラメータは、画像データとともに、或いは対応づけて送信することが想定される。

上記した本技術に係る画像処理装置においては、前記制御値算出部は、前記第２のホワイトバランスゲインを、ユーザ入力情報を用いて設定することが考えられる。
例えば第２のホワイトバランスゲインはユーザが操作により設定した値とするなど、ユーザの意思を反映した値とする。

上記した本技術に係る画像処理装置においては、画像解析部を備え、前記制御値算出部による前記制御値の算出、及び前記パラメータ変調部による画像処理パラメータの変調は、前記画像解析部の解析結果に応じて実行することが考えられる。
例えば画像解析により顔検出を行うなどし、処理対象の画像に顔が検出された場合に、その画像の処理に用いる画像処理パラメータの変調が行われるようにする。

上記した本技術に係る画像処理装置においては、画像解析部を備え、前記画像信号処理部は、処理対象の画像内の、前記画像解析部の解析結果により特定される領域の信号処理について、前記パラメータ変調部で変調された画像処理パラメータを用いることが考えられる。
例えば画像解析により顔検出を行うなどし、処理対象の画像に顔が検出された場合に、その顔画像の領域についての信号処理において、変調された画像処理パラメータが用いられるようにする。

上記した本技術に係る画像処理装置においては、前記制御値算出部による前記制御値の算出、及び前記パラメータ変調部による画像処理パラメータの変調は、処理対象の画像の撮像時の発光装置の動作状況に応じて実行されることが考えられる。
例えば撮像時に発光装置の発光が行われた場合は、その撮像画像の処理に用いる画像処理パラメータの変調が行われるようにする。

上記した本技術に係る画像処理装置においては、前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す第１のホワイトバランスモードで用いるホワイトバランスゲインで、前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を残す第２のホワイトバランスモードで用いるホワイトバランスゲインであり、ホワイトバランス調整について前記第２のホワイトバランスモードが選択された画像が処理対象である場合に、前記制御値算出部による前記制御値の算出が行われることが考えられる。
例えば通常のホワイトバランスモードとは異なるホワイトバランスモードが選択されている場合に制御値の算出が行われる。

上記した本技術に係る画像処理装置においては、前記制御値を用いて変調する画像処理パラメータは、画像データの色処理に用いるパラメータであることが考えられる。
色処理として、色相や彩度の調整などのためのパラメータを、ホワイトバランスゲインに応じて変調する。
上記した本技術に係る画像処理装置においては、前記制御値を用いて変調する画像処理パラメータは、画像データの特定の色相の変調を行う処理に用いるパラメータであることが考えられる。
或る特定の色相領域の画素データを特定の色相にシフトさせたり、その彩度を調整したりする処理に用いるパラメータを、ホワイトバランスゲインに応じて変調する。

上記した本技術に係る画像処理装置においては、前記制御値を用いて変調する画像処理パラメータは、色処理以外の現像処理に用いるパラメータであることが考えられる。
例えばコントラスト（ガンマ補正）、明るさ、シャープネス、トーンカーブなど、色以外の現像処理パラメータ（例えば輝度処理用のパラメータ）をホワイトバランスゲインに応じて変調する。

本技術に係る画像処理方法は、演算処理装置が実行する画像処理方法として、第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出手順と、前記制御値算出手順で算出した制御値を用いて画像処理パラメータを変調するパラメータ変調手順とを行う。
これによりホワイトバランスゲインに応じた画像処理が実行されるようにする。
本技術に係るプログラムは、以上の処理を演算処理装置に実行させるプログラムである。

本技術によれば、ホワイトバランスゲインに応じた画像処理（例えば画像調整、画像エフェクト等）という、これまでに無い画像処理手法を提供でき、より高度な画像を容易に生成することが可能になる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態の撮像装置のブロック図である。 実施の形態の画像処理装置の機能を示すブロック図である。 実施の形態の画像信号処理部の一部の機能を示すブロック図である。 実施の形態の撮像装置のモード設定画面例の説明図である。 実施の形態のパラメータ変調処理及び現像処理のフローチャートである。 実施の形態の第２ホワイトバランスゲイン計算の説明図である。 実施の形態の他のパラメータ変調処理及び現像処理のフローチャートである。 実施の形態のパラメータ変調処理及び記憶処理のフローチャートである。 実施の形態のパラメータ変調処理及び送信処理のフローチャートである。 実施の形態の特定の色相の色再現を変える処理への適用例の説明図である。 実施の形態の特定の色相の色再現を変える処理への適用例の説明図である。 実施の形態の特定の色相の色再現を変える処理への適用例の説明図である。 実施の形態の顔検出に基づくパラメータ変調処理のフローチャートである。 実施の形態の顔検出に基づく画像処理の説明図である。 実施の形態の顔領域の検出に基づく変調パラメータを用いた画像処理のフローチャートである。 実施の形態の発光装置の発光状況に基づくパラメータ変調処理のフローチャートである。 実施の形態のトーンカーブ処理への適用例の説明図である。 実施の形態の印刷装置のブロック図である。

以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．色味残し量に応じたパラメータ変調＞
＜３．適用処理例＞
＜４．印刷装置への適用例＞
＜５．まとめ及び変形例＞

＜１．撮像装置の構成＞
以下では第１の実施の形態として本技術の画像処理装置を搭載した撮像装置の構成を説明する。図１は撮像装置１のブロック図である。なおこの例では図１の画像処理装置２０が請求項にいう画像処理装置に相当することになる。

図示するように撮像装置１は、光学系１１、イメージセンサ１２、光学系駆動部１３、センサ部１４、記憶部１５、通信部１６、表示部１７、操作部１８、電子ビューファインダ１９、画像処理装置２０、制御部３０を備えている。

光学系１１は、カバーレンズ、フォーカスレンズ、ズームレンズ、集光レンズ、絞り機構等を有して構成されている。この光学系１１により、被写体からの光がイメージセンサ１２に集光される。

イメージセンサ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの撮像素子及び撮像素子からの電荷読み出しを行う周辺回路系を有する。
イメージセンサ１２における各受光画素は、例えばベイヤー配列のカラーフィルタにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の受光画素とされる。なおもちろん、Ｒ、Ｇ、Ｂ画素配列はベイヤー配列以外の配列でもよい。
また三板式として、Ｒ、Ｇ、Ｂのそれぞれに対応した３つのイメージセンサが設けられ、Ｒ、Ｇ、Ｂそれぞれの撮像信号を並列に出力するものとされてもよい。
イメージセンサ１２から読み出される信号は被写体の撮像信号として画像処理装置２０に供給される。
イメージセンサ１２における信号転送動作、電子シャッタ速度は制御部３０により制御される。

光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行させたり、ズームレンズを駆動し、ズーム動作を実行させたりする。

画像処理装置２０は例えばＤＳＰ（Digital Signal Processor）やマイクロコンピュータ等の演算処理装置により構成される。この画像処理装置２０は、イメージセンサ１２からの撮像信号に対して、各種の信号処理を施す。
例えば画像処理装置２０は、イメージセンサ１２での光電変換で得た電気信号について、ＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。
また画像処理装置２０はデジタルデータ化した撮像信号（画像データ）を、逐次バッファリングしながら各種の処理を行う。例えば画像処理装置２０は画像データに対してノイズ除去処理、Ｙ／Ｃ処理、色補正処理、輪郭強調処理、解像度変換処理、記憶用のフォーマティングやデータ圧縮としてのコーデック処理等を行う。
なお、イメージセンサ１２がＡ／Ｄ変換までの処理を行い、画像処理装置２０がデジタルデータ化された撮像信号（画像データ）を受信する構成とされる場合もある。

記憶部１５は、制御部３０の制御に基づき、画像処理装置２０によって生成された静止画や動画としての画像データを記憶媒体１５ａに記憶させる。この記憶媒体１５ａは画像データを永続的（一時的ではない）に記憶する記憶媒体を指している。
記憶媒体１５ａとしては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤ（Hard Disk Drive）や半導体メモリモジュール等であってもよい。

通信部１６は、制御部３０の制御に基づき、図示しない外部機器との間の有線又は無線による通信を行う。即ち通信部１６は、撮像した画像データや記憶媒体１５ａから読み出した画像データ、これら画像データの付加情報、さらにはその他の制御データの外部機器への送信や、外部機器からの各種データの受信等を行う。
これにより撮像装置１は図示しない外部機器に画像データ等を出力し、外部機器において撮像した画像データの再生や編集ができるようにしている。
この通信部１６は、無線通信としては、例えばＷｉ−Ｆｉ（登録商標）やブルートゥース（登録商標）等の無線通信規格等の通信方式による通信を行うことが考えられる。
また通信部１６は例えばＵＳＢ（Universal Serial Bus）ケーブル等のコネクタケーブルを用いた有線通信を行うものとすることができる。さらに通信部１６は、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

操作部１８は、ユーザの操作を入力する入力機能を包括的に示している。例えば撮像装置１の筐体上に設けられるレリーズボタン、ズームボタン、メニュー操作キーなどの各種の操作ボタンや操作ダイヤル等の各操作子をまとめて操作部１８として示している。またタッチパネルやリモートコントローラの受信部等、他の操作入力部が設けられる場合も、それらは操作部１８の一態様となる。
操作部１８によって得られる操作情報は制御部３０に供給される。制御部３０は操作情報に応じて必要な制御を行う。

表示部１７はユーザに対して各種表示を行う表示部であり、例えば撮像装置１の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。
また電子ビューファインダ１９も、ＬＣＤや有機ＥＬディスプレイ等を用いて形成され、表示部１７と相補的にユーザに対する画像や情報提示を行う。
表示部１７や電子ビューファインダ１９には、画像処理装置２０から表示用に解像度変換された撮像画像の画像データが供給される。表示部１７や電子ビューファインダ１９では、当該撮像画像の画像データの表示を行う。これによりユーザはいわゆるスルー画（記憶スタンバイ中の被写体のモニタリング画像）を確認できる。
また表示部１７や電子ビューファインダ１９には、画像処理装置２０を介して記憶部１５で再生された画像データが供給されるようにすることもでき、これが表示されることで、ユーザは撮像記憶した画像の再生画像を確認することができる。
また表示部１７や電子ビューファインダ１９は、制御部３０の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
なお撮像装置１には、電子ビューファインダ１９に代えて光学ファインダが設けられる場合もある。例えば撮像装置１がいわゆる一眼レフカメラとされる場合などである。

センサ部１４は各種センサを包括的に示している。具体的には、撮像装置１の姿勢や例えば手ぶれを検出するためのジャイロセンサ、撮像装置１の移動加速度や重力方向を検出するための加速度センサ等が設けられる場合がある。またセンサ部１４として、露光調整等のための外部照度を検出する照度センサや、被写体距離を測定する測距センサなどが設けられてもよい。
センサ部１４の各種センサは、それぞれ検出信号を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

制御部３０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

この制御部３０は、画像処理装置２０における各種信号処理等の指示、ユーザの操作に応じた撮像動作や記憶部１５での記憶再生動作、フォーカス／露光調整等のカメラ動作、イメージセンサ１２の露光／読出動作、通信部１６による外部機器との通信動作、表示部１７や電子ビューファインダ１９における表示動作等、各部の動作を制御する。

なお、画像処理装置２０と制御部３０は、１チップマイクロコンピュータなどとして一体化されていても良い。

発光装置３１はいわゆるフラッシュ発光装置であり、制御部３０の指示に基づいて、レリーズタイミングでの発光動作を行う。即ちユーザがフラッシュ発光を行うモードを選択した場合（特には周囲が暗い場合）に、発光装置３１は制御部３０からレリーズタイミングでの発光トリガ信号を受け、これに基づいて発光動作を行う。
なお、発光装置３１はフラッシュ発光ではなく継続的な発光（照明）を行う装置とされてもよい。
また発光装置３１は撮像装置１に内蔵されたものでもよいし、撮像装置１とは別体で、撮像装置１に装着されて使用されるものでもよい。

図２は画像処理装置２０の機能構成を示している。
例えばＤＳＰあるいはマイクロコンピュータで形成される画像処理装置２０は、例えばソフトウエアによって図２のような処理機能を実行するように構成される。なお、以下説明する機能の全部又は一部がハードウエアにより構成されていてもよい。

画像処理装置２０は画像信号処理部２１、出力処理部２２、制御値算出部２３、パラメータ変調部２４、画像解析部２５を備える。
画像信号処理部２１はイメージセンサ１２からの撮像信号を入力し、主に現像処理を行う。例えばロウ（RAW）画像処理、Ｙ／Ｃ処理、ＲＧＢデータ処理等として各種の色処理や輝度処理を行う。
具体的にはイメージセンサ１２から光電変換された信号を読み出してデジタルデータ化し、ロウ（RAW）画像としての画像データを生成する。
またロウ画像データに対して、例えばノイズ除去処理、ホワイトバランス調整、ガンマ処理、Ｙ／Ｃ処理、色補正処理、輪郭強調処理、解像度変換処理等の必要な信号処理を行い現像された画像データを生成する。

出力処理部２２は、現像後の画像データについての記憶出力や送信出力のための処理を行う。例えば画像データの記憶に関して、画像データの記憶フォーマティング及び圧縮処理（例えばＪＰＥＧ（Joint Photographic Experts Group）コーデック等）を行い、各種の付加情報を含めて記憶フォーマットの画像ファイルデータを生成し、記憶部１５に転送する処理を行う。
また出力処理部２２は、通信出力のための圧縮処理、付加情報を含めた通信フォーマット処理、通信部１６への転送処理等を行う。
更に出力処理部２２は、表示部１７や電子ビューファインダ１９での表示のための処理、例えば記憶部１５からの読み出し、解像度変換、表示用のキャラクタ画像合成等を行って表示画像データを生成し、表示部１７や電子ビューファインダ１９に転送する。

制御値算出部２３は、第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する処理を行う。例えば第１ホワイトバランスゲインとは、画像の撮像時の光源の色味を打ち消す方向に調整するためのホワイトバランスゲインである。例えば完全に光源の色味を打ち消すためのゲイン値が想定されるが、ある程度のホワイトバランスを行うためのゲイン値でもよい。
第２ホワイトバランスゲインは、撮像時の光源の色味を、第１のホワイトバランスゲインよりは残す方向に調整するためのホワイトバランスゲインである。光源の色味を残すような画像表現に用いるゲイン値である。
そして制御値は、例えば色味残し量を反映した値である。

パラメータ変調部２４は、制御値算出部２３で算出した制御値を用いて画像処理パラメータを変調する処理を行う。変調する画像処理パラメータとしては各種のパラメータが想定される。例えば後述する特定の色相の色再現を変える処理のオフセット値、圧縮値、リニアマトリクス処理の係数（行列）、コントラスト処理係数、シャープネス処理係数などである。
制御値算出部２３及びパラメータ変調部２４の処理例については詳しくは後述する。

画像解析部２５は、撮像された画像について解析処理を行い、所定の解析結果を得る。例えば顔検出などとして、被写体に人物の顔が含まれているか否かを判定したり、シーン判別、明るさ判別、特定被写体判別などを行う。
画像解析結果は、画像信号処理部２１、制御値算出部２３、パラメータ変調部２４で参照され、処理に用いられる場合がある。

このような各機能はまた、制御部３０との通信によって所定の処理を行う場合もある。
画像処理装置２０の機能としては図２に示した以外にも設けられることもあり、また必ずしも図２の機能が全て設けられていなくてもよい。

続いて図３Ａ、図３Ｂにより、図２の画像信号処理部２１に含まれる一部の構成例を示しておく。これはイメージセンサ１２からの撮像信号入力段階から輝度（Ｙ）、色差（Ｒ−Ｙ、Ｂ−Ｙ）までの処理の流れを例示したものである。
図３Ａは単板式のイメージセンサ１２の場合、図３Ｂは三板式のイメージセンサ１２の場合で示している。
なお、ここで示す、入力される画像データＳｉは、イメージセンサ１２側もしくは画像信号処理部２１において既にデジタルデータ化された画像データ（ロウ画像データ）であるとする。

図３Ａに示すように単板式の場合、イメージセンサ１２からの画像データＳｉがデジタルクランプ回路５１でクランプ処理された後、デジタルゲイン回路５２でゲインが与えられ、ノイズリダクション回路５３でノイズ除去処理が行われる。そしてデモザイク部５４でＲ情報、Ｇ情報、Ｂ情報としての３面の画像データを得るデモザイク処理が施される。
デモザイク処理で得られたＲ、Ｇ、Ｂの情報に対しては、リニアマトリクス処理部５５やアパーチャーコントロール（アパコン）処理部５６での処理が施される。
なお色分離の一例としてデモザイク処理を示したが、デモザイク処理を行うのは、例えばベイヤー配列などのモザイクカラーフィルタを用いる場合となる。例えばストライプカラーフィルタ等を値いる場合は他の色分離処理が行われる。

リニアマトリクス処理部５５では、画像データ（Ｒ、Ｇ、Ｂ）に色再現係数を乗じて、画像データを色補正する処理を行う。このため色再現係数を決定する処理、色再現係数を記憶する処理、色再現係数を画像データに乗算する処理がそれぞれ行われる。
リニアマトリクス処理部５５で処理された画像データ（Ｒ、Ｇ、Ｂ）は、ホワイトバランス処理部５７でホワイトバランス調整処理、即ち画素毎の色データを所定の光源の色温度に応じた値に補正する処理が施される。具体的にはホワイトバランス処理部５７ではホワイトバランスゲインの乗算が行われる。
アパコン処理部５６では、画像データ、即ちデモザイク処理で得られたＲ、Ｇ、Ｂの情報に対して、高周波成分を強調することで輪郭を強調させる処理を行う。

ホワイトバランス処理部５７の出力及びアパコン５６の出力はミキサ５８で混合され、ガンマ補正部５６に供給される。
ガンマ補正部５６は、画像データを、図示しない表示装置等の再生表示系の階調特性に応じて階調補正を行う。
ガンマ補正された画像データはＹ合成部６０、Ｃ合成／色差マトリクス部６１に供給される。Ｙ合成部６０ではＹ（輝度）信号を合成し、後段の輝度信号処理系に出力する。Ｃ合成／色差マトリクス部６１は色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）を生成し、後段の色差信号処理系に出力する。

図３Ｂに示す三板色の場合、Ｒ、Ｇ、Ｂのそれぞれに対応する３つの撮像素子からの画像データＳｉＲ、ＳｉＧ、ＳｉＢが、それぞれデジタルクランプ回路５１Ｒ、５１Ｇ、５１Ｂでクランプ処理された後、それぞれデジタルゲイン回路５２Ｒ、５２Ｇ、５２Ｂでゲインが与えられ、それぞれノイズリダクション回路５３Ｒ、５３Ｇ、５３Ｂでノイズ除去処理が行われる。この状態の画像データ（Ｒ、Ｇ、Ｂ）がリニアマトリクス処理部５５及びアパコン処理部５６に供給される。以降の処理は図３Ａと同様である。

＜２．色味残し量に応じたパラメータ変調＞
以下、上述の撮像装置１（画像処理装置２０）で行われる色味残し量に応じたパラメータ変調について説明する。

まず、撮像装置１におけるホワイトバランスを含む画像処理モードの設定画面を図４Ａで説明する。これは例えば表示部１７において表示され、ユーザが操作部１８の操作により任意にモード設定を行うための画面例である。
図示するように、ホワイトバランスのモード、オートホワイトバランス（ＡＷＢ）時の優先設定などが選択可能とされる。

ホワイトバランスのモードとしては、ユーザは、「オートホワイトバランス（ＡＷＢ）」「太陽光」「日陰」「曇天」「蛍光灯（温白色／白色／昼白色／昼光色）」「フラッシュ」「水中」などを選択できる。
オートホワイトバランス時の優先設定としては、ユーザは、「標準」「雰囲気優先」「白色優先」の各モードを選択できる。
「白色優先」は、正確なホワイトを実現するホワイトバランス調整を行うモードである。即ち光源の色味を打ち消すようなホワイトバランス調整を指定するモードである。
「雰囲気優先」は、光源の色調を残すことで、その場の雰囲気を表現するような画像を得るためのホワイトバランス調整を指定するモードである。温かい雰囲気を演出したいときに適している。例えばこの雰囲気優先モードは電球色を残すモードである。
「標準」は、上記の白色優先と雰囲気優先の中間的なホワイトバランス調整を指示するモードである。

なお、図４Ｂは、オートホワイトバランス時の優先設定として、「低色温度光源でのオートホワイトバランス（ＡＷＢ）時の優先設定」「高色温度光源でのオートホワイトバランス（ＡＷＢ）時の優先設定」をそれぞれ選択可能とした例である。このようなモード選択を用いる例については後述する。
また図４Ａ、図４Ｂはモード設定のためのユーザインターフェースの一例であり他の例も想定される。例えばオートホワイトバランスが選ばれたときに「標準」「雰囲気優先」「白色優先」が選択できるようにするのではなく、直接各モードが選択できるようにしてもよい。例えば「オートホワイトバランス（標準）」「オートホワイトバランス（雰囲気優先）」「オートホワイトバランス（白色優先）」「太陽光」「日陰」「曇天」「蛍光灯（温白色／白色／昼白色／昼光色）」「フラッシュ」「水中」などを直接選択できるようにするユーザインターフェースである。

ここで図４Ａのようなユーザインターフェースにより、ユーザが例えばオートホワイトバランスにおいて雰囲気優先を選択した場合、光源の色味が残された（撮像時の光源の色味が打ち消されていない）ホワイトバランス調整が行われることになる。そのような場合、ホワイトバランス以外の画像処理において、色味残し量に適合するような画像調整が行われると、より高品質な画像が得られる場合が多い。
例えば、低色温度光源下（２５００Ｋなど）で撮像されたロウ画像を現像する場合に、ホワイトバランスが意図的に光源の温かみのあるオレンジ色の光源色を残す場合には、人物の肌はオレンジ色になり過ぎない方が、印象が良い。そこで肌色の彩度を下げるなど、色味残し量に応じた色処理をおこなうと、より好印象な画像を得ることができる。
本実施の形態では例えばこのような考え方から、色味残し量を反映した制御値を生成し、その制御値によって画像処理のパラメータを変調することを行う。
なお、この場合の色味残し量とは、現像には使用しない光源の色味を打ち消すホワイトバランスゲインと、現像に使用する光源の色味を残したホワイトバランスゲインの差分（比率）と考えることができる。

色味残し量を反映した制御値を求め、その制御値を用いてパラメータ変調を行い、当該変調されたパラメータを用いて画像処理を行う処理の具体例を図５に示す。これは図２に示した機能を備える画像処理装置２０において実行される処理例である。

ステップＳ１０１で画像処理装置２０は、第１のホワイトバランスゲイン（Ｒ１，Ｂ１）を計算する処理を行う。「Ｒ１」はＲ信号に対するゲイン、「Ｂ１」はＢ信号に対するゲインである。これは撮像された画像データの色味を打ち消すためのＲ信号、Ｂ信号に与えるゲインの値であり、例えば上記の白色優先の場合に用いるホワイトバランスゲインとされる。
ステップＳ１０２で画像処理装置２０は、第２のホワイトバランスゲイン（Ｒ２，Ｂ２）を計算する処理を行う。「Ｒ２」はＲ信号に対するゲイン、「Ｂ２」はＢ信号に対するゲインである。これは撮像された画像データの色味を残す場合にＲ信号、Ｂ信号に与えるゲインの値であり、例えば上記の雰囲気優先の場合に用いるホワイトバランスゲインとされる。
なお実施の形態としての一例の説明では、Ｒ信号に対するゲインとＢ信号に対するゲインをホワイトバランスゲインとし、このようなホワイトバランスゲインでホワイトバランス調整を行うものとするが、例えばＣｂ信号、Ｃｒ信号に対するゲインをホワイトバランスゲインとするなど、他のホワイトバランス調整手法を用いてもよいことは言うまでもない。

光源の色味を打ち消す第１のホワイトバランスゲインから、光源の色味を残した第２のホワイトバランスゲインを求める計算方法の一例を示す。
撮像した処理対象の画像データから、画像処理装置２０が第１のホワイトバランスを図６の×印（ＷＢ１）の地点（約２５００Ｋ）と計算したとする。なお図６は公知のＣＩＥ１９３１ｘｙ色度図において、×印（ＷＢ１）、×印（ＷＢ２）を示している。
第２のホワイトバランスは、図６の黒体軌跡に沿って、高色温度側に一定量シフトさせたものとすることができる。シフトさせた分だけ、オレンジの光源の色味を残した第２のホワイトバランスとなる。その第２のホワイトバランスを×印（ＷＢ２）として示している。

図６は一例であるが、第１のホワイトバランスが高色温度側に計算された場合は、第２のホワイトバランスは低色温度側に一定量シフトさせることによって、青色の光源の色味を残すことができる。
また第１のホワイトバランスが黒体軌跡上に乗っていない場合にも、黒体軌跡から垂直方向のズレを保ったまま高色温度側（又は低色温度側）にシフトさせることで第２のホワイトバランスを決めることができる。

具体的な計算例を示す。
・光源の色味を打ち消す第１のホワイトバランスゲイン（Ｒ，Ｂ）＝（Ｒ１，Ｂ１）
・光源の色味を残す第２のホワイトバランスゲイン（Ｒ，Ｂ）＝（Ｒ２，Ｂ２）
・ホワイトバランスゲイン（Ｒ，Ｂ）を、色温度Ｋと色温度に垂直方向の差分Ｄに変換する関数＝ｆ１（ｒ，ｂ）
・色温度Ｋと色温度に垂直方向の差分Ｄを、ホワイトバランスゲイン（Ｒ，Ｂ）に変換する関数＝ｆ２（ｋ，ｄ）
・シフト量Ｓを、色温度Ｋから求める関数＝ｆ３（Ｋ）
とするとき、下記の計算で第１のホワイトバランスゲイン（Ｒ１，Ｂ１）から、第２のホワイトバランスゲイン（Ｒ２，Ｂ２）を求めることができる。

（Ｋ１，Ｄ１）＝ｆ１（Ｒ１，Ｂ１）
Ｓ＝ｆ３（Ｋ１）
Ｋ２＝Ｋ１＋Ｓ
（Ｒ２，Ｂ２）＝ｆ２（Ｋ２，Ｄ１）

例えば以上のように第１のホワイトバランスゲインと第２のホワイトバランスゲインを求めたら、画像処理装置２０は図５におけるステップＳ１０３で、パラメータ変調のための制御値としての色味残し量Ａを計算する。例えば色味残し量Ａを第１のホワイトバランスゲインと第２のホワイトバランスゲインの差分として求める。
例えば色味残し量Ａは、次の（数１）により求める。

なお制御値は、上記の色味残し量Ａに限らず、後述する色味残し係数Ａ’などとすることもある。例えば制御値は、色味残し量Ａや色味残し係数Ａ’のように色味残し量を反映した値とすることが一例として想定される。

ステップＳ１０４で画像処理装置２０は、制御値（例えば色味残し量Ａ）を用いて、画像処理に用いるパラメータを変調する。画像処理のパラメータの例は後述するエリアコンプのオフセット値、圧縮率、リニアマトリクス係数などの色再現パラメータ等の各種のパラメータに適用することができる。
変調前の色再現パラメータ＝ＣＲ
変調後の色再現パラメータ＝ＣＲ’
とするとき、例えば、
ＣＲ’＝ＣＲ×２^A
としてパラメータの変調を行う。

ステップＳ１０５で画像処理装置２０は、第２のホワイトバランスゲイン（Ｒ２，Ｂ２）と、変調したパラメータＣＲ’を用いて例えばロウ画像データの現像等の画像処理を行う。例えば第２のホワイトバランスゲインを用いてホワイトバランス調整を行うとともに、色再現パラメータＣＲ’を用いたリニアマトリクス処理、或いはアパコン処理、或いはガンマ補正処理等を行う。
なお変調するパラメータＣＲは、ロウ画像データの現像処理段階でのパラメータに限らず、輝度処理で用いるパラメータ、色差信号処理で用いるパラメータ、ＲＧＢデータに対する処理に用いるパラメータなどが想定される。

以上の図５の処理を行うことで、例えばホワイトバランス処理における色味残し量を反映してパラメータを変調した画像処理を実現でき、より高品位な画像生成を実現できる。
このような処理を行うために画像処理装置２０としては図２の機能（特に画像信号処理部２１、制御値算出部２３、パラメータ変調部２４）を実行するためのソフトウエアを備えることになる。
当該ソフトウエアは、光源の色味を打ち消すような第１のホワイトバランスゲインの推定制御を行うことができる。
また当該ソフトウエアは、光源の色味を残すような第２のホワイトバランスゲインによるホワイトバランス調整処理を行うことができる。
また当該ソフトウエアは、第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値（例えば色味残し量Ａ）を算出できる。
また当該ソフトウエアは、制御値（例えば色味残し量Ａ）を用いて所定の画像処理に用いるパラメータＣＲを変調し、変調したパラメータＣＲ’を生成できる。
また当該ソフトウエアは、変調したパラメータＣＲ’を用いて所定の画像処理を行うことができる。

画像処理装置２０の処理例として他の例を説明する。
図７は第２のホワイトバランスゲイン（Ｒ１，Ｂ１）を、ユーザ入力情報を用いて設定する例である。

画像処理装置２０はステップＳ１０１で処理対象の画像データについての第１のホワイトバランスゲインを計算する。
ステップＳ１０２で画像処理装置２０は第２のホワイトバランスゲインを設定するが、この場合、第２のホワイトバランスゲイン（Ｒ２’Ｂ２’）は、操作部１８を用いてユーザが指定した値とする。
ステップＳ１０３Ａで画像処理装置２０は、第１のホワイトバランスゲイン（Ｒ１，Ｂ１）と、ユーザが指定した第２のホワイトバランスゲイン（Ｒ２’Ｂ２’）を用いて制御値（例えば色味残し量Ａ）を算出する。
そして画像処理装置２０はステップＳ１０４で制御値（例えば色味残し量Ａ）を用いてパラメータＣＲをパラメータＣＲ’に変調し、ステップＳ１０５Ａでは、ユーザ指定の第２のホワイトバランスゲイン（Ｒ２’，Ｂ２’）と、変調したパラメータＣＲ’を用いて例えばロウ画像データの現像等の画像処理を行う。
例えば第２のホワイトバランスゲイン（Ｒ２’Ｂ２’）を用いてホワイトバランス調整を行うとともに、色再現パラメータＣＲ’を用いたリニアマトリクス処理、或いはアパコン処理、或いはガンマ補正処理等を行う。

実際のホワイトバランスについては、ユーザが雰囲気設定のために指定する場合もある。
例えばユーザがマニュアル操作であえて色味が残るようにホワイトバランスゲイン設定を行う場合である。
その場合も、ユーザの所望する色味残しに応じて画像処理用のパラメータを変調することで、ユーザの望むホワイトバランスに適応した画像処理が可能になる。

図８Ａ、図８Ｂは、変調したパラメータ或いは制御値を記憶媒体１５ａに記憶する例である。
図８ＡにおけるステップＳ１０１〜Ｓ１０４は図５と同様である。
画像処理装置２０はステップＳ１０４までの処理で変調したパラメータＣＲ’を生成したら、ステップＳ１１０で、その変調したパラメータＣＲ’を画像データに対応づけて記憶するための処理を行う。即ち変調したパラメータＣＲ’を記憶する情報として記憶部１５に出力する。例えば画像データをデータファイル化して記憶部１５により記憶媒体１５ａに記憶させる場合、その画像データに対応する付加情報としてパラメータＣＲ’を含めるようにすることで画像データとともに記憶媒体１５ａに記憶させる。
このようにすることで、記憶媒体１５ａから画像データファイルを読み出した場合に、撮像装置１もしくは他の機器において、変調したパラメータＣＲ’を用いた画像処理を行うことができる。特に画像データファイルとしてロウ画像データを含む場合、現像処理などにおいても変調したパラメータＣＲ’を用いることができる。

次に図８Ｂを説明する。ステップＳ１０１〜Ｓ１０３は図５と同様である。
画像処理装置２０はステップＳ１０３までの処理で例えば色味残し量Ａなどの制御値を算出したら、ステップＳ１１１で、その制御値を画像データに対応づけて記憶するための処理を行う。即ち制御値を記憶する情報として記憶部１５に出力する。例えば画像データをデータファイル化して記憶部１５により記憶媒体１５ａに記憶させる場合、その画像データの付加情報として制御値を含めるようにする。
このようにすることで、記憶媒体１５ａからロウ画像データを含む画像データファイルを読み出した場合に、撮像装置１もしくは他の機器において、制御値を用いて画像処理に用いるパラメータＣＲを変調してパラメータＣＲ’を生成し、パラメータＣＲ’を用いた画像処理を行うことができる。

図９Ａ、図９Ｂは、変調したパラメータ或いは制御値を外部機器に送信する例である。
図９ＡにおけるステップＳ１０１〜Ｓ１０４は図５と同様である。
画像処理装置２０はステップＳ１０４までの処理で変調したパラメータＣＲ’を生成したら、ステップＳ１２０で、その変調したパラメータＣＲ’を送信するための処理を行う。即ち変調したパラメータＣＲ’を送信する情報として通信部１６に出力する。例えば画像データに対応づけて通信部１６から外部機器に送信させるようにする。例えばロウ画像データをデータファイル化して送信する場合、そのロウ画像データに対応する付加情報としてパラメータＣＲ’を含めるようにする。
このようにすることで、撮像装置１以外の機器で現像処理や画像編集処理等を行う場合に、変調したパラメータＣＲ’を用いることができる。

次に図９Ｂを説明する。ステップＳ１０１〜Ｓ１０３は図５と同様である。
画像処理装置２０はステップＳ１０３までの処理で例えば色味残し量Ａなどの制御値を算出したら、ステップＳ１２１で、その制御値を送信するための処理を行う。即ち制御値を送信する情報として通信部１６に出力する。例えば画像データに対応づけて通信部１６から外部機器に送信させるようにする。例えばロウ画像データをデータファイル化して送信する場合に、そのロウ画像データの付加情報として制御値を含めるようにする。
このようにすることで、撮像装置１以外の機器において、制御値を用いて画像処理に用いるパラメータＣＲを変調してパラメータＣＲ’を生成し、パラメータＣＲ’を用いた現像処理や画像編集処理等を行うことができる。

＜３．適用処理例＞
以下では、上述のように変調したパラメータＣＲ’を用いることができる画像処理例を挙げていく。

［リニアマトリクス処理］
まず図３のリニアマトリクス処理部５５での処理例を説明する。
リニアマトリクス処理では、行列計算により色再現処理を行うが、ここでは行列計算に色味残し量Ａを組み合わせて、色再現を変調する計算方法の一例について記述する。

以下の変調目的としては、ホワイトバランスゲインが低色温度光源の色味を残すように設定される場合には、色再現で暖色系の彩度を上げることで、更にその場の雰囲気を強調することができるようにするものである。
また、ホワイトバランスゲインが高色温度光源の色味を残すように設定される場合には、色再現で寒色系の彩度を上げることで、更にその場の雰囲気を強調することができるようにもする。

まず、リニアマトリクス処理で色再現パラメータＣＲとなる行列１、行列２、行列３を示す。なお、Rin、Gin、Binは、リニアマトリクス処理に入力されるＲデータ、Ｇデータ、Ｂデータで、Rout、Gout、Boutはリニアマトリクス処理により出力されるＲデータ、Ｇデータ、Ｂデータである。

行列１は標準的な色再現を実現する行列である。
行列２は行列１に比べて暖色系の色相の彩度を上げる行列である。
行列３は行列１に比べて寒色系の色相の彩度を上げる行列である。

このような行列１、行列２、行列３（色再現パラメータＣＲ）を、色味残し量Ａを反映させるように変調する。
ここでは、色味残し量Ａを比率に変換した色味残し係数Ａ’を用いる例とする。
色味残し量Ａが、低色温度方向に色味を残す場合は、色味残し係数Ａ’は、０より大きく、１以下の値をとる。値が大きいほど低色温度光源の色味を残す係数となる。
また色味残し量Ａが、高色温度方向に色味を残す場合は、色味残し係数Ａ’は０より小さく、−１以上の値をとる。値が小さいほど高色温度光源の色味を残す係数となる。

例えば、色味残し量５００Ｋ以上では色味残し係数Ａ’は１．０とする。
色味残し量Ａが１００Ｋ以下では、色味残し係数Ａ’は０とする。
色味残し量Ａが５００Ｋと１００Ｋの間の場合、色味残し係数Ａ’は線形補間で求める。

上記のように低色温度方向の色味残し係数Ａ’は正の値、高色温度方向の色味残し係数Ａ’の負の値をとるとした場合に、低色温度光源方向に３００Ｋほど色味を残すというケースを考えると、色味残し係数Ａ’＝０．５になる。線形補間の計算で（３００−１００）／（５００−１００）＝０．５となることによる。
また、高色温度方向に３００Ｋほど色味を残すというケースでは、色味残し係数Ａ’＝−０．５となる。

このような色味残し係数Ａ’を用いて、次のように色再現パラメータＣＲを変調する。
・色味残し係数Ａ’＝０の場合
色再現用の行列＝行列１
・色味残し係数Ａ’＞０の場合
色再現用の行列＝Ａ’×行列２＋（１−Ａ’）×行列１
・色味残し係数Ａ’＜０の場合
色再現用の行列＝Ａ’×行列３＋（１＋Ａ’）×行列１

以上において色再現用の行列は、即ち制御値である色味残し量Ａを反映して変調された色再現パラメータＣＲ’となる。
このような色再現パラメータＣＲ’として求められた行列を用いてリニアマトリクス処理を行うことで、色味残し量Ａを反映した色再現処理が実現される。

［特定の色相だけ色再現を変える処理］
例えば色差信号（Ｒ−Ｙ、Ｂ−Ｙ、又はＣｒ，Ｃｂ）に対する色処理として、特定の色相だけ色再現を変える処理を行うこともある。そこで、特定の色相だけ色再現を変える処理と色味残し量の組み合わせで、色再現を変調してもよい。
なお、以下ではＬａｂ色空間を用いて特定の色相だけ色再現を変える処理の例を示していくが、説明する各例の処理はＣｒＣｂ空間やその他の色空間でも表現できる。ひいては、例えば色差信号（Ｒ−Ｙ、Ｂ−Ｙ、又はＣｒ，Ｃｂ）やＲＧＢ信号に対する色処理として、特定の色相だけ色再現を変える処理のパラメータの具体例は各種考えられる。

まず、注目している色だけ彩度を変調することで色再現を変調する処理を図１０により説明する。
図１０ＡはＬａｂ色空間を示しており、図１０Ｂは図１０Ａの第１象限を示している。
図１０Ｂでは、光源の色味を打ち消すホワイトバランスゲインで現像した無彩色被写体Ｈ１の色相、低色温度光源の色味を残したホワイトバランスゲインで現像した無彩色被写体Ｈ２の色相を示しているが、その差分が色味残し量Ａとなる。
第１象限内の角度範囲としての領域ＡＲ１は肌色の色相の領域である。矢印Ｃ１は、肌色色相の彩度を変調させることを示している。領域ＡＲ１内の色相について矢印Ｃ１の方向性で無彩色に近づけるように変化させることで肌色の彩度を落とすことになる。

このような処理を、色味残し量Ａに応じて行う。
つまり肌色領域の画素データについての色補正処理として、彩度抑制のための矢印Ｃ１方向のシフト（圧縮）を行うためのパラメータＣＲを、色味残し量Ａに応じて変調する。そして変調したパラメータＣＲ’を用いて、肌色の色情報を矢印Ｃ１方向にシフト（彩度圧縮）させる。

低色温度光源の色味を残すようなホワイトバランス調整を行う場合には、肌色に相当する領域ＡＲ１内の色相の画素データについて、その色情報に与える矢印Ｃ１の方向のシフト量（或いはシフト係数）を、色味残し量Ａに応じて変調（圧縮）することで、色味残し量Ａに応じて肌色が濃くなり過ぎないように彩度を適度に抑えることができる。
例えば、低色温度光源下（２５００Ｋなど）で撮像されたロウ画像を現像する場合に、ホワイトバランス処理において、意図的に光源の温かみのあるオレンジ色の光源色を残す場合には、人物の肌はオレンジ色になり過ぎる場合がある。人物の肌はオレンジ色になり過ぎない方が、印象が良い。そこで上記のように色味残し量Ａに応じて肌色の彩度を下げるようにする。これにより、より好印象な画像を現像することができる。

次に、注目している色だけ色相を回す変調をすることで色再現を変調する処理を図１１により説明する。図１１Ａは図１０Ａと同じくＬａｂ色空間であり、図１１Ｂは図１１Ａの第１象限、第４象限を示している。
図１１Ｂでは、光源の色味を打ち消すホワイトバランスゲインで現像した無彩色被写体Ｈ１の色相、高色温度光源の色味を残したホワイトバランスゲインで現像した無彩色被写体Ｈ３の色相を示しており、その差分が色味残し量Ａとなる。領域ＡＲ１は図１０と同じく肌色の領域である。矢印Ｃ１０は、肌色の色相を黄色方向にシフトさせることを示している。

このような処理を、色味残し量Ａに応じて行う。
つまり肌色領域の画素データについての色補正処理として矢印Ｃ１０方向のシフト（色相変化）を行うためのパラメータＣＲを、色味残し量Ａに応じて変調する。そして変調したパラメータＣＲ’を用いて、肌色の色情報を矢印Ｃ１０方向にシフト（色相変化）させる。

高色温度光源の色味を残すようなホワイトバランス調整を行う場合には、肌色に相当する領域ＡＲ１内の色相の画素データについて、その色情報に与える矢印Ｃ１０の方向のシフト量（或いはシフト係数）を、色味残し量Ａに応じて変調（圧縮）することで、色味残し量Ａに応じて肌色を黄色方向に適度に変化させることができる。
例えば高色温度光源下（８０００Ｋなど）で撮像されたロウ画像を現像する場合に、ホワイトバランス処理において、意図的に光源のクールな印象のある青色の光源色を残す場合には、人物の肌が青白くなりすぎる場合がある。人物の肌は青色になり過ぎない方が印象が良い。そこで上記のように肌色の色相を黄色方向に回すようにする。これにより、より好印象な画像を現像することができる。

特定の色相の色再現を変える処理例をさらに図１２に例示する。図１２Ａ、図１２Ｂ、図１２Ｃも、それぞれ図１０Ａに示したＬａｂ色空間を示している。
図１２Ａにおける第３象限から第４象限にかけての角度範囲としての領域ＡＲ２は青色の領域、第３象限内の角度範囲としての領域ＡＲ３は緑色の領域である。
領域ＡＲ２の色相の画素データについて、色情報を矢印Ｃ２にシフトさせることで、彩度を上げることができる。従って、例えば色味残し量Ａに応じて矢印Ｃ２方向のシフト量又はシフト係数としてのパラメータＣＲを変調し、変調したパラメータＣＲ’を用いて当該シフト処理（青色の彩度上昇）を行うことが考えられる。
領域ＡＲ３の色相の画素データについても、色情報を矢印Ｃ３にシフトさせることで、彩度を上げることができる。従って、例えば色味残し量Ａに応じて矢印Ｃ３方向のシフト量又はシフト係数としてのパラメータＣＲを変調し、変調したパラメータＣＲ’を用いて当該シフト処理（緑色の彩度上昇）を行うことが考えられる。
このような処理により、ホワイトバランス調整での色味残し量Ａ等を反映して、特定の色についての彩度上昇が可能となる。
例えばホワイトバランス調整で高色温度方向に色味を残す場合に、図１２Ａのように青や緑の彩度を上げることによって、青空や植物の色が濃くなり、風景写真をより印象的にすることができる。
なお領域ＡＲ２、ＡＲ３の角度範囲を決めるパラメータを、制御値を用いて変調してもよい。これにより、ホワイトバランス調整での色味残し量に応じて彩度上昇を行う色の範囲の設定を行うということが実現できる。

次に、図１２Ｂにおける第１象限内の角度範囲としての領域ＡＲ４は赤色から黄色の領域である。一点鎖線上の色相は理想的な夕焼けの赤色とする。
領域ＡＲ４１は理想的な夕焼けの赤色より黄色寄りの領域、領域ＡＲ４２は理想的な夕焼けの赤色よりさらに赤寄りの領域としている。
なお、領域ＡＲ４が変調対象とする色相の範囲であるが、この変調範囲としての領域ＡＲ４は、原点からオフセットＯｏｆで示す量だけずらした例としている。もちろんオフセットを設けないで原点からの扇状の領域とする場合もある。

そしてこの図は、赤色から黄色の領域ＡＲ４内に相当する色相の画素データについて、その色相を理想的な夕焼けの赤色に近づける処理を示している。領域ＡＲ４１内の色相を持つ画素データについては、色補正処理として、色相補正のための矢印Ｃ４１方向のシフト（色相変化）を行うためのパラメータＣＲ１を、色味残し量Ａに応じて変調する。そして変調したパラメータＣＲ１’としての係数を用いて、領域ＡＲ４１の色情報を矢印Ｃ４１方向にシフト（色相変化）させる。
同様に、色相補正のための矢印Ｃ４２方向のシフト（色相変化）を行うためのパラメータＣＲ２を、色味残し量Ａに応じて変調する。そして変調したパラメータＣＲ２’としての係数を用いて、領域ＡＲ４２の色情報を矢印Ｃ４２方向にシフト（色相変化）させる。
これにより、赤色から黄色の領域の画素の色相を、理想的な夕焼けの赤色肌色に近づけるような画像処理ができ、しかも、ホワイトバランス調整を反映して矢印Ｃ４１方向又はＣ４２方向のシフト量が制御されることになる。
例えばホワイトバランス調整で低色温度方向に色味を残す場合に、図１２Ｂのように理想的な夕焼けの赤の色相に向かって、その周りの色相の色を回すことによって、日の出／日の色の写真をより印象的な画像とすることができる。
原点からのオフセットＯｏｆは、色を変化させる範囲を限定する目的で設定することができる。
なお、オフセットＯｏｆや、領域ＡＲ４１、ＡＲ４２の角度範囲を決めるパラメータを、制御値を用いて変調してもよい。これにより、ホワイトバランス調整での色味残し量に応じた変調範囲設定が実現できる。

次に、図１２Ｃでは、青色から水色の領域を除く、他の色の領域を領域ＡＲ５として示している。そしてこの図は、領域ＡＲ５を残し、青色から水色を無彩色に向かって彩度を落とす処理を示している。
各矢印Ｃ５は、青色や水色の色相の彩度を低下させることを示している。このような場合に、色味残し量Ａに応じて矢印Ｃ５方向のシフトのための係数を変調することで、変調されたパラメータＣＲ’を用いた処理が行われる。
例えばホワイトバランス調整で高色温度方向に色味を残す場合に、図１２Ｃのように青色や水色の彩度を落とすことによって、水族館や水中の写真で、ほとんどモノクロだが、魚やサンゴといった青色以外のものだけ色が残っているような印象的な撮像画像を得ることができる。またその場合に、青色や水色の彩度の落とし具合がホワイトバランス調整に応じて可変されることになり、適度な色バランスの画像とすることもできる。
なお、もちろん領域ＡＲ５以外を完全な白黒（無彩色）とし、領域ＡＲ５に含まれる色相の画素データについて、彩度の上昇又は低下を行うようにしてもよい。その場合、彩度変換のためのパラメータＣＲを色味残し量Ａを用いて変調し、変調したパラメータＣＲ’を用いて領域ＡＲ５に含まれる色相の画素データについて彩度補正を行うようにすることが考えられる。
また領域ＡＲ５の角度範囲を決めるパラメータを、制御値を用いて変調してもよい。これにより、ホワイトバランス調整での色味残し量に応じて、色彩を残す範囲の可変設定が実現できる。

［顔検出に応じた色変調］
続いて、画像解析を用いる例を説明する。ここでは撮像した画像データについて人物の顔が含まれているか否かを画像解析部２５で判定し、それに応じて制御値算出部２３、パラメータ変調部２４が機能する例を挙げる。

図１３は図２の機能により行われる画像処理装置２０の処理例を示している。例えば撮像された或る画像データが処理対象となった際に図１３の処理が行われる。
ステップＳ２０１で画像処理装置２０は、現在のホワイトバランスのモードがオートホワイトバランスモードであるか否かで処理を分岐する。
オートホワイトバランスモードの場合は、画像処理装置２０はステップＳ２０２で、白色優先モードであるか否かで処理を分岐する。
白色優先モードでない場合、例えば雰囲気優先モード又は標準モードであって、色味残しが行われる場合は、画像処理装置２０はステップＳ２０３に進み、画像内に人物の顔が含まれているか否かを、画像解析結果として取得し、処理を分岐する。

オートホワイトバランスモードでない場合、即ち固定ホワイトバランスモードの場合、又はオートホワイトバランスモードであっても白色優先モードである場合、又は画像内に顔が検出されなかった場合は、それぞれステップＳ２０６に進み、パラメータＣＲを用いた通常の現像処理を行う。
一方、ステップＳ２０３で画像内に顔が含まれていることが確認された場合は、ステップＳ２０４に進んでパラメータの変調処理を行う。例えばステップＳ２０４で画像処理装置２０は、図５のステップＳ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４の処理を行って制御値によって変調されたパラメータＣＲ’を得る。
そしてステップＳ２０５で画像処理装置２０は、パラメータＣＲ’を用いて処理対象の画像の現像処理を行う。

このような処理により、顔が含まれている場合にのみ、例えば色味残し量Ａに応じたパラメータ変調、及び変調したパラメータＣＲ’を用いた画像処理が行われることになる。例えば図１４Ａは人物の顔が含まれている画像、図１４Ｂは人物の顔が含まれていない画像を示している。図のハッチングは、変調されたパラメータＣＲ’を用いて画像処理が行われる領域を示している。図１４Ａの場合は、画像全体を対象として、パラメータＣＲ’を用いた画像処理が行われる。例えば上述した肌色領域のみの彩度調整の場合は、画像全体のうちで、肌色領域に相当する色相の画素について、彩度変化の処理のために変調されたパラメータＣＲ’が用いられる。

なお以上は人物の顔の例で説明したが、もちろん画像解析による被写体検出として、特定の被写体を検出した場合に、その画像に対して変調されたパラメータＣＲ’を用いた画像処理を行うようにする処理例は各種考えられる。
また図１３はオートホワイトバランスモードの場合に適用する処理としたが、これはオートホワイトバランスモードでの色味残し量Ａに対応する例としているためであり、特定の被写体検出に応じて変調したパラメータＣＲ’を用いる処理は、オートホワイトバランスモードでない場合にも適用することもできる。

［顔領域のみの色変調］
同じく画像解析を用いる例を説明する。ここでは撮像した画像データについて人物の顔が含まれているか否かを画像解析部２５で判定し、顔が含まれている場合、その顔の領域を対象として変調されたパラメータＣＲ’を用いた処理が行われる例を説明する。

図１５は図２の機能により行われる画像処理装置２０の処理例を示している。例えば撮像された或る画像データが処理対象となった際に図１５の処理が行われる。
ステップＳ２１１で画像処理装置２０は、現在のホワイトバランスのモードがオートホワイトバランスモードであるか否かで処理を分岐する。
オートホワイトバランスモードの場合は、画像処理装置２０はステップＳ２１２で、白色優先モードであるか否かで処理を分岐する。
白色優先モードでない場合、例えば雰囲気優先モード又は標準モードであって、色味残しが行われる場合は、画像処理装置２０はステップＳ２１３に進み、画像内に人物の顔が含まれているか否かを、画像解析結果として取得し、処理を分岐する。

オートホワイトバランスモードでない場合、又はオートホワイトバランスモードであっても白色優先モードである場合、又は画像内に顔が検出されなかった場合は、それぞれステップＳ２１７に進み、パラメータＣＲを用いた通常の現像処理を行う。
一方、ステップＳ２１３で画像内に顔が含まれていることが確認された場合は、画像処理装置２０はステップＳ２１４で処理対象の画像内での顔画像の領域を判定する。図１４Ｃには人物の顔を含む画像を示しているが、破線の範囲内が顔領域ＡＲｆとして判定されることになる。

そして画像処理装置２０はステップＳ２１５に進んでパラメータの変調処理を行う。例えば画像処理装置２０は図５のステップＳ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４の処理を行って制御値によって変調されたパラメータＣＲ’を得る。
そしてステップＳ２１６で画像処理装置２０は、パラメータＣＲ、及びパラメータＣＲ’を用いて処理対象の画像の現像処理を行う。即ち、画像内の顔領域ＡＲｆ内の画素については変調されたパラメータＣＲ’を用いた画像処理を行い、顔領域ＡＲｆ以外の画素については、パラメータＣＲを用いた画像処理を行う。

このような処理により、顔が含まれている場合にのみ、例えば色味残し量Ａに応じたパラメータ変調、及び変調したパラメータＣＲ’が算出され、かつ顔領域ＡＲｆ内の画素に対してのみ、パラメータＣＲ’を用いた画像処理が行われる。例えば肌色に関する色処理については、顔領域ＡＲｆのみ、色味残し量Ａに応じた処理が行われ、背景等における肌色部分は、通常のパラメータＣＲで処理される。従って、人物の肌についてホワイトバランス調整における色味残し量に応じた調整を行いたい場合に好適となる。

なお以上は顔の例で説明したが、もちろん画像解析による被写体検出として、特定の被写体を検出した場合に、その領域のみ局所的に、変調されたパラメータＣＲ’を用いるような処理例は各種考えられる。
また図１５はオートホワイトバランスモードの場合に適用する処理としたが、これはオートホワイトバランスモードでの色味残し量Ａに対応する例としているためであり、特定の画像の領域のみ変調したパラメータＣＲ’を用いる処理はオートホワイトバランスモードでない場合にも適用することもできる。

［発光動作に応じた処理］
次に、発光装置３１での発光状況と組み合わせた例を説明する。
図１６は図２の機能により行われる画像処理装置２０の処理例を示している。例えば撮像された或る画像データが処理対象となった際に図１６の処理が行われる。
ステップＳ２２０で画像処理装置２０は、現在処理対象としている画像データが撮像時に発光装置３１によりフラッシュ発光されたものであるか否かにより処理を分岐する。フラッシュ発光の有無は例えば制御部３０からの通知で検出できるようにすればよい。
フラッシュ発光されていた場合は、画像処理装置２０はステップＳ２２１で、現在のホワイトバランスのモードがオートホワイトバランスモードであるか否かで処理を分岐する。
オートホワイトバランスモードの場合は、画像処理装置２０はステップＳ２１２で、白色優先モードであるか否かで処理を分岐する。

処理対象の画像が撮像時にフラッシュ発光されたものではない場合、又はオートホワイトバランスモードでない場合、又はオートホワイトバランスモードであっても白色優先モードである場合は、それぞれステップＳ２２５に進み、パラメータＣＲを用いた通常の現像処理を行う。

ステップＳ２２２で白色優先モードでないとされた場合、例えば雰囲気優先モード又は標準モードであって、色味残しが行われる場合は、画像処理装置２０はステップＳ２２３に進み、パラメータの変調処理（例えば図５のステップＳ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４の処理）を行って制御値によって変調されたパラメータＣＲ’を得る。
そしてステップＳ２２４で画像処理装置２０は、パラメータＣＲ’を用いて処理対象の画像の現像処理を行う。

このような処理により、フラッシュ発光が行われた画像についてのみ、例えば色味残し量Ａに応じたパラメータ変調、及び変調したパラメータＣＲ’が算出され、パラメータＣＲ’を用いた画像処理が行われる。
なお、逆にフラッシュ発光が行われなかった場合に、変調されたパラメータＣＲ’を用いた画像処理が行われるようにする例も考えられる。
またこのような発光に応じた処理例も、オートホワイトバランスモード以外の場合にも適用できる。

［３Ｄ−ＬＵＴ（Look Up Table）と色味残し量の組み合わせで色再現を変調］
３Ｄ−ＬＵＴと色味残し量Ａの組み合わせで色再現パラメータＣＲを変調してもよい。
例えば色補正処理として３Ｄ−ＬＵＴを用いることは公知である。例えば入力Ｒ、Ｇ、Ｂ値によって３Ｄ−ＬＵＴを参照し、出力Ｒ、Ｇ、Ｂ値を得ることで各種の色補正が実現される。
この場合、３Ｄ−ＬＵＴの選択、又は出力値に対する係数などとしてのパラメータＣＲを色味残し量Ａに応じて変調し、３Ｄ−ＬＵＴを用いた色補正処理の際に、変調されたパラメータＣＲ’を用いることが考えられる。

例えば高色温度光源下（日陰など）の自然風景を撮像するときに、あえてホワイトバランスで光源の青色を残す場合には、３Ｄ−ＬＵＴによって青や緑の彩度を上げて明度を下げることで、深みのある空や緑を表現することができる。

［色処理以外のパラメータの変調］
次に、色処理以外のパラメータを変調する場合、例えば輝度処理などに用いるパラメータＣＲを変調する例を説明する。ここではコントラスト調整、シャープネス調整や、トーンカーブを用いたコントラスト／明るさ調整について述べる。
なお、コントラスト調整は図３のガンマ補正部５９、シャープネス調整はアパコン処理部５６で行われる。

色味残し量Ａに応じた変調は、コントラスト（ガンマ補正）やシャープネスなどのロウ現像パラメータに対して行ってもよい。
例えば、高色温度光源下（日陰など）で建物など人工物を撮像するときに、あえてホワイトバランスで光源の青色を残す場合には、コントラストを高くし、シャープネスを強めることで人工物のクールな印象を更に強めることができる。
従って、コントラスト調整用のパラメータＣＲｃ、シャープネス調整用のパラメータＣＲｓをそれぞれ色味残し量Ａに応じて変調してパラメータＣＲｃ’、ＣＲｓ’を求め、これらを用いてガンマ補正部５９でのコントラスト調整や、アパコン処理部５６でのシャープネス調整が行われるようにする。

なお、図４Ａで説明したような通常のオートホワイトバランス（ＡＷＢ）モード時の優先設定（標準／雰囲気優先／白色優先）としては、低色温度側の設定と高色温度側の設定をそれぞれ独立して変更することができない。
そこで例えば図４Ｂのようにホワイトバランスの優先設定として、「低色温度光源でのＡＷＢ時の優先設定」と、新たに「高色温度光源でのＡＷＢ時の優先設定」を用意する。
この「低色温度光源でのＡＷＢ時の優先設定」とは、低色温度側を残すような設定として「標準」「雰囲気優先」「白色優先」を選択可能とし、また「高色温度光源でのＡＷＢ時の優先設定」とは、高色温度側を残すような設定として「標準」「雰囲気優先」「白色優先」を選択可能とする。
このようにモードを用意することで、低色温度光源下で光源のオレンジ色を残す設定と、光源の高色温度光源下で光源の青色を残す設定がそれぞれ独立して選択可能となる。

なおこの場合、低色温度光源でのＡＷＢ時の優先設定としての３つ（標準／雰囲気優先／白色優先）と、同じく高低色温度光源でのＡＷＢ時の優先設定としての３つ（標準／雰囲気優先／白色優先）とにより、３×３の９種類のモードが選択可能とすることが考えられる。
また低色温度光源でのＡＷＢ時の優先設定は、電球光源の室内の撮像画像に効果的である。一方、高色温度光源でのＡＷＢ時の優先設定は、晴れた日の日陰などでの撮像画像に効果的である。

次にガンマ補正部５９においてトーンカーブにより画像の全体的なコントラストや明るさを補正する方法を説明する。
色味残し量Ａに応じた変調は、トーンカーブに対しておこなってもよい。
例えば、低色温度光源下（電球など）で人物を撮像するときに、あえてホワイトバランスで光源のオレンジ色を残す場合がある。このような場合、トーンカーブにより画像の明るさを押さえることで、光源の雰囲気を残した印象を更に強めることができる。

ガンマ補正部５９は、画素ごとのある入力に対する出力の値を入力値ごとに設定できる回路であるが、この回路によって、本来のガンマ補正の目的である表示装置の入出力特性を打ち消すだけでなく、画像の全体的なコントラストを変えたり、明るさを変えたりする機能も実現できる。この画像のコントラストや明るさを変える機能をトーンカーブと呼んでいる。

例として、図１７Ｂ、図１７Ｃ、図１７Ｄ、図１７Ｅに、コントラストの上げ下げと明るさの上げ下げの４パターンのトーンカーブを示している。各図は横軸が入力値、縦軸が出力値であり、図１７Ｂはコントラストを上げるトーンカーブ、図１７Ｃはコントラストを下げるトーンカーブ、図１７Ｄは明るさを上げるトーンカーブ、図１７Ｅは明るさを下げるトーンカーブである。

また図１７Ａは、表示装置のガンマ補正に対して明るさを上げるカーブ、コントラストを下げるカーブを掛け合わしたカーブの例を示している。
図１７Ａでは、破線（ＴＣ０）はγ＝１として入力と出力が変わらない特性である。
実線のトーンカーブＴＣ１は、表示装置の入出力特性を打ち消すガンマカーブ（γ＝２．２）である。
一点鎖線のトーンカーブＴＣ２は、トーンカーブＴＣ１としてのガンマカーブに、図１７Ｄの明るさを上げるカーブを掛け合わせたものである。即ちガンマ補正と明るさ上げを同時に行うカーブである。
点線のトーンカーブＴＣ３は、トーンカーブＴＣ１としてのガンマカーブに、図１７Ｃのコントラストを下げるカーブを掛け合わせたものである。即ちガンマ補正とコントラスト下げを同時に行うカーブである。

このようなトーンカーブを用いた処理において、そのカーブ（入出力特性）を、色味残し量Ａに応じて変調することで、色味残し量Ａを反映させてコントラスト調整や明るさ調整を行うことができる。

＜４．印刷装置への適用例＞
以下では第２の実施の形態として本技術の画像処理装置を搭載した印刷装置の構成を説明する。
図１８は印刷装置８０のブロック図である。この例では図１の画像処理装置９０が請求項にいう画像処理装置に相当することになる。
印刷装置８０は、画像メモリ８１、ディジタル信号処理部８２、パラメータ設定部８５、ガンマ変換部８６、画質補正部８７、ヘッド制御部８８、プリンタヘッド８９で構成されている。
なお、プリンタヘッド８９としては各種考えられ、印刷装置８０はヘッドタイプによってサーマルプリンタ、インクジェットプリンタ、レーザープリンタ等が想定される。

画像メモリ８１は、印刷用に入力された画像データを一時的に保持する記憶装置である。ここでは、半導体メモリを使用するが、ハードディスク装置その他の磁気記憶装置や他の記憶装置を用いることもできる。なお、画像データはＲＧＢデータで与えられる。

ディジタル信号処理部８２は、色調整とＹＭＣ（黄色・マゼンタ・シアン）データへの変換処理を演算処理により実現する処理デバイスである。例えば、マイクロプロセッサで実現する。
ディジタル信号処理部８２は、色調整演算部８３とマスキング演算部８４で構成される。
このうち色調整演算部８３は、ＨＳＶ色空間（色相、彩度、明度からなる色空間）上での色調整を実行する。この色調整演算部８３で実行される演算処理は、ＲＧＢデータをＨＳＶデータに変換する処理、データ変換後のＨＳＶデータに対する色調整処理、色調整後のＨＳＶデータをＲＧＢデータに変換する処理で構成される。

マスキング演算部８４は、ＲＧＢデータを印刷に適したＹＭＣデータに変換する演算処理を行う。
色調整処理をディジタル信号処理部８２の演算処理で実現する方法は、処理デバイス（マイクロプロセッサ）の演算スピードさえ十分であれば、高い演算精度を期待できる。

パラメータ設定部８５は、ＨＳＶ空間上で実行する色調整の内容に対応するパラメータを設定する処理デバイスである。
なお、パラメータは、色相、彩度、明度、指定された位相範囲内における変化の度合いの４種類である。
本実施の形態の場合、パラメータ設定部８５は、図２に示した制御値算出部２３，パラメータ変調部２４としての機能を備える。また画像解析部２５としての機能を備えても良い。

ガンマ変換部８６は、出力デバイスを通じて再現された画像の階調が線形になるように入出力変換する処理デバイスである。この例の場合、プリンタヘッドに固有のガンマ特性を打ち消すような変換処理を実行する。
画質補正部８７は、輪郭補正、シャープネスその他の画質を改善する既知の補正処理を実行する処理デバイスである。

ヘッド制御部８８は、プリンタヘッド８９の駆動に必要な制御動作（例えば、サーマルヘッドの場合、発熱体に対する電流の供給）を実行する処理デバイスである。
プリンタヘッド８９は印刷用紙に対して印刷動作を行う。例えばサーマルヘッドの場合、印刷幅に亘って発熱体が配列されたデバイスとされる。カラー画像の印刷には、昇華性材料をフィルムに塗布したインクフィルムを使用する。

このような印刷装置８０においても、印刷する画像データに応じて、パラメータ設定部８５が各種処理のパラメータ変調を行うことができる。即ち画像データについて第１，第２のホワイトバランスゲインを算出し、制御値を算出し、制御値に応じて画像処理のためのパラメータＣＲを変調する。そして変調したパラメータＣＲ’を色調整演算部８３、マスキング演算部８４、ガンマ変換部８６、画質補正部８７等に供給し、パラメータＣＲ’を用いた画像処理を実行させることができる。
これにより、ホワイトバランスゲインを反映させた、より高度な画像処理が実現される。
なお、以上の画像処理装置９０で行う処理を、コンピュータ装置にインストールされたプリンタドライバで行うようにしても良い。
例えばプリンタドライバが、第１，第２のホワイトバランスゲインを用いて制御値を算出する処理を行うようにする。
或いはプリンタドライバが、制御値を算出する処理と、制御値に応じて画像処理のためのパラメータＣＲを変調する処理を行うようにする。
或いはプリンタドライバが、制御値を算出する処理と、制御値に応じて画像処理のためのパラメータＣＲを変調する処理と、変調したパラメータＣＲ’を用いた画像処理を行うようにする。
このようにプリンタドライバというソフトウエアで、印刷画像に適用する本技術の画像処理装置を実現することも考えられる。

＜５．まとめ及び変形例＞
以上のように実施の形態の撮像装置１や印刷装置８０には画像処理装置２０、９０が搭載されている。そして実施の形態の画像処理装置（２０、９０）は、第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出部２３と、制御値算出部２３で算出した制御値（例えば色味残し量Ａ）を用いて画像処理パラメータＣＲを変調するパラメータ変調部２４を備えている。
このように第１，第２のホワイトバランスゲインを用いて制御値を算出し、その制御値を用いて、画像処理過程の何らかのパラメータＣＲを変調することで、ホワイトバランスゲインに応じた撮像画像の画像処理（画像調整、画像エフェクト等）という、これまでに無い画像処理手法を提供できる。これにより、より高品質な画像を生成し得る画像処理が可能となる。
実施の形態では、第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて色味残し量Ａを反映した制御値を求めるようにしたが、制御値は正確な色味残し量Ａを反映した値とすることに限定されない。
例えば第１のホワイトバランスゲインを基準とし、実際にホワイトバランス制御を行うゲインを第２のホワイトバランスゲインとした場合においては、基準（第１のホワイトバランスゲイン）をどのように設定するかは多様に考えられる。つまり第１のホワイトバランスゲインを、撮像時の光源の色味を完全に打ち消すホワイトバランスゲインとすることに限られない。従って第１のホワイトバランスゲインは或る量の色温度シフトを意図する値であったり、ユーザ設定による値であったりしてもよい。
また制御値は、第１のホワイトバランスゲインと第２のホワイトバランスゲインの差分のような色味残し量Ａのみでなく、第１，第２のホワイトバランスゲインの乗算値、除算値、加算値、平均値などを反映した値とする多様な例が想定される。

実施の形態では、画像処理装置２０が処理対象の画像に応じた第１のホワイトバランスゲインを算出する処理も行う例を述べた（図５のＳ１０１等）。
これにより処理対象の画像に応じた第１のホワイトバランスゲインが求められ、算出される制御値は処理対象の画像内容に応じたパラメータ変調のための値とすることができる。
なお第１のホワイトバランスゲインは、固定の値であってもよい。また記憶された、いくつかの値から一つが選択されるようにしてもよい。

実施の形態では、画像処理装置２０が処理対象の画像に応じた第２のホワイトバランスゲインを算出する処理も行う例を述べた（図５のＳ１０２等）。
これにより処理対象の画像に応じた第２のホワイトバランスゲインが求められ、算出される制御値は処理対象の画像内容に応じたパラメータ変調のための値とすることができる。
なお第２のホワイトバランスゲインも固定の値であってもよい。また記憶された、いくつかの値の一つから選択されるようにしてもよい。

実施の形態では、第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す方向に調整するためのホワイトバランスゲインで、第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を、第１のホワイトバランスゲインよりは残す方向に調整するためのホワイトバランスゲインであり、制御値算出部２３が算出する制御値は光源の色味残し量を反映した制御値とした例を述べた。即ち色味残し量Ａ又は色味残し係数Ａ’である。
これにより制御値は処理対象の画像内容の色味残し量に応じたものとなり、これを画像処理等のパラメータ変調のための値とすることで、ホワイトバランス調整での色味残し量に応じた画像処理ということが実現できることになる。
なお、実施の形態ではオートホワイトバランスモードにおいて、光源の色味を打ち消す第１のホワイトバランスゲインと、光源の色味を残す第２のホワイトバランスゲインから色味残し量Ａを求めたが、オートホワイトバランスモード以外でも実施の形態の技術は適用できる。
例えば先に説明したようにホワイトバランスモードとしては説明したように、「太陽光」「日陰」「曇天」「蛍光灯（温白色／白色／昼白色／昼光色）」「フラッシュ」「水中」などを選択できる。それらのモードにおいて、更にユーザがホワイトバランスゲインを調整できるようにした場合、それらのモードにおけるホワイトバランスゲイン設定を第１のホワイトバランスゲインとし、ユーザが調整したホワイトバランスゲインを第２のホワイトバランスゲインとすれば、各モードにおける色味差分を反映した制御値が算出でき、それによりパラメータ変調を行うことで、高度な画像処理が実現できる。

実施の形態では、制御値を用いて変調された画像処理パラメータＣＲ’を用いて画像データに対する処理を行う画像信号処理部２１を備えた例を述べた。
画像データに対する処理内容としては、画像データの色、輝度、コントラスト、シャープネスなど多様に想定される。また画像データに対する処理としては、例えば画像の現像処理、記憶のための処理、再生表示のための処理、送信のための処理、印刷のための処理などが想定される。
このような各種の画像データ処理で用いられる画像処理パラメータＣＲが、ホワイトバランスゲインを用いて生成された制御値により変調され、画像信号処理部２１等は変調された画像処理パラメータＣＲ’により所定の画像処理を行う。
従ってホワイトバランスゲインに応じた（例えば色味残し量を反映した）画像データ処理が実行され、撮像時の光源色に適した処理が可能となる。

実施の形態では、制御値を用いて変調された画像処理パラメータＣＲ’を記憶媒体１５ａに記憶するように出力する処理を行う出力処理部２２を備えた例を示した（図８Ａ参照）。
このようにすることで画像データに対応する変調されたパラメータＣＲ’を任意の時点で取得できる。従って後の時点で、例えば記憶媒体１５ａから読み出したり、或いは何らかの手法で入力された画像データに対して、パラメータＣＲ’を用いた画像データ処理を行うことができる。換言すれば、パラメータ変調機能を持たない機器でも、ホワイトバランスゲインから求めた制御値を反映して変調されたパラメータＣＲ’を用いた処理が可能となる。
なお、図８Ｂのように制御値を記憶するようにすることで、制御値に用いて後の時点でパラメータ変調を行い、変調されたパラメータＣＲ’を利用することもできる。

実施の形態では、制御値を用いて変調された画像処理パラメータＣＲ’を外部機器に送信する処理を行う出力処理部２２を備えた例を示した（図９Ａ参照）
このようにすることで、外部機器において画像データに対応する変調されたパラメータＣＲ’を取得できる。従って外部機器側で画像データに対してパラメータＣＲ’を用いて、ホワイトバランスゲインに応じた画像処理を行うことができる。
なお、図９Ｂのように制御値を送信することで、外部機器において制御値に用いてパラメータ変調を行い、変調されたパラメータＣＲ’を利用することもできる。

実施の形態では、第２のホワイトバランスゲインを、ユーザ入力情報を用いて設定する例を述べた（図７参照）
これにより例えば制御値は、第１のホワイトバランスゲイン（例えば本来のホワイトバランス調整のためのゲイン）と、ユーザが望むホワイトバランス調整のためホワイトバランスゲインの差分などを反映した値とすることができる。
従って制御値は処理対象の画像に対するユーザのホワイトバランス調整意思に応じたパラメータ変調のための値とすることができ、ユーザの望むホワイトバランスに適応した画像処理が可能になる。

実施の形態では、画像解析部２５を備え、制御値算出部２３による制御値の算出、及びパラメータ変調部２４による画像処理パラメータの変調は、画像解析部２５の解析結果に応じて実行する例を述べた（図１３参照）
画像解析部２５により、特定の画像条件（例えば顔の有無）を判定し、それに応じて、画像処理パラメータの変調を行うか否かが決定される。従って特定の画像条件のみ画像処理パラメータを変調することで、特定の画像条件に応じた適切な画像処理を実行できる。例えば顔検出に応じて、顔の色合いを好ましい色合いにするように画像処理パラメータを変調できる。従ってより高品質な画像をユーザに提供できる。
また特にユーザの顔画像の色制御を目的とした画像処理についてのみ本技術を適用するような場合、制御値の算出及び画像処理パラメータの変調という処理が無駄に行われなくなるため、処理負担の削減につながる。
なお、画像解析による画像条件としては、顔や特定の被写体の有無だけでなく、さらに被写体の個々人の別、被写体の大きさ、画像の明るさ、ぼけ具合、雰囲気等を判定し、それに応じて、画像処理パラメータの変調を行うか否かが決定されるようにすることも考えられる。

実施の形態では、画像解析部２５を備え、画像信号処理部２１は、処理対象の画像内の、画像解析部２５の解析結果により特定される領域の信号処理について、パラメータ変調部２４で変調された画像処理パラメータＣＲ’を用いる例を述べた（図１５参照）。
画像解析部２５により、特定の画像領域（例えば人物の顔、人物、動物、空、海などが写されている領域）を判定し、その領域について変調された画像処理パラメータＣＲ’が用いられる。従って特定の被写体について他の被写体と異なる適切な画像処理を実行できる。例えば顔検出に応じて、顔の範囲のみ、色合いを顔として好ましい色合いにし、背景等にはその色調整を加えないような高度な画像処理が可能になる。
また目的の被写体が存在しない場合は制御値の算出及び画像処理パラメータの変調が行われないことで処理負担の削減につながる。

実施の形態では、制御値算出部２３による制御値の算出、及びパラメータ変調部２４による画像処理パラメータの変調は、処理対象の画像の撮像時の発光装置３１の動作状況に応じて実行される例を述べた（図１６参照）。
例えば撮像時に発光が行われた場合に変調した画像処理パラメータＣＲ’を用いて画像処理を行うようにすることで、発光に応じた画像処理が可能となる。
なお逆に撮像時に発光が行われなかった場合に変調した画像処理パラメータＣＲ’を用いて画像処理を行うようにすることも考えられる。いずれにしても発光状況に応じた画像処理が可能となる。
また発光装置３１を備えた撮像装置１に限らずにこのような処理は可能である。例えば画像データに撮像時の情報としてフラッシュ発光の有無の情報を付加しておく。画像処理の際には、その情報を参照して、画像処理パラメータの変調を行うか否かを決めればよい。これにより撮像装置１以外の装置、或いは撮像時以外の処理であっても、発光状態に応じた画像処理が可能となる。

実施の形態では、第１のホワイトバランスゲインとして、処理対象の画像の撮像時の光源の色味を打ち消す第１のホワイトバランスモードで用いるホワイトバランスゲイン、第２のホワイトバランスゲインとして、処理対象の画像の撮像時の光源の色味を残す第２のホワイトバランスモードで用いられるホワイトバランスゲインを例示した。そしてホワイトバランス調整について第２のホワイトバランスモードが選択された画像が処理対象である場合に、制御値算出部２３による制御値の算出が行われる例を述べた。
具体的には第１のホワイトバランスゲインは、通常のホワイトバランス処理、即ち光源の色味を打ち消すホワイトバランス調整のためのホワイトバランスゲインである。例えば白色優先モードのホワイトバランスゲインが第１のホワイトバランスゲインとなる。
一方、撮像装置１では雰囲気優先モードや標準モードが用意されており、雰囲気優先モード（或いは標準モード）のホワイトバランスゲインが第２のホワイトバランスゲインとなる。図１３や図１５の処理では、このように第２のホワイトバランスゲインが用いられるモードが選択されているときに制御値の算出や制御値によるパラメータ変調が行われる例を示した。
このように通常の（第１の）ホワイトバランスゲインとは異なる第２のホワイトバランスゲインによりホワイトバランス調整が行われる画像に対して、制御値を用いたパラメータ変調を行うことで、その第２のホワイトバランスモードで得られる画像に適応させた画像処理が可能となる。これにより画像品質を向上させることができる。

実施の形態では、制御値を用いて変調する画像処理パラメータＣＲは、画像データの色処理に用いるパラメータである例を示した。即ち色相や彩度の調整などのためのパラメータを、ホワイトバランスゲインに応じて変調する。
これにより、実行するホワイトバランス調整と親和性の高い色処理など、より高度な色処理が可能となる。

実施の形態では、制御値を用いて変調する画像処理パラメータＣＲは、画像データの特定の色相の変調を行う処理に用いるパラメータである例を述べた（図１０、図１１、図１２参照）。
例えば或る特定の色相領域の画素データを特定の色相にシフトさせたり、その彩度を調整したりする処理に用いるパラメータを、ホワイトバランスゲインに応じて変調する。
これにより、実行するホワイトバランス調整と親和性の高い色処理、例えばホワイトバランス調整に関わらず残したい色の領域の色を補正したり変化させたりする処理など、より高度な色処理が可能となる。特に特定の色相領域を好ましい色状態に調整できる。

実施の形態では制御値を用いて変調する画像処理パラメータＣＲは、色処理以外の現像処理に用いるパラメータである例を述べた。
例えばコントラスト（ガンマ補正）、明るさ、シャープネス、トーンカーブを用いた処理など、色以外の現像処理パラメータ（例えば輝度処理用のパラメータ）をホワイトバランスゲインに応じて変調する。
これにより、実行するホワイトバランス調整と親和性の高いコントラスト調整、シャープネス調整など、より高度な画像処理が可能となる。

実施の形態の画像処理装置（２０，９０）は、撮像装置１や印刷装置８０に搭載した例を述べたが、他の機器でも搭載可能である。例えば画像処理専用装置、画像編集装置、情報処理装置（パーソナルコンピュータや携帯端末）、テレビジョン受像器、モニタ装置、投影装置などが想定される。

また各実施の形態では静止画を処理対象の画像として説明したが、動画を処理対象とする場合にも本技術は適用できる。

実施の形態のプログラムは、演算処理装置に、第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出ステップと、制御値算出ステップで算出した制御値を用いて画像処理パラメータを変調するパラメータ変調ステップとを実行させるプログラムである。
即ち図５、図７、図８Ａ，図８Ｂ、図９Ａ、図９Ｂ等の処理を演算処理装置に実行させるプログラムである。

このようなプログラムにより本実施の形態の画像処理装置２０（９０）の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出部と、
前記制御値算出部で算出した制御値を用いて画像処理パラメータを変調するパラメータ変調部と、を備えた
画像処理装置。
（２）
前記制御値算出部は、処理対象の画像に応じた前記第１のホワイトバランスゲインを算出する処理も行う
上記（１）に記載の画像処理装置。
（３）
前記制御値算出部は、処理対象の画像に応じた前記第２のホワイトバランスゲインを算出する処理も行う
上記（１）又は（２）に記載の画像処理装置。
（４）
前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す方向に調整するためのホワイトバランスゲインで、
前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を、前記第１のホワイトバランスゲインよりは残す方向に調整するためのホワイトバランスゲインであり、
前記制御値算出部が算出する前記制御値は光源の色味残し量を反映した制御値である
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記制御値を用いて変調された画像処理パラメータを用いて画像データに対する処理を行う画像信号処理部を備えた
上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記制御値を用いて変調された画像処理パラメータを記憶媒体に記憶する情報として出力する処理を行う出力処理部を備えた
上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記制御値を用いて変調された画像処理パラメータを外部機器に送信する情報として出力する処理を行う出力処理部を備えた
上記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記制御値算出部は、前記第２のホワイトバランスゲインを、ユーザ入力情報を用いて設定する
上記（１）（２）（４）（５）（６）（７）のいずれかに記載の画像処理装置。
（９）
画像解析部を備え、
前記制御値算出部による前記制御値の算出、及び前記パラメータ変調部による画像処理パラメータの変調は、前記画像解析部の解析結果に応じて実行する
上記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
画像解析部を備え、
前記画像信号処理部は、処理対象の画像内の、前記画像解析部の解析結果により特定される領域の信号処理について、前記パラメータ変調部で変調された画像処理パラメータを用いる
上記（５）に記載の画像処理装置。
（１１）
前記制御値算出部による前記制御値の算出、及び前記パラメータ変調部による画像処理パラメータの変調は、処理対象の画像の撮像時の発光装置の動作状況に応じて実行される
上記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す第１のホワイトバランスモードで用いるホワイトバランスゲインで、
前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を残す第２のホワイトバランスモードで用いるホワイトバランスゲインであり、
ホワイトバランス調整について前記第２のホワイトバランスモードが選択された画像が処理対象である場合に、前記制御値算出部による前記制御値の算出が行われる
上記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記制御値を用いて変調する画像処理パラメータは、画像データの色処理に用いるパラメータである
上記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記制御値を用いて変調する画像処理パラメータは、画像データの特定の色相の変調を行う処理に用いるパラメータである
上記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記制御値を用いて変調する画像処理パラメータは、色処理以外の現像処理に用いるパラメータである
上記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
演算処理装置が実行する画像処理方法として、
第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出手順と、
前記制御値算出手順で算出した制御値を用いて画像処理パラメータを変調するパラメータ変調手順と、を行う
画像処理方法。
（１７）
第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出ステップと、
前記制御値算出ステップで算出した制御値を用いて画像処理パラメータを変調するパラメータ変調ステップと、
を演算処理装置に実行させるプログラム。
（１８）
前記制御値算出ステップでは、処理対象の画像に応じた前記第１のホワイトバランスゲインを算出する処理も演算処理装置に実行させる
上記（１７）に記載のプログラム。
（１９）
前記制御値算出ステップでは、処理対象の画像に応じた前記第２のホワイトバランスゲインを算出する処理も演算処理装置に実行させる
上記（１７）又は（１８）に記載のプログラム。
（２０）
前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す方向に調整するためのホワイトバランスゲインで、
前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を、前記第１のホワイトバランスゲインよりは残す方向に調整するためのホワイトバランスゲインであり、
前記制御値算出ステップで算出する前記制御値は光源の色味残し量を反映した制御値である
上記（１７）乃至（１９）のいずれかに記載のプログラム。

１…撮像装置、１１…光学系、１２…イメージセンサ、１３…光学系駆動部、１４…センサ部、１５…記憶部、１５ａ…記憶媒体、１６…通信部、１７…表示部、１８…操作部、１９…ビューファインダ、２０，９０…画像処理装置、２１…画像信号処理部、２２…出力処理部、２３…制御値算出部、２４…パラメータ変調部、２５…画像解析部、３０…制御部、８０…印刷装置

Claims (20)

1. 第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出部と、
   前記制御値算出部で算出した制御値を用いて画像処理パラメータを変調するパラメータ変調部と、を備えた
   画像処理装置。
2. 前記制御値算出部は、処理対象の画像に応じた前記第１のホワイトバランスゲインを算出する処理も行う
   請求項１に記載の画像処理装置。
3. 前記制御値算出部は、処理対象の画像に応じた前記第２のホワイトバランスゲインを算出する処理も行う
   請求項１に記載の画像処理装置。
4. 前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す方向に調整するためのホワイトバランスゲインで、
   前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を、前記第１のホワイトバランスゲインよりは残す方向に調整するためのホワイトバランスゲインであり、
   前記制御値算出部が算出する前記制御値は光源の色味残し量を反映した制御値である
   請求項１に記載の画像処理装置。
5. 前記制御値を用いて変調された画像処理パラメータを用いて画像データに対する処理を行う画像信号処理部を備えた
   請求項１に記載の画像処理装置。
6. 前記制御値を用いて変調された画像処理パラメータを記憶媒体に記憶する情報として出力する処理を行う出力処理部を備えた
   請求項１に記載の画像処理装置。
7. 前記制御値を用いて変調された画像処理パラメータを外部機器に送信する情報として出力する処理を行う出力処理部を備えた
   請求項１に記載の画像処理装置。
8. 前記制御値算出部は、前記第２のホワイトバランスゲインを、ユーザ入力情報を用いて設定する
   請求項１に記載の画像処理装置。
9. 画像解析部を備え、
   前記制御値算出部による前記制御値の算出、及び前記パラメータ変調部による画像処理パラメータの変調は、前記画像解析部の解析結果に応じて実行する
   請求項１に記載の画像処理装置。
10. 画像解析部を備え、
    前記画像信号処理部は、処理対象の画像内の、前記画像解析部の解析結果により特定される領域の信号処理について、前記パラメータ変調部で変調された画像処理パラメータを用いる
    請求項５に記載の画像処理装置。
11. 前記制御値算出部による前記制御値の算出、及び前記パラメータ変調部による画像処理パラメータの変調は、処理対象の画像の撮像時の発光装置の動作状況に応じて実行される
    請求項１に記載の画像処理装置。
12. 前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す第１のホワイトバランスモードで用いるホワイトバランスゲインで、
    前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を残す第２のホワイトバランスモードで用いるホワイトバランスゲインであり、
    ホワイトバランス調整について前記第２のホワイトバランスモードが選択された画像が処理対象である場合に、前記制御値算出部による前記制御値の算出が行われる
    請求項１に記載の画像処理装置。
13. 前記制御値を用いて変調する画像処理パラメータは、画像データの色処理に用いるパラメータである
    請求項１に記載の画像処理装置。
14. 前記制御値を用いて変調する画像処理パラメータは、画像データの特定の色相の変調を行う処理に用いるパラメータである
    請求項１に記載の画像処理装置。
15. 前記制御値を用いて変調する画像処理パラメータは、色処理以外の現像処理に用いるパラメータである
    請求項１に記載の画像処理装置。
16. 演算処理装置が実行する画像処理方法として、
    第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出手順と、
    前記制御値算出手順で算出した制御値を用いて画像処理パラメータを変調するパラメータ変調手順と、を行う
    画像処理方法。
17. 第１のホワイトバランスゲインと第２のホワイトバランスゲインを用いて制御値を算出する制御値算出ステップと、
    前記制御値算出ステップで算出した制御値を用いて画像処理パラメータを変調するパラメータ変調ステップと、
    を演算処理装置に実行させるプログラム。
18. 前記制御値算出ステップでは、処理対象の画像に応じた前記第１のホワイトバランスゲインを算出する処理も演算処理装置に実行させる
    請求項１７に記載のプログラム。
19. 前記制御値算出ステップでは、処理対象の画像に応じた前記第２のホワイトバランスゲインを算出する処理も演算処理装置に実行させる
    請求項１７記載のプログラム。
20. 前記第１のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を打ち消す方向に調整するためのホワイトバランスゲインで、
    前記第２のホワイトバランスゲインは、処理対象の画像の撮像時の光源の色味を、前記第１のホワイトバランスゲインよりは残す方向に調整するためのホワイトバランスゲインであり、
    前記制御値算出ステップで算出する前記制御値は光源の色味残し量を反映した制御値である
    請求項１７に記載のプログラム。

Images