JP4830923B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、デジタルカメラ等で撮影されたデジタル写真画像に対して覆い焼き処理する画像処理装置及び画像処理方法に関する。

一般に、光学カメラによりフィルム上に撮影された逆光シーンやストロボシーンのカラー画像に対して、背景の階調を維持したままシャドウ部のみを明るく補正し、或いは、ハイライト部のみを暗く補正することにより、主要被写体と背景の両方の階調を同時に再現する覆い焼き処理をデジタル画像処理で実現する画像処理装置が提案されている。

例えば、特許文献１には、画像を構成する各画素の異なる色毎の画像データに基づいて画像のコントラストを補正する画像処理装置として、輝度データとその度数との関係を示すヒストグラムを作成する輝度データ算出手段と、輝度データの濃度範囲を、ヒストグラムに基づいて低輝度部に対応する第１濃度区間と高輝度部に対応する第２濃度区間とに分けて、一方の濃度区間に属する輝度データのみを変更する輝度データ変更手段とを備えた画像処理装置が提案されている。

しかし、デジタルカメラ等で撮影された８ビット画像はフィルムに撮影された画像と比較して階調幅が本来的に狭く、上述したようなフィルム画像に対応する補正処理では好ましい補正特性を得ることが困難であった。

そこで、デジタルカメラ等で撮影されたカラー画像に対して、シャドウ部及びハイライト部に対応して夫々異なる輝度補正を施すことのできる輝度補正関数をルックアップテーブルとして生成する技術として、特許文献２に記載されたように、ニューラルネットワークのような画像解析部を構築することが考えられる。

例えば、入力層にサンプル画像の様々な画像特性、例えば、画像全体、シャドウ部、ハイライト部、主要被写体部等の所定領域の最大輝度、最小輝度、平均輝度等を入力教師データとして入力し、そのときに出力層から出力される複数の特性値が、当該サンプル画像を手動操作などにより適正に補正処理した後の特性値である出力教師データと一致するように多数のサンプル画像に対して学習することで得られるニューラルネットワークを構築し、対象画像の特性値を入力したときに学習済みのニューラルネットワークから出力される特性値に基づいて輝度補正用のルックアップテーブルを構成するのである。

この場合、補正対象画像を構成する各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分をＹＣｂＣｒ変換し、輝度成分Ｙをニューラルネットワークを介して得られた輝度補正用のルックアップテーブルによりＹ´に補正した後に、Ｙ´ＣｂＣｒをＲ´Ｇ´Ｂ´に逆変換することにより、色相及び彩度を維持した新たな画素が得られる。
特開２００２−１２５１３０号公報 特開平０９−１６８０９５号公報

しかし、覆い焼き処理により例えばシャドウ部の輝度が高くなるように補正したときには、対応する画素の彩度も高くしなければ好ましい色の再現性が確保できないという問題があった。

そこで、輝度の変化率Ｙ´／Ｙ＝αをＣｂ，Ｃｒの各成分に掛けて、Ｙ´α・Ｃｂα・ＣｒをＲ´Ｇ´Ｂ´に逆変換することにより、彩度も上げることが考えられるが、一律に輝度の変化率で補正しても好ましい色の再現性が確保できないことが判明した。

つまり、人の認識する色感に基づく色再現性の観点では、輝度の高、中、低の各レベルと彩度の高、中、低の各レベルの組合せにより好ましい彩度の積率（彩度の補正率）が異なるため、輝度が等しい画素であっても低彩度画素と高彩度画素を同じ積率で補正しても画像全体として好ましい色再現性が確保できず、特にハイライト部やシャドウ部の端部領域で色潰れ（色の飽和）が生じるのである。

本発明は上述した従来の問題点に鑑みてなされたものであり、ハイライト部やシャドウ部で色潰れが生じることなく、色再現性に優れた覆い焼き処理を実現できる画像処理装置及び画像処理方法を提供することを目的とする。

上述の目的を達成するため、本発明による画像処理装置の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、Ｒ(赤)，Ｇ(緑)，Ｂ(青)色成分で表される複数の画素でなる対象画像をＲＧＢ−ＹＣＣ変換して得られる輝度Ｙに対して、背景の階調より明るいハイライト部及び背景の階調より暗いシャドウ部の輝度Ｙを異なる輝度変換特性で変換する輝度変換処理部と、前記輝度変換処理部による輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正処理部とからなる覆い焼き処理部を備えて構成され、前記色補正関数は、前記輝度変換処理部により原画素よりも輝度が低く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部により原画素よりも輝度が高く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように補正する関数で構成されている点にある。

上述の構成によれば、輝度変換処理部で覆い焼き処理された各画素に対して、輝度変換前後の画素輝度から算出されるガンマ値に基づいて生成される色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分が補正されるようになるので、輝度の等しい同彩度の画素であってもガンマ値により補正度合いを異ならせることができるようになり、背景の階調より明るいハイライト部及び背景の階調より暗いシャドウ部における低彩度画素及び高彩度画素の色潰れ（色の飽和）を適切に回避して、良好な色バランスが確保できる覆い焼き補正が実現できるようになるのである。

同輝度で彩度の異なる画素に対して、原画素よりも輝度が低く変換されるハイライト部の画素ではＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように、つまり彩度が低下するように補正され、原画素よりも輝度が高く変換されるシャドウ部の画素ではＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように、つまり彩度が上がるように補正されるので、ハイライト部及びシャドウ部における低彩度画素及び高彩度画素の色潰れ（色の飽和）を適切に回避して、良好な色バランスが確保できる覆い焼き補正が実現できるようになるのである。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部と、入力された対象画像の複数の特性値に対して前記画像解析部から出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部とを備え、前記輝度変換処理部は、前記輝度変換関数生成部により生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理するように構成されている点にある。

本発明による画像処理方法の第一の特徴構成は、同請求項３に記載した通り、Ｒ(赤)，Ｇ(緑)，Ｂ(青)色成分で表される複数の画素でなる対象画像をＲＧＢ−ＹＣＣ変換して得られる輝度Ｙに対して、背景の階調より明るいハイライト部及び背景の階調より暗いシャドウ部の輝度Ｙを異なる輝度変換特性で変換する輝度変換ステップと、前記輝度変換ステップによる輝度変換前後の画素輝度からガンマ値を算出するガンマ値算出ステップと、前記ガンマ値算出ステップにより算出されたガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正ステップとからなる覆い焼き処理ステップを備えて構成され、前記色補正関数は、前記輝度変換ステップにより原画素よりも輝度が低く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部により原画素よりも輝度が高く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように補正する関数で構成されている点にある。

以上説明した通り、本発明によれば、ハイライト部やシャドウ部で色潰れが生じることなく、色再現性に優れた覆い焼き処理を実現できる画像処理装置及び画像処理方法を提供することができるようになった。

以下に本発明による画像処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図２に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理する写真プリンタ２と、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２や、コントローラ３３としての汎用コンピュータ等を備え、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、本発明による画像処理を含む各種の画像補正処理を行なう操作ステーション３を備えて構成され、前記操作ステーション３で元画像から編集処理されたプリントデータが前記写真プリンタ２に出力されて所望の写真プリントが生成される。

前記写真プリンタ２は、図２及び図３に示すように、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、前記印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、前記プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えて構成される。

前記露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。

前記搬送経路に沿って配置された前記露光部２４や現像処理部２５に応じたプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、前記露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。

前記操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置１の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。

前記コントローラ３３のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図４に示すように、前記フィルムスキャナ３１やメディアドライバ３２によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ４１に転送する画像入力部４０と、前記モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部（以下、「ＧＵＩ部」と記す。）４２と、前記画像入力部４０から転送される写真画像データ及び後述の画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、前記メモリ４１に格納された各写真画像データに対して濃度補正処理やコントラスト補正処理等を行なう画像処理部４７と、前記グラフィックユーザーインターフェース部４２からの表示コマンドに基づいて前記メモリ４１に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等で構成される。

前記フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対してプレジャッジモード（後述のプレジャッジ処理で詳述する。）で各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ２に出力される。

同様に、前記メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ４１に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。

前記画像処理部４７は、図１に示すように、入力された原画像データに対して写真プリントのサイズに適した画像サイズに変換する拡縮処理部１１と、拡縮処理された画像に覆い焼き処理を施す覆い焼き処理部１０と、覆い焼き処理された画像の濃度を調整する濃度補正部１２と、画像の色調を補正するカラー補正処理部１３と、画像のエッジを強調しノイズを低減する鮮鋭化処理部１４等が設けられている。

前記画像処理部４７では、先ず、低解像度の画像（例えば、２５６×３８４画素）に対して夫々の補正処理が施され、その際に決定された補正パラメータ、例えば、覆い焼き処理ではハイライト部及びシャドウ部の輝度変換関数等がメモリ４１に記憶され、その後、高解像度の画像（例えば、２５６０×３８４０画素）に対して記憶されたパラメータに基づいて各種の補正処理が実行されて出力画像が生成され、当該出力画像が前記写真プリンタ２に出力されて写真プリントが生成される。

以下、前記メディアドライバ３２から入力されたＲ(赤)，Ｇ(緑)，Ｂ(青)各８ビットで画素が構成されるデジタル画像に対する覆い焼き処理について詳述する。

覆い焼き処理部１０は、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部１０ａと、入力された対象画像の複数の特性値に対して前記画像解析部１０ａから出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部１０ｂと、前記輝度変換関数生成部１０ｂにより生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理する輝度変換処理部１０ｃと、前記輝度変換処理部１０ｃによる輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正処理部１０ｄを備えて構成されている。

前記画像解析部１０ａは、サンプル画像の複数の特性値が夫々入力される８９個のニューロン（Ｉ１，Ｉ２，・・・，Ｉ８８，Ｉ８９）を備えた入力層と、４５個のニューロン（Ｍ１，Ｍ２，・・・，Ｍ４５）を備えた中間層と、２個のニューロン（Ｏ１，Ｏ２）を備えた出力層を備えるとともに、教師信号に基づいて各層間のニューロンの結合係数を学習する学習部を備えたニューラルネットワークで構成されている。

学習部は、入力層（Ｉ１，Ｉ２，・・・，Ｉ８８，Ｉ８９）にサンプル画像の特性値が入力教師データとして入力されたときに、出力層（Ｏ１，Ｏ２）から出力されるハイライト部及びシャドウ部の補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが、出力教師データ、つまり当該サンプル画像に対して手動補正により適正に覆い焼き処理されたときの補正係数となるように、例えば最急降下法を用いたバックプロパゲーションにより各層間のニューロンの結合係数を定める。

具体的には、逆光シーンやストロボシーンや雪山シーン等の種々の撮影条件の下で撮影された複数のサンプル画像に対して、夫々の原画像の特性値を抽出する特性値算出部が設けられ、図６（ａ）から（ｅ）に示すように、入力画像全体の平均輝度と最大輝度と最小輝度、入力画像の主要被写体が位置する中央部分と周辺部分の平均輝度と最大輝度と最小輝度、入力画像の左側部と右側部の平均輝度と最大輝度と最小輝度、入力画像の上側部と下側部の平均輝度と最大輝度と最小輝度、入力画像を所定の画素サイズでブロック分割した各領域のうち上下に隣接するブロックの平均輝度の差分の平均値、画像全体の輝度平均偏差、画像全体のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分の最大値及び最小値、Ｒ(赤)，Ｇ(緑)，Ｂ(青)各成分のヒストグラムの分布値（０から２５５の階調軸を２０等分した各領域に含まれる画素成分の合計度数）でなる合計８９個の特性値が入力教師データとして算出される。

ここで、輝度とは、入力画像を構成する画素のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分から〔数１〕に基づいて算出される輝度色差を示すＹＣＣ信号の輝度成分Ｙを意味し、例えば、入力画像全体の平均輝度は各画素の輝度成分の平均値を指す。

特性値算出部には、さらにそれらの画像を手動操作により覆い焼き補正する手動補正部が設けられ、ハイライト部及びシャドウ部が手動操作により階調変換される。適正に階調変換されたサンプル画像の画素輝度と補正前の画素輝度からハイライト部及びシャドウ部の平均ガンマ値を算出し、複数のサンプル画像に対する平均ガンマ値の最大値及び最小値の幅で正規化した値に所定の正規化係数を掛けて、出力教師データとしてのハイライト部及びシャドウ部の補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌを算出する。その結果、夫々０から１００の間の値をとる正規化値として補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが算出される。

上述の学習部は、これらの入力教師データ及び出力教師データに基づいて結合係数が収束するまで数千回の学習を繰り返すのである。

尚、手動補正部が当該写真処理装置に実装されているものであってもよいし、外部の画像処理装置に組み込まれ、その結果が当該写真処理装置に入力されるものであってもよい。また、当該ニューラルネットワークに入力される特性値は、上述したものに限定されるものではなく、輝度に替えてＲ(赤)，Ｇ(緑)，Ｂ(青)各成分の平均値を採用するものであってもよいし、Ｒ(赤)，Ｇ(緑)，Ｂ(青)各成分に関するデータに替えて〔数３〕によりＹＣＣ変換されたＣｂ，Ｃｒデータを用いるものであってもよく、何れの場合であっても入力画像の任意の特性値に対して適切な補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが適切に分離出力されるように学習されるものであればよい。

即ち、前記画像解析部１０ａは、対象画像の複数の特性値が入力される入力層と、中間層と、対象画像のハイライト部及びシャドウ部に対する補正係数が出力される出力層とを備え、サンプル画像の特性値が入力教師データとして前記入力層に入力されたときに、当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力教師データとして前記出力層から出力されるように、複数のサンプル画像から得られる教師データに対して繰り返し演算して各層の重み係数を学習する学習部を備えて構成されるニューラルネットワークで構成されている。

このようにして学習が終了した画像解析部１０ａに対象画像の特性値が入力されると、当該対象画像に対するハイライト部及びシャドウ部の適切な補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが出力されるようになる。

以下、覆い焼き処理部１０による画像処理の流れを、図９に示すフローチャートに基づいて説明する。

低解像度の対象画像が入力されると（ＳＡ１）、特性値算出部により上述の画像特性値が算出され（ＳＡ２）、前記画像解析部１０ａに当該画像特性値が入力されて、ハイライト部及びシャドウ部の適切な補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが出力される（ＳＡ３）。

次に、前記輝度変換関数生成部１０ｂにより、ハイライト部の輝度変換関数Ｈｉ（ｉ）及びシャドウ部の輝度変換関数Ｓｉ（ｉ）が〔数２〕，〔数３〕に基づいてルックアップテーブルとして生成される（ＳＡ４）。図７は、ｈγ＝ｓγ＝３．０のときのハイライト部の輝度変換関数Ｈｉ（ｉ）及びシャドウ部の輝度変換関数Ｓｉ（ｉ）の一例を示し、ハイライト部及びシャドウ部で階調が立つように輝度変換されることが示されている。

前記輝度変換処理部１０ｃでは、入力画像を構成する各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分に対して、夫々の最大値及び最小値が表現可能な最小値（０）及び最大値（８ビットであれば２５５、１２ビットであれば４０９５）となるように各色成分の階調表現範囲を拡張変換する。例えばＲ(赤)成分に対して〔数４〕で示す変換式で変換される（ＳＡ５）。

さらに、前記輝度変換処理部１０ｃにより、〔数６〕により変換されたＲ(赤)，Ｇ(緑)，Ｂ(青)各成分Ｒ´，Ｇ´，Ｂ´に対して〔数３〕により輝度値Ｙが算出され、輝度値画像が生成される（ＳＡ６）。

次に、生成された輝度値画像から覆い焼き領域、つまり低周波画像が生成される。具体的には、当該輝度値画像にバイラテラルフィルタ処理が施されて、エッジを残したボケ画像が新たな輝度値Ｙ´で表される低周波画像として生成され（ＳＡ７）、当該低周波画像に対して上述の輝度変換関数による変換特性を表すルックアップテーブルに基づいてハイライト部及びシャドウ部の輝度変換処理が行なわれ（ＳＡ８，ＳＡ９）、輝度変換された対象画像の各画素輝度値を、〔数５〕に基づいて融合した輝度値Ｙ´´が補正後の画素輝度値として算出される（ＳＡ１０）。

つまり、当該対象画像の低周波成分の値に基づいて、詳しくは、当該低周波画像の各画素輝度Ｙ´が採り得る最大輝度（ここでは２５５）及び最小輝度（ここでは０）の輝度幅で正規化した重み係数Ｗに基づいて重み付け演算した値が補正後の画素輝度として算出されるのである。

続いて、前記色補正処理部１０ｄでは、前記輝度変換処理部１０ｃによる輝度変換前後の画素輝度から〔数６〕により算出されるガンマ値が各画素の色補正変数として求められる（ＳＡ１１）。

さらに、算出されたガンマ値ｃγを変数として、〔数７〕に示す色補正関数がルックアップテーブルとして生成され（ＳＡ１２）、〔数４〕により変換されたＲ(赤)，Ｇ(緑)，Ｂ(青)各成分Ｒ´，Ｇ´，Ｂ´が〔数７〕に基づいて新たな成分値Ｒ´´，Ｇ´´，Ｂ´´として算出される（ＳＡ１４）。

図８はこのような色補正関数の一例であり、前記輝度変換処理部１０ｃにより輝度が低くなるように変換され、ｃγ＞１となるハイライト領域の画素に対してハイライト部は対象画像のＲ（赤）、Ｇ（緑）、Ｂ（青）色成分の明度差が広がるように補正、シャドウ部は対象画像のＲ（赤）、Ｇ（緑）、Ｂ（青）色成分の明度差が狭まるように補正、詳述するとＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が大きな高彩度画素が明度差の小さな低彩度画素よりも明度差が狭まる（彩度が低くなる）ように補正され、前記輝度変換処理部１０ｃにより輝度が高く変換され、ｃγ＜１となるシャドウ領域の画素に対してシャドウ部は対象画像のＲ（赤）、Ｇ（緑）、Ｂ（青）色成分の明度差が広がるように補正、ハイライト部は対象画像のＲ（赤）、Ｇ（緑）、Ｂ（青）色成分の明度差が狭まるように補正、詳述すると、Ｒ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が大きな高彩度画素が明度差の小さな低彩度画素よりも明度差が広がる（彩度が高くなる）ように補正されるようになる。

尚、色補正関数は、前記輝度変換処理部１０ｃにより輝度が低く変換されるハイライト領域の画素に対して対象画像のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部１０ｃにより輝度が高く変換されるシャドウ領域の画素に対して対象画像のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように補正する関数であれば、〔数７〕に示すものに限るものではない。

このようにして、入力された全ての低解像度画像に対して、覆い焼き処理が行なわれたハイライト部の輝度変換関数Ｈｉ（ｉ）及びシャドウ部の輝度変換関数Ｓｉ（ｉ）が補正パラメータとしてメモリ４１に格納され（ＳＡ１５）、さらに、前記濃度補正部１２、カラー補正処理部１３と、鮮鋭化処理部１４等での補正処理のパラメータがメモリ４１に格納され、その後、当該パラメータに基づいて高解像度の対象画像に対する画像処理が行なわれ（ＳＡ１６）、写真プリントが生成される。

尚、上述のステップＳＡ７で、演算処理の高速化のために、入力画素を所定サイズの画素数でブロック化し、ブロックに含まれる画素の輝度値を加算平均した値を新たな輝度値とするモザイク処理により縮小画像を生成し、当該縮小画像にバイラテラルフィルタ処理を施して低周波画像を生成し、当該低周波画像に対して上述のステップＳＡ８からＳＡ１０を実行した後に元のサイズに拡大処理するものであってもよい。

図１０（ｂ）は、原画像（ａ）が本発明による覆い焼き処理により補正された画像を示し、（ｃ）は本発明による覆い焼き処理のうち、ステップＳＡ１０までの処理で輝度変換された画素のＹ´´の変換比率Ｙ´´／ＹをＣｂ，Ｃｒ成分に乗じた後に〔数３〕の逆変換により算出されたＲ，Ｇ，Ｂ成分による画像である。例えば、モデルのスカート部を参照すると、図１０（ｃ）では色が飽和して彩度バランスが崩れ、明暗が分かり難いのに対して、図１０（ｂ）では彩度バランスが保たれ、色の再現性が優れていることが示される。

以下、別実施形態を説明する。上述の実施形態では画像解析部がニューラルネットワークを用いて構成されたものを説明したが、画像解析部はニューラルネットワークで構成されるものに限るものではなく、入出力が線形写像であれば多変量解析の一例である重回帰分析を行なう演算部で構成することも可能であり、サポートベクターマシン等を用いて構成することも可能である。

覆い焼き処理の後に、自動濃度補正を行なう場合には、自動濃度補正により覆い焼き処理の効果が変動しないように、図７に示したようなシャドウ部及びハイライト部のルックアップテーブルで囲まれる面積が変化しないように、且つ、自動濃度補正による目標補正値が覆い焼き処理を施すことにより変化しないようにｓγ及びｈγを補正すればよい。

上述した実施形態では、本発明による画像処理装置及び画像処理方法を写真画像処理装置に適用したものを説明したが、本発明はこのような専用機に組み込まれるものに限定されるものではなく、本発明による画像処理方法を実現するアプリケーションプログラムがインストールされたパーソナルコンピュータやデジタルカメラ等により構成することもできる。

アプリケーションプログラムとは、コンピュータを、対象画像のハイライト部及びシャドウ部の濃度を異なる輝度変換特性で変換する輝度変換処理部と、前記輝度変換処理部による輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正処理部とからなる覆い焼き処理部として機能させる画像処理プログラムである。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。

画像処理部の機能ブロック構成図 写真画像処理装置の外観構成の説明図 写真プリンタの説明図 写真画像処理装置の機能ブロック構成図 画像解析部を構成するニューラルネットワークの説明図 画像特性値が算出される対象画像の領域説明図 ハイライト部とシャドウ部の輝度変換関数の特性図 色補正関数の特性図 覆い焼き処理を示すフローチャート 本発明による覆い焼き処理を行なった写真画像の説明図（物件提出書により本図のカラープリントを提出する。）

１：写真画像処理装置
１０：覆い焼き処理部
１０ａ：画像解析部
１０ｂ：輝度変換関数生成部
１０ｃ：輝度変換処理部
１０ｄ：色補正処理部
４７：画像処理部

Claims (3)

1. Ｒ(赤)，Ｇ(緑)，Ｂ(青)色成分で表される複数の画素でなる対象画像をＲＧＢ−ＹＣＣ変換して得られる輝度Ｙに対して、背景の階調より明るいハイライト部及び背景の階調より暗いシャドウ部の輝度Ｙを異なる輝度変換特性で変換する輝度変換処理部と、前記輝度変換処理部による輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正処理部とからなる覆い焼き処理部を備えて構成され、
   前記色補正関数は、前記輝度変換処理部により原画素よりも輝度が低く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部により原画素よりも輝度が高く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように補正する関数で構成されている画像処理装置。
2. 入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部と、入力された対象画像の複数の特性値に対して前記画像解析部から出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部とを備え、
   前記輝度変換処理部は、前記輝度変換関数生成部により生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理するように構成されている請求項１記載の画像処理装置。
3. Ｒ(赤)，Ｇ(緑)，Ｂ(青)色成分で表される複数の画素でなる対象画像をＲＧＢ−ＹＣＣ変換して得られる輝度Ｙに対して、背景の階調より明るいハイライト部及び背景の階調より暗いシャドウ部の輝度Ｙを異なる輝度変換特性で変換する輝度変換ステップと、前記輝度変換ステップによる輝度変換前後の画素輝度からガンマ値を算出するガンマ値算出ステップと、前記ガンマ値算出ステップにより算出されたガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正ステップとからなる覆い焼き処理ステップを備えて構成され、
   前記色補正関数は、前記輝度変換ステップにより原画素よりも輝度が低く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部により原画素よりも輝度が高く変換される画素に対してＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように補正する関数で構成されている画像処理方法。