JP4591784B2 - 撮影画像補正用変換テーブル作成方法とこの方法を実施する写真プリント装置 - Google Patents

Description

本発明は、適正写真プリントを得るために入力撮影画像に対して施される画像補正処理に用いられる変換テーブルを作成する技術とその技術を用いた写真プリント装置に関する。

現在、写真プリント業界では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（データ）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像（データ）に濃度補正や色補正などの画像補正を施した後これをプリントデータに変換し、このプリントデータに基づいて写真プリントユニットを駆動して、撮影画像を感光材料（印画紙）に光ビームで焼き付けたり、プリント用紙にカラーインクで形成したりするデジタル写真処理技術が主流である。種々の写真撮影状況下において適正な撮影画像を得るためには、シャッタースピードや絞りの設定、天候、光源の種類などの撮影条件を適切に設定する必要があるが、撮影者はこれらの撮影条件をあまり意識せずに撮影しているのが実情であり、このため、被写体の色調や明暗（コントラスト）の再現性が適正に得られていない不適正な撮影画像が写真プリント装置に入力されることが少なくない。取得した入力撮影画像を適正な出力撮影画像、例えば写真プリントとして再現するために用いられる画像補正の主なものは、色補正、濃度補正、コントラスト補正であり、これらの補正を正しく調整して組み合わせた画像補正が必要となる。

写真撮影によって取得された撮影画像から、色調およびコントラストの補正を必要とする画像部分を選別し、その選別された画像部分に対し、色調およびコントラストの再現性の精度をできるだけ高めることのできる画像補正の１つとして、各色毎の階調ヒストグラムの最高度数に対して、所定割合を下回る度数の画像データを各色毎に除外して残った画像データの階調幅を基準階調幅に引き延ばし又は圧縮し、階調幅の引き延ばし又は圧縮に合わせて画像データの画素値を補正変換することで、カラーバランスおよびコントラストのいずれかまたは両方をある程度補正するものがある（例えば、特許文献１参照）。

また、色補正、濃度補正、コントラスト補正を効率よく実施する画像補正として、撮影画像の低解像度データと所定の濃度・コントラスト補正アルゴリズムに基づいて、まず濃度・コントラスト変換曲線（変換テーブル）が作成され、次いでこの濃度・コントラスト変換曲線を用いて補正された撮影画像の低解像度データと所定のカラー補正アルゴリズムに基づいてカラー補正変換曲線（変換テーブル）が作成され、これらの濃度・コントラスト変換曲線とカラー補正変換曲線を融合させて作成された統合補正変換曲線を用いて写真プリント出力の目的ために撮影画像の高解像度画像データを補正するものも知られている（例えば、特許文献２参照）。

また、選択された代表色のＲＧＢ信号を入力データとして使用するととともに、出力装置（プリンタ）にて出力された上記の代表色の複製画像を再び入力装置（スキャナ）にて読み取ったＲＧＢ信号を教師データとして使用することによってニューラルネットワークを構築し、入力画像の各画素値を入力層に入力することにより、中間層を介して、出力層からプリンタのインク量を出力させ、これにより良好な複製画像を得ようとする画像処理装置も知られている（例えば、特許文献３参照）。

特開２００４−１４５３９９号公報（段落番号００２３−００２９） 特開２００６−１５７５６２号公報（段落番号００２６−００２９、図７） 特開平０９−１６８０９５号公報（段落番号００５０−００５７、００６６、図４）

色補正、濃度補正、コントラスト補正などの各種補正を別々に動作させる画像補正技術では、それぞれの補正アルゴリズムの連係をとるのが難しく、補正処理に時間がかかるだけでなく、補正結果がばらつくという欠点が生じる。また、入力画像の画素値から直接出力画像の画素値を演算するような画像補正技術では、撮影条件を判定して得られる撮影シーンに応じた画像補正が考慮されにくいので、適正な写真プリント出力が得られないという問題が生じやすい。上記実状に鑑み、本発明の課題は、種々の撮影条件で撮影された撮影画像から適正な写真プリントを出力するための、適正かつ迅速な画像補正技術を提供することである。

上記課題を解決するために要求される撮影画像補正用変換テーブルを作成するための、本発明による方法は、用意された多数のサンプル画像から順次選択された元画像とこの元画像からマニュアルによる画像補正を通じて得られたサンプル適正画像とを比較評価して元画像の画素値と適正画像の画素値との対応関係を規定するサンプル変換テーブルを作成する処理を繰り返して、サンプル変換テーブル群を作り出すステップと、前記選択された元画像毎にその画像中の特性を表す複数の特徴量からなるサンプル特徴量セットを算出する処理を繰り返してサンプル特徴量セット群を作り出すステップと、特徴量セットを入力層の入力値とするとともに変換テーブルを出力層の出力値とするニューラルネットワークを前記サンプル特徴量セット群と前記サンプル変換テーブル群を用いて学習させることにより前記ニューラルネットワークの入出力関係を構築するステップと、入力された撮影画像から前記特徴量セットを算出するステップと、前記特徴量セットを前記構築されたニューラルネットワークの入力層に与えることにより前記入力された撮影画像に適した変換テーブルを作成するステップとからなる。
用意された多数のサンプル画像から順次選択された元画像とこの元画像からマニュアルによる画像補正を通じて得られたサンプル適正画像とを比較評価して元画像の画素値と適正画像の画素値との対応関係を規定するサンプル変換テーブルを作成する処理を繰り返して、サンプル変換テーブル群を作り出すステップと、
前記選択された元画像毎にその画像中の特性を表す複数の特徴量からなるサンプル特徴量セットを算出する処理を繰り返してサンプル特徴量セット群を作り出すステップと、
前記サンプル特徴量セットを入力層の入力値とするとともに当該サンプル特徴量セットに対応するサンプル変換テーブルを出力層の出力値とするニューラルネットワークを前記サンプル特徴量セット群と前記サンプル変換テーブル群とから順次取り出された前記サンプル特徴量セットと当該サンプル特徴量セットに対応するサンプル変換テーブルとを用いて学習させることにより前記ニューラルネットワークの入出力関係を構築するステップと、
補正すべき入力撮影画像から前記特徴量セットを算出するステップと、
前記特徴量セットを前記構築されたニューラルネットワークの入力層に与えることにより前記補正すべき入力撮影画像に適した変換テーブルを作成するステップとからなる。
からなる撮影画像補正用変換テーブル作成方法。

この撮影画像補正用変換テーブル作成方法では、まず、多数のサンプル撮影画像を用意しておき、各サンプル撮影画像をサンプル適正撮影画像とする画像補正を熟練者によってマニュアルで行い、この各サンプル撮影画像から算出された特徴量セットを入力データとするとともに、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係を教師データとしてニューラルネットワークの入出力関係を構築する。このようにして構築されたニューラルネットワークの入力層に補正対象となる入力撮影画像から算出された特徴量セットを与えることで、この入力撮影画像に適合した、元画像の画素値と適正画像の画素値との対応関係、つまり変換テーブルの作成に関するデータが出力される。これにより、作成された変換テーブルを用いて元画像としての入力撮影画像を画像補正することにより、適正な写真プリントを出力するための補正された撮影画像が得られる。

なお、この明細書で用いられている変換テーブルなる用語は、画像処理の分野でよく用いられる変換式、変換曲線といった、元画像の画素値を適正画像の画素値に変換する機能を総称するものであり、さらに直接的な変換機能だけではなく、そのような変換機能を作り出すためのデータ群もその用語の範囲に属している。つまり変換テーブルは、元画像の画素値と適正画像の画素値との対応関係を規定するものである。この変換テーブルの具体的な実施形態としてはＬＵＴ（ルックアップテーブル）と呼ばれるハードウエア又はソフトウエアあるいはその両方で構築されるモジュールが一般的である。また、ここでは、特別に区別する必要がある場合を除いて、デジタルデータとしての撮影画像データやこの撮影画像データに基づくプリント撮影画像やモニタ表示撮影画像を単に撮影画像という語句で総称している。

元画像の画素値と適正画像の画素値との関係を厳密に対応付けるための具体例の１つは、前記変換テーブルを元画像の各画素の画素値から適正画像の画素値を導く画素値変換係数群によって規定されるように構成することである。ただし、この画素値変換係数の数が非常に多くなり、格納管理するのにコストを要する場合、前記画素値変換係数群を全画素値範囲から選ばれた代表画素値に対応する画素値変換係数だけにすることも可能である。

変換テーブルを１つの変換関数で表した場合、この変換関数で全ての画素値の変換が可能となる利点が得られる。このため、好適な実施形態として、前記変換テーブルを元画像の各画素の画素値から適正画像の画素値を導く近似高次関数を定義する係数によって規定することも本発明では提案される。このように近似高次関数を定義するためにはその関数の係数を用いるのが一般的であるが、その高次関数を一義的に決定する最小限の変数値と関数値の組み合わせを用いてもよい。

元画像から適正画像に画像補正する際に、元画像が各色８ビットの階調値を有し、補正後の適正画像も各色８ビットの階調値を有するように設定した場合、つまり変換テーブルも８ビット階調であると、ある入力画素値以下で出力画素値が０になって底打ち現象が生じたり、ある入力画素値以上で出力画素値が２５５になって頭打ち現象が生じたりして、学習データとして利用する場合不都合になる可能性がある。この問題を避けるため、本発明の好適な実施形態の１つでは、元画像から適正画像に画像補正する際、最低階調値領域と最大階調値領域を拡張するために適正画像の階調度が元画像の階調度より大きく設定されている。

上述した撮影画像補正用変換テーブル作成方法の過程で作り出されるニューラルネットワークも、種々の撮影条件で撮影された撮影画像から適正な写真プリントを出力するために、本発明によって提供される画像補正技術の１つであり、本発明の権利範囲に含まれるものである。そのような、撮影画像補正用変換テーブルを作成するためのニューラルネットワークモジュールは、用意された多数のサンプル画像から順次選択された元画像とこの元画像からマニュアルによる画像補正を通じて得られたサンプル適正画像とを比較評価して元画像の画素値と適正画像の画素値との対応関係を規定するサンプル変換テーブルを作成する処理を繰り返して、サンプル変換テーブル群を作り出すステップと、前記選択された元画像毎にその画像中の特性を表す複数の特徴量からなるサンプル特徴量セットを算出する処理を繰り返してサンプル特徴量セット群を作り出すステップと、前記サンプル特徴量セットを入力層の入力値とするとともに当該サンプル特徴量セットに対応する変換サンプルテーブルを出力層の出力値とするニューラルネットワークを前記サンプル特徴量セット群と前記サンプル変換テーブル群とから順次取り出された前記サンプル特徴量セットと当該前記サンプル特徴量セットに対応するサンプル変換テーブルとを用いて学習させることにより前記ニューラルネットワークの入出力関係を構築するステップとによって作り出される。

種々の撮影条件で撮影された撮影画像から適正な写真プリントを出力する、本発明による写真プリント装置は、上述したニューラルネットワークモジュールを搭載することになる。つまり、本発明による写真プリント装置は、前記補正すべき入力撮影画像を入力する画像入力部と、前記補正すべき入力撮影画像から前記特徴量セットを算出する特徴量算出部と、前記補正すべき入力撮影画像に対して画像補正を実行する画像補正実行部と、前記特徴量算出部によって算出された前記特徴量セットを前記ニューラルネットワークモジュールの入力層に与えることにより出力される出力値に基づいて前記画像補正部によって利用される、前記補正すべき入力撮影画像のための変換テーブルを設定する変換テーブル設定部と、前記画像補正実行部によって画像補正された撮影画像からプリントデータを生成するプリントデータ生成部と、前記プリントデータに基づいて写真プリントを出力する写真プリント部とを備えて構成されており、当然ながら、上述した撮影画像補正用変換テーブル作成方法で述べたすべての作用効果を得ることができ、さらに上述した好適な実施形態を組み込むことも可能である。

以下、本発明の実施形態を図面に基づいて説明する。
種々の撮影条件で撮影された撮影画像から適正な写真プリントを出力するための撮影画像補正時に用いられる変換テーブルの作成原理を図１を用いて説明する。まず、種々の撮影条件で撮影された撮影画像、つまり異なる撮影シーン（逆光撮影シーン、ストロボ撮影シーン、雪山撮影シーン、順光撮影シーンなど）での撮影画像をサンプルとして多数用意する。用意されたサンプル撮影画像を元画像としてモニタでの表示やテストプリントを通じてマニュアルで適正な撮影画像となるように画像補正を行う（＃０１）。次に、元画像と画像補正によって得られた適正画像との画素値を比較評価して、元画像の画素値と適正画像の画素値との対応関係を規定する変換テーブル（画素値変換係数や変換曲線など）を作成する（＃０２）。ここで、元画像と適正画像との対応関係を各画素の画素値から適正画像の画素値を導く画素値変換係数群とすると、８ビットカラー画像の場合その画素値変換係数群は各色毎に２５６個の画素値変換係数：βr(0)・・・βr(255)；βg(0)・・・βg(255)；βb(0)・・・βb(255)を有することになる。なお、元画像の画素値と適正画像の画素値との対応関係は変換曲線（補正曲線）：f(x)として考えると最も理解しやすく、扱いも簡単である。一般的に、そのような変換曲線は、例えば４次式で良好に近似することができるので、その場合は、
f(x)=ax^4＋bx^3+cx^2+dx+e（xは入力階調（0〜255）、^は累乗を表す）
となる。つまり、元画像の画素値と適正画像の画素値との対応関係（変換テーブル）はたかだか５つの係数：a、b、c、d、eで表すことができる。

上記の説明で、８ビットカラー画像の場合その画素値変換係数群は各色毎に２５６個の画素値変換係数から構成される、つまり変換テーブルも８ビット階調であるとしたが、この場合、ある入力画素値以下で出力画素値が０になって底打ち現象が生じたり、ある入力画素値以上で出力画素値が２５５になって頭打ち現象が生じたりして、学習データとして利用する場合不都合になる可能性がある。このため、画素値変換係数群を各色毎に２５６個を超える画素値変換係数から構成して、最低階調値領域と最大階調値領域を拡張する構成を採用してもよい。

次に、元画像としての撮影画像から画像特徴量：α0・・・αnが算出される（＃０３）。画像特徴量としては、画像の全域又は部分域における平均濃度値、最大濃度値、最小濃度値といった画像領域に依存する特徴量、及び各色のヒストグラムから得られる階調値部分領域の積算頻度値などの画像領域に依存しない特徴量が採用される。ステップ＃０２で得られた変換テーブル（画素値変換係数や変換曲線など）とステップ＃０３で得られた画像特徴量セットは、特徴量セットを入力層の入力値とするとともに変換テーブルを出力層の出力値とするニューラルネットワークの入出力関係を構築する（結合係数やしきい値の解法）ための学習データとして利用されるため、ステップ＃０１からステップ＃０３の作業を準備された全てのサンプル撮影画像に対して実施する。このようにして得られた多数の元画像の特徴量セットを入力データとするとともに多数の変換テーブル、例えば、２５６個の画素値変換係数：βr(0)・・・βr(255)；βg(0)・・・βg(255)；βb(0)・・・βb(255)を教師データとして数千回以上の反復計算を行い、特徴量セットを入力層の入力値とするとともに変換テーブルを出力層の出力値とするニューラルネットワークの入出力関係を構築する（＃０４）。

このようにして入出力関係が決定されたニューラルネットワークが構築されると、このニューラルネットワークを用いて、補正すべき入力撮影画像を適正に画像補正するための変換テーブルを得ることができる。写真プリントを出力するために撮影画像が写真プリント装置に入力された場合、この入力された撮影画像から特徴量セットを算出し（＃０５）、この特徴量セットをニューラルネットワークに入力することにより変換テーブル（画素値変換係数や変換曲線など）が出力される（＃０６）。この出力データに基づいて画像補正ユニットの変換テーブルを設定した後、この画像補正ユニットが入力撮影画像に対して画像補正を行うことで適正な写真プリント出力を可能にする撮影画像が得られる（＃０７）。

次に、上述した入力撮影画像に基づいてその補正用変換テーブルを作成することができるニューラルネットワークのモジュールを搭載した写真プリント装置を説明する。図２はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図３からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図２参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データ又は撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図４に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ３０に送り込む。さらには、入力された撮影画像から上述した特徴量セットを高速に算出するために用いられる入力された撮影画像をより小さな画像サイズをもつ補正処理用撮影画像（例えば、２５６×３８４画素）に変換する機能も有する。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。

画像処理ユニット５０には、メモリ３０に展開された撮影画像に対してマニュアルで各種画像処理などを行うためのフォトレタッチプログラムを実装している第１画像補正ユニット６０と、前述したようなニューラルネットワークモジュールからの出力値に基づいて設定された変換テーブルを用いてメモリ３０に展開された撮影画像に対する自動的な画像補正を行う第２画像補正ユニット７０とが基本的にはプログラムの形で組み込まれている。なお、この実施形態では、第２画像補正ユニット７０に含まれているニューラルネットワークモジュールを学習させるニューラルネットワーク管理モジュール８０も備えられているが、写真プリント装置の出荷時に学習済みのニューラルネットワークモジュールを搭載し、写真プリント装置独自の学習は行わない場合、このニューラルネットワーク管理モジュール８０を省略することができる。この写真プリント装置にはニューラルネットワーク管理モジュール８０が備えられているので、写真プリント店側でニューラルネットワークモジュールに対して独自の学習を実施することで、写真プリント店の画像仕上げ方針を生かした画像補正が可能となる。

図５で示されているように、前記第２画像補正ユニット７０には、入力されメモリ３０に展開された撮影画像から作り出された補正処理用撮影画像（２５６×３８４画素）からこの入力撮影画像の画像特徴を表す特徴量セットを算出する特徴量算出部７１と、上述した特徴を有するニューラルネットワークモジュール７２と、特徴量算出部７１によって算出された特徴量セットを前記ニューラルネットワークモジュール７２の入力層に与えることにより出力される出力値に基づいて画像補正用変換テーブル７４ａを設定する変換テーブル設定部７３と、設定された画像補正用変換テーブル７４ａを用いて入力撮影画像に対して画像補正を実行する画像補正実行部７４とが備えられている。画像補正実行部７４によって画像補正された撮影画像はプリントデータ生成部３６によってプリントデータに変換され、プリントステーション（写真プリント部）１Ｂに転送される。これにより、種々の撮影条件で撮影された撮影画像であっても、適正な写真プリントが出力されることになる。

図６にニューラルネットワークモジュール７２の模式的な構造が示されている。このニューラルネットワークモジュール７２に構築されるニューラルネットワークは８９個の入力要素を有する入力層と４５個の中間要素を有する中間層と２０個の出力要素を有する出力層からなる。入力要素には撮影画像の特徴量：α0〜α88が入力され、出力要素には、図７に示されるような、変換テーブルとしての各色の変換曲線を規定するそれぞれ２０個の代表点で示す出力値、つまりＲ成分用出力値β(1)〜β(20)、Ｇ成分用出力値β(21)〜β(40)、Ｂ成分用出力値β(41)〜β(60)が出力される。この出力値β(1)〜β(60)を用いてスムーズな各色の変換曲線を作り出すアルゴリズムには公知の近似曲線作成アルゴリズムを用いることができる。

この実施形態で採用されている特徴量：α0〜α88の内容は以下の通りである。
α0：画像全体の平均濃度値
α1：画像中央部（図８の（ａ）参照）の平均濃度値
α2：画像周辺部（図８の（ａ）参照）の平均濃度値
α3：画像上側部（図８の（ｂ）参照）の平均濃度値
α4：画像下側部（図８の（ｂ）参照）の平均濃度値
α5：画像左側部（図８の（ｃ）参照）の平均濃度値
α6：画像右側部（図８の（ｃ）参照）の平均濃度値
α7：画像全体の最大濃度値
α8：画像中央部（図８の（ａ）参照）の最大濃度値
α9：画像周辺部（図８の（ａ）参照）の最大濃度値
α10：画像上側部（図８の（ｂ）参照）の最大濃度値
α11：画像下側部（図８の（ｂ）参照）の最大濃度値
α12：画像左側部（図８の（ｃ）参照）の最大濃度値
α13：画像右側部（図８の（ｃ）参照）の最大濃度値
α14：画像全体の最小濃度値
α15：画像中央部（図８の（ａ）参照）の最小濃度値
α16：画像周辺部（図８の（ａ）参照）の最小濃度値
α17：画像上側部（図８の（ｂ）参照）の最小濃度値
α18：画像下側部（図８の（ｂ）参照）の最小濃度値
α19：画像左側部（図８の（ｃ）参照）の最小濃度値
α20：画像右側部（図８の（ｃ）参照）の最小濃度値
α21：上下に隣接する画素の差分値（図８の（ｄ）参照）の平均値
α22：画像全体の濃度標準偏差
α23：Ｒ色成分に関する画像全体の最大値
α24：Ｇ色成分に関する画像全体の最大値
α25：Ｂ色成分に関する画像全体の最大値
α26：Ｒ色成分に関する画像全体の最小値
α27：Ｇ色成分に関する画像全体の最小値
α28：Ｂ色成分に関する画像全体の最小値
α29〜α48：Ｒ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図９参照）に含まれる階調値の頻度を積算して得られるＲ積算頻度値
α49〜α68：Ｇ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図９参照）に含まれる階調値の頻度を積算して得られるＧ積算頻度値
α69〜α88：Ｂ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図９参照）に含まれる階調値の頻度を積算して得られるＢ積算頻度値
上記α0からα28までの特徴量は画像領域に依存する特徴量であり、上記α29からα88までの特徴量は画像領域に依存しない特徴量である。また、α29からα88までの特徴量は、２５６×３８４画素の補正処理用撮影画像をそのまま利用して算出するが、α0からα28までの特徴量は、処理の高速化のため、２５６×３８４画素の補正処理用撮影画像を３２×４８のブロックでモザイク処理した後の画像を利用して算出する。なお、濃度値としては、Ｒ・Ｇ・Ｂ色成分の各画素値を足して３で割った値を採用している。

以上のように構成された写真プリント装置における画像補正処理の手順をニューラルネットワークの構築ルーチンと写真プリントルーチンとに分けて説明する。図１０のフローチャートはニューラルネットワークの構築ルーチンを示しているが、このルーチンは、写真プリント装置の出荷工場で専門のニューラルネットワーク構築マシーンを用いて全写真プリント装置共通として行ってから構築されたニューラルネットワークモジュールを各写真プリント装置に組み込んでもよいし、写真プリント店が購入した写真プリント装置に対して独自に行ってもよい。上記実施形態では、写真プリント装置にニューラルネットワーク管理モジュール８０が組み込まれているので、写真プリント店で独自に行うことができる。

まず、用意しておいたサンプル撮影画像を読み込み（＃１０）、そのサンプル撮影画像から作り出された補正処理用撮影画像を用いて前述した各特徴量：α0〜α88を算出し（＃１２）、それらを特徴量セットとしてメモリに格納する（＃１４）。読み込んだサンプル撮影画像をモニタ表示しながら熟練者によるマニュアルの画像補正を行う（＃１６）。必要に応じて補正された撮影画像のプリント出力を行い（＃１８）、補正された撮影画像が適正であるかどうかをチェックする（＃２０）。補正された撮影画像が適正と判定されるまで、マニュアル補正を繰り返し、適正な補正画像が得られると、その画像補正に基づいて元画像の画素値を適正補正画像の画素値に変換する変換テーブル（元画像の画素値と適正画像の画素値との対応関係を規定するデータ群）を作成してメモリに格納する（＃２２）。ステップ＃１０〜ステップ＃２２までの処理が用意されている全てのサンプル撮影画像のための実行される（＃２４Yes分岐）。全てのサンプル撮影画像に対する処理が完了すると（＃２４No分岐）、これまでに得られた特徴量セット群と変換テーブル群がニューラルネットワーク管理モジュール８０に転送される（＃２６）。ニューラルネットワーク管理モジュール８０は、特徴量セット群を入力データ、変換テーブル群を教師データとしてニューラルネットワークモジュール７２を学習させ、ニューラルネットワークモジュール７２における入出力関係（結合係数やしきい値）を確定させる（＃２８）。確定した入出力関係をニューラルネットワークモジュール７２にセットして、ニューラルネットワークモジュール７２の構築を完了させる（＃３０）。これにより、このニューラルネットワークモジュール７２に補正したい撮影画像の特徴量セットを入力することにより、この撮影画像に適した変換テーブルを作り出され、この変換テーブルを用いて当該撮影画像を補正することで、いろいろな撮影条件で撮影された撮影画像が入力されても適正な写真プリントを出力することが可能となる。

次に、上述したニューラルネットワーク構築ルーチンを通じて構築されたニューラルネットワークモジュール７２を用いて写真プリントを出力する写真プリントルーチンを図１１のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み（＃５０）、その撮影画像から作り出された補正処理用撮影画像を用いて特徴量算出部７１が前述した各特徴量：α0〜α88を算出し（＃５２）、それらを特徴量セットとしてニューラルネットワークモジュール７２の入力要素に与える（＃５４）。ニューラルネットワークモジュール７２の作動により、この撮影画像に適した変換テーブルに関するデータが出力されるので（＃５６）、この出力データに基づいて変換テーブル設定部７３が変換テーブル７４ａを更新設定する（＃５８）。続いて、画像補正実行部７４が更新された変換テーブル７４ａを用いて撮影画像を画像補正すると（＃６０）、この補正された撮影画像からプリントデータ生成部３６がプリントデータを生成する（＃６２）。プリントデータがプリントステーション１Ｂに転送されることによりプリント処理が行われ（＃６４）、写真プリントが出力される（＃６６）。

上述した実施形態の説明では、本発明による撮影画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。

なお、上述した実施の形態では、写真プリント部としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式にも及ぶものである。

本発明による変換テーブルの作成原理とその変換テーブルを用いた画像補正を説明する説明図 本発明による撮影画像補正技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 本発明の撮影画像補正技術を採用した画像補正ユニットの機能構成を示す機能ブロック図 ニューラルネットワークモジュールの構成を示す模式図 ニューラルネットワーク出力データとしての変換テーブルを説明する説明図 画像領域に依存する特徴量を説明する説明図 ヒストグラムに依存する特徴量を説明する説明図 ニューラルネットワークの構築ルーチンを示すフローチャート 写真プリントルーチンを示すフローチャート

符号の説明

１Ｂ：プリントステーション（写真プリント部）
３１：画像入力部
３６：プリントデータ生成部
６０：第１画像補正ユニット
７０：第２画像補正ユニット
７１：特徴量算出部
７２：ニューラルネットワークモジュール
７３：変換テーブル設定部
７４：画像補正実行部
７４ａ：画像補正用変換テーブル
８０：ニューラルネットワークモジュール管理モジュール

Claims (8)

1. 用意された多数のサンプル画像から順次選択された元画像とこの元画像からマニュアルによる画像補正を通じて得られたサンプル適正画像とを比較評価して元画像の画素値と適正画像の画素値との対応関係を規定するサンプル変換テーブルを作成する処理を繰り返して、サンプル変換テーブル群を作り出すステップと、
   前記選択された元画像毎にその画像中の特性を表す複数の特徴量からなるサンプル特徴量セットを算出する処理を繰り返してサンプル特徴量セット群を作り出すステップと、
   前記サンプル特徴量セットを入力層の入力値とするとともに当該サンプル特徴量セットに対応するサンプル変換テーブルを出力層の出力値とするニューラルネットワークを前記サンプル特徴量セット群と前記サンプル変換テーブル群とから順次取り出された前記サンプル特徴量セットと当該サンプル特徴量セットに対応するサンプル変換テーブルとを用いて学習させることにより前記ニューラルネットワークの入出力関係を構築するステップと、
   補正すべき入力撮影画像から前記特徴量セットを算出するステップと、
   前記特徴量セットを前記構築されたニューラルネットワークの入力層に与えることにより前記補正すべき入力撮影画像に適した変換テーブルを作成するステップと、
   からなる撮影画像補正用変換テーブル作成方法。
2. 前記変換テーブルは元画像の各画素の画素値から適正画像の画素値を導く画素値変換係数群によって規定されていることを特徴とする請求項１に記載の撮影画像補正用変換テーブル作成方法。
3. 前記画素値変換係数群は全画素値範囲から選ばれた代表画素値に対応する画素値変換係数からなることを特徴とする請求項２に記載の撮影画像補正用変換テーブル作成方法。
4. 前記変換テーブルは元画像の各画素の画素値から適正画像の画素値を導く近似高次関数を定義する係数によって規定されていることを特徴とする請求項１に記載の撮影画像補正用変換テーブル作成方法。
5. 元画像から適正画像に画像補正する際、最低階調値領域と最大階調値領域を拡張するために適正画像の階調度が元画像の階調度より大きく設定されていることを特徴とする請求項１から４のいずれか一項に記載の撮影画像補正用変換テーブル作成方法。
6. 前記特徴量セットには撮影画像における画像領域に依存する特徴量と画像領域に依存しない特徴量が含まれていることを特徴とする請求項１から５のいずれか一項に記載の撮影画像補正用変換テーブル作成方法。
7. 用意された多数のサンプル画像から順次選択された元画像とこの元画像からマニュアルによる画像補正を通じて得られたサンプル適正画像とを比較評価して元画像の画素値と適正画像の画素値との対応関係を規定するサンプル変換テーブルを作成する処理を繰り返して、サンプル変換テーブル群を作り出すステップと、
   前記選択された元画像毎にその画像中の特性を表す複数の特徴量からなるサンプル特徴量セットを算出する処理を繰り返してサンプル特徴量セット群を作り出すステップと、
   前記サンプル特徴量セットを入力層の入力値とするとともに当該サンプル特徴量セットに対応するサンプル変換テーブルを出力層の出力値とするニューラルネットワークを前記サンプル特徴量セット群と前記サンプル変換テーブル群とから順次取り出された前記サンプル特徴量セットと当該サンプル特徴量セットに対応するサンプル変換テーブルとを用いて学習させることにより前記ニューラルネットワークの入出力関係を構築するステップと、
   によって作られる撮影画像補正用変換テーブル作成用ニューラルネットワークモジュール。
8. 請求項７によって作られたニューラルネットワークモジュールを搭載した写真プリント装
   置であって、
   前記補正すべき入力撮影画像を入力する画像入力部と、
   前記補正すべき入力撮影画像から前記特徴量セットを算出する特徴量算出部と、
   前記補正すべき入力撮影画像に対して画像補正を実行する画像補正実行部と、
   前記特徴量算出部によって算出された前記特徴量セットを前記ニューラルネットワークモジュールの入力層に与えることにより出力される出力値に基づいて前記画像補正部によって利用される、前記補正すべき入力撮影画像のための変換テーブルを設定する変換テーブル設定部と、
   前記画像補正実行部によって画像補正された撮影画像からプリントデータを生成するプリントデータ生成部と、
   前記プリントデータに基づいて写真プリントを出力する写真プリント部と、
   を備えた写真プリント装置。

Images