JP7316768B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

昨今のデジタルカメラでは、高輝度な表示装置などへの撮影画像の出力のため、輝度のレンジ（以下、ダイナミックレンジ）が広い撮像ができるようになってきている。デジタルカメラにおいて、光を信号に変換するセンサーは、より多くの光を受光可能なように構成されることで、これまでは信号値が飽和し、高輝度部で白くなっていた領域（白飛び部）の再現が可能になってきている。

また、画像処理によって、高輝度側の再現性を拡張する方法が提案されている。特許文献１では、特定の色で飽和した高輝度部に対し、画像の解析結果に基づき、階調再現を実現している。このようにデバイスの性能向上と画像処理の両者の点から、撮影画像データのダイナミックレンジを広げる方法が提案されている。

こうした状況の中、最適な印刷画質を実現するには、入力画像が有するダイナミックレンジ、および出力側のダイナミックレンジを考慮し、適切に処理を行う必要がある。一般的には出力側のダイナミックレンジに比べ、入力側のダイナミックレンジが広い場合が多く、入力画像に対して誤った処理を施してしまうと、明るさが極端に異なる画質になったり、コントラストの低い画質になったり、といった画像弊害が生じてしまう。

特許文献２においては、画像のコントラストを補正する処理として、画像を照明光成分および反射率成分に分離し、コントラスト補正を実施するＲｅｔｉｎｅｘ理論に基づいた処理が開示されている。非特許文献１では、Ｒｅｔｉｎｅｘ理論にさらに領域ごとに適したマッピングカーブを作成する技術が開示されている。

特開２０１５－１５６６１５号公報 特開２０１１－８６９７６号公報

佐藤 一睦、他３名、"撮影画像の明るさ最適化技術"、［ｏｎｌｉｎｅ］、２００９年、東芝レビュー Ｖｏｌ．６４ Ｎｏ．６（２００９） ｐ．１９－２２、［平成３０年５月８日検索］、インターネット＜ＵＲＬ：https://www.toshiba.co.jp/tech/review/2009/06/64_06pdf/a06.pdf＞

写真印刷において、使用する印刷用紙の多様化が進んでいる。単に写真画像を印刷するだけでなく、撮影した被写体や印刷した写真画像の見せ方などを考慮し、様々な特性を有する用紙（種類やサイズなど）を選択することが可能となってきている。画像を再現できるダイナミックレンジは、用紙の種類により変化し、さらに印刷物を観察する環境においても変化する。例えば、光沢紙は、表面の光沢特性が低いマットな紙に比べ、黒濃度が高く、再現できるダイナミックレンジが一般的に広い。また、照明などを当てて観察する展示会や個展、ギャラリーなどの場合は、その照明効果により、印刷物のダイナミックレンジは広がることになる。

上記先行技術の処理を適用して印刷を行ったとしても、印刷用紙が有する特性を考慮しないと、適切な出力のダイナミックレンジが求められず、その結果、好適な印刷物を得ることができない。また、用紙種類以外にも、ダイナミックレンジに影響を及ぼすものとして、印刷物の観察環境が考慮されていないと適切な印刷物を実現できない。つまり、撮影画像を用いた印刷物の印刷情報を考慮していない場合には、適切な明るさの画像の印刷物を生成することができない。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、画像処理装置であって、撮影画像データの第１ダイナミックレンジを取得する取得手段と、前記撮影画像データを用いて印刷される印刷物の観察環境に関する情報に基づいて、前記撮影画像データに対する印刷時の第２ダイナミックレンジを決定する決定手段と、前記撮影画像データを撮影した際の露出の設定に基づいて、前記第１ダイナミックレンジから前記第２ダイナミックレンジへの変換を行うための変換条件を設定する設定手段と、前記変換条件に基づいて、前記撮影画像データの輝度に対し、前記第１ダイナミックレンジから前記第２ダイナミックレンジへと圧縮する圧縮処理を行う圧縮手段とを有する。

本発明によれば、印刷用紙の特性や印刷物の観察環境などの印刷に関する情報を考慮した、適切な明るさの印刷物を実現することができる。

本発明に係るシステムのハードウェア構成の例を示す図。 本発明に係る画像処理の流れを示すブロック図。 本発明に係る画像処理のフローチャート。 本発明に係る現像処理のフローチャート。 本発明に係る入出力の輝度値の例を示す図。 本発明に係るダイナミックレンジ圧縮処理のフローチャート。 本発明に係る印刷処理のフローチャート。 第１の実施形態に係る領域ごとの変換カーブの例を示すグラフ図。 第２の実施形態に係る領域ごとの変換カーブの例を示すグラフ図。

＜第１の実施形態＞
［システム構成］
図１は、本実施形態を適用可能なシステムの構成例を示す図である。本実施形態において、システムは、画像処理装置１００と記録装置１１０を含んで構成される。画像処理装置１００は、情報処理装置として機能するホストＰＣなどから構成される。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ディスプレイＩ／Ｆ１０４、操作部Ｉ／Ｆ１０５、およびデータ転送Ｉ／Ｆ１０６を含んで構成され、各部位は内部バスを介して通信可能に接続されている。

ＣＰＵ１０１は、ＨＤＤ１０３に保持されるプログラムに従ってＲＡＭ１０２をワークエリアとして用いて各種処理を実行する。ＲＡＭ１０２は、揮発性の記憶領域であり、ワームメモリ等として利用される。ＨＤＤ１０３は、不揮発性の記憶領域であり、本実施形態に係るプログラムやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などが保持される。ディスプレイＩ／Ｆ１０４は、ディスプレイ１０７と画像処理装置１００本体との間でデータの送受信を行うためのインターフェースである。操作部Ｉ／Ｆ１０５は、キーボードやマウスなどの操作部１０８を用いて入力された指示を画像処理装置１００本体に入力するためのインターフェースである。データ転送Ｉ／Ｆ１０６は、外部装置とのデータの送受信を行うためのインターフェースである。

例えば、ＣＰＵ１０１は、操作部１０８を用いたユーザによる指示（コマンド等）やＨＤＤ１０３に保持されるプログラムに従って記録装置１１０が記録可能な画像データを生成し、これを記録装置１１０に転送する。また、ＣＰＵ１０１は、データ転送Ｉ／Ｆ１０６を介して外部装置から受信した画像データに対し、ＨＤＤ１０３に記憶されているプログラムに従って所定の処理を行い、その結果や様々な情報をディスプレイ１０７に表示する。

記録装置１１０は、画像処理アクセラレータ１１１、データ転送Ｉ／Ｆ１１２、ＣＰＵ１１３、ＲＡＭ１１４、ＲＯＭ１１５、および印刷部１１６を含んで構成され、各部位は内部バスを介して通信可能に接続されている。なお、記録装置１１０の記録方式は特に限定するものでは無く、例えば、インクジェット方式の記録装置であってもよいし、電子写真方式の記録装置であってもよい。以下では、インクジェット方式の記録装置を例に挙げて説明する。

ＣＰＵ１１３は、ＲＯＭ１１５に保持されるプログラムに従ってＲＡＭ１１４をワークエリアとして用いて各種処理を実行する。ＲＡＭ１１４は、揮発性の記憶領域であり、ワークメモリ等として利用される。ＲＯＭ１１５は、不揮発性の記憶領域であり、本実施形態に係るプログラムやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などが保持される。データ転送Ｉ／Ｆ１１２は、外部装置とのデータの送受信を行うためのインターフェースである。画像処理アクセラレータ１１１は、ＣＰＵ１１３よりも高速に画像処理を実行可能なハードウェアである。画像処理アクセラレータ１１１は、ＣＰＵ１１３が画像処理に必要なパラメータとデータをＲＡＭ１１４の所定のアドレスに書き込むことにより起動され、上記パラメータとデータを読み込んだ後、上記データに対し所定の画像処理を実行する。但し、画像処理アクセラレータ１１１は必須な要素ではなく、同等の処理はＣＰＵ１１３でも実行することができる。印刷部１１６は、画像処理装置１００からの指示に基づき、印刷動作を行う。

画像処理装置１００のデータ転送Ｉ／Ｆ１０６および記録装置１１０のデータ転送Ｉ／Ｆ１１２における接続方式は、特に限定するものではなく、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４等を用いることができる。また、有線／無線も問わない。

［処理ブロック］
図２は、本実施形態に係る画像処理装置１００で実行される画像処理の処理ブロックを示す。本実施形態において、各処理ブロックに対応するプログラムが、アプリケーション２００に含まれるように構成された例にて説明する。アプリケーション２００は、情報処理装置としての画像処理装置１００にて動作し、ＣＰＵ１０１にて対応するプログラムが読み出されることで実行される。なお、アプリケーション２００は、一つのアプリケーションである必要はなく、ユーザの用途や機能に応じ、複数のアプリケーションにて構成されるような形態であってもよい。また、一部の処理を、カメラ等の撮影装置（不図示）もしくは記録装置１１０側に組み込み、これらにて実現されるような構成であってもよい。

画像取得部２０１は、処理対象の画像データを取得する。取得方法は、撮影を行った撮影装置（不図示）の情報と合わせてＨＤＤ１０３に保持されている画像データを取得するような構成でもよい。もしくは、外部装置（例えば、撮影装置）からデータ転送Ｉ／Ｆ１０６を介して撮影画像データを取得するような構成でもよい。現像部２０２は、画像取得部２０１で取得した画像を後述する処理により、所定の形式に変換する。画像データが有するダイナミックレンジの算出も現像部２０２で行われ、求められた値はダイナミックレンジ取得部２０５へと出力される。

用紙情報取得部２０３は、ユーザの指示や設定等に従って、印刷に用いられる用紙の情報を取得し、ダイナミックレンジ取得部２０５へ提供する。ここで、記録装置１１０が対応可能な用紙の情報は、記録装置１１０に問い合わせた上で、取得してもよいし、予めＨＤＤ１０３等に保持していてもよい。観察環境取得部２０４は、ユーザの指示や設定等に従って、印刷物が観察される環境に対応する情報を取得し、ダイナミックレンジ取得部２０５へ提供する。ここで取得される用紙情報や観察環境に関する情報については後述する。

ダイナミックレンジ取得部２０５は、各部位から出力された情報を取得し、取得した情報に基づいて入力と出力それぞれのダイナミックレンジを特定した上で、ダイナミックレンジ圧縮部２０８へと出力する。

輝度色差分離部２０６では、現像部２０２にて現像処理が行われた画像に対し、輝度と色差に分離する。輝度色差分離部２０６は、分離した輝度情報を周波数分離部２０７へ出力し、色差情報を輝度色差合成部２１１へ出力する。周波数分離部２０７は、画像の輝度情報に対し空間周波数の低周波と高周波に分離する。周波数分離部２０７は、分離された周波数のうち、低周波成分をダイナミックレンジ圧縮部２０８へ出力し、高周波成分をコントラスト補正部２０９へ出力する。ダイナミックレンジ圧縮部２０８は、ダイナミックレンジ取得部２０５で取得した値に基づき、周波数分離部２０７から取得した低周波成分に対しダイナミックレンジ圧縮処理を実行する。この際、ダイナミックレンジ圧縮部２０８は、現像部２０２からのデータを利用する。ダイナミックレンジ圧縮部２０８は、処理後のデータを周波数合成部２１０へ出力する。

コントラスト補正部２０９は、周波数分離部２０７から取得した高周波成分に対してコントラスト補正処理を行う。コントラスト補正部２０９は、周波数毎にコントラスト補正処理を行った後、周波数合成部２１０へ結果を出力する。周波数合成部２１０は、ダイナミックレンジ圧縮部２０８とコントラスト補正部２０９から取得した周波数成分の合成を行い、輝度色差合成部２１１へ出力する。輝度色差合成部２１１は、周波数合成部２１０から取得した周波数と、輝度色差分離部２０６から取得した色差との合成を行う。そして、輝度色差合成部２１１は、合成により生成された画像情報を印刷処理部２１２へ出力する。

印刷処理部２１２は、輝度色差合成部２１１から取得された画像に対して印刷に要する処理を実行し、記録装置１１０へ送信する。このとき、用紙情報取得部２０３にて取得した用紙情報も併せて利用される。これにより、記録装置１１０側では、画像処理装置１００にて処理が行われた印刷画像を用いた印刷物が出力される。

［画像処理フロー］
本実施形態に係る画像処理のフローについて、図３を用いて説明する。図３のフローチャートは、図２の各処理ブロックの動作に対応する。

Ｓ３０１にて、画像取得部２０１は、撮像装置（不図示）にて撮像された画像データを取得する。ここで取得する画像データは、ＪＰＥＧ形式などの汎用的なデータではなく、撮像装置（不図示）で撮像されたままのいわゆるＲＡＷデータを用いる。これは、Ｓ３０２で実施される現像処理により、画像処理におけるダイナミックレンジの拡張を目的とするためである。

Ｓ３０２にて、現像部２０２は、現像処理を行う。図４に現像処理のフローチャートを示す。

Ｓ４０１にて、現像部２０２は、色補間処理を行う。現像部２０２は、単色の信号で構成されたＲＡＷデータ内の画素の各々に、デベイヤー処理またはモザイク処理を実施する。本処理により、各画素の信号値は、ＲＧＢの画像信号値へ変換される。色補間処理については公知の方法を用いるものとし、詳細な説明は省略する。

Ｓ４０２にて、現像部２０２は、ホワイトバランス調整を行う。現像部２０２は、予め設定された現像設定に従い、ホワイトバランス処理を行う。現像設定に対応する係数は、予め定義され、ＨＤＤ１０３等にて保持されているものとする。現像部２０２は、画素のＲ，Ｇ，Ｂの各信号値に対し、設定された係数を乗じる。

Ｓ４０３にて、現像部２０２は、ガンマ補正を行う。現像部２０２は、現像設定および記録装置の特性を考慮し、ガンマ補正を適用する。ガンマ補正については公知であるため、詳細な説明は省略する。

Ｓ４０４にて、現像部２０２は、ノイズ除去を行う。Ｓ４０５にて、現像部２０２は、シャープネス処理を行う。本実施形態において、ノイズ除去およびシャープネス処理はいずれも、フィルタ処理により実施する。これらの処理の内容は、ユーザの設定や撮影条件に基づき、必要に応じて適用される。

Ｓ４０６にて、現像部２０２は、色変換処理を行う。色変換処理として、定義された所定の色空間への変換や、色相の調整および高輝度領域の色曲りを抑圧する処理が行われる。そして、本処理フローを終了する。以上の現像処理により、所望のガンマ値を有するＲＧＢの画像が生成される。

図３の説明に戻る。Ｓ３０３にて、ダイナミックレンジ取得部２０５は、入力の明暗部それぞれの輝度データを取得する。明部の輝度データは、取得した画像データに含まれるカメラ情報および撮影時設定から算出される値と、Ｓ３０２の現像処理で拡張される値により求められる。具体的には、図４のＳ４０２のホワイトバランス調整の際、飽和レベルおよび画素情報に応じた置換処理を実施することで、高輝度領域の階調を拡張（Ｎ段：Ｎ≧１）する。本工程の処理は、例えば、特許文献１に開示されている方法を用いることが可能である。

図５（ａ）は、本実施形態に係るカメラ情報および撮影時設定ごとの明部の輝度値の例を示す。カメラの機種に対する各撮影モードの輝度値が示されている。本実施形態では、３つのカメラ（撮像装置）の機種（Ａ～Ｃ）が示されている。また、各カメラが動作可能な撮影モードとして、通常モードと高輝度取得モードが示されている。高輝度取得モードは、一段分暗い露出条件で撮影を行う場合に用いられる撮影設定である。図５（ａ）に示されている輝度値Ｒは、高輝度部の輝度値（単位：％、測光した輝度を１８％とした場合からの相対値）である。Ｓ３０２にて得られた、高輝度領域における拡張情報（Ｎ段分拡張可能）に基づき、最終的な入力画像の明部の輝度値Ｙｉ_（Ｗ）は、下式から算出される。Ｎは、階調を拡張する段数を示す。
Ｙｉ_（Ｗ）＝Ｒ×２^Ｎ ・・・（式１）

入力画像の暗部輝度Ｙｉ_（Ｄ）については、光が入らない場合を想定しているため、設定に依らず、Ｙｉ_（Ｄ）＝０となる。

Ｓ３０４にて、ダイナミックレンジ取得部２０５は、出力側の明暗部それぞれの輝度データの取得を行う。図５（ｂ）は、本実施形態に係る用紙種類毎の輝度値の例を示す。本実施形態では、３つの用紙種類が示されている。各用紙種類に対し、黒部Ｙо_（Ｄ）と紙白部Ｙо_（Ｗ）の輝度値を示す。輝度値［ｃｄ／ｍ^２］は、予め決められた一般的な照明環境の値（基準となる白≒１００［ｃｄ／ｍ^２］）である。なお、輝度値は、視覚特性を考慮した変換したものを使用してもよい。図５（ｂ）に示される用紙情報は、用紙情報取得部２０３により提供される。

Ｓ３０５にて、輝度色差分離部２０６は、ＲＧＢの信号値から、輝度（Ｙ）と色差（ＣｂＣｒ）の情報に分離を行う。ＲＧＢ－ＹＣｂＣｒ変換は、以下の式２により実施される。なお、変換式は、以下の式２に限定するものではなく、他の変換式を用いてもよい。
Ｙ＝０．２９９００×Ｒ＋０．５８７００×Ｇ＋０．１１４００×Ｂ
Ｃｂ＝－０．１６８７４×Ｒ－０．３３１２６×Ｇ＋０．５００００×Ｂ ・・・（式２）
Ｃｒ＝０．５００００×Ｒ－０．４１８６９×Ｇ－０．０８１×Ｂ
変換式にて得られたＹ値（輝度値）は、輝度成分としてＳ３０５の周波数分離処理にて用いられ、ＣｂＣｒ値は色差成分としてＳ３１０の輝度色差合成処理にて用いられる。

Ｓ３０６にて、周波数分離部２０７は、Ｓ３０５にて分離された画像の輝度の周波数を、低周波成分画像と高周波成分画像に分離する。本実施形態では、低周波成分を抽出するために、ローパスフィルタを適用する。処理方法は、空間フィルタを適用してもよいし、一旦、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）により空間周波数に変換し、フィルタ処理後にＩＦＦＴ（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）で戻してもよい。対象とする周波数は、印刷物の用紙サイズや印刷物を観察する観察距離などから、人間の視覚特性を考慮し、決定してよい。したがって、周波数に含まれる高周波成分と、低周波成分はその分類が固定されたものではなく、上記基準に応じて変動してよい。高周波成分については、逆のハイパスフィルタを適用してもよいし、得られた低周波成分を元の画像から除算することで取得してもよい。ここで取得された低周波成分は、Ｓ３０７のダイナミックレンジ圧縮処理にて用いられ、高周波成分は、Ｓ３０８のコントラスト補正処理にて用いられる。

Ｓ３０７にて、ダイナミックレンジ圧縮部２０８は、Ｓ３０３、Ｓ３０４にて取得した入力および出力の明暗部の情報に基づき、Ｓ３０６にて取得した低周波成分に対し、ダイナミックレンジ圧縮処理を行う。処理の詳細については図６を用いて後述する。

Ｓ３０８にて、コントラスト補正部２０９は、Ｓ３０６にて取得した高周波成分に対し、コントラスト補正処理を行う。具体的には、得られた画像に対し、係数ｋを乗じる。このとき、撮影時のシーンに近づける場合はｋ＝１付近とし、さらに印刷物のインクの滲みなどの劣化を考慮したい場合は、１よりも大きい値を係数ｋに設定する。係数ｋの値は、ユーザの設定や指示に基づいて、値を変更できるような構成であってもよい。

Ｓ３０９にて、周波数合成部２１０は、Ｓ３０７にて得られた低周波成分でのダイナミックレンジ圧縮された画像と、Ｓ３０８にて得られた高周波成分でのコントラスト補正された画像の合成を行う。これにより、所定のダイナミックレンジに圧縮され、かつ、コントラスト補正がなされた輝度画像が得られる。

Ｓ３１０にて、輝度色差合成部２１１は、Ｓ３１０にて得られた輝度画像と、Ｓ３０５にて得られた色差成分とを合成し、下記式３を用いて、ＹＣｂＣｒ－ＲＧＢ変換を行う。これにより、ＲＧＢ信号値の画像が得られる。式３は、式２に対応するものであり、式２とは異なる式が用いられていた場合には、これに合わせて式３も変化する。
Ｒ＝Ｙ＋１．４０２００×Ｃｒ
Ｇ＝Ｙ－０．３４４１４×Ｃｂ－０．７１４１４×Ｃｒ ・・・（式３）
Ｂ＝Ｙ＋１．７７２００×Ｃｂ

Ｓ３１１にて、印刷処理部２１２は、得られたＲＧＢ信号値の画像に対し、印刷のための画像処理を行う。本工程の詳細については、図７を用いて後述する。そして、本処理フローを終了する。

（ダイナミックレンジ圧縮処理）
本実施形態に係るダイナミックレンジ圧縮処理について、図６を用いて説明を行う。本工程は、図３のＳ３０７の処理に対応する。

Ｓ６０１にて、ダイナミックレンジ圧縮部２０８は、図３のＳ３０３およびＳ３０４により得られた明暗部の情報から、圧縮レンジの算出を行う。圧縮レンジは、下式から求められる。Ｙｉ_（Ｗ）、Ｙｉ_（Ｄ）は、入力された撮影画像データから取得した入力の明暗部の輝度データを示す。Ｙо_（Ｗ）、Ｙо_（Ｄ）は、印刷用紙および観察環境より取得した出力の明暗部の輝度データを示す。
Ｄｉ＝Ｙｉ_（Ｗ）－Ｙｉ_（Ｄ） ・・・（式４）
Ｄо＝Ｙо_（Ｗ）－Ｙо_（Ｄ） ・・・（式５）
Ｄｉ、Ｄоはそれぞれ、入力、出力側のダイナミックレンジを表す。つまり、Ｄｉは、入力された画像データのダイナミックレンジであり、Ｄｏは、出力時（印刷時）に用いられるダイナミックレンジである。尚、図３に示すフローの説明の中で、入力の明暗部の単位は［％］とし、出力の明暗部の単位は［ｃｄ／ｍ^２］としたが、ここでは等価の変換可能であるとし、１％＝１ｃｄ／ｍ^２とする。また、ダイナミックレンジ圧縮部２０８は、露出輝度値Ｙａの取得を行う。これは、撮影時にユーザが露出を設定した点であり、ここでは、露出設定輝度Ｙａ＝１８［％］とする。

Ｓ６０２にて、ダイナミックレンジ圧縮部２０８は、対象画像を所定の領域に分割する。ここでの分割は、予め決められた所定の矩形サイズで分割してもよいし、輝度画像の情報から類似の輝度画素でグルーピングしてもよい。後者の方法では、領域分割された特定の輝度レンジのコントラストを復元することになり、よりコントラストの保持された画像が得られる。さらに好適な印刷物を得るために、輝度データのみでなく、現像部２０２で現像されたＲＧＢを利用してもよい。ＲＧＢデータより、画像の認識を行い、認識された領域種別に合ったコントラストの復元方法が可能となる。

Ｓ６０３にて、ダイナミックレンジ圧縮部２０８は、Ｓ６０２で分割された領域それぞれに対し変換カーブを作成する。図８は、本実施形態に係る変換カーブの例を示す。変換カーブは、輝度の入力値と出力値との対応関係を示し、輝度値の変換に用いられる変換条件である。図８において、横軸は入力輝度を示し、縦軸は出力輝度を示す。また、破線は、原点を通る傾きが４５度の直線を表し、太線は変換カーブを表す。図８において、棒グラフは、領域の輝度分布を示し、所定輝度範囲（以下、輝度グループ）の度数に相当する。輝度分布の度数（棒グラフ）に対応する値は、図８の右側に示す。Ｓ６０１で求められた入力および出力のダイナミックレンジＤｉ、Ｄｏは、図８中の矢印で表される。

変換カーブの傾きに着目する。傾きが１、つまり４５度の場合は、その位置での画像変化が起きない。つまり、ダイナミックレンジ変換前のコントラストがダイナミックレンジ変換後も維持される。傾きが小さくなるにつれ（角度として４５度未満）、変換後のコントラストは、変換前と比較して低下する。つまり、傾きが１に近いほど、変換前後のコントラストの変動が小さくなり、コントラストが維持される。好適な印刷物を得るには、コントラストの維持が必要であり、傾きを１に維持することが望ましい。ここで低周波成分を取り扱っているため、低周波成分のコントラストを維持するために、できる限りの傾きが１となるような変換を行う必要がある。

また、本実施形態において、黒濃度の低いマット系の用紙が用いられ、照明が印刷物に照射されていないことを想定する。このような用紙設定や観察環境などの設定は、画像処理を行う際に、ユーザにより指示もしくは設定されるものとする。したがって、画像処理装置１００（アプリケーション２００）は、ユーザが各設定を行うためのユーザーインターフェース（不図示）を提供するような構成であってよい。この場合、狭い出力レンジとする。領域の度数に応じ、変換カーブは作成される。図８（ａ）は、ある領域に対する変換カーブを示している。図８（ａ）において、度数が高い低輝度のグループほど、傾きを１に近づけ、度数の少ない高輝度ほど傾きを寝かせている（傾きを０に近づける）。

図８（ｂ）は、別の領域に対応する変換カーブを示し、輝度分布が高輝度側に偏っている例である。図８（ａ）と同様、輝度分布の度数に応じ、度数の高い輝度グループに１に近い傾きを割り当てていることが分かる。つまり、輝度分布の度数が低い低輝度側において、傾きが０に近いように設定され、輝度分布の度数が高い高輝度側において、傾きが１に近いように設定されている。このようにして、画像全体としては、変換前後で輝度の範囲は変化するものの、局所的は範囲では輝度の変動を変換前後で維持する、或いは変換前後での輝度変動の変化を小さくすることができる。

図８（ｃ）は、輝度の分布が一様である領域の例を示している。この場合は、度数の高い輝度グループであっても傾きを１に割り当てることができない。出力ダイナミックレンジＤоがＤｉに比べて狭いため、特定の輝度グループに傾きが１となるように割り当ててしまうと、別の輝度グループの傾きが０に近くなってしまうためである。このような場合は、平均的に傾きを割り当て、その中で極端に傾きが０に近づくことがないよう、度数に応じた分配を行う。

また、画像中の領域の異なる図８（ａ）～（ｃ）において、傾きが共通となる箇所が存在する。この箇所は、Ｓ６０１で求めた露出設定輝度Ｙａに対応し、本実施形態にて想定している印刷用紙（マット紙）においては、印刷処理の中で予め定められたＹａ’の輝度値に変換される。輝度値Ｙａに対し、印刷後の結果が常にＹａ’として一定になるような変換カーブを作成する。また、図８に示す例の場合、原点から露出設定輝度Ｙａまでの範囲は、傾きが１となるように変換カーブが作成される。Ｙａ’の値は、後述する図７にて説明する印刷処理の色変換処理（Ｓ７０１）を考慮して決める。ここでは、印刷物がＬ＊＝５０程度の中間的な明度になる値とする。これにより、高輝度領域は階調が再現された印刷物を実現しつつ、ユーザが撮影時に設定した露出輝度は維持される。

Ｓ６０４にて、ダイナミックレンジ圧縮部２０８は、Ｓ６０２にて領域分割した全ての領域に対する変換カーブの作成が完了したか否かを判定する。完了していない場合は（Ｓ６０４にてＮＯ）Ｓ６０３に戻り、全て完了している場合は（Ｓ６０４にてＹＥＳ）Ｓ６０５に進む。

Ｓ６０５にて、ダイナミックレンジ圧縮部２０８は、作成した変換カーブを用い、領域内の画素ごとのダイナミックレンジの圧縮処理を、当該領域に対応する変換カーブを用いて実行していく。この際、ダイナミックレンジ圧縮部２０８は、領域間で階調の不連続な箇所が出ないよう周囲の領域の情報を考慮しながら処理を行う。ここでの方法は特に限定するものでは無いが、例えば、非特許文献１に示すように、領域と同程度のウィンドウを当てはめ、ウィンドウに含まれる面積で重み付けを行い、その比率をから算出する方法が挙げられる。

また、単純な面積比率であると、境界にハローなどの弊害が発生するため、対象領域の平均輝度により重みを変化させてもよい。つまり、対象画素に比べ、周囲領域の平均輝度が異なるほど、重みを小さくする対応を行うことにより、画像弊害を抑止できる。

Ｓ６０６にて、ダイナミックレンジ圧縮部２０８は、全画素に対する圧縮処理が完了したか否かを判定する。全ての画素に対する圧縮処理が完了した場合は（Ｓ６０６にてＹＥＳ）本処理フローを終了し、完了していない場合は（Ｓ６０６にてＮＯ）Ｓ６０５に戻り、未処理の画素に対して圧縮処理を適用する。

（印刷処理）
図７は、本実施形態に係る印刷処理のフローチャートを示す。本処理は、図３のＳ３１１の工程に対応する。

Ｓ７０１にて、印刷処理部２１２は、色変換処理を行う。印刷処理部２１２は、得られたＲＧＢを予めユーザに設定された用紙の色に適したＲ’Ｇ’Ｂ’に変換を行う。ここでの用紙の色は、用紙情報取得部２０３にて取得された用紙情報に基づいて行われるものとする。変換方法は様々な方法が存在するが、例えば、離散的な格子点に変換すべき値が記載されたルックアップテーブルを利用する方法がある。上述したように、本工程の処理に応じて、図６のＳ６０３にて生成される変換カーブの輝度値Ｙａ’が規定されることとなる。

Ｓ７０２にて、印刷処理部２１２は、変換されたＲ’Ｇ’Ｂ’から、実際に印刷に使用するインク色へと分解する。本工程においても、設定された用紙毎に最適化されたルックアップテーブルに基づいて変換が行われる。なお、図７では、ＣＭＹＫ（Ｃ：シアンインク、Ｍ：マゼンタインク、Ｙ：イエローインク、Ｋ：ブラックンク）を例に記載したが、これに限定するものではなく、印刷するインク数や記録剤の種類に応じて変動してよい。

Ｓ７０３にて、印刷処理部２１２は、印刷を行う記録装置１１０が受信可能な階調数へと変換を行う。代表的な変換方法としては、誤差拡散処理やディザ処理が挙げられる。写真印刷を行う場合には、誤差拡散処理、もしくは、ブルーノイズ特性を有するディザマトリクスによる処理が望ましい。記録装置１１０の階調数へと変換されたデータは、記録装置１１０に転送される。その後、記録装置１１０により印刷が実行される。そして、本処理フローを終了する。

なお、上記は一例であり、画素値の変換においては、ＩＣＣプロファイルなどを利用するような構成であってもよい。

上記の処理フローにより、印刷用紙の特性や印刷物の観察環境を考慮した、適切な明るさの印刷物を実現することができる。

以上、本実施形態では、ダイナミックレンジが、入力画像よりも狭い印刷用紙に対し、照明が当てられない観察環境を例に挙げて、画像データを好適に印刷する方法を説明した。この結果、コントラストが維持された写真画質を、ユーザが撮影時に合わせた露出を崩さないで実現することが可能となる。

なお、処理の構成は、上記の限りではなく、例えば、画像取得部２０１および現像部２０２は撮像装置（不図示）で実施してもよい。その場合、画像処理装置１００では、画像取得用のインターフェース（不図示）を介し、画像を受信する。画像形式は、専用フォーマットから汎用性のあるもの様々であるが、階調性や色再現性の情報欠落がないことが重要となる。

＜第２の実施形態＞
本発明の第２の実施形態として、印刷用紙として光沢紙を用い、かつ、印刷物に対して照明を照射する観察環境を想定した場合を例に挙げて、処理の説明を行う。光沢紙は、第１の実施形態にて示したマット紙よりも表面の光沢特性が高いものとする。第１の実施形態と重複する構成については説明を省略し、差異のみを説明する。

照明としては、照度を５００～１０００［ｌｘ］とすることが一般的であるが、様々な明るさが存在する。ここでは、用紙の紙白部が２００［ｃｄ／ｍ^２］程度の明るさになることを想定する。

図９は、本実施形態に係る、出力ダイナミックレンジＤｏが広がった場合における、領域ごとの変換カーブの例を示す。つまり、用紙として光沢紙を用いることで、第１の実施形態にて示した図８の例よりも出力ダイナミックレンジＤｏが広がることとなる。尚、対象とする画像および分割する領域は、第１の実施形態と同様とする。

第１の実施形態にて述べた図８と比較して出力ダイナミックレンジＤｏが広がっているため、図９（ａ）～（ｃ）のいずれにおいても、輝度の度数に対して１に近い傾きを割当てることが可能となっている。

また、露出設定輝度Ｙａから、印刷後に保たれる輝度値Ｙａ’については、第１の実施形態と同様の値になるが、照明が照射されることを考慮する必要がある。つまり、印刷物は、照明が照射された際に適切な明るさとなることが求められるため、輝度Ｙａの印刷物そのもの（照明が照射されていない状態の印刷物）の明るさは、第１の実施形態のそれと比べて、暗くなる。本実施形態では、図６のＳ６０３において、照明の照射を考慮した変換カーブを作成する。予め設定される照明を当てない場合の紙白部をＹｐ（図５（ｂ））とすると、本実施形態の場合、上記の白紙部の明るさが２００［ｃｄ／ｍ^２］であることを考慮し、ＹａがＹｐ／２００になるような変換が行われる。

また、図６のＳ６０２における領域分割についても、紙白部の明るさを考慮しても構わない。紙白部が明るくなり、出力のダイナミックレンジＤｏが広くなれば、領域分割を細かくしなくても、傾きが１となるように変換カーブを設定することが実現しやすくなり、領域数を少なくできる。その結果、処理負荷の点でも有効となる。つまり、用紙種類や観察環境の情報などの印刷情報に応じて、分割を行う領域数や方法を切り替えてよい。

以上、本実施形態においては、照明が照射された観察環境（例えば、印刷物の白紙部が２００［ｃｄ／ｍ^２］）においても、コントラストの維持および撮影時の露出を実現した、好適な印刷物の実現が可能となる。

＜その他の実施形態＞
本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像処理装置、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＨＤＤ、１１０…記録装置

Claims (15)

1. 撮影画像データの第１ダイナミックレンジを取得する取得手段と、
   前記撮影画像データを用いて印刷される印刷物の観察環境に関する情報に基づいて、前記撮影画像データに対する印刷時の第２ダイナミックレンジを決定する決定手段と、
   前記撮影画像データを撮影した際の露出の設定に基づいて、前記第１ダイナミックレンジから前記第２ダイナミックレンジへの変換を行うための変換条件を設定する設定手段と、
   前記変換条件に基づいて、前記撮影画像データの輝度に対し、前記第１ダイナミックレンジから前記第２ダイナミックレンジへと圧縮する圧縮処理を行う圧縮手段と
   を有することを特徴とする画像処理装置。
2. 前記圧縮手段は、前記撮影画像データにおいて分布の度数が高い輝度は、分布の度数が低い輝度よりも、変換前後の値の変動が小さくなるように設定される変換条件を用いて圧縮処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記取得手段が第１輝度分布を有する撮影画像データを取得した場合と、前記第１輝度分布とは異なる第２輝度分布を有する撮影画像データを取得した場合とで、前記露出を基に設定される輝度に対して共通する出力輝度を有する前記変換条件を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変換条件は、入力輝度と出力輝度との対応関係を表す変換カーブであり、
   前記設定手段は、前記取得手段が前記第１輝度分布を有する撮影画像データを取得した場合と、前記第２輝度分布を有する撮影画像データを取得した場合とで、前記露出を基に設定される輝度に対応する傾きが共通する前記変換カーブを設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記圧縮手段は、前記撮影画像データを複数の領域に分割し、前記複数の領域それぞれに対して設定される前記変換条件を用いて圧縮処理を行うことを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記圧縮手段は、前記撮影画像データを、類似する輝度の画素をグルーピングすることにより、前記複数の領域に分割することを特徴とする請求項５に記載の画像処理装置。
7. 前記圧縮手段は、前記第１ダイナミックレンジおよび前記観察環境に関する情報に基づいて、前記撮影画像データを分割する数もしくは方法を切り替えることを特徴とする請求項５に記載の画像処理装置。
8. 前記決定手段は、前記撮影画像データを印刷する際に用いる用紙の情報に基づいて、前記第２ダイナミックレンジを決定することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記観察環境に関する情報は、前記撮影画像データを用いて印刷される印刷物を観察する際に前記印刷物に照射される照明の情報を含むことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記撮影画像データの輝度に対し、低周波成分と高周波成分とに分離する分離手段をさらに有し、
    前記圧縮手段は、前記低周波成分に対して圧縮処理を行うことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記高周波成分に対してコントラスト補正を行う補正手段と
    前記補正手段にて補正された高周波成分と、前記圧縮手段にて圧縮処理が行われた低周波成分とを合成する合成手段と
    をさらに有することを特徴とする請求項１０に記載の画像処理装置。
12. 前記圧縮手段にてダイナミックレンジの圧縮処理が行われた画像データに対し、印刷を行う記録装置が用いる記録剤に対応した信号への変換処理を行う手段をさらに有することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記撮影画像データを撮影した撮影装置は、ダイナミックレンジの異なる複数の撮影モードで動作可能であり、
    前記取得手段は、前記撮影画像データを撮影した際の撮影モードの情報を用いて特定されたダイナミックレンジを取得することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 撮影画像データの第１ダイナミックレンジを取得する取得工程と、
    前記撮影画像データを用いて印刷される印刷物の観察環境に関する情報に基づいて、前記撮影画像データに対する印刷時の第２ダイナミックレンジを決定する決定工程と、
    前記撮影画像データを撮影した際の露出の設定に基づいて、前記第１ダイナミックレンジから前記第２ダイナミックレンジへの変換を行うための変換条件を設定する設定工程と、
    前記変換条件に基づいて、前記撮影画像データの輝度に対し、前記第１ダイナミックレンジから前記第２ダイナミックレンジへと圧縮する圧縮処理を行う圧縮工程と
    を有することを特徴とする画像処理方法。
15. コンピュータを、
    撮影画像データの第１ダイナミックレンジを取得する取得手段、
    前記撮影画像データを用いて印刷される印刷物の観察環境に関する情報に基づいて、前記撮影画像データに対する印刷時の第２ダイナミックレンジを決定する決定手段、
    前記撮影画像データを撮影した際の露出の設定に基づいて、前記第１ダイナミックレンジから前記第２ダイナミックレンジへの変換を行うための変換条件を設定する設定手段と、
    前記変換条件に基づいて、前記撮影画像データの輝度に対し、前記第１ダイナミックレンジから前記第２ダイナミックレンジへと圧縮する圧縮処理を行う圧縮手段
    として機能させるためのプログラム。

Images