JP7208809B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像データを処理する画像処理装置、画像処理方法およびプログラムに関する。

人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの１つ以上の手がかりを利用して、人間は立体感つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚している。

カメラなどで撮影され、表示、投影あるいは印刷された２次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から、画像の立体感を感じている。つまり、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分を再現することが、立体感のある画像を得るために重要となる。また、人の目が合焦している（ピントが合っている）、合焦していない（ボケている）をどの程度見分けることができるか、つまり視覚感度についても様々な検討が行われている。例えば、明度変動に関するＶＴＦ（Ｖｉｓｕａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：視覚の伝達関数)やコントラスト感度特性などを用いて説明されている。

一方、例えばレーザー距離計等で、撮影地点から対象物までの実距離を測定する方法、２台のカメラの視差情報から距離を計測する方法など、撮影時に被写体を含むシーンの距離情報を取得する方法も提案されている。特許文献１には、奥行き情報を利用した高画質化手法の技術が記載されている。

特開２００９－２５１８３９号公報

プリンタなどの出力装置を通して画像を出力すると、例えば記録媒体(printing medium)やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍することにより、出力画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に出力画像において画像の鮮鋭性が低下する。そのため、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現性が変化してしまい、人間が感じる画像の立体感が変化する。また、人間が感じる画像の立体感に画像の明るさが影響するため、合焦している（ピントが合っている）部分の見た目の明るさにより人間が感じる画像の立体感が変化する。

特許文献１では、画像の各位置の奥行きを画像から推定して算出し、奥行きと画像処理方法を対応付けして各位置の画像処理方法を効果的に適宜選択し、立体感の低下を防止しつつ高解像度化を図る処理が記載されている。

本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、出力処理による鮮鋭性への影響を低減する画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、出力装置で写真画像を出力するための画像データを入力する入力手段と、前記出力装置で出力された前記写真画像を鑑賞する鑑賞者が感じる立体感を、前記画像データが有する立体感に近づけるために、前記画像データに対応する合焦面からの距離に関する情報に基づいて、前記画像データの各画素のデータに対して、画像の鮮鋭性を制御する処理を実行する制御手段と、を備え、前記制御手段は、前記画像において合焦していると判定される合焦領域に隣接する周辺領域の輝度に応じて、前記合焦領域に対する鮮鋭性の制御量を設定することを特徴とする。

本発明によれば、出力処理による鮮鋭性への影響を低減することができる。

画像処理装置を適用したプリントシステムの全体構成を示す図。 撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図。 合焦面と物体との距離を算出する方法を説明するための図。 画像処理部の構成を示す図。 デフォーカスマップを説明するための図。 画像処理を示すフローチャート。 コントラスト感度特性を示す図。 鮮鋭性の相対関係の変化を説明するための図。 明るさの対比現象を説明するための図。 計測用チャートを示す図。 周辺領域の設定を説明するための図。 デフォーカス量と立体感制御量の関係を示す図。 計測用チャートを示す図。 画像出力条件の設定処理を示すフローチャート。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［第１の実施形態］
図１は、本実施形態における画像処理装置を適用したプリントシステムの全体構成を示す。本実施形態では、画像処理装置であるインクジェットプリンタを適用した例を説明する。図１のプリントシステムは、パーソナルコンピュータ装置（ＰＣ）１０１（以下、「ＰＣ」ともいう）と出力装置１０２を含む。出力装置１０２は、ネットワークやＵＳＢまたはローカルバスなどのインタフェースを介してＰＣ１０１に接続されている。ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報およびデータの転送などを実行する。記憶装置１０５には、ＯＳをはじめ、本実施形態のシステムプログラムや各種アプリケーションソフトウェアおよび各種処理に必要なパラメータデータを記憶管理している。記憶装置１０５は、例えば、ハードディスクやフラッシュＲＯＭで構成される。ＣＰＵ１０４は、記憶装置１０５に格納されたソフトウェアを実行するにあたり、作業メモリ１０７を用いて処理を実行する。ユーザインタフェースとなる操作部（以下、「ＵＩ」ともいう）１０６は、上記処理の実行に関して、ユーザによる入力の受付や、ユーザに対する表示に関する処理を行い、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置１０８は、ＳＤカード等の外部記録媒体とのデータの入出力を行う。また、不図示の撮像装置をデータ入出力装置１０８やデータ転送部１０９へ直接接続し、外部記録媒体を介さずにデータの受け渡しを行ってもよい。

出力装置１０２は、データ転送部１０９、プリンタ制御部１１２、画像処理部１１０、印刷部１１１を含み、ＰＣ１０１から印刷データを受信する。本実施形態では、印刷データは、カメラ等の撮像装置で被写体を撮像することで得られる写真画像の入力画像データ、入力画像データに対応した撮影時の合焦面からの距離に相当する情報、画像処理パラメータとプリンタ制御データ、ユーザがＵＩ上で選択した印刷品位や記録媒体等の印刷情報データ、を含んで構成される。記録媒体とは例えば紙メディア等を指す。また、出力装置１０２は、ＣＰＵ１１３、記憶装置１１４、作業メモリ１１５を含む。出力装置１０２は、記憶装置１１４に記憶されたプログラムを作業メモリ１１５に読み出して実行することにより出力装置１０２を統括的に制御する。

撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。これらは、本実施形態ではカメラ等の撮像装置で生成されたデータとして説明するが、それに限られず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば、入力画像データのボケ量を解析した結果から生成されたデータや、他の撮影時のデータを併用したデータでもよい。

入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたＰＣ１０１または出力装置１０２で生成されてもよい。また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で合焦面からの距離に相当する情報を生成してもよい。また、撮像装置はＰＣ１０１に接続され、ＰＣ１０１を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置１０２で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。

データ転送部１０９は、ＰＣ１０１から送られてきた印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと画像処理パラメータとを取り出して画像処理部１１０に送り、プリンタ制御データをプリンタ制御部１１２に送る。入力画像データは、ＰＣ１０１内で記憶装置１０５にプログラムとして記憶されている解像度変換処理によりユーザ設定された記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置１０２の画像処理部１１０内で行われてもよい。また、本実施形態では、画像処理部１１０は、出力装置１０２内にあるが、ＰＣ１０１内に構成されてもよい。

また、画像処理パラメータやプリンタ制御データは、ＰＣ１０１中の記憶装置１０５や、不図示の出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記憶されてもよい。これらが、印刷データ内の印刷情報データに基づいて選択され、画像処理部１１０、プリンタ制御部１１２に送られる構成でもよい。プリンタ制御部１１２は、プリンタ制御データに従って印刷部１１１の動作を制御する。本実施形態では、印刷部１１１における印刷は、インクジェット記録方式により行われる。

図２は、撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。合焦面２０１は、撮像装置において像面（撮像面）２０３と平行でピントの合う平面である。また、デフォーカス量２０５は、撮像面とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。デフォーカス量２０５は、撮像装置において、瞳分割型位相差検出方式やボケの異なる複数の画像を用いて検出される。例えば、画像の像ずれ量（視差量）２０６からデフォーカス量２０５が算出されてもよい。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。さらに、算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて、被写体像面の予定結像面に対するデフォーカス量２０５を算出する。

また、ＤＦＤ（Ｄｅｐｔｈ ｏｆ Ｄｅｆｏｃｕｓ）方式でデフォーカス量が算出されてもよい。ＤＦＤ方式では、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において、測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出し、デフォーカス量を算出する。

次に、図３を用いて合焦面と物体との距離を算出する方法を説明する。図３では、距離３０１は合焦物体距離ＯＢＪ（０）であり、距離３０２は合焦像物体に対する撮像面距離Ｓ（０）である。また、距離３０３は物体距離ＯＢＪ（ｄｅｆ）であり、距離３０４は合焦面から物体までの距離である。レンズの公式により、下記の式（１）、（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は下記の式（３）で算出することが可能である。

式（３）で算出した物体距離を合焦物体距離から減算することで、合焦面から物体までの距離３０４が算出される。上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面からの距離３０４のいずれでもよい。

次に、デフォーカスマップについて説明する。上述のデフォーカス量２０５を入力画像データ上の複数個所でマップ化したものがデフォーカスマップであり、図５（ａ）は、デフォーカスマップの一例を示している。本実施形態では、図５（ａ）に示すように、２つの立方体５０１、５０２を撮影した入力画像データに対するデフォーカスマップであり、入力画像データの各画素に対応するデフォーカス量２０５の情報を保持している。

図５（ｂ）は、デフォーカス量２０５と本実施形態で使用する各領域との対応を説明するための図である。図５（ｂ）でデフォーカス量２０５の値「０」が撮影時の合焦面に相当するデフォーカス量２０５であり、図５（ａ）の最も黒い部分（領域５０３）に対応する。デフォーカス量２０５の値「０」から離れるにつれて、図５（ａ）では白くなっていく。図５（ａ）のデフォーカスマップにおいて、デフォーカス量２０５の値「０」の領域が領域５０３に対応しており、ピントが合っている（合焦面）画像領域である。以下、領域５０３を合焦領域という。本実施形態では、領域５０３以外の領域を、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域５０４とする。デフォーカス量ｄ１は、許容合焦領域５０５と非許容合焦領域５０６の境界の値である。さらに、デフォーカス量ｄ２は、デフォーカスマップに含まれる最大のデフォーカス量である。デフォーカス量ｄｘは、デフォーカス量ｄ１とｄ２の間の特定のデフォーカス量を表す。

また、本実施形態では、ピントが合っていると許容する領域を許容合焦領域５０５とする。許容合焦領域５０５は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。また、許容合焦領域５０５以外の領域を、許容合焦領域５０５ではない領域として非許容合焦領域５０６とする。図５（ｂ）では、横軸をデフォーカス量２０５としたが、合焦面からの距離に相当する情報である、上述の像ずれ量２０６や合焦面からの距離３０４であってもよい。また、本実施形態では、合焦領域５０３と許容合焦領域５０５を、合焦していると判定される領域と総称し、非合焦領域５０４と非許容合焦領域５０６を、合焦していないと判定される領域と総称する。

本実施形態における画像処理部１１０の構成を図４に示す。また、本実施形態における画像処理を図６のフローチャートを参照しながら説明する。画像処理部１１０は、入力画像データを取得し（Ｓ６０１）、撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップを取得する（Ｓ６０２）。さらに、領域設定部４０１は、入力画像データあるいは／およびデフォーカスマップを用いて、入力画像中の周辺領域を設定する（Ｓ６０３）。領域設定部４０１における処理については後述する。さらに、明るさ情報取得部４０２は、デフォーカスマップの情報により設定した合焦領域あるいは許容合焦領域と、領域設定部４０１で設定した周辺領域の明るさ情報を入力画像より取得する（Ｓ６０４）。さらに、立体感制御部４０３は、加えて、記憶装置１０５や、不図示の出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記憶されている出力装置１０２の出力特性に基づいて定められた画像処理条件４０５を取得する（Ｓ６０５）。

本実施形態では、画像処理条件４０５は、印刷条件毎に記憶装置内に保持されており、上述の印刷情報データに応じて画像処理条件４０５が選択され、立体感制御部４０３に入力される。立体感制御部４０３における処理の詳細は後述するが、入力画像データとデフォーカスマップ、出力装置１０２の出力特性に基づいて定められた画像処理条件４０５によって、画像の立体感を制御する（Ｓ６０６）。なお、画像処理条件４０５の詳細については後述する。

次に、出力画像生成部４０４では、立体感制御部４０３から出力される出力画像データ（ＲＧＢ）に対して、インクジェットプリンタの記録ヘッドで記録するためのデータを生成する（Ｓ６０７）。例えば、まずデバイス非依存のＲＧＢデータをデバイス依存のＲＧＢデータに変換する色変換処理を実行し、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理を実行する。さらに、記録装置の階調特性に線形的に対応づけられるように階調補正を行う階調補正処理、インク色データをインクドットのＯＮ／ＯＦＦの情報に変換するハーフトーン処理、記録ヘッドの各記録走査で記録される２値データを生成するマスクデータ変換処理等を実行する。いずれもインクジェットプリンタにおいては一般的な処理であるので、それらの詳細な説明は省略する。出力画像生成部４０４で作成された出力データは、印刷部１１１に送られ、記録媒体上に記録される（Ｓ６０８）。

［出力装置における立体感］
ここで、出力装置１０２の鮮鋭性に影響する出力特性と、立体感の制御について説明する。人間は、カメラなどで撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を感じる。一方、プリンタに限らず、ディスプレイやプロジェクタ等の出力装置で画像を出力した際、出力された画像の鮮鋭性は、出力装置に入力された画像データが有する画像の鮮鋭性とは異なる。すなわち、出力装置で出力するための処理がなされることによって、出力装置に入力される前の画像データが有する鮮鋭性が変化し、鑑賞者が感じる立体感が低減してしまう。また、照明条件や鑑賞者が鑑賞する距離等の画像を鑑賞する環境、または鑑賞する人の視覚特性等の影響により、鑑賞者が感じる画像の鮮鋭性が、出力装置によって出力された画像が有する画像の鮮鋭性と異なり、さらに立体感が感じられなくなってしまう可能性がある。

図７は、コントラスト感度特性（ｃｏｎｔｒａｓｔ ｓｅｎｓｉｔｉｖｉｔｙ ｆｕｎｃｔｉｏｎｓ：ＣＳＦ）の模式図を示しており、横軸は空間周波数、縦軸はコントラスト感度である。図７で示すように、コントラスト感度特性は、画像の平均輝度（明るさ）によって異なる。平均輝度が明視レベルの場合、２～６（ｃｙｃｌｅ／ｄｅｇ）あたりでコントラスト関数特性は最大となる。空間周波数がそれより低くなっても高くなっても感度は低下し、さらに、平均輝度が高くなるほどピークの空間周波数が大きくなりピークが高くなる傾向がある。

人間は、空間周波数により知覚できる輝度の変化の量が異なり、図７に示すコントラスト感度特性を見ても分かる通り、バンドパス特性を有している。また、図７に示す平均輝度（明るさ）の違いによるコントラスト感度特性の図からも分かるように、平均輝度が明るくなるにつれてコントラスト感度のピークが高くなり、かつピークの周波数が高周波側にシフトする。この影響により、入力画像の立体感に影響している許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像を鑑賞する際に維持されない場合がある。

図８のグラフを用いてさらに詳しく説明する。なお、図８においては、説明簡略化のため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性とが同じ周波数にピークを持つ画像を例として説明する。図８（ａ）は、鮮鋭性の差により立体感がある入力画像データにおいて、特定の周波数における入力画像データの合焦領域の鮮鋭性を示すコントラストＣ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２の相対関係を示している。一方、図７の「平均輝度（明るさ）が中」の場合のコントラスト感度を適用すると、出力画像の合焦領域と非合焦領域のコントラストの関係は、図８（ｂ）に示すコントラスト値Ｃ１とＣ２’に変化する。

図８（ａ）及び８（ｂ）から明らかなように、入力画像データの鮮鋭性の変化量が、コントラスト感度特性の影響により、合焦領域と非合焦領域で異なる。これにより、立体感に影響する鮮鋭性の差（コントラスト値Ｃ１とＣ２’の関係８０２）が、入力画像データにおける鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係８０１）と異なり、適切な立体感が得られない画像となってしまう。本実施形態では、コントラスト感度特性を適用したデフォーカス量２０５毎の鮮鋭性に関する特性に基づいたボケの状態によって適切に鮮鋭性を制御することで、立体感のある出力画像の鮮鋭性を制御することができる。また、後述するが、特に許容合焦領域に関しては、周辺領域の輝度に応じて鮮鋭性の制御を行う。それにより、立体感のある出力画像の鮮鋭性の制御において許容合焦領域に関して、周辺領域に対する見た目の明るさに応じた鮮鋭性の制御を行うことができる。

後述する画像処理条件４０５には、コントラスト感度特性を適用したデフォーカス量２０５毎の鮮鋭性に関する特性に基づいたデフォーカス量と立体感制御量の関係が設定される。これを用いて画像の鮮鋭性を適切に制御した出力画像においては、合焦領域と非合焦領域のコントラスト値の関係は、図８（ａ）に示すようにそれぞれＣ１とＣ２となる。図８に示すように、画像処理条件４０５に基づいて立体感制御処理を実行した出力画像では、処理をしない場合の鮮鋭性の差（コントラスト値Ｃ１とＣ２’の関係８０２）に対してより小さくなることで、入力画像における鮮鋭性の差に等しく（もしくは限りなく近く）なり、適切な立体感を得ることができる。

図８では、説明簡略化のため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量２０５に対応する画像の空間周波数との２点に対するコントラストを比較した。これに限らず、合焦領域と非合焦領域の他のデフォーカス量２０５に対応する画像についても同様である。また、許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像との２点においても同様である。

前述のコントラスト感度特性に加え、人間の視覚特性として、側抑制とよばれる視覚システムの働きによって、明るさの対比現象が発生する。この現象を図９で説明する。図９の領域９０１と領域９０２の部分の物理的な明るさは等しいにも関わらず、人間の目で見て知覚・認知する明るさは、上記の視覚システムの働きにより領域９０１の方が実際よりも暗く見え、領域９０２の方が実際よりも明るくみえる。これは、視覚システムの神経細胞群は、互いに近くや隣接する別の神経細胞群と抑制しあっており、光が当たった神経細胞群自身は強く応答するとともに、周りにある神経細胞群の活動を抑制することに起因する。具体的には、図９では領域９０３は白であるため、領域９０３に反応する神経細胞群は応答が強くなり、その結果、領域９０１に反応する神経細胞群は抑制され、領域９０１の灰色はより暗く見える。一方、領域９０４は黒であるため、その領域に反応する神経細胞群には光が当たらず神経細胞群は働かないため、領域９０２に反応する神経細胞群は抑制されず、領域９０１のように周辺に黒がある場合に比べて領域９０２の灰色はより明るく見える。

つまり、人間が画像の許容合焦領域を見た際に、前述した側抑制とよばれる視覚システムの働きによって明るさの対比現象が発生すると、見た目の明るさは、実際の明るさとは異なる。明るさが異なることで、コントラスト感度特性が変化するので、許容合焦領域の鮮鋭感が異なる。前述したように、鑑賞者は、許容合焦領域の鮮鋭感と、それ以外の非許容合焦領域の鮮鋭感との差によって立体感を感じている。つまり、許容合焦領域の明るさが同じでも、周辺領域の明るさの影響によっては、画像を鑑賞した鑑賞者が出力装置により出力された画像が有する立体感を感じることができない可能性がある。

例えば、入力画像における周辺領域の平均輝度値が許容合焦領域の平均輝度値より高い場合、低い場合と比較して出力画像の許容合焦領域の鮮鋭性が高くなるように制御する。つまり、本実施形態では、図８に示すような鮮鋭性の制御において、特に許容合焦領域に関しては、周辺領域の輝度値に応じて鮮鋭性を制御する。なお、鮮鋭性の制御量については、後述する画像処理条件４０５に、コントラスト感度特性を適用したデフォーカス量２０５毎の出力画像特性（鮮鋭感）を考慮した、デフォーカス量２０５に対する立体感制御量として設定されている。

本実施形態では、様々な平均輝度（明るさ）に対するコントラスト感度特性とデフォーカス量２０５毎に立体感制御量を画像処理条件４０５に設定している。例えば、図１０（ａ）に示すチャート画像を用いた被験者実験を事前に実施する。この際、領域１０１１に対して周辺領域の明るさが変化した場合の領域１０１１の見た目の明るさの変化量を事前設定しておく。これにより、入力画像の許容合焦領域と周辺領域の明るさの関係により、許容合焦領域に対して考慮するコントラスト感度特性を適切に設定することができる。

なお、図１０（ｂ）の点１０１２は領域１０１１と周辺領域の明るさが等しい場合（パッチ１００６）に相当する。そして、周辺領域が暗くなるほど領域１０１１の見た目の明るさが明るくなり、周辺領域が明るくなるほど領域１０１１の見た目の明るさが暗くなる傾向（例えばパッチ１００３）を示している。

以上の理由により、合焦領域を含む許容合焦領域の周辺領域の明るさの情報に応じて、合焦領域を含む許容合焦領域の鮮鋭性を適切に制御することで、出力画像において適切な立体感を得ることができる。

［領域設定処理と明るさ情報の取得］
領域設定処理について説明する。領域設定部４０１では、デフォーカスマップに基づいて入力画像の許容合焦領域に対して周辺領域を設定する。周辺領域の設定の際、図１１（ａ）に示す入力画像と、これに対するデフォーカスマップ（図１１（ｂ））を領域設定部４０１の入力とする。以下、３つの周辺領域の設定方法について図１１（ｃ）、図１１（ｄ）、図１１（ｅ）を用いて説明する。

図１１（ａ）の入力画像中の物体１１０１の面１１０２が撮影時の合焦面である。よって、デフォーカスマップ（図１１（ｂ））における領域１１０３は合焦領域となる。領域設定部４０１で設定する周辺領域は入力画像の許容合焦領域の周りに存在し、許容合焦領域に注目した場合に、前述の明るさ対比現象の発生に影響する領域である。１つの設定方法として、図１１（ｃ）に示す許容合焦領域１１０５に対して、周辺領域１１０５は許容合焦領域１１０４の重心画素から特定の画素距離１１０６の範囲に設定する。

また、１つの設定方法として、図１１（ｂ）に示すように、周辺領域１１０７を許容合焦領域１１０７の境界画素から特定の画素距離１１０９の範囲に設定する。なお、特定の画素距離１１０６、１１０９）は、出力画像サイズ等を鑑みて許容合焦領域に注目した際に側抑制が発生する視野角から算出する。あるいは被験者実験等から明るさ対比現象が発生する周辺領域の範囲のデータを集めて算出する等の方法により事前に設定し、出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記載する。

さらに、１つの設定方法として、図１１（ｅ）に示すように周辺領域１１１１を図１１（ｂ）のデフォーカスマップを参照して設定する。例えば、非許容合焦領域中で特定のデフォーカス量２０５の範囲に含まれる領域として周辺領域１１１１を設定する。

ここまでは、許容合焦領域に対する周辺領域の設定方法について述べたが、例えば一般的な画像特徴検出技術やサリエンシーなどを利用して被写体検出を行い、許容合焦領域を含む主被写体領域に対し、上述した方法で周辺領域を設定する方法でもよい。上述の周辺領域を設定するためのパラメータ（デフォーカス量２０５、画素距離１１０６、１１０９等）は、図１に不図示の出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記憶されている。領域設定部４０１は、上記のパラメータにより設定した入力画像内の周辺領域の全ての画素値あるいは画素座標を、明るさ情報取得部４０２に出力する。明るさ情報取得部４０２は、領域設定部４０１から出力された周辺領域の画素値あるいは画素座標から入力画像での周辺領域の平均輝度情報と、入力画像における許容合焦領域の平均輝度情報を算出し、各領域の明るさ情報として立体感制御部４０３に出力する。

［立体感制御処理］
立体感制御処理について説明する。立体感制御部４０３では、画像処理条件４０５に設定されている鮮鋭性の制御パラメータにより入力画像データの鮮鋭性を制御する。画像処理条件４０５には、コントラスト感度特性を適用したデフォーカス量２０５毎の出力画像特性（鮮鋭感）を考慮した、デフォーカス量２０５に対する立体感制御量が設定されている。

図１２は、画像処理条件４０５に設定されているコントラスト感度特性を適用したデフォーカス量２０５と立体感制御量との関係を示している。画像処理条件４０５の作成方法については後述する。本実施形態の立体感制御部４０３では、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量２０５と、明るさ情報取得部４０２で算出された許容合焦領域と周辺領域の明るさ情報とを参照しながら、画像処理条件４０５に設定された立体感制御量（単に制御量ともいう）を適用してシャープネス処理を行う。

シャープネス処理では、例えば、式（４）のLaplacian Of Gaussianフィルタやアンシャープマスクを用いる。式（５）に式（４）のLaplacian Of Gaussianフィルタを用いた際の入力画像データの輝度情報の変換式を示す。Ｏｕｔ（ｘ，ｙ）は、立体感制御処理後の画像データ、βは画像処理条件４０３に設定されるデフォーカス量２０５に対する立体感制御量である。βは前項で説明したように、入力画像における周辺領域の平均輝度値が許容合焦領域の平均輝度値より高い場合、許容合焦領域の平均輝度値より低い場合と比較して出力画像の許容合焦領域の鮮鋭性が高くなるように制御されるよう画像処理条件４０５により設定されている。

図１２において、デフォーカス量ｄ１は、図５（ｂ）に示す許容合焦領域と非許容合焦領域の境界の値である。さらにデフォーカス量ｄ２は、デフォーカスマップに含まれる最大のデフォーカス量である。

出力画像において、コントラスト感度特性を適用したデフォーカス量２０５毎の鮮鋭性に関する特性を考慮した適切な立体感を得るためには、図１２（ａ）に示すように、デフォーカス量２０５に応じた制御量を適切に設定する必要がある。図１２（ａ）は、制御量の一例を示しており、デフォーカス量２０５が大きくなるにつれて、制御量１２０１が小さくなる。

尚、デフォーカス量２０５に応じた立体感制御量は、図１２（ａ）に示すものに限られない。例えば、図１２（ｂ）の制御量１２０２に示すように、非許容合焦領域を０としてもよい。非許容合焦領域の制御量を０としても、許容合焦領域と非許容合焦領域の間の鮮鋭性の差を、入力画像における許容合焦領域と非許容合焦領域の間の鮮鋭性の差に近づけることができるため、立体感を有する出力画像を得ることができる。

ここで、本実施形態では、前述したように周囲の明るさによって鑑賞者が感じる鮮鋭性が異なることを考慮して、画像に対する立体感制御処理を、許容合焦領域の平均輝度値に基づいて設定する。具体的には、入力画像における許容合焦領域の周辺に位置する周辺領域の平均輝度値が、許容合焦領域の平均輝度値より高い場合には、許容合焦領域の平均輝度値より低い場合と比較して、出力画像の許容合焦領域の鮮鋭性が高くなるように制御する。図１２（ｄ）に、周辺領域の平均輝度値が許容合焦領域の平均輝度値より高い場合の制御量１２０４を示す。また、図１２（ｃ）に、周辺領域の平均輝度値が許容合焦領域の平均輝度値より低い場合の制御量１２０３を示す。いずれも、デフォーカス量が大きくなるほど立体感制御量が小さくなるように設定されているが、図１２（ｄ）における制御量１２０４は、図１２（ｃ）における制御量１２０４よりも大きく設定されている。すなわち、周辺領域が合焦領域よりも明るい場合に立体感を再現するための制御量は、周辺領域が合焦領域よりも暗い場合に立体感を再現するための制御量よりも大きな値が設定される。

ここまでは、立体感制御処理としてシャープネス処理を採用して許容合焦領域の鮮鋭性を高める方法を説明したが、画像をボケさせるフィルタを使用して非合焦領域の鮮鋭性を低下させることにより立体感のある画像を得る方法を採用してもよい。周辺領域をさらにボケさせて鮮鋭性を低下させ、合焦領域の鮮鋭性との差を大きくすることで、立体感のある画像を得ることができる。例えば、ガウシアンフィルタの強度を立体感制御量により制御することで実現できる。その際には、図１２（ｅ）及び（ｆ）に示すように、デフォーカス量が大きくなるほど立体感制御量が大きくなるように設定することで、立体感のある画像を得ることができる。尚、このように、画像をぼけさせるフィルタを非合焦領域に適用する場合においても、合焦領域の周辺の領域の明るさを考慮することが望ましい。前述したように、鑑賞者は画像の鮮鋭性の差によって画像に立体感を感じる。従って、ボケさせるフィルタを用いる場合には、周辺領域の平均輝度値が許容合焦領域の平均輝度値よりも高い場合に設定される立体感制御量を、周辺領域の平均輝度値が許容合焦領域の平均輝度値よりも低い場合に設定される立体感制御量よりも小さくなるように設定する。

なお、シャープネス処理に使用するフィルタは、Laplacian Of Gaussianフィルタだけでなく、特定フィルタの強度を鮮鋭性制御量で制御したものでもよい。ここで、特定フィルタとは、例えば、出力装置の鮮鋭性の低下を示す特性から、その逆特性を求めて作成されたフィルタである。

また、本実施形態では、鮮鋭性を制御する処理としてシャープネス処理を例に説明したが、これはコントラスト処理であってもよい。合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については鮮鋭性制御量を係数とする変換式を用いる方法や入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できる方法であれば、これらに限られない。シャープネス処理とコントラスト処理のどちらも出力画像の鮮鋭性を制御することができるため、出力装置１０２の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて実行してもよい。

［画像処理条件］
立体感制御処理での画像処理条件４０５の作成方法について説明する。まず、例えば図１３に示すような計測用チャートをプリンタやディスプレイ、プロジェクタ等の出力装置１０２で出力する。その後、不図示の測定装置を用いて、取得した出力装置１０２の出力画像に対して前述のコントラスト感度特性を適用した画像の周波数特性（ＭＴＦ）を算出する。また、出力画像生成における各画像処理をＰＣ上でシミュレートして得られた画像に視覚のコントラスト感度特性を適用した画像のＭＴＦ特性を算出する方法でもよい。

図１３に示す画像は、ピントが合っている合焦面に対応する画像群１３０１、特定のデフォーカス量２０５における入力画像のボケ量に相当するボケで表現された複数の画像群１３０２を含んで構成されている。より詳細には、空間周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン１３０３、１３０４を含むチャートである。なお、図１３に示したものは、空間周波数の異なる複数の正弦波パターン１３０１、１３０２である。均一パターンは、正弦波パターン上の最大画素値と最小値の画素値とを含んで構成される。

画像処理条件４０５の作成方法を図１４のフローチャートを参照しながら説明する。まず、図１３に示す計測用チャートを取得する（チャート出力、Ｓ１４０１）。取得された計測用チャートの測定画像に対しコントラスト感度特性を適用する。測定画像をフーリエ変換した空間周波数特性に対しコントラスト特性を乗じることでコントラスト感度特性を適用し（Ｓ１４０２、Ｓ１４０３）、その結果を逆フーリエ変換してＭＴＦ算出用画像を取得する（Ｓ１４０４）。続いて、ＭＴＦ算出用画像から画像のＭＴＦ特性を算出する（Ｓ１４０５）。測定画像が正弦波パターンである場合、本実施形態におけるＭＴＦ特性は式（６）あるいは式（７）で算出する。この値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式（７）を用いてもよい。式（６）や式（７）におけるＲ１、Ｒ２の値は反射率であるが、輝度や濃度やデバイスＲＧＢ値を用いてもよい。不図示の測定装置としては、出力装置１０２がプリンタである場合は、例えばスキャナやデジタルカメラ、顕微鏡であり、ディスプレイやプロジェクタの場合は、デジタルカメラを用いてもよい。

また、矩形波パターンである場合、出力装置１０２のＭＴＦ特性は、式（６）または式（７）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。また、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値を用いてもよい。

前述の方法により、計測用チャートに含まれる合焦面に対応する画像群１３０１および特定のデフォーカス量に対応する画像群１３０２それぞれの画像に対しコントラスト感度特性を適用した画像の周波数特性（ＭＴＦ特性）が取得される。

これにより、デフォーカス量２０５ごとにＭＴＦ特性が取得できる。つまり、コントラスト感度特性を適用したデフォーカス量２０５毎の鮮鋭性に関する特性が得られる。一方、適切な立体感を有する出力画像を得るためには、立体感制御処理を適用しない場合と比較して、処理を適用した際の出力画像の許容合焦領域と非許容合焦領域の間の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の間の鮮鋭性の差に近づく必要がある。つまり、処理後の画像において、許容合焦領域と非許容合焦領域の間の鮮鋭性の差を適切に制御するためには、コントラスト感度を適用したデフォーカス量２０５毎の鮮鋭性に関する特性に応じて、鮮鋭性制御量を設定すればよい。例えば、特定の空間周波数における処理後の画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に、鮮鋭化処理によって復元するように立体感制御量を設定する（Ｓ１４０５）。

同様に、非合焦領域に対してもデフォーカス量毎に得られるＭＴＦ特性から復元量を算出して立体感制御量とする。これにより、図１２に示すデフォーカス量２０５に対する立体感制御量が算出される。本実施形態では、図１２（ａ）に示すように、合焦領域の立体感制御量は０であるが、合焦領域の鮮鋭性の特性に変化がある場合は、その制御量は０ではなく変化に対応した値であってもよい。

画像処理条件４０５としてデフォーカス量と鮮鋭度の関係を定義する方法は、デフォーカス量２０５を入力として鮮鋭性制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。勿論のこと、これらに限られず、デフォーカス量２０５に対する鮮鋭性制御量を算出できるのであれば、どのような方法でもよい。

画像処理条件４０５により鮮鋭化処理をしない場合の鮮鋭性の差に対して、処理を行った場合の鮮鋭性の差が、入力画像データにおける鮮鋭性の差に近くなることを満足することで、適切な立体感を有する出力画像が得られる。よって、立体感制御量は、上述を満足する値であれば、ＭＴＦ特性を復元する値には限られない。

上記で説明した方法により、コントラスト感度特性を適用したデフォーカス量２０５毎の鮮鋭性に影響する特性から、立体感制御量を導出する（Ｓ１４０６）。これに基づいて入力画像データを処理することで、出力画像における立体感を制御することが可能になる。

本実施形態は、画像処理条件４０５として、コントラスト感度特性を適用したデフォーカス量２０５と立体感制御量との関係を例に説明した。画像処理条件４０５はこれに限られず、合焦面からの距離に相当する情報である像ずれ量２０６もしくは合焦面と物体との距離３０４と、立体感制御量との関係としてもよい。

以上のように、デフォーカス量２０５に応じた出力装置１０２の鮮鋭性に関する出力特性から導出される画像処理条件４０５を設定する（Ｓ１４０７）。設定された画像処理条件４０５に基づいて入力画像データを処理することで、出力画像の立体感を制御することが可能となる。

また、以上で説明した実施形態では、写真画像中の画像データとしてカメラ等の撮像装置で撮影したデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、撮像して得られた写真画像を画像編集用のソフトウェアで編集して焦点位置の補正を行い、その際に合わせて画像中の領域毎のフォーカス量も変更することもある。その場合には、補正後の画像データと変更後のデフォーカス量を用いてもよい。また、撮像装置側でフォーカス量を取得せずに、撮像した画像を画像編集用のソフトウェアで解析し、その解析によりフォーカス量を取得するようにしてもよい。また、これらに限らず、例えばモデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータと、その画像データに対応するソフトで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 出力装置： １１３ ＣＰＵ： １１４ 記憶装置： １１５ 作業メモリ

Claims (17)

1. 出力装置で写真画像を出力するための画像データを入力する入力手段と、
   前記出力装置で出力された前記写真画像を鑑賞する鑑賞者が感じる立体感を、前記画像データが有する立体感に近づけるために、前記画像データに対応する合焦面からの距離に関する情報に基づいて、前記画像データの各画素のデータに対して、画像の鮮鋭性を制御する処理を実行する制御手段と、を備え、
   前記制御手段は、前記画像において合焦していると判定される合焦領域に隣接する周辺領域の輝度に応じて、前記合焦領域に対する鮮鋭性の制御量を設定する、
   ことを特徴とする画像処理装置。
2. 前記制御手段は、前記周辺領域の輝度が前記合焦領域の輝度より高い場合、前記周辺領域の輝度が前記合焦領域の輝度より低い場合よりも、前記合焦領域に対する前記鮮鋭性の制御量を大きくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記合焦面からの距離に関する情報は、デフォーカス量を含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制御手段は、前記デフォーカス量が第１の量の場合の前記鮮鋭性の制御量を、前記デフォーカス量が前記第１の量よりも小さい第２の量の場合の前記鮮鋭性の制御量よりも大きくすることを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段による鮮鋭性の制御が行われた画像データにおける前記合焦していると判定される領域と合焦していないと判定される領域との間の鮮鋭性の相対関係は、前記制御手段による鮮鋭性の制御が行われない画像データよりも、前記写真画像における前記合焦していると判定される領域と前記合焦していないと判定される領域との間の鮮鋭性の相対関係に近いことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 特定のデフォーカス量に対応し、複数の空間周波数に対応する複数のパターンを含む第１の計測用チャートを出力する第１のチャート出力手段と、
   前記第１のチャート出力手段により出力された前記第１の計測用チャートに基づいて、前記制御手段による鮮鋭性の制御量を取得する第１の取得手段と、をさらに備え、
   前記制御手段は、前記第１の取得手段により取得された前記制御量を用いて、前記入力手段により入力された画像データが表す画像の鮮鋭性を制御する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１の取得手段は、前記第１のチャート出力手段により出力された前記第１の計測用チャートからＭＴＦ特性を求め、当該ＭＴＦ特性に基づいて得られる鮮鋭性の復元量を、前記鮮鋭性の制御量として取得することを特徴とする請求項６に記載の画像処理装置。
8. 前記合焦していると判定される領域に複数の輝度を有する前記周辺領域が対応づけられた複数のパターンを含む第２の計測用チャートに基づいて、前記合焦していると判定される領域と前記周辺領域との間のコントラスト感度特性を取得する第２の取得手段、をさらに備え、
   前記第１の取得手段は、前記第１のチャート出力手段により出力された前記第１の計測用チャートと、前記第２の取得手段により取得された前記コントラスト感度特性とに基づいて前記鮮鋭性の制御量を取得する、
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記制御手段による鮮鋭性の制御は、シャープネス処理、コントラスト処理、の少なくともいずれかを含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記写真画像は被写体を撮像することにより得られたものであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記合焦面は被写体を撮像する際の合焦面であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記出力装置による出力は、印刷、表示の少なくともいずれかを含むことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 出力装置において実行される制御方法であって、
    写真画像の画像データを入力する入力工程と、
    前記写真画像中の合焦面からの距離に関する情報に基づいて、前記入力された画像データが表す画像の鮮鋭性を制御する制御工程と、
    前記制御工程において鮮鋭性の制御が行われた画像データを出力する出力工程と、を有し、
    前記制御工程では、前記画像において合焦していると判定される合焦領域に隣接する周辺領域の輝度に応じて、前記合焦領域に対する鮮鋭性の制御量を変化させる、
    ことを特徴とする画像処理方法。
14. コンピュータを、
    写真画像の画像データを入力する入力工程と、
    前記写真画像中の合焦面からの距離に関する情報に基づいて、前記入力された画像データが表す画像の鮮鋭性を制御する制御工程と、
    前記制御工程において鮮鋭性の制御が行われた画像データを出力する出力工程と、を実行させるためのプログラムであって、
    前記制御工程では、前記画像において合焦していると判定される合焦領域に隣接する周辺領域の輝度に応じて、前記合焦領域に対する鮮鋭性の制御量を変化させる、
    ことを特徴とするプログラム。
15. 出力装置で写真画像を出力するための画像データを入力する入力手段と、
    前記出力装置で出力された前記写真画像を鑑賞する鑑賞者が感じる立体感を、前記画像データが有する立体感に近づけるために、前記画像データに対応する合焦面からの距離に関する情報に基づいて、前記画像データの各画素のデータに対して、画像の鮮鋭性を制御する処理を実行する制御手段と、を備え、
    前記制御手段は、前記画像において合焦していると判定される合焦領域に隣接する周辺領域の輝度が前記合焦領域の輝度より高い場合、前記周辺領域の輝度が前記合焦領域の輝度より低い場合よりも、非合焦領域に対する前記鮮鋭性の制御量を小さくする、
    ことを特徴とする画像処理装置。
16. 前記合焦面からの距離に関する情報は、デフォーカス量を含むことを特徴とする請求項１５に記載の画像処理装置。
17. 前記制御手段による鮮鋭性の制御は、画像をボケさせる処理であることを特徴とする請求項１５又は１６に記載の画像処理装置。

Images