JP4327754B2 - 画像一覧生成装置および方法並びにプログラム - Google Patents

Description

本発明は、同一の画像について明るさが異なる複数の画像を生成し、これら複数の画像を含む一覧画像を生成する画像一覧生成装置および方法並びに画像一覧生成方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラ等により取得した画像をプリント出力する場合、所望とする画質のプリントが得られるように画像に対して明るさ変換処理、階調変換処理、ホワイトバランス調整処理、色変換処理、シャープネス処理等の画像処理を施し、画像処理が施された画像をプリント出力するようにしている。しかしながら、従来の画像処理においては、各処理において指定できるパラメータは１種類のみであることから、所望とする画質のプリントが得られるまで試行錯誤によりパラメータを何度も変更してプリントを繰り返す必要があった。

このため、設定値を変更した複数種類のパラメータにより同一の画像に対して画像処理を施して複数の処理済み画像を得、これら複数の処理済み画像を並べた一覧画像を生成し、一覧画像からユーザが所望とする画像を選択させるようにしたシステムが提案されている（特許文献１参照）。特許文献１記載のシステムによれば、試行錯誤を繰り返す必要がなくなるため、効率よく所望とする画質を有する画像を得ることができる。
特開平１１−１３６５２８号公報

画像処理における明るさのパラメータを変更した場合、パラメータの変更量と人間が感じる明るさの変更量とは必ずしも一致しない。例えば、明るさのパラメータを２倍に変更しても、変更前後の画像を人間が見ると明るさは２倍となって見えないものである。

ここで、特許文献１記載のシステムにおいては、パラメータを変更する幅はあらかじめ定められた規定の幅である。このため、明るさについても複数種類のパラメータを用いてはいるものの、パラメータの変更の程度があらかじめ定められた規定値であることから、人間が視覚的に感じる明るさの変更と一致しないこととなり、やはりユーザが納得する明るさを有する画像が得られるまで何度も試行錯誤を繰り返す必要が生じる。

本発明は上記事情に鑑みなされたものであり、人間の視覚に適合するように明るさを変更した画像の一覧を生成することを目的とする。

本発明による画像一覧生成装置は、画像を表す画像データから、前記画像に含まれる主要被写体がシャドー側基準明るさとなるシャドー側基準画像、前記主要被写体がハイライト側基準明るさとなるハイライト側基準画像、および前記主要被写体が所望の明るさとなる所望明るさ画像を生成し、前記画像データから前記シャドー側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第１の中間明るさ画像、および前記ハイライト側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第２の中間明るさ画像を生成する画像生成手段と、
前記シャドー側基準画像、前記第１の中間明るさ画像、前記所望明るさ画像、前記第２の中間明るさ画像および前記ハイライト側基準画像を並べた一覧画像を生成する一覧画像生成手段とを備えたことを特徴とするものである。

「シャドー側基準明るさ」とは、画像に含まれる主要被写体に黒つぶれが生じなくなるような明るさであり、黒つぶれが生じる限界の明るさであってもよく、画像に含まれる主要被写体の各画素における明るさの画素値のうち最も暗い画素値が、システムが再現可能な最も暗い明るさよりも若干明るくなる（例えば主要被写体のからヒストグラムの分布における数％程度）ような明るさを「シャドー側基準明るさ」としてもよい。

「ハイライト側基準明るさ」とは、主要被写体に白とびが生じなくなるような明るさであり、白とびが生じる限界の明るさであってもよく、画像に含まれる主要被写体の各画素における明るさの画素値のうち最も明るい画素値が、システムが再現可能な最も明るい明るさよりも若干暗くなる（例えば主要被写体のからヒストグラムの分布における数％程度）ような明るさを「ハイライト側基準明るさ」としてもよい。

なお、本発明による画像一覧生成装置においては、前記一覧画像生成手段を、前記シャドー側基準画像、前記第１の中間明るさ画像、前記第２の中間明るさ画像および前記ハイライト側基準画像をこの順序で並べるとともに、前記所望明るさ画像を他の画像よりも拡大して前記一覧画像を生成する手段としてもよい。

また、本発明による画像一覧生成装置においては、前記一覧画像をプリント出力するプリント手段をさらに備えるようにしてもよい。

この場合、前記一覧画像のプリントを観察する観察光源に応じたホワイトバランス調整処理を前記一覧画像に施すホワイトバランス処理手段をさらに備えるようにしてもよい。

また、本発明による画像一覧生成装置においては、前記画像データをＲＡＷ画像データとしてもよい。

本発明による画像一覧生成方法は、画像を表す画像データから、前記画像に含まれる主要被写体がシャドー側基準明るさとなるシャドー側基準画像、前記主要被写体がハイライト側基準明るさとなるハイライト側基準画像、および前記主要被写体が所望の明るさとなる所望明るさ画像を生成し、
前記画像データから前記シャドー側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第１の中間明るさ画像、および前記ハイライト側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第２の中間明るさ画像を生成し、
前記シャドー側基準画像、前記第１の中間明るさ画像、前記所望明るさ画像、前記第２の中間明るさ画像および前記ハイライト側基準画像を並べた一覧画像を生成することを特徴とするものである。

なお、本発明による画像一覧生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、シャドー側基準画像、ハイライト側基準画像、および所望の明るさ画像とともに、第１および第２の中間明るさ画像が生成される。ここで、第１の中間明るさ画像は、シャドー側基準明るさと所望明るさとを視覚的に等分する明るさを有し、第２の中間明るさ画像は、ハイライト側基準明るさと所望明るさとを視覚的に等分する明るさを有する。このため、シャドー側基準画像、第１の中間明るさ画像、所望明るさ画像、第２の中間明るさ画像およびハイライト側基準画像を並べた一覧画像においては、シャドー側基準画像、第１の中間明るさ画像および所望明るさ画像の間、並びに所望明るさ画像、第２の中間明るさ画像およびハイライト側基準画像の間において、視覚的な明るさの変化の程度が等分されたものとなっている。したがって、一覧画像を見たユーザは自身が所望する明るさの画像を適切に選択することができる。

また、一覧画像をプリント出力するに際し、一覧画像のプリントを観察する観察光源に応じたホワイトバランス調整処理を一覧画像に施すことにより、観察光源に応じたホワイトバランスにて一覧画像を観察することができるため、ユーザが所望する明るさを有する画像をより適切に選択することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による画像一覧生成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像一覧生成装置１は、入力部１１、画像生成部１２、一覧画像生成部１３、記憶部１４および出力部１５を備える。そして、入力部１１から入力された入力画像データから一覧画像を生成して出力部１５から出力するものである。

なお、本実施形態においては入力部１１からはＲＡＷ画像データが入力されるものとする。

図１の画像一覧生成装置１は、具体的には所定のプログラムによって動作するプロセッサ（図示せず）を主体に実現される。このプロセッサは、スタンドアローンのコンピュータを構成するものであっても、画像を閲覧等する機器の機能を実現するためのプロセッサと兼用されるものでもよい。

入力部１１は、一覧画像を生成する画像データおよび処理に利用される各種データを入力するものである。入力部１１は、例えばスタンドアローンコンピュータの入力デバイスであり、機器に組み込みの場合等は他の機能ブロックとのデータ受け渡しのためのメモリである。

画像生成部１２は、一覧画像に含める画像の生成の処理を所定のプログラムにしたがって実行するものである。なお、画像生成部１２における画像の生成は後述する。

一覧画像生成部１３は、画像生成部１２が生成した画像を並べた一覧画像の生成の処理を所定のプログラムにしたがって実行するものである。

記憶部１４は、画像生成部１２が画像を生成する際に必要な各種情報を記憶する。具体的には、画像生成部１２が後述するようにホワイトバランス調整処理を行う際に必要な、観察光源の分光輝度データ、一覧画像をプリントする感光材料の分光反射率、各種光源下における色順応レベル、各種光源下における好ましい光源色残存レベルおよび画像を取得したカメラの機種単位での分光感度を記憶する。また、記憶部１４は後述するように生成されたホワイトバランス調整のための変換プロファイルを一時的に記憶する。

出力部１５は、一覧画像を表す画像データを出力するものである。出力部１５は、例えばスタンドアローンコンピュータの出力デバイスであり、本実施形態においては出力部１５をプリンタとする。

次いで、画像生成部１２における画像の生成について説明する。まず画像生成部１２は入力部１１から入力された処理対象の画像データＳ０に対して、画像データＳ０のヘッダに付与されているカメラの機種情報に基づいて、記憶部１４からカメラの機種の分光感度を取得する。続いて、入力部１１から入力された観察光源の分光輝度データ、観察光源下における色順応レベルおよび光源色残存レベル、並びに一覧画像をプリントする感光材料の分光反射率を取得する。

そして、画像データＳ０からホワイトバランスのパラメータを取得する。ホワイトバランスのパラメータは、画像データＳ０を構成するＲＧＢ各画素値の各色毎の平均値を算出し、ＲＧＢ各色の平均値とＧの色の平均値との比率を算出することにより求める。

次いで、カメラの分光感度から画像に含まれる主要被写体の分光反射率を算出し、さらに上記ホワイトバランスのパラメータ、観察光源の分光反射率、観察光源下における色順応レベル、観察光源下における光源色残存レベル、および感光材料の分光反射率を用いて、ホワイトバランスを変換する変換プロファイルを生成する。そして、変換プロファイルを記憶部１４に一時的に記憶する。

次いで、画像生成部１２は、画像Ｓ０から主要被写体を抽出する。本実施形態においては、人物の顔を主要被写体とし、既知の顔認識のアルゴリズムを用いて画像Ｓ０から人物の顔を認識し、認識された顔の領域を主要被写体として抽出する。そして抽出した顔領域に含まれる各画素の輝度値についてのヒストグラムを求める。図２は輝度値のヒストグラムの例を示す図である。

画像生成部１２は、顔領域がシャドー側の基準明るさとなるようにするために画像Ｓ０の明るさを補正する補正量Ｍ１を算出する。具体的には、図３に示すようにヒストグラムＨ０の最も暗いシャドー部Ｄｓに黒つぶれが生じるようにヒストグラムＨ０のシャドー部Ｄｓの輝度値を０にシフトするための補正量Ｍ１′を求め、さらにヒストグラムＨ０の分布の３％程度、補正量Ｍ１′を明るい側にシフトすることにより補正量Ｍ１を求める。

また、画像生成部１２は、顔領域がハイライト側の基準明るさとなるようにするために画像Ｓ０の明るさを補正する補正量Ｍ２を算出する。具体的には、図４に示すようにヒストグラムＨ０の最も明るいハイライト部Ｄｈに白とびが生じるようにヒストグラムＨ０のシャドー部Ｄｈの輝度値を最大値（図３から図５において輝度値の軸にメモリを付与することにより示す）にシフトするための補正量Ｍ２′を求め、さらにヒストグラムＨ０の分布の３％程度、補正量Ｍ２′を暗い側にシフトすることにより補正量Ｍ２を求める。

さらに画像生成部１２は、図５に示すように、顔領域があらかじめ定められた所望とする肌色の明るさの範囲に収まるように、ヒストグラムＨ０をシフトすることにより補正量Ｍ３を算出する。

そして画像生成部１２は、画像Ｓ０に対して階調変換処理、色補正処理およびシャープネス処理を施して中間処理済み画像Ｓ０′を生成する。続いて、中間処理済み画像Ｓ０′を補正量Ｍ１により補正することにより、主要被写体である顔領域がシャドー側基準明るさを有する第１の画像Ｓ１を生成する。さらに、中間処理済み画像Ｓ０′を補正量Ｍ２により補正することにより、顔領域がハイライト側基準明るさを有する第２の画像Ｓ２を生成する。さらに、中間処理済み画像Ｓ０′を補正量Ｍ３により補正することにより、顔領域が所望の明るさを有する第３の画像Ｓ３を生成する。

続いて、画像Ｓ１の明るさと画像Ｓ３の明るさとを視覚的に等分する明るさを有する中間明るさ画像Ｓ４を生成する。画像Ｓ１，Ｓ２，Ｓ３の輝度値Ｄ１，Ｄ２，Ｄ３を輝度軸上に並べた状態を図６に示す。なお、輝度値は画像Ｓ１〜Ｓ４の全画素における輝度値の平均値とする。ここで、画像Ｓ１，Ｓ３の輝度値Ｄ１，Ｄ３を２等分するように画像Ｓ４を求めても、人間の視覚的には画像Ｓ４は画像Ｓ１，Ｓ３の輝度値Ｄ１，Ｄ３を２等分したようには見えない。ここで、人間の視覚は暗い側の方が明るい側よりも感度が高く、暗い側の方が変更の程度が小さくても明るさの変化を認識しやすいものである。

このため、画像生成部１２は、画像Ｓ４の輝度値Ｄ４と輝度値Ｄ１との差（Ｄ４−Ｄ１）が、輝度値Ｄ３と輝度値Ｄ４との差（Ｄ３−Ｄ４）よりも小さくなるように画像Ｓ４を生成する。すなわち、Ｄ４−Ｄ１：Ｄ３−Ｄ４＝α：βとし、α＜βとなるように画像Ｄ４を生成する。

また、画像生成部１２は、画像Ｓ３の明るさと画像Ｓ２の明るさを視覚的に等分する明るさを有する中間明るさ画像Ｓ５を生成する。具体的には、画像Ｓ５の輝度値Ｄ５と輝度値Ｄ３との差（Ｄ５−Ｄ３）が、輝度値Ｄ２と輝度値Ｄ６との差（Ｄ２−Ｄ５）よりも小さくなるように画像Ｓ５を生成する。すなわち、Ｄ５−Ｄ３：Ｄ２−Ｄ５＝α：βとし、α＜βとなるように画像Ｄ５を生成する。ここで、画像Ｓ４，Ｓ５を生成する際のα、βの値はともに同一とする。

そして、画像生成部１２は、上述したように求めた変換プロファイルにより画像Ｓ１〜Ｓ５のホワイトバランスを調整し、最終的な処理済みの画像Ｓ１１〜Ｓ１５を生成する。

一覧画像生成部１３は画像Ｓ１１〜Ｓ１５のうち、画像Ｓ１３が画像Ｓ１１，Ｓ１２，Ｓ１４，Ｓ１５よりも大きくなるように画像Ｓ１１〜Ｓ１５のサイズを変更し、さらに図７に示すように、画像Ｓ１３の下方に、画像Ｓ１１，Ｓ１４，Ｓ１５，Ｓ１２をこの順序で並べて配列して一覧画像Ｇ０を生成する。なお、画像Ｓ１１，Ｓ１４，Ｓ１５，Ｓ１２の下方には、画像Ｓ１３の明るさの補正量を０とした場合の明るさの補正量の値を表示することが好ましい。また、一覧画像生成部１３において、画像Ｓ１〜Ｓ５を並べた一覧画像を生成し、これに対して変換プロファイルを用いてホワイトバランス調整処理を施すことにより、一覧画像Ｇ０を生成するようにしてもよい。

次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。まず、入力部１１が処理対象の画像の入力を受け付けることにより処理が開始され、画像生成部１２が画像Ｓ１〜Ｓ５を生成する（ステップＳＴ１）。そして画像Ｓ１〜Ｓ５に対して変換プロファイルを用いてホワイトバランス調整処理を施して処理済みの画像Ｓ１１〜Ｓ１５を生成する（ステップＳＴ２）。そして、一覧画像生成部１３が一覧画像Ｇ０を生成し（ステップＳＴ３）、出力部１５が一覧画像Ｇ０をプリント出力し（ステップＳＴ４）、処理を終了する。

このように、本実施形態においては、シャドー側の基準明るさを有する画像Ｓ１１、ハイライト側の基準明るさを有する画像Ｓ１２、所望の明るさを有する画像Ｓ１３、画像Ｓ１１の明るさと画像Ｓ１３の明るさとを視覚的に等分する明るさを有する画像Ｓ１４、および画像Ｓ１３の明るさと画像Ｓ１２の明るさとを視覚的に等分する明るさを有する画像Ｓ１５を生成し、これらを一覧画像Ｇ０に含めるようにしたものである。このため、一覧画像Ｇ０においては、画像Ｓ１１、画像Ｓ１４、画像Ｓ１３、画像Ｓ１５、画像Ｓ１２の間において、明るさの変化の程度が人間の視覚的に等分されたものとなっている。したがって、一覧画像Ｇ０を見たユーザは自身が所望する明るさの画像を適切に選択することができる。

また、一覧画像Ｇ０をプリント出力するに際し、一覧画像Ｇ０のプリントを観察する観察光源に応じたホワイトバランス調整処理を施しているため、観察光源に応じたホワイトバランスにて一覧画像Ｇ０を観察することができ、その結果、ユーザが所望する明るさを有する画像をより適切に選択することができる。

なお、上記実施形態においては、α＜βとなるように画像Ｄ４，Ｄ５を生成しているが、明るさの変化がそれほどない場合、視覚的に明るさを等分するとα＝βとなる場合がある。したがって、α≦βとなるように画像Ｄ４，Ｄ５を生成するようにしてもよい。

また、上記実施形態においては、画像Ｓ１１の明るさと画像Ｓ１３の明るさとを視覚的に２等分して画像Ｓ１４を生成しているが、画像Ｓ１１の明るさと画像Ｓ１３の明るさとを視覚的により多く等分して複数の中間明るさ画像を生成するようにしてもよい。また、画像Ｓ１３の明るさと画像Ｓ１２の明るさとを視覚的に２等分して画像Ｓ１５を生成しているが、画像１３の明るさと画像１２の明るさとを視覚的により多く等分して複数の中間明るさ画像を生成するようにしてもよい。この場合、中間明るさ画像の輝度値は、輝度軸上において隣接する他の中間明るさ画像、画像Ｓ１１、画像Ｓ１３または画像Ｓ１２の輝度値間を、α≦βの関係が成立するようにα：βに内分するものとなる。

また、上記実施形態においては画像Ｓ１３のみを拡大し、その下方に画像Ｓ１１，Ｓ１４，Ｓ１５，Ｓ１２をこの順序で並べているが、すべての画像を同一サイズとし、画像Ｓ１１，Ｓ１４，Ｓ１３．Ｓ１５，Ｓ１２をこの順序で並べるようにしてもよい。

ここで、上記実施形態においては、処理対象の画像データはＲＡＷ画像データであり、ＪＰＥＧ等のように圧縮された画像と比較して情報量が多く、また撮影したカメラの機種が分かればその色特性から被写体の色を忠実に再現することができるものである。このため、上記実施形態においては、中間処理済み画像Ｓ０′を生成する際に、特定のフイルムで撮影したときの色再現に相当するような色補正を行ったり、被写体のオリジナルの色を忠実に再現するような色補正を行うことが可能である。また、緑、肌色、グレーおよび水色等の色をより忠実に再現するように色補正を行ったり、特定の被写体の色（例えば桜、海、紅葉、雪等）を忠実に再現するように色補正を行うことも可能である。

また、上記実施形態においては、画像データをＲＡＷ画像データとしているが、ＪＰＥＧ等の圧縮された画像データに対しても、同様に一覧画像Ｇ０を生成することが可能である。

本発明の実施形態による画像一覧生成装置の構成を示す概略ブロック図 輝度値のヒストグラムの例を示す図 補正量Ｍ１の算出を説明するための図 補正量Ｍ２の算出を説明するための図 補正量Ｍ３の算出を説明するための図 画像Ｓ１，Ｓ２，Ｓ３の輝度値Ｄ１，Ｄ２，Ｄ３を輝度軸上に並べた状態を示す図 一覧画像を示す図 本実施形態において行われる処理を示すフローチャート

符号の説明

１１ 入力部
１２ 画像生成部
１３ 一覧画像生成部
１４ 記憶部
１５ 出力部

Claims (7)

1. 画像を表す画像データから、前記画像に含まれる主要被写体がシャドー側基準明るさとなるシャドー側基準画像、前記主要被写体がハイライト側基準明るさとなるハイライト側基準画像、および前記主要被写体が所望の明るさとなる所望明るさ画像を生成し、前記画像データから前記シャドー側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第１の中間明るさ画像、および前記ハイライト側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第２の中間明るさ画像を生成する画像生成手段と、
   前記シャドー側基準画像、前記第１の中間明るさ画像、前記所望明るさ画像、前記第２の中間明るさ画像および前記ハイライト側基準画像を並べた一覧画像を生成する一覧画像生成手段とを備えたことを特徴とする画像一覧生成装置。
2. 前記一覧画像生成手段は、前記シャドー側基準画像、前記第１の中間明るさ画像、前記第２の中間明るさ画像および前記ハイライト側基準画像をこの順序で並べるとともに、前記所望明るさ画像を他の画像よりも拡大して前記一覧画像を生成する手段であることを特徴とする請求項１記載の画像一覧生成装置。
3. 前記一覧画像をプリント出力するプリント手段をさらに備えたことを特徴とする請求項１または２記載の画像一覧生成装置。
4. 前記一覧画像のプリントを観察する観察光源に応じたホワイトバランス調整処理を前記一覧画像に施すホワイトバランス処理手段をさらに備えたことを特徴とする請求項３記載の画像一覧生成装置。
5. 前記画像データがＲＡＷ画像データであることを特徴とする請求項１から４のいずれか１項記載の画像一覧生成装置。
6. 画像を表す画像データから、前記画像に含まれる主要被写体がシャドー側基準明るさとなるシャドー側基準画像、前記主要被写体がハイライト側基準明るさとなるハイライト側基準画像、および前記主要被写体が所望の明るさとなる所望明るさ画像を生成し、
   前記画像データから前記シャドー側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第１の中間明るさ画像、および前記ハイライト側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第２の中間明るさ画像を生成し、
   前記シャドー側基準画像、前記第１の中間明るさ画像、前記所望明るさ画像、前記第２の中間明るさ画像および前記ハイライト側基準画像を並べた一覧画像を生成することを特徴とする画像一覧生成方法。
7. 画像を表す画像データから、前記画像に含まれる主要被写体がシャドー側基準明るさとなるシャドー側基準画像、前記主要被写体がハイライト側基準明るさとなるハイライト側基準画像、および前記主要被写体が所望の明るさとなる所望明るさ画像を生成する手順と、
   前記画像データから前記シャドー側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第１の中間明るさ画像、および前記ハイライト側基準明るさと前記所望明るさとを視覚的に等分する明るさを有する少なくとも１つの第２の中間明るさ画像を生成する手順と、
   前記シャドー側基準画像、前記第１の中間明るさ画像、前記所望明るさ画像、前記第２の中間明るさ画像および前記ハイライト側基準画像を並べた一覧画像を生成する手順とを有することを特徴とする画像一覧生成方法をコンピュータに実行させるためのプログラム。

Images