JP5663914B2

JP5663914B2 - 画像表示装置

Info

Publication number: JP5663914B2
Application number: JP2010069929A
Authority: JP
Inventors: えりか小石
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-03-25
Filing date: 2010-03-25
Publication date: 2015-02-04
Anticipated expiration: 2030-03-25
Also published as: JP2011203437A

Description

本発明は、画像表示装置に関する。

従来から、画像表示装置での色の見えは、視環境（照明の輝度や白色点、周囲の明るさを含む）の条件に応じてそれぞれ異なることが知られている。例えば、視覚の順応している輝度が高い視環境では、人間の目には輝度や彩度のコントラストが通常よりも高く知覚される。このことから、周囲の視環境に応じて、表示する画像のコントラストや明るさを補正する技術も提案されている（例えば特許文献１参照）。

特開平６−８３２８７号公報

ところで、画像表示装置での色の見えは、画像表示装置の背面側の明るさと、画像表示装置の正面側の明るさとの両方の影響を受ける。例えば、画像表示装置が小さく、かつ画像表示装置よりも周囲の明るさが高い場合、人間の目は周囲の明るさに順応するため、画像表示装置の背面側の明るさが画像の見えに影響を与える。また、画像表示装置の正面側での反射光は、人間の目はフレアとして知覚されて画像の見えに影響を与える。

一方、従来の技術では、上記の照明条件の違いによる画像の見えへの影響が考慮されていない点で改善の余地があった。

そこで、本発明は、表示される画像での色の見えを周囲の明るさに応じてより良好に調整しうる手段を提供する。

本発明の一態様に係る画像表示装置は、画像を表示する表示部と、第１取得部と、第２取得部と、制御部とを備える。第１取得部は、表示部の表示面正面側から環境光による第１照明条件を取得する。第２取得部は、表示部の表示面背面側から環境光による第２照明条件を取得する。制御部は、装置で画像を表示するときの視環境としてそれぞれ想定された装置側の想定表示輝度および想定周囲輝度の比と、第２取得部で得られた第２照明条件としての周囲輝度または周囲照度の情報とを用いて、表示部の輝度と、画像を表示部に表示するときに適用する第１の階調変換特性とをそれぞれ決定する。また、制御部は、第１取得部で得られた第１照明条件としての照度が、第２取得部で得られた第２照明条件としての照度より大きい場合、複数の第２の階調変換特性のうちで暗部の抑制度合いが強い階調変換特性を選択し、第２取得部で得られた第２照明条件としての照度が、第１取得部で得られた第１照明条件としての照度より大きい場合、複数の第２の階調変換特性のうちで暗部の抑制度合いが弱い階調変換特性を選択する。
本発明の他の態様に係る画像表示装置は、画像を表示する表示部と、第１取得部と、第２取得部と、制御部とを備える。第１取得部は、表示部の表示面正面側から環境光による第１照明条件を取得する。第２取得部は、表示部の表示面背面側から環境光による第２照明条件を取得する。制御部は、装置で画像を表示するときの視環境としてそれぞれ想定された装置側の想定表示輝度および想定周囲輝度の比と、第２取得部で得られた第２照明条件としての周囲輝度または周囲照度の情報とを用いて、表示部の輝度と、画像を表示部に表示するときに適用する第１の階調変換特性とをそれぞれ決定する。また、制御部は、第１取得部で得られた第１照明条件としての照度が、第２取得部で得られた第２照明条件としての照度より大きい場合、複数の第３の階調変換特性のうちで、中間調の変換特性において入力に対する出力の傾きが大きい階調変換特性を選択し、第２取得部で得られた第２照明条件としての照度が、第１取得部で得られた第１照明条件としての照度より大きい場合、複数の第３の階調変換特性のうちで、中間調の変換特性において入力に対する出力の傾きの小さい階調変換特性を選択する。
本発明のさらに他の態様に係る画像表示装置は、画像を表示する表示部と、第１取得部と、第２取得部と、制御部とを備える。第１取得部は、表示部の表示面正面側から環境光による第１照明条件を取得する。第２取得部は、表示部の表示面背面側から環境光による第２照明条件を取得する。制御部は、装置で画像を表示するときの視環境としてそれぞれ想定された装置側の想定表示輝度および想定周囲輝度の比と、第２取得部で得られた第２照明条件としての周囲輝度または周囲照度の情報とを用いて、表示部の輝度と、画像を表示部に表示するときに適用する第１の階調変換特性とをそれぞれ決定する。また、制御部は、画像表示領域の視角、観察視距離および画像表示領域のサイズの少なくともいずれかの情報を用いて、第２の階調変換特性および第３の階調変換特性の少なくともいずれかを変更する。

本発明によれば、表示される画像での色の見えを周囲の明るさに応じてより良好に調整しうる。

本実施形態での画像表示装置の構成例を示すブロック図（ａ）電子カメラの筐体背面側での環境光の入射状態を示す模式図、（ｂ）電子カメラの筐体正面側での環境光の入射状態を示す模式図本実施形態の電子カメラにおける画像の表示制御の例を示す流れ図図２のＳ１０６でのサブルーチンの例を示す流れ図本実施形態での第３ＬＵＴのトーンカーブの例を示す図本実施形態での第４ＬＵＴのトーンカーブの例を示す図本実施形態での第５ＬＵＴのトーンカーブの例を示す図

＜画像表示装置の構成例＞
図１は、本実施形態での画像表示装置の構成例を示すブロック図である。本実施形態では、画像表示装置が電子カメラに組み込まれている例を説明する。

電子カメラは、撮像部１１と、モニタ１２と、第１測光センサ１３と、第２測光センサ１４と、ＣＰＵ１５と、メディアＩ／Ｆ１６と、メモリ１７と、ユーザの各種操作を受け付ける操作部１８とを有する。なお、撮像部１１、モニタ１２、第１測光センサ１３、第２測光センサ１４、メディアＩ／Ｆ１６、メモリ１７、操作部１８は、それぞれＣＰＵ１５と接続されている。

撮像部１１は、被写体の像を撮像して撮影画像のデータを生成する。この撮像部１１は、被写体の像を撮像する撮像素子と、撮像素子の出力にアナログおよびデジタルの信号処理を施す信号処理回路を含んでいる。なお、図１では、撮像部１１に含まれる各要素の図示は省略する。

モニタ１２は、ＣＰＵ１５の表示制御により、撮像部１１で撮像された画像や、メディアＩ／Ｆ１６またはメモリ１７から読み込んだ再生画像や、電子カメラの設定画面などを表示する。本実施形態のモニタ１２は、例えば、電子カメラの筐体背面に配置される液晶ディスプレイパネルで構成される。

第１測光センサ１３および第２測光センサ１４は、電子カメラ周囲の環境光の明るさを検出し、環境光による外部照明条件をそれぞれ取得する。例えば、屋外や窓際などで電子カメラが使用される場合、上記の環境光には、自然光源（太陽）から照射される自然光の成分が含まれる。

ここで、第１測光センサ１３は、電子カメラの筐体背面側に配置され、モニタ１２の表示面に対して正面側からの環境光による第１照明条件を取得する（図２（ａ）参照）。また、第２測光センサ１４は、電子カメラの筐体正面側に配置され、モニタ１２の表示面に対して背面側からの環境光による第２照明条件を取得する（図２（ｂ）参照）。

ＣＰＵ１５は、電子カメラの動作を統括的に制御するプロセッサである。例えば、電子カメラが被写体の像を撮像する撮影モードにおいて、ＣＰＵ１５は記録用の静止画像や動画像を撮像部１１に撮像させる。また、撮影モードでの撮像部１１は、ＣＰＵ１５の制御により、静止画撮影の撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。

そして、ＣＰＵ１５は、モニタ１２に対して表示対象の画像のデータを出力するとともに、モニタ１２での画像の表示輝度を調整する表示制御を実行する。例えば、静止画撮影時または動画撮影時には、ＣＰＵ１５の表示制御によって、スルー画像または動画像がモニタ１２に表示される。また、電子カメラの再生モードでは、ＣＰＵ１５の表示制御によって、後述の記憶媒体１９などに記憶された静止画像や動画像がモニタ１２に再生表示される。

また、ＣＰＵ１５は、画像のデータに対して階調変換処理や色空間変換処理などの画像処理を施す。なお、本実施形態のＣＰＵ１５は、後述の表示制御プログラムの実行により、環境光下での画像の見えを改善した補正画像をモニタ１２に表示させる。

メディアＩ／Ｆ１６は、不揮発性の記憶媒体１９を接続するためのコネクタを有している。そして、メディアＩ／Ｆ１６は、コネクタに接続された記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。

メモリ１７は、上記の表示制御プログラムや、この表示制御プログラムで使用される各種のデータ（ルックアップテーブル（ＬＵＴ）のデータ、色変換マトリクスのデータ、モニタ１２の白色点のデータなど）を記憶する不揮発性メモリである。なお、メモリ１７は、撮像部１１で撮影された画像のデータを記憶する記録領域を有していてもよい。

＜画像表示装置の動作例＞
次に、図３の流れ図を参照しつつ、本実施形態の電子カメラにおける画像の表示制御の例を説明する。図３の流れ図の処理は、撮影モードまたは再生モードの起動操作を受け付けたときに、ＣＰＵ１５が表示制御プログラムを実行することで開始される。

（ステップＳ１０１）
ＣＰＵ１５は、モニタ１２に表示させる入力画像を取得する。例えば、撮影モードであれば、ＣＰＵ１５は撮像部１１に被写体を撮像させるとともに、撮像部１１から入力画像としてスルー画像または動画像を順次取得する。また、再生モードであれば、ＣＰＵ１５は、メモリ１７または記憶媒体１９から再生表示する入力画像を取得する。

（ステップＳ１０２）
ＣＰＵ１５は、入力画像（Ｓ１０１）の色空間（例えばｓＲＧＢやＡｄｏｂｅＲＧＢなど）の情報を取得する。例えば、撮影モードの場合には、ＣＰＵ１５は撮像部１１の色空間の設定情報を取得すればよい。また、再生モードの場合には、ＣＰＵ１５は入力画像のデータに対応付けされているメタデータ（例えば画像ファイルのヘッダ領域のデータ）から色空間の情報を取得すればよい。

（ステップＳ１０３）
ＣＰＵ１５は、第１照明条件および第２照明条件の情報をそれぞれ取得する。一例として、Ｓ１０３でのＣＰＵ１５は、第２測光センサ１４の出力から照度値Ｍ’を取得するとともに、下式（１）により第２照明条件として周囲輝度（Ｙｓ＿ａｂｓ’）を求める。
Ｙｓ＿ａｂｓ’＝Ｍ’／π …（１）
また、Ｓ１０３でのＣＰＵ１５は、第１測光センサ１３の出力から第１照明条件として照度値Ｍ’’を取得する。

（ステップＳ１０４）
ＣＰＵ１５は、入力画像の色空間の情報（Ｓ１０２）を用いて、メモリ１７に記憶されているデータから第１ＬＵＴと第１マトリクスとを選択する。

ここで、第１ＬＵＴは、入力画像の階調特性を線形に変換するための階調変換ＬＵＴである。例えば、入力画像の色空間がｓＲＧＢである場合、ＣＰＵ１５は、ｓＲＧＢの階調変換ＬＵＴ（γ＝２．２）を第１ＬＵＴとして選択する。また、第１マトリクスは、入力画像の色空間をモニタ１２の出力色空間（Ｒ’Ｇ’Ｂ’と表記する）に変換するための色変換マトリクスである。例えば、入力画像の色空間がｓＲＧＢである場合、ＣＰＵ１５は、画像の色空間をｓＲＧＢからＲ’Ｇ’Ｂ’に変換する色変換マトリクスを第１マトリクスとして選択する。なお、本実施形態でのＬＵＴおよび色変換マトリクスは、例えば電子カメラの製造者が予め製造工程で生成したものをそれぞれ用いればよい。

（ステップＳ１０５）
ＣＰＵ１５は、モニタ１２の表示特性に応じて、メモリ１７に記憶されているＬＵＴから第２ＬＵＴを選択する。ここで、第２ＬＵＴは、モニタ１２の表示特性を考慮して出力画像の階調を最適化するための階調変換ＬＵＴである。例えば、モニタ１２の階調特性を示すγ’が１．８であるとき、ＣＰＵ１５は、１／γ’＝１／１．８の階調特性をもつＬＵＴを第２ＬＵＴとして選択する。

（ステップＳ１０６）
ＣＰＵ１５は、図４に示すサブルーチン（Ｓ２０１−Ｓ２０７）の処理により、モニタ１２の表示照明条件としての表示輝度（Ｙｗ＿ａｂｓ’）を設定する。

ステップＳ２０１：ＣＰＵ１５は、入力画像について予め想定されている想定視環境（モニタ１２の想定輝度Ｙｗ＿ａｂｓ、想定の周囲輝度Ｙｓ＿ａｂｓ）の情報と、モニタ１２の輝度調節範囲（Ｌｍｉｎ−Ｌｍａｘ）の情報とを取得する。ここで、撮影モードの場合、ＣＰＵ１５は、メモリ１７に予め記憶されている想定視環境の情報とモニタ１２の輝度調節範囲の情報とをそれぞれ取得すればよい。また、再生モードの場合、ＣＰＵ１５は、入力画像のデータに対応付けされているメタデータから想定視環境の情報を取得し、モニタ１２の輝度調節範囲の情報をメモリ１７から取得すればよい。

ステップＳ２０２：ＣＰＵ１５は、モニタ１２の想定輝度Ｙｗ＿ａｂｓと想定の周囲輝度Ｙｓ＿ａｂｓとの比に、実測した周囲輝度Ｙｓ＿ａｂｓ’を乗じて、モニタ１２の輝度目標値Ｌｔｐを求める。具体的には、ＣＰＵ１５は、下式（２）により輝度目標値Ｌｔｐを求めればよい。
Ｌｔｐ＝Ｙｓ＿ａｂｓ’＊Ｙｗ＿ａｂｓ／Ｙｓ＿ａｂｓ …（２）
ステップＳ２０３：ＣＰＵ１５は、ＬｍｉｎがＬｔｐ以下か（Ｌｍｉｎ≦Ｌｔｐ）否かを判定する。上記要件を満たす場合（Ｙｅｓ側）、ＣＰＵ１５はＳ２０４に処理を移行させる。一方、上記要件を満たさない場合（Ｎｏ側）、ＣＰＵ１５はＳ２０７に処理を移行させる。

ステップＳ２０４：ＣＰＵ１５は、ＬｔｐがＬｍａｘ以下か（Ｌｔｐ≦Ｌｍａｘ）否かを判定する。上記要件を満たす場合（Ｙｅｓ側）、ＣＰＵ１５はＳ２０５に処理を移行させる。一方、上記要件を満たさない場合（Ｎｏ側）、ＣＰＵ１５はＳ２０６に処理を移行させる。

ステップＳ２０５：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲内にある。よって、ＣＰＵ１５は、輝度目標値Ｌｔｐをそのままモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｔｐ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。

ステップＳ２０６：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲の下限値Ｌｍｉｎを下回る。よって、ＣＰＵ１５は、輝度調節範囲の下限値Ｌｍｉｎをモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｍｉｎ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。

ステップＳ２０７：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲の上限値Ｌｍａｘを上回る。よって、ＣＰＵ１５は、輝度調節範囲の上限値Ｌｍａｘをモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｍａｘ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。以上で図４のサブルーチンの説明を終了する。

（ステップＳ１０７）
ＣＰＵ１５は、入力画像で想定されている周囲輝度とモニタ１２の輝度との比（Ｒｓｗ＝Ｙｓ＿ａｂｓ／Ｙｗ＿ａｂｓ）と、実際の周囲輝度とモニタ１２の輝度との比（Ｒｓｗ’=Ｙｓ＿ａｂｓ’／Ｙｗ＿ａｂｓ’）とを用いて、メモリ１７に記憶されている階調変換ＬＵＴから第３ＬＵＴを選択する。なお、第３ＬＵＴとして選択される階調変換ＬＵＴは、モニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離（例えば、電子カメラ等の携帯機器の背面ディスプレイであれば約５０ｃｍ）から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。

ここで、第３ＬＵＴは、主にモニタ１２の輝度よりも周囲が暗い場合に画像のコントラスト感を改善するための階調変換ＬＵＴである。図５に、本実施形態での第３ＬＵＴのトーンカーブの例を示す。Ｒｓｗに対してＲｓｗ’が十分小さい場合、第３ＬＵＴのトーンカーブは中間部が押し下げられた形状となり、暗部コントラストを抑えるように階調が補正される。Ｒｓｗに対してＲｓｗ’が十分大きい場合、第３ＬＵＴのトーンカーブは中間部が押し上げられた形状となり、暗部コントラストを立てるように階調が補正される。ＲｓｗとＲｓｗ’とがほぼ同程度の場合、第３ＬＵＴのトーンカーブはほぼ線形となる。

なお、一例として、Ｓ１０７でのＣＰＵ１５は、以下の表１に示すＲｓｗおよびＲｓｗ’の条件に基づいて、図５のトーンカーブに対応するＬＵＴのうちから第３ＬＵＴを選択すればよい。

（ステップＳ１０８）
ＣＰＵ１５は、Ｒ’Ｇ’Ｂ’と輝度／彩度の分離した色空間との間で画像の色空間を変換する第２マトリクスを設定する。一例として、本実施形態でのＣＰＵ１５は、Ｒ’Ｇ’Ｂ’とＹＣＣとの間で画像の色空間を変換する色変換マトリクスを第２マトリクスとして設定する。なお、変換先の色空間はＹＣＣに限定されず、例えばＨＳＶやＬ^*Ａ^*Ｂ^*であってもよい。また、変換先の色空間がＨＳＶやＬ^*Ａ^*Ｂ^*の場合には、Ｓ１０８での色空間の変換手段として式を用いたり、あるいは３次元色変換テーブルを用いたりしてもよい。

（ステップＳ１０９）
ＣＰＵ１５は、実際の周囲輝度とモニタ１２の輝度との比（Ｒｓｗ’）と、Ｍ’’の値およびモニタ１２の反射率の情報を用いて、メモリ１７に記憶されているＬＵＴから、輝度成分Ｙに関する第４ＬＵＴと、彩度成分Ｃに関する第５ＬＵＴとをそれぞれ選択する。

なお、第４ＬＵＴ、第５ＬＵＴとして選択される階調変換ＬＵＴは、モニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。例えば、電子カメラのモニタ１２（背面ディスプレイ）は、パーソナルコンピュータのディスプレイやテレビ等と比べて小型であるため、ユーザの視角も小さくなる。そのため、電子カメラのモニタ１２の場合には、周囲の照明の影響が大きくなることを考慮して上記のＬＵＴの特性が予め調整されている。

ここで、第４ＬＵＴおよび第５ＬＵＴは、主にモニタ１２の輝度よりも周囲が明るい場合に画像のコントラスト感を向上させるための階調変換ＬＵＴである。モニタ１２よりも周囲が明るい場合、人間の視覚は画像の輝度よりも周囲の高い輝度に順応するため、画像の輝度および彩度のコントラストが通常よりもユーザには低く知覚される。

図６に、本実施形態での第４ＬＵＴのトーンカーブの例を示す。この図６の例は、Ｍ’およびＭ’’がほぼ等しい場合である。Ｒｓｗ’が十分小さい場合、第４ＬＵＴのトーンカーブはほぼ線形となる。一方、Ｒｓｗ’が大きくなるにつれて、第４ＬＵＴのトーンカーブは、低輝度部分の階調をつぶして中間調のコントラストを高くするＳ字状に変化する。

一般に周囲の輝度が高い場合、ユーザには画像の暗部がフレアにより白浮きして知覚される。そのため、高輝度環境下で選択される第４ＬＵＴは、低輝度部分の階調をつぶすことでフレアの影響を抑制しつつ、中間部での階調差を大きくする。これにより、高輝度環境下での画像のコントラスト感が保たれる。

図７に、本実施形態での第５ＬＵＴのトーンカーブの例を示す。この図７の例は、Ｍ’およびＭ’’がほぼ等しい場合である。第５ＬＵＴのトーンカーブはいずれも線形であるが、Ｒｓｗ’の大きさに比例してトーンカーブの傾きも大きくなる。これにより、高輝度環境下においてユーザに低く知覚される画像の彩度が調整される。

一例として、Ｓ１０９でのＣＰＵ１５は、以下の表２に示すＲｓｗ’の条件に基づいて、図６のトーンカーブに対応するＬＵＴのうちから第４ＬＵＴを選択すればよい。同様に、Ｓ１０９でのＣＰＵ１５は、以下の表２に示すＲｓｗ’の条件に基づいて、図７のトーンカーブに対応するＬＵＴのうちから第５ＬＵＴを選択すればよい。

また、上記の第４ＬＵＴおよび第５ＬＵＴの選択に関し、ＣＰＵ１５は、第１照明条件（Ｍ’’の大きさ）に基づいてＬＵＴのトーンカーブを選択する。

例えば、Ｍ’’がＭ’に対して十分大きい場合（Ｍ’’＞＞Ｍ’）、画像の見えにおいて反射光によるフレアの影響が大きくなる。この場合、ＣＰＵ１５は、フレアの影響がより低減するように、図６と比べて第４ＬＵＴのトーンカーブで暗部の抑制度合を強くする。また、ＣＰＵ１５は、フレアの影響がより低減するように、図７と比べて第５ＬＵＴのトーンカーブの傾きを大きくする。

逆に、Ｍ’’がＭ’に対して十分小さい場合（Ｍ’’＜＜Ｍ’）、画像の見えにおいて反射光によるフレアの影響は小さくなる。この場合、ＣＰＵ１５は、図６と比べて第４ＬＵＴのトーンカーブで暗部の抑制度合を弱くする。また、ＣＰＵ１５は、図７と比べて第５ＬＵＴのトーンカーブの傾きを小さくする。

（ステップＳ１１０）
ＣＰＵ１５は、環境光下での入力画像の見えを改善した補正画像を生成する。一例として、Ｓ１１０でのＣＰＵ１５は、以下の（イ）−（ヘ）の処理を順次実行する。

（イ）ＣＰＵ１５は、入力画像の各画素において、第１ＬＵＴによるＲＧＢの各画素値の階調変換処理を行う。

（ロ）ＣＰＵ１５は、上記（イ）の処理後の画像に対して、第１マトリクスによる色変換処理を施す。これにより、画像の色空間はＲ’Ｇ’Ｂ’に変換される。

（ハ）ＣＰＵ１５は、上記（ロ）の処理後の画像に対して、第２ＬＵＴおよび第３ＬＵＴによる階調変換処理をそれぞれ施す。なお、この階調変換処理は、画像の各画素において各色の画素値でそれぞれ行われる。

（ニ）ＣＰＵ１５は、上記（ハ）の処理後の画像に対して、第２マトリクスによる色変換処理を施す。これにより、画像の色空間はＹＣＣに変換される。

（ホ）ＣＰＵ１５は、ＹＣＣに変換された画像の輝度面（Ｙ）に対して、第４ＬＵＴによる階調変換処理を施す。また、ＣＰＵ１５は、ＹＣＣに変換された画像の彩度面（Ｃ）に対して、第５ＬＵＴによる階調変換処理を施す。

（へ）ＣＰＵ１５は、上記（ホ）の処理後の画像に対して、第２マトリクスによる逆色変換処理を施す。これにより、画像の色空間は再びＲ’Ｇ’Ｂ’に変換される。以上により、補正画像が生成される。

（ステップＳ１１１）
ＣＰＵ１５は、モニタ１２の表示輝度をＹｗ＿ａｂｓ’に調整する。一例として、本実施形態ではモニタ１２が液晶ディスプレイパネルであるので、ＣＰＵ１５は、予めメモリ１７に記憶された情報に基づいて、モニタ１２の輝度がＹｗ＿ａｂｓ’となるようにバックライトの印可電圧を制御すればよい。

（ステップＳ１１２）
ＣＰＵ１５は、補正画像（Ｓ１１０）をモニタ１２に表示させる。以上で、図３の流れ図の説明を終了する。

本実施形態の電子カメラは、第２測光センサ１４の出力による外部照明条件（Ｙｓ＿ａｂｓ’）と、モニタ１２の表示照明条件（Ｙｗ＿ａｂｓ’）とを用いて、環境光下での画像の見えを元の入力画像よりも改善した補正画像をモニタ１２に表示する。

例えば、モニタ１２の輝度よりも周囲が暗い場合を考える。このとき、人間の視覚では画像のコントラストが通常よりも低く知覚される。しかし、本実施形態の電子カメラは、かかる場合には、第３ＬＵＴによる階調変換処理で補正画像のコントラストを入力画像よりも高く補正する。

一方、モニタ１２の輝度よりも周囲が明るい場合を考える。このとき、人間の視覚は画像の輝度よりも周囲の高い輝度に順応するため、画像の輝度および彩度のコントラストが通常よりもユーザには低く知覚される。しかし、本実施形態の電子カメラは、かかる場合には第４ＬＵＴおよび第５ＬＵＴによる階調変換処理で補正画像の輝度および彩度のコントラストを補正する。

よって、本実施形態の電子カメラでは、上記のいずれの場合でも、環境光下での補正画像の見えが入力画像よりも改善される。

また、本実施形態の電子カメラでは、第１照明条件を用いて、第４ＬＵＴおよび第５ＬＵＴによって、反射光でのフレアの影響を抑制する。そのため、本実施形態の電子カメラでは、人間の視覚にとってフレアによる劣化の少ない補正画像を表示することができる。

また、上記の第３ＬＵＴから第５ＬＵＴは、いずれもモニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。例えば、電子カメラの背面ディスプレイではユーザの視角が小さくなるので、屋外等での使用時にモニタ１２の輝度よりも周囲が明るくなると、ユーザの視覚は周囲の照明により順応し易くなる。本実施形態の電子カメラでは、これらの条件を考慮してＬＵＴの特性を予め調整するので、ユーザの視認性の高い補正画像をモニタ１２に表示できる。

＜実施形態の補足事項＞
（変形例１）
上記実施形態のＳ１０２において、ＣＰＵ１５は、入力画像の色空間の情報とともに、予め入力画像に与えられていた視環境の情報を取得し、この視環境の情報をＳ２０１の想定視環境の情報として用いてもよい。

また、上記実施形態において、ＣＰＵ１５は、ユーザの入力に応じてＳ２０１での想定視環境を設定してもよい。例えば、ＣＰＵ１５は、周囲の環境（室内／暗めの室内／暗室など）や観察媒体の照明条件（ＬＣＤ／テレビ／印刷など）をユーザに指定させるとともに、この選択された条件に対応する視環境の設定情報をメモリ１７から読み出すようにしてもよい。

（変形例２）
上記実施形態において、電子カメラの第１および第２の少なくともいずれかの測光センサとしてカラーセンサを使用してもよい。そして、ＣＰＵ１５は、各々の視環境で順応している白色点を考慮した色順応変換を行い、モニタ１２での色の見えの再現性をより高めるようにしてもよい。この場合、ＣＰＵ１５は、図２に示す表示制御プログラムにおいて、Ｓ１０２，Ｓ１０３，Ｓ１１０の処理に代えて、以下のＳ１０２’，Ｓ１０３’，Ｓ１１０’の処理をそれぞれ実行すればよい。

Ｓ１０２’において、ＣＰＵ１５は、画像の視環境の情報として、予め想定された標準視環境の白色点（Ｘ_w，Ｙ_w，Ｚ_w）と、標準視環境での周囲白色点（Ｘ_s，Ｙ_s，Ｚ_s）の情報をそれぞれ取得する。例えばディスプレイでの観察であれば、上記の標準視環境は、標準ディスプレイ白色点と、標準ディスプレイでの周囲白色点とを用いればよい。そして、ＣＰＵ１５は、下式（３）−（５）の演算によって、標準視環境での順応白色点として、視覚の錐体空間ＬＭＳで表した値（Ｌ_{w_mix}，Ｍ_{w_mix}，Ｓ_{w_mix}）を求める。

ここで、本明細書の説明において、「Ｍ_{ＣＡＴ０２}」は、ＣＩＥＣＡＭ０２で色順応変換の色空間への変換マトリクスとして定義されているマトリクスを意味する。Ｓ１０２’でのＣＰＵ１５は、「Ｍ_{ＣＡＴ０２}」に代えて、ブラッドフォードマトリクスなどの他のマトリクスで変換される色空間を利用してもよい。また、「Ｒ_ｍｉｘ」は、周囲照明光の影響の比率を示す係数であって、０−１の間で予め調整された値（例えば０．８）が入力される。

Ｓ１０３’において、ＣＰＵ１５はカラーセンサの出力から実測の周囲白色点（Ｘ_s’，Ｙ_s’，Ｚ_s’）の情報を取得する。また、ＣＰＵ１５は、モニタ１２の白色点（Ｘ_w’，Ｙ_w’，Ｚ_w’）の情報を取得する。そして、ＣＰＵ１５は、下式（６）−（８）の演算によって、実測値に基づく順応白色点（Ｌ_{w_mix}’，Ｍ_{w_mix}’，Ｓ_{w_mix}’）を求める。

また、「Ｒ_ｍｉｘ’」は、「Ｒ_ｍｉｘ」と同様に、周囲照明光の影響の比率を示す係数であって、０−１の間で予め調整された値が入力される。

そして、Ｓ１１０’において、ＣＰＵ１５は、第１マトリクスによる色変換処理に代えて、以下のマトリクスＭ１１による色変換処理を施せばよい。

ここで、上記の式（９）において、「Ｍ_SRGB->XYZ」は入力画像の色空間（ＲＧＢ）を三刺激値ＸＹＺに変換するマトリクスを意味する。同様に、「Ｍ_XYZ->pRGB」は三刺激値ＸＹＺをモニタ１２の色空間に変換するマトリクスを意味する。

なお、上記実施形態において、ＣＰＵ１５は、撮像部１１で直前に撮影したスルー画像を用いて、周囲照明光の白色点を推定し、この変形例２の動作を行うようにしてもよい。

（変形例３）
上記実施形態では、第１測光センサ１３を筐体背面に配置し、第２測光センサ１４を筐体正面に配置する例を説明した。しかし、第１測光センサ１３は、筐体背面側（ディスプレイの画像表示側）の照明条件を取得できるものであれば、取付位置は必ずしも筐体背面に限定されない。例えば、第１測光センサ１３は、筐体背面側に突出した構造物や、筐体上面の背面側付近に配置されていてもよい。同様に、第２測光センサ１４は、筐体正面側の照明条件（ディスプレイの画像表示と同じ方向に射出もしくは放射する照明条件）を取得できるものであれば、取付位置は必ずしも筐体正面に限定されない。例えば、第２測光センサ１４は、筐体正面側に突出した構造物や、筐体上面の正面側付近に配置されていてもよい。

また、表示角度および向きを変更できるバリアングルモニタを有する電子カメラの場合、バリアングルモニタに測光センサを設け、この測光センサの向きをユーザの操作で変化させることで、第１照明条件および第２照明条件を１つの測光センサで取得するようにしてもよい。

（変形例４）
上記実施形態では、電子カメラに実装された画像表示装置の例を説明した。しかし、本発明の画像表示装置は、テレビ、プロジェクタ、パーソナルコンピュータのディスプレイ、自動車に搭載されるナビゲーションシステムのモニタなどにも適用できる。また、本発明の画像表示装置は、電子カメラ以外の携帯可能なモニタ付きの電子機器（携帯電話、フォトビューア、携帯ゲーム機、電子書籍のビューアなど）に適用することができる。なお、これらの画像表示装置の基本構成は、撮像部１１がない点を除いて図１の構成と同様であるので図示は省略する。

ここで、本発明を他の機器に適用する場合には、図３に示す表示制御の例において、色変換マトリクスや階調変換ＬＵＴを適宜変更すればよい。なお、出力機器の表示領域のサイズが大きくなれば、出力機器に対するユーザの視角も大きくなり、環境光の影響も変化する。そのため、変形例４の場合における第４ＬＵＴおよび第５ＬＵＴの選択では、出力機器の表示領域のサイズおよび出力機器の標準観察距離から求めたユーザの視角の大小に応じて、ＣＰＵ１５が表示照明条件および外部照明条件の寄与度を変化させてもよい。一例として、変形例４において、ＣＰＵ１５は、表３の条件により視角の大きさに応じてＬＵＴを選択すればよい。

（変形例５）
上記実施形態の例では、第４ＬＵＴおよび第５ＬＵＴによって中間階調でのコントラストを調整している。上記実施形態の場合、補正画像での全体的な見えは大きく改善される一方で、画像の暗部やハイライト部でのコントラストは逆に低くなる。そのため、主要被写体が暗く写る画像を表示する場合や、画像の暗部やハイライト部の階調を確認する場合には、補正画像の方が逆にコントラストが悪化して見えてしまう。

そこで、ＣＰＵ１５は、入力画像の階調特性にしたがって第４ＬＵＴおよび第５ＬＵＴを設定するようにしてもよい。すなわち、ＣＰＵ１５は入力画像の階調分布を解析して主要階調範囲を決定し、この主要階調範囲でのコントラストが改善するＬＵＴを選択すればよい。

一例として、ＣＰＵ１５は、階調範囲の中間値あるいは画像全体の画素平均値を基準として上記の主要階調範囲を決定し、この階調値でのコントラストが改善する第４ＬＵＴを選択すればよい。また、ＣＰＵ１５は、画像から主要被写体を決定するとともに、主要被写体を中心とする注目領域の画素平均値を基準として上記の主要階調範囲を決定し、この階調値でのコントラストが改善する第４ＬＵＴを選択すればよい。なお、上記の主要被写体の決定は公知の手法（例えば顔検出やＡＦ位置の検出）によって行えばよい。さらに、ＣＰＵ１５は、表示対象の画像が全体画像の一部を拡大した部分画像であるときに、部分画像全体または部分画像の中心近傍を基準として上記の主要階調範囲を決定し、この階調値でのコントラストが改善する第４ＬＵＴを選択すればよい。かかる変形例５によれば、表示対象の画像に応じて、階調のつぶれの少ない補正画像を表示できる。

（変形例６）
上記実施形態において、ＣＰＵ１５は、複数のＬＵＴの値を補間して新たなトーンカーブを生成し、この補間されたトーンカーブを第３ＬＵＴ−第５ＬＵＴとして選択してもよい。これにより、より細かな変化に対応した階調変換処理を、比較的に少ないメモリの容量で実現できる。

（変形例７）
上記実施形態において、ＣＰＵ１５は、ユーザの設定に応じてモニタ１２の表示輝度を調整してもよい。この場合、図３に示す表示制御の例において、ＣＰＵ１５はＳ１０６の処理を省略し、ユーザの設定した表示輝度をＹｗ＿ａｂｓ’の値として用いればよい。

（変形例８）
上記実施形態において、第２測光センサ１４は、電子カメラの露出演算用の分割測光センサであってもよい。また、ＣＰＵ１５は、撮像部１１の出力（例えばスルー画像）を用いて環境光の情報を取得してもよい。これらの場合において、ＣＰＵ１５は、撮影画像の露出条件またはホワイトバランス演算値を用いて第２照明条件を求めてもよい。

（変形例９）
上記実施形態では、モニタ１２が液晶ディスプレイである例を説明した。しかし、本発明の画像表示装置のモニタは、有機ＥＬなどの他の表示デバイスであってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…撮像部、１２…モニタ、１３…第１測光センサ、１４…第２測光センサ、１５…ＣＰＵ、１６…メディアＩ／Ｆ、１７…メモリ、１８…操作部、１９…記憶媒体

Claims

画像を表示する表示部と、
前記表示部の表示面正面側から環境光による第１照明条件を取得する第１取得部と、
前記表示部の表示面背面側から環境光による第２照明条件を取得する第２取得部と、
装置で画像を表示するときの視環境としてそれぞれ想定された装置側の想定表示輝度および想定周囲輝度の比と、前記第２取得部で得られた前記第２照明条件としての周囲輝度または周囲照度の情報とを用いて、前記表示部の輝度と、前記画像を前記表示部に表示するときに適用する第１の階調変換特性とをそれぞれ決定する制御部と、を備え、
前記制御部は、
前記第２取得部で得られた前記第２照明条件としての周囲輝度と前記表示部の輝度との比と、前記第１取得部で得られた前記第１照明条件としての周囲輝度または周囲照度の情報と、前記表示部の表示面の反射率とを用いて、前記画像の輝度成分に適用する第２の階調変換特性と、前記画像の彩度成分に適用する第３の階調変換特性とをそれぞれ選択し、前記画像に前記第２の階調変換特性による補正と前記第３の階調変換特性による補正とを施してから、前記画像を前記表示部に表示させ、
前記第１取得部で得られた前記第１照明条件としての照度が、前記第２取得部で得られた前記第２照明条件としての照度より大きい場合、複数の前記第２の階調変換特性のうちで暗部の抑制度合いが強い階調変換特性を選択し、
前記第２取得部で得られた前記第２照明条件としての照度が、前記第１取得部で得られた前記第１照明条件としての照度より大きい場合、複数の前記第２の階調変換特性のうちで暗部の抑制度合いが弱い階調変換特性を選択することを特徴とする画像表示装置。
画像を表示する表示部と、
前記表示部の表示面正面側から環境光による第１照明条件を取得する第１取得部と、
前記表示部の表示面背面側から環境光による第２照明条件を取得する第２取得部と、
装置で画像を表示するときの視環境としてそれぞれ想定された装置側の想定表示輝度および想定周囲輝度の比と、前記第２取得部で得られた前記第２照明条件としての周囲輝度または周囲照度の情報とを用いて、前記表示部の輝度と、前記画像を前記表示部に表示するときに適用する第１の階調変換特性とをそれぞれ決定する制御部と、を備え、
前記制御部は、
前記第２取得部で得られた前記第２照明条件としての周囲輝度と前記表示部の輝度との比と、前記第１取得部で得られた前記第１照明条件としての周囲輝度または周囲照度の情報と、前記表示部の表示面の反射率とを用いて、前記画像の輝度成分に適用する第２の階調変換特性と、前記画像の彩度成分に適用する第３の階調変換特性とをそれぞれ選択し、前記画像に前記第２の階調変換特性による補正と前記第３の階調変換特性による補正とを施してから、前記画像を前記表示部に表示させ、
前記第１取得部で得られた前記第１照明条件としての照度が、前記第２取得部で得られた前記第２照明条件としての照度より大きい場合、複数の前記第３の階調変換特性のうちで、中間調の変換特性において入力に対する出力の傾きが大きい階調変換特性を選択し、
前記第２取得部で得られた前記第２照明条件としての照度が、前記第１取得部で得られた前記第１照明条件としての照度より大きい場合、複数の前記第３の階調変換特性のうちで、中間調の変換特性において入力に対する出力の傾きの小さい階調変換特性を選択することを特徴とする画像表示装置。
画像を表示する表示部と、
前記表示部の表示面正面側から環境光による第１照明条件を取得する第１取得部と、
前記表示部の表示面背面側から環境光による第２照明条件を取得する第２取得部と、
装置で画像を表示するときの視環境としてそれぞれ想定された装置側の想定表示輝度および想定周囲輝度の比と、前記第２取得部で得られた前記第２照明条件としての周囲輝度または周囲照度の情報とを用いて、前記表示部の輝度と、前記画像を前記表示部に表示するときに適用する第１の階調変換特性とをそれぞれ決定する制御部と、を備え、
前記制御部は、
前記第２取得部で得られた前記第２照明条件としての周囲輝度と前記表示部の輝度との比と、前記第１取得部で得られた前記第１照明条件としての周囲輝度または周囲照度の情報と、前記表示部の表示面の反射率とを用いて、前記画像の輝度成分に適用する第２の階調変換特性と、前記画像の彩度成分に適用する第３の階調変換特性とをそれぞれ選択し、前記画像に前記第２の階調変換特性による補正と前記第３の階調変換特性による補正とを施してから、前記画像を前記表示部に表示させ、
画像表示領域の視角、観察視距離および画像表示領域のサイズの少なくともいずれかの情報を用いて、前記第２の階調変換特性および前記第３の階調変換特性の少なくともいずれかを変更することを特徴とする画像表示装置。
請求項１に記載の画像表示装置において、
前記制御部は、前記第１取得部で得られた前記第１照明条件としての照度が、前記第２取得部で得られた前記第２照明条件としての照度より大きい場合、複数の前記第３の階調変換特性のうちで、中間調の変換特性において入力に対する出力の傾きが大きい階調変換特性を選択し、
前記第２取得部で得られた前記第２照明条件としての照度が、前記第１取得部で得られた前記第１照明条件としての照度より大きい場合、複数の前記第３の階調変換特性のうちで、中間調の変換特性において入力に対する出力の傾きの小さい階調変換特性を選択することを特徴とする画像表示装置。
請求項１、請求項２、請求項４のいずれかに記載の画像表示装置において、
前記制御部は、画像表示領域の視角、観察視距離および画像表示領域のサイズの少なくともいずれかの情報を用いて、前記第２の階調変換特性および前記第３の階調変換特性の少なくともいずれかを変更することを特徴とする画像表示装置。