JP4622899B2

JP4622899B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体

Info

Publication number: JP4622899B2
Application number: JP2006073796A
Authority: JP
Inventors: 恵三松本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-03-17
Filing date: 2006-03-17
Publication date: 2011-02-02
Anticipated expiration: 2026-03-17
Also published as: JP2007248935A

Description

本発明は、使用される環境照度や入力信号および表示画像内容に応じて、その表示画質および表示視認性が改善されよう映像信号を制御することのできる画像処理装置、およびその処理方法に関するものである。

従来、テレビジョン受像機やモバイルディスプレイ装置、車載ディスプレイ装置等においては、入力信号の表示内容や使用する周囲環境の明るさ等に応じて、表示視認性を改善する目的のためあるいは画像の表現力を改善して高画質化を図る目的のために、映像信号のコントラストやブライトネス、ディスプレイ装置の表示輝度、色信号等に対して適応的に制御する技術が開発されている。

例えば、特許文献１に表示視認性を改善する目的の場合の具体例が示されており、センサーの明るさ制御信号に基づき、液晶パネルへの印加映像信号の振幅や動作基準レベルを自動的に制御することで、液晶表示画面の明るさ、コントラストを制御するものである。

一方、色信号に対する適応制御による画質改善の例では特許文献２にその具体例が示されており、これは入力されるＲＧＢ信号から、色相信号（Ｈ）、彩度信号（Ｓ）、明度信号（Ｌ）に変換し、彩度もしくは明度のヒストグラム計測部および特徴量算出部で検出した特徴量である彩度もしくは明度の平均値に応じ補正強度を算出し、それにより彩度もしくは明度の強調係数算出部で算出される補正係数を調整し、彩度もしくは明度の補正実行部で補正係数により彩度もしくは明度の強調処理が補正γ処理として行われ、色相信号（Ｈ）、強調処理された彩度信号（Ｓ’）、強調処理された明度信号（Ｌ’）よりＲＧＢ信号に逆変換し出力するというものである。

また、車載ディスプレイ装置では、直射日光照射から暗闇までの幅広い照度範囲で視認性を改善する必要があり、周囲照度に応じてディスプレイ装置の調光制御（液晶ディスプレイの場合バックライトの調光制御）を行う、ディマーといわれる機能が従来から広く採用されている。
特開平６−８３２８７号公報特開２００１−２３０９４１号公報

しかしながら、特許文献１および特許文献２に示した画像表示装置は、いずれもＴＶやＤＶＤ、カメラ撮像画像等の自然画像を表示対象、画像処理対象として想定し、高画質化を目的としているものであると考えられるため、カーナビゲーションシステムや車載ＴＶを表示する車載ディスプレイ装置等のように、使用環境の照度が激しく広範囲で変化するような特徴をもつ表示装置に適用する場合では、高画質化と視認性改善を両立するという点と、ＴＶ等の自然画像表示とカーナビゲーション等のコンピュータグラフィックス画像（以後ＣＧ画像と表記）表示の両立という点で、それぞれに対して常に最適な効果が得られるものではない。

具体的には、特許文献１に開示されている液晶ディスプレイの表示制御装置は、明所視認性の改善のみを目的としているもので、通常照度における高画質化や暗所における視認性および画質の改善については、何ら改善されるものではない。また信号ソースに対する最適化についての開示もなく、車載ディスプレイ装置へ応用した場合に自然画像と地図画像とで最適化が行われるものでもない。

図１５に特許文献２に示した画像処理装置における彩度もしくは明度特徴量を考慮した彩度もしくは明度の強調処理の流れを表すフローチャートを、また図１４に彩度補正処理での彩度特徴に対する彩度強調方法を説明する図を示す。特許文献２に示した画像処理装置の場合では、色信号に対する補正がγ処理として彩度または明度補正実行部で行われるものであるが、この彩度または明度強調処理についても同様に高画質化を目的としたものであって、ヒストグラム計測部および特徴量検出部において検出される彩度または明度の特徴情報による補正強度と、彩度信号および明度信号を考慮した彩度強調係数算出によって制御されるものであり、使用環境照度は考慮されていないため、同一入力画像信号の場合は明所であっても暗所であっても同一の強調処理動作を行い、視認性を改善するものであるとは言えない。また、高画質化を目的として、図１４に示すようにヒストグラムから得られる入力画像の偏り情報（彩度または明度の平均濃度値）によって補正γの最大値を調整しており、主として彩度または明度の平均濃度値が中間付近にある場合に彩度強調を強めに行うようにしているものであるため、彩度や明度の偏りをもつ画像に対する改善が充分行われるものではない。

カーナビゲーションシステムの地図画像等の入力信号では、彩度や明度に偏りをもつことも多くこの場合に改善が不十分となる。自然画像においても偏りをもつこともあり、その場合にも適宜視認性を重視する処理とすることが望ましい。

カーナビゲーションシステムや車載ＴＶを表示する車載ディスプレイ装置においては、時間、天候、場所、移動速度等の車輌の走行環境によって、その環境照度は著しく広範囲に変化するものであり、夜間の１ｌｘの照度から直射日光照射の１０万ｌｘ程度までのあらゆる照度状態で使用されるものである。特に明所や暗所の両極端においては、視認性の高い表示が必要とされる一方、標準的な照度で安定した環境の場合においては、より自然で高画質な画像表示が求められ、トンネルの出入り等激しく変化する場合もあり、広範囲でシームレスな視認性と高画質とを両立させた表示が望ましいものである。

更には、表示される信号ソースとしても、ＤＶＤビデオやＴＶ等の自然画像を表示する場合と、地図画像のような所謂ＣＧ画像の表示の場合があり、各々異なる画像特徴をもっており、表示している信号ソースと環境照度とに応じて、適宜視認性改善と画像の高画質化をうまくバランスをとりながら、改善した表示とすることが理想的である。

しかしながら、上記の通り特許文献２に示されている補正方法においては、このような場合において十分な補正が行えるものではないものである。

本発明の目的は、以上のような課題を改善するためになされたものであり、環境照度の変化に応じて、視認性の改善と高画質化とを適宜両立させるものである。特にＣＧ画像の場合でもＴＶ等の自然動画像の場合でも、各々画像の特徴を考慮して改善を行い、最適に画質の改善および視認性の改善を行うことができる画像処理装置を実現するものである。

上記課題を解決するために、第１の本発明に係る画像処理装置は、入力映像信号の明度信号を補正処理する明度補正処理手段と、表示装置の周辺の照度を検出する照度検出手段と、前記照度検出手段からの照度信号により、前記明度補正処理手段を制御する制御手段とを備え、前記制御手段は、前記照度が通常照度範囲から高照度もしくは低照度に離れるに従って前記明度信号に対するオフセット値が大きくなるように制御することにより、表示装置に表示したときの画像の視認性を改善するものである。

また第２の本発明に係る画像処理装置は、入力映像信号の彩度信号を補正処理する彩度補正処理手段と、前記入力映像信号の彩度信号より１画面分の彩度信号のレベルの分布状態を表す彩度特徴情報を検出する彩度特徴検出手段と、前記彩度特徴検出手段からの彩度特徴情報により、前記彩度補正処理手段を制御する制御手段とを備え、前記制御手段は、前記彩度が低彩度に多く分布しているほど彩度ゲインを大きくするような制御を行うことにより、表示装置に表示したときの画像の視認性を改善するものである。

また第３の本発明に係る画像処理装置は、入力映像信号の色相信号を補正処理する色相補正処理手段と、前記入力映像信号の色相信号により前記色相補正処理手段を制御する制御手段とを備え、前記制御手段は、所定の色相毎に前記入力映像信号の色相を別の色相に変化させるように前記色相補正処理手段に対して制御することにより、表示装置に表示したときの画像の視認性を改善するものである。

本発明によれば、使用環境の照度状態が広範囲にわたりかつ映像信号ソースについても多種の信号が入力される例えば車載ディスプレイ装置等において、その環境照度、入力される映像信号の種類や映像の状態、映像シーン等に応じて常に最適な映像信号の補正制御を行い、画質と視認性の改善をうまくバランスをとりながら実現する画像処理装置とすることができるものである。

特に、環境照度の変化に応じて、明所や暗所の照度環境や地図表示の場合では視認性の改善を重視した色補正を実現し、通常照度ではコントラスト感のある高画質な表示映像とすることにより、常に見易く高画質な表示が行うことができるものである。

以下、本発明に係る画像処理装置およびその処理方法について、図面を参照しながら説明する。以下の実施の形態では、各処理手段をハードウェアで構成した場合の例として説明を行うが、同様の処理をソフトウェアで実施することも可能である。また、上記ハードウエアを単数もしくは複数の半導体上に集積した集積回路で実現することも可能である。また、ディスプレイ装置として液晶表示装置に接続される場合の例を説明するが、本発明が適用される画像処理装置はこの例に限定されず、有機ＥＬ（エレクトロルミネッセンス）表示装置やＰＤＰ（プラズマディスプレイパネル）表示装置等への接続も同様に適用可能である。

（実施の形態１）
図１は本発明の第１実施形態による画像処理装置の構成を示すブロック図である。

図１の画像処理装置は、色空間変換手段１、明度補正処理手段２、彩度補正処理手段３、明度特徴検出手段４、彩度特徴検出手段５、映像・照度適応彩度明度制御手段６、色空間逆変換手段７、照度検出手段８を備えており、出力信号がディスプレイパネル９に接続されている。以降本画像処理装置が接続されるディスプレイパネル９が液晶ディスプレイである車載ディスプレイ装置の場合について説明を行うものとする。

最初に各手段の動作概要と全体の処理動作について説明する。

色空間変換手段１では、ＲＧＢ信号形式の入力映像信号が入力され、ＲＧＢ信号から、色相信号、彩度信号、明度信号の各信号成分に変換される。この信号変換は下記の演算式によって変換が行われる。

明度信号Ｖ＝MAX(R,G,B)
色相信号Ｈ＝｛MID(R,G,B)−MIN(R,G,B)｝／｛MAX(R,G,B)−MIN(R,G,B)｝
彩度信号Ｓ＝｛MAX(R,G,B)−MIN(R,G,B)｝／MAX(R,G,B)
ここで、MAX(R,G,B)はＲＧＢの各信号のうちの最大値
MID(R,G,B)はＲＧＢの各信号のうちの中間値
MIN(R,G,B)はＲＧＢの各信号のうちの最小値を表す。

尚、この変換の際同時に各々MAX、MID、MINがRGBのどれに相当するかを判定する。

このように変換された後、明度信号は明度補正処理手段２と明度特徴検出手段４へ、彩度信号は彩度補正処理手段３と彩度特徴検出手段５と映像・照度適応彩度明度制御手段６へ、色相信号は映像・照度適応彩度明度制御手段６と色空間逆変換手段７へと出力される。

明度補正処理手段２では、色相別に明度信号に対し明度のブライトネス制御およびコントラストゲイン制御が行われ色空間逆変換手段７へと出力される。

彩度補正処理手段３では、色相別に彩度信号に対し彩度のゲイン制御およびオフセット制御が行われ色空間逆変換手段７へと出力される。

明度特徴検出手段４では、明度信号の映像特徴値として、最大値、最小値、平均値および明度レベルの分布状態を示す情報が検出され、映像・照度適応彩度明度制御手段６へと出力される。

彩度特徴検出手段５では、彩度信号の映像特徴値として、同様に最大値、最小値、平均値および彩度レベルの分布状態を示す情報が検出され、映像・照度適応彩度明度制御手段６へと出力が行われる。

映像・照度適応彩度明度制御手段６では、入力される明度特徴情報と色相信号および彩度信号により明度制御パラメータを演算して明度補正処理手段２に出力するとともに、入力される彩度特徴情報と色相信号により彩度制御パラメータを演算して彩度補正処理手段３に出力する。また、それぞれの制御パラメータは照度検出手段８から入力される照度信号値により、補正が加えられ照度に適応した制御パラメータとして出力される。

色空間逆変換手段７では、入力される色相信号および補正処理後の彩度信号および明度信号とからＲＧＢ信号へと、色空間変換手段１とは逆の演算により変換が行われ、ディスプレイパネル９へと出力される。

以上のように構成された画像処理装置において、映像・照度適応彩度明度制御手段６で適応制御される、明度制御パラメータ演算、彩度制御パラメータ演算についてそれぞれその動作を説明する。

まず、明度制御パラメータ演算であるが、これは明度補正処理手段２に対するコントラスト改善のためのコントラストゲインとブライトネス（オフセット）の制御量を、明度特徴検出手段４で得られる特徴情報に応じて明度に対する映像適応制御のパラメータとして算出するものである。尚、明度特徴検出手段４においては、入力される明度信号に対しローパスフィルターを通した後、１画面内の所定の検出領域に対して明度信号の最小値、最大値、平均値を算出するための積算値がそれぞれ求められるようになっているものである。明度の映像適応制御について図３、図４を用いて説明する。

図３は全体に明るい入力画像の例で、入力信号の明度の最大値、最小値、平均値の映像特徴情報を元に、入力画像のダイナミックレンジを振幅拡大（コントラスト制御）し、所定のレンジに収まるようなオフセット制御（ブライトネス制御）が行われる。尚、必要によりこれらの処理による本来の入力画像からの平均値レベルの変動分を調光制御により相殺されるようにバックライト輝度アップの動作が行われる。図４は全体に暗い入力画像の場合の例で、図３の場合と同様の概念で処理が行われるが、この場合はブライトネス制御と調光制御が、それぞれ図３の場合と逆方向に行われることになる。このように明度に対する映像適応制御では、入力映像信号の映像的特徴に応じて、信号振幅を拡大し同時に必要により調光制御されるため、映像のコントラスト感が向上し、黒はより黒く白はより白い映像となる良好な信号処理が行われるものである。

本実施の形態では、明度に関しては輝度成分に類するものとして、このような自然画像に対して行われている画像適応処理を実施するものとしている。これは、輝度成分に関しては見栄えに対する影響度が大きい為であり、視認性向上に対しても充分効果的なものであるが、主として通常照度の高画質化に対して最も効果的な処理である。従って本実施の形態では、明度に対するコントラスト制御については通常照度における高画質化モードとして強調する処理とし、低照度および高照度状態の場合はこの処理の最大強度（上限値）を照度に応じて抑圧するように制御を行う。これを図５を用いて説明する。

図５のように入力される照度値に応じて、通常照度の場合は所定の最大ゲイン値とし、このゲインを上限に明度信号の入力ダイナミックレンジに応じて図３および図４のようにコントラスト制御がなされる。一方低照度側および高照度側では、図５のように最大ゲイン値を照度に比例して抑えるようにしている。すなわち、図５に示すように、周辺の照度が３０００ｌｘ以上の高照度範囲においては、照度の増加に伴って明度信号に対するコントラスト強調を減少させるとともに、周辺の照度が２００ｌｘ以下の低照度範囲においては照度の減少に伴って明度信号に対するコントラスト強調を減少させるように制御し、かつ周辺の照度が２００ｌｘを超え３０００ｌｘ未満の通常照度範囲においては明度信号に対するコントラスト強調を最大ゲインとなるように制御している。

そして次に明度に対する視認性改善目的の処理として、図６に示すような特性の明度へのオフセット値を付加する制御を行う。すなわち、図６のように、周辺の照度が３０００ｌｘ以上の高照度範囲においては照度の増加に伴って前記明度信号に対するオフセット値を増加させるとともに、周辺の照度が２００ｌｘ以下の低照度範囲においては照度の減少に伴って前記明度信号に対するオフセット値を増加させるように制御し、かつ周辺の照度が２００ｌｘを超え３０００ｌｘ未満の通常照度範囲においては前記明度信号に対するオフセット値を付加しないように制御している。この明度値オフセットは、図３および図４に示した映像適応のブライトネス制御のオフセットとは別に照度に応じて強制的に付加するものである。図５と図６は逆の特性となっていることからもわかるように、明度コントラスト制御は主に通常照度における高画質化を目的とし、オフセット値は低照度および高照度での視認性の改善を目的としており、このように照度値に比例してスムーズに切替えることにより全ての照度領域において、シームレスに高画質化処理と視認性改善処理を自然に実現できるものとなる。

以上説明した明度制御は自然画像表示の場合により効果的な制御であるが、地図画像のようなＣＧ画像においてはこれに加えて、上記の明度最大ゲイン制御および明度オフセット制御を色相別に独立に設定できるようにしておき、入力される色相信号によりそれを切替える制御を行う。これは、使用するディスプレイパネルのディバイス的特徴、例えばディスプレイパネルが液晶ディスプレイの場合であれば、そのディバイスに使用されるカラーフィルターの特性によって、ＲＧＢの色再現特性に偏りをもつことがあるが、これを補正することが可能となるものである。これによってより緻密な色制御が可能となり、各照度状態においてより本来の色彩デザインを正確に再現することができるようになる。同様に所定の彩度信号レベル毎に独立に明度最大ゲイン制御および明度オフセットを設定しておき、入力される彩度信号によりそれを切替えることによっても、同様な色再現性の改善や、特定の色の補正に有効である。特に彩度信号による特定色の補正に関しては地図画像のようなＣＧ画像において有効であり、信号ソースに応じて使い分けることが望ましい。

次に彩度制御パラメータ演算について、図７、８、９を用いて説明する。

以下に説明する彩度制御は主として、視認性改善を目的とするものであるが、適度な強度で処理することにより高画質化に対しても効果があるものである。まず、彩度特徴検出手段５においては、明度特徴検出手段と同様な回路により、１画面内の所定の検出領域に対して彩度信号の最小値、最大値、平均値を算出するための積算値がそれぞれ求められるようになっている。映像・照度適応彩度明度制御手段６では、この最小値、最大値、および積算値から算出された平均値の３つのパラメータから、簡易的に彩度成分のレベルの分布状態を判定し、それに応じた彩度制御量を演算するように処理を行う。

図７は、彩度成分の分布状態を簡易的に検出する方法の一例の概念を説明する図である。図７ａは、最小値が０に近く最大値が最大レンジに近い非常にダイナミックレンジの広い例であるが、全体的な彩度レベルは低彩度信号が多い例である。このような場合には必然的に平均値は最小値に近い値となる。逆に、図７ｂは図７ａと同様に広いダイナミックレンジで同様な最小値と最大値のレベルであるが、全体的な彩度レベルは比較的高彩度よりの信号が多い例であり、このような場合には平均値は比較的最大値に近い値となる。

このように平均値を算出して最大値および最小値と比較（最大値と最小値の間のどの位置にあるかを演算）することにより、簡易的ではあるがその分布状態のピークレベル（出現頻度のピーク値）がどの程度であるか、あるいは分布状態がどういう状態であるかを概ね推定することができる。尚、ここでは簡易的な分布状態の検出方法について説明したが、ヒストグラムをカウントする構成とすることでより正確な分布状態を検出するようにすればなお望ましい。

そして、この分布状態を考慮し彩度分布が比較的低彩度レベルに集中しているような画像では、仮に彩度最大値が大きくても全体として彩度補正を強くかけるように制御を行い、逆に彩度分布が比較的高彩度レベルに集中しているような画像では、彩度補正をやや抑えるように制御を行う。このように、彩度の最大値だけではなく信号レベルの分布状態をも考慮して補正量を制御することにより、画像に対して違和感を出すことなく比較的低彩度成分が多い画像の場合は十分な彩度補正をかけることができ、比較的高彩度成分が多い画像の場合は過剰な補正や彩度の飽和を抑制することができるものである。

これを図で示したものが図８であり、図８は横軸に（彩度最大値−彩度平均値）を彩度最大値で除した値（よって、低レベル側に多く分布する場合が横軸の値が大きくなる様な図となっている）をとり、縦軸に彩度補正処理手段３に対して設定する彩度ゲイン値をとったものである。この図で横軸値が小さい場合すなわち彩度が高彩度側に多く分布していて彩度平均値が高い場合は、図８の実線のように彩度補正ゲインを低く抑え、逆に横軸値が大きい場合すなわち彩度が低彩度側に多く分布していて彩度平均値が低い場合は、彩度補正ゲインを大きく設定するようにしている。このように、彩度の分布状態に応じて彩度補正処理のゲインを制御するものである。

ここで、明度の場合と同様にこの彩度ゲイン特性についても照度信号により、各照度に応じた補正をかけることで照度適応制御を行う。彩度補正の場合は通常照度では彩度ゲインを抑え、低照度側および高照度側で強調するようにするもので、図９のような特性の照度適応処理を行う。これは、図８で説明した表示映像信号の彩度分布による適応制御は視認性改善を主な目的とした処理であるためであり、彩度ゲインは適度にかけることにより彩度豊かな高画質化を図れるが、過度にかけると違和感を増してしまうためである。

一方低照度および高照度では視認性の改善のため、図９に示すように通常照度から照度が離れる程強く補正がかかり、明所において彩度ゲインが最大となるようにする。特に入力が地図画像等のＣＧ画像の場合には効果的である。図９のような特性の照度適応処理を彩度分布状態に応じて求めたゲイン値に対して施す様子を図８で説明する。図８の実線で示すような彩度分布に対する彩度ゲイン値を図９の明所部における彩度最大ゲイン値とすると、照度に応じて抑制方向への補正は図８の点線のように一律に減算するようにしたもので、照度に応じてこの減算値を制御すればよい。あるいは、図９の特性による照度適応を図８の一点鎖線で示すように、減算ではなく特性そのものを変えるようにしてもよい。

図８の一点鎖線の例は、照度値が標準的な照度の場合に、彩度ゲイン強調が彩度分布状態に依らず殆どかからないような、照度適応重視の制御設定としている場合の例を示しており、このように特性を変化させる方法では、映像適応と照度適応の重み付けを変えることも可能である。

尚、彩度最大値がほぼ最大レンジ付近まである場合には、通常照度時のように抑制する方向に、彩度最大値が低くなればそれに応じて高照度時や低照度時のように強調する方向にシフトするような調整を加えることにより、照度だけではなく、表示画像の彩度の最大値やダイナミックレンジも考慮した補正制御量とすることもできる。但し、この場合照度適応制御とのバランスを考慮して過補正とならないようにする注意が必要である。

このように彩度補正制御においても、照度適応により高画質モードと視認性改善モードとをスムーズに切替えることで全ての照度領域において自然で最適な制御が実現できる。

ここで彩度補正処理手段３の動作について説明する。彩度補正処理手段３では、上記の通り映像・照度適応彩度明度制御手段６で彩度レベルの分布状態を考慮して設定され照度により補正を加えられた彩度制御量で彩度信号の補正制御を行う。ここでは彩度の補正として彩度ゲインの制御を行う場合について説明を行う。図１０に彩度の入力レベルに対するゲイン特性の設定例を示す。図１０のように彩度ゲイン制御特性として非線形な特性とすることにより、入力される彩度レベルが低レベルの時と高レベルの時にはゲインを抑圧し、（中心よりやや低レベルよりの）中間彩度レベルを主にゲイン強調するような特性としている。このようなゲイン特性とすることで、彩度の最大値が高くとも全体的な彩度レベルは比較的中低レベルに集中している場合では、全体としては大きな補正量を彩度の飽和なくかけることができ、彩度補正後の画像の各色と色の間の色度差をより強調する（色コントラストを強める）ことができ、これにより照度環境が良くない場合での視認性改善に効果的なものである。

実際のゲイン特性の設定では、図８で設定される彩度ゲイン値により図１０の中間部のゲイン特性を設定（本実施の形態では最大２倍まで）し、図１０の低彩度側および高彩度側の抑圧部分は、中間部のゲイン設定値から演算により連動制御されるようにしている。尚、ゲイン特性はこの例に限らず必要によりオフセット制御機能を付加することができること、もしくは入力信号ソースに応じて特性を選択できるようにしておくことが望ましい。

次に記憶色補正を行う場合の照度適応処理について説明を行う。これまで説明をしてきた彩度補正制御において、彩度ゲイン特性を明度制御の場合と同様に所定の色相別に独立に設定できるようにしておき、入力される色相信号によりそれを切替える制御を行うようにする。これにより、特に自然画像の場合の緑、青、肌色あるいは赤色等の特定の記憶色に対してのみ彩度を強調することにより効果的な彩度制御を行うことができるものであるが、この記憶色補正についても照度適応を行うようにする。

これまでの説明における彩度分布状態を考慮した彩度制御では、主に視認性改善を目的としたものであったが、この記憶色補正については、自然画像入力においてより彩度豊かな画像にする高画質化目的のものである。よって、照度適応としては、図５に示した明度コントラストの照度適応特性と同様に標準的な照度の場合にこの補正を強調させ、高照度側低照度側ではその強調量を抑えるような特性とすることが望ましい。これにより、照度が高い場合や低い場合では、過度な特定色相の彩度補正による違和感や弊害を抑え、全体に彩度を上げて視認性を改善させるものである。

また次に入力される信号ソースに応じた処理について説明する。以上に説明してきたように本実施の形態では、明度補正および彩度補正を、所定の色相毎に独立な設定値で最適に制御されるようになっているが、その各設定値は自然画像の場合とＣＧ画像の場合とでは最適値は異なるものである。従って、映像・照度適応彩度明度制御手段６においては、図示しない入力信号ソースを識別する信号が入力されるものとし、それにより色相信号だけではなく自然画像かＣＧ画像かによっても、異なる設定値によって制御されるように動作をさせる。

このように映像と照度に適応した補正制御が施された明度信号および彩度信号と、色空間変換手段１で変換された色相信号が、色空間逆変換手段７に入力され、色空間逆変換手段７では色空間変換手段１の動作説明で示した変換式の逆変換処理が行われ、色相信号、彩度信号、明度信号から、MAX、MID、MINを演算し各々ＲＧＢ信号にセレクトされて出力される。こうして、明度と彩度に補正が加えられたＲＧＢの色信号が作成される。

以上説明したように本実施の形態では、明度信号の映像的特徴および彩度信号の映像的特徴を考慮して、色相毎に明度制御パラメータおよび彩度制御パラメータを算出し、これに対し環境照度の状態に応じて最適に補正を加えることにより、全ての照度領域において映像の状態や映像シーン等に応じて、最適に画質改善と視認性改善をバランスよく実現することができるようになる。特に、自然画像の入力映像の場合とグラフィックス画像の入力映像の場合とでそれぞれ異なる最適設定をしておき信号ソースで切替えること、あるいは色相に応じた異なる設定をしておき色相信号で切替えること等の最適化を行うことにより、より緻密なＣＧ画像の色再現や、自然画像における記憶色補正処理、色再現性の向上、高画質化処理を行うことができるものである。

（実施の形態２）
図２は、本発明の第２実施形態による画像処理装置の構成を示すブロック図である。

図２に示す画像処理装置と図１に示す画像処理装置とで異なる点は、色相補正処理手段１０が追加されている点と、映像・照度適応彩度明度制御手段６が映像・照度適応ＨＳＶ制御手段６ａに変更されており、これらの変更に伴って明度信号の映像・照度適応ＨＳＶ制御手段６ａへの入力と色相制御の信号が追加されている。その他の点は、図１に示す画像処理装置と同様であるので、同一部分には同一符号を付して詳細な説明は省略する。以下、上記変更点を中心に説明する。

色相補正処理手段１０は、入力される色相信号に対し、映像・照度適応ＨＳＶ制御手段６ａから入力される色相制御信号により、所定の色相毎に独立に色相の回転をさせる、あるいは別の色相値に変換するといった補正処理を行うものである。具体的には、本実施の形態では色相環を１２等分（３０度相当）した１２軸で制御を行うものとし、入力される色相信号に対し１２の色相領域にわけてその領域毎に個別に補正を実施する構成としている。尚、後述するように彩度や明度レベルとの組み合わせにより更に詳細な制御も可能としている。この色相補正処理手段の設定例を図１１に示す。図１１に示すように色相補正処理手段では、１２ポイントの色相補正値を任意に設定できるようになっている。１２ポイントの各ポイント間は内挿処理が施される。

映像・照度適応ＨＳＶ制御手段６ａでは、実施の形態１で説明した明度制御パラメータ演算、彩度制御パラメータ演算が行われるが、それらに加えて色相制御パラメータ演算が行われ、色相補正処理手段１０に対する制御パラメータが出力されるようになっている。以下、色相制御パラメータ演算の詳細について説明する。

色相制御としては、実施の形態１でも説明したようなディスプレイディバイスの色再現性の補正目的で、ＲＧＢの各色再現性を考慮して静的に設定することがまずあげられる。これは図１１の各１２ポイントのデータを彩度や明度に関わらず固定的に設定するものである。本実施の形態の特徴とするところはこれ以外に、明度信号や彩度信号を利用し明度レベルや彩度レベルによっても、色相を調整することを可能としているところであり、この例を図１２に示す。図１２は、彩度信号レベルにより色相補正データを可変させている例を示しており、ある特定の色相（例えば図１１のＲ）についての特性例である。この例では彩度レベル１６ポイントを設定しその間は内挿によりデータを作成している。よって本実施の形態の構成の場合では図１２の特性が１２色全てに対して個別に設定できるようになっている。そして、映像・照度適応ＨＳＶ制御手段６ａでは、入力される色相信号、彩度信号により図１２のような微調整を色相補正処理手段１０で処理するように制御を行う。

また、明度レベルによって補正することも同様にでき、図１２の入力（横軸）を明度信号としたものを同様に１２色別途用意すれば同様に可能である。さらには、明度と彩度の組み合わせにより個別に設定することも可能である。

このように彩度レベルや明度レベルにより、詳細な色相調整を行うことでより緻密な制御を可能とするものである。これは特に自然画像およびＣＧ画像の色再現性の向上や、ＣＧ画像のカラーコレクト処理に対して使用して有効であり、より本来の色彩デザインを正確に再現することができるようになるものである。また、前述のディスプレイパネルの色再現性に対する補償への応用にもより細かな調整機能として有用である。上記説明では、明度特徴情報および彩度特徴情報については考慮していないが、ＣＧ画像の場合、明度分布や彩度分布によって、実施の形態１で説明したのと同様に色相設定値を補正することも可能であり有効である。

次に、色相制御の照度適応処理について説明する。

色相制御に関しては、図６の明度制御や図９の彩度制御のように照度補償を行う必要は通常ないが、低照度の場合にプルキンエ現象の補償として使用することが考えられる。車載ディスプレイ装置等では夜間の車内の照度は数ｌｘ以下となり、プルキンエ現象による色知覚の変化が起こるためこれを補償するものである。プルキンエ現象とは、概ね１０ｌｘ程度以下の暗所視において主として働く視細胞である捍体が、明暗によく反応するが長波長成分の光には反応しないため、赤いものは暗く見え青い色が明るく見えるという現象である。これは、図１３に示すように、暗所視では比視感度曲線が５５５ｎｍから５０７ｎｍ程度に短波長側に移動することである。従って、この現象に対する補償として所定照度（概ね１０ｌｘ程度）以下の場合に、例えば、ＲからＧ系の色相に対しＲを強調する方向に回転させ、ＧからＢ系の色相に対しＢを抑える方向に回転させるといった補償が考えられる。

これ以外にも、著しく高照度の場合においては、視認性改善の目的で特定の色相を回転することも効果的であると考えられる。この照度適応処理については、ＣＧ画像自然画像の別なく実施することができるものである。

以上説明したように本実施の形態では、実施の形態１で説明した動作に加えて、明度信号および彩度信号に応じて色相毎の色相補正値を算出し、これに対し環境照度の状態に応じて適宜補正を加えることにより、全ての照度領域において映像の状態や映像シーン等に応じて、画質改善と視認性改善をバランスよく最適に実現することができるようになる。特に、自然画像の入力映像の場合とグラフィックス画像の入力映像の場合とでそれぞれ異なる最適設定をしておき信号ソースで切替えること、あるいは彩度レベルや明度レベルにより色相毎に異なる設定をしておき、明度信号や彩度信号で色相補正値を切り換えることにより、より緻密なＣＧ画像の色再現や、自然画像における記憶色補正処理、色再現性の向上、高画質化処理を行うことができるものである。

本発明に係る画像処理装置およびその処理方法は、車載用ディスプレイなどの、使用する環境の照度範囲が広く激しく変化しうる用途における映像表示機器で、特にカーナビゲーションシステムの地図画像や車輌情報表示等のＣＧ画像の表示とＴＶやＤＶＤビデオ画像等の自然動画像のいずれをも表示する場合において、視認性改善処理および画像の高画質化に適用して有用である。

本発明の第１実施形態による画像処理装置の構成を示すブロック図本発明の第２実施形態による画像処理装置の構成を示すブロック図図１に示す明度補正処理手段における明度映像適応制御の処理例（明るい入力画像の場合）を説明する模式図図１に示す明度補正処理手段における明度映像適応制御の処理例（暗い入力画像の場合）を説明する模式図図１に示す映像・照度適応彩度明度制御手段における照度による明度コントラスト制御強度特性の一例を説明する特性図図１に示す映像・照度適応彩度明度制御手段における照度による明度オフセット制御特性の一例を説明する特性図図１に示す彩度特徴検出手段における彩度信号レベルの分布状態検出方法の一例を説明する特性図図１に示す映像・照度適応彩度明度制御手段における彩度の分布状態に対する彩度補正量の設定例を示す特性図図１に示す映像・照度適応彩度明度制御手段における照度による彩度ゲインの強度制御の一例を説明する特性図図１に示す映像・照度適応彩度明度制御手段における彩度の入力レベルに対するゲイン特性図図２に示す色相補正処理手段における色相信号の補正制御の設定の一例を示す特性図図２に示す映像・照度適応ＨＳＶ制御手段における色相信号の彩度レベルによる補正設定の一例を示す特性図人間の視覚特性としての明所視および暗所視での比視感度曲線を示す特性図従来例における彩度補正処理での彩度特徴に対する彩度強調方法を示す模式図従来例の画像処理装置における彩度補正の流れを示すフローチャート

符号の説明

１色空間変換手段
２明度補正処理手段
３彩度補正処理手段
４明度特徴検出手段
５彩度特徴検出手段
６映像・照度適応彩度明度制御手段
７色空間逆変換手段
８照度検出手段
９ディスプレイパネル

Claims

色相信号、彩度信号および明度信号の各信号成分を含む入力映像信号に対して、表示装置に表示したときの画像の視認性を改善するための画像処理装置であって、
前記入力映像信号の明度信号を補正処理する明度補正処理手段と、
前記表示装置の周辺の照度を検出する照度検出手段と、
前記照度検出手段からの照度信号により、前記明度補正処理手段を制御する制御手段とを備え、
前記制御手段は、周辺の照度が３０００ｌｘ以上の高照度範囲においては照度の増加に伴って前記明度信号に対するオフセット値を増加させるとともに、周辺の照度が２００ｌｘ以下の低照度範囲においては照度の減少に伴って前記明度信号に対するオフセット値を増加させるように制御し、かつ周辺の照度が２００ｌｘを超え３０００ｌｘ未満の通常照度範囲においては前記明度信号に対するオフセット値を付加しないように制御する構成とした、
画像処理装置。
前記制御手段は、前記明度補正処理手段に対してさらに明度信号のコントラスト強調を行うように制御する構成とし、周辺の照度が３０００ｌｘ以上の高照度範囲においては照度の増加に伴って明度信号に対するコントラスト強調を減少させるとともに、周辺の照度が２００ｌｘ以下の低照度範囲においては照度の減少に伴って明度信号に対するコントラスト強調を減少させるように制御し、かつ周辺の照度が２００ｌｘを超え３０００ｌｘ未満の通常照度範囲においては明度信号に対するコントラスト強調を最大ゲインとなるように制御する構成とした、
請求項１記載の画像処理装置。
前記入力映像信号の彩度信号を補正処理する彩度補正処理手段と、
前記入力映像信号の彩度信号より１画面分の彩度信号のレベルの分布状態を表す彩度特徴情報を検出する彩度特徴検出手段とをさらに備え、
前記制御手段は、前記彩度特徴検出手段からの彩度特徴情報により、前記彩度補正処理手段を制御し、前記彩度が低彩度に多く分布しているほど彩度ゲインを大きくするように制御する構成とした、
請求項１記載の画像処理装置。
前記制御手段は、前記彩度補正処理手段に対して、前記高照度範囲においては前記照度の増加に伴って前記彩度ゲインを増加させ、前記低照度範囲においては前記照度の減少に伴って前記彩度ゲインを増加させるように制御する構成とした、
請求項３記載の画像処理装置。
前記入力映像信号の色相信号を補正処理する色相補正処理手段をさらに備え、
前記制御手段は、前記入力映像信号の色相信号により前記色相補正処理手段を制御し、所定の色相毎に前記入力映像信号の色相を別の色相に変化させるように制御する構成とした、
請求項１記載の画像処理装置。
前記制御手段は、前記入力映像信号の彩度信号を受け、前記彩度信号のレベルに応じて色相の変化の程度を変えるように制御する構成とした、
請求項５記載の画像処理装置。
前記制御手段は、前記入力映像信号の明度信号を受け、前記明度信号のレベルに応じて色相の変化の程度を変えるように制御する構成とした
請求項５記載の画像表示装置。
前記制御手段は、前記照度信号が所定照度以下の場合、暗所視のプルキンエ現象を補償するように、赤を強調し、青を抑圧するように制御する構成とした、
請求項５記載の画像表示装置。
前記制御手段は、前記入力映像信号の色相信号を受け、前記色相信号ごとに独立して制御する構成とした、
請求項１記載の画像処理装置。
前記制御手段は、前記入力映像信号の画像が自然画像の場合とグラフィック画像の場合とで制御が異なるように構成した、
請求項１記載の画像処理装置。
色相信号、彩度信号および明度信号の各信号成分を含む入力映像信号に対して、表示装置に表示したときの画像の視認性を改善するための画像処理方法であって、
前記表示装置の周辺の照度を検出する照度検出ステップと、
周辺の照度が３０００ｌｘ以上の高照度範囲においては照度の増加に伴って前記明度信号に対するオフセット値を増加させるとともに、周辺の照度が２００ｌｘ以下の低照度範囲においては照度の減少に伴って前記明度信号に対するオフセット値を増加させるように制御し、かつ周辺の照度が２００ｌｘを超え３０００ｌｘ未満の通常照度範囲においては前記明度信号に対するオフセット値を付加しないように前記明度補正信号を補正する明度補正ステップとを有する、
画像処理方法。
前記明度補正ステップは、さらに明度信号のコントラスト強調を行う明度補正ステップであって、周辺の照度が３０００ｌｘ以上の高照度範囲においては照度の増加に伴って明度信号に対するコントラスト強調を減少させるとともに、周辺の照度が２００ｌｘ以下の低照度範囲においては照度の減少に伴って明度信号に対するコントラスト強調を減少させるように制御し、かつ周辺の照度が２００ｌｘを超え３０００ｌｘ未満の通常照度範囲においては明度信号に対するコントラスト強調を最大ゲインとなるように前記明度補正信号を補正するステップである、
請求項１１記載の画像処理方法。
請求項１１または１２のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
請求項１３記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。