JP4440245B2 - 視覚処理装置、表示装置および集積回路 - Google Patents
視覚処理装置、表示装置および集積回路 Download PDFInfo
- Publication number
- JP4440245B2 JP4440245B2 JP2006273862A JP2006273862A JP4440245B2 JP 4440245 B2 JP4440245 B2 JP 4440245B2 JP 2006273862 A JP2006273862 A JP 2006273862A JP 2006273862 A JP2006273862 A JP 2006273862A JP 4440245 B2 JP4440245 B2 JP 4440245B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- gain
- value
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 485
- 230000000007 visual effect Effects 0.000 title claims description 364
- 238000012937 correction Methods 0.000 claims description 230
- 230000005684 electric field Effects 0.000 claims description 35
- 230000007423 decrease Effects 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 16
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims 18
- 238000006243 chemical reaction Methods 0.000 description 99
- 238000001514 detection method Methods 0.000 description 73
- 230000006870 function Effects 0.000 description 67
- 238000010586 diagram Methods 0.000 description 58
- 238000000034 method Methods 0.000 description 31
- 230000000694 effects Effects 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 27
- 238000012986 modification Methods 0.000 description 27
- 230000004048 modification Effects 0.000 description 27
- 230000001965 increasing effect Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 20
- 238000003860 storage Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 229920006395 saturated elastomer Polymers 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000009738 saturating Methods 0.000 description 4
- 238000004092 self-diagnosis Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Description
コントラスト調整では、色バランスを崩さないように、RGB信号を輝度信号と色度信号に分離し、輝度信号のコントラストを調整するようにしていた。
また、輝度信号レベルを大きくした部分では、色が薄く見え、逆に輝度信号レベルを小さくした部分では色が濃く見えて不自然な状態で出力されるので、輝度信号レベルの変化に対応するように色度信号のレベルも増減させるようにしていた。
従来の表示装置のコントラスト調整回路について図52を用いて説明する。図52は従来の表示装置のコントラスト調整回路の構成を示すブロック図である。図52において、Yマトリクス100はR、G、B信号を輝度信号Yaに変換するものである。同様に、R−Yマトリクス101はR、G、B信号を色度信号であるR−Yに、B−Yマトリクス102はR、G、B信号を色度信号であるB−Yに変換するものである。ガンマ補正回路104は輝度信号Yaのリニアリティを輝度信号Ybに変換するものである。また、ガンマ補正回路104はルックアップテーブル(以下、「LUT」という)より構成され、例えば図53に示すような、ガンマ変換特性を有するテーブル値が書き込まれている。ここで、横軸が入力Ya、縦軸が出力Ybである。
本発明が解決しようとする課題は、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置を実現することである。また、その視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路を実現することである。
この視覚処理装置では、画像信号に対して所定のゲイン特性を有する第1ゲイン信号が視覚処理部により出力され、第1ゲイン信号に基づいて、視覚処理装置に入力された画像信号が補正されるので、高性能な補正処理を簡易な構成で実現することができる。つまり、画像信号を補正するのに、直接階調補正するのではなく、ゲイン信号により補正するので、簡易な処理で画像信号の補正を行うことができ、例えば、ハードウェアで構成する場合等に回路規模を削減することができる。また、ゲイン信号による補正により画像信号の補正を実現するので、補正後の出力画像信号の出力タイミングを容易に合わせることができる。
第2の発明は、第1の発明であって、設定された所定の制限値で第1ゲイン信号を制限して第2ゲイン信号を出力するゲイン制限部をさらに備える。補正部は、第2ゲイン信号に基づいて画像信号を補正する。
このような構成により、高彩度色で所定の制限値でゲインを抑えることで、画像のコントラスト調整をしても高彩度色でゲイン信号を制限することができ、例えば、濃い赤色、濃い青色で色飽和を防止することができる。また、所定の制限値は簡易なハードウェアで実現できるため、画素単位で制限値を変更できる。
これによれば、さらに、空間処理が施された処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域を飽和させることなく両方に最適なコントラスト調整ができる。また、周りが暗い中の明るい画素でもオーバーフローして飽和することなくコントラスト調整ができる。
第4の発明は、第1から第3のいずれか1つの発明であって、視覚処理部は、画像信号と処理信号とを入力とする2次元ルックアップテーブルを備えている。
これによれば、さらに、また、ルックアップテーブルのデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形の2次元ゲイン特性を容易に実現できる。また、2次元ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままルックアップテーブルのデータとするよりもメモリ容量を小さくできる。
第5の発明は、第1から第4のいずれか1つの発明であって、画像信号は、輝度信号および色度信号であり、補正部は、輝度信号と第2ゲイン信号とを乗算して補正された輝度信号を出力する第1乗算部と、色度信号と第2ゲイン信号とを乗算して補正された色度信号を出力する第2乗算部とを有する。
第6の発明は、第1から第4のいずれか1つの発明であって、画像信号は、RGB信号であり、補正部は、RGB信号と第2ゲイン信号とを乗算して補正されたRGB信号を出力する。
これによれば、さらに、所定の制限値で抑えたゲイン信号と、RGB信号を乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを調整できる。
第7の発明は、第1から第6のいずれか1つの発明であって、画像信号をRGB信号に変換したときの最大値を検出する最大値検出部と、検出された最大値に応じて色飽和を抑える所定の制限値を算出する第1制限値算出部と、をさらに備える、
このような構成により、さらに、補正された画像信号が色飽和するゲイン信号の最大値を検出でき、色飽和しない制限値を算出できる。
第8の発明は、第1から第7のいずれか1つの発明であって、1フレーム内または1フィールド内の画像信号から検出した平均信号レベルに応じて所定の制限値を算出する信号レベル検出部をさらに備える。
第9の発明は、第1から第8のいずれか1つの発明であって、画像信号に対して予め設定された重み関数に基づいて検出される肌色らしさ度に応じて所定の制限値を算出する肌色検出部をさらに備える。
このような構成により、肌色を検出して制限値を設定できるので、明るい肌色で制限値を下げることができ、色飽和を抑え、さらに顔のテカリを防止できる。また、画像中の明るい領域での顔の濃淡を飛ばさないようにできる。
第10の発明は、第1から第9のいずれか1つの発明であって、通信または放送されたデータを受信するデータ受信部と、受信したデータから番組情報を分離する番組情報分離部と、番組情報から検出した放送コンテンツに応じて所定の制限値を算出する放送内容検出部と、をさらに備える。
第11の発明は、第1から第10のいずれか1つの発明であって、通信または放送されたデータを受信するデータ受信部と、データを受信するときの電界強度値を検出し、電界強度値に応じて所定の制限値を算出する電界強度検出部と、をさらに備える。
このような構成により、電界強度が弱く受信データのS/Nが悪い画像を検出して画像全体に対するゲイン信号を制限でき、S/Nが悪い画像のノイズの強調を抑えることができる。
第12の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第1から第11のいずれか1つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、画像の明るさ調整で色飽和を抑えた視覚処理ができる表示装置を実現できる。また、ゲイン信号を制限することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示画面の明るさに応じてバックライトを調整するような液晶パネルでも同様の効果を奏する。
このような構成により、表示装置でも視覚処理装置と同様の効果を得ることが可能となる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報端末装置を実現することもできる。撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。
このような構成により、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示部とを備えた構成であってもよい。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
第14の発明は、第1から第11のいずれか1つの発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいた所定のゲイン特性を有するゲイン信号を出力し、補正部は、ゲイン信号に基づいて画像信号の階調を補正する。
このような構成により、局所領域の濃淡情報である処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域を飽和させることなく両方に最適なコントラスト調整ができ、色飽和を抑えられる。また、ゲイン特性は階調変換特性に比べて画像信号に対する特性の変化が緩やかであるため、画像信号と処理信号を粗く間引いても十分に処理精度を確保でき、信号のビット精度を落とすことができるためである。これにより、視覚処理部のハードウェアの回路規模を削減でき、ルックアップテーブルを備えた場合にはメモリ容量を削減できる。
これによれば、さらに、入力された輝度信号の値が処理信号の値よりかなり大きい値で変化した場合であっても補正された出力のコントラストの低下を抑えることができる。これにより、例えば、輝度信号の信号レベルが高い信号に微小な高周波成分を有するような画像信号(例えば、高輝度のディテール部分に相当する画像信号)に対してもコントラストを低下させずに補正し、出力することができる。
第16の発明は、第1から第11、第14、第15のいずれか1つの発明であって、補正部は、画像信号のコントラストを強調した強調信号を出力するコントラスト強調部を有し、補正部は、強調信号の階調を補正する。
これによれば、さらに、画像信号のコントラストを強調できる。
第17の発明は、第1から第11、第14から第16のいずれか1つの発明であって、コントラスト強調部は、画像信号の空間周波数帯域を制限した帯域制限信号と画像信号とに基づいて強調信号を出力する。
これによれば、さらに、着目画素とその近傍の明るさにより画像信号のコントラストを強調できる。
このような構成により、さらに、互いに異なる複数の演算結果を設定することで、様々なコントラストの強調を行うことが可能となる。
第19の発明は、第1から第11、第14から第17のいずれか1つの発明であって、コントラスト強調部は、帯域制限信号と画像信号との比に基づいた強調信号を出力する。
これによれば、さらに、コントラスト強調部は、帯域制限信号と画像信号との比に応じてコントラストを強調できる。
第20の発明は、第1から第11、第14から第17のいずれか1つの発明であって、コントラスト強調部は、帯域制限画像信号と画像信号との差に基づいた強調信号を出力する。
これによれば、さらに、コントラスト強調部は、帯域制限信号と画像信号との差に応じてコントラストを強調できる。
第21の発明は、第1から第11、第14から第20のいずれか1つの発明であって、視覚処理部は、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力し、補正部は、画像信号のコントラストを強調した強調信号を出力するコントラスト強調部を有する。補正部は、強調信号の階調を補正する。
第22の発明は、第1の発明であって、設定された所定の補正値で第1ゲイン信号を補正して第2ゲイン信号を出力するゲイン制御部をさらに備える。補正部は、第2ゲイン信号に基づいて画像信号を補正する。
このような構成により、画像中の領域ごとに補正値でコントラストの強調、抑制ができる。よって、逆光シーン画像での暗部領域、特に人物の顔領域を適正な明るさに強調し、かつ、背景領域の高彩度色で抑制することができる。これにより、最適な明るさ調整を行いつつ、例えば、濃い赤色、濃い青色で階調、色の飽和を抑えることができる。また、簡易なハードウェアで構成できるため、画素単位に補正値を変更できる。
第23の発明は、第22の発明であって、ゲイン制御部は、所定の補正値で1倍と第1ゲイン信号との差を拡大または縮小する。
第24の発明は、第22の発明であって、ゲイン制御部は、所定の補正値で1倍と第1ゲイン信号とを内分または外分する。
このような構成により、さらに、第1ゲイン信号は1倍を中心に増減でき、コントラストの強調と抑制ができる。
第25の発明は、第22から第24のいずれか1つの発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいたゲイン特性を有する第1ゲイン信号を出力する。
このような構成により、さらに、処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域の信号を飽和させることなく両方に最適なコントラスト調整ができる。よって、例えば、逆光シーン画像での暗部領域、特に人物の顔領域を適正な明るさに強調しても、明るい背景領域の信号が飽和しないようにできる。
第26の発明は、第25の発明であって、視覚処理部は、2次元ルックアップテーブルを有する。
第27の発明は、第22から第26のいずれか1つの発明であって、画像信号は、輝度信号および色度信号であり、補正部は、輝度信号と第2ゲイン信号とを乗算して補正された輝度信号を出力する第1乗算部と、色度信号と第2ゲイン信号とを乗算して補正された色度信号を出力する第2乗算部と、を有する。
このような構成により、さらに、所定の補正値で強調または抑制したゲイン信号を輝度信号と色度信号に共通に乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを強調または抑制できる。
第28の発明は、第22から第26のいずれか1つの発明であって、画像信号は、RGB信号であり、補正部は、RGB信号と第2ゲイン信号とを乗算して補正された画像信号を出力する。
このような構成により、さらに、所定の補正値で強調または抑制したゲイン信号をRGB信号に共通に乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを強調または抑制できる。
このような構成により、さらに、補正された画像信号が色飽和するゲイン信号の最大値を検出でき、色飽和しない補正値を算出できる。
第30の発明は、第22から第29のいずれか1つの発明であって、1フレーム内または1フィールド内の画像信号から検出した信号レベルの平均値に応じて所定の補正値を算出する信号レベル検出部をさらに備える。
このような構成により、さらに、画像信号から検出した信号レベルの平均値に応じて補正値を設定できるので、明るい画像でゲイン信号を制御し信号レベルを抑えることができる。これにより、例えば、プラズマディスプレイパネルなどの表示装置で耐熱性を高め、消費電力を抑えることができる。
また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を制限できるので、効果の高いコントラスト調整ができる。
このような構成により、さらに、逆光シーンの肌色を検出して補正値を設定できるので、暗い肌色で補正値を上げて画像を明るくすることができ、顔領域にレフ板効果を持たせることができる。また、顔の肌色のくすみを防止できる。
第32の発明は、第22から第31のいずれか1つの発明であって、通信または放送されたデータを受信するデータ受信部と、受信したデータから番組情報を分離する番組情報分離部と、番組情報から検出した放送コンテンツに応じて所定の補正値を算出する放送内容検出部と、をさらに備える。
このような構成により、さらに、コンテンツごとに補正値を設定でき、それぞれのコンテンツに最適なコントラストにあわせた補正値を設定できる。
第33の発明は、第22から第32のいずれか1つの発明であって、通信または放送されたデータを受信するデータ受信部と、データを受信するときの電界強度値を検出し、電界強度値に応じて所定の補正値を算出する電界強度検出部と、をさらに備える。
第34の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第22から第33のいずれか1つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、さらに、階調と色の飽和を抑えた視覚処理により画像の明るさ調整ができる表示装置を実現できる。また、ゲイン信号を制御することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示画面の明るさに応じてバックライトを調整するような液晶パネル等でも同様の効果を奏する。
第35の発明は、画像データを入力するデータ入力部と、入力された画像データを視覚処理して出力信号を出力する第22から第33のいずれか1つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
また、撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。
このような構成により、さらに、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。
携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示手段とを備えた構成であってもよい。
このような構成により、さらに、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。
第36の発明は、第1から第11、第14から第33のいずれか1つの発明である視覚処理装置を含む集積回路である。
このような構成により、さらに、集積回路でも視覚処理装置と同様の効果を得ることが可能となる。
(実施形態1)
まず、実施形態1の視覚処理装置について説明する。ここで行う視覚処理とは人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値との対比に応じて出力信号の値を決定する処理である。
適用される処理として、逆光補正、ニー処理、Dレンジ圧縮処理、色処理、明るさ調整(階調処理、コントラスト調整を含む)などがある。なお、本発明では、YCbCr色空間、YUV色空間、Lab色空間、Luv色空間、YIQ色空間、YPbPr色空間のY(輝度成分および明度成分)を輝度信号と定義する。
また、YCbCr色空間のCbCr成分、YUV色空間のUV成分、Lab色空間のab成分、Luv色空間のuv成分、YIQ色空間のIQ成分を色度信号と定義する。
図1は、本発明の実施形態1における視覚処理装置1のブロック図である。
図1において、視覚処理装置1は、画像信号に対して所定のゲイン特性を有する第1ゲイン信号を出力するゲイン型視覚処理部70と、設定された所定の制限値で前記第1ゲイン信号を制限して第2ゲイン信号を出力するゲイン制限部5と、第2ゲイン信号に基づいて画像信号を補正する補正部9とを備えている。
ゲイン型視覚処理部70は、視覚処理部3と、空間処理部2とを備えている。
これにより、視覚処理装置1は、画像信号Yin、CRin、CBinに視覚処理を行い視覚処理画像Yout、CRout、CBoutを出力する。
空間処理部2は、空間処理の対象となる対象画素の値と、対象画素の周辺領域の画素(以下、「周辺画素」という)の値とを輝度信号Yinから取得する。取得した原画像の画素ごとの輝度値Yinに空間処理を実行しアンシャープ信号USを出力する。アンシャープ信号USとは、輝度信号をローパスフィルタなどで帯域制限処理したボケ信号である。
視覚処理部3は、輝度信号Yinおよびアンシャープ信号USから2次元ゲイン関数に基づいて第1ゲイン信号GAINを求め、出力する。
2次元ゲイン関数は、例えば、図2に示す階調変換特性と等価な入出力値を出すように階調変換曲線の傾きをゲインとする関数に設定されている。よって、輝度信号Yinの値と2次元ゲイン関数に基づいて算出された出力の値とを乗算することで、図2の示す階調変換特性と等価な入出力値を得ることができる。
ゲイン制限部5は、制限値Lで第1ゲイン信号GAINを制限し、第2ゲイン信号GAIN2を出力する。第1ゲイン信号GAINを制限することで、明るさ調整を行ったときに色飽和の発生を抑えることができる。
補正部9は、乗算部6、乗算部7および乗算部8を備え、第2ゲイン信号GAIN2に応じて画像信号を補正する。
乗算部6は、第2ゲイン信号GAIN2と輝度信号Yinと乗算し、補正された輝度信号Youtを出力する。この補正された輝度信号Youtは、図2に示す階調変換特性と等価な出力である。乗算部7、乗算部8は第2ゲイン信号GAIN2と入力された色度信号CRin、CBinとを乗算し、補正された色度信号CRoutおよびCBoutを出力する。
つぎに、実施形態1における視覚処理装置1について、さらに詳細に説明する。
視覚処理装置1は、本発明の実施形態では、図2に示すように2次元階調変換特性を持つように設定される。ここで、図2の横軸は入力された輝度信号Yin、縦軸は変換された輝度信号Youtである。
つぎに、視覚処理部3の説明をする。図3は、視覚処理部3の第1ゲイン信号GAINの出力を示しており、図2の階調変換曲線の傾きをゲインとした2次元ゲイン特性を持つ。ここで、図3の横軸は入力された輝度信号Yin、縦軸は第1ゲイン信号GAINの出力である。また、アンシャープ信号の添え字について、出力が単調減少する関係にある。また、図3に示すYin−Gain入出力特性において、すべての輝度信号Yinの明度値に対して、(US=US0の場合の出力GAINの値)≧(US=US1の場合の出力GAINの値)≧・・・≧(US=USnの場合の出力GAINの値)の関係を満たしている。
また、2次元LUTで構成することで、複雑なゲイン特性も予め作成することができ、リードオンリーメモリ(以下、「ROM」という)で提供することができる。また、ゲイン特性を更新できるようにするため、書き換え可能なメモリ、例えば、ランダムアクセスメモリ(以下、「RAM」という)で構成してもよい。2次元LUTには予め設定される2次元ゲイン特性を有するゲインデータが格納されている。
さらに、2次元ゲイン特性を変更することで、様々な視覚効果を得ることができる。
また、外部より2次元ゲインデータをプロファイルデータとして登録することもできる。この2次元ゲインデータを書き換えることで、視覚処理装置1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の階調処理、ダイナミックレンジ(以下、「Dレンジ」という)の圧縮処理、ニー処理、色処理など様々な視覚効果を同じ視覚処理回路、視覚処理プログラムにより実現できるので、汎用な集積回路、汎用な視覚処理プログラムを実現できる。この2次元ゲインデータの外部からの書き換え、登録についての詳細は後述する。
空間処理部2は、例えば、輝度信号Yinの対象画素に対して低域空間のみを通過させる低域空間フィルタ演算によりアンシャープ信号USを得る。フィルタ演算では、対象画素と周辺画素の画素値を、例えば、(式1)に基づいて計算する。
US=(Σ[Wij]×[Aij])/(Σ[Wij]) (式1)
ここで、[Wij]は、対象画素および周辺画素において、i行j列目に位置する画素の重み係数であり、[Aij]は、対象画素および周辺画素において、i行j列目に位置する画素の画素値である。また、「Σ」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味している。
より具体的には、それぞれの重み係数[Wij]を1、画素値[Aij]をA(i,j)と表現して説明する。対象画素の画素値は、A(1,1)が「128」、A(0,0)が「110」、A(0,1)が「115」、A(0,2)が「117」、A(1,0)が「123」、A(1,2)が「120」、A(2,0)が「120」、A(2,1)が「127」、A(2,2)が「125」とする。このとき、3画素×3画素の領域よりアンシャープ信号USを得るには、(式1)より、US=(128+110+115+117+123+120+120+127+125)/9の演算を行う。
また、周辺画素の領域は、効果に応じて、その領域の大きさが設定されるものである。周辺画素の領域は、視覚効果を得るためにはある程度大きな領域に設定することが好ましい。例えば、画像の大きさがXGA(1024×768)では、周辺画素の領域を80画素×80画素以上の大きさの領域に設定するのが好ましい。
また、低域空間フィルタとしては、アンシャープ信号USの生成に通常用いられるFIR(Finite Impulse Response)型の低域空間フィルタ、あるいはIIR(Infinite Impulse Response)型の低域空間フィルタなどを用いる。
つぎに、図4、図5を用いて色飽和検出部10について説明する。図4は色飽和検出部10のブロック図である。
図4において、RGB変換部11は、輝度信号Yinと色度信号CBinおよびCRinとからRGB信号を生成する。最大値検出部12は、レッド信号(以下、「R信号」という)、グリーン信号(以下、「G信号」という)、ブルー信号(以下、「B信号」という)のうち、最大値を検出する。第1制限値算出部13は、検出されたRGB信号の最大値から制限値L1を算出する。制限値決定部4は、制限値L1、レジスタ20に設定された制限値L2、外部から入力された制限値L3からL6を参照して制限値Lを決定し、出力する。制限値決定部4の詳細は後述する。
RGB信号に第1ゲイン信号GAINを乗算しても、RGB信号の各R信号、G信号、B信号の比が維持できれば色は変化しない。しかし、いずれかの信号の最大値が飽和すると、それ以上信号レベルを大きくできないため、RGB信号の比のバランスが崩れ不自然な色の変化が発生する。この色飽和を防止するためには、RGB信号の最大値に第1ゲイン信号GAINを乗算しても信号レベルの最大値を超えないようにすればよい。例えば、検出されたRGB信号の最大値が「127」のとき制限値は「2.0」となる。同様に、最大値が「84」のとき制限値は「3.0」、最大値が「212」のとき制限値は「1.2」となる。ここで、RGB信号は、「0」から「255」までの範囲をとる信号とする。よって、RGB信号の最大値をSmax、階調飽和、色飽和が抑えられる制御後の制限値Lの最大値をLmaxとすると、次のようになる。
Lmax=255/Smax
このように、ゲイン信号GAIN2<Lmax(曲線2)を満足する制限値L1(曲線1)を設定することで階調飽和、色飽和を抑え、色バランスを保持することができる。また、コントラストを強調した画像中に不自然な色の変化は発生しない。
このように、Yin信号、CBin信号、CRin信号をRGB信号に変換し、RGB信号により、最終的にディスプレイ装置等で表示される画像において、階調飽和、色飽和等が起こるか否かを判断することができる。つまり、最終的にディスプレイ装置等で表示される信号は、RGB信号であるので、予めRGB信号を取得し、RGB信号において階調飽和、色飽和等が起きるか否かを判断しておくことで、最終的にディスプレイ装置等で表示される画像の状況を予め正確に知ることができるのである。したがって、Yin信号、CBin信号、CRin信号からRGB信号を予め取得し、取得したRGB信号に基づいて、GAIN値の制限をかけるための制限値Lを決定することが効果的である。
つぎに、図6、図7を用いて制限値決定部4の動作を説明する。制限値決定部4は制限値L1からL6を入力し、演算することで画像信号の画像の種類、画像の特徴、集積回路の自己診断に応じた制限値Lを決定するようにしてもよい。
図6において、Mレジスタ23は制限値決定部4の動作モードを決定する。例えば、図7の表24に示すようにMレジスタ23に値「2」が設定されると、制限値決定部4はレジスタ20に設定されている制限値L2の値を入力する。これにより、制限値Lは、制限値L2の固定値に設定される。視覚処理装置1において、視覚処理画像に不具合な異常が見られたときに集積回路の内部信号L1およびL3からL6をマスクし、外部より制限値L2を設定して制限値の影響を調べるなどの自己診断を行うことができる。また、内部信号L1およびL3からL6をマスクし、制限値L2に強制設定できるので、集積回路内の信号を確認するためのテスト信号に利用することもできる。
このように、制限値決定部4は、Mレジスタ23に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して制限値Lを出力することができる。外部より入力される制限値L3からL6の詳細は後述する。
なお、制限値決定部4が、外部より入力された信号を選択して出力する場合は、入力された制限値をそのまま制限値Lとして用いてもよく、制限値決定部4は無くてもよい。
つぎに、ゲイン制限部5は、制限値Lで第1ゲイン信号GAINを制限し、第2ゲイン信号GAIN2を出力する。
具体的には、図8に示すように、第1ゲイン信号GAINが破線で示す各制限値Lを超える場合、ゲイン出力は、すべて制限値以下に制限される。例えば、制限値L=1.2とすると、輝度信号Ysで、アンシャープ信号USがUS0である場合の出力は、L=1.2に制限されて出力される。この制限により、図9に示すように輝度信号Ysに対する出力信号Youtは、Yg1からYg2に制限される。すなわち、各制限値Lに対応する傾き以下に出力が制限されることとなる。
乗算部6は、第2ゲイン信号GAIN2と輝度信号Yinとを乗算し、輝度信号Youtを出力する。乗算部7および乗算部8は、第2ゲイン信号GAIN2と色度信号CRinおよびCBinとをそれぞれ乗算し、色度信号CRoutおよびCBoutを出力する。
なお、Yout信号、CRout信号、CBout信号は、それぞれ1つの乗算部(乗算部6〜8)により、同じゲイン値であるGAIN2を乗算されて補正部9から出力されるので、Yout信号、CBout信号、CRout信号の出力タイミングのズレは生じない。したがって、Yout信号、CBout信号、CRout信号の出力タイミングを合わせるための遅延手段等を別途設ける必要はない。
このようにして補正部9は画像信号を補正する。よって、明るさ調整において、補正部9は輝度レベルを大きくした部分では色度信号も大きくするので、色が薄く見えることはなくなる。また、逆に輝度レベルを小さくした部分では色度信号も小さくするので色が濃く見えることがない。さらに、第2ゲイン信号GAIN2に応じて、入力された画像信号を補正することで輝度レベルを大きくした部分での色飽和を抑えることができる。
これにより、視覚処理部3は、ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を削減できる。
また、入出力する画像信号が原色信号であるRGB信号であってもよい。図10に、変形例1である視覚処理装置80のブロック図を示す。重複を避けるため、視覚処理装置1と同じ処理の説明は省略する。視覚処理装置80は、画像信号としてRGB信号を入力し、視覚処理により補正したRGB信号を出力する。
輝度色度変換部85は、入力された画像信号Rin、Gin、Binを輝度信号Yinと色度信号CRin、CBinに変換する。ここで、輝度成分の情報の抽出は人間の視感度特性に合わせてRin、Gin、Bin信号より生成する。例えば、輝度信号Yinは、次のようになる。
また、色度信号(CRin、CBin)は、次のようになる。
CRin=(−0.1687)×Rin+(−0.3313)×Gin+0.5×Bin
CBin=0.5×Rin+(−0.4187)×Gin+(−0.0813)×Bin
色飽和検出部10(図1)は、変換された輝度信号Yin、色度信号CRinおよび色度信号CBinから補正値K1を算出する。なお、色飽和検出部10のRGB変換部11(図4)は、輝度信号Yin、色度信号CBinおよび色度信号CRinからRGB信号を生成するようにしたが、入力された画像信号Rin、Gin、Binを直接利用してもよい。入力された画像信号Rin、Gin、Binを直接利用する場合は、RGB変換部11を省略することもできる。
制限値決定部4(図6)は、制限値L1を参照して制限値Lを決定する。制限値決定部4は、Mレジスタ23に設定された値に応じて、外部より入力された信号を選択して制限値Lを出力、あるいは演算して制限値Lを出力する。
ゲイン制限部5は、入力された第1ゲイン信号GAINを制限値Lで補正した第2ゲイン信号GAIN2を出力する。
補正部81は、乗算部82、83、84より構成され、各乗算部82、83、84は、それぞれ画像信号Rin、Gin、Binと第2ゲイン信号GAIN2とを乗算することで、視覚処理されたRGB信号であるRout、Gout、Boutを出力する。
これにより、視覚処理装置80では、Rin、Gin、Binの比を保持したまま、コントラストなどの明るさを調整できる。また、視覚処理装置80では、制限値Lによりゲイン信号を制限できるので、コントラストなどの明るさを調整した場合であっても、階調のグラデーションの飽和、色飽和を抑えることができる。
また、視覚処理部3(図1)の出力を輝度信号Yinとの差分信号に変更してもよい。図11、図12を用いて変形例2である視覚処理装置60を説明する。
図11は、変形例2の視覚処理装置60のブロック図である。
視覚処理部63は、図2に示す階調変換の出力信号と輝度信号Yinとの差分を差分信号DIFFとして出力するように構成したものである。差分信号DIFFは、図2に示す階調変換の出力信号と輝度信号Yinとの差分であり、図12に示すように、アンシャープ信号USnと輝度信号Yinに基づいて決定される差分信号となる。よって、加算部62で輝度信号Yinと差分信号DIFFを加算することで取得される信号は、図2に示す階調変換の出力信号と同じになる。
除算部61は、加算値Yxを輝度信号Yinの値で除算し、第1ゲイン信号GAINを算出する。すなわち、第1ゲイン信号GAINは、以下のようになる。
GAIN=Yx/Yin
この第1ゲイン信号GAINは、図2の階調変換曲線の傾きをゲインとしたものと等価である。
色飽和検出部10(図1)は、変換された輝度信号Yin、色度信号CRinおよび色度信号CBinから制限値L1を算出する。
制限値決定部4(図6)は、制限値L1を参照して制限値Lを決定する。制限値決定部4は、Mレジスタ23に設定された値に応じて、外部より入力された信号を選択して制限値Lを出力、あるいは演算して制限値Lを出力する。
ゲイン制限部5は、入力された第1ゲイン信号GAINを制限値Lで補正した第2ゲイン信号GAIN2を出力する。
補正部9は、乗算部6、乗算部7、乗算部8により、輝度信号Yin、色度信号CRinおよび色度信号CBinと第2ゲイン信号GAIN2とをそれぞれ乗算し、輝度信号Yout、色度信号CRoutおよび色度信号CBoutを出力する。
このように階調変換曲線の出力と輝度信号Yinとの差分値をLUTに格納することで、ガンマ変換値を格納するよりもメモリ容量を削減できる。
以上のように、本発明の実施形態1によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置1を実現することができる。さらに、第1ゲイン信号GAINを設定された所定の制限値で制限できるようにしているため、色飽和を抑えて、明るさを調整できる。特に、高彩度色でゲイン信号を制限することができ、濃い赤色、濃い青色で色飽和を防止することができる。
また、画像信号からRGB信号に変換したときの最大値を検出する最大値検出部と、検出されたRGB信号の最大値に基づいて第1ゲイン信号を制限することで、色飽和が発生するゲイン信号のレベルを検出でき、色飽和しない制限値を算出できる。
また、視覚処理部3は、局所領域の濃淡情報であるアンシャープ信号USを用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域の画像信号を飽和させることなく両方に最適なコントラスト調整ができ、色飽和を抑えられる。これにより、逆光シーン画像での暗部領域、特に、人物の顔などの肌色領域を適正な明るさに調整し、かつ、背景領域の画像信号を飽和させないようにコントラスト調整ができる。
また、視覚処理部3をLUTで構成することで、LUTに格納するデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形のゲイン特性を容易に実現できる。
また、制限値Lによりコントラストの効果を弱めることができるので、効果の強さに応じたゲイン特性データを作り直す必要がない。これにより、いろいろな強さのデータをLUTで用意しなくて済むため、メモリ容量が削減できる。また、LUT内容を入れ替える必要がないため、制限値Lをリアルタイムに変更でき、画像中の領域ごとに効果の強さを変更することができる。具体的には、フレーム単位、画素単位で制限値Lが変更できる。
(実施形態2)
つぎに、本発明の実施形態2の表示装置について、図13から図17を用いて説明する。以下、実施形態1と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図13において、表示装置30は、番組情報を受信するチューナ31と、番組情報を分離する番組情報分離部32と、映像データと音声データを復号するAV復号部33と、映像データを視覚処理する視覚処理装置1と、処理された画像を表示する出力部35とを備える。
また、表示装置30は、映像信号の平均信号レベルを検出する信号レベル検出部34、肌色領域を検出する肌色検出部36、ジャンル情報や番組記述情報を検出する放送内容検出部37、および受信電波の電界強度を検出する電界強度検出部38の全部あるいはいずれかを備えるようにしてもよい。
チューナ31は、アンテナによって受信された受信電波から目的の放送局の電波が選択され、これが復調されて1つのトランスポートストリーム(以下、「TS」という)が復元される。
番組情報分離部32は、TSをデスクランブル処理し、映像データ、音声データ、データ放送用各種データ、EPG表示用データなどをコンテンツごとに分離する。
視覚処理装置1は、入力された映像信号を視覚処理し、出力部35に出力する。出力部35は、例えば、CRT、プラズマディスプレイパネル、液晶パネルなどのディスプレイ部と、スピーカなどの音声出力部を備え、入力された音声信号と視覚処理された映像信号とを表示する。なお、出力部35は、デバイスの表示色に合わせて入力された信号を変換して表示してもよい。例えば、輝度色度信号を原色信号であるRGB信号に変換して表示してもよい。
なお、視覚処理装置1は、出力部35で扱える信号の構成に合わせて変形例が考えられる。例えば、輝度信号、色度信号を扱う場合は視覚処理装置1(図1)が好ましく、RGB信号を扱うには視覚処理装置80(図10)の構成が好ましい。このように映像信号に合わせた構成を用いればよい。
つぎに、視覚処理装置1の第1ゲイン信号GAINの制限値を決定する方法について、図13〜図17を用いて説明する。
これにより、明るい画像でゲイン信号を制限し信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。
また、プラズマディスプレイパネルは、耐熱性を高め、消費電力を下げるために、表示する画像の平均輝度レベルが所定のレベルを超えると画面全体の明るさを下げるようにディスプレイパネル側で制御する表示制御機能がドライブ部に設けられている。さらに、この表示制御機能は、映像信号処理とは無関係に働く機能である。
つぎに、肌色検出部36について、図14〜図16を用いて説明する。
肌色検出部36は、輝度信号Yin、色度信号CBin、色度信号CRinから肌色領域を検出し、制限値L4を算出する。図14に示すように、肌色検出部36は、色度信号CRinより所定の第1色領域を検出し重み値Kaを出力する第1色領域検出部361と、色度信号CBinより所定の第2色領域を検出し重み値Kbを出力する第2色領域検出部362と、輝度信号Yinより所定の明るさ領域を検出し重み値Kcを出力する輝度領域検出部363とを備え、肌らしさ度を各重み値の積と定義し制限値L4を求める。例えば、制限値L4は、乗算部364、365によって、制限値L4=Ka×Kb×Kcのように算出される。
図16を用いて、肌色検出部36の動作を詳細に説明する。
第1色領域検出部361は色度信号CRinを入力し、図16(a)に示す重み関数によって重み値Kaを出力する。同様に、第2色領域検出部362は色度信号CBinを入力し、図16(b)に示す重み関数によって重み値Kbを出力する。輝度領域検出部363は輝度信号Yinを入力し、図16(c)に示す重み関数によって重み値Kcを出力する。肌らしさ度を各重み関数の積と定義し、制限値L4=Ka×Kb×Kcのように算出する。肌色領域と領域外との境界付近で色が不自然にならないように、対象となる肌色領域の境界は徐々に重みが変化するようにする。なお、重み関数の形状は、台形でも三角形でもよい。画像評価などにより最適な関数を設定すればよい。なお、制限値L4をKa、Kb、Kcの最小値としてもよく、平均値としてもよい。画像評価などにより最適な関数を設定すればよい。
つぎに、放送内容検出部37について、図17を用いて説明する。
放送内容検出部37は、番組情報分離部32から分離されたEPG表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を検出し、制限値L5を算出する。なお、データのジャンル情報や画像の情報は、MPEGのストリーム情報より検出してもよい。
放送内容検出部37は、例えば、図17に示すように「ニュース」「スポーツ」「ワイドショー」「映画」「ドラマ」などの受信したコンテンツの種類を検出し、それぞれ制限値L5を算出する。コンテンツの種類に応じて、例えば、コンテンツの種類が「ニュース」ならば制限値「3.0」、「スポーツ」ならば制限値「2.0」、「ワイドショー」ならば制限値「1.5」、「映画」ならば制限値「1.1」、「ドラマ」ならば制限値「1.4」を設定する。ニュース、スポーツにはめりはりをつけるため制限値を高めに設定し、ワイドショーはスタジオでの収録が多く、映像が調整されているのでほぼノーマルな設定とし、映画はシックな画像を再現するため、制限値を抑えるように設定する。このようにコンテンツに合わせて制限値を設定することで映像に最適な制限値が設定できる。制限値L5は、予めテーブル化されていてもよい。これにより、画像の種類に応じて最適な制限値L5を設定できる。なお、このテーブルを外部より変更できるようにしてもよい。
電界強度検出部38は、チューナ31で受信された受信電波の電界強度を検出し、電界強度の強弱に応じて制限値L6を算出する。例えば、電界強度が「強」の場合、制限値L6を「3.0」に設定し、電界強度が「弱」の場合、制限値L6を「1.0」に設定する。
これにより、電界強度が弱くS/Nの悪い画像のノイズが強調されないように制限値L6を設定できる。
以上のように、本発明の実施形態2によれば、信号レベル検出部34は、1フレーム、または1フィールド内の画像信号から検出した平均信号レベルに応じて制限値L3を算出でき、視覚処理装置1は、制限値L3に応じて第1ゲイン信号GAINを制限することができる。
これにより、画像信号から検出した平均信号レベルに応じて制限値を設定でき、明るい画像でゲイン信号を制限し信号レベルを抑えることができる。また、信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。また、ディスプレイパネル側で設定されているAPL(Average Picture Level)対応機能が働くレベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
これにより、肌色を検出して制限値を設定できるので、明るい画像の肌色領域で制限値を下げることができ、色飽和を抑え、さらに顔のテカリを防止できる。また、明るい場面での顔の濃淡を飛ばさないようにできる。
また、放送内容検出部37は、受信したデータから番組情報を分離する番組情報分離部32から検出した放送コンテンツに応じて制限値L5を算出する。視覚処理装置1は、制限値L5に応じて第1ゲイン信号GAINを制限することができる。
これにより、コンテンツごとに最適な制限値を設定でき、コンテンツに必要なコントラスト調整値にあわせた制限値を設定できる。
また、電界強度検出部38は、チューナ31が画像データを受信したときの電界強度値に応じて制限値L6を算出する。視覚処理装置1は、制限値L6に応じて第1ゲイン信号GAINを制限することができる。
これにより、電界強度値より制限値を設定でき、電界強度が弱く受信データのS/Nが悪い画像を検出して画像全体に対するゲイン信号を制限でき、S/Nが悪い画像のノイズの強調を抑えることができる。
この構成により、画像のコントラスト調整で色飽和を抑えた視覚処理ができる表示装置30が実現できる。また、ゲイン信号を制限することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、ディスプレイパネル側の表示制御機能が働く平均信号レベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
以下、本発明の実施形態1におけるゲイン型視覚処理部70、本発明の実施形態2におけるゲイン型視覚処理部70の変形例について説明する。
(実施形態3)
本発明の実施形態3として、ゲイン型視覚処理部70から出力されるゲイン信号GAINの空間周波数の帯域を制限し、入力された輝度信号Yinの値(信号レベル)がアンシャープ信号USの値(信号レベル)よりかなり大きい値(信号レベル)で変化した場合に出力信号Youtのコントラストの低下を抑える方法について図18〜図20を用いて説明する。
図18において、ゲイン型視覚処理部71は、輝度信号Yinに対して応答可能なゲイン信号GAINの空間周波数の帯域を制限するための帯域制限部90と、帯域を制限された帯域制限信号USHから輝度信号Yinを増幅するためのゲイン信号GAINを出力するゲイン型視覚処理部70とを備えている。ここで、ゲイン型視覚処理部70において、空間処理部2は、帯域制限信号USHからアンシャープ信号USを生成し、視覚処理部3は、帯域制限信号USHとアンシャープ信号USとに基づいてゲイン信号GAINを生成する。
また、帯域制限されたゲイン信号GAINと入力された輝度信号Yinとを乗算部6により乗算することで、階調変換された輝度信号Youtを得ることができる。
帯域制限部90は、図19(a)に示すように、着目画素200の近傍の対象領域201内にある画素の値の平均値を算出するなどして入力された輝度信号Yin(例えば、図19(b)のW1の信号波形に相当)に対して応答可能な空間周波数の帯域が制限された帯域制限信号USH(例えば、図19(b)のW3の信号波形に相当)を生成する。
また、空間処理部2は、図19(a)に示すように、帯域制限信号USHの対象領域201より広範囲な対象領域202から画素の値を抽出し、着目画素200の周辺領域での明るさ情報としてアンシャープ信号US(例えば、図19(b)のW2の信号波形に相当)を生成する。例えば、対象領域202は、対象領域201の10倍から100倍程度の大きさの領域にするのが好ましい。これにより、アンシャープ信号USの空間周波数の帯域は、帯域制限信号USHの空間周波数の帯域よりかなり低い帯域に制限されたものになる。
まず、出力信号Youtのコントラストが低下する場合について図20(a)を用いて説明する。図20(a)は、ゲイン信号GAINを帯域制限しないときの階調変換特性を説明するための説明図である。ここで、図20(a)の横軸は入力された輝度信号Yin、縦軸は階調変換された出力信号Youtである。
図20(a)において、着目画素200の周辺の視覚処理に用いる広い対象領域202から抽出した明るさ情報であるアンシャープ信号USの値を「USa」とする。また、そのときに入力された着目画素200の近傍の対象領域201から抽出した明るさ情報の値を「USb」とする。入力された着目画素200の値Yinは、通常広い範囲の値である「USa」よりも近傍の値である「USb」に近い。
図20(a)において、視覚処理部3において、階調曲線400は、着目画素200の輝度信号Yinの値とアンシャープ信号USの値とが一致している場合の出力特性であり、着目画素200の周辺の対象領域202から抽出した明るさ情報によって選択された階調曲線により定まる曲線である。この階調曲線400により、画面全体の明るさの変化を決定している。
これにより、視覚処理部3は、アンシャープ信号USの値が「USa」であるとき、階調曲線205の階調曲線を選択し、アンシャープ信号USに変化がなければ、着目画素200の輝度信号Yinの値に対する出力信号Youtは階調曲線205にしたがって出力する。よって、視覚処理部3において、着目画素200の輝度信号Yinの値が「USa」に近いときは、階調曲線205の直線部分300での傾きに応じたゲインで階調変換されるため、出力信号Youtのコントラストは維持される。しかし、帯域制限部90を備えていない構成では、視覚処理部3において、着目画素200の近傍の明るさが「USb」で輝度信号Yinも「USb」に近い値をとる、即ち輝度信号Yinがアンシャープ信号USの値と大きく離れているとき、階調曲線205の傾きがなだらかになり、領域301での傾きに応じたゲイン信号GAINを出力する。これにより、視覚処理装置1は、このゲイン信号GAINで階調変換するため、出力信号Youtのコントラストは低下する。
図20(b)において、着目画素200の周辺の対象領域202から抽出した明るさ情報であるアンシャープ信号USの値を「USa」とする。また、そのときに着目画素200の近傍の明るさが「USb」で輝度信号Yinも「USb」に近い値をとる。
また、視覚処理部3は、アンシャープ信号USの値が「USa」であるとき、階調曲線205の階調曲線を選択し、アンシャープ信号USに変化がなければ、輝度信号Yinの空間周波数の帯域を制限した帯域制限信号USHの値に対して出力信号Youtを決定し、階調曲線205にしたがって出力する。
このとき帯域制限信号USHは、着目画素200の近傍の明るさ「USb」となる。
よって、視覚処理部3において、着目画素200の輝度信号Yinがアンシャープ信号USの値よりかなり高い「USb」前後の範囲で変化しても、細部領域では帯域制限信号USHの値は帯域制限により「USb」に固定されるため視覚処理部3が出力するゲイン信号GAINは変化しない。即ち、着目画素200近傍の細部領域では、ゲイン信号GAINはほぼ一定値(直線209の傾き)を出力する。このように、帯域制限されたゲイン信号GAINと輝度信号Yinとを乗算して階調変換することで、出力信号Youtのコントラストを維持することができる。つまり、この場合、ゲイン信号GAINがほぼ一定値であるので、出力信号Youtは、入力輝度信号Yinの信号レベルの変化にほぼ比例して出力されることになる。したがって、出力信号Youtにおいて、入力輝度信号Yinのコントラストが維持される。なお、直線209の傾きは、図20(a)の曲線205の直線部分300の傾きにより近いものであり、帯域制限信号USH<「USb」のときは直線208、帯域制限信号USH>「USb」のときは直線210となる。
なお、輝度信号Yinに対して応答可能な空間周波数の帯域が制限されたゲイン信号GAINを生成する方法は、ゲイン型視覚処理部71の構成に限定されるものでない。
以下、ゲイン型視覚処理部71の構成における他の変形例について説明する。
まず、ゲイン型視覚処理部71の変形例を変形例3として、図21を用いて説明する。図21は、変形例3としてのゲイン型視覚処理部72の構成を示すブロック図である。
図21において、ゲイン型視覚処理部72は、輝度信号Yinに対して応答可能な帯域を制限した帯域制限信号USHを出力する帯域制限部90と、輝度信号Yinからアンシャープ信号USを生成する空間処理部2と、帯域制限信号USHとアンシャープ信号USとに基づいてゲイン信号GAINを生成する視覚処理部3とを備えている。
また、帯域制限されたゲイン信号GAINと輝度信号Yinとを乗算部6により乗算することで、階調変換された出力信号Youtを得ることができる。
つぎに、ゲイン型視覚処理部71の変形例を変形例4として、図22を用いて説明する。図22は、変形例4としてのゲイン型視覚処理部73の構成を示すブロック図である。
図22において、ゲイン型視覚処理部73は、輝度信号Yinを入力して輝度信号Yinを増幅するためのゲイン信号GAINを出力するゲイン型視覚処理部70と、ゲイン型視覚処理部70から出力されるゲイン信号GAINの空間周波数の帯域を制限するようにした帯域制限部98とを備えている。ここで、ゲイン型視覚処理部70において、空間処理部2は、輝度信号Yinからアンシャープ信号USを生成し、視覚処理部3は、輝度信号Yinとアンシャープ信号USとに基づいてゲイン信号GAINを生成する。
帯域制限部98は、ゲイン型視覚処理部70から出力されるゲイン信号GAINに対して帯域制限を行う。
このような構成によっても、輝度信号Yinに対して応答可能な空間周波数の帯域が制限されたゲイン信号GAINを生成でき、ゲイン型視覚処理部71と同様に、入力された輝度信号Yinの値(信号レベル)がアンシャープ信号USの値(信号レベル)よりかなり大きい値(信号レベル)で変化した場合であっても、出力信号Youtのコントラストの低下を抑えることができる。
なお、実施形態1または実施形態2におけるゲイン型視覚処理部70をゲイン型視覚処理部71に置き換えてもよい。
また、実施形態1または実施形態2におけるゲイン型視覚処理部70をゲイン型視覚処理部72に置き換えてもよい。
また、実施形態1または実施形態2におけるゲイン型視覚処理部70をゲイン型視覚処理部73に置き換えてもよい。
(実施形態4)
つぎに、本発明の実施形態4として、コントラスト強調部をさらに備えた構成について図23〜図25を用いて説明する。
図23において、視覚処理装置1は、さらに、輝度信号Yinを強調した強調信号Yeを出力するコントラスト強調部91を備えている。
以下、実施形態1におけるゲイン型視覚処理部70をゲイン型視覚処理部71に置き換えたものを実施形態4として説明する。
ゲイン型視覚処理部71において、ゲイン型視覚処理部70は、帯域制限部90により帯域を制限された帯域制限信号USHに応じて輝度信号Yinを増幅するためのゲイン信号GAINを出力する。ここで、ゲイン型視覚処理部70において、空間処理部2は帯域制限信号USHからアンシャープ信号USを生成し、視覚処理部3は帯域制限信号USHとアンシャープ信号USとに基づいてゲイン信号GAINを生成する。
コントラスト強調部91は、輝度信号Yinを強調した強調信号Yeを出力する。
このゲイン信号GAINと強調信号Yeとを乗算部6により乗算することでコントラストが強調された出力信号Youtを得ることができる。
まず、出力信号Youtのコントラストが低下する場合について図24を用いて説明する。図24は、視覚処理装置1においてコントラスト変換するときの階調変換特性を説明する説明図である。ここで、図24の横軸は入力された輝度信号Yin、縦軸は階調変換された出力信号Youtである。
図24において、着目画素200の周辺の対象領域202から抽出した明るさ情報であるアンシャープ信号USの値を「USa」とする。また、そのときに入力された着目画素200の近傍の明るさが「USb」で輝度信号Yinも「USb」に近い値をとる。
図24において、視覚処理部3において、階調曲線500は、着目画素200の輝度信号Yinの値とアンシャープ信号USの値とが一致している場合の出力特性であり、着目画素200の周辺の対象領域202から抽出した明るさ情報によって選択された階調曲線により定まる曲線である。この階調曲線500により、画面全体の明るさの変化を決定している。
これにより、視覚処理部3は、アンシャープ信号USの値が「USa」であるとき、階調曲線603の階調曲線を選択し、アンシャープ信号USに変化がなければ、着目画素200の輝度信号Yinの値に対する出力信号Youtは、階調曲線603にしたがって出力される。よって、視覚処理部3において、着目画素200の輝度信号Yinの値が「USa」に近いときは(図24の領域700あたりに対応。)、階調曲線603の領域700での傾きが大きくなるため、ゲイン信号の変化も大きくなり、出力信号Youtのコントラストは強調される。しかし、帯域制限部90を備えていない構成では、視覚処理部3において、着目画素200の輝度信号Yinの値が「USb」前後で、アンシャープ信号USの値よりかなり大きいときは階調曲線603の傾きがなだらかになり(図24の領域701あたりに対応。)、領域701でのゲイン信号GAINの変化も小さくなるので、出力信号Youtのコントラストは低下する。
図25において、着目画素200の周辺の対象領域202から抽出した明るさ情報であるアンシャープ信号USの値を「USa」とする。また、そのときに着目画素200近傍の明るさが「USb」で輝度信号Yinも「USb」に近い値をとる。
また、視覚処理部3は、アンシャープ信号USの値が「USa」であるとき、階調曲線603の階調曲線を選択し、アンシャープ信号USに変化がなければ、輝度信号Yinの空間周波数の帯域を制限した帯域制限信号USHの値に対して出力信号Youtを決定し、階調曲線603にしたがって出力する。階調曲線603は、値「USa」の近傍において傾きが大きいため、ゲイン信号GAINの変化も大きくなり、コントラストを強調することができる。
一方、帯域制限信号USHは、着目画素200の近傍の明るさ「USb」になる。
よって、視覚処理部3において、着目画素200の輝度信号Yinがアンシャープ信号USの値よりかなり高い「USb」前後の範囲で変化しても、細部領域では帯域制限信号USHの値は帯域制限により「USb」に固定されるため視覚処理部3が出力するゲイン信号GAINは変化しない。即ち、着目画素200近傍の細部領域では、ゲイン信号GAINはほぼ一定値(曲線603の直線部分近傍の傾き)を出力する。この場合、ゲイン信号GAINがほぼ一定値であるので、出力信号Youtは、コントラスト強調部91の出力Yeの信号レベルの変化にほぼ比例して出力されることになる。そして、輝度信号Yinをコントラスト強調部91でコントラストを強調した信号Yeと帯域制限されたゲイン信号GAINとを乗算して階調変換すれば、出力信号Youtのコントラストを高めることができる。
Ye=Yinα/(USH)α-1 (式2)
これにより、図25に示すように、帯域制限信号USH=USbのとき、曲線802にしたがって輝度信号Yinの値を強調することができる。また、帯域制限信号USH<「USb」のときは曲線801、帯域制限信号USH>「USb」のときは曲線803にそれぞれ従って輝度信号Yinの値を強調することができる。
(式2)は、αを1以上(例えば1.5)にとると、着目画素200の値と帯域制限信号USHとの比を拡大する働きをするため、コントラストは強調される。
なお、コントラスト強調部91は、輝度信号Yinと帯域制限信号USHとの差に基づいた(式3)ように強調信号Yeを生成するようにしてもよい。
Ye=Yin+(α−1)×(Yin−USH) (式3)
(式3)も、αを1以上(例えば1.5)にとると、着目画素200の値と帯域制限信号USHとの差を拡大するよう作用するため、コントラストは強調される。
以上のように、本発明の実施形態4によれば、コントラスト強調部91を備えたことにより、輝度信号Yinのコントラストを強調し、入力された輝度信号Yinの値(信号レベル)がアンシャープ信号USの値(信号レベル)よりかなり大きい値(信号レベル)で変化した場合であっても、出力信号Youtのコントラストの低下を抑えることができる。
なお、コントラスト強調部91の変形例を変形例5として図27に示す。図27は、変形例5としてのコントラスト強調部92の構成を示すブロック図である。
図27において、コントラスト強調部92は、(式2)の演算をLUT95とLUT96および乗算部900とによって実現している。ここで、LUT95にはYinαの演算結果を設定し、LUT96には(USH)1-αの演算結果を設定する。
また、コントラスト強調部91の変形例を変形例6として図28に示す。図28は変形例6としてのコントラスト強調部93の構成を示すブロック図である。
図29に示すように、LUT97において、入力がThbからThcまでは出力を「0」とし、ノイズの強調を抑えている。また、LUT97において、入力がThaからThbまで徐々に出力を増加させ、同様に、入力がThcからThdまで徐々に出力を増加させるようにしている。また、コントラストを強調しすぎないように、入力がThaまたはThdのところまでは出力を増加させ、それ以上に輝度信号Yinと帯域制限信号USHとの差があるときは出力を飽和させるようにしている。なお、LUT97に変えて、乗算器を備え、加算部902の出力を(α−1)倍にするようにしてもよい。
なお、コントラスト強調部91に入力する帯域制限信号USHは、ゲイン型視覚処理部71の帯域制限部90の出力としたが、この構成に限定されるものでない。
構成の変形例を変形例7として、図30に示す構成において、ゲイン型視覚処理部72の帯域制限部90の出力を使用する構成としてもよい。
以上のように、本発明の実施形態1から本発明の実施形態4によれば、色飽和を抑え、画像のコントラストを調整可能とする視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路を提供できる。
なお、図32に示すように、ゲイン型視覚処理部74は、輝度信号Yinを階調変換した出力信号Youtを出力する階調型視覚処理部75を用いることによっても実現できる。
階調型視覚処理部75を用いる場合は、階調型視覚処理部75と、階調型視覚処理部75の出力を輝度信号Yinで除算する除算部61とを備えることでゲイン型視覚処理部74が実現できる。
階調型視覚処理部75は、輝度信号Yinからアンシャープ信号USを出力する空間処理部2と、輝度信号Yinとアンシャープ信号USとに応じて階調変換し、出力信号Youtを出力する視覚処理部64とを備えている。視覚処理部64は、例えば図2に示すような2次元階調変換特性にもとづいて出力信号Youtを出力する。これにより、ゲイン型視覚処理部74は、本発明の実施形態1のゲイン型視覚処理部70と等価な特性となり、置き換えて使用することができる。
つぎに、実施形態5である視覚処理装置について説明する。
図33は、本発明の実施形態5における視覚処理装置1’のブロック図である。視覚処理装置1’は画像信号Yin、CRin、CBinに視覚処理を行い視覚処理画像Yout、CRout、CBoutを出力する。
空間処理部2は、空間処理の対象となる対象画素と、対象画素の周辺領域の画素(周辺画素)との画素値を輝度信号Yinから取得する。取得した原画像の画素ごとの輝度値Yinに空間処理を実行しアンシャープ信号USを出力する。アンシャープ信号USは輝度信号をローパスフィルタで処理したボケ信号である。
視覚処理部3は、輝度信号Yinおよびアンシャープ信号USから2次元ゲイン関数に基づいて第1ゲイン信号GAINを求め、出力する。
2次元ゲイン関数は、例えば、図2の示す階調変換特性の傾きをゲインとする関数に設定される。よって、輝度信号Yinと2次元ゲイン関数に基づいて算出された出力を乗算することで、図2の示す階調変換特性と等価な入出力特性を出すことができる。
補正値決定部334は第1ゲイン信号GAINを補正するための補正値Kを算出する。補正値Kによって、画像信号を補正しコントラストの強調または抑制を行う。例えば、暗い画像では画像を明るく強調でき、明るい画像では画像の明るさを抑えて階調飽和、色飽和を抑えることができる。
補正部9は、乗算部6、乗算部7および乗算部8より構成され、第2ゲイン信号GAIN2に応じて画像信号を補正する。補正により画像信号のコントラストの強調または抑制を行う。
乗算部6は、第2ゲイン信号GAIN2と輝度信号Yinとを乗算し、補正された輝度信号Youtを出力する。この補正された輝度信号Youtは、図2に示す階調変換特性と等価な出力である。乗算部7、乗算部8は、第2ゲイン信号GAIN2と入力された色度信号CRin、色度信号CBinとを乗算し、補正された色度信号CRoutおよび色度信号CBoutを出力する。
次に、本実施形態における視覚処理装置1’について、さらに詳しく説明する。
視覚処理装置1’は、本実施形態においては図2に示すように2次元階調変換特性を持つように設定される。ここで、横軸は入力された輝度信号Yin、縦軸は変換された輝度信号Youtである。
本発明の実施形態5の視覚処理装置1’は、ゲイン信号を用いて画像信号処理を行っているが、ゲインを用いることで回路規模を削減できるという利点がある。これについても実施形態で説明したので、ここでは説明を省略する。
空間処理部2についても、実施形態1で説明したものと同じであるので、ここでは説明を省略する。
次に、図34、図35を用いて色飽和検出部331について説明する。図34は色飽和検出部331のブロック図である。
図34において、RGB変換部11は、輝度信号Yinと色度信号CRin、色度信号CBinからRGB信号を生成する。最大値検出部12は、R信号、G信号、B信号のうち、最大値を検出する。第1補正値算出部341は、検出されたRGB信号の最大値から補正値K1を算出する。補正値決定部334は、補正値K1、レジスタ342に設定された補正値K2、外部から入力された補正値K3からK6を参照して補正値Kを決定し、出力する。補正値決定部334の詳細は後述する。
RGB信号に第1ゲイン信号GAINを乗算しても、RGB信号の各R信号、G信号、B信号の比が維持できれば色は変化しない。しかし、いずれかの信号の最大値が飽和すると、それ以上信号レベルを大きくできないため、RGB信号の比のバランスが崩れ不自然な色の変化が生じてしまう。この色飽和を防止するためには、RGB信号の最大値に第1ゲイン信号GAINを乗算しても信号レベルの最大値を超えないようにすればよい。例えば、検出されたRGB信号の最大値が「127」のときゲイン制御後の最大値は「2.0」となる。同様に、最大値が「84」のときゲイン制御後の最大値は「3.0」、最大値が「212」のときゲイン制御後の最大値は「1.2」となる。ここで、RGB信号は、「0」から「255」までの範囲をとる信号とする。よって、RGB信号の最大値をSmax、階調飽和、色飽和が抑えられる制御後のゲイン信号GAIN2の最大値をKmaxとすると、Kmax=255/Smaxとなる。
なお、補正値K1の曲線1は、曲線2を折れ線近似した直線でもよいし、直線近似でもよい。RGB信号の最大値が小さい値のときはノイズを強調しない程度の値に抑えるようにすることがより好ましい。
このように、Yin信号、CBin信号、CRin信号をRGB信号に変換し、RGB信号により、最終的にディスプレイ装置等で表示される画像において、階調飽和、色飽和等が起こるか否かを判断することができる。つまり、最終的にディスプレイ装置等で表示される信号は、RGB信号であるので、予めRGB信号を取得し、RGB信号において階調飽和、色飽和等が起きるか否かを判断しておくことで、最終的にディスプレイ装置等で表示される画像の状況を予め正確に知ることができるのである。したがって、Yin信号、CBin信号、CRin信号からRGB信号を予め取得し、取得したRGB信号に基づいて算出された補正値Kによりゲイン制御を行うことが効果的である。
図36において、Mレジスタ23は補正値決定部334の動作モードを決定する。例えば、図37の表371に示すようにMレジスタ23に値「2」が設定されると、補正値決定部334は、レジスタ342に設定される補正値K2の値を入力する。これにより、補正値Kは、補正値K2の固定値に設定され、視覚処理画像に不具合な異常が見られたときに集積回路の内部信号K1およびK3からK6をマスクし、外部より補正値K2を設定して補正値の影響を調べるなどの自己診断を行うことができる。また、内部信号K1およびK3からK6をマスクし、補正値K2に強制設定できるので、集積回路内の信号を確認するためのテスト信号に利用することもできる。
また、Mレジスタ23に値「1」を設定すれば、補正値決定部334は、補正値K1を入力し、補正値KとしてK1を出力する。同様に、Mレジスタ23に値「3」を設定すれば、補正値決定部334は、補正値K3を入力し、補正値KとしてK3を出力する。また、Mレジスタ23に値「7」を設定すれば、補正値決定部334は、補正値K1とK3とを入力し、K1とK3とを演算して補正値Kを出力する。演算は、例えば、最小値MIN(K1,K3)を算出する演算であってもとしてもよいし、平均値Ave(K1,K3)を算出する演算であってもよい。
なお、補正値決定部334が、外部より入力された信号を選択して出力する場合は、入力された補正値をそのまま補正値Kとして用いてもよく、補正値決定部334は無くてもよい。
次に、ゲイン制御部335は、補正値Kで第1ゲイン信号GAINを補正し、第2ゲイン信号GAIN2を出力する。
より具体的に、設定される補正値Kによる制御方法について説明する。
まず、例えば、図38に示すように補正値Kでゲイン1倍とゲイン信号GAINとを内分または外分して制御する方法(以下、「内分・外分制御」と記す)がある。ここで、ゲイン信号GAIN2はGAIN2=補正値K×ゲイン信号GAIN+(1−補正値K)×1となる内分・外分演算を実施する。ここで、ゲイン信号を制御する演算は、K>1なら外分演算になりゲインを強調し、K=1で1倍、0<K<1で内分演算になりゲインを抑制する。また、式を変形してGAIN2=補正値K×(ゲイン信号GAIN−1)+1としてもよい。いずれも、補正値Kで1倍とゲイン信号GAINの差を拡大または縮小するように補正する。
また、補正値の制御方法として図39に示すように補正値K(Koffset)を加算して制御する方法でもよい。ここで、ゲイン信号GAIN2はGAIN2=補正値K+ゲイン信号GAINとなる。さらに、色飽和を抑えるには、GAIN2<Kmaxとなるように補正値Kを設定する。
よって、K>0ならゲインを強調する制御となり、K=0なら補正なし、K<0ならゲインを抑えるように制御される。画質的には、K>0ならコントラストが強くなり強調され、K<0でコントラストが弱くなり抑制される。色飽和を抑えるには、K<0としコントラストを抑制する。
なお、乗算値により増幅・減衰を制御する方法では、GAIN2=補正値K×ゲイン信号GAINとなる。さらに、色飽和を抑えるには、GAIN2<Kmaxとなるように補正値Kを設定するようにしてもよい。
次に、補正部9は、第2ゲイン信号GAIN2に応じて画像信号を補正する。補正部9は、乗算部6、乗算部7および乗算部8より構成される。
乗算部6は、第2ゲイン信号GAIN2に輝度信号Yinを乗算して輝度信号Youtを出力する。乗算部7および乗算部8は第2ゲイン信号GAIN2に色度信号CRinおよび色度信号CBinを乗算し、色度信号CRoutおよびCBoutを出力する。
なお、Yout信号、CRout信号、CBout信号は、それぞれ1つの乗算部(乗算部6〜8)により、同じゲイン値であるGAIN2を乗算されて補正部9から出力されるので、Yout信号、CBout信号、CRout信号の出力タイミングのズレは生じない。したがって、Yout信号、CBout信号、CRout信号の出力タイミングを合わせるための遅延手段等を別途設ける必要はない。
このように補正部9は画像信号を補正する。よって、明るさ調整において、補正部9は輝度レベルを大きくした部分では色度信号も大きくするので、色が薄く見えることはなくなる。また、逆に輝度レベルを小さくした部分では色度信号も小さくするので色が濃く見えることがない。さらに、第2ゲイン信号GAIN2に応じて、入力された画像信号を補正することで輝度レベルを大きくした部分での色飽和を抑えることができる。また、補正値により第2ゲイン信号GAIN2を制御し、逆光画像などの人物の暗くなった顔領域のみを強調するように明るく補正することもできる。
これにより、視覚処理部3は、ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を削減できる。
また、入出力される画像信号が原色信号であるRGB信号であってもよい。図40に、変形例1である視覚処理装置80’のブロック図を示す。重複を避けるため、視覚処理装置1と同じ処理の説明は省略する。視覚処理装置80’は、画像信号としてRGB信号を入力し、視覚処理により補正したRGB信号を出力する。
輝度色度変換部85は、入力された画像信号Rin、Gin、Binを輝度信号Yinと色度信号CRin、色度信号CBinに変換する。ここで、輝度成分の情報の抽出は人間の視感度特性に合わせてRin、Gin、Bin信号より生成する。例えば、輝度信号Yinは、Yin=0.299×Rin+0.587×Gin+0.114×Binとする。また、色度信号(CRin、CBin)は、CRin=(−0.1687)×Rin+(−0.3313)×Gin+0.5×Bin、CBin=0.5×Rin+(−0.4187)×Gin+(−0.0813)×Binである。
補正値決定部334(図36)は、補正値K1を参照し、補正値Kを決定する。補正値Kは、Mレジスタ23に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Kを出力する。
視覚処理部3は、空間処理部2の出力と輝度信号Yinとを入力し、第1ゲイン信号GAINを算出する。
ゲイン制御部335は、入力された第1ゲイン信号GAINを補正値Kで補正した第2ゲイン信号GAIN2を出力する。
補正部81は、乗算部82、83、84より構成され、各乗算部82、83、84はそれぞれ画像信号Rin、Gin、Binと第2ゲイン信号GAIN2とを乗算することで、視覚処理されたRGB信号であるRout、Gout、Boutを出力する。これにより、Rin、Gin、Binの比を保持したまま、コントラストを強調または抑制できる。また、補正値Kによりゲイン信号を強調または抑制するように制御できるので、階調のグラデーションの飽和、色飽和を抑えるように抑制できる。また、逆光シーンでの人物の顔の肌色のコントラストを強調するようにできる。
図41は変形例2の視覚処理装置60’のブロック図である。視覚処理部63は、図2に示す階調変換の出力信号と輝度信号Yinとの差分を差分信号DIFFとして出力するように構成したものである。差分信号DIFFは、図2に示す階調変換の出力信号と輝度信号Yinとの差分であり、図42に示すように、アンシャープ信号USnと輝度信号Yinとに基づいて決定される差分信号となる。よって、加算部62で輝度信号Yinと差分信号DIFFとを加算することで取得される信号は、図2に示す階調変換の出力信号と同じになる。
加算部62は、輝度信号Yinと差分信号DIFFを加算し、加算値Yxを算出する。この加算値Yxは、図2の階調変換後の出力信号と等価な信号である。
除算部61は、加算値Yxを輝度信号Yinの値で除算し、第1ゲイン信号GAINを算出する。すなわち、GAIN=Yx/Yinとなる。この第1ゲイン信号GAINは、図2の階調変換曲線の傾きをゲインとしたものと等価である。
補正値決定部334(図36)は、補正値K1を参照し、補正値Kを決定する。補正値Kは、Mレジスタ23に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Kを出力する。
ゲイン制御部335は、入力された第1ゲイン信号GAINを補正値Kで補正した第2ゲイン信号GAIN2を出力する。
補正部9は、乗算部6、7、8で輝度信号Yin、色度信号CRin、色度信号CBinに、それぞれ第2ゲイン信号GAIN2を乗算し、輝度信号Yout、色度信号CRout、色度信号CBoutを出力する。
なお、視覚処理部63は、2次元LUTで構成してもよいし、輝度信号Yinと差分信号DIFFとの関数を格納した1次元LUTでもよい。
このように階調変換曲線の出力と輝度信号Yinとの差分値をLUTに格納することで、階調変換曲線のガンマ変換値を格納するよりもメモリ容量を削減できる。
以上のように本実施形態によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置1を実現することができる。さらに、第1ゲイン信号GAINを設定された所定の補正値Kでゲイン信号を補正することで画像全体のコントラストを強調することも抑制することもできる。補正値Kでゲインを大きくすることで、逆光シーン画像での暗部にある人物の顔領域などを強調でき、レフ板効果を持たせることができる。また、補正値Kでゲインを小さくすることで、濃い赤色、濃い青色で色飽和、階調飽和を抑えることができる。
また、本実施形態の視覚処理装置1’では、ゲイン信号を用いて階調変換を行っている。ゲイン信号は、階調変換信号に比べて輝度信号Yinに対する出力の変化が緩やかであるため、輝度信号Yin、アンシャープ信号USを粗く間引いても十分に処理精度を確保できる。よって、視覚処理部3に入力する輝度信号Yinのビット精度を落とすことができ、ハードウェアの回路規模を削減できる。また、LUTで構成したときのメモリ容量を小さくできる。
さらに、本実施形態の視覚処理装置1’において、ゲイン特性を画像信号とアンシャープ信号USとから決定される2次元ゲイン特性とすることで、画像中の暗い領域は、アンシャープ信号USが小さいときのゲイン曲線で持ち上げて強調し、画像中の明るい領域は、アンシャープ信号USが大きいときのゲイン曲線で抑えるため暗部領域と明部領域の両方に最適な明るさ調整ができる。これにより、逆光シーン画像での暗部領域、特に、人物の顔領域を適正な明るさに持ち上げて強調しても、背景領域を飽和させないように階調変換できる。
また、補正値Kにより視覚処理の効果を強めることも弱めることもできるので、効果の強弱に応じたゲイン特性データを作り直す必要がない。これにより、いろいろな強さのデータのLUTで用意しなくて済むため、メモリ容量を削減できる。また、LUT内容を入れ替える必要がないため、変更する時間を大幅に短縮できる。補正値Kをリアルタイムに変更することで、画像中の領域ごとに効果の強さを変更することができる。具体的には、フレーム単位、画素単位で補正値Kを変更できる。
(実施形態6)
次に、実施形態6について、図15および図43から図46を用いて説明する。以下、実施形態2および実施形態5と同様の部分については、同一符号を付し、その詳細な説明は省略する。
実施形態6では、視覚処理装置1’の第1ゲイン信号GAINの補正値を決定する例について説明する。
図43は本発明の実施形態6における表示装置30’のブロック図である。
次に、信号レベル検出部34’は映像信号のうち、輝度信号をフレームメモリに記憶し、1フレーム内、または、1フィールド内の画像信号の平均値を演算し平均信号レベルを検出する。この検出した平均信号レベルから補正値K3を算出する。なお、平均信号レベルは、輝度信号を平均化した平均値でもよいし、RGB信号のそれぞれの信号を平均し、さらに3つの平均値を平均した値でもよい。
例えば、ゲイン制御を内分・外分制御で行う場合を説明する。平均信号レベルが所定の値PHより高い画像を「明るい画像」と定義し、明るい画像では補正値K3を「0.8」に設定し、逆に、平均信号レベルが所定の値PLより低い画像を「暗い画像」と定義し、暗い画像では補正値K3を「1.2」に設定する。これにより、画像の特徴により補正値を設定できる。
これにより、明るい画像でゲイン信号を補正し信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。
また、プラズマディスプレイパネルは、耐熱性を高め、消費電力を下げるために、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるようにディスプレイパネル側で制御する表示制御機能がドライブ部に設けられている。さらに、この表示制御機能は映像信号処理とは無関係に働く機能である。
よって、視覚処理で画像中の所定の明るさの領域を持ち上げたことにより、表示制御機能が働き、ドライブ部で画面全体の明るさを下げられてしまうと、視覚処理する前には十分明るかった領域まで暗くなり、画面全体としてめりはりのない画像となり画質が劣化する。つまり、せっかく行った視覚処理が無駄になってしまうおそれがある。そのために、ドライブ部の表示制御機能が働く平均信号レベル以下にゲイン信号を補正することで、効果の高いコントラスト調整ができる。
肌色検出部36’は、検出対象としている映像信号(輝度信号Yin、色度信号CBin、色度信号CRin)が図15に示す肌色領域に属するか否かを検出する。これにより、色に加え、画像の明るさに応じても補正値Kを設定できる。特に、日陰にある暗くなった人物の顔の肌色領域を明るく強調(レフ板効果)することができるので、日が当たっている領域にあるもともと明るい人物の顔の肌色領域では顔のテカリ、階調飽和、色飽和を抑制することができる。
より具体的に図45を用いて肌色検出部36’の動作を説明する。ここでは、ゲイン制御を内分・外分制御で行うものとする。
このように、輝度領域がYq<輝度値<Ypの肌色領域(暗部領域)で重み値Kcを1倍より大きい値(補正値Kを大きな値)とすることで、日陰にある暗くなった人物の顔の肌色を明るく強調(レフ板効果)でき、また、日が当たっている領域(明部領域)にあるもともと明るい顔の肌色には、輝度信号に対する重み値Kcを小さい値(肌色検出部36’で算出される補正値K4を小さい値)とすることで、顔のテカリ、飽和を抑えることができる。よって、画像中の特徴によって補正値Kを制御して強調も抑制もできる。
次に、放送内容検出部37’は、番組情報分離部32から分離されたEPG表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を検出し、補正値K5を算出する。なお、データのジャンル情報や画像の情報はMPEGのストリーム情報より検出してもよい。
放送内容検出部37’は、例えば、図46に示すように「ニュース」「スポーツ」「ワイドショー」「映画」「ドラマ」などの受信したコンテンツの種類を検出し、それぞれ補正値K5を算出する。ここでは、ゲイン制御を内分・外分制御で行う場合を説明する。
報道画像には撮影条件にばらつきがあり、暗い画像もあるのでめりはりをつけるため、コンテンツの種類が「ニュース」ならば補正値「1.3」を設定する。同様に、「スポーツ」ならば補正値「1.2」、スタジオなどで照明が考慮されている「ワイドショー」ならば補正値「1.0」、シックな映像が好ましい「映画」ならば補正値「0.7」、「ドラマ」ならば補正値「0.9」を設定する。このように、コンテンツに合わせて、補正値K5は予めテーブル化されている。これにより、画像の種類に応じて最適な補正値K5を設定できる。
次に、電界強度検出部38’は、チューナ31で受信された受信電波の電界強度を検出し、電界強度の強弱に応じて補正値K6を算出する。ゲイン制御を内分・外分制御で行う場合を説明する。例えば、電界強度が「強」の場合、補正値K6を「1.2」に設定し、電界強度が「弱」の場合、補正値K6を「0.8」に設定する。
なお、ゲイン制御を乗算値で行う場合を説明したが、ゲイン制御をオフセット値で行う場合は、電界強度が「強」の場合はK=+0.2となる値を設定し、電界強度が「弱」の場合はK=−0.2となる値を設定することで、同様の効果を奏する。
これにより、電界強度が弱くS/Nの悪い画像のノイズが強調されないように補正値K6を設定できる。
以上のように本実施形態によれば、信号レベル検出部34’は、1フレーム内または1フィールド内の画像信号から検出した平均信号レベルに応じて補正値K3を算出する。視覚処理装置1’は、補正値K3に応じて第1ゲイン信号GAINを補正することができる。
また、肌色検出部36’は、予め設定される輝度信号、色度信号に応じた重み値Ka、Kb、Kcの演算により肌色らしさ度に応じて補正値K4を算出する。視覚処理装置1’は、補正値K4に応じて第1ゲイン信号GAINを補正することができる。
これにより、所定の色領域と輝度領域で各重み値を上げる重み関数とすることで、日陰にある暗くなった人物の顔の肌色を明るく強調し、レフ板効果を持たせて肌色のくすみをとることができる。一方、日が当たっている領域にあるもともと明るい顔の肌色にテカリが出たり、飽和したりしないように抑制することができる。
また、放送内容検出部37’は、受信したデータから番組情報を分離する番組情報分離部32から検出した放送コンテンツに応じて補正値K5を算出する。視覚処理装置1’は補正値K5に応じて第1ゲイン信号GAINを補正することができる。
また、電界強度検出部38’は、チューナ31が画像データを受信したときの電界強度値に応じて補正値K6を算出する。視覚処理装置1’は補正値K6に応じて第1ゲイン信号GAINを補正することができる。
これにより、電界強度値より補正値を設定でき、電界強度が弱く受信データのS/Nが悪い画像を検出して画像全体に対するゲイン信号を制御でき、S/Nが悪い画像のノイズの強調を抑えることができる。
また、本発明の表示装置30’は、通信または放送された画像データを受信するチューナ31と、画像データを映像信号に復号するAV復号部33と、復号された映像信号を視覚処理して出力する視覚処理装置1’と、視覚処理された映像信号を表示する出力部35を備えている。
この構成により、画像のコントラスト調整で色飽和を抑えた視覚処理ができる表示装置30’を実現できる。また、ゲイン信号を抑制することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を抑制できるので、効果の高いコントラスト調整ができる。
つぎに、本発明の実施形態7として、上記で説明した視覚処理装置1または視覚処理装置1’の応用例とそれを用いたシステムについて図47〜図50を用いて説明する。
図47は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(Personal Digital Assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図47のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラなどの動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、もしくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)などであり、いずれでも構わない。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116などで撮影しているコンテンツ(例えば、音楽ライブを撮影した映像など)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114などがある。このように、コンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
また、ストリーミングサーバex103は、視覚処理装置に対して、インターネットex101を介して2次元ゲインデータ(プロファイル)を提供するものであってもよい。さらに、ストリーミングサーバex103は複数台存在し、それぞれ異なる2次元ゲインデータを提供するものであってもよい。さらに、ストリーミングサーバex103は2次元ゲインデータの作成を行うものであってもよい。このように、インターネットex101を介して、視覚処理装置が2次元ゲインデータを取得できる場合、視覚処理装置は予め視覚処理に用いる2次元ゲインデータを記憶しておく必要がなく、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットex101介して接続される複数のサーバから2次元ゲインデータを取得できるため、異なる視覚処理を実現することが可能となる。
一例として携帯電話について説明する。
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、中央処理装置(以下、「CPU」という)、ROM、RAMなどを備えた主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってデジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してデジタルの音声データとして多重分離部ex308に送出する。
データ通信モード時にホームページなどにリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給するとともに当該音声データを音声処理部ex305に供給する。
つぎに、画像復号化部ex309は、画像データの符号化ビットストリームを復号化することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限らず、最近は衛星、地上波によるデジタル放送が話題となっており、図50に示すようにデジタル放送用システムにも上記実施の形態で説明した視覚処理装置を組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備を持つ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはSTBex407などの装置が上記実施の形態で説明した視覚処理装置を備えていてもよい。また、上記実施の形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるCDやDVDなどの蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたSTBex407内に上記実施の形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタex408で再生する構成も考えられる。このときSTBではなく、テレビ内に上記実施の形態で説明した視覚処理装置を組み込んでもよい。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107などから信号を受信し、車ex412が有するカーナビゲーションex413などの表示装置に動画を再生することも可能である。
なお、カーナビゲーションex413の構成は、例えば図49に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401などでも考えられる。
また、上記携帯電話ex114などの装置は、符号化器・復号化器を両方持つ送受信型の装置の他に、符号化器のみの送信装置、復号化器のみの受信装置の3通りの実装形式が考えられる。
以上のように、本発明の実施形態7によれば、上記実施形態で説明した本発明に係る視覚処理装置または表示装置を、本発明の実施形態7におけるいずれの機器またはシステムにも用いることができ、上記実施形態で説明した本発明に係る視覚処理装置、表示装置における効果を機器またはシステムでも得ることができる。
まず、各種機能をハードウェアで実施する場合は、本発明の実施形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように1チップ化された集積回路としてもよい。
また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
図51において、コンピュータ40は、各種プログラムの命令を実行するCPU41と、プログラムなどが格納されているROM42と、一時記憶のデータを格納するRAM43と、画像を入力する入力部44と、画像を出力する出力部45と、プログラムや各種データを記憶する記憶部46とを備えている。
さらに、外部との通信を行う通信部47と、情報記憶媒体を適宜接続するドライブ48とを備えるようにしてもよい。
また、各機能部はバス49を経由して制御信号、データなどの送受信を行う。
CPU41は、ROM42に記憶されているプログラム、または、記憶部46に記憶されているプログラムか、RAM43に記憶されたプログラムにしたがって各種機能の処理を実行する。
ROM42は、視覚処理プログラム、特性データなどを記憶している。
RAM43は、CPU41により各種機能の処理に必要なデータを一時記憶する。
入力部44は、画像を入力する。たとえば、電波を受信して放送用画像データを取得し、取得した符号化画像データを復号化して、視覚処理装置1または視覚処理装置1’が処理できる画像データに変換してもよい。これにより、入力された画像データをCPU41で視覚処理装置1または視覚処理装置1’の処理ステップを実施し、出力部45で表示することで、デジタルテレビを実現できる。また、直接に有線を経由してデジタル画像を取得するようにしてもよい。
記憶部46は、磁気メモリなどで構成され、視覚処理に必要なプログラム群であるソフトウェアを記憶する。なお、視覚処理のソフトウェアを構成するプログラムは、あらかじめコンピュータに専用のハードウェアで組み込んでもよいし、ROM42、記憶部46にあらかじめ組み込んで提供してもよい。
通信部47は、ネットワークなどに接続され、ネットワークを経由してプログラムを取得、または必要に応じて記憶部46に取得したプログラムをインストールするようにしてもよい。これにより、コンピュータ40は、通信部47を経由してプログラムのダウンロードが可能となる。
ドライブ48は、情報記憶媒体を適宜接続し、情報記憶媒体に記憶されている記憶情報を取得する。情報記憶媒体は、たとえば、磁気ディスク、光磁気ディスク、光ディスクなどのディスク50、または半導体メモリなどのメモリカード51などである。また、ディスク50、または半導体メモリなどのメモリカード51などに各種機能を有するプログラム、特性データなどを記憶し、コンピュータ40に、その情報を与えるようにしてもよい。
また、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップをさらに実行し、視覚処理ステップでは画像信号と処理信号とに基づいたゲイン特性を有する第1ゲイン信号を出力するようにしてもよい。
また、プログラムは、コンピュータ40に、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、画像信号と処理信号とに基づいた所定のゲイン特性を有するゲイン信号を出力する視覚処理ステップと、ゲイン信号に基づいて画像信号の階調を補正する補正ステップとを実行させる。
また、視覚処理ステップでは、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力するようにしてもよい。
また、通信部47に放送用画像データの受信部を備え、通信または放送された符号化画像データを受信部で復号化して、視覚処理装置1が処理できる画像データに変換してもよい。これにより、入力した画像データをCPU41で視覚処理装置1’の処理ステップを実施し、出力部45で表示することで、デジタルテレビを実現できる。
ここで、ゲイン制御ステップは、所定の補正値で1倍と第1ゲイン信号との差を拡大または縮小するステップを実施するようにしてもよい。
また、ゲイン制御ステップを、所定の補正値で1倍と第1ゲイン信号とを内分または外分するステップを実施するようにしてもよい。
なお、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップをさらに実施し、画像信号と処理信号とに基づいたゲイン特性を有する第1ゲイン信号を出力する視覚処理ステップを実施してもよい。
以上の処理ステップは、ROM42、記憶部46に格納されたプログラムにより、逐次CPU41で実行される。ここで、2次元LUTの一時記憶などはRAM43を用いるようにしてもよい。
また、視覚処理装置は、動画像を取り扱う機器に内蔵あるいは接続し、フレームごと、またはフィールドごとの画像の処理を行う装置であってもよい。
(他の実施形態)
従来のコントラスト調整技術(例えば、特開平4−150171号公報のもの)では、R、G、B映像信号を入力し、中間調レベルの明るさを変えることにより、ダイナミックレンジ内で画像の視覚的な明るさを調節するようにしていた。ここでは、補正係数Mをガンマ変換前とガンマ変換後の輝度信号Yに対する比の値とし、補正係数MをR、G、B信号の各々に乗じて出力することでR、G、B信号の比のバランスを変えずに明るさ調整していた。このコントラスト調整技術では、画像信号が増幅されて飽和すると、階調のグラデーションも飽和(所定の信号レベルにあたった状態)し、擬似輪郭など階調歪が発生し画質を劣化させるという課題があった。
また、別のコントラスト調整技術(例えば、特開2001−275015号公報のもの)では、画像の平滑化した信号のみからゲイン係数を決定し、画像信号にゲイン係数を乗ずることで画像の明るさを調整する。
このコントラスト調整技術では、画像の暗部を明るくするため、入力画像を平滑化した信号が小さい場合にゲインが大きくなるよう設定すると、出力画像がオーバーフローして飽和し画質劣化が生じるという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
RGB信号を輝度信号と色度信号に分離し、輝度信号のコントラスト調整に対応して色度信号のコントラスト調整を行うコントラスト調整技術では、コントラスト調整された輝度信号と色度信号を再びRGB信号に戻したときに信号が飽和し、色の飽和を起こす可能性があるという課題があった。また、色飽和が発生するとRGB信号の色バランスが崩れ、色が変化するという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
この技術では、逆光シーン画像で暗くなった人物の顔領域を明るくすると、もともと明るかった背景領域の輝度も上げられるため、信号が持つレンジの最大値で制限され、階調が飽和する。階調が飽和(信号レベルが最大値に固定した状態)すると、擬似輪郭など階調歪が発生し画質を劣化するという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
2 空間処理部
3,63 視覚処理部
4、334 制限値決定部
5 ゲイン制限部
335 ゲイン制御部
6,7,8,82,83,84,900 乗算部
9,81 補正部
10 色飽和検出部
331 色飽和検出部
11 RGB変換部
12 最大値検出部
13 第1制限値算出部
341 第1補正値算出部
20、342 レジスタ
23、361 Mレジスタ
31 チューナ
32 番組情報分離部
33 AV復号部
34、34’ 信号レベル検出部
35 出力部
36、36’ 肌色検出部
37、37’ 放送内容検出部
38、38’ 電界強度検出部
40 コンピュータ
41 CPU
42 ROM
43 RAM
44 入力部
45 出力部
46 記憶部
47 通信部
48 ドライブ
49 バス
50 ディスク
51 メモリカード
61,903 除算部
62,901,902 加算部
70,71,72,73,74 ゲイン型視覚処理部
85 輝度色度変換部
90,98 帯域制限部
91,92,93 コントラスト強調部
Claims (17)
- 入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記視覚処理部は、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする視覚処理装置。 - 前記ゲイン信号は、
前記処理信号の値に依存せず、一様に、前記画像信号が最大値に近づくにつれ、1に近づくことを特徴とする
請求項1に記載の視覚処理装置。 - 前記画像信号は、輝度信号および色度信号であり、
前記補正部は、前記輝度信号を前記ゲイン信号に基づいて補正し、補正された輝度信号を出力する第1補正部と、
前記色度信号を前記第1補正部と同一のゲイン信号に基づいて補正し、補正された色度信号を出力する第2補正部と、を有することを特徴とする
請求項1、または、2に記載の視覚処理装置。 - 前記画像信号は、3つの原色信号であり、
前記補正部は、
前記3つの原色信号おのおのについて、共通の前記ゲイン信号に基づいて補正し、補正された3つの原色信号を出力することを特徴とする、
請求項1、または、2に記載の視覚処理装置。 - 設定された制限値で前記ゲイン信号を制限し、修正ゲイン信号として出力するゲイン制限部をさらに有し、
前記補正部は、
前記修正ゲイン信号に基づいて前記画像信号を補正することを特徴とする、
請求項1から4いずれか1項に記載の視覚処理装置。 - 設定された補正値に応じて、前記ゲイン信号と1との内分値あるいは外分値である修正ゲイン信号を出力するゲイン補正部をさらに有し、
前記補正部は、
前記修正ゲイン信号に基づいて前記画像信号を補正することを特徴とする、
請求項1から4いずれか1項に記載の視覚処理装置。 - 前記制限値は、
前記画像信号の3つの原色信号のうち、最大の値に基づくことを特徴とする、
請求項5に記載の視覚処理装置。 - 前記補正値は、
前記画像信号の3つの原色信号のうち、最大の値に基づくことを特徴とする、
請求項6に記載の視覚処理装置。 - 前記制限値は、
1フレーム内または1フィールド内の前記画像信号から検出した平均信号レベル、
前記画像信号から検出した肌色らしさ度、
通信または放送された前記画像信号に付与された番組情報、
通信または放送された前記画像信号を受信した際の電界強度値、の少なくともいずれかに基づくことを特徴とする、
請求項5に記載の視覚処理装置。 - 前記補正値は、
1フレーム内または1フィールド内の前記画像信号から検出した平均信号レベル、
前記画像信号から検出した肌色らしさ度、
通信または放送された前記画像信号に付与された番組情報、
通信または放送された前記画像信号を受信した際の電界強度値、の少なくともいずれかに基づくことを特徴とする、
請求項6に記載の視覚処理装置。 - 入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記視覚処理部は、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする
画像表示装置。 - 映像信号を受信する受信部と、
前記映像信号を復号し画像信号を出力する復号部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記視覚処理部は、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする、
テレビジョン。 - 映像信号を受信する受信部と、
前記映像信号を復号し画像信号を出力する復号部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記視覚処理部は、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする、
携帯情報端末。 - 画像を撮影して画像信号を作成する撮影部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記視覚処理部は、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする、
カメラ。 - 入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップと、
を含み、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記視覚処理ステップは、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする、
視覚処理方法。 - 画像出力装置に用いられる集積回路であって、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップと、
を実行し、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
有し、
前記視覚処理部ステップは、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする、
画像出力装置に用いられる集積回路。 - コンピュータにより視覚処理を行う画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップと、
を含む視覚処理方法をコンピュータに行わせるものであり、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記視覚処理部は、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる前記ゲイン信号を出力し、かつ、前記画像信号が最大値に近づくにつれ、1に近づく前記ゲイン信号を出力することで、
局所領域のコントラストを強調しつつ、前記出力信号の飽和を防止することを特徴とする視覚処理を行うことを特徴とする、
画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006273862A JP4440245B2 (ja) | 2005-10-12 | 2006-10-05 | 視覚処理装置、表示装置および集積回路 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005297462 | 2005-10-12 | ||
JP2005297463 | 2005-10-12 | ||
JP2006116424 | 2006-04-20 | ||
JP2006273862A JP4440245B2 (ja) | 2005-10-12 | 2006-10-05 | 視覚処理装置、表示装置および集積回路 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009113828A Division JP4857360B2 (ja) | 2005-10-12 | 2009-05-08 | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ |
JP2009113191A Division JP4440328B2 (ja) | 2005-10-12 | 2009-05-08 | 視覚処理装置、画像表示装置、カメラ、視覚処理方法およびプロセッサ |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007312349A JP2007312349A (ja) | 2007-11-29 |
JP2007312349A5 JP2007312349A5 (ja) | 2009-07-30 |
JP4440245B2 true JP4440245B2 (ja) | 2010-03-24 |
Family
ID=38844748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006273862A Active JP4440245B2 (ja) | 2005-10-12 | 2006-10-05 | 視覚処理装置、表示装置および集積回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4440245B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4314305B1 (ja) | 2008-02-04 | 2009-08-12 | シャープ株式会社 | 鮮鋭化画像処理装置、方法、及びソフトウェア |
JP5088272B2 (ja) * | 2008-08-26 | 2012-12-05 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
JP5135134B2 (ja) * | 2008-09-08 | 2013-01-30 | 株式会社東芝 | 画像処理装置及びその方法 |
US8249379B2 (en) | 2008-12-22 | 2012-08-21 | Mitsubishi Electric Corporation | Image processing apparatus and method and image display apparatus |
WO2011013660A1 (ja) * | 2009-07-27 | 2011-02-03 | シャープ株式会社 | 表示装置、プログラム及びプログラムが記録されたコンピュータ読み取り可能な記憶媒体 |
JPWO2011040021A1 (ja) * | 2009-09-29 | 2013-02-21 | パナソニック株式会社 | 表示装置および表示方法 |
JP2011142546A (ja) * | 2010-01-08 | 2011-07-21 | Sharp Corp | 映像処理装置 |
JP5999959B2 (ja) * | 2012-04-05 | 2016-09-28 | 三菱電機株式会社 | 投射型プロジェクタ |
JP6135937B2 (ja) | 2013-08-28 | 2017-05-31 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
JP6485068B2 (ja) | 2014-02-05 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
JP6575742B2 (ja) | 2014-02-26 | 2019-09-18 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
JP6849351B2 (ja) * | 2016-09-06 | 2021-03-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10761371B2 (en) | 2016-11-15 | 2020-09-01 | Sharp Kabushiki Kaisha | Display device |
JP7039183B2 (ja) * | 2017-05-31 | 2022-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN110120021B (zh) * | 2019-05-05 | 2021-04-09 | 腾讯科技(深圳)有限公司 | 图像亮度的调整方法、装置、存储介质及电子装置 |
JPWO2022244073A1 (ja) * | 2021-05-17 | 2022-11-24 |
-
2006
- 2006-10-05 JP JP2006273862A patent/JP4440245B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007312349A (ja) | 2007-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4440328B2 (ja) | 視覚処理装置、画像表示装置、カメラ、視覚処理方法およびプロセッサ | |
JP4440245B2 (ja) | 視覚処理装置、表示装置および集積回路 | |
JP4157592B2 (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
JP4688945B2 (ja) | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
JP4437150B2 (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
JP4410304B2 (ja) | 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
KR101314390B1 (ko) | 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로 | |
JP2009211708A (ja) | 階調変換処理装置、テレビジョン、情報携帯端末、カメラ、階調変換処理方法およびプロセッサ | |
JP2006129105A (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4126297B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末 | |
JP4414307B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP2006024176A5 (ja) | ||
JP4094652B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
JP4437149B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
JP4414464B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4126298B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP2005322205A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100106 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4440245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |