JP4157592B2 - 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 - Google Patents

Description

本発明は、視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路に関し、特に、画像の視覚処理の強さを変更する視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路に関する。

原画像の画像信号の視覚処理として、空間処理と階調処理とが知られている。
空間処理とは、フィルタ適用の対象となる着目画素の周辺の画素を用い、着目画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ（以下、「ＤＲ」と記す）圧縮など行う技術が知られている（例えば、特許文献１）。
階調処理とは、着目画素の周辺の画素とは無関係に、着目画素ごとにルックアップテーブル（以下、「ＬＵＴ」と記す）を用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。例えば、コントラスト強調する場合、原画像での出現頻度の高い（面積の大きい）階調レベルの階調を立てるＬＵＴを用いて画素値の変換が行われる。ＬＵＴを用いた階調処理として、原画像全体に１つのＬＵＴを決定して用いる階調処理（ヒストグラム均等化法）と、原画像を複数に分割した画像領域のそれぞれについてＬＵＴを決定して用いる階調処理（局所的ヒストグラム均等化法）とが知られている。

従来の視覚処理装置では、変換特性が異なる複数のプロファイルデータを備え、プロファイルデータを切り替えることにより上記の異なる視覚処理を実現していた（例えば、特許文献２）。
以下、図４７を用いて従来の視覚処理装置９００について説明する。図４７において、視覚処理装置９００は、入力信号ＩＳとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号ＵＳを出力する空間処理部９０１と、同じ画素についての入力信号ＩＳとアンシャープ信号ＵＳとを用いて、原画像の視覚処理を行い、出力信号ＯＳを出力する視覚処理部９０２より構成されている。アンシャープ信号ＵＳは輝度信号をローパスフィルタで処理した局所領域の明るさ信号であり、ぼけ信号である。また、視覚処理部９０２は２次元ＬＵＴより構成されていた。

視覚処理部９０２は図４８に示す階調変換特性を有するガンマ補正を実施し、画像中の着目領域でのアンシャープ信号ＵＳに対応する階調変換曲線を選択し、コントラストを高くしたり、弱くしたりしていた。例えば、画像中の暗い領域はアンシャープ信号ＵＳ０の曲線を選択して明るくし、逆に、明るい領域はアンシャープ信号ＵＳｎ曲線を選択して明るさを抑えコントラストを強めていた。これらの曲線群をプロファイルと呼ぶ。
プロファイルデータ登録装置９０３は異なる視覚処理のプロファイル群を備え、目的とする視覚処理に最適なプロファイデータを視覚処理部９０２に登録していた。
また、プロファイルデータ登録装置９０３は、視覚処理の強さに応じて必要なプロファイデータに更新していた。
例えば、逆光画像でも極端に顔が暗いときと、少し暗いときとで暗部領域のコントラストの強調の強さを変更したい場合、最適な階調変換特性を持つプロファイデータに更新して明るさを調整していた。
米国特許第４６６７３０４号明細書 国際公開第２００５／０２７０４３号パンフレット

（発明が解決しようとする課題）
しかしながら、上記従来の構成では、視覚処理の効果の強さに応じてプロファイルデータを用意する必要があるためデータ量が多くなるという課題があった。データ量が多くなるとプロファイルデータを格納するメモリ容量が多くなる（通常数１００バイト〜数１０Kバイト程度）。
また、視覚処理の効果の強さに応じてプロファイルデータを更新する必要があるという課題があった。プロファイルデータの更新には多くの更新時間が必要となるため、画像中の局所領域ごとに視覚処理の効果をリアルタイムに変更することができないという課題があった。特に、視覚処理部を２次元ＬＵＴで構成した場合はデータ量が多くなり、より多くの更新時間が必要となる。

また、人間の視覚に近い画質改善処理として、着目画素の値とその周辺領域にある画素の値との対比にもとづいて着目画素の値を変換する視覚処理がある。このような視覚処理では、処理効果をより高めるため、着目画素の位置を中心に広範囲の領域から明るさ情報を抽出する。
しかし、着目画素の値とその周辺の画素の値との対比から着目画素の値を決定するため、周辺領域に急峻なエッジ領域があった場合は、その周辺にある画素の値の影響を受け、画素の値がほとんど変動しない平坦領域でも視覚処理の出力はエッジ近傍において緩やかに変化する。平坦領域で大きな輝度の変化が発生すると、エッジに隣接した領域に影のような輪郭が発生し、不自然な画像となる。また、エッジ領域の割合が少ない画像、階調数が少ない画像、隣接画素との輝度差が小さく、類似した値が連続して多く発生する画像、または、複数に分割されたブロック画像で高周波成分が含まれるブロック数の割合が少ない画像など（以下、このような画像を「特殊画像」という）に対して自然画に対するのと同様に視覚処理を行うと、平坦領域の輝度変化が目につきやすく、エッジに隣接した領域に影のような輪郭が発生し、不自然な画像になる。
本発明が解決しようとする課題は、急峻なエッジ領域を有する画像や特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さをリアルタイムに変更することができる視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路を実現することである。

（課題を解決するための手段）
第１の発明は、入力された画像信号を視覚処理して出力する視覚処理装置において、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整部と、画像信号に視覚処理を行う視覚処理部と、を備える視覚処理装置である。
これにより、視覚処理の効果を効果調整信号により設定することが簡単な構成でできる。したがって、視覚処理の効果の調整をリアルタイムに行うことができる。

第２の発明は、第１の発明であって、所定の目標レベルを設定する目標レベル設定部と、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理部は、合成信号と画像信号とに基づいて画像信号を階調変換する。
このような構成により、効果調整信号により異なる合成信号を生成して視覚処理の強さを変更するので、所定の階調変換関数を強さの程度に合わせて変更しなくてもよい。所定の階調変換関数をハードウェア回路で実施すれば、視覚処理の強さに応じた複数の回路を持つ必要がないので回路規模を削減できる。所定の階調特性を２次元ＬＵＴに格納するプロファイルデータで実施すれば、視覚効果の強さに応じて複数のプロファイルデータを持つ必要がないのでメモリ容量を削減できる。また、視覚処理の強さに応じてプロファイルデータの更新が必要なくなるので、視覚処理部を２次元ＬＵＴで構成しても、視覚処理の強さを変更できる。また、目標レベル設定部で目標レベルを設定することにより、視覚処理装置で実現される視覚処理において、その視覚処理効果をどのような階調特性まで変化させるかを設定することができる。

第３の発明は、第１の発明であって、所定の目標レベルを設定する目標レベル設定部と、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、画像信号を補正する補正部と、をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理部は、合成信号と画像信号とに基づいてゲイン信号を出力する。補正部は、ゲイン信号に基づいて画像信号を補正する。
このような構成により、効果調整信号により異なる合成信号を生成することで視覚処理の強さを変更できるので、所定のゲイン関数を固定できる。所定のゲイン関数をハードウェア回路で実施すれば、視覚処理の強さに応じて複数の回路を持つ必要がないので回路規模を削減できる。所定のゲイン関数を２次元ＬＵＴに格納するプロファイルデータで実施すれば、視覚処理の強さに応じて複数のプロファイルデータを持つ必要がないのでメモリ容量を削減できる。また、視覚処理の強さに応じてプロファイルデータの更新が必要ないため、視覚処理部を２次元ＬＵＴで構成してもリアルタイムに視覚処理の強さを変更できる。

第４の発明は、第１の発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて画像信号と処理信号とを合成した合成信号を出力する。視覚処理部は、合成信号と画像信号とに基づいて画像信号を階調変換する。
このような構成により、効果調整部は効果調整信号により画像信号と処理信号を内分した合成信号を生成する。これにより、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで視覚処理の効果を変更することができる。また、視覚処理の効果を変更する場合でも、所定の階調変換関数を固定できる。
第５の発明は、第１の発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、画像信号を補正する補正部と、をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて画像信号と処理信号とを合成した合成信号を出力する。視覚処理部は、合成された合成信号と画像信号とに基づいてゲイン信号を出力する。補正部は、ゲイン信号に基づいて画像信号を補正する。
このような構成により、効果調整部は効果調整信号により画像信号と処理信号を内分した合成信号を生成する。これにより、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで視覚処理の効果を変更することができる。また、視覚処理の効果を変更する場合でも、所定のゲイン関数を固定できる。

第６の発明は、第１から第５のいずれか１つの発明であって、視覚処理部は、２次元ルックアップテーブルを有する。
このような構成により、ＤＲ圧縮、局所コントラスト、階調処理など異なる視覚効果のプロファイルを登録できる。また、ゲイン特性に基づいたデータを２次元ＬＵＴに格納することで、ガンマ変換値をそのままデータとして格納するよりもメモリ容量を小さくできる。
第７の発明は、第１の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生部と、をさらに備える。視覚処理部は、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整部は、効果調整信号に応じて視覚処理の効果を設定する。
この構成によれば、効果調整信号に応じて視覚処理の効果を設定する（異ならせる）ことが可能となり、副作用の発生する領域で効果を調整することで副作用を抑えることができる。

第８の発明は、第７の発明であって、効果調整信号発生部は、画像信号からエッジ領域に隣接する領域を検出して効果調整信号を出力する。
これによれば、さらに、急峻なエッジ領域を有する画像が入力された場合であっても、エッジ領域近傍の副作用を抑えることができる。
第９の発明は、第８の発明であって、効果調整信号発生部は、画像信号からエッジ領域に隣接する平坦な領域を検出して効果調整信号を出力する。
これによれば、さらに、副作用が目立ちやすいエッジ領域近傍にある平坦領域の副作用を抑えることができる。
第１０の発明は、第８または第９の発明であって、効果調整信号発生部は、周辺画像情報の変化量に応じて効果調整信号を出力する。
これによれば、さらに、周辺画像情報の変化に伴って発生する副作用を抑えることができる。

第１１の発明は、第８または第９の発明であって、効果調整信号発生部は、画像信号から隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合いを検出する平坦検出部と、画像信号から隣接領域との輝度差が所定の値以上となるエッジ領域のエッジ量を検出するエッジ検出部と、を有する。効果調整信号発生部は、平坦検出部とエッジ検出部との出力にもとづいて効果調整信号を出力する。
これによれば、さらに、急峻なエッジ領域を有する画像が入力された場合であっても、エッジ領域近傍の平坦領域の副作用を抑えることができる。

第１２の発明は、第７から第１１のいずれか１つの発明であって、効果調整部は、効果調整信号に応じて、画像信号と周辺画像情報とを合成した第１の合成信号を出力する。視覚処理部は、第１の合成信号と画像信号とにもとづいて画像信号を視覚処理する。
これによれば、さらに、視覚処理部は、第１の合成信号にもとづいて異なる階調変換処理を選択することが可能となり、選択した階調変換処理によって画像信号を視覚処理することができ、視覚処理の効果を異ならせることができる。

第１３の発明は、第７から第１１のいずれか１つの発明であって、効果調整部は、効果調整信号に応じて、画像信号と視覚処理部で視覚処理された出力とを合成した第２の合成信号を出力する。
これによれば、さらに、効果調整信号に応じて画像信号と処理信号との割合を変えて出力でき、視覚処理の効果を異ならせることができる。
第１４の発明は、第１の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、画像信号から統計的な情報の偏りを有する特殊画像である度合いを統計的な情報の偏りにもとづいて検出し、検出された度合いを効果調整信号として出力する特殊画像検出部と、をさらに備える。視覚処理部は、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理した処理信号を出力する。効果調整部は、効果調整信号に応じて視覚処理の効果を設定するように視覚処理部を制御する。
この構成によれば、特殊画像でない通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。

第１５の発明は、第１４の発明であって、特殊画像検出部は、画像信号の画像中における濃淡が変化する領域の割合または濃淡が変化しない領域の割合にもとづいて統計的な情報の偏りを検出する。
これによれば、さらに、画像信号の画像中における濃淡が変化する領域の割合または濃淡が変化しない領域の割合から統計的な情報の偏りを検出できる。
第１６の発明は、第１５の発明であって、特殊画像検出部は、濃淡が変化する領域の割合が少ないとき、または濃淡が変化しない領域の割合が多いときに特殊画像である度合いを高くする。
これによれば、さらに、特殊画像である度合いを検出でき、特殊画像の処理に適した効果調整信号を出力できる。

第１７の発明は、第１６の発明であって、特殊画像検出部は、画像中のエッジ成分を検出することで濃淡が変化する領域の割合を検出する。
これによれば、さらに、画像中のエッジ成分から濃淡が変化する領域の割合を検出できる。
第１８の発明は、第１６の発明であって、特殊画像検出部は、画像中の平坦度合いを検出することで濃淡が変化しない領域の割合を検出する。
これによれば、さらに、画像中の平坦度合いから濃淡が変化しない領域の割合を検出できる。

第１９の発明は、第１８の発明であって、特殊画像検出部は、階調レベル数または類似画素の連続長にもとづいて平坦度合いを検出する。
これによれば、さらに、画像中の階調レベル数または類似画素の連続長から平坦度合いを検出できる。
第２０の発明は、第１７の発明であって、特殊画像検出部は、画像信号から画素ごとにエッジ量を検出するエッジ検出部と、エッジ量が所定の値以上であるエッジ画素を検出し、画像信号の全画素数に対するエッジ画素数の割合を算出するエッジ密度算出部と、割合に応じて効果調整信号を出力する第１の効果調整信号発生部と、を有する。
これによれば、さらに、画像中のエッジから特殊画像を検出でき、特殊画像におけるエッジ画素の割合の偏りに応じた効果調整信号を生成できる。

第２１の発明は、第１７の発明であって、特殊画像検出部は、複数のブロックに分割された画像信号から高周波成分を含む高周波ブロックを検出する高周波ブロック検出部と、複数のブロック数に対する高周波ブロック数の割合を検出する高周波ブロック密度検出部と、割合に応じて効果調整信号を出力する第２の効果調整信号発生部と、を有する。
これによれば、さらに、画像中の高周波ブロックを検出することで特殊画像を検出でき、特殊画像における高周波ブロックの割合の偏りに応じた効果調整信号を生成できる。
第２２の発明は、第１９の発明であって、特殊画像検出部は、画像信号から階調レベルごとの頻度を検出する頻度検出部と、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを検出する頻度判定部と、頻度判定部により頻度が大きいと判定された階調レベル数を検出する階調数検出部と、階調レベル数に応じて効果調整信号を出力する第３の効果調整信号発生部と、を有する。
これによれば、さらに、画像中の階調レベル数から特殊画像を検出でき、特殊画像における階調レベル数の偏りに応じた効果調整信号を生成できる。

第２３の発明は、第１９の発明であって、特殊画像検出部は、類似輝度検出部と、連続長検出部と、平均連続長算出部と、第４の効果調整信号発生部と、を有する。類似輝度検出部は、画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する。連続長検出部は、類似画素が連続している連続長を検出する。平均連続長算出部は、連続長検出部で検出された複数の連続長を平均することで平均連続長を算出する。第４の効果調整信号発生部は、平均連続長に応じて効果調整信号を出力する。
これによれば、さらに、画像中の類似画素の平均連続長から特殊画像を検出でき、特殊画像における平均連続長の偏りに応じた効果調整信号を生成できる。

第２４の発明は、第１４から第２３のいずれか１つの発明であって、効果調整部は、効果調整信号に応じて画像信号と周辺画像情報との割合を変えて合成した第１の合成信号を出力し、視覚処理部は、第１の合成信号と画像信号とにもとづいて画像信号を視覚処理する。
これによれば、さらに、視覚処理部は、第１の合成信号にもとづいて異なる階調変換処理を選択することが可能となり、視覚処理の効果を異ならせることができる。
第２５の発明は、第１４から第２３のいずれか１つの発明であって、効果調整部は、効果調整信号に応じて画像信号と処理信号との割合を変えて合成した第２の合成信号を出力する。
これによれば、さらに、効果調整信号に応じて画像信号と処理信号との割合を変えて出力でき、視覚処理の効果を異ならせることができる。

第２６の発明は、第１４から第２３のいずれか１つの発明であって、視覚処理部は、２次元ルックアップテーブルを有し、２次元ルックアップテーブルに設定される特性データにもとづいて視覚処理を行う。効果調整部は、効果調整信号に応じて視覚処理の効果が異なる複数の特性データの割合を変えて合成した特性データを視覚処理部に設定する。
これによれば、さらに、効果調整信号に応じて視覚処理の効果が異なる複数の特性データの割合を変えて合成した特性データを用いて視覚処理でき、視覚処理の効果を異ならせることができる。
第２７の発明は、第１４から第２６のいずれか１つの発明であって、特殊画像検出部は、画像信号が縮小されている縮小画像を入力し、縮小画像から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りにもとづいて効果調整信号を出力する。
これによれば、さらに、特殊画像を検出するときのノイズの影響を抑えられる。また、処理の演算量を少なくできる。

第２８の発明は、第１４から第２７のいずれか１つの発明であって、特殊画像検出部は、画像信号がフレーム画像のときにはひとつ以上前のフレーム画像より、もしくは画像信号がフィールド画像のときにはひとつ以上前のフィールド画像から統計的な情報の偏りを検出する。
これによれば、さらに、ひとつ前のフレームから特殊画像を検出でき、フレームの先頭からで特殊画像の情報の偏りに応じた効果調整信号を使用することができる。また、ひとつ前のフィールドから特殊画像を検出でき、フィールドの先頭からで特殊画像の情報の偏りに応じた効果調整信号を使用することができる。

第２９の発明は、第２８の発明であって、効果調整信号を連続的に変化させるための連続変化処理部をさらに備える。連続変化処理部は、効果調整信号がフレーム単位で出力されるときはフレーム間で、効果調整信号がフィールド単位で出力されるときはフィールド間で、効果調整信号を連続的に変化させる。
これによれば、さらに、フレーム間での効果調整信号の急な変化を抑え、フレーム間の画像のちらつきを抑えることができる。また、フィールド間での効果調整信号の急な変化を抑え、フィールド間の画像のちらつきを抑えることができる。
第３０の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第１から第２９のいずれかの視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、画像の明るさ調整で視覚処理の強さをリアルタイムに変更して表示装置で表示できる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報端末装置を実現することもできる。

撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。
このような構成により、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示手段とを備えた構成であってもよい。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。

第３１の発明は、入力された画像信号を視覚処理して出力する視覚処理方法であり、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、画像信号に視覚処理を行う視覚処理ステップと、を有する。
これにより、視覚処理の効果を効果調整信号により設定することが簡単にできる。したがって、視覚処理の効果の調整をリアルタイムに行うことができる。
第３２の発明は、第３１の発明であって、所定の目標レベルを設定する目標レベル設定ステップと、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、をさらに有する。効果調整ステップでは、効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理ステップでは、合成された合成信号と画像信号とに基づいて画像信号を階調変換する。
これにより、効果調整信号により異なる合成信号を生成して視覚処理の強さを変更するので、所定の階調変換関数を強さの程度に合わせて変更しなくてもよい。また、目標レベル設定ステップで目標レベルを設定することにより、この視覚処理方法により実現される視覚処理効果をどのような階調特性まで変化させるかを設定することができる。

第３３の発明は、第３１の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生ステップと、をさらに有する。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定する。
この方法によれば、効果調整信号に応じて視覚処理の効果を異ならせることが可能となる。

第３４の発明は、第３３の発明であって、効果調整信号発生ステップでは、画像信号からエッジ領域に隣接する平坦な領域を検出して効果調整信号を出力する。
これによれば、さらに、急峻なエッジ領域を有する画像が入力された場合であっても、エッジ領域近傍にある平坦領域の副作用を抑えることができる。
第３５の発明は、第３１の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、画像信号から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、をさらに有する。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定する。
この方法によれば、特殊画像がでない通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。

第３６の発明は、入力された画像信号を視覚処理して出力する視覚処理を行うためにコンピュータに、効果調整信号に応じて視覚処理の効果を設定するための制御信号を出力する効果調整ステップと、制御信号と画像信号とに基づいて画像信号を視覚処理する視覚処理ステップと、を実行させるプログラムである。
これにより、視覚処理の効果を効果調整信号により設定することが簡単にできる。したがって、視覚処理の効果の調整をリアルタイムに行うことができる。
第３７の発明は、第３６の発明であって、コンピュータに、所定の目標レベルを設定する目標レベル設定ステップと、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、をさらに実行させるためのプログラムである。効果調整ステップでは、視覚処理の効果を設定するための効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理ステップでは、合成された合成信号と画像信号とに基づいて画像信号を階調変換する。
これにより、効果調整信号により異なる合成信号を生成して視覚処理の強さを変更するので、所定の階調変換関数を強さの程度に合わせて変更しなくてもよい。また、目標レベル設定ステップで目標レベルを設定することにより、この視覚処理方法により実現される視覚処理効果をどのような階調特性まで変化させるかを設定することができる。

第３８の発明は、第３６の発明であって、コンピュータに、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生ステップと、をさらに実行させるためのプログラムである。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステップでは、効果調整信号に応じて視覚処理の効果を異ならせるように調整する。
このプログラムによれば、効果調整信号に応じて視覚処理の効果を異ならせることが可能となる。

第３９の発明は、第３８の発明であって、効果調整信号発生ステップは、画像信号からエッジ領域に隣接する平坦な領域を検出して効果調整信号を出力する。
これによれば、さらに、急峻なエッジ領域を有する画像が入力された場合であっても、エッジ領域近傍にある平坦領域の副作用を抑えることができる。
第４０の発明は、第３８の発明であって、コンピュータに、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、画像信号から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、をさらに実行させるためのプログラムである。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定する。
このプログラムによれば、特殊画像がでない通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。

第４１の発明は、第１から第２９のいずれか１つの発明である視覚処理装置を含む集積回路である。
このような構成により、集積回路でも視覚処理装置と同様の効果を得ることが可能となる。
（発明の効果）
本発明によれば、急峻なエッジ領域を有する画像や特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さをリアルタイムに変更することができる視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路を実現することができる。

以下、本発明の実施の形態における視覚処理装置について図面を参照しながら説明する。
（実施の形態１）
まず、実施の形態１である視覚処理装置について説明する。ここで行う視覚処理とは人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素値とその周辺画素値との対比により出力信号を決定する処理である。適用される処理として、逆光補正処理、ニー処理、ＤＲ圧縮処理、明るさ調整（階調処理、コントラスト調整を含む）などがある。
図１は、実施の形態１における視覚処理装置１のブロック図である。
視覚処理装置１は、画像信号ＩＳに視覚処理を行い視覚処理した出力信号ＯＳを出力する。

空間処理部２は、空間処理の対象となる対象画素と、対象画素の周辺領域の画素（以下、「周辺画素」と記す）との画素値を入力信号ＩＳから取得する。取得した原画像の画素ごとの入力値に空間処理を実施しアンシャープ信号ＵＳを出力する。アンシャープ信号ＵＳは入力信号ＩＳをローパスフィルタで処理したぼけ信号である。
アンシャープ信号ＵＳにより着目画素の周辺領域を含む明るさを検出できる。
目標レベル設定部４は、視覚処理で要求される効果の目標レベルを設定するものである。例えば、局所コントラストの効果、ＤＲ圧縮などの要求される視覚処理効果をどのような階調変換特性まで変化させるかの目標を設定する。調整する階調変換特性に応じて、設定された目標レベル値を決定する関数を設定し、所定の関数に基づいて入力信号ＩＳを変換する。

具体的には、局所コントラスト処理には図２に示す直線１の変換特性に応じて目標レベル値Ｌを出力する。ここで、直線１は入力信号ＩＳに応じて目標レベルを変化させる。例えば、目標レベルＬ＝入力信号ＩＳとする。なお、この場合、目標レベル設定部４は無くても良い。
同様に、ＤＲ圧縮処理には図２に示す直線２の変換特性に応じて目標レベル値Ｌを出力する。直線２は入力信号ＩＳに応じて目標レベルを変化させない。すなわち、目標レベルＬ＝所定の値Ｔ１（固定）とする。なお、この場合には目標レベル設定部４はなくてもよい。
なお、直線１と直線２の中間的な変換特性により目標レベル値Ｌを出力するようにしてもよい。例えば、目標レベルＬ＝（入力信号ＩＳ＋所定の値Ｔ１）÷２としてもよい。また、直線１と直線２の間で設定される曲線１により目標レベル値Ｌを出力するようにしてもよい。

効果調整部５は、外部信号（効果調整信号）ＭＯＤに応じて目標レベルＬとアンシャープ信号ＵＳとを内分演算（「内分演算」とは、内分により、例えば、２つの物理量から１つの物理量を算出することをいう）により合成し、合成信号ＭＵＳを出力する。効果調整部５は、例えば、ＭＵＳ＝（ＵＳ−Ｌ）×ＭＯＤ＋Ｌなる内分演算を実施する。外部信号（効果調整信号）ＭＯＤの値は「０」から「１」の範囲で設定され、ＭＯＤが「０」で効果なし、ＭＯＤが「１」で効果最大となる。式の変形として、ＭＵＳ＝ＵＳ×ＭＯＤ＋Ｌ×（１−ＭＯＤ）としてもよい。
視覚処理部３は、設定される２次元階調変換特性に基づいて、入力信号ＩＳと合成信号ＭＵＳに対して出力信号ＯＳを出力する。この階調変換特性よって様々な視覚効果を実現することができる。

次に、本発明の実施の形態１における視覚処理装置１について、さらに詳しく説明する。
まず、視覚処理の効果として局所コントラストを強調したり弱めたりする場合の制御について説明する。制御は、外部より効果調整信号を設定することで行う。
視覚処理装置１は、図４に示すように２次元階調変換特性を持つように設定される。ここで、横軸は入力された入力信号ＩＳ、縦軸は変換された出力信号ＯＳである。
２次元階調変換特性とは、合成信号ＭＵＳと入力信号ＩＳとの２つの入力に対して、出力を決定するための階調変換における入出力特性をいう。例えば、図４の合成信号ＭＵＳ０からＭＵＳｎの信号レベルに応じて所定の階調変換特性を持つ。従って、入力信号ＩＳの画素値が８ビットの値とすると、２５6段階に分けられた入力信号ＩＳの値に対する出力信号ＯＳの画素値が所定の２次元階調変換特性により決定される。階調変換特性は所定のガンマ変換特性を持つ階調変換曲線であり、合成信号ＭＵＳの添え字について、出力が単調減少する関係にある。なお、合成信号ＭＵＳの添え字について、出力が一部分単調減少でない箇所があったとしても、実質的に単調減少であればよい。また、図４に示しように、２次元階調変換特性において、全ての入力信号ＩＳの画素の明度値に対して、（ＭＵＳ＝ＭＵＳ０の場合の出力値）≧（ＭＵＳ＝ＭＵＳ１の場合の出力値）≧・・・≧（ＭＵＳ＝ＭＵＳｎの場合の出力値）の関係を満たしている。この階調変換特性により局所領域のコントラストが強調される。

次に、空間処理部２は、例えば、入力信号ＩＳの対象画素に対して低域空間のみを通過させる低域空間フィルタ演算によりアンシャープ信号ＵＳを得る。フィルタ演算では、対象画素と周辺画素の画素値を、例えば、ＵＳ＝（Σ［Ｗｉｊ］×［Ａｉｊ］）／（Σ［Ｗｉｊ］）に基づいて計算する。ここで、［Ｗｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の重み係数であり、［Ａｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の画素値である。また、「Σ」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味している。
より具体的には、重み係数［Ｗｉｊ］が１、画素値［Ａｉｊ］をＡ（ｉ，ｊ）と表現して説明する。対象画素の画素値はＡ（１，１）が「１２８」、Ａ（０，０）が「１１０」、Ａ（０，１）が「１１５」、Ａ（０，２）が「１１７」、Ａ（１，０）が「１２３」、Ａ（１，２）が「１２０」、Ａ（２，０）が「１２０」、Ａ（２，１）が「１２７」、Ａ（２，２）が「１２５」とする。このとき、３画素×３画素の領域よりアンシャープ信号ＵＳを得るには、ＵＳ＝（１２８＋１１０＋１１５＋１１７＋１２３＋１２０＋１２０＋１２７＋１２５）／９となる演算をすればよい。

なお、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられてもよいし、対象画素からの距離が大きいほど小さい重み係数が与えられてもよい。
また、周辺画素の領域は、効果に応じて、その領域の大きさが設定されるものであり、視覚効果を得るためには、周辺画素の領域は、ある程度の大きさの領域に設定することが好ましい。例えば、対象とする画像の大きさがＸＧＡ（１０２４×７６８）では、周辺画素の領域を８０画素×８０画素以上の大きさの領域に設定するのが好ましい。
また、低域空間フィルタとしては、アンシャープ信号の生成に通常用いられるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタ、あるいはＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタなどを用いてもよい。

目標レベル設定部４は、局所コントラスト処理では、図２に示す直線１の変換特性を設定し、目標レベルＬ＝入力信号ＩＳとする。よって、効果調整信号ＭＯＤ＝０のとき、視覚処理の「効果なし」であるので、合成信号ＭＵＳ＝入力信号ＩＳとなる。
（例えば、合成信号ＭＵＳが、
ＭＵＳ＝ＵＳ×ＭＯＤ＋ＩＳ×（１．０−ＭＯＤ）
で求められる場合、ＭＯＤ＝０をこの数式に代入することで、合成信号ＭＵＳ＝入力信号ＩＳとなる。）
なお、目標レベルＬ＝入力信号ＩＳとする場合は、目標レベル設定部４はなくてもよい。直接、入力信号ＩＳを効果調整部５に入力すればよい。
視覚処理部３は、合成信号ＭＵＳ＝入力信号ＩＳのときに、視覚処理部３に入力される２つの入力信号ＩＳと合成信号ＭＵＳとが同じ値になり、視覚処理装置１では、図４に示す曲線２の階調変換特性による階調変換が実行される。曲線２の階調変換特性は、明るさ調整（ガンマ変換）のみの特性を持ち、局所コントラストを高める効果はない。

効果調整部５は、効果調整信号ＭＯＤの設定により必要な視覚処理の効果を調整する。例えば、ＭＯＤ＝０．５とすれば、合成信号ＭＵＳをＭＵＳ＝（ＵＳ−Ｌ）×ＭＯＤ＋Ｌとし、Ｌ＝ＩＳとすると、合成信号ＭＵＳ＝０．５×ＵＳ＋０．５×ＩＳとなる。
このとき合成信号ＭＵＳは、図３（ａ）に示すように、入力信号ＩＳとアンシャープ信号ＵＳの中間的な出力となる。この合成信号ＭＵＳで視覚処理された出力信号ＯＳ（ＭＵＳ）は、図３（ｂ）に示すように、入力信号ＩＳのみに基づいて視覚処理した出力信号ＯＳ（ＩＳ）とアンシャープ信号ＵＳのみに基づいて視覚処理した出力信号ＯＳ（ＵＳ）との中間的な出力となる。よって、視覚処理装置１は、ＭＯＤが「１」で視覚処理の「効果最大」である出力信号ＯＳ（ＵＳ）を出力し、ＭＯＤが「０」で視覚処理の「効果なし」である出力信号ＯＳ（ＩＳ）を出力する。

このように、効果調整信号ＭＯＤの値に応じて、局所コントラストの視覚処理効果を強めたり、弱めたりすることができる。
また、効果調整部５は、効果調整信号ＭＯＤにより入力信号ＩＳとアンシャープ信号ＵＳを内分した合成信号ＭＵＳを生成する。これにより、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで視覚処理の効果を変更することができる。
次に、ＤＲ圧縮処理について図５を用いて説明する。カメラなどの撮像装置において、ＤＲ圧縮処理は、画像を入力するＣＣＤが持つ入力レンジを撮影装置で記録する記録レンジに収めるための処理である。通常、撮影装置では、人の顔を基準に明るさを調整して撮影するため、顔の明るさが出力のＤＲの８０％程度になるように明るさ設定がなされる。よって、例えば、顔の背景にある明るい空の領域等は、出力のＤＲの残りの２０％に入れる必要がある。このため、図５に示す曲線４のように入力レンジが一定レベル以上となるところから、出力のＤＲを圧縮して変換する「ニー処理」が一般的に行われている。

しかし、出力のＤＲの２０％のレンジに空などの明るい明部領域の信号を圧縮して収めると、階調不足により、雲などの陰影が飛んでしまったりすることがある。
そこで、視覚処理装置１は、図５に示すように、入力レンジが「１．０」前後より大きい値をもつ明部領域を変換する階調曲線ＭＵＳ０からＭＵＳｎを持ち、これらの階調曲線に基づいて、合成信号ＭＵＳに応じて圧縮程度を制御する。これにより、視覚処理装置１に明部領域の信号が入力された場合であっても、出力信号において階調不足が発生することを抑えることができる。
また、目標レベル設定部４には図２に示す直線２の変換特性を設定し、目標レベルＬ＝所定の値Ｔ１（固定）とする。
この場合、効果調整信号ＭＯＤが「０」のとき、合成信号ＭＵＳ＝ＵＳ×ＭＯＤ＋Ｌ×（１．０−ＭＯＤ）とすると、合成信号ＭＵＳ＝Ｔ１となり、効果調整信号ＭＯＤが「１」のとき合成信号ＭＵＳ＝アンシャープ信号ＵＳとなる。目標レベルＬの設定により、図５に示すＭＵＳ０からＭＵＳｎまでの曲線の中から所定の曲線を１つ選択することになる。

視覚処理部３は、合成信号ＭＵＳが＝Ｔ１（固定値）のとき、図５に示す曲線３の階調変換曲線で固定したＤＲ圧縮を行う。また、合成信号ＭＵＳ＝アンシャープ信号ＵＳのとき、局所領域の明るさに応じたＤＲ圧縮を行うので、このＤＲ圧縮において、局所領域の明るさに応じた視覚処理の効果が高くなる。
次に、効果調整部５で効果調整信号ＭＯＤの設定により、必要な視覚処理の効果を調整する。例えば、ＭＯＤ＝０．５とすれば、合成信号ＭＵＳ＝０．５×ＵＳ＋０．５×Ｔ１となる。
このように、効果調整信号ＭＯＤを所定の値に設定することで、曲線３の階調変換曲線と階調変換曲線ＭＵＳｎの内分により定まる変換曲線により、効果の強さが違うＤＲ圧縮処理を実現することができる。

なお、視覚処理装置１は、視覚処理部３で入力信号ＩＳを階調変換した値を出力信号ＯＳとして出力する構成となっているが、階調変換した値に相当する、入力信号ＩＳに対するゲインの値を出力する構成としてもよい。
図６に、変形例１である視覚処理装置２０のブロック図を示す。重複を避けるため、視覚処理装置１（図１）と同じ処理の説明は省略する。
図６において、視覚処理装置２０は、例えば、図７に示すように２次元階調変換特性を持つように設定される。ここで、横軸は入力された入力信号ＩＳ、縦軸は変換された出力信号ＯＳである。
また、階調変換特性は、合成信号ＭＵＳによりＭＵＳ０〜ＭＵＳｎまでの異なる階調変換曲線が選択される。この特性により、画像中の暗部領域は、ＭＵＳ０によりコントラストが高くなり、明るくなるように変換される。一方、画像中の明部領域はＭＵＳｎにより変換が抑制されている。これにより、人物の顔が暗く背景領域が明るい逆光画像等に対して有効な暗部補正を実現できる。

ここで、視覚処理部２１は、図７の階調変換曲線の傾きをゲインとして、図８に示すゲイン特性により入力信号ＩＳを補正するようにする。横軸は入力された入力信号ＩＳ、縦軸はゲイン信号ＧＡＩＮの出力である。
このゲイン信号ＧＡＩＮを入力信号ＩＳに乗算することで、図７に示す出力信号ＯＳと等価な出力が得られる。
目標レベル設定部４は、図７の階調変換曲線による階調変換処理を実現する場合、図２に示す直線１の変換特性を設定し、目標レベルＬ＝入力信号ＩＳとする。よって、効果調整信号ＭＯＤ＝０のとき合成信号ＭＵＳ＝入力信号ＩＳとなる。
効果調整部５は、効果調整信号ＭＯＤに応じて目標レベルＬとアンシャープ信号ＵＳとを内分演算により合成し、合成信号ＭＵＳを出力する。つまり、この効果調整信号ＭＯＤにより、視覚処理の効果の強さを調節することができる。

視覚処理部２１は、合成信号ＭＵＳ＝入力信号ＩＳのとき、視覚処理部３に入力される２つの入力信号ＩＳと合成信号ＭＵＳとが同じ値になり、視覚処理装置２０では、図７に示す曲線５の所定のガンマ変換のみの階調変換が実行され、暗部補正の効果を有する階調変換は実行されない。
これにより、効果調整信号ＭＯＤの値を設定することにより、所定のガンマ変換のみの特性による階調変換から暗部補正を実現する階調変換まで、階調変換における効果の調節をすることができる。
視覚処理部２１は、設定されるゲイン特性を実現するために、入力信号ＩＳと合成信号ＭＵＳとに基づいて、ゲイン信号ＧＡＩＮを出力する。
乗算部２２は、ゲイン信号ＧＡＩＮと入力信号ＩＳとを乗算し、出力信号ＯＳを出力する。

２次元ゲイン特性の特徴として、階調変換曲線に比べて入力信号ＩＳに対する曲線の変化が緩やかである。よって、入力信号ＩＳ、合成信号ＭＵＳを粗く間引いても十分に処理精度を確保でき、視覚処理部２１に入力する入力信号ＩＳのビット精度を落とすことができる。これにより、ハードウェア・ロジック設計では回路規模を削減できる。
なお、視覚処理部２１を入力信号ＩＳおよび合成信号ＭＵＳとゲイン信号ＧＡＩＮとの関係を与える２次元ルックアップテーブル（以下、「２次元ＬＵＴ」と記す）で構成し、入力信号ＩＳと合成信号ＭＵＳとに対して、２次元ＬＵＴを参照してゲイン信号ＧＡＩＮを出力するようにしてもよい。これにより、２次元ＬＵＴに階調変換値を格納するよりもゲイン値を格納するほうが２つの入力信号のビット数を削減でき、大幅にメモリ容量を削
減できる。

また、視覚処理部２１は、２次元ＬＵＴで構成することで、複雑なゲイン特性も予め作成することができる。視覚処理部２１を２次元ＬＵＴで構成する場合、リード・オンリー・メモリ（以下、「ＲＯＭ」と記す）等により実現することができる。また、ゲイン特性を更新できるようにするため、２次元ＬＵＴを、書き換え可能なメモリ、例えば、ランダム・アクセス・メモリ（以下、「ＲＡＭ」と記す）等で構成してもよい。２次元ＬＵＴには予め設定される２次元ゲイン特性を有するゲインデータが格納されている。この２次元ゲイン特性を変更することで、局所コントラスト処理、ＤＲ圧縮処理など様々な視覚効果を得ることができる。
さらに、視覚処理装置１、２０では、視覚処理の強さに対して効果調整信号ＭＯＤの値を設定することで、効果の強さを柔軟に調節できる。

なお、効果調整信号ＭＯＤは、設定によって予め、またはリアルタイムに変更可能な信号である。例えば、リモコンにより表示装置の画面メニューを選択し、対応する値を、効果調整信号ＭＯＤとして設定するようにしてもよい。
また、画像中の特徴量、例えば、所定の画像パターン、画像濃淡、色を自動的に抽出して自動的に最適な値を効果調整信号ＭＯＤとして設定するようにしてもよい。
また、リモコンにより、例えば、表示装置の画面選択メニューに表示された「映画画質」、「ニュース画質」などから選択し、その選択メニューごとに予め設定されている調整範囲で自動的に値を効果調整信号ＭＯＤとして設定するなど半自動としてもよい。
また、視覚処理装置１、２０は、図示しない放送内容検出部を有し、番組情報として分離されたＥＰＧ表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を放送内容検出部で検出し、検出された情報の内容に基づいて効果調整信号ＭＯＤを変更してもよい。なお、データのジャンル情報や画像の情報は、ＭＰＥＧのストリーム情報より検出してもよい。

以上のように本実施の形態の視覚処理装置によれば、効果調整信号ＭＯＤにより視覚処理の強さを強めることも弱めることもできるので、強弱に応じた階調変換特性、ゲイン特性データを作り直す必要がない。
これにより、いろいろな強さの視覚処理を実現するための専用回路、いろいろな強さの視覚処理を実現するためのプロファイルデータのＬＵＴを用意しなくて済む。よって、視覚処理装置を実現する場合において、ハードウェア回路、テーブル用のメモリ容量を削減できる。また、視覚処理装置において、ＬＵＴを用いた構成では、ＬＵＴの内容を入れ替える必要がないため、変更時間をなくすことができ、視覚効果の調整をリアルタイムにできる。
また、本実施形態の視覚処理装置では、効果調整信号ＭＯＤをリアルタイムに変更するように構成することもできるので、視覚処理の効果の強さをリアルタイムに変更することができる。具体的には、フレーム単位、画素単位で視覚処理の強さを変更でき、画像中の局所領域に対しても視覚処理の強さを変更できる。

また、効果調整部５は、効果調整信号ＭＯＤにより、入力信号ＩＳまたはレベル信号またはこれらの予め設定された値と、アンシャープ信号ＵＳとを内分した合成信号ＭＵＳを生成する。これにより、視覚処理装置において、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで、視覚処理の効果を変更することができる。
（実施の形態２）
次に、本発明の実施の形態２について、図面を用いて詳細に説明する。
一般に、自然画像は階調数が多く、自然画像に視覚処理を行うことで局所コントラストなどを高めた鮮鋭な画像を得ることができる。一方、画像中に急峻なエッジがあると、視覚処理を施した場合には、副作用が目立ちやすい。この副作用を抑えるため、視覚処理を弱くすると、自然画像に対しても処理が弱くなり鮮鋭さのない画像となってしまう。

よって、エッジ近傍に対してのみ、視覚処理を弱くすることで、自然画像全体に対して処理効果を維持しながら、エッジ近傍での副作用を抑えることが可能となる。
本発明の実施の形態２である視覚処理装置は、視覚処理の効果を異ならせるための効果調整信号を出力し、効果調整信号に応じて視覚処理の効果を異ならせるように（強度、補正量）調整を行うものである。
さらに、視覚処理の対象とする画像において、エッジに隣接した領域、またはエッジに隣接した平坦領域を検出し、エッジ量と平坦度の度合いから効果調整信号を生成し、効果調整信号に応じて視覚処理の効果を異ならせるように調整するものである。
これにより、視覚処理装置に急峻なエッジ領域を有する画像が入力された場合であっても、視覚処理の効果を得ながら、エッジ近傍での副作用を抑えることができる。

ここで、視覚処理とは、人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値（明るさ）との対比に応じて出力信号の値を決定する処理である。視覚処理は、逆光補正、ニー処理、Ｄレンジ圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む）などに適用される。
また、本発明の実施の形態では、ＹＣｂＣｒ色空間、ＹＵＶ色空間、Ｌａｂ色空間、Ｌｕｖ色空間、ＹＩＱ色空間、ＹＰｂＰｒ色空間の輝度成分Ｙまたは明度成分Ｌを輝度信号と定義する。以下、輝度信号を画像信号として説明する。
本発明の実施の形態２である視覚処理装置について、図９〜図１６を用いて説明する。図９は、本発明の実施の形態２における視覚処理装置１０１の構成を示すブロック図である。

図９において、本発明の実施の形態２による視覚処理装置１０１は、入力された画像信号から周辺画像情報（アンシャープ信号）ＵＳを出力する空間処理部１０と、エッジ近傍領域の平坦度合いに応じて効果調整信号ＭＯＤを出力する制御信号発生部４０と、効果調整信号ＭＯＤに応じて画像信号ＩＳと周辺画像情報ＵＳとの割合を変えて合成した合成信号ＭＵＳを出力する効果調整部１０２０と、合成信号ＭＵＳと画像信号ＩＳとにもとづいて画像信号ＩＳを視覚処理する視覚処理部３０とを備えている。
以下、視覚処理装置１０１の各機能部について説明する。
空間処理部１０は、画像信号ＩＳから対象画素の値と対象画素の周辺領域にある画素（以下、「周辺画素」という）の値とを抽出し、抽出した画素の値を用いて画像信号ＩＳに対してフィルタ処理を行う。

たとえば、空間処理部１０は、画像信号ＩＳをローパスフィルタにより処理したアンシャープ信号ＵＳを生成する。アンシャープ信号ＵＳは、以下のような演算により生成する。
ＵＳ＝（Σ［Ｗｉｊ］×［Ａｉｊ］）÷（Σ［Ｗｉｊ］）
ここで、［Ｗｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の重み係数であり、［Ａｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の値である。また、「Σ」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味している。
なお、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられてもよいし、対象画素から距離が大きいほど小さい重み係数を与えるようにしてもよい。また、周辺画素の領域サイズは効果に応じてあらかじめ設定される大きさであり、所定のサイズより大きくすると視覚効果を高めることができる。たとえば、対象とする画像の大きさが縦１０２４画素および横７６８画素であれば、縦横がそれぞれ８０画素以上の領域からアンシャープ信号ＵＳを生成することにより、それぞれ縦横３画素程度の局所領域に比較してより視覚効果を高めることができる。

また、低域空間フィルタとしては、アンシャープ信号の生成に通常用いられるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタ、あるいはＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタなどを用いてもよい。
つぎに、効果調整部１０２０は、制御信号発生部４０から出力される効果調整信号ＭＯＤに応じて、画像信号ＩＳとアンシャープ信号ＵＳとを補間処理により合成し、合成信号ＭＵＳを出力する。合成信号ＭＵＳは、たとえば、効果調整信号ＭＯＤに応じて、以下の（式１）のように内分演算される。制御信号発生部４０については後述する。
ＭＵＳ＝ＵＳ×ＭＯＤ＋ＩＳ×（１．０−ＭＯＤ） （式１）
ここで、効果調整信号ＭＯＤの値は「０．０」から「１．０」までの範囲で変化し、効果調整信号ＭＯＤの値が「０．０」で処理なし、効果調整信号ＭＯＤの値が「１．０」で処理の強さが最大となる。なお、（式１）は、（式２）のように変形させることもでき、同様に、合成信号ＭＵＳを生成できる。

ＭＵＳ＝（ＵＳ−ＩＳ）×ＭＯＤ＋ＩＳ （式２）
つぎに、視覚処理部３０は、効果調整部１０２０からの合成信号ＭＵＳにしたがって、画像信号ＩＳを階調変換する。
視覚処理部３０は、たとえば、図１０に示す、２次元階調変換特性にもとづいて階調変換を行う。ここで、２次元階調変換とは、合成信号ＭＵＳと画像信号ＩＳとの２つの入力に対して出力の値が決定される階調変換をいう。視覚処理部３０は、２次元階調変換特性にもとづいて画像信号ＩＳと合成信号ＭＵＳとに対して処理信号ＯＳを出力する。この階調変換特性よって様々な視覚効果を出すことができる。
図１０を用いて、２次元階調変換特性に説明する。図１０は、２次元階調変換特性を説明するための説明図である。ここで、横軸は入力された画像信号ＩＳ、縦軸は変換された処理信号ＯＳの出力である。

図１０に示すように、２次元階調変換は、合成信号ＭＵＳ０からＭＵＳｎの信号レベルに応じて所定の階調変換特性を持つ。したがって、画像信号ＩＳの画素値が８ビットの値とすると、２５６段階に分けられた画像信号ＩＳの値に対する出力信号ＯＳの画素値が所定の２次元階調変換特性により決定される。階調変換特性は所定のガンマ変換特性を持つ階調変換曲線であり、合成信号ＭＵＳの添え字について、出力が単調減少する関係にある。なお、合成信号ＭＵＳの添え字について、出力が一部分単調減少でない箇所があったとしても、実質的に単調減少であればよい。また、図１０に示したように、２次元階調変換特性において、すべての画像信号ＩＳの画素の明度値に対して、（ＭＵＳ＝ＭＵＳ０の場合の出力値）≧（ＭＵＳ＝ＭＵＳ１の場合の出力値）≧・・・≧（ＭＵＳ＝ＭＵＳｎの場合の出力値）の関係を満たしている。

図１０に示す２次元階調変換特性によれば、視覚処理部３０は、入力された画像信号ＩＳが値「ａ」に対して、周囲領域の明度値が小さいときにＭＵＳ０を選択することで処理出力ＯＳの値は「Ｐ」となり、逆に、周囲領域の明度値が大きいときにＭＵＳｎを選択することで処理出力ＯＳの値は「Ｑ」となる。このように、入力された画像信号ＩＳが値「ａ」であっても、周囲領域の明度値の変化によって処理出力ＯＳは値「Ｐ」から値「Ｑ」まで大きく変化させることができる。これにより、暗部のコントラストを合成信号ＭＵＳに応じて強調することができる。
一方、視覚処理の効果をなくすため、合成信号ＭＵＳ＝画像信号ＩＳとなるようにすれば、図１０に示す、曲線２の階調変換特性を持たせることができる。曲線２の階調変換特性では、画像全体の明るさ調整（ガンマ変換）ができるが、局所の暗部領域だけコントラストを高めるなどの視覚効果はない。

なお、この２次元階調変換特性を変更することで、様々な視覚処理の効果を出すことができ、ニー処理、ＤＲ圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む）などに適用可能となる。
つぎに、視覚処理部３０において、合成信号ＭＵＳにもとづいて視覚処理の効果を異ならせたときの処理出力ＯＳについて図１１を用いて説明する。図１１は、処理信号ＯＳの出力を説明するための説明図である。
図１１（ａ）において、横軸は処理する画素位置、縦軸は合成信号ＭＵＳの出力である。
合成信号ＭＵＳは、たとえば、効果調整信号ＭＯＤの値を「０．５」としたときには、画像信号ＩＳとアンシャープ信号ＵＳの中間的な出力となる。

このとき、図１１（ｂ）に示すように、画像信号ＩＳのみにもとづいて視覚処理した処理信号ＯＳをＯＳ（ＩＳ，ＩＳ）とし、画像信号ＩＳとアンシャープ信号ＵＳとにもとづいて視覚処理の処理信号ＯＳをＯＳ（ＩＳ，ＵＳ）とすれば、画像信号ＩＳと合成信号ＭＵＳにしたがって視覚処理された処理信号ＯＳであるＯＳ（ＩＳ，ＭＵＳ）は、ＯＳ（ＩＳ，ＩＳ）とＯＳ（ＩＳ，ＵＳ）との中間的な出力となる。
よって、効果調整信号ＭＯＤの値が「１．０」のとき、合成信号ＭＵＳ＝ＵＳとなり、視覚処理の「効果が最大」である処理信号ＯＳ（ＩＳ，ＵＳ）を出力する。一方、効果調整信号ＭＯＤの値が「０．０」のとき、合成信号ＭＵＳ＝ＩＳとなり、視覚処理の「効果なし」である処理信号ＯＳ（ＩＳ，ＩＳ）を出力する。
このように、視覚処理部３０は、合成信号ＭＵＳに応じて暗部コントラストの視覚処理の効果を強めたり、弱めたりすることができる。これにより、画像全体の明るさを変換するだけの処理の効果から、局所領域でのコントラストを周囲の明るさで異ならせるように（変化させるように）した処理の効果まで、効果が異なる様々な視覚効果を、視覚処理装置１０１において実現することができる。

なお、視覚処理装置１０１において、２次元階調変換特性を変更することで、ニー処理、ＤＲ圧縮処理、色処理なども実現することができる。
また、視覚処理部３０は、２次元ＬＵＴを有してもよい。この場合、視覚処理部３０は、視覚処理部３０の２次元ＬＵＴに、図１０に示す、特性データ（以下、「プロファイル」という）を設定することで、階調変換する。
また、視覚処理部３０は、演算回路によって視覚処理を行うようにしてもよい。特に、視覚処理部３０の２次元ＬＵＴに、簡易な直線によって近似可能な特性であるプロファイルが設定される場合、２次元ＬＵＴのテーブルをなくすことができ、視覚処理装置１０１の回路規模を削減することができる。
つぎに、図１２、図１３を用いて、制御信号発生部４０について説明する。図１２は、制御信号発生部４０の構成を示すブロック図、図１３は効果調整信号ＭＯＤの出力を説明するための説明図である。

図１２に示すように、制御信号発生部４０は、画像信号ＩＳから隣接領域ごとの輝度差であるエッジ量を検出するエッジ検出部４１と、エッジ量からエッジ領域の近傍度合いを検出するエッジ近傍検出部４２と、隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合いを検出する平坦検出部４３と、エッジ近傍度合いと平坦度合いに応じて効果調整信号ＭＯＤを出力する効果調整信号発生部４４とを備えている。
エッジ検出部４１は、所定の範囲の領域ごとに、画像信号ＩＳからエッジ量を検出する。エッジ検出部４１は、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなどの１次微分フィルタ、ラプラシアンフィルタなどの２次微分フィルタなどのエッジ検出フィルタ（図示せず）を用いてエッジ量ＥＧを検出する。エッジ検出部４１は、たとえば、図１３（ａ）に示す、画像信号ＩＳが入力されたときに、図１３（ｂ）に示すようなエッジ量を出力する。ここで、図１３（ａ）の縦軸は画像信号ＩＳの値であり、横軸は処理している画素の画素位置である。また、図１３（ｂ）の縦軸はエッジ量ＥＧであり、横軸は処理している画素の画素位置である。

エッジ近傍検出部４２は、エッジの近傍領域を検出する。たとえば、エッジ近傍検出部４２は、所定の領域ごとに検出されるエッジ量をローパスフィルタで処理し、エッジ近傍に近づいたときに大きな出力となる近傍度合いを出力する。たとえば、図１３（ｃ）に示すように、エッジ近傍検出部４２は、エッジの近傍に近いほど、大きな出力となるエッジ近傍度を出力する。ここで、また、図１３（ｃ）の縦軸はエッジ近傍度であり、横軸は処理している画素の画素位置である。
平坦検出部４３は、隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合いを検出する。たとえば、図１３（ｄ）に示すように、平坦検出部４３は、図１３（ｂ）のエッジ量の出力から、隣接領域との輝度差を検出し、輝度差が小さいほど大きな平坦度合いを出力する。ここで、また、図１３（ｄ）の縦軸は、平坦度合いを示す平坦度ＦＴであり、横軸は処理している画素の画素位置である。

効果調整信号発生部４４は、図１３（ｅ）に示すように、図１３（ｃ）の近傍度と、図１３（ｄ）の平坦度を掛け合わせ、エッジ近傍度が大きく、平坦度が高いほど視覚効果を弱める効果調整信号ＭＯＤを出力する。ここで、図１３（ｄ）の縦軸は効果調整信号ＭＯＤの出力であり、横軸は処理している画素の画素位置である。また、視覚処理装置１０１において、効果調整信号ＭＯＤの値が大きいほど、視覚効果は強くなる。
これにより、効果調整信号発生部４４は、図１３（ｅ）に示すように、エッジ近傍領域では、視覚効果を弱めるような出力を行い、エッジ近傍領域よりは離れた領域に対しては視覚効果を強めるような出力を生成している。また、効果調整信号発生部４４は、平坦度合いに応じて、エッジ近傍領域では、平坦度合いが大きいほど視覚効果を弱めるような出力を行い、平坦度合いが小さいほど視覚効果を強めるような出力を行う。

これにより、視覚処理装置１０１では、エッジ近傍に対してのみ副作用を低減でき、自然画像に対して優れた視覚処理の効果を有する視覚処理を実現することができる。
つぎに、視覚処理装置１０１の動作について、図１４を用いて説明する。図１４は視覚処理装置１０１の動作を説明するフローチャートである。
図１６に示すように、視覚処理装置１０１に、画像が入力され（Ｓ１０１）、エッジ検出部４１により、画像信号ＩＳから隣接領域ごとの輝度差であるエッジ量を検出する（Ｓ１０２）。
つぎに、視覚処理装置１０１は、エッジ近傍検出部４２により、エッジ量をローパスフィルタにより処理し、エッジ量からの近傍度合いを検出する（Ｓ１０３）。また、視覚処理装置１０１は、平坦検出部４３により、エッジ量から輝度差を検出し、エッジ近傍の平坦度合いを検出する（Ｓ１０４）。

つぎに、視覚処理装置１０１は、効果調整信号発生部４４により、エッジ近傍検出部４２から出力される近傍度と、平坦検出部４３から出力される平坦度とを掛け合わせ、効果調整信号ＭＯＤを生成する（Ｓ１０５）。
つぎに、視覚処理装置１０１は、効果調整部１０２０により、効果調整信号ＭＯＤに応じて画像信号ＩＳとアンシャープ信号ＵＳとの割合を変えて合成した合成信号ＭＵＳを生成する（Ｓ１０６）。
つぎに、視覚処理装置１０１は、視覚処理部３０により、合成信号ＭＵＳに対応して、図１０に示す２次元階調変換特性の曲線のひとつを選択し、画像信号ＩＳを変換する（Ｓ１０７）。これにより、視覚処理装置１０１は、合成信号ＭＵＳに応じて、視覚処理の効果を異ならせるように調整した視覚処理を実行する。

つぎに、視覚処理装置１０１は、つぎに処理する画素があるか否かを判断する（Ｓ１０８）。つぎに処理が必要な画素がない場合は、視覚処理を完了する。一方、つぎに処理が必要な画素がある場合は、ステップＳ１０１に戻り、つぎの画像（画素）が入力される。以後、処理が必要な画素がなくなるまで、Ｓ１０１からＳ１０８までのステップを繰り返し実行する。
以上のように、本発明の実施の形態２の視覚処理装置１０１によれば、エッジ近傍に対してのみ副作用を低減でき、自然画像に対して優れた視覚処理の効果を有する視覚処理を実現することができる。
なお、視覚処理装置１０１は、エッジ量からエッジ近傍度を、入力画像信号ＩＳから平坦度を求め、エッジ近傍度と平坦度とにもとづいて効果調整信号ＭＯＤを生成したが、空間処理部１０のアンシャープ信号ＵＳの変化量から効果調整信号ＭＯＤを生成してもよい。

以下、制御信号発生部４０の変形例によるエッジ近傍の平坦領域を検出する方法について説明する。
図１５、図１６を用いて、アンシャープ信号ＵＳの変化量から効果調整信号ＭＯＤを生成する実施形態について説明する。図１５は制御信号発生部７０の構成を示すブロック図である。
図１５に示すように、制御信号発生部７０は、アンシャープ信号ＵＳの変化量を検出する変化量検出部７１と、検出された変化量に応じて効果調整信号ＭＯＤを出力する効果調整信号発生部７２とを備える。
変化量検出部７１は、アンシャープ信号ＵＳの変化量を検出する。たとえば、変化量をＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなどの１次微分フィルタ、ラプラシアンフィルタなどの２次微分フィルタなどのエッジ検出フィルタ（図示せず）を用いて検出する。

効果調整信号発生部７２は、変化量検出部７１で検出された変化量に応じて、出力を調整する。つまり、効果調整信号発生部７２は、変化量が高いほど効果調整信号ＭＯＤの信号レベル（値）を小さくするように出力する。たとえば、図１６に示すように、検出された変化量が所定の値Ｔｈａ以上得られたときに効果調整信号ＭＯＤの信号レベルを変化させ、所定の値Ｔｈｂまでの範囲で効果調整信号ＭＯＤの信号レベルを減少させる。所定の値Ｔｈｂ以上は効果調整信号ＭＯＤの信号レベルを変化させない。これにより、自然画像に通常含まれるエッジ成分には反応せず、急峻なエッジ領域が入力されたときに効果調整信号ＭＯＤの信号レベルを変化させることができる。ここで、横軸は変化量、縦軸は効果調整信号ＭＯＤの出力（信号レベル）である。なお、出力される効果調整信号ＭＯＤの信号レベルの範囲を「０．０」から「１．０」としたが、視覚処理の強度に応じて「０．２」から「１．０」などに調整するようにしてもよい。また、効果調整信号ＭＯＤの信号レベルが大きいほど、視覚処理装置１０１での視覚処理の効果が強いものになるように、視覚処理装置１０１を構成する。

以上のように、制御信号発生部７０によれば、アンシャープ信号ＵＳの変化量から、エッジ近傍の平坦領域を検出でき、効果調整信号ＭＯＤを生成できる。
なお、画像信号が縮小されているサムネイル画像などの縮小画像からエッジ近傍の平坦領域を検出し、エッジ近傍の平坦度合い、または、アンシャープ信号ＵＳの変化量にもとづいて効果調整信号ＭＯＤを出力するようにしてもよい。
また、画像信号と制御信号発生部４０との間に画像信号を縮小する縮小処理部（図示せず）を備え、縮小処理部で生成された縮小画像からエッジ近傍の平坦度合い、または、アンシャープ信号ＵＳの変化量にもとづいて効果調整信号ＭＯＤを出力するようにしてもよい。
縮小画像を用いることにより、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出できる。つまり、画像信号を平均した後で間引く縮小方法で生成された縮小画像は、ノイズ成分が低減されているので、縮小画像を用いることで、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出することができる。また、縮小画像を用いれば、検出する画素数を削減でき、演算量を削減できる。

また、制御信号発生部４０、制御信号発生部７０の前にローパスフィルタなどを設置し、画像信号の帯域制限を行い、エッジ近傍の平坦領域を検出してもよい。これにより、ノイズ成分を低減でき、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出できる。
（実施の形態３）
本発明の実施の形態２では、効果調整信号ＭＯＤに応じて画像信号ＩＳと周辺画像情報（アンシャープ信号）ＵＳとの割合を変えて合成した合成信号ＭＵＳを出力し、視覚処理部３０は効果調整部１０２０からの合成信号ＭＵＳにしたがって画像信号ＩＳを視覚処理した処理出力ＯＳを出力するようにしたが、本発明の実施の形態３では、効果調整部１０２１によって、視覚処理された処理出力ＯＳと画像信号ＩＳとを効果調整信号に応じて合成した合成出力ＯＵＴを出力するようにした実施形態について、図１７を用いて説明する。

図１７は、本発明の実施の形態３における視覚処理装置１０２の構成を示すブロック図である。
以下、実施の形態２と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図１７において、視覚処理部３０は、画像信号ＩＳと空間処理部１０の出力ＵＳとにもとづいて処理出力ＯＳを出力する。
効果調整部１０２１は、画像信号ＩＳと処理出力ＯＳとを、効果調整信号ＭＯＤに応じて内分演算することで、視覚処理の効果を異ならせる（変更する）。たとえば、効果調整部１０２１からの出力ＯＵＴは、以下の（式３）のように内分演算によって算出される。
ＯＵＴ＝ＯＳ×ＭＯＤ＋ＩＳ×（１．０−ＭＯＤ） （式３）
なお、（式３）は、（式４）のように変形しても実現できる。

ＯＵＴ＝（ＯＳ−ＩＳ）×ＭＯＤ＋ＩＳ （式４）
以上のように、本発明の実施の形態３によれば、効果調整信号ＭＯＤに応じて、処理信号ＯＳと画像信号ＩＳとの割合を変化させて合成した合成信号ＯＵＴを出力でき、視覚処理の効果を異ならせる（変更する）ことができる。
なお、制御信号発生部４０は、本発明の実施の形態２における制御信号発生部７０に置き換えてもよい。これによっても、同様にエッジ近傍領域を検出でき、エッジ近傍での周辺情報の変化量に応じた効果調整信号ＭＯＤを生成できる。
（実施の形態４）
本発明の実施の形態２では、効果調整信号ＭＯＤに応じて画像信号ＩＳと周辺画像情報ＵＳとの割合を変えて合成した合成信号ＭＵＳを出力し、視覚処理部３０は効果調整部１０２０からの合成信号ＭＵＳにしたがって画像信号を視覚処理した処理出力ＯＳを出力するようにしたが、本発明の実施の形態４では、効果調整部１０２２は、効果調整信号ＭＯＤに応じて、視覚処理の効果の異なる視覚処理部３１と視覚処理部３２との出力の割合を変えて合成した合成出力ＯＵＴを出力する実施形態について、図１８を用いて説明する。

図１８は本発明の実施の形態４における視覚処理装置１０３の構成を示すブロック図である。以下、実施の形態２と同様の部分については、同一符号を付し、その詳細な説明は省略する。
効果調整部１０２２は、制御信号発生部４０から出力される効果調整信号ＭＯＤに応じて、視覚処理の強度が異なる第１プロファイル６０がＬＵＴに設定された視覚処理部３１の出力ＯＳＡと、第２プロファイル６１がＬＵＴに設定された視覚処理部３２の出力ＯＳＢとを内分演算により合成し、合成出力ＯＵＴを出力する。なお、外分演算によって合成出力を生成してもよい。このとき、合成出力ＯＵＴは（式５）のようになる。
ＯＵＴ＝ＯＳＡ×ＭＯＤ＋ＯＳＢ×（１．０−ＭＯＤ） （式５）
なお、（式５）は、（式６）のように変形しても実現できる。

ＯＵＴ＝（ＯＳＡ−ＯＳＢ）×ＭＯＤ＋ＯＳＢ （式６）
以上のように、本発明の実施の形態４の視覚処理装置１０３によれば、効果調整信号ＭＯＤに応じて、視覚処理の効果の異なる視覚処理部３１の出力と視覚処理部３２の出力との割合を変えて合成した合成出力を得ることで、視覚効果の度合いを異ならせた視覚処理を行うことができる。
なお、制御信号発生部４０は、本発明の実施の形態２における制御信号発生部７０に置き換えてもよい。これによっても、同様にエッジ近傍領域を検出でき、エッジ近傍での周辺情報の変化量に応じた効果調整信号ＭＯＤを生成できる。
（実施の形態５）
本発明の実施の形態２から本発明の実施の形態４までの視覚処理装置では、２次元階調変換特性にもとづく階調変換値を出力するようにしていたが、本発明の実施の形態５では、ゲイン信号を用いて階調変換を行う場合について、図１９、図２０を用いて説明する。

図１９は本発明の実施の形態５におけるゲイン型視覚処理システム１０４の構成を示すブロック図、図２０は２次元ゲイン特性を説明するための説明図である。以下、実施の形態２と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図１９において、ゲイン型視覚処理システム１０４は、画像信号ＩＳを視覚処理したゲイン信号ＧＡＩＮを出力するゲイン型視覚処理装置１９０５と、ゲイン信号ＧＡＩＮと画像信号ＩＳとを乗算する乗算器１９１１とを備えている。
また、ゲイン型視覚処理装置１９０５は、画像信号ＩＳを視覚処理した処理信号ＯＳを出力する視覚処理装置１０１と、処理信号ＯＳを画像信号ＩＳで除算する除算器１９１２とを備えている。ここで、視覚処理装置１０１は、画像信号ＩＳの出力を視覚処理した階調変換値を出力するもので、この階調変換値を画像信号ＩＳで除算することで、ゲイン型視覚処理装置５を実現できる。

乗算器１９１１は、ゲイン型視覚処理装置１９０５で出力されるゲイン信号ＧＡＩＮと画像信号ＩＳとを乗算し、画像信号ＩＳの出力を視覚処理した階調変換値を出力する。
なお、視覚処理部３０において、図２０に示す、２次元ゲイン特性を持つプロファイルを直接に用いて処理するようにしてもよい。ここで、図２０の縦軸はゲイン出力ＧＮ、横軸は画像信号ＩＳである。図２０に示す２次元ゲイン特性は、図１０に示す２次元階調特性のプロファイルの出力を画像信号ＩＳで除算して得たものと等価である。この２次元ゲイン特性を持つプロファイルを視覚処理装置１０１の視覚処理部３０のＬＵＴに設定してもよい。このように、２次元ゲイン特性のプロファイルを視覚処理部３０のＬＵＴにあらかじめ設定すれば、ゲイン信号ＧＮとゲイン信号ＧＡＩＮは等価となるため、除算器１２を削除してもゲイン型視覚処理装置１９０５を実現することができる。

ゲイン型視覚処理装置１９０５では、入力された画像信号ＩＳの変化に対して処理信号の変化が小さいため、入力信号のビット数を削減でき、回路規模を削減できる。また、視覚処理部３０に２次元ＬＵＴが備えられた場合にはメモリ容量を削減できる。
以上のように、本発明の実施の形態５のゲイン型視覚処理システム１０４によれば、ゲイン信号ＧＡＩＮを制御することで、容易に階調の飽和を抑えることができ、優れた視覚処理を実現することができる。
なお、本発明の実施の形態２における視覚処理装置１０１は、本発明の実施の形態３における視覚処理装置１０２に置き換えてもよい。これによっても、同様にゲイン型視覚処理装置１９０５を実現できる。
また、本発明の実施の形態２における視覚処理装置１０１は、本発明の実施の形態４における視覚処理装置１０３に置き換えてもよい。これによっても、同様にゲイン型視覚処理装置１９０５を実現できる。

以上のように、本発明の実施の形態２から本発明の実施の形態５によれば、急峻なエッジ領域を有する画像が入力された場合であっても、副作用を抑えた視覚処理を実現することができる。
なお、上記実施形態で説明した視覚処理装置は、動画像を取り扱う機器に内蔵あるいは接続し、フレームごと、もしくはフィールドごとの画像から効果調整信号ＭＯＤを生成するようにしてもよい。制御信号発生部４０は、画像信号がフレーム画像のときにはひとつ（１フレーム）以上前のフレーム画像より、もしくは画像信号がフィールド画像のときにはひとつ（１フィールド）以上前のフィールド画像からエッジ情報や平坦度情報を抽出することができる。これにより、視覚処理装置は、フレームの先頭からエッジ情報や平坦度情報に応じた効果調整信号ＭＯＤを使用することができる。また、視覚処理装置は、ひとつ前（１フィールド前）のフィールド画像からエッジ情報や平坦度情報を抽出でき、フィールド画像の先頭からエッジ情報や平坦度情報に応じた効果調整信号ＭＯＤを使用することができる。また、制御信号発生部４０は、ひとつ以上前（１フレーム前）のフレーム画像より、もしくはひとつ（１フィールド）以上前のフィールド画像からエッジ情報や平坦度情報を抽出することで、回路の遅延をあわせることが容易となり回路規模を削減できる。

（実施の形態６）
一般に、自然画像は階調数が多く、自然画像に視覚処理を行うことで局所的な明暗比などを強調した鮮鋭な画像を得ることができる。一方、特殊画像は画像信号の画像中における濃淡が変化する領域の割合が極端に少ないか、または画像信号の画像中における濃淡が変化しない領域の割合が極端に多いといった統計的な情報の偏りをもつ。このような特殊画像では、画像中に平坦な領域が多い。このため、急峻なエッジがある特殊画像に視覚処理を施した場合には、副作用が目立ちやすい。この副作用を抑えるため、視覚処理を弱くすると、自然画像に対しても処理が弱くなり鮮鋭でない画像となってしまう。
よって、特殊画像に対してのみ副作用を抑えることで、自然画像に対して優れた視覚処理の効果を実現することができる。

本発明の実施の形態６における視覚処理装置は、画像信号から統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りの度合いにもとづいて効果調整信号を生成し、生成された効果調整信号に応じて視覚処理の効果を異ならせる（変更する）ように調整するものである。
ここで、視覚処理とは、人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値（明るさ）との対比に応じて出力信号の値を決定する処理である。視覚処理は、逆光補正、ニー処理、Ｄレンジ圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む）などに適用される。
また、本発明の実施の形態では、ＹＣｂＣｒ色空間、ＹＵＶ色空間、Ｌａｂ色空間、Ｌｕｖ色空間、ＹＩＱ色空間、ＹＰｂＰｒ色空間の輝度成分Ｙまたは明度成分Ｌを輝度信号と定義する。以下、輝度信号を画像信号として説明する。

本発明の実施の形態６である視覚処理装置について、図２１〜図２８を用いて説明する。図１は、本発明の実施の形態６における視覚処理装置１００１の構成を示すブロック図である。
図２１において、本発明の実施の形態６における視覚処理装置１００１は、入力された画像信号ＩＳから周辺画像情報（アンシャープ信号）ＵＳを抽出する空間処理部１０と、画像信号ＩＳから統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて視覚処理の効果を異ならせるための特殊画像用効果調整信号ＤＳを出力する特殊画像検出部２１４０と、特殊画像用効果調整信号ＤＳをフレーム間で連続的に変化させた効果調整信号ＭＯＤを出力する連続変化処理部５０と、効果調整信号ＭＯＤに応じて画像信号ＩＳと周辺画像情報ＵＳとの割合を変えて合成した合成信号ＭＵＳを出力する効果調整部１０２０と、効果調整部１０２０からの合成信号ＭＵＳにしたがって画像信号ＩＳを視覚処理した処理出力ＯＳを出力する視覚処理部３０とを備えている。

この構成により、特殊画像検出部２１４０は、特殊画像が持つ情報の偏り度合いに応じた特殊画像用効果調整信号ＤＳを出力できる。また、効果調整部１０２０は、特殊画像用効果調整信号ＤＳを連続的に変化させた効果調整信号ＭＯＤにより、視覚処理部３０での視覚処理の効果を異ならせるための合成信号ＭＵＳを生成できる。また、視覚処理部３０は、効果調整部１０２０から出力される合成信号ＭＵＳに応じて画像信号ＩＳを階調変換できる。
これにより、特殊画像が入力された場合であっても、視覚処理装置１００１は特殊画像を検出でき、特殊画像に対して視覚処理部３０は視覚処理の効果を異ならせ、副作用を抑えることができる。
以下、視覚処理装置１００１の各機能部について説明する。

空間処理部１０は、画像信号ＩＳから対象画素の値と対象画素の周辺領域にある画素（以下、「周辺画素」という）の値とを抽出し、抽出された画素の値を用いて画像信号ＩＳに対してフィルタ処理を行う。
たとえば、画像信号ＩＳをローパスフィルタにより処理することで、画像信号ＩＳからアンシャープ信号ＵＳを生成する。アンシャープ信号ＵＳは、以下のような演算により生成する。
ＵＳ＝（Σ［Ｗｉｊ］×［Ａｉｊ］）／（Σ［Ｗｉｊ］）
ここで、［Ｗｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の重み係数であり、［Ａｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の値である。また、「Σ」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味している。

なお、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられてもよいし、対象画素から距離が大きいほど小さい重み係数を与えるようにしてもよい。また、周辺画素の領域サイズは効果に応じてあらかじめ設定される大きさであり、所定のサイズより大きくすると視覚効果を高めることができる。たとえば、対象とする画像の大きさが縦１０２４画素および横７６８画素であれば、縦横がそれぞれ８０画素以上の領域からアンシャープ信号ＵＳを生成することにより、それぞれ縦横３画素程度の局所領域に比較してより視覚効果を高めることができる。
また、ローパスフィルタとしては、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の空間フィルタ、あるいはＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の空間フィルタなどを用いてもよい。

つぎに、効果調整部１０２０は、連続変化処理部５０から出力される効果調整信号ＭＯＤに応じて画像信号ＩＳとアンシャープ信号ＵＳとを補間処理により合成し、合成信号ＭＵＳを出力する。合成信号ＭＵＳは、たとえば、効果調整信号ＭＯＤに応じて、以下の（式７）のように内分演算される。連続変化処理部５０については後述する。
ＭＵＳ＝ＵＳ×ＭＯＤ＋ＩＳ×（１．０−ＭＯＤ） （式７）
ここで、効果調整信号ＭＯＤの値は「０．０」から「１．０」までの範囲で変化し、効果調整信号ＭＯＤの値が「０．０」で視覚処理の効果なし、効果調整信号ＭＯＤの値が「１．０」で視覚処理の効果が最大となる。なお、（式７）は、（式８）のように変形させることもでき、同様に、合成信号ＭＵＳを生成できる。
ＭＵＳ＝（ＵＳ−ＩＳ）×ＭＯＤ＋ＩＳ （式８）
つぎに、視覚処理部３０は、効果調整部１０２０からの合成信号ＭＵＳにしたがって、画像信号ＩＳを階調変換する。

視覚処理部３０は、たとえば、図２２に示す、２次元階調変換特性にもとづいて階調変換を行う。ここで、２次元階調変換とは、合成信号ＭＵＳと画像信号ＩＳとの２つの入力に対して出力の値が決定される階調変換をいう。視覚処理部３０は、２次元階調変換特性にもとづいて画像信号ＩＳと合成信号ＭＵＳとに対して処理信号ＯＳを出力する。この階調変換特性よって様々な視覚効果を出すことができる。
図２２を用いて、２次元階調変換特性を説明する。図２２は、２次元階調変換特性を説明するための説明図である。ここで、横軸は入力された画像信号ＩＳ、縦軸は変換された処理信号ＯＳの出力である。
図２２に示すように、２次元階調変換は、合成信号ＭＵＳ０からＭＵＳｎの信号レベルに応じて所定の階調変換特性を持つ。したがって、画像信号ＩＳの画素値が８ビットの値とすると、２５６段階に分けられた画像信号ＩＳの値に対する出力信号ＯＳの画素値が所定の２次元階調変換特性により決定される。階調変換特性は所定のガンマ変換特性を持つ階調変換曲線であり、合成信号ＭＵＳの添え字について、出力が単調減少する関係にある。なお、合成信号ＭＵＳの添え字について、出力が一部分単調減少でない箇所があったとしても、実質的に単調減少であればよい。また、図２２に示したように、２次元階調変換特性において、すべての画像信号ＩＳの明度値に対して、（ＭＵＳ＝ＭＵＳ０の場合の出力値）≧（ＭＵＳ＝ＭＵＳ１の場合の出力値）≧・・・≧（ＭＵＳ＝ＭＵＳｎの場合の出力値）の関係を満たしている。

図２２に示す２次元階調変換特性によれば、視覚処理部３０は、入力された画像信号ＩＳが値「ａ」に対して、周囲領域の明度値が小さいときにＭＵＳ０を選択することで処理出力ＯＳの値は「Ｐ」となり、逆に、周囲領域の明度値が大きいときにＭＵＳｎを選択することで処理出力ＯＳの値は「Ｑ」となる。このように、入力された画像信号ＩＳが値「ａ」であっても、周囲領域の明度値の変化によって処理出力ＯＳは値「Ｐ」から値「Ｑ」まで大きく変化させることができる。これにより、暗部のコントラストを合成信号ＭＵＳに応じて強調することができる。
一方、視覚処理の効果をなくすため、合成信号ＭＵＳ＝画像信号ＩＳとなるようにすれば、図２２に示す、曲線２の階調変換特性を持たせることができる。曲線２の階調変換特性では、画像全体の明るさ調整（ガンマ変換）ができるが、局所的なコントラストを高めるなどの視覚効果はない。

なお、この２次元階調変換特性を変更することで、様々な視覚処理の効果を出すことができ、ニー処理、ＤＲ圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む）などに適用可能となる。
つぎに、視覚処理部３０において、合成信号ＭＵＳにもとづいて視覚処理の効果を異ならせたときの処理出力ＯＳについて図２３を用いて説明する。図２３は、処理信号ＯＳの出力を説明するための説明図である。
図２３（ａ）において、横軸は処理する画素位置、縦軸は合成信号ＭＵＳの出力である。
合成信号ＭＵＳは、たとえば、効果調整信号ＭＯＤの値を「０．５」としたときには、画像信号ＩＳとアンシャープ信号ＵＳの中間的な出力となる。

このとき、図２３（ｂ）に示すように、画像信号ＩＳのみにもとづいて視覚処理した処理信号ＯＳをＯＳ（ＩＳ，ＩＳ）とし、画像信号ＩＳとアンシャープ信号ＵＳとにもとづいて視覚処理の処理信号ＯＳをＯＳ（ＩＳ，ＵＳ）とすれば、画像信号ＩＳと合成信号ＭＵＳにしたがって視覚処理された処理信号ＯＳであるＯＳ（ＩＳ，ＭＵＳ）は、ＯＳ（ＩＳ，ＩＳ）とＯＳ（ＩＳ，ＵＳ）との中間的な出力となる。
よって、効果調整信号ＭＯＤの値が「１．０」のとき、合成信号ＭＵＳ＝ＵＳとなり、視覚処理の「効果が最大」である処理信号ＯＳ（ＩＳ，ＵＳ）を出力する。一方、効果調整信号ＭＯＤの値が「０．０」のとき、合成信号ＭＵＳ＝ＩＳとなり、視覚処理の「効果なし」である処理信号ＯＳ（ＩＳ，ＩＳ）を出力する。
このように、視覚処理部３０は、合成信号ＭＵＳに応じて局所的なコントラストの強調効果を強めたり、弱めたりすることができる。これにより、画像全体の明るさを変換するだけの処理の効果から、局所領域でのコントラストを周囲の明るさで異ならせるように（変化させるように）した処理の効果まで、効果が異なる様々な視覚効果を、視覚処理装置１００１において実現することができる。

なお、視覚処理装置１００１において、２次元階調変換特性を変更することで、ニー処理、ＤＲ圧縮処理、色処理なども実現することができる。
また、視覚処理部３０は、２次元ＬＵＴを有してもよい。この場合、視覚処理部３０は、２次元ＬＵＴに、図２２に示す、特性データ（以下、「プロファイル」という）を設定することで、階調変換する。
また、視覚処理部３０は、演算回路によって視覚処理を行うようにしてもよい。特に、視覚処理部３０の２次元ＬＵＴに、簡易な直線によって近似可能な特性であるプロファイルが設定される場合、２次元ＬＵＴのテーブルをなくすことができ、視覚処理装置１００１の回路規模を削減することができる。
つぎに、図２４、図２５、図２６および図２７を用いて、特殊画像検出部２１４０について説明する。ここでは、特殊画像の情報の偏りを、画像中における濃淡が変化する領域の割合から検出する場合について説明する。また、濃淡の変化はエッジ成分より検出する。

図２４は、特殊画像検出部２１４０の構成を示すブロック図、図２５は特殊画像を説明するための説明図、図２６はエッジ画素を説明するための説明図、図２７は特殊画像用効果調整信号ＤＳの出力を説明するための説明図である。
図２４に示すように、特殊画像検出部２１４０は、画像信号ＩＳからエッジ量を画素ごとに検出するエッジ検出部２１４１と、エッジ量が所定の値以上であるエッジ画素を判定するエッジ量判定部２１４２と、画像信号ＩＳの全画素数に対するエッジ画素数の割合を算出するエッジ密度算出部２１４３と、エッジ密度算出部２１４３で算出された割合に応じて特殊画像用効果調整信号ＤＳを出力する効果調整信号発生部２１４４とを備えている。
これにより、視覚処理装置１００１において、階調レベル数が極端に少なく、エッジ成分が描画画像の輪郭領域に限定される特殊画像を検出でき、その情報の偏りを検出することができる。

また、特殊画像検出部２１４０は、画像信号がフレーム画像のときには、１フレーム以上前のフレーム画像より統計的な情報の偏りを検出し、画像信号がフィールド画像のときには、１フィールド以上前のフィールド画像から統計的な情報の偏りを検出するようにする。これにより、視覚処理装置１００１は、フレームまたはフィールドの先頭から特殊画像の情報の偏りに応じた特殊画像用効果調整信号ＤＳを使用することができる。
たとえば、特殊画像検出部２１４０が、図２５に示す特殊画像２００を処理する場合について、説明する。図２５に示すように、特殊画像２００は、背景領域２０１、パターングループ２０２、パターングループ２０３およびパターングループ２０４を有し、いずれの領域も濃淡値が一定または変動が小さいものとする。各グループは、形状は異なるが、濃淡値がほぼ同じものとする。

エッジ検出部２１４１は、画像信号ＩＳから画素ごとにエッジ量を検出する。エッジ検出部２１４１は、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなどの１次微分フィルタ、ラプラシアンフィルタなどの２次微分フィルタなどのエッジ検出フィルタ（図示せず）を用いてエッジ量を検出する。
エッジ量判定部２１４２は、あらかじめ設定された閾値とエッジ量とを画素ごとに比較し、エッジ量が所定の閾値以上のときにエッジ画素と判定する。
たとえば、エッジ量判定部２１４２により、特殊画像２００を処理することで、図２６に示すような出力３００が得られる。
図２６において、エッジ画素は、エッジ画素３０１、エッジ画素３０２およびエッジ画素３０３であり、特殊画像２００の図形パターンの輪郭領域に発生する。

つぎに、図２４に戻り、エッジ密度算出部２１４３は、画像信号ＩＳの全画素数に対するエッジ画素数の割合であるエッジ密度を、以下のように算出する。
エッジ密度＝エッジ画素数÷全画素数
ここで、エッジ密度は、画像信号ＩＳがフレーム画像であればフレーム内の全画素に対するエッジ画素数の割合とする。また、画像信号ＩＳがフィールド画像であればフィールド内の全画素に対するエッジ画素数の割合とする。
効果調整信号発生部２１４４は、エッジ密度に応じて、出力を調整する。つまり、効果調整信号発生部２１４４は、エッジ密度が大きくなるほど特殊画像用効果調整信号ＤＳの信号レベル（値）が大きくなるように出力する。たとえば、図２７に示すように、エッジ密度が所定の値Ｔｈａ以上から所定の値Ｔｈｂまでの範囲で特殊画像用効果調整信号ＤＳの信号レベルを増加させる。このように閾値を設けることにより、特殊画像が含まれる閾値「Ｔｈａ」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号ＤＳを生成できる。一方、特殊画像でない通常の画像が含まれる閾値「Ｙｈｂ」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号ＤＳを生成できる。ここで、横軸はエッジ密度、縦軸は特殊画像用効果調整信号ＤＳの出力である。なお、出力される特殊画像用効果調整信号ＤＳの信号レベルの範囲を「０．０」から「１．０」としたが、視覚処理の強度に応じて「０．２」から「１．０」などに調整するようにしてもよい。また、特殊画像用効果調整信号ＤＳの信号レベルが大きいほど視覚処理の効果が強いものになるように、視覚処理装置１００１を構成する。

連続変化処理部５０は、特殊画像用効果調整信号ＤＳがフレーム単位で出力されるときはフレーム間で、もしくは特殊画像用効果調整信号ＤＳがフィールド単位で出力されるときはフィールド間で、連続的に効果調整信号ＭＯＤを変化させるように動作する。たとえば、連続変化処理部５０は、特殊画像用効果調整信号ＤＳを一時記憶するレジスタなどの記憶部（図示せず）を備え、新たなフレームで特殊画像検出部２１４０から出力される特殊画像用効果調整信号ＤＳと一時記憶した特殊画像用効果調整信号ＤＳとを内分演算することで、効果調整信号ＭＯＤを生成し、その生成した効果調整信号ＭＯＤを記憶部に記憶する。記憶部には、初期値として、最初に検出された特殊画像用効果調整信号ＤＳを記憶する。連続変化処理部５０は、この内分演算により生成された効果調整信号ＭＯＤを出力する。これにより、効果調整信号ＭＯＤをフレーム間で急激に変化させないようにしている。また、連続変化処理部５０は、ＩＩＲ型のフィルタなどにより実現することができる。

つぎに、視覚処理装置１００１の動作について、図２８を用いて説明する。図２８（ａ）は視覚処理装置１００１の動作を説明するフローチャートである。図２８（ｂ）は、連続変化処理部５０の構成の一例を示す図である。
図２８（ａ）、（ｂ）に示すように、画像信号ＩＳがフレーム画像の場合には、１フレーム以上前のフレーム画像から統計的な情報の偏りを検出するため、複数のフレーム画像が視覚処理装置１００１に入力される。もしくは、画像信号ＩＳがフィールド画像の場合には、１フィールド以上前のフィールド画像から統計的な情報の偏りを検出するため、複数のフィールド画像が視覚処理装置１００１に入力される（Ｓ２０１）。視覚処理装置１００１に、複数のフレーム画像もしくは複数のフィールド画像が入力された後、特殊画像検出部２１４０は、検出対象となるフレーム画像もしくはフィールド画像である画像信号ＩＳから特殊画像を検出し、検出された特殊画像の統計的な偏りに応じた特殊画像用効果調整信号ＤＳを出力する（Ｓ２０２）。

つぎに、視覚処理装置１００１は、効果調整信号ＭＯＤがフレーム間で連続的に変化するように補間処理を行う。視覚処理装置１００１は、連続変化処理部５０により、一時記憶するレジスタなどの記憶部５００１に一時記憶した、１フレーム前の効果調整信号ＭＯＤ１を読み出し（Ｓ２０３）、ステップＳ２０２で検出した特殊画像用効果調整信号ＤＳと、ステップＳ２０３で読み出した効果調整信号ＭＯＤ１とを内分演算などにより補間し、その補間処理により生成された効果調整信号ＭＯＤを連続変化処理部５０から出力する（Ｓ２０４）。これにより、処理されたフレーム画像間で生じる急激な変化を抑え、視覚効果の違いによって生じる画像のちらつきなどを抑えることができる。
つぎに、視覚処理装置１００１は、特殊画像用効果調整信号ＤＳと効果調整信号ＭＯＤ１とを補間することで生成された効果調整信号ＭＯＤを記憶部５００１に一時記憶する（Ｓ２０５）。この補間処理が内分演算によるものである場合、その内分の比は、あらかじめ与えられるものである。

つぎに、視覚処理装置１００１は、効果調整部１０２０により、効果調整信号ＭＯＤに応じて画像信号ＩＳと空間処理部１０からのアンシャープ信号ＵＳとを合成した合成信号ＭＵＳを生成する（Ｓ２０６）。
視覚処理装置１００１は、視覚処理部３０により、合成信号ＭＵＳに応じて図２２に示す２次元階調変換特性の曲線のひとつを選択し、画像信号ＩＳを変換する（Ｓ２０７）。
つぎに、視覚処理装置１００１は、つぎに処理するフレーム画像があるか否かを判断する（Ｓ２０８）。つぎに処理が必要なフレーム画像がない場合は、視覚処理を完了する。一方、つぎに処理が必要なフレーム画像がある場合は、ステップＳ２０１に戻り、つぎのフレーム画像を入力する。以後、処理が必要なフレームがなくなるまで、Ｓ２０１からＳ２０８までのステップを繰り返し実行する。

なお、以上、効果調整信号ＭＯＤがフレーム間で連続的に変化するように補間処理を行う場合について説明したが、補間処理の対象は、フレーム間に限らず、フィールド間であってもよい。
以上のように、本発明の実施の形態６の視覚処理装置１００１によれば、特殊画像が入力された場合であっても、画像中のエッジを検出し、検出されたエッジ量にもとづいて視覚処理の効果を調整するので、自然画像では視覚効果を高めながら、特殊画像では副作用を抑えることができる。
なお、統計的な偏りを検出する方法は、前述した特殊画像検出部２１４０の方法に限定されない。特殊画像は、画像信号ＩＳの画像中における濃淡が変化する領域の割合が極端に少ないか、または画像信号ＩＳの画像中における濃淡が変化しない領域の割合が極端に多いといった統計的な情報の偏りをもつ。

以下、統計的な偏りを検出する方法について、他の変形例について説明する。
まず、変形例１に係る特殊画像検出部７００について説明する。変形例１に係る特殊画像検出部７００では、画像信号ＩＳの画像中における濃淡が変化しない領域の割合から統計的な情報の偏りを検出する。濃淡が変化しない領域は、画像の平坦度合いにより検出することができる。この平坦度合いを検出する方法として、画像信号ＩＳから階調数の偏りを検出する方法を採る。画像を構成する各画素のとりうる階調レベル数（階調数）が極端に少ない画像（各画素がとる階調レベル数の分布が極端に狭い画像）では、濃淡が一定である領域が広いため、画像中における平坦度合いは高くなる。この情報の偏りから特殊画像の度合いを求めることができる。
図２９、図３０および図３１を用いて、画像信号ＩＳから階調数の偏りを検出する場合の変形例１について説明する。図２９は変形例１の特殊画像検出部７００の構成を示すブロック図、図３０は変形例１の頻度検出部７０１で検出される頻度分布を説明するための説明図、図３１は変形例１の特殊画像検出部７００から出力される特殊画像用効果調整信号ＤＳを説明するための説明図である。

図２９に示すように、特殊画像検出部７００は、画像信号から階調レベルごとの頻度を検出する頻度検出部７０１と、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを判定する頻度判定部７０２と、頻度判定部７０２により頻度が大きいと判定された階調レベル数を検出する階調数検出部７０３と、階調数検出部７０３において検出された階調レベル数に応じて効果調整信号を出力する効果調整信号発生部７０４とを備えている。
頻度検出部７０１は、ヒストグラム法により、画像信号から階調レベルごとの頻度を検出する。たとえば、画像信号が２５６階調であれば、「０」から「２５５」までの各階調レベルの出現頻度を検出する。
頻度判定部７０２は、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを検出する。

図３０に示すように、頻度判定部７０２は、階調レベルＬａにおいて頻度４０１が所定の閾値Ｔｈより大きいことを判定する。同様に、頻度判定部７０２は、階調レベルＬｂ、階調レベルＬｃおよび階調レベルＬｄにおいて、頻度４０２、頻度４０３および頻度４００がそれぞれ所定の閾値Ｔｈより大きいことを判定する。ここで、図３０の横軸は階調レベル、縦軸は頻度である。
階調数検出部７０３は、頻度判定部７０２で頻度が大きいと判定された階調レベルの数を計数する。
効果調整信号発生部７０４は、計数された階調レベル数に応じて、階調数が大きくなるほど特殊画像用効果調整信号ＤＳの信号レベル（値）を大きくするようにして、特殊画像用効果調整信号ＤＳを出力する。たとえば、図３１に示すように、計数された階調レベル数が所定の値Ｔｈｃ以上から所定の値Ｔｈｄまでの範囲で特殊画像用効果調整信号ＤＳの信号レベル（値）を増加させる。

このように閾値を設けることにより、効果調整信号発生部７０４は、特殊画像が含まれる閾値「Ｔｈｃ」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号ＤＳを生成できる。一方、効果調整信号発生部７０４は、特殊画像でない通常の画像が含まれる閾値「Ｔｈｄ」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号ＤＳを生成できる。図３１において、横軸は階調レベル数、縦軸は特殊画像用効果調整信号ＤＳの出力である。なお、出力される特殊画像用効果調整信号ＤＳの値の範囲を「０．０」から「１．０」としたが、視覚処理の強度に応じて「０．２」から「１．０」などに調整するようにしてもよい。また、特殊画像用効果調整信号ＤＳの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置１００１を構成する。
以上のように、変形例１の特殊画像検出部７００によれば、画像信号から画像情報の偏りに応じて特殊画像の度合いを検出でき、特殊画像検出部２１４０を特殊画像検出部７００に置き換えることが可能となる。

つぎに、変形例２に係る特殊画像検出部８０について説明する。変形例２に係る特殊画像検出部８０では、画像信号ＩＳの画像中における濃淡が変化しない領域の割合から統計的な情報の偏りを検出する。濃淡が変化しない領域は、画像の平坦度合いにより検出することができる。この平坦度合いを検出する方法として、画像信号ＩＳから隣接画素との輝度差が所定の値以下となる類似画素が連続している連続長を検出し、検出された複数の連続長を平均した平均連続長を検出する方法を採る。これにより、特殊画像の度合いを検出することができる。特殊画像では、濃淡が一定である領域が広いため、画像中における平坦度合いは高くなり、類似輝度の画素が多く連続する。つまり、統計的な情報の偏りから特殊画像の度合いを検出できる。
図３２、図３３および図３４を用いて、画像信号から類似した輝度信号が連続するときの連続長を検出する変形例２の場合について説明する。

図３２は変形例２の特殊画像検出部８０の構成を示すブロック図、図３３は変形例２の連続長を説明するための説明図、図３４は変形例２の特殊画像用効果調整信号ＤＳを説明するための説明図である。
図３２に示すように、変形例２の特殊画像検出部８０は、画像信号ＩＳから隣接画素との輝度差が所定の値以下となる類似画素を検出する類似輝度検出部８１と、類似画素が連続している連続長を検出する連続長検出部８２と、連続長検出部８２で検出された複数の連続長を平均することで平均連続長を算出する平均連続長算出部８３と、平均連続長に応じて特殊画像用効果調整信号ＤＳを出力する効果調整信号発生部８４とを備えている。
類似輝度検出部８１は、画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する。所定の値は、あらかじめ実験的に求められる値であり、求められる機器の画質仕様により決定される。

連続長検出部８２は、類似画素が連続している連続長を検出する。たとえば、図３３に示すように、縦方向５０３、縦方向５０４および縦方向５０５などの縦方向と、横方向５００、横方向５０１および横方向５０２などの横方向とにおいて、類似画素が連続している画素数を連続長として検出する。
平均連続長算出部８３は、連続長検出部８２で検出された複数の連続長を平均することで平均連続長を算出する。
効果調整信号発生部８４は、平均連続長に応じて、平均連続長が長くなるほど特殊画像用効果調整信号ＤＳの信号レベル（値）を小さくするように出力する。たとえば、図３４に示すように、検出された平均連続長が所定の値「Ｔｈｅ」以上から所定の値「Ｔｈｆ」までの範囲で特殊画像用効果調整信号ＤＳの信号レベル（値）を減少させる。ここで、横軸は平均連続長、縦軸は特殊画像用効果調整信号ＤＳの出力である。

このように閾値を設けることにより、効果調整信号発生部８４は、特殊画像でない通常の画像が含まれる閾値「Ｔｈｅ」以下の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号ＤＳを生成できる。一方、効果調整信号発生部８４は、特殊画像が含まれる閾値「Ｔｈｆ」以上の場合は視覚効果を完全になくした特殊画像用効果調整信号ＤＳを生成できる。
なお、出力される特殊画像用効果調整信号ＤＳの値の範囲を「０．０」から「１．０」としたが、視覚処理の強度に応じて「０．２」から「１．０」などに調整するようにしてもよい。また、特殊画像用効果調整信号ＤＳの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置１００１を構成する。
以上のように、変形例２の特殊画像検出部８０によれば、画像信号から画像情報の偏りを有する特殊画像の度合いを検出でき、特殊画像検出部２１４０を特殊画像検出部８０に置き換えることが可能となる。

つぎに、変形例３に係る特殊画像検出部９０について説明する。変形例３では、画像信号ＩＳの画像中における濃淡が変化する領域の割合から統計的な情報の偏りを検出する。濃淡が変化する領域は、画像中のエッジ成分により検出することができる。ここでは、画像中のエッジ成分として、分割された複数のブロックから高周波成分を含む高周波ブロックを検出し、分割されたブロックの全数に対する高周波ブロックの数の割合を検出することで、特殊画像である度合いを検出する。
図３５、図３６および図３７を用いて、高周波ブロックの数の割合を検出する変形例３の場合について説明する。図３５は変形例３の特殊画像検出部９０の構成を示すブロック図、図３６は変形例３のブロック画像を説明するための説明図、図３７は変形例３の特殊画像用効果調整信号ＤＳを説明するための説明図である。

図３５に示すように、変形例３の特殊画像検出部９０は、複数のブロックに分割された画像信号ＩＳから高周波成分を含む高周波ブロックを検出する高周波ブロック検出部９１と、全ブロック数に対する高周波ブロック数の割合を検出する高周波ブロック密度検出部９２と、高周波ブロック密度検出部９２で検出されたブロック数の割合に応じて効果調整信号を出力する効果調整信号発生部９３とを備える。
高周波ブロック検出部９１は、入力された画像信号がＭＰＥＧやＪＰＥＧなどの符号化された圧縮画像である場合、符号化ブロックごとに高周波成分を検出することができる。たとえば、符号化ブロックごとのＡＣ係数を検出することで高周波成分を抽出できる。
高周波ブロック検出部９１は、所定の値以上の高周波成分が検出されたときのブロックを高周波ブロックと判断する。

図３６に示すように、たとえば、特殊画像２００が複数のブロックに分割され、ブロックごとに高周波成分を検出する場合について説明する。
高周波ブロック検出部９１は、ブロック６００には画像パターンのエッジが含まれるため、高周波成分を検出し、「高周波ブロックである」と判定する。一方、高周波ブロック検出部９１は、ブロック６０１、ブロック６０２はほぼ一定の濃淡値であるため、高周波成分を検出できず、それぞれを「高周波ブロックでない」と判定する。以下、分割されたすべてのブロックに対して、同様に判定を行う。
高周波ブロック密度検出部９２は、複数に分割された全ブロック数に対する高周波ブロック数の割合（以下、「ブロック密度」という）を検出する。
効果調整信号発生部９３は、ブロック密度に応じて、ブロック密度が高いほど特殊画像用効果調整信号ＤＳの値を大きくするようにして、特殊画像用効果調整信号ＤＳを出力する。たとえば、図３７に示すように、検出されたブロック密度が所定の値Ｔｈｇ以上から所定の値Ｔｈｈまでの範囲で特殊画像用効果調整信号ＤＳの値を増加させる。このように閾値を設けることにより、効果調整信号発生部９３は、特殊画像が含まれる閾値「Ｔｈｇ」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号ＤＳを生成できる。一方、効果調整信号発生部９３は、特殊画像でない通常の画像が含まれる閾値「Ｔｈｈ」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号ＤＳを生成できる。ここで、横軸はブロック密度、縦軸は特殊画像用効果調整信号ＤＳの出力である。なお、出力される特殊画像用効果調整信号ＤＳの値の範囲を「０．０」から「１．０」としたが、視覚処理の強度に応じて「０．２」から「１．０」などに調整するようにしてもよい。また、特殊画像用効果調整信号ＤＳの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置１００１を構成する。

以上のように、変形例３の特殊画像検出部９０によれば、画像信号ＩＳから画像情報の偏りを有する特殊画像の度合いを検出でき、特殊画像検出部２１４０を特殊画像検出部９０に置き換えることが可能となる。
なお、画像信号が縮小されているサムネイル画像などの縮小画像から統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りにもとづいて効果調整信号を出力するようにしてもよい。
また、画像信号と特殊画像検出部２１４０、７００、８０または９０との間に画像信号を縮小する縮小処理部（図示せず）を備え、縮小処理部で生成された縮小画像から統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りにもとづいて効果調整信号を出力するようにしてもよい。

縮小画像を用いることにより、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出できる。つまり、画像信号を平均した後で間引く縮小方法で生成された縮小画像は、ノイズ成分が低減されているので、ノイズの影響を抑えながら統計的な情報の偏りを検出することができる。また、縮小画像を用いれば、検出する画素数を削減でき、演算量を削減できる。
（実施の形態７）
本発明の実施の形態６に係る視覚処理装置１００１では、効果調整信号ＭＯＤに応じて画像信号ＩＳと周辺画像情報（アンシャープ信号）ＵＳとの割合を変えて合成した合成信号ＭＵＳを出力し、視覚処理部３０は効果調整部１０２０からの合成信号ＭＵＳにしたがって画像信号を視覚処理した処理出力ＯＳを出力するようにしたが、本発明の実施の形態７に係る視覚処理装置１００２では、効果調整部２０２１によって、視覚処理された処理出力ＯＳと画像信号ＩＳとを効果調整信号に応じて合成した合成出力ＯＵＴを出力するようにする。本発明の実施の形態７に係る視覚処理装置１００２について、図３８を用いて説明する。

図３８は本発明の実施の形態７における視覚処理装置１００２の構成を示すブロック図である。以下、実施の形態６と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図３８において、視覚処理部３０は、画像信号ＩＳと空間処理部１０の出力ＵＳとにもとづいて処理出力ＯＳを出力する。
効果調整部２０２１は、画像信号ＩＳと処理出力ＯＳとを、効果調整信号ＭＯＤに応じて内分演算することで、視覚処理の効果を異ならせる。たとえば、効果調整部２０２１からの出力ＯＵＴは、以下の（式９）のように内分演算によって算出される。
ＯＵＴ＝ＯＳ×ＭＯＤ＋ＩＳ×（１．０−ＭＯＤ） （式９）
なお、（式９）は、（式１０）のように変形しても実現できる。

ＯＵＴ＝（ＯＳ−ＩＳ）×ＭＯＤ＋ＩＳ （式１０）
以上のように、本発明の実施の形態７の視覚処理装置１００２によれば、効果調整信号ＭＯＤに応じて、処理信号ＯＳと画像信号ＩＳとの割合を変化させて合成した合成信号ＯＵＴを出力でき、視覚処理の効果を異ならせることができる。
なお、特殊画像検出部２１４０を本発明の実施の形態６の特殊画像検出部７００に置き換えてもよい。これによっても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号ＭＯＤを生成できる。
また、特殊画像検出部２１４０を本発明の実施の形態６の特殊画像検出部８０に置き換えてもよい。これによっても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号ＭＯＤを生成できる。

また、特殊画像検出部２１４０を本発明の実施の形態６の特殊画像検出部９０に置き換えてもよい。これによっても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号ＭＯＤを生成できる。
（実施の形態８）
本発明の実施の形態６に係る視覚処理装置１００１では、効果調整信号ＭＯＤに応じて画像信号ＩＳと周辺画像情報（アンシャープ信号）ＵＳとの割合を変えて合成した合成信号ＭＵＳを出力し、視覚処理部３０は効果調整部１０２０からの合成信号ＭＵＳにしたがって画像信号を視覚処理した処理出力ＯＳを出力するようにしたが、本発明の実施の形態８に係る視覚処理装置１００３では、効果調整部２０２２は、効果調整信号ＭＯＤに応じて視覚処理の効果の異なる複数のプロファイルそれぞれからの出力の割合を変えて合成したプロファイル（以下、「合成プロファイル」という）を作成し、視覚処理部３０のＬＵＴに設定するようにした実施形態について、図３９を用いて説明する。

図３９は本発明の実施の形態８における視覚処理装置１００３の構成を示すブロック図である。以下、実施の形態６と同様の部分については、同一符号を付し、その詳細な説明は省略する。
効果調整部２０２２は、視覚処理の強度が異なる第３プロファイル６０００と第４プロファイル６００１とを効果調整信号ＭＯＤに応じて内分演算により合成し、合成プロファイルを作成して視覚処理部３０のＬＵＴに設定する。なお、外分演算によって合成プロファイルを生成してもよい。
視覚処理部３０は、ＬＵＴに設定された合成プロファイルにより、視覚処理の強弱、視覚効果の度合いを異ならせた視覚処理を行うことができる。
以上のように、本発明の実施の形態８の視覚処理装置１００３によれば、効果調整信号ＭＯＤに応じて視覚処理の強度、効果が異なる複数のプロファイルを合成し、合成プロファイルを視覚処理部３０のＬＵＴに設定することで、視覚処理の効果を異ならせることができる。

なお、特殊画像検出部２１４０を本発明の実施の形態６における特殊画像検出部７００に置き換えてもよい。これによっても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号ＭＯＤを生成できる。
また、特殊画像検出部２１４０を本発明の実施の形態６における特殊画像検出部８０に置き換えてもよい。これによっても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号ＭＯＤを生成できる。
また、特殊画像検出部２１４０を本発明の実施の形態６における特殊画像検出部９０に置き換えてもよい。これによっても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号ＭＯＤを生成できる。
（実施の形態９）
本発明の実施の形態６から本発明の実施の形態８までの視覚処理装置では、２次元階調変換特性にもとづく階調変換値を出力するようにしていたが、本発明の実施の形態９では、ゲイン出力を用いて階調変換を行うゲイン型視覚処理システム１００４について、図４０、図４１を用いて説明する。

図４０は本発明の実施の形態９におけるゲイン型視覚処理システム１００４の構成を示すブロック図、図４１は２次元ゲイン特性を説明するための説明図である。以下、実施の形態６と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図４０において、ゲイン型視覚処理システム１００４は、画像信号ＩＳを視覚処理したゲイン信号ＧＡＩＮを出力するゲイン型視覚処理装置４００５と、ゲイン信号ＧＡＩＮと画像信号ＩＳとを乗算する乗算器４０１１とを備えている。
また、ゲイン型視覚処理装置４００５は、画像信号ＩＳを視覚処理した処理信号ＯＳを出力する視覚処理装置１００１と、処理信号ＯＳを画像信号ＩＳで除算する除算器４０１２とを備えている。ここで、視覚処理装置１００１は、画像信号ＩＳの出力を視覚処理した階調変換値を出力するもので、この階調変換値を画像信号ＩＳで除算することで、ゲイン型視覚処理装置４００５を実現できる。

乗算器４０１１は、ゲイン型視覚処理装置４００５で出力されるゲイン信号ＧＡＩＮと画像信号ＩＳとを乗算し、画像信号ＩＳを視覚処理した階調変換値を出力する。
なお、視覚処理部３０において、図４１に示す、２次元ゲイン特性を持つプロファイルを直接に用いて処理するようにしてもよい。ここで、図４１の縦軸はゲイン出力ＧＮ、横軸は画像信号ＩＳである。図４１に示す２次元ゲイン特性は、図２２に示す２次元階調特性のプロファイルの出力を画像信号ＩＳで除算して得たものと等価である。この２次元ゲイン特性を持つプロファイルを視覚処理装置１００１の視覚処理部３０のＬＵＴに設定してもよい。このように、２次元ゲイン特性のプロファイルを視覚処理部３０のＬＵＴにあらかじめ設定すれば、ゲイン出力ＧＮとゲイン信号ＧＡＩＮは等価となるため、除算器１２を削除してもゲイン型視覚処理装置４００５を実現することができる。

以上のように、本発明の実施の形態９のゲイン型視覚処理システム１００４において、ゲイン型視覚処理装置４００５では、入力された画像信号ＩＳの変化に対して視覚処理した処理信号の変化が小さいため、入力信号のビット数を削減でき、回路規模を削減出来る。また、視覚処理部３０に２次元ＬＵＴが備えられた場合にはメモリ容量を削減することができる。
なお、本発明の実施の形態６の視覚処理装置１００１は、本発明の実施の形態７における視覚処理装置１００２に置き換えてもよい。これによっても、同様にゲイン型視覚処理装置４００５を実現できる。
また、本発明の実施の形態６における視覚処理装置１００１は、本発明の実施の形態８における視覚処理装置１００３に置き換えてもよい。これによっても、同様にゲイン型視覚処理装置４００５を実現できる。

以上のように、本発明の実施の形態６から本発明の実施の形態９によれば、特殊画像でない通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。
（実施の形態１０）
上記本発明の実施の形態で説明した視覚処理装置または視覚処理システムにおける空間処理機能、効果調整機能、視覚処理機能などの各種機能は、集積回路などを用いたハードウェアにより実施してもよいし、中央処理装置（以下、「ＣＰＵ」という）、デジタル信号処理装置などを用いて動作するソフトウェアにより実施してもよい。また、上記各種機能をソフトウェアおよびハードウェアの混在処理により実現しても良い。
まず、上記各種機能をハードウェアで実施する場合は、本発明の実施の形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように１チップ化された集積回路としてもよい。なお、ここでの集積回路とは、ＬＳＩに限らず、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
つぎに、上記各種機能をソフトウェアで実施する場合について、図４６を用いて説明する。
図４６は、本発明の実施の形態におけるコンピュータの構成を示すブロック図である。

図４６において、コンピュータ４６１２は、各種プログラムの命令を実行するＣＰＵ４６００と、プログラムなどが格納されているリードオンリーメモリ４６０１（以下、「ＲＯＭ４６０１」という）と、一時記憶のデータを格納するランダムアクセスメモリ４６０２（以下、「ＲＡＭ４６０２」という）と、画像を入力する入力部４６０３と、画像を出力する出力部４６０４と、プログラムや各種データを記憶する記憶部４６０５とを備えている。
さらに、外部との通信を行う通信部４６０６と、情報記憶媒体を適宜接続するドライブ４６０７とを備えるようにしてもよい。
また、各機能部はバス４６１０を経由して制御信号、データなどの送受信を行う。
ＣＰＵ４６００は、ＲＯＭ４６０１に記憶されているプログラムにしたがって各種機能の処理を実行する。

ＲＯＭ４６０１は、プログラム、プロファイルなどを記憶する。
ＲＡＭ４６０２は、ＣＰＵ１００により各種機能の処理に必要なデータを一時記憶する。
入力部４６０３には、画像を入力する。たとえば、電波を受信し、受信した受信信号を復号化することで映像信号を取得する。また、直接に有線を経由してデジタル画像を取得するようにしてもよい。
出力部４６０４は、画像を出力する。たとえば、液晶表示装置やプラズマディスプレイなどの表示装置に出力する。
記憶部４６０５は、磁気メモリなどで構成され、種々のプログラム、データを記憶する。

通信部４６０６は、ネットワーク１１１に接続され、ネットワーク１１１を経由してプログラムを取得、または必要に応じて記憶部４６０５に取得したプログラムをインストールするようにしてもよい。これにより、コンピュータ６は、通信部４６０６によりプログラムのダウンロードが可能となる。
ドライブ４６０７は、情報記憶媒体を適宜接続し、情報記憶媒体に記憶されている記憶情報を取得する。情報記憶媒体は、たとえば、磁気ディスク、光磁気ディスク、光ディスクなどのディスク４６０８、または半導体メモリなどのメモリカード４６０９などである。
なお、ディスク４６０８、または半導体メモリなどのメモリカード４６０９などに各種機能を実行するためのプログラム、プロファイルなどを記憶し、コンピュータ４６１２に、その情報を与えるようにしてもよい。

また、プログラムは、あらかじめコンピュータに専用のハードウェアで組み込んでもよいし、ＲＯＭ４６０１、記憶部４６０５にあらかじめ組み込んで提供してもよい。
また、プログラムは、情報処理装置、テレビ、デジタルカメラ、携帯電話、ＰＤＡなどの画像を取り扱う機器に適用できる。プログラムは、画像を取り扱う機器に内蔵、あるいは接続され、上記実施形態で説明した視覚処理装置または視覚処理システムが実現する視覚処理と同様の視覚処理を実行する。
なお、視覚処理装置を表示装置などに適用した場合には、特殊画像を検出したときに表示モードを切り替えるようにしてもよい。
また、上記実施形態で説明した視覚処理装置の視覚処理部等を２次元ＬＵＴで構成する場合、参照される２次元ＬＵＴ用のデータは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、必要に応じて参照される。さらに、２次元ＬＵＴのデータは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される２次元ＬＵＴ用の２次元ゲインデータ（プロファイル）の提供装置から提供されるものであってもよい。

また、第１の視覚処理方法を実現する場合、例えば、コンピュータ４６１２に、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、入力された画像信号に視覚処理を行う視覚処理ステップと、所定の目標レベルを設定する目標レベル設定ステップと、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、を実行させる。そして、コンピュータ４６１２に、効果調整ステップでは、効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力させ、視覚処理ステップでは、合成された合成信号と画像信号とに基づいて画像信号を階調変換させる。
また、第２の視覚処理方法を実現する場合、例えば、コンピュータ４６１２に、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、入力された画像信号に視覚処理を行う視覚処理ステップと、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生ステップと、を実行させる。そして、コンピュータ４６１２に、視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理させ、効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定させる。

また、第３の視覚処理方法を実現する場合、例えば、コンピュータ４６１２に、第２の視覚処理方法を実現させ、さらに、効果調整信号発生ステップでは、画像信号からエッジ領域に隣接する平坦な領域を検出して効果調整信号を出力させる。
また、第４の視覚処理方法を実現する場合、例えば、コンピュータ４６１２に、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、入力された画像信号に視覚処理を行う視覚処理ステップと、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、画像信号から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、を実行させる。そして、コンピュータ４６１２に、視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理させ、効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定させる。

（実施の形態１１）
次に、実施の形態１１として、上記実施形態で説明した視覚処理装置の応用例とそれを用いたシステムを図４２〜図４６を用いて説明する。
図４２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図４２のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラなどの動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）などであり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信などが可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバなどで行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラなどの静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１などで読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６などで撮影しているコンテンツ（例えば、音楽ライブを撮影した映像など）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４などがある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

コンテンツの表示に際して、上記実施形態で説明した視覚処理装置を用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４などは、上記実施形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであってもよい。
また、ストリーミングサーバｅｘ１０３は、視覚処理装置に対して、インターネットｅｘ１０１を介して２次元ゲインデータ（プロファイル）を提供するものであってもよい。さらに、ストリーミングサーバｅｘ１０３は複数台存在し、それぞれ異なる２次元ゲインデータを提供するものであってもよい。さらに、ストリーミングサーバｅｘ１０３は２次元ゲインデータの作成を行うものであってもよい。このように、インターネットｅｘ１０１を介して、視覚処理装置が２次元ゲインデータを取得できる場合、視覚処理装置は予め視覚処理に用いる２次元ゲインデータを記憶しておく必要がなく、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットｅｘ１０１介して接続される複数のサーバから２次元ゲインデータを取得できるため、異なる視覚処理を実現することが可能となる。

一例として携帯電話について説明する。
図４３は、上記実施形態の視覚処理装置１を備えた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラなどの映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像などが復号化されたデータを表示する液晶ディスプレイなどの表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカなどの音声出力部ｅｘ２０８、音声入力をするためのマイクなどの音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータなど、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカードなどのプラスチックケース内に電気的に書き換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図４４を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ、ＲＡＭなどでなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページなどにリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給するとともに当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
以上の構成において、画像復号化部ｅｘ３０９は、上記実施形態の視覚処理装置を備えていてもよい。
なお、上記システムの例に限らず、最近は衛星、地上波によるディジタル放送が話題となっており、図４５に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置を組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備を持つ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはＳＴＢｅｘ４０７などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤなどの蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたＳＴＢｅｘ４０７内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときＳＴＢではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでもよい。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７などから信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３などの表示装置に動画を再生することも可能である。

さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。さらにＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の視覚処理装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。
なお、カーナビゲーションｅｘ４１３の構成は、例えば図４４に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１などでも考えられる。

また、上記携帯電話ｅｘ１１４などの装置は、符号化器・復号化器を両方持つ送受信型の装置の他に、符号化器のみの送信装置、復号化器のみの受信装置の３通りの実装形式が考えられる。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
［付記］
本発明は、次のように表現することも可能である。
（付記１）
入力された画像信号を視覚処理して出力する視覚処理装置において、
効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整部と、
前記画像信号に視覚処理を行う視覚処理部と、
を備える視覚処理装置。
（付記２）
所定の目標レベルを設定する目標レベル設定部と、
前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、
をさらに備え、
前記効果調整部は、視覚処理の効果を設定するための前記効果調整信号に応じて前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、
前記視覚処理部は、前記合成信号と前記画像信号とに基づいて前記画像信号を階調変換する、
付記１に記載の視覚処理装置。
（付記３）
所定の目標レベルを設定する目標レベル設定部と、
前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、
前記画像信号を補正する補正部と、
をさらに備え、
前記効果調整部は、視覚処理の効果を設定するための前記効果調整信号に応じて前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、
前記視覚処理部は、前記合成信号と前記画像信号とに基づいてゲイン信号を出力し、
前記補正部は、前記ゲイン信号に基づいて前記画像信号を補正する、
付記１に記載の視覚処理装置。
（付記４）
前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備え、
前記効果調整部は、視覚処理の効果を設定するための前記効果調整信号に応じて前記画像信号と前記処理信号とを合成した合成信号を出力し、
前記視覚処理部は、前記合成信号と前記画像信号とに基づいて前記画像信号を階調変換する、
付記１に記載の視覚処理装置。
（付記５）
前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、
前記画像信号を補正する補正部と、
をさらに備え、
前記効果調整部は、視覚処理の効果を設定するための前記効果調整信号に応じて前記画像信号と前記処理信号とを合成した合成信号を出力し、
前記視覚処理部は、合成された前記合成信号と前記画像信号とに基づいてゲイン信号を出力し、
前記補正部は、前記ゲイン信号に基づいて前記画像信号を補正する、
付記１に記載の視覚処理装置。
（付記６）
前記視覚処理部は、２次元ルックアップテーブルを有する、
付記１から付記５のいずれか１項に記載の視覚処理装置。
（付記７）
入力された前記画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、
前記視覚処理の効果を設定するための前記効果調整信号を出力する効果調整信号発生部と、
をさらに備え、
前記視覚処理部は、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理し、
前記効果調整部は、前記効果調整信号に応じて前記視覚処理の効果を設定する、
付記１に記載の視覚処理装置。
（付記８）
前記効果調整信号発生部は、前記画像信号からエッジ領域に隣接する領域を検出して前記効果調整信号を出力する、
付記７に記載の視覚処理装置。
（付記９）
前記効果調整信号発生部は、前記画像信号からエッジ領域に隣接する平坦な領域を検出して前記効果調整信号を出力する、
付記８に記載の視覚処理装置。
（付記１０）
前記効果調整信号発生部は、前記周辺画像情報の変化量に応じて前記効果調整信号を出力する、
付記８または付記９に記載の視覚処理装置。
（付記１１）
前記効果調整信号発生部は、
前記画像信号から隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合いを検出する平坦検出部と、
前記画像信号から隣接領域との輝度差が所定の値以上となるエッジ領域のエッジ量を検出するエッジ検出部と、
を有し、
前記効果調整信号発生部は、前記平坦検出部と前記エッジ検出部との出力にもとづいて前記効果調整信号を出力する、
付記８または付記９に記載の視覚処理装置。
（付記１２）
前記効果調整部は、前記効果調整信号に応じて、前記画像信号と前記周辺画像情報とを合成した第１の合成信号を出力し、
前記視覚処理部は、前記第１の合成信号と前記画像信号とにもとづいて前記画像信号を視覚処理する、
付記７から付記１１までのいずれか１項に記載の視覚処理装置。
（付記１３）
前記効果調整部は、前記効果調整信号に応じて、前記画像信号と前記視覚処理部で視覚処理された出力とを合成した第２の合成信号を出力する、
付記７から付記１１までのいずれか１項に記載の視覚処理装置。
（付記１４）
入力された前記画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、
前記画像信号から統計的な情報の偏りを有する特殊画像である度合いを前記統計的な情報の偏りにもとづいて検出し、検出された度合いを前記効果調整信号として出力する特殊画像検出部と、
をさらに備え、
前記視覚処理部は、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理した処理信号を出力し、
前記効果調整部は、前記効果調整信号に応じて前記視覚処理の効果を設定するように前記視覚処理部を制御する、
付記１に記載の視覚処理装置。
（付記１５）
前記特殊画像検出部は、前記画像信号の画像中における濃淡が変化する領域の割合または濃淡が変化しない領域の割合にもとづいて前記統計的な情報の偏りを検出する、
付記１４に記載の視覚処理装置。
（付記１６）
前記特殊画像検出部は、前記濃淡が変化する領域の割合が少ないとき、または濃淡が変化しない領域の割合が多いときに前記特殊画像である度合いを高くする、
付記１５に記載の視覚処理装置。
（付記１７）
前記特殊画像検出部は、前記画像中のエッジ成分を検出することで前記濃淡が変化する領域の割合を検出する、
付記１６に記載の視覚処理装置。
（付記１８）
前記特殊画像検出部は、前記画像中の平坦度合いを検出することで前記濃淡が変化しない領域の割合を検出する、
付記１６に記載の視覚処理装置。
（付記１９）
前記特殊画像検出部は、階調レベル数または類似画素の連続長にもとづいて前記平坦度合いを検出する、
付記１８に記載の視覚処理装置。
（付記２０）
前記特殊画像検出部は、
前記画像信号から画素ごとにエッジ量を検出するエッジ検出部と、
前記エッジ量が所定の値以上であるエッジ画素を検出し、前記画像信号の全画素数に対する前記エッジ画素数の割合を算出するエッジ密度算出部と、
前記割合に応じて前記効果調整信号を出力する第１の効果調整信号発生部と、
を有する、
付記１７に記載の視覚処理装置。
（付記２１）
前記特殊画像検出部は、
複数のブロックに分割された前記画像信号から高周波成分を含む高周波ブロックを検出する高周波ブロック検出部と、
前記複数のブロック数に対する前記高周波ブロック数の割合を検出する高周波ブロック密度検出部と、
前記割合に応じて前記効果調整信号を出力する第２の効果調整信号発生部と、
を有する、
付記１７に記載の視覚処理装置。
（付記２２）
前記特殊画像検出部は、
前記画像信号から階調レベルごとの頻度を検出する頻度検出部と、
前記階調レベルごとの前記頻度と所定の閾値とを比較し、前記所定の閾値より前記頻度が大きい階調レベルを検出する頻度判定部と、
前記頻度判定部により前記頻度が大きいと判定された前記階調レベル数を検出する階調数検出部と、
前記階調レベル数に応じて前記効果調整信号を出力する第３の効果調整信号発生部と、
を有する、
付記１９に記載の視覚処理装置。
（付記２３）
前記特殊画像検出部は、
前記画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する類似輝度検出部と、
前記類似画素が連続している連続長を検出する連続長検出部と、
前記連続長検出部で検出された複数の前記連続長を平均することで平均連続長を算出する平均連続長算出部と、
前記平均連続長に応じて前記効果調整信号を出力する第４の効果調整信号発生部と、
を有する、
付記１９に記載の視覚処理装置。
（付記２４）
前記効果調整部は、前記効果調整信号に応じて前記画像信号と前記周辺画像情報との割合を変えて合成した第１の合成信号を出力し、
前記視覚処理部は、前記第１の合成信号と前記画像信号とにもとづいて前記画像信号を前記視覚処理する、
付記１４から付記２３までのいずれか１項に記載の視覚処理装置。
（付記２５）
前記効果調整部は、前記効果調整信号に応じて前記画像信号と前記処理信号との割合を変えて合成した第２の合成信号を出力する、
付記１４から付記２３までのいずれか１項に記載の視覚処理装置。
（付記２６）
前記視覚処理部は、２次元ルックアップテーブルを有し、前記２次元ルックアップテーブルに設定される特性データにもとづいて前記視覚処理を行い、
前記効果調整部は、前記効果調整信号に応じて前記視覚処理の効果が異なる複数の前記特性データの割合を変えて合成した特性データを前記視覚処理部に設定する、
付記１４から付記２３までのいずれか１項に記載の視覚処理装置。
（付記２７）
前記特殊画像検出部は、前記画像信号が縮小されている縮小画像を入力し、前記縮小画像から前記統計的な情報の偏りを有する前記特殊画像を検出し、前記統計的な情報の偏りにもとづいて前記効果調整信号を出力する、
付記１４から付記２６までのいずれか１項に記載の視覚処理装置。
（付記２８）
前記特殊画像検出部は、前記画像信号がフレーム画像のときにはひとつ以上前のフレーム画像より、もしくは前記画像信号がフィールド画像のときにはひとつ以上前のフィールド画像から前記統計的な情報の偏りを検出する、
付記１４から付記２７までのいずれか１項に記載の視覚処理装置。
（付記２９）
前記効果調整信号を連続的に変化させるための連続変化処理部をさらに備え、
前記連続変化処理部は、前記効果調整信号がフレーム単位で出力されるときは前記フレーム間で、前記効果調整信号がフィールド単位で出力されるときは前記フィールド間で、前記効果調整信号を連続的に変化させる、
付記２８に記載の視覚処理装置。
（付記３０）
通信または放送された画像データを受信するデータ受信部と、
受信された前記画像データを映像データに復号する復号部と、
復号された前記映像データを視覚処理して出力信号を出力する付記１から付記２９のいずれか１項に記載の視覚処理装置と、
前記視覚処理装置により視覚処理された前記出力信号の表示を行う表示部と、
を備える表示装置。
（付記３１）
入力された画像信号を視覚処理して出力する視覚処理方法において、
効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、
前記画像信号に視覚処理を行う視覚処理ステップと、
を有する視覚処理方法。
（付記３２）
所定の目標レベルを設定する目標レベル設定ステップと、
前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、をさらに有し、
前記効果調整ステップは、効果調整信号に応じて前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、
前記視覚処理ステップは、合成された前記合成信号と前記画像信号とに基づいて前記画像信号を階調変換する、
付記３１に記載の視覚処理方法。
（付記３３）
入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、
前記視覚処理の効果を設定するための前記効果調整信号を出力する効果調整信号発生ステップと、
をさらに有し、
前記視覚処理ステップは、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理し、
前記効果調整ステップは、前記効果調整信号に応じて前記視覚処理の効果を設定する、
付記３１に記載の視覚処理方法。
（付記３４）
前記効果調整信号発生ステップは、前記画像信号からエッジ領域に隣接する平坦な領域を検出して前記効果調整信号を出力する、
付記３３に記載の視覚処理方法。
（付記３５）
入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、
前記画像信号から統計的な情報の偏りを有する特殊画像を検出し、前記統計的な情報の偏りの度合いにもとづいて前記効果調整信号を出力する特殊画像検出ステップと、
をさらに有し、
前記視覚処理ステップは、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理し、
前記効果調整ステップは、前記効果調整信号に応じて前記視覚処理の効果を設定する、
付記３１に記載の視覚処理方法。
（付記３６）
入力された画像信号を視覚処理して出力する視覚処理を行うためにコンピュータに、
効果調整信号に応じて視覚処理の効果を設定するための制御信号を出力する効果調整ステップと、
前記制御信号と前記画像信号とに基づいて前記画像信号を視覚処理する視覚処理ステップと、
を実行させるプログラム。
（付記３７）
コンピュータに、
所定の目標レベルを設定する目標レベル設定ステップと、
前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、
をさらに実行させるためのプログラムであって、
前記効果調整ステップは、視覚処理の効果を設定するための前記効果調整信号に応じて前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、
前記視覚処理ステップは、合成された前記合成信号と前記画像信号とに基づいて前記画像信号を階調変換する、
付記３６に記載のプログラム。
（付記３８）
コンピュータに、
入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、
前記視覚処理の効果を設定するための前記効果調整信号を出力する効果調整信号発生ステップと、
をさらに実行させるためのプログラムであって、
前記視覚処理ステップは、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理し、
前記効果調整ステップは、前記効果調整信号に応じて前記視覚処理の効果を異ならせるように調整する、
付記３６に記載のプログラム。
（付記３９）
前記効果調整信号発生ステップは、前記画像信号からエッジ領域に隣接する平坦な領域を検出して前記効果調整信号を出力する、
付記３８に記載のプログラム。
（付記４０）
コンピュータに、
入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、
前記画像信号から統計的な情報の偏りを有する特殊画像を検出し、前記統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、
をさらに実行させるためのプログラムであって、
前記視覚処理ステップは、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理し、
前記効果調整ステップは、前記効果調整信号に応じて前記視覚処理の効果を設定する、
付記３８に記載のプログラム。
（付記４１）
付記１から付記２９のいずれか１項に記載の視覚処理装置を含む集積回路。

本発明に係る視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路によれば、急峻なエッジ領域を有する画像や特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さをリアルタイムに変更することができるので、カラーテレビジョン受像機、携帯装置、情報処理装置、デジタルスチルカメラ、ゲーム機器などの表示装置、プロジェクタ、プリンタなどの出力装置に利用することができる。

本発明の実施形態１における視覚処理装置のブロック図 同実施形態における目標レベル設定部における特性図 同実施形態におけるアンシャープ信号ＵＳおよび出力信号ＯＳの説明図 同実施形態における局所コントラスト特性についての説明図 同実施形態におけるＤＲ圧縮特性の説明図 同実施形態における視覚処理装置の変形例１のブロック図 同実施形態における階調特性の説明図 同実施形態におけるゲイン特性の説明図 本発明の実施の形態１の視覚処理装置の構成を示すブロック図 同２次元階調特性を説明するための説明図 同処理信号ＯＳの出力を説明するための説明図 同制御信号発生部の構成を示すブロック図 同効果調整信号の出力を説明するための説明図 同視覚処理装置の動作を説明するフローチャート 同変形例の制御信号発生部の構成を示すブロック図 同変形例の効果調整信号を説明するための説明図 本発明の実施の形態２における視覚処理装置の構成を示すブロック図 本発明の実施の形態３における視覚処理装置の構成を示すブロック図 本発明の実施の形態４における視覚処理システムの構成を示すブロック図 同２次元ゲイン特性を説明するための説明図 本発明の実施の形態６の視覚処理装置の構成を示すブロック図 同２次元階調特性を説明するための説明図 同処理信号の出力を説明するための説明図 同特殊画像検出部の構成を示すブロック図 同特殊画像を説明するための説明図 同エッジ画素を説明するための説明図 同効果調整信号の出力を説明するための説明図 同視覚処理装置の動作を説明するフローチャートおよび連続変化処理部の構成図 同変形例１の特殊画像検出部の構成を示すブロック図 同変形例１の頻度検出部で検出される頻度分布を説明するための説明図 同変形例１の効果調整信号を説明するための説明図 同変形例２の特殊画像検出部の構成を示すブロック図 同変形例２の連続長を説明するための説明図 同変形例２の効果調整信号を説明するための説明図 同変形例３の特殊画像検出部の構成を示すブロック図 同変形例３のブロック画像を説明するための説明図 同変形例３の効果調整信号を説明するための説明図 本発明の実施の形態７における視覚処理装置の構成を示すブロック図 本発明の実施の形態８における視覚処理装置の構成を示すブロック図 本発明の実施の形態９における視覚処理システムの構成を示すブロック図 同２次元ゲイン特性を説明するための説明図 本発明の実施形態２におけるコンテンツ供給システムの全体構成図 同実施形態における視覚処理装置を搭載する携帯電話の正面図 同実施形態における携帯電話の全体構成について説明するブロック図 同実施形態におけるディジタル放送用システムの全体構成についての説明図 同実施形態におけるコンピュータのシステムの例を説明するブロック図 従来の視覚処理装置のブロック図 同装置における階調変換の特性図

符号の説明

１、２０、１０１、１０２、１０３、１０４、１００１、１００２、１００３、１００４ 視覚処理装置
２、１０ 空間処理部
３、２１、３０、３１、３２ 視覚処理部
４ 目標レベル設定部
５、１０２０、１０２１、１０２２、２０２１、２０２２ 効果調整部
２２ 乗算部
４０ 制御信号発生部
４１ エッジ検出部
４２ エッジ近傍検出部
４３ 平坦検出部
４４、２１４４、７０４、８４、９３ 効果調整信号発生部
２１４０、７００、８０、９０ 特殊画像検出部
５０ 連続変化処理部
２１４１ エッジ検出部
２１４２ エッジ量判定部
２１４３ エッジ密度算出部
２１４４ 効果調整信号発生部
７０１ 頻度検出部
７０２ 頻度判定部
７０３ 階調数検出部
８１ 類似輝度検出部
８２ 連続長検出部
８３ 平均連続長算出部
９１ 高周波ブロック検出部
９２ 高周波ブロック密度検出部
１９０５、４００５ ゲイン型視覚処理装置

Claims (5)

1. 入力された画像信号を視覚処理して出力する視覚処理装置において、
   前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、
   所定の目標レベルを設定する目標レベル設定部と、
   視覚処理の効果を設定するための効果調整信号に応じて、前記所定の目標レベルと前記処理信号とを合成した合成信号を出力する効果調整部と、
   前記合成信号と前記画像信号とによって決定されるゲイン信号に基づいて、入力された画像信号に対して補正処理を行う視覚処理部と、
   を含む、視覚処理装置。
2. 前記効果調整信号は、前記視覚処理装置の外部から入力される、
   請求項１に記載の視覚処理装置。
3. 入力された画像信号を視覚処理して出力する視覚処理方法において、
   前記画像信号に対して所定の空間処理を行い、処理信号を出力するステップと、
   所定の目標レベルを設定する目標レベル設定ステップと、
   視覚処理の効果を設定するための効果調整信号に応じて、前記所定の目標レベルと前記処理信号とを合成した合成信号を出力する効果調整ステップと、
   前記合成信号と前記画像信号とによって決定されるゲイン信号に基づいて、入力された画像信号に対して補正処理を行う視覚処理ステップと、
   を含む、視覚処理方法。
4. 画像を出力する画像出力装置に用いられるプロセッサであって、
   前記画像出力装置は、視覚処理の効果を設定するための効果調整信号を設定可能であり、
   前記プロセッサは、
   前記画像信号に対して所定の空間処理を行い、処理信号を出力し、
   所定の目標レベルを設定し、
   外部から設定された前記効果調整信号に応じて、前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、
   前記合成信号と前記画像信号とによって決定されるゲイン信号に基づいて、入力された画像信号に対して補正処理を行う、
   プロセッサ。
5. 前記効果調整信号は、画素単位、ブロック単位、画像単位のいずれかに設定される、
   請求項４記載のプロセッサ。

Images