WO2007043460A1

WO2007043460A1 - 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路

Info

Publication number: WO2007043460A1
Application number: PCT/JP2006/320074
Authority: WO
Inventors: Haruo Yamashita; Takeshi Ito; Yusuke Monobe
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-10-12
Filing date: 2006-10-06
Publication date: 2007-04-19
Also published as: JP4157592B2; US8311357B2; EP1959390A1; CN101288099A; EP1959390A4; EP2323100A2; EP2323100A3; JP2009277222A; US20110085085A1; CN101288099B; JPWO2007043460A1; US20090232401A1; US7881549B2

Abstract

　急峻なエッジ領域を有する画像や特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さをリアルタイムに変更する視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路を提供する。空間処理部（２）は入力信号ＩＳからアンシャープ信号ＵＳを生成する。目標レベル設定部（４）は視覚処理の強さを調整する範囲を設定する目標レベル値Ｌを設定する。効果調整部（５）は外部より設定される効果調整信号ＭＯＤにより、目標レベル値Ｌとアンシャープ信号ＵＳとを合成し、合成信号ＭＵＳを生成する。視覚処理部（３）は入力信号ＩＳと合成信号ＭＵＳに応じて出力信号ＯＳを出力する。これにより、視覚処理の強さを変更可能とする。

Description

視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路技術分野

[0001] 本発明は、視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路に関し、特に、画像の視覚処理の強さを変更する視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路に関する。

背景技術

[0002] 原画像の画像信号の視覚処理として、空間処理と階調処理とが知られて!/ヽる。

空間処理とは、フィルタ適用の対象となる着目画素の周辺の画素を用い、着目画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ (以下、「DR」と記す)圧縮など行う技術が知られて!/、る (例えば、特許文献 1)。

階調処理とは、着目画素の周辺の画素とは無関係に、着目画素ごとにルックアップテーブル (以下、「LUT」と記す)を用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。例えば、コントラスト強調する場合、原画像での出現頻度の高ヽ（面積の大き、）階調レベルの階調を立てる LUTを用いて画素値の変換が行われる。 LUTを用いた階調処理として、原画像全体に 1つの LUTを決定して用いる階調処理 (ヒストグラム均等化法)と、原画像を複数に分割した画像領域のそれぞれについて LUTを決定して用いる階調処理 (局所的ヒストグラム均等化法)とが知られている。

従来の視覚処理装置では、変換特性が異なる複数のプロファイルデータを備え、プロファイルデータを切り替えることにより上記の異なる視覚処理を実現して、た (例えば、特許文献 2)。

以下、図 47を用いて従来の視覚処理装置 900について説明する。図 47において、視覚処理装置 900は、入力信号 ISとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャープ信号 USを出力する空間処理部 901と、同じ画素につ V、ての入力信号 ISとアンシャープ信号 USとを用いて、原画像の視覚処理を行!、、出力信号 OSを出力する視覚処理部 902より構成されてヽる。アンシャープ信号 US は輝度信号をローパスフィルタで処理した局所領域の明るさ信号であり、ぼけ信号である。また、視覚処理部 902は 2次元 LUTより構成されていた。

視覚処理部 902は図 48に示す階調変換特性を有するガンマ補正を実施し、画像中の着目領域でのアンシャープ信号 USに対応する階調変換曲線を選択し、コントラストを高くしたり、弱くしたりしていた。例えば、画像中の暗い領域はアンシャープ信号 US0の曲線を選択して明るくし、逆に、明るい領域はアンシャープ信号 USn曲線を選択して明るさを抑えコントラストを強めていた。これらの曲線群をプロファイルと呼ぶプロファイルデータ登録装置 903は異なる視覚処理のプロファイル群を備え、目的とする視覚処理に最適なプロフアイデータを視覚処理部 902に登録していた。

また、プロファイルデータ登録装置 903は、視覚処理の強さに応じて必要なプロフアイデータに更新していた。

例えば、逆光画像でも極端に顔が暗いときと、少し暗いときとで暗部領域のコントラストの強調の強さを変更したい場合、最適な階調変換特性を持つプロフアイデータに更新して明るさを調整していた。

特許文献 1：米国特許第 4667304号明細書

特許文献 2：国際公開第 2005Z027043号パンフレット

発明の開示

(発明が解決しょうとする課題）

し力しながら、上記従来の構成では、視覚処理の効果の強さに応じてプロファイルデータを用意する必要があるためデータ量が多くなるという課題があった。データ量が多くなるとプロファイルデータを格納するメモリ容量が多くなる（通常数 100バイト〜数 10Kバイト程度)。

また、視覚処理の効果の強さに応じてプロファイルデータを更新する必要があるという課題があった。プロファイルデータの更新には多くの更新時間が必要となるため、画像中の局所領域ごとに視覚処理の効果をリアルタイムに変更することができないという課題があった。特に、視覚処理部を 2次元 LUTで構成した場合はデータ量が多くなり、より多くの更新時間が必要となる。

また、人間の視覚に近い画質改善処理として、着目画素の値とその周辺領域にある画素の値との対比にもとづいて着目画素の値を変換する視覚処理がある。このような視覚処理では、処理効果をより高めるため、着目画素の位置を中心に広範囲の領域から明るさ情報を抽出する。

しかし、着目画素の値とその周辺の画素の値との対比から着目画素の値を決定するため、周辺領域に急峻なエッジ領域があった場合は、その周辺にある画素の値の影響を受け、画素の値がほとんど変動しない平坦領域でも視覚処理の出力はエッジ近傍において緩やかに変化する。平坦領域で大きな輝度の変化が発生すると、エツジに隣接した領域に影のような輪郭が発生し、不自然な画像となる。また、エッジ領域の割合が少ない画像、階調数が少ない画像、隣接画素との輝度差が小さぐ類似した値が連続して多く発生する画像、または、複数に分割されたブロック画像で高周波成分が含まれるブロック数の割合が少ない画像など（以下、このような画像を「特殊画像」ヽぅ）に対して自然画に対するのと同様に視覚処理を行うと、平坦領域の輝度変化が目につきやすぐエッジに隣接した領域に影のような輪郭が発生し、不自然な画像になる。

本発明が解決しょうとする課題は、急峻なエッジ領域を有する画像や特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さをリアルタイムに変更することができる視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路を実現することである。

(課題を解決するための手段）

第 1の発明は、入力された画像信号を視覚処理して出力する視覚処理装置において、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整部と、画像信号に視覚処理を行う視覚処理部と、を備える視覚処理装置である。これにより、視覚処理の効果を効果調整信号により設定することが簡単な構成でできる。したがって、視覚処理の効果の調整をリアルタイムに行うことができる。

第 2の発明は、第 1の発明であって、所定の目標レベルを設定する目標レベル設定部と、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理部は、合成信号と画像信号とに基づ!ヽて画像信号を階調変換する。

このような構成により、効果調整信号により異なる合成信号を生成して視覚処理の強さを変更するので、所定の階調変換関数を強さの程度に合わせて変更しなくてもよい。所定の階調変換関数をノ、一ドウエア回路で実施すれば、視覚処理の強さに応じた複数の回路を持つ必要がな!、ので回路規模を削減できる。所定の階調特性を 2 次元 LUTに格納するプロファイルデータで実施すれば、視覚効果の強さに応じて複数のプロファイルデータを持つ必要がないのでメモリ容量を削減できる。また、視覚処理の強さに応じてプロファイルデータの更新が必要なくなるので、視覚処理部を 2 次元 LUTで構成しても、視覚処理の強さを変更できる。また、目標レベル設定部で目標レベルを設定することにより、視覚処理装置で実現される視覚処理において、その視覚処理効果をどのような階調特性まで変化させるかを設定することができる。第 3の発明は、第 1の発明であって、所定の目標レベルを設定する目標レベル設定部と、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、画像信号を補正する補正部と、をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理部は、合成信号と画像信号とに基づいてゲイン信号を出力する。補正部は、ゲイン信号に基づいて画像信号を補正する。

このような構成により、効果調整信号により異なる合成信号を生成することで視覚処理の強さを変更できるので、所定のゲイン関数を固定できる。所定のゲイン関数をノヽ一ドウエア回路で実施すれば、視覚処理の強さに応じて複数の回路を持つ必要がな Vヽので回路規模を削減できる。所定のゲイン関数を 2次元 LUTに格納するプロファィルデータで実施すれば、視覚処理の強さに応じて複数のプロファイルデータを持つ必要がないのでメモリ容量を削減できる。また、視覚処理の強さに応じてプロフアイルデータの更新が必要な、ため、視覚処理部を 2次元 LUTで構成してもリアルタイムに視覚処理の強さを変更できる。

第 4の発明は、第 1の発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて画像信号と処理信号とを合成した合成信号を出力する。視覚処理部は、合成信号と画像信号とに基づいて画像信号を階調変換する。

このような構成により、効果調整部は効果調整信号により画像信号と処理信号を内分した合成信号を生成する。これにより、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで視覚処理の効果を変更することができる。また、視覚処理の効果を変更する場合でも、所定の階調変換関数を固定できる。第 5の発明は、第 1の発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、画像信号を補正する補正部と、をさらに備える。効果調整部は、視覚処理の効果を設定するための効果調整信号に応じて画像信号と処理信号とを合成した合成信号を出力する。視覚処理部は、合成された合成信号と画像信号とに基づいてゲイン信号を出力する。補正部は、ゲイン信号に基づいて画像信号を補正する。

このような構成により、効果調整部は効果調整信号により画像信号と処理信号を内分した合成信号を生成する。これにより、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで視覚処理の効果を変更することができる。また、視覚処理の効果を変更する場合でも、所定のゲイン関数を固定できる。第 6の発明は、第 1から第 5のいずれか 1つの発明であって、視覚処理部は、 2次元ルックアップテーブルを有する。

このような構成により、 DR圧縮、局所コントラスト、階調処理など異なる視覚効果のプロファイルを登録できる。また、ゲイン特性に基づいたデータを 2次元 LUTに格納することで、ガンマ変換値をそのままデータとして格納するよりもメモリ容量を小さくできる。

第 7の発明は、第 1の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生部と、をさらに備える。視覚処理部は、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整部は、効果調整信号に応じて視覚処理の効果を設定する。

この構成によれば、効果調整信号に応じて視覚処理の効果を設定する (異ならせる )ことが可能となり、副作用の発生する領域で効果を調整することで副作用を抑えることがでさる。

第 8の発明は、第 7の発明であって、効果調整信号発生部は、画像信号からエッジ領域に隣接する領域を検出して効果調整信号を出力する。

これによれば、さらに、急峻なエッジ領域を有する画像が入力された場合であっても、エッジ領域近傍の副作用を抑えることができる。

第 9の発明は、第 8の発明であって、効果調整信号発生部は、画像信号からエッジ領域に隣接する平坦な領域を検出して効果調整信号を出力する。

これによれば、さらに、副作用が目立ちやすいエッジ領域近傍にある平坦領域の副作用を抑えることができる。

第 10の発明は、第 8または第 9の発明であって、効果調整信号発生部は、周辺画像情報の変化量に応じて効果調整信号を出力する。

これによれば、さらに、周辺画像情報の変化に伴って発生する副作用を抑えることができる。

第 11の発明は、第 8または第 9の発明であって、効果調整信号発生部は、画像信号から隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合いを検出する平坦検出部と、画像信号から隣接領域との輝度差が所定の値以上となるエッジ領域のエッジ量を検出するエッジ検出部と、を有する。効果調整信号発生部は、平坦検出部とエッジ検出部との出力にもとづいて効果調整信号を出力する。

これによれば、さらに、急峻なエッジ領域を有する画像が入力された場合であっても、エッジ領域近傍の平坦領域の副作用を抑えることができる。

第 12の発明は、第 7から第 11のいずれか 1つの発明であって、効果調整部は、効果調整信号に応じて、画像信号と周辺画像情報とを合成した第 1の合成信号を出力する。視覚処理部は、第 1の合成信号と画像信号とにもとづいて画像信号を視覚処理する。

これによれば、さらに、視覚処理部は、第 1の合成信号にもとづいて異なる階調変換処理を選択することが可能となり、選択した階調変換処理によって画像信号を視覚処理することができ、視覚処理の効果を異ならせることができる。

第 13の発明は、第 7から第 11のいずれか 1つの発明であって、効果調整部は、効果調整信号に応じて、画像信号と視覚処理部で視覚処理された出力とを合成した第 2の合成信号を出力する。

これによれば、さらに、効果調整信号に応じて画像信号と処理信号との割合を変えて出力でき、視覚処理の効果を異ならせることができる。

第 14の発明は、第 1の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、画像信号から統計的な情報の偏りを有する特殊画像である度合!、を統計的な情報の偏りにもとづ！、て検出し、検出された度合！、を効果調整信号として出力する特殊画像検出部と、をさらに備える。視覚処理部は、画像信号と周辺画像情報とにもとづ！/、て画像信号を視覚処理した処理信号を出力する。効果調整部は、効果調整信号に応じて視覚処理の効果を設定するように視覚処理部を制御する。

この構成によれば、特殊画像でな!ヽ通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。第 15の発明は、第 14の発明であって、特殊画像検出部は、画像信号の画像中における濃淡が変化する領域の割合または濃淡が変化しな、領域の割合にもとづ、て統計的な情報の偏りを検出する。

これによれば、さらに、画像信号の画像中における濃淡が変化する領域の割合または濃淡が変化しない領域の割合力統計的な情報の偏りを検出できる。

第 16の発明は、第 15の発明であって、特殊画像検出部は、濃淡が変化する領域の割合が少な、とき、または濃淡が変化しな、領域の割合が多、ときに特殊画像である度合いを高くする。

これによれば、さらに、特殊画像である度合いを検出でき、特殊画像の処理に適した効果調整信号を出力できる。

第 17の発明は、第 16の発明であって、特殊画像検出部は、画像中のエッジ成分を検出することで濃淡が変化する領域の割合を検出する。これによれば、さらに、画像中のエッジ成分から濃淡が変化する領域の割合を検出できる。

第 18の発明は、第 16の発明であって、特殊画像検出部は、画像中の平坦度合いを検出することで濃淡が変化しない領域の割合を検出する。

これによれば、さらに、画像中の平坦度合いから濃淡が変化しない領域の割合を検出できる。

第 19の発明は、第 18の発明であって、特殊画像検出部は、階調レベル数または類似画素の連続長にもとづいて平坦度合いを検出する。

これによれば、さらに、画像中の階調レベル数または類似画素の連続長カゝら平坦度合いを検出できる。

第 20の発明は、第 17の発明であって、特殊画像検出部は、画像信号から画素ごとにエッジ量を検出するエッジ検出部と、エッジ量が所定の値以上であるエッジ画素を検出し、画像信号の全画素数に対するエッジ画素数の割合を算出するエッジ密度算出部と、割合に応じて効果調整信号を出力する第 1の効果調整信号発生部と、を有する。

これによれば、さらに、画像中のエッジ力も特殊画像を検出でき、特殊画像におけるエッジ画素の割合の偏りに応じた効果調整信号を生成できる。

第 21の発明は、第 17の発明であって、特殊画像検出部は、複数のブロックに分割された画像信号から高周波成分を含む高周波ブロックを検出する高周波ブロック検出部と、複数のブロック数に対する高周波ブロック数の割合を検出する高周波ブロック密度検出部と、割合に応じて効果調整信号を出力する第 2の効果調整信号発生部と、を有する。

これによれば、さらに、画像中の高周波ブロックを検出することで特殊画像を検出でき、特殊画像における高周波ブロックの割合の偏りに応じた効果調整信号を生成できる。

第 22の発明は、第 19の発明であって、特殊画像検出部は、画像信号から階調レベルごとの頻度を検出する頻度検出部と、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを検出する頻度判定部と、頻度判定部により頻度が大きいと判定された階調レベル数を検出する階調数検出部と、階調レベル数に応じて効果調整信号を出力する第 3の効果調整信号発生部と、を有する。

これによれば、さらに、画像中の階調レベル数力も特殊画像を検出でき、特殊画像における階調レベル数の偏りに応じた効果調整信号を生成できる。

第 23の発明は、第 19の発明であって、特殊画像検出部は、類似輝度検出部と、連続長検出部と、平均連続長算出部と、第 4の効果調整信号発生部と、を有する。類似輝度検出部は、画像信号カゝら隣接画素との輝度差が所定の値以下となる類似画素を検出する。連続長検出部は、類似画素が連続している連続長を検出する。平均連続長算出部は、連続長検出部で検出された複数の連続長を平均することで平均連続長を算出する。第 4の効果調整信号発生部は、平均連続長に応じて効果調整信号を出力する。

これによれば、さらに、画像中の類似画素の平均連続長から特殊画像を検出でき、特殊画像における平均連続長の偏りに応じた効果調整信号を生成できる。

第 24の発明は、第 14から第 23のいずれか 1つの発明であって、効果調整部は、効果調整信号に応じて画像信号と周辺画像情報との割合を変えて合成した第 1の合成信号を出力し、視覚処理部は、第 1の合成信号と画像信号とにもとづいて画像信号を視覚処理する。

これによれば、さらに、視覚処理部は、第 1の合成信号にもとづいて異なる階調変換処理を選択することが可能となり、視覚処理の効果を異ならせることができる。第 25の発明は、第 14から第 23のいずれか 1つの発明であって、効果調整部は、効果調整信号に応じて画像信号と処理信号との割合を変えて合成した第 2の合成信号を出力する。

第 26の発明は、第 14力も第 23のいずれか 1つの発明であって、視覚処理部は、 2 次元ルックアップテーブルを有し、 2次元ルックアップテーブルに設定される特性データにもとづいて視覚処理を行う。効果調整部は、効果調整信号に応じて視覚処理の効果が異なる複数の特性データの割合を変えて合成した特性データを視覚処理部に設定する。

これによれば、さらに、効果調整信号に応じて視覚処理の効果が異なる複数の特性データの割合を変えて合成した特性データを用いて視覚処理でき、視覚処理の効果を異ならせることができる。

第 27の発明は、第 14から第 26のいずれか 1つの発明であって、特殊画像検出部は、画像信号が縮小されている縮小画像を入力し、縮小画像カゝら統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りにもとづヽて効果調整信号を出力する。

これによれば、さらに、特殊画像を検出するときのノイズの影響を抑えられる。また、処理の演算量を少なくできる。

第 28の発明は、第 14から第 27のいずれか 1つの発明であって、特殊画像検出部は、画像信号がフレーム画像のときにはひとつ以上前のフレーム画像より、もしくは画像信号がフィールド画像のときにはひとつ以上前のフィールド画像力統計的な情報の偏りを検出する。

これによれば、さらに、ひとつ前のフレーム力も特殊画像を検出でき、フレームの先頭力もで特殊画像の情報の偏りに応じた効果調整信号を使用することができる。また、ひとつ前のフィールドから特殊画像を検出でき、フィールドの先頭力もで特殊画像の情報の偏りに応じた効果調整信号を使用することができる。

第 29の発明は、第 28の発明であって、効果調整信号を連続的に変化させるための連続変化処理部をさらに備える。連続変化処理部は、効果調整信号がフレーム単位で出力されるときはフレーム間で、効果調整信号がフィールド単位で出力されるときはフィールド間で、効果調整信号を連続的に変化させる。

これによれば、さらに、フレーム間での効果調整信号の急な変化を抑え、フレーム間の画像のちらつきを抑えることができる。また、フィールド間での効果調整信号の急な変化を抑え、フィールド間の画像のちらつきを抑えることができる。

第 30の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第 1から第 29のいずれかの視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。

このような構成により、画像の明るさ調整で視覚処理の強さをリアルタイムに変更して表示装置で表示できる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報端末装置を実現することもできる。

撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。

このような構成により、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。

また、携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示手段とを備えた構成であってもよい。このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。

また、携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。

このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。

第 31の発明は、入力された画像信号を視覚処理して出力する視覚処理方法であり、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、画像信号に視覚処理を行う視覚処理ステップと、を有する。

これにより、視覚処理の効果を効果調整信号により設定することが簡単にできる。したがって、視覚処理の効果の調整をリアルタイムに行うことができる。

第 32の発明は、第 31の発明であって、所定の目標レベルを設定する目標レベル設定ステップと、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、をさらに有する。効果調整ステップでは、効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理ステップでは、合成された合成信号と画像信号とに基づ！ヽて画像信号を階調変換する。これにより、効果調整信号により異なる合成信号を生成して視覚処理の強さを変更するので、所定の階調変換関数を強さの程度に合わせて変更しなくてもよい。また、目標レベル設定ステップで目標レベルを設定することにより、この視覚処理方法により実現される視覚処理効果をどのような階調特性まで変化させるかを設定することができる。

第 33の発明は、第 31の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生ステップと、をさらに有する。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステツプでは、効果調整信号に応じて視覚処理の効果を設定する。

この方法によれば、効果調整信号に応じて視覚処理の効果を異ならせることが可能となる。

第 34の発明は、第 33の発明であって、効果調整信号発生ステップでは、画像信号からエッジ領域に隣接する平坦な領域を検出して効果調整信号を出力する。

これによれば、さらに、急峻なエッジ領域を有する画像が入力された場合であっても、エッジ領域近傍にある平坦領域の副作用を抑えることができる。

第 35の発明は、第 31の発明であって、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、画像信号から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、をさらに有する。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定する。

この方法によれば、特殊画像がでなヽ通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。第 36の発明は、入力された画像信号を視覚処理して出力する視覚処理を行うためにコンピュータに、効果調整信号に応じて視覚処理の効果を設定するための制御信号を出力する効果調整ステップと、制御信号と画像信号とに基づいて画像信号を視覚処理する視覚処理ステップと、を実行させるプログラムである。

第 37の発明は、第 36の発明であって、コンピュータに、所定の目標レベルを設定する目標レベル設定ステップと、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、をさらに実行させるためのプログラムである。効果調整ステップでは、視覚処理の効果を設定するための効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力する。視覚処理ステップでは、合成された合成信号と画像信号とに基づいて画像信号を階調変換する。

これにより、効果調整信号により異なる合成信号を生成して視覚処理の強さを変更するので、所定の階調変換関数を強さの程度に合わせて変更しなくてもよい。また、目標レベル設定ステップで目標レベルを設定することにより、この視覚処理方法により実現される視覚処理効果をどのような階調特性まで変化させるかを設定することができる。

第 38の発明は、第 36の発明であって、コンピュータに、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生ステップと、をさらに実行させるためのプログラムである。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステップでは、効果調整信号に応じて視覚処理の効果を異ならせるように調整する。

このプログラムによれば、効果調整信号に応じて視覚処理の効果を異ならせることが可能となる。

第 39の発明は、第 38の発明であって、効果調整信号発生ステップは、画像信号からェッジ領域に隣接する平坦な領域を検出して効果調整信号を出力する。

第 40の発明は、第 38の発明であって、コンピュータに、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、画像信号から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、をさらに実行させるためのプログラムである。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定する。

このプログラムによれば、特殊画像がでな、通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。

第 41の発明は、第 1から第 29のいずれか 1つの発明である視覚処理装置を含む集積回路である。

このような構成により、集積回路でも視覚処理装置と同様の効果を得ることが可能となる。

(発明の効果）

本発明によれば、急峻なエッジ領域を有する画像や特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さをリアルタイムに変更することができる視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路を実現することができる。

図面の簡単な説明

[図 1]本発明の実施形態 1における視覚処理装置のブロック図

[図 2]同実施形態における目標レベル設定部における特性図

[図 3]同実施形態におけるアンシャープ信号 USおよび出力信号 OSの説明図

[図 4]同実施形態における局所コントラスト特性についての説明図

[図 5]同実施形態における DR圧縮特性の説明図

[図 6]同実施形態における視覚処理装置の変形例 1のブロック図

[図 7]同実施形態における階調特性の説明図

[図 8]同実施形態におけるゲイン特性の説明図

[図 9]本発明の実施の形態 1の視覚処理装置の構成を示すブロック図圆 10]同 2次元階調特性を説明するための説明図

圆 11]同処理信号 OSの出力を説明するための説明図

圆 12]同制御信号発生部の構成を示すブロック図

[図 13]同効果調整信号の出力を説明するための説明図

[図 14]同視覚処理装置の動作を説明するフローチャート

圆 15]同変形例の制御信号発生部の構成を示すブロック図

圆 16]同変形例の効果調整信号を説明するための説明図

圆 17]本発明の実施の形態 2における視覚処理装置の構成を示すブロック図圆 18]本発明の実施の形態 3における視覚処理装置の構成を示すブロック図

[図 19]本発明の実施の形態 4における視覚処理システムの構成を示すブロック図圆 20]同 2次元ゲイン特性を説明するための説明図

[図 21]本発明の実施の形態 6の視覚処理装置の構成を示すブロック図

圆 22]同 2次元階調特性を説明するための説明図

圆 23]同処理信号の出力を説明するための説明図

[図 24]同特殊画像検出部の構成を示すブロック図

圆 25]同特殊画像を説明するための説明図

[図 26]同エッジ画素を説明するための説明図

圆 27]同効果調整信号の出力を説明するための説明図

圆 28]同視覚処理装置の動作を説明するフローチャートおよび連続変化処理部の構成図

[図 29]同変形例 1の特殊画像検出部の構成を示すブロック図

圆 30]同変形例 1の頻度検出部で検出される頻度分布を説明するための説明図圆 31]同変形例 1の効果調整信号を説明するための説明図

[図 32]同変形例 2の特殊画像検出部の構成を示すブロック図

圆 33]同変形例 2の連続長を説明するための説明図

圆 34]同変形例 2の効果調整信号を説明するための説明図

[図 35]同変形例 3の特殊画像検出部の構成を示すブロック図

圆 36]同変形例 3のブロック画像を説明するための説明図 [図 37]同変形例 3の効果調整信号を説明するための説明図

[図 38]本発明の実施の形態 7における視覚処理装置の構成を示すブロック図

[図 39]本発明の実施の形態 8における視覚処理装置の構成を示すブロック図

[図 40]本発明の実施の形態 9における視覚処理システムの構成を示すブロック図

[図 41]同 2次元ゲイン特性を説明するための説明図

[図 42]本発明の実施形態 2におけるコンテンツ供給システムの全体構成図

[図 43]同実施形態における視覚処理装置を搭載する携帯電話の正面図

[図 44]同実施形態における携帯電話の全体構成について説明するブロック図

[図 45]同実施形態におけるディジタル放送用システムの全体構成についての説明図

[図 46]同実施形態におけるコンピュータのシステムの例を説明するブロック図

[図 47]従来の視覚処理装置のブロック図

圆 48]同装置における階調変換の特性図

符号の説明

1、 20、 101、 102、 103、 104、 1001、 1002、 1003、 1004 視覚処理装置

2、 10 空間処理部

3、 21、 30、 31、 32 視覚処理部

4 目標レベル設定部

5、 1020、 1021、 1022、 2021、 2022 効果調整部

22 乗算部

40 制御信号発生部

41 エッジ検出部

42 エッジ近傍検出部

43 平坦検出部

44、 2144, 704、 84、 93 効果調整信号発生部

2140、 700、 80、 90 特殊画像検出部

50 連続変化処理部

2141 エッジ検出部

2142 エッジ量判定部 2143 エッジ密度算出部

2144 効果調整信号発生部

701 頻度検出部

702 頻度判定部

703 階調数検出部

81 類似輝度検出部

82 連続長検出部

83 平均連続長算出部

91 高周波ブロック検出部

92 高周波ブロック密度検出部

1905、 4005 ゲイン型視覚処理装置

発明を実施するための最良の形態

以下、本発明の実施の形態における視覚処理装置について図面を参照しながら説明する。

(実施の形態 1)

まず、実施の形態 1である視覚処理装置について説明する。ここで行う視覚処理とは人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素値とその周辺画素値との対比により出力信号を決定する処理である。適用される処理として、逆光補正処理、ニー処理、 DR圧縮処理、明るさ調整（階調処理、コントラスト調整を含む)などがある。

図 1は、実施の形態 1における視覚処理装置 1のブロック図である。

視覚処理装置 1は、画像信号 ISに視覚処理を行い視覚処理した出力信号 OSを出力する。

空間処理部 2は、空間処理の対象となる対象画素と、対象画素の周辺領域の画素 (以下、「周辺画素」と記す)との画素値を入力信号 ISから取得する。取得した原画像の画素ごとの入力値に空間処理を実施しアンシャープ信号 USを出力する。アンシャープ信号 USは入力信号 ISをローノスフィルタで処理したぼけ信号である。

アンシャープ信号 USにより着目画素の周辺領域を含む明るさを検出できる。目標レベル設定部 4は、視覚処理で要求される効果の目標レベルを設定するものである。例えば、局所コントラストの効果、 DR圧縮などの要求される視覚処理効果をどのような階調変換特性まで変化させるかの目標を設定する。調整する階調変換特性に応じて、設定された目標レベル値を決定する関数を設定し、所定の関数に基づいて入力信号 ISを変換する。

具体的には、局所コントラスト処理には図 2に示す直線 1の変換特性に応じて目標レベル値 Lを出力する。ここで、直線 1は入力信号 ISに応じて目標レベルを変化させる。例えば、目標レベル L =入力信号 ISとする。なお、この場合、目標レベル設定部 4は無くても良い。

同様に、 DR圧縮処理には図 2に示す直線 2の変換特性に応じて目標レベル値 Lを出力する。直線 2は入力信号 ISに応じて目標レベルを変化させない。すなわち、目標レベル L =所定の値 T1 (固定）とする。なお、この場合には目標レベル設定部 4はなくてもよい。

なお、直線 1と直線 2の中間的な変換特性により目標レベル値 Lを出力するようにしてもよい。例えば、目標レベル L= (入力信号 IS +所定の値 T1) ÷ 2としてもよい。また、直線 1と直線 2の間で設定される曲線 1により目標レベル値 Lを出力するようにしてもよい。

効果調整部 5は、外部信号 (効果調整信号) MODに応じて目標レベル Lとアンシャープ信号 USとを内分演算（「内分演算」とは、内分により、例えば、 2つの物理量から 1つの物理量を算出することをいう）により合成し、合成信号 MUSを出力する。効果調整部 5は、例えば、 MUS= (US— L) X MOD + Lなる内分演算を実施する。外部信号 (効果調整信号) MODの値は「0」から「 1」の範囲で設定され、 MODが「0」で効果なし、 MOD力「l」で効果最大となる。式の変形として、 MUS = US X MOD + L X (1— MOD)としてもよい。

視覚処理部 3は、設定される 2次元階調変換特性に基づいて、入力信号 ISと合成信号 MUSに対して出力信号 OSを出力する。この階調変換特性よつて様々な視覚効果を実現することができる。

次に、本発明の実施の形態 1における視覚処理装置 1について、さらに詳しく説明する。

まず、視覚処理の効果として局所コントラストを強調したり弱めたりする場合の制御について説明する。制御は、外部より効果調整信号を設定することで行う。

視覚処理装置 1は、図 4に示すように 2次元階調変換特性を持つように設定される。ここで、横軸は入力された入力信号 IS、縦軸は変換された出力信号 OSである。

2次元階調変換特性とは、合成信号 MUSと入力信号 ISとの 2つの入力に対して、出力を決定するための階調変換における入出力特性をいう。例えば、図 4の合成信号 MUS0から MUSnの信号レベルに応じて所定の階調変換特性を持つ。従って、入力信号 ISの画素値が 8ビットの値とすると、 256段階に分けられた入力信号 ISの値に対する出力信号 OSの画素値が所定の 2次元階調変換特性により決定される。階調変換特性は所定のガンマ変換特性を持つ階調変換曲線であり、合成信号 MUS の添え字について、出力が単調減少する関係にある。なお、合成信号 MUSの添え字について、出力が一部分単調減少でない箇所があつたとしても、実質的に単調減少であればよい。また、図 4に示しように、 2次元階調変換特性において、全ての入力信号 ISの画素の明度値に対して、（MUS = MUS0の場合の出力値）≥ (MUS = M US 1の場合の出力値）≥ · · ·≥ (MUS = MUSnの場合の出力値）の関係を満たしている。この階調変換特性により局所領域のコントラストが強調される。

次に、空間処理部 2は、例えば、入力信号 ISの対象画素に対して低域空間のみを通過させる低域空間フィルタ演算によりアンシャープ信号 USを得る。フィルタ演算では、対象画素と周辺画素の画素値を、例えば、 US= (∑[Wij] X [Aij]) / (∑[Wij] )に基づいて計算する。ここで、 [Wij]は、対象画素および周辺画素において、 i行 j列目に位置する画素の重み係数であり、 [Aij]は、対象画素および周辺画素において、 i行 j列目〖こ位置する画素の画素値である。また、「∑」は、対象画素および周辺画素のそれぞれの画素につ、ての合計の計算を行うことを意味して、る。

より具体的には、重み係数 [Wij]が 1、画素値 [Aij]を A(i, j)と表現して説明する。対象画素の画素値は A (l, 1)が「128」、 A(0, 0)が「110」、 A(0, 1)が「115」、 A ( 0, 2)が「117」、 A(l, 0)が「123」、 A(l, 2)が「120」、 A (2, 0)が「120」、 A(2, 1 )が「127」、 A (2, 2)が「125」とする。このとき、 3画素 X 3画素の領域よりアンシヤープ信号 USを得るには、 US = (128 + 110+ 115 + 117+ 123 + 120 + 120+ 127 + 125) Z9となる演算をすればよい。

なお、画素値の差の絶対値が大き、ほど小さ、値の重み係数が与えられてもよ!/ヽし、対象画素からの距離が大きヽほど小さ、重み係数が与えられてもよ、。

また、周辺画素の領域は、効果に応じて、その領域の大きさが設定されるものであり、視覚効果を得るためには、周辺画素の領域は、ある程度の大きさの領域に設定することが好ましい。例えば、対象とする画像の大きさが XGA(1024 X 768)では、周辺画素の領域を 80画素 X 80画素以上の大きさの領域に設定するのが好ま、。また、低域空間フィルタとしては、アンシャープ信号の生成に通常用いられる FIR ( Finite Impulse Response)型の低域空間フィルタ、あるいは IIR (Infinite Impu lse Response)型の低域空間フィルタなどを用いてもよ！、。

目標レベル設定部 4は、局所コントラスト処理では、図 2に示す直線 1の変換特性を設定し、目標レベル L=入力信号 ISとする。よって、効果調整信号 MOD = 0のとき、視覚処理の「効果なし」であるので、合成信号 MUS =入力信号 ISとなる。

(例えば、合成信号 MUSが、

MUS = US X MOD + IS X (1. 0— MOD)

で求められる場合、 MOD = 0をこの数式に代入することで、合成信号 MUS =入力信号 ISとなる。）

なお、目標レベル L =入力信号 ISとする場合は、目標レベル設定部 4はなくてもよい。直接、入力信号 ISを効果調整部 5に入力すればよい。

視覚処理部 3は、合成信号 MUS=入力信号 ISのときに、視覚処理部 3に入力される 2つの入力信号 ISと合成信号 MUSとが同じ値になり、視覚処理装置 1では、図 4 に示す曲線 2の階調変換特性による階調変換が実行される。曲線 2の階調変換特性は、明るさ調整 (ガンマ変換)のみの特性を持ち、局所コントラストを高める効果はない。

効果調整部 5は、効果調整信号 MODの設定により必要な視覚処理の効果を調整する。例えば、 MOD = 0. 5とすれば、合成信号 MUSを MUS = (US— L) X MOD + Lとし、 L = ISとすると、合成信号 MUS = 0. 5 X US + 0. 5 X ISとなる。このとき合成信号 MUSは、図 3 (a)に示すように、入力信号 ISとアンシャープ信号 USの中間的な出力となる。この合成信号 MUSで視覚処理された出力信号 OS (M US)は、図 3 (b)に示すように、入力信号 ISのみに基づいて視覚処理した出力信号 OS (IS)とアンシャープ信号 USのみに基づいて視覚処理した出力信号 OS (US)との中間的な出力となる。よって、視覚処理装置 1は、 MODが「1」で視覚処理の「効果最大」である出力信号 OS (US)を出力し、 MODが「0」で視覚処理の「効果なし」である出力信号 OS (IS)を出力する。

このように、効果調整信号 MODの値に応じて、局所コントラストの視覚処理効果を強めたり、弱めたりすることができる。

また、効果調整部 5は、効果調整信号 MODにより入力信号 ISとアンシャープ信号 USを内分した合成信号 MUSを生成する。これにより、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで視覚処理の効果を変更することができる。

次に、 DR圧縮処理について図 5を用いて説明する。カメラなどの撮像装置において、 DR圧縮処理は、画像を入力する CCDが持つ入力レンジを撮影装置で記録する記録レンジに収めるための処理である。通常、撮影装置では、人の顔を基準に明るさを調整して撮影するため、顔の明るさが出力の DRの 80%程度になるように明るさ設定がなされる。よって、例えば、顔の背景にある明るい空の領域等は、出力の DRの残りの 20%に入れる必要がある。このため、図 5に示す曲線 4のように入力レンジが一定レベル以上となるところから、出力の DRを圧縮して変換する「ニー処理」が一般的に行われている。

しかし、出力の DRの 20%のレンジに空などの明るい明部領域の信号を圧縮して収めると、階調不足により、雲などの陰影が飛んでしまったりすることがある。

そこで、視覚処理装置 1は、図 5に示すように、入力レンジが「1. 0」前後より大きい値をもつ明部領域を変換する階調曲線 MUS0から MUSnを持ち、これらの階調曲線に基づいて、合成信号 MUSに応じて圧縮程度を制御する。これにより、視覚処理装置 1に明部領域の信号が入力された場合であっても、出力信号において階調不足が発生することを抑えることができる。また、目標レベル設定部 4には図 2に示す直線 2の変換特性を設定し、目標レベル L =所定の値 T1 (固定)とする。

この場合、効果調整信号 MODが「0」のとき、 ^ff -^-MUS = US X MOD + L X (1. 0— MOD)とすると、合成信号 MUS=T1となり、効果調整信号 MODが「1」のとき合成信号 MUS =アンシャープ信号 USとなる。目標レベル Lの設定により、図 5 に示す MUS0から MUSnまでの曲線の中力所定の曲線を 1つ選択することになる視覚処理部 3は、合成信号 MUSが =T1 (固定値)のとき、図 5に示す曲線 3の階調変換曲線で固定した DR圧縮を行う。また、合成信号 MUS =アンシャープ信号 U Sのとき、局所領域の明るさに応じた DR圧縮を行うので、この DR圧縮において、局所領域の明るさに応じた視覚処理の効果が高くなる。

次に、効果調整部 5で効果調整信号 MODの設定により、必要な視覚処理の効果を調整する。例えば、 MOD=0. 5とすれば、合成信号 MUS = 0. 5 X US + 0. 5 X T1となる。

このように、効果調整信号 MODを所定の値に設定することで、曲線 3の階調変換曲線と階調変換曲線 MUSnの内分により定まる変換曲線により、効果の強さが違う D R圧縮処理を実現することができる。

なお、視覚処理装置 1は、視覚処理部 3で入力信号 ISを階調変換した値を出力信号 OSとして出力する構成となっているが、階調変換した値に相当する、入力信号 IS に対するゲインの値を出力する構成としてもょ、。

図 6に、変形例 1である視覚処理装置 20のブロック図を示す。重複を避けるため、視覚処理装置 1 (図 1)と同じ処理の説明は省略する。

図 6において、視覚処理装置 20は、例えば、図 7に示すように 2次元階調変換特性を持つように設定される。ここで、横軸は入力された入力信号 IS、縦軸は変換された出力信号 OSである。

また、階調変換特性は、合成信号 MUSにより MUS0〜MUSnまでの異なる階調変換曲線が選択される。この特性により、画像中の暗部領域は、 MUS0によりコントラストが高くなり、明るくなるように変換される。一方、画像中の明部領域は MUSnにより変換が抑制されている。これにより、人物の顔が暗く背景領域が明るい逆光画像等に対して有効な暗部補正を実現できる。

ここで、視覚処理部 21は、図 7の階調変換曲線の傾きをゲインとして、図 8に示すゲイン特性により入力信号 ISを補正するようにする。横軸は入力された入力信号 IS、縦軸はゲイン信号 GAINの出力である。

このゲイン信号 GAINを入力信号 ISに乗算することで、図 7に示す出力信号 OSと等価な出力が得られる。

目標レベル設定部 4は、図 7の階調変換曲線による階調変換処理を実現する場合、図 2に示す直線 1の変換特性を設定し、目標レベル L=入力信号 ISとする。よって、効果調整信号 MOD = 0のとき合成信号 MUS =入力信号 ISとなる。

効果調整部 5は、効果調整信号 MODに応じて目標レベル Lとアンシャープ信号 U Sとを内分演算により合成し、合成信号 MUSを出力する。つまり、この効果調整信号 MODにより、視覚処理の効果の強さを調節することができる。

視覚処理部 21は、合成信号 MUS =入力信号 ISのとき、視覚処理部 3に入力される 2つの入力信号 ISと合成信号 MUSとが同じ値になり、視覚処理装置 20では、図 7 に示す曲線 5の所定のガンマ変換のみの階調変換が実行され、暗部補正の効果を有する階調変換は実行されなヽ。

これにより、効果調整信号 MODの値を設定することにより、所定のガンマ変換のみの特性による階調変換から暗部補正を実現する階調変換まで、階調変換における効果の調節をすることができる。

視覚処理部 21は、設定されるゲイン特性を実現するために、入力信号 ISと合成信号 MUSとに基づいて、ゲイン信号 GAINを出力する。

乗算部 22は、ゲイン信号 GAINと入力信号 ISとを乗算し、出力信号 OSを出力する

2次元ゲイン特性の特徴として、階調変換曲線に比べて入力信号 ISに対する曲線の変化が緩やかである。よって、入力信号、合成信号 MUSを粗く間引いても十分に処理精度を確保でき、視覚処理部 21に入力する入力信号 ISのビット精度を落とすことができる。これにより、ハードウェア 'ロジック設計では回路規模を削減できる。なお、視覚処理部 21を入力信号 ISおよび合成信号 MUSとゲイン信号 GAINとの関係を与える 2次元ルックアップテーブル (以下、「2次元 LUT」と記す)で構成し、入力信号 ISと合成信号 MUSとに対して、 2次元 LUTを参照してゲイン信号 GAINを出力するよう〖こしてもよい。これにより、 2次元 LUTに階調変換値を格納するよりもゲイン値を格納するほうが 2つの入力信号のビット数を削減でき、大幅にメモリ容量を削減できる。

また、視覚処理部 21は、 2次元 LUTで構成することで、複雑なゲイン特性も予め作成することができる。視覚処理部 21を 2次元 LUTで構成する場合、リード 'オンリー' メモリ（以下、「ROM」と記す)等により実現することができる。また、ゲイン特性を更新できるようにするため、 2次元 LUTを、書き換え可能なメモリ、例えば、ランダム'ァクセス 'メモリ（以下、「RAM」と記す)等で構成してもよい。 2次元 LUTには予め設定される 2次元ゲイン特性を有するゲインデータが格納されてヽる。この 2次元ゲイン特性を変更することで、局所コントラスト処理、 DR圧縮処理など様々な視覚効果を得ることがでさる。

さらに、視覚処理装置 1、 20では、視覚処理の強さに対して効果調整信号 MODの値を設定することで、効果の強さを柔軟に調節できる。

なお、効果調整信号 MODは、設定によって予め、またはリアルタイムに変更可能な信号である。例えば、リモコンにより表示装置の画面メニューを選択し、対応する値を、効果調整信号 MODとして設定するようにしてもよい。

また、画像中の特徴量、例えば、所定の画像パターン、画像濃淡、色を自動的に抽出して自動的に最適な値を効果調整信号 MODとして設定するようにしてもよい。また、リモコンにより、例えば、表示装置の画面選択メニューに表示された「映画画質」、「ニュース画質」など力選択し、その選択メニューごとに予め設定されている調整範囲で自動的に値を効果調整信号 MODとして設定するなど半自動としてもょ、。また、視覚処理装置 1、 20は、図示しない放送内容検出部を有し、番組情報として分離された EPG表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を放送内容検出部で検出し、検出された情報の内容に基づいて効果調整信号 MODを変更してもよい。なお、データのジャンル情報や画像の情報は、 MPEG のストリーム情報より検出してもよい。

以上のように本実施の形態の視覚処理装置によれば、効果調整信号 MODにより視覚処理の強さを強めることも弱めることもできるので、強弱に応じた階調変換特性、ゲイン特性データを作り直す必要がなヽ。

これにより、いろいろな強さの視覚処理を実現するための専用回路、いろいろな強さの視覚処理を実現するためのプロファイルデータの LUTを用意しなくて済む。よつて、視覚処理装置を実現する場合において、ハードウェア回路、テーブル用のメモリ容量を削減できる。また、視覚処理装置において、 LUTを用いた構成では、 LUTの内容を入れ替える必要がないため、変更時間をなくすことができ、視覚効果の調整をリアルタイムにできる。

また、本実施形態の視覚処理装置では、効果調整信号 MODをリアルタイムに変更するように構成することもできるので、視覚処理の効果の強さをリアルタイムに変更することができる。具体的には、フレーム単位、画素単位で視覚処理の強さを変更でき、画像中の局所領域に対しても視覚処理の強さを変更できる。

また、効果調整部 5は、効果調整信号 MODにより、入力信号 ISまたはレベル信号またはこれらの予め設定された値と、アンシャープ信号 USとを内分した合成信号 M USを生成する。これにより、視覚処理装置において、所定の明るさを変換するガンマ変換のみの特性から、局所コントラスト変換する特性まで、視覚処理の効果を変更することがでさる。

(実施の形態 2)

次に、本発明の実施の形態 2について、図面を用いて詳細に説明する。

一般に、自然画像は階調数が多ぐ自然画像に視覚処理を行うことで局所コントラストなどを高めた鮮鋭な画像を得ることができる。一方、画像中に急峻なエッジがあると、視覚処理を施した場合には、副作用が目立ちやすい。この副作用を抑えるため、視覚処理を弱くすると、自然画像に対しても処理が弱くなり鮮鋭さのない画像となつてしまう。

よって、エッジ近傍に対してのみ、視覚処理を弱くすることで、自然画像全体に対して処理効果を維持しながら、エッジ近傍での副作用を抑えることが可能となる。本発明の実施の形態 2である視覚処理装置は、視覚処理の効果を異ならせるための効果調整信号を出力し、効果調整信号に応じて視覚処理の効果を異ならせるように（強度、補正量)調整を行うものである。

さらに、視覚処理の対象とする画像において、エッジに隣接した領域、またはエッジに隣接した平坦領域を検出し、エッジ量と平坦度の度合！ヽから効果調整信号を生成し、効果調整信号に応じて視覚処理の効果を異ならせるように調整するものである。これにより、視覚処理装置に急峻なエッジ領域を有する画像が入力された場合であつても、視覚処理の効果を得ながら、エッジ近傍での副作用を抑えることができる。ここで、視覚処理とは、人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値（明るさ）との対比に応じて出力信号の値を決定する処理である。視覚処理は、逆光補正、ニー処理、 Dレンジ圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む)などに適用される。

また、本発明の実施の形態では、 YCbCr色空間、 YUV色空間、 Lab色空間、 Luv 色空間、 YIQ色空間、 YPbPr色空間の輝度成分 Yまたは明度成分 Lを輝度信号と定義する。以下、輝度信号を画像信号として説明する。

本発明の実施の形態 2である視覚処理装置について、図 9〜図 16を用いて説明する。図 9は、本発明の実施の形態 2における視覚処理装置 101の構成を示すブロック図である。

図 9において、本発明の実施の形態 2による視覚処理装置 101は、入力された画像信号力も周辺画像情報 (アンシャープ信号) USを出力する空間処理部 10と、エッジ近傍領域の平坦度合いに応じて効果調整信号 MODを出力する制御信号発生部 4 0と、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 USとの割合を変えて合成した合成信号 MUSを出力する効果調整部 1020と、合成信号 MUSと画像信号 ISとにもとづ、て画像信号 ISを視覚処理する視覚処理部 30とを備えて、る。以下、視覚処理装置 101の各機能部について説明する。

空間処理部 10は、画像信号 ISから対象画素の値と対象画素の周辺領域にある画素（以下、「周辺画素」という）の値とを抽出し、抽出した画素の値を用いて画像信号 I sに対してフィルタ処理を行う。

たとえば、空間処理部 10は、画像信号 ISをローパスフィルタにより処理したアンシヤープ信号 usを生成する。アンシャープ信号 usは、以下のような演算により生成する。

US = (∑ [Wij] X [Aij]) ÷ (∑[Wij])

ここで、 [Wij]は、対象画素および周辺画素において、 i行 j列目に位置する画素の重み係数であり、 [Aij]は、対象画素および周辺画素において、 i行 j列目に位置する画素の値である。また、「∑」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味して、る。

なお、画素値の差の絶対値が大き、ほど小さ、値の重み係数が与えられてもよ!/ヽし、対象画素力も距離が大きいほど小さい重み係数を与えるようにしてもよい。また、周辺画素の領域サイズは効果に応じてあら力じめ設定される大きさであり、所定のサィズより大きくすると視覚効果を高めることができる。たとえば、対象とする画像の大きさが縦 1024画素および横 768画素であれば、縦横がそれぞれ 80画素以上の領域力アンシャープ信号 USを生成することにより、それぞれ縦横 3画素程度の局所領域に比較してより視覚効果を高めることができる。

また、低域空間フィルタとしては、アンシャープ信号の生成に通常用いられる FIR ( Finite Impulse Response)型の低域空間フィルタ、あるいは IIR (Infinite Impu lse Response)型の低域空間フィルタなどを用いてもよ！、。

つぎに、効果調整部 1020は、制御信号発生部 40から出力される効果調整信号 M ODに応じて、画像信号 ISとアンシャープ信号 USとを補間処理により合成し、合成信号 MUSを出力する。合成信号 MUSは、たとえば、効果調整信号 MODに応じて、以下の（式 1)のように内分演算される。制御信号発生部 40については後述する。

MUS = US X MOD + IS X (1. 0— MOD) (式 1)

ここで、効果調整信号 MODの値は「0. 0」から「1. 0」までの範囲で変化し、効果調整信号 MODの値が「0. 0」で処理なし、効果調整信号 MODの値が「1. 0」で処理の強さが最大となる。なお、（式 1)は、（式 2)のように変形させることもでき、同様に、合成信号 MUSを生成できる。 MUS = (US-IS) X MOD + IS (式 2)

つぎに、視覚処理部 30は、効果調整部 1020からの合成信号 MUSにしたがって、画像信号 ISを階調変換する。

視覚処理部 30は、たとえば、図 10に示す、 2次元階調変換特性にもとづいて階調変換を行う。ここで、 2次元階調変換とは、合成信号 MUSと画像信号 ISとの 2つの入力に対して出力の値が決定される階調変換をいう。視覚処理部 30は、 2次元階調変換特性にもとづいて画像信号 ISと合成信号 MUSとに対して処理信号 OSを出力する。この階調変換特性よつて様々な視覚効果を出すことができる。

図 10を用いて、 2次元階調変換特性に説明する。図 10は、 2次元階調変換特性を説明するための説明図である。ここで、横軸は入力された画像信号 IS、縦軸は変換された処理信号 OSの出力である。

図 10に示すように、 2次元階調変換は、合成信号 MUS0から MUSnの信号レベルに応じて所定の階調変換特性を持つ。したがって、画像信号 ISの画素値が 8ビットの値とすると、 256段階に分けられた画像信号 ISの値に対する出力信号 OSの画素値が所定の 2次元階調変換特性により決定される。階調変換特性は所定のガンマ変換特性を持つ階調変換曲線であり、合成信号 MUSの添え字について、出力が単調減少する関係にある。なお、合成信号 MUSの添え字について、出力が一部分単調減少でない箇所があつたとしても、実質的に単調減少であればよい。また、図 10に示したように、 2次元階調変換特性において、すべての画像信号 ISの画素の明度値に対して、（MUS = MUS0の場合の出力値）≥ (MUS = MUS1の場合の出力値）≥ · · •≥ (MUS = MUSnの場合の出力値）の関係を満たしている。

図 10に示す 2次元階調変換特性によれば、視覚処理部 30は、入力された画像信号 ISが値「a」に対して、周囲領域の明度値が小さいときに MUS0を選択することで処理出力 OSの値は「P」となり、逆に、周囲領域の明度値が大きいときに MUSnを選択することで処理出力 OSの値は「Q」となる。このように、入力された画像信号 ISが値「a」であっても、周囲領域の明度値の変化によって処理出力 OSは値「P」から値「Q」まで大きく変化させることができる。これにより、暗部のコントラストを合成信号 MUSに応じて強調することができる。一方、視覚処理の効果をなくすため、合成信号 MUS =画像信号 ISとなるようにすれば、図 10に示す、曲線 2の階調変換特性を持たせることができる。曲線 2の階調変換特性では、画像全体の明るさ調整 (ガンマ変換)ができるが、局所の暗部領域だけコントラストを高めるなどの視覚効果はない。

なお、この 2次元階調変換特性を変更することで、様々な視覚処理の効果を出すことができ、ニー処理、 DR圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む)などに適用可能となる。

つぎに、視覚処理部 30において、合成信号 MUSにもとづいて視覚処理の効果を異ならせたときの処理出力 OSについて図 11を用いて説明する。図 11は、処理信号 OSの出力を説明するための説明図である。

図 11 (a)において、横軸は処理する画素位置、縦軸は合成信号 MUSの出力である。

合成信号 MUSは、たとえば、効果調整信号 MODの値を「0. 5」としたときには、画像信号 ISとアンシャープ信号 USの中間的な出力となる。

このとき、図 11 (b)に示すように、画像信号 ISのみにもとづいて視覚処理した処理信号 OSを OS (IS, IS)とし、画像信号 ISとアンシャープ信号 USとにもとづいて視覚処理の処理信号 OSを OS (IS, US)とすれば、画像信号 ISと合成信号 MUSにしたがって視覚処理された処理信号 OSである OS (IS, MUS)は、 OS (IS, IS)と OS (IS , us)との中間的な出力となる。

よって、効果調整信号 MODの値が「1. 0」のとき、合成信号 MUS=USとなり、視覚処理の「効果が最大」である処理信号 OS (IS, US)を出力する。一方、効果調整信号 MODの値が「0. 0」のとき、合成信号 MUS =ISとなり、視覚処理の「効果なし」である処理信号 OS (IS, IS)を出力する。

このように、視覚処理部 30は、合成信号 MUSに応じて暗部コントラストの視覚処理の効果を強めたり、弱めたりすることができる。これにより、画像全体の明るさを変換するだけの処理の効果から、局所領域でのコントラストを周囲の明るさで異ならせるように (変化させるように)した処理の効果まで、効果が異なる様々な視覚効果を、視覚処理装置 101にお、て実現することができる。なお、視覚処理装置 101において、 2次元階調変換特性を変更することで、ニー処理、 DR圧縮処理、色処理なども実現することができる。

また、視覚処理部 30は、 2次元 LUTを有してもよい。この場合、視覚処理部 30は、視覚処理部 30の 2次元 LUTに、図 10に示す、特性データ（以下、「プロファイル」という）を設定することで、階調変換する。

また、視覚処理部 30は、演算回路によって視覚処理を行うようにしてもよい。特に、視覚処理部 30の 2次元 LUTに、簡易な直線によって近似可能な特性であるプロファィルが設定される場合、 2次元 LUTのテーブルをなくすことができ、視覚処理装置 1 01の回路規模を削減することができる。

つぎに、図 12、図 13を用いて、制御信号発生部 40について説明する。図 12は、制御信号発生部 40の構成を示すブロック図、図 13は効果調整信号 MODの出力を説明するための説明図である。

図 12に示すように、制御信号発生部 40は、画像信号 ISから隣接領域ごとの輝度差であるエッジ量を検出するエッジ検出部 41と、エッジ量力エッジ領域の近傍度合いを検出するエッジ近傍検出部 42と、隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合！/ヽを検出する平坦検出部 43と、エッジ近傍度合!/ヽと平坦度合!/ヽに応じて効果調整信号 MODを出力する効果調整信号発生部 44とを備えている。エッジ検出部 41は、所定の範囲の領域ごとに、画像信号 ISからエッジ量を検出する。エッジ検出部 41は、 Sobelフィルタや Prewittフィルタなどの 1次微分フィルタ、ラプラシアンフィルタなどの 2次微分フィルタなどのエッジ検出フィルタ（図示せず）を用いてエッジ量 EGを検出する。エッジ検出部 41は、たとえば、図 13 (a)に示す、画像信号 ISが入力されたときに、図 13 (b)に示すようなエッジ量を出力する。ここで、図 1 3 (a)の縦軸は画像信号 ISの値であり、横軸は処理している画素の画素位置である。また、図 13 (b)の縦軸はエッジ量 EGであり、横軸は処理している画素の画素位置である。

エッジ近傍検出部 42は、エッジの近傍領域を検出する。たとえば、エッジ近傍検出部 42は、所定の領域ごとに検出されるエッジ量をローパスフィルタで処理し、エッジ近傍に近づいたときに大きな出力となる近傍度合いを出力する。たとえば、図 13 (c) に示すように、エッジ近傍検出部 42は、エッジの近傍に近いほど、大きな出力となるエッジ近傍度を出力する。ここで、また、図 13 (c)の縦軸はエッジ近傍度であり、横軸は処理して、る画素の画素位置である。

平坦検出部 43は、隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合いを検出する。たとえば、図 13 (d)に示すように、平坦検出部 43は、図 13 (b)のェッジ量の出力から、隣接領域との輝度差を検出し、輝度差が小さいほど大きな平坦度合いを出力する。ここで、また、図 13 (d)の縦軸は、平坦度合いを示す平坦度 FT であり、横軸は処理している画素の画素位置である。

効果調整信号発生部 44は、図 13 (e)に示すように、図 13 (c)の近傍度と、図 13 (d )の平坦度を掛け合わせ、エッジ近傍度が大きぐ平坦度が高いほど視覚効果を弱める効果調整信号 MODを出力する。ここで、図 13 (d)の縦軸は効果調整信号 MOD の出力であり、横軸は処理している画素の画素位置である。また、視覚処理装置 101 において、効果調整信号 MODの値が大きいほど、視覚効果は強くなる。

これにより、効果調整信号発生部 44は、図 13 (e)に示すように、エッジ近傍領域では、視覚効果を弱めるような出力を行い、エッジ近傍領域よりは離れた領域に対しては視覚効果を強めるような出力を生成している。また、効果調整信号発生部 44は、平坦度合いに応じて、エッジ近傍領域では、平坦度合いが大きいほど視覚効果を弱めるような出力を行い、平坦度合いが小さいほど視覚効果を強めるような出力を行う。これにより、視覚処理装置 101では、エッジ近傍に対してのみ副作用を低減でき、自然画像に対して優れた視覚処理の効果を有する視覚処理を実現することができるつぎに、視覚処理装置 101の動作について、図 14を用いて説明する。図 14は視覚処理装置 101の動作を説明するフローチャートである。

図 16に示すように、視覚処理装置 101に、画像が入力され (S101)、エッジ検出部 41により、画像信号 ISから隣接領域ごとの輝度差であるエッジ量を検出する（S102) つぎに、視覚処理装置 101は、エッジ近傍検出部 42により、エッジ量をローパスフィルタにより処理し、エッジ量力もの近傍度合いを検出する（S103)。また、視覚処理装置 101は、平坦検出部 43により、エッジ量力も輝度差を検出し、エッジ近傍の平坦度合いを検出する（S104)。

つぎに、視覚処理装置 101は、効果調整信号発生部 44により、エッジ近傍検出部 42から出力される近傍度と、平坦検出部 43から出力される平坦度とを掛け合わせ、効果調整信号 MODを生成する（S105)。

つぎに、視覚処理装置 101は、効果調整部 1020により、効果調整信号 MODに応じて画像信号 ISとアンシャープ信号 USとの割合を変えて合成した合成信号 MUSを生成する（S106)。

つぎに、視覚処理装置 101は、視覚処理部 30により、合成信号 MUSに対応して、図 10に示す 2次元階調変換特性の曲線のひとつを選択し、画像信号 ISを変換する（ S107)。これにより、視覚処理装置 101は、合成信号 MUSに応じて、視覚処理の効果を異ならせるように調整した視覚処理を実行する。

つぎに、視覚処理装置 101は、つぎに処理する画素がある力否かを判断する（S10 8)。つぎに処理が必要な画素がない場合は、視覚処理を完了する。一方、つぎに処理が必要な画素がある場合は、ステップ S101に戻り、つぎの画像 (画素）が入力される。以後、処理が必要な画素がなくなるまで、 S 101から S 108までのステップを繰り返し実行する。

以上のように、本発明の実施の形態 2の視覚処理装置 101によれば、エッジ近傍に対してのみ副作用を低減でき、自然画像に対して優れた視覚処理の効果を有する視覚処理を実現することができる。

なお、視覚処理装置 101は、エッジ量力もエッジ近傍度を、入力画像信号 ISから平坦度を求め、エッジ近傍度と平坦度とにもとづいて効果調整信号 MODを生成したが、空間処理部 10のアンシャープ信号 USの変化量力も効果調整信号 MODを生成してもよい。

以下、制御信号発生部 40の変形例によるエッジ近傍の平坦領域を検出する方法について説明する。

図 15、図 16を用いて、アンシャープ信号 USの変化量力も効果調整信号 MODを生成する実施形態について説明する。図 15は制御信号発生部 70の構成を示すブロック図である。

図 15に示すように、制御信号発生部 70は、アンシャープ信号 USの変化量を検出する変化量検出部 71と、検出された変化量に応じて効果調整信号 MODを出力する効果調整信号発生部 72とを備える。

変化量検出部 71は、アンシャープ信号 USの変化量を検出する。たとえば、変化量を Sobelフィルタや Prewittフィルタなどの 1次微分フィルタ、ラプラシアンフィルタなどの 2次微分フィルタなどのエッジ検出フィルタ（図示せず)を用いて検出する。

効果調整信号発生部 72は、変化量検出部 71で検出された変化量に応じて、出力を調整する。つまり、効果調整信号発生部 72は、変化量が高いほど効果調整信号 MODの信号レベル (値）を小さくするように出力する。たとえば、図 16に示すように、検出された変化量が所定の値 Tha以上得られたときに効果調整信号 MODの信号レベルを変化させ、所定の値 Thbまでの範囲で効果調整信号 MODの信号レベルを減少させる。所定の値 Thb以上は効果調整信号 MODの信号レベルを変化させなヽ。これにより、自然画像に通常含まれるエッジ成分には反応せず、急峻なエッジ領域が入力されたときに効果調整信号 MODの信号レベルを変化させることができる。ここで、横軸は変化量、縦軸は効果調整信号 MODの出力（信号レベル)である。なお、出力される効果調整信号 MODの信号レベルの範囲を「0. 0」から「1. 0」としたが、視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、効果調整信号 MODの信号レベルが大きいほど、視覚処理装置 101での視覚処理の効果が強いものになるように、視覚処理装置 101を構成する。

以上のように、制御信号発生部 70によれば、アンシャープ信号 USの変化量から、エッジ近傍の平坦領域を検出でき、効果調整信号 MODを生成できる。

なお、画像信号が縮小されて！、るサムネイル画像などの縮小画像からエッジ近傍の平坦領域を検出し、エッジ近傍の平坦度合い、または、アンシャープ信号 USの変化量にもとづ、て効果調整信号 MODを出力するようにしてもょ、。

また、画像信号と制御信号発生部 40との間に画像信号を縮小する縮小処理部（図示せず)を備え、縮小処理部で生成された縮小画像力エッジ近傍の平坦度合、、または、アンシャープ信号 USの変化量にもとづいて効果調整信号 MODを出力するようにしてもよい。

縮小画像を用いることにより、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出できる。つまり、画像信号を平均した後で間引く縮小方法で生成された縮小画像は、ノイズ成分が低減されているので、縮小画像を用いることで、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出することができる。また、縮小画像を用いれば、検出する画素数を削減でき、演算量を削減できる。

また、制御信号発生部 40、制御信号発生部 70の前にローパスフィルタなどを設置し、画像信号の帯域制限を行い、エッジ近傍の平坦領域を検出してもよい。これにより、ノイズ成分を低減でき、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出できる。

(実施の形態 3)

本発明の実施の形態 2では、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 (アンシャープ信号) USとの割合を変えて合成した合成信号 MUSを出力し、視覚処理部 30は効果調整部 1020からの合成信号 MUSにしたがって画像信号 ISを視覚処理した処理出力 OSを出力するようにしたが、本発明の実施の形態 3では、効果調整部 1021によって、視覚処理された処理出力 OSと画像信号 ISとを効果調整信号に応じて合成した合成出力 OUTを出力するようにした実施形態について、図 1 7を用いて説明する。

図 17は、本発明の実施の形態 3における視覚処理装置 102の構成を示すブロック図である。

以下、実施の形態 2と同様の部分については、同一符号を付し、その詳細な説明は省略する。

図 17において、視覚処理部 30は、画像信号 ISと空間処理部 10の出力 USとにもとづ、て処理出力 OSを出力する。

効果調整部 1021は、画像信号 ISと処理出力 OSとを、効果調整信号 MODに応じて内分演算することで、視覚処理の効果を異ならせる (変更する)。たとえば、効果調整部 1021からの出力 OUTは、以下の（式 3)のように内分演算によって算出される。

OUT=OS X MOD + IS X (1. 0— MOD) (式 3) なお、（式 3)は、（式 4)のように変形しても実現できる。

OUT= (OS-IS) X MOD + IS (式 4)

以上のように、本発明の実施の形態 3によれば、効果調整信号 MODに応じて、処理信号 OSと画像信号 ISとの割合を変化させて合成した合成信号 OUTを出力でき、視覚処理の効果を異ならせる (変更する)ことができる。

なお、制御信号発生部 40は、本発明の実施の形態 2における制御信号発生部 70 に置き換えてもよい。これによつても、同様にエッジ近傍領域を検出でき、エッジ近傍での周辺情報の変化量に応じた効果調整信号 MODを生成できる。

(実施の形態 4)

本発明の実施の形態 2では、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 USとの割合を変えて合成した合成信号 MUSを出力し、視覚処理部 30は効果調整部 1020からの合成信号 MUSにしたがって画像信号を視覚処理した処理出力 OSを出力するようにしたが、本発明の実施の形態 4では、効果調整部 1022は、効果調整信号 MODに応じて、視覚処理の効果の異なる視覚処理部 31と視覚処理部 32との出力の割合を変えて合成した合成出力 OUTを出力する実施形態について、図 18を用いて説明する。

図 18は本発明の実施の形態 4における視覚処理装置 103の構成を示すブロック図である。以下、実施の形態 2と同様の部分については、同一符号を付し、その詳細な説明は省略する。

効果調整部 1022は、制御信号発生部 40から出力される効果調整信号 MODに応じて、視覚処理の強度が異なる第 1プロファイル 60が LUTに設定された視覚処理部 31の出力 OSAと、第 2プロファイル 61が LUTに設定された視覚処理部 32の出力 O SBとを内分演算により合成し、合成出力 OUTを出力する。なお、外分演算によって合成出力を生成してもよい。このとき、合成出力 OUTは (式 5)のようになる。

OUT=OSAX MOD + OSB X (1. 0— MOD) (式 5)

なお、（式 5)は、（式 6)のように変形しても実現できる。

OUT= (OSA-OSB) X MOD + OSB (式 6)

以上のように、本発明の実施の形態 4の視覚処理装置 103によれば、効果調整信号 MODに応じて、視覚処理の効果の異なる視覚処理部 31の出力と視覚処理部 32 の出力との割合を変えて合成した合成出力を得ることで、視覚効果の度合いを異ならせた視覚処理を行うことができる。

(実施の形態 5)

本発明の実施の形態 2から本発明の実施の形態 4までの視覚処理装置では、 2次元階調変換特性にもとづく階調変換値を出力するようにしていたが、本発明の実施の形態 5では、ゲイン信号を用いて階調変換を行う場合について、図 19、図 20を用いて説明する。

図 19は本発明の実施の形態 5におけるゲイン型視覚処理システム 104の構成を示すブロック図、図 20は 2次元ゲイン特性を説明するための説明図である。以下、実施の形態 2と同様の部分については、同一符号を付し、その詳細な説明は省略する。図 19において、ゲイン型視覚処理システム 104は、画像信号 ISを視覚処理したゲイン信号 GAINを出力するゲイン型視覚処理装置 1905と、ゲイン信号 GAINと画像信号 ISとを乗算する乗算器 1911とを備えている。

また、ゲイン型視覚処理装置 1905は、画像信号 ISを視覚処理した処理信号 OSを出力する視覚処理装置 101と、処理信号 OSを画像信号 ISで除算する除算器 1912 とを備えている。ここで、視覚処理装置 101は、画像信号 ISの出力を視覚処理した階調変換値を出力するもので、この階調変換値を画像信号 ISで除算することで、ゲイン型視覚処理装置 5を実現できる。

乗算器 1911は、ゲイン型視覚処理装置 1905で出力されるゲイン信号 GAINと画像信号 ISとを乗算し、画像信号 ISの出力を視覚処理した階調変換値を出力する。なお、視覚処理部 30において、図 20に示す、 2次元ゲイン特性を持つプロファイルを直接に用いて処理するようにしてもよい。ここで、図 20の縦軸はゲイン出力 GN、横軸は画像信号 ISである。図 20に示す 2次元ゲイン特性は、図 10に示す 2次元階調特性のプロファイルの出力を画像信号 ISで除算して得たものと等価である。この 2次元ゲイン特性を持つプロファイルを視覚処理装置 101の視覚処理部 30の LUTに設定してもよい。このように、 2次元ゲイン特性のプロファイルを視覚処理部 30の LUT にあらかじめ設定すれば、ゲイン信号 GNとゲイン信号 GAINは等価となるため、除算器 12を削除してもゲイン型視覚処理装置 1905を実現することができる。

ゲイン型視覚処理装置 1905では、入力された画像信号 ISの変化に対して処理信号の変化が小さいため、入力信号のビット数を削減でき、回路規模を削減できる。また、視覚処理部 30に 2次元 LUTが備えられた場合にはメモリ容量を削減できる。以上のように、本発明の実施の形態 5のゲイン型視覚処理システム 104によれば、ゲイン信号 GAINを制御することで、容易に階調の飽和を抑えることができ、優れた視覚処理を実現することができる。

なお、本発明の実施の形態 2における視覚処理装置 101は、本発明の実施の形態 3における視覚処理装置 102に置き換えてもよい。これによつても、同様にゲイン型視覚処理装置 1905を実現できる。

また、本発明の実施の形態 2における視覚処理装置 101は、本発明の実施の形態 4における視覚処理装置 103に置き換えてもよい。これによつても、同様にゲイン型視覚処理装置 1905を実現できる。

以上のように、本発明の実施の形態 2から本発明の実施の形態 5によれば、急峻なエッジ領域を有する画像が入力された場合であっても、副作用を抑えた視覚処理を実現することができる。

なお、上記実施形態で説明した視覚処理装置は、動画像を取り扱う機器に内蔵あるいは接続し、フレームごと、もしくはフィールドごとの画像力も効果調整信号 MOD を生成するようにしてもよい。制御信号発生部 40は、画像信号がフレーム画像のときにはひとつ（1フレーム）以上前のフレーム画像より、もしくは画像信号がフィールド画像のときにはひとつ（1フィールド）以上前のフィールド画像からエッジ情報や平坦度情報を抽出することができる。これにより、視覚処理装置は、フレームの先頭力エツジ情報や平坦度情報に応じた効果調整信号 MODを使用することができる。また、視覚処理装置は、ひとつ前（1フィールド前）のフィールド画像からエッジ情報や平坦度情報を抽出でき、フィールド画像の先頭力もエッジ情報や平坦度情報に応じた効果調整信号 MODを使用することができる。また、制御信号発生部 40は、ひとつ以上前 (1フレーム前）のフレーム画像より、もしくはひとつ（1フィールド）以上前のフィールド画像力エッジ情報や平坦度情報を抽出することで、回路の遅延をあわせることが容易となり回路規模を削減できる。

(実施の形態 6)

一般に、自然画像は階調数が多ぐ自然画像に視覚処理を行うことで局所的な明暗比などを強調した鮮鋭な画像を得ることができる。一方、特殊画像は画像信号の画像中における濃淡が変化する領域の割合が極端に少な、か、または画像信号の画像中における濃淡が変化しな、領域の割合が極端に多、と、つた統計的な情報の偏りをもつ。このような特殊画像では、画像中に平坦な領域が多い。このため、急峻なエッジがある特殊画像に視覚処理を施した場合には、副作用が目立ちやすい。この副作用を抑えるため、視覚処理を弱くすると、自然画像に対しても処理が弱くなり鮮鋭でなヽ画像となってしまう。

よって、特殊画像に対してのみ副作用を抑えることで、自然画像に対して優れた視覚処理の効果を実現することができる。

本発明の実施の形態 6における視覚処理装置は、画像信号から統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りの度合いにもとづいて効果調整信号を生成し、生成された効果調整信号に応じて視覚処理の効果を異ならせる (変更する）ように調整するものである。

ここで、視覚処理とは、人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値（明るさ）との対比に応じて出力信号の値を決定する処理である。視覚処理は、逆光補正、ニー処理、 Dレンジ圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む)などに適用される。

本発明の実施の形態 6である視覚処理装置について、図 21〜図 28を用いて説明する。図 1は、本発明の実施の形態 6における視覚処理装置 1001の構成を示すプロック図である。

図 21において、本発明の実施の形態 6における視覚処理装置 1001は、入力された画像信号 ISから周辺画像情報 (アンシャープ信号) USを抽出する空間処理部 10 と、画像信号 ISから統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて視覚処理の効果を異ならせるための特殊画像用効果調整信号 DSを出力する特殊画像検出部 2140と、特殊画像用効果調整信号 DSをフレーム間で連続的に変化させた効果調整信号 MODを出力する連続変化処理部 50 と、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 USとの割合を変えて合成した合成信号 MUSを出力する効果調整部 1020と、効果調整部 1020からの合成信号 MUSにしたがって画像信号 ISを視覚処理した処理出力 OSを出力する視覚処理部 30とを備えている。

この構成により、特殊画像検出部 2140は、特殊画像が持つ情報の偏り度合いに応じた特殊画像用効果調整信号 DSを出力できる。また、効果調整部 1020は、特殊画像用効果調整信号 DSを連続的に変化させた効果調整信号 MODにより、視覚処理部 30での視覚処理の効果を異ならせるための合成信号 MUSを生成できる。また、視覚処理部 30は、効果調整部 1020から出力される合成信号 MUSに応じて画像信号 ISを階調変換できる。

これにより、特殊画像が入力された場合であっても、視覚処理装置 1001は特殊画像を検出でき、特殊画像に対して視覚処理部 30は視覚処理の効果を異ならせ、副作用を抑えることができる。

以下、視覚処理装置 1001の各機能部について説明する。

空間処理部 10は、画像信号 ISから対象画素の値と対象画素の周辺領域にある画素（以下、「周辺画素」という）の値とを抽出し、抽出された画素の値を用いて画像信号 ISに対してフィルタ処理を行う。

たとえば、画像信号 ISをローノスフィルタにより処理することで、画像信号 ISからァンシャープ信号 USを生成する。アンシャープ信号 usは、以下のような演算により生成する。 US = (∑ [Wij] X [Aij]) / (∑[Wij])

また、ローパスフィルタとしては、 FIR (Finite Impulse Response)型の空間フィルタ、あるいは IIR (Infinite Impulse Response)型の空間フィルタなどを用いてちょい。

つぎに、効果調整部 1020は、連続変化処理部 50から出力される効果調整信号 M ODに応じて画像信号 ISとアンシャープ信号 USとを補間処理により合成し、合成信号 MUSを出力する。合成信号 MUSは、たとえば、効果調整信号 MODに応じて、以下の（式 7)のように内分演算される。連続変化処理部 50につ、ては後述する。

MUS = US X MOD + IS X (1. 0— MOD) (式 7)

ここで、効果調整信号 MODの値は「0. 0」から「1. 0」までの範囲で変化し、効果調整信号 MODの値が「0. 0」で視覚処理の効果なし、効果調整信号 MODの値が「1 . 0」で視覚処理の効果が最大となる。なお、（式 7)は、（式 8)のように変形させることもでき、同様に、合成信号 MUSを生成できる。

MUS = (US-IS) X MOD + IS (式 8)

視覚処理部 30は、たとえば、図 22に示す、 2次元階調変換特性にもとづいて階調変換を行う。ここで、 2次元階調変換とは、合成信号 MUSと画像信号 ISとの 2つの入力に対して出力の値が決定される階調変換をいう。視覚処理部 30は、 2次元階調変換特性にもとづいて画像信号 ISと合成信号 MUSとに対して処理信号 OSを出力する。この階調変換特性よつて様々な視覚効果を出すことができる。

図 22を用いて、 2次元階調変換特性を説明する。図 22は、 2次元階調変換特性を説明するための説明図である。ここで、横軸は入力された画像信号 IS、縦軸は変換された処理信号 OSの出力である。

図 22に示すように、 2次元階調変換は、合成信号 MUS0から MUSnの信号レベルに応じて所定の階調変換特性を持つ。したがって、画像信号 ISの画素値が 8ビットの値とすると、 256段階に分けられた画像信号 ISの値に対する出力信号 OSの画素値が所定の 2次元階調変換特性により決定される。階調変換特性は所定のガンマ変換特性を持つ階調変換曲線であり、合成信号 MUSの添え字について、出力が単調減少する関係にある。なお、合成信号 MUSの添え字について、出力が一部分単調減少でない箇所があつたとしても、実質的に単調減少であればよい。また、図 22に示したように、 2次元階調変換特性において、すべての画像信号 ISの明度値に対して、 ( MUS = MUS0の場合の出力値）≥ (MUS = MUS1の場合の出力値）≥ · · ·≥ (M US = MUSnの場合の出力値）の関係を満たして、る。

図 22に示す 2次元階調変換特性によれば、視覚処理部 30は、入力された画像信号 ISが値「a」に対して、周囲領域の明度値が小さいときに MUS0を選択することで処理出力 OSの値は「P」となり、逆に、周囲領域の明度値が大きいときに MUSnを選択することで処理出力 OSの値は「Q」となる。このように、入力された画像信号 ISが値「a」であっても、周囲領域の明度値の変化によって処理出力 OSは値「P」から値「Q」まで大きく変化させることができる。これにより、暗部のコントラストを合成信号 MUSに応じて強調することができる。

一方、視覚処理の効果をなくすため、合成信号 MUS =画像信号 ISとなるようにすれば、図 22に示す、曲線 2の階調変換特性を持たせることができる。曲線 2の階調変換特性では、画像全体の明るさ調整 (ガンマ変換)ができるが、局所的なコントラストを高めるなどの視覚効果はな、。なお、この 2次元階調変換特性を変更することで、様々な視覚処理の効果を出すことができ、ニー処理、 DR圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む)などに適用可能となる。

つぎに、視覚処理部 30において、合成信号 MUSにもとづいて視覚処理の効果を異ならせたときの処理出力 OSについて図 23を用いて説明する。図 23は、処理信号 OSの出力を説明するための説明図である。

図 23 (a)において、横軸は処理する画素位置、縦軸は合成信号 MUSの出力である。

このとき、図 23 (b)に示すように、画像信号 ISのみにもとづいて視覚処理した処理信号 OSを OS (IS, IS)とし、画像信号 ISとアンシャープ信号 USとにもとづいて視覚処理の処理信号 OSを OS (IS, US)とすれば、画像信号 ISと合成信号 MUSにしたがって視覚処理された処理信号 OSである OS (IS, MUS)は、 OS (IS, IS)と OS (IS , us)との中間的な出力となる。

このように、視覚処理部 30は、合成信号 MUSに応じて局所的なコントラストの強調効果を強めたり、弱めたりすることができる。これにより、画像全体の明るさを変換するだけの処理の効果から、局所領域でのコントラストを周囲の明るさで異ならせるように (変化させるように)した処理の効果まで、効果が異なる様々な視覚効果を、視覚処理装置 1001にお、て実現することができる。

なお、視覚処理装置 1001において、 2次元階調変換特性を変更することで、ニー処理、 DR圧縮処理、色処理なども実現することができる。

また、視覚処理部 30は、 2次元 LUTを有してもよい。この場合、視覚処理部 30は、 2次元 LUTに、図 22に示す、特性データ（以下、「プロファイル」という）を設定することで、階調変換する。

また、視覚処理部 30は、演算回路によって視覚処理を行うようにしてもよい。特に、視覚処理部 30の 2次元 LUTに、簡易な直線によって近似可能な特性であるプロファィルが設定される場合、 2次元 LUTのテーブルをなくすことができ、視覚処理装置 1 001の回路規模を削減することができる。

つぎに、図 24、図 25、図 26および図 27を用いて、特殊画像検出部 2140について説明する。ここでは、特殊画像の情報の偏りを、画像中における濃淡が変化する領域の割合力も検出する場合について説明する。また、濃淡の変化はエッジ成分より検出する。

図 24は、特殊画像検出部 2140の構成を示すブロック図、図 25は特殊画像を説明するための説明図、図 26はエッジ画素を説明するための説明図、図 27は特殊画像用効果調整信号 DSの出力を説明するための説明図である。

図 24に示すように、特殊画像検出部 2140は、画像信号 ISからエッジ量を画素ごとに検出するエッジ検出部 2141と、エッジ量が所定の値以上であるエッジ画素を判定するエッジ量判定部 2142と、画像信号 ISの全画素数に対するエッジ画素数の割合を算出するエッジ密度算出部 2143と、エッジ密度算出部 2143で算出された割合に応じて特殊画像用効果調整信号 DSを出力する効果調整信号発生部 2144とを備えている。

これにより、視覚処理装置 1001において、階調レベル数が極端に少なぐエッジ成分が描画画像の輪郭領域に限定される特殊画像を検出でき、その情報の偏りを検出することができる。

また、特殊画像検出部 2140は、画像信号がフレーム画像のときには、 1フレーム以上前のフレーム画像より統計的な情報の偏りを検出し、画像信号力フィールド画像のときには、 1フィールド以上前のフィールド画像力統計的な情報の偏りを検出するようにする。これにより、視覚処理装置 1001は、フレームまたはフィールドの先頭から特殊画像の情報の偏りに応じた特殊画像用効果調整信号 DSを使用することができる。

たとえば、特殊画像検出部 2140が、図 25に示す特殊画像 200を処理する場合について、説明する。図 25に示すように、特殊画像 200は、背景領域 201、パターングループ 202、パターングループ 203およびパターングループ 204を有し、いずれの領域も濃淡値が一定または変動が小さいものとする。各グループは、形状は異なるが、濃淡値がほぼ同じものとする。

エッジ検出部 2141は、画像信号 ISから画素ごとにエッジ量を検出する。エッジ検出部 2141は、 Sobelフィルタや Prewittフィルタなどの 1次微分フィルタ、ラプラシァンフィルタなどの 2次微分フィルタなどのエッジ検出フィルタ（図示せず）を用いてエツジ量を検出する。

エッジ量判定部 2142は、あら力じめ設定された閾値とエッジ量とを画素ごとに比較し、エッジ量が所定の閾値以上のときにエッジ画素と判定する。

たとえば、エッジ量判定部 2142〖こより、特殊画像 200を処理することで、図 26に示すような出力 300が得られる。

図 26において、エッジ画素は、エッジ画素 301、エッジ画素 302およびエッジ画素 303であり、特殊画像 200の図形パターンの輪郭領域に発生する。

つぎに、図 24に戻り、エッジ密度算出部 2143は、画像信号 ISの全画素数に対するエッジ画素数の割合であるエッジ密度を、以下のように算出する。

エッジ密度 =エッジ画素数 ÷全画素数

ここで、エッジ密度は、画像信号 ISがフレーム画像であればフレーム内の全画素に対するエッジ画素数の割合とする。また、画像信号 ISがフィールド画像であればフィ一ルド内の全画素に対するエッジ画素数の割合とする。

効果調整信号発生部 2144は、エッジ密度に応じて、出力を調整する。つまり、効果調整信号発生部 2144は、エッジ密度が大きくなるほど特殊画像用効果調整信号 DSの信号レベル (値）が大きくなるように出力する。たとえば、図 27に示すように、ェッジ密度が所定の値 Tha以上カゝら所定の値 Thbまでの範囲で特殊画像用効果調整信号 DSの信号レベルを増加させる。このように閾値を設けることにより、特殊画像が含まれる閾値「Tha」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号 DSを生成できる。一方、特殊画像でない通常の画像が含まれる閾値「¥ 」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。ここで、横軸はエッジ密度、縦軸は特殊画像用効果調整信号 DSの出力である。なお、出力される特殊画像用効果調整信号 DSの信号レベルの範囲を「0. 0」から「1. 0」としたが、視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの信号レベルが大きいほど視覚処理の効果が強いものになるように、視覚処理装置 1001を構成する。

連続変化処理部 50は、特殊画像用効果調整信号 DSがフレーム単位で出力されるときはフレーム間で、もしくは特殊画像用効果調整信号 DSがフィールド単位で出力されるときはフィールド間で、連続的に効果調整信号 MODを変化させるように動作する。たとえば、連続変化処理部 50は、特殊画像用効果調整信号 DSを一時記憶するレジスタなどの記憶部（図示せず)を備え、新たなフレームで特殊画像検出部 21 40から出力される特殊画像用効果調整信号 DSと一時記憶した特殊画像用効果調整信号 DSとを内分演算することで、効果調整信号 MODを生成し、その生成した効果調整信号 MODを記憶部に記憶する。記憶部には、初期値として、最初に検出された特殊画像用効果調整信号 DSを記憶する。連続変化処理部 50は、この内分演算により生成された効果調整信号 MODを出力する。これにより、効果調整信号 MO Dをフレーム間で急激に変化させないようにしている。また、連続変化処理部 50は、 I IR型のフィルタなどにより実現することができる。

つぎに、視覚処理装置 1001の動作について、図 28を用いて説明する。図 28 (a) は視覚処理装置 1001の動作を説明するフローチャートである。図 28 (b)は、連続変化処理部 50の構成の一例を示す図である。

図 28 (a)、（b)に示すように、画像信号 ISがフレーム画像の場合には、 1フレーム以上前のフレーム画像力も統計的な情報の偏りを検出するため、複数のフレーム画像が視覚処理装置 1001に入力される。もしくは、画像信号 ISがフィールド画像の場合には、 1フィールド以上前のフィールド画像力統計的な情報の偏りを検出するため、複数のフィールド画像が視覚処理装置 1001に入力される（S201)。視覚処理装置 1 001に、複数のフレーム画像もしくは複数のフィールド画像が入力された後、特殊画像検出部 2140は、検出対象となるフレーム画像もしくはフィールド画像である画像信号 ISから特殊画像を検出し、検出された特殊画像の統計的な偏りに応じた特殊画像用効果調整信号 DSを出力する (S202)。

つぎに、視覚処理装置 1001は、効果調整信号 MODがフレーム間で連続的に変化するように補間処理を行う。視覚処理装置 1001は、連続変化処理部 50により、一時記憶するレジスタなどの記憶部 5001に一時記憶した、 1フレーム前の効果調整信号 MODIを読み出し (S203)、ステップ S 202で検出した特殊画像用効果調整信号 DSと、ステップ S203で読み出した効果調整信号 MODIとを内分演算などにより補間し、その補間処理により生成された効果調整信号 MODを連続変化処理部 50から出力する（S204)。これにより、処理されたフレーム画像間で生じる急激な変化を抑え、視覚効果の違いによって生じる画像のちらつきなどを抑えることができる。

つぎに、視覚処理装置 1001は、特殊画像用効果調整信号 DSと効果調整信号 M OD1とを補間することで生成された効果調整信号 MODを記憶部 5001に一時記憶する（S205)。この補間処理が内分演算によるものである場合、その内分の比は、あらかじめ与えられるものである。

つぎに、視覚処理装置 1001は、効果調整部 1020により、効果調整信号 MODに応じて画像信号 ISと空間処理部 10からのアンシャープ信号 USとを合成した合成信号 MUSを生成する（S206)。

視覚処理装置 1001は、視覚処理部 30により、合成信号 MUSに応じて図 22に示す 2次元階調変換特性の曲線のひとつを選択し、画像信号 ISを変換する（S207)。つぎに、視覚処理装置 1001は、つぎに処理するフレーム画像がある力否かを判断する（S208)。つぎに処理が必要なフレーム画像がない場合は、視覚処理を完了する。一方、つぎに処理が必要なフレーム画像がある場合は、ステップ S201に戻り、つぎのフレーム画像を入力する。以後、処理が必要なフレームがなくなるまで、 S201力ら S208までのステップを繰り返し実行する。

なお、以上、効果調整信号 MODがフレーム間で連続的に変化するように補間処理を行う場合について説明したが、補間処理の対象は、フレーム間に限らず、フィールド間であってもよい。

以上のように、本発明の実施の形態 6の視覚処理装置 1001によれば、特殊画像が入力された場合であっても、画像中のエッジを検出し、検出されたエッジ量にもとづいて視覚処理の効果を調整するので、自然画像では視覚効果を高めながら、特殊画像では副作用を抑えることができる。

なお、統計的な偏りを検出する方法は、前述した特殊画像検出部 2140の方法に限定されない。特殊画像は、画像信号 ISの画像中における濃淡が変化する領域の割合が極端に少な、か、または画像信号 ISの画像中における濃淡が変化しな、領域の割合が極端に多!、と、つた統計的な情報の偏りをもつ。

以下、統計的な偏りを検出する方法について、他の変形例について説明する。まず、変形例 1に係る特殊画像検出部 700について説明する。変形例 1に係る特殊画像検出部 700では、画像信号 ISの画像中における濃淡が変化しなヽ領域の割合力統計的な情報の偏りを検出する。濃淡が変化しない領域は、画像の平坦度合いにより検出することができる。この平坦度合いを検出する方法として、画像信号 IS から階調数の偏りを検出する方法を採る。画像を構成する各画素のとりうる階調レべル数 (階調数)が極端に少な、画像 (各画素がとる階調レベル数の分布が極端に狭い画像)では、濃淡が一定である領域が広いため、画像中における平坦度合いは高くなる。この情報の偏りから特殊画像の度合いを求めることができる。

図 29、図 30および図 31を用いて、画像信号 ISから階調数の偏りを検出する場合の変形例 1について説明する。図 29は変形例 1の特殊画像検出部 700の構成を示すブロック図、図 30は変形例 1の頻度検出部 701で検出される頻度分布を説明するための説明図、図 31は変形例 1の特殊画像検出部 700から出力される特殊画像用効果調整信号 DSを説明するための説明図である。

図 29に示すように、特殊画像検出部 700は、画像信号から階調レベルごとの頻度を検出する頻度検出部 701と、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを判定する頻度判定部 702と、頻度判定部 702 により頻度が大きいと判定された階調レベル数を検出する階調数検出部 703と、階調数検出部 703において検出された階調レベル数に応じて効果調整信号を出力する効果調整信号発生部 704とを備えて、る。

頻度検出部 701は、ヒストグラム法により、画像信号から階調レベルごとの頻度を検出する。たとえば、画像信号が 256階調であれば、「0」から「255」までの各階調レべルの出現頻度を検出する。

頻度判定部 702は、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを検出する。

図 30に示すように、頻度判定部 702は、階調レベル Laにおいて頻度 401が所定の閾値 Thより大きいことを判定する。同様に、頻度判定部 702は、階調レベル Lb、階調レベル Lcおよび階調レベル Ldにおいて、頻度 402、頻度 403および頻度 400がそれぞれ所定の閾値 Thより大きいことを判定する。ここで、図 30の横軸は階調レべル、縦軸は頻度である。

階調数検出部 703は、頻度判定部 702で頻度が大きいと判定された階調レベルの数を計数する。

効果調整信号発生部 704は、計数された階調レベル数に応じて、階調数が大きくなるほど特殊画像用効果調整信号 DSの信号レベル (値)を大きくするようにして、特殊画像用効果調整信号 DSを出力する。たとえば、図 31に示すように、計数された階調レベル数が所定の値 The以上カゝら所定の値 Thdまでの範囲で特殊画像用効果調整信号 DSの信号レベル (値)を増加させる。

このように閾値を設けることにより、効果調整信号発生部 704は、特殊画像が含まれる閾値「Thc」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号 DSを生成できる。一方、効果調整信号発生部 704は、特殊画像でない通常の画像が含まれる閾値「Thd」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。図 31において、横軸は階調レベル数、縦軸は特殊画像用効果調整信号 DSの出力である。なお、出力される特殊画像用効果調整信号 DSの値の範囲を「0. 0」から「1. 0」としたが、視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの値が大き、ほど視覚処理の効果が強、ものになるように、視覚処理装置 1001を構成する。

以上のように、変形例 1の特殊画像検出部 700によれば、画像信号から画像情報の偏りに応じて特殊画像の度合、を検出でき、特殊画像検出部 2140を特殊画像検出部 700に置き換えることが可能となる。つぎに、変形例 2に係る特殊画像検出部 80について説明する。変形例 2に係る特殊画像検出部 80では、画像信号 ISの画像中における濃淡が変化しなヽ領域の割合力統計的な情報の偏りを検出する。濃淡が変化しない領域は、画像の平坦度合いにより検出することができる。この平坦度合いを検出する方法として、画像信号 IS から隣接画素との輝度差が所定の値以下となる類似画素が連続している連続長を検出し、検出された複数の連続長を平均した平均連続長を検出する方法を採る。これにより、特殊画像の度合いを検出することができる。特殊画像では、濃淡が一定である領域が広いため、画像中における平坦度合いは高くなり、類似輝度の画素が多く連続する。つまり、統計的な情報の偏りから特殊画像の度合いを検出できる。

図 32、図 33および図 34を用いて、画像信号から類似した輝度信号が連続するときの連続長を検出する変形例 2の場合について説明する。

図 32は変形例 2の特殊画像検出部 80の構成を示すブロック図、図 33は変形例 2 の連続長を説明するための説明図、図 34は変形例 2の特殊画像用効果調整信号 D Sを説明するための説明図である。

図 32に示すように、変形例 2の特殊画像検出部 80は、画像信号 ISから隣接画素との輝度差が所定の値以下となる類似画素を検出する類似輝度検出部 81と、類似画素が連続している連続長を検出する連続長検出部 82と、連続長検出部 82で検出された複数の連続長を平均することで平均連続長を算出する平均連続長算出部 83と、平均連続長に応じて特殊画像用効果調整信号 DSを出力する効果調整信号発生部 84とを備えている。

類似輝度検出部 81は、画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する。所定の値は、あら力じめ実験的に求められる値であり、求められる機器の画質仕様により決定される。

連続長検出部 82は、類似画素が連続している連続長を検出する。たとえば、図 33 に示すように、縦方向 503、縦方向 504および縦方向 505などの縦方向と、横方向 5 00、横方向 501および横方向 502などの横方向とにおいて、類似画素が連続している画素数を連続長として検出する。

平均連続長算出部 83は、連続長検出部 82で検出された複数の連続長を平均することで平均連続長を算出する。

効果調整信号発生部 84は、平均連続長に応じて、平均連続長が長くなるほど特殊画像用効果調整信号 DSの信号レベル (値)を小さくするように出力する。たとえば、図 34に示すように、検出された平均連続長が所定の値「The」以上力所定の値「T hfjまでの範囲で特殊画像用効果調整信号 DSの信号レベル (値)を減少させる。ここで、横軸は平均連続長、縦軸は特殊画像用効果調整信号 DSの出力である。このように閾値を設けることにより、効果調整信号発生部 84は、特殊画像でない通常の画像が含まれる閾値「The」以下の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。一方、効果調整信号発生部 84は、特殊画像が含まれる閾値「1¾」以上の場合は視覚効果を完全になくした特殊画像用効果調整信号 DSを生成できる。

なお、出力される特殊画像用効果調整信号 DSの値の範囲を「0. 0」から「1. 0」とした力視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置 1001を構成する。

以上のように、変形例 2の特殊画像検出部 80によれば、画像信号から画像情報の偏りを有する特殊画像の度合いを検出でき、特殊画像検出部 2140を特殊画像検出部 80に置き換えることが可能となる。

つぎに、変形例 3に係る特殊画像検出部 90について説明する。変形例 3では、画像信号 ISの画像中における濃淡が変化する領域の割合力統計的な情報の偏りを検出する。濃淡が変化する領域は、画像中のエッジ成分により検出することができる。ここでは、画像中のエッジ成分として、分割された複数のブロック力高周波成分を含む高周波ブロックを検出し、分割されたブロックの全数に対する高周波ブロックの数の割合を検出することで、特殊画像である度合!ヽを検出する。

図 35、図 36および図 37を用いて、高周波ブロックの数の割合を検出する変形例 3 の場合について説明する。図 35は変形例 3の特殊画像検出部 90の構成を示すプロック図、図 36は変形例 3のブロック画像を説明するための説明図、図 37は変形例 3 の特殊画像用効果調整信号 DSを説明するための説明図である。図 35に示すように、変形例 3の特殊画像検出部 90は、複数のブロックに分割された画像信号 ISから高周波成分を含む高周波ブロックを検出する高周波ブロック検出部 91と、全ブロック数に対する高周波ブロック数の割合を検出する高周波ブロック密度検出部 92と、高周波ブロック密度検出部 92で検出されたブロック数の割合に応じて効果調整信号を出力する効果調整信号発生部 93とを備える。

高周波ブロック検出部 91は、入力された画像信号が MPEGや JPEGなどの符号ィ匕された圧縮画像である場合、符号ィ匕ブロックごとに高周波成分を検出することができる。たとえば、符号ィ匕ブロックごとの AC係数を検出することで高周波成分を抽出できる。

高周波ブロック検出部 91は、所定の値以上の高周波成分が検出されたときのプロックを高周波ブロックと判断する。

図 36に示すように、たとえば、特殊画像 200が複数のブロックに分割され、ブロックごとに高周波成分を検出する場合について説明する。

高周波ブロック検出部 91は、ブロック 600には画像パターンのエッジが含まれるため、高周波成分を検出し、「高周波ブロックである」と判定する。一方、高周波ブロック検出部 91は、ブロック 601、ブロック 602はほぼ一定の濃淡値であるため、高周波成分を検出できず、それぞれを「高周波ブロックでない」と判定する。以下、分割されたすべてのブロックに対して、同様に判定を行う。

高周波ブロック密度検出部 92は、複数に分割された全ブロック数に対する高周波ブロック数の割合 (以下、「ブロック密度」と!、う）を検出する。

効果調整信号発生部 93は、ブロック密度に応じて、ブロック密度が高いほど特殊画像用効果調整信号 DSの値を大きくするようにして、特殊画像用効果調整信号 DSを出力する。たとえば、図 37に示すように、検出されたブロック密度が所定の値 Thg以上から所定の値 Thhまでの範囲で特殊画像用効果調整信号 DSの値を増加させる。このように閾値を設けることにより、効果調整信号発生部 93は、特殊画像が含まれる閾値「11^」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号 DS を生成できる。一方、効果調整信号発生部 93は、特殊画像でない通常の画像が含まれる閾値「Thh」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。ここで、横軸はブロック密度、縦軸は特殊画像用効果調整信号 DSの出力である。なお、出力される特殊画像用効果調整信号 DSの値の範囲を「0. 0」から「1. 0」としたが、視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置 1001を構成する。

以上のように、変形例 3の特殊画像検出部 90によれば、画像信号 ISから画像情報の偏りを有する特殊画像の度合!、を検出でき、特殊画像検出部 2140を特殊画像検出部 90に置き換えることが可能となる。

なお、画像信号が縮小されて!ヽるサムネイル画像などの縮小画像カゝら統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りにもとづいて効果調整信号を出力するようにしてもょ、。

また、画像信号と特殊画像検出部 2140、 700、 80または 90との間に画像信号を縮小する縮小処理部（図示せず)を備え、縮小処理部で生成された縮小画像から統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りにもとづいて効果調整信号を出力するようにしてもょヽ。

縮小画像を用いることにより、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出できる。つまり、画像信号を平均した後で間引く縮小方法で生成された縮小画像は、ノイズ成分が低減されているので、ノイズの影響を抑えながら統計的な情報の偏りを検出することができる。また、縮小画像を用いれば、検出する画素数を削減でき、演算量を削減できる。

(実施の形態 7)

本発明の実施の形態 6に係る視覚処理装置 1001では、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 (アンシャープ信号) USとの割合を変えて合成した合成信号 MUSを出力し、視覚処理部 30は効果調整部 1020からの合成信号 MUS にしたがって画像信号を視覚処理した処理出力 OSを出力するようにしたが、本発明の実施の形態 7に係る視覚処理装置 1002では、効果調整部 2021によって、視覚処理された処理出力 OSと画像信号 ISとを効果調整信号に応じて合成した合成出力 O UTを出力するようにする。本発明の実施の形態 7に係る視覚処理装置 1002について、図 38を用いて説明する。

図 38は本発明の実施の形態 7における視覚処理装置 1002の構成を示すブロック図である。以下、実施の形態 6と同様の部分については、同一符号を付し、その詳細な説明は省略する。

図 38において、視覚処理部 30は、画像信号 ISと空間処理部 10の出力 USとにもとづ、て処理出力 OSを出力する。

効果調整部 2021は、画像信号 ISと処理出力 OSとを、効果調整信号 MODに応じて内分演算することで、視覚処理の効果を異ならせる。たとえば、効果調整部 2021 からの出力 OUTは、以下の（式 9)のように内分演算によって算出される。

OUT=OS X MOD + IS X (1. 0— MOD) (式 9)

なお、（式 9)は、（式 10)のように変形しても実現できる。

OUT= (OS-IS) X MOD + IS (式 10)

以上のように、本発明の実施の形態 7の視覚処理装置 1002によれば、効果調整信号 MODに応じて、処理信号 OSと画像信号 ISとの割合を変化させて合成した合成信号 OUTを出力でき、視覚処理の効果を異ならせることができる。

なお、特殊画像検出部 2140を本発明の実施の形態 6の特殊画像検出部 700に置き換えてもよい。これによつても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 2140を本発明の実施の形態 6の特殊画像検出部 80に置き換えてもよい。これによつても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 2140を本発明の実施の形態 6の特殊画像検出部 90に置き換えてもよい。これによつても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号 MODを生成できる。

(実施の形態 8)

本発明の実施の形態 6に係る視覚処理装置 1001では、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 (アンシャープ信号) USとの割合を変えて合成した合成信号 MUSを出力し、視覚処理部 30は効果調整部 1020からの合成信号 MUS にしたがって画像信号を視覚処理した処理出力 OSを出力するようにしたが、本発明の実施の形態 8に係る視覚処理装置 1003では、効果調整部 2022は、効果調整信号 MODに応じて視覚処理の効果の異なる複数のプロファイルそれぞれからの出力の割合を変えて合成したプロファイル (以下、「合成プロファイル」とヽぅ）を作成し、視覚処理部 30の LUTに設定するようにした実施形態について、図 39を用いて説明する。

図 39は本発明の実施の形態 8における視覚処理装置 1003の構成を示すブロック図である。以下、実施の形態 6と同様の部分については、同一符号を付し、その詳細な説明は省略する。

効果調整部 2022は、視覚処理の強度が異なる第 3プロファイル 6000と第 4プロフアイル 6001とを効果調整信号 MODに応じて内分演算により合成し、合成プロフアイルを作成して視覚処理部 30の LUTに設定する。なお、外分演算によって合成プロファイルを生成してもよ、。

視覚処理部 30は、 LUTに設定された合成プロファイルにより、視覚処理の強弱、視覚効果の度合いを異ならせた視覚処理を行うことができる。

以上のように、本発明の実施の形態 8の視覚処理装置 1003によれば、効果調整信号 MODに応じて視覚処理の強度、効果が異なる複数のプロファイルを合成し、合成プロファイルを視覚処理部 30の LUTに設定することで、視覚処理の効果を異ならせることができる。

なお、特殊画像検出部 2140を本発明の実施の形態 6における特殊画像検出部 7 00に置き換えてもよい。これによつても、同様に特殊画像を検出でき、情報の偏り〖こ応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 2140を本発明の実施の形態 6における特殊画像検出部 80 に置き換えてもよい。これによつても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 2140を本発明の実施の形態 6における特殊画像検出部 90 に置き換えてもよい。これによつても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号 MODを生成できる。 (実施の形態 9)

本発明の実施の形態 6から本発明の実施の形態 8までの視覚処理装置では、 2次元階調変換特性にもとづく階調変換値を出力するようにしていたが、本発明の実施の形態 9では、ゲイン出力を用いて階調変換を行うゲイン型視覚処理システム 1004 について、図 40、図 41を用いて説明する。

図 40は本発明の実施の形態 9におけるゲイン型視覚処理システム 1004の構成を示すブロック図、図 41は 2次元ゲイン特性を説明するための説明図である。以下、実施の形態 6と同様の部分については、同一符号を付し、その詳細な説明は省略する図 40において、ゲイン型視覚処理システム 1004は、画像信号 ISを視覚処理したゲイン信号 GAINを出力するゲイン型視覚処理装置 4005と、ゲイン信号 GAINと画像信号 ISとを乗算する乗算器 4011とを備えている。

また、ゲイン型視覚処理装置 4005は、画像信号 ISを視覚処理した処理信号 OSを出力する視覚処理装置 1001と、処理信号 OSを画像信号 ISで除算する除算器 401 2とを備えている。ここで、視覚処理装置 1001は、画像信号 ISの出力を視覚処理した階調変換値を出力するもので、この階調変換値を画像信号 ISで除算することで、ゲイン型視覚処理装置 4005を実現できる。

乗算器 4011は、ゲイン型視覚処理装置 4005で出力されるゲイン信号 GAINと画像信号 ISとを乗算し、画像信号 ISを視覚処理した階調変換値を出力する。

なお、視覚処理部 30において、図 41に示す、 2次元ゲイン特性を持つプロファイルを直接に用いて処理するようにしてもよい。ここで、図 41の縦軸はゲイン出力 GN、横軸は画像信号 ISである。図 41に示す 2次元ゲイン特性は、図 22に示す 2次元階調特性のプロファイルの出力を画像信号 ISで除算して得たものと等価である。この 2次元ゲイン特性を持つプロファイルを視覚処理装置 1001の視覚処理部 30の LUTに設定してもよい。このように、 2次元ゲイン特性のプロファイルを視覚処理部 30の LU Tにあらかじめ設定すれば、ゲイン出力 GNとゲイン信号 GAINは等価となるため、除算器 12を削除してもゲイン型視覚処理装置 4005を実現することができる。

以上のように、本発明の実施の形態 9のゲイン型視覚処理システム 1004において、ゲイン型視覚処理装置 4005では、入力された画像信号 ISの変化に対して視覚処理した処理信号の変化が小さいため、入力信号のビット数を削減でき、回路規模を削減出来る。また、視覚処理部 30に 2次元 LUTが備えられた場合にはメモリ容量を肖 IJ減することがでさる。

なお、本発明の実施の形態 6の視覚処理装置 1001は、本発明の実施の形態 7における視覚処理装置 1002に置き換えてもよい。これによつても、同様にゲイン型視覚処理装置 4005を実現できる。

また、本発明の実施の形態 6における視覚処理装置 1001は、本発明の実施の形態 8における視覚処理装置 1003に置き換えてもよい。これによつても、同様にゲイン型視覚処理装置 4005を実現できる。

以上のように、本発明の実施の形態 6から本発明の実施の形態 9によれば、特殊画像でな!、通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。

(実施の形態 10)

上記本発明の実施の形態で説明した視覚処理装置または視覚処理システムにおける空間処理機能、効果調整機能、視覚処理機能などの各種機能は、集積回路などを用いたノヽードウエアにより実施してもよいし、中央処理装置（以下、「CPU」という）、デジタル信号処理装置などを用いて動作するソフトウェアにより実施してもよい。また、上記各種機能をソフトウェアおよびノヽードウエアの混在処理により実現しても良いまず、上記各種機能をノヽードウエアで実施する場合は、本発明の実施の形態での各機能を個別に集積回路としてもよいし、一部またはすベてを含むように 1チップ化された集積回路としてもよい。なお、ここでの集積回路とは、 LSIに限らず、集積度の違いにより、 IC、システム LSI、スーパー LSI、ウルトラ LSIと呼称されることもある。

また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能な FPGA (Field Programm able Gate Array)や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギユラブル'プロセッサーを利用してもよい。さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行ってもよい。たとえば、ノィォ技術の進歩により、バイオコンピュータの適用などが考えられる。

つぎに、上記各種機能をソフトウェアで実施する場合について、図 46を用いて説明する。

図 46は、本発明の実施の形態におけるコンピュータの構成を示すブロック図である。図 46において、コンピュータ 4612は、各種プログラムの命令を実行する CPU460

0と、プログラムなどが格納されているリードオンリーメモリ 4601 (以下、「ROM4601」という）と、一時記憶のデータを格納するランダムアクセスメモリ 4602 (以下、「RAM4

602」という）と、画像を入力する入力部 4603と、画像を出力する出力部 4604と、プログラムや各種データを記憶する記憶部 4605とを備えている。

さらに、外部との通信を行う通信部 4606と、情報記憶媒体を適宜接続するドライブ

4607とを備えるようにしてもょヽ。

また、各機能部はバス 4610を経由して制御信号、データなどの送受信を行う。 CPU4600は、 ROM4601に記憶されているプログラムにしたがって各種機能の処理を実行する。

ROM4601は、プログラム、プロファイルなどを記憶する。

RAM4602は、 CPU100により各種機能の処理に必要なデータを一時記憶する。入力部 4603には、画像を入力する。たとえば、電波を受信し、受信した受信信号を復号ィ匕することで映像信号を取得する。また、直接に有線を経由してデジタル画像を取得するようにしてもよ、。

出力部 4604は、画像を出力する。たとえば、液晶表示装置やプラズマディスプレイなどの表示装置に出力する。

記憶部 4605は、磁気メモリなどで構成され、種々のプログラム、データを記憶する通信部 4606は、ネットワーク 111に接続され、ネットワーク 111を経由してプロダラムを取得、または必要に応じて記憶部 4605に取得したプログラムをインストールするようにしてもよい。これにより、コンピュータ 6は、通信部 4606によりプログラムのダウンロードが可能となる。

ドライブ 4607は、情報記憶媒体を適宜接続し、情報記憶媒体に記憶されている記憶情報を取得する。情報記憶媒体は、たとえば、磁気ディスク、光磁気ディスク、光デイスクなどのディスク 4608、または半導体メモリなどのメモリカード 4609などである。なお、ディスク 4608、または半導体メモリなどのメモリカード 4609などに各種機能を実行するためのプログラム、プロファイルなどを記憶し、コンピュータ 4612に、その情報を与えるようにしてもょ、。

また、プログラムは、あら力じめコンピュータに専用のハードウェアで組み込んでもよいし、 ROM4601、記憶部 4605にあら力じめ組み込んで提供してもよい。

また、プログラムは、情報処理装置、テレビ、デジタルカメラ、携帯電話、 PDAなどの画像を取り扱う機器に適用できる。プログラムは、画像を取り扱う機器に内蔵、あるいは接続され、上記実施形態で説明した視覚処理装置または視覚処理システムが実現する視覚処理と同様の視覚処理を実行する。

なお、視覚処理装置を表示装置などに適用した場合には、特殊画像を検出したときに表示モードを切り替えるようにしてもよい。

また、上記実施形態で説明した視覚処理装置の視覚処理部等を 2次元 LUTで構成する場合、参照される 2次元 LUT用のデータは、ハードディスク、 ROMなどの記憶装置に格納されており、必要に応じて参照される。さらに、 2次元 LUTのデータは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される 2次元 LUT用の 2次元ゲインデータ (プロファイル)の提供装置から提供されるものであってもよい。

また、第 1の視覚処理方法を実現する場合、例えば、コンピュータ 4612に、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、入力された画像信号に視覚処理を行う視覚処理ステップと、所定の目標レベルを設定する目標レベル設定ステップと、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、を実行させる。そして、コンピュータ 4612に、効果調整ステップでは、効果調整信号に応じて所定の目標レベルと処理信号とを合成した合成信号を出力させ、視覚処理ステップでは、合成された合成信号と画像信号とに基づ、て画像信号を階調変換させる。

また、第 2の視覚処理方法を実現する場合、例えば、コンピュータ 4612に、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、入力された画像信号に視覚処理を行う視覚処理ステップと、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、視覚処理の効果を設定するための効果調整信号を出力する効果調整信号発生ステップと、を実行させる。そして、コンピュータ 4612に、視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理させ、効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定させる。

また、第 3の視覚処理方法を実現する場合、例えば、コンピュータ 4612に、第 2の視覚処理方法を実現させ、さらに、効果調整信号発生ステップでは、画像信号からエッジ領域に隣接する平坦な領域を検出して効果調整信号を出力させる。

また、第 4の視覚処理方法を実現する場合、例えば、コンピュータ 4612に、効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、入力された画像信号に視覚処理を行う視覚処理ステップと、入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、画像信号から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、を実行させる。そして、コンピュータ 4612に、視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理させ、効果調整ステップでは、効果調整信号に応じて視覚処理の効果を設定させる。

(実施の形態 11)

次に、実施の形態 11として、上記実施形態で説明した視覚処理装置の応用例とそれを用いたシステムを図 42〜図 46を用いて説明する。

図 42は、コンテンツ酉己信サービスを実現するコンテンツ供給システム exlOOの全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 exl07〜exl 10が設置されて!、る。このコンテンツ供給システム exlOOは、例えば、インターネット exlOlにインターネットサービスプロバイダ exl02および電話網 exl04、および基地局 exl07〜exl l0 を介して、コンピュータ exl l l、 PDA (Personal Digital Assistant) exl 12、カメラ exl l3、携帯電話 exl l4、カメラ付きの携帯電話 exl 15などの各機器が接続される。

し力し、コンテンツ供給システム exlOOは図 42のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 exl07〜exl 10を介さずに、各機器が電話網 exl04に直接接続されてもょ、。カメラ exl l3はデジタルビデオカメラなどの動画撮影が可能な機器である。また、携帯電話は、 PDC (Personal Digital Communications)方式、 CDMA (Code Division Multiple Access 方式、 W— CDMA (Wideband— Code Division Multiple Access)方式、もしくは GSM (Global System for Mobile Commu nications)方式の携帯電話機、または PHS (Personal Handyphone System) などであり、、ずれでも構わな、。

また、ストリーミングサーノ exl03iま、カメラ 6 113カら基地局6 109、電話網 exl 04を通じて接続されており、カメラ exl 13を用いてユーザが送信する符号ィ匕処理されたデータに基づ!/、たライブ配信などが可能になる。撮影したデータの符号化処理はカメラ ex 113で行っても、データの送信処理をするサーバなどで行ってもよい。また、カメラ ex 116で撮影した動画データはコンピュータ ex 111を介してストリ一ミングサーバ exl03に送信されてもよい。カメラ exl 16はデジタルカメラなどの静止画、動画が撮影可能な機器である。この場合、動画データの符号ィ匕はカメラ exl 16で行つてもコンピュータ exl 11で行ってもどちらでもよい。また、符号化処理はコンピュータ e xl 11やカメラ exl 16が有する LSIexl 17において処理することになる。なお、画像符号化'復号ィ匕用のソフトウェアをコンピュータ exl l lなどで読み取り可能な記録媒体である何らかの蓄積メディア（CD— ROM、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 exl 15で動画データを送信してもよい。このときの動画データは携帯電話 exl 15が有する LSIで符号化処理されたデータである。

このコンテンツ供給システム _ex100では、ユーザがカメラ exl 13、カメラ exl 16などで撮影してヽるコンテンツ (例えば、音楽ライブを撮影した映像など）を符号化処理してストリーミングサーバ exl03に送信する一方で、ストリーミングサーバ exl03は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータ exl 11、 PDAexl l2、カメラ exl 13、携帯電話 exl 14などがある。このようにすることでコンテンッ供給システム exlOOは、符号ィ匕されたデータをクライアントにお、て受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号ィ匕し、再生することにより、個人放送をも実現可能になるシステムである。

コンテンツの表示に際して、上記実施形態で説明した視覚処理装置を用いてもよい。例えば、コンピュータ exl 11、 PDAexl l2、カメラ exl 13、携帯電話 exl 14などは、上記実施形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プロダラムを実現するものであってもよ、。

また、ストリーミングサーバ exl03は、視覚処理装置に対して、インターネット exlOl を介して 2次元ゲインデータ（プロファイル）を提供するものであってもよい。さら〖こ、ストリーミングサーバ exl03は複数台存在し、それぞれ異なる 2次元ゲインデータを提供するものであってもよい。さらに、ストリーミングサーバ exl03は 2次元ゲインデータの作成を行うものであってもよい。このように、インターネット exlOlを介して、視覚処理装置が 2次元ゲインデータを取得できる場合、視覚処理装置は予め視覚処理に用いる 2次元ゲインデータを記憶しておく必要がなぐ視覚処理装置の記憶容量を削減することも可能となる。また、インターネット exlOl介して接続される複数のサーバから 2次元ゲインデータを取得できるため、異なる視覚処理を実現することが可能となる。一例として携帯電話について説明する。

図 43は、上記実施形態の視覚処理装置 1を備えた携帯電話 exl l5を示す図である。携帯電話 exl 15は、基地局 exl 10との間で電波を送受信するためのアンテナ ex 201、 CCDカメラなどの映像、静止画を撮ることが可能なカメラ部 ex203、カメラ部 ex 203で撮影した映像、アンテナ ex201で受信した映像などが復号ィ匕されたデータを表示する液晶ディスプレイなどの表示部 ex202、操作キー ex204群から構成される本体部、音声出力をするためのスピーカなどの音声出力部 _ex208、音声入力をするためのマイクなどの音声入力部 ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータなど、符号化されたデータまたは復号ィ匕されたデータを保存するための記録メディア ex207、携帯電話 exl 1 5に記録メディア ex207を装着可能とするためのスロット部 ex206を有している。記録メディア ex207は SDカードなどのプラスチックケース内に電気的に書き換えや消去が可能な不揮発性メモリである EEPROM (Electrically Erasable and Progra mmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話 exl 15について図 44を用いて説明する。携帯電話 exl 15は表示部 ex202および操作キー ex204を備えた本体部の各部を統括的に制御するようになされた主制御部 ex311に対して、電源回路部 ex310、操作入力制御部 ex304、画像符号化部 ex312、カメラインターフェース部 ex303、 LCD (Liquid Crystal D isplay)制御部 ex302、画像復号ィ匕部 ex309、多重分離部 ex308、記録再生部 ex3 07、変復調回路部 ex306および音声処理部 ex305が同期ノス ex313を介して互いに接続されている。

電源回路部 ex310は、ユーザの操作により終話および電源キーがオン状態にされると、ノッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話 exl l5を動作可能な状態に起動する。

携帯電話 exl 15は、 CPU, ROM, RAMなどでなる主制御部 ex311の制御に基づ、て、音声通話モード時に音声入力部 ex205で集音した音声信号を音声処理部 ex305によってディジタル音声データに変換し、これを変復調回路部 ex306でスぺクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ ex201を介して送信する。また携帯電話 exl l5 は、音声通話モード時にアンテナ ex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部 ex306でスぺクトラム逆拡散処理し、音声処理部 ex305によってアナログ音声信号に変換した後、これを音声出力部 ex208を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー ex2 04の操作によって入力された電子メールのテキストデータは操作入力制御部 ex304 を介して主制御部 ex311に送出される。主制御部 ex311は、テキストデータを変復調回路部 ex306でスペクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ ex201を介して基地局 e xl 10へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 ex203で撮像された画像データをカメラインターフェース部 ex303を介して画像符号ィ匕部 ex312に供給する。また、画像データを送信しない場合には、カメラ部 ex203で撮像した画像データをカメラインターフェース部 ex303および LCD制御部 ex302を介して表示部 ex20 2に直接表示することも可能である。

画像符号ィ匕部 ex312は、カメラ部 ex203から供給された画像データを圧縮符号ィ匕することにより符号化画像データに変換し、これを多重分離部 ex308に送出する。また、このとき同時に携帯電話 exl 15は、カメラ部 ex203で撮像中に音声入力部 ex20 5で集音した音声を音声処理部 ex305を介してディジタルの音声データとして多重分離部 ex308に送出する。

多重分離部 ex308は、画像符号化部 ex312から供給された符号化画像データと音声処理部 ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex306でスペクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ ex201を介して送信する。

データ通信モード時にホームページなどにリンクされた動画像ファイルのデータを受信する場合、アンテナ ex201を介して基地局 exl 10から受信した受信信号を変復調回路部 ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部 ex308に送出する。

また、アンテナ ex201を介して受信された多重化データを復号ィ匕するには、多重分離部 ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号ィ匕ビットストリームとに分け、同期バス ex313を介して当該符号化画像データを画像復号化部 ex309に供給するとともに当該音声データを音声処理部 ex305に供給する。

次に、画像復号ィ匕部 ex309は、画像データの符号化ビットストリームを復号化することにより再生動画像データを生成し、これを LCD制御部 ex302を介して表示部 ex 202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部 _ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。以上の構成において、画像復号ィ匕部 ex309は、上記実施形態の視覚処理装置を備えていてもよい。

なお、上記システムの例に限らず、最近は衛星、地上波によるディジタル放送が話題となっており、図 45に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置を組み込むことができる。具体的には、放送局 ex409では映像情報の符号ィ匕ビットストリームが電波を介して通信または放送衛星 _ex410に伝送される。これを受けた放送衛星 ex410は、放送用の電波を発信し、この電波を衛星放送受信設備を持つ家庭のアンテナ ex406で受信し、テレビ (受信機) ex401またはセットトップボックス（STB) ex407などの装置により符号ィ匕ビットストリームを復号ィ匕してこれを再生する。ここで、テレビ (受信機） ex401または STBex407などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体である CDや DVDなどの蓄積メディア ex402に記録した符号ィ匕ビットストリームを読み取り、復号ィ匕する再生装置 ex403にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタ ex404に表示される。また、ケーブルテレビ用のケーブル ex405または衛星 Z地上波放送のアンテナ ex406に接続された STB ex407内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタ ex408で再生する構成も考えられる。このとき STBではなぐテレビ内に上記実施形態で説明した視覚処理装置を組み込んでもよい。また、アンテナ ex411を有する車 ex412で衛星 ex410からまたは基地局 exl07 など力も信号を受信し、車 ex412が有するカーナビゲーシヨン ex413などの表示装置に動画を再生することも可能である。

さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、 DVDディスク ex421に画像信号を記録する DVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ ex420がある。さらに SDカード ex422に記録することもできる。レコーダ ex420が上記実施形態の視覚処理装置を備えていれば、 D VDディスク ex421や SDカード ex422に記録した画像信号を補間して再生し、モ- タ ex408に表示することができる。

なお、カーナビゲーシヨン ex413の構成は、例えば図 44に示す構成のうち、カメラ部 ex203とカメラインターフェース部 ex303、画像符号ィ匕部 ex312を除いた構成が考えられ、同様なことがコンピュータ exl 11やテレビ (受信機) ex401などでも考えられる。

また、上記携帯電話 exl 14などの装置は、符号化器'復号化器を両方持つ送受信型の装置の他に、符号化器のみの送信装置、復号化器のみの受信装置の 3通りの実装形式が考えられる。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなぐ発明の要旨を逸脱しな、範囲で種々の変更および修正が可能である。

産業上の利用可能性

本発明に係る視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路によれば、急峻なエッジ領域を有する画像や特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さをリアルタイムに変更することができるので、カラーテレビジョン受像機、携帯装置、情報処理装置、デジタルスチルカメラ、ゲーム機器などの表示装置、プロジェクタ、プリンタなどの出力装置に利用することができる。

Claims

請求の範囲

[1] 入力された画像信号を視覚処理して出力する視覚処理装置において、

効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整部と前記画像信号に視覚処理を行う視覚処理部と、

を備える視覚処理装置。

[2] 所定の目標レベルを設定する目標レベル設定部と、

前記画像信号に対して所定の空間処理を行、、処理信号を出力する空間処理部と、

をさらに備え、

前記効果調整部は、視覚処理の効果を設定するための前記効果調整信号に応じて前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、

前記視覚処理部は、前記合成信号と前記画像信号とに基づいて前記画像信号を階調変換する、

請求項 1に記載の視覚処理装置。

[3] 所定の目標レベルを設定する目標レベル設定部と、

前記画像信号を補正する補正部と、

をさらに備え、

前記視覚処理部は、前記合成信号と前記画像信号とに基づいてゲイン信号を出力し、

前記補正部は、前記ゲイン信号に基づ!ヽて前記画像信号を補正する、請求項 1に記載の視覚処理装置。

[4] 前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備え、前記効果調整部は、視覚処理の効果を設定するための前記効果調整信号に応じて前記画像信号と前記処理信号とを合成した合成信号を出力し、

請求項 1に記載の視覚処理装置。

[5] 前記画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部と、

前記画像信号を補正する補正部と、

をさらに備え、

前記効果調整部は、視覚処理の効果を設定するための前記効果調整信号に応じて前記画像信号と前記処理信号とを合成した合成信号を出力し、

前記視覚処理部は、合成された前記合成信号と前記画像信号とに基づ!ヽてゲイン信号を出力し、

[6] 前記視覚処理部は、 2次元ルックアップテーブルを有する、

請求項 1から請求項 5のいずれか 1項に記載の視覚処理装置。

[7] 入力された前記画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、前記視覚処理の効果を設定するための前記効果調整信号を出力する効果調整信号発生部と、

をさらに備え、

前記視覚処理部は、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理し、

前記効果調整部は、前記効果調整信号に応じて前記視覚処理の効果を設定する請求項 1に記載の視覚処理装置。

[8] 前記効果調整信号発生部は、前記画像信号からエッジ領域に隣接する領域を検出して前記効果調整信号を出力する、請求項 7に記載の視覚処理装置。

[9] 前記効果調整信号発生部は、前記画像信号カゝらエッジ領域に隣接する平坦な領域を検出して前記効果調整信号を出力する、

請求項 8に記載の視覚処理装置。

[10] 前記効果調整信号発生部は、前記周辺画像情報の変化量に応じて前記効果調整信号を出力する、

請求項 8または請求項 9に記載の視覚処理装置。

[11] 前記効果調整信号発生部は、

前記画像信号カゝら隣接領域との輝度差が所定の値以下となる平坦領域の平坦度合いを検出する平坦検出部と、

前記画像信号力隣接領域との輝度差が所定の値以上となるエッジ領域のエッジ量を検出するエッジ検出部と、

を有し、

前記効果調整信号発生部は、前記平坦検出部と前記エッジ検出部との出力にもとづいて前記効果調整信号を出力する、

請求項 8または請求項 9に記載の視覚処理装置。

[12] 前記効果調整部は、前記効果調整信号に応じて、前記画像信号と前記周辺画像情報とを合成した第 1の合成信号を出力し、

前記視覚処理部は、前記第 1の合成信号と前記画像信号とにもとづいて前記画像信号を視覚処理する、

請求項 7から請求項 11までの、ずれか 1項に記載の視覚処理装置。

[13] 前記効果調整部は、前記効果調整信号に応じて、前記画像信号と前記視覚処理部で視覚処理された出力とを合成した第 2の合成信号を出力する、

[14] 入力された前記画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、前記画像信号力統計的な情報の偏りを有する特殊画像である度合いを前記統計的な情報の偏りにもとづいて検出し、検出された度合いを前記効果調整信号として出力する特殊画像検出部と、をさらに備え、

前記視覚処理部は、前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理した処理信号を出力し、

前記効果調整部は、前記効果調整信号に応じて前記視覚処理の効果を設定するように前記視覚処理部を制御する、

請求項 1に記載の視覚処理装置。

[15] 前記特殊画像検出部は、前記画像信号の画像中における濃淡が変化する領域の割合または濃淡が変化しな、領域の割合にもとづ、て前記統計的な情報の偏りを検出する、

請求項 14に記載の視覚処理装置。

[16] 前記特殊画像検出部は、前記濃淡が変化する領域の割合が少な、とき、または濃淡が変化しない領域の割合が多いときに前記特殊画像である度合いを高くする、請求項 15に記載の視覚処理装置。

[17] 前記特殊画像検出部は、前記画像中のエッジ成分を検出することで前記濃淡が変化する領域の割合を検出する、

請求項 16に記載の視覚処理装置。

[18] 前記特殊画像検出部は、前記画像中の平坦度合いを検出することで前記濃淡が変化しない領域の割合を検出する、

請求項 16に記載の視覚処理装置。

[19] 前記特殊画像検出部は、階調レベル数または類似画素の連続長にもとづいて前記平坦度合いを検出する、

請求項 18に記載の視覚処理装置。

[20] 前記特殊画像検出部は、

前記画像信号力画素ごとにエッジ量を検出するエッジ検出部と、

前記エッジ量が所定の値以上であるエッジ画素を検出し、前記画像信号の全画素数に対する前記エッジ画素数の割合を算出するエッジ密度算出部と、

前記割合に応じて前記効果調整信号を出力する第 1の効果調整信号発生部と、を有する、請求項 17に記載の視覚処理装置。

[21] 前記特殊画像検出部は、

複数のブロックに分割された前記画像信号から高周波成分を含む高周波ブロックを検出する高周波ブロック検出部と、

前記複数のブロック数に対する前記高周波ブロック数の割合を検出する高周波ブロック密度検出部と、

前記割合に応じて前記効果調整信号を出力する第 2の効果調整信号発生部と、を有する、

請求項 17に記載の視覚処理装置。

[22] 前記特殊画像検出部は、

前記画像信号から階調レベルごとの頻度を検出する頻度検出部と、

前記階調レベルごとの前記頻度と所定の閾値とを比較し、前記所定の閾値より前記頻度が大きい階調レベルを検出する頻度判定部と、

前記頻度判定部により前記頻度が大きいと判定された前記階調レベル数を検出する階調数検出部と、

前記階調レベル数に応じて前記効果調整信号を出力する第 3の効果調整信号発生部と、

を有する、

請求項 19に記載の視覚処理装置。

[23] 前記特殊画像検出部は、

前記画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する類似輝度検出部と、

前記類似画素が連続している連続長を検出する連続長検出部と、

前記連続長検出部で検出された複数の前記連続長を平均することで平均連続長を算出する平均連続長算出部と、

前記平均連続長に応じて前記効果調整信号を出力する第 4の効果調整信号発生部と、

を有する、請求項 19に記載の視覚処理装置。

[24] 前記効果調整部は、前記効果調整信号に応じて前記画像信号と前記周辺画像情報との割合を変えて合成した第 1の合成信号を出力し、

前記視覚処理部は、前記第 1の合成信号と前記画像信号とにもとづいて前記画像信号を前記視覚処理する、

請求項 14から請求項 23までのいずれか 1項に記載の視覚処理装置。

[25] 前記効果調整部は、前記効果調整信号に応じて前記画像信号と前記処理信号との割合を変えて合成した第 2の合成信号を出力する、

[26] 前記視覚処理部は、 2次元ルックアップテーブルを有し、前記 2次元ルックアップテ一ブルに設定される特性データにもとづヽて前記視覚処理を行ヽ、

前記効果調整部は、前記効果調整信号に応じて前記視覚処理の効果が異なる複数の前記特性データの割合を変えて合成した特性データを前記視覚処理部に設定する、

[27] 前記特殊画像検出部は、前記画像信号が縮小されて!ヽる縮小画像を入力し、前記縮小画像力前記統計的な情報の偏りを有する前記特殊画像を検出し、前記統計的な情報の偏りにもとづ!、て前記効果調整信号を出力する、

請求項 14から請求項 26までのいずれか 1項に記載の視覚処理装置。

[28] 前記特殊画像検出部は、前記画像信号がフレーム画像のときにはひとつ以上前のフレーム画像より、もしくは前記画像信号がフィールド画像のときにはひとつ以上前のフィールド画像力前記統計的な情報の偏りを検出する、

請求項 14から請求項 27までのいずれか 1項に記載の視覚処理装置。

[29] 前記効果調整信号を連続的に変化させるための連続変化処理部をさらに備え、前記連続変化処理部は、前記効果調整信号がフレーム単位で出力されるときは前記フレーム間で、前記効果調整信号力 Sフィールド単位で出力されるときは前記フィールド間で、前記効果調整信号を連続的に変化させる、

請求項 28に記載の視覚処理装置。

[30] 通信または放送された画像データを受信するデータ受信部と、

受信された前記画像データを映像データに復号する復号部と、

復号された前記映像データを視覚処理して出力信号を出力する請求項 1から請求項 29の、ずれか 1項に記載の視覚処理装置と、

前記視覚処理装置により視覚処理された前記出力信号の表示を行う表示部と、を備える表示装置。

[31] 入力された画像信号を視覚処理して出力する視覚処理方法において、

効果調整信号に応じて視覚処理の効果を設定するための処理を行う効果調整ステップと、

前記画像信号に視覚処理を行う視覚処理ステップと、

を有する視覚処理方法。

[32] 所定の目標レベルを設定する目標レベル設定ステップと、

前記画像信号に対して所定の空間処理を行、、処理信号を出力する空間処理ステツプと、をさらに有し、

前記効果調整ステップは、効果調整信号に応じて前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、

前記視覚処理ステップは、合成された前記合成信号と前記画像信号とに基づヽて前記画像信号を階調変換する、

請求項 31に記載の視覚処理方法。

[33] 入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、前記視覚処理の効果を設定するための前記効果調整信号を出力する効果調整信号発生ステップと、

をさらに有し、

前記視覚処理ステップは、前記画像信号と前記周辺画像情報とにもとづ!、て前記画像信号を視覚処理し、

前記効果調整ステップは、前記効果調整信号に応じて前記視覚処理の効果を設定する、

請求項 31に記載の視覚処理方法。

[34] 前記効果調整信号発生ステップは、前記画像信号カゝらエッジ領域に隣接する平坦な領域を検出して前記効果調整信号を出力する、

請求項 33に記載の視覚処理方法。

[35] 入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、前記画像信号から統計的な情報の偏りを有する特殊画像を検出し、前記統計的な情報の偏りの度合いにもとづいて前記効果調整信号を出力する特殊画像検出ステツプと、

をさらに有し、

請求項 31に記載の視覚処理方法。

[36] 入力された画像信号を視覚処理して出力する視覚処理を行うためにコンピュータに効果調整信号に応じて視覚処理の効果を設定するための制御信号を出力する効果調整ステップと、

前記制御信号と前記画像信号とに基づいて前記画像信号を視覚処理する視覚処理ステップと、

を実行させるプログラム。

[37] コンピュータに、

所定の目標レベルを設定する目標レベル設定ステップと、

前記画像信号に対して所定の空間処理を行、、処理信号を出力する空間処理ステツプと、

をさらに実行させるためのプログラムであって、

前記効果調整ステップは、視覚処理の効果を設定するための前記効果調整信号に応じて前記所定の目標レベルと前記処理信号とを合成した合成信号を出力し、前記視覚処理ステップは、合成された前記合成信号と前記画像信号とに基づヽて前記画像信号を階調変換する、

請求項 36に記載のプログラム。

[38] コンピュータに、

入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、前記視覚処理の効果を設定するための前記効果調整信号を出力する効果調整信号発生ステップと、

をさらに実行させるためのプログラムであって、

前記効果調整ステップは、前記効果調整信号に応じて前記視覚処理の効果を異ならせるように調整する、

請求項 36に記載のプログラム。

[39] 前記効果調整信号発生ステップは、前記画像信号カゝらエッジ領域に隣接する平坦な領域を検出して前記効果調整信号を出力する、

請求項 38に記載のプログラム。

[40] コンピュータに、

入力された画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、前記画像信号から統計的な情報の偏りを有する特殊画像を検出し、前記統計的な情報の偏りの度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと

をさらに実行させるためのプログラムであって、

請求項 38に記載のプログラム。

[41] 請求項 1から請求項 29のいずれか 1項に記載の視覚処理装置を含む集積回路。