WO2007122966A1

WO2007122966A1 - 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路

Info

Publication number: WO2007122966A1
Application number: PCT/JP2007/056448
Authority: WO
Inventors: Yusuke Monobe; Haruo Yamashita; Takeshi Ito
Original assignee: Panasonic Corporation
Priority date: 2006-04-19
Filing date: 2007-03-27
Publication date: 2007-11-01
Also published as: JPWO2007122966A1; KR101314453B1; KR20090009870A; EP2012527A1; JP2008159071A; JP4558806B2; CN102438097A; CN101427559A; EP2012527A4; CN102438097B; EP2012527B1; US7894684B2; US20090097775A1; US8406547B2; CN101427559B; US20110109765A1; JP4191241B2

Abstract

　特殊画像が入力された場合であっても、副作用を抑えることを可能とする。入力した画像信号ＩＳから周辺画像情報ＵＳを抽出する空間処理部（１０）と、画像信号ＩＳの統計的な情報の偏りの度合いに応じて特殊画像用効果調整信号ＤＳを出力する特殊画像検出部（４０）と、特殊画像用効果調整信号ＤＳをフレーム間で連続変化させた効果調整信号ＭＯＤを出力する連続変化処理部（５０）と、効果調整信号ＭＯＤに応じて視覚処理の効果を異ならせる合成信号ＭＵＳを出力する効果調整部（２０）と、画像信号ＩＳと合成信号ＭＵＳとにもとづいて、画像信号ＩＳを視覚処理した処理信号ＯＳを出力する視覚処理部（３０）と、を備えている。

Description

明細書

視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路技術分野

[0001] 本発明は、視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路に関し、特に、画像の視覚処理の効果を異ならせるように調整する視覚処理装置、視覚処理方法およびプログラムに関する。

背景技術

[0002] 従来、原画像の画像信号の画質改善処理として、階調処理による画像処理装置と、空間処理による画像処理装置が知られている。

階調処理とは、着目画素の周辺の画素とは無関係に、着目画素ごとにルックアップテーブル（以下、「LUT」という）を用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。たとえば、コントラスト強調するとき、原画像での出現頻度の高ヽ階調レベルを強調するような LUTを用いて画素値の変換が行われる。 LUTを用いた階調処理として、原画像全体にひとつの LUTを決定して用いる階調処理と、原画像を複数に分割した画像領域のそれぞれにつヽて LUTを決定して用いる階調処理とが知られている。

空間処理とは、フィルタ適用の対象となる着目画素の値とその周辺の画素の値とを用い、着目画素の値を変換するものである。この空間処理された画像信号を用いて、原画像のコントラスト強調を行う技術がある (たとえば、特許文献 1を参照)。

特許文献 1：米国特許第 4667304号明細書

発明の開示

[0003] (発明が解決しょうとする課題）

一方、人間の視覚に近い画質改善処理として、着目画素の値とその周辺領域にある画素の値との対比にもとづいて着目画素の値を変換する視覚処理がある。このような視覚処理では、処理効果をより高めるため、着目画素の位置を中心に広範囲の領域から明るさ情報を抽出する。このため、着目画素の値とその周辺領域にある画素の値とを用いて着目画素の値を決定する視覚処理では、周辺領域にある画素の値により着目画素の値が変化する。特に、エッジ領域の割合が少ない画像、階調数が少ない画像、隣接画素との輝度差が小さぐ類似した値が連続して多く発生する画像、または、複数に分割されたブロック画像で高周波成分が含まれるブロック数の割合が少ない画像など（以下、このような画像を「特殊画像」という）に対して視覚処理を行った場合、エッジ近傍領域で、輝度が大きく変化する。

しかし、階調数が極端に少なぐ平坦な領域が多い特殊画像で、平坦領域に大きな輝度の変化が生じると、エッジに隣接した領域に影のような輪郭が発生し (以下、「副作用」と!、う）、不自然な画像となる。

本発明は、このような課題を解決するものであり、特殊画像が入力された場合であつても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さを変更することができる視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路を提供することを目的とする。

(課題を解決するための手段）

第 1の発明は、周辺画像情報抽出部と、視覚処理部と、特殊画像検出部と、効果調整部と、を備える視覚処理装置である。周辺画像情報抽出部は、 1枚の画像を形成することができる画像信号の周辺画像情報を抽出する。視覚処理部は、画像信号と周辺画像情報とにもとづ！/、て画像信号を視覚処理した処理信号を出力する。特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された統計的な情報の偏りに基づいて、 1枚の画像が特殊画像である度合いを示す特殊画像度合いを算出し、算出された特殊画像度合いに基づいて効果調整信号を出力する。効果調整部は、効果調整信号に応じて、 1枚の画像を形成する画像信号に対する視覚処理の効果を設定するように視覚処理部を制御する。

この視覚処理装置では、特殊画像検出部により、画像信号により形成される 1枚の画像内に含まれる所定の領域における統計的な情報の偏りが検出され、検出された統計的な情報の偏りに基づ、て、 1枚の画像が特殊画像である度合、を示す特殊画像度合いが算出され、算出された特殊画像度合いに基づいて効果調整信号として出力される。そして、効果調整部により、効果調整信号に応じて、 1枚の画像を形成する画像信号に対する視覚処理の効果を設定するように視覚処理部が制御される。したがって、 1枚の画像につき 1つの特殊画像度合いを算出することができ、その特殊画像度合、に基づヽて、 1枚の画像につ!ヽての最適な視覚処理を行うことができる。

これにより、特殊画像でない通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さを変更することができる。

ここで、「1枚の画像」とは、表示装置において表示される 2次元画像のことをいい、静止画の場合、表示装置に表示される表示画面を構成する 2次元画像のことをヽ、動画の場合、 1フレーム分の画像（映像)信号あるいは 1フィールド分の画像（映像）信号により表示装置に表示される 2次元画像のことをいう。なお、 1枚の画像を形成する画像信号には、表示装置で表示させるための同期信号等を含んでいてもよい。また、「1枚の画像内に含まれる所定の領域」とは、 1枚の画像内に含まれる所定の大きさを有する画像領域のことをいい、例えば、 1枚の画像が表示装置に表示されるときの表示画面全体に対して、表示画面の中心力 8割の面積を占める画像領域や、 1枚の画像が表示装置に表示されるときに表示画面周辺に表示される黒の部分（表示装置のアスペクト比と表示する画像のアスペクト比とが異なる場合に、表示装置の表示画面に表示される黒の部分で、例えば、 16 : 9のアスペクト比の表示画面を持つ表示装置に 4： 3のアスペクト比の画像（映像)を表示させたときに表示画面の左右両端に表示される黒の部分 (NTSC方式等のテレビジョン信号のペデスタルレベルの映像信号に相当。；)）を除いた画像領域等がこれに該当する。なお、「1枚の画像内に含まれる所定の領域」には、 1枚の画像が表示装置に表示されるときの表示画面全体の領域（1枚の画像の全画像領域）が含まれることは言うまでもな、。

また、ここで、視覚処理 (空間視覚処理)とは、注目画素 (領域)の周囲の明るさに応じて変化する階調特性を用いて、注目画素 (領域）に階調補正を行う処理のことをヽう。例えば、入力信号における注目画素の階調値力、さい階調値 (例えば、 8ビットの階調値で「50」）である場合であって、かつ、注目画素の周辺の明るさが暗い場合（例えば、 8ビットの階調値で「20」）には、注目画素の階調値を大きな階調値 (例えば、 8ビットの階調値で「150」）となるように階調補正を行う。逆に、入力信号における注目画素の階調値が小さ!/、階調値 (例えば、 8ビットの階調値で「50」 )である場合であつて、かつ、注目画素の周辺の明るさが明るい場合 (例えば、 8ビットの階調値で「10 0」）には、注目画素の階調値を小さな階調値 (例えば、 8ビットの階調値で「30」）となるように階調補正を行う。このような処理が、空間視覚処理の一例である。

第 2の発明は、第 1の発明であって、特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域における濃淡が変化する領域の割合または濃淡が変化しない領域の割合にもとづいて統計的な情報の偏りを検出する。

これによれば、さらに、画像信号の画像中における濃淡が変化する領域の割合または濃淡が変化しない領域の割合から、 1枚の画像についての統計的な情報の偏りを検出できる。

第 3の発明は、第 2の発明であって、特殊画像検出部は、濃淡が変化する領域の割合が少ない程、または濃淡が変化しない領域の割合が多い程、特殊画像度合いを高くする。

これによれば、さらに、特殊画像である度合いを的確に検出でき、特殊画像の処理に適した効果調整信号を出力できる。

第 4の発明は、第 2の発明であって、特殊画像検出部は、濃淡が変化する領域の割合である濃淡変化領域率が第 1の値より小さ!、場合、効果調整信号の信号レベルを第 1の効果調整信号レベル用閾値より小さい値とし、濃淡変化領域率が第 1の値以上で、かつ、第 2の値（>第 1の値)より小さい場合、濃淡変化領域率が大きな値となる程、効果調整信号の信号レベルを大きな値とする。そして、特殊画像検出部は、濃淡変化領域率が第 2の値以上である場合、濃淡変化領域率を第 1の効果調整信号レベル用閾値より大きな値である第 2の効果調整信号レベル用閾値より大きな値とする。

例えば、効果調整信号が「0」から「1」の値をとるものであり、効果調整信号が「1」である場合、効果調整部による視覚処理の効果を最大とし、効果調整信号が「0」である場合、効果調整部による視覚処理の効果が最小 (効果なしとする場合を含む。）とすると、濃淡変化領域率が第 1の値より小さい場合、効果調整信号レベルを「0」に固定し、濃淡変化領域率が第 1の値以上で、かつ、第 2の値（>第 1の値)より小さい場合、濃淡変化領域率に対して、効果調整信号レベルが単調増加となるように設定し（「0」〜「1」の値に設定し)、濃淡変化領域率が第 2の値以上である場合、効果調整信号レベルを「1」に固定する。

これにより、画像信号が形成する 1枚の画像が特殊画像である場合、視覚処理の効果を最小、あるいは、効果なし、とすることができる。画像信号が形成する 1枚の画像が自然画像である場合、視覚処理の効果を最大とすることができる。また、画像信号が形成する 1枚の画像が特殊画像と自然画像との中間的な画像である場合であっても、視覚処理の効果を適度に施すことができる。

したがって、この視覚処理装置では、どのようなタイプの画像が入力された場合であつても、最適な視覚処理効果を施すことができる。

第 5の発明は、第 3または第 4の発明であって、特殊画像検出部は、画像中のエツジ成分を検出することで濃淡が変化する領域の割合を検出する。

これによれば、さらに、画像中のエッジ成分から濃淡が変化する領域の割合を検出できる。

第 6の発明は、第 3または第 4の発明であって、特殊画像検出部は、画像中の平坦度合いを検出することで濃淡が変化しない領域の割合を検出する。

これによれば、さらに、画像中の平坦度合いから濃淡が変化しない領域の割合を検出できる。なお、 1枚の画像を形成する画像信号において、画像を構成する各画素のとりうる階調数の偏りを検出することで、画像中の平坦度合いを求めることができる第 7の発明は、第 6の発明であって、特殊画像検出部は、階調レベル数または類似画素の連続長にもとづ、て平坦度合！、を検出する。

これによれば、さらに、画像中の階調レベル数または類似画素の連続長カゝら平坦度合いを検出できる。

第 8の発明は、第 5の発明であって、特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域にあるエッジを構成する画素の数であるエッジ画素数に基づいて統計的な情報の偏りを検出する。これによれば、例えば、 1枚の画像内に含まれる所定の領域のエッジ画素の数を単純に数えるだけで統計的な情報の偏りを検出することができるので、演算量を少なくすることができ、視覚処理装置の処理速度を向上させることができる。また、例えば、

1枚の画像内に含まれる所定の領域のエッジ画素の数 NNを所定の閾値 Tthと比較し、閾値 Tthを超えている場合、エッジ画素の数 NNを変数とする連続関数 f (NN)により統計的な情報の偏りを検出するようにしてもよい。

第 9の発明は、第 5の発明であって、特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域にあるエッジ画素を検出するエッジ検出部と、エッジ画素の数を算出するエッジ画素数算出部と、エッジ画素数算出部により算出されたエッジ画素の数に応じて効果調整信号を出力する第 1の効果調整信号発生部と、を有する。

この視覚処理装置では、エッジ検出部により検出されたエッジ画素の数を、エッジ画素数算出部により算出することができる。そして、第 1の効果調整信号発生部により、エッジ画素数算出部により算出されたエッジ画素数に応じた効果調整信号を出力することができる。これにより、演算量を少なくすることができ、視覚処理装置の処理速度を向上させることができる。また、例えば、第 1の効果調整信号発生部において、エッジ画素数算出部により算出されたエッジ画素数 NNを所定の閾値 Tthと比較し、閾値 Tthを超えている場合、エッジ画素数 NNを変数とする連続関数 f (NN)に基づいて効果調整信号を出力するようにすることで、統計的な情報の偏りを検出するようにしてもよい。

第 10の発明は、第 5の発明であって、特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域を構成する画素数に対するエッジ画素数の割合であるエッジ画素比率に基づいて統計的な情報の偏りを検出する。

これによれば、さらに、画像中のエッジ力も特殊画像を検出でき、特殊画像におけるエッジ画素比率に応じた効果調整信号を生成できる。なお、ここで、「エッジ画素数

」とは、画像信号により形成される 1枚の画像内においてエッジを構成する画素の数をいう。

第 11の発明は、第 5の発明であって、特殊画像検出部は、画像信号から画素ごとにエッジ量を検出するエッジ検出部と、エッジ量が所定の値以上であるエッジ画素を検出し、画像信号の全画素数に対するエッジ画素数の割合であるエッジ画素比率を算出するエッジ密度算出部と、エッジ画素比率に応じて効果調整信号を出力する第

2の効果調整信号発生部と、を有する。

これによれば、さらに、画像中のエッジ力も特殊画像を検出でき、特殊画像におけるエッジ画素の割合の偏りに応じた効果調整信号を生成できる。

第 12の発明は、第 10または第 11の発明であって、特殊画像検出部は、エッジ画素比率が 2割以上である場合、効果調整信号の出力値を第 1閾値以上の値として出力する。

エッジ画素比率が 2割以上である場合、画像信号により形成される画像が自然画像である可能性が高いと判断できるので、この場合、この視覚処理装置では、効果調整信号の出力値を第 1閾値以上の値とすることで、効果調整信号を自然画像用の視覚効果を実現させるように調整し、適切な視覚処理を実現することができる。なお、自然画像とは、人為的 ·人工的に作成された画像 (テストパターン画像のような、その画像を形成する画素のとりうる階調値が偏っている（階調数が少ない)画像)ではなぐ例えば、風景画像 (カメラで風景を撮影した画像等）のような画像を形成する画素がとりうる階調数 (階調値の数)が多い (階調値分布が広い)画像のことをいう。また、第 1閾値は、エッジ画素比率が 2割以上である場合、効果調整信号より自然画像用の視覚効果を実現させるために、ある程度高い値とすることが望ましい。効果調整信号が「0 」から「1」の値をとるものであり、効果調整信号が「1」である場合、効果調整部による視覚処理の効果を最大とし、効果調整信号が「0」である場合、第 1閾値を、例えば、「0. 8」とすればよい。

第 13の発明は、第 3または第 4の発明であって、特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域に存在する、高周波成分を含むブロックである高周波ブロックの数に基づいて統計的な情報の偏りを検出する。これによれば、さらに、画像中の高周波ブロックを数に基づいた効果調整信号を生成できる。また、例えば、 1枚の画像内に含まれる所定の領域のブロック数 KKを所定の閾値 Kthと比較し、閾値 Kthを超えている場合、ブロック数 KKを変数とする連続関数 ff (KK)により統計的な情報の偏りを検出するようにしてもよい。なお、ここで、「ブロック」は、複数画素から構成されるものである。

第 14の発明は、第 3または第 4の発明であって、特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域に存在する、高周波成分を含むブロックである高周波ブロックを検出する高周波ブロック検出部と、所定の領域に存在する高周波ブロックの数を算出する高周波ブロック数算出部と、高周波ブロック算出部により算出された高周波ブロック数に応じて効果調整信号を出力する第 3の効果調整信号発生部と、を有する。

この視覚処理装置では、高周波ブロック検出部により検出された高周波ブロックを検出し、高周波ブロック数算出部により算出された高周波ブロック数に応じた効果調整信号を出力することができる。これにより、演算量を少なくすることができ、視覚処理装置の処理速度を向上させることができる。また、例えば、第 3の効果調整信号発生部において、高周波ブロック数算出部により算出された高周波ブロック数 KKを所定の閾値 Kthと比較し、閾値 Kthを超えている場合、高周波ブロック数 KKを変数とする連続関数 ff (KK)に基づいて効果調整信号を出力するようにすることで、統計的な情報の偏りを検出するようにしてもょ、。

第 15の発明は、第 3または第 4の発明であって、特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域に存在する、全ブロック数に対する高周波ブロック数の割合である高周波ブロック比率に基づいて統計的な情報の偏りを検出する。

これによれば、さらに、画像中の高周波ブロックを検出することで特殊画像を検出でき、特殊画像における高周波ブロックの割合の偏りに応じた効果調整信号を生成できる。

第 16の発明は、第 3または第 4の発明であって、特殊画像検出部は、複数のブロックに分割された画像信号から高周波成分を含む高周波ブロックを検出する高周波ブロック検出部と、複数のブロック数に対する高周波ブロック数の割合を検出する高周波ブロック密度検出部と、割合に応じて効果調整信号を出力する第 4の効果調整信号発生部と、を有する。これによれば、さらに、画像中の高周波ブロックを検出することで特殊画像を検出でき、特殊画像における高周波ブロックの割合の偏りに応じた効果調整信号を生成できる。

第 17の発明は、第 7の発明であって、特殊画像検出部は、画像信号から階調レべルごとの頻度を検出する頻度検出部と、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを検出する頻度判定部と、頻度判定部により頻度が大きいと判定された階調レベル数を検出する階調数検出部と、階調レベル数に応じて効果調整信号を出力する第 5の効果調整信号発生部と、を有するこれによれば、さらに、画像中の階調レベル数力も特殊画像を検出でき、特殊画像における階調レベル数の偏りに応じた効果調整信号を生成できる。

第 18の発明は、第 7の発明であって、特殊画像検出部は、画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する類似輝度検出部と、類似画素が連続している連続長を検出する連続長検出部と、連続長検出部で検出された複数の連続長を平均することで平均連続長を算出する平均連続長算出部と、平均連続長に応じて効果調整信号を出力する第 6の効果調整信号発生部と、を有する。これによれば、さらに、画像中の類似画素の平均連続長から特殊画像を検出でき、特殊画像における平均連続長の偏りに応じた効果調整信号を生成できる。

第 19の発明は、第 1から第 18のいずれかの発明であって、効果調整部は、効果調整信号に応じて画像信号と周辺画像情報との割合を変えて合成した第 1の合成信号を出力し、視覚処理部は、第 1の合成信号と画像信号とにもとづいて画像信号を視覚処理する。

これによれば、さらに、視覚処理部は、第 1の合成信号にもとづいて異なる階調変換処理を選択することが可能となり、視覚処理の効果を異ならせることができる。第 20の発明は、第 1から第 18のいずれかの発明であって、効果調整部は、効果調整信号に応じて画像信号と処理信号との割合を変えて合成した第 2の合成信号を出力する。

これによれば、さらに、効果調整信号に応じて画像信号と処理信号との割合を変えて出力でき、視覚処理の効果を異ならせることができる。

第 21の発明は、第 1から第 18のいずれかの発明であって、視覚処理部は、 2次元ルックアップテーブルを有し、 2次元ルックアップテーブルに設定される特性データにもとづいて視覚処理を行うものであって、効果調整部は、効果調整信号に応じて視覚処理の効果が異なる複数の特性データの割合を変えて合成した特性データを視覚処理部に設定する。

これによれば、さらに、効果調整信号に応じて視覚処理の効果が異なる複数の特性データの割合を変えて合成した特性データを用いて視覚処理でき、視覚処理の効果を異ならせることができる。

第 22の発明は、第 1から第 21のいずれかの発明であって、特殊画像検出部は、画像信号が縮小されてヽる縮小画像を入力し、縮小画像から統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りにもとづいて効果調整信号を出力するこれによれば、さらに、特殊画像を検出するときのノイズの影響を抑えられる。また、処理の演算量を少なくできる。

第 23の発明は、第 1から第 22のいずれかの発明であって、特殊画像検出部は、画像信号がフレーム画像のときにはひとつ以上前のフレーム画像から、もしくは画像信号がフィールド画像のときにはひとつ以上前のフィールド画像力統計的な情報の偏りを検出する。

これによれば、さらに、ひとつ以上前のフレーム力も特殊画像を検出でき、フレームの先頭力特殊画像の情報の偏りに応じた効果調整信号を使用することができる。また、ひとつ以上前のフィールドから特殊画像を検出でき、フィールドの先頭から特殊画像の情報の偏りに応じた効果調整信号を使用することができる。

第 24の発明は、第 23の発明であって、効果調整信号を連続的に変化させるための連続変化処理部をさらに備え、連続変化処理部は、効果調整信号がフレーム単位で出力されるときはフレーム間で、効果調整信号力 Sフィールド単位で出力されるときはフィールド間で、効果調整信号を連続的に変化させる。

これによれば、さらに、フレーム間での効果調整信号の急な変化を抑え、フレーム間の画像のちらつきを抑えることができる。また、フィールド間での効果調整信号の急な変化を抑え、フィールド間の画像のちらつきを抑えることができる。

第 25の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第 1から第 24のいずれかの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。

このような構成により、画像の明るさ調整で視覚処理の強さをリアルタイムに変更して表示装置で表示できる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報装置を実現することもできる。

撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。

このような構成により、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。

また、携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示手段とを備えた構成であってもよい。このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。

また、携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。

このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。

第 26の発明は、周辺画像情報抽出ステップと、視覚処理ステップと、特殊画像検出ステップと、効果調整ステップと、を備える視覚処理方法である。周辺画像情報抽出ステップでは、 1枚の画像を形成することができる画像信号の周辺画像情報を抽出する。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。特殊画像検出ステップでは、画像信号により形成される 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された統計的な情報の偏りに基づ！、て、 1枚の画像が特殊画像である度合、を示す特殊画像度合、を算出し、算出された特殊画像度合いにもとづいて効果調整信号を出力する。効果調整ステップでは、効果調整信号に応じて、 1枚の画像を形成する画像信号に対する視覚処理の効果を設定する。

この方法によれば、特殊画像でな!ヽ通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合であっても副作用を抑えた適切な視覚処理効果を実現することができる。

第 27の発明は、コンピュータに、周辺画像情報抽出ステップと、視覚処理ステップと、特殊画像検出ステップと、効果調整ステップと、を実行させるプログラムである。周辺画像情報抽出ステップでは、 1枚の画像を形成することができる画像信号の周辺画像情報を抽出する。視覚処理ステップでは、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理する。特殊画像検出ステップでは、画像信号により形成される 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された統計的な情報の偏りに基づ!/、て、 1枚の画像が特殊画像である度合！、を示す特殊画像度合いを算出し、算出された特殊画像度合いにもとづいて効果調整信号を出力する。効果調整ステップでは、効果調整信号に応じて、 1枚の画像を形成する画像信号に対する視覚処理の効果を設定する。

このプログラムによれば、特殊画像でなヽ通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合であっても副作用を抑えた適切な視覚処理効果を実現することができる。

第 28の発明は、周辺画像情報抽出部と、視覚処理部と、特殊画像検出部と、効果調整部と、を備える集積回路である。周辺画像情報抽出部は、 1枚の画像を形成することができる画像信号の周辺画像情報を抽出する。視覚処理部は、画像信号と周辺画像情報とにもとづいて画像信号を視覚処理した処理信号を出力する。特殊画像検出部は、画像信号により形成される 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された統計的な情報の偏りに基づいて、 1枚の画像が特殊画像である度合いを示す特殊画像度合いを算出し、算出された特殊画像度合いを効果調整信号として出力する。効果調整部は、効果調整信号に応じて、 1 枚の画像を形成する画像信号に対する視覚処理の効果を設定するように視覚処理部を制御する。

この集積回路によれば、特殊画像でない通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合であっても副作用を抑えた適切な視覚処理効果を実現することができる。

(発明の効果）

本発明によれば、特殊画像が入力された場合であっても、副作用を抑制することができ、かつ、簡単な構成で、画像の視覚処理の強さを変更することができる視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路を提供することができる図面の簡単な説明

[図 1]本発明の第 1実施形態の視覚処理装置の構成を示すブロック図

[図 2]同 2次元階調特性を説明する説明図

[図 3]同処理信号の出力を説明する説明図

[図 4]同特殊画像検出部の構成を示すブロック図

[図 5]同特殊画像を説明する説明図

[図 6]同エッジ画素を説明する説明図

[図 7]同効果調整信号の出力を説明する説明図

[図 8]同視覚処理装置の動作を説明するフローチャートおよび連続変化処理部の構成図

[図 9]同変形例 1の特殊画像検出部の構成を示すブロック図

[図 10]同変形例 1の頻度検出部で検出される頻度分布を説明する説明図

[図 11]同変形例 1の効果調整信号を説明する説明図 [図 12]同変形例 2の特殊画像検出部の構成を示すブロック図

[図 13]同変形例 2の連続長を説明する説明図

[図 14]同変形例 2の効果調整信号を説明する説明図

[図 15]同変形例 3の特殊画像検出部の構成を示すブロック図

[図 16]同変形例 3のブロック画像を説明する説明図

[図 17]同変形例 3の効果調整信号を説明する説明図

[図 18]本発明の第 2実施形態における視覚処理装置の構成を示すブロック図

[図 19]本発明の第 3実施形態における視覚処理装置の構成を示すブロック図

[図 20]本発明の第 4実施形態における視覚処理システムの構成を示すブロック図 [図 21]同 2次元ゲイン特性を説明する説明図

[図 22]本発明の実施形態におけるコンピュータの構成を示すブロック図

[図 23]他の実施形態における視覚処理装置の動作を説明するための画像についての表示画面の一例

[図 24]他の実施形態における視覚処理装置の動作を説明するための画像についての分割表示画面の一例

符号の説明

1, 2, 3 視覚処理装置

4 ゲイン型視覚処理システム

5 ゲイン型視覚処理装置

6 コンピュータ

10 空間処理部

11 乗算器

12 除算器

20, 21, 22 効果調整部

30 視覚処理部

40, 40' , 70, 80, 90, 90' 特殊画像検出部

41, 41 ' エッジ検出部

42 エッジ量判定部エッジ密度算出部

, 44' , 74, 84, 93, 93' 効果調整信号発生部エッジ画素数算出部

連続変化処理部

第 1プロファイル

第 2プロファイル

頻度検出部

頻度判定部

階調数検出部

類似輝度検出部

連続長検出部

平均連続長算出部

, 91 ' 高周波ブロック検出部

高周波ブロック密度検出部

高周波ブロック数算出部

0 CPU

1 ROM

2 RAM

3 入力部

4 出力部

5 記憶部

6 通信部

7 ドライブ

8 ディスク

9 メモリカード

0 バス

1 ネットワーク

0 特殊画像発明を実施するための最良の形態

以下、本発明の実施形態について、図面を用いて詳細に説明する。

[第 1実施形態]

一般に、自然画像は階調数が多ぐ自然画像に視覚処理を行うことで局所的な明暗比などを強調した鮮明な画像を得ることができる。一方、特殊画像は画像信号の画像中における濃淡が変化する領域の割合が極端に少な、か、または画像信号の画像中における濃淡が変化しな、領域の割合が極端に多、と、つた統計的な情報の偏りをもつ。このような特殊画像では、画像中で平坦な領域が多い。このため、急峻なエッジがある特殊画像に視覚処理を施した場合には、副作用が目立ちやすい。この副作用（この副作用は「Halo」と呼ばれることもある。 )は、画像が表示装置に表示された場合にお!ヽて、画像上の細かな変化 ·テクスチャーなどが少な！、箇所で目にっきやすい (人間の目には不自然に見える）。まして、人間が経験的に均一な明るさ'濃度であることを知識として知っているような幾何学パターンを有する画像では、さらに、画像上の僅かな明るさのうねりでも不自然に見えやすい (不自然な画像であると感じやすい)。この副作用を抑えるため、視覚処理を弱くすると、自然画像に対しても処理が弱くなり鮮明でない画像となってしまう。

よって、特殊画像に対してのみ副作用を抑えることで、自然画像に対して優れた視覚処理の効果を実現することができる。

本発明の第 1実施形態における視覚処理装置は、画像信号から統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りの度合いにもとづいて効果調整信号を生成し、生成された効果調整信号に応じて視覚処理の効果を異ならせる (変更する）ように調整するものである。

ここで、視覚処理とは、人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値（明るさ）との対比に応じて出力信号の値を決定する処理である。視覚処理は、逆光補正、ニー処理、ダイナミックレンジ (以下、「DR」という。）圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む)などに適用される。

また、本発明の実施形態では、 YCbCr色空間、 YUV色空間、 Lab色空間、 Luv色空間、 YIQ色空間、 YPbPr色空間の輝度成分 Yまたは明度成分 Lを輝度信号と定義する。以下、輝度信号を画像信号として説明する。

本発明の第 1実施形態である視覚処理装置について、図 1〜図 8を用いて説明する。図 1は、本発明の第 1実施形態における視覚処理装置 1の構成を示すブロック図である。

図 1において、本発明の第 1実施形態における視覚処理装置 1は、入力された画像信号 ISから周辺画像情報 (アンシャープ信号) USを抽出する空間処理部 10と、画像信号 ISから統計的な情報の偏りを有する特殊画像を検出し、統計的な情報の偏りの度合いにもとづいて視覚処理の効果を異ならせるための特殊画像用効果調整信号 DSを出力する特殊画像検出部 40と、特殊画像用効果調整信号 DSをフレーム間で連続的に変化させた効果調整信号 MODを出力する連続変化処理部 50と、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 USとの割合を変えて合成した合成信号 MUSを出力する効果調整部 20と、効果調整部 20からの合成信号 MUSにしたがって画像信号を視覚処理した処理出力 OSを出力する視覚処理部 30とを備えている。

この構成により、特殊画像検出部 40は、特殊画像が持つ情報の偏り度合いに応じた特殊画像用効果調整信号 DSを出力できる。また、効果調整部 20は、特殊画像用効果調整信号 DSを連続的に変化させた効果調整信号 MODにより、視覚処理部 30 での視覚処理の効果を異ならせるための合成信号 MUSを生成できる。また、視覚処理部 30は、効果調整部 20から出力される合成信号 MUSに応じて画像信号 ISを階調変換できる。

これにより、特殊画像が入力された場合であっても、視覚処理装置 1は特殊画像を検出でき、特殊画像に対して視覚処理部 30は視覚処理の効果を異ならせ、副作用を抑えることができる。

以下、視覚処理装置 1の各機能部について説明する。

空間処理部 10は、画像信号 ISから対象画素の値と対象画素の周辺領域にある画素（以下、「周辺画素」という）の値とを抽出し、抽出された画素の値を用いて画像信号 ISに対してフィルタ処理を行う。たとえば、画像信号 ISをローノスフィルタにより処理したアンシャープ信号 USを生成する。アンシャープ信号 usは、以下のような演算により生成する。

US = (∑[W ] X [A ]) / (∑[W ])

ここで、 [W ]は、対象画素および周辺画素において、 i行 j列目に位置する画素の重み係数であり、 [A ]は、対象画素および周辺画素において、 i行 j列目に位置する画素の値である。また、「∑」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味して、る。

なお、対象画素の画素値と周辺画素の画素値との差の絶対値が大き、ほど小さヽ値の重み係数が与えられてもよヽし、対象画素から距離が大きヽほど小さ、重み係数を与えるようにしてもよい。また、周辺画素の領域サイズは効果に応じてあら力じめ設定される大きさであり、所定のサイズより大きくすると視覚効果を高めることができる。たとえば、対象とする画像の大きさが縦 1024画素および横 768画素であれば、縦横がそれぞれ 80画素以上の領域力もアンシャープ信号 USを生成することにより、それぞれ縦横 3画素程度の局所領域に比較してより視覚効果を高めることができる。また、ローパスフィルタとしては、 FIR (Finite Impulse Response)型の空間フィルタ、あるいは IIR (Infinite Impulse Response)型の空間フィルタなどを用いてちょい。

つぎに、効果調整部 20は、連続変化処理部 50から出力される効果調整信号 MO Dに応じて画像信号 ISとアンシャープ信号 USとを補間処理により合成し、合成信号 MUSを出力する。合成信号 MUSは、たとえば、効果調整信号 MODに応じて、以下の（式 1)のように内分演算される。連続変化処理部 50につ、ては後述する。

MUS = US X MOD + IS X (1. 0— MOD) (式 1)

ここで、効果調整信号 MODの値は「0. 0」から「1. 0」までの範囲で変化し、効果調整信号 MODが「0. 0」で視覚処理の効果なし、効果調整信号 MODが「1. 0」で視覚処理の効果が最大となる。なお、（式 1)は、（式 2)のように変形させることもでき、同様に、合成信号 MUSを生成できる。

MUS = (US-IS) X MOD + IS (式 2)

つぎに、視覚処理部 30は、効果調整部 20からの合成信号 MUSにしたがって、画像信号 ISを階調変換する。

視覚処理部 30は、たとえば、図 2に示す、 2次元階調変換特性にもとづいて階調変換を行う。ここで、 2次元階調変換とは、合成信号 MUSと画像信号 ISとの 2つの入力に対して出力の値が決定される階調変換をいう。視覚処理部 30は、 2次元階調変換特性にもとづいて画像信号 ISと合成信号 MUSとに対して処理信号 OSを出力する。この階調変換特性によって様々な視覚効果を出すことができる。

図 2を用いて、 2次元階調変換特性を説明する。図 2は、 2次元階調変換特性を説明するための説明図である。ここで、横軸は入力された画像信号 IS、縦軸は変換された処理信号 OSの出力である。

図 2に示すように、 2次元階調変換は、合成信号 MUS0から MUSnの信号レベル（階調値)に応じて所定の階調変換特性を持つ。つまり、 2次元階調変換は、合成信号 MUSの信号レベル（階調値）に応じて、階調変換曲線 MUS0〜MUSnの内のいずれかが選択され、その選択された階調変換曲線により、入力信号 IS (ISの階調値) が処理信号 OS (OSの階調値）に変換されることで実現される。例えば、 MUS信号のレベル（階調値）が「1」であるとき、図 2の階調変換曲線 MUSIが選択され、 MUS 信号のレベル（階調値）が「120」であるとき、階調変換曲線 MUSI 20が選択される。ただし、階調変換曲線 MUS0〜MUSnは、必ずしも MUS信号の階調値数に相当する数だけ用意しておく必要はなぐ例えば、階調変換曲線 MUS0〜MUSnを MU S信号の階調値数に相当する数より少ない数だけ用意しておき、用意されていない階調変換曲線については、用意された階調変換曲線力補間処理により、 MUS信号の階調値に対応する階調変換曲線を算出することで、 2次元階調変換を実現するようにしてもよい。

2次元階調変換において、例えば画像信号 ISの画素値が 8ビットの値とすると、 25 6段階に分けられた画像信号 ISの値に対する出力信号 OSの画素値が所定の 2次元階調変換特性により決定される。階調変換特性は所定のガンマ変換特性を持つ階調変換曲線であり、合成信号 MUSの添え字について、出力が単調減少する関係にある。なお、合成信号 MUSの添え字について、出力が一部分単調減少でない箇所があったとしても、実質的に単調減少であればよい。また、図 2に示したように、 2次元階調変換特性において、すべての画像信号 ISの階調値に対して、（MUS = MUSO の場合の出力値）≥ (MUS = MUS1の場合の出力値）≥ · · ·≥ (MUS = MUSnの場合の出力値)の関係を満たして!/、る。

図 2に示す 2次元階調変換特性によれば、視覚処理部 30は、入力された画像信号 ISが値「a」に対して、周囲領域の階調値が小さいときに MUSOを選択することで処理出力 OSの値は「P」となり、逆に、周囲領域の階調値が大きいときに MUSnを選択することで処理出力 OSの値は「Q」となる。このように、入力された画像信号 ISが値「a 」であっても、周囲領域の階調値の変化によって処理出力 OSは値「P」から値「Q」まで大きく変化させることができる。これにより、暗部のコントラストを合成信号 MUS 応じて強調することができる。

一方、視覚処理の効果をなくすため、合成信号 MUS =画像信号 ISとなるようにすれば、図 2に示す、曲線 2の階調変換特性を持たせることができる。曲線 2の階調変換特性では、画像全体の明るさ調整 (ガンマ変換)ができるが、局所的なコントラストを高めるなどの視覚効果はな、。

なお、この 2次元階調変換特性を変更することで、様々な視覚処理の効果を出すことができ、ニー処理、 DR圧縮処理、色処理、または、明るさ調整（階調処理、コントラスト調整を含む)などに適用可能となる。

つぎに、視覚処理部 30において、合成信号 MUSにもとづいて視覚処理の効果を異ならせたときの処理出力 OSについて図 3を用いて説明する。図 3は、処理信号 OS の出力を説明するための説明図である。

図 3 (a)において、横軸は処理する画素位置、縦軸は合成信号 MUSの出力である合成信号 MUSは、たとえば、効果調整信号 MODの値を「0. 5」としたときには、画像信号 ISとアンシャープ信号 USの中間的な出力となる。

このとき、図 3 (b)に示すように、画像信号 ISのみにもとづいて視覚処理した処理信号 OSを OS (IS, IS)とし、画像信号 ISとアンシャープ信号 USとにもとづいて視覚処理の処理信号 OSを OS (IS, US)とすれば、画像信号 ISと合成信号 MUSにしたがつて視覚処理された処理信号 OSである OS (IS, MUS)は、 OS (IS, IS)と OS (IS, US)との中間的な出力となる。

よって、効果調整信号 MODが「1. 0」のとき、合成信号 MUS = USとなり、視覚処理の「効果が最大」である処理信号 OS (IS, US)を出力する。一方、効果調整信号 MODが「0. 0」のとき、合成信号 MUS = ISとなり、視覚処理の「効果なし」である処理信号 OS (IS, IS)を出力する。

このように、視覚処理部 30は、合成信号 MUSに応じて局所的なコントラストの強調効果を強めたり、弱めたりすることができる。これにより、画像全体の明るさを変換するだけの処理の効果から、局所領域でのコントラストを周囲の明るさで異ならせるように (変化させるように)した処理の効果まで、効果が異なる様々な視覚処理を、視覚処理装置 1にお、て実現することができる。

なお、視覚処理装置 1において、 2次元階調変換特性を変更することで、ニー処理、 DR圧縮処理、色処理なども実現することができる。

また、視覚処理部 30は、 2次元ルックアップテーブル（以下、「2次元 LUT」という）を有してもよい。この場合、視覚処理部 30の 2次元 LUTは、図 2に示す、特性データ (以下、「プロファイル」という）を設定することで、階調変換する。

また、視覚処理部 30は、演算回路によって視覚処理を行うようにしてもよい。特に、視覚処理部 30の 2次元 LUTに、簡易な直線によって近似可能な特性であるプロファィルが設定される場合、 2次元 LUTのテーブルをなくすことができ、視覚処理装置 1 の回路規模を削減することができる。

つぎに、図 4、図 5、図 6および図 7を用いて、特殊画像検出部 40について説明する。ここでは、特殊画像の情報の偏りを、画像中における濃淡が変化する領域の割合から検出する場合について説明する。また、濃淡の変化はエッジ成分より検出する。図 4 (a)は特殊画像検出部 40の構成を示すブロック図、図 5は特殊画像を説明するための説明図、図 6はエッジ画素を説明するための説明図、図 7は特殊画像用効果調整信号 DSの出力を説明するための説明図である。

図 4 (a)に示すように、特殊画像検出部 40は、画像信号 ISからエッジ量を画素ごとに検出するエッジ検出部 41と、エッジ量が所定の値以上であるエッジ画素を判定するエッジ量判定部 42と、画像信号 ISの全画素数に対するエッジ画素数の割合を算出するエッジ密度算出部 43と、エッジ密度算出部 43で算出された割合に応じて特殊画像用効果調整信号 DSを出力する効果調整信号発生部 44とを備えている。これにより、視覚処理装置 1において、階調レベル数が極端に少なぐエッジ成分が描画画像の輪郭領域に限定される特殊画像を検出でき、その情報の偏りを検出することがでさる。

自然画像には、連続的で複雑な明るさ変化をしている箇所が至る所にある。つまり、自然画像には、小さな変化のエッジ (弱、エッジ）が至る所にある（エッジの数が多い)。一方、特殊画像には、均一な明るさの部分が多ぐ特殊画像を形成する画素がとりうる階調数は少ない。つまり、特殊画像には、大きな変化のエッジ (強いエッジ）が少ない比率で存在する。

そこで、エッジの強弱を考慮せず、エッジと見なせる画素（エッジ画素）の数の統計的な偏りを用いて判別する。すなわち、エッジ画素が多いほど（全画素に対するエツジ画素の比率が大きいほど）自然画像らしいと判断し、少ないほど特殊画像らしいと判別する。

また、特殊画像検出部 40は、画像信号がフレーム画像のときには、 1フレーム以上前のフレーム画像より統計的な情報の偏りを検出し、もしくは画像信号力 Sフィールド画像のときには、 1フィールド以上前のフィールド画像力統計的な情報の偏りを検出するようにする。これにより、視覚処理装置 1は、フレームまたはフィールドの先頭から特殊画像の情報の偏りに応じた特殊画像用効果調整信号 DSを使用することができる。

たとえば、特殊画像検出部 40は、図 5に示す特殊画像 200を処理する場合について、説明する。ここで、図 5に示すように、特殊画像 200は、背景領域 201、パターングループ 202、パターングループ 203およびパターングループ 204を有し、いずれの領域も濃淡値が一定または変動が小さいものとする。各グループは、形状は異なる力濃淡値がほぼ同じものとする。

エッジ検出部 41は、画像信号 ISから画素ごとにエッジ量を検出する。エッジ検出部 41は、 Sobelフィルタや Prewittフィルタなどの 1次微分フィルタ、ラプラシアンフィルタなどの 2次微分フィルタなどのエッジ検出フィルタ（図示せず）を用いてエッジ量を検出する。

エッジ量判定部 42は、あら力じめ設定された閾値とエッジ量とを画素ごとに比較し、エッジ量が所定の閾値以上のときにエッジ画素と判定する。

たとえば、エッジ量判定部 42により、特殊画像 200を処理することで、図 6に示すような出力 300が得られる。

図 6において、エッジ画素は、エッジ画素 301、エッジ画素 302およびエッジ画素 3 03であり、特殊画像 200の図形パターンの輪郭領域に発生する。

つぎに、図 4に戻り、エッジ密度算出部 43は、画像信号 ISの全画素数に対するエツジ画素数の割合であるエッジ密度を、以下のようにエッジ密度を算出する。

エッジ密度 =エッジ画素数 ÷全画素数

ここで、エッジ密度は、画像信号 ISがフレーム画像であればフレーム内の全画素に対するエッジ画素数の割合とする。また、画像信号 ISがフィールド画像であればフィ一ルド内の全画素に対するエッジ画素数の割合とする。

効果調整信号発生部 44は、エッジ密度に応じて、出力を調整する。つまり、効果調整信号発生部 44は、エッジ密度が大きくなるほど特殊画像用効果調整信号 DSの信号レベル (値）が大きくなるように出力する。たとえば、図 7に示すように、エッジ密度が所定の値 Tha以上カゝら所定の値 Thbまでの範囲で特殊画像用効果調整信号 DS の信号レベルを増加させる。このように閾値を設けることにより、特殊画像が含まれる閾値「Tha」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号 DS を生成できる。一方、特殊画像でない通常の画像が含まれる閾値「Yhb」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。ここで、横軸はエッジ密度、縦軸は特殊画像用効果調整信号 DSの出力である。なお、出力される特殊画像用効果調整信号 DSの信号レベルの出力する範囲を「0. 0」から「1. 0」とした力視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの信号レベルが大きいほど視覚処理の効果が強!、ものになるように、視覚処理装置 1を構成する。

連続変化処理部 50は、特殊画像用効果調整信号 DSがフレーム単位で出力されるときはフレーム間で、もしくは特殊画像用効果調整信号 DSがフィールド単位で出力されるときはフィールド間で、連続的に効果調整信号 MODを変化させるように動作する。たとえば、連続変化処理部 50は、特殊画像用効果調整信号 DSを一時記憶するレジスタなどの記憶部（図示せず)を備え、新たなフレームで特殊画像検出部 40 から出力される特殊画像用効果調整信号 DSと一時記憶した特殊画像用効果調整信号 DSとを内分演算することで、効果調整信号 MODを生成し、その生成した効果調整信号 MODを記憶部に記憶する。記憶部には、初期値として、最初に検出された特殊画像用効果調整信号 DSを記憶する。連続変化処理部 50は、この内分演算により生成された効果調整信号 MODを出力する。これにより、効果調整信号 MOD をフレーム間で急激に変化させないようにしている。また、連続変化処理部 50は、 II R型のフィルタなどにより実現することができる。

つぎに、視覚処理装置 1の動作について、図 8を用いて説明する。図 8 (a)は視覚処理装置 1の動作を説明するフローチャートである。図 8 (b)は、連続変化処理部 50 の構成の一例を示す図である。

図 8 (a) , (b)に示すように、画像信号 ISがフレーム画像の場合には、 1フレーム以上前のフレーム画像力も統計的な情報の偏りを検出するため、複数のフレーム画像が視覚処理装置 1に入力される。もしくは、画像信号 ISがフィールド画像の場合には、 1フィールド以上前のフィールド画像力統計的な情報の偏りを検出するため、複数のフィールド画像が視覚処理装置 1に入力される（S101)。視覚処理装置 1に、複数のフレーム画像もしくは複数のフィールド画像が入力された後、特殊画像検出部 4 0は、検出対象となるフレーム画像もしくはフィールド画像である画像信号 ISから特殊画像を検出し、検出された特殊画像の統計的な偏りに応じた特殊画像用効果調整信号 DSを出力する（S102)。ここで、統計的な情報の偏りを検出するために、 1フレーム（フィールド）以上前のフレーム画像 (フィールド画像)を視覚処理装置 1に入力しているのは、現在、視覚処理の対象としているフレーム画像 (フィールド画像）に対して、即処理を開始させるためである。つまり、視覚処理装置 1に画像信号 ISを、統計的な情報の偏りに応じた特殊画像用効果調整信号 DSが出力されるまで遅延させることなぐ画像信号 ISに対して視覚処理を実行させるためである。通常は、近接するフレーム（フィールド)画像間では、相関性が高いため、このように、 1フレーム（フィ一ルド）以上前 (ただし、ある程度現フレーム (現フィールド）に近接して、るフレーム数 ( フィールド数)分前までに限る。 )のフレーム画像 (フィールド画像)から統計的な情報の偏りを検出しても問題ない。なお、現フレーム画像 (現フィールド画像)から統計的な情報の偏りを検出し、それに応じた特殊画像用効果調整信号 DSを出力させるようにしてもよい。この場合、現フレーム画像 (現フィールド画像)を構成する画像信号 IS を、特殊画像用効果調整信号 DSが出力されるまで遅延させ (例えば、フレーム (フィ一ルド)メモリ等を用いて遅延させる。）、特殊画像用効果調整信号 DSが出力されるようになると、その特殊画像用効果調整信号 DSを用いて、現フレーム画像 (現フィールド画像)を構成する画像信号 ISに対して視覚処理を行うようにすればよ!ヽ。

つぎに、視覚処理装置 1は、効果調整信号 MODがフレーム間で連続的に変化するように補間処理を行う。視覚処理装置 1は、連続変化処理部 50により、一時記憶するレジスタなどの記憶部 5001に一時記憶した、 1フレーム前の効果調整信号 MOD 1を読み出し (S103)、ステップ S102で検出した特殊画像用効果調整信号 DSと、ステツプ S103で読み出した効果調整信号 MODIとを内分演算などにより補間し、その補間処理により生成された効果調整信号 MODを連続変化処理部 50から出力する（S104)。これにより、処理されたフレーム画像間で生じる急激な変化を抑え、視覚効果の違いによって生じる画像のちらつきなどを抑えることができる。なお、視覚効果の違いによって生じる画像のちらつきなどを抑える必要性が乏しい場合は、視覚処理装置 1において、構成を簡略ィ匕するため、連続変化処理部 50を省略した構成とし、効果調整信号 MODの代わりに特殊画像用効果調整信号 DSを用いてもょヽ。つぎに、視覚処理装置 1は、特殊画像用効果調整信号 DSと効果調整信号 MODI とを補間することで生成された効果調整信号 MODを記憶部 5001に一時記憶する（ S105)。この補間処理が内分演算によるものである場合、その内分の比は、あらかじめ与えられるものである。

つぎに、視覚処理装置 1は、効果調整部 20により、効果調整信号 MODに応じて画像信号 ISと空間処理部 10からのアンシャープ信号 USとを合成した合成信号 MU Sを生成する（S 106)。

視覚処理装置 1は、視覚処理部 30により、合成信号 MUSに応じて図 2に示す 2次元階調変換特性の曲線のひとつを選択し、画像信号 ISを変換する（S107)。

つぎに、視覚処理装置 1は、つぎに処理するフレーム画像がある力否かを判断する (S108)。つぎに処理が必要なフレーム画像がない場合は、視覚処理を完了する。一方、つぎに処理が必要なフレーム画像がある場合は、ステップ S101に戻り、つぎのフレーム画像を入力する。以後、処理が必要なフレームがなくなるまで、 S 101力 S 108までのステップを繰り返し実行する。

なお、以上、効果調整信号 MODがフレーム間で連続的に変化するように補間処理を行う場合について説明したが、補間処理の対象は、フレーム間に限らず、フィールド間であってもよい。

また、視覚処理装置 1において、図 4 (a)に示した特殊画像検出部 40の代わりに、図 4 (b)に示した特殊画像検出部 40'を用いてもよい。特殊画像検出部 40'は、画像信号 ISから、画像信号 ISにより形成される 1枚の画像の画像領域に含まれるエッジ画素を検出するエッジ検出部 41 'と、エッジ検出部 41 'により検出されたエッジ画素の数をエッジ画素数として算出するエッジ画素数算出部 45と、エッジ画素数に応じて効果調整信号を出力する効果調整信号発生部 44'と、を備える。

特殊画像検出部 40'では、例えば、効果調整信号発生部 44'において、エッジ画素数算出部 45により算出されたエッジ画素数 NNを変数とする関数 ffn (NN) (関数 f fn(NN)としては、例えば、 NN<tthlで、 ffn (NN) =0、 tthl≤NN≤tth2で、 ffn (NN) = (NN— tthl)Z(tth2— tthl)、 NN>tth2で、 ffn (NN) = 1 (tth2>tthl ) )に基づいて特殊画像用効果調整信号 DSを出力させる。この特殊画像用効果調整信号 DSを用いて、視覚処理装置 1による視覚処理を実現することができる。

以上のように、本発明の第 1実施形態の視覚処理装置 1によれば、特殊画像が入力された場合であっても、画像中のエッジを検出し、検出されたエッジ量にもとづいて視覚処理の効果を調整するので、自然画像では視覚効果を高めながら、特殊画像では副作用を抑えることができる。

なお、統計的な偏りを検出する方法は、前述した特殊画像検出部 40の方法に限定されない。特殊画像は、画像信号 ISの画像中における濃淡が変化する領域の割合が極端に少な、か、または画像信号 ISの画像中における濃淡が変化しな、領域の割合が極端に多!、と、つた統計的な情報の偏りをもつ。

<変形例>

以下、統計的な偏りを検出する方法について、他の変形例について説明する。

(変形例 1)

まず、特殊画像検出部 40の変形例 1について説明する。変形例 1では、画像信号 I Sの画像中における濃淡が変化しない領域の割合から統計的な情報の偏りを検出する。濃淡が変化しない領域は、画像の平坦度合いにより検出することができる。この平坦度合いを検出する方法として、画像信号 ISから階調数の偏りを検出する方法を採る。画像を構成する各画素のとりうる階調レベル数 (階調数)が極端に少ない画像（各画素がとる階調レベル数の分布が極端に狭い画像)では、濃淡が一定である領域が広いため、画像中における平坦度合いは高くなる。この情報の偏りから特殊画像の度合いを求めることができる。

図 9、図 10および図 11を用いて、画像信号 ISから階調数の偏りを検出する場合の変形例 1について説明する。図 9は変形例 1の特殊画像検出部 70の構成を示すプロック図、図 10は変形例 1の頻度検出部 71で検出される頻度分布を説明するための説明図、図 11は変形例 1の特殊画像検出部 70から出力される特殊画像用効果調整信号 DSを説明するための説明図である。

図 9に示すように、特殊画像検出部 70は、画像信号から階調レベルごとの頻度を検出する頻度検出部 71と、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを判定する頻度判定部 72と、頻度判定部 72により頻度が大きいと判定された階調レベル数を検出する階調数検出部 73と、階調数検出部 73において検出された階調レベル数に応じて効果調整信号を出力する効果調整信号発生部 74とを備えてヽる。

頻度検出部 71は、ヒストグラム法により、画像信号から階調レベルごとの頻度を検出する。たとえば、画像信号が 256階調であれば、「0」から「255」までの各階調レべルの出現頻度を検出する。

頻度判定部 72は、階調レベルごとの頻度と所定の閾値とを比較し、所定の閾値より頻度が大きい階調レベルを検出する。図 10に示すように、頻度判定部 72は、階調レベル Laにおいて頻度 401が所定の閾値 Thより大きいことを判定する。同様に、頻度判定部 72は、階調レベル Lb、階調レベル Lcおよび階調レベル Ldにおいて、頻度 402、頻度 403および頻度 400がそれぞれ所定の閾値 Thより大きいことを判定する。ここで、図 10の横軸は階調レベル、縦軸は頻度である。

階調数検出部 73は、頻度判定部 72で頻度が大きいと判定された階調レベルの数を計数する。

効果調整信号発生部 74は、計数された階調レベル数に応じて、階調数が大きくなるほど特殊画像用効果調整信号 DSの信号レベル (値)を大きくするようにして、特殊画像用効果調整信号 DSを出力する。たとえば、図 11に示すように、計数された階調レベル数が所定の値 The以上カゝら所定の値 Thdまでの範囲で特殊画像用効果調整信号 DSの信号レベル (値)を増加させる。

このように閾値を設けることにより、効果調整信号発生部 74は、特殊画像が含まれる閾値「Thc」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号 D Sを生成できる。一方、効果調整信号発生部 74は、特殊画像でない通常の画像が含まれる閾値「Thd」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。図 11において、横軸は階調レベル数、縦軸は特殊画像用効果調整信号 DSの出力である。なお、出力される特殊画像用効果調整信号 DSの値の範囲を「0. 0」から「1. 0」としたが、視覚処理の強度に応じて「0. 2」から「 1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置 1を構成する。以上のように、変形例 1の特殊画像検出部 70によれば、画像信号から画像情報の偏りに応じて特殊画像の度合、を検出でき、特殊画像検出部 40を特殊画像検出部 70に置き換えることが可能となる。

(変形例 2)

つぎに、特殊画像検出部 40の変形例 2について説明する。変形例 2では、画像信号 ISの画像中における濃淡が変化しない領域の割合力統計的な情報の偏りを検出する。濃淡が変化しない領域は、画像の平坦度合いにより検出することができる。この平坦度合いを検出する方法として、画像信号 ISから隣接画素との輝度差が所定の値以下となる類似画素が連続している連続長を検出し、検出された複数の連続長を平均した平均連続長を検出する方法を採る。これにより、特殊画像の度合いを検出することができる。特殊画像では、濃淡が一定である領域が広いため、画像中における平坦度合いは高くなり、類似輝度の画素が多く連続する。つまり、統計的な情報の偏りから特殊画像の度合いを検出できる。

図 12、図 13および図 14を用いて、画像信号から類似した輝度信号が連続するときの連続長を検出する変形例 2の場合について説明する。

図 12は変形例 2の特殊画像検出部 80の構成を示すブロック図、図 13は画像における類似画素の連続長を説明するための説明図、図 14は変形例 2の特殊画像用効果調整信号 DSを説明するための説明図である。

図 12に示すように、変形例 2の特殊画像検出部 80は、画像信号 ISから隣接画素との輝度差が所定の値以下となる類似画素を検出する類似輝度検出部 81と、類似画素が連続している連続長を検出する連続長検出部 82と、連続長検出部 82で検出された複数の連続長を平均することで平均連続長を算出する平均連続長算出部 83と、平均連続長に応じて特殊画像用効果調整信号 DSを出力する効果調整信号発生部 84とを備えている。

類似輝度検出部 81は、画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する。所定の値は、あら力じめ実験的に求められる値であり、求められる機器の画質仕様により決定される。

連続長検出部 82は、類似画素が連続している連続長を検出する。連続長は、たとえば、図 13に示すように、縦方向 503、縦方向 504および縦方向 505などの縦方向と、横方向 500、横方向 501および横方向 502などの横方向とにおいて、類似画素が連続して、る画素数を連続長として検出する。

平均連続長算出部 83は、連続長検出部 82で検出された複数の連続長を平均することで平均連続長を算出する。

効果調整信号発生部 84は、平均連続長に応じて、平均連続長が長くなるほど特殊画像用効果調整信号 DSの信号レベル (値)を小さくするように出力する。たとえば、図 14に示すように、検出された平均連続長が所定の値「The」以上から所定の値「T hfjまでの範囲で特殊画像用効果調整信号 DSの信号レベル (値)を減少させる。ここで、横軸は平均連続長、縦軸は特殊画像用効果調整信号 DSの出力である。このように閾値を設けることにより、効果調整信号発生部 84は、特殊画像でない通常の画像が含まれる閾値「The」以下の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。一方、効果調整信号発生部 84は、特殊画像が含まれる閾値「1¾」以上の場合は視覚効果を完全になくした特殊画像用効果調整信号 DSを生成できる。

なお、出力される特殊画像用効果調整信号 DSの値の範囲を「0. 0」から「1. 0」とした力視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置 1を構成する。

以上のように、変形例 2の特殊画像検出部 80によれば、画像信号から画像情報の偏りを有する特殊画像の度合!ヽを検出でき、特殊画像検出部 40を特殊画像検出部 80に置き換えることが可能となる。

(変形例 3)

つぎに、特殊画像検出部 40の変形例 3について説明する。変形例 3では、画像信号 ISの画像中における濃淡が変化する領域の割合力統計的な情報の偏りを検出する。濃淡が変化する領域は、画像中の高周波成分により検出することができる。ここでは、分割された複数のブロックから高周波成分を含む高周波ブロックを検出し、分割されたブロックの全数に対する高周波ブロックの数の割合を検出することで、特殊画像である度合!ヽを検出する。

図 15、図 16および図 17を用いて、高周波ブロックの数の割合を検出する変形例 3 の場合について説明する。図 15 (a)は変形例 3の特殊画像検出部 90の構成を示すブロック図、図 16はブロック画像を説明するための説明図、図 17は変形例 3の特殊画像用効果調整信号 DSを説明するための説明図である。

図 15 (a)に示すように、変形例 3の特殊画像検出部 90は、複数のブロックに分割された画像信号 ISから高周波成分を含む高周波ブロックを検出する高周波ブロック検出部 91と、全ブロック数に対する高周波ブロック数の割合を検出する高周波ブロック密度検出部 92と、高周波ブロック密度検出部 92で検出されたブロック数の割合に応じて効果調整信号を出力する効果調整信号発生部 93とを備える。

高周波ブロック検出部 91は、入力された画像信号が MPEGや JPEGなどの符号ィ匕された圧縮画像である場合、符号ィ匕ブロックごとに高周波成分を検出することができる。たとえば、符号ィ匕ブロックごとの AC係数を検出することで高周波成分を抽出できる。

高周波ブロック検出部 91は、所定の値以上の高周波成分が検出されたときのプロックを高周波ブロックと判断する。

図 16に示すように、たとえば、特殊画像 200が複数のブロックに分割され、ブロックごとに高周波成分を検出する場合について説明する。

高周波ブロック検出部 91は、ブロック 600には画像パターンのエッジが含まれるため、高周波成分を検出し、「高周波ブロックである」と判定する。一方、高周波ブロック検出部 91は、ブロック 601、ブロック 602はほぼ一定の濃淡値であるため、高周波成分を検出できず、それぞれを「高周波ブロックでない」と判定する。以下、分割されたすべてのブロックに対して、同様に判定を行う。

高周波ブロック密度検出部 92は、複数に分割された全ブロック数に対する高周波ブロック数の割合 (以下、「ブロック密度」と!、う）を検出する。

効果調整信号発生部 93は、ブロック密度に応じて、ブロック密度が高いほど特殊画像用効果調整信号 DSの値を大きくするようにして、特殊画像用効果調整信号 DSを出力する。たとえば、図 17に示すように、検出されたブロック密度が所定の値 Thg以上から所定の値 Thhまでの範囲で特殊画像用効果調整信号 DSの値を増加させる。このように閾値を設けることにより、効果調整信号発生部 93は、特殊画像が含まれる閾値「11^」以下の場合は視覚効果を完全になくした特殊画像用効果調整信号 DS を生成できる。一方、効果調整信号発生部 93は、特殊画像でない通常の画像が含まれる閾値「Thh」以上の場合は視覚効果を弱めずに処理するための特殊画像用効果調整信号 DSを生成できる。ここで、横軸はブロック密度、縦軸は特殊画像用効果調整信号 DSの出力である。なお、出力される特殊画像用効果調整信号 DSの値の範囲を「0. 0」から「1. 0」としたが、視覚処理の強度に応じて「0. 2」から「1. 0」などに調整するようにしてもよい。また、特殊画像用効果調整信号 DSの値が大きいほど視覚処理の効果が強いものになるように、視覚処理装置 1を構成する。

また、視覚処理装置 1において、図 15 (a)に示した特殊画像検出部 90の代わりに、図 15 (b)に示した特殊画像検出部 90'を用いてもよい。特殊画像検出部 90'は、画像信号 ISから、画像信号 ISにより形成される 1枚の画像の画像領域に含まれる高周波ブロックを検出する高周波ブロック検出部 91 'と、高周波ブロック検出部 91 'により検出された高周波ブロック数を算出する高周波ブロック数算出部 94と、高周波ブロック数に応じて効果調整信号を出力する効果調整信号発生部 93'と、を備える。

特殊画像検出部 90'では、例えば、効果調整信号発生部 93'において、高周波ブロック数算出部 94により算出された高周波ブロック数 KKをエッジ画素数 KKを変数とする関数 ffk(KK) (関数 ffk (KK)としては、例えば、 KKく kthlで、 ffk (KK) =0、 kthl≤KK≤kth2T\ ffk(KK) = (KK— kthl)Z(kth2— kthl)、 KK>kth2で、 ffk (KK) = 1 (kth2>kthl) )に基づいて特殊画像用効果調整信号 DSを出力させる。この特殊画像用効果調整信号 DSを用いて、視覚処理装置 1による視覚処理を実現することができる。

以上のように、変形例 3の特殊画像検出部 90によれば、画像信号 ISから画像情報の偏りを有する特殊画像の度合!、を検出でき、特殊画像検出部 40を特殊画像検出部 90に置き換えることが可能となる。

なお、画像信号が縮小されて!ヽるサムネイル画像などの縮小画像カゝら統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りにもとづいて効果調整信号を出力するようにしてもょ、。

また、画像信号と特殊画像検出部 40 (70、 80、 90)との間に画像信号を縮小する縮小処理部（図示せず)を備え、縮小処理部で生成された縮小画像から統計的な情報の偏りを有する特殊画像を検出し、この統計的な情報の偏りにもとづいて効果調整信号を出力するようにしてもょ、。

縮小画像を用いることにより、ノイズの影響を抑えながらエッジ近傍の平坦領域を検出できる。つまり、画像信号を平均した後で間引く縮小方法で生成された縮小画像は、ノイズ成分が低減されているので、ノイズの影響を抑えながら統計的な情報の偏りを検出することができる。また、縮小画像を用いれば、検出する画素数を削減でき、演算量を削減できる。

[第 2実施形態]

本発明の第 1実施形態に係る視覚処理装置 1では、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 (アンシャープ信号) USとの割合を変えて合成した合成信号 MUSを出力し、視覚処理部 30は効果調整部 20からの合成信号 MUSにしたがって画像信号を視覚処理した処理出力 OSを出力するようにしたが、本発明の第 2 実施形態に係る視覚処理装置 2では、効果調整部 21によって、視覚処理された処理出力 OSと画像信号 ISとを効果調整信号に応じて合成した合成出力 OUTを出力するようにする。本実施形態に係る視覚処理装置 2について、図 18を用いて説明する。

図 18は本発明の第 2実施形態における視覚処理装置 2の構成を示すブロック図である。以下、第 1実施形態と同様の部分については、同一符号を付し、その詳細な説明は省略する。

図 18において、視覚処理部 30は、画像信号 ISと空間処理部 10の出力 USとにもとづ、て処理出力 OSを出力する。

効果調整部 21は、画像信号 ISと処理出力 OSとを、効果調整信号 MODに応じて内分演算することで、視覚処理の効果を異ならせる。たとえば、効果調整部 21からの出力 OUTは、以下の（式 3)のように内分演算によって算出される。

OUT=OS X MOD + IS X (1. 0— MOD) (式 3)

なお、（式 3)は、（式 4)のように変形しても実現できる。

OUT= (OS-IS) X MOD + IS (式 4)

以上のように、本発明の第 2実施形態の視覚処理装置 2によれば、効果調整信号 MODに応じて、処理信号 OSと画像信号 ISとの割合を変化させて合成した合成信号 OUTを出力でき、視覚処理の効果を異ならせることができる。

なお、特殊画像検出部 40を本発明の第 1実施形態の特殊画像検出部 70に置き換えてもよい。これによつても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 40を本発明の第 1実施形態の特殊画像検出部 80に置き換えてもよい。これによつても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 40を本発明の第 1実施形態の特殊画像検出部 90に置き換えてもよい。これによつても、同様に特殊画像を検出でき、画像情報の偏りに応じた効果調整信号 MODを生成できる。

[第 3実施形態]

本発明の第 1実施形態に係る視覚処理装置 1では、効果調整信号 MODに応じて画像信号 ISと周辺画像情報 (アンシャープ信号) USとの割合を変えて合成した合成信号 MUSを出力し、視覚処理部 30は効果調整部 20からの合成信号 MUSにしたがって画像信号を視覚処理した処理出力 OSを出力するようにしたが、本発明の第 3 実施形態に係る視覚処理装置 3では、効果調整部 22は、効果調整信号 MODに応じて視覚処理の効果の異なる複数のプロファイルそれぞれからの出力の割合を変えて合成したプロファイル (以下、「合成プロファイル」と!ヽぅ）を作成し、視覚処理部 30 の LUTに設定するようにしている。この本実施形態について、図 19を用いて説明する。

図 19は本発明の第 3実施形態における視覚処理装置 3の構成を示すブロック図である。以下、第 1実施形態と同様の部分については、同一符号を付し、その詳細な説明は省略する。

効果調整部 22は、視覚処理の強度が異なる第 1プロファイル 60と第 2プロファイル 61とを効果調整信号 MODに応じて内分演算により合成し、合成プロファイルを作成して視覚処理部 30の LUTに設定する。なお、外分演算によって合成プロファイルを生成してちょい。

視覚処理部 30は、 LUTに設定された合成プロファイルにより、視覚処理の強弱、視覚効果の度合いを異ならせた視覚処理を行うことができる。

以上のように、本発明の第 3実施形態の視覚処理装置 3によれば、効果調整信号 MODに応じて視覚処理の強度、効果が異なる複数のプロファイルを合成し、合成プ口ファイルを視覚処理部 30の LUTに設定することで、視覚処理の効果を異ならせることができる。

なお、特殊画像検出部 40を本発明の第 1実施形態における特殊画像検出部 70に置き換えてもよい。これによつても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 40を本発明の第 1実施形態における特殊画像検出部 80に置き換えてもよい。これによつても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号 MODを生成できる。

また、特殊画像検出部 40を本発明の第 1実施形態における特殊画像検出部 90に置き換えてもよい。これによつても、同様に特殊画像を検出でき、情報の偏りに応じた効果調整信号 MODを生成できる。

[第 4実施形態]

本発明の第 1実施形態から本発明の第 3実施形態までの視覚処理装置では、 2次元階調変換特性にもとづく階調変換値を出力するようにしていたが、本発明の第 4実施形態では、ゲイン出力を用いて階調変換を行うゲイン型視覚処理システム 4について、図 20、図 21を用いて説明する。

図 20は本発明の第 4実施形態におけるゲイン型視覚処理システム 4の構成を示すブロック図、図 21は 2次元ゲイン特性を説明するための説明図である。以下、第 1実施形態と同様の部分については、同一符号を付し、その詳細な説明は省略する。図 20において、ゲイン型視覚処理システム 4は、画像信号 ISを視覚処理したゲイン信号 GAINを出力するゲイン型視覚処理装置 5と、ゲイン信号 GAINと画像信号 ISとを乗算する乗算器 11とを備えてヽる。

また、ゲイン型視覚処理装置 5は、画像信号 ISを視覚処理した処理信号 OSを出力する視覚処理装置 1と、処理信号 OSを画像信号 ISで除算する除算器 12とを備えている。ここで、視覚処理装置 1は、画像信号 ISの出力を視覚処理した階調変換値を出力するもので、この階調変換値を画像信号 ISで除算することで、ゲイン型視覚処理装置 5を実現できる。

乗算器 11は、ゲイン型視覚処理装置 5で出力されるゲイン信号 GAINと画像信号 I sとを乗算し、画像信号 ISを視覚処理した階調変換値を出力する。

なお、視覚処理部 30において、図 21に示す、 2次元ゲイン特性を持つプロファイルを直接に用いて処理するようにしてもよい。ここで、図 21の縦軸はゲイン出力 GN、横軸は画像信号 ISである。図 21に示す 2次元ゲイン特性は、図 2に示す 2次元階調特性のプロファイルの出力を画像信号 ISで除算して得たものと等価である。この 2次元ゲイン特性を持つプロファイルを視覚処理装置 1の視覚処理部 30の LUTに設定してもよい。このように、 2次元ゲイン特性のプロファイルを視覚処理部 30の LUTにあらかじめ設定すれば、ゲイン出力 GNとゲイン信号 GAINは等価となるため、除算器 12 を削除してもゲイン型視覚処理装置 5を実現することができる。

以上のように、本発明の第 4実施形態のゲイン型視覚処理システム 4において、ゲイン型視覚処理装置 5では、入力された画像信号 ISの変化に対して視覚処理した処理信号の変化が小さいため、入力信号のビット数を削減でき、回路規模を削減出来る。また、視覚処理部 30に 2次元 LUTが備えられた場合にはメモリ容量を削減することがでさる。

なお、本発明の第 1実施形態の視覚処理装置 1は、本発明の第 2実施形態における視覚処理装置 2に置き換えてもよい。これによつても、同様にゲイン型視覚処理装置 5を実現できる。

また、本発明の第 1実施形態における視覚処理装置 1は、本発明の第 3実施形態における視覚処理装置 3に置き換えてもよい。これによつても、同様にゲイン型視覚処理装置 5を実現できる。

以上のように、本発明の第 1実施形態力ゝら本発明の第 4実施形態によれば、特殊画像でなヽ通常の画像が入力された場合には視覚処理効果を維持でき、特殊画像が入力された場合には副作用を抑えることができる。

[他の実施形態]

上記本発明の実施形態で説明した視覚処理装置または視覚処理システムにおける特殊画像度合いの算出については、入力画像信号により形成される 1枚の画像の全画素にっ、て特殊画像度合!/、を算出するようにしてもよ!、し、入力画像信号により形成される 1枚の画像の所定の領域を構成する画素につ!、て特殊画像度合!ヽを算出するようにしてもよい。

例えば、図 23 (a)に示すように、 4 : 3のアスペクト比を有する画像 2302を、 16 : 9のアスペクト比を有する表示画面 2301に表示させるために、画像の左右両端に黒の部分 2304および 2305を追カ卩したような画像信号を処理する場合、この黒の部分 23 04および 2305に相当する画像信号 (画素）を除き、 4： 3のアスペクト比を有する画像 2302に相当する画像信号 (画素）のみについて、特殊画像度合いを算出し、特殊画像用効果調整信号を生成するようにしてもょヽ。

また、例えば、図 23 (b)に示すように、 16 : 9のアスペクト比を有する画像 2307を、 4 : 3のアスペクト比を有する表示画面 2306に表示させるために、画像の上下両端に黒の部分 2308および 2309を追カ卩したような画像信号を処理する場合、この黒の部分 2308および 2309に相当する画像信号 (画素）を除き、 16： 9のアスペクト比を有する画像 2307に相当する画像信号 (画素）のみについて、特殊画像度合いを算出し、特殊画像用効果調整信号を生成するようにしてもよ！ヽ。

なお、上記アスペクト比は一例であり、他のアスペクト比であっても同様の処理を行うことができるのは、言うまでもない。また、図 23 (a)および (b)は、説明のための便宜図であり、正確なアスペクト比により描画したものではない。

また、 1つの表示画面において複数の画像が分割されて表示されるような場合の画像信号において、分割表示される画像単位に、特殊画像度合いを算出するようにしてもよい。例えば、図 24に示すように、表示画面 2401において、左側の領域に特殊画像 2302を表示し、右側の領域に一般画像 2403を表示する画像信号の場合、左側の領域の特殊画像 2302を形成する画像信号 (画素）のみにより、特殊画像度合いを算出し、特殊画像用効果調整信号を生成し、そして、右側の領域の自然画像 23 03を形成する画像信号 (画素）のみにより、特殊画像度合いを算出し、特殊画像用効果調整信号を生成するようにしてもよい。つまり、分割表示される画像単位に、特殊画像度合いを算出し、特殊画像用効果調整信号を生成するようにしてもよい。また、上記本発明の実施形態で説明した視覚処理装置または視覚処理システムにおける空間処理機能、効果調整機能、視覚処理機能、特殊画像検出機能などの各種機能は、集積回路などを用いたハードウェアにより実施してもよいし、中央処理装置（以下、「CPU」という）、デジタル信号処理装置などを用いて動作するソフトウェアにより実施してもよい。また、上記各種機能をソフトウェアおよびノヽードウエアの混在処理により実現しても良い。

まず、上記各種機能をノヽードウエアで実施する場合は、本発明の実施形態での各機能を個別に集積回路としてもよいし、一部またはすベてを含むように 1チップ化された集積回路としてもよい。なお、ここでの集積回路とは、 LSIに限らず、集積度の違いにより、 IC、システム LSI、スーパー LSI、ウルトラ LSIと呼称されることもある。

また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能な FPGA (Field Programm able Gate Array)や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギユラブル'プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行ってもよい。たとえば、ノィォ技術の進歩により、バイオコンピュータの適用などが考えられる。

つぎに、上記各種機能をソフトウェアで実施する場合について、図 22を用いて説明する。図 22は、本発明の実施形態におけるコンピュータの構成を示すブロック図である。

図 22において、コンピュータ 6は、各種プログラムの命令を実行する CPU100と、プログラムなどが格納されているリードオンリーメモリ 101 (以下、「ROM101」という）と、一時記憶のデータを格納するランダムアクセスメモリ 102 (以下、「RAM102」という）と、画像を入力する入力部 103と、画像を出力する出力部 104と、プログラムや各種データを記憶する記憶部 105とを備えている。

さらに、外部との通信を行う通信部 106と、情報記憶媒体を適宜接続するドライブ 1 07とを備えるようにしてもょ、。

また、各機能部はバス 110を経由して制御信号、データなどの送受信を行う。

CPU100は、 ROM101に記憶されているプログラムにしたがって各種機能の処理を実行する。

ROM101は、プログラム、プロファイルなどを記憶する。 RAM102は、 CPU100により各種機能の処理に必要なデータを一時記憶する。入力部 103は、画像を入力する。たとえば、電波を受信し、受信した受信信号を復号ィ匕することで映像信号を取得する。また、直接に有線を経由してデジタル画像を取得するようにしてちょい。

出力部 104は、画像を出力する。たとえば、液晶表示装置やプラズマディスプレイなどの表示装置に出力する。

記憶部 105は、磁気メモリなどで構成され、種々のプログラム、データを記憶する。通信部 106は、ネットワーク 111に接続され、ネットワーク 111を経由してプログラムを取得、または必要に応じて記憶部 105に取得したプログラムをインストールするようにしてもよい。これにより、コンピュータ 6は、通信部 106によりプログラムのダウンロードが可能となる。

ドライブ 107は、情報記憶媒体を適宜接続し、情報記憶媒体に記憶されている記憶情報を取得する。情報記憶媒体は、たとえば、磁気ディスク、光磁気ディスク、光デイスクなどのディスク 108、または半導体メモリなどのメモリカード 109などである。なお、ディスク 108、または半導体メモリなどのメモリカード 109などに各種機能を実行するためのプログラム、プロファイルなどを記憶し、コンピュータ 6に、その情報を与えるようにしてもよい。

また、プログラムは、あら力じめコンピュータに専用のハードウェアで組み込んでもよいし、 ROM101、記憶部 105にあら力じめ組み込んで提供してもよい。

また、プログラムは、情報処理装置、表示装置、デジタルカメラ、携帯電話、 PDAなどの画像を取り扱う機器に適用できる。プログラムは、画像を取り扱う機器に内蔵、あるいは接続され、上記実施形態で説明した視覚処理装置または視覚処理システムが実現する視覚処理と同様の視覚処理を実行する。

なお、視覚処理装置を表示装置などに適用した場合には、特殊画像を検出したときに表示モードを切り替えるようにしてもよい。

また、上記実施形態で説明した視覚処理装置の視覚処理部等を 2次元 LUTで構成する場合、参照される 2次元 LUT用のデータは、ハードディスク、 ROMなどの記憶装置に格納されており、必要に応じて参照される。さらに、 2次元 LUTのデータは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される 2次元 LUT用の 2次元ゲインデータ (プロファイル)の提供装置から提供されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなぐ発明の要旨を逸脱しな、範囲で種々の変更および修正が可能である。

産業上の利用可能性

本発明による視覚処理装置、視覚処理方法およびプログラムによれば、画像信号を視覚処理することができ、特に、特殊画像が入力された場合であっても、副作用を抑えることを可能とする視覚処理装置、視覚処理方法およびプログラムなどとして有用である。

Claims

請求の範囲

[1] 1枚の画像を形成することができる画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、

前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理した処理信号を出力する視覚処理部と、

前記画像信号により形成される前記 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された前記統計的な情報の偏りに基づいて、前記 1枚の画像が特殊画像である度合いを示す特殊画像度合いを算出し、算出された前記特殊画像度合いに基づいて効果調整信号を出力する特殊画像検出部と、前記効果調整信号に応じて、前記 1枚の画像を形成する前記画像信号に対する前記視覚処理の効果を設定するように前記視覚処理部を制御する効果調整部と、を備える視覚処理装置。

[2] 前記特殊画像検出部は、前記画像信号により形成される前記 1枚の画像内に含まれる前記所定の領域における濃淡が変化する領域の割合または濃淡が変化しない領域の割合にもとづいて前記統計的な情報の偏りを検出する、

請求項 1に記載の視覚処理装置。

[3] 前記特殊画像検出部は、前記濃淡が変化する領域の割合が少な!、程、または濃淡が変化しな、領域の割合が多、程、前記特殊画像度合!、を高くする、

請求項 2に記載の視覚処理装置。

[4] 前記特殊画像検出部は、

前記濃淡が変化する領域の割合である濃淡変化領域率が第 1の値より小さい場合、前記効果調整信号の信号レベルを第 1の効果調整信号レベル用閾値より小さ!、値とし、

前記濃淡変化領域率が前記第 1の値以上で、かつ、第 2の値（>第 1の値)より小さい場合、前記濃淡変化領域率が大きな値となる程、前記効果調整信号の信号レべルを大きな値とし、

前記濃淡変化領域率が前記第 2の値以上である場合、前記濃淡変化領域率を前記第 1の効果調整信号レベル用閾値より大きな値である第 2の効果調整信号レベル用閾値より大きな値とする、

請求項 2に記載の視覚処理装置。

[5] 前記特殊画像検出部は、前記画像中のエッジ成分を検出することで前記濃淡が変化する領域の割合を検出する、

請求項 3または 4に記載の視覚処理装置。

[6] 前記特殊画像検出部は、前記画像中の平坦度合いを検出することで前記濃淡が変化しない領域の割合を検出する、

請求項 3または 4に記載の視覚処理装置。

[7] 前記特殊画像検出部は、階調レベル数または類似画素の連続長にもとづいて前記平坦度合いを検出する、

請求項 6に記載の視覚処理装置。

[8] 前記特殊画像検出部は、前記画像信号により形成される前記 1枚の画像内に含まれる前記所定の領域にあるエッジを構成する画素の数であるエッジ画素数に基づいて前記統計的な情報の偏りを検出する、

請求項 5に記載の視覚処理装置。

[9] 前記特殊画像検出部は、

前記画像信号により形成される前記 1枚の画像内に含まれる前記所定の領域にあるエッジを構成するエッジ画素を検出するエッジ検出部と、

前記エッジ画素の数を算出するエッジ画素数算出部と、

前記エッジ画素数算出部により算出された前記エッジ画素の数に応じて前記効果調整信号を出力する第 1の効果調整信号発生部と、

を有する、

請求項 5に記載の視覚処理装置。

[10] 前記特殊画像検出部は、前記画像信号により形成される前記 1枚の画像内に含まれる前記所定の領域を構成する画素数に対するエッジ画素数の割合であるエッジ画素比率に基づいて前記統計的な情報の偏りを検出する、

請求項 5に記載の視覚処理装置。

[11] 前記特殊画像検出部は、前記画像信号力画素ごとにエッジ量を検出するエッジ検出部と、前記エッジ量が所定の値以上であるエッジ画素を検出し、前記画像信号の全画素数に対する前記エッジ画素数の割合であるエッジ画素比率を算出するエッジ密度算出部と、

前記エッジ画素比率に応じて前記効果調整信号を出力する第 2の効果調整信号発生部と、

を有する、

請求項 5に記載の視覚処理装置。

[12] 前記特殊画像検出部は、エッジ画素比率が 2割以上である場合、前記効果調整信号の出力値を第 1閾値以上の値として出力する、

請求項 10または 11に記載の視覚処理装置。

[13] 前記特殊画像検出部は、前記画像信号により形成される前記 1枚の画像内に含まれる前記所定の領域に存在する、高周波成分を含むブロックである高周波ブロックの数に基づいて前記統計的な情報の偏りを検出する、

請求項 3または 4に記載の視覚処理装置。

[14] 前記特殊画像検出部は、

前記画像信号により形成される前記 1枚の画像内に含まれる前記所定の領域に存在する、高周波成分を含むブロックである高周波ブロックを検出する高周波ブロック検出部と、

前記所定の領域に存在する前記高周波ブロックの数を算出する高周波ブロック数算出部と、

前記高周波ブロック数算出部により算出された前記高周波ブロック数に応じて前記効果調整信号を出力する第 3の効果調整信号発生部と、

を有する、

請求項 3または 4に記載の視覚処理装置。

[15] 前記特殊画像検出部は、前記画像信号により形成される前記 1枚の画像内に含まれる前記所定の領域に存在する、全ブロック数に対する高周波ブロック数の割合である高周波ブロック比率に基づいて前記統計的な情報の偏りを検出する、請求項 3または 4に記載の視覚処理装置。

[16] 前記特殊画像検出部は、

複数のブロックに分割された前記画像信号から高周波成分を含む高周波ブロックを検出する高周波ブロック検出部と、

前記複数のブロック数に対する前記高周波ブロック数の割合を検出する高周波ブロック密度検出部と、

前記割合に応じて前記効果調整信号を出力する第 4の効果調整信号発生部と、を有する、

請求項 3または 4に記載の視覚処理装置。

[17] 前記特殊画像検出部は、

前記画像信号から階調レベルごとの頻度を検出する頻度検出部と、

前記階調レベルごとの前記頻度と所定の閾値とを比較し、前記所定の閾値より前記頻度が大きい階調レベルを検出する頻度判定部と、

前記頻度判定部により前記頻度が大きいと判定された前記階調レベル数を検出する階調数検出部と、

前記階調レベル数に応じて前記効果調整信号を出力する第 5の効果調整信号発生部と、を有する、

請求項 7に記載の視覚処理装置。

[18] 前記特殊画像検出部は、

前記画像信号から隣接画素との輝度差が所定の値以下となる類似画素を検出する類似輝度検出部と、

前記類似画素が連続している連続長を検出する連続長検出部と、

前記連続長検出部で検出された複数の前記連続長を平均することで平均連続長を算出する平均連続長算出部と、

前記平均連続長に応じて前記効果調整信号を出力する第 6の効果調整信号発生部と、

を有する、

請求項 7に記載の視覚処理装置。

[19] 前記効果調整部は、前記効果調整信号に応じて前記画像信号と前記周辺画像情報との割合を変えて合成した第 1の合成信号を出力し、

前記視覚処理部は、前記第 1の合成信号と前記画像信号とにもとづいて前記画像信号を前記視覚処理する、

請求項 1から請求項 18までのいずれか 1項に記載の視覚処理装置。

[20] 前記効果調整部は、前記効果調整信号に応じて前記画像信号と前記処理信号との割合を変えて合成した第 2の合成信号を出力する、

[21] 前記視覚処理部は、 2次元ルックアップテーブルを有し、前記 2次元ルックアップテ一ブルに設定される特性データにもとづいて前記視覚処理を行うものであって、前記効果調整部は、前記効果調整信号に応じて前記視覚処理の効果が異なる複数の前記特性データの割合を変えて合成した特性データを前記視覚処理部に設定する、

[22] 前記特殊画像検出部は、前記画像信号が縮小されて！ヽる縮小画像を入力し、前記縮小画像力前記統計的な情報の偏りを有する前記特殊画像を検出し、前記統計的な情報の偏りにもとづ!、て前記効果調整信号を出力する、

請求項 1から請求項 21までのいずれか 1項に記載の視覚処理装置。

[23] 前記特殊画像検出部は、前記画像信号がフレーム画像のときにはひとつ以上前のフレーム画像から、もしくは前記画像信号がフィールド画像のときにはひとつ以上前のフィールド画像力前記統計的な情報の偏りを検出する、

請求項 1から請求項 22までのいずれか 1項に記載の視覚処理装置。

[24] 前記効果調整信号を連続的に変化させるための連続変化処理部をさらに備え、前記連続変化処理部は、前記効果調整信号がフレーム単位で出力されるときは前記フレーム間で、前記効果調整信号力 Sフィールド単位で出力されるときは前記フィールド間で、前記効果調整信号を連続的に変化させる、

請求項 23に記載の視覚処理装置。

[25] 通信または放送された画像データを受信するデータ受信部と、受信された前記画像データを映像データに復号する復号部と、

復号された前記映像データを視覚処理して出力信号を出力する請求項 1から請求項 24の、ずれか 1項に記載の視覚処理装置と、

前記視覚処理装置により視覚処理された前記出力信号の表示を行う表示部と、を備える表示装置。

[26] 1枚の画像を形成することができる画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、

前記画像信号と前記周辺画像情報とにもとづいて前記画像信号を視覚処理する視覚処理ステップと、

前記画像信号により形成される前記 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された前記統計的な情報の偏りに基づいて、前記 1枚の画像が特殊画像である度合いを示す特殊画像度合いを算出し、算出された前記特殊画像度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、

前記効果調整信号に応じて、前記 1枚の画像を形成する前記画像信号に対する前記視覚処理の効果を設定する効果調整ステップと、

を備える、

視覚処理方法。

[27] コンピュータに、

1枚の画像を形成することができる画像信号の周辺画像情報を抽出する周辺画像情報抽出ステップと、

前記画像信号により形成される前記 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された前記統計的な情報の偏りに基づいて、前記 1枚の画像が特殊画像である度合いを示す特殊画像度合いを算出し、算出された前記特殊画像度合いにもとづいて効果調整信号を出力する特殊画像検出ステップと、前記効果調整信号に応じて、前記 1枚の画像を形成する前記画像信号に対する前記視覚処理の効果を設定する効果調整ステップと、

を実行させるプログラム。

1枚の画像を形成することができる画像信号の周辺画像情報を抽出する周辺画像情報抽出部と、

前記画像信号により形成される前記 1枚の画像内に含まれる所定の領域における統計的な情報の偏りを検出し、検出された前記統計的な情報の偏りに基づいて、前記 1枚の画像が特殊画像である度合いを示す特殊画像度合いを算出し、算出された前記特殊画像度合いを効果調整信号として出力する特殊画像検出部と、

前記効果調整信号に応じて、前記 1枚の画像を形成する前記画像信号に対する前記視覚処理の効果を設定するように前記視覚処理部を制御する効果調整部と、を備える集積回路。