JP4126298B2 - 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 - Google Patents

視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 Download PDF

Info

Publication number
JP4126298B2
JP4126298B2 JP2004264005A JP2004264005A JP4126298B2 JP 4126298 B2 JP4126298 B2 JP 4126298B2 JP 2004264005 A JP2004264005 A JP 2004264005A JP 2004264005 A JP2004264005 A JP 2004264005A JP 4126298 B2 JP4126298 B2 JP 4126298B2
Authority
JP
Japan
Prior art keywords
gradation
image
processing
signal
gradation conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004264005A
Other languages
English (en)
Other versions
JP2005322205A (ja
JP2005322205A5 (ja
Inventor
春生 山下
辰巳 渡辺
祐亮 物部
武志 井東
章夫 小嶋
康浩 ▲くわ▼原
俊晴 黒沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004264005A priority Critical patent/JP4126298B2/ja
Publication of JP2005322205A publication Critical patent/JP2005322205A/ja
Publication of JP2005322205A5 publication Critical patent/JP2005322205A5/ja
Application granted granted Critical
Publication of JP4126298B2 publication Critical patent/JP4126298B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、視覚処理装置、特に、画像信号の階調処理を行う視覚処理装置に関する。また、別の本発明は、視覚処理方法、視覚処理プログラムおよび半導体装置に関する。
原画像の画像信号の視覚処理として、空間処理と階調処理とが知られている。
空間処理とは、処理対象となる対象画素の周辺の画素を用い、対象画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ(DR)圧縮など行う技術が知られている。コントラスト強調では、原画像とボケ信号との差分(画像の鮮鋭成分)を原画像に加え、画像の鮮鋭化が行われる。DR圧縮では、原画像からボケ信号の一部が減算され、ダイナミックレンジの圧縮が行われる。
階調処理とは、対象画素の周辺の画素とは無関係に、対象画素毎にルックアップテーブル(LUT)などを用いて画素値の変換を行う処理であり、ガンマ補正と呼ばれることもある。例えば、コントラスト強調する場合、原画像での出現頻度の高い階調レベルの階調を強調するLUTを用いて画素値の変換が行われる。LUTを用いた階調処理として、原画像全体に1つのLUTを決定して用いる階調処理(ヒストグラム均等化法)と、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる階調処理(局所的ヒストグラム均等化法)とが知られている(例えば、特許文献1参照。)。
図33〜図36を用いて、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる階調処理について説明する。
図33に、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる視覚処理装置300を示す。視覚処理装置300は、入力信号ISとして入力される原画像を複数の画像領域Sm(1≦m≦n:nは原画像の分割数)に分割する画像分割部301と、それぞれの画像領域Smに対して階調変換曲線Cmを導出する階調変換曲線導出部310と、階調変換曲線Cmをロードしそれぞれの画像領域Smに対して階調処理した出力信号OSを出力する階調処理部304とを備えている。階調変換曲線導出部310は、それぞれの画像領域Sm内の明度ヒストグラムHmを作成するヒストグラム作成部302と、作成された明度ヒストグラムHmからそれぞれの画像領域Smに対する階調変換曲線Cmを作成する階調曲線作成部303とから構成される。
図34〜図36を用いて、各部の動作について説明を加える。画像分割部301は、入力信号ISとして入力される原画像を複数(n個)の画像領域に分割する(図34(a)参照。)。ヒストグラム作成部302は、それぞれの画像領域Smの明度ヒストグラムHmを作成する(図35参照。)。それぞれの明度ヒストグラムHmは、画像領域Sm内の全画素の明度値の分布状態を示している。すなわち、図35(a)〜(d)に示す明度ヒストグラムHmにおいて、横軸は入力信号ISの明度レベルを、縦軸は画素数を示している。階調曲線作成部303は、明度ヒストグラムHmの「画素数」を明度の順に累積し、この累積曲線を階調変換曲線Cmとする(図36参照。)。図36に示す階調変換曲線Cmにおいて、横軸は入力信号ISにおける画像領域Smの画素の明度値を、縦軸は出力信号OSにおける画像領域Smの画素の明度値を示している。階調処理部304は、階調変換曲線Cmをロードし階調変換曲線Cmに基づいて、入力信号ISにおける画像領域Smの画素の明度値を変換する。こうすることにより、各ブロックにおいて出現頻度の高い階調の傾きを立てることとなり、ブロックごとのコントラスト感が向上するものである。
特開2000−57335号公報(第3頁,第13図〜第16図)
ヒストグラム作成部302では、画像領域Sm内の画素の明度ヒストグラムHmから階調変換曲線Cmを作成する。画像領域Smに適用する階調変換曲線Cmをより適切に作成するには、画像の暗部(シャドー)から明部(ハイライト)までを満遍なく有していることが必要であり、より多くの画素を参照する必要がある。このため、それぞれの画像領域Smをあまり小さくすることができない、すなわち原画像の分割数nをあまり大きくすることができない。分割数nとしては、画像内容によって異なるが、経験的に、4〜16の分割数が用いられている。
それぞれの画像領域Smをあまり小さくすることができないため、階調処理後の出力信号OSにおいては、次の問題が発生することがある。すなわち、それぞれの画像領域Smごとに1つの階調変換曲線Cmを用いて階調処理するため、それぞれの画像領域Smの境界のつなぎ目が不自然に目立ったり、画像領域Sm内で疑似輪郭が発生する場合がある。また、分割数がせいぜい4〜16では画像領域Smが大きいため、画像領域間で極端に異なる画像が存在する場合、画像領域間の濃淡変化が大きく、擬似輪郭の発生を防止することが難しい。例えば、図34(b)、図34(c)のように、画像(例えば、画像中の物体など)と画像領域Smとの位置関係で極端に濃淡が変化する。
そこで、本発明では、さらに視覚的効果を向上させる階調処理を実現する視覚処理装置を提供することを課題とする。
第1の発明は、画像分割部と、選択信号導出部と、階調処理部と、を含む視覚処理装置である。画像分割部は、入力画像を複数の画像領域に分割する。選択信号導出部は、画像領域のうち階調処理の対象となる対象画像領域の周囲の複数の画像領域を少なくとも含む広域画像領域の特徴パラメータを用いて、対象画像領域に適用される階調変換曲線を選択するための選択信号を決定する。階調処理部は、対象画像領域に含まれる画素値である入力信号と選択信号とを入力し、入力信号を階調変換曲線により階調処理する。
第2の発明は、第1の発明であって、広域画像領域は、対象画像領域を中心に、画像領域を垂直方向に5個以上及び画像領域を水平方向に5個以上含む領域である。
第3の発明は、第1または第2の発明であって、画像分割部は、入力画像データを、「16」より大きなブロック数に画像データを分割する。
第4の発明は、第1の発明であって、広域画像領域は、対象画像領域を含まない対象画像領域の周囲の画像領域である。
第5の発明は、第1から第4のいずれかの発明であって、特徴パラメータは、広域画像領域の平均明度値である。
第6の発明は、第5の発明であって、選択信号導出部は、分割された画像領域毎に平均明度を導出し、複数の平均明度から平均明度を導出する。
第7の発明は、第6の発明であって、選択信号導出部は、対象画像領域の平均明度値と大きく異なる平均明度値を有する画像領域の平均明度に対し、重み付けを小さくあるいは「0」として、広域画像領域の平均明度を導出する。
第8の発明は、第1から第4のいずれかの発明であって、選択信号導出部は、分割された画像領域毎に特徴データを導出し、対象画像領域の特徴データと大きく異なる特徴データを有する画像領域の特徴データに対し、重み付けを小さくあるいは「0」として、広域画像領域の特徴パラメータを導出する。
第9の発明は、第1から第4のいずれかの発明であって、選択信号導出部は、分割された画像領域毎に特徴データを導出し、対象画像領域と距離が離れた画像領域の特徴データに対し、重み付けを小さくあるいは「0」として、広域画像領域の特徴パラメータを導出する。
第10の発明は、第1から第9のいずれかの発明であって、更に、対象画像領域に対して決定された選択信号を画素単位に補正する選択信号補正部を備える。
第11の発明は、第10の発明であって、選択信号補正部は、対象画像領域の周囲の複数の画像領域を、選択信号の決定のみを行う仮の対象画像領域とし、仮の対象画像領域に対する広域画像領域の特徴パラメータにより決定されたそれぞれの選択信号を求め、対象画像領域が含む画素の位置座標により、仮の対象画像領域および対象画像領域に対して決定されたそれぞれの選択信号を内分することで、前期対象画像領域に対して決定された選択信号を画素単位に補正する。
第12の発明は、第1から第11のいずれかの発明であって、階調処理部は、選択信号を入力し、階調処理信号を出力する階調処理実行部と、階調処理信号の階調を補正した出力信号を出力する階調補正部と、を含む。
第13の発明は、第1から第12のいずれかの発明であって、階調処理部は、対象画像領域を含む周辺の画像領域に対する複数の選択信号を入力し、複数の階調処理信号を出力する階調処理実行部と、複数の階調処理信号を用いて対象画像領域が含む画素の位置に応じて階調を補正した出力信号を出力する階調補正部と、を含む。
第14の発明は、画像分割部と、階調変換特性導出部と、階調処理部と、を含む視覚処理装置である。画像分割部は、入力画像データから第1の領域を抽出する。階調変換特性導出部は、第1の領域に含まれる複数の画素値の変換特性を、少なくとも第1の領域に対する周辺画像領域の画像データあるいは画像データから導出されるデータを用いて決定する。階調処理部は、第1の領域に含まれる対象画素を変換特性により階調変換する。
第15の発明は、第14の発明であって、第1の領域に隣接する第2の領域に含まれる画素の画素値の変換特性を、第1の領域の変換特性の決定に用いた周辺画像領域と重なる画素を有する新たな周辺画像領域の画素値を用いて決定する。
第16の発明は、第14の発明であって、階調変換特性導出部は、第1の領域に含まれる複数の画素値の変換特性を、第1の領域の周辺画像領域の画像データのサンプリングデータを用いて決定する。
第17の発明は、画像分割部と、階調変換特性導出部と、階調処理部と、を備える視覚処理装置である。画像分割部は、入力画像データを複数の画像領域に分割する。階調変換特性導出部は、処理対象画素を含む画像領域である対象画像領域Pmの周辺に複数の画像領域を含む広域画像領域を設定し、対象画像領域を含む広域画像領域の画像データを用いて対象画像領域の階調変換特性を決定する。階調処理部は、階調変換特性を用いて、対象画像領域に含まれる対象画素の階調変換を行う。
第18の発明は、第17の発明であって、階調変換特性導出部は、対象画像領域を中心に、画像領域を垂直方向に5個以上及び画像領域を水平方向に5個以上含む領域を用いて広域画像領域を設定する。
第19の発明は、第17または第18の発明であって、画像データは、広域画像領域の明度ヒストグラムである。
第20の発明は、第17から第20のいずれかの発明であって、階調変換特性導出部は、広域画像領域の明度ヒストグラムを作成するヒストグラム作成部と、明度ヒストグラムから対象画像領域に適用する階調変換曲線を作成する階調曲線作成部と、を含む。
第21の発明は、視覚処理装置で用いられる階調処理方法であって、入力画像を複数の画像領域に分割する工程と、選択信号を決定する工程と、階調処理する工程と、を含む。選択信号を決定する工程では、画像領域のうち階調処理の対象となる対象画像領域の周囲の複数の画像領域からなり、対象画像領域を含む、または含まない広域画像領域の特徴パラメータを用いて、対象画像領域に適用される階調変換曲線を選択するための選択信号を決定する。階調処理する工程では、対象画像領域に含まれる画素値である入力信号と選択信号とを入力し、入力信号を階調変換曲線により階調処理する。
第22の発明は、コンピュータに、入力画像を複数の画像領域に分割するステップと、選択信号を決定するステップと、階調処理するステップと、実行させるためのプログラムである。選択信号を決定するステップでは、画像領域のうち階調処理の対象となる対象画像領域の周囲の複数の画像領域からなり、対象画像領域を含む、または含まない広域画像領域の特徴パラメータを用いて、対象画像領域に適用される階調変換曲線を選択するための選択信号を決定する。階調処理するステップでは、対象画像領域に含まれる画素値である入力信号と選択信号とを入力し、入力信号を階調変換曲線により階調処理する。
第23の発明は、視覚処理装置で用いられる半導体装置であって、入力画像を複数の画像領域に分割する処理と、選択信号を決定する処理と、階調処理する処理と、を実行する。選択信号を決定する処理では、画像領域のうち階調処理の対象となる対象画像領域の周囲の複数の画像領域からなり、対象画像領域を含む、または含まない広域画像領域の特徴パラメータを用いて、対象画像領域に適用される階調変換曲線を選択するための選択信号を決定する。階調処理する処理では、対象画像領域に含まれる画素値である入力信号と選択信号とを入力し、入力信号を階調変換曲線により階調処理する。
本発明の視覚処理装置により、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
[第1実施形態]
本発明の第1実施形態としての視覚処理装置1について図1〜図5を用いて説明する。視覚処理装置1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置1は、従来に比して細かく分割された画像領域のそれぞれについて階調処理を行う点を特徴として有している。
〈構成〉
図1に、視覚処理装置1の構造を説明するブロック図を示す。視覚処理装置1は、入力信号ISとして入力される原画像を複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割する画像分割部2と、それぞれの画像領域Pmに対して階調変換曲線Cmを導出する階調変換曲線導出部10と、階調変換曲線Cmをロードしそれぞれの画像領域Pmに対して階調処理した出力信号OSを出力する階調処理部5とを備えている。階調変換曲線導出部10は、それぞれの画像領域Pmと画像領域Pm周辺の画像領域とから構成される広域画像領域Emの画素の明度ヒストグラムHmを作成するヒストグラム作成部3と、作成された明度ヒストグラムHmからそれぞれの画像領域Pmに対する階調変換曲線Cmを作成する階調曲線作成部4とから構成される。
〈作用〉
図2〜図4を用いて、各部の動作について説明を加える。画像分割部2は、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図2参照。)。ここで、原画像の分割数は、図33に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
ヒストグラム作成部3は、それぞれの画像領域Pmに対して広域画像領域Emの明度ヒストグラムHmを作成する。ここで、広域画像領域Emとは、それぞれの画像領域Pmを含む複数の画像領域の集合であり、例えば、画像領域Pmを中心とする縦方向5ブロック、横方向5ブロックの25個の画像領域の集合である。なお、画像領域Pmの位置によっては、画像領域Pmの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Plに対して、画像領域Plの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Elを取ることができない。この場合には、画像領域Plを中心とする縦方向5ブロック横方向5ブロックの領域と原画像とが重なる領域が広域画像領域Elとして採用される。ヒストグラム作成部3が作成する明度ヒストグラムHmは広域画像領域Em内の全画素の明度値の分布状態を示している。すなわち、図3(a)〜(c)に示す明度ヒストグラムHmにおいて、横軸は入力信号ISの明度レベルを、縦軸は画素数を示している。
階調曲線作成部4は、広域画像領域Emの明度ヒストグラムHmの「画素数」を明度の順に累積し、この累積曲線を画像領域Pmの階調変換曲線Cmとする(図4参照。)。図4に示す階調変換曲線Cmにおいて、横軸は入力信号ISにおける画像領域Pmの画素の明度値を、縦軸は出力信号OSにおける画像領域Pmの画素の明度値を示している。階調処理部5は、階調変換曲線Cmをロードし階調変換曲線Cmに基づいて、入力信号ISにおける画像領域Pmの画素の明度値を変換する。
〈視覚処理方法および視覚処理プログラム〉
図5に、視覚処理装置1における視覚処理方法を説明するフローチャートを示す。図5に示す視覚処理方法は、視覚処理装置1においてハードウェアにより実現され、入力信号IS(図1参照)の階調処理を行う方法である。図5に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS10〜S16)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS11)、画像領域Pm毎に階調処理される(ステップS12〜S15)。
それぞれの画像領域Pmと画像領域Pm周辺の画像領域とから構成される広域画像領域Emの画素の明度ヒストグラムHmが作成される(ステップS12)。さらに、明度ヒストグラムHmに基づいて、それぞれの画像領域Pmに対する階調変換曲線Cmが作成される(ステップS13)。ここで、明度ヒストグラムHmおよび階調変換曲線Cmについては、説明を省略する(上記〈作用〉の欄参照。)。作成された階調変換曲線Cmを用いて、画像領域Pmの画素について階調処理が行われる(ステップS14)。さらに、全ての画像領域Pmについての処理が終了したか否かを判定し(ステップS15)、処理が終了したと判定されるまで、ステップS12〜S15の処理を原画像の分割数回繰り返す。以上により、画像単位の処理が終了する(ステップS16)。
なお、図5に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
(1)
階調変換曲線Cmは、それぞれの画像領域Pmに対して作成される。このため、原画像全体に対して同一の階調変換を行う場合に比して、適切な階調処理を行うことが可能となる。
(2)
それぞれの画像領域Pmに対して作成される階調変換曲線Cmは、広域画像領域Emの明度ヒストグラムHmに基づいて作成される。このため、画像領域Pm毎の大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmを作成することが可能となる。
(3)
隣接する画像領域に対する広域画像領域は、重なりを有している。このため、隣接する画像領域に対する階調変換曲線は、お互いに似通った傾向を示すことが多い。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり隣接する画像領域の境界のつなぎ目が不自然に目立つことが防止可能となる。
(4)
それぞれの画像領域Pmの大きさは、従来に比して小さい。このため、画像領域Pm内での疑似輪郭の発生を抑えることが可能となる。
〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
上記実施形態では、原画像の分割数の一例として、4800分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果(例えば、疑似輪郭の抑制など)を得ることが可能となる。
(2)
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、25個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。
[第2実施形態]
本発明の第2実施形態としての視覚処理装置11について図6〜図18を用いて説明する。視覚処理装置11は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置11は、あらかじめLUTとして記憶した複数の階調変換曲線を切り換えて用いる点を特徴として有している。
〈構成〉
図6に、視覚処理装置11の構造を説明するブロック図を示す。視覚処理装置11は、画像分割部12と、選択信号導出部13と、階調処理部20とを備えている。画像分割部12は、入力信号ISを入力とし、入力信号ISとして入力される原画像を複数に分割した画像領域Pm(1≦m≦n:nは原画像の分割数)を出力とする。選択信号導出部13は、それぞれの画像領域Pmの階調処理に適用される階調変換曲線Cmを選択するための選択信号Smを出力する。階調処理部20は、階調処理実行部14と、階調補正部15とを備えている。階調処理実行部14は、複数の階調変換曲線候補G1〜Gp(pは候補数)を2次元LUTとして備えており、入力信号ISと選択信号Smとを入力とし、それぞれの画像領域Pm内の画素について階調処理した階調処理信号CSを出力とする。階調補正部15は、階調処理信号CSを入力とし、階調処理信号CSの階調を補正した出力信号OSを出力とする。
(階調変換曲線候補について)
図7を用いて、階調変換曲線候補G1〜Gpについて説明する。階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値と階調処理信号CSの画素の明度値との関係を与える曲線である。図7において、横軸は入力信号ISにおける画素の明度値を、縦軸は階調処理信号CSにおける画素の明度値を示している。階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしている。例えば、階調変換曲線候補G1〜Gpがそれぞれ入力信号ISの画素の明度値を変数とする「べき関数」であり、Gm=x^(δm)と表される場合(1≦m≦p、xは変数、δmは定数)、δ1≦δ2≦・・・≦δpの関係を満たしている。ここで、入力信号ISの明度値は、値[0.0〜1.0]の範囲であるとする。
なお、以上の階調変換曲線候補G1〜Gpの関係は、添え字の大きい階調変換曲線候補について、入力信号ISが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号ISが大きい場合、において、成立していなくてもよい。このような場合は、ほとんど無く、画質への影響が小さいためである。
階調処理実行部14は、階調変換曲線候補G1〜Gpを2次元LUTとして備えている。すなわち、2次元LUTは、入力信号ISの画素の明度値と階調変換曲線候補G1〜Gpを選択する選択信号Smとに対して、階調処理信号CSの画素の明度値を与えるルックアップテーブル(LUT)である。図8に、この2次元LUTの一例を示す。図8に示す2次元LUT41は、64行64列のマトリクスであり、それぞれの階調変換曲線候補G1〜G64を行方向(横方向)に並べたものとなっている。マトリクスの列方向(縦方向)には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値、すなわち64段階に分けられた入力信号ISの値に対する階調処理信号CSの画素値が並んでいる。階調処理信号CSの画素値は、階調変換曲線候補G1〜Gpが「べき関数」である場合、例えば、値[0.0〜1.0]の範囲の値を有する。
〈作用〉
各部の動作について説明を加える。画像分割部12は、図1の画像分割部2とほぼ同様に動作し、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図2参照)。ここで、原画像の分割数は、図33に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
選択信号導出部13は、それぞれの画像領域Pmに対して適用される階調変換曲線Cmを階調変換曲線候補G1〜Gpの中から選択する。具体的には、選択信号導出部13は、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択を行う。すなわち、階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。
ここで、広域画像領域Emとは、[第1実施形態]において図2を用いて説明したのと同様である。すなわち、広域画像領域Emは、それぞれの画像領域Pmを含む複数の画像領域の集合であり、例えば、画像領域Pmを中心とする縦方向5ブロック、横方向5ブロックの25個の画像領域の集合である。なお、画像領域Pmの位置によっては、画像領域Pmの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Plに対して、画像領域Plの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Elを取ることができない。この場合には、画像領域Plを中心とする縦方向5ブロック横方向5ブロックの領域と原画像とが重なる領域が広域画像領域Elとして採用される。
選択信号導出部13の選択結果は、階調変換曲線候補G1〜Gpのいずれかを示す選択信号Smとして出力される。より具体的には、選択信号Smは、階調変換曲線候補G1〜Gpの添え字(1〜p)の値として出力される。
階調処理実行部14は、入力信号ISが含む画像領域Pmの画素の明度値と選択信号Smとを入力とし、例えば、図8に示す2次元LUT41を用いて、階調処理信号CSの明度値を出力する。
階調補正部15は、階調処理信号CSが含む画像領域Pmの画素の明度値を画素の位置と画像領域Pmおよび画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正する。例えば、画像領域Pmが含む画素に適用された階調変換曲線Cmと画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値を求める。
図9を用いて、階調補正部15の動作についてさらに詳しく説明する。図9は、画像領域Po,Pp,Pq,Pr(o,p,q,rは分割数n(図2参照。)以下の正整数)の階調変換曲線Co,Cp,Cq,Crが階調変換曲線候補Gs,Gt,Gu,Gv(s,t,u,vは階調変換曲線の候補数p以下の正整数)と選択されたことを示している。
ここで、階調補正の対象となる画像領域Poの画素x(明度値[x]とする)の位置を、画像領域Poの中心と画像領域Ppの中心とを[i:1−i]に内分し、かつ、画像領域Poの中心と画像領域Pqの中心とを[j:1−j]に内分する位置であるとする。この場合、階調補正後の画素xの明度値[x’]は、[x’]={(1−j)・(1−i)・[Gs]+(1−j)・(i)・[Gt]+(j)・(1−i)・[Gu]+(j)・(i)・[Gv]}・{[x]/[Gs]}と求められる。なお、[Gs],[Gt],[Gu],[Gv]は、明度値[x]に対して、階調変換曲線候補Gs,Gt,Gu,Gvを適用した場合の明度値であるとする。
〈視覚処理方法および視覚処理プログラム〉
図10に、視覚処理装置11における視覚処理方法を説明するフローチャートを示す。図10に示す視覚処理方法は、視覚処理装置11においてハードウェアにより実現され、入力信号IS(図6参照)の階調処理を行う方法である。図10に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS20〜S26)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS21)、画像領域Pm毎に階調処理される(ステップS22〜S24)。
画像領域Pm毎の処理では、それぞれの画像領域Pmに対して適用される階調変換曲線Cmが階調変換曲線候補G1〜Gpの中から選択される(ステップS22)。具体的には、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択が行われる。階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。ここで、広域画像領域Emについては、説明を省略する(上記〈作用〉の欄参照。)。
入力信号ISが含む画像領域Pmの画素の明度値と階調変換曲線候補G1〜GpのうちステップS22で選択された階調変換曲線候補を示す選択信号Smとに対して、例えば、図8に示す2次元LUT41を用いて、階調処理信号CSの明度値が出力される(ステップS23)。さらに、全ての画像領域Pmについての処理が終了したか否かを判定し(ステップS24)、処理が終了したと判定されるまで、ステップS22〜S24の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。
階調処理信号CSが含む画像領域Pmの画素の明度値は、画素の位置と画像領域Pmおよび画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とに基づいて補正される(ステップS25)。例えば、画像領域Pmが含む画素に適用された階調変換曲線Cmと画像領域Pmの周辺の画像領域に対して選択された階調変換曲線とを画素位置の内分比で補正し、補正後の画素の明度値が求められる。補正の詳細な内容については、説明を省略する(上記〈作用〉の欄、図9参照。)。
以上により、画像単位の処理が終了する(ステップS26)。
なお、図10に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
本発明により、上記[第1実施形態]の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第2実施形態特有の効果を記載する。
(1)
それぞれの画像領域Pmに対して選択される階調変換曲線Cmは、広域画像領域Emの平均明度値に基づいて作成される。このため、画像領域Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmを選択して適用することが可能となる。
(2)
階調処理実行部14は、あらかじめ作成された2次元LUTを有している。このため、階調処理に要する処理負荷、より具体的には、階調変換曲線Cmの作成に要する処理負荷を削減することが可能となる。この結果、画像領域Pmの階調処理に要する処理を高速化することが可能となる。
(3)
階調処理実行部14は、2次元LUTを用いて階調処理を実行する。2次元LUTは、視覚処理装置11が備えるハードディスクあるいはROMなどの記憶装置から読み出されて階調処理に用いられる。読み出す2次元LUTの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。
(4)
階調補正部15は、1つの階調変換曲線Cmを用いて階調処理された画像領域Pmの画素の階調を補正する。このため、より適切に階調処理された出力信号OSを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号OSにおいては、それぞれの画像領域Pmの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。
〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
上記実施形態では、原画像の分割数の一例として、4800分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果(例えば、疑似輪郭の抑制された画像など)を得ることが可能となる。
(2)
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、25個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。
(3)
上記実施形態では、64行64列のマトリクスからなる2次元LUT41を2次元LUTの一例とした。ここで、本発明の効果は、このサイズの2次元LUTに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ISの画素値をさらに細かいステップに区切った値に対する階調処理信号CSの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば10ビットで表される入力信号ISのそれぞれの画素値に対して、階調処理信号CSの画素値を並べたもので有っても良い。
2次元LUTのサイズが大きくなれば、より適切な階調処理を行うことが可能となり、小さくなれば、2次元LUTを記憶するメモリの削減などが可能となる。
(4)
上記実施形態では、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値、すなわち64段階に分けられた入力信号ISの値に対する階調処理信号CSの画素値が並んでいる、と説明した。ここで、階調処理信号CSは、階調処理実行部14により、入力信号ISの画素値の下位4ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分が並んでおり、入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分と、入力信号ISの画素値の上位6ビットの値に[1]を加えた値に対するマトリクスの成分(例えば、図8では、1行下の成分)とを入力信号ISの画素値の下位4ビットの値を用いて線形補間し、階調処理信号CSとして出力する。
これにより、2次元LUT41(図8参照)のサイズが小さくとも、より適切な階調処理を行うことが可能となる。
(5)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択すると説明した。ここで、階調変換曲線Cmの選択方法は、この方法に限られない。例えば、広域画像領域Emの最大明度値、あるいは最小明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択してもよい。なお、階調変換曲線Cmの選択に際して、選択信号Smの値[Sm]は、広域画像領域Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。この場合、選択信号Smの取りうる値を64段階に分けたそれぞれの値に対して、階調変換曲線候補G1〜G64が関連付けられていることとなる。
また例えば、次のようにして画像領域Pmに適用する階調変換曲線Cmを選択してもよい。すなわち、それぞれの画像領域Pmについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域Pmについての仮の選択信号Sm’を求める。ここで、仮の選択信号Sm’は、階調変換曲線候補G1〜Gpの添え字の番号を値としている。さらに、広域画像領域Emが含むそれぞれの画像領域について、仮の選択信号Sm’の値を平均し、画像領域Pmの選択信号Smの値[Sm]を求め、階調変換曲線候補G1〜Gpのうち値[Sm]に最も近い整数を添え字とする候補を階調変換曲線Cmとして選択する。
(6)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択すると説明した。ここで、広域画像領域Emの単純平均でなく、加重平均(重み付き平均)に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択してもよい。例えば、図11に示すように、広域画像領域Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域Pmの平均明度値と大きく異なる平均明度値を持つ画像領域Ps1,Ps2,・・・については、重み付けを軽くして、あるいは除外して、広域画像領域Emの平均明度値を求める。
これにより、広域画像領域Emが明度的に特異的な領域を含む場合(例えば、広域画像領域Emが2つの明度値の異なる物体の境界を含む場合)であっても、画像領域Pmに適用される階調変換曲線Cmの選択に対して、その特異的な領域の明度値が与える影響が少なくなり、さらに適切な階調処理が行われることとなる。
(7)
上記実施形態において、階調補正部15の存在は任意としても良い。すなわち、階調処理信号CSを出力とした場合であっても、従来の視覚処理装置300(図33参照)に比して、[第1実施形態]の〈効果〉に記載したのと同様の効果、および[第2実施形態]の〈効果〉(1)および(2)に記載したのと同様の効果を得ることが可能である。
(8)
上記実施形態では、階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしていると説明した。ここで、2次元LUTが備える階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値の一部に対して、G1≧G2≧・・・≧Gpの関係を満たしていなくてもよい。すなわち、階調変換曲線候補G1〜Gpのいずれかが、互いに交差する関係にあってもよい。
例えば、暗い夜景の中にある小さい明かりの部分など(夜景の中にあるネオン部分など)、入力信号ISの値は大きいが、広域画像領域Emの平均明度値は小さい場合、階調処理された画像信号の値が画質に与える影響は小さい。このような場合には、2次元LUTが備える階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値の一部に対して、G1≧G2≧・・・≧Gpの関係を満たしていなくてもよい。すなわち、階調処理後の値が画質に与える影響が小さい部分では、2次元LUTが格納する値は、任意であってよい。
なお、2次元LUTが格納する値が任意である場合にも、同じ値の入力信号ISと選択信号Smとに対して格納されている値は、入力信号ISと選択信号Smとの値に対して、単調増加、あるいは単調減少する関係を維持していることが望ましい。
また、上記実施形態では、2次元LUTが備える階調変換曲線候補G1〜Gpは、「べき関数」であると説明した。ここで、階調変換曲線候補G1〜Gpは、厳密に「べき関数」として定式化されるもので無くともよい。また、S字、逆S字などといった形状を有する関数であってもよい。
(9)
視覚処理装置11では、2次元LUTが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置1(図1参照)における画像分割部2と階調変換曲線導出部10とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして2次元LUTに格納する。
また、2次元LUTに格納される階調変換曲線のそれぞれは、空間処理された入力信号ISに関連づけられていてもかまわない。この場合、視覚処理装置11では、画像分割部12と選択信号導出部13とを、入力信号ISを空間処理する空間処理部に置き換えても良い。
(10)
上記実施形態において、入力信号ISの画素の明度値は、値[0.0〜1.0]の範囲の値でなくてもよい。入力信号ISが他の範囲の値として入力される場合には、その範囲の値を値[0.0〜1.0]に正規化して用いてもよい。また、正規化は行わず、上記した処理において取り扱う値を適宜変更してもよい。
(11)
階調変換曲線候補G1〜Gpのそれぞれは、通常のダイナミックレンジよりも広いダイナミックレンジを有する入力信号ISを階調処理し、通常のダイナミックレンジの階調処理信号CSを出力する階調変換曲線であってもよい。
近年、S/Nの良いCCDを光量を絞って使用する、電子シャッタを長短2回開く、あるいは低感度・高感度の画素を持つセンサを使用する、などの方法により、通常のダイナミックレンジよりも1〜3桁広いダイナミックレンジを扱うことができる機器の開発が進んでいる。
これに伴って、入力信号ISが通常のダイナミックレンジ(例えば、値[0.0〜1.0]の範囲の信号)よりも広いダイナミックレンジを有する場合にも、適切に階調処理することが求められている。
ここで、図12に示すように、値[0.0〜1.0]を超える範囲の入力信号ISに対しても、値[0.0〜1.0]の階調処理信号CSを出力するような階調変換曲線を用いる。
これにより、広いダイナミックレンジを有する入力信号ISに対しても、適切な階調処理を行い、通常のダイナミックレンジの階調処理信号CSを出力することが可能となる。
また、上記実施形態では、「階調処理信号CSの画素値は、階調変換曲線候補G1〜Gpが「べき関数」である場合、例えば、値[0.0〜1.0]の範囲の値を有する。」と記載した。ここで、階調処理信号CSの画素値は、この範囲に限られない。例えば、値[0.0〜1.0]の入力信号ISに対して、階調変換曲線候補G1〜Gpは、ダイナミックレンジ圧縮を行うものであってもよい。
(12)
上記実施形態では、「階調処理実行部14は、階調変換曲線候補G1〜Gpを2次元LUTとして有している。」と説明した。ここで、階調処理実行部14は、階調変換曲線候補G1〜Gpを特定するための曲線パラメータと選択信号Smとの関係を格納する1次元LUTを有するものであってもよい。
《構成》
図13に、階調処理実行部14の変形例としての階調処理実行部44の構造を説明するブロック図を示す。階調処理実行部44は、入力信号ISと選択信号Smとを入力とし、階調処理された入力信号ISである階調処理信号CSを出力とする。階調処理実行部44は、曲線パラメータ出力部45と演算部48とを備えている。
曲線パラメータ出力部45は、第1LUT46と第2LUT47から構成される。第1LUT46および第2LUT47は、選択信号Smを入力とし、選択信号Smが指定する階調変換曲線候補Gmの曲線パラメータP1およびP2をそれぞれ出力する。
演算部48は、曲線パラメータP1およびP2と、入力信号ISとを入力とし、階調処理信号CSを出力とする。
《1次元LUTについて》
第1LUT46および第2LUT47は、それぞれ選択信号Smに対する曲線パラメータP1およびP2の値を格納する1次元LUTである。第1LUT46および第2LUT47について詳しく説明する前に、曲線パラメータP1およびP2の内容について説明する。
図14を用いて、曲線パラメータP1およびP2と、階調変換曲線候補G1〜Gpとの関係について説明する。図14は、階調変換曲線候補G1〜Gpを示している。ここで、階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしている。なお、以上の階調変換曲線候補G1〜Gpの関係は、添え字の大きい階調変換曲線候補について、入力信号ISが小さい場合、若しくは、添え字の小さい階調変換曲線候補について、入力信号ISが大きい場合、などにおいて成立していなくてもよい。
曲線パラメータP1およびP2は、入力信号ISの所定の値に対する階調処理信号CSの値として出力される。すなわち、選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、入力信号ISの所定の値[X1]に対する階調変換曲線候補Gmの値[R1m]として出力され、曲線パラメータP2の値は、入力信号ISの所定の値[X2]に対する階調変換曲線候補Gmの値[R2m]として出力される。ここで、値[X2]は、値[X1]よりも大きい値である。
次に、第1LUT46および第2LUT47について説明する。
第1LUT46および第2LUT47は、それぞれ選択信号Smに対する曲線パラメータP1およびP2の値を格納している。より具体的には、例えば、6ビットの信号として与えられるそれぞれの選択信号Smに対して、曲線パラメータP1およびP2の値がそれぞれ6ビットで与えられる。ここで、選択信号Smや曲線パラメータP1およびP2にたいして確保されるビット数はこれに限られない。
図15を用いて、曲線パラメータP1およびP2と、選択信号Smとの関係について説明する。図15は、選択信号Smに対する曲線パラメータP1およびP2の値の変化を示している。第1LUT46および第2LUT47には、それぞれの選択信号Smに対する曲線パラメータP1およびP2の値が格納されている。例えば、選択信号Smに対する曲線パラメータP1の値として、値[R1m]が格納されており、曲線パラメータP2の値として、値[R2m]が格納されている。
以上の第1LUT46および第2LUT47により、入力された選択信号Smに対して、曲線パラメータP1およびP2が出力される。
《演算部48について》
演算部48は、取得した曲線パラメータP1およびP2(値[R1m]および値[R2m])に基づいて、入力信号ISに対する階調処理信号CSを導出する。具体的な手順を以下記載する。ここで、入力信号ISの値は、値[0.0〜1.0]の範囲で与えられるものとする。また、階調変換曲線候補G1〜Gpは、値[0.0〜1.0]の範囲で与えられる入力信号ISを、値[0.0〜1.0]の範囲に階調変換するものとする。なお、本発明は、入力信号ISをこの範囲に限定しない場合にも適用可能である。
まず、演算部48は、入力信号ISの値と、所定の値[X1],[X2]との比較を行う。
入力信号ISの値(値[X]とする)が[0.0]以上[X1]未満である場合、図14における原点と座標([X1],[R1m])とを結ぶ直線上において、値[X]に対する階調処理信号CSの値(値[Y]とする)が求められる。より具体的には、値[Y]は、次式[Y]=([X]/[X1])*[R1m]、により求められる。
入力信号ISの値が[X1]以上[X2]未満である場合、図14における座標([X1],[R1m])と座標([X2],[R2m])とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[R1m]+{([R2m]−[R1m])/([X2]−[X1])}*([X]−[X1])、により求められる。
入力信号ISの値が[X2]以上[1.0]以下である場合、図14における座標([X2],[R2m])と座標([1.0],[1.0])とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[R2m]+{([1.0]−[R2m])/([1.0]−[X2])}*([X]−[X2])、により求められる。
以上の演算により、演算部48は、入力信号ISに対する階調処理信号CSを導出する。
《階調処理方法・プログラム》
上述の処理は、階調処理プログラムとして、コンピュータなどにより実行されるものであってもよい。階調処理プログラムは、以下記載する階調処理方法をコンピュータに実行させるためのプログラムである。
階調処理方法は、入力信号ISと選択信号Smとを取得し、階調処理信号CSを出力する方法であって、入力信号ISを1次元LUTを用いて階調処理する点に特徴を有している。
まず、選択信号Smが取得されると、第1LUT46および第2LUT47から曲線パラメータP1およびP2が出力される。第1LUT46、第2LUT47、曲線パラメータP1およびP2については、詳細な説明を省略する。
さらに、曲線パラメータP1およびP2に基づいて、入力信号ISの階調処理が行われる。階調処理の詳しい内容は、演算部48についての説明のなかで記載したため省略する。
以上の階調処理方法により、入力信号ISに対する階調処理信号CSが導出される。
《効果》
階調処理実行部14の変形例としての階調処理実行部44では、2次元LUTではなく、2つの1次元LUTを備えている。このため、ルックアップテーブルを記憶するための記憶容量を削減することが可能となる。
《変形例》
(1)
上記変形例では、「曲線パラメータP1およびP2の値は、入力信号ISの所定の値に対する階調変換曲線候補Gmの値である。」、と説明した。ここで、曲線パラメータP1およびP2は、階調変換曲線候補Gmの他の曲線パラメータであってもよい。以下、具体的に説明を加える。
(1−1)
曲線パラメータは、階調変換曲線候補Gmの傾きであってもよい。図14を用いて具体的に説明する。選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、入力信号ISの所定の範囲[0.0〜X1]における階調変換曲線候補Gmの傾きの値[K1m]であり、曲線パラメータP2の値は、入力信号ISの所定の範囲[X1〜X2]における階調変換曲線候補Gmの傾きの値[K2m]である。
図16を用いて、曲線パラメータP1およびP2と、選択信号Smとの関係について説明する。図16は、選択信号Smに対する曲線パラメータP1およびP2の値の変化を示している。第1LUT46および第2LUT47には、それぞれの選択信号Smに対する曲線パラメータP1およびP2の値が格納されている。例えば、選択信号Smに対する曲線パラメータP1の値として、値[K1m]が格納されており、曲線パラメータP2の値として、値[K2m]が格納されている。
以上の第1LUT46および第2LUT47により、入力された選択信号Smに対して、曲線パラメータP1およびP2が出力される。
演算部48では、取得した曲線パラメータP1およびP2に基づいて、入力信号ISに対する階調処理信号CSを導出する。具体的な手順を以下記載する。
まず、演算部48は、入力信号ISの値と、所定の値[X1],[X2]との比較を行う。
入力信号ISの値(値[X]とする)が[0.0]以上[X1]未満である場合、図14における原点と座標([X1],[K1m]*[X1](以下、[Y1]と記載する))とを結ぶ直線上において、値[X]に対する階調処理信号CSの値(値[Y]とする)が求められる。より具体的には、値[Y]は、次式[Y]=[K1m]*[X]、により求められる。
入力信号ISの値が[X1]以上[X2]未満である場合、図14における座標([X1],[Y1])と座標([X2],[K1m]*[X1]+[K2m]*([X2]−[X1])(以下、[Y2]と記載する))とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[Y1]+[K2m]*([X]−[X1])、により求められる。
入力信号ISの値が[X2]以上[1.0]以下である場合、図14における座標([X2],[Y2])と座標(1.0,1.0)とを結ぶ直線上において、値[X]に対する値[Y]が求められる。より具体的には、値[Y]は、次式[Y]=[Y2]+{([1.0]−[Y2])/([1.0]−[X2])}*([X]−[X2])、により求められる。
以上の演算により、演算部48は、入力信号ISに対する階調処理信号CSを導出する。
(1−2)
曲線パラメータは、階調変換曲線候補Gm上の座標であってもよい。図17を用いて具体的に説明する。選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、階調変換曲線候補Gm上の座標の一方の成分の値[Mm]であり、曲線パラメータP2の値は、階調変換曲線候補Gm上の座標の他方の成分の値[Nm]である。さらに、階調変換曲線候補G1〜Gpは、全て座標(X1,Y1)を通過する曲線である。
図18を用いて、曲線パラメータP1およびP2と、選択信号Smとの関係について説明する。図18は、選択信号Smに対する曲線パラメータP1およびP2の値の変化を示している。第1LUT46および第2LUT47には、それぞれの選択信号Smに対する曲線パラメータP1およびP2の値が格納されている。例えば、選択信号Smに対する曲線パラメータP1の値として、値[Mm]が格納されており、曲線パラメータP2の値として、値[Nm]が格納されている。
以上の第1LUT46および第2LUT47により、入力された選択信号Smに対して、曲線パラメータP1およびP2が出力される。
演算部48では、図14を用いて説明した変形例と同様の処理により、入力信号ISから階調処理信号CSが導出される。詳しい説明は、省略する。
(1−3)
以上の変形例は、一例であり、曲線パラメータP1およびP2は、階調変換曲線候補Gmのさらに他の曲線パラメータであってもよい。
また、曲線パラメータの個数も上記に限られない。さらに少なくてもよいし、さらに多くてもよい。
演算部48についての説明では、階調変換曲線候補G1〜Gpが直線の線分から構成される曲線である場合についての演算について記載した。ここで、階調変換曲線候補G1〜Gp上の座標が曲線パラメータとして与えられる場合には、与えられた座標を通過する滑らかな曲線が作成され(カーブフィッティング)、作成された曲線を用いて、階調変換処理が行われるものであってもよい。
(2)
上記変形例では、「曲線パラメータ出力部45は、第1LUT46と第2LUT47から構成される。」と説明した。ここで、曲線パラメータ出力部45は、選択信号Smの値に対する曲線パラメータP1およびP2の値を格納するLUTを備えないものであってもよい。
この場合、曲線パラメータ出力部45は、曲線パラメータP1およびP2の値を演算する。より具体的には、曲線パラメータ出力部45は、図15、図16、図18などに示される曲線パラメータP1およびP2のグラフを表すパラメータを記憶している。曲線パラメータ出力部45は、記憶されたパラメータから曲線パラメータP1およびP2のグラフを特定する。さらに、曲線パラメータP1およびP2のグラフを用いて、選択信号Smに対する曲線パラメータP1およびP2の値を出力する。
ここで、曲線パラメータP1およびP2のグラフを特定するためのパラメータとは、グラフ上の座標、グラフの傾き、曲率などである。例えば、曲線パラメータ出力部45は、図15に示す曲線パラメータP1およびP2のグラフ上のそれぞれ2点の座標を記憶しており、この2点の座標を結ぶ直線を、曲線パラメータP1およびP2のグラフとして用いる。
ここで、パラメータから曲線パラメータP1およびP2のグラフを特定する際には、直線近似だけでなく、折れ線近似、曲線近似などを用いてもよい。
これにより、LUTを記憶するためのメモリを用いずに曲線パラメータを出力することが可能となる。すなわち、装置が備えるメモリの容量をさらに削減することが可能となる。
[第3実施形態]
本発明の第3実施形態としての視覚処理装置21について図19〜図21を用いて説明する。視覚処理装置21は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置21は、あらかじめLUTとして記憶した複数の階調変換曲線を階調処理の対象となる画素ごとに切り換えて用いる点を特徴として有している。
〈構成〉
図19に、視覚処理装置21の構造を説明するブロック図を示す。視覚処理装置21は、画像分割部22と、選択信号導出部23と、階調処理部30とを備えている。画像分割部22は、入力信号ISを入力とし、入力信号ISとして入力される原画像を複数に分割した画像領域Pm(1≦m≦n:nは原画像の分割数)を出力とする。選択信号導出部23は、それぞれの画像領域Pmに対して階調変換曲線Cmを選択するための選択信号Smを出力する。階調処理部30は、選択信号補正部24と、階調処理実行部25とを備えている。選択信号補正部24は、選択信号Smを入力とし、それぞれの画像領域Pm毎の選択信号Smを補正した信号である画素毎の選択信号SSを出力する。階調処理実行部25は、複数の階調変換曲線候補G1〜Gp(pは候補数)を2次元LUTとして備えており、入力信号ISと画素毎の選択信号SSとを入力とし、それぞれの画素について階調処理した出力信号OSを出力とする。
(階調変換曲線候補について)
階調変換曲線候補G1〜Gpについては、[第2実施形態]において図7を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値と出力信号OSの画素の明度値との関係を与える曲線である。
階調処理実行部25は、階調変換曲線候補G1〜Gpを2次元LUTとして備えている。すなわち、2次元LUTは、入力信号ISの画素の明度値と階調変換曲線候補G1〜Gpを選択する選択信号SSとに対して、出力信号OSの画素の明度値を与えるルックアップテーブル(LUT)である。具体例は、[第2実施形態]において図8を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対する出力信号OSの画素値が並んでいる。
〈作用〉
各部の動作について説明を加える。画像分割部22は、図1の画像分割部2とほぼ同様に動作し、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図2参照)。ここで、原画像の分割数は、図33に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
選択信号導出部23は、それぞれの画像領域Pmに対して階調変換曲線Cmを階調変換曲線候補G1〜Gpの中から選択する。具体的には、選択信号導出部23は、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択を行う。すなわち、階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。
ここで、広域画像領域Emとは、[第1実施形態]において図2を用いて説明したのと同様である。すなわち、広域画像領域Emは、それぞれの画像領域Pmを含む複数の画像領域の集合であり、例えば、画像領域Pmを中心とする縦方向5ブロック、横方向5ブロックの25個の画像領域の集合である。なお、画像領域Pmの位置によっては、画像領域Pmの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Emを取ることができない場合がある。例えば、原画像の周辺に位置する画像領域Plに対して、画像領域Plの周辺に縦方向5ブロック、横方向5ブロックの広域画像領域Elを取ることができない。この場合には、画像領域Plを中心とする縦方向5ブロック横方向5ブロックの領域と原画像とが重なる領域が広域画像領域Elとして採用される。
選択信号導出部23の選択結果は、階調変換曲線候補G1〜Gpのいずれかを示す選択信号Smとして出力される。より具体的には、選択信号Smは、階調変換曲線候補G1〜Gpの添え字(1〜p)の値として出力される。
選択信号補正部24は、それぞれの画像領域Pmに対して出力されたそれぞれの選択信号Smを用いた補正により、入力信号ISを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号SSを出力する。例えば、画像領域Pmに含まれる画素に対する選択信号SSは、画像領域Pmおよび画像領域Pmの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。
図20を用いて、選択信号補正部24の動作についてさらに詳しく説明する。図20は、画像領域Po,Pp,Pq,Pr(o,p,q,rは分割数n(図2参照。)以下の正整数)に対して選択信号So,Sp,Sq,Srが出力された状態を示している。
ここで、階調補正の対象となる画素xの位置を、画像領域Poの中心と画像領域Ppの中心とを[i:1−i]に内分し、かつ、画像領域Poの中心と画像領域Pqの中心とを[j:1−j]に内分する位置であるとする。この場合、画素xに対する選択信号SSの値[SS]は、[SS]={(1−j)・(1−i)・[So]+(1−j)・(i)・[Sp]+(j)・(1−i)・[Sq]+(j)・(i)・[Sr]}と求められる。なお、[So],[Sp],[Sq],[Sr]は、選択信号So,Sp,Sq,Srの値であるとする。
階調処理実行部25は、入力信号ISが含む画素の明度値と選択信号SSとを入力とし、例えば図8に示す2次元LUT41を用いて、出力信号OSの明度値を出力する。
なお、選択信号SSの値[SS]が、2次元LUT41の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、値[SS]に最も近い整数を添え字とする階調変換曲線候補G1〜Gpが入力信号ISの階調処理に用いられる。
〈視覚処理方法および視覚処理プログラム〉
図21に、視覚処理装置21における視覚処理方法を説明するフローチャートを示す。図21に示す視覚処理方法は、視覚処理装置21においてハードウェアにより実現され、入力信号IS(図19参照)の階調処理を行う方法である。図21に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS30〜S37)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS31)、画像領域Pm毎に階調変換曲線Cmが選択され(ステップS32〜S33)、画像領域Pm毎に階調変換曲線Cmを選択するための選択信号Smに基づいて、原画像の画素毎に階調変換曲線が選択され、画素単位での階調処理が行われる(ステップS34〜S36)。
それぞれのステップについて具体的に説明を加える。
それぞれの画像領域Pmに対して階調変換曲線Cmが階調変換曲線候補G1〜Gpの中から選択される(ステップS32)。具体的には、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択が行われる。階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。ここで、広域画像領域Emについては、説明を省略する(上記〈作用〉の欄参照。)。選択結果は、階調変換曲線候補G1〜Gpのいずれかを示す選択信号Smとして出力される。より具体的には、選択信号Smは、階調変換曲線候補G1〜Gpの添え字(1〜p)の値として出力される。さらに、全ての画像領域Pmについての処理が終了したか否かを判定し(ステップS33)、処理が終了したと判定されるまで、ステップS32〜S33の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。
それぞれの画像領域Pmに対して出力されたそれぞれの選択信号Smを用いた補正により、入力信号ISを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号SSが出力される(ステップS34)。例えば、画像領域Pmに含まれる画素に対する選択信号SSは、画像領域Pmおよび画像領域Pmの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。補正の詳細な内容については、説明を省略する(上記〈作用〉の欄、図20参照。)。
入力信号ISが含む画素の明度値と選択信号SSとを入力とし、例えば図8に示す2次元LUT41を用いて、出力信号OSの明度値が出力される(ステップS35)。さらに、全ての画素についての処理が終了したか否かを判定し(ステップS36)、処理が終了したと判定されるまで、ステップS34〜S36の処理を画素数回繰り返す。以上により、画像単位の処理が終了する。
なお、図21に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
本発明により、上記[第1実施形態]および[第2実施形態]の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第3実施形態特有の効果を記載する。
(1)
それぞれの画像領域Pmに対して選択される階調変換曲線Cmは、広域画像領域Emの平均明度値に基づいて作成される。このため、画像領域Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmが選択される。
(2)
選択信号補正部24は、画像領域単位で出力される選択信号Smに基づいた補正により、画素毎の選択信号SSを出力する。入力信号ISを構成する原画像の画素は、画素毎の選択信号SSが指定する階調変換曲線候補G1〜Gpを用いて、階調処理される。このため、より適切に階調処理された出力信号OSを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号OSにおいては、それぞれの画像領域Pmの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。
(3)
階調処理実行部25は、あらかじめ作成された2次元LUTを有している。このため、階調処理に要する処理負荷を削減すること、より具体的には、階調変換曲線Cmの作成に要する処理負荷を削減することが可能となる。この結果、階調処理を高速化することが可能となる。
(4)
階調処理実行部25は、2次元LUTを用いて階調処理を実行する。ここで、2次元LUTの内容は、視覚処理装置21が備えるハードディスクあるいはROMなどの記憶装置から読み出されて階調処理に用いられる。読み出す2次元LUTの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。
〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。例えば、上記[第2実施形態]〈変形例〉とほぼ同様の変形を第3実施形態に適用することが可能である。特に、[第2実施形態]〈変形例〉の(10)〜(12)では、選択信号Smを選択信号SSと、階調処理信号CSを出力信号OSと読み替えることにより、同様に適用可能である。
以下、第3実施形態特有の変形例を記載する。
(1)
上記実施形態では、64行64列のマトリクスからなる2次元LUT41を2次元LUTの一例とした。ここで、本発明の効果は、このサイズの2次元LUTに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ISの画素値をさらに細かいステップに区切った値に対する出力信号OSの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば10ビットで表される入力信号ISのそれぞれの画素値に対して、出力信号OSの画素値を並べたもので有っても良い。
2次元LUTのサイズが大きくなれば、より適切な階調処理を行うことが可能となり、小さくなれば、2次元LUTを記憶するメモリの削減などが可能となる。
(2)
上記実施形態では、選択信号SSの値[SS]が、2次元LUT41(図8参照)の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、値[SS]に最も近い整数を添え字とする階調変換曲線候補G1〜Gpが入力信号ISの階調処理に用いられる、と説明した。ここで、選択信号SSの値[SS]が、2次元LUT41の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、選択信号SSの値[SS]を超えない最大の整数(k)を添え字とする階調変換曲線候補Gk(1≦k≦p−1)と、[SS]を超える最小の整数(k+1)を添え字とする階調変換曲線候補Gk+1との双方を用いて階調処理した入力信号ISの画素値を、選択信号SSの値[SS]の小数点以下の値を用いて加重平均(内分)し、出力信号OSを出力してもよい。
(3)
上記実施形態では、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対する出力信号OSの画素値が並んでいる、と説明した。ここで、出力信号OSは、階調処理実行部25により、入力信号ISの画素値の下位4ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分が並んでおり、入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分と、入力信号ISの画素値の上位6ビットの値に[1]を加えた値に対するマトリクスの成分(例えば、図8では、1行下の成分)とを入力信号ISの画素値の下位4ビットの値を用いて線形補間し、出力信号OSとして出力する。
これにより、2次元LUT41(図8参照)のサイズが小さくとも、より適切な階調処理を行うことが可能となる。
(4)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに対する選択信号Smを出力すると説明した。ここで、選択信号Smの出力方法は、この方法に限られない。例えば、広域画像領域Emの最大明度値、あるいは最小明度値に基づいて、画像領域Pmに対する選択信号Smを出力してもよい。なお、選択信号Smの値[Sm]は、広域画像領域Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。
また例えば、次のようにして画像領域Pmに対する選択信号Smを出力してもよい。すなわち、それぞれの画像領域Pmについて平均明度値を求め、それぞれの平均明度値からそれぞれの画像領域Pmについての仮の選択信号Sm’を求める。ここで、仮の選択信号Sm’は、階調変換曲線候補G1〜Gpの添え字の番号を値としている。さらに、広域画像領域Emが含むそれぞれの画像領域について、仮の選択信号Sm’の値を平均し、画像領域Pmの選択信号Smとする。
(5)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに対する選択信号Smを出力すると説明した。ここで、広域画像領域Emの単純平均でなく、加重平均(重み付き平均)に基づいて、画像領域Pmに対する選択信号Smを出力しても良い。詳細は、上記[第2実施形態]で図11を用いて説明したのと同様であり、広域画像領域Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域Pmの平均明度値と大きく異なる平均明度値を持つ画像領域Ps1,Ps2,・・・については、重み付けを軽くして広域画像領域Emの平均明度値を求める。
これにより、広域画像領域Emが明度的に特異的な領域を含む場合(例えば、広域画像領域Emが2つの明度値の異なる物体の境界を含む場合)であっても、選択信号Smの出力に対して、その特異的な領域の明度値が与える影響が少なくなり、さらに適切な選択信号Smの出力が行われることとなる。
(6)
視覚処理装置21では、2次元LUTが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置1(図1参照)における画像分割部2と階調変換曲線導出部10とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして2次元LUTに格納する。
また、2次元LUTに格納される階調変換曲線のそれぞれは、空間処理された入力信号ISに関連づけられていてもかまわない。この場合、視覚処理装置21では、画像分割部22と選択信号導出部23と選択信号補正部24とを、入力信号ISを空間処理する空間処理部に置き換えても良い。
[第4実施形態]
図22〜図25を用いて本発明の第4実施形態としての視覚処理装置61について説明する。
図22に示す視覚処理装置61は、画像信号の空間処理、階調処理など視覚処理を行う装置である。視覚処理装置61は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
視覚処理装置61は、画像信号と、画像信号に対して空間処理(ボケフィルタ処理)を施したボケ信号とを用いた視覚処理を行う装置であり、空間処理において特徴を有している。
従来、対象画素の周辺の画素を用いてボケ信号を導出する際に、周辺の画素が対象画素と大きく濃度の異なる画素を含むと、ボケ信号は、濃度の異なる画素の影響を受ける。すなわち、画像において物体のエッジ近傍の画素を空間処理する場合、本来エッジでない画素がエッジの濃度の影響を受けることとなる。このため、この空間処理により、例えば、擬似輪郭の発生などが引き起こされることとなる。
そこで、空間処理を画像の内容に適応させて行うことが求められる。これに対して、例えば、特開平10−75395号公報は、ボケ度合いの異なる複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることにより適切なボケ信号を出力する。これにより、空間処理のフィルタサイズを変更し、濃度の異なる画素の影響を抑制することを目的とする。
一方、上記公報では、複数のボケ信号を作成し、それぞれのボケ信号を合成、あるいは切り替えることとなるため、装置における回路規模、あるいは処理負荷が大きくなる。
そこで、本発明の第4実施形態としての視覚処理装置61では、適切なボケ信号を出力することを目的とし、かつ、装置における回路規模、あるいは処理負荷を削減することを目的とする。
〈視覚処理装置61〉
図22に、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置61の基本構成を示す。視覚処理装置61は、入力信号ISとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号USを出力する空間処理部62と、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部63とを備えている。
〈空間処理部62〉
図23を用いて、空間処理部62の空間処理について説明する。空間処理部62は、空間処理の対象となる対象画素65と、対象画素65の周辺領域の画素(以下、周辺画素66という)との画素値を入力信号ISから取得する。
周辺画素66は、対象画素65の周辺領域に位置する画素であり、対象画素65を中心として広がる縦9画素、横9画素の周辺領域に含まれる画素である。なお、周辺領域の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺画素66は、対象画素65からの距離に応じて近いものから第1周辺画素67、第2周辺画素68と分けられている。図23では、第1周辺画素67は、対象画素65を中心とする縦5画素、横5画素の領域に含まれる画素であるとする。さらに第2周辺画素68は、第1周辺画素67の周辺に位置する画素であるとする。
空間処理部62は、対象画素65に対してフィルタ演算を行う。フィルタ演算では、対象画素65と周辺画素66との画素値とが、対象画素65と周辺画素66との画素値の差および距離に基づく重みを用いて、加重平均される。加重平均は、次式F=(Σ[Wij]*[Aij])/(Σ[Wij])に基づいて計算される。ここで、[Wij]は、対象画素65および周辺画素66において、i行j列目に位置する画素の重み係数であり、[Aij]は、対象画素65および周辺画素66において、i行j列目に位置する画素の画素値である。また、「Σ」は、対象画素65および周辺画素66のそれぞれの画素についての合計の計算を行うことを意味している。
図24を用いて、重み係数[Wij]について説明する。重み係数[Wij]は、対象画素65と周辺画素66との画素値の差および距離に基づいて定められる値である。より具体的には、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。
例えば、対象画素65に対しては、重み係数[Wij]は、値[1]である。
第1周辺画素67のうち、対象画素65の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数[Wij]は、値[1]である。第1周辺画素67のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数[Wij]は、値[1/2]である。すなわち、第1周辺画素67に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。
第2周辺画素68のうち、対象画素65の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数[Wij]は、値[1/2]である。第2周辺画素68のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数[Wij]は、値[1/4]である。すなわち、第2周辺画素68に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。また、対象画素65からの距離が第1周辺画素67よりも大きい第2周辺画素68では、より小さい重み係数が与えられている。
ここで、所定の閾値とは、値[0.0〜1.0]の範囲の値をとる対象画素65の画素値に対して、値[20/256〜60/256]などといった大きさの値である。
以上により計算された加重平均が、アンシャープ信号USとして出力される。
〈視覚処理部63〉
視覚処理部63では、同一の画素についての入力信号ISとアンシャープ信号USとの値を用いて、視覚処理を行う。ここで行われる視覚処理は、入力信号ISのコントラスト強調、あるいはダイナミックレンジ圧縮などといった処理である。コントラスト強調では、入力信号ISとアンシャープ信号USとの差、あるいは比を強調する関数を用いて強調した信号を入力信号ISに加え、画像の鮮鋭化が行われる。ダイナミックレンジ圧縮では、入力信号ISからアンシャープ信号USが減算される。
視覚処理部63における処理は、入力信号ISとアンシャープ信号USとを入力として出力信号OSを出力する2次元LUTを用いて行われても良い。
〈視覚処理方法・プログラム〉
上述の処理は、視覚処理プログラムとして、コンピュータなどにより実行されるものであってもよい。視覚処理プログラムは、以下記載する視覚処理方法をコンピュータに実行させるためのプログラムである。
視覚処理方法は、入力信号ISとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号USを出力する空間処理ステップと、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理ステップとを備えている。
空間処理ステップでは、入力信号ISの画素毎に、空間処理部62の説明において記載した加重平均を行い、アンシャープ信号USを出力する。詳細については、上述したため省略する。
視覚処理ステップでは、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、視覚処理部63の説明において記載した視覚処理を行い出力信号OSを出力する。詳細については、上述したため省略する。
〈効果〉
図25(a)〜(b)を用いて、視覚処理装置61による視覚処理の効果を説明する。図25(a)と図25(b)とは、従来のフィルタによる処理を示している。図25(b)は、本発明のフィルタによる処理を示している。
図25(a)は、周辺画素66が濃度の異なる物体71を含む様子を示している。対象画素65の空間処理では、所定のフィルタ係数を持つ平滑化フィルタが用いられる。このため、本来物体71の一部でない対象画素65が物体71の濃度の影響を受けることとなる。
図25(b)は、本発明の空間処理の様子を示している。本発明の空間処理では、周辺画素66が物体71を含む部分66a、物体71を含まない第1周辺画素67、物体71を含まない第2周辺画素68、対象画素65、のそれぞれに対して、異なる重み係数を用いて空間処理が行われる。このため、空間処理された対象画素65が極端に濃度の異なる画素から受ける影響を抑えることが可能となり、より適切な空間処理が可能となる。
また、視覚処理装置61では、特開平10−75395号公報のように複数のボケ信号を作成する必要が無い。このため、装置における回路規模、あるいは処理負荷を削減することが可能となる。
さらに、視覚処理装置61では、実質的に、空間フィルタのフィルタサイズ、およびフィルタが参照する画像の形状を画像内容に応じて適応的に変更することが可能である。このため、画像内容に適した空間処理を行うことが可能となる。
〈変形例〉
(1)
上記した周辺画素66、第1周辺画素67、第2周辺画素などの大きさは、一例であり、他の大きさであってもよい。
上記した重み係数は、一例であり、他のものであっても良い。例えば、画素値の差の絶対値が所定の閾値を超える場合に、重み係数を値[0]として与えてもよい。これにより、空間処理された対象画素65が極端に濃度の異なる画素から受ける影響を無くすことが可能となる。このことは、コントラスト強調を目的とした応用では、元々ある程度コントラストの大きい部分におけるコントラストを過剰に強調しないという効果がある。
また、重み係数は、次に示すような関数の値として与えられるものであってもよい。
(1−a)
画素値の差の絶対値を変数とする関数により重み係数の値を与えてもよい。関数は、例えば、画素値の差の絶対値が小さいときは重み係数が大きく(1に近く)、画素値の差の絶対値が大きいときは重み係数が小さく(0に近く)なるような、画素値の差の絶対値に対して単調減少する関数である。
(1−b)
対象画素65からの距離を変数とする関数により重み係数の値をあたえてもよい。関数は、例えば、対象画素65からの距離が近いときには重み係数が大きく(1に近く)、対象画素65からの距離が遠いときには重み係数が小さく(0に近く)なるような、対象画素65からの距離に対して単調減少する関数である。
上記(1−a)、(1−b)では、重み係数がより連続的に与えられることとなる。このため、閾値を用いた場合に比して、より適切な重み係数を与えることが可能となり、過剰なコントラスト強調を抑制し、擬似輪郭の発生などを抑制し、より視覚的効果の高い処理を行うことが可能となる。
(2)
上記したそれぞれの画素についての処理は、複数の画素を含むブロックを単位として行われても良い。具体的には、まず、空間処理の対象となる対象ブロックの平均画素値と、対象ブロックの周辺の周辺ブロックの平均画素値とが計算される。さらに、それぞれの平均画素値が上記と同様の重み係数を用いて加重平均される。これにより、対象ブロックの平均画素値がさらに空間処理されることとなる。
このような場合には、空間処理部62を選択信号導出部13(図6参照)あるいは選択信号導出部23(図19参照)として用いることも可能である。この場合、[第2実施形態]〈変形例〉(6)、あるいは[第3実施形態]〈変形例〉(5)に記載したのと同様である。
これに関し、図26〜図28を用いて説明を加える。
《構成》
図26は、図22〜図25を用いて説明した処理を複数の画素を含むブロック単位で行う視覚処理装置961の構成を示すブロック図である。
視覚処理装置961は、入力信号ISとして入力される画像を複数の画像ブロックに分割する画像分割部964と、分割された画像ブロック毎の空間処理を行う空間処理部962と、入力信号ISと空間処理部962の出力である空間処理信号US2とを用いて視覚処理を行う視覚処理部963とから構成されている。
画像分割部964は、入力信号ISとして入力される画像を複数の画像ブロックに分割する。さらに、分割された画像ブロック毎の特徴パラメータを含む処理信号US1を導出する。特徴パラメータとは、例えば、分割された画像ブロック毎の画像の特徴を表すパラメータであり、例えば、平均値(単純平均、加重平均など)や代表値(最大値、最小値、中央値など)である。
空間処理部962は、画像ブロック毎の特徴パラメータを含む処理信号US1を取得し、空間処理を行う。
図27を用いて、空間処理部962の空間処理について説明する。図27は、複数画素を含む画像ブロックに分割された入力信号ISを示している。ここで、それぞれの画像ブロックは、縦3画素・横3画素の9画素を含む領域に分割されている。なお、この分割方法は、一例であり、このような分割方法に限定されるわけではない。また、視覚処理効果を十分に発揮するためには、かなり広い領域を対象として空間処理信号US2を生成することが好ましい。
空間処理部962は、空間処理の対象となる対象画像ブロック965と、対象画像ブロック965の周辺に位置する周辺領域966に含まれるそれぞれの周辺画像ブロックとの特徴パラメータを処理信号US1から取得する。
周辺領域966は、対象画像ブロック965の周辺に位置する領域であり、対象画像ブロック965を中心として広がる縦5ブロック、横5ブロックの領域である。なお、周辺領域966の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺領域966は、対象画像ブロック965からの距離に応じて近いものから第1周辺領域967、第2周辺領域968と分けられている。
図27では、第1周辺領域967は、対象画像ブロック965を中心とする縦3ブロック、横3ブロックの領域であるとする。さらに第2周辺領域968は、第1周辺領域967の周辺に位置する領域であるとする。
空間処理部962は、対象画像ブロック965の特徴パラメータに対してフィルタ演算を行う。
フィルタ演算では、対象画像ブロック965と周辺領域966の周辺画像ブロックとの特徴パラメータの値が加重平均される。ここで加重平均の重みは、対象画像ブロック965と周辺画像ブロックとの距離および特徴パラメータの値の差に基づいて定められている。
より具体的には、加重平均は、次式F=(Σ[Wij]*[Aij])/(Σ[Wij])に基づいて計算される。
ここで、[Wij]は、対象画像ブロック965および周辺領域966において、i行j列目に位置する画像ブロックに対する重み係数であり、[Aij]は、対象画像ブロック965および周辺領域966において、i行j列目に位置する画像ブロックの特徴パラメータの値である。また、「Σ」は、対象画像ブロック965および周辺領域966のそれぞれの画像ブロックについての合計の計算を行うことを意味している。
図28を用いて、重み係数[Wij]について説明する。
重み係数[Wij]は、対象画像ブロック965と周辺領域966の周辺画像ブロックとの距離および特徴パラメータの値の差に基づいて定められる値である。より具体的には、特徴パラメータの値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。
例えば、対象画像ブロック965に対しては、重み係数[Wij]は、値[1]である。
第1周辺領域967のうち、対象画像ブロック965の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1]である。第1周辺領域967のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1/2]である。すなわち、第1周辺領域967に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。
第2周辺領域968のうち、対象画像ブロック965の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1/2]である。第2周辺領域968のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1/4]である。すなわち、第2周辺領域968に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。また、対象画像ブロック965からの距離が第1周辺領域967よりも大きい第2周辺領域968では、より小さい重み係数が与えられている。
ここで、所定の閾値とは、値[0.0〜1.0]の範囲の値をとる対象画像ブロック965の特徴パラメータの値に対して、値[20/256〜60/256]などといった大きさの値である。
以上により計算された加重平均が、空間処理信号US2として出力される。
視覚処理部963では、視覚処理部63(図22参照)と同様の視覚処理が行われる。ただし、視覚処理部63との相違点は、アンシャープ信号USの代わりに、視覚処理の対象となる対象画素を含む対象画像ブロックの空間処理信号US2が用いられる点である。 また、視覚処理部963における処理は、対象画素を含む対象画像ブロック単位で一括して処理されてもよいが、入力信号ISから取得される画素の順序で空間処理信号US2を切り換えて処理されてもよい。
以上の処理が、入力信号ISに含まれる全ての画素について行われる。
《効果》
空間処理部962の処理では、画像ブロックを単位とした処理が行われる。このため、空間処理部962の処理量を削減でき、より高速の視覚処理が実現可能となる。また、ハードウェア規模を小さくすることが可能となる。
《変形例》
上記では、正方のブロック単位で処理を行うと記載した。ここで、ブロックの形状は、任意としてもよい。
また、上記した重み係数、閾値なども適宜変更可能である。
ここで、重み係数の一部の値は、値[0]であってもよい。この場合には、周辺領域966の形状を任意の形状とすることと同じこととなる。
また、空間処理部962では、対象画像ブロック965と周辺領域966との特徴パラメータを用いて空間処理を行うと説明したが、空間処理は、周辺領域966のみの特徴パラメータを用いて行うものであってもよい。すなわち、空間処理の加重平均の重みにおいて、対象画像ブロック965の重みを値[0]としてもよい。
(3)
視覚処理部63における処理は、上記したものに限られない。例えば、視覚処理部63は、入力信号ISの値A、アンシャープ信号USの値B、ダイナミックレンジ圧縮関数F4、強調関数F5を用いて、次式C=F4(A)*F5(A/B)により演算される値Cを出力信号OSの値として出力するものであってもかまわない。ここで、ダイナミックレンジ圧縮関数F4は、上に凸のべき関数などの単調増加関数であり、例えば、F4(x)=x^γ(0<γ<1)と表される。強調関数F5は、べき関数であり、例えば、F5(x)=x^α(0<α≦1)と表される。
視覚処理部63においてこのような処理が行われる場合、本発明の空間処理部62により出力された適切なアンシャープ信号USが用いられれば、入力信号ISのダイナミックレンジを圧縮しつつ、局所的なコントラストを強調することが可能となる。
一方、アンシャープ信号USが適切でなく、ボケが少なすぎる場合には、エッジ強調的ではあるがコントラストの強調が適切に行えない。また、ボケが多すぎる場合には、コントラストの強調は行えるが、ダイナミックレンジの圧縮が適切に行えない。
[第5実施形態]
本発明の第5実施形態として、上記第1〜第4実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。
視覚処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置であり、LSIなどの集積回路として実現される。
より詳しくは、上記実施形態の各機能ブロックは、個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
図1、図6、図19、図22、図26の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。また、図6、図19の階調処理実行部14,25において参照される2次元LUTは、ハードディスク、ROMなどの記憶装置に格納されており、必要に応じて参照される。さらに、2次元LUTは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される2次元LUTの提供装置から提供されるものであってもよい。また、図13の階調処理実行部44において参照される1次元LUTについても同様である。
また、視覚処理装置は、動画像を取り扱う機器に内蔵、あるいは接続されて、フレーム毎(フィールド毎)の画像の階調処理を行う装置であってもよい。
また、それぞれの視覚処理装置では、上記第1〜第4実施形態で説明した視覚処理方法が実行される。
視覚処理プログラムは、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続される装置において、ハードディスク、ROMなどの記憶装置に記憶され、画像の階調処理を実行するプログラムであり、例えば、CD−ROMなどの記録媒体を介して、あるいはネットワークを介して提供される。
上記実施形態では、それぞれの画素の明度値について処理を行うと説明した。ここで、本発明は、入力信号ISの色空間に依存するものではない。すなわち、上記実施形態における処理は、入力信号ISがYCbCr色空間、YUV色空間、Lab色空間、Luv色空間、YIQ色空間、XYZ色空間、YPbPr色空間、RGB色空間などで表されている場合に、それぞれの色空間の輝度、明度に対して、同様に適用可能である。
また入力信号ISがRGB色空間で表されている場合に、上記実施形態における処理は、RGBそれぞれの成分に対して独立に行われるものであってもよい。
[第6実施形態]
本発明の第6実施形態として、上記で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例とそれを用いたシステムを図29〜図32を用いて説明する。
図29は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図29のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
コンテンツの表示に際して、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを用いても良い。例えば、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、上記実施形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであっても良い。
また、ストリーミングサーバex103は、視覚処理装置に対して、インターネットex101を介してプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバex103は、複数台存在し、それぞれ異なるプロファイルデータを提供するものであっても良い。さらに、ストリーミングサーバex103は、プロファイルの作成を行うものであっても良い。このように、インターネットex101を介して、視覚処理装置がプロファイルデータを取得できる場合、視覚処理装置は、あらかじめ視覚処理に用いるプロファイルデータを記憶しておく必要が無く、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットex101介して接続される複数のサーバからプロファイルデータを取得できるため、異なる視覚処理を実現することが可能となる。
一例として携帯電話について説明する。
図30は、上記実施形態の視覚処理装置を備えた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex115について図31を用いて説明する。携帯電話ex115は表示部ex202および操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306および音声処理部ex305が同期バスex313を介して互いに接続されている。
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
以上の構成において、画像復号化部ex309は、上記実施形態の視覚処理装置を備えていても良い。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図32に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施形態の復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を補間して再生し、モニタex408に表示することができる。
なお、カーナビゲーションex413の構成は例えば図31に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
[付記]
上記実施形態に記載の本発明は、次のように表現することも可能である。
〈付記の内容〉
(付記1)
入力された画像信号を複数の画像領域に分割する画像領域分割手段と、
前記画像領域毎に階調変換特性を導出する手段であって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理手段と、
を備える視覚処理装置。
(付記2)
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出手段は、前記階調特性を用いてヒストグラムを作成するヒストグラム作成手段と、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成手段とを有している、
付記1に記載の視覚処理装置。
(付記3)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理手段は、前記複数の階調変換テーブルを2次元LUTとして有している、
付記1に記載の視覚処理装置。
(付記4)
前記2次元LUTは、前記画像信号の全ての値において、前記選択信号の値に対する階調処理された前記画像信号の値が単調増加あるいは単調減少する順序で前記複数の階調変換テーブルを格納している、
付記3に記載の視覚処理装置。
(付記5)
前記2次元LUTは、プロファイルデータの登録により変更可能である、
付記3又は4に記載の視覚処理装置。
(付記6)
前記選択信号の値は、前記対象画像領域と前記周辺画像領域とのそれぞれの画像領域について導出された選択信号である個別選択信号の特徴量として導出される、
付記3〜5のいずれかに記載の視覚処理装置。
(付記7)
前記選択信号は、前記対象画像領域と前記周辺画像領域との階調特性を用いて導出される特徴量である階調特性特徴量に基づいて導出される、
付記3〜5のいずれかに記載の視覚処理装置。
(付記8)
前記階調処理手段は、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行手段と、前記階調処理された前記画像信号の階調を補正する手段であって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正手段とを有している、
付記3〜7のいずれかに記載の視覚処理装置。
(付記9)
前記階調処理手段は、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正手段と、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行手段とを有している、
付記3〜7のいずれかに記載の視覚処理装置。
(付記10)
入力された画像信号を複数の画像領域に分割する画像領域分割ステップと、
前記画像領域毎に階調変換特性を導出するステップであって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法。
(付記11)
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出ステップは、前記階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、
付記10に記載の視覚処理方法。
(付記12)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、
付記10に記載の視覚処理方法。
(付記13)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステップとを有している、
付記10に記載の視覚処理方法。
(付記14)
コンピュータにより視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理プログラムは、コンピュータに、
入力された画像信号を複数の画像領域に分割する画像領域分割ステップと、
前記画像領域毎に階調変換特性を導出するステップであって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法を行わせるものである、
視覚処理プログラム。
(付記15)
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出ステップは、前記階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、
付記14に記載の視覚処理プログラム。
(付記16)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、
付記14に記載の視覚処理プログラム。
(付記17)
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステップとを有している、
付記14に記載の視覚処理プログラム。
(付記18)
前記階調処理手段は、前記画像信号を階調処理するための階調変換曲線の曲線パラメータを、前記階調変換特性に基づいて出力するパラメータ出力手段を有しており、前記階調変換特定と前記曲線パラメータとに基づいて特定される前記階調変換曲線を用いて、前記画像信号を階調処理する、
付記1に記載の視覚処理装置。
(付記19)
前記パラメータ出力手段は、前記階調変換特性と前記曲線パラメータとの関係を格納するルックアップテーブルである、
付記18に記載の視覚処理装置。
(付記20)
前記曲線パラメータは、前記画像信号の所定の値に対する前記階調処理された画像信号の値を含む、
付記18または19に記載の視覚処理装置。
(付記21)
前記曲線パラメータは、前記画像信号の所定の区間における前記階調変換曲線の傾きを含む、
付記18〜20のいずれかに記載の視覚処理装置。
(付記22)
前記曲線パラメータは、前記階調変換曲線が通る少なくとも1点の座標を含む、
付記18〜21のいずれかに記載の視覚処理装置。
(付記23)
入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段であって、前記空間処理では、前記空間処理の対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、前記対象画像領域と前記周辺画像領域との階調特性の加重平均を行う、空間処理手段と、
前記対象画像領域の階調特性と前記空間処理信号とに基づいて、前記対象画像領域の視覚処理を行う視覚処理手段と、
を備える視覚処理装置。
(付記24)
前記重み付けは、前記階調特性の差の絶対値が大きいほど小さくなる、
付記23に記載の視覚処理装置。
(付記25)
前記重み付けは、前記対象画像領域と前記周辺画像領域との距離が大きいほど小さくなる、
付記23または24に記載の視覚処理装置。
(付記26)
前記画像領域は、複数の画素から構成されており、
前記対象画像領域と前記周辺画像領域との階調特性は、それぞれの画像領域を構成する画素値の特徴量として定められている、
付記23〜25のいずれかに記載の視覚処理装置。
(付記27)
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定手段と、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定手段と、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、
を備える視覚処理装置。
(付記28)
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定ステップと、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定ステップと、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法。
(付記29)
コンピュータを用いて、入力された画像信号の視覚処理を行う視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理方法は、
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定ステップと、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定ステップと、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法である、
視覚処理プログラム。
(付記30)
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定部と、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定部と、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理部と、
を備える半導体装置。
〈付記の説明〉
付記1に記載の視覚処理装置は、画像領域分割手段と、階調変換特性導出手段と、階調処理手段とを備えている。画像領域分割手段は、入力された画像信号を複数の画像領域に分割する。階調変換特性導出手段は、画像領域毎に階調変換特性を導出する手段であって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、画像信号の階調処理を行う。
ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などといった画素値である。
本発明の視覚処理装置では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記2に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、階調変換特性は、階調変換曲線である。階調変換特性導出手段は、階調特性を用いてヒストグラムを作成するヒストグラム作成手段と、作成されたヒストグラムに基づいて階調変換曲線を作成する階調曲線作成手段とを有している。
ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成手段は、例えば、ヒストグラムの値を累積した累積曲線を階調変換曲線とする。
本発明の視覚処理装置では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
付記3に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。階調処理手段は、複数の階調変換テーブルを2次元LUTとして有している。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理手段は、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。
本発明の視覚処理装置では、階調処理を2次元LUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。
付記4に記載の視覚処理装置は、付記3に記載の視覚処理装置であって、2次元LUTは、画像信号の全ての値において、選択信号の値に対する階調処理された画像信号の値が単調増加あるいは単調減少する順序で複数の階調変換テーブルを格納している。
本発明の視覚処理装置では、例えば、選択信号の値が階調変換の度合いを示すこととなる。
付記5に記載の視覚処理装置は、付記3又は4に記載の視覚処理装置であって、2次元LUTは、プロファイルデータの登録により変更可能である。
ここで、プロファイルデータとは、2次元LUTに格納されるデータであり、例えば、階調処理された画像信号の画素値を要素としている。
本発明の視覚処理装置では、2次元LUTを変更することにより、ハードウェアの構成を変更せずに階調処理の特性を様々に変更することが可能となる。
付記6に記載の視覚処理装置は、付記3〜5のいずれかに記載の視覚処理装置であって、選択信号の値は、対象画像領域と周辺画像領域とのそれぞれの画像領域について導出された選択信号である個別選択信号の特徴量として導出される。
ここで、個別選択信号の特徴量とは、例えば、それぞれの画像領域について導出された選択信号の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
本発明の視覚処理装置では、対象画像領域に対する選択信号を周辺画像領域を含む広域の画像領域に対する選択信号の特徴量として導出する。このため、選択信号について空間処理的効果を加えることが可能となり、画像領域の境界が不自然に目立つことが防止可能となる。
付記7に記載の視覚処理装置は、付記3〜5のいずれかに記載の視覚処理装置であって、選択信号は、対象画像領域と周辺画像領域との階調特性を用いて導出される特徴量である階調特性特徴量に基づいて導出される。
ここで、階調特性特徴量とは、例えば、対象画像領域と周辺画像領域との広域の階調特性の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
本発明の視覚処理装置では、対象画像領域に対する選択信号を周辺画像領域を含む広域の画像領域に対する階調特性特徴量に基づいて導出する。このため、選択信号について空間処理的効果を加えることが可能となり、画像領域の境界が不自然に目立つことが防止可能となる。
付記8に記載の視覚処理装置は、付記3〜7のいずれかに記載の視覚処理装置であって、階調処理手段は、階調処理実行手段と、補正手段とを有している。階調処理実行手段は、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正手段は、階調処理された画像信号の階調を補正する手段であって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。
ここで、隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い3つの画像領域として選択される。
補正手段は、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。
本発明の視覚処理装置では、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記9に記載の視覚処理装置は、付記3〜7のいずれかに記載の視覚処理装置であって、階調処理手段は、補正手段と、階調処理実行手段とを有している。補正手段は、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行手段は、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。
補正手段は、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
本発明の視覚処理装置では、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記10に記載の視覚処理方法は、画像領域分割ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。画像領域分割ステップは、入力された画像信号を複数の画像領域に分割する。階調変換特性導出ステップは、画像領域毎に階調変換特性を導出するステップであって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、画像信号の階調処理を行う。
ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などといった画素値である。
本発明の視覚処理方法では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果の高い階調処理を実現することが可能となる。
付記11に記載の視覚処理方法は、付記10に記載の視覚処理方法であって、階調変換特性は、階調変換曲線である。階調変換特性導出ステップは、階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成されたヒストグラムに基づいて階調変換曲線を作成する階調曲線作成ステップとを有している。
ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成ステップは、例えば、ヒストグラムの値を累積した累積曲線を階調変換曲線とする。
本発明の視覚処理方法では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
付記12に記載の視覚処理方法は、付記10に記載の視覚処理方法であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、階調処理実行ステップと、補正ステップとを有している。階調処理実行ステップは、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正ステップは、階調処理された画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い3つの画像領域として選択される。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とからLUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。
本発明の視覚処理方法では、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記13に記載の視覚処理方法は、付記10に記載の視覚処理方法であって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、補正ステップと、階調処理実行ステップとを有している。補正ステップは、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行ステップは、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
本発明の視覚処理方法では、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記14に記載の視覚処理プログラムは、コンピュータにより、画像領域分割ステップと、階調変換特性導出ステップと、階調処理ステップとを備える視覚処理方法を行わせる視覚処理プログラムである。画像領域分割ステップは、入力された画像信号を複数の画像領域に分割する。階調変換特性導出ステップは、画像領域毎に階調変換特性を導出するステップであって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、画像信号の階調処理を行う。
ここで、階調変換特性とは、画像領域毎の階調処理の特性である。階調特性とは、例えば、画素毎の輝度、明度などといった画素値である。
本発明の視覚処理プログラムでは、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果の高い階調処理を実現することが可能となる。
付記15に記載の視覚処理プログラムは、付記14に記載の視覚処理プログラムであって、階調変換特性は、階調変換曲線である。階調変換特性導出ステップは、階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成されたヒストグラムに基づいて階調変換曲線を作成する階調曲線作成ステップとを有している。
ここで、ヒストグラムとは、例えば、対象画像領域および周辺画像領域が含む画素の階調特性に対する分布である。階調曲線作成ステップは、例えば、ヒストグラムの値を累積した累積曲線を階調変換曲線とする。
本発明の視覚処理プログラムでは、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
付記16に記載の視覚処理プログラムは、付記14に記載の視覚処理プログラムであって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、階調処理実行ステップと、補正ステップとを有している。階調処理実行ステップは、選択信号が選択する階調変換テーブルを用いて対象画像領域の階調処理を実行する。補正ステップは、階調処理された画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と対象画素を含む画像領域の隣接画像領域とについて選択された階調処理テーブルに基づいて、対象画素の階調を補正する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。隣接画像領域とは、階調変換特性を導出する際の周辺画像領域と同じ画像領域であってもよいし、異なる画像領域であってもよい。例えば、隣接画像領域は、対象画素を含む画像領域に隣接する画像領域のうち、対象画素からの距離が短い3つの画像領域として選択される。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とからLUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に同一の階調変換テーブルを用いて階調処理された画像信号の階調を補正する。対象画素の補正は、例えば、対象画素の位置に応じて、隣接画像領域について選択されたそれぞれの階調変換テーブルの影響が現れるように行われる。
本発明の視覚処理プログラムでは、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画像信号の階調を画素毎に補正することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記17に記載の視覚処理プログラムは、付記14に記載の視覚処理プログラムであって、階調変換特性は、画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号である。また、階調処理ステップは、補正ステップと、階調処理実行ステップとを有している。補正ステップは、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行ステップは、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。
ここで、階調変換テーブルとは、例えば、画像信号の画素値に対して階調処理された画像信号の画素値を記憶するルックアップテーブル(LUT)などである。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
本発明の視覚処理プログラムでは、階調処理をLUTを参照して行う。このため、階調処理を高速化することが可能となる。また、複数の階調変換テーブルから1つの階調変換テーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。さらに、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
付記18に記載の視覚処理装置は、付記1に記載の視覚処理装置であって、階調処理手段は、画像信号を階調処理するための階調変換曲線の曲線パラメータを、階調変換特性に基づいて出力するパラメータ出力手段を有している。階調処理手段は、階調変換特定と曲線パラメータとに基づいて特定される階調変換曲線を用いて、画像信号を階調処理する。
ここで、階調変換曲線とは、少なくとも一部が直線であるようなものも含んでいる。曲線パラメータとは、階調変換曲線を他の階調変換曲線と区別するためのパラメータであり、例えば、階調変換曲線上の座標、階調変換曲線の傾き、曲率などである。パラメータ出力手段は、例えば、階調変換特性に対する曲線パラメータを格納するルックアップテーブルや、所定の階調変換特性に対する曲線パラメータを用いた曲線近似などの演算により曲線パラメータを求める演算手段などである。
本発明の視覚処理装置では、階調変換特性に応じて画像信号を階調処理する。このため、より適切に階調処理を行うことが可能となる。また、階調処理に用いられる全ての階調変換曲線の値をあらかじめ記憶しておく必要がなく、出力された曲線パラメータから階調変換曲線を特定して階調処理を行う。このため、階調変換曲線を記憶するための記憶容量を削減することが可能となる。
付記19に記載の視覚処理装置は、付記18に記載の視覚処理装置であって、パラメータ出力手段は、階調変換特性と曲線パラメータとの関係を格納するルックアップテーブルである。
ルックアップテーブルは、階調変換特性と曲線パラメータとの関係を格納している。階調処理手段は、特定された階調変換曲線を用いて、画像信号を階調処理する。
本発明の視覚処理装置では、階調変換特性に応じて画像信号を階調処理する。このため、より適切に階調処理を行うことが可能となる。さらに、用いられる全ての階調変換曲線の値をあらかじめ記憶しておく必要がなく、曲線パラメータを記憶するのみである。このため、階調変換曲線を記憶するための記憶容量を削減することが可能となる。
付記20に記載の視覚処理装置は、付記18または19に記載の視覚処理装置であって、曲線パラメータは、画像信号の所定の値に対する階調処理された画像信号の値を含む。
階調処理手段では、画像信号の所定の値と視覚処理の対象となる画像信号の値との関係を用いて、曲線パラメータが含む階調処理された画像信号の値を非線形あるいは線形に内分し、階調処理された画像信号の値を導出する。
本発明の視覚処理装置では、画像信号の所定の値に対する階調処理された画像信号の値から階調変換曲線を特定し、階調処理を行うことが可能となる。
付記21に記載の視覚処理装置は、付記18〜20のいずれかに記載の視覚処理装置であって、曲線パラメータは、画像信号の所定の区間における階調変換曲線の傾きを含む。
階調処理手段では、画像信号の所定の区間における階調変換曲線の傾きにより、階調変換曲線が特定される。さらに、特定された階調変換曲線を用いて、画像信号の値に対する階調処理された画像信号の値が導出される。
本発明の視覚処理装置では、画像信号の所定の区間における階調変換曲線の傾きにより、階調変換曲線を特定し、階調処理を行うことが可能となる。
付記22に記載の視覚処理装置は、付記18〜21のいずれかに記載の視覚処理装置であって、曲線パラメータは、階調変換曲線が通る少なくとも1点の座標を含む。
曲線パラメータでは、階調変換曲線が通る少なくとも1点の座標が特定されている。すなわち画像信号の値に対する階調処理後の画像信号の値が少なくとも1点特定されている。階調処理手段では、特定された画像信号の値と、視覚処理の対象となる画像信号の値との関係を用いて、特定された階調処理後の画像信号の値を非線形あるいは線形に内分することにより階調処理された画像信号の値を導出する。
本発明の視覚処理装置では、階調変換曲線が通る少なくとも1点の座標により、階調変換曲線を特定し、階調処理を行うことが可能となる。
付記23に記載の視覚処理装置は、空間処理手段と、視覚処理手段とを備えている。空間処理手段は、入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段である。空間処理では、空間処理の対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、対象画像領域と周辺画像領域との階調特性の加重平均を行う。視覚処理手段は、対象画像領域の階調特性と空間処理信号とに基づいて、対象画像領域の視覚処理を行う。
ここで、画像領域とは、画像において、複数の画素を含む領域、あるいは画素そのものを意味している。階調特性とは、画素毎の輝度、明度などといった画素値に基づく値である。例えば、画像領域の階調特性とは、画像領域が含む画素の画素値の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
空間処理手段は、周辺画像領域の階調特性を用いて、対象画像領域の空間処理を行う。空間処理では、対象画像領域と周辺画像領域との階調特性が加重平均される。加重平均における重みは、対象画像領域と周辺画像領域との階調特性の差に基づいて設定される。
本発明の視覚処理装置では、空間処理信号において、階調特性が大きく異なる画像領域から受ける影響を抑制することなどが可能となる。例えば、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、適切な空間処理信号を導出することが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
付記24に記載の視覚処理装置は、付記23に記載の視覚処理装置であって、重み付けは、階調特性の差の絶対値が大きいほど小さくなる。
ここで、重みは、階調特性の差に応じて単調減少する値として与えられるものであってもよいし、所定の閾値と階調特性の差との比較により、所定の値に設定されるものであってもよい。
本発明の視覚処理装置では、空間処理信号において、階調特性が大きく異なる画像領域から受ける影響を抑制することなどが可能となる。例えば、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、適切な空間処理信号を導出することが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
付記25に記載の視覚処理装置は、付記23または24に記載の視覚処理装置であって、重み付けは、対象画像領域と周辺画像領域との距離が大きいほど小さくなる。
ここで、重みは、対象画像領域と周辺画像領域との距離の大きさに応じて単調減少する値として与えられるものであってもよいし、所定の閾値と距離の大きさとの比較により、所定の値に設定されるものであってもよい。
本発明の視覚処理装置では、空間処理信号において、対象画像領域と離れた周辺画像領域から受ける影響を抑制することなどが可能となる。このため、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、周辺画像領域と対象画像領域とが離れている場合には、周辺画像領域から受ける影響を抑制し、より適切な空間処理信号を導出することが可能となる。
付記26に記載の視覚処理装置は、付記23〜25のいずれかに記載の視覚処理装置であって、画像領域は、複数の画素から構成されている。対象画像領域と周辺画像領域との階調特性は、それぞれの画像領域を構成する画素値の特徴量として定められている。
本発明の視覚処理装置では、画像領域毎の空間処理を行う際に、画像領域毎に含まれる画素だけでなく、周辺の画像領域を含めた広域の画像領域に含まれる画素の階調特性を用いて処理を行う。このため、より適切な空間処理を行うことが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
付記27に記載の視覚処理装置は、対象画像領域決定手段と、周辺画像領域決定手段と、階調変換特性導出手段と、階調処理手段とを備えている。対象画像領域決定手段は、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定手段は、対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する。階調変換特性導出手段は、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
対象画像領域とは、例えば、画像信号に含まれる画素や、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域などである。周辺画像領域とは、例えば、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域である。周辺画像データとは、周辺画像領域の画像データあるいは画像データから導出されるデータなどであり、例えば、周辺画像領域の画素値、階調特性(画素毎の輝度や明度)、サムネイル(縮小画像や解像度を落とした間引き画像)などである。また、周辺画像領域は、対象画像領域の周辺に位置すればよく、対象画像領域を取り囲む領域である必要はない。
本発明の視覚処理装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記28に記載の視覚処理方法は、対象画像領域決定ステップと、周辺画像領域決定ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。対象画像領域決定ステップは、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定ステップは、対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する。階調変換特性導出ステップは、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
本発明の視覚処理方法では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記29に記載の視覚処理プログラムは、コンピュータを用いて、入力された画像信号の視覚処理を行う視覚処理方法を行うための視覚処理プログラムである。視覚処理方法は、対象画像領域決定ステップと、周辺画像領域決定ステップと、階調変換特性導出ステップと、階調処理ステップとを備えている。対象画像領域決定ステップは、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定ステップは、対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する。階調変換特性導出ステップは、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
本発明の視覚処理プログラムでは、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記30に記載の半導体装置は、対象画像領域決定部と、周辺画像領域決定部と、階調変換特性導出部と、階調処理部とを備えている。対象画像領域決定部は、入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する。周辺画像領域決定部は、対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する。階調変換特性導出部は、周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理部は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
本発明の半導体装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
[第2付記]
さらに、上記実施形態に記載の本発明は、次のように表現することも可能である。
〈第2付記の内容〉
(付記201)
入力された画像信号を画像領域毎に階調処理する視覚処理装置であって、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の階調変換特性を導出する階調変換特性導出手段と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、
を備える視覚処理装置。
(付記202)
前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
付記201に記載の視覚処理装置。
(付記203)
前記階調変換特性導出手段は、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
付記201または202に記載の視覚処理装置。
(付記204)
前記階調変換特性導出手段は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出手段と、前記特徴パラメータ導出手段で導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定手段とを有している、
付記203に記載の視覚処理装置。
(付記205)
前記特徴パラメータは、ヒストグラムであることを特徴とする、
付記204に記載の視覚処理装置。
(付記206)
前記階調変換特性決定手段は、前記特徴パラメータを用いて予めテーブル化された前記階調変換特性を選択することを特徴とする、
付記204に記載の視覚処理装置。
(付記207)
予めテーブル化された前記階調変換特性は、変更可能なことを特徴とする、
付記206に記載の視覚処理装置。
(付記208)
前記階調変換特性の変更は、前記階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする、
付記207に記載の視覚処理装置。
(付記209)
前記階調変換特性決定手段は、前記特徴パラメータを用いて予め決定された演算により前記階調変換特性を生成することを特徴とする、
付記204に記載の視覚処理装置。
(付記210)
予め決定された前記演算は、変更可能なことを特徴とする、
付記209に記載の視覚処理装置。
(付記211)
前記演算の変更は、前記演算の少なくとも一部を補正することによって実現されることを特徴とする、
付記210に記載の視覚処理装置。
(付記212)
前記階調変換特性は、複数の前記階調変換特性を内挿または外挿して得られるものであることを特徴とする、
付記204記載の視覚処理装置。
(付記213)
入力された画像信号を画像領域毎に階調処理する視覚処理方法であって、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法。
(付記214)
前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
付記213に記載の視覚処理方法。
(付記215)
前記階調変換特性導出ステップは、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
付記213または214に記載の視覚処理方法。
(付記216)
前記階調変換特性導出ステップは、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、
付記215に記載の視覚処理方法。
(付記217)
コンピュータを用いて、入力された画像信号を画像領域毎に階調処理する視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理方法は、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法である、
視覚処理プログラム。
(付記218)
前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
付記217に記載の視覚処理プログラム。
(付記219)
前記階調変換特性導出ステップは、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
付記217または218に記載の視覚処理プログラム。
(付記220)
前記階調変換特性導出ステップは、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、
付記219に記載の視覚処理プログラム。
(付記221)
入力された画像信号を画像領域毎に階調処理する半導体装置であって、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理部と、
を備える半導体装置。
(付記222)
前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
付記221に記載の半導体装置。
(付記223)
前記階調変換特性導出部は、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
付記221または222に記載の半導体装置。
(付記224)
前記階調変換特性導出部は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出部と、前記特徴パラメータ導出部で導出された前記対象画像領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定部とを有している、
付記223に記載の半導体装置。
〈第2付記の説明〉
付記201に記載の視覚処理装置は、入力された画像信号を画像領域毎に階調処理する視覚処理装置であって、階調変換特性導出手段と、階調処理手段とを備えている。階調変換特性導出手段は、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
対象画像領域とは、例えば、画像信号に含まれる画素や、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域などである。周辺画像領域とは、例えば、画像信号を所定の単位に分割した画像ブロックその他の複数の画素から構成される領域である。周辺画像データとは、周辺画像領域の画像データあるいは画像データから導出されるデータなどであり、例えば、周辺画像領域の画素値、階調特性(画素毎の輝度や明度)、サムネイル(縮小画像や解像度を落とした間引き画像)などである。また、周辺画像領域は、対象画像領域の周辺に位置すればよく、対象画像領域を取り囲む領域である必要はない。
本発明の視覚処理装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記202に記載の視覚処理装置は、付記201に記載の視覚処理装置であって、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。
ここで、画像ブロックとは、画像信号を矩形に分割したそれぞれの領域である。
本発明の視覚処理装置では、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
付記203に記載の視覚処理装置は、付記201または202に記載の視覚処理装置であって、階調変換特性導出手段は、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。
対象画像データとは、対象画像領域の画像データあるいは画像データから導出されるデータなどであり、例えば、対象画像領域の画素値、階調特性(画素毎の輝度や明度)、サムネイル(縮小画像や解像度を落とした間引き画像)などである。
本発明の視覚処理装置では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記204に記載の視覚処理装置は、付記203に記載の視覚処理装置であって、階調変換特性導出手段は、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出手段と、特徴パラメータ導出手段で導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定手段とを有している。
特徴パラメータとは、例えば、対象画像データおよび周辺画像データなどの平均値(単純平均値、加重平均値など)や、代表値(最大値、最小値、中央値など)や、ヒストグラムなどである。ここで、ヒストグラムとは、例えば、対象画像データおよび周辺画像データの階調特性の分布である。
本発明の視覚処理装置では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。
付記205に記載の視覚処理装置は、付記204に記載の視覚処理装置であって、特徴パラメータは、ヒストグラムであることを特徴とする。
階調変換特性決定手段は、例えば、ヒストグラムの値を累積した累積曲線を階調変換特性として決定する、あるいはヒストグラムに応じた階調変換特性を選択する。
本発明の視覚処理装置では、対象画像データだけでなく、周辺画像データを用いてヒストグラムを作成する。このため、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。
付記206に記載の視覚処理装置は、付記204に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予めテーブル化された階調変換特性を選択することを特徴とする。
ここで、階調変換特性は、テーブル化されたデータであり、テーブルには、対象画像データに対する階調処理後の対象画像データの特性が格納されている。
階調変換特性決定手段は、特徴パラメータの値のそれぞれに対応するテーブルを選択する。
本発明の視覚処理装置では、テーブル化された階調変換特性を用いて階調処理を行う。このため、階調処理を高速化することが可能となる。また、複数のテーブルから1つのテーブルを選択して階調処理を行うため、適切な階調処理を行うことが可能となる。
付記207に記載の視覚処理装置は、付記206に記載の視覚処理装置であって、予めテーブル化された階調変換特性は、変更可能なことを特徴とする。
本発明の視覚処理装置では、階調変換特性を変更することにより、ハードウェア構成を変更せずに階調処理の特性を様々に変更することが可能となる。
付記208に記載の視覚処理装置は、付記207に記載の視覚処理装置であって、階調変換特性の変更は、階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする。
本発明の視覚処理装置では、階調変換特性の少なくとも一部を補正することにより階調変換特性の変更を行う。このため、階調変換特性のための記憶容量を削減しつつ、様々な階調処理を実現することが可能となる。
付記209に記載の視覚処理装置は、付記204に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予め決定された演算により階調変換特性を生成することを特徴とする。
ここで、階調変換特性は、対象画像データに対する階調処理後の対象画像データを与える。また、階調変換特性を生成する演算は、特徴パラメータを用いて予め決定されている。より詳しくは、例えば、特徴パラメータの値のそれぞれに対応する演算が選択される、あるいは特徴パラメータの値に応じて演算が生成される。
本発明の視覚処理装置では、階調変換特性を予め記憶しておく必要が無く、階調変換特性を記憶するための記憶容量を削減することが可能となる。
付記210に記載の視覚処理装置は、付記209に記載の視覚処理装置であって、予め決定された演算は、変更可能なことを特徴とする。
本発明の視覚処理装置では、演算を変更することにより、階調処理の特性を様々に変更することが可能となる。
付記211に記載の視覚処理装置は、付記210に記載の視覚処理装置であって、演算の変更は、演算の少なくとも一部を補正することによって実現されることを特徴とする。
本発明の視覚処理装置では、演算の少なくとも一部を補正することにより階調変換特性が変更される。このため、演算を記憶するための記憶容量が同じであっても、さらに多様な階調処理を実現することが可能となる。
付記212に記載の視覚処理装置は、付記204に記載の視覚処理装置であって、階調変換特性は、複数の階調変換特性を内挿または外挿して得られるものであることを特徴とする。
ここで、階調変換特性とは、例えば、対象画像データに対する階調処理後の対象画像データの特性である。階調変換特性は、例えば、テーブル形式、あるいは演算形式で与えられている。
本発明の視覚処理装置では、複数の階調変換特性を内挿あるいは外挿することにより得られる新たな階調変換特性を用いて、階調処理を行うことが可能となる。このため、階調変換特性を記憶するための記憶容量を削減しても、より多様な階調処理を実現することが可能となる。
付記213に記載の視覚処理方法は、入力された画像信号を画像領域毎に階調処理する視覚処理方法であって、階調変換特性導出ステップと、階調処理ステップとを備えている。階調変換特性導出ステップは、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
本発明の視覚処理方法では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記214に記載の視覚処理方法は、付記213に記載の視覚処理方法であって、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。
本発明の視覚処理方法では、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
付記215に記載の視覚処理方法は、付記213または214に記載の視覚処理方法であって、階調変換特性導出ステップは、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。
本発明の視覚処理方法では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記216に記載の視覚処理方法は、付記215に記載の視覚処理方法であって、階調変換特性導出ステップは、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、特徴パラメータ導出ステップで導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定ステップとを有している。
本発明の視覚処理方法では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。
付記217に記載の視覚処理プログラムは、コンピュータを用いて、入力された画像信号を画像領域毎に階調処理する視覚処理方法を行うための視覚処理プログラムである。視覚処理方法は、階調変換特性導出ステップと、階調処理ステップとを備えている。階調変換特性導出ステップは、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理ステップは、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
本発明の視覚処理プログラムでは、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記218に記載の視覚処理プログラムは、付記217に記載の視覚処理プログラムであって、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。
本発明の視覚処理プログラムでは、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
付記219に記載の視覚処理プログラムは、付記217または218に記載の視覚処理プログラムであって、階調変換特性導出ステップは、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。
本発明の視覚処理プログラムでは、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記220に記載の視覚処理プログラムは、付記219に記載の視覚処理プログラムであって、階調変換特性導出ステップは、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、特徴パラメータ導出ステップで導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定ステップとを有している。
本発明の視覚処理プログラムでは、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。
付記221に記載の半導体装置は、入力された画像信号を画像領域毎に階調処理する半導体装置であって、階調変換特性導出部と、階調処理部とを備えている。階調変換特性導出部は、階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、対象画像領域の階調変換特性を導出する。階調処理部は、導出された階調変換特性に基づいて、対象画像領域の画像信号の階調処理を行う。
本発明の半導体装置では、対象画像領域の階調変換特性を判断する際に、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記222に記載の半導体装置は、付記221に記載の半導体装置であって、周辺画像領域は、画像信号を所定の単位に分割した画像ブロックである。
本発明の半導体装置では、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
付記223に記載の半導体装置は、付記221または222に記載の半導体装置であって、階調変換特性導出部は、対象画像領域の対象画像データをさらに用いて、対象画像領域の階調変換特性を導出する。
本発明の半導体装置では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
付記224に記載の半導体装置は、付記223に記載の半導体装置であって、階調変換特性導出部は、対象画像データおよび周辺画像データを用いて対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出部と、特徴パラメータ導出部で導出された対象画像領域の特徴パラメータに基づいて階調変換特性を決定する階調変換特性決定部とを有している。
本発明の半導体装置では、対象画像データだけでなく、周辺画像データを用いて特徴パラメータを導出する。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。より具体的な効果として、階調処理による疑似輪郭の発生を抑制することが可能となる。また、対象画像領域の境界が不自然に目立つことが防止可能となる。
本発明にかかる視覚処理装置は、さらに視覚的効果を向上させる階調処理を実現することが必要な画像信号の階調処理を行う視覚処理装置などの用途にも適用可能である。
視覚処理装置1の構造を説明するブロック図(第1実施形態) 画像領域Pmについて説明する説明図(第1実施形態) 明度ヒストグラムHmについて説明する説明図(第1実施形態) 階調変換曲線Cmについて説明する説明図(第1実施形態) 視覚処理方法について説明するフローチャート(第1実施形態) 視覚処理装置11の構造を説明するブロック図(第2実施形態) 階調変換曲線候補G1〜Gpについて説明する説明図(第2実施形態) 2次元LUT41について説明する説明図(第2実施形態) 階調補正部15の動作について説明する説明図(第2実施形態) 視覚処理方法について説明するフローチャート(第2実施形態) 階調変換曲線Cmの選択の変形例について説明する説明図(第2実施形態) 変形例としての階調処理について説明する説明図(第2実施形態) 階調処理実行部44の構造を説明するブロック図(第2実施形態) 曲線パラメータP1およびP2と、階調変換曲線候補G1〜Gpとの関係について説明する説明図(第2実施形態) 曲線パラメータP1およびP2と、選択信号Smとの関係について説明する説明図(第2実施形態) 曲線パラメータP1およびP2と、選択信号Smとの関係について説明する説明図(第2実施形態) 曲線パラメータP1およびP2と、階調変換曲線候補G1〜Gpとの関係について説明する説明図(第2実施形態) 曲線パラメータP1およびP2と、選択信号Smとの関係について説明する説明図(第2実施形態) 視覚処理装置21の構造を説明するブロック図(第3実施形態) 選択信号補正部24の動作について説明する説明図(第3実施形態) 視覚処理方法について説明するフローチャート(第3実施形態) 視覚処理装置61の構造を説明するブロック図(第4実施形態) 空間処理部62の空間処理について説明する説明図(第4実施形態) 重み係数[Wij]について説明する表(第4実施形態) 視覚処理装置61による視覚処理の効果を説明する説明図(第4実施形態) 視覚処理装置961の構造を説明するブロック図(第4実施形態) 空間処理部962の空間処理について説明する説明図(第4実施形態) 重み係数[Wij]について説明する表(第4実施形態) コンテンツ供給システムの全体構成について説明するブロック図(第6実施形態) 本発明の視覚処理装置を搭載する携帯電話の例(第6実施形態) 携帯電話の構成について説明するブロック図(第6実施形態) ディジタル放送用システムの例(第6実施形態) 視覚処理装置300の構造を説明するブロック図(背景技術) 画像領域Smについて説明する説明図(背景技術) 明度ヒストグラムHmについて説明する説明図(背景技術) 階調変換曲線Cmについて説明する説明図(背景技術)
符号の説明
1,11,21,61 視覚処理装置
2,12,22 画像分割部
3 ヒストグラム作成部
4 階調曲線作成部
5,20,30 階調処理部
10 階調変換曲線導出部
13,23 選択信号導出部
14,25 階調処理実行部
15 階調補正部
24 選択信号補正部
IS 入力信号
OS 出力信号
Pm 画像領域
Em 広域画像領域
Hm 明度ヒストグラム
Cm 階調変換曲線
Sm 選択信号
SS 画素毎の選択信号
CS 階調処理信号




Claims (2)

  1. 入力画像を複数の画像領域に分割する画像分割部と、
    前記画像領域のうち階調処理の対象となる対象画像領域の周囲の複数の画像領域を少なくとも含む広域画像領域の特徴パラメータを用いて、前記対象画像領域に適用される階調変換曲線を選択するための選択信号を決定する選択信号導出部と、
    前記対象画像領域の周囲の複数の画像領域を、選択信号の決定のみを行う仮の対象画像領域とし、前記仮の対象画像領域に対する広域画像領域の特徴パラメータにより決定されたそれぞれの選択信号を求め、前記対象画像領域が含む画素の位置座標により、前記仮の対象画像領域および前記対象画像領域に対して決定されたそれぞれの選択信号を内分することで、前記対象画像領域に対して決定された選択信号を画素単位に補正する、選択信号補正部と、
    前記対象画像領域に含まれる画素値である入力信号と補正された前記選択信号とを入力し、前記入力信号を前記階調変換曲線により階調処理する階調処理部と、
    を含む視覚処理装置。
  2. 画像出力装置で用いられるプロセッサであって、
    前記プロセッサは、
    入力画像を複数の画像領域に分割し、
    前記画像領域のうち階調処理の対象となる対象画像領域の周囲の複数の画像領域を少なくとも含む広域画像領域の特徴パラメータを用いて、前記対象画像領域に適用される階調変換曲線を選択するための選択信号を決定し、
    前記対象画像領域の周囲の複数の画像領域を、選択信号の決定のみを行う仮の対象画像領域とし、前記仮の対象画像領域に対する広域画像領域の特徴パラメータにより決定されたそれぞれの選択信号を求め、前記対象画像領域が含む画素の位置座標により、前記仮の対象画像領域および前記対象画像領域に対して決定されたそれぞれの選択信号を内分することで、前記対象画像領域に対して決定された選択信号を画素単位に補正し、
    前記対象画像領域に含まれる画素値である入力信号と補正された前記選択信号とを入力し、前記入力信号を前記階調変換曲線により階調処理する、
    プロセッサ。
JP2004264005A 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 Active JP4126298B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004264005A JP4126298B2 (ja) 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003320059 2003-09-11
JP2004115166 2004-04-09
JP2004264005A JP4126298B2 (ja) 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008010747A Division JP4414464B2 (ja) 2003-09-11 2008-01-21 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Publications (3)

Publication Number Publication Date
JP2005322205A JP2005322205A (ja) 2005-11-17
JP2005322205A5 JP2005322205A5 (ja) 2007-10-18
JP4126298B2 true JP4126298B2 (ja) 2008-07-30

Family

ID=35469424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004264005A Active JP4126298B2 (ja) 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Country Status (1)

Country Link
JP (1) JP4126298B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4591337B2 (ja) * 2005-12-16 2010-12-01 富士ゼロックス株式会社 画像処理装置
CN103065281A (zh) * 2011-12-17 2013-04-24 中国航空工业集团公司洛阳电光设备研究所 一种短波红外图像增强方法和基于fpga的装置

Also Published As

Publication number Publication date
JP2005322205A (ja) 2005-11-17

Similar Documents

Publication Publication Date Title
JP2009211708A (ja) 階調変換処理装置、テレビジョン、情報携帯端末、カメラ、階調変換処理方法およびプロセッサ
JP4157592B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP5259785B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4410304B2 (ja) 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4745458B2 (ja) 視覚処理装置
KR101314390B1 (ko) 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로
JP4437150B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP4641784B2 (ja) 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム
JP4440245B2 (ja) 視覚処理装置、表示装置および集積回路
JP2008159069A5 (ja)
JP4126297B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP4414307B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP2006024176A5 (ja)
JP4414464B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4126298B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4094652B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
JP4437149B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
JP2005322205A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070830

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20071030

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20071106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080512

R150 Certificate of patent or registration of utility model

Ref document number: 4126298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250