JP4502055B2 - 画像処理装置、画像表示装置、および画像処理方法 - Google Patents

画像処理装置、画像表示装置、および画像処理方法 Download PDF

Info

Publication number
JP4502055B2
JP4502055B2 JP2008236398A JP2008236398A JP4502055B2 JP 4502055 B2 JP4502055 B2 JP 4502055B2 JP 2008236398 A JP2008236398 A JP 2008236398A JP 2008236398 A JP2008236398 A JP 2008236398A JP 4502055 B2 JP4502055 B2 JP 4502055B2
Authority
JP
Japan
Prior art keywords
unit
gradation
data
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008236398A
Other languages
English (en)
Other versions
JP2009141944A (ja
Inventor
俊明 久保
聡 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008236398A priority Critical patent/JP4502055B2/ja
Priority to US12/268,282 priority patent/US8300974B2/en
Publication of JP2009141944A publication Critical patent/JP2009141944A/ja
Application granted granted Critical
Publication of JP4502055B2 publication Critical patent/JP4502055B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

本発明は、デジタル画像の画像データの諧調を補間する画像処理装置、画像表示装置、及び画像処理方法に関し、特にデジタル画像の擬似的な輪郭の発生の抑制に関するものである。
近年、テレビやモニタなどのディスプレイ装置の高輝度化が進んでいる。高輝度化によって単位階調当たりの輝度の変化量も大きくなり、緩やかな階調の変化でもその変化点が目立ってしまう。そこで、10ビットの液晶パネルなど階調分解能の高い表示デバイスが開発されているが、デジタル放送などは8ビットで映像が配信されるため、ディスプレイ装置の階調が10ビットにも拘らず、実効的な階調数は8ビットのままである。そのため、少なくとも3つの画像レベルが抜けており、夕焼けや海などの緩やかに階調が変化する画像信号では、隣接する領域の画像レベルが階段状に変化して、擬似的な輪郭のように見えてしまう。
画像レベルが抜けているような擬似輪郭を有した画像データを平滑化処理(単純な平均化など)によって緩和すると、画像がぼけてしまうという問題があった。特許文献1に記載の階調補間方法では、このような隣接する領域の画像レベルが階段状に変化して、少なくとも1つの画像レベルが抜けている現象を「階調のジャンプ」と定義している。この特許文献1に記載された技術では、平滑化処理を行わずにこの階調のジャンプを解消するために、階調のジャンプが存在する第1と第2の画像レベルを特定することによって階調補間の対象領域を抽出し、この対象領域を(N+1)個の区分領域に区分して、N個の中間画像レベルを順次割り当てることにより対象領域の階調を補間している。
特開平10−84481号公報
しかしながら、上記従来の技術では、狭い領域内のデータに基づいて階調の補間処理を行なうので、緩やかな変化の擬似的な輪郭を解消することができないという問題があった。
本発明は、上記に鑑みてなされたものであって、デジタル画像の擬似的な輪郭の発生を抑制することができる画像処理装置、画像表示装置、及び画像処理方法を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、画像データ階調を補間する画像処理装置において、画像データの階調変換をする階調変換部と、画像データの階調に応じて閾値を求める閾値制御部と、画像データの処理すべき注目画素と周辺画素との差分値が閾値より大きい場合にはエッジ領域としてエッジを保持し、閾値以下の場合はエッジ以外の領域として平滑化処理を行う平滑化フィルタ部と、平滑化フィルタ部で処理された画像データを出力する出力部とを有し、閾値制御部が、階調変換部における階調変換の特性に合わせた閾値を求めるものである。
また、画像データのビット数を拡張し前記画像データの階調を拡張するステップと、画像データの階調変換を行うステップと、画像データの階調に応じて閾値を求めるステップと、階調変換がなされた画像データの処理すべき注目画素と周辺画素との差分値が閾値より大きい場合にはエッジ領域としてエッジを保持し、閾値以下の場合はエッジ以外の領域として平滑化処理を行うステップとを含む含み、閾値を求めるステップは、階調変換の特性に合わせた閾値を求めるものである。
この発明によれば、画像データの階調に応じて閾値を求め、その閾値に応じて画像データ内で所定エッジを保存しながら画像データの所定の階調を平滑化処理するので、画像の鮮鋭度を損なうことなく擬似輪郭の発生を抑制することができるという効果を奏する。
以下に、本発明に係る画像処理装置、画像表示装置、画像処理方法および画像表示方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
図1は、本発明の実施の形態1に係る画像表示装置(画像処理装置を含む)の構成を示す図である。実施の形態1に係る画像表示装置100は、ビット拡張により増加させた階調(補間した階調)をεフィルタ(非線型デジタルフィルタ)を用いて平滑化し、実効的な階調数を増やして画像表示を行なう画像表示装置である。この画像表示装置100は、例えば、液晶テレビやプラズマテレビなどに適用することができる。
画像表示装置100は、入力端子1、受信部2、多階調化処理部3、及び表示部4を備えている。これらのうち、受信部2及び多階調化処理部3によって、画像処理装置(実効的な階調数を増加させる装置)が構成されている。
本実施の形態では、受信部2の一例として、受信部2がアナログの画像信号からデジタルの画像データに変換するA/D変換器である場合について説明する。なお、受信部2にチューナーを配設し、受信部2の内部でコンポジット信号を輝度や色度信号に復調した後にデジタルの画像データに変換してもよい。また、受信部2をデジタルインターフェースとし、受信部2が入力端子1からデジタルのデータを受信して、n(nは自然数)ビットの画像データDIを出力してもよい。
入力端子1は、アナログ画像信号SAを入力する端子であり、入力されたアナログ画像信号SAを受信部2に出力する。受信部2は、アナログ画像信号SAをnビットの画像データDIに変換して多階調化処理部3に出力する。
多階調化処理部3は、原データビット拡張部5、階調変換部28、閾値制御部としてのε選択部29、及び平滑化フィルタ部としての一次元m次εフィルタ部60を備えており、nビットの画像データDIを(n+α)ビットに変換(多階調化)して表示部4に出力する。なお、mとαはともに自然数である。
原データビット拡張部5は、一次元m次εフィルタ部60よりも前段に配置すれば良い。原データビット拡張部5は、nビットの画像データDIをαビット分ビット拡張した(n+α)ビットの画像データDJを階調変換部28に出力する。階調変換部28は、画像データDJに対してガンマ変換やコントラスト補正などの階調変換を行い、階調変換後の画像データを画像データDS((n+α)ビット)として、ε選択部29と一次元m次εフィルタ部60に出力する。
画像表示装置100内で入出力される各画像データ(画像データDS、画像データDI、画像データDJ、後述の画像データDO)は、マトリクス状に配列された画素の値を示すデータである。画像データDSで示される各画素の位置は、画像の左上隅を原点(0,0)として、座標値(i,j)(iとjはともに自然数)で表され、水平方向の座標値iは、右向きに1列進む毎に1ずつ大きくなり、垂直方向の座標値jは、下向きに1行進む毎に1ずつ大きくなる。これらの各画像データは、複数の行に配列されるデータを順番に示すデータ列である。このデータ列は、複数の行を上から下への順番であって、かつ各行内では複数の画素を左から右への順番で示すデータの列である。
受信部2におけるアナログ画像信号SAから画像データDIへの変換、受信部2から原データビット拡張部5への画像データDIの供給、原データビット拡張部5におけるビット拡張(ビット数の拡張)、原データビット拡張部5から階調変換部28への画像データDJの供給、階調変換部28からデータ格納部7への画像データDSの供給などは、図示しない制御部から供給される画素クロックに同期して行われる。なお、以下に説明する多階調化処理部3の他の部分の動作も同様に、制御部から供給される画素クロックに同期して行われる。
ε選択部29は、階調ごとに設定された閾値のテーブルを持ち、入力される画像データDS(階調DS)に応じた閾値(閾値データTH(1)〜TH(m)の何れか)をテーブル(階調閾値対応情報)内から選択して一次元m次εフィルタ部60に出力する。ここでの閾値は、後述の差分データEDと比較される値である。
一次元m次εフィルタ部60は、処理すべき画素としての注目画素(階調を平滑化する際に基準となる画素)に対して一次元方向に整列されている画素のデータに基づいて、急峻な変化(エッジ)を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタ(εフィルタ)として用いられる。一次元m次εフィルタ部60は、原データビット拡張部5で増やした階調を平滑化することによって階調のジャンプをなくし、実効的な階調数を増やす処理を行なう。
一次元m次εフィルタ部60は、データ格納部7、第1の差分算出部8−1〜第mの差分算出部8−m、第1のε判定部9−1〜第mのε判定部9−m、判定付加重平均部10、及びデータ加算部11を備えている。
データ格納部7は、階調変換部28からの画像データDSを格納するとともに、第1の差分算出部8−1〜第mの差分算出部8−mに、それぞれ画像データDM(1)〜DM(m)を出力する。また、データ格納部7は、第1の差分算出部8−1〜第mの差分算出部8−mとデータ加算部11に、画像データDM(c)を出力する。
画像データDM(c)は、注目画素を注目画素cとした場合の画像データである。画像データDM(1)〜DM(m)は、それぞれ注目画素cから所定の画素数(座標値)だけ右方向または左方向に離れた画素の画像データである。例えば、m=5の場合に、画像データDM(3)を画像データDM(c)とすると、画像データDM(1)が注目画素cの2つ前(左側)の画素の画像データとなり、画像データDM(2)が注目画素cの1つ前(左側)の画素の画像データとなり、画像データDM(4)が注目画素cの1つ後(右側)の画素の画像データとなり、画像データDM(5)が注目画素cの2つ後(右側)の画素の画像データとなる。
第1の差分算出部8−1〜第mの差分算出部8−mは、画像データDM(1)〜DM(m)と画像データDM(c)との差分を、それぞれ差分データ(差分値)ED(1)〜ED(m)として算出する。第1の差分算出部8−1〜第mの差分算出部8−mは、それぞれ第1のε判定部9−1〜第mのε判定部9−mに、差分データED(1)〜ED(m)を出力する。
第1のε判定部9−1〜第mのε判定部9−mは、それぞれ第1の差分算出部8−1〜第mの差分算出部8−mからの差分データED(1)〜ED(m)が、ε選択部29からの閾値データTH(1)〜TH(m)より大きいか否かの判定を行ない、判定結果を判定データEE(1)〜EE(m)として判定付加重平均部10に出力する。
判定付加重平均部10は、判定データEE(1)〜EE(m)に基づいて差分データED(1)〜ED(m)を加重平均し、その結果として得られる加重平均値を加重平均値(平均データ)EMとしてデータ加算部11に出力する。データ加算部11は、加重平均値EMに画像データDS(画像データDM(c))を加算する。
画像データDSに対して、各画素を順に注目画素として上記処理を行い、これらの処理がなされた画像データ(n+αビットのデータ)を、一次元m次εフィルタ部60のデータ加算部11から画像データDOとして表示部4に出力する。表示部4は、(n+α)ビットの画像データDOを表示する液晶モニタなどの表示手段である。
ここで、一次元m次εフィルタ部60が備えるεフィルタについて説明する。εフィルタは、例えば非特許文献1(雛元孝夫監修、棟安実治、夫田口亮著、「非線形ディジタル信号処理」朝倉書店、1999年3月20日、p.106−107)に説明されている。
εフィルタによる一次元処理は、式(1)で表される。式(1)でのx(i)は入力される画像データの階調であり、y(i)は出力する画像データの階調である。また、akは係数であり、kは注目画素からの相対的な画素位置であり、εは閾値である。
Figure 0004502055
図2は、式(1)の関数f(u)を示す図である。uの絶対値が閾値ε以下の場合f(u)=uとなり、uの絶対値が閾値εより大きい場合f(u)=0となる。式(1)に示す例の場合、uとしてx(i−k)−x(i)がεフィルタに供給される。画素位置iの階調x(i)と画素位置iの周辺の画素位置(i−k)の階調x(i−k)との差分x(i−k)−x(i)が小さい場合、f(u)=f{x(i−k)−x(i)}は、ほぼ線形である。係数akの総和を1と仮定すると、式(1)は式(2)に書き換えられ、εフィルタは重み付平均値フィルタと等しくなる。
Figure 0004502055
また、式(1)は、式(3)のように書き換えることができる。
Figure 0004502055
式(3)のf(u)に図2の非線形関数を適用した場合に新たに定義されるx’(i−k)を用いると、式(3)は、式(4)に書換えることができる。式(4)において、x’(i−k)は、差分x(i−k)−x(i)が閾値ε以下の場合はx(i−k)となり、差分x(i−k)−x(i)が閾値εより大きい場合はx(i)となる。
Figure 0004502055
図3は、εフィルタによるεフィルタ処理を説明するための図である。図3では、画素位置と階調との関係(画素位置毎の階調)を示している。図3の上部に示すグラフ201aは、εフィルタへの入力信号を示している。また、図3の左下部に示すグラフ201bは、εフィルタによる注目画素(点A)への処理を示しており、図3の右下部に示すグラフ201cは、εフィルタによる注目画素(点B)への処理を示している。各グラフ201a〜201cでは、横軸が画素位置iであり、縦軸が入力x(i)の階調である。
図2の関数f(u)を用いたεフィルタは、グラフ201aに示す点Aの信号を処理する場合、グラフ201bに示すように点Aの階調から±εよりも差が大きい階調を全て点Aの階調に置き換えてその加重平均を求める。そのため、階調は、エッジなどの大振幅信号成分に影響されることがない。
また、図2の関数f(u)を用いたεフィルタは、グラフ201aに示す点Bの信号を処理する場合、グラフ201cに示すように点Bの階調から±εよりも差が大きい階調を全て点Bの階調に置き換えてその加重平均を求める。
換言すると、B点のようなエッジ部分においても、グラフ201cに示すようにエッジの画素値に近い値を持つ画素の平均をとることになりエッジの劣化が起こらない。これにより、εフィルタは、エッジなど信号の急峻な変化を保持しながら、小振幅雑音を除去することが可能となる。
このように、εフィルタが、ビット拡張によって増えた階調を小振幅雑音ととらえ(小振幅雑音として扱い)、εフィルタ処理を行う。つまり、nビットから(n+α)ビットにビット拡張する場合、εフィルタの閾値εを2α(2^α)とする。こうすることで、εフィルタは輪郭など画像の急峻な変化を保持しながら、実効的な階調数を増やすことができる。しかしながら、ビット拡張とεフィルタ処理の間にガンマ変換などの階調変換が行われる場合、ビット拡張によって増えた階調の大きさが変化する。
そこで、本実施の形態では、画像表示装置100が、入力される階調によって閾値εを変化させるε選択部29(閾値制御部)と、ε選択部29によって閾値が制御される一次元m次εフィルタ部60とを有するようにし、階調変換に合わせて閾値εを変化させる。すなわち、入力される階調に応じてεフィルタが保存できるエッジの大きさを変化させる。以下、詳細に説明する。
図4は、階調と閾値の関係を示す図である。図4では、階調ごとの閾値を示すテーブルをグラフ化している。閾値制御部に相当するε選択部29が図4に示す階調ごとの閾値を示すテーブルを持つ場合、εフィルタは、階調の小さい領域では小さいエッジも保持し、階調の大きい領域では大きいエッジのみを保持する。
上記のように、ε選択部29(閾値制御部)と、ε選択部29によって閾値が制御される一次元m次εフィルタ部60(エッジ保存型平滑化フィルタ)とを備えることで、入力画像の階調に応じて保持するエッジが異なる平滑化フィルタとして動作する。例えば階調の低い場合には閾値を大きくする用に閾値制御部で設定しておけば、階調レベルの低い領域では他の領域より強く平滑化することができる。
以下、多階調化処理の一例として、α=2の場合、即ちnビットの画像をn+2ビットに多階調化処理する場合について説明する。図5は、m=4の場合の実施の形態1の画像表示装置の構成を示す図である。なお、図5の各構成要素のうち図1に示す画像表示装置100と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
画像表示装置101は、一次元m次εフィルタ部60の代わりに、一次元4次εフィルタ部61を有している。一次元4次εフィルタ部61は、第1の差分算出部8−1〜第4の差分算出部8−4と、第1のε判定部9−1〜第4のε判定部9−4とを含んで構成されている。
図1に示した画像表示装置100では、第1の差分算出部8−1〜第mの差分算出部8−mに画像データDM(1)〜DM(m)を入力したが、図5に示す画像表示装置101では、第1の差分算出部8−1〜第4の差分算出部8−4に入力する画像データを画像データDM(l2),DM(l1),DM(c),DM(r1)とする。画像データDM(l2),DM(l1),DM(c),DM(r1)で表される画像データは、それぞれm=4の場合の画像データDM(1),DM(2),DM(3),DM(4)と同じである。
画像データDM(c)は、注目画素cの画像データであり、階調DM(c)を表すデータである。画像データDM(l1)は、注目画素cの1つ前(左隣)(水平方向の座標値iの差が1)の画素l1の画像データであり、階調DM(l1)表すデータである。画像データDM(l2)は、注目画素cの2つ前(水平方向の座標値iの差が2)の画素l2の画像データであり、階調DM(l2)表すデータである。画像データDM(r1)は、注目画素cの1つ後(右隣)(水平方向の座標値iの差が1)の画素r1の画像データであり、階調DM(r1)を表すデータである。
なお、第1の差分算出部8−1〜第4の差分算出部8−4から出力する差分データED(l2)〜(r1)、第1のε判定部9−1〜第4のε判定部9−4から出力する判定データEE(l2)〜EE(r1)についても、それぞれm=4の場合の差分データED(1)〜ED(4)、判定データEE(1)〜EE(4)と同じである。また、ε選択部29が出力する閾値データTH(l2)〜TH(r1)も、それぞれm=4の場合の閾値データTH(1)〜TH(4)と同じである。
図6は、受信部によるA/D変換処理を説明するための図である。図6では、アナログ信号SAと画像データDIの関係を示している。図6に示すグラフ202a,202bの縦軸は階調を示し、横軸は画素位置iを示している。グラフ202aでは、アナログの画像信号SAの階調を示しており、グラフ202bではデジタルの画像データDIの階調を示している。
画像表示装置101には、グラフ202aに示すアナログの画像信号SAが、入力端子1から受信部2に入力される。受信部2は、アナログの画像信号SAをグラフ202bに示すようなnビットの画像データDIに変換して、多階調化処理部3に出力する。多階調化処理部3では、nビットの画像データDIが原データビット拡張部5に入力される。
グラフ202aに示した画像信号SA(階調緩変信号)は、階調が緩やかに変化しており、階調の変化に対する量子化の分解能が低い(ビット数が少ない)ので、グラフ202bに示した画像データDIでは、2値の階調(XとX+1)に変換されている。
図7は、原データビット拡張部によるビット拡張処理を説明するための図である。図7では、画像データDIと画像データDJの関係を示している。図7に示すグラフ203a,203bの縦軸は階調を示し、横軸は画素位置iを示している。グラフ203aでは、nビットの画像データDIの階調を示しており、グラフ203bでは、(n+2)ビットの画像データDJの階調を示している。
原データビット拡張部5は、グラフ203aに示すようなnビットの画像データDIを2ビットだけビット拡張し、グラフ203bに示すような(n+2)ビットの画像データDJを一次元4次εフィルタ部61に出力する。グラフ203bに示すような(n+2)ビットの画像データDJは、2ビット分ビット拡張されているので、グラフ203aの画像データDJの階調が階調Xから階調4Xに変換され、階調(X+1)が階調4(X+1)に変換されている。
図8は、階調変換部による階調変換処理を説明するための図である。図8では、画像データDJと画像データDSの関係を示している。図8に示すグラフ204a,204bの縦軸は階調を示し、横軸は画素位置iを示している。グラフ204aでは、nビットの画像データDJの階調を示しており、グラフ204bでは、階調変換された画像データDSの階調を示している。階調変換部28は、ガンマ変換やコントラスト補正など種々の階調変換を行う。ここでの階調変換部28は、種々の階調変換を行うことによって、階調4Xを階調4Yに変換し、階調4(X+1)を階調4(Y+1)に変換するものとする。
画像データDSが4Y付近の時に閾値データTH(l2)〜TH(r1)の全てを「4」として出力し、画像データDSが4(Y+1)付近の時に閾値データTH(l2)〜TH(r1)の全てを「8」として出力するようε選択部29(階調閾値対応情報)を設定しておく。
データ格納部7は、例えば図9に示すように構成されている。図9は、データ格納部の詳細な構成の一例を示す図である。データ格納部7は、カスケード接続された4個のフリップフロップFF_1〜FF_4を備えており、入力される画像データDSを、画素クロックに同期して、4個のフリップフロップFF_1〜FF_4で第1のε判定部9−1〜第4のε判定部9−4に転送する。即ち、データ格納部7は、入力される画像データDSを、フリップフロップFF_1に供給し、フリップフロップFF_1の出力をフリップフロップFF_2の入力に供給し、フリップフロップFF_2の出力をフリップフロップFF_3の入力に供給し、フリップフロップFF_3の出力をフリップフロップFF_4の入力に供給し、フリップフロップFF_1〜FF_4にそれぞれ画像データDSを保持させている。
この結果、入力される連続した4画素分のデータを4個のフリップフロップFF_1〜FF_4で同時に保持し、同時に出力することができる。具体的には、フリップフロップFF_2に保持されているデータは、注目画素cの階調DM(c)を表すデータとして出力され、フリップフロップFF_3に保持されているデータは、画素l1の階調DM(l1)を表すデータとして出力され、フリップフロップFF_4に保持されているデータは、画素l2の階調DM(l2)を表すデータとして出力され、フリップフロップFF_1に保持されているデータは、画素r1の階調DM(r1)を表すデータとして出力される。
図10は、データ格納部から出力される画像データの階調を説明するための図である。図10では、画素位置icの画素を注目画素とした場合のデータ格納部7の出力を示している。図10に示すグラフ205の縦軸はデータ格納部7に入力される画像データDSおよびデータ格納部7から出力される画像データDMの階調を示し、横軸は画素位置iを示している。
図10に示す例では、データ格納部7は、階調DM(l2)=4Y、階調DM(l1)=4Y、階調DM(c)=4Y、階調DM(r1)=4Y+4を出力し、データ格納部7から出力されたデータがそれぞれ第1の差分算出部8−1〜第4の差分算出部8−4に供給される。このように、データ格納部7は、画素位置icの注目画素の画像データDM(c)と、注目画素に連続した、該注目画素の周辺の画素の画像データDM(l2),DM(l1),DM(r1)とを同時に出力する。
図5に示した第1の差分算出部8−1は、画素l2の階調DM(l2)と注目画素cの階調DM(c)の差分データED(l2)を生成し、第1のε判定部9−1および判定付加重平均部10に出力する。また、第2の差分算出部8−2は、画素l1の階調DM(l1)と注目画素cの階調DM(c)の差分データED(l1)を生成し、第2のε判定部9−2および判定付加重平均部10に出力する。また、第3の差分算出部8−3は、注目画素cの階調DM(c)と注目画素cの階調DM(c)の差分データED(c)を生成し、第3のε判定部9−3および判定付加重平均部10に出力する。また、第4の差分算出部8−4は、画素r1の階調DM(r1)と注目画素cの階調DM(c)の差分データED(r1)を生成し、第4のε判定部9−4および判定付加重平均部10に出力する。
このように、差分算出部8−1〜8−4は、注目画素の画像データDM(c)と、注目画素に連続した、該注目画素の周辺の画素の画像データDM(l2),DM(c),DM(l1),DM(r1)の各々との差分を算出し、差分を表す差分データED(l2),ED(l1),ED(c),ED(r1)を出力する。
図11は、階調が緩やかに変化する場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。図11では、図10に示した画素位置icの画素を注目画素P(c)とした場合の、画像データDM(k)、この画像データDM(k)に基づいて生成される差分データED(k)、判定データEE(k)、f{ED(k)}、加重平均値EM、閾値データTH(k)の対応関係を示している。
図11の画像データDM(k)は、データ格納部7が出力する画像データであり、差分データED(k)は、第1の差分算出部8−1〜第4の差分算出部8−4が画像データDM(k)に基づいて算出するデータである。また、判定データEE(k)は、第1のε判定部9−1〜第4のε判定部9−4によって算出されるデータ(判定結果)であり、加重平均値EMは、判定付加重平均部10で生成されるデータである。また、閾値データTHは、選択部29から出力されるデータであり、f{ED(k)}は、判定付加重平均部10による演算の過程で得られる値である。
第1の差分算出部8−1は、ED(l2)=DM(l2)−DM(c)=4Y−4Y=0を出力し、第2の差分算出部8−2は、ED(l1)=DM(l1)−DM(c)=4Y−4Y=0を出力し、第2の差分算出部8−3は、ED(c)=DM(c)−DM(c)=4Y−4Y=0を出力し、第4の差分算出部8−4は、ED(r1)=DM(r1)−DM(c)=(4Y+4)−4Y=4を出力する。
画像データDSが4Y付近の時に全ての閾値データTH(l2)〜TH(r1)を「4」として出力するようε選択部29を設定しておく。したがって、画像データDS=4Yや画像データDS=4Y+4の場合、閾値データTH(l2)=4、閾値データTH(l1)=4、閾値データTH(c)=4、閾値データTH(r1)=4がそれぞれ第1のε判定部9−1〜第4のε判定部9−4に入力される。
第1のε判定部9−1〜第4のε判定部9−4は、差分データED(k)と閾値データTH(k)を受け、差分データED(k)が閾値データTH(k)より大きいか否かの判定を行なう。
第1のε判定部9−1〜第4のε判定部9−4は、差分データED(k)が閾値データTH(k)より大きいか否かの判定結果を、図11に示す判定データEE(k)として判定付加重平均部10に出力する。すなわち、第1のε判定部9−1〜第4のε判定部9−4は、差分データED(k)が閾値データTH(k)より大きい場合は、EE(k)として「0」を出力し、差分データED(k)が閾値データTH(k)以下の場合はEE(k)として「1」を出力する。
具体的には、第1のε判定部9−1は、差分データED(l2)が閾値データTH(l2)よりも大きい場合は「0」を生成し、差分データED(l2)が閾値データTH(l2)(ε)以下の場合は「1」を生成する。また、第2のε判定部9−2は、差分データED(l1)が閾値データTH(l1)よりも大きい場合は「0」を生成し、差分データED(l1)が閾値データTH(l1)以下の場合は「1」を生成する。また、第3のε判定部9−3は、差分データED(c)が閾値データTH(c)よりも大きい場合は「0」を生成し、差分データED(c)が閾値データTH(c)以下の場合は「1」を生成する。また、第4のε判定部9−4は、差分データED(r1)が閾値データTH(r1)よりも大きい場合は「0」を生成し、差分データED(r1)が閾値データTH(r1)以下の場合は「1」を生成する。
このように、第1のε判定部9−1〜第4のε判定部9−4は、差分データED(l1)〜ED(r1)と閾値データTH(l1)〜TH(r1)に基づいて、判定データEE(l1)〜EE(r1)を生成する。そして、生成された判定データEE(l1)〜EE(r1)は、判定付加重平均部10に供給される。
図11に示した例では、第1〜第3のε判定部9−1〜9−3には,それぞれ差分データED(l2),ED(l1),ED(c)として「0」が入力され、第4のε判定部9−4には差分データED(r1)として「4」が入力される。そして、これらの差分データED(l2)〜ED(r1)は、それぞれの閾値データTH(l2)〜TH(r1)以下であるので、判定データEE(l2)〜EE(r1)は全て「1」となる。
判定付加重平均部10は、判定データEE(l2)〜EE(r1)に基づいて差分データED(l2)〜ED(r1)を加重平均し、その結果として得られる加重平均値EMを出力する。判定付加重平均部10は、判定データEE(k)が「1」の場合、係数akに差分データED(k)を乗算して加算し、判定データEE(k)が「0」の場合は加算しない。言い換えると、判定付加重平均部10は、差分データED(k)に対し、判定データEE(k)の値に応じて、所定の式で示される関数(後述のf{ED(k)}など)の加重平均を求める演算を行っている。
図12は、加重平均の概念を説明するための図である。図12の上側に示すグラフ206aは、第1のε判定部9−1〜第4のε判定部9−4に入力される差分データED(k)と、第1のε判定部9−1〜第4のε判定部9−4から出力される判定データEE(k)の関係を示す図である。
また、下側に示すグラフ206bは、判定付加重平均部10に入力される差分データED(k)と、判定付加重平均部10から出力される加重平均された後の差分データf{ED(k)}との関係を示す図である。
第1のε判定部9−1〜第4のε判定部9−4は、差分データED(l1)〜ED(r1)と閾値データTH(l1)〜TH(r1)に基づいて、判定データEE(l1)〜EE(r1)を生成する。そして、生成された判定データ(l1)〜EE(r1)は、判定付加重平均部10に供給される。
グラフ206bに示すように、差分データED(k)の絶対値が閾値ε以下の場合に、f{ED(k)}=ED(k)であり、差分データED(k)の絶対値が閾値εより大きい場合にf{ED(k)}=0である。このように、判定付加重平均部10では、グラフ206bに示す関係を有する関数f{ED(k)}となるよう、差分データED(l1)〜ED(r1)の加重平均を求める演算を行なう。
係数ak(=al2、l1、ac、ar1)の全てを0.25とした場合、図11に示した例では判定データEE(l2)〜EE(r1)が全て「1」であるので、判定付加重平均部10の出力(加重平均値EM)は、以下の式(5)で与えられる。
EM
=al2×ED(l2)+al1×ED(l1)+acED(c)+ar1×ED(r1)
=(0.25×0)+(0.25×0)+(0.25×0)+(0.25×4)
=1
・・・(5)
画像表示装置100では、原データビット拡張部5から供給される画像データDSに対し、各画素を順に注目画素として上記の処理(加重平均の演算処理)が行われ、式(5)と同様の演算が行われる。
図13は、図10に示したデータ格納部から出力される画像データの加重平均値を示す図である。図13では、画像データDMに対応する加重平均値EM(各画素位置iの画素を注目画素としたときの加重平均値EM)を示している。図13に示すグラフ207では、横軸が注目画素の画素位置iを示し、縦軸が加重平均値EMの階調を示している。判定付加重平均部10は、加重平均値EMをデータ加算部11に出力する。
図14は、データ加算部によるデータ加算処理を説明するための図である。図14のグラフ208a〜208cでは、横軸が画素位置iを示し、縦軸が階調を示している。グラフ208aは画像データDSの階調を示し、グラフ208bは加重平均値EMの階調を示し、グラフ208cは画像データDOの階調を示している。
データ加算部11は、グラフ208aに示した画像データDSと、グラフ208bに示した加重平均値EMを加算して、グラフ208cに示す画像データDOを出力する。例えば、グラフ208a〜208cにおける画素位置iaでは、DS(ia)=4Y、EM(ia)=1なので、DO(ia)=DS(ia)+EM(ia)=4Y+1となる。
以上のように、本実施の形態では、階調変化が緩やかな領域の実効的な階調数を増やすことができる。また、nビットの画像をn+2ビットに変換する場合、画像信号SAが緩やかに変化する。そして、画像信号SAをビット拡張した画像データDSの階調がグラフ208aに示したように4Yから4Y+4へ(4=22だけ)ジャンプする場合に、グラフ208cに示したように、階調を4Y+1、4Y+2、4Y+3を使って画像データの階調を補間することができる。
次に、εフィルタに階調が急峻に大きく変化するアナログ画像信号SAが入力された場合の動作を説明する。図15は、実施の形態1に係る画像表示装置に階調が急峻に大きく変化するアナログ画像信号が入力された場合の動作を説明するための図である。図15に示すグラフ209a〜209fの横軸は画素位置iを示し、縦軸は階調を示している。
グラフ209aはアナログ画像信号SAの階調を示し、グラフ209bはnビットの画像データDIの階調を示し、グラフ209cは(n+α)ビットの画像データDJを示している。また、グラフ209dは(n+α)ビットの画像データDSおよび画像データDMの階調を示し、グラフ209eは加重平均値EMの階調を示し、グラフ209fは(n+α)ビットの画像データDOの階調を示している。
画像表示装置100へは、グラフ209aに示すようなアナログの画像信号SAが、入力端子1から受信部2に入力される。受信部2は、アナログ画像信号SAをグラフ209bに示すようなデジタルの画像データDI(nビット)(2値の階調(XとX+2))に変換して、原データビット拡張部5に出力する。すなわち、グラフ209aに示した画像信号SA(階調急変信号)は、階調が急峻に大きく変化しており、階調の変化に対する量子化の分解能が高い(ビット数が多い)ので、グラフ209bに示した画像データDIでは、2値の階調(XとX+2)に変換されている。
原データビット拡張部5では、グラフ209bの画像データDIの階調Xを階調4Xに変換し、階調(X+2)を階調4(X+2)に変換し、グラフ209cに示すような画像データDJを階調変換部28に出力する。
ここでの階調変換部28は、階調4Xを階調4Yに階調変換し、階調4(X+2)を階調4(Y+2)に階調変換するものとし、グラフ209dに示すような画像データDSを一次元4次εフィルタ部61に出力する。
図16は、階調が急峻に変化する場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。図16では、グラフ209dの画素位置icの画素を注目画素P(c)とした場合の、画像データDM(k)、この画像データDM(k)に基づいて生成される差分データED(k)、判定データEE(k)、f{ED(k)}、加重平均値EM、閾値データTH(k)の対応関係を示している。
データ格納部7はDM(l2)=4Y、DM(l1)=4Y、DM(c)=4Y、DM(r1)=4Y+8を、それぞれ第1の差分算出部8−1〜第4の差分算出部8−4に出力する。
第1の差分算出部8−1は、ED(l2)=DM(l2)−DM(c)=4Y−4Y=0を出力し、第2の差分算出部8−2は、ED(l1)=DM(l1)−DM(c)=4Y−4Y=0を出力し、第3の差分算出部8−3は、ED(c)=DM(c)−DM(c)=4Y−4Y=0を出力し、第4の差分算出部8−4は、ED(r1)=DM(r1)−DM(c)=(4Y+8)−4Y=8を出力する。従って、第1のε判定部9−1〜第3のε判定部9−3には「0」が入力され、第4のε判定部9−4には「8」が入力される。
画像データDSが4Y付近の時に全ての閾値データTH(l2)〜TH(r1)を「4」として出力するようε選択部29を設定しておく。したがって、画像データDS=4Yや画像データDS=4Y+8の場合、閾値データTH(l2)=4、閾値データTH(l1)=4、閾値データTH(c)=4、閾値データTH(r1)=4がそれぞれ第1のε判定部9−1〜第4のε判定部9−4に入力される。
差分データED(l2)〜ED(c)は、それぞれの閾値データTH(l2)〜TH(c)以下であるので判定データEE(l2)〜EE(c)は「1」となり、差分データED(r1)は閾値データTH(r1)より大きいので判定データEE(r1)は「0」となる。
判定付加重平均部10は、判定データEE(k)が「1」の場合、係数akに差分データED(k)を乗算して加算し、判定データEE(k)が「0」の場合は加算しない。係数ak(=al2、l1、ac、ar1)の全てを0.25とした場合、図16に示した例では判定付加重平均部10の出力(加重平均値EM)は、以下の式(6)で与えられる。
EM
=al2×ED(l2)+al1×ED(l1)+ac×ED(c)
=(0.25×0)+(0.25×0)+(0.25×0)
=0
・・・(6)
画像表示装置100では、原データビット拡張部5から供給される画像データDSに対し、各画素を順に注目画素として上記の処理が行われ、式(6)と同様の演算が行われる。
グラフ209eは、グラフ209dの画像データDMに対応する加重平均値EM(各画素位置iの画素を注目画素としたときの加重平均値EM)の階調を示している。判定付加重平均部10は、加重平均値EMをデータ加算部11に出力する。データ加算部11は、グラフ209dに示した画像データDSと、グラフ209eに示した加重平均値EMを加算して、グラフ209fに示す画像データDOを出力する。
グラフ209fに示すように、画像データDOは、入力(アナログ画像信号SA)または画像データDIと同様に急峻な変化を有している。このように、εフィルタは、階調の変化が大きい場合に、急峻に大きく変化する領域の鮮鋭度を保持することができる。
次に、画像表示装置101に図6のグラフ202aと同様に階調が緩やかに変化するが、階調変換した場合に階調のジャンプが大きくなるアナログ画像信号SA(以下、緩変な階調で変換ジャンプするアナログ画像信号という)が入力された場合の画像表示装置101の動作を説明する。
図17は、実施の形態1に係る画像表示装置に緩変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。図17に示すグラフ210a〜210fの横軸は画素位置iを示し、縦軸は階調を示している。
グラフ210aはアナログ画像信号SA(緩変な階調で変換ジャンプするアナログ画像信号)の階調を示し、グラフ210bはnビットの画像データDIの階調を示し、グラフ210cは(n+α)ビットの画像データDJを示している。また、グラフ210dは(n+α)ビットの画像データDSおよび画像データDMの階調を示し、グラフ210eは加重平均値EMの階調を示し、グラフ210fは(n+α)ビットの画像データDOの階調を示している。
画像表示装置100へは、グラフ210aに示すアナログの画像信号SAが、入力端子1から受信部2に入力される。受信部2は、アナログ画像信号SAをグラフ210bに示すデジタルの画像データDI(nビット)(2値の階調(X’とX’+1))に変換して、原データビット拡張部5に出力する。ここでの階調X’や階調(X’+1)は、階調Xや階調(X+1)とは異なる階調であり、階調変換された場合に、階調のジャンプが大きくなる階調である。
原データビット拡張部5では、グラフ210bの画像データDIの階調X’を階調4X’に変換し、階調(X’+1)を階調4(X’+1)に変換し、グラフ210cに示すような画像データDJを階調変換部28に出力する。
ここでの階調変換部28は、階調4X’を階調4Zに階調変換し、階調4(X’+1)を階調4(Z+2)に階調変換するものとし、グラフ210dに示すような画像データDS(階調のジャンプが大きくなった画像データDS)を一次元4次εフィルタ部61に出力する。
図18は、緩変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。図18では、グラフ210dの画素位置icの画素を注目画素P(c)とした場合の、画像データDM(k)、この画像データDM(k)に基づいて生成される差分データED(k)、判定データEE(k)、f{ED(k)}、加重平均値EM、閾値データTH(k)の対応関係を示している。
データ格納部7はDM(l2)=4Z、DM(l1)=4Z、DM(c)=4Z、DM(r1)=4Z+8を、それぞれ第1の差分算出部8−1〜第4の差分算出部8−4に出力する。
第1の差分算出部8−1は、ED(l2)=DM(l2)−DM(c)=4Z−4Z=0を出力し、第2の差分算出部8−2は、ED(l1)=DM(l1)−DM(c)=4Z−4Z=0を出力し、第3の差分算出部8−3は、ED(c)=DM(c)−DM(c)=4Z−4Z=0を出力し、第4の差分算出部8−4は、ED(r1)=DM(r1)−DM(c)=(4Z+8)−4Z=8を出力する。従って、第1のε判定部9−1〜第3のε判定部9−3には「0」が入力され、第4のε判定部9−4には「8」が入力される。
画像データDSが4Z付近の時に全ての閾値データTH(l2)〜TH(r1)を「8」として出力するようε選択部29を設定しておく。したがって、画像データDS=4Zや画像データDS=4Z+8の場合、閾値データTH(l2)=8、閾値データTH(l1)=8、閾値データTH(c)=8、閾値データTH(r1)=8がそれぞれが第1のε判定部9−1〜第4のε判定部9−4に入力される。差分データED(l2)〜ED(r1)はそれぞれの閾値データTH(l2)〜TH(r1)以下であるので判定データEE(l2)〜EE(r1)は「1」となる。
判定付加重平均部10は、判定データEE(k)が「1」の場合、係数akに差分データED(k)を乗算して加算し、判定データEE(k)が「0」の場合は加算しない。係数ak(=al2、l1、ac、ar1)の全てを0.25とした場合、図18に示した例では判定付加重平均部10の出力(加重平均値EM)は、以下の式(7)で与えられる。
EM
=al2×ED(l2)+al1×ED(l1)+acED(c)+ar1×ED(r1)
=(0.25×0)+(0.25×0)+(0.25×0)+(0.25×8)
=2
・・・(7)
画像表示装置100では、原データビット拡張部5から供給される画像データDSに対し、各画素を順に注目画素として上記の処理が行われ、式(7)と同様の演算が行われる。
グラフ210eは、グラフ210dの画像データDMに対応する加重平均値EM(各画素位置iの画素を注目画素としたときの加重平均値EM)の階調を示している。判定付加重平均部10は、加重平均値EMをデータ加算部11に出力する。データ加算部11は、グラフ210dに示した画像データDSと、グラフ210eに示した加重平均値EMを加算して、グラフ210fに示す画像データDOを出力する。以上のように、本実施の形態では、εフィルタがε選択部29を備え、階調変換後の画像データDSに応じたし閾値を出力するので、階調変換によって階調のジャンプが大きくなった場合であっても階調変化が緩やかな領域の実効的な階調数を増やすことができる。
次に、画像表示装置101に図15のグラフ209aと同様に階調が急峻に大きく変化するが、階調変換した場合に階調のジャンプが大きくなるアナログ画像信号SA(以下、急変な階調で変換ジャンプするアナログ画像信号という)が入力された場合の画像表示装置101の動作を説明する。
図19は、実施の形態1に係る画像表示装置に急変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。図19に示すグラフ211a〜211fの横軸は画素位置iを示し、縦軸は階調を示している。
グラフ211aはアナログ画像信号SA(急変な階調で変換ジャンプするアナログ画像信号)の階調を示し、グラフ211bはnビットの画像データDIの階調を示し、グラフ211cは(n+α)ビットの画像データDJを示している。また、グラフ211dは(n+α)ビットの画像データDSおよび画像データDMの階調を示し、グラフ211eは加重平均値EMの階調を示し、グラフ211fは(n+α)ビットの画像データDOの階調を示している。
画像表示装置100へは、グラフ211aに示すようなアナログの画像信号SAが、入力端子1から受信部2に入力される。受信部2は、アナログ画像信号SAをグラフ211bに示すようなデジタルの画像データDI(nビット)(2値の階調(X’とX’+2))に変換して、原データビット拡張部5に出力する。ここでの階調X’や階調(X’+2)は、階調Xや階調(X+2)とは異なる階調であり、階調変換された場合に、階調のジャンプが大きくなる階調である。
原データビット拡張部5では、グラフ211bの画像データDIの階調X’を階調4X’に変換し、階調(X’+2)を階調4(X’+2)に変換し、グラフ211cに示すような画像データDJを階調変換部28に出力する。
ここでの階調変換部28は、階調4X’を階調4Zに階調変換し、階調4(X’+2)を階調4(Z+4)に階調変換するものとし、グラフ211dに示すような画像データDSを一次元4次εフィルタ部61に出力する。
図20は、急変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。図20では、グラフ211dの画素位置icの画素を注目画素P(c)とした場合の、画像データDM(k)、この画像データDM(k)に基づいて生成される差分データED(k)、判定データEE(k)、f{ED(k)}、加重平均値EM、閾値データTH(k)の対応関係を示している。
データ格納部7はDM(l2)=4Z、DM(l1)=4Z、DM(c)=4Z、DM(r1)=4Z+16を、それぞれ第1の差分算出部8−1〜第4の差分算出部8−4に出力する。
第1の差分算出部8−1は、ED(l2)=DM(l2)−DM(c)=4Z−4Z=0を出力し、第2の差分算出部8−2は、ED(l1)=DM(l1)−DM(c)=4Z−4Z=0を出力し、第3の差分算出部8−3は、ED(c)=DM(c)−DM(c)=4Z−4Z=0を出力し、第4の差分算出部8−4は、ED(r1)=DM(r1)−DM(c)=(4Z+16)−4Z=16を出力する。従って、第1のε判定部9−1〜第3のε判定部9−3には「0」が入力され、第4のε判定部9−4には「16」が入力される。
画像データDSが4Z付近の時に全ての閾値データTH(l2)〜TH(r1)を「8」として出力するようε選択部29を設定しておく。したがって、画像データDS=4Zや画像データDS=4Z+16の場合、閾値データTH(l2)=8、閾値データTH(l1)=8、閾値データTH(c)=8、閾値データTH(r1)=8がそれぞれが第1のε判定部9−1〜第4のε判定部9−4に入力される。差分データED(l2)〜ED(r1)はそれぞれの閾値データTH(l2)〜TH(r1)以下であるので判定データEE(l2)〜EE(c)は「1」となり、ED(r1)は閾値データTH(r1)より大きいので判定データEE(r1)は「0」となる。
判定付加重平均部10は、判定データEE(k)が「1」の場合、係数akに差分データED(k)を乗算して加算し、判定データEE(k)が「0」の場合は加算しない。係数ak(=al2、l1、ac、ar1)の全てを0.25とした場合、図20に示した例では判定付加重平均部10の出力(加重平均値EM)は、以下の式(8)で与えられる。
EM
=al2×ED(l2)+al1×ED(l1)+acED(c)
=(0.25×0)+(0.25×0)+(0.25×0)
=0
・・・(8)
画像表示装置100では、原データビット拡張部5から供給される画像データDSに対し、各画素を順に注目画素として上記の処理が行われ、式(8)と同様の演算が行われる。
グラフ211eは、グラフ211dの画像データDMに対応する加重平均値EM(各画素位置iの画素を注目画素としたときの加重平均値EM)の階調を示している。判定付加重平均部10は、加重平均値EMをデータ加算部11に出力する。データ加算部11は、グラフ211dに示した画像データDSと、グラフ211eに示した加重平均値EMを加算して、グラフ211fに示す画像データDOを出力する。
グラフ211fに示すように、画像データDOは、入力(アナログ画像信号SA)または画像データDIと同様に急峻な変化を有している。このように、εフィルタは、階調の変化が大きい場合に、急峻に大きく変化する領域の鮮鋭度を保持することができる。以上のように、本実施の形態では、εフィルタがε選択部29を備えているので、急変な階調で変換ジャンプするアナログ画像信号が入力された場合であっても、入力の階調によって保持するエッジの大きさを変更することが可能となる。
図21は、以上に説明した本実施の形態に係る画像表示装置の処理手順を示すフローチャートである。まず、アナログ画像信号SAが入力端子1に入力されると、受信部2は、アナログ画像信号SAを受信してnビットの画像データDIを出力する(ステップST1)。
受信部2が出力する画像データDIは、多階調化処理部3の原データビット拡張部5に入力される。原データビット拡張部5では、画像データDIをαビットだけビット拡張して(n+α)ビットの画像データDJを出力する(ステップST2)。
原データビット拡張部5が出力する画像データDJは、階調変換部28に入力される。階調変換部28は、画像データDJを階調変換して(n+α)ビットの画像データDSを出力する(ステップST3)。
ε選択部29には、(n+α)ビットの画像データDSが入力される。ε選択部29は、画像データDSに応じた閾値データTH(1)〜TH(m)を選択(ε選択)して出力する(ステップST4)。一次元m次εフィルタ部60には(n+α)ビットの画像データDSと閾値データTH(1)〜TH(m)が入力される。一次元m次εフィルタ部60は、緩やかに変化する領域の階調数を増やして、画像データDOを出力する(ステップST5)。画像データDOは表示部4に入力される。表示部4は、画像データDOに基づいて画像を表示する(ステップST6)。
図22〜図24を参照して、本実施の形態の効果について説明する。図22は、階調変換部によるガンマ変換処理を説明するための図である。グラフ212aは、階調変換前の階調Xと階調変換後の階調X’の関係を示す図である。また、グラフ212bは、階調が緩やかに変化している領域(階調X2)のガンマ変換前の階調Xとガンマ変換後の階調X’の関係を示す図であり、グラフ212cは、階調が急峻に変化している領域(階調X1)のガンマ変換前の階調Xとガンマ変換後の階調X’の関係を示す図である。
図22のグラフ212bに示すように、階調変換部28は、緩やかな階調変化を行なう階調X2に対しては、階調4(X2)〜4(X2+4)を階調4(X2’)〜4(X2’+2)にガンマ変換する。
一方、図22のグラフ212cに示すように、階調変換部28は、急峻な階調変化を行なう階調X1に対しては、階調4(X1)〜4(X1+1)を階調4(X1’)〜4(X1’+2)にガンマ変換する。
階調変換部28が図22に示すようなガンマ変換を行うとする。この場合に、図23のグラフ213aに示す信号(画像データDJ)が階調変換部28に入力されると、階調変換部28からは図23のグラフ213bに示す画像データDSが出力される。また、図24のグラフ214aに示す信号(画像データDJ)が階調変換部28に入力されると、階調変換部28からは図24のグラフ212bに示す画像データDSが出力される。
図23のグラフ213bと図24のグラフ214bは、同じ階調差の階調ジャンプであるが、図23のグラフ213aでは階調変換前は緩やかな階調変化であり、図24のグラフ214aでは階調変換前は急峻な階調変化である。そのため、緩やかな階調変化(図23の場合)に対しては階調のジャンプを補間させたい。一方、急峻な階調変化(図24の場合)に対しては急峻な階調変化を保持したい。本実施の形態では、ε選択部29を、階調4(X1’)付近の入力階調に対して閾値8を出力するよう設定し、階調4(X2’)付近の入力階調に対して閾値4を出力するよう設定しておくので、期待する動作(緩やかな階調変化に対しては階調のジャンプを補間し急峻な階調変化に対しては階調変化を保持する動作)を行うことができる。ここでは階調変換部28をガンマ変換として説明したが本実施の形態ではこれらの動作に限定されない。コントラスト補正などの他の階調変換でもよい。
これにより、本実施の形態ではビット拡張により増えた階調がガンマ変換などの階調変換によって変化しても、小振幅雑音として扱うことができ、輪郭などの画像の急峻な変化を保持しながら、実効的な階調数を増やすことができる。
上記ように、ε選択部29は閾値をビット拡張により増えた階調が階調変換によって変化した値に設定すれば、実効的な階調数を増やすことができる。さらに、より大きく閾値を設定すれば、ビット拡張により増えた階調以上の階調差を平滑化することができるため、ノイズ除去の効果を得られる。
またα=0場合、つまりビット拡張を使用しない(除いた)場合、入力画像の階調に応じて保持するエッジが異なる平滑化フィルタとして動作し、ノイズ除去の効果が得られる。例えば階調の低い場合には閾値を大きくする用に閾値制御部で設定しておけば、階調レベルの低い領域では他の領域より強くノイズを除去することができる。つまり、入力の階調レベルに応じて、ノイズ除去の効果の強弱を制御することが可能なフィルタとして使用できる。
図25は、実施の形態1に係る画像表示装置の別の構成例(1)を示す図である。図25の各構成要素のうち図1に示した画像表示装置101と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
画像表示装置102では、階調変換部28が原データビット拡張部5の前段にある。アナログ画像信号SAが入力端子1に入力されると、受信部2は、アナログ画像信号SAを受信してnビットの画像データDIを階調変換部28に入力する。
階調変換部28は、画像データDIを階調変換してnビットの画像データDJを原データビット拡張部5に入力する。原データビット拡張部5では、画像データDJをαビットだけビット拡張して(n+α)ビットの画像データDSを出力する。そして、原データビット拡張部5が出力する画像データDJは、階調変換部28と一次元m次εフィルタ部60に入力される。
画像表示装置102では、ε選択部29において階調変換の特性に合わせて閾値を設定すれば、画像の鮮鋭度(信号の急峻な変化)を落とさずに階調が緩やかに変化する領域の階調数を増やすことが可能となる。
図26〜図28を参照して、画像表示装置102の動作と効果について説明する。図26は、階調変換部によるガンマ変換処理を説明するための図である。グラフ215aは、階調変換前の階調Xと階調変換後の階調X’の関係を示す図である。また、グラフ215bは、階調が緩やかに変化している領域(階調X2)のガンマ変換前の階調Xとガンマ変換後の階調X’の関係を示す図であり、グラフ215cは、階調が急峻に変化している領域(階調X1)のガンマ変換前の階調Xとガンマ変換後の階調X’の関係を示す図である。
図26のグラフ215bに示すように、階調変換部28は、緩やかな階調変化を行なう階調X2に対しては、階調(X2)〜(X2+4)を階調(X2’)〜(X2’+2)に変換する。
一方、図26のグラフ215cに示すように、階調変換部28は、急峻な階調変化を行なう階調X1に対しては、階調(X1)〜(X1+3)を階調(X1’)〜(X1’+6)に変換する。
階調変換部28が図26に示すようなガンマ変換を行うとする。この場合に、図27のグラフ216aに示す信号(画像データDI)が階調変換部28に入力されると、階調変換部28からは図27のグラフ216bに示す画像データDJが出力される。画像データDJは、原データビット拡張部5でグラフ216cに示す画像データDSのように変換される。
また、図28のグラフ217aに示す信号(画像データDI)が階調変換部28に入力されると、階調変換部28からは図28のグラフ217bに示す画像データDJが出力される。画像データDJは、原データビット拡張部5でグラフ217cに示す画像データDSのように変換される。
図27のグラフ216bと図28のグラフ217bは、同じ階調差の階調ジャンプであるが、図27のグラフ216aでは階調変換前は緩やかな階調変化であり、図28のグラフ217aでは階調変換前は急峻な階調変化である。そのため、緩やかな階調変化(図27の場合)に対しては階調のジャンプを補間させたい。一方、急峻な階調変化(図28の場合)に対しては急峻な階調変化を保持したい。
画像表示装置102では、ε選択部29が階調X1’付近の入力階調に対して閾値8を出力するよう設定し、階調X2’付近の入力階調に対して閾値4を出力するよう設定すれば期待する動作を行うことができる。
これにより、画像表示装置102では、多階調化処理部3にガンマ変換などの階調変換によって変化した信号が入力されても、小振幅雑音として扱うことができ、輪郭などの画像の急峻な変化を保持しながら、実効的な階調数を増やすことができる。
図29は、実施の形態1に係る画像表示装置の別の構成例(2)を示す図である。図29の各構成要素のうち図1に示した画像表示装置101と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
画像表示装置103では、階調変換部28(図29では図示せず)が受信部2よりも前段にある。これにより、画像表示装置103では、あらかじめ階調変換が行われたデータが受信部2に入力される。階調変換が行われたアナログ画像信号SAが入力端子1に入力されると、受信部2は、アナログ画像信号SAを受信してnビットの画像データDIを原データビット拡張部5に入力する。
原データビット拡張部5では、画像データDIをαビットだけビット拡張して(n+α)ビットの画像データDSを出力する。そして、原データビット拡張部5が出力する画像データDJは、ε選択部29と一次元m次εフィルタ部60に入力される。
画像表示装置103でも、図1に示した画像表示装置101や図25に示した画像表示装置102と同様に階調変換の特性に合わせて閾値を設定すれば画像の鮮鋭度を落とさずに階調が緩やかに変化する領域の階調数を増やすことができる。
図30は、実施の形態1に係る画像表示装置の別の構成例(3)を示す図である。図30の各構成要素のうち図25に示した画像表示装置102と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
画像表示装置104は、図25に示した画像表示装置102と比較して、原データビット拡張部5が設けられておらず、多階調化処理部3内に一次元m次εフィルタ部60の代わりにビット拡張付き一次元m次εフィルタ部27が設けられている。そして、ビット拡張付き一次元m次εフィルタ部27には、判定付加重平均部10及びデータ加算部11の代わりに、判定付加重平均部32及びデータ加算部33が設けられている。
ビット拡張付き一次元m次εフィルタ部27は、一次元m次εフィルタ部60にビット拡張をεをεフィルタの演算中に行なう機能を付加した手段である。判定付加重平均部32は、判定データEE及び差分データEDに基づいて、加重平均演算及びビット拡張を行ない、αビットだけビット拡張された加重平均値EMを出力する。画像表示装置104では、例えば、図4などの例と同様の判定付加重平均の演算を行なった際に現れる小数点以下の桁の数値も用いて平均データEMを生成することで、ビット拡張を行なうことができる。データ加算部33では、入力される画像データDM(c)を(n+α)ビットにビット拡張して加算し、画像データDOとして表示部4に出力する。
このように、画像表示装置104では、ビット拡張をεフィルタの前で行なわず、εフィルタの演算中に行なう。以上のように構成することで、図25に示した画像表示装置102と同様の効果が得られる。
なお、図1に示した画像表示装置100では、εフィルタが一次元のεフィルタである場合について説明したが、本実施の形態は一次元のεフィルタに限定されるものではない。図31および図32は、εフィルタが水平方向と垂直方向に処理する二次元εフィルタを備える画像表示装置の構成を示す図である。図31,32の各構成要素のうち図1に示した画像表示装置100と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
図31に示す画像表示装置105は、εフィルタとして一次元m次εフィルタ部60の代わりに二次元m次εフィルタ部62を備えている。二次元m次εフィルタ部62は、一次元m次εフィルタ部60と同様に、階調変換部28、ε選択部29、表示部4に接続されている。
二次元m次εフィルタ部62は、水平画素(h)×垂直画素(v)の二次元領域に対して処理(εフィルタリング処理)を行うものである。即ち、二次元m次εフィルタ部62は、注目画素を中心として、二次元方向(縦方向、横方向)に配列された画素のデータに基づいて、階調の急峻な変化を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタとして用いられるものである。
図31に示す二次元m次εフィルタ部62は、データ格納部34、第1の差分算出部8−1〜第mの差分算出部8−m、第1のε判定部9−1〜第mのε判定部9−m、判定付加重平均部10、及びデータ加算部11を備えており、画像データDSに対して実効的な階調数を増やす役割を持つ。
データ格納部34は、階調変換部28からの画像データDSを格納するとともに、第1の差分算出部8−1〜第mの差分算出部8−mに、それぞれ画像データDM(1)〜DM(m)を出力する。また、データ格納部34は、第1の差分算出部8−1〜第mの差分算出部8−mとデータ加算部11に、画像データDM(c)を出力する。
本実施の形態の画像データDM(1)〜DM(m)は、それぞれ注目画素cから所定の画素数(座標値)だけ上下右左方向に離れた画素の画像データの画像データを有している。
データ格納部34から第1の差分算出部8−1〜第mの差分算出部8−mへは、それぞれ上下左右方向の画像データDM(1)〜DM(m)が入力される。また、データ格納部34からデータ加算部11へは、画像データDM(c)が入力される。
第1の差分算出部8−1〜第mの差分算出部8−mは、上下左右方向の画像データDM(1)〜DM(m)と画像データDM(c)との差分を、それぞれの差分データED(1)〜ED(m)として算出する。第1の差分算出部8−1〜第mの差分算出部8−mは、それぞれ第1のε判定部9−1〜第mのε判定部9−mに、上下左右方向の差分データED(1)〜ED(m)を出力する。
ε選択部29は、階調変換部28からの画像データDS(1)〜DS(m)に基づいて、上下左右方向の閾値データTH(1)〜TH(m)を、第1のε判定部9−1〜第mのε判定部9−mに入力する。
第1のε判定部9−1〜第mのε判定部9−mは、差分データED(1)〜ED(m)が閾値データTH(1)〜TH(m)より大きいか否かの判定を行なう。第1のε判定部9−1〜第mのε判定部9−mは、判定結果を判定データEE(1)〜EE(m)として判定付加重平均部10に出力する。
判定付加重平均部10は、判定データEE(1)〜EE(m)に基づいて差分データED(1)〜ED(m)を加重平均し、その結果として得られる加重平均値を加重平均値(平均データ)EMとしてデータ加算部11に出力する。
データ加算部11は、加重平均値EM(1)〜EM(m)に画像データDSを加算する。
一次元m次εフィルタ部60によって実効的な階調数が増やされた画像データは、データ加算部11から画像データDOとして表示部4に出力される。
また、図32に示す画像表示装置106は、εフィルタとして一次元v次垂直εフィルタ部63aと一次元h次水平εフィルタ部63bを備えている。画像表示装置106では、階調変換部28が一次元v次垂直εフィルタ部63a、一次元h次水平εフィルタ部63b、第1のε選択部29−1、第2のε選択部29−2に接続されている。また、一次元v次垂直εフィルタ部63aが一次元h次水平εフィルタ部63bに接続され、一次元h次水平εフィルタ部63bが表示部4に接続されている。
一次元v次垂直εフィルタ部63aは、Vデータ格納部(垂直方向データ格納部)15、第1のV差分算出部(垂直方向差分算出部)16−1〜第vのV差分算出部16−v、第1のVε判定部(垂直方向ε判定部)17−1〜第vのVε判定部17−v、V判定付加重平均部(垂直方向判定付加重平均部)18、及びVデータ加算部(垂直方向加算部)19を備えている。
一次元v次垂直εフィルタ部63aは、(n+α)ビットの原データに対して、画像の垂直方向についての処理を行なう。一次元v次垂直εフィルタ部63aは、注目画素に対して垂直方向に整列した画素のデータに基づいて、急峻な変化を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタとして用いられるものである。一次元v次垂直εフィルタ部63aは、画像データDSの垂直方向の階調変化に対して実効的な階調数を増やした画像データ(後述の画像データVDO)を一次元h次水平εフィルタ部63bに出力する。
一次元v次垂直εフィルタ部63aと一次元m次εフィルタ部60の違いは、一次元m次εフィルタ部60が水平方向の画像データDSに対して実効的な階調数を増やすのに対し、一次元v次垂直εフィルタ部63aが上下方向の画像データDSに対して実効的な階調数を増やす点である。
したがって、一次元v次垂直εフィルタ部63aのVデータ格納部15、第1のV差分算出部16−1〜第vのV差分算出部16−v、第1のVε判定部17−1〜第vのVε判定部17−v、V判定付加重平均部18、及びVデータ加算部19は、それぞれ一次元m次εフィルタ部60のデータ格納部7、第1の差分算出部8−1〜第mの差分算出部8−m、第1のε判定部9−1〜第mのε判定部9−m、判定付加重平均部10、データ加算部11に対応している。
換言すると、一次元v次垂直εフィルタ部63aの各構成要素と、一次元m次εフィルタ部60の各構成要素とは、処理対象が垂直方向の画像データDSであるか水平方向の画像データDSであるかの違いを除いては、ほぼ同様の処理を行なう。また、第1のε選択部29−1は、ε選択部29に対応しており、ε選択部29と略同様の処理を行なう。
また、一次元v次垂直εフィルタ部63aで生成される画像データVDM、差分データVED、判定データVEE、閾値データVTH、加重平均値VEM、画像データVDOは、それぞれ一次元m次εフィルタ部60で生成される画像データDM、差分データED、判定データEE、閾値データTH、加重平均値EM、画像データDOに対応している。
ここで、一次元v次垂直εフィルタ部63aが備える各構成要素について詳細に説明する。Vデータ格納部15は、階調変換部28からの画像データDSを格納するとともに、第1のV差分算出部16−1〜第vのV差分算出部16−vに、それぞれ画像データVDM(1)〜VDM(v)を出力する。また、Vデータ格納部15は、第1のV差分算出部16−1〜第vの差分算出部16−vとVデータ加算部19に、画像データVDM(c)を出力する。
画像データVDM(c)は、注目画素を注目画素cとした場合の画像データである。画像データVDM(1)〜VDM(v)は、それぞれ注目画素cから所定の画素数だけ上方向または下方向に離れた画素の画像データである。例えば、m=5の場合に、画像データVDM(3)を画像データVDM(c)とすると、画像データVDM(1)が注目画素cの2つ前(上側)の画素の画像データとなり、画像データVDM(2)が注目画素cの1つ前(上側)の画素の画像データとなり、画像データVDM(4)が注目画素cの1つ後(下側)の画素の画像データとなり、画像データVDM(5)が注目画素cの2つ後(下側)の画素の画像データとなる。
第1の差分算出部16−1〜第vの差分算出部16−vは、画像データVDM(1)〜VDM(v)と画像データVDM(c)との差分を、それぞれ差分データVED(1)〜VED(v)として算出する。第1の差分算出部16−1〜第vの差分算出部16−vは、それぞれ第1のε判定部17−1〜第vのε判定部17−vに、差分データVED(1)〜VED(v)を出力する。
第1のε判定部17−1〜第vのε判定部17−vは、それぞれ第1の差分算出部16−1〜第vの差分算出部16−vからの差分データVED(1)〜VED(v)が、第1のε選択部29−1からの閾値データVTH(1)〜VTH(v)より大きいか否かの判定を行ない、判定結果を判定データVEE(1)〜VEE(v)としてV判定付加重平均部18に出力する。
V判定付加重平均部18は、判定データVEE(1)〜VEE(v)に基づいて差分データVED(1)〜VED(v)を加重平均し、その結果として得られる加重平均値を加重平均値VEM(1)〜VEM(v)としてVデータ加算部19に出力する。Vデータ加算部19は、加重平均値VEM(1)〜VEM(v)に画像データVDM(c)を加算する。
一次元v次εフィルタ部63aによって実効的な階調数が増やされた画像データは、Vデータ加算部19から画像データVDO(1)〜VDO(v)として一次元h次垂直εフィルタ部63bに出力される。
また、一次元h次水平εフィルタ部63bは、原データ格納部20、第1の原データ差分算出部21−1〜第hの原データ差分算出部21−h、第1のHε判定部(水平方向ε判定部)22−1〜第hのHε判定部22−h、Hデータ格納部(水平方向データ格納部)23、第1のH差分算出部(水平方向差分算出部)24−1〜第hのH差分算出部24−h、H判定付加重平均部(水平方向判定付加重平均部)25、及びHデータ加算部(水平方向データ加算部)26を備えている。
原データ格納部20は、第1の原データ差分算出部21−1〜第hの原データ差分算出部21−hに接続し、第1の原データ差分算出部21−1〜第hの原データ差分算出部21−hは第1のHε判定部22−1〜第hのHε判定部22−hに接続している。また、第1のHε判定部22−1〜第hのHε判定部22−hは、第2のε選択部29−2に接続している。
また、Hデータ格納部23は、第1のH差分算出部24−1〜第hのH差分算出部24−hに接続している。さらに、H判定付加重平均部25は、第1のH差分算出部24−1〜第hのH差分算出部24−h、第1のHε判定部22−1〜第hのHε判定部22−h、Hデータ加算部26に接続している。
一次元h次水平εフィルタ部63bは、一次元v次垂直εフィルタ部63aから出力される(n+α)ビットのデータに対して、画像の水平方向についての処理を行なう。一次元h次水平εフィルタ部63bは、注目画素に対して水平方向に整列した画素のデータに基づいて、急峻な変化を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタとして用いられるものである。一次元h次水平εフィルタ部63bは、画像データDSの水平方向の階調変化に基づいて画像データVDOの実効的な階調数を増やす役割を持つ。
一次元h次水平εフィルタ部63bと一次元m次εフィルタ部60の違いは、一次元m次εフィルタ部60が水平方向の判定データEEと水平方向の差分データEDを用いて加重平均値EMを算出するのに対し、一次元h次水平εフィルタ部63bが水平方向の判定データHEEと水平方向の差分データHEDを用いて加重平均値EMを算出する点である。
したがって、一次元h次水平εフィルタ部63bの原データ格納部20、第1の原データ差分算出部21−1〜第hの原データ差分算出部21−h、第1のHε判定部22−1〜第hのHε判定部22−hは、それぞれ一次元m次εフィルタ部60のデータ格納部7、第1の差分算出部8−1〜第mの差分算出部8−m、第1のε判定部9−1〜第mのε判定部9−mに対応し、略同様の処理を行なう。また、一次元h次水平εフィルタ部63bのHデータ格納部23、第1のH差分算出部24−1〜第hのH差分算出部24−h、H判定付加重平均部25、及びHデータ加算部26は、それぞれ一次元m次εフィルタ部60のデータ格納部7、第1の差分算出部8−1〜第mの差分算出部8−m、判定付加重平均部10、データ加算部11に対応し、略同様の処理を行なう。また、第2のε選択部29−2は、ε選択部29に対応しており、ε選択部29と略同様の処理を行なう。
また、一次元h次水平εフィルタ部63bで生成される画像データHDM、差分データHED、判定データHEE、閾値データHTH、加重平均値HEMは、それぞれ一次元m次εフィルタ部60で生成される画像データDM、差分データED、判定データEE、閾値データTH、加重平均値EMに対応している。また、一次元h次水平εフィルタ部63bで生成される画像データBDM、差分データBEDは、それぞれ一次元m次εフィルタ部60で生成される画像データDM、差分データEDに対応している。
ここで、一次元h次水平εフィルタ部63bが備える各構成要素について詳細に説明する。Hデータ格納部23は、Vデータ加算部19からの画像データVDOを格納するとともに、第1のH差分算出部24−1〜第hのH差分算出部24−hに、それぞれ画像データHDM(1)〜HDM(h)を出力する。また、Hデータ格納部23は、第1のH差分算出部24−1〜第hの差分算出部24−hとHデータ加算部26に、画像データHDM(c)を出力する。
画像データHDM(c)は、注目画素を注目画素cとした場合の画像データである。画像データHDM(1)〜HDM(h)は、それぞれ注目画素cから所定の画素数だけ上方向または下方向に離れた画素の画像データである。
第1の差分算出部24−1〜第hの差分算出部24−hは、画像データHDM(1)〜HDM(h)と画像データHDM(c)との差分を、それぞれ差分データHED(1)〜HED(h)として算出する。第1のH差分算出部24−1〜第hのH差分算出部24−hは、H判定付加重平均部25に、差分データHED(1)〜HED(h)を出力する。
また、原データ格納部20は、階調変換部28からの画像データDSを格納するとともに、第1の原データ差分算出部21−1〜第hの原データ差分算出部21−hに、それぞれ画像データBDM(1)〜BDM(h)を出力する。また、原データ格納部20は、第1の原データ差分算出部21−1〜第hの原データ差分算出部21−h画像データBDM(c)を出力する。
画像データBDM(c)は、注目画素を注目画素cとした場合の画像データである。画像データBDM(1)〜BDM(h)は、それぞれ注目画素cから所定の画素数だけ右方向または左方向に離れた画素の画像データである。
第1の原データ差分算出部21−1〜第hの原データ差分算出部21−hは、画像データBDM(1)〜BDM(h)と画像データBDM(c)との差分を、それぞれ差分データBED(1)〜BED(h)として算出する。第1の原データ差分算出部21−1〜第hの原データ差分算出部21−hは、それぞれ第1のHε判定部22−1〜第hのHε判定部22−hに、差分データBED(1)〜BED(h)を出力する。
第1のHε判定部22−1〜第hのHε判定部22−hは、それぞれ第1の原データ差分算出部21−1〜第hの原データ差分算出部21−hからの差分データBED(1)〜BED(h)が、第2のε選択部29−2からの閾値データHTH(1)〜HTH(h)より大きいか否かの判定を行ない、判定結果を判定データHEE(1)〜HEE(h)としてH判定付加重平均部25に出力する。
H判定付加重平均部25は、判定データHEE(1)〜HEE(h)に基づいて差分データHED(1)〜HED(h)を加重平均し、その結果として得られる加重平均値を加重平均値HEM(1)〜HEM(h)としてHデータ加算部26に出力する。Hデータ加算部26は、加重平均値HEM(1)〜HEM(h)に画像データHDM(c)を加算する。一次元h次εフィルタ部63bによって実効的な階調数が増やされた画像データは、Hデータ加算部26から画像データDO(1)〜DO(h)として表示部4に出力される。
以上のような二次元処理を行うεフィル部と、入力の階調に応じて閾値εを変化させる閾値制御部(第1のε選択部29−1、第2のε選択部29−2)を備えるので、垂直方向に対しても、水平方向に対しても階調ごとに保持するエッジの大きさを設定できる。
なお、ここでは一次元h次水平εフィルタ部63bが水平方向の判定データHEEと垂直方向の差分データHEDを用いて加重平均値HEMを算出したが、垂直方向の判定データと水平方向の差分データを用いて加重平均値EMを算出してもよい。さらに、一次元h次水平εフィルタ部63bは、垂直方向の判定データEEと垂直方向の差分データEDを用いて加重平均値EMを算出してもよい。
なお、本実施の形態では、ε選択部29と一次元m次εフィルタ部60、一次元4次εフィルタ部61、二次元m次εフィルタ部62、一次元v次垂直εフィルタ部63a、一次元h次水平εフィルタ部63bとを別々の構成にしたが、一次元m次εフィルタ部60、一次元4次εフィルタ部61、二次元m次εフィルタ部62、一次元v次垂直εフィルタ部63a、一次元h次水平εフィルタ部63bがε選択部29を備える構成としてもよい。
このように、実施の形態1によれば、εフィルタを用いてビット拡張により増えた階調を平滑化するので、輪郭などの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調数を増やすことができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。
また、格納しておいた閾値のテーブルから画像データに応じた閾値データTHを選択して用いるので差分データEDが閾値データTHより大きいか否かの判定を容易に行なうことが可能となる。
また、画像データDJの階調変換を行なうとともに、階調変換された画像データDSの階調を平滑化処理するので、見栄えの良い画像データの平滑化処理や表示処理を行なうことが可能となる。
また、画像データDSの階調に応じてεフィルタの閾値を変えるので、画像の鮮鋭度を保ちつつ擬似的な輪郭を減少させることが可能となる。また、画像データDS(階調DS)毎の閾値を示すテーブルに基づいて、画像データDSに応じた閾値を決定するので容易にεフィルタの閾値を決定することが可能となる。
また、原データビット拡張部5が一次元m次εフィルタ部60などのεフィルタよりも前段に配置されているので、一次元m次εフィルタ部60などのεフィルタで画像データのビット拡張を行なう必要がない。したがって、簡易な構成でビット拡張された画像データの所定の階調を平滑化することが可能となる。また、ビット拡張された画像データに基づいてεフィルタの閾値を決定できるので、適切なεフィルタの閾値を容易に選択することが可能となる。これにより、画像の鮮鋭度を保ちつつ擬似的な輪郭を減少させることが可能となる。
また、画像表示装置104は、ビット拡張付き一次元m次εフィルタ部27を備えているので、画像データの階調を平滑化処理した後に、ビット拡張を行なうことが可能となる。したがって、原データビット拡張部5がεフィルタよりも前段に配置されている場合と同様に、画像の鮮鋭度を保ちつつ擬似的な輪郭を減少させることが可能となる。
実施の形態2.
つぎに、図33〜図46を用いてこの発明の実施の形態2について説明する。実施の形態2では、入力の階調に応じた閾値εを算出し、算出した閾値εを用いて差分データEDと閾値データTHの比較を行なう。
図33は、本発明の実施の形態2に係る画像表示装置の構成を示す図である。図33の各構成要素のうち図1に示す実施の形態1の画像表示装置100と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
実施の形態2に係る画像表示装置110は、入力端子1、受信部2、多階調化処理部3、及び表示部4を備えている。これらのうち、受信部2及び多階調化処理部3によって、画像処理装置が構成されている。
本実施の形態では、受信部2の一例として、受信部2がアナログの画像信号からデジタルの画像データに変換するA/D変換器である場合について説明する。なお、受信部2にチューナーを配設し、受信部2の内部でコンポジット信号を輝度や色度信号に復調した後にデジタルの画像データに変換してもよい。また、受信部2をデジタルインターフェースとし、受信部2が入力端子1からデジタルのデータを受信して、n(nは自然数)ビットの画像データDIを出力してもよい。
入力端子1は、アナログ画像信号SAを入力する端子であり、入力されたアナログ画像信号SAを受信部2に出力する。受信部2は、アナログ画像信号SAをnビットの画像データDIに変換して多階調化処理部3に出力する。
多階調化処理部3は、原データビット拡張部5、階調変換部28、ε算出部30、及び一次元m次εフィルタ部60を備えており、nビットの画像データDIを(n+α)ビットに変換して表示部4に出力する。
原データビット拡張部5は、nビットの画像データDIをαビット分ビット拡張した(n+α)ビットの画像データDJを階調変換部28に出力する。階調変換部28は、画像データDJに対してガンマ変換やコントラスト補正などの階調変換を行い、階調変換後の画像データを画像データDS((n+α)ビット)として、ε算出部30と一次元m次εフィルタ部60に出力する。
つぎに、ε算出部30による階調変換の一例について説明する。本実施の形態のε算出部30は、階調ごとに閾値のテーブルを持ち、入力される画像データDS(階調DS)に応じたテーブルから閾値を補間演算して出力する。図34および図35は、階調と閾値の関係を示す図である。図34および図35では、階調ごとの閾値を示すテーブルをグラフ化して示している。例えば、ε算出部30は、図34のグラフ220aに示す、階調X1,X2,X3,X4に対応する閾値データTH1,TH2,TH3,TH4を、階調ごとの閾値のテーブルとして保持しているとする。
ε算出部30は、このテーブルを用いて残りの階調(階調X1〜X4以外の階調)に対する閾値を線形補間で算出する。これにより、ε算出部30は、グラフ220aからグラフ220bに示す階調と閾値の関係を算出する。結果として、ε算出部30は、グラフ220bのようなグラフ(テーブル)を持つことと等価となる。
また、例えば、ε算出部30が、図35のグラフ221aに示す階調間X1〜X2,X2〜X3,X3〜X4に対応する閾値データTH1,TH2,TH3を階調ごとの閾値のテーブルとして保持しているとする。
ε算出部30は、このテーブルを用いて階調間の切れ目付近を線形補間して算出する。これにより、ε算出部30は、グラフ221aからグラフ221bに示す階調と閾値の関係を算出する。結果として、ε算出部30は、グラフ221bのようなグラフ(テーブル)を持つことと等価となる。
以上のように、閾値を補間演算で算出すれば、実施の形態1のε選択部29のように全ての階調に対応する閾値を記憶しておく必要がない。なお、ここではε算出部30の動作の一例として、図34や図35に示す処理(グラフ220aからグラフ220bを作成する処理やグラフ221aからグラフ221bを作成する処理)を示したが、本実施の形態ではこれらの動作に限定されない。すなわち、ε算出部30は、いずれのグラフから閾値を補間演算してもよい。
一次元m次εフィルタ部60は、注目画素に対して一次元方向に整列されている画素のデータに基づいて、急峻な変化を保存しながら小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタ(εフィルタ)として用いられる。一次元m次εフィルタ部60は、原データビット拡張部5で増やした階調を平滑化することによって階調ジャンプをなくし、実効的な階調数を増やす処理を行なう。
一次元m次εフィルタ部60は、データ格納部7、第1の差分算出部8−1〜第mの差分算出部8−m、第1のε判定部9−1〜第mのε判定部9−m、判定付加重平均部10、及びデータ加算部11を備えている。
一次元m次εフィルタ部60によって実効的な階調数が増やされた画像データは、データ加算部11から画像データDOとして表示部4に出力される。表示部4は、(n+α)ビットの画像データDOを表示する液晶モニタなどの表示手段である。一次元m次εフィルタ部60によって、実効的な階調数が増やされた画像データDOは、表示部4に出力される。表示部4は、(n+α)ビットの画像データDOを表示する。
本実施の形態では、εフィルタが、ビット拡張によって増えた階調を小振幅雑音ととらえてεフィルタ処理を行う。つまり、nビットから(n+α)ビットにビット拡張する場合、εフィルタの閾値εを2α(2^α)とする。これにより、εフィルタは輪郭など画像の急峻な変化を保持しながら、実効的な階調数を増やすことができる。しかしながら、ビット拡張とεフィルタ処理の間にガンマ変換などの階調変換が行われる場合、ビット拡張によって増えた階調の大きさが変化する。そこで、階調変換に合わせて閾値εを変化させる。すなわち、入力される階調に応じてεフィルタが保存できるエッジの大きさを変化させる。
本実施の形態では、画像表示装置100が、入力される階調によって閾値εを変化させるε算出部30(閾値制御部)と、ε算出部30によって閾値を制御される一次元m次εフィルタ部60とを備えている。閾値制御部に相当するε算出部30が階調変換に応じて閾値を算出するよう算出部30を設定しておく。
以下、多階調化処理の一例として、α=2の場合、即ちnビットの画像をn+2ビットに多階調化処理する場合について説明する。図36は、m=4の場合の実施の形態2の画像表示装置の構成を示す図である。なお、図36の各構成要素のうち図33に示す画像表示装置110と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。画像表示装置111は、一次元m次εフィルタ部60の代わりに、一次元4次εフィルタ部61を有している。
まず、画像表示装置110に緩変な階調で変換ジャンプするアナログ画像信号が入力された場合の画像表示装置110の動作を説明する。図37は、実施の形態2に係る画像表示装置に緩変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。図37に示すグラフ222a〜222fの横軸は画素位置iを示し、縦軸は階調を示している。
グラフ222aはアナログ画像信号SAの階調を示し、グラフ222bはnビットの画像データDIの階調を示し、グラフ222cは(n+α)ビットの画像データDJを示している。また、グラフ222dは(n+α)ビットの画像データDSおよび画像データDMの階調を示し、グラフ222eは加重平均値EMの階調を示し、グラフ222fは(n+α)ビットの画像データDOの階調を示している。
画像表示装置100へは、グラフ222aに示すようなアナログの画像信号SAが、入力端子1から受信部2に入力される。受信部2は、アナログ画像信号SAをグラフ222bに示すようなデジタルの画像データDI(nビット)(2値の階調(XとX+1))に変換して、原データビット拡張部5に出力する。
原データビット拡張部5では、グラフ222bの画像データDIの階調Xを階調4Xに変換し、階調(X+1)を階調4(X+1)に変換し、グラフ222cに示すような画像データDJを階調変換部28に出力する。
図38は、緩変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態2に係る画像表示装置で生成されるデータを示す図である。図38では、グラフ222dの画素位置icの画素を注目画素P(c)とした場合の、画像データDM(k)、この画像データDM(k)に基づいて生成される差分データED(k)、判定データEE(k)、f{ED(k)}、加重平均値EM、閾値データTH(k)の対応関係を示している。
データ格納部7はDM(l2)=4Z、DM(l1)=4Z、DM(c)=4Z、DM(r1)=4Z+8を、それぞれ第1の差分算出部8−1〜第4の差分算出部8−4に出力する。
第1の差分算出部8−1は、ED(l2)=DM(l2)−DM(c)=4Z−4Z=0を出力し、第2の差分算出部8−2は、ED(l1)=DM(l1)−DM(c)=4Z−4Z=0を出力し、第3の差分算出部8−3はED(c)=DM(c)−DM(c)=4Z−4Z=0を出力し、第4の差分算出部8−4はED(r1)=DM(r1)−DM(c)=(4Z+8)−4Z=8を出力する。従って、第1のε判定部9−1〜第3のε判定部9−3には「0」が入力され、第4のε判定部9−4には「8」が入力される。
画像データDSが4Z付近の時に全ての閾値データTH(l2)〜TH(r1)を「8」として出力するようε算出部30を設定しておく。このとき、本実施の形態の画像表示装置110は、ε算出部30が階調ごとに閾値のテーブルに基づいて、画像データDSに応じた閾値を補間演算しておく。
画像データDS=4Zや4Z+8の場合、閾値データTH(l2)=4、閾値データTH(l1)=4、閾値データTH(c)=4、閾値データTH(r1)=4がそれぞれ第1のε判定部9−1〜第4のε判定部9−4に入力される。差分データED(l2)〜ED(r1)は、それぞれの閾値データTH(l2)〜TH(r1)以下であるので判定データEE(l2)〜EE(r1)は「1」となる。
判定付加重平均部10は、判定データEE(k)が「1」の場合、係数akに差分データED(k)を乗算して加算し、判定データEE(k)が「0」の場合は加算しない。係数ak(=al2、l1、ac、ar1)の全てを0.25とした場合、図38に示した例では判定付加重平均部10の出力(加重平均値EM)は、以下の式(9)で与えられる。
EM
=al2×ED(l2)+al1×ED(l1)+ac×ED(c)+ar1×ED(r1) =(0.25×0)+(0.25×0)+(0.25×0)+(0.25×8)
=2
・・・(9)
画像表示装置100では、原データビット拡張部5から供給される画像データDSに対し、各画素を順に注目画素として上記の処理が行われ、式(9)と同様の演算が行われる。
グラフ222eは、グラフ222dの画像データDMに対応する加重平均値EM(各画素位置iの画素を注目画素としたときの加重平均値EM)の階調を示している。判定付加重平均部10は、加重平均値EMをデータ加算部11に出力する。データ加算部11は、グラフ222dに示した画像データDSと、グラフ222eに示した加重平均値EMを加算して、グラフ222fに示す画像データDOを出力する。以上のように、画像表示装置110は、階調変換によって階調のジャンプが大きくなっても階調変化が緩やかな領域の実効的な階調数を増やすことができる。
次に、画像表示装置110に急変な階調で変換ジャンプするアナログ画像信号が入力された場合の画像表示装置110の動作を説明する。図39は、実施の形態2に係る画像表示装置に急変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。図37に示すグラフ223a〜223fの横軸は画素位置iを示し、縦軸は階調を示している。
グラフ223aはアナログ画像信号SAの階調を示し、グラフ223bはnビットの画像データDIの階調を示し、グラフ223cは(n+α)ビットの画像データDJを示している。また、グラフ223dは(n+α)ビットの画像データDSおよび画像データDMの階調を示し、グラフ223eは加重平均値EMの階調を示し、グラフ223fは(n+α)ビットの画像データDOの階調を示している。
画像表示装置100へは、グラフ223aに示すようなアナログの画像信号SAが、入力端子1から受信部2に入力される。受信部2は、アナログ画像信号SAをグラフ223bに示すようなデジタルの画像データDI(nビット)(2値の階調(X’とX’+4))に変換して、原データビット拡張部5に出力する。
原データビット拡張部5では、グラフ223bの画像データDIの階調X’を階調4X’に変換し、階調X’+4を階調4(X’+4)に変換し、グラフ223cに示すような画像データDJを階調変換部28に出力する。ここでの階調変換部28は、種々の階調変換を行うことによって、階調4X’を階調4Yに変換し、階調4(X’+2)を階調4(Y+2)に変換するものとし、グラフ223dに示すような画像データDSを一次元4次εフィルタ部61に出力する。
図40は、急変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態2に係る画像表示装置で生成されるデータを示す図である。図40では、グラフ223dの画素位置icの画素を注目画素P(c)とした場合の、画像データDM(k)、画像データDM(k)に基づいて生成される差分データED(k)、判定データEE(k)、f{ED(k)}、加重平均値EM、閾値データTH(k)の対応関係を示している。
データ格納部7はDM(l2)=4Y、DM(l1)=4Y、DM(c)=4Y、DM(r1)=4Y+8を、それぞれ第1の差分算出部8−1〜第4の差分算出部8−4に出力する。
第1の差分算出部8−1は、ED(l2)=DM(l2)−DM(c)=4Y−4Y=0を出力し、第2の差分算出部8−2は、ED(l1)=DM(l1)−DM(c)=4Y−4Y=0を出力し、第3の差分算出部8−3は、ED(c)=DM(c)−DM(c)=4Y−4Y=0を出力し、第4の差分算出部8−4は、ED(r1)=DM(r1)−DM(c)=(4Y+8)−4Y=8を出力する。従って、第1のε判定部9−1〜第3のε判定部9−3には「0」が入力され、第4のε判定部9−4には「8」が入力される。
画像データDSが4Y付近の時に全ての閾値データTH(l2)〜TH(r1)を「4」として出力するようε算出部30を設定しておく。このとき、本実施の形態の画像表示装置110は、ε算出部30が階調ごとに閾値のテーブルに基づいて、画像データDSに応じた閾値を補間演算しておく。
画像データDS=4Yや4Y+8の場合、閾値データTH(l2)=4、閾値データTH(l1)=4、閾値データTH(c)=4、閾値データTH(r1)=4がそれぞれ第1のε判定部9−1〜第4のε判定部9−4に入力される。従って、第1のε判定部9−1〜第3のε判定部9−3には「0」が入力され、第4のε判定部9−4には「8」が入力される。差分データED(l2)〜ED(c)はそれぞれの閾値データTH(l2)〜TH(c)以下であるので判定データEE(l2)〜EE(c)は「1」となり、差分データED(r1)は閾値データTH(r1)より大きいので判定データEE(r1)は「0」となる。
判定付加重平均部10は、判定データEE(k)が「1」の場合、係数akに差分データED(k)を乗算して加算し、判定データEE(k)が「0」の場合は加算しない。係数ak(=al2、l1、ac、ar1)の全てを0.25とした場合、図40に示した例では判定付加重平均部10の出力(加重平均値EM)は、以下の式(10)で与えられる。
EM
=al2×ED(l2)+al1×ED(l1)+ac×ED(c)
=(0.25×0)+(0.25×0)+(0.25×0)
=0
・・・(10)
画像表示装置100では、原データビット拡張部5から供給される画像データDSに対し、各画素を順に注目画素として上記の処理が行われ、式(10)と同様の演算が行われる。
グラフ223eは、グラフ223dの画像データDMに対応する加重平均値EM(各画素位置iの画素を注目画素としたときの加重平均値EM)の階調を示している。判定付加重平均部10は、加重平均値EMをデータ加算部11に出力する。データ加算部11は、グラフ223dに示した画像データDSと、グラフ223eに示した加重平均値EMを加算して、グラフ223fに示す画像データDOを出力する。
グラフ223fに示されるように、画像データDOは、入力信号(アナログ画像信号SA)または画像データDIと同様に急峻な変化を有している。εフィルタは、階調の変化が大きい場合であっても、急峻に大きく変化する領域の鮮鋭度を保存することができる。
本実施の形態では、図37のグラフ222cのような画像データ信号が階調変換部28に入力されると、図37のグラフ222dのような画像データ信号SAが出力される。また、図39のグラフ223cのような画像データ信号が階調変換部28に入力されると、図39のグラフ223dのような画像データ信号SAが出力される。
図37のグラフ222dと図39のグラフ223dは、同じ階調差の階調ジャンプであるが、図37のグラフ222cでは階調変換前は緩やかな階調変化であり、図39のグラフ223cでは階調変換前は急峻な階調変化である。そのため、緩やかな階調変化(図37の場合)に対しては階調のジャンプを補間させたい。一方、急峻な階調変化(図39の場合)に対しては急峻な階調変化を保持したい。本実施の形態では、ε算出部30を、階調4X付近の入力階調に対して閾値8を出力するよう設定し、階調4X’付近の入力階調に対して閾値4を出力するよう設定すれば、期待する動作(緩やかな階調変化に対しては階調のジャンプを補間し急峻な階調変化に対しては階調変化を保持する動作)を行うことができる。
これにより、本実施の形態ではビット拡張により増えた階調がガンマ変換などの階調変換によって変化しても、小振幅雑音として扱うことができ、輪郭などの画像の急峻な変化を保持しながら、実効的な階調数を増やすことができる。
図41は、以上に説明した本実施の形態に係る画像表示装置の処理手順を示すフローチャートである。まず、アナログ画像信号SAが入力端子1に入力されると、受信部2は、アナログ画像信号SAを受信してnビットの画像データDIを出力する(ステップST11)。
受信部2が出力する画像データDIは、多階調化処理部3の原データビット拡張部5に入力される。原データビット拡張部5では、画像データDIをαビットだけビット拡張して(n+α)ビットの画像データDJを出力する(ステップST12)。
原データビット拡張部5が出力する画像データDJは、階調変換部28に入力される。階調変換部28は、画像データDJを階調変換して(n+α)ビットの画像データDSを出力する(ステップST13)。
ε算出部30には、n+αビットの画像データDSが入力される。ε算出部30は、補間演算(ε算出)を行って閾値を算出し、閾値データTH(1)〜TH(m)を出力する(ST14)。
一次元m次εフィルタ部60には(n+α)ビットの画像データDSと閾値データTH(1)〜TH(m)が入力される。一次元m次εフィルタ部60は、緩やかに変化する領域の階調数を増やして、画像データDOを出力する(ステップST15)。画像データDOは表示部4に入力される。表示部4は、画像データDOに基づいて画像を表示する(ステップST16)。
図42は、実施の形態2に係る画像表示装置の別の構成例(1)を示す図である。図42の各構成要素のうち図33に示した画像表示装置110と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
画像表示装置112では、階調変換部28が原データビット拡張部5の前段にある。アナログ画像信号SAが入力端子1に入力されると、受信部2は、アナログ画像信号SAを受信してnビットの画像データDIを階調変換部28に入力する。
階調変換部28は、画像データDIを階調変換してnビットの画像データDJを原データビット拡張部5に入力する。原データビット拡張部5では、画像データDJをαビットだけビット拡張して(n+α)ビットの画像データDSを出力する。そして、原データビット拡張部5が出力する画像データDJは、階調変換部28と一次元m次εフィルタ部60に入力される。
画像表示装置112では、ε算出部30において階調変換の特性に合わせて閾値を設定すれば、画像の鮮鋭度を落とさずに階調が緩やかに変化する領域の階調数を増やすことが可能となる。
図43は、実施の形態2に係る画像表示装置の別の構成例(2)を示す図である。図43の各構成要素のうち図33に示した画像表示装置110と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
画像表示装置113では、階調変換部28(図43では図示せず)が受信部2よりも前段にある。これにより、画像表示装置103では、あらかじめ階調変換が行われたデータが受信部2に入力される。階調変換が行われたアナログ画像信号SAが入力端子1に入力されると、受信部2は、アナログ画像信号SAを受信してnビットの画像データDIを原データビット拡張部5に入力する。
原データビット拡張部5では、画像データDIをαビットだけビット拡張して(n+α)ビットの画像データDSを出力する。そして、原データビット拡張部5が出力する画像データDJは、ε算出部30と一次元m次εフィルタ部60に入力される。
画像表示装置113でも、図33に示した画像表示装置110や図42に示した画像表示装置112と同様に階調変換の特性に合わせて閾値を設定すれば画像の鮮鋭度を落とさずに階調が緩やかに変化する領域の階調数を増やすことができる。
図44は、実施の形態2に係る画像表示装置の別の構成例(3)を示す図である。図44の各構成要素のうち図30に示した画像表示装置104、図33に示した画像表示装置110と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
画像表示装置114は、図25に示した画像表示装置112と比較して、原データビット拡張部5が設けられておらず、判定付加重平均部10及びデータ加算部11の代わりに、判定付加重平均部32及びデータ加算部33が設けられている。
判定付加重平均部32は、判定データEE及び差分データEDに基づいて、加重平均演算及びビット拡張を行ない、αビットだけビット拡張された加重平均値EMを出力する。画像表示装置114では、例えば、図4などの例と同様の判定付加重平均の演算を行なった際に現れる小数点以下の桁の数値をもデータを平均データEMとして生成することで、ビット拡張を行なうことができる。データ加算部33では、入力される画像データDM(c)を(n+α)ビットにビット拡張して加算する。
このように、画像表示装置114では、ビット拡張をεフィルタの前で行なわず、εフィルタの演算中に行なう。以上のように構成することで、図42に示した画像表示装置112と同様の効果が得られる。
なお、図33に示した画像表示装置110では、εフィルタが一次元のεフィルタである場合について説明したが、本実施の形態は一次元のεフィルタに限定されるものではない。図45および図46は、εフィルタが水平方向と垂直方向に処理する二次元εフィルタを備える画像表示装置の構成を示す図である。図45,46の各構成要素のうち、図31,32に示した画像表示装置105,106、図33に示した画像表示装置110と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
図45に示す画像表示装置115は、εフィルタとして二次元m次εフィルタ部62を備えている。二次元m次εフィルタ部62は、一次元m次εフィルタ部6と同様に、階調変換部28、ε算出部30、表示部4に接続されている。
二次元m次εフィルタ部62は、水平画素(h)×垂直画素(v)の二次元領域に対して処理(εフィルタリング処理)を行うものである。即ち、二次元m次εフィルタ部62は、注目画素を中心として、二次元方向(縦方向、横方向)に配列された画素のデータに基づいて、急峻な変化を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタとして用いられるものである。
図45に示す二次元m次εフィルタ部62は、データ格納部34、第1の差分算出部8−1〜第mの差分算出部8−m、第1のε判定部9−1〜第mのε判定部9−m、判定付加重平均部10、及びデータ加算部11を備えており、画像データDSの垂直方向の階調変化に対して実効的な階調数を増やした画像データVDOを一次元h次水平εフィルタ部63bに出力する。
図46に示す画像表示装置116は、εフィルタとして一次元v次垂直εフィルタ部63aと一次元h次水平εフィルタ部63bを備えている。一次元v次垂直εフィルタ部63aは、階調変換部28、第1のε算出部30−1、一次元h次水平εフィルタ部63bに接続されている。また、一次元h次水平εフィルタ部63bは、階調変換部28、第2のε算出部30−2、表示部4に接続されている。
画像表示装置116では、画像表示装置105と比較して、第1のε選択部29−1の代わりに第1のε算出部30−1が配設され、第2のε選択部29−2の代わりに第2のε算出部30−2が配設されている点が異なっている。
一次元v次垂直εフィルタ部63aは、Vデータ格納部(垂直方向データ格納部)15、第1のV差分算出部(垂直方向差分算出部)16−1〜第vのV差分算出部16−v、第1のVε判定部(垂直方向ε判定部)17−1〜第vのVε判定部17−v、V判定付加重平均部(垂直方向判定付加重平均部)18、及びVデータ加算部(垂直方向加算部)19を備えている。
また、一次元h次水平εフィルタ部63bは、原データ格納部20、第1の原データ差分算出部21−1〜第hの原データ差分算出部21−h、第1のHε判定部(水平方向ε判定部)22−1〜第hのHε判定部22−h、Hデータ格納部(水平方向データ格納部)23、第1のH差分算出部(水平方向差分算出部)24−1〜第hのH差分算出部24−h、H判定付加重平均部(水平方向判定付加重平均部)25、及びHデータ加算部(水平方向データ加算部)26を備えている。
一次元v次垂直εフィルタ部63aは、(n+α)ビットの原データに対して、画像の垂直方向についての処理を行なう。一次元v次垂直εフィルタ部63aは、注目画素に対して垂直方向に整列した画素のデータに基づいて、急峻な変化を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタとして用いられるものである。一次元v次垂直εフィルタ部63aは、画像データDSの水平方向の階調変化に基づいて画像データVDOの実効的な階調数を増やす役割を持つ。
一次元h次水平εフィルタ部63bは、一次元v次垂直εフィルタ部63aから出力される(n+α)ビットのデータに対して、画像の水平方向についての処理を行なう。一次元h次水平εフィルタ部63bは、注目画素に対して水平方向に整列した画素のデータに基づいて、急峻な変化を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタとして用いられるものである。一次元h次水平εフィルタ部63bは、画像データDSの水平方向の階調変化に基づいて画像データVDOの実効的な階調数を増やす役割を持つ。
以上のような二次元処理を行うεフィルと、入力の階調に応じて閾値εを変化させる閾値制御部(第1のε算出部30−1、第2のε算出部30−2)を備えるので、垂直方向に対しても、水平方向に対しても階調ごとに保持するエッジの大きさを設定できる。
尚、以上の実施の形態1及び2において、α=2としてnビットの画像データをn+2ビットに拡張する場合について詳しく説明したが、本発明は、α=2に限定されるものではない。同様に、εフィルタの次数mを4としてきたが、本発明は、m=4に限定されない。
また、以上の実施の形態1及び2では、注目画素の画像データ同士の差分データED(c)、ED(c,c),VED(c)は必ず「0」であり、従って、該差分についてのε判定の結果(判定データEE(c),EE(c,c),VEE(c)、BED(c))は必ず「1」である。このため、注目画素の画像データの差分を求める差分算出部や、その出力(差分データED(c),ED(c,c),VED(c),BED(c))が閾値εよりも大きいか否かの判定を行なうε判定部(図5に示したの第3のε判定部9−3など)を省略し、判定付加重平均部10、V判定付加重平均部18、H判定付加重平均部25では、差分データED(c),ED(c,c),VED(c),HED(c)として、「0」を加算(又は無視)することとしてもよい。
また、図32に示した差分算出部24−3も同じデータHDM(c)同士の差分を求めるものであり、該差分は必ず0となるので、第3のH差分算出部24−3を省略し、H判定付加重平均部25では、HDM(c)としてゼロを加算(或いは無視)することとしてもよい。
なお、本実施の形態では、ε算出部30と一次元m次εフィルタ部60、一次元4次εフィルタ部61、二次元m次εフィルタ部62、一次元v次垂直εフィルタ部63a、一次元h次水平εフィルタ部63bとを別々の構成にしたが、一次元m次εフィルタ部60、一次元4次εフィルタ部61、二次元m次εフィルタ部62、一次元v次垂直εフィルタ部63a、一次元h次水平εフィルタ部63bがε算出部30を備える構成としてもよい。
このように実施の形態2によれば、実施の形態1と同様に、εフィルタを用いてビット拡張により増えた階調を平滑化するので、輪郭などの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調数を増やすことができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。
また、閾値のテーブルから階調の閾値を補間演算し、画像データに応じた閾値データTHを出力するので、テーブル内に全ての階調に応じた閾値が設定されていない場合であっても、差分データEDが閾値データTHより大きいか否かの判定を容易に行なうことが可能となる。
実施の形態3.
これまで、平滑化フィルタをεフィルタとして説明してきたが、平滑化フィルタはεフィルタに限定されるものではなく、平滑化フィルタは、急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタであるエッジ保存型平滑化フィルタであれば良く、例えば、εフィルタの他にトリムド平均値フィルタ(DW−MTMフィルタ)、バイラテラルフィルタなどを用いてもよい。
尚、トリムド平均値フィルタ(DW−MTMフィルタ)は、例えば非特許文献2(雛元孝夫監修、棟安実治、夫田口亮著、「非線形ディジタル信号処理」朝倉書店、1999年3月20日、p.72−74)に説明されている。
トリムド平均値フィルタによる一次元処理は、式(5)や(6)で表される。x(i)は入力される画像データの階調であり、y(i)は出力する画像データの階調である。また、akは係数であり、kは注目画素からの相対的な画素位置であり、εは閾値である。
Figure 0004502055
ここでxmedは、処理点を中心とするフィルタ窓幅mより小さい窓内データのメジアン値である。bkはx(i−k)−xmedが閾値ε以下なら1、閾値εより大きければ0を出力する
Figure 0004502055
kはx(i−k)−x(i)が閾値ε以下なら1、閾値ε以下なら0を出力する。つまり、式(6)のトリムド平均値フィルタは着目画素と階調差の大きい周辺画素は除いて加重平均値を求めている。
εフィルタは着目画素と階調差の大きい周辺画素は着目画素の階調値に置き換えて加重平均値を求めている。このように、トリムド平均値フィルタはεフィルタと同様に急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタである。よって、εフィルタの代わりにトリムド平均値フィルタを用いても同等の効果が得られる。
同様に、εフィルタの代わりに他のエッジ保存型平滑化フィルタを用いても同等の効果が得られる。
本実施の形態では、画像表示装置100が、画像データのビット数を拡張し画像データの階調を拡張するデータビット拡張部と、画像データの階調に応じて前記画像データ内で保存しておくエッジの大きさを決定し、決定されたエッジの大きさに基づいて画像データの所定の階調を平滑化処理する平滑化フィルタ部(閾値制御部を含むエッジ保存型平滑化フィルタ)とを有しているので、入力される階調に応じてフィルタが保存できるエッジの大きさを変化させることができる。さらに、画像データが階調変換される場合には、階調変換に合わせて閾値を変化させることがでる。従って、急峻なエッジは保持したまま、雑音となる低振幅のものは除去することができ、デジタル画像の擬似的な輪郭の発生を抑制することができる。
尚、上記実施の形態では、画像データのビット数を拡張し画像データの階調を拡張したデータに対して、画像データの階調に応じたエッジ保存型平滑化フィルタを適用したものを中心に説明してきたが、これは特に限定されるものではなく、特に階調を拡張したデータでなくとも、例えば、階調変換したデータ等、階調を拡張したデータでないデータに対して、画像データの階調に応じたエッジ保存型平滑化フィルタを適用するようにしてもよい。
以上のように、本発明に係る画像処理装置、画像表示装置、及び画像処理方法は、デジタル画像の多階調化に適している。
本発明の実施の形態1に係る画像表示装置の構成を示す図である。 式(1)の関数f(u)を示す図である。 εフィルタによるεフィルタ処理を説明するための図である。 階調と閾値の関係を示す図である。 m=4の場合の実施の形態1の画像表示装置の構成を示す図である。 受信部によるA/D変換処理を説明するための図である。 原データビット拡張部によるビット拡張処理を説明するための図である。 階調が緩やかに変化する場合の階調変換処理を説明するための図である。 データ格納部の詳細な構成の一例を示す図である。 データ格納部から出力される画像データの階調を説明するための図である。 階調が緩やかに変化する場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。 加重平均の概念を説明するための図である。 図10に示したデータ格納部から出力される画像データの加重平均値を示す図である。 データ加算部によるデータ加算処理を説明するための図である。 実施の形態1に係る画像表示装置に階調が急峻に大きく変化するアナログ画像信号が入力された場合の動作を説明するための図である。 階調が急峻に変化する場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。 実施の形態1に係る画像表示装置に緩変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。 緩変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。 実施の形態1に係る画像表示装置に急変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。 急変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態1に係る画像表示装置で生成されるデータを示す図である。 実施の形態1に係る画像表示装置の処理手順を示すフローチャートである。 階調変換部によるガンマ変換処理を説明するための図である。 階調が緩やかに変化する場合のガンマ変換処理を説明するための図である。 階調が急峻に変化する場合のガンマ変換処理を説明するための図である。 実施の形態1に係る画像表示装置の別の構成例(1)を示す図である。 図25に示した階調変換部によるガンマ変換処理を説明するための図である。 階調が緩やかに変化する場合の図25に示した階調変換部によるガンマ変換処理を説明するための図である。 階調が急峻に変化する場合の図25に示した階調変換部によるガンマ変換処理を説明するための図である。 実施の形態1に係る画像表示装置の別の構成例(2)を示す図である。 実施の形態1に係る画像表示装置の別の構成例(3)を示す図である。 実施の形態1に係る画像表示装置の別の構成例(4)を示す図である。 実施の形態1に係る画像表示装置の別の構成例(5)を示す図である。 本発明の実施の形態2に係る画像表示装置の構成を示す図である。 実施の形態2に係る画像表示装置で用いる階調と閾値の関係を示す図(1)である。 実施の形態2に係る画像表示装置で用いる階調と閾値の関係を示す図(2)である。 m=4の場合の実施の形態2の画像表示装置の構成を示す図である。 実施の形態2に係る画像表示装置に緩変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。 緩変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態2に係る画像表示装置で生成されるデータを示す図である。 実施の形態2に係る画像表示装置に急変な階調で変換ジャンプするアナログ画像信号が入力された場合の動作を説明するための図である。 急変な階調で変換ジャンプするアナログ画像信号が入力された場合に実施の形態2に係る画像表示装置で生成されるデータを示す図である。 実施の形態2に係る画像表示装置の処理手順を示すフローチャートである。 実施の形態2に係る画像表示装置の別の構成例(1)を示す図である。 実施の形態2に係る画像表示装置の別の構成例(2)を示す図である。 実施の形態2に係る画像表示装置の別の構成例(3)を示す図である。 実施の形態2に係る画像表示装置の別の構成例(4)を示す図である。 実施の形態2に係る画像表示装置の別の構成例(5)を示す図である。
符号の説明
1 入力端子
2 受信部
3 多階調化処理部
4 表示部
5 原データビット拡張部
7,34 データ格納部
8 差分算出部
9 ε判定部
10,32 判定付加重平均部
11,33 データ加算部
15 Vデータ格納部
16 V差分算出部
17 Vε判定部
18 V判定付加重平均部
19 Vデータ加算部
20 原データ格納部
21 原データ差分算出部
22 Hε判定部
23 Hデータ格納部
24 H差分算出部
25 H判定付加重平均部
26 Hデータ加算部
27 ビット拡張付き一次元m次εフィルタ部
28 階調変換部
29 ε選択部
30 ε算出部
60 一次元m次εフィルタ部
61 一次元4次εフィルタ部
62 二次元m次εフィルタ部
63a 一次元v次垂直εフィルタ部
63b 一次元h次水平εフィルタ部
100〜106,110〜116 画像表示装置

Claims (10)

  1. 画像データを多階調化して前記画像データの階調を補間する画像処理装置において、
    前記画像データのビット数を拡張し前記画像データの階調を拡張するデータビット拡張部と、前記データビット拡張部が出力する画像の階調変換をする階調変換部と、前記階調変換部が出力する前記画像データの階調に応じて閾値を求める閾値制御部と、前記階調変換部が出力する前記画像データの処理すべき注目画素と周辺画素との差分値が前記閾値より大きい場合にはエッジ領域としてエッジを保持し、前記閾値以下の場合はエッジ以外の領域として平滑化処理を行う平滑化フィルタ部と、前記平滑化フィルタ部で処理された画像データを出力する出力部とを備え、
    前記閾値制御部は、前記階調変換部における階調変換の特性に合わせた閾値を求めることを特徴する画像処理装置。
  2. 画像データを多階調化して前記画像データの階調を補間する画像処理装置において、
    前記画像データの階調を変換する階調変換部と、前記階調変換部が出力する画像データのビット数を拡張し前記画像データの階調を拡張するデータビット拡張部と、前記データビット拡張部が出力する画像データの階調に応じて閾値を求める閾値制御部と、前記階調変換部が出力する前記画像データの処理すべき注目画素と周辺画素との差分値が前記閾値より大きい場合にはエッジ領域としてエッジを保持し、前記閾値以下の場合はエッジ以外の領域として平滑化処理を行う平滑化フィルタ部と、前記平滑化フィルタ部で処理された画像データを出力する出力部とを備え、
    前記閾値制御部は、前記階調変換部における階調変換の特性に合わせた閾値を求めることを特徴する画像処理装置。
  3. 画像データの階調を補間する画像処理装置において、
    前記画像データを入力する入力部と、前記入力部から入力された画像データの階調変換をする階調変換部と、前記画像データの階調に応じて閾値を求める閾値制御部と、前記画像データの処理すべき注目画素と周辺画素との差分値が前記閾値より大きい場合にはエッジ領域としてエッジを保持し、前記閾値以下の場合はエッジ以外の領域として平滑化処理を行う平滑化フィルタ部と、前記平滑化フィルタ部で処理された画像データを出力する出力部とを備え、
    前記閾値制御部は、前記階調変換部における階調変換の特性に合わせた閾値を求めることを特徴する画像処理装置。
  4. 前記閾値制御部は、前記階調変換の特性に合わせて前記平滑化フィルタ部で保持するエッジの大きさを決定するための閾値を求めることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記平滑化フィルタ部は前記画像データのビット数を拡張し前記画像データの階調を拡張するデータビット拡張部を有し、
    前記データビット拡張部は、前記平滑化フィルタ部で所定の階調が平滑化処理された画像データのビット数を拡張することを特徴とする請求項3に記載の画像処理装置。
  6. 前記閾値制御部は、前記階調と前記閾値とが対応付けられた情報から前記画像データの階調に応じた閾値を求め前記平滑化フィルタに出力することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  7. 前記閾値制御部は、前記画像データの階調から、前記階調に応じた閾値を演算し、演算された閾値を前記平滑化フィルタに出力することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  8. 前記平滑化フィルタ部は、εフィルタである請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 画像データの階調を補間し、階調を補間した画像を用いて画像の表示を行う画像表示装置において、
    画像信号を受信して画像データを生成する受信部と、請求項1〜8のいずれか1項に記載の画像処理装置と、前記画像処理装置で処理されたデータを表示する表示部とを備えた画像表示装置。
  10. 画像データを多階調化して前記画像データの階調を補間する画像処理方法において、
    前記画像データのビット数を拡張し前記画像データの階調を拡張するステップと、前記画像データの階調変換を行うステップと、前記画像データの階調に応じて閾値を求めるステップと、前記階調変換がなされた画像データの処理すべき注目画素と周辺画素との差分値が前記閾値より大きい場合にはエッジ領域としてエッジを保持し、前記閾値以下の場合はエッジ以外の領域として平滑化処理を行うステップと、前記平滑化処理された画像データを出力するステップとを含み、
    前記閾値を求めるステップは、前記階調変換の特性に合わせた閾値を求めることを特徴する画像処理方法。
JP2008236398A 2007-11-12 2008-09-16 画像処理装置、画像表示装置、および画像処理方法 Active JP4502055B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008236398A JP4502055B2 (ja) 2007-11-12 2008-09-16 画像処理装置、画像表示装置、および画像処理方法
US12/268,282 US8300974B2 (en) 2007-11-12 2008-11-10 Image processing device, image display device, and image processing method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007293262 2007-11-12
JP2008236398A JP4502055B2 (ja) 2007-11-12 2008-09-16 画像処理装置、画像表示装置、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2009141944A JP2009141944A (ja) 2009-06-25
JP4502055B2 true JP4502055B2 (ja) 2010-07-14

Family

ID=40872048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008236398A Active JP4502055B2 (ja) 2007-11-12 2008-09-16 画像処理装置、画像表示装置、および画像処理方法

Country Status (1)

Country Link
JP (1) JP4502055B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5313789B2 (ja) * 2009-07-06 2013-10-09 日本セラミック株式会社 画像処理方法
JP4599457B1 (ja) 2009-09-18 2010-12-15 株式会社東芝 画像処理装置、表示装置及び画像処理方法
JP2015099203A (ja) * 2013-11-18 2015-05-28 シャープ株式会社 表示装置及び表示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190980A (ja) * 1989-01-19 1990-07-26 Dainippon Screen Mfg Co Ltd 画像信号のフィルタ処理方法
JP2003008935A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2006050358A (ja) * 2004-08-06 2006-02-16 Pioneer Electronic Corp 映像信号処理装置
JP2007213460A (ja) * 2006-02-13 2007-08-23 Mitsubishi Electric Corp 画像処理方法、画像処理装置、及び画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190980A (ja) * 1989-01-19 1990-07-26 Dainippon Screen Mfg Co Ltd 画像信号のフィルタ処理方法
JP2003008935A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理方法および装置
JP2006050358A (ja) * 2004-08-06 2006-02-16 Pioneer Electronic Corp 映像信号処理装置
JP2007213460A (ja) * 2006-02-13 2007-08-23 Mitsubishi Electric Corp 画像処理方法、画像処理装置、及び画像表示装置

Also Published As

Publication number Publication date
JP2009141944A (ja) 2009-06-25

Similar Documents

Publication Publication Date Title
JP4527750B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP4209599B2 (ja) 2次元非線形補間システム及び補間方法、並びに2次元混合補間システム及び混合補間方法
JP4952796B2 (ja) 画像処理装置
JP4556276B2 (ja) 画像処理回路及び画像処理方法
JP4847591B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4526445B2 (ja) 撮像装置
JP4502055B2 (ja) 画像処理装置、画像表示装置、および画像処理方法
JP4918926B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
JP5097914B2 (ja) 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器
JP4011073B2 (ja) 階調補正装置
JPH07288768A (ja) 映像信号処理方法および映像信号処理装置
JP7014158B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5249111B2 (ja) 画像処理装置、方法、プログラム、及び撮像システム
JP5159651B2 (ja) 画像処理装置、画像処理方法、及び画像表示装置
JP5233757B2 (ja) 画像処理装置および画像表示装置
JP6276596B2 (ja) 空間超解像・階調補間装置及びプログラム
US8300974B2 (en) Image processing device, image display device, and image processing method therefor
JP3883990B2 (ja) 量子化エラー補償装置及び方法
JP4321391B2 (ja) 画像処理装置、および画像処理プログラム
JP4962573B2 (ja) 画像処理装置
JP4308280B2 (ja) 階調補正装置
JP5024112B2 (ja) 画像信号処理装置および画像信号処理プログラム
JP2790604B2 (ja) 画像処理装置
JP2011049696A (ja) 画像処理装置及び画像処理方法
JP2011066838A (ja) 画像処理装置、表示装置及び画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100412

R151 Written notification of patent or utility model registration

Ref document number: 4502055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250