JP3849817B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP3849817B2 JP3849817B2 JP31030796A JP31030796A JP3849817B2 JP 3849817 B2 JP3849817 B2 JP 3849817B2 JP 31030796 A JP31030796 A JP 31030796A JP 31030796 A JP31030796 A JP 31030796A JP 3849817 B2 JP3849817 B2 JP 3849817B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- region
- value
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 73
- 230000013016 learning Effects 0.000 claims description 33
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、例えば、標準解像度の画像を、高解像度の画像に変換する場合などに用いて好適な画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）（第１の画像）を、高解像度の画像（以下、適宜、ＨＤ画像という）（第２の画像）に変換したり、また、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素の画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画像の成分（高周波成分）を復元することはできないため、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置を先に提案している。
【０００５】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０００６】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００７】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（１）
【０００８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０００９】
ＸＷ＝Ｙ’・・・（２）
【００１０】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【００１２】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
【００１５】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１６】
【数５】
【００１７】
式（４）および（５）より、式（６）が得られる。
【００１８】
【数６】
【００１９】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００２０】
【数７】
【００２１】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００２２】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００２４】
図７は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【００２５】
ＳＤ画像は、クラス分類回路４および遅延回路８に供給されるようになされており、クラス分類回路４では、適応処理により予測値を求めようとするＨＤ画素（以下、適宜、注目画素という）が、ＳＤ画像に基づいて、所定のクラスにクラス分類される。
【００２６】
即ち、クラス分類回路４は、まず最初に、注目画素の周辺にあるＳＤ画素として、例えば、注目画素からの距離が所定値以下のＳＤ画素でなるブロック（以下、適宜、処理ブロックという）を、ＳＤ画像から抽出し、その処理ブロックを構成する、例えばすべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ＲＯＭ９のアドレス端子（ＡＤ）に供給する。
【００２７】
具体的には、クラス分類回路４は、例えば、図８に示すように、注目画素を中心とする４×４のＳＤ画素（同図において○印で示す）でなる処理ブロックを、ＳＤ画像から抽出し、これらの１６のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【００２８】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、１６のＳＤ画素の画素値のパターン数は、（２8）16通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００２９】
そこで、クラス分類を行う前の前処理として、処理ブロックには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）処理などが施される。
【００３０】
即ち、ＡＤＲＣ処理では、まず、処理ブロックを構成する１６のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲを処理ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、処理ブロックを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、処理ブロックを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【００３１】
その結果、処理ブロックを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、１６のＳＤ画素の画素値のパターン数は、（２1）16通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【００３２】
係数ＲＯＭ９は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路４からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路１０に供給する。
【００３３】
一方、遅延回路８では、予測演算回路１０に対して、係数ＲＯＭ９から予測係数が供給されるタイミングと、後述する予測タップ生成回路６から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、ＳＤ画像が遅延され、予測タップ生成回路６に供給される。
【００３４】
予測タップ生成回路６では、そこに供給されるＳＤ画像から、予測演算回路１０において注目画素の予測値を求めるのに用いるＳＤ画素が抽出され、これが予測タップとして、予測演算回路１０に供給される。即ち、予測タップ生成回路６では、ＳＤ画像から、例えば、クラス分類回路４で抽出されたとの同一の処理ブロックが抽出され、その処理ブロックを構成するＳＤ画素が、予測タップとして、予測演算回路１０に供給される。
【００３５】
予測演算回路１０では、係数ＲＯＭ９からの予測係数ｗ，ｗ2，・・・と、予測タップ生成回路６からの予測タップｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【００３６】
以下同様の処理が、その他のＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【００３７】
次に、図９は、図７の係数ＲＯＭ９に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【００３８】
学習における教師データｙとなるべきＨＤ画像が、間引き回路２１および遅延回路２８に供給されるようになされており、間引き回路２１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。このＳＤ画像は、クラス分類回路２６および予測タップ生成回路２７に供給される。
【００３９】
クラス分類回路２６または予測タップ生成回路２７では、図７のクラス分類回路４または予測タップ生成回路６における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路２６が出力するクラスは、予測タップメモリ２９および教師データメモリ３０のアドレス端子（ＡＤ）に供給され、予測タップ生成回路２７が出力する予測タップは、予測タップメモリ２９に供給される。
【００４０】
予測タップメモリ２９では、クラス分類回路２６から供給されるクラスに対応するアドレスに、予測タップ生成回路２７から供給される予測タップが記憶される。
【００４１】
一方、遅延回路２８では、注目画素に対応するクラスが、クラス分類回路２６から教師データメモリ３０に供給される時間だけ、ＨＤ画像が遅延され、そのうちの、注目画素であるＨＤ画素の画素値だけが、教師データとして、教師データメモリ３０に供給される。
【００４２】
そして、教師データメモリ３０では、クラス分類回路２６から供給されるクラスに対応するアドレスに、遅延回路２８から供給される教師データが記憶される。
【００４３】
以下同様の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素が注目画素とされるまで繰り返される。
【００４４】
以上のようにして、予測タップメモリ２９または教師データメモリ３０の同一のアドレスには、図８において○印で示したＳＤ画素または図８において×印で示したＨＤ画素とそれぞれ同一の位置関係にあるＳＤ画素またはＨＤ画素が、学習データｘまたは教師データｙとして記憶される。
【００４５】
なお、予測タップメモリ２９と教師データメモリ３０においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【００４６】
その後、演算回路３１は、予測タップメモリ２９または教師データメモリ３０から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路３１では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【００４７】
以上のようにして、演算回路３１で求められたクラスごとの予測係数が、図７の係数ＲＯＭ９における、そのクラスに対応するアドレスに記憶されている。
【００４８】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【００４９】
【発明が解決しようとする課題】
ところで、上述した画像変換装置や学習装置においては、予測タップとして用いられるＳＤ画素や、クラス分類に用いられるＳＤ画素は、画像とは無関係に選択されるようになされている。
【００５０】
即ち、画像は、輝度値や色などが近似した画素でなる領域、即ち、所定の物体が表示された領域や、所定の色、模様を有する領域などに分割し得るが、予測タップとして用いられるＳＤ画素や、クラス分類に用いられるＳＤ画素は、そのような領域を無視して、例えば、上述したように注目画素との位置関係などに基づいて選択される。
【００５１】
このため、稀ではあるが、適応処理により得られるＨＤ画像において、所定の物体が表示された領域や、所定の色、模様を有する領域などの境界部分の画質が劣化することがあった。
【００５２】
本発明は、このような状況に鑑みてなされたものであり、画質の劣化を低減したＨＤ画像を得ることができるようにするものである。
【００５３】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画像を構成する画素の画素値と、所定の予測係数との演算により、上記第１の画像よりも高解像度な第２の画像の画素の予測値を求める適応処理を行う適応処理手段と、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または第１の画像を所定のブロックに分割し、画素値の分布が近似するブロックどうしを統合してなる領域で、第１の画像を複数領域に分割する分割手段と、分割された複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として第１の画像から抽出する領域抽出手段と、注目画素を、近似特性領域を構成する画素に基づいてクラス分類するクラス分類手段とを備え、適応処理手段は、第１の画像から領域抽出手段により抽出された近似特性領域を構成する画素の画素値と、クラス分類手段のクラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理を行い、予測係数は、生徒データとしての第１の画像を構成する画素の画素値との演算により、生徒データに対する教師データとしての第２の画像の画素の予測値を求める適応処理を行うための予測係数を算出する学習処理を行う学習装置により、生徒データとしての第１の画像から抽出された近似特性領域を構成する画素の画素値のみに基づく学習処理がクラスごとに行われることによって、クラスごとに算出されることを特徴とする。
【００５４】
本発明の画像処理方法は、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または第１の画像を所定のブロックに分割し、画素の画素値の分布が近似するブロックどうしを統合してなる領域で、第１の画像を複数領域に分割し、分割された複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として第１の画像から抽出し、注目画素を、近似特性領域を構成する画素に基づいてクラス分類し、第１の画像から抽出された近似特性領域を構成する画素の画素値と、クラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理を行うことを特徴とする。
【００５８】
本発明の画像処理装置および画像処理方法においては、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または第１の画像を所定のブロックに分割し、画素値の分布が近似するブロックどうしを統合してなる領域で、第１の画像を複数領域に分割し、分割した複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として第１の画像から抽出し、注目画素を、近似特性領域を構成する画素に基づいてクラス分類し、第１の画像から抽出された近似特性領域を構成する画素の画素値と、クラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理を行うようになされている。
【００６１】
【発明の実施の形態】
図１は、本発明を適用した画像変換装置の一実施の形態の構成を示している。なお、図中、図７における場合と同様に構成される部分については、同一の符号を付してある。即ち、この画像変換装置は、領域分割統合回路１（領域抽出手段）（統合手段），ＩＤメモリ２、同一領域判断回路３（領域抽出手段）（判定手段）、遅延回路５、および７が新たに設けられている他は、基本的に図７の画像変換装置と同様に構成されている。
【００６２】
領域分割統合回路１および遅延回路７には、例えば、地上回線や、衛星回線、ＣＡＴＶ（CAble TeleVision）網などの伝送路を介して伝送され、または、例えば、光ディスクや、光磁気ディスク、磁気テープなどの記録媒体から再生されたＳＤ画像が供給されるようになされている。
【００６３】
領域分割統合回路１は、ＳＤ画像を構成するＳＤ画素のうち、隣接する画素の画素値との差分が所定の閾値以下となる画素を検出し、１つの領域に統合するようになされている。さらに、領域分割統合回路１は、領域の統合結果を、ＩＤメモリ２に書き込むようにもなされている。
【００６４】
ＩＤメモリ２は、領域分割統合回路１から供給される、後述する領域ＩＤを、ＳＤ画素単位で記憶するようになされている。なお、ＩＤメモリ２は、少なくとも１画面（１フィールドまたは１フレーム）分の領域ＩＤを記憶することのできる記憶容量を有している。
【００６５】
同一領域判断回路３は、ＩＤメモリ２の記憶内容に基づいて、後述するブロックＩＤを求め、クラス分類回路４および遅延回路５に出力するようになされている。
【００６６】
遅延回路５は、同一領域判断回路３が出力するブロックＩＤを、遅延回路８からＨＤ画像が出力されるまで遅延し、予測タップ生成回路６に供給するようになされている。遅延回路７は、そこに入力されるＨＤ画像を、同一領域判断回路３からブロックＩＤが出力されるまで遅延し、クラス分類回路４および遅延回路８に供給するようになされている。
【００６７】
次に、その動作について説明する。
【００６８】
領域分割統合回路１では、１画面ごとのＳＤ画像に対して、図２に示すフローチャートにしたがった処理が施されることにより、ＳＤ画像が、いわゆる領域分割される。
【００６９】
即ち、まず最初に、ステップＳ１において、ＩＤメモリ２の記憶内容が所定の初期値に初期化される。具体的には、例えば、ＩＤメモリ２の各ＳＤ画素に対応するアドレスに対して、ラスタスキャン順に、正の整数値が、領域ＩＤとして、シーケンシャルにセットされる。従って、ステップＳ１の直後は、ＩＤメモリ２の各ＳＤ画素に対応するアドレスに記憶された値は、すべて異なるものとなっている。
【００７０】
そして、ステップＳ２において、あるＳＤ画素を処理対象の画素（以下、適宜、処理対象画素という）とし、処理対象画素と、その上、下、左、右、左上、右上、左下、または右下の８方向のうちのいずれかの方向に隣接する画素（隣接画素）との画素値の差分が演算され、ステップＳ３に進む。ステップＳ３では、ステップＳ２で求められた差分が所定の閾値以下であるかどうかが判定される。ステップＳ３において、処理対象画素と、その隣接画素との差分値が、所定の閾値以下でないと判定された場合、ステップＳ４をスキップして、ステップＳ５に進む。
【００７１】
また、ステップＳ３において、処理対象画素と、その隣接画素との差分値が、所定の閾値以下であると判定された場合、ステップＳ４に進み、処理対象画素と隣接画素とが、例えばある物体が表示された領域などの同一の領域を構成する画素であるとして、１つの領域を構成するように統合される。
【００７２】
即ち、ステップＳ４では、ＩＤメモリ２の、処理対象画素および隣接画素に対応するアドレスに記憶された領域ＩＤが、同一の値に更新される。具体的には、処理対象画素または隣接画素のうちのいずれか一方の領域ＩＤが、他方の領域ＩＤと同一の値に更新される。
【００７３】
なお、処理対象画素または隣接画素が既にある領域に統合されている場合には、例えば、大きい領域に属している方の画素の領域ＩＤの値に、他方の画素の領域ＩＤが更新される。
【００７４】
ＩＤメモリ２の更新後、ステップＳ４からＳ５に進み、１画面を構成するＳＤ画素すべてを、処理対象画素として、ステップＳ２の処理を行ったかどうかが判定される。ステップＳ５において、１画面を構成するＳＤ画素すべてを、処理対象画素として、まだ、ステップＳ２の処理を行っていないと判定された場合、ステップＳ２に戻り、まだ処理対象画素とされていないＳＤ画素を処理対象画素として、ステップＳ２以下の処理を繰り返す。
【００７５】
また、ステップＳ５において、１画面を構成するＳＤ画素すべてを、処理対象画素として、ステップＳ２の処理を行ったと判定された場合、ステップＳ６に進み、ステップＳ２で、上述の８方向すべてについて差分を演算したかどうかが判定される。ステップＳ６において、ステップＳ２で８方向すべてについて、まだ差分を演算していないと判定された場合、ステップＳ２に戻り、まだ差分を演算していない方向について、ステップＳ２以下の処理を繰り返す。
【００７６】
そして、ステップＳ６において、ステップＳ２で８方向すべてについて差分を演算したと判定された場合、ステップＳ７に進み、他の領域に統合可能なＳＤ画素が存在しないかどうかが判定される。ステップＳ７において、他の領域に統合可能なＳＤ画素が存在すると判定された場合、即ち、１画面を構成するＳＤ画素の中に、隣接する画素との画素値の差分が所定の閾値以下となるものが存在する場合、ステップＳ２に戻り、再び、ステップＳ２以下の処理を繰り返す。
【００７７】
一方、ステップＳ７において、他の領域に統合可能なＳＤ画素が存在しないと判定された場合、即ち、１画面を構成するＳＤ画素のうちのいずれを処理対象画素としても、その上、下、左、右、左上、右上、左下、または右下の８方向のうちのいずれの方向に隣接する画素との画素値の差分が所定の閾値以下とならない場合、ステップＳ８に進み、ＩＤメモリ２に記憶された領域ＩＤが、シーケンシャルな値に付け替えられ、処理を終了する。
【００７８】
即ち、ＩＤメモリ２に記憶された領域ＩＤは、ステップＳ４で更新されるために、一部の値（数字）が抜けたものとなる。そこで、ステップＳ８では、ＩＤメモリ２に記憶された領域ＩＤが、例えば、１，２，３，・・・のように連続した（シーケンシャルな）ものとなるように変更される。
【００７９】
以上の処理により、ＩＤメモリ２において、輝度や色などが近似した画素でなる領域、即ち、所定の物体が表示された領域や、所定の色、模様などを有する領域を構成するＳＤ画素に対応するアドレスには、同一の領域ＩＤが記憶される。従って、領域ＩＤは、その値が同一のＳＤ画素が同一の領域を構成することを表す。
【００８０】
なお、以上においては、画素どうしを統合して、ＳＤ画像を領域分割するようにしたが、領域分割統合回路１には、その他、例えば、ＳＤ画像を、幾つかの画素でなる所定のブロックに分割し、そのブロックどうしを統合して、ＳＤ画像を領域分割させるようにすることなども可能である。
【００８１】
即ち、この場合、領域分割統合回路１では、まず最初に、ＳＤ画像を、横×縦がＭ×Ｎ画素でなる小ブロックに分割される（但し、Ｍ，Ｎは、いずれも正の整数）。
【００８２】
その後、領域分割統合回路１では、小ブロックに分割されたＳＤ画像に対して、図３に示すフローチャートにしたがった処理が施される。
【００８３】
即ち、ステップＳ１１において、ＩＤメモリ２の記憶内容が所定の初期値に初期化される。具体的には、例えば、ＩＤメモリ２の各小ブロックに対応するアドレスに対して、ラスタスキャン順に、正の整数値が、領域ＩＤとして、シーケンシャルにセットされる。
【００８４】
従って、ＩＤメモリ２の記憶容量は、画素どうしを統合する場合においては、１画面を構成するＳＤ画素の数に対応する分だけ必要であるが、小ブロックどうしを統合する場合においては、１画面を分割することにより得られる小ブロックの数に対応する分だけあれば良い。
【００８５】
そして、ステップＳ１２において、ある小ブロックを処理対象の小ブロック（以下、適宜、処理対象小ブロックという）とし、その処理対象小ブロックを構成するＳＤ画素の画素値（輝度や色差信号）のヒストグラム（濃度分布）（画素値の分布）が求められる。さらに、ステップＳ１２では、処理対象小ブロックの上、下、左、右、左上、右上、左下、または右下の８方向のうちのいずれかの方向に隣接する小ブロック（以下、適宜、隣接小ブロックという）を構成するＳＤ画素の画素値のヒストグラムも求められ、ステップＳ１３に進む。
【００８６】
ステップＳ１３では、処理対象小ブロックおよび隣接小ブロックのヒストグラムに基づいて、処理対象小ブロックと隣接小ブロックとを、１つの領域を構成するものとして統合すべきかどうかが判定される。ステップＳ１３において、処理対象小ブロックと隣接小ブロックとを、１つの領域に統合すべきでないと判定された場合、即ち、処理対象小ブロックのヒストグラムと隣接小ブロックのヒストグラムとが近似していない場合、ステップＳ１４をスキップして、ステップＳ１５に進む。
【００８７】
また、ステップＳ１３において、処理対象小ブロックと隣接小ブロックとを、１つの領域に統合すべきと判定された場合、即ち、処理対象小ブロックのヒストグラムと隣接小ブロックのヒストグラムとが近似している場合（例えば、処理対象小ブロックのヒストグラムの各画素値に対応する度数と、隣接小ブロックのヒストグラムの各画素値に対応する度数との差分をとり、各画素値に対応する度数の差分の絶対値和が所定の閾値以下である場合など）、ステップＳ１４に進み、処理対象小ブロックと隣接小ブロックとが１つの領域に統合される。
【００８８】
即ち、ステップＳ１４では、ＩＤメモリ２の、処理対象小ブロックおよび隣接小ブロックに対応するアドレスに記憶された領域ＩＤが、同一の値に更新される。具体的には、処理対象小ブロックまたは隣接小ブロックのうちのいずれか一方の領域ＩＤが、他方の領域ＩＤと同一の値に更新される。
【００８９】
なお、処理対象小ブロックまたは隣接小ブロックが既にある領域に統合している場合には、例えば、大きい領域に属している方の小ブロックの領域ＩＤの値に、他方の小ブロックの領域ＩＤが更新される。
【００９０】
ＩＤメモリ２の更新後、ステップＳ１４からＳ１５に進み、１画面を構成する小ブロックすべてを、処理対象小ブロックとして、ステップＳ１２の処理を行ったかどうかが判定される。ステップＳ１５において、１画面を構成する小ブロックすべてを、処理対象小ブロックとして、まだ、ステップＳ１２の処理を行っていないと判定された場合、ステップＳ１２に戻り、まだ処理対象小ブロックとされていない小ブロックを処理対象小ブロックとして、ステップＳ１２以下の処理を繰り返す。
【００９１】
また、ステップＳ１５において、１画面を構成する小ブロックすべてを、処理対象小ブロックとして、ステップＳ１２の処理を行ったと判定された場合、ステップＳ１６に進み、上述の８方向すべての隣接小ブロックについて、ステップＳ１３で統合すべきかどうかの判定処理を行ったかどうかが判定される。ステップＳ１６において、８方向すべての隣接小ブロックについて、まだステップＳ１３の判定処理を行っていないと判定された場合、ステップＳ１２に戻り、まだステップＳ１３の判定処理を行っていない方向について、ステップＳ１２以下の処理を繰り返す。
【００９２】
そして、ステップＳ１６において、８方向すべてについて、ステップＳ１３の判定処理を行ったと判定された場合、ステップＳ１７に進み、他の領域に統合可能な小ブロックが存在しないかどうかが判定される。ステップＳ１７において、他の領域に統合可能な小ブロックが存在すると判定された場合、即ち、１画面を構成する小ブロックの中に、隣接する小ブロックとのヒストグラムが近似するものが存在する場合、ステップＳ１２に戻り、再び、ステップＳ１２以下の処理を繰り返す。
【００９３】
一方、ステップＳ１７において、他の領域に統合可能な小ブロックが存在しないと判定された場合、即ち、１画面を構成する小ブロックの中に、隣接する小ブロックとのヒストグラムが近似するものが存在しない場合、ステップＳ１８に進み、図２のステップＳ８における場合と同様に、ＩＤメモリ２に記憶された領域ＩＤが、シーケンシャルな値に付け替えられ、処理を終了する。
【００９４】
以上の処理により、ＩＤメモリ２において、輝度や色などが近似した小ブロックでなる領域、即ち、所定の物体が表示された領域や、所定の色、模様などを有する領域を構成する小ブロックに対応するアドレスには、同一の領域ＩＤが記憶される。
【００９５】
なお、図３における場合において、ＩＤメモリ２として、１画面を構成するＳＤ画素の数に対応する分だけの記憶容量を有するメモリを使用し、領域ＩＤを、各ＳＤ画素に割り当て、その更新を、小ブロックを構成する複数のＳＤ画素単位で行うようにすれば、基本的には、図２における場合とほぼ同様の領域分割結果を得ることができる。
【００９６】
ここで、図２や図３のように、画素または小ブロックを統合して領域分割をする手法は、いわばボトムアップの手法ということができるが、領域分割は、その他、ＳＤ画像について、例えば、エッジ検出や、細線化、追跡などの処理を施すことによりエッジを抽出し、そのエッジで囲まれる閉領域を検出するような、いわばトップダウンの手法によって行うことも可能である。
【００９７】
以上のようにして、ＩＤメモリ２に、１画面のＳＤ画像の領域分割結果としての領域ＩＤの書き込みが終了すると、同一領域判断回路３では、ＩＤメモリ２を参照して、注目画素、即ち、適応処理により予測値を求めようとするＨＤ画素と特性の近似しているＳＤ画素からなる領域である近似特性領域が、ＳＤ画像から抽出される。
【００９８】
即ち、本実施の形態においては、例えば、図４に示すように、注目画素が、その右下方向、下方向、左下方向、右方向、中心、左方向、右上方向、上方向、または左上方向の位置にそれぞれ配置されるような、横×縦が７×７画素の９個のブロック（以下、適宜、領域判断ブロックという）１乃至９があらかじめ設定されており、同一領域判断回路３では、これらの９個の領域判断ブロック１乃至９のうち、注目画素と特性の最も近似しているＳＤ画素からなるものが、近似特性領域として抽出される。
【００９９】
具体的には、図５のフローチャートに示すように、まず最初に、ステップＳ２１において、注目画素についての領域ＩＤが、ＩＤメモリ２を参照することにより認識される。即ち、ステップＳ２１では、注目画素と同一の位置にあるＳＤ画素の領域ＩＤが、注目画素についての領域ＩＤとして認識される。
【０１００】
ここで、注目画素、即ち、ＨＤ画素は、ＳＤ画素より数が多いため、注目画素の位置に、ＳＤ画素が存在しない場合がある。このような場合は、例えば、注目画素に最も近いＳＤ画素の領域ＩＤや、その周辺にあるＳＤ画素の領域ＩＤのうち、同一の値が最も多いものなどが、注目画素についての領域ＩＤとして認識される。
【０１０１】
その後、ステップＳ２２に進み、領域判断ブロック１乃至９それぞれを識別するためのブロックＩＤを表す変数ｉが、例えば１に初期化されるとともに、同一の値が最も多い領域ＩＤの数を保持しておく変数ｍａｘが、例えば０に初期化され、ステップＳ２３に進む。
【０１０２】
ステップＳ２３では、領域判断ブロック＃ｉを構成するＳＤ画素のうち、注目画素についての領域ＩＤと同一の値の領域ＩＤを有するもの（以下、適宜、同一領域ＩＤという）の数が、ＩＤメモリ２を参照してカウント（計数）される。そして、ステップＳ２４に進み、同一領域ＩＤの数が、変数ｍａｘと比較され、同一領域ＩＤの数が、変数ｍａｘより大きい場合（以上の場合）のみ、変数ｍａｘが、同一領域ＩＤの数に更新され、ステップＳ２５に進む。
【０１０３】
ステップＳ２５では、変数ｉが１だけインクリメントされ、ステップＳ２９に進み、変数ｉが９より大きいかどうかが判定される。ステップＳ２９において、変数ｉが９より大きくないと判定された場合、ステップＳ２３に戻る。また、ステップＳ２９において、変数ｉが９より大きいと判定された場合、即ち、領域判断ブロック１乃至９のすべてについて、同一領域ＩＤの数をカウントし、その数の最大値が、変数ｍａｘにセットされた場合、ステップＳ２７に進み、近似特性領域が決定され、処理を終了する。
【０１０４】
即ち、ステップＳ２７では、領域判断ブロック１乃至９の中から、変数ｍａｘにセットされている数の同一領域ＩＤを有するものが検出され、これが近似特性領域とされる。さらに、ステップＳ２７では、近似特性領域とされた領域判断ブロック＃ｉのブロックＩＤ＃ｉが出力され、処理を終了する。
【０１０５】
なお、変数ｍａｘが所定の閾値以下である場合は、即ち、領域判断ブロック１乃至９のうちのいずれも、同一領域ＩＤが付されたＳＤ画素を、所定の閾値以上の数だけ有していない場合は、変数ｍａｘにセットされている数の同一領域ＩＤを有する領域判断ブロックではなく、例えば、注目画素が中心の位置に配置されている領域判断ブロック５（図４）を、近似特性領域とすることなども可能である。
【０１０６】
図１に示したように、同一領域判断回路３から出力されたブロックＩＤは、クラス分類回路４および遅延回路５に供給される。
【０１０７】
クラス分類回路４には、ブロックＩＤの他、遅延回路７からＳＤ画像が供給されるようになされており、そこでは、同一領域判断回路３が出力するブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用い、例えば、図７で説明した場合と同様にしてクラス分類が行われる。そして、クラス分類回路４では、そのクラス分類により得られたクラスの、例えば上位ビットに、同一領域判断回路３が出力するブロックＩＤを付加したものを、新しいクラスとして、係数ＲＯＭ９のアドレス端子に出力する。
【０１０８】
係数ＲＯＭ９には、後述する学習により得られた予測係数が、クラスごとに記憶されており、係数ＲＯＭ９は、クラス分類回路４からクラスを受信すると、そのクラスに対応する予測係数を読み出し、予測演算回路１０に供給する。
【０１０９】
一方、遅延回路５では、ブロックＩＤが所定の時間だけ遅延され、予測タップ生成回路６に供給される。予測タップ生成回路６には、遅延回路５からブロックＩＤが供給される他、遅延回路８からＳＤ画像が供給されるようになされており、そこでは、遅延回路５からのブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用い、例えば、図７で説明した場合と同様にして予測タップが生成される。この予測タップは、予測タップ生成回路６から予測演算回路１０に出力される。
【０１１０】
予測演算回路１０では、図７で説明したように、予測係数と予測タップとからなる線形一次式が演算されることにより、注目画素の予測値が求められる。
【０１１１】
従って、注目画素の予測値が、近似特性領域、即ち、注目画素と特性の近似しているＳＤ画素からなる領域を構成するＳＤ画素を用いてクラス分類され、さらに予測タップが生成されることにより求められるため、例えば、所定の物体が表示された領域や、所定の色、模様を有する領域などの特性が近似している領域のＨＤ画素の予測値は、基本的には、その領域のＳＤ画素のみから求められるようになり、これにより、ＨＤ画像において、所定の物体が表示された領域や、所定の色、模様を有する領域などの境界部分の画質の劣化を低減することができる。
【０１１２】
次に、図６は、図１の係数ＲＯＭ９に記憶させる予測係数を算出する学習処理を行う学習装置の一実施の形態の構成を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、この学習装置は、領域分割統合回路２２，ＩＤメモリ２３、同一領域判断回路２４、および遅延回路２５が新たに設けられている他は、図９の学習装置と基本的に同様に構成されている。
【０１１３】
領域分割統合回路２２，ＩＤメモリ２３、同一領域判断回路２４、または遅延回路２５は、図１における領域分割統合回路１，ＩＤメモリ２，同一領域判断回路３、または遅延回路７とそれぞれ同一構成のものとされ、また、クラス分類回路２６または予測タップ生成回路２７は、やはり図１におけるクラス分類回路４または予測タップ生成回路６とそれぞれ同一構成のものとされている。
【０１１４】
従って、図６の学習処理装置では、クラス分類回路２６において、同一領域判断回路２４が出力するブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用いてクラス分類が行われ、そのクラス分類により得られたクラスの上位ビットに、同一領域判断回路２４が出力するブロックＩＤを付加したものが、新しいクラスとして、予測タップメモリ２９および教師データメモリ３０のアドレス端子に供給される。
【０１１５】
また、予測タップ生成回路２７では、同一領域判断回路２４が出力するブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用いて予測タップが生成される。この予測タップは、予測タップ生成回路６から予測タップメモリ２９に供給される。
【０１１６】
以下、予測タップメモリ２９または教師データメモリ３０では、ブロックＩＤをも含むクラスに対応するアドレスに、学習データとしての予測タップまたは教師データとしてのＨＤ画素（注目画素）がそれぞれ記憶され、演算回路３１では、予測タップメモリ２９および教師データメモリ３０の記憶値を用いて、ブロックＩＤをも含むクラスごとに、予測係数が算出される。
【０１１７】
以上、本発明を、ＳＤ画像をＨＤ画像に変換する画像変換装置に適用した場合について説明したが、本発明は、その他、例えば、画像の拡大処理などを行う場合にも適用可能である。
【０１１８】
なお、本実施の形態においては、係数ＲＯＭ９（図１）には、各クラスに対応するアドレスに、予測係数を記憶させるようにしたが、係数ＲＯＭ９には、その他、例えば、その予測係数を算出するのに用いた教師データの平均値などを記憶させるようにすることが可能である。この場合、係数ＲＯＭ９に対して、クラスをアドレスとして与えるだけで、適応処理により求められるＨＤ画素の予測値が得られるようになり、予測演算回路１０を設けずに済むようになる。
【０１１９】
また、本実施の形態においては、特に言及しなかったが、図１のクラス分類回路４（図６のクラス分類回路２６についても同様）には、近似特性領域内のすべてのＳＤ画素を用いてクラス分類を行わせるようにすることもできるし、そのうちの幾つかを用いてクラス分類を行わせるようにすることも可能である。同様に、図１の予測タップ生成回路６（図６の予測タップ生成回路２７についても同様）にも、近似特性領域内のすべてのＳＤ画素を予測タップとさせるようにすることもできるし、そのうちの幾つかを予測タップとさせるようにすることも可能である。
【０１２０】
但し、処理の高速化の観点からは、近似特性領域内のすべてのＳＤ画素ではなく、その中の幾つかを用いて、クラス分類を行わせ、また、予測タップを生成させるようにするのが望ましい。そして、このように、近似特性領域内の幾つかのＳＤ画素を用いて、クラス分類や予測タップの生成を行う場合、図４に示した領域判断ブロック１乃至９のうちのいずれが近似特性領域とされたかによって、用いるＳＤ画素を変えることができる。即ち、例えば、領域判断ブロック１が近似特性領域とされた場合には、その右下済みの１６のＳＤ画素を用い、また、領域判断ブロック５が近似特性領域とされた場合には、その中心にある１６のＳＤ画素を用いて、クラス分類や予測タップの生成を行うようにすることができる。さらに、クラス分類を行う場合と、予測タップの生成を行う場合とで、近似特性領域内において用いるＳＤ画素は同一でなくてもかまわない。
【０１２１】
また、本実施の形態においては、近似特性領域となる領域判断ブロックとして、図４に示したように、９個のブロックをあらかじめ用意しておくようにしたが、領域判断ブロックの数は９に限定されるものではない。
【０１２２】
さらに、本実施の形態では、領域判断ブロック１乃至９をあらかじめ用意しておき、そのうちの、注目画素についての領域ＩＤと同一の領域ＩＤのＳＤ画素の数が最も多いものを、近似特性領域とするようにしたが、このような領域判断ブロックをあらかじめ用意せず、注目画素についての領域ＩＤと同一の領域ＩＤが付されたＳＤ画素で構成される領域を検出し、この領域を、近似特性領域とするようにすることも可能である。但し、この場合、近似特性領域は任意の形状をとり得るので、領域判断ブロックを用意しておく場合に比較して、処理が、多少複雑化することになる。
【０１２３】
また、本実施の形態では、領域判断ブロックの形状を正方形としたが（図４）、その形状は、正方形に限らず、例えば、十字形や、ひし形などの任意の形状とすることが可能である。
【０１２４】
【発明の効果】
本発明の画像処理装置および画像処理方法によれば、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素が検出され、統合されてなる領域、または第１の画像が所定のブロックに分割され、画素値の分布が近似するブロックどうしが統合されてなる領域で、第１の画像が複数領域に分割され、分割された複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域が近似特性領域として第１の画像から抽出され、注目画素が、近似特性領域を構成する画素に基づいてクラス分類され、第１の画像から抽出された近似特性領域を構成する画素の画素値と、クラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理が行われる。従って、例えば、所定の物体が表示された領域や、所定の色、模様を有する領域などの境界部分の画質の劣化を低減した第２の画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の一実施の形態の構成を示すブロック図である。
【図２】図１の領域分割統合回路１の処理を説明するためのフローチャートである。
【図３】図１の領域分割統合回路１の処理を説明するためのフローチャートである。
【図４】領域判断ブロックを示す図である。
【図５】図１の同一領域判断回路３の処理を説明するためのフローチャートである。
【図６】本発明を適用した学習装置の一実施の形態の構成を示すブロック図である。
【図７】本件出願人が先に提案した画像変換装置の構成例を示すブロック図である。
【図８】図７のクラス分類回路４の処理を説明するための図である。
【図９】本件出願人が先に提案した学習装置の構成例を示すブロック図である。
【符号の説明】
１ 領域分割統合回路， ２ ＩＤメモリ， ３ 同一領域判断回路， ４ クラス分類回路， ５ 遅延回路， ６ 予測タップ生成回路， ７，８ 遅延回路， ９ 係数ＲＯＭ， １０ 予測演算回路， ２１ 間引き回路， ２２領域分割統合回路， ２３ ＩＤメモリ， ２４ 同一領域判断回路， ２５遅延回路， ２６ クラス分類回路， ２７ 予測タップ生成回路， ２８ 遅延回路， ２９ 予測タップメモリ， ３０ 教師データメモリ， ３１ 演算回路
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、例えば、標準解像度の画像を、高解像度の画像に変換する場合などに用いて好適な画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）（第１の画像）を、高解像度の画像（以下、適宜、ＨＤ画像という）（第２の画像）に変換したり、また、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素の画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画像の成分（高周波成分）を復元することはできないため、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置を先に提案している。
【０００５】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０００６】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００７】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（１）
【０００８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【０００９】
ＸＷ＝Ｙ’・・・（２）
【００１０】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００１１】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【００１２】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１６】
【数５】
式（４）および（５）より、式（６）が得られる。
【００１８】
【数６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００２０】
【数７】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００２２】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００２４】
図７は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【００２５】
ＳＤ画像は、クラス分類回路４および遅延回路８に供給されるようになされており、クラス分類回路４では、適応処理により予測値を求めようとするＨＤ画素（以下、適宜、注目画素という）が、ＳＤ画像に基づいて、所定のクラスにクラス分類される。
【００２６】
即ち、クラス分類回路４は、まず最初に、注目画素の周辺にあるＳＤ画素として、例えば、注目画素からの距離が所定値以下のＳＤ画素でなるブロック（以下、適宜、処理ブロックという）を、ＳＤ画像から抽出し、その処理ブロックを構成する、例えばすべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ＲＯＭ９のアドレス端子（ＡＤ）に供給する。
【００２７】
具体的には、クラス分類回路４は、例えば、図８に示すように、注目画素を中心とする４×４のＳＤ画素（同図において○印で示す）でなる処理ブロックを、ＳＤ画像から抽出し、これらの１６のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【００２８】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、１６のＳＤ画素の画素値のパターン数は、（２8）16通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００２９】
そこで、クラス分類を行う前の前処理として、処理ブロックには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）処理などが施される。
【００３０】
即ち、ＡＤＲＣ処理では、まず、処理ブロックを構成する１６のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲを処理ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、処理ブロックを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、処理ブロックを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【００３１】
その結果、処理ブロックを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、１６のＳＤ画素の画素値のパターン数は、（２1）16通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【００３２】
係数ＲＯＭ９は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路４からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路１０に供給する。
【００３３】
一方、遅延回路８では、予測演算回路１０に対して、係数ＲＯＭ９から予測係数が供給されるタイミングと、後述する予測タップ生成回路６から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、ＳＤ画像が遅延され、予測タップ生成回路６に供給される。
【００３４】
予測タップ生成回路６では、そこに供給されるＳＤ画像から、予測演算回路１０において注目画素の予測値を求めるのに用いるＳＤ画素が抽出され、これが予測タップとして、予測演算回路１０に供給される。即ち、予測タップ生成回路６では、ＳＤ画像から、例えば、クラス分類回路４で抽出されたとの同一の処理ブロックが抽出され、その処理ブロックを構成するＳＤ画素が、予測タップとして、予測演算回路１０に供給される。
【００３５】
予測演算回路１０では、係数ＲＯＭ９からの予測係数ｗ，ｗ2，・・・と、予測タップ生成回路６からの予測タップｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【００３６】
以下同様の処理が、その他のＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【００３７】
次に、図９は、図７の係数ＲＯＭ９に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【００３８】
学習における教師データｙとなるべきＨＤ画像が、間引き回路２１および遅延回路２８に供給されるようになされており、間引き回路２１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。このＳＤ画像は、クラス分類回路２６および予測タップ生成回路２７に供給される。
【００３９】
クラス分類回路２６または予測タップ生成回路２７では、図７のクラス分類回路４または予測タップ生成回路６における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路２６が出力するクラスは、予測タップメモリ２９および教師データメモリ３０のアドレス端子（ＡＤ）に供給され、予測タップ生成回路２７が出力する予測タップは、予測タップメモリ２９に供給される。
【００４０】
予測タップメモリ２９では、クラス分類回路２６から供給されるクラスに対応するアドレスに、予測タップ生成回路２７から供給される予測タップが記憶される。
【００４１】
一方、遅延回路２８では、注目画素に対応するクラスが、クラス分類回路２６から教師データメモリ３０に供給される時間だけ、ＨＤ画像が遅延され、そのうちの、注目画素であるＨＤ画素の画素値だけが、教師データとして、教師データメモリ３０に供給される。
【００４２】
そして、教師データメモリ３０では、クラス分類回路２６から供給されるクラスに対応するアドレスに、遅延回路２８から供給される教師データが記憶される。
【００４３】
以下同様の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素が注目画素とされるまで繰り返される。
【００４４】
以上のようにして、予測タップメモリ２９または教師データメモリ３０の同一のアドレスには、図８において○印で示したＳＤ画素または図８において×印で示したＨＤ画素とそれぞれ同一の位置関係にあるＳＤ画素またはＨＤ画素が、学習データｘまたは教師データｙとして記憶される。
【００４５】
なお、予測タップメモリ２９と教師データメモリ３０においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【００４６】
その後、演算回路３１は、予測タップメモリ２９または教師データメモリ３０から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路３１では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【００４７】
以上のようにして、演算回路３１で求められたクラスごとの予測係数が、図７の係数ＲＯＭ９における、そのクラスに対応するアドレスに記憶されている。
【００４８】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【００４９】
【発明が解決しようとする課題】
ところで、上述した画像変換装置や学習装置においては、予測タップとして用いられるＳＤ画素や、クラス分類に用いられるＳＤ画素は、画像とは無関係に選択されるようになされている。
【００５０】
即ち、画像は、輝度値や色などが近似した画素でなる領域、即ち、所定の物体が表示された領域や、所定の色、模様を有する領域などに分割し得るが、予測タップとして用いられるＳＤ画素や、クラス分類に用いられるＳＤ画素は、そのような領域を無視して、例えば、上述したように注目画素との位置関係などに基づいて選択される。
【００５１】
このため、稀ではあるが、適応処理により得られるＨＤ画像において、所定の物体が表示された領域や、所定の色、模様を有する領域などの境界部分の画質が劣化することがあった。
【００５２】
本発明は、このような状況に鑑みてなされたものであり、画質の劣化を低減したＨＤ画像を得ることができるようにするものである。
【００５３】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画像を構成する画素の画素値と、所定の予測係数との演算により、上記第１の画像よりも高解像度な第２の画像の画素の予測値を求める適応処理を行う適応処理手段と、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または第１の画像を所定のブロックに分割し、画素値の分布が近似するブロックどうしを統合してなる領域で、第１の画像を複数領域に分割する分割手段と、分割された複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として第１の画像から抽出する領域抽出手段と、注目画素を、近似特性領域を構成する画素に基づいてクラス分類するクラス分類手段とを備え、適応処理手段は、第１の画像から領域抽出手段により抽出された近似特性領域を構成する画素の画素値と、クラス分類手段のクラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理を行い、予測係数は、生徒データとしての第１の画像を構成する画素の画素値との演算により、生徒データに対する教師データとしての第２の画像の画素の予測値を求める適応処理を行うための予測係数を算出する学習処理を行う学習装置により、生徒データとしての第１の画像から抽出された近似特性領域を構成する画素の画素値のみに基づく学習処理がクラスごとに行われることによって、クラスごとに算出されることを特徴とする。
【００５４】
本発明の画像処理方法は、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または第１の画像を所定のブロックに分割し、画素の画素値の分布が近似するブロックどうしを統合してなる領域で、第１の画像を複数領域に分割し、分割された複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として第１の画像から抽出し、注目画素を、近似特性領域を構成する画素に基づいてクラス分類し、第１の画像から抽出された近似特性領域を構成する画素の画素値と、クラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理を行うことを特徴とする。
【００５８】
本発明の画像処理装置および画像処理方法においては、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または第１の画像を所定のブロックに分割し、画素値の分布が近似するブロックどうしを統合してなる領域で、第１の画像を複数領域に分割し、分割した複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として第１の画像から抽出し、注目画素を、近似特性領域を構成する画素に基づいてクラス分類し、第１の画像から抽出された近似特性領域を構成する画素の画素値と、クラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理を行うようになされている。
【００６１】
【発明の実施の形態】
図１は、本発明を適用した画像変換装置の一実施の形態の構成を示している。なお、図中、図７における場合と同様に構成される部分については、同一の符号を付してある。即ち、この画像変換装置は、領域分割統合回路１（領域抽出手段）（統合手段），ＩＤメモリ２、同一領域判断回路３（領域抽出手段）（判定手段）、遅延回路５、および７が新たに設けられている他は、基本的に図７の画像変換装置と同様に構成されている。
【００６２】
領域分割統合回路１および遅延回路７には、例えば、地上回線や、衛星回線、ＣＡＴＶ（CAble TeleVision）網などの伝送路を介して伝送され、または、例えば、光ディスクや、光磁気ディスク、磁気テープなどの記録媒体から再生されたＳＤ画像が供給されるようになされている。
【００６３】
領域分割統合回路１は、ＳＤ画像を構成するＳＤ画素のうち、隣接する画素の画素値との差分が所定の閾値以下となる画素を検出し、１つの領域に統合するようになされている。さらに、領域分割統合回路１は、領域の統合結果を、ＩＤメモリ２に書き込むようにもなされている。
【００６４】
ＩＤメモリ２は、領域分割統合回路１から供給される、後述する領域ＩＤを、ＳＤ画素単位で記憶するようになされている。なお、ＩＤメモリ２は、少なくとも１画面（１フィールドまたは１フレーム）分の領域ＩＤを記憶することのできる記憶容量を有している。
【００６５】
同一領域判断回路３は、ＩＤメモリ２の記憶内容に基づいて、後述するブロックＩＤを求め、クラス分類回路４および遅延回路５に出力するようになされている。
【００６６】
遅延回路５は、同一領域判断回路３が出力するブロックＩＤを、遅延回路８からＨＤ画像が出力されるまで遅延し、予測タップ生成回路６に供給するようになされている。遅延回路７は、そこに入力されるＨＤ画像を、同一領域判断回路３からブロックＩＤが出力されるまで遅延し、クラス分類回路４および遅延回路８に供給するようになされている。
【００６７】
次に、その動作について説明する。
【００６８】
領域分割統合回路１では、１画面ごとのＳＤ画像に対して、図２に示すフローチャートにしたがった処理が施されることにより、ＳＤ画像が、いわゆる領域分割される。
【００６９】
即ち、まず最初に、ステップＳ１において、ＩＤメモリ２の記憶内容が所定の初期値に初期化される。具体的には、例えば、ＩＤメモリ２の各ＳＤ画素に対応するアドレスに対して、ラスタスキャン順に、正の整数値が、領域ＩＤとして、シーケンシャルにセットされる。従って、ステップＳ１の直後は、ＩＤメモリ２の各ＳＤ画素に対応するアドレスに記憶された値は、すべて異なるものとなっている。
【００７０】
そして、ステップＳ２において、あるＳＤ画素を処理対象の画素（以下、適宜、処理対象画素という）とし、処理対象画素と、その上、下、左、右、左上、右上、左下、または右下の８方向のうちのいずれかの方向に隣接する画素（隣接画素）との画素値の差分が演算され、ステップＳ３に進む。ステップＳ３では、ステップＳ２で求められた差分が所定の閾値以下であるかどうかが判定される。ステップＳ３において、処理対象画素と、その隣接画素との差分値が、所定の閾値以下でないと判定された場合、ステップＳ４をスキップして、ステップＳ５に進む。
【００７１】
また、ステップＳ３において、処理対象画素と、その隣接画素との差分値が、所定の閾値以下であると判定された場合、ステップＳ４に進み、処理対象画素と隣接画素とが、例えばある物体が表示された領域などの同一の領域を構成する画素であるとして、１つの領域を構成するように統合される。
【００７２】
即ち、ステップＳ４では、ＩＤメモリ２の、処理対象画素および隣接画素に対応するアドレスに記憶された領域ＩＤが、同一の値に更新される。具体的には、処理対象画素または隣接画素のうちのいずれか一方の領域ＩＤが、他方の領域ＩＤと同一の値に更新される。
【００７３】
なお、処理対象画素または隣接画素が既にある領域に統合されている場合には、例えば、大きい領域に属している方の画素の領域ＩＤの値に、他方の画素の領域ＩＤが更新される。
【００７４】
ＩＤメモリ２の更新後、ステップＳ４からＳ５に進み、１画面を構成するＳＤ画素すべてを、処理対象画素として、ステップＳ２の処理を行ったかどうかが判定される。ステップＳ５において、１画面を構成するＳＤ画素すべてを、処理対象画素として、まだ、ステップＳ２の処理を行っていないと判定された場合、ステップＳ２に戻り、まだ処理対象画素とされていないＳＤ画素を処理対象画素として、ステップＳ２以下の処理を繰り返す。
【００７５】
また、ステップＳ５において、１画面を構成するＳＤ画素すべてを、処理対象画素として、ステップＳ２の処理を行ったと判定された場合、ステップＳ６に進み、ステップＳ２で、上述の８方向すべてについて差分を演算したかどうかが判定される。ステップＳ６において、ステップＳ２で８方向すべてについて、まだ差分を演算していないと判定された場合、ステップＳ２に戻り、まだ差分を演算していない方向について、ステップＳ２以下の処理を繰り返す。
【００７６】
そして、ステップＳ６において、ステップＳ２で８方向すべてについて差分を演算したと判定された場合、ステップＳ７に進み、他の領域に統合可能なＳＤ画素が存在しないかどうかが判定される。ステップＳ７において、他の領域に統合可能なＳＤ画素が存在すると判定された場合、即ち、１画面を構成するＳＤ画素の中に、隣接する画素との画素値の差分が所定の閾値以下となるものが存在する場合、ステップＳ２に戻り、再び、ステップＳ２以下の処理を繰り返す。
【００７７】
一方、ステップＳ７において、他の領域に統合可能なＳＤ画素が存在しないと判定された場合、即ち、１画面を構成するＳＤ画素のうちのいずれを処理対象画素としても、その上、下、左、右、左上、右上、左下、または右下の８方向のうちのいずれの方向に隣接する画素との画素値の差分が所定の閾値以下とならない場合、ステップＳ８に進み、ＩＤメモリ２に記憶された領域ＩＤが、シーケンシャルな値に付け替えられ、処理を終了する。
【００７８】
即ち、ＩＤメモリ２に記憶された領域ＩＤは、ステップＳ４で更新されるために、一部の値（数字）が抜けたものとなる。そこで、ステップＳ８では、ＩＤメモリ２に記憶された領域ＩＤが、例えば、１，２，３，・・・のように連続した（シーケンシャルな）ものとなるように変更される。
【００７９】
以上の処理により、ＩＤメモリ２において、輝度や色などが近似した画素でなる領域、即ち、所定の物体が表示された領域や、所定の色、模様などを有する領域を構成するＳＤ画素に対応するアドレスには、同一の領域ＩＤが記憶される。従って、領域ＩＤは、その値が同一のＳＤ画素が同一の領域を構成することを表す。
【００８０】
なお、以上においては、画素どうしを統合して、ＳＤ画像を領域分割するようにしたが、領域分割統合回路１には、その他、例えば、ＳＤ画像を、幾つかの画素でなる所定のブロックに分割し、そのブロックどうしを統合して、ＳＤ画像を領域分割させるようにすることなども可能である。
【００８１】
即ち、この場合、領域分割統合回路１では、まず最初に、ＳＤ画像を、横×縦がＭ×Ｎ画素でなる小ブロックに分割される（但し、Ｍ，Ｎは、いずれも正の整数）。
【００８２】
その後、領域分割統合回路１では、小ブロックに分割されたＳＤ画像に対して、図３に示すフローチャートにしたがった処理が施される。
【００８３】
即ち、ステップＳ１１において、ＩＤメモリ２の記憶内容が所定の初期値に初期化される。具体的には、例えば、ＩＤメモリ２の各小ブロックに対応するアドレスに対して、ラスタスキャン順に、正の整数値が、領域ＩＤとして、シーケンシャルにセットされる。
【００８４】
従って、ＩＤメモリ２の記憶容量は、画素どうしを統合する場合においては、１画面を構成するＳＤ画素の数に対応する分だけ必要であるが、小ブロックどうしを統合する場合においては、１画面を分割することにより得られる小ブロックの数に対応する分だけあれば良い。
【００８５】
そして、ステップＳ１２において、ある小ブロックを処理対象の小ブロック（以下、適宜、処理対象小ブロックという）とし、その処理対象小ブロックを構成するＳＤ画素の画素値（輝度や色差信号）のヒストグラム（濃度分布）（画素値の分布）が求められる。さらに、ステップＳ１２では、処理対象小ブロックの上、下、左、右、左上、右上、左下、または右下の８方向のうちのいずれかの方向に隣接する小ブロック（以下、適宜、隣接小ブロックという）を構成するＳＤ画素の画素値のヒストグラムも求められ、ステップＳ１３に進む。
【００８６】
ステップＳ１３では、処理対象小ブロックおよび隣接小ブロックのヒストグラムに基づいて、処理対象小ブロックと隣接小ブロックとを、１つの領域を構成するものとして統合すべきかどうかが判定される。ステップＳ１３において、処理対象小ブロックと隣接小ブロックとを、１つの領域に統合すべきでないと判定された場合、即ち、処理対象小ブロックのヒストグラムと隣接小ブロックのヒストグラムとが近似していない場合、ステップＳ１４をスキップして、ステップＳ１５に進む。
【００８７】
また、ステップＳ１３において、処理対象小ブロックと隣接小ブロックとを、１つの領域に統合すべきと判定された場合、即ち、処理対象小ブロックのヒストグラムと隣接小ブロックのヒストグラムとが近似している場合（例えば、処理対象小ブロックのヒストグラムの各画素値に対応する度数と、隣接小ブロックのヒストグラムの各画素値に対応する度数との差分をとり、各画素値に対応する度数の差分の絶対値和が所定の閾値以下である場合など）、ステップＳ１４に進み、処理対象小ブロックと隣接小ブロックとが１つの領域に統合される。
【００８８】
即ち、ステップＳ１４では、ＩＤメモリ２の、処理対象小ブロックおよび隣接小ブロックに対応するアドレスに記憶された領域ＩＤが、同一の値に更新される。具体的には、処理対象小ブロックまたは隣接小ブロックのうちのいずれか一方の領域ＩＤが、他方の領域ＩＤと同一の値に更新される。
【００８９】
なお、処理対象小ブロックまたは隣接小ブロックが既にある領域に統合している場合には、例えば、大きい領域に属している方の小ブロックの領域ＩＤの値に、他方の小ブロックの領域ＩＤが更新される。
【００９０】
ＩＤメモリ２の更新後、ステップＳ１４からＳ１５に進み、１画面を構成する小ブロックすべてを、処理対象小ブロックとして、ステップＳ１２の処理を行ったかどうかが判定される。ステップＳ１５において、１画面を構成する小ブロックすべてを、処理対象小ブロックとして、まだ、ステップＳ１２の処理を行っていないと判定された場合、ステップＳ１２に戻り、まだ処理対象小ブロックとされていない小ブロックを処理対象小ブロックとして、ステップＳ１２以下の処理を繰り返す。
【００９１】
また、ステップＳ１５において、１画面を構成する小ブロックすべてを、処理対象小ブロックとして、ステップＳ１２の処理を行ったと判定された場合、ステップＳ１６に進み、上述の８方向すべての隣接小ブロックについて、ステップＳ１３で統合すべきかどうかの判定処理を行ったかどうかが判定される。ステップＳ１６において、８方向すべての隣接小ブロックについて、まだステップＳ１３の判定処理を行っていないと判定された場合、ステップＳ１２に戻り、まだステップＳ１３の判定処理を行っていない方向について、ステップＳ１２以下の処理を繰り返す。
【００９２】
そして、ステップＳ１６において、８方向すべてについて、ステップＳ１３の判定処理を行ったと判定された場合、ステップＳ１７に進み、他の領域に統合可能な小ブロックが存在しないかどうかが判定される。ステップＳ１７において、他の領域に統合可能な小ブロックが存在すると判定された場合、即ち、１画面を構成する小ブロックの中に、隣接する小ブロックとのヒストグラムが近似するものが存在する場合、ステップＳ１２に戻り、再び、ステップＳ１２以下の処理を繰り返す。
【００９３】
一方、ステップＳ１７において、他の領域に統合可能な小ブロックが存在しないと判定された場合、即ち、１画面を構成する小ブロックの中に、隣接する小ブロックとのヒストグラムが近似するものが存在しない場合、ステップＳ１８に進み、図２のステップＳ８における場合と同様に、ＩＤメモリ２に記憶された領域ＩＤが、シーケンシャルな値に付け替えられ、処理を終了する。
【００９４】
以上の処理により、ＩＤメモリ２において、輝度や色などが近似した小ブロックでなる領域、即ち、所定の物体が表示された領域や、所定の色、模様などを有する領域を構成する小ブロックに対応するアドレスには、同一の領域ＩＤが記憶される。
【００９５】
なお、図３における場合において、ＩＤメモリ２として、１画面を構成するＳＤ画素の数に対応する分だけの記憶容量を有するメモリを使用し、領域ＩＤを、各ＳＤ画素に割り当て、その更新を、小ブロックを構成する複数のＳＤ画素単位で行うようにすれば、基本的には、図２における場合とほぼ同様の領域分割結果を得ることができる。
【００９６】
ここで、図２や図３のように、画素または小ブロックを統合して領域分割をする手法は、いわばボトムアップの手法ということができるが、領域分割は、その他、ＳＤ画像について、例えば、エッジ検出や、細線化、追跡などの処理を施すことによりエッジを抽出し、そのエッジで囲まれる閉領域を検出するような、いわばトップダウンの手法によって行うことも可能である。
【００９７】
以上のようにして、ＩＤメモリ２に、１画面のＳＤ画像の領域分割結果としての領域ＩＤの書き込みが終了すると、同一領域判断回路３では、ＩＤメモリ２を参照して、注目画素、即ち、適応処理により予測値を求めようとするＨＤ画素と特性の近似しているＳＤ画素からなる領域である近似特性領域が、ＳＤ画像から抽出される。
【００９８】
即ち、本実施の形態においては、例えば、図４に示すように、注目画素が、その右下方向、下方向、左下方向、右方向、中心、左方向、右上方向、上方向、または左上方向の位置にそれぞれ配置されるような、横×縦が７×７画素の９個のブロック（以下、適宜、領域判断ブロックという）１乃至９があらかじめ設定されており、同一領域判断回路３では、これらの９個の領域判断ブロック１乃至９のうち、注目画素と特性の最も近似しているＳＤ画素からなるものが、近似特性領域として抽出される。
【００９９】
具体的には、図５のフローチャートに示すように、まず最初に、ステップＳ２１において、注目画素についての領域ＩＤが、ＩＤメモリ２を参照することにより認識される。即ち、ステップＳ２１では、注目画素と同一の位置にあるＳＤ画素の領域ＩＤが、注目画素についての領域ＩＤとして認識される。
【０１００】
ここで、注目画素、即ち、ＨＤ画素は、ＳＤ画素より数が多いため、注目画素の位置に、ＳＤ画素が存在しない場合がある。このような場合は、例えば、注目画素に最も近いＳＤ画素の領域ＩＤや、その周辺にあるＳＤ画素の領域ＩＤのうち、同一の値が最も多いものなどが、注目画素についての領域ＩＤとして認識される。
【０１０１】
その後、ステップＳ２２に進み、領域判断ブロック１乃至９それぞれを識別するためのブロックＩＤを表す変数ｉが、例えば１に初期化されるとともに、同一の値が最も多い領域ＩＤの数を保持しておく変数ｍａｘが、例えば０に初期化され、ステップＳ２３に進む。
【０１０２】
ステップＳ２３では、領域判断ブロック＃ｉを構成するＳＤ画素のうち、注目画素についての領域ＩＤと同一の値の領域ＩＤを有するもの（以下、適宜、同一領域ＩＤという）の数が、ＩＤメモリ２を参照してカウント（計数）される。そして、ステップＳ２４に進み、同一領域ＩＤの数が、変数ｍａｘと比較され、同一領域ＩＤの数が、変数ｍａｘより大きい場合（以上の場合）のみ、変数ｍａｘが、同一領域ＩＤの数に更新され、ステップＳ２５に進む。
【０１０３】
ステップＳ２５では、変数ｉが１だけインクリメントされ、ステップＳ２９に進み、変数ｉが９より大きいかどうかが判定される。ステップＳ２９において、変数ｉが９より大きくないと判定された場合、ステップＳ２３に戻る。また、ステップＳ２９において、変数ｉが９より大きいと判定された場合、即ち、領域判断ブロック１乃至９のすべてについて、同一領域ＩＤの数をカウントし、その数の最大値が、変数ｍａｘにセットされた場合、ステップＳ２７に進み、近似特性領域が決定され、処理を終了する。
【０１０４】
即ち、ステップＳ２７では、領域判断ブロック１乃至９の中から、変数ｍａｘにセットされている数の同一領域ＩＤを有するものが検出され、これが近似特性領域とされる。さらに、ステップＳ２７では、近似特性領域とされた領域判断ブロック＃ｉのブロックＩＤ＃ｉが出力され、処理を終了する。
【０１０５】
なお、変数ｍａｘが所定の閾値以下である場合は、即ち、領域判断ブロック１乃至９のうちのいずれも、同一領域ＩＤが付されたＳＤ画素を、所定の閾値以上の数だけ有していない場合は、変数ｍａｘにセットされている数の同一領域ＩＤを有する領域判断ブロックではなく、例えば、注目画素が中心の位置に配置されている領域判断ブロック５（図４）を、近似特性領域とすることなども可能である。
【０１０６】
図１に示したように、同一領域判断回路３から出力されたブロックＩＤは、クラス分類回路４および遅延回路５に供給される。
【０１０７】
クラス分類回路４には、ブロックＩＤの他、遅延回路７からＳＤ画像が供給されるようになされており、そこでは、同一領域判断回路３が出力するブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用い、例えば、図７で説明した場合と同様にしてクラス分類が行われる。そして、クラス分類回路４では、そのクラス分類により得られたクラスの、例えば上位ビットに、同一領域判断回路３が出力するブロックＩＤを付加したものを、新しいクラスとして、係数ＲＯＭ９のアドレス端子に出力する。
【０１０８】
係数ＲＯＭ９には、後述する学習により得られた予測係数が、クラスごとに記憶されており、係数ＲＯＭ９は、クラス分類回路４からクラスを受信すると、そのクラスに対応する予測係数を読み出し、予測演算回路１０に供給する。
【０１０９】
一方、遅延回路５では、ブロックＩＤが所定の時間だけ遅延され、予測タップ生成回路６に供給される。予測タップ生成回路６には、遅延回路５からブロックＩＤが供給される他、遅延回路８からＳＤ画像が供給されるようになされており、そこでは、遅延回路５からのブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用い、例えば、図７で説明した場合と同様にして予測タップが生成される。この予測タップは、予測タップ生成回路６から予測演算回路１０に出力される。
【０１１０】
予測演算回路１０では、図７で説明したように、予測係数と予測タップとからなる線形一次式が演算されることにより、注目画素の予測値が求められる。
【０１１１】
従って、注目画素の予測値が、近似特性領域、即ち、注目画素と特性の近似しているＳＤ画素からなる領域を構成するＳＤ画素を用いてクラス分類され、さらに予測タップが生成されることにより求められるため、例えば、所定の物体が表示された領域や、所定の色、模様を有する領域などの特性が近似している領域のＨＤ画素の予測値は、基本的には、その領域のＳＤ画素のみから求められるようになり、これにより、ＨＤ画像において、所定の物体が表示された領域や、所定の色、模様を有する領域などの境界部分の画質の劣化を低減することができる。
【０１１２】
次に、図６は、図１の係数ＲＯＭ９に記憶させる予測係数を算出する学習処理を行う学習装置の一実施の形態の構成を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、この学習装置は、領域分割統合回路２２，ＩＤメモリ２３、同一領域判断回路２４、および遅延回路２５が新たに設けられている他は、図９の学習装置と基本的に同様に構成されている。
【０１１３】
領域分割統合回路２２，ＩＤメモリ２３、同一領域判断回路２４、または遅延回路２５は、図１における領域分割統合回路１，ＩＤメモリ２，同一領域判断回路３、または遅延回路７とそれぞれ同一構成のものとされ、また、クラス分類回路２６または予測タップ生成回路２７は、やはり図１におけるクラス分類回路４または予測タップ生成回路６とそれぞれ同一構成のものとされている。
【０１１４】
従って、図６の学習処理装置では、クラス分類回路２６において、同一領域判断回路２４が出力するブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用いてクラス分類が行われ、そのクラス分類により得られたクラスの上位ビットに、同一領域判断回路２４が出力するブロックＩＤを付加したものが、新しいクラスとして、予測タップメモリ２９および教師データメモリ３０のアドレス端子に供給される。
【０１１５】
また、予測タップ生成回路２７では、同一領域判断回路２４が出力するブロックＩＤに対応する領域判断ブロック、即ち、近似特性領域内にあるＳＤ画素を用いて予測タップが生成される。この予測タップは、予測タップ生成回路６から予測タップメモリ２９に供給される。
【０１１６】
以下、予測タップメモリ２９または教師データメモリ３０では、ブロックＩＤをも含むクラスに対応するアドレスに、学習データとしての予測タップまたは教師データとしてのＨＤ画素（注目画素）がそれぞれ記憶され、演算回路３１では、予測タップメモリ２９および教師データメモリ３０の記憶値を用いて、ブロックＩＤをも含むクラスごとに、予測係数が算出される。
【０１１７】
以上、本発明を、ＳＤ画像をＨＤ画像に変換する画像変換装置に適用した場合について説明したが、本発明は、その他、例えば、画像の拡大処理などを行う場合にも適用可能である。
【０１１８】
なお、本実施の形態においては、係数ＲＯＭ９（図１）には、各クラスに対応するアドレスに、予測係数を記憶させるようにしたが、係数ＲＯＭ９には、その他、例えば、その予測係数を算出するのに用いた教師データの平均値などを記憶させるようにすることが可能である。この場合、係数ＲＯＭ９に対して、クラスをアドレスとして与えるだけで、適応処理により求められるＨＤ画素の予測値が得られるようになり、予測演算回路１０を設けずに済むようになる。
【０１１９】
また、本実施の形態においては、特に言及しなかったが、図１のクラス分類回路４（図６のクラス分類回路２６についても同様）には、近似特性領域内のすべてのＳＤ画素を用いてクラス分類を行わせるようにすることもできるし、そのうちの幾つかを用いてクラス分類を行わせるようにすることも可能である。同様に、図１の予測タップ生成回路６（図６の予測タップ生成回路２７についても同様）にも、近似特性領域内のすべてのＳＤ画素を予測タップとさせるようにすることもできるし、そのうちの幾つかを予測タップとさせるようにすることも可能である。
【０１２０】
但し、処理の高速化の観点からは、近似特性領域内のすべてのＳＤ画素ではなく、その中の幾つかを用いて、クラス分類を行わせ、また、予測タップを生成させるようにするのが望ましい。そして、このように、近似特性領域内の幾つかのＳＤ画素を用いて、クラス分類や予測タップの生成を行う場合、図４に示した領域判断ブロック１乃至９のうちのいずれが近似特性領域とされたかによって、用いるＳＤ画素を変えることができる。即ち、例えば、領域判断ブロック１が近似特性領域とされた場合には、その右下済みの１６のＳＤ画素を用い、また、領域判断ブロック５が近似特性領域とされた場合には、その中心にある１６のＳＤ画素を用いて、クラス分類や予測タップの生成を行うようにすることができる。さらに、クラス分類を行う場合と、予測タップの生成を行う場合とで、近似特性領域内において用いるＳＤ画素は同一でなくてもかまわない。
【０１２１】
また、本実施の形態においては、近似特性領域となる領域判断ブロックとして、図４に示したように、９個のブロックをあらかじめ用意しておくようにしたが、領域判断ブロックの数は９に限定されるものではない。
【０１２２】
さらに、本実施の形態では、領域判断ブロック１乃至９をあらかじめ用意しておき、そのうちの、注目画素についての領域ＩＤと同一の領域ＩＤのＳＤ画素の数が最も多いものを、近似特性領域とするようにしたが、このような領域判断ブロックをあらかじめ用意せず、注目画素についての領域ＩＤと同一の領域ＩＤが付されたＳＤ画素で構成される領域を検出し、この領域を、近似特性領域とするようにすることも可能である。但し、この場合、近似特性領域は任意の形状をとり得るので、領域判断ブロックを用意しておく場合に比較して、処理が、多少複雑化することになる。
【０１２３】
また、本実施の形態では、領域判断ブロックの形状を正方形としたが（図４）、その形状は、正方形に限らず、例えば、十字形や、ひし形などの任意の形状とすることが可能である。
【０１２４】
【発明の効果】
本発明の画像処理装置および画像処理方法によれば、第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素が検出され、統合されてなる領域、または第１の画像が所定のブロックに分割され、画素値の分布が近似するブロックどうしが統合されてなる領域で、第１の画像が複数領域に分割され、分割された複数領域のうち、第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は注目画素位置が含まれる領域が存在せず注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域が近似特性領域として第１の画像から抽出され、注目画素が、近似特性領域を構成する画素に基づいてクラス分類され、第１の画像から抽出された近似特性領域を構成する画素の画素値と、クラス分類により得られるクラスごとに求められる予測係数のうち、注目画素のクラスに対応する予測係数とを用いて適応処理が行われる。従って、例えば、所定の物体が表示された領域や、所定の色、模様を有する領域などの境界部分の画質の劣化を低減した第２の画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の一実施の形態の構成を示すブロック図である。
【図２】図１の領域分割統合回路１の処理を説明するためのフローチャートである。
【図３】図１の領域分割統合回路１の処理を説明するためのフローチャートである。
【図４】領域判断ブロックを示す図である。
【図５】図１の同一領域判断回路３の処理を説明するためのフローチャートである。
【図６】本発明を適用した学習装置の一実施の形態の構成を示すブロック図である。
【図７】本件出願人が先に提案した画像変換装置の構成例を示すブロック図である。
【図８】図７のクラス分類回路４の処理を説明するための図である。
【図９】本件出願人が先に提案した学習装置の構成例を示すブロック図である。
【符号の説明】
１ 領域分割統合回路， ２ ＩＤメモリ， ３ 同一領域判断回路， ４ クラス分類回路， ５ 遅延回路， ６ 予測タップ生成回路， ７，８ 遅延回路， ９ 係数ＲＯＭ， １０ 予測演算回路， ２１ 間引き回路， ２２領域分割統合回路， ２３ ＩＤメモリ， ２４ 同一領域判断回路， ２５遅延回路， ２６ クラス分類回路， ２７ 予測タップ生成回路， ２８ 遅延回路， ２９ 予測タップメモリ， ３０ 教師データメモリ， ３１ 演算回路
Claims (4)
- 第１の画像を構成する画素の画素値と、所定の予測係数との演算により、上記第１の画像よりも高解像度な第２の画像の画素の予測値を求める適応処理を行う適応処理手段と、
前記第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または前記第１の画像を所定のブロックに分割し、画素値の分布が近似する前記ブロックどうしを統合してなる領域で、前記第１の画像を複数領域に分割する分割手段と、
前記分割された複数領域のうち、前記第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は前記注目画素位置が含まれる領域が存在せず前記注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として前記第１の画像から抽出する領域抽出手段と、
前記注目画素を、前記近似特性領域を構成する画素に基づいてクラス分類するクラス分類手段と
を備え、
前記適応処理手段は、前記第１の画像から前記領域抽出手段により抽出された前記近似特性領域を構成する画素の画素値と、前記クラス分類手段のクラス分類により得られるクラスごとに求められる前記予測係数のうち、前記注目画素のクラスに対応する前記予測係数とを用いて前記適応処理を行い、
前記予測係数は、生徒データとしての前記第１の画像を構成する画素の画素値との演算により、生徒データに対する教師データとしての前記第２の画像の画素の予測値を求める適応処理を行うための予測係数を算出する学習処理を行う学習装置により、生徒データとしての前記第１の画像から抽出された前記近似特性領域を構成する画素の画素値のみに基づく前記学習処理が前記クラスごとに行われることによって、前記クラスごとに算出される
ことを特徴とする画像処理装置。 - 前記第１の画像を構成する画素の画素値と、前記予測係数との前記演算は、前記第１の画像を構成する画素の画素値と、前記予測係数との線形結合である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記予測係数は、生徒データとしての前記第１の画像における画素の画素値と、隣接画素の画素値との差分、または前記第１の画像における画素の画素値の分布を基に、前記第１の画像を複数領域に分割し、前記分割した複数領域のうち、教師データとしての前記第２の画像の画素である注目画素位置が含まれる領域又は前記注目画素位置が含まれる領域が存在しない場合には前記注目画素位置近傍の領域を近似特性領域として前記第１の画像から抽出し、抽出した前記近似特性領域を構成する画素の画素値のみに基づく前記学習処理が行われることによって算出される
ことを特徴とする請求項１に記載の画像処理装置。 - 第１の画像を構成する画素の画素値と、所定の予測係数との演算により、上記第１の画像よりも高解像度な第２の画像の画素の予測値を求める適応処理を行う画像処理方法であって、
前記第１の画像における画素の画素値と、隣接画素の画素値との差分が所定の閾値以下となる画素を検出し、統合してなる領域、または前記第１の画像を所定のブロックに分割し、画素値の分布が近似する前記ブロックどうしを統合してなる領域で、前記第１の画像を複数領域に分割し、
前記分割された複数領域のうち、前記第２の画像の画素である注目画素位置が含まれる領域が複数ある場合、又は前記注目画素位置が含まれる領域が存在せず前記注目画素位置近傍の領域が複数ある場合には、当該複数の領域のうち輝度又は色の特性が近似する画素を最も多く有する領域を近似特性領域として前記第１の画像から抽出し、
前記注目画素を、前記近似特性領域を構成する画素に基づいてクラス分類し、
前記第１の画像から抽出された前記近似特性領域を構成する画素の画素値と、クラス分類により得られるクラスごとに求められる前記予測係数のうち、前記注目画素のクラスに対応する前記予測係数とを用いて前記適応処理を行い、
前記予測係数は、生徒データとしての前記第１の画像を構成する画素の画素値との演算により、生徒データに対する教師データとしての前記第２の画像の画素の予測値を求める適応処理を行うための予測係数を算出する学習処理を行う学習装置により、生徒データとしての前記第１の画像から抽出された前記近似特性領域を構成する画素の画素値のみに基づく前記学習処理が前記クラスごとに行われることによって、前記クラスごとに算出される
ことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31030796A JP3849817B2 (ja) | 1996-11-21 | 1996-11-21 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31030796A JP3849817B2 (ja) | 1996-11-21 | 1996-11-21 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10155139A JPH10155139A (ja) | 1998-06-09 |
| JP3849817B2 true JP3849817B2 (ja) | 2006-11-22 |
Family
ID=18003654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31030796A Expired - Fee Related JP3849817B2 (ja) | 1996-11-21 | 1996-11-21 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3849817B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4581199B2 (ja) * | 2000-08-22 | 2010-11-17 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
| US7710498B2 (en) | 2004-02-13 | 2010-05-04 | Sony Corporation | Image processing apparatus, image processing method and program |
| JP4596248B2 (ja) * | 2004-02-13 | 2010-12-08 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| JP4533689B2 (ja) | 2004-07-15 | 2010-09-01 | 株式会社東芝 | パターン検査方法 |
| JP3965189B2 (ja) | 2005-03-24 | 2007-08-29 | アドバンスド・マスク・インスペクション・テクノロジー株式会社 | 画像補正方法 |
| JP2008051617A (ja) | 2006-08-24 | 2008-03-06 | Advanced Mask Inspection Technology Kk | 画像検査装置、その方法、及びその記録媒体 |
| JP4174536B2 (ja) | 2006-08-24 | 2008-11-05 | アドバンスド・マスク・インスペクション・テクノロジー株式会社 | 画像補正装置、画像検査装置、及び画像補正方法 |
| JP2008268725A (ja) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | 情報処理装置および画像データの高解像度化方法 |
| JP5928024B2 (ja) * | 2012-03-14 | 2016-06-01 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
1996
- 1996-11-21 JP JP31030796A patent/JP3849817B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10155139A (ja) | 1998-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6157736A (en) | Method and apparatus for automatic image segmentation using template matching filters | |
| EP0650287B1 (en) | Image processing method and apparatus | |
| US6686922B2 (en) | Adaptive thresholding using loose gray scale template matching | |
| US5754709A (en) | Method and apparatus for gradation correction and image edge extraction | |
| US5832132A (en) | Image processing using neural network | |
| JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| US6289136B1 (en) | Image processing method and apparatus | |
| JPH08317197A (ja) | 画像処理装置 | |
| EP0679017B1 (en) | Multidimensional multi-valued color image compression and decompression method | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4548942B2 (ja) | 分類適応型空間−時間フォーマット変換方法及び装置 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4120898B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP2843232B2 (ja) | コントラスト強調装置及び方法 | |
| WO2023102189A2 (en) | Iterative graph-based image enhancement using object separation | |
| JP3198705B2 (ja) | 画像特徴抽出方法及びその装置 | |
| JPH05342340A (ja) | 画像処理方法及びその装置 | |
| JP4595162B2 (ja) | 画像信号処理装置及び画像信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060823 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |