JP3671437B2 - ディジタル画像信号の処理装置および処理方法 - Google Patents
ディジタル画像信号の処理装置および処理方法 Download PDFInfo
- Publication number
- JP3671437B2 JP3671437B2 JP20286494A JP20286494A JP3671437B2 JP 3671437 B2 JP3671437 B2 JP 3671437B2 JP 20286494 A JP20286494 A JP 20286494A JP 20286494 A JP20286494 A JP 20286494A JP 3671437 B2 JP3671437 B2 JP 3671437B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- transmission
- pixels
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 98
- 238000000034 method Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 25
- 238000011045 prefiltration Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229940028444 muse Drugs 0.000 description 1
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、サブサンプリング信号を受け取って、間引き画素を補間するのに適用されるディジタル画像信号の処理装置および処理方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムでは、受信側で間引かれ、非伝送の画素を補間する必要がある。
【０００３】
サブサンプリングの一例としてオフセットサブサンプリングが知られている。図１１は、オフセットサブサンプリング回路の一例であって、６１で示す入力端子にディジタルビデオ信号が供給され、プリフィルタ６２を介してサブサンプリング回路６３に供給される。サブサンプリング回路６３には、入力端子６４から所定の周波数のサンプリングパルスが供給される。
【０００４】
サブサンプリング回路６３でなされる２次元のオフセットサブサンプリングの一例を図１２に示す。水平方向（ｘ方向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の２倍に設定し、１画素おきに間引く（間引き画素を×で示す）とともに、垂直方向に隣合う伝送画素（○で示す）をサンプリング間隔の半分（Ｔｘ／２）だけオフセットするものである。このようなオフセットサブサンプリングを行うことによる伝送帯域は、斜め方向の空間周波数に対して水平あるいは垂直方向の空間周波数成分を広帯域化することができる。
【０００５】
サブサンプリング回路６３の出力信号がポストフィルタ６５を介して出力端子６６に取り出される。プリフィルタ６２は、サンプリングされる画像信号の帯域を制限し、ポストフィルタは、不要な、あるいは悪影響を及ぼす信号成分を取り除く。サブサンプリングによって伝送されるデータ量を減少でき、比較的低い速度の伝送路を介してディジタルビデオ信号を伝送できる。また、受信されたオフセットサブサンプリングされた画像信号をモニタに表示したり、プリントアウトする場合には、間引き画素が隣接画素を使用して補間される。
【０００６】
ところで、上述のようなオフセットサブサンプリングは、サンプリングの前のプリフィルタが正しくフィルタリング処理を行っている場合には、非常に有効な方法であるが、例えばハードウエア上の制約によってプリフィルタを充分にかけられない場合や、伝送帯域の広帯域化をはかるためにプリフィルタを充分にかけない場合等では、折返し歪の発生による画質劣化という問題が生じる。
【０００７】
上述の折返し歪の発生を軽減するために、適応補間方法が提案されている。これは、サブサンプリング時に最適な補間方法の判定を予め行っておき、その判定結果を補助情報として伝送あるいは記録する方法である。例えば、水平方向の１／２平均値補間と垂直方向の１／２平均値補間の何れの方が真値により近いかをサブサンプリング時に検出しておき、１画素当り１ビットの補助情報として伝送し、補間時には、この補助情報に従って補間処理を行うものである。
【０００８】
上述の補助情報を使用する適応型補間方法においては、伝送画素に加えて補助情報を伝送する必要があり、データ量の圧縮率が低下する問題を生じる。また、伝送、あるいは記録再生の過程において、補助情報にエラーが生じた場合には、誤った補間がなされるために、再生画像の劣化が生じやすい欠点があった。
【０００９】
この問題を解決する一つの方法として、本願出願人の提案による特開昭６３−４８０８８号公報には、注目間引き画素の値をその周辺の伝送画素と係数の線形１次結合で表し、誤差の二乗和が最小となるように、注目間引き画素の実際の値を使用して最小二乗法によりこの係数の値を決定するものが提案されている。ここでは、線形１次結合の係数を予め学習によって決定し、決定係数がメモリに格納されている。さらに、注目間引き画素を補間する時に、周辺の伝送画素の平均値を計算し、平均値と各画素の値との大小関係に応じて、各画素を１ビットで表現し、（参照画素数×１ビット）のパターンに応じたクラス分けを行い、注目画素を含む画像の局所的特徴を反映した補間値を形成している。このクラス適応処理の方法は、補助情報を必要とせずに、間引き画素を良好に補間することができる。
【００１０】
【発明が解決しようとする課題】
上述の補間方法は、クラス分けを行なう時に、参照する画素数が少なく、クラス分けを細かくできず、補間の精度が低い問題があった。参照する画素数を多くすると、クラス情報を表現するビット数が多くなり、その結果、クラス数も非常に多くなる。このことは、係数を格納するメモリの容量の増大をもたらす。
【００１１】
従って、この発明の目的は、サブサンプリング信号を復号する時に間引き画素をクラス適応予測処理で補間し、その場合のクラス分けの精度が向上されたディジタル画像信号の処理装置および処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
この発明の第１の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素と隣接する第１および第２の伝送画素を規定し、第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第１の方向データを形成し、第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第２の方向データを形成し、第１および第２の方向データを結合してなるクラスコードに基づきクラスを決定するためのクラス分類手段と、
入力ディジタル画像信号中に含まれ、注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、注目間引き画素の値を作成した時に、作成された値と注目間引き画素の真値との誤差を最小とするような、クラス毎に予め学習によって求められた係数が格納されている係数記憶手段と、
係数記憶手段に格納された係数の中からクラス分類手段が決定したクラスに基づいて読み出された係数と注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、注目間引き画素の補間値を生成するための演算手段とからなることを特徴とするディジタル画像信号の処理装置である。
【００１３】
この発明の第２の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素と隣接する第１および第２の伝送画素を規定し、第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第１の方向データを形成し、第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第２の方向データを形成し、第１および第２の方向データを結合してなるクラスコードに基づきクラスを決定するためのクラス分類手段と、
予め学習により獲得された代表値がクラス毎に貯えられ、クラス分類手段によって決定されたクラスと対応する代表値を注目間引き画素の値として出力するためのメモリ手段とからなることを特徴とするディジタル画像信号の処理装置である。
【００１４】
【作用】
間引き画素について、予め学習により獲得された係数と周辺の伝送画素の値との線形１次結合によって補間値、すなわち、予測された間引き画素の値を形成することができる。この係数は、補間しようとする間引き画素を中心とする部分的な小領域の特徴と対応するクラス毎に決定される。クラス分けは、注目間引き画素と隣接する二つの伝送画素を規定し、各伝送画素について方向性を調べる。この方向性が注目間引き画素のクラス情報として採用される。
【００１５】
【実施例】
以下、この発明をサブサンプリング信号補間装置に対して適用した一実施例について説明する。この一実施例は、間引き画素を補間するのみならず、伝送画素の補正をも行なうものである。すなわち、伝送画素についても、プリフィルタおよびポストフィルタを介して伝送されるために、高域成分が失われており、その結果、信号波形がなまる問題が生じる。この問題を解決するために、伝送画素の補正がなされる。
【００１６】
一実施例の構成を示す図１において、１は、オフセットサブサンプリングされたディジタルビデオ信号の入力端子である。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。伝送画素の値は、８ビットのコードで表されている。２は、テレビジョンラスター順序で到来する入力信号をブロックの順序に変換するための時系列変換回路である。
【００１７】
時系列変換回路２の出力信号がクラス分類回路３および４に供給される。クラス分類回路３は、補間の対象の注目間引き画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ５に対してアドレスとして供給される。クラス分類回路４は、補正の対象の注目伝送画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ６に対してアドレスとして供給される。メモリ５から読出された予測係数が補間値生成回路７に供給され、メモリ６から読出された予測係数が補正値生成回路８に供給される。
【００１８】
メモリ５および６には、後述のように、予め学習により獲得された予測係数が格納されている。この係数は、間引き画素の補間値と伝送画素の補正値をそれぞれ予測するために必要とされる。補間値および補正値は、何れも予測値であるが、間引き画素に対する予測値を補間値と称し、伝送画素に対する予測値を補正値と称している。補間値生成回路７および補正値生成回路８に対しては、注目画素の周囲の複数の画素の値が時系列変換回路２から供給される。そして、補間値生成回路７は、注目間引き画素の予測値をメモリ５からの係数と周囲の伝送画素の値との線形１次結合によって生成する。同様に、補正値生成回路８は、注目伝送画素の補正値をメモリ６からの係数と周囲の伝送画素の値との線形１次結合によって生成する
【００１９】
生成された補正値および補間値とが合成回路９に供給され、出力端子１０に間引き画素が補間され、また、フィルタ処理で失われた周波数成分を補償されたディジタルビデオ信号が出力される。図示しないが、出力端子１０に対して時系列変換回路が接続され、ブロックの順序からラスター走査の順序へ変換されたディジタルビデオ信号が形成される。
【００２０】
クラス分類回路３は、注目間引き画素のクラスを決定し、クラス分類回路４は、注目伝送画素のクラスを決定する。最初に、クラス分類回路４について説明すると、これは、注目伝送画素の近傍の伝送画素のレベル分布のパターンに基づいて、この注目伝送画素のクラスを決定する。図２に示すように、注目伝送画素（その真値をｙとする）の上下左右の最も近い距離の伝送画素（ａ、ｂ、ｃ、ｄ）のレベル分布のパターンをクラスとして決定する。一例として、この参照される４画素の平均値Ａｖを求め、平均値Ａｖに対する大小関係によって、周囲の画素を８ビットから１ビットへ圧縮する。すなわち、図３に一例を示すように、平均値Ａｖより大きい値の場合は、`1' を割り当て、平均値Ａｖより小さい値の場合は、`0' を割り当てる。図３の例では、（１０１０）の４ビットのコードが得られる。
【００２１】
クラス分類回路４が発生するクラスコードとしては、周辺画素のみならず、注目伝送画素の値ｙの情報を含むものが使用される。例えば画素値ｙを平均値と比較した１ビットを加えた５ビットが使用できる。この場合、注目伝送画素を１ビットではなくて、注目伝送画素の値ｙをＡＤＲＣによって圧縮した数ビットの量子化値とを組み合わせたものを使用しても良い。すなわち、ＡＤＲＣは、複数の画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出し、各画素の値から最小値ＭＩＮを減算し、最小値が減算された値をダイナミックレンジＤＲで除算し、商を整数化する処理である。
【００２２】
例えば１ビットＡＤＲＣの場合について説明すると、ａ〜ｄおよびｙの５画素の中の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素ａ〜ｄおよびｙの値から最小値ＭＩＮが減算され、最小値除去後の値がダイナミックレンジＤＲで割算される。この割算の商が０．５と比較され、０．５以上の場合は、`1' とされ、商が０．５より少ない場合は、`0' とされる。１ビットＡＤＲＣは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。２ビットＡＤＲＣの場合であれば、ＤＲ／２2 で計算される量子化ステップ幅によって、最小値除去後の値が割算される。
【００２３】
クラス分類回路３は、注目間引き画素（その真値をＹとする）のクラスを決定する。図４は、クラス分類のために使用される伝送画素の配列を示している。注目間引き画素Ｙと隣接する二つの伝送画素例えば左右に位置する画素ＢおよびＤを規定し、画素ＢおよびＤに関してそれぞれ方向性を調べる。図５Ａは、左側の画素Ｄを使用して方向性を調べる様子を示し、図５Ｂは、右側の画素Ｂを使用して方向性を調べる様子を示す。
【００２４】
図５Ａに示すように、画素Ｄを中心として、左右の画素（Ｂ、Ｎ）、上下の画素（Ｇ、Ｈ）、斜め上の画素（Ａ、Ｌ）、斜め下の画素（Ｃ、Ｋ）の配列において、次の差分値Ｄ０〜Ｄ７を計算する。
Ｄ０＝Ｄ−Ｈ、 Ｄ１＝Ｄ−Ｌ、 Ｄ２＝Ｄ−Ｎ、 Ｄ３＝Ｄ−Ｋ
Ｄ４＝Ｄ−Ｇ、 Ｄ５＝Ｄ−Ｃ、 Ｄ６＝Ｄ−Ｂ、 Ｄ７＝Ｄ−Ａ
【００２５】
これらの差分値Ｄ０〜Ｄ７の中の最小値を検出する。この最小値が存在する方向が図５Ｃに示すように、３ビットの方向コードにより指示される。例えば差分値（Ｄ３）が最小であれば、方向コードが（０１１）とされる。図５Ｂに示すように、注目間引き画素Ｙの右側の伝送画素Ｂを使用して、上述と同様に、次の差分値Ｄ０´〜Ｄ７´が形成される。
Ｄ０´＝Ｂ−Ｅ、 Ｄ１´＝Ｂ−Ａ、 Ｄ２´＝Ｂ−Ｄ、 Ｄ３´＝Ｂ−Ｃ
Ｄ４´＝Ｂ−Ｆ、 Ｄ５´＝Ｂ−Ｊ、 Ｄ６´＝Ｂ−Ｍ、 Ｄ７´＝Ｂ−Ｉ
【００２６】
そして、差分値Ｄ０´〜Ｄ７´の中の最小値が検出され、最小値が存在する方向が３ビットの方向コードで指示される。左側の画素について発生した方向コードと右側の画素について発生した方向コードの合計６ビットが注目間引き画素Ｙのクラスコードとして採用される。また、必要に応じて、最小である二つの差分値の極性を示す符号ビット（２ビット）をクラスコードに加えて、合計８ビットのクラスコードを形成しても良い。
【００２７】
さらに、左右の画素（ＢおよびＤ）のみならず、上下の画素（ＡおよびＣ）についてもそれぞれ上述と同様に方向性を求めても良い。また、クラス分けのために、注目間引き画素Ｙの周囲の伝送画素の値を量子化して、その量子化値（ビット数が元の８ビットより１ビットあるいは数ビットへ低減されている）を組み合わせて使用することもできる。量子化としては、上述のＡＤＲＣを使用できる。この場合、方向性を求める画素と、量子化する画素との組合せは、種々可能である。すなわち、方向性を上下の画素（ＡおよびＣ）に関してそれぞれ求め、左右の画素（ＢおよびＤ）をそれぞれ量子化する方法等が可能である。さらに、方向性および量子化を同一の画素についてそれぞれ行なうようにしても良い。例えば方向性を上下の画素に関して求めるとともに、上下の画素を量子化する方法が可能である。
【００２８】
このように、注目間引き画素と隣接する複数の伝送画素について方向性を求めることによって、広い領域の特徴を反映し、然も、少ないビット数、言い換えると少ないクラス数でもって注目間引き画素のクラスを決定することができる。若し、周辺の伝送画素の８ビットデータをそのまま使用すると、クラス数が膨大となり、メモリの容量、メモリの制御回路等のハードウエアの規模が大きくなりすぎる。この発明は、このような問題点を解消できる。
【００２９】
さらに、上述の一実施例では、方向性を求める時に、差分値の最小値を検出しているが、差分値を小さい順に並べた時に、第ｎ番目の差分値を生じさせる方向を方向性データとしても良い。第ｎ番目の差分値を検出することによって、方向性データを求めることの効果について図６を参照して説明する。
【００３０】
図６Ａおよび図６Ｂは、急峻な＜のパターンの画像を示している。図６Ａおよび図６Ｂにおいて、各伝送画素の上側に付された数字は、画素値の相対的なレベル関係を示す。すなわち、値の小さい方から順に、１，２，３，４，５の数字が記入されている。例えば図６Ａにおいて、〔１〕が付された伝送画素Ｅ，Ａ，Ｄ，Ｃ，Ｆが最もレベルが小さい画素であり、これらの画素によって、＜状パターンの谷（最も低いレベル部分）が形成されている。
【００３１】
図６Ａのレベル分布に対して、上述のように差分を計算すると、注目間引き画素の左側の伝送画素Ｄについては、Ｄ−Ｃ（またはＤ−Ａ）が最小値となり、方向コード（１０１）（または（１１１））が求められる。また、右側の画素Ｂについては、Ｂ−Ｊ（またはＢ−Ｉ）が最小となり、（１０１）（または（１１１））の方向コードが求められる。これらの方向コードから注目間引き画素のクラスコードが決定される。
【００３２】
図６Ｂにおいて、伝送画素Ａ，Ｎ，Ｃ等で＜状パターンの谷が形成されている。左側の画素Ｄについて方向を調べると、Ｄ−Ｋ（またはＤ−Ｌ）が最小となり、方向コードとして、（００１）（または（０１１））が得られる。左側の画素Ｂについては、Ｂ−Ｍが最小となり、（１１０）の方向コードが得られる。ここで、画素Ｄについての差分の最小値を生じさせる画素ＬおよびＫは、＜状のエッジの外側に位置するので、注目間引き画素が含まれる画像とは別の画像の画素である可能性が高い。一方、図６Ａの場合では、画素Ｄについて差分の最小値を生じさせる画素ＡまたはＣは、＜状のエッジの内側に位置する。従って、これらの画素は、注目間引き画素が含まれる画像と同一の画像を構成しているものと考えられる。
【００３３】
クラス分けは、注目間引き画素の周辺の画素のレベル分布から、注目間引き画素が含まれる画像の特徴を抽出し、抽出された特徴に基づいてクラスを決定するものである。従って、上述の図６Ｂの場合のように、エッジを挟んで注目間引き画素の画像と異なる画像に含まれる可能性の高い画素を使用して方向性を検出することは、クラス分けの精度の低下をもたらす。
【００３４】
上述した理由から、＜状のエッジの付近の画素のクラス分けを行なう時に、最小値を検出することは、常に最良と言えない。図６Ｂの場合では、Ｄ−Ｂで求められる差分値（これは、最小値ではなく、２番目あるいは３番目の値である）と対応する方向コード（１１０）を形成することが好ましい。一般的には、小さい方（または大きい方）から第ｎ番目の差分と対応して方向コードが形成される。但し、図６Ｂの場合は、特殊なレベル分布と言えるので、最小値の方向と第ｎ番目の値の方向との組み合わせによって、方向コードを生成するのが実際的である。
【００３５】
さて、補間値生成回路７は、メモリ５からの予測係数と周辺伝送画素の値との線形１次結合によって、補間値を生成する。一例として、図４に示すように、クラス分類のために使用したＡ〜Ｐの１６個の画素の値を補間値生成のために使用する。しかしながら、補間値生成のための画素とクラス分けのための画素とが同一の必要はない。補正値生成回路８は、メモリ６からの予測係数の周囲の伝送画素の値の線形１次結合によって、補正値を生成する。この予測のためには、自分自身の値ｙを使用しない。また、予測のために、ａ〜ｄの４画素またはこれより多い数の周囲の伝送画素が使用される。メモリ５および６に格納されている予測係数は、予め学習により獲得されたものである。
【００３６】
図７は、予測係数を決定するための学習時の構成を示す。学習は、図１の入力端子１に供給されるディジタルビデオ信号を原ディジタルビデオ信号から形成する処理と同様の処理を行なう。学習によって、注目伝送画素および注目間引き画素の真値に対する予測値が有する誤差の二乗和を最小とするような係数が最小二乗法により決定される。
【００３７】
図７において、１１で示す入力端子に原ディジタルビデオ信号が供給される。入力端子１１に対して、プリフィルタ１２、サブサンプリング回路１３およびポストフィルタ１５が接続される。サブサンプリング回路１３には、入力端子１４からオフセットサブサンプリングを行うための所定の周波数のサンプリングパルスが供給される。従って、ポストフィルタ１５の出力には、オフセットサブサンプリングされたディジタルビデオ信号が得られる。
【００３８】
ポストフィルタ１５に対して時系列変換回路１６が接続され、ラスター走査の順序からブロックの順序へ変換されたビデオデータがクラス分類回路１７および１８に供給される。クラス分類回路１７は、上述のクラス分類回路３と同様に、周囲の伝送画素Ａ〜Ｐを使用して注目間引き画素のクラスを決定する。クラス分類回路１８は、上述のクラス分類回路４と同様に、注目伝送画素のクラスを決定する。クラス分類回路１７および１８からのクラスコードが係数決定回路１９および２０にそれぞれ供給される。
【００３９】
係数決定回路１９および２０は、線形１次結合で生成される予測値とその真値との誤差の二乗和を最小とするような予測係数を決定する。入力端子１１に供給される原データが時系列変換回路２３に供給され、この回路２３から係数決定回路１９および２０に対して注目間引き画素の真値および注目伝送画素の真値が供給される。また、係数決定回路１９および２０には、予測のために使用される画素が時系列変換回路１６から供給される。
【００４０】
各係数決定回路は、最小二乗法によって最良の予測係数を決定する。決定された予測係数がメモリ２１および２２にそれぞれ格納される。格納アドレスは、クラス分類回路１９および２０からのクラスコードで指示される。一例として、間引き画素の補間値に関する係数決定の処理をソフトウェア処理で行う動作について、図８を参照して説明する。なお、間引き画素の補間値に関する係数決定も、図８と同様の処理でなされる。
【００４１】
まず、ステップ４１から処理の制御が開始され、ステップ４２の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ４３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ４６の予測係数決定へ、終了していなければ、ステップ４４のクラス決定へ制御が移る。
【００４２】
ステップ４４のクラス決定は、上述のように、注目間引き画素と隣接する二つの画素に関してそれぞれ方向コードを生成し、二つの方向コードに基づいて、注目間引き画素のクラスを決定するステップである。次のステップ４５の正規方程式生成では、後述する正規方程式が作成される。
【００４３】
ステップ４３のデータ終了から全データの処理が終了後、制御がステップ４６に移り、ステップ４６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、係数を決める。ステップ４７の予測係数ストアで、予測係数をメモリ２１にストアし、ステップ４８で学習処理の制御が終了する。
【００４４】
図８中のステップ４５（正規方程式生成）およびステップ４６（予測係数決定）の処理をより詳細に説明する。学習時には、注目間引き画素の真値ｙが既知である。注目間引き画素の補間値をｙ´、その周囲の画素の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （１）
を設定する。学習前はｗi が未定係数である。
【００４５】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００４６】
ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決まらないので、誤差ベクトルＥの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする係数を求める。
【００４７】
【数１】
【００４８】
いわゆる最小自乗法による解法である。ここで式（４）のｗi による偏微分係数を求める。
【００４９】
【数２】
【００５０】
式（５）を０にするように各ｗi を決めればよいから、
【００５１】
【数３】
【００５２】
として、行列を用いると
【００５３】
【数４】
【００５４】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解けば、予測係数ｗi が求まり、クラスコードをアドレスとして、この予測係数ｗi をメモリに格納しておく。
【００５５】
図８は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成またはソフトウェアおよびハードウエアを併用した構成によって、学習を行うこともできる。また、補間値および補正値を形成するのに、予測係数による線形１次結合に限らず、これらのデータの値そのものを学習によって予め作成し、この値を補間値および補正値としても良い。
【００５６】
図９は、データの値そのものを予め作成するための学習を説明するためのフローチャートである。制御の開始のステップ５１、学習データ形成のステップ５２、データ終了のステップ５３およびクラス決定のステップ５４は、上述の予測係数を決定するための学習におけるステップ４１、４２、４３および４４と同様の処理を行うステップである。
【００５７】
代表値決定のステップ５５は、クラス毎に真値の平均値を求め、この平均値を代表値として決定するステップである。すなわち、学習の過程で得られた真値の累積値を累積度数で割算することによって、代表値が得られる。このような代表値を求める方法は、重心法と称される。また、代表値を求める場合、データの値そのものを累算すると、累積したデータ量が多くなるので、ブロック内の基準値（ブロック内の複数の画素の大きさを相対的に規定するための値であり、最小値ＭＩＮ、最大値ＭＡＸ、平均値等である）とブロックのダイナミックレンジＤＲで正規化した値を代表値として求めても良い。
【００５８】
すなわち、ブロックの基準値をＢ（例えばブロック内の画素の最小値）とし、ダイナミックレンジをＤＲで表すと、正規化された代表値Ｇは、
Ｇ＝（ｙ−Ｂ）／ＤＲ
で規定される。ステップ５６において、決定された代表値がメモリに格納され、学習が終了する。
【００５９】
このように正規化された値を学習により求めておいた時には、補間値生成または補正値生成のためには、図１０の構成が使用される。図１０は、簡単のために補間値生成のための構成のみを示す。図１０に示すように、時系列変換回路２の出力信号がクラス分類回路３および検出回路２７に供給される。クラス分類回路３からのクラスコードで指示されるメモリ５のアドレスから正規化された代表値が読出される。また、検出回路２７は、予測に使用する複数の伝送画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出する。
【００６０】
メモリ５からの正規化代表値が乗算回路２５に供給され、正規化代表値と検出されたダイナミックレンジＤＲとが乗算される。乗算回路２５の出力が加算回路２６に供給され、検出された最小値ＭＩＮと加算される。この加算回路２６の出力信号が補間値であり、合成回路９に対して生成補間値が供給される。図示しないが、補正値が合成回路９に供給され、出力端子１０に出力信号が取り出される。
【００６１】
なお、補間値および補正値を同一の予測方法により予測するのに限らず、上述した予測式（線形１次結合）による予測、代表値を使用する予測、正規化代表値を使用する予測を組み合わせても良い。
【００６２】
また、この発明におけるクラス分類あるいは予測演算のために、空間的に注目画素の周囲の画素の値を使用するものに限らず、時間方向で注目画素と近い画素（例えば前フレームの同一の画素）も使用することができる。
【００６３】
【発明の効果】
この発明は、注目間引き画素のクラス分けのために、注目間引き画素と隣接する２個以上の伝送画素に関して方向性をそれぞれ調べ、方向性に基づくクラス分けを行なうので、クラス数が多くなり過ぎずに、より広い範囲の画像の特徴を反映したクラス情報を生成でき、従って、高精度にクラス分けを行うことができる。
【００６４】
また、この一実施例では、サンプリングにより間引かれた画素のみならず、伝送画素の値も補正しているので、サンプリングのためのフィルタリング処理によって失われた高域成分を補償することができる。従って、復号信号の波形のなまりを補償でき、復号画像の質を向上できる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】伝送画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図３】伝送画素のクラス分けの方法の一例を説明するための略線図である。
【図４】間引き画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図５】間引き画素のクラス分けを説明するための略線図である。
【図６】間引き画素のクラス分けの具体例を説明するための略線図である。
【図７】予測係数を求めるための学習時の構成の一例のブロック図である。
【図８】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図９】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１０】正規化代表値から補間値を生成するための構成の一例のブロック図である。
【図１１】オフセットサブサンプリングのための構成の一例のブロック図である。
【図１２】２次元のオフセットサブサンプリングの構造を示す略線図である。
【符号の説明】
３，４ クラス分類回路
５，６ 予測係数が格納されたメモリ
７ 補間値生成回路
８ 補正値生成回路
９ 合成回路
【発明の属する技術分野】
この発明は、サブサンプリング信号を受け取って、間引き画素を補間するのに適用されるディジタル画像信号の処理装置および処理方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムでは、受信側で間引かれ、非伝送の画素を補間する必要がある。
【０００３】
サブサンプリングの一例としてオフセットサブサンプリングが知られている。図１１は、オフセットサブサンプリング回路の一例であって、６１で示す入力端子にディジタルビデオ信号が供給され、プリフィルタ６２を介してサブサンプリング回路６３に供給される。サブサンプリング回路６３には、入力端子６４から所定の周波数のサンプリングパルスが供給される。
【０００４】
サブサンプリング回路６３でなされる２次元のオフセットサブサンプリングの一例を図１２に示す。水平方向（ｘ方向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の２倍に設定し、１画素おきに間引く（間引き画素を×で示す）とともに、垂直方向に隣合う伝送画素（○で示す）をサンプリング間隔の半分（Ｔｘ／２）だけオフセットするものである。このようなオフセットサブサンプリングを行うことによる伝送帯域は、斜め方向の空間周波数に対して水平あるいは垂直方向の空間周波数成分を広帯域化することができる。
【０００５】
サブサンプリング回路６３の出力信号がポストフィルタ６５を介して出力端子６６に取り出される。プリフィルタ６２は、サンプリングされる画像信号の帯域を制限し、ポストフィルタは、不要な、あるいは悪影響を及ぼす信号成分を取り除く。サブサンプリングによって伝送されるデータ量を減少でき、比較的低い速度の伝送路を介してディジタルビデオ信号を伝送できる。また、受信されたオフセットサブサンプリングされた画像信号をモニタに表示したり、プリントアウトする場合には、間引き画素が隣接画素を使用して補間される。
【０００６】
ところで、上述のようなオフセットサブサンプリングは、サンプリングの前のプリフィルタが正しくフィルタリング処理を行っている場合には、非常に有効な方法であるが、例えばハードウエア上の制約によってプリフィルタを充分にかけられない場合や、伝送帯域の広帯域化をはかるためにプリフィルタを充分にかけない場合等では、折返し歪の発生による画質劣化という問題が生じる。
【０００７】
上述の折返し歪の発生を軽減するために、適応補間方法が提案されている。これは、サブサンプリング時に最適な補間方法の判定を予め行っておき、その判定結果を補助情報として伝送あるいは記録する方法である。例えば、水平方向の１／２平均値補間と垂直方向の１／２平均値補間の何れの方が真値により近いかをサブサンプリング時に検出しておき、１画素当り１ビットの補助情報として伝送し、補間時には、この補助情報に従って補間処理を行うものである。
【０００８】
上述の補助情報を使用する適応型補間方法においては、伝送画素に加えて補助情報を伝送する必要があり、データ量の圧縮率が低下する問題を生じる。また、伝送、あるいは記録再生の過程において、補助情報にエラーが生じた場合には、誤った補間がなされるために、再生画像の劣化が生じやすい欠点があった。
【０００９】
この問題を解決する一つの方法として、本願出願人の提案による特開昭６３−４８０８８号公報には、注目間引き画素の値をその周辺の伝送画素と係数の線形１次結合で表し、誤差の二乗和が最小となるように、注目間引き画素の実際の値を使用して最小二乗法によりこの係数の値を決定するものが提案されている。ここでは、線形１次結合の係数を予め学習によって決定し、決定係数がメモリに格納されている。さらに、注目間引き画素を補間する時に、周辺の伝送画素の平均値を計算し、平均値と各画素の値との大小関係に応じて、各画素を１ビットで表現し、（参照画素数×１ビット）のパターンに応じたクラス分けを行い、注目画素を含む画像の局所的特徴を反映した補間値を形成している。このクラス適応処理の方法は、補助情報を必要とせずに、間引き画素を良好に補間することができる。
【００１０】
【発明が解決しようとする課題】
上述の補間方法は、クラス分けを行なう時に、参照する画素数が少なく、クラス分けを細かくできず、補間の精度が低い問題があった。参照する画素数を多くすると、クラス情報を表現するビット数が多くなり、その結果、クラス数も非常に多くなる。このことは、係数を格納するメモリの容量の増大をもたらす。
【００１１】
従って、この発明の目的は、サブサンプリング信号を復号する時に間引き画素をクラス適応予測処理で補間し、その場合のクラス分けの精度が向上されたディジタル画像信号の処理装置および処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
この発明の第１の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素と隣接する第１および第２の伝送画素を規定し、第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第１の方向データを形成し、第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第２の方向データを形成し、第１および第２の方向データを結合してなるクラスコードに基づきクラスを決定するためのクラス分類手段と、
入力ディジタル画像信号中に含まれ、注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、注目間引き画素の値を作成した時に、作成された値と注目間引き画素の真値との誤差を最小とするような、クラス毎に予め学習によって求められた係数が格納されている係数記憶手段と、
係数記憶手段に格納された係数の中からクラス分類手段が決定したクラスに基づいて読み出された係数と注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、注目間引き画素の補間値を生成するための演算手段とからなることを特徴とするディジタル画像信号の処理装置である。
【００１３】
この発明の第２の態様は、プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、オフセットサブサンプリングによって画素数が減少された信号を受け取り、オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素と隣接する第１および第２の伝送画素を規定し、第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第１の方向データを形成し、第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、差分値が最小値となる画素の方向を指示する第２の方向データを形成し、第１および第２の方向データを結合してなるクラスコードに基づきクラスを決定するためのクラス分類手段と、
予め学習により獲得された代表値がクラス毎に貯えられ、クラス分類手段によって決定されたクラスと対応する代表値を注目間引き画素の値として出力するためのメモリ手段とからなることを特徴とするディジタル画像信号の処理装置である。
【００１４】
【作用】
間引き画素について、予め学習により獲得された係数と周辺の伝送画素の値との線形１次結合によって補間値、すなわち、予測された間引き画素の値を形成することができる。この係数は、補間しようとする間引き画素を中心とする部分的な小領域の特徴と対応するクラス毎に決定される。クラス分けは、注目間引き画素と隣接する二つの伝送画素を規定し、各伝送画素について方向性を調べる。この方向性が注目間引き画素のクラス情報として採用される。
【００１５】
【実施例】
以下、この発明をサブサンプリング信号補間装置に対して適用した一実施例について説明する。この一実施例は、間引き画素を補間するのみならず、伝送画素の補正をも行なうものである。すなわち、伝送画素についても、プリフィルタおよびポストフィルタを介して伝送されるために、高域成分が失われており、その結果、信号波形がなまる問題が生じる。この問題を解決するために、伝送画素の補正がなされる。
【００１６】
一実施例の構成を示す図１において、１は、オフセットサブサンプリングされたディジタルビデオ信号の入力端子である。具体的には、放送などによる伝送、ＶＴＲ等からの再生信号が入力端子１に供給される。伝送画素の値は、８ビットのコードで表されている。２は、テレビジョンラスター順序で到来する入力信号をブロックの順序に変換するための時系列変換回路である。
【００１７】
時系列変換回路２の出力信号がクラス分類回路３および４に供給される。クラス分類回路３は、補間の対象の注目間引き画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ５に対してアドレスとして供給される。クラス分類回路４は、補正の対象の注目伝送画素のクラスを決定するもので、そのクラスを指示するクラスコードがメモリ６に対してアドレスとして供給される。メモリ５から読出された予測係数が補間値生成回路７に供給され、メモリ６から読出された予測係数が補正値生成回路８に供給される。
【００１８】
メモリ５および６には、後述のように、予め学習により獲得された予測係数が格納されている。この係数は、間引き画素の補間値と伝送画素の補正値をそれぞれ予測するために必要とされる。補間値および補正値は、何れも予測値であるが、間引き画素に対する予測値を補間値と称し、伝送画素に対する予測値を補正値と称している。補間値生成回路７および補正値生成回路８に対しては、注目画素の周囲の複数の画素の値が時系列変換回路２から供給される。そして、補間値生成回路７は、注目間引き画素の予測値をメモリ５からの係数と周囲の伝送画素の値との線形１次結合によって生成する。同様に、補正値生成回路８は、注目伝送画素の補正値をメモリ６からの係数と周囲の伝送画素の値との線形１次結合によって生成する
【００１９】
生成された補正値および補間値とが合成回路９に供給され、出力端子１０に間引き画素が補間され、また、フィルタ処理で失われた周波数成分を補償されたディジタルビデオ信号が出力される。図示しないが、出力端子１０に対して時系列変換回路が接続され、ブロックの順序からラスター走査の順序へ変換されたディジタルビデオ信号が形成される。
【００２０】
クラス分類回路３は、注目間引き画素のクラスを決定し、クラス分類回路４は、注目伝送画素のクラスを決定する。最初に、クラス分類回路４について説明すると、これは、注目伝送画素の近傍の伝送画素のレベル分布のパターンに基づいて、この注目伝送画素のクラスを決定する。図２に示すように、注目伝送画素（その真値をｙとする）の上下左右の最も近い距離の伝送画素（ａ、ｂ、ｃ、ｄ）のレベル分布のパターンをクラスとして決定する。一例として、この参照される４画素の平均値Ａｖを求め、平均値Ａｖに対する大小関係によって、周囲の画素を８ビットから１ビットへ圧縮する。すなわち、図３に一例を示すように、平均値Ａｖより大きい値の場合は、`1' を割り当て、平均値Ａｖより小さい値の場合は、`0' を割り当てる。図３の例では、（１０１０）の４ビットのコードが得られる。
【００２１】
クラス分類回路４が発生するクラスコードとしては、周辺画素のみならず、注目伝送画素の値ｙの情報を含むものが使用される。例えば画素値ｙを平均値と比較した１ビットを加えた５ビットが使用できる。この場合、注目伝送画素を１ビットではなくて、注目伝送画素の値ｙをＡＤＲＣによって圧縮した数ビットの量子化値とを組み合わせたものを使用しても良い。すなわち、ＡＤＲＣは、複数の画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出し、各画素の値から最小値ＭＩＮを減算し、最小値が減算された値をダイナミックレンジＤＲで除算し、商を整数化する処理である。
【００２２】
例えば１ビットＡＤＲＣの場合について説明すると、ａ〜ｄおよびｙの５画素の中の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が計算される。各画素ａ〜ｄおよびｙの値から最小値ＭＩＮが減算され、最小値除去後の値がダイナミックレンジＤＲで割算される。この割算の商が０．５と比較され、０．５以上の場合は、`1' とされ、商が０．５より少ない場合は、`0' とされる。１ビットＡＤＲＣは、上述の平均値と各画素の値とを比較するものと実質的に同一の結果が得られる。２ビットＡＤＲＣの場合であれば、ＤＲ／２2 で計算される量子化ステップ幅によって、最小値除去後の値が割算される。
【００２３】
クラス分類回路３は、注目間引き画素（その真値をＹとする）のクラスを決定する。図４は、クラス分類のために使用される伝送画素の配列を示している。注目間引き画素Ｙと隣接する二つの伝送画素例えば左右に位置する画素ＢおよびＤを規定し、画素ＢおよびＤに関してそれぞれ方向性を調べる。図５Ａは、左側の画素Ｄを使用して方向性を調べる様子を示し、図５Ｂは、右側の画素Ｂを使用して方向性を調べる様子を示す。
【００２４】
図５Ａに示すように、画素Ｄを中心として、左右の画素（Ｂ、Ｎ）、上下の画素（Ｇ、Ｈ）、斜め上の画素（Ａ、Ｌ）、斜め下の画素（Ｃ、Ｋ）の配列において、次の差分値Ｄ０〜Ｄ７を計算する。
Ｄ０＝Ｄ−Ｈ、 Ｄ１＝Ｄ−Ｌ、 Ｄ２＝Ｄ−Ｎ、 Ｄ３＝Ｄ−Ｋ
Ｄ４＝Ｄ−Ｇ、 Ｄ５＝Ｄ−Ｃ、 Ｄ６＝Ｄ−Ｂ、 Ｄ７＝Ｄ−Ａ
【００２５】
これらの差分値Ｄ０〜Ｄ７の中の最小値を検出する。この最小値が存在する方向が図５Ｃに示すように、３ビットの方向コードにより指示される。例えば差分値（Ｄ３）が最小であれば、方向コードが（０１１）とされる。図５Ｂに示すように、注目間引き画素Ｙの右側の伝送画素Ｂを使用して、上述と同様に、次の差分値Ｄ０´〜Ｄ７´が形成される。
Ｄ０´＝Ｂ−Ｅ、 Ｄ１´＝Ｂ−Ａ、 Ｄ２´＝Ｂ−Ｄ、 Ｄ３´＝Ｂ−Ｃ
Ｄ４´＝Ｂ−Ｆ、 Ｄ５´＝Ｂ−Ｊ、 Ｄ６´＝Ｂ−Ｍ、 Ｄ７´＝Ｂ−Ｉ
【００２６】
そして、差分値Ｄ０´〜Ｄ７´の中の最小値が検出され、最小値が存在する方向が３ビットの方向コードで指示される。左側の画素について発生した方向コードと右側の画素について発生した方向コードの合計６ビットが注目間引き画素Ｙのクラスコードとして採用される。また、必要に応じて、最小である二つの差分値の極性を示す符号ビット（２ビット）をクラスコードに加えて、合計８ビットのクラスコードを形成しても良い。
【００２７】
さらに、左右の画素（ＢおよびＤ）のみならず、上下の画素（ＡおよびＣ）についてもそれぞれ上述と同様に方向性を求めても良い。また、クラス分けのために、注目間引き画素Ｙの周囲の伝送画素の値を量子化して、その量子化値（ビット数が元の８ビットより１ビットあるいは数ビットへ低減されている）を組み合わせて使用することもできる。量子化としては、上述のＡＤＲＣを使用できる。この場合、方向性を求める画素と、量子化する画素との組合せは、種々可能である。すなわち、方向性を上下の画素（ＡおよびＣ）に関してそれぞれ求め、左右の画素（ＢおよびＤ）をそれぞれ量子化する方法等が可能である。さらに、方向性および量子化を同一の画素についてそれぞれ行なうようにしても良い。例えば方向性を上下の画素に関して求めるとともに、上下の画素を量子化する方法が可能である。
【００２８】
このように、注目間引き画素と隣接する複数の伝送画素について方向性を求めることによって、広い領域の特徴を反映し、然も、少ないビット数、言い換えると少ないクラス数でもって注目間引き画素のクラスを決定することができる。若し、周辺の伝送画素の８ビットデータをそのまま使用すると、クラス数が膨大となり、メモリの容量、メモリの制御回路等のハードウエアの規模が大きくなりすぎる。この発明は、このような問題点を解消できる。
【００２９】
さらに、上述の一実施例では、方向性を求める時に、差分値の最小値を検出しているが、差分値を小さい順に並べた時に、第ｎ番目の差分値を生じさせる方向を方向性データとしても良い。第ｎ番目の差分値を検出することによって、方向性データを求めることの効果について図６を参照して説明する。
【００３０】
図６Ａおよび図６Ｂは、急峻な＜のパターンの画像を示している。図６Ａおよび図６Ｂにおいて、各伝送画素の上側に付された数字は、画素値の相対的なレベル関係を示す。すなわち、値の小さい方から順に、１，２，３，４，５の数字が記入されている。例えば図６Ａにおいて、〔１〕が付された伝送画素Ｅ，Ａ，Ｄ，Ｃ，Ｆが最もレベルが小さい画素であり、これらの画素によって、＜状パターンの谷（最も低いレベル部分）が形成されている。
【００３１】
図６Ａのレベル分布に対して、上述のように差分を計算すると、注目間引き画素の左側の伝送画素Ｄについては、Ｄ−Ｃ（またはＤ−Ａ）が最小値となり、方向コード（１０１）（または（１１１））が求められる。また、右側の画素Ｂについては、Ｂ−Ｊ（またはＢ−Ｉ）が最小となり、（１０１）（または（１１１））の方向コードが求められる。これらの方向コードから注目間引き画素のクラスコードが決定される。
【００３２】
図６Ｂにおいて、伝送画素Ａ，Ｎ，Ｃ等で＜状パターンの谷が形成されている。左側の画素Ｄについて方向を調べると、Ｄ−Ｋ（またはＤ−Ｌ）が最小となり、方向コードとして、（００１）（または（０１１））が得られる。左側の画素Ｂについては、Ｂ−Ｍが最小となり、（１１０）の方向コードが得られる。ここで、画素Ｄについての差分の最小値を生じさせる画素ＬおよびＫは、＜状のエッジの外側に位置するので、注目間引き画素が含まれる画像とは別の画像の画素である可能性が高い。一方、図６Ａの場合では、画素Ｄについて差分の最小値を生じさせる画素ＡまたはＣは、＜状のエッジの内側に位置する。従って、これらの画素は、注目間引き画素が含まれる画像と同一の画像を構成しているものと考えられる。
【００３３】
クラス分けは、注目間引き画素の周辺の画素のレベル分布から、注目間引き画素が含まれる画像の特徴を抽出し、抽出された特徴に基づいてクラスを決定するものである。従って、上述の図６Ｂの場合のように、エッジを挟んで注目間引き画素の画像と異なる画像に含まれる可能性の高い画素を使用して方向性を検出することは、クラス分けの精度の低下をもたらす。
【００３４】
上述した理由から、＜状のエッジの付近の画素のクラス分けを行なう時に、最小値を検出することは、常に最良と言えない。図６Ｂの場合では、Ｄ−Ｂで求められる差分値（これは、最小値ではなく、２番目あるいは３番目の値である）と対応する方向コード（１１０）を形成することが好ましい。一般的には、小さい方（または大きい方）から第ｎ番目の差分と対応して方向コードが形成される。但し、図６Ｂの場合は、特殊なレベル分布と言えるので、最小値の方向と第ｎ番目の値の方向との組み合わせによって、方向コードを生成するのが実際的である。
【００３５】
さて、補間値生成回路７は、メモリ５からの予測係数と周辺伝送画素の値との線形１次結合によって、補間値を生成する。一例として、図４に示すように、クラス分類のために使用したＡ〜Ｐの１６個の画素の値を補間値生成のために使用する。しかしながら、補間値生成のための画素とクラス分けのための画素とが同一の必要はない。補正値生成回路８は、メモリ６からの予測係数の周囲の伝送画素の値の線形１次結合によって、補正値を生成する。この予測のためには、自分自身の値ｙを使用しない。また、予測のために、ａ〜ｄの４画素またはこれより多い数の周囲の伝送画素が使用される。メモリ５および６に格納されている予測係数は、予め学習により獲得されたものである。
【００３６】
図７は、予測係数を決定するための学習時の構成を示す。学習は、図１の入力端子１に供給されるディジタルビデオ信号を原ディジタルビデオ信号から形成する処理と同様の処理を行なう。学習によって、注目伝送画素および注目間引き画素の真値に対する予測値が有する誤差の二乗和を最小とするような係数が最小二乗法により決定される。
【００３７】
図７において、１１で示す入力端子に原ディジタルビデオ信号が供給される。入力端子１１に対して、プリフィルタ１２、サブサンプリング回路１３およびポストフィルタ１５が接続される。サブサンプリング回路１３には、入力端子１４からオフセットサブサンプリングを行うための所定の周波数のサンプリングパルスが供給される。従って、ポストフィルタ１５の出力には、オフセットサブサンプリングされたディジタルビデオ信号が得られる。
【００３８】
ポストフィルタ１５に対して時系列変換回路１６が接続され、ラスター走査の順序からブロックの順序へ変換されたビデオデータがクラス分類回路１７および１８に供給される。クラス分類回路１７は、上述のクラス分類回路３と同様に、周囲の伝送画素Ａ〜Ｐを使用して注目間引き画素のクラスを決定する。クラス分類回路１８は、上述のクラス分類回路４と同様に、注目伝送画素のクラスを決定する。クラス分類回路１７および１８からのクラスコードが係数決定回路１９および２０にそれぞれ供給される。
【００３９】
係数決定回路１９および２０は、線形１次結合で生成される予測値とその真値との誤差の二乗和を最小とするような予測係数を決定する。入力端子１１に供給される原データが時系列変換回路２３に供給され、この回路２３から係数決定回路１９および２０に対して注目間引き画素の真値および注目伝送画素の真値が供給される。また、係数決定回路１９および２０には、予測のために使用される画素が時系列変換回路１６から供給される。
【００４０】
各係数決定回路は、最小二乗法によって最良の予測係数を決定する。決定された予測係数がメモリ２１および２２にそれぞれ格納される。格納アドレスは、クラス分類回路１９および２０からのクラスコードで指示される。一例として、間引き画素の補間値に関する係数決定の処理をソフトウェア処理で行う動作について、図８を参照して説明する。なお、間引き画素の補間値に関する係数決定も、図８と同様の処理でなされる。
【００４１】
まず、ステップ４１から処理の制御が開始され、ステップ４２の学習データ形成では、既知の画像に対応した学習データが形成される。ステップ４３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ４６の予測係数決定へ、終了していなければ、ステップ４４のクラス決定へ制御が移る。
【００４２】
ステップ４４のクラス決定は、上述のように、注目間引き画素と隣接する二つの画素に関してそれぞれ方向コードを生成し、二つの方向コードに基づいて、注目間引き画素のクラスを決定するステップである。次のステップ４５の正規方程式生成では、後述する正規方程式が作成される。
【００４３】
ステップ４３のデータ終了から全データの処理が終了後、制御がステップ４６に移り、ステップ４６の予測係数決定では、後述する式（８）を行列解法を用いて解いて、係数を決める。ステップ４７の予測係数ストアで、予測係数をメモリ２１にストアし、ステップ４８で学習処理の制御が終了する。
【００４４】
図８中のステップ４５（正規方程式生成）およびステップ４６（予測係数決定）の処理をより詳細に説明する。学習時には、注目間引き画素の真値ｙが既知である。注目間引き画素の補間値をｙ´、その周囲の画素の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （１）
を設定する。学習前はｗi が未定係数である。
【００４５】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）に従って、
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００４６】
ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決まらないので、誤差ベクトルＥの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式（４）を最小にする係数を求める。
【００４７】
【数１】
いわゆる最小自乗法による解法である。ここで式（４）のｗi による偏微分係数を求める。
【００４９】
【数２】
式（５）を０にするように各ｗi を決めればよいから、
【００５１】
【数３】
として、行列を用いると
【００５３】
【数４】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解けば、予測係数ｗi が求まり、クラスコードをアドレスとして、この予測係数ｗi をメモリに格納しておく。
【００５５】
図８は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成またはソフトウェアおよびハードウエアを併用した構成によって、学習を行うこともできる。また、補間値および補正値を形成するのに、予測係数による線形１次結合に限らず、これらのデータの値そのものを学習によって予め作成し、この値を補間値および補正値としても良い。
【００５６】
図９は、データの値そのものを予め作成するための学習を説明するためのフローチャートである。制御の開始のステップ５１、学習データ形成のステップ５２、データ終了のステップ５３およびクラス決定のステップ５４は、上述の予測係数を決定するための学習におけるステップ４１、４２、４３および４４と同様の処理を行うステップである。
【００５７】
代表値決定のステップ５５は、クラス毎に真値の平均値を求め、この平均値を代表値として決定するステップである。すなわち、学習の過程で得られた真値の累積値を累積度数で割算することによって、代表値が得られる。このような代表値を求める方法は、重心法と称される。また、代表値を求める場合、データの値そのものを累算すると、累積したデータ量が多くなるので、ブロック内の基準値（ブロック内の複数の画素の大きさを相対的に規定するための値であり、最小値ＭＩＮ、最大値ＭＡＸ、平均値等である）とブロックのダイナミックレンジＤＲで正規化した値を代表値として求めても良い。
【００５８】
すなわち、ブロックの基準値をＢ（例えばブロック内の画素の最小値）とし、ダイナミックレンジをＤＲで表すと、正規化された代表値Ｇは、
Ｇ＝（ｙ−Ｂ）／ＤＲ
で規定される。ステップ５６において、決定された代表値がメモリに格納され、学習が終了する。
【００５９】
このように正規化された値を学習により求めておいた時には、補間値生成または補正値生成のためには、図１０の構成が使用される。図１０は、簡単のために補間値生成のための構成のみを示す。図１０に示すように、時系列変換回路２の出力信号がクラス分類回路３および検出回路２７に供給される。クラス分類回路３からのクラスコードで指示されるメモリ５のアドレスから正規化された代表値が読出される。また、検出回路２７は、予測に使用する複数の伝送画素のダイナミックレンジＤＲおよび最小値ＭＩＮを検出する。
【００６０】
メモリ５からの正規化代表値が乗算回路２５に供給され、正規化代表値と検出されたダイナミックレンジＤＲとが乗算される。乗算回路２５の出力が加算回路２６に供給され、検出された最小値ＭＩＮと加算される。この加算回路２６の出力信号が補間値であり、合成回路９に対して生成補間値が供給される。図示しないが、補正値が合成回路９に供給され、出力端子１０に出力信号が取り出される。
【００６１】
なお、補間値および補正値を同一の予測方法により予測するのに限らず、上述した予測式（線形１次結合）による予測、代表値を使用する予測、正規化代表値を使用する予測を組み合わせても良い。
【００６２】
また、この発明におけるクラス分類あるいは予測演算のために、空間的に注目画素の周囲の画素の値を使用するものに限らず、時間方向で注目画素と近い画素（例えば前フレームの同一の画素）も使用することができる。
【００６３】
【発明の効果】
この発明は、注目間引き画素のクラス分けのために、注目間引き画素と隣接する２個以上の伝送画素に関して方向性をそれぞれ調べ、方向性に基づくクラス分けを行なうので、クラス数が多くなり過ぎずに、より広い範囲の画像の特徴を反映したクラス情報を生成でき、従って、高精度にクラス分けを行うことができる。
【００６４】
また、この一実施例では、サンプリングにより間引かれた画素のみならず、伝送画素の値も補正しているので、サンプリングのためのフィルタリング処理によって失われた高域成分を補償することができる。従って、復号信号の波形のなまりを補償でき、復号画像の質を向上できる。
【図面の簡単な説明】
【図１】この発明の一実施例のブロック図である。
【図２】伝送画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図３】伝送画素のクラス分けの方法の一例を説明するための略線図である。
【図４】間引き画素のクラス分けのために参照する画素の位置を示すための略線図である。
【図５】間引き画素のクラス分けを説明するための略線図である。
【図６】間引き画素のクラス分けの具体例を説明するための略線図である。
【図７】予測係数を求めるための学習時の構成の一例のブロック図である。
【図８】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図９】代表値を求めるための学習をソフトウェア処理で行う時のフローチャートである。
【図１０】正規化代表値から補間値を生成するための構成の一例のブロック図である。
【図１１】オフセットサブサンプリングのための構成の一例のブロック図である。
【図１２】２次元のオフセットサブサンプリングの構造を示す略線図である。
【符号の説明】
３，４ クラス分類回路
５，６ 予測係数が格納されたメモリ
７ 補間値生成回路
８ 補正値生成回路
９ 合成回路
Claims (8)
- プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、上記オフセットサブサンプリングによって画素数が減少された信号を受け取り、上記オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素と隣接する第１および第２の伝送画素を規定し、上記第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、上記差分値が最小値となる画素の方向を指示する第１の方向データを形成し、上記第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、上記差分値が最小値となる画素の方向を指示する第２の方向データを形成し、上記第１および第２の方向データを結合してなるクラスコードに基づきクラスを決定するためのクラス分類手段と、
上記入力ディジタル画像信号中に含まれ、上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、上記注目間引き画素の値を作成した時に、作成された値と上記注目間引き画素の真値との誤差を最小とするような、上記クラス毎に予め学習によって求められた係数が格納されている係数記憶手段と、
上記係数記憶手段に格納された係数の中から上記クラス分類手段が決定したクラスに基づいて読み出された上記係数と上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、上記注目間引き画素の補間値を生成するための演算手段とからなることを特徴とするディジタル画像信号の処理装置。 - 請求項１に記載のディジタル画像信号の処理装置において、
上記クラス分類手段は、第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中のｎ番目の値を検出し、上記差分値がｎ番目の値となる画素の方向を指示する第１の方向データを形成し、上記第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中のｎ番目の値を検出し、上記差分値がｎ番目の値となる画素の方向を指示する第２の方向データを形成し、上記第１および第２の方向データを結合してなるクラスコードを生成することを特徴とするディジタル画像信号の処理装置。 - 請求項１に記載のディジタル画像信号の処理装置において、
上記係数記憶手段に格納される係数は、最小二乗法によって決定されることを特徴とするディジタル画像信号の処理装置。 - プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、上記オフセットサブサンプリングによって画素数が減少された信号を受け取り、上記オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理装置において、
受け取ったディジタル画像信号中に存在する注目間引き画素と隣接する第１および第２の伝送画素を規定し、上記第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、上記差分値が最小値となる画素の方向を指示する第１の方向データを形成し、上記第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、上記差分値が最小値となる画素の方向を指示する第２の方向データを形成し、上記第１および第２の方向データを結合してなるクラスコードに基づきクラスを決定するためのクラス分類手段と、
予め学習により獲得された代表値が上記クラス毎に貯えられ、上記クラス分類手段によって決定された上記クラスと対応する上記代表値を上記注目間引き画素の値として出力するためのメモリ手段とからなることを特徴とするディジタル画像信号の処理装置。 - 請求項４に記載のディジタル画像信号の処理装置において、
上記クラス分類手段は、第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中のｎ番目の値を検出し、上記差分値がｎ番目の値となる画素の方向を指示する第１の方向データを形成し、上記第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中のｎ番目の値を検出し、上記差分値がｎ番目の値となる画素の方向を指示する第２の方向データを形成し、上記第１および第２の方向データを結合してなるクラスコードを生成することを特徴とするディジタル画像信号の処理装置。 - 請求項４に記載のディジタル画像信号の処理装置において、
上記メモリ手段に格納される代表値は、学習時に与えられる注目間引き画素の真値を平均化した値であることを特徴とするディジタル画像信号の処理装置。 - 請求項４に記載のディジタル画像信号の処理装置において、
上記メモリ手段に格納される代表値は、注目間引き画素を含むブロック内の複数画素の基準値と、上記ブロックのダイナミックレンジとによって、上記注目間引き画素の真値を正規化した値であることを特徴とするディジタル画像信号の処理装置。 - プリフィルタを介されたディジタル画像信号をオフセットサブサンプリングし、上記オフセットサブサンプリングによって画素数が減少された信号を受け取り、上記オフセットサブサンプリングにより間引かれた画素を補間するようにしたディジタル画像信号の処理方法において、
受け取ったディジタル画像信号中に存在する注目間引き画素と隣接する第１および第２の伝送画素を規定し、上記第１の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、上記差分値が最小値となる画素の方向を指示する第１の方向データを形成し、上記第２の伝送画素とその周辺の複数の伝送画素との間の差分値の中の最小値を検出し、上記差分値が最小値となる画素の方向を指示する第２の方向データを形成し、上記第１および第２の方向データを結合してなるクラスコードに基づきクラスを決定するためのクラス分類ステップと、
上記入力ディジタル画像信号中に含まれ、上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値と係数の線形１次結合によって、上記注目間引き画素の値を作成した時に、作成された値と上記注目間引き画素の真値との誤差を最小とするような、上記クラス毎に予め学習によって求められ、格納されている係数の中から上記クラス分類ステップで決定したクラスに基づいて読み出された上記係数と上記注目間引き画素の空間的および／または時間的に近傍の複数の伝送画素の値との線形１次結合によって、上記注目間引き画素の補間値を生成するための演算ステップとからなることを特徴とするディジタル画像信号の処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20286494A JP3671437B2 (ja) | 1994-08-04 | 1994-08-04 | ディジタル画像信号の処理装置および処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20286494A JP3671437B2 (ja) | 1994-08-04 | 1994-08-04 | ディジタル画像信号の処理装置および処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0851622A JPH0851622A (ja) | 1996-02-20 |
| JP3671437B2 true JP3671437B2 (ja) | 2005-07-13 |
Family
ID=16464468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20286494A Expired - Lifetime JP3671437B2 (ja) | 1994-08-04 | 1994-08-04 | ディジタル画像信号の処理装置および処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3671437B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1011583A (ja) * | 1996-06-27 | 1998-01-16 | Sony Corp | クラス分類適応処理装置、クラス分類適応処理用の学習装置および学習方法 |
| KR20010113047A (ko) | 2000-02-29 | 2001-12-24 | 이데이 노부유끼 | 데이터 처리장치 및 방법과 기록매체 및 프로그램 |
| AU2003226081A1 (en) * | 2002-03-25 | 2003-10-13 | The Trustees Of Columbia University In The City Of New York | Method and system for enhancing data quality |
| JP4265291B2 (ja) * | 2003-06-06 | 2009-05-20 | ソニー株式会社 | 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム |
| JP4482502B2 (ja) * | 2005-08-22 | 2010-06-16 | ソニー株式会社 | 情報信号変換装置および方法 |
| JP5173873B2 (ja) * | 2008-11-20 | 2013-04-03 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
| JP6247927B2 (ja) * | 2013-12-25 | 2017-12-13 | 日本放送協会 | 撮影装置及び画像補間装置 |
-
1994
- 1994-08-04 JP JP20286494A patent/JP3671437B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0851622A (ja) | 1996-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3590996B2 (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| EP0635978B1 (en) | Image signal converter | |
| JP3271108B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JPS63299587A (ja) | 高能率符号化装置 | |
| US6285714B1 (en) | Image signal interpolating apparatus | |
| JP3470403B2 (ja) | ディジタル画像信号の処理装置 | |
| JP3671437B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JP3348318B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3470373B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JP3758211B2 (ja) | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 | |
| JP3371159B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3709570B2 (ja) | ディジタル画像信号の処理装置および処理方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3243861B2 (ja) | 画像情報変換装置 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3480461B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3470380B2 (ja) | ディジタル画像信号の処理装置および方法 | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3748115B2 (ja) | 画像データ復号装置及び画像データ復号方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3608228B2 (ja) | ディジタル画像信号の変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |