JPH10108177A - 符号化装置及び符号化方法 - Google Patents

符号化装置及び符号化方法

Info

Publication number
JPH10108177A
JPH10108177A JP28004896A JP28004896A JPH10108177A JP H10108177 A JPH10108177 A JP H10108177A JP 28004896 A JP28004896 A JP 28004896A JP 28004896 A JP28004896 A JP 28004896A JP H10108177 A JPH10108177 A JP H10108177A
Authority
JP
Japan
Prior art keywords
block
space
data
group
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP28004896A
Other languages
English (en)
Other versions
JP4209954B2 (ja
Inventor
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP28004896A priority Critical patent/JP4209954B2/ja
Publication of JPH10108177A publication Critical patent/JPH10108177A/ja
Application granted granted Critical
Publication of JP4209954B2 publication Critical patent/JP4209954B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】本発明は、符号化装置及び符号化方法におい
て、ブロツク歪みを低減させる。 【解決手段】符号化した第2の空間上の第1のブロツク
群が第1の条件を満たす場合に第1の空間上で第1のブ
ロツク群と連続又は隣接する第2のブロツク群が第2の
条件を満たすか否かを検出する検出手段と、第2のブロ
ツク群が第2の条件を満たす場合、第2の空間上の第2
のブロツク群に基づく重み付けにより第2の空間上のデ
ータ群を平均化して新たな第2の空間上のデータ群を生
成するデータ平均化手段と、新たな第2の空間上のデー
タ群を符号化する第2の符号化手段とを設ける。第2の
ブロツク群に基づく重み付けによつて新たな第2の空間
上のデータ群を生成することにより、第1のブロツク群
の値を第2のブロツク群の値に近づけて平均化でき、復
元画像データの境界部分の差分値を小さくし得る。

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 発明の属する技術分野 従来の技術(図12〜図20) 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態(図1〜図11) 発明の効果
【0002】
【発明の属する技術分野】本発明は符号化装置及び符号
化方法に関し、例えば画像データ等のデイジタルデータ
を圧縮符号化処理する符号化装置及び符号化方法に適用
して好適なものである。
【0003】
【従来の技術】従来、画像データ等は、そのデータサイ
ズが非常に大きなものであるため、そのままの状態では
記録及び伝送する上で適さないものであつた。そのた
め、このような画像データ等は圧縮符号化処理を施して
全体のデータサイズを縮小したデイジタルデータに変換
した上で記録又は伝送するようになされている。現在、
このような画像圧縮方式として代表的なものにMPEG
(Moving Picture Experts Group)1方式及びMPEG
2方式がある。MPEG1方式及びMPEG2方式はI
SO(International Organization for Standardizati
on、国際標準化機構)により提案された画像圧縮方式で
あり、詳細はISO/IEC11172-2 、ISO/IEC
13818-2 に述べられている。
【0004】ここで図12を用いて上述した画像圧縮方
式について説明する。図12において、1及び2はそれ
ぞれ符号化装置、復号化装置を示す。符号化装置1は入
力されるデイジタルデータでなる入力画像データS1を
離散コサイン変換部3に供給する。離散コサイン変換部
3は入力画像データS1を1フレーム単位毎に処理し、
まず当該1フレームを8画素×8画素のブロツクに分割
する。離散コサイン変換部3は当該各ブロツク毎に
【数1】 に示す離散コサイン変換(Discrete Cosine Transform
)のための演算処理を施すことで、8画素×8画素の
ブロツク内の各画素値を周波数空間上のデータに変換す
る。離散コサイン変換部3は、こうした処理により入力
画像データS1からDCTデータS2を生成する。
【0005】離散コサイン変換部3はDCTデータS2
を量子化部4に供給する。量子化部4はDCTデータS
2に量子化処理を施して圧縮符号化データS3を生成す
る。具体的にDCTデータS2はi行j列(i、jは0
〜7)の行列式で表すことができ、各i行j列目のデー
タをDijで表現することができる。量子化部4はこの
ような各Dijでなる成分毎に対応する重み係数QSi
jで各成分を割り算する。また量子化部4は、このよう
に量子化処理により得られる値に整数化処理(いわゆる
丸め処理)を施す。すなわち量子化により得られる値は
小数部分を含む値となつているため、量子化部4はこれ
らの値でなる各成分を例えば四捨五入することで整数化
処理(丸め処理)を行い、圧縮符号化データS3を生成
する。符号化装置1は、こうして得られた圧縮符号化デ
ータS3に可変長符号化処理等を施して(図示せず)、
復号化装置2に対して送出する。
【0006】復号化装置2は符号化装置1から与えられ
る圧縮符号化データS3を入力して、まず可変長復号化
処理を行う(図示せず)。復号化装置2は、可変長復号
化がなされた圧縮符号化データS3を逆量子化部5に与
える。逆量子化部5は圧縮符号化データS3に逆量子化
処理を施す。具体的に逆量子化部5は、圧縮符号化デー
タS3の各成分毎に上述した重み係数QSijを掛け算
する。逆量子化部5は、こうして得られた逆量子化デー
タS4を逆離散コサイン変換部6に供給する。逆離散コ
サイン変換部6は逆量子化データS4に
【数2】 に示す逆離散コサイン変換(IDCT)のための演算処
理を施すことで、上述した8画素×8画素でなる各ブロ
ツクを復元する。逆離散コサイン変換部6は、こうして
得られる出力画像データS5を出力する。
【0007】このように符号化装置1は離散コサイン変
換、量子化処理及び整数化処理を施すことにより入力画
像データS1を圧縮符号化した圧縮符号化データS3を
得ることができ、また復号化装置2は逆量子化処理及び
逆離散コサイン変換を施すことにより、圧縮符号化デー
タS3を復号処理して出力画像データS5を得ることが
できる。なお、一般的には、量子化処理及び整数化処理
の2つの処理を合わせて量子化処理と呼ぶことが多い。
【0008】ここでこうした符号化処理により圧縮符号
化され、復号化によつて復元される画像データにはブロ
ツク歪みが生じる場合がある。以下にブロツク歪みにつ
いて説明する。符号化装置1及び復号化装置2では、量
子化部3で重み係数QSijを用いてDCTデータS2
の各成分を除算して得られる値に丸め処理を施し、これ
により生成される圧縮符号化データS3に重み係数QS
ijを乗算して逆量子化している。このため逆量子化に
より得られる逆量子化データS4には誤差が含まれてい
ることになる。
【0009】すなわち量子化部4では、量子化処理の際
に小数部分が含まれた値でなる各成分を四捨五入して整
数化(すなわち丸め処理)しており、この小数部分を切
り上げるか切り捨てるかに応じて正の誤差又は負の誤差
が生じることになる。例えば画素値が0.4 でなる画素部
分の場合、整数化によつて画像データが0となる。従つ
て、こうして整数化された画像データを復元した場合、
このような値である画素部分は元々画素値が0であつた
場合と同様のものとなる。このため、こうした整数化が
なされた圧縮符号化データS4を復元して得られる画像
には誤差が含まれることになり、上述した画素部分は0.
4 でなる画素値を有していたにも係わらず、復元されな
いことになる。
【0010】図13(A)に示すように、1次元上に示
す画像データを画像圧縮処理した場合、離散コサイン変
換により当該画像データは8個単位でなる第1及び第2
のブロツクに分割される。こうした画像データに整数化
処理を行つた場合、第1のブロツクに負の誤差が生じ、
また第2のブロツクに正の誤差が生じたとする。図13
(B)に示すように、こうした誤差が各々生じた第1及
び第2のブロツクを復元した場合、第1のブロツクの画
像データは元の(すなわち原画像の)データに比して小
さい値となり、また第2のブロツクの画像データは元の
データに比して大きな値となる。このため、第1及び第
2のブロツクの境界部分には段差状の歪みが生じる。こ
うした歪みは2次元でなる画像データの場合にも言え、
一般にブロツク歪みと呼ばれる。
【0011】図14は2次元上に示す比較的単調な画像
データを形成する8画素×8画素のブロツクA及びBを
示しており、上下方向が各画素データの値の大きさを示
している。ここではブロツクA及びBは図中に示す水平
方向に隣接しており、奥側のブロツクAが符号化処理対
象となつているブロツクを、また手前側のブロツクBが
ブロツクAの一つ左側に隣接したブロツクを各々示して
いる。また図14との対応部分に同一符号を付して示す
図15は、上述したブロツクA及びBを離散コサイン変
換したことで得られる、周波数空間上でのデータであ
る。図14に示すように、ブロツクA及びBは水平方向
に対してほぼ一定の値となつており、比較的滑らかな画
像を形成している。このようなブロツクA及びBを離散
コサイン変換して得られる周波数空間上のデータは横方
向の周波数成分、すなわちi行j列でなるブロツク内で
各成分をDijで表した場合のiが0〜7かつjが1〜
7でなる部分、がほぼ0となる(図15)。
【0012】図16は1行0列の成分を示し、また図1
7は2行0列でなる成分を示している。ブロツクB(図
14)は直流(DC)成分、1行0列の成分及び2行0
列でなる成分でほぼ表すことができ、iが3〜7かつj
が0でなるようなその他の成分はほぼ0となる。ブロツ
クBでは1行0列の成分に比して2行0列の成分が多く
含まれているため、2行0列の成分である「15」の方
が1行0列の成分である「8」に比して値が大きくなつ
ている(図15)。ちなみに直流成分は「DC1」で示
している。
【0013】一方、ブロツクA(図14)も直流(D
C)成分、1行0列の成分及び2行0列でなる成分でほ
ぼ表すことができ、iが3〜7かつjが0でなるような
その他の成分はほぼ0となる。ブロツクAでは2行0列
の成分に比して1行0列の成分が多く含まれているた
め、1行0列の成分である「13」の方が2行0列の成
分である「9」に比して値が大きくなつている。ちなみ
に直流成分は「DC2」で示している。
【0014】図18に示すように、こうした離散コサイ
ン変換により得られた周波数空間上のデータに対して重
み係数を20として量子化を行つた場合、直流成分を除
く各成分は20で割られた後、四捨五入されるので、ブ
ロツクBでは1行0列の成分である「8」が「0」とな
り、2行0列の成分である「15」が「1」となる。ま
たブロツクAでは1行0列の成分である「13」が
「1」となり、2行0列の成分である「9」が「0」に
なる。ブロツクA及びBの直流成分であるDC1及びD
C2は重み係数を1として量子化がなされるため、その
ままの値となる。またiが3〜7かつjが0でなるよう
な成分、及び、iが0〜7かつjが1〜7でなるような
成分については、ほぼ0である値であるために量子化処
理によつて各成分が「0」となる。
【0015】また図19に示すように、このような量子
化がなされたブロツクA及びBを逆量子化した場合、す
なわち各成分に対して上述した重み係数を乗算した場
合、ブロツクBでは1行0列の成分である「0」が
「0」となり、2行0列の成分である「1」が「20」
となる。またブロツクAでは1行0列の成分である
「1」が「20」となり、2行0列の成分である「0」
が「0」になる。ブロツクA及びBの直流成分であるD
C1及びDC2は、そのままの値となる。またiが3〜
7かつjが0でなるような成分、及び、iが0〜7かつ
jが1〜7でなるような成分は「0」となる。
【0016】図20に示すように、こうして逆量子化が
なされたデータに対して逆離散コサイン変換を施して画
像データを復元した場合、ブロツクBは図中に示す垂直
方向の中央部分が凹んだ画素値の状態となり、またブロ
ツクAは図中に示す垂直方向の一方にいくほど画素値が
低くなる状態となる。したがつて符号化前のようにブロ
ツク間が比較的滑らかである状態(図14)に比して、
ブロツク間の境界部分の画素値に段差状の差分(すなわ
ちブロツク歪み)が生じる。
【0017】
【発明が解決しようとする課題】ところでかかる構成の
符号化装置1及び復号化装置2においては、上述したよ
うに量子化の際の丸め処理により生じる誤差によつて、
復元した画像データの8画素×8画素でなるブロツクと
隣接する他のブロツクとの境界部分でブロツク歪みが生
じる場合がある。このため圧縮符号化がなされた画像デ
ータを復号化して得られる復元画像では、ブロツク歪み
を含んでいるために見にくい画像となつているという問
題がある。
【0018】本発明は以上の点を考慮してなされたもの
で、ブロツク歪みを低減し得る符号化装置及び符号化方
法を提案しようとするものである。
【0019】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、第1の空間上のデータ群を所定の
ブロツク単位で演算処理して第2の空間上のデータ群に
変換する演算処理手段と、第2の空間上のデータ群をブ
ロツク単位で符号化する第1の符号化手段と、符号化さ
れた第2の空間上の第1のブロツク群が所定の第1の条
件を満たす場合、第1の空間上において第1のブロツク
群と連続又は隣接する第2のブロツク群が所定の第2の
条件を満たすか否かを検出する検出手段と、第2の条件
を満たす第2のブロツク群が検出された場合、第2の空
間上の第2のブロツク群に基づく重み付けにより第2の
空間上のデータ群を平均化して新たな第2の空間上のデ
ータ群を生成するデータ平均化手段と、新たな第2の空
間上のデータ群をブロツク単位で符号化する第2の符号
化手段とを設ける。
【0020】第2の空間上の第2のブロツク群に基づく
重み付けによつて新たな第2の空間上のデータ群を生成
することにより、第1のブロツク群の値を平均化して第
2のブロツク群の値に近づけることができ、第1及び第
2のブロツク群から復元するデータの境界部分の差分値
を小さくすることができる。
【0021】
【発明の実施の形態】以下図面について、本発明の一実
施例を詳述する。
【0022】図12との対応部分に同一符号を付して示
す図1において、10は全体として符号化装置を示し、
入力ポート11を介して入力画像データS1を入力す
る。ここで符号化装置10は入力ポート11、制御回路
12、メモリ13、演算器14、出力ポート15及びバ
ス16からなり、制御回路12から制御信号S6を送出
して入力ポート11を制御することにより入力画像デー
タS1をバス16を介してメモリ13に1フレーム単位
毎に格納する。因みに符号化装置10はCPU装置でな
り、各機能部がICチツプ内に一体で収められた構成で
なる。
【0023】制御回路12はメモリ13に制御信号S7
を送出して、メモリ13に格納した入力画像データS1
をバス16を介して、8画素×8画素のブロツク単位毎
に演算器14に供給する。こうして入力画像データS1
を供給された演算器14は、制御回路12から与えられ
る制御信号S8に応じて、入力画像データS1に例えば
離散コサイン変換及び量子化処理等の所望の演算処理を
施して圧縮符号化データS3を生成する。ここで演算器
14は離散コサイン変換及び量子化処理した際の演算結
果をメモリ13に格納しておき、後述する重み付き平均
をとる際に読み出すようになされている。符号化装置1
0は、こうして生成した圧縮符号化データS3をバス1
6、及び制御回路12から制御信号S9を送出して制御
する出力ポート15を介して出力する。
【0024】符号化装置10は上述した演算器14によ
る所望の演算処理を、図2〜図6に示して説明する処理
手順にしたがつて行うようになされている。図2に示す
ように、符号化装置10はステツプSP1で手順を開始
する。次に符号化装置10は、ステツプSP2で、メモ
リ13(図1)に格納されている入力画像データS1か
ら、符号化処理対象である8画素×8画素のブロツクを
取り出して演算器14(図1)に供給する。符号化装置
10は演算器14によつて、ステツプSP3で、取り出
したブロツクに離散コサイン変換(以下、これをDCT
と呼ぶ)のための演算処理を施す。また符号化装置10
は、こうしてDCT処理により周波数空間上のデータに
変換された8行8列でなる各成分をDijとする。な
お、ここでi及びjは各々0〜7でなる変数である。
【0025】続いて符号化装置10は演算器14によつ
て、ステツプSP4で、8×8でなるブロツク内の各成
分Dijに対して量子化処理を行う。具体的には、まず
演算器14は各成分Dijに応じた重み係数QSijに
よつてDijを除算する。演算器14はこうして得られ
る値を四捨五入することによつて丸め処理(整数化処
理)する。この結果をQijとする。
【0026】符号化装置10は演算器14によつて、ス
テツプSP5で、jが0以外の場合でなるQij、すな
わち変数iが0〜7であると共に変数jが1〜7である
場合のQijの値が0であるか否かを判別する。jが0
以外のときのQijの値に1つでも0以外の値がある場
合、符号化装置10はステツプSP6に処理をすすめ
る。また符号化装置10は演算器14によつて、ステツ
プSP6で、iが0以外の場合でなるQij、すなわち
変数iが1〜7であると共に変数jが0〜7である場合
のQijの値が0であるか否かを判別する。iが0以外
の場合のQijの値に1つでも0以外の値がある場合、
符号化装置10はステツプSP7に処理をすすめる。
【0027】符号化装置10はiが0以外の場合のQi
jの値に1つでも0以外の値があり、かつjが0以外の
場合のQijの値に1つでも0以外の値がある場合、ス
テツプSP7で、Qijを量子化処理により得られた圧
縮符号化データS3として出力し、ステツプSP8で手
順を完了する。なお、符号化装置10は処理すべき次の
ブロツクが存在する場合、ステツプSP1に戻つて処理
手順を繰り返す。
【0028】一方、ステツプSP5で、jが0以外のと
きのQijが全て0であることを判別した場合、符号化
装置10はステツプSP51にジヤンプして処理を行
う。図3に示すように、符号化装置10は演算器14に
よつて、ステツプSP51で、符号化処理対象となつて
いるブロツクの隣接ブロツクが所定条件を満たしている
か否かを判別する。具体的に符号化装置10は、まず符
号化処理対象となつているブロツクの1つ左及び1つ右
にブロツクが存在するか否かを検出する。左右にブロツ
クが存在する場合、符号化装置10は次にこれらのブロ
ツクが符号化済であるか否かを検出する。符号化済であ
つた場合、符号化装置10は続いてこれらのブロツクの
Qijが、jが0以外のときに全て0であるか否かを検
出する。さらに符号化装置10はjが0以外のときにQ
ijが全て0である場合、左右のブロツクとの境界が滑
らかであるか否かを判別する。なお、「滑らかである」
という意味は後述する。符号化装置10はこれらの条件
を全て満たす場合にステツプSP52に処理を進める。
【0029】符号化装置10は上述の条件が全て満たさ
れている場合に演算器14によつて、ステツプSP52
で、これら左右のブロツクのDijの値を加味して符号
化処理対象となつているブロツクのDijを変更する。
具体的には処理対象となるブロツクのDijに0.8 を乗
算した値に、左のブロツクのDijに0.1 を乗算した値
及び右のブロツクのDijに0.1 を乗算した値を加算し
て新たなDijの値を算出する。但し、ここでDijの
変数iは1〜7であり、またjは0である。すなわちj
が0以外の成分部分は、このステツプに処理がすすんだ
時点で全て0であることがわかつているため、これらの
値は敢えて算出しない。またi及びjが0の成分部分に
ついては当該ブロツクの直流成分であるため、もとの値
のままとする。符号化装置10は、このように左右のブ
ロツクとの重み付き平均を用いて新たなDijの値を算
出する。
【0030】符号化装置10は演算器14によつて、ス
テツプSP53で、新たに得られたDijに対して量子
化処理を行う。具体的には、まず演算器14は各成分D
ijに応じた重み係数QSijによつてDijを除算す
る。なお、ここでDijは変数i及びjが0〜7の全て
の成分である。演算器14はこうして得られる値を四捨
五入することによつて丸め処理(整数化処理)する。こ
の結果をQijとする。符号化装置10は、こうしてQ
ijが得られたらステツプSP7にジヤンプしてQij
を出力して手順を終了する。
【0031】またステツプSP51で所定の条件を1つ
でも満たさない場合、符号化装置10はステツプSP5
4にジヤンプする。図4に示すように、符号化装置10
は演算器14によつて、ステツプSP54で、符号化処
理対象となつているブロツクの1つ左にブロツクが存在
するか否か、またブロツクが存在する場合にそのブロツ
クが符号化済であるか否か、さらに符号化済である場合
にそのブロツクのQijがjが0以外のときに全て0で
あるか否か、またjが0以外のときにQijが全て0で
ある場合に左のブロツクと処理対象のブロツクとの境界
が滑らかであるか否かを判別する。これらの条件を全て
満たすことを判別した場合、符号化装置10はステツプ
SP55に手順を進める。
【0032】符号化装置10は上述の条件が全て満たさ
れている場合に演算器14によつて、ステツプSP55
で、左側のブロツクのDijの値を加味して符号化処理
対象となつているブロツクのDijを変更する。具体的
には処理対象となるブロツクのDijに0.8 を乗算した
値に、左のブロツクのDijに0.2 を乗算した値を加算
して新たなDijの値を算出する。但し、ここでDij
の変数iは1〜7であり、またjは0である。すなわち
jが0以外の成分部分は、このステツプに処理がすすん
だ時点で全て0であることがわかつているため、これら
の値は敢えて算出しない。またi及びjが0の成分部分
については当該ブロツクの直流成分であるため、もとの
値のままとする。符号化装置10は、このように左のブ
ロツクとの重み付き平均を用いて新たなDijを算出す
る。
【0033】符号化装置10は演算器14によつて、ス
テツプSP56で、新たに得られたDijに対して量子
化処理を行う。具体的には、まず演算器14は各成分D
ijに応じた重み係数QSijによつてDijを除算す
る。なお、ここでDijは変数i及びjが0〜7の全て
の成分である。演算器14はこうして得られる値を四捨
五入することによつて丸め処理(整数化処理)する。こ
の結果をQijとする。符号化装置10は、こうしてQ
ijが得られたらステツプSP7にジヤンプしてQij
を出力して手順を終了する。
【0034】またステツプSP54で所定の条件を1つ
でも満たさない場合、符号化装置10はステツプSP5
7にジヤンプする。符号化装置10は演算器14によつ
て、ステツプSP57で、符号化処理対象となつている
ブロツクの1つ右にブロツクが存在するか否か、またブ
ロツクが存在する場合にそのブロツクが符号化済である
か否か、さらに符号化済である場合にそのブロツクのQ
ijがjが0以外のときに全て0であるか否か、またj
が0以外のときにQijが全て0である場合に右のブロ
ツクと処理対象のブロツクとの境界が滑らかであるか否
かを判別する。これらの条件を全て満たすことを判別し
た場合、符号化装置10はステツプSP58に手順を進
める。また上述の条件を1つでも満たさない場合、符号
化装置10はステツプSP6にジヤンプする。
【0035】符号化装置10は上述の条件が全て満たさ
れている場合に演算器14によつて、ステツプSP58
で、右側のブロツクのDijの値を加味して符号化処理
対象となつているブロツクのDijを変更する。具体的
には処理対象となるブロツクのDijに0.8 を乗算した
値に、右のブロツクのDijに0.2 を乗算した値を加算
して新たなDijの値を算出する。但し、ここでDij
の変数iは1〜7であり、またjは0である。すなわち
jが0以外の成分部分は、このステツプに処理がすすん
だ時点で全て0であることがわかつているため、これら
の値は敢えて算出しない。またi及びjが0の成分部分
については当該ブロツクの直流成分であるため、もとの
値のままとする。符号化装置10は、このように右のブ
ロツクとの重み付き平均を用いて新たなDijを算出す
る。
【0036】符号化装置10は演算器14によつて、ス
テツプSP59で、新たに得られたDijに対して量子
化処理を行う。具体的には、まず演算器14は各成分D
ijに応じた重み係数QSijによつてDijを除算す
る。なお、ここでDijは変数i及びjが0〜7の全て
の成分である。演算器14はこうして得られる値を四捨
五入することによつて丸め処理(整数化処理)する。こ
の結果をQijとする。符号化装置10は、こうしてQ
ijが得られたらステツプSP7にジヤンプしてQij
を出力して手順を終了する。
【0037】また一方、ステツプSP6で、iが0以外
のときのQijが全て0であることを判別した場合、符
号化装置10はステツプSP61にジヤンプして処理を
行う。図5に示すように、符号化装置10は演算器14
によつて、ステツプSP61で、符号化処理対象となつ
ているブロツクの隣接ブロツクが所定条件を満たしてい
るか否かを判別する。具体的に符号化装置10は、まず
符号化処理対象となつているブロツクの1つ上及び1つ
下にブロツクが存在するか否かを検出する。上下にブロ
ツクが存在する場合、符号化装置10は次にこれらのブ
ロツクが符号化済であるか否かを検出する。符号化済で
あつた場合、符号化装置10は続いてこれらのブロツク
のQijが、iが0以外のときに全て0であるか否かを
検出する。さらに符号化装置10はiが0以外のときに
Qijが全て0である場合、上下のブロツクとの境界が
滑らかであるか否かを判別する。符号化装置10はこれ
らの条件を全て満たす場合にステツプSP62に処理を
進める。
【0038】符号化装置10は上述の条件が全て満たさ
れている場合に演算器14によつて、ステツプSP62
で、これら上下のブロツクのDijの値を加味して符号
化処理対象となつているブロツクのDijを変更する。
具体的には処理対象となるブロツクのDijに0.8 を乗
算した値に、上のブロツクのDijに0.1 を乗算した値
及び下のブロツクのDijに0.1 を乗算した値を加算し
て新たなDijの値を算出する。但し、ここでDijの
変数jは1〜7であり、またiは0である。すなわちi
が0以外の成分部分は、このステツプに処理がすすんだ
時点で全て0であることがわかつているため、これらの
値は敢えて算出しない。またi及びjが0の成分部分に
ついては当該ブロツクの直流成分であるため、もとの値
のままとする。符号化装置10は、このように上下のブ
ロツクとの重み付き平均を用いて新たなDijを算出す
る。
【0039】符号化装置10は演算器14によつて、ス
テツプSP63で、新たに得られたDijに対して量子
化処理を行う。具体的には、まず演算器14は各成分D
ijに応じた重み係数QSijによつてDijを除算す
る。なお、ここでDijは変数i及びjが0〜7の全て
の成分である。演算器14はこうして得られる値を四捨
五入することによつて丸め処理(整数化処理)する。こ
の結果をQijとする。符号化装置10は、こうしてQ
ijが得られたらステツプSP7にジヤンプしてQij
を出力して手順を終了する。
【0040】またステツプSP61で所定の条件を1つ
でも満たさない場合、符号化装置10はステツプSP6
4にジヤンプする。図6に示すように、符号化装置10
は演算器14によつて、ステツプSP64で、符号化処
理対象となつているブロツクの1つ上にブロツクが存在
するか否か、またブロツクが存在する場合にそのブロツ
クが符号化済であるか否か、さらに符号化済である場合
にそのブロツクのQijがiが0以外のときに全て0で
あるか否か、またiが0以外のときにQijが全て0で
ある場合に上のブロツクと処理対象のブロツクとの境界
が滑らかであるか否かを判別する。これらの条件を全て
満たすことを判別した場合、符号化装置10はステツプ
SP65に手順を進める。
【0041】符号化装置10は上述の条件が全て満たさ
れている場合に演算器14によつて、ステツプSP65
で、上側のブロツクのDijの値を加味して符号化処理
対象となつているブロツクのDijを変更する。具体的
には処理対象となるブロツクのDijに0.8 を乗算した
値に、上のブロツクのDijに0.2 を乗算した値を加算
して新たなDijの値を算出する。但し、ここでDij
の変数jは1〜7であり、またiは0である。すなわち
iが0以外の成分部分は、このステツプに処理がすすん
だ時点で全て0であることがわかつているため、これら
の値は敢えて算出しない。またi及びjが0の成分部分
については当該ブロツクの直流成分であるため、もとの
値のままとする。符号化装置10は、このように上のブ
ロツクとの重み付き平均を用いて新たなDijを算出す
る。
【0042】符号化装置10は演算器14によつて、ス
テツプSP66で、新たに得られたDijに対して量子
化処理を行う。具体的には、まず演算器14は各成分D
ijに応じた重み係数QSijによつてDijを除算す
る。なお、ここでDijは変数i及びjが0〜7の全て
の成分である。演算器14はこうして得られる値を四捨
五入することによつて丸め処理(整数化処理)する。こ
の結果をQijとする。符号化装置10は、こうしてQ
ijが得られたらステツプSP7にジヤンプしてQij
を出力して手順を終了する。
【0043】またステツプSP64で所定の条件を1つ
でも満たさない場合、符号化装置10はステツプSP6
7にジヤンプする。符号化装置10は演算器14によつ
て、ステツプSP67で、符号化処理対象となつている
ブロツクの1つ下にブロツクが存在するか否か、またブ
ロツクが存在する場合にそのブロツクが符号化済である
か否か、さらに符号化済である場合にそのブロツクのQ
ijがiが0以外のときに全て0であるか否か、またi
が0以外のときにQijが全て0である場合に下のブロ
ツクと処理対象のブロツクとの境界が滑らかであるか否
かを判別する。これらの条件を全て満たすことを判別し
た場合、符号化装置10はステツプSP68に手順を進
める。また上述の条件を1つでも満たさない場合、符号
化装置10はステツプSP7にジヤンプする。
【0044】符号化装置10は上述の条件が全て満たさ
れている場合に演算器14によつて、ステツプSP68
で、下側のブロツクのDijの値を加味して符号化処理
対象となつているブロツクのDijを変更する。具体的
には処理対象となるブロツクのDijに0.8 を乗算した
値に、下のブロツクのDijに0.2 を乗算した値を加算
して新たなDijの値を算出する。但し、ここでDij
の変数jは1〜7であり、またiは0である。すなわち
iが0以外の成分部分は、このステツプに処理がすすん
だ時点で全て0であることがわかつているため、これら
の値は敢えて算出しない。またi及びjが0の成分部分
については当該ブロツクの直流成分であるため、もとの
値のままとする。符号化装置10は、このように下のブ
ロツクとの重み付き平均を用いて新たなDijを算出す
る。
【0045】符号化装置10は演算器14によつて、ス
テツプSP69で、新たに得られたDijに対して量子
化処理を行う。具体的には、まず演算器14は各成分D
ijに応じた重み係数QSijによつてDijを除算す
る。なお、ここでDijは変数i及びjが0〜7の全て
の成分である。演算器14はこうして得られる値を四捨
五入することによつて丸め処理(整数化処理)する。こ
の結果をQijとする。符号化装置10は、こうしてQ
ijが得られたらステツプSP7にジヤンプしてQij
を出力して手順を終了する。
【0046】なお、上述したブロツク間の境界部分が
「滑らか」であるという意味を、ここで説明する。すな
わち図7に示すように、隣接するブロツクと接している
各々8個の画素同士の値の差が小さい場合、これらのブ
ロツクの境界部分は「滑らか」であるとしている。した
がつて符号化装置10は滑らかであるか否かを判別する
場合、演算器14によつてAkの画素値からBkの画素
値を減算した値(但し、kは0〜7)を求め、これら8
個の画素値の差分の絶対値の和が予め設定される所定の
しきい値未満であれば「滑らか」であるとし、しきい値
以上であれば「滑らか」でないと判別するようになされ
ている。
【0047】ブロツク歪みはブロツク間の境界部分が
「滑らか」である比較的単調な画像の場合に特に目立
つ。複雑な画像にブロツク歪みが生じた場合は、人間の
視覚上の特性からブロツク歪みを判別し難い。このた
め、符号化装置10はブロツク間が「滑らか」である原
画像を符号化する場合に隣接ブロツクとの重み付き平均
をとつたDijを新たに求め、元々ブロツク間に段差状
の画素値の差分を有する「滑らか」でない原画像を符号
化する場合にはDCT処理により得られたDijをその
まま量子化して出力する。
【0048】以上の構成において、入力画像データS1
は上述した符号化処理手順に基づき演算器14によつて
DCT処理及び量子化処理がなされる。これにより圧縮
符号化データS3が得られて出力される。入力画像デー
タS1は上述した符号化処理手順により、まず符号化処
理対象となる8画素×8画素でなるブロツク毎にDCT
処理がなされてDijが得られ、またDijに量子化処
理を行つてQijが得られる(図2、SP2〜SP
4)。
【0049】次に量子化処理により得られたQijの値
に基づいて、処理対象ブロツクの原画像が比較的単調な
画像であるか否かの判別がなされる(SP5及び6)。
すなわちi行j列(i及びjは0〜7でなる変数)のブ
ロツク内でiが0以外の場合にQijが全て0であると
いうことは、原画像が垂直方向に対して一定の値を持つ
比較的単調な画像であることを示している。またjが0
以外の場合にQijが全て0であるということは、原画
像が水平方向に対して一定の値を持つ比較的単調な画像
であることを示している。この場合は符号化した画像デ
ータを復号処理して得られる復元画像に生じるブロツク
歪みが上述したように目立つものであるため、Dijの
値は隣接するブロツクとの重み付き平均に基づいて新た
に求められる。一方、原画像が比較的単調な画像でな
い、複雑な画像であることが判別された場合は、復元画
像にブロツク歪みが生じても判別し難いものであるた
め、そのまま得られているQijが圧縮符号化データS
3として出力される(SP7)。
【0050】処理対象であるブロツクの原画像が比較的
単調な画像であることが判別された場合、処理対象ブロ
ツクに対して、符号化処理がなされている共にi又はj
が0以外の場合のQijの値が全て0であり、かつ処理
対象ブロツクとの境界が滑らかである隣接ブロツクが存
在するか否かが検出される(図3のSP51、図4のS
P54及びSP57、図5のSP61、図6のSP64
及びSP67)。
【0051】こうした条件を全て満たす隣接ブロツクの
原画像は処理対象ブロツクの原画像と滑らかにつながる
比較的単調な画像であるため、こうした隣接ブロツク間
の境界部分にブロツク歪みが生じた場合、目立つものと
なる。このため、このような隣接ブロツクの存在が検出
された場合、処理対象ブロツクのDijの値は隣接ブロ
ツクとの重み付き平均を用いて求められる新たな値に更
新される(図3のSP52、図4のSP55及びSP5
8、図5のSP62、図6のSP65及びSP68)。
なお上述の条件を一つでも満たさない場合、ブロツク歪
みが生じたとしても目立つものとなり得ないため、その
ままQijが出力される。
【0052】例えば処理対象ブロツクAの1行0列の成
分が13でなると共に2行0列の成分が9であり、また
処理対象ブロツクの左側に隣接するブロツクBの1行0
列の成分が8でなると共に2行0列の成分が15である
場合(図15)、図8に示すように、上述の符号化処理
手順によつて、
【数3】
【数4】 の演算がなされ、処理対象ブロツクAの1行0列の成分
は12に、2行0列の成分は10.2に変更される。ここで
i及びjが0である直流成分はDC2のままである。た
だし、ブロツクBは、既に符号化処理がなされていると
する。
【0053】図9に示すように、こうして成分値の変更
がなされた処理対象ブロツクA及び隣接ブロツクBを重
み係数を20として量子化処理した場合(但し、直流成
分に対する重み係数は1)、処理対象ブロツクAの1行
0列の成分は1、2行0列の成分は1として出力され
る。つまり、図8に示す値を20で割つて四捨五入す
る。図10に示すように、こうして符号化処理された圧
縮符号化データS3を重み係数を20として逆量子化し
た場合、処理対象ブロツクAの1行0列の成分は20、
2行0列の成分は20として得られる。
【0054】図11に示すように、こうして逆量子化が
なされた成分値をIDCT処理して画像データを復元し
た場合、従来の符号化処理により画像を復元した場合
(図20)に比して、隣接ブロツクとの境界部分に生じ
る画素値の段差(すなわちブロツク歪み)を軽減した復
元画像を得ることができる。すなわち処理対象ブロツク
をDCT処理して得られるDijに対して隣接ブロツク
のDijとの重み付き平均をとつて、処理対象ブロツク
のDijの値を隣接ブロツクのDijの値に近づけたこ
とにより、こうして得られた新たなDijを量子化した
後に復号処理して復元される画像と隣接ブロツクの復元
画像との境界部分を滑らかにすることができ、これによ
りブロツク歪みを低減することができる。
【0055】以上の構成によれば、処理対象ブロツクの
原画像が比較的単調な画像であり、この処理対象ブロツ
クとの境界部分が滑らかにつながつている符号化済の隣
接ブロツクが存在する場合に、処理対象ブロツクをDC
T処理して得られる成分値Dijを隣接ブロツクの成分
値Dijとの重み付き平均を用いて算出される新たな成
分値Dijに変更して量子化処理することにより、処理
対象ブロツクの成分値Dijと隣接ブロツクの成分値D
ijとの差分値を減少させて、境界部分の画素値の差分
を低減させた復元画像を得ることができ、かくするにつ
き、ブロツク間の境界部分に生じるブロツク歪みを低減
することができる。
【0056】なお上述の実施例においては、DCT処理
によりフレーム内のみで符号化を行う符号化装置10の
場合について述べたが、本発明はこれに限らず、例えば
Bピクチヤ、Pピクチヤ等のフレーム間予測符号化を行
う符号化装置に用いるようにしてもよい。
【0057】また上述の実施例においては、MPEG1
及びMPEG2方式でなる画像圧縮方式を用いた符号化
装置10の場合について述べたが、本発明はこれに限ら
ず、例えばJPEG等の静止画像の圧縮符号化を行う符
号化装置に用いてもよい。すなわち、動画像又は静止画
像に係わらず、画像圧縮を行う際に丸め処理を実行する
符号化装置であれば、どのような符号化装置に適用して
もよい。
【0058】また上述の実施例においては、演算処理手
段、第1及び第2の符号化手段、検出手段及びデータ平
均化手段を一体化したCPU装置でなる符号化装置10
の場合について述べたが、本発明はこれに限らず、例え
ば各機能ブロツク毎に分割した構成としてもよい。
【0059】さらに上述の実施例においては、処理対象
ブロツクの重み付けの割合を0.8 とすると共に隣接する
ブロツクの重み付けを0.1 又は0.2 とし、左右に隣接ブ
ロツクが存在する場合に処理対象ブロツクのDijの値
に0.8 を乗算した値と、左右のブロツクのDijの値に
各々0.1 又は0.2 を乗算した値とを加算して得られる値
を処理対象ブロツクの新たなDijの値とする場合につ
いて述べたが、本発明はこれに限らず、例えば処理対象
ブロツクの重み付けの割合を0.6 とすると共に隣接する
ブロツクの重み付けを0.2 又は0.4 とするようにしても
よい。重み付き平均は量子化処理の際の重み係数に応じ
て適応的に設定してもよい。
【0060】
【発明の効果】上述のように本発明によれば、第1の空
間上のデータ群を所定のブロツク単位で演算処理して第
2の空間上のデータ群に変換する演算処理手段と、第2
の空間上のデータ群をブロツク単位で符号化する第1の
符号化手段と、符号化された第2の空間上の第1のブロ
ツク群が所定の第1の条件を満たす場合、第1の空間上
において第1のブロツク群と連続又は隣接する第2のブ
ロツク群が所定の第2の条件を満たすか否かを検出する
検出手段と、第2の条件を満たす第2のブロツク群が検
出された場合、第2の空間上の第2のブロツク群に基づ
く重み付けにより第2の空間上のデータ群を平均化して
新たな第2の空間上のデータ群を生成するデータ平均化
手段と、新たな第2の空間上のデータ群をブロツク単位
で符号化する第2の符号化手段とを設けて、第2の空間
上の第2のブロツク群に基づく重み付けにより新たな第
2の空間上のデータ群を生成することにより、第1のブ
ロツク群の値を平均化して第2のブロツク群の値に近づ
けることができ、第1及び第2のブロツク群から復元す
る画像データの境界部分の差分値を小さくし得、かくす
るにつき、復元画像に生じるブロツク歪みを低減し得
る。
【図面の簡単な説明】
【図1】本発明の実施例による符号化装置の構成を示す
ブロツク図である。
【図2】実施例による符号化方法の処理手順を示すフロ
ーチヤートである。
【図3】実施例による符号化方法の処理手順を示すフロ
ーチヤートである。
【図4】実施例による符号化方法の処理手順を示すフロ
ーチヤートである。
【図5】実施例による符号化方法の処理手順を示すフロ
ーチヤートである。
【図6】実施例による符号化方法の処理手順を示すフロ
ーチヤートである。
【図7】隣接するブロツク間での「滑らかさ」の説明に
供する略線図である。
【図8】実施例による重み付き平均を用いた量子化の説
明に供する略線図である。
【図9】量子化後の各成分値を示す略線図である。
【図10】逆量子化後の各成分値を示す略線図である。
【図11】実施例によるブロツク歪みの軽減の説明に供
する斜視図である。
【図12】従来の符号化装置及び復号化装置の構成を示
すブロツク図である。
【図13】ブロツク歪みの1次元的な説明に供する略線
図である。
【図14】隣接したブロツクの符号化前の状態の説明に
供する斜視図である。
【図15】DCTがなされたブロツク内の成分状態の説
明に供する略線図である。
【図16】1行0列の成分を示す略線図である。
【図17】2行0列の成分を示す略線図である。
【図18】量子化がなされたブロツク内の説明に供する
略線図である。
【図19】逆量子化がなされたブロツク内の説明に供す
る略線図である。
【図20】復元した画像データに生じたブロツク歪みの
説明に供する斜視図である。
【符号の説明】
1、10……符号化装置、2……復号化装置、3……離
散コサイン変換部、4……量子化部、5……逆量子化
部、6……逆離散コサイン変換部、11……入力ポー
ト、12……制御回路、13……メモリ、14……演算
器、15……出力ポート、16……バス。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】第1の空間上のデータ群に所定のブロツク
    単位で所定の演算処理を行うことにより上記第1の空間
    上のデータ群を第2の空間上のデータ群に変換する演算
    処理手段と、 上記第2の空間上のデータ群を上記ブロツク単位で符号
    化する第1の符号化手段と、 上記符号化手段により符号化された上記第2の空間上の
    第1のブロツク群が所定の第1の条件を満たす場合、上
    記第1の空間上において上記第1のブロツク群と連続又
    は隣接する第2のブロツク群が所定の第2の条件を満た
    すか否かを検出する検出手段と、 上記第2の条件を満たす上記第2のブロツク群が検出さ
    れた場合、上記第2の空間上の上記第2のブロツク群に
    基づく重み付けにより上記第2の空間上のデータ群を平
    均化して新たな第2の空間上のデータ群を生成するデー
    タ平均化手段と、 新たな上記第2の空間上のデータ群を上記ブロツク単位
    で符号化する第2の符号化手段とを具えることを特徴と
    する符号化装置。
  2. 【請求項2】上記第1の空間上のデータ群は画像データ
    でなり、 上記検出手段では、 上記画像データが画像空間内の水平方向又は垂直方向に
    一定の値を有する場合に上記第1の条件を満たすと判別
    することを特徴とする請求項1に記載の符号化装置。
  3. 【請求項3】上記検出手段では、 符号化された上記第2のブロツク群の所定位置の成分値
    が全て0であり、かつ上記第1の空間上において上記第
    2のブロツク群と上記第1のブロツク群との隣接する位
    置関係でなる各データの差分値が所定のしきい値未満で
    ある場合に、上記第2の条件を満たすと判別することを
    特徴とする請求項1に記載の符号化装置。
  4. 【請求項4】第1の空間上のデータ群に所定のブロツク
    単位で所定の演算処理を行うことにより上記第1の空間
    上のデータ群を第2の空間上のデータ群に変換する演算
    処理ステツプと、 上記第2の空間上のデータ群を上記ブロツク単位で符号
    化する第1の符号化ステツプと、 上記符号化ステツプで符号化された上記第2の空間上の
    第1のブロツク群が所定の第1の条件を満たす場合、上
    記第1の空間上において上記第1のブロツク群と連続又
    は隣接する第2のブロツク群が所定の第2の条件を満た
    すか否かを検出する検出ステツプと、 上記第2の条件を満たす上記第2のブロツク群が検出さ
    れた場合、上記第2の空間上の上記第2のブロツク群に
    基づく重み付けにより上記第2の空間上のデータ群を平
    均化して新たな第2の空間上のデータ群を生成するデー
    タ平均化ステツプと、 新たな上記第2の空間上のデータ群を上記ブロツク単位
    で符号化する第2の符号化ステツプとを具えることを特
    徴とする符号化方法。
  5. 【請求項5】上記第1の空間上のデータ群は画像データ
    でなり、 上記検出ステツプでは、 上記画像データが画像空間内の水平方向又は垂直方向に
    一定の値を有する場合に上記第1の条件を満たすと判別
    することを特徴とする請求項4に記載の符号化方法。
  6. 【請求項6】上記検出ステツプでは、 符号化された上記第2のブロツク群の所定位置の成分値
    が全て0であり、かつ上記第1の空間上において上記第
    2のブロツク群と上記第1のブロツク群との隣接する位
    置関係でなる各データの差分値が所定のしきい値未満で
    ある場合に、上記第2の条件を満たすと判別することを
    特徴とする請求項4に記載の符号化方法。
JP28004896A 1996-09-30 1996-09-30 符号化装置及び符号化方法 Expired - Fee Related JP4209954B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28004896A JP4209954B2 (ja) 1996-09-30 1996-09-30 符号化装置及び符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28004896A JP4209954B2 (ja) 1996-09-30 1996-09-30 符号化装置及び符号化方法

Publications (2)

Publication Number Publication Date
JPH10108177A true JPH10108177A (ja) 1998-04-24
JP4209954B2 JP4209954B2 (ja) 2009-01-14

Family

ID=17619579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28004896A Expired - Fee Related JP4209954B2 (ja) 1996-09-30 1996-09-30 符号化装置及び符号化方法

Country Status (1)

Country Link
JP (1) JP4209954B2 (ja)

Also Published As

Publication number Publication date
JP4209954B2 (ja) 2009-01-14

Similar Documents

Publication Publication Date Title
JP3269960B2 (ja) ブロック化現象除去のための後処理装置及びその方法
KR101194518B1 (ko) 양자화 단계를 국부적으로 조정하기 위한 방법
US20080008246A1 (en) Optimizing video coding
US7075984B2 (en) Code quantity control apparatus, code quantity control method and picture information transformation method
US7194128B1 (en) Data compression using principal components transformation
JP2624087B2 (ja) 映像信号復号化方法
JP2000510311A (ja) デジタル化画像の符号化および復号化のための方法および装置
US7451080B2 (en) Controlling apparatus and method for bit rate
JP3846424B2 (ja) 画像信号量子化装置およびその方法
AU762996B2 (en) An image compression system and method of determining quantisation parameters therefor
US6016365A (en) Decoder having adaptive function of eliminating block effect
JP2000509589A (ja) ディジタル化画像の符号化および復号化のための、方法および装置
EP0978200A2 (en) Method and device for coding a sequence of pictures
US6381274B1 (en) Method and apparatus for encoding video signal
US20080199153A1 (en) Coding and Decoding Method and Device for Improving Video Error Concealment
JPH0487460A (ja) 画像処理装置
JP4224662B2 (ja) 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置
JPS63215281A (ja) 画像信号伝送装置
JP4209954B2 (ja) 符号化装置及び符号化方法
JP2901656B2 (ja) 画像符号化装置
US20050238241A1 (en) Image compression apparatus generating and using assistant images for deblocking processing and a method thereof
JPH0746595A (ja) 動画像符号化器および復号化器
JP2002204449A (ja) 量子化単位設定装置及び量子化単位設定方法、符号化装置及び符号化方法並びに情報記録媒体
JPH06350992A (ja) データ圧縮回路
KR102467091B1 (ko) 효과적인 비디오 압축을 위한 슈퍼 레졸루션 영상 처리 방법 및 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051228

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060125

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081024

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees