JP4008846B2 - 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 - Google Patents
画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4008846B2 JP4008846B2 JP2003145586A JP2003145586A JP4008846B2 JP 4008846 B2 JP4008846 B2 JP 4008846B2 JP 2003145586 A JP2003145586 A JP 2003145586A JP 2003145586 A JP2003145586 A JP 2003145586A JP 4008846 B2 JP4008846 B2 JP 4008846B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- bit plane
- orthogonal transform
- image signal
- coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、階層的画像符号化で用いられて、簡単な構成で残差信号の特性に応じた符号化を行い復号画像の品質の向上を実現できるようにする画像符号化装置及びその方法と、その画像符号化方法の実現に用いられる画像符号化プログラム及びそのプログラムを記録した記録媒体とに関する。
【0002】
【従来の技術】
画像を効率的に符号化する方法として階層的画像符号化方法がある。
【0003】
この方法は、第1の符号化器と第2の符号化器とを用意して、第1の符号化器にてマクロブロックと呼ばれる小領域ごとに生成された符号化データを復号することで画像のベースレイヤ復号画像を得、また、第1の符号化器で生成された符号化データと第2の符号化器でマクロブロックごとに生成された拡張レイヤ符号化データとの両方を用いることで、より画質の高い復号画像が得られるという方式である。
【0004】
このような階層的符号化を実現する方法として、原画像と第1の符号化の結果得られる符号化データの復号画像との差分を第2の符号化器で符号化するという手法が考えられている。この方式の構成例を図10に示す。
【0005】
すなわち、この方式では、図10に示すように、原画像信号を第1の符号化器101において符号化することにより、ベースレイヤ符号化データ107が生成される。また、第1の復号器102においてベースレイヤ符号化データを復号してベースレイヤ復号画像信号103を生成し、減算器104において原画像信号からベースレイヤ復号画像信号103を減算して差分画像信号105を生成する。そして、その差分画像信号105を第2の符号化器106においてハフマン符号化などの可変長符号化を行うことにより、拡張レイヤ符号化データ108が生成される。
【0006】
このとき、差分画像信号105は、一般にベースレイヤのマクロブロックに合わせた位置および大きさに分割されて符号化される。
【0007】
以上のような階層的符号化方式に関して記載された文献としては、例えば下記に示す特許文献1がある。この特許文献1に記載の技術では、符号化データに階層性を持たせ、符号化データの一部から選択領域だけをいろいろな画質で再生したり、符号化データの一部から低画質の画像を再生したりすることを可能としている。
【0008】
一方、動画像符号化方式の国際標準であるMPEG−4符号化(文献:ISO/IEC 14496-2 Coding of Audio-Visual Objects, Part-2)では、階層的符号化の方式の一つとしてFGS(Fine Glanularity Scalable )符号化を規定している(例えば非特許文献1参照)。
【0009】
FGS符号化における階層的符号化方式は、次のとおりである。
【0010】
第1の符号化器101は、図11に示すように、MPEG−4の標準的な構成となるMPEG−4符号化器200で構成される。この構成では前述の第1の復号器102を内包している(図中に示す2b)。MPEG−4符号化器200におけるMPEG−4の符号化処理については、様々な文献に紹介されているので、ここでは省略する。
【0011】
図12に、拡張レイヤを符号化する第2の符号化器106の構成例を示す。
【0012】
第2の符号化器106では、先ず前述の差分画像信号105に対し、離散コサイン変換処理部301において、離散コサイン変換(DCT)を施し画素値差分を周波数空間へ変換する。続いて、重み付け部302において、離散コサイン変換処理部301により算出されたDCT係数をマクロブロック単位または周波数成分ごとにビットシフト処理を行う。
【0013】
その後、最大値検索部303において、フレーム全体(画像全体)のDCT係数のうち絶対値が最大のものを見つける。最後に、可変長符号化部304において、DCT係数最大値を含む最上位のビットプレーンから下位のビットプレーンに向けて可変長符号化を行う。
【0014】
ここで、上記のDCT係数の分布範囲に注目する。DCTの特徴である、特定の周波数成分に電力が集中しやすいことから、画素値差分に対するDCT係数は、係数の値の範囲(ダイナミックレンジ)が大きくなることがある。例えば、図13(a)に示す範囲が−56〜46である画素値差分に対するDCT係数は、図13(b)に示すように−65〜49であり、ダイナミックレンジが拡大していることが分かる。
【0015】
FGS符号化方式では、拡張レイヤにおけるDCT係数の最大絶対値を符号化するのに必要なビットプレーン枚数をvop-max-level で表現する。DCT係数の絶対値は、vop-max-level で示されるビットプレーンの最上位(MSB;Most Significant Bit)から、小ブロックのジグザグスキャン順で符号化される。また、DCT係数の正負は、そのDCT係数が最初に符号化されるビットプレーンにて一緒に符号化する。
【0016】
このFGS符号化方式における符号化の一例を図14に図示する。この図の例では、vop-max-level として6枚のビットプレーンを想定している。
【0017】
ここで、ある小ブロックにおけるDCT係数の最大絶対値が、現在の符号化対象であるビットプレーンに達しない場合は、未到達であることを示すmsb-not-reached というフラグを立てて符号化・送信する。
【0018】
【特許文献1】
特開2002−44671
【非特許文献1】
ISO/IEC 14496-2:1999/FDAM4, Amendment 4
【0019】
【発明が解決しようとする課題】
しかしながら、従来のFGS符号化方式に従っていたのでは、復号画像の品質が劣化するという問題がある。
【0020】
すなわち、vop-max-level で示されるMSBプレーン(最上位のビットプレーン)で符号化されるDCT係数が少ない場合、上記のmsb-not-reached が多く符号化されるため、その分有意なDCT係数の符号量が減少して、復号画像の品質が劣化することになる。
【0021】
本発明者の予備実験から、MSBプレーンに含まれるDCT係数の割合は画像全体の0.3%程度、16×16画素のマクロブロック単位では7%弱程度と、かなり少ないことが分かっている。
【0022】
一方、FGSプロファイルの規定では、拡張レイヤにおいて送信できる最大ビットプレーン数が4となっている。
【0023】
これらのことから、同じ符号化プレーン数で送信されるDCT係数を調整することで、復号した差分値の精度が向上できると考えられる。
【0024】
本発明は、このような事情に鑑みてなされたものであって、階層的画像符号化で用いられて、簡単な構成で残差信号の特性に応じた符号化を行い復号画像の品質の向上を実現できるようにする新たな画像符号化技術の提供を目的とする。
【0025】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像符号化装置は、階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、その差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する処理を行うときにあって、(1)最上位のビットプレーンに値を持つ直交変換係数を検出する検出手段と、(2)検出手段の検出した直交変換係数の絶対値を、最上位のビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する置換手段とを備えるように構成する。
なお、以下では、説明の便宜上、直交変換係数の絶対値を最上位のビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換することを、直交変換係数の絶対値を最上位1ビット分だけ小さくすると表現する。
【0026】
この構成を採るときに、最上位1ビット分だけ小さくした直交変換係数を新たな処理対象として、その新たな処理対象の最上位のビットプレーンに値を持つ直交変換係数のフレーム全体に対する割合が規定の閾値よりも小さい場合に、直交変換係数の絶対値を最上位1ビット分だけ小さくする処理を繰り返すことを指示する指示手段を備えることがある。
【0027】
以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。
【0028】
このように構成される本発明の画像符号化装置では、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、その差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する処理を行うときにあって、最上位のビットプレーンに値を持つ直交変換係数を検出して、その検出した直交変換係数の絶対値を最上位1ビット分だけ小さくするように処理する。
【0029】
このようにして、本発明では、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成するときに、通常の場合、最上位のビットプレーンに値を持つ直交変換係数が少ないことを考慮して、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくして、その規定のプレーン数分の符号化を行うようにする構成を採ることから、簡単な構成で残差信号の特性に応じた符号化を行い復号画像の品質の向上を実現できるようになる。
【0030】
また、上記の目的を達成するために、本発明の画像符号化装置は、階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、その差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する処理を行うときにあって、(1)最上位のビットプレーンに値を持つ直交変換係数を検出する検出手段と、(2)検出手段の検出した直交変換係数に応じて、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくするのか否かを判定する判定手段と、(3)判定手段の判定結果に応じて、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくする置換手段とを備えるように構成する。
【0031】
この構成を採るときに、最上位1ビット分だけ小さくした直交変換係数を新たな処理対象として、その新たな処理対象の最上位のビットプレーンに値を持つ直交変換係数のフレーム全体に対する割合が規定の閾値よりも小さい場合に、直交変換係数の絶対値を最上位1ビット分だけ小さくする処理を繰り返すことを指示する指示手段を備えることがある。
【0032】
以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。
【0033】
このように構成される本発明の画像符号化装置では、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、その差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する処理を行うときにあって、最上位のビットプレーンに値を持つ直交変換係数を検出して、その検出した直交変換係数に応じて、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくするのか否かを判定する。
【0034】
すなわち、(イ)最上位のビットプレーンに値を持つ直交変換係数のフレーム全体に対する割合が規定の閾値よりも小さい場合に、最上位1ビット分だけ小さくすることを判定したり、(ロ)最上位のビットプレーンに値を持つ直交変換係数の値が規定の閾値よりも大きくなるものの個数が規定の閾値よりも少ない場合に、最上位1ビット分だけ小さくすることを判定したり、(ハ)最上位のビットプレーンに値を持つ直交変換係数の値が規定の閾値よりも大きくなるもののうち、ベースレイヤの量子化パラメータが規定の閾値より小さくなるものの個数が規定の閾値よりも少ない場合に、最上位1ビット分だけ小さくすることを判定する。
【0035】
そして、この判定結果に従って、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくすることを判定する場合には、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくするように処理する。
【0036】
このようにして、本発明では、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成するときに、最上位のビットプレーンに値を持つ直交変換係数が少ないことを判断したり、最上位のビットプレーンに値を持つ直交変換係数が実質的に少ないことを判断する場合には、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくして、その規定のプレーン数分の符号化を行うようにする構成を採ることから、簡単な構成で残差信号の特性に応じた符号化を行い復号画像の品質の向上を実現できるようになる。
【0037】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【0038】
図1に、本発明の一実施形態例を図示する。
【0039】
ここで、図中、図12に示したものと同じのものについては同一の記号で示してある。
【0040】
この図に示すように、本発明により構成される拡張レイヤを符号化する第2の符号化器106は、FGS符号化における階層的符号化方式を実装するにあたって、新たに係数処理部401を備えることを特徴とする。
【0041】
この係数処理部401は、MSBプレーン(最上位のビットプレーン)における符号化対象DCT係数である
2max ≦|coef|≦2max+1 −1
というDCT係数coefを、
coef_cut=sign(coef)*(2max −1)
に置き換える処理を実行する。
【0042】
ここで、max=vop-max-level であり、また、sign(x)は、
で定義される関数であって、xの符号を表している。
【0043】
例えば、max=6である場合には、係数処理部401は、
64=26 ≦|coef|≦26+1 −1=127
という値域にあるDCT係数coefを、
coef_cut=26 −1=63
に置き換える処理を実行することになる。
【0044】
すなわち、係数処理部401は、符号化対象のDCT係数の絶対値を最上位1ビット分だけ小さくするように処理するのである。以下、この係数処理部401の実行する処理を“頭打ち処理(DCT係数の頭打ち処理)”と呼ぶことにする。
【0045】
次に、図2の処理フローに従って、図1のように構成される第2の符号化器106の実行する符号化処理について詳細に説明する。
【0046】
第2の符号化器106は、図2の処理フローに示すように、先ず最初に、ステップ10で、符号化対象となる差分画像信号を入力すると、続いて、ステップ11で、その差分画像信号に対して、マクロブロック毎に、離散コサイン変換を施すことでDCT係数を算出する。
【0047】
続いて、ステップ12で、マクロブロック毎に、算出したDCT係数に対してビットシフト処理を施す。
【0048】
続いて、ステップ13で、フレーム全体のDCT係数のうち絶対値が最大のものを検索することで、ビットプレーン数(上述のmax)を決定する。例えば、65というDCT係数の絶対値が最大値である場合には、ビットプレーン数としてmax=6であることを決定するのである。
【0049】
続いて、ステップ14で、フレームの全マクロブロックについて処理を終了したのか否かを判断して、未処理のマクロブロックが残されていることを判断するときには、ステップ15に進んで、未処理のマクロブロックを1つ選択する。
【0050】
続いて、ステップ16で、選択したマクロブロックについて、最上位ビットプレーンに値を持つDCT係数に対して上述の頭打ち処理を施してから、ステップ14に戻る。例えば、65という絶対値を持つDCT係数については、その絶対値が63となるように置換する頭打ち処理を施してから、ステップ14に戻るのである。
【0051】
このようにして、ステップ14ないしステップ16の処理を繰り返していくときに、ステップ14で、フレームの全マクロブロックについて処理を終了したことを判断すると、ステップ17に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。具体的には、上位4プレーンに対して可変長符号化を行って、処理を終了するのである。
【0052】
次に、このように構成される本発明の符号化処理の有効性について、具体的な計算例を用いて検証する。
【0053】
図3(a)に示す8×8画素の画像差分値に対して離散コサイン変換を施すと、図3(b)に示すDCT係数が得られることになる。
【0054】
従来技術の符号化処理に従う場合には、図3(b)に示すDCT係数の上位4プレーンに対して可変長符号化を行い、それを復号することで図3(d)に示す復号差分値を得ることになる。
【0055】
これに対して、本発明の符号化処理では、図3(b)に示すDCT係数に対して上述の頭打ち処理を施すことで図3(c)に示すDCT係数に変換し、その変換したDCT係数の上位4プレーンに対して可変長符号化を行い、それを復号することで図3(e)に示す復号差分値を得ることになる。すなわち、上述の頭打ち処理に従って、65という絶対値を持つDCT係数については63という絶対値を持つものに変換しつつ、可変長符号化を行うことになる。
【0056】
図3(a)に示す画像差分値と図3(d)に示す復号差分値とから、従来技術の符号化処理に従う場合には、最大誤差が12で、誤差の総和は208となる。これに対して、図3(a)に示す画像差分値と図3(e)に示す復号差分値とから分かるように、本発明の符号化処理によれば、最大誤差が7で、誤差の総和は133となる。
【0057】
このように、本発明の符号化処理によれば、復号画像の品質の向上を実現できるようになるのである。
【0058】
係数処理部401は、図2の処理フローに従う場合、最上位ビットプレーンに対して頭打ち処理を1回施すことで説明したが、最上位1ビット分だけ小さくしたDCT係数を新たな処理対象として、その新たな処理対象の最上位のビットプレーンに値を持つDCT係数の個数に応じて、さらに頭打ち処理を継続していくように処理することも可能である。
【0059】
図4に示す処理フローに従って、この構成を実現する第2の符号化器106の実行する符号化処理について詳細に説明する。
【0060】
第2の符号化器106は、図4の処理フローに従う場合には、先ず最初に、ステップ20で、符号化対象となる差分画像信号を入力すると、続いて、ステップ21で、その差分画像信号に対して、マクロブロック毎に、離散コサイン変換を施すことでDCT係数を算出する。
【0061】
続いて、ステップ22で、マクロブロック毎に、算出したDCT係数に対してビットシフト処理を施し、続くステップ23で、フレーム全体のDCT係数のうち絶対値が最大のものを検索することで、ビットプレーン数を決定する。
【0062】
続いて、ステップ24で、フレームの全マクロブロックについて処理を終了したのか否かを判断して、未処理のマクロブロックが残されていることを判断するときには、ステップ25に進んで、未処理のマクロブロックを1つ選択し、続くステップ26で、選択したマクロブロックについて、最上位ビットプレーンに値を持つDCT係数に対して頭打ち処理を施してから、ステップ24に戻る。
【0063】
このようにして、ステップ24ないしステップ26の処理を繰り返していくときに、ステップ24で、フレームの全マクロブロックについて処理を終了したことを判断すると、ステップ27に進んで、頭打ち処理を施したDCT係数を、フレームの持つ新たなDCT係数として設定し、続くステップ28で、フレーム全体のDCT係数のうち絶対値が最大のものを検索することで、ビットプレーン数を決定する。
【0064】
続いて、ステップ29で、最上位のビットプレーンに値を持つDCT係数のフレーム全体に対する割合が規定の閾値よりも大きいのか否かを判断して、小さいことを判断するときには、新たなDCT係数に対して頭打ち処理を継続すべくステップ24に戻る。
【0065】
一方、ステップ29で、最上位のビットプレーンに値を持つDCT係数のフレーム全体に対する割合が規定の閾値よりも大きいことを判断するときには、頭打ち処理を継続するのは適切でないと判断して、ステップ30に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。
【0066】
このようにして、係数処理部401は、図4の処理フローに従う場合には、最上位1ビット分だけ小さくしたDCT係数を新たな処理対象として、その新たな処理対象の最上位のビットプレーンに値を持つDCT係数の個数に応じて、さらに頭打ち処理を継続していくように処理するのである。
【0067】
図5に、本発明の他の実施形態例を図示する。
【0068】
ここで、図中、図1に示したものと同じのものについては同一の記号で示してある。
【0069】
この実施形態例に従う場合、本発明により構成される拡張レイヤを符号化する第2の符号化器106は、FGS符号化における階層的符号化方式を実装するにあたって、新たに係数カウント・判定部402を備えることを特徴とする。
【0070】
この係数カウント・判定部402は、最上位ビットプレーンに含まれるDCT係数のフレーム全体に対する割合pを求め、その割合pに従って頭打ち処理を実行するのか否かを判定する処理を実行する。
【0071】
次に、図6の処理フローに従って、図5のように構成される第2の符号化器106の実行する符号化処理について詳細に説明する。
【0072】
第2の符号化器106は、図5のように構成される場合には、図6の処理フローに示すように、先ず最初に、ステップ40で、符号化対象となる差分画像信号を入力すると、続いて、ステップ41で、その差分画像信号に対して、マクロブロック毎に、離散コサイン変換を施すことでDCT係数を算出する。
【0073】
続いて、ステップ42で、マクロブロック毎に、算出したDCT係数に対してビットシフト処理を施し、続くステップ43で、フレーム全体のDCT係数のうち絶対値が最大のものを検索することで、ビットプレーン数を決定する。
【0074】
続いて、ステップ44で、最上位のビットプレーンに値を持つDCT係数のフレーム全体に対する割合が規定の閾値よりも大きいのか否かを判断して、大きいことを判断するときには、頭打ち処理を行うのは適切でないと判断して、ステップ45に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。
【0075】
すなわち、最上位のビットプレーンに値を持つDCT係数のフレーム全体に対する割合が規定の閾値よりも大きい場合には、頭打ち処理を行わずに、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行うのである。
【0076】
一方、ステップ44で、最上位のビットプレーンに値を持つDCT係数のフレーム全体に対する割合が規定の閾値よりも大きくないことを判断するときには、ステップ46に進んで、フレームの全マクロブロックについて処理を終了したのか否かを判断して、未処理のマクロブロックが残されていることを判断するときには、ステップ47に進んで、未処理のマクロブロックを1つ選択する。
【0077】
続いて、ステップ48で、選択したマクロブロックについて、最上位ビットプレーンに値を持つDCT係数に対して頭打ち処理を施す。
【0078】
このようにして、ステップ46ないしステップ48の処理を繰り返していくときに、ステップ46で、フレームの全マクロブロックについて処理を終了したことを判断すると、ステップ45に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。
【0079】
すなわち、最上位のビットプレーンに値を持つDCT係数のフレーム全体に対する割合が規定の閾値よりも小さい場合には、DCT係数に対して頭打ち処理を施して、その頭打ち処理を施したDCT係数を符号化対象として、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行うのである。
【0080】
このようにして、第2の符号化器106は、図5のように構成される場合には、最上位ビットプレーンに含まれるDCT係数のフレーム全体に対する割合pを求め、その割合pとあらかじめ設定した閾値Th1とを比較して、p≦Th1ならば、頭打ち処理を施すように処理するのである。
【0081】
この構成に従って、頭打ち処理の対象となるDCT係数の割合が多い場合に発生することになる、復号された残差信号の精度が劣化するという問題を回避することができるようになる。
【0082】
係数カウント・判定部402は、図6の処理フローに従う場合、最上位ビットプレーンに値を持つDCT係数の分布については考慮していないが、この分布を考慮して、頭打ち処理を実行するのか否かを判定するようにするという構成を採ることも可能である。
【0083】
図7に示す処理フローに従って、この構成を実現する第2の符号化器106の実行する符号化処理について詳細に説明する。
【0084】
第2の符号化器106は、図7の処理フローに従う場合には、先ず最初に、ステップ50で、符号化対象となる差分画像信号を入力すると、続いて、ステップ51で、その差分画像信号に対して、マクロブロック毎に、離散コサイン変換を施すことでDCT係数を算出する。
【0085】
続いて、ステップ52で、マクロブロック毎に、算出したDCT係数に対してビットシフト処理を施し、続くステップ53で、フレーム全体のDCT係数のうち絶対値が最大のものを検索することで、ビットプレーン数を決定する。
【0086】
続いて、ステップ54で、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの個数を判断する。
【0087】
例えば、ある閾値Th2に対して、
2max ≦|coef|≦2max +Th2
という条件を満たすcoefの集合を{COEF2}と表し、
2max +Th2<|coef|<2max+1
という条件を満たすcoefの集合を{COEF3}と表すときに、その{COEF3}に属するcoefの個数N(COEF3)が、ある閾値Th3に対して、
N(COEF3)≦Th3
であるのか否かを判断することで、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの個数を判断するのである。
【0088】
続いて、ステップ55で、ステップ54での判断処理により、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの個数が多いという判断結果が得られたのか否かを判断して、多いという判断結果が得られたときには、ステップ56に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。
【0089】
すなわち、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの個数が多い場合には、頭打ち処理を行わずに、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行うのである。
【0090】
一方、ステップ55で、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの個数が少ないことを判断するときには、ステップ57に進んで、フレームの全マクロブロックについて処理を終了したのか否かを判断して、未処理のマクロブロックが残されていることを判断するときには、ステップ58に進んで、未処理のマクロブロックを1つ選択する。
【0091】
続いて、ステップ59で、選択したマクロブロックについて、最上位ビットプレーンに値を持つDCT係数に対して頭打ち処理を施す。
【0092】
このようにして、ステップ57ないしステップ59の処理を繰り返していくときに、ステップ57で、フレームの全マクロブロックについて処理を終了したことを判断すると、ステップ56に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。
【0093】
すなわち、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの個数が少ない場合には、DCT係数に対して頭打ち処理を施して、その頭打ち処理を施したDCT係数を符号化対象として、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行うのである。
【0094】
このようにして、係数カウント・判定部402は、図7の処理フローに従う場合には、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの個数N(COEF3)と、あらかじめ設定した閾値Th3とを比較して、N(COEF3)≦Th3ならば、頭打ち処理を施すように処理するのである。
【0095】
この構成に従って、DCT係数の頭打ち処理による値の変化が大きいときに発生することになる、復号された残差信号の精度が劣化するという問題を回避することができるようになる。
【0096】
図8に、本発明の他の実施形態例を図示する。
【0097】
ここで、図中、図5に示したものと同じのものについては同一の記号で示してある。
【0098】
この実施形態例に従う場合、係数カウント・判定部402は、第1の符号化器101を構成する制御部206(図11に示したもの)から、信号線403を介して符号化パラメータを受け取って、この符号化パラメータを使って、頭打ち処理を実行するのか否かを判定する処理を行うことを特徴とする。
【0099】
例えば、原画像の複雑な領域に対応するマクロブロックでは第一の符号化器101における量子化パラメータが大きくなりやすいことを利用して、係数カウント・判定部402は、第1の符号化器101を構成する制御部206から量子化パラメータQPを受け取って、
N(COEF4)≦Th5
であるのか否かを判断して、この条件が成立する場合に、頭打ち処理を実行するように判断する。
【0100】
ここで、集合{COEF4}は、上述の集合{COEF3}の要素xのうち、QPx ≦Th4を満たすものとして定義される。ただし、QPx は、DCT係数xの含まれるマクロブロックのベースレイヤにおける量子化パラメータであり、N{COEF4}は、集合{COEF4}に属するDCT係数の個数である。
【0101】
次に、図9の処理フローに従って、図8のように構成される第2の符号化器106の実行する符号化処理について詳細に説明する。
【0102】
第2の符号化器106は、図8のように構成される場合には、図9の処理フローに示すように、先ず最初に、ステップ60で、符号化対象となる差分画像信号を入力すると、続いて、ステップ61で、その差分画像信号に対して、マクロブロック毎に、離散コサイン変換を施すことでDCT係数を算出する。
【0103】
続いて、ステップ62で、マクロブロック毎に、算出したDCT係数に対してビットシフト処理を施し、続くステップ63で、フレーム全体のDCT係数のうち絶対値が最大のものを検索することで、ビットプレーン数を決定する。
【0104】
続いて、ステップ64で、最上位のビットプレーンに値を持つDCT係数のうちの値が大きいものの中から、
N(COEF4)≦Th5
に従って、量子化パラメータが小さなものの個数を判断する。
【0105】
続いて、ステップ65で、ステップ64での判断処理により、N(COEF4)≦Th5という条件が成立したのか否かを判断して、この条件が成立しないという判断結果が得られたときには、ステップ66に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。
【0106】
すなわち、N(COEF4)≦Th5という条件が成立しない場合、したがってN(COEF4)の個数が多い場合には、頭打ち処理を行わずに、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行うのである。
【0107】
一方、ステップ65で、N(COEF4)≦Th5という条件が成立したことを判断するときは、ステップ67に進んで、フレームの全マクロブロックについて処理を終了したのか否かを判断して、未処理のマクロブロックが残されていることを判断するときには、ステップ68に進んで、未処理のマクロブロックを1つ選択する。
【0108】
続いて、ステップ69で、選択したマクロブロックについて、最上位ビットプレーンに値を持つDCT係数に対して頭打ち処理を施す。
【0109】
このようにして、ステップ67ないしステップ69の処理を繰り返していくときに、ステップ67で、フレームの全マクロブロックについて処理を終了したことを判断すると、ステップ66に進んで、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行って、処理を終了する。
【0110】
すなわち、N(COEF4)≦Th5という条件が成立した場合、したがってN(COEF4)の個数が少ない場合には、DCT係数に対して頭打ち処理を施して、その頭打ち処理を施したDCT係数を符号化対象として、最上位のビットプレーンから下位のビットプレーンに向けて、FGSで規定されるビットプレーン数分可変長符号化を行うのである。
【0111】
このようにして、係数カウント・判定部402は、図9の処理フローに従う場合には、上述の集合{COEF3}の要素xのうち、QPx ≦Th4を満たすものとして定義される集合{COEF4}の個数N(COEF4)と、あらかじめ設定した閾値Th5とを比較して、N(COEF4)≦Th5ならば、頭打ち処理を施すように処理するのである。
【0112】
この構成に従って、複雑な領域では復号画像の誤差が目立ちにくいという視覚特性を利用して、そのような領域に属するDCT係数については、上述したN(COEF3)≦Th3の判定から除くようにするのである。
【0113】
これから、DCT係数の頭打ち処理による値の変化が大きいときに発生することになる、復号された残差信号の精度が劣化するという問題を確実に回避することができるようになる。
【0114】
図示実施形態例について本発明を説明したが、本発明はこれに限定されるものではない。例えば、図5及び図8に示した実施形態例では説明しなかったが、図5及び図8に示した実施形態例においても、最上位1ビット分だけ小さくしたDCT係数を新たな処理対象として、その新たな処理対象の最上位のビットプレーンに値を持つDCT係数の個数に応じて、さらに頭打ち処理を継続していくように処理するという図4の処理フローで説明した構成を用いるようにしてもよいのである。
【0115】
【発明の効果】
以上説明したように、本発明では、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成するときに、通常の場合、最上位のビットプレーンに値を持つ直交変換係数が少ないことを考慮して、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくして、その規定のプレーン数分の符号化を行うようにする構成を採ることから、簡単な構成で残差信号の特性に応じた符号化を行い復号画像の品質の向上を実現できるようになる。
【0116】
そして、本発明では、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成するときに、最上位のビットプレーンに値を持つ直交変換係数が少ないことを判断したり、最上位のビットプレーンに値を持つ直交変換係数が実質的に少ないことを判断する場合には、最上位のビットプレーンに値を持つ直交変換係数の絶対値を最上位1ビット分だけ小さくして、その規定のプレーン数分の符号化を行うようにする構成を採ることから、簡単な構成で残差信号の特性に応じた符号化を行い復号画像の品質の向上を実現できるようになる。
【図面の簡単な説明】
【図1】本発明の一実施形態例である。
【図2】本発明の実行する処理フローの一例である。
【図3】本発明の符号化処理の有効性について説明する図である。
【図4】本発明の実行する処理フローの一例である。
【図5】本発明の他の実施形態例である。
【図6】本発明の実行する処理フローの一例である。
【図7】本発明の実行する処理フローの一例である。
【図8】本発明の他の実施形態例である。
【図9】本発明の実行する処理フローの一例である。
【図10】階層的符号化処理の説明図である。
【図11】階層的符号化処理の説明図である。
【図12】階層的符号化処理の説明図である。
【図13】DCT係数の説明図である。
【図14】FGS符号化処理の説明図である。
【符号の説明】
105 差分画像信号
106 第2の符号化器
108 拡張レイヤ符号化データ
301 離散コサイン変換処理部
302 重み付け部
303 最大値検索部
304 可変長符号化部
401 係数処理部
Claims (12)
- 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化装置において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する手段と、
上記検出した直交変換係数の絶対値を、上記最上位のビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する手段とを備えることを、
特徴とする画像符号化装置。 - 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化装置において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する手段と、
上記検出した直交変換係数に基づいて、上記最上位のビットプレーンに値を持つ直交変換係数のフレーム全体に対する割合が規定の閾値よりも小さいのか否かを判断して、小さいことを判断する場合に、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を小さくすることを判定する手段と、
上記判定結果に応じて、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を、そのビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する手段とを備えることを、
特徴とする画像符号化装置。 - 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化装置において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する手段と、
上記検出した直交変換係数に基づいて、上記最上位のビットプレーンに値を持つ直交変換係数の値が規定の閾値よりも大きくなるものの個数が規定の閾値よりも少ないのか否かを判断して、少ないことを判断する場合に、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を小さくすることを判定する手段と、
上記判定結果に応じて、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を、そのビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する手段とを備えることを、
特徴とする画像符号化装置。 - 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化装置において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する手段と、
上記検出した直交変換係数に基づいて、上記最上位のビットプレーンに値を持つ直交変換係数の値が規定の閾値よりも大きくなるもののうち、ベースレイヤの量子化パラメータが規定の閾値より小さくなるものの個数が規定の閾値よりも少ないのか否かを判断して、少ないことを判断する場合に、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を小さくすることを判定する手段と、
上記判定結果に応じて、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を、そのビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する手段とを備えることを、
特徴とする画像符号化装置。 - 請求項1ないし4のいずれか1項に記載の画像符号化装置において、
上記置換した直交変換係数を新たな処理対象として、その新たな処理対象の最上位のビットプレーンに値を持つ直交変換係数のフレーム全体に対する割合が規定の閾値よりも小さい場合に、直交変換係数の絶対値を小さくする処理を繰り返すことを指示する手段を備えることを、
特徴とする画像符号化装置。 - 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化方法において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する過程と、
上記検出した直交変換係数の絶対値を、上記最上位のビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する過程とを備えることを、
特徴とする画像符号化方法。 - 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化方法において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する過程と、
上記検出した直交変換係数に基づいて、上記最上位のビットプレーンに値を持つ直交変換係数のフレーム全体に対する割合が規定の閾値よりも小さいのか否かを判断して、小さいことを判断する場合に、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を小さくすることを判定する過程と、
上記判定結果に応じて、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を、そのビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する過程とを備えることを、
特徴とする画像符号化方法。 - 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化方法において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する過程と、
上記検出した直交変換係数に基づいて、上記最上位のビットプレーンに値を持つ直交変換係数の値が規定の閾値よりも大きくなるものの個数が規定の閾値よりも少ないのか否かを判断して、少ないことを判断する場合に、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を小さくすることを判定する過程と、
上記判定結果に応じて、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を、そのビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する過程とを備えることを、
特徴とする画像符号化方法。 - 階層的画像符号化で用いられて、原画像信号とベースレイヤ復号画像信号との差分画像信号を入力として、該差分画像信号に対して規定の小領域を単位として直交変換を施すことで直交変換係数を算出し、それをビットプレーンに展開して、最上位のビットプレーンから下位のビットプレーンに向けて規定のプレーン数分符号化することで拡張レイヤ符号化データを生成する画像符号化方法において、
上記最上位のビットプレーンに値を持つ直交変換係数を検出する過程と、
上記検出した直交変換係数に基づいて、上記最上位のビットプレーンに値を持つ直交変換係数の値が規定の閾値よりも大きくなるもののうち、ベースレイヤの量子化パラメータが規定の閾値より小さくなるものの個数が規定の閾値よりも少ないのか否かを判断して、少ないことを判断する場合に、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を小さくすることを判定する過程と、
上記判定結果に応じて、上記最上位のビットプレーンに値を持つ直交変換係数の絶対値を、そのビットプレーンに値を持たない直交変換係数がとり得る最も大きな値に置換する過程とを備えることを、
特徴とする画像符号化方法。 - 請求項6ないし9のいずれか1項に記載の画像符号化方法において、
上記置換した直交変換係数を新たな処理対象として、その新たな処理対象の最上位のビットプレーンに値を持つ直交変換係数のフレーム全体に対する割合が規定の閾値よりも小さい場合に、直交変換係数の絶対値を小さくする処理を繰り返すことを指示する過程を備えることを、
特徴とする画像符号化方法。 - 請求項6ないし10のいずれか1項に記載の画像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラム。
- 請求項6ないし10のいずれか1項に記載の画像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003145586A JP4008846B2 (ja) | 2003-05-23 | 2003-05-23 | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003145586A JP4008846B2 (ja) | 2003-05-23 | 2003-05-23 | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004350072A JP2004350072A (ja) | 2004-12-09 |
JP4008846B2 true JP4008846B2 (ja) | 2007-11-14 |
Family
ID=33532674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003145586A Expired - Fee Related JP4008846B2 (ja) | 2003-05-23 | 2003-05-23 | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4008846B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010140308A1 (ja) * | 2009-06-02 | 2010-12-09 | 株式会社日立製作所 | 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 |
-
2003
- 2003-05-23 JP JP2003145586A patent/JP4008846B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004350072A (ja) | 2004-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4249790B2 (ja) | ビデオ画像を処理するコンピュータ実行方法及び記録媒体 | |
US7848579B2 (en) | Image coding device, method and computer program with data coding amount prediction | |
US8531321B1 (en) | Signal processing and inheritance in a tiered signal quality hierarchy | |
JP4901772B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
JP4425563B2 (ja) | フェーディング補償のためのパラメータ化 | |
CN103947206B (zh) | 基于区域的图像压缩的方法和装置 | |
WO2014054267A1 (ja) | 画像符号化装置及び画像符号化方法 | |
US20090110070A1 (en) | Image encoding device and encoding method, and image decoding device and decoding method | |
US8285064B2 (en) | Method for processing images and the corresponding electronic device | |
WO2010084692A1 (ja) | 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法 | |
US20080089413A1 (en) | Moving Image Encoding Apparatus And Moving Image Encoding Method | |
JP2003244702A (ja) | ブロッキング効果を除去するためのフィルタリング方法及びその装置 | |
JP5133290B2 (ja) | 動画像符号化装置および復号装置 | |
JP2004032718A (ja) | フェーディング推定/補償によりビデオフレームを処理するシステムおよび方法 | |
WO2011099428A1 (ja) | 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム | |
JP2008167449A (ja) | 映像の符号化、復号化方法及び装置 | |
JP2006067302A (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
JP4510701B2 (ja) | 動画像符号化装置 | |
JP4008846B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 | |
JP2005348008A (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2013121044A (ja) | 画像符号化装置及び画像符号化方法 | |
Chiou et al. | Performance improvement of distributed video coding by using block mode selection | |
US7706440B2 (en) | Method for reducing bit rate requirements for encoding multimedia data | |
WO2019150435A1 (ja) | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム | |
JP6080077B2 (ja) | 画像符号化方法及び画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070711 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070830 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |