JP4153454B2 - 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4153454B2 JP4153454B2 JP2004082167A JP2004082167A JP4153454B2 JP 4153454 B2 JP4153454 B2 JP 4153454B2 JP 2004082167 A JP2004082167 A JP 2004082167A JP 2004082167 A JP2004082167 A JP 2004082167A JP 4153454 B2 JP4153454 B2 JP 4153454B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- region
- code amount
- target code
- quantization parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は，複数の領域からなるピクチャに対して符号化を行う動画像符号化技術に関し，特に，符号化対象となる画像の各領域毎の目標符号量を決定し，各符号化部がその目標符号量に基づいて各領域の符号化を行い，かつ各符号化ブロックごとに画像のアクティビティに応じて量子化パラメータの重み付けを行う動画像符号化技術に関するものである。
ＭＰＥＧ−２のＴｅｓｔ Ｍｏｄｅｌ ５（以下，ＴＭ５という）では，符号量制御は，以下のＳＴＥＰ１〜３の３つの段階に分けられる（例えば，非特許文献１参照）。
・ＳＴＥＰ１では，ビットレートやピクチャ発生符号量などから次のピクチャの目標符号量を決定する。
・ＳＴＥＰ２では，与えられたピクチャ目標符号量を達成するように，マクロブロックごとに発生符号量のフィードバック制御を行い，各マクロブロックのベースの量子化パラメータを決定する。
・ＳＴＥＰ３では，ＳＴＥＰ２で決定された各マクロブロックのベースの量子化パラメータに対して重み付けを行い，最終的なそのマクロブロックの量子化パラメータを決定する。
・ＳＴＥＰ１では，ビットレートやピクチャ発生符号量などから次のピクチャの目標符号量を決定する。
・ＳＴＥＰ２では，与えられたピクチャ目標符号量を達成するように，マクロブロックごとに発生符号量のフィードバック制御を行い，各マクロブロックのベースの量子化パラメータを決定する。
・ＳＴＥＰ３では，ＳＴＥＰ２で決定された各マクロブロックのベースの量子化パラメータに対して重み付けを行い，最終的なそのマクロブロックの量子化パラメータを決定する。
ＳＴＥＰ１の計算はピクチャにつき１回，ＳＴＥＰ２とＳＴＥＰ３はマクロブロックごとに毎回行われる。この重み付け値（Ｎ-act）は，ピクチャ全体のアクティビティに対するそのマクロブロックのアクティビティの偏差に応じて決定され，１／２倍から２倍の間の値である。
ＴＭ５では，マクロブロックのアクティビティをそのマクロブロック内のブロックの輝度分散のうち最小のものと定義している。このような量子化パラメータの重み付けにより，視覚的に量子化歪が目立ちにくいアクティビティの大きなマクロブロックでは量子化パラメータ（量子化ステップ）が大きく設定され，逆に目立ちやすいアクティビティの小さなマクロブロックでは量子化パラメータが小さく設定されるので，視覚的に画質が低下することなく符号化効率の向上を図ることができる。
一方，画面を複数の領域に分け，それぞれに対応する符号化部で並列に符号化を行う場合に，毎ピクチャごとにピクチャ全体の目標符号量を決定した後，それを各領域に分配して各領域毎の目標符号量を決定し，各符号化部がその目標符号量に従って符号化処理を行う方法がある。
この際に，各分割領域ｉにおける最も最近の過去の同種ピクチャタイプの量子化パラメータＱi と発生符号量Ｓi の積をその領域ｉの複雑さ指標Ｘi とし，領域間の複雑さ指標Ｘi の比率に比例して，ピクチャ目標符号量を各領域に配分する。そして，各符号化部において配分された目標符号量に従って，それぞれ符号量制御を行うことにより，各分割領域での平均量子化パラメータのレベルがほぼ同程度になり，分割領域間の画質の偏りがない良好な符号化結果を得ることができる。このような方法の例として，下記の特許文献１に記載されているものなどがある。
特許第３３９３５９５号公報
"ISO/IEC 13838-2 JTC1 SC29 WG11/93-400 MPEG-2 TestModel5"
前述のように，各分割領域ｉにおける平均量子化パラメータが同程度になるように目標符号量が与えられた場合に，各符号化部においてそれぞれＳＴＥＰ３によりピクチャ全体の平均アクティビティに対する各マクロブロックのアクティビティに応じた重み付け（１／２〜２倍）を行うと，ピクチャ全体の平均アクティビティに対して高いアクティビティを持つマクロブロックが多く存在する領域においては，量子化パラメータの重み付け値Ｎ-actが１以上の値をとるマクロブロックが多くなり，符号量が少なめになる。結果として，ＳＴＥＰ２のフィードバック制御により，ベースの量子化パラメータが下がり，量子化パラメータの重み付けが相殺されてしまう。
同様に，ピクチャ全体の平均アクティビティに対して低いアクティビティを持つマクロブロックが多く存在する領域においては，量子化パラメータの重み付け値Ｎ-actは１以下の値をとるマクロブロックが多くなり，符号量が多めにでる。結果として，ＳＴＥＰ２のフィードバック制御により，ベースの量子化パラメータが上がり，量子化パラメータの重み付けが相殺されてしまう。
例えば，単一の符号化装置で符号量制御を行った場合に，画面全体の平均量子化パラメータ（ＳＴＥＰ２による量子化パラメータ），および本来のＳＴＥＰ３による量子化パラメータが図１（Ａ）に示すようなレベルになる画像を，複数の領域に分割して同様の符号量制御を行いながら符号化した場合を考える。
上述したように，各分割領域ｉにおける平均量子化パラメータが同程度になるように目標符号量を与え，各符号化部がその目標符号量に従って符号化処理を行うと，図１（Ｂ）に示すように，各領域でＳＴＥＰ３の重み付けを行った後の各分割領域の量子化パラメータの平均値が，領域間でほぼ一定になってしまう。
従って，本来意図していた，ピクチャ全体の平均アクティビティに対する各マクロブロックのアクティビティの偏差に応じた量子化パラメータの重み付けを行うことができないという問題があった。また，その際に領域間のベースの量子化パラメータに食い違いが生じるために，領域境界で画質の食い違いが生じ，視覚的に目立つという問題があった。
本発明は，上記従来技術の問題点を解決し，複数の領域からなるピクチャに対して符号化を行う際に，ピクチャ全体のアクティビティに対する各マクロブロックのアクティビティの偏差に応じて量子化パラメータの重み付けを行い，領域境界で画質の食い違いが生じない視覚的に良好な復号画像が得られる動画像の符号化を実現することを目的とする。
上記課題を解決するために，本発明は，目標符号量配分において，各分割領域ｉの平均量子化パラメータが同程度になるように配分するのではなく，画面全体の平均アクティビティに対する各分割領域ｉの平均アクティビティの偏差に応じた重み付け値（Ｎ-actglobali ）を求め，その重み付けがなされた平均量子化パラメータとなるように目標符号量を配分する。この場合，下記式（１）〜式（４）のような式に従って配分を決定する。
上記のように，本発明では，ピクチャの目標符号量Ｔを各分割領域ｉに配分する際に，複雑さ指標Ｘi に比例した配分率にするのではなく，複雑さ指標Ｘi をＮ-actglobali で除算した値に比例した配分率にする。これにより，目標符号量Ｔi が配分された領域の平均量子化パラメータが画面全体の平均の量子化パラメータに対してＮ-actglobali を乗じたレベルになることが期待される。
さらに，各符号化部における各マクロブロックごとの上記ＳＴＥＰ３は，式（５）〜式（７）を用いて，下記のように行う。
そして，式（６）に示すように，重み付け値Ｎ-actj ' を目標符号量の配分時に用いた重み付け値Ｎ-actglobali で除算し，各分割領域ｉの平均量子化パラメータを基準とした値に換算した重み付け値Ｎ-actj を求める。次に，式（５）に示すように，Ｎ-actj をマクロブロックｊのベースの量子化パラメータｑj に乗じて，最終的なマクロブロックｊの量子化パラメータmquantj を求める。これにより，画面全体の正規化された本来のＳＴＥＰ３の効果が期待できる。
図２は，上記各重み付け値と平均量子化パラメータの関係を示す図である。ピクチャの平均量子化パラメータ，領域ｉの平均量子化パラメータ，マクロブロックｊの平均量子化パラメータに対して，重み付け値Ｎ-actj ’，Ｎ-actglobali ，Ｎ-actj は，図２に示すような関係がある。そこで，式（７）により求めたＮ-actj ’をＮ-actglobali で除算することにより，各分割領域の平均量子化パラメータを基準とした値に換算した重み付け値Ｎ-actj を求めることができる。
図３は，本発明による符号化結果を示す図である。図３に示すように，上述したＴＭ５のＳＴＥＰ２のフィードバック制御後の各平均量子化パラメータのレベルは，各分割領域毎に異なっている。従って，本発明によれば，画面全体のアクティビティに対する各マクロブロックのアクティビティの偏差に応じた量子化パラメータの重み付けが実現されることがわかる。
なお，例えば，ＳＴＥＰ３において画面全体のアクティビティを基準とした各マクロブロックのアクティビティの偏差から求めた重み付け値をそのまま用いる方法が考えられるが，これでは，各分割領域の平均の量子化パラメータに１／２〜２倍の重み付けがかかっているところにさらにマクロブロック単位で１／２〜２倍の重み付けがかかってしまうので正しい効果が期待できない。
以上のように，本発明は，複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とを備え，複数の領域からなるピクチャに対して符号化を行う動画像符号化装置において，前記目標符号量決定部は，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定し，前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めた量子化パラメータの重み付け値を，各領域の平均量子化パラメータを基準とした重み付け値に換算して，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化することを特徴とする。
また，前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めたピクチャ全体に対する各符号化ブロックの量子化パラメータの重み付け値を，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値で除算した値を用いて，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化することを特徴とする。
本発明によれば，画像の各領域毎の目標符号量を決定し，各符号化部がその目標符号量に基づいて各領域の符号化を行う方式において，画面全体のアクティビティに対する各マクロブロックのアクティビティの偏差に応じて量子化パラメータの重み付けを行うことができ，視覚的な画質がよく効率のよい動画像符号化を実現できる。
以下に，図を用いて，本発明の実施の形態を説明する。図４は，本発明の動画像符号化装置の構成例を示す図である。動画像符号化装置１は，各分割領域の目標符号量を決定する目標符号量決定部１１と，各分割映像Ａ〜Ｄの動画像符号化を行う符号化部１２〜１５と，各符号化部１２〜１５において生成されたビットストリームを再構成するストリーム再構成部１６とから構成される。
図５は，動画像符号化処理フローの一例を示す図である。目標符号量決定部１１においては，ＴＭ５のＳＴＥＰ１に準拠したフレームレート制御アルゴリズムにより，毎ピクチャの目標符号量Ｔを決定する（図５のＳ１）。
目標符号量決定部１１において，さらに，目標符号量Ｔを各分割映像Ａ〜Ｄの過去の符号化結果に基づいて分配する。すなわち，下記の式（３）に示すように，分割領域ｉ（ｉ＝Ａ〜Ｄ）の画像の過去の同種ピクチャタイプのピクチャの符号化結果の発生符号量Ｓi と平均量子化パラメータＱi の積を，その領域の複雑さ指標Ｘi とする。
また，式（４）に示すように，直前のピクチャの各分割領域ｉのアクティビティの平均値 avg-actlocaliの画面全体のアクティビティの平均値 avg-actglobalに対する偏差から，Ｎ-actglobali を求める。そして，式（２）’に示すように，各分割領域ｉにおけるＸi ／Ｎ-actglobali の値から，各分割領域ｉに対する目標符号量配分率αi を求め，式（１）に示すように，目標符号量配分率αi とピクチャの目標符号量Ｔとの積をとって各分割領域ｉの目標符号量Ｔi を決定し，その各目標符号量Ｔi を各分割領域ｉの画像を符号化する符号化部１２〜１５に伝達する（Ｓ２）。
各符号化部１２〜１５において，分割映像（領域ｉ）のすべてのマクロブロックの符号化が終了したら，各領域ｉの平均量子化パラメータ，発生符号量，平均アクティビティ値を目標符号量決定部１１に送信し（Ｓ９），そのピクチャの符号化がすべて終了するまで（Ｓ１０），目標符号量決定部１１は次のピクチャの目標符号量Ｔの決定を行い，以降のピクチャについても以上と同様の処理を繰り返す。
このようにして生成したビットストリームは，ストリーム再構成部１６において再構成され，１本のストリームとして出力される。このようにして符号化することで，分割映像の画像間で量子化パラメータのレベルに食い違いが生じずに，各マクロブロックのアクティビティに応じた量子化パラメータの画面全体での重み付けが実現され，良好な画質を得ることができる。
以上の動画像符号化の処理は，ハードウェアまたはファームウェアによって実現することができる。また，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
１ 動画像符号化装置
１１ 目標符号量決定部
１２，１３，１４，１５ 符号化部
１６ ストリーム再構成部
１１ 目標符号量決定部
１２，１３，１４，１５ 符号化部
１６ ストリーム再構成部
Claims (6)
- 複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とを備え，複数の領域からなるピクチャに対して符号化を行う動画像符号化装置において，
前記目標符号量決定部は，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する手段を備え，
前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めた量子化パラメータの重み付け値を，各領域の平均量子化パラメータを基準とした重み付け値に換算して，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する手段を備える
ことを特徴とする動画像符号化装置。 - 複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とを備え，複数の領域からなるピクチャに対して符号化を行う動画像符号化装置において，
前記目標符号量決定部は，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する手段を備え，
前記符号化部は，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めたピクチャ全体に対する各符号化ブロックの量子化パラメータの重み付け値を，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値で除算した値を用いて，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する手段を備える
ことを特徴とする動画像符号化装置。 - 複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とによって，複数の領域からなるピクチャに対して符号化を行う動画像符号化方法において，
前記目標符号量決定部が，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する過程と，
前記符号化部が，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めた量子化パラメータの重み付け値を，各領域の平均量子化パラメータを基準とした重み付け値に換算して，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する過程とを有する
ことを特徴とする動画像符号化方法。 - 複数の領域からなるピクチャの各領域の符号化処理情報を利用してピクチャの各領域毎の目標符号量を決定する目標符号量決定部と，前記目標符号量決定部が決定した目標符号量に従って，ピクチャの各領域の符号化処理を行う符号化部とによって，複数の領域からなるピクチャに対して符号化を行う動画像符号化方法において，
前記目標符号量決定部が，ピクチャ全体の平均アクティビティに対する各領域の平均アクティビティの偏差に応じて，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値を算出し，その重み付け値に基づいて各領域の目標符号量を決定する過程と，
前記符号化部が，ピクチャ全体の平均アクティビティに対する各符号化ブロックのアクティビティの偏差に応じて求めたピクチャ全体に対する各符号化ブロックの量子化パラメータの重み付け値を，ピクチャ全体に対する各領域の平均量子化パラメータの重み付け値で除算した値を用いて，符号化ブロックの量子化パラメータの重み付けを行い，その重み付けを行った量子化パラメータに従って各符号化ブロックを符号化する過程とを有する
ことを特徴とする動画像符号化方法。 - 請求項３または請求項４に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラム。
- 請求項３または請求項４に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004082167A JP4153454B2 (ja) | 2004-03-22 | 2004-03-22 | 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004082167A JP4153454B2 (ja) | 2004-03-22 | 2004-03-22 | 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005269484A JP2005269484A (ja) | 2005-09-29 |
| JP4153454B2 true JP4153454B2 (ja) | 2008-09-24 |
Family
ID=35093510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004082167A Expired - Fee Related JP4153454B2 (ja) | 2004-03-22 | 2004-03-22 | 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4153454B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6194334B2 (ja) * | 2015-06-10 | 2017-09-06 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
| JP2022508245A (ja) * | 2018-11-27 | 2022-01-19 | オーピー ソリューションズ， エルエルシー | 文脈的区分化および処理のためのブロックベースのピクチャ融合 |
-
2004
- 2004-03-22 JP JP2004082167A patent/JP4153454B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005269484A (ja) | 2005-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3533282B2 (ja) | 複数のプロセッサを使用したビデオ圧縮 | |
| US8559501B2 (en) | Method and apparatus for adaptively determining a bit budget for encoding video pictures | |
| US20220116626A1 (en) | Adaptive bit rate ratio control | |
| Tao et al. | Adaptive model-driven bit allocation for MPEG video coding | |
| US20070201553A1 (en) | Adaptive quantizer, adaptive quantization method and adaptive quantization program | |
| JPH09172634A (ja) | ビデオデータ圧縮方式 | |
| JP2005094458A (ja) | 動画像符号化装置及び方法 | |
| CN110708570A (zh) | 视频的编码码率确定方法、装置、设备及存储介质 | |
| CN112437301A (zh) | 一种面向视觉分析的码率控制方法、装置、存储介质及终端 | |
| JP4179917B2 (ja) | 動画像符号化装置及び方法 | |
| JP4153454B2 (ja) | 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US9426474B2 (en) | Transcoder | |
| JPH07203430A (ja) | 画像符号化装置 | |
| JP2004320707A (ja) | ビデオ情報複数同時符号化装置 | |
| US7606436B2 (en) | Image encoding apparatus and quantization control method | |
| JP2005045736A (ja) | 画像信号符号化方法及び装置、符号化制御装置並びにプログラム | |
| JP4249672B2 (ja) | ビデオ情報複数同時符号化装置 | |
| US8971393B2 (en) | Encoder | |
| JP2004015340A (ja) | 動画像符号化のための量子化制御方式 | |
| JPH04336894A (ja) | 動画像符号化装置 | |
| JP2019114911A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP4755239B2 (ja) | 映像符号量制御方法，映像符号化装置，映像符号量制御プログラムおよびその記録媒体 | |
| JP4747109B2 (ja) | 演算量調整装置 | |
| JP4478480B2 (ja) | 動画像符号化装置及びその方法 | |
| JP4643736B2 (ja) | 映像符号化装置、映像符号化方法、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060410 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080703 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4153454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |