JPH1141611A - 画像の動き推定領域分割方法 - Google Patents
画像の動き推定領域分割方法Info
- Publication number
- JPH1141611A JPH1141611A JP21020297A JP21020297A JPH1141611A JP H1141611 A JPH1141611 A JP H1141611A JP 21020297 A JP21020297 A JP 21020297A JP 21020297 A JP21020297 A JP 21020297A JP H1141611 A JPH1141611 A JP H1141611A
- Authority
- JP
- Japan
- Prior art keywords
- information
- amount
- motion vector
- area pattern
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】領域分割に基づく動き補償予測符号化におい
て、動き推定と領域分割を符号化効率を最大にするよう
に、すなわち、分割形状情報量・動ベクトル情報量・予
測誤差情報量の和に相当する発生情報量を最小にするよ
うに実行する動き推定・領域分割装置を提供する。 【解決手段】画像を任意形状の領域に分割した上で該領
域パターンの符号化を行う領域分割符号化を目的とする
動き推定領域分割方法において、形状情報量と予測誤差
情報量及び動ベクトル情報量を各候補動ベクトル毎に、
該各候補動ベクトルの取り得る領域パターン毎に求める
ステップと、前記各動ベクトルを段階とし、蓄積領域パ
ターンを状態とする動的計画法を前記の求められた形状
情報量，予測誤差情報量および動ベクトル情報量に適用
することにより領域分割・動き推定を行うステップとを
具備したことを特徴とする構成を有している。
て、動き推定と領域分割を符号化効率を最大にするよう
に、すなわち、分割形状情報量・動ベクトル情報量・予
測誤差情報量の和に相当する発生情報量を最小にするよ
うに実行する動き推定・領域分割装置を提供する。 【解決手段】画像を任意形状の領域に分割した上で該領
域パターンの符号化を行う領域分割符号化を目的とする
動き推定領域分割方法において、形状情報量と予測誤差
情報量及び動ベクトル情報量を各候補動ベクトル毎に、
該各候補動ベクトルの取り得る領域パターン毎に求める
ステップと、前記各動ベクトルを段階とし、蓄積領域パ
ターンを状態とする動的計画法を前記の求められた形状
情報量，予測誤差情報量および動ベクトル情報量に適用
することにより領域分割・動き推定を行うステップとを
具備したことを特徴とする構成を有している。
Description
【０００１】
【発明の属する技術分野】本発明は画像の符号化装置に
関し、特に、動画像の領域分割に基づく動き補償予測符
号化に好適な、動画像の動き推定領域分割方法に関す
る。
関し、特に、動画像の領域分割に基づく動き補償予測符
号化に好適な、動画像の動き推定領域分割方法に関す
る。
【０００２】
【従来の技術】領域分割に基づく動き補償予測符号化に
おいては、形状情報量まで含めた全発生情報量を最小と
するべく領域分割・動き推定処理を行う必要がある。従
来の動き補償予測のための領域分割法としては、まず何
らかの方法でクラスタリングを行い、その後ある規範で
領域結合を行う分離・統合法（split and merge 法）が
代表的である。しかし、この方法では、動き情報を考慮
していない最初の分離（split ）の段階に性能を大きく
左右されるという点で、改善の余地が大きいといえる。
〔split and merge 法の詳細に関しては、「画像処理ハ
ンドブック」（昭晃堂）等を参照〕。従来の方法である
Split and merge 法では、図５（ａ）に示したように、
まず画像を細かく分割した後、何らかの規範で図５
（ｂ）に示すように統合するという手順を取る。この統
合する規範としては、予測誤差自乗和の大小などが用い
られる。
おいては、形状情報量まで含めた全発生情報量を最小と
するべく領域分割・動き推定処理を行う必要がある。従
来の動き補償予測のための領域分割法としては、まず何
らかの方法でクラスタリングを行い、その後ある規範で
領域結合を行う分離・統合法（split and merge 法）が
代表的である。しかし、この方法では、動き情報を考慮
していない最初の分離（split ）の段階に性能を大きく
左右されるという点で、改善の余地が大きいといえる。
〔split and merge 法の詳細に関しては、「画像処理ハ
ンドブック」（昭晃堂）等を参照〕。従来の方法である
Split and merge 法では、図５（ａ）に示したように、
まず画像を細かく分割した後、何らかの規範で図５
（ｂ）に示すように統合するという手順を取る。この統
合する規範としては、予測誤差自乗和の大小などが用い
られる。
【０００３】
【発明が解決しようとする課題】領域分割に基づく動き
補償予測符号化においては、動き推定と領域分割とを互
いに密接に関連付けながら同時に処理し、その結果の分
割形状情報量・動ベクトル情報量・予測誤差情報量の和
を最小にすることが望ましい。しかしながら、前記の如
き従来の方法では、まず分割したものを再度統合する
為、始めの分割の段階に、全体の性能を大きく左右され
ることになる。分割の規範としては、画像のテクスチャ
などに基づき、動き情報などは勘案されない為、動き補
償予測符号化の目的からは、最適な領域分割・動き推定
とはならない。
補償予測符号化においては、動き推定と領域分割とを互
いに密接に関連付けながら同時に処理し、その結果の分
割形状情報量・動ベクトル情報量・予測誤差情報量の和
を最小にすることが望ましい。しかしながら、前記の如
き従来の方法では、まず分割したものを再度統合する
為、始めの分割の段階に、全体の性能を大きく左右され
ることになる。分割の規範としては、画像のテクスチャ
などに基づき、動き情報などは勘案されない為、動き補
償予測符号化の目的からは、最適な領域分割・動き推定
とはならない。
【０００４】本発明の目的は、領域分割に基づく動き補
償予測符号化において、動き推定と領域分割を符号化効
率を最大にするように、すなわち、分割形状情報量・動
ベクトル情報量・予測誤差情報量の和に相当する発生情
報量を最小にするように実行する動き推定・領域分割装
置を提供することにある。
償予測符号化において、動き推定と領域分割を符号化効
率を最大にするように、すなわち、分割形状情報量・動
ベクトル情報量・予測誤差情報量の和に相当する発生情
報量を最小にするように実行する動き推定・領域分割装
置を提供することにある。
【０００５】
【課題を解決するための手段】前記した目的を達成する
ために、本発明による画像の動き推定領域分割方法は、
画像を任意形状の領域に分割した上で該領域パターンの
符号化を行う領域分割符号化を目的とする動き推定領域
分割方法において、形状情報量と予測誤差情報量及び動
ベクトル情報量を各候補動ベクトル毎に、該各候補動ベ
クトルの取り得る領域パターン毎に求めるステップと、
前記各動ベクトルを段階とし、蓄積領域パターンを状態
とする動的計画法を前記の求められた形状情報量，予測
誤差情報量および動ベクトル情報量に適用することによ
り領域分割・動き推定を行うステップとを具備したこと
を特徴とする構成を有している。
ために、本発明による画像の動き推定領域分割方法は、
画像を任意形状の領域に分割した上で該領域パターンの
符号化を行う領域分割符号化を目的とする動き推定領域
分割方法において、形状情報量と予測誤差情報量及び動
ベクトル情報量を各候補動ベクトル毎に、該各候補動ベ
クトルの取り得る領域パターン毎に求めるステップと、
前記各動ベクトルを段階とし、蓄積領域パターンを状態
とする動的計画法を前記の求められた形状情報量，予測
誤差情報量および動ベクトル情報量に適用することによ
り領域分割・動き推定を行うステップとを具備したこと
を特徴とする構成を有している。
【０００６】
【発明の実施の形態】本発明によれば、まず候補動ベク
トル毎に、取り得る領域パターン毎に、その形状情報量
と動ベクトル情報量、及び予測誤差情報量が計算され、
テーブルに格納される。ついで、各動ベクトルを段階,
累積領域パターンを状態とする動的計画法の適用によ
り、全発生情報量を最小とするような最適な動き推定・
領域分割の総合化同時処理方法が実現できる。
トル毎に、取り得る領域パターン毎に、その形状情報量
と動ベクトル情報量、及び予測誤差情報量が計算され、
テーブルに格納される。ついで、各動ベクトルを段階,
累積領域パターンを状態とする動的計画法の適用によ
り、全発生情報量を最小とするような最適な動き推定・
領域分割の総合化同時処理方法が実現できる。
【０００７】
【実施例】つぎに、本発明の実施例を図１を参照して説
明する。本実施例では、まず、動ベクトル毎、領域パタ
ーン毎に、発生情報量が見積もられ（Ｓ１）、テーブル
に記憶される（Ｓ２）。次に、動ベクトルを段階（stag
e ）、累積領域パターンを状態（state ）とする動的計
画法が適用され（Ｓ３）、最適領域分割・動き推定が実
現される。具体的な簡単な例として、図２に示す４個の
小ブロックからなる画像を考える。この画像における、
動ベクトル毎の領域パターンは、同図２に示したよう
に、各小ブロックに「黒」が入るか入らないかで計２の
４乗＝１６通りとなる。
明する。本実施例では、まず、動ベクトル毎、領域パタ
ーン毎に、発生情報量が見積もられ（Ｓ１）、テーブル
に記憶される（Ｓ２）。次に、動ベクトルを段階（stag
e ）、累積領域パターンを状態（state ）とする動的計
画法が適用され（Ｓ３）、最適領域分割・動き推定が実
現される。具体的な簡単な例として、図２に示す４個の
小ブロックからなる画像を考える。この画像における、
動ベクトル毎の領域パターンは、同図２に示したよう
に、各小ブロックに「黒」が入るか入らないかで計２の
４乗＝１６通りとなる。
【０００８】
【表１】
【０００９】次に、表１に示したように、各動ベクトル
毎, 各領域パターン毎に、発生情報量が計算されテーブ
ルに格納される。この時の発生情報量は、その動ベクト
ルによるその領域パターンの予測誤差情報量と、その領
域パターンの形状情報量とに、動ベクトルの情報量を加
算したものとなる。この場合の形状情報量は、その領域
パターン固有のものであり、例えば、差分チェーン符号
化での符号量であらわされる。差分チェーン符号化は、
各サンプル値を方向成分抽出、方向差分抽出、不
等長符号化の符号化ステップで符号化するものである。
動ベクトル情報量は、例えば連結領域当たり固定のビッ
ト数であらわすことができる。図２のパターン１１につ
いては, 連結領域数は２なので、１連結領域当たりのビ
ット数を２ビットとすると、２×２＝４ビットとなる。
毎, 各領域パターン毎に、発生情報量が計算されテーブ
ルに格納される。この時の発生情報量は、その動ベクト
ルによるその領域パターンの予測誤差情報量と、その領
域パターンの形状情報量とに、動ベクトルの情報量を加
算したものとなる。この場合の形状情報量は、その領域
パターン固有のものであり、例えば、差分チェーン符号
化での符号量であらわされる。差分チェーン符号化は、
各サンプル値を方向成分抽出、方向差分抽出、不
等長符号化の符号化ステップで符号化するものである。
動ベクトル情報量は、例えば連結領域当たり固定のビッ
ト数であらわすことができる。図２のパターン１１につ
いては, 連結領域数は２なので、１連結領域当たりのビ
ット数を２ビットとすると、２×２＝４ビットとなる。
【００１０】次に、動ベクトルを「段階」とし、累積領
域パターンを「状態」とする動的計画法を適用する。表
１を元に、動ベクトルを「段階」とし、累積領域パター
ンを「状態」とする動的計画法は、以下のようになる。
域パターンを「状態」とする動的計画法を適用する。表
１を元に、動ベクトルを「段階」とし、累積領域パター
ンを「状態」とする動的計画法は、以下のようになる。
【００１１】まず, 最適化漸化式は、
【数１】 となる。ここには、ｐj −ｐt は、領域パターンｐj か
ら領域パターンｐt を除いた残りの部分を示す領域パタ
ーンであり、前記１６種類のパターンのどれかに一致す
る。
ら領域パターンｐt を除いた残りの部分を示す領域パタ
ーンであり、前記１６種類のパターンのどれかに一致す
る。
【００１２】式（１）ないし式（３）を順次計算する
と、次の表２，表３，表４が得られる。
と、次の表２，表３，表４が得られる。
【００１３】
【表２】
【００１４】
【表３】
【００１５】
【表４】
【００１６】表４のｆ3 （ｐ16）は、全発生情報量の最
小値「３」を示す。この時同時にＶ3 の領域パターンが
Ｐ3 （又はＰ15）に決定される。すると、これから
Ｖ1 ，Ｖ2 の占めるパターン（累積領域パターン）が表
３からＰ7 （又はＰ16）に決まるので、ｆ2 （ｐj ）を
示す表３のそれに対応する部分を参照すれば、Ｖ2 の領
域パターンがＰ7 に決まる。同様にして、Ｖ1 の領域パ
ターンがｆ1 （ｐj ）を示す表２よりＰ15（又はＰ3 ）
に定まる。以上のようにして、全発生情報量を最小とす
るような各動ベクトルの領域パターンが決定される。す
なわち、領域分割・動き推定の最適統合同時処理が実行
される。
小値「３」を示す。この時同時にＶ3 の領域パターンが
Ｐ3 （又はＰ15）に決定される。すると、これから
Ｖ1 ，Ｖ2 の占めるパターン（累積領域パターン）が表
３からＰ7 （又はＰ16）に決まるので、ｆ2 （ｐj ）を
示す表３のそれに対応する部分を参照すれば、Ｖ2 の領
域パターンがＰ7 に決まる。同様にして、Ｖ1 の領域パ
ターンがｆ1 （ｐj ）を示す表２よりＰ15（又はＰ3 ）
に定まる。以上のようにして、全発生情報量を最小とす
るような各動ベクトルの領域パターンが決定される。す
なわち、領域分割・動き推定の最適統合同時処理が実行
される。
【００１７】以上の処理において、例えば各動ベクトル
の取り得るパターン数に個別に制限を設けることによ
り、漸化式において最小値を求めるための計算回数、及
び状態数を減少させることができ、簡略化することがで
きる。また、候補動ベクトル数（上記の例では３個）
は、通常の画像符号化では、５１２個程度存在するが、
これにも制限を設けることにより、簡略化が可能であ
る。
の取り得るパターン数に個別に制限を設けることによ
り、漸化式において最小値を求めるための計算回数、及
び状態数を減少させることができ、簡略化することがで
きる。また、候補動ベクトル数（上記の例では３個）
は、通常の画像符号化では、５１２個程度存在するが、
これにも制限を設けることにより、簡略化が可能であ
る。
【００１８】図３，図４を参照して、本発明の実施例に
ついてさらに具体的に説明する。図３は実施例の構成を
示すブロック図であり、図４はその動作を説明するため
のフローチャートである。入力端子１１から動ベクトル
Ｖi が入力する（Ｓ１１）。回路４からは、領域パター
ン毎に、入力された動ベクトルＶi の予測誤差情報量Ｉ
1 が算出され、回路１からは領域パターン毎の動ベクト
ル情報量Ｉ2 が算出され、回路２のテーブルには領域パ
ターン毎の形状情報量が用意されている（Ｓ１２）。こ
れらの動作において、ステップＳ１３では領域パターン
Ｐi の更新を行い、ステップＳ１４では動ベクトルＶi
の更新を行うことにより、回路３により各動ベクトル
毎，各領域パターン毎の情報テーブルが生成され、回路
５の情報テーブルに記憶される。
ついてさらに具体的に説明する。図３は実施例の構成を
示すブロック図であり、図４はその動作を説明するため
のフローチャートである。入力端子１１から動ベクトル
Ｖi が入力する（Ｓ１１）。回路４からは、領域パター
ン毎に、入力された動ベクトルＶi の予測誤差情報量Ｉ
1 が算出され、回路１からは領域パターン毎の動ベクト
ル情報量Ｉ2 が算出され、回路２のテーブルには領域パ
ターン毎の形状情報量が用意されている（Ｓ１２）。こ
れらの動作において、ステップＳ１３では領域パターン
Ｐi の更新を行い、ステップＳ１４では動ベクトルＶi
の更新を行うことにより、回路３により各動ベクトル
毎，各領域パターン毎の情報テーブルが生成され、回路
５の情報テーブルに記憶される。
【００１９】次に、回路６〜７の計算回路で累積領域パ
ターン毎の発生情報量が算出され、回路９で最小値をと
るパターンが決定され、回路８にそのパターン及び情報
量が記憶される（Ｓ１５）。最終段階の登録完了後、最
適領域パターン選択回路１０が回路８のメモリ内容を参
照して、各動ベクトルＶi 毎の占有領域を示す領域分割
・動き出力情報が得られる（Ｓ１６）。
ターン毎の発生情報量が算出され、回路９で最小値をと
るパターンが決定され、回路８にそのパターン及び情報
量が記憶される（Ｓ１５）。最終段階の登録完了後、最
適領域パターン選択回路１０が回路８のメモリ内容を参
照して、各動ベクトルＶi 毎の占有領域を示す領域分割
・動き出力情報が得られる（Ｓ１６）。
【００２０】すなわち、Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１
４により、Ｓ１２の情報量計算は、全動ベクトル，全領
域パターンに対して行われる。次に、Ｓ１５において
「動的計画法」を適用して、ステップＳ１６で結果を出
力する。
４により、Ｓ１２の情報量計算は、全動ベクトル，全領
域パターンに対して行われる。次に、Ｓ１５において
「動的計画法」を適用して、ステップＳ１６で結果を出
力する。
【００２１】
【発明の効果】以上説明したように、本発明によれば、
動き補償予測符号化を目的とする領域分割・動き推定の
最適化統合処理が実現できる。すなわち、発生情報量を
最小化する領域分割と動き推定が同時に実行できること
となる。
動き補償予測符号化を目的とする領域分割・動き推定の
最適化統合処理が実現できる。すなわち、発生情報量を
最小化する領域分割と動き推定が同時に実行できること
となる。
【図１】本発明の方法の動作を説明するためのフローチ
ャートである。
ャートである。
【図２】本発明を適用する画像の動ベクトル毎の領域パ
ターンの例を示す図である。
ターンの例を示す図である。
【図３】本発明の実施に用いられる構成例を示すブロッ
ク図である。
ク図である。
【図４】本発明の実施例の動作を説明するためのフロー
チャートである。
チャートである。
【図５】従来の分離・統合法を説明するための図であ
る。
る。
１ 領域パターン毎の動ベクトル情報量テーブル ２ 領域パターン毎の形状情報量テーブル ３ 情報量のテーブル生成回路 ４ 予測誤差情報量算出回路 ５ 動ベクトル・領域パターン毎情報テーブル ６ 領域パターン１用計算回路 ７ 領域パターンｎ用計算回路 ８ 領域パターン及び発生情報量メモリ ９ 最小判定回路 １０ 最適領域パターン選択回路 １１ 入力端子
Claims (3)
- 【請求項１】 画像を任意形状の領域に分割した上で該
領域パターンの符号化を行う領域分割符号化を目的とす
る動き推定領域分割方法において、 形状情報量と予測誤差情報量及び動ベクトル情報量を各
候補動ベクトル毎に、該各候補動ベクトルの取り得る領
域パターン毎に求めるステップと、 前記各動ベクトルを段階とし、蓄積領域パターンを状態
とする動的計画法を前記の求められた形状情報量，予測
誤差情報量および動ベクトル情報量に適用することによ
り領域分割・動き推定を行うステップとを具備すること
を特徴とする画像の動き推定領域分割方法。 - 【請求項２】 前記動ベクトルの取り得る領域パターン
をあらかじめ制限しておくステップを含むことを特徴と
する請求項１に記載の画像の動き推定領域分割方法。 - 【請求項３】 前記候補動ベクトルの種類をあらかじめ
制限しておくステップを含むことを特徴とする請求項１
に記載の画像の動き推定領域分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21020297A JP3781075B2 (ja) | 1997-07-22 | 1997-07-22 | 画像の動き推定領域分割方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21020297A JP3781075B2 (ja) | 1997-07-22 | 1997-07-22 | 画像の動き推定領域分割方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1141611A true JPH1141611A (ja) | 1999-02-12 |
| JP3781075B2 JP3781075B2 (ja) | 2006-05-31 |
Family
ID=16585490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21020297A Expired - Fee Related JP3781075B2 (ja) | 1997-07-22 | 1997-07-22 | 画像の動き推定領域分割方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3781075B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6813379B2 (en) | 2000-08-23 | 2004-11-02 | Kddi R&D Laboratories, Inc. | Image segmentation apparatus |
| CN110958452A (zh) * | 2018-09-27 | 2020-04-03 | 华为技术有限公司 | 视频解码方法及视频解码器 |
-
1997
- 1997-07-22 JP JP21020297A patent/JP3781075B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6813379B2 (en) | 2000-08-23 | 2004-11-02 | Kddi R&D Laboratories, Inc. | Image segmentation apparatus |
| CN110958452A (zh) * | 2018-09-27 | 2020-04-03 | 华为技术有限公司 | 视频解码方法及视频解码器 |
| CN110958452B (zh) * | 2018-09-27 | 2023-11-03 | 华为技术有限公司 | 视频解码方法及视频解码器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3781075B2 (ja) | 2006-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0959626B1 (en) | Motion vector search method and apparatus | |
| US20080212675A1 (en) | Motion Vector Estimating Device, and Motion Vector Estimating Method | |
| US20060109909A1 (en) | Decision mechanism for partition types of macro block | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| JP4921780B2 (ja) | 動き予測のための方法および装置 | |
| US7522748B2 (en) | Method and apparatus for processing image data and semiconductor storage device | |
| JPH1141611A (ja) | 画像の動き推定領域分割方法 | |
| US5859672A (en) | Image motion detection device | |
| JP3979768B2 (ja) | デジタル映像分割方法及びその装置 | |
| US9886652B2 (en) | Computerized correspondence estimation using distinctively matched patches | |
| US9497482B2 (en) | Methods for comparing a target block to a reference window for motion estimation during video encoding | |
| JP2003111082A (ja) | 動きベクトル検出方法及び装置 | |
| JP4973591B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| Paramkusam et al. | The efficient optimal and suboptimal motion estimation algorithms | |
| JPH04241684A (ja) | 画像整合方法及び装置 | |
| JP2001028754A (ja) | 動きベクトル検出方法 | |
| JP6877666B1 (ja) | 分類装置、分類方法およびプログラム | |
| JP2001298745A (ja) | 動きベクトル探索装置および方法 | |
| JP2000353961A (ja) | 画像処理装置 | |
| JP2000333183A (ja) | 動きベクトル検出方法 | |
| JP4170202B2 (ja) | 動きベクトル探索方法、装置、プログラム及び当該プログラムを記録した記録媒体 | |
| JPH10136374A (ja) | 動ベクトル予測装置 | |
| JP2002112263A (ja) | 画像データの圧縮ならびに伸長方法およびその装置 | |
| JPH11191154A (ja) | パタン符号化を用いた符号化装置及び符号化方法 | |
| JPH1079943A (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060228 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |