JP3819482B2 - 適応輪郭符号化方法 - Google Patents
適応輪郭符号化方法 Download PDFInfo
- Publication number
- JP3819482B2 JP3819482B2 JP17358896A JP17358896A JP3819482B2 JP 3819482 B2 JP3819482 B2 JP 3819482B2 JP 17358896 A JP17358896 A JP 17358896A JP 17358896 A JP17358896 A JP 17358896A JP 3819482 B2 JP3819482 B2 JP 3819482B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- coding method
- curvature
- blocks
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明はビデオ信号符号化方法に関し、特に、輪郭イメージの大きさや複雑度に従ってビデオ信号のビデオフレーム内の輪郭イメージを適応的に符号化する方法に関する。
【0002】
【従来の技術】
通常、ビデオ電話、遠隔会議及び高精細度テレビジョンシステムのようなディジタルビデオシステムにおいて、ビデオフレーム信号は画素値と呼ばれるディジタルデータのシーケンスを含むため、各ビデオフレーム信号を規定するのに相当量のディジタルデータが必要である。
しかし、通常の伝送チャネルの使用可能な周波数帯域幅は制限されているため、特に、ビデオ電話のような低伝送ビデオ信号符号化/復号化システムにおいては、多様なデータ圧縮技法を通じて相当量のデータを減らす必要がある。
低伝送符号化システムにおいて、ビデオ信号を符号化するに用いる方法のうち、対象指向分析ー合成符号化技法(object−oriented analysis−synthesis)と呼ばれるものがある。このような技法は、例えば、Michael Hotterの論文「Object−OrientedAnalysis−Synthesis Coding Based on Moving Two−Dimensional Objects」,Signal Processing Image Communication,2,No.4,pp.409−428(1990年12月)に開示されている。そのような対象指向分析ー合成符号化技法によれば、入力ビデオイメージは対象(オブシェクト:object)に分けられ、各対象の動き、輪郭、画素データを定義するための3つのセットのパラメータは相異なる符号化チャネルを通じて処理される。
対象の輪郭イメージの処理において、輪郭情報は対象の形状を解釈し合成するに重要である。輪郭情報を表すための通常の符号化方法の中の1つは、チェーン符号化法である。このチェーン符号化法によれば、輪郭情報の損失がないとしても、実際に大量のビット割当を要する不都合がある。
そのような問題を回避するため、輪郭情報を近似化するために、多角形近似及びBースプライン近似(B−spline approximation)のような幾つかの改善された技法が提案されてきた。Bースプライン近似技法は多角形近似方法に比べて輪郭をより正確に表し得るが、近似エラーを減らすに高い次元の多項式が必要である。従って、Bースプレイン近似技法を用いる場合、ビデオ符号化器の全体的な計算が複雑になる。
増加された計算の複雑性のような問題を解決するために提案された技法の中の1つは、多角形近似とDST(discrete sine transform:ディスクリートサイン(離散サイン)変換)を用いた輪郭符号化技法である。前記技法は本特許出願人の出願に係る出願中の日本国特許出願第230,439/95に「輪郭近似方法」という名称で開示されている(1995年9月7日出願)。
しかし、複雑な輪郭イメージを扱う場合においては、前記した装置は、依然として元の輪郭イメージと相当な差を有する再生イメージを生成する場合がある。
【0003】
【発明が解決しようとする課題】
従って、本発明の主な目的は、フレーム内の再生された輪郭イメージの特性を向上させるために、輪郭イメージの大きさと複雑度に基づくビデオ信号のビデオフレーム内の輪郭イメージを適応的に符号化する方法を提供することである。
【0004】
【課題を解決するための手段】
上記の目的を達成するために、ビデオ信号のビデオフレームに属する対象の輪郭イメージを適応的に符号化するのに用いられ、前記ビデオフレームは各々K×L個の画素を備える(K及びLは正の整数)複数のブロックに分割され、輪郭に位置した複数の輪郭画素から構成されている輪郭イメージを符号化する方法において、前記方法は、前記複数のブロックのうち、その内部に1つまたはそれ以上の輪郭画素を備えている輪郭ブロックの数を検出する第1過程と、選択された輪郭画素における輪郭の曲率を計算してその平均曲率を決定する過程であって、選択された輪郭画素における輪郭の曲率は該当輪郭画素を経る2つの直線の間の角度差を表し、前記各々の直線は選択された輪郭画素とそれから輪郭線に沿って1つの方向へ一定な輪郭画素だけ離れている他の輪郭画素との間に引かれる、第2過程と、前記輪郭ブロックの数と平均曲率を第1および第2閾値と各々比較する3過程と、前記輪郭ブロックの数が第1閾値より小さく、平均曲率が第2閾値より大きいか同じ場合、第1輪郭符号化方法を用いて輪郭線イメージを輪郭符号化する第4過程と、前記輪郭ブロックの数が第1閾値より大きいか同じであり、または平均曲率が第2閾値より小さい場合、第2輪郭符号化方法を用いて輪郭イメージを輪郭符号化する第5過程とを含んでおり、前記第1輪郭符号化方法は、第2輪郭符号化方法に比べより正確に輪郭イメージを表すように選択されることを特徴とする適応輪郭符号化方法が提供される。
【0005】
【発明の実施の形態】
以下、本発明の好適実施について図面を参照しながらより詳しく説明する。
図1には、ビデオ信号のビデオフレーム内の対象(オブジェクト)の輪郭イメージを適応的に符号化するための本発明の輪郭符号化装置10のブロック図が示されている。
ビデオフレーム内の対象の輪郭イメージデータは、大きさ検出ユニット110、複雑度検出ユニット130、第1輪郭符号化ユニット200及び第2輪郭符号化ユニット300に並列に入力される。また、前記輪郭イメージデータは輪郭を構成する輪郭画素の位置情報を表す。
大きさ検出ユニット110において、ビデオフレームはK×L画素を有する複数のブロックに各々分けられ(K及びLは正の整数)、その内部に1つまたはそれ以上の輪郭画素を有する輪郭ブロックの数が決定される。即ち、図2に示されたように、斜線からなる領域20に位置した各ブロックはビデオフレーム40内の輪郭30と重なり、これは輪郭ブロックと見なされる。
その後、輪郭ブロックの数は第1比較ユニット120へ印加されて第1閾値TH1と比較される。その結果、その数が第1閾値TH1より大きいか同じである場合、即ち、輪郭イメージの大きさが大きいと判断される場合、第1比較ユニット120の出力はハイレベルの論理信号になり、そうでない場合、ローレベルの論理信号になる。
【0006】
前記過程中、複雑度検出ユニット130は選択された輪郭画素における曲率を計算し、輪郭の平均曲率を決定する。
図3には、複雑度検出ユニット130で行われる曲率計算過程が例示的に説明されている。まず、1つの輪郭画素、例えば、T2はターゲット画素と選択され、輪郭上で両側へ、前記ターゲット画素のN番目、例えば、6番目に、隣接する輪郭画素、例えば、T1及びT3の2つが決定される。その後、ターゲット画素T2とその2つのN番目の隣接する輪郭画素T1及びT3を通過する2つの直線が引かれる。ターゲット画素T2を通過する前記2つの直線の間の角度差はターゲット画素T2における輪郭の曲率と定義される。本発明の好ましい実施例によれば、全ての輪郭画素をターゲット画素として選択して曲率を求める。しかし、計算上の負担を減らすために、全てのP番目(Pは1より大きい整数)輪郭画素がターゲット画素として選択され得、残りの画素に対する輪郭の曲率も前記のような方法で計算される。
全てのターゲット画素における輪郭の曲率が決定されれば、輪郭の平均曲率は次のように計算される。
【0007】
【数3】
ここで、CM:平均曲率
M:ターゲット画素の数
θi:各ターゲット画素における曲率
図1を再度参照すれば、第2比較ユニット140においては、前記複雑度検出ユニット130で決定された平均曲率CMが第2閾値TH2と比較される。比較の結果、平均曲率CMが第2閾値TH2より大きいか同じ場合、即ち、輪郭イメージが複雑である場合、第2比較ユニット140は制御ユニット150にローレベルの論理信号を供給し、そうでない場合、ハイレベルの論理信号を供給する。制御ユニット150においては、前記第1比較ユニット120及び第2比較ユニット140から伝達された信号が論理的に組み合わされ、前記2つの比較ユニット120と140からの信号が全てローレベルの論理信号、即ち、輪郭が小さく複雑である場合、スイッチングユニット400にローレベルの制御信号を伝達し、そうでない場合、即ち、輪郭イメージが大きいか単純な場合にはハイレベルの制御信号をスイッチングユニット400へ伝達する。
前記過程中、輪郭イメージ信号は第1輪郭符号化ユニット200と第2輪郭符号化ユニット300で符号化される。
特に、第1輪郭符号化ユニット200においては輪郭イメージデータは、例えば、既存のチェーン符号化方法により第1符号化データとして符号化された後、スイッチングユニット400へ印加される。前記では連続的な輪郭画素の間の方向ベクトルが符号化される。例えば、度々用いられるチェーン符号化方法においては、8つの方向ベクトルが3ビットコードワードに符号化される。典型的に、チェーン符号化においては一連のコードワードが始め(スタート)の輪郭画素アドレス情報の後に続く。
【0008】
一方、第2輪郭符号化ユニット300においては、輪郭イメージデータは例えば、多角形近似とDSTにより符号化され、符号化されたデータは第2符号化データとしてスイッチングユニット400へ伝達される。前記輪郭イメージデータは、まず多角形近似法により近似化され、元の輪郭イメージと近似化された輪郭イメージとの間のエラーはDSTにより計算され、前記多角形近似の結果は、例えば、固定長さ符号により符号化され、DSTの結果は例えば、JPEG(Joint Picture Experts Group)の二進算術符号により符号化される。多角形近似とDST技法については、前述した日本国特許出願番号第230,439/95(1995年9月7日出願)に“輪郭近似方法”という名称で開示されている。これは、ここに取り入れられて参照される。
スイッチングユニット400は、制御ユニット150から伝達された制御信号に応じて、符号化された輪郭イメージデータとして第1または第2符号化データを選択する。即ち、ローレベルの制御信号が印加される場合、第1符号化データが伝送路へ印加され、ハイレベルの制御信号が印加される場合、第2符号化データが伝達される。
その結果、ビデオフレームでより小さく複雑な輪郭イメージは、第1輪郭符号化ユニット200でチェーン符号化方法により符号化され、より大きいか単純な輪郭イメージは第2輪郭符号化ユニット300で多角形近似及びDST符号化される。
上記において、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【0009】
【発明の効果】
従って、本発明によれば、輪郭の大きさと複雑度によって適合な符号化方法を選択して輪郭を符号化することによって、輪郭イメージの特性を向上させ得る。
【図面の簡単な説明】
【図1】本発明による輪郭符号化装置を示したブロック図である。
【図2】輪郭ブロックを定義するために例示的に示した図である。
【図3】曲率計算過程を説明するための例示的に示した図である。
【符号の説明】
10 輪郭符号化装置
110 大きさ検出ユニット
120 第1比較ユニット
130 複雑度検出ユニット
140 第2比較ユニット
150 制御ユニット
200 第1輪郭符号化ユニット
300 第2輪郭符号化ユニット
400 スイッチングユニット
Claims (8)
- ビデオ信号のビデオフレームに属する対象の輪郭イメージを適応的に符号化するのに用いられ、前記ビデオフレームは各々K×L個の画素を備える(K及びLは正の整数)複数のブロックに分割され、輪郭に位置した複数の輪郭画素から構成されている輪郭イメージを符号化する方法において、
第1および第2輪郭符号化方法を用いて輪郭イメージを符号化することによって、符号化された第1輪郭データ及び符号化された第2輪郭データを供給するが、前記符号化された第1輪郭データは第2輪郭データに比べて輪郭イメージをより正確に表し得るようにする第1過程と、
前記複数のブロックのうち、その内部に1つまたはそれ以上の輪郭画素を備えている輪郭ブロックの数を検出する第2過程と、
前記輪郭ブロックの数を第1閾値と比較する第3過程と、
選択された輪郭画素における輪郭の曲率を計算してその平均曲率を決定する過程であって、選択された輪郭画素における輪郭の曲率は該当輪郭画素を経る2つの直線の間の角度差を表し、前記各々の直線は選択された輪郭画素とそれから輪郭線に沿って1つの方向へ一定な輪郭画素だけ離れている他の輪郭画素との間に引かれる、第4過程と、
前記平均曲率と第2閾値とを比較する第5過程と、
前記輪郭ブロックの数が第1閾値より小さく、平均曲率が第2閾値より大きいか同じ場合、符号化された第1輪郭データを選択し、そうでない場合、符号化された第2輪郭データを選択することによって、選択された符号化された輪郭データを符号化された輪郭イメージデータとして供給する第6過程とを含むことを特徴とする適応輪郭符号化方法。 - 前記第1輪郭符号化方法は、チェーン符号化方法を用いることを特徴とする請求項1に記載の適応輪郭符号化方法。
- 前記第2輪郭符号化方法は、多角形近似法とディスクリートサイン変換法を含むことを特徴とする請求項2に記載の適応輪郭符号化方法。
- ビデオ信号のビデオフレームに属する対象の輪郭イメージを適応的に符号化するのに用いられ、前記ビデオフレームは各々K×L個の画素を備える(K及びLは正の整数)複数のブロックに分割され、輪郭に位置した複数の輪郭画素から構成されている輪郭イメージを符号化する方法において、
前記複数のブロックのうち、その内部に1つまたはそれ以上の輪郭画素を備えている輪郭ブロックの数を検出する第1過程と、
選択された輪郭画素における輪郭の曲率を計算してその平均曲率を決定する過程であって、選択された輪郭画素における輪郭の曲率は、該当輪郭画素を経る2つの直線の間の角度差を表し、前記各々の直線は選択された輪郭画素とそれから輪郭線に沿って1つの方向へ一定な輪郭画素だけ離れている他の輪郭画素との間に引かれる、第2過程と、
前記輪郭ブロックの数と平均曲率を第1および第2閾値と各々比較する第3過程と、
前記輪郭ブロックの数が第1閾値より小さく、平均曲率が第2閾値より大きいか同じ場合、第1輪郭符号化方法を用いて輪郭イメージを輪郭符号化する第4過程と、
前記輪郭ブロックの数が第1閾値より大きいか同じであり、または平均曲率が第2閾値より小さい場合、第2輪郭符号化方法を用いて輪郭イメージを輪郭符号化する第5過程を含んでおり、
前記第1輪郭符号化方法は、第2輪郭符号化方法に比べより正確に輪郭イメージを表すように選択されることを特徴とする適応輪郭符号化方法。 - 前記第1輪郭符号化方法は、チェーン符号化方法を用いることを特徴とする請求項5に記載の適応輪郭符号化方法。
- 前記第2輪郭符号化方法は、多角形近似法とディスクリートサイン変換法を含むことを特徴とする請求項6に記載の適応輪郭符号化方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR96-14969 | 1996-05-08 | ||
KR1019960014969A KR0181075B1 (ko) | 1996-05-08 | 1996-05-08 | 적응 윤곽선 부호화 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09311941A JPH09311941A (ja) | 1997-12-02 |
JP3819482B2 true JP3819482B2 (ja) | 2006-09-06 |
Family
ID=19458006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17358896A Expired - Fee Related JP3819482B2 (ja) | 1996-05-08 | 1996-07-03 | 適応輪郭符号化方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US5774596A (ja) |
EP (1) | EP0806742B1 (ja) |
JP (1) | JP3819482B2 (ja) |
KR (1) | KR0181075B1 (ja) |
CN (1) | CN1106764C (ja) |
DE (1) | DE69620586T2 (ja) |
IN (1) | IN188128B (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5881175A (en) * | 1996-06-07 | 1999-03-09 | Daewoo Electronics Co., Ltd. | Method and apparatus for encoding an image signal by using the contour signal thereof |
JP3602659B2 (ja) * | 1996-08-05 | 2004-12-15 | 株式会社リコー | 濃淡値文書画像からの特徴抽出方法及び特徴抽出装置 |
KR100239309B1 (ko) * | 1997-01-15 | 2000-01-15 | 전주범 | 변형된 정점 부호화를 이용한 윤곽선 부호화 방법 및 그 장치 |
US5912991A (en) * | 1997-02-07 | 1999-06-15 | Samsung Electronics Co., Ltd. | Contour encoding method using error bands |
KR100229545B1 (ko) * | 1997-04-11 | 1999-11-15 | 전주범 | 윤곽선 영상 부호화에서의 윤곽선 복호화 장치 |
KR19990008977A (ko) * | 1997-07-05 | 1999-02-05 | 배순훈 | 윤곽선 부호화 방법 |
KR100295798B1 (ko) * | 1997-07-11 | 2001-08-07 | 전주범 | 스케일러빌리티를구현한이진현상신호부호화장치 |
US5949425A (en) * | 1997-11-25 | 1999-09-07 | Terrain Experts, Inc. | Terrain representation with polygonal seams |
GB2336058B (en) * | 1998-04-02 | 2002-03-27 | Daewoo Electronics Co Ltd | Apparatus and method for adaptively coding an image signal |
US8447103B2 (en) | 2009-06-16 | 2013-05-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and arrangements for image processing |
CN105678326B (zh) * | 2015-12-31 | 2019-12-10 | 华南理工大学 | 一种基于曲率的二维目标轮廓的编码方法 |
EP3420726B1 (en) | 2016-02-26 | 2021-05-19 | Versitech Limited | Shape-adaptive model-based codec for lossy and lossless compression of images |
CN110662048A (zh) * | 2018-06-28 | 2020-01-07 | 华为技术有限公司 | 一种图像编码方法以及设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0613212B2 (ja) * | 1983-10-03 | 1994-02-23 | 株式会社写研 | 文字画像デ−タの処理方法 |
JP2806961B2 (ja) * | 1989-02-22 | 1998-09-30 | 株式会社リコー | 画像符号化方法 |
CN1033110C (zh) * | 1992-09-01 | 1996-10-23 | 寅市和男 | 文字数据、词符-插图数据的输入输出装置及其方法 |
EP0708563B1 (en) * | 1994-10-19 | 2004-12-22 | Matsushita Electric Industrial Co., Ltd. | Image decoding device |
-
1996
- 1996-05-08 KR KR1019960014969A patent/KR0181075B1/ko not_active IP Right Cessation
- 1996-06-24 US US08/669,660 patent/US5774596A/en not_active Expired - Lifetime
- 1996-06-27 IN IN1184CA1996 patent/IN188128B/en unknown
- 1996-06-28 DE DE69620586T patent/DE69620586T2/de not_active Expired - Lifetime
- 1996-06-28 EP EP19960304818 patent/EP0806742B1/en not_active Expired - Lifetime
- 1996-07-03 JP JP17358896A patent/JP3819482B2/ja not_active Expired - Fee Related
- 1996-07-03 CN CN96106941A patent/CN1106764C/zh not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5774596A (en) | 1998-06-30 |
CN1164802A (zh) | 1997-11-12 |
KR0181075B1 (ko) | 1999-04-01 |
IN188128B (ja) | 2002-08-24 |
DE69620586T2 (de) | 2002-11-07 |
CN1106764C (zh) | 2003-04-23 |
DE69620586D1 (de) | 2002-05-16 |
EP0806742A1 (en) | 1997-11-12 |
KR970078037A (ko) | 1997-12-12 |
EP0806742B1 (en) | 2002-04-10 |
JPH09311941A (ja) | 1997-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3759980B2 (ja) | 輪郭近似方法 | |
US5594504A (en) | Predictive video coding using a motion vector updating routine | |
EP0801504B1 (en) | Method for encoding a contour of an object in a video signal by using a contour motion estimation technique | |
US5737449A (en) | Apparatus for encoding a contour of regions contained in a video signal | |
JP4377455B2 (ja) | スプライト符号化 | |
JP3819482B2 (ja) | 適応輪郭符号化方法 | |
US5691769A (en) | Apparatus for encoding a contour of an object | |
JPH08242458A (ja) | 動きベクトル検出方法 | |
JP3852989B2 (ja) | 輪郭線符号化方法及びその装置 | |
JPH1079942A (ja) | 輪郭符号化方法及び装置 | |
US5933105A (en) | Context-based arithmetic encoding/decoding method and apparatus | |
JP3793601B2 (ja) | ビデオ信号符号化装置 | |
KR100314098B1 (ko) | 주위화소값의적응임계치를이용한이진영상보간방법 | |
JPH08275157A (ja) | 映像信号符号化装置 | |
JPH09327019A (ja) | 物体領域符号化装置 | |
JP3924032B2 (ja) | 輪郭線符号化方法及び輪郭線符号化装置 | |
EP0853435A2 (en) | Method and apparatus for encoding a contour image of an object in a video signal | |
JPH08307866A (ja) | 変形されたブロックトランケーション符号化技法を用いたビデオ信号符号化方法及び装置 | |
JP3894605B2 (ja) | 輪郭線近似化方法及び輪郭線符号化装置 | |
JP4043067B2 (ja) | 輪郭線映像信号符号化装置 | |
Yokoyama et al. | Very low bit-rate video coding with object-based motion compensation and orthogonal transform | |
JP3694349B2 (ja) | 輪郭符号化装置 | |
KR100209411B1 (ko) | 윤곽선 정보를 이용한 영상신호 처리 방법 | |
JP3971008B2 (ja) | 2値形状信号符号化/復号化装置 | |
KR100243863B1 (ko) | 비디오 신호에 있어서의 물체 윤곽선 근사화 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060615 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |