JP3054681B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP3054681B2 JP3054681B2 JP7182795A JP18279595A JP3054681B2 JP 3054681 B2 JP3054681 B2 JP 3054681B2 JP 7182795 A JP7182795 A JP 7182795A JP 18279595 A JP18279595 A JP 18279595A JP 3054681 B2 JP3054681 B2 JP 3054681B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- tracking
- processing method
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
る物体のフレーム画像から該物体の動きを認識するため
の画像処理方法に関するものである。
元物体の位置姿勢を随時検出する場合は、撮像手段であ
る視覚センサから連続的に得られる時系列画像を用い
る。そして、この時系列画像から物体の動き(位置姿
勢)を検出する基本的な方法として、次の(1)〜
(3)の3通りの方法が知られている。
できる方法である。画像各点に対して、画像上の空間的
な明るさの変化と連続する画像間の時間的な明るさの変
化から、物体の動きを決定する方程式を導くことができ
る。
する方法である。画像間で物体の同じ部分を表す点の対
を求め、その変位から物体の動きを計算することができ
る。
てできる3次元時空間画像を利用する方法である。隣接
する画像間の物体の動きは微小であるので、対応点を求
めるのは容易であり、それを時間順に追跡していけば、
結果として変移の大きな対応点を求めることができる。
体の動き(位置姿勢)を検出する従来の画像処理方法に
あっては、ノイズに弱い上にステレオ対応処理より難し
く、データ量が非常に大きくなるという問題点があっ
た。
なされたもので、システム構成が簡単で、高速処理が可
能になり、また大量の画像データを保持しておく必要の
ない画像処理方法を提供することを目的としている。
法は、時系列的に得られる物体のフレーム画像から該物
体の動きを認識するための画像処理方法であって、物体
のステレオ画像を入力し、このステレオ画像から該物体
のエッジを抽出して、その局所的特徴によりセグメント
に分割し、このセグメント上で追跡点を選択し、その選
択した追跡点のフレーム間の対応を求め、その対応点の
移動前と移動後の3次元座標から該物体の位置姿勢を検
出するようにしたものである。
ム間の対応は、追跡点の接線方向と面の輝度値の相関か
らフレーム間の類似性を評価することにより行うように
したものである。
の3次元座標は、ステレオ対応を用いたステレオ視によ
り計測するか、あるいは単眼視により計測するようにし
たものである。
を実現するためのシステム構成を示すブロック図であ
る。同図中、1はシステム全体を制御するコンピュータ
で、データバス2を通じて各部と接続されている。
グ出力はA/D変換器4a,4bによりデジタル信号に
変換されてデータバス2に送出される。5はテレビカメ
ラ3a,3bで撮像した物体の画像データを格納する画
像メモリ、6は画像を表示するディスプレイ装置、7は
プリンタ、8は画像データを保存するためのフロッピー
ディスク、9はキーボードターミナルで、このシステム
は更に外部のホストコンピュータと接続されている。
の基本的な処理の流れを示すフローチャートであり、時
系列的に得られる物体のフレーム画像から該物体の動き
を認識するための処理の流れを示している。
1)、このステレオ画像から該物体のエッジを抽出して
(S2)、その局所的特徴によりセグメントに分割する
(S3)。そして、このセグメント上で追跡点(サンプ
ル点)を選択し(S4)、その選択した追跡点のフレー
ム間対応を求め(S5)、その対応点の移動前と移動後
の3次元座標を計測して(S6)、該物体の位置姿勢を
検出する(S7)ものである。
れを詳細に説明する。
ステレオ画像(640×480pixels,256gray-lev
els )から、まず物体の境界線(エッジ)を抽出し、特
徴点(分岐,変曲,屈曲,遷移)により分割して、セグ
メント化する。その結果を境界表現(B−REP)デー
タ構造で保持する。これは、“領域”,“境界線”,
“セグメント”,“点”を要素として関係付けるグラフ
構造で、トポロジー的に表現する。
ある。また、図5は左右画像のB−REPからセグメン
トをステレオの対応単位として得られた3次元情報を示
す図である。
ルから追跡対象物体を特定し、その物体の初期フレーム
における位置姿勢を知る必要がある。この物体モデル
は、各セグメント上に等間隔にサンプル点を持つ。そし
て、各サンプル点には物体の幾何特徴に関する情報が蓄
えられている。この幾何特徴に関する情報から3次元の
物体位置合わせを行い、物体の位置姿勢を検出する。
図である。また、図7はシーンにおいて積み木の物体モ
デルを位置合わせした物体認識の結果を示す図である。
し、その局所的特徴から追跡点のフレーム間対応を求
め、対応点の移動前の3次元座標P(t)と、移動後の
3次元座標P(t+1)から運動パラメータを次式より
算出し、運動物体の位置姿勢を随時検出するものであ
る。
示す3×1行列である。
果から得られた追跡物体の位置姿勢に関する次の情報を
初期値として蓄える。
2セグメントのセグメント番号を頂点情報とする。
のサンプル点を間引きしながら等間隔に選び、これを代
表点とする。この代表点は、3次元座標と左右のカメラ
投影面における2次元座標とその点における接線方向を
それぞれ持つ。
クトルVnと、カメラパラメータから得られる左右カメ
ラそれぞれの視線ベクトルCL ,CR から、各々の内積
を次式より計算し、左右カメラから観測可能な頂点を選
ぶ。
算により観測可能な頂点として判定された頂点である。
ここで、その頂点を形成するセグメント番号を調べる。
頂点Vの場合は、セグメントS1,S2となる。この処
理を物体モデルの全ての頂点に対して行い、観測可能な
セグメントをリストアップする。そして、この選択され
たリストの中で、セグメントの表と裏の両方がある場合
は、表裏一体化によりどちらかの一方のみを選び、他方
はリストから削除する。
を示している。以降、この代表点を追跡点として処理を
行う。またこの時、各追跡点は形成されている面の輝度
情報を入力する。
L(t)からframe(t+1)の追跡点PnL(t+1)を検出するこ
とにより、各追跡点のフレーム間対応をとる。なお、こ
こでは、frame(t)の追跡点をM(モデル)、frame(t+1)
の追跡点をD(データ)と置き換えて説明する。
ame(t)の追跡点ML の位置からエッジの垂直方向に追跡
探索範囲の画素輝度値を入力する。続いて、この画素輝
度値から輝度差分を求め、各点の微分値を計算し、微分
値のピークとなっている部分を検出する。そして、各ピ
ーク点において、エッジの方向を検出する。これは近傍
の5×5画素の輝度画素値から、16方向に分割した方
向コードで表す。そして、各ピーク点において、frame
(t)の追跡点での接線方向(傾き)と面の輝度値(明る
さ)の相関からフレーム間の類似性を評価し、評価値の
良いピーク点を仮の追跡点D′L とする。
単眼視による計測の2通りの方法がある。
の追跡点D′L に対応する、右画像でのエピポーラ線を
カメラパラメータから求める。そして、エピポーラ線上
で、frame(t)での右画像の追跡点MR に一番近い点から
エピポーラ線に沿って、上述の処理(3−1)で左画像
に対して行ったと同様の処理でフレーム間対応をとり、
右画像での仮の対応点D´R を探す。この点と左画像で
の仮の対応点D′L がステレオ対応の対応点となり、3
次元座標が求まる。
(xCL,yCL,zCL)と、カメラ投影面上の仮の追跡点
D′L を結ぶ直線の式をカメラパラメータから計算し、
frame(t)での追跡点の3次元座標(xM ,yM ,zM )
から、上述の直線への垂線の足をframe(t+1)における追
跡点の3次元座標として近似する。
に対応するframe(t)の追跡点の3次元座標M′nから、
次式を最小にする運動パラメータ(R:回転成分,T:
並進成分)を最小自乗法により求める。なお、Wnは追
跡点の3次元計測誤差に対する重み付けで、追跡点での
エッジ方向から重み付けを決め、エピポーラ線に垂直な
方向ほど高くし、平行になるにつれて低くする。
frame(t+1)における追跡点の3次元座標を計算する。そ
して、3次元計測により得られた3次元座標と比べて、
3次元距離誤差が極端に大きい追跡点は誤対応の可能性
があるため、その点を省いて再び運動パラメータを計算
し直す。この運動パラメータにより物体モデルの位置姿
勢を変換し、次にその点のカメラ投影点をカメラパラメ
ータから計算する。これを新たな仮の追跡点として更新
する(図11の(b)参照)。そして、この処理(3)
を3回繰り返す。これで、運動パラメータによる座標変
換が求まり、図11の(c)に示すように、追跡点P1
L ,P2L のフレーム間対応がとれる。
が持つ頂点ベクトル情報を運動パラメータから更新す
る。更に、処理(2)と同様にして、移動後(frame(t+
1))の観測可能な頂点を選び直し、追跡点を更新する。
また、この時面の輝度情報も更新させる。
ことにより、運動物体の位置姿勢を随時検出し、物体を
追跡することができる。
認識結果(図7参照)から物体追跡を行った時の左画像
上のあるフレーム間での追跡点の様子を図14に示す。
また、図15は5フレーム毎の物体の追跡の様子を示す
図であり、積み木の追跡結果より得られる運動パラメー
タから物体モデルを座標変換した結果をシーンの左画像
と重ねて示したものである。なお、図中の実線部分はカ
メラから観測可能なセグメントを表し、点線部分は観測
不可能なセグメントを表している。さらに、図16は局
線図形に対して追跡した結果を示す図である。
その局所的特徴からフレーム間対応をとり、ステレオ対
応等で追跡点の3次元情報を計測し、フレーム間の3次
元運動を求めることができる。そして、このフレーム間
対応とステレオ対応のそれぞれの対応付けには類似した
方法が使えるので、システム構成が簡単になるととも
に、ハードウエア向きの規則的処理なので高速処理が可
能となる。
ータを保持しておく必要がなく、更に同一処理で直線の
みならず曲線部分を含む物体の動きも検出することがで
きる。
ム構成が簡単になり、高速処理が可能になるとともに、
大量の画像データを保持しておく必要がなくなり、同一
処理で直線のみでなく曲線部分を含む物体の動きも検出
できるという効果がある。
ブロック図
ャート
間調画像を表す写真
表示した中間調画像を表す写真
中間調画像を表す写真
した中間調画像を表す写真
示した中間調画像を表す写真
Claims (4)
- 【請求項1】 時系列的に得られる物体のフレーム画像
から該物体の動きを認識するための画像処理方法であっ
て、物体のステレオ画像を入力し、このステレオ画像か
ら該物体のエッジを抽出して、その局所的特徴によりセ
グメントに分割し、このセグメント上で追跡点を選択
し、その選択した追跡点のフレーム間の対応を求め、そ
の対応点の移動前と移動後の3次元座標から該物体の位
置姿勢を検出することを特徴とする画像処理方法。 - 【請求項2】 フレーム間の対応は、追跡点の接線方向
と面の輝度値の相関からフレーム間の類似性を評価する
ことにより行うことを特徴とする請求項1記載の画像処
理方法 - 【請求項3】 対応点の3次元座標は、ステレオ対応を
用いたステレオ視により計測することを特徴とする請求
項1または2記載の画像処理方法。 - 【請求項4】 対応点の3次元座標は、単眼視により計
測することを特徴とする請求項1または2記載の画像処
理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7182795A JP3054681B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
US08/683,708 US5845006A (en) | 1995-07-19 | 1996-07-18 | Method of processing image formation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7182795A JP3054681B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0935061A JPH0935061A (ja) | 1997-02-07 |
JP3054681B2 true JP3054681B2 (ja) | 2000-06-19 |
Family
ID=16124557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7182795A Expired - Lifetime JP3054681B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5845006A (ja) |
JP (1) | JP3054681B2 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3064928B2 (ja) * | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
JP3512992B2 (ja) * | 1997-01-07 | 2004-03-31 | 株式会社東芝 | 画像処理装置および画像処理方法 |
CA2259411A1 (en) * | 1997-05-05 | 1998-11-12 | Shell Oil Company | Visual recognition method |
US6750848B1 (en) | 1998-11-09 | 2004-06-15 | Timothy R. Pryor | More useful man machine interfaces and applications |
US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
JP2000003445A (ja) * | 1998-06-15 | 2000-01-07 | Toshiba Corp | 情報抽出方法および情報抽出装置および記録媒体 |
JP3688489B2 (ja) * | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
US6721444B1 (en) * | 1999-03-19 | 2004-04-13 | Matsushita Electric Works, Ltd. | 3-dimensional object recognition method and bin-picking system using the method |
US7015950B1 (en) | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
US6766036B1 (en) * | 1999-07-08 | 2004-07-20 | Timothy R. Pryor | Camera based man machine interfaces |
JP3773720B2 (ja) * | 1999-09-24 | 2006-05-10 | 三菱電機株式会社 | 3次元運動復元装置、3次元運動復元方法および記録媒体 |
JP3518465B2 (ja) * | 2000-02-18 | 2004-04-12 | 日本電気株式会社 | 被写体抽出装置、被写体抽出方法、及び被写体抽出プログラムを記録した記録媒体 |
JP2002024807A (ja) * | 2000-07-07 | 2002-01-25 | National Institute Of Advanced Industrial & Technology | 物体運動追跡手法及び記録媒体 |
KR100415074B1 (ko) * | 2001-10-09 | 2004-01-14 | 채영도 | 물체의 닮음을 인식하는 방법 및 그 장치 |
US7050625B2 (en) * | 2002-10-21 | 2006-05-23 | Hewlett-Packard Development Company, L.P. | Method and digital camera for indicating when image data has been captured for a three-dimensional target object |
JP4231320B2 (ja) * | 2003-03-31 | 2009-02-25 | 本田技研工業株式会社 | 移動体の検出装置 |
JP2005332177A (ja) * | 2004-05-19 | 2005-12-02 | Etsuji Kitagawa | 3次元情報処理装置、3次元情報処理方法、及び3次元情報処理プログラム |
JP4230980B2 (ja) * | 2004-10-21 | 2009-02-25 | 株式会社東芝 | パターンマッチング方法およびプログラム |
US8238612B2 (en) * | 2008-05-06 | 2012-08-07 | Honeywell International Inc. | Method and apparatus for vision based motion determination |
JP2010127819A (ja) * | 2008-11-28 | 2010-06-10 | Fuji Electric Holdings Co Ltd | 多面体位置検出装置及び検出方法 |
JP5538868B2 (ja) | 2009-12-22 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、その画像処理方法及びプログラム |
JP5713159B2 (ja) * | 2010-03-24 | 2015-05-07 | 独立行政法人産業技術総合研究所 | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム |
TWI469088B (zh) | 2010-12-31 | 2015-01-11 | Ind Tech Res Inst | 前景深度地圖產生模組及其方法 |
US8897543B1 (en) | 2012-05-18 | 2014-11-25 | Google Inc. | Bundle adjustment based on image capture intervals |
US8965107B1 (en) | 2012-05-18 | 2015-02-24 | Google Inc. | Feature reduction based on local densities for bundle adjustment of images |
CN104982032B (zh) * | 2012-12-12 | 2018-09-07 | 华为技术有限公司 | 3d图像数据分割的方法和装置 |
US9317925B2 (en) | 2013-07-22 | 2016-04-19 | Stmicroelectronics S.R.L. | Depth map generation method, related system and computer program product |
ITTO20130619A1 (it) * | 2013-07-22 | 2015-01-22 | St Microelectronics Srl | Procedimento per generare una mappa di profondita', relativo sistema e prodotto informatico |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4232968A (en) * | 1978-12-26 | 1980-11-11 | Kempf Paul S | Optical comparator with 3-D image |
JPH0766445B2 (ja) * | 1988-09-09 | 1995-07-19 | 工業技術院長 | 画像処理方法 |
JP2873338B2 (ja) * | 1991-09-17 | 1999-03-24 | 富士通株式会社 | 動物体認識装置 |
-
1995
- 1995-07-19 JP JP7182795A patent/JP3054681B2/ja not_active Expired - Lifetime
-
1996
- 1996-07-18 US US08/683,708 patent/US5845006A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0935061A (ja) | 1997-02-07 |
US5845006A (en) | 1998-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3054681B2 (ja) | 画像処理方法 | |
US8144238B2 (en) | Image processing apparatus and method | |
US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
JP2000020728A (ja) | 画像処理装置及び方法 | |
JP2953154B2 (ja) | 形状合成方法 | |
JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
JP2961264B1 (ja) | 3次元物体モデル生成方法及び3次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
JP3008875B2 (ja) | 被写体抽出装置 | |
JP3103478B2 (ja) | 複眼撮像装置 | |
JP2002032744A (ja) | 3次元モデリング及び3次元画像作成のための装置及び方法 | |
JP2005141655A (ja) | 3次元モデリング装置及び3次元モデリング方法 | |
D'Apuzzo et al. | Least squares matching tracking algorithm for human body modeling | |
JP3017122B2 (ja) | 奥行き情報抽出装置および奥行き情報抽出方法 | |
JP2003050110A (ja) | 3次元形状データ生成システム、3次元形状データ生成方法、プログラム、および記録媒体 | |
JP2002094849A (ja) | 広視野画像撮像装置 | |
JPH0875454A (ja) | 測距装置 | |
JP2922503B1 (ja) | 3次元座標検出方法 | |
JP3055721B2 (ja) | 左,右カメラの撮像画像の対応点検索方法 | |
Fan et al. | Research on binocular camera ranging system based on FPGA | |
JP2958462B1 (ja) | ステレオ画像の輝度修正方法及び装置 | |
JP2000180121A (ja) | 画像処理装置および画像処理方法、並びに提供媒体 | |
JPH1040385A (ja) | 物体形状復元装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000208 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 14 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |