JP5077579B2 - 並列画像処理システムの制御方法および装置 - Google Patents
並列画像処理システムの制御方法および装置 Download PDFInfo
- Publication number
- JP5077579B2 JP5077579B2 JP2008509691A JP2008509691A JP5077579B2 JP 5077579 B2 JP5077579 B2 JP 5077579B2 JP 2008509691 A JP2008509691 A JP 2008509691A JP 2008509691 A JP2008509691 A JP 2008509691A JP 5077579 B2 JP5077579 B2 JP 5077579B2
- Authority
- JP
- Japan
- Prior art keywords
- element processor
- instruction
- data
- processed
- operation code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 100
- 230000003252 repetitive effect Effects 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 5
- 101100243454 Caenorhabditis elegans pes-10 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/3005—Arrangements for executing specific machine instructions to perform operations for flow control
- G06F9/30065—Loop control instructions; iterative instructions, e.g. LOOP, REPEAT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/34—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes
- G06F9/345—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes of multiple operands or results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
Description
図1は本発明の一実施形態による並列画像処理システムの機能的構成を示すブロック図である。本実施形態による並列画像処理システムは、画像処理におけるそれぞれの命令動作を行うPEアレイ1と、プログラムによりPEアレイ1の動作を制御するコントローラ2と、実行すべき画像処理を記述したプログラムを格納するプログラムメモリ3とを含む。
PEアレイ1は、各PE10に処理対象画像の画素を割り当て、各PEで同一の命令を並列に動作させることにより画像処理動作を行う。PE10は、処理対象画像中の割り当てられた画素値を格納、演算する要素プロセッサであり、通常のプロセッサの持つ命令実行機能を備え、コントローラ2からの制御信号により命令動作を行う。各PE10はデータの受け渡しを行うために隣接するPE10と接続されている。
コントローラ2は、命令フェッチ・デコード部21によってプログラムメモリ3に格納されたプログラムを逐次読み出し、解釈してPEアレイ1を制御することにより、画像処理を進める。
オペランド変換部221は、反復実行時にレジスタ群13中のレジスタ利用部分を処理対象画素位置に応じて切り替えるため、レジスタ番号の変換を行うユニットである。命令フェッチ・デコード部21から入力されたオペコードによってオペランドの変換が必要な命令であるかを判断する。オペランド変換が必要な場合は、PEアレイ1中のレジスタ群13の持つレジスタ本数を反復実行指定レジスタ225に格納された反復実行回数NRによって分割し、分割した各レジスタ本数に反復実行カウンタ224に格納される0から(NR−1)までの値を乗算した値をレジスタ位置切り替えに用いるオフセット値として算出する。
メモリアドレス変換部222は、メモリアクセス命令を反復実行する際にアクセスするアドレスを変換するためのユニットである。命令フェッチ・デコード部21から入力されたオペコードがローカルメモリ11の読み出し/書き込み命令であった場合、処理対象画像高さレジスタ226の値NHと反復実行カウンタ224の値CRとを乗算して得られる値を入力アドレスに加算するアドレス変換を行い、命令フェッチ・デコード部21へ変換済みアドレスを引き渡す。
オペコード変換部223は、反復実行に際して実行対象とする画素位置に応じて異なる動作を行う必要のある左右隣接画素値の取得命令を実行する際に、PEアレイ1で実行するオペコードの変換を行うユニットである。命令フェッチ・デコード部21から入力されたオペコードが左右隣接画素値の取得命令であった場合、反復実行カウンタ224および反復実行指定レジスタ225の値CRおよびNRによって現在実行対象としている画素の各PEに割り当てられた複数画素中における画素位置を算出し、取得すべき隣接画素値が自PEのレジスタに保持されているか、隣接PEのレジスタに保持されているかを判断し、自PEレジスタからの読み出し、あるいは右側隣接PEからのレジスタ値転送となるよう変換したオペコードを命令フェッチ・デコード部21へ引き渡す。
図3は本実施形態による並列画像処理システムの全体的動作を示すフローチャートである。命令フェッチ・デコード部21がプログラムメモリ3に格納されたプログラムから実行すべきアドレスのプログラムコードを読み出し、反復実行部22に供給する(ステップA1)。反復実行部22は供給されたプログラムコードのオペコードが反復実行対象命令であるか否かを判断する(ステップA2)。反復実行対象命令ではないと判断した場合には(ステップA2のNO)、プログラムコードをそのまま命令フェッチ・デコード部21に引き渡し、PEアレイ1を制御し命令処理を行う(ステップA3、A4)。
図4は本実施形態による並列画像処理システムのオペランド変換動作を示すフローチャートである。オペランド変換部221は、命令フェッチ・デコード部21から入力されたプログラムコード中に含まれる入力元、出力先となる各オペランドについて、オペコードとオペランド位置によって変換対象とすべきであるか否かを判断する(ステップB1)。オペランドが変換対象でない場合には(ステップB1のNO)、変換を行わず入力されたレジスタ番号をそのまま出力する。
図5は本実施形態による並列画像処理システムのメモリアドレス変換動作を示すフローチャートである。メモリアドレス変換部222は、入力されたオペコードがメモリアドレス変換の対象となるメモリ読み出し命令/メモリ書き込み命令等であるかを判断する(ステップC1)。
図6は本実施形態による並列画像処理システムのオペコード変換動作を示すフローチャートである。オペコード変換部223は、命令フェッチ・デコード部21から入力されたオペコードが変換対象となる左右隣接画素値の取得命令であるかを判断する(ステップD1)。
上述したように、本実施形態によれば、プログラムメモリ3から読み出されたプログラムコードの1命令に対して命令フェッチ・デコード部21が解釈・実行を行う際、反復実行部22によって複数命令に相当するPEアレイ制御を行う。したがって、各PEに割り当てられた複数の画素に対する処理を1命令で記述でき、プログラムコード量が削減できる。
ある0を、入力された入力元レジスタ番号0に加算した結果である0を、変換済み入力元レジスタ番号として命令フェッチ・デコード部21へ引き渡す。出力先レジスタについては1行目の場合と同様の変換を行い、反復実行指定レジスタ225および反復実行カウンタ224の値NRおよびCRによりオフセット算出テーブル221.1を用いて得たオフセット値“18”を、入力された出力先レジスタ番号1に加算した結果である“19”を、変換済み出力先レジスタとして命令フェッチ・デコード部21へ引き渡す(ステップA6)。
2 コントローラ
3 プログラムメモリ
10 PE
11 ローカルメモリ
12 演算部
13 レジスタ
21 命令フェッチ・デコード部
22 反復命令実行部
221 オペランド変換部
222 メモリアドレス変換部
223 オペコード変換部
224 反復実行カウンタ
225 反復実行指定レジスタ
226 処理対象画像高さレジスタ
Claims (11)
- 処理対象データ数より少ない個数の要素プロセッサを有し、各要素プロセッサが複数個の処理対象データを処理する並列画像処理システムの制御方法において、
前記要素プロセッサに割り当てた処理対象データ数に応じて命令を自動的に反復実行し、
所定命令を反復実行する際、反復中のそれぞれの実行時に処理するデータに応じてオペコードを置き換え、
前記置き換えられたオペコードによって前記要素プロセッサを制御する、
ことを特徴とする並列画像処理システムの制御方法。 - 前記処理データとして複数の画素を処理する際、
前記要素プロセッサに割り当てた画素数に応じて命令を自動的に反復実行し、
隣接画素の画素値取得命令を反復実行する際、処理する画素の位置に応じてオペコードを隣接要素プロセッサからの画素値転送命令と自要素プロセッサ上の画素値取得命令の組み合わせに置き換え、
前記置き換えられたオペコードによって前記要素プロセッサを制御する、請求項1に記載の並列画像処理システムの制御方法。 - 各要素プロセッサに割り当てた画素数に合わせてレジスタ群を分割して利用し、反復実行時に利用するレジスタ群を切り替えるようにオペランドを書き換え、
メモリアクセス命令の反復実行時に前記要素プロセッサに割り当てた画素数に合わせたオフセット値をアドレスに加算する、
ことを特徴とする請求項2に記載の並列画像処理システムの制御方法。 - 処理対象データ数より少ない個数の要素プロセッサを有し、各要素プロセッサが複数個の処理対象データを処理する並列画像処理システムの制御装置において、
前記要素プロセッサに割り当てた処理対象データ数に応じて命令を自動的に反復実行する反復実行手段を有し、
前記反復実行手段は、所定命令を反復実行する際、反復中のそれぞれの実行時に処理するデータに応じてオペコードを置き換えるオペコード変換手段を有し、前記置き換えられたオペコードによって前記要素プロセッサを制御することを特徴とする並列画像処理システムの制御装置。 - 前記処理データとして複数の画素を処理する際、
前記反復実行手段は、前記要素プロセッサに割り当てた画素数に応じて命令を自動的に反復実行し、
前記反復実行手段は、隣接画素の画素値取得命令を反復実行する際、処理する画素の位置に応じてオペコードを隣接要素プロセッサからの画素値転送命令と自要素プロセッサ上の画素値取得命令の組み合わせに置き換えるオペコード変換手段を有し、前記置き換えられたオペコードによって前記要素プロセッサを制御する、請求項4に記載の並列画像処理システムの制御装置。 - 前記要素プロセッサが複数個の画素を処理する1次元プロセッサアレイ構造からなり、
前記1次元プロセッサアレイ構造は1次元SIMD(Single Instruction Multiple Data)プロセッサアレイ構造である、請求項5に記載の並列画像処理システムの制御装置。 - 前記反復実行手段は、
各要素プロセッサに割り当てた画素数に合わせてレジスタ群を分割して利用し、反復実行時に利用するレジスタ群を切り替えるようにオペランドを書き換えるオペランド変換手段と、
メモリアクセス命令の反復実行時に前記要素プロセッサに割り当てた画素数に合わせたオフセット値をアドレスに加算するメモリアドレス変換手段と、
を更に有する、請求項6に記載の並列画像処理システムの制御装置。 - 処理対象データ数より少ない個数の要素プロセッサを有し、各要素プロセッサが複数個の処理対象データを処理する並列画像処理システムにおいて、
前記要素プロセッサに割り当てた処理対象データ数に応じて命令を自動的に反復実行する反復実行手段を有し、
前記反復実行手段は、所定命令を反復実行する際、反復中のそれぞれの実行時に処理するデータに応じてオペコードを置き換えるオペコード変換手段を有し、前記置き換えられたオペコードによって前記要素プロセッサを制御する、ことを特徴とする並列画像処理システム。 - 前記処理データとして複数の画素を処理する際、
前記反復実行手段は、前記要素プロセッサに割り当てた画素数に応じて命令を自動的に反復実行し、
前記反復実行手段は、隣接画素の画素値取得命令を反復実行する際、処理する画素の位置に応じてオペコードを隣接要素プロセッサからの画素値転送命令と自要素プロセッサ上の画素値取得命令の組み合わせに置き換えるオペコード変換手段を有し、前記置き換えられたオペコードによって前記要素プロセッサを制御する、請求項8に記載の並列画像処理システム。 - 処理対象データ数より少ない個数の要素プロセッサを有し、各要素プロセッサが複数個の処理対象データを処理する並列画像処理システムを構成するコンピュータに、
前記要素プロセッサに割り当てた処理対象データ数に応じて命令を自動的に反復実行する機能と、
前記反復実行ステップで所定命令を反復実行する際、反復中のそれぞれの実行時に処理するデータに応じてオペコードを置き換える機能と、
前記置き換えられたオペコードによって前記要素プロセッサを制御する機能とを実行させることを特徴とするプログラム。 - 前記コンピュータに、前記処理データとして複数の画素を処理させる際、
前記要素プロセッサに割り当てた画素数に応じて命令を自動的に反復実行する機能と、
前記反復実行ステップで隣接画素の画素値取得命令を反復実行する際、処理する画素の位置に応じてオペコードを隣接要素プロセッサからの画素値転送命令と自要素プロセッサ上の画素値取得命令の組み合わせに置き換える機能と、
前記置き換えられたオペコードによって前記要素プロセッサを制御する機能とを実行させる、請求項10に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008509691A JP5077579B2 (ja) | 2006-03-30 | 2006-12-05 | 並列画像処理システムの制御方法および装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006092831 | 2006-03-30 | ||
JP2006092831 | 2006-03-30 | ||
PCT/JP2006/324213 WO2007116560A1 (ja) | 2006-03-30 | 2006-12-05 | 並列画像処理システムの制御方法および装置 |
JP2008509691A JP5077579B2 (ja) | 2006-03-30 | 2006-12-05 | 並列画像処理システムの制御方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007116560A1 JPWO2007116560A1 (ja) | 2009-08-20 |
JP5077579B2 true JP5077579B2 (ja) | 2012-11-21 |
Family
ID=38580862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008509691A Expired - Fee Related JP5077579B2 (ja) | 2006-03-30 | 2006-12-05 | 並列画像処理システムの制御方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8106912B2 (ja) |
EP (1) | EP2000973B1 (ja) |
JP (1) | JP5077579B2 (ja) |
KR (1) | KR20080100380A (ja) |
CN (1) | CN101416216B (ja) |
WO (1) | WO2007116560A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2464292A (en) | 2008-10-08 | 2010-04-14 | Advanced Risc Mach Ltd | SIMD processor circuit for performing iterative SIMD multiply-accumulate operations |
JP4901891B2 (ja) * | 2008-11-05 | 2012-03-21 | 株式会社東芝 | 画像処理プロセッサ |
US10733478B2 (en) * | 2016-08-31 | 2020-08-04 | Facebook, Inc. | Systems and methods for processing media content that depict objects |
CN110728364A (zh) * | 2018-07-17 | 2020-01-24 | 上海寒武纪信息科技有限公司 | 一种运算装置和运算方法 |
US11182160B1 (en) * | 2020-11-24 | 2021-11-23 | Nxp Usa, Inc. | Generating source and destination addresses for repeated accelerator instruction |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04291659A (ja) * | 1991-03-20 | 1992-10-15 | Hitachi Ltd | 並列コンピュータシステムおよびその動作方法 |
JPH05174166A (ja) * | 1991-12-24 | 1993-07-13 | Sony Corp | Simd型並列演算装置 |
JP2004362086A (ja) * | 2003-06-03 | 2004-12-24 | Matsushita Electric Ind Co Ltd | 情報処理装置および機械語プログラム変換装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2839026B1 (ja) | 1997-06-25 | 1998-12-16 | 日本電気株式会社 | 並列画像処理装置 |
US6741294B2 (en) * | 1997-12-08 | 2004-05-25 | Sony Corporation | Digital signal processor and digital signal processing method |
AU2362200A (en) * | 1998-12-15 | 2000-07-03 | Intensys Corporation | Digital camera using programmed parallel computer for image processing functionsand control |
US7506136B2 (en) * | 1999-04-09 | 2009-03-17 | Clearspeed Technology Plc | Parallel data processing apparatus |
JP2002007359A (ja) | 2000-06-21 | 2002-01-11 | Sony Corp | Simd制御並列処理方法および装置 |
GB2389689B (en) * | 2001-02-14 | 2005-06-08 | Clearspeed Technology Ltd | Clock distribution system |
JP4143302B2 (ja) * | 2002-01-15 | 2008-09-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、制御プログラム及び記録媒体 |
JP4136432B2 (ja) * | 2002-04-15 | 2008-08-20 | 松下電器産業株式会社 | 図形描画装置 |
US20050188087A1 (en) * | 2002-05-28 | 2005-08-25 | Dai Nippon Printing Co., Ltd. | Parallel processing system |
WO2005069215A1 (en) * | 2004-01-14 | 2005-07-28 | Koninklijke Philips Electronics N.V. | Processor architecture |
US20050257026A1 (en) * | 2004-05-03 | 2005-11-17 | Meeker Woodrow L | Bit serial processing element for a SIMD array processor |
JP4478050B2 (ja) * | 2005-03-18 | 2010-06-09 | 株式会社リコー | Simd型マイクロプロセッサ及びデータ処理方法 |
-
2006
- 2006-12-05 CN CN2006800541190A patent/CN101416216B/zh not_active Expired - Fee Related
- 2006-12-05 EP EP06833968.8A patent/EP2000973B1/en not_active Not-in-force
- 2006-12-05 JP JP2008509691A patent/JP5077579B2/ja not_active Expired - Fee Related
- 2006-12-05 US US12/224,988 patent/US8106912B2/en not_active Expired - Fee Related
- 2006-12-05 KR KR1020087023995A patent/KR20080100380A/ko not_active Application Discontinuation
- 2006-12-05 WO PCT/JP2006/324213 patent/WO2007116560A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04291659A (ja) * | 1991-03-20 | 1992-10-15 | Hitachi Ltd | 並列コンピュータシステムおよびその動作方法 |
JPH05174166A (ja) * | 1991-12-24 | 1993-07-13 | Sony Corp | Simd型並列演算装置 |
JP2004362086A (ja) * | 2003-06-03 | 2004-12-24 | Matsushita Electric Ind Co Ltd | 情報処理装置および機械語プログラム変換装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2000973A9 (en) | 2009-03-04 |
EP2000973A4 (en) | 2012-01-04 |
EP2000973A2 (en) | 2008-12-10 |
WO2007116560A1 (ja) | 2007-10-18 |
US8106912B2 (en) | 2012-01-31 |
EP2000973B1 (en) | 2013-05-01 |
KR20080100380A (ko) | 2008-11-17 |
CN101416216A (zh) | 2009-04-22 |
JPWO2007116560A1 (ja) | 2009-08-20 |
US20090106528A1 (en) | 2009-04-23 |
CN101416216B (zh) | 2012-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110149802B (zh) | 用于在虚拟图像处理器指令集架构(isa)与具有二维移位阵列结构的目标硬件之间进行转译的编译器 | |
JP5748935B2 (ja) | Simd命令をサポートするプログラマブルデータ処理回路 | |
CN117407644A (zh) | 用于片矩阵乘法和累加的系统、方法和装置 | |
JP2023051994A (ja) | 連鎖タイル演算を実施するためのシステムおよび方法 | |
CN107111489B (zh) | 莫顿坐标调整处理器、方法、系统和指令 | |
KR102592056B1 (ko) | 패킹된 데이터 정렬 플러스 계산 명령어, 프로세서,방법, 및 시스템 | |
JP5077579B2 (ja) | 並列画像処理システムの制御方法および装置 | |
CN107315717B (zh) | 一种用于执行向量四则运算的装置和方法 | |
KR100765567B1 (ko) | 산술 논리 유닛 및 스택을 가지는 데이터 프로세서, 멀티미디어 장치 및 컴퓨터 판독가능 기록 매체 | |
JPH07104784B2 (ja) | デジタルデータ処理装置 | |
JP7154788B2 (ja) | 半導体装置 | |
KR20180052721A (ko) | 이미지 프로세서용 다기능 실행 레인 | |
US10754652B2 (en) | Processor and control method of processor for address generating and address displacement | |
JP3614646B2 (ja) | マイクロプロセッサ、演算処理実行方法及び記憶媒体 | |
EP1088266B1 (en) | Parallel data processing | |
CN101258480A (zh) | 具有分离串行模块的处理器阵列 | |
JP2001216275A (ja) | 画像処理装置および画像処理方法 | |
US5473774A (en) | Method for conflict detection in parallel processing system | |
EP1104558A1 (en) | Data processor comprising a register stack | |
US10496596B2 (en) | Application specific instruction-set processor (ASIP) architecture having separated input and output data ports | |
JP2024000852A (ja) | プログラマブル信号処理回路及び当該回路用のプログラム | |
JP2002318689A (ja) | 資源使用サイクルの遅延指定付き命令を実行するvliwプロセッサおよび遅延指定命令の生成方法 | |
Wyland | The Universal Micro System: Hardware Performance with Software Convenience | |
Kim et al. | Performance evaluation of register allocator for the advanced DSP of TMS320C80 | |
AU2003204212A1 (en) | A Processor for Alpha-compositing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120801 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120814 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |