JP5018721B2 - 立体模型の作製装置 - Google Patents
立体模型の作製装置 Download PDFInfo
- Publication number
- JP5018721B2 JP5018721B2 JP2008253875A JP2008253875A JP5018721B2 JP 5018721 B2 JP5018721 B2 JP 5018721B2 JP 2008253875 A JP2008253875 A JP 2008253875A JP 2008253875 A JP2008253875 A JP 2008253875A JP 5018721 B2 JP5018721 B2 JP 5018721B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- data
- model
- dimensional model
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Record Information Processing For Printing (AREA)
- Processing Or Creating Images (AREA)
Description
すなわち、この種の建築用の立体模型は、たとえば個人の住宅や集合住宅を始め、ビルや工場、公共施設、橋、都市計画等というように規模の大小を問わず、建築や土木工事を行う際において、実際の施工前のシミュレーションや評価、検討に利用される。また、施工後においても、模型として展示案内用や記念品としても有用である。
しかし、個人住宅用などでは、製作者が少なく、外注製作費や手間がかかるなどから、建築業者側でもなかなか製作しにくく、また顧客側も大規模な物件でないと頼みにくいなど問題があった。
本発明(請求項5記載の発明)に係る立体模型の作製装置は、請求項1において、前記立体プリント用のデータから立体成形可能であるか否かを判断する手段を更に具備し、該判別により立体成形可能でないと判断された場合に前記立体模型のペーパークラフト用の展開図のプリントを出力することを特徴とする。
ここで、この実施形態では、図7に示す建造物の多視点の撮影画像1を用い、これに基づいて、図8に示すような立体模型を作製するためのペーパークラフト用展開図2を印刷し、これを切り取り、組立手順等を説明した組立情報(文、図)にしたがって組み立てることにより、図9に示す建築用立体模型3を組み立てて作製するものである。
なお、上述した立体物の基本データとしては、撮影画像に限らず、S05のように建物などの立面図(正面図、平面図、側面図など)の画像をスキャナ読み取り入力で行い、S06において立面図データから、視体積交差法等により、三次元形状データを生成してもよい。あるいは、S07のように建物などのCAD図面データを入力し、S08のように三次元形状に変換してもよい。
また、S22において該当する標準モデルデータがないと判断されると、S27で当該部位が所定寸法以上となるように、自由拡大ディフォルメ処理し、S24に進む。
そして、S31での三次元粉体プリンタへ出力、S32での紫外線硬化樹脂成形機へ出力、S33での自動切削加工機に出力のいずれかに進む。すなわち、使用できる立体プリンタがある場合には、上述したようにして得られる三次元形状データに基づいて立体プリンタ用のデータを生成し、該立体プリンタを用いて立体印刷により三次元モデル(立体模型)を作製するようにする。
建造物などの平面図を表す図面の2値化画像を入力し、この平面図から、対象の幾何モデルを生成するために、特徴点を抽出し、平面図の構造を解析して、各特徴点間の接続関係を記述する。
また、特徴点を自動的に検出する方法には、マスクパターンを適用する方法があるが、誤検出したり、構造物の角(コーナー)のような特徴点をうまく検出できなかったりする場合がある。
1)入力された平面図画像の傾きを補正する。
2)平面図画像を(m×n)のブロックに分割する。
3)各ブロック内の画素値の平均値Aveを次式で求める。
1)ブロックで記述された平面図情報に対して、x方向に探索し、隣り合うブロックを統合する。
2)上記1)の統合処理が終了するまで繰り返す。
3)x方向のブロックが統合された平面図情報に対して、y方向に探索し、ブロックが隣り合い、かつブロックサイズが同じものを統合する。
4)上記3)の統合処理が終了するまで繰り返す。
すなわち、建造物などの図面を、図4(a)に示すように、正面図、側面図、平面図が描かれている立面図の画像を入力(または撮影)して、立面図画像から建造物などの三次元形状データを作成する方法について説明する。
なお、図4中、符号6は立面図の画像を入力した状態を、7は立面図を正面図、平面図、側面図に分離した状態を、8は視体積交差法の概略を、9は三次元形状データの概略をそれぞれ示す。
視体積交差法では、実空間内に複数設置したカメラで撮影した画像から物体のシルエットを抽出し、あらかじめカメラキャリブレーションにより求まるカメラパラメータを用いて、空間に逆投影し、シルエットの交わりを計算することによって、三次元モデルを求める。
1)形状を構成する三次元空間(ボクセル空間)を立方体格子に分割する(S45)。
2)立面図のシルエット画像を入力し、各ボクセルに対して、正射影による逆投影を行い(S46)、立面図上にシルエットが存在するか、しないかを判定する(S47)。
そして、存在する場合には「存在する」として該当ボクセルを残し(S48)、しない場合には「存在しない」として該当ボクセルを削除する(S50)。なお、S49,S53で全ての立方格子を順次判定し、以下のS51に進む。
4)三次元形状の内部にあるボクセルを削除する(S52)。
三次元モデルは、「視体積交差法」に基づいて復元することができる。視体積とは、視点を頂点と、対象物のシルエットを断面とする錐体のことで、「視体積交差法」は、全ての視点における対象物の視体積の共通部分を求めることにより、対象物の形状を復元する手法である。
1)まず、空間上のA(p,q,r)に対する画像1上の投影点a1については、射影グリッド空間PGSの定義より、a1(p,q)に投影される。
2)次に、画像2上の投影点a2については、F行列F21を用いて画像2にエピポーラ線L21として投影すると、a2はL21上に存在するため、直線L21は次式で定義できる。
基底カメラ2への投影と同様に、Fi1を用いて点a1を画像i上に直線Li1として投影する。
また、Fi2を用いて、点a2を画像i上に直線Li2として投影する。
5)この処理を、全視点の画像に対して行なう。
このようにして、注目ボクセルに対する全視点の画像の座標値を求めることができ、三次元モデルが復元できる。
建造物のCAD図面データや三次元CADデータなどがある場合には、これらから、三次元粉体プリンタや紫外線硬化樹脂成形機、自動切削加工機などの三次元成形加工機などの加工用データに変換して出力する。
すなわち、建築用図面やCADデータなどが用意できない場合や、既に建設済みや中古の建物、その他の対象などの場合には、異なる複数の視点から対象物を撮影し、多視点の複数画像から、以下の手法により、対象物の三次元形状データを生成することができる。
図6(a)に示すように、カメラを基準とした三次元空間座標を「カメラ(Camera)座標」と、二次元画像を表現する「画像(Image)座標」とを、カメラ座標系(X,Y,Z)の原点(0,0,0)を光軸上のカメラ中心とし、撮像画像面に平行なX軸、Y軸と光軸方向のZ軸との正規直交座標系として設定すると、カメラ座標が(X,Y,Z)Tである三次元空間の点と、その透視射影として得られる二次元画像の画像座標(x、y)Tには、次式が成り立つ。
ここで、透視射影による三次元空間の像を記述する「画像(Image)座標」と、モニター表示画面などの「画素(Pixel)座標」の間には、個々のカメラに固有の1対1の写像関係がある。
まず、複数の画像間における点特徴(輝度や色、輪郭形状、テクスチャーなど)の対応付けを行なう。
三次元空間では遠く離れた点も、二次元画像では近くに投影されることがある。二次元画像におけるわずかな誤差が三次元空間での認識や理解に重大な影響を及ぼすので、複数の画像間における点の対応を精度良く行なう必要がある。
すなわち、差分二乗和(二乗誤差、SSD)の勾配を、
δx=dx、δy=dy、δt=1として、
d^=mindε=(ATA)-1ATb ・・・・(10)
となり、全探索しなくても、相違度最小となる変位量を求めることができる。
特徴点検出と上記のような追跡法とを統合した手法は、「Kanade-Lucas-Tomasi(KLT)トラッカー」と呼ばれる。
(1)カメラ位置情報や参照マーカーを用いる方法
次に、三次元形状データの生成方法について、説明する。
例えば、全周囲360度からの多視点角度から、または、周囲に配した複数台のカメラから撮影した画像データを入力して、対象物の三次元形状データを作成するソフトウェアが各種開発されている。
1)カメラ位置の計算では、例えば、座標系におけるカメラの三次元位置パラメータ(回転成分α,β,γと平行移動成分(x,y,z)をHough変換(ハフ変換、ヒュー変換)などに基づいて計算する。つまり、撮影された画像から、参照マーカーを抽出し、抽出された参照マーカーの任意の3点と、あらかじめ登録されている参照マーカー中の任意の3点の位置関係を組合せて決定される連立方程式を解くことにより、位置パラメータを計算する。
2)形状情報の生成では、単色の背景紙などを使用して対象を撮影し、指定した背景の色情報を用いて物体と背景を分離し、対象物のシルエット(輪郭)の抽出を行う。
上記のような参照マーカーやカメラ位置のキャリブレーション処理を用いずに、複数の多視点カメラ画像データや連続動画像データだけから三次元形状データを生成する方法として、因子分解法がある。
一般に、カメラ位置や視点方向の制限も設けずに、対象物周囲の任意の複数枚の二次元画像から、対象物の三次元形状を求めるには、膨大な計算処理が必要で、解も不安定になる。
すなわち、すでに、上記の2.複数の画像間における点の対応付けのステップにより、複数の画像における点特徴の対応付けが既に求められ、画像座標として与えられているとする。
画像がF枚、特徴点がP個与えられるとき、P個の三次元座標のF個のアフィン射影によるFP個の画像座標が得られるとすると、因子分解法では、このFP個の条件を行列の形に並べて、複数の二次元画像からの三次元形状復元問題を単純な形で表現することができる。
(計測行列)=(運動行列)×(形状行列) ・・・(11)
ここで、計測行列はFP個の画像座標を並べた2F×P行列、運動行列はF個のアフィン射影の表現行列を並べた2F×3行列、形状行列はP個の特徴点の三次元座標を並べた3×P行列である。つまり、複数の二次元画像からの三次元形状の復元問題は、計測行列の因子分解に帰着できる。
ただし、画像座標が正規直交基底による表現であるため、正しい復元解を得るには、画像座標の基底が正規直交基底となるように分解する必要がある。
xfp=Af Xfp+uf ・・・・(12)
ここで、Afとufは未知パラメータである。アフィン射影モデルでは、Afには何の仮定もされていないので、対象物のアフィン空間における位置関係を知ること(アフィン復元)はできても、対象物体の対象物体の長さや角度など計量情報を知ること(ユークリッド復元)はできない。
そこで、対象物体のユークリッド復元を行なうためのモデルとして、計量アフィン射影モデル(MAPモデル)が考えられた。対象物体のユークリッド復元を行なうには、Afから奥行きパラメータλ* f=tZ* fをくくりだした残りである行列Bfの成分が既知である必要がある。
世界座標におけるカメラの向きを表す行列(カメラの基底行列)をC=(if,jf,kf)T、
また、第p特徴点の世界座標をsp、第f画像のカメラ座標系における空間座標をXfpとすると、
sp=tf+Cf T Xfp ・・・(15)
この表現を、ある特徴点s0からの相対座標s* p=sp−s0、t* f=tf−s0で表すと、
s* p=t* f+Cf T Xfp、Xfp=Cf(s* p−t* f) ・・・・(16)
となる。
因子分解法では、FP個の上式(f=1〜F、p=1〜P)から作られた行列を分解することによって、カメラの向きを表す行列{Cf}(f=1〜F)と、対象物の特徴点の世界座標{s* p}(p=1〜P)を求める。
ここで、W*のMとS*の積への分解において、{Cf}が三次元回転行列であることから、次の条件(計量拘束)が満たされる必要がある。
MfMf T=AfAf T=(1/λ2* f)BfBf T ・・・・(20)
実際の因子分解法のアルゴリズムでは、「Affine復元」、「Euclid復元」の順に、計測行列W*を分解して、カメラの運動情報と物体の三次元形状情報を復元する。
1)まず、特異的分解(SVD)などにより、計測行列W*を、M^(2F×3)と、S^*(3×P)の積に一時的に(暫定的に)分解して、Affine復元する。
M=M^・A、S*=A-1・S^*(ただし、A-1はAの逆行列)・・・(22)
の関係を満たす3×3可逆行列Aが存在するので、この暫定的な分解によって、運動と形状がアフィン復元されていることになる。
M^fQM^f T=AfAf T=(1/λ2* f)BfBf T ・・・・(23)
ここで、式(14)における未知量は{λ* f}(f=1〜F)とQとであり、Bfは既知であるから、
Bfの特異値分解をBf=RfΣfDfとすると、Rf、Σfは既知であり、
P^f=(p^f,q^f)T=Rf TM^f、Pf=Rf TMf・・・(24)
とおくと、式(14)の拘束条件は、
P^f Q P^f T=(1/λ2* f)Σ2 f ・・・・(25)
と単純になる。
Aの一般解は、A=LTU となり、
運動行列M、形状行列S*の一般解は、
M=M^LTU、 S*=UTL S^*・・・・(28)
で求まる。
上記のような方法により、建造物などの対象物の図面データや複数枚の多視点の撮影画像データから、三次元形状データが抽出されたならば、補正処理を行う。
すなわち、本発明の特徴として、製作する立体模型(やそのペーパークラフト)の作成寸法や縮小率、および立体模型の作成仕様、すなわち、あらかじめ設定または記憶された、立体プリンタ等の立体印刷の分解能や解像度、印刷素材の細かさなどの諸元に応じて、三次元形状データのうち、所定の寸法以下のディティールについては、以下のいずれかを行う。
1)所定の寸法以下のディテール(詳細部分の寸法)は省略するか、もしくは、近接する部位と一体(グループ)として扱い、ディティールの一部を省略してディフォルメした立体プリント用のデータを生成する。
すなわち、高価な3Dプリンタや立体プリンタなどが無い場合や、利用できない場合には、立体模型を立体プリントして製作する代りに、建築用のCAD図面データ、あるいは、建築図面のスキャナ読み取りデータから、あるいは、同じ対象物を複数の視点位置からカメラで複数枚撮影した画像データから、上記の立体プリントの場合と同様に、三次元形状データを抽出生成し、建造物など対象物の三次元形状データに基づいて、建造物の外観のペーパークラフトによる紙製立体模型を作成するための展開図の印刷用画像データを自動的に生成して、ユーザのPCやプリンタに出力し、プリンタで紙に印刷された展開図から、ユーザが切り貼りして組み立て、ペーパークラフトの立体模型を簡単に作成できるように提供する。
また、窓サッシやタイル、レンガ、瓦など、所定の部位について、そのディティールやテクスチャー(肌理や模様)について、標準パターンを予め複数種用意しておき、その中からディティールやテクスチャーが類似するものを自動的に選択して、それに代えて配置するように変形処理した立体プリント用のデータを生成する。
そうであれば、S65でカメラ位置パラメータの計算、S66で各画像からシルエット(輪郭)画像データを抽出し、S67でカメラ位置と各輪郭画像に基づいて、対象物の三次元形状モデルを復元し、S68の対象物の三次元形状データを生成するようになっている。
たとえば自動車の例を図10ないし図12に示している。
Claims (5)
- 立体物の多視点の撮影画像データ、立体物のCAD図面データ、または立体物の製造図面からのスキャナデータを入力する手段と、
該入力されたデータから三次元モデルデータを生成する手段と、
該生成した三次元モデルデータ中の立体物の外側面に描画されている線、もしくはディティールのうち、忠実に描画する線と、ディフォルメする線の閾値を設定する手段と、
該設定に基づき立体模型の立体プリント用のデータを作成する手段と、
該作成された立体プリント用のデータから立体模型のペーパークラフト用の展開図のプリント出力する手段と、
を具備したことを特徴とする立体模型の作製装置。 - 請求項1記載の立体模型の作製装置において、
前記三次元モデルデータのうち、作製する立体模型またはそのペーパークラフトの作製寸法、縮小率、プリンタの印刷分解能や解像度、印刷素材の細かさ等の仕様諸元に応じて、所定の寸法以下のディティールを、省略するか、あるいは近接部位として一体として扱い、
ディティールを省略ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。 - 請求項1または請求項2記載の立体模型の作製装置において、
前記三次元モデルデータのうち、立体物の正面、特徴となる部位、主要なディティールについては省略しないが、ディティールの一部寸法を拡大して、部位グループの大きさは変えずに、ディティール毎の寸法は印刷分解能以上の寸法に、拡大ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。 - 請求項1ないし請求項3のいずれか1項に記載の立体模型の作製装置において、
ディティールのうち、同じパターンの連続や繰り返し配置の場合には、部位グループの大きさは変えずに、グループの寸法内で、グループ内の単位ディティールの寸法が所定寸法以上の大きさになるように拡大ディフォルメするとともに、個数や繰り返し回数を実際より少なくなるように変形処理して、グループ内で単位ディティールを繰り返し配置するように変更した立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。 - 請求項1記載の立体模型の作製装置において、
前記立体プリント用のデータから立体成形可能であるか否かを判断する手段を更に具備し、
該判別により立体成形可能でないと判断された場合に前記立体模型のペーパークラフト用の展開図のプリントを出力することを特徴とする立体模型の作製装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008253875A JP5018721B2 (ja) | 2008-09-30 | 2008-09-30 | 立体模型の作製装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008253875A JP5018721B2 (ja) | 2008-09-30 | 2008-09-30 | 立体模型の作製装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010086237A JP2010086237A (ja) | 2010-04-15 |
JP2010086237A5 JP2010086237A5 (ja) | 2011-06-16 |
JP5018721B2 true JP5018721B2 (ja) | 2012-09-05 |
Family
ID=42250144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008253875A Expired - Fee Related JP5018721B2 (ja) | 2008-09-30 | 2008-09-30 | 立体模型の作製装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5018721B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011162309A1 (ja) * | 2010-06-23 | 2011-12-29 | 日本電気株式会社 | 物体領域抽出装置、方法、及び、プログラム |
FR2964305B1 (fr) * | 2010-09-06 | 2019-06-28 | L'oreal | Procede de fabrication d'articles cosmetiques personnalises, notamment de faux ongles et articles ainsi realises |
BR112013008350A2 (pt) * | 2010-10-07 | 2016-06-14 | Sungevity | modelagem 3d rápida |
KR101425576B1 (ko) * | 2012-11-15 | 2014-08-01 | (주)다인디지컬처 | 정밀한 광역 축척 모형 제작을 위한 3차원 데이터 획득 및 가공 방법 |
JP6198223B2 (ja) * | 2013-10-29 | 2017-09-20 | 山九株式会社 | 三次元モデル作成システム |
JP6264124B2 (ja) * | 2014-03-20 | 2018-01-24 | カシオ計算機株式会社 | 組立部品印刷システム、印刷装置、組立部品印刷方法及びプログラム |
US20150306824A1 (en) * | 2014-04-25 | 2015-10-29 | Rememborines Inc. | System, apparatus and method, for producing a three dimensional printed figurine |
JP2016030056A (ja) * | 2014-07-29 | 2016-03-07 | 有限会社 ショコラ−タ | 額装用3dモデル、額装用フック、3dモデルの額装方法及び額装用3dモデル作成プログラム |
JP5951748B2 (ja) * | 2014-12-26 | 2016-07-13 | 大東建託株式会社 | 三次元データ加工用プログラム、記憶媒体、および、三次元データ加工装置。 |
JP6496583B2 (ja) * | 2015-03-19 | 2019-04-03 | 山九株式会社 | 仮設足場計画支援システム |
JP6093476B1 (ja) * | 2016-10-14 | 2017-03-08 | 日建リース工業株式会社 | 仮設構造物用の設計支援装置およびそのプログラム |
JP6145234B1 (ja) * | 2017-01-25 | 2017-06-07 | 日建リース工業株式会社 | 仮設構造物用の設計支援装置およびそのプログラム |
CN112597573B (zh) * | 2020-12-18 | 2024-04-19 | 中建钢构武汉有限公司 | 空间三维放样方法、装置、设备及存储介质 |
CN114801523A (zh) * | 2022-01-20 | 2022-07-29 | 陈双琴 | 一种3d打印机控制方法及其打印机 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3809078B2 (ja) * | 2001-04-10 | 2006-08-16 | 賢三 松尾 | 建物設計支援システム |
-
2008
- 2008-09-30 JP JP2008253875A patent/JP5018721B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010086237A (ja) | 2010-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5018721B2 (ja) | 立体模型の作製装置 | |
Aicardi et al. | Recent trends in cultural heritage 3D survey: The photogrammetric computer vision approach | |
Arayici | An approach for real world data modelling with the 3D terrestrial laser scanner for built environment | |
Grussenmeyer et al. | Comparison methods of terrestrial laser scanning, photogrammetry and tacheometry data for recording of cultural heritage buildings | |
US7509241B2 (en) | Method and apparatus for automatically generating a site model | |
US11094113B2 (en) | Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs | |
JP5206366B2 (ja) | 3次元データ作成装置 | |
Alidoost et al. | An image-based technique for 3D building reconstruction using multi-view UAV images | |
Zalama et al. | An effective texture mapping approach for 3D models obtained from laser scanner data to building documentation | |
US10432915B2 (en) | Systems, methods, and devices for generating three-dimensional models | |
Zvietcovich et al. | 3D solid model updating of complex ancient monumental structures based on local geometrical meshes | |
Cosido et al. | Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace | |
Demir et al. | Laser scanning for terrestrial photogrammetry, alternative system or combined with traditional system | |
Lee et al. | Interactive 3D building modeling using a hierarchical representation | |
JP2019095821A (ja) | 石垣管理システム、石垣管理方法及びコンピュータプログラム | |
Vincke et al. | Vision based metric for quality control by comparing built reality to BIM | |
Verhoeven et al. | From 2D (to 3D) to 2.5 D: not all gridded digital surfaces are created equally | |
Dupont et al. | An improved calibration technique for coupled single-row telemeter and ccd camera | |
Dore | Procedural Historic Building Information Modelling (HBIM) for recording and documenting European classical architecture | |
CN113379899A (zh) | 一种建筑工程工作面区域图像自动提取方法 | |
Jarząbek-Rychard et al. | Automatic enrichment of indoor 3D models using a deep learning approach based on single images with unknown camera poses | |
Nguatem et al. | Automatic Generation of Building Models With Levels of Detail 1-3 | |
CN117274499B (zh) | 一种基于无人机倾斜摄影的钢结构加工及安装方法 | |
Landes et al. | Semi-automatic extraction of sectional view from point clouds–The case of Ottmarsheim's abbey-church | |
JP7390743B2 (ja) | 物体測定装置及び物体測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5018721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |