JP5026854B2 - 領域抽出装置及び領域抽出方法 - Google Patents
領域抽出装置及び領域抽出方法 Download PDFInfo
- Publication number
- JP5026854B2 JP5026854B2 JP2007120072A JP2007120072A JP5026854B2 JP 5026854 B2 JP5026854 B2 JP 5026854B2 JP 2007120072 A JP2007120072 A JP 2007120072A JP 2007120072 A JP2007120072 A JP 2007120072A JP 5026854 B2 JP5026854 B2 JP 5026854B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- intensity
- afterimage
- extraction
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
洪水や津波、水難事故などによって行方不明になった際、ヘリコプター等による上空からの捜索が行われるが、広範囲にわたって、肉眼による継続的な捜索は困難を極める。特に夜間の水上捜索など、二次災害の危険を低減し、捜索をより安全かつ確実に行うためには、無人機による自動探索が有効であるが、この場合、観測画像の中から背景やその他の漂流物と、ヒトの肌を選択的に分離する技術の実現が求められている。また、防犯の分野でも、動物や、揺れ動く木々の像と、分離して、ヒトの肌のみを選択的に検出する画像観測装置の実現が望まれている。
It−1(i)=Iλ1
It(i)=Iλ2
It+1(i)=ξIλ1
It+2(i)=ηIλ2
xt(i)=k(i)xt−1(i)+Iλ2・・・(1)
xt+1(i)=k(i)xt(i)+ξIλ1・・・(2)
xt+2(i)=k(i)xt+1(i)+ηIλ2・・・(3)
式(1)×η−式(3)によりIλ2を消去する。
ηxt(i)−xt+2(i)=ηk(i)xt−1(i)−k(i)xt+1(i)・・・(4)
上式より、以下のように各画素毎に独立に残像係数k(i)を得ることができる。
k(i)={ηxt(i)−xt+2(i)}/{ηxt−1(i)−xt+1(i)}・・・(4')
Iλ1={xt+1(i)−k(i)xt(i)}/ξ
=[xt+1(i)−{ηxt(i)−xt+2(i)}/{ηxt−1(i)−xt+1(i)}xt(i)]/ξ・・・(5)
Iλ2={xt+2(i)−k(i)xt+1(i)}/η
=[xt+2(i)−{ηxt(i)−xt+2(i)}/{ηxt−1(i)−xt+1(i)}xt+1(i)]/η・・・(6)
NDHI=(Iλ1/I0(λ1)−Iλ2/I0(λ2))/(Iλ1/I0(λ1)+Iλ2/I0(λ2))(Rλ1−Rλ2)/(Rλ1+Rλ2)=・・・(7)
k(t)=αβt・・・(8)
dx(t)/dt=0 (10)
xequ=−I/(β・lnα)・・・(11)
ty=(1/β)logα(1−y/100) (13)
x(t4)θ3−x(t1)θ2−x(t5)θ+x(t2)=0・・・(14)
x(t2)θ3−x(t3)θ2−x(t3)θ+x(t4)=0・・・(15)
0<θ<1・・・(16)
また、推定されたθを用いて、2入力の推定値が式(16)、(17)で算出される。
人肌抽出による要救助者の捜索は、肌が多く露出している海水浴、マリンスポーツ等での水難事故、及び津波や洪水災害後に利用することで有用性を発揮すると考えられる。このような場合、実際には水が不透明に濁っていることが多い。そこで、本実施の形態にかかる領域抽出装置においては、泥水内外の人肌領域を抽出する。
次に、本発明の実施例を、従来方法である比較例と比較して説明する。実施の形態1の方式1において、入力Iλ1、Iλ2、一定入力の間隔Δt、残像関数k(t)、受光強度比ξ、ηをそれぞれ以下のように設定した場合のシミュレ−ションによる入出力値関係図を図9に示す。
Iλ1=1.5、Iλ2=1.0、Δt=33ms、k(t)=0.6t/50、ξ=1/2、η=2
Iλ1=1.5、Iλ2=1.0、Δt=100ms、k(t)=0.6t/50
次に、実施の形態2にかかる実施例について説明する。NDHIを利用して泥水内外の人肌を抽出する。また、NDHIの有用性を調べるために、赤外線カメラを用いた体温感知によるヒト認識との比較を行う。
NDHI=(R1−R2)/(R1+R2)・・・(19)
NDHI=(R(1100)−R(1550))/(R(1100)+R(1550))・・・(20)
ここで、R(λ)は波長λnmでの反射率を表している。
A:泥水内の物体(人肌、及びヒト以外の物体)と泥水外の人肌を抽出した画像
B:泥水内の物体を削除し、泥水外の人肌のみ抽出した画像
ただし、画像A、BのR(1100)の閾値については、泥水内の物体の深度、泥水の透視度ごとに調節する必要がある。
次に、実施例3について説明する。上述の実施例2の方法では、ヒト以外の物体が同じ程度の水深に存在する場合、その物体を人肌と同様に抽出するため、泥水外の人肌と連続した泥水内の物体をヒトとして認識する必要がある。そこで、本実施例では、実施の形態2に示す方法により、泥水内外のヒト識別を行なう。
次に、実施例4について説明する。泥水内の物体抽出に際し、NDHIが適用可能な泥水の深度と透視度の関係を調査した。実施例2、3と同様の室内の測定系(ただし水面の高さは30cmとする)を用い、右手の甲の部分の深度が0cmから20cmに至るまで2cm間隔で深度を変えて測定を実施した。泥水は透視度40、20、及び10の3種類を準備し、透視度∞の水として中水を使用した。それぞれの透視度における各深度の人肌のスペクトル特性を図35乃至図38に示す。
次に、実施例5について説明する。NDHIと赤外線センサを使用したヒト認識との比較結果について説明する。従来のヒト認識の主な手法の一つに熱赤外領域を利用した赤外線センサによる体温感知がある。そこで水難事故や水災害を想定した場面での赤外線センサによる体温感知とNDHIとの比較を行う。赤外線センサはNEC社製TH3100MRを使用した。氷水中に30秒間右手を浸して体温を下げた後、透視度10の泥水中に手のひらを浸し、赤外線センサとハイパースペクトルセンサで測定を行った。海難事故や台風などによる水災害の多発する夏期8月の本州周辺の海水温は25〜29度℃である。そこで、泥水の温度を25度℃とした。赤外線センサによる測定は10分間行い、体温が戻る様子を観察した。赤外線センサの測定結果では、開始直後は泥水より手のひらの体温が低いが、時間の経過とともに徐々に体温が戻り始め、5分後には泥水に接する部分の温度が27度℃前後まで回復したが、水面から出ている手の部分の温度は10分後も27度℃前後から上昇せず、手の形状が認識できなかった。一方、NDHI画像(R(1100)≧0.035で閾値処理)の結果は、泥水内外の手の形状が明確に抽出可能であった。このように体温が下がっている状況での水面下のヒト認識には、赤外線センサを使用した体温認識と比較してNDHIの方が有効である。
11、12 LED
13 輝度変調部
14 同期回路
15 撮像部
16 フレームバッファ
17 演算部
18 出力部
171 残像係数算出部
172 反射強度算出部
173 反射率算出部
174 前処理部
175 算出部
176 二値化処理部
177 ラベリング処理部
Claims (17)
- 入力された画像の中から抽出対象に対応する対象領域を抽出する領域抽出装置であって、
第1波長及びこの第1波長とは波長が異なる第2波長の電磁波を対象物に照射して得られる反射波又は透過波について3フレーム以上の画像データを取得する画像取得手段と、
前記画像取得手段が取得した各フレーム間の画像データの演算に基づき残像係数を算出する残像係数算出手段と、
前記残像係数に基づき前記第1波長及び第2波長における残像を除去した反射強度又は透過強度を算出する強度算出手段と、
前記第1波長及び前記第2波長の前記反射強度又は透過強度に基づき背景から前記抽出対象を抽出する抽出指標を算出する指標算出手段とを有し、
前記画像取得手段は、時間間隔Δtで照射強度を変化させ当該変化のタイミングt−1、t、t+1、t+2における各前記画像データを取得し、
前記残像係数算出手段は、
注目画素iの残像係数をk(i)、予め設定される定数をη、前記注目画素iの前記タイミングt−1における前フレームからの残像を含む、前記画像取得手段が取得する受光強度又は透過強度をx t−1 (i)、前記注目画素iの前記タイミングtにおける前フレームからの残像を含む、前記画像取得手段が取得する受光強度又は透過強度をx t (i)、前記注目画素iの前記タイミングt+1における前フレームからの残像を含む、前記画像取得手段が取得する受光強度又は透過強度をx t+1 (i)、前記注目画素iの前記タイミングt+2における前フレームからの残像を含む、前記画像取得手段が取得する受光強度又は透過強度をx t+2 (i)としたとき、k(i)={ηx t (i)−x t+2 (i)}/{ηx t−1 (i)−x t+1 (i)}として残像係数を求める
領域抽出装置。 - 前記強度算出手段は、予め設定される定数をξとしたとき、
前記第1波長における反射強度又は透過強度を
I λ1 ={x t+1 (i)−k(i)x t (i)}/ξ
=[x t+1 (i)−{ηx t (i)−x t+2 (i)}/{ηx t−1 (i)−x t+1 (i)}x t (i)]/ξとして、
前記第2波長における反射強度又は透過強度を
I λ2 ={x t+2 (i)−k(i)x t+1 (i)}/η
=[x t+2 (i)−{ηx t (i)−x t+2 (i)}/{ηx t−1 (i)−x t+1 (i)}x t+1 (i)]/ηとして前記反射強度又は透過強度を算出する
ことを特徴とする請求項1記載の領域抽出装置。 - 前記指標算出手段は、前記第1波長及び第2波長の前記反射強度又は透過強度に基づき反射率又は透過率を算出し、当該反射率又は透過率に基づき前記抽出指標を算出する
ことを特徴とする請求項1又は2記載の領域抽出装置。 - 前記指標算出手段は、前記第1波長及び第2波長の前記反射率又は透過率の差分を正規化して前記抽出指標を算出する
ことを特徴とする請求項3記載の領域抽出装置。 - 入力された画像の中から抽出対象に対応する対象領域を抽出する領域抽出装置であって、
第1波長及びこの第1波長とは波長が異なる第2波長の電磁波を対象物に照射して得られる反射波又は透過波について3フレーム以上の画像データを取得する画像取得手段と、
前記画像取得手段が取得した各フレーム間の画像データの演算に基づき残像係数を算出する残像係数算出手段と、
前記残像係数に基づき前記第1波長及び第2波長における残像を除去した反射強度又は透過強度を算出する強度算出手段と、
前記第1波長及び前記第2波長の前記反射強度又は透過強度に基づき背景から前記抽出対象を抽出する抽出指標を算出する指標算出手段とを有し、
前記画像取得手段は、それぞれ前記第1波長及び前記第2波長の電磁波の照射である2種類の入力値I λ1 及びI λ2 を時間間隔ΔtでI λ1 −休止−I λ2 −休止−I λ1 の順に与え、各入力・休止の中間時刻Δt/2におけるタイミングt1、t2、t3、t4、t5の各前記画像データを取得し、
前記残像係数算出手段は、前記タイミングt1〜t5それぞれにおける画素値をx(t 1 )〜x(t 5 )としたとき、
式x(t 4 )θ 3 −x(t 1 )θ 2 −x(t 5 )θ+x(t 2 )=0
及びx(t 2 )θ 3 −x(t 3 )θ 2 −x(t 3 )θ+x(t 4 )=0
で示される3次方程式の解のうち、条件式0<θ<1を満たすものとして、
残像係数θ=k(Δt/2)を算出する
領域抽出装置。 - 前記強度算出手段は、
前記第1波長における反射強度又は透過強度を
前記第2波長における反射強度又は透過強度を
ことを特徴とする請求項5記載の領域抽出装置。 - 前記第1波長及び第2波長の光を照射する照射手段と、
前記照射手段の輝度を変調する輝度変調手段とを更に有する
ことを特徴とする請求項1乃至6のいずれか1項記載の領域抽出装置。 - 前記強度算出手段は、前記輝度変調手段により輝度が変調された前記第1波長及び第2波長の反射光又は透過光の画像データに基づき前記反射強度又は透過強度を算出する
ことを特徴とする請求項7項記載の領域抽出装置。 - 第1波長における反射率又は透過率をR1、第2波長における反射率又は透過率をR2としたとき、前記指標算出手段は、抽出指標=(R1−R2)/(R1+R2)を求める
ことを特徴とする請求項1乃至8のいずれか1項記載の物体抽出装置。 - 前記抽出指標を閾値処理により二値化した画像を出力する出力手段を更に有する
ことを特徴とする請求項1乃至9のいずれか1項記載の領域抽出装置。 - 前記抽出対象は、人間の肌である
ことを特徴とする請求項1乃至10のいずれか1項記載の領域抽出装置。 - 前記電磁波は、レーザ光又は発光ダイオード光である
ことを特徴とする請求項1乃至11のいずれか1項記載の領域抽出装置。 - 入力された画像の中から抽出対象に対応する対象領域を抽出する領域抽出方法であって、
第1波長及びこの第1波長とは波長が異なる第2波長の電磁波を対象物に照射して得られる反射波又は透過波について3フレーム以上の画像データを取得する画像取得工程と、
前記画像取得工程にて取得した各フレーム間の画像データの演算に基づき残像係数を算出する残像係数算出工程と、
前記残像係数に基づき前記第1波長及び第2波長における残像を除去した反射強度又は透過強度を算出する強度算出工程と、
前記第1波長及び前記第2波長の前記反射強度又は透過強度に基づき背景から前記抽出対象を抽出する抽出指標を算出する指標算出工程とを有し、
前記画像取得工程では、時間間隔Δtで照射強度を変化させ当該変化のタイミングt−1、t、t+1、t+2における各前記画像データを取得し、
前記残像係数算出工程では、注目画素iの残像係数をk(i)、予め設定される定数をη、前記注目画素iの前記タイミングt−1における前フレームからの残像を含む、前記画像取得工程で取得する受光強度又は透過強度をx t−1 (i)、前記注目画素iの前記タイミングtにおける前フレームからの残像を含む、前記画像取得工程で取得する受光強度又は透過強度をx t (i)、前記注目画素iの前記タイミングt+1における前フレームからの残像を含む、前記画像取得工程で取得する受光強度又は透過強度をx t+1 (i)、前記注目画素iの前記タイミングt+2における前フレームからの残像を含む、前記画像取得工程で取得する受光強度又は透過強度をx t+2 (i)としたとき、
k(i)={ηx t (i)−x t+2 (i)}/{ηx t−1 (i)−x t+1 (i)}として残像係数を求める
領域抽出方法。 - 前記強度算出工程では、予め設定される定数をξとしたとき、
前記第1波長における反射強度又は透過強度を
I λ1 ={x t+1 (i)−k(i)x t (i)}/ξ
=[x t+1 (i)−{ηx t (i)−x t+2 (i)}/{ηx t−1 (i)−x t+1 (i)}x t (i)]/ξとして、
前記第2波長における反射強度又は透過強度を
I λ2 ={x t+2 (i)−k(i)x t+1 (i)}/η
=[x t+2 (i)−{ηx t (i)−x t+2 (i)}/{ηx t−1 (i)−x t+1 (i)}x t+1 (i)]/ηとして前記反射強度又は透過強度を算出する
ことを特徴とする請求項13記載の領域抽出方法。 - 前記指標算出工程では、前記第1波長及び第2波長の前記反射強度又は透過強度に基づき反射率又は透過率を算出し、当該反射率に基づき前記抽出指標を算出する
ことを特徴とする請求項13又は14記載の領域抽出方法。 - 前記指標算出工程では、前記第1波長及び第2波長の前記反射率又は透過率の差分を正規化して前記抽出指標を算出する
ことを特徴とする請求項15記載の領域抽出方法。 - 入力された画像の中から抽出対象に対応する対象領域を抽出する領域抽出方法であって、
第1波長及びこの第1波長とは波長が異なる第2波長の電磁波を対象物に照射して得られる反射波又は透過波について3フレーム以上の画像データを取得する画像取得工程と、
前記画像取得工程にて取得した各フレーム間の画像データの演算に基づき残像係数を算出する残像係数算出工程と、
前記残像係数に基づき前記第1波長及び第2波長における残像を除去した反射強度又は透過強度を算出する強度算出工程と、
前記第1波長及び前記第2波長の前記反射強度又は透過強度に基づき背景から前記抽出対象を抽出する抽出指標を算出する指標算出工程とを有し、
前記画像取得工程では、前記タイミングt1〜t5それぞれにおける画素値をx(t 1 )〜x(t 5 )としたとき、
式x(t 4 )θ 3 −x(t 1 )θ 2 −x(t 5 )θ+x(t 2 )=0
及びx(t 2 )θ 3 −x(t 3 )θ 2 −x(t 3 )θ+x(t 4 )=0
で示される3次方程式の解のうち、条件式0<θ<1を満たすものとして、
残像係数θ=k(Δt/2)を算出し、
前記強度算出工程では、
前記第1波長における反射強度又は透過強度を
前記第2波長における反射強度又は透過強度を
領域抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007120072A JP5026854B2 (ja) | 2007-04-27 | 2007-04-27 | 領域抽出装置及び領域抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007120072A JP5026854B2 (ja) | 2007-04-27 | 2007-04-27 | 領域抽出装置及び領域抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008275477A JP2008275477A (ja) | 2008-11-13 |
JP5026854B2 true JP5026854B2 (ja) | 2012-09-19 |
Family
ID=40053597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007120072A Expired - Fee Related JP5026854B2 (ja) | 2007-04-27 | 2007-04-27 | 領域抽出装置及び領域抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5026854B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5273667B2 (ja) * | 2009-03-19 | 2013-08-28 | 国立大学法人東京工業大学 | 対象識別装置 |
JP4904377B2 (ja) * | 2009-04-28 | 2012-03-28 | 住友電気工業株式会社 | ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法 |
JP5060580B2 (ja) * | 2010-04-09 | 2012-10-31 | トヨタ自動車株式会社 | スペクトル測定装置 |
JP5519381B2 (ja) | 2010-04-09 | 2014-06-11 | トヨタ自動車株式会社 | スペクトル測定装置 |
JP5605565B2 (ja) * | 2010-11-16 | 2014-10-15 | 住友電気工業株式会社 | 対象識別装置及び対象識別方法 |
US8520074B2 (en) * | 2010-12-14 | 2013-08-27 | Xerox Corporation | Determining a total number of people in an IR image obtained via an IR imaging system |
JP5845858B2 (ja) * | 2011-11-30 | 2016-01-20 | 住友電気工業株式会社 | 対象検出装置および対象検出方法 |
JP5862244B2 (ja) * | 2011-11-30 | 2016-02-16 | 住友電気工業株式会社 | 対象検出装置および対象検出方法 |
JP5845071B2 (ja) * | 2011-12-05 | 2016-01-20 | 国立大学法人東京工業大学 | 対象物検出装置 |
US9829380B2 (en) | 2013-07-17 | 2017-11-28 | Panasonic Intellectual Property Management Co., Ltd. | Spectroscopic apparatus |
JP5632060B1 (ja) * | 2013-10-07 | 2014-11-26 | 佐鳥 新 | ハイパースペクトルカメラおよびハイパースペクトルカメラ用プログラム |
US10242278B2 (en) * | 2014-12-01 | 2019-03-26 | Koninklijke Philips N.V. | Device and method for skin detection |
JP7192279B2 (ja) * | 2018-07-13 | 2022-12-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04207866A (ja) * | 1990-11-30 | 1992-07-29 | Toshiba Corp | 画像処理装置 |
JP4325544B2 (ja) * | 2004-11-25 | 2009-09-02 | パナソニック電工株式会社 | 人体検知装置 |
JP4442472B2 (ja) * | 2005-03-07 | 2010-03-31 | 株式会社豊田中央研究所 | 対象物の部位判別装置 |
-
2007
- 2007-04-27 JP JP2007120072A patent/JP5026854B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008275477A (ja) | 2008-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5026854B2 (ja) | 領域抽出装置及び領域抽出方法 | |
Zeng et al. | The impacts of environmental variables on water reflectance measured using a lightweight unmanned aerial vehicle (UAV)-based spectrometer system | |
Kazantzidis et al. | Cloud detection and classification with the use of whole-sky ground-based images | |
Mishra et al. | Characterizing the vertical diffuse attenuation coefficient for downwelling irradiance in coastal waters: Implications for water penetration by high resolution satellite data | |
JP4712041B2 (ja) | 画像処理方法及び手段 | |
US20180067209A1 (en) | Method and apparatus for processing spectral images | |
Tedesco et al. | In-situ multispectral and bathymetric measurements over a supraglacial lake in western Greenland using a remotely controlled watercraft | |
Eren et al. | Bottom characterization by using airborne lidar bathymetry (ALB) waveform features obtained from bottom return residual analysis | |
Bazeille et al. | Color-based underwater object recognition using water light attenuation | |
Bongiorno et al. | Coregistered hyperspectral and stereo image seafloor mapping from an autonomous underwater vehicle | |
JP2007232652A (ja) | 路面状態判定装置および路面状態判定方法 | |
Volent et al. | Kelp forest mapping by use of airborne hyperspectral imager | |
Hedley et al. | Remote sensing of seagrass leaf area index and species: the capability of a model inversion method assessed by sensitivity analysis and hyperspectral data of Florida Bay | |
Hochberg | Remote sensing of coral reef processes | |
Graber et al. | Land-based infrared imagery for marine mammal detection | |
US20140212061A1 (en) | System and method for atmospheric parameter enhancement | |
CN108267427B (zh) | 海底底质光谱测量方法和设备以及终端 | |
KR101687712B1 (ko) | 분광장비를 이용하는 영상처리장치 및 그의 제어방법 | |
Carretas et al. | Atmospheric visibility and Angström exponent measurements through digital photography | |
Rotta et al. | Analyzing the feasibility of a space-borne sensor (SPOT-6) to estimate the height of submerged aquatic vegetation (SAV) in inland waters | |
Åhlén | Colour correction of underwater images using spectral data | |
Husain et al. | VRHAZE: The simulation of synthetic haze based on visibility range for dehazing method in single image | |
US20220392188A1 (en) | Systems and methods for estimating visibility in a scene | |
Melsheimer et al. | Extracting bathymetry from multi-temporal SPOT images | |
Berthon et al. | Marine optical measurements of a mucilage event in the northern Adriatic Sea |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20070528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |