JP5051540B2 - 飛行経路計測システム - Google Patents

飛行経路計測システム Download PDF

Info

Publication number
JP5051540B2
JP5051540B2 JP2008032473A JP2008032473A JP5051540B2 JP 5051540 B2 JP5051540 B2 JP 5051540B2 JP 2008032473 A JP2008032473 A JP 2008032473A JP 2008032473 A JP2008032473 A JP 2008032473A JP 5051540 B2 JP5051540 B2 JP 5051540B2
Authority
JP
Japan
Prior art keywords
image
flight path
bird
time
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008032473A
Other languages
English (en)
Other versions
JP2009193274A (ja
Inventor
治嗣 森
英昭 手塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Electric Power Co Holdings Inc
Original Assignee
Tokyo Electric Power Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Electric Power Co Inc filed Critical Tokyo Electric Power Co Inc
Priority to JP2008032473A priority Critical patent/JP5051540B2/ja
Publication of JP2009193274A publication Critical patent/JP2009193274A/ja
Application granted granted Critical
Publication of JP5051540B2 publication Critical patent/JP5051540B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description


本発明は,鳥類の飛行経路を計測する飛行経路計測システムに関する。

従来,鳥類などの遠方の飛行物体が飛行する経路を計測する場合には,専門の調査員が双眼鏡を使用するなどして計測を行っている。例えば,発電所の周囲環境への影響評価を行うときの鳥類の調査方法が非特許文献1に記載されている。ポイントセンサス法による調査であり,見通しのきく場所に定点を設定し,出現する種類等を直接観察により記録する。視野の範囲内の識別が可能な距離までを対象とし,一定時間観察を行うものである。この場合,鳥類の日々の飛行経路を計測する必要が生じることがある。このような場合,専門の調査員が計測対象エリアの所定の地点に観測小屋を建て,一定期間,飛行経路の計測を行う。

また,移動物体の三次元軌跡を計測する技術として,球技スポーツにおけるボールのように高速で移動する物体の移動軌跡を求める技術が特許文献1に記載されている。これは,2以上のカメラで撮像した画像から三次元の軌跡を求めるものである。

発電所に係る環境影響評価の手引き(平成19年1月改訂 経済産業省 原子力安全・保安院) 特開2007−115236号公報

従来の鳥類の飛行経路計測方法では,天候や計測対象の鳥の挙動によっては,計測の労力が大きくなるという問題がある。また,計測期間が長期にわたると,人件費が高くなるという問題がある。

また,特許文献1の技術は,例えば,背景差分法を用いており,この場合は,背景が時間的に変化するときに軌跡を求めることが難しい。

一方,近年,ある時間間隔で画像中の各トレーサ粒子の移動を自動的に追跡する粒子追跡法が,主に流れ場を計測する方法の一つとして用いられている。

本発明は,主に流れ場を計測する方法として用いられている粒子追跡法を,遠方を飛行する鳥類の追跡に適用し,背景が静止していない屋外における鳥類の飛行経路を計測することを可能とし,計測にかかる労力や人件費を抑制可能とする飛行経路計測システムを提供することを目的とする。

請求項1記載の発明では,遠方を飛行する鳥類の飛行経路を計測する飛行経路計測システムであって,短焦点光学系を備え、あらかじめ定めた目的とする広い計測領域を撮影する複数台の撮像手段と,前記複数台の撮像手段のうち、鳥類を撮影した撮像手段により撮影された画像の画像データを時系列的に記録する記録手段と,前記記録された画像から鳥類の軌跡を導出する処理手段と,得られた鳥類の軌跡を飛行経路として表示する表示手段を備え,前記処理手段は,特定の画像データを取り込み,取り込んだ画像データのうち計測の対象とする鳥類の像の指定を受け付け,前記像を参照パターンとして粒子追跡法を用い,以後の時刻の画像から像を追跡して鳥類の軌跡を導出することを特徴とする飛行経路計測システムを提供する。

請求項2記載の発明では,前記処理手段は,撮影エリアの地図情報を参照し,前記表示手段において,前記飛行経路の地図上への表示を可能とする処理を行うことを特徴とする請求項1に記載の飛行経路計測システムを提供する。

前記処理手段では,粒子追跡法(PTV:Particle Tracking Velocimetry)と呼ばれる技術を適用する。すなわち,遠方を飛行する鳥類を粒子とみなし,その移動を自動的に追跡する。

本発明の飛行経路計測システムによれば,遠方を飛行する鳥類複数台の撮像手段によって撮影され,その撮像データは処理手段においてPTVを適用して処理されることにより,鳥類の飛行経路が計測される。従って,天候や鳥の挙動の影響を受けることなく鳥類の飛行経路を計測し,計測にかかる労力や人件費を抑制することができる。

また,PTVの適用により,背景が静止していない屋外において飛行する鳥類の軌跡を求めることが可能となる。

以下に添付図面を参照しながら,本発明の好適な実施形態について説明する。

図1には,本発明の第一の実施形態にかかる飛行経路計測システムの全体構成図を示す。

本発明にかかる飛行経路計測システムは,撮像手段10,記録手段20,処理手段30,及び表示手段40から構成される。

撮像手段10は記録手段20に接続される。撮像手段10は,あらかじめ定めた計測領域を撮影し,撮影により得られた画像データを記録手段20に伝送する役割を担う。撮像手段10と記録手段20の間の伝送は有線でも無線でも良い。同一の鳥類を2以上の撮像手段10で計測することにより,後述する通り,鳥類の三次元計測が可能である。

より広いエリアを撮影する為には,撮像手段10の数を増やせば良いが,短焦点光学系を備えた撮像手段10を用いれば,広角撮影が可能であり,より少ない撮像手段10の数で目的とする広いエリアを撮像できる。短焦点光学系としては,焦点距離が16mm以下のレンズを用いると良い。

撮像手段10には,例えばCCD(Charge Coupled Device)撮像素子を備えたカメラ(CCDカメラ)が用いられる。CMOS(Complementary Metal Oxide Semiconductor)撮像素子を備えたカメラを用いても良い。CCDカメラは例えば,毎秒30コマの頻度で調査エリアを撮影する。

記録手段20は,撮像手段10から伝送された画像データを時系列的に記録する役割を担う。記録手段20は装置として独立していても良いし,撮像手段10や後述する処理手段30に,その一部として内蔵されていても良い。記録手段20には,処理手段30にて処理すべき画像データを記録可能な容量の,例えばメモ素子を用いる。

記録手段20は,処理手段30に接続される。処理手段30は,記録手段20に記録された画像データを取り込む。取り込んだ画像データに対してPTVを適用する。

具体的には,ある画像データにおいて,計測の対象とする鳥類の像を,例えば計測者が指定する。指定は,例えば,表示手段40に現れた十字カーソルにより選択することにより行う。選択された鳥類の像の情報は,例えば,画素が有する色情報を利用することにより,画像データから抽出される。

処理手段30は指定指令を受け付け,指定された像を画像データから抽出し,参照パターンとして認識する。そして,以後の時系列の画像データから順次参照パターンと符合する像を自動追跡し,自動追跡により得られた像の位置を画像座標上に得る。

パターンの符合には,例えば,相互相関法が用いられる。自動追跡する鳥類が数体程度であれば,2時刻間の鳥類位置の最も近いもの同士を対応付ける方法でも追跡できる。相互相関法の代わりに,粒子マスク相関法,二値化相関法,三時刻パターンマッチング法なども適用可能である。

鳥類の三次元計測には,例えばステレオ法が用いられる。ステレオ法では,例えば2台のCCDカメラで撮影された画像中で同一時刻における同一の鳥類を同定できれば,三角測量の原理で鳥類の三次元位置の計測が可能である。

PTVの手法については,以下の非特許文献2に詳しい解説がある。

流れの可視化ハンドブック(浅沼強編,朝倉書店)

処理手段30は,撮影エリアの地図情報を有し,これを参照することにより,鳥類の飛行経路を地図上へ表示する可能とする処理も行う。

処理手段30は,表示手段40に接続される。表示手段40は,処理手段30にて得られた鳥類の像の位置を飛行経路として表示する役割を担う。表示手段40にて,飛行経路を地図上に表示することも可能である。

表示手段40には,例えば,液晶表示装置を用いる。

図2は,処理手段30におけるパターン符合方法の例の一つである相互相関法の説明図である。図2のうち,黒い丸は参照パターンとして抽出された計測対象の鳥類の像であり,斜線の丸は参照パターンが抽出された時刻から撮像間隔Δt経過後における鳥類の像である。参照パターンの位置情報を含む所定の数の画素群を画素群0とする。画素群0の一部を含むように,Δt経過後の画素群1,画素群2,・・・,画素群Nを選ぶ。図2の場合は,N=4である。画素群0を基準として,画素群1,画素群2,・・・,画素群Nとの相関を調べる。具体的には,画素群0に含まれる参照パターンと符合するパターンを含む画素群を探索する。図2の場合,画素群0との相関が最も大きいと判断されるのは,画素群3であるから,参照パターンが抽出された時刻からΔt経過後の鳥類の像は画素群3にあると判断される。参照パターンを含む画素群と,探索対象の画素群との時間間隔は,Δtの倍数であっても良い。

図3は,本計測システムを用いた計測処理の一例を示すフロー図である。1台の撮像手段10により,鳥類の二次元の飛行経路表示を得る例である。

まず,カウンタnに計測開始時刻に対応する値である1が代入される(ステップS301)。撮像手段10は,あらかじめ定めた計測領域を,カウンタnに対応する時刻tにて撮影する。撮影により取得された画像データは,記録手段20に伝送され,時系列で記録される(ステップS302)。時刻tが計測終了時を示すtend以上であれば,ステップS304に進み,tendより小さければ,ステップS305に進む。ステップS305では,カウンタnに1が加えられ,tには撮像間隔Δtが加えられて撮影が継続される(ステップS303)。

ステップS304で,カウンタnに,軌跡表示の開始時刻を示すtに対応するkが代入されると,時刻tで取得された画像が,表示手段40に呼び出される(ステップS306)。呼び出された画像上において,例えば,計測者が,表示手段40に現れた十字カーソル等により,追跡する鳥類を指定する。これを参照パターンとする(ステップS307)。

追跡する鳥類が指定されると,カウンタnに1が加えられ,tには撮像間隔Δtが加えられて(ステップS308),時刻tで取得された画像が呼び出される(ステップS309)。処理手段30は,時刻tの画像で,時刻tn−1で特定した像を参照パターンとして追跡し,時刻tの画像における鳥類の像を特定する(ステップS310)。処理手段30は,時刻tで特定された像の位置(x,y)と時刻tを対応づけて格納する(ステップS311)。

ステップS312において,ステップS303と同様,時刻tが,計測終了時を示すtendと比較され,tendより小さければ,像の追跡が継続される。時刻tがtend以上であれば,ステップS313に進み,カウンタnに,上記の軌跡表示の開始時刻tに対応するkが代入される。ここで,カウンタnに,kより大きい値であるmが代入され,時刻t以後の任意の時刻tを軌跡表示の開始点とすることも可能である。

ステップS314において,時刻tで取得された画像が呼び出される。続いて,カウンタnに1が加えられ,tには撮像間隔Δtが加えられる(ステップS315)。時刻tの画像上に,ステップS311で格納された時刻t,tk+1,・・・,tにおける像の位置が重ねて表示されることにより(ステップS316),計測対象の鳥類の軌跡が表示される。時刻tがtendより小さい場合は,鳥類の軌跡の表示が継続され,tend以上の場合は,フローは終了する(ステップS317)。

図4は,本計測システムを用いた計測処理の次の例を示すフロー図である。1台の撮像手段10により,鳥類の二次元の飛行経路表示を地図上に得る例である。

本処理フローにおけるステップS401からS411は,図3に示す処理フローにおけるステップS301からS311までと同じ為,説明を省略する。

ステップS412では,あらかじめ処理手段20に格納された地図情報が参照され,画像座標上に得られた時刻t鳥類の像の位置から,地図上における時刻tの像の位置(X,Y)が算出され,格納される。

時刻tが,時刻終了時を示すtendと比較され,tendより小さければ,像の追跡及び追跡された像の地図上の位置の算出が継続され,tend以上であれば,ステップS414に進む(ステップS413)。

ステップS414では,カウンタnに,ステップS404で代入された,軌跡表示の開始時刻を示すtに対応するkが代入される。時刻tで取得された画像が呼び出され(ステップS415),軌跡を表示させたい鳥類の像を指定すると(ステップS416),表示手段40に表示された地図上に,ステップS412で格納された時刻tの像の位置が表示される(ステップS417)。

続いて,カウンタnに1が加えられ,tには撮像間隔Δtが加えられて(ステップS418),地図上に,時刻t鳥類の像の位置が重ねて表示される(ステップS419)。時刻tがtendと比較され,tendより小さい場合は,鳥類の軌跡の地図上への表示が継続され,tend以上の場合は,フローは終了する(ステップS420)。

図5は,本計測システムを用いた計測処理の次の例を示すフロー図である。1台の撮像手段10により,鳥類の二次元の飛行経路表示を得る他の例である。

本処理フローにおけるステップS501からS510は,図3に示す処理フローにおけるステップS301からS310までと同じ為,説明を省略する。

ステップS511では,時刻tの画像上に,ステップS510で特定された時刻t,tk+1,・・・,t鳥類の像の位置が重ねて表示されることにより,計測対象の鳥類の軌跡が表示される。なお,ステップS510で特定された時刻tの像の位置を格納しても良い。

時刻tが,時刻終了時を示すtendと比較され,tendより小さければ,鳥類の軌跡の表示が継続され,tend以上であれば,フローは終了する(ステップS512)。

図6及び図7は,本計測システムを用いた計測処理の次の例を示すフロー図である。複数の撮像手段10により,鳥類の三次元の飛行経路表示を得る例である。

本フロー図では,撮像手段10の数が2の場合を示す。撮像手段10の数がNの場合も,N台のうち,同一の鳥類を撮影した2台を選び本フローを適用することにより,鳥類の三次元の飛行経路表示が可能である。

まず,カウンタi,iに,それぞれ撮像手段10を示す番号である1,2が代入される(ステップS6011,S6012)。

次に,ステップS6501,S6502に進み,それぞれの撮像手段10により,あらかじめ定めた計測領域の撮影と画像データの記録が行われる。ここで,ステップS6301では,番号1の撮像手段10(カメラ)で撮影される。ステップS6302では,番号2の撮像手段10(カメラ)で撮影される。ステップS6501,S6502は,図3に示す処理フローにおけるステップS301からS305まで(S304を除く)と同じ為,説明を省略する。

ステップS6051,S6052で,カウンタi,iに,撮像手段10の番号を示す1,2がそれぞれ代入される。

次に,ステップS6601,S6602に進む。ステップS6601では,番号1の撮像手段10により撮影,記録された画像データについて,処理が行われる。ステップS6602では,番号2の撮像手段10による画像データについてステップS6601と同様の処理が行われる。

ステップS6601では,カウンタnに,軌跡表示の開始時刻を示すtに対応するkが代入される(ステップS6071)。ステップS6081からS6141までは,図3に示す処理フローにおけるステップS306からS312までと同じ為,説明を省略する。ただし,ステップS6131では,撮像手段10の番号iも対応づけて記録される。

ステップS615に進み,ステップS6071と同様に,カウンタnに,軌跡表示の開始時刻tに対応するkが代入される。ステップS6131,S6132で記録された時刻tの2つの像の位置(t,x,y,i(=1)),(t,x,y,i(=2))から,例えば,ステレオ法により像の三次元位置を取得し,時刻tの情報を対応づけて(t,x,y,z)として格納する(ステップS616)。あらかじめ格納された地図情報が参照され,地図上における時刻t鳥類の像の三次元位置(X,Y,Z)が算出され,(t,X,Y,Z)として格納される(ステップS617)。

時刻tがtendと比較され,tend以上であればステップS619に進み,tendより小さければ,ステップS620に進む(ステップS618)。ステップS620では,カウンタnに1が加えられ,tには撮像間隔Δtが加えられて,地図上における像の三次元位置の算出及び格納が継続される。

ステップS619からS626(S620を除く)は,処理する像の位置情報が,図4に示す処理フローにおけるステップS414からS420が処理する二次元のものから,三次元のものに替わっただけであり,実質的には同じ為,説明を省略する。以上の処理により,鳥類の軌跡の地図上への三次元表示が可能となる。

本処理フローは,図4の処理フローで得られる鳥類の二次元の飛行経路表示を三次元で得る為のフローであるが,同様に,図3及び図5に示す処理フローで得られる二次元の飛行経路表示を三次元で得ることも可能である。

また,鳥類の像に関する情報として,位置と時刻が得られていることから,これから速度を求め,求めた速度を表示手段40に表示することも可能である。

図8は,地図上への飛行経路の表示例を示す。等高線によって示された地形図に飛行経路が表された例である。図8のうち,細い実線は等高線,黒い四角は風力発電システム,太い実線は計測された鳥類の飛行経路を示す。図8は平面図による二次元表示の例であるが,立面図,三次元的な立体図による表示も可能である。

本発明の利用分野としては,遠方を飛行する鳥類の飛行経路の計測を必要としている分野がある。

本発明にかかる飛行経路計測システムの一実施例の全体構成図である。 処理手段における適用例の一つである相互相関法の説明図である。 本計測システムを用いた計測処理の一例を示すフロー図である。鳥類の二次元の飛行経路表示を得る例である。 本計測システムを用いた計測処理の一例を示すフロー図である。鳥類の二次元の飛行経路表示を地図上に得る例である。 本計測システムを用いた計測処理の一例を示すフロー図である。鳥類の二次元の飛行経路表示を得る他の例である。 本計測システムを用いた計測処理の一例を示すフロー図である。フローの前半を示す。鳥類の三次元の飛行経路表示を得る例である。 本計測システムを用いた計測処理の一例を示すフロー図である。フローの後半を示す。鳥類の三次元の飛行経路表示を得る例である。 表示手段に表示された飛行経路の一例である。

Claims (2)

  1. 遠方を飛行する鳥類の飛行経路を計測する飛行経路計測システムであって,
    短焦点光学系を備え、あらかじめ定めた目的とする広い計測領域を撮影する複数台の撮像手段と,
    前記複数台の撮像手段のうち、鳥類を撮影した撮像手段により撮影された画像の画像データを時系列的に記録する記録手段と,
    前記記録された画像から鳥類の軌跡を導出する処理手段と,
    得られた鳥類の軌跡を飛行経路として表示する表示手段を備え,
    前記処理手段は,
    特定の画像データを取り込み,取り込んだ画像データのうち計測の対象とする鳥類の像の指定を受け付け,前記像を参照パターンとして粒子追跡法を用い,以後の時刻の画像から像を追跡して鳥類の軌跡を導出することを特徴とする飛行経路計測システム。
  2. 前記処理手段は,撮影エリアの地図情報を参照し,前記表示手段において,前記飛行経路の地図上への表示を可能とする処理を行うことを特徴とする請求項1に記載の飛行経路計測システム。
JP2008032473A 2008-02-13 2008-02-13 飛行経路計測システム Expired - Fee Related JP5051540B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008032473A JP5051540B2 (ja) 2008-02-13 2008-02-13 飛行経路計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008032473A JP5051540B2 (ja) 2008-02-13 2008-02-13 飛行経路計測システム

Publications (2)

Publication Number Publication Date
JP2009193274A JP2009193274A (ja) 2009-08-27
JP5051540B2 true JP5051540B2 (ja) 2012-10-17

Family

ID=41075237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008032473A Expired - Fee Related JP5051540B2 (ja) 2008-02-13 2008-02-13 飛行経路計測システム

Country Status (1)

Country Link
JP (1) JP5051540B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101003696B (zh) * 2006-01-06 2012-11-07 通用电气公司 增强的氮化硼组合物和用其制造的组合物
US9079801B2 (en) 1999-08-31 2015-07-14 Momentive Performance Materials Inc. Boron nitride particles of spherical geometry and process of making

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107300379A (zh) * 2017-08-29 2017-10-27 中国电力科学研究院 一种航迹测量矩阵及航迹测量系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342762A (ja) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd 物体追跡方法
JP2005084805A (ja) * 2003-09-05 2005-03-31 Toshiba Corp 時空間領域情報処理方法、時空間領域情報処理システム及びプログラム
JP4251396B2 (ja) * 2003-12-25 2009-04-08 中電技術コンサルタント株式会社 鳥類観測装置及び鳥類観測方法
JP4758842B2 (ja) * 2006-01-26 2011-08-31 日本放送協会 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9079801B2 (en) 1999-08-31 2015-07-14 Momentive Performance Materials Inc. Boron nitride particles of spherical geometry and process of making
CN101003696B (zh) * 2006-01-06 2012-11-07 通用电气公司 增强的氮化硼组合物和用其制造的组合物

Also Published As

Publication number Publication date
JP2009193274A (ja) 2009-08-27

Similar Documents

Publication Publication Date Title
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
CN108111818B (zh) 基于多摄像机协同的运动目标主动感知方法和装置
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
RU2668404C2 (ru) Устройство для записи изображения в трехмерном масштабе, способ создания 3D-изображения и способ формирования устройства для записи изображения в трехмерном масштабе
US10165254B2 (en) Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN109544620B (zh) 图像处理方法和装置、计算机可读存储介质和电子设备
CN109919975B (zh) 一种基于坐标标定的广域监控运动目标关联方法
JP2009188697A (ja) 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム
CN111914635A (zh) 人体测温方法、装置、系统和电子设备
JP6304244B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP2014158258A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
WO2020020021A1 (zh) 测温处理方法、装置及热成像设备
CN102349291A (zh) 图像捕获设备及其控制方法
JP5051540B2 (ja) 飛行経路計測システム
JP2008194095A (ja) 走行距離映像生成装置及び走行距離映像生成プログラム
JP6409769B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP2007134845A (ja) カメラ制御装置およびカメラ制御プログラム
JPH11339139A (ja) 監視装置
US20220030157A1 (en) Method for focusing a camera
Neves et al. A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology
CN110785792A (zh) 3d建模方法、电子设备、存储介质及程序产品
Szalóki et al. Marker localization with a multi-camera system
CN111161357B (zh) 信息处理方法及装置、增强现实设备和可读存储介质
JP7274298B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP2511082B2 (ja) 移動物体の三次元位置測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees