JP4521885B2 - 疑似近赤外画像の作成方法 - Google Patents

疑似近赤外画像の作成方法 Download PDF

Info

Publication number
JP4521885B2
JP4521885B2 JP2007094119A JP2007094119A JP4521885B2 JP 4521885 B2 JP4521885 B2 JP 4521885B2 JP 2007094119 A JP2007094119 A JP 2007094119A JP 2007094119 A JP2007094119 A JP 2007094119A JP 4521885 B2 JP4521885 B2 JP 4521885B2
Authority
JP
Japan
Prior art keywords
image
reflection
laser
infrared
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007094119A
Other languages
English (en)
Other versions
JP2008250185A (ja
Inventor
小林伸行
太田克美
Original Assignee
株式会社 はまなすインフォメーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 はまなすインフォメーション filed Critical 株式会社 はまなすインフォメーション
Priority to JP2007094119A priority Critical patent/JP4521885B2/ja
Publication of JP2008250185A publication Critical patent/JP2008250185A/ja
Application granted granted Critical
Publication of JP4521885B2 publication Critical patent/JP4521885B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、農業、環境、防災分野全般における画像解析の基礎データとなる疑似近赤外画像の作成方法に関する。
土壌水分量の計測は、作物生育環境情報を整備することに留まらず、表層土壌を通過し、地下水に至る汚染物質量推定にも土壌水分動態を把握する上で必要な情報となっている。
しかし、従来の計測法では1点もしくは数点のデータを圃場の代表値として取り扱っており、フィールドを「面」として捉えたデータの取得にはなり得ていない。また既往の研究でも、試料サンプル地点の代表点としての適否の議論がある。
すなわち、空間的に不均一な分布を示す環境において、少ないデータから圃場全体の土壌水分量を把握することには精度上の問題がある。
この様な問題を解決するための広範な地形・地物のデータを短時間に取得するための手法として、地理情報を航空三角測量により測量すること(非特許文献1)、航空レーザにより測量すること(非特許文献2)は従来から行われている。
また特許文献1には、災害発生前の三次元計測画像データを取得し、災害発生後の三次元計測画像データとの差分情報から推定土量を算出する災害復旧支援システムであり、前記三次元計測画像データがオルソ画像データ又は航空レーザ測量データ、デジタルカメラ画像に基づく三次元計測画像データや三次元レーザスキャナデータである災害復旧支援システムが示されている。
この様に各種従来技術にも示された航空レーザーに於ける白黒の濃淡を分析した画像はレーザーの反射強度を示す特徴があり、その反射強度を分析することによって土壌の水分量を把握することができ、反射強度画像で土壌水分等の解析が出来る画像を取得することができる。
しかし、反射強度画像を用いる分析は白黒の画像を用いた分析であり、研究者にとっては違和感があり、解りにくいものであった。すなわち従来からデジタルカメラ画像や航空レーザーの反射強度画像のみならず、近赤外画像がリモートセンシング分野で利活用されており、土壌水分等の解析においても一般的には研究者は近赤外画像で視覚的に表示されたデータを解析対象としてきた。
この近赤外線は、およそ0.7〜2.5マイクロメートルの可視光(赤)に近い電磁波であって、可視光線に近い性質を持つため、視認できないものの可視光線に似た性質の光として利用され、また波長が長いため散乱しにくい性質があり、この近赤外線に感光する赤外線フィルムやカメラなどの映像装置を用いて近赤外画像が取得される。
この近赤外画像を利用することにより、土壌の水分量の把握、植物の活力度、お米等の生育状況の把握を視覚的に行うことが可能であり、お米の生育状況の把握では商業衛星のイコノス等で実用段階に来てはいる。
しかし、この様に人工衛星データを利用する場合は低コストである反面、解像度が低いこと、雲がかかっているデータも多いことから、詳細な解析に用いることには難点があった。
一方、航空機による計測を行い近赤外画像を取得する場合には解像度は高いものの、航空写真画像の取得に際しては可視光を用いる通常のカラー画像、若しくは近赤外画像どちらか一方の取得しか出来ず、したがって撮影に際しては、カラー画像、若しくは近赤外画像の切り替えスイッチを切り替える方法で撮影する必要がある。
したがって、カラー画像と近赤外画像の両方が必要な場合は撮影を反復しなくてはならないことから、近赤外画像の航空機による取得には経費が嵩むという問題がある。そのため、現在、一級・二級河川において通常の航空写真の撮影とレーザー画像の計測が広範囲に行われているが近赤外画像は撮影されていない。
解析写真測量(日本写真測量学会) 航空レーザ測量ハンドブック(日本測量調査技術協会) 特開2006−276306
本発明は以上の従来技術における問題に鑑み、航空機による計測を行い解像度が高く安価で利用しやすい、疑似近赤外画像の作成方法を提供することを目的とする。
以上の課題を達成するために本発明者は鋭意検討し、反射強度のデータは通常のRGBの情報に鑑みると反射強度の情報がRGBのBの波長帯に相当し、通常のRGB情報に反射強度の波長帯情報をBの波長帯と組みかえることにより疑似近赤外データが作成できることを見いだし、本発明に想到した。
すなわち本発明の土壌水分状態の把握及び土壌有機物の把握及び植生分類及び作物収量予測及び土地被覆分類及び林況活性度調査及び河川水質状態の把握のうちの少なくとも一以上のための疑似近赤外画像の作成方法は以下の工程からなることを特徴とする。
(i)航空機に搭載した航空カメラとレーザスキャナを用いて、航空カメラによる特定地域範囲の撮影とレーザスキャナによる同一の特定地域範囲へのパルス照射を同時に行う工程
(ii)照射したパルスが反射ポイントから反射して戻るまでに要する時間を計測する工程
(iii)計測された時間によって航空機と反射ポイント間の距離を計算する工程
(iv)航空機と反射ポイント間の距離に基づきGPS/IMUシステムと連動させて反射ポイントの三次元情報である航空レーザ計測反射値データを生成する工程
(v)前記(i)工程で撮影した特定地域範囲のデジタルカラー画像をRED(R)、GREEN(G)、BLUE(B)の各画像へ分解する工程
(vi)前記(iv)工程で生成した特定地域範囲の航空レーザ計測反射値データを画像化して航空レーザ反射強度分布画像とする工程
(vii)前記(v)工程で生成したデジタルカラー画像のBLUE(B)画像を前記(vi)工程で生成した航空レーザ反射強度分布画像に組みかえて、前記デジタルカラー画像のRED(R)画像と、GREEN(G)画像と前記航空レーザ反射強度分布画像を用いて疑似近赤外画像を構成する疑似近赤外画像の作成工程
前記(iv)疑似近赤外画像の作成工程で、デジタルカラー画像のRED(R)画像の 輝度値情報におけるピクセル数とデジタルカラー画像のGREEN(G)画像の輝度値情 報におけるピクセル数と航空レーザ反射強度分布画像におけるピクセル数とを同一ピクセ ル数に調整するのが望ましい。
前記(iv)疑似近赤外画像の作成工程で、デジタルカラー画像のRED(R)画像の 輝度値と、デジタルカラー画像のGREEN(G)画像の輝度値と反射強度画像の輝度値 とを同一に調整するのが望ましい。
[作用]
航空機搭載型のレーザ測器はレーザ波長域が赤外波長域であるとともに計測高度が一定を保っているために減衰率に大きな差が生まれず、比較的均一な反射値を得ることができる。
この反射強度画像は通常のカラー写真におけるRGBのBの波長帯の画像であり通常のカラー写真におけるR・Gと反射強度の組み合わせで疑似近赤外画像を作ることができる。
この通常のカラー写真を作成する際には画像の色調整を行う必要がある。また画像の組み換えは画像解析ソフトを使用して行う。また反射強度の画像作成は画像解析ソフトを使用して行うことができる。
本発明の疑似近赤外画像の作成方法によって通常の航空写真の撮影とレーザー画像から疑似近赤外画像を取得することができ、これらのデータの活用が広がる。
また、通常の航空撮影によるカラー写真を近赤外写真に変えて表現することによって、レーザーデータの活用に留まらず通常のカラー写真と近赤外写真の2つの画像取得を低コストで行うことができる。
すなわち既存データを活用できるために低コストでの画像作成及び作成された画像の一般への提供も可能となる。
本発明の疑似近赤外画像の作成方法によれば航空計測により取得されるカラー画像の解像度に合わせて疑似近赤外画像を作成することができ、人工衛星データに比べ高解像で雲の無いデータを作成できる。
さらに本発明の疑似近赤外画像の作成方法は土壌水分の計測を行うということのみならず、(i)同時取得された航空写真からの図化が可能であり、(ii)レーザデータを用いることにより詳細地形の把握が可能であり、(iii)取得された航空写真、レーザデータはデジタルであるため、GIS・CADデータとしての移行が容易である。
以下、本発明を実施するための最良の形態について具体的に説明する。
図1に通常のカラー画像及び近赤外カラー画像の波長帯を示す。また図2に1.069μm付近の近赤外波長帯が用いられる航空レーザの波長帯とカメラで利用されるカラー画像の波長帯とを示す。
図1、図2に示される様に、1.069μm付近の近赤外波長帯が用いられる航空レーザの波長帯とカメラで利用されるカラー画像の波長帯とは同類の波長帯であり、波長帯が重複する。
ところで、画像の原理は「太陽光が対象物に照射され、対象物から反射してきた光強度の情報が統合されたもの」である。また、カラー画像ではR、G、Bの波長帯の光の反射を感知するセンサーを用い、近赤外カラー画像ではR、G、NIRの波長帯の光の反射を感知するセンサーを用いる。すなわち、いずれも受動的なセンサーであると言える。
これに対し、航空レーザは自身から近赤外波長域の光を発射し、その反射を取るという能動的なセンサーである。また、図3に示すように航空レーザ波長帯とカメラで用いられている波長帯にはその反射特性に大きな相違は見られない。
このレーザ光には、
1) 広がらずにほぼ真っ直ぐに進む。
2) 波長、周波数が単一でその位相がそろっている。
などの特徴がある。また、レーザ光の反射特性は通常の太陽光による近赤外波長の反射特性と類似している。
このレーザ測器は、航空機に搭載したレーザスキャナから地表にパルスを照射し、対象物から反射して戻るまでに要する時間によって、航空機と反射ポイント間の距離を計算する。そしてGPS/IMUシステム(GlobalPositioningSystemと慣性計測装置)と連動させることにより、反射ポイントの三次元情報を取得し、地形データを作成することが可能となり、同時に航空カメラによる撮影も行うことができる。
通常、航空レーザにより取得される反射データはその特性から点データとなってしまう。この点データの反射強度を統合化して、通常の太陽光の反射と同様のデータを作成することにより、従来用いられている近赤外カラー画像用のセンサーで取得されるデータの代用とすることが可能となる。
よって、取得されるデータすなわち航空レーザの反射強度はカメラで感知される近赤外のデータと同様に扱うことが可能である。
また、レーザ測器の特徴として、湿潤状態の対象物や水域ではレーザ光線が散乱してしまい、反射が弱まり水分からの影響を受けやすい特性がある。
(1)航空レーザ計測反射値データに基づく土壌水分量の測定
例えば図4に示す態様で特定地域における航空レーザ計測を行い、その反射値データを取得することができる。
レーザ計測においては2.0〜3.0mに1点のデータが取得できるよう計測を行い、そのレーザ計測を行った特定地域の各地点の平均土壌水分と現地土壌水分計測地点近傍半径5mの平均航空レーザ計測反射値データとの相関をとり、図5に示す様に回帰式を作成する。
この回帰式より図6に示す様に、航空レーザデータの反射値マップを土壌水分マップに変換し、視覚化することができる。
従来の計測手法では、圃場内の数点の計測データで圃場全体の土壌水分の把握を行っていたため、圃場内の土壌水分の不均一性を評価することは困難であったが、土壌水分マップを見ると、圃場内の土壌水分の不均一性が再現される。
(2)疑似近赤外画像の作成
図7に示す様に航空カメラによりデジタルカラー画像を取得する。
この図7に示すデジタルカラー画像を図8に示す様にR,G,Bの輝度値情報に分解する。
次にデジタルカラー画像の取得と同時に取得した同一特定地域範囲における図9に示す航空レーザ計測反射値データに基づきデジタルカラー画像を用いて図10に示す反射強度画像を作成する。
次に、図11に示す様にRの輝度値情報とGの輝度値情報と反射強度画像とを同一のピクセル数に調整して統合して図12に示す疑似近赤外画像を作成する。
[実施例]
(i)計測地区及び解析方法
図4に示す態様で、北海道檜山支庁管内江差地区と厚沢部地区において、レーザ計測及び近赤外写真撮影を行った。北海道檜山支庁における集落毎の土壌断面色、暗渠排水、地下水位、作土の水分、耕盤・心土の堅さ、用排水路・畦畔状況についての既存の調査結果を現地の土壌水分計測結果として利用した。
檜山支庁管内土壌は低地土(褐色低地土、灰色低地土、グライ土)が最も多く46%を占め、各地の河川流域に分布しており、砂壌質や礫質のものが主体をなしている。火山性土(黒ボク土が主)は29%で、渡島大島や駒が岳などから噴出した未熟な火山灰からなるものが大部分であるが、一部にローム質のものもみられる。台地土(褐色森林土が主)は15%を占め、台地、丘陵地に分布しており、表層に火山灰が薄く堆積している。泥炭土は10%で、北桧山、厚沢部、江差などに小面積で分布し、低位泥炭土が大部分である。
レーザ計測においては約2.8mに1点のデータが取得できるよう計測を行った。また同時に近赤外写真も撮影し、レーザデータによる土壌水分解析の資料とした。近赤外写真の地上解像度は約25cmである。その航空レーザ計測及び近赤外写真撮影の計測諸元を表1に示す。
現地の土壌水分計測はTDR計測により、航空レーザ計測日に体積含水率の取得を行った。計測点は、江差地区33点、厚沢部地区28点である。
航空レーザ撮影では厚沢部地区において、土壌タイプ別に体積含水率と航空レーザ反射値との相関解析を行い、土壌水分マップを作成した。
現地で土壌水分計測を行った地区は褐色低地土が大部分を占める地区であったため、本解析では美札 富栄、当路、南館地区に解析の重点を置いた。これを表2に示す。
各地点の平均土壌水分と現地土壌水分計測地点近傍半径5mの平均航空レーザ計測反射値データの相関をとり、回帰式を作成した。この回帰式より航空レーザデータの反射値マップを土壌水分マップに変換をし、図6に示す様に視覚化した。
従来の計測手法では、圃場内の数点の計測データで圃場全体の土壌水分の把握を行っていたため、圃場内の土壌水分の不均一性を評価することは困難であったが、土壌水分マップを見ると、圃場内の土壌水分の不均一性が再現されている。
本発明の疑似近赤外画像の作成方法は、土壌水分状態の把握、土壌有機物の把握、植生分類、作物収量予測、土地被覆分類、林況活性度調査、河川水質状態の把握等に利用できるだけではなく、GPS/IMUを併用することにより、従来の航空写真測量で必要であった対空標識の設置、それに伴う外業が省力化でき、工期の短縮にもつながる。
航空レーザの波長帯とカメラで利用されるカラー画像の波長帯とを比較して示す説明図 航空レーザの波長帯とカメラで利用されるカラー画像の波長帯とを比較して示す他の説明図 航空レーザ波長帯とカメラで用いられている波長帯の反射特性を比較して示す説明図 特定地域における航空レーザ計測の態様を示す概念図 平均土壌水分と現地平均航空レーザ計測反射値データとの相関をとり、回帰式を作成する態様を示す説明図 航空レーザデータの反射値マップを土壌水分マップに変換し、視覚化して得られた図。 航空カメラにより取得されたデジタルカラー画像 図7に示すデジタルカラー画像をR、G、Bの色成分に分解する態様を示す説明図 航空レーザ計測反射値データの例を示す説明図 航空レーザデータ反射値を画像化して得られた画像 R、Gの輝度値情報と反射強度画像とを統合する態様を示す図 R、G、NIR値の統合によって得られた疑似近赤外画像

Claims (2)

  1. 以下の工程からなることを特徴とする土壌水分状態の把握及び土壌有機物の把握及び植生分類及び作物収量予測及び土地被覆分類及び林況活性度調査及び河川水質状態の把握のうちの少なくとも一以上のための疑似近赤外画像の作成方法。
    (i)航空機に搭載した航空カメラとレーザスキャナを用いて、航空カメラによる特定地域範囲の撮影とレーザスキャナによる同一の特定地域範囲へのパルス照射を同時に行う工程
    (ii)照射したパルスが反射ポイントから反射して戻るまでに要する時間を計測する工程
    (iii)計測された時間によって航空機と反射ポイント間の距離を計算する工程
    (iv)航空機と反射ポイント間の距離に基づきGPS/IMUシステムと連動させて反射ポイントの三次元情報である航空レーザ計測反射値データを生成する工程
    (v)前記(i)工程で撮影した特定地域範囲のデジタルカラー画像をRED(R)、GREEN(G)、BLUE(B)の各画像へ分解する工程
    (vi)前記(iv)工程で生成した特定地域範囲の航空レーザ計測反射値データを画像化して航空レーザ反射強度分布画像とする工程
    (vii)前記(v)工程で生成したデジタルカラー画像のBLUE(B)画像を前記(vi)工程で生成した航空レーザ反射強度分布画像に組みかえて、前記デジタルカラー画像のRED(R)画像と、GREEN(G)画像と前記航空レーザ反射強度分布画像を用いて疑似近赤外画像を構成する疑似近赤外画像の作成工程
  2. 前記(vii)疑似近赤外画像の作成工程で、デジタルカラー画像のRED(R)画像のピクセル数とデジタルカラー画像のGREEN(G)画像のピクセル数と航空レーザ反射強度分布画像におけるピクセル数とを同一ピクセル数に調整する請求項1に記載した疑似近赤外画像の作成方法。
JP2007094119A 2007-03-30 2007-03-30 疑似近赤外画像の作成方法 Expired - Fee Related JP4521885B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007094119A JP4521885B2 (ja) 2007-03-30 2007-03-30 疑似近赤外画像の作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007094119A JP4521885B2 (ja) 2007-03-30 2007-03-30 疑似近赤外画像の作成方法

Publications (2)

Publication Number Publication Date
JP2008250185A JP2008250185A (ja) 2008-10-16
JP4521885B2 true JP4521885B2 (ja) 2010-08-11

Family

ID=39975174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007094119A Expired - Fee Related JP4521885B2 (ja) 2007-03-30 2007-03-30 疑似近赤外画像の作成方法

Country Status (1)

Country Link
JP (1) JP4521885B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6060682B2 (ja) * 2012-12-28 2017-01-18 朝日航洋株式会社 路面画像生成システム並びに影除去装置、方法及びプログラム
JP2018126138A (ja) * 2017-02-10 2018-08-16 国立大学法人九州大学 水田管理システム及び水田管理方法
WO2020022259A1 (ja) * 2018-07-23 2020-01-30 株式会社ナイルワークス 圃場撮影用カメラ
JP7500060B2 (ja) 2020-08-03 2024-06-17 国立研究開発法人農業・食品産業技術総合研究機構 マップ生成装置、マップ生成方法、マップ生成プログラム、学習済みモデルの生成方法および学習済みモデル生成装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222648A (ja) * 1997-02-12 1998-08-21 Canon Inc 画像処理方法および装置
JP2003288581A (ja) * 2002-03-28 2003-10-10 Nippon Telegr & Teleph Corp <Ntt> 水領域抽出処理方法,水領域抽出処理装置,水領域抽出処理プログラムおよびそのプログラムの記録媒体
JP2004146968A (ja) * 2002-10-23 2004-05-20 Hiroshima Pref Gov カラー赤外写真撮影アタッチメント及びカラー赤外写真撮影装置並びにカラー赤外写真作成方法
JP2006266858A (ja) * 2005-03-24 2006-10-05 Railway Technical Res Inst 硬質堆積岩地域の災害発生危険度評価方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222648A (ja) * 1997-02-12 1998-08-21 Canon Inc 画像処理方法および装置
JP2003288581A (ja) * 2002-03-28 2003-10-10 Nippon Telegr & Teleph Corp <Ntt> 水領域抽出処理方法,水領域抽出処理装置,水領域抽出処理プログラムおよびそのプログラムの記録媒体
JP2004146968A (ja) * 2002-10-23 2004-05-20 Hiroshima Pref Gov カラー赤外写真撮影アタッチメント及びカラー赤外写真撮影装置並びにカラー赤外写真作成方法
JP2006266858A (ja) * 2005-03-24 2006-10-05 Railway Technical Res Inst 硬質堆積岩地域の災害発生危険度評価方法

Also Published As

Publication number Publication date
JP2008250185A (ja) 2008-10-16

Similar Documents

Publication Publication Date Title
Jensen et al. Remote sensing change detection in urban environments
Hunt Jr et al. Applications and research using remote sensing for rangeland management
Kuc et al. Sentinel-2 imagery for mapping and monitoring imperviousness in urban areas
Erdody et al. Fusion of LiDAR and imagery for estimating forest canopy fuels
KR102146287B1 (ko) 임의의 풍경 사진 영상을 이용한 대기 중 미세 먼지의 소산 및 크기 정보 추출 시스템
Fernandes et al. Landsat-5 TM and Landsat-7 ETM+ based accuracy assessment of leaf area index products for Canada derived from SPOT-4 VEGETATION data
Fersch et al. A dense network of cosmic-ray neutron sensors for soil moisture observation in a pre-alpine headwater catchment in Germany
Adams et al. Multitemporal accuracy and precision assessment of unmanned aerial system photogrammetry for slope-scale snow depth maps in Alpine terrain
Legleiter Mapping river depth from publicly available aerial images
Kaplan et al. Mapping and monitoring wetland dynamics using thermal, optical, and SAR remote sensing data
Rogers et al. Evaluation of field-measured vertical obscuration and full waveform lidar to assess salt marsh vegetation biophysical parameters
Rogers et al. Assessment of elevation uncertainty in salt marsh environments using discrete-return and full-waveform lidar
Isidro et al. Quantifying suspended solids in small rivers using satellite data
Gentile et al. Bathymetric mapping of shallow rivers with UAV hyperspectral data
JP4521885B2 (ja) 疑似近赤外画像の作成方法
Alavipanah et al. Criteria of selecting satellite data for studying land resources
Richardson et al. Lidar-based approaches for estimating solar insolation in heavily forested streams
Jeniffer et al. Estimation of spatial–temporal rainfall distribution using remote sensing techniques: A case study of Makanya catchment, Tanzania
Neale Classification and mapping of riparian systems using airborne multispectral videography
Hooda IoT and remote sensing
Johnson et al. The use of AVHRR data in operational agricultural assessment in Africa
Smith et al. Forest canopy structural properties
Ticehurst et al. Using passive microwave and optical remote sensing to monitor flood inundation in support of hydrologic modelling
Navalgund et al. The science behind archaeological signatures from space
Nolè et al. Using spatial autocorrelation techniques and multi-temporal satellite data for analyzing urban sprawl

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090216

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090525

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees