JP3808833B2 - 空中写真測量方法 - Google Patents

空中写真測量方法 Download PDF

Info

Publication number
JP3808833B2
JP3808833B2 JP2003037259A JP2003037259A JP3808833B2 JP 3808833 B2 JP3808833 B2 JP 3808833B2 JP 2003037259 A JP2003037259 A JP 2003037259A JP 2003037259 A JP2003037259 A JP 2003037259A JP 3808833 B2 JP3808833 B2 JP 3808833B2
Authority
JP
Japan
Prior art keywords
point
adjustment
block
points
block adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003037259A
Other languages
English (en)
Other versions
JP2004245741A (ja
Inventor
菊生 橘
正 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2003037259A priority Critical patent/JP3808833B2/ja
Publication of JP2004245741A publication Critical patent/JP2004245741A/ja
Application granted granted Critical
Publication of JP3808833B2 publication Critical patent/JP3808833B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Position Fixing By Use Of Radio Waves (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、空中写真測量方法に関するものである。
【0002】
【従来の技術】
航空機等の飛行体から撮影した撮影画像を利用する空中写真測量は、例えば、非特許文献1に記載されるように、各撮影画像を標定して、同一地上対象物が撮影された複数枚の航空写真の対を撮影時の位置関係を解析的手法により再現し、得られた立体モデルの所定点を地上基準点に連結することにより写真上の任意点の位置情報を得るものである。
【0003】
そして、モデル数の多い空中写真測量に当たっては、モデル毎の絶対標定を行うのではなく、空中三角測量が利用される。
【0004】
しかし、空中三角測量において多数のコース、立体モデル等を構成単位とする撮影領域(ブロック)全体に渡って均質な精度を確保するためには、ブロック調整用の地上基準点を多数要するために、作業性が悪いという問題がある。
【0005】
【非特許文献1】
中村英夫・清水英範共著、「測量学」、技報堂出版株式会社、2000年2月10日、p.315−355
【0006】
【発明が解決しようとする課題】
本発明は以上の欠点を解消すべくなされたものであって、作業性が良好で、かつ、高い精度を保持可能な空中写真測量方法の提供を目的とする。
【0007】
【課題を解決するための手段】
本発明によれば上記目的は、
地上所定高度を飛行する飛行体1から撮影した複数の撮影画像2を該撮影画像2中に指定されたタイポイント5を介して連結し、この連結された複数の写真からなるブロックの全体を、測量範囲に配置した適数の地上基準点6をブロック調整点7として調整計算を行って外部標定要素および求点座標を得る空中写真測量方法であって、
前記撮影画像2取得時におけるカメラ位置及びカメラ姿勢を飛行体1に搭載したGPS3及びIMU4により直接定位し、
該直接定位データを前記タイポイント5及びブロック調整点7と等価の調整要素としてバンドル法によるブロック同時調整計算を行って外部標定要素及び求点座標を得る空中写真測量方法を提供することにより達成される。
【0008】
撮影画像2の取得に際してカメラ位置、正確には投影中心位置(x,y,z)は飛行体1に搭載したGPS3からの出力値により、カメラ姿勢(ロール角ω,ピッチ角φ,ヨー角κ)はIMU4(Inertial Measurement Unit:慣性測量装置)からの出力値により直接定位される。
【0009】
GPS3及びIMU4からの直接定位データの精度はGPS3、IMU4自体の精度に影響されるために、立体モデル等が複数ある場合でも全ブロックに渡ってほぼ均一であり、地上基準点6数による影響を受けにくいと考えられる。この結果、直接定位データを外部標定要素として利用する本発明においては、ブロック全領域に渡る精度均一化のための地上基準点6が不要となるために、空中三角測量におけるブロック調整、とりわけ、バンドル法によるブロック調整に比して、必要な地上基準点6を大幅に減少させることが可能になる。
【0010】
一方、後述する実施例からも明らかなように、この直接定位をそのまま外部標定要素として撮影画像2の標定を行って求点座標を求めた場合の精度は、大縮尺図化時等の高い精度要求に応えるには限界がある。
【0011】
この問題を解決するために、外部標定するために利用され、すでに外部標定要素がGPS3等の出力値として与えられている本発明においては本来無関係な空中三角測量において多用されるブロック調整を上記直接定位データを含めて実施する。
【0012】
ブロック調整としては、多項式法、独立モデル法が利用できるが、厳密解を提供するバンドル法を利用することにより精度をより向上させることが可能であり、この場合、ブロック調整は、各撮影画像2の投影中心から投影される画像上の全地上基準点6及びタイポイント5像の対応する地上対象点への交会を条件として行われる。
【0013】
また、ブロック調整点7に加えて地上座標が既知の検証点8が設定され、
タイポイント5の較差、ブロック調整点7残差及び検証点8による較差により精度検証するように構成した場合には、精度管理を確実に行うことができる。
【0014】
本発明による方法は、
地上所定高度を飛行する飛行体1から撮影した複数の撮影画像2を該撮影画像2中に指定されたタイポイント5を介して連結し、この連結された複数の写真からなるブロックの全体を、測量範囲に配置した適数の地上基準点6をブロック調整点7として調整計算を行って外部標定要素および求点座標を得る空中写真測量装置であって、
前記撮影画像2取得時におけるカメラ位置及びカメラ姿勢を直接定位する飛行体1に搭載したGPS3及びIMU4からの直接定位データを入力する直接定位データ入力部9と、
前記直接定位データを前記タイポイント5及びブロック調整点7と等価の調整要素としてバンドル法によるブロック同時調整計算を行って外部標定要素及び求点座標を得るブロック調整部10とを有する空中写真測量装置を使用することにより実現可能であり、この測量装置は、所定の実行手順が記載されたプログラムに従って実行される汎用のコンピュータシステムによって構成することができる。
【0015】
【発明の実施の形態】
まず、空中写真測量に際し、図2(b)に示すように、GPS3、IMU4を搭載した航空機から測量領域を撮影し、これをスキャナにより読み込んでディジタル化された撮影画像2を取得する。この実施の形態において、撮影は、1/500図化を想定して1/4000の縮尺で行われる。なお、以上において、撮影画像2は航空写真ネガフィルムをスキャニングして得る場合を示したが、デジタルカメラを使用して直接デジタル化された撮影画像2を得ることもできる。
【0016】
撮影は、図中において矢印で示す撮影コースに沿って隣接する撮影画像2、2同士と、コースが隣接する撮影画像2、2同士が各々所定のオーバラップ率(Ro)及びサイドラップ率(Rs)で重合するように行われる。
【0017】
また、地上には、ブロック調整点7及び検証点8として使用される地上基準点6が設定される。これらの地上基準点6は、基準点測量により平面位置及び標高が予め測定され、複数の撮影画像2全体により構成されるブロックの四隅にブロック調整点7が位置し、さらに、検証点8がその近傍に位置するように各々配置される。図2(a)においてブロック調整点7を黒丸で、検証点8を白丸で示す。
【0018】
撮影に際してGPS3、IMU4の出力が同期して取得され、これらから撮影時のカメラ位置及びカメラ姿勢が定位される。
【0019】
図1に示すように、空中写真測量装置は、直接定位データ入力部9、撮影画像入力部11a及び地上基準点位置データ入力部11bからなる入力部11と、演算部12とを有する。撮影時にGPS3、IMU4から取得したカメラ位置(GPS3出力)及びカメラ姿勢(IMU4出力)情報は、直接定位データとして直接定位データ入力部9に、撮影画像2は撮影画像入力部11aに、地上基準点6の位置データは地上基準点位置データ入力部11bに各々入力される。
【0020】
演算部12は、タイポイント設定部12a、ブロック調整部10及び検証部13を有し、上記ディジタル化された各撮影画像2にはタイポイント設定部12aにおいて、少なくとも2枚以上に撮影されている領域がタイポイント5して抽出される。タイポイント5の抽出は、上述したようなパターンマッチングによる自動抽出以外に、目視により指定も可能である。抽出されたタイポイント5を図2(a)において白抜きの矩形枠で示す。
【0021】
タイポイント5の抽出により、複数の撮影画像2が互いに関連付けられた状態となって、全体としてブロックを構成することとなり、次いで、このブロックに対してブロック調整部10においてブロック調整を行う。ブロック調整は、ブロック四隅のブロック調整点7全点を固定した状態で、これらブロック調整点7全点及びタイポイント5全点が立体モデル上の対応点に交会することを条件とする、いわゆるバンドル法ブロック調整により行われる。ブロック調整においては、上記直接定位データも調整対象とされる。
【0022】
次いで、ブロック調整部10におけるブロック調整の結果は検証部13において精度検証され、精度が所定の閾値を超える場合には、再測等がなされる。検証項目には、公共測量作業規程等に定められている評価項目を含めるのが望ましく、この実施の形態においては、タイポイント交会残差、ブロック調整点残差の平均二乗誤差と最大値と、検証点8における較差の最大値が設定される。閾値も、上記公共測量作業規程等を満足するように設定するのが望ましく、この実施の形態において、1/500図化の場合には、
タイポイント交会残差の平均二乗誤差が15μm以内、最大値30μm以内、
ブロック調整点残差の平均二乗誤差が対地高度の0.02%以内、最大値が0.04%以内、
検証点8における較差の最大値が平面標高とも0.25m以内に設定される。
【0023】
また、1/1000図化の場合には、
タイポイント交会残差の平均二乗誤差が15μm以内、最大値30μm以内、
ブロック調整点残差の平均二乗誤差が対地高度の0.02%以内、最大値が0.04%以内、
検証点8における較差の最大値が平面標高とも0.5m以内、高さの平均二乗誤差が0.3m以内に設定される。
【0024】
ブロック調整の精度が検証部13における閾値以内である場合には、出力部14から例えば図化機に出力されて図化された後、必要位置が計測される。
【0025】
なお、以上においては、4点のブロック調整点7に加えて検証点8を設定することにより4点以上の地上基準点6を設定する場合を示したが、4点の地上基準点6をブロック調整点7と検証点8に使用することが可能である。この場合、例えば、地上基準点6の3点をブロック調整点7として使用し、残り1点を検証点8として使用するように、地上基準点6の一部をブロック調整点7として使用し、残りの地上基準点6を検証点8として使用すればよい。
【0026】
以上、本発明の実施の形態を1/500図化を想定して構成する場合を例にとって説明したが、1/1000、あるいはこれよりも小さい縮尺の作業にも使用できることは勿論である。
【0027】
【実施例】
以下に、本発明の有効性を確認するために行った実験を示す。実験は、GPS3、IMU4からの出力を標定要素として使用したモデルを構築し、検証点8を観測して実測値と比較することにより精度等の観測を行った。
【0028】
また、直接定位データを用いたブロック同時調整の精度検証を行うため、いくつかの条件でブロック調整を行い比較、検証した。
1.実験ブロックの概要
実験は大縮尺図化の範疇に入ると思われる1/500図化時を想定した1/4000撮影で実施した。撮影諸元を表1に示す。なお、カメラ座標系に対するGPSアンテナの位置関係及びIMU座標系との位置関係、取り付け角度等のキャリブレーションは、実測及び事前のボアサイトキャリブレーションにより決定済みである。位置関係はcmレベル、角度は0.005度以下のレベルで調整されている。
【0029】
【表1】
Figure 0003808833
図3に各々のブロックの主点位置とブロック調整点7、検証点8の配置を示す。図中主点位置は白丸で、ブロック調整点7または検証点8は三角形で示される。地上参照局にはつくば3の1秒間隔データを用い、GPS3のイニシャライズを飛行中に行う、インエアーアライメントを実施した。
【0030】
ブロック調整点7(検証点8)には写真上で明瞭に判読できる路面表示等を選択し、電子基準点つくば1を予点としてGPS3測量により実測を行った。
2.直接定位計算
撮影ミッション時に取得されたGPS3およびIMUデータと地上参照局のGPS3データを用いて直接定位計算を実施した。直接定位の計算はキネマティックGPS解析、IMUデータの合成解析、各写真の外部標定要素の算出の順に実施される計算機プログラムを使用した。
【0031】
キネマティックGPS解を求める際に、時系列正反方向の較差と、位置の標準偏差を求めて、これらを検証したところ、較差は10cm以内、標準偏差は数cmであることが確認できた。また、GPS3とIMU4の合成後の位置の標準偏差も数cmであり、直接定位の解析は良好であると判断した。
3.写真画像のデジタル化
以降の解析をデジタル・フォトグラメトリックワークステーション上で行うために、取得された航空写真ネガフィルムをフォトグラメトリックスキャナーによりデジタルデータ化した。スキャナーはLeica DSW500を使用し、解像度10μmでスキャニングを実施した。
4.直接定位による検証点の観測
比較のために、デジタル・フォトグラメトリックワークステーションを用いて、直接定位により算出された外部標定要素のみを使用してステレオモデルを構築し、検証点を観測した。
5.ブロック調整
デジタル・フォトグラメトリックワークステーション上で稼働する自動空中三角測量プログラムによりブロック調整を行った。この際、外部標定要素には、直接定位で得られたものが使用され、タイポイント5は、5×5の格子状に配置されるように設定し、自動空中三角測量プログラムにより自動抽出した。自動抽出された点は異常値検索により検出された点及び視差が大きな点が削除されて必要に応じて再観測される。
【0032】
以降の解析はGPS/IMUデータを同時調整できるバンドル法空中三角測量プログラムを用いて実施した。
6.結果
表にブロック四隅の4点を固定してブロック調整を行った場合、ブロック中央の1点のみを固定してブロック調整を行った場合の基準点・検証点残差の最大・平均二乗誤差を示す。ブロック調整に際しては、主点位置(xyz)に約7cm、ωφに0.005度、κに0.008度、固定する基準点にはX、Y、Zそれぞれ5cmの重量を与えた。
【0033】
【表2】
Figure 0003808833
また、表には、本発明との比較のために、直接定位データのみを用いて構築したモデル上で観測した場合と、直接定位のデータを使用せず、4隅の基準点だけでブロック調整を行った場合における基準点・検証点8残差の最大・平均二乗誤差を示した。
【0034】
図4はこれらの結果を検証点位置上にプロットした図を示すもので、本発明において4点を固定した場合が図4(a)に、1点を固定した場合が図4(b)に、また、比較例である直接定位データのみの場合が図5(a)に、直接定位データを使用しない場合が図5(b)に各々対応する。なお、図4、5において平面較差が対象点からのベクトルで、高さ方向の較差が円の半径により示される。また、ブロック調整時における固定点は方形枠で囲って示される。
【0035】
表2及び図4、5から明らかなように、直接定位データを同時調整することにより、直接定位データをそのまま使用する場合に比して、精度向上が得られることが明らかになった。
【0036】
また、ブロック調整に当たっては、1点固定の場合であっても、4点固定に比して大きな精度の低下が見られないことから、1点の基準点の場合であっても、十分な精度が得られることが確認できた。
【0037】
さらに、1/500地形図の精度基準は平面および高さとも標準偏差で0.25mとされており、また、従来のバンドル法空中三角測量における1/4000撮影時の基準点残差の制限値は、平面、高さともに標準偏差で12cm、最大値が24cmに相当するが、本発明の実施例における結果は、これらの範囲内に入っていることから、1/500の大縮尺図化に使用可能であることが確認できた。
【0038】
【発明の効果】
以上の説明から明らかなように、本発明によれば、直接定位データのみを使用する場合の利点を活かしたまま、ブロック調整により精度向上を図ることができるために、精度を維持したままで測量効率を向上させることができる。
【図面の簡単な説明】
【図1】本発明の空中写真測量装置を示すブロック図である。
【図2】本発明の実施方法を示す説明図で、(a)は撮影画像の取得状態を示す図、(b)は(a)の側面図である。
【図3】実施例の撮影コースを示す図である。
【図4】実験結果を示す図である。
【図5】比較例の実験結果を示す図である。
【符号の説明】
1 飛行体
2 撮影画像
3 GPS
4 IMU
5 タイポイント
6 地上基準点
7 ブロック調整点
8 検証点
9 直接定位データ入力部
10 ブロック調整部

Claims (3)

  1. 地上所定高度を飛行する飛行体から撮影した複数の撮影画像を該撮影画像中に指定されたタイポイントを介して連結し、この連結された複数の写真からなるブロックの全体を、測量範囲に配置した適数の地上基準点をブロック調整点として調整計算を行って外部標定要素および求点座標を得る空中写真測量方法であって、
    前記撮影画像取得時におけるカメラ位置及びカメラ姿勢を飛行体に搭載したGPS及びIMUにより直接定位し、
    該直接定位データを前記タイポイント及びブロック調整点と等価の調整要素としてバンドル法によるブロック同時調整計算を行って外部標定要素及び求点座標を得る空中写真測量方法。
  2. 前記ブロック調整点に加えて地上座標が既知の検証点が設定され、
    前記タイポイントの較差、ブロック調整点残差及び検証点による較差により精度検証する請求項1記載の空中写真測量方法。
  3. 地上所定高度を飛行する飛行体から撮影した複数の撮影画像を該撮影画像中に指定されたタイポイントを介して連結し、この連結された複数の写真からなるブロックの全体を、測量範囲に配置した適数の地上基準点をブロック調整点として調整計算を行って外部標定要素および求点座標を得る空中写真測量装置であって、
    前記撮影画像取得時におけるカメラ位置及びカメラ姿勢を直接定位する飛行体に搭載したGPS及びIMUからの直接定位データを入力する直接定位データ入力部と、
    前記直接定位データを前記タイポイント及びブロック調整点と等価の調整要素としてバンドル法によるブロック同時調整計算を行って外部標定要素及び求点座標を得るブロック調整部とを有する空中写真測量装置。
JP2003037259A 2003-02-14 2003-02-14 空中写真測量方法 Expired - Fee Related JP3808833B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003037259A JP3808833B2 (ja) 2003-02-14 2003-02-14 空中写真測量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003037259A JP3808833B2 (ja) 2003-02-14 2003-02-14 空中写真測量方法

Publications (2)

Publication Number Publication Date
JP2004245741A JP2004245741A (ja) 2004-09-02
JP3808833B2 true JP3808833B2 (ja) 2006-08-16

Family

ID=33022133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003037259A Expired - Fee Related JP3808833B2 (ja) 2003-02-14 2003-02-14 空中写真測量方法

Country Status (1)

Country Link
JP (1) JP3808833B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953933B2 (en) 2012-10-31 2015-02-10 Kabushiki Kaisha Topcon Aerial photogrammetry and aerial photogrammetric system
US9007461B2 (en) 2011-11-24 2015-04-14 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
US9013576B2 (en) 2011-05-23 2015-04-21 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
US9020666B2 (en) 2011-04-28 2015-04-28 Kabushiki Kaisha Topcon Taking-off and landing target instrument and automatic taking-off and landing system
US9609282B2 (en) 2012-08-24 2017-03-28 Kabushiki Kaisha Topcon Camera for photogrammetry and aerial photographic device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5100964B2 (ja) * 2004-12-17 2012-12-19 株式会社パスコ 航空レーザ測量におけるレーザデータの閲覧用画像生成方法
JP5134784B2 (ja) * 2006-05-30 2013-01-30 株式会社パスコ 空中写真測量方法
WO2010134502A1 (ja) 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
JP5690539B2 (ja) 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
CN103363961A (zh) * 2013-07-09 2013-10-23 中国人民解放军第三军医大学第三附属医院 基于航拍图像的交通事故场景三维信息测定方法
CN103558619B (zh) * 2013-11-06 2016-03-02 中测新图(北京)遥感技术有限责任公司 获取航拍像片的外方位元素的方法
JP5775632B2 (ja) * 2014-09-16 2015-09-09 株式会社トプコン 飛行体の飛行制御システム
CN108088395A (zh) * 2016-11-23 2018-05-29 北京地林远景信息技术有限公司 一种无人机森林巡航摄影技术方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020666B2 (en) 2011-04-28 2015-04-28 Kabushiki Kaisha Topcon Taking-off and landing target instrument and automatic taking-off and landing system
US9013576B2 (en) 2011-05-23 2015-04-21 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
US9007461B2 (en) 2011-11-24 2015-04-14 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
US9609282B2 (en) 2012-08-24 2017-03-28 Kabushiki Kaisha Topcon Camera for photogrammetry and aerial photographic device
US8953933B2 (en) 2012-10-31 2015-02-10 Kabushiki Kaisha Topcon Aerial photogrammetry and aerial photogrammetric system

Also Published As

Publication number Publication date
JP2004245741A (ja) 2004-09-02

Similar Documents

Publication Publication Date Title
JP5134784B2 (ja) 空中写真測量方法
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
KR102664900B1 (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
US7800645B2 (en) Image display method and image display apparatus
KR100800554B1 (ko) 이동형 사진측량 시스템에서의 레이저 스캐너와 카메라영상정보를 이용한 3차원 모델링 방법
KR102007567B1 (ko) 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템
US7149346B2 (en) Three-dimensional database generating system and method for generating three-dimensional database
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
JP3808833B2 (ja) 空中写真測量方法
JP2807622B2 (ja) 航空機搭載総合撮影装置
JP6675537B1 (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
JP6616967B2 (ja) 地図作成装置、および地図作成方法
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
JPH11230745A (ja) 高度計測装置
JP2017026577A (ja) 三次元測量写真の作成方法
JP2017201261A (ja) 形状情報生成システム
KR101755687B1 (ko) 촬영화상의 카메라 자세 추정 시스템 및 방법
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
CN110986888A (zh) 一种航空摄影一体化方法
Sai et al. Geometric accuracy assessments of orthophoto production from uav aerial images
KR101393273B1 (ko) 노면 텍스쳐 영상 고도화 시스템
JP6773473B2 (ja) 測量情報管理装置および測量情報管理方法
KR100956446B1 (ko) 디지털 항공영상을 이용하여 3차원 객체의 외관 텍스쳐 자동 추출방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051226

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060518

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120526

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130526

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130526

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140526

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees