JP4480212B2 - 空中写真の位置及び姿勢の計算方法 - Google Patents
空中写真の位置及び姿勢の計算方法 Download PDFInfo
- Publication number
- JP4480212B2 JP4480212B2 JP31602599A JP31602599A JP4480212B2 JP 4480212 B2 JP4480212 B2 JP 4480212B2 JP 31602599 A JP31602599 A JP 31602599A JP 31602599 A JP31602599 A JP 31602599A JP 4480212 B2 JP4480212 B2 JP 4480212B2
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- aerial
- aerial photograph
- coordinates
- photograph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の属する技術分野】
本発明は空中撮影されたステレオ写真を、所定の地形モデルの座標系に容易に定義できる空中写真の位置及び姿勢の計算方法に関する。
【0002】
【従来の技術】
一般に写真の像は、被写体から反射された光がレンズ中心を直進してフイルムの平面に投影されたものである。この投影は、中心投影とも呼ばれる。すなわち、写真は中心投影像と言える。
【0003】
しかし、実際は光は空気の密度や温度差、レンズの特性等によってわずかに曲げられる。このため、精度の高い測量結果を得るには、前述の中心投影の原理を乱す諸原因を取り除く必要がある。
【0004】
また、例えばピンホールカメラに理想的なレンズを用いた場合は、図7に示すように実空間に存在する任意の点Pから出た光は針穴Oを通過してフイルム面上の点pに像として記録される。つまり、点P及び針穴O並びに像pが同一直線上に存在しなければならないという条件が成立する。この条件を共線条件と称する。
【0005】
また、理想的なレンズではレンズの光学的性質を代表する2つの浮動な点S及びS′が存在する。すなわち、実空間の点Pから出た光は必ずレンズのS及びS′を通過して像pとしてフィルム面に投影されるので、点Pと点Sを結ぶ直線PSと、点S′と像pとを結ぶ直線S′pは平行になる。
【0006】
従って、仮想的にSの点とS′の点とを一致させたとすると、共線条件が成り立つ。針穴O、SとS′とを一致させたときのような点を投影中心と称する。写真の回転はこのS′を中心にして行われる。
【0007】
また、写真測量は写真が1枚の場合(以下単写真測量という)と2枚以上の場合(以下立体写真測量)があるが、本説明では立体写真測量について説明する。
【0008】
立体写真測量というのは、図8に示すように対象物Pを2個以上の異なる位置から撮影した2枚以上の写真A、Bを用いるものであり、2つ以上の共線条件が得られる。
【0009】
すなわち、2枚以上の写真の投影中心を通る光束が互いに交わる前方交会の結果として、対象物の三次元座標が求められることになる。
【0010】
そして、写真の外部標定(基準点の地上座標(絶対座標)と、対応する写真上の像の平面座標とから、撮影時のカメラ位置と傾きを求めること)が完了すると、2枚以上の対応する写真の像と投影中心を結ぶ光束は、実空間においてことごとく交会し、立体像が得られる。この立体像は写真測量ではモデルと呼ばれる。
【0011】
ここで、図8の各座標系について定義する。図8に示す写真座標系(x、y)とは、主点を原点とする2次元座標であり、カメラ座標系とは投影中心を原点としたものである。
【0012】
また、モデル座標系は2枚一組の立体写真から形成される立体像を定義するための3次元座標系であり、一般には左写真の投影中心を原点にとる。
【0013】
前述のモデルの形成は、写真が撮影されたときの状態の空間位置に厳密に等しくしなくとも、撮影されたときの写真の位置及び傾きの関係が相対的に同じであればよい、このような相対的な相似なモデルを作ることを相互標定と称している。
【0014】
つまり、相互標定とはモデルを形成することであり、立体写真の対応する2本の光束がことごとく交会するように、左右それぞれの投影中心の位置及び傾きを定めることにある。
【0015】
射影幾何学の原理から2枚の立体写真の対応する光束がことごとく交会するためには、少なくとも5本の光束が交会すればよいことが知られている。
【0016】
前述の相互標定の方法に共面条件を用いるものもある。これは図9に示すように、2本の光束が交会するためには、2本の空間直線が同一平面に含まれるという条件が成立することを利用した方法(以下共面条件という)である。
【0017】
このような各種条件、座標系を用いてステレオ撮影された2枚の写真の撮影位置(Xo、Yo、Zo)及び地上座標系(絶対座標系)に対する回転角(ω、φ、κ)を空中三角測量によって求める。
【0018】
この空中三角測量にあたっては、両方の写真間の相対的な姿勢や位置関係は写真内に共通に写っている対応点(パスポイントともいう)を観測することにより求めていた。
【0019】
前述の絶対座標系に対する撮影位置及び姿勢を求めるには、写真内に写っている基準点(絶対座標が既知の点;国土地理院の情報、又は実際に計測した点)を用いて計算する。
【0020】
この撮影位置及び姿勢の算出に当たっては、一般に共線条件若しくは共面条件を用いて連立方程式を立て、これに最小自乗法等の最適計算を適用する。
【0021】
【発明が解決しようとする課題】
しかしながら、従来のような空中写真を用いた測量は、写真を撮るエリアに予め複数の基準点を設ける必要(作業員が現地に行って基準とする点の緯度、経度を計測又は国土地理院の地理座標を用いる)があるので非常にコストと時間を要するという課題があった。
【0022】
このため、近年は空中写真測量以外の方法であるレーザスキャナ測量や衛星写真測量等で地形情報を計測することが多くなってきている。
【0023】
また、国土地理院発行数値地図は50mメッシュのものがあり、このようなメッシュ間隔のものを用いた地形情報の利用も検討されてきている。
【0024】
このような地形データ(地形モデルともいう)と空中写真とを利用してCG画像等を作成する場合、
写真測量は写真内に写っている地上座標系を基準とする複数の基準点、両方の写真のパスポイント(地上座標系、写真座標系)を用いて計算するものであるから、地形モデル上の各点が対応する空中写真上の位置を求めるためには、地形モデルの座標系に対する空中写真の撮影位置(カメラ位置ともいう)及び姿勢を求めることが必要になる。
【0025】
このため、レーザスキャナ測量や衛星写真測量等で得られた地形モデルを用いた写真測量は容易に用いることができないという課題があった。
【0026】
本発明は以上の課題を解決するためになされたもので、地形モデルを用いて地形モデル座標系に対する空中写真の位置及び姿勢を容易に得ることができる空中写真の位置及び姿勢の計算方法を得ることを目的とする。
【0027】
【課題を解決するための手段】
本発明の空中写真の位置及び姿勢の計算方法は、
コンピュータが、
飛行しながら所定のカメラ装置で地上を順次撮影して得た第1の空中写真I 1 及び第2の空中写真I 2 のそれぞれの画素の画像データ、地形モデルを記憶手段に記憶しておく工程と、
前記第1の空中写真I 1 及び第2の空中写真I 2 のそれぞれの各画素の画像データを読み込む写真データ読込工程と、
【0028】
前記第1の空中写真I 1 及び第2の空中写真I 2 の指標の入力に伴って、この指標と前記カメラ装置の前記撮影時の各パラメータを用いて前記第1の空中写真I 1 の座標及び第2の空中写真I 2 の座標と画像座標の変換係数を求める内部標定工程と、
前記第1の空中写真I 1 及び第2の空中写真I 2 を撮影した際の前記カメラ装置の概略位置と姿勢E1及び姿勢E2を評価関数Eall(Eall=(E1,E2))として読み込む工程と、
前記第1の空中写真および第2の空中写真に写っているエリアの地形モデルである地表面上の平面座標(x、y)に標高zを与える座標を読み込む地形モデル取得工程と、
前記地形モデルを用いて、地上座標(x、y)に対応する地表面の三次元座標(x、y、z)を算出し、前記位置と姿勢E1及びE2並びに前記第1及び第2の空中写真の座標と画像座標の変換係数を用いて前記三次元座標に対応する前記第1の空中写真I 1 及び第2の空中写真座標I 2 の各輝度値を算出し、これらを用いて前記前記第1の空中写真I 1 及び第2の空中写真座標I 2 に対応するオルソフォトIorth(x、y、E 1 、I 1 )及びオルソフォトIorth(x、y、E 2 、I 2 )を生成する工程と、
【0029】
前記オルソフォトIorth(x、y、E 1 、I 1 )及びオルソフォトIorth(x、y、E 2 、I 2 )の輝度差e(x,y,Eall、I 1 、I 2 )を、
【数1】
e(x,y,Eall、I1、I2)=
Iorth(x、y、E1、I1)―Iorth(x、y、E2、I2)
として算出する工程と、
前記算出された差を残差とし、この残差を最小自乗法で前記姿勢E1及び姿勢E2を求める工程と
を行うことを要旨とする。
【0030】
【発明の実施の形態】
図1は本実施の形態に係わる空中写真の位置及び姿勢の計算方法を説明する概念図である。
【0031】
図1に示すように、航空機等で得られたステレオ写真(空中写真A、B)のピクセル座標をカメラ座標系に変換する内部標定をして、絶対座標に対する空中写真A、Bの相対的な関係を求めた後に、地形モデル(例えばサーフェースモデル)上の点P(x、y、z)からのステレオ写真(空中写真A、B)上における画像輝度が一致する点p1及び点p2(共通エリア)を求め、この点p1及び点p2並びに地形モデルの点Pを用いて、地形モデルに対する空中写真Aの位置及び姿勢E1並びに空中写真Bの位置及び姿勢E2を求める。
【0032】
【数8】
このようなことを実現するために本実施の形態では図2に示すように、A/D変換工程1a及び1bと、内部標定工程2a及び2bと、相互標定工程3と、初期値決定工程4と、地表モデルに対する絶対標定工程5と、地表モデル取得工程6とを備える。
【0033】
A/D変換工程1a及び1bは、それぞれスキャナ(図示せず)で読み込まれた空中写真A、Bを、デジタル変換する。但し、デジタル式のカメラを用いている場合は、このA/D変換は不要である。
【0034】
内部標定工程2a及び2bは、それぞれの空中写真A、Bの画像のピクセル座標を写真座標に直すためのキャリブレーションデータを得る。具体的には、空中写真A、B上の既知の点のピクセル座標を計測し、ピクセル座標の変換式(射影変換又はアフィン変換)に代入して未知の係数(座標変換係数)を求める。
【0035】
相互標定工程3は、この相互標定は空中写真A及びBを撮影したカメラ間の相対的な関係(位置、姿勢)を求めるものである。
【0036】
例えば、空中写真A及びBにおける共通エリアを定め、この共通エリアにおける数個のパスポイントを入力し(手動又は自動)、何れか一方の空中写真のカメラを固定とする。つまり、一方のカメラの投影中心は(0、0、0)、姿勢は(0、0、0)と仮定すれば、標定要素は他方のカメラの投影中心(1、by、bz)及びカメラの姿勢(ω、ψ、κ)の5つのパラメータ(標定要素)で表現できる。但し、普通は初期においては初期近似値として零が与えられる。
【0037】
そして、近似値のまわりにテーラ展開して線形化したときの微分係数の値を求めて線形化した方程式を作り、最小自乗法を用いて近似値に対する微小補正量を求める。そして、この処理を所定回繰り返して収束させる。次に、空中写真A、Bの光束の交会点のモデル座標を共面条件を用いて求める。
【0038】
初期値決定工程4は、後述する接続標定における各写真の投影中心を求めるための初期値である。この初期値の内X及びYは、空中写真A、Bの概略撮影位置(例えば中心)を地図上で計測することにより求める。
【0039】
また、概略撮影位置の撮影高度Zは、撮影縮尺Sと撮影地区の平均標高H及び焦点距離Cから次式で求める。
【0040】
【数9】
また、空中写真の場合は一般に垂直撮影であり、各カメラの姿勢成分の内ω及びφの初期値は「0」として差し支えない。また、κは概略の飛行方向から求めることができる。
【0041】
さらに、空中写真A及びBのペアからステレオ処理によって得られる地表面データと地形モデルとを比較し、相関係数が高くなるようマッチングを行うことにより、位置及び姿勢の初期値を求めることが可能である。
【0042】
地表モデル取得工程6は、国土地理院発行の数値地図(50mメッシュ)等に基づく地表モデルを取得する。
【0043】
地表モデルに対する絶対標定工程5は、地表モデル、各写真の投影中心を求めるための初期値を入力し、相互標定で求めたモデルを地表モデルの座標系に変換する絶対標定を行う。
【0044】
このモデルのブロックに対して、各写真の外部標定要素(カメラ位置(Xo、Yo、Zo)及び姿勢(κ、φ、ω))を最小自乗法により同時に求めている。
【0045】
この処理を以下に図及び数式を用いて詳細に説明する。例えば、図3に示すように、初期値決定工程4の地表モデルに基づく初期値であ地理座標標高データz=z(x、y)及び画像I1、画像I2、各々の画像の外部標定要素E1、E2が与えられたとき、図3に示すようにオルソフォトの重なる部分が同じになるように外部標定要素を最適化する。
【0046】
この図3における最適化処理を数1〜 を用いて記述する。初めに外部標定要素を定義するための初期評価関数について説明する。
【0047】
【数10】
【数11】
【数12】
【数13】
次に、最小自乗法による最適化について説明する。
【0048】
【数14】
【数15】
【数16】
次に、偏微分係数の求め方を説明する。
【0049】
【数17】
【数18】
一方、相互標定が済んでいる場合について以下に説明する。
【0050】
【数19】
【数20】
【数21】
【数22】
【数23】
【数24】
【数25】
すなわち、最小自乗法の概略処理は、図5及び図6に示すようにステレオ画像(空中写真A、B)、初期値決定工程でのEallの初期値、地形モデル、式2ー9の初期評価関数χoを読み込む(S501)。
【0051】
次に、最小自乗法による最適化に当たって行列H及びベクトルVの計算を行い(S503)、修正量ΔEallの計算(式3ー6)と初期値の更新(式3ー7)を行う(S505)。
【0052】
そして、式2−9に基づいて評価関数χlを計算する(S507)。次に、収束の判定を行い(S509)、収束していない場合は評価関数χlを更新して処理ステップS503に戻す(S513)。ステップS509において、収束したと判定したときは、ステップS507で求めたEallを送出する(S511)。
【0053】
次に、ステップS503の行列H及びベクトルVの計算を図6のフローチャートを用いて説明する。
【0054】
行列H及びベクトルVの計算は、ステレオ画像、Eallの初期値、地形モデルを読み込み(S601)、その後に全て「0」にセットして行列H及びベクトルVの初期化を行う(S603)。
【0055】
次に全ての地形モデル上の点を定義して、投影される写真座標Ppht1及びPpht2の計算を行う(S607)。
【0056】
そして、写真座標Ppht1及びPpht2がともに写真範囲内かどうかを判定する(S609)。
【0057】
ステップS609において、共に写真範囲と判定したときは、微分計算を行う(S611)。この計算は、相互標定結果を用いる場合は、式5−9、式5−10、式5−11、式5−12を用いる。但し、一般には式4−1、4−2で計算する。そして、行列H及びベクトルVへの加算(式3−4及び式3−5)を行う(S613)。
【0058】
【発明の効果】
以上のように本発明によれば、空中を飛行しながら順次撮影された第1の空中写真、第2の空中写真が相互標定された後に、これらの空中写真に対応する地形モデルを読み込み、この地形モデル上の入力された点P(x、y、z)に基づいて第1の空中写真、第2の空中写真の輝度が一致する地形モデルにおける位置、姿勢E1、E2を地形モデルに対する絶対標定で求めるようにしたことにより、空中写真測量以外の方法であるレーザスキャナ測量や衛星写真測量等又は国土地理院発行数値地図によって生成した地形モデルであっても、その地形モデル上に対する位置、姿勢E1、E2を容易に決定できるという効果が得られている。
【0059】
また、地形モデルを用いて写真の位置、姿勢を決定できるので、従来のように空中写真をとるための基準点を実際に出かけて行って測量しなくともよいので、コストを低減できる。
【図面の簡単な説明】
【図1】本発明の概念を説明する説明図である。
【図2】本発明の実施の形態の概略工程図である。
【図3】本発明の実施の形態の共通エリアにおける空中写真のパスポイントの定義を説明する説明図である。
【図4】評価関数の加算対象を説明する説明図である。
【図5】最適化の処理を説明するフローチャートである。
【図6】最適化の処理を説明するフローチャートである。
【図7】共線条件を説明する説明図である。
【図8】各座標系を説明する説明図である。
【図9】共面条件を説明する説明図である。
【符号の説明】
2a 内部標定工程
2b 内部標定工程
3 相互標定工程
4 地形モデル取得工程
5 地形モデルに対する絶対標定工程
Claims (6)
- コンピュータが、
飛行しながら所定のカメラ装置で地上を順次撮影して得た第1の空中写真I1及び第2の空中写真I2のそれぞれの画素の画像データ、地形モデルを記憶手段に記憶しておく工程と、
前記第1の空中写真I1及び第2の空中写真I2のそれぞれの各画素の画像データを読み込む写真データ読込工程と、
前記第1の空中写真I1及び第2の空中写真I2の指標の入力に伴って、この指標と前記カメラ装置の前記撮影時の各パラメータを用いて前記第1の空中写真I1の座標及び第2の空中写真I2の座標と画像座標の変換係数を求める内部標定工程と、
前記第1の空中写真I1及び第2の空中写真I2を撮影した際の前記カメラ装置の概略位置と姿勢E1及び姿勢E2を評価関数Eall(Eall=(E1,E2))として読み込む工程と、
前記第1の空中写真および第2の空中写真に写っているエリアの地形モデルである地表面上の平面座標(x、y)に標高zを与える座標を読み込む地形モデル取得工程と、
前記地形モデルを用いて、地上座標(x、y)に対応する地表面の三次元座標(x、y、z)を算出し、前記概略位置と姿勢E1及びE2並びに前記第1及び第2の空中写真の座標と画像座標の変換係数を用いて前記三次元座標に対応する前記第1の空中写真I1及び第2の空中写真座標I2の各輝度値を算出し、これらを用いて前記第1の空中写真I1及び第2の空中写真座標I2に対応するオルソフォトIorth(x、y、E1、I1)及びオルソフォトIorth(x、y、E2、I2)を生成する工程と、
前記オルソフォトIorth(x、y、E1、I1)及びオルソフォトIorth(x、y、E2、I2)の輝度差e(x,y,Eall、I1、I2)を、
[数1]
e(x,y,Eall、I1、I2)=
Iorth(x、y、E1、I1)―Iorth(x、y、E2、I2)
として算出する工程と、
前記算出された差を残差とし、この残差を最小自乗法で前記姿勢E1及び姿勢E2を求める工程と
を行うことを特徴とする空中写真の位置及び姿勢の計算方法。 - 前記概略位置と姿勢E1および姿勢E2の相対関係が写真測量のステレオカメラの相互標定工程によって与えられるばあい、これを拘束条件として前記最小自乗法による最適化を行う請求項1記載の空中写真の位置及び姿勢の計算方法。
- 前記収束判定は、最適化時の外部標定要素の修正量と初期値とを加算し、この加算結果が所定のしきい値に到達するまで繰り返すことを特徴とする請求項5記載の空中写真の位置及び姿勢の計算方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31602599A JP4480212B2 (ja) | 1999-11-05 | 1999-11-05 | 空中写真の位置及び姿勢の計算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31602599A JP4480212B2 (ja) | 1999-11-05 | 1999-11-05 | 空中写真の位置及び姿勢の計算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001133256A JP2001133256A (ja) | 2001-05-18 |
JP4480212B2 true JP4480212B2 (ja) | 2010-06-16 |
Family
ID=18072421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31602599A Expired - Lifetime JP4480212B2 (ja) | 1999-11-05 | 1999-11-05 | 空中写真の位置及び姿勢の計算方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4480212B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4282361B2 (ja) * | 2003-04-21 | 2009-06-17 | 守 大槻 | 写真測量方法および写真測量プログラム |
CN100390666C (zh) * | 2004-12-17 | 2008-05-28 | 上海杰图软件技术有限公司 | 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法 |
CN100458560C (zh) * | 2004-12-17 | 2009-02-04 | 上海杰图软件技术有限公司 | 一种基于全帧图像生成球形全景的方法 |
CN100426139C (zh) * | 2004-12-24 | 2008-10-15 | 上海杰图软件技术有限公司 | 基于六张鼓形图像生成整球形全景的方法 |
JP5229733B2 (ja) * | 2008-11-25 | 2013-07-03 | Necシステムテクノロジー株式会社 | ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラム |
WO2017042907A1 (ja) * | 2015-09-09 | 2017-03-16 | 三菱電機株式会社 | 航法装置および測量システム |
KR102235589B1 (ko) * | 2019-02-19 | 2021-04-02 | 주식회사 아르고스다인 | 무인기 착륙 시스템 |
-
1999
- 1999-11-05 JP JP31602599A patent/JP4480212B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001133256A (ja) | 2001-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7162933B2 (ja) | オブジェクトの内部空間モデルを確立するための方法、装置及びシステム、並びに、コンピュータ装置及びコンピュータ可読記憶媒体 | |
KR100912715B1 (ko) | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 | |
JP7037302B2 (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム | |
CN103557841B (zh) | 一种提高多相机合成影像摄影测量精度的方法 | |
US11887273B2 (en) | Post capture imagery processing and deployment systems | |
US5259037A (en) | Automated video imagery database generation using photogrammetry | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
US7773799B2 (en) | Method for automatic stereo measurement of a point of interest in a scene | |
EP1568964A1 (en) | Image forming apparatus | |
Schuhmacher et al. | Georeferencing of terrestrial laserscanner data for applications in architectural modeling | |
US20220049956A1 (en) | Method for water level measurement and method for obtaining 3d water surface spatial information using unmanned aerial vehicle and virtual water control points | |
CN110986888A (zh) | 一种航空摄影一体化方法 | |
CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
JP4138145B2 (ja) | 画像形成装置 | |
Sai et al. | Geometric accuracy assessments of orthophoto production from uav aerial images | |
JP3808833B2 (ja) | 空中写真測量方法 | |
JP4480212B2 (ja) | 空中写真の位置及び姿勢の計算方法 | |
Maurice et al. | A photogrammetric approach for map updating using UAV in Rwanda | |
JPH11514434A (ja) | イメージデータを用いてカメラの位置及び配向を決定する方法と装置 | |
Wu | Photogrammetry: 3-D from imagery | |
Rokhmana et al. | Cadastral surveys with non-metric camera using UAV: a feasibility study | |
Hsu | Geocoded terrestrial mosaics using pose sensors and video registration | |
Barazzetti et al. | Stitching and processing gnomonic projections for close-range photogrammetry | |
JP4282361B2 (ja) | 写真測量方法および写真測量プログラム | |
CN113593023B (zh) | 三维制图方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100316 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4480212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |