JP5519388B2 - 航空写真撮影方法 - Google Patents

航空写真撮影方法 Download PDF

Info

Publication number
JP5519388B2
JP5519388B2 JP2010099606A JP2010099606A JP5519388B2 JP 5519388 B2 JP5519388 B2 JP 5519388B2 JP 2010099606 A JP2010099606 A JP 2010099606A JP 2010099606 A JP2010099606 A JP 2010099606A JP 5519388 B2 JP5519388 B2 JP 5519388B2
Authority
JP
Japan
Prior art keywords
camera
rotation
mount
aerial photography
gantry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010099606A
Other languages
English (en)
Other versions
JP2011233947A (ja
Inventor
天恩 陳
菊生 橘
陽一 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2010099606A priority Critical patent/JP5519388B2/ja
Publication of JP2011233947A publication Critical patent/JP2011233947A/ja
Application granted granted Critical
Publication of JP5519388B2 publication Critical patent/JP5519388B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、航空写真撮影方法に関するものである。
航空機により地上を撮影する場合、シャッタ開放時間中の航空機の移動に伴うぶれ(前進ぶれ)が発生するために、航空写真撮影に際しては、前進ぶれの発生を考慮した撮影方法が要求される。
一般に、前進ぶれの防止には、前進ぶれ補正機構(Forward Motion Compensation:FMC)が使用され、特許文献1には、TDI(Time Delayed Integration)の使用が記載されている。
アロングトラックTDI(Along-Track TDI)を例にとると、スキャニングは、飛行方向に対して直交するCCDセンサの一次元ベクトルを焦点面に複数並列に並べたカメラを使用して行われ、撮影によりCCD配列の一列目とこれ以降の列とにより同じ帯状領域が撮影される。TDIによる前進ぶれ補正は、個別に計測された各列の対応する複数の画素を加算した後、平均化して行われる。
しかし、かかるTDIによる前進ぶれ補正は、CCDセンサからの出力に対するビット演算を前提とするために、例えば、アナログカメラでの撮影には使用できない上に、複雑な制御プログラムの使用を要するために、システムの肥大化につながるという欠点がある。
また、アナログカメラでの撮影にも対応したFMCとしては、特許文献2に記載のものが提案されている。この従来例において、FMCは、弾性体を介して取付部材に支持される枠体と、枠体に対して回動自在なロールジンバル軸に連結されるロール枠と、ロール枠に対して回動自在なピッチジンバル軸に連結されるピッチ枠とを有し、カメラはピッチ枠に固定されるピッチ台に取り付けられる。
カメラのシャッタが開放されると、ピッチジンバル軸が回転駆動されてカメラを後方視方向に回転させ、カメラの撮影範囲の前方へのぶれが解消される。
しかし、この従来例においては、枠体上にロール枠、およびピッチ枠により2軸の空間安定化装置を構築したのと同様であり、構造が複雑になる上に、シャッタ開放によるピッチジンバル軸への駆動は、シャッタ開放期間、および当該期間における機体のピッチングに対する吸収要素と、前進ずれの吸収要素等を考慮する必要があり、複雑な制御を要するという欠点もある。
特表2008-509845号公報 特開2007-208310号公報
本発明は、以上の欠点を解消すべくなされたものであって、構造が簡単で、かつ、効果的に前進ぶれを防止することのできる航空写真撮影方法の提供を目的とする。また、本発明の他の目的は、上記方法に使用可能な航空写真撮影装置、および航空写真撮影用カメラ支持装置の提供にある。
本発明によれば上記目的は、
飛行体1に搭載したカメラ2により該カメラ2のシャッタ開放中の撮影位置の前進方向ずれを相殺して地上を撮影するに際し、
前記カメラ2を支持するカメラ架台4を飛行体1上で水平に保持される空間安定化装置3上に装着するとともに、
カメラ2のシャッタ開放タイミングに同期させて前記カメラ架台4を空間安定化装置3上で撮影コース方向に直交する水平軸周りに後方視方向に回転駆動する航空写真撮影方法を提供することにより達成される。
本発明において、カメラ2が装着されるカメラ架台4は空間安定化装置3上に保持され、少なくとも、撮影時の飛行体1のピッチング、ローリングが吸収されて水平状態の保持が保証される。空間安定化装置3には、例えば、ジャイロ・カメラマウント(gyro stabilized camera mount)等周知のものが使用でき、所望により偏流角の調整機能を持たせることもできる。
カメラ架台4は、空間安定化装置3に装着した状態において、撮影コースに直交する水平軸周りに回転自在であり、カメラ2のシャッタ開放のタイミングに同期させて後方視方向に向けて回転駆動される。
したがって、本発明において、カメラ架台4の回転によって、カメラ2による撮影範囲は後方に移動し、飛行体1の前進移動に伴なう前進ぶれが解消されるために、明瞭な画像を得ることができる。
また、前進ぶれの解消に際し、CCDセンサからの出力に対するビット演算を前提としないために、アナログカメラ2、あるいはTDI機能を有しないデジタルカメラ2、イメージセンサ等を使用することが可能になり、汎用性が向上する。
加えて、航空写真の撮影に際して通常使用される空間安定化装置3をそのまま利用することができるために、融通性が高い上に、カメラ架台4と空間安定化装置3とは各々独立に制御されるために、制御系の構成を簡単にすることができ、装置の低価格化を実現できる。
前進ぶれの防止のためにカメラ架台4を後方視方向に回転させるに際し、回転開始位置と回転終了位置との中間位置が直下位置となるように、回転開始位置を前方視方向に傾けておくと、回転開始位置、および回転終了位置における直下位置からの振れ角を最小にすることができるために、直下視画像により近似した画像を取得することが可能になる。
上記の方法の実施には、
メラ架台4を備えたカメラ支持装置6と、
カメラ架台4に固定されるカメラ2とを有し、
飛行体1に搭載されて前記カメラ2のシャッタ開放中の撮影位置の前進方向ずれを相殺してなり、
前記飛行体1に搭載されて該飛行体1上で少なくともマウント部5の水平姿勢が保持される空間安定化装置3を有し、
前記カメラ支持装置6は、前記マウント部5に装着されて飛行体1上で水平に保持されるとともに、マウント部5上で前記カメラ架台4をシャッタ開放タイミングに同期させて撮影コース方向に直交する水平軸周りに後方視方向に回転駆動する航空写真撮影装置Aを使用できる。
また、上記カメラ支持装置6は、
所定の回転軸周りに往復回転駆動されるカメラ架台4と、
前記カメラ架台4の回転角度、および回転速度を制御する架台回転制御部8と、
を有し、
かつ、飛行体1に搭載される空間安定化装置3に装着可能で、該空間安定化装置3により飛行体1上で水平に保持されるベース7を有し、
前記カメラ架台4は、前記ベース7に軸支されて飛行体1上で前記回転軸を水平面に属する位置に保持され、
前記架台回転制御部8は、飛行体1上での水平な回転軸周りでのカメラ架台4の回転角度、および回転速度をカメラ2の前進ぶれが解消される値に制御して構成することができる。
カメラ支持装置6は、空間安定化装置3のマウント部5への取付部となるベース7にカメラ架台4を回転自在に連結して形成され、カメラ架台4の回転軸は、空間安定化装置3に装着した状態、すなわち、空間安定化装置3への位置決め部に対して水平に配置される。
カメラ架台4は適宜の駆動源により往復回転駆動され、往路での回転により前進ぶれの解消動作が行われ、復路の回転により回転開始位置に復帰する。カメラ 架台4の駆動部12は、回転速度の制御が必要な往路の駆動のみをステッピングモータ、またはDCモータにより行い、復路の駆動を往路の駆動時に撓ませたス プリング11の弾性復元力を利用して行うように構成することも、あるいは、往復路の駆動をモータ10により行うように構成することもできる。前者の場合、 モータ10により駆動される減速ギア列の最終段出力ギアをカメラ架台4の回転軸に連結して駆動部12を構成することができ、後者の駆動部12は、例えば、 スプリング11により回転開始位置側に付勢されたカメラ架台4の回転軸に可逆回転可能なギア列を連結し、往路時においては、モータ10を制御することによ りカメラ架台4の回転角、回転速度の自由度を確保し、モータ10への給電の停止によるスプリング11の復元力により復路駆動を行うことにより実現できる。 スプリング11を使用した復路駆動に際しては、回転開始位置に適宜の衝撃緩衝手段13を設けるのが望ましい。
なお、本発明によれば、
飛行体1に搭載したカメラ2により地上を撮影するに際し、
前記カメラ2を少なくとも撮影姿勢を水平に保持する空間安定化装置3上に装着したカメラ架台4に支持するとともに、
カメラ2のシャッタ開放タイミングに同期させて前記カメラ架台4を撮影コース方向に直交する水平軸周りに後方視方向に回転駆動し、
シャッタ開放中の撮影位置の前進方向ずれを相殺する航空写真撮影方法や、
飛行体1に搭載され、少なくともマウント部5の水平姿勢が保持される空間安定化装置3と、
空間安定化装置3に装着され、装着状態において撮影コース方向に直交する水平軸周りに回転自在なカメラ架台4を備えたカメラ支持装置6と、
カメラ架台4に固定されるカメラ2とを有し、
前記カメラ2のシャッタ開放タイミングに同期させて前記カメラ架台4を水平軸周りに後方視方向に回転駆動してシャッタ開放中の撮影位置の前進方向ずれを相殺する航空写真撮影装置A、あるいは、
飛行体1に搭載された空間安定化装置3に装着可能なベース7と、
ベース7に軸支され、空間安定化装置3により維持される水平面に属する回転軸周りに往復回転駆動されるカメラ架台4と、
前記カメラ架台4の回転角度、および回転速度をカメラ2の前進ぶれが解消される値に制御する架台回転制御部8と、
を有する航空写真撮影用カメラ支持装置を提供することも可能である。
本発明によれば、簡単な構造で、効果的に前進ぶれを防止することができる。
本発明の動作を示す機能ブロック図である。 本発明の動作原理を示す説明図である。 カメラ支持装置を示す図で、(a)は平面図、(b)は(a)の3B方向矢視図、(c)は(a)の3C-3C断面図である。 航空写真撮影装置を示す図で、(a)は組立状態を示す図、(b)は回転開始位置に達した状態を示す図、(c)は回転終了位置に達した状態を示す図である。 図3の変形例を示す図で、(a)は平面図、(b)は(a)の5B方向矢視図、(c)は(a)の5C-5C断面図である。
図1に航空写真撮影装置を示す。この実施の形態において、撮影装置Aは、空間安定化装置3と、架台回転制御部8を備えたカメラ支持装置6と、カメラ支持装置6に装着されるカメラ2とから構成される。また、航空機(飛行体1)には、GPS14、IMU(Inertial Measurement Unit:慣性計測装置)15等から取得した自機の位置、飛行姿勢、飛行速度情報等と、撮影計画経路とを比較しながら飛行経路、撮影位置等を管理するためのフライトマネージメントシステム9が搭載される。
上記空間安定化装置3にはジャイロ・カメラマウントが使用される。図4に一例を示すように、ジャイロ・カメラマウントは、ベースプレート3aと、ベースプレート3aに対して直交3軸周りの回転自由度をもって連結されるメインボディー3bとを有し、メインボディー3bに、図外の衝撃絶縁リング等を介してカメラ2等のペイロードを装着するためのマウント部5が装着される。メインボディー3bのベースプレート3aに対する相対回転は、ベースプレート3aとメインボディー3bを連結するために各回転軸に対応して配置される図外のジンバルをモータ等のアクチュエータにより駆動して行われ、上記フライトマネージメントシステム9から出力される飛行速度、位置姿勢情報に基づいて、偏流角、ピッチング、ローリングを補正する。偏流角を補正することにより、カメラ架台4の枢軸16を航空機の飛行方向に対して直交する方向に維持する。また、ピッチング、ローリングを補正することにより、マウント部5の水平姿勢を維持する。
一方、カメラ支持装置6は、図3に示すように、空間安定化装置3のマウント部5に装着されるベース7と、中央部にカメラ装着開口4aが開設されたカメラ架台4とを有する。カメラ架台4の一対の対向辺の中心には枢軸16が固定され、一方の枢軸16がベース7に形成される軸受け7aに回転自在に支承される。
また、ベース7にはステッピングモータ10、およびステッピングモータ10の駆動軸に固定されるウオーム17にウオームホイール18を噛合させた減速ギア列を格納したモータケース19が固定される。出力ギアとしてのウオームホイール18は他方の枢軸16に連結されており、モータ10の駆動によりカメラ架台4を回転駆動することができる。
カメラ架台4の回転角度、および回転速度を制御するために、カメラ支持装置6には架台回転制御部8が設けられる。架台回転制御部8は、上述したフライトマネージメントシステム9から出力される飛行高度、飛行速度、カメラ2に対するシャッタ開放信号をもとに、予め登録された搭載カメラ2のシャッタ速度を加味してモータ10の回転数(カメラ架台4の回転角)と回転速度、回転開始タイミングを制御する。
すなわち、図2(a)に示すように、飛行速度を(v)、シャッタ速度(開放時間)を(t)とすると、前進ぶれ量(FM)は、
FM=v・t
で与えられ、この前進ぶれ量(FM)に相当する角度(θ)は、直下視を中心とする前後方視への等分振り分け角度として計算すると、
θ=2tan-1((FM/2)/H)
により、回転速度(ω)は、
ω=θ/t
により与えられる。ここで、Hは飛行高度である。
スケールの把握を容易にするために、焦点距離:50(mm)、画素サイズ:5(μm)のデジタルカメラ2で飛行高度:500(m)、飛行速度300(km/h)の航空機から撮影した場合のシャッタ速度による前進ぶれ量、画素換算量、移動量相等角(θ)、および回転速度の変化を図2(b)に示す。
架台回転制御部8は、フライトマネージメントシステム9からシャッタ開放信号を受理すると、以上のようにして演算したカメラ架台4の回転角、および回転速度からギア列の減速比を加味して演算された回転数、回転速度でモータ10を駆動する。モータ10の回転速度の制御には、PWM(Pulse Width Modulation)等の周知の手法を採用できる。
以上のようにして架台回転制御部8は、往路での駆動により前進ぶれを解消するようにカメラ架台4を後方に向けて設定回転速度にて設定角度だけ回転させた後、モータ10を逆回転させて回転開始位置に復帰させて次のシャッタ開放に備える。
以上のように構成されるカメラ支持装置6は、図4に示すように、取付部をマウント部5に固定して空間安定化装置3に装着される。装着状態において、カメラ架台4の枢軸16は、空間安定化装置3の作用によって、航空機の飛行方向(図4(b)における矢印F方向)に対して直交する水平姿勢に保持される。
また、この実施の形態において、カメラ架台4の回転開始位置は、直下位置から前方に傾く位置に設定されており、制御が開始されると架台回転制御部8は、まず、カメラ架台4を回転開始位置に駆動する。上述したように、カメラ架台4の回転角(θ)は、搭載されるカメラ2により決定されるシャッタ速度と、航空機の飛行速度及び飛行高度により一義的に決定されるために、上記架台回転制御部8は、求められた回転角(θ)の半分に相当する角度だけ直下回転位置から前方に回転させて回転開始位置とし、シャッタ開放信号の受信とともに後方に向けて回転を開始する。
図5にカメラ架台4の駆動部12の変形例を示す。なお、本変形例の説明において、上述した実施の形態と実質的に同一の構成要素は、図中に同一符号を付して説明を省略する。
この変形例は、復路の駆動方法に対する変形を示すもので、一方の枢軸16にはウオームホイール18が連結されるとともに、他方の枢軸16周りにトーションスプリング11が巻装され、カメラ架台4を予め設定された回転開始位置側に付勢する。上述した実施の形態と同様に、回転開始位置は前方視方向に傾いた位置に設定されており、ベース7には、カメラ架台4の回転後端縁近傍に形成される位置決め凹部4bに当接して回転開始位置を決定するための位置決め突部7bが設けられる。
また、減速歯車列のウオーム17は、逆駆動、すなわち、ウオームホイール18側からの入力によるウオーム17への回転が可能なように、ネジ径が小径で、かつ、ねじり角が摩擦角より大きな複数条のねじを有して形成される。
したがってこの変形例において、モータ10が駆動されると、カメラ架台4はトーションスプリング11の付勢力に抗して回転開始位置から後方視方向に回転駆動される。カメラ架台4が回転終了位置に達すると、モータ10への通電が停止され、結果カメラ架台4はトーションスプリング11の復元力により回転開始位置に強制復帰させられる。
強制復帰時の衝撃力を吸収するために、上記位置決め突部7bは、衝撃吸収能を有する弾性材料に形成されて衝撃干渉手段13を兼ねる。衝撃干渉手段13には、この他に、ロータリダンパ等を使用することが可能であり、カメラ架台4の復帰速度と、許される衝撃力との関係を考慮して決定される。
1 飛行体
2 カメラ
3 空間安定化装置
4 カメラ架台
5 マウント部
6 カメラ支持装置
7 ベース
8 架台回転制御部
9 フライトマネージメント
A 航空写真撮影装置

Claims (7)

  1. 飛行体に搭載したカメラにより該カメラのシャッタ開放中の撮影位置の前進方向ずれを相殺して地上を撮影するに際し、
    前記カメラを支持するカメラ架台を飛行体上で水平に保持される空間安定化装置上に装着するとともに、
    カメラのシャッタ開放タイミングに同期させて前記カメラ架台を空間安定化装置上で撮影コース方向に直交する水平軸周りに後方視方向に回転駆動する航空写真撮影方法。
  2. 前記カメラ架台は、中間位置が飛行体直下を向く回転開始位置と回転終了位置との間で駆動される請求項1記載の航空写真撮影方法。
  3. メラ架台を備えたカメラ支持装置と、
    カメラ架台に固定されるカメラとを有し、
    飛行体に搭載されて前記カメラのシャッタ開放中の撮影位置の前進方向ずれを相殺してなり、
    前記飛行体に搭載されて該飛行体上で少なくともマウント部の水平姿勢が保持される空間安定化装置を有し、
    前記カメラ支持装置は、前記マウント部に装着されて飛行体上で水平に保持されるとともに、マウント部上で前記カメラ架台をシャッタ開放タイミングに同期させて撮影コース方向に直交する水平軸周りに後方視方向に回転駆動する航空写真撮影装置。
  4. 前記空間安定化装置は、マウント部の水平姿勢に加えて偏流角の調整機能を有する請求項3記載の航空写真撮影装置。
  5. 所定の回転軸周りに往復回転駆動されるカメラ架台と、
    前記カメラ架台の回転角度、および回転速度を制御する架台回転制御部と、
    を有し、
    かつ、飛行体に搭載される空間安定化装置に装着可能で、該空間安定化装置により飛行体上で水平に保持されるベースを有し、
    前記カメラ架台は、前記ベースに軸支されて飛行体上で前記回転軸を水平面に属する位置に保持され、
    前記架台回転制御部は、飛行体上での水平な回転軸周りでのカメラ架台の回転角度、および回転速度をカメラの前進ぶれが解消される値に制御する航空写真撮影用カメラ支持装置。
  6. 前記架台回転制御部は、シャッタ速度、およびフライトマネージメントシステムから出力される飛行体の飛行高度、飛行速度からカメラ架台の回転角、および回転速度を演算する請求項5記載の航空写真撮影用カメラ支持装置。
  7. 前記架台回転制御部は、シャッタ速度と飛行体の飛行高度とから演算されたカメラ架台の回転角の半分に相当する角度で前方視方向に回転させた回転開始位置に保持し、
    シャッタ開放信号の受領に同期させて初期位置から回転駆動する請求項5または6記載の航空写真撮影用カメラ支持装置。
JP2010099606A 2010-04-23 2010-04-23 航空写真撮影方法 Expired - Fee Related JP5519388B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010099606A JP5519388B2 (ja) 2010-04-23 2010-04-23 航空写真撮影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010099606A JP5519388B2 (ja) 2010-04-23 2010-04-23 航空写真撮影方法

Publications (2)

Publication Number Publication Date
JP2011233947A JP2011233947A (ja) 2011-11-17
JP5519388B2 true JP5519388B2 (ja) 2014-06-11

Family

ID=45322874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010099606A Expired - Fee Related JP5519388B2 (ja) 2010-04-23 2010-04-23 航空写真撮影方法

Country Status (1)

Country Link
JP (1) JP5519388B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052571B1 (en) * 2014-06-20 2015-06-09 nearmap australia pty ltd. Wide-area aerial camera systems
WO2018142595A1 (ja) * 2017-02-03 2018-08-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 撮像装置、撮像システム、移動体、方法、及びプログラム
JP6331180B1 (ja) * 2017-06-15 2018-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像装置、撮像システム、飛行体、制御方法、及びプログラム
JP6878375B2 (ja) * 2018-09-28 2021-05-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN113103215B (zh) * 2021-04-14 2023-06-27 深圳汇控智能技术有限公司 一种机器人视觉飞拍的运动控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153072A (ja) * 2001-11-16 2003-05-23 Starlabo Corp 移動体搭載用撮影装置

Also Published As

Publication number Publication date
JP2011233947A (ja) 2011-11-17

Similar Documents

Publication Publication Date Title
US10766635B2 (en) Stabilizing platform
CN108349593B (zh) 三轴可调式小型云台
EP3657195B1 (en) An aerial camera system
JP5519388B2 (ja) 航空写真撮影方法
US20140037278A1 (en) Stabilizing Platform
US20140362177A1 (en) Method and device for controlling a motion-compensating mirror for a rotating camera
KR101567926B1 (ko) 지형변화에 따른 정위치의 세부 정보를 보정 처리하는 수치지도 편집 시스템
JP6793006B2 (ja) 光学ユニット
WO2021081719A1 (zh) 竖向增稳机构、云台装置和感测设备
JP2008244893A (ja) 撮像空間安定化装置及び被写体追尾装置
CN213168592U (zh) 一种云台装置及应用其的无人机
JP4284496B2 (ja) 空間安定装置
JP4639278B2 (ja) ジンバルを用いたディジタルカメラによる撮影方法
KR101218771B1 (ko) 조향 거울에 의한 상번짐 방지 항공 촬영 시스템
JPS6399680A (ja) 撮影装置
JP2620560B2 (ja) 撮像部用ジンバル機構
JP2868227B2 (ja) カメラの像ブレ補正装置および補正レンズ駆動装置
CN111874248A (zh) 一种云台装置及应用其的无人机
CN115454149B (zh) 一种机载扫描型光电设备
KR101218768B1 (ko) 조향 거울 제어에 의한 eo/ir 장비의 los 보상 장치 및 방법
JP6023999B2 (ja) 空間安定装置
KR101165218B1 (ko) 탑재체용 안정화 시스템 및 이를 구비하는 운반체
JP2020144257A (ja) 観察光学系
JPH0635540A (ja) 画像誘導装置
KR20190075494A (ko) 카메라용 스태빌라이저

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140403

R150 Certificate of patent or registration of utility model

Ref document number: 5519388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees