JP5702720B2 - 船舶の航路上の物体の検知と画像化のシステム - Google Patents

船舶の航路上の物体の検知と画像化のシステム Download PDF

Info

Publication number
JP5702720B2
JP5702720B2 JP2011522925A JP2011522925A JP5702720B2 JP 5702720 B2 JP5702720 B2 JP 5702720B2 JP 2011522925 A JP2011522925 A JP 2011522925A JP 2011522925 A JP2011522925 A JP 2011522925A JP 5702720 B2 JP5702720 B2 JP 5702720B2
Authority
JP
Japan
Prior art keywords
scanning
scanning mechanism
laser
ship
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011522925A
Other languages
English (en)
Other versions
JP2011530712A (ja
Inventor
オウ. クレプスヴィック、ジョン
オウ. クレプスヴィック、ジョン
Original Assignee
コングスベルグ シーテック アーエス
コングスベルグ シーテック アーエス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コングスベルグ シーテック アーエス, コングスベルグ シーテック アーエス filed Critical コングスベルグ シーテック アーエス
Publication of JP2011530712A publication Critical patent/JP2011530712A/ja
Application granted granted Critical
Publication of JP5702720B2 publication Critical patent/JP5702720B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、高速船舶や他の船舶の航路上にある物体の検知と画像化のシステムに関するものであり、請求項1の前文に記載される、航行安全に対する危険を構成する物体に関する警告を含む。
乗客輸送、車両輸送及び物流における車両や船舶の速度の増加は、浮遊物体との衝突の重要性を増大させた。近年船外に流出した容器の数量は有意に増大し、漂流木材及び小型レジャーボートやある種のクジラと相まって海上事故の高いリスクをもたらしている。
特許文献1は、ヘリコプタや他の航空機に対する障害物検知用の走査レーザレーダシステムを記載している。レーザレーダ技術それ自体は、非特許文献1に比較的詳細に記載されている。
高速艇はレーダに加えて、船舶前方の水面の視界を向上させるため、出来るだけ高い所に取り付けられた、下方向照明レベルのビデオカメラを備えている。しかしこの種のシステムは光の条件に大きく依存し、曇天の夜間航行に特別に有用な訳ではない。
近年FLIR(前方監視赤外線)技術に基づくパッシブIR画像化が、暗視や漂流物の検知に使用されている。この技術は、物体と周辺との間の小さな温度差の検知に基づいており、長期間水中にあった物体はごく小さな温度差しか示さず、従って検知が困難である。
しかし、下方向照明レベルのビデオカメラもIRシステムも視野の中にある物体との正確な距離を測定出来ない。
(目的)
本発明の主目的は、その船舶の航路内の浮遊物や他の航行障害物を検知し、そして警告を発するための、上記の従来技術の問題を解決する、高速乗用船舶や他の船舶用のシステムを生成することである。
さらに、そのシステムが昼間と夜間の両方で、全ての光条件のもとで操作可能であり、物体との正確な距離測定値を含む、一定のセクタ内の水面又は水上の物体の3次元画像を提供することが目的である。
更に、システムが霧や雨における視認が困難な時にも稼動でき、下方向照明レベルのビデオカメラやIRシステムに比べて高品質の画像を提供することが目的である。
最後に、船舶の動きがシステムの品質に影響を与えないように、システムが、操舵コースからの短期間の乖離(ヨー)を含む、船舶のローリングやピッチングに対し、水平面と垂直面の両方において走査領域を安定化させるように設定される、ことが目的である。
米国特許5,465,142
「IR/EOシステムハンドブック」SPIE,1992
本発明に基づくシステムは請求項1に記載されている。システムの特徴は他の請求項に記載されている。
本発明は、船舶の航路内の浮遊物や他の航行障害物を検知し、そして警告を発するための高速乗用船舶や他の船舶用のシステムに関している。
システムは昼間と夜間の両方で、全ての光の条件のもとで操作可能であり、一定のセクタ内の物体との正確な距離測定値を含む、前記一定のセクタ内の水面又は水上の物体の3次元画像を提供する。
さらにシステムは、霧や雨における視認可能性が困難な時において、下方向照明レベルのビデオカメラやIRシステムに比べて高品質の画像を提供する。
レーザ波長の選択により、航海用の双眼鏡で見た場合でも、施行中のノルウェー及び国際目の安全基準(後述参照1)に関して、システムは目に対し絶対的に安全である。
本システムは従来の航海レーダと似た動作を行い、レーダビームは視野を走査し、表面からパッシブに反射されるエネルギーを検知する。赤外波長領域の光の短いパルスを使用することにより、センチメートル単位の解像度を、横方向および長手方向の両方で(距離分解能)得ることが可能である。従来の航海レーダと異なり、レーザビームは垂直方向と水平方向の両方で走査可能であり、その結果3次元画像を形成する。これにより、波高及び物体の水面からの高さ(例えば、橋のクリアランス等)の検知が可能となる。
協働する構成要素(再帰反射装置)の使用に基づく、位置測定や標的追尾用のレーザレーダシステムと異なり、本発明は従来のカメラに類似の入力光ビームのパッシブな反射に基づいている。
本発明のシステムは、「暗視」に対するIMO基準、IMO Res.MSC94(72)(参照2)に記載の全ての要求を満たすことが可能であり、ISOテスト基準、ISO16273;2003(E)(参照3)に従って認証されるタイプでありうる。
システムは主に、当該領域への妨げの無い視界を有する、操舵室の頂部又はマストに位置する走査ユニット(走査ヘッド)と、操舵室内で航海士の主要視野内に配置されるオペレータユニット/スクリーンユニットと、からなる。
走査ユニットは好適には、2つの走査機構を有し、1つはレーザビームを垂直セクタで走査し、走査ユニットから放射状に水面上の1つの直線を照明するもの(ラインスキャナ)と、もう1つは、対象領域に亘って直線を水平に走査するもの(方位角スキャナ)である。走査装置は、周辺の安定な画像を提供するため、船のローリングやピッチング及び小さな進行方向からのずれ(ヨー)に対し走査を安定させるように構築される。更に走査ユニットは好適には、反射レーザビームを検知する光学センサユニットと、送信パルスと反射パルスとの間の時間差に基づいて反射する物体との距離を測定し、またパルスエネルギー、ピークパルスパワーを計測する、高速アナログ回路とマイクロプロセッサを有する。
オペレータユニット/モニタユニットは、好適には、光学センサ信号及び走査装置を駆動するモータシャフトのエンコーダからの角度情報を処理する、信号及び制御プロセッサを有する。ここではまた、操作の安定のための制御情報を提供するため、ロールとピッチセンサからの情報も扱われる。
検出された光学信号は、走査機構からの角度情報及び外部航海データ(位置、速度、ローリング、ピッチング及びヨー)と共に更に処理され、全ての単一の反射レーザパルスの位置と強度が、モニタ上に地理的座標軸(経度、緯度、高さ)と共に画像情報として表示される。この画像情報はカメラ用等の中央投影と、レーダ用のような垂直投影(PPI)の両方で表示することが可能である。更に画像情報はARPAモジュールにおいて分析され、最短距離(「最短接近点、CPA」)最短接近点までの時間(TCPA)が船舶の航路の近くにある物体に対して確定される。最短接近点CPAが当該船舶の安全ゾーン内にある場合は、ARPAメッセージがNMEA/IEC基準(参照4)に従って他の航海モニタ(ECDIS、レーダ)に送られ、場合によって船舶警報システムに送られる。
本発明の更なる特徴は、以下の実施形態の記述において示される。
図1a,1bは、本発明に基づくシステムを備える船舶を示す図である。 図1cは、走査ユニットを示す図である。図1dは、オペレータパネル/モニタを示す図である。 中央軸に垂直な面における足跡と解像度領域の分布を示す図である。 船舶設備のブロック図である。 本発明に基づく走査ユニットの断面図である。 図5a,5b,5c,5dは、本発明に基づく走査機構の原理を示す図である。 システムのアナログ信号処理の概略図である。 システムの部分プロセス概観図である。
最初に本発明に基づくシステム(以下「船舶レーザレーダシステム」、略称「MLRシステム」と呼ぶ)を備える船舶を示す図1a,1bを参照する。MLRシステムは、走査ユニット10(走査ヘッド)(図1cに拡大して示す)、制御ユニット11、及びオペレータパネル(モニタ)12(図1dに示す)からなる。走査ユニット10は、監視領域が最も良く見える、船の操舵室より上のマスト又は他のプラットホームに設置される。制御ユニット11は船の操舵室の内部に搭載され、既存の電源、航行装置、モニタ及び内部通信システムと一体化されて、ビデオとレーダ画像の両方を表示し、船の予定航路内で障害物が検知されると警告する。
MLRシステムは、垂直方向には垂直セクタ14内で、水平方向には水平セクタ15内で赤外レーザビームを走査することにより、又は水平面内での連続回転(従来型レーダの場合)により、中央方向13周辺のセクタを探索することが出来る。中央方向13はランダムに水平360度の中からオペレータパネルから選択可能である。走査セクタ内の物体までの距離は、従来型レーダと同様、パルスレーザビームを使用し、パルスの送信から反射パルスの受信までの時間の測定により計測される。それがレーザレーダと呼ばれる所以である。
レーザは、レーザの開口角と物体16との距離により定義される延長部分により、小さな領域17(足跡、図1B及び図2)を照明する。同時にこの領域は光学検知器上で画像化される。光学検知器は単なる検知素子又は検知素子のマトリックス(列)からなる。検知器マトリックスの使用により、検知器マトリックス内の要素の数により、照明された領域の空間的分解能が得られる。4X4(16)の要素を持つ正方形検知器マトリックスに対する、中央軸13に垂直な面内の足跡と解像度領域の分布の事例を図2に示す。この規則的パターンは、図3に示すように、2つの独立する走査機構19,20(スキャナー)により、レーザビームを2つの軸の周りに走査することにより生成される。第1の走査機構19はレーザスポットを線18に沿って分散させ、一方もう片方の走査機構20はこれらの線を平行に偏移させ、それにより視野の方位角全体がカバーされる。パルス繰返し率及び線の偏移は、レーザスポットを部分的に重複させることにより視野全体をカバーするように調整される。走査セクタの連続探索は、セクタ境界に達するごとに水平走査の方向を変えるか、連続的な水平回転により実行される。
次に船舶設備のブロック図を示す図3を参照する。2つの走査機構に加え、走査ユニット10は光学系/センサ及びパルス処理ユニット21、レーザ制御ユニット22、及び光学的窓23を有し、一方制御ユニット11は走査モータ制御装置24、信号プロセッサ25、タイミングと制御電子回路26、及び、画像及び制御プロセッサ27を有する。画像及び制御プロセッサ27は、オペレータ制御ユニット12と船舶航行及び通信システム28に接続するための出力を備える。
次に走査ユニット10の断面図である図4を参照する。システム内の照明源は好適には、レーザ光を光学照準器32に供給するファイバー光学系31を有する、目に安全な赤外レーザ30からなる。光学照準器32はレーザ光を、検知器マトリックス内の要素の分布に適応された足跡を有する、1つのビーム33に変換する。このビーム33の小さな一部はビーム分離器35経由で光学検知器38に向けられ、出力パワーの監視と距離測定用のスタートパルスを生成する。更に、光学系/センサユニット21は、背景光除去用の光学フィルタ36、視野内の物体16からのフィルタされた反射光の収集用の受光レンズ(対物)37、及び対物レンズの焦点にある光学検知器38を有する。受光レンズ37は、非球面フレネルレンズ、又は、低いF数と光学検知器34内の検知素子の寸法より良い解像度特性を有する、他のレンズの組合せ例えば望遠鏡であってもよい。
第1の走査機構19(ラインスキャナ)は内部ローターを持つ2つのモータ45,46に駆動される2つの光学偏向素子43,44を有する。光学偏向素子43,44は、楔型プリズム(リスレイプリズム)、透過型光学格子(即ち、ボリューム・ブラッグ格子、VBG)又は光学回折素子(DOE)でよく、それらは全て光学的入力ビームを固定角度で偏向する特性を有している。走査モータ45,46の高い回転速度においては、バランスのとれた回転要素を得るため、光学回折素子(DOE)又は透過型光学格子(VBG)をビーム偏向子として使用するのが好ましい。このような設備により、体37に対する、レーザビームと視野の両方が、偏向素子43,44の間の相互角度により定義される方向ほぼ直線に沿って走査される。(詳細は図5を参照して以下で記述される。)
第1の走査機構19による偏向の後、レーザビームと受光器視野は、第2の走査機構20により偏向される。それは鏡面47であり、走査ユニット10の主軸40に対して約45度傾き、主軸40の周りをモータ41により回転させられる(方位角スキャナ)。全ての方位角に対して垂直ラインスキャンを生成するためには、走査線は方位角スキャナと同期して回転されなければならない、それにより走査線は入射面内に鏡面に垂直に配置される。これは第2走査モータ46の位相を第1走査モータ45に対して制御することにより達成される。(以下に図5dを参照して詳述される。)
走査パターンは船舶のローリングに対しても、上記のように2つの走査モータ45,46の位相を制御することにより安定化可能である。更に鏡47は、モータ49により主軸40に垂直な軸48に対して傾斜させて、船舶のピッチングに対して走査パターンを水平面に関して安定化可能である。
好適には、走査ユニット10内の全ての構成要素は防水円筒形容器内に搭載され、それは、レーザ光と視野内の照明された物体16からの反射光を透過するための円筒形の窓を有する。
本発明に基づく第1の走査機構19、所謂ラインスキャナの原理を示す図である図5a,5bを参照する。垂直に入射するレーザビームはDOE/VBG43のストライプパターン(主方向)と垂直な方向51に偏向され、第1の走査機構19が主軸の周りを回転すると、ビームは主軸40に垂直な面内に円52を描く。(図5a)別のDOE/VBG44を最初のDOE/VBG43の後ろに配置することにより、ビームは再度DOE/VBG44の主方向により決定される方向に偏向される。両方のDOE/VBG43,44の主方向が一致する場合、小さな角度に対して、個々のDOE/VBG43,44の偏向の2倍の合計偏向を得る。2つのDOE/VBG43,44を同じ速度で異なる方向に回転させると、ビームは、2つのDOE/VBG43,44の主方向の差異により決定される方向の、ほぼ直線53を描く。一定の回転速度では、合計偏向は、DOE/VBG43,44の振幅の2倍の振幅を持つ、時間のサイン関数として画定される。
直線からの偏移(図5b)は、2つのDOE/VBG43,44間の距離に起因し、第1のDOE/VBG43が第2のDOE/VBG44上に描く円52の直径に等しい。(約1mm)しかし、偏移に関係なく方向は同じであり、長い距離では無視できる偏移となる。
図1に示すような規則的なかつ安定した走査を生成するため、ある仮定をする必要がある。第2の走査機構20、即ち鏡47の回転により垂直線18の相互に平行な変位(図2)を得るため、走査線53は鏡面47に垂直な入射面54内に配置されなければならない。これは走査線53が走査鏡47と同期して回転しなければならないことを意味する。(図5c参照)これは第2のDOE/VBG44用のモータ46のDOE/VBG43用のモータ45に対する位相を半回転毎に増やし、走査線の回転が走査鏡47の回転角度と等しくすることにより得られる。
上記の走査設備はまた、走査パターンを船舶のローリングとピッチング、及び小さな航路偏移(ヨー)に対して、比較的単純な方法で安定させることを可能にする。図5dに示すように走査線53の回転、鏡面47に対する入射面54からの小さな角度、は、垂直走査線17の類似の回転をもたらす。同様に第2の軸48の周りの鏡47の傾斜は、走査パターンを水平面に対して上又は下に移動させる。もしレーザビームが船舶の長手方向軸(ローリング軸)に沿った方向に向いている場合、ローリングは、走査線53をロール角度に等しいだけ逆方向に回転させることにより補償される。同様にピッチングを補償するためには、鏡47はピッチ角度に等しい角度だけ逆方向に回転されなければならない。予定航路からの小さな偏移(ヨー)は、鏡47を主軸の周りに回転することにより修正される。レーザビームの他の方向(方位角)に対しては、ローリング、ピッチング及びヨーの周知の変形により補償角度が決定される。
第1の走査機構19内の2つのDOE/VBG43,44は好適には、タービン型のベアリング上を回転する従来型のブラシレスDCモータのローター部分に搭載される。既存技術の角度エンコーダは、2つのDOE/VBG43,44の位置と速度を記録する。走査モータ制御装置24は好適には、従来型電子サーボモータユニットからなり、それは、位置センサ(角度エンコーダ)からの入力信号と、オペレータ制御ユニット11からの走査方向と走査速度の選択値に基づいて、2つのDOE/VBG43,44の速度と位相を調整する。
第2の走査機構20は好適には、一体型の角度エンコーダを有する従来型のステップモータ/駆動ユニットにより制御される。モータのステッピングは第1の走査機構19と同期して、ステップの始まりが、走査線53が境界点に達する直前に始まり、走査線53が反対方向に動き始める時に終了する。
第2の走査機構44内の走査鏡47の安定化用のモータ49は、好適には、同様に一体型の角度エンコーダを有する従来型のサーボモータ/駆動ユニットであり、それは、
船舶航行システム(緯度センサ)から提供されるローリングとピッチングの角度情報、及びレーザビーム33の水平(方位角)方向により制御される。
タイミング及び制御電子回路ユニット26は、レーザ30に対しトリガパルスを提供し、パルス処理ユニット21は、光検知器からのパルス信号を処理し、反射された強度と検知器の視野内の物体16までの距離、及びレーザ30への出力パワーを抽出する。信号処理は新規のレーダ及びレーザレーダシステムに特有であり、図6に示される。
パルス及び関数生成器55は、走査ユニット10が規則的な走査パターン内のある角度位置に到達した時に、信号及び制御プロセッサ27から同期化パルス(マスタートリガ、MT)を受信し、トリガ信号をレーザ30に対し生成する。トリガ信号はレーザ30にレーザパルスを放射させる。
光検知器からの電流パルスは電流対電圧増幅器56内で増幅され、TVG(時間変化利得)増幅器57に入力される。そこでは利得は時間と共に増大し、球面拡散に起因する減衰及び、走査ユニット10と反射する物体16との間の大気内における光学ビーム減衰を補償する。利得に対する時間関数は、オペレータパネル11から選択され、パルス及び関数生成器55内でデジタル化ユニット58からのクロックパルスにより生成される。時間関数の最後のセットは、異なる視界条件(晴れ、カスミ、雨、霧)を表わし、パルス及び関数生成器55内で実行される。
TVG増幅器57からの受信パルスはさらにデジタル化ユニット58に送られ、デジタル化ユニット58は参照検知器34からの信号も受信する。その後デジタル化された信号はケーブル経由で制御ユニット11内の信号プロセッサ25に送信される。デジタル化ユニット58は好適には高速A/D変換器、データバッファ及びクロックからなり、デジタル信号を信号プロセッサ25に送信し、そこで戻り信号の距離とピーク値が計算される。
距離、ピーク値及び角度情報(仰角、方位角)は画像及び制御プロセッサ27において更に処理される。画像及び制御プロセッサは共に従来型のDSP構造に基づき、そこではPCプロセッサ(制御プロセッサ)の制御により特定の処理が複数のDSPで分散処理される。
次に個別のサブプロセスの概観図である図7を参照する。各放出レーザパルスの間の受信信号の時間連鎖が、信号雑音比及び誤検知確率により与えられる閾値を超える戻りパルスの事例に関して分析される。最初のパルスは常に出力レーザパルスであり、最大値、それは参照検知器34からのレーザパルスのピークパワーを示すが、は放出の正確な時間参照と共に記録される。残りのパルスは、大気(雨、雪など)からの背景散乱光か、物体16からの反射光か、誤った雑音パルスを示す。物体からのパルスを背景散乱パルスから識別するため、参照検知器34は、レーザパルスはレーザスポットより大きい広がりの固体の物体16に止められ、最後に検知されたパルスは高い確率で物体16からの反射を示すという単純な仮説に基づく。出力レーザパルスが検知された後、探索プロセスが時間連鎖の終わりに始められ、時間を遡る。最後のパルスは同様に、検知時間点のピーク値と正確な補間値を有するレーザパルスとして記録される。次にピーク値はレーザのピークパワーに関して正規化され、出力パワーの変化を修正し、物体への距離が、放出パルスの時間点を差し引き、そして光速を乗じ、さらに2で除して(2方向送信のため)計算される。
記録された強度(ピーク)と距離値は、垂直走査用の全ての値が蓄積されるライン生成器に送られる。その後、全ての点が垂直角度エンコーダからの垂直走査角で標識付けされ、全てのラインが外部時間参照からの時間標識と共に、水平走査角で標識付けされる。強度値は、強度値が照明の差異よりもむしろ物体16の反射率を表わすように、選択されたTVG関数に関して更に修正される(放射測定修正)。
航行データ(位置、コース、速度、ローリング、ピッチング、ヨー)により、データポイントを相対的な距離、方位角、垂直角度から地理的座標;緯度、経度、海抜に変換することが出来る。これは「地理的修正」と呼ばれるプロセスにより達成される(図7)。もしレーザビーム及び視野が上記のように安定していない場合、画像モニタに表示する前に、航行データを使用してローリング、ピッチング及び航路偏移(ヨー)を修正可能である。
修正された線データは走査データ保管装置に集められ、それは完全な走査画像を表わす。走査データ保管装置は、新しい線が生成されると線毎に更新される。画像表現プロセッサは、走査データ保管装置よりデータを収集し、カメラのような中央投影とレーダ用の垂直投影(PPI)の両方で走査画像を生成する。
ARPAモジュールは、走査セクタ内の物体16の検知のため走査データ保管装置を分析する。検知された物体16は物体データベース内に集められ、走査と走査の間の対比に基づいて静止か移動中に分類される。最近接接近点(CPA)及びCPAへの時間(TCPA)は、従来型のARPAレーダと同様に、全ての物体16に対して計算される。CPAが当該船舶の定義された安全領域内に位置する場合、NMEA/IEC基準(参照4)に従って、ARPAメッセージが他の航行モニタ(ECDIS、レーダ)と船舶警報システムに送られる。
(変更)
上記の航海レーザレーダシステムは、較正要素の他の選択による他の多くの方法で実行可能である。ラインスキャナ45,46(図4)は、リレイプリズム、光学伝送格子及びホログラム光学要素(HOE)のような、ある範囲の光学要素43,44(図4)で実行可能であり、それらは全てレーザビームを固定角度で入射ビームに対して偏向可能である。これらの中で、光学伝送格子(ボリューム・ブラッグ格子、VBG)及びHOEはここで記載する回転構造体においてはとくに適切な構成要素である。走査速度を単一の検知器の使用に比べて向上させるため、検知器の配列を使用する可能性については既に述べた。高い走査速度においては、この配列が使用されるが、必須な構成要素がある。従来は、ラインスキャナは単一の鏡を振動させるか多面の鏡を回転させることにより実行されて来た。画像走査システムに必要な、鏡によるレーザビームと大きな受光開口部の同期走査により、これらシステムはしばしば大きな寸法を必要とし(多面鏡)、またパワーを消費し(鏡の振動)、振動する鏡も又光学機械構造物の中で大きな振動を生成する。
走査ユニットの大きな寸法が許容出来れば、回転する多面鏡によって本願の走査装置を実現することが出来る。その場合、この多面鏡はラインスキャナ45,46(図4)に代替する。
方位角スキャナ(走査機構20)において、方位角スキャナの内部回転の代わりに、走査ユニット全体が外部モータにより回転可能である。この場合円筒形窓23(図4)は、検知システムの視野をカバーする、より小さな平面窓で代替可能である。
図4で示された、レーザビームが受光光学系から離れているビームの配置に替わって、レーザビームが、鏡又はプリズムによりラインスキャナの前で受光機の視野に折り曲げられてもよい。これにより偏向要素43,44及び受光開口部の寸法を縮小出来る。
(参照)
1)NEK EN60825−1/IEC60825−1,Ed1.2,2001−08;レーザ製品の安全−パート1:機器の格付け、要件とユーザガイド
2)高速船舶(HSC)用暗視装置の性能基準、MSC72/Add.1/Annex12,Res.MSC.94(72)(2000年5月22日適用)
3)ISO16273:2003(E);船舶及び航行技術−高速船舶用暗視装置の走査及び性能要件、検査方法及び要求検査結果
4)NMEA0183v3.01,NMEA2000
10:走査ユニット 11:制御ユニット 12:オペレータパネル
13:中央方向 14:垂直セクタ 15:水平セクタ
16:物体 17:足跡 18:線
19,20:走査機構(スキャナ)

Claims (14)

  1. 高速船舶及び他の船舶の航路内の物体(16)の検知と画像化及び、航海安全に対するリスクとなる恐れのある前記物体についての警告のためのシステムであって、
    前記船舶は航行及び通信システム(28)を備え、
    前記システムが、
    システムの視野内の前記物体(16)のレーザ照明用の走査ユニット(10)と、
    制御ユニット(11)と、
    オペレータパネル(12)と、
    を有するシステムにおいて、
    前記走査ユニット(10)が、
    光源(30)と、
    前記光源は、レーザビーム(33)を前記システムの視野の内に放出するように備えつけられた目に安全な赤外レーザであり、
    光学検知器(34)を含む光学系/センサ及びパルス処理ユニット(21)と、光学フィルター(36)と、対物レンズ(37)と、光学検知器(38)と、およびパルス処理ユニット(21)と、
    前記光学系/センサ及びパルス処理ユニット(21)は、前記レーザビーム(33)の出力パワーを監視し、前記物体(16)までの距離の測定用のトリガパルスを生成し、前記物体(16)から反射された放射エネルギーを受信/検知し、前記反射する物体(16)までの距離を放射光と反射光パルスの時間差に基づいて計測し、前記パルスのエネルギーとピークパワーを計測し、
    第1(19)と第2(20)の走査機構と、
    前記走査機構は、前記レーザビーム(33)を2つの軸のまわりに走査するように設定され、前記第1の走査機構(19)はレーザスポット(17)を走査線(18)に沿って分布させるように設定され、一方前記第2の走査機構(20)は前記走査線(18)の方位角を偏移させるように設定され、それにより前記走査線(18)が周囲にわたって全ての視界を満たし、
    からなり、
    前記走査ユニット(10)がレーザスポットの規則的パターンを水面上に生成するように設定され、
    部分的に重複する前記レーザスポット(17)が、前記第1の走査機構(19)により前記船舶からのラジアル走査線(18)に沿い、前記第2の走査機構(20)により前記走査線を垂直軸の周りに回転させることにより、生成され、
    それにより前記船舶の周りの周囲全体又は周囲の一部(即ち区画)の水面が重複する前記レーザスポットによりカバーされる、
    ことを特徴とするシステム。
  2. 前記走査ユニット(10)が、水平面と垂直面の両方において、短時間の航路からの偏移を含む船舶のローリング及びピッチング動作から走査領域を安定させる、ことを特徴とする請求項1に記載のシステム。
  3. 前記第1の走査機構(19)が、リスレイプリズム、透過型光学格子、光学回折素子などの2つの互いに反対方向に回転するビーム偏向要素(43,44)を有し、それぞれの前記ビーム偏向要素(43,44)は電気モータ(45,46)に搭載されており、前記ビーム偏向要素(43,44)は、前記レーザビームと受光機視野を垂直な走査線に沿って走査するために、反対方向同じ速度で回転する、ことを特徴とする請求項1に記載のシステム。
  4. 前記第2の走査機構(20)が、前記第2の走査機構(20)の回転軸に対し約45度の向きに配置される回転鏡(47)を有し、前記第2の走査機構(20)は、前記第1の走査機構(19)と組合わされて垂直走査線(18)を規則的なパターンで水平に移動させ、選択された走査領域が部分的に重複したレーザビームでカバーされるように設定される、ことを特徴とする請求項1−3のいずれかに記載のシステム。
  5. 前記第1の走査機構(19)は、前記第2の走査機構(20)と組合わされて、前記レーザビームと前記視野を直線的なラジアル線に沿って走査し、前記線は、前記第1の走査機構(19)と同期して規則的な角度ステップで水平方向に偏移される、ことを特徴とする請求項3又は4に記載のシステム。
  6. 前記第1の走査機構(19)で生成された前記走査線(18)が、前記第2のビーム偏向要素(44)用の前記モータ(46)の位相を前記第1のビーム偏向要素(43)用の前記モータ(45)の位相に対して調整することにより、ある一定の角度だけ前記モータ(45,46)の周りを回転させられうる、ことを特徴とする請求項3に記載のシステム。
  7. 前記第1の走査機構(19)からの前記走査線が、前記第2の走査機構(20)の回転と同期して回転させられ、前記線が、前記鏡(47)の入射面に対し固定された、前記鏡の面に対し垂直な角度を維持する、ことを特徴とする請求項3−6のいずれかに記載のシステム。
  8. ローリング、ピッチング及びヨー角度は測定され、前記システムに対する1組の補正角度に変換される、ことを特徴とする請求項2に記載のシステム。
  9. 前記第1の走査機構(19)は、前記第2のビーム偏向要素(44)用のモータ(46)の位相を前記第1のビーム偏向要素(43)用の前記モータ(45)の位相に対して調整することにより、垂直からの偏移を補正し、ラインスキャン角度は、前記第2の走査機構(20)内の前記鏡の垂直面に対し、前記計算された補正角度に従ったある角度だけ回転され、及び/又は、
    前記第2の走査機構(20)は、前記鏡(47)を前記計算された補正角度に従ったある角度だけ回転することにより、方位角の偏移を補正し、及び/又は、
    前記第2の走査機構(20)は更に、前記鏡(47)を、前記第2の走査機構(20)の回転軸に垂直な軸の周りに、前記計算された補正角度に従ったある角度だけ回転(傾斜)させることにより、高さの偏移を補正する、ことを特徴とする請求項3−8のいずれかに記載のシステム。
  10. 前記制御ユニット(11)は、モータ(45,46)の速度と位相、及びレーザパルスの放出を制御するように設定された、走査モータ制御装置(24)を有し、それにより前記レーザスポットが、前記走査領域内で水平方向及び垂直方向の両方で相互に固定された距離を獲得する、ことを特徴とする請求項1−9のいずれかに記載のシステム。
  11. 前記システムは、航路、速度及び姿勢(ローリング、ピッチング、ヨー)に関するデータを船舶の前記航行及び通信システム(28)より受信し、また、情報の表示に関して船舶のビデオ表示システムより受信する、ことを特徴とする請求項1−10のいずれかに記載のシステム。
  12. 前記制御ユニット(11)は、モニタ画像を前記オペレータパネル(12)上に生成する手段及び/又はソフトウェアを備える、画像及び制御プロセッサ(27)を有し、
    戻り信号の強度と3D位置は、カメラ用の中央投影とレーダ用の垂直投影の両方で表示される、ことを特徴とする請求項1に記載のシステム。
  13. 前記画像及び制御プロセッサ(27)は、前記システムの視野内の他の船舶又は物体(16)を検知するため前記戻り信号を分析し、標準化された画像シンボルを前記モニタ上に生成し、そして、計算された位置、最短接近点(CPA),最短接近点までの時間(TCPA)及び検知された前記物体(16)の航路と速度に関して、NMEA/IECのような標準化されたメッセージをECDIS又はレーダのような他の航行システムに送信する、手段及び/又はソフトウェアを備える、ことを特徴とする請求項1に記載のシステム。
  14. 前記画像及び制御プロセッサ(27)は、前記物体(16)までの最短接近点(CPA)が前記船舶の定義された安全領域の内にある場合、標準化された警報メッセージを前記船舶の警報システムに送信する、手段及び/又はソフトウェアを備える、ことを特徴とする請求項1に記載のシステム。
JP2011522925A 2008-08-12 2009-08-12 船舶の航路上の物体の検知と画像化のシステム Active JP5702720B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NO20083495 2008-08-12
NO20083495A NO332432B1 (no) 2008-08-12 2008-08-12 System for deteksjon og avbildning av objekter i banen for marine fartoy
PCT/NO2009/000286 WO2010024683A1 (en) 2008-08-12 2009-08-12 System for the detection and the depiction of objects in the path of marine vessels

Publications (2)

Publication Number Publication Date
JP2011530712A JP2011530712A (ja) 2011-12-22
JP5702720B2 true JP5702720B2 (ja) 2015-04-15

Family

ID=41721673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011522925A Active JP5702720B2 (ja) 2008-08-12 2009-08-12 船舶の航路上の物体の検知と画像化のシステム

Country Status (7)

Country Link
US (1) US8665122B2 (ja)
EP (1) EP2310875A4 (ja)
JP (1) JP5702720B2 (ja)
AU (1) AU2009286254B2 (ja)
CA (1) CA2732418C (ja)
NO (1) NO332432B1 (ja)
WO (1) WO2010024683A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101113312B1 (ko) * 2009-12-10 2012-03-13 이성종 선박 충돌방지 시스템 및 선박 충돌방지 방법
JP5561183B2 (ja) * 2011-01-21 2014-07-30 アイコム株式会社 ターゲット識別装置およびターゲット移動予測プログラム
JP2012225821A (ja) * 2011-04-21 2012-11-15 Ihi Corp レーザセンサ装置
JP5741833B2 (ja) * 2011-05-10 2015-07-01 株式会社Ihi レーザレーダ装置及びレーザレーダ法
GB2518067B (en) * 2011-05-23 2015-05-13 Ion Geophysical Corp Marine threat monitoring and defense system
CA2871502C (en) 2012-04-26 2021-06-08 Neptec Design Group Ltd. High speed 360 degree scanning lidar head
ITUD20120187A1 (it) * 2012-11-07 2014-05-08 Eidon Lab S C A R L Apparecchiatura e procedimento di rilevazione per rilevare ostacoli alla navigazione per via d'acqua
JP6069628B2 (ja) * 2012-12-03 2017-02-01 北陽電機株式会社 偏向装置、光走査装置及び走査式測距装置
US9135826B2 (en) * 2012-12-26 2015-09-15 Sap Se Complex event processing for moving objects
IL224130A (en) * 2013-01-07 2017-01-31 Brightway Vision Ltd Identify objects using a confusion system
US10247822B2 (en) 2013-03-14 2019-04-02 Navico Holding As Sonar transducer assembly
NO335488B1 (no) * 2013-03-22 2014-12-22 Kongsberg Seatex As Posisjonsreferansesystem og fremgangsmåte for posisjonering og sporing av ett eller flere objekter
CN104797494B (zh) * 2013-08-02 2017-11-17 佳明瑞士有限责任公司 具有改进的轮廓线的海事导航装置
EP3441790A1 (en) 2013-10-23 2019-02-13 Ladar Limited A laser detection and ranging device for detecting an object under a water surface
US9418558B1 (en) * 2014-03-25 2016-08-16 The United States Of America As Represented By Secretary Of The Navy Autonomous collision avoidance navigation system and method
KR101541144B1 (ko) * 2014-08-27 2015-08-03 국방과학연구소 근접 센서의 방위정보를 이용한 수중표적위치 추정기법 및 장치
RU2584920C1 (ru) * 2014-10-31 2016-05-20 Российская Федерация, от имени которой выступает государственный заказчик Министерство промышленности и торговли Российской Федерации (Минпромторг России) Комплект персонального навигационного оборудования для маломерных судовых плавсредств
US10597130B2 (en) 2015-01-15 2020-03-24 Navico Holding As Trolling motor with a transducer array
US11209543B2 (en) 2015-01-15 2021-12-28 Navico Holding As Sonar transducer having electromagnetic shielding
US10539666B2 (en) 2015-01-21 2020-01-21 Mitsubishi Electric Corporation Laser radar device
JP6541365B2 (ja) * 2015-02-16 2019-07-10 株式会社トプコン 姿勢検出装置及びデータ取得装置
JP6616077B2 (ja) * 2015-02-16 2019-12-04 株式会社トプコン 測定装置及び3次元カメラ
US9784832B2 (en) 2015-03-05 2017-10-10 Navico Holding As Systems and associated methods for producing a 3D sonar image
FR3045991B1 (fr) * 2015-12-17 2018-09-07 BSB Artificial Intelligence GmbH Procede et dispositif de detection d'un objet flottant pour bateau
US10719077B2 (en) 2016-10-13 2020-07-21 Navico Holding As Castable sonar devices and operations in a marine environment
WO2018137131A1 (en) 2017-01-24 2018-08-02 SZ DJI Technology Co., Ltd. Flight indication apparatuses, systems and associated methods
CN110383647B (zh) 2017-03-29 2022-10-25 深圳市大疆创新科技有限公司 中空马达设备及相关系统和方法
WO2018176274A1 (en) 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. A lidar sensor system with small form factor
WO2018176290A1 (en) 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. Light detection and ranging (lidar) signal processing circuitry
US10338198B2 (en) 2017-04-03 2019-07-02 Ford Global Technologies, Llc Sensor apparatus
US10488494B2 (en) 2017-04-03 2019-11-26 Ford Global Technologies, Llc Sensor apparatus
WO2018195986A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser sensors
EP3615955A4 (en) 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
CN110573928B (zh) 2017-04-28 2021-10-08 深圳市大疆创新科技有限公司 光检测和测距系统中的角校准
KR101967049B1 (ko) * 2017-06-28 2019-04-09 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
EP3424304B1 (de) * 2017-07-04 2021-05-26 Andreas Stihl AG & Co. KG Garten- und/oder forstsystem zur drahtlosen bestimmung von abständen
JP6891375B2 (ja) 2017-07-20 2021-06-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 光学距離測定のためのシステム及び方法
EP3631508A4 (en) 2017-07-31 2020-06-24 SZ DJI Technology Co., Ltd. MOTION-BASED PRECISION CORRECTION IN POINT CLOUDS
JP6293960B1 (ja) * 2017-08-10 2018-03-14 善郎 水野 衝突回避支援システム
JP6888216B2 (ja) 2017-08-31 2021-06-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 物体までの距離を測定するための装置および方法
CN108627851B (zh) * 2018-04-20 2021-05-11 金华市蓝海光电技术有限公司 一种用于激光雷达传感器的一体式旋转机芯
KR20210018925A (ko) * 2018-06-07 2021-02-18 바라자 피티와이 엘티디 광학 빔 지향기
US11921218B2 (en) * 2018-11-30 2024-03-05 Garmin Switzerland Gmbh Marine vessel LIDAR system
CN111749201B (zh) * 2020-06-22 2021-06-18 上海中交水运设计研究有限公司 桥体防船舶碰撞常潜式趸船锚定应激气囊前置拦阻系统
WO2022195670A1 (ja) * 2021-03-15 2022-09-22 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62231190A (ja) * 1986-04-01 1987-10-09 Yamaha Motor Co Ltd 衝突警報装置
JPH04110685A (ja) * 1990-08-30 1992-04-13 Nec Corp レーザレーダ装置
JPH05100181A (ja) * 1991-10-04 1993-04-23 Minolta Camera Co Ltd 走査方式
US5249046A (en) 1992-03-30 1993-09-28 Kaman Aerospace Corporation Method and apparatus for three dimensional range resolving imaging
US5465142A (en) 1993-04-30 1995-11-07 Northrop Grumman Corporation Obstacle avoidance system for helicopters and other aircraft
JPH07218633A (ja) * 1993-12-08 1995-08-18 Nikon Corp 距離測定装置
JPH08105971A (ja) * 1994-10-05 1996-04-23 Hitachi Ltd マルチパルスによる測距方法とその装置
US6005682A (en) * 1995-06-07 1999-12-21 Xerox Corporation Resolution enhancement by multiple scanning with a low-resolution, two-dimensional sensor array
JP3646270B2 (ja) * 1995-07-17 2005-05-11 東急建設株式会社 走行式測量装置
JP3446466B2 (ja) * 1996-04-04 2003-09-16 株式会社デンソー 車間距離制御装置用の反射測定装置及びこれを利用した車間距離制御装置
JP2874669B2 (ja) * 1996-10-31 1999-03-24 日本電気株式会社 レーザレーダ
JP2998692B2 (ja) * 1997-04-18 2000-01-11 日本電気株式会社 レーザーレーダー測定方法及び装置
JPH1123709A (ja) * 1997-07-07 1999-01-29 Nikon Corp 距離測定装置
JPH11311671A (ja) * 1998-04-28 1999-11-09 Mitsubishi Heavy Ind Ltd 航行障害物探知操船装置
JP3169074B2 (ja) * 1998-09-25 2001-05-21 日本電気株式会社 レーザレーダ装置
US6344937B1 (en) * 1999-03-03 2002-02-05 Raytheon Company Beam steering optical arrangement using Risley prisms with surface contours for aberration correction
US6836285B1 (en) * 1999-09-03 2004-12-28 Arete Associates Lidar with streak-tube imaging,including hazard detection in marine applications; related optics
US6380871B1 (en) * 1999-11-30 2002-04-30 Optical Systems, Inc. System for and method of searching for targets in a marine environment
JP2001183461A (ja) * 1999-12-27 2001-07-06 Minolta Co Ltd 距離測定装置
JP2002277812A (ja) * 2001-03-22 2002-09-25 Nec Corp レーザ走査方法並びに走査装置
JP3810729B2 (ja) * 2002-10-29 2006-08-16 三菱重工業株式会社 海上探索システム、及び、海上探索方法
US6985212B2 (en) * 2003-05-19 2006-01-10 Rosemount Aerospace Inc. Laser perimeter awareness system
JP4653473B2 (ja) * 2004-08-06 2011-03-16 株式会社リコー 光走査装置・画像形成装置
US7336407B1 (en) * 2005-07-28 2008-02-26 Lockheed Martin Corporation Scanner/pointer apparatus having super-hemispherical coverage
JP2007187618A (ja) 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP4890924B2 (ja) * 2006-04-27 2012-03-07 オムロンオートモーティブエレクトロニクス株式会社 レーダ装置
US7697125B2 (en) 2007-05-11 2010-04-13 Rosemount Aerospace Inc. Scanning ladar with adjustable operational parameters

Also Published As

Publication number Publication date
EP2310875A4 (en) 2014-03-05
CA2732418C (en) 2016-09-27
US20110128162A1 (en) 2011-06-02
AU2009286254A1 (en) 2010-03-04
NO332432B1 (no) 2012-09-17
US8665122B2 (en) 2014-03-04
EP2310875A1 (en) 2011-04-20
NO20083495L (no) 2010-02-15
WO2010024683A1 (en) 2010-03-04
JP2011530712A (ja) 2011-12-22
AU2009286254B2 (en) 2015-01-29
CA2732418A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
JP5702720B2 (ja) 船舶の航路上の物体の検知と画像化のシステム
US11774557B2 (en) Distance measurement instrument with scanning function
US9879990B2 (en) Position reference system and method for positioning and tracking one or more objects
US6693561B2 (en) System for and method of wide searching for targets in a marine environment
EP1423732B1 (en) System and method of measuring flow velocity in three axes
US7710545B2 (en) Scanned laser detection and ranging apparatus
US4926050A (en) Scanning laser based system and method for measurement of distance to a target
US20070103699A1 (en) Multiple fanned laser beam metrology system
JP2015502540A (ja) 動き安定lidarおよび風の速さの測定方法
JP2007527512A (ja) 風速測定装置および方法
US10073165B2 (en) Distance measurement instrument with scanning function
KR100351018B1 (ko) 목표물 탐지용 배열체
US20190120965A1 (en) Method and system of digital light processing and light detection and ranging for guided autonomous vehicles
KR101814129B1 (ko) 라이다 시스템의 광학 장치
US20220326356A1 (en) 360 degree lidar system for underwater vehicles
US4964724A (en) Radiation receiving mast
CN115615429A (zh) 基于光纤惯导和三维激光雷达的三维模型建立装置及建立方法
Neuwirth et al. Polarization and turbulence effects measured at the Nettuno Trails Italy, 1998
Garcia-Legaz et al. An electro-optical surveillance system application for ship collision avoidance

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130619

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130912

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140925

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150220

R150 Certificate of patent or registration of utility model

Ref document number: 5702720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250