JP6667943B2 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
JP6667943B2
JP6667943B2 JP2015199037A JP2015199037A JP6667943B2 JP 6667943 B2 JP6667943 B2 JP 6667943B2 JP 2015199037 A JP2015199037 A JP 2015199037A JP 2015199037 A JP2015199037 A JP 2015199037A JP 6667943 B2 JP6667943 B2 JP 6667943B2
Authority
JP
Japan
Prior art keywords
image
camera
ship
image generation
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015199037A
Other languages
English (en)
Other versions
JP2016082586A (ja
Inventor
正敏 曲渕
正敏 曲渕
穣司 樋口
穣司 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Radio Co Ltd
Original Assignee
Japan Radio Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Radio Co Ltd filed Critical Japan Radio Co Ltd
Publication of JP2016082586A publication Critical patent/JP2016082586A/ja
Application granted granted Critical
Publication of JP6667943B2 publication Critical patent/JP6667943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、回転しまたは振り動き得る部材に取り付けられたカメラを駆使することにより、所望の画像を生成する画像生成装置に関する。
商船等の大型船舶には、従来より、例えば、以下のような電子機器が安全の確保のために搭載されている。
(1) 他船の存在または航跡の監視や追尾を可能とするレーダ
(2) 接岸計
また、小型船や木造船などについては、レーダでは必ずしも検知されないため、接岸時における安全の確保を目的として、従来より目視による確認が行われていた。
なお、本発明に関連性がある先行技術としては、以下に列記する特許文献1〜特許文献8があった。
(1) 特許文献1
「幾つかのセンサによって、特に赤外線及び/または可視の波長範囲での撮像センサ(L、W、V)と合成開口の生成に基づいているレーダー装置(R)とを用いて、物体を認識して識別する方法であって、合成開口の生成が、ROSAR原理に従って生じ、レーダー装置(R)が有する複数のアンテナ要素(A)が、航空機(F)上にそのカーブした輪郭(K)に沿って配置され、連続に制御されて走査され、レーダー装置(R)及び撮像センサ(L、W、V)によって得られる情報が、航空機(F)の周辺の最適な撮像が各視野方向において可能とされるように、連続的に処理され、かつ撮像センサ(L、W、V)は、航空機のノーズに一体化されており、特には、レーザーレーダー装置、熱撮像装置またはビデオカメラである」ように構成されることによって、「飛行方向においてもSARレーダー装置及びIRセンサを用いて物体を認識して識別することが可能である」点に特徴がある方法
(2) 特許文献2
「所定の車線に進入する車両の映像を撮像するカメラと、レーザが発射されてから前記レーザが前記車両の表面で反射した反射光が受光されるまでの飛行時間に基づいて前記車両の立体形状を示す距離画像を間欠的に生成するフラッシュレーザレーダと、前記距離画像に基づいて前記カメラを制御する」ことによって「車両をより確実に撮像する」点に特徴がある車両撮像カメラ制御装置
(3) 特許文献3
「光学センサ(3)と、レーダ装置(2)と、光学センサおよびレーダ装置と通信的に接続されている信号処理部(4)とを備え、前記信号処理部は、前記光学センサから送信されてくる第1信号に基づいて第1物体を検出し、前記第1物体の少なくとも1つの第1特性を決定するための、第1検出器(41、410〜413)と、前記レーダ装置から送信されてくる第2信号に基づいて第2物体を検出し、前記第2物体の少なくとも1つの第2特性を決定するための、第2検出器(42、420〜421)と、前記少なくとも1つの第1特性および前記少なくとも1つの第2特性が、所定の条件を満たした場合に、信号を生成するための、信号ユニット(43)とを備える」ことによって、「物体を知らせる信号が誤って発せれられることがほとんどない、少なくとも既知の装置よりもそのようなことが少ない」点に特徴がある検出システム
(4) 特許文献4
「所定領域へ向けて電波を照射し、物体からの反射波を受信して、少なくとも前記物体の相対速度及び位置を取得し、一つの送信アンテナから電波を送信し二つの受信アンテナで受信することにより物標の方位角度を検出する検出手段と、所定領域の画像情報を撮像する撮像手段と、前記撮像手段の撮像方向を変える可動手段とを有し、
前記物体の相対速度及び位置に基づいて、前記撮像手段の撮像方向を前記物体に向けるように前記可動手段を制御する」ことによって、「検出精度を低下させることなく簡易な」点に特徴がある屋外用セキュリティシステム
(5) 特許文献5
「複数の視点で異なる情報を表示可能な表示方向制御型の表示装置を使用する画像表示システムにおいて、前記表示装置を観察する対象者の前記表示装置からの位置情報を検出する位置情報検出手段と、該位置情報検出手段が検出した位置情報に基づいて前記対象者に対する視野を求めて前記表示装置に適切な画像情報を表示する表示画像制御手段とを備え、かつ前記位置情報検出手段は、前記表示装置の位置に設けられたカメラである」ことによって、「運転中又は移動中の車両や人を検出して、必要な情報を適切に表示して提供可能にする」点に特徴がある画像表示システム
(6) 特許文献6
「複数の壁を含むセンサモジュールハウジングと、光波に基づいて画像を捕捉するように前記モジュールハウジング内に配置されたカメラ要素と、レーダービームを放射し、レーダー反射信号を受信するように前記モジュールハウジング内に配置されたレーダーセンサ要素と、捕捉された前記画像及び受信された前記レーダー反射信号を演算処理し、一つ又はそれ以上の対象物の存在の検出を表示するための演算処理回路とを含む」ことによって、「車両で使用するためにレーダーセンサ及びカメラセンサを一体化すると、センサの費用及び車両との一体化に要する費用が大幅に低下し、高性能のアクティブ安全システムを多くの車両の標準装備として提供できる」点に特徴があるセンサモジュール
(7) 特許文献7
「マイクロ波を発生する発振回路、マイクロ波を走行車両に照射し、走行車両からの反射波を受信するアンテナ、反射波と照射した送信波とを混合する混合器、送信波と受信波との周波数の差を取り出す帯域フィルタおよび帯域フィルタの出力を増幅する増幅器からなるレーダ送受器と、前記増幅器の出力から走行車両の速度を計測する速度計測回路、計測した速度が一定のしきい値を越えている場合、撮影指令を出力する撮影指令回路、撮影指令回路から走行車両の速度や撮影時刻等の情報を受けて撮影画像に重畳する情報を記録する画像情報記録部、撮像装置からの画像信号に画像情報記録部からの画像情報を重畳する画像情報重畳部および画像情報重畳部で重畳された撮影画像を保存する画像記録部からなる制御機と、撮影指令を受けて走行車両の静止画像を撮影するTVカメラを備えて撮影した画像信号を送出する撮像装置とを備えた自動撮像装置において、上記レーダ送受器内に発振回路の出力を識別信号で変調する変調器、変調器を駆動する識別信号発生回路、識別信号発生回路の識別信号の周波数を制御する信号制御回路、識別信号で変調された走行車両の反射波から識別信号を取り出す第2の帯域フィルタ、前記帯域フィルタの出力信号の周波数および識別信号発生回路の識別信号の周波数を各々計数する第1の周波数計数回路、第2の周波数計数回路並びに上記第1および第2の周波数計数回路の計数結果を比較して識別信号を検出する識別信号検出回路を備え、制御機内に識別信号検出回路の検出出力および速度計測回路の速度情報によって撮像装置に撮影指令を出力する撮影指令回路とを備えた」ことによって、「速度違反の自動撮像装置において他の装置からの干渉波によって生じた疑似ドップラ周波数を計測し、その結果、撮影指令が出力されることがあった」点を改善できる自動撮像装置
(8) 特許文献8
「無人航空機(1)に搭載したTVカメラ(4)から送信されるTV画像により、地上に設置されたコックピット(2)内で無人航空機の着陸誘導を行うためのTV画像装置において、(A)無人航空機(1)に搭載した、TVカメラ(4)と、TV送信器(5)と、姿勢角センサ(6)と、電波高度計(7)と、データリンク送信器(8)と、(B)地上コックピット(2)に設置した、TV受信器(9)と、データリンク受信器(10)と、信号処理装置(11)と、画像強調装置(12)と、TVモニタ(13)と、(C)地上レーダ(3)から成り、(D)前記地上レーダ(3)は、無人航空機に対する地上レーダのアンテナ・アジマス角(Az )と、アンテナ・エレベーション角(El )と、無人航空機までの距離(RA )を検知し、(E)前記信号処理装置(11)は、地上レーダ(3)から、アンテナ・アジマス角(Az )と、アンテナ・エレベーション角(El )と、無人航空機までの距離(RA )を入力して、無人航空機の位置を算出するとともに、無人航空機(1)から、姿勢角センサ(6)により検知した機体姿勢角と、電波高度計(7)により検知した高度情報を受信し無人航空機の位置情報(Az 、El 、RA )と、機体の姿勢角と、高度情報から、無人航空機搭載のTVカメラ(4)に写る水平線と滑走路を算出して、画像強調装置(12)に出力し、(F)前記画像強調装置(12)は、信号処理装置(11)から、人工的な水平線および滑走路の位置情報を入力するとともに、無人航空機から、無人航空機のTVカメラ(4)で撮影した無人航空機の前方の風景を入力して、TV画像上に、信号処理装置で算出した人工的な水平線と滑走路を重ねて表示し、TVモニタ(13)に出力する」ことによって、「雲が多い天候時でも確実に無人航空機を着陸することができる」点に特徴がある着陸誘導用画像装置
特表2004−524547号公報 特開2006−287650号公報 特表2006−521557号公報 特許第3760918号公報 特開2009−237649号公報 特表2012−505115号公報 特開2000−003495号公報 特開平9−193897号公報
ところで、上述した目視には、確保可能な要員の数、並行して確認や監視を要する箇所が複数に亘り得るために、カメラが併用される場合もあった。
しかし、このようなカメラによる確認や監視は、例えば、大型船舶においては、船首、船尾、右舷、左舷などにそれぞれカメラが配置されなければならない。
したがって、安全の確保に有効ではあっても、実際には、コストの制約によってカメラの設置が見送られ、あるいは設置されるカメラの台数が十分には確保されない場合が多かった。
本発明は、大幅な構成の複雑化やコストの増加を伴うことなく、従来行われることがなくあるいは困難であった画像による観測や監視を可能とする画像生成装置を提供することを目的とする。
請求項1に記載の発明では、画像取得手段は、船舶に設置されて、回転し、または振り動き得る部材に取り付けられたカメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する。被写界識別手段は、前記船舶の位置、経路、目的地、属性と、前記船舶の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべき被写界を識別する。前記画像生成手段は、前記船舶が接岸する際に、前記被写界識別手段によって識別された前記被写界に相当する部分画像を生成する。特に、請求項2に記載の発明では、前記被写界識別手段は、前記船舶が接岸を開始したときに、前記船舶の船首方向の領域を前記被写界として識別し、そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記船首方向の前記領域に相当する部分画像を生成し、さらに、前記被写界識別手段は、岸壁に対する前記船舶の距離が所定の閾値を下回ったときに、前記船舶の舷側の領域を前記被写界として識別し、そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記舷側の前記領域に相当する部分画像を生成する。
すなわち、カメラによって撮像される画像は、そのカメラが回転しまたは振り動き得る部材に取り付けられることを前提として、上記処理が施されることによって、カメラの数が少ない場合であっても、所望の被写界について得られる。
請求項に記載の発明では、請求項1に記載の画像生成装置において、前記カメラは、魚眼カメラである。前記画像生成手段は、前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、前記画像を生成する。
このような画像は、中心投影方式とは異なる投影方式により被写界が広く設定された魚眼カメラによって撮像され、かつ上記光学的歪みの軽減や是正が図られることによって得られる。
請求項に記載の発明では、画像取得手段は、船舶に設置されて、回転し、または振り動き得る部材に取り付けられた複数pのカメラによって個別に撮像された複数pの画像を取り込む。画像生成手段は、前記撮像された複数pの画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する。被写界識別手段は、前記船舶の位置、経路、目的地、属性と、前記船舶の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべき被写界を識別する。前記画像生成手段は、前記船舶が接岸する際に、前記被写界識別手段によって識別された前記被写界に相当する部分画像を生成する。また、前記画像生成手段は、前記部材が搭載された前記船舶、もしくは前記部材の揺動のベクトルと、前記船舶の位置または姿勢と、前記部材の振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数pの画像に施し、被写界の変動および不足を補償する。特に、請求項5に記載の発明では、前記被写界識別手段は、前記船舶が接岸を開始したときに、前記船舶の船首方向の領域を前記被写界として識別し、そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記船首方向の前記領域に相当する部分画像を生成し、さらに、前記被写界識別手段は、岸壁に対する前記船舶の距離が所定の閾値を下回ったときに、前記船舶の舷側の領域を前記被写界として識別し、そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記舷側の前記領域に相当する部分画像を生成する。
すなわち、複数pのカメラによって個別に撮像された複数pの画像は、これらのカメラが回転しまたは振り動き得る部材に取り付けられることを前提として、上記処理が施されることによって、カメラの数が少ない場合であっても、所望の被写界について得られる。
請求項に記載の発明では、請求項に記載の画像生成装置において、前記複数pのカメラは、魚眼カメラである。前記画像生成手段は、前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、複数pの画像を生成する。
これらの画像は、中心投影方式とは異なる投影方式により被写界が広く設定された魚眼カメラによって撮像され、かつ上記光学的歪みの軽減や是正が図られることによって得られる。
請求項に記載の発明では、請求項に記載の画像生成装置において、前記複数pのカ
メラの全てまたは一部の画角θvcは、標準レンズの画角θvcsより大きい。前記複数
pは、前記画角θvcが前記画角θvcsに等しい場合に前記被写界の像が前記複数pの
画像に総合的に包含されるために必要な値以下である。
すなわち、上記複数pのカメラの画角θvcが標準レンズより広く設定されることによって、これらのカメラの数pが少なくても、所望の被写界の像が確度高く得られる。
請求項に記載の発明では、請求項4から7に記載の画像生成装置において、前記複数pのカメラは、前記被写界の像が前記複数pの画像に総合的に包含され得る位置および姿勢で、前記部材に取り付けられる。
すなわち、部材と所望の被写界との相対的な位置や距離が勘案されつつ、複数pのカメラがその部材に好適な位置および姿勢で配置される。
請求項に記載の発明では、請求項7または8に記載の画像生成装置において、制御手段は、前記被写界の像が前記複数pの画像に総合的に包含される形態に、前記部材の位置もしくは姿勢を設定しまたは維持する。
すなわち、部材の位置や姿勢が広範に変化し、あるいは変化し得る場合であっても、所望の被写界が安定に精度よく保たれる。
請求項10に記載の発明では、請求項に記載の画像生成装置において、記憶手段は、生起し得るイベント毎に、前記複数pのカメラがとらえるべき被写界の像が前記複数pの画像に総合的に包含されるとの条件を満たす前記部材の位置もしくは姿勢が予め蓄積される。前記制御手段は、生起したイベントに対応して前記記憶手段に蓄積されている位置もしくは姿勢を前記部材に設定しまたは維持する。請求項11に記載の発明では、請求項1または4に記載の画像生成装置において、前記カメラは、赤外領域で撮像を行い、落水者を温度により検知する。請求項12に記載の発明では、請求項1または4に記載の画像生成装置において、前記接岸の際に、前記カメラの位置および姿勢が前記被写界の方向に安定に維持された状態で前記部材が停止する。
すなわち、部材の位置や姿勢が広範に変化し、あるいは変化し得る場合であっても、所望の被写界は、実際に生起したイベントが予め想定されたものである限り、そのイベントに適した領域に安定に設定され、かつ精度よく保たれる。
本発明によれば、死角の回避や緩和が図られ、しかも、従来例では行われることがなく、あるいは行われ難かった「所望の視点における被写界」についても監視や観測が可能となる。
また、本発明では、カメラの台数が少ない場合であっても、視野が広く確保され、かつ死角の緩和や解消が容易に図られる。
さらに、本発明では、所望の被写界の像を得るために備えられるべきカメラの台数pの削減が図られ、構成の簡略化およびコストの削減に併せて、信頼性の向上が図られる。
また、本発明では、構成要素の数が増加することなく、コストの削減と信頼性の向上とが図られる。
さらに、本発明では、個々のカメラは、部材の位置や姿勢の変動しても、その変動に応じた被写界の変化の吸収する機構が介在することなく取り付け可能となり、あるいはこのような機構によって可変されるべき個々のカメラの位置や姿勢の範囲が小さく抑えられる。
また、所望の被写界の像に施される画像処理によって得られるべき機能、性能、価値の何れもが、多様な環境およびその変動の下で確度高く担保される。
さらに、多様なイベントに対して柔軟に適応しつつ、画像処理の下で得られるべき機能、性能、価値の範囲、確度および精度の何れもが担保される。
本発明の第1ないし第6の実施形態の構成を示す図である。 本発明の第1ないし第5の実施形態における画像処理の原理を示す図である。 本発明の第1ないし第5の実施形態における画像バッファの構成を示す図である。 本発明の第1ないし第5の実施形態における画像バッファの動作フローチャートである。 本発明の第1ないし第5の実施形態における画像処理部の動作フローチャート図である。 本発明の第1ないし第6の実施形態においてレーダアンテナに取り付けられ得るカメラの配置を示す図である。 本発明の第1および第2の実施形態において撮像の対象となる被写界を示す図である。 本発明の第1および第2の実施形態において指示画像に対応付けられて表示されるべき画像の配置関係の一例を示す図である。 本発明によって解消または軽減される視界の制約を説明する図である。 本発明の第2の実施形態における画像処理部の動作フローチャートである。 本発明の第2の実施形態の動作を説明する図である。 本発明の第3の実施形態における制御部の動作フローチャートである。 本発明の第3の実施形態の動作を説明する図である。 本発明の第1ないし第3の実施形態における揺動防止の原理を示す図である。 本発明の第4の実施形態における画像処理部の動作フローチャートである。 本発明の第4の実施形態の動作を説明する図である。 本発明の第5の実施形態の原理を示す図である。 本発明の第6の実施形態におけるカメラの画角を示す図である。 本発明の第6の実施形態の動作を説明する図である。 本発明の第6の実施形態における制御部の動作フローチャートである。 本発明の第1ないし第6の実施形態においてカメラが取り付けられ得る他の部位を示す図である。
以下、図面に基づいて本発明の実施形態について詳細に説明する。
図1は、本発明の第1ないし第6の実施形態の構成を示す図である。
図において、カメラ11-1〜11-Nは、個々の被写界が予め決められた方向となる姿勢でレーダ20のアンテナ20Aの底部または側部に配置される。また、このようなアンテナ20Aは、レーダ20が搭載された船舶(以下、「自船」という。)の甲板上に立設されたマスト(図示されない。)の頂部またはその近傍に配置される。
これらのカメラ11-1〜11-Nの入出力ポートは、画像バッファ12の対応するポートに個別に接続される。画像バッファ12が有するN個の入出力ポートは、画像処理部13の対応するN個の入出力ポートに接続される。画像バッファ12には、上記自船の測位系(図示されない。)によって計測された自船の位置(以下、「船位」という。)LOCが入力される。画像処理部13の出力ポートは画像生成部14の第1のポートに接続され、その画像生成部14の第2のポートは、上記レーダ20の画像入力端子に接続される。レーダ20の画像出力端子と制御ポートとは、画像生成部14の第3のポートと、制御部15の特定のポートとに、それぞれ接続される。制御部15の第1ないし第3の入出力ポートは、既述の画像バッファ12、画像処理部13および画像生成部14の制御ポートにそれぞれ接続される。画像処理部13の制御端子には、レーダ20の対応する制御端子に接続される。
〔第1の実施形態〕
以下、本実施形態の動作の前提となる基本的な事項について説明する。
カメラ11-i(i=1〜N)によって撮像が行われる被写界FCAi は、下式および図2に示すように、自船(またはマスト)を基準として与えられる以下の項目(1)〜(7)の関数として定まる。
CAi =f(L,H,θVCi,fCi,(θ+θACi),θECi
=f(L,H,θVCi,fCi,ΘACi,θECi) ・・・(a)
(1) アンテナ20Aの回転軸と、カメラ11-iの撮像光学系の光軸との距離L
(2) 自船が位置する海域(水域)の水面と、カメラ11-iの実効的な撮像面との距離H
(3) カメラ11-iの画角θVCi
(4) カメラ11-iの撮像光学系の合焦距離fCi
(5) アンテナ20Aの主ローブの方位角θ
(6) 上記撮像光学系の光軸の方位角(アンテナ20Aの主ローブの方向を基準として設定される。)(以下、「カメラ方位角」という。)θACi
(7) 上記撮像光学系の光軸の仰角(アンテナ20Aの回転軸の方向(または、マストの軸の方向や鉛直方向であってもよい。)を基準として設定される。)(以下、「カメラ仰角」という。)θECi
ここに、上記方位角θ は、自船の船首方向と、真北の方向との何れを基準として与えられてもよい。
また、上式(a)の右辺にある方位角Θ は、下式に示すように、アンテナ20Aの旋回に応じてサイクリックに変化する主ローブの方位角θ と、カメラ方位角θACi との和として与えられる。
ΘACi=θ +θACi ・・・(b)
画像バッファ12は、図3に示すように、カメラ11-i(i=1〜N)に個別に対応し、これらのカメラ11-i毎に、以下の情報がファーストイン・ファーストアウト方式により個別に格納されるフィールドから構成されるレコードの集合として構成される。
(1) 時系列tの順に撮像されたフレーム(コマ)の画像情報ICit
(2) 下式(b′)で与えられるように、時系列tにおける方位角θAt、カメラ方位角θACitが上式(b)の右辺に代入されることによって得られるカメラ11-iの方位角ΘACit
ΘACit=θAt+θACit ・・・(b′)
(3) 該当するフレームがカメラ11-iによって撮像された(与えられた)時点に測位系によって与えられた自船の絶対的な位置(以下、「船位」という。)LOCCit
(4) 下式(a′)で与えられるように、時系列tにおける上式(a)の右辺の値として与えられるカメラ11-iの被写界FCAit
CAit=f(L,H,θVCi,fCi,(θAt+θACi),θECi
=f(L,H,θVCi,fCi,ΘACit,θECi) ・・・(a′)
ここに、サフィックスとして「t」を含まない項については、一定に保たれているものとする。
(5) 下式(c)で示すように、自船(マスト)ではなく、上記船位LOCCitを基準として適宜算出された絶対的な被写界FCAit′(以下、単に「被写界FCAit′」という。)
CAit′=f(FCAit,LOCCit) ・・・(c)
図4は、本発明の第1ないし第5の実施形態における画像バッファの動作フローチャートである。
図5は、本発明の第1ないし第5の実施形態における画像処理部の動作フローチャート図である。
以下、簡単のため、下記の前提i)〜iii)の下で図1〜図5を参照することにより、本実施形態の動作を説明する。
i) カメラ11-1〜11-Nの台数Nが「1」である。
ii) 1台のカメラ11-1が、図6(a)に示すように、アンテナ20Aの筐体の一端近傍の底部に、自船の甲板の方向(アンテナ20Aの下方)に被写界FCAiが確保される姿勢で配置される。
制御部15は、レーダ20と連係し、かつ図1に点線で示すように画像処理部13および画像バッファ12を介して形成されるデータリンクを介してカメラ11-1とも連係する。
カメラ11-1は、このような連係の過程で制御部15によって与えられる撮像の期間および条件の下で撮像を行い、その撮像によって時系列tの順に得られた画像情報IC1tを画像バッファ12に引き渡す。
画像バッファ12は、このような画像情報IC1tが引き渡される度に、以下の処理を行う。
(1) 画像情報IC1t取り込み、既述のレコードのうち、時系列tおよびカメラ識別子i(=1)に対応したカレントレコードの「画像情報ICit」フィールドに格納する(図4ステップS1)。
(2) レーダ20と連係する制御部15によって上記データリンクを介して引き渡された主ローブの方位角の内、上記画像情報IC1tが引き渡された時点(以下、「適応時点」という。)に引き渡された方位角θAtと、既知のカメラ方位角θAC1 とに基づいて上式(b′)で示される算術演算を行うことにより、方位角ΘAC1tを求める(図4ステップS2)。なお、上記適応時点は、例えば、カメラ11-1によって撮像が行われるフレーム周期分先行した時点であってもよい。
(3) 上記適応時点に、図示されない測位系によって与えられる船位LOCC1tを取り込み、かつ制御部15にその船位LOCC1tを引き渡す(図4ステップS3)。
(4) 既述の距離L、距離H、画角θVC1 、合焦距離fC1、カメラ方位角θAC1 、カメラ仰角θEC1 に併せて、上記方位角ΘAC1tに基づいて上式(a′)に示す算術演算を行うことにより、カメラ11-1の被写界FCA1tを求める(図4ステップS4)。
(5) 上述したカレントレコードの「方位角ΘACit」フィールド、「船位LOCCit」フィールドおよび「被写界FCAit」フィールドに、上記方位角ΘAC1t、船位LOCC1tおよび被写界FCA1tをそれぞれ格納する(図4ステップS5)。
(6) カレントレコードの「FCAit′」フィールドに、空であることを意味する「0」を格納する(図4ステップS6)。
一方、画像処理部13は、有効な画像情報IC1tが格納された画像バッファ12のレコードの内、後述する好適な複数Pのレコードの列毎に、以下の処理を行う。
(1) 制御部15によって適宜指示され、かつレーダ20の指示画像と対応付けられて、あるいは単独で操作者に提供されるべき表示領域Dを識別する(図5ステップS1)。なお、このような表示領域Dは、図7(a)〜(d)に示すように、既述の自船またはマストを基準としてその周辺に設定されるが、例えば、レーダ20を操作するユーザによって直接指定されてもよい。
(2) 上述した複数Pのレコードの内、「FCAit」フィールドに格納された被写界FCA1tの全てまたは一部が上記表示領域Dに該当するレコード(以下、「適応レコード」という。)を抽出する(図5ステップS2)。
(3) これらの適応レコードの「画像情報ICit」フィールドに含まれる画像情報IC1を合成することによって合成画像IStを生成する(図5ステップS3)。
(4) 上記合成画像IStの内、既述の表示領域Dに相当する部分画像Iptを抽出する(図5ステップS4)。
(5) 画像生成部14に、上記部分画像Iptを引き渡す(図5ステップS5)。
画像生成部14は、制御部15の配下でレーダ20と連係することにより、以下の処理を行う。
(1) レーダ20によって生成された指示画像Itを取り込む。
(2) この指示画像Itに上記部分画像Iptを適宜合成し、あるいはその指示画像It上にある物標等のオブジェクトに対応づけることによって、指示画像It′を生成する。
(3) その指示画像It′をレーダ20に引き渡す。
レーダ20は、以下の処理を行う。
(1) 図8に示すように、このようにして引き渡された指示画像It′を指示画面またはその周辺に表示する。
(2) 上記指示画像It′に含まれるオブジェクトに対して操作者が所定の操作(例えば、クリック)を行う(図8(1),(2))と、そのオブジェクトに対応つけられて画像生成部14から引き渡された部分画像Iptを指示画面上に重畳(図8(3))させて、あるいは別途備えられた多機能ディスプレイ(MFD:Multi Function Display)の画面(図7(4))上に表示する。
すなわち、本実施形態では、甲板上に立設されたマストの頂部近傍に備えられ、かつサイクリックに回転するアンテナ20Aに取り付けられたカメラ11-1が活用されることによって、その甲板上だけではなく自船の全周や周辺の模様が見通しよく動画や画像として把握可能となる。
したがって、図9に示すように、甲板上や船室に位置する人の死角の解消が確度高く柔軟に図られ、このような死角に起因する航行、操舵、荷役等々の限界が強力に緩和されると共に、安全性が高められる。
なお、本実施形態では、アンテナ20Aが一定の周期でサイクリックに回転していることが前提となっているが、これに限定されず、主ローブの方位角θAtが所望の精度で識別可能であるならば、その主ローブの方向が多様な形態で変化し、あるいは一定である場合にも、本発明は、同様に適用可能である。
また、本実施形態では、画像バッファ12、画像処理部13、画像生成部14の連係の下で行われる画像処理と、これらによる機能分散や負荷分散は既述の形態に限定されず、合成画像ISt、部分画像Iptおよび指示画像It′が好適な画像として生成されるならば、サンプリング、蓄積、抽出、重畳、合成等の画像処理は如何なる手順やアルゴリズムに基づいて実現されてもよい。
さらに、本実施形態では、カメラの台数Nが「1」に設定されている。
しかし、本発明は、このような構成に限定されず、その台数Nが複数である場合であっても、「画像バッファ12および画像処理部13が、カメラ11-1〜11-Nによって個別に引き渡される画像情報IC1t〜ICNtのそれぞれについて、既述の処理が並行して行われる」ことにより、甲板上および自船の周辺の模様の動画や画像としてより監視がより好適な形態で可能となる。
なお、このような場合における監視は、例えば、図6(b)、(c)に示すように、カメラの台数が多く設定されることによって、以下に列記する作用効果の双方もしくは何れか一方が実現可能である。
(1) アンテナ20Aの回転数が変更されることなく、監視の頻度が高められる。
(2) 既述の距離L、画角θVCi、合焦距離fCi、カメラ方位角θACi、カメラ仰角θECiが適宜異なる値に設定され、もしくは可変されることによって、監視の対象となる視野の拡大または柔軟な設定(変更)が図られる。
〔第2の実施形態〕
本実施形態では、画像処理部13の特定のポートに図示されないVDR(Voyage Data Recorder)が接続された点にある。
図10は、本発明の第2の実施形態における画像処理部の動作フローチャートである。
図11は、本発明の第2の実施形態の動作を説明する図である。
以下、図1〜図3、図10および図11を参照して本実施形態の動作を説明する
本発明の特徴は、本実施形態では、自船の位置、航路、目的地、属性、航行の形態等に応じて画像処理部13によって生成される部分画像Iptが下記の通りに設定される点にある。
本実施形態では、船首方向に進む状態における自船のスクリューの回転方向が「右周り」であると仮定する。
自船が図11(a)に示すように接岸を開始すると、画像処理部13は、以下の処理を行う。
(1) 上記接岸の開始を上記VDRから与えられるデータに基づいて識別し(図10ステップS1)、図11(a)に示すように、表示領域Dを船首方向の所定の領域に設定する(図10ステップS2)と共に、この表示領域Dtに相当する部分画像ptを生成して画像生成部14に引き渡す(図10ステップS3)。
(2) 上記VDRから与えられるデータに基づいて、あるいは手動で与えられる指令に応じて「岸壁に対する自船の距離が所定の閾値を下回った」ことを識別する(図10ステップS4)と、図11(b)に示すように、表示領域Dを左舷側に設定(図10ステップS5)し、この表示領域Dtに相当する部分画像ptを生成して画像生成部14に引き渡す(図10ステップS6)。
このような状態では、スクリューが逆転(左方向に回転)するため、船尾近傍と船首近傍と岸壁との間の距離の格差が縮まることによって接岸が図られる。
すなわち、接岸の過程における表示領域Dtは、船首方向から左舷側に自動的に切り替わる。
したがって、本実施形態によれば、操舵者に複雑な操作が強いられることなく、カメラ11-1によってとらえられる動画(画像)によって、死角が大幅に解消され、かつ安全に接岸が実現される。
なお、本実施形態では、図11(a)、(b)に示す表示領域Dtに対応する部分画像Ipt(または、その部分画像Iptが合成され、もしくは対等付けられた指示画像It′)は、以下の何れの形態で無線伝送されてもよい。また、このような無線伝送に供される無線伝送路については、接岸先の電波法の制限内において確保することが可能である。
(1) 自船上または岸壁側に備えられた無線設備(Wi−Fiルータ等であってもよい。)を介してタグボートに無線伝送されることにより、接岸のさらなる安全性の確保に供される。
(2) 「海賊による攻撃や侵入が危惧される状態で生成され、もしくはこのような攻撃や侵入の過程を示す部分画像Ipt」が、航行にかかわる機関、船会社、近隣を航行する他船等に無線伝送されることによって、航行の安全や支援に供される。
また、上述した無線伝送は、例えば、「海賊の侵入(の可能性)等の事象に際して、カメラ11-1〜11-Nによってとらえられた画像」について、下記a)〜c)の何れかに対する速やかな通知の実現のために行われてもよい。
a) 自船にかかわる船会社
b) 港湾管理、航行の支援、航路の保安等を担当する機関
c) 近くを航行する他の船舶(護衛艦を含む。)
なお、上述した事象は、手動により識別されてもよく、何らかのシステム、装置、センサーによって検知されてもよい。
また、上記無線伝送の対象には、上述した画像に併せて、以下の全てまたは一部が含まれてもよい。
(1) 該当する事象の識別子
(2) 自船の識別子、位置
(3) 自船に対する被写界の方向
(4) 時刻
さらに、上述した各実施形態では、表示領域Dtが設定され、あるいは更新されるべききっかけはどのように設定されてもよく、そのきっかけに応じて更新されるべき好適な表示領域Dtは、以下の何れであってもよい。
(1) 船速が閾値を下回ったり上回り、あるいは急激な加速や減速が行われた場合
このような船速の変化の要因が存在し得る方向
(2) 自船に搭載された傾斜計等により荷崩れ(の可能性)が検知された場合
船体の内、鉛直方向における位置が大きく変動した部位またはその部位の反対方向
(3) ダイナミックポジショニングシステムが稼働している期間
船体の周辺の全方向
(4) サイドスラスター(Side Thruster)が作動している期間
右舷側または左舷側の内、サイドスラスターによって船体が移動している一方の方向
(5) 針路が変更されている期間
予め設定された方向(航行スケジュールや操舵の経歴に基づいて自動的に設定されてもよい。)
(6) 海図上に標され、もしくはレーダ等によって探知され、あるいはAIS等によって識別され、しかも、画像による確認が望ましい目標に近づき、または近傍を航行する際
その目標が位置する方向
なお、このような目標には、下記の何れもが該当し得る。
・ 自船の針路または周辺の1マイル以内に現れ、あるいは侵入した他舶(小舟であってもよい。)
・ 浅瀬
・ 赤外線により検知されたクジラ等の生物
・ 狭い海峡等に浮設された浮標
・ 養殖施設(生け簀)
・ (電子)灯台
・ レーダによって検知されたオイルスピルや流氷
(7) AIS等を介して「緊急情報」を発した船舶が識別された際
その船舶が位置する方向
ここに、上記他船(小舟だけではなく、木造船であってもよい。)については、受信され得るレーダ反射波のレベルが著しく小さい場合であっても、赤外線カメラによって検出され、かつ併せて求められた方位や距離に基づいて指示画面上に重畳されて表示されることによって、監視能力の向上の対象とすることが可能である。
さらに、カメラ11-1〜11-Nによってとらえられる上記他船の像の方位角方向における画角が15度と、以下の何れよりも大幅に小さい場合には、表示領域Dtの全域の画像を得る合成処理に代えて、その合成処理の対象となる画像(例えば、4個ないし8個のカメラによって与えられる。)のそれぞれに施される抽出処理が行われることにより、実時間性の確保と、画像品質の向上とが図られてもよい。
(1) 方位角方向におけるカメラ11-1〜11-Nの平時における被写界(45度ないし90度)
(2) 平常時における所望の表示領域dの方位角方向における幅
また、表示領域Dtの画像は、必要に応じて、例えば、他船(護衛艦を含む。)、海難警備機関等に適宜無線伝送されてもよい。
さらに、このような無線伝送の要否、伝送先、伝送の対象の何れも、自船の位置、経路、目的地、属性、その自船の状況(例えば、出港中、荷役中)等の全てまたは一部に基づいて自動的に、あるいは手動により設定されてもよい。
また、本実施形態では、表示領域Dtは、自船の位置の如何にかかわらず設定されている。
しかし、本発明はこのような構成に限定されず、表示領域Dt(カメラ11-1〜11-Nの被写界)が自船の位置と、その表示領域に位置する(位置し得る)物標Tとの相対的な距離および方向(俯角を含む。)で決定されるべき場合には、制御部15、カメラ11-1、画像バッファ12、画像処理部13および画像生成部14が下記の通りに連係してもよい。
制御部15は、以下の処理を行う。
(1) 上記物標Tの位置LOCTtならびに視角θVt、画像バッファ12によって既述の通りに引き渡された船位LOCC1t、既述の距離Lおよび距離Hに基づいて、カメラ11-1に対するその物標Tの俯角(または仰角)θTEC1tおよび方位角θTAC1tを求める。
(2) これらの俯角(または仰角)θTEC1tおよび方位角θTAC1tに併せて、物体Tの相対距離Lrtに適合した値として、既述の画角θVC1 、合焦距離fC1、カメラ方位角θAC1 、カメラ仰角θEC1 および方位角ΘAC1tのそれぞれの目標値を求める。
(3) これらの目標値および上記俯角(または仰角)θTEC1tおよび方位角θTAC1tに適合した表示領域Dを求める。
(4) 図1に点線で示すように画像バッファ12を介して形成されるデータリンクを介してカメラ11-1に、上記目標値を引き渡す。
(5) 画像処理部13に、表示領域Dを引き渡す。
なお、制御部15は、このようにしてカメラ11-1に引き渡されるべき目標値については、そのカメラ11-1の撮像(撮影)条件や姿勢の変更が可能なものに限って求める。
カメラ11-1、またはそのカメラ11-1をアンテナ20Aに支持する機構は、このようにして引き渡された目標値に、画角θVC1 、合焦距離fC1、カメラ方位角θAC1 、カメラ仰角θEC1 および方位角ΘAC1tを変更する。
画像バッファ12は、このような画像情報IC1tが引き渡される度に行われる既述の処理の過程で、以下の処理を併せて行う。
(1) カメラ11-1の被写界FCA1tを船位LOCC1tに基づいて海図(地図)上にマッピングすることによって得られる被写界FCAit′(=f(LOCC1t,FCAit))に変換する。
(2) この被写界FCAit′をカレントレコードの「FCAit′」フィールドに格納する。
一方、画像処理部13は、画像バッファ12にファーストイン・ファーストアウト方式により有効な画像情報IC1tが格納されたレコードの内、後述する好適な複数Pのレコードの列毎に、下記の点を除いて既述の処理と同じ処理を行う。
(1) 上述した複数Pのレコードの「FCAit′」フィールドの値が「0」以外であるか否か判別し、「0」以外である場合に限って、次の処理(2) を行う。
(2) 上記複数Pのレコードの内、「FCAit」フィールドではなく、「FCAit′」フィールドに格納された被写界FCA1t′の全てまたは一部が上記表示領域Dに含まれるレコード(以下、「適応レコード」という。)を抽出する。
なお、このような場合における以下の処理および動作については、既述の通りであるので、ここでは、その説明を省略する。
・ 合成画像IStの生成
・ 部分画像Iptの抽出
・ 部分画像Iptの画像生成部14に対する引き渡し
・ 画像生成部14によって行われる処理
・ 画像生成部14に連係するレーダ20の振る舞い
また、上述した各実施形態では、カメラ11-1〜11-Nの撮像光学系の光軸の方向が、被写界FCAit(FCAit′)の方向に一致している。
しかし、本発明は、このような構成に限定されず、例えば、このような光軸上にプリズム、反射鏡、ハーフミラー等の光学部品が介在し、あるいはモータ等により被写界の変更や設定が可能である場合であっても、これらの光学部品の光学的特性および配置に適応した写像変換の下で上記被写界FCAit(FCAit′)の特定が可能であるならば、同様に適用可能である。
〔第3の実施形態〕
図12は、本発明の第3の実施形態における制御部の動作フローチャートである。
図13は、本発明の第3の実施形態の動作を説明する図である。
以下、図1〜図3、図12および図13を参照して本実施形態の動作を説明する
本実施形態では、各部が下記の通りに連係する点で、既述の第1の実施形態と異なる。
カメラ11-1は、赤外領域で撮像を行い、落水者等を温度により検知すると、画像バッファ12を介して形成されるデータリンクを介して制御部15に、その旨を通知する。
制御部15は、以下の処理を行う。
(1) 上記データリンクを介してカメラ11-1に落水者との距離の測定を指令する(図12ステップS1)。なお、このような距離の測定は、例えば、カメラ11-1に備えられた自動焦点機構におけるレンズサーボの駆動信号の換算によって行われる。
(2) 可能である場合には、アンテナ20Aの回転を停止し(図12ステップS2)、かつ上記データリンクを介してカメラ11-1と連係することによって、そのカメラ11-1の被写界に落水者が位置する状態を確保する(図12ステップS3)。
(3) その指示に応じてカメラ11-1から通知された距離dを取得する(図12ステップS4)と、既述の距離L,H、画角θVCi、合焦距離fCi、方位角θ、カメラ方位角θACi、カメラ仰角θECiに併せて、自船の寸法、構造、形状等の既知の情報に基づいて上記落水者の位置POSを特定する(図12ステップS5)。
(4) 落水者と自船との距離が所望の値となる方向に自船を操舵する指示を操作者に支え、あるいは操舵系(オートパイロットを含む)にこのような指示を直接与える(図12ステップS6)ことにより、救難の体制を整え、かつ維持する。
(5) これに並行して、画角θVCiを広めに設定し、かつ操作者の指示に応じて適宜変更可能とし、かつ合焦距離fCi、方位角θ、カメラ方位角θACiおよびカメラ仰角θECiを適宜可変することによって、被写界FCA1tの中央部に落水者の像が位置する状態を維持する(図12ステップS7)と共に、このようなカメラ11-1の制御に付帯した補正が好ましい形態で、上記操舵の指示を更新する(図12ステップS8)。
したがって、本実施形態によれば、甲板上や船室に位置する人の目線より高い位置にあるカメラ11-1によって、落水者の捕捉が速やかにかつ確度高く実現され、早期の救出の強力な支援が図られる。
なお、本実施形態では、自船が、縦揺れ(ピッチング)、横波揺れ(ローリング)、水平面における左右の揺れ(ヨーイング)、鉛直方向における上下動(ヒーヴィング)、荒天等に起因して船首が波にたたきつけられることによって生じる揺れ(パンチング)等のように、多様な揺動を被る状況では、カメラ11-1および画像処理部13が以下の通りに連係することによって、落水者の捕捉がさらに安定に実現される。
(1) カメラ11-1に内蔵された撮像素子は、本来的に確保されるべき被写界により大幅に大きな領域の撮像が可能な撮像面を有する。
(2) 画像処理部13は、このような撮像面によって時系列の順に撮像された画像情報IC1t′毎に、以下の処理を行う。
(2-1) 図示されない揺動センサーによって計測された揺動Vの成分を既定の互いに直交する座標系(例えば、鉛直方向にZ軸が設定された3次元の直交座標系)の成分(vxt、vyt、vzt)に分解する。
(2-2) 上記成分(vxt、vyt、vzt)に応じてカメラ11-1の撮像面に被る既述の揺動Vを既知の距離L,H、方位角θAt、カメラ方位角θAC1、カメラ仰角θEC1に基づいて換算することにより、図14に示すように、その撮像面において本来の被写界に相当する領域の縦方向、横方向のオフセット分(Δx、Δy)と、その領域の画像が本来の被写界の像を与えるために拡縮されるべき倍率μとを求める。
(2-3) 画像情報IC1t′から上記オフセット分(Δx、Δy)に起因する余剰な成分を除去することによって、部分画像IPC1t′を抽出し、その部分画像IPC1t′をμ倍する写像変換を行うことによって、本来的な被写界の画像情報IC1tを生成する。
したがって、本実施形態によれば、自船が広範かつ多様な揺動を被る状況であっても、所望の被写界FCAit(FCAit′)の画像が安定に得られる。
なお、上述した各実施形態では、自船の甲板上で最も高い位置にあるカメラ11-1〜11-Nによってとらえられた画像に、サンプリング、蓄積、抽出、重畳、合成等の画像処理が適宜施されることによって、甲板上や船室内に居る人の死角の緩和や解消が図られている。
しかし、このような画像、または画像処理によって得られる画像は、上記死角の緩和や解消のためだけではなく、例えば、時刻、船位、被写界(方位角、仰角(俯角))に対応付けられ、かつ事故や事象の経緯もしくは原因の把握に供され得るログとして蓄積されてもよい。
また、落水者の検知については、対象者が落水する前に甲板上に存在していた状態から継続して行われる追尾により、より迅速に実現されてもよい。
〔第4の実施形態〕
本実施形態の構成は、以下の点で既述の第1ないし第3の実施形態と異なる。
(1) アンテナ20Aに、少なくとも2台のカメラ20-1、20-2がアンテナ20Aが取り付けられる。
(2) 一方のカメラ20-1は、図6(d)に示すように、既述の各実施形態と同様にアンテナ20Aの底部に取り付けられ、かつ他方のカメラ20-2は、そのアンテナ20Aの側部の内、アンテナ20Aの開口面以外の部位に取り付けられる。
(3) これらのカメラ20-1、20-2がアンテナ20Aに取り付けられる姿勢は、図16(a) に示すように、それぞれの被写界FCA1t、FCA2tの少なくとも一部が重なる姿勢に設定される。
図15は、本発明の第4の実施形態における画像処理部の動作フローチャートである。
図16は、本発明の第4の実施形態の動作を説明する図である。
以下、図1〜図3、図14、図15および図16を参照して本実施形態の動作を説明する
本発明の特徴は、本実施形態では、気象や激しい波浪に起因する自船の大幅かつ頻繁な揺動に追従する下記の画像処理の手順にある。
画像バッファ12は、カメラ11-1、11-2によって画像情報IC1t、IC2tがそれぞれ引き渡される度に、第1の実施形態と同様の処理を行うことによって、既述のカレントレコードの下記の各フィールドに対する書き込みを行う。
・ 「画像情報ICit」フィールド
・ 「方位角ΘACit」フィールド
・ 「船位LOCCit」フィールド
・ 「FCAit」フィールド
・ 「FCAit′」フィールド
画像処理部13は、以下の処理を行う。
(1) 第1の実施形態と同様に、表示領域D(制御部15によって適宜指示され、かつレーダ20の指示画像と対応付けられて、あるいは単独で操作者に提供される。)を識別する(図15ステップS1)。
(2) 自船が被っている揺動V(図示されない揺動センサーによって計測される。)を取得し(図15ステップS2)、その揺動Vの成分に応じた上記表示領域Dの変動分が補正された表示領域D′を特定する(図15ステップS3)。
(3) このような表示領域D′を既述の表示領域D に代えて適用することによって、第1の実施形態と同様に「適応レコード」を抽出し、かつ合成画像ISt′を生成する(図15ステップS4)。
(4) その合成画像ISt′の内、既述の表示領域D′に相当する部分画像Ipt′を抽出する(図15ステップS5)。
(5) 画像生成部14に、上記部分画像Ipt′を引き渡す(図15ステップS6)。
画像生成部14およびレーダ20によって行われ処理については、既述の部分画像Iptに代えて部分画像Ipt′が参照される点を除いて、第1の実施形態と同じであるので、ここでは、その説明を省略する。
すなわち、本実施形態では、カメラ11-1の被写界FCA1tだけでは表示領域Dの維持が困難である程度に自船が大幅に揺れている状況であっても、図16(b) に示すように、カメラ11-2の被写界FCA2tが組み合わせられ、これらの被写界について個別に撮像された画像が適宜合成されたり切り出されることによって、安定に所望の表示領域Dの画像が得られる。
したがって、本実施形態によれば、自船が位置する水域における多様な状況に柔軟に適応して、航行の安全性および利便性が高く確保される。
なお、上述した各実施形態では、カメラ11-1〜11-Nの撮影条件(解像度(画素数)、感度、フレームレート、アオリ撮影の要否、動画モード/静止画モードの選択)は、以下の何れによってどのように設定され、あるいは更新されてもよい。
(1) 制御部15が行う主導的な処理
(2) 画像バッファ12、画像処理部13、画像生成部14およびレーダ20の連係の下で行われる多様な処理(画像処理を含む。)
(3) 操作者によって与えられる指示
また、このような撮影条件は、所望の応答性や実時間性が確保されるならば、レーダ20によって行われるスイープ、スキャンと同期することなく設定され、あるいは更新されてもよい。
さらに、上述した各実施形態では、カメラ11-1〜11-Nの被写界の方向は、例えば、アンテナ20に対する取り付けのために個別に介装され、かつモータ等によって個々の姿勢の設定や変更を可能とする台座(図示されない)を制御部15が既述のデータリンクを介して制御することにより、図6に示すように、適宜変更されてもよい。
〔第5の実施形態〕
本実施形態と既述の第1の実施形態との構成の相違点は、カメラ11-1に代えて魚眼カメラ11F-1が備えられた点にある。
図17は、本発明の第5の実施形態の原理を示す図である。
以下、図1〜図3および図17を参照して本実施形態の動作を説明する
魚眼カメラ11F-1は、制御部15によって与えられる撮像の期間および条件の下で適宜撮像を行い、その撮像によって時系列tの順に得られた画像情報IfC1tを画像バッファ12に引き渡す。
本発明の特徴は、本実施形態では、画像バッファ12のレコードの内、時系列tおよびカメラ識別子i(=1)に対応したカレントレコードの「画像情報ICit」フィールドに格納されるべき画像情報が、以下の通りに画像バッファ12によって生成される点にある。
画像バッファ12は、上記画像情報IfC1tが引き渡される度に、その画像情報IfC1tに、魚眼カメラ11F-1の撮像光学系で生じる既知の光学的な歪みを補償する処理(以下、「歪み補償処理」という。)を施すことにより、第1の実施形態においてカメラ11-1が中心投影方式によって撮像する画像に相当する画像情報IC1tを生成する。
ここに、画像バッファ12、画像処理部13、画像生成部14およびレーダ20が連係して行う処理については、第1の実施形態と同じであるので、これらの説明を省略する。
なお、上述した「歪み補償処理」は、魚眼カメラ11F-1に備えられた光学系11OPT-1を介して撮像素子11-1によって撮像された画像を示す画像情報11fC1t(図17(1))に、その光学系11OPT-1の光学的な特性と反対の特性に相当する写像変換(図17(2))を施すことによって実現される。
このように本実施形態によれば、中心投影方式ではない魚眼カメラ11F-1によって与えられた画像情報IfC1tから、所望の被写界FCAitの撮像によって得られるべき画像情報IC1tが与えられる。
したがって、本実施形態によれば、第1の実施形態に比べて、アンテナ20Aに取り付けられるべきカメラの姿勢に要求される精度が緩和され、このような姿勢の誤差の圧縮が画像処理の領域で精度よく簡便に実現される。
また、本実施形態では、魚眼カメラ11F-1の姿勢が変更されることなく、上記画像処理の領域で、アンテナ20Aの主ローブの方位角θの如何にかかわらず、画角θVCi、カメラ方位角θACiおよびカメラ仰角θECiの自在な設定および変更が可能となり、かつ既述の合焦距離fCiの設定や変更が不要となる。
したがって、機械的あるいは光学的な構造の自由度が高められ、構成の標準化や低廉化が容易に実現可能となる。
なお、本実施形態では、魚眼カメラ11F-1がアンテナ20Aの底部に取り付けられ、そのアンテナ20Aと共に回転している。
しかし、本発明はこのような構成に限定されず、例えば、アンテナ20Aの回転軸に魚眼カメラ11-1が取り付けられると共に、以下の何れかの形態で構成されてもよい。
(1) 魚眼カメラ11F-1がアンテナ20Aと共に回転し、かつ画像バッファ12によって行われる画像処理の過程で、既述の画角θVCi、カメラ方位角θACi、カメラ仰角θECiが設定され、あるいは適宜更新されることによって、複数Nのカメラ11-1〜11-Nの魚眼カメラ11F-1による兼用が図られる。
(2) 魚眼カメラ11F-1がアンテナ20Aと共に回転しない部材に固着され、かつ画像バッファ12によって行われる画像処理の過程で、既述の画角θVCi、カメラ方位角θACi、カメラ仰角θECiに併せて、既述の方位角θが設定され、あるいは適宜更新されることによって、複数Nのカメラ11-1〜11-Nの魚眼カメラ11F-1による兼用が図られる。
ここに、上記(2) における画像処理は、レーダ20がMIMOレーダであって、アンテナ20Aがそのレーダ20が行う電子ビームフォーミングの下で回転しない場合であっても、例えば、実効的なスキャン、スイープ、レンジの何れかに同期して行うことが可能である。
また、このような場合には、既述の画角θVCi、カメラ方位角θACi、カメラ仰角θECi、方位角θは、上記ビームフォーミングに同期して適宜設定され、あるいは更新されてもよい。
さらに、本実施形態では、魚眼カメラ11F-1の光学系は、「等距離射影方式」、「等立体角射影方式」、「正射影方式」の何れが適用されてもよく、かつ「全周魚眼レンズ」と「対角線魚眼レンズ」との何れとして構成されてもよい。
また、本実施形態では、所望の被写界は、複数Pのカメラ(少なくとも1つが魚眼カメラに該当する。)の併用によって確保されてもよい。
さらに、上述した各実施形態では、カメラ(魚眼カメラ)の台数Nが複数である場合には、これらのカメラ(魚眼カメラ)のそれぞれの好適な被写界を維持する処理は、自船の揺動ではなく、カメラが個別に取り付けられ(配置され)た部位について個別に検知された揺動に応じて既述の処理が行われることによって実現されてもよい。
また、上述した各実施形態では、カメラ(魚眼カメラ)は、何れも、個別に備えられた手振れ補正機構によって被写界の維持の安定化が図られてもよい。
さらに、上述した各実施形態では、カメラ11-1〜11-N(魚眼カメラ11F-1〜11F-N)、画像バッファ12、画像処理部13、画像生成部14、レーダ20の連係における機能や負荷の分散は、所望の作用効果が達成されるならば、どのような形態であってもよい。
特に、画像処理の内、線形の処理の順序については、好適な精度や応答性が実現されるならば、既述の順序と異なってもよい。
また、上述した各実施形態では、アンテナ20Aにサーチライトが取り付けられることにより、夜間などにおける対象角度方向の視認性の向上が図られてもよい。
さらに、上述した各実施形態では、カメラ11-1〜11-Nがアンテナ20Aに取り付けられている。
しかし、本発明はこのような構成に限定されず、カメラの数Nが小さく抑えられ、しかも画像処理の下で所望の画像が生成されることによって、死角の回避や緩和だけではなく、従来例では監視や観測が行われることがなかった被写界の画像を得るために、このようなカメラは、以下の何れに備えられてもよい。
(1) 風力発電用のプロペラ:以下の目的の双方もしくは何れか一方を実現する。
・ 広範な高低差がある位置からそれぞれとらえられた画像による気象現象,自然現象等の光学的な観測を可能とする。
・ バードストライク防止用のレーダが適用されることにより鳥との衝突に起因する損傷を防ぐための回転の一時的な遅れや停止が図られる風力発明用のプロペラにおいて、そのレーダによる鳥監視と並行して画像処理により鳥が識別されることにより、鳥の検出精度を高められる。
(2) ヘリコプターのプロペラ:地形や地物の観測、飛行中における周辺あるいは上方の光学的な観測を実現する。
(3) 扇風機の羽根:幼児が羽根等の可動部分に接触することによる事故の防止、あるいは高齢者の生存確認を実現する。
(4) 電子レンジの槽内に配置されたファンの羽根:加熱対象の表面における温度分布の高い精度の観測を可能とする。
(5) 揺れ動く装置(の筐体)、または部材:異なる位置における所望の物体または空間(の状況)の光学的な観測や監視を可能とする。
さらに、本発明では、個々のカメラに係る下記の何れの事項も、これらのカメラが取り付けられるアンテナ20Aその他の何れの部材と、これらの部材を備えた船舶等の移動体あるいは装置との双方または何れか一方の測位や回転角に基づいて設定や更新が行われてもよい。
(1) 撮像が行われるべき切っ掛けや期間
(2) 姿勢、画角、解像度、フレームレートその他の撮像(撮影)の条件
また、本発明は、上述した実施形態に限定されず、本発明の範囲において多様な実施形態の構成が可能であり、構成要素の全てまたは一部に如何なる改良が施されてもよい。
〔第6の実施形態〕
以下、本発明の第6の実施形態について説明する。
本実施形態の構成の特徴は、既述の第1の実施形態との対比においては、図1に示すように、以下の点にある。
(1) 制御部15に代えて制御部15Aが備えられる。
(2) アンテナ20Aは、外部から与えられる指令に応じて、そのアンテナ20Aの主ローブの方向が所望の方向に設定され、かつ適宜変更や維持が可能な機構を有する。
(3) 制御部15Aの特定のポートは、上記アンテナ20Aの制御端子に接続されると共に、上記指令の引き渡しに供される。
(4) 図18(a)、(b)に示すように、アンテナ20Aの長手方向に対向する2つの側壁に、カメラ11-1、11-2がそれぞれ取り付けられる。
(5) これらのカメラ11-1、11-2の画角(視野角)は標準レンズの画角より大きな値に設定されるため、図18(a)、(b)に点線と実線とで対比されるように、これらのカメラ11-1、11-2によって撮像される被写界(表示領域Dtに対する表示の対象)は、広く設定される。
図19は、本発明の第6の実施形態の動作を説明する図である。
図20は、本発明の第6の実施形態における制御部の動作フローチャートである。
以下、図1、図6、図18、図19および図20を参照して本実施形態の動作を説明する。
本発明の特徴は、本実施形態では、自船の操船および状態に応じて、制御部15Aが主導的に行う処理の下でアンテナ20Aおよびカメラ11-1、11-2が以下の通りに連係する点にある。
自船が接岸のために岸壁に近づいて、図11(a) に示すようにその岸壁と自船の左舷との距離が所定の値を下回り、かつ両者がほぼ平行な状態となりつつあるとき(以下、「接岸操船期間」という。)には、制御部15Aは、アンテナ20Aに上記指令を与える(図20ステップS1)。
アンテナ20Aは、その指令に応じて回転の速度を段階的に減じ、そのアンテナ20Aの主ローブ(またはバックローブ)の方向が上記左舷(または右舷)に直交する状態で停止する(図19(a))。
このような状態では、カメラ11-1、11-2は、図19(a)および図18(a)、(b)に細線の円で示すように、自船の左舷および上記岸壁の方向の内、船首側および船尾側の状況をそれぞれ撮影することによって得られた画像情報として出力する。
これらの画像情報は、既述の第1の実施形態と同様に、画像バッファ12を介して画像処理部13に引き渡され、かつ制御部15Aの配下で画像生成部14によって行われる処理の下で順次レーダ20に引き渡される。
すなわち、本実施形態では、カメラ11-1、11-2の画角が広く設定され、しかも、アンテナ20Aの放射面が自船の左舷に平行に保たれた状態でそのアンテナ20Aの回転が停止する。したがって、これらのカメラ11-1、11-2の位置および姿勢は、自船の接岸に適した被写界の方向に安定に維持される。
したがって、本実施形態によれば、画角が広いほどカメラの台数を少なく設定可能となり、しかも、画像処理の処理量の削減ならびに簡略化が図られると共に、自船の状況や操船に適した被写界の画像が安定に確度高く得られる。
また、接岸が完了した後には、制御部15Aは、上述した指令を解除する(図20ステップS2)。
アンテナ20Aは、このような指令の解除に応じて回転を再開する。
さらに、制御部15Aは、アンテナ20Aの回転速度が定常値に達すると、既述の第1の実施形態と同様の形態で、画像バッファ12、画像処理部13、画像生成部14およびレーダ20との連係を再開する(図20ステップS3)。
なお、本実施形態は、上記接岸操船期間に限定されず、以下に列記するような操船または自船の状態においても、カメラ11-1、11-2によってとらえられた画像による監視業務のために同様に適用可能である。
(1) 出港に際して行われる右舷、船首、船尾方向の監視等
このような出港の過程では、図19(b)に示すように、アンテナ20Aの回転が停止した状態におけるそのアンテナ20Aの放射面の方向は、自船の左舷(または右舷)に平行な状態に固定される。
(2) 自船の前進または後進の過程で行われる右舷、船首、船尾方向の監視等
このような前進や後進の過程では、図19(c)、(d)に示すように、アンテナ20Aの回転は、そのアンテナ20Aの放射面の方向が自船の船首または船尾の方向に設定された状態で停止される。
また、本実施形態では、図18(a)、(b)に太線の斜線で示すように、左舷(右舷)の中央部と岸壁とで挟まれた領域に死角が生じる場合には、以下の何れの方策がとられてもよい。
(1) カメラ11-1、11-2の画角がより広く設定され、またはカメラ仰角θECが小さく設定される。
(2) 図6(e)に示すように、カメラ11-1、11-2の双方の被写界の一部が互いに重なる姿勢で、これらのカメラ11-1、11-2がアンテナ20Aの底部に配置される。
さらに、本実施形態では、カメラ11-1、11-2の画角が標準レンズの画角より広く設定されるメカニズムは、これらのカメラ11-1、11-2のレンズの焦点距離を単に短く設定する方法に限定されず、実効的な画角(視野角)の拡大が図られるのであれば、以下の何れであってもよい。
(1) カメラ毎に組み込まれた複数の撮像光学系によって個別に得られた画像の合成
(2) 撮像面の形状や寸法の変更
(3) 光学系の構成、または画像処理に基づくアスペクト比の拡大
また、本実施形態には、以下に列記する多様な構成の適用が可能である。
(1) 搭載されるカメラの台数は、「2」に限定されず、これらの画角が広く設定されることによる削減の結果として設定されるならば、「3」以上の如何なる数であってもよい。
(2) これらのカメラの性能は、必ずしも同じでなくてもよい。
(3) 制御部15Aによって行われる処理の下で、既述のパラメータ(画角θVCi、カメラ方位角θACi、カメラ仰角θECi、距離L)が適宜変更される。
(4) アンテナ20Aの側部や底部における個々のカメラの位置や姿勢が可動機構を介して適宜変更される。
さらに、本実施形態では、制御部15Aがアンテナ20Aに上記指令を与えるきっかけは、確度高く識別されるのであれば、以下に例示するように、如何なるものであってもよい。
・ カメラ11-1、11-2の何れかの視野角にタグボートの存在が確認(画像のパターン認識を含む。)されたとき
・ 入港のためにスラスタが作動し、あるいは起動されたとき
・ 操船に従事する要員が行う操作等に応じた通知が識別されたとき
また、本実施形態では、「アンテナ20Aの回転が停止した状態におけるそのアンテナ20Aの放射面の方向」は、以下の処理(1)、(2)の何れによって求められ、かつ適用されてもよい。
(1) 入港、出港、前進、後進等の操船の形態、あるいは自船の状態に対応して予め決められた好適な方向が予めデータベースに格納され、実際の操船の形態や自船の状態に対応付けられてこのデータベースに格納されている方向が適用される。
(2) 操船の形態、あるいは自船の状態に対して好適な方向を与える算術演算や実験式が予め与えられ、このような算術演算や実験式に基づいて求められた方向が適用される。
さらに、上述した操船の形態や自船の状態は、確実に識別可能であり、かつ上述した好適な方向が定まるならば、如何なるものであってもよい。
また、このような好適な方向にアンテナの方向を設定して維持し、あるいは既述のパラメータ(画角θVCi、カメラ方位角θACi、カメラ仰角θECi、距離L)を適切な値に設定し続けるために適用される制御方式は、フィードフォワード方式に限定されず、フィードバック方式(適応アルゴリズムに基づいてもよい。)であってもよい。
さらに、本実施形態では、カメラ11-1、11-2は、既述の第1の実施形態ないし第5の実施形態と同様に、風力発電用のプロペラ、ヘリコプターのプロペラ、扇風機の羽根、電子レンジの槽内に配置されたファンの羽根、揺れ動く装置(の筐体)または部材の何れに取り付けられてもよい。
さらに、上述した各実施形態では、カメラ11-1〜11-Nの内、所望の数(ここでは、「4」と仮定する。)のカメラ11-(N-3),11-(N-2),11-(N-1),11-Nは、個々の画角の如何にかかわらず、例えば、図21に示すように、アンテナ20Aの底部(または側部)に併せて、あるいはその底部や側部以外の部位であるペデスタル20Pの底部(または側部)に配設されてもよい。
なお、これらのカメラ11-(N-3),11-(N-2),11-(N-1),11-Nによって個別に出力される画像情報は、下記の点を除いて同様の画像処理が施される。
(1) アンテナ20Aが回転してもカメラ11-(N-3),11-(N-2),11-(N-1),11-Nが変位しないことを前提として、他の画像情報との合成やマッピングが図られる。
(2) カメラ11-(N-3),11-(N-2),11-(N-1),11-Nによって出力される画像情報は、船舶の姿勢や針路と、接岸等の操船に応じて適宜選択され、あるいは組み合わせられて選択される。
(3) アンテナ20Aの側部や底部に取り付けられたカメラ(以下、「回転カメラ」という。)によって出力される画像情報との合成やマッピングは、そのアンテナ20Aの方位角θ、回転カメラの個々の方位角θAC、カメラ仰角θEC、画角θVCに適合した形態で行われる。
また、上記カメラ11-(N-3),11-(N-2),11-(N-1),11-Nは、以下の何れに配設されてもよい。
(1) 既述の風力発電用のプロペラ、ヘリコプターのプロペラ、扇風機の羽根、電子レンジの槽内に配置されたファンの羽根の回転軸の周辺
(2) このような回転軸が設けられる支柱もしくは台座の側部や底部
(3) 既述の揺れ動く装置または部材が軸止される筐体の頂部や側部
以下、本願に開示された発明の内、「特許請求の範囲」に記載しなかった発明の構成および作用効果を「特許請求の範囲」、「課題を解決するための手段」、「発明の効果」の各欄に準じた様式により列記する。
〔1〕 レーダのアンテナに取り付けられたカメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。
このような構成の画像生成装置では、画像取得手段は、レーダのアンテナに取り付けられたカメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する。
このような画像は、レーダのアンテナに取り付けられてそのアンテナと共に回動し得るカメラによって撮像された画像に所定の画像処理が施されることによって生成される。
したがって、カメラがレーダのアンテナより低い位置にあり、そのカメラの位置や姿勢が一定である場合に比べて、視界の拡大に併せて、死角の緩和および解消が図られ、しかも、レーダの指示画像との対応関係が既知である画像が容易に得られる。
〔2〕 移動体上で常居し得る人の視界より被写界が広くなる姿勢で前記移動体に取り付けられたカメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記移動体に搭載されたレーダのアンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。
このような構成の画像生成装置では、画像取得手段は、移動体上で常居し得る人の視界より被写界が広くなる姿勢で前記移動体に取り付けられたカメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記移動体体に搭載されたレーダのアンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する。
このような画像は、移動体上における人の視界より被写界が広く設定されたカメラによって撮像された画像に所定の画像処理が施されることによって生成される。
したがって、カメラがレーダのアンテナより低い位置にあり、そのカメラの位置や姿勢が一定である場合に比べて、視界の拡大に併せて、死角の緩和および解消が図られ、しかも、レーダの指示画像との対応関係が既知である画像が容易に得られる。
〔3〕 上記〔1〕または〔2〕に記載の画像生成装置において、
前記画像生成手段は、
前記撮像された画像の内、前記回転の軸に対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、上記〔1〕または〔2〕に記載の画像生成装置において、前記画像生成手段は、前記撮像された画像の内、前記回転の軸に対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする。
すなわち、カメラの被写界は、そのカメラがレーダのアンテナと共に回動している状況であっても、所望の方向に設定される。
したがって、カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。
〔4〕 上記〔1〕ないし〔3〕の何れか1項に記載の画像生成装置において、
前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべきの被写界を識別する被写界識別手段を備え、
前記画像生成手段は、
前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界識別手段によって識別された被写界の撮像を指令する
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、上記〔1〕ないし〔3〕の何れか1項に記載の画像生成装置において、被写界識別手段は、前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべき被写界を識別する。前記画像生成手段は、前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界識別手段によって識別された被写界の撮像を指令する。
すなわち、カメラによって撮像が行われるべき被写界は、そのカメラが取り付けられたレーダを搭載する移動体の多様な状況、振る舞い、属性等に柔軟に適応して設定される。
したがって、カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。
〔5〕 電子ビームフォーミング方式またはMIMO方式のレーダのアンテナに対する既定の方向に被写界が設定された魚眼カメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。
このような構成の画像生成装置では、画像取得手段は、電子ビームフォーミング方式またはMIMO方式のレーダのアンテナに対する既定の方向に被写界が設定された魚眼カメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、前記レーダによって生成される指示画像に対応する画像を生成する。
このような画像は、レーダのアンテナに対する既定の方向に被写界が設定された魚眼カメラによって撮像された画像に所定の画像処理が施されることによって生成される。
したがって、魚眼カメラがレーダのアンテナより低い位置にある場合に比べて、その魚眼カメラの位置や姿勢が一定であっても、視界の拡大に併せて、死角の緩和および解消が容易に図られる。
〔6〕 電子ビームフォーミング方式またはMIMO方式のレーダのアンテナが搭載された移動体に取り付けられ、かつ前記移動体上で常居し得る人の視界より被写界が広い魚眼カメラによって撮像された画像を取り込む画像取得手段と、
前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する画像生成手段と
を備えたことを特徴とする画像生成装置。
このような構成の画像生成装置では、画像取得手段は、電子ビームフォーミング方式またはMIMO方式のレーダのアンテナが搭載された移動体に取り付けられ、かつ前記移動体上で常居し得る人の視界より被写界が広い魚眼カメラによって撮像された画像を取り込む。画像生成手段は、前記撮像された画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する。
このような画像は、レーダのアンテナに対する既定の方向に設定され、かつ移動体上における人の視界より被写界が広く設定された魚眼カメラによって撮像された画像に所定の画像処理が施されることによって生成される。
したがって、魚眼カメラがレーダのアンテナより低い位置にある場合に比べて、その魚眼カメラの位置や姿勢が一定であっても、視界の拡大に併せて、死角の緩和および解消が容易に図られる。
〔7〕 上記〔5〕または〔6〕に記載の画像生成装置において、
前記画像生成手段は、
前記撮像された画像の内、前記アンテナに対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、上記〔5〕または〔6〕に記載の画像生成装置において、前記画像生成手段は、前記撮像された画像の内、前記アンテナに対する所望の方位角に対応した画像を前記抽出、前記重畳、前記合成の何れかの対象とする。
すなわち、魚眼カメラによって撮像された画像の内、監視や確認の対象となるべき部位は、画像処理の領域で所望の方向に柔軟に設定される。
したがって、魚眼カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。
〔8〕 上記〔5〕ないし〔7〕の何れか1項に記載の画像生成装置において、
前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記魚眼カメラの被写界の内、画像として監視や確認の対象となるべき部位を識別する被写界識別手段を備え、
前記画像生成手段は、
前記魚眼カメラによって撮像された画像の内、前記被写界識別手段によって識別された部位を前記レーダの振る舞いに同期して抽出し、かつ前記処理と、前記光学的歪みの軽減もしくは是正との対象とする
ことう特徴とする画像生成装置。
このような構成の画像生成装置では、上記〔5〕ないし〔7〕の何れか1項に記載の画像生成装置において、被写界識別手段は、前記レーダが搭載された移動体の位置、経路、目的地、属性と、前記移動体の移動の形態との全てまたは一部の組み合わせに基づいて、前記魚眼カメラの被写界の内、画像として監視や確認の対象となるべき部位を識別する。前記画像生成手段は、前記魚眼カメラによって撮像された画像の内、前記被写界識別手段によって識別された部位を前記レーダの振る舞いに同期して抽出し、かつ前記処理と、前記光学的歪みの軽減もしくは是正との対象とする。
すなわち、魚眼カメラによって撮像が行われた画像の内、監視や確認のために参照されるべき部位は、レーダが搭載された移動体の多様な状況、振る舞い、属性等に柔軟に適応して設定される。
したがって、魚眼カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。
〔9〕 上記〔1〕ないし〔8〕の何れか1項に記載の画像生成装置において、
前記撮像された画像の内、全てまたは一部をログとして蓄積するログ手段を備えた
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、上記〔1〕ないし〔8〕の何れか1項に記載の画像生成装置において、ログ手段は、前記撮像された画像の内、全てまたは一部をログとして蓄積する。
したがって、撮像された画像は、単に表示されるだけではなく、発生した事故や事象に関する経緯の確認、または原因の究明等に活用可能となる。
〔10〕 上記〔1〕ないし〔9〕の何れか1項に記載の画像生成装置において、
前記画像生成手段は、
前記撮像された画像の内、光軸の屈曲の要因となる光学部材を介して得られた特定の画像に、撮像が行われた実質的な方向および領域と前記指示画像との対応付けと、前記光学部材の光学的特性を是正する写像とを施す
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、上記〔1〕ないし〔9〕の何れか1項に記載の画像生成装置において、前記画像生成手段は、前記撮像された画像の内、光軸の屈曲の要因となる光学部材を介して得られた特定の画像に、撮像が行われた実質的な方向および領域と前記指示画像との対応付けと、前記光学部材の光学的特性を是正する写像とを施す。
すなわち、カメラの光学系の特性の限界を超えた広い被写界や視野の確保が可能となる。
したがって、魚眼カメラの台数や位置に制約があっても、アンテナの回動またはレーダの振る舞いに応じた多様な方向の画像が柔軟に取得される。
〔11〕 レーダのアンテナに取り付けられた複数のカメラによって個別に撮像された複数の画像を取り込む画像取得手段と、
前記撮像された複数の画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する画像生成手段とを備え、
前記画像生成手段は、
前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記アンテナの回転と、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する
を備えたことを特徴とする画像生成装置。
このような構成の画像生成装置では、画像取得手段は、レーダのアンテナに取り付けられた複数のカメラによって個別に撮像された複数の画像を取り込む。画像生成手段は、前記撮像された複数の画像に、前記アンテナの回動、もしくは前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理の全てまたは一部を施し、画像を生成する。前記画像生成手段は、前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記アンテナの回転と、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する。
すなわち、レーダが大幅にあるいは頻繁に揺動する状況であっても、監視や確認の対象となるべき被写界の撮像が安定に行われる。
したがって、本発明が適用された移動体では、航行等に関する安全性や利便性が向上し、かつ高く維持されると共に、多様な環境や状況に対する柔軟な適応が確度高く図られる。
〔12〕 電子ビームフォーミング方式またはMIMO方式のレーダのアンテナに対する既定の方向に被写界が設定された複数の魚眼カメラによって個別に撮像された複数の画像を取り込む画像取得手段と、
前記撮像された複数の画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する画像生成手段とを備え、
前記画像生成手段は、
前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する
を備えたことを特徴とする画像生成装置。
このような構成の画像生成装置では、画像取得手段は、電子ビームフォーミング方式またはMIMO方式のレーダのアンテナに対する既定の方向に被写界が設定された複数の魚眼カメラによって個別に撮像された複数の画像を取り込む。画像生成手段は、前記撮像された複数の画像に、前記レーダの振る舞いに同期したサンプリング、蓄積、抽出、重畳、合成の処理と、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施し、画像を生成する。前記画像生成手段は、前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動のベクトルと、前記レーダの振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数の画像に施し、前記揺動に応じた被写界の変動および不足を補償する。
すなわち、レーダが大幅にあるいは頻繁に揺動する状況であっても、監視や確認の対象となるべき被写界の撮像が安定に行われる。
したがって、本発明が適用された移動体では、航行等に関する安全性や利便性が向上し、かつ高く維持されると共に、多様な環境や状況に対する柔軟な適応が確度高く図られる。
〔13〕 上記〔1〕ないし〔4〕の何れか1項に記載の画像生成装置において、
操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記カメラによって撮像されるべきの被写界の方向を設定する被写界設定手段を備え、
前記画像生成手段は、
前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界設定手段によって設定された方向の撮像を指令する
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、被写界設定手段は、操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記カメラによって撮像されるべきの被写界の方向を設定する。前記画像生成手段は、前記アンテナの回転、または前記レーダの振る舞いに同期して、前記カメラに、前記被写界設定手段によって設定された方向の撮像を指令する。
すなわち、カメラによって撮像が行われるべき被写界は、操作者の意図に応じて多様に設定可能となる。
したがって、本発明が適用された移動体の航行や安全のための利便性が向上し、かつ高く維持される。
〔14〕 上記〔1〕、〔2〕、〔3〕、〔4〕、〔13〕の何れか1項に記載の画像生成装置において、
前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動を監視する揺動監視手段を備え、
前記カメラは、
前記揺動を光学的に軽減し、または抑圧する
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、揺動監視手段は、前記レーダが搭載された移動体、もしくは前記アンテナの回転軸の揺動を監視する。前記カメラは、前記揺動を光学的に軽減し、または抑圧する。
すなわち、アンテナの回転軸または移動体の揺動に起因する画像のブレは、カメラの内部で軽減され、あるいは抑圧される。
したがって、本発明に係る画像生成装置では、上記画像の生成のために行われる画像処理の簡略化がはかられ、応答性や信頼性が高められる。
〔15〕 上記〔1〕、〔2〕、〔3〕、〔4〕、〔13〕、〔14〕の何れか1項に記載の画像生成装置において、
前記カメラは、
とらえられた画像の所望の部位の測距を行い、前記測距の結果を前記画像生成手段に通知する
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、前記カメラは、とらえられた画像の所望の部位の測距を行い、前記測距の結果を前記画像生成手段に通知する。
すなわち、カメラによってとらえられた画像の所望の部位については、そのカメラが移動体の揺動、積載量、波浪等に応じて相対的な位置が変化しても、距離の実測が可能となる。
したがって、カメラによってとらえれた画像の所望の部位については、測位が多様な環境において柔軟に精度よく実現される。
〔16〕 上記〔5〕ないし〔8〕の何れか1項に記載の画像生成装置において、
操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記魚眼カメラによって撮像されるべき被写界の方向を設定する被写界設定手段を備え、
前記画像生成手段は、
前記レーダの振る舞いに同期して、前記魚眼カメラに、前記被写界設定手段によって設定された方向の撮像を指令する
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、被写界設定手段は、操作者が与える指示に応じて、前記レーダが搭載された移動体を基準として前記魚眼カメラによって撮像されるべき被写界の方向を設定する。前記画像生成手段は、前記レーダの振る舞いに同期して、前記魚眼カメラに、前記被写界設定手段によって設定された方向の撮像を指令する。
すなわち、魚眼カメラによって撮像が行われた画像の内、監視や確認の対象として抽出されるべき部位は、操作者の意図に応じて多様に設定可能となる。
したがって、本発明が適用された移動体の航行や安全のための利便性が向上し、かつ高く維持される。
〔17〕 上記〔5〕、〔6〕、〔7〕、〔8〕、〔16〕の何れか1項に記載の画像生成装置において、
前記レーダが搭載された移動体の揺動を監視する揺動監視手段を備え、
前記魚眼カメラは、
前記揺動を光学的に軽減し、または抑圧する
ことを特徴とする画像生成装置。
このような構成の画像生成装置では、揺動監視手段は、前記レーダが搭載された移動体の揺動を監視する。前記魚眼カメラは、前記揺動を光学的に軽減し、または抑圧する。
すなわち、移動体またはアンテナの回転軸の揺動に起因する画像のブレは、魚眼カメラの内部で軽減され、あるいは抑圧される。
したがって、本発明に係る画像生成装置では、上記画像の生成のために行われる画像処理の簡略化がはかられ、応答性や信頼性が高められる。
11 カメラ
11F 魚眼カメラ
11OPT 撮像光学系
11 撮像素子
12 画像バッファ
13 画像処理部
14 画像生成部
20 レーダ
20A アンテナ
20P ペデスタル

Claims (12)

  1. 船舶に設置されて、回転し、または振り動き得る部材に取り付けられたカメラによって撮像された画像を取り込む画像取得手段と、
    前記撮像された画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する画像生成手段と
    前記船舶の位置、経路、目的地、属性と、前記船舶の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべき被写界を識別する被写界識別手段と、を備え
    前記画像生成手段は、前記船舶が接岸する際に、前記被写界識別手段によって識別された前記被写界に相当する部分画像を生成する、
    ことを特徴とする画像生成装置。
  2. 請求項1に記載の画像生成装置において、
    前記被写界識別手段は、前記船舶が接岸を開始したときに、前記船舶の船首方向の領域を前記被写界として識別し、
    そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記船首方向の前記領域に相当する部分画像を生成し、
    さらに、前記被写界識別手段は、岸壁に対する前記船舶の距離が所定の閾値を下回ったときに、前記船舶の舷側の領域を前記被写界として識別し、
    そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記舷側の前記領域に相当する部分画像を生成する、
    ことを特徴とする画像生成装置。
  3. 請求項1に記載の画像生成装置において、
    前記カメラは、魚眼カメラであり、
    前記画像生成手段は、
    前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、画像を生成する
    ことを特徴とする画像生成装置。
  4. 船舶に設置されて、回転し、または振り動き得る部材に取り付けられた複数pのカメラによって個別に撮像された複数pの画像を取り込む画像取得手段と、
    前記撮像された複数pの画像に、サンプリング、蓄積、抽出、重畳、合成の処理の内、前記部材の姿勢、または前記部材の回転軸に対する回転角に適応した全てまたは一部を施し、画像を生成する画像生成手段と
    前記船舶の位置、経路、目的地、属性と、前記船舶の移動の形態との全てまたは一部の組み合わせに基づいて、前記カメラによって撮像されるべき被写界を識別する被写界識別手段と、を備え、
    前記画像生成手段は、前記船舶が接岸する際に、前記被写界識別手段によって識別された前記被写界に相当する部分画像を生成し、
    また、前記画像生成手段は、
    前記部材が搭載された前記船舶、もしくは前記部材の揺動のベクトルと、前記船舶の位置または姿勢と、前記部材の振る舞いとの全てもしくは一部に適したサンプリング、蓄積、抽出、重畳、合成の全てまたは一部を前記複数pの画像に施し、被写界の変動および不足を補償する
    ことを特徴とする画像生成装置。
  5. 請求項4に記載の画像生成装置において、
    前記被写界識別手段は、前記船舶が接岸を開始したときに、前記船舶の船首方向の領域を前記被写界として識別し、
    そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記船首方向の前記領域に相当する部分画像を生成し、
    さらに、前記被写界識別手段は、岸壁に対する前記船舶の距離が所定の閾値を下回ったときに、前記船舶の舷側の領域を前記被写界として識別し、
    そして、前記画像生成手段が、前記被写界識別手段によって前記被写界として識別された前記船舶の前記舷側の前記領域に相当する部分画像を生成する、
    ことを特徴とする画像生成装置。
  6. 請求項に記載の画像生成装置において、
    前記複数pのカメラは、魚眼カメラであり、
    前記画像生成手段は、
    前記処理の全てまたは一部に併せて、前記魚眼カメラの投影方式に起因する光学的歪みの軽減もしくは是正との全てまたは一部を施すことによって、複数pの画像を生成する
    ことを特徴とする画像生成装置。
  7. 請求項に記載の画像生成装置において、
    前記複数pのカメラの全てまたは一部の画角θvcは、
    標準レンズの画角θvcsより大きく、
    前記複数pは、
    前記画角θvcが前記画角θvcsに等しい場合に前記被写界の像が前記複数pの画像に総合的に包含されるために必要な値以下である
    ことを特徴とする画像生成装置。
  8. 請求項4から7の何れか1項に記載の画像生成装置において、
    前記複数pのカメラは、
    前記被写界の像が前記複数pの画像に総合的に包含され得る位置および姿勢で、前記部材に取り付けられた
    ことを特徴とする画像生成装置。
  9. 請求項7または8に記載の画像生成装置において、
    前記被写界の像が前記複数pの画像に総合的に包含される形態に、前記部材の位置もしくは姿勢を設定しまたは維持する制御手段を備えた
    ことを特徴とする画像生成装置。
  10. 請求項に記載の画像生成装置において、
    生起し得るイベント毎に、前記複数pのカメラがとらえるべき被写界の像が前記複数pの画像に総合的に包含されるとの条件を満たす前記部材の位置もしくは姿勢が予め蓄積された記憶手段を有し、
    前記制御手段は、
    生起したイベントに対応して前記記憶手段に蓄積されている位置もしくは姿勢を前記部材に設定しまたは維持する
    ことを特徴とする画像生成装置。
  11. 請求項1または4に記載の画像生成装置において、
    前記カメラは、赤外領域で撮像を行い、落水者を温度により検知する、
    ことを特徴とする画像生成装置。
  12. 請求項1または4に記載の画像生成装置において、
    前記接岸の際に、前記カメラの位置および姿勢が前記被写界の方向に安定に維持された状態で前記部材が停止する、
    ことを特徴とする画像生成装置。
JP2015199037A 2014-10-17 2015-10-07 画像生成装置 Active JP6667943B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014212696 2014-10-17
JP2014212696 2014-10-17

Publications (2)

Publication Number Publication Date
JP2016082586A JP2016082586A (ja) 2016-05-16
JP6667943B2 true JP6667943B2 (ja) 2020-03-18

Family

ID=55959403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015199037A Active JP6667943B2 (ja) 2014-10-17 2015-10-07 画像生成装置

Country Status (1)

Country Link
JP (1) JP6667943B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110520692B (zh) * 2017-05-24 2024-03-26 古野电气株式会社 影像生成装置
JP6558763B1 (ja) * 2018-08-31 2019-08-14 株式会社電制 流氷雪検出装置および流氷雪検出方法、流氷雪検出システム、ならびにプログラム
JP7339002B2 (ja) 2019-03-19 2023-09-05 ヤマハ発動機株式会社 船舶および船舶用撮像装置
JP7433794B2 (ja) * 2019-07-23 2024-02-20 日本無線株式会社 自船周辺情報記憶装置及び自船周辺情報表示装置
JPWO2021049221A1 (ja) * 2019-09-09 2021-03-18

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6148283A (ja) * 1984-08-14 1986-03-08 Furuno Electric Co Ltd 映像表示装置
JPH02194788A (ja) * 1989-01-23 1990-08-01 Furuno Electric Co Ltd 光学映像の平面位置表示装置
JPH0937137A (ja) * 1995-07-25 1997-02-07 Minolta Co Ltd 移動型立体カメラ装置
JPH09323590A (ja) * 1996-06-07 1997-12-16 Nec Corp 車載監視装置
JP2002176641A (ja) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 周囲映像提示装置
JP4214219B2 (ja) * 2002-11-26 2009-01-28 独立行政法人海上技術安全研究所 離接岸用操船支援装置
JP4017579B2 (ja) * 2003-09-19 2007-12-05 株式会社ソニー・コンピュータエンタテインメント 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
JP5101474B2 (ja) * 2008-12-03 2012-12-19 三菱重工業株式会社 無人機及び無人機用空中見張りシステム
JP5841821B2 (ja) * 2011-12-07 2016-01-13 富士通テン株式会社 画像処理装置、車両、画像処理方法、及び、プログラム
JP2013141111A (ja) * 2011-12-29 2013-07-18 Sony Corp 撮像システム

Also Published As

Publication number Publication date
JP2016082586A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
JP6877815B2 (ja) 画像生成装置
JP6667943B2 (ja) 画像生成装置
US11430332B2 (en) Unmanned aerial system assisted navigational systems and methods
CN108829139B (zh) 一种无人机海上着陆的船载控制方法
KR102074637B1 (ko) 구조물 점검용 비행 장치
WO2010064548A1 (ja) 無人機及び無人機用空中見張りシステム
US10773591B2 (en) Video analytics based pilot safety devices
CN108614273A (zh) 一种机载双波段光电广域侦察与跟踪装置及方法
WO2017083597A1 (en) Detection and ranging systems and methods
CN108983812B (zh) 一种无人机海上着陆的船载控制系统
KR101695899B1 (ko) 해양감시 시스템
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
CN109660721B (zh) 无人机飞行拍摄质量优化方法、系统、设备及存储介质
WO2018045354A2 (en) Unmanned aerial system assisted navigational systems and methods
CN109597432B (zh) 一种基于车载摄像机组的无人机起降监控方法及系统
JP2022022323A (ja) コンテナ船
JP6482857B2 (ja) 監視システム
JP6482855B2 (ja) 監視システム
JP2006270404A (ja) 撮影制御装置、撮影制御方法および撮影制御プログラム
KR20120036684A (ko) 지피에스를 이용한 지능형 항공로봇
JP6482856B2 (ja) 監視システム
US6801249B1 (en) Device for emitting a time varying signal in the field of vision of a picture taking device
US20220238987A1 (en) Mobile surveillance systems extendable mast control systems and methods
US8610776B2 (en) System for target designation and/or illumination and for air reconnaissance
JP2019219874A (ja) 自律移動撮影制御システムおよび自律移動体

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6667943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150