JP6293960B1 - 衝突回避支援システム - Google Patents

Abstract

【課題】本発明の課題は、複数のセンサを利用して、船舶の移動経路における異物を探知し、識別し、センサデータを収集し解析した結果を利用して、船舶の衝突回避を支援するシステムを提供することである。【解決手段】センサ群、３次元視野取得部、異物識別部、異物データベース、解析部、深層学習部、学習部、通信部という構成要素を有しているシステムを採用し、船舶の移動経路における異物を探知し、識別し、センサデータを収集し解析した結果を利用して、船舶の衝突回避を支援する。【選択図】図１

Description

本発明は、船舶の衝突回避支援防止システムに関し、特に複数のセンサからのセンシングデータ（以下、センサーデータという）を利用して衝突回避の支援をするシステムに関する。

船舶の衝突回避支援のためのシステムとして、レーダー装置が知られている。陸地、建造物、他の船舶等を高い上空から眺めた鳥瞰図として表示することによって、視覚情報を補って安全な航行を支援している。

しかしながら、レーダー装置から得られる情報だけでは、海藻、流木、漂流物等の異物を探知し、識別して評価することが出来ず、安全航行をするに充分な情報と言えるものではなかった。

レーダー装置以外の様々なセンサを活用して、安全航行を支援するシステムが、特許文献１に記載されている。
特許文献１では、ＧＰＳ装置、ジャイロスコープ装置、姿勢センサ装置、レーダー装置、ＴＶカメラ装置、暗視装置、音響測深儀装置、ソナー装置、ログ装置、操舵装置からの出力情報および海図情報データベース、港湾情報データベースに基づいて、所定位置から所定方向に臨む景観画像を生成して、画像表示手段で表示することによって、たとえば自船の操縦位置から前進方向を見た景観画像や、自船の甲板後部から後進方向を見た景観画像など、任意の位置から任意の方向を見た景観画像を生成し表示することができるシステムが提案されている。

ここでさらに、衝突危険性を予測する衝突回避計算、座礁危険性を予測する座礁回避計算、危険海域を算出する危険海域計算、推奨航路を算出する推奨航路計算を行ない、算出された推奨航路を画像表示手段で表示することによって、操船者による目視情報が不足していても航路の安全性を確保できるとも記載されている。
しかしながら、システムが異物について探知し、識別して評価するものではなく、操作者自らが画像情報に映し出された景観から異物を識別する必要があった。

特許文献２では、海洋状態データを収集する複数センサを備えた船舶のモーションコントロールシステムが提案されている。ここでは、解析ソフトウエアが海洋状態データを受信して海洋状態の発生を予測し、計算ソフトがその発生に備える動作命令を計算し、インターフェースソフトウエアが動作命令を船舶コントロールシステムに送信する。
しかしながら、ここでの海洋状態は波の状態に関するものが主であり、海藻等の異物を探知したり、識別したりするものではなかった。
特開平６−３０１８９７号公報 ＵＳ２０１４−１１４５０９

本発明の課題は、複数のセンサを利用して、船舶の移動経路における様々な種類のセンサデータを収集し、学習し、結果として異物領域を探知し、識別して評価をし、船舶の衝突回避を支援するシステムを提供することである。

本発明の第一の観点では、ビデオカメラ、カラーメーター、分光器、赤外線センサ、温度センサ、レーダー、ＬＩＤＡＲ、ソナー、風速計、船舶速度計、ＧＮＳＳレシーバから選ばれる複数センサを用いて船舶の衝突回避を支援するシステムであって、
ａ）前記ビデオカメラ、前記赤外線センサ、前記ＬＩＤＡＲから選ばれる複数センサによるセンサデータを統合して前記移動経路の３次元視野を取得する3次元視野取得手段と、
ｂ）前記異物を含む３次元視野における前記複数センサのセンサデータの収集をし、該収集に係るセンサデータと前記異物に係る評価との組を学習データとして、深層学習の手法を用いて、収集した前記センサデータに対する前記異物に係る評価を出力する学習手段と、
を含み、
前記異物に係る評価は、海の漂流物の識別情報を含み、
現在の３次元視野における前記複数センサのセンサデータに対して前記学習手段から出力される現在の異物の評価を衝突回避支援情報として提供することを特徴とする衝突回避支援システムが提供される。
ここで、ＬＩＤＡＲとは、Light Detection and Rangingであり、光検出と測距を行うセンサである。

上記センサは、前記船舶に設けた複数の柱に固定されている、としてもよい。
あるいは、上記センサは観察高度と観察距離を獲得するためのドローンに設けられ、該ド
ローンは前記船舶からの有線接続又は無線接続されている、としてもよい。

上記異物に係る評価は、さらに海の物体の識別情報を含み、該物体は前記船舶とは別の船舶、浮標、隠れ岩を含む、としてもよい。

上記評価は、前記船舶の操船者に警告するため前記船舶に設けられたスクリーン、前記船舶に設けられたヘッドアップディスプレイ、前記操船者の端末、前記操船者のヘッドマウントディスプレイ、前記操船者のバイザーから選ばれる少なくとも１つから選ばれる少なくとも１つに表示されるに表示される、としてもよい。

上記評価は、前記船舶に設けられた、潜在的衝突を回避するためのオートパイロットシステムに送り込まれる、としてもよい。

上記評価は、遠距離通信装置によって送信され、ネットワーク上のデータベース又は近くを航行する船舶のシステムと共有される、としてもよい。

上記学習データは、本システムとは異なる衝突支援システムにおいて収集したセンサデータと前記異物に係る評価との組、もしくは、試験データとして生成されたセンサデータと前記異物に係る評価との組を含む、としてもよい。

上記学習手段は、通信により接続された複数の衝突回避システムにおいてセンサデータの収集をし、該収集に係るセンサデータと前記異物に係る評価との組を学習データするとしてもよい。

図１は、本実施例の衝突回避支援システムを備えた船舶が航行する水域の平面イメージである。 図２は、本実施例のシステムを備えた船舶概観の平面イメージである 図３は、本実施例のシステムを備えた船舶概観の側面イメージである。 図４は、船舶に設けられた衝突回避支援システムとこれに接続するセンサ、各種システムを示したブロック図である。 図５は、３次元領域と３次元領域において探知された異物領域とで形成された３次元視野データのイメージ図である。 図６は、スクリーン表示された支援情報のイメージ図である。 図７は、ヘッドアップディスプレイに映し出された3次元視野のイメージ図である。

以下、本発明の具体例につき図面を用いた実施例において説明する。

ここで示す各機能構成部の動作は、予め組み込まれたファームウエア等の制御プログラムをシステムの回路のプロセッサで実行し、システムの構成要素となる各種デバイスと協働することにより実現される。また、これらのプログラムは、コンピュータで読み取り可能な記録媒体に記録され、当該プロセッサによって記録媒体から読み出され、船舶操縦者等のユーザが操作すること又はシステムを構成するデバイスからの信号を受信することによって実行される。

（全体図：ネットワーク含む）
図１は、本実施例の衝突回避支援システムを備えた船舶が航行する水面の平面イメージ図である。２つの直線１０００で挟まれた領域で示す水路を航行する、センサ群１００２を備える船舶１００１と、海上及び海中の異物である海藻１００３、浮標１００４、隠れ岩１００５が示されている。１００６で示す矢印は航行経路の方向を示し、2つの直線１００７で挟まれた領域は、船舶のセンサ群１００２で異物を探知する3次元視野の平面領域を示している。１００８で示すドローンは、船舶１００１と無線通信で接続しており、ビデオカメラが搭載され、３次元視野の領域の異物を上空から近づいて精査し、センサデータを船舶のシステムに送信する。ここでは、搭載するセンサをビデオカメラとしたが、精査する必要に応じて、カラーメーター、分光器、赤外線センサ、温度計等に適宜変更可能である。また、ドローンと船舶との接続は、無線に限定されるものではなく、有線方式も適宜採用されうる。

図２は、本実施例のシステムを備えた船舶概観の平面イメージである。
船舶の船体２００１に右柱２００２、左柱２００３、中央柱２００４が設けられ、それぞれの柱にはセンサが取り付けられている。

図３は、本実施例のシステムを備えた船舶概観の側面イメージである。船体について左右対称に設けられた左右の柱のうち右柱２００２が示され、中央柱２００４は、船室３００１の天井に設けられている。
船底３００２には、ソナー３００３が設けられている。

右柱２００２及び左柱２００３の上部には、ビデオカメラ、カラーメーター、分光器そして赤外線センサ、が搭載されている。
中央柱２００４には、レーダー、ＬＩＤＡＲ、風速計、温度計、船舶速度計そしてＧＮＳＳレシーバが搭載されている。
ここで温度計は、非接触で異物領域の温度を測定可能な放射温度計を用いる。

図４は、船舶に設けられた衝突回避支援システムとこれに接続するセンサ、各種システムを示したブロック図である。
衝突回避支援システム４０００は、船舶に設けられたセンサ群４００１、本船舶の操船システム４００２と接続している。さらに通信ネットワーク４００３を介して、船舶操船情報データベース４００４と他船システム４００５が本システムと接続している。
衝突回避支援システム４０００の機能構成は、３次元視野取得部４００６、収集部４００７、学習部４００８、支援部４００９、通信部４０１０である。

センサ群４００１は、船舶１００１及びドローン１００８に備えられたすべてのセンサを示しており、これらセンサ群が取得したデータセットが衝突回避支援システムに送信される。
3次元視野生成部４００６は、センサ群４００１を構成する右柱及び左柱に設けられたビデオカメラ及び赤外線センサで取得した画像データとソナーで取得した海中物体データから、船舶の航行経路の方向の３次元領域データを形成し、水路の領域、水路以外の異物領域を含む3次元視野を生成する。
図５は、３次元領域と３次元領域に含まれる異物領域とで形成された３次元視野データのイメージ図である。ここでは、船舶５０００の船首を水面に投影した点を原点（Ｘ，Ｙ，Ｚ）＝（０，０，０）とする３次元座標空間内において、異物である海藻１００３、浮標１００４、隠れ岩１００５の領域を含む３次元領域５００１が形成されている。
ここで３次元領域は、５００２、５００３、５００４、５００５で示すＸＹ平面上の４点から船舶の航行方向を示すＺ軸へ、2つの直線１００７を含む奥行をもって広がる範囲である。

収集部４００７は、流木、海藻、他船舶、浮標、隠れ岩、浅瀬等の異物を含む3次元視野に係るデータセットと、この3次元視野に対する操船システム４００２における操縦者の操作や評価の入力との組を収集する。
データセットは、形状、色、温度、速度の有無といったセンサ群に係るデータだけでなく、海図データに示されるような海上構造物の種類と位置、海洋警報情報で示された漂流物等の種類と位置といったデータを利用してもよい。

学習部４００８は、衝突回避を支援する場面では、支援情報を生成するために現在直面する3次元視野のデータセットを入力されて、３次元視野に含まれる異物に係る評価を出力する。評価は、支援部４００９に出力され、船舶に備えられたスクリーンに表示される支援情報として操船システムに送信される。ここでは学習部の出力である現在の評価は、表示される支援情報として送信されたが、本発明に係る支援情報はこれに限定されるものではなく、操船システム組み込まれたオートパイロットシステムに学習部の出力がそのまま送信されてもよい。図６は、スクリーン表示された支援情報のイメージ図である。スクリーン６０００は、操船システムにおけるレーダー画面内に、異物の存在と推奨操船を示すメッセージ６００１が表示されている。

ここでスクリーン表示は、船舶の操船室のフロントガラスに設けたヘッドアップディスプレイに3次元視野を生成し、そこに支援情報を表示する方式を採用することが可能である。 図７は、ヘッドアップディスプレイに生成された3次元視野とそこに表示された支援情報のイメージ図である。船舶の船首７０００において、操船室７００１のフロントガラス７００２には、操船者７００３の視野にヘッドアップディスプレイ７００４Ａが設けられている。 ７００４Ｂは、ヘッドアップディスプレイの拡大イメージである。ここでは、3次元視野の中に探知、認識された波７００５、漂流物７００６、浮標７００７が表示されている。点線表示の漂流物７００６は、ディスプレイ上では着色表示され、回避すべき危険物であることを示している。７００８、７００９そして７０１０は、認識された異物の名前を示すラベル表示であり、波、漂流物そして浮標であることを表示している。 ７０１１は、船首のイメージであり、現在の進行方向を表している。７０１２は、現在の状況においてシステムが推奨する操船を表示している。 ここでは、支援情報を表示する方式として、船舶に設けられたスクリーンに表示する方式とヘッドアップディスプレイに表示する方式を示した。しかしながら、本発明で採用可能な表示方式はこれに限定されるものではなく、操船者の端末、操船者のヘッドマウントディスプレイ、操船者のバイザーになどに表示する方式が適宜採用されうる。

上記支援のための動作において収集されたデータセットと支援情報の元となった出力の組と、操船システムで実際に選択された操船動作も学習されるが、学習部４００８の機能向上を効率的に行うため、他船システム４００５において収集されたデータセットと出力の組を通信部４０１０によって受信し、学習部４００８の学習データとして利用してもよい。さらには、異物を含む3次元視野をシミュレートして形成した試験データによるデータセットとそのデータセットの状況に対する評価の出力を学習データとしてもよい。

以上のようなシステムを採用することにより、船舶の移動経路における異物を含む上京において、衝突回避を支援するシステムを提供することができる。

本発明は、船舶業界、船舶の操船業界、船舶への情報提供機関等の業界において適用可能である。

１００１ 船舶
１００２ センサ群
１００３ 海藻
１００４ 浮標
１００５ 隠れ岩
１００６ 航行経路の方向
１００７ ３次元視野
１００８ ドローン

Claims (9)

1. ビデオカメラ、カラーメーター、分光器、赤外線センサ、温度センサ、レーダー、ＬＩＤＡＲ、ソナー、風速計、船舶速度計、ＧＮＳＳレシーバから選ばれる複数センサを用いて船舶の衝突回避を支援するシステムであって、
   ａ）前記ビデオカメラ、前記赤外線センサ、前記ＬＩＤＡＲから選ばれる複数センサによるセンサデータを統合して前記移動経路の３次元視野を取得する3次元視野取得手段と、
   ｂ）前記異物を含む３次元視野における前記複数センサのセンサデータの収集をし、該収集に係るセンサデータと前記異物に係る評価との組を学習データとして、深層学習の手法を用いて、収集した前記センサデータに対する前記異物に係る評価を出力する学習手段と、
   を含み、
   前記異物に係る評価は、海の漂流物の識別情報を含み、
   現在の３次元視野における前記複数センサのセンサデータに対して前記学習手段から出力される現在の異物の評価を衝突回避支援情報として提供することを特徴とする衝突回避支援システム。
2. 前記複数センサは、前記船舶に設けた複数の柱に固定されていることを特徴とする請求項１に記載の衝突回避支援システム。
3. 前記異物に係る評価は、さらに海の物体の識別情報を含み、該物体は前記船舶とは別の船舶、浮標、隠れ岩を含むことを特徴とする請求項１に記載の衝突回避支援システム。
4. 前記複数センサは観察高度と観察距離を獲得するためのドローンに設けられ、該ドローンは前記船舶からの有線接続又は無線接続されていることを特徴とする請求項１に記載の衝突回避支援システム。
5. 前記評価は、前記船舶の操船者に警告するため前記船舶に設けられたスクリーン、前記船舶に設けられたヘッドアップディスプレイ、前記操船者の端末、前記操船者のヘッドマウントディスプレイ、前記操船者のバイザーから選ばれる少なくとも１つに表示されることを特徴とする請求項１乃至４のいずれかに記載の衝突回避支援システム。
6. 前記評価は、前記船舶に設けられた、潜在的衝突を回避するためのオートパイロットシステムに送り込まれることを特徴とする請求項１乃至４のいずれかに記載の衝突回避支援システム。
7. 前記評価は、遠距離通信装置によって送信され、ネットワーク上のデータベース又は近くを航行する船舶のシステムと共有されることを特徴とする請求項１乃至４のいずれかに記載の衝突回避支援システム。
8. 前記学習データは、本システムとは異なる衝突支援システムにおいて収集したセンサデータと前記異物に係る評価との組、もしくは、試験データとして生成されたセンサデータと前記異物に係る評価との組を含むことを特徴とする請求項１乃至７のいずれかに記載の衝突回避支援システム。
9. 前記学習手段は、通信により接続された複数の衝突回避システムにおいてセンサデータの収集をし、該収集に係るセンサデータと前記異物に係る評価との組を学習データとすることを特徴とする請求項１乃至８のいずれかに記載の衝突回避支援システム。
   

Images