JP7621672B2 - 障害物推定システム - Google Patents

Description

本開示は、障害物推定システムに関する。

従来、船舶が航行する際には、水面の浮遊物や他の船舶などの障害物を回避する必要があり、そのための技術が求められている。例えば、特許文献１には、複数のセンサによるセンサデータを統合して、移動経路上に存在する異物を検知し、船舶の衝突回避を支援するシステムが開示されている。

特開２０１９－０３６０１０号公報

しかしながら、船舶は移動中も波や風の影響により揺れが生じたり、潮の流れの影響を受けたりすることがあるため、船体の位置や姿勢は不安定であり、障害物の推定精度を確保することが難しいという問題がある。

そこで、本開示は上記問題点に鑑みてなされたものであり、その目的は、障害物の推定精度を高め、船舶の安全性を向上するための障害物推定システムを提供することである。

本開示によれば、複数のデータ取得手段と、情報処理を実行する制御部とを備え、船舶が航行する際の障害物に関する情報を推定する障害物推定システムであって、
前記制御部は、
少なくとも１つのデータ取得手段から取得した第１データに基づいて、自船位置情報及び自船姿勢情報を推定する自船情報推定処理と、
少なくとも１つのデータ取得手段から取得した第２データに基づいて、前記自船位置情報及び自船姿勢情報を補正する自船情報補正処理と、
前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、少なくとも１つのデータ取得手段から取得した第３データに基づいて、障害物の位置、及びサイズを推定する障害物情報推定処理と、
前記障害物情報推定処理で推定した障害物の位置、及びサイズの情報に基づく出力情報を生成する、出力情報生成処理と、を実行する障害物推定システムが提供される。

本開示によれば、障害物の推定精度を高め、船舶の安全性を向上するための障害物推定システムを提供することができる。

本開示の一実施形態に係る障害物推定システムを示す図である。 同実施形態に係る障害物推定システムの一例を適用した船舶を示す図である。 同実施形態に係る障害物推定システムにおける一連の制御に係るフローチャート図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本実施形態にかかる障害物推定システム（以下、単に「システム」とも称する。）の一例である。本実施形態のシステムは、任意の形式の船舶に設置することができ、特に、比較的小型の船舶に適している。本実施形態のシステムは、具体的には、漁船、水上タクシー、小型兼用船、遊漁船、客船、交通船、作業船、消防艇・警戒艇、プレジャーヨット、プレジャーモーターボート、特殊作業船舶、等に採用することができ、大型の客船、タンカー、貨物船等にも採用し得る。

本実施形態のシステムは、複数のデータ取得手段と、情報処理を実行する制御部とを備え、船舶が航行する際の障害物に関する情報を推定する障害物推定システムであって、前記制御部は、少なくとも１つのデータ取得手段から取得した第１データに基づいて、自船位置情報及び自船姿勢情報を推定する自船情報推定処理と、少なくとも１つのデータ取得手段から取得した第２データに基づいて、前記自船位置情報及び自船姿勢情報を補正する自船情報補正処理と、前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、少なくとも１つのデータ取得手段から取得した第３データに基づいて、障害物の位置、及びサイズを推定する障害物情報推定処理と、前記障害物情報推定処理で推定した障害物の位置、及びサイズの情報に基づく出力情報を生成する、出力情報生成処理と、を実行する。

本実施形態のシステムは、船舶が航行する際の障害物を推定するための障害物推定システム１である。本システム１は、例えばデータ取得部１０、制御部２０、記憶部３０、入力部４０、出力部５０、通信部６０、及び船舶動作制御部７０を備える。各構成は有線接続または無線接続され、互いに通信可能である。また本例では、制御部２０、記憶部３０、入力部４０、出力部５０、及び通信部６０が情報処理装置（コンピュータ）に実装された構成としているが、これに限られず、各部は独立していてもよい。

データ取得部１０は、各種センサ及びカメラ等の複数のデータ取得手段を備え、各種センサデータ及び画像データを取得する。データ取得部は、例えば、カメラ、Lidar（Light detection and ranging）、舶用レーダー、ミリ波レーダー等のレーダー装置、超音波測距センサ、GNSSモジュール、QZSSモジュール等の測位装置、AIS、慣性計測装置（IMU）、慣性センサ、風向センサ、風速センサ、速度センサ（対地速度センサ、対水速度センサ）、方位センサ、加速度センサ、ジャイロセンサ、磁気コンパス、サテライトコンパス、温度センサ、湿度センサ、気圧センサ、高度センサ、赤外線センサ等を含むことができる。データ取得部１０は、自船の現在位置（座標）、姿勢（船首方向等の方位）、移動速度、移動方向、船首方向及び回頭量に関する情報、周囲環境の情報、他船や人等の障害物に関する情報を取得することができる。ＡＩＳは、船舶間や船舶と陸上設備の間で各種情報を送受信するためのシステムであり、例えばそれぞれの船舶の位置、姿勢（針路）、移動速度、目的地などの船舶情報を無線通信で交換することができる。方位センサは、地磁気を利用して船首方位を算出する磁気方位センサ、ジャイロコンパス、ＧＰＳコンパス等であってもよい。

制御部２０は、CPU等のプロセッサ（演算装置）を含み、記憶部３０に記憶されるプログラムに基づいて各種情報処理を実行可能に構成されている。制御部２０は、データ取得部１０からのデータ（第１データ）に基づいて、自船位置情報及び自船姿勢情報を推定する自船情報推定処理を実行することができる。自船の位置情報は、GNSSモジューで取得した測位データとしての座標情報を現在位置として推定することができる。自船の位置情報は、Lidarから取得したマップデータ（３次元点群データ）と記憶部に記憶されるマップ情報との比較に基づく自己位置推定処理により推定されてもよい。自船の位置情報は、特定の座標系上の２次元または３次元の座標情報で表現され、緯度及び経度で表現されてもよい。自船の姿勢は、２次元または３次元の特定の座標系における方位（角度）情報で表現される。姿勢情報は、東西南北の方位で表現されてもよい。

制御部２０は、データ取得部１０からのデータ（第２データ）に基づいて、自船位置情報及び自船姿勢情報を補正する自船情報補正処理を実行することができる。制御部２０は、例えば、Lidarまたはカメラから取得した速度データに基づいて、自船位置情報及び自船姿勢情報を補正することができる。

制御部２０は、データ取得部１０からのデータに基づいて、自船の速度を推定する速度推定処理を実行することができる。例えば、所定時間（０．０１秒、０．１秒、１秒等）前の位置情報と、現在の位置情報から、当該所定時間に移動した距離を算出し、所定時間で移動した距離の情報から、速度を推定することができる。

制御部２０は、自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、データ取得部１０からのデータ（第３データ）に基づいて障害物の位置、及びサイズを推定する障害物情報推定処理を実行することができる。制御部２０は、自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、データ取得部１０からのデータ（第３データ）に基づいて障害物の種類を推定することも可能である。

制御部２０は、例えば、予め記憶部３０に記憶された障害物の種類の候補の中から、何れかを選択することにより、障害物の種類を推定することができる。障害物の種類の情報は、船舶、具体的な船舶分類（漁船、水上タクシー、小型兼用船、遊漁船、客船、交通船、作業船、消防艇・警戒艇、プレジャーヨット、プレジャーモーターボート、特殊作業船等）、海洋構造物、人（遊泳、サーフィン、ヨット、パドルボード等を含む）、岩、岸、流木、海藻、海洋生物などの種類情報を含むことができる。障害物の種類の情報は、サイズ（面積、高さ）の情報と関連付けて記憶される。

制御部２０は、例えば、カメラで取得した画像データを画像解析することにより、障害物の位置、姿勢、種類、及びサイズを推定することができる。制御部２０は、障害物情報推定処理において、事前に学習させた学習モデルを用いた機械学習の技術を用いて障害物の位置、姿勢、種類、及びサイズを推定するようにしてもよい。制御部２０がカメラで取得した画像データに基づいて、障害物の位置を推定する場合、カメラ座標系における障害物の３次元位置（座標）を推定した後、カメラの位置（座標）及び撮影方位の情報に基づいて、座標変換処理によって、カメラ座標系をワールド座標系に変換して、世界座標系上での障害物の位置（座標）を算出することができる。制御部２０は、カメラからの画像データの画像解析、あるいは、３次元データ（点群データ、モデルデータ等）の解析等により、障害物としての船舶の船首方向、人の顔の向き（正面方向）、サーフボード等の使用する物体の向き（進行する向き）を推定することができる。制御部２０は、上記のようなカメラによる画像データに限らず、レーダー装置、Lidar等の何れか、又は複数の組み合わせのセンサデータに基づいて、水上又は水中の障害物の３次元の位置、姿勢を推定することができる。

記憶部３０には、障害物の種類の候補と各種類に対応するサイズ（平面視での面積、高さに関する情報）の値、サイズの範囲（上限値、下限値）が、予め関連付けて記憶されていてもよい。例えば、船舶の面積の範囲は、 3 ｍ＾２以上、9200 ｍ＾２以下、船舶の高さ（水面上高さ）の範囲は、 0.5 ｍ以上、 100 ｍ以下、とすることができる。また、人の面積の範囲は、 0.2 ｍ＾２以上、 5 ｍ＾２以下、人の高さ（水面上高さ）の範囲は、 0.1 ｍ以上、 3 ｍ以下、とすることができる。記憶部３０には、障害物の位置、種類、及びサイズ等の障害物情報と関連付けられた適正回避距離の情報が記憶されている。また、記憶部３０には、適正回避距離を算出するための計算式に関する情報が記憶されていてもよい。例えば、障害物としての船舶のサイズ（平面視面積）に応じて、適正回避距離を算出するようにしてもよい。また、算出する際に用いるパラメータは、障害物の種類、移動速度、移動方向等の情報を含むようにしてもよい。記憶部３０には、自船の航行経路（移動予定の経路）に沿う移動と、障害物との接触の有無をシミュレーションするプログラムの情報が含まれるようにしてもよい。記憶部３０は、それぞれのデータ取得手段に関する情報が記憶される。データ取得手段に関する情報は、例えば、自船におけるデータ取得手段の位置（例えば、船舶の中心や重心等の特定点に対する相対的な位置）、相対的な姿勢（例えば、自船の船首方向に対する相対的な方向）等とすることができるが、これに限られない。

制御部２０は、自船情報補正処理で補正した自船位置情報及び自船姿勢情報、自船の移動速度情報、移動方位情報、並びに、データ取得部１０からのデータ（第３データ）に基づいて障害物の移動速度、移動方向、姿勢を推定するようにしてもよい。制御部２０は、Lidarからのデータに基づいて、他船等の障害物の、自船に対する相対的な移動速度情報及び移動方向情報を取得することができる。制御部２０は、レーダー装置からのデータを用いて、障害物の移動速度情報及び移動方向情報等を取得することも可能である。

制御部２０は、障害物情報推定処理において、カメラで取得した画像データを解析して、障害物の種類、サイズ、位置、形状、色等の情報を推定することができる。また、制御部２０は、画像データから推定した障害物の何れかの情報と、記憶部に予め記憶された障害物関連情報とに基づいて、障害物の情報を推定してもよい。例えば、制御部２０は、画像データから障害物のサイズを推定し、記憶部を参照して、当該サイズに一致するサイズ範囲に関連付けられる障害物の候補を、当該障害物の種類として決定（推定）するようにしてもよい。また、カメラで取得した画像データを解析して障害物の種類を推定し、記憶部を参照して、当該種類に関連付けられるサイズ候補を、当該障害物のサイズとして決定（推定）するようにしてもよい。また、カメラで取得した画像データに限られず、レーダー装置から取得した検出データ、Lidarからの検出データの何れかまたは組み合わせに基づいて、障害物の種類、サイズ、及び位置の何れかを推定するようにしてもよい。例えば、Lidarにより障害物の多数の点までの距離データから、障害物の3次元データを生成して、当該障害物の３次元データに基づいて、３次元の形状、種類、サイズ、及び位置等を推定することができる。このように、制御部２０は、記憶部３０に記憶されている障害物候補の情報と、データ取得部１０から取得した障害物に関するデータとを比較することにより、障害物候補の中から選択し、検出された障害物の種類、サイズ等を推定することができる。なお、制御部２０は、データ取得部１０からのデータのみに基づいて、障害物の位置、及びサイズを推定することも可能である。

制御部２０は、生成した情報等の各種情報を記憶部３０に記憶したり、記憶部３０の情報を更新したり、出力部５０から出力させたり、通信部６０を介して外部装置や他船等に送信したりすることができる。また、制御部２０は、データ取得部１０で取得した情報、入力部４０を介して入力されるユーザの操作情報、通信部６０で受信した情報、を受け付けて、当該情報に基づいて情報処理を実行することができる。

記憶部３０は、予め格納した各種情報、データ取得部１０から取得した情報、通信部６０を介して外部装置や他船等から受信した情報、制御部２０で生成した情報、入力部４０を介して入力される情報、等を記憶することができ、不揮発性メモリやハードディスクなどで構成される。記憶部３０は、自船の形状（３次元モデルデータ等）、特性（出力、速度、回頭量に関する特性）を示す各種パラメータに関する情報、障害物に関する情報、２次元または３次元のマップ情報、航行履歴情報、航行計画情報、潮汐情報等を記憶することができる。

入力部４０は、ユーザからの操作等に基づく入力情報を受け付ける。入力部４０は機械式のボタン、スイッチ、操作レバー、タッチパネル等で構成される。入力部４０は、音声入力可能なマイク等を備えてもよい。

出力部５０は、各種情報を画像（動画）、音声等により出力する。出力部５０は、例えば、画像を表示させる液晶モニター、タッチパネル等の表示部、音声を表示させるスピーカ等の音声出力部、振動を発生させる振動発生部（バイブレーション装置）等を備えてもよい。

通信部６０は、インターネットや無線通信等のネットワークに接続され、外部装置（サーバ、管制装置等）や他船にデータを送信したり、外部装置からのデータを受信したりすることができる。

船舶動作制御部７０は、操舵を制御するオートラダー、プロペラやスラスタを回転させるための動力部（エンジン、モータ等）を制御するオートスロットル等を含んでもよい。船舶動作制御部７０は、制御部２０、記憶部３０、入力部４０、通信部６０の少なくとも何れかからの指示情報に基づいて、船舶７０の動作（前進、後退、左右移動、旋回等の動作）を制御し、所定の経路に沿って船舶を航行させることができる。

図２は、本システムを船舶１００に設置した場合の一例を示している。図２の例では、データ取得部１０としてのLidar、カメラ、GNSSアンテナ、AISアンテナ、風向風速計と、制御部２０としての制御ユニットと、出力部５０としてのモニターと、船舶動作制御部７０としてのオートラダー及びオートスロットルを備えている。図２の例では、Lidar及びカメラが、船舶１００の前側（船首側）、後側（船尾側）にそれぞれ設置されており、船舶１００の周囲、特に前側と後側のデータを高い精度で検出できるようにしている。船舶に設置される本システムの構成は、図示例に限定されず、他のセンサ等を備えてもよい。

図３は、本実施形態のシステムにかかる障害物情報の推定方法に関する処理フローの一例を示す。

制御部２０は、少なくとも１つのデータ取得手段から取得した第１データに基づいて、自船位置情報及び自船姿勢情報を推定する自船情報推定処理（Ｓ１０１）と、少なくとも１つのデータ取得手段から取得した第２データに基づいて、自船位置情報及び自船姿勢情報を補正する自船情報補正処理（Ｓ１０２）と、自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、少なくとも１つのデータ取得手段から取得した第３データに基づいて、障害物の位置、及びサイズを推定する障害物情報推定処理（Ｓ１０３）と、障害物情報推定処理で推定した障害物の位置、及びサイズの情報に基づく出力情報を生成する出力情報生成処理（Ｓ１０４）と、を実行する。第１データ、第２データ、及び第３データはそれぞれ、共通のデータ取得手段から取得したデータを含んでもよい。また、第１データ、第２データ、及び第３データはそれぞれ、１つのデータ取得手段から取得したデータであってもよいし、複数のデータ取得手段から取得したデータを含んでいてもよい。

自船情報推定処理（Ｓ１０１）において、例えば、データ取得手段としてのＧＮＳＳアンテナからの座標情報に基づいて自船の３次元位置を推定するとともに、慣性計測装置から取得した方位データに基づいて、自船の３次元姿勢情報を推定する。自船情報推定処理（Ｓ１０１）は、１つのデータ取得手段のみから取得したデータに基づいて実行してもよいが、推定精度を高める観点から、複数のデータ取得手段から取得したデータに基づいて推定処理を実行する方が好ましい。

自船情報補正処理（Ｓ１０２）において、例えばＬｉｄａｒ及びカメラの少なくとも一方から取得した速度情報に基づいて、Ｓ１０１で推定した自船位置情報及び自船姿勢情報を、補正する。制御部２０は、例えば、所定時間（０．０１秒、０．１秒、１秒等）前の時点での位置（座標）と移動方向情報と移動速度情報とを用いて、（その時点から所定時間経過後である）現時点での位置及び姿勢を推定する。そして当該推定した位置及び姿勢の情報と、自船情報推定処理（Ｓ１０１）で推定した自船位置情報及び自船姿勢情報とを比較して、一致していない場合に、両者の間の数値を正確な現在位置及び現在姿勢の情報として採用することで、自船位置情報及び自船姿勢情報を補正することができる。なお、自船情報補正処理は、他の方法であってもよく、例えば、カメラからの画像データに基づく自己位置姿勢推定処理により算出された位置情報及び姿勢情報を用いて、自船位置情報及び自船姿勢情報を補正するようにしてもよいし、それらを組み合わせてもよい。また、補正処理の精度を高める観点から、複数のデータ取得手段から取得したデータに基づいて補正処理を実行する方が好ましい。

次いで、障害物情報推定処理（Ｓ１０３）において、例えば、自船情報補正処理で補正した自船位置情報及び自船姿勢情報に基づいて（船舶の座標系におけるカメラの位置及び姿勢）カメラの位置及び姿勢を推定するとともに、カメラ座標系上の障害物の相対的な位置データを用いて座標変換し、障害物のワールド座標系上の位置を推定する。また、カメラの画像データを解析して、障害物の種類とサイズを推定する。障害物の位置、種類、サイズの推定は、レーダー装置から取得した検出データを単独で又は組み合わせて行ってもよい。

そして、出力情報生成処理（Ｓ１０４）において、例えば、障害物の位置、及びサイズの情報を含む画像データや音声データを出力情報として生成し、モニターに障害物の位置をマップ表示させたり、障害物の種類及びサイズをテキストや画像で表示させたり、スピーカから音声出力して注意を促したりすることができる。

ここで、出力情報の内容は特に限定されず、例えば、障害物を回避して航行するための航行経路情報を生成し、モニターに表示させたり、オートパイロットシステムに適用して自動航行させたりしてもよい。

出力情報は、障害物から離間するべき距離（適正回避距離）の情報を含んでもよく、例えば、障害物のサイズが小さい（１ｍ＾２以下など）場合には、適正回避距離を小さく（５ｍ、１０ｍ等）し、障害物のサイズが大きい（１０ｍ＾２以上など）ほど、適正回避距離を大きく（２０ｍ、５０ｍ等）設定してもよい。また、例えば、障害物が人の場合には、適正回避距離を大きく（２０ｍ、５０ｍ等）設定し、ブイ、流木、海藻等の浮遊物の場合には適正回避距離を小さく（５ｍ、１０ｍ等）してもよい。適正回避距離は、障害物の種類及びサイズの少なくとも一方に応じて、記憶部に予め記憶される適正回避距離情報に基づいて決定するようにしてもよい。その場合、障害物の種類、サイズの情報と、適正回避距離の情報とが予め関連付けて記憶される。また、障害物が他船の場合、当該他船の移動速度及び移動方向に基づいて、適正回避距離を算出するようにしてもよい。

以上の通り、本実施形態のシステムにおいて、制御部２０は、少なくとも１つのデータ取得手段から取得した第１データに基づいて、自船位置情報及び自船姿勢情報を推定する自船情報推定処理（Ｓ１０１）と、少なくとも１つのデータ取得手段から取得した第２データに基づいて、自船位置情報及び自船姿勢情報を補正する自船情報補正処理（Ｓ１０２）と、自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、少なくとも１つのデータ取得手段から取得した第３データに基づいて、障害物の位置、及びサイズを推定する障害物情報推定処理（Ｓ１０３）と、障害物情報推定処理で推定した障害物の位置、及びサイズの情報に基づく出力情報を生成する出力情報生成処理（Ｓ１０４）と、を実行する。このように、自船情報補正処理で推定した自船情報を自船情報補正処理で補正してから障害物情報推定処理を実行することにより、障害物の推定精度を高めることができ、その結果、障害物との接触等を回避し易くなるので、船舶の安全性を向上することができる。また本実施形態によれば、０．０１秒、０．１秒等の所定期間ごとに繰返し上記処理を実行し続けることで、実質的にリアルタイムで障害物情報を高精度に推定することができる。なお、障害物情報推定処理により、障害物の種類を推定してもよく、その場合、出力情報として、障害物の種類の情報を画像やテキスト、音声等で出力してもよい。

本実施形態のシステムにおいて、障害物情報推定処理は、自船情報補正処理で補正した自船位置情報及び自船姿勢情報に基づいて、第３データを補正するデータ補正処理、を含むようにしてもよい。すなわち、例えば、第３データとしてのレーダー装置の検出データ、カメラからの画像データ、Ｌｉｄａｒからのデータ等を、補正後の自船位置情報及び自船姿勢情報に基づいて補正処理することで、障害物の推定精度をさらに高めることができる。なお、当該補正処理として、所謂クラスタリング処理等を含んでもよい。

本実施形態のシステムにおいて、出力情報は、障害物の位置、及びサイズの情報に基づいて、船舶が障害物から離間するべき距離の情報を含むようにしてもよい。このような構成とすることで、障害物を安全に、且つ、効率的に回避しながら航行することができる。

本実施形態のシステムにおいて、障害物のサイズの情報は、水面から障害物の頂点までの高さの情報を含むようにしてもよい。このような構成により、例えば、障害物の高さに応じて回避する距離を決定したり、障害物の種類の推定精度を高めたりすることができる。

本実施形態のシステムにおいて、障害物情報推定処理は、障害物の種類が他船又は人であることを判定する処理を含むようにしてもよい。このような構成により、例えば、特に注意が必要な他船又は人であることをユーザに伝え、注意を促したり安全に回避したりすることができる。

本実施形態のシステムにおいて、第１データは、測位衛星から受信した測位データ及び慣性計測装置から取得したデータを含むようにしてもよい。このような構成により、自船情報推定処理を迅速かつ効率的に実行することができる。

本実施形態のシステムにおいて、第２データは、Ｌｉｄａｒ及びカメラの少なくとも一方から取得した速度データを含むようにしてもよい。このような構成により、測位衛星から受信した測位データが取得できない場合であっても、高精度に自船情報補正処理を実行することができる。

本実施形態のシステムにおいて、第３データは、Ｌｉｄａｒから取得したデータを含むようにしてもよい。このような構成により、例えば、Ｌｉｄａｒから取得した３次元点群データを用いて高精度に障害物の位置、及びサイズ、形状等の情報を推定することができる。

本実施形態のシステムにおいて、第３データは、カメラから取得した画像データを含むようにしてもよい。このような構成により、例えば、画像データの画像解析により高精度に障害物の相対的な位置、及びサイズ、形状等の情報を推定することができる。

本実施形態のシステムにあっては、橋の下などで測位衛星からの信号を受信できなかったり、信号干渉が生じたりすることにより、つまりＧＮＳＳ等が機能しない環境においては、Ｌｉｄａｒ及びカメラの少なくとも一方からのデータに基づく自己位置推定処理を実行することができる。

制御部２０は、データ取得部１０からの信号に基づいて、測位衛星からの信号を受信していないと判定した場合に、出力部５０から画像または音声で、測位衛星からの信号を受信していないことを通知したり、自船位置推定処理の方法を自動的に切り替えたりするようにしてもよい。自船位置推定処理の方法の切替処理は、例えば、ＧＮＳＳ等のデータに基づく自己位置推定処理から、Ｌｉｄａｒ及びカメラからのデータに基づく自己位置推定処理に切り替えるようにしてもよい。そして、再び測位衛星からの信号を受信していると判定した場合に、元の測位衛星からのデータに基づく自船位置推定処理の方法に戻すようにしてもよい。

本実施形態のシステムにおいて、制御部２０は、予め記憶部３０に記憶される優先順位の情報に基づいて、各処理に用いるデータの種類を決定してもよい。例えば、障害物情報推定処理においては、カメラの画像データ及びＬｉｄａｒからのデータの組み合わせのデータを最も優先順位を高くし、次いで、カメラの画像データのみ、Ｌｉｄａｒからのデータのみ、レーダー装置からのデータのみ、といったように優先順位を予め設定しておくことができる。優先順位は、例えば、推定の精度が高いことや、情報処理の処理負荷が小さいことなどを考慮して設定することができる。

本実施形態のシステムにおいて、制御部２０は、データ取得手段からの信号の有無等に基づいて各データ取得手段が適切に機能しているか否かを繰り返し判定し、判定結果に基づいて、各処理に用いるデータの種類を決定してもよい。例えば、ＧＮＳＳデータが取得できないと判定した場合、Ｌｉｄａｒで取得するデータを用いて自船情報推定処理を実行し、自船の位置情報及び姿勢情報を推定するようにしてもよい。

各データ取得手段が適切に機能しているか否かの判定結果の情報は、出力部５０から画像、音声、信号等により出力するようにしてもよい。

本実施形態のシステムは、新たな船舶の製造時に設置することもできるが、既存の船舶に各種センサ、カメラ、駆動装置、電源、情報処理装置等の各部を設置することにより実装することも可能である。

本実施形態のシステムは、新造される船舶に設置することも可能であるが、既存の船舶に設置する（後付けする）ことも可能である。すなわち、上述のデータ取得部１０、制御部２０、記憶部３０、入力部４０、出力部５０、通信部６０、及び船舶動作制御部７０の全体または一部をシステムユニットとして形成し、既存の船舶に後から当該システムユニットを設置するようにしてもよい。

本実施形態のシステムにおいて、例えば、データ取得部１０または通信部６０を介して気象情報及び海流情報を取得してもよい。その場合、たとえば、上記の自船情報推定処理、自船情報補正処理、及び障害物情報推定処理少なくとも何れかの処理において、気象情報及び海流情報を用いることで、さらに自船または障害物の推定精度を高めることができる。

本実施形態のシステムにおいて、制御部で生成した障害物に関する出力情報や、データ取得部１０または通信部６０を介して通信部６０を介して取得した気象情報、海流情報、潮汐情報等の情報を、他船等に送信するようにしてもよい。この場合、例えば、他船に対して自然災害や事故等の緊急事態を通知することができる。また、海上での遭難事故や緊急事態に対応するために救助隊や沿岸警備隊と情報共有するようにしてもよい。

本実施形態のシステムにおいて、上述のように船舶の過去の所定時点の速度データに基づいて船舶の現在位置や姿勢を予測するようにしてもよいし、船の特性を示すパラメータや航行履歴等の情報から、機械学習等を用いて船の動作を予測することで、自船の位置情報及び姿勢推定の精度を向上するようにしてもよい。

本実施形態のシステムにおいて、制御部は、複数のデータ取得手段から取得した障害物の情報が重複している場合には、不要な障害物情報を削除するようにしてもよい。つまり、制御部は、複数のデータ取得手段によって推定（検出）された複数の障害物の情報が、同一の障害物であるか否かを判定する重複判定処理を行い、１つの障害物について２以上の障害物情報があると判定した場合に、１つ以外の障害物情報を削除して、１つの障害物情報のみを記憶部に残すようにしてもよい。重複判定処理は、例えば、第１のデータ取得手段（AIS等）で取得した他船の位置情報（座標）と、第２のデータ取得手段（カメラ、Lidar、レーダ装置）のデータ等から推定された他船（障害物）の位置情報が、一致している、または、それら２点（座標）のずれを示す値（距離）が所定の閾値の範囲内であると判定した場合には、同一の障害物であると判定することができる。一方で、２点（座標）のずれを示す値（距離）が所定の閾値の範囲外である（閾値を超えている）と判定した場合には、異なる２つの障害物であると判定して、2つの障害物情報を削除せずに維持することができる。なお、第１のデータ取得手段、及び、第２のデータ取得手段は、１つのデータ取得手段のみでも、複数のデータ取得手段の組み合わせであってもよい。また、第１のデータ取得手段、及び、第２のデータ取得手段は、互いに異なるデータ取得手段であることが想定されるが、一部が同一のデータ取得手段であってもよい。

本実施形態のシステムにおいて、また制御部２０は、さらに障害物の姿勢（向き）に基づいて適正回避距離を決定することができる。例えば、障害物としての船舶の姿勢（船首方向）が自船側に向く方向である場合には、自船と同じ船首方向である場合に比べて、適正回避距離が大きくなるようにパラメータを設定することができる。障害物がサーフボードやパドルボート等を使用する人である場合にも、その向き（サーフボード、カヌー、ヨット、パドルボード等の人が使用する物体の向き）や人の顔の向きに応じて、同様にパラメータを決定することができる。このような、障害物の姿勢の情報とパラメータの情報は予め関連付けて記憶部に記憶されていてもよい。

本実施形態のシステムにおいて、制御部２０は、適正回避距離（パラメータ）に基づいて、障害物を回避して目的地まで航行するための航行経路情報を生成する航行経路生成処理を実行することができる。航行経路生成処理は、スタート位置（例えば、現在の自船位置）の位置情報（座標）と、目的地の位置情報（座標）と、海底地形を含めた３次元マップ情報と、パラメータを含む障害物情報と、に基づいて、障害物から適正回避距離だけ離れた航行経路情報を生成する。その際、障害物の位置情報だけでなく、障害物の種類情報及びサイズ情報を踏まえて適正回避距離を決定することで、安全に、且つ、必要以上に遠回りすることなく効率的な航行が可能となる。

本実施形態のシステムにおいて、制御部２０は、記憶部に記憶される経路探索のアルゴリズムを用いて、航行経路を生成するようにしてもよい。例えば、マップ（海図）を分割した最小単位の領域であるノードにコスト（数値）を設定し、スタート位置のノードから目的地のノードまでのコストが最小となるように探索を行うことで、航行経路を生成するようにしてもよい。コストを設定するにあたり、適正回避距離に基づくパラメータを用いることができる。例えば、障害物に近いノードほどコストが大きい値となり、適正回避距離以上離れているノードはコストが所定値以下となるように設定される。このように、当該コストの数値を、適正回避距離に関するパラメータとすることができる。この場合の所定値は０でもよいし、予め設定された任意の値であってもよい。各ノードから目的地までのコスト（距離）の推定値を用いて、出発地から目的地までのコストが最小となるように探索を行う。経路探索に用いる各ノードのコストの設定は、障害物情報、マップ情報（水深情報、航行不可能領域情報を含む）に加えて、他の任意の情報を用いて決定してもよい。例えば、気象情報（風向き、風速等を含む）、海流情報、波の大きさの情報、等に基づいてコストを決定するようにしてもよい。例えば、風速が大きいほどコストが大きく、移動方向に対して逆向きの風が吹いているノードはコストが大きく、移動方向に対して逆向きの海流が生じているノードはコストが大きく、波が大きいほどコストが大きくなるようにしてもよい。

制御部２０は、記憶部のシミュレーションプログラムを用いて航行経路を生成するようにしてもよい。例えば、予め設定された所定速度（一定速度または予め設定された変動速度）で自船が予定の航行経路（移動予定の経路）に沿って移動した場合に、自船が各障害物に最も接近するタイミング、自船が障害物と接触するか否か、障害物に最も接近するときの障害物までの距離、障害物に対して適正回避距離以上に近づくか否か（適正回避の可否）を判定するようにしてもよい。そして、移動予定経路や自船の速度を変更しながら繰り返し当該シミュレーションプログラムを実行することで、障害物から適正距離だけ離間して航行することができ、最短時間で目的地に到達できる航行経路（速度情報を含む）を生成（探索）することができる。このような航行経路の生成においては、所定の学習モデルに基づく機械学習を用いてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、制御部および記憶部は、互いにネットワークで接続された異なるサーバにより実現されてもよい。

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る制御部の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
複数のデータ取得手段と、情報処理を実行する制御部とを備え、船舶が航行する際の障害物に関する情報を推定する障害物推定システムであって、
前記制御部は、
少なくとも１つのデータ取得手段から取得した第１データに基づいて、自船位置情報及び自船姿勢情報を推定する自船情報推定処理と、
少なくとも１つのデータ取得手段から取得した第２データに基づいて、前記自船位置情報及び自船姿勢情報を補正する自船情報補正処理と、
前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、少なくとも１つのデータ取得手段から取得した第３データに基づいて、障害物の位置、及びサイズを推定する障害物情報推定処理と、
前記障害物情報推定処理で推定した障害物の位置、及びサイズの情報に基づく出力情報を生成する出力情報生成処理と、を実行する、障害物推定システム。
（項目２）
前記障害物情報推定処理は、前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、少なくとも１つのデータ取得手段から取得した第３データに基づいて、障害物の種類を推定する、請求項１に記載の障害物推定システム。
（項目３）
前記障害物情報推定処理は、前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報に基づいて、前記第３データを補正するデータ補正処理、を含む、項目１に記載の障害物推定システム。
（項目４）
前記出力情報は、前記障害物の位置、種類、及びサイズの情報に基づいて、船舶が前記障害物から離間するべき距離の情報を含む、項目２に記載の障害物推定システム。
（項目５）
前記障害物のサイズの情報は、水面から障害物の頂点までの高さの情報を含む、項目１又は２に記載の障害物推定システム。
（項目６）
前記障害物情報推定処理は、前記障害物の種類が他船又は人であることを判定する処理を含む、項目２に記載の障害物推定システム。
（項目７）
前記第１データは、測位衛星から受信した測位データ及び慣性計測装置から取得したデータを含む、項目１又は２に記載の障害物推定システム。
（項目８）
前記第２データは、Ｌｉｄａｒ及びカメラの少なくとも一方から取得した速度データを含む、項目１又は２に記載の障害物推定システム。
（項目９）
前記第３データは、Ｌｉｄａｒから取得したデータを含む、項目１又は２に記載の障害物推定システム。
（項目１０）
前記第３データは、カメラから取得した画像データを含む、項目１又は２に記載の障害物推定システム。
（項目１１）
前記第３データは、レーダー装置から取得したデータを含む、項目１又は２に記載の障害物推定システム。

１ 障害物推定システム
１０ データ取得部
２０ 制御部
３０ 記憶部
４０ 入力部
５０ 出力部
６０ 通信部
７０ 船舶動作制御部

Claims (11)

1. 複数のデータ取得手段と、情報処理を実行する制御部とを備え、船舶が航行する際の障害物に関する情報を推定する障害物推定システムであって、
   前記制御部は、
   前記データ取得手段からの信号の有無に基づいて、各データ取得手段が適切に機能しているか否かを繰り返し判定する判定処理と、
   適切に機能していると判定された少なくとも１つのデータ取得手段から取得した第１データに基づいて、自船位置情報及び自船姿勢情報を推定する自船情報推定処理と、
   適切に機能していると判定された少なくとも１つのデータ取得手段から取得した、前記第１データとは別の第２データに基づいて、前記自船位置情報及び自船姿勢情報を補正する自船情報補正処理と、
   前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、適切に機能していると判定された少なくとも１つのデータ取得手段から取得した第３データに基づいて、障害物の位置、及びサイズを推定する障害物情報推定処理と、
   前記障害物情報推定処理で推定した障害物の位置、及びサイズの情報に基づく出力情報を生成する出力情報生成処理と、を実行し、
   前記障害物は、着岸対象ではなく、
   前記第１データは、測位衛星から受信した測位データ及び慣性計測装置から取得したデータを含み、
   前記第２データは、Ｌｉｄａｒ及びカメラの少なくとも一方から取得したデータを含む、障害物推定システム。
2. 前記障害物情報推定処理は、適切に機能していると判定される前記データ取得手段としてのLidar及びレーダー装置の少なくとも一方からのデータに基づいて前記障害物のサイズ情報を推定可能である、請求項１に記載の障害物推定システム。
3. 前記障害物情報推定処理は、前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報、並びに、前記第３データに基づいて、障害物の種類を推定する、請求項１に記載の障害物推定システム。
4. 前記障害物情報推定処理は、前記自船情報補正処理で補正した自船位置情報及び自船姿勢情報に基づいて、前記第３データを補正するデータ補正処理を含む、請求項１に記載の障害物推定システム。
5. 前記出力情報は、前記障害物の位置、種類、及びサイズの情報に基づいて、船舶が前記障害物から離間するべき距離の情報を含む、請求項３に記載の障害物推定システム。
6. 前記障害物のサイズの情報は、水面から障害物の頂点までの高さの情報を含む、請求項１又は２に記載の障害物推定システム。
7. 前記障害物情報推定処理は、前記障害物の種類が人又は浮遊物であることを判定する処理を含む、請求項３に記載の障害物推定システム。
8. 前記第２データは、Ｌｉｄａｒ及びカメラの少なくとも一方から取得した情報に基づく速度データを含む、請求項１又は２に記載の障害物推定システム。
9. 前記第３データは、Ｌｉｄａｒから取得したデータを含む、請求項１又は２に記載の障害物推定システム。
10. 前記第３データは、カメラから取得した画像データを含む、請求項１又は２に記載の障害物推定システム。
11. 前記第３データは、レーダー装置から取得したデータを含む、請求項１又は２に記載の障害物推定システム。