JP6304519B2 - 海洋環境での人検出 - Google Patents

Description

本開示は、船舶用のコンピュータビジョンシステムに関し、より具体的には、物体を検出するようトレーニングされたコンピュータビジョンシステムに関する。

以下の米国特許および特許出願は、これにより、参照により本明細書に組み込まれる。

米国特許公報第２０１２／０１１３２７４号は、関連する格納されたビデオを好ましくはリアルタイムで取得、操作、および共有することにより、コンピュータで生成されたイメージを現実世界のイメージとポータブル電子デバイスにおいて自動的に組み合わせるためのシステム、方法、およびコンピュータプログラムプロダクトを開示している。ビデオが、ハンドヘルドデバイスにより撮像され格納される。カメラの物理的ロケーションおよび向きを含むメタデータが、ユーザ入力と共にデータストリームに付加される。サーバはデータストリームを分析し、さらにメタデータに注釈を付け、ビデオおよびメタデータの検索可能なライブラリを生成する。その後、カメラユーザが新たなデータストリームを生成した場合に、リンクされたサーバがそれを分析し、ライブラリからの関連するマテリアルを特定し、そのマテリアルおよびタグ付けされた情報を取得し、それを適切な向きに調節し、それをレンダリングし、現在のカメラ視野上に重ね、ユーザは拡張現実を見ることになる。

米国特許第８，９５２，８６９号は、乗り物を運転することにより起こる動きと関連付けられた、互いに関係のある動きを判断するための方法およびシステムの例を開示している。例において、コンピュータ実装方法は、互いに関係のある動きの閾値数のセットを特定すること含む。方法はさらに、互いに関係のある動きの閾値数のセットが、乗り物を運転することにより起こる動きと関連付けられていると判断することを含む。方法はまたさらに、ウェアラブルコンピューティングシステムに、そのウェアラブルコンピューティングシステム用の運転ユーザインタフェースを選択させることを含む。

米国特許第７，７５３，７４５号は、船舶推進システムと共に用いられるステータスインジケータを開示している。例示的なインジケータには、船舶の推進システムに操作可能に連結された光源が含まれ、ここで、光源の動作が、推進システムのスラスターシステムのステータスを示す。

米国特許第７，４７６，８６２号は、ボートのトランサムの互いに反対の側面に取り付けられ、ボートの後方の共通のロケーションに方向付けられた２つのセンサーユニットを開示している。２つのセンサーの視野はボートの船舶推進ユニットの後方で重なって、哺乳動物などの熱を放射する物体の存在を検出する。筐体構造は、赤外線感知要素、レンズ、および遮光材を含む。４つの赤外線感知要素からの信号は、コントローラにより受信され、それら４つのセンサーのうち少なくとも２つが、それらの個別の視野内に熱を放射する物体を検出した場合に、コントローラはアラーム信号で反応する。２つの最も船内側のセンサーのみが熱を放射する物体を検出した場合にはアラーム信号を提供しないことにより、誤ったトリガーを減らすことが出来る。

米国特許第６，３８２，１２２号は、船舶推進装置、計器、センサー、および他の構成要素間の様々な関連付けおよび関係が迅速かつ容易に判断される自動検出システムが船舶に関して提供されることを開示している。システムは、その船舶上の船舶推進装置の数を自動的に判断し、必要であれば、造船者または船舶用品商に、船舶上の特定の船舶推進装置のロケーションを参照し、それら船舶推進装置を特定するよう、および、計器などのある特定の他の構成要素の、特定の操舵ステーションにおけるロケーションと、それらの、特定の船舶推進装置との関連付けとの両方を参照し、それら他の構成要素を特定するよう、様々なコマンドを入力するよう促す方法を実行する。

米国特許第６，２７３，７７１号は、船舶に取り付けられ、シリアル通信バスおよびコントローラと信号通信するよう接続され得る船舶推進システムを組み込んだ船舶用の制御システムを開示する。複数の入力装置および出力装置もその通信バスと信号通信するよう接続され、ＣＡＮ Ｋｉｎｇｄｏｍネットワークなどのバスアクセスマネージャが、そのコントローラと信号通信するよう接続されて、そのバスと信号通信するそれら複数の装置への追加の装置の組み込みを調整する。これによりそのコントローラは、その通信バス上のそれら複数の装置のうちそれぞれと信号通信するよう接続される。入力および出力装置はそれぞれ、シリアル通信バスへ、他の装置により受信されることになるメッセージを送信し得る。

本概要は、詳細な説明において以下にさらに説明される概念の抜粋を紹介するよう提供されている。本概要は、特許請求されている主題の主な、または必須の特徴を特定することを意図されておらず、または、特許請求されている主題の範囲を限定する補助として用いられることも意図されていない。

一実施形態において、少なくとも１つの船舶駆動部を有する船舶用の物体検出システムは、前記船舶上に位置付けられ、前記船舶上の、またはその周りの海洋環境の画像を撮像するよう構成された少なくとも１つのイメージセンサーと、プロセッサとを含む。物体検出システムは、前記プロセッサ上で実行可能である、前記画像を入力として受信する画像スキャンモジュールをさらに含む。画像スキャンモジュールは、１または複数の事前定義された物体と関連付けられたパターンを前記海洋環境の前記画像内で検出するよう、および、前記海洋環境の前記画像内における前記１または複数の事前定義された物体の存在または不在についての検出情報を出力するようトレーニングされた人工ニューラルネットワークを有する。

船舶の海洋環境内における１または複数の物体の存在を検出する方法の一実施形態は、事前定義された物体と関連付けられたパターンを海洋環境の画像内で検出するよう人工ニューラルネットワークをトレーニングする工程を含む。前記船舶上に位置付けられた少なくとも１つのイメージセンサーにより画像が記録され、その画像は、人工ニューラルネットワークへの入力として提供される。人工ニューラルネットワークは、画像内における物体の存在または不在についての検出情報を出力する。

本願発明の様々な他の特徴、目的、および利点が、図面と共に検討される以下の説明から明らかとされるであろう。

本開示は、以下の図面を参照して説明される。

物体検出システムを有する船舶の一実施形態を表す概略図である。

物体検出システム内のコンピューティングシステムの一実施形態を概略的に描写する。

物体検出システムをトレーニングするためのトレーニング画像の様々な実施形態を描写する。 物体検出システムをトレーニングするためのトレーニング画像の様々な実施形態を描写する。 物体検出システムをトレーニングするためのトレーニング画像の様々な実施形態を描写する。

船舶に設置された物体検出システムのイメージセンサーの一実施形態を描写する。

船舶に設置された物体検出システムのイメージセンサーの他の実施形態を描写する。

船舶の環境に存在する物体を検出する方法の一実施形態である。

１または複数の事前定義された物体と関連付けられたパターンを検出するよう人工ニューラルネットワークをトレーニングする方法の一実施形態を描写するフローチャートである。

現在利用可能な、船舶上の安全システムはインテリジェントではなく、操舵機辺りに存在している運転者がいるか（運転者検出システム）、または、船舶周りの領域に泳者が存在しているか（泳者検出システム）などの、指定された占有ロケーションでの人の存在を検出出来ない。例えば、船舶用の多くの現在の運転者検出システムは、運転者、または操縦者に、彼らを操舵機に物理的につないでおく、ランヤードクリップまたは何らかの種類のストラップなどの装置を着用すること、または操舵機辺りでの運転者の存在を無線送信する、または示す無線装置を着用することを要求する。しかしながら、関連分野での研究および調査を通じて、本発明者らは、これら現在のシステムには、ランヤードクリップまたは無線ロケータ装置を着用するなど、これら運転者検出システムを用いるのは、操縦者のうち少ない割合のみであるので、課題があることを認識した。さらに、現在利用可能な視覚ベースの運転者検出システムは典型的には、動き検出および／または顔検出に基づき、それらのうちそれぞれが、船舶上の運転者を検出する状況において課題を有している。動き検出システムは、運転者を見失いやすく、運転者が操舵機辺りでかなり静止した状態である場合に、フォルスネガティブを生じさせやすい。顔検出に頼るシステムも、運転者が前方方向を見ていない場合に、および／または、サングラス、帽子、フェースマスク等などの保護用具を自分の顔または頭に着用している場合にフォースネガティブを生じさせやすい。

加えて、関連分野での彼らの研究および調査を通じて、本発明者らは、現在利用可能な泳者検出システムは、船舶周りの水中の人または他の物体を検出することにおいて性能が不十分であることを認識した。現在利用可能な泳者および物体検出システムは、可視光画像であろうと、赤外線画像であろうと、または他の手段により撮像された画像であろうと、人または物体の画像を水が部分的に、またはほぼ完全に判別出来なくしてしまう海洋環境で性能が不十分である。例えば、船舶周りの水中で水泳している人に関して、人の頭、または頭および肩のみが見えるということがよくある。したがって、人および／または物体検出方法のうち旧来の方法は、海洋環境で実装された場合に、性能が不十分であり、誤差が故に信頼性が低い。

したがって、船舶乗り物およびマリンスポーツでの応用に関して、海洋環境内で人、または流芥若しくは他の障害物などの他の予め定められた物体の存在を高い信頼性で検出するシステムおよび方法を求める、長く感じられてきた必要性がある。現在利用可能な泳者または運転者検出システム並びに方法に関するこれら並びに他の課題、および関連する産業での信頼性の高い物体検出を求める必要性の本発明者による認識を鑑み、本発明者らは、本明細書で開示される物体検出システムおよび方法を開発した。

図１は、船舶２上の物体検出システム１の例示的な実施形態を概略的に描写する。船舶２は、左舷４および右舷５と、船首３と、船尾６とを有する。船舶２は、船尾６に２つの船舶駆動部８ａおよび８ｂが搭載されており、船舶駆動部８ａは、船舶２の左舷４側に、船舶駆動部８ｂは、船舶２の右舷側に位置付けられている。各船舶駆動部８ａおよび８ｂは、当業者には分かるように、それぞれの伝動機構コンピュータ２２ａ、２２ｂにより制御される。伝動機構コンピュータ２２ａおよび２２ｂは、操舵機１３辺りの装置の機能を制御し、船舶駆動部８ａ、８ｂの伝動機構コンピュータ２２ａ、２２ｂへの通信を処理および調整し得る、ＣＡＮバス２５を介した舵コンピュータ２０との通信を行なっている。船舶２は、入力装置１５を有する操舵機１３を有する。入力装置１５は、舵輪として示されているが、船舶２を制御するのにスロットルまたは操舵入力を提供するための、当技術分野において利用可能な操作レバー、トラックパッド、スロットルレバー、および／または任意の他のユーザ入力装置を追加的または代替的に含み得る。ディスプレイ１９も操舵機１３辺りに提供される。ディスプレイ１９は、ボート速度、エンジン状況、燃料液面高さ、方向等などの船舶２に関する情報の視覚描写を提供する任意のデジタルディスプレイまたは他のディスプレイであり得る。例えば、舵コンピュータ２０は、船舶２上の多数のサブシステムをトラッキングおよび／または制御し得、ディスプレイ１９を制御して、船舶２および／またはそのサブシステムに関する情報を表示し得る。１つの例を提供すると、ディスプレイ１９は、ウィスコンシン州Ｆｏｎｄ ｄｕ Ｌａｃ市のＭｅｒｃｕｒｙ Ｍａｒｉｎｅ Ｃｏｒｐｏｒａｔｉｏｎにより提供されるＶｅｓｓｅｌＶｉｅｗディスプレイであり得る。さらに、操舵機１３辺りで立っている人が聞き取れるものなどの可聴出力を提供するために、操舵機１３辺りにスピーカ１８も提供され得る。

次のことが理解されるべきである。当業者には明らかとなるように本開示で開示されている概念は、任意の数の船舶駆動部を有する、および船外機、船内駆動部、または船内／船外駆動部（またはスターン駆動部）などの任意のモータまたはエンジンにより駆動され得るスクリュー、インペラ、ポッド駆動部、および同様のものなどの任意の構成の推進装置を有する任意のタイプまたはサイズの船舶に適用可能である。加えて、船舶の（複数の）船舶駆動部に関する、および、（複数の）船舶駆動部の機能を有する補助装置とセンサーとの調整に関する多数の様々な制御配置が当技術分野において周知である。本明細書で開示されているシステムおよび方法を例示する目的のために、船舶、船舶駆動部、それらに関する制御配置の実施形態が、本明細書において示され説明されており、それらは限定しているものと見なされるべきではない。

船舶２はさらに、船舶２上の、またはその周りの海洋環境の画像を感知するいくつかのイメージセンサー２８が搭載される。船舶２の前の領域の画像を撮像するよう前側イメージセンサー２８ａが位置付けられている。前側イメージセンサー２８ａは、船舶２の前の水面１１の画像を撮像するよう船首３の端に位置付けられる、または船舶２の船体の前部のどこかのロケーションに位置付けられるなどである。船舶２を操作するよう操縦者が位置するであろう、操舵機１３辺りの領域、すなわち舵エリアを撮像するよう、舵イメージセンサー２８ｂが位置付けられている。例えば、舵イメージセンサー２８ｂは、舵輪および／または操作レバーなどの入力装置１５および椅子１７の前の領域に位置付けられ得る。舵イメージセンサー２８ｂは、例えば、椅子１７に座っている、および／または入力装置１５を操作している、および／またはディスプレイ１９を見ている人が、舵イメージセンサー２８ｂにより撮像される画像内に含まれるように位置付けられている。船舶２の後方の領域の画像を撮像するよう、２つの後側イメージセンサー２８ｃおよび２８ｄが提供される。描写されている実施形態において、後側イメージセンサー２８ｃは船舶駆動部８ａ上に取り付けられ、後側イメージセンサー２８ｄは船舶駆動部８ｂ上に位置付けられている。例えば、後側イメージセンサー２８ｃ、２８ｄは、船舶駆動部８ａ、８ｂの筐体の頂部または後部など、その筐体上に取り付けられ得る。他の実施形態において、１または複数の後側イメージセンサー２８ｃ、２８ｄが船舶の船尾６上に取り付けられ、または他の場合には、船舶２の後方の領域の全てまたは一部を撮像するよう位置付けられ得る。さらに他の実施形態において、船舶２の左舷４または右舷５近くの水面１１上の領域などの、船舶２の周りの他のどこかの（複数の）領域を撮像するよう、イメージセンサーが位置付けられ得る。

各イメージセンサー２８ａ〜２８ｄは、任意の手段により船舶２上の、および／またはその周りの海洋環境を感知し画像化するよう搭載され得る。イメージセンサー２８ａ〜２８ｄは、視覚イメージセンサー−例えば、可視光を感知して静止画像または動画を生成するカメラ−赤外線イメージセンサー、ソナーイメージセンサー、レーダーイメージセンサー等を含み得る。各イメージセンサー２８ａ〜２８ｄは視野４２ａ〜４２ｄをそれぞれ有する。それら視野４２ａ〜４２ｄは、それぞれのイメージセンサー２８ａ〜２８ｄにより撮像、または画像化される領域である。各イメージセンサー２８ａ〜２８ｄは、それぞれのイメージセンサー２８ａ〜２８ｄからの画像を処理するよう搭載されたコンピュータ３８ａ〜３０ｃに接続される。例示的な実施形態において、イメージセンサー２８ａ〜２８ｄのうちそれぞれからの画像は、それぞれのイメージセンサー２８ａ〜２８ｄと、それに関連付けられたコンピュータ３０ａ〜３０ｄとの間のデータ接続である画像バス２６により、指定されたコンピュータ３０ａ〜３０ｃへと転送される。様々な実施形態において、各イメージセンサー２８ａ〜２８ｄは、それ自体の専用のコンピューティングシステムを有し得る。そのような配置は、図１の実施形態に例示されている。図中において、前側イメージセンサー２８ａには、そこからの画像を処理する画像コンピュータ３０ａが提供されており、舵イメージセンサー２８ｂには、そこからの画像を処理する画像コンピュータ３０ｂが提供されている。他の実施形態において、２つまたはそれより多くのイメージセンサーが、単一のコンピュータと関連付けられ得る。この配置も、図１の状況において例示されている。図中において、後側イメージセンサー２８ｃおよび２８ｄのうちそれぞれは、単一の画像コンピュータ３０ｃに接続され、画像コンピュータ３０ｃは、両方のセンサーにより撮像された画像を処理する。他の実施形態において、各後側イメージセンサー２８ｃおよび２８ｄには、それ自体の画像コンピュータが提供され得る。イメージセンサー２８とコンピュータ３０との間の多数の他の配置が可能である。例えば、船舶２上の全てのイメージセンサー２８（例えば、２８ａ〜２８ｄ）に関して単一の画像コンピュータ３０が提供され、したがって、画像コンピュータ３０が、それらからの撮像された画像の全てを処理する実施形態が考えられる。本明細書で開示されているように、そのような実施形態において、画像コンピュータ３０は、関連付けられているイメージセンサー２８ａ〜２８ｄのうちそれぞれにより撮像された海洋環境に基づきトレーニングされ得、または、海洋環境での物体検出に関して一般的にトレーニングされ得る。画像コンピュータからの出力は、ＣＡＮバス２５上に提供され、それにより、出力は、伝動機構コンピュータ２２ａ、２２ｂと舵コンピュータ２０とを含む、システム内の様々な装置により受信され得る。さらに他の実施形態において、イメージセンサー２８ａ〜２８ｄのうち１または複数に関する画像処理機能は、舵コンピュータ２０上で生じ得る、または舵コンピュータ２０内へと組み込まれ得る。

図２は、１または複数のイメージセンサー２８ａ〜２８ｄから画像を受信し処理するためのコンピュータ３０の一実施形態を描写する。コンピュータ３０は、ストレージシステム３４に格納されたソフトウェア３２を有する。ソフトウェア３２は、１または複数のイメージセンサー２８ａ〜２８ｄから受信した画像５４内で、１または複数の事前定義された物体と関連付けられたパターンを検出するようトレーニングされた人工ニューラルネットワークを含む画像スキャンモジュール１０を含む。画像スキャンモジュール１０は、実行可能ソフトウェア命令、またはコンピュータ可読コードと、ストレージシステム３４に格納され、プロセッサ３６上で実行された場合に、本明細書で説明されているように動作するようプロセッサに指示するトレーニングされたニューラルネットワークとを含む。

図２で描写されているコンピュータ３０は１つの画像スキャンモジュール１０を組み込んだ１つのソフトウェア２０２を含んでいるが、１または複数のモジュールを有する１または複数のソフトウェア要素が同じオペレーションを提供し得ることが理解されるべきである。類似して、本明細書で提供されている説明は、単一のプロセッサ３６を有するコンピュータ３０について言及しているが、そのようなシステムの実装は、通信接続され得る１または複数のプロセッサを用い実行され得、そのような実装が本説明の範囲内にあるものと見なされることが認識される。同じく、コンピュータ３０およびプロセッサ３６は、舵コンピュータ２０、または（複数の）伝動機構コンピュータ２２ａ、２２ｂの機能を実行するコンピュータおよびプロセッサと同じものであり得る。

プロセッサ３６は、ストレージシステム３４からソフトウェア３２を取得し実行するマイクロプロセッサおよび他の回路を備え得る。プロセッサ３６は、単一の処理装置内で実装され得るが、プログラム命令の実行において協働する複数の処理装置またはサブシステムに跨って分散させられてもよい。プロセッサ３６の例は、汎用中央処理装置、特定用途向けプロセッサ、およびロジックデバイスも、任意の他のタイプの処理装置、処理装置の組み合わせ、またはそれらの変形例も含む。

ストレージシステム３４は、プロセッサ３６により読み取り可能な、ソフトウェア３２を格納可能な任意の記憶媒体または記憶媒体群を含み得る。ストレージシステム３４は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の格納に関する任意の方法または技術で実装される揮発性および不揮発性である、取り外し可能および取り外し不可能である媒体を含み得る。ストレージシステム３４は、単一の記憶装置として実装され得るが、複数の記憶装置またはサブシステムに跨って実装されてもよい。ストレージシステム３４はさらに、プロセッサ３６と通信可能なコントローラなどの追加の要素を含み得る。

記憶媒体の例は、ランダムアクセスメモリ、読み取り専用メモリ、磁気ディスク、光ディスク、フラッシュメモリ、仮想メモリ、非仮想メモリ、磁気セット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望される情報を格納するのに用いられ得、命令実行システムによりアクセスされ得る任意の他の媒体も、それらの任意の組み合わせまたは変形例、または任意の他のタイプの記憶媒体も含む。同じく、記憶媒体は、プロセッサ３６と共にローカルに収納され得、または、クラウドコンピューティングアプリケーションおよびシステムにおいてなど、複数のロケーションにあり得、ネットワーク接続され得る１または複数のサーバに分散させられ得る。いくつかの実装例において、記憶媒体は、非一時的記憶媒体であり得る。いくつかの実装例において、記憶媒体の少なくとも一部は、一時的なものであり得る。

画像スキャンモジュール１０の人工ニューラルネットワークは、画像５４を受信し、画像内における１または複数の物体の存在についての検出情報５６を出力する。例えば、検出情報５６は、画像内における、人などの事前定義された物体の存在の確率値を示し得る。人工ニューラルネットワークを含む画像スキャンモジュール１０は、コンピュータ３０内のプロセッサ３６上で実行される。

本開示を読む当業者には理解されるように、人工ニューラルネットワーク（ＡＮＮ）とは、定義された誤差関数を最小化する種々の最適化方法によりトレーニングされ得る、多数の入力から生成され得る線形または非線形ユニットを有する層構造を指す。ＡＮＮは概して、互いにメッセージを交換する、相互接続された処理要素（「ニューロン」）のシステムとして表される。ニューロン間の接続は、ＡＮＮのタイプに応じて、システムへの入力に基づき、および／または、システムに対するフィードバックに基づき調整され得る数値重みを有し、それにより、ＡＮＮは入力に適合するものとなり、例から学習可能となる。例えば、画像スキャンモジュール１０は、フィードフォワードＡＮＮを含み得る。フィードフォワードＡＮＮは、入力を出力と関連付ける複雑ではないネットワークである傾向がある。このタイプの編成は、一般的に「ボトムアップ」または「トップダウン」ＡＮＮとも呼ばれる。例えば、ＡＮＮは、３またはそれより多くのプロセッシングユニット群、またはプロセッシングユニット層から成り得る。「入力」ユニットの層が「隠れ」ユニットの層に接続され、さらにこの層が、「出力」ユニットの層に接続されている。

入力ユニットの活動は、ネットワークに供給される未加工の情報を表す。この例において、未加工の情報は、検出される物体を含む関連する海洋環境のポジティブトレーニング画像５０ａと、事前定義された物体を含まない関連する海洋環境の画像であるネガティブトレーニング画像５０ｂとを含み得るトレーニング画像である。ＡＮＮは、提供されるトレーニング画像５０ａ、５０ｂに応じて任意のタイプの事前定義された物体を検出するようトレーニングされ得る。例示的な実施形態では、それぞれの事前定義された物体のトレーニング画像を提供することにより、事前定義されたサイズの範囲の人、事前定義された海洋動物、または流芥物体の存在を検出するようトレーニングされ得る。例えば、ＡＮＮは、グラウンドトルーストレーニングなどの教師あり学習アルゴリズムを用いトレーニングされ得る。教師あり学習アルゴリズムは、特定の入力に対して、その所望される応答がどのようなものであるべきかを各ユニットが知らされる外部の教師を組み込む。例えば、ポジティブトレーニング画像５０ａは、画像内における物体のポジティブ特定と共にＡＮＮへ入力される。類似して、ネガティブトレーニング画像５０ｂは、物体が画像内にないこと、したがって、出力値が０であるべきことを示すものとともにＡＮＮへ入力される。言い換えると、トレーニングは、例として用いられる、事前定義された物体または複数の物体の存在または不在が正しく特定されている、関連する海洋環境の既存のセットのトレーニング画像に基づき行われる。それら例に基づいて、ＡＮＮ内で、例えばＡＮＮの「隠れ」ユニット内で、パターンが定義される。

（図３Ａ〜３Ｃ、および４Ａ〜４Ｂにおいて人４６として例示されている）事前定義された物体を含む関心対象領域４８が各ポジティブトレーニング画像５０ａに関して特定され得る。例えば、関心対象領域４８の特定は、ＡＮＮが検出するようトレーニングされている事前定義された物体の直ぐ周りの切り抜きであり得る。より具体的には、関心対象領域４８の特定は、物体を範囲内に含む、画像内の画素のｘおよびｙ座標を特定し得る。ＡＮＮはその領域を分析し、複数のポジティブおよびネガティブトレーニング画像５０ａおよび５０ｂを受信するうちに、その海洋環境の任意の画像内で事前定義された物体を検出するのに用いられ得るパターン、またはパターンセットを学習するであろう。ＡＮＮは、追加のポジティブトレーニング画像５０ａおよびネガティブトレーニング画像５０ｂを用いトレーニングされる。このことは、結果として生じるＡＮＮが、それが動作を行なっている海洋環境内における事前定義された画像の存在を高い信頼性で検出出来るよう、所望される出力と実際の出力との間の誤差が十分に小さくなるまで行われる。

一実施形態において、大きな物体を含む画像を、そのより大きな物体の一部をそれぞれが含む種々のサブ画像に細分することにより生成される画像などの、より大きな画像の一部のみを示すポジティブトレーニング画像５０ａが、ＡＮＮへ供給され得る。例えば、人の画像が、各脚領域の画像、各腕領域の画像、および人の頭および首の画像などの５枚または６枚の異なるサブ画像に分けられ得る。人の、特定の身体部位のこれら画像のうちそれぞれが、関連する関心対象領域が特定された状態でポジティブトレーニング画像５０ａとして、ＡＮＮへ提供される。類似して、複数の関心領域４８が１枚のピクチャ内で特定され得、これら関心領域４８のうちそれぞれを含むポジティブトレーニング画像５０ａが生成され得る。したがって、ＡＮＮは、入力画像内における、人の小さな部分のみの特定に基づき人の存在を検出するようトレーニングされ得る。このことは、海洋環境で、事前定義された物体の小さな部分のみが見えるということがよくある、水面より上で撮像された画像などに関して重要である。

図３Ａ〜３Ｃは、この点について図示している例示的なトレーニング画像を提供する。図３Ａは、人４６の事前定義された物体を含まない舵エリア５３のネガティブトレーニング画像５０ｂである。トレーニング画像５０ａ、５０ｂは、例えば、写真、または、ビデオカメラにより撮像された単一のフレームであり得る。舵エリア５３のネガティブトレーニング画像５０ｂは、舵輪１５ａとスロットルレバー１５ｂとを含む２つの入力装置を含む。図３Ｂおよび３Ｃは、舵エリア５３のポジティブトレーニング画像５０ａを描写している。図３Ｂは、舵輪１５ａ上の人４６の手を含むものとして特定された関心対象領域４８を有する。図３Ｃのポジティブトレーニング画像５０ａは、人４６の上半身全体をその中に含むものとして特定された関心対象領域４８を有する。他の実施形態において、図３Ｃの画像は、スロットルレバーである入力装置１５ｂ上の人４６の手に重なる関心対象領域４８を含む１つのトレーニング画像、および人４６の頭および／または肩を含む関心対象領域４８を含む他のポジティブトレーニング画像５０ａなどの複数のポジティブトレーニング画像５０ａに細分され得る。したがって、関連するＡＮＮは、手、頭、または肩などの１つの部分を単に特定することにより人４６の存在（または、人４６の、可能性の高い存在）を検出するようトレーニングされ得る。

上述のことに従って、本発明者らは、特定の海洋環境における物体認識の複雑さが故に、イメージセンサー２８ａ〜２８ｄにより撮像された、ある特定の海洋環境内で、事前定義された物体を認識するようＡＮＮをトレーニングすることは有益であることを認識した。したがって、トレーニング画像５０ａ、５０ｂは部分的または全体的に、イメージセンサーにより撮像された海洋環境と類似の、または同じ画像から成り得る。例えば、舵イメージセンサー２８ｂからの画像を処理するよう構成された画像スキャンモジュール１０のＡＮＮは、図３Ａ〜３Ｃに例示されているものなどの、視野４２ｂ内のその舵構成の画像を部分的または全体的に用いてトレーニングされ得る。例えば、トレーニング画像５９ａ、５０ｂは、舵イメージセンサー２８ｂの視野４２ｂ内に提供されるであろう、同じ船舶モデルの、および／または、同じ配置の同じ入力装置１５ａ、１５ｂを含む舵エリア５３のものであり得る。したがって、ＡＮＮは、具体的に、舵イメージセンサー２８ｂからの画像を処理するようトレーニングされ、特定の船舶２の操舵機１３の部分を認識し、人４６が操舵機１３のこれらの部分とどのように接するかを学習し得、このことにより、より信頼性の高い物体検出に繋がり得る。

この特定の海洋環境に適合させられたトレーニングは、船舶２を囲む水面１１上の信頼性の高い物体検出を可能なシステム１を生じさせることにおいて非常に重要であり得る。例えば、前側イメージセンサー２８ａと、後側イメージセンサー２８ｃおよび２８ｄとからの画像を処理するＡＮＮは、その特定のロケーションで危険を呈する可能性が高い事前定義された物体を検出するようトレーニングされ得、撮像された画像内にそれが現われる可能性が高い位置または形態の全てでその物体を描写する画像でトレーニングされ得る。例えば、それぞれの画像スキャンモジュール１０のＡＮＮは、それぞれのイメージセンサー２８ａ〜２８ｄにより撮像されるであろう視野角および／または視野に近似するトレーニング画像を用いトレーニングされ得る。この概念は、船舶２の後方の領域の画像を撮像するようイメージセンサー２８が取り付けられている図４Ａおよび４Ｂに例示されている。描写されている実施形態のうちそれぞれにおいて、イメージセンサーは、平行軸４５に対して視野角４４を有している。事前定義された物体は、それぞれのイメージセンサー２８の視野角４４と視野４２とに応じて、イメージセンサー２８により撮像された画像内で異なるように現われるであろう。事前定義された物体、この場合では人４６は、図４Ｂにおいてイメージセンサー２８により撮像される画像と比較して、図４Ａのイメージセンサー２８により撮像される画像において異なる現われ方をするであろう。

図４Ａにおいて、イメージセンサー２８は、より小さい船舶２の船外船舶駆動部８の後方の角に取り付けられている。図４Ｂにおいて、イメージセンサー２８は、大きなヨットの船尾６の頂部に取り付けられており、よって、平行軸４５に対する視野角４４は、図４Ａの船舶２上のイメージセンサー２８の視野角とは異なる。したがって、人４６は、図４Ａにおけるイメージセンサー２８により撮像される海洋環境で、図４Ｂにおけるイメージセンサー２８により撮像される海洋環境とは異なるように現われるであろう。例えば、図４Ａにおいてイメージセンサー２８により撮像される画像内の人４６は、イメージセンサー２８により近くなるであろうし、よって、より大きく現われるであろう。さらに、図４Ａの視野角４４は、より一層下方を見ている角度になるであろう図４Ｂの視野角４４よりも、水平により近くなるであろう。したがって、図４Ａにおいてイメージセンサー２８により撮像される環境の画像は、例えば、図４Ｂにおいてイメージセンサー２８により撮像される海洋環境における画像よりも、顔の特徴を含んでいる可能性がより高い。図４Ｂのイメージセンサー２８により撮像される海洋環境の画像は、下方を見ている視野角４４からはより多くのものが見えるであろうから、人４６のより多くの身体部位を含んでいる可能性がより高い。同じく、水面１１も、それぞれの海洋環境のうちそれぞれにおいて、異なるように現われるであろう。したがって、これらイメージセンサー２８のうちそれぞれからの画像を処理するであろうそれぞれの画像スキャンモジュール１０のＡＮＮには、適切な視野角４４の画像が提供され得る。

これにより、それぞれのＡＮＮは、人４６（または他の事前定義された物体）がその海洋環境でどのように見えるかを判断するよう、および、人４６を、その環境の水面１１上の特徴と分けて判別するようトレーニングされ得る。さらに、トレーニングは、水中での船舶２の動きにより起こり得る様々な視野角度４４を説明し得、さらには、大きな波が存在し得る大洋環境に対して小さい湖の環境などの特定の船舶の応用に関してトレーニングされ得る。同じく、ＡＮＮは、それぞれの船舶２が用いられる可能性が高い、特定のタイプの船舶応用に関してトレーニングされ得る。例えば、図４Ａに描写されているものなどの、スポーツ応用で用いられる可能性が高い小さい船舶２は、泳者、スキーヤー、チューバ―等を検出するようトレーニングされ得る。航海に適するヨットなどのより大きな船舶を対象として意図されたＡＮＮは、船舶２の前の領域にある小さい外輪船に含まれるものなどの、種々の環境における物体または人を特定するようトレーニングされるかもしれない。

他の実施形態において、画像スキャンモジュール１０のＡＮＮは、より全般的に海洋環境におけるある特定の事前定義された（複数の）物体のうち１または複数を検出するようトレーニングされ得、多数の異なる視野角からの、および異なる海洋環境でのトレーニング画像５０が提供され得る。

関連分野における彼らの実験および研究を通じて、本発明者らは、海洋環境全般に関する、および好ましくは特定の海洋環境に関するこのタイプのトレーニングが、信頼性の高い物体検出のために、特に、船舶を囲む画像を撮像するよう位置付けられたイメージセンサー２８を用い水面１１上の事前定義された物体検出するために必要であることを認識した。なぜならば、船舶２が、ロール、ピッチ、およびヨーを含む複数の軸に沿って水中で動いており、それぞれの軸が視野角に、よって、撮像された画像内の物体の現われ方に影響を与えるからである。したがって、海洋環境における物体検出は、視野角がより一貫しており、物体が比較的平坦な面上で検出される自動車環境などの他の環境とは異なる。さらに、自動車に関する応用においては、例えば、物体検出を支援するのに頼りにされる、道路脇の検出などの、利用可能なある特定の環境的印、またはキューがある。そのような空間的キューは海洋環境では利用可能ではなく、よって本発明者らは、ＡＮＮが海洋環境で高い信頼性で物体を検出するためのトレーニングに要求される事項は、自動者環境、セキュリティ環境等に関するものとは異なることを見出した。

イメージセンサー２８は、環境を画像化するための様々なタイプのセンサーのうちいずれかであり得る。例えば、イメージセンサー２８は、可視光カメラまたは赤外線カメラであり得る。２つの例のみを挙げると、各イメージセンサー２８は、スイスのＬｏｇｉｔｅｃｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓ．Ａ．が提供するＬｏｇｉｔｅｃｈ Ｃ９１０ Ｃａｍｅｒａであり得、または、各イメージセンサー２８は、スウェーデンのＡｘｉｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ＡＢが提供するＡｘｉｓ Ｆ１０３５−Ｅ Ｓｅｎｓｏｒ Ｕｎｉｔであり得る。魚眼レンズを有する１または複数のＡｘｉｓ Ｆ１０３５−Ｅ Ｓｅｎｓｏｒ Ｕｎｉｔである（複数の）イメージセンサー２８を組み込んだ実施形態において、ＡＮＮは、そのようなレンズにより撮像された画像を処理するようトレーニングされ得、または、画像は、魚眼画像を処理するようトレーニングされていないＡＮＮによる処理の前に、デジタル的にクロップされ歪みが補正され得る。その画像を処理する画像スキャンモジュール１０のＡＮＮは、事前定義された物体と関連付けられたパターンを、それがイメージセンサー２８により撮像されるタイプの画像で現われるときに検出するためにトレーニングされている。したがって、可視光カメラからの画像を処理するＡＮＮは、可視光のトレーニング画像５０ａ、５０ｂを用いてトレーニングされ、赤外線カメラからの画像を処理するＡＮＮは、赤外線のトレーニング画像５０ａ、５０ｂを用いトレーニングされるであろう。イメージセンサー２８がソナーセンサーまたはレーダーセンサーであるさらに他の実施形態において、それぞれのＡＮＮは、ソナートレーニング画像またはレーダートレーニング画像にそれぞれ基づきトレーニングされる。

しかしながら、赤外線画像の画像検出についての実験および研究を通じて、本発明者らは、ある特定の環境では、水が物体の温度を歪め判別出来なくしてしまい、いくつかの環境では、海洋環境における特定の物体の温度パターンを区別するのが難しくなり得るので、赤外線を用いた物体検出が難しくなり得ることを認識した。本発明者らは、特定の（複数の）温度環境における物体検出に適切なＡＮＮが、これら課題のうちいくつかを緩和し得ることを認識した。しかしながら、ある特定の海洋環境に関して、可視光カメライメージセンサー２８が好ましく、赤外線カメライメージセンサー２８よりも優れた性能を提供し得る。

図５は、船舶２の環境に存在する１または複数の事前定義された物体を検出する方法８０の一実施形態を描写する。工程９０において、イメージセンサー２８から画像が受信される。工程９１において、その画像は、海洋環境で１または複数の事前定義された物体を検出するようトレーニングされたＡＮＮへ提供される。工程９２において、事前定義された物体と関連付けられたパターンが、ＡＮＮにより画像内で検出される。工程９３において、その検出情報が、ＡＮＮにより出力される。一例を提供すると、海洋環境で人４６の存在を検出するようトレーニングされたＡＮＮが、イメージセンサー２８により撮像されたフレーム、または画像内に人がいるパーセンテージまたは確率として検出情報５６を出力し得る。

検出情報はそれから、船舶の操縦者に対して警告を発する、および／または、船舶２上の１または複数の船舶駆動部８ａ、８ｂを制御するのに、船舶２上のシステムまたは要素により用いられ得る。上記にて説明されているように、検出情報５６は、ＣＡＮバス２５へと提供され、そのＣＡＮバス２５に接続された様々なコンピュータまたは制御装置のうちいずれかで受信され得る。単に一例を提供すると、舵コンピュータ２０は、危険な状況が存在するとＣＡＮバス２５上に提供された検出情報５６に基づき判断し、操舵機１３辺りにあるディスプレイ１９および／またはスピーカ１８を制御して、ユーザに対し危険な状況に関する視覚的および／または聴覚的警告を発し得る。例えば、ディスプレイ１９は、検出された特定の物体、および船舶に対するその位置に関してユーザに対し警告するよう制御され得る。

同じく、工程９５において、１または複数の（複数の）船舶駆動部８ａ、８ｂを制御するのに検出情報５６が用いられ得る。例えば、伝動機構コンピュータ２２ａ、２２ｂは、船舶駆動部を制御するためにある特定の検出情報５６の受信に基づきある特定の動作をとるよう構成され得る。例えば、伝動機構コンピュータ２２ａ、２２ｂは、制御動作を検出情報５６と関連付けるルックアップテーブルを有するなど、エンジン制御アルゴリズムへの制御入力として検出情報５６を扱うよう構成され得る。例えば、船舶駆動部は、特定の視野内またはその視野内の関心領域に人がいる確率が９５％であるなどの、船舶２の近くの水中に人がいることを示す検出情報５６の受信に応答してすぐさまギアがニュートラルにされ得る。例えば、伝動機構コンピュータ２２ａ、２２ｂは、前側イメージセンサー２８ａにより撮像された画像内における、人４６または他の事前定義された物体の高い確率の検出に反応して、すぐさま船舶駆動部８ａ、８ｂをニュートラルにする、またさらにはバックさせるよう構成され得る。

舵イメージセンサー２８ｂと関連付けられた画像コンピュータ３０ｂからの出力は、画像内における人検出の不在が、工程９４において警告を発する、および／または船舶駆動部８ａ、８ｂにより制御動作を行う制御動作を引き起こす制御入力として扱われ得るという点で、異なるように扱われ得るかもしれない。例えば、舵イメージセンサー２８ｂにより撮像された画像内に予め定められたフレーム数に亘って、または予め定められた時間の長さに亘って人４６が検出されない場合、伝動機構コンピュータ２２ａ、２２ｂは、例えば、それぞれの船舶駆動部８ａ、８ｂのエンジン速度を遅くし得る、および／または、船舶駆動部８ａ、８ｂをニュートラルにギアシフトし得る。一実施形態において、伝動機構コンピュータ２２ａ、２２ｂは、舵センサー２８ｂからの画像内に人４６を検出し損ね続けることに応答して、人検出のないある数のフレーム、または人検出のないある期間の後、エンジンを停止することさえ含み得る追加の漸進的な動作をとるよう構成され得る。例えば、ある制御アルゴリズムは、ある特定の数の、特定の閾値に達する検出情報値の後、ある特定の制御出力が行われ、それから、それに続く検出情報値５６に応答して他の動作がとられるようなフィルタメカニズムを適切に含み得る。フィルタリングメカニズムは、ある特定の応用および／またはある特定の船舶のために較正可能であり得る。

図６は、船舶２上の、またはその周りの海洋環境に存在する１または複数の物体を検出する方法の一実施形態を描写しており、具体的には海洋環境の画像内で、１または複数の事前定義された物体と関連付けられたパターンを検出するようＡＮＮをトレーニングするための工程に関する。工程８１において、１または複数の人、または人の身体部位を含むポジティブトレーニング画像が、ＡＮＮに供給される。工程８２において、ＡＮＮに入力を提供しているイメージセンサー２８により撮像される海洋環境特有の更なるトレーニング画像が、ＡＮＮへ供給される。描写されている例において、ＡＮＮは、舵イメージセンサー２８ｂからの画像を処理するようトレーニングされ、したがって、イメージセンサー２８ｂにより撮像される、舵エリア特有のトレーニング画像が、工程８２および８３において提供されて、舵イメージセンサー２８ｂからの画像を正確に処理するためにそのＡＮＮのトレーニングが適合させられる。工程８２において、人４６、または人４６の何らかの部分を含む舵エリア５３のポジティブトレーニング画像が、ＡＮＮに供給される。工程８３において、舵エリア５３のネガティブトレーニング画像、すなわち、人を含まない画像が供給される。更なるトレーニングが必要であるか判断すべく、人検出におけるＡＮＮの性能が、工程８４〜８６においてテストされる。工程８４において、テスト画像がＡＮＮに提供され、結果として得られる出力、検出情報５６が、工程８５で評価される。工程８６において、それぞれの海洋環境−すなわち、舵エリア−において信頼性の高い人検出を提供出来るよう誤差が十分に最小化されているかが判断される。誤差が大き過ぎる場合、工程８１〜８３において更なるトレーニングが提供され得る。誤差が十分に小さい場合、工程８７において、トレーニングは完了したものとみなされる。前側イメージセンサー２８ａにより撮像された船舶２の前の領域、または１または複数の後側イメージセンサー２８ｃ、２８ｄにより撮像された船舶２後方の領域にいる人または他の事前定義された物体の検出のためにトレーニングするなど、他の海洋環境に関して類似のトレーニング方法が提供され得る。そのような実施形態において、それぞれのイメージセンサー２８ａ、２８ｃ、２８ｄによる画像と同じ視野角および／または視野の画像などの、関連する海洋環境のポジティブおよびネガティブトレーニング画像が供給され得る。

本明細書は、最良の態様を含む本願発明を開示すべく、また、当業者が本願発明を作成し用いることが出来るようにすべく例を用いている。ある特定の用語が、簡潔さ、明確さ、および理解のために用いられている。そのような用語は単に説明を目的として用いられており、広く解釈されるよう意図されているので、従来技術の要求事項を超えてそこから不必要な限定が推測されるべきではない。本願発明の特許性のある範囲は、請求項により定義され、当業者が思いつく他の例を含み得る。そのような他の例が、請求項の文字通りの言葉と異ならない特徴または構造要素を有する場合、または、それら例が、請求項の文字通りの言葉との差が非本質的である同等の特徴または構造要素を含む場合、それら例は請求項の範囲に含まれることが意図されている。

Claims (17)

1. 少なくとも１つの船舶駆動部を有する船舶用の物体検出システムであって、
   前記船舶上に位置付けられ、前記船舶上の、またはその周りの海洋環境の画像を撮像する少なくとも１つのイメージセンサーであって、少なくとも１つのイメージセンサーのうちの１つは前記船舶の後方の領域の画像を撮像するよう前記船舶上に位置付けられた可視光カメラである、少なくとも１つのイメージセンサーと、
   プロセッサと、
   前記プロセッサ上で実行可能である、前記画像を入力として受信する画像スキャンモジュールであって、前記船舶の後方の前記領域に位置する人と関連付けられたパターンを前記海洋環境の前記画像内で検出するよう、および、前記海洋環境の前記画像内における、１または複数の事前定義された物体の存在または不在についての検出情報を出力するようトレーニングされた人工ニューラルネットワークを有する画像スキャンモジュールと
   を備え、
   前記画像スキャンモジュールの前記人工ニューラルネットワークは、前記イメージセンサーにより撮像される前記画像に近似する視野角および／または視野の範囲を有する水面上の物体の画像を用いてトレーニングされる
   物体検出システム。
2. 少なくとも１つの船舶駆動部を有する船舶用の物体検出システムであって、
   前記船舶上に位置付けられ、前記船舶上の、またはその周りの海洋環境の画像を撮像する少なくとも１つのイメージセンサーと、
   プロセッサと、
   前記プロセッサ上で実行可能である、前記画像を入力として受信する画像スキャンモジュールであって、１または複数の事前定義された物体と関連付けられたパターンを前記海洋環境の前記画像内で検出するよう、および、前記海洋環境の前記画像内における、前記１または複数の事前定義された物体の存在または不在についての検出情報を出力するようトレーニングされた人工ニューラルネットワークを有する画像スキャンモジュールと
   を備え、
   前記少なくとも１つのイメージセンサーのうちの１つは、前記船舶の舵エリアの画像を撮像するよう位置付けられた可視光カメラであり、
   前記画像スキャンモジュールの前記人工ニューラルネットワークは、前記舵エリアの前記画像内における人の前記存在または不在を検出するようトレーニングされる
   物体検出システム。
3. 前記検出情報は、前記画像内における、前記１または複数の事前定義された物体の前記存在の確率値を示す、請求項１または２に記載の物体検出システム。
4. 前記少なくとも１つのイメージセンサーのうちの他の１つは、前記船舶の舵エリアの画像を撮像するよう位置付けられた可視光カメラであり、前記画像スキャンモジュールの前記人工ニューラルネットワークは、前記舵エリアの前記画像内における人の前記存在または不在を検出するようトレーニングされる、請求項１から３のいずれか一項に記載の物体検出システム。
5. 前記画像スキャンモジュールの前記人工ニューラルネットワークは、特定の舵エリアに関連するトレーニング画像を用いて前記特定の舵エリアに関してトレーニングされる、請求項２または４に記載の物体検出システム。
6. 水面上の人の画像のポジティブトレーニング画像と、水面上の他の物体のネガティブトレーニング画像とを提供することにより、前記人間の前記存在を前記船舶の前記海洋環境内で検出するよう前記人工ニューラルネットワークをトレーニングする、請求項１から５のいずれか一項に記載の物体検出システム。
7. 前記船舶上に位置付けられ、前記船舶上の、またはその周りの第２の海洋環境の第２の画像を撮像する第２のイメージセンサーであって、前記第２の海洋環境は、第１の前記海洋環境とは前記船舶に対して異なる位置にある、第２のイメージセンサーと、
   第２のプロセッサと、
   前記第２のプロセッサ上で実行可能な第２の画像スキャンモジュールであって、前記海洋環境の前記画像を入力として受信するよう、および、前記第２の画像内における、前記１または複数の事前定義された物体の前記存在または不在についての第２の検出情報を出力するようトレーニングされた第２の人工ニューラルネットワークを有する第２の画像スキャンモジュールと
   をさらに備える、請求項１から６のいずれか一項に記載の物体検出システム。
8. 前記少なくとも１つのイメージセンサーのうちの他の１つは、前記船舶上の第１のロケーションに位置付けられた第１の可視光カメラであり、前記第２のイメージセンサーは、前記船舶上の第２のロケーションに位置付けられた第２の可視光カメラであり、前記画像スキャンモジュールの前記人工ニューラルネットワークは、前記第１の可視光カメラの視野角および／または視野に近似する、水中の前記１または複数の事前定義された物体のトレーニング画像を用いてトレーニングされ、前記第２の画像スキャンモジュールの前記第２の人工ニューラルネットワークは、前記第２の可視光カメラの視野角および／または視野に近似する、水中の物体の画像を用いてトレーニングされる、請求項７に記載の物体検出システム。
9. 前記画像スキャンモジュールおよび前記第２の画像スキャンモジュールから前記検出情報を受信する、および、前記検出情報に基づき前記船舶駆動部に対する制御命令を生成する伝動機構制御ユニットをさらに備える、請求項７または８に記載の物体検出システム。
10. 前記少なくとも１つのイメージセンサーのうちの他の１つは、前記船舶の前の領域の画像を撮像するよう前記船舶上に位置付けられた可視光カメラであり、前記画像スキャンモジュールは、前記船舶の前記前の領域に位置する、事前定義されたサイズ範囲の人と、事前定義された海洋動物と、流芥物体とのうち少なくとも１つの前記存在についての前記検出情報を出力する、請求項１から９のいずれか一項に記載の物体検出システム。
11. 船舶の海洋環境内における１または複数の物体の存在を検出する方法であって、
    事前定義された物体と関連付けられたパターンを海洋環境の画像内で検出するよう人工ニューラルネットワークをトレーニングする工程と、
    前記船舶上に位置付けられた少なくとも１つのイメージセンサーにより画像を記録する工程と、
    前記人工ニューラルネットワークへの入力として前記画像を提供する工程と、
    前記画像内における前記物体の存在または不在についての検出情報を出力する工程と
    を備え、
    前記トレーニングする工程は、前記事前定義された物体を含む前記海洋環境のポジティブトレーニング画像と、前記事前定義された物体を含まない、前記海洋環境のネガティブトレーニング画像とを提供することにより、前記事前定義された物体の前記存在を前記船舶の前記海洋環境内で検出するよう前記人工ニューラルネットワークをトレーニングする工程を有する
    方法。
12. 前記イメージセンサーは、前記船舶の舵エリアの画像を撮像するよう位置付けられ、前記トレーニングする工程は、人を含む、前記舵エリアのポジティブトレーニング画像と、人を含まない、前記舵エリアのネガティブトレーニング画像とを提供することにより、人の前記存在を前記舵エリア内で検出するよう前記人工ニューラルネットワークをトレーニングする工程を含む、請求項１１に記載の方法。
13. 前記イメージセンサーは、前記船舶の後方の領域または前記船舶の前の領域の画像を撮像するよう位置付けられ、前記トレーニングする工程は、人を含む、前記領域のポジティブトレーニング画像と、人を含まない、前記領域のネガティブトレーニング画像とを提供することにより、それぞれの前記領域内における人の前記存在を検出するよう前記人工ニューラルネットワークをトレーニングする工程を含む、請求項１１または１２に記載の方法。
14. 前記ポジティブトレーニング画像および前記ネガティブトレーニング画像は、前記船舶上に位置付けられた前記イメージセンサーの視野角および／または視野に近似する、請求項１１から１３のいずれか一項に記載の方法。
15. 前記検出情報は、前記事前定義された物体の前記存在の確率を含む、請求項１１から１４のいずれか一項に記載の方法。
16. ＣＡＮバスを介して伝動機構制御ユニットへ前記検出情報を送信する工程と、
    前記検出情報に基づき前記伝動機構制御ユニットにより少なくとも１つの船舶駆動部を制御する工程と
    をさらに備える、請求項１１から１５のいずれか一項に記載の方法。
17. 前記検出情報に基づき前記船舶上で警告を発する工程をさらに備える、請求項１１から１６のいずれか一項に記載の方法。

Images