JP6830459B2 - 情報処理システム、情報処理装置、情報処理方法、プログラム、及び、記憶媒体 - Google Patents

Description

本発明は、情報処理システム、情報処理装置、情報処理方法、プログラム、及び、記憶媒体に関する。

特許文献１には、荷役機構各部に荷役作業を構成する一連の動作を検知するセンサを予め設け、モニタリング用計算機が各センサから得られる各検出信号が所定の態様で変化した場合に限り一回の荷役作業が行われたとみなし荷役個数を計数する荷役個数検出方法が記載されている。

特開平６−２６３３８５号公報

積荷を輸送する輸送機器が運行スケジュールを守ることは、物流の円滑化等の観点から極めて重要である。そして、運行スケジュールを守るために、精度よく荷役作業を把握することが求められている。ここで、特許文献１に記載の荷役個数検出方法を行うには、クレーン等の荷役機構の各部に荷役作業を構成する一連の動作を検出する専用のセンサを取付ける必要がある。
しかしながら、例えば輸送機器である船舶は、世界中に積荷を輸送する。したがって、この船舶での荷役作業は世界中で行われることになる。この場合、船舶での荷役作業を把握するために、世界のいろいろな場所に存在する荷役機構に専用のセンサを取付けるには膨大な作業や費用が必要となる。また、専用のセンサを取付けることができない荷役機構も存在する。このように、精度よく荷役作業を把握するために荷役機構に専用のセンサを取付けることは、現実的ではないことがある。

本発明は、簡易に精度よく荷役作業を把握することを目的とする。

本発明の情報処理システムは、積荷（液体を除く）を輸送する輸送機器（荷役機構を除く）に取付けられた１つ以上のセンサによって検知された前記輸送機器におけるクレーンを用いた荷役作業に関する検知情報を受け付ける受付手段と、前記受付手段によって受け付けられた前記検知情報に基づいて、前記輸送機器における荷役作業を検出する検出手段と、を有する。

本発明によれば、簡易に精度よく荷役作業を把握できる。

荷役作業の一例を示す概念図である。 船舶の一例を示す側面図である。 荷役検出処理の一例を示すフローチャートである。 システム構成の一例を示す図である。 荷役検出処理の一例を示すフローチャートである。 荷役グラフ等の一例を示す図である。 荷役作業の一例を示す概念図である。 システム構成の他の例を示す図である。 荷役検出処理の一例を示すフローチャートである。 撮影部が撮影した画像の一例を示す図である。 システム構成の一例を示す図である。 システム構成の他の例を示す図である。 システム構成の他の例を示す図である。

＜実施の概略＞
まず、図１、図２、図３を参照して、実施の概略について説明する。
情報処理システムでは、積荷を輸送する輸送機器に取付けられた１つ以上のセンサが使われる。図１、図２の例では、輸送機器として船舶１０が使われ、センサは、船舶１０に取り付けられたセンサ装置１１０に備えられている。
情報処理システムを構成する情報処理装置は、図３に示す荷役検出処理を行うことで、輸送機器の荷役作業を検出する。すなわち、Ｓ１０において、情報処理装置は、センサによって検知された輸送機器における荷役作業に関する検知情報を受け付ける。次いで、Ｓ１１において、情報処理装置は、Ｓ１０で受け付けた検知情報に基づいて、輸送機器における荷役作業を検出する。情報処理装置は、Ｓ１０において受付手段として機能し、Ｓ１１において検出手段として機能する。
このように、情報処理システムは、輸送機器に取り付けられたセンサが検知する検知情報に基づいて、荷役作業を検出する。したがって、世界のいろいろな場所に存在する輸送機器に積荷を運搬するクレーン２０（図１参照）一つ一つに、特別なセンサを取り付ける等の改修等を行う必要がなく、簡易に精度よく荷役作業を把握できる。

＜第１実施形態＞
まず、図１を参照して、第１実施形態の荷役作業について説明する。図１は、荷役作業の一例を示す概念図であり、船舶１０の前方から船舶１０を見たときの図である。第１実施形態の荷役作業は、積荷３０を運ぶ荷役装置の一例であるクレーン２０によって、船舶１０に積荷３０を積込んだり、船舶１０から積荷３０を降ろしたりする作業である。荷役作業は図１に示すように、例えば港湾で行われる。
次に、図１、図２を参照して、船舶１０について説明する。図２は、船舶１０の一例を示す側面図である。船舶１０は、操舵室１１の前側（船舶１０の進行方向側）に、格納部１２を備える。格納部１２は、積荷３０が格納される領域であり、例えば、操舵室１１の前側に、上側が開放された凹部として設けられている。ただし、格納部１２は、積荷３０が格納可能であればよく、ここで説明した構成に限定されるものではない。船舶１０は、積荷３０を輸送する輸送機器の一例である。

次に、図１、図２、図４を参照して、荷役検出システム１００について説明する。図４は、荷役検出システム１００の構成の一例を示す図である。荷役検出システム１００は、船舶１０の荷役作業を検出するシステムである。荷役検出システム１００は、情報処理システムの一例である。
荷役検出システム１００は、センサ装置１１０と、サーバ装置１２０と、クライアント装置１３０とを備える。センサ装置１１０は、第１情報処理装置の一例である。サーバ装置１２０は、第２情報処理装置の一例である。なお、以下では、あくまで荷役検出システム１００の一例として、センサ装置１１０とサーバ装置１２０とが別の装置として構成されている例について説明するが、センサ装置１１０とサーバ装置１２０とが一体的に構成されてもよい。例えば、１台のスマートデバイスがセンサ装置１１０として機能するとともにサーバ装置１２０として機能するように荷役検出システム１００を構成してもよい。また、センサ装置１１０とサーバ装置１２０とを独立した装置として構成する場合にも、以下でサーバ装置１２０の処理として説明するものの一部をセンサ装置１１０側で実行するように荷役検出システム１００を構成することもできる。さらには、以下で説明するサーバ装置１２０の機能の全部又は一部をクライアント装置１３０で実行するようなシステム構成であってもよく、特に限定はされない。
センサ装置１１０は、船舶１０の姿勢を検出し、船舶１０の姿勢を表す姿勢情報をサーバ装置１２０に送信する。センサ装置１１０は、加速度センサ１１１と、ジャイロセンサ１１２と、ＣＰＵ１１３と、記憶部１１４と、通信インタフェース１１５と、これらを接続するバス１１６とを備える。センサ装置１１０や加速度センサ１１１、及び、ジャイロセンサ１１２は、船舶１０の姿勢を検知する姿勢検知部の例であり、船舶１０に取付けられて船舶１０における荷役作業に関する検知情報を検知するセンサの例である。姿勢情報は、センサが検知する検知情報に含まれる情報の一例である。

加速度センサ１１１は、姿勢情報として、船舶１０の傾きを示す加速度の情報を出力する。ジャイロセンサ１１２は、姿勢情報として、船舶１０の揺れを表す角速度の情報を出力する。ジャイロセンサ１１２は、角速度センサの一例である。
ＣＰＵ１１３は、センサ装置１１０の全体を制御する。ＣＰＵ１１３が記憶部１１４等に記憶されているプログラムに基づき処理を実行することによって、センサ装置１１０の各種の処理等が実現される。
記憶部１１４は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置であって、プログラムを記憶したり、ＣＰＵ１１３がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。ＣＰＵ１１３は、通信インタフェース１１５を介してプログラムをダウンロードして、記憶部１１４に記憶させてもよい。

通信インタフェース１１５は、センサ装置１１０と、サーバ装置１２０等の外部装置との通信の制御を司る。
センサ装置１１０は、船舶１０に取付けられている。第１実施形態では、図１に示すように、操舵室１１の前側に、第１センサ装置１１０Ａ及び第２センサ装置１１０Ｂの２台のセンサ装置１１０が取付けられている。第１センサ装置１１０Ａは、操舵室１１の右側に取付けられている。第２センサ装置１１０Ｂは、操舵室１１の左側に取付けられている。ここで、右側とは船舶１０の進行方向に対しての右側であり、左側とは船舶１０の進行方向に対しての左側とする。

ＣＰＵ１１３は、加速度センサ１１１が出力する姿勢情報、及び、ジャイロセンサ１１２が出力する姿勢情報を、通信インタフェース１１５を介して、継続的にサーバ装置１２０に送信する。
センサ装置１１０は、情報処理装置の一例である。センサ装置１１０には、例えば、スマートフォンやタブレット端末を含むスマートデバイスが使われるが、これら以外の情報処理装置が使われてもよい。

サーバ装置１２０は、ＣＰＵ１２１と、記憶部１２２と、通信インタフェース１２３と、これらを接続するバス１２４とを備える。
ＣＰＵ１２１は、サーバ装置１２０の全体を制御する。ＣＰＵ１２１が記憶部１２２等に記憶されているプログラムに基づき処理を実行することによって図５に示す処理等が実現される。
記憶部１２２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置であって、プログラムを記憶したり、ＣＰＵ１２１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶部１２２は、プログラムを記憶したコンピュータ読み取り可能な記憶媒体の一例である。ＣＰＵ１２１は、通信インタフェース１２３を介してプログラムをダウンロードして、記憶部１２２に記憶させてもよい。

通信インタフェース１２３は、サーバ装置１２０と、センサ装置１１０やクライアント装置１３０等の外部装置との通信の制御を司る。
サーバ装置１２０は、情報処理装置の一例である。サーバ装置１２０には、例えば、パーソナルコンピュータが使われるが、これ以外の情報処理装置が使われてもよい。

クライアント装置１３０は、ＣＰＵ１３１と、記憶部１３２と、通信インタフェース１３３と、表示部１３４と、これらを接続するバス１３５とを備える。
ＣＰＵ１３１は、クライアント装置１３０の全体を制御する。ＣＰＵ１３１が記憶部１３２等に記憶されているプログラムに基づき処理を実行することによってクライアント装置１３０の各種の機能が実現される。
記憶部１３２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置であって、プログラムを記憶したり、ＣＰＵ１３１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶部１３２は、プログラムを記憶したコンピュータ読み取り可能な記憶媒体の一例である。ＣＰＵ１３１は、通信インタフェース１２３を介してプログラムをダウンロードして、記憶部１３２に記憶させてもよい。

通信インタフェース１３３は、クライアント装置１３０と、サーバ装置１２０等の外部装置との通信の制御を司る。
表示部１３４は、ディスプレイであり、後に説明する荷役グラフ等を表示する。
クライアント装置１３０は、情報処理装置の一例である。クライアント装置１３０には、例えば、スマートフォンやタブレット端末を含むスマートデバイスが使われるが、これら以外の情報処理装置が使われてもよい。
センサ装置１１０とサーバ装置１２０との通信、及び、サーバ装置１２０とクライアント装置１３０との通信には、無線通信が使われるが、有線通信であってもよい。

次に、図５を参照して、荷役検出処理について説明する。図５は、荷役検出処理のフローチャートである。
Ｓ１００において、サーバ装置１２０のＣＰＵ１２１は、通信インタフェース１２３を介して、第１センサ装置１１０Ａ及び第２センサ装置１１０Ｂから姿勢情報を受信する。より具体的には、例えば、ＣＰＵ１２１がセンサ装置１１０に姿勢情報を要求する通知を送信する。センサ装置１１０のＣＰＵ１１３は、この通知を受信すると、センサ装置１１０の加速度センサ１１１、及び、ジャイロセンサ１１２が検出した船舶１０の姿勢を表す姿勢情報をサーバ装置１２０に送信する。ＣＰＵ１２１は、この姿勢情報を受信する。ＣＰＵ１２１が受信する姿勢情報には、第１センサ装置１１０Ａの加速度センサ１１１が出力する船舶１０の加速度の情報、第１センサ装置１１０Ａのジャイロセンサ１１２が出力する船舶１０の角速度の情報、第２センサ装置１１０Ｂの加速度センサ１１１が出力する船舶１０の加速度の情報、及び、第２センサ装置１１０Ｂのジャイロセンサ１１２が出力する船舶１０の角速度の情報が含まれる。Ｓ１００の処理は、積荷３０を輸送する船舶１０の姿勢情報を受け付ける受付処理の一例である。ＣＰＵ１２１は、記憶部１１４等に記憶されているプログラムに基づき受付処理を実行することにより、受付手段として動作する。
Ｓ１０１において、ＣＰＵ１２１は、デジタルフィルタ処理によって、Ｓ１００で受信した姿勢情報から、船舶１０のエンジンの振動等を表すノイズを除去する。デジタルフィルタ処理には、例えばローパスフィルタが使われる。

Ｓ１０２において、ＣＰＵ１２１は、Ｓ１０１でノイズが除去された姿勢情報を対象とした変化点検出処理によって、荷役作業を検出する。Ｓ１０２の変化点検出処理は、船舶１０の姿勢情報の変化率に基づいて、姿勢情報の変化点を検出する処理である。姿勢情報の変化点は、船舶１０の姿勢が変化したことを表す。姿勢情報の変化点が表す時刻は、船舶１０の姿勢が変化した時刻を表す。変化点検出処理として、第１実施形態では、ＣｈａｎｇｅＦｉｎｄｅｒと呼ばれる手法が使われる。ただし、変化点検出処理として、特異スペクトル変換法等、他の手法を用いてもよい。
船舶１０において荷役作業が実施されると、船舶１０が傾いたり揺れたりして、船舶１０の姿勢が変わる。この性質を利用し、ＣＰＵ１２１は、姿勢情報を対象とした変化点検出処理によって姿勢情報の変化点を検出することで、船舶１０における荷役作業を検出する。ＣＰＵ１２１は、姿勢情報の変化点が表す時刻を、船舶１０における荷役作業の実施時刻と検出する。

次に、Ｓ１０２の処理について、より詳しく説明する。
まず、ＣＰＵ１２１は、時刻ごとに、当該時刻において第１センサ装置１１０Ａが検出した船舶１０の加速度、及び、当該時刻において第２センサ装置１１０Ｂが検出した船舶１０の加速度の平均値を算出する。ＣＰＵ１２１は、第１センサ装置１１０Ａが検出した船舶１０の加速度の情報、及び、第２センサ装置１１０Ｂが検出した船舶１０の加速度の情報の何れかに異常値があると判定したときは、異常値と判定した加速度の情報を使わないように処理してもよい。このように２台のセンサ装置１１０を用いて冗長化させる構成とすることで、一方のセンサ装置１１０に障害が発生した場合にも他方のセンサ装置１１０での検出結果によって荷役検出を行うことができる。また、２台のセンサ装置１１０の検出結果を照合して例えば両方のセンサ装置１１０で荷役検出がされた場合にのみ、荷役作業が行われたと判定する構成とすることで荷役検知の精度を向上させることができる。荷役検出の処理においては、各センサ装置１１０により検出された加速度や角速度の情報に対して同様の処理が行われるため、後述のとおり、センサ装置１１０の台数は２台に限定されない。すなわち、センサ装置１１０は１台のみであってもよいし、システムの信頼性を高めるために３台以上の冗長構成とすることもでき、要求される仕様に応じて任意の構成とすることができる。

次いで、ＣＰＵ１２１は、ＣｈａｎｇｅＦｉｎｄｅｒの手法により、時刻ごとに算出した船舶１０の加速度の平均値の変化率に基づいて、加速度の変化点を検出する。この加速度の変化点が、姿勢情報の変化点である。
こうして、ＣＰＵ１２１は、船舶１０の加速度の変化点を検出することで、船舶１０における荷役作業を検出する。船舶１０の加速度の変化点の時刻が、荷役作業の実施時刻である。

ここでは、姿勢情報として、船舶１０の加速度の情報を使う場合について説明した。しかし、ＣＰＵ１２１は、姿勢情報として、船舶１０の角速度の情報を使って、船舶１０の加速度の情報を使う場合と同様に、船舶１０の角速度の変化点を検出してもよい。また、ＣＰＵ１２１は、船舶１０の加速度の変化点の時刻と船舶１０の角速度の変化点の時刻との間隔が、予め定められた間隔内のとき、船舶１０における荷役作業を検出してもよい。ＣＰＵ１２１は、船舶１０の加速度の変化点の時刻、又は、船舶１０の角速度の変化点の時刻を、船舶１０における荷役作業の実施時刻とする。

Ｓ１０３において、ＣＰＵ１２１は、Ｓ１０１でノイズが除去された姿勢情報に基づいて、荷役作業が実施された船舶１０の領域を検出する。より具体的には、ＣＰＵ１２１は、Ｓ１０２で検出された荷役作業が、船舶１０の右側の領域で行われたものか、船舶１０の左側の領域で行われたものかを検出する。荷役作業が実施された船舶１０の領域を、荷役作業の実施領域とも呼ぶ。
船舶１０の右側の領域に積荷３０が積込まれると、初動では船舶１０が右側に揺れて、積荷３０が積込まれる前と比べて船舶１０が右側に傾く。また、船舶１０の右側の領域から積荷３０が降ろされると、初動では船舶１０が左側に揺れて、積荷３０が降ろされる前と比べて船舶１０が左側に傾く。この性質を利用し、荷役作業が積荷３０を積込む作業か船舶１０から積荷３０を降ろす作業かを表す作業種別情報と、姿勢情報の変化の方向とに基づいて、ＣＰＵ１２１は、船舶１０の右側の領域で行われたものか、船舶１０の左側の領域で行われたものかを検出する。作業種別情報は、図５の荷役検出処理に先立って、サーバ装置１２０に設定されている。ＣＰＵ１２１は、記憶部１２２から作業種別情報を取得する。姿勢情報の変化の方向には、姿勢情報の正の方向への変化と姿勢情報の負の方向への変化とがある。
Ｓ１０２、Ｓ１０３の処理は、受付処理によって受け付けられた姿勢情報に基づいて、船舶１０における荷役作業と、荷役作業が実施された船舶１０の領域とを検出する検出処理の一例である。ＣＰＵ１２１は、記憶部１１４等に記憶されているプログラムに基づき検出処理を実行することにより、検出手段として動作する。
本実施形態では、Ｓ１０３において、サーバ装置１２０のＣＰＵ１２１は、作業種別情報を用いて、荷役作業が船舶１０の右側の領域と左側の領域のどちらで実施されたのかを検出する。しかし、作業種別情報は存在しなくてもよい。この場合、ＣＰＵ１２１は、荷役作業が船舶１０の右側の領域と左側の領域のどちらで実施されたのかの判別はできない。しかし、ＣＰＵ１２１は、姿勢情報の変化の方向に基づいて、船舶１０の一方の側の領域で荷役作業が実施されたのか、船舶１０の他方の側の領域で荷役作業が実施されたのかの判別は可能である。

Ｓ１０４において、ＣＰＵ１２１は、Ｓ１０２で検出した荷役作業の実施時刻の間隔に基づいて、荷役作業を推定する。Ｓ１０４の処理は、推定処理の一例である。ＣＰＵ１２１は、記憶部１１４等に記憶されているプログラムに基づき推定処理を実行することにより、推定手段として動作する。
Ｓ１０２で検出される荷役作業と、Ｓ１０４で推定される荷役作業との関係について説明する。Ｓ１０２で検出される荷役作業は、姿勢情報に基づく検出のため、船舶１０の右側の領域又は左側の領域における荷役作業である。船舶１０の中央の領域における荷役作業は、船舶１０が傾いたり揺れたりする大きさが、船舶１０の右側の領域又は左側の領域における荷役作業よりも小さいため、Ｓ１０２では検出されない場合も想定される。また、クレーン操縦者の技術が非常に高度な場合や、他の荷物と比較して相対的に軽量な荷物を積み込む場合には、船舶１０の揺れや傾きが小さく、Ｓ１０２では検出されない可能性も考えられる。そこで、Ｓ１０４では、ＣＰＵ１２１は、Ｓ１０２では検出されないような荷役作業（例えば、船舶１０の中央における荷役作業）の実施を推定する。船舶１０の中央の領域とは、船舶１０の右側の領域と左側の領域との間の領域である。船舶１０の右側の領域は、船舶１０における一方の側の領域である第１領域の一例である。船舶１０の左側の領域は、船舶１０における一方の側とは反対側の領域である第２領域の一例である。船舶１０の中央の領域は、第１領域と第２領域との間の第３領域の一例である。

図６（ａ）、（ｂ）を参照して、Ｓ１０４の処理をより具体的に説明する。図６（ａ）は、荷役グラフの一例を示す図である。図６（ｂ）は、図６（ａ）における時刻「８：００」の部分を拡大した荷役グラフの一例を示す図である。荷役グラフは、荷役作業の対象となった積荷３０の数の累積合計の時間変化を表す。荷役グラフの「○」は、検出された実施領域が船舶１０における右側の領域である荷役作業を表す。荷役グラフの「△」は、検出された実施領域が船舶１０における左側の領域である荷役作業を表す。なお、荷役グラフの「×」については、後に説明する。

まず、ＣＰＵ１２１は、実際の荷役作業の間隔を表す基準期間を決定する。ＣＰＵ１２１は、予め定められた時間を基準期間としてもよい。また、ＣＰＵ１２１は、Ｓ１０２で検出された船舶１０の荷役作業の間隔のうち、短いものから、予め定められた数だけ取得して平均値を算出して基準期間としてもよい。また、ＣＰＵ１２１は、荷役作業の実施領域が右側の領域であり、次の荷役作業の実施領域が左側の領域のように、Ｓ１０２、及び、Ｓ１０３で検出された実施領域が異なり連続した荷役作業の間隔のうち、短いものから、予め定められた数だけ取得して平均値を算出して基準期間としてもよい。
次いで、ＣＰＵ１２１は、Ｓ１０２で検出された荷役作業の間隔と基準期間とから、線形補間によって、船舶１０の中央の領域における荷役作業を推定する。
ここで、図６（ｃ）を参照して、荷役作業の推定の例を説明する。図６（ｃ）は、横軸が時刻であり、時刻Ｔ１で、図６（ｃ）に「○」として表される、船舶１０の右側の領域での荷役作業が検出され、時刻Ｔ２で、図６（ｃ）に「△」として表される、船舶１０の左側の領域での荷役作業が検出された例を表す。また、ここでは、荷役作業の間隔を表す基準期間が４分であるものとする。図６（ｃ）に示すように、船舶１０の右側の領域での荷役作業が検出された時刻Ｔ１と、船舶１０の左側の領域での荷役作業が検出された時刻Ｔ２とは、８分の間隔がある。基準期間は４分であり、時刻Ｔ１と時刻Ｔ２との間で、１回の荷役作業が可能である。したがって、ＣＰＵ１２１は、時刻Ｔ１と時刻Ｔ２との中間の時刻Ｔ３において、船舶１０の中央の領域における荷役作業が１回実施されたと推定する。図６（ｃ）では、推定された船舶１０の中央の領域における荷役作業が「×」で表される。
ＣＰＵ１２１は、線形補間以外の二次補間等の方法によって、船舶１０の中央の領域における荷役作業を推定してもよい。図６（ａ）、（ｂ）の荷役グラフの「×」は、ここで推定された船舶１０の中央の領域における荷役作業を表す。

ただし、Ｓ１０４において、ＣＰＵ１２１は、休憩時間等の荷役作業が実施されない範囲の時間帯である不実施時間帯については、荷役作業の推定の対象とせず、不実施時間帯を除いた時刻での荷役作業を推定する。不実施時間帯は、予め記憶部１２２に記憶されており、ＣＰＵ１２１は、記憶部１２２から不実施時間帯を取得する。図６（ａ）、（ｂ）の例では、不実施時間帯として、例えば、９：２０から９：４０まで、１２：００から１３：００まで等が設定されている。不実施時間帯の記憶部１２２への記憶は、例えば、不実施時間帯のみを予め担当者が登録することでサーバ装置１２０が取得する構成であってもよいし、あるいは船舶ごとの荷役作業計画として取得しておき、そこに含まれる不実施時間帯を抽出する構成であってもよい。また、計画情報としての不実施時間帯は非常に精度が低く、計画情報のみに基づいて不実施時間帯を除外してしまうと、実際にはその時間帯に荷役作業を行っている可能性もあり、荷役作業の回数を正しくカウントできないことも考えられる。そこで、サーバ装置１２０に登録された計画情報としての不実施時間帯を例えばクライアント装置１３０に表示してオペレータが確認し、実際の荷役作業の状況に応じて補正入力できるような構成であってもよく、特に限定はされない。

Ｓ１０５において、ＣＰＵ１２１は、通信インタフェース１２３を介して、荷役情報をクライアント装置１３０に送信する。荷役情報は、Ｓ１０２、Ｓ１０３で検出した船舶１０における荷役作業の情報、荷役作業の実施領域の情報、及び、Ｓ１０４で推定した船舶１０における荷役作業を表す情報を含む。Ｓ１０５の処理は、検出処理によって検出された荷役作業の情報を通知する通知する通知処理の一例である。ＣＰＵ１２１は、記憶部１１４等に記憶されているプログラムに基づき通知処理を実行することにより、通知手段として動作する。第１実施形態での例での通知処理では、検出処理によって検出された荷役作業の情報を、クライアント装置１３０に送信して、クライアント装置１３０の表示部に荷役作業の情報が出力されることで、荷役作業の情報が管理者等に最終的に通知される。
Ｓ１０６において、ＣＰＵ１２１は、通信インタフェース１２３を介して、クライアント装置１３０から終了指示を受け付けたか否かを判定する。ＣＰＵ１２１は、サーバ装置１２０が備える入力装置に対する操作に基づいて、終了指示を受け付けたか否かを判定してもよい。ＣＰＵ１２１は、終了指示を受け付けたと判定したとき図５の荷役検出処理を終了する。ＣＰＵ１２１は、終了指示を受け付けていないと判定したとき処理をＳ１００に戻す。

次に、図５のＳ１０５で送信された荷役情報を受信するクライアント装置１３０の処理について、図６（ａ）、（ｂ）を参照して説明する。
クライアント装置１３０のＣＰＵ１３１は、通信インタフェース１３３を介して、サーバ装置１２０から荷役情報を受信すると、荷役情報に基づいて、図６（ａ）、（ｂ）に示す荷役グラフを表示部１３４に表示する。第１実施形態では、１回の荷役作業で荷役される積荷３０の数は予め定められている。ＣＰＵ１３１は、荷役情報が表す荷役作業の回数、及び、１回の荷役作業で荷役される積荷３０の数に基づいて、荷役される積荷３０の数の累積合計を決定して、荷役グラフを表示部１３４に表示する。

１回の荷役作業で荷役される積荷３０の数は、クライアント装置１３０の記憶部１３２に記憶されていてもよく、荷役情報に含まれていてもよい。１回の荷役作業で荷役される積荷３０の数が荷役情報に含まれていているときは、１回の荷役作業で荷役される積荷３０の数は、サーバ装置１２０の記憶部１２２に記憶されており、サーバ装置１２０が、１回の荷役作業で荷役される積荷３０の数を荷役情報に含めてクライアント装置に送信する。

以上説明したように、サーバ装置１２０のＣＰＵ１２１は、センサ装置１１０から受信する姿勢情報に基づいて、船舶１０における荷役作業を検出する。センサ装置１１０としては、例えばスマートフォンやタブレットのような可搬型であり、船舶１０に対して取り外し可能なスマートデバイスを用いることができる。したがって、クレーン２０の改修等は不要であり、簡易に精度よく荷役作業を把握できる。
また、サーバ装置１２０のＣＰＵ１２１は、Ｓ１００で受信した姿勢情報に基づいて、船舶１０における荷役作業、及び、荷役作業が実施された船舶１０の領域を検出する。したがって、より詳しく荷役作業を把握できる。

また、サーバ装置１２０のＣＰＵ１２１は、Ｓ１０２で検出した荷役作業の実施時刻の間隔に基づいて、荷役作業を推定する。したがって、Ｓ１０２で検出できない荷役作業を推定できるため、精度よく荷役作業を把握できる。
また、サーバ装置１２０のＣＰＵ１２１は、不実施時間帯を除いた時刻での荷役作業を推定する。したがって、荷役作業を誤って推定するおそれが低減する。
また、クライアント装置１３０は、荷役グラフを表示部１３４に表示する。したがって、ユーザは荷役作業の進捗を容易に把握できる。
なお、クライアント装置１３０は、作業の終了情報を入力する他、センサ装置１１０やサーバ装置１２０で荷役作業の検出が行えなかった場合の補正入力、更には荷役作業の計画情報の変更、荷役作業の開始や完了など、オペレータによる各種の入力が可能な構成であってもよく、特に限定されない。

＜第２実施形態＞
次に、第２実施形態の荷役検出システム１００について説明する。
まず、図７、図８を参照して、第２実施形態の荷役検出システム１００の構成について説明する。図７は、荷役作業の一例を示す概念図であり、船舶１０の前方から船舶１０を見たときの図である。図８は、第２実施形態の荷役検出システム１００の構成の一例を示す図である。
第２実施形態の荷役検出システム１００は、撮影装置１４０、サーバ装置１２０、及び、クライアント装置１３０を備える。撮影装置１４０は、第１情報処理装置の一例である。サーバ装置１２０は、第２情報処理装置の一例である。
撮影装置１４０は、撮影部１４１と、ＣＰＵ１１３と、記憶部１１４と、通信インタフェース１１５と、これらを接続するバス１１６とを備える。撮影部１４１は、画像の撮影が可能であり、撮影部１４１として、静止画カメラや動画カメラが使われる。撮影装置１４０としては、例えば、カメラなどを備えたスマートデバイスなどが想定される。撮影部１４１は、センサの一例である。撮影部１４１が撮影する画像は、センサによって検知される検知情報に含まれる情報の一例である。撮影装置１４０のＣＰＵ１１３、記憶部１１４、及び、通信インタフェース１１５は、図３を参照して説明した第１実施形態のセンサ装置１１０と同様である。撮影装置１４０のＣＰＵ１１３が記憶部１１４等に記憶されているプログラムに基づき処理を実行することによって、撮影装置１４０の各種の処理等が実現される。また、第２実施形態では、撮影装置１４０を１台のみ用いて荷役を検出する。

第２実施形態の荷役検出システム１００のサーバ装置１２０、及び、クライアント装置１３０は、図３を参照して説明した第１実施形態のサーバ装置１２０、及び、クライアント装置１３０と同様である。ただし、第２実施形態では、サーバ装置１２０のＣＰＵ１２１が記憶部１２２等に記憶されているプログラムに基づき処理を実行することによって図９に示す処理等が実現される。

撮影装置１４０は、操舵室１１の前側に取付けられており、少なくともサーバ装置１２０が荷役検出処理を実行している間、撮影部１４１が船舶１０を撮影する。より具体的には、撮影部１４１は、荷役作業が行われる場所である格納部１２を撮影し、格納部１２において行われる荷役作業を撮影する。撮影部１４１は、動画を撮影してもよく、予め定められた間隔で継続して静止画を撮影してもよい。撮影装置１４０は、撮影部１４１が撮影した画像を表す画像情報をサーバ装置１２０に送信する。サーバ装置１２０のＣＰＵ１２１は、通信インタフェース１２３を介して、撮影装置１４０から画像情報を受信する。撮影部１４１として、例えばスマートデバイスに備えられたカメラが使われる。
また、荷役検出システム１００の一例として、撮影装置１４０とサーバ装置１２０とが別の装置として構成されている例について説明するが、撮影装置１４０とサーバ装置１２０とが一体的に構成されてもよい。例えば、１台のスマートデバイスが撮影装置１４０として機能するとともにサーバ装置１２０として機能するように荷役検出システム１００を構成してもよい。また、撮影装置１４０とサーバ装置１２０とを独立した装置として構成する場合にも、以下でサーバ装置１２０の処理として説明するものの一部を撮影装置１４０側で実行するように荷役検出システム１００を構成することもできる。さらには、サーバ装置１２０の機能の全部又は一部をクライアント装置１３０で実行するようなシステム構成であってもよく、特に限定はされない。これは以降の実施形態においても同様である。

次に、図９を参照して、第２実施形態の荷役検出処理について説明する。図９は、荷役検出処理のフローチャートである。
Ｓ２００において、サーバ装置１２０のＣＰＵ１２１は、通信インタフェース１２３を介して、撮影装置１４０から撮影部１４１が撮影した画像を受信する。Ｓ２００の処理は、積荷３０を輸送する船舶１０の画像を受け付ける受付処理の一例である。ＣＰＵ１２１は、記憶部１１４等に記憶されているプログラムに基づき受付処理を実行することにより、受付手段として動作する。
Ｓ２０１において、ＣＰＵ１２１は、Ｓ２００で受信した画像に基づいて、荷役作業を検出する。ここで、図１０を参照して、撮影部１４１によって撮影された画像２００に基づいて、サーバ装置１２０のＣＰＵ１２１が荷役作業を検出する処理について説明する。図１０は、撮影部１４１が撮影した画像２００の一例を示す図である。
画像２００は、荷役作業が実施される場所である船舶１０の格納部１２を撮影した画像である。画像２００は、予め定められた複数の仮想領域２０２に分割される。第２実施形態では、画像２００は、第１仮想領域２０２Ａ、第２仮想領域２０２Ｂ、第３仮想領域２０２Ｃ、及び、第４仮想領域２０２Ｄの４つの仮想領域２０２に分割される。それぞれの仮想領域は同じ大きさである。
クレーン２０で荷役作業が実施されるとき、クレーン２０が、積荷３０を載せるパレットを船舶１０における予め定められた荷役作業開始時の位置（初期位置）に配置する。その後、クレーン２０が積荷３０を載せたパレットを移動させて、荷役作業が実施される。第１仮想領域２０２Ａは、積荷３０を載せるパレットを初期位置に配置したときのクレーン２０の基準位置に対応する画像２００の仮想領域２０２である。第２実施形態では、クレーン２０の基準位置として、クレーン２０の先端部が使われる。
なお、この例では、それぞれの仮想領域が同じ大きさとしたが、必ずしも同じ大きさである必要はない。また、基準位置としてクレーンの先端部を利用する例について説明したが、先端部以外を基準位置として用いることができる。仮想領域や基準位置は検出対象に応じて任意に設定することができ、特に限定されない。

ＣＰＵ１２１は、撮影部１４１から受信した画像２００から、クレーン２０の基準位置の時間変化を表す軌跡を取得する。ＣＰＵ１２１は、クレーン２０の基準位置が、図１０の矢印Ａのように、第１仮想領域２０２Ａ、第３仮想領域２０２Ｃの順に仮想領域２０２を通るとき、船舶１０における左側の領域での荷役作業を検出する。また、ＣＰＵ１２１は、クレーン２０の基準位置が、図１０の矢印Ｂのように、第１仮想領域２０２Ａ、第２仮想領域２０２Ｂ、第４仮想領域２０２Ｄの順に仮想領域２０２を通るとき、船舶１０における右側の領域での荷役作業を検出する。このように、Ｓ２０１では、荷役作業の検出と共に、荷役作業の実施領域も検出される。

図９に戻って、荷役検出処理の説明を続ける。
Ｓ２０２において、ＣＰＵ１２１は、通信インタフェース１２３を介して、荷役情報をクライアント装置１３０に送信する。荷役情報は、Ｓ２０１で検出した船舶１０における荷役作業の情報である。なお、荷役情報に、荷役作業の実施領域の情報を含めてもよい。これにより、荷役作業を詳細に把握でき、後々の作業分析に利用できる。Ｓ２０２の処理は、検出処理によって検出された荷役作業の情報を通知する通知する通知処理の一例である。ＣＰＵ１２１は、記憶部１１４等に記憶されているプログラムに基づき通知処理を実行することにより、通知手段として動作する。
Ｓ２０３において、ＣＰＵ１２１は、通信インタフェース１２３を介して、クライアント装置１３０から終了指示を受け付けたか否かを判定する。ＣＰＵ１２１は、サーバ装置１２０が備える入力装置に対する操作に基づいて、終了指示を受け付けたか否かを判定してもよい。ＣＰＵ１２１は、終了指示を受け付けたと判定したとき図９の荷役検出処理を終了する。ＣＰＵ１２１は、終了指示を受け付けていないと判定したとき処理をＳ２００に戻す。

次に、図９のＳ２０２で送信された荷役情報を受信するクライアント装置１３０の処理について説明する。
クライアント装置１３０のＣＰＵ１３１は、通信インタフェース１３３を介して、サーバ装置１２０から荷役情報を受信すると、荷役情報に基づいて、図６（ａ）、（ｂ）に示す荷役グラフを表示部１３４に表示する。第２実施形態では、１回の荷役作業で荷役される積荷３０の数は予め定められている。ＣＰＵ１３１は、荷役情報が表す荷役作業の回数、及び、１回の荷役作業で荷役される積荷３０の数に基づいて、荷役される積荷３０の数の累積合計を決定して、荷役グラフを表示部１３４に表示する。第２実施形態では、ＣＰＵ１２１は、荷役作業が船舶１０における荷役作業が、船舶１０を左右方向に２分割した左側の領域、及び、右側の領域の何れかで行われたことを検出する。

以上説明したように、サーバ装置１２０のＣＰＵ１２１は、撮影装置１４０から受信した画像２００に基づいて、船舶１０における荷役作業を検出する。したがって、荷役作業の誤検出が防止でき、精度よく荷役作業を把握できる。また、上記の実施形態と同様に、撮影装置１４０としては、例えばスマートフォンやタブレットのような可搬型で取り外し可能なスマートデバイスを用いることができ、簡易に精度よく荷役作業を把握できる。
ＣＰＵ１２１は、画像２００に写された積荷３０の変化（例えば積荷３０の数の増減）に基づいて、荷役作業を検出してもよい。
ここでは、ＣＰＵ１２１は、画像２００に基づいたクレーン２０の基準位置の時間変化を表す軌跡から、荷役作業を検出した。しかし、画像２００に基づいた積荷３０の位置を基準位置とし、この基準位置の時間変化を表す軌跡から荷役作業を検出してもよい。

＜第３実施形態＞
次に、第３実施形態の荷役検出システム１００について説明する。上記の実施形態と同様の点については説明を省略する。
第３実施形態の荷役検出システム１００の構成は、第２実施形態の荷役検出システム１００の構成と同様である。

第３実施形態では、図９のＳ２０１において、図９のＳ２０１で説明した荷役作業の検出に加えて、Ｓ２００で受信した画像２００に基づいて、検出した荷役作業の対象となる積荷３０の個数を検出する。より具体的には、ＣＰＵ１２１は、画像２００に写された積荷３０を個別に識別して計数することにより、積荷３０の個数を検出する。画像２００は、既に説明したように、荷役作業が実施される場所である船舶１０の格納部１２を撮影した画像である。ＣＰＵ１２１は、画像２００を解析して、クレーン２０が運んだ積荷３０の個数を決定する。
図９のＳ２０２において、ＣＰＵ１２１は、荷役情報に、検出した積荷３０の個数を含めて、クライアント装置１３０に送信する。クライアント装置１３０は、荷役情報に含まれる積荷３０の個数を用いて、図６（ａ）、（ｂ）の荷役グラフを出力する。

以上説明したように、サーバ装置１２０のＣＰＵ１２１は、撮影部１４１が撮影した画像２００に基づいて、船舶１０における荷役作業の対象となる積荷３０の個数を決定する。したがって、精度よく荷役作業の対象となる積荷３０の個数を把握できる。また、上記の実施形態と同様に、簡易に精度よく荷役作業を把握できる。

＜第４実施形態＞
次に、第４実施形態の荷役検出システム１００について説明する。上記の実施形態と同様の点については説明を省略する。
まず、図１１を参照して、第４実施形態の荷役検出システム１００の構成について説明する。図１１は、第４実施形態の荷役検出システム１００の構成の一例を示す図である。
第４実施形態の荷役検出システム１００は、データ収集装置１５０、サーバ装置１２０、及び、クライアント装置１３０を備える。データ収集装置１５０は、図４を参照して説明したセンサ装置１１０の構成に加えて、図８を参照して説明した撮影部１４１、及び、マイクロフォン１４２を備えている。データ収集装置１５０としては、例えば、各種センサやカメラなどを備えたスマートデバイスなどが想定される。また、第４実施形態では、データ収集装置１５０を１台のみ用いて荷役を検出する。データ収集装置１５０は、図４を参照して説明したセンサ装置１１０の構成を全て備えており、センサ装置１１０の機能を実現できる。

データ収集装置１５０は、操舵室１１の前側に取付けられている。データ収集装置１５０が取り付けられる位置は、図７を参照して説明した撮影装置１４０と同様の位置である。また、少なくともサーバ装置１２０が荷役検出処理を実行している間、データ収集装置１５０の撮影部１４１が船舶１０を撮影する。図７を参照して説明した撮影装置１４０の撮影部１４１と同様に、格納部１２を撮影し、格納部１２において行われる荷役作業を撮影する。データ収集装置１５０は、撮影部１４１が撮影した画像を表す画像情報をサーバ装置１２０に送信する。サーバ装置１２０のＣＰＵ１２１は、通信インタフェース１２３を介して、データ収集装置１５０から画像情報を受信する。

次に、第４実施形態での荷役検出処理について説明する。ここでは、図５を参照して説明した第１実施形態での荷役検出処理と異なる点を中心に説明する。
第４実施形態での荷役検出処理では、Ｓ１００において、サーバ装置１２０のＣＰＵ１２１は、通信インタフェース１２３を介して、データ収集装置１５０から姿勢情報に加えて、データ収集装置１５０の撮影部１４１が撮影した画像を受信する。
また、第４実施形態での荷役検出処理では、Ｓ１０３の処理の後であってＳ１０４の処理の前に、ＣＰＵ１２１は、図９のＳ２０１と同様に、撮影部１４１によって撮影された画像２００に基づいて、荷役作業を検出する。そして、ＣＰＵ１２１は、画像２００に基づいて検出された荷役作業の実施時刻と、Ｓ１０２で検出された荷役作業の実施時刻とが、記憶部１２２に記憶された予め定められた範囲内のとき、正しく荷役作業を検出したものと判定する。ＣＰＵ１２１は、画像２００に基づいて検出された荷役作業の実施時刻と、Ｓ１０２で検出された荷役作業の実施時刻とが、記憶部１２２に記憶された予め定められた範囲内ではないとき、正しく荷役作業を検出していないと判定して、荷役作業を検出しなかったこととする。
ＣＰＵ１２１は、画像２００に基づいて検出された荷役作業の実施時刻と、Ｓ１０２で検出された荷役作業の実施時刻とが、記憶部１２２に記憶された予め定められた範囲内であり、かつ、画像２００に基づいて検出された荷役作業の実施領域と、Ｓ１０３で検出された荷役作業の実施領域とが一致するとき、正しく荷役作業を検出したものと判定してもよい。

以上説明したように、サーバ装置１２０のＣＰＵ１２１は、データ収集装置１５０から受信した姿勢情報、及び、画像２００に基づいて、船舶１０における荷役作業を検出する。したがって、荷役作業の誤検出が防止でき、精度よく荷役作業を把握できる。また、上記の実施形態と同様に、データ収集装置１５０としては、例えばスマートフォンやタブレットのような可搬型で取り外し可能なスマートデバイスを用いることができる。簡易に精度よく荷役作業を把握できる。

＜その他の実施形態＞
サーバ装置１２０のＣＰＵ１２１は、Ｓ１０２等で検出した荷役作業に基づいて、荷役作業の終了時刻を決定してもよい。また、ＣＰＵ１２１は、Ｓ１０２等で検出した荷役作業、及び、Ｓ１０４で推定した荷役作業に基づいて、荷役作業の終了時刻を決定してもよい。ＣＰＵ１２１は、荷役作業の終了時刻の決定に、線形補間や二次補間等の方法を用いてもよい。ＣＰＵ１２１は、決定した荷役作業の終了時刻を、クライアント装置１３０に送信する。クライアント装置１３０は、受信した荷役作業の終了時刻を、表示部１３４に表示する。

また、クライアント装置１３０は、図６（ａ）、（ｂ）の荷役グラフの縦軸を、「検出した積荷３０の数の累積合計／総積荷数」で算出される値で表してもよい。また、クライアント装置１３０は、最新の積荷３０の数の累積合計や、最新の「検出した積荷３０の数の累積合計／総積荷数」のみを表示部１３４に表示してもよい。また、クライアント装置１３０は、荷役グラフ以外の形式で、荷役情報を表示してもよい。

また、荷役検出システム１００は、荷役作業が行われる船舶１０の周辺で発生する音声によって荷役作業を検出する構成であってもよい。例えば、データ収集装置１５０は、図１１に示すようにマイクロフォン１４２を備えている。マイクロフォン１４２は、荷役作業の際に発生する音を集音した音情報を出力する。音情報は、荷役作業の際に発生する音が録音された情報である。また、予め、荷役着の音、吊時の衝撃音、クレーン動作音など、荷役作業の際に発生する各種のサンプル音を事前に録音して、例えば、サーバ装置１２０の記憶部１２２に予め記憶しておく。さらに、一連の荷役作業の際に発生する音の順番を定義した情報を、例えば、サーバ装置１２０の記憶部１２２に予め記憶しておく。そして、音声解析技術を利用して、サーバ装置１２０のＣＰＵ１２１は、データ収集装置１５０から受信した音情報と、サンプル音と、を照合して、行われている作業を判定する。例えば、ＣＰＵ１２１は、データ収集装置１５０から受信した音の情報が、荷役着の音、吊時の衝撃音、及び、クレーン動作音の順番で検出されたと判定した場合には、荷役作業が１回行われたと判定できる。マイクロフォン１４２は、センサの一例である。音情報は、センサが検知する検知情報に含まれる情報の一例である。

また、荷役検出システム１００は、レーダ装置を使って荷役作業を検出する構成であってもよい。この場合、センサ装置１１０、撮影装置１４０、又は、データ収集装置１５０は、レーダ装置を備える。レーダ装置は、レーダ信号を検知対象に放射することで検知対象のレーダ情報を出力する。より具体的には、レーダ装置の送信部は、検知対象である船舶１０における荷役作業が行われる場所にレーダ信号を送信する。レーダ信号には、例えば電磁波が使われる。レーダ信号には、レーザが使われてもよい。レーダ装置の受信部は、レーダ装置の送信部によって放射されて反射したレーダ信号を受信し、受信したレーダ信号に基づくレーダ情報を出力する。センサ装置１１０、撮影装置１４０、又は、データ収集装置１５０は、受信したレーダ信号に関するレーダ情報をサーバ装置１２０に送信する。レーダ情報から、クレーン２０の位置等の情報を判別できる。サーバ装置１２０のＣＰＵ１２１は、センサ装置１１０、撮影装置１４０、又は、データ収集装置１５０から受信したレーダ情報に基づいて、例えば、第２実施形態で画像２００を使用した場合と同様の処理により、荷役作業を検出する。レーダ装置は、センサの一例である。レーダ情報は、センサが検知する検知情報に含まれる情報の一例である。

また、荷役検出システム１００は、喫水によって荷役作業を検出する構成であってもよい。この場合、センサ装置１１０、撮影装置１４０、又は、データ収集装置１５０は、喫水センサを備える。喫水センサは、船舶１０の喫水を検出する。喫水は、船舶１０の一番下の部分から水面までの垂直方向の距離である。また、船舶１０にはバラスト水センサが取付けられている。バラスト水センサは、船舶１０が搭載するバラスト水の容積及び重量を検出する。
センサ装置１１０、撮影装置１４０、又は、データ収集装置１５０は、通信インタフェース１１５を介して、喫水情報をサーバ装置１２０に送信する。また、バラスト水センサは、通信インタフェースを介して、バラスト水情報をサーバ装置１２０に送信する。喫水情報は、喫水センサが検出した喫水に関する情報であり、喫水センサが検出した喫水を含む。バラスト水情報は、バラスト水センサが検出したバラスト水に関する情報であり、バラスト水センサが検出したバラスト水の容積及び重量を含む。喫水情報、及び、バラスト水情報は、センサが検知する検知情報に含まれる情報の一例である。

サーバ装置１２０のＣＰＵ１２１は、受信した喫水情報、及び、バラスト水情報に基づいて、荷役作業を検出する。
より具体的には、まず、ＣＰＵ１２１は、喫水情報に基づいて、船舶１０が積載する積荷３０の積載重量を、次の式（１）によって算出して決定する。
積載重量＝沈み量÷満載重量時の沈み量×満載重量 ・・・ （１）
ここで、沈み量は、船舶１０が積荷３０を載せたことで沈んだ量であり、喫水情報に基づく量である。満載重量時での沈み量は、船舶１０が積荷３０を満載した状態で船舶１０が沈む量である。満載重量は、船舶１０に満載された積荷３０の合計重量である。満載重量時での沈み量、及び、満載重量は既知であり、例えば、サーバ装置１２０の記憶部１２２に記憶されている。

次いで、ＣＰＵ１２１は、式（１）で求めた積載重量から、船舶１０が搭載するバラスト水の重量を除く補正を行って、船舶１０が載せている積荷３０の重量を決定する。
次いで、ＣＰＵ１２１は、船舶１０が載せている積荷３０の重量の変化に基づいて、荷役作業を検出する。

また、ＣＰＵ１２１は、上記の姿勢情報、撮影部１４１が撮影した画像、音情報、レーダ情報、及び、喫水情報の複数の情報に基づいて、荷役作業を検出してもよい。これにより、ＣＰＵ１２１は、これらの中の１つに基づいて荷役作業を検出する場合における不検出帯を回避し、検出精度を高めることができる。例えば、何らかの原因で姿勢情報による荷役検出ができなかった場合であっても、撮影画像や音声では荷役検出が行われた場合には、荷役作業が実施されたと判定することができる。ＣＰＵ１２１は、上記の姿勢情報、撮影画像、音情報、レーダ情報、及び、喫水情報の中の何れか１つに基づいて荷役が検出されたときに、最終的に荷役作業が実施されたと判定する構成としてもよい。ここでの撮影画像は、撮影部１４１が格納部１２を撮影した画像である。ＣＰＵ１２１は、喫水情報を使う場合、同時に、バラスト水情報も使う。

また、荷役検出システム１００は、輸送機器である船舶１０における荷役作業の検出に限定されるものではなく、貨物列車及び大型トラックを含む車両や航空機等の船舶１０以外の輸送機器における荷役作業を検出してもよい。
また、積荷３０の例として、コンテナやコイル等の鉄鋼製品が挙げられるが、積荷３０はこれらに限定されるものではない。
また、荷役検出システム１００は、積荷３０を積込む荷積みや、積荷３０を降ろす荷揚げの何れも検出できる。

また、荷役検出システム１００は、上記の構成に限定されるものではない。例えば、荷役検出システム１００は、図１２に示すように、センサ装置１１０と、サーバ装置１２０とを備え、クライアント装置１３０を備えなくてもよい。サーバ装置１２０は、表示部１２５を備え、サーバ装置１２０が、荷役情報に基づいた荷役グラフの表示等の第１実施形態から第４実施形態までのクライアント装置１３０の機能を実現する。この際に、サーバ装置１２０が荷役情報に基づいた荷役グラフの表示をする処理は、検出処理によって検出された荷役作業の情報を通知する通知する通知処理の一例である。ＣＰＵ１２１は、記憶部１１４等に記憶されているプログラムに基づき通知処理を実行することにより、通知手段として動作する。センサ装置１１０の代わりに、撮影装置１４０又はデータ収集装置１５０を用いてもよい。
また、荷役検出システム１００は、図１３に示すように、センサ装置１１０と、クライアント装置１３０とを備え、サーバ装置１２０を備えなくてもよい。このとき、センサ装置１１０が、第１実施形態から第４実施形態までのサーバ装置１２０と同様の処理を行って荷役情報を生成して、クライアント装置１３０に送信する。クライアント装置１３０は、荷役情報に基づいた荷役グラフの表示をする。この荷役情報に基づいた荷役グラフの表示をする処理は、通知処理の一例である。この場合、センサ装置１１０は第１情報処理装置の一例であり、クライアント装置１３０は、第２情報処理装置の一例である。センサ装置１１０の代わりに、撮影装置１４０又はデータ収集装置１５０を用いてもよい。クライアント装置１３０が、第１実施形態から第４実施形態までのサーバ装置１２０の機能を実現してもよい。

また、上記のとおり、荷役検出システム１００は、センサ装置１１０は２台に限定されるものではなく、１台でもよく、３台以上でもよい。また、センサ装置１１０は、加速度センサ１１１のみを備えていてもよく、ジャイロセンサ１１２のみを備えていてもよい。そして、サーバ装置１２０のＣＰＵ１２１は、姿勢情報として、船舶１０の傾きを示す加速度及び船舶１０の揺れを示す角速度の何れかを受信してもよく、上記の実施形態のように、船舶１０の加速度及び船舶１０の角速度の双方を受信してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、上記実施形態を組み合わせてもよい。

１０ 船舶
２０ クレーン
３０ 積荷
１００ 荷役検出システム
１１０ センサ装置
１２０ サーバ装置
１２１ ＣＰＵ
１３０ クライアント装置

Claims (22)

1. 積荷（液体を除く）を輸送する輸送機器（荷役機構を除く）に取付けられた１つ以上のセンサによって検知された前記輸送機器におけるクレーンを用いた荷役作業に関する検知情報を受け付ける受付手段と、
   前記受付手段によって受け付けられた前記検知情報に基づいて、前記輸送機器における荷役作業を検出する検出手段と、
   を有する情報処理システム。
2. １つの前記センサは、荷役作業が行われる場所を撮影する撮影部であり、
   前記検知情報には、前記撮影部によって撮影された画像が含まれる請求項１記載の情報処理システム。
3. 前記検出手段は、前記画像に写された積荷、及び、前記画像に写された、前記積荷を運ぶ荷役装置の少なくとも何れかの時間変化に基づいて、前記輸送機器における荷役作業を検出する請求項２記載の情報処理システム。
4. 前記検出手段は、更に、前記画像に写された積荷に基づいて、荷役作業の対象となる積荷の個数を検出する請求項２又は３記載の情報処理システム。
5. １つの前記センサは、前記輸送機器の姿勢を検知する姿勢検知部であり、
   前記検知情報には、前記姿勢検知部によって検知された前記輸送機器の姿勢情報が含まれる請求項１乃至４何れか１項記載の情報処理システム。
6. １つの前記姿勢検知部は、前記輸送機器の加速度を検知する加速度センサであり、
   前記姿勢情報には、前記加速度センサによって検知された前記輸送機器の加速度が含まれる請求項５記載の情報処理システム。
7. １つの前記姿勢検知部は、前記輸送機器の角速度を検知する角速度センサであり、
   前記姿勢情報には、前記角速度センサによって検知された前記輸送機器の角速度が含まれる請求項５又は６記載の情報処理システム。
8. 前記検出手段は、前記受付手段によって受け付けられた前記姿勢情報の変化率に基づいて、前記輸送機器における荷役作業を検出する請求項５乃至７何れか１項記載の情報処理システム。
9. 前記検出手段は、更に、前記受付手段によって受け付けられた前記姿勢情報に基づいて、荷役作業が実施された前記輸送機器の領域を検出する請求項５乃至８何れか１項記載の情報処理システム。
10. 前記検出手段によって検出された荷役作業の実施時刻の間隔に基づいて、荷役作業を推定する推定手段を更に有する請求項５乃至９何れか１項記載の情報処理システム。
11. 前記検出手段は、前記受付手段によって受け付けられた前記姿勢情報に基づいて、前記輸送機器における一方の側の領域である第１領域での荷役作業と、前記輸送機器における前記一方の側とは反対側の領域である第２領域での荷役作業と、を検出し、
    前記推定手段は、前記検出手段によって検出された荷役作業の実施時刻の間隔に基づいて、前記第１領域と前記第２領域との間の第３領域で実施された荷役作業を推定する請求項１０記載の情報処理システム。
12. 前記推定手段は、予め設定された時間帯を除いた時刻での荷役作業を推定する請求項１０又は１１記載の情報処理システム。
13. １つの前記センサは、前記輸送機器の周辺の音を集音するマイクロフォンであり、
    前記検知情報には、前記マイクロフォンによって集音された音情報が含まれる請求項１乃至１２何れか１項記載の情報処理システム。
14. １つの前記センサは、荷役作業が行われる場所にレーダ信号を放射することで荷役作業に関する情報を検知するレーダ装置であり、
    前記検知情報には、前記レーダ装置によって検知されたレーダ情報が含まれる請求項１乃至１３何れか１項記載の情報処理システム。
15. 前記輸送機器は船舶であり、
    １つの前記センサは、前記船舶の喫水を検知する喫水センサであり、
    １つの前記センサは、前記船舶のバラスト水の検知をするバラスト水センサであり、
    前記検知情報には、前記喫水センサによって検知された喫水情報、及び、前記バラスト水センサによって検知されたバラスト水情報が含まれる請求項１乃至１４何れか１項記載の情報処理システム。
16. 前記検出手段によって検出された荷役作業の情報を通知する通知手段を更に有する請求項１乃至１５何れか１項記載の情報処理システム。
17. 第１情報処理装置と、第２情報処理装置と、を有し、
    前記第１情報処理装置は、前記センサを有し、前記輸送機器に取り付けられ、
    前記第２情報処理装置は、前記受付手段と、前記検出手段と、前記通知手段と、を有する請求項１６記載の情報処理システム。
18. 第１情報処理装置と、第２情報処理装置と、を有し、
    前記第１情報処理装置は、前記センサと、前記受付手段と、前記検出手段と、を有し、前記輸送機器に取り付けられ、
    前記第２情報処理装置は、前記通知手段を有する請求項１６記載の情報処理システム。
19. 積荷（液体を除く）を輸送する輸送機器（荷役機構を除く）に取付けられた１つ以上のセンサによって検知された前記輸送機器におけるクレーンを用いた荷役作業に関する検知情報を受け付ける受付手段と、
    前記受付手段によって受け付けられた前記検知情報に基づいて、前記輸送機器における荷役作業を検出する検出手段と、
    を有する情報処理装置。
20. 情報処理システムが実行する情報処理方法であって、
    積荷（液体を除く）を輸送する輸送機器（荷役機構を除く）に取付けられた１つ以上のセンサによって検知された前記輸送機器におけるクレーンを用いた荷役作業に関する検知情報を受け付ける受付ステップと、
    前記受付ステップによって受け付けられた前記検知情報に基づいて、前記輸送機器における荷役作業を検出する検出ステップと、
    を含む情報処理方法。
21. コンピュータを、請求項１９記載の情報処理装置の各手段として機能させるためのプログラム。
22. コンピュータを、請求項１９記載の情報処理装置の各手段として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images