JP7115812B1 - プログラム、方法、情報処理装置、システム - Google Patents

Abstract

【課題】対象エリア内の状況を多角的に管理する。【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、監視対象エリアに設置される複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと、推定の結果に基づく情報を第１者へ提示するステップとを実行させる。【選択図】図８

Description

本開示は、プログラム、方法、情報処理装置、システムに関する。

全周カメラとズームカメラとをリンクさせ、監視対象エリア全体を監視しつつ、監視対象に対しては拡大画像を得る技術がある（特許文献１参照）。特許文献１で記載される監視カメラシステムは、各カメラで撮影された画像から１枚の大画面画像を生成する。監視カメラシステムは、大画面画像を解析し、大画面画像内で移動する移動物体を監視対象物として検出する。

特開２００７－３６７５６号公報

特許文献１に記載されるシステムでは、対象エリア内の移動物体を監視しているが、移動物体がどのように稼働しているかを監視することはできない。対象エリアによっては、エリア内の物体の稼働状況、又は安全性等を多角的に管理したいとの要望がある。

本開示の目的は、対象エリア内の状況を多角的に管理することである。

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、監視対象エリアに設置される複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと、推定の結果に基づく情報を第１者へ提示するステップとを実行させる。

本開示によれば、対象エリア内の状況を多角的に管理できる。

システムの全体構成を示すブロック図である。 図１に示す端末装置の構成を表すブロック図である。 サーバの機能的な構成を示す図である。 従業員情報ＤＢのデータ構造を示す図である。 設備情報ＤＢのデータ構造を示す図である。 勤務ログ情報ＤＢのデータ構造を示す図である。 動作ログ情報ＤＢのデータ構造を示す図である。 本実施形態に係るシステムを工場に設置した際の構成を表す図である。 撮影装置で撮影された画像に基づき、サーバが工場内の状況を管理する際の動作を表すフローチャートである。 センサで取得されたセンシングデータに基づき、サーバが工場内の状況を管理する際の動作を表すフローチャートである。 画像処理モジュールで作成される結合画像を表す図である。 端末装置のディスプレイで表示される画面を表す図である。 指定された設備についての詳細な情報を表示する画面を表す図である。 パトロールロボットを操作する際の画面を表す図である。 指定された設備についての詳細な情報を表示する画面を表す図である。 作業工程の懸念の原因を表示する画面を表す図である。 指定された従業員についての情報を表示する画面を表す図である。 従業員について複数方向から取得された画像を表示する画面を表す図である。 指定された従業員に状況を聞くか否かの確認画面を表す図である。 指定された従業員へ注意を出すか否かの確認画面を表す図である。 指定された従業員へ注意を出すか否かの確認画面を表す図である。

以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜概略＞
本実施形態に係るシステムは、工場内に設置される複数の撮影装置により撮影される時系列的に連続する画像に基づき、工場内の状況を多角的に管理する。

＜１ システム全体の構成図＞
図１は、システム１の全体構成の例を示すブロック図である。図１に示すシステム１は、例えば、端末装置１０、サーバ２０、エッジサーバ３０、撮影装置３１、センサ３２、及びスピーカー３３を含む。端末装置１０、サーバ２０、エッジサーバ３０、及びスピーカー３３は、例えば、ネットワーク８０を介して通信接続する。

図１において、システム１が端末装置１０を２台含む例を示しているが、システム１に含まれる端末装置１０の数は、２台に限定されない。端末装置１０は、工場内の作業者、又は監督者が所持する端末である。システム１に含まれる端末装置１０は、３台未満であってもよいし、３台以上であってもよい。

本実施形態において、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係るサーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はサーバ２０に求められる仕様等に鑑みて適宜決定することができる。

図１に示す端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣであってもよい。また、ＨＭＤ（Head Mount Display）、腕時計型端末等のウェアラブル端末であってもよい。工場内における作業に携わる作業者は、例えば、携帯端末を所持するか、又は、ウェアラブル端末を装着している。工場内の工作機器を監視し、又は、作業者を監視する監督者は、例えば、制御室に設置されているＰＣを操作する。

端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。

通信ＩＦ１２は、端末装置１０が、例えば、サーバ２０等のシステム１内の装置と通信するため、信号を入出力するためのインタフェースである。

入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。

出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカー等）である。

メモリ１５は、プログラム、及びプログラム等で処理されるデータ等一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

ストレージ１６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。

プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

サーバ２０は、例えば、工場内の状況を監視する。サーバ２０は、工場内を監視することで、工場内の工作機器の稼働管理、工場内の安全管理、又は作業の工程管理を行う。本実施形態に係る稼働管理は、例えば、工作機器の稼働状況を管理することである。稼働状況を管理することには、例えば、以下が含まれる。
・工作機器の動作に異常又は懸念がないかを確認すること
本実施形態において、安全管理は、例えば、作業者の安全を管理することである。作業者の安全を管理することには、例えば、以下が含まれる。
・工場内における火事等の災害を防止すること
・工場内で発生した火事等の災害を早期に解決すること
・工場内における事故を防止すること

本実施形態において、工程管理とは、例えば、工場内において所定のプロダクトを製造する工程を管理することである。プロダクトを製造する工程を管理することには、例えば、以下が含まれる。
・工程が遅延しないか確認すること
・製造されるプロダクトの質が乱れていないか確認すること

サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータにより実現される。図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。

通信ＩＦ２２は、サーバ２０が、例えば、端末装置１０等のシステム１内の装置と通信するため、信号を入出力するためのインタフェースである。

入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対して情報を提示するための出力装置とのインタフェースとして機能する。

メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリである。

ストレージ２６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤである。

プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

エッジサーバ３０は、撮影装置３１、及びセンサ３２から送信される情報を受信し、受信した情報を、サーバ２０に送信する。また、エッジサーバ３０は、サーバ２０から取得した情報を撮影装置３１、及びセンサ３２へ送信する。サーバ２０から取得する情報には、例えば、撮影装置３１、又はセンサ３２の設定を更新するための情報等が含まれる。

撮影装置３１は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。撮影装置３１は、例えば、全周３６０度の広範囲映像を撮影可能なカメラである。撮影装置３１は、例えば、超広角レンズ、又は魚眼レンズ付きカメラ等により実現される。

撮影装置３１は、工場内において、遮蔽物なく全体を見渡せる位置に設置されている。具体的には、撮影装置３１は、例えば、工場の天井に設置されている。撮影装置３１は、１台で工場内の様子を捉えきれない場合には、複数台設置される。撮影装置３１が複数台設置される場合、例えば、１台の撮影装置３１で撮影される工場内の区画が予め設定されている。撮影装置３１は、取得した撮影信号をエッジサーバ３０へ出力する。

センサ３２は、工場内の環境をセンシングするセンサである。センサ３２としては、例えば、音センサ、温度センサ、ガスセンサ、匂いセンサ、圧力センサ、又は光センサ等が挙げられる。また、センサ３２は、工場内の工作機器の動作をセンシングするセンサであってもよい。例えば、工場内の工作機器としてのロボットアームに搭載されるモータの回転数を取得するセンサを、ロボットアームに設置してもよい。センサ３２は、取得したセンシングデータをエッジサーバ３０へ出力する。

スピーカー３３は、工場内に設置される、音声を工場内へ放送するためのスピーカーである。スピーカー３３は、１台で工場内へ十分な音声を届けられない場合には、複数台設置される。スピーカー３３が複数台設置される場合、１台のスピーカー３３で音声が届けられる工場内の区画が予め設定されている。スピーカー３３は、サーバ２０から与えられる音声信号を音声に変換して当該音声を工場内へ出力する。

＜１．１ 端末装置の構成＞
図２は、図１に示す端末装置１０の構成例を表すブロック図である。図２に示す端末装置１０は、携帯端末、ＰＣ、又はウェアラブル端末により実現される。図２に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、音声処理部１７と、マイク１７１と、スピーカー１７２と、カメラ１６１と、位置情報センサ１５０と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。

通信部１２０は、端末装置１０が他の装置と通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。

入力装置１３は、端末装置１０を操作するユーザが指示、又は情報を入力するための装置である。入力装置１３は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１等により実現される。端末装置１０がＰＣ等である場合には、入力装置１３は、リーダー、キーボード、マウス等により実現されてもよい。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

出力装置１４は、端末装置１０を操作するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１９０の制御に応じたデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

音声処理部１７は、例えば、音声信号のデジタル－アナログ変換処理を行う。音声処理部１７は、マイク１７１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１９０へ与える。また、音声処理部１７は、音声信号をスピーカー１７２へ与える。音声処理部１７は、例えば音声処理用のプロセッサによって実現される。マイク１７１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１７へ与える。スピーカー１７２は、音声処理部１７から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

カメラ１６１は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。

位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。位置情報センサ１５０は、端末装置１０が接続する無線基地局の位置から、端末装置１０の現在の位置を検出してもよい。

記憶部１８０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。記憶部１８０は、例えば、従業員情報１８１を記憶する。

従業員情報１８１は、例えば、端末装置１０を使用する従業員についての情報を含む。ユーザについての情報には、例えば、従業員を識別する情報、従業員の氏名、年齢、住所、生年月日、電話番号、ｅｍａｉｌアドレス等が含まれる。

制御部１９０は、プロセッサ１９が記憶部１８０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１と、送受信部１９２と、提示制御部１９３ととしての機能を発揮する。

操作受付部１９１は、入力装置１３から入力される指示、又は情報を受け付けるための処理を行う。具体的には、例えば、操作受付部１９１は、タッチ・センシティブ・デバイス１３１等から入力される指示に基づく情報を受け付ける。タッチ・センシティブ・デバイス１３１等を介して入力される指示は、例えば、以下である。
・従業員の業務内容の入力
・端末装置１０により提示される情報に対する応答の入力

また、操作受付部１９１は、マイク１７１から入力される音声指示を受け付ける。具体的には、例えば、操作受付部１９１は、マイク１７１から入力され、音声処理部１７でデジタル信号に変換された音声信号を受信する。操作受付部１９１は、例えば、受信した音声信号を分析して所定の名詞を抽出することで、ユーザからの指示を取得する。

送受信部１９２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部１９２は、従業員から入力された業務内容をサーバ２０へ送信する。また、送受信部１９２は、従業員に関する情報を、サーバ２０から受信する。

提示制御部１９３は、サーバ２０から提供された情報を従業員に対して提示するため、出力装置１４を制御する。具体的には、例えば、提示制御部１９３は、サーバ２０から送信される情報をディスプレイ１４１に表示させる。また、提示制御部１９３は、サーバ２０から送信される情報をスピーカー１７２から出力させる。

＜１．２ サーバの機能的な構成＞
図３は、サーバ２０の機能的な構成の例を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、例えば、従業員情報データベース（ＤＢ）２０２１と、設備情報データベース（ＤＢ）２０２２と、勤務ログ情報データベース（ＤＢ）２０２３と、動作ログ情報データベース（ＤＢ）２０２４と、学習済みモデル２０２５等とを有する。

従業員情報ＤＢ２０２１は、従業員についての情報を保持するためのデータベースである。詳細は後述する。

設備情報ＤＢ２０２２は、工作機器等の設備についての情報を保持するためのデータベースである。詳細は後述する。

勤務ログ情報ＤＢ２０２３は、従業員の勤務に関する情報を保持するためのデータベースである。例えば、勤務ログ情報ＤＢ２０２３は、従業員の業務内容を保持する。また、勤務ログ情報ＤＢ２０２３は、従業員の動作により発生したエラー等に関する情報を保持する。詳細は後述する。

動作ログ情報ＤＢ２０２４は、工場内の設備において発生した動作に関する情報を保持するためのデータベースである。例えば、動作ログ情報ＤＢ２０２４は、工作機器に設置されるセンサにより取得されたセンシングデータを保持する。また、動作ログ情報ＤＢ２０２４は、撮影信号に基づいて解析された、設備の動作に関する情報を保持する。詳細は後述する。

学習済みモデル２０２５は、モデル学習プログラムに従い、機械学習モデルに機械学習を行わせることで生成されるモデルである。学習済みモデル２０２５は、例えば、入力されるデータに基づき、所定の推論を実施する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る学習済みモデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。

例えば、学習済みモデル２０２５が順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（又は線形関係）、及びバイアスの組み合わせとして定義される。重み付行列、及びバイアスは、多層化ネットワークのパラメータと呼ばれる。パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。多層化ネットワークでは、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。

学習済みモデル２０２５は、画像が入力されると、入力された画像に基づき、工場内の状況に関する情報を出力するように学習されたモデルである。学習済みモデル２０２５は、例えば、出力する情報に応じ、それぞれ別々の学習用データによりトレーニングされる別々の学習済みモデルである。

例えば、学習済みモデル２０２５は、画像が入力されると、稼働管理に関する情報を出力するように学習される。具体的には、本実施形態では、学習済みモデル２０２５は、例えば、以下の内容を含む画像が入力されると、その内容が含まれる画像内の位置を特定し、稼働状況に懸念があると出力するように学習されている。
・複数フレームにわたる動作が、正常時の動作よりも遅いこと
・複数フレームにわたる動作において、正常時の動作と違いがあること

このとき、学習用データは、例えば、設備が正常に動作している際の複数フレームの画像を入力データとし、この入力データが正常であるとの判断を正解出力データとする。

また、例えば、学習済みモデル２０２５は、画像が入力されると、安全管理に関する情報を出力するように学習される。具体的には、本実施形態では、学習済みモデル２０２５は、例えば、以下の内容を含む画像が入力されると、その内容が含まれる画像内の位置を特定し、安全状況に懸念があると出力するように学習されている。
・複数フレームにわたる動作において、火事等の災害の発生
・複数フレームにわたる動作において、火事等の災害の発生の兆候
・複数フレームにわたる動作において、工作機器と従業員とが近接すること
・複数フレームにわたる動作において、所定の業務を遂行する従業員が他の従業員と接触する懸念があること

このとき、学習用データは、例えば、災害の発生、又は災害の兆候を含む複数フレームの画像を入力データとし、この入力データに含まれる災害についての判断を正解出力データとする。また、学習用データは、例えば、工作機器と従業員とを含む複数フレームの画像を入力データとし、この入力データに含まれる工作機器と従業員とが接触する危険性についての判断を正解出力データとする。また、学習用データは、例えば、所定の業務を遂行する従業員と他の従業員とを含む複数フレームの画像を入力データとし、この入力データに含まれる従業員同士が接触する危険性についての判断を正解出力データとする。

また、例えば、学習済みモデル２０２５は、画像が入力されると、工程管理に関する情報を出力するように学習される。具体的には、本実施形態では、学習済みモデル２０２５は、例えば、以下の内容を含む画像が入力されると、その内容が含まれる画像内の位置を特定し、作業工程に懸念があると出力するように学習されている。
・複数フレームにわたる処理が、正常時の処理よりも遅いこと
・所定の従業員が作業に携わっていること
・従業員が所定の動作をとること
・従業員が間違った作業を行っていること

このとき、学習用データは、例えば、作業工程が正常に実施されている際の複数フレームの画像を入力データとし、この入力データが正常であるとの判断を正解出力データとする。また、学習用データは、例えば、従業員を識別可能な情報、及び従業員の業務内容を表す情報を入力データとし、この従業員がエラーを発生させる蓋然性についての判断を正解出力データとする。また、学習用データは、例えば、従業員の動作を含む複数フレームの画像を入力データとし、この入力データに含まれる動作についての判断（作業工程における懸念の蓋然性の判断）を正解出力データとする。例えば、従業員が首をかしげる動作に対し、作業工程に懸念がある蓋然性が高いとの判断を正解出力データとする。

また、学習済みモデル２０２５は、センシングデータが入力されると、入力されたセンシングデータに基づき、工場内の状況に関する情報を出力するように学習されたモデルであってもよい。例えば、学習済みモデル２０２５は、センシングデータが入力されると、稼働管理に関する情報を出力するように学習される。具体的には、本実施形態では、学習済みモデル２０２５は、例えば、以下の内容を含むセンシングデータが入力されると、センシングデータが取得された設備を特定し、稼働状況に懸念があると出力するように学習されている。
・正常時の値よりも所定値以上値が高いこと、又は正常時の値よりも所定値以上値が低いこと

このとき、学習用データは、例えば、設備が正常に動作している際のセンシングデータを入力データとし、この入力データが正常であるとの判断を正解出力データとする。

また、例えば、学習済みモデル２０２５は、センシングデータが入力されると、安全管理に関する情報を出力するように学習される。具体的には、本実施形態では、学習済みモデル２０２５は、例えば、以下の内容を含むセンシングデータが入力されると、センサが設置されている区画を特定し、安全状況に懸念があると出力するように学習されている。
・正常時の値よりも所定値以上値が高いこと、又は正常時の値よりも所定値以上値が低いこと

このとき、学習用データは、例えば、工場内に異常が発生していないときのセンシングデータを入力データとし、この入力データが正常であるとの判断を正解出力データとする。

また、例えば、学習済みモデル２０２５は、センシングデータが入力されると、工程管理に関する情報を出力するように学習される。具体的には、本実施形態では、学習済みモデル２０２５は、例えば、以下の内容を含むセンシングデータが入力されると、センサが設置されている設備を特定し、作業工程に懸念があると出力するように学習されている。
・正常時の値よりも所定値以上値が高いこと、又は正常時の値よりも所定値以上値が低いこと

このとき、学習用データは、例えば、作業工程が正常に実行されている際のセンシングデータを入力データとし、この入力データが正常であるとの判断を正解出力データとする。

記憶部２０２には、従業員についての画像を入力とし、従業員が従事している業務内容を出力するように学習された学習済みモデル（図示せず）が記憶されていてもよい。

制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、プログラムに従って動作することにより、受信制御モジュール２０３１、送信制御モジュール２０３２、画像処理モジュール２０３３、画像解析モジュール２０３４、情報解析モジュール２０３５、第１管理モジュール２０３６、第２管理モジュール２０３７、及び提示モジュール２０３９として示す機能を発揮する。

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

画像処理モジュール２０３３は、撮影装置３１で撮影された撮影信号に基づく画像を処理する。具体的には、例えば、画像処理モジュール２０３３は、複数の撮影装置３１で撮影された撮影信号に基づく画像を結合し、工場内の全体が捉えられた結合画像を作成する。撮影装置３１が超広角レンズ付きカメラ等である場合、画像処理モジュール２０３３は、撮影装置３１で撮影された画像に対し、レンズ歪みを補正する、いわゆるオルソ補正を施す。画像処理モジュール２０３３は、オルソ補正後の複数の画像を結合し、結合画像を作成する。

画像解析モジュール２０３４は、撮影装置３１により撮影された画像を解析し、工場内の状況に関する情報を出力する。このことは、画像解析モジュール２０３４は、撮影装置３１により撮影された画像を解析し、工場内に設置される機器に起因する事象の発生を推定すると換言可能である。具体的には、例えば、画像解析モジュール２０３４は、画像処理モジュール２０３３で作成された結合画像を取得する。画像解析モジュール２０３４は、結合画像を学習済みモデル２０２５に入力する。学習済みモデル２０２５は、入力された結合画像に応じ、稼働管理に関する情報、安全管理に関する情報、又は工程管理に関する情報を出力する。画像解析モジュール２０３４は、学習済みモデル２０２５から出力される情報を提示モジュール２０３９へ出力する。

画像解析モジュール２０３４は、結合画像を学習済みモデルに入力し、入力した画像に含まれる従業員を表す領域に基づき、従業員が従事している業務内容を出力してもよい。

なお、画像解析モジュール２０３４は、結合画像でなく、撮影装置３１により撮影された複数の画像を学習済みモデル２０２５に入力し、工場内の状況に関する情報を出力するようにしてもよい。

情報解析モジュール２０３５は、センサ３２により取得されたセンシングデータを解析し、工場内の状況に関する情報を出力する。具体的には、例えば、情報解析モジュール２０３５は、センサ３２で取得されたセンシングデータを学習済みモデル２０２５に入力する。学習済みモデル２０２５は、入力されたセンシングデータに応じ、稼働管理に関する情報、安全管理に関する情報、又は工程管理に関する情報を出力する。情報解析モジュール２０３５は、学習済みモデル２０２５から出力される情報を提示モジュール２０３９へ出力する。

第１管理モジュール２０３６は、従業員に関するデータを管理する。具体的には、例えば、第１管理モジュール２０３６は、端末装置１０から入力される情報、画像解析により取得される従業員の業務内容、又は所定の入力から検出されるエラーの発生等に基づき、従業員情報ＤＢ２０２１、又は勤務ログ情報ＤＢ２０２３を管理する。

第２管理モジュール２０３７は、設備に関するデータを管理する。具体的には、例えば、第２管理モジュール２０３７は、設備機器の設置時に登録される情報、又はセンサ３２により取得される設備機器の動作状況等に基づき、設備情報ＤＢ２０２２、又は動作ログ情報ＤＢ２０２４を管理する。

提示モジュール２０３９は、工場内の状況に関する情報を、端末装置１０を介し、監督者に提示する。また、提示モジュール２０３９は、工場内の状況に関する情報を、端末装置１０を介し、作業者に提示する。提示モジュール２０３９は、作業者への情報の提示を、監督者からの指示に基づいて実施してもよい。

＜２ データ構造＞
図４～図７は、サーバ２０が記憶するデータベースのデータ構造を示す図である。なお、図４～図７は一例であり、記載されていないデータを除外するものではない。

図４は、従業員情報ＤＢ２０２１のデータ構造を示す図である。図４に示すように、従業員情報ＤＢ２０２１のレコードの各々は、例えば、項目「従業員ＩＤ」と、項目「従業員名」と、項目「性別」と、項目「入社年月日」と、項目「所属」と、項目「勤務地」と、項目「エラーログ」と、を含む。

項目「従業員ＩＤ」は、従業員を識別するための情報を示す。

項目「従業員名」は、従業員の氏名を示す。

項目「性別」は、従業員の性別を示す。

項目「入社年月日」は、従業員が入社した年月日を示す。

項目「所属」は、従業員の所属を示す。

項目「勤務地」は、従業員が勤務する工場を示す。

項目「エラーログ」は、従業員が生じさせたエラーの履歴を示す。具体的には、項目「エラーログ」は、エラーが発生した日時、及び発生したエラーを特定可能な情報を示す。エラーを特定可能な情報は、例えば、エラーコードを含む。項目「エラーログ」には、エラーが発生した日時、及び発生したエラーを特定可能な情報の他に、発生したエラーに関する種々の情報が含まれていてもよい。発生したエラーに関する種々の情報は、例えば、以下である。
・エラーが発生したときの業務内容
・エラーの発生に係る設備
・エラーが発生した工場名
・エラーが発生したときの監督者名
・所定期間におけるエラーの発生回数

図５は、設備情報ＤＢ２０２２のデータ構造を示す図である。図５に示すように、設備情報ＤＢ２０２２のレコードの各々は、例えば、項目「設備ＩＤ」と、項目「型」と、項目「設置位置」と、項目「導入日」と、項目「エラーログ」と、を含む。

項目「設備ＩＤ」は、設備機器を識別するための情報を示す。

項目「型」は、設備機器の型を識別するための情報を示す。具体的には、項目「型」は、例えば、同一種類の機器ごとに付される名称である。項目「型」は、例えば、アルファベット、及び数字等の組み合わせにより表される。

項目「設置位置」は、設備機器が設置されている位置を特定する情報を示す。具体的には、項目「設置位置」は、例えば、工場内の所定の点を原点とした座標値で表される。項目「設置位置」は、例えば、工場の住所を含んでもよい。

項目「導入日」は、設備機器が導入された日を表す情報を示す。具体的には、項目「導入日」は、例えば、設備機器が工場に取り付けられた日を示す。

項目「エラーログ」は、設備機器に発生したエラーの履歴を示す。具体的には、項目「エラーログ」は、エラーが発生した日時、及び発生したエラーを特定可能な情報を示す。エラーを特定可能な情報は、例えば、エラーコードを含む。項目「エラーログ」には、エラーが発生した日時、及び発生したエラーを特定可能な情報の他に、発生したエラーに関する種々の情報が含まれていてもよい。発生したエラーに関する種々の情報は、例えば、以下である。
・エラーの発生に係る従業員
・所定期間におけるエラーの発生回数
・関連する設備機器についての情報

図６は、勤務ログ情報ＤＢ２０２３のデータ構造を示す図である。図６に示すように、勤務ログ情報ＤＢ２０２３のレコードの各々は、項目「従業員ＩＤ」と、項目「日時」と、項目「業務内容」と、を含む。

項目「従業員ＩＤ」は、従業員を識別するための情報を示す。

項目「日時」は、従業員が業務を実施した日時を示す。具体的には、例えば、従業員は、業務を開始すると、開始した業務の内容を、端末装置１０に入力する。項目「日時」は、例えば、従業員により業務内容が入力された日時を示す。また、従業員の業務内容は、監視画像の画像解析により検出されるようにしてもよい。監視画像に基づいて従業員の業務内容が検出される場合、項目「日時」は、従業員の業務内容が検出された日時を示す。

項目「業務内容」は、従業員が実施している業務の具体的な内容を示す。具体的には、例えば、業務内容が従業員により入力される場合、項目「業務内容」は、従業員から入力される業務内容を示す。端末装置１０への業務内容の入力は、プルダウンにより、予め設定される業務内容が選択されてもよいし、フリーテキストにより、任意に入力されてもいい。また、監視画像に基づいて従業員の業務内容が検出される場合、項目「業務内容」は、検出された業務内容を示す。

より具体的には、項目「業務内容」は、例えば、従業員がプロダクトＡの組み立てに携わっている場合には、「プロダクトＡの組み立て」を記憶する。また、従業員がフォークリフトで、所定の物を移動させている場合には、「フォークリフト操作」を記憶する。また、従業員がベルトコンベアで搬送されるプロダクトの管理をしている場合には、「ベルトコンベア管理」を記憶する。

また、項目「業務内容」は、例えば、休憩の取得等、業務に係る動作以外の情報も記憶する。また、項目「業務内容」は、例えば、従業員が携わっている業務において発生した異常についても記憶する。例えば、エラーの種別を表す識別子と共にエラーの発生を記憶する。

また、従業員の業務内容は、所定の手法により評価されてもよい。評価の手法は、例えば、以下である。
・画像解析による評価
・業務の成果物に基づく評価
・監督者による評価

項目「業務内容」は、例えば、従業員に対して与えられた業務についての評価を記憶してもよい。

図７は、動作ログ情報ＤＢ２０２４のデータ構造を示す図である。図７に示すように、動作ログ情報ＤＢ２０２４のレコードの各々は、項目「設備ＩＤ」と、項目「日時」と、項目「ログ」と、を含む。

項目「設備ＩＤ」は、設備機器を識別するための情報を示す。

項目「日時」は、設備機器の動作状況を確認した日時を示す。具体的には、例えば、設備機器の動作状況を確認する周期は予め設定されている。周期は、例えば、以下のように設定される。
・設備機器毎
・機器の型毎
・設置される場所毎
・導入された時期毎
・動作する工程毎

項目「日時」は、例えば、設備機器の動作状況が確認された日時を記憶する。

項目「ログ」は、設備機器の動作に係るログを示す。具体的には、項目「ログ」は、例えば、所定の周期で確認された、設備機器の動作状況を記憶する。より具体的には、例えば、項目「ログ」は、設備機器に設置されているセンサの出力値を記憶する。また、項目「ログ」は、設備機器が動作する処理速度を記憶する。

＜３ 動作＞
工場内の状況を管理するサーバ２０の動作について説明する。

図８は、本実施形態に係るシステム１を工場に設置した際の構成の例を表す模式図である。以下の説明では、図８に示すように、工場の天井に設置される撮影装置３１を用い、制御室に設置される端末装置１０で監督者が工場内の状況を監視する場合を説明する。撮影装置３１は、工場の天井に、例えば、格子状に配列されて設置される。図８に示す制御室は、工場内に設けられていてもよいし、工場とは異なる施設に設けられていてもよい。

図８に示す工場には、例えば、ベルトコンベア４１、ロボットアーム４２が設置される。ベルトコンベア４１は、所定のプロダクトを製造するための材料を搬送する。ロボットアーム４２は、例えば、ベルトコンベア４１で搬送される材料に対し、所定の処理を施す。図８に示す工場内では、フォークリフト４３が走行可能である。従業員の何れかは、フォークリフト４３を利用し、材料を運ぶ。図８に示す工場内には、自走式のパトロールロボット４４が設けられている。

図９、図１０は、図８に示すサーバ２０が工場内を管理する際の動作の例を表すフローチャートである。図９は、撮影装置３１で撮影された画像に基づき、サーバ２０が工場内の状況を管理する際の動作の例を表すフローチャートである。

まず、撮影装置３１は、例えば、動画として一連の動きを認識可能な程度のフレームレートで工場内を撮影している。動画として一連の動きを認識可能程度のフレームレートは、例えば、３０ｆｐｓ程度である。撮影装置３１は、撮影信号を、エッジサーバ３０を介してサーバ２０へ送信する。なお、撮影装置３１は、撮影信号を、サーバ２０へ直接送信してもよい。

ステップＳ１１において、制御部２０３は、撮影装置３１により撮影された画像を用い、結合画像を作成する。具体的には、例えば、制御部２０３は、画像処理モジュール２０３３により、設定されたフレームレートで複数の撮影装置３１により撮影された撮影信号に基づく画像それぞれにオルソ補正を施す。画像処理モジュール２０３３は、オルソ補正後の複数の画像を結合し、結合画像を作成する。これにより、画像処理モジュール２０３３は、動画として一連の動きを認識可能な程度のフレームレートで結合画像を作成する。

図１１は、画像処理モジュール２０３３で作成される結合画像の例を表す模式図である。図１１に示す例では、工場内の全容が１枚の画像に収められている。

ステップＳ１２において、制御部２０３は、結合画像を解析し、工場内の状況に関する情報を出力する。例えば、制御部２０３は、画像解析モジュール２０３４により、結合画像を解析し、稼働管理に関する情報を出力する。画像解析モジュール２０３４は、例えば、画像処理モジュール２０３３で作成された、動画としての結合画像を学習済みモデル２０２５に入力する。具体的には、例えば、画像解析モジュール２０３４は、図１１に示す結合画像を含む複数の連続した結合画像を学習済みモデル２０２５に入力する。

例えば、ロボットアーム４２－１の複数フレームにわたる動作が正常時の動作よりも遅い場合、学習済みモデル２０２５は、ロボットアーム４２－１が含まれる画像内の位置を特定し、稼働状況に懸念があることを出力する。

また、例えば、ロボットアーム４２－１の複数フレームにわたる動作が正常時の動作と異なる場合、学習済みモデル２０２５は、ロボットアーム４２－１が含まれる画像内の位置を特定し、稼働状況に懸念があることを出力する。

なお、学習済みモデル２０２５は、ロボットアーム４２に限らず、結合画像に含まれるあらゆる設備機器の稼働状況を監視し、稼働状況に懸念がある場合にはその旨を出力する。

ステップＳ１３において、制御部２０３は、画像解析モジュール２０３４から出力される推定結果に基づき、工場内の状況に懸念があるか否かを判断する。例えば、制御部２０３は、稼働状況に懸念があるか否かを判断する。稼働状況に懸念がある場合、制御部２０３は、処理をステップＳ１４へ移行させる。一方、稼働状況に懸念がない場合、制御部２０３は、処理を終了させる。

ステップＳ１４において、制御部２０３は、工場内の状況に懸念があることを監督者へ提示する。例えば、制御部２０３は、提示モジュール２０３９により、稼働状況に懸念があることを監督者へ提示する。例えば、提示モジュール２０３９は、制御室の設置される端末装置１０に表示される結合画像に、稼働状況に懸念がある旨を表示させる。提示モジュール２０３９は、制御室の設置される端末装置１０に、工場内の稼働状況に懸念がある旨を音声で伝えさせてもよい。

図１２は、端末装置１０のディスプレイ１４１で表示される画面の例を表す模式図である。図１２に示す例では、端末装置１０は、ロボットアーム４２－１の稼働状況に懸念があるとして、注意を促すアイコン１４１１をロボットアーム４２－１の近傍に表示している。

端末装置１０を操作する監督者は、アイコン１４１１が表示されたロボットアーム４２－１に注目する。監督者は、ロボットアーム４２－１の状況を確認するための操作を端末装置１０に入力する。

例えば、監督者は、ロボットアーム４２－１及びその周囲の状況を拡大させるための操作を入力する。端末装置１０は、入力された操作に応じ、結合画像の一部を拡大させた画像を表示する。このとき、結合画像は十分な解像度で端末装置１０へ提供されていてもよいし、拡大表示の要求の度に倍率に応じた解像度のデータがサーバ２０から提供されてもよい。撮影装置３１は、結合画像を拡大した際に、監督者が細部を十分に視認可能な程度の解像度で工場内を撮影するように設定されている。

また、例えば、監督者は、ロボットアーム４２－１についての詳細な情報を取得するための操作を入力する。例えば、監督者は、アイコン１４１１を押下する。端末装置１０は、アイコン１４１１と関連付けられている情報をサーバ２０へ要求する。

制御部２０３は、第２管理モジュール２０３７により、監督者により指定されたロボットアーム４２－１についての情報を取得する。具体的には、例えば、第２管理モジュール２０３７は、結合画像中で監督者により指定された座標を、工場内の座標に変換する。第２管理モジュール２０３７は、設備情報ＤＢ２０２２に記憶される設備機器の設置位置に基づき、工場内の座標から、監督者により指定されたロボットアーム４２－１の設備ＩＤを特定する。

なお、ロボットアーム４２－１には、個体を特定可能な表示が付されていてもよい。個体を特定可能な表示とは、例えば、所定のコード表示（例えば、ＱＲコード（登録商標）等）である。所定のコード表示は、例えば、ロボットアーム４２－１の識別ＩＤを表す。画像解析モジュール２０３４は、画像に含まれるコード表示に基づき、個体を特定する。

第２管理モジュール２０３７は、取得した識別ＩＤに基づき、ロボットアーム４２－１についての情報を取得する。例えば、第２管理モジュール２０３７は、設備情報ＤＢ２０２２を参照し、ロボットアーム４２－１のエラーログを取得する。また、第２管理モジュール２０３７は、動作ログ情報ＤＢ２０２４を参照し、ロボットアーム４２－１の動作ログを取得する。第２管理モジュール２０３７は、取得した情報を提示モジュール２０３９へ出力する。

提示モジュール２０３９は、第２管理モジュール２０３７から出力された情報を、端末装置１０に表示させる。

図１３は、指定された設備についての詳細な情報を表示する画面の例を表す模式図である。提示モジュール２０３９は、監督者により指定されたロボットアーム４２－１の動作を表す情報をオブジェクト１４１１１に表示する。提示モジュール２０３９は、破線で表す領域を拡大して表示してもよい。図１３に示す例では、ロボットアーム４２－１のモータ出力を検出するセンサによるセンシングデータ、又はアームの関節の角度を検出するセンサによるセンシングデータ等がオブジェクト１４１１１に表示されている。提示モジュール２０３９は、ロボットアーム４２－１の動作を表す情報を、センシングデータに限定せず、過去のエラーログ、同様のエラーの所定期間内での発生件数等、ロボットアーム４２－１の動作に係る種々の情報を表示してもよい。情報量が多い場合、提示モジュール２０３９は、種類を切り替えながら情報を表示してもよい。

監督者は、端末装置１０で表示される動作を表す情報を確認し、ロボットアーム４２－１に異常がないかを確認する。動作を表す情報に異常が見られる場合、監督者は、工場内にいる従業員へ、ロボットアーム４２－１を確認するように指示を出してもよい。また、例えば、監督者は、図１４に示すように、アイコン１４１２を押下することで、パトロールロボット４４を操作し、ロボットアーム４２－１の周囲の画像を撮影させてもよい。また、例えば、監督者は、自身でロボットアーム４２－１の様子を確認しに現場へ行ってもよい。

また、ステップＳ１２において、制御部２０３は、例えば、画像解析モジュール２０３４により、結合画像を解析し、工程管理に関する情報を出力する。画像解析モジュール２０３４は、例えば、画像処理モジュール２０３３で作成された、動画としての結合画像を学習済みモデル２０２５に入力する。具体的には、例えば、画像解析モジュール２０３４は、図１１に示す結合画像を含む複数の連続した結合画像を学習済みモデル２０２５に入力する。

例えば、ベルトコンベア４１で搬送される材料、又はプロダクトの数が正常時の数よりも少ない場合、学習済みモデル２０２５は、ベルトコンベア４１が含まれる画像内の位置を特定し、作業工程に懸念があることを出力する。

なお、学習済みモデル２０２５は、ベルトコンベア４１に限らず、結合画像に含まれるあらゆる作業工程を監視し、作業工程に懸念がある場合にはその旨を出力する。

また、例えば、従業員が所定の動作をとっている場合、学習済みモデル２０２５は、所定の動作をとっている従業員の位置を特定し、作業工程に懸念があることを出力する。所定の動作とは、例えば、従業員が困っている動作、自信がない動作、悩んでいる動作等である。より具体的には、所定の動作とは、例えば、首をかしげる動作等である。

また、例えば、従業員が作業工程において誤った動作をとっている場合、学習済みモデル２０２５は、当該動作をとっている従業員の位置を特定し、作業工程に懸念があることを出力する。

また、画像解析モジュール２０３４は、例えば、画像処理モジュール２０３３で作成された、動画としての結合画像に含まれる従業員を識別する。画像解析モジュール２０３４は、結合画像に含まれる従業員の顔から従業員を識別してもよい。また、画像解析モジュール２０３４は、従業員が身に着けている作業着に付されている、従業員を特定可能な表示に基づいて従業員を識別してもよい。従業員を特定可能な表示とは、例えば、所定のコード表示（例えば、ＱＲコード（登録商標）等）である。所定のコード表示は、例えば、従業員の従業員ＩＤを表す。画像解析モジュール２０３４は、画像に含まれるコード表示に基づき、従業員を識別する。

画像解析モジュール２０３４は、従業員を識別可能な情報、当該情報から識別される従業員が現在実施している業務内容を学習済みモデル２０２５に入力する。学習済みモデル２０２５は、作業工程に懸念を発生させる従業員が作業に携わっている場合、当該従業員が作業に携わっている画像内の位置を特定し、作業工程に懸念があることを出力する。

ステップＳ１３において、制御部２０３は、工場内の状況に懸念があるか否かを判断する。例えば、制御部２０３は、作業工程に懸念があるか否かを判断する。作業工程に懸念がある場合、制御部２０３は、処理をステップＳ１４へ移行させる。一方、稼働状況に懸念がない場合、制御部２０３は、処理を終了させる。

ステップＳ１４において、制御部２０３は、工場内の状況に懸念があることを監督者へ提示する。例えば、制御部２０３は、提示モジュール２０３９により、作業工程に懸念があることを監督者へ提示する。例えば、提示モジュール２０３９は、制御室の設置される端末装置１０に表示される結合画像に、作業工程に懸念がある旨を表示させる。提示モジュール２０３９は、制御室の設置される端末装置１０に、工場内の作業工程に懸念がある旨を音声で伝えさせてもよい。

図１２に示す例では、端末装置１０は、ベルトコンベア４１を利用した作業工程に懸念があるとして、注意を促すアイコン１４１２を、懸念のある作業工程と関連する位置に表示している。

端末装置１０を操作する監督者は、アイコン１４１２が表示された位置に注目する。監督者は、アイコン１４１２が表示された作業工程の状況を確認するための操作を端末装置１０に入力する。

例えば、監督者は、アイコン１４１２の周囲を拡大させるための操作を入力する。端末装置１０は、入力された操作に応じ、結合画像の一部を拡大させた画像を表示する。

また、例えば、監督者は、懸念のある作業工程についての詳細な情報を取得するための操作を入力する。例えば、監督者は、アイコン１４１２を押下する。端末装置１０は、アイコン１４１２と関連付けられている情報をサーバ２０へ要求する。

制御部２０３は、第２管理モジュール２０３７により、監督者により指定された作業工程に係る設備機器についての情報を取得する。具体的には、例えば、第２管理モジュール２０３７は、結合画像中で監督者により指定された座標を、工場内の座標に変換する。第２管理モジュール２０３７は、設備情報ＤＢ２０２２に記憶される設備機器の設置位置に基づき、工場内の座標から、作業工程に係るベルトコンベア４１の設備ＩＤを特定する。

なお、ベルトコンベア４１には、個体を特定可能な表示が付されていてもよい。画像解析モジュール２０３４は、画像に含まれるコード表示に基づき、個体を特定する。

第２管理モジュール２０３７は、取得した識別ＩＤに基づき、ベルトコンベア４１についての情報を取得する。例えば、第２管理モジュール２０３７は、設備情報ＤＢ２０２２を参照し、ベルトコンベア４１のエラーログを取得する。また、第２管理モジュール２０３７は、動作ログ情報ＤＢ２０２４を参照し、ベルトコンベア４１の動作ログを取得する。第２管理モジュール２０３７は、取得した情報を提示モジュール２０３９へ出力する。

提示モジュール２０３９は、第２管理モジュール２０３７から出力された情報を、端末装置１０に表示させる。

図１５は、指定された設備についての詳細な情報を表示する画面の例を表す模式図である。提示モジュール２０３９は、監督者により指定されたベルトコンベア４１の動作を表す情報をオブジェクト１４１２１に表示する。提示モジュール２０３９は、破線で表す領域を拡大して表示してもよい。図１５に示す例では、ベルトコンベア４１により搬送される材料、又はプロダクトの単位時間当たりの数等がオブジェクト１４１２１に表示されている。ベルトコンベア４１により搬送される材料、又はプロダクトの単位時間当たりの数は、例えば、画像解析モジュール２０３４による画像解析から算出される。提示モジュール２０３９は、ベルトコンベア４１を利用した作業工程に関する情報を、ベルトコンベア４１による材料等の搬送数に限定せず、ベルトコンベア４１の過去のエラーログ、同様のエラーの所定期間内での発生件数等、ベルトコンベア４１の動作に係る種々の情報を表示してもよい。情報量が多い場合、提示モジュール２０３９は、種類を切り替えながら情報を表示してもよい。

監督者は、端末装置１０で表示される動作を表す情報を確認し、作業工程に異常がないかを確認する。動作を表す情報に異常が見られる場合、監督者は、工場内にいる従業員へ、作業工程を確認するように指示を出してもよい。また、例えば、監督者は、パトロールロボット４４を操作し、作業工程に係る画像を撮影させてもよい。また、例えば、監督者は、自身で作業工程を確認しに現場へ行ってもよい。

記憶部２０２には、作業工程についての懸念、及び作業工程に関する情報を入力とし、作業工程についての懸念が発生した原因を出力するように学習された学習済みモデル（図示せず）が記憶されていてもよい。

図１６は、作業工程の懸念の原因を表示する画面の例を表す模式図である。図１６に示す例では、画像解析モジュール２０３４は、例えば、ベルトコンベア４１を利用する作業工程についての懸念、及びベルトコンベア４１の動作を表す情報を学習済みモデルに入力する。学習済みモデルは、例えば、作業工程の懸念の原因として、ベルトコンベア４１の上流側で異常が発生している可能性があることをオブジェクト１４１２２に表示する。

記憶部２０２には、作業工程についての懸念、及び作業工程に関する情報を入力とし、発生した懸念による影響を出力するように学習された学習済みモデル（図示せず）が記憶されていてもよい。

また、図１２に示す例では、端末装置１０は、所定の従業員が実施している作業工程に懸念があるとして、注意を促すアイコン１４１３を、懸念のある作業工程と関連する位置に表示している。

端末装置１０を操作する監督者は、アイコン１４１３が表示された位置に注目する。監督者は、アイコン１４１３が表示された作業工程の状況を確認するための操作を端末装置１０に入力する。

例えば、監督者は、アイコン１４１３の周囲を拡大させるための操作を入力する。端末装置１０は、入力された操作に応じ、結合画像の一部を拡大させた画像を表示する。

また、例えば、監督者は、懸念のある作業工程についての詳細な情報を取得するための操作を入力する。例えば、監督者は、アイコン１４１３を押下する。端末装置１０は、アイコン１４１３と関連付けられている情報をサーバ２０へ要求する。

制御部２０３は、第１管理モジュール２０３６により、監督者により指定された作業工程に係る従業員についての情報を取得する。具体的には、例えば、第１管理モジュール２０３６は、画像解析モジュール２０３４による画像解析により、結合画像における従業員の識別ＩＤを既に取得している。第１管理モジュール２０３６は、例えば、識別ＩＤに基づき、従業員のエラーログを取得する。第１管理モジュール２０３６は、取得した情報を提示モジュール２０３９へ出力する。

提示モジュール２０３９は、第１管理モジュール２０３６から出力された情報を、端末装置１０に表示させる。

図１７は、指定された従業員についての情報を表示する画面の例を表す模式図である。提示モジュール２０３９は、監督者により指定された従業員についての情報をオブジェクト１４１３１に表示する。提示モジュール２０３９は、破線で表す領域を拡大して表示してもよい。図１７に示す例では、従業員が過去に発生させたエラーについての情報、及び当該従業員へ注意を促すか否かの選択ボタン１４１３１１、１４１３１２がオブジェクト１４１３１に表示されている。提示モジュール２０３９は、従業員についての情報を、従業員が発生させたエラーについての情報に限定せず、同様のエラーの所定期間内での発生件数等、作業工程に係る種々の情報を表示してもよい。情報量が多い場合、提示モジュール２０３９は、種類を切り替えながら情報を表示してもよい。

監督者は、端末装置１０で表示される従業員についての情報を確認し、従業員に注意を促すか否かを判断する。監督者は従業員に注意を促す場合、選択ボタン１４１３１１を押下する。監督者により、選択ボタン１４１３１１が押下されると、提示モジュール２０３９は、該当する従業員へ担当中の作業についての注意を促す。具体的には、提示モジュール２０３９は、例えば、この従業員が所持する端末装置１０に、担当中の作業について注意する旨を表示させる。また、提示モジュール２０３９は、この従業員が所持する端末装置１０に、担当中の作業について注意する音声を出力させてもよい。また、制御部２０３は、この従業員と監督者との間で通信接続を開始させてもよい。

また、提示モジュール２０３９は、例えば、この従業員が存在する位置と対応する区画に設置されたスピーカー３３を操作し、担当中の作業について注意する音声を出力させてもよい。

また、図１２に示す例では、端末装置１０は、作業工程に懸念のある動作をしている従業員が存在するとして、注意を促すアイコン１４１４を、従業員と関連する位置に表示している。図１２に示す例では、提示モジュール２０３９は、首をかしげている従業員について、アイコン１４１４を付すようにしている。

端末装置１０を操作する監督者は、アイコン１４１４が表示された位置に注目する。監督者は、アイコン１４１４が付された従業員の状況を確認するための操作を端末装置１０に入力する。

例えば、監督者は、アイコン１４１４の周囲を拡大させるための操作を入力する。端末装置１０は、入力された操作に応じ、結合画像の一部を拡大させた画像を表示する。

また、例えば、監督者は、従業員の動作を確認するための操作を入力する。例えば、監督者は、アイコン１４１４を押下する。端末装置１０は、アイコン１４１４と関連付けられている情報をサーバ２０へ要求する。

制御部２０３は、第１管理モジュール２０３６により、監督者により指定された従業員についての情報を取得する。具体的には、例えば、第１管理モジュール２０３６は、画像解析モジュール２０３４による画像解析により、結合画像における従業員の識別ＩＤを既に取得している。第１管理モジュール２０３６は、例えば、識別ＩＤに基づき、複数の撮影装置３１が撮影した複数の画像のうち、従業員が映り込んでいる画像を取得する。具体的には、第１管理モジュール２０３６は、例えば、従業員を各方向から捉えた画像を取得する。第１管理モジュール２０３６は、取得した情報を提示モジュール２０３９へ出力する。

提示モジュール２０３９は、第１管理モジュール２０３６から出力された情報を、端末装置１０に表示させる。

図１８は、従業員について複数方向から取得された画像を表示する画面の例を表す模式図である。図１８において、提示モジュール２０３９は、監督者により指定された従業員についての４方向からの画像１４１４１を表示する。提示モジュール２０３９は、破線で表す領域を拡大して表示してもよい。

監督者は、画像１４１４１で表示される従業員についての状況を確認する。このように、複数方向から撮影した従業員の画像を表示することで、従業員が所定の動作を実際に取っているかを詳細に確認することが可能となる。監督者は、従業員についての状況を確認すると、従業員に状況を聞くか否か判断する。具体的には、監督者は、例えば、図１８においてアイコン１４１４を再度押下する。

アイコン１４１４が監督者により再度押下されると、提示モジュール２０３９は、例えば、従業員に状況を聞くか否かの判断文をオブジェクト１４１４２に表示する。図１９に示す例では、「従業員Ａに状況を聞きますか？」、及び当該従業員に状況を聞くか否かの選択ボタン１４１４２１、１４１４２２がオブジェクト１４１４２に表示されている。

監督者は従業員に状況を聞く場合、選択ボタン１４１４２１を押下する。監督者により、選択ボタン１４１４２１が押下されると、提示モジュール２０３９は、該当する従業員へ首を傾げた理由を問い合わせる。具体的には、提示モジュール２０３９は、例えば、この従業員が所持する端末装置１０に、首を傾げた理由を問う質問文を表示させる。また、提示モジュール２０３９は、この従業員が所持する端末装置１０に、首を傾げた理由を問う音声を出力させてもよい。また、制御部２０３は、この従業員と監督者との間で通信接続を開始させてもよい。

また、提示モジュール２０３９は、例えば、この従業員が存在する位置と対応する区画に設置されたスピーカー３３を操作し、首を傾げた理由を問う音声を出力させてもよい。

また、ステップＳ１２において、制御部２０３は、例えば、画像解析モジュール２０３４により、結合画像を解析し、安全管理に関する情報を出力する。画像解析モジュール２０３４は、例えば、画像処理モジュール２０３３で作成された、動画としての結合画像を学習済みモデル２０２５に入力する。具体的には、例えば、画像解析モジュール２０３４は、図１１に示す結合画像を含む複数の連続した結合画像を学習済みモデル２０２５に入力する。

例えば、火事等の災害の発生、又は災害の兆候が含まれる場合、学習済みモデル２０２５は、災害の発生、又は災害の兆候が含まれる画像内の位置を特定し、工場内の安全に懸念があることを出力する。

また、例えば、従業員と工作機器との距離が所定の距離未満である場合、学習済みモデル２０２５は、工作機器との距離が所定距離未満である従業員の位置を特定し、従業員の周囲に危険があることを出力する。具体的には、例えば、従業員とロボットアームとの距離が所定の距離未満である場合、学習済みモデル２０２５は、当該従業員の位置を特定し、従業員がロボットアームと接触する危険があることを出力する。

また、例えば、所定の業務を遂行する従業員の近傍に、別の従業員が接近している場合、学習済みモデル２０２５は、業務を遂行している従業員の位置を特定し、他の従業員との接触の恐れがあることを出力する。具体的には、例えば、フォークリフトを運転し、荷物を搬送している従業員に対して所定の位置に、別の従業員が接近している場合、学習済みモデル２０２５は、フォークリフトを運転している従業員の位置を特定し、他の従業員との接触の恐れがあることを出力する。フォークリフトを運転し、荷物を搬送している従業員に対して所定の位置とは、例えば、進行先に存在する障害物の影等を表す。

また、画像解析モジュール２０３４は、例えば、画像処理モジュール２０３３で作成された、動画としての結合画像に含まれる従業員を識別する。画像解析モジュール２０３４は、結合画像に含まれる従業員の顔から従業員を識別してもよい。また、画像解析モジュール２０３４は、従業員が身に着けている作業着に付されている、従業員を特定可能な表示に基づいて従業員を識別してもよい。

ステップＳ１３において、制御部２０３は、工場内の状況に懸念があるか否かを判断する。例えば、制御部２０３は、工場内の安全に懸念があるか否かを判断する。安全に懸念がある場合、制御部２０３は、処理をステップＳ１４へ移行させる。一方、安全に懸念がない場合、制御部２０３は、処理を終了させる。

ステップＳ１４において、制御部２０３は、工場内の状況に懸念があることを監督者へ提示する。例えば、制御部２０３は、提示モジュール２０３９により、工場内の安全に懸念があることを監督者へ提示する。例えば、提示モジュール２０３９は、制御室の設置される端末装置１０に表示される結合画像に、安全に懸念がある旨を表示させる。提示モジュール２０３９は、制御室の設置される端末装置１０に、安全に懸念がある旨を音声で伝えさせてもよい。

図１２に示す例では、端末装置１０は、ロボットアーム４２－２と従業員との間に接触の懸念があるとして、注意を促すアイコン１４１５を、安全上の懸念のある位置に表示している。

端末装置１０を操作する監督者は、アイコン１４１５が表示された位置に注目する。監督者は、アイコン１４１５が表示された安全上の懸念を確認するための操作を端末装置１０に入力する。

例えば、監督者は、アイコン１４１５の周囲を拡大させるための操作を入力する。端末装置１０は、入力された操作に応じ、結合画像の一部を拡大させた画像を表示する。

また、例えば、監督者は、安全上の懸念のある従業員へ注意を促すための操作を入力する。例えば、監督者は、アイコン１４１５を押下する。端末装置１０は、アイコン１４１５と関連付けられている情報をサーバ２０へ要求する。

制御部２０３は、第１管理モジュール２０３６により、監督者により指定された従業員についての情報を取得する。具体的には、例えば、第１管理モジュール２０３６は、画像解析モジュール２０３４による画像解析により、結合画像における従業員の識別ＩＤを既に取得している。第１管理モジュール２０３６は、例えば、識別ＩＤに基づき、従業員情報ＤＢ２０２１から従業員についての情報を取得する。第１管理モジュール２０３６は、取得した情報を提示モジュール２０３９へ出力する。

提示モジュール２０３９は、第１管理モジュール２０３６から出力された情報を、端末装置１０に表示させる。

図２０は、指定された従業員への注意を出すか否かの確認画面の例を表す模式図である。提示モジュール２０３９は、監督者により指定された従業員についての情報をオブジェクト１４１５１に表示する。提示モジュール２０３９は、破線で表す領域を拡大して表示してもよい。図２０に示す例では、「従業員Ａへ注意を出しますか？」の記載、及び当該従業員へ注意を促すか否かの選択ボタン１４１５１１、１４１５１２がオブジェクト１４１５１に表示されている。提示モジュール２０３９は、注意を促す情報として、ロボットアーム４２－２までの距離、同様の事故の所定期間内での発生件数等、安全に係る種々の情報を表示してもよい。情報量が多い場合、提示モジュール２０３９は、種類を切り替えながら情報を表示してもよい。

監督者は、端末装置１０で表示される従業員についての情報を確認し、従業員に注意を促すか否かを判断する。監督者は従業員に注意を促す場合、選択ボタン１４１５１１を押下する。監督者により、選択ボタン１４１５１１が押下されると、提示モジュール２０３９は、該当する従業員へロボットアーム４２－２から距離をとるように注意を促す。具体的には、提示モジュール２０３９は、例えば、この従業員が所持する端末装置１０に、ロボットアーム４２－２から距離をとる旨を表示させる。また、提示モジュール２０３９は、この従業員が所持する端末装置１０に、ロボットアーム４２－２から距離をとるように注意する音声を出力させてもよい。また、制御部２０３は、この従業員と監督者との間で通信接続を開始させてもよい。

また、提示モジュール２０３９は、例えば、この従業員が存在する位置と対応する区画に設置されたスピーカー３３を操作し、ロボットアーム４２－２から距離をとるように注意する音声を出力させてもよい。

また、図１２に示す例では、端末装置１０は、フォークリフト４３を運転する従業員と他の従業員に接触の懸念があるとして、注意を促すアイコン１４１６を、フォークリフト４３を運転する従業員と関連する位置に表示している。

端末装置１０を操作する監督者は、アイコン１４１６が表示された位置に注目する。監督者は、アイコン１４１６が付された従業員の状況を確認するための操作を端末装置１０に入力する。

例えば、監督者は、アイコン１４１６の周囲を拡大させるための操作を入力する。端末装置１０は、入力された操作に応じ、結合画像の一部を拡大させた画像を表示する。

また、例えば、監督者は、安全上の懸念のある従業員へ注意を促すための操作を入力する。例えば、監督者は、アイコン１４１６を押下する。端末装置１０は、アイコン１４１６と関連付けられている情報をサーバ２０へ要求する。

制御部２０３は、第１管理モジュール２０３６により、監督者により指定された従業員についての情報を取得する。具体的には、例えば、第１管理モジュール２０３６は、画像解析モジュール２０３４による画像解析により、結合画像における従業員の識別ＩＤを既に取得している。第１管理モジュール２０３６は、例えば、識別ＩＤに基づき、従業員情報ＤＢ２０２１、勤務ログ情報ＤＢ２０２３から従業員についての情報を取得する。第１管理モジュール２０３６は、取得した情報を提示モジュール２０３９へ出力する。

提示モジュール２０３９は、第１管理モジュール２０３６から出力された情報を、端末装置１０に表示させる。

図２１は、指定された従業員へ注意を出すか否かの確認画面の例を表す模式図である。提示モジュール２０３９は、監督者により指定された従業員についての情報をオブジェクト１４１６１に表示する。提示モジュール２０３９は、破線で表す領域を拡大して表示してもよい。図２１に示す例では、「従業員Ａへ注意を出しますか？」の記載、及び当該従業員へ注意を促すか否かの選択ボタン１４１６１１、１４１６１２がオブジェクト１４１６１に表示されている。提示モジュール２０３９は、注意を促す情報として、周囲に存在する他の従業員についての情報、フォークリフト４３を運転する従業員の過去の情報（例えば、事故履歴）、同様の事故の所定期間内での発生件数等、安全に係る種々の情報を表示してもよい。情報量が多い場合、提示モジュール２０３９は、種類を切り替えながら情報を表示してもよい。

監督者は、端末装置１０で表示される従業員についての情報を確認し、従業員に注意を促すか否かを判断する。監督者は従業員に注意を促す場合、選択ボタン１４１６１１を押下する。監督者により、選択ボタン１４１６１１が押下されると、提示モジュール２０３９は、該当する従業員へフォークリフト４３の運転への注意を促す。具体的には、提示モジュール２０３９は、例えば、この従業員が所持する端末装置１０に、フォークリフト４３の安全運転を促す音声を出力させてもよい。また、制御部２０３は、この従業員と監督者との間で通信接続を開始させてもよい。

また、提示モジュール２０３９は、例えば、この従業員が存在する位置と対応する区画に設置されたスピーカー３３を操作し、ロボットアーム４２－２から距離をとるように注意する音声を出力させてもよい。

図１０は、センサ３２で取得されたセンシングデータに基づき、サーバ２０が工場内の状況を管理する際の動作の例を表すフローチャートである。

ステップＳ１５において、制御部２０３は、センシングデータを解析し、工場内の状況に関する情報を出力する。例えば、制御部２０３は、情報解析モジュール２０３５により、センサ３２により取得されたセンシングデータを解析し、稼働管理に関する情報、安全管理に関する情報、又は工程管理に関する情報を出力する。情報解析モジュール２０３５は、学習済みモデル２０２５から出力される情報を提示モジュール２０３９へ出力する。具体的には、情報解析モジュール２０３５は、例えば、センサ３２により所定周期で取得されるセンシングデータを順次学習済みモデル２０２５に入力する。学習済みモデル２０２５は、入力されたセンシングデータに応じ、稼働管理に関する情報、安全管理に関する情報、又は工程管理に関する情報を出力する。

ステップＳ１３において、制御部２０３は、情報解析モジュール２０３５から出力される推定結果に基づき、工場内の状況に懸念があるか否かを判断する。工場内の状況に懸念がある場合、制御部２０３は、処理をステップＳ１４へ移行させる。一方、工場内の状況に懸念がない場合、制御部２０３は、処理を終了させる。

ステップＳ１４において、制御部２０３は、工場内の状況に懸念があることを監督者へ提示する。例えば、提示モジュール２０３９は、制御室の設置される端末装置１０に表示される結合画像に、工場内の状況に懸念がある旨を表示させる。

以上のように、上記実施形態では、制御部２０３は、監視対象エリアに設置される複数の撮影装置３１により撮影された、連続する時系列の第１画像を取得する。制御部２０３は、画像解析モジュール２０３４により、撮影装置３１により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定する。制御部２０３は、提示モジュール２０３９により、推定の結果に基づく情報を監督者としての第１者へ提示する。これにより、監視対象エリア内を撮影した動画に基づき、監視対象エリアにおいて異常が発生したか否かを自動的に判定し、判定結果を監督者へ提示することが可能となる。

したがって、本実施形態に係るシステムによれば、監督者は対象エリア内の状況を多角的に管理できる。また、対象エリア内を管理する労力が抑えることが可能となる。また、対象エリア内の監督者の数を抑えることが可能となる。また、制御室を対象エリアから遠隔の地に設けることで、対象エリアをリモートで管理することが可能となる。

また、上記実施形態では、画像処理モジュール２０３３は、撮影装置３１により撮影された第１画像から監視対象エリア全体を表す第２画像（結合画像）を作成する。画像解析モジュール２０３４は、第２画像を解析する。これにより、結合画像について１回の画像解析で、監視対象エリア全体についての画像解析が実施できるため、処理負荷を抑えることが可能となるとともに、処理速度が向上することになる。このため、制御部２０３は、監視対象エリア全体の画像を動画として処理することが可能となる。

また、上記実施形態では、撮影装置３１は、超広角レンズを有している。画像処理モジュール２０３３は、超広角レンズを有する撮影装置３１により撮影された第１画像に対してオルソ補正を実施して第２画像を作成する。これにより、撮影装置３１の数を抑えることが可能となる。また、結合画像を作成する際の負荷を抑えることが可能となる。

また、上記実施形態では、画像解析モジュール２０３４は、正常に動作している工作機器を撮影した動画を入力とし、工作機器が正常に動作していることを正解出力として学習された学習済みモデル２０２５に、連続する時系列の第１画像に基づく画像を入力することで、監視対象エリア内に設置される機器の稼働状況に懸念が発生しているか否かを推定する。これにより、監督者は、監視対象エリア内に設置される機器の稼働状況を管理することが可能となる。

また、上記実施形態では、提示モジュール２０３９は、推定の結果に基づく情報を、懸念が発生している機器の、監視対象エリア内の位置に関する情報として提示する。これにより、第１者は、監視対象エリア内における懸念の発生位置を直感的に把握することが可能となる。

また、上記実施形態では、提示モジュール２０３９は、推定の結果に基づく情報を、懸念が発生している機器についての詳細情報として提示する。これにより、制御部２０３は、発生した懸念に関連する機器についての詳細な情報を第１者へ提供することが可能となる。そのため、第１者は、異常を高い精度で特定することが可能となる。

また、上記実施形態では、提示モジュール２０３９は、推定の結果に基づく情報を、発生している懸念と関連する情報として提示する。これにより、制御部２０３は、懸念が発生している環境を第１者へ提供することが可能となる。そのため、第１者は、異常を高い精度で特定することが可能となる。

また、上記実施形態では、画像解析モジュール２０３４は、安全に懸念がある状況を撮影した動画を入力とし、当該状況において安全に懸念があることを正解出力として学習された学習済みモデル２０２５に、連続する時系列の第１画像に基づく画像を入力することで、監視対象エリア内の安全に懸念が発生しているか否かを推定する。これにより、監督者は、監視対象エリア内の安全を管理することが可能となる。

また、上記実施形態では、連続する時系列の第１画像は、工作機器に接近する第２者を含む。これにより、制御部２０３は、工作機器と第２者とが接触する事故が発生する懸念を、監視対象エリア内の安全の懸念として出力することが可能となる。

また、上記実施形態では、連続する時系列の第１画像は、所定の業務を遂行する第２者と、その他の第２者とが所定の位置関係にあることを含む。これにより、制御部２０３は、所定の業務を遂行する第２者と、その他の第２者とが接触する事故が発生する懸念を、監視対象エリア内の安全の懸念として出力することが可能となる。

また、上記実施形態では、画像解析モジュール２０３４は、第２者を識別する。提示モジュール２０３９は、識別した第２者へ注意を促す。これにより、制御部２０３は、安全が懸念される第２者が事故を起こすこと、事故に巻き込まれることを抑えることが可能となる。

また、上記実施形態では、提示モジュール２０３９は、推定の結果に基づく情報を、安全に懸念が発生している領域の監視対象エリア内の位置に関する情報として提示する。これにより、第１者は、監視対象エリア内において安全に懸念がある位置を直感的に把握することが可能となる。

また、上記実施形態では、画像解析モジュール２０３４は、作業工程に懸念が発生しているか否かを出力するように学習された学習済みモデル２０２５に、連続する時系列の第１画像に基づく画像を入力することで、監視対象エリア内の作業工程に懸念が発生しているか否かを推定する。これにより、監督者は、監視対象エリア内の作業工程を管理することが可能となる。

また、上記実施形態では、学習済みモデル２０２５は、正常に機能している作業工程を撮影した動画を入力とし、作業工程が正常に機能していることを正解出力として学習された学習済みモデルである。これにより、制御部２０３は、監視対象エリア内の機器の動作に基づき、作業工程が正常に機能しているか否かを推定することが可能となる。

また、上記実施形態では、学習済みモデル２０２５は、第２者と、第２者の勤務についての情報とを入力とし、異常が発生する蓋然性を正解出力として学習された学習済みモデルである。これにより、制御部２０３は、ミスを起こしやすい従業員が業務に携わっている場合、作業工程が遅れる可能性が高いとして、監督者に注意を払わせることが可能となる。

また、上記実施形態では、学習済みモデル２０２５は、第２者についての動作を入力とし、作業工程における懸念の蓋然性を正解出力として学習された学習済みモデルである。これにより、制御部２０３は、従業員が困った表情、困った動作等をしている場合、監督者に従業員への助力を促すことが可能となる。

また、上記実施形態では、画像解析モジュール２０３４は、第２者を識別する。提示モジュール２０３９は、識別した第２者へメッセージを提示する。これにより、制御部２０３は、ミスを犯しがちな第２者へ注意を促すことが可能となる。また、制御部２０３は、困っている第２者へ助言を与えることが可能となる。

また、上記実施形態では、提示モジュール２０３９は、推定の結果に基づく情報は、作業工程に懸念が発生している領域の、監視対象エリア内の位置に関する情報である。これにより、第１者は、監視対象エリア内において作業工程に懸念が発生する位置を直感的に把握することが可能となる。

また、上記実施形態では、提示モジュール２０３９は、推定の結果に基づく情報を、懸念の要因と推定される機器又は第２者についての詳細情報として提示する。これにより、制御部２０３は、懸念の要因と推定される機器についての詳細な情報、又は懸念を発生させる蓋然性の高い第２者についての詳細な情報を第１者へ提供することが可能となる。そのため、第１者は、作業工程を高い精度で管理することが可能となる。

また、上記実施形態では、提示モジュール２０３９は、推定の結果に基づく情報を、発生している懸念と関連する情報として提示する。これにより、制御部２０３は、懸念が発生している環境を第１者へ提供することが可能となる。そのため、第１者は、作業工程を高い精度で管理することが可能となる。

また、上記実施形態では、制御部２０３は、監視対象エリアに設置される複数のセンサ３２により検出されたセンシングデータを取得する。２０３は、情報解析モジュール２０３５により、取得したセンシングデータに基づくデータ解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定する。これにより、監視対象エリア内を撮影した動画に加え、センシングデータにも基づいて、監視対象エリアにける異常の発生を自動的に判定することが可能となる。このため、異常の発生を推定する精度が向上することになる。

＜４ 変形例＞
上記実施形態では、システムが工場に設置される場合を例に説明した。しかしながら、システムが設置される場所は、工場に限定されない。監視対象エリア内に複数の人と設備機器とが存在し、稼働管理、安全管理、工程管理が必要となる場所であればどのような場所に設置されてもよい。例えば、本実施形態に係るシステムは、病院、空港、駅、学校、スポーツジム、漁港、農場、牧場等に設けられてもよい。

＜５ その他の実施形態＞
上記実施形態では、結合画像における、稼働状況に懸念がある位置、安全に懸念がある位置、及び工程管理に懸念がある位置に、それぞれ同様のアイコンが付される場合を説明した。稼働状況に懸念がある位置、安全に懸念がある位置、及び工程管理に懸念がある位置に付されるアイコンは種類毎に識別可能であってもよい。例えば、種類毎に色が違っていてもよいし、形が違っていてもよい。こうすることで、監督者は、懸念事項の種類を直感的に把握することが可能となる。

また、上記実施形態では、正常の動作と違いのある工作機器を、稼働状況に懸念がある工作機器として出力する場合を説明した。しかしながら、画像解析モジュール２０３４は、他の工作機器よりも使用頻度が低い工作機器を出力してもよい。これにより、工場内で過剰となっている設備を効率的に発見することが可能となり、例えば、他の工場へ移動させる等、現存するリソースを有効に活用することが可能となる。

また、上記実施形態では、監督者からの承諾を待って、従業員へ注意を伝えたり、従業員の様子を伺ったりするようにしている。しかしながら、制御部２０３は、監督者からの承諾を待たず、従業員へ連絡を伝えるようにしてもよい。これにより、制御部２０３は、従業員を管理する労力を低減させることが可能となる。

また、上記実施形態では、エッジサーバ３０に、撮影装置３１及びセンサ３２が接続されている場合を説明したが、撮影装置３１及びセンサ３２は、ネットワークに直接接続されてもよい。

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。
（付記１）
プロセッサ２９と、メモリ２５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、監視対象エリアに設置される複数の撮影装置３１により撮影された、連続する時系列の第１画像を取得するステップ（２０３１）と、撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定するステップ（ステップＳ１２）と、推定の結果に基づく情報を第１者へ提示するステップ（ステップＳ１４）とを実行させるプログラム。
（付記２）
撮影装置により撮影された第１画像から監視対象エリア全体を表す第２画像を作成するステップ（ステップＳ１１）をプロセッサに実行させ、推定するステップにおいて、第２画像を解析する（付記１）に記載のプログラム。
（付記３）
撮影装置は、超広角レンズを有し、第２画像を作成するステップにおいて、超広角レンズを有する撮影装置により撮影された第１画像に対してオルソ補正を実施して第２画像を作成する（付記２）に記載のプログラム。
（付記４）
推定するステップにおいて、正常に動作している工作機器を撮影した動画を入力とし、工作機器が正常に動作していることを正解出力として学習された学習済みモデルに、連続する時系列の第１画像に基づく画像を入力することで、監視対象エリア内に設置される機器の稼働状況に懸念が発生しているか否かを推定する（付記１）乃至（付記３）のいずれかに記載のプログラム。
（付記５）
提示するステップにおいて、推定の結果に基づく情報は、懸念が発生している機器の監視対象エリア内の位置に関する情報である（付記４）に記載のプログラム。
（付記６）
提示するステップにおいて、推定の結果に基づく情報は、懸念が発生している機器についての詳細情報である（付記４）又は（付記５）に記載のプログラム。
（付記７）
提示するステップにおいて、推定の結果に基づく情報は、発生している懸念と関連する情報である（付記４）乃至（付記６）のいずれかに記載のプログラム。
（付記８）
推定するステップにおいて、安全に懸念がある状況を撮影した動画を入力とし、当該状況において安全に懸念があることを正解出力として学習された学習済みモデルに、連続する時系列の第１画像に基づく画像を入力することで、監視対象エリア内の安全に懸念が発生しているか否かを推定する（付記１）乃至（付記７）のいずれかに記載のプログラム。
（付記９）
推定するステップにおいて、連続する時系列の第１画像は、工作機器に接近する第２者を含む（付記８）に記載のプログラム。
（付記１０）
推定するステップにおいて、連続する時系列の第１画像は、所定の業務を遂行する第２者と、その他の第２者とが所定の位置関係にあることを含む（付記８）に記載のプログラム。
（付記１１）
推定するステップにおいて、第２者を識別し、識別した第２者へ、注意を促すステップをプロセッサに実行させる（付記９）又は（付記１０）に記載のプログラム。
（付記１２）
提示するステップにおいて、推定の結果に基づく情報は、安全に懸念が発生している領域の監視対象エリア内の位置に関する情報である（付記８）乃至（付記１１）のいずれかに記載のプログラム。
（付記１３）
推定するステップにおいて、作業工程に懸念が発生しているか否かを出力するように学習された学習済みモデルに、連続する時系列の第１画像に基づく画像を入力することで、監視対象エリア内の作業工程に懸念が発生しているか否かを推定する（付記１）乃至（付記１２）のいずれかに記載のプログラム。
（付記１４）
学習済みモデルは、正常に機能している作業工程を撮影した動画を入力とし、作業工程が正常に機能していることを正解出力として学習された学習済みモデルである（付記１３）に記載のプログラム。
（付記１５）
学習済みモデルは、第２者と、第２者の勤務についての情報とを入力とし、異常が発生する蓋然性を正解出力として学習された学習済みモデルである（付記１３）又は（付記１４）に記載のプログラム。
（付記１６）
学習済みモデルは、第２者についての動作を入力とし、作業工程における懸念の蓋然性を正解出力として学習された学習済みモデルである（付記１３）乃至（付記１５）のいずれかに記載のプログラム。
（付記１７）
推定するステップにおいて、第２者を識別し、識別した第２者へ、メッセージを提示するステップをプロセッサに実行させる（付記１５）又は（付記１６）に記載のプログラム。
（付記１８）
提示するステップにおいて、推定の結果に基づく情報は、作業工程に懸念が発生している領域の監視対象エリア内の位置に関する情報である（付記１３）乃至（付記１７）のいずれかに記載のプログラム。
（付記１９）
提示するステップにおいて、推定の結果に基づく情報は、懸念の要因と推定される機器又は第２者についての詳細情報である（付記１３）乃至（付記１８）のいずれかに記載のプログラム。
（付記２０）
提示するステップにおいて、推定の結果に基づく情報は、発生している懸念と関連する情報である（付記１３）乃至（付記１９）のいずれかに記載のプログラム。
（付記２１）
監視対象エリアに設置される複数のセンサにより検出されたセンシングデータを取得するステップと、取得したセンシングデータに基づくデータ解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定するステップ（ステップＳ１５）とをプロセッサに実行させる（付記１）乃至（付記２０）のいずれかに記載のプログラム。
（付記２２）
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、監視対象エリアに設置される複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと、推定の結果に基づく情報を第１者へ提示するステップとを実行する方法。
（付記２３）
制御部２０３と、記憶部２０２とを備える情報処理装置２０であって、制御部が、監視対象エリアに設置される複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと、推定の結果に基づく情報を第１者へ提示するステップとを実行する情報処理装置。
（付記２４）
監視対象エリアに設置される複数の撮影装置により撮影された、連続する時系列の第１画像を取得する手段と、撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、監視対象エリア内に設置される機器に起因する事象の発生を推定する手段と、推定の結果に基づく情報を第１者へ提示する手段とを具備するシステム。

１…システム
１０…端末装置
１２…通信ＩＦ
１２０…通信部
１３…入力装置
１３１…タッチ・センシティブ・デバイス
１４…出力装置
１４１…ディスプレイ
１５…メモリ
１５０…位置情報センサ
１６…ストレージ
１６１…カメラ
１７…音声処理部
１７１…マイク
１７２…スピーカー
１８０…記憶部
１８１…従業員情報
１９…プロセッサ
１９０…制御部
１９１…操作受付部
１９２…送受信部
１９３…提示制御部
２０…サーバ
２０１…通信部
２０２…記憶部
２０２１…従業員情報ＤＢ
２０２２…設備情報ＤＢ
２０２３…勤務ログ情報ＤＢ
２０２４…動作ログ情報ＤＢ
２０２５…学習済みモデル
２０３…制御部
２０３１…受信制御モジュール
２０３２…送信制御モジュール
２０３３…画像処理モジュール
２０３４…画像解析モジュール
２０３５…情報解析モジュール
２０３６…第１管理モジュール
２０３７…第２管理モジュール
２０３９…提示モジュール
２２…通信ＩＦ
２３…入出力ＩＦ
２５…メモリ
２６…ストレージ
２９…プロセッサ
３０…エッジサーバ
３１…撮影装置
３２…センサ
３３…スピーカー
４１…ベルトコンベア
４２…ロボットアーム
４３…フォークリフト
４４…パトロールロボット
８０…ネットワーク

Claims (35)

1. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
   前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、前記監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと、
   前記推定の結果に基づく情報を第１者へ提示するステップと
   を実行させ、
   前記推定するステップにおいて、正常の頻度で使用されている工作機器を撮影した動画を入力とし、前記工作機器が正常の頻度で使用されていることを正解出力として学習された学習済みモデルに、前記連続する時系列の第１画像に基づく画像を入力することで、前記監視対象エリア内に設置される機器のうち使用頻度が低い機器が存在しているか否かを推定するプログラム。
2. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
   前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の安全に懸念が発生しているか否かを推定し、前記学習済みモデルは、安全に懸念がある状況を撮影した動画を入力とし、当該状況において安全に懸念があることを正解出力として学習されるステップと、
   前記推定の結果に基づく情報を第１者へ提示するステップと
   を実行させるプログラム。
3. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
   前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、正常に機能している前記監視対象エリア内の物流を撮影した動画を入力とし、作業工程が正常に機能していることを正解出力として学習されるステップと、
   前記推定の結果に基づく情報を第１者へ提示するステップと
   を実行させるプログラム。
4. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
   前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、従業員の識別情報と、当該従業員の業務内容についての情報とを入力とし、当該従業員により作業工程に懸念が発生する蓋然性の判断を正解出力として学習されるステップと、
   前記推定の結果に基づく情報を第１者へ提示するステップと
   を実行させるプログラム。
5. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
   前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、動作を含む画像を入力とし、当該動作に応じて作業工程に懸念が発生する蓋然性の判断を正解出力として学習されるステップと、
   前記推定の結果に基づく情報を第１者へ提示するステップと
   を実行させるプログラム。
6. 前記撮影装置により撮影された第１画像から監視対象エリア全体を表す第２画像を作成するステップを前記プロセッサに実行させ、
   前記推定するステップにおいて、前記第２画像を学習済みモデルに入力する請求項１乃至５のいずれかに記載のプログラム。
7. 前記撮影装置は、超広角レンズを有し、
   前記第２画像を作成するステップにおいて、前記超広角レンズを有する撮影装置により撮影された第１画像に対してオルソ補正を実施して前記第２画像を作成する請求項６記載のプログラム。
8. 前記提示するステップにおいて、前記推定の結果に基づく情報は、懸念が発生している機器の前記監視対象エリア内の位置に関する情報である請求項１記載のプログラム。
9. 前記提示するステップにおいて、前記推定の結果に基づく情報は、懸念が発生している機器についての詳細情報である請求項１又は８に記載のプログラム。
10. 前記提示するステップにおいて、前記推定の結果に基づく情報は、発生している懸念と関連する情報である請求項１、８、及び９のいずれかに記載のプログラム。
11. 前記推定するステップにおいて、前記連続する時系列の第１画像は、工作機器に接近する第２者を含む請求項２記載のプログラム。
12. 前記推定するステップにおいて、前記連続する時系列の第１画像は、所定の業務を遂行する第２者と、その他の第２者とが所定の位置関係にあることを含む請求項２記載のプログラム。
13. 前記推定するステップにおいて、前記第２者を識別し、
    前記識別した第２者へ、注意を促すステップを前記プロセッサに実行させる請求項１１又は１２に記載のプログラム。
14. 前記提示するステップにおいて、前記推定の結果に基づく情報は、安全に懸念が発生している領域の前記監視対象エリア内の位置に関する情報である請求項２、１１乃至１３のいずれかに記載のプログラム。
15. 前記推定するステップにおいて、前記画像に含まれる従業員を識別し、
    前記識別した従業員へ、メッセージを提示するステップを前記プロセッサに実行させる請求項４又は５に記載のプログラム。
16. 前記提示するステップにおいて、前記推定の結果に基づく情報は、作業工程に懸念が発生している領域の前記監視対象エリア内の位置に関する情報である請求項３乃至５、及び１５のいずれかに記載のプログラム。
17. 前記提示するステップにおいて、前記推定の結果に基づく情報は、懸念の要因と推定される機器についての詳細情報である請求項３記載のプログラム。
18. 前記推定するステップにおいて、前記画像に含まれる従業員を識別し、
    前記提示するステップにおいて、前記推定の結果に基づく情報は、懸念の要因と推定される従業員についての詳細情報である請求項４又は５に記載のプログラム。
19. 前記提示するステップにおいて、前記推定の結果に基づく情報は、発生している懸念と関連する情報である請求項３乃至５、１５乃至１８のいずれかに記載のプログラム。
20. 前記監視対象エリアに設置される複数のセンサにより検出されたセンシングデータを取得するステップと、
    前記取得したセンシングデータに基づくデータ解析を実施し、前記監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと
    を前記プロセッサに実行させる請求項１記載のプログラム。
21. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、前記監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行し、
    前記推定するステップにおいて、正常の頻度で使用されている工作機器を撮影した動画を入力とし、前記工作機器が正常の頻度で使用されていることを正解出力として学習された学習済みモデルに、前記連続する時系列の第１画像に基づく画像を入力することで、前記監視対象エリア内に設置される機器のうち使用頻度が低い機器が存在しているか否かを推定する方法。
22. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の安全に懸念が発生しているか否かを推定し、前記学習済みモデルは、安全に懸念がある状況を撮影した動画を入力とし、当該状況において安全に懸念があることを正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する方法。
23. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、正常に機能している前記監視対象エリア内の物流を撮影した動画を入力とし、作業工程が正常に機能していることを正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する方法。
24. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、従業員の識別情報と、当該従業員の業務内容についての情報とを入力とし、当該従業員により作業工程に懸念が発生する蓋然性の判断を正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する方法。
25. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、動作を含む画像を入力とし、当該動作に応じて作業工程に懸念が発生する蓋然性の判断を正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する方法。
26. 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、前記監視対象エリア内に設置される機器に起因する事象の発生を推定するステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行し、
    前記推定するステップにおいて、正常の頻度で使用されている工作機器を撮影した動画を入力とし、前記工作機器が正常の頻度で使用されていることを正解出力として学習された学習済みモデルに、前記連続する時系列の第１画像に基づく画像を入力することで、前記監視対象エリア内に設置される機器のうち使用頻度が低い機器が存在しているか否かを推定する情報処理装置。
27. 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の安全に懸念が発生しているか否かを推定し、前記学習済みモデルは、安全に懸念がある状況を撮影した動画を入力とし、当該状況において安全に懸念があることを正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する情報処理装置。
28. 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、正常に機能している前記監視対象エリア内の物流を撮影した動画を入力とし、作業工程が正常に機能していることを正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する情報処理装置。
29. 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、従業員の識別情報と、当該従業員の業務内容についての情報とを入力とし、当該従業員により作業工程に懸念が発生する蓋然性の判断を正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する情報処理装置。
30. 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得するステップと、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、動作を含む画像を入力とし、当該動作に応じて作業工程に懸念が発生する蓋然性の判断を正解出力として学習されるステップと、
    前記推定の結果に基づく情報を第１者へ提示するステップと
    を実行する情報処理装置。
31. 監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得する手段と、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像解析を実施し、前記監視対象エリア内に設置される機器に起因する事象の発生を推定する手段と、
    前記推定の結果に基づく情報を第１者へ提示する手段と
    を具備し、
    前記推定する手段は、正常の頻度で使用されている工作機器を撮影した動画を入力とし、前記工作機器が正常の頻度で使用されていることを正解出力として学習された学習済みモデルに、前記連続する時系列の第１画像に基づく画像を入力することで、前記監視対象エリア内に設置される機器のうち使用頻度が低い機器が存在しているか否かを推定するシステム。
32. 監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得する手段と、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の安全に懸念が発生しているか否かを推定し、前記学習済みモデルは、安全に懸念がある状況を撮影した動画を入力とし、当該状況において安全に懸念があることを正解出力として学習される手段と、
    前記推定の結果に基づく情報を第１者へ提示する手段と
    を具備するシステム。
33. 監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得する手段と、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、正常に機能している前記監視対象エリア内の物流を撮影した動画を入力とし、作業工程が正常に機能していることを正解出力として学習される手段と、
    前記推定の結果に基づく情報を第１者へ提示する手段と
    を具備するシステム。
34. 監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得する手段と、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、従業員の識別情報と、当該従業員の業務内容についての情報とを入力とし、当該従業員により作業工程に懸念が発生する蓋然性の判断を正解出力として学習される手段と、
    前記推定の結果に基づく情報を第１者へ提示する手段と
    を具備するシステム。
35. 監視対象エリアにおける所定の区画をそれぞれ撮影可能に設置され、動画として一連の動きを認識可能な程度のフレームレートで前記区画内を撮影する複数の撮影装置により撮影された、連続する時系列の第１画像を取得する手段と、
    前記撮影装置により撮影された、連続する時系列の第１画像に基づく画像であって業務に携わっている従業員を含む画像を学習済みモデルに入力することで、前記監視対象エリア内の作業工程に懸念が発生しているか否かを推定し、前記学習済みモデルは、動作を含む画像を入力とし、当該動作に応じて作業工程に懸念が発生する蓋然性の判断を正解出力として学習される手段と、
    前記推定の結果に基づく情報を第１者へ提示する手段と
    を具備するシステム。

Images