JP6746741B1 - コンテナオーケストレーション技術を利用したセンサ情報処理システム、センサ情報処理システムの制御方法、センサ情報処理システムの制御に用いるコンピュータプログラム、及び、その記録媒体。 - Google Patents

Abstract

【課題】信頼性の高いセンサ情報を使用しつつも稼働中のセンサの状態変動にも耐え得る堅牢性とシステム規模の変更等にも対応可能な柔軟性とを兼ね備えた技術を提供すること。【解決手段】情報処理装置はオペレーションシステム上においてハードウェアリソースを論理的に割り当て、割り当てたハードウェアリソースを用いてクラスタを構成しクラスタ上でコンテナを動作させるコンテナエンジンと、クラスタにおいて１以上のコンテナにより構成されるポッドの実行環境となるノードを構成しポッドの動作を管理しかつポッドが所定の稼働状態ではない場合にポッドの復旧動作を行うオーケストレーションツールとを備え、ポッドはセンサ毎から取得されたセンサ情報に基づいてセンサ毎の信頼性を算出する信頼性算出ポッドと、信頼性が高く算出された１又は複数のセンサからのセンサ情報に基づいて所定の情報処理を行うセンサ情報処理ポッドを備えるシステムが提供される。【選択図】図１３

Description

本発明は、コンテナオーケストレーション技術を利用したセンサ情報処理システム、センサ情報処理システムの制御方法、センサ情報処理システムの制御に用いるコンピュータプログラム、及び、その記録媒体に関する。

コンピュータにより実行されるシステムは、ホストＰＣにインストールされたＯＳ（Operating System）上において、複数のアプリケーションが動作することにより、所定の機能を実現する。しかしながら、複数のアプリケーションを同時に動作させる場合には、ＯＳにおけるシステムリソースをアプリケーション間で共有する必要があるため、ＯＳ毎にアプリケーションの設計を変更しなければならず、開発負担が大きい。

そこで、ホストコンピュータのＯＳ上で論理的な区間を作り、その区画内で、アプリケーション本体に加えてアプリケーションの動作に必要な環境をまとめたコンテナを展開（デプロイ）する技術が知られている。この技術によれば、ＯＳ上のリソースを論理的に分離して複数のコンテナに使用させることができるため、動作環境のＯＳ依存性が低減するので、システム開発の負担を軽減することができる。このようなコンテナ技術は、ＯＳ上にインストールされるコンテナ管理ソフトによって実現される。例えば、コンテナ管理ソフトの一例として、Ｄｏｃｋｅｒなどがあげられる。

近年、コンテナ技術の進化や、システムの冗長化の要望に伴って、ネットワーク接続、記憶領域、及び、ホストＰＣの設定が複雑化しており、複数のコンテナをスケジューリングする必要性が高まっている。そこで、これらの設定を自動的に行いコンテナの管理を統合的に行うオーケストレーションツールの開発が進められている。

オーケストレーションツールが用いられることにより、複数のコンテナのデプロイ、実行、管理及びスケジューリングなどを容易に行うことができるため、さらにシステム開発の負担を軽減することができる。コンテナオーケストレーションツールとしては、Ｋｕｂｅｒｎｅｔｅｓ、Ａｐａｃｈｅ Ｍｅｓｏｓなどが知られている。（例えば、特許文献１）

米国特許第９９８５８２７号明細書

工場などにおいては、製造工程を管理するために、工程毎に多数のセンサが設けられ、センサにより取得されたセンサ情報を種々の情報へと処理するセンサ情報処理システムが用いられる。近年、このようなセンサ情報処理システムを、上述のコンテナ技術、及び、コンテナのオーケストレーション技術を用いたプラットフォーム上で開発することが検討されている。

ところで、工場などにおいては一部のセンサが様々な理由によりその稼働を停止してしまうことや、正常に稼働しなくなってしまうことがある。従前、この種の事象が生じた時に、そのセンサ異常を検出できなかった場合には、異常なセンサ情報に基づいて種々の処理がなされることがあった。また、この種のセンサの復旧のためには、センサやそれと関連するソフトウェアを含むシステムの再起動が必要となる場合があり不便であった。さらに、センサ数を大幅に変更する等してセンサシステムの規模を大幅に変更した場合には、センサシステム全体を再度設計し直す必要に迫られる場合もあった。

本発明は、このような課題を解決することを目的としており、コンテナオーケストレーションツールを利用したセンサ情報処理システムにおいて、信頼性の高いセンサ情報を使用しつつも稼働中のセンサの状態変動にも耐え得る堅牢性と、システム規模の変更等にも対応可能な柔軟性とを兼ね備えたセンサ情報処理技術を提供することを目的とする。

本発明の一態様に係るセンサ情報処理システムは、１又は複数のセンサと、センサと接続される１又は複数の情報処理装置と、を備えたセンサ情報処理システムである。また、情報処理装置は、オペレーションシステム上においてハードウェアリソースを論理的に割り当て、割り当てたハードウェアリソースを用いてコンテナを動作させるためのクラスタを構成し、クラスタ上でコンテナを動作させる、コンテナエンジンと、クラスタにおいて、１以上のコンテナにより構成されるポッドの実行環境となるノードを構成し、ノードにおけるポッドの動作を管理し、かつ、ポッドが所定の稼働状態ではない場合にポッドの復旧動作を行う、オーケストレーションツールと、を備えている。さらに、ポッドは、センサ毎から取得されたセンサ情報に基づいて、センサ毎の信頼性を算出する信頼性算出ポッドと、信頼性算出ポッドにて信頼性が高く算出された１又は複数のセンサからのセンサ情報に基づいて所定の情報処理を行う、センサ情報処理ポッドと、を備えている。

このような構成によれば、信頼性の高いセンサ情報を使用しつつも稼働中のセンサの状態変動にも耐え得る堅牢性と、システム規模の変更等にも対応可能な柔軟性とを兼ね備えたセンサ情報処理技術を提供することができる。

図１は、本実施形態に係る監視システムの構成を示すブロック図である。 図２は、監視システムの概略構成図である。 図３は、監視デバイスのハードウェア構成図である。 図４は、コンテナ技術が用いられる監視デバイスのソフトウェア構成図である。 図５は、センサのハードウェア構成図である。 図６は、センサのソフトウェア構成図である。 図７は、オーケストレーションツールが用いられる場合の一般的なコンテナの動作環境の概略構成図である。 図８は、クラスタの概略構成図である。 図９は、監視システムのネットワーク構成を示す図である。 図１０は、監視デバイスへのコンテナのデプロイ処理を示すフローチャートである。 図１１は、監視デバイスにおけるポッドの起動処理を示すフローチャートである。 図１２は、センサにおけるセンサ情報の取得処理を示すフローチャートである。 図１３は、ＱｏＳ判定処理を示すフローチャートである。 図１４は、ポッドの再起動処理を示すフローチャートである。 図１５は、第１変形例におけるクラスタの概略構成図である。 図１６は、監視システムのネットワーク構成を示す図である。 図１７は、第２変形例における監視システムのネットワーク構成を示す図である。 図１８は、第３変形例における監視システムの構成を示すブロック図である。 図１９は、監視システムのネットワーク構成を示す図である。 図２０は、第４変形例におけるクラスタの概略構成図である。

本発明の実施形態について、添付された図面とともに以下に詳細に説明する。

図１は、本発明の実施形態に係る監視システム１０の構成を示すブロック図である。

監視システム１０は、工場などにおける製造工程を監視するシステムであり、監視デバイス１１、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃ、及び、ロードバランサ１３により構成される。監視デバイス１１、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃ、及び、ロードバランサ１３は、互いにＬＡＮ（Local Area Network）１４を介して通信可能に構成される。なお、以下において、第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２Ｃについて、構成を区別する必要がない場合には、これらを総称してセンサ１２と称する。なお、他の構成についても同様であり、同じ構成が複数あり、構成を区別する必要がない場合には、これらの構成を総称して添え字を省略して記載する。

監視デバイス１１は、ＣＰＵ（Central Processing Unit）、メモリ、及び、ネットワークインターフェースなどを備える機器であり、記憶されたプログラムを実行可能に構成されている。監視デバイス１１は、汎用的なコンピュータを用いて構成してもよいし、上述の構成を備える専用端末であってもよい。

監視デバイス１１には、ＯＳ（Operating System）上に、コンテナオーケストレーションを実現するミドルウェアがインストールされている。そして、監視デバイス１１においては、センサ１２が取得するセンサ情報を監視するコンテナがデプロイされ、コンテナが所定の処理を実行することで、監視機能が実現される。なお、監視デバイス１１については、後に、図３を用いてハードウェアの構成を、図４を用いてソフトウェアの構成を説明する。

センサ１２は、工場内の製造工程の状態を監視するセンサである。センサ１２は、例えばカメラなどの撮像センサであり、ＬＡＮ１４を介して撮影した画像データを監視デバイス１１へと送信する。センサ１２は、撮像センサに限定されず、後述するように、温度センサ、振動センサ、照度センサなどのセンサであってもよく、また、種々のセンサの複合体であってもよい。なお、センサ１２については、後に、図５を用いてハードウェアの構成を、図６を用いてソフトウェアの構成を説明する。

ロードバランサ１３は、監視デバイス１１と同様に、ＣＰＵ、メモリ、及び、ネットワークインターフェースなどを備える機器であり、記憶されたプログラムを実行可能に構成されている。ロードバランサ１３は、例えば、汎用的なデータサーバと同様の構成であってもよい。

ロードバランサ１３は、監視デバイス１１と同様に、コンテナオーケストレーションツールがＯＳ上にインストールされている。ロードバランサ１３は、ＷＡＮ（Wide Area Network）１６に接続されており、監視デバイス１１などのＬＡＮ１４と接続された機器に加えて、ＷＡＮ１５と接続された機器と相互に通信可能に構成されている。なお、本実施形態においては、ロードバランサ１３は、監視デバイス１１とは別の構成としたが、これに限らない。監視デバイス１１とロードバランサ１３とは、一体的に構成され、ＬＡＮ１４に接続されてもよい。

ＷＡＮ１５には、ターミナル１６、及び、イメージレジストリ１７が接続されるとともに、ＷＡＮ１５はロードバランサ１３を介して監視システム１０と接続される。そのため、ターミナル１６、及び、イメージレジストリ１７は、ロードバランサ１３を介して、監視デバイス１１などの監視システム１０内の機器と相互に通信できる。

ターミナル１６は、ディスプレイ、ＣＰＵ、メモリ、ネットワークインターフェースなどを備える機器であり、ロードバランサ１３を介して監視デバイス１１と接続され、監視デバイス１１から送信される監視結果を表示する。ターミナル１６は、例えば、パーソナルコンピュータ、スマートフォン、及び、タブレット端末などの表示部を備える情報端末である。

イメージレジストリ１７は、データを蓄積可能なサーバであって、監視デバイス１１にデプロイされるコンテナイメージが記憶されている。イメージレジストリ１７に記憶されているコンテナイメージは、ＷＡＮ１５、ロードバランサ１３、及び、ＬＡＮ１４を介して、監視デバイス１１へと送信されて、コンテナがデプロイされる。なお、本実施形態においては、イメージレジストリ１７は、ＷＡＮ１５に接続される構成としたが、これに限らない。イメージレジストリ１７は、ＬＡＮ１４と接続されるように構成されてもよいし、２つのイメージレジストリ１７がＬＡＮ１４及びＷＡＮ１６と接続されて相互に通信可能に構成されてもよい。

図２は、監視システム１０の概略構成図である。

監視システム１０は、工場などにおける製造工程を監視する装置である。上述のように、監視デバイス１１、センサ１２、及び、ロードバランサ１３は、無線を介してＬＡＮ１４（図２において不図示）に接続されている。なお、ロードバランサ１３は、ＬＡＮ１４に加えて、ＷＡＮ１５（図２において不図示）と接続されている。

工場においては、製品２１が、ベルトコンベヤ２２の上を移動している。第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃは、製品２１を異なる角度から撮影し、撮影した画像イメージをセンサ情報として監視デバイス１１へと送信する。このように、製品２１が、監視システム１０による監視対象物となる。

図３は、監視デバイス１１のハードウェア構成図である。

監視デバイス１１は、全体を制御するＣＰＵ及びＧＰＵ（Graphics Processing Unit）により構成される制御部３１と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はハードディスク等により構成され、プログラムや各種のデータ等を記憶する記憶部３２と、外部機器とのデータの入出力を行う入出力ポート３３と、ＬＡＮ１４を介して通信を行う通信部３４と、ディスプレイ、ＬＥＤ、又はスピーカ等からなりデータに応じた表示を行う表示部３５と、外部からの入力を受け付ける入力部３６と、を備える。制御部３１、記憶部３２、入出力ポート３３、通信部３４、表示部３５、及び、入力部３６は、バス接続により互いに通信可能に構成されている。

図４は、監視デバイス１１のソフトウェア構成図である。以下では、図４を用いて、本実施形態におけるコンテナ技術により構成されるソフトウェアの全体概要について説明する。また、後述の図７には、オーケストレーションツールにより動作が制御される場合におけるコンテナの動作環境となるクラスタについての構成が示されている。

監視デバイス１１は、ハードウェア４１の上に、オペレーションシステム（ＯＳ）４２がインストールされている。オペレーションシステム４２においては、汎用ミドルウェア４３に加えて、コンテナエンジン４４、及び、コンテナエンジン４４とともに動作するオーケストレーションツール４５がインストールされている。

監視デバイス１１においては、コンテナエンジン４４、及び、オーケストレーションツール４５によって、コンテナ４６の動作環境であるクラスタ４７が構成され、クラスタ４７内においてコンテナ４６のデプロイや実行などがなされる。コンテナ４６は、所定の機能を実現するように構成されており、複数のコンテナ４６が動作することで、監視デバイス１１において所望の機能が実現される。

ハードウェア４１は、図３に示されたハードウェア構成を備える。これらのハードウェア４１のリソースを用いて、監視デバイス１１は所定の動作を行うことができる。

オペレーションシステム４２は、監視デバイス１１におけるソフトウェア構成の基本システムである。オペレーションシステム４２によって、監視デバイス１１の全体の動作が制御される。

汎用ミドルウェア４３は、一般に、オペレーションシステム４２のベンダーなどにより提供される機能ブロックであり、図３に示された通信部３４による通信機能や、表示部３５による表示動作、入力部３６からの入力制御などの、基本的な動作を実現するための機能ブロックである。

コンテナエンジン４４は、オペレーションシステム４２にインストールされるミドルウェアの１つであって、コンテナ４６を動作させるエンジンである。詳細には、コンテナエンジン４４は、コンテナ４６内のミドルウェア４８に含まれる設定ファイルなどに基づいて、ハードウェア４１及びオペレーションシステム４２のリソースをコンテナ４６へ割り当てる。

オーケストレーションツール４５は、コンテナエンジン４４に対してハードウェア４１などのリソースの割り当てを適切に行わせる機能ブロックである。オーケストレーションツール４５によって、１つ又は複数のコンテナ４６がポッド（図４において不図示）と称される単位にまとめられ、各ポッドが論理的に異なるエリアであるノード（図４において不図示）にデプロイされる。オーケストレーションツール４５の詳細については、後に図５を用いて説明する。

コンテナ４６は、所定の機能を実現するアプリケーションだけでなく、ライブラリなどのミドルウェアを含む。コンテナ４６は、コンテナエンジン４４によって割り当てられたハードウェア４１及びオペレーションシステム４２のリソースを用いて動作する。コンテナエンジン４４によるコンテナ４６へのリソースの割り当ては、コンテナ４６内のミドルウェアに含まれる設定ファイルなどに基づいて行われる。このように、リソース管理がコンテナエンジン４４によって保証されるため、コンテナ４６の動作の環境依存性を低下させることができる。

なお、上述のように、本実施形態においては、監視デバイス１１は、ＧＰＵを備えている。ＧＰＵは、画像処理用途で開発されたプロセッサであり、一般に、汎用的なＣＰＵよりも行列演算の処理が速いことが知られている。ところで、ディープラーニング等の機械学習（ＡＩ（Artificial Intelligence）学習）を行う上では、膨大な行列演算を要することが多い。従って、ＧＰＵを備える監視デバイス１１は、コンテナ４６による機械学習に適した構成となっている。

図５は、センサ１２のハードウェア構成図である。

図５に示されるように、センサ１２は、ＣＰＵ等からなり全体を制御する制御部５１と、ＲＯＭ又はＲＡＭ等からなりプログラムや各種のデータ等を記憶する記憶部５２と、外部機器とのデータの入出力を行う入出力ポート５３と、ＬＡＮ１４を介して通信を行う通信部５４と、データに応じた表示を行う表示部５５と、外部からの入力を受け付ける入力部５６と、及び、外部の状態を検知する検知部５７とを備える。制御部５１、記憶部５２、入出力ポート５３、通信部５４、表示部５５、入力部５６、及び、検知部５７は、バス接続され、互いに通信可能に構成されている。

検知部５７は、本実施形態の例においては、デジタルカメラなどに用いられるイメージセンサである。検知部５７によって撮影された撮影データは、制御部５１において画像データに変換される。変換された画像データは、センサ情報として、通信部５４からＬＡＮ１４を介して、監視デバイス１１へと出力される。

図６は、センサ１２のソフトウェア構成図である。

センサ１２は、ハードウェア６１の上に、オペレーションシステム６２がインストールされている。オペレーションシステム６２においては、汎用的なドライバ６３、及び、ミドルウェア６４が動作している。ドライバ６３によってハードウェア６１の備える検知部５７が動作する。また、ドライバ６３及びミドルウェア６４上においてアプリケーション６５が所定の動作を行う。

本実施形態においては、センサ１２がカメラであるため、ドライバ６３により動作し、イメージセンサであるハードウェア６１により取得されたアナログデータは、ミドルウェア６４によって画像データに変換された後、監視デバイス１１へと送信される。また、アプリケーション６５は、ネットワークを介してカメラの電源のオン／オフや再起動を実行可能に構成されている。なお、センサ１２に、図４に示されるような監視デバイス１１が有するコンテナエンジン４４及びオーケストレーションツール４５はインストールされていないものとする。

図７は、オーケストレーションツール４５が用いられる場合の一般的なクラスタ４７のソフトウェアの概略構成図である。

オーケストレーションツール４５は、コンテナエンジン４４が割り当てるハードウェアリソースを管理するために、コンテナ４６が動作する論理的な空間としてクラスタ４７を構成する。

本実施形態においては、オーケストレーションツール４５は、監視デバイス１１のハードウェアリソースを用いて、クラスタ４７を形成する。なお、他の例として、オーケストレーションツール４５を備える他のハードウェアが監視デバイス１１と並列的に設けられる場合には、監視デバイス１１及び他のハードウェアのリソースを用いて、クラスタ４７が形成される。

オーケストレーションツール４５は、コンテナ４６の実行環境の管理を、ノード７１と称される単位で行う。同時に、オーケストレーションツール４５によって、ノード７１の全体の動作を管理するマスタ７２が設けられる。

ノード７１においては、この図の例においては、２つのポッド７１１がデプロイされている。ポッド７１１は、複数のコンテナ４６からなる所定のサービスを実現する機能ブロックであり、この図では、２つのコンテナ４６を有する例が示されている。ポッド７１１は、オーケストレーションツール４５によってコンテナ４６を管理する単位となる。ノード７１内におけるポッド７１１の全体の動作は、ポッド管理ライブラリ７１２により制御される。

ポッド管理ライブラリ７１２は、論理的に割り当てられたハードウェアリソースをポッド７１１（コンテナ４６）に使用させるためのコンテナランタイム７１２１、マスタ７２からの制御を受け付けるエージェント７１２２、及び、ポッド７１１間やノード７１とマスタ７２との間などの通信を行うネットワーク（ＮＷ）プロキシ７１２３などを有する。このような構成を備えるポッド管理ライブラリ７１２によって、ポッド７１１は、同一のノード７１内のポッド７１１や、他のノード７１のポッド７１１などと相互に通信しながら、ハードウェアリソースを用いて、所定の機能を実現する。

マスタ７２は、ターミナル１６からの入力等に応じてポッド７１１のデプロイを行うアプリサーバ７２１、アプリサーバ７２１によるコンテナ４６のデプロイ状況を管理するマネージャ７２２、どのノード７１にコンテナ４６を配置するかを決定するスケジューラ７２３、及び、データの共有を行うデータ共有部７２４などを含む。マスタ７２による動作の一例として、ポッド７１１の起動動作が図１１に、再起動動作が図１４に示されている。

図８は、本実施形態におけるクラスタ４７の概略構成図である。この図においては、図７に示された構成における個々のポッド７１１の構成が明確化されている。なお、この図においては、可読性のために、図７に示されていたノード７１内のポッド管理ライブラリ７１２、及び、マスタ７２の内部構成を省略している。また、ポッド７１１を構成する複数のコンテナ４６についても、記載を省略している。

監視デバイス１１のハードウェア資源により構成されるクラスタ４７は、３つのノード７１、すなわち、第１ノード７１Ａ、第２ノード７１Ｂ、及び、第３ノード７１Ｃと、１つのマスタ７２とを備える。

第１ノード７１Ａにおいては、監視ポッド８１Ａ、良否判定ポッド８２Ａ、及び、ＱｏＳ判定ポッド８３がデプロイされる。監視ポッド８１Ａ、良否判定ポッド８２Ａ、及び、ＱｏＳ判定ポッド８３は、それぞれが所定の処理を行うことで、全体として所望の機能を実現する。第２ノード７１Ｂにおいては、監視ポッド８１Ｂ、及び、良否判定ポッド８２Ｂがデプロイされる。第３ノード７１Ｃにおいては、監視ポッド８１Ｃ、及び、良否判定ポッド８２Ｃがデプロイされる。なお、監視ポッド８１、及び、良否判定ポッド８２は、信頼性判定ポッドの一例であり、ＱｏＳ判定ポッド８３はセンサ情報処理ポッドの一例である。

第１ノード７１Ａの監視ポッド８１Ａ、良否判定ポッド８２Ａ、及び、ＱｏＳ判定ポッド８３と、第２ノード７１Ｂの監視ポッド８１Ｂ、及び、良否判定ポッド８２Ｂと、第３ノード７１Ｃの監視ポッド８１Ｃ、及び、良否判定ポッド８２Ｃとは、図７に示されたポッド管理ライブラリ７１２のネットワークプロキシ７１２３によって、互いに通信可能に構成されている。

さらに、監視ポッド８１Ａは、第１センサ１２Ａと通信可能に構成され、監視ポッド８１Ｂは、第２センサ１２Ｂと通信可能に構成され、監視ポッド８１Ｃは、第３センサ１２Ｃと通信可能に構成されている。すなわち、図の例においては、各監視ポッド（８１Ａ、８１Ｂ、８１Ｃ）又は各ノード（７１Ａ、７１Ｂ、７１Ｃ）は、各センサ（１２Ａ、１２Ｂ、１２Ｃ）と互いに１対１に対応付けられている。なお、このようなクラスタ４７の内外を接続する通信ネットワークについては、後に、図９を用いて説明する。

監視ポッド８１Ａは、第１センサ１２Ａにおいて撮影された画像データを受け付けると、その画像データを所定のタイミングで良否判定ポッド８２Ａへと送信する。同時に、監視ポッド８１Ａは、画像データを、ＬＡＮ１４、及び、ＷＡＮ１５を介して、ターミナル１６へと送信してもよい。

良否判定ポッド８２Ａは、入力画像とその画像内の物体の認識及び検出精度との対応関係を学習した学習済みモデルを含む判定エンジンを備える。この判定エンジンは、イメージレジストリ１７などに記憶されており、予め、良否判定ポッド８２Ａにダウンロードされる。良否判定ポッド８２Ａは、監視ポッド８１Ａから第１センサ１２Ａにより撮影された画像データを受け付けると、判定エンジンを用いて、当該画像データに係る画像内の物体の認識及び検出精度に関する値、すなわち、センサ１２の信頼性が算出される。また、良否判定ポッド８２Ａは、この信頼性が著しく低い場合にはセンサ１２が正常に動作していないと判定する。例えば、第１センサ１２Ａが８０％の可能性で画像内の物体を認識及び検出しているものと予想される場合、第１センサ１２Ａの信頼性は８０％となる。

同様に、第２ノード７１Ｂにおいては、監視ポッド８１Ｂが、第２センサ１２Ｂにより撮影された画像データを受け付け、良否判定ポッド８２Ｂは、画像データに基づいて第２センサ１２Ｂの信頼性を求める。第３ノード７１Ｃにおいては、監視ポッド８１Ｃが、第３センサ１２Ｃにより撮影された画像データを受け付け、良否判定ポッド８２Ｃは、画像データに基づいて第３センサ１２Ｃの信頼性を求める。

なお、センサ１２の信頼性は、画像データ以外のデータを用いて判定されてもよい。例えば、温度センサを用いる場合には温度データ等、他のセンサデータを利用してもよい。また、センサ１２は組み合わせて利用してもよく、例えば温度センサ付きのカメラである場合には、温度センサにより取得されるセンサ１２の動作温度と画像データとに基づいて、信頼性を算出してもよい。

ＱｏＳ判定ポッド８３は、第１ノード７１Ａの良否判定ポッド８２Ａ、第２ノード７１Ｂの良否判定ポッド８２Ｂ、及び、第３ノード７１Ｃの良否判定ポッド８２Ｃから、それぞれの良否判定ポッド８２により求められたセンサ１２の信頼性を受け付ける。そして、ＱｏＳ判定ポッド８３は、故障したセンサ１２の有無を判定するとともに、信頼性の高いセンサ１２により取得された情報に基づいて、製品２１の良否を判定する。

図９は、監視システム１０のネットワーク構成を示す図である。

監視デバイス１１、第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２Ｃは、ＬＡＮ１４に接続されており、それぞれが個々のＩＰアドレスを有する。この図の例におけるＩＰアドレスは、監視デバイス１１は１９２．１６８．１．１であり、第１センサ１２Ａは１９２．１６８．１．２であり、第２センサ１２Ｂは１９２．１６８．１．３であり、第３センサ１２Ｃは１９２．１６８．１．４である。

また、オーケストレーションツール４５が用いられる場合には、ノード７１の間の通信を行うために、別途、クラスタ４７の内部にクラスタネットワークが構成される。本実施形態の例においては、クラスタネットワークは、１０．２４４．０．０／１６、すなわち、１０．２４４．０．０〜１０．２４４．２５５．２５５までのＩＰアドレスが用いられるものとする。また、クラスタ４７内のノード７１は、それぞれ、ソフトウェアにより実現されるブリッジ９１を備え、ブリッジ９１はクラスタ４７内のノード７１の通信に用いられる。

第１ノード７１Ａにおいては、ブリッジ９１Ａが、第１ノード７１Ａ外のＬＡＮ１４側のＩＰアドレスと、第１ノード７１Ａ内におけるクラスタネットワークのＩＰアドレスとの対応付けを行う。この例においては、第１ノード７１Ａ内においては、１０．２４４．２．０／２４のサブネットワーク、すなわち、１０．２４４．２．０〜１０．２４４．２．２５５までのＩＰアドレスが用いられるものとする。ブリッジ９１Ａは、ノード外においては１９２．１６８．１．１のＩＰアドレスであるとともに、第１ノード７１Ａ内では１０．２４４．２．１となる。そして、ブリッジ９１Ａは、第１ノード７１Ａ内において１０．２４４．２．０／２４のサブネットワークに従ったネットワーク設定を行い、監視ポッド８１Ａは１０．２４４．２．４となり、良否判定ポッド８２Ａは１０．２４４．２．５となり、ＱｏＳ判定ポッド８３は１０．２４４．２．６となる。

同様に、第２ノード７１Ｂにおいては、ブリッジ９１Ｂが、第２ノード７１Ｂ外のＬＡＮ１４におけるＩＰアドレスと、第２ノード７１Ｂ内におけるＩＰアドレスとの対応付けを行う。第２ノード７１Ｂ内においては、１０．２４４．３．０／２４のサブネットワークが用いられる。ブリッジ９１Ｂは、第２ノード７１Ｂ内では１０．２４４．３．１となる。そして、ブリッジ９１Ｂは、第２ノード７１Ｂ内において１０．２４４．３．０／２４のサブネットワークに従ったネットワーク設定を行い、監視ポッド８１Ｂは１０．２４４．３．４となり、良否判定ポッド８２Ｂは１０．２４４．３．５となる。

第３ノード７１Ｃにおいては、ブリッジ９１Ｃが、第３ノード７１Ｃ外のＬＡＮ１４におけるＩＰアドレスと、第３ノード７１Ｃ内におけるＩＰアドレスとの対応付けを行う。この例においては、第３ノード７１Ｃ内においては、１０．２４４．４．０／２４のサブネットワークが用いられる。ブリッジ９１Ｃは、第３ノード７１Ｃ内では１０．２４４．４．１となる。そして、ブリッジ９１Ｃは、第３ノード７１Ｃ内において１０．２４４．４．０／２４のサブネットワークに従ったネットワーク設定を行い、監視ポッド８１Ｃは１０．２４４．４．４となり、良否判定ポッド８２Ｃは１０．２４４．４．５となる。

このようにＩＰアドレスが設定されることで、第１センサ１２Ａは、ブリッジ９１Ａを介して監視ポッド８１Ａと通信をすることができる。同様に、第２センサ１２Ｂは、ブリッジ９１Ｂを介して監視ポッド８１Ｂと通信をすることができ、第３センサ１２Ｃは、ブリッジ９１Ｃを介して監視ポッド８１Ｃと通信をすることができる。このような構成によれば、物理的なセンサ（１２Ａ、１２Ｂ、１２Ｃ）と、管理単位である監視ポッド（８１Ａ、８１Ｂ、８１Ｃ）とが互いに１対１に対応付けられているので、センサ情報の管理が容易となるばかりでなく、後述の復旧動作等にも好適となる。なお、ブリッジ９１は、図７に示されたネットワークプロキシ７１２３の一部又は全部により構成されてもよい。

なお、不図示のマスタ７２によって、クラスタネットワークの１０．２４４．０．０／１６と、個々のノード７１内の１０．２４４．ｎ．０／２４のサブネットワークとの対応付けを行ってもよい。すなわち、マスタ７２によって、クラスタネットワークの１０．２４４．０．０／１６において個々のノード７１毎に排他に設定される１０．２４４．ｎ．０／２４のサブネットワークへのルーティング、すなわち、第１ノード７１Ａ内の１０．２４４．２．０／２４、第２ノード７１Ｂ内の１０．２４４．３．０／２４、及び、第３ノード７１Ｃ内の１０．２４４．４．０／２４へのルーティングを行ってもよい。

図１０は、監視デバイス１１へのコンテナ４６のデプロイ処理を示すフローチャートである。

ステップＳ１０１において、予め、イメージレジストリ１７は、所定の機能を実行するようにプログラムされたコンテナ４６のイメージファイルを記憶する。なお、コンテナ４６の開発をイメージレジストリ１７上において行う場合には、開発環境にあるコンテナイメージをリリース環境へと移動させる。

ステップＳ１０２において、イメージレジストリ１７は、ノード７１からのデプロイ要求を受け付けると、ロードバランサ１３経由で、コンテナイメージを監視デバイス１１にプッシュ配信して、処理を終了する。このようにすることで、監視デバイス１１において、コンテナ４６がデプロイされる。

なお、オーケストレーションツール４５が用いられる場合には、ステップＳ１０１においては、イメージレジストリ１７は、ポッド７１１単位でコンテナ４６のイメージを管理する。また、イメージレジストリ１７は、オペレーションシステム４２、コンテナエンジン４４、及び、オーケストレーションツール４５などのプログラムを記憶し、これらのプログラムを監視デバイス１１に送信してもよい。

図１１は、監視デバイス１１におけるポッド７１１の起動処理を示すフローチャートである。このフローチャートに示される処理は、主に、マスタ７２のアプリサーバ７２１、マネージャ７２２、スケジューラ７２３、及び、データ共有部７２４により行われる。

ステップＳ１１１において、アプリサーバ７２１は、ポッド７１１の起動要求を受け付ける。

ステップＳ１１２において、アプリサーバ７２１は、データ共有部７２４に記憶されているポッド管理シートを更新して、ポッド７１１が起動されたことを記録する。

ステップＳ１１３において、スケジューラ７２３は、ポッド管理シートを監視しており、ポッド管理シートの更新を検知することでポッド７１１が起動されたことを検出する。

ステップＳ１１４において、スケジューラ７２３は、各ノード７１におけるハードウェアリソースの使用状態等に応じて、起動を検出したポッド７１１を、第１ノード７１Ａ、第２ノード７１Ｂ、及び、第３ノード７１Ｃのいずれにデプロイするかを決定する。

ステップＳ１１５において、スケジューラ７２３は、データ共有部７２４に記憶されているポッド管理シートを更新して、新たにポッド７１１をデプロイするノード７１を記録する。なお、このポッド管理シートの更新は、アプリサーバ７２１に指示することで行われる。

ステップＳ１１６において、各ノード７１は、ポッド管理シートを監視しており、ポッド管理シートに示されるポッド７１１が起動されるノード７１が自身である場合には、イメージレジストリ１７に対してポッド７１１のコンテナイメージの取得を要求する。ノード７１は、イメージレジストリ１７からポッド７１１のコンテナイメージを取得すると、ポッド７１１をデプロイする。そして、ノード７１内に設けられたブリッジ９１が、デプロイされたポッド７１１に対してクラスタネットワークやノード７１のサブネットワークに従ったネットワーク設定を行い、処理を終了する。

このようにして、ノード７１においてポッド７１１をデプロイすることができる。

図１２は、センサ１２における画像データ（センサ情報）の取得処理を示すフローチャートである。

ステップＳ１２１において、センサ１２は、イメージセンサを用いて製品２１を示す画像信号を取得し、その画像信号を所定の画像フォーマットへと変換することでセンサ情報としての画像データを作成する。

ステップＳ１２２において、センサ１２は、対応するノード７１においてデプロイされた監視ポッド８１に、取得した製品２１の画像データを送信して、処理を終了する。

図１３は、ＱｏＳ判定処理を示すフローチャートである。なお、このフローチャートに示される処理は、主に、各ノード７１の監視ポッド８１及び良否判定ポッド８２と、第１ノード７１ＡのＱｏＳ判定ポッド８３により行われる。

ステップＳ１３１において、監視ポッド８１は、対応するセンサ１２から製品２１の画像データを取得すると、同じノード７１の良否判定ポッド８２に画像データを送信する。良否判定ポッド８２は、画像データに基づいてセンサ１２の信頼性を算出すると、算出した信頼性をＱｏＳ判定ポッド８３へと出力する。

良否判定ポッド８２は、画像データに対して、信頼性の判定処理を行う判定エンジンを動作させることにより、センサ１２の信頼性を算出する。判定エンジンは、本実施形態においては、入力画像とその画像内の物体の認識及び検出精度との対応関係を学習した学習済モデルである。例えば、入力される画像データに係る画像が著しくぶれている場合や、通常には存在しない色が含まれる場合、又は何らかの障害物が存在する場合等には、そのセンサ１２の信頼性は低く算出される。一方で、画像データに製品２１の影が映りこむ程度の場合には、この影はセンサ１２の信頼性の判定結果に大きな影響を与えない。なお、判定エンジンの構成は、機械学習を用いたものに限定されず、例えば、所定の画像とのテンプレートマッチング等により行ってもよい。

ステップＳ１３２において、ＱｏＳ判定ポッド８３は、良否判定ポッド８２Ａ〜８２Ｃから所定の数の信頼性を取得したか否かを判定する、例えば、ＱｏＳ判定ポッド８３は、３つのセンサ１２と対応する良否判定ポッド８２から３つずつの信頼性を取得したか否かを判定する。

ＱｏＳ判定ポッド８３は、それぞれの良否判定ポッド８２から各センサ１２の所定数の信頼性を受信していない場合には（Ｓ１３２：Ｎｏ）、ステップＳ１３１の処理に戻る。ＱｏＳ判定ポッド８３は、それぞれのセンサ１２から所定数の信頼性を受信した場合には（Ｓ１３２：Ｙｅｓ）、次に、ステップＳ１３３の処理へと進む。例えば、ＱｏＳ判定ポッド８３は、それぞれの良否判定ポッド８２から、３つずつセンサ１２の信頼性を受信しているか否かを判定する。

ステップＳ１３３において、ＱｏＳ判定ポッド８３は、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃのそれぞれについて、受信した信頼性の平均を算出し、平均信頼性として求める。

ステップＳ１３４において、ＱｏＳ判定ポッド８３は、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃのそれぞれの平均信頼性を比較する。

ＱｏＳ判定ポッド８３は、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃの平均信頼性が概ね等しい場合には、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃの全てが正常に動作していると判断する。第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃの平均信頼性について、１つのセンサ１２の信頼性が他の２つのセンサ１２の信頼性と大きく異なる場合には、ＱｏＳ判定ポッド８３は、その大きく異なる信頼性を求めたセンサ１２を正常に動作しておらず故障していると判断する。

なお、正常に動作していないセンサ１２の判定は、標準偏差や分散などの処理を用いて行うことができる。また、ステップＳ１３３、Ｓ１３４の処理を省略し、ＱｏＳ判定ポッド８３は、各センサ１２についての所定の個数の信頼性の全て用いて、他と大きな差のある信頼性が複数回算出されたセンサ１２を故障と判断してもよい。さらに、単に所定の閾値との比較により、センサ１２が故障しているか否かを判断してもよい。

また、ＱｏＳ判定ポッド８３は、センサ１２毎の所定数の信頼性を全て比較し、１度でも信頼性が低いと判断されたセンサ１２を、故障していると判断してもよい。

ＱｏＳ判定ポッド８３は、第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２Ｃの全てが正常に動作していると判断すると、故障したセンサ１２がないと判断して（Ｓ１３５：Ｎｏ）、次に、ステップＳ１３９の処理を行う。ＱｏＳ判定ポッド８３は、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃのうちのいずれかのセンサ１２が正常に動作していないと判断すると、故障したセンサ１２があると判断して（Ｓ１３５：Ｙｅｓ）、次に、ステップＳ１３６の処理を行う。

ステップＳ１３６において、ＱｏＳ判定ポッド８３は、故障しているセンサ１２に対して、再起動するように指示する。

ステップＳ１３７において、ＱｏＳ判定ポッド８３は、故障しているセンサ１２と対応する監視ポッド８１、及び、良否判定ポッド８２に対して、再起動するように指示する。なお、監視ポッド８１、及び、良否判定ポッド８２を含むポッド７１１の一般的な再起動処理については、図１４を用いて説明する。

ステップＳ１３８において、ＱｏＳ判定ポッド８３は、再起動したセンサ１２及び監視ポッド８１を記録するとともに、再起動したセンサ１２及び監視ポッド８１の情報をターミナル１６へと出力して、処理を終了する。

ステップＳ１３９において、ＱｏＳ判定ポッド８３は、信頼性が最も高いと判定されたセンサ１２により取得されたセンサ情報を用いて、製品２１の良否を判定する。この良否判定は、例えば、入力画像と当該画像内に写る製品２１の良品度（又は不良品度）との対応関係を学習させた学習済モデルを用いて行ってもよいし、所定の画像とのテンプレートマッチングにより行ってもよい。

そして、ＱｏＳ判定ポッド８３は、判定した製品２１の良否結果をターミナル１６へと送信して、処理を終了する。なお、ステップＳ１３９において、信頼性の判定エンジンである学習済みモデルに対して所定のフィードバックを行い、判定エンジンに対して追加学習を行わせることができる。一例として、判定エンジンにおいては、他のセンサ１２Ａ〜１２Ｃの信頼性の値を利用して、学習済モデルに追加学習をさせてもよい。

また、信頼性が最も高いと判定されたセンサ１２に代えて、信頼性が一定以上の複数のセンサ１２に基づいて製品２１の良否を判定してもよい。機械学習については、ＱｏＳ判定ポッド８３における判定エンジン以外にも、他のポッドの判定や判断の処理において行わせてもよい。

このようにして、ターミナル１６において、第１センサ１２Ａ、第２センサ１２Ｂ、第３センサ１２Ｃの信頼性に加え、最終的な製品２１の良否や、センサ１２の故障状態などを表示することができる。

図１４は、監視デバイス１１におけるポッド７１１の再起動処理を示すフローチャートである。このフローチャートに示される処理は、図１１に示されたポッド７１１の起動処理と同様に、主に、マスタ７２のアプリサーバ７２１、マネージャ７２２、スケジューラ７２３、及び、データ共有部７２４により行われる。

ステップＳ１４１において、アプリサーバ７２１は、ポッド７１１の停止要求を受け付ける。

ステップＳ１４２において、アプリサーバ７２１は、データ共有部７２４に記憶されているポッド管理シートを更新して、ポッド７１１が停止されたことを記録する。

ステップＳ１４３において、スケジューラ７２３は、ポッド管理シートを監視しており、ポッド管理シートの更新を検知することでポッド７１１が停止されたことを検出する。

ステップＳ１４４において、スケジューラ７２３は、各ノード７１におけるハードウェアリソースの使用状態等に応じて、再起動を検出したポッド７１１を、第１ノード７１Ａ、第２ノード７１Ｂ、及び、第３ノード７１Ｃのいずれにデプロイするかを決定する。なお、ポッド７１１を再起動させるノード７１は、再起動前にポッド７１１がデプロイされていたノード７１と同じであっても異なってもよい。

ステップＳ１４５において、スケジューラ７２３は、データ共有部７２４に記憶されているポッド管理シートを更新して、再起動するポッド７１１をデプロイするノード７１を記録する。

ステップＳ１４６において、各ノード７１は、ポッド管理シートを監視しており、ポッド管理シートに示されるポッド７１１が再起動されるノード７１が自身である場合には、イメージレジストリ１７に対してポッド７１１のコンテナイメージの取得を要求する。そして、ノード７１は、イメージレジストリ１７からポッド７１１のコンテナイメージを取得すると、ポッド７１１をデプロイする。そして、ブリッジ９１が、デプロイされたポッド７１１に対して、クラスタネットワークやノード７１のサブネットワークに従ってネットワーク設定を行い、処理を終了する。

このようにして、監視デバイス１１と、複数のセンサ１２により構成され、コンテナオーケストレーションツールを用いて実現された監視システム１０において、ＬＡＮ１４を介して接続されるセンサ１２が所定の状態にないこと（例えば、故障状態）を検出する。そして、そのような所定の状態にないセンサ１２を再起動させることで、監視システム１０を安定運用することができる。

本実施形態によれば、以下の効果を得ることができる。

本実施形態の監視システム１０によれば、ノード７１において、センサ１２から受け付けるセンサ情報からセンサ１２の信頼性を算出する良否判定ポッド８２と、算出された複数のセンサ１２の信頼性を比較するＱｏＳ判定ポッド８３とを有する。ＱｏＳ判定ポッド８３は、比較的高い信頼性を求めたセンサ１２のセンサ情報に基づいて製品２１の良否を判定することで製品２１の監視を行う。ＱｏＳ判定ポッド８３によって、複数のセンサ１２の中から信頼性の高いセンサ１２の取得したセンサ情報を用いて製品２１の良否が判定されるので、監視システム１０による製品２１の監視精度を向上させることができる。

さらに、本実施形態の監視システム１０によれば、センサ１２と監視ポッド８１とは１対１に対応付けて構成されている。このような構成となることで、監視システム１０が複数のセンサ１２を有する場合であっても、対応する監視ポッド８１によってそれぞれのセンサ１２の信頼性を算出できる。そのため、負荷が分散されるとともに、センサ１２の耐久性を向上させることができるので、監視システム１０による製品２１の監視精度を向上させることができる。

さらに、本実施形態の監視システム１０によれば、良否判定ポッド８２に用いられる判定エンジンにおいて、算出されたセンサ１２毎の信頼性を利用することにより、学習済モデルに追加で機械学習をさせてもよい。このようにすることで、良否判定ポッド８２によるセンサ１２の信頼性の算出精度を向上させることができる。そのため、監視システム１０による製品２１の監視精度を向上させることができる。

さらに、本実施形態の監視システム１０によれば、ＱｏＳ判定ポッド８３は、複数のセンサ１２の信頼性を比較することにより、センサ１２の全てが正常に動作しているか否かを判定し、信頼性が低いセンサ１２は故障していると判断して、再起動させる。

本実施形態においては、第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２Ｃの３つのセンサ１２が設けられている。これらの３つのセンサ１２が正常に動作している場合には、これらのセンサ１２の信頼性は、概ね等しくなる。

しかしながら、これらの信頼性のうち１つが他の２つと大きく異なる場合には、ＱｏＳ判定ポッド８３は、その大きく信頼性が異なるセンサ１２が正常に動作しておらず故障していると判断する。そして、ＱｏＳ判定ポッド８３は、故障と判断されたセンサ１２を再起動させる。

このように構成されることにより、センサ１２の故障を検知し、故障したセンサ１２を再起動できるため、監視システム１０をより安定的に運用できる。

さらに、本実施形態の監視システム１０によれば、故障と判断されたセンサ１２に対応する監視ポッド８１、及び、良否判定ポッド８２を再起動させる。コンテナオーケストレーション技術においては、ポッド７１１の再起動をシームレスに行えることが知られており、さらに、ポッド７１１が動作するハードウェアのリソースが故障などにより使用できない場合には、自動的に他のハードウェアのノード７１においてポッド７１１を再起動させる。そのため、ノード７１の動作するハードウェアが故障した場合でも、ポッド７１１の再起動を正常に動作するハードウェアで行うことができるため、システムを安定的に運用できる。

さらに、本実施形態の監視システム１０によれば、センサ１２、及び、監視デバイス１１は、ＬＡＮ１４と接続されており、監視デバイス１１は、センサ１２の取得するセンサ情報を監視する。監視デバイス１１においては、コンテナエンジン４４によって、オペレーションシステム４２のハードウェアリソースを論理的に割り当てることによりノード７１を構成し、さらに、オーケストレーションツール４５によってノード７１を管理する。ノード７１は、１つ以上のコンテナ４６により構成されるポッド７１１の動作を管理するとともに、ポッド７１１間の通信に用いられる仮想的な第２ネットワークであるクラスタネットワークを提供する。そして、監視デバイス１１は、ＬＡＮ１４とクラスタネットワークとの対応付けを行うブリッジ９１を有する。

このような構成においては、ブリッジ９１において、ＬＡＮ１４とクラスタネットワークとの対応付けが行われる。図９に示されるように、例えば、ブリッジ９１Ａ〜９１Ｃは、ＬＡＮ１４側の１９２．１６８．１．１と、複数のノード７１により構成されるクラスタネットワーク１０．２４４．０．０／１６との対応付けを行う。

第１ノード７１Ａのブリッジ９１Ａは、ＬＡＮ１４側のネットワークである１９２．１６８．１．１と、クラスタネットワーク内のサブネットワークである１０．２４４．２．０／２４との対応付けを行う。すなわち、ブリッジ９１Ａは、第１ノード７１Ａの監視ポッド８１Ａに対して、１０．２４４．２．４のＩＰアドレスを割り当てる。

そのため、ＬＡＮ１４に接続され１９２．１６８．１．２のＩＰアドレスを有する第１センサ１２Ａは、ブリッジ９１Ａを介して、第１ノード７１Ａの監視ポッド８１Ａと通信することができる。その結果、監視デバイス１１が有する監視ポッド８１Ａは、第１センサ１２Ａのセンサ情報を取得することができる。このようにして、監視システム１０において、センサ１２により取得されるセンサ情報を監視することができる。

さらに、本実施形態の監視システム１０によれば、ブリッジ９１は、ノード７１毎に設けられる。図９の例においては、ブリッジ９１Ａは、第１ノード７１Ａに設けられ、１９２．１６８．１．１と、１０．２４４．２．０／２４のサブネットワークとの対応付けを行う。ブリッジ９１Ｂは、第２ノード７１Ｂに設けられ、１９２．１６８．１．１と、１０．２４４．３．０／２４のサブネットワークとの対応付けを行う。ブリッジ９１Ｃは、第３ノード７１Ｃに設けられ、１９２．１６８．１．１と、１０．２４４．４．０／２４のサブネットワークとの対応付けを行う。なお、１０．２４４．０．０／１６のネットワークにおいて、複数の１０．２４４．ｎ．０／２４（ｎ＝０〜２５５）は、互いに重複せずに排他である。

このように、ノード７１毎にブリッジ９１が設けられることにより、それぞれのブリッジ９１が扱うノード７１内のサブネットワークにおけるＩＰアドレスを制限することができる。例えば、ブリッジ９１Ａにおいては、１０．２４４．２．０／２４のサブネットワーク、すなわち、１０．２４４．２．０〜１０．２４４．２．２５５が扱われる。このようにノード７１毎に取り扱うＩＰアドレスが制限されることにより、ブリッジ９１ＡにおけるＩＰアドレスの変換処理を軽減することができるので、監視システム１０の処理及び通信速度の向上を図ることができる。

（第１変形例）
上述の実施形態においては、第１センサ１２Ａのセンサ情報を受け付ける監視ポッド８１Ａ、第２センサ１２Ｂのセンサ情報を受け付ける監視ポッド８１Ｂ、及び、第３センサ１２Ｃのセンサ情報を受け付ける監視ポッド８１Ｃが、それぞれ異なるノード７１にデプロイされる例について説明したが、これに限らない。第１変形例においては、監視ポッド８１Ａ〜８１Ｃが同じノード７１にデプロイされる例について説明する。

図１５は、第１変形例におけるクラスタ４７の概略構成図である。

第１変形例では、クラスタ４７において、ＱｏＳ判定ポッド８３は、第１ノード７１Ａにデプロイされる。そして、第１センサ１２Ａと対応する監視ポッド８１Ａ及び良否判定ポッド８２Ａ、第２センサ１２Ｂと対応する監視ポッド８１Ｂ及び良否判定ポッド８２Ｂ、及び、第３センサ１２Ｃと対応する監視ポッド８１Ｃ及び良否判定ポッド８２Ｃが、第２ノード７１Ｂにデプロイされる。

図１６は、監視システム１０のネットワーク構成を示す図である。

監視デバイス１１は、ＬＡＮ１４と接続されており、ＩＰアドレスは１９２．１６８．１．１である。また、監視デバイス１１のハードウェア資源により構成されるクラスタ４７のクラスタネットワークは、１０．２４４．０．０／１６である。

第１ノード７１Ａにおいては、ブリッジ９１Ａによって第１ノード７１Ａの内外のＩＰアドレスの対応付けが行われる。第１ノード７１Ａの内部においては、１０．２４４．２．０／２４のサブネットワークが用いられ、ブリッジ９１Ａは１０．２４４．２．１であり、ＱｏＳ判定ポッド８３は１０．２４４．２．４である。

第２ノード７１Ｂにおいては、ブリッジ９１Ｂによって第２ノード７１Ｂの内外のＩＰアドレスの対応付けが行われる。第２ノード７１Ｂの内部においては、１０．２４４．３．０／２４のサブネットワークが用いられ、ブリッジ９１Ａは１０．２４４．３．１となる。

そして、ブリッジ９１Ａは、１０．２４４．３．０／２４のサブネットワークに従ったネットワーク設定を行う。第１センサ１２Ａと対応する構成のうち、監視ポッド８１Ａは１０．２４４．３．４であり、良否判定ポッド８２Ａは１０．２４４．３．５である。第２センサ１２Ｂと対応する構成のうち、監視ポッド８１Ｂは１０．２４４．３．６であり、良否判定ポッド８２Ｂは１０．２４４．３．７である。第３センサ１２Ｃと対応する構成のうち、監視ポッド８１Ｃは１０．２４４．３．８であり、良否判定ポッド８２Ｂは１０．２４４．３．９である。

このように構成において、クラスタネットワークの外部に位置する第１センサ１２Ａ、は、ブリッジ９１Ｂを介して第２ノード７１Ｂ内の監視ポッド８１Ａと通信できる。同様に、第２センサ１２Ｂは、ブリッジ９１Ｂを介して監視ポッド８１Ｂと通信でき、第３センサ１２Ｃは、ブリッジ９１Ｂを介して監視ポッド８１Ｃと通信できる。また、監視ポッド８１Ａ、８１Ｂ、８１Ｃは、ブリッジ９１Ｂ、９１Ａを介して、ＱｏＳ判定ポッド８３と通信できる。

このような監視システム１０においても、監視デバイス１１と複数のセンサ１２とにより構成され、オーケストレーションツール４５を用いた監視システム１０を構成することができる。

（第２変形例）
上述の実施形態、及び、第１変形例においては、センサ１２にオーケストレーションツール４５が用いられない例について説明したが、これに限らない。第２変形例においては、センサ１２にオーケストレーションツール４５が用いられる例について説明する。

図１７は、第２変形例における監視システム１０のネットワーク構成を示す図である。

第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２Ｃは、オーケストレーションツール４５を備える。そのため、監視デバイス１１、第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２Ｃのハードウェア資源によりクラスタ４７が構成され、クラスタ４７内において１０．２４４．０．０／１６のサブネットワークのＩＰアドレスが用いられる。

なお、第１ノード７１Ａ、第２ノード７１Ｂ、及び、第３ノード７１Ｃは、監視デバイス１１により構成される。第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２Ｃには、それぞれに１つずつ、第４ノード７１Ｄ、第５ノード７１Ｅ、及び、第６ノード７１Ｆが設けられる。

第１センサ１２Ａに設けられる第４ノード７１Ｄにおいては、クラスタネットワークにおける１０．２４４．５．０／２４のサブネットワークに従って、ＩＰアドレスが設定される。第１センサ１２Ａが備えるブリッジ１７０１Ｄは、ノード外においては１９２．１６８．１．２のＩＰアドレスであるとともに、ノード内では１０．２４４．５．１となる。そして、検知ポッド１７０２Ｄは、１０．２４４．５．４となる。なお、検知ポッド１７０２Ｄは、画像データの生成などを行う。

第２センサ１２Ｂに設けられる第５ノード７１Ｅにおいては、クラスタネットワークにおける１０．２４４．６．０／２４のサブネットワークに従って、ＩＰアドレスが設定される。第２センサ１２Ｂが備えるブリッジ１７０１Ｅは、ノード外においては１９２．１６８．１．３であるとともに、ノード内では１０．２４４．６．１となる。検知ポッド１７０２Ｅは、１０．２４４．６．４である。

第３センサ１２Ｃに設けられる第６ノード７１Ｆにおいては、クラスタネットワークにおける１０．２４４．７．０／２４のサブネットワークに従って、ＩＰアドレスが設定される。第３センサ１２Ｃが備えるブリッジ１７０１Ｆは、ノード外においては１９２．１６８．１．４であるとともに、ノード内では１０．２４４．７．１となる。そして、検知ポッド１７０２Ｆは、１０．２４４．７．４である。

このような構成においては、監視デバイス１１の外部に位置するセンサ１２は、監視デバイス１１とともにクラスタ４７を形成する。そのため、第１センサ１２Ａの検知ポッド１７０２Ｄは、クラスタネットワークを介して、第１ノード７１Ａの監視ポッド８１Ａと通信することができる。同様に、クラスタネットワークを介して、第２センサ１２Ｂの検知ポッド１７０２Ｅは、第２ノード７１Ｂの監視ポッド８１Ｂと通信でき、第３センサ１２Ｃの検知ポッド１７０２Ｆは、第３ノード７１Ｃの監視ポッド８１Ｃと通信できる。

このような監視システム１０においても、監視デバイス１１と複数のセンサ１２とにより構成され、オーケストレーションツール４５を用いた監視システム１０を構成することができる。

（第３変形例）
上述の実施形態、及び、第１、２変形例においては、監視システム１０が、監視デバイス１１、センサ１２、及び、ロードバランサ１３により構成される例について説明したしたが、これに限らない。第３変形例においては、監視システム１０が、さらに、追加サーバを備える例について説明する。

図１８は、第３変形例における監視システム１０の構成を示すブロック図である。

この図においては、図１に示された例と比較すると、監視システム１０において、さらに、追加サーバ１８０１Ａ、１８０１Ｂが、ＬＡＮ１４に接続されている。

追加サーバ１８０１Ａ、１８０１Ｂは、汎用的なコンピュータであるとともに、オーケストレーションツール４５を備える。追加サーバ１８０１Ａ、１８０１Ｂのハードウェア及びソフトウェアは、それぞれ、図３及び図４に示される構成と同様である。

図１９は、監視システム１０のネットワーク構成を示す図である。

第１ノード７１Ａは監視デバイス１１に設けられ、第２ノード７１Ｂは追加サーバ１８０１Ａに設けられ、第３ノード７１Ｃは追加サーバ１８０１Ｂに設けられる。そして、監視デバイス１１、追加サーバ１８０１Ａ、１８０１Ｂは、ＬＡＮ１４と接続されて、それぞれのＩＰアドレスは、１９２．１６８．１．１、１９２．１６８．１．２、及び、１９２．１６８．１．３となる。また、第１センサ１２Ａ、第２センサ１２Ｂ、及び、第３センサ１２ＣのＩＰアドレスは、それぞれ、１９２．１６８．１．４、１９２．１６８．１．５、及び、１９２．１６８．１．６となる。

第１ノード７１Ａにおいては、１０．２４４．２．０／２４のサブネットワークにおけるＩＰアドレスが用いられる。ブリッジ９１Ａは、第１ノード７１Ａの外においては１９２．１６８．１．１のＩＰアドレスであるとともに、第１ノード７１Ａ内では１０．２４４．２．１となる。そして、監視ポッド８１Ａは１０．２４４．２．４であり、良否判定ポッド８２Ａは１０．２４４．２．５であり、ＱｏＳ判定ポッド８３は１０．２４４．２．６である。

第２ノード７１Ｂにおいては、１０．２４４．３．０／２４のサブネットワークのＩＰアドレスが用いられる。ブリッジ９１Ｂは、第２ノード７１Ｂの外においては１９２．１６８．１．２のＩＰアドレスであるとともに、第２ノード７１Ｂ内では１０．２４４．３．１となる。そして、監視ポッド８１Ａは１０．２４４．３．４であり、良否判定ポッド８２Ａは１０．２４４．３．５である。

第３ノード７１Ｃにおいては、１０．２４４．４．０／２４のサブネットワークのＩＰアドレスが用いられる。ブリッジ９１Ｃは、第３ノード７１Ｃの外においては１９２．１６８．１．３のＩＰアドレスであるとともに、第３ノード７１Ｃの内では１０．２４４．４．１となる。そして、監視ポッド８１Ａは１０．２４４．４．４であり、良否判定ポッド８２Ａは１０．２４４．４．５である。

このように構成においては、第１センサ１２Ａは、ブリッジ９１Ａを介して、第１ノード７１Ａ内の監視ポッド８１Ａと通信することができる。同様に、第２センサ１２Ｂは、ブリッジ９１Ｂを介して、第２ノード７１Ｂ内の監視ポッド８１Ｂと通信し、第３センサ１２Ｃは、ブリッジ９１Ｃを介して、第３ノード７１Ｃ内の監視ポッド８１Ｃと通信する。

第３変形例によれば、以下の効果を得ることができる。

さらに、本実施形態の監視システム１０によれば、監視システム１０は、さらに、追加サーバ１８０１Ａ、１８０１Ｂを有し、監視デバイス１１、及び、追加サーバ１８０１のそれぞれにおいて１以上のノード７１を構成する。すなわち、図１８、１９に示されるように、監視デバイス１１に第１ノード７１Ａが設けられ、追加サーバ１８０１Ａに第１ノード７１Ａが設けられる。

このような場合には、ブリッジ９１Ａ〜９１Ｃは、監視デバイス１１及び追加サーバ１８０１Ａ、１８０１Ｂにおいて、異なるハードウェア毎に設けられ、ＬＡＮ１４とハードウェア毎に排他に設定されるサブネットワークとの対応付けを行う。すなわち、第１ノード７１Ａのブリッジ９１Ａは、クラスタ４７の第１ノード７１Ａ内で１０．２４４．２．０／２４のサブネットワークに変換し、第２ノード７１Ｂのブリッジ９１Ｂは、第２ノード７１Ｂ内で１０．２４４．３．０／２４のサブネットワークに変換し、第３ノード７１Ｃのブリッジ９１Ｃは、第３ノード７１Ｃ内で１０．２４４．４．０／２４のサブネットワークに変換する。これらの、１０．２４４．２．０／２４、１０．２４４．３．０／２４、１０．２４４．４．０／２４のサブネットワークは、クラスタネットワーク１０．２４４．０．０／１６の一部であるとともに、互いに重複がなく排他の関係である。

このように構成されることにより、追加サーバ１８０１Ａ、１８０１Ｂというハードウェアをクラスタ４７に追加することになり、ハードウェアリソースを大きくできるので、監視システム１０の処理速度の向上を図ることができる。さらに、それぞれのハードウェア毎にブリッジ９１が設けられるので、ネットワーク変換に起因するルーティングの遅延が抑制され、監視システム１０の処理速度の向上を図ることができる。

（第４変形例）
上述の実施形態、及び、第１〜３変形例においては、センサ１２は、それぞれ、１つの監視ポッド８１と通信する例について説明したが、これに限らない。第４変形例においては、センサ１２は、それぞれ、２つの監視ポッド８１と通信する例について説明する。

図２０は、第４変形例におけるクラスタ４７の概略構成図である。なお、監視システム１０は、図１３に示される第３変形例と同様に、監視システム１０は２つの追加サーバ１８０１Ａ、１８０１Ｂを備える。

マスタ７２、第１ノード７１Ａ及び、第２ノード７１Ｂは、監視デバイス１１に設けられ、第３ノード７１Ｃ、及び、第４ノード７１Ｄは、追加サーバ１８０１Ａに設けられ、第５ノード７１Ｅ、及び、第６ノード７１Ｆは、追加サーバ１８０１Ｂに設けられる。

第１ノード７１Ａ〜第３ノード７１Ｃにおいては、図８と同様のポッドがデプロイされる。第４ノード７１Ｄには、監視ポッド８１Ｄ及び良否判定ポッド８２Ｄがデプロイされ、第５ノード７１Ｅには、監視ポッド８１Ｅ及び良否判定ポッド８２Ｅがデプロイされ、第６ノード７１Ｆには、監視ポッド８１Ｆ及び良否判定ポッド８２Ｆがデプロイされる。

第１センサ１２Ａは、第１ノード７１Ａの監視ポッド８１Ａ、及び、第４ノード７１Ｄの監視ポッド８１Ｄと通信する。第２センサ１２Ｂは、第２ノード７１Ｂの監視ポッド８１Ｂ、及び、第５ノード７１Ｅの監視ポッド８１Ｅと通信する。第３センサ１２Ｃは、第３ノード７１Ｃの監視ポッド８１Ｃ、及び、第６ノード７１Ｆの監視ポッド８１Ｆと通信する。

このように、各センサ１２のセンサ情報を、異なるノード７１の複数の監視ポッド８１に送信して監視システム１０を構成することで、システムの堅牢性を向上させることができる。

第４変形例によれば、以下の効果を得ることができる。

第４変形例の監視システム１０によれば、センサ１２のセンサ情報は、監視デバイス１１及び追加サーバ１８０１における異なる２以上のハードウェアに構成される異なるノード７１に送信される。具体的には、図２０に示されるように、第１センサ１２Ａの画像データは、監視ポッド８１Ａ、８１Ｄの両者に送信され、第２センサ１２Ｂの画像データは、監視ポッド８１Ｂ、８１Ｅの両者に送信され、第３センサ１２Ｃの画像データは、監視ポッド８１Ｃ、８１Ｆの両者に送信される。

ここで、第１センサ１２Ａに接続される、監視ポッド８１Ａ、８１Ｄ、及び、良否判定ポッド８２Ａ、８２Ｄのうち、監視ポッド８１Ａ、及び、良否判定ポッド８２Ａにより算出される第１センサ１２Ａの信頼性が低下するが、監視ポッド８１Ｄ、及び、良否判定ポッド８２Ｄにより算出される第１センサ１２Ａの信頼性が低下していない場合について検討する。このような場合には、低下した信頼性の算出に用いられた監視ポッド８１Ａ、及び、良否判定ポッド８２Ａを再起動すればよい。監視ポッド８１Ａ、及び、良否判定ポッド８２Ａの再起動中においても、第１センサ１２Ａにより取得されるセンサ情報は監視ポッド８１Ｄ、及び、良否判定ポッド８２Ｄにより処理されるので、監視システム１０を安定的に動作できる。さらに、センサ１２の再起動は不要になるので、不要な処理を低減できる。

なお、上述の実施形態及び変形例においては、センサ１２Ａとして、主にカメラ（撮像センサ）を例示したがこのようなセンサに限定されない。従って、例えば、温度センサ、照度センサ、湿度センサ、圧力センサ、電圧センサ、電流センサ、配管中の流量を測定する電磁式流量計、光の種々の性質を利用して物体の有無や表面状態の変化などを検出する光電センサ、対象物までの距離を測定し対象物の微小段差や高さ、幅、厚みなどの寸法を計測する変位／測長センサ、画像センサ、近接センサ、ワークを検出する小型でローコストな光センサであるフォト・マイクロセンサ、回転の機械的変位量を電気信号に変換し信号を処理して位置・速度などを検出するセンサロータリエンコーダ、対象物までの距離を算出する超音波センサ、薬液や純水の液漏れを検出する漏液センサ、ジャイロセンサ、加速度センサ、気圧センサ、磁気方位センサ、ＧＰＳ（Global Positioning System）、赤外線センサ、音声認識センサ、振動センサ、荷重センサ、対象物の動きを検知して処理伝送または制御に適した信号に変換する位置センサ、生体センサ、触覚センサ、リモートセンシングデバイス（LiDAR（Light Detection and Ranging））、Ｘ線センサなどであってもよく、又それらのセンサの複合体であってもよい。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

１０ 監視システム
１１ 監視デバイス
１２ センサ
１３ ロードバランサ
１６ ターミナル
１７ イメージレジストリ
２１ 製品
２２ ベルトコンベヤ
３１ 制御部
３２ 記憶部
４１ ハードウェア
４２ オペレーションシステム
４４ コンテナエンジン
４５ オーケストレーションツール
４６ コンテナ
４７ クラスタ
５１ 制御部
５２ 記憶部
７１ ノード
７２ マスタ
８１ 監視ポッド
８２ 良否判定ポッド
８３ ＱｏＳ判定ポッド
９１、１７０１ ブリッジ
７１１ ポッド
１８０１ 追加サーバ

Claims (10)

1. １又は複数のセンサと、
   前記センサと接続される１又は複数の情報処理装置と、を備えたセンサ情報処理システムであって、
   前記情報処理装置は、
   オペレーションシステム上においてハードウェアリソースを論理的に割り当て、割り当てた前記ハードウェアリソースを用いてコンテナを動作させるためのクラスタを構成し、前記クラスタ上で前記コンテナを動作させる、コンテナエンジンと、
   前記クラスタにおいて、１以上の前記コンテナにより構成されるポッドの実行環境となるノードを構成し、前記ノードにおける前記ポッドの動作を管理し、かつ、前記ポッドが所定の稼働状態ではない場合に前記ポッドの復旧動作を行う、オーケストレーションツールと、を備え、
   前記ポッドは、
   前記センサ毎から取得されたセンサ情報に基づいて、前記センサ毎の信頼性を算出する信頼性算出ポッドと、
   前記信頼性算出ポッドにて信頼性が高く算出された１又は複数の前記センサからのセンサ情報に基づいて所定の情報処理を行う、センサ情報処理ポッドと、を備える、センサ情報処理システム。
2. 前記センサと前記ポッドとは、互いに１対１に対応付けられて設けられる、請求項１に記載のセンサ情報処理システム。
3. 請求項１に記載の前記信頼性算出ポッドにおいて、前記センサ毎の信頼性は、所定の機械学習により生成された学習済モデルに基づいて算出される、センサ情報処理システム。
4. 請求項３に記載の学習済モデルは、前記信頼性算出ポッドにて算出される前記センサ毎の信頼性に基づいて機械学習を行う、センサ情報処理システム。
5. 請求項１に記載の前記センサ情報処理システムにおいて、
   前記センサは画像情報を取得する撮像センサであり、
   前記センサ情報処理ポッドにおける前記所定の情報処理は、物体認識処理又は物体検出処理である、センサ情報処理システム。
6. 請求項１に記載のセンサ情報処理システムであって、
   前記ポッドは、さらに、前記信頼性算出ポッドにおいて信頼性が低く算出された前記センサについて再起動処理を行う、再起動処理ポッド、を備える、センサ情報処理システム。
7. 請求項６に記載のセンサ情報処理システムであって、
   前記再起動処理ポッドは、さらに、前記再起動されたセンサに対応する前記ポッドを再起動する処理を行う、センサ情報処理システム。
8. １又は複数のセンサと、前記センサと接続される１又は複数の情報処理装置と、を備えたセンサ情報処理システムの制御方法であって、
   オペレーションシステム上においてハードウェアリソースを論理的に割り当て、割り当てた前記ハードウェアリソースを用いてコンテナを動作させるためのクラスタを構成し、前記クラスタ上で前記コンテナを動作させる、コンテナエンジンを提供するステップと、
   前記クラスタにおいて、１以上の前記コンテナにより構成されるポッドの実行環境となるノードを構成し、前記ノードにおける前記ポッドの動作を管理し、かつ、前記ポッドが所定の稼働状態ではない場合に前記ポッドの復旧動作を行うオーケストレーションツールを提供するステップと、
   前記ポッドが備える信頼性算出ポッドにより、前記センサ毎から取得されたセンサ情報に基づいて、前記センサ毎の信頼性を算出する信頼性算出ステップと、
   前記ポッドが備えるセンサ情報処理ポッドにより、前記信頼性算出ポッドにて信頼性が高く算出された１又は複数の前記センサからのセンサ情報に基づいて所定の情報処理を行う、センサ情報処理ステップと、を備える、制御方法。
9. １又は複数のセンサと、前記センサと接続される１又は複数の情報処理装置と、を備えたセンサ情報処理システムの制御プログラムであって、
   オペレーションシステム上においてハードウェアリソースを論理的に割り当て、割り当てた前記ハードウェアリソースを用いてコンテナを動作させるためのクラスタを構成し、前記クラスタ上で前記コンテナを動作させる、コンテナエンジンを提供するステップと、
   前記クラスタにおいて、１以上の前記コンテナにより構成されるポッドの実行環境となるノードを構成し、前記ノードにおける前記ポッドの動作を管理し、かつ、前記ポッドが所定の稼働状態ではない場合に前記ポッドの復旧動作を行うオーケストレーションツールを提供するステップと、
   前記ポッドが備える信頼性算出ポッドにより、前記センサ毎から取得されたセンサ情報に基づいて、前記センサ毎の信頼性を算出する信頼性算出ステップと、
   前記ポッドが備えるセンサ情報処理ポッドにより、前記信頼性算出ポッドにて信頼性が高く算出された１又は複数の前記センサからのセンサ情報に基づいて所定の情報処理を行う、センサ情報処理ステップと、を備える、制御プログラム。
10. １又は複数のセンサと、前記センサと接続される１又は複数の情報処理装置と、を備えたセンサ情報処理システムの制御プログラムを格納した記録媒体であって、
    前記制御プログラムは、
    オペレーションシステム上においてハードウェアリソースを論理的に割り当て、割り当てた前記ハードウェアリソースを用いてコンテナを動作させるためのクラスタを構成し、前記クラスタ上で前記コンテナを動作させる、コンテナエンジンを提供するステップと、
    前記クラスタにおいて、１以上の前記コンテナにより構成されるポッドの実行環境となるノードを構成し、前記ノードにおける前記ポッドの動作を管理し、かつ、前記ポッドが所定の稼働状態ではない場合に前記ポッドの復旧動作を行うオーケストレーションツールを提供するステップと、
    前記ポッドが備える信頼性算出ポッドにより、前記センサ毎から取得されたセンサ情報に基づいて、前記センサ毎の信頼性を算出する信頼性算出ステップと、
    前記ポッドが備えるセンサ情報処理ポッドにより、前記信頼性算出ポッドにて信頼性が高く算出された１又は複数の前記センサからのセンサ情報に基づいて情報処理装置の制御を行う、センサ情報処理ステップと、を備える、記録媒体。

Images