JP7335658B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置に関する。

従来から、カメラで撮像した画像データを、ネットワークを通じてクラウドサーバに送り、クラウドサーバ上のＡＩモデルにより画像データを選別することが行われている（例えば、特許文献１参照）。

特開２０２０－１６０９６６号公報

しかしながら、この場合、選別対象の画像データのデータ量が多いと、ネットワークに負荷がかかるばかりか、ネットワークの通信量が増大しコストアップになる。
また、選別のためのＡＩモデルの構築に、画像データを十分集める必要があるが、この作業には多くの時間がかかるため、選別精度の向上が遅れる。
さらに、選別対象の画像データが得られる物品は、生産現場に存在する一方、生産管理の場所は生産現場から離れた場所にあることが多いため、遠隔地どうしでネットワークを介して連携を行うことは必須である。

本発明は、ネットワークを利用して異なる場所どうしで連携を行いつつ通信リソースの消費を抑えてコストを削減し、さらには選別精度を向上することができるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の情報処理装置は、
物品に関する画像データを入力して当該物品に対する所定の処理結果を出力するモデルを保持するモデル保持手段と、
処理対象の物品に関する画像データを選別対象画像データとして取得する画像取得手段と、
前記処理対象画像データが前記モデルに入力された結果として当該モデルから出力される前記所定の処理結果が、所定条件を満たすか否かを判定する判定手段と、
前記判定手段により前記所定条件を満たすと判定された場合、その判定結果と共に前記処理対象画像データを外部に出力し、前記判定手段により前記所定条件を満たさないと判定された場合、その判定結果のみを外部に出力する制御を実行する出力制御手段と、
を備える。
これにより、生産現場で取得される物品のデータを、ネットワークを利用して外部、例えば生産管理の場所等に設置される管理者端末やサーバへ送信することでデータ連携を行うことができる。
また、物品の一つとして例えば製造物等を選別する検品業務において、ネットワークに主に送信されるデータは、正常品を示すテキストデータなので、個々の物品の画像データを都度送るのに比べてネットワークに流れるデータ量が削減され、通信リソースの負荷や使用を軽減することができる。
さらに、学習対象の所定の画像データ、例えば製造物を検品した結果、不良品として選別された画像データのみが自動的に収集されるので、ＡＩモデルの機械学習を加速させることができる。
この結果、ネットワークを利用して異なる場所どうしでデータ連携を行いつつ通信リソースの消費を抑えてコストを削減し、さらには選別精度を向上することができる。
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。

本発明によれば、ネットワークを利用して異なる場所どうしでデータ連携を行いつつ通信リソースの消費を抑えてコストダウンを図り、さらには選別精度を向上することができる。

本発明に係る一つの実施の形態の情報処理システムのうちエッジデバイス、サーバ及び管理者端末の機能的構成の一例を示す機能ブロック図である。 図１の情報処理システムのうちサーバのハードウェア構成を示すブロック図である。 図１及び図２の情報処理システムのうちエッジデバイス、サーバ及び管理者端末の機能的構成の一例を示す機能ブロック図である。 図１乃至図３の情報処理システムの動作を示すフローチャートである。 管理者端末からサーバのマイページにアクセスして表示されるリアルタイム判定画面を示す図である。 本情報処理システムの一連の処理の流れを説明するための図である。 本情報処理システムを検品業務のチェックに適用するケースの一例を示す図である。 本情報処理システムを作業員の保護具のチェックに適用するケースの一例を示す図である。 本情報処理システムを危険区域のアラートに適用するケースの一例を示す図である。 本情報処理システムを家畜の生死のチェックに適用するケースの一例を示す図である。 本情報処理システムを時間変化の観察に適用するケースの一例を示す図である。 本情報処理システムを企業の要望に合わせて活用するケースの一例を示す図である。 第２実施形態の情報処理システムのサーバの機能的構成の一例を示す機能ブロック図である。 図１３の情報処理システムの管理者端末に表示されるホーム画面の一例を示す図である。 図１４のホーム画面の他の一例を示す図である。 図１４のホーム画面から遷移して表示される画像分類詳細画面の一例を示す図である。 図１６の画像分類詳細画面から遷移して表示される画像分類一覧画面の一例を示す図である。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１乃至図３を参照して情報処理システムの構成について説明する。
図１は、本発明に係る一つの実施の形態のエッジデバイス、サーバ及び管理者端末を含む情報処理システムの構成例を示す図である。
図２は、図１の情報処理システムのうちエッジデバイスのハードウェア構成を示すブロック図である。
図３は、図１及び図２の情報処理システムのうちエッジデバイス、サーバ及び管理者端末の機能的構成の一例を示す機能ブロック図である。

図１に示す情報処理システムは、エッジデバイス１と、サーバ２と、管理者端末３とがインターネット等のネットワークＮを介して接続されている。この情報処理システムは、カメラ２２を有するエッジデバイス１、サーバ２及び管理者端末３等の情報処理装置が相互に通信するように構成されている。

カメラ２２は、例えば製造現場の製造ラインＬを一定方向Ａへ搬送される処理対象の物品（例えば選別対象の製造物Ｔ１乃至Ｔｎ等）が所定の位置に到達したときに撮像するようにその位置に光軸を向けて設置されている。カメラ２２は、選別対象の製造物Ｔ１乃至Ｔｎ等を一つずつ順次撮像し、撮像して得られた夫々の画像データを出力する。
ここで、画像とは、動画及び静止画を含み、動画は、複数の単位画像群が時系列の順に配置されたものをいう。単位画像には、例えばフィールドやフレームの画像が含まれる。なお、以下の例では、説明の便宜上、処理対象の物品を被写体に含む静止画像のデータが、画像データとしてカメラ２２から出力されるものとする。

エッジデバイス１は、カメラ２２から順次出力される画像データ（製造物Ｔ1乃至Ｔｎ等の夫々を被写体に含む画像データ）の夫々に対してＡＩモデルを用いて所定の処理を施し、その処理の結果をサーバ２へ送信する。
所定の処理は、例えば選別処理等がある。選別処理は、例えばカメラ２２により撮像される画像データから、製造ラインＬ上を一定方向Ａへ搬送される製造物Ｔ１乃至Ｔｎの夫々を正常品か不良品の何れかに選別する処理である。選別結果の出力情報として例えばＯＫ（正常品）のテキストデータのみか、又はＮＧ（不良品）のテキストデータと画像データ（当該不良品を被写体に含む画像データ）との組を出力する、というものである。

ＡＩモデルは、画像データ等の入力情報が入力されると、所定の出力情報を出力するように機械学習された学習モデルである。
具体的には例えば、本実施形態のＡＩモデルは、カメラ２２から順次入力される画像データ（製造物Ｔ１乃至Ｔｎ等の夫々を被写体に含む画像データ）の夫々を入力すると、製造物Ｔ1乃至Ｔｎ等の夫々に対する選別結果を出力するモデルである。即ち、画像データをＡＩモデルに入力して、当該ＡＩモデルからの出力を得る処理が、選別処理である。

選別処理の結果としては、第１の種類と第２の種類とが存在する。
第１の種類は、製造物Ｔｋ（ｋは１乃至ｎ等の任意の整数値）が不良品であるという結果である。第１の種類の場合、選別処理の結果として、製造物Ｔｋが不良品である旨と共に、当該製造物Ｔｋを被写体に含む画像データがサーバ２へ送信される。
これに対して、第２の種類は、製造物Ｔｋが正常品であるという結果である。第２の種類の場合、選別処理の結果として、製造物Ｔｋが正常品である旨のみがサーバ２へ送信される。

サーバ２は、エッジデバイス１及び管理者端末３と通信することによりエッジデバイス１及び管理者端末３の管理や製造物Ｔ１乃至Ｔｎの情報を管理する。
サーバ２は、エッジデバイス１から受信される選別結果に基づいて、管理者端末３へのアラート通知（選別結果が第１の種類の場合）、選別結果の可視化、ＡＩモデルの再学習等を行う。
サーバ２は、本実施形態では、ネットワークＮ上のクラウドサービスとして、例えばＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）等を提供するものとして利用される。

管理者端末３は、製造物Ｔ１乃至Ｔｎの製造現場とは異なる場所の例えば製造管理部門の管理者等により操作される情報処理装置である。
他のサーバや管理者端末は、図示しないがエッジデバイス１と同様のハードウェア構成を有する。

以下、選別処理の一例について、具体的に説明する。
なお、ここで示す選別処理の例は、一例であり、入力情報に基づき所定の出力情報を出力するＡＩモデル３１を採用すれば足りる。すなわち、ＡＩモデル３１の出力情報は、本例では不良品か、それ以外（正常品）かという２種類の情報のみとされているが、特にこれに限定されず、例えば信頼度８０％以上のもの、信頼度８０％未満６０％超、信頼度６０％以下のもの等といった段階的なもの（３種類以上）であってもよい。

即ち、ＡＩモデル３１は、製造物Ｔｋを被写体として含む画像データを入力すると、当該製造物Ｔｋを、予め区分されたＭ種類（Ｍは２以上の任意の整数値であり、本例では２）のカテゴリのうちの何れかに選別し、その選別結果を出力するものであればよい。

以下、情報処理システムの動作を説明する。
情報処理システムは、カメラ２２により撮像される１以上の製造物Ｔ１乃至Ｔｎ等の夫々の画像データをエッジデバイス１においてＡＩモデル３１によりＮ種類（本例では、不良品のカテゴリと正常品のカテゴリの２種類）のカテゴリのうち何れかのカテゴリに選別する。

画像データの選別の際に、画像データが、製造ラインＬ上を搬送される製造物Ｔ１乃至Ｔｎ等の多くを占める正常品のカテゴリに選別されたときは、画像データが正常品であることを示すテキストデータのみ（例えばＯＫ等）が、エッジデバイス１からネットワークＮ上のサーバ２に送信される。

一方、画像データが、不良品のカテゴリに選別された場合、その画像データと、その画像データに被写体として含まれる製造物（例えば図１の例では製造物Ｔ２等）が不良品であることを示すテキストデータ（例えばＮＧ等）とが、エッジデバイス１からネットワークＮ上のサーバ２に送信される。

これにより、正常品に比べて数が少ない不良品のカテゴリに属する画像データのみがネットワークＮを通じてサーバ２に送信されることになる。この結果、ネットワークＮを流れるデータ量が少なくなり、通信リソースの使用量を削減することができる。

また、本情報処理システムでは、サーバ２に受信される画像データを、サーバ２が保持しているＡＩモデル６１の再学習に使用する。これにより、学習用に画像データが自動的に収集されるようになり、ＡＩモデル６１に再学習させることで判定能力を向上して選別精度を向上することができる。
例えば物品を製造する製造現場では、物品の製造過程で不良品をなくすよう努力しているため、ＮＧの製品が発生することは少なく、これに伴ってＮＧの画像データを集めるのは大変である。
だからこそ、ＡＩモデル３１に、多くのＮＧの製品の画像データを学ばせることも大変であり、選別精度を向上するのは大変なことである。
それが、本実施形態の仕組みを使うことで、所定条件で選別された画像データのみがサーバ２にどんどん集められるので、サーバ２において、集められた画像データを用いてＡＩモデル６１に再学習させると、ＡＩモデル６１は、どんどん賢くなる。その学習済みのＡＩモデル６１をサーバ２から製造現場のエッジデバイス１に転送し、物品選別用のＡＩモデル３１として活用することで、物品の選別精度を向上することができる。

さらに、サーバ２は、受信された選別結果のデータ（正常品と不良品を含むデータ）を可視化する。これにより、いつどの時点でどこに異常があったか等を管理者が管理者端末３等で確認することができるため、ＡＩのブラックボックス化を防ぐことができる。

また、サーバ２は、エッジデバイス１からの判定結果の受信により不良品を検出した場合に、アラートを管理者端末３等へ出力する。これにより、管理者端末３を操作する管理者は、現場に行くことなく、不良品が検出されたことを確認することができる。このようにして、製造現場（エッジデバイス１が配置された場所）と生産管理部門（管理者が所属する部門）との間での連携を遠隔のままより強固にすることができる。
なお、エッジデバイス１において不良品が検出された場合に、エッジデバイス１から製造現場のＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）にアラートが出力されてもよい。この場合、不良品に対する製造現場での迅速な対応が可能になる。

図３は、図２の情報処理システムのうちエッジデバイス１のハードウェア構成を示すブロック図である。

エッジデバイス１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、ドライブ２０及びカメラ２２が接続されている。

出力部１６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。カメラ２２は、例えば製造物Ｔ１乃至Ｔｎ等が製造される製造ラインＬ（図３参照）の所定位置に配置されており、製造ライン上を流れる製造物Ｔ１乃至Ｔｎの夫々を被写体に含むように撮像する。

記憶部１８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置（図１の例ではサーバ２及び管理者端末３等）との間で通信を行う。
通信部１９における通信プロトコルには、ＭＱＴＴ通信を用いる。ＭＱＴＴ通信は、一般的なＨＴＴＰ通信に比べて処理が軽くなるため、例えば多数の製造ラインを監視するために多数のエッジデバイス１の通信線を束ねて大量同時接続する場合でも多数のエッジデバイス１を安定して稼働させることができる。

ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。
また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
なお、他のサーバ２や管理者端末３等の情報処理装置についてもエッジデバイス１と同様のハードウェア構成を備える。

なお、図２の情報処理システムのうちサーバ２及び管理者端末３は、図２に示すエッジデバイス１のハードウェア構成と基本的に同様の構成を有している。図２では図示はしないが、図３では、サーバ２の一部のハードウェア構成をＣＰＵ５１、記憶部５８、通信部５９等で示す。

また、管理者端末３の一部のハードウェア構成をＣＰＵ９１、出力部９６、記憶部９８、通信部９９等で示す。管理者端末３のＣＰＵ９１において、処理を実行する際に閲覧制御部１０１が機能する。閲覧制御部１０１は、サーバ２にアクセスし、会員用のマイページ等を画面に表示する。これにより、管理者は、マイページを閲覧することができる。

以下、図３を参照して図１及び図２の情報処理システムのエッジデバイス１、サーバ２及び管理者端末３の機能的構成の一例について説明する。図３は、図２の情報処理システムのうちエッジデバイス、サーバ及び管理者端末の機能的構成の一例を示す機能ブロック図である。

図２に示したエッジデバイス１の記憶部１８の一領域には、図３に示すように、ＡＩモデル３１が保持（記憶）されている。

上述したように、ＡＩモデル３１は、例えばカメラ２２で撮像される製造物Ｔ１乃至Ｔｎ等の夫々の画像データが正常品カテゴリや不良品カテゴリに属するかを識別し、識別結果の出力情報（正常品カテゴリか不良品カテゴリか）を出力する。
つまり、ＡＩモデル３１は、入力された画像データの処理結果として、複数のカテゴリのうち物品が属するカテゴリを出力する。

図１の本情報処理システムに対応する処理が実行される際には、エッジデバイス１のＣＰＵ１１において、画像取得部４１、判定部４２、出力制御部４３が機能する。
画像取得部４１は、カメラ２２により撮像される製造物Ｔ１乃至Ｔｎの夫々の画像データを順次取得する。

判定部４２は、画像取得部４１により取得された夫々の画像データをＡＩモデル３１へ入力し、当該ＡＩモデル３１から出力される選別結果が、所定条件を満たすか否かを判定し、判定結果に応じた情報を出力制御部４３に渡す。
判定部４２は、所定条件として所定のカテゴリ（例えば不良品カテゴリ）に属するという条件を用いて、選別結果が当該所定条件を満たすか否かを判定する。
即ち、上述の例でいえば、判定部４２は、製造物Ｔｋを被写体に含む画像データをＡＩモデル３１へ入力させる。製造物Ｔｋは不良品であるというＡＩモデル３１の選別結果（出力）である場合、判定部４２は、所定条件を満たすと判定する。これに対して、製造物Ｔｋは正常品というＡＩモデル３１の選別結果である場合、判定部４２は、所定の条件を満たさないと判定する。

出力制御部４３は、判定部４２の判定結果の情報を、サーバ２に送信する制御を実行する。
即ち、出力制御部４３は、判定部４２により所定条件を満たす（例えば製造物Ｔ２は不良品）と判定された場合、その旨のテキストデータ「ＮＧ」と共に不良品（例えば製造物Ｔ２等）を被写体に含む画像データを判定結果の情報としてサーバ２に出力する制御を実行する。
これに対して、出力制御部４３は、判定部４２により所定条件を満たさないと判定された場合（例えば製造物Ｔ１等は正常品）、その旨のテキストデータ「ＯＫ」のみを判定結果の情報としてサーバ２に出力する制御を実行する。

より具体的には、サーバ２には、上述の判定結果の情報と共に、その他のデータも含めた送信情報が送信される。
例えば、出力制御部４３は、判定部４２により製造物Ｔ１等が正常品と判定された場合、例えば「ＯＫ」等のテキストデータという判定結果の情報と共に、製造物Ｔ１等を特定可能な情報、例えば当該製造物Ｔ１等の識別情報（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と共に送信する。
また、出力制御部４３は、判定部４２により製造物Ｔ１等が正常品と判定された場合であれば、例えば「ＮＧ」等のテキストデータと、当該製造物Ｔ２を被写体に含む画像データとの組を判定結果の情報として、この判定結果の情報と共に、製造物Ｔ２を特定可能な情報、例えば当該製造物Ｔ２の識別情報（ＩＤ）と共に送信する。
なお、判定結果の情報の送り先は、サーバ２に限らず他の宛先に送ってもよい。例えば宛先がネットワークＮ上のクラウドサービスやストレージサービス等の保存場所を宛先に設定することで、出力制御部４３は、ＡＩモデル３１により選別された出力情報を、当該保存場所にアップロードする制御を実行する。

サーバ２の記憶部５８の一領域には、ＡＩモデル６１及び選別情報ＤＢ６２等のデータベースが設けられている。
ＡＩモデル６１は、例えばＮｅｕｒａｌ ＮｅｔｗｏｒｋやＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ等のアルゴリズムによって獲得される学習済みモデルであり、後述の学習部７３により学習、再学習及び更新される。
ＡＩモデル６１は、サーバ２からエッジデバイス１へ転送されてデプロイされ、エッジデバイス１において選別処理のＡＩモデル３１として活用される。

サーバ２のＡＩモデル６１は、例えば画像データ等の入力情報が入力されると、所定の出力情報を出力するように機械学習された学習モデルであり、再学習して知識が上がると、所定のタイミングでエッジデバイス１に転送される。
具体的には、ＡＩモデル６１は、選別対象の不良品のカテゴリに属する画像データに基づいて学習することができる。
ＡＩモデル６１は、ＡＩモデル３１と同じ機能を持ち、選別対象の画像データが入力されると、正常品カテゴリに属するものか不良品カテゴリに属するものかを識別し、識別した夫々の数をカウントし、識別結果の出力情報（正常品カテゴリか不良品カテゴリか）を出力する。

選別情報ＤＢ６２には、エッジデバイス１から送られてきた判定結果の情報、例えば正常品を示すものであれば、正常品を示す「ＯＫ」のテキストデータと正常品として選別された製造物のＩＤとが対応して選別情報として記憶される。この他、判定結果の情報には判定時刻を示すタイムスタンプ等も含まれているので、これも製造物のＩＤに対応付けて記憶される。
なお、エッジデバイス１から送られてきた判定結果の情報が、例えば不明品又は不良品を示すものであれば、不明品又は不良品とし選別された画像データと、その画像データが不明品又は不良品であることを示す「ＮＧ」や不良品である確率を示す確率値のテキストデータと、不明品又は不良品として選別された製造物のＩＤと、が対応して選別情報として選別情報ＤＢ６２に記憶される。この他、判定結果の情報には、判定時刻（良品、不良品又は不明品の検出時刻）を示すタイムスタンプ等も含まれているので、これも製造物のＩＤに対応付けて選別情報ＤＢ６２に記憶される。

本情報処理システムのサーバ２において本サービスを実現する処理が実行される際には、サーバ２のＣＰＵ５１において、提示部７１、学習部７３、モデル生成器７２、モデル提供部７４が機能する。
提示部７１は、物品選別に関するサービスの提供を依頼する会員（例えば製造物Ｔ１乃至Ｔｎを製造する会社等）に向けてサービスサイトを公開する。
サービスサイトでは、会員に会員ページを提供する。会員ページでは、エッジデバイス１からサーバ２にアップロードされた物品の画像データの選別結果の情報を会員が情報処理装置、例えば管理者端末３等から閲覧することができる。

提示部７１は、可視化部８１、アラート部８２を備える。提示部７１は、管理者端末３からアップロードされる選別結果の情報を取得し、識別された正常品及び不良品の夫々の数をカウントし、可視化したり、アラートを出力したりする。
例えば可視化部８１は、画像データ及び選別結果を用いて、選別対象の物品に関する情報を生成して、他の情報処理装置（例えば管理者端末３等）に提示する。
具体的には、可視化部８１は、エッジデバイス１から出力されてきた選別結果の情報（正常品のＯＫのテキストデータや不良品の画像データ及びＮＧのテキストデータ等）の製造物Ｔ２に関する情報を、会員のマイページのリアルタイム判定画面１１１（図６参照）に出力し可視化する。

アラート部８２は、エッジデバイス１から得られた製造物Ｔ２に関する情報のうち不良品のＮＧのテキストデータ等に基づいてアラートを出力する。
具体的には、アラート部８２は、例えば会員のマイページの管理画面（図６参照）や管理者端末３等に不良品が検出された旨の警報情報を表示することで、不良品が検出された旨を管理者に通知する。

モデル生成器７２は、ＡＩモデル６１を作成し、記憶部５８に記憶する。
具体的には、モデル生成器７２は、例えばＹＯＬＯ等の物体検出アルゴリズムや、Ｒｅｓｎｅｔ、ＶＧＧ等の画像認識アルゴリズムが含まれる汎用的なモデルＸ（図６参照）を機械学習モデルとして採用し、汎用的なモデルＸに不良品のサンプル画像データを入力して学習させるものとする。

学習部７３は、ＡＩモデル６１に新たな画像データを入力してＡＩモデル６１を再学習させる。
具体的には、学習部７３は、エッジデバイス１から出力された画像データ及び選別結果のテキストデータを用いて、ＡＩモデル６１に対する再学習を行う。
モデル提供部７４は、再学習が行われたＡＩモデル６１を、エッジデバイス１に提供する。
具体的には、モデル提供部７４は、学習部７３により再学習されたＡＩモデル６１をエッジデバイス１へ送信しデプロイすることで、エッジデバイス１のＡＩモデル３１を常に識別能力の高い状態に維持する。

このように実施形態の情報処理システムの構成によれば、サーバ２で学習させたＡＩモデル６１をエッジデバイス１にデプロイし、エッジデバイス１においてＡＩモデル３１により画像データを選別し、正常品として選別したときは正常品を示すテキストデータをサーバ２へ送り、不良品として選別されたときは不良品を示すテキストデータと画像データとをサーバ２へ送信するように構成したことで、ネットワークＮに流れるデータ量が少なくなり、通信リソースの使用を抑えてコストを削減することができる。

また、本情報処理システムでは、エッジデバイス１からサーバ２に受信される画像データを、サーバ２が保持しているＡＩモデル６１の再学習に使用することで、学習用に画像データが自動的に収集されるようになり学習効率が向上する。
さらに、再学習させたＡＩモデル６１をエッジデバイス１にデプロイすることで、エッジデバイス１における物品の選別能力が向上し選別精度を向上することができる。

また、サーバ２に受信された画像データの選別結果を可視化し、製造現場とは異なる場所に設置される管理者端末３に表示し、管理者に通知することにより、製造物Ｔ１乃至Ｔｎのうち例えば製造物Ｔ２のどこに異常があったかを遠隔で確認することができるため、ＡＩのブラックボックス化を防ぐことができる。

また、不良品が検出された場合に、アラートを管理者端末３等へ出力することで、管理者は、現場に行くことなく不良品が検出されたことを確認することができる。即ち製造現場と生産管理部門との間での連携を遠隔のままより強固にできる。
この結果、ネットワークＮを利用して異なる場所どうしで連携を行いつつ通信リソースの消費を抑えてコストを削減し、さらには選別精度を向上することができる。

以下、図４を参照して実施形態の情報処理システムの動作を説明する。
図４は、実施形態の情報処理システムの動作を示すフローチャートである。
実施形態の情報処理システムの場合、ステップＳ１１において、選別対象の製造物Ｔ１乃至Ｔｎに関する画像データを入力して当該選別対象の製造物Ｔ１乃至Ｔｎに対する選別結果を出力するＡＩモデル３１をエッジデバイス１に保持する。
具体的には、サーバ２のモデル提供部７４が、サーバ２に保持されているＡＩモデル６１を、製造現場に設置されているエッジデバイス１に転送し、エッジデバイス１に保持する。

製造現場において、製造ラインＬに選別対象の製造物Ｔ１乃至Ｔｎが搬送され、製造物Ｔ１乃至Ｔｎが順にカメラ２２の撮影範囲に入ると、製造物Ｔ１、製造物Ｔ２、製造物Ｔ３の順にカメラ２２により撮像され、夫々の画像データがエッジデバイスに順に入力される。

ステップＳ１２において、エッジデバイス１では、画像取得部４１が、選別対象の製造物Ｔ１乃至Ｔｎに関する画像データを処理対象画像データとして取得する。
具体的には、画像取得部４１は、製造現場の製造ラインＬ上を搬送される製造物Ｔ１乃至Ｔｎが順にカメラ２２により撮像された画像データを取得する。

ステップＳ１３において、判定部４２は、画像取得部４１により取得された画像データを当該ＡＩモデル３１に入力し、画像データの入力により当該ＡＩモデル３１から出力される選別結果が、所定条件（例えば不良品のカテゴリに属するという条件）を満たすか否かを判定する。

ステップＳ１４において、出力制御部４３は、判定部４２の判定結果の情報の出力制御を実行する。
具体的には、出力制御部４３は、所定条件（例えば不良品のカテゴリに属するという条件）を満たすと判定された場合、その判定結果を示すテキストデータ「ＮＧ」と共に不良品とされた製造物、例えば製造物Ｔ２等の画像データを外部に出力する。
また、出力制御部４３は、所定条件（例えば不良品のカテゴリに属するという条件）を満たさないと判定された場合、その判定結果のテキストデータ「ＯＫ」のみを外部に出力する制御を実行する。
なお、外部とは、エッジデバイス１以外の情報処理装置であり、例えばサーバ２、管理者端末３及び製造現場に設置されるＰＬＣ等である。

例えばサーバ２では、エッジデバイス１から送信された判定結果の情報が受信されると、可視化部８１が、判定結果の情報を可視化し、管理者のマイページ又は管理者端末３の画面に、図５に示すリアルタイム判定画面１１１を表示する。
リアルタイム判定画面１１１では、ＡＩモデル３１による選別結果や判定部４２によるＮＧ判定の結果等をリアルタイムで表示可能である。
具体的に、リアルタイム判定画面１１１には、製造物Ｔ１、Ｔ２…、Ｔｎを選別した結果の情報が、製造物Ｔ１、Ｔ２…、Ｔｎに対応するアイコンＨ１、Ｈ２…、Ｈｎ等の形態で表示される。
アイコンＨ１には、チェックマーク１１２が表示されており、管理者がアイコンＨ１を一目見れば、正常品「ＯＫ」であることがわかる。アイコンＨ２には、エクスクラメーションマーク１１３が表示されており、管理者がアイコンＨ２を一目見れば、注意品であることがわかる。アイコンＨ３には、Ｘマーク１１４が表示されており、管理者がアイコンＨ３を一目見れば、不良品であることがわかる。

以下、図６を参照して本情報処理システム全体の処理の流れを説明する。
図６は、本情報処理システムの一連の処理の流れを説明するための図である。
図６に示すステップ２１において、サーバ２のモデル生成器７２は、汎用的なモデルＸと、例えば製造物Ｔ１乃至Ｔｎの不良品のサンプル画像データ等の選別対象データとを導入し、製造物Ｔ１乃至Ｔｎの中から不良品を選別するためのＡＩモデル６１を作成する。

ステップ２２において、モデル生成器７２は、作成したＡＩモデル６１を圧縮して、サーバ２に保持する。

ステップ２３において、サーバ２に保持したＡＩモデル６１をエッジデバイス１に転送しデプロイする。

ステップ２４において、エッジデバイス１では、製造ラインＬ上に搬送される製造物Ｔ１乃至Ｔｎをカメラ２２が撮像して得られた夫々の製造物Ｔ１乃至Ｔｎの画像データのカテゴリをＡＩモデル３１が選別する。
そして、選別したカテゴリが所定のカテゴリか否かによって不良品か否かを判定し、その判定結果の情報を現場のＰＬＣへ出力すると共に、サーバ２へアップロードし選別情報ＤＢ６２に記憶する。
なお、画像データが不良品と判定された場合、当該画像データと不良品であることを示すテキストデータとがサーバ２へアップロードされ、画像データが正常品と判定された場合、正常品であること示すテキストデータのみがサーバ２へアップロードされる。

ステップ２６において、サーバ２では、可視化部８１（図３参照）が、判定結果の情報に基づいて、判定理由を説明するサマリー情報を生成して、会員の管理画面１２１等に表示（出力）する。

また、サーバ２では、ステップ２７において、アラート部８２（図３参照）が、選別情報ＤＢ６２から読み出した判定結果の情報を確認し、判定結果の情報に不良品を示すデータが含まれていた場合、他の情報処理装置（例えば管理者端末３等）へアラートを通知（出力）する。
なお、アラートの具体的な手段は、例えば電子メール等であってもよく、管理者のマイページのリアルタイム判定画面１１１（図５等）にＮＧを示す表示を行うようにしてもよい。

ステップ２８において、学習部７３（図３参照）が、選別情報ＤＢ６２に蓄積された不良品の画像データをＡＩモデル６１に入力して再学習させる。
その後、サーバ２では、ステップ２９において、モデル提供部７４（図３参照）が、所定のタイミングで、学習済みのＡＩモデル６１をエッジデバイス１に転送しデプロイする。所定のタイミングとしては、例えばエッジデバイス１から転送要求があったとき、又は一定期間毎等であってもよい。

以下、図７乃至図１２を参照して、本情報処理システムの適用例を説明する。
図７は、本情報処理システムを検品業務のチェックに適用するケースの一例を示す図である。
図８は、本情報処理システムを作業員の保護具のチェックに適用するケースの一例を示す図である。
図９は、本情報処理システムを危険区域のアラートに適用するケースの一例を示す図である。
図１０は、本情報処理システムを家畜の生死のチェックに適用するケースの一例を示す図である。
図１１は、本情報処理システムを時間変化の観察に適用するケースの一例を示す図である。
図１２は、本情報処理システムを企業の要望に合わせて活用するケースの一例を示す図である。

図７に示すように、カメラ２２でテーブル２２１の上に配置した選別対象の物品、例えばパン２２２等の１以上の製造物を撮像して、製造物の中に含まれる不良品を選別したり、夫々の製造物に異物が混入していないかを検査する等の検品業務に適用してもよい。

図８に示すように、カメラ２２で作業員を撮像して、作業員２３１の装備（例えばヘルメット２３２や作業靴２３３等の保護具）をチェックし、適正なものを身に着けているかどうかをチェックするケースに適用してもよい。

図９に示すように、カメラ２２で危険区域を撮像して、危険区域への人２４１の立ち入りや危険物２４２の変化等を監視して、危険区域への人２４１の立ち入りがあったときや危険物２４２の変化が生じたときにアラートを出力するケースに適用してもよい。

図１０に示すように、カメラ２２で、一定区域内で飼育している家畜（例えばニワトリ２５１等）を撮像して、ニワトリ２５１の生死をチェックするケースに適用してもよい。

図１１に示すように、カメラ２２で、監視対象の物品（例えば液体の入った１以上のタンク２６１等）を撮像して、夫々のタンク２６１の液体の色の時間変化等を観察し、すべてのタンク２６１の液体の色が一定の色に変化したときにアラートを出力するケースに適用してもよい。

図１２に示すように、カメラ２２で撮像する対象２７１を企業の要望により決定し、対象２７１を撮像して得られた画像データを企業で活用可能なようにカスタマイズしてもよい。

このように実施形態の情報処理システムの動作によれば、エッジデバイス１に、製造物Ｔ１乃至Ｔｎの夫々の画像データを順に入力して夫々の製造物Ｔ１乃至Ｔｎの選別結果を出力するＡＩモデル３１を保持しておき、画像データの入力により当該ＡＩモデル３１から出力される選別結果が、例えば不良品として選別する選別条件を満たすか否かを判定する。

この判定の結果、選別条件を満たすと判定された場合、その判定結果を示すテキストデータ「ＮＧ」と共に不良品とされた例えば製造物Ｔ２等の画像データをサーバ２に出力し、不良品としての選別条件を満たさないと判定された場合、その判定結果のテキストデータ「ＯＫ」のみをサーバ２に出力する。

サーバ２において、エッジデバイス１から受信された判定結果の情報を可視化して管理者端末３に提示することで、製造現場の製造物Ｔ１乃至Ｔｎの製造状況を遠隔の管理者が確認することができる。

また、製造物Ｔ１乃至Ｔｎのうち大多数を占める正常品として画像データが選別されたときはその画像データをサーバ２へ送らないため、ネットワークＮの負荷が軽減され、通信リソースの消費を少なくすることができる。

さらに、サーバ２において、エッジデバイス１から自動的に収集される不良品の画像データをＡＩモデル６１に入力して再学習させることで、ＡＩモデル６１の知識を向上することができる。学習済みＡＩモデル６１をエッジデバイス１に転送しＡＩモデル３１として保持することで、エッジデバイス１での物品の選別精度を向上することができる。

この結果、ネットワークＮを利用して異なる場所どうしでデータ連携を行いつつ通信リソースの消費を抑えてコストを削減し、さらには物品の選別精度を向上することができる。

次に、図１３乃至図１７を参照して第２実施形態の情報処理システムを説明する。
図１３は、第２実施形態の情報処理システムのサーバの機能的構成の一例を示す図である。
図１４は、図１３の情報処理システムの管理者端末に表示されるホーム画面の一例を示す図である。
図１５は、図１４のホーム画面の他の一例を示す図である。
図１６は、図１４のホーム画面から遷移して表示される画像分類詳細画面の一例を示す図である。
図１７は、図１６の画像分類詳細画面から遷移して表示される画像分類一覧画面の一例を示す図である。
なお、図１３において第２実施形態を説明するにあたり、上述した図３に示したサーバの機能的構成と同じ機能的構成には同一の符号を付しその説明は省略する。
この第２実施形態は、エッジデバイス１のＡＩモデル３１が、良品か不良品かの判定に迷うような曖昧な物品について、さらに学習を進めて選別精度を向上するように構成したものである。

図１３に示すように、第２実施形態のサーバ２は、評価受付部７５及びＧＵＩ制御部７６を有する。また、エッジデバイス１は、判定部４２（図３参照）及び出力制御部４３（図３参照）を備える。

この場合、複数のカテゴリは、良品であることを示す第１カテゴリと、不良品であることを示す第２カテゴリと、良品か不良品かの切り分けが困難なことを示す不明品という第３カテゴリを含む。第３カテゴリは、具体的には例えば、不良品の確率が５０％～７０％程度の良否判定が不明な分類である。逆に良品の確率が５０％～３０％程度でも同じである。

エッジデバイス１の判定部４２は、所定条件として第２カテゴリ（不良品）に属するという第１条件を用いて、当該所定条件を満たすか否かを判定する。これにより、第１条件（第２カテゴリ（不良品）に属するという条件）を満たした処理対象画像データだけがサーバ２へ送信されるようになり、通信リソースの消費を抑えることができる。
判定部４２は、当該所定条件として第１条件に加えてさらに第３カテゴリ（例えば良否判定不明等）に属するという第２条件を用いて、当該所定条件を満たすか否かを判定する。

出力制御部４３は、判定部４２により第１条件を満たすと判定された場合、当該判定結果として第２カテゴリ（不良品）という情報と共に処理対象画像データを外部（例えばサーバ２等）に出力する。
出力制御部４３は、判定部４２により第２条件を満たすと判定された場合、当該判定結果として第３カテゴリ（例えば不明品等）という情報（不明品という分類ラベル）と共に処理対象画像データを外部（例えばサーバ２等）に出力する。
出力制御部４３は、判定部４２により第１条件及び第２条件の何れも満たさないと判定された場合、その判定結果のみを外部（例えばサーバ２等）に出力する。

このように第２条件を満たすと判定された場合、当該判定結果として第３カテゴリ（例えば不明品等）という情報と共に処理対象画像データを外部（サーバ２を介して管理者端末３）に出力することで、その処理対象画像データを管理者等の人の目により詳細に分類し、その処理対象画像データの分類ラベルを付け直す等した上でＡＩモデル６１に学習させ、それをエッジデバイス１のＡＩモデル３１に反映することで、ＡＩモデル３１による誤判定を少なくし選別精度を向上することができる。

サーバ２の評価受付部７５は、処理対象画像データ及び処理結果に対するユーザの評価を受付ける。
具体的には、評価受付部７５は、エッジデバイス１から送信されてきた処理対象画像データ（分類ラベル付きの画像データ）及び処理結果を受信し、管理者端末３に提供する。そして、管理者端末３の側で管理者により処理対象画像データの分類ラベルが変更された場合、評価受付部７５は、その変更された分類ラベルの画像データを受け付ける。

学習部７３は、処理対象画像データ及び処理結果に加えてさらにユーザの評価を用いて、ＡＩモデルに対する再学習を行う。ここで、ユーザの評価とは、ＡＩモデルによる認識が間違っていたことで分類ラベルを付け直し良否を識別済みの画像データ（教師データ）のフィードバック等である。
このように、処理対象画像データ及び処理結果に加えてユーザの評価を用いてＡＩモデルに対する再学習を行うことで、曖昧な判定結果であった画像データに対して、正しい分類のラベルを付与することで、良品、不良品の選別精度を向上することができる。

ＧＵＩ制御部７６は、学習部７３及びモデル提供部７４の夫々の機能を発揮させるための操作をユーザに行わせるためのユーザインターフェイスである画面を、当該ユーザにより操作される管理者端末３に提供する制御を実行する。
具体的には、ＧＵＩ制御部７６は、図１４に示すホーム画面３００を、管理者端末３に提供し表示させる。

図１４に示すホーム画面３００は、エッジデバイス１により選別された画像データを管理者が閲覧するための画面であり、管理者端末３に表示される。
このホーム画面３００には、メニュー欄３０１と表示欄３０２が設けられている。表示欄３０２には、エッジデバイス１の名称「Ａデバイス」、エッジデバイス１から取得された未分類の画像データの残数表示エリア３０３、未分類の画像データを分類するために、画面を画像分類詳細画面３２０（図１６参照）へ遷移させるためのボタン３０４、ボタン３０４の操作により読み出される画像データの表示エリア３０５、画面をリアルタイム判定画面１１１（図５参照）へ遷移させるためのボタン３０６、本日のデータの集計状況を物品毎の数値や物品の種別、グラフで表示するエリア３０７等が配置されている。

なお、複数のエッジデバイス１が動作する環境では、図１５に示すホーム画面３１０が表示される。
この場合、Ａデバイス、Ｂデバイス、Ｃデバイス、Ｄデバイスの４つのエッジデバイス１が物品の選別現場に配置されているものとする。
このホーム画面３１０では、夫々のデバイス毎にエリア３１１乃至３１４が区分され、夫々のエリア３１１乃至３１４に、図１４に示したボタンと同じボタン３１３１５乃至３１８が配置されており、個々のデバイス毎に操作が可能である。

図１４のホーム画面３００のボタン３０４がクリック操作されると、画像分類詳細画面３２０（図１６参照）が表示される。

図１６に示すように、この画像分類詳細画面３２０の表示領域３０２には、画像表示エリア３２１、ボタン３２２ａ乃至３２２ｄ、画像データのメタデータ表示欄３２３、分類クラス名選択欄３２４、登録者名選択欄３２５、検索対象期間選択欄３２６、絞り込みボタン３２７、ＣＳＶ出力ボタン３２８、学習開始ボタン３２９及び一覧ページへ戻るボタン３３０等が配置されている。
ボタン３２２ａは、例えば「ＮＧ１」等の分類ラベルを画像データに付与するボタンである。「ＮＧ１」は、例えば「キズあり」等の不良品の分類である。
ボタン３２２ｂは、例えば「ＮＧ２」等の分類ラベルを画像データに付与するボタンである。「ＮＧ２」は、例えば「みかん」等の「りんご」とは異なる種類の分類である。
ボタン３２２ｃは、例えば「ＯＫ」等の分類ラベルを画像データに付与するボタンである。「ＯＫ」は、例えば「良品」に分類されるものである。
ボタン３２２ｄは、例えば「ＷＡＲＮＩＮＧ」等の分類ラベルを画像データに付与するボタンである。「ＷＡＲＮＩＮＧ」は、「ＮＧ１」、「ＮＧ２」、「ＯＫ」以外の、例えば「要注意品」等に分類されるものである。
絞り込みボタン３２７は、分類クラス名選択欄３２４のクラス名ボタンの選択操作及び検索対象期間選択欄３２６において期間が指定された後、クリック操作されることで、対象の画像データを読み出す。
ＣＳＶ出力ボタン３２８は、夫々の画像データのメタデータをＣＳＶ出力するためのボタンであり、クリック操作されると、夫々の画像データのメタデータのＣＳＶファイルが生成されて出力される。
一覧ページへ戻るボタン３３０は、画面を図１７に示す画像分類一覧画面３３０に遷移させるためのボタンである。
図１７に示す画像分類一覧画面３３０には、図１６と同様に、メニュー欄３０１と表示欄３０２が設けられている。表示欄３０２には、分類済みの画像データ３２２が一覧表示される。表示欄３０２の右エリアには、図１６と同様に、分類クラス名選択欄３２４、登録者名選択欄３２５、検索対象期間選択欄３２６、絞り込みボタン３２７、ＣＳＶ出力ボタン３２８、学習開始ボタン３２９及び一覧ページへ戻るボタン３３０等が配置されている。つまりこの画像分類一覧画面３３０は、管理者が分類結果を閲覧するための画面である。

この第２実施形態の場合、図１６に示す画像分類詳細画面３２０の画像表示エリア３２１には、未分類の画像データのうちの一つが表示される。
ここで、管理者により画像表示エリア３２１に表示された未分類の画像データが確認された後、ボタン３２２ａ乃至３２２ｄのうちいずれか一つがクリック操作されることで、クリック操作されたボタンの新たな評価が、評価受付部７５により受け付けられ、画像データに新たな分類ラベルが付与され、分類済みとされる。
分類後は、次の未分類の画像データが画像表示エリア３２１に表示される。
未分類の画像データが分類された後、学習開始ボタン３２９がクリック操作されると、分類済みの画像データは、評価受付部７５から学習部７３へ教師データとして入力され、ＡＩモデル６１の再学習が実行される。
再学習後、ＡＩモデル６１は、サーバ２からエッジデバイス１へ転送され、エッジデバイス１のＡＩモデル３１が更新される。

第２実施形態では、上述したホーム画面３００（図１４）、ホーム画面３１０（図１５）や画像分類詳細画面３２０（図１６）等では、学習部７３及びモデル提供部７４の夫々の機能を発揮させるための操作を、ユーザ自身が行うことができる。
例えば管理者等のユーザがサンプルの画像データをＡＩモデル６１に学習させてＡＩモデル６１を構築し、構築したＡＩモデル６１を再学習させることができるようになり、学習データとテストデータとを用いて精度の検証ができるようになる。

ＡＩモデル６１の再学習のためのデータ収集及びチューニング作業は、一般的に難易度が高く、特に不良品の画像データ収集が重要である。
エッジテバイス１の側で不良品の画像データだけをピックアップしようとしたときに、ＡＩモデル３１がＮＧと判定したものだけを集めてもＡＩモデル３１の精度向上に繋がり難い。
本当に必要な画像データは、ＡＩモデル３１が判定を間違えた良品や不良品の画像データであり、その画像データに対して正しくラベル付けして学習させる必要がある。
具体的には、良品に近い不良品（例えば５０％の確率で不良品と判定された画像データ）や特定の不良と思わしき良品（例えば小さなひび、欠け、キズ、その他の部位の異変等）等の不明品であると判定される製造物等の物品の画像データが得られることがあり、これを解析することが選別精度の向上には重要である。
画像データに対して正しくラベル付けして学習させることを実現するためには、ＡＩモデル３１の判定結果とは別に生データを分類する設定が必要であり、本実施形態では、ＡＩモデル３１から不良品である確率値が出力されるものとして、当該確率値を利用することによってそれを可能する。

即ち、この第２実施形態では、エッジデバイス１の判定部４２は、第２カテゴリ（不良品）に属するという第１条件に加えてさらに第３カテゴリ（良否が不明な物：不明品）に属するという第２条件を用いて、所定条件を満たすか否かを判定する。不明品とは、不良品である確率値が例えば５０％～７０％程度の良否判定が不明なものをいう。
なお、確率値は、ＡＩモデル３１の出力を利用する他、正規品の画像データと処理対象画像データとの対比で求められる類似度計算の結果に基づいて求めてもよい。５０％～７０％程度は一例であり、他の値であってもよく、良否の識別が難しい曖昧の数値であればよい。
そして、判定部４２により第２条件を満たすと判定された場合、当該判定結果として第３カテゴリ（例えば不明品等）という情報と共に処理対象画像データをサーバ２へ出力する。

サーバ２では、第３カテゴリ（例えば不明品等）とその処理対象画像データを管理者端末３へ送信し管理者等の人の目により処理対象画像データの良否を判定し、その処理対象画像データの分類ラベルを正しい判別結果に付け直す等した上でＡＩモデル３１に学習させることで、ＡＩモデル３１による誤判定を少なくし選別精度を向上することができる。

他にも元データの画像分布そのものを判定し、半自動的に分類する手法もあるが、いずれにしてもＡＩモデル３１による判定とは別に再学習用のデータ収集のためのアルゴリズム（第３カテゴリに属する物品の判定機能）を用意することによって、再学習に最適な画像データを収集することを可能にする。

さらに、良否が曖昧な物品の選別は、ソフトウェア技術者が行うよりも、実際に現場にいる検査員等の方が見極めの能力が高い。このため、現場の管理者端末３に、その管理者（ユーザ）が簡易に画像の分類（仕分け）を行うことができる画像分類詳細画面３２０（図１６参照）を提供することで、管理者（ユーザ）側で手軽にＡＩモデル６１の再学習を実施し、所定のタイミングでエッジデバイス１側のＡＩモデル３１に反映することができる。

また、画像分類詳細画面３２０（図１６参照）での画像分類後にそのままユーザ側でＡＩモデル６１の学習を実行できる機能を搭載しているため、サーバ２にアップされた画像データを、ユーザ側で何の不良か又は良品だったかをタグ付け（分類ラベルを付与）して分類できる。また分類後のデータセットを用いて再学習をサーバ２で行うことができる。
さらに、ユーザ側でＡＩモデル６１を構築及び再学習できるような画像分類詳細画面３２０（ＧＵＩ画面）を用意し、学習データやテストデータを用いて精度検証をできるようにし、構築及び再学習した学習済みのＡＩモデル６１をそのままリモートでエッジデバイス１に実装できるシステムを提供することができる。
つまりユーザ側で再学習に必要なデータ収集及び分類を行い、そのまま精度が上がったＡＩモデル６１をエッジデバイス１にデプロイして利用するというサイクルを回すことができるようになる。これ以外にも、新製品が出た際や新しいロットに対応する際にも、手間なく対応することが可能になる。

以上、本発明が適用される情報処理システムの実施形態を説明してきたが、本発明が適用される実施形態は、例えば次のようなものであってもよい。
上記実施形態では、エッジデバイス１がカメラ２２を有するものとして説明したが、カメラ２２は、エッジデバイス１に接続されたカメラ、つまり外部カメラであっても良い。

上記実施形態では、ＡＩモデル３１に製造物Ｔ１乃至Ｔｎ等に関する画像データを入力して当該製造物Ｔ１乃至Ｔｎに対する選別結果を出力したが、他のモデルであってもよく、ＡＩモデルや選別処理等に限定されるものではなく、物品に関する画像データを入力して当該物品に対する所定の処理結果を出力するモデルであれば足りる。

また、上記実施形態では、判定部４２は、不良品のカテゴリに属するという条件を満たすか否かを判定したが、このような条件に限定されるものではなく、正常品に属さないという条件であってもよく、条件の設定は様々に変更可能である。即ち処理対象画像データがモデルに入力された結果として当該モデルから出力される所定の処理結果が、所定条件を満たすか否かを判定すればよい。

上記実施形態では、出力制御部４３は、判定部４２により不良品のカテゴリに属するという条件を満たすと判定された場合、ＮＧのテキストデータと共に不良品に属すると判定された製造物Ｔ２の画像データを外部に出力し、不良品のカテゴリに属するという条件を満たさないと判定された場合、ＯＫのテキストデータのみを外部に出力する制御を実行したが、ＮＧとＯＫの２者選択でなくともよく、例えば信頼度８０％以上のもの、信頼度８０％未満６０％超、信頼度６０％以下のもの等といった段階的なもの（３種類以上）であってもよい。
即ち出力制御部４３は、判定部４２により所定条件を満たすと判定された場合、その判定結果と共に処理対象画像データを外部に出力し、判定部４２により所定条件を満たさないと判定された場合、その判定結果のみを外部に出力する制御を実行すればよい。

上記実施形態では、サーバ２に学習機能（学習部７３や不良品の画像データを記憶する選別情報ＤＢ６２等）を設けたが、この例のみに限定されるものではなく、学習機能をサーバ２とは別の情報処理装置である例えば学習装置等に搭載し、サーバ２と学習装置とをネットワークＮを介して接続してデータ連携させることで同様の機能を実現してもよい。
本情報処理システムでは、夫々の機能が独立しているため、サービスが何らかの要因で停止した場合、サービス全体が停止することなく、特定の機能のみを復旧することで対処が可能である。

上記実施形態では、一つの製造ラインＬに１台のエッジデバイス１を配置する例を示した、これ以外に、例えば複数の製造ラインの夫々に１台のエッジデバイス１を配置してもよいし一つの製造ラインＬの複数の箇所に夫々エッジデバイス１を配置してもよい。この場合、複数のエッジデバイス１の夫々にＩＤ（固有の識別情報）を割り当てることで、エッジデバイス１毎に動作状況を管理することができる。

上記実施形態では、エッジデバイス１の出力制御部４３が、予測結果を出力情報として送信する宛先を、ネットワークＮ上のサーバ２や製造現場のＰＬＣにしたが、この他、宛先として上記ウエブサイトのマイページが指定されていた場合、出力制御部４３は、当該マイページに出力情報を保存する制御を実行してもよい。

また、サーバ２がインターネット上に本サービス専用のアプリケーションソフトウェア（以下「アプリ」と称す）を公開し、エッジデバイス１やその他の情報処理装置にアプリをダウンロードさせて実行することで、上記実施形態で示したサーバ２と同様の機能をエッジデバイス１やその他の情報処理装置により実現することができる。

また、上記実施形態では、エッジデバイス１にＡＩモデル３１を保持しておき、選別処理を行ったが、この他、例えば入力情報の取得元であるカメラ２２やカメラ２２により撮像される画像データを録画する録画装置等の、入力情報を取得するデバイスにＡＩモデル３１を組み込んでもよい。

上記実施形態では、ＡＩモデル３１に入力する入力情報の一例として画像データを例示したが、これ以外に、例えば音声、文書、テーブル、数値等のデータやこれら以外のデータを入力情報とすることができる。
上記実施形態では、エッジデバイス１において不良品が検出された場合に、エッジデバイス１と生産現場に設置されるＰＬＣとが連携してアラートを出力する例を説明したが、ＰＬＣの他に、例えばブザーやランプ等と連携してアラートを出力してもよい。

また、例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図３の例に限定されない。また、機能ブロックの存在場所も、図３に特に限定されず、任意でよい。例えば、サーバ２の機能ブロック及びデータベースを管理者端末３に移譲させてもよい。また、一つの機能ブロック及びデータベースは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば管理サーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

また例えば、このようなプログラムを含む記録媒体は、サービス提供社ＳＡにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でサービス提供社ＳＡに提供される記録媒体等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。

即ち、本発明が適用される第１情報処理装置（例えば図３のエッジデバイス１等）は、
物品（例えば図３の製造物Ｔ１乃至Ｔｎ等）に関する画像データを入力して当該物品に対する所定の処理結果（選別結果）を出力するモデル（例えば図３のＡＩモデル３１等）を保持するモデル保持手段（例えば図３の記憶部１８等）と、
処理対象の物品に関する画像データ（例えば図３の製造物Ｔ１乃至Ｔｎの画像等）を選別対象画像データとして取得する画像取得手段（例えば図３の画像取得部４１等）と、
前記処理対象画像データが前記モデルに入力された結果として当該モデルから出力される前記所定の処理結果が、所定条件（例えば不良品のカテゴリに属するという条件）を満たすか否かを判定する判定手段（例えば図３の判定部４２等）と、
前記判定手段により前記所定条件（例えば不良品のカテゴリに属するという条件）を満たすと判定された場合、その判定結果（例えばＮＧ等のテキストデータ）と共に前記処理対象画像データ（例えば製造物Ｔ２の画像データ等）を外部に出力し、前記判定手段により前記所定条件（例えば不良品のカテゴリに属するという条件）を満たさないと判定された場合、その判定結果（例えばＯＫ等のテキストデータ）のみを外部に出力する制御を実行する出力制御手段（例えば図３の出力制御部４３等）と、
を備える。
このように、第２情報処理装置であるサーバ２のＡＩモデル６１を、第１情報処理装置であるエッジデバイス１にＡＩモデル３１としてデプロイしておき、エッジデバイス１においてＡＩモデル３１を用いて画像データのカテゴリの選別を行い、選別されたカテゴリが特定のカテゴリであるという条件を満たすか否かを判定し、その判定結果に応じてサーバ２へ送信する情報を制御するよう構成したことで、エッジデバイス１からは、正常品として選別される大多数の画像データはサーバ２へ送らずに、不良品として選別される僅かな画像データのみをサーバ２へ送ることで、ネットワークＮに流れるデータ量を削減し、通信リソースの消費を抑えて運用コストを削減することができる。
また、サーバ２では、不良品の画像データだけが自動的に収集されるので、その画像データを用いてＡＩモデル６１を再学習させて、ＡＩモデル６１の認識知識を向上させることで、次々に取得される物品の画像の中から不良品の画像を識別する選別精度を向上することができる。
この結果、ネットワークＮを利用して異なる場所どうし（例えば製造現場と管理部門の場所と）の連携を行いつつネットワークＮの伝送容量、つまり通信リソースの消費を抑えてコストを削減し、さらには選別精度を向上することができる。

前記モデル（例えばＡＩモデル３１等）は、前記所定の処理結果（例えば製造物Ｔ２の選別結果）として、複数のカテゴリ（正常品や不良品のカテゴリ等）のうち前記物品が属するカテゴリ（例えば不良品のカテゴリ）を出力し、
前記判定手段（例えば図３の判定部４２等）は、前記所定条件として所定のカテゴリ（例えば不良品のカテゴリ）に属するという条件を用いて、当該所定条件を満たすか否かを判定する。
このように、ＡＩモデル３１による画像データの選別結果を、例えば不良品のカテゴリに属するという条件で送信するか否かを判定することで、不良品の画像データのみをサーバ２で収集することができる。

前記複数のカテゴリは、良品であることを示す第１カテゴリと、不良品であることを示す第２カテゴリとを含み、
前記判定手段（例えば図３の判定部４２等）は、前記所定条件として前記第２カテゴリ（不良品）に属するという第１条件を用いて、当該所定条件を満たすか否かを判定する。
これにより、第２カテゴリ（不良品）に属する処理対象画像データだけがサーバ２へ送信されるようになり、通信リソースの消費を抑えることができる。

前記複数のカテゴリは、さらに、前記良品か前記不良品かの切り分けが困難なことを示す第３カテゴリ（例えば不良品の確率が５０％～７０％程度の良否判定不明又はその逆等）を含み、
前記判定手段（例えば図３の判定部４２等）は、前記所定条件として前記第１条件に加えてさらに前記第３カテゴリ（例えば良否判定不明等）に属するという第２条件を用いて、当該所定条件を満たすか否かを判定し、
前記出力制御手段（例えば図３の出力制御部４３等）は、
前記判定手段（例えば図３の判定部４２等）により前記第１条件を満たすと判定された場合、当該判定結果として前記第２カテゴリ（不良品）という情報と共に前記処理対象画像データを外部に出力し、
前記判定手段（例えば図３の判定部４２等）により前記第２条件を満たすと判定された場合、当該判定結果として前記第３カテゴリ（例えば良否判定不明等）という情報と共に前記処理対象画像データを外部に出力し、
前記判定手段（例えば図３の判定部４２等）により前記第１条件及び前記第２条件の何れも満たさないと判定された場合、その判定結果のみを外部に出力する。
このように第２条件（第３カテゴリに属するという条件）を満たすと判定された場合、当該判定結果として第３カテゴリ（例えば良否判定不明等）という情報と共に処理対象画像データを外部（例えば図３のサーバ２等）に出力することで、その処理対象画像データを人の目により良否を選別し、その処理対象画像データの分類ラベルを付け直す等した上でＡＩモデルに学習させることで、ＡＩモデルが良否判定を間違えることを少なくし、選別精度を向上することができる。

第２情報処理装置（例えば図３のサーバ２等）は、
前記第１情報処理装置（例えば図３のエッジデバイス１等）から出力された前記処理対象画像データ（例えば不良品の画像データ）及び前記処理結果（例えばＮＧ等のテキストデータ）を用いて、前記モデル（例えば図３のＡＩモデル６１等）に対する再学習を行う学習手段（例えば図３の学習部７３等）と、
前記再学習が行われた前記モデル（ＡＩモデル６１等）を、前記第１情報処理装置（例えば図３のエッジデバイス１等）に提供する提供手段（例えば図３のモデル提供部７４等）と、
を備える。
これにより、製造現場から取得された処理対象画像データ（例えば不良品の画像データ）のみをモデル（例えばＡＩモデル６１等）に再学習させて不良品の識別知識を高めた上で製造現場の情報処理装置（例えばエッジデバイス１等）へ提供するので、情報処理装置（例えばエッジデバイス１等）において学習済みの賢いモデル（例えばＡＩモデル３１等）にて画像データを選別できるようになり、物品の中から不良品を選別する精度を向上することができる。

前記処理対象画像データ及び前記処理結果に対するユーザの評価を受付ける評価受付手段（例えば図１３の評価受付部７５等）をさらに備え、
前記学習手段（例えば図３の学習部７３等）は、前記処理対象画像データ及び前記処理結果に加えてさらに前記ユーザの評価を用いて、前記モデルに対する再学習を行う。
このように、処理対象画像データ及び処理結果に加えてユーザの評価（ＡＩモデルによる認識が間違っていたことで分類ラベルを付け直した画像データ（教師データ）のフィードバック）を用いてＡＩモデルに対する再学習を行うことで、選別の際に良否判定不明となるデータを少なくし、選別精度を向上することができる。

前記学習手段（例えば図３の学習部７３等）及び前記提供手段（例えば図３のモデル提供部７４等）の夫々の機能を発揮させるための操作を前記ユーザに行わせるためのユーザインターフェイスを、当該ユーザにより操作される他の情報処理装置（例えば図１３の管理者端末３等）に提供する制御を実行する制御手段（例えば図１３のＧＵＩ制御部７６等）、
を備える。
これにより、例えば現場に設置される他の情報処理装置（例えば図１３の管理者端末３等）のユーザインターフェイスから、学習手段（例えば図３の学習部７３等）及び前記提供手段（例えば図３のモデル提供部７４等）の夫々の機能を発揮させるための操作を、ユーザ自身が行うことができるようになる。
例えばユーザ側でユーザインターフェイスからＡＩモデルを構築し、また構築したＡＩモデルを再学習させることができるようになり、学習データとテストデータとを用いて精度の検証をできるようになる。
この結果、ユーザがユーザインターフェイスを介して作成しサーバに保存した学習済みのＡＩモデルを、リモートで、他の情報処理装置（例えば図３のエッジデバイス１等）に実装することができるシステムを提供することができる。

前記第２情報処理装置（例えば図３のサーバ２等）は、
前記第１情報処理装置（例えば図３のエッジデバイス１等）から出力された前記処理対象画像データ（例えば不良品の画像データ）及び前記処理結果（例えばＮＧ等のテキストデータ等）を用いて、前記処理対象の物品に関する情報（例えば図５のリアルタイム判定画面１１１の他、処理対象画像データ及び前記処理結果自身や不良品検出時のアラート等も含む）を生成して、他の情報処理装置（例えば図３の管理者端末３等）に提示する提示手段（例えば図３のモデル提供部７４等）、
をさらに備える。
これにより、物品が配置された現場から離れた遠隔地に存在する管理者が現場の物品の状況を確認することができるので、異なる場所どうしの業務連携を図ることができる。

Ｔ１乃至Ｔ３・・・製造物、Ｌ・・・製造ライン、１・・・エッジデバイス、２・・・サーバ、３・・・管理者端末、１１、５１、９１・・・ＣＰＵ、１８、５８、９８・・・記憶部、１９、５９、９９・・・通信部、３１、６１・・・ＡＩモデル、４１・・・画像取得部、４２・・・判定部、４３・・・出力制御部、６２・・・選別情報ＤＢ、７１・・・提示部、７２・・・モデル生成器、７３・・・学習部、７４・・・モデル提供部、７５・・・評価受付部、７６・・・ＧＵＩ制御部、８１・・・可視化部、８２・・・アラート部、９６・・・出力部、１０１・・・閲覧制御部

Claims (10)

1. 物品に関する画像データを入力して当該物品に対する所定の処理結果を出力するモデルを保持するモデル保持手段と、
   複数の物品の夫々を処理対象に順次設定し、当該処理対象の物品に関する画像データを処理対象画像データとして順次取得する画像取得手段と、
   前記処理対象画像データが前記モデルに入力された結果として当該モデルから出力される前記所定の処理結果が、所定条件を満たすか否かを判定する処理を前記複数の物品毎に夫々実行する判定手段と、
   前記複数の物品の夫々についての前記判定手段の判定結果の夫々を利用する他情報処理装置に対して出力情報を所定のネットワークを介して送信する制御として、前記処理対象の前記物品について前記所定条件を満たすと前記判定手段により判定された場合、当該判定結果と共に前記処理対象画像データを、前記処理対象の前記物品についての前記出力情報として前記他情報処理装置に送信し、前記処理対象の前記物品について前記所定条件を満たさないと前記判定手段により判定された場合、その判定結果のみを、前記処理対象の前記物品についての前記出力情報として前記他情報処理装置に送信する制御を実行する送信制御手段と、
   を備える情報処理装置。
2. 前記モデルは、前記所定の処理結果として、複数のカテゴリのうち前記物品が属するカテゴリを出力し、
   前記判定手段は、前記所定条件として所定のカテゴリに属するという条件を用いて、当該所定条件を満たすか否かを判定する、
   請求項１に記載の情報処理装置。
3. 前記複数のカテゴリは、良品であることを示す第１カテゴリと、不良品であることを示す第２カテゴリとを含み、
   前記判定手段は、前記所定条件として前記第２カテゴリに属するという第１条件を用いて、当該所定条件を満たすか否かを判定する、
   請求項２に記載の情報処理装置。
4. 前記複数のカテゴリは、さらに、前記良品か前記不良品かの切り分けが困難なことを示す第３カテゴリを含み、
   前記判定手段は、前記所定条件として前記第１条件に加えてさらに前記第３カテゴリに属するという第２条件を用いて、当該所定条件を満たすか否かを判定し、
   前記送信制御手段は、
   前記判定手段により前記第１条件を満たすと判定された場合、当該判定結果として前記第２カテゴリという情報と共に前記処理対象画像データを外部に送信し、
   前記判定手段により前記第２条件を満たすと判定された場合、当該判定結果として前記第３カテゴリという情報と共に前記処理対象画像データを外部に送信し、
   前記判定手段により前記第１条件及び前記第２条件の何れも満たさないと判定された場合、その判定結果のみを外部に送信する、
   請求項３に記載の情報処理装置。
5. 請求項１乃至３のうち何れか１項の前記情報処理装置から送信された前記処理対象画像データ及び前記処理結果を用いて、前記モデルに対する再学習を行う学習手段と、
   前記再学習が行われた前記モデルを、請求項１乃至３のうち何れか１項の前記他情報処理装置に提供する提供手段と、
   を備える情報処理装置。
6. 前記処理対象画像データ及び前記処理結果に対するユーザの評価を受付ける評価受付手段をさらに備え、
   前記学習手段は、前記処理対象画像データ及び前記処理結果に加えてさらに前記ユーザの評価を用いて、前記モデルに対する再学習を行う、
   請求項５に記載の情報処理装置。
7. 前記学習手段及び前記提供手段の夫々の機能を発揮させるための操作を前記ユーザに行わせるためのユーザインターフェイスを、当該ユーザにより操作される前記他情報処理装置に提供する制御を実行する制御手段、
   をさらに備える請求項６に記載の情報処理装置。
8. 前記処理対象画像データ及び前記処理結果を用いて、前記処理対象の物品に関する情報を生成して、前記他情報処理装置に提示する提示手段、
   をさらに備える請求項５乃至７のうち何れか１項に記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法において、
   物品に関する画像データを入力して当該物品に対する所定の処理結果を出力するモデルを保持するステップと、
   複数の物品の夫々を処理対象に順次設定し、当該処理対象の物品に関する画像データを処理対象画像データとして順次取得する画像取得ステップと、
   前記処理対象画像データが前記モデルに入力された結果として当該モデルから出力される前記所定の処理結果が、所定条件を満たすか否かを判定する処理を前記複数の物品毎に夫々実行する判定ステップと、
   前記複数の物品の夫々についての前記判定ステップの判定結果の夫々を利用する他情報処理装置に対して出力情報を所定のネットワークを介して送信する制御として、前記処理対象の前記物品について前記所定条件を満たすと前記判定ステップにおいて判定された場合、当該判定結果と共に前記処理対象画像データを、前記処理対象の前記物品についての前記出力情報として前記他情報処理装置に送信し、前記処理対象の前記物品について前記所定条件を満たさないと前記判定ステップにおいて判定された場合、その判定結果のみを、前記処理対象の前記物品についての前記出力情報として前記他情報処理装置に送信する制御を実行する送信制御ステップと、
   を含む情報処理方法。
10. 情報処理装置を制御するコンピュータに、
    物品に関する画像データを入力して当該物品に対する所定の処理結果を出力するモデルを保持するステップと、
    複数の物品の夫々を処理対象に順次設定し、当該処理対象の物品に関する画像データを処理対象画像データとして順次取得する画像取得ステップと、
    前記処理対象画像データが前記モデルに入力された結果として当該モデルから出力される前記所定の処理結果が、所定条件を満たすか否かを判定する処理を前記複数の物品毎に夫々実行する判定ステップと、
    前記複数の物品の夫々についての前記判定ステップの判定結果の夫々を利用する他情報処理装置に対して出力情報を所定のネットワークを介して送信する制御として、前記処理対象の前記物品について前記所定条件を満たすと前記判定ステップにおいて判定された場合、当該判定結果と共に前記処理対象画像データを、前記処理対象の前記物品についての前記出力情報として前記他情報処理装置に送信し、前記処理対象の前記物品について前記所定条件を満たさないと前記判定ステップにおいて判定された場合、その判定結果のみを、前記処理対象の前記物品についての前記出力情報として前記他情報処理装置に送信する制御を実行する送信制御ステップと、
    を含む制御処理を実行させるプログラム。

Images