JP7029201B1

JP7029201B1 - 物体検査装置、検査用プログラム、及びシステム

Info

Publication number: JP7029201B1
Application number: JP2021016590A
Authority: JP
Inventors: 哲也沢登; 和哉中島; 洋平谷川
Original assignee: Connected Robotics Inc
Current assignee: Connected Robotics Inc
Priority date: 2021-02-04
Filing date: 2021-02-04
Publication date: 2022-03-03
Anticipated expiration: 2041-02-04
Also published as: JP2022119455A; JP2022119754A

Abstract

【課題】機械学習が十分でない初期段階でも、リモートで効率よく検査対象物から所定属性の検査対象物を検出する。【解決手段】物体検査装置１は、各検査対象物Ａの画像データを取得する画像取得部１１と、画像データを、ネットワーク３を介して検査者端末２に送信する送信部１２と、各検査対象物Ａの属性に関して、検査者による判断結果を、検査者端末２からネットワーク３を介して受信する受信部１３と、検査者による判断結果に基づいて、各検査対象物Ａのうちから、所定属性の検査対象物を検出する検出部１４と、画像データに対応付けて、各検査対象物Ａの属性に関する判断結果を蓄積する記憶部１５とを含む。【選択図】図８

Description

本開示は、検査対象物から不良品を検出する物体検査装置、検査用プログラム、及びシステムに関する。

コンベアにより搬送される多数の商品を撮影する撮影部と、撮影部で撮影された各商品の画像に対して画像処理を行う画像処理部と、画像処理部で処理された画像データに対して、予め定められた選別基準に基づいて良品／不良品の判定を行う判定部と、判定部で不良品と判定された商品に商品の搬送速度に同期して光を照射する光照射部と、を備えた商品検査装置が提案されている（例えば、特許文献１参照）。

また、特許文献１には、判定部で判定された良品／不良品の各画像データをそれぞれ表示する表示部と、表示部で表示された各画像データに対して操作者（熟練者）が良品／不良品の判定結果を入力する入力部と、入力部で入力された判定結果を学習画像データとし、当該学習画像データに基づいて機械学習方式により学習モデルを生成する学習モデル生成部と、学習モデル生成部により生成された学習モデルにしたがって、判定部の選別基準を更新する更新部と、をさらに備えることが記載されている。

特開２０２０－０１１１８２号公報

しかしながら、特許文献１では、熟練者の判定による学習が、機械的な良品／不良品判定結果を事後的に見直す態様で実行されるので、ある程度学習が進んでからでないと、稼働させることが難しい。

そこで、本開示は、機械学習が十分でない初期段階でも、リモートで効率よく検査対象物から所定属性の検査対象物を検出する物体検査装置、検査用プログラム、及びシステムの提供を目的とする。

１つの側面では、以下のような解決手段を提供する。

（１）物体検査装置であって、各検査対象物の画像データを取得する画像取得部と、前記画像データを、ネットワークを介して検査者端末に送信する送信部と、各検査対象物の属性に関して、検査者による判断結果を、前記検査者端末からネットワークを介して受信する受信部と、前記検査者による判断結果に基づいて、各検査対象物のうちから、所定属性の検査対象物を検出する検出部と、前記画像データに対応付けて、各検査対象物の属性に関する判断結果を蓄積する記憶部とを含む、ことを特徴とする。

（２）上記（１）の構成において、前記記憶部に蓄積されたデータに基づいて、各検査対象物の属性を判断するためのプログラムを機械学習により生成又は更新する機械学習部を更に含む、ことを特徴とする。

（３）上記（２）の構成において、前記機械学習部により生成又は更新された前記プログラムに基づいて、各検査対象物の属性を自動的に判断する自動判断部を更に含み、前記検出部は、前記自動判断部による判断結果に基づいて、所定属性の検査対象物を検出する、ことを特徴とする。

（４）上記（３）の構成において、前記検出部は、前記検査者による判断結果と前記自動判断部による判断結果の双方に基づいて、所定属性の検査対象物を検出する、ことを特徴とする。

（５）上記（１）～（４）のいずれかの構成において、前記送信部は、共通の前記画像データを、複数の前記検査者端末に送信し、前記検出部は、複数の前記検査者による判断結果に基づいて、所定属性の検査対象物を検出する、ことを特徴とする。

（６）上記（１）～（５）のいずれかの構成において、前記属性は、検査対象物の品質レベルを表し、前記検出部は、一の検査対象物の前記品質レベルが所定レベル以下であると判断された場合に、前記一の検査対象物を所定属性の検査対象物として検出する、ことを特徴とする。

（７）上記（１）～（６）のいずれかの構成において、各検査対象物のうちの、前記検出部により検出された所定属性の検査対象物を追跡する追跡処理部と、前記追跡処理部からの追跡情報に基づいて、前記検出部により検出された所定属性の検査対象物に対して所定処理を行う処理部とを更に含む、ことを特徴とする。

（８）上記（７）の構成において、前記所定処理は、各検査対象物のうちの、前記検出部により検出された所定属性の検査対象物を、他の検査対象物とともに後工程で処理されないように、取り除く処理、前記検出部により検出された所定属性の検査対象物に対して、一部を除去する処理、及び、各検査対象物のうちの、前記検出部により検出された所定属性の検査対象物を、他の検査対象物から目視で区別できるようにマーキングする処理、のうちの少なくともいずれか１つを含む、ことを特徴とする。

（９）上記（１）～（８）のいずれかの構成において、各検査対象物のうちから、前記検査者端末に前記画像データを送信する第１種検査対象物を選別する選別処理部を更に含む、ことを特徴とする。

（１０）上記（９）の構成において、前記選別処理部は、事前選別者からの入力に基づいて、又は、前記記憶部に記憶されたデータに基づき生成又は更新された対象選別プログラムに基づいて、第１種検査対象物を選別する、ことを特徴とする。

（１１）上記（１０）の構成において、前記記憶部に記憶されたデータに基づいて、検査対象物の品質レベルを、不良品レベルと良品レベルとその間の１つ以上の中間レベルとを含む３段階以上のレベルでレベル分けするための前記対象選別プログラムを機械学習により生成又は更新する機械学習部を更に含み、
前記選別処理部は、前記対象選別プログラムにより、不良品レベルに分けられた検査対象物と中間レベルに分けられた検査対象物とを、第１種検査対象物として選別する、ことを特徴とする。なお、ここでいう対象選別プログラムは、上記（２）に係るプログラムと同じであってもよいし、異なってもよい。

（１２）上記（９）～（１１）のいずれかの構成において、前記画像取得部は、１つ以上のカメラにより撮像した静止画又は動画データから、検査対象物のそれぞれだけを抜き出した前記画像データを取得し、前記送信部は、前記画像データを圧縮して送信する、ことを特徴とする。

（１３）上記（１０）の構成において、前記画像データを含む判断結果入力用の画面データを生成する画面データ生成部を更に含み、前記送信部は、前記画面データを送信し、前記画面データ生成部は、前記検査者端末上で、各検査対象物の画像部分に前記対象選別プログラムにより分けられたレベルが対応付けられて表示されるように、前記画面データを生成する、ことを特徴とする。

（１４）上記（９）～（１３）のいずれかの構成において、前記画像データを含む判断結果入力用の画面データを生成する画面データ生成部を更に含み、前記送信部は、前記画面データを送信し、前記画面データ生成部は、前記検査者端末の画面上で複数の検査対象物の画像部分が同時に表示されるように、前記画面データを生成する、ことを特徴とする。

（１５）上記（１４）の構成において、前記画面データ生成部は、所定パラメータの値に基づいて、同時に表示される複数の検査対象物の画像部分の数を調整する、ことを特徴とする。

（１６）上記（１５）の構成において、各検査対象物を搬送する搬送部を更に備え、
前記所定パラメータは、前記搬送部により所定時間あたりに搬送される各検査対象物の数、前記搬送部により搬送される各対象物のうちの、所定時間あたりの不良率、稼働中の前記検査者端末の数、稼働中の前記検査者の熟練度、及び、機械学習の進行度合い、のうちの少なくともいずれか１つを含む、ことを特徴とする。なお、ここでいう機械学習は、上記（２）又は（１１）に係る機械学習であってもよい。

（１７）上記（１）～（１６）のいずれかの構成において、各検査対象物を搬送する搬送部を更に備え、一の検査者あたりかつ単位時間あたりの検査対象物の数が閾値を超えないように、各検査対象物の搬送速度を制御する、ことを特徴とする。

（１８）上記（１）～（１７）のいずれかの構成において、各検査対象物を搬送する搬送部を更に備え、前記送信部が前記画像データを前記検査者端末に送信してから前記受信部が前記検査者による判断結果を受信するまでの間、少なくとも一時的に搬送を停止させる、ことを特徴とする。

（１９）上記（１６）～（１８）のいずれかの構成において、前記搬送部は、対象物の向きを変化させる手段を更に備える、ことを特徴とする。

（２０）物体検査装置にネットワークを介して通信可能な検査者端末に実装される検査用プログラムであって、各検査対象物の画像データをネットワークを介して受信し、表示部に前記画像データを出力し、検査者からの入力に基づいて、各検査対象物の属性に関する前記検査者による判断結果を前記物体検査装置に送信する、処理を実行するように構成され、前記物体検査装置に送信された前記検査者による判断結果は、各検査対象物の前記画像データに対応付けて蓄積される、ことを特徴とする。

（２１）物体検査装置と、前記物体検査装置にネットワークを介して通信可能な検査者端末に実装される検査用プログラムとを備え、前記物体検査装置は、各検査対象物の画像データを取得する画像取得部と、各検査対象物の画像データを、ネットワークを介して検査者端末に送信する送信部と、前記検査者端末から、各検査対象物の属性に関する判断結果を、前記検査者端末からネットワークを介して受信する受信部と、前記判断結果に基づいて、各検査対象物のうちから、不良品を検出する検出部と、各検査対象物の画像データに対応付けて、各検査対象物の属性に関する最終的な判断結果を蓄積する記憶部とを含み、前記検査用プログラムは、前記送信部により送信される前記画像データをネットワークを介して受信し、表示部に前記画像データを出力し、検査者からの入力に基づいて、各検査対象物の属性に関する前記検査者による前記判断結果を前記物体検査装置に送信する、処理を実行するように構成される、ことを特徴とする。

本開示によれば、機械学習が十分でない初期段階でも、リモートで効率よく検査対象物から不良品を検出することが可能となる。

本発明の一実施形態の係る物体検査装置が適用されるシステムの全体構成を示すブロック図である。本発明の一実施形態の係る物体検査装置が適用される検査ラインの例を示す斜視図である。本発明の一実施形態の係る物体検査装置の第１検査モードによる検査の流れを示す概略説明図である。本発明の一実施形態の係る物体検査装置の第２検査モードによる検査の流れを示す概略説明図である。本発明の一実施形態の係る物体検査装置の第３検査モードによる検査の流れを示す概略説明図である。本発明の一実施形態の係る物体検査装置の他の使用例（複数の検査者による検査）を示す概略説明図である。本発明の一実施形態の係る物体検査装置の他の使用例（１人の検査者による複数ラインの検査）を示す概略説明図である。本発明の一実施形態の係る物体検査装置の機能構成を示すブロック図である。本発明の一実施形態の係る物体検査装置の第１検査モードにおける処理の流れを示すブロック図である。本発明の一実施形態の係る物体検査装置の第２検査モードにおける処理の流れを示すブロック図である。本発明の一実施形態の係る物体検査装置の第３検査モードにおける処理の流れを示すブロック図である。

以下、添付図面を参照しながら各実施例について詳細に説明する。

［システム］
図１に示すように、本実施形態の物体検査装置１が適用されるシステムは、検査対象物Ａの検査ラインに構築される物体検査装置１と、検査者が使用するコンピュータであり、コンピュータに検査用プログラムを実装して構成される検査者端末２と、物体検査装置１と検査者端末２とを通信可能に接続するインターネットなどのネットワーク３と、を備える。

検査ラインは、例えば、図２に示すように、複数の検査対象物Ａを搬送するコンベア４と、コンベア４上の検査対象物Ａを撮像するカメラ５と、不良品と判断された検査対象物Ａをコンベア４上から不良シュータ６に移動させるアーム型のロボット７と、を備える。

［物体検査装置］
図１に示すように、物体検査装置１は、コンベア４、カメラ５、及びロボット７の他に、カメラ５から検査対象物Ａの画像データを取得し、且つ、コンベア４及びロボット７を制御する検査制御部８と、ネットワーク３を介して検査制御部８と検査者端末２とを通信可能に接続する通信部９と、を備える。

［３つの検査モード］
図３～図５に示すように、検査制御部８は、３つの検査モードを実現する。図３に示す第１検査モードは、検査者が検査対象物Ａの画像データを見ながらリモートで検査を行うとともに、検査者の判断結果を画像データに対応付けて学習データとして蓄積する人間検査・データ蓄積モードである。

図４に示す第２検査モードは、蓄積された学習データの機械学習によって対象選別プログラム（以下、適宜ＡＩという。）を生成した後に実行可能となる検査モードであって、ＡＩによる判断結果（例えば、品質レベルに応じた〇、△、×などのマーキング）を参照しつつ、検査者が検査対象物Ａの画像データを見ながらリモートで検査を行うとともに、検査者の判断結果を画像データに対応付けて学習データとして蓄積する人間ＡＩ協調検査・データ蓄積モードである。

図５に示す第３検査モードは、第２検査モードにおいて蓄積された学習データの機械学習によって生成されたＡＩの選別精度が人間と同等、又はそれ以上となった場合に実行可能となる検査モードであって、ＡＩのみで検査対象物Ａの検査を行うＡＩ検査モードである。

［他の使用例］
また、第１検査モード及び第２検査モードでは、図６に示すように、同じ検査ラインに対するリモート検査を複数の検査者で分担するようにしてもよい。このようにすると、例えば、時差のある地球上の複数の地域で検査者を採用し、複数の地域の検査者が交代でリモート検査を実行することにより、夜勤なしで検査ラインを２４時間稼働させることが可能になる。また、複数の検査者による検査時間を重複させれば、検査を二重化させて検査精度を高めることができる。

また、第１検査モード及び第２検査モードでは、図７に示すように、１人の検査者が複数の検査ラインのリモート検査を同時に行うようにしてもよい。このようにすると、検査者の熟練度などに応じて１人当たりの作業量を増やすことができる。

［物体検査装置の機能構成］
つぎに、上記のような検査モードを実現する物体検査装置１の機能構成について、図８を参照して説明する。

物体検査装置１は、ハードウェアとソフトウェアとの協働により実現される機能的な構成として、画像取得部１１、送信部１２、受信部１３、検出部１４、記憶部１５、機械学習部１６、自動判断部１７、追跡処理部１８、処理部１９、搬送／保持部２０、選別処理部２１、及び画面データ生成部２２を備える。

（画像取得部）
画像取得部１１は、各検査対象物Ａの画像データを取得するための機能構成であって、例えば、１つ以上のカメラ５により撮像した静止画又は動画データから、検査対象物Ａのそれぞれだけを抜き出した画像データを取得する。

（送信部）
送信部１２は、第１検査モード及び第２検査モードにおいて、画像取得部１１が取得した画像データをネットワーク３を介して検査者端末２に送信するための機能構成であって、共通の画像データを複数の検査者端末２に送信することもできる。また、送信部１２は、画像データを圧縮して送信することが好ましい。このようにすると、画像データの通信時間を短縮して検査作業の効率が高められる。なお、本実施形態では、画像データを含む判断結果入力用の画面データを画面データ生成部２２で生成し、生成された判断結果入力用の画面データを送信部１２が検査者端末２に送信するが、判断結果入力用の画面データについては後述する。

（受信部）
受信部１３は、第１検査モード及び第２検査モードにおいて、各検査対象物Ａの属性に関して、検査者による判断結果を、検査者端末２からネットワーク３を介して受信するための機能構成であって、複数の検査者端末２から判断結果を受信することもできる。属性は、例えば、検査対象物Ａの品質レベルを表すものであり、品質レベルは、検査対象物Ａが不良品であると判断した場合に付与される不良品レベルと、検査対象物Ａが良品であると判断した場合に付与される良品レベルとの少なくとも２段階が含まれる。

（検出部）
検出部１４は、検査者による判断結果（第１検査モード）、又は自動判断部１７による判断結果（第３検査モード）に基づいて、各検査対象物Ａのうちから、不良品を検出するための機能構成であって、例えば、一の検査対象物Ａの品質レベルが所定レベル以下であると判断された場合に、一の検査対象物Ａを不良品として検出する。また、検出部１４は、第２検査モードにおいて、検査者による判断結果と自動判断部１７による判断結果の双方に基づいて、不良品を検出する。また、検出部１４は、複数の検査者による判断結果に基づいて、不良品を検出することもできる。

（記憶部）
記憶部１５は、第１検査モード及び第２検査モードにおいて、各検査対象物Ａの画像データに対応付けて、各検査対象物Ａの属性に関する判断結果を蓄積するための機能構成である。

（機械学習部）
機械学習部１６は、第１検査モード及び第２検査モードにおいて、記憶部１５に蓄積されたデータに基づいて、各検査対象物Ａの属性を判断するための対象選別プログラムＰ（プログラム）を機械学習により生成又は更新するための機能構成である。例えば、生成又は更新された対象選別プログラムＰは、検査対象物Ａの品質レベルを、不良品レベルと良品レベルとその間の１つ以上の中間レベルとを含む３段階以上のレベルでレベル分けすることができる。

（自動判断部）
自動判断部１７は、第２検査モード及び第３検査モードにおいて、機械学習部１６により生成又は更新された対象選別プログラムＰに基づいて、各検査対象物Ａの属性を自動的に判断するための機能構成である。

（追跡処理部）
追跡処理部１８は、各検査対象物Ａのうちの、検出部１４により検出された不良品を追跡するための機能構成である。例えば、追跡処理部１８は、カメラ５が撮像した動画データにおいて、コンベア４上の各検査対象物Ａを認識しつつ、各検査対象物Ａの動きを追跡し、不良品と判断された検査対象物Ａの位置を特定する。

（処理部）
処理部１９は、追跡処理部１８からの追跡情報に基づいて、検出部１４により検出された不良品に対して所定処理を行うための機能構成であって、本実施形態の処理部１９は、ロボット７と、検出部１４により検出された不良品を取り除くようにロボット７を制御するロボット制御部１９ａとを備えて構成される。なお、所定処理は、各検査対象物Ａのうちの、検出部１４により検出された不良品を、他の検査対象物Ａとともに後工程で処理されないように取り除く処理の他、検出部１４により検出された不良品に対して、一部を除去する処理や、各検査対象物Ａのうちの、検出部１４により検出された不良品を、他の検査対象物Ａから目視で区別できるようにマーキングする処理であってもよい。

（搬送／保持部）
搬送／保持部２０は、検査対象物Ａを搬送又は保持するための機能構成であって、本実施形態の搬送／保持部２０は、コンベア４と、コンベア４を制御するコンベア制御部２０ａとを備えて構成される。コンベア制御部２０ａは、一の検査者あたりかつ単位時間あたりの検査対象物Ａの数が閾値を超えないように、各検査対象物Ａの搬送速度を制御することができる。また、コンベア制御部２０ａは、送信部１２が画像データを検査者端末２に送信してから受信部１３が検査者による判断結果を受信するまでの間、コンベア４による検査対象物Ａの搬送を一時的に停止させることができる。なお、搬送／保持部２０は、検査対象物Ａの向きを変化させる手段を更に備えてもよい。

（選別処理部）
選別処理部２１は、第２検査モードにおいて、各検査対象物Ａのうちから、検査者端末２に画像データを送信する第１種検査対象物Ａと、検査者端末２に画像データを送信しない第２種検査対象物Ａとを選別するための機能構成であって、例えば、機械学習部１６が生成又は更新した対象選別プログラムＰに基づいて、第１種検査対象物Ａ及び第２種検査対象物Ａを選別する。また、選別処理部２１は、対象選別プログラムＰに基づいて第１種検査対象物Ａを選別する場合、不良品レベルに分けられた検査対象物Ａと中間レベルに分けられた検査対象物Ａとを第１種検査対象物Ａとして選別し、良品確率の高い良品レベルの検査対象物Ａを第１種検査対象物Ａから除外して第２種検査対象物とする。また、選別処理部２１は、事前選別者からの入力に基づいて、第１種検査対象物Ａ及び第２種検査対象物Ａを選別することもできる。事前選別者は、検査者とは異なる任意の人であり、検査者と同等のリモート検査環境を有し、検査者が検査を行う第１種検査対象物Ａを事前に選別する。

（画面データ生成部）
画面データ生成部２２は、第１検査モード及び第２検査モードにおいて、検査対象物Ａの画像データを含む判断結果入力用の画面データを生成するための機能構成であって、第２検査モードでは、検査者端末２上で、各検査対象物Ａの画像部分に、事前選別者からの入力により、又は、対象選別プログラムＰにより分けられたレベルが対応付けられて表示されるように画面データを生成する。レベルの表示は、マーキング、色分け、画像サイズ変更などに基づいて行うことができる。また、画面データ生成部２２は、検査者端末２の画面上で複数の検査対象物Ａの画像部分が同時に表示されるように画面データを生成する。また、画面データ生成部２２は、所定パラメータの値に基づいて、同時に表示される複数の検査対象物Ａの画像部分の数を調整することができる。所定パラメータには、搬送／保持部２０により所定時間あたりに搬送又は保持される各検査対象物Ａの数、搬送／保持部２０により搬送又は保持される各検査対象物Ａのうちの、所定時間あたりの不良率、稼働中の検査者端末２の数、稼働中の検査者の熟練度、及び、機械学習部１６による機械学習の進行度合い、のうちの少なくともいずれか１つが含まれる。

［物体検査装置の処理手順］
つぎに、物体検査装置１の各検査モードにおける処理手順について、図９～図１１を参照して説明する。なお、第１検査モード及び第２検査モードは、１人の検査者で検査を行う場合の処理手順を示す。また、コンベア４の制御手順は省略する。

（第１検査モードの処理手順）
図９に示す様に、第１検査モードの物体検査装置１では、画像取得部１１が、カメラ５から各検査対象物Ａを撮像した静止画又は動画データを取得し、その中から各検査対象物Ａの画像データを抜き出し、抜き出した画像データに識別コードを付与して画面データ生成部２２、記憶部１５及び追跡処理部１８に送る。画面データ生成部２２は、複数の検査対象物Ａの画像データを含む判断結果入力用の画面データを生成して送信部１２に送る。送信部１２は、判断結果入力用の画面データを圧縮して検査者端末２に送信する。

検査者端末２は、判断結果入力用の画面データを受信すると、検査者端末２の表示部に判断結果入力用の画面データを表示させた後、検査者からの入力（検査対象物画像のタップ操作やクリック操作）に基づいて、各検査対象物Ａの属性（品質レベル）に関する検査者による判断結果（不良品判断結果）を識別コードとともに物体検査装置１に送信する。

第１検査モードの物体検査装置１では、検査者端末２から送信された判断結果を受信部１３で受信し、これを検出部１４に送る。検出部１４は、不良品と判断された検査対象物Ａの識別コードを追跡処理部１８に送るとともに、各検査対象物Ａの画像データに対応付けて、各検査対象物Ａの属性に関する判断結果を記憶部１５に記憶させる。追跡処理部１８は、不良品と判断された検査対象物Ａの現在位置を特定し、ロボット制御部１９ａに不良品の除去を指示する。ロボット制御部１９ａは、不良品を取り除くようにロボット７を制御する。

また、第１検査モードでは、記憶部１５にある程度データが蓄積されると、機械学習部１６が、記憶部１５に蓄積されたデータに基づいて、各検査対象物Ａの属性を判断するための対象選別プログラムＰを機械学習により生成する。

（第２検査モードの処理手順）
図１０に示す様に、第２検査モードの物体検査装置１では、画像取得部１１が、カメラ５から各検査対象物Ａを撮像した静止画又は動画データを取得し、その中から各検査対象物Ａの画像データを抜き出し、抜き出した画像データに識別コードを付与して自動判断部１７、選別処理部２１、記憶部１５及び追跡処理部１８に送る。自動判断部１７は、対象選別プログラムＰに基づいて、各検査対象物Ａの属性（不良品レベル、良品レベル、中間レベル）を自動的に判断し、判断結果を識別コードとともに選別処理部２１に送る。選別処理部２１は、自動判断部１７が不良品レベル又は中間レベルと判断したものを検査者端末２に送信する第１種検査対象物Ａとして選別し、その識別コード、品質レベル及び画像データを画面データ生成部２２に送る。画面データ生成部２２は、複数の第１種検査対象物Ａの画像データと品質レベル情報を含む判断結果入力用の画面データを生成して送信部１２に送る。送信部１２は、判断結果入力用の画面データを圧縮して検査者端末２に送信する。

検査者端末２は、判断結果入力用の画面データを受信すると、検査者端末２の表示部に判断結果入力用の画面データを表示させた後、検査者からの入力（検査対象物画像のタップ操作やクリック操作）に基づいて、各検査対象物Ａの属性（品質レベル）に関する検査者による判断結果（不良品判断結果）を識別コードとともに物体検査装置１に送信する。この検査モードでは、検査対象物Ａの画像データとともに自動判断部１７が判断した品質レベルが表示されるので、検査者は、自動判断部１７が判断した品質レベルを参照しつつ、検査対象物Ａのなかから不良品を効率良く特定することができる。

第２検査モードの物体検査装置１では、検査者端末２から送信された判断結果を受信部１３で受信し、これを検出部１４に送る。検出部１４は、不良品と判断された検査対象物Ａの識別コードを追跡処理部１８に送るとともに、各検査対象物Ａの画像データに対応付けて、各検査対象物Ａの属性に関する判断結果を記憶部１５に記憶させる。追跡処理部１８は、不良品と判断された検査対象物Ａの現在位置を特定し、ロボット制御部１９ａに不良品の除去を指示する。ロボット制御部１９ａは、不良品を取り除くようにロボット７を制御する。

また、第２検査モードでは、記憶部１５にデータがある程度追加して蓄積されると、機械学習部１６が、記憶部１５に蓄積されたデータに基づいて、各検査対象物Ａの属性を判断するための対象選別プログラムＰを機械学習により更新する。

（第３検査モードの処理手順）
図１１に示す様に、第３検査モードの物体検査装置１では、画像取得部１１が、カメラ５から各検査対象物Ａを撮像した静止画又は動画データを取得し、その中から各検査対象物Ａの画像データを抜き出し、抜き出した画像データに識別コードを付与して自動判断部１７及び追跡処理部１８に送る。自動判断部１７は、各検査対象物Ａの属性（不良品レベル、良品レベル、中間レベル）を自動的に判断し、判断結果を識別コードとともに検出部１４に送る。検出部１４は、不良品と判断された検査対象物Ａの識別コードを追跡処理部１８に送る。追跡処理部１８は、不良品と判断された検査対象物Ａの現在位置を特定し、ロボット制御部１９ａに不良品の除去を指示する。ロボット制御部１９ａは、不良品を取り除くようにロボット７を制御する。

［実施形態の効果］
以上のように構成された本実施形態の物体検査装置１によれば、各検査対象物Ａの画像データを取得する画像取得部１１と、画像データを、ネットワーク３を介して検査者端末２に送信する送信部１２と、各検査対象物Ａの属性に関して、検査者による判断結果を、検査者端末２からネットワーク３を介して受信する受信部１３と、検査者による判断結果に基づいて、各検査対象物Ａのうちから、不良品を検出する検出部１４と、画像データに対応付けて、各検査対象物Ａの属性に関する判断結果を蓄積する記憶部１５とを含むので、機械学習が十分でない初期段階でも、リモートで効率よく検査対象物Ａから不良品を検出することができる（第１検査モード）。

また、物体検査装置１は、記憶部１５に蓄積されたデータに基づいて、各検査対象物Ａの属性を判断するための対象選別プログラムＰを機械学習により生成又は更新する機械学習部１６と、対象選別プログラムＰに基づいて、各検査対象物Ａの属性を自動的に判断する自動判断部１７とを更に含むので、検出部１４は、自動判断部１７による判断結果に基づいて不良品を検出することができる（第３検査モード）。

また、物体検査装置１は、検査者による判断結果と自動判断部１７による判断結果の双方に基づいて不良品を検出する第２検査モードを備えるので、検査者と自動判断部１７が協調して精度の良い不良品検出を行いつつ、その検出結果に基づいて対象選別プログラムＰを更新することができる。

また、物体検査装置１は、共通の画像データを、複数の検査者端末２に送信し、複数の検査者による判断結果に基づいて不良品を検出できるので、検査を二重化して検査精度を高めることができる。

また、物体検査装置１は、各検査対象物Ａのうちの、検出部１４により検出された不良品を追跡する追跡処理部１８と、追跡処理部１８からの追跡情報に基づいて、検出部１４により検出された不良品に対して所定処理を行う処理部１９とを更に含み、所定処理は、各検査対象物Ａのうちの、検出部１４により検出された不良品を、他の検査対象物Ａとともに後工程で処理されないように、取り除く処理、検出部１４により検出された不良品に対して、一部を除去する処理、及び、各検査対象物Ａのうちの、検出部１４により検出された不良品を、他の検査対象物Ａから目視で区別できるようにマーキングする処理、のうちの少なくともいずれか１つを含むので、不良品の検出だけでなく、不良品の検出に基づいて不良品を適切に処理することができる。

また、物体検査装置１は、各検査対象物Ａのうちから、検査者端末２に画像データを送信する第１種検査対象物を選別する選別処理部２１を更に含み、選別処理部２１は、事前選別者からの入力に基づいて、又は、記憶部１５に記憶されたデータに基づき生成又は更新された対象選別プログラムＰに基づいて、第１種検査対象物Ａを選別するので、検査対象物Ａの数を削減して検査者の負担を軽減できる。

また、機械学習部１６は、記憶部１５に記憶されたデータに基づいて、対象物の品質レベルを、不良品レベルと良品レベルとその間の１つ以上の中間レベルとを含む３段階以上のレベルでレベル分けするための対象選別プログラムＰを機械学習により生成又は更新し、選別処理部２１は、対象選別プログラムＰにより、不良品レベルに分けられた対象物と中間レベルに分けられた対象物とを第１種検査対象物Ａとして選別するので、良品である確率が高い対象物を検査対象物Ａから適切に除外することができる。

また、画像取得部１１は、１つ以上のカメラ５により撮像した静止画又は動画データから、検査対象物Ａのそれぞれだけを抜き出した画像データを取得し、送信部１２は、画像データを圧縮して送信するので、検査者端末２に送信するデータ容量を削減できる。

また、物体検査装置１は、画像データを含む判断結果入力用の画面データを生成する画面データ生成部２２を更に含み、送信部１２は、画面データを送信し、画面データ生成部２２は、検査者端末２上で、各検査対象物Ａの画像部分に対象選別プログラムＰにより分けられたレベルが対応付けられて表示されるように画面データを生成するので、検査者は、対象選別プログラムＰによる判断レベルを参照しつつ、検査対象物Ａの不良品判断を効率よく行うことができる。

また、画面データ生成部２２は、検査者端末２の画面上で複数の検査対象物Ａの画像部分が同時に表示されるように画面データを生成するので、複数の検査対象物Ａのなかから不良品を効率よく特定することができる。

また、画面データ生成部２２は、所定パラメータの値に基づいて、同時に表示される複数の検査対象物Ａの画像部分の数を調整可能であり、所定パラメータは、搬送／保持部２０により所定時間あたりに搬送又は保持される各対象物の数、搬送／保持部２０により搬送又は保持される各対象物のうちの、所定時間あたりの不良率、稼働中の検査者端末２の数、稼働中の検査者の熟練度、及び、機械学習部１６による機械学習の進行度合い、のうちの少なくともいずれか１つを含むので、同時に表示される複数の検査対象物Ａの画像部分の数を適切に調整することができる。

また、搬送／保持部２０は、一の検査者あたりかつ単位時間あたりの検査対象物Ａの数が閾値を超えないように各対象物の搬送速度を制御したり、送信部１２が画像データを検査者端末２に送信してから受信部１３が検査者による判断結果を受信するまでの間、少なくとも一時的に搬送を停止させることができるので、検査者の判断結果を各検査対象物Ａに確実に反映させることができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

例えば、検査対象物としては、品質のばらつきが大きい食品（上述の実施形態の検査対象物は香辛料のローリエ）が好適であるが、検査対象物は、食品だけでなく、工業製品であってもよい。また、前記実施形態では、検査対象物をピックアップ可能なアーム型のロボットで不良品を除去しているが、不良品の除去には、不良品を吸入する装置や、不良品を吹き飛ばす装置を用いてもよい。また、本実施形態では、１つのカメラで検査対象物の一つの面を撮像しているが、複数のカメラで検査対象物の複数の面を撮像し、複数の面の撮像データを検査対象としてもよい。また、搬送／保持部２０に検査対象物の向きを変化させる手段を設け、検査対象物の向きを変化させながら撮像した複数の画像データを検査対象としてもよい。

また、上述の実施形態の物体検査装置１は、所定属性の検査対象物Ａを不良品とし、不良品を検出して除去する検査ラインに適用されるが、所定属性の検査対象物Ａを良品とし、良品を検出して取り出すような検査ラインにも適用できる。また、所定属性の検査対象物Ａは、不良品や良品に限らず、様々な検出対象を含むことができる。

また、第２検査モード及び第３検査モードでは、各種の設定項目を変更可能な設定変更手段を設け、検査ライン管理者などによる設定変更操作に応じて、物体検査装置１の動作を変更できるようにすることが望ましい。より具体的には、自動判断部１７による判断基準を設定変更手段で変更できるようにすることで、第２検査モードであれば送信部１２によって送信するデータを選別する基準を変更することが可能となり、第３検査モードであればロボット７によってコンベア４上にある検査対象物Ａを選別する基準を変更することが可能となる。例えば、上述の実施形態では、第２検査モードにおいて、対象選別プログラムＰに基づいて検査者端末２に画像データを送る第１種検査対象物Ａを選別する場合、不良品レベルに分けられた検査対象物Ａと中間レベルに分けられた検査対象物Ａとを第１種検査対象物Ａとして選別し、良品確率の高い良品レベルの検査対象物Ａを第１種検査対象物Ａから除外しているが、設定変更手段によって、検査者端末２に画像データを送る検査対象物Ａのレベルを変更できるようにしてもよい。例えば、不良品ではなく良品と判断したものを検査者に確認させたい場合には、良品レベルと中間レベルに分けられた検査対象物Ａを選別するように設定すればよく、検査実態に応じて選別する対象を自由に変更すればよい。なお、以下の例示も含めて、第３検査モードにおいても同様である。

また、対象選別プログラムＰが検査対象物Ａの品質レベルを数値化して算出するのであれば、設定変更手段によって、９０／１００点以下は検査者端末２に送信する、などの閾値設定ができるようにしてもよい。これによって、対象選別プログラムＰによって一定の確度で判断されたものは検査者による検査を不要としつつ、検査者によって確認する必要性が高いもののみを検査者が確認することになり、検査効率を向上させることができる。

また、対象選別プログラムＰに基づいて検査対象物Ａの品質レベルを検査する際の検査項目を細分化し、設定変更手段によって、品質レベル毎にかつ検査項目ごとに良品又は不良品と判断すべきものを検査対象に応じて変更できるようにしてもよい。例えば、検査対象物がホール状態の香辛料である場合、検査項目として、検査対象物の色、殻の状態、丸さや大きさを設定するとともに、項目ごとに予め不良品又は良品とする基準を設定することとしてもよい。例えば、色であれば、予め複数の色味の検査対象物を段階的に画面上に表示させ、その中から今回の検査において不良品とする色味又は良品とする色味を選択することで、変更できるようにする。他の項目についても同様に設定すればよい。このような設定変更手段によれば、季節、天候、生産地などによって品質に大きな変動が生じる食品を検査対象物とする場合であっても、その季節や入荷している原材料、又は製造している食品のグレードなどに対応して設定変更手段による各種設定項目の変更することができ、より適切な検査を実行することが可能になる。

１物体検査装置
２検査者端末
３ネットワーク
４コンベア
５カメラ
６不良シュータ
７ロボット
８検査制御部
９通信部
１１画像取得部
１２送信部
１３受信部
１４検出部
１５記憶部
１６機械学習部
１７自動判断部
１８追跡処理部
１９処理部
１９ａロボット制御部
２０搬送／保持部（搬送部）
２０ａコンベア制御部
２１選別処理部
２２画面データ生成部
Ａ検査対象物
Ｐ対象選別プログラム

Claims

物体検査装置であって、
各検査対象物の画像データを取得する画像取得部と、
前記画像データを、ネットワークを介して検査者端末に送信する送信部と、
各検査対象物の属性に関して、前記画像データに対する検査者による判断結果を、前記検査者端末からネットワークを介して受信する受信部と、
前記検査者による判断結果に基づいて、各検査対象物のうちから、所定属性の検査対象物を検出する検出部と、
前記画像データに対応付けて、前記検査者による判断結果を記憶する記憶部と、
前記記憶部に記憶されたデータに基づいて、各検査対象物の属性を判断するためのプログラムを機械学習により生成又は更新する機械学習部と、
前記機械学習部により生成又は更新された前記プログラムに基づいて、各検査対象物の属性を自動的に判断する自動判断部と、
前記検出部により検出された前記所定属性の検査対象物に対し、前記所定属性を有しない検査対象物と区別する処理を実行する処理部と、
を備え、
前記検出部は、前記検査者による判断結果のみならず、前記自動判断部による判断結果に基づいて、前記所定属性の検査対象物を検出し、
前記処理部は、前記所定属性の検査対象物が、前記検出部によって、前記検査者による判断結果に基づいて検出されたか、または、前記自動判断部による判断結果に基づいて検出されたかに関わらず、前記所定属性の検査対象物に対する前記処理を実行し、
前記検出部の動作モードとして、前記自動判断部による判断結果のみに基づいて前記所定属性の検査対象物を検出する一のモードと、前記自動判断部による判断結果が前記検査者に提示され、前記検査者からの判断結果の入力を受け付け、前記検査者による判断結果に基づいて前記所定属性の検査対象物を検出する他のモードと、を有し、
前記一のモードは、前記他のモードにおける検査者による判断結果を含むデータに基づいて更新された前記プログラムによって実行され、
前記処理部は、前記動作モードに関わらず、前記所定属性の検査対象物に対する前記処理を実行する、物体検査装置。
前記機械学習部は、前記他のモードにおいて前記記憶部に記憶された前記検査者による判断結果に基づいて、前記検査者による判断結果が前記記憶部に記憶された前記他のモードの継続中に前記プログラムを更新する、請求項１に記載の物体検査装置。
前記他のモードにおいて、前記自動判断部による判断結果と、前記検査者による判断結果とが同一であった場合を含め、前記記憶部は、前記検査者による判断結果を記憶する、請求項１に記載の物体検査装置。
前記検出部の動作モードとして、前記検査者による判断結果のみに基づいて前記所定属性の検査対象物を検出する検査者モードをさらに有し、
前記処理部は、前記動作モードが前記検査者モードである場合にも、前記所定属性の検査対象物に対する前記処理を実行する、請求項１に記載の物体検査装置。
前記送信部は、共通の前記画像データを、複数の前記検査者端末に送信し、
前記検出部は、複数の前記検査者による判断結果に基づいて、所定属性の検査対象物を検出する、請求項１～４のうちのいずれか１項に記載の物体検査装置。
前記属性は、検査対象物の品質レベルを表し、
前記検出部は、一の検査対象物の前記品質レベルが所定レベル以下であると判断された場合に、前記一の検査対象物を所定属性の検査対象物として検出する、請求項１～５のうちのいずれか１項に記載の物体検査装置。
各検査対象物のうちの、前記検出部により検出された所定属性の検査対象物を追跡する追跡処理部と、
前記追跡処理部からの追跡情報に基づいて、前記検出部により検出された所定属性の検査対象物に対して所定処理を行う処理部とを更に含む、請求項１～６のうちのいずれか１項に記載の物体検査装置。
前記所定処理は、
各検査対象物のうちの、前記検出部により検出された所定属性の検査対象物を、他の検査対象物とともに後工程で処理されないように、取り除く処理、
前記検出部により検出された所定属性の検査対象物に対して、一部を除去する処理、及び、
各検査対象物のうちの、前記検出部により検出された所定属性の検査対象物を、他の検査対象物から目視で区別できるようにマーキングする処理、
のうちの少なくともいずれか１つを含む、請求項７に記載の物体検査装置。
各検査対象物のうちから、前記検査者端末に前記画像データを送信する第１種検査対象物を選別する選別処理部を更に含む、請求項１～８のうちのいずれか１項に記載の物体検査装置。
前記選別処理部は、対象選別プログラムに基づいて、検査対象物の品質レベルに応じて前記第１種検査対象物を選別する、請求項９に記載の物体検査装置。
前記記憶部に記憶されたデータに基づいて、前記検査対象物の品質レベルを、不良品レベルと良品レベルとその間の１つ以上の中間レベルとを含む３段階以上のレベルでレベル分けするための前記対象選別プログラムを機械学習により生成又は更新する機械学習部を更に含み、
前記選別処理部は、前記対象選別プログラムにより、不良品レベルに分けられた検査対象物と中間レベルに分けられた検査対象物とを、前記第１種検査対象物として選別する、請求項１０に記載の物体検査装置。
前記画像取得部は、１つ以上のカメラにより撮像した静止画又は動画データから、検査対象物のそれぞれだけを抜き出した前記画像データを取得し、
前記送信部は、前記画像データを圧縮して送信する、請求項９～１１のうちのいずれか１項に記載の物体検査装置。
前記画像データを含む判断結果入力用の画面データを生成する画面データ生成部を更に含み、
前記送信部は、前記画面データを送信し、
前記画面データ生成部は、前記検査者端末上で、各検査対象物の画像部分に前記対象選別プログラムにより分けられたレベルが対応付けられて表示されるように、前記画面データを生成する、請求項１０に記載の物体検査装置。
前記画像データを含む判断結果入力用の画面データを生成する画面データ生成部を更に含み、
前記送信部は、前記画面データを送信し、
前記画面データ生成部は、前記検査者端末の画面上で複数の検査対象物の画像部分が同時に表示されるように、前記画面データを生成する、請求項９～１３のうちのいずれか１項に記載の物体検査装置。
前記画面データ生成部は、所定パラメータの値に基づいて、同時に表示される複数の検査対象物の画像部分の数を調整する、請求項１４に記載の物体検査装置。
各検査対象物を搬送する搬送部を更に備え、
前記所定パラメータは、前記搬送部により所定時間あたりに搬送される各検査対象物の数、前記搬送部により搬送される各対象物のうちの、所定時間あたりの不良率、稼働中の前記検査者端末の数、稼働中の前記検査者の熟練度、及び、機械学習の進行度合い、のうちの少なくともいずれか１つを含む、請求項１５に記載の物体検査装置。
各検査対象物を搬送する搬送部を更に備え、
一の検査者あたりかつ単位時間あたりの検査対象物の数が閾値を超えないように、各検査対象物の搬送速度を制御する、請求項１～１６のいずれか１項に記載の物体検査装置。
各検査対象物を搬送する搬送部を更に備え、
前記送信部が前記画像データを前記検査者端末に送信してから前記受信部が前記検査者による判断結果を受信するまでの間、少なくとも一時的に搬送を停止させる、請求項１～１７のいずれか１項に記載の物体検査装置。
前記搬送部は、対象物の向きを変化させる手段を更に備える、請求項１６～１８のいずれか１項に記載の物体検査装置。
物体検査装置にネットワークを介して通信可能な検査者端末に実装される検査用プログラムであって、
各検査対象物の画像データをネットワークを介して受信し、
表示部に前記画像データを出力し、
検査者からの入力に基づいて、各検査対象物の属性に関する前記画像データに対する前記検査者による判断結果を前記物体検査装置に送信する、
処理を実行するように構成され、
前記物体検査装置に送信された前記検査者による判断結果は、各検査対象物の前記画像データに対応付けて記憶され、
前記物体検査装置は、
各検査対象物の前記画像データを取得する画像取得部と、
前記画像データを、ネットワークを介して検査者端末に送信する送信部と、
前記検査者による判断結果を、前記検査者端末からネットワークを介して受信する受信部と、
前記検査者による判断結果に基づいて、各検査対象物のうちから、所定属性の検査対象物を検出する検出部と、
前記画像データに対応付けて、前記検査者による判断結果を記憶する記憶部と、
前記記憶部に記憶されたデータに基づいて、各検査対象物の属性を判断するためのプログラムを機械学習により生成又は更新する機械学習部と、
前記機械学習部により生成又は更新された前記プログラムに基づいて、各検査対象物の属性を自動的に判断する自動判断部と、
前記検出部により検出された前記所定属性の検査対象物に対し、前記所定属性を有しない検査対象物と区別する処理を実行する処理部と、
を備え、
前記検出部は、前記検査者による判断結果のみならず、前記自動判断部による判断結果に基づいて、前記所定属性の検査対象物を検出し、
前記処理部は、前記所定属性の検査対象物が、前記検出部によって、前記検査者による判断結果に基づいて検出されたか、または、前記自動判断部による判断結果に基づいて検出されたかに関わらず、前記所定属性の検査対象物に対する前記処理を実行し、
前記検出部の動作モードとして、前記自動判断部による判断結果のみに基づいて前記所定属性の検査対象物を検出する一のモードと、前記自動判断部による判断結果が前記検査者に提示され、前記検査者からの判断結果の入力を受け付け、前記検査者による判断結果に基づいて前記所定属性の検査対象物を検出する他のモードと、を有し、
前記一のモードは、前記他のモードにおける検査者による判断結果を含むデータに基づいて更新された前記プログラムによって実行され、
前記処理部は、前記動作モードに関わらず、前記所定属性の検査対象物に対する前記処理を実行する、検査用プログラム。
物体検査装置と、
前記物体検査装置にネットワークを介して通信可能な検査者端末に実装される検査用プログラムとを備えるシステムであって、
前記物体検査装置は、
各検査対象物の画像データを取得する画像取得部と、
前記画像データを、ネットワークを介して検査者端末に送信する送信部と、
各検査対象物の属性に関して、前記画像データに対する検査者による判断結果を、前記検査者端末からネットワークを介して受信する受信部と、
前記検査者による判断結果に基づいて、各検査対象物のうちから、所定属性の検査対象物を検出する検出部と、
前記画像データに対応付けて、前記検査者による判断結果を記憶する記憶部と、
前記記憶部に記憶されたデータに基づいて、各検査対象物の属性を判断するためのプログラムを機械学習により生成又は更新する機械学習部と、
前記機械学習部により生成又は更新された前記プログラムに基づいて、各検査対象物の属性を自動的に判断する自動判断部と、
前記検出部により検出された前記所定属性の検査対象物に対し、前記所定属性を有しない検査対象物と区別する処理を実行する処理部と、
を備え、
前記検出部は、前記検査者による判断結果のみならず、前記自動判断部による判断結果に基づいて、前記所定属性の検査対象物を検出し、
前記処理部は、前記所定属性の検査対象物が、前記検出部によって、前記検査者による判断結果に基づいて検出されたか、または、前記自動判断部による判断結果に基づいて検出されたかに関わらず、前記所定属性の検査対象物に対する前記処理を実行し、
前記検出部の動作モードとして、前記自動判断部による判断結果のみに基づいて前記所定属性の検査対象物を検出する一のモードと、前記自動判断部による判断結果が前記検査者に提示され、前記検査者からの判断結果の入力を受け付け、前記検査者による判断結果に基づいて前記所定属性の検査対象物を検出する他のモードと、を有し、
前記一のモードは、前記他のモードにおける検査者による判断結果を含むデータに基づいて更新された前記プログラムによって実行され、
前記処理部は、前記動作モードに関わらず、前記所定属性の検査対象物に対する前記処理を実行し、
前記検査用プログラムは、
前記送信部により送信される前記画像データをネットワークを介して受信し、
表示部に前記画像データを出力し、
検査者からの入力に基づいて、各検査対象物の属性に関する前記検査者による前記判断結果を前記物体検査装置に送信する、
処理を実行するように構成される、システム。