JP6338069B2 - 画像処理システム及び画像処理方法 - Google Patents

Description

本発明は、複数の撮像処理装置が対象物を撮像し判定を行うとともに、これらを統合して総合判定を行う画像処理システム及び画像処理方法に関するものである。

工場の生産現場では、生産物に対する検査が日常的に行われている。その中でも外観検査は人出が多く必要となるため、従来から自動化の取組みが行われてきた。

特許文献１には、画像処理対象物を照明部で照明して撮像部で撮像し、これらとは別の画像処理装置が照明部や撮像部とデータ通信を行って、照明部の制御を行うとともに撮像画像を入力して対象物の良否を判定する構成が記載されている。

また、特許文献２には、複数のカメラを用いて同一の対象物の検査を行なう構成が記載されている。

特許文献１： 特開２０１６−６５８７５
特許文献２： 特開平７−１０３９０５

しかしながら、特許文献１記載のもののように、撮像部と画像処理装置とが別々の構成であれば、装置全体が大型化しコストアップにつながるという問題があった。

また、特許文献２記載のもののように、複数カメラに対して画像を処理する特徴抽出手段が１つであれば、各カメラが撮像した画像に対する処理が順番に１つずつ処理されることになり時間がかかるとともに、各カメラを切り換えながらの設置や調整が必要となり稼働調整に時間がかかり、またシステムが複雑になるという問題があった。

本発明は、上記問題点を解決して、設置、調整が容易で対象物に対する信頼度の高い判定を実現することを課題とする。

上記課題を解決するために本発明は、対象物を撮像して画像処理を行う画像処理システムであって、
前記対象物を撮像し判定を行う複数の撮像処理装置と、
前記撮像処理装置からの撮像処理装置特定情報、撮像画像、及び判定結果を無線により受信する統括サーバと、を備え、
前記撮像処理装置特定情報は、前記撮像画像を撮像した撮像時刻であり、
前記統括サーバは、無線により受信した前記撮像処理装置特定情報に基づいて、同一の対象物を撮像する撮像処理装置を特定し撮像処理装置グループとしてグループ化するとともに、
複数の前記撮像処理装置からの少なくとも複数の前記判定結果に基づいて、前記対象物に対する総合判定を行うことを特徴とする画像処理システムを提供するものである。

この構成により、設置、調整が容易で対象物に対する信頼度の高い判定を実現することができる。

前記撮像処理装置グループを複数備えた構成としてもよい。

この構成により、大規模な生産現場においても設置、調整が容易で対象物に対する信頼度の高い判定を実現することができる。

また、上記問題点を解決するために本発明は、対象物を撮像して画像処理を行う画像処理方法であって、
前記対象物を複数の撮像処理装置で撮像し判定を行う工程と、
複数の前記撮像処理装置からの撮像処理装置特定情報、撮像画像及び判定結果を統括サーバが無線により受信する工程と、
前記統括サーバが無線により受信した前記撮像処理装置特定情報に基づいて、同一の対象物を撮像する撮像処理装置を特定し、撮像処理装置グループとしてグループ化する工程と、
複数の前記撮像処理装置からの少なくとも複数の前記判定結果に基づいて、前記対象物に対する総合判定を行う工程と、を備え、
前記撮像処理装置特定情報は、前記撮像画像を撮像した撮像時刻であることを特徴とする画像処理方法を提供するものである。

この構成により、設置、調整が容易で対象物に対する信頼度の高い判定を実現することができる。

前記撮像処理装置グループを複数備えた構成としてもよい。

この構成により、大規模な生産現場においても設置、調整が容易で対象物に対する信頼度の高い判定を実現することができる。

本発明の画像処理システム及び画像処理方法により、設置、調整が容易で対象物に対する信頼度の高い判定を実現することができる。

本発明の実施例１、２における画像処理システムの例を説明する図である。 本発明に実施例１、２における撮像処理装置の構成例を説明する図である。 本発明の実施例３における画像処理システムの例を説明する図である。

本発明の実施例１について図１、図２を参照して説明する。図１は、本発明の実施例１、２における画像処理システムの例を説明する図である。図２は、本発明に実施例１、２における撮像処理装置の構成例を説明する図である。

（画像処理システムの概要）
実施例１においては、撮像処理装置１０ａ〜１０ｆ、１１０ａ〜１１０ｄが対象物１ａ、１ｂ、１ｃをそれぞれ複数の角度から撮像し同時に判定を行う。具体的には、傷がついていないか等の外観検査を行なう。撮像角度は、対象物１ａ、１ｂ、１ｃの画像処理に適した任意の角度を選択することができる。すなわち、立体的な対象物１ａを多くの角度から撮像できるように、撮像処理装置１０ａが斜め右上から撮像し、撮像処理装置１０ｂが斜め左上から撮像し、撮像処理装置１０ｃが左側側方から撮像し、撮像処理装置１０ｄが右側側方から撮像して、それぞれ撮像した撮像画像に基づいて判定を行う。そして、撮像処理装置１０ａ〜１０ｄは、それぞれの撮像画像及び判定結果を含む情報を統括サーバ２０に送信する。また、撮像処理装置１０ａ〜１０ｄの設置時に自身を特定する撮像処理装置特定情報を統括サーバ２０に送信するように構成されている。これにより、統括サーバ２０は当該撮像処理装置１０ａ〜１０ｄを紐づけすることができる。

また、対象物１ｂを効率的に撮像するように、撮像処理装置１０ｅが斜め右上から撮像し、撮像処理装置１０ｆが斜め左上から撮像して、それぞれ撮像した撮像画像に基づいて画像処理を行う。具体的には、傷がついていないか等の外観検査を行なう。そして、撮像処理装置１０ｅ〜１０ｆは、それぞれの撮像画像及び判定結果を含む情報を統括サーバ２０に送信する。また、撮像処理装置１０ｅ〜１０ｆの設置時に自身を特定する撮像処理装置特定情報を統括サーバ２０に送信するように構成されている。これにより、統括サーバ２０は当該撮像処理装置１０ｅ〜１０ｆを紐づけすることができる。

さらに、別の（下流の）生産工程における立体的な対象物１ｃを多くの角度から撮像できるように、撮像処理装置１１０ａが斜め右上から撮像し、撮像処理装置１１０ｂが斜め左上から撮像し、撮像処理装置１１０ｃが左側側方から撮像し、撮像処理装置１１０ｄが右側側方から撮像して、それぞれ撮像した撮像画像に基づいて判定を行う。具体的には、傷がついていないか等の外観検査を行なう。そして、撮像処理装置１１０ａ〜１１０ｄは、それぞれの撮像画像及び判定結果を含む情報を統括サーバ１２０に送信する。また、撮像処理装置１１０ａ〜１１０ｄの設置時に自身を特定する撮像処理装置特定情報を統括サーバ１２０に送信するように構成されている。これにより、統括サーバ１２０は当該撮像処理装置１１０ａ〜１１０ｄを紐づけすることができる。

なお、実施例１においては、「判定」が外観検査であるように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、「判定」として位置認識を行い、位置認識結果をそれぞれの統括サーバに送信する構成としてもよいし、対象物１ａ、１ｂ、１ｃの特定、選別を行い、選別結果をそれぞれの統括サーバに送信する構成としてもよい。

統括サーバ２０では、それぞれの撮像処理装置特定情報を受信して同一の対象物１ａを撮像して判定する各撮像処理装置１０ａ〜１０ｄを特定し撮像処理装置グループ５０としてグループ化する。また、同一の対象物１ｂを撮像して画像処理する各撮像処理装置１０ｅ〜１０ｆを特定し撮像処理装置グループ５１としてグループ化する。そして、同じ撮像処理装置グループに属する複数の撮像処理装置から複数の撮像画像及び判定結果を含む情報を受信し、各判定結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な画像処理を実施して対象物１ａ、１ｂに対する総合判定を行う。そして、統括サーバ２０が受信した撮像画像、判定結果、及び統括サーバ２０が行った総合判定結果が、情報端末３に送信され表示される（図１には、撮像画像及び判定結果のみ記載している。）。また、統括サーバ２０が行った総合判定結果を工場における生産工程の制御装置に送信して、不良品を排除又は修理するように構成してもよい。

また、統括サーバ１２０では、それぞれの撮像処理装置特定情報を受信して同一の対象物１ｃを撮像して判定する各撮像処理装置１１０ａ〜１１０ｄを特定し撮像処理装置グループ１５０としてグループ化する。そして、同じ撮像処理装置グループ１５０に属する複数の撮像処理装置１１０ａ〜１１０ｄから複数の撮像画像及び判定結果を含む情報を受信し、各判定結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な画像処理を実施して対象物１ｃに対する総合判定を行う。そして、統括サーバ１２０が受信した撮像画像、判定結果、及び統括サーバ１２０が行った総合判定結果が、情報端末３に送信され表示される

このように、撮像処理装置特定情報を統括サーバ２０、統括サーバ１２０に送信することにより、当該撮像処理装置が対象物１ａを撮像、画像処理するものなのか、対象物１ｂを撮像するものなのか、又は対象物１ｃを撮像するものなのかを統括サーバ２０又は統括サーバ１２０において特定することができる。

ここで、実施例１における撮像処理装置特定情報は、予め対象物毎に各撮像処理装置に割り当てられたＩＤである。当該ＩＤは、撮像処理装置特定情報として、撮像処理装置の設置後任意のタイミングで統合サーバ２に送信されて、その後の撮像画像や判定結果と紐づけされる。

なお、実施例１においては、撮像処理装置の後任意のタイミングで自身を特定する撮像処理装置特定情報を統括サーバに送信するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、撮像処理装置が撮像画像及び判定結果を統括サーバに送信する都度、撮像処理装置特定情報を併せて送信するように構成してもよい。この構成により、撮像処理装置の設置時に撮像処理装置を紐づけする必要がなくなる。

（撮像処理装置）
次に、撮像処理装置の構成について、撮像処理装置１０（１０ａ〜１０ｆ）を例にとって説明する。撮像処理装置１１０ａ〜１１０ｄも同様の構成を備えている。

撮像処理装置１０（１０ａ〜１０ｆ）は、図２に示すように、それぞれ筐体１１と照明部１２を備えている。撮像処理装置１０は、対象物１（１ａ、１ｂ）を照明部１２で照明して撮像し、撮像した撮像画像に基づいて判定を行なう。また、撮像した撮像画像及び判定結果を含む情報を統括サーバ２０に送信する。筐体１１には、撮像部１１１、判定部１１２、記憶部１１３、送信部１１４、受信部１１５、制御部１１６、及び傾斜角検出部１１７が収納されている。また、撮像部１１１の対象物側には必要に応じて、レンズが設けられる。

なお、記憶部１１３は、ＳＤカードのような取外し可能な形態のものを筐体１１に外付けにしてもよい。少なくとも撮像部１１１、判定部１１２、送信部１１４、受信部１１５、制御部１１６、及び傾斜角検出部１１７が一体化して筐体１１に収納されていればよい。これにより撮像処理装置１０（１０ａ〜１０ｆ）をコンパクトに構成することができる。

このように、撮像処理装置１０（１０ａ〜１０ｆ）を撮像部や判定部を一体にしてコンパクトに構成することで、設置、調整を容易に行うことができる。

撮像処理装置１０（１０ａ〜１０ｆ）は、撮像部１１１にて対象物１（１ａ、１ｂ）を撮像する。対象物１（１ａ、１ｂ）は、機械部品、プリント基板、電子部品、医薬品等様々なものを対象とすることができる。撮像部１１１は、ＣＭＯＳセンサによって構成されカラー画像を撮像する。その解像度は任意であるが、実施例１においては、６４０×４８０画素としている。これは、後述する送信部１１４における通信帯域の輻輳を考慮したためである。制御部１１６は、対象物１（１ａ、１ｂ）が撮像処理装置１０（１０ａ〜１０ｆ）により撮像可能な位置に配置されたことを撮像画像から判断するか、又は図示しないセンサ等により検知し、撮像部１１１に電子シャッター等の指示を行って撮像させる。撮像部１１１が対象物１（１ａ、１ｂ）を撮像した撮像画像を記憶部１１３に記憶する。また、記憶部１１３には、予め対象物毎に撮像処理装置１０（１０ａ〜１０ｆ）を特定するためのＩＤが撮像処理装置特定情報として記憶されていて、撮像処理装置１０（１０ａ〜１０ｆ）設置後の任意のタイミングで送信部１１４から統括サーバ２０に送信するように構成されている。当該ＩＤは、ユーザが指定して記憶部１１３に記憶させるか、又は、指定がなければＭＡＣアドレス等で自動的にＩＤを識別して記憶部１１３に記憶させる。

なお、実施例１においては、撮像部１１１をＣＭＯＳセンサで構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、ＣＣＤセンサで構成してもよいし、赤外線センサで構成してもよい。また、カラー画像を撮像することとしなくてもよく、白黒画像を撮像するように構成してもよい。さらに、実施例１においては、撮像部１１１の解像度を６４０×４８０画素に構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、１０００×１０００画素で構成してもよいし、３２０×２４０画素で構成してもよい。

撮像画像は、判定部１１２に入力されて判定（実施例１においては外観検査）が行われる。外観検査は、サポートベクターマシンと呼ばれる人工知能によって実施される。サポートベクターマシンは、実際の外観検査を行う前に、予め対象物１（１ａ、１ｂ）の良品と不良品とをそれぞれ複数個ずつ学習して、その境界を設定しておくことにより外観検査を行なうことができる。外観検査の内容は、対象物１（１ａ、１ｂ）により様々なものとすることができる。例えば、傷欠陥検査、位置ずれ検査、有無検査等とすることができる。

ここで、判定部１１２は良品画像との類似度の計算、またはクラス分類を行うことで、入力画像に対する判定あるいは分類を行う。

なお、実施例１においては、判定部１１２をサポートベクターマシンで構成することとしたが、必ずしもこれに限定されず適宜変更が可能である。例えば、線形判別、単純ベイズ、ベイズネットワークや畳み込みニューラルネット（ＣＮＮ）を用いて判定部１１２を構成してもよい。

また、実施例１においては、予め対象物１の良品と不良品とをそれぞれ複数個ずつ学習させるようにしたが、必ずしもこれに限定されず適宜変更が可能である。例えば、複数個の良品を学習させるようにしてもよい。

照明部１２は、筐体１１に取り付けられている。またその構造は、任意に選択することができる。例えば、円周状にＬＥＤを配置したリング照明、ＬＥＤを配置した形状がドーム形状を有したドーム照明、又は同軸落射照明等を選択することができる。そして、それらを交換可能に撮像処理装置１０（１０ａ〜１０ｆ）の筐体１１に取り付ける。

なお、実施例１においては、照明部１２を筐体１１に取り付ける構成としたが、必ずしもこれに限定されず適宜変更が可能である。例えば、照明部１２を筐体１１に取り付けず、撮像処理装置１０（１０ａ〜１０ｆ）から取り外して任意の場所に設けるように構成してもよい。

傾斜角検出部１１７は、２軸分の加速度センサを備えていて、公知の方法により撮像部１１１における重力軸に対する傾斜角を検出することができる。この傾斜角を送信部１１４から統括サーバ２０に送信することにより、統括サーバ２０は各撮像処理装置１０（１０ａ〜１０ｆ）の撮像角度を認識することができる。傾斜角の送信は撮像処理装置１０（１０ａ〜１０ｆ）の設置後任意のタイミングで行われる。統括サーバ２は、撮像角度を認識することにより、撮像角度によって判定結果に重み付けを付すことができる。後述するように、対象物１の側方から撮像した撮像処理装置１０の判定結果を重視するとともに、斜め上から撮像した撮像処理装置１０の判定結果を参考程度に重み付けして総合判定を導くことができる。

具体的な傾斜角の検出は、新たに撮像処理装置１０（１０ａ〜１０ｆ）が設置されたときに、統合サーバ２０はコマンドを当該撮像処理装置１０（１０ａ〜１０ｆ）に送信して傾斜角を検出させて統括サーバ２０に送信させる。統括サーバ２０では、傾斜角を受信して撮像角度を認識する。その際、対象物１ａ又は対象物１ｂが傾斜して設置されている場合は、その設置の傾斜角を補正して撮像角度を認識する。また、送信された傾斜角のみでは判断できない角度、例えば、５０°の角度と２３０°の角度の場合等は当該撮像処理装置１０（１０ａ〜１０ｆ）からの画像を統括サーバ２０が受信して対象物１（１ａ、１ｂ）の撮像状態（例えば、対象物１（１ａ、１ｂ）が画面に侵入する方角等）を分析して撮像角度を認識する。

なお、実施例１においては、２軸分の加速度センサを備えるように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、加速度センサと地磁気センサとを備えるようにしてもよいし、加速度センサとジャイロスコープを備えるようにしてもよい。すなわち、少なくとも加速度センサを備えるように構成すればよい。

（表示装置（情報端末））
撮像処理装置特定情報や撮像画像及び判定結果を含む情報は、送信部１１４から無線ＬＡＮにより統合サーバ２０に送信される。また、統括サーバ２０から無線ＬＡＮによりスマートフォンからなる情報端末３に撮像画像、判定結果、撮像角度、及び総合判定結果が送信されて表示される。図１の情報端末３には、各撮像処理装置が撮像した撮像画像と判定結果（つまり外観検査結果）を表示した様子を示している。撮像画像上に「×」と表示しているのは、判定結果（外観検査結果）が不良であったことを示している。また、総合判定結果を表示するように構成してもよい。

情報端末３には、撮像処理装置１０ａ〜１０ｄ、又は撮像処理装置１０ｅ〜１０ｆの撮像画像及び判定結果を各撮像角度に応じて表示することができる。つまり、対象物１ａを撮像処理装置１０ａが斜め右上から撮像した撮像画像３０ａは情報端末３における良品の画像である写真１Ａの右上に表示し、撮像処理装置１０ｂが斜め左上から撮像した撮像画像３０ｂは写真１Ａの左上に表示し、撮像処理装置１０ｃが左側側方から撮像した撮像画像３０ｃは写真１Ａの左側側方に表示し、撮像処理装置１０ｄが右側側方から撮像した撮像画像３０ｄは写真１Ａの右側側方に表示する。また、別の表示画面において、対象物１ｂを撮像処理装置１０ｅが斜め右上から撮像した撮像画像３０ｅは情報端末３における良品の画像である写真１Ａの右上に表示し、撮像処理装置１０ｆが斜め左上から撮像した撮像画像３０ｆは写真１Ａの左上に表示することができる。情報端末３に、撮像画像３０ａ〜３０ｄを表示するか、撮像画像３０ｅ、３０ｆを表示するかは、情報端末３の操作により選択することができる。

このように、撮像画像及び判定結果を各撮像角度に応じて表示することで、当該撮像画像の対象物１ａや対象物１ｂに対する位置や撮像角度が容易に理解でき、各撮像処理装置の判定結果を迅速に把握することができる。

なお、実施例１においては、情報端末３における表示の中央に良品の画像である写真１Ａを表示するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、写真１Ａを表示せず黒色を表示するように構成してもよいし、対象物１（１ａ、１ｂ）を真上から撮像した撮像画像を表示するように構成してもよい。

なお、実施例１においては、判定結果（外観検査結果）について、不良品に対して「×」を表示しているが、必ずしもこれに限定されず適宜変更が可能である。例えば、良品に対して「〇」を表示してもよいし、不良品に対する「×」と良品に対する「〇」の双方を表示してもよい。また、「×」、「〇」ではなく、文字で表示してもよいし、背景色を変えて表示するようにしてもよい。

また、実施例１においては、スマートフォンを情報端末３として構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、タブレットで構成してもよいし、パソコンで構成してもよい。なお、情報端末３は必ず必要とするものではなく、必要となったときのみ設けるようにしてもよい。また、後述する制御情報を送信する必要がなければ、ＬＥＤディスプレイ等の表示装置を情報端末３として構成してもよく、少なくとも表示装置としての機能を備えていればよい。

このように、スマートフォン等の情報端末３で、各撮像処理装置１０（１０ａ〜１０ｆ）の撮像画像や判定結果を視る事ができるので、設置や調整を容易に行うことができる。

（照明の制御）
情報端末３からは、照明部１２と撮像部１１１に対する制御情報を統括サーバ２０に対して無線ＬＡＮを介して送信することができる。そして、統括サーバ２０が受信した制御情報を撮像処理装置１０（１０ａ〜１０ｆ）に無線ＬＡＮを介して送信する。撮像処理装置１０（１０ａ〜１０ｆ）では、受信部１１５がこの制御情報を受信することができる。制御部１１６は、この制御情報に基づいて、照明部１２と撮像部１１１を制御する。その際、照明部１２へは、制御部１１６からブルーツゥース（登録商標。以下同じ）により制御情報が送信される。

具体的には、照明部１２に対して、点灯又は消灯、その照度、又は色合い等を制御することができる。対象物１の光沢や色合い、撮像角度により制御する項目を選択する。また撮像部１１１に対して、撮像又は非撮像の切替えやシャッター速度等を制御することができる。対象物１ａ又は対象物１ｂの移動速度や撮像角度により制御する項目を選択する。

ここで、一の撮像処理装置１０（例えば、撮像処理装置１０ａ）の撮像部１１１で対象物1ａを撮像するように制御し照明部１２を消灯するように制御するとともに、他の撮像処理装置１０（例えば、撮像処理装置１０ｂ）の撮像部１１１を非撮像に制御し照明部１２を点灯するように制御すれば、他の撮像処理装置１０（撮像処理装置１０ｂ）による照明光による暗視野照明により、一の撮像処理装置１０（撮像処理装置１０ａ）は対象物１ａを撮像することができる。つまり、他の撮像処理装置１０（撮像処理装置１０ｂ）を単なる照明装置としても活用することができる。

なお、実施例１においては、制御部１１６から照明部１２へブルーツゥースにより制御情報を送信する構成としたが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、無線ＬＡＮで送信するように構成してもよいし、有線で送信する構成としてもよい。また、情報端末３から統括サーバ２０、及び統括サーバ２０から受信部１１５へは、無線ＬＡＮを介して送信するように構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、ブルーツゥースで送信する構成としてもよいし、有線で送信する構成としてもよい。

（統括サーバ）
統括サーバ２０における総合判定は、各判定結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な画像処理を行い総合的に判定する。実施例１における重み付けは、各外観検査結果のうち不良としたものについて、１点を与えて得点を加算する。そして、加算した合計が２点以上であれば、総合判定を不良とする。

なお、実施例１においては、各判定結果（外観検査結果）のうち不良としたものについて、１点を与えて得点を加算するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、側方正面から撮像する撮像処理装置１０ｃ、１０ｄの判定結果（外観検査結果）に重みを付し、これらの判定結果（外観検査結果）が不良であれば、２点を与えるようにしてもよい。つまり、撮像角度によりその判定結果（外観検査結果）に対する重み付けの値を変えてもよい。

前述のように、統括サーバ２０は必要に応じて撮像画像に対して複雑な判定処理を行う。これは、撮像処理装置１０ａ〜１０ｆにおける画像処理能力は限界があるためであり、より複雑な判定処理は統合サーバ２０で行うことで、信頼度の高い判定を実現できる。複雑な判定処理とは、例えば、特徴量抽出のための領域分割のメッシュを細かくする必要がある場合の処理や２つ以上の撮像処理装置の撮像画像を使ってする処理がある。２つ以上の撮像画像を使ってする判定処理には、ステレオ画像処理や、上流工程における撮像処理装置１０ａ〜１０ｆの撮像画像と、後述する下流工程における撮像処理装置１１０ａ〜１１０ｄの撮像画像間での画像間演算等による判定処理がある。

つまり、統括サーバ２０は、通常、同じ対象物１を撮像する同じ撮像処理装置グループの複数の撮像処理装置の少なくとも複数の判定結果に基づいて、前記対象物に対する総合判定を行う。しかし、上流工程での撮像画像と下流工程での撮像画像とを画像間演算行って、複雑な外観検査や対象物が不良となった原因の調査を行うことができる。すなわち、統括サーバ２０は、複数の撮像処理装置の少なくとも複数の判定結果に基づいて、対象物１ａ、１ｂに対する総合判定を行う。

また、統合サーバ２０は総合判定として、良否の判定や品質等の等級を判定することができる。

このように、統合サーバにおいて各撮像処理装置の判定結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な判定処理を行い総合判定する。これにより、信頼度の高い外観検査を実現することができる。

統括サーバ２０は、撮像処理装置１０（１０ａ〜１０ｆ）からの送信情報の有無により、稼働中の撮像処理装置１０（１０ａ〜１０ｆ）を認識することができる。すなわち、撮像処理装置１０（１０ａ〜１０ｆ）が設けられ、新たになんらかの情報を統括サーバ２０が受信すれば、新たな撮像処理装置１０（１０ａ〜１０ｆ）が増設されたことを認識する。また、今まで設けられていた撮像処理装置１０（１０ａ〜１０ｆ）から何の情報も送信されない期間が一定以上ある場合は、当該撮像処理装置１０（１０ａ〜１０ｆ）が撤去されたものとみなす。すなわち、統括サーバ２０は、各撮像処理装置１０（１０ａ〜１０ｆ）からの情報の有無により、稼働中の撮像処理装置１０（１０ａ〜１０ｆ）を認識することができる。

なお、実施例１においては、新たになんらかの情報を統括サーバ２０が受信すれば、新たな撮像処理装置１０（１０ａ〜１０ｆ）が増設されたことを認識する構成としたが、必ずしもこれに限定されず適宜変更が可能である。例えば、撮像処理装置特定情報や傾斜角、又は撮像画像及び判定結果を含む情報を統括サーバ２０が新たに受信すれば、新たな撮像処理装置１０（１０ａ〜１０ｆ）が増設されたことを認識する構成としてもよい。つまり、統括サーバ２０は、各撮像処理装置１０（１０ａ〜１０ｆ）からの情報の有無により、稼働中の撮像処理装置１０（１０ａ〜１０ｆ）を認識することができる。

このように、統括サーバは、各撮像処理装置からの情報の有無により、稼働中の撮像処理装置を認識することができるように構成したので、設置や調整を容易に行うことができる。

以上、撮像処理装置グループ５０、５１に属する撮像処理装置１０ａ〜１０ｆを中心に統合サーバ２０、情報端末３の構成と機能について説明した。次に、撮像処理装置グループ１５０に属する撮像処理装置１１０ａ〜１１０ｄと統合サーバ１２０について簡単に説明する。

撮像処理装置グループ１５０における撮像処理装置１１０（１１０ａ〜１１０ｄ）は、前述した撮像処理装置１０（１０ａ〜１０ｆ）と同様の構成と機能を有し、統括サーバ１２０は、前述した統括サーバ２０と同様の構成と機能を有するものであり、各撮像処理装置１１０（１１０ａ〜１１０ｄ）が同一の対象物１ｃを複数の撮像角度から撮像、判定としての外観検査を行ない、撮像画像、判定結果、撮像処理装置特定情報を含む情報を統括サーバ１２０に送信する。統括サーバ１２０では、各撮像処理装置１１０（１１０ａ〜１１０ｄ）から受信した撮像処理装置特定情報により、対象物１ｃを撮像、判定する撮像処理装置１１０（１１０ａ〜１１０ｄ）を特定し撮像処理装置グループ１５０としてグループ化する。そして、同じ撮像処理装置グループ１５０に属する撮像処理装置１１０（１１０ａ〜１１０ｄ）から受信した撮像画像、判定結果に基づいて、総合判定を行う。また、上流工程での撮像画像と下流工程での撮像画像間の演算が必要な場合等は、上流の撮像処理装置グループ５０、５１に属する撮像処理装置１０（１０ａ〜１０ｆ）から受信した撮像画像と、下流の撮像処理装置グループ１５０に属する撮像処理装置１１０（１１０ａ〜１１０ｄ）から受信した撮像画像間で演算を行って総合判定を行う。

統括サーバ１２０の総合判定結果は、不良の対象物１ｃに対する排除又は修理等のために生産工程の制御装置に送信することができる。また、撮像画像、判定結果、及び総合判定結果を含む情報は情報端末３に送信してその画面に表示することができる。情報端末３には、統括サーバ２０及び統括サーバ１２０からも情報が送信されるが、統括サーバを特定する情報を他の情報に付加して送信することにより、区別して表示することができる。

なお、実施例１においては、撮像処理装置グループ５０では、４台の撮像処理装置１０ａ〜１０ｄを備え、撮像処理装置グループ５１では、２台の撮像処理装置１０ｅ、１０ｆを備え、撮像処理装置グループ１５０では、４台の撮像処理装置１１０ａ〜１１０ｄを備える構成としたが、必ずしもこれに限定されず適宜変更が可能である。例えば、それぞれの撮像処理装置グループにおいて、６台構成としてもよいし、８台以上の構成としてもよい。

このように、実施例１においては、対象物を撮像して画像処理を行う画像処理システムであって、
前記対象物を撮像し判定を行う複数の撮像処理装置と、
前記撮像処理装置からの撮像処理装置特定情報、撮像画像、及び判定結果を受信する統括サーバと、を備え、
前記統括サーバは、前記撮像処理装置特定情報に基づいて、同一の対象物を撮像する撮像処理装置を特定し撮像処理装置グループとしてグループ化するとともに、
複数の前記撮像処理装置からの少なくとも複数の前記判定結果に基づいて、前記対象物に対する総合判定を行うことを特徴とする画像処理システムにより、設置、調整が容易で対象物に対する信頼度の高い判定を実現することができる。

また、対象物を撮像して画像処理を行う画像処理方法であって、
前記対象物を複数の撮像処理装置で撮像し判定を行う工程と、
複数の前記撮像処理装置からの撮像処理装置特定情報、撮像画像及び判定結果を統括サーバが受信する工程と、
前記統括サーバが受信した前記撮像処理装置特定情報に基づいて、同一の対象物を撮像する撮像処理装置を特定し撮像処理装置グループとしてグループ化する工程と、
複数の前記撮像処理装置からの少なくとも複数の前記判定結果に基づいて、前記対象物に対する総合判定を行う工程と、を備えたことを特徴とする画像処理方法により、設置、調整が容易で対象物に対する信頼度の高い判定を実現することができる。

本発明の実施例２は、撮像時刻を撮像処理装置特定情報とした点で実施例１と異なっている。実施例２について、図１、図２を参照して説明する。図１は、本発明の実施例１、２における画像処理システムの例を説明する図である。図２は、本発明に実施例１、２における撮像処理装置の構成例を説明する図である。

実施例２においては、撮像処理装置グループ５０における撮像処理装置１０ａ〜１０ｆは、記憶部１１３に撮像画像とともに、撮像時刻を記憶するように構成されている。そして、撮像処理装置特定情報として記憶部１１３に記憶された撮像時刻を、画像処理毎に撮像画像、判定結果とともに送信部１１４より送信するように構成されている。撮像時刻は、工場での生産工程を考慮して、ミリ秒単位まで把握することが望ましい。つまり、撮像時刻は、〇年〇月〇日〇時〇分〇秒〇ミリ秒のように把握し記憶、送信される。

統括サーバ２０は、この撮像時刻の受信によって、ほぼ同時刻に撮像した撮像処理装置１０ａ〜１０ｄを同一の対象物１ａを撮像した撮像処理装置グループ５０としてグループ化する。このとき、偶然にも同じ工程の他の撮像処理グループ５１の撮像処理装置１０ｅ、１０ｆから同じ撮像時刻を受信することが想定される場合はオペレータによる修正機能を備えるか、生産工程番号や符号を撮像画面に入るように撮像角度や視野を設定しておいて自動認識により修正してグループ化する。

また、他の（下流の）生産工程の撮像処理装置グループ１５０における撮像処理装置１１０ａ〜１１０ｄからも撮像時刻を送信されることが想定される場合もある。この場合は、撮像処理装置グループ５０、５１における撮像処理装置１０ａ〜１０ｆによる撮像画像と撮像処理装置グループ１５０における撮像処理装置１１０ａ〜１１０ｄによる撮像画像とは、生産工程が異なり対象物１ｃの形状が対象物１ａ、１ｂとは異なるためほぼ同じ撮像時刻を受信した場合であっても、自動認識により修正してグループ化することができる。

なお、実施例２においては、撮像時刻を、撮像画像、判定結果とともに送信するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、撮像時刻の統括サーバ２０への送信は初めの１回だけとし、その後は自動的にＩＤを割り振って紐づけにしてもよい。

このように、実施例２においては、撮像処理装置特定情報として撮像した撮像時刻を用いることにより、ＩＤを各撮像処理装置に割り振ることなく撮像処理装置を特定することができ、オペレータの手間を減らすことができる。また、毎回の画像処理時に撮像画像や判定結果とともに撮像時刻を送信するように構成することによって、過検査や不良見逃し等の外観検査ミスがあった場合に撮像時刻に基づいてその原因を追跡調査することができる。

本発明における実施例３は、統合サーバを３台備えている点で、実施例１、２と異なっている。実施例３について、図３を参照して説明する。図３は、本発明の実施例３における画像処理システムの例を説明する図である。

実施例３においては、撮像処理装置１０ａ〜１０ｄ、２１０ａ〜２１０ｂ、１１０ａ〜１１０ｄ、が対象物１ａ、１ｂ、１ｃをそれぞれ複数の角度から撮像し判定を行う。すなわち、立体的な対象物１ａをできるだけ多くの角度から撮像するように、撮像処理装置１０ａが斜め右上から撮像し、撮像処理装置１０ｂが斜め左上から撮像し、撮像処理装置１０ｃが左側側方から撮像し、撮像処理装置１０ｄが右側側方から撮像して、それぞれ撮像した撮像画像に基づいて判定を行う。そして、撮像処理装置１０ａ〜１０ｄは、それぞれの撮像画像、判定結果、及び撮像処理装置特定情報を含む情報を統括サーバ２０に送信する。

また、対象物１ｂを効率的に撮像するように、撮像処理装置２１０ａが斜め右上から撮像し、撮像処理装置２１０ｂが斜め左上から撮像して、それぞれ撮像した撮像画像に基づいて判定を行う。そして、撮像処理装置２１０ａ〜２１０ｂは、それぞれの撮像画像、判定結果、及び撮像処理装置特定情報を含む情報を統括サーバ２２０に送信する。

さらに、対象物１ｃをできるだけ多くの角度から撮像するように、撮像処理装置１１０ａが斜め右上から撮像し、撮像処理装置１１０ｂが斜め左上から撮像し、撮像処理装置１１０ｃが左側側方から撮像し、撮像処理装置１１０ｄが右側側方から撮像して、それぞれ撮像した撮像画像に基づいて判定を行う。そして、撮像処理装置１１０ａ〜１１０ｄは、それぞれの撮像画像、判定結果、及び撮像処理装置特定情報を含む情報を統括サーバ１２０に送信する。

実施例３における各撮像処理装置の「判定」として、具体的には外観検査を行なうように構成しているが、必ずしもこれに限定されず適宜変更が可能である。例えば、撮像処理装置１０ａ〜１０ｄ、１１０ａ〜１１０ｄは「判定」として外観検査を行なう構成とし、撮像処理装置２１０ａ、２１０ｂは「判定」として大きさ等の選別を行う構成としてもよい。つまり「判定」としてどのような機能を持たせるかは、生産工程における都合により適宜変更することができる。

統括サーバ２０では、それぞれの撮像画像、判定結果、及び撮像処理装置特定情報を含む情報を受信し、同一の対象物１ａを撮像して判定する各撮像処理装置１０ａ〜１０ｄを特定し撮像処理装置グループ５０としてグループ化する。そして、同じ撮像処理装置グループ５０に属する撮像処理装置１０ａ〜１０ｄからの少なくとも複数の判定結果により総合判定を行う。また、上流工程での撮像画像と下流工程での撮像画像間の演算が必要な場合等は、上流の撮像処理装置グループ５０に属する撮像処理装置１０（１０ａ〜１０ｄ）から受信した撮像画像と、下流の撮像処理装置グループ１５０に属する撮像処理装置１１０（１１０ａ〜１１０ｄ）から受信した撮像画像間で演算を行って総合判定を行う。そして、統括サーバ２０が受信した撮像画像、判定結果、及び撮像処理装置特定情報を含む情報、及び統括サーバ２０が行った総合判定結果が、情報端末３に送信され、少なくとも撮像画像、判定結果が情報端末３に表示される。また、統括サーバ２０が行った総合判定結果を工場における生産工程の制御装置に送信して、不良品を排除又は修理するように構成してもよい。

統括サーバ２２０では、それぞれの撮像画像、判定結果、及び撮像処理装置特定情報を含む情報を受信し、同一の対象物１ｂを撮像して判定する各撮像処理装置２１０ａ〜２１０ｂを特定し撮像処理装置グループ２５０としてグループ化する。そして、同じ撮像処理装置グループ２５０に属する撮像処理装置２１０ａ〜２１０ｂからの少なくとも複数の判定結果により総合判定を行う。また、上流工程での撮像画像と下流工程での撮像画像間の演算が必要な場合等は、上流の撮像処理装置グループ２５０に属する撮像処理装置２１０（２１０ａ〜２１０ｂ）から受信した撮像画像と、下流の撮像処理装置グループ１５０に属する撮像処理装置１１０（１１０ａ〜１１０ｄ）から受信した撮像画像間で演算を行って総合判定を行う。そして、統括サーバ２２０が受信した撮像画像、判定結果、及び撮像処理装置特定情報を含む情報、及び統括サーバ２２０が行った総合判定結果が、情報端末３に送信され、少なくとも撮像画像、判定結果が情報端末３に表示される。また、統括サーバ２２０が行った総合判定結果を工場における生産工程の制御装置に送信して、不良品を排除又は修理するように構成してもよい。

さらに、統括サーバ１２０では、それぞれの撮像画像、判定結果、及び撮像処理装置特定情報を含む情報を受信し、同一の対象物１ｃを撮像して判定する各撮像処理装置１１０ａ〜１１０ｄを特定し撮像処理装置グループ１５０としてグループ化する。そして、同じ撮像処理装置グループ１５０に属する撮像処理装置１１０ａ〜１１０ｄからの少なくとも複数の判定結果により総合判定を行う。また、上流工程での撮像画像と下流工程での撮像画像間の演算が必要な場合等は、上流の撮像処理装置グループ５０、又は２５０に属する撮像処理装置１０（１０ａ〜１０ｄ）又は２１０（２１０ａ〜２１０ｂ）から受信した撮像画像と、下流の撮像処理装置グループ１５０に属する撮像処理装置１１０（１１０ａ〜１１０ｄ）から受信した撮像画像間で演算を行って総合判定を行う。そして、統括サーバ１２０が受信した撮像画像、判定結果、及び撮像処理装置特定情報を含む情報、及び統括サーバ１２０が行った総合判定結果が、情報端末３に送信され、少なくとも撮像画像、判定結果が情報端末３に表示される。また、統括サーバ１２０が行った総合判定結果を工場における生産工程の制御装置に送信して、不良品を排除又は修理するように構成してもよい。

撮像処理装置特定情報は、各撮像処理装置に割り当てられたＩＤでもよいし、各撮像処理装置が撮像した撮像時刻であってもよい。つまり、同一の対象物を撮像するタイミングはほぼ同じであるので、撮像時刻で同一の対象物を撮像する撮像処理装置を特定することができる。撮像処理装置特定情報を撮像時刻とすることにより、ＩＤを割り振ることなく撮像処理装置を特定することができる。また、過検査や不良見逃し等の判定ミスがあった場合に撮像時刻に基づいてその原因を追跡調査することができる。

このように実施例３においては、各撮像処理装置グループごとに統括サーバを備えており、効率的に総合判定を行うことができ、信頼度の高い判定を実現することができる。

本発明における画像処理システム及び画像処理方法は、生産工程における外観検査や選別だけでなく、人物の認証や交通分野における自動車の特定等の画像処理分野に広く用いることができる。

１ａ〜１ｃ： 対象物 ３：情報端末１０ａ〜１０ｆ：撮像処理装置 １１：筐体 １２：照明部２０：統合サーバ １２０：統合サーバ ２２０：統合サーバ１Ａ：良品画像の写真 ３０ａ〜３０ｄ：撮像画像１１０ａ〜１１０ｆ：撮像処理装置１１１：撮像部 １１２：判定部 １１３：記憶部 １１４：送信部 １１５：受信部 １１６：制御部 １１７：傾斜角検出部２１０ａ、２１０ｂ：撮像処理装置５０：撮像処理装置グループ ５１：撮像処理装置グループ １５０：撮像処理装置グループ ２５０：撮像処理装置グループ

Claims (4)

1. 対象物を撮像して画像処理を行う画像処理システムであって、
   前記対象物を撮像し判定を行う複数の撮像処理装置と、
   前記撮像処理装置からの撮像処理装置特定情報、撮像画像、及び判定結果を無線により受信する統括サーバと、を備え、
   前記撮像処理装置特定情報は、前記撮像画像を撮像した撮像時刻であり、
   前記統括サーバは、無線により受信した前記撮像処理装置特定情報に基づいて、同一の対象物を撮像する撮像処理装置を特定し撮像処理装置グループとしてグループ化するとともに、
   複数の前記撮像処理装置からの少なくとも複数の前記判定結果に基づいて、前記対象物に対する総合判定を行うことを特徴とする画像処理システム。
2. 前記撮像処理装置グループを複数備えたことを特徴とする請求項１に記載の画像処理システム。
3. 対象物を撮像して画像処理を行う画像処理方法であって、
   前記対象物を複数の撮像処理装置で撮像し判定を行う工程と、
   複数の前記撮像処理装置からの撮像処理装置特定情報、撮像画像及び判定結果を統括サーバが無線により受信する工程と、
   前記統括サーバが無線により受信した前記撮像処理装置特定情報に基づいて、同一の対象物を撮像する撮像処理装置を特定し、撮像処理装置グループとしてグループ化する工程と、
   複数の前記撮像処理装置からの少なくとも複数の前記判定結果に基づいて、前記対象物に対する総合判定を行う工程と、を備え、
   前記撮像処理装置特定情報は、前記撮像画像を撮像した撮像時刻であることを特徴とする画像処理方法。
4. 前記撮像処理装置グループを複数備えたことを特徴とする請求項３に記載の画像処理方法。

Images