JP7167426B2 - 検品装置、検品方法及び検品プログラム - Google Patents

検品装置、検品方法及び検品プログラム Download PDF

Info

Publication number
JP7167426B2
JP7167426B2 JP2017213063A JP2017213063A JP7167426B2 JP 7167426 B2 JP7167426 B2 JP 7167426B2 JP 2017213063 A JP2017213063 A JP 2017213063A JP 2017213063 A JP2017213063 A JP 2017213063A JP 7167426 B2 JP7167426 B2 JP 7167426B2
Authority
JP
Japan
Prior art keywords
inspection
pixels
container
color
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017213063A
Other languages
English (en)
Other versions
JP2019086914A (ja
Inventor
隆也 角森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017213063A priority Critical patent/JP7167426B2/ja
Publication of JP2019086914A publication Critical patent/JP2019086914A/ja
Application granted granted Critical
Publication of JP7167426B2 publication Critical patent/JP7167426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本発明は、検品装置、検品方法及び検品プログラムに関する。
従来より、特定の物品(例えば、弁当、パン、野菜、果物、花等の商品)を出荷する際の外観検査においては、当該物品の外観の色に着目して、合否の判定が行われている。このため、当該物品の外観検査を行う検品装置では、例えば、当該物品を撮影した検品画像を、所定のモデル画像(合格と判定される物品を予め撮影した画像)とマッチングさせることで、合否の判定を行っている。
特開2005-4612号公報 特表2004-502250号公報
しかしながら、上記のような物品の場合、外観検査において合格と判定される物品であっても、外観の色は均一ではない。例えば、パンの焼きムラや、花の模様などのように外観の色には一定程度の個体差があり、完全に同じ色が再現されることがないからである。このため、所定のモデル画像とマッチングさせる検品方法では、検査精度に限界がある。
一つの側面では、物品の外観検査において、検査精度の向上を図ることを目的としている。
一態様によれば、検品装置は、
複数の収容部に仕切られた検査対象の容器を撮影した検品画像を、各収容部に収容された内容物の種類に応じて、複数の領域に分割する分割手段と、
分割された複数の領域それぞれに含まれる画素を、色ごとに分類し、各色の画素数を算出する算出手段と、
前記各収容部に収容された内容物の種類に対応する複数の領域それぞれの内少なくとも1つの領域においては複数のモデル画像を有し、前記複数のモデル画像の各々に含まれる画素の、各色の画素数と、分割された前記複数の領域それぞれにおいて算出された前記各色の画素数との差の合計値を、対応する領域に含まれる画素数で除算することで誤差率を算出する比較手段と、
前記複数の領域それぞれにおいて算出した前記誤差率に基づいて、前記各収容部に内容物が収容された前記検査対象の容器の合否を判定する判定手段と、を有し、
前記判定手段は、前記検品画像に含まれる少なくとも1つの領域において、算出した前記誤差率が全て所定の閾値以下でないと判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が不合格であると判定し、前記検品画像に含まれる全ての領域において、算出した前記誤差率の内少なくとも1つが前記所定の閾値以下であると判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が合格であると判定することを特徴とする。
物品の外観検査において、検査精度の向上を図ることが可能となる。
検品システムのシステム構成の一例を示す図である。 検品装置のハードウェア構成の一例を示す図である。 検品装置の生成部の機能構成の一例を示す図である。 モデル画像の領域分割処理の具体例を示す図である。 圧縮処理の具体例を示す図である。 RGB値変換処理の具体例を示す図である。 モデルデータ算出処理の具体例を示す図である。 モデルデータ選択処理の具体例を示す図である。 モデルデータの具体例を示す図である。 検品装置の検品部の機能構成の一例を示す図である。 判定処理の流れを示すフローチャートである。 判定処理の具体例を示す図である。 検品装置の効果を説明するための図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
[第1の実施形態]
<検品システムのシステム構成>
はじめに、第1の実施形態に係る検品装置を含む検品システムのシステム構成について説明する。図1は、検品システムのシステム構成の一例を示す図である。
図1に示すように、検品システム100は、撮像装置110と、検品装置120とを有する。撮像装置110と検品装置120とは、有線または無線を介して接続される。
撮像装置110は、合格と判定される物品を予め撮影したモデル画像を含む画像データを、検品装置120に送信する。また、撮像装置110は、検査対象の物品141~143を撮影した検品画像を含む画像データを、検品装置120に送信する。なお、第1の実施形態において、検査対象の物品141~143は、“弁当”であり、搬送装置130により、撮像装置110の撮影範囲まで搬送されるものとする。
検品装置120は、撮像装置110より送信される画像データを処理する画像処理装置の一例である。検品装置120には、生成プログラムと検品プログラムとがインストールされており、当該プログラムが実行されることで、検品装置120は、生成部121、検品部122として機能する。
生成部121は、画像データに含まれるモデル画像に基づいて、モデルデータを生成する。また、生成部121は、生成したモデルデータを、モデル格納部123に格納する。
検品部122は、画像データに含まれる検品画像に基づいて、検査対象の物品の合否を判定するための検品データを生成する。また、検品部122は、生成した検品データに対応するモデルデータをモデル格納部123より読み出し、生成した検品データと比較することで、検査対象の物品の合否を判定する。
<検品装置のハードウェア構成>
次に、検品装置120のハードウェア構成について説明する。図2は、検品装置のハードウェア構成の一例を示す図である。図2に示すように、検品装置120は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を有する。CPU201、ROM202、RAM203は、いわゆるコンピュータを形成する。
また、検品装置120は、補助記憶装置204、操作装置205、表示装置206、I/F(Interface)装置207、ドライブ装置208を有する。なお、検品装置120の各ハードウェアは、バス209を介して相互に接続されている。
CPU201は、補助記憶装置204にインストールされている各種プログラム(例えば、生成プログラム、検品プログラム等)を実行する演算デバイスである。
ROM202は、不揮発性メモリである。ROM202は、補助記憶装置204にインストールされている各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ROM202はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
RAM203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM203は、補助記憶装置204にインストールされている各種プログラムがCPU201によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置204は、各種プログラムや、各種プログラムが実行されることで生成されるデータ等を格納する補助記憶デバイスである。例えば、モデル格納部123は、補助記憶装置204において実現される。
操作装置205は、検品装置120の管理者が検品装置120に対して各種指示を入力するための入力デバイスである。表示装置206は、検品装置120の内部状態等を表示する表示デバイスである。I/F装置207は、撮像装置110と接続するための接続デバイスである。
ドライブ装置208は、記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、ドライブ装置208は、補助記憶装置204に各種プログラムをインストールする際に用いられてもよい。具体的には、検品装置120の管理者が、配布された記録媒体210をドライブ装置208にセットし、該記録媒体210に記録された各種プログラムをドライブ装置208が読み出すことで、補助記憶装置204に各種プログラムがインストールされてもよい。
<検品装置の生成部の機能構成>
次に、検品装置120の生成部121の機能構成について説明する。図3は、検品装置の生成部の機能構成の一例を示す図である。図3に示すように、生成部121は、画像データ取得部301、領域分割部302、圧縮部303、RGB値変換部304、モデルデータ算出部305、選択部306を有する。
画像データ取得部301は、撮像装置110より画像データを取得し、モデル画像を抽出する。また、画像データ取得部301は、抽出したモデル画像を領域分割部302に通知する。
領域分割部302は、モデル画像を予め定められた複数の領域に分割する。また、領域分割部302は、分割することで得られた各領域の領域画像を圧縮部303に通知する。
圧縮部303は、各領域画像について、所定の画素数の画素領域をまとめて1画素とし、各画素領域ごとに、1の画素値(RGB値)を算出することで、各領域画像を圧縮する。また、圧縮部303は、圧縮済みの各領域画像を、RGB値変換部304に通知する。
RGB値変換部304は、圧縮済みの各領域画像の各画素のRGB値を色変換する。また、RGB値変換部304は、色変換済みの各領域画像を、モデルデータ算出部305に通知する。
モデルデータ算出部305は、色変換済みの各領域画像について、領域画像に含まれる画素を色ごとに分類し、各色の画素数を算出することで、領域ごとにモデルデータ候補を算出する。また、モデルデータ算出部305は、算出したモデルデータ候補を選択部306に通知する。
選択部306は、算出されたモデルデータ候補を領域ごとに分類し、分類したモデルデータ候補の中から、互いに類似するモデルデータ候補の組を抽出する。また、選択部306は、互いに類似するモデルデータ候補の組それぞれから、1のモデルデータ候補を選択し、選択したモデルデータ候補をモデルデータとしてモデル格納部123に登録する。
<検品装置の生成部の各部の処理の具体例>
次に、検品装置120の生成部121の各部(画像データ取得部301を除く各部)の処理の具体例について説明する。
(1)領域分割部302による領域分割処理の具体例
はじめに、生成部121の領域分割部302による、モデル画像の領域分割処理の具体例について説明する。図4は、モデル画像の領域分割処理の具体例を示す図である。図4(a)に示すように、合格と判定される物品(弁当)を予め撮影したモデル画像400には、弁当の容器の外縁及び弁当の容器内部の仕切りを示す境界部400BLが含まれる。
モデル画像400によれば、弁当の容器内部は境界部400BLにより4つの収容部(収容部401、402、403、404)に仕切られている。また、モデル画像400によれば、収容部401~403には、それぞれ1種類の内容物(内容物411、412、413)が収容されている。内容物411は、例えば“ごはん”であり、内容物412は、例えば“サラダ”であり、内容物413は、例えば“漬物”である。
更に、モデル画像400によれば、収容部404には、2種類の内容物(内容物414a、414b)が収容されている。内容物414aは、例えば“ハンバーグ”であり、内容物414bは、例えば“フライドポテト”である。
第1の実施形態において、領域分割部302では、内容物の種類ごとに、モデル画像400を分割する。図4(b)は、内容物の種類ごとに、モデル画像400を分割した場合の分割位置を示す図である。
図4(b)に示すように、領域分割部302は、内容物411が収容された収容部401に対応する領域をモデル画像400から分割し、領域画像421(領域名=“領域1”と称す)を抽出する。また、領域分割部302は、内容物412が収容された収容部402に対応する領域をモデル画像400から分割し、領域画像422(領域名=“領域2”と称す)を抽出する。また、領域分割部302は、内容物413が収容された収容部403に対応する領域をモデル画像400から分割し、領域画像423(領域名=“領域3”と称す)を抽出する。
また、領域分割部302は、内容物414aが収容された収容部404の左側領域をモデル画像から分割し、領域画像424(領域名=“領域4”と称す)を抽出する。更に、内容物414bが収容された収容部404の右側領域をモデル画像から分割し、領域画像425(領域名=“領域5”と称す)を抽出する。
(2)圧縮部303による圧縮処理の具体例
次に、生成部121の圧縮部303による圧縮処理の具体例について説明する。図5は、圧縮処理の具体例を示す図である。
図5に示すように、圧縮部303は、それぞれの領域画像421~425において、所定の画素数の画素領域(例えば、3画素×3画素の計9画素からなる画素領域)を抽出し、抽出した画素領域に含まれる各画素の画素値の平均値を算出する。これにより、圧縮部303は、抽出した画素領域を、算出した1の画素値を有する1画素に圧縮する。
図5の例は、領域画像421の画素領域501に含まれる各画素の画素値の平均値として、“210”を算出し、圧縮後の1画素の画素値とした場合を示している。圧縮部303では、かかる圧縮処理を、領域画像421~425それぞれについて、領域画像内の全範囲に対して実行する。これにより、圧縮部303では、領域画像421~425それぞれのデータ量を削減することができる。
(3)RGB値変換部304によるRGB値変換処理の具体例
次に、RGB値変換部304によるRGB値変換処理の具体例について説明する。図6は、RGB値変換処理の具体例を示す図である。
RGB値変換部304は、圧縮済みの各領域画像の各画素のRGB値をそれぞれ色変換する。本実施形態では、例えば、0~255の256階調のR値を、11の階調範囲に分け、それぞれの階調範囲に属するR値を、それぞれの階調範囲の代表値に色変換する。図6の例は、
・階調範囲=0~24に属するR値を、代表値=0に色変換すること、
・階調範囲=25~49に属するR値を、代表値=25に色変換すること、
・階調範囲=50~74に属するR値を、代表値=50に色変換すること、
・階調範囲=75~99に属するR値を、代表値=75に色変換すること、
・階調範囲=100~124に属するR値を、代表値=100に色変換すること、
・階調範囲=125~149に属するR値を、代表値=125に色変換すること、
等を示している。これにより、256階調のR値は、11の代表値に色変換されることになる。
同様に、RGB値変換部304は、例えば、0~255の256階調のG値を、11の階調範囲に分け、それぞれの階調範囲に属するG値を、それぞれの階調範囲の代表値に色変換する。これにより、256階調のG値は、11の代表値に色変換されることになる。
同様に、RGB値変換部304は、例えば、0~255の256階調のB値を、11の階調範囲に分け、それぞれの階調範囲に属するB値を、それぞれの階調範囲の代表値に色変換する。これにより、256階調のB値は、11の代表値に色変換されることになる。
なお、RGB値変換部304によれば、256×256×256=16,777,216通りの色が、11×11×11=1,331通りの色に変換されることになる。
(4)モデルデータ算出部305によるモデルデータ算出処理の具体例
次に、モデルデータ算出部305によるモデルデータ算出処理の具体例について説明する。図7は、モデルデータ算出処理の具体例を示す図である。
図7に示すように、モデルデータ算出処理は領域画像ごとに実行される。図7の例は、領域画像421(領域名=“領域1”)についてモデルデータ算出処理が行われたことを示している。モデルデータ算出部305では、領域画像421(領域名=“領域1”)に含まれる画素を、1,331通りの色に分類し、各色の画素数をカウントすることで、モデルデータ候補700を生成する。
図7に示すように、モデルデータ候補700は、情報の項目として“色”と“カウント数”とを含み、“色”には、1,331通りの色(RGB値)が格納され、“カウント数”には、領域画像(領域名=“領域1”)に含まれる各色の画素数が格納される。
(5)選択部306によるモデルデータ選択処理の具体例
次に、選択部306によるモデルデータ選択処理の具体例について説明する。図8は、モデルデータ選択処理の具体例を示す図である。
図8の例は、選択部306が、領域画像421(領域名=“領域1”)について、モデルデータ算出部305により生成された、モデルデータ候補700、801、802を相互に比較した様子を示している。図8の例によれば、モデルデータ候補700とモデルデータ候補801とは類似度が高いため、当該モデルデータ候補の組について、選択部306は、モデルデータ候補700を選択し、モデルデータとしてモデル格納部123に登録する。つまり、モデルデータ候補801はモデル格納部123に登録されない。
一方、モデルデータ候補700とモデルデータ候補802とは類似度が低いため、当該モデルデータ候補の組について、選択部306は、両方をモデルデータとしてモデル格納部123に登録する。
このように、モデルデータ算出部305により生成されたモデルデータ候補のうち、互いに類似するモデルデータ候補については、一方を選択して登録することで、選択部306では、モデル格納部123に登録するモデルデータの数を絞っている。
<検品装置のモデル格納部に登録されたモデルデータの具体例>
次に、検品装置120のモデル格納部123に登録されたモデルデータの具体例について説明する。図9は、モデルデータの具体例を示す図である。図9に示すように、モデルデータは、領域名及びモデル名と対応付けて登録される。モデルデータ911、912は、検品画像のうち、領域名=“領域1”の領域画像との比較に用いられる、モデル名=モデル1_1、1_2のモデルデータである。
同様に、モデルデータ921、922は、検品画像のうち、領域名=“領域2”の領域画像との比較に用いられる、モデル名=モデル2_1、2_2のモデルデータである。同様に、モデルデータ951、952は、検品画像のうち、領域名=“領域5”の領域画像との比較に用いられる、モデル名=モデル5_1、5_2のモデルデータである。
<検品装置の検品部の機能構成>
次に、検品装置120の検品部122の機能構成について説明する。図10は、検品装置の検品部の機能構成の一例を示す図である。図10に示すように、検品部122は、画像データ取得部1001、領域分割部1002、圧縮部1003、RGB値変換部1004、検品データ算出部1005、判定部1006を有する。
なお、検品部122に含まれる各部のうち、画像データ取得部1001~RGB値変換部1004の機能は、それぞれ、生成部121に含まれる、画像データ取得部301~RGB値変換部304の機能に対応するため、ここでは、説明を省略する。
検品データ算出部1005は算出手段の一例であり、色変換済みの各領域画像について、領域画像に含まれる画素を色ごとに分類し、各色の画素数を算出することで、領域ごとに検品データを算出する。また、検品データ算出部1005は、算出した各領域の検品データを判定部1006に通知する。
判定部1006は比較手段の一例であり、モデル格納部123より、判定対象の領域に対応付けられたモデルデータを読み出し、判定対象の領域の検品データと比較することで、比較結果として、誤差率(詳細は後述)を算出する。また、判定部1006は判定手段の一例であり、算出した誤差率に基づいて、検査対象の物品の合否を判定し、検品結果を出力する。
<判定部による判定処理の流れ>
次に、判定部1006による、判定処理の流れについて説明する。図11は、判定処理の流れを示すフローチャートである。検品データ算出部1005より、各領域の検品データが通知されると、判定部1006は、図11に示すフローチャートを開始する。
ステップS1101において、判定部1006は、領域数をカウントするカウンタnに1を設定する。
ステップS1102において、判定部1006は、通知された検品データの中から、領域nの検品データを抽出する。
ステップS1103において、判定部1006は、モデルデータ数をカウントするカウンタmに1を設定する。
ステップS1104において、判定部1006は、領域nのモデルデータn_mを、モデル格納部123より読み出す。
ステップS1105において、判定部1006は、領域nの検品データと、モデルデータn_mとの誤差率を算出する。具体的には、判定部1006は、1,331通りの色それぞれについて、領域nの検品データと、モデルデータn_mとの画素数の差(絶対値)を算出する。また、判定部1006は、算出した画素数の差(絶対値)の合計値を求め、領域nに含まれる画素数(圧縮した後の画素数)で除算することで、誤差率を算出する。
ステップS1106において、判定部1006は、領域nに対応付けて登録された全てのモデルデータについて、誤差率を算出したか否かを判定する。ステップS1106において、誤差率を算出していないモデルデータがあると判定した場合には(ステップS1106においてNoの場合には)、ステップS1107に進む。
ステップS1107において、判定部1006は、モデルデータ数をカウントするカウンタmをインクリメントし、ステップS1104に戻る。これにより、判定部1006では、領域nに対応付けて登録された次のモデルデータについて、誤差率を算出することができる。
一方、ステップS1006において、領域nに対応付けて登録された全てのモデルデータについて、誤差率を算出したと判定した場合には(ステップS1106においてYesの場合には)、ステップS1108に進む。
ステップS1108において、判定部1006は、領域nの検品データについて算出した誤差率の中に、閾値以下の誤差率となるモデルデータがあったか否かを判定する。ステップS1108において、閾値以下の誤差率となるモデルデータがあったと判定した場合には(ステップS1108においてYesの場合には)、ステップS1109に進む。
ステップS1109において、判定部1006は、検査対象の物品に含まれる各領域のうち、領域nについては“OK”と判定する。
一方、ステップS1108において、閾値以下の誤差率となるモデルデータがなかったと判定した場合(ステップS1108においてNoの場合)、ステップS1110に進む。
ステップS1110において、判定部1006は、検査対象の物品が“不合格”であると判定する。つまり、検査対象の物品に含まれる各領域のうちの1の領域がNGであった場合、判定部1006では、検査対象の物品自体を“不合格”と判定する。
ステップS1111において、判定部1006は、検査対象の物品に含まれる全ての領域について処理を実行したか否かを判定する。ステップS1111において、処理を実行していない領域があると判定した場合には(ステップS1111においてNoの場合には)、ステップS1112に進む。
ステップS1112において、判定部1006は、領域数をカウントするカウンタnをインクリメントし、ステップS1102に戻る。これにより、判定部1006は、検査対象の物品に含まれる次の領域について、誤差率を算出することができる。
一方、ステップS1112において、検査対象の物品に含まれる全ての領域について処理を実行したと判定した場合には(ステップS1111においてYesの場合には)、ステップS1113に進む。
ステップS1113において、判定部1006は、検査対象の物品が“合格”であると判定する。つまり、検査対象の物品に含まれる全ての領域が“OK”であった場合、判定部1006では、検査対象の物品を“合格”と判定する。
ステップS1114において、判定部1006は、判定処理を終了するか否かを判定する。ステップS1114において、判定処理を継続すると判定した場合には(ステップS1114においてNoの場合には)、ステップS1101に戻る。この場合、次の検品データが通知されることで、上記処理(ステップS1101~S1113)が実行される。一方、ステップS1114において、判定処理を継続しないと判定した場合には(ステップS1114においてYesの場合には)、判定処理を終了する。
<判定部による判定処理の具体例>
次に、判定部1006による、検査対象の物品についての判定処理の具体例について説明する。図12は、判定処理の具体例を示す図である。
図12に示すように、領域名=“領域1”の検品データ1201が通知されると、判定部1006は、モデル格納部123より、領域名=“領域1”に対応付けて登録されたモデルデータを順次読み出す。図12の例は、モデル格納部123より、モデルデータ911(モデル名=“モデルデータ1_1”)が読み出されたことを示している。
また、図12に示すように、判定部1006は、各色について、検品データ1201とモデルデータ911との画素数の差(絶対値)を算出し、差分データ1202を生成する。
差分データ1202によれば、色=(0,0,0)の場合、検品データ1201とモデルデータ911との画素数の差(絶対値)は、“2”である。また、色=(25,0,0)の場合、検品データ1201とモデルデータ911との画素数の差(絶対値)は、“4”である。更に、色=(50,0,0)の場合、検品データ1201とモデルデータ911との画素数の差(絶対値)は、“1”である。
以下、判定部1006は、全ての色について、検品データ1201とモデルデータ911との画素数の差(絶対値)を算出し、算出した画素数の差(絶対値)の合計値(合計差異数)を求める。図12の例は、判定部1006により、合計差異数として“90”が算出されたことを示している。
なお、判定部1006では、更に、算出した合計差異数を、領域名=“領域1”に含まれる画素数(圧縮した後の画素数)で除算することで、誤差率を算出し、領域名=“領域1”について“OK”か否かを判定する。
<検品装置による検品の効果>
次に、検品装置120による検品の効果について説明する。図13は、検品装置の効果を説明するための図である。図13に示すように、生成部121では、領域画像1301に対して、圧縮処理及びRGB値変換処理を実行することで、色変換済みの領域画像1302を生成する。また、生成部121では、色変換済みの領域画像1302に対して、モデルデータ算出処理及びモデルデータ選択処理を実行することで、モデルデータ1303を登録する。
一方、検品部122では、領域画像1311に対して、圧縮処理及びRGB値変換処理を実行することで、色変換済みの領域画像1312を生成する。また、検品部122では、色変換済みの領域画像1312に対して、検品データ算出処理を実行することで、検品データ1313を算出する。
この結果、検品部122では、判定部1006が差分データ1320を算出し、更に、合計差異数として“10”を算出する。図13の例では、色変換済みの領域画像1302または1312に含まれる画素数は“132”であるため、誤差率=合計差異数/画素数=10/132=7.6%となる。つまり、検品部122では、判定部1006が色変換済みの領域画像1312に対応する領域について“OK”と判定する。
ここで、領域画像1301と領域画像1311とでは、写し出されている内容物は同じであるが、内容物に含まれる具材の配置、個々の具材の大きさ及び形、色等は、一致していない。このため、領域画像1301と領域画像1311とをマッチングさせる従来の検品方法によれば、領域画像1311に対応する領域について“NG”と判定する可能性があった。
これに対して、第1の実施形態に係る検品装置120によれば、圧縮処理及びRGB値変換処理が実行されるため、個々の具材の大きさ及び形、色等の違いは吸収されることになる(色変換済みの領域画像1302、1312参照)。一方で、写し出されている内容物が同じである場合、領域画像全体の色味は一致するため、各色に分類される画素数の差を算出すれば、色味が一致していることを判定することができる。このように、第1の実施形態に係る検品装置120によれば、領域画像1311に対応する領域について、正しく“OK”と判定することができる。
つまり、第1の実施形態に係る検品装置によれば、物品(弁当)の外観検査において、検査精度の向上を図ることが可能となる。
[第2の実施形態]
上記第1の実施形態では、領域分割部302、1002がそれぞれ、内容物の種類に応じて検品画像を5個の領域に分割するものとして説明したが、分割する領域数は、5個に限定されない。また、分割方法も、内容物の種類に限定されず、内容物の種類とは無関係に(予め定められた位置で)、分割するようにしてもよい。
また、上記第1の実施形態では、圧縮部303、1003がそれぞれ、3画素×3画素(9画素)の画素領域を1画素に圧縮する場合について説明したが、圧縮方法はこれに限定されない。
また、上記第1の実施形態では、RGB値変換部304、1004がそれぞれ、25階調を1階調に色変換する場合について説明したが、圧縮部303、1003による色変換方法はこれに限定されない。
また、上記第1の実施形態では、各領域画像について同じ処理を行うものとして説明したが、領域画像ごとに処理内容を変更してもよい。例えば、領域画像ごとに、圧縮方法や色変換方法を変更してもよいし、あるいは、領域画像ごとに、誤差率を判定する際の閾値を変更してもよい。
また、上記第1の実施形態では、検品画像に含まれる全ての領域画像を処理対象として、処理を実行するものとして説明したが、検品画像に含まれる一部の領域画像を処理対象として処理を実行するようにしてもよい。
また、上記第1の実施形態では、各色の画素数の差を単純加算することで、合計差異数を算出したが、各色の画素数の差を重み付け加算することで、合計差異数を算出してもよい。
また、上記第1の実施形態では、検査対象の物品=弁当の場合について説明したが、検査対象の物品はこれに限定されず、パン、野菜、果物、花等の商品のように、外観の色に基づいて、合否の判定が行われる物品であれば、他の物品についても適用可能である。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
検査対象の物品を撮影した検品画像において、所定の領域に含まれる画素を、色ごとに分類し、各色の画素数を算出する算出手段と、
モデル画像において、前記所定の領域に対応する領域に含まれる画素の、前記各色の画素数を参照し、算出された前記各色の画素数と比較する比較手段と、
比較結果に基づいて、前記検査対象の物品の合否を判定する判定手段と
を有することを特徴とする検品装置。
(付記2)
前記判定手段は、
前記各色の画素数の差の合計値を、前記所定の領域に含まれる画素数で除算することで得た誤差率に基づいて、前記検査対象の物品の合否を判定することを特徴とする付記1に記載の検品装置。
(付記3)
前記判定手段は、
前記所定の領域について算出した誤差率が、所定の閾値以下でないと判定した場合、前記検査対象の物品が不合格であると判定し、
前記検品画像に含まれる全ての領域について算出した誤差率が、いずれも所定の閾値以下であると判定した場合、前記検査対象の物品が合格であると判定することを特徴とする付記2に記載の検品装置。
(付記4)
前記所定の領域に含まれる画素の画素値を、該画素値が属する階調範囲において予め定められた代表値に変換する変換手段を更に有することを特徴とする付記3に記載の検品装置。
(付記5)
前記所定の領域に含まれる画素について、所定の画素数の画素ごとにまとめて1の画素値を有する画素に圧縮する圧縮手段を更に有することを特徴とする付記4に記載の検品装置。
(付記6)
検査対象の物品を撮影した検品画像において、所定の領域に含まれる画素を、色ごとに分類し、各色の画素数を算出し、
モデル画像において、前記所定の領域に対応する領域に含まれる画素の、前記各色の画素数を参照し、算出された前記各色の画素数と比較し、
比較結果に基づいて、前記検査対象の物品の合否を判定する、
処理をコンピュータが実行する検品方法。
(付記7)
コンピュータに、
検査対象の物品を撮影した検品画像において、所定の領域に含まれる画素を、色ごとに分類し、各色の画素数を算出し、
モデル画像において、前記所定の領域に対応する領域に含まれる画素の、前記各色の画素数を参照し、算出された前記各色の画素数と比較し、
比較結果に基づいて、前記検査対象の物品の合否を判定する、
処理を実行させる検品プログラム。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :検品システム
110 :撮像装置
120 :検品装置
121 :生成部
122 :検品部
301 :画像データ取得部
302 :領域分割部
303 :圧縮部
304 :RGB値変換部
305 :モデルデータ算出部
306 :選択部
911~952 :モデルデータ
1001 :画像データ取得部
1002 :領域分割部
1003 :圧縮部
1004 :RGB値変換部
1005 :検品データ算出部
1006 :判定部

Claims (5)

  1. 複数の収容部に仕切られた検査対象の容器を撮影した検品画像を、各収容部に収容された内容物の種類に応じて、複数の領域に分割する分割手段と、
    分割された複数の領域それぞれに含まれる画素を、色ごとに分類し、各色の画素数を算出する算出手段と、
    前記各収容部に収容された内容物の種類に対応する複数の領域それぞれの内少なくとも1つの領域においては複数のモデル画像を有し、前記複数のモデル画像の各々に含まれる画素の、各色の画素数と、分割された前記複数の領域それぞれにおいて算出された前記各色の画素数との差の合計値を、対応する領域に含まれる画素数で除算することで誤差率を算出する比較手段と、
    前記複数の領域それぞれにおいて算出した前記誤差率に基づいて、前記各収容部に内容物が収容された前記検査対象の容器の合否を判定する判定手段と、を有し、
    前記判定手段は、前記検品画像に含まれる少なくとも1つの領域において、算出した前記誤差率が全て所定の閾値以下でないと判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が不合格であると判定し、前記検品画像に含まれる全ての領域において、算出した前記誤差率の内少なくとも1つが前記所定の閾値以下であると判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が合格であると判定する
    ことを特徴とする検品装置。
  2. 前記複数の領域それぞれに含まれる画素の画素値を、該画素値が属する階調範囲において予め定められた代表値に変換する変換手段を更に有することを特徴とする請求項に記載の検品装置。
  3. 前記複数の領域それぞれに含まれる画素について、所定の画素数の画素ごとにまとめて1の画素値を有する画素に圧縮する圧縮手段を更に有することを特徴とする請求項に記載の検品装置。
  4. 複数の収容部に仕切られた検査対象の容器を撮影した検品画像を、各収容部に収容された内容物の種類に応じて、複数の領域に分割し、
    分割された複数の領域それぞれに含まれる画素を、色ごとに分類し、各色の画素数を算出し、
    前記各収容部に収容された内容物の種類に対応する複数の領域それぞれの内少なくとも1つの領域においては複数のモデル画像を有し、前記複数のモデル画像の各々に含まれる画素の、各色の画素数と、分割された前記複数の領域それぞれにおいて算出された前記各色の画素数との差の合計値を、対応する領域に含まれる画素数で除算することで誤差率を算出して比較し、
    前記複数の領域それぞれにおいて算出した前記誤差率に基づいて、前記各収容部に内容物が収容された前記検査対象の容器の合否を判定する、処理をコンピュータが実行する検品方法であって、
    前記判定する処理は、前記検品画像に含まれる少なくとも1つの領域において、算出した前記誤差率が全て所定の閾値以下でないと判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が不合格であると判定し、前記検品画像に含まれる全ての領域において、算出した前記誤差率の内少なくとも1つが前記所定の閾値以下であると判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が合格であると判定する
    検品方法。
  5. コンピュータに、
    複数の収容部に仕切られた検査対象の容器を撮影した検品画像を、各収容部に収容された内容物の種類に応じて、複数の領域に分割し、
    分割された複数の領域それぞれに含まれる画素を、色ごとに分類し、各色の画素数を算出し、
    前記各収容部に収容された内容物の種類に対応する複数の領域それぞれの内少なくとも1つの領域においては複数のモデル画像を有し、前記複数のモデル画像の各々に含まれる画素の、各色の画素数と、分割された前記複数の領域それぞれにおいて算出された前記各色の画素数との差の合計値を、対応する領域に含まれる画素数で除算することで誤差率を算出して比較し、
    前記複数の領域それぞれにおいて算出した前記誤差率に基づいて、前記各収容部に内容物が収容された前記検査対象の容器の合否を判定する、処理を実行させる検品プログラムであって、
    前記判定する処理は、前記検品画像に含まれる少なくとも1つの領域において、算出した前記誤差率が全て所定の閾値以下でないと判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が不合格であると判定し、前記検品画像に含まれる全ての領域において、算出した前記誤差率の内少なくとも1つが前記所定の閾値以下であると判定した場合、前記各収容部に内容物が収容された前記検査対象の容器が合格であると判定する
    検品プログラム
JP2017213063A 2017-11-02 2017-11-02 検品装置、検品方法及び検品プログラム Active JP7167426B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017213063A JP7167426B2 (ja) 2017-11-02 2017-11-02 検品装置、検品方法及び検品プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017213063A JP7167426B2 (ja) 2017-11-02 2017-11-02 検品装置、検品方法及び検品プログラム

Publications (2)

Publication Number Publication Date
JP2019086914A JP2019086914A (ja) 2019-06-06
JP7167426B2 true JP7167426B2 (ja) 2022-11-09

Family

ID=66763033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017213063A Active JP7167426B2 (ja) 2017-11-02 2017-11-02 検品装置、検品方法及び検品プログラム

Country Status (1)

Country Link
JP (1) JP7167426B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039691A (ja) * 2019-09-05 2021-03-11 株式会社富士通アドバンストエンジニアリング 検査装置、検査方法及び検査プログラム
JP7396160B2 (ja) 2020-03-26 2023-12-12 富士通株式会社 検査装置、検査プログラム及び検査方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009126058A (ja) 2007-11-22 2009-06-11 Olympus Corp 画像記録装置及び記録不良検出方法
JP2012505485A (ja) 2008-10-14 2012-03-01 シクパ ホールディング エスアー アイテム識別のための方法およびシステム
JP2014021973A (ja) 2012-07-19 2014-02-03 Suzhou Bitstrong Electronics Co Ltd 画像処理装置
JP2014145639A (ja) 2013-01-29 2014-08-14 Tdi Product Solution Co Ltd 食品検査装置
JP2017527905A (ja) 2014-08-26 2017-09-21 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation 色に基づく異物検出システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09203664A (ja) * 1996-01-25 1997-08-05 C G A Kk 色合い検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009126058A (ja) 2007-11-22 2009-06-11 Olympus Corp 画像記録装置及び記録不良検出方法
JP2012505485A (ja) 2008-10-14 2012-03-01 シクパ ホールディング エスアー アイテム識別のための方法およびシステム
JP2014021973A (ja) 2012-07-19 2014-02-03 Suzhou Bitstrong Electronics Co Ltd 画像処理装置
JP2014145639A (ja) 2013-01-29 2014-08-14 Tdi Product Solution Co Ltd 食品検査装置
JP2017527905A (ja) 2014-08-26 2017-09-21 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation 色に基づく異物検出システム

Also Published As

Publication number Publication date
JP2019086914A (ja) 2019-06-06

Similar Documents

Publication Publication Date Title
US9179092B2 (en) System and method producing high definition video from low definition video
KR102094320B1 (ko) 강화 학습을 이용한 이미지 개선 방법
WO2012148619A1 (en) Superpixel segmentation methods and systems
JP7167426B2 (ja) 検品装置、検品方法及び検品プログラム
JP2012203910A (ja) 画像処理装置および方法
JP2015507807A (ja) 画像構図変更の品質評価
US11055816B2 (en) Image processing device, image processing method, and image processing program
EP3012781A1 (en) Method and apparatus for extracting feature correspondences from multiple images
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
US20170091613A1 (en) Computational device, computational method, and computer program product
CN111401269A (zh) 基于监控视频的商品热点检测方法、装置和设备
US11830187B2 (en) Automatic condition diagnosis using a segmentation-guided framework
US20210166476A1 (en) Automatic 3D Image Reconstruction Process from Real-World 2D Images
JP2018508910A (ja) フラクタル次元測定を用いた前景検出
JP6316569B2 (ja) 物品識別システムとそのプログラム
US20220414827A1 (en) Training apparatus, training method, and medium
CN111444806A (zh) 基于监控视频的商品触碰信息聚类方法、装置和设备
Siswantoro et al. A rapid and accurate computer vision system for measuring the volume of axi-symmetric natural products based on cubic spline interpolation
US11558625B2 (en) Method for generating residual image of multi-view video and apparatus using the same
US20220384035A1 (en) Automatic condition diagnosis using an attention-guided framework
JP6717049B2 (ja) 画像解析装置、画像解析方法およびプログラム
US11182617B2 (en) Device and method for generating heat map
JP7396160B2 (ja) 検査装置、検査プログラム及び検査方法
US20220189199A1 (en) Processing apparatus, processing method, and non-transitory storage medium
JP6769555B2 (ja) 物品識別装置、物品識別方法、計算装置、システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210824

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221010

R150 Certificate of patent or registration of utility model

Ref document number: 7167426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150