JP7219016B2 - 判定装置、判定方法、および対象物判定プログラム - Google Patents

Description

本発明は、対象物を撮影した画像から当該対象物の分類カテゴリを判定する判定装置等に関する。

従来、製品に問題がないか等の検査は、検査員が目視で行っていたが、人的負担の軽減や、検査精度の向上のため、判定装置を用いた自動判定の研究が進められている。例えば、下記の特許文献１には、製品の外観をカメラで撮影し、撮影によって得られた映像信号を解析して、その製品の良否判定結果信号を出力する外観検査装置が記載されている。

特開平８－３３４４７５号公報（１９９６年１２月１７日公開）

しかしながら、上述のような従来技術は、判定結果の信頼性が十分ではないという問題がある。画像解析による自動判定は、製品への光の当たり方などによって同じ製品であっても写り方が変わることもあり、誤判定が避けられないためである。このような課題は、製品の良否判定を行う装置に限られず、対象物を撮影した画像に基づいて判定を行う判定装置に共通して生じる課題である。

本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、判定結果の信頼性を従来よりも向上させることが可能な判定装置等を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る判定装置は、対象物を撮影した画像から当該対象物を複数の分類カテゴリのうちの１つに分類する判定装置であって、上記画像に基づいて上記対象物の分類カテゴリを判定する第１判定部と、上記第１判定部の判定結果の確度が閾値未満であった場合に、当該判定に用いられた上記画像に基づいて上記対象物の分類カテゴリを判定する第２判定部と、を備え、上記第２判定部は、画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した結果に基づいて上記対象物の分類カテゴリを判定し、上記訓練データセットには、過去に上記第１判定部が判定に用いた画像のうち、上記第１判定部の判定結果の確度が上記閾値未満であった判定に用いられた画像が含まれる。

また、本発明の一態様に係る判定方法は、上記の課題を解決するために、１または複数の装置により、対象物を撮影した画像から当該対象物を複数の分類カテゴリのうちの１つに分類する判定方法であって、上記画像に基づいて上記対象物の分類カテゴリを判定する第１判定ステップと、上記第１判定ステップの判定結果の確度が閾値未満であった場合に、当該判定に用いられた上記画像に基づいて上記対象物の分類カテゴリを判定する第２判定ステップと、を含み、上記第２判定ステップでは、画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した結果に基づいて上記対象物の分類カテゴリを判定し、上記訓練データセットには、過去に上記第１判定ステップで判定に用いた画像のうち、当該第１判定ステップの判定結果の確度が上記閾値未満であった判定に用いられた画像が含まれる。

本発明の一態様によれば、画像に写る対象物の判定について、その判定結果の信頼性を従来よりも向上させることができる。

本発明の実施形態１に係る判定装置の要部構成の一例を示すブロック図である。 本発明の実施形態１に係る判定システムの構成例を示すブロック図である。 食品生産工場において、生産された食品を上記判定システムの判定対象物として撮影した例を示す図である。 上記判定装置が実行する処理の一例を示すフローチャートである。 上記判定装置による判定結果の表示例を示す図である。 本発明の実施形態２に係る判定装置の要部構成の一例を示すブロック図である。 上記判定装置が実行する閾値設定処理の流れを説明する図である。

〔実施形態１〕
〔判定システムの概要〕
本発明の一実施形態について図１～図４に基づいて説明する。まず、本実施形態に係る判定システム５００の概要を図２に基づいて説明する。図２は、判定システム５００の構成例を示すブロック図である。

判定システム５００は、複数の対象物をそれぞれ撮影した画像２０１から各対象物の分類カテゴリを判定するシステムである。より具体的には、判定システム５００は、画像２０１に写る対象物が所定の複数の種別の何れに該当するかを判定する。判定システム５００には、第１チェックシステム５０１、第２チェックシステム５０２、および第３チェックシステム５０３が含まれる。

対象物を撮影した画像２０１は、まず第１チェックシステム５０１に入力される。第１チェックシステム５０１は、画像２０１から対象物の分類カテゴリを自動で判定する。また、第１チェックシステム５０１は、判定結果が所定の評価基準を満たすか否かを確認し、満たしていれば、第１チェックシステム５０１の判定結果が、当該対象物についての最終の判定結果となる。

一方、上記評価基準を満たしていなければ、第１チェックシステム５０１の判定結果は不明となる。この場合、第２チェックシステム５０２が、当該対象物の画像２０１から対象物の分類カテゴリを自動で判定する。第２チェックシステム５０２の判定は、所定の訓練データセットを用いた画像と該画像に写る対象物との対応関係の機械学習結果に基づいて行われる。

上記訓練データセットには、過去に第１チェックシステム５０１が判定した画像のうち、判定結果が評価基準を満たさなかった判定に用いられた画像が含まれている。これにより、第２チェックシステム５０２は、第１チェックシステム５０１による判定が困難な画像の判定に適したシステムとなっている。このため、第１チェックシステム５０１の判定結果が不明となった場合でも、第２チェックシステム５０２であれば妥当な判定結果を導き出すことが可能である。

第２チェックシステム５０２においても、判定結果が所定の評価基準を満たすか否かを確認する。そして、評価基準を満たしていれば、第２チェックシステム５０２の判定結果が、当該対象物についての最終の判定結果となる。

一方、判定結果が所定の評価基準を満たしていなければ、第２チェックシステム５０２の判定結果も不明となる。この場合、第３チェックシステム５０３により、当該対象物の画像２０１から対象物の分類カテゴリを判定する。具体的には、第３チェックシステム５０３は、目視検査員の使用する表示装置（図示せず）に画像２０１を表示させる。そして、第３チェックシステム５０３は、目視検査員の目視による、画像２０１に写る対象物の分類カテゴリの入力を受け付けて、対象物の分類カテゴリを判定する。この判定結果は当該対象物についての最終の判定結果となる。

以上のように、判定システム５００によれば、所定の評価基準を満たしており、信頼するに足りる自動判定結果のみを最終の判定結果とし、自動判定では評価基準を満たす判定結果が出ない画像２０１については目視検査により最終の判定結果を得る。これにより、目視検査の手間を最小限に抑えつつ、極めて信頼性の高い判定結果を出力することができる。

〔判定システムの用途一例〕
判定システム５００の用途は特に限定されないが、例えば食品生産工場の品質管理に利用することができる。これについて図３に基づいて説明する。図３は、食品生産工場において、生産された食品を判定システム５００の判定対象物として撮影した例を示す図である。

図３の（ａ）には、食品の生産ライン６００の一部を示している。生産ライン６００には、食品６０１を同図の白抜き矢印の方向に搬送する搬送部６０２が含まれている。また、搬送部６０２には、搬送部６０２の上方に撮像装置６０３を保持する撮像台６０４が設けられている。これにより、搬送部６０２にて搬送されている食品６０１を真上から撮影することができる。

図３の（ｂ）には、同図の（ａ）の撮像装置６０３で撮影された画像２０１の例を示している。この画像２０１には、パック詰めされた食肉である食品６０１が写っている。また、画像２０１には、食品６０１のパックに貼られたラベル６０１１と値札シール６０１２も写っている。

判定システム５００により、生産ライン６００上の食品６０１の分類カテゴリ（豚肉であるか牛肉であるか、焼き肉用であるか、こま切れであるか等）を判定することにより、生産ライン６００にて正しい食品６０１が搬送されているかを確認することができる。食品生産工場の品質管理には高い精度が求められるため、極めて信頼性の高い判定結果を出力する判定システム５００の適用が好適である。

〔判定装置の構成例〕
判定システム５００は、例えば図１に示す判定装置１によって実現できる。図１は、判定装置１の要部構成の一例を示すブロック図である。なお、判定装置１は、図２の第１チェックシステム５０１～第３チェックシステム５０３の機能を１つの装置で実現するものであるが、各機能を個別の装置で実現してもよい。

図１に示す判定装置１は、判定装置１の各部を統括して制御する制御部１０、および判定装置１が使用する各種データを記憶する記憶部２０を備えている。また、判定装置１は、判定装置１に対するデータの入力を受け付ける入力部３０、判定装置１が他の装置と通信するための通信部４０、および判定装置１がデータを出力するための出力部５０を備えている。

制御部１０には、画像取得部１０１、第１判定部１０２、第２判定部１０３、第３判定部１０４、合否判定部１０５、および判定結果評価部（訓練データ収集部）１０６が含まれている。また、記憶部２０には、画像２０１と訓練データセット２０２が記憶されている。

画像取得部１０１は、判定対象物を撮影した画像を取得する。本実施形態では、判定対象物を撮影した画像は、入力部３０を介して判定装置１に入力されて、記憶部２０に画像２０１として記憶される。このため、画像取得部１０１は、記憶部２０から画像２０１を取得する。無論、画像取得部１０１が画像２０１を取得する方法は特に限定されない。例えば、画像取得部１０１は、図３に示すような撮像装置６０３を制御して対象物を撮像させ、撮像装置６０３から画像２０１を取得してもよい。

第１判定部１０２は、画像取得部１０１が取得した画像２０１に基づいて上記対象物の分類カテゴリを判定する。第１判定部１０２が実行する判定方法をどのようなものとするかは、どのような対象物について判定するか等に応じて、また要求される判定精度に応じて適宜決定すればよい。例えば、第１判定部１０２は、公知の一般物体分類技術を利用して判定してもよい。なお、高い判定精度が望まれる場合、ニューラルネットワーク等の機械学習アルゴリズムを利用することが好ましく、特に深層学習したニューラルネットワーク（例えばResNet：Residual Network等）により判定を行うものとすることがより好ましい。機械学習は、複数の判定対象物をそれぞれ撮影した画像を含む訓練データセットを用いて行えばよい。

本実施形態では、第１判定部１０２が、画像２０１を入力データとして、所定の複数の分類カテゴリのそれぞれのスコアを出力するResNetである例を説明する。このスコアは、画像２０１に写る対象物が各分類カテゴリに該当する確度（確からしさ）を示す数値である。このスコアは、対象物の分類カテゴリを示している。例えば、対象物が各種食肉である場合に、ある画像２０１を用いた判定結果が、分類カテゴリ「焼き肉用の牛肉」のスコアが０．９５であり、「こま切れの豚肉」のスコアが０．０１であれば、画像２０１に写っているのは「焼き肉用の牛肉」と判定できる。ただし、何れの分類カテゴリのスコアも所定の判定基準を満たさない場合、具体的には全ての分類カテゴリのスコアが所定の閾値未満である場合、判定結果は不明とされる。

第２判定部１０３は、第１判定部１０２と同様に、画像取得部１０１が取得した画像２０１に基づいて上記対象物の分類カテゴリを判定する。より詳細には、第２判定部１０３は、第１判定部１０２とは異なる訓練データセットを用いた、画像と該画像に写る対象物との対応関係の機械学習結果に基づいて、対象物の分類カテゴリを判定する。第２判定部１０３の機械学習に用いる訓練データセットは、過去に第１判定部１０２が判定に用いた画像のうち、第１判定部１０２の判定結果が評価基準を満たさなかった判定に用いられた画像を含む。この点が、第１判定部１０２の機械学習に用いる訓練データセットとの相違点である。第２判定部１０３の機械学習に用いる訓練データセットは、第１判定部１０２の判定結果が評価基準を満たさなかった判定に用いられた画像のみを含むものであってもよいし、それらの画像を加工した画像や、その他の画像を含んでいてもよい。第２判定部１０３については、第１判定部１０２による判定が困難な画像に特化した学習を行えばよいので、第１判定部１０２よりも短時間で学習を完了させることも容易である。高い判定精度を実現するためには、第２判定部１０３も例えばResNet等の深層学習したニューラルネットワークとすることが好ましい。

本実施形態では、第２判定部１０３が、第１判定部１０２と同様に、画像２０１を入力データとして、所定の複数の分類カテゴリのそれぞれのスコアを出力するResNetである例を説明する。

第３判定部１０４は、第２判定部１０３の判定結果が所定の評価基準を満たさなかった場合に、対象物の分類カテゴリを判定する。より具体的には、第３判定部１０４は、第２判定部１０３が判定に用いた画像２０１を表示装置に表示させて、当該画像の閲覧者（目視検査員）による対象物の分類カテゴリの入力を受け付けることにより、対象物の分類カテゴリを判定する。

なお、目視判定に使用する上記表示装置は特に限定されず、例えば判定装置１が表示装置を備えている場合には、その表示装置を用いてもよい。また、例えば、食品生産工場に設置されている表示装置を用いてもよいし、食品生産工場から離れた遠隔地に設置されている表示装置を用いてもよい。つまり、目視検査は食品生産工場内で行ってもよいし、食品生産工場外で行ってもよい。また、この表示装置は、据え置き型の表示装置であってもよいし、携帯型の表示装置であってもよい。

また、目視検査員が、対象物自体を目視できるのであれば、第３判定部１０４は、対象物を目視した目視検査員による対象物の分類カテゴリの入力を受け付けることにより、対象物の分類カテゴリを判定してもよい。この場合、表示装置に画像２０１を表示させる必要はない。

合否判定部１０５は、第１判定部１０２～第３判定部１０４の判定結果と、画像２０１に本来写っているべき対象物を示す情報とを照合して、画像２０１に写る対象物の合否を判定する。合否判定部１０５は、例えば、図３の例のように生産ライン６００にて食品６０１が搬送される場合に、正しい食品６０１が搬送されているかを確認するために用いられる。

例えば、「焼き肉用の牛肉」を搬送しているときに撮影された画像２０１に基づき、第１判定部１０２～第３判定部１０４が「焼き肉用の牛肉」と判定した場合には、正しい食品６０１が搬送されているので、合否判定部１０５は合格と判定する。一方、この場合に、第１判定部１０２～第３判定部１０４が「こま切れの豚肉」と判定した場合には、誤った食品６０１が搬送されている（「焼き肉用の牛肉」の生産ラインに別の商品が混入している）ので、合否判定部１０５は不合格と判定する。これにより、誤った食品６０１が搬送されているのを自動で検出することが可能になる。なお、このような検出が不要であれば、合否判定部１０５を省略してもよい。

判定結果評価部１０６は、第１判定部１０２および第２判定部１０３の判定結果が所定の評価基準を満たしているか否かを判定する。また、判定結果評価部１０６は、第１判定部１０２の判定結果が評価基準を満たさなかった場合に、第１判定部１０２が当該判定に用いた画像２０１を訓練データセット２０２に追加する訓練データ収集部としての機能も有している。なお、判定結果評価部１０６は、スコアと閾値とを比較することで評価基準を満たしているか否かを判定する。分類カテゴリごとにスコアの精度が異なる場合、各分類カテゴリに応じた値の閾値を用いることが好ましい。第１判定部１０２の判定結果の評価に用いる閾値と、第２判定部１０３の判定結果の評価に用いる閾値とは同じ値であってもよいし、異なる値であってもよい。また、第１判定部１０２の判定結果を評価する機能と、第２判定部１０３の判定結果を評価する機能と、訓練データ収集部としての機能とをそれぞれ別個の機能ブロックとしてもよい。

画像２０１は、上述のとおり、判定対象物を撮影した画像である。また、訓練データセット２０２は、第２判定部１０３の機械学習に用いる訓練データセットである。上述のとおり、判定結果評価部１０６は、第１判定部１０２の判定結果が評価基準を満たさなかった場合に、第１判定部１０２が当該判定に用いた画像２０１を訓練データセット２０２に追加する。これにより、訓練データセット２０２には、第１判定部１０２による判定が困難な画像２０１が自動的に蓄積される。

また、訓練データセット２０２には、第３判定部１０４による判定後の画像２０１が自動的に蓄積されるようにしてもよい。この場合、第３判定部１０４は、画像２０１と、目視検査の結果に応じた分類カテゴリとを対応付ける。そして、第３判定部１０４は、図１に破線矢印で示すように、対応付けたデータを訓練データセット２０２に追加する。

〔処理の流れ〕
判定装置１が実行する処理の流れを図４に基づいて説明する。図４は、判定装置１が実行する処理（判定方法）の一例を示すフローチャートである。なお、以下では、パック詰めされた食品について、その内容物の分類カテゴリを判定装置１が判定する例を説明する。

Ｓ１では、画像取得部１０１が、記憶部２０に記憶されている画像２０１を取得する。この画像２０１は、例えば撮像装置６０３で撮影した食品６０１の画像であってもよい（図３参照）。また、合否判定部１０５は、上記食品の内容物を示す種類ＩＤを取得する。なお、図３のような生産ライン６００では、所定の内容物の食品を搬送するので、搬送されている食品の種類ＩＤを取得することができる。ただし、本来搬送すべきではない内容物の食品が誤って生産ライン６００に乗ることがあり得るので、判定装置１による判定を行って、誤って生産ライン６００に乗った食品を検出する。

Ｓ２（第１判定ステップ）では、第１判定部１０２が、Ｓ１で取得された画像２０１に写っている食品の内容物を判定する。具体的には、第１判定部１０２は、予め設定された複数の分類カテゴリ（内容物の種類）のそれぞれについて、当該分類カテゴリに該当する確度を示すスコアを算出する。なお、この判定における演算処理は、処理負荷が大きくなる場合がある。このため、第１判定部１０２は、この演算処理を外部のサーバに行わせて、演算結果であるスコアを当該サーバから取得してもよい。

Ｓ３では、判定結果評価部１０６は、Ｓ２の判定結果に閾値以上のスコアが含まれているか否かを判定する。判定結果評価部１０６は、含まれていると判定した場合（Ｓ３でＹＥＳ）、スコアが閾値を超えた分類カテゴリを合否判定部１０５に通知し、処理はＳ４に進む。一方、判定結果評価部１０６は、閾値以上のスコアが含まれていないと判定した場合（Ｓ３でＮＯ）、判定結果を不明とし、Ｓ１で取得された画像２０１を第２判定部１０３に送信し、処理はＳ５に進む。なお、判定結果評価部１０６は、不明との判定結果を、出力部５０等を介して出力してもよい。

Ｓ４では、合否判定部１０５が、分類カテゴリの判定結果に基づいて食品の合否判定を行う。具体的には、合否判定部１０５は、判定結果評価部１０６から通知された分類カテゴリと、Ｓ１で取得した種類ＩＤの示す種類とが一致すれば合格と判定し、一致しなければ不合格と判定する。また、合否判定部１０５は、判定結果を出力部５０に出力させてもよい。Ｓ４の処理の終了により、判定システム５００の処理は終了する。

なお、判定結果の出力の態様は任意である。例えば、出力部５０が表示装置であれば、合格または不合格であることを示す画像を表示させてもよい。また、分類カテゴリのスコアを表示してもよい。また、表示以外の態様で出力を行ってもよい。例えば不合格である場合にはブザー等の音を出力することにより、誤って生産ライン６００に乗った食品があることを報知してもよい。また、例えば生産ライン６００に搬送中の食品の搬送経路を分岐させる機構が設けられている場合には、その機構を制御して、不合格と判定された食品を生産ライン６００から除外してもよい。

Ｓ５では、判定結果評価部１０６は、第１判定部１０２による判定結果が不明となった画像２０１とＳ１で取得された種類ＩＤとを対応付けて訓練データセット２０２に追加する。

Ｓ６（第２判定ステップ）では、第２判定部１０３が、画像２０１に写っている食品の内容物を判定する。具体的には、第２判定部１０３は、第１判定部１０２による判定と同様にして、各分類カテゴリについてスコアを算出する。Ｓ２と同様に、この判定における演算処理は、処理負荷が大きくなる場合があるから、第２判定部１０３は、この演算処理を外部のサーバに行わせて、演算結果であるスコアを当該サーバから取得してもよい。なお、Ｓ５の処理とＳ６の処理は同時に行ってもよいし、Ｓ６の処理を先に行ってもよい。

Ｓ７では、判定結果評価部１０６は、Ｓ６の判定結果に閾値以上のスコアが含まれているか否かを判定する。判定結果評価部１０６は、含まれていると判定した場合（Ｓ７でＹＥＳ）、スコアが閾値を超えた分類カテゴリを合否判定部１０５に通知し、処理はＳ４に進む。Ｓ７の後のＳ４では、合否判定部１０５は、判定結果評価部１０６から通知された分類カテゴリと、Ｓ１で取得した種類ＩＤの示す種類とが一致すれば合格と判定し、一致しなければ不合格と判定する。また、判定結果評価部１０６は、Ｓ７で閾値以上のスコアが含まれていないと判定した場合（Ｓ７でＮＯ）、判定結果を不明とし、画像２０１を第３判定部１０４に送信し、処理はＳ８に進む。なお、第２判定部１０３は、不明との判定結果を、出力部５０等を介して出力してもよい。

Ｓ８では、第３判定部１０４は、判定結果評価部１０６から受信した画像２０１を目視検査用端末に送信して、該目視検査用端末が備える表示装置か、または該目視検査用端末に接続された表示装置に表示させる。なお、出力部５０が表示装置であれば、出力部５０に表示させてもよい。目視検査員は、表示された画像２０１を目視して、その画像２０１に写っている食品が何れの分類カテゴリに該当するか判定し、判定結果を目視検査用端末に入力する。無論、目視検査員は、入力部３０に判定結果を入力してもよい。

また、第３判定部１０４は、Ｓ８において、画像２０１と第２判定部１０３の判定結果とを表示させて、該判定結果の正否を目視検査員に入力させてもよい。この場合、判定結果が否であれば、正しい分類カテゴリを目視検査員に入力させるが、判定結果が正であれば、目視検査員はその旨を入力するだけでよく、分類カテゴリの入力は不要であるから、目視検査員の負担を軽減することができる。

なお、上述のように、目視検査は食品生産工場内で行ってもよいし、食品生産工場外で行ってもよい。このため目視検査用端末は、食品生産工場内に設置されているものであってもよいし、食品生産工場外に設置されているものであってもよく、据え置き型の端末装置であってもよいし、携帯型の端末装置であってもよい。

Ｓ９では、第３判定部１０４は、目視検査用端末に入力された、目視による判定結果を当該目視検査端末から受信する。そして、第３判定部１０４は、受信した判定結果が示す分類カテゴリを合否判定部１０５に通知し、処理はＳ４に進む。Ｓ９の後のＳ４では、合否判定部１０５は、第３判定部１０４から通知された分類カテゴリと、Ｓ１で取得した種類ＩＤの示す種類とが一致すれば合格と判定し、一致しなければ不合格と判定する。

なお、Ｓ５の処理は省略して、代わりにＳ１０の処理を実行してもよい。Ｓ１０では、第３判定部１０４は、Ｓ９で受信した判定結果が示す分類カテゴリと、画像２０１とを対応付けて訓練データセット２０２に追加する。また、この場合、判定結果評価部１０６は、Ｓ７でＹＥＳと判定した画像２０１を、Ｓ６の判定結果（あるいはＳ１で取得された種類ＩＤ）と対応付けて訓練データセット２０２に追加してもよい。

なお、上述のように、図２の第１チェックシステム５０１～第３チェックシステム５０３の機能は、複数の装置からなるシステムで実現してもよい。この場合、上述の各処理は、該システムを構成する複数の装置の何れかが行う。例えば、第１チェックシステム５０１の機能を備えた第１の装置と、第２チェックシステム５０２の機能を備えた第２の装置と、第３チェックシステム５０３の機能を備えた第３の装置を含む判定システムを構成したとする。この場合、例えば、Ｓ１～Ｓ４の処理を上記第１の装置で行い、Ｓ５～Ｓ７の処理を上記第２の装置で行い、Ｓ８～Ｓ１０の処理を上記第３の装置で行うようにしてもよい。

〔判定結果の表示例〕
上述のように、合否判定部１０５は、判定結果を出力部５０に出力させてもよい。ここでは、第１判定部１０２または第２判定部１０３の判定結果を表示出力させる例を図５に基づいて説明する。図５は、判定結果の表示例を示す図である。

図５の表示例には、判定結果と、判定に用いた分類カテゴリの一覧表とが含まれる。判定結果は、スコアが大きい上位３つの分類カテゴリ（第１～第３候補）と、そのスコアの値を含む。このような表示により、判定結果の確からしさをユーザに認識させることができる。この例では、第１候補の「牛・焼肉」のスコアが、第２、第３候補と比較して十分に大きく、これにより、「牛・焼肉」という判定結果が信頼できるものであることをユーザに認識させることができる。

また、分類カテゴリの一覧表を表示することにより、どのような分類カテゴリについて判定が行われたかをユーザに認識させることができる。また、図示の例では、各分類カテゴリに種類ＩＤが対応付けられている。種類ＩＤは、分類カテゴリを示すＩＤである。分類カテゴリの一覧表や、種類ＩＤは必ずしも判定結果と共に表示させる必要はない。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態では、判定対象の画像における対象物の写り方に応じた評価基準で判定結果を評価する例を説明する。

〔判定装置の構成例〕
本実施形態の判定装置１の構成を図６に基づいて説明する。図６は、対象物の写り方に応じた評価基準を設定する機能を備えた判定装置１の要部構成の一例を示すブロック図である。図６の判定装置１は、対象物領域検出部１２１および閾値設定部１２２を備えている点が図１の判定装置１との相違点である。

対象物領域検出部１２１は、対象物を撮影した画像２０１において、当該対象物が写っている領域（以下、対象物領域と呼ぶ）を検出する。対象物領域検出部１２１は、例えば、深層学習による一般物体検出法（例えばYolo：You Only Look Once）によって対象物領域を検出するものであってもよい。また、対象物の形状が決まっている場合、対象物領域検出部１２１は、画像処理によって当該決まった形状の領域を対象物領域として検出するものであってもよい。例えば、対象物が略矩形のトレイに入った食品（図３の（ｂ）参照）であれば、矩形検出法により該食品が写っている領域を対象物領域として検出可能である。

閾値設定部１２２は、画像２０１における対象物の写り方に応じた評価基準を設定する。この評価基準は、具体的には、判定結果評価部１０６がスコアを評価する際に用いる閾値である。なお、上記スコアは、第１判定部１０２が出力するスコアであるが、閾値設定部１２２は、第２判定部１０３が出力するスコアを評価する際に用いる閾値についても設定してもよい。

〔閾値の設定〕
閾値設定部１２２が閾値を設定する際の処理の流れを図７に基づいて説明する。図７は、閾値設定処理の流れを説明する図である。閾値設定処理は、同図の（ａ）のフローチャートに示すような流れで行われる。なお、図６は、実施形態１と同様に、判定システム５００の判定対象がトレイに入った食品である例を示している。

Ｓ２１では、対象物領域検出部１２１が、対象物が写っている画像２０１から、トレイが写っている領域（対象物領域）を検出する。この画像２０１は、第１判定部１０２が判定（図４のＳ２、Ｓ３）に用いる画像２０１と同じものである。Ｓ２１の処理により、対象物領域検出部１２１は、例えば図７の（ｂ）に示すような、食品６０１が写った画像２０１から、トレイが写っている対象物領域６２１を検出することができる。

Ｓ２２では、閾値設定部１２２は、Ｓ２１の検出結果に基づき、画像全体に対するトレイが写っている対象物領域の割合であるトレイ面積率を算出する。そして、Ｓ２３では、閾値設定部１２２は、Ｓ２２で算出したトレイ面積率に応じた閾値を設定する。閾値は、トレイ面積率が高いほど大きい値とし、例えば図７の（ｃ）に示すように、トレイ面積率に比例する値の閾値を設定してもよい。

つまり、閾値設定部１２２は、画像２０１の全領域に占める対象物が写っている領域の割合が大きいほど評価基準を高く（閾値を大きく）設定する。これは、同じ対象物であってもその写り方に応じてスコアが変わるためである。具体的には、本願の発明者らの実験結果によれば、画像２０１に対象物が大きく写っているほどスコアが高くなる傾向があり、画像２０１に対象物が小さく写っているほどスコアが低くなる傾向があった。このため、対象物が写っている領域の割合が大きいほど評価基準を高く（閾値を大きく）設定することにより、当該割合によらず安定した判定結果を得ることができる。

例えば、第１判定部１０２が出力したスコアのうち最も大きい値となったのが「牛・焼肉」の０．９６であった場合を考える。この場合に、トレイ面積率が例えば０．６であれば、図７の（ｃ）のグラフから、閾値は０．９５となり、「牛・焼肉」との判定結果が最終の判定結果となる。一方、同じ場合に、トレイ面積率が例えば０．９であれば、図７の（ｃ）のグラフから、閾値は０．９６よりも大きくなり、判定結果は不明となる。

なお、閾値設定部１２２は、上記とは逆に、上記割合が小さいほど評価基準を高く（閾値を大きく）設定してもよい。この場合、画像２０１に対象物が小さく写っていることにより、その画像２０１を用いた第１判定部１０２の判定結果の信頼性が相対的に低い状態において大きい閾値が設定されるので、第１判定部１０２の判定結果が不明と判定されやすくなる。これにより、第１判定部１０２の判定結果において、誤った分類カテゴリのスコアが高い値となっている場合に、判定結果評価部１０６がその誤った分類カテゴリを対象物の分類カテゴリと判定し難くなる。よって、判定の信頼性をさらに高めることができる。

なお、画像２０１における対象物の写り方は、他の観点から評価することもできる。例えば、画像２０１において、対象物が明るく写っている場合（適切な光量で撮影された場合）、対象物が暗く写っている場合（光量不足、あるいは対象物が何かの陰になっている場合等）よりも妥当な判定結果が出力される可能性が高い。このため、画像２０１を構成する画素の平均輝度値に応じた値の閾値を設定してもよい。この他にも、例えば、対象物の傾き、ピントのずれ度合い、対象物以外の物（例えば蛍光灯などの照明装置や、対象物と紛らわしい外観の物）の写り込みの程度、および、光の差し込みの程度等に応じた値の閾値を設定してもよい。

〔ソフトウェアによる実現例〕
判定装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、判定装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔付記事項〕
本発明の一態様に係る判定装置は、対象物を撮影した画像から当該対象物を複数の分類カテゴリのうちの１つに分類する判定装置であって、上記画像に基づいて上記対象物の分類カテゴリを判定する第１判定部と、上記第１判定部の判定結果の確度が閾値未満であった場合に、当該判定に用いられた上記画像に基づいて上記対象物の分類カテゴリを判定する第２判定部と、を備え、上記第２判定部は、画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した結果に基づいて上記対象物の分類カテゴリを判定し、上記訓練データセットには、過去に上記第１判定部が判定に用いた画像のうち、上記第１判定部の判定結果の確度が上記閾値未満であった判定に用いられた画像が含まれる。

上記の構成によれば、第１判定部の判定結果の確度が閾値未満であった場合には、第２判定部が分類カテゴリを判定する。そして、第２判定部は、過去に第１判定部が判定に用いた画像のうち、第１判定部の判定結果の確度が閾値未満であった判定に用いられた画像を含む訓練データセットを用いた機械学習結果に基づいて上記判定を行う。つまり、第２判定部は、第１判定部による判定が困難な画像の判定に適した構成となっているから、上記の構成によれば、第１判定部のみで判定を行う構成と比べて判定結果の信頼性を大きく向上させることができる。

上記判定装置は、上記第１判定部の判定結果の確度が閾値未満であった場合に、上記第１判定部が当該判定に用いた上記画像を上記訓練データセットに追加する訓練データ収集部を備えていてもよい。

上記の構成によれば、第１判定部の判定結果の確度が閾値未満であった場合に、その判定に用いた画像を訓練データセットに追加する。つまり、上記の構成によれば、第１判定部による判定が困難な画像が自動的に訓練データセットに追加される。そして、この訓練データセットを用いて第２判定部の再学習を行うことにより、判定装置を使用するにつれて、第２判定部の判定精度をさらに高めてゆくことが可能になる。

上記判定装置は、上記第２判定部の判定結果の確度が閾値未満であった場合、当該画像または上記対象物の閲覧者による分類カテゴリの入力を受け付けることにより、上記対象物の分類カテゴリを判定する第３判定部を備えていてもよい。

上記の構成によれば、第２判定部の判定結果の確度が閾値未満であった場合には、第３判定部が、対象物の分類カテゴリを判定する。そして、第３判定部は、判定対象の画像または対象物の閲覧者による入力を受け付けることにより分類カテゴリを判定する。これにより、第１および第２判定部による判定では、閾値以上の確度の判定結果が得られない場合にも、妥当な判定結果を出力することができる。よって、第１および第２判定部という２つの判定部により判定を行う構成と比べて、判定結果の信頼性をさらに高めることができる。また、閲覧者による判定が行われるのは、第１および第２判定部による判定では、確度が閾値以上の判定結果が得られない場合に限られるから、人的負担を最小限に抑えることができる。

画像における対象物の写り方が理想的であれば、その画像を用いた判定の結果は信頼できるものである可能性が高く、逆に画像における対象物の写り方が悪ければ、その画像を用いた判定の結果の信頼性は低くなる。なお、写り方とは、画像に写る対象物の態様である。例えば、画像における対象物のサイズ（対象物が写っている領域の面積）、対象物が写っている領域の輝度、対象物の傾き、ピントのずれ度合い、対象物以外の物（例えば蛍光灯などの照明装置や、対象物と紛らわしい外観の物）の写り込みの程度、および、光の差し込みの程度などは、写り方の良し悪しを評価する尺度となり得る。

つまり、判定結果の妥当性には、その判定に用いる画像における対象物の写り方が影響を及ぼす場合がある。このため、上記判定装置は、上記画像における上記対象物の写り方に応じた上記閾値を設定する閾値設定部を備えていてもよい。これにより、画像における対象物の写り方に応じた適切な閾値を設定して、妥当な判定結果を得ることが可能になる。なお、写り方に応じた閾値をどのように設定するかは、写り方の良し悪しを評価する尺度をどのようなものとするかに応じて、予め定めておけばよい。

例えば、上記閾値設定部は、上記画像の全領域に占める上記対象物が写っている領域の割合が大きいほど上記閾値を高く設定してもよい。画像の全領域に占める対象物が写っている領域の割合が大きい場合、該割合が小さい場合と比べて判定結果が妥当である可能性は高くなると考えられるから、上記の構成によれば、上記割合によらず安定した判定結果を得ることができる。

本発明の一態様に係る判定方法は、１または複数の装置により、対象物を撮影した画像から当該対象物を複数の分類カテゴリのうちの１つに分類する判定方法であって、上記画像に基づいて上記対象物の分類カテゴリを判定する第１判定ステップと、上記第１判定ステップの判定結果の確度が閾値未満であった場合に、当該判定に用いられた上記画像に基づいて上記対象物の分類カテゴリを判定する第２判定ステップと、を含み、上記第２判定ステップでは、画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した結果に基づいて上記対象物の分類カテゴリを判定し、上記訓練データセットには、過去に上記第１判定ステップで判定に用いた画像のうち、当該第１判定ステップの判定結果の確度が上記閾値未満であった判定に用いられた画像が含まれる。この判定方法によれば、上記判定装置と同様の効果を奏する。

上述の判定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記判定装置が備える各部（ソフトウェア要素）として動作させることにより上記判定装置をコンピュータにて実現させる対象物判定プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

１ 判定装置
１０２ 第１判定部
１０３ 第２判定部
１０４ 第３判定部
１０６ 判定結果評価部（訓練データ収集部）
１２２ 閾値設定部

Claims (7)

1. 対象物を撮影した画像から当該対象物を複数の分類カテゴリのうちの１つに分類する判定装置であって、
   画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した結果に基づいて上記画像から上記対象物の分類カテゴリを判定する第１判定部と、
   上記第１判定部の判定結果の確度が閾値未満であった場合に、当該判定に用いられた上記画像に基づいて上記対象物の分類カテゴリを判定する第２判定部と、を備え、
   上記第２判定部は、画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した結果に基づいて上記対象物の分類カテゴリを判定し、
   上記第２判定部の機械学習に用いた上記訓練データセットには、過去に上記第１判定部が判定に用いた画像のうち、上記第１判定部の判定結果の確度が上記閾値未満であった判定に用いられた画像が含まれることを特徴とする判定装置。
2. 上記第１判定部の判定結果の確度が閾値未満であった場合に、上記第１判定部が当該判定に用いた上記画像を上記第２判定部の機械学習に用いる上記訓練データセットに追加する訓練データ収集部を備えていることを特徴とする請求項１に記載の判定装置。
3. 上記第２判定部の判定結果の確度が閾値未満であった場合に、当該画像または上記対象物の閲覧者による分類カテゴリの入力を受け付けることにより、上記対象物の分類カテゴリを判定する第３判定部を備えていることを特徴とする請求項１または２に記載の判定装置。
4. 上記画像における上記対象物の写り方に応じた上記閾値を設定する閾値設定部を備えていることを特徴とする請求項１から３の何れか１項に記載の判定装置。
5. 上記閾値設定部は、上記画像の全領域に占める上記対象物が写っている領域の割合が大きいほど上記閾値を高く設定することを特徴とする請求項４に記載の判定装置。
6. １または複数の装置により、対象物を撮影した画像から当該対象物を複数の分類カテゴリのうちの１つに分類する判定方法であって、
   画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した第１判定部により上記画像から上記対象物の分類カテゴリを判定する第１判定ステップと、
   上記第１判定ステップの判定結果の確度が閾値未満であった場合に、当該判定に用いられた上記画像に基づいて上記対象物の分類カテゴリを判定する第２判定ステップと、を含み、
   上記第２判定ステップでは、画像と該画像に写る対象物の分類カテゴリとの対応関係を、訓練データセットを用いて機械学習した第２判定部により上記対象物の分類カテゴリを判定し、
   上記第２判定部の機械学習に用いた上記訓練データセットには、過去に上記第１判定ステップで判定に用いた画像のうち、当該第１判定ステップの判定結果の確度が上記閾値未満であった判定に用いられた画像が含まれることを特徴とする判定方法。
7. 請求項１に記載の判定装置としてコンピュータを機能させるための対象物判定プログラムであって、上記第１判定部および上記第２判定部としてコンピュータを機能させるための対象物判定プログラム。
   

Images