JP7330328B1 - 目視検査補助装置 - Google Patents

目視検査補助装置 Download PDF

Info

Publication number
JP7330328B1
JP7330328B1 JP2022080921A JP2022080921A JP7330328B1 JP 7330328 B1 JP7330328 B1 JP 7330328B1 JP 2022080921 A JP2022080921 A JP 2022080921A JP 2022080921 A JP2022080921 A JP 2022080921A JP 7330328 B1 JP7330328 B1 JP 7330328B1
Authority
JP
Japan
Prior art keywords
tablet
image data
defective
imaging
tablets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022080921A
Other languages
English (en)
Other versions
JP2023169667A (ja
Inventor
剛将 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CKD Corp
Original Assignee
CKD Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CKD Corp filed Critical CKD Corp
Priority to JP2022080921A priority Critical patent/JP7330328B1/ja
Priority to PCT/JP2022/043352 priority patent/WO2023223579A1/ja
Application granted granted Critical
Publication of JP7330328B1 publication Critical patent/JP7330328B1/ja
Publication of JP2023169667A publication Critical patent/JP2023169667A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • A61J3/06Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms into the form of pills, lozenges or dragees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/85Investigating moving fluids or granular solids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

Figure 0007330328000001
【課題】目視検査の信頼性をより高めることができる目視検査補助装置を提供する。
【解決手段】目視検査補助装置は、目視検査の対象となる錠剤を搬送する搬送装置と、搬送される錠剤を撮像するカメラ83,84と、カメラ83,84により得られた画像データに基づき錠剤の良否を判定する検査部858と、目視検査を行う検査者から視認可能な位置に配置される表示部85b,85cと、表示部85b,85cにおいて不良錠剤を特定するための情報を表示させることが可能な表示制御部854と、検査部858により不良判定がなされた場合に、搬送装置4による錠剤の搬送を一時的に停止させる搬送制御部7とを備える。検査者は、表示部85b,85cの表示内容を有効に利用して不良錠剤を容易に特定することができ、また、一時停止中の不良錠剤をより正確に除去することができる。そのため、目視検査の信頼性をより高めることができる。
【選択図】 図5

Description

本発明は、目視による錠剤の検査に用いられる目視検査補助装置に関する。
従来、搬送される検査対象物を目視により検査することが広く行われている。検査対象物としての錠剤を目視により検査するために用いられる装置としては、錠剤の搬送経路の途中に該錠剤の表裏を反転させる反転部を有するものが提案されている(例えば、特許文献1等参照)。この装置では、反転部よりも上流にて錠剤の表面及び裏面のうちの一方を、反転部よりも下流にて錠剤の表面及び裏面のうちの他方をそれぞれ目視検査することが可能となり、検査者1名で錠剤の表面及び裏面を検査することができるとされている。
特開2001-95898号公報
しかしながら、上記のような装置では、目視のみで錠剤の検査を行うため、不良品の錠剤(不良錠剤)を見落としてしまうおそれがある。また、不良錠剤を発見した検査者は、該不良錠剤を搬送経路から除去することになるが、該不良錠剤を取り損なったり、該不良錠剤とは別の良品の錠剤を誤って除去したりするおそれがある。このような見落としや取り損ない、取り間違いが生じてしまうと、不良錠剤が下流へと流出してしまうことになる。
本発明は、上記事情に鑑みてなされたものであり、その目的は、上記のような見落としや取り損ない、取り間違いの発生をより確実に防ぐことができ、目視検査の信頼性をより高めることができる目視検査補助装置を提供することにある。
以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
手段1.目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
前記搬送手段により搬送される錠剤を撮像する撮像手段と、
前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備え
前記表示手段における表示内容を利用して、不良判定がなされた錠剤を特定し、除去することができるように構成されていることを特徴とする目視検査補助装置。
上記手段1によれば、判定手段によって、搬送手段により搬送される(つまり目視検査の対象となる)錠剤の良否が判定される。そして、判定手段により不良判定がなされた場合には、錠剤の搬送が一時的に停止される。また、表示手段において、判定手段により不良判定がなされた錠剤を特定するための情報が表示される。
従って、目視検査を行う検査者は、表示手段における表示内容を有効に利用して、複数の錠剤の中から不良品の錠剤(不良錠剤)を容易に特定することができる。また、不良判定がなされた場合、錠剤が一時停止していることから、検査者は、特定した不良錠剤をより正確に除去することができる。これにより、不良錠剤を見落としたり、不良錠剤を取り損なったり、不良錠剤とは別の良品の錠剤を誤って除去したりすることをより確実に防止できる。その結果、不良錠剤が下流へと流出してしまうことをより確実に防止でき、目視検査の信頼性をより高めることができる。
手段2.目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
前記搬送手段により搬送される錠剤を撮像する撮像手段と、
前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備え、
前記撮像手段を制御する撮像制御手段を有し、
前記撮像制御手段は、錠剤の一時停止中に、少なくとも不良判定された錠剤に対応する範囲を撮像して、再判定用の前記画像データである再判定用画像データを得るように前記撮像手段を制御するとともに、
前記判定手段は、前記再判定用画像データに基づき、錠剤の良否を判定し、
前記搬送制御手段は、一時停止中の錠剤の搬送が再開されるように前記搬送手段を再起動させることが可能であり、
前記搬送制御手段による前記搬送手段の再起動は、前記再判定用画像データに基づく前記判定手段による判定結果が良であることを条件として行われるように構成されていることを特徴とする目視検査補助装置。
上記手段2によれば、さらに、不良錠剤が見つかって錠剤の搬送が一時停止されたときには、少なくとも不良判定された錠剤に対応する範囲(すなわち不良錠剤が位置していた箇所を含む範囲)を撮像して得た再判定用画像データに基づく判定結果が良である場合に限り、搬送手段を再起動させて、錠剤の搬送を再開させることが可能とされている。従って、不良錠剤の取り忘れや取り間違いなどが生じたとしても、その不良錠剤が誤って下流へと流出することを一層確実に防止できる。その結果、目視検査の信頼性を一層向上させることができる。
手段3.目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
前記搬送手段により搬送される錠剤を撮像する撮像手段と、
前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備え、
前記搬送手段は、錠剤を複数列に並んだ状態で搬送するものであり、
前記判定手段は、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の錠剤に係る画像データに基づく学習データのみを学習させて生成した識別手段と、
前記撮像手段により得られた画像データに基づく元画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
前記比較手段による比較結果に基づき、錠剤の良否を判定可能に構成されており、
前記学習データは、良品の錠剤に係る画像データから1列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであり、
前記元画像データは、前記撮像手段により得られた画像データから1列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであることを特徴とする目視検査補助装置。
尚、「良品の錠剤に係る画像データ」としては、これまでの良否判定で蓄積された良品の錠剤に係る画像データや、該画像データなどを用いて生成した仮想良品画像データなどを挙げることができる。
また、上記「ニューラルネットワーク」には、例えば複数の畳み込み層を有する畳み込みニューラルネットワークなどが含まれる。上記「学習」には、例えば深層学習(ディープラーニング)などが含まれる。上記「識別手段(生成モデル)」には、例えばオートエンコーダ(自己符号化器)や、畳み込みオートエンコーダ(畳み込み自己符号化器)などが含まれる。
加えて、「識別手段」は、良品の錠剤に係る画像データのみを学習させて生成したものであるため、不良錠剤に係る元画像データを識別手段に入力したときに生成される再構成画像データは、ノイズ部分(不良部分)が除去された元画像データとほぼ一致することになる。すなわち、錠剤に不良部分があるときには、再構成画像データとして、不良部分がないものと仮定した場合の該錠剤に係る仮想的な画像データが生成される。
さて、識別手段の学習に用いる学習データや、比較手段による比較(つまり良否判定)に用いる元画像データとして、例えば、撮像手段の視野全域に対応する画像データ(全域データ)や、全域データから個々の錠剤の占める領域を1つ1つ抽出して得た画像データ(錠剤個別データ)を利用することが考えられる。しかしながら、全域データを利用とする場合には、学習のために必要なデータ量が膨大となり、学習に係るコストの増大を招くおそれがある。また、錠剤個別データを利用しようとする場合には、錠剤ごとに僅かに形状や大きさが相違するから、錠剤個別データの抽出のために非常に面倒な設定を行わなければならなかったり、抽出処理に多大な時間を要したりすることになり、結果的に、抽出処理が困難となるおそれがある。
この点、上記手段3によれば、さらに、学習データや元画像データとして、(互いに搬送方向に隣接し合う)1列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データが用いられる。従って、学習のために必要なデータ量を比較的少なくすることができ、学習に係るコストの低減を図ることができる。また、学習データや元画像データの抽出処理をより容易なものとすることができる。
また、上記手段3によれば、元画像データと、該元画像データを識別手段へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、錠剤の良否を判定している。そのため、比較する両画像データは、それぞれ同一の錠剤に係るものとなる。従って、比較する両画像データにおいて、錠剤の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、撮像条件(例えば錠剤の配置位置や配置角度、明暗状態やカメラの画角等)を一致させることができる。これらの結果、錠剤の良否判定を非常に精度よく行うことができる。
手段.前記表示制御手段は、前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を該錠剤に係る前記画像データに対応付けて表示させることが可能に構成されていることを特徴とする手段1乃至3のいずれかに記載の目視検査補助装置。
上記手段によれば、表示手段において、判定手段により不良判定がなされた錠剤を特定するための情報が、該錠剤に係る画像データに対応付けて表示される(例えば、不良品であることを示す特定のマークが、画像データ中における不良錠剤と重なった状態で表示される等)。従って、不良錠剤の特定がより容易なものとなり、不良錠剤の除去に要する手間や時間をより低減させることができる。
手段.錠剤は、表面及び裏面を有するものであり、
前記搬送手段は、少なくとも一部に透明又は半透明な透過部が設けられるとともに、搬送される錠剤を支持する錠剤支持部を有し、
前記撮像手段は、前記錠剤支持部を上下に挟む位置に配置される第一撮像手段と第二撮像手段とを備え、
前記第一撮像手段によって錠剤の表面及び裏面のうちの一方が撮像され、前記第二撮像手段によって前記透過部を通して該錠剤の表面及び裏面のうちの他方が撮像されるように構成されており、
前記判定手段は、前記第一撮像手段及び前記第二撮像手段により得られた、錠剤の表面及び裏面に係る画像データに基づき、錠剤の良否を判定するように構成されていることを特徴とする請求項1乃至3のいずれか1項に記載の目視検査補助装置。
上記手段によれば、透過部を利用して錠剤の表面及び裏面の良否を判定することができるため、錠剤の良否判定をより精度よく行うことができる。また、第二撮像手段は錠剤支持部の下方に配置されることになるから、第二撮像手段が目視検査の邪魔になることを防止できる。
さらに、上記手段に対し上記手段を適用した場合には、再判定用画像データに基づく良否判定によって錠剤の表面及び裏面の双方が良と判定された場合に限り、搬送手段の起動が許容されるようにすることができる。このため、不良錠剤を取り損なって、万が一この不良錠剤が裏返ってしまったとしても、搬送手段の起動が許容されないことになる。従って、不良錠剤が下流へと流出することを非常に効果的に防ぐことができる。
手段6.錠剤は、表面及び裏面と、該表面及び該裏面間に位置する側面とを有するものであり、
前記搬送手段は、搬送される錠剤の表裏を反転させる反転部を有し、
前記撮像手段は、前記反転部に位置する錠剤の側面を撮像する側面撮像手段を備え、
前記判定手段は、前記側面撮像手段により得られた画像データに基づき、錠剤の側面に関する良否を判定可能に構成されていることを特徴とする手段1乃至3のいずれかに記載の目視検査補助装置。
上記手段6によれば、錠剤の表裏を反転させる反転部が設けられているため、錠剤の表面及び裏面の目視検査を容易に行うことができる。
また、反転部を利用して、錠剤の側面に関する良否判定を行うことができる。従って、錠剤の良否判定に係る精度を一層高めることができる。また、不良錠剤が下流へと流出してしまうことをより一層確実に防止でき、目視検査の信頼性をさらに高めることができる。
尚、上述した各手段に係る技術事項を適宜組み合わせてもよい
目視検査補助装置などの概略構成を示す模式図である。 搬送装置などを示す斜視模式図である。 錠剤の側面図である。 判定ユニットの機能構成を示すブロック図である。 搬送される錠剤及び被検査領域などを示す平面模式図である。 カメラにより得られる画像データを示す模式図である。 元画像データを示す模式図である。 学習データを示す模式図である。 ニューラルネットワークの構造を説明するための模式図である。 ニューラルネットワークの学習処理の流れを示すフローチャートである。 錠剤の良否判定を行う際における処理の流れを示すフローチャートである。 良否判定処理の流れを示すフローチャートである。 錠剤が不良判定された場合に、表示部において表示される情報の一例を示す模式図である。 別の実施形態において、透過部が設けられた目視検査補助装置などの概略構成を示す模式図である。 別の実施形態において、透過部が設けられた搬送装置などを示す斜視模式図である。 別の実施形態において、錠剤の側面を撮像する側面用カメラなどを示す斜視模式図である。 別の実施形態において、表示部において表示される情報の一例を示す模式図である。 別の実施形態において、表示部において表示される情報の一例を示す模式図である。 別の実施形態において、表示部において表示される情報の一例を示す模式図である。
以下に、一実施形態について図面を参照しつつ説明する。目視検査補助装置は、搬送される錠剤9(図3参照)の目視検査を行うために用いられる装置である。尚、錠剤9は、表面9a及び裏面9bと、これら両面9a,9b間に位置する側面9cとを備えた平錠である(図3参照)。
図1に示すように、目視検査補助装置1は、錠剤供給装置2、供給トラム3、搬送装置4及びシュート5を備えている。本実施形態では、搬送装置4が「搬送手段」を構成する。また、シュート5の下流には、計数器6a及びボトル詰め装置6bが設けられており、計数器6aによって目視検査を経た錠剤9の計数が行われ、ボトル詰め装置6bによって錠剤9の容器詰めが行われるようになっている。
錠剤供給装置2は、例えばホッパであり、供給トラム3に対し錠剤9を間欠的に供給する。
供給トラム3は、搬送装置4に向けて錠剤9を整列させて搬送する。供給トラム3は、所定の第一バイブレータ3aを備えており、該第一バイブレータ3aの動作により供給トラム3上の錠剤9が搬送装置4へと送られる。
搬送装置4は、目視検査の対象となる錠剤9を複数列に並べた状態で搬送する。搬送装置4は、図2に示すように、上流側搬送部41、反転部42、下流側搬送部43及び第二バイブレータ44を備えている。尚、目視検査を行う検査者は、上流側搬送部41及び下流側搬送部43の側方に、例えば1名ずつ置かれている。また、場合によっては、検査者は、上流側搬送部41や下流側搬送部43を挟むようにしてこれら搬送部41,43の両側方に置かれることもある。つまり、計4名以上の検査者が置かれることもある。尚、図2等では、搬送される多数の錠剤9のうちの一部のみを模式的に示している。
上流側搬送部41は、表面9a及び裏面9bのうちの一方が上面となる状態で、錠剤9を下流側へと連続搬送する。上流側搬送部41には、錠剤9を整列した状態で下流側に送るための複数の上流側搬送溝41aが平行に設けられている。上流側搬送部41による搬送時においては、錠剤9の表面9a及び裏面9bのうちの一方が目視検査される。
反転部42は、錠剤9を連続搬送しながら、該錠剤9の表裏を反転させるためのものである。反転部42は、上流側搬送溝41aに連続する複数の中間側搬送溝42aを備えており、これら中間側搬送溝42aは、下流側に向けて徐々にねじれる形状をなしている。これにより、上流側搬送部41において表面9a及び裏面9bのうちの一方が上面となった状態で搬送された錠剤9は、中間側搬送溝42aを通ることで、表面9a及び裏面9bのうちの他方が上面となった状態で、下流側搬送部43へと送られることとなる。
下流側搬送部43は、表面9a及び裏面9bのうちの上流側搬送部41において下面となっていた面を上面とした状態で、錠剤9を下流側へと連続搬送する。下流側搬送部43には、中間側搬送溝42aに連続し、錠剤9を整列した状態でシュート5側に送るための複数の下流側搬送溝43aが平行に設けられている。下流側搬送部43による搬送時においては、錠剤9の表面9a及び裏面9bのうち、上流側搬送部41にて目視検査された側の面とは反対側の面が目視検査される。下流側搬送部43を経た錠剤9は、シュート5を流下して、計数器6aへと送られる。
尚、本実施形態において、搬送溝41a,42a,43aの底部を構成するとともに、錠剤9の下面を下方から支持する錠剤支持部45は、下流に向けて徐々に下がる傾斜面状の上面を有するものとされている。
第二バイブレータ44は、上流側搬送部41、反転部42及び下流側搬送部43に振動を加えるための装置である。第二バイブレータ44から上流側搬送部41等へと振動が加えられることで、各溝部41a,42a,43aに位置する錠剤9が下流側へと搬送される。一方、第二バイブレータ44の動作を停止させることで、錠剤9の搬送が停止される。
また、目視検査補助装置1は、上記搬送装置4等に加えて、図1,4に示すように、搬送制御装置7及び判定ユニット8を備えている。本実施形態では、搬送制御装置7が「搬送制御手段」を構成する。
まず、搬送制御装置7について説明する。搬送制御装置7は、搬送装置4(特に前記第二バイブレータ44)の動作を制御することで、搬送装置4における錠剤9の搬送を開始(再開)又は一時停止させる機能を有する。
搬送制御装置7は、判定ユニット8の後述する制御システム85と通信可能に構成されており、該制御システム85(特に後述する検査部858)により行われた錠剤9の良否判定結果を把握可能とされている。そして、搬送制御装置7は、制御システム85により錠剤9の不良判定がなされた場合に、搬送装置4による錠剤9の搬送を一時的に停止させる。詳述すると、本実施形態では、後述の各カメラ83,84によって1の錠剤9が少なくとも2回ずつ撮像されるところ、搬送制御装置7は、カメラ83,84による錠剤9の1回目の撮像で得られた画像データに基づき該錠剤9が不良であると判定されると、該錠剤9に対する2回目の撮像を行うタイミングで錠剤9の搬送が一時停止されるように、搬送装置4を制御する。
また、搬送制御装置7には、所定の搬送操作部(不図示)が接続されており、例えば目視検査を行う検査者が該搬送操作部を操作することによって、基本的には、搬送装置4の起動(再起動)及び一時停止を切換えて、錠剤9の搬送を開始(再開)又は一時停止させることが可能となっている。但し、上記のように錠剤9の不良判定に伴い錠剤9の搬送を一時停止した状態であるときには、搬送制御装置7は、不良判定された錠剤9〔以下、単に「不良錠剤9x」(図13参照)という〕に対応する範囲を再度撮像して得た画像データ(後述する再判定用画像データ)に基づく判定結果が「良」であるという条件が満たされた場合のみ、前記搬送操作部の操作による搬送装置4の再起動を許容するように構成されている。従って、錠剤9の不良判定に伴い錠剤9の搬送を一時停止した状態であるときには、単に前記搬送操作部を操作しただけでは錠剤9の搬送を再開させることができないようになっている。
次いで、判定ユニット8について説明する。判定ユニット8は、第一照明装置81、第二照明装置82、第一カメラ83、第二カメラ84及び制御システム85を備えている。本実施形態では、第一カメラ83が「第一撮像手段」を構成し、第二カメラ84が「第二撮像手段」を構成する。また、第一カメラ83及び第二カメラ84が「撮像手段」を構成する。
第一照明装置81及び第二照明装置82は、少なくとも搬送される錠剤9の全ての列を含む所定の被検査領域KA(図5参照)に対し、上方から所定の光(例えば白色光など)を照射する。第一照明装置81は、上流側搬送部41における前記被検査領域KAに対し光を照射し、第二照明装置82は、下流側搬送部43における前記被検査領域KAに対し光を照射する。
第一カメラ83及び第二カメラ84は、被検査領域KAをほぼ真上から撮像する。各カメラ83,84は、例えばCCD(Charge Coupled Device)型イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の撮像素子と、該撮像素子に対し撮像対象の像を結像させる光学系(レンズユニットや絞りなど)とを有している。勿論、上述した撮像素子以外の撮像素子を採用してもよい。また、各カメラ83,84は、その光軸が前記錠剤支持部45の上面と直交するようにして配置されている。
各カメラ83,84は、制御システム85(特に後述するカメラ制御部853)により駆動制御される。カメラ83,84による錠剤9の撮像によって、カメラ83,84の視野全域を示す画像データである全域データAD(図6参照)が取得される。本実施形態では、カメラ83,84の視野全域が被検査領域KAに相当する。
各カメラ83,84によって撮像され生成された画像データは、各カメラ83,84の内部においてデジタル信号に変換された上で、デジタル信号の形で制御システム85(特に後述の画像取得部855)に転送され記憶される。そして、制御システム85は、該画像データを基に、後述する各種画像処理や演算処理等を実施する。
制御システム85は、所定の演算処理を実行するCPU(Central Processing Unit)、各種プログラムや固定値データ等を記憶するROM(Read Only Memory)、各種演算処理の実行に際して各種データが一時的に記憶されるRAM(Random Access Memory)及びこれらの周辺回路等を含んだコンピュータや、入出力装置及び表示装置などからなる。
そして、制御システム85は、CPUが各種プログラムに従って動作することで、後述するメイン制御部851、照明制御部852、カメラ制御部853、表示制御部854、画像取得部855、データ処理部856、学習部857、検査部858などの各種機能部として機能する。
但し、上記各種機能部は、上記CPU、ROM、RAMなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがICなどのハードウェア回路により実現されてもよい。
さらに、制御システム85には、キーボードやマウス、タッチパネル等で構成される入力部85a、液晶ディスプレイ等で構成され、各種情報を表示可能な表示画面をそれぞれ備えた第一表示部85b及び第二表示部85c、各種データやプログラム、演算結果、検査結果等を記憶可能な記憶部85d、外部と各種データを送受信可能な通信部85fなどが設けられている。また、検査者によって操作可能な位置には、再判定用操作部85eが設けられている。本実施形態では、第一表示部85b及び第二表示部85cがそれぞれ「表示手段」を構成する。
次に、制御システム85を構成する上記各種機能部について詳しく説明する。
メイン制御部851は、判定ユニット8全体の制御を司る機能部であり、照明制御部852やカメラ制御部853など他の機能部と各種信号を送受信可能に構成されている。
照明制御部852は、メイン制御部851からの指令信号に基づき、照明装置81,82を制御する機能部である。
カメラ制御部853は、カメラ83,84を制御する機能部であり、メイン制御部851からの指令信号に基づき、カメラ83,84による撮像タイミングなどを制御する。本実施形態において、カメラ制御部853は、上流側搬送部41において同じ錠剤9を少なくとも2回撮像し、下流側搬送部43において同じ錠剤9を少なくとも2回撮像するように各カメラ83,84を制御する。
また、再判定用操作部85eに対し所定の操作が行われると、カメラ制御部853は、錠剤9の一時停止中に、不良錠剤9xに対応する範囲(すなわち不良錠剤9xが位置していた箇所を含む範囲)を撮像するように各カメラ83,84を制御する。つまり、カメラ制御部853は、再判定用の画像データである再判定用画像データを得るようにカメラ83,84を制御する。本実施形態では、カメラ制御部853が「撮像制御手段」を構成する。
表示制御部854は、記憶部85dに記憶された情報に基づき、各表示部85b,85cにおける表示内容を制御する。本実施形態では、表示制御部854が「表示制御手段」を構成する。
画像取得部855は、各カメラ83,84により撮像され取得された画像データを取り込むための機能部である。
データ処理部856は、画像取得部855により取り込まれた画像データに所定の画像処理を施す機能部である。本実施形態において、データ処理部856は、前記全域データAD(カメラ83,84の視野全域を示す画像データ)から1列分の複数個の錠剤9に対応する領域を錠剤9の列ごとに抽出することで、元画像データXDや学習データSD(図7,8参照)を取得する処理を行う。元画像データXDは、錠剤9の良否判定に用いられ、学習データSDは、後述するニューラルネットワーク90の学習に用いられる。元画像データXD及び学習データSDは、1の全域データADから複数(本実施形態では、錠剤9の列数と同数)取得することができる。
学習部857は、学習データSDを用いてディープニューラルネットワーク90(以下、単に「ニューラルネットワーク90」という。図9参照。)の学習を行い、「識別手段」としてのAI(Artificial Intelligence)モデル100を構築する機能部である。
尚、本実施形態におけるAIモデル100は、後述するように、良品の錠剤9の被検査領域KAに係る画像データのみを学習データSDとして、ニューラルネットワーク90を深層学習(ディープラーニング)させて構築した生成モデルであり、いわゆるオートエンコーダ(自己符号化器)の構造を有する。
ここで、ニューラルネットワーク90の構造について、図9を参照して説明する。図9は、ニューラルネットワーク90の構造を概念的に示した模式図である。図9に示すように、ニューラルネットワーク90は、入力される画像データGAから特徴量(潜在変数)TAを抽出する「符号化部」としてのエンコーダ部91と、該特徴量TAから画像データGBを再構成する「復号化部」としてのデコーダ部92と有してなる畳み込みオートエンコーダ(CAE:Convolutional Auto-Encoder)の構造を有している。
畳み込みオートエンコーダの構造は公知のものであるため、詳しい説明は省略するが、エンコーダ部91は複数の畳み込み層(Convolution Layer)93を有し、各畳み込み層93では、入力データに対し複数のフィルタ(カーネル)94を用いた畳み込み演算が行われた結果が次層の入力データとして出力される。同様に、デコーダ部92は複数の逆畳み込み層(Deconvolution Layer)95を有し、各逆畳み込み層95では、入力データに対し複数のフィルタ(カーネル)96を用いた逆畳み込み演算が行われた結果が次層の入力データとして出力される。そして、後述する学習処理では、各フィルタ94,96の重み(パラメータ)が更新されることとなる。
図4に戻り、検査部858は、搬送装置4によって搬送される錠剤9の良否判定を行う機能部である。例えば本実施形態では、錠剤9に異物や汚れが付着しているか否か、錠剤9に欠けや割れなどの破損が生じているか否か等についての検査が行われる。尚、錠剤9に印刷部が設けられている場合、検査部858は、該印刷部の良否についての判定を行ってもよい。本実施形態では、上記の通り、各カメラ83,84によって同じ錠剤9が少なくとも2回ずつ撮像されるため、1の錠剤9の表面9aについての良否判定が少なくとも2回行われ、該錠剤9の裏面9bについての良否判定が少なくとも2回行われることになる。本実施形態では、検査部858が「判定手段」を構成する。
尚、同じ錠剤9の表面9a及び裏面9bが少なくとも2回ずつ撮像されるのは、基本的には、錠剤9の良否判定に係る精度を高めるためである。但し、錠剤9が不良品である場合には、1回目の撮像はその不良錠剤9xを発見するために、2回目の撮像はその不良錠剤9xが一時停止した状態における画像データを得るために、それぞれ行われていると言うことができる。不良錠剤9xが一時停止した状態における画像データは、後述するステップS305の判定結果対応処理において、その不良錠剤9xの特定のために用いられるところ、このような画像データを利用することで、該画像データが示す錠剤9の状態(位置や間隔、向き等)と、一時停止中の実際の錠剤9の状態とをほぼ一致させることが可能となる。
また、再判定用操作部85eに対し所定の操作が行われると、検査部858は、上述の再判定用画像データに基づき、錠剤9の良否を再判定する。
第一表示部85b及び第二表示部85cは、例えば、搬送装置4の近傍など、目視検査を行う検査者から視認可能な位置に配置されている(図2参照)。本実施形態において、第一表示部85bは、上流側搬送部41に対応して設けられており、第二表示部85cは、下流側搬送部43に対応して設けられている。表示制御部854が各表示部85b,85cを制御することにより、第一表示部85bでは、第一カメラ83により得られた画像データに基づく良否判定結果などが表示され、第二表示部85cでは、第二カメラ84により得られた画像データに基づく良否判定結果などが表示される。尚、各表示部85b,85cの配設位置については、検査者が表示部85b,85cに表示された情報を確認可能な位置である限り、適宜変更してもよい。勿論、各表示部85b,85cは、据え置かれるものであってもよいし、持ち運び可能なものであってもよい。また、表示部の設置台数についても、例えば検査者の数などに応じて、適宜変更してもよい。
記憶部85dは、HDD(Hard Disk Drive)やSSD(Solid State Drive)等で構成され、例えばAIモデル100(ニューラルネットワーク90及びその学習により獲得した学習情報)を記憶する所定の記憶領域を有している。また、記憶部85dは、各カメラ83,84により得られた画像データや、検査部858にて行われた錠剤9の良否判定結果を記憶する機能を具備している。
再判定用操作部85eは、錠剤9の搬送が一時停止された状態において、検査部858による錠剤9の良否判定を再度実行させる際に使用される操作装置である。再判定用操作部85eに対し所定の操作が行われると、上記の通り、カメラ83,84によって再判定用画像データが得られるとともに、検査部858によって該再判定用画像データに基づく錠剤9の良否判定が行われる。
通信部85fは、例えば有線LAN(Local Area Network)や無線LAN等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部858により行われた検査の結果などが通信部85fを介して外部(搬送制御装置7など)に出力される。
次に、判定ユニット8によって行われるニューラルネットワーク90の学習処理について図10のフローチャートを参照して説明する。
所定の学習プログラムの実行に基づき、学習処理が開始されると、メイン制御部851は、はじめにステップS101において、ニューラルネットワーク90の学習を行うための前処理を行う。
この前処理では、まず記憶部85dに記憶された多数の良否判定情報を取得する。続いて、該良否判定情報に基づき、記憶部85dから、良否判定において良品と判定された錠剤9に係る画像データを取得する。この画像データは、被検査領域KA全体を示す全域データADである。さらに、データ処理部856により、該画像データ(全域データAD)から1列分の複数個の錠剤9に対応する領域を錠剤9の列ごとに抽出することで、学習データSDを生成する。学習データSDは、元画像データXDと同様の形式を有するものであり、上記の通り、ニューラルネットワーク90の学習を行うために用いられる。かかる処理は、必要な数の学習データSDが取得されるまで行われる。
尚、学習データSDとして、良品の錠剤9に係る画像データを用いて生成した仮想良品画像データなどを用いてもよい。
ステップS101において必要な数の学習データSDが取得されると、続くステップS102において、メイン制御部851からの指令に基づき、学習部857が、未学習のニューラルネットワーク90を準備する。例えば予め記憶部85d等に格納されているニューラルネットワーク90を読み出す。又は、記憶部85d等に格納されているネットワーク構成情報(例えばニューラルネットワークの層数や各層のノード数など)に基づいて、ニューラルネットワーク90を構築する。
ステップS103では、再構成画像データを取得する。すなわち、メイン制御部851からの指令に基づき、学習部857が、ステップS101において取得された学習データSDを入力データとして、ニューラルネットワーク90の入力層に与え、これにより該ニューラルネットワーク90の出力層から出力される再構成画像データを取得する。再構成画像データは、学習データSDや元画像データXDと同様の形式を有しており、1列分の錠剤9に対応する領域を示す画像データである。
続くステップS104では、学習部857が、入力した画像データ(学習データSD)と、ニューラルネットワーク90により出力された再構成画像データとを比較し、その誤差が十分に小さいか否か(所定の閾値以下であるか否か)を判定する。
ここで、前記誤差が十分に小さい場合には、ステップS106にて、学習部857は、学習の終了条件を満たすか否かを判定する。例えば、後述するステップS105の処理を経ることなくステップS104にて肯定判定されることが所定回数連続で行われた場合や、用意した学習データSDの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク90及びその学習情報(後述する更新後のパラメータ等)をAIモデル100として記憶部85dに格納し、本学習処理を終了する。
一方、ステップS106にて終了条件を満たさない場合には、ステップS103に戻り、ニューラルネットワーク90の学習を再度行う。
また、ステップS104にて、前記誤差が十分に小さくない場合には、ステップS105においてネットワーク更新処理(ニューラルネットワーク90の学習)を行った後、再びステップS103へ戻り、上記一連の処理を繰り返す。
具体的に、ステップS105のネットワーク更新処理では、例えば誤差逆伝播法(Backpropagation)などの公知の学習アルゴリズムを用いて、学習データSDと再構成画像データとの差分を表す損失関数が極力小さくなるように、ニューラルネットワーク90における上記各フィルタ94,96の重み(パラメータ)をより適切なものに更新する。尚、損失関数としては、例えばBCE(Binary Cross-entropy)などを利用することができる。
ステップS103~105の処理を何度も繰り返すことにより、ニューラルネットワーク90では、学習データSDと再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。
そして、最終的に得られるAIモデル100は、良品の錠剤9に係る画像データ(本実施形態では、元画像データXD)が入力されたときに、入力された元画像データXDとほぼ一致する再構成画像データを生成するものとなる。また、AIモデル100は、不良錠剤9xに係る画像データ(元画像データXD)が入力されたときには、ノイズ部分(不良部分に相当する部分)を除去した元画像データXDとほぼ一致する再構成画像データを生成するものとなる。すなわち、錠剤9が不良であるときには、該錠剤9に係る再構成画像データとして、不良部分がないものと仮定した場合の該錠剤9に係る仮想的な画像データが生成される。
次に、判定ユニット8によって行われる錠剤9の良否判定に係る処理について図11のフローチャートを参照して説明する。この処理は、予め設定された通常の良否判定実行タイミングや、再判定用操作部85eに対し所定の操作が行われたときに実行される。
まずステップS301において、各カメラ83,84による錠剤9の撮像が行われる。すなわち、カメラ制御部853が各カメラ83,84を制御することで、各カメラ83,84によって各搬送部41,43の被検査領域KAがそれぞれ撮像される。これにより、被検査領域KA全体を示す画像データ(全域データAD)が得られる。
次のステップS302では、データ処理部856によって、得られた全域データADから1列分の複数個の錠剤9に対応する領域を錠剤9の列ごとに抽出する(切り出す)処理が行われる。ステップS302では、全域データADから1列分の元画像データXDが取得される。
ステップS303では、良否判定処理が行われる。具体的には、図12に示すように、まず、ステップS501にて、検査部858によって、ステップS302にて取得した元画像データXDがAIモデル100の入力層へ入力される。その結果、AIモデル100から再構成画像データが出力される。本実施形態では、検査部858が「再構成画像データ取得手段」を構成する。
続くステップ502では、検査部858によって、元画像データXD及び再構成画像データが比較され、両画像データの差分が算出される。例えば、両画像データにおける同一座標のドットがそれぞれ比較されて、輝度の差が所定値以上となったドットの塊の面積(ドット数)が算出される。本実施形態では、元画像データXD及び再構成画像データを比較する検査部858が「比較手段」を構成する。
続いて、ステップS503において、検査部858により錠剤9における不良部分の有無が判定される。具体的には、検査部858によって、算出した各差分が所定の閾値よりも大きいか否かが判定される。そして、差分が所定の閾値よりも大きい場合には、ステップS504において、「不良」と判定される。一方、差分が所定の閾値よりも小さい場合には、ステップS505において、「良」と判定される。
図11に戻り、ステップS303の良否判定処理に続くステップS304では、ステップS301にて得られた画像データ(全域データAD)に係る全ての元画像データXDに基づき、ステップS303の良否判定処理が行われたか否かが判定される。すなわち、ステップS301にて全域データADからは複数(錠剤9の列数と同数)の元画像データXDが得られるところ、これら元画像データXDの全てに基づくステップS303の良否判定処理が行われたか否かが判定される。
ここで、全ての元画像データXDに基づく良否判定処理が行われている場合(ステップS304:YES)、ステップS305に移行する。一方、そうではない場合(ステップS304:NO)、ステップS302に戻る。従って、全ての元画像データXDに基づく良否判定処理が行われるまで、ステップS302,S303の処理が繰り返し行われることとなる。
そして、全ての元画像データXDに基づく良否判定が行われると、ステップS305の判定結果対応処理において、良否判定の結果に応じた処理が実行される。すなわち、全ての元画像データXDに基づき上記良否判定処理が行われた結果、全ての元画像データXDについて「良」と判定された場合には、撮像対象の被検査領域KAに係る錠剤9が「良品」と判定され、この判定結果が記憶部85dに記憶される。また、表示制御部854によって、「良品」である旨の情報と、ステップS301にて得られた画像データ(全域データAD)とが表示部85b,85cに表示される。
一方、少なくとも1つの元画像データXDについて「不良」と判定された場合には、撮像対象の被検査領域KAに係る錠剤9が「不良品」と判定され、この判定結果と、不良部分の位置を示す情報(例えば座標情報など)とが記憶部85dに記憶される。
また、表示制御部854によって、「不良品」である旨の情報と、不良錠剤9xを特定するための情報をステップS301にて得られた画像データ(全域データAD)に対応付けてなる情報とが表示部85b,85cに表示される。本実施形態では、上述した不良部分の位置を示す情報に基づき、該位置を示すマークMKが、ステップS301にて得られた画像データ(全域データAD)に重ねられた状態で表示される(図13参照)。すなわち、不良錠剤9xの位置と該不良錠剤9xにおける不良部分の位置とをそれぞれ示す特定のマークMKが、画像データ(全域データAD)と重なった状態で表示される。
尚、ある錠剤9に対する1回目の撮像により得られた画像データに基づき、該錠剤9が「不良品」であると判定された場合、この判定直後に錠剤9の搬送が一時停止されることはなく、不良錠剤9xに対する2回目の撮像を行うタイミングとなったときに、搬送制御装置7によって錠剤9の搬送が一時停止される。
そして、搬送が一時停止された状態で、不良錠剤9xに対する2回目の撮像が行われるとともに、この撮像により得られた画像データに基づき、良否判定が行われる。この良否判定では、通常、1回目の良否判定と同様に、「不良品」と判定される。そして、表示部85b,85cでは、不良錠剤9xを特定するための情報(マークMK)が2回目の撮像により得られた画像データ(全域データAD)に対応付けられて表示される。このとき、表示部85b,85cにて表示される画像データ(全域データAD)は、錠剤9の一時停止中に取得されたものであるため、現在の錠剤9の状態(位置や間隔、向き等)と、表示部85b,85cにて表示されている画像データが示す錠剤9の状態とはほぼ一致する。
上記のような情報が表示されると、この情報に基づき、目視検査を行う検査者によって、不良錠剤9xが特定されるとともに、ピンセット等によって、この不良錠剤9xが搬送装置4から除去される。このとき、現在の錠剤9の状態と、表示部85b,85cにて表示されている画像データが示す錠剤9の状態とはほぼ一致するため、検査者は、表示部85b,85cにおける表示内容を利用して、不良錠剤9xを極めて容易に特定可能することができる。
また、不良錠剤9xが除去された後には、検査者によって、錠剤9の搬送が再開させられる。但し、上記の通り、単に前記搬送操作部を操作しても錠剤9の搬送は再開されず、錠剤9の搬送を再開させるためには、再判定用操作部85eを操作して上記良否判定処理を再度行い、この良否判定処理によって「良品」と判定されるという条件を満たした上で、前記搬送操作部を操作する必要がある。尚、この再度の良否判定処理に関する判定結果や画像データも表示部85b,85cに表示される。
以上詳述したように、本実施形態によれば、検査部858によって、搬送装置4により搬送される(つまり目視検査の対象となる)錠剤9の良否が判定される。そして、検査部858により不良判定がなされた場合には、錠剤9の搬送が一時的に停止される。また、各表示部85b,85cにおいて、不良錠剤9xを特定するための情報が表示される。
従って、目視検査を行う検査者は、表示部85b,85cにおける表示内容を有効に利用して、複数の錠剤9の中から不良錠剤9xを容易に特定することができる。また、不良判定がなされた場合、錠剤9が一時停止していることから、検査者は、特定した不良錠剤9xをより正確に除去することができる。これにより、不良錠剤9xを見落としたり、不良錠剤9xを取り損なったり、不良錠剤9xとは別の良品の錠剤9を誤って除去したりすることをより確実に防止できる。その結果、不良錠剤9xが下流へと流出してしまうことをより確実に防止でき、目視検査の信頼性をより高めることができる。
さらに、表示部85b,85cでは、不良錠剤9xを特定するための情報(本実施形態ではマークMK)が、該不良錠剤9xに係る画像データに対応付けて表示される。従って、不良錠剤9xの特定がより容易なものとなり、不良錠剤9xの除去に要する手間や時間をより低減させることができる。
加えて、不良錠剤9xが見つかって錠剤9の搬送が一時停止されたときには、少なくとも不良錠剤9xに対応する範囲(すなわち不良錠剤9xが位置していた箇所を含む範囲)を撮像して得た再判定用画像データに基づく判定結果が良である場合に限り、搬送装置4を再起動させて、錠剤9の搬送を再開させることが可能とされている。従って、不良錠剤9xの取り忘れや取り間違いなどが生じたとしても、その不良錠剤9xが誤って下流へと流出することを一層確実に防止できる。その結果、目視検査の信頼性を一層向上させることができる。
加えて、学習データSDや元画像データXDとして、互いに搬送方向に隣接し合う1列分の複数個の錠剤9に対応する領域を錠剤9の列ごとに抽出して得た画像データが用いられる。従って、学習のために必要なデータ量を比較的少なくすることができ、学習に係るコストの低減を図ることができる。また、学習データSDや元画像データXDの抽出処理をより容易なものとすることができる。
さらに、元画像データXDと、該元画像データXDをAIモデル100へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、錠剤9の良否を判定している。そのため、比較する両画像データは、それぞれ同一の錠剤9に係るものとなる。従って、比較する両画像データにおいて、錠剤9の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、撮像条件(例えば錠剤9の配置位置や配置角度、明暗状態やカメラの画角等)を一致させることができる。これらの結果、錠剤9の良否判定を非常に精度よく行うことができる。
また、本実施形態では、錠剤9の表裏を反転させる反転部42が設けられているため、錠剤9の表面9a及び裏面9bの目視検査を容易に行うことができる。
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
(a)上記実施形態において、各カメラ83,84は、錠剤9の搬送経路の上方に配置されており、それぞれ錠剤9の上面を撮像するように構成されている。
これに対し、図14,15に示すように、錠剤支持部45の少なくとも一部に透明又は半透明な透過部46(図15にて散点模様を付した部位)を設けるとともに、各カメラ83,84を錠剤支持部45を上下に挟む位置に配置し、第一カメラ83によって錠剤9の上面を、第二カメラ84によって透過部46を通して錠剤9の下面をそれぞれ撮像するように構成してもよい。すなわち、第一カメラ83によって錠剤9の表面9a及び裏面9bのうちの一方を撮像し、第二カメラ84によって透過部46を通して該錠剤9の表面9a及び裏面9bのうちの他方を撮像するように構成してもよい。そして、検査部858によって、各カメラ83,84により得られた錠剤9の表面9a及び裏面9bに係る各画像データに基づき、錠剤9の良否を判定するように構成してもよい。
上記のように構成した場合には、第二カメラ84が錠剤支持部45の下方に配置されることになるから、第二カメラ84が目視検査の邪魔になることを防止できる。
さらに、再判定用画像データに基づく良否判定によって錠剤9の表面9a及び裏面9bの双方が良と判定された場合に限り、搬送装置4の起動(再起動)が許容されることとなる。このため、不良錠剤9xを取り損なって、万が一この不良錠剤9xが裏返ってしまったとしても、搬送装置4の起動(再起動)が許容されないことになる。従って、不良錠剤9xが下流へと流出することを非常に効果的に防ぐことができる。
(b)上記実施形態では、元画像データXD及び学習データSDとして、被検査領域KAの全体を示す画像データ(全域データAD)から1列分の複数個の錠剤9に対応する領域を錠剤9の列ごとに抽出して得たものを利用しているが、全域データADや、全域データADから個々の錠剤9の占める領域を1つ1つ抽出して得た画像データなどを用いてもよい。
(c)上記実施形態では、検査部858によって、錠剤9の表面9a及び裏面9bの良否判定が行われるように構成されている。これに対し、検査部858によって、錠剤9の側面9cの良否判定をも行うように構成してもよい。
例えば、反転部42により錠剤9の表裏を反転させるときには、錠剤9の側面9cが上方を向いた状態となることを利用して、図16に示すように、反転部42に位置する錠剤9の側面9cを撮像する側面用カメラ86を設け、検査部858によって、該側面用カメラ86により得られた画像データに基づき側面9cに関する良否を判定するように構成してもよい。側面用カメラ86は、「側面撮像手段」及び「撮像手段」に相当する。
このように構成した場合には、反転部42を利用して、錠剤9の側面9cに関する良否判定を行うことができる。従って、錠剤9の良否判定に係る精度を一層高めることができる。また、不良錠剤9xが下流へと流出してしまうことをより一層確実に防止でき、目視検査の信頼性をさらに高めることができる。
(d)上流側搬送部41、反転部42及び下流側搬送部43の全部又は一部を覆うカバーを設けてもよい。また、該カバー内にカメラ(撮像手段)を設置し、該カメラによって得られた画像データに基づき、錠剤9の良否判定を行う構成としてもよい。
さらに、錠剤9の搬送再開の条件や、再判定用画像データを取得するためのカメラ83,84による撮像実行の条件として、前記カバーの状態を用いてもよい。例えば、カバーが適切に設置されていることや、カバーに設けられた開口部が閉じていること等を搬送再開や撮像実行の条件としてもよい。
(e)上記実施形態では、カメラ83,84によって1の錠剤9をそれぞれ少なくとも2回ずつ撮像するように構成されているが、1の錠剤9に対する撮像回数を適宜変更してもよい。
(f)上記実施形態では、1回目の撮像により得られた画像データに基づき錠剤9の不良判定がなされた場合に、該錠剤9の2回目の撮像を行うタイミングで錠剤9の搬送を一時停止するように構成されているが、一時停止のタイミングについては適宜変更してもよい。例えば、不良判定の直後に、錠剤9の搬送を一時停止するように構成してもよい。
尚、このように構成した場合には、撮像の実行から良否判定の完了までに若干の時間を要するから、錠剤9の搬送を停止したときに、実際の該不良錠剤9xの位置が、良否判定に用いた画像データ(全域データAD)における不良錠剤9xの位置とやや異なるものとなり得る。
従って、例えば、撮像の実行から良否判定の完了までの間における錠剤9の平均搬送量を予め取得・推定しておき、図17に示すように、表示部85b,85cにおいて、不良錠剤9xから前記平均搬送量だけ下流の位置を示すマークMK1を、該不良錠剤9xに係る画像データ(全域データAD)に対応付けて表示させるように構成してもよい。このように構成した場合であっても、不良錠剤9xの特定を比較的容易に行うことができる。尚、実際の搬送量と前記平均搬送量とでずれが生じることを考慮し、マークMK1として、錠剤9の搬送方向に沿った比較的広範囲を示すマークを用いてもよい。
また、例えば、図18に示すように、不良錠剤9xを含む列を示すマークMK2を、該不良錠剤9xに係る画像データ(全域データAD)に対応付けて表示させるようにしてもよい。このように構成した場合においても、不良錠剤9xの特定を比較的容易に行うことができる。
尚、必ずしも不良錠剤9xを特定するための情報を該不良錠剤9xに係る画像データに対応付けて表示させる必要はない。例えば、図19に示すように、被検査領域KA(カメラ83,84,86の撮像範囲)に対応する枠WK内に、不良錠剤9xの位置を示すためのマークMK3を表示させる構成としてもよい。尚、この場合には、搬送装置4(上流側搬送部41や下流側搬送部43など)の上面に被検査領域KA(カメラ83,84,86の撮像範囲)を示す枠線を付しておくことで、表示内容に基づく不良錠剤9xの特定を一層容易に行うことができる。尚、枠WK内に、搬送溝41a,42a,43aに対応する補助線MLなどを設けてもよい。
(g)上記実施形態では、錠剤9として平面視円形状をなす円盤形状の平錠が例示されているが、錠剤の種別や形状等については、上記実施形態に限定されるものではない。例えば錠剤には、医薬のみならず、飲食用に用いられる錠剤なども含まれる。また、錠剤には、素錠のみならず、糖衣錠やフィルムコーティング錠、口腔内崩壊錠、腸溶錠、ゼラチン被包錠などが含まれるのは勿論のこと、硬カプセルや軟カプセルなどの各種カプセル錠なども含まれる。
さらに、錠剤9の形状に関しては、例えば平面視円形状のみならず、平面視多角形状、平面視楕円形状、平面視長円形状などであってもよい。
(h)上記実施形態では、目視検査補助装置1(シュート5)から計数器6a及びボトル詰め装置6bへと錠剤9が供給されるように構成されているが、錠剤9の供給対象については適宜変更してもよい。従って、例えば、容器フィルムに形成されたポケット部に錠剤9が収容されるとともに、該ポケット部を塞ぐように前記容器フィルムに対しカバーフィルムが取着されてなるブリスタシート(例えばPTPシート)を製造するためのブリスタ包装機(例えばPTP包装機)を、錠剤9の供給対象としてもよい。また、ブリスタ包装機が目視検査補助装置1を有するように構成してもよい。
(i)「識別手段」としてのAIモデル100(ニューラルネットワーク90)の構成及びその学習方法は、上記実施形態に限定されるものではない。例えば、ニューラルネットワーク90の学習処理や、再構成画像データの取得処理などを行う際に、必要に応じて各種データに対し正規化等の処理を行う構成としてもよい。また、ニューラルネットワーク90の構造は、図9に示したものに限定されず、例えば畳み込み層93の後にプーリング層を設けた構成としてもよい。勿論、ニューラルネットワーク90の層数や、各層のノード数、各ノードの接続構造などが異なる構成としてもよい。
さらに、上記実施形態では、AIモデル100(ニューラルネットワーク90)が、畳み込みオートエンコーダ(CAE)の構造を有した生成モデルとなっているが、これに限らず、例えば変分自己符号化器(VAE:Variational Autoencoder)など、異なるタイプのオートエンコーダの構造を有した生成モデルとしてもよい。
また、上記実施形態では、誤差逆伝播法によりニューラルネットワーク90を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。
加えて、ニューラルネットワーク90は、いわゆるAIチップ等のAI処理専用回路によって構成されることとしてもよい。その場合、パラメータ等の学習情報のみが記憶部85dに記憶され、これをAI処理専用回路が読み出して、ニューラルネットワーク90に設定することによって、AIモデル100が構成されるようにしてもよい。
併せて、上記実施形態において、制御システム85は学習部857を備え、制御システム85内においてニューラルネットワーク90の学習を行う構成となっているが、これに限られるものではない。例えば、学習部857を省略して、ニューラルネットワーク90の学習を制御システム85の外部で行う構成とし、外部で学習を行ったAIモデル100(学習済みのニューラルネットワーク90)を記憶部85dに記憶する構成としてもよい。勿論、学習データSDを、制御システム85の外部で生成してもよい。
(j)搬送装置4の構成は上記実施形態で挙げたものに限定されず、例えば、コンベア等によって搬送装置を構成してもよい。
1…目視検査補助装置、4…搬送装置(搬送手段)、7…搬送制御装置(搬送制御手段)、9…錠剤、9a…表面、9b…裏面、9c…側面、42…反転部、45…錠剤支持部、46…透過部、83…第一カメラ(撮像手段、第一撮像手段)、84…第二カメラ(撮像手段、第二撮像手段)、85b…第一表示部(表示手段)、85c…第二表示部(第二表示手段)、86…側面用カメラ(撮像手段、側面撮像手段)、90…ニューラルネットワーク、91…エンコーダ部(符号化部)、92…デコーダ部(復合化部)、100…AIモデル(識別手段)、853…カメラ制御部(撮像制御手段)、854…表示制御部(表示制御手段)、858…検査部(判定手段、再構成画像データ取得手段、比較手段)。

Claims (6)

  1. 目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
    前記搬送手段により搬送される錠剤を撮像する撮像手段と、
    前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
    錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
    前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
    前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備え
    前記表示手段における表示内容を利用して、不良判定がなされた錠剤を特定し、除去することができるように構成されていることを特徴とする目視検査補助装置。
  2. 目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
    前記搬送手段により搬送される錠剤を撮像する撮像手段と、
    前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
    錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
    前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
    前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備え
    前記撮像手段を制御する撮像制御手段を有し、
    前記撮像制御手段は、錠剤の一時停止中に、少なくとも不良判定された錠剤に対応する範囲を撮像して、再判定用の前記画像データである再判定用画像データを得るように前記撮像手段を制御するとともに、
    前記判定手段は、前記再判定用画像データに基づき、錠剤の良否を判定し、
    前記搬送制御手段は、一時停止中の錠剤の搬送が再開されるように前記搬送手段を再起動させることが可能であり、
    前記搬送制御手段による前記搬送手段の再起動は、前記再判定用画像データに基づく前記判定手段による判定結果が良であることを条件として行われるように構成されていることを特徴とする目視検査補助装置。
  3. 目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
    前記搬送手段により搬送される錠剤を撮像する撮像手段と、
    前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
    錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
    前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
    前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備え
    前記搬送手段は、錠剤を複数列に並んだ状態で搬送するものであり、
    前記判定手段は、
    入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の錠剤に係る画像データに基づく学習データのみを学習させて生成した識別手段と、
    前記撮像手段により得られた画像データに基づく元画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
    前記元画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
    前記比較手段による比較結果に基づき、錠剤の良否を判定可能に構成されており、
    前記学習データは、良品の錠剤に係る画像データから1列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであり、
    前記元画像データは、前記撮像手段により得られた画像データから1列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであることを特徴とする目視検査補助装置。
  4. 前記表示制御手段は、前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を該錠剤に係る前記画像データに対応付けて表示させることが可能に構成されていることを特徴とする請求項1乃至3のいずれか1項に記載の目視検査補助装置。
  5. 錠剤は、表面及び裏面を有するものであり、
    前記搬送手段は、少なくとも一部に透明又は半透明な透過部が設けられるとともに、搬送される錠剤を支持する錠剤支持部を有し、
    前記撮像手段は、前記錠剤支持部を上下に挟む位置に配置される第一撮像手段と第二撮像手段とを備え、
    前記第一撮像手段によって錠剤の表面及び裏面のうちの一方が撮像され、前記第二撮像手段によって前記透過部を通して該錠剤の表面及び裏面のうちの他方が撮像されるように構成されており、
    前記判定手段は、前記第一撮像手段及び前記第二撮像手段により得られた、錠剤の表面及び裏面に係る画像データに基づき、錠剤の良否を判定するように構成されていることを特徴とする請求項1乃至3のいずれか1項に記載の目視検査補助装置。
  6. 錠剤は、表面及び裏面と、該表面及び該裏面間に位置する側面とを有するものであり、
    前記搬送手段は、搬送される錠剤の表裏を反転させる反転部を有し、
    前記撮像手段は、前記反転部に位置する錠剤の側面を撮像する側面撮像手段を備え、
    前記判定手段は、前記側面撮像手段により得られた画像データに基づき、錠剤の側面に関する良否を判定可能に構成されていることを特徴とする請求項1乃至3のいずれか1項に記載の目視検査補助装置。
JP2022080921A 2022-05-17 2022-05-17 目視検査補助装置 Active JP7330328B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022080921A JP7330328B1 (ja) 2022-05-17 2022-05-17 目視検査補助装置
PCT/JP2022/043352 WO2023223579A1 (ja) 2022-05-17 2022-11-24 目視検査補助装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022080921A JP7330328B1 (ja) 2022-05-17 2022-05-17 目視検査補助装置

Publications (2)

Publication Number Publication Date
JP7330328B1 true JP7330328B1 (ja) 2023-08-21
JP2023169667A JP2023169667A (ja) 2023-11-30

Family

ID=87577113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022080921A Active JP7330328B1 (ja) 2022-05-17 2022-05-17 目視検査補助装置

Country Status (2)

Country Link
JP (1) JP7330328B1 (ja)
WO (1) WO2023223579A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095898A (ja) 1999-10-01 2001-04-10 Hayashi Yakuhin Kikai Kk 錠剤目視検査装置
JP2006220448A (ja) 2005-02-08 2006-08-24 Ckd Corp 検査装置及びptp包装機
JP2008164461A (ja) 2006-12-28 2008-07-17 Kochi Univ Of Technology 薄板状部品の検査方法と検査装置
JP2019039925A (ja) 2018-09-25 2019-03-14 Ckd株式会社 外観検査装置及びブリスター包装機
JP2020123238A (ja) 2019-01-31 2020-08-13 株式会社Screenホールディングス 情報処理装置、情報処理方法、情報処理プログラム、学習方法および学習済モデル

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3580319B2 (ja) * 1994-07-19 2004-10-20 塩野義製薬株式会社 カプセル剤のバンドシール検出方法及びバンドシール検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001095898A (ja) 1999-10-01 2001-04-10 Hayashi Yakuhin Kikai Kk 錠剤目視検査装置
JP2006220448A (ja) 2005-02-08 2006-08-24 Ckd Corp 検査装置及びptp包装機
JP2008164461A (ja) 2006-12-28 2008-07-17 Kochi Univ Of Technology 薄板状部品の検査方法と検査装置
JP2019039925A (ja) 2018-09-25 2019-03-14 Ckd株式会社 外観検査装置及びブリスター包装機
JP2020123238A (ja) 2019-01-31 2020-08-13 株式会社Screenホールディングス 情報処理装置、情報処理方法、情報処理プログラム、学習方法および学習済モデル

Also Published As

Publication number Publication date
WO2023223579A1 (ja) 2023-11-23
JP2023169667A (ja) 2023-11-30

Similar Documents

Publication Publication Date Title
JP6749655B1 (ja) 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JP3332543B2 (ja) 錠剤検査システム
JP4925589B2 (ja) 検査装置及びptp包装機
JP4849805B2 (ja) 検査装置及びptp包装機
JP4368808B2 (ja) 外観検査装置及びptp包装機
EP3399302A1 (en) Egg surface inspection apparatus
JP2018096700A (ja) 検査装置及びptp包装機
JP7330328B1 (ja) 目視検査補助装置
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP2008196975A (ja) 欠陥検査装置
JPH07282219A (ja) 画像認識手段を具えた錠剤検査装置及び錠剤検査方法
JP4570197B2 (ja) 画像検査装置
JPH08322913A (ja) 錠剤検査システム
JP6188620B2 (ja) 検査装置及びptp包装機
TWI788387B (zh) 缺陷檢查系統及缺陷檢查方法
JP6027047B2 (ja) 検査システム及びptp包装機
JP2006208209A (ja) 検査装置及びptp包装機
JP6742037B1 (ja) 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP7309017B1 (ja) 錠剤検査装置及び錠剤検査方法
JPH06347410A (ja) 網入り板ガラスの欠陥検出方法および装置
US10852244B2 (en) Image processing apparatus, image processing method, and recording medium
JPH11118721A (ja) 錠剤の外観検査方法と錠剤の外観検査装置
JP5778685B2 (ja) ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法
JPH07190956A (ja) 物体の構造および/または模様に関する欠陥を検出する方法および装置
CN116997769A (zh) 检查装置、检查方法、玻璃板的制造方法以及检查程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230302

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R150 Certificate of patent or registration of utility model

Ref document number: 7330328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150