JP6742859B2 - 錠剤検知方法、錠剤検知装置および錠剤検知プログラム - Google Patents

錠剤検知方法、錠剤検知装置および錠剤検知プログラム Download PDF

Info

Publication number
JP6742859B2
JP6742859B2 JP2016160847A JP2016160847A JP6742859B2 JP 6742859 B2 JP6742859 B2 JP 6742859B2 JP 2016160847 A JP2016160847 A JP 2016160847A JP 2016160847 A JP2016160847 A JP 2016160847A JP 6742859 B2 JP6742859 B2 JP 6742859B2
Authority
JP
Japan
Prior art keywords
tablet
identification
tablets
unit
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016160847A
Other languages
English (en)
Other versions
JP2018027242A (ja
Inventor
修司 千田
修司 千田
馬場 大輔
大輔 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YE Digital Co Ltd
Original Assignee
YE Digital Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YE Digital Co Ltd filed Critical YE Digital Co Ltd
Priority to JP2016160847A priority Critical patent/JP6742859B2/ja
Publication of JP2018027242A publication Critical patent/JP2018027242A/ja
Application granted granted Critical
Publication of JP6742859B2 publication Critical patent/JP6742859B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)

Description

開示の実施形態は、錠剤検知方法、錠剤検知装置および錠剤検知プログラムに関する。
従来、調剤薬局などにおいて透明な袋に服用1回分ごとに分包された錠剤が、服用者へ処方された処方箋の内容通りに分包されているか否かを検知する技術が知られている(たとえば、特許文献1参照)。
なお、特許文献1に開示の技術は、袋ごとに撮像した各錠剤の画像データと、かかる各錠剤の基準画像データとを比較し、長径、短径、面積および色彩においてそれぞれ一致するか否かを照合することによって分包の正否を判定するものである。
特開2008−018230号公報
しかしながら、上述した従来技術には、類似錠剤を精度よく識別するうえで、さらなる改善の余地がある。
具体的には、錠剤は、その形状パターンが比較的限られているため、異なる種別の錠剤同士でも、寸法や面積、色彩といった特徴量にほとんど差が見られない場合がある。このように特徴量が類似する類似錠剤は、上述の基準画像データとの比較においても差が出にくいため、上述した従来技術を用いた場合、正確に識別できないおそれがある。
また、錠剤は、服用1回分につき、1/2錠や1/4錠のように分割され、分割錠として処方される場合がある。かかる分割錠は、その割れ方などにより個々の見た目のばらつきが大きいことから、もともと上述の基準画像データと照合しづらい処方形態である。そのうえで、上述の類似錠剤が分割錠として処方された場合、さらに識別しづらくなることは想像に難くない。
実施形態の一態様は、上記に鑑みてなされたものであって、類似錠剤を精度よく識別することができる錠剤検知方法、錠剤検知装置および錠剤検知プログラムを提供することを目的とする。
実施形態の一態様に係る錠剤検知方法は、撮像工程と、切り出し工程と、第1識別工程と、第2識別工程とを含む。前記撮像工程は、服用1回分の1以上の錠剤が分包され、該錠剤が分割錠である場合を含む分包紙の反射光画像および透過光画像を撮像する。前記切り出し工程は、前記反射光画像および前記透過光画像に基づき、前記反射光画像中の前記錠剤に対応する領域である錠剤領域を切り出す。前記第1識別工程は、前記切り出し工程において切り出された前記錠剤領域それぞれの寸法および色を前記錠剤の形状および色に関するモデル情報と照合することによって、前記錠剤をそれぞれ一意に識別する識別値を出力する。前記第2識別工程は、前記第1識別工程において、切り出された前記錠剤領域に対し、特徴量のほぼ一致する基準データが複数存在してしまう場合又は特徴量がいずれの基準データにも一致しない場合であって、誤検知された前記識別値が出力された場合に、特徴量の類似する複数の前記錠剤である類似錠剤の画像を含む学習用データに基づく機械学習により生成された学習モデルを用いて、前記第1識別工程において誤検知された前記錠剤についての前記識別値を出力する。
実施形態の一態様によれば、類似錠剤を精度よく識別することができる。
図1Aは、実施形態に係る錠剤検知方法の概要説明図(その1)である。 図1Bは、実施形態に係る錠剤検知方法の概要説明図(その2)である。 図1Cは、実施形態に係る錠剤検知方法の概要説明図(その3)である。 図1Dは、実施形態に係る錠剤検知方法の概要説明図(その4)である。 図2は、実施形態に係る錠剤検知システムのブロック図である。 図3は、形状モデルの説明図である。 図4Aは、切り出し部のブロック図である。 図4Bは、切り出し部による切り出し処理の説明図(その1)である。 図4Cは、切り出し部による切り出し処理の説明図(その2)である。 図4Dは、切り出し部による切り出し処理の説明図(その3)である。 図4Eは、切り出し部による切り出し処理の説明図(その4)である。 図4Fは、切り出し部による切り出し処理の説明図(その5)である。 図4Gは、切り出し部による切り出し処理の説明図(その6)である。 図4Hは、切り出し部による切り出し処理の説明図(その7)である。 図5Aは、第1識別部のブロック図である。 図5Bは、第1識別部による第1識別処理の説明図である。 図6Aは、学習モデルの一例を示す図(その1)である。 図6Bは、学習モデルの一例を示す図(その2)である。 図6Cは、ID設定テーブルの一例を示す図である。 図6Dは、2種類の半錠剤のサンプル画像である。 図7Aは、錠剤検知装置が実行する処理手順を示すフローチャート(その1)である。 図7Bは、錠剤検知装置が実行する処理手順を示すフローチャート(その2)である。 図7Cは、錠剤検知装置が実行する処理手順を示すフローチャート(その3)である。 図7Dは、錠剤検知装置が実行する処理手順を示すフローチャート(その4)である。 図7Eは、錠剤検知装置が実行する処理手順を示すフローチャート(その5)である。 図8は、錠剤検知装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下、添付図面を参照して、本願の開示する錠剤検知方法、錠剤検知装置および錠剤検知プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
また、以下では、服用1回分の錠剤が分包される医療用の袋体のことを「分包紙」と記載する。かかる分包紙については、総称する場合、「分包紙Pb」と記載するが、区別の必要がある場合には、分包紙Pb−1のように「−n」(nは自然数)の形式で付番する。
また、錠剤については、総称する場合、「錠剤t」と記載するが、種別による区別の必要がある場合には、「錠剤A」、「錠剤B」…のように大文字のアルファベットを付して表す場合がある。
錠剤tは、分包紙Pbへ封入可能である意味から、本実施形態では、カプセル剤を含むものとする。また、以下では、1/2錠の分割錠を「半錠剤」と記載する。
まず、本実施形態に係る錠剤検知方法の概要について、図1A〜図1Dを参照して説明する。図1A〜図1Dは、実施形態に係る錠剤検知方法の概要説明図(その1)〜(その4)である。
図1Aに示すように、錠剤tは、服用者に対する処方箋を基に、調剤薬局などで服用1回分ごとに分包紙Pbへ分包される。分包紙Pbは、セロファンやポリエチレンなどを用いて形成され、表側は中に封入されている錠剤tを視認可能な透明性を有している。
錠剤tは、図1Aに示すように、円状、楕円状、半円状、カプセル状など形状が多様であり、また、その寸法や色なども多様であるが、特徴量の類似する類似錠剤の組み合わせが含まれる場合もある。図1Aの場合は、半円状の2個の半錠剤がそれに相当する。
分包紙Pbの裏側には、錠剤tを分包する分包機(図示略)により、必要に応じてたとえば「○山×男 様」のような服用者の氏名や、「△月□日」のような服用日、「朝食後」のような服用タイミングなどが印字される。かかる分包紙Pbの裏側は、少なくとも光透過性を有している。
かかる分包紙Pbは、前述の分包機から、図1Bに示すように、分包紙Pb−1,Pb−2,Pb−3…が一連なりとなった帯状体で出力される。分包紙Pb−1,Pb−2,Pb−3の各境目には切り離しが容易となるようにミシン目が設けられている。
そして、たとえば調剤薬局では、かかる分包紙Pb−1,Pb−2,Pb−3の分包内容がそれぞれ正しいか否かのチェックが行われる。本実施形態に係る錠剤検知システム1は、かかるチェックのために用いられる。
図1Cに示すように、本実施形態に係る錠剤検知システム1は、撮像部2と、錠剤検知装置10とを備える。撮像部2は、カメラ2aと、保持台2bと、白色光源2cと、バックライト光源2dとを備える。また、撮像部2は、図示略の上記帯状体の送り出し機構を備える。
カメラ2aは、保持台2bの上方に設けられ、保持台2bに保持された分包紙Pbを撮像する。保持台2bは、送り出し機構により順次送り出される分包紙Pb−1,Pb−2,Pb−3をそれぞれ、カメラ2aによる撮像の間、保持する。
白色光源2cは、カメラ2aと保持台2bとの間に設けられ、保持台2bに保持された分包紙Pbに対し、反射光撮像を行うための白色光を照射する。バックライト光源2dは、保持台2bに保持された分包紙Pbに対し、透過光撮像を行うためのたとえば赤色光を照射する。したがって、カメラ2aは、分包紙Pbのそれぞれにつき、白色光によるカラー画像と、透過光によるバックライト画像との2種類を撮像する。
錠剤検知装置10は、撮像部2によって撮像された分包紙Pbの撮像画像に基づき、切り出し処理を行う(ステップS1)。切り出し処理では、分包紙Pbのカラー画像中から錠剤tのそれぞれが写っている領域である錠剤領域が個別に切り出される。
そして、錠剤検知装置10は、切り出された錠剤tの錠剤領域それぞれの寸法および色を、カタログ情報に基づいて生成された形状モデル12aと照合することによって、錠剤tそれぞれの種別を識別する第1識別処理を行う(ステップS2)。
なお、かかる第1識別処理では、言わば基準データである形状モデル12aと各撮像領域との照合において、特徴量の差が所定範囲内であれば、すなわち閾値判定により特徴量が基準データと錠剤領域とでほぼ一致するとみなされるならば、その基準データに対応する種別が錠剤tの種別であると判定される(図1C中の「OK」参照)。
一方、切り出された錠剤領域に対し、特徴量のほぼ一致する基準データが複数存在してしまう場合や、いずれの基準データにも一致しない場合には、第1識別処理では、錠剤tの種別を一意に定められない(図1C中の「NG」参照)。かかる場合、第1識別処理では、たとえば切り出された錠剤領域と特徴量が最も近い基準データに対応する種別の識別値を出力する。
ただし、この場合は無論、誤検知である。従来の錠剤検知装置は、かかる閾値判定により識別できないケースにより、その検知精度を落としていた。ここでもし、第1識別処理では誤検知された錠剤tを、閾値判定によらない別の手法を用いて識別できるならば、分包紙Pbの分包内容のチェックの精度をより高めることが可能となる。
そこで、本実施形態では、第1識別処理で識別NGとなった錠剤tにつき、第2識別処理を行うこととした(ステップS3)。第2識別処理では、錠剤tのサンプル画像群を学習用データとして用いた機械学習により生成された、入力(切り出された錠剤領域)に対応すべき出力(錠剤tの識別値)を写像する関数である学習モデル12bにより、錠剤tそれぞれの種別を識別する。
なお、第1識別処理で識別NGとなった錠剤tに限らず、予め第1識別処理では識別しにくいことが予測されるすべての錠剤tにつき、第2識別処理を実行してもよい。
また、本実施形態では、機械学習のアルゴリズムとしてたとえばディープラーニングを用いる。ディープラーニングについては公知のため、詳細な説明は省略する。
学習モデル12bは、第1識別処理では識別しにくいことが予測される錠剤tのサンプル画像群を学習対象とした機械学習により予め生成されたものである。
学習対象の一例としては類似錠剤が挙げられる。たとえば図1Dに示すように、錠剤ID(錠剤tの種別を一意に示すもの)が「001」の「錠剤A」と、錠剤IDが「002」の「錠剤B」があるものとする。これらはいずれも円状であり、径dも等しく、その色もほぼ同じであるとする。ただし、図1Dに示すように、「錠剤A」には「錠剤B」にない縁取りが施されているものとする。
本実施形態では、これら形、少なくとも平面視での寸法、色がほぼ同じである複数の錠剤tを類似錠剤として取り扱い、たとえば「錠剤A」と「錠剤B」を同一の類似グループ「01」でグルーピングする。
また、これら「錠剤A」および「錠剤B」の半錠剤である「錠剤A 1/2」と「錠剤B 1/2」にはそれぞれ、たとえば順に「011」、「012」の錠剤IDが割り付けられる。これらは、類似錠剤である「錠剤A」および「錠剤B」の半錠剤であるので、無論同一の類似グループ、たとえば「02」でグルーピングされる。
そして、本実施形態では、学習モデル12bは、機械学習により、たとえばこれら類似グループごとの各錠剤tの基準空間が形成されるように生成される。
したがって、学習モデル12bは、たとえば上述の縁取りを含む円状の錠剤領域と、かかる錠剤領域について第1識別処理で誤検知された識別値、たとえば錠剤ID「002」とを入力として受け付けた場合、錠剤ID「002」の属する類似グループ「01」において入力の錠剤領域に対応する錠剤tは錠剤ID「001」であると識別することが可能となる。
なお、このように、たとえば学習対象を類似錠剤に絞った学習モデル12bを用いることで、類似錠剤以外の錠剤tにかかる機械学習のための諸コストを抑えることができる。
また、逆に、すべての種別の錠剤tを学習対象とした学習モデル12bを用いることとしてもよい。また、この場合に、たとえば第1識別処理後、識別OK/NGに関わりなく、無条件に第2識別処理を実行することとしてもよい。
かかる場合、第1識別処理で識別OKだったものについては二重のチェックが行われ、第1識別処理で識別NGだったものについては正確な識別が行われるので、錠剤tの検知精度をより高めることができる。
また、第2識別処理においてもなお識別NGとなった錠剤tについては、その切り出された錠剤領域を拡張用の学習用データとして学習モデル12bにフィードバックさせることで、学習モデル12bの識別精度を向上させることができる。
図1Cの説明に戻る。第1識別処理および第2識別処理によって種別が識別された各錠剤tについては、計数処理が行われる(ステップS4)。計数処理によって計数された各錠剤tの種別およびその数は、図示略の出力部に出力され、薬剤師などに対し、分包内容の正否が提示される。
このように、本実施形態に係る錠剤検知方法では、服用1回分の1以上の錠剤tが分包された分包紙Pbのカラー画像およびバックライト画像を撮像し、かかるカラー画像およびバックライト画像に基づき、カラー画像中の錠剤tに対応する領域である錠剤領域を切り出すこととした。
また、本実施形態に係る錠剤検知方法では、切り出された錠剤tの錠剤領域それぞれの寸法および色を、カタログ情報に基づいて生成された形状モデル12aと照合することによって、錠剤tそれぞれの種別を識別することとした。
また、本実施形態に係る錠剤検知方法では、錠剤tのサンプル画像群を学習用データとして用いた機械学習により生成された学習モデル12bにより、少なくとも類似錠剤についての種別を識別することとした。
したがって、本実施形態に係る錠剤検知方法によれば、類似錠剤を精度よく識別することができる。
以下、上述した錠剤検知方法を適用した錠剤検知システム1の構成について、さらに具体的に説明する。
図2は、本実施形態に係る錠剤検知システム1のブロック図である。なお、図2では、本実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。
換言すれば、図2に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
なお、後に図4Aおよび図5Aにおいてもブロック図を示すが、上記した点はかかる図4Aおよび図5Aについても同様である。
図2に示すように、錠剤検知システム1は、撮像部2と、操作部3と、出力部4と、錠剤検知装置10とを備える。なお、基本学習用データ5は、たとえば錠剤検知装置10の運用前などに外部に記憶されていたデータであるものとする。
撮像部2については説明済みのため、説明を省略する。操作部3は、たとえば薬剤師などのオペレータからの操作を受け付ける入力デバイスであり、キーボードやマウス、タッチパネルなどに相当する。
出力部4は、オペレータに対し、錠剤検知装置10の処理結果を提示する出力デバイスであり、ディスプレイやプリンタなどに相当する。
錠剤検知装置10は、制御部11と、記憶部12とを備える。制御部11は、登録部11aと、切り出し部11bと、第1識別部11cと、第2識別部11dと、計数部11eと、学習部11fとを備える。第1識別部11cおよび第2識別部11dは、識別部を構成する。
記憶部12は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、形状モデル12aと、学習モデル12bと、拡張学習用データ12cとを記憶する。
制御部11は、錠剤検知装置10の全体制御を行う。登録部11aは、操作部3から入力されたオペレータのカタログ値指定操作に基づき、錠剤tに関する形状モデル12aを生成し、記憶部12に記憶させる。
ここで、図3を用いて形状モデル12aについて説明しておく。図3は、形状モデル12aの説明図である。なお、図3では、白地の下向き矢印によって区切られた各領域を、上から順に上段、中段、下段と言い表す。また、ここでは錠剤tが楕円状であるものとする。
まず、オペレータは、カタログ情報に基づいて各錠剤tの寸法などを、操作部3を介し入力する。図3の上段に示すように、カタログ情報には、錠剤tの寸法情報、たとえば長径、短径および厚みが含まれ、オペレータはこれらの各値および形状の種別値(たとえば「楕円」を示す値)を入力する。
登録部11aは、オペレータからの入力値に基づき、錠剤tの形状モデル12aを生成する。このとき、登録部11aは、図3の中段に示す単位換算係数に基づいて寸法の単位、たとえばmmを画素に換算する。また、登録部11aは、同じく図3の中段に示す倍率換算係数に基づき、錠剤tの厚みに対し画像中考慮すべき倍率を換算する。なお、単位換算係数および倍率換算係数は、予め算出され、内部メモリ等に保持されている。
そして、登録部11aは、図3の下段に示すように、これら画素および倍率を適用した指定種別の錠剤tの形状モデル12aを自動的に生成し、記憶部12へ記憶させる。なお、図3の下段では、錠剤tの内部領域を所定のパターンで塗りつぶしているが、これは色を表すものである。すなわち、色付きの錠剤tに対しては、形状モデル12aに色を示す特徴量を含ませることができる。また、記憶部12は、識別対象となるすべての錠剤tについての形状モデル12aを記憶することとなる。
かかる形状モデル12aの自動生成は、錠剤tの形状パターンが少なく、その多くは円や楕円であることから容易に行うことができる。これにより、従来では、形状モデル12aの作成のために、たとえば錠剤tの一つ一つにつき基準画像データを撮像する必要があったのに対し、本実施形態では、オペレータがカタログ情報に含まれる寸法のカタログ値などを入力するという簡単な手順だけで、自動的に形状モデル12aを生成することができる。したがって、形状モデル12aの作成のための手間を大幅に省くことができる。
また、分割錠についても、分割数の指定さえあれば、分割されていない錠剤tの寸法に基づいて容易に寸法などを算出し、自動的に形状モデル12aを生成することが可能である。
なお、形状モデル12aは錠剤検知装置10の運用前に予め別の装置などで生成され、事前に記憶部12が記憶していてもよい。また、情報伝達可能に接続された図示略の上位装置から、カタログ情報の更新があるたびなどに、適宜ダウンロードされるものであってもよい。
図2の説明に戻り、つづいて切り出し部11bについて説明する。切り出し部11bは、撮像部2によって撮像された分包紙Pbの撮像画像に基づく切り出し処理を行う。また、切り出し部11bは、切り出し処理によって切り出された各錠剤tの錠剤領域を第1識別部11cへ出力する。
ここで、図4A〜図4Hを用いてさらに具体的に切り出し部11bの構成について説明する。図4Aは、切り出し部11bのブロック図である。また、図4B〜図4Hは、切り出し部11bによる切り出し処理の説明図(その1)〜(その7)である。
図4Aに示すように、切り出し部11bは、画像取得部11baと、ガウシアン差分部11bbと、ソーベルフィルタ部11bcと、合成部11bdと、領域抽出部11beとを備える。
画像取得部11baは、撮像部2からのカラー画像およびバックライト画像を取得する。また、画像取得部11baは、取得したカラー画像をガウシアン差分部11bbへ出力し、取得したバックライト画像をソーベルフィルタ部11bcへ出力する。
ガウシアン差分部11bbは、画像取得部11baから渡されたカラー画像につき、公知のガウシアン差分アルゴリズムを用いて(たとえばガウシアン差分フィルタを適用して)カラー画像からエッジを抽出し、合成部11bdへ出力する。なお、図4Bには、サンプル画像として、かかるガウシアン差分部11bbからの出力画像例を示している。
ソーベルフィルタ部11bcは、画像取得部11baから渡されたバックライト画像につき、公知のソーベルフィルタを適用してバックライト画像からエッジを抽出し、合成部11bdへ出力する。なお、図4Cには、サンプル画像として、かかるソーベルフィルタ部11bcからの出力画像例を示している。ちなみに図4Cでは、破線の閉曲線で囲まれた部分にある2個の錠剤tについて、エッジが一連なりで抽出されていることが分かる。
合成部11bdは、ガウシアン差分部11bbからの出力画像、ソーベルフィルタ部11bcからの出力画像に対し、画像処理における収縮膨張を施した後、これらを合成し、合成した合成画像を領域抽出部11beへ出力する。なお、合成部11bdは、合成に際し、カラー画像における色の差を参照することで、前述の一連なりのエッジを分離する。
図4Dには、サンプル画像として、図4Bおよび図4Cの各画像を合成した場合の合成部11bdからの出力画像例を示している。図4Dでは、破線の閉曲線で囲まれた部分にある前述の2個の錠剤tについて、エッジが分離されていることが分かる。
領域抽出部11beは、合成部11bdから渡された合成画像につき、エッジに囲まれた領域を反転し、各錠剤tの面積分に対応する領域を抽出する。図4Eに、かかる抽出後のサンプル画像を示す。
また、領域抽出部11beは、抽出した面積分に対応する領域のそれぞれに、たとえば図4Fに示す形状パターン情報の各々をマッチングさせるパターンマッチングに基づき、真に各錠剤tに対応する領域を絞り込む。
あわせて、領域抽出部11beは、絞り込んだ各領域につき、必要があれば回転角を算出する。具体的には、図4Gに示すように、絞り込んだ領域がたとえば楕円であれば、水平軸axHに対する長軸axLの回転角を算出する。
そして、領域抽出部11beは、図4Hに示すように、絞り込んだ各領域に対応する分包紙Pbのカラー画像中の各領域を錠剤領域として切り出す。このとき、回転角を算出した領域については、回転角に基づいてたとえば楕円であれば前述の長軸axLを水平軸axHに揃えた後、切り出される。なお、錠剤領域は、図4H右側において各錠剤tを囲む破線の領域に対応する。
そして、領域抽出部11beは、切り出した各錠剤領域を、第1識別部11cへ出力する。図2の説明に戻り、つづいて第1識別部11cについて説明する。第1識別部11cは、切り出し部11bによって切り出された錠剤tの錠剤領域それぞれの寸法および色を、形状モデル12aと照合することによって、錠剤tそれぞれの種別を識別する第1識別処理を行う。
また、第1識別部11cは、第1識別処理において識別OKとなった各錠剤tを計数部11eへ通知する。また、第1識別部11cは、第1識別処理において識別NGとなった各錠剤tに対応する錠剤領域および最も近い錠剤tの識別値を第2識別部11dへ出力する。
ここで、図5Aおよび図5Bを用いてさらに具体的に第1識別部11cの構成について説明する。図5Aは、第1識別部11cのブロック図である。また、図5Bは、第1識別部11cによる第1識別処理の説明図である。
図5Aに示すように、第1識別部11cは、領域判定部11caと、寸法・色計測部11cbと、閾値判定部11ccとを備える。
領域判定部11caは、分包紙Pbに含まれる錠剤tに応じて処理すべき形状をたとえば前述の形状パターン情報に基づいて選択し、選択した各形状によるサーチ(パターンマッチング)によって、切り出し部11bから渡された各錠剤領域を個別に判定する。また、領域判定部11caは、判定した各錠剤領域を寸法・色計測部11cbへ通知する。
寸法・色計測部11cbは、領域判定部11caによって判定された各錠剤領域につき、寸法および色を計測する。具体的には、図5Bに示すように、寸法・色計測部11cbは、寸法につき、各錠剤tの錠剤領域(切り出し画像)に基づいてX,Y方向それぞれのエッジを検出し、かかるエッジから錠剤tの形状パターンの輪郭近傍でエッジ強度の強い領域eX,eYを抽出する。
そして、寸法・色計測部11cbは、抽出した領域eX間の距離および領域eY間の距離であるエッジ間距離dX,dYをそれぞれ計測する。また、寸法・色計測部11cbは、色につき、各錠剤領域をLab変換したLab変換値を算出する。また、寸法・色計測部11cbは、計測したエッジ間距離dX,dYおよび算出したLab変換値を閾値判定部11ccへ出力する。
閾値判定部11ccは、寸法・色計測部11cbから渡されたエッジ間距離dX,dYおよびLab変換値について閾値判定を行い、これら特徴量が、ある形状モデル12aの特徴量とほぼ一致する所定範囲内にある場合に、かかる形状モデル12aに対応する錠剤tの種別の識別値を計数部11eへ出力する。
また、閾値判定部11ccは、エッジ間距離dX,dYおよびLab変換値がほぼ一致する形状モデル12aが複数存在してしまう場合や、いずれの形状モデル12aにも一致しない場合、たとえば特徴量が最も近い形状モデル12aに対応する種別の識別値と、錠剤領域とを第2識別部11dへ出力する。
図2の説明に戻り、つづいて第2識別部11dについて説明する。第2識別部11dは、学習モデル12bにより、錠剤tそれぞれの種別を識別する第2識別処理を行う。具体的には、第2識別部11dは、第1識別部11cから渡された錠剤tの識別値と錠剤領域とを学習モデル12bへ入力し、かかる入力に対して学習モデル12bが出力する、学習モデル12bによる錠剤tの識別値を受け取る。また、第2識別部11dは、受け取った識別値を計数部11eへ出力する。
また、第2識別部11dは、学習モデル12bによってもたとえば識別値が不定となるなどして誤検知された場合に、これに対応する各錠剤領域を拡張学習用データ12cとして記憶部12に保存する。
計数部11eは、第1識別部11cおよび第2識別部11dから渡された識別値ごとの錠剤tの数を計数する。また、計数部11eは、各識別値が示す各錠剤tの種別およびそのそれぞれの計数結果を、薬剤師などが目視可能となるような形式で出力部4へ出力させる。
学習部11fは、まず錠剤検知装置10の運用前などに、各錠剤tのサンプル画像群である基本学習用データ5を「基本モデル生成用」のデータセットとして用いた機械学習を実行し、基本モデルとしての学習モデル12bを生成し、記憶部12へ記憶させる。
また、学習部11fは、錠剤検知装置10の運用中に保存された拡張学習用データ12cを「モデル拡張用」のデータセットとして用いた機械学習を実行し、学習モデル12bを拡張する。
なお、既に述べた内容と一部重複するが、ここで、本実施形態に係る学習モデル12bについて図6A〜図6Dを用いて説明する。図6Aおよび図6Bは、学習モデル12bの一例を示す図(その1)および(その2)である。図6Cは、ID設定テーブルの一例を示す図である。図6Dは、2種類の半錠剤のサンプル画像である。
図6Aに示すように、学習モデル12bは、特徴量の類似する錠剤tが同一の類似グループでグルーピングされ、これら類似グループごとで各錠剤tの基準空間が形成されるように学習部11fによって生成される、錠剤tの種別の識別モデルである。
なお、学習モデル12bでは、類似グループにはそれぞれ一意の「モデルID」が割り付けられる。図6Aには、図1Dで既に示した類似グループ「01」および「02」に対し、同値のモデルID「01」および「02」が割り付けられた例を示している。
また、図6Bに示すように、同一のモデルIDに属するグループの中では、各錠剤tに対し「クラスID」が割り付けられ、同一モデルIDの各錠剤tは、かかる「クラスID」によって識別される。なお、仮に類似錠剤以外の「錠剤C」が学習対象に含まれた場合、図6Bに示すように、「錠剤C」に対しては「モデルID」および「クラスID」が割り付けられなくともよい。類似錠剤でなく、明らかな特徴量を有する錠剤tであるならば、「錠剤ID」のみ割り付けられていれば、それに対応する基準空間さえ形成されれば識別には十分だからである。
したがって、「錠剤ID」、「モデルID」および「クラスID」の割り付け例は、具体的には図6Cに示すID設定テーブルのようになる。図6Cに示すように、同一の「モデルID」の中では、各錠剤tは「クラスID」によって識別される。また、たとえば錠剤ID「004」および「020」は、類似錠剤でない錠剤tであり、これらには「モデルID」および「クラスID」が割り付けられないことが分かる。なお、ID設定テーブルは、図示略の内部メモリなどに保持されている。
前述の第2識別部11dは、たとえばかかるID設定テーブルと、第1識別部11cから渡された錠剤tの識別値(「錠剤ID」)および錠剤領域とに基づき、学習モデル12bから「錠剤ID」に対応する「モデルID」のモデルを読み込んで、かかるモデルへ錠剤領域を渡し、それに対する識別結果としてモデルから「クラスID」を受け取る。
そして、第2識別部11dは、ID設定テーブルに基づき、受け取った「クラスID」を対応する「錠剤ID」へ変換し、錠剤tの識別値として計数部11eへ渡すこととなる。
なお、本実施形態では、図6A〜図6Cに示したモデル分けやクラス分けに基づいた機械学習を実行し、類似錠剤の識別を可能とする学習モデル12bを生成することとしたので、たとえば類似錠剤のさらに分割錠であっても識別することが可能となる。
たとえば、図6Dには、類似錠剤の2種類の半錠剤、「錠剤A 1/2」および「錠剤B 1/2」のサンプル画像を示した。分割錠は一見、寸法や色などの特徴量は似ていても、実際はそれぞれを組成する成分の違いなどにより、図中の断面部M1,M2などに個々の特徴が現れることが多い。
たとえば分かりやすいところでは、図6Dでは、「錠剤B 1/2」の断面部M2の方が、「錠剤A 1/2」の断面部M1の方よりも、外見上粗い割れ方をしていることが分かる。異なる割れ方をしている以上、断面部M1,M2では、陰影の出方も異なるはずである。
陰影の出方の違いは、たとえば図中の矢印a1,a2の示す箇所などにも現れており、たとえば「錠剤A 1/2」側には、「錠剤B 1/2」側にない縁取りの陰影があることが分かる。こうした違いが現れた錠剤tの画像データを用いて繰り返し機械学習を実行することによって生成された学習モデル12bによれば、たとえば「錠剤A 1/2」および「錠剤B 1/2」を高精度に識別することが可能となる。
次に、錠剤検知装置10が実行する処理手順について、図7A〜図7Eを用いて説明する。図7A〜図7Eは、錠剤検知装置10が実行する処理手順を示すフローチャート(その1)〜(その5)である。なお、ここでは、1つの分包紙Pbを対象として実行される処理手順を示す。分包紙Pbが複数あれば、たとえば図7Aに示す処理手順は分包紙Pbの個数分繰り返される。
図7Aに示すように、まず切り出し部11bが、撮像部2によって撮像された分包紙Pbの撮像画像に基づき、切り出し処理を実行する(ステップS101)。切り出し処理の実行後、制御部11は、ループカウンタiへ初期値である1をセットする(ステップS102)。
そして、制御部11は、ループカウンタiが切り出した錠剤tの数以下であるか否かを判定する(ステップS103)。ここで、ステップS103の判定条件を満たす場合(ステップS103,Yes)、識別部(第1識別部11cおよび第2識別部11dに対応)が、識別処理(第1識別処理および第2識別処理)を実行する(ステップS104)。
識別処理の実行後、制御部11は、拡張学習用データ12cをデータ保存する必要があるか否かを判定する(ステップS105)。なお、データ保存する必要がある場合は、識別処理において誤検知があった場合や、新規の錠剤tが登場した場合などに相当する。
ここで、ステップS105の判定条件を満たす場合(ステップS105,Yes)、たとえば第2識別部11dが、データ保存を行う(ステップS106)。また、ステップS105の判定条件を満たさない場合(ステップS105,No)、ステップS107へ制御を移す。
そして、制御部11は、ループカウンタiへ1を加算し(ステップS107)、ステップS103からの処理を繰り返す。なお、ステップS103の判定条件を満たさない場合(ステップS103,No)、計数部11eが、計数処理を実行し(ステップS108)、計数結果を出力部4に出力させて、処理を終了する。
次に、切り出し部11bによる切り出し処理について説明する。図7Bに示すように、画像取得部11baが、撮像部2から分包紙Pbのカラー画像を取得する(ステップS201)。かかるカラー画像に基づき、ガウシアン差分部11bbはガウシアン差分処理を行う(ステップS202)。
また、画像取得部11baが、撮像部2から分包紙Pbのバックライト画像を取得する(ステップS203)。かかるバックライト画像に基づき、ソーベルフィルタ部11bcはソーベルフィルタ処理を行う(ステップS204)。
つづいて、合成部11bdが、ガウシアン差分処理後およびソーベルフィルタ処理後の画像に必要な膨張収縮を施し(ステップS205)、画像合成する(ステップS206)。
そして、領域抽出部11beが、合成画像につき、エッジに囲まれた領域を反転し(ステップS207)、各錠剤tの面積分および形状に対応する領域を抽出して(ステップS208)、各錠剤tの錠剤領域を切り出した後、処理を終了する。
次に、識別部による識別処理について説明する。図7Cに示すように、まず第1識別部11cの領域判定部11caが、分包紙Pbに含まれる錠剤tに応じた形状を選択し(ステップS301)、形状サーチで各錠剤領域を個別に判定する(ステップS302)。
つづいて、第1識別部11cの寸法・色計測部11cbが、領域判定部11caによって判定された各錠剤領域につき、寸法および色を計測する(ステップS303)。
そして、第1識別部11cの閾値判定部11ccが、寸法・色計測部11cbの計測結果について閾値判定による識別を行う(ステップS304)。ここで、識別NGがある場合(ステップS305,Yes)、第2識別部11dが第2識別処理を実行し(ステップS306)、処理を終了する。また、ステップS305の判定条件を満たさない場合(ステップS305,No)、処理を終了する。
なお、ステップS305を省略し、ステップS304の後に無条件にステップS306を実行してもよい。ただし、かかる場合、類似錠剤などを問わず、錠剤tのすべての種別を学習対象として生成された学習モデル12bを予め用意しておく必要がある。
次に、第2識別部11dによる第2識別処理の説明に先立ち、学習部11fによる学習処理について説明しておく。なお、ここでは、学習モデル12b中の1つのモデルID分を想定した場合の処理手順を示す。
図7Dに示すように、学習部11fは、まず初期モデルとしての基本モデル生成であるか否かを判定する(ステップS401)。ここで、基本モデル生成である場合(ステップS401,Yes)、学習部11fは、対象となるモデルID分の基本モデル生成に移る(ステップS402)。
また、基本モデル生成でない場合(ステップS401,No)、学習部11fは、既存の学習モデル12bから対象のモデルID分を読み込む(ステップS403)。
つづいて、学習部11fは、第1ループカウンタiへ初期値である1をセットする(ステップS404)。そして、学習部11fは、ループカウンタiがモデルIDのクラス数以下であるか否かを判定する(ステップS405)。
ここで、ステップS405の判定条件を満たす場合(ステップS405,Yes)、学習部11fは、第2ループカウンタjへ初期値である1をセットする(ステップS406)。そして、学習部11fは、第2ループカウンタjが学習用データ数以下であるか否かを判定する(ステップS407)。
ここで、ステップS407の判定条件を満たす場合(ステップS407,Yes)、学習部11fは、学習用データの読み込みを行い(ステップS408)、機械学習によってデータへクラスIDをラベル付けし(ステップS409)、モデルパラメータを更新する(ステップS410)。
そして、学習部11fは、第2ループカウンタjへ1を加算して(ステップS411)、ステップS407からの処理を繰り返す。一方、ステップS407の判定条件を満たさない場合(ステップS407,No)、学習部11fは、第1ループカウンタiへ1を加算して(ステップS412)、ステップS405からの処理を繰り返す。
そして、ステップS405の判定条件を満たさない場合(ステップS405,No)、学習部11fは、対象となるモデルID分のモデルを保存し(ステップS413)、処理を終了する。
次に、第2識別部11dによる第2識別処理について説明する。図7Eに示すように、第2識別部11dは、第1識別部11cから渡された錠剤IDに対応するモデルの読み込みを行い(ステップS501)、同じく第1識別部11cから渡された切り出し画像データ(錠剤領域)とモデルからクラス識別を行う(ステップS502)。
そして、識別したクラスIDから対応する錠剤IDへの変換を行い(ステップS503)、変換後の錠剤IDを錠剤tの識別値として計数部11eへ出力し、処理を終了する。
なお、本実施形態に係る錠剤検知装置10は、たとえば図8に示すような構成のコンピュータ60によって実現される。図8は、錠剤検知装置10の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ60は、CPU(Central Processing Unit)61、RAM(Random Access Memory)62、ROM(Read Only Memory)63、HDD(Hard Disk Drive)64、通信インタフェース(I/F)65、入出力インタフェース(I/F)66、およびメディアインタフェース(I/F)67を備える。
CPU61は、ROM63またはHDD64に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM63は、コンピュータ60の起動時にCPU61によって実行されるブートプログラムや、コンピュータ60のハードウェアに依存するプログラム等を格納する。
HDD64は、CPU61によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インタフェース65は、たとえば上位装置といった他の機器との通信部(図示略)に対応し、通信ネットワークを介して他の機器からデータを受信してCPU61へ送り、CPU61が生成したデータを、通信ネットワークを介して他の機器へ送信する。
CPU61は、入出力インタフェース66を介して、ディスプレイやプリンタ等の出力部4、および、キーボードやマウス等の入力装置を制御する。CPU61は、入出力インタフェース66を介して、入力装置からデータを取得する。また、CPU61は、生成したデータを、入出力インタフェース66を介して出力装置へ出力する。
メディアインタフェース67は、記録媒体68に格納されたプログラムまたはデータを読み取り、RAM62を介してCPU61に提供する。CPU61は、当該プログラムを、メディアインタフェース67を介して記録媒体68からRAM62上にロードし、ロードしたプログラムを実行する。記録媒体68は、たとえばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
コンピュータ60が錠剤検知装置10として機能する場合、コンピュータ60のCPU61は、RAM62上にロードされたプログラムを実行することにより、登録部11a、切り出し部11b、第1識別部11c、第2識別部11d、計数部11eおよび学習部11fの各機能を実現する。また、HDD64は、記憶部12の機能を実現し、形状モデル12a、学習モデル12bおよび拡張学習用データ12cなどが格納される。
コンピュータ60のCPU61は、これらのプログラムを、記録媒体68から読み取って実行するが、他の例として、他の装置から、通信ネットワークを介してこれらのプログラムを取得してもよい。
上述してきたように、実施形態に係る錠剤検知装置10は、撮像部2と、切り出し部11bと、第1識別部11cと、第2識別部11dとを備える。撮像部2は、服用1回分の1以上の錠剤tが分包された分包紙Pbの反射光画像および透過光画像を撮像する。
切り出し部11bは、反射光画像および透過光画像に基づき、反射光画像中の錠剤tに対応する領域である錠剤領域を切り出す。第1識別部11cは、切り出し部11bによって切り出された錠剤領域それぞれの寸法および色を、錠剤tの形状および色に関する形状モデル12a(「モデル情報」の一例に相当)と照合することによって、錠剤tそれぞれの種別を識別する。
第2識別部11dは、錠剤tの画像を含んだ基本学習用データ5または拡張学習用データ12c(「学習用データ」の一例に相当)を用いた機械学習が実行されることで生成された学習モデル12bに基づいて少なくとも、種別は異なるが特徴量の類似する類似錠剤についての種別を識別する。
したがって、本実施形態に係る錠剤検知装置10によれば、類似錠剤を精度よく識別することができる。
なお、上述した実施形態では、機械学習のアルゴリズムとしてディープラーニングを用いるものとしたが、機械学習の手法を限定するものではない。したがって、SVM(Support Vector Machine)のようなパターン識別器を用いたサポートベクタ回帰などの回帰分析手法により機械学習を実行し、学習モデル12bを生成してもよい。また、ここで、パターン識別器はSVMに限らず、たとえばアダブースト(AdaBoost)などであってもよい。また、ランダムフォレストなどを用いてもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 錠剤検知システム
2 撮像部
2a カメラ
2b 保持台
2c 白色光源
2d バックライト光源
3 操作部
4 出力部
5 基本学習用データ
10 錠剤検知装置
11 制御部
11a 登録部
11b 切り出し部
11c 第1識別部
11d 第2識別部
11e 計数部
11f 学習部
12 記憶部
12a 形状モデル
12b 学習モデル
12c 拡張学習用データ
Pb 分包紙
t 錠剤

Claims (10)

  1. 服用1回分の1以上の錠剤が分包され、該錠剤が分割錠である場合を含む分包紙の反射光画像および透過光画像を撮像する撮像工程と、
    前記反射光画像および前記透過光画像に基づき、前記反射光画像中の前記錠剤に対応する領域である錠剤領域を切り出す切り出し工程と、
    前記切り出し工程において切り出された前記錠剤領域それぞれの寸法および色を前記錠剤の形状および色に関するモデル情報と照合することによって、前記錠剤をそれぞれ一意に識別する識別値を出力する第1識別工程と、
    前記第1識別工程において、切り出された前記錠剤領域に対し、特徴量のほぼ一致する基準データが複数存在してしまう場合又は特徴量がいずれの基準データにも一致しない場合であって、誤検知された前記識別値が出力された場合に、特徴量の類似する複数の前記錠剤である類似錠剤の画像を含む学習用データに基づく機械学習により生成された学習モデルを用いて、前記第1識別工程において誤検知された前記錠剤についての前記識別値を出力する第2識別工程と
    を含むことを特徴とする錠剤検知方法。
  2. 前記学習用データは、
    前記類似錠剤の画像のみを含むものであって、
    前記第2識別工程は、
    前記学習モデルに基づいて前記類似錠剤に含まれる前記錠剤についてのみの前記識別値を出力すること
    を特徴とする請求項1に記載の錠剤検知方法。
  3. 前記学習用データは、
    前記類似錠剤の画像および当該類似錠剤以外の前記錠剤の画像のいずれをも含むものであって、
    前記第2識別工程は、
    前記学習モデルに基づいて前記類似錠剤に含まれる前記錠剤および当該類似錠剤に含まれない前記錠剤のいずれについても前記識別値を出力可能であること
    を特徴とする請求項1に記載の錠剤検知方法。
  4. 前記学習用データには少なくとも、
    前記錠剤が分割錠である場合の分割断面部が撮像された前記画像が含まれること
    を特徴とする請求項1、2または3に記載の錠剤検知方法。
  5. 前記第2識別工程は、
    前記学習モデルに基づいて識別した前記錠剤の前記識別値が誤検知された場合に、該錠剤に対応する前記錠剤領域を前記学習モデルの拡張用データとして保存すること
    を特徴とする請求項1〜4のいずれか一つに記載の錠剤検知方法。
  6. 前記学習用データを用いた前記機械学習を実行することによって基本となる前記学習モデルを生成する学習工程
    をさらに含み、
    前記学習工程は、
    前記第2識別工程において前記拡張用データが保存された場合に、該拡張用データを用いた前記機械学習を実行することによって前記学習モデルを拡張すること
    を特徴とする請求項5に記載の錠剤検知方法。
  7. 前記モデル情報を登録する登録工程
    をさらに含み、
    前記登録工程は、
    前記錠剤のカタログ値に基づく演算によって前記モデル情報を自動生成すること
    を特徴とする請求項1〜6のいずれか一つに記載の錠剤検知方法。
  8. 前記機械学習のアルゴリズムは、ディープラーニングであること
    を特徴とする請求項1〜7のいずれか一つに記載の錠剤検知方法。
  9. 服用1回分の1以上の錠剤が分包され、該錠剤が分割錠である場合を含む分包紙の反射光画像および透過光画像を撮像する撮像部と、
    前記反射光画像および前記透過光画像に基づき、前記反射光画像中の前記錠剤に対応する領域である錠剤領域を切り出す切り出し部と、
    前記切り出し部によって切り出された前記錠剤領域それぞれの寸法および色を前記錠剤の形状および色に関するモデル情報と照合することによって、前記錠剤をそれぞれ一意に識別する識別値を出力する第1識別部と、
    前記第1識別部によって、切り出された前記錠剤領域に対し、特徴量のほぼ一致する基準データが複数存在してしまう場合又は特徴量がいずれの基準データにも一致しない場合であって、誤検知された前記識別値が出力された場合に、特徴量の類似する複数の前記錠剤である類似錠剤の画像を含む学習用データに基づく機械学習により生成された学習モデルを用いて、前記第1識別部によって誤検知された前記錠剤についての前記識別値を出力する第2識別部と
    を備えることを特徴とする錠剤検知装置。
  10. コンピュータに、
    服用1回分の1以上の錠剤が分包され、該錠剤が分割錠である場合を含む分包紙について撮像された反射光画像および透過光画像に基づき、前記反射光画像中の前記錠剤に対応する領域である錠剤領域を切り出す切り出し手順と、
    前記切り出し手順によって切り出された前記錠剤領域それぞれの寸法および色を前記錠剤の形状および色に関するモデル情報と照合することによって、前記錠剤をそれぞれ一意に識別する識別値を出力する第1識別手順と、
    前記第1識別手順において、切り出された前記錠剤領域に対し、特徴量のほぼ一致する基準データが複数存在してしまう場合又は特徴量がいずれの基準データにも一致しない場合であって、誤検知された前記識別値が出力された場合に、特徴量の類似する複数の前記錠剤である類似錠剤の画像を含む学習用データに基づく機械学習により生成された学習モデルを用いて、前記第1識別手順において誤検知された前記錠剤についての前記識別値を出力する第2識別手順と
    を実行させることを特徴とする錠剤検知プログラム。
JP2016160847A 2016-08-18 2016-08-18 錠剤検知方法、錠剤検知装置および錠剤検知プログラム Expired - Fee Related JP6742859B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016160847A JP6742859B2 (ja) 2016-08-18 2016-08-18 錠剤検知方法、錠剤検知装置および錠剤検知プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016160847A JP6742859B2 (ja) 2016-08-18 2016-08-18 錠剤検知方法、錠剤検知装置および錠剤検知プログラム

Publications (2)

Publication Number Publication Date
JP2018027242A JP2018027242A (ja) 2018-02-22
JP6742859B2 true JP6742859B2 (ja) 2020-08-19

Family

ID=61247643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016160847A Expired - Fee Related JP6742859B2 (ja) 2016-08-18 2016-08-18 錠剤検知方法、錠剤検知装置および錠剤検知プログラム

Country Status (1)

Country Link
JP (1) JP6742859B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7219016B2 (ja) * 2018-04-27 2023-02-07 日立造船株式会社 判定装置、判定方法、および対象物判定プログラム
CN110874652B (zh) * 2018-08-14 2023-10-27 阿里巴巴集团控股有限公司 一种设备状态评价方法、装置、设备及系统
JP7014100B2 (ja) * 2018-08-27 2022-02-01 日本電信電話株式会社 拡張装置、拡張方法及び拡張プログラム
EP3845213A4 (en) 2018-08-31 2021-10-27 FUJIFILM Toyama Chemical Co., Ltd. OBJECT COMPARISON DEVICE AND OBJECT COMPARISON METHOD
JP7105164B2 (ja) * 2018-10-10 2022-07-22 オリンパス株式会社 服薬管理システム
JP7125510B2 (ja) * 2018-11-21 2022-08-24 富士フイルム富山化学株式会社 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
WO2020162263A1 (ja) * 2019-02-07 2020-08-13 富士フイルム富山化学株式会社 薬剤照合装置、薬剤照合方法及び薬剤照合システム
JP7170602B2 (ja) * 2019-08-27 2022-11-14 富士フイルム富山化学株式会社 学習データ作成装置及び方法、並びに機械学習装置及び方法
JP7225416B2 (ja) * 2019-08-27 2023-02-20 富士フイルム富山化学株式会社 画像処理装置、携帯端末、画像処理方法及びプログラム
JP7368834B2 (ja) * 2019-11-08 2023-10-25 株式会社イシダ 物品処理装置、物品処理システム及び物品処理方法
JP7329463B2 (ja) * 2020-02-06 2023-08-18 株式会社コンテック 薬剤識別システム
WO2021161903A1 (ja) * 2020-02-14 2021-08-19 富士フイルム富山化学株式会社 物体認識装置、方法及びプログラム並びに学習データ
WO2021182345A1 (ja) * 2020-03-13 2021-09-16 富士フイルム富山化学株式会社 学習データ作成装置、方法、プログラム、学習データ及び機械学習装置

Also Published As

Publication number Publication date
JP2018027242A (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6742859B2 (ja) 錠剤検知方法、錠剤検知装置および錠剤検知プログラム
JP6767565B2 (ja) 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム
US20180300877A1 (en) Method for automatic tooth type recognition from 3d scans
JP5163985B2 (ja) 粒状物品種検査装置
US20130170732A1 (en) Medicine pack inspecting system
WO2018221599A1 (ja) 手術器具検出システムおよびコンピュータプログラム
CN103544691A (zh) 图像处理方法及设备
CN109073663A (zh) 用于建立样品试管组的方法、计算机程序产品和系统
EP3674696A1 (en) Medicine inspection assistance device, image processing device, image processing method, and program
JP2015065978A (ja) 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
JP5917711B2 (ja) 錠剤検査装置、錠剤検査方法、錠剤検査プログラム
JP6555751B2 (ja) 紙幣処理装置及び紙幣処理方法
US11341357B2 (en) Medicine inspection device, image processing device, image processing method, and program
TW201506800A (zh) 光學文字識別裝置
US20200058385A1 (en) Drug inspection assisting apparatus and drug inspection assisting method
EP3673891A1 (en) Medicine inspection support device, image processing device, image processing method, and program
US20190050977A1 (en) Inspection support method and inspection support device
US9524376B2 (en) Apparatus, system, and method for personalized medication labels
US7463770B2 (en) Methods and systems for detection of repeating patterns of features
JP6890849B2 (ja) 情報処理システム
EP3633609A1 (en) Dispensing inspection assistance device and dispensing inspection assistance method
JP5313946B2 (ja) 印影イメージの中点算出装置、方法、及びプログラム
JP2019194096A (ja) ラベルの検査装置
JP6567460B2 (ja) 位置検出装置、位置検出方法、位置検出プログラム
US20230326068A1 (en) Ptp management system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R150 Certificate of patent or registration of utility model

Ref document number: 6742859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees