JP7125510B2 - 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム - Google Patents
薬剤識別装置、薬剤識別方法及び薬剤識別プログラム Download PDFInfo
- Publication number
- JP7125510B2 JP7125510B2 JP2020558221A JP2020558221A JP7125510B2 JP 7125510 B2 JP7125510 B2 JP 7125510B2 JP 2020558221 A JP2020558221 A JP 2020558221A JP 2020558221 A JP2020558221 A JP 2020558221A JP 7125510 B2 JP7125510 B2 JP 7125510B2
- Authority
- JP
- Japan
- Prior art keywords
- drug
- image
- images
- registered
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
Description
薬剤(錠剤)の表面には、薬剤の種別を識別するための識別コード情報が付されている。この識別コード情報は、一般に、刻印又は印字(印刷)によって付される。したがって、この識別コード情報を利用することで、薬剤の識別力を向上させることができる。
学習前のCNN40の各畳み込み層46A1~46A6に適用されるフィルタの係数、全結合層46E1におけるエッジの重み等のパラメータは、任意の初期値がセットされる。なお、公知の画像の分類等に使用されているCNNのパラメータ等を適用してもよい。
学習済みのCNN40は、薬剤の識別器として機能し得る。
図11は、第2実施形態に係る薬剤識別装置10-2の電気的な内部構成を示すブロック図である。
図12は、本発明に係る薬剤識別方法の第1実施形態を示すフローチャートであり、図1から図10に示した薬剤識別装置10-1の各部の処理手順に関して示している。
本実施形態では、特徴量演算部及び推論部として機能するCNNを例に説明したが、識別器は、CNNに限らず、例えばDBN(Deep Belief Network)、SVM(Support Vector Machine)などのCNN以外の機械学習モデルでもよい。
20 画像取得部
21 ステージ
22A、22B カメラ
23A 表画像
23B 裏画像
24 照明部
24D 光源
24L 光源
24R 光源
24U 光源
25A、25B、27A、27B 薬剤画像
26 撮影制御部
30 画像処理部
31 画像処理部
32 画像切り出し部
34 エッジ画像合成部
36 エッジ画像生成部
40、41 CNN
40A 入力層
40B 中間層
40C 出力層
42、43 特徴量演算部
44、45 推論部
46A1 畳み込み層
46B1 正規化層
46C1 活性化処理部
46D1 プーリング層
46E1 全結合層
50 正解データ
52 損失値算出部
54 パラメータ制御部
60 出力部
FL、FR ソーベルフィルタ
GA 画像
GD 画像
GL 画像
GR 画像
GU 画像
LL 照明光
LR 照明光
PA 撮影光軸
PB 薬包帯
S 刻印
S10~S30 ステップ
T 薬剤
TP 分包袋
Claims (18)
- 薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得する画像取得部と、
前記複数の第1画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第2画像を生成する画像処理部と、
前記第2画像の特徴量を演算する特徴量演算部と、
前記第2画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備え、
前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記第2画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される、薬剤識別装置。 - 前記画像処理部は、前記複数の第1画像からそれぞれ前記照射方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を前記薬剤の画像に合成して前記第2画像を生成する請求項1に記載の薬剤識別装置。
- 新規の登録薬剤に対応する前記第2画像を0度から360度の範囲内で順次回転させる回転処理部を含み、
前記畳み込みニューラルネットワークは、前記新規の登録薬剤を登録する場合、前記回転処理部により順次回転した回転位置毎の前記第2画像を学習用の入力画像とする請求項1又は2に記載の薬剤識別装置。 - 前記第2画像は、3チャンネルのカラー画像からなり、
前記畳み込みニューラルネットワークは、前記3チャンネルのカラー画像からなる画像セットを入力画像とする請求項1から3のいずれか1項に記載の薬剤識別装置。 - 前記複数の第1画像は、ステージに載置された前記薬剤を前記ステージの上方から撮影した複数の画像と、前記ステージの下方から撮影した複数の画像とを含み、
前記画像処理部は、前記ステージの上方から撮影した複数の画像及び前記ステージの下方から撮影した複数の画像に基づいてそれぞれ前記第2画像を生成する請求項1から4のいずれか1項に記載の薬剤識別装置。 - 薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得する画像取得部と、
前記複数の第1画像に基づいて前記複数の第1画像の特徴量を演算する特徴量演算部と、
前記複数の第1画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備え、
前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記複数の第1画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される、薬剤識別装置。 - 新規の登録薬剤に対応する前記画像セットを0度から360度の範囲内で順次回転させる回転処理部を含み、
前記畳み込みニューラルネットワークは、前記新規の登録薬剤を登録する場合、前記回転処理部により順次回転した回転位置毎の前記画像セットを学習用の入力画像とする請求項6に記載の薬剤識別装置。 - 前記複数の第1画像の各画像は、それぞれ3チャンネルのカラー画像からなり、
前記畳み込みニューラルネットワークは、前記複数の第1画像の各画像が前記3チャンネルのカラー画像からなる画像セットを入力画像とする請求項6又は7に記載の薬剤識別装置。 - 前記複数の第1画像は、ステージに載置された前記薬剤を前記ステージの上方から撮影した複数の画像と、前記ステージの下方から撮影した複数の画像とを含む請求項6から8のいずれか1項に記載の薬剤識別装置。
- 前記推論部により推論した推論結果を視認可能に出力する出力部を備えた請求項1から9のいずれか1項に記載の薬剤識別装置。
- 前記出力部は、前記推論結果に基づいて識別対象の前記薬剤が、前記登録薬剤のうちの最も近い登録薬剤の薬剤識別情報を視認可能に出力し、又は前記登録薬剤のうちの最も近い登録薬剤から近い順に複数の登録薬剤の薬剤識別情報を視認可能に出力する請求項10に記載の薬剤識別装置。
- 前記画像取得部は、
識別対象の前記薬剤が載置されるステージと、
前記ステージに載置された前記薬剤の表面への光の照射方向がそれぞれ異なる複数の光源を有し、前記複数の光源を順次切り換えて点灯する照明部と、
前記複数の光源を順次切り換えて点灯することにより、前記薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤をそれぞれ撮影する撮影部と、からなる請求項1から11のいずれか1項に記載の薬剤識別装置。 - 画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得するステップと、
画像処理部が、前記複数の第1画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第2画像を生成するステップと、
特徴量演算部が、前記第2画像の特徴量を演算するステップと、
推論部が、前記第2画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含み、
前記特徴量を演算するステップ及び前記推論するステップは、前記登録薬剤に対応する前記第2画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行される、薬剤識別方法。 - 画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得するステップと、
特徴量演算部が、前記複数の第1画像に基づいて前記複数の第1画像の特徴量を演算するステップと、
推論部が、前記複数の第1画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含み、
前記特徴量を演算するステップ及び前記推論するステップは、前記登録薬剤に対応する前記複数の第1画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行される、薬剤識別方法。 - コンピュータにより、以下の機能を実現させる薬剤識別プログラムであって、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得する機能と、
前記複数の第1画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第2画像を生成する機能と、
前記第2画像の特徴量を演算する機能と、
前記第2画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を実現させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記第2画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実現させる薬剤識別プログラム。 - コンピュータにより、以下の機能を実現させる薬剤識別プログラムであって、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得する機能と、
前記複数の第1画像に基づいて前記複数の第1画像の特徴量を演算する機能と、
前記複数の第1画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を実現させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記複数の第1画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実現させる薬剤識別プログラム。 - 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された薬剤識別プログラムがコンピュータによって読み取られた場合に、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得する機能と、
前記複数の第1画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第2画像を生成する機能と、
前記第2画像の特徴量を演算する機能と、
前記第2画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を含む薬剤識別機能をコンピュータに実行させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記第2画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行させる記録媒体。 - 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された薬剤識別プログラムがコンピュータによって読み取られた場合に、
薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第1画像を取得する機能と、
前記複数の第1画像に基づいて前記複数の第1画像の特徴量を演算する機能と、
前記複数の第1画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、を含む薬剤識別機能をコンピュータに実行させ、
前記特徴量を演算する機能及び前記推論する機能は、前記登録薬剤に対応する前記複数の第1画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークにより実行させる記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018218309 | 2018-11-21 | ||
JP2018218309 | 2018-11-21 | ||
PCT/JP2019/042857 WO2020105395A1 (ja) | 2018-11-21 | 2019-10-31 | 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020105395A1 JPWO2020105395A1 (ja) | 2021-10-07 |
JP7125510B2 true JP7125510B2 (ja) | 2022-08-24 |
Family
ID=70774437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558221A Active JP7125510B2 (ja) | 2018-11-21 | 2019-10-31 | 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7125510B2 (ja) |
WO (1) | WO2020105395A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7437259B2 (ja) * | 2020-07-29 | 2024-02-22 | 富士フイルム富山化学株式会社 | 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法 |
KR20230054711A (ko) * | 2020-10-29 | 2023-04-25 | 가부시키가이샤 유야마 세이사쿠쇼 | 종류 판별 장치, 종류 판별 방법, 종류 판별 프로그램, 및 약제 분류 장치 |
JP7274529B2 (ja) * | 2021-06-30 | 2023-05-16 | 株式会社コンテック | 薬剤識別システムおよび薬剤識別方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015068765A (ja) | 2013-09-30 | 2015-04-13 | 富士フイルム株式会社 | 薬剤認識装置及び方法 |
JP2017138693A (ja) | 2016-02-02 | 2017-08-10 | フロイント産業株式会社 | 固形製剤用テンプレート作成方法、固形製剤用テンプレート作成プログラムを記録したコンピュータが読み取り可能な記録媒体、固形製剤印刷検査方法、及び固形製剤印刷検査装置 |
JP2018027242A (ja) | 2016-08-18 | 2018-02-22 | 安川情報システム株式会社 | 錠剤検知方法、錠剤検知装置および錠剤検知プログラム |
WO2018173649A1 (ja) | 2017-03-23 | 2018-09-27 | 富士フイルム株式会社 | 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム |
-
2019
- 2019-10-31 JP JP2020558221A patent/JP7125510B2/ja active Active
- 2019-10-31 WO PCT/JP2019/042857 patent/WO2020105395A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015068765A (ja) | 2013-09-30 | 2015-04-13 | 富士フイルム株式会社 | 薬剤認識装置及び方法 |
JP2017138693A (ja) | 2016-02-02 | 2017-08-10 | フロイント産業株式会社 | 固形製剤用テンプレート作成方法、固形製剤用テンプレート作成プログラムを記録したコンピュータが読み取り可能な記録媒体、固形製剤印刷検査方法、及び固形製剤印刷検査装置 |
JP2018027242A (ja) | 2016-08-18 | 2018-02-22 | 安川情報システム株式会社 | 錠剤検知方法、錠剤検知装置および錠剤検知プログラム |
WO2018173649A1 (ja) | 2017-03-23 | 2018-09-27 | 富士フイルム株式会社 | 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020105395A1 (ja) | 2021-10-07 |
WO2020105395A1 (ja) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7125510B2 (ja) | 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム | |
JP7282810B2 (ja) | 視線追跡方法およびシステム | |
US11113586B2 (en) | Method and electronic device for retrieving an image and computer readable storage medium | |
CN108548820B (zh) | 化妆品纸质标签缺陷检测方法 | |
CN108256547B (zh) | 生成用于基于机器学习的对象识别系统的训练图像 | |
US8345936B2 (en) | Multispectral iris fusion for enhancement and interoperability | |
US20110274314A1 (en) | Real-time clothing recognition in surveillance videos | |
CN110892445B (zh) | 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序 | |
WO2018192662A1 (en) | Defect classification in an image or printed output | |
WO2015046043A1 (ja) | 薬剤照合装置、薬剤照合システム、及び薬剤照合方法 | |
JP2021517330A (ja) | 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置 | |
JP6823727B2 (ja) | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム | |
US20180096481A1 (en) | Process to isolate object of interest in image | |
JP2016015093A (ja) | 錠剤識別装置およびその方法、並びに、分包錠剤監査装置 | |
JPWO2020080045A5 (ja) | ||
WO2019039016A1 (ja) | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム | |
CN111243051B (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
CN111095262A (zh) | 药剂监查装置、图像处理装置、图像处理方法以及程序 | |
Singh et al. | Improving verification accuracy by synthesis of locally enhanced biometric images and deformable model | |
Chaudhari et al. | Disease detection of cotton leaves using advanced image processing | |
US20230184542A1 (en) | Systems and Methods of 3D Object Reconstruction Using a Neural Network | |
JP7375161B2 (ja) | 学習データ作成装置、方法、プログラム、及び記録媒体 | |
JP6861825B2 (ja) | 薬剤識別装置、画像処理装置、画像処理方法及びプログラム | |
JP7258375B2 (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのidを検証するための方法 | |
BR112021014579A2 (pt) | Método de identificação de usuário por característica biométrica e dispositivo móvel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7125510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |