JP7338030B2 - 物体認識装置、方法及びプログラム - Google Patents
物体認識装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7338030B2 JP7338030B2 JP2022500365A JP2022500365A JP7338030B2 JP 7338030 B2 JP7338030 B2 JP 7338030B2 JP 2022500365 A JP2022500365 A JP 2022500365A JP 2022500365 A JP2022500365 A JP 2022500365A JP 7338030 B2 JP7338030 B2 JP 7338030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target objects
- edge
- photographed
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Description
図1は、本発明に係る物体認識装置のハードウェア構成の一例を示すブロック図である。
図6は、本発明に係る物体認識装置の第1実施形態を示すブロック図である。
第1認識器30は、以下に示す学習データ(第1学習データ)に基づいて機械学習された機械学習済みの学習モデル(第1学習モデル)で構成することができる。
第1学習データは、複数の対象物体(本例では、「薬剤」)を含む撮影画像であって、複数の薬剤の2以上の薬剤が点又は線で接触する撮影画像を学習用画像(第1学習用画像)とし、第1学習用画像における点又は線で接触する箇所のみを示すエッジ画像を正解データ(第1正解データ)として、第1学習用画像と第1正解データとのペアからなる学習データである。
第2認識器32は、画像取得部22が取得した撮影画像ITP1と、第1認識器30が認識したエッジ画像IEとを入力し、撮影画像ITP1に撮影されている複数の対象物体(薬剤T)をそれぞれ認識し、その認識結果を出力する。
第2学習データは、複数の対象物体(本例では、「薬剤」)を含む撮影画像であって、複数の薬剤の2以上の薬剤が点又は線で接触する撮影画像と撮影画像における点又は線で接触する箇所のみを示すエッジ画像とを学習用画像(第2学習用画像)とし、撮影画像における複数の薬剤の領域を示す領域情報を正解データ(第2正解データ)として、第2学習用画像と第2正解データとのペアからなる学習データである。
図14は、本発明に係る物体認識装置の第2実施形態を示すブロック図である。
図16は、本発明に係る物体認識方法の実施形態を示すフローチャートである。
本実施形態における認識の対象物体は、複数の薬剤であるが、これに限らず、同時に撮影される複数の対象物体であり、かつ複数の対象物体の2以上の対象物体が点又は線で接触し得るものであれば、如何なるものでもよい。
12A、12B カメラ
13 撮影制御部
14 ステージ
16A、16B 照明装置
16A1~16A4,16B1~16B4 発光部
18 ローラ
20、20-1、20-2 物体認識装置
22 画像取得部
24 CPU
25 操作部
26 RAM
28 ROM
29 表示部
30 第1認識器
32 第2認識器
32A 入力層
32B 中間層
32C 出力層
40 画像処理部
42 第3認識器
BB バウンディングボックス
IE エッジ画像
IM マスク画像
ITP1、ITP2 撮影画像
S10~S16 ステップ
T、T1~T6 薬剤
TP 薬包
Claims (13)
- プロセッサを備え、前記プロセッサにより複数の対象物体が撮影された撮影画像から前記複数の対象物体をそれぞれ認識する物体認識装置であって、
前記プロセッサは、
前記複数の対象物体の2以上の対象物体が点又は線で接触する前記撮影画像を取得する画像取得処理と、
前記撮影画像における前記点又は線で接触する箇所のみを示すエッジ画像を取得するエッジ画像取得処理と、
前記撮影画像と前記エッジ画像とを入力し、前記撮影画像から前記複数の対象物体をそれぞれ認識し、認識結果を出力する出力処理と、
を行う物体認識装置。 - 前記プロセッサは、前記エッジ画像取得処理を行う第1認識器を有し、
前記第1認識器は、複数の対象物体の2以上の対象物体が点又は線で接触する撮影画像を入力すると、前記撮影画像における前記点又は線で接触する箇所のみを示すエッジ画像を出力する、
請求項1に記載の物体認識装置。 - 前記第1認識器は、
複数の対象物体を含む撮影画像であって、前記複数の対象物体の2以上の対象物体が点又は線で接触する撮影画像を第1学習用画像とし、前記第1学習用画像における前記点又は線で接触する箇所のみを示すエッジ画像を第1正解データとして、前記第1学習用画像と前記第1正解データとのペアからなる第1学習データに基づいて機械学習された機械学習済みの第1学習モデルである、
請求項2に記載の物体認識装置。 - 前記プロセッサは、第2認識器を有し、
前記第2認識器は、前記撮影画像と前記エッジ画像とを入力し、前記撮影画像に含まれる前記複数の対象物体をそれぞれ認識し、認識結果を出力する、
請求項1から3のいずれか1項に記載の物体認識装置。 - 前記第2認識器は、複数の対象物体を含む撮影画像であって、前記複数の対象物体の2以上の対象物体が点又は線で接触する撮影画像と前記撮影画像における前記点又は線で接触する箇所のみを示すエッジ画像とを第2学習用画像とし、前記撮影画像における前記複数の対象物体の領域を示す領域情報を第2正解データとして、前記第2学習用画像と前記第2正解データとのペアからなる第2学習データに基づいて機械学習された機械学習済みの第2学習モデルである、
請求項4に記載の物体認識装置。 - 前記プロセッサは、第3認識器を備え、
前記プロセッサは、前記撮影画像と前記エッジ画像とを入力し、前記撮影画像の前記エッジ画像の部分を、前記撮影画像の背景色で置換する画像処理を行い、
前記第3認識器は、前記画像処理された前記撮影画像を入力し、前記撮影画像に含まれる前記複数の対象物体をそれぞれ認識し、認識結果を出力する、
請求項1から3のいずれか1項に記載の物体認識装置。 - 前記プロセッサの前記出力処理は、前記撮影画像から各対象物体を示す対象物体画像を切り出すマスク処理に使用する対象物体画像毎のマスク画像、前記対象物体画像の領域を矩形で囲む前記対象物体画像毎のバウンディングボックス情報、及び前記対象物体画像の領域のエッジを示す対象物体画像毎のエッジ情報のうちの少なくとも1つを、前記認識結果として出力する、
請求項1から6のいずれか1項に記載の物体認識装置。 - 前記複数の対象物体は、複数の薬剤である、
請求項1から7のいずれか1項に記載の物体認識装置。 - プロセッサが、以下の各ステップの処理を行うことにより複数の対象物体が撮影された撮影画像から前記複数の対象物体をそれぞれ認識する物体認識方法であって、
前記複数の対象物体の2以上の対象物体が点又は線で接触する前記撮影画像を取得するステップと、
前記撮影画像における前記点又は線で接触する箇所のみを示すエッジ画像を取得するステップと、
前記撮影画像と前記エッジ画像とを入力し、前記撮影画像から前記複数の対象物体をそれぞれ認識し、認識結果を出力するステップと、
を含む物体認識方法。 - 前記認識結果を出力するステップは、前記撮影画像から各対象物体を示す対象物体画像を切り出すマスク処理に使用する対象物体画像毎のマスク画像、前記対象物体画像の領域を矩形で囲む前記対象物体画像毎のバウンディングボックス情報、及び前記対象物体画像毎の領域のエッジを示すエッジ情報のうちの少なくとも1つを、前記認識結果として出力する、
請求項9に記載の物体認識方法。 - 前記複数の対象物体は、複数の薬剤である、
請求項9又は10に記載の物体認識方法。 - 複数の対象物体を含む撮影画像であって、前記複数の対象物体の2以上の対象物体が点又は線で接触する前記撮影画像を取得する機能と、
前記撮影画像における前記点又は線で接触する箇所のみを示すエッジ画像を取得する機能と、
前記撮影画像と前記エッジ画像とを入力し、前記撮影画像から前記複数の対象物体をそれぞれ認識し、認識結果を出力する機能と、
をコンピュータにより実現させる物体認識プログラム。 - 非一時的かつコンピュータ読取可能な記録媒体であって、請求項12に記載の物体認識プログラムが記録された記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020023743 | 2020-02-14 | ||
JP2020023743 | 2020-02-14 | ||
PCT/JP2021/004195 WO2021161903A1 (ja) | 2020-02-14 | 2021-02-05 | 物体認識装置、方法及びプログラム並びに学習データ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021161903A1 JPWO2021161903A1 (ja) | 2021-08-19 |
JP7338030B2 true JP7338030B2 (ja) | 2023-09-04 |
Family
ID=77292145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022500365A Active JP7338030B2 (ja) | 2020-02-14 | 2021-02-05 | 物体認識装置、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220375094A1 (ja) |
JP (1) | JP7338030B2 (ja) |
WO (1) | WO2021161903A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013015924A (ja) | 2011-06-30 | 2013-01-24 | Panasonic Corp | 薬剤計数装置およびその方法 |
JP2015068765A (ja) | 2013-09-30 | 2015-04-13 | 富士フイルム株式会社 | 薬剤認識装置及び方法 |
JP2018027242A (ja) | 2016-08-18 | 2018-02-22 | 安川情報システム株式会社 | 錠剤検知方法、錠剤検知装置および錠剤検知プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09231342A (ja) * | 1996-02-26 | 1997-09-05 | Sanyo Electric Co Ltd | 錠剤検査方法及び装置 |
-
2021
- 2021-02-05 WO PCT/JP2021/004195 patent/WO2021161903A1/ja active Application Filing
- 2021-02-05 JP JP2022500365A patent/JP7338030B2/ja active Active
-
2022
- 2022-08-08 US US17/882,979 patent/US20220375094A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013015924A (ja) | 2011-06-30 | 2013-01-24 | Panasonic Corp | 薬剤計数装置およびその方法 |
JP2015068765A (ja) | 2013-09-30 | 2015-04-13 | 富士フイルム株式会社 | 薬剤認識装置及び方法 |
JP2018027242A (ja) | 2016-08-18 | 2018-02-22 | 安川情報システム株式会社 | 錠剤検知方法、錠剤検知装置および錠剤検知プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021161903A1 (ja) | 2021-08-19 |
JPWO2021161903A1 (ja) | 2021-08-19 |
US20220375094A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101932009B1 (ko) | 다중 객체 검출을 위한 영상 처리 장치 및 방법 | |
CN110892445B (zh) | 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序 | |
JP6823727B2 (ja) | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム | |
WO2019167453A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JPWO2019039302A1 (ja) | 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム | |
JP6853891B2 (ja) | 薬剤監査装置、画像処理装置、画像処理方法及びプログラム | |
JP7125510B2 (ja) | 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム | |
US11704807B2 (en) | Image processing apparatus and non-transitory computer readable medium storing program | |
JP7338030B2 (ja) | 物体認識装置、方法及びプログラム | |
JP7375161B2 (ja) | 学習データ作成装置、方法、プログラム、及び記録媒体 | |
JP6330388B2 (ja) | 画像処理方法、画像処理装置、並びに、当該方法を実行するプログラム、及び、当該プログラムを記録する記録媒体 | |
WO2021182343A1 (ja) | 学習データ作成装置、方法、プログラム、学習データ及び機械学習装置 | |
JP6861825B2 (ja) | 薬剤識別装置、画像処理装置、画像処理方法及びプログラム | |
JP7374869B2 (ja) | 薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システム | |
US20230401698A1 (en) | Image processing method and image processing apparatus using same | |
WO2021006093A1 (ja) | 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム | |
JP7252158B2 (ja) | 学習方法、学習装置、画像解析装置、及びプログラム | |
NL2027213B1 (en) | Inspecting medicine objects based on hyperspectral imaging | |
JPH0735699A (ja) | 表面欠陥検出方法およびその装置 | |
Ha et al. | Glare and shadow reduction for desktop digital camera capture systems | |
CN112634397A (zh) | 数据处理方法、装置、计算机设备和计算机可读存储介质 | |
JP2024024863A (ja) | 画像解析装置、画像解析装置の制御方法、プログラム、及び画像解析システム。 | |
WO2023047166A1 (en) | Method, apparatus and device for recognizing stacked objects, and computer storage medium | |
JP2004070394A (ja) | ワークの良否識別用カラーパターンマッチング方法 | |
JPH1170922A (ja) | 画像マスク作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7338030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |