KR102550769B1 - 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치 - Google Patents

인공지능을 이용한 의약품 오토 레이블링 방법 및 장치 Download PDF

Info

Publication number
KR102550769B1
KR102550769B1 KR1020220055239A KR20220055239A KR102550769B1 KR 102550769 B1 KR102550769 B1 KR 102550769B1 KR 1020220055239 A KR1020220055239 A KR 1020220055239A KR 20220055239 A KR20220055239 A KR 20220055239A KR 102550769 B1 KR102550769 B1 KR 102550769B1
Authority
KR
South Korea
Prior art keywords
drug
image
labeling
unknown
medicine
Prior art date
Application number
KR1020220055239A
Other languages
English (en)
Inventor
조성훈
Original Assignee
주식회사 제이엔제이테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이엔제이테크 filed Critical 주식회사 제이엔제이테크
Priority to KR1020220055239A priority Critical patent/KR102550769B1/ko
Application granted granted Critical
Publication of KR102550769B1 publication Critical patent/KR102550769B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/15—Medicinal preparations ; Physical properties thereof, e.g. dissolubility
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

본 발명에 따른 인공지능을 이용한 의약품 오토 레이블링 방법은, 의약품 이미지를 취득하는 단계; 상기 의약품 이미지를 이용하여, 상기 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 하기 위한 기계 학습을 수행하는 단계; 미지의 의약품 이미지를 취득하는 단계; 및 상기 기계 학습의 결과를 이용하여, 상기 미지의 의약품 이미지에 존재하는 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 하는 단계를 포함한다. 이러한 본 발명에 의하면, 미지의 의약품에 자동으로 레이블링 처리가 이루어지기 때문에 미지의 의약품을 종류별로 손쉽게 분류해낼 수 있게 된다.

Description

인공지능을 이용한 의약품 오토 레이블링 방법 및 장치{PHARMACEUTICAL AUTO-LABELING METHOD AND DEVICE USING ARTIFICIAL INTELLIGENCE}
본 발명은 인공지능을 이용하여 의약품의 레이블링 처리를 자동으로 구현하는 방법 및 장치에 관한 것이다.
약사는 환자의 처방전에 명시되어 있는 의약품을 통해 처방약을 조제하며, 환자는 약사가 조제한 처방약을 정해진 시간에 복용하여 자신의 병을 치료한다. 다만, 약사와 달리 비전문가인 환자는 자신이 복용하는 처방약이 어떠한 종류의 의약품들로 구성된 것인지 모르는 경우가 대부분이다. 환자는 처방약을 복용하더라도 체질의 특이성 등의 이유로 잘 낫지 않을 수도 있고, 심지어는 병세가 더 악화되는 경우도 발생할 수 있다. 이에 따라, 환자는 의약품에 대한 정보를 쉽게 조회함으로써, 자신의 체질 등에 따라 병세가 악화되지 않도록 주의를 기울일 필요가 있다.
환자가 의약품에 대한 정보를 쉽게 조회할 수 있도록 하기 위해서는, 환자가 복용하는 의약품 이미지가 스마트폰이나 PC 등에 업로드되면, 의약품에 대한 정보를 생성해서 스마트폰 화면이나 PC의 모니터에 제공하는 방안이 마련될 필요가 있다. 이때 의약품 이미지로부터 의약품에 대한 정보를 생성하기 위해서는, 의약품 이미지에 존재하는 의약품을 인식하고, 인식된 의약품을 종류별로 분류하는 과정이 먼저 이루어져야 한다. 다만, 이와 같은 의약품의 인식 및 분류 과정을 수행하기 위해서는 다량의 학습 데이터를 수집해야만 하고, 또한 수집한 다량의 학습 데이터는 의약품 분류에 적합하도록 일일이 가공되어야 하기 때문에, 많은 시간과 노력이 소모될 수밖에 없다.
한편, 하기의 특허문헌 1은 의약품을 향해 광을 조사하여 의약품에 대한 이미지 데이터를 생성하고, 생성된 이미지 데이터에서 각인 문자를 인식한 뒤, 인식된 각인 문자에 상응하는 의약품에 대한 정보를 외부에 표시하는 의약품 인식 장치에 관해 개시하고 있다. 그리고 하기의 특허문헌 2는 약품의 이미지 및 약품의 스펙트럼을 단계적으로 이용하여 조제 약품을 판별할 수 있는 장치 및 방법에 관해 개시하고 있다. 다만, 하기의 특허문헌 1 및 2 모두 의약품 이미지를 이용하여 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 하기 위해 기계 학습을 수행하고 있지는 않다.
공개특허공보 제10-2021-0030584호(2021.03.18.) 공개특허공보 제10-2020-0138921호(2020.12.11.)
본 발명은 미지의 의약품에 대한 정보를 생성하기 위하여, 미지의 의약품의 레이블링을 자동으로 처리할 수 있는 방안을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 비교적 소량의 학습 데이터만으로도 미지의 의약품을 인식하고 레이블링 처리를 할 수 있는 방안을 제공하는 것에 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 기술적 과제는 상술한 과제만으로 한정되는 것은 아니며, 언급되지 않은 또 다른 기술적 과제들은 아래에 기재된 발명의 설명으로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 인공지능을 이용한 의약품 오토 레이블링 방법은, (a) 의약품 이미지를 취득하는 단계; (b) 상기 의약품 이미지를 이용하여, 상기 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 하기 위한 기계 학습을 수행하는 단계; (c) 미지의 의약품 이미지를 취득하는 단계; 및 (d) 상기 (b)단계에서 수행된 기계 학습의 결과를 이용하여, 상기 미지의 의약품 이미지에 존재하는 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 하는 단계를 포함할 수 있다.
상기 (a)단계에서 취득되는 의약품 이미지는, 의약품의 원본 이미지일 수 있다.
또는, 상기 (a)단계에서 취득되는 의약품 이미지는, 의약품의 원본 이미지에 SIFT(Scale Invariant Feature Transform) 알고리즘이 적용된 것일 수 있다.
상기 (b)단계에서는, 상기 기계 학습 수행 시, RetinaNet, YOLO v5 및 ResNet152 중 어느 하나의 신경망 모델을 활용할 수 있다.
상기 (b)단계에서는, 상기 의약품의 외형이 상이할 경우, 상기 의약품에 대한 레이블링 처리가 상이하게 이루어지도록 기계 학습을 수행할 수 있다.
상기 (c)단계에서 취득되는 미지의 의약품 이미지는, 미지의 의약품의 원본 이미지일 수 있다.
또는, 상기 (c)단계에서 취득되는 미지의 의약품 이미지는, 미지의 의약품의 원본 이미지에 SIFT 알고리즘이 적용된 것일 수 있다.
상기 (d)단계에서는, 상기 미지의 의약품이 분절되었거나 파손된 비정상 의약품인 것으로 인식할 경우, 상기 비정상 의약품이 분절 또는 파손되지 않은 정상 상태를 추정하여 상기 미지의 의약품에 대한 레이블링 처리를 할 수 있다.
한편, 상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 인공지능을 이용한 의약품 오토 레이블링 장치는, 의약품 이미지를 취득하는 이미지 취득부; 상기 이미지 취득부에 의해 취득된 의약품 이미지를 이용하여, 상기 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 하기 위한 기계 학습을 수행하는 기계 학습 모델부; 및 상기 기계 학습의 결과를 이용하여, 미지의 의약품 이미지에 존재하는 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 하는 레이블링 처리부를 포함할 수 있다.
상기 의약품 이미지 취득부에 의해 취득되는 의약품 이미지는, 의약품의 원본 이미지일 수 있다.
또는, 상기 의약품 이미지 취득부에 의해 취득되는 의약품 이미지는, 의약품의 원본 이미지에 SIFT 알고리즘이 적용된 것일 수 있다.
상기 기계 학습 모델부는, 상기 기계 학습 수행 시, RetinaNet, YOLO v5 및 ResNet152 중 어느 하나의 신경망 모델을 활용할 수 있다.
상기 기계 학습 모델부는, 상기 의약품의 외형이 상이할 경우, 상기 의약품에 대한 레이블링 처리가 상이하게 이루어지도록 기계 학습을 수행할 수 있다.
상기 레이블링 처리부는, 상기 미지의 의약품이 분절되었거나 파손된 비정상 의약품인 것으로 인식할 경우, 상기 비정상 의약품이 분절 또는 파손되지 않은 정상 상태를 추정하여 상기 미지의 의약품에 대한 레이블링 처리를 할 수 있다.
본 발명은 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 위한 기계 학습을 수행한 뒤, 상기 기계 학습의 결과를 이용하여 미지의 의약품 이미지에 존재하는 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 하도록 구성되어 있다. 이러한 본 발명에 의하면, 미지의 의약품에 대한 레이블링 처리가 자동으로 이루어지기 때문에, 미지의 의약품을 종류별로 손쉽게 분류해낼 수 있게 된다.
본 발명에 의하면, 비교적 소량의 학습 데이터만 취득하더라도 미지의 의약품에 대한 레이블링 처리가 자동으로 이루어질 수 있으며, 또한 미지의 의약품 이미지에 대한 레이블링을 대량으로 처리할 수 있다.
게다가, 본 발명에 의하면, 미지의 의약품 이미지만 취득되면 미지의 의약품에 대한 레이블링 처리가 자동으로 이루어지기 때문에, 상기 레이블링 처리에 기초하여 미지의 의약품에 대한 정보를 생성하는 데에 본 발명이 적극적으로 활용될 수 있으며, 나아가 미지의 의약품에 대한 정보를 사용자에게 제공하는 데에도 본 발명이 적극적으로 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 의약품 오토 레이블링 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 의약품 오토 레이블링 장치의 블록도이다.
도 3은 신경망 모델의 학습 데이터를 예시적으로 나타낸 도면이다.
도 4a는 미지의 의약품 이미지를 예시적으로 나타낸 도면이고, 도 4b는 상기 미지의 의약품 이미지에 존재하는 미지의 의약품이 레이블링 처리된 모습을 예시적으로 나타낸 도면이다.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치에 대해 상세히 설명한다. 첨부한 도면들은 통상의 기술자에게 본 발명의 기술적 사상이 충분히 전달될 수 있도록 하기 위하여 어디까지나 예시적으로 제공되는 것으로서, 본 발명은 이하 제시되는 도면들로 한정되지 않고 다른 형태로 얼마든지 구체화될 수 있다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 본 명세서에 기재된 "...부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어로 구현되거나, 소프트웨어로 구현되거나, 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 본 명세서에서 '항목 A 또는 항목 B'라 함은, '항목 A'만을 지칭하거나, '항목 B'만을 지칭하거나, '항목 A와 항목 B' 모두를 지칭하는 것으로 이해할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 의약품 오토 레이블링 방법의 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 의약품 오토 레이블링 장치의 블록도이다. 이하에서는, 도 1 및 도 2를 함께 참고하여, 본 발명에 따른 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치에 대해 설명하기로 한다.
본 발명의 일 실시예에 따른 인공지능을 이용한 의약품 오토 레이블링 장치(1000)는 프로세서(100) 및 메모리(200)를 포함한다.
프로세서(100)는 스마트폰과 같은 단말(또는, PC)에 구비되는 MPU(Micro Processing Unit), CPU(Central Processing Unit), GPU(Graphics Processing Unit) 또는 TPU(Tensor Processing Unit)일 수 있다. 본 발명의 과제를 해결하기 위하여, 프로세서(100)는 이미지 취득부(110), 기계 학습 모델부(120) 및 레이블링 처리부(130)를 포함할 수 있다.
메모리(200)는 단말(또는, PC)에 구비되는 플래시 메모리, HDD(Hard Disk Drive) 또는 ROM(Read-Only Memory)일 수 있으며, 의약품의 원본 이미지와 미지의 의약품의 원본 이미지를 저장할 수 있다. 또한, 메모리(200)에는 후술하는 신경망 모델이 저장되어 있을 수 있다.
한편, 촬영부(10)는 단말(또는, PC)에 내장된 카메라일 수 있으며, 의약품의 원본 이미지와 미지의 의약품의 원본 이미지를 촬영하는 역할을 한다. 촬영부(10)가 촬영하는 원본 이미지에는 의약품(또는, 미지의 의약품) 자체의 이미지뿐만 아니라 배경 이미지도 포함될 수 있다.
본 발명에 따른 인공지능을 이용한 의약품 오토 레이블링 방법에 의하면, 맨 먼저 이미지 취득부(110)가 의약품 이미지를 취득하는 단계가 이루어질 수 있다(S100).
이때 이미지 취득부(110)에 의해 취득되는 의약품 이미지는 촬영부(10)에서 촬영된 의약품의 원본 이미지이거나, 인터넷 등의 통신을 통해 획득한 의약품의 원본 이미지일 수 있다. 이와 같이 이미지 취득부(110)가 의약품의 원본 이미지를 의약품 이미지로서 취득할 경우에는, 별도의 이미지 가공 절차를 거칠 필요가 없기 때문에 기계 학습 및 레이블링 처리 시간을 단축시킬 수 있고, 의약품 오토 레이블링 장치(1000)의 구성 비용 또한 절감할 수 있다.
이와 달리, 이미지 취득부(110)에 의해 취득되는 의약품 이미지는 촬영부(10)에서 촬영된 의약품의 원본 이미지 또는 인터넷 등의 통신을 통해 획득한 의약품의 원본 이미지에 SIFT(Scale Invariant Feature Transform) 알고리즘이 적용된 것일 수 있다. 의약품의 원본 이미지에 대한 SIFT 알고리즘 적용은 촬영부(10)에서 이루어지거나, 이미지 취득부(110)에서 이루어지거나, 촬영부(10)와 이미지 취득부(110) 이외의 별도 구성요소에서 이루어질 수 있다.
SIFT 알고리즘은 의약품의 원본 이미지 내 이미지 경사도(image gradient)에 기초하여 의약품의 외형을 표현하는 데 있어서 매우 효과적인 특징점 기술이다. 의약품의 원본 이미지에 SIFT 알고리즘이 적용될 경우 추출되는 특징점은 의약품의 원본 이미지의 스케일(scale) 및 로테이션(rotation)에 전혀 영향을 받지 않는다. 이에 따라, 의약품의 원본 이미지가 다수 개이고, 그 다수 개의 원본 이미지 간에 스케일 및 로테이션이 통일되어 있지 않더라도, 의약품의 원본 이미지에 SIFT 알고리즘이 적용될 경우에는 후술하는 기계 학습 모델부(120)에서 의약품을 인식하는 기계 학습이 훨씬 더 높은 정확도로 이루어질 수 있게 된다.
상기 S100 단계 이후, 기계 학습 모델부(120)는 상기 이미지 취득부(110)에 의해 취득된 의약품 이미지를 이용하여, 의약품 이미지에 존재하는 의약품을 인식하기 위한 기계 학습과, 상기 의약품에 대한 레이블링 처리를 하기 위한 기계 학습을 수행한다(S200).
여기서, 기계 학습 모델부(120)가 의약품 이미지에 존재하는 의약품을 인식하기 위한 기계 학습을 수행하는 이유는, 의약품 이미지 중 배경 이미지를 제외하고 오로지 의약품 부분만을 검출하기 위한 것이다. 그리고 기계 학습 모델부(120)가 의약품에 대한 레이블링 처리를 위한 기계 학습을 수행하는 이유는, 의약품을 종류별로 분류하기 위한 것이다.
기계 학습 모델부(120)가 이와 같은 기계 학습을 수행할 때에는, RetinaNet, YOLO v5 및 ResNet152 중 어느 하나의 신경망 모델을 활용할 수 있다. 위의 3가지 신경망 모델 모두 오픈소스 기반의 객체 인식 신경망 모델이며, 1-stage detector의 특징을 가지고 있다.
2-stage detector는 특정 이미지에서 관심 영역을 추정한 뒤(region proposal 과정), 상기 추정된 영역에 대해서만 객체를 인식한다(classification 과정). 2-stage detector는 객체 인식의 정확도 측면에서는 뛰어난 성능을 낼 수 있지만, 객체 인식 속도가 너무 느리다는 문제점이 있다. 이에 반해, 1-stage detector는 region proposal 과정과 classification 과정을 한꺼번에 진행하기 때문에, 2-stage detector에 비해 객체 인식 속도가 더 빠르다는 이점이 있다.
기계 학습 모델부(120)는 기계 학습 수행 시 동일한 네임(name)을 가지되, 파일 확장자는 상이한 2개의 파일을 이용할 수 있다. 상기 2개의 파일 중 하나의 파일은 의약품 이미지 파일(파일 확장자는 JPEG일 수 있음)이고, 다른 하나의 파일은 레이블(label)이 저장된 텍스트 파일(파일 확장자는 .txt일 수 있음)이다.
이미지 취득부(110)에 의해 의약품 이미지가 취득될 경우, 상기 의약품 이미지는 단말의 화면(또는, PC의 모니터)에 디스플레이될 수 있다.
도 3은 신경망 모델의 학습 데이터(총 32개)를 예시적으로 나타낸 도면이다.
의약품 오토 레이블링 장치(1000)의 운영자 또는 사용자는 단말의 화면(또는, PC의 모니터)에 디스플레이된 의약품 이미지에 대하여, 마우스 좌측 버튼의 클릭을 통해 의약품의 왼쪽 위에 경계 박스(bounding box)의 꼭지점을 설정할 수 있고, 이후 마우스의 드래그-앤-드롭(drag-and-drop)을 통해 도 3에 도시된 바와 같은 각 경계 박스의 설정을 완료할 수 있다. 여기서, 경계 박스는 의약품을 둘러싸는 사각 형상의 테두리일 수 있다.
또한, 의약품 오토 레이블링 장치(1000)의 운영자 또는 사용자는 상기 경계 박스로 설정된 의약품에 대하여 도 3에 도시된 바와 같은 레이블링 처리를 할 수 있다. 이때 운영자 또는 사용자는 의약품의 크기(가로 길이, 세로 길이 및 두께 중 적어도 하나를 포함함), 색상, 형상 및 모양(의약품에 기재되어 있는 글씨 또는 의약품에 존재하는 분할선 등을 포함함) 등 의약품의 외형에 따라 의약품의 레이블링 처리를 상이하게 할 수 있다. 즉, 의약품의 레이블링에는 의약품의 외형에 대한 정보가 포함될 수 있다.
이와 같이 의약품에 대한 경계 박스 설정 및 레이블링 처리가 이루어진 의약품 이미지는 기계 학습 모델부(120)에 학습 데이터로서 입력된다. 이 경우 기계 학습 모델부(120)는 메모리(200)에 저장된 신경망 모델을 로딩하여 의약품 이미지에 존재하는 의약품 인식 및 의약품에 대한 레이블링 처리를 위한 기계 학습을 수행할 수 있다. 이때 기계 학습 모델부(120)는 의약품의 외형이 상이할 경우, 의약품에 대한 레이블링 처리가 상이하게 이루어지도록 기계 학습을 수행할 수 있다. 이는 후술하는 미지의 의약품에 대한 레이블링 처리가 미지의 의약품의 외형에 따라 상이하게 이루어지도록 하기 위함이다.
기계 학습 모델부(120)에 의해 기계 학습 완료된 신경망 모델은 메모리(200)에 저장될 수 있다.
상기 S200 단계 이후, 이미지 취득부(110)는 미지의 의약품 이미지를 취득할 수 있다(S300). 여기서, 미지의 의약품이라 함은, 의약품의 종류를 알지 못하는 의약품 또는 레이블링 처리가 이루어지지 않은 의약품을 의미한다.
이미지 취득부(110)에 의해 취득되는 미지의 의약품 이미지는 촬영부(10)에서 촬영된 미지의 의약품의 원본 이미지이거나, 인터넷 등의 통신을 통해 획득한 미지의 의약품의 원본 이미지일 수 있다. 이와 같이 이미지 취득부(110)가 미지의 의약품의 원본 이미지를 미지의 의약품 이미지로서 취득할 경우에는, 별도의 이미지 가공 절차를 거칠 필요가 없기 때문에 미지의 의약품의 인식 및 레이블링 처리 시간을 단축시킬 수 있고, 의약품 오토 레이블링 장치(1000)의 구성 비용 또한 절감할 수 있다.
이와 달리, 이미지 취득부(110)에 의해 취득되는 미지의 의약품 이미지는 촬영부(10)에서 촬영된 의약품의 원본 이미지 또는 인터넷 등의 통신을 통해 획득한 의약품의 원본 이미지에 SIFT 알고리즘이 적용된 것일 수 있다. 미지의 의약품의 원본 이미지에 대한 SIFT 알고리즘 적용은 촬영부(10)에서 이루어지거나, 이미지 취득부(110)에서 이루어지거나, 촬영부(10)와 이미지 취득부(110) 이외의 별도 구성요소에서 이루어질 수 있다.
상술한 바와 같이, 미지의 의약품의 원본 이미지에 SIFT 알고리즘이 적용될 경우 추출되는 특징점은 미지의 의약품의 원본 이미지의 스케일 및 로테이션에 전혀 영향을 받지 않는다. 이에 따라, 상기 S100 단계에서 취득된 의약품의 원본 이미지와, 상기 S300 단계에서 취득된 미지의 의약품의 원본 이미지 간에 스케일 및 로테이션이 통일되어 있지 않더라도, 의약품의 원본 이미지에 SIFT 알고리즘이 적용될 경우에는, 후술하는 레이블링 처리부(130)에서 미지의 의약품을 인식하는 정확도가 대폭 향상될 수 있게 된다.
상기 S300 단계 이후, 레이블링 처리부(130)는 기계 학습 모델부(120)에 의해 수행된 기계 학습의 결과를 이용하여, 미지의 의약품 이미지에 존재하는 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 한다(S400).
이를 위해 레이블링 처리부(130)는 메모리(200)에 저장되어 있는 기계 학습의 결과를 로딩할 수 있다.
도 4a는 미지의 의약품 이미지를 예시적으로 나타낸 도면이고, 도 4b는 상기 미지의 의약품 이미지에 존재하는 미지의 의약품이 레이블링 처리된 모습을 예시적으로 나타낸 도면이다.
도 4a에 도시된 바와 같이 이미지 취득부(110)에 의해 미지의 의약품 이미지가 취득될 경우, 레이블링 처리부(130)는 도 4b에 도시된 바와 같이 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 할 수 있다.
보다 구체적으로, 상기 S200 단계에서 수행된 기계 학습의 결과 중 하나는 의약품의 이미지에서 의약품을 인식하는 것이므로, 레이블링 처리부(130)는 상기 기계 학습의 결과를 이용하여 미지의 의약품 이미지에서 미지의 의약품을 인식할 수 있다.
이때 레이블링 처리부(130)는 미지의 의약품의 크기(가로 길이, 세로 길이 및 두께 중 적어도 하나를 포함함), 색상, 형상 및 모양(의약품에 기재되어 있는 글씨 또는 의약품에 존재하는 분할선 등을 포함함) 등 미지의 의약품의 외형을 인식할 수 있다. 나아가, 레이블링 처리부(130)는 미지의 의약품이 분절이나 파손없는 정상 의약품인지, 아니면 분절이나 파손된 비정상 의약품인지를 인식할 수도 있다. 레이블링 처리부(130)가 이와 같이 미지의 의약품 이미지에서 미지의 의약품 인식을 완료한 경우에는, 미지의 의약품 주위에 사각형의 테두리(즉, 경계 박스)를 표시할 수 있다.
상기 S200 단계에서 수행된 기계 학습의 결과 중 다른 하나는 의약품에 대한 레이블링 처리에 관한 것이므로, 레이블링 처리부(130)는 상기 기계 학습의 결과를 이용하여 미지의 의약품에 대한 레이블링 처리를 할 수 있다. 이때 레이블링 처리부(130)는 미지의 의약품의 외형에 따라 미지의 의약품에 대한 레이블링 처리를 할 수 있다. 즉, 레이블링 처리부(130)는 상기 기계 학습의 결과를 참고하여, 미지의 의약품의 크기(가로 길이, 세로 길이 및 두께 중 적어도 하나를 포함함), 색상, 형상 및 모양(의약품에 기재되어 있는 글씨 또는 의약품에 존재하는 분할선 등을 포함함) 등 미지의 의약품의 외형에 따라 미지의 의약품의 레이블링 처리를 상이하게 할 수 있다.
나아가, 레이블링 처리부(130)는 미지의 의약품이 분절되었거나 파손된 비정상 의약품인 것으로 인식할 경우, 상기 비정상 의약품이 분절 또는 파손되지 않은 정상 상태를 추정할 수 있다. 예를 들어, 레이블링 처리부(130)는 미지의 의약품이 반으로 분절 또는 파손된 비정상 의약품인 것으로 인식할 경우, 분절 또는 파손되어버린 부분은 현재의 외형과 동일한 것으로 간주하여 비정상 의약품의 정상 상태를 추정할 수 있다.
레이블링 처리부(130)가 이와 같이 비정상 의약품의 정상 상태를 추정한 뒤에는, 기계 학습의 결과를 이용하여 미지의 의약품에 대한 레이블링 처리를 한다. 이때 레이블링 처리부(130)는 상기 레이블링 처리 시 비정상 의약품임을 의미하는 레이블을 포함시킬 수 있으며, 이에 의하면 미지의 의약품을 더 높은 정확도로 분류할 수 있게 된다.
레이블링 처리부(130)는 미지의 의약품에 대한 레이블링 처리를 마친 뒤, 레이블링 처리 결과를 단말의 화면(또는, PC의 모니터)에 디스플레이하여, 의약품 오토 레이블링 장치(1000)의 사용자가 이를 시각적으로 확인하도록 할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 위에서는 기계 학습 수행 시 활용되는 신경망 모델로서 RetinaNet, YOLO v5, ResNet152만을 언급하였으나, 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 하기 위한 기계 학습을 수행할 수 있는 신경망 모델이기만 하면, 그 이외의 신경망 모델도 얼마든지 활용할 수 있다. 따라서, 본 발명의 기술적 사상은 청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명의 기술적 사상의 범주 안에 속한다고 할 것이다.
100: 프로세서
110: 이미지 취득부
120: 기계 학습 모델부
130: 레이블링 처리부
200: 메모리
1000: 의약품 오토 레이블링 장치

Claims (14)

  1. (a) 의약품 이미지를 취득하는 단계;
    (b) 상기 의약품 이미지를 이용하여, 상기 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 하기 위한 기계 학습을 수행하는 단계;
    (c) 미지의 의약품 이미지를 취득하는 단계; 및
    (d) 상기 (b)단계에서 수행된 기계 학습의 결과를 이용하여, 상기 미지의 의약품 이미지에 존재하는 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 하는 단계;를 포함하고,
    상기 (b)단계에서는, 상기 기계 학습 수행 시, RetinaNet, YOLO v5 및 ResNet152 중 어느 하나의 신경망 모델을 활용하며, 의약품의 크기, 색상, 형상 및 모양 등 의약품의 외형에 따라 상기 의약품에 대한 레이블링 처리가 상이하게 이루어지도록 기계 학습을 수행하고,
    상기 (d)단계에서 상기 미지의 의약품이 분절되었거나 파손된 비정상 의약품인 것으로 인식할 경우, 분절 또는 파손되어버린 부분은 현재의 외형과 동일한 것으로 간주하여 상기 비정상 의약품이 분절 또는 파손되지 않은 정상 상태를 추정해 상기 미지의 의약품에 대한 레이블링 처리를 하는 것을 특징으로 하는 인공지능을 이용한 의약품 오토 레이블링 방법.
  2. 제1항에 있어서,
    상기 (a)단계에서 취득되는 의약품 이미지는,
    의약품의 원본 이미지인 것을 특징으로 하는, 인공지능을 이용한 의약품 오토 레이블링 방법.
  3. 제1항에 있어서,
    상기 (a)단계에서 취득되는 의약품 이미지는,
    의약품의 원본 이미지에 SIFT(Scale Invariant Feature Transform) 알고리즘이 적용된 것을 특징으로 하는, 인공지능을 이용한 의약품 오토 레이블링 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 (c)단계에서 취득되는 미지의 의약품 이미지는,
    미지의 의약품의 원본 이미지인 것을 특징으로 하는, 인공지능을 이용한 의약품 오토 레이블링 방법.
  7. 제1항에 있어서,
    상기 (c)단계에서 취득되는 미지의 의약품 이미지는,
    미지의 의약품의 원본 이미지에 SIFT 알고리즘이 적용된 것을 특징으로 하는, 인공지능을 이용한 의약품 오토 레이블링 방법.
  8. 삭제
  9. 의약품 이미지를 취득하는 이미지 취득부;
    상기 이미지 취득부에 의해 취득된 의약품 이미지를 이용하여, 상기 의약품 이미지에 존재하는 의약품을 인식하고 상기 의약품에 대한 레이블링 처리를 하기 위한 기계 학습을 수행하는 기계 학습 모델부; 및
    상기 기계 학습의 결과를 이용하여, 미지의 의약품 이미지에 존재하는 미지의 의약품을 인식하고 상기 미지의 의약품에 대한 레이블링 처리를 하는 레이블링 처리부;를 포함하고,
    상기 기계 학습 모델부는 상기 기계 학습 수행 시, RetinaNet, YOLO v5 및 ResNet152 중 어느 하나의 신경망 모델을 활용하며, 의약품의 크기, 색상, 형상 및 모양 등 의약품의 외형에 따라 상기 의약품에 대한 레이블링 처리가 상이하게 이루어지도록 기계 학습을 수행하고,
    상기 레이블링 처리부는 상기 미지의 의약품이 분절되었거나 파손된 비정상 의약품인 것으로 인식할 경우, 분절 또는 파손되어버린 부분은 현재의 외형과 동일한 것으로 간주하여 상기 비정상 의약품이 분절 또는 파손되지 않은 정상 상태를 추정해 상기 미지의 의약품에 대한 레이블링 처리를 하는 것을 특징으로 하는 인공지능을 이용한 의약품 오토 레이블링 장치.
  10. 제9항에 있어서,
    상기 의약품 이미지 취득부에 의해 취득되는 의약품 이미지는,
    의약품의 원본 이미지인 것을 특징으로 하는, 인공지능을 이용한 의약품 오토 레이블링 장치.
  11. 제9항에 있어서,
    상기 의약품 이미지 취득부에 의해 취득되는 의약품 이미지는,
    의약품의 원본 이미지에 SIFT 알고리즘이 적용된 것을 특징으로 하는, 인공지능을 이용한 의약품 오토 레이블링 장치.
  12. 삭제
  13. 삭제
  14. 삭제
KR1020220055239A 2022-05-04 2022-05-04 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치 KR102550769B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220055239A KR102550769B1 (ko) 2022-05-04 2022-05-04 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220055239A KR102550769B1 (ko) 2022-05-04 2022-05-04 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102550769B1 true KR102550769B1 (ko) 2023-07-03

Family

ID=87157820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220055239A KR102550769B1 (ko) 2022-05-04 2022-05-04 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102550769B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170110268A (ko) * 2016-03-23 2017-10-11 연세대학교 원주산학협력단 약품 검색 장치 및 방법
KR20200138921A (ko) 2019-06-03 2020-12-11 삼성전자주식회사 약품 판별 장치 및 방법
KR20210030584A (ko) 2019-09-10 2021-03-18 조용원 영상 데이터를 이용한 의약품 인식 장치 및 방법
KR20210094827A (ko) * 2020-01-22 2021-07-30 강형모 약 인식 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170110268A (ko) * 2016-03-23 2017-10-11 연세대학교 원주산학협력단 약품 검색 장치 및 방법
KR20200138921A (ko) 2019-06-03 2020-12-11 삼성전자주식회사 약품 판별 장치 및 방법
KR20210030584A (ko) 2019-09-10 2021-03-18 조용원 영상 데이터를 이용한 의약품 인식 장치 및 방법
KR20210094827A (ko) * 2020-01-22 2021-07-30 강형모 약 인식 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김대욱. "스마트폰으로 촬영된 알약 영상의 글자 및 형상 인식 방법". 서울대학교. 공학석사 학위논문. 2017년 공개 1부.* *

Similar Documents

Publication Publication Date Title
US11922626B2 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
JP6799302B2 (ja) 全身測定値抽出のためのシステムおよび方法
US10204260B2 (en) Device and method for classifying a condition based on image analysis
US20210228071A1 (en) System and method of otoscopy image analysis to diagnose ear pathology
US9886758B2 (en) Annotation of skin image using learned feature representation
US11688188B2 (en) System for automatic tumor detection and classification
Sivakumar et al. A novel method to detect bleeding frame and region in wireless capsule endoscopy video
Bansal et al. Deep transfer learning techniques with hybrid optimization in early prediction and diagnosis of different types of oral cancer
WO2019146357A1 (ja) 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム
Wei et al. Deep-learning approach to automatic identification of facial anomalies in endocrine disorders
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
Zhao et al. Fine-grained diabetic wound depth and granulation tissue amount assessment using bilinear convolutional neural network
KR102550769B1 (ko) 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치
US20230334868A1 (en) Surgical phase recognition with sufficient statistical model
Gencturk et al. Automated pre-diagnosis of acromegaly disease using local binary patterns and its variants
Naronglerdrit et al. Evaluation of Big Data based CNN Models in Classification of Skin Lesions with Melanoma
AU2021105721A4 (en) System and method for classifying skin cancer lesions using deep neural networks and transfer learning
Hua et al. Intelligent Data Extraction System for RNFL Examination Reports
KR20230075178A (ko) 교정 진단에 이용되는 복수개의 이미지를 디스플레이하는 방법, 디바이스 및 그 기록매체
Mohadikar et al. Advancement In Melanoma Detection: A Comprehensive Review On Deep Learning Based Classification Approaches
JP2024006591A (ja) 判定装置、プログラム、及び判定方法
Tošner Universal Optical Data Acquisition from Patient Monitor
Tošner Univerzální optická segmentace a záznam dat z pacientského monitoru

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant