KR102598969B1 - 알약 검색 시스템 - Google Patents
알약 검색 시스템 Download PDFInfo
- Publication number
- KR102598969B1 KR102598969B1 KR1020210129112A KR20210129112A KR102598969B1 KR 102598969 B1 KR102598969 B1 KR 102598969B1 KR 1020210129112 A KR1020210129112 A KR 1020210129112A KR 20210129112 A KR20210129112 A KR 20210129112A KR 102598969 B1 KR102598969 B1 KR 102598969B1
- Authority
- KR
- South Korea
- Prior art keywords
- pill
- image
- information
- user
- user terminal
- Prior art date
Links
- 239000006187 pill Substances 0.000 title claims abstract description 300
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 239000003814 drug Substances 0.000 claims description 42
- 229940079593 drug Drugs 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 239000004615 ingredient Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000000955 prescription drug Substances 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002483 medication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010061623 Adverse drug reaction Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 description 1
- 206010070863 Toxicity to various agents Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- -1 contents Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000002552 dosage form Substances 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003168 generic drug Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000820 nonprescription drug Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Medicinal Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Epidemiology (AREA)
- Chemical & Material Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pharmacology & Pharmacy (AREA)
- Toxicology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
알약 검색 시스템이 개시된다. 알약 검색 시스템은, 미리 설정된 딥러닝(Deep Learning) 기반의 알약 추론 모델을 이용하여 알약 이미지를 분류하는 서비스 지원 서버 및 사용자로부터 알약 검색 명령을 입력받음에 따라 사용자의 알약을 촬영하고, 촬영에 따라 알약 이미지를 생성하여 서비스 지원 서버로 전송하고, 알약 이미지의 분류 결과를 수신하여 출력하고, 분류 결과에 따라 판별된 알약의 알약 정보를 출력하는 사용자 단말을 포함한다.
Description
본 발명은 알약 검색 시스템에 관한 것이다.
의약품은 환자의 질병을 치료하거나 예방하여 생명을 연장시키고 삶의 질을 개선시키는데 중요한 역할을 한다. 특히, 현대인의 식습관이나 생활습관의 다양화로 인해서 새로운 질병이 유행하고, 대한민국이 고령화 사회로 진입하면서 만성질환 유병률이 증가함에 따라 의약품의 사용량이 점점 증가하였으며, 그 종류도 점점 다양해지고 있는 실정이다. 또한, 의약품 중에서 의사의 처방에 의해 판매될 수 있는 전문의약품의 수도 매년 급격히 늘어나는 추세이다. 이러한 현상은 처방약에 대한 관리의 중요성이 어느 때보다 증가하고 있음을 시사할 수 있다.
의약품은 매우 다양한 성분과 함량, 제형을 가지고 있어, 동일한 성분이라 할지라도 오리지널 약과 제네릭(generic) 약으로 구분되는 다양한 상품명들이 있다. 각각의 의약품은 복용량과 복용방법이 다르기 때문에, 개개인이 복용하는 의약품의 이름을 인지하고, 어떤 질병에 사용되는 의약품인지 확인하고, 특정 의약품에 대한 적절한 용량과 용법에 따라 약물을 복용하는 것이 매우 중요하다.
한편, 의약품의 정보는 대부분 약 봉투나 약병에 레이블의 형태로 명시되어 있으나, 낱알의 형태일 경우 의약품 식별이 어려워 약의 정보를 알 수 없는 경우가 많다. 이런 이유로 대부분의 환자들은 본인이 복용하고 있는 의약품의 이름 및 용도나 주의사항과 같은 정보를 알지 못한 채 의약품을 복용하고 있다. 특히, 의약품 복용 개수와 종류가 많은 노인 환자나 의약품 레이블을 읽고 이해함에 어려움이 있을 수 있는 소비자의 경우, 의약품의 정보를 확인할 수 있는 방법이 매우 제한적일 수 있다. 현행법상 편의점 등에서 구매할 수 있는 일반의약품의 경우, 본인이 약품설명서를 해석해 증상에 맞게 복약계획을 세워야 하기 때문에, 이로 인해 약물중독 (drug poisoning) 또는 약화사고(fatal adverse drug reaction)가 발생할 위험성이 있다.
현재, 환자가 병원에서 처방 받은 전문의약품의 복약내역은 건강보험심사평가원의 DUR(Drug Utility Review) 시스템에 저장되며, 이를 의사 및 약사가 검색할 수 있는 권한은 없다. 다만, 동일 성분 처방 및 약물간 상호작용의 가능성이 있을 때, 알림 경고창으로 알 수 있을 뿐이다. 그리고, 의약품을 관리하는데 있어서, 의약품에 대한 정보를 획득하는 것은 매우 중요하다. 특히, 대형병원에서 반환된 의약품을 재분류하는 작업과 조제약에 대한 검수과정은 의료인들의 수작업에 의해 수행되고 있으며, 결과적으로 많은 시간이 소요되고 있다. 따라서, 의약품을 정확하게 식별하고, 그 정보를 빠르게 제공하는 기술은 환자와 같은 일반인 뿐만 아니라 의료진 모두에게 중요하다.
본 발명은 사용자가 처방 받아 구매했거나 처방전없이 직접 구매한 실물 알약을 촬영한 알약 이미지를 이용하여 알약을 식별하고, 식별된 알약의 세부 정보 및 안전 정보를 제공하는 알약 검색 시스템을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 알약 검색 시스템이 개시된다.
본 발명의 실시예에 따른 알약 검색 시스템은, 미리 설정된 딥러닝(Deep Learning) 기반의 알약 추론 모델을 이용하여 알약 이미지를 분류하는 서비스 지원 서버 및 사용자로부터 알약 검색 명령을 입력받음에 따라 상기 사용자의 알약을 촬영하고, 상기 촬영에 따라 상기 알약 이미지를 생성하여 상기 서비스 지원 서버로 전송하고, 상기 알약 이미지의 분류 결과를 수신하여 출력하고, 상기 분류 결과에 따라 판별된 알약의 알약 정보를 출력하는 사용자 단말을 포함한다.
상기 사용자 단말은, 상기 사용자가 촬영 화면 상에 나타나는 알약이 가이드 박스에 맞춰지도록 상기 사용자 단말과 알약과의 거리 및 상기 사용자 단말의 촬영 위치를 조정한 후, 촬영 명령을 입력하도록, 상기 촬영 화면의 중앙에 미리 설정된 크기의 상기 가이드 박스를 표시하고, 상기 가이드 박스의 크기로 상기 알약 이미지를 생성하고, 상기 생성된 알약 이미지를 크로핑(cropping)한다.
상기 서비스 지원 서버는, 상기 알약 추론 모델의 입력 규격에 맞추어 상기 알약 이미지의 크기를 조정하고, 상기 크기가 조정된 알약 이미지의 데이터 타입을 어레이(array) 자료형으로 변환하여 전처리를 수행한 후, 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여, 상기 어레이 자료형으로 변환된 알약 이미지 데이터를 입력으로 하여 상기 알약 이미지에 대한 분류 연산을 수행한다.
상기 서비스 지원 서버는 상기 알약 이미지 상의 알약이 복수개인 경우, 미리 설정된 딥러닝 기반의 알약위치 검출 모델을 이용하여 상기 알약 이미지에서 각 알약의 위치를 검출하고, 상기 검출된 위치 별로 알약의 이미지를 추출하여 복수의 분류 대상 알약 이미지를 생성한다.
상기 서비스 지원 서버는, 복수의 알약을 포함하는 알약 이미지의 데이터 타입을 어레이 자료형으로 변환하여 전처리를 수행한 후, 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여, 상기 어레이 자료형으로 변환된 알약 이미지 데이터를 입력으로 하여 상기 복수의 알약을 포함하는 알약 이미지에서 각 알약이 위치하는 사각형 영역을 검출하는 영역탐지 연산을 수행한다.
상기 사용자 단말은 상기 분류 결과에서 상기 알약 이미지와 일치확률(%)이 가장 높은 알약의 알약명 및 일치확률을 촬영 화면 상에 나타나는 알약의 주변에 표시한다.
상기 사용자 단말은 상기 판별된 알약이 상기 사용자가 찾는 알약이 아닌 경우, 상기 촬영된 알약을 새로운 알약으로 판단하고, 상기 촬영된 알약의 알약 정보를 수집하고, 상기 수집된 알약 정보를 상기 서비스 지원 서버가 저장하도록 상기 서비스 지원 서버로 상기 수집된 알약 정보를 전송한다.
상기 사용자 단말은 상기 사용자로부터 안전 정보 요청 명령을 입력받음에 따라 상기 서비스 지원 서버로 상기 판별된 알약의 안전 정보를 요청하여 수신하고, 상기 수신된 안전 정보를 출력한다.
상기 안전 정보는 상기 촬영된 알약이 안전 확인된 약물인지 여부, 촬영된 복수의 알약 중 병용 금지된 약물에 대한 정보 및 상기 촬영된 알약의 금기 정보를 포함한다.
본 발명의 실시예에 따른 알약 검색 시스템은, 사용자가 처방 받아 구매했거나 처방전없이 직접 구매한 실물 알약을 촬영한 알약 이미지를 이용하여 알약을 식별하고, 식별된 알약의 세부 정보 및 안전 정보를 제공함으로써, 사용자가 신속하고 정확하게 복용하는 알약의 정보를 확인할 수 있어, 부적절한 약물 사용을 용이하게 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 알약 검색 시스템의 구성을 개략적으로 예시하여 나타낸 도면.
도 2는 도 1의 본 발명의 실시예에 따른 알약 검색 시스템에서 수행되는 알약 검색 서비스 방법을 나타낸 흐름도.
도 3 내지 도 8은 도 2의 본 발명의 실시예에 따른 알약 검색 서비스 방법을 설명하기 위한 도면.
도 2는 도 1의 본 발명의 실시예에 따른 알약 검색 시스템에서 수행되는 알약 검색 서비스 방법을 나타낸 흐름도.
도 3 내지 도 8은 도 2의 본 발명의 실시예에 따른 알약 검색 서비스 방법을 설명하기 위한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 알약 검색 시스템의 구성을 개략적으로 예시하여 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 알약 검색 시스템은, 사용자 단말(100) 및 서비스 지원 서버(200)를 포함하여 구성될 수 있다.
사용자 단말(100)은 처방 받아 구매했거나 처방전없이 직접 구매한 실물 알약을 촬영하여 알약 이미지를 서비스 지원 서버(200)로 전송하고, 알약 이미지를 이용하여 검색된 알약 정보를 서비스 지원 서버(200)로부터 수신하여 출력한다.
서비스 지원 서버(200)는 딥러닝(Deep Learning) 기반의 알약 추론 모델을 이용하여 사용자 단말(100)로부터 수신한 알약 이미지를 분류하여 알약을 식별하고, 식별된 알약의 알약 정보를 검색하여 사용자 단말(100)로 전송한다.
또한, 서비스 지원 서버(200)는 알약 정보 검색을 위하여 알약 별 세부정보를 저장한 알약 데이터베이스를 구비할 수 있다. 예를 들어, 알약 데이터베이스는 식품의약품안전처의 의약품 안전 사용 서비스(DUR: Drug Utilization Review) 데이터, 의약품 낱알식별 데이터 등을 포함할 수 있다.
즉, 본 발명의 실시예에 따른 사용자 단말(100) 및 서비스 지원 서버(200)는 서로 연동하여 본 발명의 실시예에 따른 알약 검색 서비스를 제공할 수 있다. 여기서, 서비스 지원 서버(200)는 네트워크 연결 가능한 서버를 통해 구현될 수 있다. 예를 들어, 사용자 단말(100)은 실물 알약을 촬영하기 위한 카메라를 구비할 수 있으며, 실물 알약을 촬영하여 알약을 식별하는 기능을 제공하는 알약 어플리케이션이 설치될 수 있다. 그리고, 서비스 지원 서버(200)는 합성곱 신경망(CNN: Convolutional Neural Network)과 같은 사용자 단말(100)에서 수행되기 어려운 대용량의 연산을 수행하고, 사용자 단말(100)에서 저장하기 어려운 대용량의 데이터를 저장할 수 있다.
본 명세서에서 서버란 본 발명의 실시예에 따른 사용자 단말(100)과 연동하여 알약 검색 서비스를 제공하기 위한 각종 동작을 수행하는 컴퓨팅 디바이스로서, 하나 또는 둘 이상의 물리적 개체일 수 있다. 서버가 복수의 물리적 개체로 나뉘어 구현될 때, 각각의 물리적 개체의 관리 주체는 서로 상이할 수 있다. 서버에는 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미하는 DB가 포함될 수 있으며, DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
이와 같은 본 발명의 실시예에 따른 사용자 단말(100) 및 서비스 지원 서버(200)가 수행하는 알약 검색 서비스 방법에 대해서는 이후, 도 2 내지 도 8을 참조하여 상세히 후술하기로 한다.
도 2는 도 1의 본 발명의 실시예에 따른 알약 검색 시스템에서 수행되는 알약 검색 서비스 방법을 나타낸 흐름도이고, 도 3 내지 도 8은 도 2의 본 발명의 실시예에 따른 알약 검색 서비스 방법을 설명하기 위한 도면이다. 이하, 도 2를 중심으로, 본 발명의 실시예에 따른 알약 검색 서비스 방법을 설명하되, 도 3 내지 도 8을 참조하기로 한다.
S210 단계에서, 사용자 단말(100)은 사용자로부터 알약 검색 명령을 입력받는다.
예를 들어, 도 3을 참조하면, 사용자 단말(100)은 사용자의 실행 명령의 입력에 따라 도 3의 (a)에 도시된 바와 같이, 알약 어플리케이션을 구동하여 첫 메인 화면을 출력할 수 있다. 도 3의 (a)를 참조하면, 메인 화면에는 알약 검색 명령을 입력받는 제1 버튼(10) 및 안전 정보 요청 명령을 입력받는 제2 버튼(20)이 표시될 수 있다.
S215 단계에서, 사용자 단말(100)은 사용자의 알약을 촬영하여 알약 이미지를 생성하고, 생성된 알약 이미지를 서비스 지원 서버(200)로 전송한다. 여기서, 사용자의 알약은 사용자가 처방 받아 구매했거나 처방전없이 직접 구매한 실물 알약일 수 있다.
예를 들어, 사용자 단말(100)은 도 3의 (a)의 메인 화면에서 제1 버튼(10)을 통해 알약 검색 명령을 입력받으면, 카메라를 활성화시키고, 도 3의 (b)에 도시된 바와 같은 촬영 화면을 출력할 수 있다. 이때, 사용자 단말(100)은 촬영 화면의 중앙에 미리 설정된 크기의 가이드 박스(30)를 표시할 수 있다. 사용자는 촬영 화면 상에 나타나는 알약이 가이드 박스(30)에 맞춰지도록 사용자 단말(100)과 알약과의 거리 및 사용자 단말(100)의 촬영 위치를 조정한 후, 사용자 단말(100)로 촬영 명령을 입력할 수 있다. 이에 따라, 사용자 단말(100)은 가이드 박스(30)의 크기로 알약 이미지(35)를 생성하고, 생성된 알약 이미지(35)를 크로핑(cropping)할 수 있다.
한편, 사용자 단말(100)은 촬영 화면 상에 나타나는 알약이 복수개인 경우, 도 3의 (c)에 도시된 바와 같이, 촬영 화면 전체(40)를 알약 이미지로 생성할 수 있다. 예를 들어, 사용자 단말(100)은 물체 인식 기능을 이용하여 촬영 화면 상에 나타나는 복수의 알약을 각각 식별하여 알약이 복수개인 것을 인식할 수 있다.
S220 단계에서, 서비스 지원 서버(200)는 사용자 단말(100)로부터 알약 이미지를 수신함에 따라 알약 이미지 상의 알약이 1개인지 여부를 판단한다.
예를 들어, 사용자 단말(100)은 알약이 1개인 경우, 전술한 바와 같이 하나의 알약이 가이드 박스(30)에 맞춰진 알약 이미지를 서비스 지원 서버(200)로 전송할 수 있다. 그리고, 사용자 단말(100)은 알약이 복수개인 경우, 전술한 바와 같이, 복수의 알약이 포함된 촬영 화면 전체를 알약 이미지로 서비스 지원 서버(200)로 전송할 수 있다. 이를 통해, 서비스 지원 서버(200)는 수신된 알약 이미지에 포함된 알약이 1개 또는 복수개인지를 인식할 수 있다.
S225 단계에서, 서비스 지원 서버(200)는 알약 이미지 상의 알약이 1개인 경우, 미리 설정된 딥러닝 기반의 알약 추론 모델을 이용하여 알약 이미지를 분류한다.
예를 들어, 도 4를 참조하면, 서비스 지원 서버(200)는 알약 추론 모델의 입력 규격에 맞추어 알약 이미지의 크기를 조정(410)하고, 크기가 조정된 알약 이미지의 데이터 타입을 어레이(array) 자료형으로 변환(420)하여 수신된 알약 이미지에 대한 전처리를 수행한 후, 합성곱 신경망(CNN: Convolutional Neural Network)과 같은 딥러닝 알고리즘을 이용하여, 어레이 자료형으로 변환된 알약 이미지 데이터를 입력으로 하여 알약 이미지에 대한 분류 연산(430)을 수행할 수 있다. 여기서, 분류 연삭(430)은 보다 고차원의 특징 추출이 가능하도록 컨볼루션(Convolution) 연산을 반복하고, 잔류 연결(Residual Connection)을 이용하여 모델의 깊이를 확복하여 수행될 수 있다. 그리고, 분류 연산(430)의 결과는 입력된 알약 이미지에 대한 알약별 일치확률(%)이 될 수 있다.
S230 단계에서, 서비스 지원 서버(200)는 알약 이미지 상의 알약이 복수개인 경우, 미리 설정된 딥러닝 기반의 알약위치 검출 모델을 이용하여 알약 이미지에서 각 알약의 위치를 검출하고, 검출된 위치 별로 알약의 이미지를 추출하여 복수의 분류 대상 알약 이미지를 생성한다. 그리고, S225 단계로 진입한다.
예를 들어, 도 5를 참조하면, 서비스 지원 장치(200)는 복수의 알약을 포함하는 알약 이미지의 데이터 타입을 어레이 자료형으로 변환(510)하여 수신된 알약 이미지에 대한 전처리를 수행한 후, 합성곱 신경망(CNN: Convolutional Neural Network)과 같은 딥러닝 알고리즘을 이용하여, 어레이 자료형으로 변환된 알약 이미지 데이터를 입력으로 하여 알약 이미지에서 각 알약이 위치하는 사각형 영역을 검출하는 영역탐지 연산(520)을 수행할 수 있다. 여기서, 영역탐지 연산(520)은 다양한 크기의 알약에 대한 영역 검출을 위하여 다수의 위치 검출 레이어가 사용될 수 있다. 그리고, 영역탐지 연산(520)의 결과는 알약 이미지의 알약별 영역 위치 정보가 될 수 있다. 여기서, 영역 위치 정보는 검출된 사각형 영역의 좌측 상단 꼭지점 좌표, 가로 및 세로의 픽셀을 포함할 수 있다. 이에 따라, 서비스 지원 장치(200)는 검출된 각 영역의 이미지를 추출하고, 추출된 각 영역의 이미지를 크로핑하여, 복수의 분류 대상 알약 이미지를 생성할 수 있다.
S235 단계에서, 서비스 지원 서버(200)는 알약 이미지의 분류 결과를 사용자 단말(100)로 전송한다.
S240 단계에서, 사용자 단말(100)은 수신된 분류 결과를 출력한다.
예를 들어, 사용자 단말(100)은 도 6의 (a)에 도시된 바와 같이, 분류 결과에서 알약 이미지와 일치확률(%)이 가장 높은 알약의 알약명 및 일치확률을 촬영 화면 상에 나타나는 알약의 주변에 표시할 수 있다.
S245 단계에서, 사용자 단말(100)은 분류 결과에 따라 판별된 알약의 알약 정보를 출력한다.
예를 들어, 사용자 단말(100)은 도 6의 (b) 및 (c)에 도시된 바와 같이, 사용자에게 알약 정보의 출력 여부를 질의하는 메시지 팝업을 출력한 후, "예" 버튼의 클릭을 통해 알약 정보 출력 명령이 입력되면, 외형정보, 성분정보, 저장방법, 등록된 알약 이미지 등을 포함하는 판별된 알약의 세부정보를 출력할 수 있다. 이때, 사용자 단말(100)은 세부정보의 출력과 함께, 출력된 세부정보의 알약이 사용자가 찾는 알약인지 여부를 질의하는 메시지를 출력할 수 있다. 그리고, 사용자 단말(100)은 사용자로부터 찾는 알약이 아니라는 응답을 입력받으면, 도 6의 (d)에 도시된 바와 같이, 분류 결과에서 알약 이미지와 일치확률이 가장 높은 알약을 제외한 나머지 알약 중 미리 설정된 기준치 이상의 일치확률을 가지는 복수의 알약에 대한 알약 리스트를 출력할 수 있다.
예를 들어, 사용자 단말(100)은 분류 결과에 따라 필요한 알약 정보를 실시간으로 서비스 지원 서버(200)로 요청하여 획득할 수 있다. 여기서, 서비스 지원 서버(200)은 알약 정보 검색을 위하여 알약별 세부정보를 저장한 알약 데이터베이스에서, 사용자 단말(100)의 요청에 따라 필요한 알약 정보를 검색하여 사용자 단말(100)로 제공할 수 있다.
S250 단계에서, 사용자 단말(100)은 분류 결과에 따라 판별된 알약이 사용자가 찾는 알약이 아닌지 여부를 판단한다.
예를 들어, 사용자 단말(100)은 도 6의 (c)에 도시된 바와 같은 알약 정보를 출력한 후 사용자로부터 찾는 알약이 아니라는 응답을 입력받음에 따라 도 6의 (d)에 도시된 바와 같은 알약 리스트 출력과 함께, 출력된 알약 리스트에 사용자 찾는 알약이 존재하는지 여부를 질의하는 메시지를 출력할 수 있다. 그리고, 사용자 단말(100)은 알약 리스트에도 사용자가 찾는 알약이 미존재한다는 응답을 입력받으면, 비로소, 분류 결과에 따라 판별된 알약에는 사용자가 찾는 알약이 존재하지 않는 것으로 판단할 수 있다.
S255 단계에서, 사용자 단말(100)은 판별된 알약이 사용자가 찾는 알약이 아닌 경우, 촬영된 알약을 새로운 알약으로 판단하고, 촬영된 알약의 알약 정보를 수집하고, 수집된 새로운 알약 정보를 서비스 지원 서버(200)가 저장하도록 서비스 지원 서버(200)로 수집된 새로운 알약 정보를 전송한다.
예를 들어, 도 7을 참조하면, 사용자 단말(100)은 사용자로부터 알약의 모양 및 색상을 입력받고, 알약을 촬영하여 새로운 알약 이미지를 생성하고, 사용자로부터 알약의 제품명 또는 식별번호를 입력받을 수 있다. 이어, 사용자 단말(100)은 서비스 지원 서버(200)를 통해, 입력된 알약의 모양, 색상, 제품명, 식별번호 또는 알약 이미지에 해당하는 알약을 검색하고, 도 7의 (d)에 도시된 바와 같이, 검색된 복수의 알약에 대한 알약 리스트를 출력할 수 있다. 이어, 사용자 단말(100)은 사용자로부터 알약 리스트에서 어느 하나를 선택받으면, 선택된 알약의 알약 정보를 새로운 알약 정보로 서비스 지원 서버(200)로 전송할 수 있다. 여기서, 서비스 지원 서버(200)는 새로운 알약 정보를 사용자 단말(100)로부터 수신하여 알약 데이터베이스에 추가하여 저장할 수 있다.
S260 단계에서, 사용자 단말(100)은 판별된 알약이 사용자가 찾는 알약이 맞는 경우, 사용자로부터 해당 알약의 안전 정보 요청 명령을 입력받는다.
S265 단계에서, 사용자 단말(100)은 안전 정보 요청 명령의 입력에 따라 서비스 지원 서버(200)로 해당 알약의 안전 정보를 요청하여 수신하고, 수신된 안전 정보를 출력한다. 여기서, 서비스 지원 서버(200)는 알약 데이터베이스에 저장된 의약품 안전 사용 서비스(DUR) 데이터에서 해당 알약의 안전 정보를 검색하여 사용자 단말(100)로 제공할 수 있다.
예를 들어, 사용자 단말(100)은 도 8의 (a)의 메인 화면에서 제2 버튼(10)을 통해 안전 정보 요청 명령을 입력받으면, 도 8의 (b) 내지 (d)에 도시된 바와 같은 알약의 안전 정보를 출력할 수 있다. 여기서, 안전 정보는 촬영된 알약이 안전 확인된 약물인지 여부, 촬영된 복수의 알약 중 병용 금지된 약물에 대한 정보 및 촬영된 알약의 금기 정보를 포함할 수 있다. 즉, 사용자 단말(100)은 도 8의 (b) 내지 (d)에 도시된 바와 같이, 촬영된 알약이 안전 확인된 약물인지 여부 또는 촬영된 알약의 주의 여부를 화면 상에 표시하고, 촬영된 복수의 알약 중 병용 금지된 약물에 병용 금지를 나타내는 표시를 하고, 안전 확인된 약물에 대해서는 금기 대상에 대한 정보를 표시할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 사용자 단말
200: 서비스 지원 서버
10: 제1 버튼
20: 제2 버튼
30: 가이드 박스
35: 알약 이미지
40: 촬영 화면 전체
200: 서비스 지원 서버
10: 제1 버튼
20: 제2 버튼
30: 가이드 박스
35: 알약 이미지
40: 촬영 화면 전체
Claims (9)
- 알약 검색 시스템에 있어서,
미리 설정된 딥러닝(Deep Learning) 기반의 알약 추론 모델을 이용하여 알약 이미지를 분류하는 서비스 지원 서버; 및
사용자로부터 알약 검색 명령을 입력받음에 따라 상기 사용자의 알약을 촬영하고, 상기 촬영에 따라 상기 알약 이미지를 생성하여 상기 서비스 지원 서버로 전송하고, 상기 알약 이미지의 분류 결과를 수신하여 출력하고, 상기 분류 결과에 따라 판별된 알약의 알약 정보를 출력하는 사용자 단말을 포함하되,
상기 사용자 단말은, 상기 사용자가 촬영 화면 상에 나타나는 알약이 가이드 박스에 맞춰지도록 상기 사용자 단말과 알약과의 거리 및 상기 사용자 단말의 촬영 위치를 조정한 후, 촬영 명령을 입력하도록, 상기 촬영 화면의 중앙에 미리 설정된 크기의 상기 가이드 박스를 표시하고, 상기 가이드 박스의 크기로 제1 알약 이미지를 생성하고, 상기 생성된 제1 알약 이미지를 크로핑(cropping)하고,
상기 사용자 단말은, 물체 인식 기능을 이용하여 촬영 화면 상에 나타나는 복수의 알약을 각각 식별하여 알약이 복수개인 것을 인식한 경우, 촬영 화면 전체를 제2 알약 이미지로 생성하고,
상기 서비스 지원 서버는, 상기 제1 알약 이미지의 경우, 상기 알약 추론 모델의 입력 규격에 맞추어 상기 제1 알약 이미지의 크기를 조정하고, 상기 크기가 조정된 제1 알약 이미지의 데이터 타입을 어레이(array) 자료형으로 변환하여 전처리를 수행한 후, 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여, 상기 어레이 자료형으로 변환된 알약 이미지 데이터를 입력으로 하여 상기 제1 알약 이미지에 대한 분류 연산을 수행하고, 상기 분류 연산 결과, 상기 제1 알약 이미지에 대한 알약별 일치확률(%)을 산출하고,
상기 서비스 지원 서버는, 상기 제2 알약 이미지의 경우, 복수의 알약을 포함하는 상기 제2 알약 이미지의 데이터 타입을 어레이 자료형으로 변환하여 전처리를 수행한 후, 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여, 상기 어레이 자료형으로 변환된 알약 이미지 데이터를 입력으로 하여 상기 제2 알약 이미지에서 각 알약이 위치하는 사각형 영역을 검출하는 영역탐지 연산을 수행하고, 상기 영역탐지 연산 결과, 상기 검출된 사각형 영역의 좌측 상단 꼭지점 좌표, 가로 및 세로의 픽셀을 포함하는 알약별 영역 위치 정보를 산출하고, 상기 산출된 알약별 영역 위치 정보를 이용하여 검출된 각 사각형 영역의 이미지를 추출 및 크로핑하여, 복수의 분류 대상 알약 이미지를 생성한 후, 상기 복수의 분류 대상 알약 이미지에 대한 분류 연산을 수행하여 상기 복수의 분류 대상 알약 이미지에 대한 알약별 일치확률(%)을 산출하고,
상기 사용자 단말은, 일치확률(%)이 가장 높은 알약의 알약명 및 일치확률을 촬영 화면 상에 나타나는 알약의 주변에 표시하고, 외형정보, 성분정보, 저장방법 및 등록된 알약 이미지를 포함하는 판별된 알약의 세부정보를 출력하고, 사용자로부터 상기 판별된 알약이 찾는 알약이 아니라는 응답을 입력받으면, 일치확률이 가장 높은 알약을 제외한 나머지 알약 중 미리 설정된 기준치 이상의 일치확률을 가지는 복수의 알약에 대한 알약 리스트를 출력하고, 상기 출력된 알약 리스트에 사용자가 찾는 알약이 미존재한다는 응답을 입력받으면, 상기 촬영된 알약을 새로운 알약으로 판단하고, 상기 촬영된 알약의 알약 정보를 수집하고, 상기 수집된 알약 정보를 상기 서비스 지원 서버가 저장하도록 상기 서비스 지원 서버로 상기 수집된 알약 정보를 전송하고,
상기 사용자 단말은, 상기 사용자로부터 상기 판별된 알약이 찾는 알약이 맞다는 응답을 입력받거나, 상기 알약 리스트에 사용자가 찾는 알약이 존재한다는 응답을 입력받으면, 상기 사용자로부터 안전 정보 요청 명령을 입력받아 상기 서비스 지원 서버로 상기 판별된 알약 또는 상기 알약 리스트에 존재하는 상기 사용자가 찾는 알약의 안전 정보를 요청하여 수신하고, 상기 수신된 안전 정보를 출력하고,
상기 안전 정보는 상기 촬영된 알약이 안전 확인된 약물인지 여부, 촬영된 복수의 알약 중 병용 금지된 약물에 대한 정보 및 상기 촬영된 알약의 금기 정보를 포함하는 것을 특징으로 하는 알약 검색 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210129112A KR102598969B1 (ko) | 2021-09-29 | 2021-09-29 | 알약 검색 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210129112A KR102598969B1 (ko) | 2021-09-29 | 2021-09-29 | 알약 검색 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230046371A KR20230046371A (ko) | 2023-04-06 |
| KR102598969B1 true KR102598969B1 (ko) | 2023-11-07 |
Family
ID=85917985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210129112A KR102598969B1 (ko) | 2021-09-29 | 2021-09-29 | 알약 검색 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102598969B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101920466B1 (ko) * | 2017-08-18 | 2018-11-20 | 충북대학교 산학협력단 | 처방 약품 분석이 가능한 방법, 시스템 및 휴대형 단말 |
| KR101943217B1 (ko) * | 2017-08-31 | 2019-01-30 | 정혜원 | 의약품 식별 방법 및 이를 이용한 의약품 식별 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101977477B1 (ko) | 2017-07-12 | 2019-05-10 | 한양대학교 산학협력단 | 음각 표시 인식 방법 및 장치, 이를 이용하는 폐의약품 분류 장치 |
| KR102082430B1 (ko) * | 2018-02-20 | 2020-02-27 | 주식회사 에이아이트릭스 | 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법 |
| KR102531009B1 (ko) * | 2018-07-05 | 2023-05-16 | 십일번가 주식회사 | 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치 |
-
2021
- 2021-09-29 KR KR1020210129112A patent/KR102598969B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101920466B1 (ko) * | 2017-08-18 | 2018-11-20 | 충북대학교 산학협력단 | 처방 약품 분석이 가능한 방법, 시스템 및 휴대형 단말 |
| KR101943217B1 (ko) * | 2017-08-31 | 2019-01-30 | 정혜원 | 의약품 식별 방법 및 이를 이용한 의약품 식별 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230046371A (ko) | 2023-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140297329A1 (en) | Medication reconciliation system and method | |
| JP6051865B2 (ja) | 調剤確認装置 | |
| US20160253476A1 (en) | System and method for collecting and authenticating medication consumption | |
| US9008411B2 (en) | Method, system, and apparatus for identifying pharmaceutical products | |
| CN110276366A (zh) | 使用弱监督模型来检测对象 | |
| US10971257B2 (en) | Image acquisition for medical dose preparation system | |
| KR102009721B1 (ko) | 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법 | |
| KR101744123B1 (ko) | 의약품 식별 장치 및 그 방법 | |
| US10373016B2 (en) | Method and apparatus for medication identification | |
| JP2021121327A (ja) | 画像処理プログラム、および、画像処理装置 | |
| US20200357130A1 (en) | Apparatus and method for object recognition | |
| US20130117044A1 (en) | System and method for generating a medication inventory | |
| JP2018128931A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN101596147A (zh) | 一种药品发放的自动警示方法 | |
| KR102595904B1 (ko) | 의료상담 콘텐츠에 기초한 의료상담자 추천 방법 및 시스템 | |
| KR102598969B1 (ko) | 알약 검색 시스템 | |
| Crisóstomo et al. | Robotics services at home support | |
| US20110206238A1 (en) | Pharmaceutical recognition and identification system and method of use | |
| WO2022140879A1 (zh) | 一种身份识别方法、终端、服务器及系统 | |
| CN110600142B (zh) | 一种用于电子处方的身份认证系统及其工作方法 | |
| CN113517050A (zh) | 确定药方单的方法、装置、电子设备及存储介质 | |
| Roy | Identification in Drug Prescription Using Artificial Intelligence | |
| KR20210030586A (ko) | 의약품 예측 모델을 이용한 의약품 식별 방법 | |
| JP6047475B2 (ja) | 画像認識装置、画像認識方法及び画像認識プログラム | |
| WO2024134745A1 (ja) | 真贋判定支援情報作成補助装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |