KR102009721B1 - 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법 - Google Patents

약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법 Download PDF

Info

Publication number
KR102009721B1
KR102009721B1 KR1020180019725A KR20180019725A KR102009721B1 KR 102009721 B1 KR102009721 B1 KR 102009721B1 KR 1020180019725 A KR1020180019725 A KR 1020180019725A KR 20180019725 A KR20180019725 A KR 20180019725A KR 102009721 B1 KR102009721 B1 KR 102009721B1
Authority
KR
South Korea
Prior art keywords
drug
individual
prescription
drugs
information
Prior art date
Application number
KR1020180019725A
Other languages
English (en)
Inventor
감혜진
김주현
김영학
심우현
Original Assignee
재단법인 아산사회복지재단
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 울산대학교 산학협력단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020180019725A priority Critical patent/KR102009721B1/ko
Application granted granted Critical
Publication of KR102009721B1 publication Critical patent/KR102009721B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medicinal Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

복수의 약품 식별 방법이 제공된다. 상기 복수의 약품 식별 방법은 컴퓨터가 복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 인식하는, 개별 약품 이미지 인식단계; 상기 개별 약품 이미지에서 각 개별 약품의 특징정보를 파악하여, 각 약품의 후보 약품 리스트를 추출하는, 후보 약품 리스트 추출 단계; 상기 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하는 단계; 및 상기 분석기준으로 설정된 약품을 기준으로 각 약품을 약품의 크기별 및 색상별로 상대적으로 판단하여 분류하는, 약품 상대적 분류 단계를 포함한다.

Description

약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법{METHOD FOR IDENTIFYING A PLURALITY OF DRUGS USING A DRUG IMAGE AND DRUG INFORMATION}
본 발명은 복수의 약품 식별 방법에 관한 것으로, 보다 상세하게는 촬영된 복수의 약품이미지에서 각 개별 약품의 특징 파악 및 각 개별 약품의 상대적 분류를 이용하여 식별하는, 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법에 관한 것이다.
의약품은 환자의 질병을 치료하거나 예방하여 생명을 연장시키고 삶의 질을 개선시키는 중요한 역할을 한다. 특히 현대인의 식습관이나 생활습관의 다양화로 인해서 새로운 질병이나 만성질환이 유행함에 따라 의약품의 사용량이 점점 증가하고 있을 뿐만 아니라 그 종류도 점점 다양해지고 있는 실정이다. 또한 의약품 중에서 의사의 처방에 의해 판매될 수 있는 전문의약품의 수도 매년 급격히 늘어나는 추세에 있다. 이러한 현상은 처방약에 대한 관리의 중요성이 어느 때보다 증가하고 있음을 시사하는 것이다.
의약품은 매우 다양한 성분과 함량, 제형을 가지고 있어, 동일한 성분이라 할지라도 오리지널 약과 제네릭 약으로 구분되는 다양한 상품명들이 있다. 각각의 의약품은 복용량과 복용방법이 다르기 때문에, 개개인이 복용하는 의약품의 이름을 인지하고 어떤 질병에 사용되는 의약품인지 확인하고, 특정 의약품에 대한 적절한 용량과 용법에 따라 약물을 복용하는 것이 매우 중요하다.
의약품의 정보는 대부분 약 봉투나 약병에 레이블의 형태로 명시되어 있으나, 낱알의 형태일 경우 의약품 식별이 어려워 약의 정보를 알 수 없는 경우가 많다. 이런 이유로 대부분의 환자들은 본인이 복용하고 있는 의약품의 이름 및 용도나 주의사항과 같은 정보를 알지 못한 채 의약품을 복용하고 있다. 특히 의약품의 복용 개수와 종류가 많은 노인 환자나 의약품 레이블을 읽고 이해하기 어려울 수 있는 사회경제적 취약 계층 소비자의 경우 의약품의 정보를 확인할 수 있는 방법이 매우 제한적이다.
의료진의 의약품 식별 서비스에 대한 수요도 점점 증가하고 있는데, 환자 개개인이 복용하는 의약품에 대한 정보 부재는 약물중독(drug poisoning) 또는 약화사고(Fatal Adverse Drug Reaction) 발생 시 심각한 문제를 일으킬 수 있으므로, 특히 다른 병원에서 복용하는 의약품에 의한 사고가 발생할 경우 어떤 의약품을 복용했는지 알 수 있는 방법이 전혀 없는 실정이다. 따라서 의약품 식별 및 정보를 빠르게 제공할 수 있는 서비스를 개발하는 것은 환자의 약물 관련 문제를 파악함으로써, 질병을 치료하고 생명을 구하는데 필수적이라고 할 수 있다.
그러나 의약품 식별 서비스에 대한 일반인 및 전문인의 수요(needs)가 증대된 상황에도 불구하고 현재 의약품 식별과 관련한 기술이 매우 취약한 실정이다. 현재 약학정보원 및 기업상용제품(예: 드럭인포(비트컴퓨터))의 환자의 지참약을 확인하는 방식은 수작업으로서, 다양한 정보를 입력해야 하므로 시간이 많이 소요되며, 곧바로 의약품 정보를 얻을 수 없는 단점이 있다. 또한 검색할 수 있는 의약품의 개수도 제한적이다.
또한, 기존의 카메라 등으로 촬영하여 의약품을 식별하는 기술은, 하나의 약제만을 촬영하여 식별하는 방식이며, 촬영하는 환경(조명, 위치 등)에 따라서 크기, 색, 모양이 다르게 촬영됨으로 인하여 오류가 많이 발생한다.
따라서 일반 수요자나 의료기관의 의료진들에게도 의약품을 빠르고 정확하게 식별할 수 있는 도구에 대한 필요성이 매우 증대되어 있다.
한국공개특허공보 제10-2011-0077759호, 2011.07.07.
본 발명이 해결하고자 하는 과제는 복수의 약품을 식별하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 환자의 지참약뿐만 아니라, 처방에 따라 맞게 조제한 것인지 식별하는 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 처방에 따라 맞게 조제하였더라도, 처방 자체가 잘못된 것은 아닌지 식별하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 복수의 약품 식별 방법은, 컴퓨터가 복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 인식하는, 개별 약품 이미지 인식단계, 각 개별 약품 이미지에서 각 개별 약품의 특징정보를 파악하여, 각 약품의 후보 약품 리스트를 추출하는, 후보 약품 리스트 추출 단계, 상기 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하는 단계 및 상기 분석기준으로 설정된 약품을 기준으로 각 약품을 약품의 크기별 및 색상별로 상대적으로 판단하여 분류하는, 약품 상대적 분류 단계를 포함한다.
상기 개별 약품 이미지 인식 단계는 추출된 상기 복수 약품 이미지에서 개별 약품의 위치를 파악하여, 개별 약품 이미지를 분리하여 인식하거나, 상기 복수 약품 이미지의 추출 없이도, 복수의 약품 중 상기 개별 약품의 위치를 파악하여 상기 개별 약품 이미지를 별도로 추출하는 것이다.상기 각 개별 약품의 특징정보는, 개별 약품 이미지 또는 각 개별 약품의 외형정보를 학습한 학습모델에 의해 설정되는 것이다.
상기 약품 상대적 분류단계는, 상기 분석기준에 해당하는 기준 개별 약품의 복수 약품 이미지 내의 색상과 기준 색상을 비교하여 상기 복수 약품 이미지의 촬영조건을 획득하는 단계 및 상기 촬영조건을 상기 기준 개별 약품 외의 개별 약품에 적용하여 색상 정보를 파악하는 단계를 더 포함한다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 복수의 약품 식별 방법은, 이미지 촬영된 각 약품에 대하여 처방 조제 내역을 이용하여, 상기 각 약품이 처방시에 함께 처방되는 처방 약품 세트를 각각 추출하는, 처방 약품 세트 추출 단계 및 상기 후보 약품리스트, 상기 약품 상대적 분류 및 상기 각 약품에 대한 각각의 처방 약품 세트를 이용하여 상기 복수의 약품이 무엇인지 식별하는, 복수의 약품 식별 단계를 더 포함한다.
상기 처방 약품 세트는, 건강보험심사평가원의 처방 조제 내역, 특정 병원의 처방 조제 내역 및 특정 환자에 대한 처방 조제 내역 중 하나 이상을 포함하는 것이다.
상기 학습모델은, 외부 서버 데이터베이스에 저장되어 있는 각 개별 약품에 대한 정보 및 신규 약품으로서 약품 분류를 위한 분석이 완료된 정보를 학습 데이터로 이용하여 학습하는 것이다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 복수의 약품 식별 방법은, 처방전에 의해 입력된 약품과 비교하여, 하나로 포장되는, 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단하는, 처방 조제약 판단 단계를 더 포함한다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 복수의 약품 식별 방법은, 상기 복수의 약품이 처방전과 동일하게 조제된 경우에도, 약품의 효능·효과, 용법, 용량(1회 투여량 및 1일 투여 횟수를 포함), 제형 중 적어도 하나 이상을 포함한 상기 처방 약품 세트를 이용하여, 처방이 잘못되었다고 판단되는 경우, 잘못된 처방인 것을 사용자에게 표시하여 알려주는, 처방 정보 검증 단계를 더 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기 본 발명에 의하면, 복수의 약품 이미지를 획득하여, 각 약품의 특징정보 및 각 약품 간의 상대적 분류를 통하여 복수의 약품을 식별할 수 있다.
상기 본 발명에 의하면, 개별 약품 이미지 또는 각 개별 약품의 외형정보를 학습한 학습모델에 의해, 각 약품 간의 크기 및 색상을 기준으로 상대적 분류를 통하여 복수의 약품을 식별할 수 있다.
상기 본 발명에 의하면, 각 개별 약품의 처방 조제 내역을 이용하여 복수의 약품을 식별할 수 있다.
상기 본 발명에 의하면, 복수의 약품 이미지에 의해 식별된 약품을 처방전에 의해 입력된 약품과 비교하여 처방전에 맞게 조제된 것인지 확인할 수 있다.
상기 본 발명에 의하면, 복수의 약품이 처방전과 동일하게 조제된 경우에도, 약품의 효능·효과, 용법, 용량(1회 투여량 및 1일 투여 횟수를 포함), 제형 중 적어도 하나 이상을 포함한 상기 처방 약품 세트를 이용하여 처방 자체가 잘못된 것은 아닌지 확인할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 복수의 약품 식별 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 약품 상대적 분류 단계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 처방 조제 내역을 이용한 복수의 약품 식별 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 처방 약품 세트를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 건강보험심사평가원 조제 내역을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 복수의 약품 식별 시스템을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 복수의 약품이 처방전과 동일하게 조제되었는지 확인하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 처방전이 환자에게 적절하게 처방된 것인지 확인하는 방법을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)"등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서 주체는 전자 회로를 이용한 자동 계산기로서, 숫자 계산, 자동 제어, 데이터 처리, 사무 관리, 언어나 영상 정보 처리 등에 광범위하게 이용하는 컴퓨터이다.
또한, 서버는, 여러 대의 컴퓨터를 통신회선으로 연결하여 공동으로 사용하는 정보를 저장해 두거나 컴퓨터 자원을 많이 사용하는 프로그램을 모아놓은 컴퓨터이고, 서버로부터 필요한 정보를 검색하여 수신하거나, 서버에 있는 프로그램에서 처리할 자료를 송신하고 그 결과를 다시 수신하는 것을 클라이언트라고 한다.
따라서, 본 명세서에서 주체는 컴퓨터뿐만 아니라 서버 또는 클라이언트도 포함할 수 있다.
본 명세서에서 '복수 약품 이미지'는 복수의 약품(예를 들어, 1회에 복용하는 한 봉지에 들어있는 약품 전체)이 포함되어 획득된 이미지를 의미하고,
'개별 약품 이미지'는 각각의 개별 약품에 대한 이미지를 의미한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 복수의 약품 식별 방법을 설명하기 위한 도면이다.
도 1을 참고하면, 복수의 약품 식별 방법은, 컴퓨터가 복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 인식(S110)하고, 각 약품의 후보 약품 리스트를 추출한다(S120). 이후, 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하고(S130), 분석기준으로 설정된 약품을 기준으로 각 약품을 약품의 크기별 및 색상별로 상대적으로 판단하여 분류한다(S140).
복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 추출하는 단계(S110)의, 복수 약품 이미지는, 개별약품(낱알의 약품) 이미지를 추출하는 것이 아닌, 복수의 약품을 한번에 촬영하여 함께 촬영된 복수의 약품 이미지를 추출한 것이다. 또한, 복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 인식하는 단계(S110)는, 획득된 복수 약품 이미지에서 개별 약품의 위치를 파악하고 개별 약품 이미지를 분리하여 인식하거나, 복수 약품 이미지의 획득 없이도, 복수의 약품 중 개별 약품의 위치를 파악하여 개별 약품 이미지를 별도로 추출하는 것을 포함할 수 있다. 복수 약품 이미지 또는 개별 약품 이미지 추출에 있어서 촬영조건은, 항상 동일한 촬영조건을 유지하여 이미지를 추출하는 것이며, 촬영조건 등에 대한 자세한 설명은 도 2의 설명에서 후술한다.각 약품의 후보 약품 리스트를 추출하는 단계(S120)는, 개별 약품 이미지에서 각 개별 약품의 특징정보를 파악하여, 각 약품의 후보 약품 리스트를 추출한다. 각 개별 약품의 특징정보는, 개별 약품 이미지 또는 각 개별 약품의 외형정보를 학습한 학습모델에 의해 설정되는 것이다. 또한, 각 개별 약품의 특징정보로서, 개별 약품 이미지 또는 각 개별 약품의 외형정보는, 문자, 마크, 제형, 분할선, 크기 및 색상 등을 포함할 수 있다.
개별 약품 이미지 또는 각 개별 약품의 외형정보를 학습한 학습모델은, 외부 서버 데이터베이스에 저장되어 있는 각 개별 약품에 대한 정보 및 신규 약품으로서 약품 분류를 위한 분석이 완료된 정보를 학습 데이터로 이용하여 학습할 수 있다.
개별 약품 이미지 또는 각 개별 약품의 외형정보뿐만 아니라, 복수의 약품이 포함된 이미지 또한 학습모델의 학습데이터로 포함될 수 있다.
또한, 학습모델은 다양한 기계학습 알고리즘이 적용될 수 있고, 예를 들어, 딥러닝 모델이 적용됨에 따라 심층신경망으로 구축될 수 있다.
본 발명의 실시예들에 따른 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 컨볼루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 컨볼루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성 될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 컨볼루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.
본 발명의 실시예들에 따른 심층신경망은, 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)이 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)과 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.
특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘볼루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
콘볼루션 층은 입력 영상의 각 패치에 대하여 필터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성(Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상 시킨다.
통합 층(Pooling Layer 또는 Sub-samplingLayer)은 이전 콘볼루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.
이와 같이, 콘볼루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layerPerception)이나 서포트 벡터 머신(SVM: SupportVector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.
후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하는 단계는(S130), 복수 약품 이미지에서 약의 위치를 먼저 판단하여 추출된 각 개별 약품 이미지 또는 복수의 약품이 공존하는 상황에서 위치 파악이 되어 별도로 획득된 개별 약품 이미지에서의, 각 개별 약품의 특징정보 중에서, 가장 정확하다고 인식할 수 있는, 즉, 매칭 확률이 가장 높은 약품을 분석기준 약품으로 설정하는 단계이다. 만일, 파악된 개별 약품의 특징정보가 애매하거나 불확실한 약품을 분석기준으로 둔다면, 분석기준을 기반으로 약품의 크기 및 약품의 색상을 상대적으로 판단하여 분류하는 단계(S140)에서, 복수의 약품 전부가 잘못 식별될 수 있다. 따라서, 분석기준 약품은, 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 기준으로 설정하여야 한다.
분석기준을 기반으로 약품의 크기 및 약품의 색상을 상대적으로 판단하여 분류하는 단계(S140)는, 복수약품 이미지 상에서 분석기준 약품을 기준으로 하여, 약품의 크기 및 약품의 색상을 상대적으로 판단하여 분류한다. 분석기준 약품을 기준으로 하여 상대적인 크기 및 상대적인 색상의 판단을 함으로써, 정확하게 각 개별 약품의 크기 및 색상을 분류할 수 있으며, 상대적 분류를 통해, 기존의 개별약품의 이미지만을 이용하여 약품을 식별하는 방법에서, 정확한 크기 및 색상을 판단할 수 없는 문제점을 해결할 수 있다.
본 발명의 다른 실시예에 따른 서버의 복수의 약품 식별 방법은, 클라이언트로부터 획득되는 개별약품 이미지를 추출하고(S110), 각 약품의 후보 약품 리스트를 추출한다(S120). 이후, 추출된 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하고(S130), 분석기준을 기반으로 약품의 크기 및 약품의 색상을 상대적으로 판단하여 분류한다(S140).
또한, 본 발명의 또 다른 실시예에 따른 클라이언트의 복수의 약품 식별 방법은, 복수약품 이미지에서 하나 이상의 개별 약품 이미지를추출하여 서버에 전송하고, 각 약품의 후보 약품 리스트를 추출(S120), 추출된 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정(S130), 분석기준을 기반으로 약품의 크기 및 약품의 색상을 상대적으로 판단하여 분류(S140)에 의한 약품 식별 결과를 서버로부터 수신한다.
도 2는 본 발명의 일 실시예에 따른 약품 상대적 분류단계를 설명하기 위한 도면이다.
도 2를 참고하면, 약품 상대적 분류단계(S140)는, 분석기준에 해당하는 기준 개별 약품의 복수 약품 이미지 내의 색상과 기준색상을 비교하여 복수 약품 이미지의 촬영조건을 획득하고(S141), 촬영조건을 기준 개별 약품 외의 개별 약품에 적용하여 색상정보를 파악하는 것(S142)을 포함한다.
분석기준에 해당하는 기준 개별 약품의 복수 약품 이미지 내의 색상과 기준색상을 비교하여 복수 약품 이미지의 촬영조건을 획득하는 단계는(S141), 복수 약품 이미지 내에서 기준 개별 약품의 색상과 기준 개별 약품의 기준색상을 비교하여 획득된 차이를 적용하여 촬영조건을 획득한다. 복수 약품 이미지 내의 기준 개별 약품의 색상과 기준 개별 약품의 기준색상의 차이는, 예를 들어, 명도, 대비, 톤, 명암 등일 수 있으나, 차이로 보여지는 모든 것을 포함하며 상기 예에 한정되지 않는다.
촬영조건을 기준 개별 약품 외의 개별 약품에 적용하여 색상정보를 파악하는 단계(S142)는, 이미지 내의 색상과 기준색상을 비교하여 획득한 차이를 적용한 촬영조건을 이용하여, 복수의 약품 중, 기준 개별 약품 외의 나머지 개별 약품에 적용하여 색상정보를 파악한다.
기준 개별 약품의 색상이 확실하지 않거나, 기준 개별 약품과 나머지 개별 약품과의 상대적 분류에서도 나머지 개별 약품의 색상이 명확하지 않은 경우에는, 유사한 색상 후보군을 모두 약품 식별에 고려할 수 있다.
예를 들어, 조명 등에 의하여 촬영된 약품의 색이 노란색인지 주황색인지 구분이 어려운 경우, 노란색과 주황색 모두 약품 식별 후보군으로서 고려할 수 있다.
본 발명의 다른 실시예에 따른 서버의 약품 상대적 분류단계는, 서버는 분석기준에 해당하는 기준 개별 약품의 복수 약품 이미지 내의 색상과 기준색상을 비교하여 복수 약품 이미지의 촬영조건을 획득하여(S141), 촬영조건을 기준 개별 약품 외의 개별 약품에 적용하여 색상정보를 파악하여(S142) 클라이언트에 송신한다.
본 발명의 또 다른 실시예에 따른 클라이언트의 약품 상대적 분류단계는, 서버로부터, 분석기준에 해당하는 기준 개별 약품의 복수 약품 이미지 내의 색상과 기준색상을 비교하여 복수 약품 이미지의 촬영조건을 획득하여(S141), 촬영조건을 기준 개별 약품 외의 개별 약품에 적용하여 색상정보를 파악(S142)한 결과를 수신한다.
도 3은 본 발명의 일 실시예에 따른 처방 조제 내역을 이용한 복수의 약품 식별 방법을 설명하기 위한 도면이다.
본 발명의 또 다른 일 실시예는, 이미지 촬영된 각 약품에 대하여 처방 조제 내역을 이용하여, 각 약품이 처방 시에 함께 처방되는 처방 약품 세트를 각각 추출하고(S150), 후보 약품리스트, 약품 상대적 분류 및 각 약품에 대한 각각의 처방 약품 세트를 이용하여 복수의 약품이 무엇인지 식별하는 복수의 약품 식별단계(S160)를 더 포함한다.
이미지 촬영된 각 약품에 대하여 처방 조제 내역을 이용하여, 각 약품이 처방 시에 함께 처방되는 처방 약품 세트를 각각 추출하는 단계는(S150), 복수의 약품 중에서 각각의 약품들이 주로 함께 처방되는 약품들을 처방 약품 세트로서 각각 추출하는 것이다. 처방 약품 세트에 관한 자세한 설명은 도 4 및 도 5에서 후술한다.
복수의 약품 식별단계(S160)는, 복수 약품 이미지에서 각 개별 약품의 특징정보를 이용한 각 약품의 후보 약품 리스트, 분석기준 약품을 설정하고, 분석기준 약품을 기준으로 하여 각 약품의 크기 및 약품의 색상을 상대적으로 판단하여 분류하는 약품 상대적 분류 및 각 약품의 처방 약품 세트를 함께 이용하여 복수의 약품이 무엇인지 식별하는 단계이다.
본 발명의 또 다른 실시예에 따른 서버의 처방 조제 내역을 이용한 복수의 약품 식별 방법은, 서버가 이미지 촬영된 각 약품에 대하여 처방 조제 내역을 이용하여, 각 약품이 처방 시에 함께 처방되는 처방 약품 세트를 각각 추출하고(S150), 서버가 후보 약품리스트, 약품 상대적 분류 및 각 약품에 대한 각각의 처방 약품 세트를 이용하여 복수의 약품이 무엇인지 식별하는 것(S160)을 더 포함한다.
본 발명의 또 다른 실시예에 따른 클라이언트의 처방 조제 내역을 이용한 복수의 약품 식별 방법은, 서버로부터 이미지 촬영된 각 약품에 대하여 처방 조제 내역을 이용하여, 각 약품이 처방 시에 함께 처방되는 처방 약품 세트를 각각 추출한(S150) 후, 후보 약품리스트, 약품 상대적 분류 및 각 약품에 대한 각각의 처방 약품 세트를 이용하여 복수의 약품이 무엇인지 식별한 결과(S160)를 수신한다.
도 4는 본 발명의 일 실시예에 따른 처방 약품 세트를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 건강보험심사평가원 조제 내역을 설명하기 위한 도면이다.
도 4를 참고하면, 처방 약품 세트(200)는 건강보험심사평가원 조제 내역(210), 특정 병원 처방 조제 내역(220) 및 특정 환자 처방 조제 내역(230)을 포함한다.
건강보험심사평가원 처방 조제 내역은, 처방 조제 내역을 건강보험심사평가원에서 보유하며, 건강보험심사평가원에서 제공하는 처방 조제 내역이다.
건강보험심사평가원 조제 내역은, 도 5를 참고하면, 다빈도 처방 조제 내역(211), 질환별 다빈도 처방 조제 내역(212), 환자별 처방 조제 내역(213)을 포함한다.
다빈도 처방 조제 내역(211)은, 각 약품마다 다빈도로 함께 처방되는 약품들의 조제 내역이고, 질환별 다빈도 처방 조제 내역(212)은, 질환마다 다빈도로 함께 처방되는 약품들의 조제 내역, 환자별 처방 조제 내역(213)은 각 약품과 함께 처방된 약이 아니더라도 환자가 이전에 처방 받았던 약품의 처방 조제 내역이다.
다빈도 처방 조제 내역(211), 질환별 다빈도 처방 조제 내역(212), 질환별 다빈도 처방 조제 내역(213)을 이용하여 나머지 약품의 후보로서 약품의 외형뿐만 아니라, 처방 조제 내역을 통한 식별로서, 보다 더 높은 확률로 약품을 식별하여 정확도를 높일 수 있다.
특정 병원 처방 조제 내역(220)은, 해당 병원에서 처방한 것이 아닐지라도, 타 병원의 처방 조제 내역을 이용하여 약품 식별에 활용할 수 있다.
또한, 특정 환자 처방 조제 내역(230)은, 특정 기간 내에 특정 환자의 처방 조제 내역으로서, 예를 들어, 3개월 내, 특정 환자 기준으로 하여 처방 조제 내역을 이용하여 약품 식별에 활용할 수 있다.
따라서, 본 발명의 일 실시예에 따른 복수의 약품 식별 방법은, 복수의 약품 중 각각의 약품에 대한 학습이 요구되며, 또한, 각 약품의 상대적 크기 및 색 비교를 이용한 각각의 약품에 대한 학습 및 처방 조제 내역 학습을 이용하여 복수의 약품을 식별할 수 있다.
상술한 바에 의한, 본 발명의 일 실시예에 따른 복수의 약품 식별 방법을 이용하면, 의료진의 환자의 지참약 식별이 가능하고, 환자 개인이 처방받은 약품이 무엇인지 확인할 수 있도록 하는 약품 식별이 가능하다.
의료진의 환자의 지침약 식별은, 환자가 내원 시 가지고 온 의약품의 적정관리를 통하여 의약품의 중복 처방으로 인한 과용량 투약 및 약물상호작용 유발 등 치명적인 약화사고를 예방하고 투약관련 위험성을 최소화하기 위하여 필요하다.
또한, 추가 단계를 이용하여, 처방전과 동일한 약품이 조제된 것인지 식별할 수 있으며, 처방전과 동일한 약품이 조제된 것이라도 처방이 잘못된 것은 아닌지 확인할 수도 있다.
병원의 처방전과 다른 약품이 조제되어 환자에게 제공하는 경우, 복약 오류에 의해 발생하는 사고가 많으므로, 처방전과 동일한 약품이 조제된 것인지의 식별이 요구되며, 병원의 처방전과 동일한 약품이 조제되었더라도, 처방 자체가 환자의 체질, 만성질환 등에 의해 적절하지 않은 경우 사고가 발생하는 것을 방지할 필요가 있다.
상술한 약품의 식별, 처방전과 동일한 약품이 조제된 것인지 식별, 처방이 잘못된 것은 아닌지 확인하는 작업을 의료진이 수작업으로 모두 확인하는 것은 한계가 있다.
따라서, 본 발명의 복수의 약품 식별 방법에 의하면, 의료진의 수작업 없이도, 의료진의 환자의 지참약 식별이 가능하고, 환자 개인이 처방받은 약품이 무엇인지 확인할 수 있도록 하는 약품 식별이 가능하며, 처방전과 동일한 약품이 조제된 것인지 식별할 수 있으며, 처방전과 동일한 약품이 조제된 것이라도 처방이 잘못된 것은 아닌지 확인할 수도 있다.
본 발명의 일 실시예에 따른 복수의 약품 식별 방법은, 도 1 내지 도 3과 같이, 각 단계에 따라서 식별할 수 있으나, 후보 약품 리스트 추출, 약품 상대적 분류 및 각 약품에 대한 각각의 처방 약품 세트를 동시에 이용하여 학습하는 방법으로도 복수의 약품을 식별할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 복수의 약품 식별 시스템을 설명하기 위한 도면이다.
도 6을 참고하면, 복수의 약품 식별 시스템은 약품 데이터베이스(310), 학습 모델(320), 후보 약품리스트(330), 추가 데이터(340) 및 최종 약품리스트(350)의 순서로 구성된다.
약품 데이터베이스(310)는 도 1의 설명에서 상술한 바와 같이, 외부 서버 데이터베이스에 저장되어 있는 각 개별 약품에 대한 정보 및 신규 약품으로서 약품 분류를 위한 분석이 완료된 정보를 포함하는 것이다.
식별하고자 하는 복수 약품 이미지를 입력하면, 약품 데이터베이스(310)를 기초로 하여, 학습 모델(320)을 거쳐 개별 약품의 특징정보를 출력하고, 개별 약품의 특징정보를 이용하여 후보 약품리스트(330)를 출력한다.
학습 모델(320)은 도 1의 설명에서 상술한 다양한 기계학습 알고리즘이 적용될 수 있고, 예를 들어, 딥러닝 모델이 적용됨에 따라 심층신경망으로 구축될 수 있다.
개별 약품의 특징정보로는, 문자, 마크, 제형, 모양, 색상, 분할선 등을 포함할 수 있다.
후보 약품 리스트(330)가 출력되면, 후보 약품 리스트(330)에 추가 데이터(340)를 이용하여 학습하고, 최종 약품 리스트(350)를 출력한다.
추가 데이터(340)로는, 약품 상대적 분류(341)와 처방 약품 세트(342)의 데이터가 포함된다. 약품 상대적 분류(341) 및 처방 약품 세트(342)와 관련된 설명은 상술한 바와 같다.
도 7은 본 발명의 다른 실시예에 따른 복수의 약품이 처방전과 동일하게 조제되었는지 확인하는 방법을 설명하기 위한 도면이다.
도 7을 참고하면, 본 발명의 다른 실시예에 따른 복수의 약품이 처방전과 동일하게 조제되었는지 확인하는 방법은, 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단하는 것(S450)을 더 포함한다.
S410 내지 S440의 단계는, 도 1에서 상술한 S110 내지 S140의 단계와 동일하다.
촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단하는 단계(S450)는, 처방전에 의해 입력된 약품과 비교하여, 하나로 포장되는, 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단한다.
자동 조제에 대한 조제약 식별 측면에서, 조제뿐만 아니라, 조제약 식별 또한 자동으로 확인할 수 있다.
본 발명의 다른 실시예에 따른 서버의 복수의 약품이 처방전과 동일하게 조제되었는지 확인하는 방법은, 서버가 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단하여(S450) 클라이언트에게 송신하는 것을 더 포함한다.
본 발명의 또 다른 실시예에 따른 클라이언트의 복수의 약품이 처방전과 동일하게 조제되었는지 확인하는 방법은, 서버로부터 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단한 결과(S450)를 수신하는 것을 더 포함한다.
도 8은 본 발명의 다른 실시예에 따른 처방전이 환자에게 적절하게 처방된 것인지 확인하는 방법을 설명하기 위한 도면이다.
도 8을 참고하면, 본 발명의 다른 실시예에 따른 처방전이 환자에게 적절하게 처방된 것인지 확인하는 방법은, 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단하는 단계(S550) 및 처방이 잘못된 것은 아닌지 처방 정보를 검증하는 것(S560)을 더 포함한다.
S510 내지 S540의 단계는, 도 1에서 상술한 S110 내지 S140의 단계와 동일하며, S550의 단계는, 도 7에서 상술한 S450의 단계와 동일하다.
처방이 잘못된 것은 아닌지 처방 정보를 검증하는 단계는(S560), 복수의 약품이 처방전과 동일하게 조제된 경우에도, 처방 약품 세트를 이용하여 처방이 잘못되었다고 판단되는 경우, 잘못된 처방인 것을 사용자에게 표시하여 알려준다.
처방 약품 세트는 약품의 효능·효과, 용법, 용량(1회 투여량 및 1일 투여 횟수를 포함) 및 제형 중 적어도 하나 이상을 포함한 것으로, 처방 약품 세트를 이용하여 의사에 의해 처방이 잘못된 것은 아닌지 확인할 수 있다.
본 발명의 다른 실시예에 따른 서버의 처방전이 환자에게 적절하게 처방된 것인지 확인하는 방법은, 서버가, 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단하고(S550), 처방이 잘못된 것은 아닌지 처방 정보를 검증하여(S560) 클라이언트에 송신하는 것을 더 포함한다.
본 발명의 또 다른 실시예에 따른 클라이언트의 처방전이 환자에게 적절하게 처방된 것인지 확인하는 방법은, 서버로부터, 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단한 후(S550), 처방이 잘못된 것은 아닌지 처방 정보를 검증한(S560) 결과를 수신하는 것을 더 포함한다.
본 발명의 일 실시예에 따른 복수의 약품 식별 장치는, 개별 약품 이미지 인식부 및 제어부를 포함한다.
복수의 약품 식별 장치는 개별 장치일 수 있고, 서버장치 등의 컴퓨팅장치일 수도 있다.
일 실시예로, 복수의 약품 식별 장치가 개별 장치인 경우에는, 복수의 약품 식별 장치는 복수 약품 이미지를 직접 획득하여 식별하고, 다른 일 실시예로 복수 약품 식별 장치가 컴퓨팅장치인 경우에는, 복수의 약품 식별 장치는 복수 약품 이미지를 카메라를 포함한 장치로부터 유선 또는 무선으로 전송 받음으로써 복수 약품 이미지를 식별한다.
개별 약품 이미지 인식부는 복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 인식한다.
제어부는 각 개별 약품 이미지에서 각 개별 약품의 특징정보를 파악하여, 각 약품의 후보 약품 리스트를 추출하고, 상기 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하여, 상기 분석기준으로 설정된 약품을 기준으로 각 약품을 약품의 크기별 및 색상별로 상대적으로 판단하여 분류한다.
본 발명의 다른 일 실시예에 따른 복수의 약품 식별 장치에서, 개별 약품 이미지 인식부는, 추출된 복수 약품 이미지에서 개별 약품의 위치를 파악하여, 개별 약품 이미지를 분리하여 인식하거나, 복수 약품 이미지의 추출 없이도, 복수의 약품 중 개별 약품의 위치를 파악하여 개별 약품 이미지를 별도로 추출하는 것이다. 본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (12)

  1. 컴퓨터가 복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 인식하는, 개별 약품 이미지 인식단계;
    각 개별 약품 이미지에서 각 개별 약품의 특징정보를 파악하여, 각 약품의 후보 약품 리스트를 추출하는, 후보 약품 리스트 추출 단계;
    상기 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하는 단계; 및
    상기 분석기준으로 설정된 약품을 기준으로 상기 각 약품을 약품의 크기별 및 색상별로 상대적으로 판단하여 분류하는, 약품 상대적 분류 단계;
    를 포함하는, 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  2. 제1항에 있어서,
    상기 개별 약품 이미지 인식 단계는,
    추출된 상기 복수 약품 이미지에서 개별 약품의 위치를 파악하여, 개별 약품 이미지를 분리하여 인식하거나,
    상기 복수 약품 이미지의 추출 없이도, 복수의 약품 중 상기 개별 약품의 위치를 파악하여 개별 약품 이미지를 별도로 추출하는 것인, 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  3. 제1항에 있어서,
    상기 각 개별 약품의 특징정보는,
    상기 개별 약품 이미지 또는 각 개별 약품의 외형정보를 학습한 학습모델에 의해 설정되는 것인, 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  4. 제1항에 있어서,
    상기 약품 상대적 분류단계는,
    상기 분석기준에 해당하는 기준 개별 약품의 상기 복수 약품 이미지 내의 색상과 기준 색상을 비교하여 상기 복수 약품 이미지의 촬영조건을 획득하는 단계; 및
    상기 촬영조건을 상기 기준 개별 약품 외의 개별 약품에 적용하여 색상 정보를 파악하는 단계;를 더 포함하는,
    약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  5. 제1항에 있어서,
    이미지 촬영된 상기 각 약품에 대하여 처방 조제 내역을 이용하여, 상기 각 약품이 처방시에 함께 처방되는 처방 약품 세트를 각각 추출하는, 처방 약품 세트 추출 단계; 및
    상기 후보 약품리스트, 상기 약품 상대적 분류 및 상기 각 약품에 대한 각각의 처방 약품 세트를 이용하여 상기 복수의 약품이 무엇인지 식별하는, 복수의 약품 식별 단계;를 더 포함하는,
    약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  6. 제5항에 있어서,
    상기 처방 약품 세트는,
    건강보험심사평가원의 처방 조제 내역, 특정 병원의 처방 조제 내역 및 특정 환자에 대한 처방 조제 내역 중 하나 이상을 포함하는 것인,
    약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  7. 제3항에 있어서,
    상기 학습모델은,
    외부 서버 데이터베이스에 저장되어 있는 각 개별 약품에 대한 정보 및 신규 약품으로서 약품 분류를 위한 분석이 완료된 정보를 학습 데이터로 이용하여 학습하는 것인,
    약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  8. 제1항에 있어서,
    처방전에 의해 입력된 약품과 비교하여, 하나로 포장되는, 촬영된 복수의 약품 각각이 처방전과 동일하게 조제된 것인지 판단하는, 처방 조제약 판단 단계;
    를 더 포함하는, 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  9. 제8항에 있어서,
    상기 복수의 약품이 처방전과 동일하게 조제된 경우에도, 약품의 효능·효과, 용법, 용량(1회 투여량 및 1일 투여 횟수를 포함), 제형 중 적어도 하나 이상을 포함한 처방 약품 세트를 이용하여, 처방이 잘못되었다고 판단되는 경우, 잘못된 처방인 것을 사용자에게 표시하여 알려주는, 처방 정보 검증 단계;
    를 더 포함하고,
    상기 처방 약품 세트는,
    이미지 촬영된 상기 각 약품에 대하여 처방 조제 내역을 이용하여, 상기 각 약품이 처방시에 함께 처방되는 것인, 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 복수의 약품 식별 프로그램.
  11. 복수 약품 이미지에서 하나 이상의 개별 약품 이미지를 인식하는, 개별 약품 이미지 인식부; 및
    각 개별 약품 이미지에서 각 개별 약품의 특징정보를 파악하여, 각 약품의 후보 약품 리스트를 추출하고,
    상기 후보 약품 리스트 중에서 매칭 확률이 가장 높은 약품을 분석기준으로 설정하고,
    상기 분석기준으로 설정된 약품을 기준으로 각 약품을 약품의 크기별 및 색상별로 상대적으로 판단하여 분류하는 제어부;
    를 포함하는, 복수의 약품 식별 장치.
  12. 제11항에 있어서,
    상기 개별 약품 이미지 인식부는,
    추출된 상기 복수 약품 이미지에서 개별 약품의 위치를 파악하여, 개별 약품 이미지를 분리하여 인식하거나,
    상기 복수 약품 이미지의 추출 없이도, 복수의 약품 중 상기 개별 약품의 위치를 파악하여 개별 약품 이미지를 별도로 추출하는 것인, 복수의 약품 식별 장치.
KR1020180019725A 2018-02-20 2018-02-20 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법 KR102009721B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180019725A KR102009721B1 (ko) 2018-02-20 2018-02-20 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180019725A KR102009721B1 (ko) 2018-02-20 2018-02-20 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법

Publications (1)

Publication Number Publication Date
KR102009721B1 true KR102009721B1 (ko) 2019-08-12

Family

ID=67624663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180019725A KR102009721B1 (ko) 2018-02-20 2018-02-20 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법

Country Status (1)

Country Link
KR (1) KR102009721B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210043826A (ko) 2019-10-14 2021-04-22 주식회사 베이리스 딥러닝 기반의 증가적 상품 정보 획득 시스템 및 그 획득 방법
KR20210109950A (ko) * 2020-02-28 2021-09-07 한밭대학교 산학협력단 약품선별장치 및 선별방법
KR102412874B1 (ko) * 2021-07-27 2022-06-24 주식회사 제이엔제이테크 조제검수장치의 영상 감시 시스템 및 방법
US20220261982A1 (en) * 2021-02-18 2022-08-18 Parata Systems, Llc Methods, systems, and computer program product for validating drug product package contents based on characteristics of the drug product packaging system
KR102454062B1 (ko) * 2021-07-26 2022-10-14 조현석 인공지능을 이용한 약품 이미지 식별 및 정보 제공 방법, 및 이를 이용하는 장치
KR20230046079A (ko) * 2021-09-29 2023-04-05 단국대학교 천안캠퍼스 산학협력단 알약 디스펜서
KR102533729B1 (ko) 2023-01-20 2023-05-16 문성필 의약품 주문 및 고객 정보 기반 의약품 수요 예측 및 재고 관리 방법, 장치 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07287753A (ja) * 1994-04-19 1995-10-31 N T T Data Tsushin Kk 物品識別システム
KR20110077759A (ko) 2009-12-30 2011-07-07 (주)제이브이엠 조제 약품 자동 검사 시스템 및 그 방법
KR20110124931A (ko) * 2010-05-12 2011-11-18 한미홀딩스 주식회사 약품 정보 제공 서비스 방법
KR101396713B1 (ko) * 2013-06-13 2014-05-16 김동건 약 영상을 이용한 약 식별장치
KR101744123B1 (ko) * 2015-12-29 2017-06-08 주식회사 퍼스트디스 의약품 식별 장치 및 그 방법
KR101831783B1 (ko) * 2016-10-27 2018-02-27 주식회사 처음마음 출력 인쇄물에 포함된 이미지 및 텍스트 인식 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07287753A (ja) * 1994-04-19 1995-10-31 N T T Data Tsushin Kk 物品識別システム
KR20110077759A (ko) 2009-12-30 2011-07-07 (주)제이브이엠 조제 약품 자동 검사 시스템 및 그 방법
KR20110124931A (ko) * 2010-05-12 2011-11-18 한미홀딩스 주식회사 약품 정보 제공 서비스 방법
KR101396713B1 (ko) * 2013-06-13 2014-05-16 김동건 약 영상을 이용한 약 식별장치
KR101744123B1 (ko) * 2015-12-29 2017-06-08 주식회사 퍼스트디스 의약품 식별 장치 및 그 방법
KR101831783B1 (ko) * 2016-10-27 2018-02-27 주식회사 처음마음 출력 인쇄물에 포함된 이미지 및 텍스트 인식 장치 및 그 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210043826A (ko) 2019-10-14 2021-04-22 주식회사 베이리스 딥러닝 기반의 증가적 상품 정보 획득 시스템 및 그 획득 방법
KR20210109950A (ko) * 2020-02-28 2021-09-07 한밭대학교 산학협력단 약품선별장치 및 선별방법
KR102494693B1 (ko) 2020-02-28 2023-02-02 한밭대학교 산학협력단 약품선별장치 및 선별방법
US20220261982A1 (en) * 2021-02-18 2022-08-18 Parata Systems, Llc Methods, systems, and computer program product for validating drug product package contents based on characteristics of the drug product packaging system
WO2022177954A1 (en) * 2021-02-18 2022-08-25 Parata Systems, Llc Methods, systems, and computer program product for validating drug product package contents based on characteristics of the drug product packaging system
KR102454062B1 (ko) * 2021-07-26 2022-10-14 조현석 인공지능을 이용한 약품 이미지 식별 및 정보 제공 방법, 및 이를 이용하는 장치
KR102412874B1 (ko) * 2021-07-27 2022-06-24 주식회사 제이엔제이테크 조제검수장치의 영상 감시 시스템 및 방법
KR20230046079A (ko) * 2021-09-29 2023-04-05 단국대학교 천안캠퍼스 산학협력단 알약 디스펜서
KR102618472B1 (ko) * 2021-09-29 2023-12-28 단국대학교 천안캠퍼스 산학협력단 알약 디스펜서
KR102533729B1 (ko) 2023-01-20 2023-05-16 문성필 의약품 주문 및 고객 정보 기반 의약품 수요 예측 및 재고 관리 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
KR102009721B1 (ko) 약품 이미지와 약품 정보를 이용한 복수의 약품 식별 방법
US10229321B2 (en) Automated pharmaceutical pill identification
US20200258608A1 (en) Medical database and system
US11670100B2 (en) Method and apparatus for recognition of patient activity
US20160253476A1 (en) System and method for collecting and authenticating medication consumption
US20120316897A1 (en) Method and Apparatus for Monitoring Medication Adherence
US20140156298A1 (en) Modularization for prescription fulfillment and adherence
US20140156064A1 (en) Techniques to deliver multiple medications in a synchronized manner
KR20180002234A (ko) 치매 조기 진단을 위한 스마트 검사장치 및 그 방법
CN111243704A (zh) 一种在线分析系统
US11461920B2 (en) Apparatus and method for object recognition
US20180204091A1 (en) Method and Apparatus for Medication Identification
EP3329403A1 (en) Reliability measurement in data analysis of altered data sets
US20210298994A1 (en) Method of monitoring medication regimen with portable apparatus
US12009080B2 (en) Systems and methods for inaccuracy detection and prevention within prescription information
CN115132330A (zh) 一种全流程药物风险管理的方法及系统
CA2836162A1 (en) Modularization for prescription fulfillment and adherence
KR20210030586A (ko) 의약품 예측 모델을 이용한 의약품 식별 방법
KR102598969B1 (ko) 알약 검색 시스템
CN115545955B (zh) 医疗档案数据中异常数据的检测方法、装置和电子设备
CN114373183A (zh) 一种处方审核系统
CN113284614A (zh) 异常就诊的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant