KR102082430B1 - 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법 - Google Patents

의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법 Download PDF

Info

Publication number
KR102082430B1
KR102082430B1 KR1020180020049A KR20180020049A KR102082430B1 KR 102082430 B1 KR102082430 B1 KR 102082430B1 KR 1020180020049 A KR1020180020049 A KR 1020180020049A KR 20180020049 A KR20180020049 A KR 20180020049A KR 102082430 B1 KR102082430 B1 KR 102082430B1
Authority
KR
South Korea
Prior art keywords
grain
classifier
learning
image
symbol
Prior art date
Application number
KR1020180020049A
Other languages
English (en)
Other versions
KR20190105157A (ko
Inventor
유진규
김세훈
Original Assignee
주식회사 에이아이트릭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이트릭스 filed Critical 주식회사 에이아이트릭스
Priority to KR1020180020049A priority Critical patent/KR102082430B1/ko
Publication of KR20190105157A publication Critical patent/KR20190105157A/ko
Application granted granted Critical
Publication of KR102082430B1 publication Critical patent/KR102082430B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G06K9/6255—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/4652—
    • G06K9/481—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

본 명세서에서 개시되는 실시예들은 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법에 관한 것으로서 심층 신경망을 통해 낱알에 표기된 기호, 색상, 모양 등을 인식하여 낱알을 식별하는 장치 및 방법에 관한 것이다. 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 낱알 식별 장치가 수행하는 낱알 식별 방법으로서, 각 낱알의 이미지에 대한 심층 학습을 수행하는 단계; 및 상기 학습에 기초하여 식별 대상에 대한 후보군을 제공하는 단계를 포함하는, 낱알 식별 방법이 개시된다.

Description

의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법{APPARATUS AND METHOD FOR DETECTING MEDICINAL PRODUCTS}
본 명세서에서 개시되는 실시예들은 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법에 관한 것으로서 딥 뉴럴 네트워크를 통해 낱알에 표기된 기호, 색상, 모양 등을 인식하여 낱알을 식별하는 장치 및 방법에 관한 것이다.
최근 인터넷의 보급이 보편화됨에 따라 분야와 무관하게 각종 정보에 대한 일반 사용자들의 접근이 용이해졌다.
관련하여 선행기술 문헌인 한국공개특허 제10-2017-0139188호에서는 '상품 정보 검색 공유 서비스 제공 방법'을 개시하여 사용자로 하여금 다양한 상품 정보를 열람할 수 있게 한다.
그러나 이와 같은 기술에 의하더라도 일반 사용자가 의약품과 같은 전문 분야의 제품에 대한 정확한 정보를 얻기에는 여전히 어려움이 있다. 따라서 이와 같은 어려움을 해결하기 위한 기술에 대한 요구가 점점 커지고 있는 실정이다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은, 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법을 개시하는 데에 목적이 있다.
또한 실시예들은, 배경에 무관하게 낱알에 표기된 기호, 모양, 색상에 기초하여 향상된 인식률을 보장하는 낱알 식별 장치 및 낱알 식별 방법을 개시하는 데에 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 낱알 식별 장치가 수행하는 낱알 식별 방법으로서, 각 낱알의 이미지에 대한 심층 학습을 수행하는 단계; 및 상기 학습에 기초하여 식별 대상에 대한 후보군을 제공하는 단계를 포함하는, 낱알 식별 방법이 개시된다.
또 다른 실시예에 따르면, 낱알 식별 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 개시된다. 이때 낱알 식별 방법은 낱알 식별 장치가 수행하는 것으로서, 각 낱알의 이미지에 대한 심층 학습을 수행하는 단계; 및 상기 학습에 기초하여 식별 대상에 대한 후보군을 제공하는 단계를 포함할 수 있다.
또 다른 실시예에 따르면, 낱알 식별 장치에 의해 수행되며, 낱알 식별 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램이 개시된다. 이때 낱알 식별 방법은, 각 낱알의 이미지에 대한 심층 학습을 수행하는 단계; 및 상기 학습에 기초하여 식별 대상에 대한 후보군을 제공하는 단계를 포함할 수 있다.
다른 실시예에 따르면, 각 낱알의 이미지 및 상기 각 낱알의 이미지에 대한 심층 학습의 결과를 저장하는 저장부; 및 상기 각 낱알의 이미지에 대한 심층 학습을 수행하고, 상기 학습에 기초하여 식별 대상에 대한 후보군을 제공하는 제어부를 포함하는, 낱알 식별 장치가 개시된다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 본 명세서에서 개시되는 실시예들은, 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법을 개시할 수 있다.
또한 실시예들은, 낱알의 이미지를 학습함에 있어서, 배경과 무관하게 낱알에 표기된 기호, 모양, 색상에 기초하여 향상된 인식률을 보장할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 낱알 식별 장치의 구성을 도시한 블록도이다.
도 2 및 도 3은 일 실시예에 따른 낱알 식별 장치를 설명하기 위한 예시도이다.
도 4 내지 도 5는 일 실시예들에 따른 낱알 식별 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 낱알 식별 장치(10)의 구성을 도시한 블록도이다.
본 명세서에서 '낱알'이란 의약품으로서 고정된 형태를 갖는 제형의 약제품 낱개를 말한다. 예를 들어, 정제, 캡슐제를 포함할 수 있다.
본 명세서에서 개시되는 일 실시예에 따른 낱알 식별 장치(10)는, 딥 뉴럴 네트워크(Deep Neural Network; 심층 신경망)를 이용하여 낱알의 이미지를 심층 학습하고, 이를 통해 의약품을 식별할 수 있다. 실시예에 따라, 낱알 식별 장치(10)는 낱알의 이미지를 심층 학습함에 있어서, 컨볼루션 뉴럴 네트워크(Convolutional Neural Network; 합성곱 신경망)를 이용할 수 있다.
실시예에 따르면, 낱알 식별 장치(10)는 애플리케이션이 설치된 전자단말기로 구현되거나 서버 또는 서버-클라이언트 시스템으로 구현될 수 있다. 낱알 식별 장치(10)가 서버-클라이언트 시스템으로 구현될 때, 사용자와의 인터랙션을 위한 클라이언트가 설치된 사용자 단말을 포함할 수 있으며, 이때 사용자 단말은 전자단말기로 구현될 수 있다.
이때 전자단말기는, 사용자와의 인터랙션이 가능한 인터페이스를 포함할 수 있는 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division MultipleAccess)-2000, W-CDMA(W-Code Division MultipleAccess), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.
그리고 서버는 사용자와의 인터랙션을 위한 클라이언트가 설치된 전자단말기와 네트워크를 통해 통신이 가능한 컴퓨팅장치로 구현될 수 있으며, 데이터를 저장할 수 있는 저장장치를 포함하거나 또는 제 3 의 서버를 통해 데이터를 저장할 수도 있다.
구체적인 구성은 도 1을 참고하여 설명한다. 도 1을 참고하면, 일 실시예에 따른 낱알 식별 장치(10)는 입출력부(11), 저장부(12), 통신부(13) 및 제어부(14)를 포함할 수 있다.
일 실시예에 따른 입출력부(11)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 낱알 식별 장치(10)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(11)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는 촬영 장치, 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널, 스피커 또는 헤드셋 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(11)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
실시예에 따르면, 입력부는 카메라를 포함하는 촬영 장치를 통해 후술할 제어부(14)에서 딥 뉴럴 네트워크를 이용하여 식별할 '식별 대상'에 대한 이미지를 획득할 수 있다.
한편, 저장부(12)는 실시예에 따른 낱알 식별 방법을 수행하기 위한 데이터를 저장할 수 있다. 가령, 낱알 식별 방법을 수행하기 위한 입력 데이터를 저장할 수 있고, 낱알 식별 방법의 수행 결과로서 출력 데이터를 저장할 수 있다. 예를 들면, 후술할 제어부(14)에서 딥 뉴럴 네트워크를 이용하여 심층 학습할 낱알 이미지를 저장하거나 심층 학습의 결과를 저장할 수 있다.
한편, 통신부(13)는 다른 전자단말기 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(13)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
이때 통신부(13)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(13)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition MultimediaInterface) 등일 수 있다.
실시예에 따르면, 통신부(13)는 '식별 대상'에 대한 이미지를 사용자 단말로부터 수신할 수 있다.
한편, 제어부(14)는 낱알 식별 장치(10)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 실시예에 따르면, 제어부(14)는 딥 뉴럴 네트워크를 원활히 수행하기 위하여 가속기, 예를 들어 GPU를 포함할 수 있다.
실시예에 따르면, 제어부(14)는 딥 뉴럴 네트워크를 통해 각 낱알의 이미지에 대하여 심층 학습을 수행할 수 있다.
이를 위해 저장부(12)에 저장된 하나 이상의 낱알의 이미지를 불러오거나 통신부(13) 또는 입력부를 통해 하나 이상의 낱알의 이미지를 획득할 수 있다.
또한, 제어부(14)는 획득된 각 낱알의 이미지를 딥 뉴럴 네트워크를 통해 심층 학습할 수 있으며, 이때, 제어부(14)는 획득된 각 낱알의 이미지를 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network; 합성곱 신경망)를 통해 심층 학습할 수 있다.
관련하여, 제어부(14)는 낱알의 이미지에 기초하여 특징 지도(Feature Map)를 추출할 수 있다. 이때, 제어부(14)는 낱알의 이미지에 대한 컨볼루셔널 뉴럴 네트워크를 수행하여 이미지의 각 특징을 고차원 벡터로 표현한 특징 벡터를 한번에 추출할 수 있다.
실시예에 따르면, 제어부(14)는 기호를 식별하는 기호 분류기, 색상을 식별하는 색상 분류기 및 모양을 식별하는 모양 분류기를 포함할 수 있다. 여기서 '기호'란, 문자, 숫자, 도형, 기타 특수 문자 등을 포함할 수 있으며, 잉크 등의 재료로 인쇄되거나 양각 또는 음각으로 인쇄되어 낱알의 외면에서 관찰될 수 있다.
이때, 기호 분류기, 색상 분류기 및 모양 분류기는 추출된 특징 지도에 기초하여 기호, 색상 및 모양에 대응되는 특성을 각각 학습할 수 있다. 즉, 기호 분류기는 기호 관련 특성을, 색상 분류기는 색상 관련 특성을, 모양 분류기는 모양 관련 특성을 각각 학습할 수 있다. 이때, 제어부(14)는 각 분류기를 통한 특징 벡터에 대한 학습의 결과를 낱알의 식별 정보와 매칭하여 저장부(12)가 저장하도록 제어할 수 있다.
이때, 도 2를 참고하면, 도 2는 낱알 식별 장치(10)를 설명하기 위한 예시도로서 제어부(14)에서 연산을 수행함에 있어서의 데이터의 흐름을 개략적으로 표시하였다. 도 2에 따르면, 제어부(14)는 낱알의 이미지가 입력 되면 입력된 이미지에 기초하여 특징 지도를 추출할 수 있다. 이때, 실시예에 따라 제어부(14)는 기능에 따라 기호 분류(1)를 수행하는 기호 분류기, 색상 분류를 위한 색상 분류기 및 모양 분류를 위한 모양 분류기를 포함할 수 있으며, 각 분류기는 동일한 특징 지도 추출부에서 추출된 특징 지도에 기초하여 학습을 수행할 수 있다.
즉, 기호 분류기, 색상 분류기 및 모양 분류기는 딥 뉴럴 네트워크를 이용하여 학습을 수행함에 있어서 특징 지도 추출을 위한 네트워크를 공유하며, 이를 통해 각 분류기는 특징 지도에서 연산되는 파라미터를 공유할 수 있다. 이때, 목적 함수(objective function)는 각 분류기의 손실(loss)를 최소화한 것으로 기호 분류기, 색상 분류기 및 모양 분류기의 모든 손실을 합산한 값에 기초하여 연산된다.
즉, 실시예에 따르면, 표현 학습 알고리즘(representation learning algorithm)이 각 특정 과제와 관련한 하위 집합인 기본 요소에 관한 표현을 학습한다는 점에서 각 작업에 있어서 유리한 효과를 가지며, 이로써, 고성능의 딥 네트워크를 수행함에 있어서 분류 성능을 높이되 파라미터의 수를 제한하여 소요되는 리소스를 줄일 수 있다.
또한, 기호 분류기는 특징 지도 추출부로부터 수신한 특징 지도에 기초하여 물체 인식의 대상이 되는 지역을 특정하되, 특정된 지역의 특징 벡터를 추출하여 기호 분류를 수행할 수 있다. 가령, 도 3을 참고하면, 실시예에 따른 기호 분류기를 설명하기 위한 예시도로서 기호 분류(1)의 수행을 위한 데이터의 흐름에 기초하여 개략적으로 도시한 예시도이다. 도 3에 따르면, 기호 분류기는 특징 지도 추출부로부터 수신한 특징 지도에 기초하여 지역 제안 네트워크(Region Proposal Network) 및 패스트 R-CNN(Fast R-CNN)을 수행할 수 있다. 이때, 지역 제안 네트워크의 수행으로부터 도출된 관심 지역에 기초하여 패스트 R-CNN을 수행할 수 있다. 또한, 실시예에 따르면, 기호 분류기는 패스트 R-CNN을 수행함에 있어서, 관심 지역과 함께 특징 지도 추출부에서 추출한 특징 지도를 고려할 수 있다. 또한, 실시예에 따라 기호 분류기는 Mask R-CNN을 수행하여 기호 분류를 수행할 수 있다.
한편, 제어부(14)는 학습의 신뢰도를 연산할 수 있다. 예를 들어, 제어부(14)는 각 분류기의 연산 결과 각각에 대한 신뢰도를 연산할 수 있다. 가령, 제어부(14)는 각 분류기에서 딥 뉴럴 네트워크를 학습함에 있어서, 샘플링된 네트워크의 예측치와 샘플링된 네트워크의 평균 예측치의 차이에 기초하여 신뢰도를 연산할 수 있다. 이때, 예측치의 차이는 확률 분포의 차이를 측정할 수 있는 다이버전스를 활용하여 연산할 수 있으며, 예를 들어, 쿨백 라이블러 다이버전스(Kullback-Leibler divergence)를 활용하여 확률 분포의 차이를 연산할 수 있다. 또한, 실시예에 따르면, 제어부(14)는 심층 확률 신경망(Stochastic Deep Neural Networks)을 학습함에 있어서 딥 뉴럴 네트워크에 포함된 완전 연결 계층(Fully-ConnectedLayer)에 드롭아웃(Dropout)을 적용함으로써 각 분류기의 연산 결과 각각에 대한 신뢰도를 연산할 수 있다. 그리고, 각 분류기의 연산 결과 각각에 대한 신뢰도를 가중합하여 최종 신뢰도를 연산할 수도 있다. 일 실시예에 따라 신뢰도를 연산하는 수식은 다음과 같다.
Figure 112018017938146-pat00001
상기 수식에서
Figure 112018017938146-pat00002
는 특징 벡터이며,
Figure 112018017938146-pat00003
는
Figure 112018017938146-pat00004
를 입력으로 하는 연산 결과에 따른 결과값, 즉, 분류 결과일 수 있다. 이때,
Figure 112018017938146-pat00005
는
Figure 112018017938146-pat00006
및
Figure 112018017938146-pat00007
에 대하여 드롭아웃으로 샘플링된 네트워크의 예측치이며,
Figure 112018017938146-pat00008
는 드롭아웃으로 샘플링된 네트워크들의 평균 예측치를 말한다. 또한,
Figure 112018017938146-pat00009
은 쿨백 라이블러 다이버전스를 나타내며, M은 드롭아웃으로 샘플링되는 네트워크의 수이다. 그리고 d는
Figure 112018017938146-pat00010
와
Figure 112018017938146-pat00011
의 차이의 합산으로서 제어부(14)는 d가 크면 신뢰도가 낮은 것으로, d가 작으면 신뢰도가 높은 것으로 판단한다. 실시예에 따르면, d에 기초한 신뢰도에 소정의 임계값을 설정하고, 제어부(14)는 임계값에 미치지 못 하는 신뢰도를 얻은 경우 판단을 보류함으로써 인식률을 높일 수 있다.
한편, 제어부(14)는 학습에 기초하여 식별 대상에 대한 후보군을 제공할 수 있다. 이때, '식별 대상'이란, 사용자가 식별 정보 또는 약품 정보를 얻고자 하는 약제품 낱알을 말한다.
먼저, 제어부(14)는 식별 대상의 이미지를 획득할 수 있다. 이때, 입력부를 통해 식별 대상의 이미지를 입력 받거나 통신부(13)를 통해 사용자가 입력한 식별 대상의 이미지를 수신할 수 있다. 예를 들어, 사용자 단말로부터 식별 대상의 이미지를 수신할 수 있다.
또한, 제어부(14)는 식별 대상의 이미지에서 기호, 색상 및 모양에 대응되는 특징 벡터를 추출할 수 있다. 그리고 제어부(14)는 추출된 특징 벡터에 매칭되는 후보군을 선정하여 제공할 수 있다.
실시예에 따르면, 선정된 후보군은 하나 이상의 낱알을 포함할 수 있으며, 후보군 정보는 선정된 하나 이상의 낱알 각각에 대한 정보, 가령, 낱알의 이미지, 명칭, 효능, 가격 등의 정보 중 일부 또는 전부를 포함할 수 있다.
실시예에 따르면, 제어부(14)는 제공된 후보군 중 적어도 하나에 대한 사용자의 선택을 수신하고, 사용자가 선택한 낱알에 대한 상세 정보를 제공할 수 있다. 사용자는 제어부(14)가 제공한 후보군의 이미지를 확인하고, 식별 대상과 동일한 낱알을 선택함으로써 약제품에 대한 정보를 제공 받을 수 있다. 실시예에 따르면, 제어부(14)는 약제품에 대한 정보를 사용자 단말로 제공하도록 통신부(13)를 제어할 수 있다.
한편, 제어부(14)는 약제 데이터베이스를 활용하여 학습의 결과를 후처리함으로써 검색의 정확도를 올릴 수 있다. 그리고 제어부(14)는 낱알의 기호, 모양 등의 정보를 각각 추출하여 활용할 수 있다.
한편, 도 4 내지 도 5는 낱알 식별 장치(10)가 수행하는 낱알 식별 방법을 설명하기 위한 순서도들이다. 도 4 내지 도 5에 도시된 실시예에 따른 낱알 식별 방법은 도 1 내지 도 3과 관련한 실시예에 따른 낱알 식별 장치(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3과 관련한 실시예에 따른 낱알 식별 장치(10)에 관하여 이상에서 기술한 내용은 도 4 내지 도 5에 도시된 실시예들에 따른 낱알 식별 방법에도 적용될 수 있다.
도 4 내지 도 5를 참고하면, 낱알 식별 장치(10)는 각 낱알의 이미지에 대한 심층 학습을 수행하고(S41), 수행한 심층 학습에 기초하여 식별 대상에 대한 후보군을 제공할 수 있다(S42).
실시예에 따르면, 낱알 식별 장치(10)는 심층 학습을 수행함에 있어서(S41), 각 낱알의 이미지에서 특징 지도를 추출하고, 추출한 특징 지도에 기초하여 기호 분류기, 색상 분류기 및 모양 분류기가 기호, 색상 및 모양에 대응되는 특성을 각각 학습할 수 있다.
이때, 낱알 식별 장치(10)는 각 분류기에서 학습하는 특징 지도를 공유할 수 있다. 즉, 각 분류기는 특징 지도 추출부를 공유하여, 특징 지도에서 연산되는 파라미터를 공유하여 학습할 수 있다.
한편, 낱알 식별 장치(10)는 각 낱알의 이미지에 대한 심층 학습을 수행함에 있어서(S41), 샘플링된 네트워크의 예측치 및 샘플링된 네트워크의 평균 예측치의 차이에 기초하여 신뢰도를 연산할 수 있다. 가령, 딥 뉴럴 네트워크에 포함된 완전 연결 계층에 드롭아웃을 적용하여 샘플링된 네트워크의 예측치와 상기 샘플링된 네트워크의 평균 예측치의 차이를 연산하고, 상기 차이를 임계값과 비교하여 신뢰도를 판단할 수 있다. 이를 통해 낱알 식별 장치(10)는 인식률을 향상시킬 수 있다.
그리고 도 5를 참고하면, 낱알 식별 장치(10)는 후보군을 제공함에 있어서(S42), 식별 대상의 이미지를 수신할 수 있다(S51). 실시예에 따르면, 낱알 식별 장치(10)는 식별 대상의 이미지를 촬영 장치 등의 입력장치를 통해 입력 받거나 통신망에 접속하여 입력 받거나 사용자 단말로부터 입력 받을 수 있다.
또한, 낱알 식별 장치(10)는 식별 대상의 이미지에서 기호, 색상 및 모양에 대응되는 특징 벡터를 추출하여(S52), 학습된 낱알 중, 추출된 특징 벡터에 매칭되는 후보군을 선정할 수 있다. 또한, 선정된 후보군 정보를 제공할 수 있다(S53). 실시예에 따르면, 낱알 식별 장치(10)는 선정된 후보군 정보를 제공하되, 사용자 단말에 대하여 제공할 수 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
도 4 내지 도 5를 통해 설명된 실시예들에 따른 낱알 식별 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한 도 4 내지 도 5를 통해 설명된 실시예들에 따른 낱알 식별 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 도 4 내지 도 5를 통해 설명된 실시예들에 따른 낱알 식별 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장부(12)는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
10: 낱알 식별 장치 11: 입출력부
12: 저장부 13: 통신부
14: 제어부

Claims (14)

  1. 낱알 식별 장치가 수행하는 낱알 식별 방법에 있어서,
    각 낱알의 이미지에 대한 심층 학습을 수행하는 단계; 및
    상기 학습에 기초하여 식별 대상에 대한 후보군을 제공하는 단계를 포함하고,
    상기 낱알 식별 방법은,
    상기 학습에서 수행되는 딥 뉴럴 네트워크에 포함된 완전 연결 계층에 드롭아웃을 적용하여 샘플링된 네트워크의 예측치와 상기 샘플링된 네트워크의 평균 예측치의 차이를 연산하고, 상기 차이를 임계값과 비교하여 신뢰도를 판단하는 단계를 더 포함하고,
    상기 신뢰도를 판단하는 단계는,
    상기 신뢰도를 하기의 수학식에 기초하여 연산하는 단계를 포함하되,
    [수학식]
    Figure 112019104514784-pat00017

    여기서,
    Figure 112019104514784-pat00018
    는 특징 벡터이고,
    Figure 112019104514784-pat00019
    는
    Figure 112019104514784-pat00020
    를 입력으로 하는 연산 결과에 따른 결과값이고,
    Figure 112019104514784-pat00021
    는
    Figure 112019104514784-pat00022
    및
    Figure 112019104514784-pat00023
    에 대하여 드롭아웃으로 샘플링된 네트워크의 예측치이고,
    Figure 112019104514784-pat00024
    는 드롭아웃으로 샘플링된 네트워크들의 평균 예측치이고,
    Figure 112019104514784-pat00025
    은 쿨백 라이블러 다이버전스를 나타내고, M은 드롭아웃으로 샘플링되는 네트워크의 수이고, d는
    Figure 112019104514784-pat00026
    와
    Figure 112019104514784-pat00027
    의 차이의 합산으로 신뢰도를 나타내는, 낱알 식별 방법.
  2. 제1항에 있어서,
    상기 학습을 수행하는 단계는,
    상기 각 낱알의 이미지에서 특징 지도를 추출하는 단계; 및
    상기 특징 지도에 기초하여 기호 분류기, 색상 분류기 및 모양 분류기가 기호, 색상 및 모양에 대응되는 특성을 각각 학습하는 단계를 포함하는, 낱알 식별 방법.
  3. 제2항에 있어서,
    상기 각각 학습하는 단계는,
    상기 특징 지도에서 연산되는 파라미터를, 상기 기호 분류기, 상기 색상 분류기 및 상기 모양 분류기가 공유하여 학습하는 것을 특징으로 하는, 낱알 식별 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 후보군을 제공하는 단계는,
    상기 식별 대상의 이미지를 수신하는 단계;
    상기 식별 대상의 이미지에서 기호, 색상 및 모양에 대응되는 특징 벡터를 추출하는 단계; 및
    상기 학습된 각 낱알 중, 추출된 상기 특징 벡터에 매칭되는 후보군을 선정하여 후보군 정보를 제공하는 단계를 포함하는, 낱알 식별 방법.
  7. 제1항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  8. 낱알 식별 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
  9. 각 낱알의 이미지 및 상기 각 낱알의 이미지에 대한 심층 학습의 결과를 저장하는 저장부; 및
    상기 각 낱알의 이미지에 대한 심층 학습을 수행하고, 상기 학습에 기초하여 식별 대상에 대한 후보군을 제공하는 제어부를 포함하고,
    상기 제어부는,
    상기 학습에서 수행되는 딥 뉴럴 네트워크에 포함된 완전 연결 계층에 드롭아웃을 적용하여 샘플링된 네트워크의 예측치와 상기 샘플링된 네트워크의 평균 예측치의 차이를 연산하고, 상기 차이를 임계값과 비교하여 신뢰도를 판단하되,
    상기 신뢰도를 하기의 수학식에 기초하여 연산하고,
    [수학식]
    Figure 112019104514784-pat00028

    여기서,
    Figure 112019104514784-pat00029
    는 특징 벡터이고,
    Figure 112019104514784-pat00030
    는
    Figure 112019104514784-pat00031
    를 입력으로 하는 연산 결과에 따른 결과값이고,
    Figure 112019104514784-pat00032
    는
    Figure 112019104514784-pat00033
    및
    Figure 112019104514784-pat00034
    에 대하여 드롭아웃으로 샘플링된 네트워크의 예측치이고,
    Figure 112019104514784-pat00035
    는 드롭아웃으로 샘플링된 네트워크들의 평균 예측치이고,
    Figure 112019104514784-pat00036
    은 쿨백 라이블러 다이버전스를 나타내고, M은 드롭아웃으로 샘플링되는 네트워크의 수이고, d는
    Figure 112019104514784-pat00037
    와
    Figure 112019104514784-pat00038
    의 차이의 합산으로 신뢰도를 나타내는, 낱알 식별 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    심층 학습을 수행하되, 상기 각 낱알의 이미지에서 특징 지도를 추출하고, 상기 특징 지도에 기초하여 기호 분류기, 색상 분류기 및 모양 분류기가 기호, 색상 및 모양에 대응되는 특성을 각각 학습하는 것을 특징으로 하는, 낱알 식별 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    특성을 각각 학습하되, 상기 특징 지도에서 연산되는 파라미터를, 상기 기호 분류기, 상기 색상 분류기 및 상기 모양 분류기가 공유하여 학습하는 것을 특징으로 하는, 낱알 식별 장치.
  12. 삭제
  13. 삭제
  14. 제9항에 있어서,
    상기 제어부는,
    후보군을 제공하되, 상기 식별 대상의 이미지를 수신하고, 상기 식별 대상의 이미지에서 기호, 색상 및 모양에 대응되는 특징 벡터를 추출하여 상기 학습된 각 낱알 중, 추출된 상기 특징 벡터에 매칭되는 후보군을 선정하여 후보군 정보를 제공하는, 낱알 식별 장치.
KR1020180020049A 2018-02-20 2018-02-20 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법 KR102082430B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180020049A KR102082430B1 (ko) 2018-02-20 2018-02-20 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180020049A KR102082430B1 (ko) 2018-02-20 2018-02-20 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법

Publications (2)

Publication Number Publication Date
KR20190105157A KR20190105157A (ko) 2019-09-16
KR102082430B1 true KR102082430B1 (ko) 2020-02-27

Family

ID=68067239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180020049A KR102082430B1 (ko) 2018-02-20 2018-02-20 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법

Country Status (1)

Country Link
KR (1) KR102082430B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598969B1 (ko) * 2021-09-29 2023-11-07 단국대학교 천안캠퍼스 산학협력단 알약 검색 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
KR101834782B1 (ko) * 2016-03-23 2018-03-06 연세대학교 원주산학협력단 약품 검색 장치 및 방법

Also Published As

Publication number Publication date
KR20190105157A (ko) 2019-09-16

Similar Documents

Publication Publication Date Title
US10134165B2 (en) Image distractor detection and processing
US9697416B2 (en) Object detection using cascaded convolutional neural networks
US9710698B2 (en) Method, apparatus and computer program product for human-face features extraction
CN110188719B (zh) 目标跟踪方法和装置
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
KR101986307B1 (ko) 시각 대화를 통해 객체의 위치를 알아내기 위한 주의 기억 방법 및 시스템
CN107924452B (zh) 用于图像中的脸部对准的组合形状回归
WO2016154781A1 (en) Low-cost face recognition using gaussian receptive field features
US20140126830A1 (en) Information processing device, information processing method, and program
KR102108460B1 (ko) 상품 벡터를 이용한 상품 분류 방법 및 장치
WO2017045404A1 (en) Facial expression recognition using relations determined by class-to-class comparisons
JP2017523498A (ja) 効率的なフォレストセンシングに基づくアイトラッキング
KR102082430B1 (ko) 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법
KR20200106104A (ko) 인공 신경망을 이용한 고속 객체 검출 방법 및 장치
US11334617B2 (en) Paint-based image search
KR102108459B1 (ko) 상품의 최저가 제공 방법 및 장치
US11647294B2 (en) Panoramic video data process
KR20200057813A (ko) 복수 개의 낱알을 식별하는 방법 및 그 장치
CN115470190A (zh) 一种多存储池数据分类存储方法、系统与电子设备
CN110245231B (zh) 一种针对乱码的训练样本特征提取方法、装置及设备
KR102285427B1 (ko) 물체 레이블을 활용한 Visual SLAM에서의 영상 특징점 강화 방법 및 장치
KR20220036768A (ko) 이미지 복원에 기반한 상품 검색 방법 및 시스템
CN116503933B (zh) 一种眼周特征提取方法、装置、电子设备及存储介质
KR102640565B1 (ko) 비정상 객체 탐지 장치 및 방법
KR102201074B1 (ko) 목표 지향 대화 시스템을 위한 정보이론기반 질문 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right