KR20200057813A - 복수 개의 낱알을 식별하는 방법 및 그 장치 - Google Patents

복수 개의 낱알을 식별하는 방법 및 그 장치 Download PDF

Info

Publication number
KR20200057813A
KR20200057813A KR1020180138929A KR20180138929A KR20200057813A KR 20200057813 A KR20200057813 A KR 20200057813A KR 1020180138929 A KR1020180138929 A KR 1020180138929A KR 20180138929 A KR20180138929 A KR 20180138929A KR 20200057813 A KR20200057813 A KR 20200057813A
Authority
KR
South Korea
Prior art keywords
image
grain
identification information
control unit
identification
Prior art date
Application number
KR1020180138929A
Other languages
English (en)
Inventor
박민섭
김세훈
유진규
Original Assignee
주식회사 에이아이트릭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이트릭스 filed Critical 주식회사 에이아이트릭스
Priority to KR1020180138929A priority Critical patent/KR20200057813A/ko
Publication of KR20200057813A publication Critical patent/KR20200057813A/ko

Links

Images

Classifications

    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06K9/46—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

낱알 식별 장치 및 낱알 식별 방법을 제시하며, 일 실시예에 따르면 낱알 식별 장치는 낱알의 이미지 및 상기 낱알의 이미지에 대한 학습 결과를 저장하는 메모리, 및 복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출하며, 보정된 제2이미지에 기초하여 낱알의 식별정보를 제공하는 제어부를 포함한다.

Description

복수 개의 낱알을 식별하는 방법 및 그 장치{METHOD FOR DETECTING MEDICINAL PRODUCTS AND APPARATUS THEREOF}
본 명세서에서 개시되는 실시예들은 의약품에 관한 정보를 제공받기 위한 낱알 식별 장치 및 낱알 식별 방법에 관한 것으로, 보다 상세하게는 복수 개의 낱알에 관한 이미지를 포함하는 이미지로부터 낱알을 각각 식별하는 방법 및 장치에 관한 것이다.
최근 들어 의약품에 대한 연구가 활발해짐에 따라 다양한 종류의 의약품들이 쏟아져 나오고 있다. 이에 의료진이 의약품을 다룰 때 다양한 종류의 의약품을 정확하게 구별해내야 하는 니즈가 커지고 있다.
종래에는 사람이 육안으로 의약품이 어떠한 의약품인지를 식별해내야 했지만 이와 같은 방법은 의약품이 어떠한 것인지를 신속하게 식별해내지 못하는 문제점이 있다. 또한 전문가가 아닌 자에 의해 식별된 의약품이 정확하게 식별된 것인지를 판별해내기 어려워 환자는 수동적으로 의약품을 전달 받을 수밖에 없는 문제점이 있다.
관련하여 선행기술 문헌인 한국공개특허 제10-2017-0139188호에서는 '상품 정보 검색 공유 서비스 제공 방법'을 개시하여 사용자로 하여금 다양한 상품 정보를 열람할 수 있게 한다.
그러나 이와 같은 기술에 의하더라도 일반 사용자가 의약품과 같은 전문 분야의 제품에 대한 정보를 정확하면서도 신속하게 얻기에는 여전히 어려움이 있다. 따라서 이와 같은 어려움을 해결하기 위한 기술에 대한 요구가 점점 커지고 있는 실정이다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은, 복수 개의 낱알을 식별하는 방법 및 그 장치를 제시하는 데 목적이 있다.
또한 본 명세서에서 개시되는 실시예들은, 신속하면서도 정확하게 복수 개의 낱알을 식별하는 방법 및 그 장치를 제시하는 데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 후보의 개수를 압축시켜 식별 결과물에 대한 신뢰도를 높일 수 있는 복수 개의 낱알을 식별하는 방법 및 그 장치를 제시하는 데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 낱알 식별 장치는 낱알의 이미지 및 상기 낱알의 이미지에 대한 학습 결과를 저장하는 메모리, 및 복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출하며, 보정된 제2이미지에 기초하여 낱알의 식별정보를 제공하는 제어부를 포함한다.
다른 실시예에 따르면, 낱알 식별 장치가 복수 개의 낱알을 식별하는 방법으로서, 복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출하는 단계, 상기 제2이미지를 보정하는 단계, 및 보정된 제2이미지에 기초하여 낱알의 식별정보를 제공하는 단계를 포함한다.
또 다른 실시예에 따르면, 낱알 식별 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 낱알 식별 방법은, 복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출하는 단계, 상기 제2이미지를 보정하는 단계, 및 보정된 제2이미지에 기초하여 낱알의 식별정보를 제공하는 단계를 포함한다.
또 다른 실시예에 따르면, 낱알 식별 장치에 의해 수행되며, 낱알 식별 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램으로서 상기 낱알 식별 방법은, 복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출하는 단계, 상기 제2이미지를 보정하는 단계, 및 보정된 제2이미지에 기초하여 낱알의 식별정보를 제공하는 단계를 포함한다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 복수 개의 낱알을 식별하는 방법 및 그 장치를 제시할 수 있다.
또한 전술한 과제 해결 수단 중 어느 하나에 의하면, 신속하면서도 정확하게 복수 개의 낱알을 식별하는 방법 및 그 장치를 제시할 수 있다.
또한 전술한 과제 해결 수단 중 어느 하나에 의하면, 후보의 개수를 압축시켜 식별 결과물에 대한 신뢰도를 높일 수 있는 복수 개의 낱알을 식별하는 방법 및 그 장치를 제시할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 낱알 식별 장치를 도시한 블록도이다.
도 2는 일 실시예에 따른 낱알 식별 방법을 설명하기 위한 순서도이다.
도 3 내지 도 6은 일 실시예에 따른 낱알 식별 방법을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
본 명세서에서 '낱알'이란 의약품으로서 고정된 형태를 갖는 제형의 약제품 낱개를 말한다. 예를 들어, 정제, 캡슐제를 포함할 수 있다.
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.
도 1은 일 실시예에 따른 낱알 식별 장치를 설명하기 위한 블록도이다.
이때, 본 명세서에서 개시되는 일 실시예에 따른 낱알 식별 장치(100)는, 애플리케이션이 설치된 전자단말로 구현되거나, 서버로 구현되거나, 또는 서버-클라이언트 시스템으로 구현될 수 있다. 낱알 식별 장치(100)가 서버-클라이언트 시스템으로 구현될 때, 사용자와의 인터랙션을 위한 클라이언트가 설치된 사용자 단말을 포함할 수 있으며, 이때 사용자 단말은 전자단말로 구현될 수 있다.
전자단말은 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.
반면 서버는 사용자와의 인터랙션을 위한 클라이언트가 설치된 전자단말과 네트워크를 통해 통신이 가능한 컴퓨팅장치로 구현될 수 있으며, 데이터를 저장할 수 있는 저장장치를 포함하거나 또는 제 3 의 서버를 통해 데이터를 저장할 수도 있다.
도 1을 참조하면, 일 실시예에 따른 낱알 식별 장치(100)는, 제어부(120), 통신부(130) 및 메모리(140)를 포함할 수 있다.
또한 낱알 식별 장치(100)는 추가로 입출력부(110)를 더 포함할 수 있다.
입출력부(110)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
일 실시예에 따르면 입력부는 카메라로 구현되어 식별될 낱알들에 관한 이미지를 포함하는 이미지를 획득할 수 있고, 출력부는 획득된 이미지를 분석하여 낱알들의 식별정보를 제공할 수 있다. 또한 출력부는 후술될 후보군 또는 랭킹그룹을 제공할 수 있다.
한편 제어부(120)는 낱알 식별 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(120)는 입출력부(110)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 장치(100)에 포함된 다른 구성들을 제어할 수 있다.
예를 들어, 제어부(120)는 메모리(140)에 저장된 프로그램을 실행시키거나, 메모리(140)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리(140)에 저장할 수도 있다.
제어부(120)는 복수의 낱알의 이미지를 포함하는 이미지를 획득할 수 있다. 이하에서는 설명의 편의상, 복수의 낱알의 이미지를 포함하는 이미지를 '제1이미지'라 칭한다.
제어부(120)는 외부의 장치에 의해 생성된 제1이미지를 입출력부(110)를 통해 획득하거나, 입출력부(110)에 의해 촬영된 제1이미지를 획득할 수 있다.
제어부(120)는 제1이미지로부터 하나의 낱알 이미지를 복수 개 추출할 수 있다.
이를 위해 제어부(120)는 제1이미지의 전처리를 수행할 수 있으며, 예를 들어 제1이미지의 해상도를 조정하거나, 스케일링할 수 있다.
제어부(120)는 제1이미지 내에서 낱알로 추정되는 영역을 디텍션(detection)할 수 있으며, 1개의 낱알을 포함하는 영역으로서 디텍션된 영역을 또 다른 이미지로 추출할 수 있다. 이때 추출된 이미지를 설명의 편의상 이하에서는 '제2이미지'라 한다.
제어부(120)는 제1이미지로부터 제2이미지를 추출하기 위해 패스터 R-CNN(Faster R-CNN)을 이용할 수 있다.
이때, 제1이미지로부터 제2이미지를 디텍션하기 위해 제어부(120)는 낱알이 바운딩 박스(bounding box)로 레이블링된 데이터에 기초하여 학습할 수 있고, 학습에 기초하여 제어부(120)는 제1이미지에 포함된 낱알의 이미지를 에워싸는 바운딩 박스의 영역을 제2이미지로서 추출할 수 있다.
한편 복수 개의 제2이미지 각각에 대해 제어부(120)는 제2이미지에 포함된 낱알의 식별정보를 제공할 수 있다.
이를 위해 제어부(120)는 낱알의 이미지에서 특징 지도를 추출하여 낱알의 기호, 색상 및 모양 중 적어도 하나에 대응되는 특성을 학습할 수 있다.
그리고 제어부(120)는 학습에 기초하여 제2이미지에 포함된 낱알의 식별정보를 정확하게 판별해내기 위해 제2이미지를 보정할 수 있다.
일 실시예에 따르면 제어부(120)는 제2이미지를 스케일링함으로써 제2이미지를 보정할 수 있다.
또 다른 실시예에 따르면 제어부(120)는 제2이미지를 회전시킴으로써 제2이미지를 보정할 수 있다.
즉 제어부(120)는 낱알이 소정의 방향으로 위치하였을 때의 방향을 '정방향'이라 결정하고 정방향으로 배치된 낱알의 이미지를 기준으로 학습할 수 있다. 이에 제2이미지를 획득하였을 때 제2이미지에 포함된 낱알 이미지의 회전의 정도가 심하면 낱알의 식별정보를 획득하기 어려울 수 있다. 이에 제2이미지의 보정이 필요할 수 있으며, 제어부(120)는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network; 합성곱 신경망)를 이용하여 제2이미지를 회전시킬 수 있다.
제2이미지의 회전 각도를 도출해내기 위해 제어부(120)는 낱알의 이미지가 포함된 이미지를 임의의 각도만큼 회전시킨 이미지를 데이터 레이블(data label)로 생성하며 생성한 이미지를 기반으로 컨볼루셔널 뉴럴 네트워크를 학습시켜 회귀 모델(regression model)을 학습시킬 수 있다.
제2이미지의 회전을 위해 이용되는 컨볼루셔널 뉴럴 네트워크는 VGGnet(VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION)을 기반으로 할 수 있다.
[수학식 1]
Figure pat00001
이때,
Figure pat00002
는 컨볼루셔널 뉴럴 네트워크를 이용한 방향 감지 네트워크의 결과값을 나타내며,
Figure pat00003
는 VGGnet을 의미한다. 추가적인 레이어
Figure pat00004
는 VGGnet 특징(feature)을 싱글 스칼라 값으로 매핑시켜줄 수 있다.
Figure pat00005
는 활성 함수(activation function)로서 스칼라 값이 0~1 사이 값이 되도록 하는 임의의 함수이며, 예를 들어, 시그모이드 함수(sigmoid function)가 될 수 있다. 목적 함수(objective function)는
Figure pat00006
와 제2이미지의 방향(n/360, 0~1사이의 값)의 차이가 적어지도록 학습을 수행한다.
수학식 1에 따라 제2이미지가 정방향을 기준으로 몇 도 틀어져있는지를 획득할 수 있으며 획득한 각도에 따라 제2이미지를 역회전시킬 수 있다. 그 결과 제어부(120)는 정방향으로 보정된 제2이미지를 획득할 수 있다.
정방향으로 회전된 제2이미지를 기초로, 제어부(120)는 제2이미지에 포함된 낱알의 식별정보를 획득할 수 있다.
이때 제어부(120)는 제2이미지에 포함되는 낱알의 식별정보에 관한 후보군을 제공할 수 있다.
이를 위해 제어부(120)는 낱알의 이미지에 대해 컨볼루셔널 뉴럴 네트워크를 학습시킬 수 있다.
제어부(120)는 낱알의 이미지에 기초하여 특징 지도(Feature Map)를 추출할 수 있다. 이때, 제어부(120)는 낱알의 이미지에 대한 컨볼루셔널 뉴럴 네트워크를 수행하여 이미지의 각 특징을 고차원 벡터로 표현한 특징 벡터를 한번에 추출할 수 있다.
일 실시예에 따르면, 제어부(120)는 기호를 식별하는 기호 분류기, 색상을 식별하는 색상 분류기 및 모양을 식별하는 모양 분류기 중 적어도 하나를 포함할 수 있다. 여기서 '기호'란, 문자, 숫자, 도형, 기타 특수 문자 등을 포함할 수 있으며, 잉크 등의 재료로 인쇄되거나 양각 또는 음각으로 인쇄되어 낱알의 외면에서 관찰될 수 있다.
이때, 기호 분류기, 색상 분류기 및 모양 분류기 각각은 추출된 특징 지도에 기초하여 기호, 색상 및 모양에 대응되는 특성을 각각 학습할 수 있다. 즉, 기호 분류기는 기호 관련 특성을, 색상 분류기는 색상 관련 특성을, 모양 분류기는 모양 관련 특성을 각각 학습할 수 있다. 그리고 각 분류기를 통한 특징 벡터에 대한 학습 결과를, 제어부(120)는 낱알의 식별 정보와 매칭하여 메모리(140)에 저장할 수 있다
기호 분류기, 색상 분류기 및 모양 분류기는 딥 뉴럴 네트워크를 이용하여 학습을 수행함에 있어서 특징 지도 추출을 위한 네트워크를 공유하며, 이를 통해 각 분류기는 특징 지도에서 연산되는 파라미터를 공유할 수 있다. 이때, 목적 함수는 각 분류기의 손실(loss)를 최소화한 것으로 기호 분류기, 색상 분류기 및 모양 분류기의 모든 손실을 합산한 값에 기초하여 연산된다.
즉, 실시예에 따르면, 표현 학습 알고리즘(representation learning algorithm)이 각 특정 과제와 관련한 하위 집합인 기본 요소에 관한 표현을 학습한다는 점에서 각 작업에 있어서 유리한 효과를 가지며, 이로써, 고성능의 딥 네트워크를 수행함에 있어서 분류 성능을 높이되 파라미터의 수를 제한하여 소요되는 리소스를 줄일 수 있다.
또한, 기호 분류기는 특징 지도에 기초하여 물체 인식의 대상이 되는 지역을 특정하되, 특정된 지역의 특징 벡터를 추출하여 기호 분류를 수행할 수 있다. 기호 분류기는 특징 지도에 기초하여 지역 제안 네트워크(Region Proposal Network) 및 패스터 R-CNN을 수행할 수 있다. 이때, 지역 제안 네트워크의 수행으로부터 도출된 관심 지역에 기초하여 패스터 R-CNN을 수행할 수 있다. 또한, 실시예에 따르면, 기호 분류기는 패스터 R-CNN을 수행함에 있어서, 관심 지역과 함께 특징 지도를 고려할 수 있다. 또한, 실시예에 따라 기호 분류기는 Mask R-CNN을 수행하여 기호 분류를 수행할 수 있다.
한편, 제어부(120)는 학습의 신뢰도를 연산할 수 있다. 예를 들어, 제어부(120)는 각 분류기의 연산 결과 각각에 대한 신뢰도를 연산할 수 있다. 가령, 제어부(120)는 각 분류기에서 딥 뉴럴 네트워크를 학습함에 있어서, 샘플링된 네트워크의 예측치와 샘플링된 네트워크의 평균 예측치의 차이에 기초하여 신뢰도를 연산할 수 있다. 이때, 예측치의 차이는 확률 분포의 차이를 측정할 수 있는 다이버전스를 활용하여 연산할 수 있으며, 예를 들어, 쿨백 라이블러 다이버전스(Kullback-Leibler divergence)를 활용하여 확률 분포의 차이를 연산할 수 있다. 또한, 실시예에 따르면, 제어부(120)는 심층 확률 신경망(Stochastic Deep Neural Networks)을 학습함에 있어서 딥 뉴럴 네트워크에 포함된 완전 연결 계층(Fully-ConnectedLayer)에 드롭아웃(Dropout)을 적용함으로써 각 분류기의 연산 결과 각각에 대한 신뢰도를 연산할 수 있다. 그리고, 각 분류기의 연산 결과 각각에 대한 신뢰도를 가중합하여 최종 신뢰도를 연산할 수도 있다. 일 실시예에 따라 신뢰도를 연산하는 수식은 다음과 같다.
[수학식 2]
Figure pat00007
상기 수학식 2에서
Figure pat00008
는 특징 벡터이며,
Figure pat00009
는
Figure pat00010
를 입력으로 하는 연산 결과에 따른 결과값, 즉, 분류 결과일 수 있다. 이때,
Figure pat00011
는
Figure pat00012
및
Figure pat00013
에 대하여 드롭아웃으로 샘플링된 네트워크의 예측치이며,
Figure pat00014
는 드롭아웃으로 샘플링된 네트워크들의 평균 예측치를 말한다. 또한,
Figure pat00015
은 쿨백 라이블러 다이버전스를 나타내며, M은 드롭아웃으로 샘플링되는 네트워크의 수이다. 그리고 d는
Figure pat00016
와
Figure pat00017
의 차이의 합산으로서 제어부(120)는 d가 크면 신뢰도가 낮은 것으로, d가 작으면 신뢰도가 높은 것으로 판단한다. 실시예에 따르면, d에 기초한 신뢰도에 소정의 임계값을 설정하고, 제어부(120)는 임계값에 미치지 못 하는 신뢰도를 얻은 경우 판단을 보류함으로써 인식률을 높일 수 있다.
실시예에 따르면 제어부(120)는 딥 뉴럴 네트워크를 이용하여 제2이미지에 포함된 낱알의 식별정보에 관한 후보군을 제공할 수 있다. 여기서 '후보군'은 낱알 식별정보를 하나 이상 포함하는 그룹으로서, 제2이미지에 포함된 낱알로 예측되는 식별정보를 하나 이상 포함한다. 식별정보는 낱알을 다른 낱알과 구분하기 위한 정보를 의미하며, 낱알의 명칭, 이미지, 성분, 효능, 가격 등의 정보를 적어도 일부 포함할 수 있다.
즉, 제어부(120)는 제2이미지에서 기호, 색상 및 모양 중 적어도 하나에 대응되는 특징 벡터를 추출할 수 있고 특징 벡터에 매칭되는 후보군을 선정할 수 있다. 특히 제어부(120)는 특징 벡터에 매칭되는 복수 개의 식별정보를 편집거리(edit distance) 순서대로 나열함으로써 후보군을 선정할 수 있다.
다만, 본 명세서에 기재된 일 실시예에 따르면 제1이미지에는 복수 개의 낱알의 이미지가 포함될 수 있어 각각의 낱알에 대해 복수 개의 검색 결과, 즉, 후보군을 다양하게 표현하기 어려울 수 있다. 또한 복수 개의 낱알 이미지가 포함됨에 따라 제2이미지에 노이즈 등이 생길 수 있고 그에 따라 정답인 식별정보와의 편집거리가 멀어져 적절한 식별정보를 후보군으로 제안하지 못하는 문제점도 있을 수 있다.
이에 또 다른 실시예에 따르면, 제어부(120)는 제2이미지에서 기호, 색상 및 모양 중 적어도 하나에 대응되는 특징 벡터를 추출할 수 있고 특징 벡터에 매칭되는 식별정보로 구성되는 후보군을 선정한 이후, 후보군에 포함되는 식별정보 중 소정 개수로 구성되는 랭킹그룹을 결정할 수 있다. 랭킹그룹에는 제2이미지에 포함되는 낱알이 가장 일치할 것 같은 식별정보의 순으로, 소정의 개수만큼의 식별정보가 포함될 수 있다.
즉 제어부(120)는 제2이미지에 대응되는 기호, 모양 및 색상 중 적어도 하나와, 상기 후보군에 포함되는 식별정보에 대응되는 기호, 모양 및 색상 중 적어도 하나에 기초하여, 상기 후보군에 포함되는 낱알의 식별정보 중 적어도 일부를 선택하여 그룹핑한 랭킹그룹을 제공할 수 있다.
보다 구체적으로 제어부(120)는, 제2이미지에서 기호, 색상 및 모양 중 적어도 하나에 대응되는 특징 벡터에 매칭되는 복수 개의 식별정보를 편집거리 순으로 포함하는 후보군을 구할 수 있다. 그리고 제어부(120)는 쿼리가 주어졌을 때 후보군과 쿼리와의 연관성을 계산할 수 있다.
하기의 수학식 3은 랭킹함수이며, 랭킹함수에 따라 순위가 매겨진 식별정보 중 소정의 개수의 식별정보가 선택되어 랭킹그룹에 포함될 수 있다.
[수학식 3]
Figure pat00018
위의 수학식 3에서
Figure pat00019
는
Figure pat00020
번째 쿼리가 주어지고 해당 도큐먼트의 목록이 주어졌을 때 각각의 도큐먼트의 점수(랭킹)을 산출하는 함수로서, 최소한의 손실(minimum loss)
Figure pat00021
을 가지도록 최적화될 수 있다.
이때,
Figure pat00022
는 쿼리로서 바운딩 박스와 바운딩 박스 내의 낱알에 대응되는 것으로 예측되는 기호, 모양 및 색상 중 적어도 하나가 될 수 있다.
Figure pat00023
는 쿼리
Figure pat00024
에 대응되는 도큐먼트의 목록으로서 특정 편집거리 이내에 존재하는 데이터베이스 상의 모든 낱알을 의미한다. 각각의 도큐먼트는 그에 상응하는 등급,
Figure pat00025
을 가질 수 있으며 이는 주어진 쿼리에 대해 각각의 도큐먼트가 얼마나 유사한 지를 나타낸다. 또한 등급
Figure pat00026
는 학습 데이터로서 임의의 쿼리가 주어졌을 때 사용자가 해당 도큐먼트를 선택하는 횟수를 기준으로 결정될 수 있으며 예를 들어 선택 횟수가 많을수록 등급이 높을 수 있다. 또한
Figure pat00027
이고, 이때
Figure pat00028
는 오름차순으로 정렬하는 정렬함수이다.
쿼리 및 도큐먼트 각각에 대응되는 기호, 모양, 및 색상 중 적어도 하나를 입력으로 하는 두 계층의 피드포워드 뉴럴 네트워크(feed-forward neural network)로
Figure pat00029
를 구성할 수 있으며,
Figure pat00030
는 목적 함수에 대한 SGD(Stochastic gradient descent) 방식으로 학습시킬 수 있다. 이때
Figure pat00031
는 도큐먼트들에 대해 점수를 매겼을 때 상위 k개의 도큐먼트들 각각에 붙은 도큐먼트 번호이다. 목적 함수에 대해, 상위 k개 순위의 도큐먼트에 대해서 실제 등급이 더 높은 도큐먼트에 대해 가중치를 적용하여 예측 랭킹인
Figure pat00032
가 높아지도록(즉,
Figure pat00033
의 값이 작아지도록)
Figure pat00034
를 학습할 수 있다.
상술된 바와 같이 후보군 또는 랭킹그룹을 생성한 제어부(120)는 후보군 또는 랭킹그룹을 제공할 수 있다.
한편 실시예에 따르면, 제어부(120)는 제공된 후보군 또는 랭킹그룹에 속하는 식별정보 중 적어도 하나에 대한 사용자의 선택을 수신하고, 사용자가 선택한 낱알 식별정보에 대한 상세 정보를 제공할 수 있다. 사용자는 선택한 식별정보에 대응되는 이미지를 확인하고, 제2이미지에 포함된 낱알의 이미지와 동일한 이미지를 갖는 낱알 식별정보를 선택함으로써 약제품에 대한 정보를 제공 받을 수 있다.
추가로 제어부(120)는 낱알의 단면 촬영 만으로 낱알의 식별정보를 획득하기 어렵거나 부정확하게 획득된 경우, 식별이 어려운 낱알을 추가 촬영하여 추가 이미지를 획득하고 추가 획득이미지에 기초하여 후보군 또는 랭킹그룹 내에서 재검색함으로써 식별의 정확도를 높일 수 있다.
한편 통신부(130)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(130)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
통신부(130)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(130)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.
따라서 예를 들어, 제어부(120)는 외부의 장치로부터 식별될 낱알들에 관한 이미지를 통신부(130)를 통해 획득할 수 있다.
메모리(140)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(120)는 메모리(140)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(140)에 저장할 수도 있다. 또한, 제어부(120)는 메모리(140)에 설치된 프로그램을 실행할 수도 있다. 도 1을 참조하면, 메모리(140)에는 낱알 식별 방법을 수행하기 위한 프로그램이 설치될 수 있다.
일 실시예에 따르면, 입출력부(110)를 통해 사용자로부터 이미지로부터 낱알 식별정보를 제공하는 요청하는 입력을 수신하면, 제어부(120)는 메모리(140)에 저장된 프로그램을 실행시켜 낱알 식별 방법을 수행한다.
도 2는 일 실시예에 따른 낱알 식별 방법을 설명하기 위한 순서도이다.
도 2에 도시된 실시예에 따른 낱알 식별 방법은 도 1에 도시된 낱알 식별 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1에 도시된 낱알 식별 장치(100)에 관하여 이상에서 기술한 내용은 도 2에 도시된 실시예에 따른 낱알 식별 방법에도 적용될 수 있다.
도 2는 도 3 내지 도 6을 참조하여 이하에서 후술된다. 도 3 내지 도 6은 일 실시예에 따른 낱알 식별 방법을 설명하기 위한 예시도로서, 낱알 식별 장치(100)가 구현되는 전자단말기 화면을 통해 나타나는 화면의 일례를 도시한 것이다.
낱알 식별 장치(100)는 복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출할 수 있다 (S210).
관련하여 도 3에서 도시된 바와 같이, 낱알 식별 장치(100)는 복수의 낱알의 이미지(310, 320, 330)를 포함하는 제1이미지(300)를 획득할 수 있다.
그리고 도 4에서 도시된 바와 같이 낱알 식별 장치(100)는, 제1이미지(300)로부터 낱알 각각을 포함하는 제2이미지(410, 420, 430)를 추출할 수 있다. 이를 위해 낱알 식별 장치(100)는 패스터 R-CNN을 이용하여 제1이미지 내에서 낱알로 추정되는 영역을 디텍션하고 상기 낱알을 에워싸는 바운딩 박스의 영역을 제2이미지로서 추출할 수 있다.
이와 같이 추출된 제2이미지를 낱알 식별 장치(100)는 보정할 수 있다 (S220).
일 실시예에 따르면 낱알 식별 장치(100)는 제2이미지를 스케일링할 수 있다.
또 다른 실실시예에 따르면 낱알 식별 장치(100)는 제2이미지를 회전시킬 수 있는데, 예를 들어 도 5에서 도시된 바와 같이, 낱알의 이미지가 학습된 정방향에 맞추어 제2이미지(420)가 보정될 수 있도록 VGGnet을 기반으로 컨볼루셔널 뉴럴 네트워크를 이용하여, 정방향과 대비하여 제2이미지가 회전된 각도를 획득할 수 있고, 획득한 회전 각도만큼 제2이미지를 역방향으로 회전시켜 보정된 제2이미지(500)를 획득할 수 있다.
한편 낱알 식별 장치(100)는 보정된 제2이미지에 기초하여 낱알의 식별정보를 제공할 수 있다 (S230).
일 실시예에 따르면 낱알 식별 장치(100)는 딥 뉴럴 네트워크를 이용하여, 제2이미지에서 기호, 색상 및 모양 중 적어도 하나에 대응되는 특징 벡터를 추출할 수 있고 특징 벡터에 매칭되는 후보군을 제공할 수 있다.
또 다른 실시예에 따르면 낱알 식별 장치(100)는 제2이미지에서 기호, 색상 및 모양 중 적어도 하나에 대응되는 특징 벡터에 매칭되는 복수 개의 식별정보를 편집거리 순으로 포함하는 후보군을 구하고, 후보군과 쿼리와의 연관성을 계산하여 랭킹그룹을 제공할 수 있다.
예를 들어, 낱알 식별 장치(100)는 후보군에 포함되는 낱알 중 적어도 일부를 포함하는 도큐먼트에 포함되는 낱알의 식별정보에 대응되는 기호, 모양 및 색상 중 적어도 하나와, 제2이미지에 대응되는 기호, 색상 및 모양 중 적어도 하나에 기초한 쿼리에 기초하여, 도큐먼트에 포함되는 식별정보 중 제2이미지에 포함되는 낱알 이미지에 가장 일치도가 높은 순서로 식별정보들을 그룹핑하여 랭킹그룹을 제공할 수 있다. 즉 낱알 식별 장치(100)는, 도 6에서 도시된 바와 같이, 낱알(310, 320, 330) 각각에 대응되는 식별정보의 랭킹그룹(610, 620, 630)을 제공할 수 있다.
이때, 낱알 식별 장치(100)는 랭킹그룹을 구성하기 위해 학습 데이터로서 임의의 쿼리가 주어졌을 때 사용자가 선택하는 횟수를 기준으로 결정되는 값을 이용할 수 있다.
추가로 낱알 식별 장치(100)는 낱알의 단면 촬영 만으로 낱알의 식별정보를 획득하기 어렵거나 획득하더라도 정확하게 획득하기 어려운 경우, 식별이 어려운 낱알을 추가 촬영하여 추가 이미지를 획득하고 추가 획득이미지에 기초하여 후보군 또는 랭킹그룹에서 재검색함으로써 식별의 정확도를 높일 수 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
도 2를 통해 설명된 실시예에 따른 낱알 식별 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한 도 2를 통해 설명된 실시예에 따른 낱알 식별 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 도 2를 통해 설명된 실시예에 따른 낱알 식별 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
100: 낱알 식별 장치
110: 입출력부 120: 제어부
130: 통신부 140: 메모리

Claims (19)

  1. 낱알의 이미지 및 상기 낱알의 이미지에 대한 학습 결과를 저장하는 메모리; 및
    복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출하며, 보정된 제2이미지에 기초하여 낱알의 식별정보를 제공하는 제어부를 포함하는, 낱알 식별 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    낱알의 이미지에서 특징 지도를 추출하여, 낱알의 기호, 색상 및 모양 중 적어도 하나에 대응되는 특성을 학습하는, 낱알 식별 장치.
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1이미지에 대한 디텍션을 수행함에 따라 상기 제1이미지 상에서 낱알의 이미지를 에워싸는 바운딩 박스의 영역을 제2이미지로서 추출하는, 낱알 식별 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    컨볼루셔널 뉴럴 네트워크를 이용하여 상기 제2이미지를 회전시킴으로써 상기 제2이미지를 보정하는, 낱알 식별 장치.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 제2이미지의 회전 각도를 결정하기 위해 VGGnet을 기반으로 하는 컨볼루셔널 뉴럴 네트워크를 학습시키는, 낱알 식별 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 제2이미지에 포함되는 낱알의 식별정보의 후보를 하나 이상 포함하는 랭킹그룹을 제공하는, 낱알 식별 장치.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 제2이미지에 대응되는 기호, 모양 및 색상 중 적어도 하나에 기초하여 하나 이상의 낱알의 식별정보를 포함하는 후보군을 제공하는, 낱알 식별 장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 제2이미지에 대응되는 기호, 모양 및 색상 중 적어도 하나와, 상기 후보군에 포함되는 식별정보에 대응되는 기호, 모양 및 색상 중 적어도 하나에 기초하여, 상기 후보군에 포함되는 낱알의 식별정보 중 적어도 일부를 선택하여 그룹핑한 랭킹그룹을 제공하는, 낱알 식별 장치.
  9. 제 7 항에 있어서,
    상기 제어부는,
    상기 후보군에 포함되는 식별정보에 대해 선택된 횟수에 기초하여 결정된 등급을 이용하여 랭킹그룹을 제공하는, 낱알 식별 장치.
  10. 낱알 식별 장치가 복수 개의 낱알을 식별하는 방법으로서,
    복수의 낱알의 이미지를 포함하는 제1이미지로부터 하나의 낱알 이미지를 포함하는 제2이미지를 복수 개 추출하는 단계;
    상기 제2이미지를 보정하는 단계; 및
    보정된 제2이미지에 기초하여 낱알의 식별정보를 제공하는 단계를 포함하는, 낱알 식별 방법.
  11. 제 10 항에 있어서
    상기 제2이미지를 복수 개 추출하는 단계는,
    상기 제1이미지에 대한 디텍션을 수행함에 따라 상기 제1이미지 상에서 낱알의 이미지를 에워싸는 바운딩 박스의 영역을 제2이미지로서 추출하는 단계를 포함하는, 낱알 식별 방법.
  12. 제 10 항에 있어서,
    상기 보정하는 단계는,
    컨볼루셔널 뉴럴 네트워크를 이용하여 상기 제2이미지를 회전시킴으로써 상기 제2이미지를 보정하는 단계를 포함하는, 낱알 식별 방법.
  13. 제 12 항에 있어서,
    상기 보정하는 단계는,
    상기 제2이미지의 회전 각도를 결정하기 위해 VGGnet을 기반으로 하는 컨볼루셔널 뉴럴 네트워크를 학습시키는, 낱알 식별 방법.
  14. 제 10 항에 있어서,
    상기 식별정보를 제공하는 단계는,
    상기 제2이미지에 포함되는 낱알의 식별정보의 후보를 하나 이상 포함하는 랭킹그룹을 제공하는 단계를 포함하는, 낱알 식별 방법.
  15. 제 10 항에 있어서,
    상기 식별정보를 제공하는 단계는,
    상기 제2이미지에 대응되는 기호, 모양 및 색상 중 적어도 하나에 기초하여 하나 이상의 낱알의 식별정보를 포함하는 후보군을 제공하는 단계를 포함하는, 낱알 식별 방법.
  16. 제 15 항에 있어서,
    상기 식별정보를 제공하는 단계는,
    상기 제2이미지에 대응되는 기호, 모양 및 색상 중 적어도 하나와, 상기 후보군에 포함되는 식별정보에 대응되는 기호, 모양 및 색상 중 적어도 하나에 기초하여, 상기 후보군에 포함되는 낱알의 식별정보 중 적어도 일부를 선택하여 그룹핑한 랭킹그룹을 제공하는 단계를 포함하는, 낱알 식별 방법.
  17. 제 15 항에 있어서,
    상기 식별정보를 제공하는 단계는,
    상기 후보군에 포함되는 식별정보에 대해 선택된 횟수에 기초하여 결정된 등급을 이용하여 랭킹그룹을 제공하는 단계를 포함하는, 낱알 식별 방법.
  18. 제 10 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  19. 낱알 식별 장치에 의해 수행되며, 제 10 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
KR1020180138929A 2018-11-13 2018-11-13 복수 개의 낱알을 식별하는 방법 및 그 장치 KR20200057813A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180138929A KR20200057813A (ko) 2018-11-13 2018-11-13 복수 개의 낱알을 식별하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180138929A KR20200057813A (ko) 2018-11-13 2018-11-13 복수 개의 낱알을 식별하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20200057813A true KR20200057813A (ko) 2020-05-27

Family

ID=70910779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180138929A KR20200057813A (ko) 2018-11-13 2018-11-13 복수 개의 낱알을 식별하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20200057813A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113109240A (zh) * 2021-04-08 2021-07-13 国家粮食和物资储备局标准质量中心 一种计算机实施的粮食不完善粒测定方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113109240A (zh) * 2021-04-08 2021-07-13 国家粮食和物资储备局标准质量中心 一种计算机实施的粮食不完善粒测定方法和系统

Similar Documents

Publication Publication Date Title
US10366313B2 (en) Activation layers for deep learning networks
US11423076B2 (en) Image similarity-based group browsing
US10936911B2 (en) Logo detection
US10289927B2 (en) Image integration search based on human visual pathway model
JP2023018021A (ja) 制御されていない照明条件の画像中の肌色を識別する技術
US11093748B2 (en) Visual feedback of process state
EP3739504A1 (en) System and method for plant disease detection support
Kao et al. Visual aesthetic quality assessment with a regression model
WO2019079895A1 (en) SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS
US9911066B2 (en) Classification system for similar objects from digital images
US9449221B2 (en) System and method for determining the characteristics of human personality and providing real-time recommendations
US10339369B2 (en) Facial expression recognition using relations determined by class-to-class comparisons
US20150339348A1 (en) Search method and device
CN107924452B (zh) 用于图像中的脸部对准的组合形状回归
US11323577B2 (en) Image processing device for creating an album
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
JP6937508B2 (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
US20180314909A1 (en) Detection and recognition of objects lacking textures
Dutta Facial Pain Expression Recognition in Real‐Time Videos
KR20200057813A (ko) 복수 개의 낱알을 식별하는 방법 및 그 장치
KR102082430B1 (ko) 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법
US20220261856A1 (en) Method for generating search results in an advertising widget
US20160162752A1 (en) Retrieval apparatus, retrieval method, and computer program product
Caroppo et al. Facial expression recognition in ageing adults: A comparative study
US20230022364A1 (en) Method and system for extracting sentiments or mood from art images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application