KR102276491B1 - 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치 - Google Patents

시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치 Download PDF

Info

Publication number
KR102276491B1
KR102276491B1 KR1020200119105A KR20200119105A KR102276491B1 KR 102276491 B1 KR102276491 B1 KR 102276491B1 KR 1020200119105 A KR1020200119105 A KR 1020200119105A KR 20200119105 A KR20200119105 A KR 20200119105A KR 102276491 B1 KR102276491 B1 KR 102276491B1
Authority
KR
South Korea
Prior art keywords
reagent
manufacturer
reagent bottle
information
target
Prior art date
Application number
KR1020200119105A
Other languages
English (en)
Inventor
김건우
전영제
정동주
Original Assignee
주식회사 스마트 잭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스마트 잭 filed Critical 주식회사 스마트 잭
Priority to KR1020200119105A priority Critical patent/KR102276491B1/ko
Application granted granted Critical
Publication of KR102276491B1 publication Critical patent/KR102276491B1/ko
Priority to PCT/KR2021/012582 priority patent/WO2022060082A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G06K9/344—
    • G06K9/348—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치가 개시된다. 본 발명의 일측면에 따른 컴퓨팅 장치에서 수행되는 영상분석에 의한 시약 정보 수집 방법은, 대상 시약병에 대한 촬영영상을 분석하여 대상 시약병에 부착 또는 인쇄된 라벨을 이용한 시약병 특징을 추출하는 단계; 미리 구축된 제조사DB를 참조하여 시약병 특징에 상응하는 제조사를 결정하는 단계; 및 제조사에 대응되도록 저장된 제조사시약정보를 기반으로 라벨의 텍스트 분석에 의한 대상 시약병의 시약 정보를 인식하는 단계를 포함한다.

Description

시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치{Reagent information collecting method and device by image analysis using reagent bottle features}
본 발명은 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치에 관한 것이다.
일반적으로 기업 혹은 집단 실험에 사용되는 기자재 및 시약들은 ERP(Enterprise Resource Planning, 기업 자원 관리)라고 불리는 재고 관리 시스템에 의해 관리된다. 그런데, 결재, 관리, 사용 등 역할에 맞는 부서가 나누어져 있는 조직에서는 ERP을 사용하기가 용이하지만, 소규모 전문 인력이 운영하는 대학교 연구실, 중소기업 연구소 등에는 ERP를 사용하기 어렵다.
그리고, 일반적으로 대학교 연구실, 중소기업 연구소 등에서는 기자재 및 시약들의 구매와 재고 관리 등을 수기로 작성하여 종이 문서로 공유한다.
그러나, 상기한 일반적인 방법은, 사람이 수기로 작성하는 문서의 특성상 누락 혹은 오기로 인한 업무 효율이 떨어지는 현상이 발생하고, 적정량의 재고 수량을 확인하기 어려워 실험 계획 등에 악영향을 미칠 수 있다.
더욱이 화학 물질 시약의 경우 길고 복잡한 이름을 가지며, 방대한 양으로 인해 일일이 수기로 기록하기에는 많은 어려움이 있으며, 통상적으로 엑셀과 같은 문서 형태로 관리하고 있어 사실상 정확한 현황파악이 어려운 문제가 있다.
이러한 이유로 인해 연구원들의 행정업무가 늘어나 업무의 비효율을 초래하며, 시약의 중복 구매와 같은 금전적 손실도 발생하기도 한다.
한국등록특허 제10-1731169호
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 보유한 시약에 대한 정보를 촬영 영상을 이용하여 획득하는 시약정보 수집 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 시약병의 특징을 이용하여 제조사를 인식함으로써 인식의 정확도를 높이기 위한 시약병 특징을 이용한 시약정보 수집 방법 및 장치를 제공하기 위한 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 컴퓨팅 장치에서 수행되는 영상분석에 의한 시약 정보 수집 방법에 있어서, 대상 시약병에 대한 촬영영상을 분석하여 대상 시약병에 부착 또는 인쇄된 라벨을 이용한 시약병 특징을 추출하는 단계; 미리 구축된 제조사DB를 참조하여 상기 시약병 특징에 상응하는 제조사를 결정하는 단계; 및 상기 제조사에 대응되도록 저장된 제조사시약정보를 기반으로 상기 라벨의 텍스트 분석에 의한 상기 대상 시약병의 시약 정보를 인식하는 단계를 포함하는, 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.
상기 제조사 DB를 구축하는 단계는, 특정 제조사의 시약병을 촬영하는 단계; 상기 시약병에 대한 촬영영상을 복수의 그리드 셀로 분할하는 단계; 상기 복수의 그리드 셀에서 라벨 영역을 결정하는 단계; 상기 결정된 라벨 영역에 포함된 그리드 셀 각각의 특징맵을 추출하는 단계; 및 상기 추출된 특징맵을 저장하는 단계를 포함할 수 있다.
상기 시약병 특징을 추출하는 단계는, 상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀로 분할하는 단계; 및 상기 복수의 그리드 셀 각각에서 특징맵을 추출하는 단계를 포함하고, 상기 제조사를 결정하는 단계는, 상기 대상 시약병에 대해 추출된 특징맵과 상기 제조사 DB에 미리 저장된 특징맵을 비교하여 상기 대상 시약병의 제조사를 결정할 수 있다.
상기 시약 정보를 인식하는 단계는, 상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀 각각에 포함된 텍스트의 폰트, 모양 및 기호 중 적어도 하나를 이용하여 상기 대상 시약병의 시약 정보를 인식할 수 있다.
여기서, 상기 제조사에 대응된 제조사시약정보로서, 시약명 또는 제품코드에 대한 라벨 내의 텍스트 위치에 대한 정보가 포함된다.
또한, 관리되는 시약병들의 라벨 사이즈를 특정사이즈로 동일화시킨 상태에서 겹쳤을 때 텍스트가 중복되는 특징영역을 선택하고, 상기 특징영역의 이미지자체 또는 인식된 텍스트를 각 시약병의 특징정보로서 상기 제조사DB에 저장함으로써, 상기 제조사의 결정에 이용한다.
또한, 상기 특징영역은 제조사마다 달리 설정된다.
또한, 상기 시약병 특징으로서, 상기 라벨의 모양, 라벨상의 텍스트 위치, 라벨크기 대비 텍스트 크기 비율, 대상 시약병과 라벨의 크기 비율 중 적어도 어느 하나 이상을 더 이용된다.
또한, 상기 촬영영상에서 배경, 상기 대상 시약병 및 상기 라벨의 각 휘도값의 차이값을 상기 시약병 특징으로서 더 포함한다.
또한, 상기 제조사가 복수개 결정된 경우, 상기 라벨의 텍스트를 분석하여 결정된 제조사에 대한 정보가 존재하는지 여부를 확인하는 단계를 포함하되, 확인 성공된 경우 텍스트에 따른 하나의 제조사를 결정하고, 확인 실패된 경우 결정된 모든 제조사를 이용한다.
본 발명의 다른 측면에 따르면, 대상 시약병을 촬영하기 위한 촬영부; 대상 시약병에 대한 촬영영상을 분석하여 시약병에 부착 또는 인쇄된 라벨을 이용한 시약병 특징을 추출하는 특징추출부; 구축된 제조사DB를 참조하여 상기 시약병 특징에 상응하는 제조사를 결정하는 제조사결정부; 및 상기 제조사에 대응되도록 저장된 제조사시약정보를 기반으로 상기 라벨의 텍스트 분석에 의한 상기 대상 시약병의 시약 정보를 인식하는 정보인식부를 포함하는, 시약 정보 수집 장치가 제공된다.
본 발명에 따르면, 시약정보의 입력이 편리하여 연구 이외의 행정, 실무 등에 소비하는 시간을 최소화하여 연구 인력들이 연구에 전념할 수 있게 하는 효과가 있다.
또한, 본 발명에 따르면 시약병의 특징을 이용하여 제조사를 인식함으로써 라벨의 텍스트 인식률이 다소 낮더라도 보다 정확히 보유시약의 현황을 파악할 수 있어, 업무 효율을 높이고 중복구매와 같은 금전적 손실을 예방할 수 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1는 본 발명의 일 실시예에 따른 시약 정보 수집 장치의 구성을 도시한 블록도.
도 2 및 도 3은 본 발명의 각 실시예에 따른 시약병 라벨의 텍스트 인식을 통한 각 제조사의 시약정보DB화를 도시한 예시도들.
도 4는 본 실시예에 따른 시약병에 대한 특징맵 추출 과정을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 시약병 특징을 이용한 시약 정보 인식 과정을 도시한 흐름도.
도 6은 본 발명의 일 실시예에 따른 시약병 특징 정보 등록 과정을 도시한 흐름도.
도 7 및 도 8은 본 발명의 실시예에 따른 한 제조사의 각 시약병 특징 추출 방식을 도시한 예시도.
도 9는 본 발명의 일 실시예에 따른 시약명 보정 방식을 도시한 예시도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1는 본 발명의 일 실시예에 따른 시약정보 수집장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 실시예에 따른 시약정보 수집장치(100)는 저장부(10) 및 제어부(30)를 포함하되, 제어부(30)는 그 기능에 따라 특징추출부(31), 제조사결정부(32), 정보인식부(33) 및 정보관리부(34)를 포함할 수 있다.
여기서, 시약정보 수집장치(100)는 서버 형태로 구현될 수 있으며, 따라서 통신망을 통한 통신을 위한 통신수단 등을 더 구비할 수 있다. 그리고, 상술한 저장부(10)에 저장되는 제조사DB는 별도의 물리적으로 구분되는 데이터베이스(Database)형태로 구축될 수도 있음(도 2의 210 참조)은 당연하다.
그리고, 시약정보 수집장치(100)는 시약병을 촬영한 영상을 분석하여 해당 시약병의 시약정보를 취득하는데, 시약병 영상은 통신망을 통해 결합된 사용자단말(예를 들어, 스마트폰 등) 등에 의해 촬영되어 수신하는 형태일 수 있다.
저장부(10)에는 시약을 제조하는 제조사에 대한 정보가 저장되는데, 도면과 같이 제조사정보는 DB화되어 관리될 수 있다. 제조사 정보로서 제조되는 시약병들에 대한 정보(이하 제조사시약정보라 칭함)가 포함되며, 특히 해당 제조사에서 제조된 것임을 식별하기 위한 특징이 되는 정보인 시약병 특징정보가 포함된다. 시약병 특징에 대해서는 차후 관련도면을 참조하여 보다 상세히 설명하기로 한다.
그리고, 제조사DB를 구축할 때, 각 시약병의 라벨에 대한 텍스트 검출 및 인식 후, 텍스트 의미분류를 통해 각 제조사의 시약병 라벨에 포함된 정보들의 세부 항목을 분류하여 관리한다.
도 2 및 도 3은 본 발명의 각 실시예에 따른 시약병 라벨의 텍스트 인식을 통한 각 제조사의 시약정보DB화를 도시한 예시도들이다.
먼저 일례에 따른 도 2 및 도 3을 함께 참조하면, 시약을 관리하는 관리자는 스마트폰과 같은 사용자단말(200)을 이용하여 시약병 영상을 촬영하여 시약정보 수집장치(100)로 제공한다. 시약정보 수집장치(100)는 시약병 영상에 부착 또는 인쇄되는 라벨을 분석하여 제조사명, 제품코드, 시약명(제품명), 용량, 순도 등에 대한 시약정보를 추출하여 제조사DB(210)에 저장한다.
이때, 정확한 추출을 위해 도 3과 같이 제조사명, 시약명 등이 표시되는 라벨의 영역(위치)에 대해 사용자가 지정할 수 있도록, 텍스트 의미 분류 도구에 대한 관리자 인터페이스(예를 들어, 참조번호 300과 같은 관리자단말에 표시되는 형태)를 제공한다. 표시 영역을 특정하거나, 또는 인식된 텍스트에 대한 수정 등을 수행하도록 할 수 있을 것이다.
또한, 본 발명의 바람직한 일 실시예에 따르면, 제조사 DB를 구축함에 있어, 각 제조사별 시약병의 특징맵을 미리 추출하여 저장할 수 있으며,
도 4는 본 실시예에 따른 시약병에 대한 대한 특징맵 추출 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 제조사 DB를 구축하기 위해, 특정 제조사의 시약병을 촬영하고, 시약병에 대한 촬영영상을 복수의 그리드 셀로 분할한다.
여기서, 복수의 그리드 셀은 36 x 36 또는 48x48일 수 있으나, 반드시 이에 한정되지 않는다.
시약정보 수집장치(100)는 복수의 그리드 셀에서 라벨 영역을 결정하고, 결정된 라벨 영역에 포함된 그리드 셀 각각의 특징맵을 추출한다. 이후, 추출된 특징맵을 저장한다.
라벨 영역 결정 및 특징맵 추출은 신경망 중 하나인 YOLO v3를 기반으로 수행될 수 있다.
특징맵 추출 및 저장 과정은 각 제조사의 시약병에 대한 반복 촬영을 통해 이루어질 수 있다.
본 발명의 다른 실시예에 따르면, 라벨에서 텍스트의 위치 기반으로 시약정보 수집이 이루어질 수도 있다.
예를 들어, 제조사A는 A0001, A0002등의 라벨 유형을 가지며, 각 라벨유형은 그 크기, 색상 등의 특정한 정보가 있을 것이며, 또한 도면과 같이 제조사명, 시약명, 제품코드, 용량, 순도 등에 대한 정보가 표시되는 라벨상의 위치에 대한 정보가 포함될 수 있다. 또한, 차후 상세히 설명하겠으나 각 라벨 유형에 따른 시약병 특징에 대한 정보도 함께 관리된다. 따라서, 반대로 촬영된 시약병의 영상을 분석하여 라벨 유형을 인식할 수 있다면, 해당 시약병의 제조사를 알 수 있으며, 시약명, 제품코드 등의 각 시약정보의 라벨 상의 위치를 바로 알 수 있게 된다.
그리고, 저장부(10)에는 각종 시약에 대한 시약명리스트, 상술한 바와 같은 시약명 보정을 위한 정보로서 화학형태소정보가 저장된다. 시약명리스트, 화학형태소, 시약병영상에 대해서는 관련도면(도 9)을 참조하여 차후 상세히 설명하기로 한다.
지금까지는 제조사별 시약정보를 등록하여 DB화하는 방식에 대해 설명하였다. 차후 도 5를 이용하여 구축된 제조사DB를 이용하여 사용자단말에 의해 촬영된 대상 시약병에 대한 시약정보를 독출하는 방식 및 과정에 대해 상세히 설명하기로 한다.
제어부(30)는 촬영영상을 분석하여 대상 시약병의 제조사를 인식하고, 인식된 제조사의 시약들에 대한 정보인 제조사시약정보를 기반으로 대상 시약병의 명칭(시약명) 등을 인식한다. 예를 들어, 라벨의 텍스트를 OCR(optical character recognition) 기술을 이용하여 인식하고, 인식된 텍스트에서 시약명을 추출하여 시약정보로서 활용한다.
즉, 제어부(30)의 특징추출부(31)는 촬영된 대상 시약병의 특징이 되는 정보를 추출하고, 제조사결정부(32)는 추출된 시약병 특징을 이용하여 제조사DB를 참조하여 제조사를 결정하며, 정보인식부(33)는 결정된 제조사에 대응되도록 저장된 시약정보(제조사시약정보)를 기반으로 대상 시약병의 시약명(또는 용량 등)에 대한 정보를 추출하며, 추출된 대상 시약병에 대한 정보는 정보 관리부(34)에 의해 저장부(10)에 저장 및 관리된다.
여기서, 정보인식부(33)는 라벨의 텍스트를 인식하여 대상 시약병의 시약명을 관리할 시약정보로서 생성하는데, 텍스트 인식률이 낮은 경우 등에 의해 시약명이 정상적으로 인식되지 않는 경우 인식된 시약명을 보정한다. 그 보정방식은 차후 도 9를 참조하여 상세히 설명하기로 한다.
이하, 시약정보 수집장치(100)가 대상 시약병의 촬영영상을 분석하여 시약병 특징을 추출하고 이를 이용하여 제조사를 인식하는 방식에 대해 상세히 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 시약병 특징을 이용한 시약 정보 인식 과정을 도시한 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 시약병 특징 정보 등록 과정을 도시한 흐름도이고, 도 7및 도 8는 본 발명의 실시예에 따른 한 제조사의 각 시약병 특징 추출 방식을 도시한 예시도이다.
먼저 도 5를 참조하면, 대상 시약병에 대한 촬영영상을 분석하여 대상 시약병에 부착 또는 인쇄된 라벨을 이용한 시약병 특징을 추출한다(S510).
그리고, 상술한 바와 같은 미리 구축된 제조사DB를 참조하여 시약병 특징에 상응하는 제조사를 결정한다(S520). 현재 시약을 제조하는 제조사는 약 45개 정도인데 비해, 유통되는 시약병은 약 73만종이다. 따라서 먼저 제조사를 인식한 이후 해당 제조사에서 제조되는 시약병들 중 어느 것인지를 확인하는 것이 보다 빠르고 정확할 수 있다. 더욱이 시약병 특징을 활용하므로, 인식된 제조사에서 관리하는 시약병 특징의 수가 적을수록 대상 시약병을 보다 빨리 식별할 수 있을 것이다. 따라서, 대상 시약병에 대한 특징을 추출하고 그 특징정보를 기반으로 제조사를 먼저 식별하는 것이다.
본 실시예에 따른 제조사 결정을 위해 대상 시약병의 특징을 추출함에 있어, 시약정보 수집장치(100)는, 도 4에서와 마찬가지로 대상 시약병에 대한 촬영영상의 복수의 그리드 셀로 분할하고, 복수의 그리드 셀 각각에서 특징맵을 추출하며, 대상 시약병에 대해 추출된 특징맵과 상기 제조사 DB에 미리 저장된 특징맵을 비교하여 상기 대상 시약병의 제조사를 결정할 수 있다.
제조사가 결정되면, 제조사에 대응되도록 저장된 제조사시약정보를 기반으로 대상 시약병의 라벨 내의 텍스트를 분석하여 대상 시약병의 시약 정보를 인식한다(S530).
시약정보 인식 과정에서도, 대상 시약병의 각 그리드 셀에서의 특징맵을 이용한다.
예를 들어, 대상 시약병에 대한 촬영영상의 복수의 그리드 셀 각각에 포함된 텍스트의 폰트, 모양 및 기호 중 적어도 하나를 이용하여 상기 대상 시약병의 시약 정보를 인식할 수 있다.
대상 시약병의 각 그리드 셀에서, 텍스트의 폰트, 모양 및 기호(예를 들어, 하이픈 기호)에 따라 특징맵(특징값)이 달라질 수 있으며, 시약정보 수집장치(100)는 특징맵을 참조하여, 하나 이상의 그리드 셀에 포함되는 시약정보를 인식한다.
본 발명의 일 실시예에 따르면, 특징맵 추출, 텍스트 인식 과정은 신경망 모델을 이용하여 수행될 수 있다.
예를 들어, 시약정보 수집장치(100)는 어텐션 네트워크를 이용하여 대상 시약병의 특징맵을 추출하고, Region Proposal Network를 이용하여 텍스트 영역임을 예측하는 앵커 박스(anchor box)를 생성하고, 생성된 앵커 박스의 점수를 평가하여 경계 박스를 생성하고, Fast R-CNN을 이용하여 생성된 경계 박스들을 최종 확정한 후 텍스트 인식을 수행할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 제조사마다 라벨의 형태 등이 상이할 수 있으므로, 라벨의 모양, 라벨상의 텍스트 위치, 라벨크기 대비 텍스트 크기 비율, 대상 시약병과 라벨의 크기 비율 등이 시약병 특징으로서 활용될 수 있다. 예를 들어, 시약병1은 [라벨의 모양이 가로세로비율이 4:7이고, 흰색바탕에 파란글씨, 라벨크기 100기준 텍스트 크기 3]라는 시약병 특징을 가질 수 있으며, 시약병2는 [가로세로비율 3.5:7, 흰색바탕 검정글씨, 텍스트 비율 100:3.5]라는 시약병 특징을 가질 수 있다. 그리고, 각 제조사마다 제조하는 각 시약병들의 이러한 시약병 특징을 추출하여 제조사정보로서 미리 제조사DB에 저장해 두는 것이다. 이해의 편의를 위해 하나의 예를 들면, 제조사A에서 제조되는 시약병들 중 시약병1과 같은 시약병 특징을 갖는 것이 시약병1을 포함하여 30개가 존재한다고 가정하고, 대상 시약병을 분석한 시약병 특징이 상기한 시약병1의 특징인 경우 대상 시약병은 30개중 어느 하나일 가능성이 높을 것이며, 그로 인해 대상 시약병이 무엇인지를 보다 정확히 인식할 수 있게 된다.
시약병 특징의 다른 예를 들면, 촬영영상에서의 배경, 대상 시약병 및 대상 시약병에 부착 또는 인쇄된 라벨의 각 휘도값의 차이값을 시약병 특징으로서 더 이용할 수 있다. 영상의 휘도값은 빛에 의해 달라지는 값으로 동일 시약병일지라도 촬영환경에 따라 휘도값은 달라질 수 있다. 배경, 시약병 및 라벨간의 휘도값의 비율은 환경과 관련없이 일정한 값을 가질 확률이 높으며, 이 또한 시약병을 구분할 수 있는 특징정보로 활용할 수 있다.
특히 다른 실시예에 따른 시약병 특징정보의 생성 방식에 대해 설명하고자 한다.
도 6을 참조하면, 제조사마다 모든 시약병의 라벨을 특정사이즈로 변환한다(S610). 각 라벨의 크기가 서로 다를 수 있으므로 동일한 크기로 만들기 위함이다. 예를 들어, 제조사A에서 생산되는 시약병이 10만개라면, 10만개의 모든 시약병의 라벨 이미지를 추출하고, 이를 특정 사이즈(예를 들어, 가로세로비율 100mm*120mm 등)로 변환하는 것이다.
그리고, 특정사이즈로 변환된 모든 라벨을 서로 겹쳐서 모든 라벨의 텍스트가 중첩되는 영역 중 어느 한 곳을 특징영역으로서 선정한다(S620). 여기서, 일례에 따르면, 특징영역은 모든 제조사마다 동일하게 설정할 수 있으며, 또는 제조사를 그룹으로 나누어 그룹마다 동일하게 하거나, 또는 모든 제조사마다 서로 다른 특징영역을 선정할 수도 있다.
예를 들어, 모든 제조사가 동일한 특징영역을 이용하는 경우, 상술한 S520에서는 해당 특징영역 1군데만의 특징정보를 독출하면 되는 것이다.
이와 달리 모든 제조사가 서로 다른 특징영역을 이용하는 경우에는 제조사를 특정할 때까지 각 제조사별 특징영역의 모든 특징정보를 추출해야만 한다. 다만 이 경우 각 제조사별 중복되는 텍스트를 갖는 특징정보가 없도록 각각의 영역을 선정하는 것이 바람직하다. 예를 들어, 제조사1은 A영역이고 제조사2는 B영역인데, 제조사1의 A영역에 나타나는 텍스트들과 제조사2의 B영역에 나타나는 텍스트들이 겹치는 것이 존재하지 않도록 함으로써, 보다 빠르고 정확한 제조사의 결정 프로세스가 진행될 수 있다.
다시 도 6을 참조하면, 특징영역의 각 텍스트를 해당 제조사의 시약병 특징으로서 등록하여 저장한다(S630). 10만개의 라벨이 겹쳐진 경우, 최대 10만개의 시약병 특징이 생성될 수 있으며, 제조사마다 유사한 라벨을 이용하게 되므로 제조사마다 중복되는 시약병 특징이 존재하는 경우 그 수는 확연히 줄어들 것이다.
도 7 및 도 8을 함께 참조하면, 제1 시약병의 라벨1(700-1)과 제n 시약병의 라벨n(700-2)을 미리 설정된 크기로 변환하고 서로 겹치면, 도 8에 도시된 바와 같은 겹쳐진 라벨이 생성되며, 겹쳐진 라벨 내에서 텍스트들이 중첩된 특징영역(800)을 선정하는 것이다.
그리고 도면과 같이 각 라벨에서 특징영역(800)의 텍스트(적어도 1개의 문자(또는 기호 또는 숫자 등))를 시약병 특징으로서 활용하는 것이다.
다시 말해 도 5에서 S510에서는 대상 시약병 내의 라벨을 미리 설정된 사이즈로 변환하고, 특징영역의 텍스트(또는 특징영역 자체의 이미지를 그대로 이용할 수도 있음)를 시약병 특징으로서 추출한다. 그리고, 대상 시약병이 상술한 특징영역의 텍스트가 '용'인 시약병 특징을 갖는 경우, 도 의 S520에서 대상 시약병의 제조사는 도 7의 참조번호 700-1의 라벨을 이용하는 제조사로 결정될 수 있을 것이다.
그리고, 시약정보 수집장치는 대상 시약병을 촬영한 촬영영상에서 라벨 내의 텍스트를 인식한다. OCR 기술은 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다.
인식된 텍스트를 분석하여 시약명을 확인한다. 시약명은 통상적으로 다른 텍스트에 비해 크기가 크며, 또한 시약명 특유의 패턴을 가지므로 인식된 텍스트들 중 시약명을 식별하는 방식은 당업자에게는 자명할 것이다.
확인된 시약명(이하 확인 시약명이라 칭함)이 미리 저장된 시약명리스트에 존재하는지를 확인한다. 즉 정확한 시약명이 확인된 것인지를 검증하기 위한 것이다.
확인 시약명이 시약명리스트에 존재하는지를 판단하고, 존재하는 경우엔 확인 시약명을 시약명으로서 확정하여 시약정보를 생성 및 저장한다. 여기서 시약정보 수집장치는 시약정보로서 시약명뿐 아니라, 등록일자, 저장위치 등을 추가 등록할 수 있는 사용자 인터페이스를 제공할 수 있다.
이와 달리, 확인 시약명이 시약명리스트에 존재하지 않는 경우, 인식이 잘못된 것으로 판단하여 화학형태소정보를 참조하여 확인 시약명을 보정하고, 보정 시약명을 시약명으로 하는 시약정보를 생성하여 저장한다.
본 실시예에 따른 시약명 인식은 단순히 OCR을 적용하는 것이 아니라, 미리 학습된 신경망을 통한 보정 과정을 포함하기 때문에 CCA(Chemical Compound Analyzer)로 새롭게 정의할 수 있다.
또한, 본 실시예에 따른 신경망은 입력 레이어의 차원을 줄이기 위한 프로젝션 레이어(Projection layer), 프로젝션 레이어에 대해 비선형 변환을 수행하는 히든 레이어와 각 상태별 확률을 산출하는 출력 레이어(Output layer)를 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른 시약명 보정 방식을 도시한 예시도이다.
시약명의 보정 방식을 예시한 도 9를 참조하면, 화학 명명법 및 물성참조표준 데이터를 이용하여 구축된 화학형태소정보(900)를 DB(database)화 하고, 이를 기반으로 확인 시약명(910)을 형태소 단위로 분할하여 각각 비교하여 보정한다. 즉, 확인 시약명을 화학형태소 단위로 분할하고, 화학형태소정보로서 존재하는 형태소의 텍스트는 유지시키고, 나머지 형태소에 대해 가장 유사한 화학형태소정보에 의한 형태소로 각각 변환함으로써 보정을 수행한다.
여기서, 형태소에 대한 일반적인 정의는 의미를 갖는 최소의 문자인데, 본 발명에서 말하는 형태소는 화학분야에서 명명되는 최소의 텍스트를 의미하는 것으로서 차이가 있으며, 이에 따라 본 발명에서는 화학형태소라 칭한다.
그리고, 화학 명명법의 일례로 IUPAC 명명법이란, 국제 순수·응용화학 연합(IUPAC)이 정한 화합물 명명법이다. 명명의 중심이 되는　모체(고리를 포함한 화합물의 경우 모핵으로 불리는 경우도 있다) 화합물의 수소를 치환기로 치환한　유도체로 명명된다. 유도체로서 명명은 치환명명법,　작용기명명법,　부가명명법, 소거명명법, 접합명명법, 대치명명법) 의 6가지를 사용한다.
물론 이에 한정되는 것은 아니며, 시약명의 구분 및 보정을 위한 화학형태소의 법칙 및 DB화 방식은 상황에 맞게 다양하게 설정될 수 있음은 당연하다.
보정 과정의 일례에 따른 도 9를 참조하면, 확인 시약명을 상술한 바와 같은 화학형태소로 분할하는데, 예시를 도시한 도면에 의하면 3개의 형태로소 분할한다.
분할된 각 형태소(분할 형태소) 각각에 대해 DB화된 화학형태소정보를 참조하여, DB에 존재하는 것은 그대로 유지하고, 존재하지 않는 분할형태소는 유사한 후보형태소를 하나 이상 선정한다.
그리고, 후보형태소 각각을 적용한 보정 시약명이 시약명리스트에 존재하는지를 모두 확인하고, 존재하는 어느 하나를 보정 시약명으로서 선정한다. 만일 후보형태소 모두를 적용하더라도 시약명리스트에 존재하지 않는 경우에는 대상 시약병에 대한 촬영 및 텍스트 인식 및 분석을 재수행한다.
이에 따른 보정 결과를 도시한 도면을 참조하면, 3개의 형태소로 분할된 각각의 분할형태소가 화학형태소정보에 의해 각각 보정되어, 최종적으로 보정 시약명을 획득할 수 있게 된다.
시약정보 수집장치(100)는 빅데이터 분석 기술을 이용하여 화학형태소정보를 구축할 수 있으며, 또한 인공지능 기술 등을 이용하여 화학물질명에 대한 학습을 통해 화학형태소정보를 주기적으로 업데이트할 수 있다.
상술한 본 발명에 따른 시약병 특징을 이용한 영상분석 시약정보 수집 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 저장부 30 : 제어부
31 : 특징추출부 32 : 제조사결정부
33 : 정보인식부 34 : DB관리부

Claims (12)

  1. 컴퓨팅 장치에서 수행되는 영상분석에 의한 시약 정보 수집 방법에 있어서,
    대상 시약병에 대한 촬영영상을 분석하여 대상 시약병에 부착 또는 인쇄된 라벨을 이용한 시약병 특징을 추출하는 단계;
    미리 구축된 제조사DB를 참조하여 상기 시약병 특징에 상응하는 제조사를 결정하는 단계;
    상기 제조사에 대응되도록 저장된 제조사시약정보를 기반으로 상기 라벨의 텍스트 분석에 의한 상기 대상 시약병의 시약 정보를 인식하는 단계; 및
    상기 대상 시약병의 확인 시약명이 시약명리스트에 존재하지 않는 경우, 화학 명명법 및 물성참조표준 데이터를 이용하여 미리 구축된 화학형태소정보를 참조하여 상기 확인 시약명을 보정하는 단계를 포함하되,
    상기 제조사DB는,
    특정 제조사의 시약병을 촬영하는 단계;
    상기 시약병에 대한 촬영영상을 복수의 그리드 셀로 분할하는 단계;
    상기 복수의 그리드 셀에서 라벨 영역을 결정하는 단계;
    신경망 모델 기반으로 상기 결정된 라벨 영역에 포함된 그리드 셀 각각의 특징맵을 추출하는 단계; 및
    상기 추출된 특징맵을 저장하는 단계로 구축되고,
    상기 시약병 특징을 추출하는 단계는,
    상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀로 분할하는 단계; 및
    신경망 모델 기반으로 상기 복수의 그리드 셀 각각에서 특징맵을 추출하는 단계를 포함하고,
    상기 제조사를 결정하는 단계는, 상기 대상 시약병에 대해 추출된 특징맵과 상기 제조사DB에 미리 저장된 특징맵을 비교하여 상기 대상 시약병의 제조사를 결정하며,
    상기 시약 정보를 인식하는 단계는, 신경망 모델 기반으로 상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀 각각에 포함된 텍스트의 폰트, 모양 및 기호 중 적어도 하나를 이용하여 상기 대상 시약병의 시약 정보를 인식하되,
    상기 시약 정보를 인식하는 단계는, Region Proposal Network를 이용하여 텍스트 영역임을 예측하는 앵커 박스를 생성하고, 상기 앵커 박스의 점수를 평가하여 경계 박스를 생성하고, Fast R-CNN을 이용하여 생성된 경계 박스들을 최종 확정한 후 텍스트 인식을 수행하고,
    상기 확인 시약명의 보정은,
    상기 확인 시약명을 복수의 형태소로 분할하고, 상기 화학형태소정보와 상기 복수의 형태소로 분할된 확인 시약명을 비교하여 상기 복수의 형태소 중 상기 화학형태소정보로서 존재하는 형태소는 유지시키고, 나머지 형태소는 상기 화학형태소정보에 기반하여 가장 유사한 형태소로 변환함으로써 수행되는 시약정보 수집 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 제조사에 대응된 제조사시약정보로서, 시약명 또는 제품코드에 대한 라벨 내의 텍스트 위치에 대한 정보가 포함되는, 시약정보 수집 방법.
  6. 청구항 1에 있어서,
    관리되는 시약병들의 라벨 사이즈를 특정사이즈로 동일화시킨 상태에서 겹쳤을 때 텍스트가 중복되는 특징영역을 선택하고, 상기 특징영역의 이미지자체 또는 인식된 텍스트를 각 시약병의 특징정보로서 상기 제조사DB에 저장함으로써, 상기 제조사의 결정에 이용하는, 영상분석 시약정보 수집 방법.
  7. 청구항 6에 있어서,
    상기 특징영역은 제조사마다 달리 설정되는, 시약정보 수집 방법.
  8. 청구항 7에 있어서,
    상기 시약병 특징으로서,
    상기 라벨의 모양, 라벨상의 텍스트 위치, 라벨크기 대비 텍스트 크기 비율, 대상 시약병과 라벨의 크기 비율 중 적어도 어느 하나 이상을 더 이용하는, 시약정보 수집 방법.
  9. 청구항 8에 있어서,
    상기 촬영영상에서 배경, 상기 대상 시약병 및 상기 라벨의 각 휘도값의 차이값을 상기 시약병 특징으로서 더 포함하는, 시약정보 수집 방법.
  10. 청구항 1에 있어서,
    상기 제조사가 복수개 결정된 경우,
    상기 라벨의 텍스트를 분석하여 결정된 제조사에 대한 정보가 존재하는지 여부를 확인하는 단계를 포함하되,
    확인 성공된 경우 텍스트에 따른 하나의 제조사를 결정하고, 확인 실패된 경우 결정된 모든 제조사를 이용하는, 시약정보 수집 방법.
  11. 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
    대상 시약병에 대한 촬영영상을 분석하여 대상 시약병에 부착 또는 인쇄된 라벨을 이용한 시약병 특징을 추출하는 단계;
    미리 구축된 제조사DB를 참조하여 상기 시약병 특징에 상응하는 제조사를 결정하는 단계;
    상기 제조사에 대응되도록 저장된 제조사시약정보를 기반으로 상기 라벨의 텍스트 분석에 의한 상기 대상 시약병의 시약 정보를 인식하는 단계; 및
    상기 대상 시약병의 확인 시약명이 시약명리스트에 존재하지 않는 경우, 화학 명명법 및 물성참조표준 데이터를 이용하여 미리 구축된 화학형태소정보를 참조하여 상기 확인 시약명을 보정하는 단계를 포함하여 수행하는 프로그램이 기록되고,
    상기 제조사DB는,
    특정 제조사의 시약병을 촬영하는 단계;
    상기 시약병에 대한 촬영영상을 복수의 그리드 셀로 분할하는 단계;
    상기 복수의 그리드 셀에서 라벨 영역을 결정하는 단계;
    신경망 모델 기반으로 상기 결정된 라벨 영역에 포함된 그리드 셀 각각의 특징맵을 추출하는 단계; 및
    상기 추출된 특징맵을 저장하는 단계를 통해 구축되고,
    상기 시약병 특징을 추출하는 단계는,
    상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀로 분할하는 단계; 및
    신경망 모델 기반으로 상기 복수의 그리드 셀 각각에서 특징맵을 추출하는 단계를 포함하고,
    상기 제조사를 결정하는 단계는, 상기 대상 시약병에 대해 추출된 특징맵과 상기 제조사DB에 미리 저장된 특징맵을 비교하여 상기 대상 시약병의 제조사를 결정하며,
    상기 시약 정보를 인식하는 단계는, 신경망 모델 기반으로 상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀 각각에 포함된 텍스트의 폰트, 모양 및 기호 중 적어도 하나를 이용하여 상기 대상 시약병의 시약 정보를 인식하고,
    상기 시약 정보를 인식하는 단계는, Region Proposal Network를 이용하여 텍스트 영역임을 예측하는 앵커 박스를 생성하고, 상기 앵커 박스의 점수를 평가하여 경계 박스를 생성하고, Fast R-CNN을 이용하여 생성된 경계 박스들을 최종 확정한 후 텍스트 인식을 수행하고,
    상기 확인 시약명의 보정은,
    상기 확인 시약명을 복수의 형태소로 분할하고, 상기 화학형태소정보와 상기 복수의 형태소로 분할된 확인 시약명을 비교하여 상기 복수의 형태소 중 상기 화학형태소정보로서 존재하는 형태소는 유지시키고, 나머지 형태소는 상기 화학형태소정보에 기반하여 가장 유사한 형태소로 변환함으로써 수행되는 기록매체.
  12. 대상 시약병을 촬영하기 위한 촬영부;
    대상 시약병에 대한 촬영영상을 분석하여 시약병에 부착 또는 인쇄된 라벨을 이용한 시약병 특징을 추출하는 특징추출부;
    구축된 제조사DB를 참조하여 상기 시약병 특징에 상응하는 제조사를 결정하는 제조사결정부; 및
    상기 제조사에 대응되도록 저장된 제조사시약정보를 기반으로 상기 라벨의 텍스트 분석에 의한 상기 대상 시약병의 시약 정보를 인식하고, 상기 대상 시약병의 확인 시약명이 시약명리스트에 존재하지 않는 경우, 화학 명명법 및 물성참조표준 데이터를 이용하여 미리 구축된 화학형태소정보를 참조하여 상기 확인 시약명을 보정하는 정보인식부를 포함하되,
    상기 제조사DB는,
    특정 제조사의 시약병을 촬영하는 단계;
    상기 시약병에 대한 촬영영상을 복수의 그리드 셀로 분할하는 단계;
    상기 복수의 그리드 셀에서 라벨 영역을 결정하는 단계;
    신경망 모델 기반으로 상기 결정된 라벨 영역에 포함된 그리드 셀 각각의 특징맵을 추출하는 단계; 및
    상기 추출된 특징맵을 저장하는 단계를 통해 구축되고,
    상기 특징추출부는, 상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀로 분할하고, 신경망 모델 기반으로 상기 복수의 그리드 셀 각각에서 특징맵을 추출하며,
    상기 제조사결정부는, 상기 대상 시약병에 대해 추출된 특징맵과 상기 제조사DB에 미리 저장된 특징맵을 비교하여 상기 대상 시약병의 제조사를 결정하며,
    상기 정보인식부는, 신경망 모델 기반으로 상기 대상 시약병에 대한 촬영영상의 복수의 그리드 셀 각각에 포함된 텍스트의 폰트, 모양 및 기호 중 적어도 하나를 이용하여 상기 대상 시약병의 시약 정보를 인식하고, Region Proposal Network를 이용하여 텍스트 영역임을 예측하는 앵커 박스를 생성하고, 상기 앵커 박스의 점수를 평가하여 경계 박스를 생성하고, Fast R-CNN을 이용하여 생성된 경계 박스들을 최종 확정한 후 텍스트 인식을 수행하고, 상기 확인 시약명의 보정을, 상기 확인 시약명을 복수의 형태소로 분할하고, 상기 화학형태소정보와 상기 복수의 형태소로 분할된 확인 시약명을 비교하여 상기 복수의 형태소 중 상기 화학형태소정보로서 존재하는 형태소는 유지시키고, 나머지 형태소는 상기 화학형태소정보에 기반하여 가장 유사한 형태소로 변환함으로써 수행하는 시약 정보 수집 장치.
KR1020200119105A 2020-09-16 2020-09-16 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치 KR102276491B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200119105A KR102276491B1 (ko) 2020-09-16 2020-09-16 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치
PCT/KR2021/012582 WO2022060082A1 (ko) 2020-09-16 2021-09-15 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119105A KR102276491B1 (ko) 2020-09-16 2020-09-16 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102276491B1 true KR102276491B1 (ko) 2021-07-13

Family

ID=76858586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119105A KR102276491B1 (ko) 2020-09-16 2020-09-16 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102276491B1 (ko)
WO (1) WO2022060082A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130140241A (ko) * 2012-06-14 2013-12-24 (주)피시피아 안전성 및 정확성이 향상된 시약 관리 방법
JP2016071898A (ja) * 2014-09-30 2016-05-09 メディア株式会社 帳票認識装置、帳票認識システム、帳票認識システムのプログラム、帳票認識システムの制御方法、帳票認識システムプログラムを搭載した記録媒体
KR101731169B1 (ko) 2015-07-03 2017-04-28 강원대학교산학협력단 자재 관리 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753298B1 (ko) * 2015-12-31 2017-07-05 대덕밸리과학기술인 협동조합 IoT 센서 기반의 시약 등록 장치 및 방법
JP2017173925A (ja) * 2016-03-18 2017-09-28 株式会社湯山製作所 光学文字認識装置
KR20190129462A (ko) * 2018-05-11 2019-11-20 주식회사 신켐 시약을 관리 및 공유하는 동작을 수행하는 단말 장치 및 이의 제어 방법과, 이를 수행하는 디지털 처리 장치에 의해 판독될 수 있는 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130140241A (ko) * 2012-06-14 2013-12-24 (주)피시피아 안전성 및 정확성이 향상된 시약 관리 방법
JP2016071898A (ja) * 2014-09-30 2016-05-09 メディア株式会社 帳票認識装置、帳票認識システム、帳票認識システムのプログラム、帳票認識システムの制御方法、帳票認識システムプログラムを搭載した記録媒体
KR101731169B1 (ko) 2015-07-03 2017-04-28 강원대학교산학협력단 자재 관리 장치 및 방법

Also Published As

Publication number Publication date
WO2022060082A1 (ko) 2022-03-24

Similar Documents

Publication Publication Date Title
US10878372B2 (en) Method, system and device for association of commodities and price tags
US11816165B2 (en) Identification of fields in documents with neural networks without templates
EP3432197B1 (en) Method and device for identifying characters of claim settlement bill, server and storage medium
CN111931664A (zh) 混贴票据图像的处理方法、装置、计算机设备及存储介质
US11182544B2 (en) User interface for contextual document recognition
CN114003690A (zh) 信息标注方法、模型训练方法、电子设备及存储介质
WO2022247823A1 (zh) 图像检测方法、设备和存储介质
CN113673500A (zh) 证件图像识别方法、装置、电子设备及存储介质
CN112613569A (zh) 图像识别方法、图像分类模型的训练方法及装置
CN112232354A (zh) 一种文字识别方法、装置、设备及存储介质
KR102282025B1 (ko) 컴퓨터를 이용한 문서 분류 및 문자 추출 방법
KR102276491B1 (ko) 시약병 특징을 이용한 영상분석 시약정보 수집 방법 및 장치
CN117372956A (zh) 一种变电站屏柜设备状态检测方法及装置
CN111274812B (zh) 一种人物关系识别方法、设备及存储介质
CN114998920B (zh) 基于nlp语义识别的供应链金融文件管理方法及系统
CN116311299A (zh) 表格的结构化数据识别方法、装置及系统
CN116403233A (zh) 一种基于数字化档案图像定位及识别方法
US20220405503A1 (en) Machine learning-based document splitting and labeling in an electronic document system
Pattnaik et al. A Framework to Detect Digital Text Using Android Based Smartphone
CN114049686A (zh) 签名识别模型训练方法、装置及电子设备
KR102193302B1 (ko) 영상을 이용한 시약 정보 수집 방법 및 장치
KR102665966B1 (ko) 도서목록정보(marc data) 구축을 위한 인공지능을 이용한 분류번호(kdc, ddc) 생성 방법 및 시스템
CN110852713A (zh) 一种统一信用代码证识别系统和算法
CN117372510B (zh) 基于计算机视觉模型的地图注记识别方法、终端及介质
CN107491906A (zh) 测绘产品检查方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant