KR20220067363A - 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템 - Google Patents

이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템 Download PDF

Info

Publication number
KR20220067363A
KR20220067363A KR1020200153982A KR20200153982A KR20220067363A KR 20220067363 A KR20220067363 A KR 20220067363A KR 1020200153982 A KR1020200153982 A KR 1020200153982A KR 20200153982 A KR20200153982 A KR 20200153982A KR 20220067363 A KR20220067363 A KR 20220067363A
Authority
KR
South Korea
Prior art keywords
box
boxes
analysis server
image analysis
image
Prior art date
Application number
KR1020200153982A
Other languages
English (en)
Other versions
KR102505705B1 (ko
Inventor
임상규
Original Assignee
주식회사 메딜리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메딜리티 filed Critical 주식회사 메딜리티
Priority to KR1020200153982A priority Critical patent/KR102505705B1/ko
Priority to PCT/KR2021/010824 priority patent/WO2022108044A1/ko
Priority to CA3198777A priority patent/CA3198777A1/en
Priority to JP2023528639A priority patent/JP7474546B2/ja
Publication of KR20220067363A publication Critical patent/KR20220067363A/ko
Application granted granted Critical
Publication of KR102505705B1 publication Critical patent/KR102505705B1/ko
Priority to US18/198,188 priority patent/US20230306630A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/02—Pill counting devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J1/00—Containers specially adapted for medical or pharmaceutical purposes
    • A61J1/03—Containers specially adapted for medical or pharmaceutical purposes for pills or tablets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • A61J3/07—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms into the form of capsules or similar small containers for oral use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Tourism & Hospitality (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템에 관한 것이다.
본 발명의 일 측면에 따르면, 사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 이미지를 입력 받는 단계; 이미지 분석 서버에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계; 및 이미지 분석 서버에 의해 남아 있는 박스의 개수를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기에 전송하는 단계를 포함하는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.

Description

이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템 {Image analysis server, object counting method using the same and object counting system}
본 발명은 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템에 관한 것이다.
고령화 사회로 진입함에 따라 병원을 찾는 환자의 수요가 증가하고 있으며, 그에 따라 투약되는 약의 종류나 개수도 증가하고 있다.
그러나, 소규모 약국이나 병원에서 환자에게 알약을 투약하거나 재고조사를 하는 경우 수작업으로 알약의 개수를 세어야 하는 불편함이 있다. 뿐만 아니라, 사람이 수작업으로 알약을 세는 경우, 정해진 개수의 약보다 적게 투약되거나 많게 투약되는 실수가 많이 발생하고 있다.
이러한 문제점을 해소하고자 대규모 약국이나 병원에서는 알약을 세는 장치를 도입하여 사용하고 있으나, 이러한 장치는 고가여서 소규모 약국이나 병원에서는 현실적으로 구매가 어렵다는 문제점이 있다.
특허문헌: 한국공개공보 10-2016-0057187 (2016.05.23 공개)
본 발명의 실시예들은 상기와 같은 문제를 해결하기 위해 제안된 것으로서, 복잡하고 고가의 장비의 도입없이 간단하게 객체(예를 들어, 알약)의 개수를 카운팅 할 수 있는 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템을 제공하고자 한다.
또한, 밀접하게 붙어 있는 객체(예를 들어, 알약)의 개수를 정확하게 카운팅 할 수 있는 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따르면, 사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 이미지를 입력 받는 단계; 이미지 분석 서버에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중에서 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계; 및 이미지 분석 서버에 의해 남아 있는 박스의 개수를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기에 전송하는 단계를 포함하는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
또한, 이미지 분석 서버에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중에서 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계는, 박스 설정모듈에 의해 객체 인식 딥러닝 모델을 실행하여, 각각의 상기 객체에 대해 복수 개의 박스를 형성하는 단계를 포함하는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
또한, 각각의 상기 객체에 대해 복수 개의 박스를 형성하는 단계 이후에,제1 박스 제거모듈에 의해 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘이 실행되는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
또한, 제1 박스 제거모듈에 의해 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘이 실행된 후, 제2 박스 제거모듈에 의해 하나의 객체에 하나의 박스만을 남기고 나머지 박스를 삭제하는 단계가 실행되는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
또한, 상기 제2 박스 제거모듈에 의해 하나의 객체에 의해 하나의 박스만을 남기고 나머지 박스를 단계는, 기준 박스 설정부에 의해 남아있는 박스 중에서 임의의 박스를 기준 박스로 설정하는 단계; 집합 박스 설정부에 의해 상기 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정하는 단계; 비교 공간 설정부에 의해 상기 기준 박스가 차지하는 공간 중 상기 집합 박스와 겹치는 공간을 제거하여, 상기 기준 박스에서 남아 있는 공간을 비교 공간으로 설정하는 단계; 알약 계수 비교에 의한 박스 제거부에 의해 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우, 상기 기준 박스로 설정된 박스를 남기고, 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우, 상기 기준 박스로 설정된 박스를 제거하는 단계를 포함하는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
또한, 상기 박스 설정모듈에 의해 실행되는 객체 인식 딥러닝 모델은 RetinaNet인 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
또한, 상기 제1 박스 제거모듈에 의해 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘은 NMS(non maximum suppression)인 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
또한 상기 알약 계수는 상기 객체의 크기 및 형상에 따라 데이터베이스에 저장되어 있고, 알약 계수 판단모듈은 이미지에 나타난 객체의 크기 및 형상에 따라 상기 데이터베이스에 저장된 알약 계수를 매칭시키는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 사용자 단말기로부터 하나 이상의 객체를 포함하는 이미지를 입력받고, 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하고, 남아 있는 박스의 개수를 카운팅하여 박스에 대응하는 개수를 사용자 단말기에 전송하는 이미지 분석 서버가 제공될 수 있다.
또한, 상기 이미지 분석 서버는, 객체 인식 딥러닝 모델을 실행하여, 각각의 상기 객체에 대해 복수 개의 박스를 형성하는 박스 설정모듈; 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘을 실행할 수 있는 제1 박스 제거모듈; 및 하나의 객체에 대해 하나의 박스만을 남기고 나머지 박스를 삭제하는 제2 박스 제거모듈을 포함하는 이미지 분석 서버가 제공될 수 있다.
또한, 상기 제2 박스 제거모듈은, 남아있는 박스 중에서 임의의 박스를 기준 박스로 설정하는 기준 박스 설정부; 상기 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정하는 집합 박스 설정부; 상기 기준 박스가 차지하는 공간 중 상기 집합 박스와 겹치는 공간을 제거하여, 상기 기준 박스에서 남아 있는 공간을 비교 공간으로 설정하는 비교 공간 설정부; 및 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우, 상기 기준 박스로 설정된 박스를 남기고, 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우, 상기 기준 박스로 설정된 박스를 제거하는 알약 계수 비교에 의한 박스 제거부를 포함하는 이미지 분석 서버가 제공될 수 있다.
또한, 상기 이미지 분석 서버는, 상기 객체의 크기 및 형상에 따른 알약 계수를 저장하고 있는 데이터베이스; 및 상기 이미지에 나타난 객체의 크기 및 형상에 따라 상기 데이터베이스에 저장된 알약 계수를 매칭시키는 알약 계수 판단모듈을 더 포함하는 이미지 분석 서버가 제공될 수 있다.
본 발명의 또 다른 실시예에 따르면, 하나 이상의 객체를 포함하고 있는 이미지를 입력 받을 수 있는 사용자 단말기; 및 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하고, 남아 있는 박스를 카운팅할 수 있는 상술한 이미지 분석 서버를 포함하는 객체 카운팅 시스템이 제공될 수 있다.
본 발명의 실시예들에 따른 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템은 복잡하고 고가의 장비의 도입없이 간단하게 객체(예를 들어, 알약)의 개수를 카운팅 할 수 있는 효과가 있다.
또한, 밀접하게 붙어 있는 객체(예를 들어, 알약)의 개수를 정확하게 카운팅 할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 객체 카운팅 시스템을 개략적으로 나타내는 도면이다.
도 2는 도 1의 이미지 분석 서버의 구성을 개략적으로 나타내는 도면이다.
도 3은 도 2의 이미지 분석 서버의 제2 박스 제거모듈의 하위 구성을 개략적으로 나타내는 도면이다.
도 4는 도 1의 객체 카운팅 시스템에 의해 실행되는 이미지 분석 서버를 이용한 객체 카운팅 방법을 개략적으로 나타내는 순서도이고,
도 5는 도 4의 S1 내지 S3 단계 중 S2 단계에 대해 보다 자세히 도시한 순서도이다.
도 6는 도 5의 S32 내지 S36 단계 중 S36 단계에 대해 보다 자세히 도시한 순서도이다.
도 7는 도 1에 도시된 사용자 단말기에 의해 객체를 입력받는 것을 개념적으로 나타낸 도면이다.
도 8는 도 1의 이미지 분석 서버에 의해 객체 인식 딥러닝 모델인 RetinaNet이 실행되어 하나의 알약에 대해 복수 개의 박스가 형성된 것을 개념적으로 나타낸 도면이다.
도 9은 도 1의 이미지 분석 서버에 의해 박스를 제거하는 알고리즘인 NMS(non maximum suppression)가 실행됨으로써, 하나의 알약(객체)에 형성된 박스를 개념적으로 나타낸 도면이다.
도 10은 도 6에 도시된 S36 단계의 이해를 돕기 위해 개념적으로 도시한 도면이다.
도 11은 도 1의 객체 카운팅 시스템을 이용하여 복수 개의 이미지를 이미지 분석 서버로 전송하고, 복수 개의 이미지 각각에 포함된 하나 이상의 객체를 카운팅하는 순서도를 개략적으로 나타내는 도면이고,
도 12는 단일 분석 모드와 멀티 분석 모드인 경우 도 1의 사용자 단말기에 나타나는 화면을 나타내는 도면이다.
도 13은 멀티 분석 모드인 경우 이미지 분석 서버에 의해 분석이 완료된 복수 개의 이미지 각각에 포함된 객체의 개수 및 종류가 도 1의 사용자 단말기의 화면에 나타나는 도면이다.
도 14는 도 1의 사용자 단말기가 안착될 수 있는 멀티 분석 보조기구를 개략적으로 나타내는 도면이다.
도 15는 멀티 분석 모드를 용이하게 실시하기 위한 도 14의 멀티 분석 보조기구 및 이동벨트를 개략적으로 나타내는 도면이다.
도 1은 본 발명의 일 실시예에 따른 객체 카운팅 시스템(1)을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 객체 카운팅 시스템(1)은 이미지 분석 서버(10)와 사용자 단말기(20)와 관리자 단말기(30)를 포함할 수 있다.
여기서, 이미지 분석 서버(10)와 사용자 단말기(20)와 관리자 단말기(30)는 서로 독립적인 장치로 제공되어 통신망(40)을 통해 데이터 통신하거나, 또는 이미지 분석 서버(10)와 관리자 단말기(30)는 하나의 물리적인 장치로 구성되어 직접 데이터 통신 가능하게 제공될 수 있다.
본 실시예에서는 이미지 분석 서버(10)와 사용자 단말기(20)와 관리자 단말기(30)는 별개의 독립적인 장치로 제공되는 것을 예로 들어 설명한다.
본 실시예의 객체 카운팅 시스템(1)은 이미지에 포함된 객체의 개수를 정확하게 카운팅할 수 있는 시스템으로 이해될 수 있다.
구체적으로, 사용자는 사용자 단말기(20)를 통해 객체를 촬영하면, 촬영된 객체를 포함하는 이미지는 이미지 분석 서버(10)에 전송되고, 이미지 분석 서버(10)에 의해 기 설정된 알고리즘을 거쳐 이미지에 나타난 객체의 개수가 카운팅될 수 있다.
본 실시예에서 객체는 일정 형상을 갖는 알약인 것을 예로 들어 설명한다. 사용자 단말기(20)에 의해 촬영된 객체가 알약인 경우, 본 실시예의 객체 카운팅 시스템(1)은 약국 및 병원에서 사용 가능한 알약의 개수를 카운팅 하는 시스템으로 이해될 수 있다.
다만, 본 발명의 사상은 이에 한정되지 않으며, 객체는 일정 형상을 갖는 모든 물건을 포함할 수 있다.
이미지 분석 서버(10)는 사용자 단말기(20)로부터 이미지 데이터를 수신하고, 이미지에 나타난 객체의 개수를 카운팅하는데 필요한 데이터를 처리하는 서버로 이해될 수 있다.
하나의 이미지에 포함된 객체는 동일한 크기 및 형상을 갖는 동일한 종류의 객체일 수 있다. 즉, 이미지 분석 서버(10)는 하나의 이미지에 포함된 동일한 객체를 카운팅 할 수 있다.
다만, 본 발명의 사상은 이에 한정되는 것은 아니며, 하나의 이미지에 포함된 객체는 서로 다른 크기 및 형상을 갖는 서로 다른 종류의 객체일 수 있으며, 이 경우 이미지 분석 서버(10)는 하나의 이미지에 포함된 서로 다른 종류의 객체를 카운팅 할 수도 있다.
사용자 단말기(20)는 후술하는 객체 플레이트에 놓여진 객체를 촬영하여 이미지로 나타낼 수 있다.
또한, 사용자 단말기(20)는 이미지 분석 서버(10)와 통신 가능한 장치로서, 이동형 단말 또는 컴퓨팅 장치로 구현되는 고정형 단말일 수 있다.
예를 들어, 사용자 단말기(20)는 객체를 촬영할 수 있는 카메라를 포함하는 스마트폰, 노트북, 태블릿 PC, 웨어러블 기기, 컴퓨터 등을 포함할 수 있다. 다만, 사용자 단말기(20)는 이러한 예에 한정되지 않으며, 별도의 카메라로 제공될 수도 있다.
관리자 단말기(30)는 이미지 분석 서버(10)를 통해 사용자 단말기(20)에 제공하는 기능을 업데이트하거나, 일정 명령을 입력할 수 있는 장치로 이해될 수 있다. 예를 들어, 관리자 단말기(30)는 이미지 분석 서버(10)와 통신 가능한 스마트폰, 노트북, 태블릿 PC, 웨어러블 기기, 컴퓨터 등을 포함할 수 있다.
도 2는 도 1의 이미지 분석 서버(10)의 구성을 개략적으로 나타내는 도면이고, 도 3은 도 2의 이미지 분석 서버(10)의 제2 박스 제거모듈(330)의 하위 구성을 개략적으로 나타내는 도면이다.
도 2 및 도 3을 참조하면 이미지 분석 서버(10)는 메모리(200), 프로세서(300) 및 통신 모듈(400)을 포함할 수 있다.
프로세서(300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(200) 또는 통신 모듈(400)로부터 프로세서(300)로 제공될 수 있다. 그 외에 명령은 이미지 분석 서버(10)를 구성하는 각각의 구성요소들 간의 통신 채널을 통해 프로세서(300)로 제공될 수 있다.
프로세서(300)는 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하기 위해 필요한 데이터의 입출력, 데이터의 처리, 데이터의 관리, 통신망(40)을 이용한 통신 등 다양한 기능을 수행할 수 있다. 이를 실행하기 위한 프로세서(300)의 구체적인 구성요소들은 후술한다.
또한, 프로세서(300)의 구성요소들은 딥러닝으로 미리 학습된 인공신경망을 포함할 수 있다. 예를 들어, 프로세서(300)의 구성요소들 중 적어도 하나는 후술하는 RetinaNet을 실현하는 인공신경망일 수 있으며, 이에 대한 자세한 설명은 후술한다.
메모리(200)는 컴퓨터에서 판독 가능한 기록매체로서 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다.
프로세서(300)는 메모리(200)에 저장된 프로그램 코드를 로딩하여 객체를 카운팅 하는데 이용하거나, 객체의 종류를 판단하는데 이용할 수 있다. 이러한 프로그램 코드는 별도의 컴퓨터에서 판독 가능한 기록 매체(예를 들어 DVD, 메모리 카드 등)로부터 로딩되거나, 다른 장치로부터 통신 모듈(400)을 통해 전달되어 메모리(200)에 저장될 수 있다.
또한, 메모리(200)에는 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하기 위해 필요한 데이터를 저장할 수 있는 데이터베이스(210)가 제공될 수 있다.
통신 모듈(400)은 통신망(40)을 통해 사용자 단말기(20)와 이미지 분석 서버(10), 또는 관리자 단말기(30)와 이미지 분석 서버(10)가 서로 통신하기 위한 기능을 제공할 수 있다.
이미지 분석 서버(10)는 물리적인 구성인 박스 설정모듈(310), 제1 박스 제거모듈(320), 제2 박스 제거모듈(330), 알약 계수 판단모듈(340), 카운팅 모듈(350), 및 종류 판단모듈(360)을 포함할 수 있다. 또한, 제2 박스 제거모듈(330)은 기준 박스 설정부(331), 집합 박스 설정부(332), 비교 공간 설정부(333) 및 알약 계수 비교에 의한 박스 제거부(334)를 포함할 수 있으며, 이에 대한 자세한 설명은 후술한다
도 4는 도 1의 객체 카운팅 시스템(1)에 의해 실행되는 이미지 분석 서버를 이용한 객체 카운팅 방법을 개략적으로 나타내는 순서도이고, 도 5는 도 4의 S1 내지 S3 단계 중 S2 단계에 대해 보다 자세히 도시한 순서도이고, 도 6는 도 5의 S32 내지 S36 단계 중 S36 단계에 대해 보다 자세히 도시한 순서도이고, 도 7는 도 1에 도시된 사용자 단말기(20)에 의해 객체를 입력받는 것을 개념적으로 나타낸 도면이고, 도 8는 도 1의 이미지 분석 서버(10)에 의해 객체 인식 딥러닝 모델인 RetinaNet이 실행되어 하나의 알약에 대해 복수 개의 박스가 형성된 것을 개념적으로 나타낸 도면이며, 도 9은 도 1의 이미지 분석 서버(10)에 의해 박스를 제거하는 알고리즘인 NMS(non maximum suppression)가 실행됨으로써, 하나의 알약(객체)에 형성된 박스를 개념적으로 나타낸 도면이다.
도 4및 도 9를 참조하면, 이미지 분석 서버를 이용한 객체 카운팅 방법은 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 이미지를 입력 받는 단계(S1); 이미지 분석 서버(10)에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계(S2); 이미지 분석 서버(10)에 의해 남아 있는 박스를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기(20)에 전송하는 단계(S3)를 포함할 수 있다.
이미지 분석 서버(10)에 의해 카운팅될 수 있는 하나의 이미지에 포함된 객체는 동일한 크기 및 형상을 갖는 동일한 종류의 객체, 또는 서로 다른 크기 및 형상을 갖는 복수 개의 종류의 객체를 포함할 수 있다.
본 실시예에서는 이미지 분석 서버(10)에 의해 카운팅되는 하나의 이미지에 포함된 객체는 동일한 종류의 객체인 것을 예를 들어 설명한다.
또한, 이하에서는 객체는 알약인 것을 예를 들어 상술한 과정에 대해 보다 자세히 설명한다.
먼저, 사용자 단말기(20)에 의해 하나 이상의 객체(예를 들어, 알약)를 포함하고 있는 이미지를 입력 받는 단계(S1)에 대해 구체적으로 설명하면 다음과 같다.
사용자는 객체 플레이트(50)에 동일한 크기 및 형상을 갖는 동일한 종류의 알약을 놓고(도 7의(a) 참조), 사용자 단말기(20)를 통해 알약에 대한 이미지를 촬영할 수 있다(도 7의(b) 참조).
이때, 객체 플레이트(50)에는 알약이 포개지지 않게 놓여야 한다.
다만 본 발명의 사상은 이에 한정되는 것은 아니며, 객체 카운팅 시스템(1)은 후술하는 멀티 분석 보조기구(60) 또는 이미지 분석 서버(10)에 의해 알약이 포개짐을 경고하는 기능을 포함하고 있을 수 있다. 이에 대한 자세한 설명은 후술한다.
객체 플레이트(50)는 알약이 놓여질 수 있는 평평한 판일 수 있고, 알약과 대비되는 색상 또는 알약과 다른 색상으로 제공될 수 있다. 예를 들어, 알약이 흰색으로 제공되는 경우, 객체 플레이트(50)는 검정색으로 제공될 수 있다.
그 후, 사용자 단말기(20)에 의해 촬영된 알약을 포함하고 있는 이미지는 이미지 분석 서버(10)로 전송될 수 있다.
본 실시예에서는 사용자가 사용자 단말기(20)를 파지하여 이미지를 촬영하는 것을 예로 들어 설명하나, 본 발명의 사상은 이에 한정되는 것은 아니며 사용자 단말기(20)를 후술하는 멀티 분석 보조기구(60)에 놓고 이미지를 촬영할 수도 있으며(도 14 참조), 이에 대한 자세한 설명은 후술한다.
다음으로, 이미지 분석 서버(10)에 의해 각각의 상기 객체(예를 들어, 알약)에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계(S2)에 대해 구체적으로 설명하면 다음과 같다.
이미지 분석 서버(10)는 사용자 단말기(20)로부터 동일한 종류의 복수 개의 알약를 포함하고 있는 이미지를 전송받을 수 있다.
그 후, 이미지 분석 서버(10)의 박스 설정모듈(310)에 의해 하나의 객체에 대해 복수 개의 박스를 형성할 수 있다(S32).
예를 들어, 박스 설정모듈(310)은 객체 인식 딥러닝 모델인 RetinaNet을 실행하는 인공 신경망으로 제공될 수 있다. RetinaNet이 실행되는 경우, 각각의 알약에 대해 복수 개의 박스를 형성할 수 있다. 다만, 박스 설정모듈(310)에 의해 실행될 수 있는 객체 인식 딥러닝 모델은 RetinaNet에 한정되지 않으며, 박스 설정모듈(310)은 YOLO 중 CenterNet 하나 이상을 실행하는 것을 포함할 수 있다.
RetinaNet을 이용하는 경우 박스를 사용하여 객체를 검출하는 방법에서 신경 회로망을 학습함에 있어 객체 샘플의 수가 배경의 샘플의 수에 비하여 매우 적고 이로 인하여 나타나는 문제점을 해결할 수 있다.
구체적으로, RetinaNet은 backbone 네트워크와 두개의 task-specific subnetworks로 구성된 통합된 하나의 네트워크일 수 있다. backbone 네트워크는 입력된 전체 이미지에 대해서 convolutional feature map을 계산하는 역할을 수행한다. 첫번째 subnet은 backbone의 결과에서 convolutional 하게 객체 구분(object classification)을 수행하는 단계이며, 두번째 subnet은 convolutional하게 박스(bounding box)를 추정하는 역할을 수행할 수 있다.
도 8은 박스 설정모듈(310)에 의해 객체 인식 딥러닝 모델인 RetinaNet이 실행됨으로써, 하나의 알약(객체)에 대해 복수 개의 박스(B)가 형성된 것을 개념적으로 나타낸 도면이다.
박스 설정모듈(310)에 의해 RetinaNet이 실행되는 경우, 알약이 밀접하게 붙어있는 경우, 하나의 알약에 대해 복수 개의 박스가 형성되는바, 알약의 개수와 박스의 개수가 동일하지 않다. 따라서, 알약이 밀접하게 붙어 있는 경우에도 알약의 개수를 정확하게 카운팅하기 위해서는, RetinaNet이 실행된 후, RetinaNet에 의해 형성된 복수 개의 박스 중 일부를 제거하는 단계를 거쳐야 한다.
구체적으로, 박스 설정모듈(310)에 의해 RetinaNet이 실행된 후, 이미지 분석 서버(10)의 제1 박스 제거모듈(320)에 의해 하나의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘이 실행될 수 있다(S34).
예를 들어, 제1 박스 제거모듈(320)에 의해 실행되는 알고리즘은 NMS(non maximum suppression) 일 수 있다. 여기서, NMS(non maximum suppression)는 현재 픽셀을 기준으로 주변의 픽셀과 비교했을 때, 최대값인 경우는 남기고, 아닐 경우는 제거하는 비최대값 억제 알고리즘으로 이해될 수 있다.
도 9는 제1 박스 제거모듈(320)에 의해 박스를 제거하는 알고리즘인 NMS(non maximum suppression)가 실행됨으로써, 하나의 알약(객체)에 형성된 박스를 개념적으로 나타낸다.
NMS(non maximum suppression)가 실행된 후에도, 알약들이 매우 밀접하게 붙어 있는 경우에는, 알약의 개수와 박스의 개수가 다를 수 있다.
예를 들어, 도 9을 참조하면 매우 밀접하게 붙어 있는 알약 3개에 5개의 박스(B1, B2, B3, B4, B5)가 형성된 것을 알 수 있다. 이 경우, 제2 박스 제거모듈(330)에 하나의 객체에 하나의 박스만을 남기고 나머지 박스를 삭제하는 단계가 실행될 수 있다(S36). 여기서, 제2 박스 제거모듈(330)는 기준 박스 설정부(331), 집합 박스 설정부(332), 비교 공간 설정부(333), 알약 계수 비교에 의한 박스 제거부(334)를 포함할 수 있으며, 이와 같은 구성에 의해 아래와 같이 S36단계가 실행될 수 있다(도 6 참조).
구체적으로, S36 단계는, 기준 박스 설정부(331)에 의해 남아있는 박스 중에서 임의의 박스를 기준 박스로 설정하는 단계(S361); 집합 박스 설정부(332)에 의해 상기 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정하는 단계(S362); 비교 공간 설정부(333)에 의해 상기 기준 박스가 차지하는 공간 중 상기 집합 박스와 겹치는 공간을 제거하여, 상기 기준 박스에서 남아 있는 공간을 비교 공간으로 설정하는 단계(S363); 알약 계수 비교에 의한 박스 제거부(334)에 의해 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우 상기 기준 박스로 설정된 박스를 남기고, 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우 상기 기준 박스로 설정된 박스를 제거하는 단계(S364)를 포함할 수 있다(도 5 참조).
도 10은 도 6에 도시된 S36 단계의 이해를 돕기 위해 개념적으로 도시한 도면이다.
도 1 내지 도 10을 참조하여, S36 단계에 대해 예를 들어 설명하면 아래와 같다.
제1 박스 제거모듈(320)에 의해 S34 단계가 실행되는 경우, 밀접하게 붙어있는 알약에 대해 알약 보다 많은 개수의 박스가 형성(예를 들어, 3개의 알약에 의해 5개의 박스(B1 내지 B5)가 형성 )될 수 있다.
이 경우, 5개의 남아있는 박스(B1 내지 B5) 중에서 임의의 박스인 제1 박스(B1)를 기준 박스로 설정하고, 제1 박스(B1)와 겹치는 박스들인 제2 박스(B2), 제4 박스(B4) 및 제5 박스(B5)를 집합 박스로 설정한다.
그 후, 제1 박스(B1)가 차지하는 공간 중에서 집합 박스(B2, B4, B5)와 겹치는 공간을 제거하여, 남아 있는 공간을 비교 공간(C)으로 설정한다.
그 후, 비교 공간(C)과 기준 박스인 제1 박스(B1)가 차지하는 공간의 비율이 알약 계수 보다 크므로 (비교 공간(C)/기준 박스(B1)가 차지하는 공간) > 알약 계수), 기준 박스로 설정된 제1 박스(B1)는 남아 있을 수 있다.
여기서, 알약 계수는 객체(알약)가 존재할 수 있는 공간을 나타내는 것으로서, 객체(알약)의 크기 및 형상에 따라 다르게 설정될 수 있으며, 알약 계수는 0 초과 1 미만(예를 들어, 알약 계수는 0.85)의 값으로 설정될 수 있다.
이와 같은, 알약 계수는 이미지 분석 서버(10)의 알약 계수 판단모듈(340)에 의해 설정될 수 있다.
구체적으로, 객체(알약)의 크기 및 형상에 따른 알약 계수는 데이터베이스(210)에 저장되어 있을 수 있으며, 사용자 단말기(20)로부터 이미지 분석 서버(10)에 객체(알약)을 포함하는 이미지가 전송되는 경우, 알약 계수 판단모듈(340)은 객체(알약)의 크기 및 형상에 따라 데이터베이스(210)에 저장된 알약 계수를 매칭시켜, 객체의 종류에 따라 알약 계수를 다르게 설정할 수 있다. 개념적으로, 알약의 크기가 커질 수록, 알약 계수는 0과 1 사이에서 커질 수 있다.
마찬가지로, 제4 박스(B4)를 기준 박스로 설정하는 경우, 비교 공간과 기준 박스인 제4 박스(B4)가 차지하는 공간의 비율은 알약 계수 보다 작으므로, 기준 박스로 설정된 제4 박스(B4)는 제거될 수 있다.
이와 같이, S361 내지 S364 단계를 거치는 경우, 밀접하게 붙어 있는 객체가 있더라도, 객체의 개수와 박스의 개수를 동일하게 할 수 있다.
그 후, 이미지 분석 서버(10)에 의해 남아 있는 박스를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기(20)에 전송하는 단계(S3)가 실행될 수 있다.
구체적으로, 이미지 분석 서버(10)의 카운팅 모듈(350)은 남아 있는 박스를 카운팅하여 사용자 단말기(20)에 전송하고, 사용자 단말기(20)는 카운팅된 개수를 디스플레이하거나, 스피커를 통해 사용자에게 음성으로 전달할 수 있다.
또한, 이미지 분석 서버(10)에 의해 분석된 객체의 종류 및 카운팅된 객체의 개수는 매칭되어 데이터베이스(210)에 저장될 수 있으며, 사용자는 사용자 단말기(20)를 통해 객체의 종류 및 카운팅된 객체의 개수에 대한 이력을 조회할 수도 있다.
이와 같은 과정을 거쳐, 사용자는 수십개 내지 수만개의 알약에 대해 이미지를 찍어 이미지 분석 서버(10)로 전송하기만 하면, 알약의 정확학 개수가 카운팅되어 사용자에게 알려줄 수 있는바, 약국 또는 병원에서 알약의 재고 조사에 소요되는 시간을 줄 일 수 있다.
또한, 상술한 프로세서는 사용자 단말기(20)에 어플리케이션 형태로 설치되거나, 웹페이지로 제공될 수 있고, 사용자는 어플리케이션을 다운받거나 웹 페이지에 접속하여, 이미지를 업로드 하기만 하면, 이미지에 포함된 알약의 개수가 사용자에게 자동으로 전달될 수 있다.
이하에서는, 상술한 이미지 분석 서버(10)의 하위 구성인 박스 설정모듈(310), 제1 박스 제거모듈(320), 제2 박스 제거모듈(330), 알약 계수 판단모듈(340) 및 카운팅 모듈(350)에 대해 보다 자세히 설명한다.
상술한 바와 같이 박스 설정모듈(310)은 객체 인식 딥러닝 모델을 실행하여, 각각의 상기 객체에 대해 복수 개의 박스를 형성할 수 있다.
제1 박스 제거모듈(320)은 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘을 실행할 수 있다.
제2 박스 제거모듈(330)은 하나의 객체에 대해 하나의 박스만을 남기고 나머지 박스를 삭제할 수 있다.
구체적으로, 제2 박스 제거모듈(330)은 기준 박스 설정부(331), 집합 박스 설정부(332), 비교 공간 설정부(333) 및 알약 계수 비교에 의한 박스 제거부(334)를 포함할 수 있으며,
기준 박스 설정부(331)는 남아있는 박스 중에서 임의의 박스를 기준 박스로 설정할 수 있다.
집합 박스 설정부(332)는 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정할 수 있다.
비교 공간 설정부(333)는 기준 박스가 차지하는 공간 중 집합 박스와 겹치는 공간을 제거하여, 기준 박스에서 남아 있는 공간을 비교 공간으로 설정할 수 있다.
알약 계수 비교에 의한 박스 제거부(334)는 비교 공간과 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우, 기준 박스로 설정된 박스를 남기고, 비교 공간과 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우, 기준 박스로 설정된 박스를 제거할 수 있다.
알약 계수 판단모듈(340)은 이미지에 나타난 객체의 크기 및 형상에 따라 상기 데이터베이스(210)에 저장된 알약 계수를 매칭시킬 수 있다.
카운팅 모듈(350)은 객체에 대응되는 개수의 박스를 카운팅하여 사용자 단말기(20)에 전송할 수 있다.
도 11은 도 1의 객체 카운팅 시스템(1)을 이용하여 복수 개의 이미지를 이미지 분석 서버(10)로 전송하고, 복수 개의 이미지 각각에 포함된 하나 이상의 객체를 카운팅하는 순서도를 개략적으로 나타내는 도면이고, 도 12는 단일 분석 모드와 멀티 분석 모드인 경우 도 1의 사용자 단말기(20)에 나타나는 화면을 나타내는 도면이며, 도 13은 멀티 분석 모드인 경우 이미지 분석 서버(10)에 의해 분석이 완료된 복수 개의 이미지 각각에 포함된 객체의 개수 및 종류가 도 1의 사용자 단말기(20)의 화면에 나타나는 도면이다.
상술한 실시예의 객체 카운팅 시스템(1)에서는 사용자 단말기(20)를 통해 하나의 이미지를 이미지 분석 서버(10)로 전송하고, 하나의 이미지에 포함된 복수 개의 객체를 이미지 분석 서버(10)로 분석하는것을 예로 들어 설명하였으나, 이하에서는 복수 개의 이미지를 이미지 분석 서버(10)로 전송하고, 복수 개의 이미지 각각에 포함된 복수 개의 객체를 분석하는 실시예에 대한 객체 카운팅 시스템(1)에 대해 설명한다.
이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법의 설명에 앞서, 도 12 및 도 13을 참조하여 사용자 단말기(20)의 화면을 설명하면 다음과 같다.
사용자 단말기(20)의 화면은 이미지 확대부(111), 단일 분석버튼(112), 멀티 분석버튼(113), 이미지 입력버튼(114), 멀티 분석창(115) 및 토탈 개수 표시부(119)를 포함할 수 있다.
이미지 확대부(111)에는 사용자 단말기(20)에 의해 촬영 중이거나 촬영된 이미지가 표시될 수 있다.
멀티 분석창(115)에는 사용자 단말기(20)에 의해 촬영된 복수 개의 이미지가 표시될 수 있고, 이미지 분석 서버(10)에 의해 분석된 이미지 각각에 대한 객체의 개수가 표시될 수 있다.
또한, 멀티 분석창(115)에는 각각의 이미지를 선택할 수 있는 이미지 선택창(115a)과 이미지 분석 서버(10)에 의해 분석이 완료된 각각의 이미지의 개수를 표시할 수 있는 개수 표시부(115b)가 제공될 수 있다. 또한, 멀티 분석창(115)은 각각의 이미지를 삭제할 수 있는 삭제 버튼(116)이 제공될 수 있다.
종류 표시부(118)는 이미지 선택창(115a)에 의해 선택된 이미지가 포함하고 있는 객체의 종류를 표시할 수 있다.
토탈 개수 표시부(119)는 멀티 분석창(115)에 표시된 복수 개의 이미지 모두에 포함된 객체의 합을 표시할 수 있다.
도 11 내지 도 13을 참조하면, 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법은, 사용자 단말기(20)에 의해 하나의 이미지가 입력될 수 있는 단일 분석 모드 또는 복수 개의 이미지가 입력될 수 있는 멀티 분석 모드가 선택되는 단계(S10); 멀티 분석 모드가 선택되는 경우 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되고, 입력된 복수 개의 이미지가 이미지 분석 서버(10)로 전송되는 단계(S20); 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계(S30); 사용자 단말기(20)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계(S40)를 포함할 수 있다.
먼저, 사용자 단말기(20)에 의해 하나의 이미지가 입력될 수 있는 단일 분석 모드 또는 복수 개의 이미지가 입력될 수 있는 멀티 분석 모드가 선택되는 단계(S10)에 대해 구체적으로 설명하면 다음과 같다.
사용자는 사용자 단말기(20)를 통해 단일 분석 모드 또는 멀티 분석 모드를 선택할 수 있다.
구체적으로, 사용자는 사용자 단말기(20)의 화면에 나타난 단일 분석버튼(112)을 터치 또는 클릭함으로써 단일 분석 모드를 실행시킬 수 있고, 멀티 분석버튼(113)을 터치 또는 클릭함으로써 멀티 분석 모드를 실행시킬 수 있다.
여기서, 단일 분석 모드가 선택되는 경우, 사용자 단말기(20)를 통해 하나의 이미지만이 촬영되고, 하나의 이미지가 이미지 분석 서버(10)로 전송되어 하나의 이미지만이 분석되는 것으로 이해될 수 있다.
또한, 멀티 분석 모드가 선택되는 경우, 사용자 단말기(20)에 의해 복수 개의 이미지가 촬영되고, 복수 개의 이미지가 이미지 분석 서버(10)로 전송되어 복수 개의 이미지 모두가 분석되는 것으로 이해될 수 있다.
또한, 멀티 분석 모드가 선택되는 경우, 사용자 단말기(20)에는 촬영할 이미지의 수를 선택할 수 있는 입력창(도면 미도시)이 제공될 수 있으며, 이 경우 사용자가 선택할 이미지의 수 만큼 이미지를 촬영하여 생성할 수 있다.
예를 들어, A환자에게 5종류의 알약을 제공해야 하는 경우, 사용자는 입력창에 5를 입력할 수 있으며, 5개의 이미지가 입력되는 경우, 5개의 이미지는 이미지 분석 서버(10)로 전송될 수 있다.
다음으로, 멀티 분석 모드가 선택되는 경우, 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되고, 입력된 복수 개의 이미지가 이미지 분석 서버(10)로 전송되는 단계(S20)에 대해 구체적으로 설명하면 다음과 같다.
사용자가 멀티 분석 모드를 선택하는 경우, 사용자 단말기(20)의 화면 상에는 멀티 분석창(115)이 활성화 되고, 촬영된 복수 개의 이미지는 멀티 분석창(115)에 표시될 수 있다.
사용자는 멀티 분석창(115)에 표시된 복수 개의 이미지를 편집할 수 있다. 예를 들어, 사용자는 멀티 분석창(115)의 삭제 버튼(116)을 터치 또는 클릭하여 분석을 원하지 않는 이미지를 삭제할 수 있다.
사용자 단말기(20)에 의해 하나 이상의 알약을 포함하고 있는 복수 개의 이미지가 입력(촬영)되는 경우, 사용자는 사용자 단말기(20)를 통해 이미지에 나타난 알약의 종류를 입력할 수 있다. 다만 본 발명의 사상은 이에 한정되는 것은 아니며, 알약의 종류는 후술하는 멀티 분석 보조기구(60) 및/또는 이미지 분석 서버(10) 등에 의해 자동적으로 파악될수도 있다. 이에 대한 자세한 설명은 후술한다.
이와 같이 입력된 복수 개의 이미지는 이미지 분석 서버(10)에 전송될 수 있다.
다음으로, 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계(S30)에 대해 설명한다.
구체적으로, S30단계는 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 각각의 객체에 대해 복수 개의 박스를 형성하고, 각각의 이미지에 형성된 복수 개의 박스 중 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계; 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각에 남아 있는 박스의 개수를 카운팅하고, 복수 개의 이미지 각각에 남아 있는 박스에 대응하는 개수를 사용자 단말기(20)에 전송하는 단계를 포함할 수 있다.
여기서, 각각의 이미지에 포함된 객체의 카운팅 방법은 상술한 S2 및 S3와 동일한바, 이에 대한 자세한 설명은 상술한 S2 및 S3에 갈음한다.
다음으로, 사용자 단말기(20)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계(S40)에 대해 설명한다.
구체적으로, S40 단계는, 사용자 단말기(20)의 멀티 분석창(115)에 복수 개의 이미지가 표시되는 단계: 사용자 단말기(20)의 멀티 분석창(115)에 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계; 사용자 단말기(20)의 종류 표시부(118)에 복수 개의 이미지 각각이 포함하고 있는 객체의 종류가 표시되는 단계; 사용자 단말기(20)의 토탈 개수 표시부(119)에 복수 개의 이미지 모두에 포함된 객체의 합이 표시되는 단계를 포함할 수 있다(도 13 참조).
예를 들어, 멀티 분석창(115)에는 4개의 이미지가 표시되고, 각각의 이미지의 일측(예를 들어, 하단)에는 알약의 개수가 표시된다.
또한, 멀티 분석창(115)의 일측에는 종류 표시부(118)가 제공되고, 종류 표시부(118)에는 선택된 이미지의 종류(예를 들어, 넥시움정)가 표시될 수 있다. 이때, 멀티 분석창(115)에 나타난 복수 개의 이미지 중 선택된 이미지는 선택되지 않은 이미지와 다른 색상으로 표시될 수 있다.
한편, 본 실시예의 객체 카운팅 시스템(1)은 상술한 S10단계의 멀티 분석 모드에서 복수 개의 이미지를 입력하기 위한 멀티 분석 보조기구(60) 및 이동벨트(70)를 더 포함할 수 있다.
도 14는 도 1의 사용자 단말기(20)가 안착될 수 있는 멀티 분석 보조기구(60)를 개략적으로 나타내는 도면이고, 도 15는 멀티 분석 모드를 용이하게 실시하기 위한 도 14의 멀티 분석 보조기구(60) 및 이동벨트(70)를 개략적으로 나타내는 도면이다.
도 14 및 도 15를 참조하면, 본 실시예의 객체 카운팅 시스템(1)은 멀티 분석 모드를 용이하게 실시하기 위한 멀티 분석 보조기구(60) 및 이동벨트(70)를 더 포함할 수 있다.
멀티 분석 보조기구(60)는 사용자 단말기(20)가 안착될 수 있는 기구로 이해될 수 있으며, 이동벨트(70)는 복수 개의 객체 플레이트(50)를 이동시킬 수 있는 장치로 이해될 수 있다.
도 14와 도 15에 도시된 멀티 분석 보조기구(60)와 이동벨트(70)가 제공되는 경우, S20에서 상술한 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되는 단계가 용이하게 실현될 수 있다.
구체적으로, 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되는 단계는, 사용자 단말기(20)가 멀티 분석 보조기구(60)의 단말기 안착부(67)에 안착되는 단계; 객체가 놓여진 복수 개의 객체 플레이트(50)가 이동벨트(70)에 안착되는 단계; 이동벨트(70)의 이동에 따라 복수 개의 객체 플레이트(50)가 순차적으로 사용자 단말기(20) 하단에 위치하는 단계; 및 각각의 객체 플레이트(50)가 상기 사용자 단말기(20) 하단에 일정시간 머무른 후 이동함으로써 복수 개의 객체 플레이트(50)가 사용자 단말기(20) 하단을 이동하고, 상기 사용자 단말기(20)가 각각의 객체 플레이트(50)에 놓여진 객체를 촬영하여 복수 개의 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상술한 실시예에서는 동일한 종류의 객체의 개수만 카운팅하는 실시예에 대해서 서술하였으나, 종류 인식표(52)를 포함하는 객체 플레이트(50)를 이용하는 경우, 객체 카운팅 시스템(1)은 서로 다른 종류의 객체를 판단할 수도 있다.
구체적으로, 객체 플레이트(50)의 일측에는 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표(52)가 제공될 수 있다. 이러한 종류 인식표(52)에 의해 객체(알약)의 종류가 판별될 수 있다.
예를 들어, 사용자는 객체 플레이트(50)에 부착된 종류 인식표(52)에 따라 서로 다른 종류의 알약을 객체 플레이트(50)에 놓을 수 있으며, 사용자 단말기(20)는 객체 플레이트(50)의 종류 인식표(52)를 촬영하여, 종류 인식표(52)와 객체를 함께 포함하는 이미지를 생성하거나, 또는 객체를 포함하고 있는 이미지와 종류 인식표(52)를 포함하고 있는 이미지를 각각 생성하여, 이미지 분석 서버(10)에 의해 종류 인식표(52)와 객체를 매칭시켜 분석함으로써 객체의 종류 및 개수를 판단할 수 있다. 이때, 이미지 분석 서버(10)의 프로세서(300)는 종류 인식표(52)를 판별할 수 있는 종류 판단모듈(360)을 더 포함할 수 있다.
이 경우, 상술한 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계(S30) 이후에, 이미지 분석 서버(10)의 종류 판단모듈(360)에 의해 객체와 종류 인식표(52)가 매칭되어 객체의 종류가 판단되는 단계; 및 사용자 단말기(20)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수 및 종류가 표시되는 단계가 실행될 수 있다.
구체적으로, 종류 인식표(52)에 따른 객체의 종류에 대한 데이터는 데이터베이스(210)에 저장되어 있고, 종류 판단모듈(360)은 데이터베이스(210)에 저장된 객체의 종류에 대한 데이터를 받아와 객체의 종류를 판단할 수 있다.
예를 들어, 종류 인식표(52)가 기호1234로 제공되고 데이터베이스(210)에는 기호1234에 대응되는 객체의 종류가 넥시움정으로 저장되어 있는 경우, 사용자는 기호 1234가 표시된 객체 플레이트(50)에 넥시움정을 놓음으로써, 이미지 분석 서버(10)에 의해 별도의 번거로운 작업 없이 용이하게 객체의 종류를 인식할 수 있다.
이하에서는, 상술한 객체의 종류를 판단할 수 있는 물리적 장치에 대해 보다 자세히 설명한다.
본 발명의 일 실시예에 따른 객체 카운팅 시스템(1)은 객체를 놓을 수 있는 공간을 제공하고, 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표(52)를 포함하는 객체 플레이트(50); 객체 플레이트(50)를 촬영하여, 객체 플레이트(50)에 놓여진 하나 이상의 객체를 포함하는 이미지와 종류 인식표(52)를 포함하는 이미지를 생성할 수 있는 사용자 단말기(20); 및 이미지에 포함된 객체의 개수 및 객체의 종류를 판단할 수 있는 이미지 분석 서버(10)를 포함할 수 있다. 여기서, 객체와 종류 인식표(52)는 하나의 이미지로 촬영될 수도 있고, 별개의 이미지로 촬영될수도 있다.
객체 플레이트(50)는, 객체가 놓여질 수 있는 평편한 안착부(55); 및 상기 안착부(55)의 외측에 배치되고, 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표(52)를 포함할 수 있다.
또한, 객체 카운팅 시스템(1)은 객체 플레이트(50)와 기 설정된 거리 이격되어 사용자 단말기(20)가 놓여질 수 있는 단말기 안착부(67)를 포함하는 멀티 분석 보조기구(60)를 더 포함할 수 있다.
멀티 분석 보조기구(60)는 객체 플레이트(50)가 이동하는 하단부(62); 사용자 단말기(20)가 놓여 질 수 있는 단말기 안착부(67)를 포함하는 상면부(66); 및 상기 하단부(62)와 상면부(66)를 연결하는 측면부(64)를 포함할 수 있다. 여기서, 측면부(64)의 높이는 객체 플레이트(50)와 사용자 단말기(20)가 이격된 거리로 이해될 수 있으며, 측면부(64)는 높이 조절이 가능하게 제공될 수 있다.
이러한 멀티 분석 보조기구(60)를 이용하는 경우, 사용자 단말기(20)를 단말기 안착부(67)에 놓고 객체를 촬영하여 이미지를 생성할 수 있는바, 객체 플레이트(50)에 놓여진 객체의 이미지를 용이하게 촬영할 수 있다.
또한, 멀티 분석 보조기구(60)는 객체 플레이트(50)에 놓여진 객체의 겹쳐짐을 판단할 수 있는 센서(69)를 포함할 수 있다.
예를 들어, 센서(69)는 멀티 분석 보조기구(60)의 측면부(64)에 제공되고, 객체 플레이트(50)는 센서(69) 전면을 지나가고, 센서(69)는 객체 플레이트(50)가 이동됨에 따라 객체 플레이트(50)에 놓여진 객체의 높이를 스캔할 수 있다. 여기서, 객체의 높이는 객체 플레이트(50)의 안착부(55)로부터 수직방향으로 측정한 길이로 이해될 수 있다.
즉, 사용자 단말기(20)에 의해 촬영된 이미지는 객체의 일측면(상면)을 촬영하는 것으로 이해될 수 있고, 멀티 분석 보조기구(60)에 부착된 센서(69)는 객체의 다른면(측면)을 스캔하는 것으로 이해될 수 있다.
객체 플레이트(50)가 센서(69)의 전면을 지나감에 따라, 센서(69)는 객체 플레이트(50)에 놓여진 모든 객체들을 스캔할 수 있고, 객체 플레이트(50)에 놓여진 객체들 중에서 일정 범위를 초과하는 객체가 스캔되는 경우, 사용자에게 알려줄 수 있다.
이때, 멀티 분석 보조기구(60)에는 센서(69)와 연결된 스피커(도면 미도시)가 제공되어, 경고음을 통해 알려주거나, 또는 센서(69)로부터 사용자 단말기(20)로 신호를 전송하여, 사용자 단말기(20)를 통해 사용자에게 경고음 또는 경고표시를 해줄 수 있다.
이 경우, 사용자는 객체 플레이트(50)에 놓여진 객체를 점검하여, 객체들이 겹쳐짐이 없이 다시 놓을 수 있다.
또한, 객체 카운팅 시스템(1)은, 복수 개의 객체 플레이트(50)가 안착하고, 상기 복수 개의 객체 플레이트(50)를 상기 사용자 단말기(20) 하단으로 이동시킬 수 있는 이동벨트(70)를 더 포함할 수 있다.
여기서, 이동벨트(70)는 폐곡선을 이루게 제공될 수 있다. 이 경우, 폐곡선을 이루는 이동벨트(70)에 복수 개의 객체 플레이트(50)를 올려놓음으로써, 다수의 객체 플레이트(50)를 활용하여 알약의 개수를 카운팅 할 수 있다.
또한, 복수 개의 객체 플레이트(50)가 제공되는 경우, 복수 개의 객체 플레이트(50)의 안착부(55)의 색상은 서로 다르게 제공될 수 있다.
예를 들어, 빨간색 계열의 객체가 놓여지는 객체 플레이트(50)는 녹색 계열로 제공될 수 있고, 흰색 계열의 객체가 놓여지는 객체 플레이트(50)의 안착부(55)의 색상은 검정색 계열로 제공될 수 있다. 이 경우, 이미지 분석 서버(10)는 객체와 바탕색을 구분하여, 더욱 용이하게 객체를 인식할 수 있다.
이상 본 발명의 실시예에 따른 이미지 분석 서버(10), 이를 포함하는 객체 카운팅 시스템(1), 이미지 분석 서버를 이용한 객체 카운팅 방법 및 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.
1: 객체 카운팅 시스템 10: 이미지 분석 서버
20: 사용자 단말기 30: 관리자 단말기
50: 객체 플레이트 60: 멀티 분석 보조기구
70:이동벨트

Claims (13)

  1. 사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 이미지를 입력 받는 단계;
    이미지 분석 서버에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중에서 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계; 및
    이미지 분석 서버에 의해 남아 있는 박스의 개수를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기에 전송하는 단계를 포함하는
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  2. 제1 항에 있어서,
    이미지 분석 서버에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중에서 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계는,
    박스 설정모듈에 의해 객체 인식 딥러닝 모델을 실행하여, 각각의 상기 객체에 대해 복수 개의 박스를 형성하는 단계를 포함하는
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  3. 제2 항에 있어서,
    각각의 상기 객체에 대해 복수 개의 박스를 형성하는 단계 이후에,
    제1 박스 제거모듈에 의해 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘이 실행되는
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  4. 제3 항에 있어서,
    제1 박스 제거모듈에 의해 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘이 실행된 후,
    제2 박스 제거모듈에 의해 하나의 객체에 하나의 박스만을 남기고 나머지 박스를 삭제하는 단계가 실행되는
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  5. 제4 항에 있어서,
    상기 제2 박스 제거모듈에 의해 하나의 객체에 의해 하나의 박스만을 남기고 나머지 박스를 단계는,
    기준 박스 설정부에 의해 남아있는 박스 중에서 임의의 박스를 기준 박스로 설정하는 단계;
    집합 박스 설정부에 의해 상기 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정하는 단계;
    비교 공간 설정부에 의해 상기 기준 박스가 차지하는 공간 중 상기 집합 박스와 겹치는 공간을 제거하여, 상기 기준 박스에서 남아 있는 공간을 비교 공간으로 설정하는 단계;
    알약 계수 비교에 의한 박스 제거부에 의해 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우, 상기 기준 박스로 설정된 박스를 남기고, 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우, 상기 기준 박스로 설정된 박스를 제거하는 단계를 포함하는
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  6. 제2 항에 있어서,
    상기 박스 설정모듈에 의해 실행되는 객체 인식 딥러닝 모델은 RetinaNet인
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  7. 제3 항에 있어서,
    상기 제1 박스 제거모듈에 의해 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘은 NMS(non maximum suppression)인
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  8. 제5 항에 있어서,
    상기 알약 계수는 상기 객체의 크기 및 형상에 따라 데이터베이스에 저장되어 있고,
    알약 계수 판단모듈은 이미지에 나타난 객체의 크기 및 형상에 따라 상기 데이터베이스에 저장된 알약 계수를 매칭시키는
    이미지 분석 서버를 이용한 객체 카운팅 방법.
  9. 사용자 단말기로부터 하나 이상의 객체를 포함하는 이미지를 입력받고, 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하고, 남아 있는 박스의 개수를 카운팅하여 박스에 대응하는 개수를 사용자 단말기에 전송하는
    이미지 분석 서버.
  10. 제9 항에 있어서,
    상기 이미지 분석 서버는,
    객체 인식 딥러닝 모델을 실행하여, 각각의 상기 객체에 대해 복수 개의 박스를 형성하는 박스 설정모듈;
    각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘을 실행할 수 있는 제1 박스 제거모듈; 및
    하나의 객체에 대해 하나의 박스만을 남기고 나머지 박스를 삭제하는 제2 박스 제거모듈을 포함하는
    이미지 분석 서버.
  11. 제10 항에 있어서,
    상기 제2 박스 제거모듈은,
    남아있는 박스 중에서 임의의 박스를 기준 박스로 설정하는 기준 박스 설정부;
    상기 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정하는 집합 박스 설정부;
    상기 기준 박스가 차지하는 공간 중 상기 집합 박스와 겹치는 공간을 제거하여, 상기 기준 박스에서 남아 있는 공간을 비교 공간으로 설정하는 비교 공간 설정부; 및
    상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우, 상기 기준 박스로 설정된 박스를 남기고, 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우, 상기 기준 박스로 설정된 박스를 제거하는 알약 계수 비교에 의한 박스 제거부를 포함하는
    이미지 분석 서버.
  12. 제10 항에 있어서,
    상기 이미지 분석 서버는,
    상기 객체의 크기 및 형상에 따른 알약 계수를 저장하고 있는 데이터베이스; 및
    상기 이미지에 나타난 객체의 크기 및 형상에 따라 상기 데이터베이스에 저장된 알약 계수를 매칭시키는 알약 계수 판단모듈을 더 포함하는
    이미지 분석 서버.
  13. 하나 이상의 객체를 포함하고 있는 이미지를 입력 받을 수 있는 사용자 단말기; 및
    각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하고, 남아 있는 박스를 카운팅할 수 있는 제9 항 내지 제 12 항 중 어느 한 항에 기재된 이미지 분석 서버를 포함하는
    객체 카운팅 시스템.

KR1020200153982A 2020-11-17 2020-11-17 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템 KR102505705B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200153982A KR102505705B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
PCT/KR2021/010824 WO2022108044A1 (ko) 2020-11-17 2021-08-13 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
CA3198777A CA3198777A1 (en) 2020-11-17 2021-08-13 Image analysis server, object counting method using image analysis server, and object counting system
JP2023528639A JP7474546B2 (ja) 2020-11-17 2021-08-13 イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム
US18/198,188 US20230306630A1 (en) 2020-11-17 2023-05-16 Image analysis server, object counting method using image analysis server, and object counting syste

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200153982A KR102505705B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템

Publications (2)

Publication Number Publication Date
KR20220067363A true KR20220067363A (ko) 2022-05-24
KR102505705B1 KR102505705B1 (ko) 2023-03-03

Family

ID=81805461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200153982A KR102505705B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템

Country Status (1)

Country Link
KR (1) KR102505705B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240065541A (ko) 2022-11-01 2024-05-14 한국생산기술연구원 딥러닝 기반 객체 카운팅 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160057187A (ko) 2014-11-13 2016-05-23 (주)제이브이엠 약제 포장 장치 및 약제 관리 방법
KR20180020017A (ko) * 2016-08-17 2018-02-27 한국전자통신연구원 복약 모니터링 장치 및 이의 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160057187A (ko) 2014-11-13 2016-05-23 (주)제이브이엠 약제 포장 장치 및 약제 관리 방법
KR20180020017A (ko) * 2016-08-17 2018-02-27 한국전자통신연구원 복약 모니터링 장치 및 이의 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240065541A (ko) 2022-11-01 2024-05-14 한국생산기술연구원 딥러닝 기반 객체 카운팅 장치 및 방법

Also Published As

Publication number Publication date
KR102505705B1 (ko) 2023-03-03

Similar Documents

Publication Publication Date Title
CN109325954B (zh) 图像分割方法、装置及电子设备
CN109961101B (zh) 货架状态确定方法及装置、电子设备、存储介质
US9697416B2 (en) Object detection using cascaded convolutional neural networks
CN109784323B (zh) 图像识别的方法、装置、电子设备和计算机存储介质
CN104820836B (zh) 识别装置和识别方法
EP3333768A1 (en) Method and apparatus for detecting target
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
JP5843000B2 (ja) カラーチャート検出装置、カラーチャート検出方法及びカラーチャート検出用コンピュータプログラム
CN105701519A (zh) 基于超像素的图像的实际货架图景象分析
US11216685B2 (en) Dynamically optimizing photo capture for multiple subjects
CN109816745A (zh) 人体热力图展示方法及相关产品
JP5799817B2 (ja) 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
US9501681B1 (en) Decoding visual codes
CN110110110A (zh) 一种以图搜图方法、装置、电子设备及存储介质
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN110363111B (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
KR102505705B1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
KR102607174B1 (ko) 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템
KR101982258B1 (ko) 오브젝트 검출 방법 및 오브젝트 검출 장치
KR102597692B1 (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
JP7474546B2 (ja) イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム
US20220406082A1 (en) Image processing apparatus, image processing method, and storage medium
Gavilan Ruiz et al. Image categorization using color blobs in a mobile environment
CN114630102A (zh) 检测数据采集设备角度变化的方法、装置和计算机设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201117

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221104

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230222

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230227

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230227

End annual number: 3

Start annual number: 1

PG1601 Publication of registration