KR20220067370A - 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템 - Google Patents

이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템 Download PDF

Info

Publication number
KR20220067370A
KR20220067370A KR1020200153993A KR20200153993A KR20220067370A KR 20220067370 A KR20220067370 A KR 20220067370A KR 1020200153993 A KR1020200153993 A KR 1020200153993A KR 20200153993 A KR20200153993 A KR 20200153993A KR 20220067370 A KR20220067370 A KR 20220067370A
Authority
KR
South Korea
Prior art keywords
user terminal
images
analysis server
image analysis
image
Prior art date
Application number
KR1020200153993A
Other languages
English (en)
Other versions
KR102607174B1 (ko
Inventor
임상규
Original Assignee
주식회사 메딜리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메딜리티 filed Critical 주식회사 메딜리티
Priority to KR1020200153993A priority Critical patent/KR102607174B1/ko
Priority to CN202180076688.XA priority patent/CN116457840A/zh
Priority to JP2023528639A priority patent/JP7474546B2/ja
Priority to CA3198777A priority patent/CA3198777A1/en
Priority to PCT/KR2021/010824 priority patent/WO2022108044A1/ko
Publication of KR20220067370A publication Critical patent/KR20220067370A/ko
Priority to US18/198,188 priority patent/US20230306630A1/en
Application granted granted Critical
Publication of KR102607174B1 publication Critical patent/KR102607174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/02—Pill counting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템에 관한 것이다.
본 발명의 일 측면에 따르면, 사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 이미지를 입력 받는 단계; 이미지 분석 서버에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계; 및 이미지 분석 서버에 의해 남아 있는 박스의 개수를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기에 전송하는 단계를 포함하는 이미지 분석 서버를 이용한 객체 카운팅 방법이 제공될 수 있다.

Description

이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템 {Counting method of objects included in multiple images using an image analysis server and object counting system}
본 발명은 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템에 관한 것이다.
고령화 사회로 진입함에 따라 병원을 찾는 환자의 수요가 증가하고 있으며, 그에 따라 투약되는 약의 종류나 개수도 증가하고 있다.
그러나, 소규모 약국이나 병원에서 환자에게 알약을 투약하거나 재고조사를 하는 경우 수작업으로 알약의 개수를 세어야 하는 불편함이 있다. 뿐만 아니라, 사람이 수작업으로 알약을 세는 경우, 정해진 개수의 약보다 적게 투약되거나 많게 투약되는 실수가 많이 발생하고 있다.
이러한 문제점을 해소하고자 대규모 약국이나 병원에서는 알약을 세는 장치를 도입하여 사용하고 있으나, 이러한 장치는 고가여서 소규모 약국이나 병원에서는 현실적으로 구매가 어렵다는 문제점이 있다.
또한, 이러한 장비는 한번에 여러 종류의 알약을 카운팅 할 수 없는 문제점도 있다.
특허문헌: 한국공개공보 10-2016-0057187 (2016.05.23 공개)
본 발명의 실시예들은 상기와 같은 문제를 해결하기 위해 제안된 것으로서, 한번에 다수의 객체 플레이트에 놓여져 있는 객체(예를 들어, 알약)의 개수를 카운팅 할 수 있는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템을 제공하고자 한다.
또한, 복잡하고 고가의 장비의 도입없이 간단하게 객체(예를 들어, 알약)의 개수를 카운팅 할 수 있는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템을 제공하고자 한다.
또한, 밀접하게 붙어 있는 객체(예를 들어, 알약)의 개수를 정확하게 카운팅 할 수 있는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따르면, 사용자 단말기에 의해 하나의 이미지가 입력될 수 있는 단일 분석 모드 또는 복수 개의 이미지가 입력될 수 있는 멀티 분석 모드가 선택되는 단계; 멀티 분석 모드가 선택되는 경우, 사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되고, 입력된 복수 개의 이미지가 이미지 분석 서버로 전송되는 단계; 이미지 분석 서버에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계; 및 사용자 단말기에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계를 포함하는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법이 제공될 수 있다.
또한, 사용자 단말기에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 디스플레이되는 단계는, 사용자 단말기의 멀티 분석창에 복수 개의 이미지가 표시되는 단계: 사용자 단말기의 멀티 분석창에 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계; 사용자 단말기의 종류 표시부에 복수 개의 이미지 각각이 포함하고 있는 객체의 종류가 표시되는 단계; 및 사용자 단말기의 토탈 개수 표시부에 복수 개의 이미지 모두에 포함된 객체의 합이 표시되는 단계를 포함하는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법이 제공될 수 있다.
또한, 사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되는 단계는, 사용자 단말기가 멀티 분석 보조기구의 단말기 안착부에 안착되는 단계; 객체가 놓여진 복수 개의 객체 플레이트가 이동벨트에 안착되는 단계; 이동벨트의 이동에 따라 복수 개의 객체 플레이트가 순차적으로 사용자 단말기 하단에 위치하는 단계; 및 각각의 객체 플레이트가 상기 사용자 단말기 하단에 일정시간 머무른 후 이동함으로써 복수 개의 객체 플레이트가 사용자 단말기 하단으로 이동하고, 상기 사용자 단말기가 각각의 객체 플레이트에 놓여진 객체를 촬영하여 복수 개의 이미지를 생성하는 단계를 포함하는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법이 제공될 수 있다.
또한, 상기 객체가 놓여진 복수 개의 객체 플레이트가 이동벨트에 안착되는 단계 이후에, 객체 플레이트가 이동하여 객체 플레이트에 놓여진 객체가 멀티 분석 보조기구의 센서의 전면을 통과하는 단계를 포함하는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법이 제공될 수 있다.
또한, 이미지 분석 서버에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계 이후에, 이미지 분석 서버의 종류 판단모듈에 의해 객체와 종류 인식표가 매칭되어 객체의 종류가 판단되는 단계를 더 포함하는 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법이 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 객체를 놓을 수 있는 공간을 제공하고, 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표를 포함하는 객체 플레이트; 상기 객체 플레이트를 촬영하여, 상기 객체 플레이트에 놓여진 하나 이상의 객체를 포함하는 이미지와 종류 인식표를 포함하는 이미지를 입력받을 수 있는 사용자 단말기; 및 상기 이미지에 포함된 객체의 개수 및 객체의 종류를 판단할 수 있는 이미지 분석 서버를 포함하는 객체 카운팅 시스템이 제공될 수 있다.
또한, 상기 객체 카운팅 시스템은, 상기 객체 플레이트와 기 설정된 거리 이격되어 사용자 단말기가 놓여질 수 있는 단말기 안착부를 포함하는 멀티 분석 보조기구를 더 포함하는 객체 카운팅 시스템이 제공될 수 있다.
또한, 상기 객체 카운팅 시스템은, 복수 개의 객체 플레이트가 안착되고, 상기 복수 개의 객체 플레이트를 상기 사용자 단말기의 하단으로 이동시킬 수 있는 이동벨트를 더 포함하는 객체 카운팅 시스템이 제공될 수 있다.
또한, 상기 멀티 분석 보조기구는 객체 플레이트가 이동하는 하단부; 사용자 단말기가 놓여 질 수 있는 단말기 안착부를 포함하는 상면부; 및 상기 하단부와 상기 상면부를 연결하는 측면부를 포함하는 객체 카운팅 시스템이 제공될 수 있다.
또한, 상기 멀티 분석 보조기구의 일측에는 상기 객체 플레이트에 놓여진 복수 개의 객체의 높이를 스캔할 수 있는 센서가 제공되고, 상기 센서는 상기 객체 플레이트에 놓여진 객체 중 일정 범위를 초과하는 객체를 감지하는 경우 상기 사용자 단말기로 경고 신호를 발송할 수 있는 객체 카운팅 시스템이 제공될 수 있다.
또한, 상기 하단부와 상기 상면부 사이의 거리가 조절될 수 있도록, 상기 측면부는 길이 조절가능하게 제공되는 객체 카운팅 시스템이 제공될 수 있다.
또한, 상기 이동벨트는 폐 곡선을 이루도록 제공되는 객체 카운팅 시스템이 제공될 수 있다.
본 발명의 실시예들에 따른 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템은 한번에 다수의 객체 플레이트에 놓여져 있는 객체(예를 들어, 알약)의 개수를 카운팅 할 수 있는 장점이 있다.
또한, 복잡하고 고가의 장비의 도입없이 간단하게 객체(예를 들어, 알약)의 개수를 카운팅 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 객체 카운팅 시스템을 개략적으로 나타내는 도면이다.
도 2는 도 1의 이미지 분석 서버의 구성을 개략적으로 나타내는 도면이다.
도 3은 도 2의 이미지 분석 서버의 제2 박스 제거모듈의 하위 구성을 개략적으로 나타내는 도면이다.
도 4는 도 1의 객체 카운팅 시스템에 의해 실행되는 이미지 분석 서버를 이용한 객체 카운팅 방법을 개략적으로 나타내는 순서도이고,
도 5는 도 4의 S1 내지 S3 단계 중 S2 단계에 대해 보다 자세히 도시한 순서도이다.
도 6는 도 5의 S32 내지 S36 단계 중 S36 단계에 대해 보다 자세히 도시한 순서도이다.
도 7는 도 1에 도시된 사용자 단말기에 의해 객체를 입력받는 것을 개념적으로 나타낸 도면이다.
도 8는 도 1의 이미지 분석 서버에 의해 객체 인식 딥러닝 모델인 RetinaNet이 실행되어 하나의 알약에 대해 복수 개의 박스가 형성된 것을 개념적으로 나타낸 도면이다.
도 9은 도 1의 이미지 분석 서버에 의해 박스를 제거하는 알고리즘인 NMS(non maximum suppression)가 실행됨으로써, 하나의 알약(객체)에 형성된 박스를 개념적으로 나타낸 도면이다.
도 10은 도 6에 도시된 S36 단계의 이해를 돕기 위해 개념적으로 도시한 도면이다.
도 11은 도 1의 객체 카운팅 시스템을 이용하여 복수 개의 이미지를 이미지 분석 서버로 전송하고, 복수 개의 이미지 각각에 포함된 하나 이상의 객체를 카운팅하는 순서도를 개략적으로 나타내는 도면이고,
도 12는 단일 분석 모드와 멀티 분석 모드인 경우 도 1의 사용자 단말기에 나타나는 화면을 나타내는 도면이다.
도 13은 멀티 분석 모드인 경우 이미지 분석 서버에 의해 분석이 완료된 복수 개의 이미지 각각에 포함된 객체의 개수 및 종류가 도 1의 사용자 단말기의 화면에 나타나는 도면이다.
도 14는 도 1의 사용자 단말기가 안착될 수 있는 멀티 분석 보조기구를 개략적으로 나타내는 도면이다.
도 15는 멀티 분석 모드를 용이하게 실시하기 위한 도 14의 멀티 분석 보조기구 및 이동벨트를 개략적으로 나타내는 도면이다.
도 1은 본 발명의 일 실시예에 따른 객체 카운팅 시스템(1)을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 객체 카운팅 시스템(1)은 이미지 분석 서버(10)와 사용자 단말기(20)와 관리자 단말기(30)를 포함할 수 있다.
여기서, 이미지 분석 서버(10)와 사용자 단말기(20)와 관리자 단말기(30)는 서로 독립적인 장치로 제공되어 통신망(40)을 통해 데이터 통신하거나, 또는 이미지 분석 서버(10)와 관리자 단말기(30)는 하나의 물리적인 장치로 구성되어 직접 데이터 통신 가능하게 제공될 수 있다.
본 실시예에서는 이미지 분석 서버(10)와 사용자 단말기(20)와 관리자 단말기(30)는 별개의 독립적인 장치로 제공되는 것을 예로 들어 설명한다.
본 실시예의 객체 카운팅 시스템(1)은 이미지에 포함된 객체의 개수를 정확하게 카운팅할 수 있는 시스템으로 이해될 수 있다.
구체적으로, 사용자는 사용자 단말기(20)를 통해 객체를 촬영하면, 촬영된 객체를 포함하는 이미지는 이미지 분석 서버(10)에 전송되고, 이미지 분석 서버(10)에 의해 기 설정된 알고리즘을 거쳐 이미지에 나타난 객체의 개수가 카운팅될 수 있다.
본 실시예에서 객체는 일정 형상을 갖는 알약인 것을 예로 들어 설명한다. 사용자 단말기(20)에 의해 촬영된 객체가 알약인 경우, 본 실시예의 객체 카운팅 시스템(1)은 약국 및 병원에서 사용 가능한 알약의 개수를 카운팅 하는 시스템으로 이해될 수 있다.
다만, 본 발명의 사상은 이에 한정되지 않으며, 객체는 일정 형상을 갖는 모든 물건을 포함할 수 있다.
이미지 분석 서버(10)는 사용자 단말기(20)로부터 이미지 데이터를 수신하고, 이미지에 나타난 객체의 개수를 카운팅하는데 필요한 데이터를 처리하는 서버로 이해될 수 있다.
하나의 이미지에 포함된 객체는 동일한 크기 및 형상을 갖는 동일한 종류의 객체일 수 있다. 즉, 이미지 분석 서버(10)는 하나의 이미지에 포함된 동일한 객체를 카운팅 할 수 있다.
다만, 본 발명의 사상은 이에 한정되는 것은 아니며, 하나의 이미지에 포함된 객체는 서로 다른 크기 및 형상을 갖는 서로 다른 종류의 객체일 수 있으며, 이 경우 이미지 분석 서버(10)는 하나의 이미지에 포함된 서로 다른 종류의 객체를 카운팅 할 수도 있다.
사용자 단말기(20)는 후술하는 객체 플레이트에 놓여진 객체를 촬영하여 이미지로 나타낼 수 있다.
또한, 사용자 단말기(20)는 이미지 분석 서버(10)와 통신 가능한 장치로서, 이동형 단말 또는 컴퓨팅 장치로 구현되는 고정형 단말일 수 있다.
예를 들어, 사용자 단말기(20)는 객체를 촬영할 수 있는 카메라를 포함하는 스마트폰, 노트북, 태블릿 PC, 웨어러블 기기, 컴퓨터 등을 포함할 수 있다. 다만, 사용자 단말기(20)는 이러한 예에 한정되지 않으며, 별도의 카메라로 제공될 수도 있다.
관리자 단말기(30)는 이미지 분석 서버(10)를 통해 사용자 단말기(20)에 제공하는 기능을 업데이트하거나, 일정 명령을 입력할 수 있는 장치로 이해될 수 있다. 예를 들어, 관리자 단말기(30)는 이미지 분석 서버(10)와 통신 가능한 스마트폰, 노트북, 태블릿 PC, 웨어러블 기기, 컴퓨터 등을 포함할 수 있다.
도 2는 도 1의 이미지 분석 서버(10)의 구성을 개략적으로 나타내는 도면이고, 도 3은 도 2의 이미지 분석 서버(10)의 제2 박스 제거모듈(330)의 하위 구성을 개략적으로 나타내는 도면이다.
도 2 및 도 3을 참조하면 이미지 분석 서버(10)는 메모리(200), 프로세서(300) 및 통신 모듈(400)을 포함할 수 있다.
프로세서(300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(200) 또는 통신 모듈(400)로부터 프로세서(300)로 제공될 수 있다. 그 외에 명령은 이미지 분석 서버(10)를 구성하는 각각의 구성요소들 간의 통신 채널을 통해 프로세서(300)로 제공될 수 있다.
프로세서(300)는 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하기 위해 필요한 데이터의 입출력, 데이터의 처리, 데이터의 관리, 통신망(40)을 이용한 통신 등 다양한 기능을 수행할 수 있다. 이를 실행하기 위한 프로세서(300)의 구체적인 구성요소들은 후술한다.
또한, 프로세서(300)의 구성요소들은 딥러닝으로 미리 학습된 인공신경망을 포함할 수 있다. 예를 들어, 프로세서(300)의 구성요소들 중 적어도 하나는 후술하는 RetinaNet을 실현하는 인공신경망일 수 있으며, 이에 대한 자세한 설명은 후술한다.
메모리(200)는 컴퓨터에서 판독 가능한 기록매체로서 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다.
프로세서(300)는 메모리(200)에 저장된 프로그램 코드를 로딩하여 객체를 카운팅 하는데 이용하거나, 객체의 종류를 판단하는데 이용할 수 있다. 이러한 프로그램 코드는 별도의 컴퓨터에서 판독 가능한 기록 매체(예를 들어 DVD, 메모리 카드 등)로부터 로딩되거나, 다른 장치로부터 통신 모듈(400)을 통해 전달되어 메모리(200)에 저장될 수 있다.
또한, 메모리(200)에는 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하기 위해 필요한 데이터를 저장할 수 있는 데이터베이스(210)가 제공될 수 있다.
통신 모듈(400)은 통신망(40)을 통해 사용자 단말기(20)와 이미지 분석 서버(10), 또는 관리자 단말기(30)와 이미지 분석 서버(10)가 서로 통신하기 위한 기능을 제공할 수 있다.
이미지 분석 서버(10)는 물리적인 구성인 박스 설정모듈(310), 제1 박스 제거모듈(320), 제2 박스 제거모듈(330), 알약 계수 판단모듈(340), 카운팅 모듈(350), 및 종류 판단모듈(360)을 포함할 수 있다. 또한, 제2 박스 제거모듈(330)은 기준 박스 설정부(331), 집합 박스 설정부(332), 비교 공간 설정부(333) 및 알약 계수 비교에 의한 박스 제거부(334)를 포함할 수 있으며, 이에 대한 자세한 설명은 후술한다
도 4는 도 1의 객체 카운팅 시스템(1)에 의해 실행되는 이미지 분석 서버를 이용한 객체 카운팅 방법을 개략적으로 나타내는 순서도이고, 도 5는 도 4의 S1 내지 S3 단계 중 S2 단계에 대해 보다 자세히 도시한 순서도이고, 도 6는 도 5의 S32 내지 S36 단계 중 S36 단계에 대해 보다 자세히 도시한 순서도이고, 도 7는 도 1에 도시된 사용자 단말기(20)에 의해 객체를 입력받는 것을 개념적으로 나타낸 도면이고, 도 8는 도 1의 이미지 분석 서버(10)에 의해 객체 인식 딥러닝 모델인 RetinaNet이 실행되어 하나의 알약에 대해 복수 개의 박스가 형성된 것을 개념적으로 나타낸 도면이며, 도 9은 도 1의 이미지 분석 서버(10)에 의해 박스를 제거하는 알고리즘인 NMS(non maximum suppression)가 실행됨으로써, 하나의 알약(객체)에 형성된 박스를 개념적으로 나타낸 도면이다.
도 4및 도 9를 참조하면, 이미지 분석 서버를 이용한 객체 카운팅 방법은 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 이미지를 입력 받는 단계(S1); 이미지 분석 서버(10)에 의해 각각의 상기 객체에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계(S2); 이미지 분석 서버(10)에 의해 남아 있는 박스를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기(20)에 전송하는 단계(S3)를 포함할 수 있다.
이미지 분석 서버(10)에 의해 카운팅될 수 있는 하나의 이미지에 포함된 객체는 동일한 크기 및 형상을 갖는 동일한 종류의 객체, 또는 서로 다른 크기 및 형상을 갖는 복수 개의 종류의 객체를 포함할 수 있다.
본 실시예에서는 이미지 분석 서버(10)에 의해 카운팅되는 하나의 이미지에 포함된 객체는 동일한 종류의 객체인 것을 예를 들어 설명한다.
또한, 이하에서는 객체는 알약인 것을 예를 들어 상술한 과정에 대해 보다 자세히 설명한다.
먼저, 사용자 단말기(20)에 의해 하나 이상의 객체(예를 들어, 알약)를 포함하고 있는 이미지를 입력 받는 단계(S1)에 대해 구체적으로 설명하면 다음과 같다.
사용자는 객체 플레이트(50)에 동일한 크기 및 형상을 갖는 동일한 종류의 알약을 놓고(도 7의(a) 참조), 사용자 단말기(20)를 통해 알약에 대한 이미지를 촬영할 수 있다(도 7의(b) 참조).
이때, 객체 플레이트(50)에는 알약이 포개지지 않게 놓여야 한다.
다만 본 발명의 사상은 이에 한정되는 것은 아니며, 객체 카운팅 시스템(1)은 후술하는 멀티 분석 보조기구(60) 또는 이미지 분석 서버(10)에 의해 알약이 포개짐을 경고하는 기능을 포함하고 있을 수 있다. 이에 대한 자세한 설명은 후술한다.
객체 플레이트(50)는 알약이 놓여질 수 있는 평평한 판일 수 있고, 알약과 대비되는 색상 또는 알약과 다른 색상으로 제공될 수 있다. 예를 들어, 알약이 흰색으로 제공되는 경우, 객체 플레이트(50)는 검정색으로 제공될 수 있다.
그 후, 사용자 단말기(20)에 의해 촬영된 알약을 포함하고 있는 이미지는 이미지 분석 서버(10)로 전송될 수 있다.
본 실시예에서는 사용자가 사용자 단말기(20)를 파지하여 이미지를 촬영하는 것을 예로 들어 설명하나, 본 발명의 사상은 이에 한정되는 것은 아니며 사용자 단말기(20)를 후술하는 멀티 분석 보조기구(60)에 놓고 이미지를 촬영할 수도 있으며(도 14 참조), 이에 대한 자세한 설명은 후술한다.
다음으로, 이미지 분석 서버(10)에 의해 각각의 상기 객체(예를 들어, 알약)에 대해 복수 개의 박스를 형성하고, 복수 개의 상기 박스 중 상기 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계(S2)에 대해 구체적으로 설명하면 다음과 같다.
이미지 분석 서버(10)는 사용자 단말기(20)로부터 동일한 종류의 복수 개의 알약를 포함하고 있는 이미지를 전송받을 수 있다.
그 후, 이미지 분석 서버(10)의 박스 설정모듈(310)에 의해 하나의 객체에 대해 복수 개의 박스를 형성할 수 있다(S32).
예를 들어, 박스 설정모듈(310)은 객체 인식 딥러닝 모델인 RetinaNet을 실행하는 인공 신경망으로 제공될 수 있다. RetinaNet이 실행되는 경우, 각각의 알약에 대해 복수 개의 박스를 형성할 수 있다. 다만, 박스 설정모듈(310)에 의해 실행될 수 있는 객체 인식 딥러닝 모델은 RetinaNet에 한정되지 않으며, 박스 설정모듈(310)은 YOLO 중 CenterNet 하나 이상을 실행하는 것을 포함할 수 있다.
RetinaNet을 이용하는 경우 박스를 사용하여 객체를 검출하는 방법에서 신경 회로망을 학습함에 있어 객체 샘플의 수가 배경의 샘플의 수에 비하여 매우 적고 이로 인하여 나타나는 문제점을 해결할 수 있다.
구체적으로, RetinaNet은 backbone 네트워크와 두개의 task-specific subnetworks로 구성된 통합된 하나의 네트워크일 수 있다. backbone 네트워크는 입력된 전체 이미지에 대해서 convolutional feature map을 계산하는 역할을 수행한다. 첫번째 subnet은 backbone의 결과에서 convolutional 하게 객체 구분(object classification)을 수행하는 단계이며, 두번째 subnet은 convolutional하게 박스(bounding box)를 추정하는 역할을 수행할 수 있다.
도 8은 박스 설정모듈(310)에 의해 객체 인식 딥러닝 모델인 RetinaNet이 실행됨으로써, 하나의 알약(객체)에 대해 복수 개의 박스(B)가 형성된 것을 개념적으로 나타낸 도면이다.
박스 설정모듈(310)에 의해 RetinaNet이 실행되는 경우, 알약이 밀접하게 붙어있는 경우, 하나의 알약에 대해 복수 개의 박스가 형성되는바, 알약의 개수와 박스의 개수가 동일하지 않다. 따라서, 알약이 밀접하게 붙어 있는 경우에도 알약의 개수를 정확하게 카운팅하기 위해서는, RetinaNet이 실행된 후, RetinaNet에 의해 형성된 복수 개의 박스 중 일부를 제거하는 단계를 거쳐야 한다.
구체적으로, 박스 설정모듈(310)에 의해 RetinaNet이 실행된 후, 이미지 분석 서버(10)의 제1 박스 제거모듈(320)에 의해 하나의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘이 실행될 수 있다(S34).
예를 들어, 제1 박스 제거모듈(320)에 의해 실행되는 알고리즘은 NMS(non maximum suppression) 일 수 있다. 여기서, NMS(non maximum suppression)는 현재 픽셀을 기준으로 주변의 픽셀과 비교했을 때, 최대값인 경우는 남기로, 아닐 경우는 제거하는 비최대값 억제 알고리즘으로 이해될 수 있다.
도 9는 제1 박스 제거모듈(320)에 의해 박스를 제거하는 알고리즘인 NMS(non maximum suppression)가 실행됨으로써, 하나의 알약(객체)에 형성된 박스를 개념적으로 나타낸다.
NMS(non maximum suppression)가 실행된 후에도, 알약들이 매우 밀접하게 붙어 있는 경우에는, 알약의 개수와 박스의 개수가 다를 수 있다.
예를 들어, 도 9을 참조하면 매우 밀접하게 붙어 있는 알약 3개에 5개의 박스(B1, B2, B3, B4, B5)가 형성된 것을 알 수 있다. 이 경우, 제2 박스 제거모듈(330)에 하나의 객체에 하나의 박스만을 남기고 나머지 박스를 삭제하는 단계가 실행될 수 있다(S36). 여기서, 제2 박스 제거모듈(330)는 기준 박스 설정부(331), 집합 박스 설정부(332), 비교 공간 설정부(333), 알약 계수 비교에 의한 박스 제거부(334)를 포함할 수 있으며, 이와 같은 구성에 의해 아래와 같이 S36단계가 실행될 수 있다(도 6 참조).
구체적으로, S36 단계는, 기준 박스 설정부(331)에 의해 남아있는 박스 중에서 임의의 박스를 기준 박스로 설정하는 단계(S361); 집합 박스 설정부(332)에 의해 상기 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정하는 단계(S362); 비교 공간 설정부(333)에 의해 상기 기준 박스가 차지하는 공간 중 상기 집합 박스와 겹치는 공간을 제거하여, 상기 기준 박스에서 남아 있는 공간을 비교 공간으로 설정하는 단계(S363); 알약 계수 비교에 의한 박스 제거부(334)에 의해 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우 상기 기준 박스로 설정된 박스를 남기고, 상기 비교 공간과 상기 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우 상기 기준 박스로 설정된 박스를 제거하는 단계(S364)를 포함할 수 있다(도 5 참조).
도 10은 도 6에 도시된 S36 단계의 이해를 돕기 위해 개념적으로 도시한 도면이다.
도 1 내지 도 10을 참조하여, S36 단계에 대해 예를 들어 설명하면 아래와 같다.
제1 박스 제거모듈(320)에 의해 S34 단계가 실행되는 경우, 밀접하게 붙어있는 알약에 대해 알약 보다 많은 개수의 박스가 형성(예를 들어, 3개의 알약에 의해 5개의 박스(B1 내지 B5)가 형성 )될 수 있다.
이 경우, 5개의 남아있는 박스(B1 내지 B5) 중에서 임의의 박스인 제1 박스(B1)를 기준 박스로 설정하고, 제1 박스(B1)와 겹치는 박스들인 제2 박스(B2), 제4 박스(B4) 및 제5 박스(B5)를 집합 박스로 설정한다.
그 후, 제1 박스(B1)가 차지하는 공간 중에서 집합 박스(B2, B4, B5)와 겹치는 공간을 제거하여, 남아 있는 공간을 비교 공간(C)으로 설정한다.
그 후, 비교 공간(C)과 기준 박스인 제1 박스(B1)가 차지하는 공간의 비율이 알약 계수 보다 크므로 (비교 공간(C)/기준 박스(B1)가 차지하는 공간) > 알약 계수), 기준 박스로 설정된 제1 박스(B1)는 남아 있을 수 있다.
여기서, 알약 계수는 객체(알약)가 존재할 수 있는 공간을 나타내는 것으로서, 객체(알약)의 크기 및 형상에 따라 다르게 설정될 수 있으며, 알약 계수는 0 초과 1 미만(예를 들어, 알약 계수는 0.85)의 값으로 설정될 수 있다.
이와 같은, 알약 계수는 이미지 분석 서버(10)의 알약 계수 판단모듈(340)에 의해 설정될 수 있다.
구체적으로, 객체(알약)의 크기 및 형상에 따른 알약 계수는 데이터베이스(210)에 저장되어 있을 수 있으며, 사용자 단말기(20)로부터 이미지 분석 서버(10)에 객체(알약)을 포함하는 이미지가 전송되는 경우, 알약 계수 판단모듈(340)은 객체(알약)의 크기 및 형상에 따라 데이터베이스(210)에 저장된 알약 계수를 매칭시켜, 객체의 종류에 따라 알약 계수를 다르게 설정할 수 있다. 개념적으로, 알약의 크기가 커질 수록, 알약 계수는 0과 1 사이에서 커질 수 있다.
마찬가지로, 제4 박스(B4)를 기준 박스로 설정하는 경우, 비교 공간과 기준 박스인 제4 박스(B4)가 차지하는 공간의 비율은 알약 계수 보다 작으므로, 기준 박스로 설정된 제4 박스(B4)는 제거될 수 있다.
이와 같이, S361 내지 S364 단계를 거치는 경우, 밀접하게 붙어 있는 객체가 있더라도, 객체의 개수와 박스의 개수를 동일하게 할 수 있다.
그 후, 이미지 분석 서버(10)에 의해 남아 있는 박스를 카운팅하고, 박스에 대응하는 개수를 사용자 단말기(20)에 전송하는 단계(S3)가 실행될 수 있다.
구체적으로, 이미지 분석 서버(10)의 카운팅 모듈(350)은 남아 있는 박스를 카운팅하여 사용자 단말기(20)에 전송하고, 사용자 단말기(20)는 카운팅된 개수를 디스플레이하거나, 스피커를 통해 사용자에게 음성으로 전달할 수 있다.
또한, 이미지 분석 서버(10)에 의해 분석된 객체의 종류 및 카운팅된 객체의 개수는 매칭되어 데이터베이스(210)에 저장될 수 있으며, 사용자는 사용자 단말기(20)를 통해 객체의 종류 및 카운팅된 객체의 개수에 대한 이력을 조회할 수도 있다.
이와 같은 과정을 거쳐, 사용자는 수십개 내지 수만개의 알약에 대해 이미지를 찍어 이미지 분석 서버(10)로 전송하기만 하면, 알약의 정확학 개수가 카운팅되어 사용자에게 알려줄 수 있는바, 약국 또는 병원에서 알약의 재고 조사에 소요되는 시간을 줄 일 수 있다.
또한, 상술한 프로세서는 사용자 단말기(20)에 어플리케이션 형태로 설치되거나, 웹페이지로 제공될 수 있고, 사용자는 어플리케이션을 다운받거나 웹 페이지에 접속하여, 이미지를 업로드 하기만 하면, 이미지에 포함된 알약의 개수가 사용자에게 자동으로 전달될 수 있다.
이하에서는, 상술한 이미지 분석 서버(10)의 하위 구성인 박스 설정모듈(310), 제1 박스 제거모듈(320), 제2 박스 제거모듈(330), 알약 계수 판단모듈(340) 및 카운팅 모듈(350)에 대해 보다 자세히 설명한다.
상술한 바와 같이 박스 설정모듈(310)은 객체 인식 딥러닝 모델을 실행하여, 각각의 상기 객체에 대해 복수 개의 박스를 형성할 수 있다.
제1 박스 제거모듈(320)은 각각의 객체에 형성된 복수 개의 박스 중 일부를 제거하는 알고리즘을 실행할 수 있다.
제2 박스 제거모듈(330)은 하나의 객체에 대해 하나의 박스만을 남기고 나머지 박스를 삭제할 수 있다.
구체적으로, 제2 박스 제거모듈(330)은 기준 박스 설정부(331), 집합 박스 설정부(332), 비교 공간 설정부(333) 및 알약 계수 비교에 의한 박스 제거부(334)를 포함할 수 있으며,
기준 박스 설정부(331)는 남아있는 박스 중에서 임의의 박스를 기준 박스로 설정할 수 있다.
집합 박스 설정부(332)는 기준 박스와 겹치는 박스들의 집합인 집합 박스를 설정할 수 있다.
비교 공간 설정부(333)는 기준 박스가 차지하는 공간 중 집합 박스와 겹치는 공간을 제거하여, 기준 박스에서 남아 있는 공간을 비교 공간으로 설정할 수 있다.
알약 계수 비교에 의한 박스 제거부(334)는 비교 공간과 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 큰 경우, 기준 박스로 설정된 박스를 남기고, 비교 공간과 기준 박스가 차지하는 공간의 비율이 알약 계수 보다 작은 경우, 기준 박스로 설정된 박스를 제거할 수 있다.
알약 계수 판단모듈(340)은 이미지에 나타난 객체의 크기 및 형상에 따라 상기 데이터베이스(210)에 저장된 알약 계수를 매칭시킬 수 있다.
카운팅 모듈(350)은 객체에 대응되는 개수의 박스를 카운팅하여 사용자 단말기(20)에 전송할 수 있다.
도 11은 도 1의 객체 카운팅 시스템(1)을 이용하여 복수 개의 이미지를 이미지 분석 서버(10)로 전송하고, 복수 개의 이미지 각각에 포함된 하나 이상의 객체를 카운팅하는 순서도를 개략적으로 나타내는 도면이고, 도 12는 단일 분석 모드와 멀티 분석 모드인 경우 도 1의 사용자 단말기(20)에 나타나는 화면을 나타내는 도면이며, 도 13은 멀티 분석 모드인 경우 이미지 분석 서버(10)에 의해 분석이 완료된 복수 개의 이미지 각각에 포함된 객체의 개수 및 종류가 도 1의 사용자 단말기(20)의 화면에 나타나는 도면이다.
상술한 실시예의 객체 카운팅 시스템(1)에서는 사용자 단말기(20)를 통해 하나의 이미지를 이미지 분석 서버(10)로 전송하고, 하나의 이미지에 포함된 복수 개의 객체를 이미지 분석 서버(10)로 분석하는것을 예로 들어 설명하였으나, 이하에서는 복수 개의 이미지를 이미지 분석 서버(10)로 전송하고, 복수 개의 이미지 각각에 포함된 복수 개의 객체를 분석하는 실시예에 대한 객체 카운팅 시스템(1)에 대해 설명한다.
이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법의 설명에 앞서, 도 12 및 도 13을 참조하여 사용자 단말기(20)의 화면을 설명하면 다음과 같다.
사용자 단말기(20)의 화면은 이미지 확대부(111), 단일 분석버튼(112), 멀티 분석버튼(113), 이미지 입력버튼(114), 멀티 분석창(115) 및 토탈 개수 표시부(119)를 포함할 수 있다.
이미지 확대부(111)에는 사용자 단말기(20)에 의해 촬영 중이거나 촬영된 이미지가 표시될 수 있다.
멀티 분석창(115)에는 사용자 단말기(20)에 의해 촬영된 복수 개의 이미지가 표시될 수 있고, 이미지 분석 서버(10)에 의해 분석된 이미지 각각에 대한 객체의 개수가 표시될 수 있다.
또한, 멀티 분석창(115)에는 각각의 이미지를 선택할 수 있는 이미지 선택창(115a)과 이미지 분석 서버(10)에 의해 분석이 완료된 각각의 이미지의 개수를 표시할 수 있는 개수 표시부(115b)가 제공될 수 있다. 또한, 멀티 분석창(115)은 각각의 이미지를 삭제할 수 있는 삭제 버튼(116)이 제공될 수 있다.
종류 표시부(118)는 이미지 선택창(115a)에 의해 선택된 이미지가 포함하고 있는 객체의 종류를 표시할 수 있다.
토탈 개수 표시부(119)는 멀티 분석창(115)에 표시된 복수 개의 이미지 모두에 포함된 객체의 합을 표시할 수 있다.
도 11 내지 도 13을 참조하면, 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법은, 사용자 단말기(20)에 의해 하나의 이미지가 입력될 수 있는 단일 분석 모드 또는 복수 개의 이미지가 입력될 수 있는 멀티 분석 모드가 선택되는 단계(S10); 멀티 분석 모드가 선택되는 경우 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되고, 입력된 복수 개의 이미지가 이미지 분석 서버(10)로 전송되는 단계(S20); 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계(S30); 사용자 단말기(20)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계(S40)를 포함할 수 있다.
먼저, 사용자 단말기(20)에 의해 하나의 이미지가 입력될 수 있는 단일 분석 모드 또는 복수 개의 이미지가 입력될 수 있는 멀티 분석 모드가 선택되는 단계(S10)에 대해 구체적으로 설명하면 다음과 같다.
사용자는 사용자 단말기(20)를 통해 단일 분석 모드 또는 멀티 분석 모드를 선택할 수 있다.
구체적으로, 사용자는 사용자 단말기(20)의 화면에 나타난 단일 분석버튼(112)을 터치 또는 클릭함으로써 단일 분석 모드를 실행시킬 수 있고, 멀티 분석버튼(113)을 터치 또는 클릭함으로써 멀티 분석 모드를 실행시킬 수 있다.
여기서, 단일 분석 모드가 선택되는 경우, 사용자 단말기(20)를 통해 하나의 이미지만이 촬영되고, 하나의 이미지가 이미지 분석 서버(10)로 전송되어 하나의 이미지만이 분석되는 것으로 이해될 수 있다.
또한, 멀티 분석 모드가 선택되는 경우, 사용자 단말기(20)에 의해 복수 개의 이미지가 촬영되고, 복수 개의 이미지가 이미지 분석 서버(10)로 전송되어 복수 개의 이미지 모두가 분석되는 것으로 이해될 수 있다.
또한, 멀티 분석 모드가 선택되는 경우, 사용자 단말기(20)에는 촬영할 이미지의 수를 선택할 수 있는 입력창(도면 미도시)이 제공될 수 있으며, 이 경우 사용자가 선택할 이미지의 수 만큼 이미지를 촬영하여 생성할 수 있다.
예를 들어, A환자에게 5종류의 알약을 제공해야 하는 경우, 사용자는 입력창에 5를 입력할 수 있으며, 5개의 이미지가 입력되는 경우, 5개의 이미지는 이미지 분석 서버(10)로 전송될 수 있다.
다음으로, 멀티 분석 모드가 선택되는 경우, 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되고, 입력된 복수 개의 이미지가 이미지 분석 서버(10)로 전송되는 단계(S20)에 대해 구체적으로 설명하면 다음과 같다.
사용자가 멀티 분석 모드를 선택하는 경우, 사용자 단말기(20)의 화면 상에는 멀티 분석창(115)이 활성화 되고, 촬영된 복수 개의 이미지는 멀티 분석창(115)에 표시될 수 있다.
사용자는 멀티 분석창(115)에 표시된 복수 개의 이미지를 편집할 수 있다. 예를 들어, 사용자는 멀티 분석창(115)의 삭제 버튼(116)을 터치 또는 클릭하여 분석을 원하지 않는 이미지를 삭제할 수 있다.
사용자 단말기(20)에 의해 하나 이상의 알약을 포함하고 있는 복수 개의 이미지가 입력(촬영)되는 경우, 사용자는 사용자 단말기(20)를 통해 이미지에 나타난 알약의 종류를 입력할 수 있다. 다만 본 발명의 사상은 이에 한정되는 것은 아니며, 알약의 종류는 후술하는 멀티 분석 보조기구(60) 및/또는 이미지 분석 서버(10) 등에 의해 자동적으로 파악될수도 있다. 이에 대한 자세한 설명은 후술한다.
이와 같이 입력된 복수 개의 이미지는 이미지 분석 서버(10)에 전송될 수 있다.
다음으로, 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계(S30)에 대해 설명한다.
구체적으로, S30단계는 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 각각의 객체에 대해 복수 개의 박스를 형성하고, 각각의 이미지에 형성된 복수 개의 박스 중 객체에 대응하는 개수의 박스만을 남기고 나머지 박스를 삭제하는 단계; 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각에 남아 있는 박스의 개수를 카운팅하고, 복수 개의 이미지 각각에 남아 있는 박스에 대응하는 개수를 사용자 단말기(20)에 전송하는 단계를 포함할 수 있다.
여기서, 각각의 이미지에 포함된 객체의 카운팅 방법은 상술한 S2 및 S3와 동일한바, 이에 대한 자세한 설명은 상술한 S2 및 S3에 갈음한다.
다음으로, 사용자 단말기(20)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계(S40)에 대해 설명한다.
구체적으로, S40 단계는, 사용자 단말기(20)의 멀티 분석창(115)에 복수 개의 이미지가 표시되는 단계: 사용자 단말기(20)의 멀티 분석창(115)에 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계; 사용자 단말기(20)의 종류 표시부(118)에 복수 개의 이미지 각각이 포함하고 있는 객체의 종류가 표시되는 단계; 사용자 단말기(20)의 토탈 개수 표시부(119)에 복수 개의 이미지 모두에 포함된 객체의 합이 표시되는 단계를 포함할 수 있다(도 13 참조).
예를 들어, 멀티 분석창(115)에는 4개의 이미지가 표시되고, 각각의 이미지의 일측(예를 들어, 하단)에는 알약의 개수가 표시된다.
또한, 멀티 분석창(115)의 일측에는 종류 표시부(118)가 제공되고, 종류 표시부(118)에는 선택된 이미지의 종류(예를 들어, 넥시움정)가 표시될 수 있다. 이때, 멀티 분석창(115)에 나타난 복수 개의 이미지 중 선택된 이미지는 선택되지 않은 이미지와 다른 색상으로 표시될 수 있다.
한편, 본 실시예의 객체 카운팅 시스템(1)은 상술한 S10단계의 멀티 분석 모드에서 복수 개의 이미지를 입력하기 위한 멀티 분석 보조기구(60) 및 이동벨트(70)를 더 포함할 수 있다.
도 14는 도 1의 사용자 단말기(20)가 안착될 수 있는 멀티 분석 보조기구(60)를 개략적으로 나타내는 도면이고, 도 15는 멀티 분석 모드를 용이하게 실시하기 위한 도 14의 멀티 분석 보조기구(60) 및 이동벨트(70)를 개략적으로 나타내는 도면이다.
도 14 및 도 15를 참조하면, 본 실시예의 객체 카운팅 시스템(1)은 멀티 분석 모드를 용이하게 실시하기 위한 멀티 분석 보조기구(60) 및 이동벨트(70)를 더 포함할 수 있다.
멀티 분석 보조기구(60)는 사용자 단말기(20)가 안착될 수 있는 기구로 이해될 수 있으며, 이동벨트(70)는 복수 개의 객체 플레이트(50)를 이동시킬 수 있는 장치로 이해될 수 있다.
도 14와 도 15에 도시된 멀티 분석 보조기구(60)와 이동벨트(70)가 제공되는 경우, S20에서 상술한 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되는 단계가 용이하게 실현될 수 있다.
구체적으로, 사용자 단말기(20)에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되는 단계는, 사용자 단말기(20)가 멀티 분석 보조기구(60)의 단말기 안착부(67)에 안착되는 단계; 객체가 놓여진 복수 개의 객체 플레이트(50)가 이동벨트(70)에 안착되는 단계; 이동벨트(70)의 이동에 따라 복수 개의 객체 플레이트(50)가 순차적으로 사용자 단말기(20) 하단에 위치하는 단계; 및 각각의 객체 플레이트(50)가 상기 사용자 단말기(20) 하단에 일정시간 머무른 후 이동함으로써 복수 개의 객체 플레이트(50)가 사용자 단말기(20) 하단을 이동하고, 상기 사용자 단말기(20)가 각각의 객체 플레이트(50)에 놓여진 객체를 촬영하여 복수 개의 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상술한 실시예에서는 동일한 종류의 객체의 개수만 카운팅하는 실시예에 대해서 서술하였으나, 종류 인식표(52)를 포함하는 객체 플레이트(50)를 이용하는 경우, 객체 카운팅 시스템(1)은 서로 다른 종류의 객체를 판단할 수도 있다.
구체적으로, 객체 플레이트(50)의 일측에는 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표(52)가 제공될 수 있다. 이러한 종류 인식표(52)에 의해 객체(알약)의 종류가 판별될 수 있다.
예를 들어, 사용자는 객체 플레이트(50)에 부착된 종류 인식표(52)에 따라 서로 다른 종류의 알약을 객체 플레이트(50)에 놓을 수 있으며, 사용자 단말기(20)는 객체 플레이트(50)의 종류 인식표(52)를 촬영하여, 종류 인식표(52)와 객체를 함께 포함하는 이미지를 생성하거나, 또는 객체를 포함하고 있는 이미지와 종류 인식표(52)를 포함하고 있는 이미지를 각각 생성하여, 이미지 분석 서버(10)에 의해 종류 인식표(52)와 객체를 매칭시켜 분석함으로써 객체의 종류 및 개수를 판단할 수 있다. 이때, 이미지 분석 서버(10)의 프로세서(300)는 종류 인식표(52)를 판별할 수 있는 종류 판단모듈(360)을 더 포함할 수 있다.
이 경우, 상술한 이미지 분석 서버(10)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계(S30) 이후에, 이미지 분석 서버(10)의 종류 판단모듈(360)에 의해 객체와 종류 인식표(52)가 매칭되어 객체의 종류가 판단되는 단계; 및 사용자 단말기(20)에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수 및 종류가 표시되는 단계가 실행될 수 있다.
구체적으로, 종류 인식표(52)에 따른 객체의 종류에 대한 데이터는 데이터베이스(210)에 저장되어 있고, 종류 판단모듈(360)은 데이터베이스(210)에 저장된 객체의 종류에 대한 데이터를 받아와 객체의 종류를 판단할 수 있다.
예를 들어, 종류 인식표(52)가 기호1234로 제공되고 데이터베이스(210)에는 기호1234에 대응되는 객체의 종류가 넥시움정으로 저장되어 있는 경우, 사용자는 기호 1234가 표시된 객체 플레이트(50)에 넥시움정을 놓음으로써, 이미지 분석 서버(10)에 의해 별도의 번거로운 작업 없이 용이하게 객체의 종류를 인식할 수 있다.
이하에서는, 상술한 객체의 종류를 판단할 수 있는 물리적 장치에 대해 보다 자세히 설명한다.
본 발명의 일 실시예에 따른 객체 카운팅 시스템(1)은 객체를 놓을 수 있는 공간을 제공하고, 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표(52)를 포함하는 객체 플레이트(50); 객체 플레이트(50)를 촬영하여, 객체 플레이트(50)에 놓여진 하나 이상의 객체를 포함하는 이미지와 종류 인식표(52)를 포함하는 이미지를 생성할 수 있는 사용자 단말기(20); 및 이미지에 포함된 객체의 개수 및 객체의 종류를 판단할 수 있는 이미지 분석 서버(10)를 포함할 수 있다. 여기서, 객체와 종류 인식표(52)는 하나의 이미지로 촬영될 수도 있고, 별개의 이미지로 촬영될수도 있다.
객체 플레이트(50)는, 객체가 놓여질 수 있는 평편한 안착부(55);및 상기 안착부(55)의 외측에 배치되고, 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표(52)를 포함할 수 있다.
또한, 객체 카운팅 시스템(1)은 객체 플레이트(50)와 기 설정된 거리 이격되어 사용자 단말기(20)가 놓여질 수 있는 단말기 안착부(67)를 포함하는 멀티 분석 보조기구(60)를 더 포함할 수 있다.
멀티 분석 보조기구(60)는 객체 플레이트(50)가 이동하는 하단부(62); 사용자 단말기(20)가 놓여 질 수 있는 단말기 안착부(67)를 포함하는 상면부(66); 및 상기 하단부(62)와 상면부(66)를 연결하는 측면부(64)를 포함할 수 있다. 여기서, 측면부(64)의 높이는 객체 플레이트(50)와 사용자 단말기(20)가 이격된 거리로 이해될 수 있으며, 측면부(64)는 높이 조절이 가능하게 제공될 수 있다.
이러한 멀티 분석 보조기구(60)를 이용하는 경우, 사용자 단말기(20)를 단말기 안착부(67)에 놓고 객체를 촬영하여 이미지를 생성할 수 있는바, 객체 플레이트(50)에 놓여진 객체의 이미지를 용이하게 촬영할 수 있다.
또한, 멀티 분석 보조기구(60)는 객체 플레이트(50)에 놓여진 객체의 겹쳐짐을 판단할 수 있는 센서(69)를 포함할 수 있다.
예를 들어, 센서(69)는 멀티 분석 보조기구(60)의 측면부(64)에 제공되고, 객체 플레이트(50)는 센서(69) 전면을 지나가고, 센서(69)는 객체 플레이트(50)가 이동됨에 따라 객체 플레이트(50)에 놓여진 객체의 높이를 스캔할 수 있다. 여기서, 객체의 높이는 객체 플레이트(50)의 안착부(55)로부터 수직방향으로 측정한 길이로 이해될 수 있다.
즉, 사용자 단말기(20)에 의해 촬영된 이미지는 객체의 일측면(상면)을 촬영하는 것으로 이해될 수 있고, 멀티 분석 보조기구(60)에 부착된 센서(69)는 객체의 다른면(측면)을 스캔하는 것으로 이해될 수 있다.
객체 플레이트(50)가 센서(69)의 전면을 지나감에 따라, 센서(69)는 객체 플레이트(50)에 놓여진 모든 객체들을 스캔할 수 있고, 객체 플레이트(50)에 놓여진 객체들 중에서 일정 범위를 초과하는 객체가 스캔되는 경우, 사용자에게 알려줄 수 있다.
이때, 멀티 분석 보조기구(60)에는 센서(69)와 연결된 스피커(도면 미도시)가 제공되어, 경고음을 통해 알려주거나, 또는 센서(69)로부터 사용자 단말기(20)로 신호를 전송하여, 사용자 단말기(20)를 통해 사용자에게 경고음 또는 경고표시를 해줄 수 있다.
이 경우, 사용자는 객체 플레이트(50)에 놓여진 객체를 점검하여, 객체들이 겹쳐짐이 없이 다시 놓을 수 있다.
또한, 객체 카운팅 시스템(1)은, 복수 개의 객체 플레이트(50)가 안착하고, 상기 복수 개의 객체 플레이트(50)를 상기 사용자 단말기(20) 하단으로 이동시킬 수 있는 이동벨트(70)를 더 포함할 수 있다.
여기서, 이동벨트(70)는 폐곡선을 이루게 제공될 수 있다. 이 경우, 폐곡선을 이루는 이동벨트(70)에 복수 개의 객체 플레이트(50)를 올려놓음으로써, 다수의 객체 플레이트(50)를 활용하여 알약의 개수를 카운팅 할 수 있다.
또한, 복수 개의 객체 플레이트(50)가 제공되는 경우, 복수 개의 객체 플레이트(50)의 안착부(55)의 색상은 서로 다르게 제공될 수 있다.
예를 들어, 빨간색 계열의 객체가 놓여지는 객체 플레이트(50)는 녹색 계열로 제공될 수 있고, 흰색 계열의 객체가 놓여지는 객체 플레이트(50)의 안착부(55)의 색상은 검정색 계열로 제공될 수 있다. 이 경우, 이미지 분석 서버(10)는 객체와 바탕색을 구분하여, 더욱 용이하게 객체를 인식할 수 있다.
이상 본 발명의 실시예에 따른 이미지 분석 서버(10), 이를 포함하는 객체 카운팅 시스템(1), 이미지 분석 서버를 이용한 객체 카운팅 방법 및 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.
1: 객체 카운팅 시스템 10: 이미지 분석 서버
20: 사용자 단말기 30: 관리자 단말기
50: 객체 플레이트 60: 멀티 분석 보조기구
70: 이동벨트

Claims (12)

  1. 사용자 단말기에 의해 하나의 이미지가 입력될 수 있는 단일 분석 모드 또는 복수 개의 이미지가 입력될 수 있는 멀티 분석 모드가 선택되는 단계;
    멀티 분석 모드가 선택되는 경우, 사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되고, 입력된 복수 개의 이미지가 이미지 분석 서버로 전송되는 단계;
    이미지 분석 서버에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계; 및
    사용자 단말기에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계를 포함하는
    이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법.
  2. 제1 항에 있어서,
    사용자 단말기에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 디스플레이되는 단계는,
    사용자 단말기의 멀티 분석창에 복수 개의 이미지가 표시되는 단계:
    사용자 단말기의 멀티 분석창에 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 표시되는 단계;
    사용자 단말기의 종류 표시부에 복수 개의 이미지 각각이 포함하고 있는 객체의 종류가 표시되는 단계; 및
    사용자 단말기의 토탈 개수 표시부에 복수 개의 이미지 모두에 포함된 객체의 합이 표시되는 단계를 포함하는
    이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법.
  3. 제1 항에 있어서,
    사용자 단말기에 의해 하나 이상의 객체를 포함하고 있는 복수 개의 이미지가 입력되는 단계는,
    사용자 단말기가 멀티 분석 보조기구의 단말기 안착부에 안착되는 단계;
    객체가 놓여진 복수 개의 객체 플레이트가 이동벨트에 안착되는 단계;
    이동벨트의 이동에 따라 복수 개의 객체 플레이트가 순차적으로 사용자 단말기 하단에 위치하는 단계; 및
    각각의 객체 플레이트가 상기 사용자 단말기 하단에 일정시간 머무른 후 이동함으로써 복수 개의 객체 플레이트가 사용자 단말기 하단으로 이동하고, 상기 사용자 단말기가 각각의 객체 플레이트에 놓여진 객체를 촬영하여 복수 개의 이미지를 생성하는 단계를 포함하는
    이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법.
  4. 제3 항에 있어서,
    상기 객체가 놓여진 복수 개의 객체 플레이트가 이동벨트에 안착되는 단계 이후에,
    객체 플레이트가 이동하여 객체 플레이트에 놓여진 객체가 멀티 분석 보조기구의 센서의 전면을 통과하는 단계를 포함하는
    이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법.
  5. 제1 항에 있어서,
    이미지 분석 서버에 의해 복수 개의 이미지 각각이 포함하고 있는 객체의 개수가 카운팅되는 단계 이후에,
    이미지 분석 서버의 종류 판단모듈에 의해 객체와 종류 인식표가 매칭되어 객체의 종류가 판단되는 단계를 더 포함하는
    이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법.
  6. 객체를 놓을 수 있는 공간을 제공하고, 문자, 바코드 및 일정 기호 중 하나 이상으로 제공되는 종류 인식표를 포함하는 객체 플레이트;
    상기 객체 플레이트를 촬영하여, 상기 객체 플레이트에 놓여진 하나 이상의 객체를 포함하는 이미지와 종류 인식표를 포함하는 이미지를 입력받을 수 있는 사용자 단말기; 및
    상기 이미지에 포함된 객체의 개수 및 객체의 종류를 판단할 수 있는 이미지 분석 서버를 포함하는
    객체 카운팅 시스템.
  7. 제6 항에 있어서,
    상기 객체 카운팅 시스템은,
    상기 객체 플레이트와 기 설정된 거리 이격되어 사용자 단말기가 놓여질 수 있는 단말기 안착부를 포함하는 멀티 분석 보조기구를 더 포함하는
    객체 카운팅 시스템.
  8. 제6 항에 있어서,
    상기 객체 카운팅 시스템은,
    복수 개의 객체 플레이트가 안착되고, 상기 복수 개의 객체 플레이트를 상기 사용자 단말기의 하단으로 이동시킬 수 있는 이동벨트를 더 포함하는
    객체 카운팅 시스템.
  9. 제7 항에 있어서,
    상기 멀티 분석 보조기구는 객체 플레이트가 이동하는 하단부;
    사용자 단말기가 놓여 질 수 있는 단말기 안착부를 포함하는 상면부; 및
    상기 하단부와 상기 상면부를 연결하는 측면부를 포함하는
    객체 카운팅 시스템.
  10. 제7 항에 있어서,
    상기 멀티 분석 보조기구의 일측에는 상기 객체 플레이트에 놓여진 복수 개의 객체의 높이를 스캔할 수 있는 센서가 제공되고,
    상기 센서는 상기 객체 플레이트에 놓여진 객체 중 일정 범위를 초과하는 객체를 감지하는 경우 상기 사용자 단말기로 경고 신호를 발송할 수 있는 객체 카운팅 시스템.
  11. 제9 항에 있어서,
    상기 하단부와 상기 상면부 사이의 거리가 조절될 수 있도록, 상기 측면부는 길이 조절가능하게 제공되는
    객체 카운팅 시스템.
  12. 제8 항에 있어서,
    상기 이동벨트는 폐 곡선을 이루도록 제공되는
    객체 카운팅 시스템.

KR1020200153993A 2020-11-17 2020-11-17 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템 KR102607174B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200153993A KR102607174B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템
CN202180076688.XA CN116457840A (zh) 2020-11-17 2021-08-13 图像分析服务器、利用图像分析服务器的对象计数方法及对象计数系统
JP2023528639A JP7474546B2 (ja) 2020-11-17 2021-08-13 イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム
CA3198777A CA3198777A1 (en) 2020-11-17 2021-08-13 Image analysis server, object counting method using image analysis server, and object counting system
PCT/KR2021/010824 WO2022108044A1 (ko) 2020-11-17 2021-08-13 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
US18/198,188 US20230306630A1 (en) 2020-11-17 2023-05-16 Image analysis server, object counting method using image analysis server, and object counting syste

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200153993A KR102607174B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템

Publications (2)

Publication Number Publication Date
KR20220067370A true KR20220067370A (ko) 2022-05-24
KR102607174B1 KR102607174B1 (ko) 2023-11-28

Family

ID=81806111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200153993A KR102607174B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템

Country Status (2)

Country Link
KR (1) KR102607174B1 (ko)
CN (1) CN116457840A (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010041968A1 (en) * 2000-02-11 2001-11-15 Hamilton Rodney N. Pharmacy pill counting vision system
KR20110000789A (ko) * 2009-06-29 2011-01-06 (주)쓰리디미디어솔루션코리아 이미지 인식 기술을 이용하여 매장 진열 상품을 자동으로 정량화 하는 방법과 시스템
KR20160057187A (ko) 2014-11-13 2016-05-23 (주)제이브이엠 약제 포장 장치 및 약제 관리 방법
US20160343120A1 (en) * 2006-04-03 2016-11-24 Jbs Usa, Llc System and method for analyzing and processing food product
KR20180020017A (ko) * 2016-08-17 2018-02-27 한국전자통신연구원 복약 모니터링 장치 및 이의 동작 방법
JP2019076568A (ja) * 2017-10-26 2019-05-23 Ｐｈｃホールディングス株式会社 薬品仕分装置
KR20200119369A (ko) * 2019-03-22 2020-10-20 홍익대학교 산학협력단 객체 검출 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010041968A1 (en) * 2000-02-11 2001-11-15 Hamilton Rodney N. Pharmacy pill counting vision system
US20160343120A1 (en) * 2006-04-03 2016-11-24 Jbs Usa, Llc System and method for analyzing and processing food product
KR20110000789A (ko) * 2009-06-29 2011-01-06 (주)쓰리디미디어솔루션코리아 이미지 인식 기술을 이용하여 매장 진열 상품을 자동으로 정량화 하는 방법과 시스템
KR20160057187A (ko) 2014-11-13 2016-05-23 (주)제이브이엠 약제 포장 장치 및 약제 관리 방법
KR20180020017A (ko) * 2016-08-17 2018-02-27 한국전자통신연구원 복약 모니터링 장치 및 이의 동작 방법
JP2019076568A (ja) * 2017-10-26 2019-05-23 Ｐｈｃホールディングス株式会社 薬品仕分装置
KR20200119369A (ko) * 2019-03-22 2020-10-20 홍익대학교 산학협력단 객체 검출 장치 및 방법

Also Published As

Publication number Publication date
CN116457840A (zh) 2023-07-18
KR102607174B1 (ko) 2023-11-28

Similar Documents

Publication Publication Date Title
US10789504B2 (en) Method and device for extracting information in histogram
WO2020199775A1 (zh) 货架状态确定方法及装置、存储介质
WO2020199776A1 (zh) 货架空置率计算方法及装置、存储介质
CN103975342B (zh) 用于移动图像捕获和处理的系统和方法
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
EP3518149A1 (en) Feedback loop for image-based recognition
US20160027208A1 (en) Image analysis method
TWI254891B (en) Face image detection method, face image detection system, and face image detection program
US10169629B2 (en) Decoding visual codes
US10460191B1 (en) Dynamically optimizing photo capture for multiple subjects
CN109816745A (zh) 人体热力图展示方法及相关产品
JPWO2013145295A1 (ja) カラーチャート検出装置、カラーチャート検出方法及びカラーチャート検出用コンピュータプログラム
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN112036295A (zh) 票据图像处理方法、装置、存储介质及电子设备
CN106203225A (zh) 基于深度的图像元素删除
JP2020129439A (ja) 情報処理システムおよび情報処理方法
JP2013143082A (ja) 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
CN110363111B (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
CN110110110A (zh) 一种以图搜图方法、装置、电子设备及存储介质
KR102505705B1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
KR101961462B1 (ko) 객체 인식 방법 및 장치
KR101982258B1 (ko) 오브젝트 검출 방법 및 오브젝트 검출 장치
CN113763370A (zh) 数字病理图像的处理方法、装置、电子设备及存储介质
CN107958202A (zh) 人体检测设备、人体检测设备的控制方法和存储介质
KR20220067370A (ko) 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right