JP2023549252A - イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム - Google Patents

イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム Download PDF

Info

Publication number
JP2023549252A
JP2023549252A JP2023528639A JP2023528639A JP2023549252A JP 2023549252 A JP2023549252 A JP 2023549252A JP 2023528639 A JP2023528639 A JP 2023528639A JP 2023528639 A JP2023528639 A JP 2023528639A JP 2023549252 A JP2023549252 A JP 2023549252A
Authority
JP
Japan
Prior art keywords
box
boxes
analysis server
image analysis
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023528639A
Other languages
English (en)
Other versions
JP7474546B2 (ja
Inventor
キュ イム、サン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medility Inc
Original Assignee
Medility Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200153982A external-priority patent/KR102505705B1/ko
Priority claimed from KR1020200153993A external-priority patent/KR102607174B1/ko
Application filed by Medility Inc filed Critical Medility Inc
Publication of JP2023549252A publication Critical patent/JP2023549252A/ja
Application granted granted Critical
Publication of JP7474546B2 publication Critical patent/JP7474546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J1/00Containers specially adapted for medical or pharmaceutical purposes
    • A61J1/03Containers specially adapted for medical or pharmaceutical purposes for pills or tablets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • A61J3/07Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms into the form of capsules or similar small containers for oral use
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/02Pill counting devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Business, Economics & Management (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムを提供する。【解決手段】イメージ分析サーバーを用いたオブジェクトカウント方法は、ユーザ端末機により、一つ以上のオブジェクトを含むイメージが入力されるステップと、イメージ分析サーバーにより、各々の前記オブジェクトに対して複数個のボックスを形成し、複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップと、イメージ分析サーバーにより、残っているボックスの個数をカウントし、ボックスに対応する個数をユーザ端末機に転送するステップと、を含むことができる。【選択図】図1

Description

本発明は、イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムに関する。
高齢化社会の進入により、来院する患者の需要が増加しており、これにより、投与される薬の種類や個数も増加している。
しかしながら、小規模の薬屋や病院では、患者に錠剤を投与したり、在庫調査を行ったりする場合、手作業で錠剤の個数をカウントしなければならない不便さがある。また、人が手作業で錠剤をカウントする場合、既定数の錠剤よりも少なく投与されたり、多く投与されたりする恐れがある。
このような問題点を解消するために、大規模の薬屋や病院では、錠剤をカウントする装置を導入して使用しているが、このような装置は、高価であるため、小規模の薬屋や病院では現実的に購入し難いという問題点がある。
本発明の実施例は、前記のような問題点を解決するために提案されたものであって、複雑で高価の装備を導入することなく、簡単にオブジェクト(例えば、錠剤)の個数をカウントできるイメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムを提供する。
また、密着されているオブジェクト(例えば、錠剤)の個数を正確にカウントできるイメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムを提供する。
本発明の一実施例によれば、ユーザ端末機により、一つ以上のオブジェクトを含むイメージが入力されるステップと、イメージ分析サーバーにより、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップと、イメージ分析サーバーにより、残っているボックスの個数をカウントし、ボックスに対応する個数をユーザ端末機に転送するステップと、を含む、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
また、イメージ分析サーバーにより、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップは、ボックス設定モジュールにより、オブジェクト認識ディープラーニングモデルを実行して、各々のオブジェクトに対して複数個のボックスを形成するステップを含む、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
また、各々のオブジェクトに対して複数個のボックスを形成するステップの以後に、第1のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行される、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
また、第1のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行された後、第2のボックス除去モジュールにより、一つのオブジェクトに一つのボックスだけを残し、その他のボックスを削除するステップが実行される、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
また、第2のボックス除去モジュールにより、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除するステップは、基準ボックス設定部により、残っているボックスのうち、任意のボックスを基準ボックスに設定するステップと、集合ボックス設定部により、基準ボックスと重なり合うボックスの集合である集合ボックスを設定するステップと、比較空間設定部により、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定するステップと、錠剤係数比較によるボックス除去部により、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去するステップと、を含む、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
また、ボックス設定モジュールにより実行されるオブジェクト認識ディープラーニングモデルは、RetinaNetである、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
また、第1のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムは、NMS(non-maximum suppression)である、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
また、錠剤係数は、オブジェクトの大きさ及び形状によってデータベースに保存され、錠剤係数判断モジュールは、イメージに表示されたオブジェクトの大きさ及び形状によってデータベースに保存された錠剤係数をマッチングさせる、イメージ分析サーバーを用いたオブジェクトカウント方法を提供できる。
本発明の他の実施例によれば、ユーザ端末機から一つ以上のオブジェクトを含むイメージが入力され、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、残っているボックスの個数をカウントして、ボックスに対応する個数をユーザ端末機に転送する、イメージ分析サーバーを提供できる。
また、イメージ分析サーバーは、オブジェクト認識ディープラーニングモデルを実行して、各々のオブジェクトに対して複数個のボックスを形成するボックス設定モジュールと、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる第1のボックス除去モジュールと、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除する第2のボックス除去モジュールと、を含む、イメージ分析サーバーを提供できる。
また、第2のボックス除去モジュールは、残っているボックスのうち、任意のボックスを基準ボックスに設定する基準ボックス設定部と、基準ボックスと重なり合うボックスの集合である集合ボックスを設定する集合ボックス設定部と、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定する比較空間設定部と、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去する錠剤係数比較によるボックス除去部と、を含む、イメージ分析サーバーを提供できる。
また、イメージ分析サーバーは、オブジェクトの大きさ及び形状による錠剤係数を保存しているデータベースと、イメージに表示されたオブジェクトの大きさ及び形状によって、データベースに保存された錠剤係数をマッチングさせる錠剤係数判断モジュールと、をさらに含む、イメージ分析サーバーを提供できる。
本発明のまた他の実施例によれば、一つ以上のオブジェクトを含むイメージが入力されるユーザ端末機と、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、残っているボックスをカウントできる前述したイメージ分析サーバーと、を含む、オブジェクトカウントシステムを提供できる。
本発明の実施例に係るイメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムは、複雑で高価の装備を導入することなく、簡単にオブジェクト(例えば、錠剤)の個数をカウントできる。
また、密着されているオブジェクト(例えば、錠剤)の個数を正確にカウントできる。
本発明の一実施例に係るオブジェクトカウントシステムを概略的に示す図である。 図1のイメージ分析サーバーの構成を概略的に示す図である。 図2のイメージ分析サーバーの第2のボックス除去モジュールの下位構成を概略的に示す図である。 図1のオブジェクトカウントシステムにより実行されるイメージ分析サーバーを用いたオブジェクトカウント方法を概略的に示すフローチャートである。 図4のステップS1乃至ステップS3のうち、ステップS2に関してより詳細に示すフローチャートである。 図5のステップS32乃至ステップS36のうち、ステップS36に関してより詳細に示すフローチャートである。 図1に示すユーザ端末機によりオブジェクトが入力されることを概念的に示す図である。 図1のイメージ分析サーバーによりオブジェクト認識ディープラーニングモデルであるRetinaNetが実行されて、一つの錠剤に対して複数個のボックスが形成されることを概念的に示す図である。 図1のイメージ分析サーバーによりボックスを除去するアルゴリズムであるNMS(non-maximum suppression)が実行されることで、一つの錠剤(オブジェクト)に形成されたボックスを概念的に示す図である。 図6に示すステップS36の理解を助けるために概念的に示す図である。 図1のオブジェクカウントシステムを用いて、複数個のイメージをイメージ分析サーバーに転送し、複数個のイメージの各々に含まれた一つ以上のオブジェクトをカウントするフローチャートを概略的に示す図である。 単一分析モード及びマルチ分析モードである場合、図1のユーザ端末機に表示される画面を示す図である。 マルチ分析モードである場合、イメージ分析サーバーにより分析が完了した複数個のイメージの各々に含まれたオブジェクトの個数及び種類が、図1のユーザ端末機の画面に表示される図である。 図1のユーザ端末機が定着されるマルチ分析補助機構を概略的に示す図である。 マルチ分析モードを容易に実施するための図14のマルチ分析補助機構及び移動ベルトを概略的に示す図である。
図1は、本発明の一実施例に係るオブジェクトカウントシステム1を概略的に示す図である。
図1を参照すれば、オブジェクトカウントシステム1は、イメージ分析サーバー10、ユーザ端末機20及び管理者端末機30を含むことができる。
ここで、イメージ分析サーバー10、ユーザ端末機20及び管理者端末機30は、互いに独立的な装置として提供され、通信網40を介してデータ通信するか、或いは、イメージ分析サーバー10及び管理者端末機30が、一つの物理的な装置からなり、直接的にデータ通信可能であるように提供され得る。
本実施例では、イメージ分析サーバー10、ユーザ端末機20及び管理者端末機30は、別個の独立的な装置として提供されることを例として説明する。
本実施例のオブジェクトカウントシステム1は、イメージに含まれたオブジェクトの個数を正確にカウントできるシステムとして理解できる。
具体的に、ユーザが、ユーザ端末機20を介してオブジェクトを撮影すれば、撮影されたオブジェクトを含むイメージは、イメージ分析サーバー10に転送され、イメージ分析サーバー10により、既定のアルゴリズムを経て、イメージに表示されるオブジェクトの個数をカウントできる。
本実施例において、オブジェクトは、一定の形状を有する錠剤であることを例として説明する。ユーザ端末機20により撮影されたオブジェクトが錠剤である場合、本実施例のオブジェクトカウントシステム1は、薬屋や病院で使用可能な錠剤の個数をカウントするシステムとして理解できる。
ただし、本発明の思想は、これに限定されず、オブジェクトは、一定の形状を有する全ての物体を含むことができる。
イメージ分析サーバー10は、ユーザ端末機20からイメージデータを受信し、イメージに表示されたオブジェクトの個数をカウントするのに必要なデータを処理するサーバーとして理解できる。
一つのイメージに含まれたオブジェクトは、同一の大きさ及び形状を有する同一の種類のオブジェクトであり得る。すなわち、イメージ分析サーバー10は、一つのイメージに含まれた同一のオブジェクトをカウントできる。
ただし、本発明の思想は、これに限定されず、一つのイメージに含まれたオブジェクトは、互いに異なる大きさ及び形状を有する互いに異なる種類のオブジェクトであり得る。このとき、イメージ分析サーバー10は、一つのイメージに含まれた互いに異なる種類のオブジェクトをカウントすることもできる。
ユーザ端末機20は、後述するオブジェクトプレートに載置されたオブジェクトを撮影して、イメージとして表示できる。
また、ユーザ端末機20は、イメージ分析サーバー10と通信可能な装置であって、移動型端末またはコンピュータ装置で具現される固定型端末であり得る。
例えば、ユーザ端末機20は、オブジェクトを撮影できるカメラを含むスマートフォン、ノートブック、タブレットPC、ウェアラブルデバイス(wearable device)、コンピュータなどを含むことができる。ただし、ユーザ端末機20は、このような例に限定されず、別途のカメラとして提供されることもできる。
管理者端末機30は、イメージ分析サーバー10を介して、ユーザ端末機20に提供する機能をアップデートしたり、一定の命令を入力したりできる装置として理解できる。例えば、管理者端末機30は、イメージ分析サーバー10と通信可能なスマートフォン、ノートブック、タブレットPC、ウェアラブルデバイス、コンピュータなどを含むことができる。
図2は、図1のイメージ分析サーバー10の構成を概略的に示す図であり、図3は、図2のイメージ分析サーバー10の第2のボックス除去モジュール330の下位構成を概略的に示す図である。
図2及び図3を参照すれば、イメージ分析サーバー10は、メモリ200、プロセッサ300及び通信モジュール400を含むことができる。
プロセッサ300は、基本的な算術、ロジック及び入出力演算を遂行することで、コンピュータプログラムの命令を処理するように構成できる。命令は、メモリ200又は通信モジュール400から、プロセッサ300に提供され得る。その他、命令は、イメージ分析サーバー10を構成する各々の構成要素間の通信チャンネルを介して、プロセッサ300に提供され得る。
プロセッサ300は、オブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するために必要なデータの入出力、データの処理、データの管理、通信網40を用いた通信など多様な機能を遂行できる。これを実行するためのプロセッサ300の具体的な構成要素は後述する。
また、プロセッサ300の構成要素は、ディープラーニングにより予め学習された人工神経網を含むことができる。例えば、プロセッサ300の構成要素の少なくとも一つは、後述するRetinaNetを実現する人工神経網であり得、これに関する詳細な説明は後述する。
メモリ200は、コンピュータ読取り可能な記録媒体であって、RAM(random access memory)、ROM(read-only memory)及びディスクドライブのような永久的な大容量ストレージ装置(permanent mass storage device)を含むことができる。
プロセッサ300は、メモリ200に保存されたプログラムコードをローディングしてオブジェクトをカウントするのに利用したり、オブジェクトの種類を判断するのに利用したりできる。このようなプログラムコードは、別途のコンピュータ読取り可能な記録媒体(例えば、DVD、メモリカードなど)からローディングされたり、他の装置から通信モジュール400を介して伝達されたりして、メモリ200に保存できる。
また、メモリ200には、オブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するために必要なデータを保存できるデータベース210が提供され得る。
通信モジュール400は、通信網40を介して、ユーザ端末機20及びイメージ分析サーバー10、または、管理者端末機30及びイメージ分析サーバー10が、互いに通信するための機能を提供できる。
イメージ分析サーバー10は、物理的な構成であるボックス設定モジュール310、第1のボックス除去モジュール320、第2のボックス除去モジュール330、錠剤係数判断モジュール340、カウントモジュール350、及び種類判断モジュール360を含むことができる。また、第2のボックス除去モジュール330は、基準ボックス設定部331、集合ボックス設定部332、比較空間設定部333、及び錠剤係数比較によるボックス除去部334を含むことができ、これに関する詳細な説明は後述する。
図4は、図1のオブジェクトカウントシステム1により実行されるイメージ分析サーバーを用いたオブジェクトカウント方法を概略的に示すフローチャートであり、図5は、図4のステップS1乃至ステップS3のうち、ステップS2に関してより詳細に示すフローチャートであり、図6は、図5のステップS32乃至ステップS36のうち、ステップS36に関してより詳細に示すフローチャートであり、図7は、図1に示すユーザ端末機20によりオブジェクトが入力されることを概念的に示す図であり、図8は、図1のイメージ分析サーバー10によりオブジェクト認識ディープラーニングモデルであるRetinaNetが実行されて、一つの錠剤に対して複数個のボックスが形成されることを概念的に示す図であり、図9は、図1のイメージ分析サーバー10によりボックスを除去するアルゴリズムであるNMS(non-maximum suppression)が実行されることで、一つの錠剤(オブジェクト)に形成されたボックスを概念的に示す図である。
図4及び図9を参照すれば、イメージ分析サーバーを用いたオブジェクトカウント方法は、ユーザ端末機20により、一つ以上のオブジェクトを含むイメージが入力されるステップ(S1)と、イメージ分析サーバー10により、各々のオブジェクトに対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップ(S2)と、イメージ分析サーバー10により、残っているボックスをカウントし、ボックスに対応する個数をユーザ端末機20に転送するステップ(S3)と、を含むことができる。
イメージ分析サーバー10によりカウントできる一つのイメージに含まれたオブジェクトは、同一の大きさ及び形状を有する同一の種類のオブジェクト、または、互いに異なる大きさ及び形状を有する複数個の種類のオブジェクトを含むことができる。
本実施例では、イメージ分析サーバー10によりカウントされる一つのイメージに含まれたオブジェクトは、同一の種類のオブジェクトであることを例として説明する。
また、以下では、オブジェクトは錠剤であることを例として、前述した過程に関してより詳細に説明する。
まず、ユーザ端末機20により、一つ以上のオブジェクト(例えば、錠剤)を含むイメージが入力されるステップ(S1)について具体的に説明すれば、次の通りである。
ユーザは、オブジェクトプレート50に、同一の大きさ及び形状を有する同一の種類の錠剤を載置し(図7の(a)参照)、ユーザ端末機20を介して、錠剤に対するイメージを撮影できる(図7の(b)参照)。
このとき、オブジェクトプレート50には、錠剤が重なり合わないように載置しなければならない。
ただし、本発明の思想は、これに限定されず、オブジェクトカウントシステム1は、後述するマルチ分析補助機構60またはイメージ分析サーバー10により、錠剤の重なり合いを警告する機能を含むことができる。これに関する詳細な説明は後述する。
オブジェクトプレート50は、錠剤が載置される平板であり得、錠剤と対比される色相または錠剤と異なる色相に提供され得る。例えば、錠剤が白色に提供される場合、オブジェクトプレート50は黒色に提供され得る。
その後、ユーザ端末機20により撮影された錠剤を含むイメージは、イメージ分析サーバー10に転送され得る。
本実施例では、ユーザがユーザ端末機20を把持してイメージを撮影することを例として説明しているが、本発明の思想は、これに限定されず、ユーザ端末機20を後述するマルチ分析補助機構60に載置してイメージを撮影することもでき(図14参照)、これに関する詳細な説明は後述する。
次に、イメージ分析サーバー10により、各々のオブジェクト(例えば、錠剤)に対して複数個のボックスを形成し、複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップ(S2)について具体的に説明すれば、次の通りである。
イメージ分析サーバー10には、ユーザ端末機20から同一の種類の複数個の錠剤を含むイメージが伝送され得る。
その後、イメージ分析サーバー10のボックス設定モジュール310により、一つのオブジェクトに対して複数個のボックスを形成できる(S32)。
例えば、ボックス設定モジュール310は、オブジェクト認識ディープラーニングモデルであるRetinaNetを実行する人工神経網として提供され得る。RetinaNetが実行される場合、各々の錠剤に対して複数個のボックスを形成できる。ただし、ボックス設定モジュール310により実行できるオブジェクト認識ディープラーニングモデルは、RetinaNetに限定されず、ボックス設定モジュール310は、YOLOのうち、CenterNet一つ以上を実行することを含むことができる。
RetinaNetを用いる場合、ボックスを使用してオブジェクトを検出する方法により神経回路網を学習する際に、オブジェクトサンプルの数が背景のサンプルの数に比べて非常に少なくて、これにより発生する問題点を解決できる。
具体的に、RetinaNetは、backboneネットワーク及び二つのtask-specific subnetworksからなる統合された一つのネットワークであり得る。backboneネットワークは、入力された全体イメージに対して畳み込み特徴マップ(convolutional feature map)を計算する役割を遂行する。第一のsubnetは、backboneの結果から、畳み込むようにオブジェクト区分(object classification)を遂行するステップであり、第二のsubnetは、畳み込むようにボックス(bounding box)を推定する役割を遂行できる。
図8は、ボックス設定モジュール310により、オブジェクト認識ディープラーニングモデルであるRetinaNetが実行されることで、一つの錠剤(オブジェクト)に対して複数個のボックス(B)が形成されることを概念的に示す図である。
ボックス設定モジュール310により、RetinaNetが実行される場合、錠剤が密着されていると、一つの錠剤に対して複数個のボックスを形成するが、錠剤の個数とボックスの個数とが同一でない。したがって、錠剤が密着されている場合にも、錠剤の個数を正確にカウントするためには、RetinaNetが実行された後、RetinaNetにより形成された複数個のボックスの一部を除去するステップを実行しなければならない。
具体的に、ボックス設定モジュール310により、RetinaNetが実行された後、イメージ分析サーバー10の第1のボックス除去モジュール320により、一つのオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる(S34)。
例えば、第1のボックス除去モジュール320により実行されるアルゴリズムは、NMS(non-maximum suppression)であり得る。ここで、NMSは、現在のピクセルに基づいて周辺のピクセルと比較したとき、極大値である場合は残し、そうでない場合は除去する非極大値抑制アルゴリズムとして理解できる。
図9は、第1のボックス除去モジュール320により、ボックスを除去するアルゴリズムであるNMSが実行されることで、一つの錠剤(オブジェクト)に形成されたボックスを概念的に示す。
NMSが実行された後にも、複数の錠剤が非常に密着されている場合には、錠剤の個数とボックスの個数とが異なることができる。
例えば、図9を参照すれば、非常に密着されている錠剤の3個に、5個のボックス(B1、B2、B3、B4、B5)が形成されることが分かる。このとき、第2のボックス除去モジュール330により、一つのオブジェクトに一つのボックスだけを残し、その他のボックスを削除するステップを実行できる(S36)。ここで、第2のボックス除去モジュール330は、基準ボックス設定部331、集合ボックス設定部332、比較空間設定部333、及び錠剤係数比較によるボックス除去部334を含むことができ、このような構成により、次のようにステップS36を実行できる(図6参照)。
具体的に、ステップS36は、基準ボックス設定部331により、残っているボックスのうち、任意のボックスを基準ボックスに設定するステップ(S361)と、集合ボックス設定部332により、基準ボックスと重なり合うボックスの集合である集合ボックスを設定するステップ(S362)と、比較空間設定部333により、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定するステップ(S363)と、錠剤係数比較によるボックス除去部334により、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去するステップ(S364)と、を含むことができる(図5参照)。
図10は、図6に示すステップS36の理解を助けるために概念的に示す図である。
図1乃至図10を参照して、ステップS36について例として説明すれば、次の通りである。
第1のボックス除去モジュール320により、ステップS34が実行される場合、密着されている錠剤に対し、錠剤よりも多い個数のボックスが形成(例えば、3個の錠剤に5個のボックス(B1~B5)が形成)されることができる。
このとき、5個の残っているボックス(B1~B5)のうち、任意のボックスである第1のボックス(B1)を基準ボックスに設定し、第1のボックス(B1)と重なり合うボックスである第2のボックス(B2)、第4のボックス(B4)及び第5のボックス(B5)を集合ボックスに設定する。
その後、第1のボックス(B1)が占める空間のうち、集合ボックス(B2、B4、B5)と重なり合う空間を除去し、残っている空間を比較空間(C)に設定する。
その後、比較空間(C)及び基準ボックスである第1のボックス(B1)が占める空間の比率が、錠剤係数よりも大きいので(比較空間(C)/基準ボックス(B1)が占める空間>錠剤係数)、基準ボックスに設定された第1のボックス(B1)は残っていることができる。
ここで、錠剤係数は、オブジェクト(錠剤)が存在できる空間を示すものであって、オブジェクト(錠剤)の大きさ及び形状によって異なるように設定でき、錠剤係数は、0超過1未満(例えば、錠剤係数は0.85)の値に設定できる。
このような錠剤係数は、イメージ分析サーバー10の錠剤係数判断モジュール340により設定できる。
具体的に、オブジェクト(錠剤)の大きさ及び形状による錠剤係数は、データベース210に保存でき、ユーザ端末機20からイメージ分析サーバー10にオブジェクト(錠剤)を含むイメージが転送される場合、錠剤係数判断モジュール340は、オブジェクト(錠剤)の大きさ及び形状によってデータベース210に保存された錠剤係数をマッチングさせ、オブジェクトの種類によって錠剤係数を異なるように設定できる。概念的に、錠剤の大きさが大きくなるほど、錠剤係数は0及び1間で大きくなり得る。
同様に、第4のボックス(B4)を基準ボックスに設定する場合、比較空間及び基準ボックスである第4のボックス(B4)が占める空間の比率は、錠剤係数よりも小さいので、基準ボックスに設定された第4のボックス(B4)は除去できる。
このように、ステップS361乃至ステップS364を遂行する場合、密着されているオブジェクトがあっても、オブジェクトの個数及びボックスの個数を同一にすることできる。
その後、イメージ分析サーバー10により、残っているボックスをカウントし、ボックスに対応する個数をユーザ端末機20に転送するステップ(S3)を実行できる。
具体的に、イメージ分析サーバー10のカウントモジュール350は、残っているボックスをカウントしてユーザ端末機20に転送し、ユーザ端末機20は、カウントした個数をディスプレイしたり、スピーカーを介してユーザに音声で伝達したりできる。
また、イメージ分析サーバー10により分析されたオブジェクトの種類及びカウントしたオブジェクトの個数は、マッチングされてデータベース210に保存でき、ユーザは、ユーザ端末機20を介して、オブジェクトの種類及びカウントしたオブジェクトの個数に対する履歴を照会できる。
このような過程により、ユーザが、数十個乃至数万個の錠剤に対し、イメージを撮影してイメージ分析サーバー10に転送しさえすれば、錠剤の正確な個数をカウントしてユーザに報知されることで、薬屋や病院では、錠剤の在庫調査にかかる時間を低減できる。
また、前述したプロセッサは、ユーザ端末機20にアプリケーション形態に設置されたり、ウェブページに提供されたりでき、ユーザが、アプリケーションをダウンロードするか、或いは、ウェブページに接続してイメージをアップロードしさえすれば、イメージに含まれた錠剤の個数がユーザに自動的に伝達され得る。
以下では、前述したイメージ分析サーバー10の下位構成であるボックス設定モジュール310、第1のボックス除去モジュール320、第2のボックス除去モジュール330、錠剤係数判断モジュール340及びカウントモジュール350に関してより詳細に説明する。
前述したように、ボックス設定モジュール310は、オブジェクト認識ディープラーニングモデルを実行して、各々のオブジェクトに対して複数個のボックスを形成できる。
第1のボックス除去モジュール320は、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる。
第2のボックス除去モジュール330は、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除できる。
具体的に、第2のボックス除去モジュール330は、基準ボックス設定部331、集合ボックス設定部332、比較空間設定部333、及び錠剤係数比較によるボックス除去部334を含むことができる。
基準ボックス設定部331は、残っているボックスのうち、任意のボックスを基準ボックスに設定できる。
集合ボックス設定部332は、基準ボックスと重なり合うボックスの集合である集合ボックスを設定できる。
比較空間設定部333は、基準ボックスが占める空間のうち、集合ボックスと重なり合う空間を除去して、基準ボックスで残っている空間を比較空間に設定できる。
錠剤係数比較によるボックス除去部334は、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、基準ボックスに設定されたボックスを残し、比較空間及び基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、基準ボックスに設定されたボックスを除去できる。
錠剤係数判断モジュール340は、イメージに表示されたオブジェクトの大きさ及び形状によって、データベース210に保存された錠剤係数をマッチングさせることができる。
カウントモジュール350は、オブジェクトに対応する個数のボックスをカウントして、ユーザ端末機20に転送できる。
図11は、図1のオブジェクトカウントシステム1を用いて、複数個のイメージをイメージ分析サーバー10に転送し、複数個のイメージの各々に含まれた一つ以上のオブジェクトをカウントするフローチャートを概略的に示す図であり、図12は、単一分析モード及びマルチ分析モードである場合、図1のユーザ端末機20に表示される画面を示す図であり、図13は、マルチ分析モードである場合、イメージ分析サーバー10により分析が完了した複数個のイメージの各々に含まれたオブジェクトの個数及び種類が、図1のユーザ端末機20の画面に表示される図である。
前述した実施例のオブジェクトカウントシステム1では、ユーザ端末機20を介して、一つのイメージをイメージ分析サーバー10に転送し、一つのイメージに含まれた複数個のオブジェクトがイメージ分析サーバー10により分析されることを例として説明したが、以下では、複数個のイメージをイメージ分析サーバー10に転送し、複数個のイメージの各々に含まれた複数個のオブジェクトを分析する実施例に対するオブジェクトカウントシステム1について説明する。
イメージ分析サーバーを用いた複数個のイメージに含まれたオブジェクトのカウント方法の説明に先立って、図12及び図13を参照して、ユーザ端末機20の画面を説明すれば、次の通りである。
ユーザ端末機20の画面は、イメージ拡大部111、単一分析ボタン112、マルチ分析ボタン113、イメージ入力ボタン114、マルチ分析窓115、種類表示部118及びトータル個数表示部119を含むことができる。
イメージ拡大部111には、ユーザ端末機20による撮影中又は撮影済のイメージが表示されることができる。
マルチ分析窓115には、ユーザ端末機20により撮影された複数個のイメージが表示されることができ、イメージ分析サーバー10により分析されたイメージの各々に対するオブジェクトの個数が表示されることができる。
また、マルチ分析窓115は、各々のイメージを選択できるイメージ選択窓115aと、イメージ分析サーバー10により分析が完了された各々のイメージの個数を表示できる個数表示部115bとを提供できる。また、マルチ分析窓115は、各々のイメージを削除できる削除ボタン116を提供できる。
種類表示部118は、イメージ選択窓115aにより選択されたイメージが含むオブジェクトの種類を表示できる。
トータル個数表示部119は、マルチ分析窓115に表示された複数個のイメージの全てに含まれたオブジェクトの和を表示できる。
図11乃至図13を参照すれば、イメージ分析サーバーを用いた複数個のイメージに含まれたオブジェクトのカウント方法は、ユーザ端末機20により、一つのイメージが入力される単一分析モード、または、複数個のイメージが入力されるマルチ分析モードが選択されるステップ(S10)と、マルチ分析モードが選択される場合、ユーザ端末機20により、一つ以上のオブジェクトを含む複数個のイメージが入力され、入力された複数個のイメージがイメージ分析サーバー10に転送されるステップ(S20)と、イメージ分析サーバー10により、複数個のイメージの各々が含むオブジェクトの個数がカウントされるステップ(S30)と、ユーザ端末機20により、複数個のイメージの各々が含むオブジェクトの個数が表示されるステップ(S40)と、を含むことができる。
まず、ユーザ端末機20により、一つのイメージが入力される単一分析モード、または、複数個のイメージが入力されるマルチ分析モードが選択されるステップ(S10)について具体的に説明すれば、次の通りである。
ユーザは、ユーザ端末機20を介して、単一分析モードまたはマルチ分析モードを選択できる。
具体的に、ユーザは、ユーザ端末機20の画面に表示された単一分析ボタン112のタッチまたはクリックにより、単一分析モードを実行させることができ、マルチ分析ボタン113のタッチまたはクリックにより、マルチ分析モードを実行させることができる。
ここで、単一分析モードが選択される場合、ユーザ端末機20を介して一つのイメージだけが撮影され、一つのイメージがイメージ分析サーバー10に転送されて、一つのイメージだけが分析されると理解できる。
また、マルチ分析モードが選択される場合、ユーザ端末機20を介して、複数個のイメージが撮影され、複数個のイメージがイメージ分析サーバー10に転送されて、複数個のイメージの全てが分析されると理解できる。
また、マルチ分析モードが選択される場合、ユーザ端末機20には、撮影するイメージの数を選択できる入力窓(図示せず)が提供され、このとき、ユーザが選択するイメージの数だけイメージを撮影して生成できる。
例えば、A患者に5種の錠剤を提供する場合、ユーザは、入力窓に5を入力でき、5個のイメージが入力される場合、5個のイメージはイメージ分析サーバー10に転送され得る。
次に、マルチ分析モードが選択される場合、ユーザ端末機20を介して、一つ以上のオブジェクトを含む複数個のイメージが入力され、入力された複数個のイメージがイメージ分析サーバー10に転送されるステップ(S20)について具体的に説明すれば、次の通りである。
ユーザがマルチ分析モードを選択する場合、ユーザ端末機20の画面上にはマルチ分析窓115が活性化し、撮影された複数個のイメージはマルチ分析窓115に表示され得る。
ユーザは、マルチ分析窓115に表示された複数個のイメージを編集できる。例えば、ユーザは、マルチ分析窓115の削除ボタン116のタッチまたはクリックにより、分析を所望しないイメージを削除できる。
ユーザ端末機20を介して、一つ以上の錠剤を含む複数個のイメージが入力(撮影)される場合、ユーザは、ユーザ端末機20を介して、イメージに表示された錠剤の種類を入力できる。ただし、本発明の思想は、これに限定されず、錠剤の種類は後述するマルチ分析補助機構60及び/又はイメージ分析サーバー10などにより、自動的に把握されることもできる。これに関する詳細な説明は後述する。
このように入力された複数個のイメージは、イメージ分析サーバー10に転送され得る。
次に、イメージ分析サーバー10により、複数個のイメージの各々が含むオブジェクトの個数がカウントされるステップ(S30)について説明する。
具体的に、ステップS30は、イメージ分析サーバー10により複数個のイメージの各々が含む各々のオブジェクトに対して複数個のボックスを形成し、各々のイメージに形成された複数個のボックスのうち、オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップと、イメージ分析サーバー10により、複数個のイメージの各々に残っているボックスの個数をカウントし、複数個のイメージの各々に残っているボックスに対応する個数をユーザ端末機20に転送するステップと、を含むことができる。
ここで、各々のイメージに含まれたオブジェクトのカウント方法は、前述したステップS2及びステップS3と同様であるので、これに関する詳細な説明は省略する。
次に、ユーザ端末機20により、複数個のイメージの各々が含むオブジェクトの個数が表示されるステップ(S40)について説明する。
具体的に、ステップS40は、ユーザ端末機20のマルチ分析窓115に複数個のイメージが表示されるステップと、ユーザ端末機20のマルチ分析窓115に複数個のイメージの各々が含むオブジェクトの個数が表示されるステップと、ユーザ端末機20の種類表示部118に複数個のイメージの各々が含むオブジェクトの種類が表示されるステップと、ユーザ端末機20のトータル個数表示部119に複数個のイメージの全てに含まれたオブジェクトの和が表示されるステップと、を含むことができる(図13参照)。
例えば、マルチ分析窓115には、4個のイメージが表示され、各々のイメージの一側(例えば、下段)には錠剤の個数が表示される。
また、マルチ分析窓115の一側には種類表示部118が提供され、種類表示部118には選択されたイメージの種類(例えば、ネキシウム錠)が表示され得る。このとき、マルチ分析窓115に表示された複数個のイメージのうち、選択されたイメージは非選択されたイメージと異なる色相で表示できる。
一方、本実施例のオブジェクトカウントシステム1は、前述したステップS10のマルチ分析モードにおいて、複数個のイメージを入力するためのマルチ分析補助機構60及び移動ベルト70をさらに含むことができる。
図14は、図1のユーザ端末機20が定着されるマルチ分析補助機構60を概略的に示す図であり、図15は、マルチ分析モードを容易に実施するための図14のマルチ分析補助機構60及び移動ベルト70を概略的に示す図である。
図14及び図15を参照すれば、本実施例のオブジェクトカウントシステム1は、マルチ分析モードを容易に実施するためのマルチ分析補助機構60及び移動ベルト70をさらに含むことができる。
マルチ分析補助機構60は、ユーザ端末機20が定着される機構として理解でき、移動ベルト70は、複数個のオブジェクトプレート50を移動させることができる装置として理解できる。
図14及び図15に示すマルチ分析補助機構60及び移動ベルト70が提供される場合、ステップS20において、前述したユーザ端末機20により、一つ以上のオブジェクトを含む複数個のイメージが入力されるステップを容易に実現できる。
具体的に、ユーザ端末機20により、一つ以上のオブジェクトを含む複数個のイメージが入力されるステップは、ユーザ端末機20をマルチ分析補助機構60の端末機定着部67に定着させるステップと、オブジェクトが載置された複数個のオブジェクトプレート50を移動ベルト70に定着させるステップと、移動ベルト70の移動によって、複数個のオブジェクトプレート50が順次ユーザ端末機20の下段に位置するステップと、各々のオブジェクトプレート50がユーザ端末機20の下段に一定時間停留した後に移動することで、複数個のオブジェクトプレート50がユーザ端末機20の下段を移動し、ユーザ端末機20が各々のオブジェクトプレート50に載置されたオブジェクトを撮影して、複数個のイメージを生成するステップと、を含むことができる。
また、前述した実施例では、同一の種類のオブジェクトの個数だけカウントする実施例について述べたが、種類識別子52を含むオブジェクトプレート50を用いる場合、オブジェクトカウントシステム1は、互いに異なる種類のオブジェクトを判断することもできる。
具体的に、オブジェクトプレート50の一側には、文字、バーコード及び一定の記号の一つ以上に提供される種類識別子52が提供され得る。このような種類識別子52により、オブジェクト(錠剤)の種類を判別できる。
例えば、ユーザは、オブジェクトプレート50に付着された種類識別子52により、互いに異なる種類の錠剤をオブジェクトプレート50に載置でき、ユーザ端末機20は、オブジェクトプレート50の種類識別子52を撮影して、種類識別子52及びオブジェクトを共に含むイメージを生成するか、または、オブジェクトを含むイメージ及び種類識別子52を含むイメージを各々生成して、イメージ分析サーバー10により種類識別子52及びオブジェクトをマッチングさせて分析することで、オブジェクトの種類及び個数を判断できる。このとき、イメージ分析サーバー10のプロセッサ300は、種類識別子52を判別できる種類判断モジュール360をさらに含むことができる。
このとき、前述したイメージ分析サーバー10により、複数個のイメージの各々が含むオブジェクトの個数がカウントされるステップ(S30)の以後に、イメージ分析サーバー10の種類判断モジュール360により、オブジェクト及び種類識別子52がマッチングされて、オブジェクトの種類が判断されるステップと、ユーザ端末機20により、複数個のイメージの各々が含むオブジェクトの個数及び種類が表示されるステップと、を実行できる。
具体的に、種類識別子52によるオブジェクトの種類に対するデータは、データベース210に保存され、種類判断モジュール360は、データベース210に保存されたオブジェクトの種類に対するデータを受信して、オブジェクトの種類を判断できる。
例えば、種類識別子52が記号1234として提供され、データベース210には記号1234に対応するオブジェクトの種類がネキシウム錠として保存されている場合、ユーザは、記号1234が表示されたオブジェクトプレート50にネキシウム錠を載置することで、イメージ分析サーバー10により別途の面倒な作業無しに容易にオブジェクトの種類を認識できる。
以下では、前述したオブジェクトの種類を判断できる物理的な装置に関してより詳細に説明する。
本発明の一実施例に係るオブジェクトカウントシステム1は、オブジェクトを載置できる空間を提供し、文字、バーコード及び一定の記号の一つ以上に提供される種類識別子52を含むオブジェクトプレート50と、オブジェクトプレート50を撮影して、オブジェクトプレート50に載置された一つ以上のオブジェクトを含むイメージ及び種類識別子52を含むイメージを生成できるユーザ端末機20と、イメージに含まれたオブジェクトの個数及びオブジェクトの種類を判断できるイメージ分析サーバー10と、を含むことができる。ここで、オブジェクト及び種類識別子52は、一つのイメージとして撮影されることもでき、別個のイメージとして撮影されることもできる。
オブジェクトプレート50は、オブジェクトを載置できる平坦な定着部55と、定着部55の外側に配置され、文字、バーコード及び一定の記号の一つ以上に提供される種類識別子52と、を含むことができる。
また、オブジェクトカウントシステム1は、オブジェクトプレート50に対して既定の距離をおいて離隔して、ユーザ端末機20を載置できる端末機定着部67が含まれたマルチ分析補助機構60をさらに含むことができる。
マルチ分析補助機構60は、オブジェクトプレート50が移動する下段部62と、ユーザ端末機20を載置できる端末機定着部67を含む上面部66と、下段部62及び上面部66を連結する側面部64と、を含むことができる。ここで、側面部64の高さは、オブジェクトプレート50及びユーザ端末機20が離隔している距離として理解でき、側面部64は、高さ調節可能に提供できる。
このようなマルチ分析補助機構60を用いる場合、ユーザ端末機20を端末機定着部67に載置し、オブジェクトを撮影してイメージを生成できるので、オブジェクトプレート50に載置されたオブジェクトのイメージを容易に撮影できる。
また、マルチ分析補助機構60は、オブジェクトプレート50に載置されたオブジェクトの重なり合いを判断できるセンサー69を含むことができる。
例えば、センサー69はマルチ分析補助機構60の側面部64に提供され、オブジェクトプレート50はセンサー69の前面を通過し、センサー69はオブジェクトプレート50の移動によってオブジェクトプレート50に載置されたオブジェクトの高さをスキャンできる。ここで、オブジェクトの高さは、オブジェクトプレート50の定着部55から垂直方向で測定した距離として理解できる。
すなわち、ユーザ端末機20により撮影されたイメージは、オブジェクトの一側面(上面)を撮影すると理解でき、マルチ分析補助機構60に付着されたセンサー69は、オブジェクトの他の面(側面)をスキャンすると理解できる。
オブジェクトプレート50がセンサー69の前面を通過すれば、センサー69は、オブジェクトプレート50に載置された全てのオブジェクトをスキャンでき、オブジェクトプレート50に載置されたオブジェクトのうち、一定の範囲を超過するオブジェクトがスキャンされる場合、ユーザに報知できる。
このとき、マルチ分析補助機構60には、センサー69と連結されたスピーカー(図示せず)が提供され、警告音により報知するか、または、センサー69からユーザ端末機20に信号を転送して、ユーザ端末機20を介してユーザに警告音または警告表示が可能である。
このとき、ユーザは、オブジェクトプレート50に載置されたオブジェクトを点検することで、再度、オブジェクトが重なり合わないように載置できる。
また、オブジェクトカウントシステム1は、複数個のオブジェクトプレート50が定着し、複数個のオブジェクトプレート50をユーザ端末機20の下段に移動させる移動ベルト70をさらに含むことができる。
ここで、移動ベルト70は、閉曲線をなすように提供できる。このとき、閉曲線をなす移動ベルト70に複数個のオブジェクトプレート50を載置することで、多数のオブジェクトプレート50を活用して錠剤の個数をカウントできる。
また、複数個のオブジェクトプレート50が提供される場合、複数個のオブジェクトプレート50の定着部55の色相は、互いに異なるように提供できる。
例えば、赤色系列のオブジェクトが載置されるオブジェクトプレート50は緑色系列として提供でき、白色系列のオブジェクトが載置されるオブジェクトプレート50の定着部55の色相は黒色系列として提供できる。このとき、イメージ分析サーバー10は、オブジェクトと背景色を区分して、より容易にオブジェクトを認識できる。
以上、本発明の実施例に係るイメージ分析サーバー10、これを含むオブジェクトカウントシステム1、イメージ分析サーバーを用いたオブジェクトカウント方法、及びイメージ分析サーバーを用いた複数個のイメージに含まれたオブジェクトのカウント方法を具体的な実施例として説明したが、これは例示に過ぎず、本発明はこれに限定されず、本明細書に開示された基礎思想に係る最広の範囲を有するものと解析しなければならない。当業者は、開示された実施例を組合せ、置換して摘示されない実施例を実施できるが、これも、本発明の権利範囲から逸脱しないものである。この他にも、当業者は、本明細書に基づいて開示された実施例を容易に変更または変形でき、このような変更または変形も、本発明の権利範囲に属することは明白である。
イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステムは、錠剤の個数のカウントに用いられるものであって、産業上の利用可能性がある。

Claims (13)

  1. ユーザ端末機により、一つ以上のオブジェクトを含むイメージが入力されるステップと、
    イメージ分析サーバーにより、各々の前記オブジェクトに対して複数個のボックスを形成し、複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップと、
    イメージ分析サーバーにより、残っているボックスの個数をカウントし、ボックスに対応する個数をユーザ端末機に転送するステップと、を含む、イメージ分析サーバーを用いたオブジェクトカウント方法。
  2. イメージ分析サーバーにより、各々の前記オブジェクトに対して複数個のボックスを形成し、複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除するステップは、
    ボックス設定モジュールにより、オブジェクト認識ディープラーニングモデルを実行して、各々の前記オブジェクトに対して複数個のボックスを形成するステップを含む、請求項1に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。
  3. 各々の前記オブジェクトに対して複数個のボックスを形成するステップの以後に、第1のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行される、請求項2に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。
  4. 第1のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムが実行された後、第2のボックス除去モジュールにより、一つのオブジェクトに一つのボックスだけを残し、その他のボックスを削除するステップが実行される、請求項3に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。
  5. 前記第2のボックス除去モジュールにより、一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除するステップは、
    基準ボックス設定部により、残っているボックスのうち、任意のボックスを基準ボックスに設定するステップと、
    集合ボックス設定部により、前記基準ボックスと重なり合うボックスの集合である集合ボックスを設定するステップと、
    比較空間設定部により、前記基準ボックスが占める空間のうち、前記集合ボックスと重なり合う空間を除去して、前記基準ボックスで残っている空間を比較空間に設定するステップと、
    錠剤係数比較によるボックス除去部により、前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、前記基準ボックスに設定されたボックスを残し、前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、前記基準ボックスに設定されたボックスを除去するステップと、を含む、請求項4に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。
  6. 前記ボックス設定モジュールにより実行されるオブジェクト認識ディープラーニングモデルは、RetinaNetである、請求項2に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。
  7. 前記第1のボックス除去モジュールにより、各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムは、NMSである、請求項3に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。
  8. 前記錠剤係数は、前記オブジェクトの大きさ及び形状によってデータベースに保存され、
    錠剤係数判断モジュールは、イメージに表示されたオブジェクトの大きさ及び形状によって前記データベースに保存された錠剤係数をマッチングさせる、請求項5に記載のイメージ分析サーバーを用いたオブジェクトカウント方法。
  9. ユーザ端末機から一つ以上のオブジェクトを含むイメージが入力され、
    各々の前記オブジェクトに対して複数個のボックスを形成し、
    複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、
    残っているボックスの個数をカウントして、ボックスに対応する個数をユーザ端末機に転送する、イメージ分析サーバー。
  10. 前記イメージ分析サーバーは、
    オブジェクト認識ディープラーニングモデルを実行して、各々の前記オブジェクトに対して複数個のボックスを形成するボックス設定モジュールと、
    各々のオブジェクトに形成された複数個のボックスの一部を除去するアルゴリズムを実行できる第1のボックス除去モジュールと、
    一つのオブジェクトに対して一つのボックスだけを残し、その他のボックスを削除する第2のボックス除去モジュールと、を含む、請求項9に記載のイメージ分析サーバー。
  11. 前記第2のボックス除去モジュールは、
    残っているボックスのうち、任意のボックスを基準ボックスに設定する基準ボックス設定部と、
    前記基準ボックスと重なり合うボックスの集合である集合ボックスを設定する集合ボックス設定部と、
    前記基準ボックスが占める空間のうち、前記集合ボックスと重なり合う空間を除去して、前記基準ボックスで残っている空間を比較空間に設定する比較空間設定部と、
    前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも大きい場合、前記基準ボックスに設定されたボックスを残し、前記比較空間及び前記基準ボックスが占める空間の比率が錠剤係数よりも小さい場合、前記基準ボックスに設定されたボックスを除去する錠剤係数比較によるボックス除去部と、を含む、請求項10に記載のイメージ分析サーバー。
  12. 前記イメージ分析サーバーは、
    前記オブジェクトの大きさ及び形状による錠剤係数を保存しているデータベースと、
    前記イメージに表示されたオブジェクトの大きさ及び形状によって、前記データベースに保存された錠剤係数をマッチングさせる錠剤係数判断モジュールと、をさらに含む、請求項10に記載のイメージ分析サーバー。
  13. 一つ以上のオブジェクトを含むイメージが入力されるユーザ端末機と、
    各々の前記オブジェクトに対して複数個のボックスを形成し、複数個の前記ボックスのうち、前記オブジェクトに対応する個数のボックスだけを残し、その他のボックスを削除し、残っているボックスをカウントできる請求項9乃至12のいずれか一項に記載のイメージ分析サーバーと、を含む、オブジェクトカウントシステム。
JP2023528639A 2020-11-17 2021-08-13 イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム Active JP7474546B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020200153982A KR102505705B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
KR10-2020-0153982 2020-11-17
KR10-2020-0153993 2020-11-17
KR1020200153993A KR102607174B1 (ko) 2020-11-17 2020-11-17 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템
PCT/KR2021/010824 WO2022108044A1 (ko) 2020-11-17 2021-08-13 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템

Publications (2)

Publication Number Publication Date
JP2023549252A true JP2023549252A (ja) 2023-11-22
JP7474546B2 JP7474546B2 (ja) 2024-04-25

Family

ID=81709308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023528639A Active JP7474546B2 (ja) 2020-11-17 2021-08-13 イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム

Country Status (4)

Country Link
US (1) US20230306630A1 (ja)
JP (1) JP7474546B2 (ja)
CA (1) CA3198777A1 (ja)
WO (1) WO2022108044A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4755714B2 (ja) * 2009-11-17 2011-08-24 株式会社湯山製作所 薬剤払出装置
KR101396713B1 (ko) * 2013-06-13 2014-05-16 김동건 약 영상을 이용한 약 식별장치
US9965684B2 (en) 2014-12-18 2018-05-08 Sensormatic Electronics, LLC Method and system for queue length analysis
US9858496B2 (en) 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
KR101825459B1 (ko) * 2016-08-05 2018-03-22 재단법인대구경북과학기술원 다중 클래스 객체 검출 장치 및 그 방법
KR20180020017A (ko) * 2016-08-17 2018-02-27 한국전자통신연구원 복약 모니터링 장치 및 이의 동작 방법
JP7212247B2 (ja) 2018-11-02 2023-01-25 富士通株式会社 目標検出プログラム、目標検出装置、及び目標検出方法
KR102314520B1 (ko) * 2019-03-22 2021-10-20 홍익대학교 산학협력단 객체 검출 장치 및 방법
JP2020182525A (ja) 2019-04-26 2020-11-12 株式会社湯山製作所 薬剤撮影補助装置、薬剤撮影装置、薬剤鑑別方法及び薬剤鑑別システム
CN111626993A (zh) 2020-05-07 2020-09-04 武汉科技大学 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统

Also Published As

Publication number Publication date
US20230306630A1 (en) 2023-09-28
JP7474546B2 (ja) 2024-04-25
CA3198777A1 (en) 2022-05-27
WO2022108044A1 (ko) 2022-05-27

Similar Documents

Publication Publication Date Title
CN110428475B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN104820836B (zh) 识别装置和识别方法
CN103975342B (zh) 用于移动图像捕获和处理的系统和方法
JP7416292B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
CN108140130A (zh) 边缘感知的双边图像处理
CN104615926A (zh) 信息处理设备和信息处理方法
TWI254891B (en) Face image detection method, face image detection system, and face image detection program
JP7036401B2 (ja) 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム
WO2020037940A1 (zh) 一种人物服饰图像数据筛选方法及其装置
CN106203225B (zh) 基于深度的图像元素删除
US20210068742A1 (en) Image processing system, imaging apparatus, electronic device, methods of controlling the system, and the apparatuses, and storage medium
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
CN110110110A (zh) 一种以图搜图方法、装置、电子设备及存储介质
KR102505705B1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
CN112368724A (zh) 学习装置、学习系统以及学习方法
JP2023549252A (ja) イメージ分析サーバー、イメージ分析サーバーを用いたオブジェクトカウント方法、及びオブジェクトカウントシステム
KR102607174B1 (ko) 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템
CN115860026A (zh) 条码检测方法、装置、条码检测设备和可读存储介质
CN108804652A (zh) 封面图片的生成方法、装置、存储介质和电子装置
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN109727234B (zh) 显示面板生成方法、扫描范围规划方法及设备
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
JP6712861B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2007241370A (ja) 携帯装置及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408