JP2023538600A - 薬剤が投与されたか否かを判定するための方法及びそれを使用するサーバー - Google Patents

薬剤が投与されたか否かを判定するための方法及びそれを使用するサーバー Download PDF

Info

Publication number
JP2023538600A
JP2023538600A JP2023512136A JP2023512136A JP2023538600A JP 2023538600 A JP2023538600 A JP 2023538600A JP 2023512136 A JP2023512136 A JP 2023512136A JP 2023512136 A JP2023512136 A JP 2023512136A JP 2023538600 A JP2023538600 A JP 2023538600A
Authority
JP
Japan
Prior art keywords
model
video
drug
server
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023512136A
Other languages
English (en)
Inventor
フィウォン リ
サンピル ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inhandplus Inc
Original Assignee
Inhandplus Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inhandplus Inc filed Critical Inhandplus Inc
Publication of JP2023538600A publication Critical patent/JP2023538600A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4833—Assessment of subject's compliance to treatment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)

Abstract

薬剤が投与されたか否かを判定するためのサーバーが提供される。サーバーは、ウェアラブルデバイスによって記録されたビデオを受信するトランシーバーと、検出モデル及び確認モデルを記憶するメモリーであって、検出モデルは、予め設定されたターゲットのそれぞれが画像に現れるか否かを出力するようにトレーニングされ、確認モデルは、薬剤が投与されたか否かを出力するようにトレーニングされ、前記予め設定されたターゲットは、薬剤又は薬剤容器に関連するオブジェクト、及び薬剤投与に関連する姿勢を含むメモリーと、ビデオの画像フレームを検出モデルに入力することによって予め設定されたターゲットを検出し、検出モデルの検出結果に基づいて生成された確認モデル入力データを確認モデルに入力することによって薬剤が投与されたか否かを判定するように構成された１つ以上のプロセッサーと、を含む。

Description

本開示は、薬剤が投与されたか否かを判定するための方法、及び該方法を使用するサーバーに関する。
医療及び医学に基づくヘルスケアへの関心は、昔から常にある。近年、医療技術の発展に伴って余命が延びていることから、このような関心はさらに高まっている。このようなヘルスケアは、日常生活で処方された薬剤を服用したり、定期的に体内に薬剤を注射したり、医療機器を用いて健康指標を測定したりするなど、ユーザー自身が日常生活で定期的に行う必要がある。
上述したヘルスケアの効果を高めるためには、ヘルスケアに関する行為をユーザーに誘導又は強制する必要がある。そのためには、日常生活におけるヘルスケアに関するユーザーの行動を検出し、ヘルスケアが良好に行われているか否かを確認するための解決策が必要とされている
ところで、従来のヘルスケアに関するユーザーの行為を監視する際には、薬剤投与前に監視装置を動作させたり、ユーザー自身の行為を記録したりするなど、ユーザーの手間が必要であった。ユーザーがこれを忘れると、ヘルスケアに関連する情報は収集されない。
従って、ユーザーの利便性やヘルスケアの精度を考慮すると、ユーザーの手間がなくても、日常生活におけるヘルスケアのためのユーザーの行為を自動的に監視するための解決策を開発する必要がある。
上記は、本開示の背景の理解を助けることのみを意図し、本開示が当業者に既知の関連技術の範囲内にあることを意味するものではない。
本開示は、薬剤が投与されたか否かを正確に判定するための方法、及びこの方法を使用するサーバーを提供することを目的とする。
本開示は、スマートウォッチなどのウェアラブルデバイスによって取得されたビデオを使用して、薬剤が投与されたか否かを判定するための方法、及びこの方法を使用するサーバーを提供することを目的とする。
本開示は、様々な種類の薬剤投与状況を取り扱うための方法、及びこの方法を使用するサーバーを提供することを目的とする。
本開示が解決しようとする課題は、上述した技術的課題に限定されず、言及されていない他の技術的課題は、本開示及び添付図面から当業者には明確に理解されるであろう。
一実施形態によれば、薬剤が投与されたか否かを判定するためのサーバーであって、このサーバーは、ウェアラブルデバイスによって記録されたビデオを受信するトランシーバーと、検出モデル及び確認モデルを記憶するメモリーであって、検出モデルは、予め設定された目標のそれぞれが画像に現れるか否かを出力するようにトレーニングされ、確認モデルは、薬剤が投与されたか否かを出力するようにトレーニングされ、予め設定された目標は、薬剤又は薬剤容器に関連するオブジェクト、及び薬剤投与に関連する姿勢を含むメモリーと、ビデオの画像フレームを検出モデルに入力することによって予め設定されたターゲットを検出し、検出モデルの検出結果に基づいて生成された確認モデル入力データを確認モデルに入力することによって薬剤が投与されたか否かを判定するように構成された１つ以上のプロセッサーと、を含んでもよい。姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含んでもよい。
一実施形態によれば、薬剤が投与されたか否かを判定するための、１つ以上のプロセッサーによって実行される方法であって、この方法は、ウェアラブルデバイスによって記録されたビデオを受信するステップと、ビデオの画像フレームを検出モデルに入力することによって１つ以上の予め設定されたターゲットを検出するステップであって、検出モデルは、予め設定されたターゲットのそれぞれが画像に現れるか否かを出力するようにトレーニングされ、予め設定されたターゲットは、薬剤又は薬剤容器に関連するオブジェクト、及び薬剤投与に関連する姿勢を含むステップと検出モデルの検出結果に基づいて生成された確認モデル入力データを確認モデルに入力することによって薬剤が投与されたか否かを判定するステップとを含んでもよい。姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含んでもよい。
一実施形態によれば、薬剤が投与されたか否かを判定するために検出モデル及び確認モデルをトレーニングするための、１つ以上のプロセッサーによって実行される方法であって、この方法は、トレーニング画像及びトレーニング画像に対応する検出モデルラベルを含む検出モデルトレーニングデータを取得するステップであって、検出モデルラベルのそれぞれは、薬剤又は薬剤容器のクラス及び薬剤投与に関連する姿勢のクラスを有してもよく、検出モデルラベルは、トレーニング画像の第１画像に対応する第１検出モデルラベル、及びトレーニング画像の第２画像に対応する第２検出モデルラベルを含んでもよいステップと、トレーニング画像を検出モデルに入力することによって出力データを取得するステップと、検出モデルラベルと検出モデルの出力データを比較することによって検出モデルを更新するステップと、確認モデル入力データ及び確認モデル入力データに対応する確認モデルラベルを含む確認モデルトレーニングデータを取得するステップであって、確認モデルラベルは、薬剤が投与されたか否かを判定するためのラベルを含んでもよく、確認モデル入力データは、検出モデルの出力データに基づいて生成されてもよいステップと、確認モデル入力データを確認モデルに入力することによって、出力データを取得するステップと、確認モデルラベルと確認モデルの出力データとを比較することによって、確認モデルを更新するステップと、を含んでもよい。姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含んでもよい。
本開示における技術的解決策は、上記に限定されず、言及されていない他の技術的解決策は、本開示及び添付図面から当業者には明確に理解されるであろう。
本開示の実施形態によれば、薬剤が投与されたか否かを判定するための方法、及びこの方法を使用するためのサーバーが提供される。方法及びサーバーは、薬剤投与関連姿勢及び薬剤投与関連オブジェクトの両方を考慮して、薬剤が投与されたか否かを判定する精度を向上させることができる。
本開示の効果は、上述した効果に限定されるものではなく、本明細書に記載されていないその他の効果は、本開示及び添付図面から当業者に明確に理解されるものである。
本開示の上記及びその他の目的、特徴、及びその他の利点は、添付図面と併せて以下の詳細な説明からより明確に理解されるであろう。
一実施形態による薬剤投与プロセスを示す図である。 一実施形態による、薬剤が投与されたか否かを判定するためのシステムを示す図である。 一実施形態による無線通信装置を示すブロック図である。 一実施形態によるウェアラブルデバイスを示すブロック図である。 一実施形態によるサーバーを示すブロック図である。 一実施形態による、監視モデルを使用して、薬剤が投与されたか否かを判定するための方法を示す図である。 一実施形態による、検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定するための方法を示す図である。 一実施形態による、検出モデルを使用した薬剤投与関連のオブジェクト及び姿勢の検出を示す図である。 数種類の薬剤投与関連のオブジェクトを示す図である。 数種類の薬剤投与関連の姿勢を示す図である。 検出モデル出力データの例を示す図である。 一実施形態による、オブジェクト検出モデル及び姿勢検出モデルを含む検出モデルを示す図である。 一実施形態による、確認モデルを使用して薬剤が投与されたか否かを判定することを示す図である。 一実施形態による検出モデル出力データ及び確認モデル入力データを示す図である。 一実施形態による、分類モデルを使用して薬剤が投与されたか否かを判定するための方法を示す図である。 一実施形態による分類モデルを示す図である。 一実施形態による、分類及びビデオから得られたカテゴリーを使用して薬剤が投与されたか否かを判定することを示す図である。 一実施形態による、モデルをトレーニングする方法を示す図である。 一実施形態による検出モデルトレーニングデータを示す図である。 監視モデルを使用して薬剤が投与されたか否かを判定するための方法の例である第１実施形態を示す図である。 検出モデル及び確認モデルを使用して薬剤が投与されたか否かを判定するための方法の例である第２実施形態を示す図である。 分類モデルを使用して薬剤が投与されたか否かを判定するための方法の例である第３実施形態を示す図である。 一実施形態による、メインハンドが対象である薬剤投与、及びサブハンドが対象である薬剤投与をそれぞれ示す図である。 一実施形態による、主にメインハンドによって実行される薬剤投与と、主にサブハンドによって実行される薬剤投与とを区別したか否かに応じて、薬剤が投与されたか否かを判定した結果を示す図である。 一実施形態による、幾つかの画像フレームが除去されたビデオを使用したモデルトレーニングを示す図である。 一実施形態による、トレーニングビデオの幾つかの画像フレームを除去する方法を示す図である。 一実施形態による、トレーニング用確認モデル入力データの幾つかのサブデータを除去する方法を示す図である。 一実施形態による、薬剤投与プロセスの一部を省略した状況を考慮してトレーニングされたモデルを示す図である。 一実施形態による、連続する画像フレームの除去及びランダムな画像フレームの除去を示す図である。 一実施形態による画像フレームの選択を示す図である。 一実施形態による、丸薬を嚥下する際の薬物情報の判定を示す図である。 遠隔医療への適用の一例としてのセカンドオピニオンレポートの提供を示す図である。 遠隔医療への適用の他の例としての処方レポートの提供を示す図である。
本開示に記載の実施形態は、本開示が関連する当業者に本開示の範囲を明確に説明することを意図しており、本開示を限定するものではない。本開示は、本開示の範囲内で修正又は変更を含むことを理解されたい。
本開示で使用される用語は、本開示における要素の機能を考慮して、現在広く使用されている一般的な用語から選択され、当業者の意図、当該技術分野の慣習、又は新しい技術の出現に応じて変化する意味を有し得る。特定の用語を特定の意味で使用する場合は、その用語の意味を具体的に説明する。従って、本開示で使用される用語は、用語の単純な名前として解釈されるべきではなく、用語の実際の意味及び本開示全体の文脈全体に基づいて解釈されるべきである。
本開示の添付図面は、本開示の説明を容易にするためのものであり、図面の形状は、本開示の理解を助けるために誇張されている場合があるため、本開示は図面に限定されない。
本開示において、本開示に関連する既知の構成や機能についての詳細な説明が本開示の要旨を不明確にすると判断される場合には、必要に応じて詳細な説明を省略する。
一実施形態によれば、薬剤が投与されたか否かを判定するためのサーバーであって、このサーバーは、ウェアラブルデバイスによって記録されたビデオを受信するトランシーバーと、検出モデル及び確認モデルを記憶するメモリーであって、検出モデルは、予め設定された目標のそれぞれが画像に現れるか否かを出力するようにトレーニングされ、確認モデルは、薬剤が投与されたか否かを出力するようにトレーニングされ、予め設定された目標は、薬剤又は薬剤容器に関連するオブジェクト、及び薬剤投与に関連する姿勢を含むメモリーと、ビデオの画像フレームを検出モデルに入力することによって予め設定されたターゲットを検出し、検出モデルの検出結果に基づいて生成された確認モデル入力データを確認モデルに入力することによって薬剤が投与されたか否かを判定するように構成された１つ以上のプロセッサーと、を含んでもよい。姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含んでもよい。
検出結果は、複数の検出モデル出力データを含んでもよく、検出モデル出力データのそれぞれは、ビデオの画像フレームのそれぞれに対応する。１つ以上のプロセッサーは、複数の検出モデル出力データを合成することによって、確認モデル入力データを生成するようにさらに構成されてもよい。
確認モデル入力データは、複数の検出モデル出力データを対応する画像フレームの時系列情報に並べることによって生成されてもよい。
検出モデルは、オブジェクト検出モデル及び姿勢検出モデルを含んでもよい。１つ以上のプロセッサーは、ビデオの画像フレームをオブジェクト検出モデルに入力することによってオブジェクトを検出し、ビデオの画像フレームを姿勢検出モデルに入力することによって姿勢を検出するようにさらに構成されてもよい
検出モデルは、１つ以上の予め設定された第１種類のターゲットを検出するための第１検出モデル、及び１つ以上の予め設定された第２種類のターゲットを検出するための第２検出モデルを含んでもよい。メモリーは、ビデオのカテゴリーを分類するための分類モデルを記憶し、１つ以上のプロセッサーは、ビデオ及び分類モデルを使用してビデオのカテゴリーを定義し、ビデオのカテゴリーが第１種類に対応する第１カテゴリーに定義される場合、ビデオの画像フレームを第１検出モデルに入力することによって予め設定されたターゲットを検出し、ビデオのカテゴリーが第２種類に対応する第２カテゴリーに定義される場合、ビデオの画像フレームを第２検出モデルに入力することによって予め設定されたターゲットを検出するようにさらに構成されてもよい。
確認モデルは、第１検出モデルに対応する第１確認モデル、及び第２検出モデルに対応する第２確認モデルを含んでもよい。１つ以上のプロセッサーは、ビデオのカテゴリーが第１カテゴリーに定義される場合、確認モデル入力データを第１確認モデルに入力することによって、薬剤が投与されたか否かを判定し、ビデオのカテゴリーが第２カテゴリーに定義される場合、確認モデル入力データを第２確認モデルに入力することによって、薬剤が投与されたか否かを判定するようにさらに構成されてもよい。
１つ以上のプロセッサーは、検出結果及び確認モデル入力データがビデオの画像フレーム内の予め設定されたターゲットの位置を反映するように、予め設定されたターゲットの位置を推定し、予め設定されたターゲットの位置を考慮して、薬剤が投与されたか否かを判定するようにさらに構成されてもよい。
一実施形態によれば、薬剤が投与されたか否かを判定するための、１つ以上のプロセッサーによって実行される方法であって、この方法は、ウェアラブルデバイスによって記録されたビデオを受信するステップと、ビデオの画像フレームを検出モデルに入力することによって１つ以上の予め設定されたターゲットを検出するステップであって、検出モデルは、予め設定されたターゲットのそれぞれが画像に現れるか否かを出力するようにトレーニングされ、予め設定されたターゲットは、薬剤又は薬剤容器に関連するオブジェクト、及び薬剤投与に関連する姿勢を含むステップと検出モデルの検出結果に基づいて生成された確認モデル入力データを確認モデルに入力することによって薬剤が投与されたか否かを判定するステップとを含んでもよい。姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含んでもよい。
検出結果は、複数の検出モデル出力データを含んでもよく、検出モデル出力データのそれぞれは、ビデオの画像フレームのそれぞれに対応する。この方法は、複数の検出モデル出力データを合成することによって確認モデル入力データを生成するステップをさらに含んでもよい。
確認モデル入力データは、検出モデル出力データの少なくとも一部を時系列に並べることによって生成されてもよい。
検出モデルは、オブジェクト検出モデル及び姿勢検出モデルを含んでもよい。検出するステップは、ビデオの画像フレームをオブジェクト検出モデルに入力することによってオブジェクトを検出するステップと、ビデオの画像フレームを姿勢検出モデルに入力することによって姿勢を検出するステップを含んでもよい。
検出モデルは、１つ以上の予め設定された第１種類のターゲットを検出するための第１検出モデル、及び１つ以上の予め設定された第２種類のターゲットを検出するための第２検出モデルを含んでもよい。方法は、ビデオ及び分類モデルを使用してビデオのカテゴリーを定義するステップをさらに含んでもよい。検出するステップは、ビデオのカテゴリーが第１種類に対応する第１カテゴリーに定義される場合、ビデオの画像フレームを第１検出モデルに入力することによって予め設定されたターゲットを検出するステップと、ビデオのカテゴリーが第２種類に対応する第２カテゴリーに定義される場合、ビデオの画像フレームを第２検出モデルに入力することによって予め設定されたターゲットを検出するステップとを含んでもよい。
確認モデルは、第１検出モデルに対応する第１確認モデル、及び第２検出モデルに対応する第２確認モデルを含んでもよい。判定するステップは、ビデオのカテゴリーが第１カテゴリーに定義される場合、確認モデル入力データを第１確認モデルに入力することによって、薬剤が投与されたか否かを判定するステップと、ビデオのカテゴリーが第２カテゴリーに定義される場合、確認モデル入力データを第２確認モデルに入力することによって、薬剤が投与されたか否かを判定するステップとを含んでもよい。
検出するステップは、検出結果及び確認モデル入力データがビデオの画像フレーム内の予め設定されたターゲットの位置を反映するように、予め設定されたターゲットの位置を推定するステップを含んでもよい。判定するステップは、予め設定されたターゲットの位置を考慮して、薬剤が投与されたか否かを判定するステップを含んでもよい。
一実施形態によれば、薬剤が投与されたか否かを判定するために検出モデル及び確認モデルをトレーニングするための、１つ以上のプロセッサーによって実行される方法であって、この方法は、トレーニング画像及びトレーニング画像に対応する検出モデルラベルを含む検出モデルトレーニングデータを取得するステップであって、検出モデルラベルのそれぞれは、薬剤又は薬剤容器のクラス及び薬剤投与に関連する姿勢のクラスを有してもよく、検出モデルラベルは、トレーニング画像の第１画像に対応する第１検出モデルラベル、及びトレーニング画像の第２画像に対応する第２検出モデルラベルを含んでもよいステップと、トレーニング画像を検出モデルに入力することによって出力データを取得するステップと、検出モデルラベルと検出モデルの出力データを比較することによって検出モデルを更新するステップと、確認モデル入力データ及び確認モデル入力データに対応する確認モデルラベルを含む確認モデルトレーニングデータを取得するステップであって、確認モデルラベルは、薬剤が投与されたか否かを判定するためのラベルを含んでもよく、確認モデル入力データは、検出モデルの出力データに基づいて生成されてもよいステップと、確認モデル入力データを確認モデルに入力することによって、出力データを取得するステップと、確認モデルラベルと確認モデルの出力データを比較することによって確認モデルを更新するステップと、を含んでもよい。姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含んでもよい。
一実施形態によれば、ユーザーの手首に装着されたウェアラブルデバイスによって記録されたビデオを使用して、ユーザーが薬剤を投与したか否かを判定する監視モデルをトレーニングするための、１つ以上のプロセッサーによって実行される方法であって、この方法は、メインハンドトレーニングビデオ及びメインハンドトレーニングビデオに対応する第１ラベルを含むメインハンドトレーニングデータを取得するステップであって、メインハンドトレーニングビデオは、第１人物が第１ウェアラブルデバイスをメインハンドに装着した第１人物が主にメインハンドによって薬剤を投与したときに、第１ウェアラブルデバイスによって記録され、第１ラベルが薬剤投与を表示するステップと、サブハンドトレーニングビデオ及びサブハンドトレーニングビデオに対応する第２ラベルを含むサブハンドトレーニングデータを取得するステップであって、サブハンドトレーニングビデオは、第２人物が第２ウェアラブルデバイスをサブハンドの反対側の手に装着した第２人物が主にサブハンドによって薬剤を投与したときに、第２ウェアラブルデバイスによって記録され、第２ラベルが薬剤投与を表示するステップと、メインハンドトレーニングデータ及びサブハンドトレーニングデータの一方を使用して、監視モデルを更新するステップと、メインハンドトレーニングデータ及びサブハンドトレーニングデータの他方を使用して、更新された監視モデルを再度更新するステップとを含んでもよい。
第１ラベルは、主にメインハンドによって実行される薬剤投与を表示するメインハンドラベルを含んでもよい。第２ラベルは、主にサブハンドによって実行される薬剤投与を表示するサブハンドラベルを含んでもよい。監視モデルは、主にメインハンドによって実行される薬剤投与と主にサブハンドによって実行される薬剤投与とを区別して、ユーザーが薬剤を投与したか否かを判定してもよい。
この方法は、薬剤無投与トレーニングビデオ及び薬剤無投与トレーニングビデオに対応する薬剤無投与ラベルを含む薬剤無投与トレーニングデータを取得するステップであって、薬剤無投与トレーニングビデオは、薬剤無投与及び薬剤無投与を表示する薬剤無投与ラベルを表すステップと、薬剤無投与トレーニングデータを使用して、更新された監視モデルを再度更新するステップとをさらに含んでもよい。
一実施形態によれば、ユーザーの手首に装着されたウェアラブルデバイスによって記録されたビデオを使用して、ユーザーが薬剤を投与したか否かを判定するために、検出モデル及び確認モデルをトレーニングするための、１つ以上のプロセッサーによって実行される方法であって、この方法は、メインハンドトレーニングビデオ、第１検出モデルラベル及び第１確認モデルラベルを含むメインハンドトレーニングデータを取得するステップであって、メインハンドトレーニングビデオは、第１人物が第１ウェアラブルデバイスをメインハンドに装着した第１人物が主にメインハンドによって薬剤を投与したときに、第１ウェアラブルデバイスによって記録され得、第１検出モデルラベルのそれぞれは、薬剤又は薬剤容器の外観を検出するためのクラス、及び薬剤投与に関連する姿勢を検出するためのクラスを含んでもよく、第１確認モデルラベルが薬剤投与を表示してもよいステップと、サブハンドトレーニングビデオ、第２検出モデルラベル及び第２確認モデルラベルを含むサブハンドトレーニングデータを取得するステップであって、サブハンドトレーニングビデオは、第２人物が第２ウェアラブルデバイスをサブハンドの反対側の手に装着した第２人物が主にサブハンドによって薬剤を投与したときに、第２ウェアラブルデバイスによって記録され得、第２検出モデルラベルのそれぞれは、薬剤又は薬剤容器の外観を検出するためのクラス、及び薬剤投与に関連する姿勢を検出するためのクラスを含んでもよく、第２確認モデルラベルが薬剤投与を表示してもよいステップと、メインハンドトレーニングデータの少なくとも一部及びサブハンドトレーニングデータの少なくとも一部を使用して判定モデルを更新するステップと、メインハンドトレーニングデータの少なくとも一部及びサブハンドトレーニングデータの少なくとも一部を使用して確認モデルを更新するステップとを含んでもよい。
確認モデルは、更新された判定モデルの出力データをさらに使用して更新されてもよい。
判定モデルは、メインハンドトレーニングビデオ、第１検出モデルラベル、サブハンドトレーニングビデオ、及び第２検出モデルラベルを使用して更新されてもよい。確認モデルは、第１検出モデルラベル、第１確認モデルラベル、第２検出モデルラベル、及び第２確認モデルラベルを使用して更新されてもよい。
第１確認モデルラベルは、主にメインハンドによって実行される薬剤投与を表示するメインハンドラベルを含んでもよい。第２確認モデルラベルは、主にサブハンドによって実行される薬剤投与を表示するサブハンドラベルを含んでもよい。確認モデルは、主にメインハンドによって実行される薬剤投与と主にサブハンドによって実行される薬剤投与とを区別して、ユーザーが薬剤を投与したか否かを判定してもよい。
一実施形態によれば、ユーザーの手首に装着されたウェアラブルデバイスによって記録されたビデオを使用して、ユーザーが薬剤を投与したか否かを判定するための、１つ以上のプロセッサーによって実行される方法であって、この方法は、ウェアラブルデバイスによって記録されたビデオを受信するステップと、ビデオを監視モデルに入力することによって、ユーザーが薬剤を投与したか否かを判定するステップであって、監視モデルは、メインハンドトレーニングデータ及びサブハンドトレーニングデータの一方を使用して更新され、次いで、メインハンドトレーニングデータ及びサブハンドトレーニングデータの他方を使用して再度更新されてもよく、メインハンドトレーニングデータは、メインハンドトレーニングビデオ及びメインハンドトレーニングビデオに対応する第１ラベルを含んでもよく、メインハンドトレーニングビデオは、第１人物が第１ウェアラブルデバイスをメインハンドに装着した第１人物が主にメインハンドによって薬剤を投与したときに、第１ウェアラブルデバイスによって記録され得、第１ラベルは薬剤投与を表示してもよく、サブハンドトレーニングデータは、サブハンドトレーニングビデオ及びサブハンドトレーニングビデオに対応する第２ラベルを含んでもよく、サブハンドトレーニングビデオは、第２人物が第２ウェアラブルデバイスをサブハンドの反対側の手に装着した第２人物が主にサブハンドによって薬剤を投与したときに、第２ウェアラブルデバイスによって記録され得、第２ラベルが薬剤投与を表示してもよいステップを含んでもよい。
第１ラベルは、主にメインハンドによって実行される薬剤投与を表示するメインハンドラベルを含んでもよい。第２ラベルは、主にサブハンドによって実行される薬剤投与を表示するサブハンドラベルを含んでもよい。監視モデルは、主にメインハンドによって実行される薬剤投与と主にサブハンドによって実行される薬剤投与とを区別して、ユーザーが薬剤を投与したか否かを判定してもよい。
一実施形態によれば、ユーザーの手首に装着されたウェアラブルデバイスによって記録されたビデオを使用して、ユーザーが薬剤を投与したか否かを判定するためのサーバーであって、このサーバーは、ウェアラブルデバイスによって記録されたビデオを受信するトランシーバーと、ユーザーが薬剤を投与したか否かを判定するための監視モデルを記憶するメモリーと、トランシーバー及び監視モデルを介して受信したビデオを使用して、ユーザーが薬剤を投与したか否かを判定するように構成された１つ以上のプロセッサーであって、監視モデルは、第１人物が第１ウェアラブルデバイスをメインハンドに装着した第１人物が主にメインハンドによって薬剤を投与したときに、第１ウェアラブルデバイスによって記録された少なくともメインハンドトレーニングビデオを使用してドトレーニングされてもよく、１つ以上のプロセッサーは、ビデオ及び監視モデルを使用して薬剤投与を判定するようにさらに構成されてもよく、ビデオは、ユーザーがウェアラブルデバイスをサブハンドの反対側の手に装着したユーザーが主にサブハンドによって薬剤を投与したときに、ウェアラブルデバイスによって記録される１つ以上のプロセッサーと、を含んでもよい。
１つ以上のプロセッサーは、主にメインハンドによって実行される薬剤投与と主にサブハンドによって実行される薬剤投与とを区別して、ユーザーが薬剤を投与したか否かを判定するようにさらに構成されてもよい。
一実施形態によれば、薬剤投与が実行されたか否かを判定するためのサーバーであって、このサーバーは、ウェアラブルデバイスによって記録されたビデオを受信するトランシーバーと、第１モデル及び第２モデルを記憶するメモリーであって、第１モデルは、第１カテゴリーの医療用品に関連する薬剤投与が実行されたか否かを出力するようにトレーニングされてもよく、第２モデルは、第２カテゴリーの医療用品に関連する薬剤投与を出力するようにトレーニングされてもよいメモリーと、ビデオを第１モデル又は第２モデルに入力することによって、薬剤投与が実行されたか否かを判定するようにさらに構成された１つ以上のプロセッサーとを含んでもよい。ここで、１つ以上のプロセッサーは、ビデオの画像フレームに基づいてビデオのカテゴリーを定義し、ビデオのカテゴリーが第１カテゴリーに定義される場合、ビデオを第１モデルに入力することによって、第１カテゴリーに対応する薬剤投与が実行されたか否かを判定し、ビデオのカテゴリーが第２カテゴリーに定義される場合、ビデオを第２モデルに入力することによって、第２カテゴリーに対応する薬剤投与が実行されたか否かを判定するようにさらに構成されてもよい。
メモリーは、ビデオのカテゴリーを定義するための分類モデルを記憶してもよい。ここで、１つ以上のプロセッサーは、分類モデル及びビデオを使用してビデオのカテゴリーを定義するようにさらに構成されてもよい。
分類モデルは、第１カテゴリーの医療用品及び第２カテゴリーの医療用品の両方を考慮してビデオのカテゴリーを定義してもよい。ここで、１つ以上のプロセッサーは、第１モデルを使用して薬剤投与が実行されたか否かを判定するとき、第２カテゴリーの医療用品を考慮せずに、第１カテゴリーの医療用品及び薬剤投与に関連する第１カテゴリーの姿勢を考慮して、薬剤投与が実行されたか否かを判定しており、第２モデルを使用して薬剤投与が実行されたか否かを判定するとき、第１カテゴリーの医療用品を考慮せずに、第２カテゴリーの医療用品及び薬剤投与に関連する第２カテゴリーの姿勢を考慮して、薬剤投与が実行されたか否かを判定するようにさらに構成されてもよい。
分類モデルは、第１カテゴリーの姿勢及び第２カテゴリーの姿勢をさらに考慮して、ビデオのカテゴリーを定義してもよい。
ビデオは、複数の画像フレームを含んでもよい。ここで、１つ以上のプロセッサーは、複数の画像フレームのそれぞれを分類モデル入力することによって、第１カテゴリー及び第２カテゴリーの医療用品がそれぞれ現れる画像フレームの数を反映する第１値と第２値を計算し、第１値と第２値を使用してビデオのカテゴリーを定義するようにさらに構成されてもよい。
ビデオは、複数の画像フレームを含んでもよい。ここで、１つ以上のプロセッサーは、複数の画像フレームのそれぞれを分類モデル入力することによって、複数の画像フレームに現れた第１カテゴリー及び第２カテゴリーの医療用品の数を反映する第１値と第２値をそれぞれ計算し、第１値と第２値を使用してビデオのカテゴリー定義するようにさらに構成されてもよい。
トランシーバーは、ビデオのカテゴリーを表示するデータを受信してもよい。ここで、１つ以上のプロセッサーは、受信したデータに応じてビデオのカテゴリーを定義するようにさらに構成されてもよい。
１つ以上のプロセッサーは、モデルによって判定されたユーザーが薬剤を投与したか否かに関連する情報、及びビデオのカテゴリーに関連する情報をメモリーに記憶するようにさらに構成されてもよい。
一実施形態によれば、薬剤投与が実行されたか否かを判定するためのシステムであって、このシステムは、本開示のサーバーと、管理サーバーとを含んでもよい。管理サーバーは、ユーザーが薬剤を投与したか否かに関連する情報、及びビデオのカテゴリーに関連する情報をサーバーから受信し、ユーザーの薬剤投与スケジュールを取得し、ユーザーが薬剤を投与したか否かに関連する情報とビデオのカテゴリーに関連する情報とを比較することによって、薬剤投与スケジュールに対するユーザーの服薬アドヒアランスを判定するように構成されてもよい。
本開示において、薬剤投与は、薬剤の経口投与などの薬剤（例えば、丸薬、錠剤、カプセル、粉末、及び液体）の嚥下と、吸入器、タービュヘイラー、鼻噴霧器などを使用した薬剤の吸入と、点眼器を使用した点眼薬の投与と、注射器を使用した薬剤の注射とを含む様々な種類の服薬を包含することを意味する。
本開示において、薬剤が投与されたか否かの判定とは、例えば、薬剤が嚥下されたか否か、吸入器、タービュヘイラー、鼻噴霧器などを使用して薬剤が吸入されたか否か、点眼薬が投与されたか否か、及び注射器を使用して薬剤が注射されたか否かを判定することである。
図１は、一実施形態による薬剤投与プロセスを示す図であり、ユーザーが薬剤を投与するプロセス全体を示す。図１を参照すると、薬剤を投与するプロセス全体は、ユーザーが内部に丸薬を収容している薬瓶に接近すること（Ｓ１０）と、ユーザーが薬瓶から手のひらに丸薬を出すこと（Ｓ２０）と、ユーザーが指で手のひらの丸薬を拾うこと（Ｓ３０）と、ユーザーが丸薬を口に持って、丸薬を嚥下すること（Ｓ４０）とを含んでもよい。しかしながら、薬剤投与プロセスを実行するパターン（以下、「薬剤投与パターン」と呼ぶ）は、ユーザー間で異なっていてもよく、同じユーザーであっても、薬剤投与パターンは、時々異なる場合がある。例えば、場合によっては、ユーザーは、薬瓶を直接口に持って、丸薬を嚥下してもよい。また、図１は、ユーザーが薬瓶から丸薬を出して丸薬を嚥下する場合を示しているが、異なる種類の薬剤投与が行われる場合には、薬剤投与プロセス又は薬剤投与パターンが異なっていてもよい。幾つかの実施形態では、薬剤投与プロセスは、ブリスターパックから丸薬を押し出し、丸薬を嚥下すること、吸入器、タービュヘイラー、鼻噴霧器などを使用して薬剤を吸入すること、点眼器を使用して点眼薬を投与すること、及び／又は、注射器を使用して薬剤を注射することを含んでもよい。例えば、吸入器を使用して薬剤を吸入する場合、薬剤を投与するプロセス全体は、ユーザーが吸入器に接近し、吸入器のキャップを開け、吸入器を口に持って、且つ／又は薬剤を吸入することを含んでもよい。従って、ユーザーの薬剤投与パターンも異なる場合がある。
本開示では、ビデオに基づく、薬剤が投与されたか否かを判定するための方法、この方法を使用するサーバー、及び、このサーバーを含むシステムについて説明する。特に、薬剤が投与されたか否かを判定するための方法、この方法を使用するサーバー、及び、このサーバーを含むシステムが説明される。この方法は、上述したような各種の薬剤投与パターンに従って薬剤投与プロセスを実行する場合であっても適用可能である。
１．薬剤が投与されたか否かを判定するためのシステム
本開示の一実施形態によれば、薬剤が投与されたか否かを判定するためのシステムが開示される。
実施形態による薬剤が投与されたか否かを判定するためのシステムは、ユーザーが疾患又は障害を診断、治療、又は予防するために、あるいは健康を促進するために、薬剤を投与する場合、ユーザーが薬剤を投与したか否かを判定するためのシステムである。
実施形態によるシステムは、複数の装置を含んでもよく、該複数の装置は、例えば、データの送受信などで連携して、薬剤が投与されたか否かを判定してもよい。
図２は、一実施形態による、薬剤が投与されたか否かを判定するためのシステムを示す図である。図２を参照すると、システムは、無線通信装置１０００、ウェアラブルデバイス２０００、及びサーバー３０００を含んでもよい。
無線通信装置１０００は、医療用品（例えば、薬瓶、吸入器、タービュヘイラー、鼻噴霧器、点眼器、及び注射器などの薬剤容器）に取り付けられるか、又は近くに配置されてもよい。
無線通信装置１０００はデータを収集してもよい。例えば、無線通信装置１０００は、医療用品の動き又は環境光又はその両方のデータを収集してもよい。
無線通信装置１０００は、収集したデータをウェアラブルデバイス２０００又はサーバー３０００などの外部に送信してもよい。
無線通信装置１０００は、収集したデータを使用して、ユーザーが薬剤投与行為を開始したか否かを確認してもよい。例えば、無線通信装置１０００は、医療用品の動きが所定の程度以上になった場合、ユーザーが薬剤投与行為を開始したと判定してもよい。別の例として、無線通信装置１０００は、環境光が所定の照度以上得ある場合、ユーザーが薬剤投与行為を開始したと判定してもよい。また別の例として、無線通信装置１０００は、医療用品の動きが所定の程度以上になり、環境光が所定の照度以上である場合、ユーザーが薬剤投与行為を開始したと判定してもよい。
無線通信装置１０００は、カメラユニットの起動を指示する信号（以下、「起動信号」と呼ぶ）を、ウェアラブルデバイス２０００又はサーバー３０００などの外部に転送してもよい。例えば、ユーザーが薬剤投与行為を開始したと判定されると、無線通信装置１０００は起動信号を外部に送信してもよい。カメラユニットは、ウェアラブルデバイス２０００のカメラユニットであってもよい。カメラユニットを起動させることは、撮影を通じてビデオを生成することを意味してもよい。
無線通信装置１０００は、近距離無線通信装置であってもよいが、これに限定されるものではない。
ウェアラブルデバイス２０００は、ユーザーが身体に装着できる形態で提供されるデバイスを意味してもよい。ウェアラブルデバイス２０００の例は、スマートウォッチ、スマートバンド、スマートネックバンド、スマートリング、及びスマートネックレスを含むが、これらに限定されない。
ウェアラブルデバイス２０００は、無線通信装置１０００と通信してもよい。例えば、ウェアラブルデバイス２０００は、無線通信装置１０００から、医療用品の動き又は環境光又はその両方のデータを受信してもよい。別の例として、ウェアラブルデバイス２０００は、無線通信装置１０００からカメラユニットの起動信号を受信してもよい。
ウェアラブルデバイス２０００は、画像又はビデオを生成してもよい。例えば、ウェアラブルデバイス２０００は、薬剤投与の画像又はビデオを生成してもよい。
ウェアラブルデバイス２０００は、無線通信装置１０００から受信したデータに基づいて、画像又はビデオを生成してもよい。例えば、ウェアラブルデバイス２０００は、医療用品の動き又は環境光又はその両方のデータに基づいて、又は起動信号に基づいて、画像又はビデオを生成してもよい。より具体的な例として、ウェアラブルデバイス２０００は、医療用品の動きが所定の程度以上になった場合、画像又はビデオを生成してもよい。別のより具体的な例として、ウェアラブルデバイス２０００は、環境光が所定の照度以上である場合、画像又はビデオを生成してもよい。また別のより具体的な例として、ウェアラブルデバイス２０００は、医療用品の動きが所定の程度以上になり、環境光が所定の照度以上である場合、画像又はビデオを生成してもよい。また別のより具体的な例として、起動信号が受信された場合、ウェアラブルデバイス２０００は、画像又はビデオを生成してもよい。
ウェアラブルデバイス２０００は、無線通信装置１０００から受信したデータの信号強度に基づいて、画像又はビデオを生成してもよい。例えば、ウェアラブルデバイス２０００は、信号強度が所定の範囲にある場合、画像又はビデオを生成してもよい。信号強度は、受信信号強度インジケータ（ＲＳＳＩ）として表すことができるが、これに限定されない。信号強度がＲＳＳＩとして表される場合、所定の範囲の例は、－９０ｄＢｍ以上の範囲、－７０ｄＢｍ以上の範囲、－７０ｄＢｍから－５０ｄＢｍまでの範囲を含むが、これらに限定されない。
ウェアラブルデバイス２０００は、無線通信装置１０００から受信したデータの信号強度及びデータの内容を考慮して、画像又はビデオを生成してもよい。ここで、信号強度は、内容よりも優先される。例えば、ウェアラブルデバイス２０００は、医療製品の動きが所定の程度以上になったとしても、信号強度が所定の範囲内にない場合、画像又はビデオを生成しない。別の例として、ウェアラブルデバイス２０００は、環境光が所定の照度以上であっても、信号強度が所定の範囲内にない場合、画像又はビデオを生成しない。また別の例として、ウェアラブルデバイス２０００は、医療製品の動きが所定の程度以上になり、環境光が所定の照度以上であっても、信号強度が所定の範囲内にない場合、画像又はビデオを生成しない。また別の例として、ウェアラブルデバイス２０００は、起動信号が受信されたとしても、信号強度が所定の範囲内にない場合、画像又はビデオを生成しない。即ち、ウェアラブルデバイス２０００は、データの内容を考慮する前に、無線通信装置１０００から受信したデータの信号強度を考慮して、画像又はビデオを生成してもよい。
ウェアラブルデバイス２０００は、周囲を撮影することによって、画像又はビデオを生成してもよい。特に、ウェアラブルデバイス２０００がスマートウォッチ又はスマートバンドである場合、ウェアラブルデバイス２０００は、ユーザーの手の周囲を撮影して、画像又はビデオを生成してもよい。この場合、画像又はビデオは、ユーザーの手のひらの少なくとも部分的な領域を含んでもよい。即ち、画像の少なくとも一部又はビデオの少なくとも１つの画像フレームの少なくとも一部は、ユーザーの手のひらの少なくとも部分的な領域を含んでもよい。
ウェアラブルデバイス２０００は、ウェアラブルデバイス２０００を装着しているユーザーに関する情報を測定してもよい。例えば、ウェアラブルデバイス２０００は、ウェアラブルデバイス２０００を装着しているユーザーに関する生体情報を測定してもよい。生体情報の例は、歩数などの運動に関する情報、心拍数、血中酸素飽和度、及び心電図などを含むが、これらに限定されない。別の例として、ウェアラブルデバイス２０００は、ウェアラブルデバイス２０００を装着しているユーザーの周囲の情報を測定してもよい。具体的な例として、ウェアラブルデバイス２０００は、ウェアラブルデバイス２０００を装着しているユーザーの周りの光を測定してもよい。
ウェアラブルデバイス２０００は、サーバー３０００と通信してもよい。例えば、ウェアラブルデバイス２０００は、生成された画像又はビデオをサーバー３０００に送信してもよい。別の例として、ウェアラブルデバイス２０００は、測定されたユーザーに関する情報をサーバー３０００に送信してもよい。
サーバー３０００は、無線通信装置１０００又はウェアラブルデバイス２０００又はその両方と通信してもよい。サーバー３０００は、ウェアラブルデバイス２０００から画像又はビデオを受信してもよい。サーバー３０００は、無線通信装置１０００又はウェアラブルデバイス２０００又はその両方から、医療用品の動き又は環境光又はその両方のデータを受信してもよい。
サーバー３０００は、薬剤が投与されたか否かを判定してもよい。例えば、サーバー３０００は、無線通信装置１０００又はウェアラブルデバイス２０００又はその両方から取得した情報に基づいて、薬剤が投与されたか否かを判定してもよい。具体的な例として、サーバー３０００は、ウェアラブルデバイス２０００から受信した画像又はビデオを分析することによって、薬剤が投与されたか否かを判定してもよい。
１．１ 無線通信装置
図３は、一実施形態による無線通信装置を示すブロック図である。図３を参照すると、無線通信装置１０００は、動きセンサー１１００、環境光センサー１２００、通信ユニット１３００、記憶ユニット１４００、及び制御ユニット１５００を含んでもよい。
動きセンサー１１００は、無線通信装置１０００の動きを感知してもよい。無線通信装置１０００が医療用品に取り付けられた場合、動きセンサー１１００は、無線通信装置１０００の動きを感知することによって、医療用品の動きを感知してもよい。動きセンサー１１００は、加速度計１１１０、ジャイロセンサー１１２０、及び地磁気センサー１１３０のうちの少なくとも幾つかを含んでもよい。動きセンサー１１００は、６軸センサー、９軸センサー等であってもよいが、これらに限定されない。
環境光センサー１２００は、無線通信装置１０００の周りの光を測定してもよい。無線通信装置１０００が医療用品に取り付けられたか、又は医療用品の近くに配置された場合、環境光センサー１２００は、医療用品の周りの光を測定してもよい。
通信ユニット１３００は、ウェアラブルデバイス２０００又はサーバー３０００などの外部と通信してもよい。通信ユニット１３００は、双方向又は単方向通信を実行してもよい。通信ユニット１３００の例は、トランシーバー、ビーコン、ブルートゥース（登録商標）モジュール、ＷｉＦｉモジュール、Ｚｉｇｂｅｅモジュール、ＲＦモジュール、ＮＦＣモジュール、及びそれらの組み合わせを含むが、これらに限定されない。
通信ユニット１３００は、動き又は光又はその両方のデータを外部に送信してもよい。例えば、通信ユニット１３００は、動きセンサー１１００又は環境光センサー１２００又はその両方によって測定されたデータを、ウェアラブルデバイス２０００又はサーバー３０００などの外部に送信してもよい。
通信ユニット１３００は、起動信号を、ウェアラブルデバイス２０００又はサーバー３０００などの外部に送信してもよい。
記憶ユニット１４００は、無線通信装置１０００の動作に必要な様々な種類のデータ及びプログラムを記憶してもよい。記憶ユニット１４００は、無線通信装置１０００が取得する情報を記憶してもよい。例えば、記憶ユニット１４００は、動き又は光又はその両方のデータを記憶してもよい。具体的な例として、記憶ユニット１４００は、動きセンサー１１００又は環境光センサー１２００又はその両方によって測定されたデータを記憶してもよい。別の例として、記憶ユニット１４００は、起動信号を記憶してもよい。記憶ユニット１４００の例は、不揮発性半導体メモリー、ハードディスク、フラッシュメモリー、ランダムアクセスメモリー（ＲＡＭ）、読出し専用メモリー（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリー（ＥＥＰＲＯＭ）、その他の有形の不揮発性記録媒体、及びそれらの組み合わせを含むが、これらに限定されない。
制御ユニット１５００は、無線通信装置１０００内の様々な種類の情報の処理及び操作を実行してもよい。制御ユニット１５００は、無線通信装置１０００を構成する他の要素を制御してもよい。
制御ユニット１５００は、ハードウェア、ソフトウェア、又はそれらの組み合わせに従って、コンピュータ又はそれに類似した装置として実現されてもよい。ハードウェアにおいて、制御ユニット１５００は、１つ又は複数のプロセッサーであってもよい。あるいは、制御ユニット１５００は、通信により協働する物理的に別個のプロセッサーとして提供されてもよい。制御ユニット１５００の例は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、ディジタル信号プロセッサー（ＤＳＰ）、状態機械、特定用途向け集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）、及びそれらの組み合わせを含むが、これらに限定されない。ソフトウェアにおいて、制御ユニット１５００は、ハードウェア制御ユニット１５００を動作させるためのプログラムとして提供されてもよい。
制御ユニット１５００は、動きセンサー１１００が動きを感知するように、又は環境光センサー１２００が光を測定するように、制御を実行してもよい。
制御ユニット１５００は、動き又は光又はその両方のデータが通信ユニット１３００を介して外部に送信されるように、制御を実行してもよい。例えば、制御ユニット１５００は、動きセンサー１１００又は環境光センサー１２００又はその両方によって測定されたデータが通信ユニット１３００を介してウェアラブルデバイス２０００又はサーバー３０００などの外部に送信されるように、制御を実行してもよい。
制御ユニット１５００は、動き又は光又はその両方のデータが記憶ユニット１４００に記憶されるように、制御を実行してもよい。例えば、制御ユニット１５００は、動きセンサー１１００又は環境光センサー１２００又はその両方によって測定されたデータが記憶ユニット１４００に記憶されるように、制御を実行してもよい。
制御ユニット１５００は、動き又は光又はその両方のデータを使用して、ユーザーが薬剤投与行為を開始したか否かを確認してもよい。例えば、制御ユニット１５００は、動きが所定の程度以上になった場合、ユーザーが薬剤投与行為を開始したと判定してもよい。別の例として、制御ユニット１５００は、光が所定の照度以上である場合、ユーザーが薬剤投与行為を開始したと判定してもよい。また別の例として、制御ユニット１５００は、動きが所定の程度以上になり、光が所定の照度以上である場合、ユーザーが薬剤投与行為を開始したと判定してもよい。動きのデータは、動きセンサー１１００によって測定されたデータであってもよい。光のデータは、環境光センサー１２００によって測定されたデータであってもよい。
制御ユニット１５００は、通信ユニット１３００を介して、起動信号をウェアラブルデバイス２０００又はサーバー３０００などの外部に送信してもよい。例えば、ユーザーが薬剤投与行為を開始したと判定されると、制御ユニット１５００は、通信ユニット１３００を介して起動信号を外部に送信してもよい。
以下、特に記載しない限り、無線通信装置１０００の動作は、制御ユニット１５００の制御下で実行されるものと解釈してもよい。
図３に示す要素の全てが無線通信装置１０００の必須要素とは限らない。無線通信装置１０００は、図３に図示されていない要素をさらに含んでもよい。さらに、図３に示す無線通信装置１０００の要素の少なくとも幾つかは省略されてもよい。例えば、無線通信装置１０００は、動きセンサー１１００又は環境光センサー１２００又はそのいずれも含まなくてもよい。
１．２ ウェアラブルデバイス
図４は、一実施形態によるウェアラブルデバイスを示すブロック図である。図４を参照すると、ウェアラブルデバイス２０００は、カメラユニット２１００、ユーザー入力ユニット２２００、出力ユニット２３００、通信ユニット２４００、記憶ユニット２５００、及び制御ユニット２６００を含んでもよい。
カメラユニット２１００は、画像又はビデオを生成してもよい。例えば、カメラユニット２１００は、ウェアラブルデバイス２０００の周囲を撮影して、画像又はビデオを生成してもよい。カメラユニット２１００は、１つ以上のカメラモジュールを含んでもよい。カメラモジュールの例は、ＲＧＢカメラ、熱画像カメラ、及び暗視装置を含むが、これらに限定されない。
カメラユニット２１００が生成するビデオは、複数の画像フレームを含んでもよい。複数の画像フレームの少なくとも幾つかは、ユーザーの手のひらの少なくとも部分的な領域を含んでもよい。ビデオは、所定数の複数の画像フレームを含んでもよい。ビデオは、所定時間撮影したビデオであってもよい。
カメラユニット２１００は、ウェアラブルデバイス２０００内の一点に配置されてもよい。例えば、ウェアラブルデバイス２０００がスマートウォッチ又はスマートバンドである場合、カメラユニット２１００は、ストラップ部分に配置されてもよい。ここで、カメラユニット２１００は、ユーザーがウェアラブルデバイス２０００を手首に装着するとき、カメラユニット２１００が手首の内側に位置するように配置されてもよい。また、カメラユニット２１００は、ユーザーがウェアラブルデバイス２０００を手首に装着するとき、カメラユニット２１００がユーザーの手の方向を向いて、ユーザーの手の周囲を撮影するように配置されてもよい。カメラユニット２１００を配置するこのような位置や方向の説明は一例に過ぎず、これに限定されるものではない。
ユーザー入力ユニット２２００は、ユーザーから情報を取得する機能を実行してもよい。ユーザー入力ユニット２２００は、ユーザーからユーザー入力を受信してもよい。ユーザー入力の例は、キー入力、タッチ入力、音声入力、及びそれらの組み合わせを含むが、これらに限定されない。
ユーザー入力ユニット２２００は、一般的に使用されるユーザー入力装置として実現されてもよい。ユーザー入力装置の例は、ユーザータッチを感知するタッチセンサー、オーディオ信号を受信するマイクロフォン、ユーザーのジェスチャーを認識するジェスチャーセンサー、及びそれらの組み合わせを含むが、これらに限定されない。
出力ユニット２３００は、ユーザーが情報を確認できるように情報を出力する機能を実行してもよい。出力ユニット２３００は、ユーザーから取得された情報、又は外部装置から取得された情報及び／又は外部装置によって処理された情報を出力してもよい。情報の出力は、視覚的、聴覚的、及び／又は触覚的出力であってもよく、又はそれらに限定されることなく様々な形態で提供されてもよい。
出力ユニット２３００は、画像を出力するディスプレイ、音を出力するスピーカ、振動を発生するハプティックデバイス、及び／又は他の出力手段として実現されてもよい。
あるいは、情報を外部に出力する装置そのものの代わりに、出力ユニット２３００は、情報を出力する外部出力装置とウェアラブルデバイス２０００とを接続する出力インターフェース（ＵＳＢポート、ＰＳ／２ポートなど）として実現されてもよい。
出力ユニット２３００は、ユーザー入力ユニット２２００と一体化されてもよい。例えば、出力ユニット２３００がディスプレイである場合、出力ユニット２３００は、ユーザー入力ユニット２２００であるタッチセンサーと一体化されたタッチディスプレイであってもよい。
上述した無線通信装置１０００の通信ユニット１３００と同様に、通信ユニット２４００は、外部と通信する機能、例えば、外部との間でデータを送受信する機能などを実行してもよい。例えば、通信ユニット２４００は、無線通信装置１０００から、動き又は光又はその両方のデータを受信してもよい。別の例として、通信ユニット２４００は、無線通信装置１０００から起動信号を受信してもよい。また別の例として、通信ユニット２４００は、画像又はビデオをサーバー３０００に送信してもよい。また別の例として、通信ユニット２４００は、動き又は光又はその両方のデータをサーバー３０００に送信してもよい。無線通信装置１０００の通信ユニット１３００と同じ又は同様な部分については、重複説明を省略する。
上述した無線通信装置１０００の記憶ユニット１４００と同様に、記憶ユニット２５００は、ウェアラブルデバイス２０００が動作するために必要な様々な種類のデータ及びプログラムを記憶してもよい。記憶ユニット２５００は、ウェアラブルデバイス２０００が取得する情報を記憶してもよい。例えば、記憶ユニット２５００は、カメラユニット２１００が生成する画像又はビデオを記憶してもよい。別の例として、記憶ユニット２５００は、ユーザー入力を記憶してもよい。また別の例として、記憶ユニット２５００は、ユーザーが情報を確認できるように出力される情報を記憶してもよい。また別の例として、記憶ユニット２５００は、無線通信装置１０００から受信した動き又は光又はその両方のデータを記憶してもよい。また別の例として、記憶ユニット２５００は、起動信号を記憶してもよい。無線通信装置１０００の記憶ユニット１４００と同じ又は同様な部分については、重複説明を省略する。
上述した無線通信装置１０００の制御ユニット１５００と同様に、制御ユニット２６００は、ウェアラブルデバイス２０００内の様々な種類の情報の処理及び操作を実行してもよい。制御ユニット２６００は、ウェアラブルデバイス２０００を構成する他の要素を制御してもよい。無線通信装置１０００の制御ユニット１５００と同じ又は同様な部分については、重複説明を省略する。
制御ユニット２６００は、カメラユニット２１００を起動させてもよい。この場合、制御ユニット２６００は、カメラユニット２１００が画像又はビデオを生成するように、制御を実行してもよい。例えば、制御ユニット２６００は、カメラユニット２１００が周囲を撮影して画像又はビデオを生成するように、制御を実行してもよい。画像又はビデオは、薬剤投与の画像又はビデオであってもよい。
制御ユニット２６００は、無線通信装置１０００から受信したデータに基づいて、カメラユニット２１００を起動させてもよい。例えば、制御ユニット２６００は、無線通信装置１０００から受信した医療用品の動き又は環境光又はその両方のデータに基づいて、又は起動信号に基づいて、カメラユニット２１００を起動させてもよい。より具体的な例として、制御ユニット２６００は、医療用品の動きが所定の程度以上になった場合、カメラユニット２１００を起動させてもよい。別のより具体的な例として、制御ユニット２６００は、環境光が所定の照度以上である場合、カメラユニット２１００を起動させてもよい。また別のより具体的な例として、制御ユニット２６００は、医療用品の動きが所定の程度以上になり、環境光が所定の照度以上である場合、カメラユニット２１００を起動させてもよい。また別のより具体的な例として、起動信号が受信された場合、制御ユニット２６００は、カメラユニット２１００を起動させてもよい。
制御ユニット２６００は、無線通信装置１０００から受信したデータの信号強度に基づいて、カメラユニット２１００を起動させてもよい。例えば、制御ユニット２６００は、信号強度が所定の範囲内にある場合、カメラユニット２１００を起動させてもよい。信号強度は、受信信号強度インジケータ（ＲＳＳＩ）として表すことができるが、これに限定されない。信号強度がＲＳＳＩとして表される場合、所定の範囲の例は、－９０ｄＢｍ以上の範囲、－７０ｄＢｍ以上の範囲、－７０ｄＢｍから－５０ｄＢｍまでの範囲を含むが、これらに限定されない。
制御ユニット２６００は、データの内容よりも、無線通信装置１０００から受信したデータの信号強度を考慮して、カメラユニット２１００を起動させてもよい。ここで、信号強度は、内容よりも優先される。例えば、制御ユニット２６００は、医療用品の動きが所定の程度以上になったとしても、信号強度が所定の範囲内にない場合、カメラユニット２１００を起動させない。別の例として、制御ユニット２６００は、環境光が所定の照度以上であっても、信号強度が所定の範囲内にない場合、カメラユニット２１００を起動させない。また別の例として、制御ユニット２６００は、医療用品の動きが所定の程度以上になり、環境光が所定の照度以上であっても、信号強度が所定の範囲内にない場合、カメラユニット２１００を起動させない。また別の例として、制御ユニット２６００は、起動信号が受信されても、信号強度が所定の範囲内にない場合、カメラユニット２１００を起動させない。即ち、制御ユニット２６００は、無線通信装置１０００から受信したデータの内容を考慮する前に、データの信号強度を考慮して、カメラユニット２１００を起動させてもよい。
制御ユニット２６００は、ユーザー入力ユニット２２００がユーザーから情報を取得するように、制御を実行してもよい。制御ユニット２６００は、ユーザー入力ユニット２２００がユーザーからユーザー入力を受信するように、制御を実行してもよい。
制御ユニット２６００は、ユーザーが情報を確認できるように情報を出力する機能を出力ユニット２３００が実行するように、制御を実行してもよい。
制御ユニット２６００は、通信ユニット２４００が外部と通信する機能、例えば、外部との間でデータを送受信する機能などを実行するように、制御を実行してもよい。制御ユニット２６００は、通信ユニット２４００を介して外部から情報を取得してもよい。
制御ユニット２６００は、記憶ユニット２５００がウェアラブルデバイス２０００の動作に必要な様々な種類のデータ及びプログラムを記憶するように、制御を実行してもよい。制御ユニット２６００は、記憶ユニット２５００がウェアラブルデバイス２０００により取得する情報を記憶するように、制御を実行してもよい。
以下、特に記載しない限り、ウェアラブルデバイス２０００の動作は、制御ユニット２６００の制御下で実行されるものと解釈してもよい。
図４に示す要素の全てがウェアラブルデバイス２０００の必須要素とは限らない。ウェアラブルデバイス２０００は、図４に図示されていない要素をさらに含んでもよい。例えば、ウェアラブルデバイス２０００は、ユーザーの動作を感知する動きセンサー、環境光を測定する環境光センサー、ユーザーの心拍数を測定する心拍センサー、ユーザーの血中酸素飽和度を測定する血中酸素飽和度センサー、及び、ユーザーの心電図を測定する心電センサーの少なくとも１つをさらに含んでもよい。さらに、図４に示すウェアラブルデバイス２０００の要素の少なくとも幾つかは省略されてもよい。
１．３ サーバー
図５は、一実施形態によるサーバーを示すブロック図である。図５を参照すると、サーバー３０００は、サーバー通信ユニット３１００、サーバー記憶ユニット３２００、及びサーバー制御ユニット３３００を含んでもよい。
上述した無線通信装置１０００の通信ユニット１３００と同様に、サーバー通信ユニット３１００は、外部と通信する機能、例えば、外部との間でデータを送受信する機能などを実行してもよい。例えば、サーバー通信ユニット３１００は、ウェアラブルデバイス２０００から画像又はビデオを受信してもよい。別の例として、サーバー通信ユニット３１００は、ウェアラブルデバイス２０００から、動き又は光又はその両方のデータを受信してもよい。動き又は光又はその両方のデータは、ウェアラブルデバイス２０００によって測定されたデータであってもよい。動きのデータは、ウェアラブルデバイス２０００を装着しているユーザー歩数、姿勢などを組み込んでもよい。光のデータは、ウェアラブルデバイス２０００の周りの光を組み込んでもよい。また別の例として、サーバー通信ユニット３１００は、ウェアラブルデバイス２０００から、ウェアラブルデバイス２０００を装着しているユーザーの生体情報を受信してもよい。無線通信装置１０００の通信ユニット１３００と同じ又は同様な部分については、重複説明を省略する。
上述した無線通信装置１０００の記憶ユニット１４００と同様に、サーバー記憶ユニット３２００はサーバー３０００が動作するために必要な様々な種類のデータ及びプログラムを記憶してもよい。サーバー記憶ユニット３２００は、サーバー３０００が取得する情報を記憶してもよい。例えば、サーバー記憶ユニット３２００は、ウェアラブルデバイス２０００から受信した画像又はビデオを記憶してもよい。別の例として、サーバー記憶ユニット３２００は、ウェアラブルデバイス２０００から受信した動き又は光又はその両方のデータを記憶してもよい。無線通信装置１０００の記憶ユニット１４００と同じ又は同様な部分については、重複説明を省略する。
上述した無線通信装置１０００の制御ユニット１５００と同様に、サーバー制御ユニット３３００はサーバー３０００内の様々な種類の情報の処理及び操作を実行してもよい。サーバー制御ユニット３３００は、サーバー３０００を構成する他の要素を制御してもよい。無線通信装置１０００の制御ユニット１５００と同じ又は同様な部分については、重複説明を省略する。
サーバー制御ユニット３３００は、サーバー通信ユニット３１００が外部と通信する機能、例えば、外部との間でデータを送受信する機能などを実行するように、制御を実行してもよい。サーバー制御ユニット３３００は、サーバー通信ユニット３１００を介して外部から情報を取得してもよい。
サーバー制御ユニット３３００は、サーバー記憶ユニット３２００がサーバー３０００の動作に必要な様々な種類のデータ及びプログラムを記憶するように、制御を実行してもよい。サーバー制御ユニット３３００は、サーバー記憶ユニット３２００がサーバー３０００により取得する情報を記憶するように、制御を実行してもよい。
サーバー制御ユニット３３００は、薬剤が投与されたか否かを判定してもよい。例えば、サーバー制御ユニット３３００は、サーバー通信ユニット３１００を介してウェアラブルデバイス２０００から取得した画像又はビデオに基づいて、薬剤が投与されたか否かを判定してもよい。
以下、特に記載しない限り、サーバー３０００の動作は、サーバー制御ユニット３３００の制御下で実行されるものと解釈してもよい。
図５に示す要素の全てがサーバー３０００の必須要素とは限らない。サーバー３０００は、図５に図示されていない要素をさらに含んでもよい。さらに、図５に示すサーバー３０００の要素の少なくとも幾つかは省略されてもよい。
サーバー３０００の要素は、物理的に１つのサーバーに含まれてもよいし、機能ごとに分散された分散サーバーであってもよい。例えば、サーバー３０００は、第１機能を実行する第１サーバーと、第２機能を実行する第２サーバーとを含んでもよい。具体的な例として、サーバー３０００は、薬剤が投与されたか否かを判定する第１サーバーと、薬剤が投与されたか否かを判定した結果を管理する第２サーバーとを含んでもよい。第１サーバー及び第２サーバーは、物理的に別個の特定のサーバーであってもよい。例えば、第１サーバーは、韓国などの第１国に配置されてもよく、第２サーバーは、米国、欧州、日本及び中国などの第２国に配置されてもよい。
１．４ 追加の要素
図２に戻ると、図２に示す要素のすべてがシステムの必須要素とは限らない。図２に示すシステムの要素の幾つかは省略されてもよいか、又は、図２に図示されていない要素がさらに含まれていてもよい。
例えば、システムは、ユーザー端末をさらに含んでもよい。ユーザー端末の例は、スマートフォン、タブレットＰＣ、ラップトップコンピューター、デスクトップコンピューターを含むが、これらに限定されない。ユーザー端末は、無線通信装置、ウェアラブルデバイス、及びサーバーのうちの少なくとも幾つかとデータを交換してもよい。ユーザー端末は、ユーザー、保護者、又は医療従事者に、ユーザーの薬剤投与に関する情報、又はユーザーの薬剤投与を管理するためのアプリケーションを提供してもよい。ユーザー端末は、入力ユニット、出力ユニット、通信ユニット、記憶ユニット、制御ユニットなどを含んでもよい。ユーザー端末の要素の構成又は実現方法は、無線通信装置１０００又はウェアラブルデバイス２０００のものと同じため、重複する部分は省略する。
ユーザー端末上で動作するアプリケーションは、ユーザーの薬剤投与を誘導するためのスケジューリングサービス、通知サービスなどを提供してもよい。ここで、アプリケーションを実行する際、ユーザー端末は、ウェアラブルデバイス２０００又はサーバー３０００から取得したデータを応用してもよい。
２． 薬剤が投与されたか否かを判定するための方法
２．１ イントロダクション
以下、一実施形態による薬剤が投与されたか否かを判定するための方法について説明する。説明の便宜上、薬剤が投与されたか否かを判定するための方法がサーバーによって実行されると仮定して説明するが、これは様々な実施形態の１つに過ぎず、薬剤が投与されたか否かを判定するための方法がサーバーによってのみ実行されることを意味するものではない。
言い換えれば、一実施形態による薬剤が投与されたか否かを判定するための方法は、必ずしもサーバーによってのみ実行されるとは限らず、無線通信装置又はウェアラブルデバイスなど、他のサーバーによって実行されてもよい。さらに、薬剤が投与されたか否かを判定するための方法の一部は、サーバーによって実行されてもよく、他の部分は、無線通信装置又はウェアラブルデバイスなど、サーバー以外の装置によって実行されてもよい。
一実施形態による薬剤が投与されたか否かを判定するための方法の以下の説明では、特に言及しない限り、サーバーが実行する動作は、サーバー制御ユニットによって、又は、サーバー制御ユニットにより制御されるサーバーの別の要素によって実行されると解釈されてもよい。
サーバーは、モデルを使用して、薬剤が投与されたか否かを判定してもよい。モデルの例は、人工神経ネットワーク、サポートベクターマシン、一般化線形モデル、決定木、ランダムフォレスト、勾配ブースティングマシン、及びそれらの組み合わせなどの深層学習モデルを含むが、これらに限定されない。
以下、一実施形態によるビデオに基づいて、薬剤が投与されたか否かを判定するための方法の幾つかの例について説明する。
２．２ 監視モデルを使用して、薬剤が投与されたか否かを判定するための方法
図６及び７は、一実施形態による、監視モデルを使用して、薬剤が投与されたか否かを判定するための方法を示す図である。
ステップＳ１１０において、サーバーはビデオを取得してもよい。例えば、サーバーは、ウェアラブルデバイスからビデオを受信してもよい。ここで、ビデオは、ウェアラブルデバイスのカメラユニットによって取得され、ウェアラブルデバイス通信ユニットを介して送信されてもよい。ビデオは、複数の画像フレームを含んでもよい。複数の画像フレームの数は、５０以上、１００以上、２００以上、４００以上、６００以上、８００以上、又は１０００以上であってもよい。薬剤投与プロセス全体は、ビデオでキャプチャーされてもよい。あるいは、薬剤投与プロセス全体の大部分は、ビデオでキャプチャーされてもよい。
ステップＳ１２０において、サーバーは、ビデオ及び監視モデルを使用して、薬剤が投与されたか否かを判定してもよい。ビデオは、ステップＳ１１０で取得してもよい。
図７を参照すると、サーバーは、ビデオ１０を監視モデルに入力し、薬剤が投与されたか否かを判定してもよい。例えば、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオ１０を監視モデルに入力し、薬剤が投与されたか否かを判定してもよい。別の例として、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオ１０をサーバー記憶ユニットに記憶し、サーバー記憶ユニットに記憶されたビデオ１０を監視モデルに入力し、それにより、薬剤が投与されたか否かを判定してもよい。この場合、監視モデルの入力データはビデオ１０であってもよく、出力データは、薬剤が投与されたか否かを判定した結果であってもよい。
監視モデルに入力されるビデオは、特定のフォーマットを有してもよい。例えば、ビデオは、所定数の画像フレームを含んでもよい。別の例として、ビデオは、所定の解像度を有してもよい。また別の例として、ビデオは、所定の比率（幅と高さとの比）を有してもよい。
サーバーは、前処理を実行せずに、ビデオを監視モデルに入力してもよい。例えば、サーバー制御ユニットは、前処理を実行せずに、サーバー通信ユニットを介して受信したビデオを監視モデルに入力してもよい。即ち、監視モデルに入力されるビデオ１０は、カメラユニットによって取得されたビデオと同じであってもよい。あるいは、サーバーは、ビデオに対して前処理を実行し、前処理されたビデオを監視モデルに入力してもよい。例えば、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオに対して前処理を実行し、前処理されたビデオを監視モデルに入力してもよい。即ち、監視モデルに入力されるビデオ１０は、カメラユニットによって取得されたビデオに対して前処理を実行した結果であってもよい。前処理の例は、正規化、リサイジング、クロッピング、ノイズ除去、及びそれらの組み合わせを含むが、これらに限定されない。
監視モデルから出力される、薬剤が投与されたか否かを判定した結果は、薬剤が投与されたか否かを表示する指数であってもよい。即ち、監視モデルの出力データは、薬剤が投与されたか否かを表示する指数であってもよい。サーバーは、監視モデルを使用して、監視モデルに入力されるビデオについて、薬剤が投与されたか否かを表示する指数を取得してもよい。非限定的な例として、指数は数値として表してもよい。
薬剤が投与されたか否かを表示する、監視モデルの出力データである指数は、様々なフォーマットを有してもよい。
例えば、薬剤が投与されたか否かを表示する、監視モデルの出力データである指数は、薬剤投与を表示する指数と、薬剤無投与を表示する指数とを含んでもよい。ここで、監視モデルは、薬剤投与を表示する指数と、薬剤無投与を表示する指数とのいずれかを出力してもよい。例えば、監視モデルは、薬剤投与が推定された場合に１の値を出力したり、薬剤無投与が推定された場合に０の値を出力したりする。
別の例として、薬剤が投与されたか否かを表示する、監視モデルの出力データである指数は、薬剤投与が推定された確率を表示する指数（以下、「薬剤投与確率指数」と呼ぶ）、及び薬剤無投与が推定された確率を表示する指数（以下、「薬剤無投与確率指数」と呼ぶ）を含んでもよい。ここで、監視モデルは、薬剤投与確率指数と薬剤無投与確率指数を一緒に出力してもよい。サーバーは、薬剤投与確率指数及び薬剤無投与確率指数を使用して、薬剤が投与されたか否かを判定してもよい。例えば、薬剤投与確率指数が薬剤無投与確率指数よりも大きい場合、サーバーは、薬剤が投与されたと判定してもよい。薬剤無投与確率指数が薬剤投与確率指数よりも大きい場合、サーバーは、薬剤が投与されていないと判定してもよい。別の例として、サーバーは、薬剤投与確率指数が所定の条件を満たす場合、薬剤が投与されたと判定してもよい。所定の条件を満たす例として、薬剤投与確率指数は、所定値以上であるが、これに限定されない。
監視モデルの例は、注意機構を用いたトランスモデル、長・短期メモリー（ＬＳＴＭ）などのリカレントニューラルネットワーク（ＲＮＮ）モデル、２Ｄ ＣＮＮ－ＬＳＴＭなどのハイブリッドモデル、ならびに３Ｄ ＣｏｎｖＮｅｔ、膨張３Ｄ ＣｏｎｖＮｅｔ （Ｉ３Ｄ）、及びＳｌｏｗＦａｓｔネットワークなどの深層学習モデルを含む。しかしながら、例はこれらに限定されない。
サーバーが、単一の画像フレーム又は数個の画像フレームに基づいて、薬剤が投与されたか否かを判定する場合と比較して、サーバーが、ビデオに基づいて、薬剤が投与されたか否かを判定する場合は、薬剤が投与されたか否かを判定する精度が向上した。例えば、単一の画像フレームのみを使用して、薬剤が投与されたか否かを判定する場合、画像フレーム内で薬剤が検出されたときに、薬剤が投与されたと判定する。別の例として、数個の画像フレームのみを使用して、薬剤が投与されたか否かを判定する場合、数個の画像フレームのうちの所定数以上の画像フレーム内で薬剤が検出されたときに、薬剤が投与されたと判定する。しかしながら、これらの場合でも、ユーザーは実際に薬剤を投与していない可能性がある。よって、単一の画像フレーム又は数個の画像フレームのみを使用して、薬剤が投与されたか否かを正確に判定することは困難である。逆に、上述したように、ビデオに基づいて、薬剤が投与されたか否かを判定する場合、薬特定の画像フレーム内で剤が検出されたからといって、薬剤が投与されたと判定されるのではなく、薬剤が投与されたか否かは、ビデオ全体でキャプチャーされた薬剤投与プロセスを考慮して判定される。従って、単一の画像フレーム又は数個の画像フレームに基づいて、薬剤が投与されたか否かを判定する場合と比較して、薬剤が投与されたか否かを正確に判定する。
２．３ 検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定するための方法
図８及び９は、一実施形態による、検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定するための方法を示す図である。サーバーは、ビデオ、検出モデル、及び確認モデルを使用して、薬剤が投与されたか否かを判定してもよい。サーバーは、ビデオを取得してもよく（Ｓ２１０）、ビデオ及び検出モデルを使用して、薬剤投与に関連するオブジェクト及び姿勢（以下、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢と呼ぶ）を検出してもよく（Ｓ２２０）、薬剤投与関連のオブジェクト及び姿勢を検出した結果（以下、「検出結果」と呼ぶ）及び確認モデルを使用して、薬剤が投与されたか否かを判定してもよい（Ｓ２３０）。
ステップＳ２１０において、サーバーはビデオを取得してもよい。例えば、サーバーは、ウェアラブルデバイスからビデオを受信してもよい。ここで、ビデオは、ウェアラブルデバイスのカメラユニットによって取得され、ウェアラブルデバイス通信ユニットを介して送信されてもよい。ビデオは、複数の画像フレームを含んでもよい。複数の画像フレームの数は、５０以上、１００以上、２００以上、４００以上、６００以上、８００以上、又は１０００以上であってもよい。薬剤投与プロセス全体は、ビデオでキャプチャーされてもよい。あるいは、薬剤投与プロセス全体の大部分は、ビデオでキャプチャーされてもよい。
ステップＳ２２０において、サーバーは、ビデオ及び検出モデルを使用して、薬剤投与関連のオブジェクト及び姿勢を検出してもよい。例えば、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオと検出モデルとを使用して、薬剤投与関連のオブジェクト及び姿勢を検出してもよい。別の例として、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオをサーバー記憶ユニットに記憶してもよく、サーバー記憶ユニットに記憶されたビデオと検出モデルとを使用して、薬剤投与関連のオブジェクト及び姿勢を検出してもよい。ビデオは、ステップＳ２１０で取得してもよい。
図１０は、一実施形態による、検出モデルを使用した薬剤投与関連のオブジェクト及び姿勢の検出を示す図である。
図１０を参照すると、サーバーは、ビデオ４０の画像フレーム４１と４２を検出モデルに入力し、画像フレーム４１と４２に含まれる薬剤投与関連のオブジェクト及び姿勢を検出してもよい。この場合、検出モデルの入力データは、画像フレーム４１と４２であってもよい。サーバーは、画像フレームごとにビデオを検出モデルに入力し、画像フレームにおける薬剤投与関連のオブジェクト及び姿勢を検出してもよい。この場合、サーバーは、ビデオに含まれる薬剤投与関連のオブジェクト及び姿勢が検出されるように、ビデオのすべての画像フレームに対して薬剤投与関連のオブジェクト及び姿勢を検出する。サーバーは、ビデオのすべての画像フレームの一部のみに対して、薬剤投与関連のオブジェクト及び姿勢を検出してもよい。
サーバーが画像フレームを検出モデルに入力し薬剤投与関連のオブジェクトを検出するということは、サーバーが画像フレームを検出モデルに入力し、画像フレーム内に薬剤投与関連のオブジェクトが存在するか否かを判定することを意味してもよい。サーバーが画像フレームを検出モデルに入力し薬剤投与関連の姿勢を検出するということは、サーバーが画像フレームを検出モデルに入力し、画像フレーム内に薬剤投与関連の姿勢が存在するか否かを判定することを意味してもよい。ここで、薬剤投与関連の姿勢が存在するか否かを判定することは、薬剤投与関連の姿勢に対応する特定のシーンが存在する否かを判定することを意味してもよい。この場合、サーバーが画像フレームを検出モデルに入力し薬剤投与関連の姿勢を検出するということは、サーバーが画像フレームを検出モデルに入力し、画像フレーム内に薬剤投与関連の姿勢に対応する特定のシーンが存在するか否かを判定することを意味してもよい。薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢については、後で詳しく説明する。
検出モデルに入力される画像フレームは、特定のフォーマットを有してもよい。例えば、画像フレームは、所定の解像度を有してもよい。別の例として、画像フレームは、所定の比率（幅と高さとの比）を有してもよい。
サーバーは、前処理を実行せずに、画像フレームを検出モデルに入力してもよい。例えば、サーバー制御ユニットは、前処理を実行せずに、サーバー通信ユニットを介して受信した画像フレームを検出モデルに入力してもよい。即ち、検出モデルに入力される画像フレーム４１と４２は、カメラユニットによって取得された画像フレームと同じであってもよい。あるいは、サーバーは、画像フレームに対して前処理を実行し、前処理された画像フレームを検出モデルに入力してもよい。例えば、サーバー制御ユニットは、サーバー通信ユニットを介して受信した画像フレームに対して前処理を実行し、前処理された画像フレームを検出モデルに入力してもよい。即ち、検出モデルに入力される画像フレーム４１と４２は、カメラユニットによって取得された画像フレームに対する前処理の結果であってもよい。前処理の例は、正規化、リサイジング、クロッピング、ノイズ除去、及びそれらの組み合わせを含むが、これらに限定されない。
検出モデルは、薬剤投与関連のオブジェクト及び姿勢に関連するデータ（以下、「検出モデル出力データ」と呼ぶ）を出力してもよい。この場合、検出モデルの出力データは、検出モデル出力データと呼んでもよい。サーバーは、検出モデルを使用して、検出モデル出力データを取得してもよい。ビデオがＮ個の画像フレームを含む場合、サーバーは、Ｎ個の画像フレームを検出モデルに入力し、Ｎ個の画像フレームに対応するＮ個の検出モデル出力データを取得する。即ち、サーバーは、画像フレームごとにビデオを検出モデル入力してもよく、各画像フレームに対応する検出モデル出力データを含み、ビデオに対応する検出結果を取得してもよい。非限定的な例として、検出モデル出力データは数値として表してもよい。検出モデル出力データについては、後で詳しく説明する。
以下、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢についてより詳細に説明する。
図１１は、数種類の薬剤投与関連のオブジェクトを示す図である。薬剤投与関連のオブジェクトは、薬剤投与のためにユーザーによって使用されるオブジェクトなど、薬剤投与に関連する様々な種類のオブジェクトを含んでもよい。非限定的な一例として、図１１を参照すると、薬剤投与関連のオブジェクトは、薬瓶２１、点眼器２２、鼻噴霧器２３、タービュヘイラー２４、丸薬２５、吸入器２６、ブリスターパック２７、注射器２８などを含んでもよい。図示されていないが、薬剤投与関連のオブジェクトは、腕、手、手首、手のひら、手のひらの外側部分、顔、口、及び鼻などのユーザーの身体部分を含んでもよい。
図１２は、薬剤投与関連の姿勢の数種類を示す図である。薬剤投与関連の姿勢は、薬剤投与のためのユーザーの位置決めなどの、薬剤投与に関連する様々な種類の姿勢を含んでもよい。非限定的な一例として、図１２を参照すると、薬剤投与関連の姿勢は、ブリスターパックを保持するための姿勢３１、吸入器を保持するための姿勢３２、タービュヘイラーを保持するための姿勢３３、点眼器を保持するための姿勢３４、鼻噴霧器を保持するための姿勢３５、及び丸薬を保持するための姿勢３６などの薬剤投与関連のオブジェクトを保持するための姿勢と、丸薬などの薬剤を嚥下するための姿勢３７と、吸入器、タービュヘイラー、及び鼻噴霧器などの薬剤投与関連のオブジェクトを使用して薬剤を吸入するための姿勢と、点眼器などの薬剤投与関連のオブジェクトを使用して点眼薬を投与するための姿勢と、注射器などの薬剤投与関連のオブジェクトを使用して薬剤を注入するための姿勢と、薬瓶などの薬剤投与関連のオブジェクトを開けるための姿勢とを含んでもよい。
薬剤投与関連の姿勢と薬剤投与関連のオブジェクトを比較すると、薬剤投与関連の姿勢は、１つ以上の薬剤投与関連のオブジェクトを伴う特定の姿勢とみなしてもよい。例えば、ブリスターパックを保持するための姿勢３１は、ブリスターパック及び手を伴う姿勢とみなしてもよい。別の例として、薬剤を嚥下するための姿勢３７は、薬剤及び顔を伴う姿勢とみなしてもよい。即ち、薬剤投与関連の姿勢は、身体の少なくとも一部及び医療用品の少なくとも一部を含んでもよい。従って、サーバーによって薬剤投与関連の姿勢を検出することは、１つ以上の薬剤投与関連のオブジェクトを個別に検出することなく、薬剤投与関連のオブジェクトを伴う特定の姿勢を検出することであってもよい。
幾つかの実施形態では、検出モデルは、特定の種類の薬剤投与に関連する薬剤投与関連のオブジェクト及び姿勢を検出してもよい。例えば、検出モデルは、薬瓶から出された丸薬の経口投与など、剤を嚥下することに関連する薬剤投与関連のオブジェクト及び姿勢を検出するようにトレーニングされているため、薬剤を嚥下することに関連する薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢を画像フレームから検出することができる。より具体的な例として、画像フレームが入力されるとき、検出モデルは、薬瓶、丸薬、薬瓶を開ける行為、丸薬を保持する行為、及び丸薬を嚥下する行為を検出してもよい。この場合、検出モデルは、特定の種類以外の薬剤投与に関連する薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢を検出できない可能性がある。例えば、薬瓶から出された丸薬の経口投与など、薬剤を嚥下することに関連する薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢を検出するようにトレーニングされた検出モデルは、吸入器を使用した薬剤の吸入に関連する薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢を検出できない可能性がある。
幾つかの実施形態では、検出モデルは、複数種類の薬剤投与に関連する薬剤投与関連のオブジェクト及び姿勢を検出してもよい。例えば、検出モデルは、薬剤の嚥下、吸入器の使用、タービュヘイラーの使用、鼻噴霧器の使用、点眼薬の投与、及び薬剤の注入のうちの少なくとも２つの薬剤投与に関連する薬剤投与関連のオブジェクト及び姿勢を検出するようにトレーニングされているため、少なくとも２つの薬剤投与に関連する薬剤投与関連のオブジェクト及び姿勢を画像フレームから検出することができる。
以下、検出モデル出力データについて、より詳細に説明する。
上述したように、サーバーは、検出モデルを使用して、検出モデル出力データを検出してもよい。検出モデル出力データは、複数のサブデータを含んでもよい。複数のサブデータの各々は、画像フレーム内の特定の領域に対応してもよい。特定の領域は、薬剤投与関連のオブジェクトに対応する領域と、薬剤投与関連の姿勢に対応する領域と、薬剤投与に関連のない領域との少なくとも１つであってもよい。
検出モデル出力データは、画像フレーム内の薬剤投与関連のオブジェクト及び姿勢の位置を組み込んだ位置情報を含む。例えば、検出モデル出力データのサブデータは、位置情報を含んでもよい。この場合、位置情報は、サブデータに対応する所定数の領域のいずれか１つの画像フレーム内の位置を組み込んでもよい。位置情報は、バウンディングボックスで表現してもよい。バウンディングボックスの表現の例は、パスカルＶＯＣ、及びＣＯＣＯを含むが、これらに限定されない。
検出モデル出力データは、薬剤投与関連のオブジェクト及び姿勢に関する確率情報を含んでもよい。例えば、検出モデル出力データのサブデータは、確率情報を含んでもよい。
確率情報は、存在確率情報又はクラス確率情報又はその両方を含んでもよい。存在確率情報は、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が存在するか否かを組み込んでもよい。クラス確率情報は、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方のクラスの確率を組み込んでもよい。
幾つかの実施形態では、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢のクラスは、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢の種類を指してもよい。例えば、第１薬剤投与関連のオブジェクト及び姿勢と第２薬剤投与関連のオブジェクト及び姿勢とが異なる種類である場合、第１薬剤投与関連のオブジェクト及び姿勢と第２薬剤投与関連のオブジェクト及び姿勢とは異なるクラスである。より具体的な例として、薬瓶と丸薬は、異なるクラスであってもよい。別のより具体的な例として、薬瓶と吸入器は、異なるクラスであってもよい。
幾つかの実施形態では、薬剤投与関連のオブジェクト及び姿勢のクラスは、薬剤投与関連のオブジェクト及び姿勢の同じ又は類似の種類のグループを指してもよい。例えば、第１薬剤投与関連のオブジェクト及び姿勢と第２薬剤投与関連のオブジェクト及び姿勢とが同じ又は類似の種類である場合、第１薬剤投与関連のオブジェクト及び姿勢と第２薬剤投与関連のオブジェクト及び姿勢とは同じ又は類似のクラスである。より具体的な例として、丸薬と薬瓶は、同じクラスであってもよい。しかしながら、この場合であっても、薬瓶と吸入器は、異なるクラスであってもよい。
クラス確率情報は、薬剤投与関連のオブジェクトに対応するオブジェクトクラス確率情報、又は薬剤投与関連の姿勢に対応する姿勢クラス確率情報、又はその両方を含んでもよい。
確率情報は、１つ以上の確率値を含んでもよい。存在確率情報は、１つ以上の存在確率値を含んでもよい。クラス確率情報は、１つ以上のクラス確率値を含んでもよい。確率情報に含まれる確率値の数は、ケースに応じて異なる場合がある。
サーバーは、検出モデル出力データに基づいて、画像フレームに含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。サーバーは、検出モデル出力データのサブデータに基づいて、画像フレームに含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。
サーバーは、サブデータの確率情報に基づいて、画像フレームに含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。例えば、サーバーは、存在確率情報に基づいて、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が存在確率情報に対応する領域内に存在するか否かを判定することによって、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。より具体的な例として、存在確率値が所定値以上である場合、サーバーは、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が存在確率値に対応する領域内に存在すると判定し、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。別の例として、サーバーは、クラス確率情報に基づいて、クラス確率情報に対応する領域内に存在すると予想される薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方のクラスを推定してもよい。より具体的な例として、クラス確率値が所定値以上である場合、サーバーは、クラス確率値に対応する領域に存在すると予想される薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方のクラスが、クラス確率値に対応するクラスであると推定してもよい。
図１３は、検出モデル出力データの例を示す図である。
検出モデル出力データの例として、図１３は、サーバーが画像フレーム５０内の３つの領域５１、５２、及び５３のデータを取得する場合を示す。具体的には、サーバーは、薬剤投与関連のオブジェクトである薬瓶に対応する領域５１と、薬剤投与関連の姿勢である丸薬を保持するための姿勢に対応する領域５２と、薬剤投与関連のオブジェクト及び姿勢に関連のない領域５３とのそれぞれに対応するデータを取得してもよい。図１３に示すように、サーバーによって取得された所定数の領域５１、５２、及び５３は、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方に対応する領域５１と５２、及びそれらに関連のない領域５３を含んでもよい。しかしながら、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方に対応する領域５１及び５２と比較して、関連のない領域５３の確率値は低くてもよい。従って、上述したように、サーバーは、確率値に基づいて、領域５１、５２、及び５３のうち、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方に対応する領域５１及び５２を判定してもよく、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。
図１３の（ｂ）は、検出モデル出力データ６１が、３つの領域５１、５２、及び５３にそれぞれ対応する３つのサブデータ６２、６３、及び６４を含む場合を示す。
図１３の（ｂ）は、存在確率情報の例として、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方がバウンディングボックス５１、５２、及び５３内に存在する確率を組み込んでいる存在確率情報７２を示す。図１３の（ｂ）において、サブデータ６２、６３、及び６４はそれぞれ１つの存在確率値、ｐ１、ｐ２、及びｐ３を含むが、これに限定されない。また、図１３の（ｂ）は、クラス確率情報の例として、バウンディングボックス５１、５２、及び５３内に存在すると予想される薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方のクラスの確率を組み込んでいるクラス確率情報７３を示す。クラス確率情報７３は、オブジェクトクラス確率情報７４及び姿勢クラス確率情報７５を含む。図１３の（ｂ）において、サブデータ６２、６３、及び６４のそれぞれは、オブジェクトクラス確率情報７４としての「ａ」個のオブジェクトクラス確率値、姿勢クラス確率情報７５としての「ｂ」個の姿勢クラス確率値、合計「ａ＋ｂ」個のクラス確率値を含むが、これらに限定されない。
検出モデル出力データは、特定のフォーマットを有してもよい。例えば、図１３の（ｂ）を参照すると、検出モデル出力データ６１は、２Ｄマトリックスフォーマットを有してもよい。ここで、検出モデル出力データ６１の行は、それぞれサブデータ６２、６３、及び６４の１つに対応してもよい。また、検出モデル出力データ６１の列は、それぞれサブデータ６２、６３、及び６４に含まれる位置情報及び確率情報などの特定種類の情報に対応してもよい。しかしながら、図１３の（ｂ）に示す検出モデル出力データ６１のフォーマットは単なる一例であり、これに限定されない。
図１３は、サーバーが画像フレーム５０内の３つの領域５１、５２、及び５３のデータを取得し、検出モデル出力データ６１が３つのサブデータ６２、６３、及び６４を含む場合を示すが、サーバーによって取得された領域の数が異なる場合がある。例えば、サーバーは、ｋ個の領域のデータを取得してもよい。この場合、検出モデル出力データは、ｋ個のサブデータを含んでもよい。図１３の（ｂ）に示すフォーマットによれば、検出モデル出力データは、ｋ行を有する２Ｄマトリックスとして表現してもよい。
また、図１３に示す要素の全てが検出モデル出力データの必須要素とは限らない。検出モデル出力データは、図１３に図示されていない要素をさらに含んでもよい。さらに、図１３に示す検出モデル出力データの要素の少なくとも幾つかは省略されてもよい。例えば、検出モデル出力データは、バウンディングボックスに関する情報を含まなくてもよい。あるいは、検出モデル出力データは、存在確率情報を含まなくてもよい。あるいは、検出モデル出力データは、オブジェクトクラス確率情報又は姿勢クラス確率情報又はそのいずれも含まなくてもよい。
検出モデルの例は、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＳＰＰＮｅｔ、ＹＯＬＯ、及びＳＳＤなどの深層学習モデルを含むが、これらに限定されない。
検出モデルは、複数のサブ検出モデルを含んでもよい。複数のサブ検出モデルは、モデルについて、少なくとも部分的に異なるクラスの薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。
例えば、検出モデルは、第１種類の薬剤投与関連のオブジェクト及び第１種類の薬剤投与関連の姿勢を検出する第１検出モデルと、第２種類の薬剤投与関連のオブジェクト及び第２種類の薬剤投与関連の姿勢を検出する第２検出モデルとを含んでもよい。
別の例として、検出モデルは、薬剤投与関連のオブジェクトを検出する検出モデル（以下、「オブジェクト検出モデル」と呼ぶ）と、薬剤投与関連の姿勢を検出する検出モデル（以下、「姿勢検出モデル」）とを含んでもよい。
図１４は、一実施形態による、オブジェクト検出モデル及び姿勢検出モデルを含む検出モデルを示す図である。図１４を参照すると、サーバーは、ビデオ８０の画像フレーム８１と８２をオブジェクト検出モデルに入力し、画像フレーム８１と８２に含まれる薬剤投与関連のオブジェクトを検出してもよい。また、サーバーは、ビデオ８０の画像フレーム８１と８２を姿勢検出モデルに入力し、画像フレーム８１と８２に含まれる薬剤投与関連の姿勢を検出してもよい。この場合、オブジェクト検出モデル及び姿勢検出モデルを使用して、ビデオ８０のすべての画像フレーム内の薬剤投与関連のオブジェクト及び姿勢を検出することにより、ビデオ８０に含まれる薬剤投与関連のオブジェクト及び姿勢を検出する。図１４に示す画像フレーム８１と８２は、同じオブジェクト検出モデルに入力されてもよい。図１４に示す画像フレーム８１と８２は、同じ姿勢検出モデルに入力されてもよい。
サブ検出モデルの例は、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＳＰＰＮｅｔ、ＹＯＬＯ、及びＳＳＤなどの深層学習モデルを含むが、これらに限定されない。
図８に戻ると、ステップＳ２３０において、サーバーは、検出結果及び確認モデルを使用して、薬剤が投与されたか否かを判定してもよい。例えば、サーバー制御ユニットは、検出結果及び確認モデルを使用して、薬剤が投与されたか否かを判定してもよい。別の例として、サーバー制御ユニットは、検出結果をサーバー記憶ユニットに記憶してもよく、サーバー記憶ユニットに記憶された検出結果と確認モデルとを使用して、薬剤が投与されたか否かを判定してもよい。検出結果は、検出モデル出力データを含んでもよい。検出結果は、ステップＳ２２０で取得してもよい。
サーバーは、検出結果をそのまま確認モデルに入力してもよい。この場合、確認モデルに入力される入力データは、検出モデルの検出結果と同じであってもよい。あるいは、サーバーは、検出結果を変換し、得られた検出結果を確認モデルに入力してもよい。この場合、確認モデルに入力される入力データは、検出結果に基づいて生成されてもよい。
図１５は、一実施形態による、確認モデルを使用して薬剤が投与されたか否かを判定することを示す図である。
図１５を参照すると、サーバーは、確認モデル入力データを確認モデルに入力し、薬剤が投与されたか否かを判定してもよい。この場合、確認モデルの入力データは、確認モデル入力データであってもよく、出力データは、薬剤が投与されたか否かを判定した結果であってもよい。
サーバーは、検出結果に基づいて、確認モデル入力データを生成してもよい。図１５を参照すると、検出結果は、ビデオの各画像フレームに対応する検出モデル出力データを含んでもよい。ビデオがＮ個の画像フレームを含む場合、検出結果は、Ｎ個の検出モデル出力データを含む。ここで、サーバーは、Ｎ個の検出モデル出力データを合成することによって、確認モデル入力データを生成してもよい。
確認モデル入力データは、特定のクラスの薬剤投与関連のオブジェクト及び姿勢がビデオ内に存在するか否かを組み込んでもよい。あるいは、確認モデル入力データは、特定のクラスの薬剤投与関連のオブジェクトの移動及び姿勢を経時的にビデオ内に組み込んでもよい。
図１６は、検出モデルがｋ個の領域のデータを出力し、ビデオがＮ個の画像フレームを含むと仮定して、一実施形態による検出モデル出力データ及び確認モデル入力データを示す図である。図１６の（ａ）は、検出モデル出力データの例を示し、図１６の（ｂ）は、確認モデル入力データの例を示す。
確認モデル入力データは、各画像フレームに対応するサブデータを含んでもよい。例えば、図１６の（ｂ）を参照すると、確認モデル入力データ９２は、Ｎ個の画像フレームにそれぞれ対応するＮ個のサブデータ９３を含んでもよい検出モデル出力データと確認モデル入力データを比較すると、検出モデル出力データのサブデータは、画像フレーム内の特定の領域に対応してもよく、確認モデル入力データのサブデータは、特定の画像フレームに対応してもよい。
確認モデル入力データは、時系列に並べられたサブデータを含んでもよい。例えば、確認モデル入力データは、時系列に昇順で並べられたサブデータを含んでもよい。
確認モデル入力データのサブデータは、検出モデル出力データに対応してもよい。例えば、図１６を参照すると、確認モデル入力データの各サブデータ９３は、１つの検出モデル出力データ９１に対応してもよい。即ち、検出モデル出力データ９１は、１つの画像フレームに関する情報のみを含んでもよいが、確認モデル入力データ９２は、複数の画像フレームに関する情報（例えば、ビデオのすべての画像フレーム）を含んでもよい。確認モデル入力データのサブデータは、それに対応する検出モデル出力データを使用して生成されてもよい。
確認モデル入力データのサブデータは、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が画像フレーム内に存在するか否かを組み込んでもよい。例えば、図１６を参照すると、確認モデル入力データのサブデータ９３は、特定のクラスの薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が画像フレーム内に存在するか否かを組み込んでいる情報９４を含んでもよい。情報９４は、検出モデル出力データのクラス確率情報９５を合成することによって生成されてもよい。具体的には、特定のクラスに対応する情報９４は、検出モデル出力データの特定のクラス確率情報９５を合成することによって生成されてもよい。特定のクラス確率情報９５を合成することによって、特定のクラスに対応する情報９４を生成する例は、特定のクラス確率情報９５の確率値を加算し、その和を情報９４として判定することと、確率値の加重平均を情報９４として判定することと、確率値のうちの最大値を情報９４として判定することとを含む。しかしながら、例はこれらに限定されない。
確認モデル入力データは、特定のフォーマットを有してもよい。例えば、図１６の（ｂ）を参照すると、確認モデル入力データ９２は、２Ｄマトリックスフォーマットを有してもよい。ここで、確認モデル入力データ９２の各行は、１つのサブデータ９３に対応してもよい。また、確認モデル入力データ９２の各列は、サブデータ９３に含まれる確率情報などの特定種類の情報に対応してもよい。しかしながら、図１６の（ｂ）に示す確認モデル入力データ９２のフォーマットは単なる一例であり、これに限定されない。
図１５に戻ると、確認モデルから出力された、薬剤が投与されたか否かを判定した結果は、薬剤が投与されたか否かを表示する指数であってもよい。即ち、確認モデルの出力データは、薬剤が投与されたか否かを表示する指数であってもよい。監視モデルの出力データである薬剤が投与されたか否かを表示する指数の詳細は、確認モデルの出力データである薬剤が投与されたか否かを表示する指数に適用してもよいため、その説明を省略する。
確認モデルの例は、ＲＮＮモデル、即ち、ＬＳＴＭ、及びハイブリッドモデル、即ち、２Ｄ ＣＮＮ－ＬＳＴＭなど深層学習モデルを含むが、これらに限定されない。
単一の画像フレーム又は数個の画像フレームに基づいて生成された確認モデル入力データを使用して、薬剤が投与されたか否かを判定する場合と比較して、サーバーが、ビデオに基づいて生成された確認モデル入力データを使用して薬剤が投与されたか否かを判定する場合は、精度が向上した可能性がある。その理由は、「２．２ 監視モデルを使用して、薬剤が投与されたか否かを判定するための方法」で説明されている、サーバーが、単一の画像フレーム又は数個の画像フレームに基づいて薬剤が投与されたか否かを判定する場合と比較して、サーバーが、ビデオに基づいて薬剤が投与されたか否かを判定する場合に精度が向上した理由と同じ又は同様である。したがって、その理由についての説明は省略する。
薬剤が投与されたか否かを判定する際に、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢を使用することについて説明したが、薬剤が投与されたか否かは、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢のいずれか一方のみを使用して判定してもよい。しかしながら、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢のいずれか一方のみを使用する場合と比較して、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢の両方を使用する場合は、薬剤が投与されたか否かを判定する精度が向上した。例えば、確認モデル入力データが薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢のいずれか一方のみに関する情報を含む場合と比較して、確認モデル入力データが薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢の両方に関する情報を含む場合は、確認モデルを使用して薬剤が投与されたか否かを判定する精度が向上した。このため、検出モデルは、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢のいずれか一方のみを検出するよりも、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢の両方を検出する方が有利である。
２．４ ビデオのカテゴリーを考慮して、薬剤が投与されたか否かを判定するための方法
サーバーは、ビデオのカテゴリーを定義し、カテゴリーを考慮して、薬剤が投与されたか否かを判定してもよい。例えば、サーバーは、ビデオのカテゴリーに応じて特定の監視モデルを使用して、薬剤が投与されたか否かを判定してもよい。別の例として、サーバーは、ビデオのカテゴリーに応じて特定の検出モデルを使用して、薬剤が投与されたか否かを判定してもよい。また別の例として、サーバーは、ビデオのカテゴリーに応じて特定の確認モデルを使用して、薬剤が投与されたか否かを判定してもよい。
ビデオのカテゴリーを定義することは、ビデオに対応する薬剤投与の種類を判定することを指してもよい。例えば、サーバーは、異なる種類の薬剤投与に対応する２つ以上のカテゴリーのうち、どのカテゴリーにビデオが対応するかを判定することによって、ビデオのカテゴリーを定義してもよい。この場合、カテゴリーの例は、薬剤嚥下カテゴリー、吸入器使用カテゴリー、タービュヘイラー使用カテゴリー、鼻噴霧器使用カテゴリー、点眼薬投与カテゴリー、及び薬剤注入カテゴリーを含むが、これらに限定されない。
サーバーは、分類モデルを使用して、ビデオのカテゴリーを定義してもよい。この場合、サーバーは、分類モデルをさらに使用して、薬剤が投与されたか否かを判定してもよい。例えば、サーバーは、監視モデルに加えて分類モデルを使用して、薬剤が投与されたか否かを判定してもよい。別の例として、サーバーは、検出モデル及び確認モデルに加えて分類モデルを使用して、薬剤が投与されたか否かを判定してもよい。
図１７は、一実施形態による、分類モデルを使用して薬剤が投与されたか否かを判定するための方法を示す図である。サーバーは、ビデオを取得してもよく（Ｓ３１０）、ビデオ及び分類モデルを使用してビデオのカテゴリーを定義してもよく（Ｓ３２０）、定義されたカテゴリー及びビデオを使用して、薬剤が投与されたか否かを判定してもよい（Ｓ３３０）。
ステップＳ３１０において、サーバーはビデオを取得してもよい。例えば、サーバーは、ウェアラブルデバイスからビデオを受信してもよい。ここで、ビデオは、ウェアラブルデバイスのカメラユニットによって取得され、ウェアラブルデバイス通信ユニットを介して送信されてもよい。ビデオは、複数の画像フレームを含んでもよい。複数の画像フレームの数は、５０以上、１００以上、２００以上、４００以上、６００以上、８００以上、又は１０００以上であってもよい。薬剤投与プロセス全体は、ビデオでキャプチャーされてもよい。あるいは、薬剤投与プロセス全体の大部分は、ビデオでキャプチャーされてもよい。
ステップＳ３２０において、サーバーは、ビデオ及び分類モデルを使用して、ビデオのカテゴリーを定義してもよい。例えば、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオと分類モデルとを使用して、ビデオのカテゴリーを定義してもよい。別の例として、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオをサーバー記憶ユニットに記憶してもよく、サーバー記憶ユニットに記憶されたビデオと分類モデルとを使用して、ビデオのカテゴリーを定義してもよい。ビデオは、ステップＳ３１０で取得してもよい。
サーバーが分類モデルを使用してビデオのカテゴリーを定義することは、サーバーが分類モデルを使用して、ビデオのカテゴリーを表示する指数（以下、「カテゴリー指数」と呼ぶ）を取得することを意味してもよい。非限定的な一例として、カテゴリー指数は、数値として表してもよい。
図１８～２０は、一実施形態による分類モデルを示す図である。
図１８を参照すると、サーバーは、ビデオ１００を分類モデルに入力し、ビデオのカテゴリー１００を定義してもよい。例えば、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオ１００を分類モデルに入力し、ビデオのカテゴリー１００を定義してもよい。別の例として、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオ１００をサーバー記憶ユニットに記憶してもよく、サーバー記憶ユニットに記憶されたビデオ１００を分類モデルに入力してもよく、ビデオのカテゴリー１００を定義してもよい。以下、ビデオを受信しビデオのカテゴリーを定義する分類モデルを、第１種類の分類モデルと呼ぶ。この場合、第１種類の分類モデルの入力データは、ビデオであってもよい。
第１種類の分類モデルに入力されるビデオは、特定のフォーマットを有してもよい。例えば、ビデオは、所定数の画像フレームを含んでもよい。別の例として、ビデオは、所定の解像度を有してもよい。また別の例として、ビデオは、所定の比率（幅と高さとの比）を有してもよい。
サーバーは、前処理を実行せずに、ビデオを第１種類の分類モデルに入力してもよい。例えば、サーバー制御ユニットは、前処理を実行せずに、サーバー通信ユニットを介して受信したビデオを第１種類の分類モデルに入力してもよい。即ち、第１種類の分類モデルに入力されるビデオは、カメラユニットによって取得されたビデオと同じであってもよい。あるいは、サーバーは、ビデオに対して前処理を実行し、前処理されたビデオを第１種類の分類モデルに入力してもよい。例えば、サーバー制御ユニットは、サーバー通信ユニットを介して受信したビデオに対して前処理を実行し、前処理されたビデオを第１種類の分類モデルに入力してもよい。即ち、第１種類の分類モデルに入力されるビデオは、カメラユニットによって取得されたビデオに対して前処理を実行した結果であってもよい。前処理の例は、正規化、リサイジング、クロッピング、ノイズ除去、及びそれらの組み合わせを含むが、これらに限定されない。
第１種類の分類モデルの出力データのフォーマットは、様々であってもよい。
例えば、第１種類の分類モデルの出力データは、異なるカテゴリーを表示する複数の指数を含んでもよい。ここで、第１種類の分類モデルは、複数の指数の１つを出力してもよい。サーバーは、出力された指数をビデオのカテゴリー指数として判定してもよい。
別の例として、第１種類の分類モデルの出力データは、カテゴリーが推定される確率を表示する複数の指数を含んでもよい。以下、カテゴリーが推定される確率を表示する指数を、カテゴリー確率指数と呼ぶ。複数のカテゴリー確率指数は、それぞれ異なるカテゴリーに対応してもよい。ここで、第１種類の分類モデルは、複数のカテゴリー確率指数を出力してもよい。この場合、サーバーは、複数のカテゴリー確率指数を使用して、ビデオのカテゴリーを定義してもよい。即ち、サーバーは、複数のカテゴリー確率指数を使用して、ビデオのカテゴリー指数を判定してもよい。例えば、サーバーはビデオのカテゴリーを、複数のカテゴリー確率指数のうち、最大値に対応するカテゴリーとして定義してもよい。
第１種類の分類モデルは、上記の監視モデルの構造と同じ又は類似の構造で実現されてもよい。しかしながら、この場合であっても、第１種類の分類モデルと監視モデルとは、構造のみは同じ又は類似であってもよいが、重み付けやフィルタ値などのパラメータは異なっていてもよい。また、第１種類の分類モデルは、必ずしも監視モデルの構造と同じ又は類似の構造で実現されるとは限らない。
図１９を参照すると、サーバーは、画像フレーム１０２と１０３を含むビデオ１０１を分類モデルに入力してもよく、画像フレーム１０２と１０３に含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよく、検出結果に基づいてビデオのカテゴリー１０１を定義してもよい。この場合、上記の検出モデルと同様に、図１９に示す分類モデル（以下、「第２種類の分類モデル」と呼ぶ）は、画像フレームを受信し、画像フレームに含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を検出してもよい。従って、第２種類の分類モデルは、上記の検出モデルの構造と同じ又は類似の構造で実行されてもよく、上記の検出モデルの詳細は、第２種類の分類モデルに適用してもよい。例えば、第２種類の分類モデルの出力データである第２種類の分類モデル出力データと、上記の検出モデル出力データとは、同じ又は類似のフォーマットであってもよい。以下、第２種類の分類モデルと検出モデルとの相違点を中心に説明する。
第２種類の分類モデルによって検出された薬剤投与関連のオブジェクト及び姿勢の種類は、検出モデルによって検出された薬剤投与関連のオブジェクト及び姿勢の種類とは異なる種類を含んでもよい。検出モデルによって検出された薬剤投与関連のオブジェクト及び姿勢の種類は、第２種類の分類モデルによって検出された薬剤投与関連のオブジェクト及び姿勢の種類とは異なる種類を含んでもよい。
第２種類の分類モデルは、薬剤投与関連のオブジェクトを検出してもよく、検出モデルは、薬剤投与関連のオブジェクト及び薬剤投与関連の姿勢を検出してもよい。即ち、第２種類の分類モデルは、薬剤投与関連の姿勢を検出しない可能性がある。ここで、第２種類の分類モデルによって検出された薬剤投与関連のオブジェクトの種類と、検出モデルによって検出された薬剤投与関連のオブジェクトの種類とは異なっていてもよい。
例えば、第２種類の分類モデルによって検出された薬剤投与関連のオブジェクトの種類は、検出モデルによって検出された薬剤投与関連のオブジェクトの種類よりも多様であってもよい。具体的な例として、第２種類の分類モデルによって検出された薬剤投与関連のオブジェクトは、複数種類の薬剤投与に関連してもよく、検出モデルによって検出された薬剤投与関連のオブジェクトは、複数種類のうちの特定種類の薬剤投与に関連してもよい。より具体的な例として、第２種類の分類モデルは、複数種類の薬剤投与に関連する、薬瓶、吸入器、タービュヘイラー、及び点眼器などの薬剤投与関連のオブジェクトを検出してもよく、検出モデルは、複数種類のうち、吸入器を使用するなどの特定種類の薬剤投与に関連する、吸入器などの特定の薬剤投与関連のオブジェクトを検出してもよい。この場合、検出モデルは、第２種類の分類モデルが検出しない１つ以上の追加の薬剤投与関連のオブジェクトを検出してもよい。例えば、検出モデルは、吸入器に加えて身体部分を検出してもよい。
第２種類の分類モデルと検出モデルとは、構造のみは同じ又は類似であってもよいが、重み付けやフィルタ値などのパラメータは異なっていてもよい。第２種類の分類モデルは検出モデルの構造と同じ又は類似の構造で実現されるとは限らない。
サーバーは、第２種類の分類モデルによって検出された薬剤投与関連のオブジェクト及び姿勢を使用して、ビデオのカテゴリーを定義してもよい。この場合、サーバーは、第２種類の分類モデル出力データを使用して、ビデオのカテゴリー指数を判定してもよい。
薬剤投与関連のオブジェクト及び姿勢は、それらに対応するカテゴリーを有してもよい。
薬剤投与関連のオブジェクト及び姿勢のカテゴリーは、薬剤投与関連のオブジェクト及び姿勢に関連する薬剤投与の種類に応じて判定してもよい。同じ又は類似の種類の薬剤投与に関連する薬剤投与関連のオブジェクト及び姿勢は、同じカテゴリーに対応してもよい。異なる種類の薬剤投与に関連する薬剤投与関連のオブジェクト及び姿勢は、異なるカテゴリーに対応してもよい。例えば、図１１及び１２を参照すると、薬瓶２１、丸薬２５、及び丸薬を保持するための姿勢３６などの、薬剤投与関連のオブジェクト及び姿勢は、薬剤の嚥下に関連するカテゴリーに対応してもよい。吸入器２６、及び吸入器を保持するための姿勢３２などの、薬剤投与関連のオブジェクト及び姿勢は、吸入器を使用することに関連するカテゴリーに対応してもよい。タービュヘイラー２４、及びタービュヘイラーを保持するための姿勢３３などの、薬剤投与関連のオブジェクト及び姿勢は、タービュヘイラーを使用することに関連するカテゴリーに対応してもよい。点眼器２２、及び点眼器を保持するための姿勢３４などの、薬剤投与関連のオブジェクト及び姿勢は、点眼薬の投与に関連するカテゴリーに対応してもよい。鼻噴霧器２３、及び鼻噴霧器を保持するための姿勢３５などの、薬剤投与関連のオブジェクト及び姿勢は、鼻噴霧器を使用することに関連するカテゴリーに対応してもよい。このような薬剤投与関連のオブジェクト及び姿勢のカテゴリーの説明は一例に過ぎず、これらに限定されるものではない。
幾つかの実施形態では、サーバーは、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が検出される画像フレームの数に基づいて、ビデオのカテゴリーを定義してもよい。この場合、サーバーは、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が検出される画像フレームの数に基づいて、ビデオのカテゴリー指数を定義してもよい。例えば、サーバーは、特定のカテゴリーに対応する薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が検出される画像フレームの数を計算してもよく、計算された数に基づいてビデオのカテゴリーを定義してもよい。具体的には、サーバーは、第１カテゴリーに対応する薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が検出される画像フレームの数と、第２カテゴリーに対応する薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方が検出される画像フレームとを比較してもよく、ビデオのカテゴリーを第１カテゴリー及び第２カテゴリーのうちのいずれか一方として定義してもよい。ここで、サーバーは、ビデオのカテゴリーを画像フレームの数が多いカテゴリーとして定義してもよいが、これに限定されるものではない。
幾つかの実施形態では、サーバーは、検出された薬剤投与関連のオブジェクト又は検出された薬剤投与関連の姿勢又はその全部の数に基づいて、ビデオのカテゴリーを定義してもよい。この場合、サーバーは、薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその全部の数に基づいて、ビデオのカテゴリー指数を判定してもよい。例えば、サーバーは、すべての画像フレーム内の特定のカテゴリーに対応する薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその全部の数を計算してもよく、計算された数に基づいてビデオのカテゴリーを定義してもよい。具体的には、サーバーは、すべての画像フレーム内の第１カテゴリーに対応する薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその全部の数と、すべての画像フレーム内の第２カテゴリーに対応する薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその全部の数とを比較してもよく、ビデオのカテゴリーを第１カテゴリー及び第２カテゴリーのうちのいずれか一方として定義してもよい。ここで、サーバーは、ビデオのカテゴリーをオブジェクト又は姿勢又はその全部の数が多いカテゴリーとして定義してもよいが、これに限定されるものではない。また、薬剤投与関連のオブジェクトの数が計算される場合には、同じオブジェクトの異なる部分は、１つのオブジェクト又は異なるオブジェクトとみなしてもよい。例えば、薬瓶のキャップ及び本体が１つのオブジェクトとみなしてもよく、１つの薬剤投与関連のオブジェクトとしてカウントしてもよいし、２つのオブジェクトとみなしてもよく、２つの薬剤投与関連のオブジェクトとしてカウントしてもよい。特に、薬剤投与関連のオブジェクトの異なる部分が物理的に分離されている場合、例えば、薬瓶のキャップと本体とが分離されている場合、該部分は、異なるオブジェクトとみなしてカウントしてもよい。
幾つかの実施形態では、図２０を参照すると、サーバーは、第２種類の分類モデル出力データ及び第３種類の分類モデルを使用して、ビデオのカテゴリーを定義してもよい。例えば、サーバー制御ユニットは、第２種類の分類モデル出力データ及び第３種類の分類モデルを使用して、ビデオのカテゴリーを定義してもよい。別の例として、サーバー制御ユニットは、第２種類の分類モデル出力データをサーバー記憶ユニットに記憶してもよく、サーバー記憶ユニットに記憶された第２種類の分類モデル出力データと第３種類の分類モデルとを使用して、ビデオのカテゴリーを定義してもよい。第３種類の分類モデルの出力データは、ビデオのカテゴリー指数であってもよい。
サーバーは、第２種類の分類モデル出力データをそのまま第３種類の分類モデルに入力してもよい。この場合、第３種類の分類モデルに入力される入力データは、第２種類の分類モデル出力データと同じであってもよい。あるいは、サーバーは、第２種類の分類モデル出力データを変換し、得られたデータを第３種類の分類モデルに入力してもよい。この場合、第３種類の分類モデルに入力される入力データは、第２種類の分類モデル出力データに基づいて生成されてもよい。上述した検出モデルの検出結果に基づいて確認モデル入力データを生成する詳細は、第２種類の分類モデル出力データに基づいて第３種類の分類モデルの入力データを生成することに適用してもよいため、その詳細な説明は省略する。
第３種類の分類モデルは、上記の確認モデルの構造と同じ又は類似の構造で実現されてもよい。しかしながら、この場合であっても、第３種類の分類モデルと確認モデルとは、構造のみは同じ又は類似であってもよいが、重み付けやフィルタ値などのパラメータは異なっていてもよい。また、第３種類の分類モデルは、必ずしも確認モデルの構造と同じ又は類似の構造で実現されるとは限らない。
図１７に戻ると、ステップＳ３３０において、サーバーは、定義されたカテゴリー及びビデオを使用して、薬剤が投与されたか否かを判定してもよい。カテゴリーは、ステップＳ３２０での分類の結果であってもよい。ビデオは、ステップＳ３１０で取得してもよい。
図２１及び２２は、一実施形態による、分類及びビデオから得られたカテゴリーを使用して薬剤が投与されたか否かを判定することを示す図である。図２１は、「２．２ 監視モデルを使用して、薬剤が投与されたか否かを判定するための方法」のように、監視モデルを使用する場合を示す。図２２は、「２．３ 検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定するための方法」のように、検出モデル及び確認モデルを使用する場合を示す。
図２１を参照すると、サーバーは、ビデオの各カテゴリーについて特定の監視モデルを使用して、薬剤が投与されたか否かを判定してもよい。この場合、異なる監視モデルは、異なる種類の薬剤投与が実行された否かを判定してもよい。例えば、第１カテゴリーに対応する第１監視モデルは、第１カテゴリーに対応する第１種類の薬剤投与が実行されたか否かを判定してもよい。第２カテゴリーに対応する第２監視モデルは、第２カテゴリーに対応する第２種類の薬剤投与が実行されたか否かを判定してもよい。具体的な例として、第１種類の薬剤投与は、薬剤の嚥下、吸入器の使用、タービュヘイラーの使用、鼻噴霧器の使用、点眼薬の投与、及び薬剤の注入のうちのいずれか１つであってもよい。第２種類の薬剤投与は、薬剤の嚥下、吸入器の使用、タービュヘイラーの使用、鼻噴霧器の使用、点眼薬の投与、及び薬剤の注入のうちのいずれか１つであってもよい。これに制限はない。監視モデルに入力されるビデオは、分類モデルに入力されるビデオと同じであってもよいが、これに限定されるものではない。
図２２を参照すると、サーバーは、ビデオの各カテゴリーについて特定の検出モデル及び特定の確認モデルを使用して、薬剤が投与されたか否かを判定してもよい。この場合、異なる検出モデルは、異なる種類の薬剤投与関連のオブジェクト及び姿勢を検出してもよい。例えば、第１カテゴリーに対応する第１検出モデルは、第１カテゴリーに対応する第１種類の薬剤投与関連のオブジェクト及び姿勢を検出してもよく、第２カテゴリーに対応する第２検出モデルは、第２カテゴリーに対応する第２種類の薬剤投与関連のオブジェクト及び姿勢を検出してもよい。また、異なる確認モデルは、異なる種類の薬剤投与が実行された否かを判定してもよい。例えば、第１カテゴリーに対応する第１確認モデルは、第１カテゴリーに対応する第１種類の薬剤投与関連のオブジェクト及び姿勢に基づいて、第１種類の薬剤投与が実行されたか否かを判定してもよい。第２カテゴリーに対応する第２確認モデルは、第２カテゴリーに対応する第２種類の薬剤投与関連のオブジェクト及び姿勢に基づいて、第２種類の薬剤投与が実行されたか否かを判定してもよい。即ち、サーバーは、分類モデルを使用して、ビデオのカテゴリーを定義してもよく、定義されたカテゴリーに対応する検出モデルを使用して、特定種類の薬剤投与関連のオブジェクト及び姿勢を検出してもよく、定義されたカテゴリーに対応する確認モデルを使用して、特定種類の薬剤投与が実行されたか否かを判定してもよい。検出モデルに入力されるビデオは、分類モデルに入力されるビデオと同じであってもよいが、これに限定されるものではない。
図２２は、検出モデル及び確認モデルがビデオのカテゴリーごとに異なることを示しているが、検出モデル又は確認モデルは同じであってもよい。例えば、検出モデルは、カテゴリーのビデオごとに異なっていてもよいが、確認モデルは同じであってもよい。別の例として、検出モデルは、ビデオのカテゴリーごとに同じであってもよいが、確認モデルは異なっていてもよい。
また、図２１と２２は、ビデオがｋ個のカテゴリー、３つ以上のカテゴリーに分類された場合を示しているが、ビデオは、２つのカテゴリーに分類されてもよい。
サーバーにより、分類モデルを使用してビデオのカテゴリーを定義することを説明したが、ビデオのカテゴリーを定義する方法はこれに限定されない。例えば、サーバーは、ビデオのカテゴリーを表示するデータに基づいて、ビデオのカテゴリーを定義してもよい。具体的には、サーバーは、無線通信装置又はウェアラブルデバイスなどの外部からデータを受信してもよく、ビデオのカテゴリーを定義してもよい。この場合、サーバーは、無線通信装置又はウェアラブルデバイスなどの外部からデータを受信してもよく、ビデオのカテゴリー指数を判定してもよい。
薬剤が投与されたか否かを、監視モデル、検出モデル、確認モデル、及び分類モデルを組み合わせて判定するための上記の方法は、一例に過ぎない。薬剤が投与されたか否かは、上記の例とは異なり、このようなモデルを組み合わせて判定してもよい。また、薬剤が投与されたか否かは、上記のモデルの少なくとも幾つかと他のモデルとを組み合わせて判定してもよい。
２．５ モデルトレーニング方法
以下、上記のモデルをトレーニングする方法について説明する。モデルが深層学習モデルである場合について説明するが、これに限定されるものではない。
図２３は、教師あり学習を示す、一実施形態によるモデルをトレーニングする方法を示す図である。サーバーは、トレーニングデータを使用して、モデルをトレーニングしてもよい。トレーニングデータは、入力データとラベルデータを含んでもよい。入力データとラベルデータは、互いに対応してもよい。サーバーは、入力データを、トレーニングが完了していないモデルに入力して、出力データを取得してもよく、出力データとラベルデータとを比較して、誤差逆伝播を通じてモデルをトレーニングしてもよい。モデルをトレーニングするサーバーは、モデルを使用して薬剤が投与されたか否かを判定するサーバーと同じであってもよいか、又はモデルをトレーニングするための特定のトレーニングサーバーであってもよい。
サーバーは、トレーニングデータを準備してもよい。例えば、サーバーは、トレーニングデータを生成してもよい。具体的な例として、サーバーは、入力データを受信し、入力データに基づいてラベルデータを生成してもよい。別の例として、サーバーは、外部からトレーニングデータを取得してもよい。具体的な例として、サーバーは、外部装置によって生成されたトレーニングデータを受信してもよく、又は人物によって生成されたトレーニングデータを受信してもよい。
モデルは、Ｏｐｔｉｍｉｚｅｒ Ａｄａｍ、ＳＧＤＳｃｈｅｄｕｌｅｒ、Ｒａｎｄｏｍ Ｃｏｎｔｒａｓｔ、Ｒａｎｄｏｍ Ｈｕｅ、Ｒａｎｄｏｍ Ｂｒｉｇｈｔｎｅｓｓ、Ｒａｎｄｏｍ Ｆｌｉｐ ｌｅｆｔ ｒｉｇｈｔ、Ｒａｎｄｏｍ Ｃｒｏｐ、及びＲａｎｄｏｍ Ｒｅｓｉｚｅなどの様々なトレーニング技術を使用してトレーニングされてもよい。
２．５．１ 監視モデルをトレーニングする方法
サーバーは、監視モデルをトレーニングしてもよい。サーバーは、監視モデルをトレーニングするための監視モデルトレーニングデータを使用して、監視モデルをトレーニングしてもよい。
監視モデルトレーニングデータは、トレーニングビデオ、及びトレーニングビデオの監視モデルラベルデータを含んでもよく、監視モデルラベルデータは、薬剤が投与されたか否かを表示する。トレーニングビデオのフォーマットは、薬剤が投与されたか否かが判定されるときに、上述した監視モデルに入力されるビデオのフォーマットと同じであってもよい。また、監視モデルラベルデータのフォーマットは、上述した薬剤が投与されたか否かを表示する指数のフォーマットと同じであってもよい。
トレーニングビデオは、薬剤投与のトレーニングビデオと、薬剤無投与のトレーニングビデオとを含んでもよい。
監視モデルラベルデータは、薬剤投与のトレーニングビデオに対応し、薬剤投与を表示するラベルと、薬剤無投与のトレーニングビデオに対応し、薬剤無投与を表示するラベルとを含んでもよい。あるいは、監視モデルラベルデータは、薬剤投与が推定される確率を表示するラベルと、薬剤無投与が推定される確率を表示するラベル－とを含んでもよい。
図２３を参照すると、図２３に示す入力データ、ラベルデータ、及び出力データは、それぞれ、トレーニングビデオ、監視モデルラベルデータ、及び薬剤が投与されたか否かを表示する指数であってもよい。サーバーは、トレーニングが完了していない監視モデルにトレーニングビデオを入力して、薬剤が投与されたか否かを表示する指数を取得してもよく、薬剤が投与されたか否かを表示する指数と監視モデルラベルデータとを比較して、誤差逆伝播を通じて監視モデルをトレーニングしてもよい。
２．５．２ 検出モデルをトレーニングする方法
サーバーは、検出モデルをトレーニングしてもよい。サーバーは、検出モデルをトレーニングするための検出モデルトレーニングデータを使用して、検出モデルをトレーニングしてもよい。
検出モデルトレーニングデータは、トレーニング画像フレームと検出モデルラベルデータとを含んでもよく、検出モデルラベルデータは、トレーニング画像フレームに含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方に関連する。トレーニング画像フレームのフォーマットは、薬剤が投与されたか否かが判定されるときに、上述した検出モデルに入力される画像フレームのフォーマットと同じであってもよい。また、検出モデルラベルデータのフォーマットは、上述した検出モデル出力データのフォーマットと同じであってもよい。
検出モデルラベルデータは、薬剤投与関連のオブジェクトのラベルデータ（以下、「オブジェクトラベルデータ」と呼ぶ）と、薬剤投与関連の姿勢のラベルデータ（以下、「姿勢ラベルデータ」と呼ぶ）とを含んでもよい。
オブジェクトラベルデータは、薬剤投与のためにユーザーによって使用される、様々な種類の薬剤投与関連のオブジェクトのためラベルを含んでもよい。非限定的な一例として、オブジェクトラベルデータは、薬瓶ラベル、点眼器ラベル、鼻噴霧器ラベル、タービュヘイラーラベル、丸薬ラベル、吸入器ラベル、ブリスターパックラベル、及び注射器ラベルを含んでもよい。
オブジェクトラベルデータは、身体部分のためのラベルを含んでもよい。非限定的な一例として、オブジェクトラベルデータは、腕ラベル、手ラベル、手首ラベル、手のひらラベル、手のひらの外側部分ラベル、顔ラベル、口ラベル、及び鼻ラベルを含んでもよい。
姿勢ラベルデータは、薬剤投与のためのユーザーの位置決めなどの、様々な種類の薬剤投与関連の姿勢を含んでもよい。非限定的な一例として、姿勢ラベルデータは、ブリスターパックを保持するための姿勢のラベル、吸入器を保持するための姿勢のラベル、タービュヘイラーを保持するための姿勢のラベル、点眼器を保持するための姿勢のラベル、鼻噴霧器を保持するための姿勢のラベル、及び丸薬を保持するための姿勢のラベルなどの、薬剤投与関連のオブジェクトを保持するための姿勢のラベルと、丸薬などの薬剤を嚥下するための姿勢のラベルと、吸入器、タービュヘイラー、及び鼻噴霧器などの薬剤投与関連のオブジェクトを使用して薬剤を吸入するための姿勢のラベルと、点眼器などの薬剤投与関連のオブジェクトを使用して点眼薬を投与するための姿勢のラベルと、注射器などの薬剤投与関連のオブジェクトを使用して薬剤を注入するための姿勢のラベルと、薬瓶などの薬剤投与関連のオブジェクトを開けるための姿勢のラベルと、を含んでもよい。
以下、検出モデルトレーニングデータのより詳細な例について説明する。
図２４～２８は、一実施形態による検出モデルトレーニングデータを示す図であり、トレーニング画像フレームにおける検出モデルラベルデータを概念的に示す。
図２４は、医療用品のうち、ブリスターパックを使用した薬剤の嚥下に関連する検出モデルトレーニングデータの例を示す図である。図２４を参照すると、オブジェクトラベルデータは、腕ラベル１１０ａ、手のひらラベル１１０ｂ、手のひらの外側部分ラベル１１０ｃ、及び顔ラベル（又は口鼻ラベル）１１０ｄなどの身体のためのラベルと、ブリスターパック上部ラベル１１０ｅ、ブリスターパック下部ラベル１１０ｆ、ブリスターパック側ラベル１１０ｇ、およびブリスターパックボックスラベル１１０ｈなどのブリスターパックのためのラベルと、を含んでもよい。姿勢ラベルデータは、ブリスターパックを保持するための姿勢のラベル１１０ｉ、丸薬を保持するための姿勢のラベル１１０ｊ、及び丸薬を嚥下するための姿勢のラベル１１０ｋを含んでもよい。
図２５は、医療用品のうち、吸入器を使用した薬剤の吸入に関連する検出モデルトレーニングデータの例を示す図である。図２５を参照すると、オブジェクトラベルデータは、腕ラベル１１１ａ、手首ラベル１１１ｂ、及び顔ラベル（又は口鼻ラベル）１１１ｃなどの身体のラベルと、吸入器ラベル１１１ｄ、開けた吸入器ラベル１１１ｅ、及び吸入器キャップラベル１１１ｆなどの吸入器のためのラベルと、を含んでもよい。姿勢ラベルデータは、吸入器を保持するための姿勢のラベル１１１ｇ、吸入器を開けるための姿勢のラベル１１１ｈ、及び吸入器で吸入するための姿勢のラベル１１１ｉを含んでもよい。
図２６は、医療用品のうち、タービュヘイラーを使用した薬剤の吸入に関連する検出モデルトレーニングデータの例を示す図である。図２６を参照すると、オブジェクトラベルデータは、腕ラベル１１２ａ、手首ラベル１１２ｂ、及び顔ラベル（又は口鼻ラベル）１１２ｃなどの身体のラベルと、タービュヘイラーラベル１１２ｄ、開けたタービュヘイラーラベル１１２ｅ、及びタービュヘイラーキャップラベル１１２ｆなどのタービュヘイラーのためのラベルと、を含んでもよい。姿勢ラベルデータは、タービュヘイラーを保持するための姿勢のラベル１１２ｇを含んでもよい。
図２７は、医療用品のうち、点眼器を使用した点眼薬の投与に関連する検出モデルトレーニングデータの例を示す図である。図２７を参照すると、オブジェクトラベルデータは、腕ラベル１１３ａ、手首ラベル１１３ｂ、及び顔ラベル（又は口鼻ラベル）１１３ｃなどの身体のラベルと、点眼器ラベル１１３ｄ、開けた点眼器ラベル１１３ｅ、及び点眼器キャップラベル１１３ｆなどの点眼器のためのラベルと、を含んでもよい。姿勢ラベルデータは、点眼器を保持するための姿勢のラベル１１３ｇと、点眼薬を投与するための姿勢のラベル１１３ｈとを含んでもよい。
図２８は、医療用品のうち、鼻噴霧器を使用した薬剤の吸入に関連する検出モデルトレーニングデータの例を示す図である。図２８を参照すると、オブジェクトラベルデータは、腕ラベル１１４ａ、手首ラベル１１４ｂ、及び顔ラベル（又は口鼻ラベル）１１４ｃなどの身体のラベルと、鼻噴霧器ラベル１１４ｄ、開けた鼻噴霧器ラベル１１４ｅ、及び鼻噴霧器キャップラベル１１４ｆなどの鼻噴霧器のためのラベルと、を含んでもよい。姿勢ラベルデータは、鼻噴霧器を保持するための姿勢のラベル１１４ｇと、鼻噴霧器で噴霧するための姿勢のラベル１１４ｈとを含んでもよい。
図２４～２８を参照すると、薬剤投与の種類又は医療用品の種類に応じて、それに関連する検出モデルラベルデータは、異なるラベルを含んでもよい。例えば、ブリスターパックを使用した薬剤の嚥下に関連する検出モデルラベルデータは、ブリスターパックのためのラベル１１０ｅ、１１０ｆ、１１０ｇ、及び１１０ｈと、ブリスターパックを保持するための姿勢のラベル１１０ｉと、丸薬を保持するための姿勢のラベル１１０ｊと、丸薬を嚥下するための姿勢のラベル１１０ｋとを含んでもよい。吸入器を使用した薬剤の吸入に関連する検出モデルラベルデータは、吸入器のためのラベル１１１ｄ、１１１ｅ、及び１１１ｆと、吸入器を保持するための姿勢のラベル１１１ｇと、吸入器を開けるための姿勢のラベル１１１ｈと、吸入器で吸入するための姿勢のラベル１１１ｉとを含んでもよい。
薬剤投与の種類又は医療用品の種類が異なっていても、それに関連する検出モデルラベルデータは、同じラベルを含んでもよい。例えば、図２４～２８示されるすべての薬剤投与は、腕ラベル１１０ａ、１１１ａ、１１２ａ、１１３ａ、及び１１４ａ、ならびに顔ラベル１１０ｄ、１１１ｃ、１１２ｃ、１１３ｃ、及び１１４ｃを含む。
検出モデルによって検出された薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方は、検出モデルがトレーニングされるときに使用される検出モデルトレーニングデータが異なる場合がある。
サーバーによって判定される薬剤投与の種類に応じて、検出モデルがトレーニングされるときに使用される検出モデルトレーニングデータが異なる場合がある。例えば、ブリスターパックを使用した薬剤投与が実行されたか否かを判定するために使用する検出モデルの場合、サーバーは、図２４に示すような検出モデルトレーニングデータを使用して検出モデルをトレーニングしてもよい。ブリスターパックを使用した薬剤投与が実行されたか否かと、吸入器を使用した薬剤の吸入が実行されたか否かとを判定するために使用する検出モデルの場合、サーバーは、図２４に示すような検出モデルトレーニングデータ及び図２５に示すような検出モデルトレーニングデータを使用して、検出モデルをトレーニングする必要がある。即ち、判定される薬剤投与の種類が多いほど、サーバーが検出モデルトレーニングするために使用する検出モデルトレーニングデータの種類が多い。
図２４～２８に示す検出モデルトレーニングデータは一例に過ぎないため、検出モデルトレーニングデータはこれに限定されない。検出モデルトレーニングデータは、図２４～２８に図示されていないラベルをさらに含んでもよい。また、図２４～２８に示す検出モデルトレーニングデータのラベルの少なくとも幾つかは省略されてもよい。
図２３に戻ると、図２３に示す入力データ、ラベルデータ、及び出力データは、それぞれ、トレーニング画像フレーム、検出モデルラベルデータ、及び検出モデル出力データであってもよい。サーバーは、トレーニングが完了していない検出モデルにトレーニング画像フレームを入力して、検出モデル出力データを取得してもよく、検出モデル出力データと検出モデルラベルデータとを比較して、誤差逆伝播を通じて検出モデルをトレーニングしてもよい。
２．５．３ 確認モデルをトレーニングする方法
サーバーは、確認モデルをトレーニングしてもよい。サーバーは、確認モデルをトレーニングするための確認モデルトレーニングデータを使用して、確認モデルをトレーニングしてもよい。
確認モデルトレーニングデータは、トレーニング用確認モデル入力データと、トレーニング用確認モデル入力データに対応し、薬剤が投与されたか否かを表示する確認モデルラベルデータとを含んでもよい。トレーニング用確認モデル入力データのフォーマットは、上述した確認モデル入力データのフォーマットであってもよい。また、確認モデルラベルデータのフォーマットは、上述した薬剤が投与されたか否かを表示する指数のフォーマットと同じであってもよい。
トレーニング用確認モデル入力データは、薬剤投与を表すトレーニング用確認モデル入力データと、薬剤無投与を表すトレーニング用確認モデル入力データとを含んでもよい。
トレーニング用確認モデル入力データは、ビデオに基づいて生成されてもよい。トレーニング用確認モデル入力データは、ビデオに含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方を組み込んでもよい。薬剤投与を表すトレーニング用確認モデル入力データは、薬剤投与のトレーニングビデオに基づいて生成されてもよい。薬剤無投与を表すトレーニング用確認モデル入力データは、薬剤無投与のトレーニングビデオに基づいて生成されてもよい。
確認モデルラベルデータは、薬剤投与を表示するラベルと、薬剤無投与を表示するラベルとを含んでもよい。あるいは、確認モデルラベルデータは、薬剤投与が推定される確率を表示するラベルと、薬剤無投与が推定される確率を表示するラベル－とを含んでもよい。
図２３を参照すると、図２３に示す入力データ、ラベルデータ、及び出力データは、それぞれ、トレーニング用確認モデル入力データ、確認モデルラベルデータ、及び薬剤が投与されたか否かを表示する指数であってもよい。サーバーは、トレーニングが完了していない確認モデルにトレーニング用確認モデル入力データを入力して、薬剤が投与されたか否かを表示する指数を取得してもよく、薬剤が投与されたか否かを表示する指数と確認モデルラベルデータとを比較して、誤差逆伝播を通じて監視モデルをトレーニングしてもよい。
２．５．４ 分類モデルをトレーニングする方法
サーバーは、分類モデルをトレーニングしてもよい。
第１種類の分類モデルの場合、サーバーは、第１種類の分類モデルをトレーニングするための第１種類の分類モデルトレーニングデータを使用して、第１種類の分類モデルをトレーニングしてもよい。
第１種類の分類モデルトレーニングデータは、トレーニングビデオと、トレーニングビデオのカテゴリーを表示する（又はカテゴリーが推定される確率を表示する）第１種類の分類モデルラベルデータを含んでもよい。トレーニングビデオのフォーマットは、薬剤が投与されたか否かが判定されるときに、上述した第１種類の分類モデルに入力されるビデオのフォーマットと同じであってもよい。また、第１種類の分類モデルラベルデータのフォーマットは、上述したカテゴリーを表示する指数（又はカテゴリーが推定される確率を表示する指数）のフォーマットと同じであってもよい。
トレーニングビデオは、異なるカテゴリーに対応する複数のビデオを含んでもよい。非限定的な一例として、トレーニングビデオは、薬剤の嚥下のカテゴリーに対応するビデオと、吸入器の使用のカテゴリーに対応するビデオと、タービュヘイラーの使用のカテゴリーに対応するビデオと、点眼薬の投与のカテゴリーに対応するビデオと、鼻噴霧器の使用のカテゴリーに対応するビデオとを含んでもよい。
トレーニングビデオは、薬剤投与のトレーニングビデオと、薬剤無投与のトレーニングビデオとを含んでもよい。
第１種類の分類モデルラベルデータは、異なるカテゴリーに対応する複数のラベルを含んでもよい。例えば、第１種類の分類モデルラベルデータは、薬剤の嚥下のカテゴリーに対応するラベルと、吸入器の使用のカテゴリーに対応するラベルと、タービュヘイラーの使用のカテゴリーに対応するラベルと、点眼薬の投与のカテゴリーに対応するラベルと、鼻噴霧器の使用のカテゴリーに対応するラベルとを含んでもよい。
図２３を参照すると、図２３に示す入力データ、ラベルデータ、及び出力データは、それぞれ、トレーニングビデオ、第１種類の分類モデルラベルデータ、及びカテゴリーを表示する指数（又は、カテゴリーが推定される確率を表示する指数）であってもよい。サーバーは、トレーニングが完了していない第１種類の分類モデルにトレーニングビデオを入力して、カテゴリーを表示する指数（又は、カテゴリーが推定される確率を表示する指数）を取得してもよく、カテゴリーを表示する指数（又は、カテゴリーが推定される確率を表示する指数）と第１種類の分類モデルラベルデータとを比較して、誤差逆伝播を通じて第１種類の分類モデルをトレーニングしてもよい。
第２種類の分類モデルの場合、サーバーは、第２種類の分類モデルをトレーニングするための第２種類の分類モデルトレーニングデータを使用して、第２種類の分類モデルをトレーニングしてもよい。
第２種類の分類モデルトレーニングデータは、トレーニング画像フレームと第２種類の分類モデルラベルデータとを含んでもよく、第２種類の分類モデルラベルデータは、トレーニング画像フレームに含まれる薬剤投与関連のオブジェクト又は薬剤投与関連の姿勢又はその両方に関連する。トレーニング画像フレームのフォーマットは、薬剤が投与されたか否かが判定されるときに、上述した第２種類の分類モデルに入力される画像フレームのフォーマットと同じであってもよい。また、第２種類の分類モデルラベルデータのフォーマットは、上述した第２種類の分類モデル出力データのフォーマットと同じであってもよい。
第２種類の分類モデルラベルデータは、上述したオブジェクトラベルデータ又は姿勢ラベルデータ又はその両方を含んでもよい。
第２種類の分類モデルラベルデータは、検出モデルラベルデータが含む種類のラベルとは異なる種類のラベルを含んでもよい。検出モデルラベルデータは、第２種類の分類モデルラベルデータが含むフォーマットのラベルとは異なるラベルを含んでもよい。
第２種類の分類モデルラベルデータは、オブジェクトラベルデータを含んでもよく、検出モデルラベルデータは、オブジェクトラベルデータ及び姿勢ラベルデータを含んでもよい。即ち、第２種類の分類モデルラベルデータは、姿勢ラベルデータを含まなくてもよい。ここで、第２種類の分類モデルラベルデータのオブジェクトラベルデータは、検出モデルラベルデータのオブジェクトラベルデータが含む種類のラベルとは異なるラベルを含んでもよい。例えば、第２種類の分類モデルラベルデータのオブジェクトラベルデータは、複数種類の薬剤投与に関連するラベルを含んでもよく、検出モデルラベルデータのオブジェクトラベルデータは、複数種類のうちの特定種類の薬剤投与に関連するラベルを含んでもよい。具体的な例として、第２種類の分類モデルラベルデータのオブジェクトラベルデータは、複数種類の薬剤投与に関連する、薬瓶ラベル、吸入器ラベル、タービュヘイラーラベル、及び点眼器ラベルなどのラベルを含んでもよく、検出モデルラベルデータは、吸入器を使用する特定の種類の薬剤投与に関連するラベルである吸入器ラベルを含んでもよい。この場合、検出モデルラベルデータのオブジェクトラベルデータは、第２種類の分類モデルラベルデータのオブジェクトラベルデータに含まれない追加のラベルを含んでもよい。例えば、吸入器ラベルに加えて、検出モデルラベルデータのオブジェクトラベルデータは、身体部分のためのラベルを含んでもよい。
図２３を参照すると、図２３に示す入力データ、ラベルデータ、及び出力データは、それぞれ、トレーニング画像フレーム、第２種類の分類モデルラベルデータ、及び第２種類の分類モデル出力データであってもよい。サーバーは、トレーニングが完了していない第２種類の分類モデルにトレーニング画像フレームを入力して、第２種類の分類モデル出力データを取得してもよく、第２種類の分類モデル出力データと第２種類の分類モデルラベルデータとを比較して、誤差逆伝播を通じて第２種類の分類モデルをトレーニングしてもよい。
第３種類の分類モデルの場合、サーバーは、第３種類の分類モデルをトレーニングするための第３種類の分類モデルトレーニングデータを使用して、第３種類の分類モデルをトレーニングしてもよい。
第３種類の分類モデルトレーニングデータは、トレーニング用の第３種類の分類モデル入力データと、トレーニングための第３種類の分類モデル入力データに対応するカテゴリーを表示する（カテゴリーが推定される確率を表示する）第３種類の分類モデルラベルデータとを含んでもよい。トレーニング用の第３種類の分類モデル入力データのフォーマットは、薬剤が投与されたか否かが判定されるときに、上述した第３種類の分類モデルに入力された入力データのフォーマットと同じであってもよい。また、第３種類の分類モデルラベルデータのフォーマットは、上述した第３種類の分類モデルの出力データのフォーマットと同じであってもよい。
トレーニング用の第３種類の分類モデル入力データは、異なるカテゴリーに対応する複数の入力データを含んでもよい。非限定的な一例として、トレーニングための第３種類の分類モデル入力データは、薬剤の嚥下のカテゴリーに対応する入力データと、吸入器の使用のカテゴリーに対応する入力データと、タービュヘイラーの使用のカテゴリーに対応する入力データと、点眼薬の投与のカテゴリーに対応する入力データと、鼻噴霧器の使用のカテゴリーに対応する入力データとを含んでもよい。
トレーニング用の第３種類の分類モデル入力データは、薬剤投与を表す入力データと、薬剤無投与を表す入力データとを含んでもよい。
上記の第１種類の分類モデルラベルデータの詳細は、第３種類の分類モデルラベルデータに適用してもよいため、重複する説明は省略する。
図２３を参照すると、図２３に示す入力データ、ラベルデータ、及び出力データは、それぞれ、トレーニング用の第３種類の分類モデル入力データ、第３種類の分類モデルラベルデータ、及びカテゴリーを表示する指数（又は、カテゴリーが推定される確率を表示する指数）であってもよい。サーバーは、トレーニングが完了していない第３種類の分類モデルにトレーニング用の第３種類の分類モデル入力データを入力して、カテゴリーを表示する指数（又は、カテゴリーが推定される確率を表示する指数）を取得してもよく、カテゴリーを表示する指数（又は、カテゴリーが推定される確率を表示する指数）と第３種類の分類モデルラベルデータとを比較して、誤差逆伝播を通じて第３種類の分類モデルをトレーニングしてもよい。
上記のトレーニング方法は一例に過ぎず、これに限定されるものではない。モデルは、教師なし学習、強化学習、及び模倣学習などの他の方法でトレーニングされもよい。
２．５．５ モデルトレーニングシーケンス
上記のモデルは、互いに関連付けられてトレーニングされてもよい。
幾つかの実施形態では、検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定する場合、サーバーは、２つのモデルのうちの一方を先にトレーニングし、そして、他方をトレーニングしてもよい。例えば、サーバーは、検出モデルを先にトレーニングし、そして、確認モデルをトレーニングしてもよい。具体的な例として、サーバーは、先に検出モデルトレーニングデータを使用して検出モデルをトレーニングしてもよく、次に検出モデルと確認モデルを接続してもよく、再度、検出モデルトレーニングデータのトレーニング画像フレームを使用してをトレーニングしてもよい。この場合、確認モデルをトレーニングするために確認モデルに入力されるデータは、検出モデル出力データに基づいて生成されてもよい。また、確認モデルがトレーニングされるときに、既にトレーニングされた検出モデルは、再度トレーニングされるか、又はトレーニングされない。
幾つかの実施形態では、第１種類の分類モデル及び監視モデルを使用して、薬剤が投与されたか否かを判定する際に、第１種類の分類モデルと監視モデルが構造において同じである場合、サーバーは、２つのモデルのうちの一方を先にトレーニングし、次に他方をトレーニングする。
幾つかの実施形態では、第２種類の分類モデル、検出モデル、及び確認モデルを使用して、薬剤が投与されたか否かを判定する際に、第２種類の分類モデルと検出モデルが構造において同じである場合、サーバーは、２つのモデルのうちの一方を先にトレーニングし、次に他方をトレーニングする。
上記のモデルは、独立してトレーニングされてもよい。例えば、検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定する場合、サーバーは、検出モデルと確認モデルを独立してトレーニングしてもよい。具体的な例として、サーバーは、検出モデルトレーニングデータを使用して、検出モデルをトレーニングしてもよく、別途、サーバーは、確認モデルトレーニングデータを使用して確認モデルをトレーニングしてもよい。ここで、検出モデル及び確認モデルのうちのいずれが先にトレーニングされてもよい。
２．６ 実施形態及び結果
２．６．１ 第１実施形態
図２９は、監視モデルを使用して、薬剤が投与されたか否かを判定するための方法の一例である第１実施形態を示す図であり、監視モデルを使用して、薬剤が投与されたか否かを判定した結果に関連する。図２９では、様々な種類の薬剤投与のうちの薬剤の嚥下である、薬瓶から出された丸薬の経口投与が実行されたか否かを判定した。監視モデルとして、ＲｅｓＮｅｔ１０１ベースのＩ３Ｄネットワーク及びＲｅｓＮｅｔ５０ベースのＳｌｏｗＦａｓｔネットワークを使用した。図２９では、１００個のトレーニング画像フレームを含むトレーニングビデオは、監視モデルをトレーニングするのに使用され、トレーニング画像フレームのそれぞれは、２２４ｘ２２４画素の解像度を有していた。図２９を参照すると、Ｉ３Ｄネットワークを監視モデルとして使用した場合、薬剤の嚥下が実行されたか否かを判定する精度は、トレーニング方法によって７７．８～８１％の範囲であった。また、ＳｌｏｗＦａｓｔネットワークを監視モデルとして使用した場合、薬剤の嚥下が実行されたか否かを判定する精度は、トレーニング方法によって７４～８０％の範囲であった。監視モデルの場合、ネットワークの種類によらず、精度は最大約８０％であることが分かった。しかしながら、第１実施形態は、約１２００個のトレーニングビデオを使用したトレーニングの結果である。図２９に示す精度は、場合によって変化することがある。例えば、トレーニングが実行されるに伴って精度が向上したり、トレーニングビデオが変更されるに伴って精度が向上したりする。
２．６．２ 第２実施形態
図３０及び３１は、検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定するための方法の一例である第２実施形態を示す図であり、検出モデル及び確認モデルを使用して、薬剤が投与されたか否かを判定した結果に関連する。図３０では、様々な種類の薬剤投与のうちの薬剤の嚥下である、薬瓶から出された丸薬の経口投与が実行されたか否かを判定した。バージョン２は、初期のトレーニング（バージョン１）の後に補充したトレーニングデータを使用して、追加のトレーニングが実行された場合に関連する。検出モデルとして、ＲｅｓＮｅｔ１０１ベースのＦａｓｔｅｒ Ｒ－ＣＮＮを使用し、確認モデルとして、２Ｄ畳み込み層とＬＳＴＭとの組み合わせを使用した。図３１を参照して、確認モデルの構造についてより詳細に説明すると、確認モデルに入力された確認モデル入力データは、２Ｄ畳み込み層及び最大プーリング層を通過した後に連結され、ＲｅＬＵ、ＬＳＴＭ、全結合層を通過し、薬剤が投与されたか否かを判定した結果として出力される。しかしながら、図３１に示す確認モデルの構造は、例示的なものであるため、確認モデルの構造はこれに限定されない。例えば、図３１に示すように２Ｄ畳み込み層、ＬＳＴＭ、及び全結合層がその順で設計された確認モデルとは異なり、確認モデルは、ＬＳＴＭ、２Ｄ畳み込み層、及び全結合層の順で設計されてもよい。
図３０に戻ると、検出モデルの精度は、初期のトレーニングの場合に８５．１％であり、追加のトレーニングの場合に８８．８％であった。また、確認モデルの精度は、初期のトレーニングの場合に９０．５％であり、追加のトレーニングの場合に９４．５％であった。モデルの精度は、トレーニングデータが補充されると向上することが分かった。また、検出モデル及び確認モデルを使用した場合は、図２９に示すように監視モデルを使用した場合である第１実施形態と比較して、薬剤が投与されたか否かを判定する精度が向上したことが分かった。しかしながら、図３０に示す精度は、場合によって変化することがある。例えば、トレーニングが実行されるに伴って精度が向上したり、トレーニングビデオが変更されるに伴って精度が向上したりする。
２．６．３ 第３実施形態
図３２は、分類モデルを使用して、薬剤が投与されたか否かを判定するための方法の一例である第３実施形態を示す図であり、分類モデル及び監視モデルを使用して、薬剤が投与されたか否かを判定した結果に関連する。図３２では、様々な種類の薬剤投与のうち、薬剤の嚥下である、薬瓶から出された丸薬の経口投与と、吸入器を使用した薬剤の吸入と、薬剤の嚥下である、ブリスターパックから押し出された丸薬の経口投与とについて、薬剤が投与されたか否かが判定された。図３２では、モデル種類が監視モデルである場合とは、３種類の薬剤投与について分類モデルを使用せずに、監視モデルのみを使用して、薬剤が投与されたか否かを判定した場合を指す。モデルが分類モデル＋監視モデルである場合は、３種類の薬剤投与について、分類モデルと監視モデルを一緒に使用して、薬剤が投与されたか否かを判定した場合を指す。ここで、分類モデルを使用しない場合の監視モデルは、３種類の薬剤投与について、薬剤が投与されたか否かを判定することができるモデルである。分類モデルを使用する場合の監視モデルは、３種類の薬剤投与のうちの１つの特定種類の薬剤投与について、薬剤が投与されたか否かを判定することができるモデルである。即ち、分類モデルが使用されなかった場合、１つの監視モデルが使用され、分類モデルが使用されなかった場合、３つの監視モデルが使用された。
図３２を参照すると、分類モデルを使用せずに監視モデルのみを使用した場合、３種類の薬剤投与について、薬剤が投与されたか否かを６０．１％の精度で判定したことが分かった。逆に、分類モデルと監視モデルを一緒に使用した場合、薬剤が投与されたか否かを以下の精度で判定したことが分かった。薬剤の嚥下である、薬瓶から出された丸薬の経口投与の場合は、７７％の精度、吸入器を使用した薬剤の吸入の場合は、７８．４％の精度、及び、薬剤の嚥下である、ブリスターパックから押し出された丸薬の経口投与の場合は、８３．９％の精度であった。薬剤が投与されたか否かを７９．８％の平均精度で判定したことが分かった。分類モデルが使用された場合、ブリスターパックに関連する監視モデルは薬剤が投与されたか否かを高い精度で判定した理由は、それに最適化されたハイパーパラメータが薬瓶に関連する監視モデル及び吸入器に関連する監視モデルのトレーニングに使用されたためと考えられる。しかしながら、図３２に示す精度は、場合によって変化することがある。例えば、トレーニングが実行されるに伴って精度が向上したり、トレーニングビデオが変更されるに伴って精度が向上したりする。
２．７ 薬剤が投与されたか否かを判定するための方法の追加例
以下、薬剤が投与されたか否かを判定するための方法の幾つかの追加例について説明する
２．７．１ 第１追加例－メインハンドとサブハンド
上述したように、サーバーは、ウェアラブルデバイスから取得したビデオに基づいて、薬剤が投与されたか否かを判定してもよい。ここで、ビデオがユーザーの身体の左部分又は右部分のいずれかに装着されたウェアラブルデバイス（例えば、スマートウォッチ、スマートバンド、又はスマートリング）によって生成される場合、ウェアラブルデバイスが装着された身体部分を使用して、薬剤を投与するときに生成されたビデオと、ウェアラブルデバイスが装着されていない身体部分を使用して、薬剤を投与するときに生成されたビデオとは、異なる態様を有してもよい。例えば、スマートウォッチに設けられたカメラユニットでビデオを生成する際に、スマートウォッチを装着している手を使用して薬剤を投与するときに生成されたビデオと、スマートウォッチを装着していない手を使用して薬剤を投与するときに生成されたビデオとは、異なる態様を有してもよい。以下、ウェアラブルデバイスがスマートウォッチである場合を中心に説明する。ウェアラブルデバイスを装着している手を、メインハンドと呼び、ウェアラブルデバイスを装着していない手を、サブハンドと呼ぶ。例えば、スマートウォッチが左手首に装着された場合、左手はメインハンドであり、右手はサブハンドである。
上述したように、薬剤投与パターンは、ユーザー間で異なる場合がある。メインハンド及びサブハンドについては、例えば、一部のユーザーは、メインハンドを使用して薬剤を投与してもよく、該一部のユーザーの薬剤投与パターンとは異なり、他のユーザーは、サブハンドを使用して薬剤を投与してもよい。
また、上述したように、同じユーザーであっても、場合によって異なる薬剤投与パターンを有してもよい。メインハンド及びサブハンドについては、例えば、ユーザーは、今回、メインハンドを使用して薬剤を投与してもよいが、今回の薬剤投与パターンとは異なり、ユーザーは、次回にサブハンドを使用して薬剤を投与してもよい。
一方、ユーザーは、場合によってメインハンドとサブハンドを一緒に使用して薬剤を投与してもよい。例えば、ユーザーは、サブハンドで丸薬を保持してもよく、丸薬をメインハンドの手のひらに置いてもよく、メインハンドを口に移動させて、丸薬を嚥下してもよい。この場合、メインハンド又はサブハンドを使用して、薬剤が投与されたか否かは不明である場合がある。また、この場合であっても、ユーザーの薬剤投与パターンは、場合によって異なることがある。例えば、今回は、ユーザーは上記のように丸薬を嚥下したが、ユーザーは、次回は異なるパターンで丸薬を嚥下してもよい。例えば、ユーザーは、メインハンドで丸薬を保持し、丸薬をサブハンドの手のひらに置き、サブハンドを口に移動させて、丸薬を嚥下する。
ここで、メインハンドとサブハンドとの間では、薬剤投与は、薬剤投与の主要な段階が実行された手を使用して実行されたものとみなしてもよい。例えば、薬剤投与の主要な段階がメインハンドで実行された場合、薬剤投与は、メインハンドを使用して実行されたものとみなす。薬剤投与の主要な段階は、薬剤投与の種類に応じて異なる場合がある。例えば、丸薬を嚥下する場合、丸薬を口に移動させて丸薬を嚥下する段階は、薬剤投与の主要な段階であってもよい。別の例として、吸入器の使用の場合、吸入器を口に移動させて吸入する段階は、薬剤投与の主要な段階であってもよい。また別の例として、タービュヘイラーの使用の場合、タービュヘイラーを口に移動させて吸入する段階は、薬剤投与の主要な段階であってもよい。また別の例として、鼻噴霧器の使用の場合、鼻噴霧器を鼻に移動させて吸入する段階は、薬剤投与の主要な段階であってもよい。また別の例として、点眼薬の投与の場合、点眼器を目に移動させて点眼薬を投与する段階は、薬剤投与の主要な段階であってもよい。また別の例として、薬剤の注入の場合、注入のために注射器を身体の一部に移動させる段階は、薬剤投与の主要な段階であってもよい。上述した薬剤投与の種類に応じた薬剤投与の主要な段階は例に過ぎず、これに限定されることなく、場合によって変化することがある。
あるいは、メインハンドとサブハンドとの間では、薬剤投与は、薬剤投与プロセス全体のより多くの段階が実行された手を使用して実行されたものとみなしてもよい。
以下、メインハンドを使用して実行されたとみなされる薬剤投与、例えば、少なくとも薬剤投与の主要な段階がメインハンドを使用して実行されたか、又は薬剤投与の大部分がメインハンドを使用して実行されたとみなされる薬剤投与は、メインハンドが対象である薬剤投与と呼ぶ。また、サブハンドを使用して実行されたとみなされる薬剤投与、例えば、少なくとも薬剤投与の主要な段階がサブハンドを使用して実行されたか、又は薬剤投与の大部分がサブハンドを使用して実行されたとみなされる薬剤投与は、サブハンドが対象である薬剤投与と呼ぶ。
ユーザーがメインハンドを対象として使用して薬剤を投与したか、又はサブハンドを対象として使用して薬剤を投与したかに応じて、ユーザーの行為異なっていてもよい。従って、異なる行為は、メインハンドが対象である薬剤投与を表すビデオ（以下、「メインハンドビデオ」と呼ぶ）と、サブハンドが対象である薬剤投与を表すビデオ（以下、「サブハンドビデオ」と呼ぶ）とにキャプチャーされてもよい。
図３３及び３４は、それぞれ、ブリスターパックを使用した薬剤の嚥下に関連する一実施形態による、メインハンドが対象である薬剤投与、及びサブハンドが対象である薬剤投与を示す図である。図３３及び３４は、ユーザーがスマートウォッチを装着したときに手首の内側に位置するようにカメラユニットが設けられたウェアラブルデバイスであるスマートウォッチによって生成されたビデオの画像フレームを示す図である。
同じ又は類似の行為は、メインハンドビデオとサブハンドビデオとにキャプチャーされてもよい。例えば、図３３及び３４を参照すると、メインハンドビデオとサブハンドビデオの両方は、そこにキャプチャーされた以下の、ブリスターパック箱を保持するユーザーの行為１１５ａ及び１１６ａと、ブリスターパック箱からブリスターパックを取り出すユーザーの行為１１５ｂ及び１１６ｂと、ブリスターパックから丸薬を押し出すユーザーの行為１１５ｃ及び１１６ｃと、ブリスターパックをブリスターパック箱に入れるユーザーの行為１１５ｅ及び１１６ｆと、ブリスターパック箱を閉じるユーザーの行為１１５ｆ及び１１６ｇとを含む。
しかしながら、場合によっては、メインハンドビデオ及びサブハンドビデオのうちの一方にキャプチャーされた行為は、他方にキャプチャーされなくてもよい。例えば、図３３及び３４を参照すると、丸薬を嚥下するユーザーの行為１１５ｄは、メインハンドビデオにキャプチャーされるが、サブハンドビデオにキャプチャーされない（行為１１６ｅはそこにキャプチャーされる）また、丸薬を保持するユーザーの行為１１６ｄは、サブハンドビデオにキャプチャーされるが、メインハンドビデオにキャプチャーされない。即ち、メインハンドビデオとサブハンドビデオにキャプチャーされたユーザーの行為は異なる可能性があり、この状況であっても、サーバーは、ビデオに基づいて、薬剤が投与されたか否かを判定することができる必要がある。従って、これを考慮してトレーニングされたモデルを提供する必要がある。
サーバーは、メインハンドビデオとサブハンドビデオの両方を使用してトレーニングされたモデルを使用して、薬剤が投与されたか否かを判定してもよい。例えば、監視モデルトレーニングデータのトレーニングビデオは、メインハンドビデオとサブハンドビデオとを含んでもよい。あるいは、検出モデルトレーニングデータのトレーニング画像フレームは、メインハンドビデオの画像フレームとサブハンドビデオの画像フレームとを含んでもよい。あるいは、確認モデルトレーニングデータのトレーニングのための確認モデル入力データは、メインハンドビデオに対応する入力データと、サブハンドビデオに対応する入力データとを含んでもよい。あるいは、分類モデルトレーニングデータのトレーニングビデオ（又は、トレーニング画像フレーム）は、メインハンドビデオ（又は、メインハンドビデオの画像フレーム）と、サブハンドビデオ（又は、サブハンドビデオの画像フレーム）とを含んでもよい。この場合、サーバーは、薬剤が投与されたか否かを、薬剤投与又は薬剤無投与として判定してもよい。サーバーがメインハンドビデオとサブハンドビデオの両方を使用してモデルをトレーニングする場合であっても、「２．５ モデルトレーニング方法」で説明されたトレーニング方法は、同一又は同様に適用されてもよい。
メインハンドビデオとサブハンドビデオの両方を使用することに加えて、サーバーは、メインハンドが対象である薬剤投与とサブハンドが対象である薬剤投与とを区別することによって、薬剤が投与されたか否かを判定するためにトレーニングされたモデルを使用して、薬剤が投与されたか否かを判定してもよい。この場合、サーバーは、薬剤が投与されたか否かを、薬剤投与又は薬剤無投与として判定するのではなく、薬剤が投与されたか否かを、メインハンドが対象である薬剤投与として、サブハンドが対象である薬剤投与として、又は薬剤無投与として判定する。
例えば、監視モデルを使用して薬剤が投与されたか否かが判定される場合、監視モデルトレーニングデータのトレーニングビデオは、メインハンドビデオとサブハンドビデオを含み、監視モデルラベルデータは、メインハンドビデオに対応し、メインハンドが対象である薬剤投与を表示するラベル（以下、「メインハンドラベル」と呼ぶ）と、サブハンドビデオに対応し、サブハンドが対象である薬剤投与を表示するラベル（以下、「サブハンドラベル」と呼ぶ）とを含む。
別の例として、検出モデル及び確認モデルを使用して薬剤が投与されたか否かが判定される場合、検出モデルトレーニングデータのトレーニング画像フレームは、メインハンドビデオの画像フレームとサブハンドビデオの画像フレームを含み、確認モデルトレーニングデータの確認モデルラベルデータは、メインハンドラベルとサブハンドラベルを含んでもよい。
サーバーが、薬剤が投与されたか否かを判定するためにモデルをトレーニングする場合であっても、メインハンドが対象である薬剤投与とサブハンドが対象である薬剤投与とを区別することによって、「２．５ モデルトレーニング方法」で説明されたトレーニング方法は、同一又は同様に適用されてもよい。
図３５は、一実施形態による、メインハンドが対象である薬剤投与とサブハンドが対象である薬剤投与とを区別したか否かに応じて、薬剤が投与されたか否かを判定した結果を示す図である。図３５は、検出モデル及び確認モデルを使用して薬剤が投与されたか否かを判定することを示す。図３５では、様々な種類の薬剤投与のうちの薬剤の嚥下である、薬瓶から出された丸薬の経口投与が実行されたか否かを判定した。検出モデルとして、ＲｅｓＮｅｔ１０１ベースのＦａｓｔｅｒ Ｒ－ＣＮＮを使用し、確認モデルとして、２Ｄ畳み込み層とＬＳＴＭの組み合わせを使用した（図３１を参照）。図３５を参照すると、メインハンドが対象であった薬剤投与とサブハンドが対象であった薬剤投与とを区別して、薬剤が投与されたか否かを判定した場合の検証精度とテスト精度はそれぞれ９８．８％と９６．８％であることが分かった。検証精度及びテスト精度は、メインハンドが対象であった薬剤投与とサブハンドが対象であった薬剤投与とを区別せずに、薬剤が投与されたか否かを判定した場合の９７．７％の検証精度及び８８．８％のテスト精度よりも高かった。即ち、メインハンドが対象である薬剤投与とサブハンドが対象である薬剤投与とを区別せずに、薬剤が投与されたか否かを判定する場合と比較して、メインハンドが対象である薬剤投与とサブハンドが対象である薬剤投与とを区別して、薬剤が投与されたか否かを判定する場合は、薬剤が投与されたか否かを正確に判定することができる。
サーバーは、メインハンドビデオとサブハンドビデオのうちのいずれか一方を先に使用して、モデルをトレーニングしてもよく、そして、他方を使用してモデルをトレーニングしてもよい。あるいは、サーバーは、メインハンドビデオとサブハンドビデオとを交互に使用して、モデルをトレーニングしてもよい。あるいは、サーバーは、順序の特定の規則なしにメインハンドビデオ及びサブハンドビデオを使用して、モデルをトレーニングしてもよい。
サーバーは、メインハンドが対象である薬剤投与が満たされたか否かを判定するためのモデルと、サブハンドが対象である薬剤投与が満たされたか否かを判定するためのモデルとを使用してもよい。
２．７．２ 第２追加例－薬剤投与プロセスの一部の省略
サーバーは、ユーザーが薬剤投与の各ステップに対して特定の行為を実行したか否かをリアルタイムで確認することによって、薬剤が投与されたか否かを判定してもよい。例えば、サーバーは、ユーザーが丸薬を保持しているか否か、ユーザーが丸薬を口に入れたか否か、及びユーザーが丸薬を嚥下したか否かを、ステップずつビデオ又は画像を通じて確認することによって、薬剤が投与されたか否かを判定してもよい。この場合、ユーザーが各ステップに対して特定の行為を実行したか否かを確認するため、特定のステップを省略することはなく、薬剤が投与されたか否かを判定するのに有利である。しかしながら、ユーザーは、薬剤が投与されたか否かを判定するために不自然な特定の行為を実行する必要があり、ユーザーにとって不便である。
これとは異なり、サーバーは、ユーザーに特別な特定の行為を要求することなく、薬剤が投与されたか否かを判定してもよい。即ち、ユーザーが普段通り薬剤を投与するにもかかわらず、サーバーは、そのビデオを分析し、薬剤が投与されたか否かを判定してもよい。しかしながら、この場合、ユーザーが各ステップに対して特定の行為を実行したか否かをリアルタイムで確認しないため、薬剤投与の特定の段階は、ユーザーの位置決めや薬剤投与にかかる時間に応じて、ビデオにキャプチャーされない可能性がある。ここで、サーバーは、薬剤投与プロセスの一部が省略された薬剤投与のビデオを使用して、薬剤が投与されたか否かを判定する必要がある。特に、ビデオを所定時間撮影し、薬剤が投与されたか否かを判定する場合、ユーザーが薬剤を所定時間よりも長い時間投与するとき、薬剤投与プロセスの後の部分がビデオにキャプチャーされない。例えば、薬剤の嚥下である薬瓶から出された丸薬の経口投与の場合、薬剤投与プロセスの前の部分であるユーザーが薬瓶から丸薬を出す行為、又はユーザーが丸薬を保持する行為は、ビデオにキャプチャーされてもよく、薬剤投与プロセスの後の部分であるユーザーが丸薬を嚥下する行為は、ビデオにキャプチャーされなくてもよい。あるいは、ユーザーが薬剤投与を開始する時点よりも後にカメラユニットが起動される場合、薬剤投与プロセスの前（後）段は、ビデオにキャプチャーされない。例えば、ユーザーが丸薬を嚥下する時点でカメラユニットが起動される場合、ユーザーが丸薬を薬瓶から出す行為、又はユーザーが丸薬を保持する行為は、ビデオにキャプチャーされない。このような例外的な状況の場合であっても、サーバーは、薬剤が投与されたか否かを判定することができる必要があるため、これを考慮したモデルを提供する必要がある。
図３６は、一実施形態による、幾つかの画像フレームが除去されたビデオを使用したモデルトレーニングを示す図である。図３６を参照すると、サーバーは、すべての画像フレームを含むトレーニングビデオ１２０と、幾つかの画像フレームが除去されたトレーニングビデオ１２１とを使用して、モデルをトレーニングしてもよい。モデルは、監視モデル、及び第１種類の分類モデルなど、入力データがビデオであるモデルであってもよい。
図３６を参照すると、幾つかの画像フレームが除去されたトレーニングビデオ１２１は、すべての画像フレームを含むトレーニングビデオ１２０に基づいて生成されてもよい。
図３７は、一実施形態による、トレーニングビデオの幾つかの画像フレームを除去する方法を示す図である。
図３７の（ａ）～（ｃ）を参照すると、幾つかの画像フレームが除去されたトレーニングビデオ１２２、１２４、及び１２６は、トレーニングビデオのすべての画像フレームのうち、所定数の連続する画像フレーム１２３、１２５、及び１２７が除去されたトレーニングビデオであってもよい。ここで、除去された連続する画像フレームは、図３７の（ａ）に示すようにトレーニングビデオの前の部分１２３であってもよく、図３７の（ｂ）に示すようにトレーニングビデオの中間部分１２５であってもよく、又は、図３７の（ｃ）に示すようにトレーニングビデオの後の部分１２７であってもよい。トレーニングビデオのすべての画像フレームが薬剤投与プロセス全体を含む場合、前の部分に対応する画像フレームが除去されたトレーニングビデオは、薬剤投与プロセスの前の部分がキャプチャーされない場合とみなしてもよい。同様に、画像フレームが中間部分に対応するトレーニングビデオは、薬剤投与プロセスの中間部分がキャプチャーされていない場合とみなしてもよい。後の部分に対応する画像フレームが削除されたトレーニングビデオは、薬剤投与プロセスの後の部分がキャプチャーされない場合とみなしてもよい。即ち、サーバーは、連続する画像フレームが削除されたトレーニングビデオを使用して、モデルをトレーニングするため、薬剤投与の幾つかの段階がビデオにキャプチャーされていない場合であっても、サーバーは、ビデオを使用して、薬剤が投与されたか否かを判定する。
図３７の（ｄ）を参照すると、幾つかの画像フレームが除去されたトレーニングビデオ１２８は、トレーニングビデオのすべての画像フレームのうち、所定数の画像フレーム１２９がランダムに除去されたトレーニングビデオであってもよい。
図３７に示すトレーニングビデオの幾つかの画像フレームの除去の説明は一例に過ぎず、これに限定されるものではない。
トレーニングビデオの幾つかの画像フレームが除去された場合であっても、サーバーは、モデルに入力されるデータのフォーマットが固定されているため、除去された部分にデータを追加する必要がある。この場合、サーバーは、削除された画像フレームの位置に所定の画素値を有する画像フレームを追加してもよい。例えば、追加された画像フレームのすべての画素は、同じ画素値を有してもよいが、これらに限定されない。即ち、上述した幾つかの画像フレームが除去されたトレーニングビデオは、すべての画像フレームを含むトレーニングビデオと同じ数の画像フレームを含んでもよく、除去された画像フレームに関する情報（例えば、画素値に関する情報）がトレーニングビデオにおいて失われる。あるいは、サーバーは、除去された画像フレームの位置とは異なる位置に、所定の画素値を有する画像フレームを追加してもよい。例えば、図３７の（ａ）に示すように、トレーニングビデオの前の部分１２３が除去された場合であっても、サーバーは、トレーニングビデオの後の部分に、所定の画素値を有する画像フレームを追加する。別の例として、図３７の（ｃ）に示すように、トレーニングビデオの後の部分１２７が除去された場合であっても、サーバーは、トレーニングビデオの前の部分に、所定の画素値を有する画像フレームを追加する。
サーバーは、幾つかの画像フレームが除去されたトレーニングビデオと、すべての画像フレームを含むトレーニングビデオとのうちのいずれか一方を先に使用して、モデルをトレーニングしてもよく、そして、他方を使用して、モデルをトレーニングしてもよい。例えば、サーバーは、幾つかの画像フレームが除去されたトレーニングビデオを先に使用して、モデルをトレーニングしてもよく、そして、すべての画像フレームを含むトレーニングビデオを使用して、モデルをトレーニングしてもよい。あるいは、サーバーは、幾つかの画像フレームが除去されたトレーニングビデオと、すべての画像フレームを含むトレーニングビデオとを交互に使用して、モデルをトレーニングしてもよい。あるいは、サーバーは、順序の特定の規則なしに、幾つかの画像フレームが除去されたトレーニングビデオと、すべての画像フレームを含むトレーニングビデオとを使用して、モデルをトレーニングしてもよい。
監視モデル又は第１種類の分類モデルとは異なり、確認モデルはビデオを入力データとして使用しないため、以下では確認モデルの場合について説明する。
図３８は、一実施形態による、トレーニング用確認モデル入力データの幾つかのサブデータを除去する方法を示す図である。上述したように、確認モデル入力データはサブデータを含み、サブデータのそれぞれは、画像フレームに対応してもよい。従って、図３６及び３７に示すように、トレーニングビデオの幾つかの画像フレームが除去された場合と同様に、トレーニング用確認モデル入力データの幾つかのサブデータが除去され、薬剤投与プロセスの一部が省略された状況が考慮されてもよい。
図３８を参照すると、幾つかのサブデータが除去されたトレーニング用確認モデル入力データ１３１は、すべてのサブデータを含むトレーニング用確認モデル入力データ１３０から幾つかのサブデータ１３２が除去されたトレーニング用確認モデル入力データであってもよい。図３７に示すように、トレーニングビデオの幾つかの画像フレームが除去された場合と同様に、トレーニング用確認モデル入力データの除去されたサブデータは、連続する画像フレーム又はランダムな画像フレームに対応してもよい。また、連続する画像フレームに対応するトレーニング用確認モデル入力データのサブデータを除去する際に、前の部分、中間部分、又は後の部分の画像フレームに対応するサブデータは、除去されてもよい。
トレーニングビデオの幾つかの画像フレームの除去と同様に、トレーニング用確認モデル入力データの幾つかのサブデータが除去された場合であっても、サーバーは、確認モデルに入力されたデータのフォーマットが固定されているため、除去された部分にデータを追加する必要がある場合がある。この場合、図３８を参照すると、サーバーは、除去されたサブデータの位置に、所定値（例えば、図３８では０）を有するサブデータ１３３を追加してもよい。また、上述した幾つかのサブデータが除去されたトレーニング用確認モデル入力データは、すべてのサブデータを含むトレーニング用確認モデル入力データと同じ数のサブデータを含んでもよく、除去されたサブデータに関する情報は、トレーニング用確認モデル入力データにおいて失われる。
図３８に示すトレーニング用確認モデル入力データの幾つかのサブデータの除去の説明は一例に過ぎず、これに限定されるものではない。
サーバーは、幾つかのサブデータが除去されたトレーニング用確認モデル入力データと、すべてのサブデータを含むトレーニング用確認モデル入力データとのうちのいずれか一方を先に使用して、確認モデルをトレーニングしてもよく、そして、他方を使用して確認モデルをトレーニングしてもよい。例えば、サーバーは、幾つかのサブデータが除去されたトレーニング用確認モデル入力データを先に使用して、確認モデルをトレーニングしてもよく、そして、すべてのサブデータを含むトレーニング用確認モデル入力データを使用して、確認モデルをトレーニングしてもよい。あるいは、サーバーは、幾つかのサブデータが除去されたトレーニング用確認モデル入力データと、すべてのサブデータを含むトレーニング用確認モデル入力データとを交互に使用して、確認モデルをトレーニングしてもよい。あるいは、サーバーは、順序の特定の規則なしに、幾つかのサブデータが除去されたトレーニング用確認モデル入力データと、すべてのサブデータを含むトレーニング用確認モデル入力データとを使用して、確認モデルをトレーニングしてもよい。
モデルは、ラベル平滑化技術を使用してトレーニングされてもよい。この場合、サーバーは、薬剤が投与されたか否かをより正確に判定することができる。特に、サーバーは、薬剤投与プロセスの一部が省略されたビデオについて、薬剤が投与されたか否かをより正確に判定することができる。
図３９は、一実施形態による、薬剤投与プロセスの一部を省略した状況を考慮してトレーニングされたモデルを示す図であり、検出モデルと、幾つかのサブデータが除去されたトレーニング用確認モデル入力データを使用してトレーニングされた確認モデルとによって、薬剤が投与されたか否かを判定した結果に関連する。確認モデル１は、すべてのサブデータを含むトレーニング用確認モデル入力データのみを使用してトレーニングされた確認モデルである。確認モデル２は、幾つかのサブデータが除去されたトレーニング用確認モデル入力データ、及びすべてのサブデータを含むトレーニング用確認モデル入力データの両方を使用してトレーニングされた確認モデルである。基本的に、モデルトレーニングでは、３０ｆｐｓのフレームレートを有する２０秒のビデオ（つまり、すべての画像フレームの数は６００であった）が使用された。即ち、すべてのサブデータの数が６００であるトレーニング用確認モデル入力データが使用された。このうち、連続する２００個のサブデータが除去されて、幾つかのサブデータが除去されたトレーニング用確認モデル入力データが生成された。検出モデルとして、ＲｅｓＮｅｔ１０１ベースのＦａｓｔｅｒ Ｒ－ＣＮＮが使用され、確認モデルとして、確認モデル１と２の両方について２Ｄ畳み込み層とＬＳＴＭの組み合わせが使用された（図３１を参照）。
図３９を参照すると、薬剤投与プロセス全体のビデオについて確認モデル１を使用した場合、サーバーは、薬剤が投与されたか否かを、９６．５％の精度で判定した。ビデオについて確認モデル２を使用した場合、サーバーは、薬剤が投与されたか否かを、９９．８％の精度で判定した。薬剤投与プロセスの一部が省略された薬剤投与のビデオについて確認モデル１を使用した場合、サーバーは、薬剤が投与されたか否かを、８３．７％の精度で判定した。ビデオについて確認モデル２を使用した場合、サーバーは、薬剤が投与されたか否かを、９５．８％の精度で判定した。即ち、すべてのサブデータを含むトレーニング用確認モデル入力データのみを使用してトレーニングされた確認モデルを使用した場合と比較して、幾つかのサブデータが除去されたトレーニング用確認モデル入力データと、すべてのサブデータを含むトレーニング用確認モデル入力データとの両方を使用してトレーニングされた確認モデルを使用した場合は、精度が向上した。特に、薬剤投与プロセスの一部が省略された薬剤投与のビデオについて、薬剤が投与されたか否かを判定する精度が向上した。言い換えれば、幾つかの画像フレームが除去されたトレーニングビデオ、又は幾つかのサブデータが除去された対応するトレーニング用確認モデル入力データを使用してモデルをトレーニングする場合、薬剤投与プロセスの一部が省略された薬剤投与のビデオについて、薬剤が投与されたか否かを判定する精度が向上した。
図４０は、一実施形態による連続する画像フレームの除去とランダムな画像フレームの除去を示す図であり、検出モデルと、幾つかのサブデータが除去されたトレーニング用確認モデル入力データを使用してトレーニングされた確認モデルとによって、薬剤が投与されたか否かを判定した結果に関連する。確認モデル３は、連続するサブデータが除去されたトレーニング用確認モデル入力データと、すべてのサブデータを含むトレーニング用確認モデル入力データとを使用してトレーニングされた確認モデルである。確認モデル４は、ランダムなサブデータが除去されたトレーニング用確認モデル入力データと、すべてのサブデータを含むトレーニング用確認モデル入力データとを使用してトレーニングされた確認モデルである。図３９のものと同じ構造の検出モデルと確認モデルが使用された。トレーニング用確認モデル入力データのすべてのサブデータの数、及び除去されたサブデータの数は、図３９のものと同じであった。
図４０を参照すると、薬剤投与プロセス全体のビデオについて確認モデル３を使用した場合、サーバーは、薬剤が投与されたか否かを、９８．９％の精度で判定した。ビデオについて確認モデル４を使用した場合、サーバーは、薬剤が投与されたか否かを、９９．３％の精度で判定した。薬剤投与プロセスの一部が省略された薬剤投与のビデオについて確認モデル３を使用した場合、サーバーは、薬剤が投与されたか否かを、９３．１％の精度で判定した。ビデオについて確認モデル４を使用した場合、サーバーは、薬剤が投与されたか否かを、９０．０％の精度で判定した。即ち、サブデータを除去する方法にかかわらず、薬剤投与プロセス全体のビデオについて、薬剤が投与されたか否かは、同様の精度で判定された。しかしながら、薬剤投与プロセスの一部が省略された薬剤投与のビデオについて、連続するサブデータが除去されたトレーニング用確認モデル入力データを使用してトレーニングされた確認モデルの使用は、薬剤が投与されたか否かを判定する精度を向上させるのに有利である。
２．７．３ 第３追加例－フレーム数の変更
所定数の画像フレームを含むビデオ又は所定数のサブデータを含む確認モデル入力データに基づいて、薬剤が投与されたか否かを判定することを説明した。しかしながら、幾つかの場合では、所定数とは異なる数の画像フレームを含むビデオについて、又は所定数とは異なる数のサブデータを含む確認モデル入力データについて、薬剤が投与されたか否かを判定する必要がある。
例えば、薬剤投与の種類によっては、ビデオ録画時間が変化する可能性があり、その結果、所定数とは異なる数の画像フレームを含むビデオ、又は所定数とは異なる数のサブデータを含む確認モデル入力データについて、薬剤が投与されたか否かを判定する必要がある場合がある。
別の例として、ユーザーによっては、ビデオ録画時間が変化する可能性があり、その結果、所定数とは異なる数の画像フレームを含むビデオ、又は所定数とは異なる数のサブデータを含む確認モデル入力データについて、薬剤が投与されたか否かを判定する必要がある場合がある。
まず、所定数を超える数の画像フレームを含むビデオ、又は所定数を超える数のサブデータを含む確認モデル入力データをサーバーがどのように処理するかについて説明する。
図４１は、一実施形態による画像フレームの選択を示す図である。図４１を参照すると、サーバーは、所定数を超える数の画像フレームを含むビデオ１４０から、フレーム選択を通じて、所定数の画像フレームを含むビデオ１４１を取得してもよい。
幾つかの実施形態では、フレーム選択は、奇数番目の画像フレーム又は偶数番目の画像フレームを選択することを指してもよい。例えば、所定数の２倍の数の画像フレームを含むビデオの場合、サーバーは、奇数番目の画像フレーム又は偶数番目のビデオの画像フレームを選択して、所定数の画像フレームを含むビデオを生成してもよい。同様に、所定数のｎ倍の数の画像フレームを含むビデオの場合、サーバーは、ｎ番目ごとにビデオの画像フレームを選択して、所定数の画像フレームを含むビデオを生成してもよい。
あるいは、フレーム選択は、画像フレームをランダムに選択することを指してもよい。例えば、サーバーは、所定数を超える数の画像フレームを含むビデオから、所定数の画像フレームをランダムに選択して、所定数の画像フレームを含むビデオを生成してもよい。
このようなフレーム選択の説明は例に過ぎず、これに限定されるものではない。
同様に、サーバーは、所定数を超える数のサブデータを含む確認モデル入力データから、サブデータ選択を通じて、所定数のサブデータを含む確認モデル入力データを取得してもよい。フレーム選択の詳細は、サブデータ選択に適用してもよいため、その詳細な説明は省略する。
次に、所定数未満の数の画像フレームを含むビデオ、又は所定数未満の数のサブデータを含む確認モデル入力データをサーバーがどのように処理するかについて説明する。
サーバーは、所定数の画像フレームを含むビデオが生成されるように、所定数未満の数の画像フレームを含むビデオに画像フレームを追加してもよい。例えば、追加された画像フレームは、所定数未満の数の画像フレームを含むビデオの前の部分に追加されてもよい。別の例として、追加された画像フレームは、所定数未満の数の画像フレームを含むビデオの後の部分に追加されてもよい。また別の例として、追加された画像フレームは、所定数未満の数の画像フレームを含むビデオの中間部分に追加されてもよい。また別の例として、追加された画像フレームは、所定数未満の数の画像フレームを含むビデオのランダムな位置に追加されてもよい。
画像フレームが追加される位置に応じて、薬剤が投与されたか否かを判定する精度が異なる場合がある。ここで、薬剤が投与されたか否かを判定する精度を向上させる画像フレームが追加される位置は、モデルの種類に応じて異なる場合がある。例えば、ＬＳＴＭモデル又はそれと同様なモデルを使用する場合、ビデオの前の部分に画像フレームを追加することで、他の場合と比較して、薬剤が投与されたか否かを判定する精度を高めることができる。
追加される画像フレームは、所定の画素値を有してもよい。例えば、追加された画像フレームのすべての画素は、同じ画素値を有してもよいが、これらに限定されない。
３．薬剤投与内容を判定する方法
薬剤が投与されたか否かを判定するための方法を説明したが、幾つかの場合では、薬剤投与内容を判定する必要がある場合がある。ここで、薬剤投与内容は、広義に、薬剤が投与されたか否か、例えば、ユーザーがどの丸薬を嚥下したか、及びユーザーが何粒丸薬を嚥下したかの内容に関連する。以下、丸薬を嚥下することについて主に説明する。
図４２は、一実施形態による丸薬を嚥下する際の薬物情報の判定を示す図である。薬物情報は、丸薬の数及び丸薬の種類を含んでもよい。図４２を参照すると、サーバーは、ビデオ１５０の画像フレームのうち、丸薬が手のひらに置かれているシーンを示す画像フレーム１５１に基づいて、薬物情報を判定してもよい。例えば、サーバーは、ビデオ１５０の画像フレームのうち、丸薬が手のひらに置かれているシーンを示す画像フレーム１５１を、薬物情報判定モデルに入力しても、薬物情報を取得してもよい。
丸薬が手のひらに置かれているシーンを示す画像フレームが複数存在する場合、サーバーは、複数の画像フレームのうち、最新の時間に対応する画像フレームに基づいて、薬物情報を判定してもよい。あるいは、サーバーは、複数の画像フレームのそれぞれに基づいて、薬物情報を判定してもよく、得られた薬物情報を合成して、最終的な薬物情報を判定してもよい。
サーバーは、丸薬が手のひらに置かれている状況を検出可能なモデルを使用して、丸薬が手のひらに置かれているシーンを示す画像フレームを見つけてもよい。例えば、サーバーは、画像フレームごとにビデオをモデルに入力してもよく、すべての画像フレームのうち、丸薬が手のひらに置かれているシーンを示す画像フレームを見つけてもよい。丸薬が手のひらに置かれている状況を検出するように検出モデルがトレーニングされる場合、特定のモデルを使用して追加の計算を実行することなく、検出モデルの検出結果を確認して、丸薬が手のひらに置かれているシーンを示す画像フレームを見つける。この場合、特定のモデルを使用して追加の計算を実行する場合と比較して、丸薬が手のひらに置かれているシーンを示す画像フレームを著しく迅速に見つけることができる。また、計算コストを大幅に削減することができる。
モデルは、上述した検出モデルと同一又は同様に実現されてもよいが、これに限定されるものではない。
薬剤投与内容を判定するサーバーは、薬剤が投与されたか否かを判定するサーバーと同じであってもよい。あるいは、薬剤投与内容を判定するサーバーは、薬剤が投与されたか否かを判定するサーバーとは異なる特定のサーバーであってもよい。
４．薬剤投与に関する情報を管理する方法
サーバーは、薬剤投与に関連する様々な情報を管理してもよい。例えば、サーバーは、ユーザーの薬剤投与の現在の状態、ユーザーがウェアラブルデバイスを装着しているか否か、及びウェアラブルデバイスのビデオ録画時間を管理してもよい。薬剤投与の現在の状態は、ビデオ、ビデオを分析した結果（例えば、ビデオが薬剤投与又は薬剤無投与を表すか否かに関する情報など、薬剤が投与されたか否かを判定する結果）、ユーザーの薬剤投与のスケジュール、ユーザーの薬剤投与の時間、及び、ユーザーが再度薬剤を投与したか否かを含んでもよい。薬剤投与の現在の状態については、後でより詳細に説明する。
薬剤投与に関連する情報を管理するサーバーは、薬剤が投与されたか否かを判定するサーバー、又は薬剤投与内容を判定するサーバーと同じであってもよい。あるいは、薬剤投与に関連する情報を管理するサーバーは、薬剤が投与されたか否かを判定するサーバー又は薬剤投与内容を判定するサーバーとは異なる管理のための特定のサーバーであってもよい。
以下、薬剤投与に関連する情報を管理する方法について、より詳細に説明する。
４．１ 薬剤投与の現在の状態の管理
サーバーは、ユーザーの薬剤投与の現在の状態を管理してもよい。
サーバーは、ユーザーの薬剤投与のスケジュールを記憶してもよい。
サーバーは、ユーザーの薬剤投与の時間を記憶してもよい。薬剤投与の時間は、ウェアラブルデバイスがビデオを生成する時間に基づいて判定してもよい。例えば、薬剤投与の時間は、ウェアラブルデバイスがビデオを生成する時間であってもよい。
サーバーは、ユーザーの薬剤投与のスケジュールに基づいて、ユーザーに通知を与えてもよい。
例えば、ユーザーが薬剤投与のスケジュールに従って薬剤を投与する必要がる時間の近くに、サーバーは、ウェアラブルデバイス又はユーザー端末に通知を与えて、ユーザーの薬剤投与を誘導してもよい。
別の例として、サーバーは、ユーザーが薬剤を過剰に投与したか否かを判定してもよく、判定の結果をウェアラブルデバイス又はユーザー端末に送信して、ユーザーに薬剤が再度投与されたことを通知してもよい。ここで、薬剤が過剰に投与されたということは、所定の時間に、薬剤が所定の数を超えて投与された、例えば、ユーザーが、１粒しか服用しないはずの丸薬を２粒服用したことを意味する。サーバーは、ユーザーの薬剤投与内容と薬剤投与のスケジュールとを比較することによって、ユーザーが薬剤を過剰に投与したか否かを判定してもよい。
サーバーは、薬剤が投与されたか否かをユーザーに確認してもよい。サーバーは、ウェアラブルデバイス又はユーザー端末を介して、薬剤が投与されたか否かをユーザーに確認してもよい。
例えば、サーバーは、薬剤投与のスケジュールに基づいて、薬剤が投与されたか否かをユーザーに確認してもよい。薬剤投与のスケジュールに従ってユーザーが薬剤を投与する必要がある時間の近くに、サーバーは、薬剤が投与されたか否かをユーザーに確認してもよい。
別の例として、サーバーはビデオを受信して、薬剤が投与されたか否かをユーザーに確認してもよい。サーバーは、ウェアラブルデバイスからビデオを受信して、薬剤が投与されたか否かをユーザーに確認してもよい。
また別の例として、サーバーは、ユーザーが薬剤を投与したか否かを判定してもよく、薬剤が投与されたか否かをユーザーに確認してもよい。サーバーは、ビデオを分析してもよい。ユーザーが薬剤を投与したと判定すると、サーバーは、ユーザーが薬剤を投与したか否かをユーザーに確認する。あるいは、ビデオを分析した結果にかかわらず、サーバーは、ビデオを分析して、薬剤が投与されたか否かを判定してもよく、薬剤が投与されたか否かをユーザーに確認してもよい。
サーバーは、ユーザーの保護者又は医療スタッフに、ユーザーの薬剤投与の現在の状態に関する情報を提供してもよい。例えば、サーバーは、保護者又は医療スタッフに、ビデオ、ユーザーの薬剤投与のスケジュール、薬剤が投与されたか否か、薬剤投与の時間、及び薬剤が再度投与されたか否かのうちの少なくとも幾つかを提供してもよい。この場合、サーバー記憶ユニットは、ウェアラブルデバイスのユーザーの識別情報を、ユーザーの保護者又は医療スタッフの装置の識別情報と関連付けて記憶してもよい。
ユーザーが薬剤を投与したとサーバーが判定した場合、サーバーは、保護者又は医療スタッフに、ユーザーの薬剤投与の現在の状態に関する情報を提供してもよい。
ユーザーが薬剤を投与していないとサーバーが判定した場合、サーバーは、保護者又は医療スタッフに、ユーザーの薬剤投与の現在の状態に関する情報を提供してもよい。例えば、ユーザーが薬剤を所定期間投与していないとサーバーが判定した場合、サーバーは、ユーザーが薬剤を投与していないことを保護者又は医療スタッフに通知してもよい。
４．２ ウェアラブルデバイス装着の管理
サーバーは、ユーザーのウェアラブルデバイスの装着を管理してもよい。
サーバーは、ウェアラブルデバイスによって収集された情報に基づいて、ユーザーがウェアラブルデバイスを装着しているか否かを確認してもよい。例えば、サーバーは、ウェアラブルデバイスの動きセンサーを介して、ウェアラブルデバイスの移動を分析してもよく、ユーザーがウェアラブルデバイスを装着しているか否かを確認してもよい。具体的には、ウェアラブルデバイスが所定期間移動していない場合、サーバーは、ユーザーがウェアラブルデバイスを装着していないと判定してもよい。
ウェアラブルデバイスを装着していないとユーザーが判定した場合、サーバーは、ウェアラブルデバイス又はユーザー端末を介してユーザーに通知を与えて、ユーザーがウェアラブルデバイスを装着するように誘導してもよい。
サーバーは、ユーザーがウェアラブルデバイスを適切に装着しているか否かを確認してもよい。ウェアラブルデバイスが装着されている方向によって、不正確なビデオが取得される可能性がある。例えば、ウェアラブルデバイスがスマートウォッチ又はスマートバンドである場合、ユーザーの手の周りが撮影されるように、カメラユニットがユーザーの手の方向を向くようにウェアラブルデバイスを装着する必要がある。
サーバーはビデオを分析し、ユーザーがウェアラブルデバイスを適切に装着しているか否かを確認してもよい。例えば、サーバーが、ビデオを分析した結果として、薬剤無投与を所定回数以上連続して判定した場合、サーバーは、ユーザーがウェアラブルデバイスを正確に装着していないと判定してもよい。あるいは、ビデオを分析した結果として、薬剤投与関連のオブジェクト及び姿勢が検出されていないか、又は所定数以下の数で検出された場合、サーバーは、ユーザーがウェアラブルデバイスを正確に装着していないと判定してもよい。あるいは、取得された画像フレームにおけるユーザーの腕に対応する領域が画像フレームの全領域の所定割合を超えると判定した場合、サーバーは、ユーザーがウェアラブルデバイスを正確に装着していないと判定してもよい。
サーバーは、ウェアラブルデバイスのカメラユニットが別のオブジェクトによって覆われているか否かを確認してもよい。例えば、ウェアラブルデバイスがスマートウォッチ又はスマートバンドである場合、サーバーは、カメラユニットがユーザーの袖によって覆われているか否かを確認してもよい。
サーバーは、ビデオを分析し、ウェアラブルデバイスのカメラユニットが別のオブジェクトによって覆われているか否かを確認してもよい。例えば、サーバーが、ビデオを分析した結果として、薬剤無投与を所定回数以上連続して判定した場合、サーバーは、カメラユニットが別のオブジェクトによって覆われていると判定してもよい。あるいは、ビデオを分析した結果として、薬剤投与関連のオブジェクト及び姿勢が検出されていないか、又は所定数以下の数で検出された場合、サーバーは、カメラユニットが別のオブジェクトによって覆われていると判定してもよい。あるいは、サーバーは、取得した画像フレームの画素値に基づいて、カメラユニットが別のオブジェクトによって覆われているか否かを確認してもよい。
ユーザーがウェアラブルデバイスを正確に装着していないとサーバーが判定した場合、サーバーは、ウェアラブルデバイス又はユーザー端末を介してユーザーに通知を与えて、ユーザーがウェアラブルデバイスを適切に装着するように誘導してもよい。
ユーザーによる装着が発生すると、ウェアラブルデバイスは、画像フレーム又はビデオを取得してサーバーに送信するステップを実行してもよい。従って、サーバーは、受信した画像フレーム又はビデオに基づいて、ユーザーのウェアラブルデバイスの装着を管理してもよい。
４．３ ビデオ録画時間の管理
サーバーは、ビデオ録画時間を管理してもよい。
サーバーは、ウェアラブルデバイスのビデオ録画時間を変更してもよい。例えば、サーバーは、ビデオ録画時間を長くしてもよいし、短くしてもよい。サーバーは、ユーザー毎にビデオ録画時間を最適化するようにビデオ録画時間を変更してもよい。
サーバーはビデオを分析し、ビデオ録画時間がユーザーにとって適切であるか否かを判定してもよい。例えば、サーバーは、ビデオの最後の画像フレームがどの薬剤投与行為に対応するかを判定することによって、ウェアラブルデバイスに現在設定されているビデオ録画時間がユーザーにとって適切であるか否かを判定してもよい。
ユーザーにとってビデオ録画時間が不適切であるとサーバーが判定した場合、サーバーは、ビデオ録画時間を変更してもよい。例えば、特定のユーザーにとってビデオ録画時間が短いとサーバーが判定した場合、サーバーは、特定のユーザーについてビデオ録画時間を長くしてもよい。あるいは、特定のユーザーにとってビデオ録画時間が長いとサーバーが判定した場合、サーバーは、特定のユーザーについてビデオ録画時間を短くしてもよい。
５．遠隔医療への適用
上述した薬剤投与の詳細は、遠隔医療状況に適用してもよい。
遠隔医療とは、医師と患者とが互いに離れた場所で行われる医療行為であり、通信手段により患者の状態を判定し、適切な治療を提供することである。この遠隔医療状況では、患者が医師と対面する場合と比較して、医師が患者の状態を判定することが困難である場合がある。従って、患者の状態に関する情報を医師に提供することが有用である場合がある。
図４３は、遠隔医療への適用の一例としてのセカンドオピニオンレポートの提供を示す図である。セカンドオピニオンレポートは、ユーザーの健康状態に関するレポートである。医師又は保護者は、ユーザーの健康状態を確認したり、ユーザーのヘルスケア計画を作成したりする際に、セカンドオピニオンレポートを参照してもよい。これにより、医師は、ユーザーと対面することなく、ユーザーの健康状態を確認したり、ユーザーのヘルスケア計画を作成したりすることができる。サーバーは、医師にセカンドオピニオンレポートを提供して、遠隔医療サービスを提供又は支援することができる。
サーバーは、ユーザーの服薬アドヒアランスの程度を考慮して、セカンドオピニオンレポートを生成してもよい。例えば、サーバーは、以前の処方に従った服薬アドヒアランスの程度を考慮して、セカンドオピニオンレポートを生成してもよい。ここで、以前の処方に従った服薬アドヒアランスの程度は、以前の処方の薬剤投与が実行されたか否かを判定した結果に基づいて、計算してもよい。
サーバーは、ユーザーの健康状態を判定して、セカンドオピニオンレポートを生成してもよい。サーバーは、薬剤が投与され、所定の時間が経過した後のユーザーの健康状態を判定してもよく、セカンドオピニオンレポートを生成してもよい。所定の時間は、ユーザー、薬剤の種類、及び薬剤投与の種類のうちの少なくとも１つに応じて異なる場合がある。
ユーザーの健康状態を判定するために、サーバーは、ユーザーの健康状態に関する質問をウェアラブルデバイスに送信してもよい。健康状態に関する質問の例は、薬剤の副作用、薬剤投与後の症状と感情、１つ以上の臨床値、及び１つ以上の疼痛値を含むが、これらに限定されない。
薬剤が投与され、所定の時間が経過した後のユーザーの健康状態を判定するために、サーバーは、薬剤が投与され、所定の時間が経過した後に、健康状態に関する質問をウェアラブルデバイスに送信してもよい。
ウェアラブルデバイスは、サーバーから受信した質問に対するユーザーの回答を取得してもよい。ウェアラブルデバイスは、取得したユーザーの回答をサーバーに送信してもよい。サーバーは、取得したユーザーの回答に基づいて、ユーザーの健康状態を判定してもよい。サーバーは、判定したユーザーの健康状態に基づいて、セカンドオピニオンレポートを生成してもよい。サーバーは、生成したセカンドオピニオンレポートを医師又は保護者に提供してもよい。
サーバーは、ユーザーの生体情報をさらに考慮して、ユーザーの健康状態を判定したり、セカンドオピニオンレポートを生成したりしてもよい。上述したように、以上説明したように生体情報の例は、歩数などの運動に関する情報、心拍数、血中酸素飽和度、及び心電図などを含むが、これらに限定されない。
サーバーは、薬剤投与前の生体情報又は薬剤投与後の生体情報又はその両方をさらに考慮して、ユーザーの健康状態を判定したり、セカンドオピニオンレポートを生成したりしてもよい。例えば、サーバーは、薬剤投与前の生体情報と薬剤投与後の生体情報とを比較することによって、ユーザーの健康状態を判定したり、セカンドオピニオンレポートを生成したりしてもよい。
サーバーは、ウェアラブルデバイスを介してユーザーの生体情報を取得してもよい。ウェアラブルデバイスは、ユーザーの生体情報を測定してもよい。ウェアラブルデバイスは、ウェアラブルデバイスの動きセンサー、心拍センサー、血中酸素飽和度センサー、及び心電センサーを介して、ユーザーの生体情報を測定してもよい。ウェアラブルデバイスは、測定した生体情報をサーバーに送信してもよい。
図４３は、サーバーがウェアラブルデバイスを介してユーザーの健康状態を判定することを示しているが、ユーザーの健康状態は、スマートフォン、タブレットＰＣ、ラップトップコンピューター、デスクトップコンピューターなどのユーザー端末を介して判定してもよい。この場合、サーバーは、ウェアラブルデバイスではなく、ユーザー端末と通信することによって、ユーザーの健康状態を判定してもよい。あるいは、サーバーは、ウェアラブルデバイス及びユーザー端末の両方を介して、ユーザーの健康状態を判定してもよい。
また、図４３は、薬剤が投与されたか否かを判定するサーバーが、セカンドオピニオンレポートを生成するサーバーと同じであることを示しているが、セカンドオピニオンレポートを生成するサーバーは、薬剤が投与されたか否かを判定するサーバーとは異なっていてもよい。
図４４は、遠隔医療への適用の別の例としての処方レポートの提供を示す図である。医師又は薬剤師は、処方レポートを参照して、ユーザーに処方を与えてもよい。これにより、医師又は薬剤師は、ユーザーと対面することなく、ユーザーに処方を与えることができる。サーバーは、医師又は薬剤師に処方レポートを提供して、遠隔医療サービスを提供又は支援することができる。
サーバーは、処方に関する情報に基づいて、ユーザーの服薬アドヒアランスの程度を計算してもよい。例えば、サーバーは、第１処方に関する情報に基づいて、第１処方に従ったユーザーの服薬アドヒアランスの程度を計算してもよい。第１処方に従ったユーザーの服薬アドヒアランスの程度は、第１処方の薬剤投与が実行されたか否かを判定した結果に基づいて計算してもよい。
サーバーは、ユーザーの服薬アドヒアランスの程度を考慮して、処方レポートを生成してもよい。例えば、サーバーは、第１処方に従った服薬アドヒアランスの程度を考慮して、第２処方に関する処方レポートを生成してもよい。具体的には、第１処方に従った服薬アドヒアランスの程度が所定の標準以上である場合、サーバーは、ユーザーに第２処方を与えることを許可することを記述する処方レポートを生成してもよい。あるいは、第１処方に従った服薬アドヒアランスの程度が所定の標準未満である場合、サーバーは、ユーザーに第２処方を与えることを許可しないことを記述する処方レポートを生成してもよい。
サーバーは、ユーザーの薬剤投与のスケジュールを考慮して、処方レポートを生成してもよい。例えば、薬剤投与のスケジュールに従って、ユーザーが第１処方の薬剤投与を完了したと推定されると、サーバーは、処方レポートを生成してもよい。あるいは、第２処方についての請求がある場合、サーバーは、処方レポートを生成してもよい。例えば、ユーザーから第２処方についての請求がある場合、サーバーは、処方レポートを生成してもよい。ここで、図４４に示すように、サーバーは、ウェアラブルデバイスを介してユーザーから第２処方についての請求を受信してもよいが、ユーザー端末などの他の経路を介して第２処方についての請求を受信してもよい。また、サーバーは、ユーザーではなく、医師、薬剤師、又は保護者から、ユーザーの第２処方についての請求を受信してもよい。
サーバーは、生成した処方レポートを医師又は薬剤師に提供してもよい。
図４４は、薬剤が投与されたか否かを判定するサーバーが、処方レポートを生成するサーバーと同じであることを示しているが、処方レポートを生成するサーバーは、薬剤が投与されたか否かを判定するサーバーとは異なっていてもよい。
６．ヘルスケアへの拡張
主に薬剤投与について説明したが、薬剤投与の詳細は、ヘルスケアにまで拡張してもよい。ヘルスケアは、薬剤投与に加えて広義のユーザーの健康の管理に関連し、ユーザーの健康の管理の例は、摂取、及び血圧計による血圧の測定、血糖計による血糖の測定などの測定装置による健康情報の測定を含む。即ち、「１．薬剤が投与されたか否かを判定するためのシステム」、「２．薬剤が投与されたか否かを判定するための方法」、「３．薬剤投与内容を判定する方法」、「４．薬剤投与に関する情報を管理する方法」、及び「５．遠隔医療への適用」に記載の薬剤投与は、測定装置による健康情報の測定、及び摂取などのヘルスケアに適用してもよい。
薬剤が投与されたか否かを判定するためのシステムは、ヘルスケア行為が実行されたか否かを判定するためのシステムにまで拡張してもよい。以下、上述した薬剤が投与されたか否かについてのシステムの詳細から、主に、ヘルスケア行為が実行されたか否かを判定するためのシステムに拡張する部分について説明する。
無線通信装置１０００は、測定装置（例えば、血圧計、又は血糖計）に取り付けられてもよいし、その近くに位置してもよい。あるいは、無線通信装置１０００は、食事用器具（例えば、スプーン、箸、フォーク、又はボウル）に取り付けられてもよいし、その近くに位置してもよい。
無線通信装置１０００は、測定装置の動き又は環境光又はその両方のデータを収集してもよい。あるいは、無線通信装置１０００は、食事用器具の動き又は環境光又はその両方のデータを収集してもよい。
無線通信装置１０００は、収集したデータを使用して、ユーザーがヘルスケア行為を開始したか否かを確認してもよい。例えば、無線通信装置１０００は、ユーザーが健康情報測定行為を開始したか否かを確認してもよい。別の例として、無線通信装置１０００は、ユーザーが摂取行為を開始したか否かを確認してもよい。ユーザーがヘルスケア行為を開始したことを確認すると、無線通信装置１０００は、起動信号をウェアラブルデバイス２０００又はサーバー３０００などの外部に送信する。
あるいは、無線通信装置１０００は、収集したデータを、ウェアラブルデバイス２０００又はサーバー３０００などの外部に送信してもよい。
ウェアラブルデバイス２０００は、無線通信装置１０００と通信してもよい。ウェアラブルデバイス２０００は、無線通信装置１０００から、測定装置の動き又は環境光又はその両方のデータを受信してもよい。あるいは、ウェアラブルデバイス２０００は、無線通信装置１０００から、食事用器具の動き又は環境光又はその両方のデータを受信してもよい。
ウェアラブルデバイス２０００は、ビデオを生成してもよい。例えば、ウェアラブルデバイス２０００は、ヘルスケアに関連するビデオを生成してもよい。具体的な例として、ウェアラブルデバイス２０００は、健康情報を測定することに関連するビデオを生成してもよい。別の具体的な例として、ウェアラブルデバイス２０００は、摂取に関連するビデオを生成してもよい。
ウェアラブルデバイス２０００は、無線通信装置１０００から受信したデータに基づいて、ビデオを生成してもよい。例えば、ウェアラブルデバイス２０００は、測定装置の動き又は環境光又はその両方のデータに基づいて、又は起動信号に基づいて、ビデオを生成してもよい。別の例として、ウェアラブルデバイス２０００は、食事用器具の動き又は環境光又はその両方のデータに基づいて、あるいは起動信号に基づいて、ビデオを生成してもよい。
サーバー３０００は、無線通信装置１０００又はウェアラブルデバイス２０００又はその両方から、測定装置の動き又は環境光又はその両方のデータを受信してもよい。あるいは、サーバー３０００は、無線通信装置１０００又はウェアラブルデバイス２０００又はその両方から、食事用器具の動き又は環境光又はその両方のデータを受信してもよい。
サーバー３０００は、ヘルスケア行為が実行されたか否かを判定してもよい。例えば、サーバー３０００は、無線通信装置１０００又はウェアラブルデバイス２０００又はその両方から取得した情報に基づいて、ヘルスケア行為が実行されたか否かを判定してもよい。具体的な例として、サーバー３０００は、ウェアラブルデバイス２０００から受信したビデオを分析することによって、ヘルスケア行為が実行されたか否かを判定してもよい。
薬剤が投与されたか否かを判定するための方法は、ヘルスケア行為が実行されたか否かを判定するための方法にまで拡張してもよい。以下、上述した薬剤が投与されたか否かについての方法の詳細から、主に、ヘルスケア行為が実行されたか否かを判定するための方法に拡張する部分について説明する。
サーバーは、監視モデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。例えば、サーバーは、監視モデルを使用して、測定装置が使用されたか否かを判定してもよい。別の例として、サーバーは、監視モデルを使用して、摂取が実行されたか否かを判定してもよい。
サーバーは、ビデオを監視モデルに入力し、ヘルスケア行為が実行されたか否かを判定してもよい。この場合、監視モデルの出力データは、ヘルスケア行為が実行されたか否かを判定した結果であってもよい。
監視モデルから出力された、ヘルスケア行為が実行されたか否かを判定した結果は、ヘルスケア行為が実行されたか否かを表示する指数であってもよい。即ち、監視モデルの出力データは、ヘルスケア行為が実行されたか否かを表示する指数であってもよい。サーバーは、入力ビデオについて、監視モデルを使用して、ヘルスケア行為が実行されたか否かを表示する指数を取得してもよい。非限定的な例として、指数は数値として表してもよい。
監視モデルのトレーニングビデオは、ヘルスケア行為の実行のトレーニングビデオと、ヘルスケア行為の非実行のトレーニングビデオとを含んでもよい。
監視モデルラベルデータは、ヘルスケア行為の実行のトレーニングビデオに対応し、ヘルスケア行為の実行を表示するラベルと、ヘルスケア行為の非実行のトレーニングビデオに対応し、ヘルスケア行為の非実行を表示するラベルとを含んでもよい。あるいは、監視モデルラベルデータは、ヘルスケア行為の実行が推定される確率を表示するラベルと、ヘルスケア行為の非実行が推定される確率を表示するラベルとを含んでもよい。
サーバーは、検出モデル及び確認モデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。例えば、サーバーは、検出モデル及び確認モデルを使用して、測定装置が使用されたか否かを判定してもよい。別の例として、サーバーは、検出モデル及び確認モデルを使用して、摂取が実行されたか否かを判定してもよい。
サーバーは、検出モデルを使用して、ヘルスケアに関連するオブジェクト及び姿勢（以下、ヘルスケア関連のオブジェクト及び姿勢と呼ぶ）を検出してもよい。例えば、サーバーは、検出モデルを使用して、測定装置の使用に関連するオブジェクト及び姿勢（以下、測定装置使用オブジェクト及び姿勢と呼ぶ）を検出してもよい。別の例として、サーバーは、検出モデルを使用して、摂取に関連するオブジェクト及び姿勢（以下、摂取オブジェクト及び姿勢と呼ぶ）を検出してもよい。
サーバーは、ビデオの画像フレームを検出モデルに入力して、画像フレームに含まれるヘルスケア関連のオブジェクト及び姿勢を検出してもよい。検出モデルは、ヘルスケア関連のオブジェクト及び姿勢に関連するデータを出力してもよい。
ヘルスケア関連のオブジェクトは、ヘルスケア行為のためにユーザーによって使用される様々な種類のヘルスケア関連のオブジェクトを含んでもよい。例えば、測定装置使用オブジェクトは、測定装置の使用中にユーザーによって使用される様々な種類の測定装置使用オブジェクトを含んでもよい。具体的な例として、測定装置使用オブジェクトは、血圧計及び血糖計などの測定装置を含んでもよい。別の例として、摂取オブジェクトは、摂取のためにユーザーによって使用される様々な種類の摂取オブジェクトを含んでもよい。具体的な例として、摂取オブジェクトは、スプーン、箸、フォークなどの食事用器具を含んでもよい。
ヘルスケア関連の姿勢は、ヘルスケア行為のためのユーザーの位置決めなど、様々な種類のヘルスケア関連の姿勢を含んでもよい。例えば、測定装置使用姿勢は、測定装置の使用中のユーザーの位置決めなど、様々な種類の測定装置使用姿勢を含んでもよい。具体的な例として、測定装置使用姿勢は、測定装置を保持するための姿勢など、測定装置使用オブジェクトを保持するための姿勢と、測定装置を使用するための姿勢と、測定装置を開けるための姿勢とを含んでもよい。別の例として、摂取姿勢は、摂取のためのユーザーの位置決めなどの様々な種類の摂取姿勢を含んでもよい。具体的な例として、摂取姿勢は、食物を保持する姿勢と、食物を取る姿勢とを含んでもよい。
検出モデルトレーニングデータは、トレーニング画像フレーム及びトレーニング画像フレームに含まれる検出モデルラベルデータを含んでもよく、検出モデルラベルデータは、ヘルスケア関連のオブジェクト及び姿勢に関連する。
サーバーは、検出結果及び確認モデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。例えば、サーバーは、検出結果及び確認モデルを使用して、測定装置が使用されたか否かを判定してもよい。別の例として、サーバーは、検出結果及び確認モデルを使用して、摂取が実行されたか否かを判定してもよい。
確認モデルの入力データである確認モデル入力データは、特定のクラスのヘルスケア関連のオブジェクト及び姿勢が存在するか否かをビデオに組み込んでもよい。あるいは、確認モデル入力データは、特定のクラスのヘルスケア関連のオブジェクトの移動及び姿勢をビデオに経時的に組み込んでもよい。
確認モデルの出力データは、ヘルスケア行為が実行されたか否かを判定した結果であってもよい。例えば、確認モデルの出力データは、測定装置が使用されたか否かを判定した結果であってもよい。別の例として、確認モデルの出力データは、摂取が実行されたか否かを判定した結果であってもよい。
確認モデルから出力された、ヘルスケア行為が実行されたか否かを判定した結果は、ヘルスケア行為が実行されたか否かを表示する指数であってもよい。即ち、確認モデルの出力データは、ヘルスケア行為が実行されたか否かを表示する指数であってもよい。
トレーニング用確認モデル入力データは、ヘルスケア行為の実行を表すトレーニング用確認モデル入力データと、ヘルスケア行為の非実行を表すトレーニング用確認モデル入力データとを含んでもよい。
確認モデルラベルデータは、ヘルスケア行為の実行を表示するラベルと、ヘルスケア行為の非実行を表示するラベルとを含んでもよい。あるいは、確認モデルラベルデータは、ヘルスケア行為の実行が推定される確率を表示するラベルと、ヘルスケア行為の非実行が推定される確率を表示するラベルとを含んでもよい。
サーバーは、分類モデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。サーバーは、ビデオのカテゴリーを定義し、ビデオと定義したカテゴリーを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。
ビデオのカテゴリーを定義することは、ビデオに対応するヘルスケアの種類を判定することを指してもよい。例えば、サーバーは、異なる種類のヘルスケアに対応する２つ以上のカテゴリーのうち、どのカテゴリーにビデオが対応するかを判定することによって、ビデオのカテゴリーを定義してもよい。この場合、カテゴリーの例は、薬剤投与カテゴリー、血圧測定カテゴリー、血糖測定カテゴリー、及び摂取カテゴリーを含むが、これらに限定されない。
ヘルスケア関連のオブジェクト及び姿勢は、それらに対応するカテゴリーを有してもよい。ヘルスケア関連のオブジェクト及び姿勢のカテゴリーは、ヘルスケア関連のオブジェクト及び姿勢に関連するヘルスケアの種類に応じて判定してもよい。同じ又は類似の種類のヘルスケアに関連するヘルスケア関連のオブジェクト及び姿勢は、同じカテゴリーに対応してもよい。異なる種類のヘルスケアに関連するヘルスケア関連のオブジェクト及び姿勢は、異なるカテゴリーに対応してもよい。例えば、血糖計、及び血糖計を保持するための姿勢などのヘルスケア関連のオブジェクト及び姿勢は、血糖計を使用することに関連するカテゴリーに対応してもよい。血圧計、及び血圧計を保持するための姿勢などのヘルスケア関連のオブジェクト及び姿勢は、血圧計を使用することに関連するカテゴリーに対応してもよい。食事用器具と、食品を保持するための姿勢など、ヘルスケア関連のオブジェクト及び姿勢は、摂取に関連するカテゴリーに含まれてもよい。このようなヘルスケア関連のオブジェクト及び姿勢のカテゴリーの説明は一例に過ぎず、これらに限定されるものではない。
サーバーは、各ビデオのカテゴリーについて、特定の監視モデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。あるいは、サーバーは、各ビデオのカテゴリーについて、特定の検出モデル及び特定の確認モデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。
メインハンドビデオは、メインハンドが対象であるヘルスケア行為のビデオであってもよい。サブハンドビデオは、サブハンドが対象であるヘルスケア行為のビデオであってもよい。
サーバーは、メインハンドビデオ及びサブハンドビデオの両方を使用してトレーニングされたモデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。
メインハンドビデオ及びサブハンドビデオの両方を使用することに加えて、サーバーは、メインハンドが対象であるヘルスケア行為の実行と、サブハンドが対象であるヘルスケア行為の実行とを区別することによって、ヘルスケア行為が実行されたか否かを判定するためにトレーニングされたモデルを使用して、ヘルスケア行為が実行されたか否かを判定してもよい。この場合、サーバーは、ヘルスケア行為の実行又はヘルスケア行為の非実行として、ヘルスケア行為が実行されたか否かを判定せずに、メインハンドが対象であるヘルスケア行為の実行として、サブハンドが対象であるヘルスケア行為の実行として、又はヘルスケア行為の非実行として、ヘルスケア行為が実行されたか否かを判定する。
薬剤投与内容を判定する方法は、ヘルスケア内容を判定するする方法に拡張してもよい。以下、上述した薬剤投与内容を判定する方法の詳細から、主に、ヘルスケア内容を判定する方法に拡張する部分について説明する。
サーバーは、ヘルスケア内容を判定してもよい。ここで、ヘルスケア内容は、例えば、ユーザーによって測定された血圧又は血糖レベルがどのようなものであるか、ユーザーが摂取した食品がどのようなものであるか、ユーザーが摂取した食品の量がどれ位であるかなど、広義でヘルスケア行為が実行されたか否かの内容に関連する。
サーバーは、ビデオを分析し、ユーザーによって測定された血圧又は血糖レベルを取得してもよい。あるいは、サーバーは、ユーザー入力を受信し、ユーザーによって測定された血圧又は血糖レベルを取得してもよい。
サーバーは、ビデオを分析し、ユーザーが摂取した食品の種類又は量を取得してもよい。あるいは、サーバーは、ユーザー入力を受信し、ユーザーが摂取した食品の種類又は量を取得してもよい。
サーバーは、ヘルスケアに関連する様々な情報を管理してもよい。例えば、サーバーは、ユーザーのヘルスケアの現在の状態を管理してもよい。具体的な例として、サーバーは、ユーザーの測定装置使用スケジュールを管理してもよい。別の具体的な例として、サーバーは、ユーザーの摂取スケジュールを管理してもよい。
一実施形態による方法は、様々なコンピュータ手段によって実行可能なプログラム命令として実現されてもよく、コンピュータ読取可能な記録媒体に記憶されてもよい。コンピュータ読取可能な記録媒体は、プログラム命令、データファイル、データ構造などを個別に又は組み合わせて含んでもよい。コンピュータ読取可能な記録媒体に記憶されたプログラム命令は、本開示のために特別に設計および構成されてもよいし、コンピュータソフトウェアの当業者に周知であり、使用可能であってもよい。コンピュータ読取可能な記録媒体の例は、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体と、ＣＤ－ＲＯＭ、及びＤＶＤなどの光学式媒体と、フロプティカルディスクなどの光磁気媒体と、プログラム命令を記憶し実行するように特別に構成された、ＲＯＭ、ＲＡＭ、及びフラッシュメモリーなどのハードウェアデバイスとを含む。これらの組み合わせも含まれるが、これらに限定されるものではない。プログラム命令の例は、コンパイラによって作成された機械言語コート、及びインタープリターなどを使用してコンピュータによって実行可能な高級言語コードを含んでもよい。
本開示は、その例示的な実施形態を参照して説明してきたが、それに限定されるものではない。当業者には、本開示の精神及び範囲内で様々な変更及び修正を行うことができることが明らかであろう。したがって、そのような変更及び修正は、添付の特許請求の範囲に属することを理解されたい。
上記のベストモードに記載の通り、関連事項を記載している。

Claims (16)

  1. 薬剤が投与されたか否かを判定するためのサーバーであって、
    ウェアラブルデバイスによって記録されたビデオを受信するトランシーバーと、
    検出モデル及び確認モデルを記憶するメモリーであって、前記検出モデルは、予め設定されたターゲットのそれぞれが画像に現れるか否かを出力するようにトレーニングされ、前記確認モデルは、薬剤が投与されたか否かを出力するようにトレーニングされ、前記予め設定されたターゲットは、薬剤又は薬剤容器に関連するオブジェクト、及び薬剤投与に関連する姿勢を含むメモリーと、
    ビデオの画像フレームを前記検出モデルに入力することによって予め設定されたターゲットを検出し、検出モデルの検出結果に基づいて生成された確認モデル入力データを前記確認モデルに入力することによって薬剤が投与されたか否かを判定するように構成された１つ以上のプロセッサーと、を含み、
    前記姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含む、ことを特徴とするサーバー。
  2. 前記検出結果は、複数の検出モデル出力データを含み、前記検出モデル出力データのそれぞれは、前記ビデオの画像フレームのそれぞれに対応し、
    前記１つ以上のプロセッサーは、前記複数の検出モデル出力データを合成することによって前記確認モデル入力データを生成するようにさらに構成される、ことを特徴とする請求項１に記載のサーバー。
  3. 前記確認モデル入力データは、複数の前記検出モデル出力データを、対応する画像フレームの時系列情報に並べることによって生成される、ことを特徴とする請求項２に記載のサーバー。
  4. 前記検出モデルは、オブジェクト検出モデルと姿勢検出モデルとを含み、
    前記１つ以上のプロセッサーは、前記ビデオの画像フレームを前記オブジェクト検出モデルに入力することによってオブジェクトを検出し、前記ビデオの画像フレームを前記姿勢検出モデルに入力することによって前記姿勢を検出するようにさらに構成される、ことを特徴とする請求項１に記載のサーバー。
  5. 前記検出モデルは、１つ以上の予め設定された第１種類のターゲットを検出するための第１検出モデルと、１つ以上の予め設定された第２種類のターゲットを検出するための第２検出モデルとを含み、
    前記メモリーは、前記ビデオのカテゴリーを分類するための分類モデルを記憶し、
    前記１つ以上のプロセッサーは、
    前記ビデオ及び前記分類モデルを使用して前記ビデオのカテゴリーを定義し、
    前記ビデオのカテゴリーが前記第１種類に対応する第１カテゴリーに定義される場合、前記ビデオの画像フレームを前記第１検出モデルに入力することによって前記予め設定されたターゲットを検出し、
    前記ビデオのカテゴリーが前記第２種類に対応する第２カテゴリーに定義される場合、前記ビデオの画像フレームを前記第２検出モデルに入力することによって前記予め設定されたターゲットを検出するようにさらに構成される、ことを特徴とする請求項１に記載のサーバー。
  6. 前記確認モデルは、前記第１検出モデルに対応する第１確認モデルと、前記第２検出モデルに対応する第２確認モデルとを含み、
    前記１つ以上のプロセッサーは、
    前記ビデオのカテゴリーが前記第１カテゴリーに定義される場合、前記確認モデル入力データを前記第１確認モデルに入力することによって、薬剤が投与されたか否かを判定し、
    前記ビデオのカテゴリーが前記第２カテゴリーに定義される場合、前記確認モデル入力データを前記第２確認モデルに入力することによって、薬剤が投与されたか否かを判定するようにさらに構成される、ことを特徴とする請求項５に記載のサーバー。
  7. 前記１つ以上のプロセッサーは、
    前記検出結果及び前記確認モデル入力データが前記ビデオの画像フレーム内の前記予め設定されたターゲットの位置を反映するように、前記予め設定されたターゲットの位置を推定し、
    前記予め設定されたターゲットの位置を考慮して、薬剤が投与されたか否かを判定するようにさらに構成される、ことを特徴とする請求項１に記載のサーバー。
  8. 薬剤が投与されたか否かを判定するための、１つ以上のプロセッサーによって実行される方法であって、
    ウェアラブルデバイスによって記録されたビデオを受信するステップと、
    ビデオの画像フレームを検出モデルに入力することによって１つ以上の予め設定されたターゲットを検出するステップであって、前記検出モデルは、予め設定されたターゲットのそれぞれが画像に現れるか否かを出力するようにトレーニングされ、前記予め設定されたターゲットは、薬剤又は薬剤容器に関連するオブジェクト、及び薬剤投与に関連する姿勢を含むステップと、
    前記検出モデルの検出結果に基づいて生成された確認モデル入力データを確認モデルに入力することによって薬剤が投与されたか否かを判定するステップとを含み、
    前記姿勢は、薬剤容器を保持する姿勢及び薬剤を服用する姿勢の少なくとも一方を含む、ことを特徴とする方法。
  9. 前記検出結果は、複数の検出モデル出力データを含み、前記検出モデル出力データのそれぞれは、前記ビデオの画像フレームのそれぞれに対応し、
    前記方法は、前記複数の検出モデル出力データを合成することによって確認モデル入力データを生成するステップをさらに含む、ことを特徴とする請求項８に記載の方法。
  10. 前記確認モデル入力データは、前記検出モデル出力データの少なくとも幾つかを時系列に並べることによって生成される、ことを特徴とする請求項９に記載の方法。
  11. 前記検出モデルは、オブジェクト検出モデルと姿勢検出モデルとを含み、
    前記検出するステップは、
    前記ビデオの画像フレームを前記オブジェクト検出モデルに入力することによってオブジェクトを検出するステップと、
    前記ビデオの画像フレームを前記姿勢検出モデルに入力することによって姿勢を検出するステップとを含む、ことを特徴とする請求項８に記載の方法。
  12. 前記検出モデルは、１つ以上の予め設定された第１種類のターゲットを検出するための第１検出モデルと、１つ以上の予め設定された第２種類のターゲットを検出するための第２検出モデルとを含み、
    前記方法は、前記ビデオ及び分類モデルを使用して前記ビデオのカテゴリーを定義するステップをさらに含み、
    前記検出するステップは、
    前記ビデオのカテゴリーが前記第１種類に対応する第１カテゴリーに定義される場合、前記ビデオの画像フレームを前記第１検出モデルに入力することによって前記予め設定されたターゲットを検出するステップと、
    前記ビデオのカテゴリーが前記第２種類に対応する第２カテゴリーに定義される場合、前記ビデオの画像フレームを前記第２検出モデルに入力することによって前記予め設定されたターゲットを検出するステップとを含む、ことを特徴とする請求項８に記載の方法。
  13. 前記確認モデルは、前記第１検出モデルに対応する第１確認モデルと、前記第２検出モデルに対応する第２確認モデルとを含み、
    前記判定するステップは、
    前記ビデオのカテゴリーが前記第１カテゴリーに定義される場合、前記確認モデル入力データを前記第１確認モデルに入力することによって、薬剤が投与されたか否かを判定するステップと、
    前記ビデオのカテゴリーが前記第２カテゴリーに定義される場合、前記確認モデル入力データを前記第２確認モデルに入力することによって、薬剤が投与されたか否かを判定するステップとを含む、ことを特徴とする請求項１２に記載の方法。
  14. 前記検出するステップは、前記検出結果及び前記確認モデル入力データが前記ビデオの画像フレーム内の前記予め設定されたターゲットの位置を反映するように、前記予め設定されたターゲットの位置を推定するステップを含み、
    前記判定するステップは、前記予め設定されたターゲットの位置を考慮して、薬剤が投与されたか否かを判定するステップを含む、ことを特徴とする請求項８に記載の方法。
  15. 薬剤が投与されたか否かを判定するために検出モデル及び確認モデルをトレーニングするための、１つ以上のプロセッサーによって実行される方法であって、
    トレーニング画像及びトレーニング画像に対応する検出モデルラベルを含む検出モデルトレーニングデータを取得するステップであって、前記検出モデルラベルのそれぞれは、薬剤又は薬剤容器のクラス及び薬剤投与に関連する姿勢のクラスを有し、前記検出モデルラベルは、前記トレーニング画像の第１画像に対応する第１検出モデルラベル、及び前記トレーニング画像の第２画像に対応する第２検出モデルラベルを含むステップと、
    前記トレーニング画像を前記検出モデルに入力することによって出力データを取得するステップと、
    前記検出モデルラベルと前記検出モデルの出力データを比較することによって前記検出モデルを更新するステップと、
    確認モデル入力データ及び前記確認モデル入力データに対応する確認モデルラベルを含む確認モデルトレーニングデータを取得するステップであって、前記確認モデルラベルは、薬剤が投与されたか否かを判定するためのラベルを含み、前記確認モデル入力データは、前記検出モデルの出力データに基づいて生成されるステップと、
    前記確認モデル入力データを前記確認モデルに入力することによって、出力データを取得するステップと、
    前記確認モデルラベルと前記確認モデルの出力データとを比較することによって、前記確認モデルを更新するステップと、を含み、
    前記姿勢は、薬剤容器を保持する姿勢又は薬剤を服用する姿勢の少なくとも一方を含む、ことを特徴とする方法。
  16. 請求項８に記載の方法をコンピュータで実行するためのプログラムを記憶する非一過性のコンピュータ可読媒体。
JP2023512136A 2020-08-19 2021-08-19 薬剤が投与されたか否かを判定するための方法及びそれを使用するサーバー Pending JP2023538600A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR10-2020-0103633 2020-08-19
KR20200103633 2020-08-19
KR20200146394 2020-11-04
KR10-2020-0146394 2020-11-04
KR10-2021-0000496 2021-01-04
KR20210000496 2021-01-04
KR1020210040853A KR102344101B1 (ko) 2020-08-19 2021-03-30 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
KR10-2021-0040853 2021-03-30
PCT/KR2021/011033 WO2022039521A1 (en) 2020-08-19 2021-08-19 Method for determining whether medication has been administered and server using same

Publications (1)

Publication Number Publication Date
JP2023538600A true JP2023538600A (ja) 2023-09-08

Family

ID=79176590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023512136A Pending JP2023538600A (ja) 2020-08-19 2021-08-19 薬剤が投与されたか否かを判定するための方法及びそれを使用するサーバー

Country Status (6)

Country Link
US (6) US11457862B2 (ja)
EP (1) EP4200870A1 (ja)
JP (1) JP2023538600A (ja)
KR (9) KR102344449B1 (ja)
CN (1) CN116325021A (ja)
WO (2) WO2022039521A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6703679B1 (ja) * 2019-02-01 2020-06-03 株式会社計数技研 計数装置、学習器製造装置、計数方法、学習器製造方法、及びプログラム
US20220165381A1 (en) * 2020-11-24 2022-05-26 Electronic Caregiver, Inc. Systems and methods for detecting compliance with a medication regimen
EP4261833A1 (en) * 2022-04-11 2023-10-18 Ypsomed AG Guidance for a drug delivery process
WO2024010259A1 (ko) * 2022-07-08 2024-01-11 삼성전자주식회사 사용자의 상태를 식별하기 위한 웨어러블 장치 및 방법

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280376A (ja) 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
US9907473B2 (en) * 2015-04-03 2018-03-06 Koninklijke Philips N.V. Personal monitoring system
WO2011074744A1 (ko) * 2009-12-18 2011-06-23 주식회사 제윤 환자의 약 복용을 실시간 관리하는 약 복용 관리 시스템 및 약 복용 관리 방법
US9375142B2 (en) * 2012-03-15 2016-06-28 Siemens Aktiengesellschaft Learning patient monitoring and intervention system
JP6096654B2 (ja) 2013-12-27 2017-03-15 レノボ・シンガポール・プライベート・リミテッド 画像の記録方法、電子機器およびコンピュータ・プログラム
KR102135586B1 (ko) 2014-01-24 2020-07-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2015117226A1 (en) 2014-02-05 2015-08-13 Self Care Catalysts Inc. Systems, devices, and methods for analyzing and enhancing patient health
JP2015197803A (ja) 2014-04-01 2015-11-09 キヤノン株式会社 行動記録装置、行動記録方法及びプログラム
US9679113B2 (en) * 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
JP6460105B2 (ja) 2014-06-30 2019-01-30 パナソニックＩｐマネジメント株式会社 撮影方法、撮影システムおよび端末装置
KR101661555B1 (ko) 2014-07-14 2016-10-04 넥시스 주식회사 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
US9390610B2 (en) 2014-07-23 2016-07-12 Ncr Corporation Techniques for determining movement of a device away from a preferred location
US20160125217A1 (en) 2014-11-05 2016-05-05 Hand Held Products, Inc. Barcode scanning system using wearable device with embedded camera
US10395764B2 (en) * 2015-01-06 2019-08-27 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
US10441214B2 (en) 2015-01-29 2019-10-15 Kali Care, Inc. Monitoring adherence to a medication regimen using a sensor
KR102304693B1 (ko) 2015-02-12 2021-09-28 삼성전자주식회사 카메라 시스템의 제어 방법, 전자 장치 및 저장 매체
US10025908B1 (en) 2015-02-25 2018-07-17 Leonardo Y. Orellano Medication adherence systems and methods
KR20160104288A (ko) 2015-02-26 2016-09-05 엘지전자 주식회사 모바일 디바이스와 연동하여 식사 여부를 판단하는 웨어러블 디바이스 및 그 제어 방법
KR102318887B1 (ko) 2015-03-06 2021-10-29 삼성전자주식회사 웨어러블 전자 장치 및 그 제어 방법
KR102304744B1 (ko) 2015-04-07 2021-09-24 엘지전자 주식회사 웨어러블 단말기 및 이와 무선 통신하는 디스플레이 장치
US10319473B2 (en) 2015-04-20 2019-06-11 Kali Care, Inc. Wearable system for healthcare management
WO2016196140A1 (en) 2015-06-03 2016-12-08 Nuvizen Sensor-based medication systems
US20170004283A1 (en) 2015-07-01 2017-01-05 Casey LEWIS Methods and Systems for Medication Compliance Monitoring and Notification
KR102423830B1 (ko) 2015-11-10 2022-07-22 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
KR101765722B1 (ko) 2016-01-12 2017-08-08 소프트온넷(주) 인지형 차량 및 인상착의 객체 및 이벤트 인식, 추적, 검색, 예측을 위한 나레이티브 보고서 작성 시스템 및 방법
JP2017169732A (ja) 2016-03-23 2017-09-28 セイコーエプソン株式会社 情報処理装置、情報処理方法及びプログラム
KR101971695B1 (ko) * 2016-04-01 2019-04-25 한국전자통신연구원 복약 모니터링 장치 및 방법
KR101798890B1 (ko) 2016-07-14 2017-11-17 네이버 주식회사 일상 생활 습관의 행동 요소를 활용한 웨어러블 디바이스 사용자 인증 방법 및 그 시스템
KR101857629B1 (ko) 2016-09-09 2018-05-14 강원대학교산학협력단 웨어러블 혈당매니지먼트 시스템
KR20180028701A (ko) 2016-09-09 2018-03-19 엘지전자 주식회사 휴대용 카메라 및 그 제어방법
EP3321844B1 (en) * 2016-11-14 2021-04-14 Axis AB Action recognition in a video sequence
US10524726B2 (en) 2016-11-17 2020-01-07 Biointellisense, Inc. Medication adherence and/or counterfeit detection wearable electronic device
KR101908336B1 (ko) 2016-12-19 2018-10-16 박진수 웨어러블 디바이스를 활용한 실버세대 생활 모니터링 시스템
KR101986002B1 (ko) * 2017-01-17 2019-06-04 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체
US11687800B2 (en) * 2017-08-30 2023-06-27 P Tech, Llc Artificial intelligence and/or virtual reality for activity optimization/personalization
KR102053537B1 (ko) * 2017-12-07 2019-12-10 주식회사 라이너스 복약 관리 방법 및 장치
KR102112757B1 (ko) 2018-04-27 2020-05-20 주식회사 라이너스 환자 관리 방법 및 시스템
WO2019212122A1 (ko) 2018-04-30 2019-11-07 Lee Hwiwon 웨어러블 기기를 이용한 객체의 이벤트 감지 방법 및 이를 운용하는 관리 서버
KR101949102B1 (ko) * 2018-10-08 2019-02-18 박기준 복약 보조 시스템 및 이를 이용한 복약 보조 방법
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
KR102052558B1 (ko) 2019-04-30 2019-12-06 주식회사 비알네트콤 질환 예측 기반의 사용자 맞춤형 정보 제공 장치 및 그 방법

Also Published As

Publication number Publication date
CN116325021A (zh) 2023-06-23
US20220058439A1 (en) 2022-02-24
US20220054081A1 (en) 2022-02-24
KR102344338B1 (ko) 2021-12-29
KR102343525B1 (ko) 2021-12-27
WO2022039521A1 (en) 2022-02-24
US20220192593A1 (en) 2022-06-23
US11304656B2 (en) 2022-04-19
KR102344449B1 (ko) 2021-12-29
US11832962B2 (en) 2023-12-05
EP4200870A1 (en) 2023-06-28
US20230248305A1 (en) 2023-08-10
KR102343532B1 (ko) 2021-12-27
US11457862B2 (en) 2022-10-04
KR20220022887A (ko) 2022-02-28
KR102344101B1 (ko) 2021-12-29
US20220384029A1 (en) 2022-12-01
US11660048B2 (en) 2023-05-30
KR102595326B1 (ko) 2023-10-27
KR20220022886A (ko) 2022-02-28
KR20230006624A (ko) 2023-01-10
KR102476665B1 (ko) 2022-12-12
US11950922B2 (en) 2024-04-09
US20240050031A1 (en) 2024-02-15
WO2022039532A1 (ko) 2022-02-24
KR20230153326A (ko) 2023-11-06

Similar Documents

Publication Publication Date Title
JP2023538600A (ja) 薬剤が投与されたか否かを判定するための方法及びそれを使用するサーバー
JP7446295B2 (ja) 身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整
US10368810B2 (en) Method and apparatus for monitoring a functional capacity of an individual
Mishra et al. IoT health care monitoring and tracking: A survey
US20230343432A1 (en) Intelligent monitoring, interactive, and wireless internet connected medication adherence, analytics, and database solution
JP6904957B2 (ja) ロバストなヘルストラッキングサービス
Kalantarian et al. A wearable sensor system for medication adherence prediction
US10460438B1 (en) Apparatus and method for recognition of medication administration indicator
US11602488B2 (en) Connected pill dispenser
US20160071423A1 (en) Systems and method for monitoring an individual's compliance with a weight loss plan
US10535248B2 (en) Method of and apparatus for targeted interactive health status notification and confirmation
CN105120827B (zh) 用于可疑活动辨别的装置和方法
CN109887568A (zh) 基于医嘱的健康管理系统
US20160357940A1 (en) Systems and Methods for Connected Dispensing and Storage
US10395764B2 (en) Method and apparatus for recognition of patient activity
US11901059B2 (en) System and device for remote monitoring
US20180365385A1 (en) Monitoring and evaluating patient reactions to medications
CN114616627A (zh) 身体行为事件的自动检测和药物分配系统的对应调整
CN110544533A (zh) 依据医嘱进行健康监控的系统
US20230248614A1 (en) Connected medication dispenser
WO2024026240A1 (en) System incentivizing and adjusting drug delivery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514