KR20220022886A - 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버 - Google Patents

약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버 Download PDF

Info

Publication number
KR20220022886A
KR20220022886A KR1020210185689A KR20210185689A KR20220022886A KR 20220022886 A KR20220022886 A KR 20220022886A KR 1020210185689 A KR1020210185689 A KR 1020210185689A KR 20210185689 A KR20210185689 A KR 20210185689A KR 20220022886 A KR20220022886 A KR 20220022886A
Authority
KR
South Korea
Prior art keywords
drug
model
server
data
video
Prior art date
Application number
KR1020210185689A
Other languages
English (en)
Inventor
이휘원
유상필
Original Assignee
인핸드플러스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인핸드플러스 주식회사 filed Critical 인핸드플러스 주식회사
Publication of KR20220022886A publication Critical patent/KR20220022886A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4833—Assessment of subject's compliance to treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)

Abstract

본 출원은 약물 이행 여부를 판단하는 서버에 관한 것으로, 일 실시예에 의하면, 상기 서버는, 웨어러블 장치에서 촬영된 동영상을 수신하는 서버 통신부; 약물 이행 관련 객체(object) 및 동작(posture)을 검출하기 위한 검출(detection) 모델 및 약물 이행 여부를 확인하기 위한 확인(confirmation) 모델을 저장하는 서버 저장부; 및 상기 서버 통신부를 통해 수신된 동영상에 기초하여 상기 사용자의 약물 이행 여부를 판단하는 서버 제어부를 포함하고, 상기 서버 제어부는, 상기 동영상 및 상기 검출 모델을 이용하여 적어도 상기 약물 이행 관련 객체 및 동작이 상기 동영상 내에 존재하는지를 반영하는 확률 정보를 산출하고 - 상기 동영상은 복수의 이미지 프레임들을 포함하고 상기 복수의 이미지 프레임들 중 적어도 일부는 상기 웨어러블 장치의 사용자의 손바닥 중 적어도 일부 영역을 포함함 - , 상기 산출된 확률 정보 중 적어도 일부 및 상기 확인 모델을 이용하여 상기 사용자의 약물 이행 여부를 판단하고, 상기 약물 이행 관련 객체는 약물(medicine) 및 약물 컨테이너(medicine container) 중 적어도 하나를 포함하고, 상기 약물 이행 관련 동작은 약물 컨테이너를 잡는 동작 및 약물을 투여하는 동작 중 적어도 하나를 포함한다.

Description

약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버{METHOD FOR DETERMINING WHETHER MEDICATION ADHERENCE HAS BEEN FULFILLED AND SERVER USING SAME}
본 출원은 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버에 관한 것이다.
의료, 의학에 기초한 건강 관리는 이전부터 꾸준한 관심을 받아왔으며, 최근 의료기술의 발전에 따라 기대수명이 증가하면서 그 관심이 더 증대되었다. 이러한 건강 관리는 일상 생활 속에서 처방 받은 약을 복용하거나, 주기적으로 약물을 체내에 주입하거나, 또는 의료기구를 이용하여 건강 지표를 측정하는 등 일상 생활 속에서 사용자에 스스로에 의해 규칙적으로 이루어져야 한다.
상술한 건강 관리의 효과를 향상시키기 위해서는, 건강 관리와 관련된 사용자의 행위를 유도하거나 강제성을 부여할 필요가 있으며, 이를 위해 일상 생활 속에서 건강 관리와 관련된 사용자의 행동을 감지하여 건강 관리가 잘 이루어지고 있는지 확인하는 솔루션이 요구된다.
한편, 기존에는 사용자의 건강 관리에 관한 행위를 모니터링함에 있어서 사용자가 약물 이행 이전에 모니터링 장치를 구동하거나 스스로 자신의 행위를 기록하는 등 사용자의 행위가 요구되었고, 이로써 사용자가 자신의 행위를 망각하는 경우 건강 관리에 관한 정보가 수집되지 않는 등의 문제점이 있었다.
따라서, 사용자의 편의성과 건강 관리의 정확성을 고려할 때, 사용자가 일상 생활 속에서 사용자의 행위 없이도 자동으로 건강 관리에 대한 행위를 모니터링하는 솔루션의 개발이 필요한 실정이다.
KR 2016-0120131 A KR 2052558 B1 KR 1908336 B1 KR 1857629 B1
본 명세서에서 해결하고자 하는 일 과제는 약물 이행 여부를 정확히 판단할 수 있는 방법 및 이를 이용하는 서버를 제공하는 것에 있다.
본 명세서에서 해결하고자 하는 일 과제는 스마트 워치와 같은 웨어러블 장치가 촬영한 동영상을 이용하여 약물 이행 여부를 판단할 수 있는 방법 및 이를 이용하는 서버를 제공하는 것에 있다.
본 명세서에서 해결하고자 하는 일 과제는 다양한 유형의 약물 이행 상황을 처리할 수 있는 방법 및 이를 이용하는 서버를 제공하는 것에 있다.
본 명세서에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 의하면, 약물 이행 여부를 판단하는 서버에 있어서, 상기 서버는, 웨어러블 장치에서 촬영된 동영상을 수신하는 서버 통신부; 약물 이행 관련 객체(object) 및 동작(posture)을 검출하기 위한 검출(detection) 모델 및 약물 이행 여부를 확인하기 위한 확인(confirmation) 모델을 저장하는 서버 저장부; 및 상기 서버 통신부를 통해 수신된 동영상에 기초하여 상기 사용자의 약물 이행 여부를 판단하는 서버 제어부를 포함할 수 있고, 상기 서버 제어부는, 상기 동영상 및 상기 검출 모델을 이용하여 적어도 상기 약물 이행 관련 객체 및 동작이 상기 동영상 내에 존재하는지를 반영하는 확률 정보를 산출할 수 있고 - 상기 동영상은 복수의 이미지 프레임들을 포함하고 상기 복수의 이미지 프레임들 중 적어도 일부는 상기 웨어러블 장치의 사용자의 손바닥 중 적어도 일부 영역을 포함함 - , 상기 산출된 확률 정보 중 적어도 일부 및 상기 확인 모델을 이용하여 상기 사용자의 약물 이행 여부를 판단할 수 있고, 상기 약물 이행 관련 객체는 약물(medicine) 및 약물 컨테이너(medicine container) 중 적어도 하나를 포함할 수 있고, 상기 약물 이행 관련 동작은 약물 컨테이너를 잡는 동작 및 약물을 투여하는 동작 중 적어도 하나를 포함할 수 있다.
일 실시예에 의하면, 컴퓨팅 수단에 의해 수행되는 약물 이행 여부를 판단하는 방법에 있어서, 상기 방법은, 복수의 이미지 프레임들을 포함하는 동영상을 수신하는 단계, 상기 복수의 이미지 프레임들 중 적어도 일부는 사용자의 손바닥 중 적어도 일부 영역을 포함함; 약물 이행 관련 객체 및 동작을 검출하기 위한 검출 모델 및 상기 동영상을 이용하여 적어도 상기 약물 이행 관련 객체 및 동작이 상기 동영상 내에 존재하는지를 반영하는 확률 정보를 산출하는 단계; 및 상기 산출된 확률 정보 중 적어도 일부 및 약물 이행 여부를 확인하기 위한 확인 모델을 이용하여 상기 사용자의 약물 이행 여부를 판단하는 단계를 포함할 수 있고, 상기 약물 이행 관련 객체는 약물(medicine) 및 약물 컨테이너(medicine container) 중 적어도 하나를 포함할 수 있고, 상기 약물 이행 관련 동작은 약물 컨테이너를 잡는 동작 및 약물을 투여하는 동작 중 적어도 하나를 포함할 수 있다.
일 실시예에 의하면, 컴퓨팅 수단에 의해 수행되는 약물 이행 여부를 판단하는 모델의 학습 방법에 있어서, 상기 학습 방법은, 복수의 학습 이미지 프레임들을 포함하는 학습 동영상 및 상기 복수의 학습 이미지 프레임들에 대응하는 검출 모델 레이블 데이터를 포함하는 검출 모델 학습 데이터를 준비하는 단계, 상기 복수의 학습 이미지 프레임들 중 적어도 일부는 사용자의 손바닥 중 적어도 일부 영역을 포함하고, 상기 검출 모델 레이블 데이터는 약물 이행 관련 객체 및 동작이 상기 복수의 학습 이미지 프레임들 내에 존재하는지를 반영함; 상기 검출 모델 학습 데이터를 이용하여 약물 이행 관련 객체 및 동작을 검출하기 위한 검출 모델을 업데이트하는 단계; 상기 학습 동영상에 기초하여 생성된 학습용 확인 모델 입력 데이터 및 상기 학습용 확인 모델 입력 데이터에 대응하고 약물 이행 여부를 지시하는 확인 모델 레이블 데이터를 포함하는 확인 모델 학습 데이터를 준비하는 단계, 상기 학습용 확인 모델 입력 데이터는 상기 학습 동영상에 포함된 약물 이행 관련 객체 및 동작을 반영함; 및 상기 확인 모델 학습 데이터를 이용하여 약물 이행 여부를 확인하기 위한 확인 모델을 업데이트하는 단계를 포함할 수 있고, 상기 약물 이행 관련 객체는 약물(medicine) 및 약물 컨테이너(medicine container) 중 적어도 하나를 포함할 수 있고, 상기 약물 이행 관련 동작은 약물 컨테이너를 잡는 동작 및 약물을 투여하는 동작 중 적어도 하나를 포함할 수 있다.
본 명세서의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 실시예에 따르면, 약물 이행 관련 동작을 약물 이행 관련 객체와 함께 고려하여 약물 이행 여부 판단의 정확도가 향상되는 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버가 제공될 수 있다.
본 명세서의 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 약물 이행 과정에 관한 도면이다.
도 2는 일 실시예에 따른 약물 이행 여부를 판단하는 시스템에 관한 도면이다.
도 3은 일 실시예에 따른 무선 통신 장치에 관한 블록도이다.
도 4는 일 실시예에 따른 웨어러블 장치에 관한 블록도이다.
도 5는 일 실시예에 따른 서버에 관한 블록도이다.
도 6 및 도 7은 일 실시예에 따른 모니터링 모델을 이용하여 약물 이행 여부를 판단하는 방법에 관한 도면이다.
도 8 및 도 9는 일 실시예에 따른 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단하는 방법에 관한 도면이다.
도 10은 일 실시예에 따른 검출 모델을 이용한 약물 이행 관련 객체 및 동작 검출에 관한 도면이다.
도 11은 약물 이행 관련 객체의 몇몇 유형에 관한 도면이다.
도 12는 약물 이행 관련 동작의 몇몇 유형에 관한 도면이다.
도 13은 검출 모델 출력 데이터의 일 예에 관한 도면이다.
도 14는 일 실시예에 따른 객체 검출 모델 및 동작 검출 모델을 포함하는 검출 모델에 관한 도면이다.
도 15는 일 실시예에 따른 확인 모델을 이용한 약물 이행 여부 판단에 관한 도면이다.
도 16은 일 실시예에 따른 검출 모델 출력 데이터 및 확인 모델 입력 데이터에 관한 도면이다.
도 17은 일 실시예에 따른 분류 모델을 이용하여 약물 이행 여부를 판단하는 방법에 관한 도면이다.
도 18 내지 도 20은 일 실시예에 따른 분류 모델에 관한 도면이다.
도 21 및 도 22는 일 실시예에 따른 분류된 카테고리 및 동영상을 이용한 약물 이행 여부 판단에 관한 도면이다.
도 23은 일 실시예에 따른 모델의 학습 방법에 관한 도면이다.
도 24 내지 도 28은 일 실시예에 따른 검출 모델 학습 데이터에 관한 도면이다.
도 29는 모니터링 모델을 이용한 약물 이행 여부를 판단하는 방법의 실시예인 제1 실시예에 관한 도면이다.
도 30 및 도 31은 검출 모델 및 확인 모델을 이용한 약물 이행 여부를 판단하는 방법의 실시예인 제2 실시예에 관한 도면이다.
도 32는 분류 모델을 이용한 약물 이행 여부를 판단하는 방법의 실시예인 제3 실시예에 관한 도면이다.
도 33 및 도 34는 일 실시예에 따른 메인 핸드가 주체가 된 약물 이행 및 서브 핸드가 주체가 된 약물 이행에 관한 도면이다.
도 35는 일 실시예에 따른 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행의 구분 여부에 따른 약물 이행 여부 판단의 결과에 관한 도면이다.
도 36은 일 실시예에 따른 일부 이미지 프레임이 제거된 동영상을 이용한 모델 학습을 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 학습 동영상의 일부 이미지 프레임을 제거하는 방법에 관한 도면이다.
도 38은 일 실시예에 따른 학습용 확인 모델 입력 데이터의 일부 서브 데이터를 제거하는 방법에 관한 도면이다.
도 39는 일 실시예에 따른 일부 약물 이행 과정이 누락된 상황을 고려하여 학습된 모델에 관한 도면이다.
도 40은 일 실시예에 따른 연속적인 이미지 프레임 제거 및 랜덤한 이미지 프레임 제거에 관한 도면이다.
도 41은 일 실시예에 따른 이미지 프레임 선별에 관한 도면이다.
도 42는 일 실시예에 따른 알약 복용에 있어서의 약제 정보 판단에 관한 도면이다.
도 43은 원격 의료 적용의 일 예인 따른 보조 의견 리포트 제공에 관한 도면이다.
도 44는 원격 의료 적용의 다른 예인 처방 리포트 제공에 관한 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
일 실시예에 의하면, 약물 이행 여부를 판단하는 서버에 있어서, 상기 서버는, 웨어러블 장치에서 촬영된 동영상을 수신하는 서버 통신부; 약물 이행 관련 객체(object) 및 동작(posture)을 검출하기 위한 검출(detection) 모델 및 약물 이행 여부를 확인하기 위한 확인(confirmation) 모델을 저장하는 서버 저장부; 및 상기 서버 통신부를 통해 수신된 동영상에 기초하여 상기 사용자의 약물 이행 여부를 판단하는 서버 제어부를 포함할 수 있고, 상기 서버 제어부는, 상기 동영상 및 상기 검출 모델을 이용하여 적어도 상기 약물 이행 관련 객체 및 동작이 상기 동영상 내에 존재하는지를 반영하는 확률 정보를 산출할 수 있고 - 상기 동영상은 복수의 이미지 프레임들을 포함하고 상기 복수의 이미지 프레임들 중 적어도 일부는 상기 웨어러블 장치의 사용자의 손바닥 중 적어도 일부 영역을 포함함 - , 상기 산출된 확률 정보 중 적어도 일부 및 상기 확인 모델을 이용하여 상기 사용자의 약물 이행 여부를 판단할 수 있고, 상기 약물 이행 관련 객체는 약물(medicine) 및 약물 컨테이너(medicine container) 중 적어도 하나를 포함할 수 있고, 상기 약물 이행 관련 동작은 약물 컨테이너를 잡는 동작 및 약물을 투여하는 동작 중 적어도 하나를 포함할 수 있다.
상기 서버 제어부는, 상기 확률 정보를 산출함에 있어, 상기 동영상의 전체 이미지 프레임들 각각에 대해 상기 확률 정보를 산출할 수 있고, 상기 사용자의 약물 이행 여부를 판단함에 있어, 상기 전체 이미지 프레임들 각각에 대해 산출된 확률 정보를 종합하여 상기 전체 이미지 프레임들을 반영하는 확인 모델 입력 데이터를 생성할 수 있고, 상기 확인 모델 및 상기 확인 모델 입력 데이터를 이용하여 상기 사용자의 약물 이행 여부를 판단할 수 있다.
상기 확인 모델 입력 데이터는, 상기 전체 이미지 프레임들 각각에 대해 산출된 확률 정보 중 적어도 일부가 시계열적으로 배열될 수 있다.
상기 검출 모델은, 상기 약물 이행 관련 객체를 검출하기 위한 객체 검출 모델 및 상기 약물 이행 관련 동작을 검출하기 위한 동작 검출 모델을 포함할 수 있고, 상기 서버 제어부는, 상기 확률 정보를 산출함에 있어, 상기 객체 검출 모델을 이용하여 상기 약물 이행 관련 객체에 관한 확률 정보를 산출할 수 있고 상기 동작 검출 모델을 이용하여 상기 약물 이행 관련 동작에 관한 확률 정보를 산출할 수 있다.
상기 검출 모델은, 제1 유형의 약물 이행 관련 객체 및 동작을 검출하기 위한 제1 검출 모델 및 제2 유형의 약물 이행 관련 객체 및 동작을 검출하기 위한 제2 검출 모델을 포함할 수 있고, 상기 서버 저장부는, 상기 동영상의 카테고리를 분류하기 위한 분류 모델을 저장할 수 있고, 상기 서버 제어부는, 상기 동영상 및 상기 분류 모델을 이용하여 상기 동영상의 카테고리를 분류할 수 있고, 상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 검출 모델을 이용하여 상기 확률 정보를 산출할 수 있고, 상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 검출 모델을 이용하여 상기 확률 정보를 산출할 수 있다.
상기 확인 모델은, 상기 제1 검출 모델에 대응하는 제1 확인 모델 및 상기 제2 검출 모델에 대응하는 제2 확인 모델을 포함할 수 있고, 상기 서버 제어부는, 상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 확인 모델을 이용하여 상기 약물 이행 여부를 판단할 수 있고, 상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 확인 모델을 이용하여 상기 약물 이행 여부를 판단할 수 있다.
상기 확률 정보는, 상기 약물 이행 관련 객체 및 동작의 이미지 프레임 내에서의 위치를 더 반영할 수 있고, 상기 서버 제어부는, 상기 약물 이행 관련 객체 및 동작의 이미지 프레임 내에서의 위치를 고려하여 상기 사용자의 약물 이행 여부를 판단할 수 있다.
일 실시예에 의하면, 컴퓨팅 수단에 의해 수행되는 약물 이행 여부를 판단하는 방법에 있어서, 상기 방법은, 복수의 이미지 프레임들을 포함하는 동영상을 수신하는 단계, 상기 복수의 이미지 프레임들 중 적어도 일부는 사용자의 손바닥 중 적어도 일부 영역을 포함함; 약물 이행 관련 객체 및 동작을 검출하기 위한 검출 모델 및 상기 동영상을 이용하여 적어도 상기 약물 이행 관련 객체 및 동작이 상기 동영상 내에 존재하는지를 반영하는 확률 정보를 산출하는 단계; 및 상기 산출된 확률 정보 중 적어도 일부 및 약물 이행 여부를 확인하기 위한 확인 모델을 이용하여 상기 사용자의 약물 이행 여부를 판단하는 단계를 포함할 수 있고, 상기 약물 이행 관련 객체는 약물(medicine) 및 약물 컨테이너(medicine container) 중 적어도 하나를 포함할 수 있고, 상기 약물 이행 관련 동작은 약물 컨테이너를 잡는 동작 및 약물을 투여하는 동작 중 적어도 하나를 포함할 수 있다.
상기 확률 정보는, 상기 동영상의 전체 이미지 프레임들 각각에 대해 산출될 수 있고, 상기 사용자의 약물 이행 여부를 판단하는 단계는, 상기 전체 이미지 프레임들 각각에 대해 산출된 확률 정보를 종합하여 상기 전체 이미지 프레임들을 반영하는 확인 모델 입력 데이터를 생성하는 단계 및 상기 확인 모델 및 상기 확인 모델 입력 데이터를 이용하여 상기 사용자의 약물 이행 여부를 판단하는 단계를 포함할 수 있다.
상기 확인 모델 입력 데이터는, 상기 전체 이미지 프레임들 각각에 대해 산출된 확률 정보 중 적어도 일부가 시계열적으로 배열될 수 있다.
상기 검출 모델은, 상기 약물 이행 관련 객체를 검출하기 위한 객체 검출 모델 및 상기 약물 이행 관련 동작을 검출하기 위한 동작 검출 모델을 포함할 수 있고, 상기 확률 정보를 산출하는 단계는, 상기 객체 검출 모델을 이용하여 상기 약물 이행 관련 객체에 관한 확률 정보를 산출할 수 있고 상기 동작 검출 모델을 이용하여 상기 약물 이행 관련 동작에 관한 확률 정보를 산출할 수 있다.
상기 검출 모델은, 제1 유형의 약물 이행 관련 객체 및 동작을 검출하기 위한 제1 검출 모델 및 제2 유형의 약물 이행 관련 객체 및 동작을 검출하기 위한 제2 검출 모델을 포함할 수 있고, 상기 방법은, 상기 동영상 및 상기 동영상의 카테고리를 분류하기 위한 분류 모델을 이용하여 상기 동영상의 카테고리를 분류하는 단계를 더 포함할 수 있고, 상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 검출 모델을 이용하여 상기 확률 정보를 산출할 수 있고, 상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 검출 모델을 이용하여 상기 확률 정보를 산출할 수 있다.
상기 확인 모델은, 상기 제1 검출 모델에 대응하는 제1 확인 모델 및 상기 제2 검출 모델에 대응하는 제2 확인 모델을 포함할 수 있고, 상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 확인 모델을 이용하여 상기 약물 이행 여부를 판단할 수 있고, 상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 확인 모델을 이용하여 상기 약물 이행 여부를 판단할 수 있다.
상기 확률 정보는, 상기 약물 이행 관련 객체 및 동작의 이미지 프레임 내에서의 위치를 더 반영할 수 있고, 상기 약물 이행 관련 객체 및 동작의 이미지 프레임 내에서의 위치를 고려하여 상기 사용자의 약물 이행 여부를 판단할 수 있다.
일 실시예에 의하면, 컴퓨팅 수단에 의해 수행되는 약물 이행 여부를 판단하는 모델의 학습 방법에 있어서, 상기 학습 방법은, 복수의 학습 이미지 프레임들을 포함하는 학습 동영상 및 상기 복수의 학습 이미지 프레임들에 대응하는 검출 모델 레이블 데이터를 포함하는 검출 모델 학습 데이터를 준비하는 단계, 상기 복수의 학습 이미지 프레임들 중 적어도 일부는 사용자의 손바닥 중 적어도 일부 영역을 포함하고, 상기 검출 모델 레이블 데이터는 약물 이행 관련 객체 및 동작이 상기 복수의 학습 이미지 프레임들 내에 존재하는지를 반영함; 상기 검출 모델 학습 데이터를 이용하여 약물 이행 관련 객체 및 동작을 검출하기 위한 검출 모델을 업데이트하는 단계; 상기 학습 동영상에 기초하여 생성된 학습용 확인 모델 입력 데이터 및 상기 학습용 확인 모델 입력 데이터에 대응하고 약물 이행 여부를 지시하는 확인 모델 레이블 데이터를 포함하는 확인 모델 학습 데이터를 준비하는 단계, 상기 학습용 확인 모델 입력 데이터는 상기 학습 동영상에 포함된 약물 이행 관련 객체 및 동작을 반영함; 및 상기 확인 모델 학습 데이터를 이용하여 약물 이행 여부를 확인하기 위한 확인 모델을 업데이트하는 단계를 포함할 수 있고, 상기 약물 이행 관련 객체는 약물(medicine) 및 약물 컨테이너(medicine container) 중 적어도 하나를 포함할 수 있고, 상기 약물 이행 관련 동작은 약물 컨테이너를 잡는 동작 및 약물을 투여하는 동작 중 적어도 하나를 포함할 수 있다.
일 실시예에 의하면, 컴퓨팅 수단에 의해 수행되는 사용자의 손목에 착용되는 웨어러블 장치에 의해 수집된 정보를 통해 약물 이행 여부를 판단하는 모니터링 모델의 학습 방법에 있어서, 상기 학습 방법은, 웨어러블 장치를 착용한 손인 메인 핸드가 주체가 된 약물 이행을 나타내는 메인 핸드 학습 동영상 및 상기 메인 핸드 학습 동영상에 대응하는 제1 레이블 데이터를 포함하는 메인 핸드 학습 데이터를 준비하는 단계, 상기 제1 레이블 데이터는 약물 이행을 지시함; 웨어러블 장치를 착용하지 않은 손인 서브 핸드가 주체가 된 약물 이행을 나타내는 서브 핸드 학습 동영상 및 상기 서브 핸드 학습 동영상에 대응하는 제2 레이블 데이터를 포함하는 서브 핸드 학습 데이터를 준비하는 단계, 상기 제2 레이블 데이터는 약물 이행을 지시함; 상기 메인 핸드 학습 데이터 및 상기 서브 핸드 학습 데이터 중 어느 하나를 이용하여 상기 모니터링 모델을 업데이트하는 단계; 및 상기 메인 핸드 학습 데이터 및 상기 서브 핸드 학습 데이터 중 다른 하나를 이용하여 상기 업데이트된 모니터링 모델을 다시 업데이트하는 단계를 포함할 수 있다.
상기 제1 레이블 데이터는 상기 메인 핸드가 주체가 된 약물 이행을 지시하는 메인 핸드 레이블을 포함할 수 있고, 상기 제2 레이블 데이터는 상기 서브 핸드가 주체가 된 약물 이행을 지시하는 서브 핸드 레이블을 포함할 수 있고, 상기 모니터링 모델은 상기 메인 핸드가 주체가 된 약물 이행 및 상기 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단할 수 있다.
상기 학습 방법은, 약물 불이행을 나타내는 약물 불이행 학습 동영상 및 상기 약물 불이행 학습 동영상에 대응하는 약물 불이행 레이블 데이터를 포함하는 약물 불이행 학습 데이터를 준비하는 단계, 상기 약물 불이행 레이블 데이터는 약물 불이행을 지시함; 및 상기 약물 불이행 학습 데이터를 이용하여 상기 업데이트된 모니터링 모델을 다시 업데이트하는 단계를 더 포함할 수 있다.
일 실시예에 의하면, 컴퓨팅 수단에 의해 수행되는 사용자의 손목에 착용되는 웨어러블 장치에 의해 수집된 정보를 통해 약물 이행 여부를 판단하는 모델 - 상기 모델은 약물 이행 관련 객체 및 동작 중 적어도 하나를 검출하기 위한 검출 모델 및 약물 이행 여부를 확인하기 위한 확인 모델을 포함함 - 의 학습 방법에 있어서, 상기 학습 방법은, 웨어러블 장치를 착용한 손인 메인 핸드가 주체가 된 약물 이행을 나타내는 메인 핸드 학습 동영상, 상기 약물 이행 관련 객체 및 동작 중 적어도 하나가 상기 메인 핸드 학습 동영상 내에 존재하는지를 반영하는 메인 핸드 확률 정보 및 상기 메인 핸드 학습 동영상에 대응하고 약물 이행을 지시하는 제1 레이블 데이터를 포함하는 메인 핸드 학습 데이터를 준비하는 단계; 웨어러블 장치를 착용하지 않은 손인 서브 핸드가 주체가 된 약물 이행을 나타내는 서브 핸드 학습 동영상, 상기 약물 이행 관련 객체 및 동작 중 적어도 하나가 상기 서브 핸드 학습 동영상 내에 존재하는지를 반영하는 서브 핸드 확률 정보 및 상기 서브 핸드 학습 동영상에 대응하고 약물 이행을 지시하는 제2 레이블 데이터를 포함하는 서브 핸드 학습 데이터를 준비하는 단계; 상기 메인 핸드 학습 데이터 중 적어도 일부 및 상기 서브 핸드 학습 데이터 중 적어도 일부를 이용하여 상기 검출 모델을 업데이트하는 단계; 및 상기 메인 핸드 학습 데이터 중 적어도 일부 및 상기 서브 핸드 학습 데이터 중 적어도 일부를 이용하여 상기 확인 모델을 업데이트하는 단계를 포함할 수 있다.
상기 확인 모델은, 상기 업데이트된 검출 모델의 출력 데이터를 더 이용하여 업데이트될 수 있다.
상기 검출 모델은, 상기 메인 핸드 학습 동영상, 상기 메인 핸드 확률 정보, 상기 서브 핸드 학습 동영상 및 상기 서브 핸드 확률 정보를 이용하여 업데이트될 수 있고, 상기 확인 모델은, 상기 메인 핸드 확률 정보, 상기 제1 레이블 데이터, 상기 서브 핸드 확률 정보 및 상기 제2 레이블 데이터를 이용하여 업데이트될 수 있다.
상기 제1 레이블 데이터는 상기 메인 핸드가 주체가 된 약물 이행을 지시하는 메인 핸드 레이블을 포함할 수 있고, 상기 제2 레이블 데이터는 상기 서브 핸드가 주체가 된 약물 이행을 지시하는 서브 핸드 레이블을 포함할 수 있고, 상기 확인 모델은 상기 메인 핸드가 주체가 된 약물 이행 및 상기 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단할 수 있다.
일 실시예에 의하면, 컴퓨팅 수단에 의해 수행되는 사용자의 손목에 착용되는 웨어러블 장치에 의해 수집된 정보를 통해 약물 이행 여부를 판단하는 방법에 있어서, 상기 방법은, 복수의 이미지 프레임들을 포함하는 동영상을 수신하는 단계, 상기 복수의 이미지 프레임들 중 적어도 일부는 사용자의 손바닥 중 적어도 일부 영역을 포함함; 및 약물 이행 여부를 판단하기 위한 모니터링 모델 및 상기 동영상을 이용하여 상기 사용자의 약물 이행 여부를 판단하는 단계를 포함할 수 있고, 상기 모니터링 모델은, 메인 핸드 학습 데이터 및 서브 핸드 학습 데이터 중 어느 하나를 이용하여 업데이트 된 후 다른 하나를 이용하여 다시 업데이트될 수 있고, 상기 메인 핸드 학습 데이터는, 웨어러블 장치를 착용한 손인 메인 핸드가 주체가 된 약물 이행을 나타내는 메인 핸드 학습 동영상 및 상기 메인 핸드 학습 동영상에 대응하고 약물 이행을 지시하는 제1 레이블 데이터를 포함할 수 있고, 상기 서브 핸드 학습 데이터는, 웨어러블 장치를 착용하지 않은 손인 서브 핸드가 주체가 된 약물 이행을 나타내는 서브 핸드 학습 동영상 및 상기 서브 핸드 학습 동영상에 대응하고 약물 이행을 지시하는 제2 레이블 데이터를 포함할 수 있다.
상기 제1 레이블 데이터는 상기 메인 핸드가 주체가 된 약물 이행을 지시하는 메인 핸드 레이블을 포함할 수 있고, 상기 제2 레이블 데이터는 상기 서브 핸드가 주체가 된 약물 이행을 지시하는 서브 핸드 레이블을 포함할 수 있고, 상기 모니터링 모델은 상기 메인 핸드가 주체가 된 약물 이행 및 상기 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단할 수 있다.
일 실시예에 의하면, 사용자의 손목에 착용되는 웨어러블 장치에 의해 수집된 정보를 통해 약물 이행 여부를 판단하는 서버에 있어서, 상기 서버는, 상기 웨어러블 장치에서 촬영된 동영상을 수신하는 서버 통신부; 약물 이행 여부를 판단하기 위한 모니터링 모델을 저장하는 서버 저장부; 및 상기 서버 통신부를 통해 수신된 동영상 및 상기 모니터링 모델을 이용하여 상기 사용자의 약물 이행 여부를 판단하는 서버 제어부를 포함할 수 있고, 상기 모니터링 모델은, 적어도 웨어러블 장치를 착용한 손인 메인 핸드가 주체가 된 약물 이행을 나타내는 메인 핸드 학습 동영상을 이용하여 학습될 수 있고, 상기 서버 제어부는, 상기 동영상이 웨어러블 장치를 착용하지 않은 손인 서브 핸드가 주체가 된 약물 이행을 나타내더라도, 상기 동영상 및 상기 모니터링 모델을 이용하여 상기 사용자가 약물을 이행한 것으로 판단할 수 있다.
상기 서버 제어부는, 상기 사용자의 약물 이행 여부를 판단함에 있어 상기 메인 핸드가 주체가 된 약물 이행 및 상기 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단할 수 있다.
일 실시예에 의하면, 약물 이행 여부를 판단하는 서버에 있어서, 상기 서버는, 웨어러블 장치에서 촬영되는 동영상을 수신하는 서버 통신부; 약물 이행 여부를 판단하기 위한 모델을 저장하는 서버 저장부, 상기 모델은 제1 약물 이행 관련 객체에 대응하는 제1 모델 및 제2 약물 이행 관련 객체에 대응하는 제2 모델을 포함함; 및 상기 서버 통신부를 통해 수신된 동영상에 기초하여 사용자의 약물 이행 여부를 판단하는 서버 제어부를 포함할 수 있고, 상기 서버 제어부는, 상기 제1 약물 이행 관련 객체에 관한 제1 카테고리 및 상기 제2 약물 이행 관련 객체에 관한 제2 카테고리 중 하나로 상기 동영상의 카테고리를 분류할 수 있고, 상기 동영상의 카테고리가 상기 제1 카테고리로 분류된 경우, 상기 제1 모델 및 상기 동영상을 이용하여 상기 사용자의 약물 이행 여부를 판단할 수 있고, 상기 동영상의 카테고리가 상기 제2 카테고리로 분류된 경우, 상기 제2 모델 및 상기 동영상을 이용하여 상기 사용자의 약물 이행 여부를 판단할 수 있다.
상기 서버 저장부는, 상기 동영상의 카테고리를 분류하기 위한 분류 모델을 저장할 수 있고, 상기 서버 제어부는, 상기 분류 모델 및 상기 동영상을 이용하여 상기 동영상의 카테고리를 분류할 수 있다.
상기 분류 모델은, 상기 제1 약물 이행 관련 객체 및 상기 제2 약물 이행관련 객체를 모두 고려하여 카테고리를 분류할 수 있고, 상기 서버 제어부는, 상기 제1 모델을 이용하여 약물 이행 여부를 판단하는 경우, 상기 제1 약물 이행 관련 객체 및 상기 제1 약물 이행 관련 객체에 대응하는 제1 약물 이행 관련 동작은 고려하되 상기 제2 약물 이행 관련 객체는 고려하지 않고 약물 이행 여부를 판단할 수 있고, 상기 제2 모델을 이용하여 약물 이행 여부를 판단하는 경우, 상기 제2 약물 이행 관련 객체 및 상기 제2 약물 이행 관련 객체에 대응하는 제2 약물 이행 관련 동작은 고려하되 상기 제1 약물 이행 관련 객체는 고려하지 않고 약물 이행 여부를 판단할 수 있다.
상기 분류 모델은, 상기 제1 약물 이행 관련 동작 및 상기 제2 약물 이행 관련 동작을 더 고려하여 카테고리를 분류할 수 있다.
상기 동영상은 복수의 이미지 프레임들을 포함할 수 있고, 상기 서버 제어부는, 상기 복수의 이미지 프레임들 각각을 상기 분류 모델에 입력하여 상기 제1 약물 이행 관련 객체가 나타난 이미지 프레임의 개수를 반영하는 제1 값 및 상기 제2 약물 이행 관련 객체가 나타난 이미지 프레임의 개수를 반영하는 제2 값을 산출할 수 있고, 상기 제1 값 및 상기 제2 값을 이용하여 상기 동영상의 카테고리를 분류할 수 있다.
상기 동영상은 복수의 이미지 프레임들을 포함할 수 있고, 상기 서버 제어부는, 상기 복수의 이미지 프레임들 각각을 상기 분류 모델에 입력하여, 상기 복수의 이미지 프레임들에 포함된 상기 제1 약물 이행 관련 객체의 전체 개수를 반영하는 제1 값 및 상기 복수의 이미지 프레임들에 포함된 상기 제2 약물 이행 관련 객체의 전체 개수를 반영하는 제2 값을 산출할 수 있고, 상기 제1 값 및 상기 제2 값을 이용하여 상기 동영상의 카테고리를 분류할 수 있다.
상기 서버 통신부는, 상기 동영상의 카테고리를 지시하는 데이터를 수신할 수 있고, 상기 서버 제어부는, 상기 수신된 데이터에 따라 상기 동영상의 카테고리를 분류할 수 있다.
상기 서버 제어부는, 상기 모델에 의해 판단된 상기 사용자의 약물 이행 여부에 관한 정보 및 상기 분류된 동영상의 카테고리에 관한 정보를 상기 서버 저장부에 저장할 수 있다.
상기 서버 및 관리 서버를 포함하는 시스템에 있어서, 상기 관리 서버는, 상기 서버로부터 상기 사용자의 약물 이행 여부에 관한 정보 및 상기 분류된 동영상의 카테고리에 관한 정보를 수신할 수 있고, 상기 사용자의 약물 이행 스케쥴을 획득할 수 있고, 상기 사용자의 약물 이행 여부에 관한 정보 및 상기 분류된 동영상의 카테고리에 관한 정보를 상기 약물 이행 스케쥴과 비교하여 상기 사용자의 약물 순응도를 판단할 수 있다.
본 명세서에서, 약물 이행(medication adherence)이란 약물(예: 액체, 분말, 정제, 캡슐 등)의 경구 투여와 같은 약물 복용, 흡입기(inhaler), 터뷰헤일러(turbuhaler), 비강 스프레이(nasal spray) 등을 이용한 약물 흡입, 안약병(eye dropper)을 이용한 안약 투여, 주사기를 이용한 약물 주사 등 다양한 유형의 약물 이행을 포괄하는 의미이다.
본 명세서에서, 약물 이행 여부 판단이란 약물 이행이 이루어졌는지를 판단하는 것으로, 예를 들어 약물을 복용했는지, 흡입기, 터뷰헤일러, 비강 스프레이 등을 이용하여 약물을 흡입했는지, 안약을 투여했는지, 주사기를 이용하여 약물을 주사했는지 등을 판단하는 것이다.
도 1은 일 실시예에 따른 약물 이행 과정에 관한 도면으로, 사용자가 약물을 이행하는 전체 과정을 설명하기 위한 것이다. 도 1을 참고하면, 약물을 이행하는 전체 과정은 사용자가 알약이 수용된 약통에 접근하고(S10), 약통으로부터 알약을 꺼내 손바닥 위에 올리고(S20), 손바닥 위의 알약을 손가락으로 집고(S30), 이를 입으로 가져가 복용(S40)하는 과정을 포함할 수 있다. 다만, 약물 이행 과정을 수행하는 패턴(이하 "약물 이행 패턴"이라 함)은 사용자별로 상이할 수 있고, 동일한 사용자인 경우에도 때에 따라 약물 이행 패턴이 달라질 수 있다. 예를 들어, 경우에 따라 사용자는 약통을 바로 입으로 가져가 알약을 복용할 수도 있을 것이다. 또한, 도 1에서는 약통으로부터 알약을 꺼내 복용하는 경우를 도시하고 있으나, 블리스터로부터 알약을 꺼내 복용하거나, 흡입기, 터뷰헤일러, 비강 스프레이 등을 이용한 약물 흡입, 안약통을 이용한 안약 투여, 주사기를 이용한 약물 주사 등 상이한 유형의 약물 이행을 수행하는 경우 약물 이행 과정이 달라지거나 약물 이행 패턴이 달라질 수 있다. 예를 들어, 흡입기를 이용한 약물 흡입의 경우 약물을 이행하는 전체 과정은 사용자가 흡입기에 접근하고, 흡입기의 캡을 열고, 흡입기를 입으로 가져가 약물을 흡입하는 과정을 포함할 수 있다. 이에 따라 사용자의 약물 이행 패턴 또한 달라질 수 있다.
본 출원에서는 동영상에 기초하여 약물 이행 여부를 판단하는 방법, 이를 이용하는 서버 및 서버를 포함하는 시스템에 대해 설명한다. 특히, 전술한 바와 같이 다양한 약물 이행 패턴으로 약물 이행 과정을 수행하는 경우에도 적용할 수 있는 약물 이행 여부 판단 방법, 이를 이용하는 서버 및 서버를 포함하는 시스템에 대해 설명한다.
1. 약물 이행 여부를 판단하는 시스템
본 출원의 일 실시예에 의하면, 약물 이행 여부를 판단하는 시스템이 개시된다.
일 실시예에 따른 약물 이행 여부를 판단하는 시스템은 질병이나 질환의 진단, 치료나 예방 또는 건강 증진 등의 목적으로 사용자가 약물을 이행하는 경우, 사용자의 약물 이행 여부를 판단하기 위한 시스템이다.
일 실시예에 따른 시스템은 복수의 장치들을 포함할 수 있으며, 상기 복수의 장치들은 서로 데이터를 주고받는 등 연계하여 약물 이행 여부를 판단할 수 있다.
도 2는 일 실시예에 따른 약물 이행 여부를 판단하는 시스템에 관한 도면이다. 도 2를 참고하면, 시스템은 무선 통신 장치(1000), 웨어러블 장치(2000) 및 서버(3000)를 포함할 수 있다.
무선 통신 장치(1000)는 의료 용품(예: 약통, 흡입기, 터뷰헤일러, 비강 스프레이, 안약통, 주사기와 같은 약물 컨테이너 등)에 부착되거나 그 주변에 위치할 수 있다.
무선 통신 장치(1000)는 데이터를 수집할 수 있다. 예를 들어, 무선 통신 장치(1000)는 의료 용품의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수집할 수 있다.
무선 통신 장치(1000)는 상기 수집된 데이터를 웨어러블 장치(2000)나 서버(3000) 등 외부로 전송할 수 있다.
무선 통신 장치(1000)는 상기 수집된 데이터를 이용하여 사용자의 약물 이행 행위 개시 여부를 확인할 수 있다. 일 예로, 무선 통신 장치(1000)는 의료 용품의 모션이 미리 정해진 정도 이상인 경우 사용자가 약물 이행 행위를 개시한 것으로 판단할 수 있다. 다른 예로, 무선 통신 장치(1000)는 주변 조도가 미리 정해진 조도 이상인 경우 사용자가 약물 이행 행위를 개시한 것으로 판단할 수 있다. 또 다른 예로, 무선 통신 장치(1000)는 의료 용품의 모션이 미리 정해진 정도 이상이고 주변 조도가 미리 정해진 조도 이상인 경우 사용자가 약물 이행 행위를 개시한 것으로 판단할 수 있다.
무선 통신 장치(1000)는 카메라부의 활성화를 지시하는 신호(이하 "활성화 신호"라 함)를 웨어러블 장치(2000)나 서버(3000) 등 외부로 전송할 수 있다. 예를 들어, 무선 통신 장치(1000)는 사용자가 약물 이행 행위를 개시한 것으로 판단되는 경우 활성화 신호를 외부로 전송할 수 있다. 상기 카메라부는 웨어러블 장치(2000)의 카메라부일 수 있다. 카메라부를 활성화한다는 것은 촬영을 통해 동영상을 생성한다는 것을 의미할 수 있다.
무선 통신 장치(1000)는 근거리 무선 통신 장치일 수 있으나 이에 한정되는 것은 아니다.
웨어러블 장치(2000)는 사용자의 신체에 착용할 수 있는 형태로 제공되는 장치를 의미할 수 있다. 웨어러블 장치(2000)의 예로는 스마트 워치, 스마트 밴드, 스마트 넥밴드, 스마트 링, 스마트 목걸이 등이 있으나 이에 한정되는 것은 아니다.
웨어러블 장치(2000)는 무선 통신 장치(1000)와 통신할 수 있다. 일 예로, 웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 의료 용품의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수신할 수 있다. 다른 예로, 웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 카메라부의 활성화 신호를 수신할 수 있다.
웨어러블 장치(2000)는 이미지 또는 동영상을 생성할 수 있다. 예를 들어, 웨어러블 장치(2000)는 약물 이행에 관한 이미지 또는 동영상을 생성할 수 있다.
웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 수신한 데이터에 기초하여 이미지 또는 동영상을 생성할 수 있다. 예를 들어, 웨어러블 장치(2000)는 의료 용품의 모션 및 주변 조도 중 적어도 하나에 관한 데이터 또는 활성화 신호에 기초하여 이미지 또는 동영상을 생성할 수 있다. 보다 구체적인 일 예로, 웨어러블 장치(2000)는 의료 용품의 모션이 미리 정해진 정도 이상인 경우 이미지 또는 동영상을 생성할 수 있다. 보다 구체적인 다른 예로, 웨어러블 장치(2000)는 주변 조도가 미리 정해진 조도 이상인 경우 이미지 또는 동영상을 생성할 수 있다. 보다 구체적인 또 다른 예로, 웨어러블 장치(2000)는 의료 용품의 모션이 미리 정해진 정도 이상이고 주변 조도가 미리 정해진 조도 이상인 경우 이미지 또는 동영상을 생성할 수 있다. 보다 구체적인 또 다른 예로, 웨어러블 장치(2000)는 활성화 신호를 수신하는 경우 이미지 또는 동영상을 생성할 수 있다.
웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 수신하는 데이터의 신호 세기에 기초하여 이미지 또는 동영상을 생성할 수 있다. 예를 들어, 웨어러블 장치(2000)는 상기 신호 세기가 미리 정해진 범위에 포함되는 경우 이미지 또는 동영상을 생성할 수 있다. 상기 신호 세기는 RSSI(Received Signal Strength Indicator)의 형태로 표현될 수 있으나 이에 한정되는 것은 아니다. 상기 신호 세기가 RSSI로 표현되는 경우, 상기 미리 정해진 범위의 예로는 -90dBm 이상, -70dBm 이상, -70dBm 이상 -50dBm 이하 등일 수 있으나 이에 한정되는 것은 아니다.
웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 수신하는 데이터의 신호 세기를 상기 데이터의 내용보다 우선적으로 고려하여 이미지 또는 동영상을 생성할 수 있다. 일 예로, 웨어러블 장치(2000)는 의료 용품의 모션이 미리 정해진 정도 이상이더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 이미지 또는 동영상을 생성하지 않을 수 있다. 다른 예로, 웨어러블 장치(2000)는 주변 조도가 미리 정해진 조도 이상이더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 이미지 또는 동영상을 생성하지 않을 수 있다. 또 다른 예로, 웨어러블 장치(2000)는 의료 용품의 모션이 미리 정해진 정도 이상이고 주변 조도가 미리 정해진 조도 이상이더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 이미지 또는 동영상을 생성하지 않을 수 있다. 또 다른 예로, 웨어러블 장치(2000)는 활성화 신호를 수신하더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 이미지 또는 동영상을 생성하지 않을 수 있다.
웨어러블 장치(2000)는 그 주변을 촬영하여 이미지 또는 동영상을 생성할 수 있다. 특히, 스마트 워치나 스마트 밴드 형태의 웨어러블 장치(2000)의 경우 웨어러블 장치(2000)는 사용자의 손 근처를 촬영하여 이미지 또는 동영상을 생성할 수 있다. 이 경우 상기 이미지 또는 동영상은 상기 사용자의 손바닥 중 적어도 일부 영역을 포함할 수 있다. 즉, 상기 이미지 또는 상기 동영상의 이미지 프레임 중 적어도 일부는 상기 사용자의 손바닥 중 적어도 일부 영역을 포함할 수 있다.
웨어러블 장치(2000)는 이를 착용한 사용자와 관련된 정보를 측정할 수 있다. 일 예로, 웨어러블 장치(2000)는 이를 착용한 사용자의 생체 정보를 측정할 수 있다. 생체 정보의 예로는 걸음수 등의 움직임에 관한 정보, 심박수, 혈중 산소 포화도, 심전도 등이 있으나 이에 한정되는 것은 아니다. 다른 예로, 웨어러블 장치(2000)는 이를 착용한 사용자의 주변에 관한 정보를 측정할 수 있다. 구체적인 예로, 웨어러블 장치(2000)는 이를 착용한 사용자 주변의 조도를 측정할 수 있다.
웨어러블 장치(2000)는 서버(3000)와 통신할 수 있다. 일 예로, 웨어러블 장치(2000)는 생성한 이미지 또는 동영상을 서버(3000)로 전송할 수 있다. 다른 예로, 웨어러블 장치(2000)는 측정한 사용자와 관련된 정보를 서버(3000)로 전송할 수 있다.
서버(3000)는 무선 통신 장치(1000) 및 웨어러블 장치(2000) 중 적어도 하나와 통신할 수 있다. 서버(3000)는 웨어러블 장치(2000)로부터 이미지 또는 동영상을 수신할 수 있다. 서버(3000)는 무선 통신 장치(1000) 및 웨어러블 장치(2000) 중 적어도 하나로부터 의료 용품의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수신할 수 있다.
서버(3000)는 약물 이행 여부를 판단할 수 있다. 예를 들어, 서버(3000)는 무선 통신 장치(1000) 및 웨어러블 장치(2000) 중 적어도 하나로부터 획득한 정보에 기초하여 약물 이행 여부를 판단할 수 있다. 구체적인 예로, 서버(3000)는 웨어러블 장치(2000)로부터 수신한 이미지 또는 동영상을 분석하여 약물 이행 여부를 판단할 수 있다.
1.1 무선 통신 장치
도 3은 일 실시예에 따른 무선 통신 장치에 관한 블록도이다. 도 3을 참고하면, 무선 통신 장치(1000)는 모션 센서(1100), 조도 센서(1200), 통신부(1300), 저장부(1400) 및 제어부(1500)를 포함할 수 있다.
모션 센서(1100)는 무선 통신 장치(1000)의 모션을 감지할 수 있다. 무선 통신 장치(1000)가 의료 용품에 부착된 경우, 모션 센서(1100)는 무선 통신 장치(1000)의 모션을 감지함으로써 의료 용품의 모션을 감지할 수 있다. 모션 센서(1100)는 가속도 센서(1110), 자이로 센서(1120) 및 지자기 센서(1130) 중 적어도 일부를 포함할 수 있다. 모션 센서(1100)는 6축 센서, 9축 센서 등일 수 있으나 이에 한정되는 것은 아니다.
조도 센서(1200)는 무선 통신 장치(1000) 주변의 조도를 측정할 수 있다. 무선 통신 장치(1000)가 의료 용품에 부착되거나 그 주변에 위치하는 경우, 조도 센서(1200)는 의료 용품 주변의 조도를 측정할 수 있다.
통신부(1300)는 웨어러블 장치(2000)나 서버(3000) 등 외부와 통신할 수 있다. 통신부(1300)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. 통신부(1300)의 예로는 트랜시버(transceiver), 비콘, 블루투스 모듈, WIFI 모듈, 지그비 모듈, RF 모듈, NFC 모듈 및 이들의 조합 등이 있을 수 있으나 이에 한정되는 것은 아니다.
통신부(1300)는 모션 및 조도 중 적어도 하나에 관한 데이터를 외부로 송신할 수 있다. 예를 들어, 통신부(1300)는 모션 센서(1100) 및 조도 센서(1200) 중 적어도 하나가 측정한 데이터를 웨어러블 장치(2000)나 서버(3000) 등 외부로 송신할 수 있다.
통신부(1300)는 활성화 신호를 웨어러블 장치(2000)나 서버(3000) 등 외부로 전송할 수 있다.
저장부(1400)는 무선 통신 장치(1000)가 동작하는데 필요한 각종 데이터 및 프로그램을 저장할 수 있다. 저장부(1400)는 무선 통신 장치(1000)가 획득하는 정보를 저장할 수 있다. 일 예로, 저장부(1400)는 모션 및 조도 중 적어도 하나에 관한 데이터를 저장할 수 있다. 구체적인 예로, 저장부(1400)는 모션 센서(1100) 및 조도 센서(1200) 중 적어도 하나가 측정한 데이터를 저장할 수 있다. 다른 예로, 저장부(1400)는 활성화 신호를 저장할 수 있다. 저장부(1400)의 예로는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 및 이들의 조합 등이 있을 수 있으나 이에 한정되는 것은 아니다.
제어부(1500)는 무선 통신 장치(1000) 내에서 각종 정보의 처리와 연산을 수행할 수 있다. 제어부(1500)는 무선 통신 장치(1000)를 구성하는 다른 구성 요소를 제어할 수 있다.
제어부(1500)는 하드웨어, 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제어부(1500)는 하나 또는 복수의 프로세서(processor)일 수 있다. 또는, 제어부(1500)는 물리적으로 이격되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부(1500)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있으나 이에 한정되는 것은 아니다. 소프트웨어적으로 제어부(1500)는 하드웨어적인 제어부(1500)를 구동시키는 프로그램 형태로 제공될 수 있다.
제어부(1500)는 모션 센서(1100)가 모션을 감지하거나 조도 센서(1200)가 조도를 측정하도록 제어할 수 있다.
제어부(1500)는 통신부(1300)를 통해 모션 및 조도 중 적어도 하나에 관한 데이터를 외부로 송신하도록 제어할 수 있다. 예를 들어, 제어부(1500)는 통신부(1300)를 통해 모션 센서(1100) 및 조도 센서(1200) 중 적어도 하나가 측정한 데이터를 웨어러블 장치(2000)나 서버(3000) 등 외부로 송신하도록 제어할 수 있다.
제어부(1500)는 모션 및 조도 중 적어도 하나에 관한 데이터를 저장부(1400)에 저장하도록 제어할 수 있다. 예를 들어, 제어부(1500)는 모션 센서(1100) 및 조도 센서(1200) 중 적어도 하나가 측정한 데이터를 저장부(1400)에 저장하도록 제어할 수 있다.
제어부(1500)는 모션 및 조도 중 적어도 하나에 관한 데이터를 이용하여 사용자의 약물 이행 행위 개시 여부를 확인할 수 있다. 일 예로, 제어부(1500)는 모션이 미리 정해진 정도 이상인 경우 사용자가 약물 이행 행위를 개시한 것으로 판단할 수 있다. 다른 예로, 제어부(1500)는 조도가 미리 정해진 조도 이상인 경우 사용자가 약물 이행 행위를 개시한 것으로 판단할 수 있다. 또 다른 예로, 제어부(1500)는 모션이 미리 정해진 정도 이상이고 조도가 미리 정해진 조도 이상인 경우 사용자가 약물 이행 행위를 개시한 것으로 판단할 수 있다. 상기 모션에 관한 데이터는 모션 센서(1100)가 측정한 데이터일 수 있다. 상기 조도에 관한 데이터는 조도 센서(1200)가 측정한 데이터일 수 있다.
제어부(1500)는 통신부(1300)를 통해 활성화 신호를 웨어러블 장치(2000)나 서버(3000) 등 외부로 전송할 수 있다. 예를 들어, 제어부(1500)는 사용자가 약물 이행 행위를 개시한 것으로 판단되는 경우 통신부(1300)를 통해 활성화 신호를 외부로 전송할 수 있다.
이하에서 특별한 언급이 없는 경우에는, 무선 통신 장치(1000)의 동작은 제어부(1500)의 제어에 의해 수행되는 것으로 해석될 수 있다.
도 3에 도시된 구성 요소 모두가 무선 통신 장치(1000)의 필수 구성 요소인 것은 아니다. 무선 통신 장치(1000)는 도 3에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라, 도 3에 도시된 무선 통신 장치(1000)의 구성 요소 중 적어도 일부가 생략될 수도 있다. 예를 들어, 무선 통신 장치(1000)는 모션 센서(1100) 및 조도 센서(1200) 중 적어도 하나를 포함하지 않을 수 있다.
1.2 웨어러블 장치
도 4는 일 실시예에 따른 웨어러블 장치에 관한 블록도이다. 도 4를 참고하면, 웨어러블 장치(2000)는 카메라부(2100), 사용자 입력부(2200), 출력부(2300), 통신부(2400), 저장부(2500) 및 제어부(2600)를 포함할 수 있다.
카메라부(2100)는 이미지 또는 동영상을 생성할 수 있다. 예를 들어, 카메라부(2100)는 웨어러블 장치(2000) 주변을 촬영하여 이미지 또는 동영상을 생성할 수 있다. 카메라부(2100)는 하나 이상의 카메라 모듈을 포함할 수 있다. 카메라 모듈의 예로는 RGB 카메라, 열화상 카메라, 나이트 비전 등이 있을 수 있으나 이에 한정되는 것은 아니다.
카메라부(2100)가 생성하는 동영상은 복수의 이미지 프레임들을 포함할 수 있다. 상기 복수의 이미지 프레임들 중 적어도 일부는 사용자의 손바닥 중 적어도 일부 영역을 포함할 수 있다. 상기 동영상은 소정의 개수의 복수의 이미지 프레임들을 포함할 수 있다. 상기 동영상은 소정의 시간 동안 촬영된 것일 수 있다.
카메라부(2100)는 웨어러블 장치(2000)의 일 지점에 배치될 수 있다. 예를 들어, 스마트 워치나 스마트 밴드 타입의 웨어러블 장치(2000)의 경우, 카메라부(2100)는 스트랩 부분에 배치될 수 있다. 이때 카메라부(2100)는 사용자가 웨어러블 장치(2000)를 손목에 착용하였을 때 손목의 안쪽에 위치하도록 배치될 수 있다. 또한, 카메라부(2100)는 사용자가 웨어러블 장치(2000)를 손목에 착용하였을 때 사용자의 손 근처를 촬영할 수 있도록 사용자의 손 방향을 향하도록 배치될 수 있다. 전술한 카메라부(2100)의 배치 위치나 방향에 대한 기재는 예시일 뿐 이에 한정되는 것은 아니다.
사용자 입력부(2200)는 사용자로부터 정보를 획득하는 기능을 수행할 수 있다. 사용자 입력부(2200)는 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력의 예로는 키 입력, 터치 입력, 음성 입력 및 이들의 조합 등이 있으나 이에 한정되는 것은 아니다.
사용자 입력부(2200)는 일반적으로 사용되는 사용자 입력 장치로 구현될 수 있다. 사용자 입력 장치의 예로는 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력 받는 마이크, 사용자의 제스처를 인식하는 제스처 센서 및 이들의 조합 등이 있으나 이에 한정되는 것은 아니다.
출력부(2300)는 사용자가 확인할 수 있도록 정보를 출력하는 기능을 수행할 수 있다. 출력부(2300)는 사용자로부터 획득, 외부 장치로부터 획득 및/또는 가공된 정보를 출력할 수 있다. 정보의 출력은 시각적, 청각적 및/또는 촉각적 출력이거나, 이에 한정되지 않고 다양한 형태로 이루어질 수 있다.
출력부(2300)는 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및/또는 그 외 다양한 형태의 출력 수단으로 구현될 수 있다.
또는, 출력부(2300)는 자체적으로 외부로 정보를 출력하는 장치 대신, 정보를 출력하는 외부의 출력 장치를 웨어러블 장치(2000)에 연결시키는 출력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.
출력부(2300)는 사용자 입력부(2200)와 일체된 형태일 수 있다. 예를 들어, 출력부(2300)가 디스플레이인 경우, 출력부(2300)는 사용자 입력부(2200)인 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수 있다.
전술한 무선 통신 장치(1000)의 통신부(1300)와 동일하거나 유사하게, 통신부(2400)는 외부와 데이터를 송/수신하는 등 외부와 통신하는 기능을 수행할 수 있다. 일 예로, 통신부(2400)는 무선 통신 장치(1000)로부터 모션 및 조도 중 적어도 하나에 대한 데이터를 수신할 수 있다. 다른 예로, 통신부(2400)는 무선 통신 장치(1000)로부터 활성화 신호를 수신할 수 있다. 또 다른 예로, 통신부(2400)는 서버(3000)로 이미지 또는 동영상을 전송할 수 있다. 또 다른 예로, 통신부(2400)는 서버(3000)로 모션 및 조도 중 적어도 하나에 대한 데이터를 전송할 수 있다. 무선 통신 장치(1000)의 통신부(1300)와 동일하거나 유사한 부분에 대한 중복되는 설명은 생략한다.
전술한 무선 통신 장치(1000)의 저장부(1400)와 동일하거나 유사하게, 저장부(2500)는 웨어러블 장치(2000)가 동작하는데 필요한 각종 데이터 및 프로그램을 저장할 수 있다. 저장부(2500)는 웨어러블 장치(2000)가 획득하는 정보를 저장할 수 있다. 일 예로, 저장부(2500)는 카메라부(2100)가 생성한 이미지 또는 동영상을 저장할 수 있다. 다른 예로, 저장부(2500)는 사용자 입력을 저장할 수 있다. 또 다른 예로, 저장부(2500)는 사용자가 확인할 수 있도록 출력하려는 정보를 저장할 수 있다. 또 다른 예로, 저장부(2500)는 무선 통신 장치(1000)로부터 수신한 모션 및 조도 중 적어도 하나에 관한 데이터를 저장할 수 있다. 또 다른 예로, 저장부(2500)는 활성화 신호를 저장할 수 있다. 무선 통신 장치(1000)의 저장부(1400)와 동일하거나 유사한 부분에 대한 중복되는 설명은 생략한다.
전술한 무선 통신 장치(1000)의 제어부(1500)와 동일하거나 유사하게, 제어부(2600)는 웨어러블 장치(2000) 내에서 각종 정보의 처리와 연산을 수행할 수 있다. 제어부(2600)는 웨어러블 장치(2000)를 구성하는 다른 구성 요소를 제어할 수 있다. 무선 통신 장치(1000)의 제어부(1500)와 동일하거나 유사한 부분에 대한 중복되는 설명은 생략한다.
제어부(2600)는 카메라부(2100)를 활성화할 수 있다. 이 경우 제어부(2600)는 카메라부(2100)가 이미지 또는 동영상을 생성하도록 제어할 수 있다. 예를 들어, 제어부(2600)는 카메라부(2100)가 그 주변을 촬영하여 이미지 또는 동영상을 생성하도록 제어할 수 있다. 상기 이미지 또는 동영상은 약물 이행에 관한 이미지 또는 동영상일 수 있다.
제어부(2600)는 무선 통신 장치(1000)로부터 수신한 데이터에 기초하여 카메라부(2100)를 활성화할 수 있다. 예를 들어, 제어부(2600)는 무선 통신 장치(1000)로부터 수신한 의료 용품의 모션 및 주변 조도 중 적어도 하나에 관한 데이터 또는 활성화 신호에 기초하여 카메라부(2100)를 활성화할 수 있다. 보다 구체적인 일 예로, 제어부(2600)는 의료 용품의 모션이 미리 정해진 정도 이상인 경우 카메라부(2100)를 활성화할 수 있다. 보다 구체적인 다른 예로, 제어부(2600)는 주변 조도가 미리 정해진 조도 이상인 경우 카메라부(2100)를 활성화할 수 있다. 보다 구체적인 또 다른 예로, 제어부(2600)는 의료 용품의 모션이 미리 정해진 정도 이상이고 주변 조도가 미리 정해진 조도 이상인 경우 카메라부(2100)를 활성화할 수 있다. 보다 구체적인 또 다른 예로, 제어부(2600)는 활성화 신호를 수신하는 경우 카메라부(2100)를 활성화할 수 있다.
제어부(2600)는 무선 통신 장치(1000)로부터 수신하는 데이터의 신호 세기에 기초하여 카메라부(2100)를 활성화할 수 있다. 예를 들어, 제어부(2600)는 상기 신호 세기가 미리 정해진 범위에 포함되는 경우 카메라부(2100)를 활성화할 수 있다. 상기 신호 세기는 RSSI(Received Signal Strength Indicator)의 형태로 표현될 수 있으나 이에 한정되는 것은 아니다. 상기 신호 세기가 RSSI로 표현되는 경우, 상기 미리 정해진 범위의 예로는 -90dBm 이상, -70dBm 이상, -70dBm 이상 -50dBm 이하 등일 수 있으나 이에 한정되는 것은 아니다.
제어부(2600)는 무선 통신 장치(1000)로부터 수신하는 데이터의 신호 세기를 상기 데이터의 내용보다 우선적으로 고려하여 카메라부(2100)를 활성화할 수 있다. 일 예로, 제어부(2600)는 의료 용품의 모션이 미리 정해진 정도 이상이더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 카메라부(2100)를 활성화하지 않을 수 있다. 다른 예로, 제어부(2600)는 주변 조도가 미리 정해진 조도 이상이더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 카메라부(2100)를 활성화하지 않을 수 있다. 또 다른 예로, 제어부(2600)는 의료 용품의 모션이 미리 정해진 정도 이상이고 주변 조도가 미리 정해진 조도 이상이더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 카메라부(2100)를 활성화하지 않을 수 있다. 또 다른 예로, 제어부(2600)는 활성화 신호를 수신하더라도 신호 세기가 미리 정해진 범위에 포함되지 않는 경우 카메라부(2100)를 활성화하지 않을 수 있다.
제어부(2600)는 사용자 입력부(2200)가 사용자로부터 정보를 획득하도록 제어할 수 있다. 제어부(2600)는 사용자 입력부(2200)가 사용자로부터 사용자 입력을 수신하도록 제어할 수 있다.
제어부(2600)는 출력부(2300)가 사용자가 확인할 수 있도록 정보를 출력하는 기능을 수행하도록 제어할 수 있다.
제어부(2600)는 통신부(2400)가 외부와 데이터를 송/수신하는 등 외부와 통신하는 기능을 수행하도록 제어할 수 있다. 제어부(2600)는 통신부(2400)를 통해 외부로부터 정보를 획득할 수 있다.
제어부(2600)는 저장부(2500)가 웨어러블 장치(2000)가 동작하는데 필요한 각종 데이터 및 프로그램을 저장하도록 제어할 수 있다. 제어부(2600)는 저장부(2500)가 웨어러블 장치(2000)가 획득하는 정보를 저장하도록 제어할 수 있다.
이하에서 특별한 언급이 없는 경우에는, 웨어러블 장치(2000)의 동작은 제어부(2600)의 제어에 의해 수행되는 것으로 해석될 수 있다.
도 4에 도시된 구성 요소 모두가 웨어러블 장치(2000)의 필수 구성 요소인 것은 아니다. 웨어러블 장치(2000)는 도 4에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 예를 들어, 웨어러블 장치(2000)는 사용자의 움직임을 감지하는 모션 센서, 주변 조도를 측정하는 조도 센서, 사용자의 심박수를 측정하는 심박 센서, 사용자의 혈중 산소 포화도를 측정하는 혈중 산소 포화도 센서, 사용자의 심전도를 측정하는 심전도 센서 중 적어도 하나를 더 포함할 수 있다. 뿐만 아니라, 도 4에 도시된 웨어러블 장치(2000)의 구성 요소 중 적어도 일부가 생략될 수도 있다.
1.3 서버
도 5는 일 실시예에 따른 서버에 관한 블록도이다. 도 5를 참고하면, 서버(3000)는 서버 통신부(3100), 서버 저장부(3200) 및 서버 제어부(3300)를 포함할 수 있다.
전술한 무선 통신 장치(1000)의 통신부(1300)와 동일하거나 유사하게, 서버 통신부(3100)는 외부와 데이터를 송/수신하는 등 외부와 통신하는 기능을 수행할 수 있다. 일 예로, 서버 통신부(3100)는 웨어러블 장치(2000)로부터 이미지 또는 동영상을 수신할 수 있다. 다른 예로, 서버 통신부(3100)는 웨어러블 장치(2000)로부터 모션 및 조도 중 적어도 하나에 대한 데이터를 수신할 수 있다. 상기 모션 및 조도 중 적어도 하나에 대한 데이터는 웨어러블 장치(2000)가 측정한 데이터일 수 있다. 상기 모션에 대한 데이터는 웨어러블 장치(2000)를 착용한 사용자의 걸음수, 동작 등을 반영할 수 있다. 상기 조도에 대한 데이터는 웨어러블 장치(2000) 주변의 조도를 반영할 수 있다. 또 다른 예로, 서버 통신부(3100)는 웨어러블 장치(2000)로부터 이를 착용한 사용자의 생체 정보를 수신할 수 있다. 무선 통신 장치(1000)의 통신부(1300)와 동일하거나 유사한 부분에 대한 중복되는 설명은 생략한다.
전술한 무선 통신 장치(1000)의 저장부(1400)와 동일하거나 유사하게, 서버 저장부(3200)는 서버(3000)가 동작하는데 필요한 각종 데이터 및 프로그램을 저장할 수 있다. 서버 저장부(3200)는 서버(3000)가 획득하는 정보를 저장할 수 있다. 일 예로, 서버 저장부(3200)는 웨어러블 장치(2000)로부터 수신한 이미지 또는 동영상을 저장할 수 있다. 다른 예로, 서버 저장부(3200)는 웨어러블 장치(2000)로부터 수신한 모션 및 조도 중 적어도 하나에 대한 데이터를 저장할 수 있다. 무선 통신 장치(1000)의 저장부(1400)와 동일하거나 유사한 부분에 대한 중복되는 설명은 생략한다.
전술한 무선 통신 장치(1000)의 제어부(1500)와 동일하거나 유사하게, 서버 제어부(3300)는 서버(3000) 내에서 각종 정보의 처리와 연산을 수행할 수 있다. 서버 제어부(3300)는 서버(3000)를 구성하는 다른 구성 요소를 제어할 수 있다. 무선 통신 장치(1000)의 제어부(1500)와 동일하거나 유사한 부분에 대한 중복되는 설명은 생략한다.
서버 제어부(3300)는 서버 통신부(3100)가 외부와 데이터를 송/수신하는 등 외부와 통신하는 기능을 수행하도록 제어할 수 있다. 서버 제어부(3300)는 서버 통신부(3100)를 통해 외부로부터 정보를 획득할 수 있다.
서버 제어부(3300)는 서버 저장부(3200)가 서버(3000)가 동작하는데 필요한 각종 데이터 및 프로그램을 저장하도록 제어할 수 있다. 서버 제어부(3300)는 서버 저장부(3200)가 서버(3000)가 획득하는 정보를 저장하도록 제어할 수 있다.
서버 제어부(3300)는 약물 이행 여부를 판단할 수 있다. 예를 들어, 서버 제어부(3300)는 서버 통신부(3100)를 통해 웨어러블 장치(2000)로부터 획득한 이미지 또는 동영상에 기초하여 약물 이행 여부를 판단할 수 있다.
이하에서 특별한 언급이 없는 경우에는, 서버(3000)의 동작은 서버 제어부(3300)의 제어에 의해 수행되는 것으로 해석될 수 있다.
도 5에 도시된 구성 요소 모두가 서버(3000)의 필수 구성 요소인 것은 아니다. 서버(3000)는 도 5에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라, 도 5에 도시된 서버(3000)의 구성 요소 중 적어도 일부가 생략될 수도 있다.
서버(3000)의 각 구성 요소는 물리적으로 하나의 서버에 포함될 수도 있고, 각각의 기능 별로 분산된 분산 서버일 수 있다. 예를 들어, 서버(3000)는 제1 기능을 수행하는 제1 서버 및 제2 기능을 수행하는 제2 서버를 포함할 수 있다. 구체적인 예로, 서버(3000)는 약물 이행 여부를 판단하는 제1 서버 및 약물 이행 여부 판단 결과를 관리하는 제2 서버를 포함할 수 있다. 제1 서버 및 제2 서버는 물리적으로 이격된 별도의 서버일 수 있다. 예를 들어, 제1 서버는 한국과 같은 제1 국가에 위치하고, 제2 서버는 미국, 유럽, 일본, 중국 등과 같은 제2 국가에 위치할 수 있다.
1.4 추가 구성 요소
다시 도 2를 참고하면, 도 2에 도시된 구성 요소 모두가 시스템의 필수 구성 요소인 것은 아니며, 도 2에 도시된 시스템의 구성 요소 중 일부가 생략되거나, 도 2에 도시되지 않은 구성 요소를 추가로 포함할 수 있다.
예를 들어, 시스템은 사용자 단말을 더 포함할 수 있다. 사용자 단말의 예로는 스마트폰, 태블릿, 랩탑, 데스크탑 등이 있으나 이에 한정되는 것은 아니다. 사용자 단말은 무선 통신 장치, 웨어러블 장치 및 서버 중 적어도 일부와 데이터를 교환할 수 있다. 사용자 단말은 사용자, 보호자 또는 의료인에게 사용자의 약물 이행에 관한 정보를 제공하거나 사용자의 약물 이행 관리를 위한 어플리케이션을 제공할 수 있다. 사용자 단말은 입력부, 출력부, 통신부, 저장부 및 제어부 등을 포함할 수 있다. 사용자 단말의 각 구성의 형태나 구현 방식에 대하여는 상술한 무선 통신 장치(1000) 또는 웨어러블 장치(2000)의 구성에 대한 내용과 동일하므로, 중복되는 부분은 생략하도록 한다.
사용자 단말에서 구동되는 어플리케이션은 사용자의 약물 이행을 유도하기 위한 스케줄링 서비스 또는 알림 서비스 등을 제공할 수 있으며, 이때 사용자 단말은 어플리케이션을 구동함에 있어 웨어러블 장치(2000) 또는 서버(3000)로부터 획득되는 데이터를 반영할 수 있다.
2. 약물 이행 여부를 판단하는 방법
2.1 개요
이하에서는 일 실시예에 따른 약물 이행 여부를 판단하는 방법에 대해서 설명한다. 설명의 편의를 위해 약물 이행 여부를 판단하는 방법이 서버에서 수행되는 것으로 가정하여 설명하나, 이는 여러가지 실시의 형태 중 일 예를 들어 설명한 것일 뿐 약물 이행 여부 판단 방법이 서버에 의해서만 수행되어야 함을 의미하는 것은 아니다.
다시 말해, 일 실시예에 따른 약물 이행 여부를 판단하는 방법은 반드시 서버에서만 수행되는 것은 아니고, 무선 통신 장치나 웨어러블 장치 등 서버 외의 장치에서 수행될 수도 있다. 또한, 약물 이행 여부를 판단하는 방법의 일부는 서버에서 수행되고, 나머지는 무선 통신 장치나 웨어러블 장치 등 서버 외의 장치에서 수행될 수도 있다.
이하에서 일 실시예에 따른 약물 이행 여부를 판단하는 방법에 대해 설명함에 있어서 별도의 언급이 없는 이상 서버가 수행하는 동작은 서버 제어부에 의해 수행되거나 서버 제어부가 서버의 다른 구성 요소를 제어하여 수행되는 것으로 해석될 수 있다.
서버는 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 모델의 예로는 인공 신경망(artificial neural network)과 같은 딥 러닝 모델, 서포트 벡터 머신(support vector machine), 일반화 선형 모델(generalized linear models), 의사결정트리(decision trees), 랜덤 포레스트(random forests), 점진적 부스팅 머신(gradient boosting machine) 및 이들의 조합 등이 있을 수 있으나 이에 한정되는 것은 아니다.
이하에서는 일 실시예에 따른 동영상에 기초하여 약물 이행 여부를 판단하는 방법의 몇몇 예시들에 대해 설명한다.
2.2 모니터링 모델을 이용하여 약물 이행 여부를 판단하는 방법
도 6 및 도 7은 일 실시예에 따른 모니터링 모델을 이용하여 약물 이행 여부를 판단하는 방법에 관한 도면이다.
단계 S110에서, 서버는 동영상을 획득할 수 있다. 예를 들어, 서버는 웨어러블 장치로부터 동영상을 수신할 수 있다. 여기서, 동영상은 웨어러블 장치의 카메라부에 의해 촬상되어, 웨어러블 장치의 통신부를 통해 전송된 것일 수 있다. 상기 동영상은 복수의 이미지 프레임들을 포함할 수 있다. 상기 복수의 이미지 프레임들의 개수는 50개 이상, 100개 이상, 200개 이상, 400개 이상, 600개 이상, 800개 이상 및 1000개 이상 등일 수 있다. 상기 동영상에 의해 전체 약물 이행 과정이 포착될 수 있다. 또는, 상기 동영상에 의해 전체 약물 이행 과정 중 대부분의 과정이 포착될 수 있다.
단계 S120에서, 서버는 동영상 및 모니터링 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 상기 동영상은 단계 S110에서 획득한 것일 수 있다.
도 7을 참고하면, 서버는 모니터링 모델에 동영상(10)을 입력하여 약물 이행 여부를 판단할 수 있다. 일 예로, 서버 제어부는 모니터링 모델에 서버 통신부를 통해 수신된 동영상(10)을 입력하여 약물 이행 여부를 판단할 수 있다. 다른 예로, 서버 제어부는 서버 통신부를 통해 수신된 동영상(10)을 서버 저장부에 저장하고, 모니터링 모델에 서버 저장부에 저장된 동영상(10)을 입력하여 약물 이행 여부를 판단할 수 있다. 이 경우, 모니터링 모델의 입력 데이터는 동영상(10)일 수 있고, 출력 데이터는 약물 이행 여부 판단 결과일 수 있다.
모니터링 모델에 입력되는 동영상은 특정 포맷을 가질 수 있다. 일 예로, 상기 동영상은 미리 정해진 개수의 이미지 프레임들을 포함할 수 있다. 다른 예로, 상기 동영상은 미리 정해진 해상도를 가질 수 있다. 또 다른 예로, 상기 동영상은 미리 정해진 비율(가로와 세로의 비율)을 가질 수 있다.
서버는 동영상을 전처리 없이 모니터링 모델에 입력할 수 있다. 예를 들어, 서버 제어부는 서버 통신부를 통해 수신된 동영상을 전처리 없이 모니터링 모델에 입력할 수 있다. 즉, 모니터링 모델에 입력되는 동영상(10)은 카메라부가 촬영한 동영상과 동일할 수 있다. 또는, 서버는 동영상을 전처리하여 모니터링 모델에 입력할 수 있다. 예를 들어, 서버 제어부는 서버 통신부를 통해 수신된 동영상을 전처리하여 모니터링 모델에 입력할 수 있다. 즉, 모니터링 모델에 입력되는 동영상(10)은 카메라부가 촬영한 동영상에 전처리를 거친 것일 수 있다. 전처리의 예로는 정규화(normalization), 리사이즈(resize), 잘라내기(crop), 노이즈 제거 및 이들의 조합 등이 있을 수 있으나 이에 한정되는 것은 아니다.
모니터링 모델이 출력하는 약물 이행 여부 판단 결과는 약물 이행 여부를 지시하는 인덱스일 수 있다. 즉, 모니터링 모델의 출력 데이터는 약물 이행 여부를 지시하는 인덱스일 수 있다. 서버는 모니터링 모델을 이용하여 상기 모니터링 모델에 입력된 동영상에 대한 약물 이행 여부를 지시하는 인덱스를 획득할 수 있다. 비한정적인 예로, 상기 인덱스는 수치적으로 표현될 수 있다.
모니터링 모델의 출력 데이터인 약물 이행 여부를 지시하는 인덱스의 포맷은 다양할 수 있다.
일 예로, 모니터링 모델의 출력 데이터인 약물 이행 여부를 지시하는 인덱스는 약물 이행을 지시하는 인덱스 및 약물 불이행을 지시하는 인덱스를 포함할 수 있다. 이때 모니터링 모델은 약물 이행을 지시하는 인덱스 및 약물 불이행을 지시하는 인덱스 중 하나를 출력할 수 있다. 예를 들어, 모니터링 모델은 약물 이행으로 예측한 경우 1, 약물 불이행으로 예측한 경우 0을 출력할 수 있다.
다른 예로, 모니터링 모델의 출력 데이터인 약물 이행 여부를 지시하는 인덱스는 약물 이행으로 예측한 확률을 지시하는 인덱스(이하 "약물 이행 확률 인덱스"라 함) 및 약물 불이행으로 예측한 확률을 지시하는 인덱스(이하 "약물 불이행 확률 인덱스"라 함)를 포함할 수 있다. 이때 모니터링 모델은 약물 이행 확률 인덱스 및 약물 불이행 확률 인덱스를 함께 출력할 수 있다. 서버는 약물 이행 확률 인덱스 및 약물 불이행 확률 인덱스를 이용하여 약물 이행 여부를 결정할 수 있다. 일 예로, 서버는 약물 이행 확률 인덱스가 약물 불이행 확률 인덱스보다 큰 경우에는 약물을 이행한 것으로 판단하고, 반대인 경우에는 약물을 불이행한 것으로 판단할 수 있다. 다른 예로, 서버는 약물 이행 확률 인덱스가 미리 정해진 조건을 만족하는 경우 약물을 이행한 것으로 판단할 수 있다. 상기 미리 정해진 조건을 만족하는 경우의 예로는 상기 약물 이행 확률 인덱스가 미리 정해진 값 이상인 경우가 있으나 이에 한정되는 것은 아니다.
모니터링 모델의 예로는 attention mechanism을 이용한 transformer 계열 모델, long short-term memory(LSTM)와 같은 recurrent neural network(RNN) 계열 모델, 2D CNN-LSTM과 같은 하이브리드 모델, 3D ConvNet, Inflated 3D ConvNet(I3D), SlowFast Network 등과 같은 딥러닝 모델이 있으나 이에 한정되는 것은 아니다.
서버가 동영상에 기초하여 약물 이행 여부를 판단함에 따라 단일 이미지 프레임 또는 몇몇 개의 이미지 프레임들에 기초하여 약물 이행 여부를 판단하는 경우에 비해 약물 이행 여부 판단의 정확도가 향상될 수 있다. 일 예로, 단일 이미지 프레임만으로 약물 이행 여부를 판단하는 경우, 상기 이미지 프레임 내에 약물이 검출되는 경우 약물 이행으로 판단할 수 있다. 다른 예로, 몇몇 이미지 프레임들만으로 약물 이행 여부를 판단하는 경우, 상기 몇몇 이미지 프레임들 중 미리 정해진 개수 이상의 이미지 프레임 내에 약물이 검출되는 경우 약물 이행으로 판단할 수 있다. 그러나, 상기와 같은 경우에도 사용자가 실제 약물을 이행하지 않은 것일 수 있다. 이와 같이, 단일 이미지 프레임 또는 몇몇 개의 이미지 프레임들 만으로는 약물 이행 여부를 정확히 판단하기 어렵다. 반면, 전술한 바와 같이 동영상에 기초하여 약물 이행 여부를 판단하는 경우 단순히 특정 이미지 프레임 내에 약물이 검출되었다고 약물 이행으로 판단하는 것이 아니라 동영상이 포착한 약물 이행 과정을 전반적으로 고려하여 약물 이행 여부를 판단하므로 단일 이미지 프레임 또는 몇몇 개의 이미지 프레임들에 기초하여 약물 이행 여부를 판단하는 경우에 비해 정확하게 약물 이행 여부를 판단할 수 있다.
2.3 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단하는 방법
도 8 및 도 9는 일 실시예에 따른 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단하는 방법에 관한 도면이다. 서버는 동영상, 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 서버는 동영상을 획득하고(S210), 동영상 및 검출 모델을 이용하여 약물 이행 관련 객체 및 동작을 검출하고(S220), 약물 이행 관련 객체 및 동작 검출 결과(이하 "검출 결과"라 함) 및 확인 모델을 이용하여 약물 이행 여부를 판단할 수 있다(S230).
단계 S210에서, 서버는 동영상을 획득할 수 있다. 예를 들어, 서버는 웨어러블 장치로부터 동영상을 수신할 수 있다. 여기서, 동영상은 웨어러블 장치의 카메라부에 의해 촬상되어, 웨어러블 장치의 통신부를 통해 전송된 것일 수 있다. 상기 동영상은 복수의 이미지 프레임들을 포함할 수 있다. 상기 복수의 이미지 프레임들의 개수는 50개 이상, 100개 이상, 200개 이상, 400개 이상, 600개 이상, 800개 이상 및 1000개 이상 등일 수 있다. 상기 동영상에 의해 전체 약물 이행 과정이 포착될 수 있다. 또는, 상기 동영상에 의해 전체 약물 이행 과정 중 대부분의 과정이 포착될 수 있다.
단계 S220에서, 서버는 동영상 및 검출 모델을 이용하여 약물 이행 관련 객체 및 동작을 검출할 수 있다. 일 예로, 서버 제어부는 서버 통신부를 통해 수신한 동영상 및 검출 모델을 이용하여 약물 이행 관련 객체 및 동작을 검출할 수 있다. 다른 예로, 서버 제어부는 서버 통신부를 통해 수신한 동영상을 서버 저장부에 저장하고, 서버 저장부에 저장된 동영상 및 검출 모델을 이용하여 약물 이행 관련 객체 및 동작을 검출할 수 있다. 상기 동영상은 단계 S210에서 획득한 것일 수 있다.
도 10은 일 실시예에 따른 검출 모델을 이용한 약물 이행 관련 객체 및 동작 검출에 관한 도면이다.
도 10을 참고하면, 서버는 검출 모델에 동영상(40)의 이미지 프레임(41, 42)을 입력하여 상기 이미지 프레임(41, 42)에 포함된 약물 이행 관련 객체 및 동작을 검출할 수 있다. 이 경우, 검출 모델의 입력 데이터는 이미지 프레임(41, 42)일 수 있다. 서버는 검출 모델에 동영상을 이미지 프레임별로 입력하여 상기 이미지 프레임에 포함된 약물 이행 관련 객체 및 동작을 검출할 수 있다. 이 경우 서버는 동영상의 전체 이미지 프레임들에 대해 약물 이행 관련 객체 및 동작을 검출하여 상기 동영상에 포함된 약물 이행 관련 객체 및 동작을 검출할 수 있다. 물론, 서버는 동영상의 전체 이미지 프레임들 중 일부 이미지 프레임들에 대해서만 약물 이행 관련 객체 및 동작을 검출할 수도 있다.
서버가 검출 모델에 이미지 프레임을 입력하여 약물 이행 관련 객체를 검출한다는 것은 서버가 검출 모델에 이미지 프레임을 입력하여 상기 이미지 프레임 내에 약물 이행과 관련된 객체가 존재하는지 여부를 판단하는 것을 의미할 수 있다. 서버가 검출 모델에 이미지 프레임을 입력하여 약물 이행 관련 동작을 검출한다는 것은 서버가 검출 모델에 이미지 프레임을 입력하여 상기 이미지 프레임 내에 약물 이행과 관련된 동작이 존재하는지 여부를 판단하는 것을 의미할 수 있다. 이때, 약물 이행과 관련된 동작이 존재하는지 여부를 판단한다는 것은 약물 이행과 관련된 동작에 대응하는 특정 장면이 존재하는지 여부를 판단하는 것을 의미할 수 있다. 이 경우, 서버가 검출 모델에 이미지 프레임을 입력하여 약물 이행 관련 동작을 검출한다는 것은 서버가 검출 모델에 이미지 프레임을 입력하여 상기 이미지 프레임 내에 약물 이행과 관련된 동작에 대응하는 특정 장면이 존재하는지 여부를 판단하는 것을 의미할 수 있다. 약물 이행 관련 객체 및 약물 이행 관련 동작에 대한 보다 구체적인 내용은 후술한다.
검출 모델에 입력되는 이미지 프레임은 특정 포맷을 가질 수 있다. 일 예로, 상기 이미지 프레임은 미리 정해진 해상도를 가질 수 있다. 다른 예로, 상기 이미지 프레임은 미리 정해진 비율(가로와 세로의 비율)을 가질 수 있다.
서버는 이미지 프레임을 전처리 없이 검출 모델에 입력할 수 있다. 예를 들어, 서버 제어부는 서버 통신부를 통해 수신한 이미지 프레임을 전처리 없이 검출 모델에 입력할 수 있다. 즉, 검출 모델에 입력되는 이미지 프레임(41, 42)은 카메라부가 촬영한 이미지 프레임과 동일할 수 있다. 또는, 서버는 이미지 프레임을 전처리하여 검출 모델에 입력할 수 있다. 예를 들어, 서버 제어부는 서버 통신부를 통해 수신한 이미지 프레임을 전처리하여 검출 모델에 입력할 수 있다. 즉, 검출 모델에 입력되는 이미지 프레임(41, 42)은 카메라부가 촬영한 이미지 프레임에 전처리를 거친 것일 수 있다. 전처리의 예로는 정규화(normalization), 리사이즈(resize), 잘라내기(crop), 노이즈 제거 및 이들의 조합 등이 있을 수 있으나 이에 한정되는 것은 아니다.
검출 모델은 약물 이행 관련 객체 및 동작에 관한 데이터(이하 "검출 모델 출력 데이터"라 함)를 출력할 수 있다. 이 경우, 검출 모델의 출력 데이터는 검출 모델 출력 데이터일 수 있다. 서버는 검출 모델을 이용하여 검출 모델 출력 데이터를 획득할 수 있다. 동영상이 N개의 이미지 프레임들을 포함하는 경우 서버는 검출 모델에 N개의 상기 이미지 프레임들을 입력하여 N개의 상기 이미지 프레임들 각각에 대응하는 N개의 검출 모델 출력 데이터를 획득할 수 있다. 즉, 서버는 동영상을 이미지 프레임별로 검출 모델에 입력하여, 각 이미지 프레임에 대응하는 검출 모델 출력 데이터를 포함하고 상기 동영상에 대응하는 검출 결과를 획득할 수 있다. 비한정적인 예로, 검출 모델 출력 데이터는 수치적으로 표현될 수 있다. 검출 모델 출력 데이터에 대한 보다 구체적인 내용은 후술한다.
이하에서는 약물 이행 관련 객체 및 약물 이행 관련 동작에 대해 보다 구체적으로 설명한다.
도 11은 약물 이행 관련 객체의 몇몇 유형에 관한 도면이다. 약물 이행 관련 객체는 사용자가 약물 이행 시 이용하는 등 약물 이행과 관련된 다양한 유형의 객체를 포함할 수 있다. 비한정적인 예로, 도 11을 참고하면, 약물 이행 관련 객체는 약통(21), 안약병(22), 비강 스프레이(23), 터뷰헤일러(24), 알약(25), 흡입기(26), 블리스터(27), 주사기(28) 등을 포함할 수 있다. 도시하지는 않았지만, 약물 이행 관련 객체는 팔, 손, 손목, 손바닥, 손날, 얼굴, 입, 코 등 사용자의 신체 부위를 포함할 수 있다.
도 12는 약물 이행 관련 동작의 몇몇 유형에 관한 도면이다. 약물 이행 관련 동작은 사용자가 약물 이행 시 취하는 자세 등 약물 이행과 관련된 다양한 유형의 동작을 포함할 수 있다. 비한정적인 예로, 도 12를 참고하면, 약물 이행 관련 동작은 블리스터를 잡는 동작(31), 흡입기를 잡는 동작(32), 터뷰헤일러를 잡는 동작(33), 안약병을 잡는 동작(34), 비강 스프레이를 잡는 동작(35), 알약을 잡는 동작(36) 등 약물 이행 관련 객체를 잡는 동작, 알약과 같은 약물을 복용하는 동작(37), 흡입기, 터뷰헤일러, 비강 스프레이와 같은 약물 이행 관련 객체를 이용하여 약물을 흡입하는 동작, 안약병과 같은 약물 이행 관련 객체를 이용하여 안약을 투여하는 동작, 주사기와 같은 약물 이행 관련 객체를 이용하여 약물을 주사하는 동작, 약통과 같은 약물 이행 관련 객체를 여는 동작 등을 포함할 수 있다.
약물 이행 관련 동작을 약물 이행 관련 객체와 비교하면, 약물 이행 관련 동작은 하나 이상의 약물 이행 관련 객체들이 나타내는 특정 동작으로 볼 수 있다. 일 예로, 블리스터를 잡는 동작(31)은 블리스터 및 손이 나타내는 동작으로 볼 수 있다. 다른 예로, 약물을 복용하는 동작(37)은 약물 및 얼굴이 나타내는 동작으로 볼 수 있다. 이에 따라, 서버가 약물 이행 관련 동작을 검출하는 것은 하나 이상의 약물 이행 관련 객체들을 개별적으로 검출하는 것이 아니라 상기 약물 이행 관련 객체들이 나타내는 특정 동작을 검출하는 것일 수 있다.
일부 실시예에서, 검출 모델은 특정 유형의 약물 이행과 관련된 약물 이행 관련 객체 및 동작을 검출할 수 있다. 예를 들어, 검출 모델은 약통에서 알약을 꺼내 경구 투여하는 약물 복용과 관련된 약물 이행 관련 객체 및 동작을 검출하도록 학습되어, 이미지 프레임으로부터 상기 약물 복용과 관련된 약물 이행 관련 객체 및 동작을 검출할 수 있다. 보다 구체적인 예로, 검출 모델은 이미지 프레임이 입력되면 약통, 알약, 약통을 여는 행위, 알약을 잡는 행위, 알약을 복용하는 행위를 검출할 수 있다. 이 경우, 상기 검출 모델은 상기 특정 유형 외의 약물 이행과 관련된 약물 이행 관련 객체 및 약물 이행 관련 동작은 검출하지 못할 수 있다. 예를 들어, 약통에서 알약을 꺼내 경구 투여하는 약물 복용과 관련된 약물 이행 관련 객체 및 약물 이행 관련 동작을 검출하도록 학습된 검출 모델은 흡입기를 이용한 약물 흡입과 관련된 약물 이행 관련 객체 및 약물 이행 관련 동작을 검출하지 못할 수 있다.
일부 실시예에서, 검출 모델은 복수의 유형의 약물 이행과 관련된 약물 이행 관련 객체 및 동작을 검출할 수 있다. 예를 들어, 검출 모델은 약물 복용, 흡입기 사용, 터뷰헤일러 사용, 비강 스프레이 사용, 안약 투여 및 약물 주사 중 적어도 둘 이상의 약물 이행과 관련된 약물 이행 관련 객체 및 동작을 검출하도록 학습되어, 이미지 프레임으로부터 상기 적어도 둘 이상의 약물 이행과 관련된 약물 이행 관련 객체 및 동작을 검출할 수 있다.
이하에서는 검출 모델 출력 데이터에 대해 보다 구체적으로 설명한다.
전술한 바와 같이, 서버는 검출 모델을 이용하여 검출 모델 출력 데이터를 획득할 수 있다. 상기 검출 모델 출력 데이터는 복수의 서브 데이터를 포함할 수 있다. 상기 복수의 서브 데이터 각각은 이미지 프레임 내의 특정 영역에 대응할 수 있다. 상기 특정 영역은 약물 이행 관련 객체에 대응하는 영역, 약물 이행 관련 동작에 대응하는 영역 및 약물 이행과 무관한 영역 중 적어도 하나일 수 있다.
검출 모델 출력 데이터는 약물 이행 관련 객체 및 동작의 이미지 프레임 내에서의 위치를 반영하는 위치 정보를 포함할 수 있다. 예를 들어, 검출 모델 출력 데이터의 서브 데이터는 상기 위치 정보를 포함할 수 있다. 이 경우, 위치 정보는 상기 서브 데이터에 대응하는 상기 미리 정해진 개수의 영역 중 어느 하나의 이미지 프레임 내에서의 위치를 반영할 수 있다. 상기 위치 정보는 바운딩 박스로 표현될 수 있다. 상기 바운딩 박스의 표현 방식의 예로는 Pascal VOC 방식, COCO 방식 등이 있으나 이에 한정되는 것은 아니다.
검출 모델 출력 데이터는 약물 이행 관련 객체 및 동작과 관련된 확률 정보를 포함할 수 있다. 예를 들어, 검출 모델 출력 데이터의 서브 데이터는 상기 확률 정보를 포함할 수 있다.
확률 정보는 존재 확률 정보 및 클래스 확률 정보 중 적어도 하나를 포함할 수 있다. 상기 존재 확률 정보는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 존재 여부를 반영할 수 있다. 상기 클래스 확률 정보는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 클래스에 대한 확률을 반영할 수 있다.
일부 실시예에서, 약물 이행 관련 객체 및 동작의 클래스란 약물 이행 관련 객체 및 동작의 유형일 수 있다. 예를 들어, 제1 약물 이행 관련 객체 및 동작의 유형과 제2 약물 이행 관련 객체 및 동작의 유형이 다른 경우 상기 제1 약물 이행 관련 객체 및 동작과 상기 제2 약물 이행 관련 객체 및 동작은 다른 클래스일 수 있다. 보다 구체적인 일 예로, 약통과 알약은 다른 클래스일 수 있다. 보다 구체적인 다른 예로, 약통과 흡입기는 다른 클래스일 수 있다.
일부 실시예에서, 약물 이행 관련 객체 및 동작의 클래스란 동일하거나 유사한 약물 이행 관련 객체 및 동작의 유형들의 그룹일 수 있다. 예를 들어, 제1 약물 이행 관련 객체 및 동작의 유형과 제2 약물 이행 관련 객체 및 동작의 유형이 동일하거나 유사한 경우 상기 제1 약물 이행 관련 객체 및 동작과 상기 제2 약물 이행 관련 객체 및 동작은 동일한 클래스일 수 있다. 보다 구체적인 예로, 알약과 약통은 동일한 클래스일 수 있다. 다만, 이 경우에도 약통과 흡입기는 상이한 클래스일 수 있다.
클래스 확률 정보는 약물 이행 관련 객체에 대응하는 객체 클래스 확률 정보 및 약물 이행 관련 동작에 대응하는 동작 클래스 확률 정보 중 적어도 하나를 포함할 수 있다.
확률 정보는 하나 이상의 확률값들을 포함할 수 있다. 존재 확률 정보는 하나 이상의 존재 확률값들을 포함할 수 있다. 클래스 확률 정보는 하나 이상의 클래스 확률값들을 포함할 수 있다. 확률 정보가 포함하는 확률값의 개수는 경우에 따라 달라질 수 있다.
서버는 검출 모델 출력 데이터에 기초하여 이미지 프레임 내에 포함된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출할 수 있다. 서버는 검출 모델 출력 데이터의 서브 데이터에 기초하여 이미지 프레임 내에 포함된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출할 수 있다.
서버는 서브 데이터의 확률 정보에 기초하여 이미지 프레임 내에 포함된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출할 수 있다. 일 예로, 서버는 존재 확률 정보에 기초하여 상기 존재 확률 정보에 대응하는 영역 내에 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 존재하는지 판단하여 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출할 수 있다. 보다 구체적인 예로, 서버는 존재 확률값이 미리 정해진 값 이상인 경우 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 상기 존재 확률값에 대응하는 영역 내에 존재하는 것으로 판단하여 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출할 수 있다. 다른 예로, 서버는 클래스 확률 정보에 기초하여 상기 클래스 확률 정보에 대응하는 영역 내에 존재하는 것으로 예상되는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 클래스를 예측할 수 있다. 보다 구체적인 예로, 서버는 클래스 확률값이 미리 정해진 값 이상인 경우 상기 클래스 확률값에 대응하는 영역 내에 존재하는 것으로 예상되는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 클래스를 상기 클래스 확률값에 대응하는 클래스로 예측할 수 있다.
도 13은 검출 모델 출력 데이터의 일 예에 관한 도면이다.
검출 모델 출력 데이터의 일 예로, 도 13에서는 서버에서 이미지 프레임(50) 내의 3개의 영역(51, 52, 53)에 대한 데이터를 획득하는 경우를 도시하고 있다. 구체적으로, 서버는 약물 이행 관련 객체인 약통에 대응하는 영역(51), 약물 이행 관련 동작인 알약을 잡는 동작에 대응하는 영역(52) 및 약물 이행 관련 객체 및 동작과 무관한 영역(53) 각각에 대응하는 데이터를 획득할 수 있다. 도 13에서 도시하고 있는 바와 같이, 서버에서 획득한 미리 정해진 개수의 영역(51, 52, 53)은 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나에 대응하는 영역(51, 52) 뿐만 아니라 이와 무관한 영역(53) 또한 포함할 수 있다. 다만, 상기 무관한 영역(53)에 대해서는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나에 대응하는 영역(51, 52)에 비해 확률값이 작을 수 있다. 따라서, 서버는 전술한 바와 같이 상기 확률값에 기초하여 상기 영역(51, 52, 53) 중 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나에 대응하는 영역(51, 52)을 결정하여 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출할 수 있다.
도 13의 (b)에서는 검출 모델 출력 데이터(61)가 3개의 영역(51, 52, 53)각각에 대응하는 3개의 서브 데이터(62, 63, 64)를 포함하는 경우를 도시하고 있다.
도 13의 (b)에서는 존재 확률 정보의 예로 바운딩 박스(51, 52, 53) 내에 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 존재할 확률을 반영하는 존재 확률 정보(72)에 대해 도시하고 있다. 도 13의 (b)에서는 각 서브 데이터(62, 63, 64)가 1개의 존재 확률값(p1, p2, 3)을 포함하고 있으나 이에 한정되는 것은 아니다. 또한, 도 13의 (b)에서는 클래스 확률 정보의 예로 상기 바운딩 박스(51, 52, 53) 내에 존재하는 것으로 예상되는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 클래스에 대한 확률을 반영하는 클래스 확률 정보(73)를 도시하고 있다. 상기 클래스 확률 정보(73)는 객체 클래스 확률 정보(74) 및 동작 클래스 확률 정보(75)를 포함하고 있다. 도 13의 (b)에서는 각 서브 데이터(62, 63, 64)가 a개의 객체 클래스 확률값들을 객체 클래스 확률 정보(74)로 포함하고 b개의 동작 클래스 확률값들을 동작 클래스 확률 정보(75)로 포함하여 a+b개의 클래스 확률값들을 포함하고 있으나 이에 한정되는 것은 아니다.
검출 모델 출력 데이터는 특정 포맷을 가질 수 있다. 예를 들어, 도 13의 (b)를 참고하면, 검출 모델 출력 데이터(61)는 2차원 행렬 형태의 포맷을 가질 수 있다. 이때 검출 모델 출력 데이터(61)의 각 행은 하나의 서브 데이터(62, 63, 64)에 대응할 수 있다. 또한, 검출 모델 출력 데이터(61)의 각 열은 서브 데이터(62, 63, 64)가 포함하는 위치 정보, 확률 정보와 같은 특정 유형의 정보에 대응할 수 있다. 다만, 도 13의 (b)에 도시된 검출 모델 출력 데이터(61)의 포맷은 예시일 뿐 이에 한정되는 것은 아니다.
도 13에서는 서버에서 이미지 프레임(50) 내의 3개의 영역(51, 52, 53)에 대한 데이터를 획득하여 검출 모델 출력 데이터(61)가 3개의 서브 데이터(62, 63, 64)를 포함하는 경우를 도시하고 있으나, 서버가 획득하는 영역의 개수는 달라질 수 있다. 예를 들어, 서버는 k개의 영역에 대한 데이터를 획득할 수 있다. 이 경우 검출 모델 출력 데이터는 k개의 서브 데이터를 포함할 수 있고, 도 13의 (b)에 도시된 포맷에 따르면, 검출 모델 출력 데이터는 k개의 행을 갖는 2차원 행렬 형태로 표현될 수 있다.
또한, 도 13에 도시된 구성 요소 모두가 검출 모델 출력 데이터의 필수 구성 요소인 것은 아니다. 검출 모델 출력 데이터는 도 13에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라, 도 13에 도시된 검출 모델 출력 데이터의 구성 요소 중 적어도 일부가 생략될 수도 있다. 예를 들어, 검출 모델 출력 데이터는 바운딩 박스에 관한 정보를 포함하지 않을 수 있다. 또는, 검출 모델 출력 데이터는 존재 확률 정보를 포함하지 않을 수 있다. 또는, 검출 모델 출력 데이터는 객체 클래스 확률 정보 및 동작 클래스 확률 정보 중 적어도 하나를 포함하지 않을 수 있다.
검출 모델의 예로는 R-CNN, Fast R-CNN, Faster R-CNN, SPPNet, YOLO, SSD 등과 같은 딥러닝 모델이 있으나 이에 한정되는 것은 아니다.
검출 모델은 복수의 서브 검출 모델들을 포함할 수 있다. 복수의 서브 검출 모델들은 모델별로 적어도 일부 다른 클래스의 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출할 수 있다.
일 예로, 검출 모델은 제1 유형의 약물 이행 관련 객체 및 상기 제1 유형의 약물 이행 관련 동작을 검출하는 제1 검출 모델 및 제2 유형의 약물 이행 관련 객체 및 상기 제2 유형의 약물 이행 관련 동작을 검출하는 제2 검출 모델을 포함할 수 있다.
다른 예로, 검출 모델은 약물 이행 관련 객체를 검출하는 검출 모델(이하 "객체 검출 모델"이라 함) 및 약물 이행 관련 동작을 검출하는 검출 모델(이하 "동작 검출 모델"이라 함)을 포함할 수 있다.
도 14는 일 실시예에 따른 객체 검출 모델 및 동작 검출 모델을 포함하는 검출 모델에 관한 도면이다. 도 14를 참고하면, 서버는 객체 검출 모델에 동영상(80)의 이미지 프레임(81, 82)을 입력하여 상기 이미지 프레임(81, 82)에 포함된 약물 이행 관련 객체를 검출할 수 있다. 또한, 서버는 동작 검출 모델에 동영상(80)의 이미지 프레임(81, 82)을 입력하여 상기 이미지 프레임(81, 82)에 포함된 약물 이행 관련 동작을 검출할 수 있다. 이 경우 동영상(80)의 전체 이미지 프레임들에 대해 객체 검출 모델 및 동작 검출 모델을 이용하여 약물 이행 관련 객체 및 동작을 검출하여 상기 동영상(80)에 포함된 약물 이행 관련 객체 및 동작을 검출할 수 있다. 도 14의 이미지 프레임들(81, 82)은 동일한 객체 검출 모델에 입력될 수 있다. 도 14의 이미지 프레임들(81, 82)은 동일한 동작 검출 모델에 입력될 수 있다.
서브 검출 모델의 예로는 R-CNN, Fast R-CNN, Faster R-CNN, SPPNet, YOLO, SSD 등과 같은 딥러닝 모델이 있으나 이에 한정되는 것은 아니다.
다시 도 8을 참고하면, 단계 S230에서, 서버는 검출 결과 및 확인 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 일 예로, 서버 제어부는 검출 결과 및 확인 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 다른 예로, 서버 제어부는 검출 결과를 서버 저장부에 저장하고, 서버 저장부에 저장된 검출 결과 및 확인 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 상기 검출 결과는 검출 모델 출력 데이터를 포함할 수 있다. 상기 검출 결과는 단계 S220에서 획득한 것일 수 있다.
서버는 검출 결과를 그대로 확인 모델에 입력할 수 있다. 이 경우, 확인 모델에 입력되는 입력 데이터는 검출 모델의 검출 결과와 동일할 수 있다. 또는, 서버는 검출 결과를 변형하여 확인 모델에 입력할 수 있다. 이 경우, 확인 모델에 입력되는 입력 데이터는 검출 결과에 기초하여 생성될 수 있다.
도 15는 일 실시예에 따른 확인 모델을 이용한 약물 이행 여부 판단에 관한 도면이다.
도 15를 참고하면, 서버는 확인 모델에 확인 모델 입력 데이터를 입력하여 약물 이행 여부를 판단할 수 있다. 이 경우, 확인 모델의 입력 데이터는 확인 모델 입력 데이터일 수 있고, 출력 데이터는 약물 이행 여부 판단 결과일 수 있다.
서버는 검출 결과에 기초하여 확인 모델 입력 데이터를 생성할 수 있다. 도 15를 참고하면, 검출 결과는 동영상의 각 이미지 프레임에 대응하는 검출 모델 출력 데이터를 포함할 수 있다. 동영상이 N개의 이미지 프레임들을 포함하는 경우 검출 결과는 N개의 검출 모델 출력 데이터를 포함할 수 있다. 이때 서버는 N개의 검출 모델 출력 데이터를 종합하여 확인 모델 입력 데이터를 생성할 수 있다.
확인 모델 입력 데이터는 동영상 내에 특정 클래스의 약물 이행 관련 객체 및 동작이 존재하는지 여부를 반영할 수 있다. 또는, 확인 모델 입력 데이터는 동영상 내에서 특정 클래스의 약물 이행 관련 객체 및 동작의 시간에 따른 움직임을 반영할 수 있다.
도 16은 일 실시예에 따른 검출 모델 출력 데이터 및 확인 모델 입력 데이터에 관한 도면으로, 검출 모델은 k개의 영역에 대한 데이터를 출력하고 동영상은 N개의 이미지 프레임들을 포함하는 것으로 가정하였다. 도 16의 (a)는 검출 모델 출력 데이터의 예시이고 (b)는 확인 모델 입력 데이터의 예시이다.
확인 모델 입력 데이터는 각 이미지 프레임에 대응하는 서브 데이터를 포함할 수 있다. 예를 들어, 도 16의 (b)를 참고하면, 확인 모델 입력 데이터(92)는 N개의 이미지 프레임들 각각에 대응하는 N개의 서브 데이터(93)를 포함할 수 있다. 검출 모델 출력 데이터와 확인 모델 입력 데이터를 비교하면, 검출 모델 출력 데이터의 서브 데이터는 이미지 프레임 내의 특정 영역에 대응하고, 확인 모델 입력 데이터의 서브 데이터는 특정 이미지 프레임에 대응할 수 있다.
확인 모델 입력 데이터는 시계열적으로 배열된 서브 데이터를 포함할 수 있다. 예를 들어, 확인 모델 입력 데이터는 시계열적으로 오름차순으로 배열된 서브 데이터를 포함할 수 있다.
확인 모델 입력 데이터의 서브 데이터는 검출 모델 출력 데이터에 대응할 수 있다. 예를 들어, 도 16을 참고하면, 확인 모델 입력 데이터의 각 서브 데이터(93)는 하나의 검출 모델 출력 데이터(91)에 대응할 수 있다. 즉, 검출 모델 출력 데이터(91)는 하나의 이미지 프레임에 대한 정보만을 포함하는 반면 확인 모델 입력 데이터(92)는 복수의 이미지 프레임들(예: 동영상의 전체 이미지 프레임들)에 대한 정보를 포함할 수 있다. 확인 모델 입력 데이터의 서브 데이터는 이에 대응하는 검출 모델 출력 데이터를 이용하여 생성될 수 있다.
확인 모델 입력 데이터의 서브 데이터는 이미지 프레임 내에 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 존재하는지 여부를 반영할 수 있다. 예를 들어, 도 16을 참고하면, 확인 모델 입력 데이터의 서브 데이터(93)는 특정 클래스의 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 이미지 프레임 내에 존재하는지를 반영하는 정보(94)를 포함할 수 있다. 상기 정보(94)는 검출 모델 출력 데이터의 클래스 확률 정보(95)를 종합하여 생성될 수 있다. 구체적으로, 특정 클래스에 대응하는 상기 정보(94)는 검출 모델 출력 데이터의 특정 클래스 확률 정보(95)를 종합하여 생성될 수 있다. 상기 특정 클래스 확률 정보(95)를 종합하여 특정 클래스에 대응하는 상기 정보(94)를 생성하는 방법의 예로는 상기 특정 클래스 확률 정보(95)의 확률값들을 더하여 상기 정보(94)로 결정하는 방법, 상기 확률값들의 가중치 평균을 상기 정보(94)로 결정하는 방법 및 상기 확률값들 중 최대값을 상기 정보(94)로 결정하는 방법 등이 있으나 이에 한정되는 것은 아니다.
확인 모델 입력 데이터는 특정 포맷을 가질 수 있다. 예를 들어, 도 16의 (b)를 참고하면, 확인 모델 입력 데이터(92)는 2차원 행렬 형태의 포맷을 가질 수 있다. 이때 확인 모델 입력 데이터(92)의 각 행은 하나의 서브 데이터(93)에 대응할 수 있다. 또한, 확인 모델 입력 데이터(92)의 각 열은 서브 데이터(93)가 포함하는 확률 정보와 같은 특정 유형의 정보에 대응할 수 있다. 다만, 도 16의 (b)에 도시된 확인 모델 입력 데이터(92)의 포맷은 예시일 뿐 이에 한정되는 것은 아니다.
다시 도 15를 참고하면, 확인 모델이 출력하는 약물 이행 여부 판단 결과는 약물 이행 여부를 지시하는 인덱스일 수 있다. 즉, 확인 모델의 출력 데이터는 약물 이행 여부를 지시하는 인덱스일 수 있다. 확인 모델의 출력 데이터인 약물 이행 여부를 지시하는 인덱스에 대해서는 모니터링 모델의 출력 데이터인 약물 이행 여부를 지시하는 인덱스에 대한 내용이 적용될 수 있으므로 이에 대한 설명은 생략한다.
확인 모델의 예로는 LSTM과 같은 RNN 계열 모델, 2D CNN-LSTM과 같은 하이브리드 모델 등과 같은 딥러닝 모델이 있으나 이에 한정되는 것은 아니다.
확인 모델 입력 데이터가 동영상에 기초하여 생성됨에 따라, 단일 이미지 프레임 또는 몇몇 개의 이미지 프레임들에 기초하여 생성된 확인 모델 입력 데이터를 이용하여 약물 이행 여부를 판단하는 경우에 비해 서버의 약물 이행 여부 판단 정확도가 향상될 수 있다. 그 이유에 대한 설명은 목차 2.2 모니터링 모델을 이용하여 약물 이행 여부를 판단하는 방법에서 동영상에 기초하여 약물 이행 여부를 판단하는 경우 단일 이미지 프레임 또는 몇몇 개의 이미지 프레임들에 기초하여 약물 이행 여부를 판단하는 경우에 비해 서버의 약물 이행 여부 판단 정확도가 향상되는 것과 동일하거나 유사하므로 여기에서는 생략한다.
이상에서는 약물 이행 여부를 판단함에 있어 약물 이행 관련 객체 및 약물 이행 관련 동작을 이용하는 것에 대해 설명하였으나, 약물 이행 관련 객체 및 약물 이행 관련 동작 중 어느 하나만을 이용하여 약물 이행 여부를 판단할 수도 있다. 그러나, 약물 이행 관련 객체 및 약물 이행 관련 동작 둘 다를 이용하면 약물 이행 관련 객체 및 약물 이행 관련 동작 중 하나만을 이용하는 것에 비해 약물 이행 여부 판단의 정확도가 향상될 수 있다. 예를 들어, 확인 모델 입력 데이터가 약물 이행 관련 객체 및 약물 이행 관련 동작 둘 다에 대한 정보를 포함하는 경우 약물 이행 관련 객체 및 약물 이행 관련 동작 중 하나만에 대한 정보를 포함하는 경우에 비해 확인 모델의 약물 이행 여부 판단의 정확도가 향상될 수 있다. 이를 위해 검출 모델은 약물 이행 관련 객체 및 약물 이행 관련 동작 둘 다를 검출하는 것이 약물 이행 관련 객체 및 약물 이행 관련 동작 중 하나만을 검출하는 것에 비해 유리할 수 있다.
2.4 동영상의 카테고리를 고려하여 약물 이행 여부를 판단하는 방법
서버는 동영상의 카테고리를 분류하고 이를 고려하여 약물 이행 여부를 판단할 수 있다. 일 예로, 서버는 동영상의 카테고리에 따라 별도의 모니터링 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 다른 예로, 서버는 동영상의 카테고리에 따라 별도의 검출 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 또 다른 예로, 서버는 동영상의 카테고리에 따라 별도의 확인 모델을 이용하여 약물 이행 여부를 판단할 수 있다.
동영상의 카테고리를 분류한다는 것은 상기 동영상에 대응하는 약물 이행의 유형을 판단하는 것일 수 있다. 예를 들어, 서버는 동영상이 서로 다른 유형의 약물 이행에 대응하는 둘 이상의 카테고리 중 어떤 카테고리에 대응하는지 판단하여 상기 동영상의 카테고리를 분류할 수 있다. 이 경우, 카테고리의 예로는 약물 복용 카테고리, 흡입기 사용 카테고리, 터뷰헤일러 사용 카테고리, 비강 스프레이 사용 카테고리, 안약 투여 카테고리, 약물 주사 카테고리 등이 있으나 이에 한정되는 것은 아니다.
서버는 분류 모델을 이용하여 동영상의 카테고리를 분류할 수 있다. 이 경우, 서버는 상기 분류 모델을 추가적으로 이용하여 약물 이행 여부를 판단할 수 있다. 일 예로, 서버는 모니터링 모델에 상기 분류 모델을 추가적으로 이용하여 약물 이행 여부를 판단할 수 있다. 다른 예로, 서버는 검출 모델 및 확인 모델에 상기 분류 모델을 추가적으로 이용하여 약물 이행 여부를 판단할 수 있다.
도 17은 일 실시예에 따른 분류 모델을 이용하여 약물 이행 여부를 판단하는 방법에 관한 도면이다. 서버는 동영상을 획득하고(S310), 동영상 및 분류 모델을 이용하여 동영상의 카테고리를 분류하고(S320), 분류된 카테고리 및 동영상을 이용하여 약물 이행 여부를 판단할 수 있다(S330).
단계 S310에서, 서버는 동영상을 획득할 수 있다. 예를 들어, 서버는 웨어러블 장치로부터 동영상을 수신할 수 있다. 여기서, 동영상은 웨어러블 장치의 카메라부에 의해 촬상되어, 웨어러블 장치의 통신부를 통해 전송된 것일 수 있다. 상기 동영상은 복수의 이미지 프레임들을 포함할 수 있다. 상기 복수의 이미지 프레임들의 개수는 50개 이상, 100개 이상, 200개 이상, 400개 이상, 600개 이상, 800개 이상 및 1000개 이상 등일 수 있다. 상기 동영상에 의해 전체 약물 이행 과정이 포착될 수 있다. 또는, 상기 동영상에 의해 전체 약물 이행 과정 중 대부분의 과정이 포착될 수 있다.
단계 S320에서, 서버는 동영상 및 분류 모델을 이용하여 동영상의 카테고리를 분류할 수 있다. 일 예로, 서버 제어부는 서버 통신부를 통해 수신한 동영상 및 분류 모델을 이용하여 상기 동영상의 카테고리를 분류할 수 있다. 다른 예로, 서버 제어부는 서버 통신부를 통해 수신한 동영상을 서버 저장부에 저장하고, 서버 저장부에 저장된 동영상 및 분류 모델을 이용하여 상기 동영상의 카테고리를 분류할 수 있다. 상기 동영상은 단계 S310에서 획득한 것일 수 있다.
서버가 분류 모델을 이용하여 동영상의 카테고리를 분류한다는 것은 서버가 분류 모델을 이용하여 동영상의 카테고리를 지시하는 인덱스(이하 "카테고리 인덱스"라 함)를 획득하는 것을 의미할 수 있다. 비한정적인 예로, 상기 카테고리 인덱스는 수치적으로 표현될 수 있다.
도 18 내지 도 20은 일 실시예에 따른 분류 모델에 관한 도면이다.
도 18을 참고하면, 서버는 분류 모델에 동영상(100)을 입력하여 상기 동영상(100)의 카테고리를 분류할 수 있다. 일 예로, 서버 제어부는 분류 모델에 서버 통신부를 통해 수신된 동영상(100)을 입력하여 상기 동영상(100)의 카테고리를 분류할 수 있다. 다른 예로, 서버 제어부는 서버 통신부를 통해 수신된 동영상(100)을 서버 저장부에 저장하고, 분류 모델에 서버 저장부에 저장된 동영상(100)을 입력하여 상기 동영상(100)의 카테고리를 분류할 수 있다. 이하에서는 동영상을 입력 받아 상기 동영상의 카테고리를 분류하는 분류 모델을 제1 타입의 분류 모델이라 한다. 이 경우, 제1 타입의 분류 모델의 입력 데이터는 동영상일 수 있다.
제1 타입의 분류 모델에 입력되는 동영상은 특정 포맷을 가질 수 있다. 일 예로, 상기 동영상은 미리 정해진 개수의 이미지 프레임들을 포함할 수 있다. 다른 예로, 상기 동영상은 미리 정해진 해상도를 가질 수 있다. 또 다른 예로, 상기 동영상은 미리 정해진 비율(가로와 세로의 비율)을 가질 수 있다.
서버는 동영상을 전처리 없이 제1 타입의 분류 모델에 입력할 수 있다. 예를 들어, 서버 제어부는 서버 통신부를 통해 수신된 동영상을 전처리 없이 제1 타입의 분류 모델에 입력할 수 있다. 즉, 제1 타입의 분류 모델에 입력되는 동영상은 카메라부가 촬영한 동영상과 동일할 수 있다. 또는, 서버는 동영상을 전처리하여 제1 타입의 분류 모델에 입력할 수 있다. 예를 들어, 서버 제어부는 서버 통신부를 통해 수신된 동영상을 전처리하여 제1 타입의 분류 모델에 입력할 수 있다. 즉, 제1 타입의 분류 모델에 입력되는 동영상은 카메라부가 촬영한 동영상에 전처리를 거친 것일 수 있다. 전처리의 예로는 정규화(normalization), 리사이즈(resize), 잘라내기(crop), 노이즈 제거 및 이들의 조합 등이 있을 수 있으나 이에 한정되는 것은 아니다.
제1 타입의 분류 모델의 출력 데이터의 포맷은 다양할 수 있다.
일 예로, 제1 타입의 분류 모델의 출력 데이터는 서로 다른 카테고리를 지시하는 복수의 인덱스를 포함할 수 있다. 이때 제1 타입의 분류 모델은 복수의 인덱스 중 하나를 출력할 수 있다. 서버는 상기 출력되는 인덱스를 동영상의 카테고리 인덱스로 결정할 수 있다.
다른 예로, 제1 타입의 분류 모델의 출력 데이터는 카테고리를 예측한 확률을 지시하는 복수의 인덱스를 포함할 수 있다. 이하에서는 카테고리를 예측한 확률을 지시하는 인덱스를 카테고리 확률 인덱스라 한다. 복수의 카테고리 확률 인덱스 각각은 서로 다른 카테고리에 대응할 수 있다. 이때 제1 타입의 분류 모델은 복수의 카테고리 확률 인덱스를 출력할 수 있다. 이 경우, 서버는 복수의 카테고리 확률 인덱스를 이용하여 동영상의 카테고리를 분류할 수 있다. 즉, 서버는 복수의 카테고리 확률 인덱스를 이용하여 동영상의 카테고리 인덱스를 결정할 수 있다. 예를 들어, 서버는 복수의 카테고리 확률 인덱스 중 최대값에 대응하는 카테고리로 동영상의 카테고리를 분류할 수 있다.
제1 타입의 분류 모델은 전술한 모니터링 모델과 동일하거나 유사한 구조로 구현될 수 있다. 다만, 이 경우에도 제1 타입의 분류 모델과 모니터링 모델은 구조만 동일하거나 유사할 뿐 가중치나 필터값과 같은 파라미터는 상이할 수 있다. 또한, 제1 타입의 분류 모델이 모니터링 모델과 동일하거나 유사한 구조로 구현되어야 하는 것만은 아니다.
도 19를 참고하면, 서버는 분류 모델에 동영상(101)을 이미지 프레임(102, 103)별로 입력하여 상기 이미지 프레임(102, 103)에 포함된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 검출하고, 그 검출 결과에 기초하여 상기 동영상(101)의 카테고리를 분류할 수 있다. 이 경우, 도 19에 도시된 분류 모델(이하 "제2 타입의 분류 모델"이라 함)은 전술한 검출 모델과 유사하게 이미지 프레임을 입력 받아 상기 이미지 프레임에 포함된 약물 이행 관련 객체 및 동작 중 적어도 하나를 검출할 수 있다. 이에 따라, 제2 타입의 분류 모델은 전술한 검출 모델과 동일하거나 유사한 구조로 구현될 수 있고, 제2 타입의 분류 모델에는 전술한 검출 모델에 대한 내용이 적용될 수 있다. 예를 들어, 제2 타입의 분류 모델의 출력 데이터인 제2 타입 분류 모델 출력 데이터는 전술한 검출 모델 출력 데이터와 동일하거나 유사한 포맷일 수 있다. 이하에서는 제2 타입의 분류 모델과 검출 모델의 차이 위주로 설명한다.
제2 타입의 분류 모델이 검출하는 약물 이행 관련 객체 및 동작의 유형은 검출 모델이 검출하는 약물 이행 관련 객체 및 동작의 유형과 상이한 유형을 포함할 수 있다. 검출 모델이 검출하는 약물 이행 관련 객체 및 동작의 유형은 제2 타입의 분류 모델이 검출하는 약물 이행 관련 객체 및 동작의 유형과 상이한 유형을 포함할 수 있다.
제2 타입의 분류 모델은 약물 이행 관련 객체를 검출하고, 검출 모델은 약물 이행 관련 객체 및 약물 이행 관련 동작을 검출할 수 있다. 즉, 제2 타입의 분류 모델은 약물 이행 관련 동작은 검출하지 않을 수 있다. 이때 제2 타입의 분류 모델이 검출하는 약물 이행 관련 객체의 유형과 검출 모델이 검출하는 약물 이행 관련 객체의 유형은 상이할 수 있다.
예를 들어, 제2 타입의 분류 모델이 검출하는 약물 이행 관련 객체의 유형은 검출 모델이 검출하는 약물 이행 관련 객체의 유형보다 다양할 수 있다. 구체적인 예로, 제2 타입의 분류 모델이 검출하는 약물 이행 관련 객체는 복수의 유형의 약물 이행과 관련될 수 있고, 검출 모델이 검출하는 약물 이행 관련 객체는 상기 복수의 유형 중 특정 유형의 약물 이행과 관련될 수 있다. 더 구체적인 예로, 제2 타입의 분류 모델은 약통, 흡입기, 터뷰헤일러, 안약병 등 복수의 유형의 약물 이행과 관련된 약물 이행 관련 객체를 검출하고, 검출 모델은 이 중 흡입기 사용이라는 특정 유형의 약물 이행과 관련된 약물 이행 관련 객체인 흡입기를 검출할 수 있다. 이 경우 검출 모델은 제2 타입의 분류 모델이 검출하지 않는 추가적인 약물 이행 관련 객체를 검출할 수 있다. 예를 들어, 검출 모델은 흡입기 외에도 신체 부위 등을 검출할 수 있다.
제2 타입의 분류 모델과 검출 모델은 구조만 동일하거나 유사할 뿐 가중치나 필터값과 같은 파라미터는 상이할 수 있다. 물론, 제2 타입의 분류 모델이 검출 모델과 동일하거나 유사한 구조로 구현되어야 하는 것만은 아니다.
서버는 제2 타입의 분류 모델에 의해 검출된 약물 이행 관련 객체 및 동작을 이용하여 동영상의 카테고리를 분류할 수 있다. 이 경우, 서버는 제2 타입 분류 모델 출력 데이터를 이용하여 동영상의 카테고리 인덱스를 결정할 수 있다.
약물 이행 관련 객체 및 동작은 이에 대응하는 카테고리를 가질 수 있다.
약물 이행 관련 객체 및 동작의 카테고리는 상기 약물 이행 관련 객체 및 동작과 관련된 약물 이행의 유형에 따라 결정될 수 있다. 동일하거나 유사한 약물 이행에 관련된 약물 이행 관련 객체 및 동작은 동일한 카테고리에 대응할 수 있다. 상이한 약물 이행에 관련된 약물 이행 관련 객체 및 동작은 상이한 카테고리에 대응할 수 있다. 예를 들어, 도 11 및 도 12를 참고하면, 약통(21), 알약(25), 알약을 잡는 동작(36)과 같은 약물 이행 관련 객체 및 동작은 약물 복용에 관한 카테고리에 대응할 수 있다. 흡입기(26), 흡입기를 잡는 동작(32)과 같은 약물 이행 관련 객체 및 동작은 흡입기 사용에 관한 카테고리에 대응할 수 있다. 터뷰헤일러(24), 터뷰헤일러를 잡는 동작(33)과 같은 약물 이행 관련 객체 및 동작은 터뷰헤일러 사용에 관한 카테고리에 대응할 수 있다. 안약병(22), 안약병을 잡는 동작(34)과 같은 약물 이행 관련 객체 및 동작은 안약 투여에 관한 카테고리에 대응할 수 있다. 비강 스프레이(23), 비강 스프레이를 잡는 동작(35)과 같은 약물 이행 관련 객체 및 동작은 비강 스프레이 사용에 관한 카테고리에 대응할 수 있다. 전술한 약물 이행 관련 객체 및 동작의 카테고리에 대한 기재는 예시일 뿐 이에 한정되는 것은 아니다.
일부 실시예에서, 서버는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 검출된 이미지 프레임의 개수에 기초하여 동영상의 카테고리를 분류할 수 있다. 이 경우, 서버는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 검출된 이미지 프레임의 개수에 기초하여 동영상의 카테고리 인덱스를 결정할 수 있다. 예를 들어, 서버는 특정 카테고리에 대응하는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 검출된 이미지 프레임의 개수를 산출하고 이에 기초하여 동영상의 카테고리를 분류할 수 있다. 구체적으로, 서버는 제1 카테고리에 대응하는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 검출된 이미지 프레임 개수와 제2 카테고리에 대응하는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나가 검출된 이미지 프레임의 개수를 비교하여 동영상의 카테고리를 상기 제1 카테고리 및 상기 제2 카테고리 중 어느 하나로 분류할 수 있다. 이때 서버는 상기 개수가 큰 카테고리로 동영상의 카테고리를 분류할 수 있으나 이에 한정되는 것은 아니다.
일부 실시예에서, 서버는 검출된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 개수에 기초하여 동영상의 카테고리를 분류할 수 있다. 이 경우, 서버는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 개수에 기초하여 동영상의 카테고리 인덱스를 결정할 수 있다. 예를 들어, 서버는 특정 카테고리에 대응하는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 전체 이미지 프레임들에서의 개수를 산출하고 이에 기초하여 동영상의 카테고리를 분류할 수 있다. 구체적으로, 서버는 제1 카테고리에 대응하는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 전체 이미지 프레임들에서의 개수와 제2 카테고리에 대응하는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나의 전체 이미지 프레임들에서의 개수를 비교하여 동영상의 카테고리를 상기 제1 카테고리 및 상기 제2 카테고리 중 어느 하나로 분류할 수 있다. 이때 서버는 상기 개수가 큰 카테고리로 동영상의 카테고리를 분류할 수 있으나 이에 한정되는 것은 아니다. 또한, 약물 이행 관련 객체의 개수를 산출하는 경우 동일한 객체의 서로 다른 부분은 하나의 객체로 간주될 수도 있지만 별도의 객체로 간주될 수도 있다. 예를 들어, 약통의 뚜껑과 몸체는 하나의 객체로 간주되어 1개의 약물 이행 관련 객체로 카운팅 될 수도 있지만 둘로 간주되어 2개의 약물 이행 관련 객체로 카운팅 될 수도 있다. 특히, 약통의 뚜껑과 몸체가 분리되는 등 약물 이행 관련 객체의 서로 다른 부분이 물리적으로 이격되어 존재하는 경우 별도의 객체로 간주되어 카운팅 될 수 있다.
일부 실시예에서, 도 20을 참고하면, 서버는 제2 타입 분류 모델 출력 데이터 및 제3 타입의 분류 모델을 이용하여 동영상의 카테고리를 분류할 수 있다. 일 예로, 서버 제어부는 제2 타입 분류 모델 출력 데이터 및 제3 타입의 분류 모델을 이용하여 동영상의 카테고리를 분류할 수 있다. 다른 예로, 서버 제어부는 제2 타입 분류 모델 출력 데이터를 서버 저장부에 저장하고, 서버 저장부에 저장된 제2 타입 분류 모델 출력 데이터 및 제3 타입의 분류 모델을 이용하여 동영상의 카테고리를 분류할 수 있다. 제3 타입의 분류 모델의 출력 데이터는 동영상의 카테고리 인덱스일 수 있다.
서버는 제2 타입 분류 모델 출력 데이터를 그대로 제3 타입의 분류 모델에 입력할 수 있다. 이 경우, 제3 타입의 분류 모델에 입력되는 입력 데이터는 제2 타입 분류 모델 출력 데이터와 동일할 수 있다. 또는, 서버는 제2 타입 분류 모델 출력 데이터를 변형하여 제3 타입의 분류 모델에 입력할 수 있다. 이 경우, 제3 타입의 분류 모델에 입력되는 입력 데이터는 제2 타입 분류 모델 출력 데이터에 기초하여 생성될 수 있다. 제2 타입 분류 모델 출력 데이터에 기초하여 제3 타입의 분류 모델에 입력되는 입력 데이터를 생성하는 것에 대해서는 전술한 검출 모델의 검출 결과에 기초하여 확인 모델 입력 데이터를 생성하는 것에 대한 내용이 적용될 수 있으므로 이에 대한 자세한 설명은 생략한다.
제3 타입의 분류 모델은 전술한 확인 모델과 동일하거나 유사한 구조로 구현될 수 있다. 다만, 이 경우에도 제3 타입의 분류 모델과 확인 모델은 구조만 동일하거나 유사할 뿐 가중치나 필터값과 같은 파라미터는 상이할 수 있다. 또한, 제3 타입의 분류 모델이 확인 모델과 동일하거나 유사한 구조로 구현되어야 하는 것만은 아니다.
다시 도 17을 참고하면, 단계 S330에서, 서버는 분류된 카테고리 및 동영상을 이용하여 약물 이행 여부를 판단할 수 있다. 상기 카테고리는 단계 S320에서 분류된 결과일 수 있다. 상기 동영상은 단계 S310에서 획득한 것일 수 있다.
도 21 및 도 22는 일 실시예에 따른 분류된 카테고리 및 동영상을 이용한 약물 이행 여부 판단에 관한 도면이다. 도 21은 목차 2.2 모니터링 모델을 이용하여 약물 이행 여부를 판단하는 방법에서와 같이 모니터링 모델을 이용하는 경우이고 도 22는 목차 2.3 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단하는 방법에서와 같이 검출 모델 및 확인 모델을 이용하는 경우이다.
도 21을 참고하면, 서버는 동영상의 카테고리별로 별도의 모니터링 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 이 경우 서로 다른 모니터링 모델은 상이한 유형의 약물 이행 여부를 판단할 수 있다. 예를 들어, 제1 카테고리에 대응하는 제1 모니터링 모델은 상기 제1 카테고리에 대응하는 제1 유형의 약물 이행 여부를 판단하고, 제2 카테고리에 대응하는 제2 모니터링 모델은 상기 제2 카테고리에 대응하는 제2 유형의 약물 이행 여부를 판단할 수 있다. 구체적인 예로, 제1 유형의 약물 이행은 약물 복용, 흡입기 사용, 터뷰헤일러 사용, 비강 스프레이 사용, 안약 투여, 약물 주사 중 어느 하나일 수 있고, 제2 유형의 약물 이행은 약물 복용, 흡입기 사용, 터뷰헤일러 사용, 비강 스프레이 사용, 안약 투여, 약물 주사 중 다른 하나일 수 있으나, 이에 한정되는 것은 아니다. 모니터링 모델에 입력되는 동영상은 분류 모델에 입력되는 동영상과 동일할 수 있으나 이에 한정되는 것은 아니다.
도 22를 참고하면, 서버는 동영상의 카테고리별로 별도의 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 이 경우 서로 다른 검출 모델은 상이한 유형의 약물 이행 관련 객체 및 동작을 검출할 수 있다. 예를 들어, 제1 카테고리에 대응하는 제1 검출 모델은 상기 제1 카테고리에 대응하는 제1 유형의 약물 이행 관련 객체 및 동작을 검출하고, 제2 카테고리에 대응하는 제2 검출 모델은 상기 제2 카테고리에 대응하는 제2 유형의 약물 이행 관련 객체 및 동작을 검출할 수 있다. 또한, 서로 다른 확인 모델은 상이한 유형의 약물 이행 여부를 판단할 수 있다. 예를 들어, 제1 카테고리에 대응하는 제1 확인 모델은 상기 제1 카테고리에 대응하는 제1 유형의 약물 이행 관련 객체 및 동작에 기초하여 상기 제1 유형의 약물 이행 여부를 판단하고, 제2 카테고리에 대응하는 제2 확인 모델은 상기 제2 카테고리에 대응하는 제2 유형의 약물 이행 관련 객체 및 동작에 기초하여 상기 제2 유형의 약물 이행 여부를 판단할 수 있다. 즉, 서버는 분류 모델을 이용하여 동영상의 카테고리를 분류하고, 상기 분류된 카테고리에 대응하는 검출 모델을 이용하여 특정 유형의 약물 이행 관련 객체 및 동작을 검출하고, 상기 분류된 카테고리에 대응하는 확인 모델을 이용하여 상기 특정 유형의 약물 이행 여부를 판단할 수 있다. 검출 모델에 입력되는 동영상은 분류 모델에 입력되는 동영상과 동일할 수 있으나 이에 한정되는 것은 아니다.
도 22에서는 동영상의 카테고리별로 검출 모델과 확인 모델이 모두 상이한 것으로 도시하였으나 검출 모델 및 확인 모델 중 하나는 동일할 수도 있다. 일 예로, 동영상의 카테고리별로 검출 모델은 상이하되 확인 모델은 동일할 수 있다. 다른 예로, 동영상의 카테고리별로 검출 모델은 동일하되 확인 모델은 상이할 수 있다.
또한, 도 21 및 도 22에서는 동영상을 3개 이상의 k개의 카테고리로 분류하는 경우에 대해 도시하였으나 동영상은 2개의 카테고리로 분류될 수도 있다.
이상에서는 서버가 분류 모델을 이용하여 동영상의 카테고리를 분류하는 것에 대해 설명하였으나 동영상의 카테고리를 분류하는 방법이 이에 한정되는 것은 아니다. 예를 들어, 서버는 동영상의 카테고리를 지시하는 데이터에 기초하여 상기 동영상의 카테고리를 분류할 수 있다. 구체적으로, 서버는 무선 통신 장치나 웨어러블 장치 등 외부로부터 상기 데이터를 수신하여 상기 동영상의 카테고리를 분류할 수 있다. 이 경우, 서버는 무선 통신 장치나 웨어러블 장치 등 외부로부터 상기 데이터를 수신하여 상기 동영상의 카테고리 인덱스를 결정할 수 있다.
이상에서 모니터링 모델, 검출 모델, 확인 모델 및 분류 모델을 조합하여 설명한 약물 이행 여부를 판단하는 방법은 예시에 불과하고, 전술한 예시들과 다르게 모델들을 조합하여 약물 이행 여부를 판단할 수도 있다. 또한, 전술한 모델들과 상이한 모델을 전술한 모델들 중 적어도 일부와 조합하여 약물 이행 여부를 판단할 수도 있다.
2.5 모델 학습 방법
이하에서는 전술한 모델들의 학습 방법에 대해 설명하고, 모델들이 딥 러닝 모델인 경우에 대해 설명하나 이에 한정되는 것은 아니다.
도 23은 일 실시예에 따른 모델의 학습 방법에 관한 도면으로, 지도 학습(supervised learning)에 관한 도면이다. 서버는 학습 데이터를 이용하여 모델을 학습시킬 수 있다. 학습 데이터는 입력 데이터 및 레이블 데이터를 포함할 수 있다. 입력 데이터 및 레이블 데이터는 서로 대응할 수 있다. 서버는 학습이 완료되지 않은 모델에 입력 데이터를 입력하여 출력 데이터를 획득하고, 출력 데이터와 레이블 데이터를 비교하여 그 오차의 역전파를 통해 모델을 학습시킬 수 있다. 모델을 학습시키는 서버는 모델을 이용하여 약물 이행 여부를 판단하는 서버와 동일할 수도 있지만 이와 상이한 별도의 학습용 서버를 이용하여 모델을 학습시킬 수도 있다.
서버는 학습 데이터를 준비할 수 있다. 일 예로, 서버는 학습 데이터를 생성할 수 있다. 구체적인 예로, 서버는 입력 데이터를 입력받고 이에 기초하여 레이블 데이터를 생성할 수 있다. 다른 예로, 서버는 외부로부터 학습 데이터를 획득할 수 있다. 구체적인 예로, 서버는 외부 기기가 생성한 학습 데이터를 수신하거나, 사람에 의해 생성된 학습 데이터를 입력받을 수 있다.
모델은 Optimizer Adam, SGDScheduler, Random Contrast, Random Hue, Random Brightness, Random Flip left right, Random Crop 및 Random Resize 등 다양한 학습 기법을 이용하여 학습될 수 있다.
2.5.1 모니터링 모델 학습 방법
서버는 모니터링 모델을 학습시킬 수 있다. 서버는 모니터링 모델을 학습시키기 위한 모니터링 모델 학습 데이터를 이용하여 상기 모니터링 모델을 학습시킬 수 있다.
모니터링 모델 학습 데이터는 학습 동영상 및 상기 학습 동영상의 약물 이행 여부를 지시하는 모니터링 모델 레이블 데이터를 포함할 수 있다. 상기 학습 동영상의 포맷은 전술한 약물 이행 여부 판단 시 모니터링 모델에 입력되는 동영상의 포맷과 동일할 수 있다. 또한, 상기 모니터링 모델 레이블 데이터의 포맷은 전술한 약물 이행 여부를 지시하는 인덱스의 포맷과 동일할 수 있다.
학습 동영상은 약물 이행을 나타내는 학습 동영상 및 약물 불이행을 나타내는 학습 동영상을 포함할 수 있다.
모니터링 모델 레이블 데이터는 약물 이행을 나타내는 학습 동영상에 대응하고 약물 이행을 지시하는 레이블 및 약물 불이행을 나타내는 학습 동영상에 대응하고 약물 불이행을 지시하는 레이블을 포함할 수 있다. 또는, 모니터링 모델 레이블 데이터는 약물 이행으로 예측한 확률을 지시하는 레이블 및 약물 불이행으로 예측한 확률을 지시하는 레이블을 포함할 수 있다.
도 23을 참고하면, 도 23의 입력 데이터, 레이블 데이터 및 출력 데이터는 각각 학습 동영상, 모니터링 모델 레이블 데이터 및 약물 이행 여부를 지시하는 인덱스일 수 있다. 서버는 학습이 완료되지 않은 모니터링 모델에 학습 동영상을 입력하여 약물 이행 여부를 지시하는 인덱스를 획득하고, 상기 약물 이행 여부를 지시하는 인덱스와 모니터링 모델 레이블 데이터를 비교하여 그 오차의 역전파를 통해 모니터링 모델을 학습시킬 수 있다.
2.5.2 검출 모델 학습 방법
서버는 검출 모델을 학습시킬 수 있다. 서버는 검출 모델을 학습시키기 위한 검출 모델 학습 데이터를 이용하여 상기 검출 모델을 학습시킬 수 있다.
검출 모델 학습 데이터는 학습 이미지 프레임 및 상기 학습 이미지 프레임에 포함된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나에 관한 검출 모델 레이블 데이터를 포함할 수 있다. 상기 학습 이미지 프레임의 포맷은 전술한 약물 이행 여부 판단 시 검출 모델에 입력되는 이미지 프레임의 포맷과 동일할 수 있다. 또한, 상기 검출 모델 레이블 데이터의 포맷은 전술한 검출 모델 출력 데이터의 포맷과 동일할 수 있다.
검출 모델 레이블 데이터는 약물 이행 관련 객체에 관한 레이블 데이터(이하 "객체 레이블 데이터"라 함) 및 약물 이행 관련 동작에 관한 레이블 데이터(이하 "동작 레이블 데이터"라 함)를 포함할 수 있다.
객체 레이블 데이터는 사용자가 약물 이행 시 이용하는 등 약물 이행과 관련된 다양한 유형의 객체에 대한 레이블을 포함할 수 있다. 비한정적인 예로, 객체 레이블 데이터는 약통 레이블, 안약병 레이블, 비강 스프레이 레이블, 터뷰헤일러 레이블, 알약 레이블, 흡입기 레이블, 블리스터 레이블, 주사기 레이블 등을 포함할 수 있다.
객체 레이블 데이터는 사용자의 신체 부위에 대한 레이블을 포함할 수 있다. 비한정적인 예로, 객체 레이블 데이터는 팔 레이블, 손 레이블, 손목 레이블, 손바닥 레이블, 손날 레이블, 얼굴 레이블, 입 레이블, 코 레이블 등을 포함할 수 있다.
동작 레이블 데이터는 사용자가 약물 이행 시 취하는 자세 등 약물 이행과 관련된 다양한 유형의 동작을 포함할 수 있다. 비한정적인 예로, 동작 레이블 데이터는 블리스터를 잡는 동작 레이블, 흡입기를 잡는 동작 레이블, 터뷰헤일러를 잡는 동작 레이블, 안약병을 잡는 동작 레이블, 비강 스프레이를 잡는 동작 레이블, 알약을 잡는 동작 레이블 등 약물 이행 관련 객체를 잡는 동작 레이블, 알약과 같은 약물을 복용하는 동작 레이블, 흡입기, 터뷰헤일러, 비강 스프레이와 같은 약물 이행 관련 객체를 이용하여 약물을 흡입하는 동작 레이블, 안약병과 같은 약물 이행 관련 객체를 이용하여 안약을 투여하는 동작 레이블, 주사기와 같은 약물 이행 관련 객체를 이용하여 약물을 주사하는 동작 레이블, 약통과 같은 약물 이행 관련 객체를 여는 동작 레이블 등을 포함할 수 있다.
이하에서는 검출 모델 학습 데이터의 보다 구체적인 예시들에 대해 설명한다.
도 24 내지 도 28은 일 실시예에 따른 검출 모델 학습 데이터에 관한 도면으로, 학습 이미지 프레임에 검출 모델 레이블 데이터를 개념적으로 표시한 것이다.
도 24는 의료 용품 중 블리스터를 이용한 약물 복용에 관한 검출 모델 학습 데이터의 예시이다. 도 24를 참고하면, 객체 레이블 데이터는 팔 레이블(110a), 손바닥 레이블(110b), 손날 레이블(110c), 얼굴 레이블(또는 입과 코 레이블, 110d)과 같은 신체에 관한 레이블 및 블리스터 상면 레이블(110e), 블리스터 하면 레이블(110f), 블리스터 측면 레이블(110g), 블리스터 상자 레이블(110h)과 같은 블리스터에 관한 레이블을 포함할 수 있다. 동작 레이블 데이터는 블리스터를 잡는 동작 레이블(110i), 알약을 잡는 동작 레이블(110j) 및 알약을 복용하는 동작 레이블(110k)을 포함할 수 있다.
도 25는 의료 용품 중 흡입기를 이용한 약물 흡입에 관한 검출 모델 학습 데이터의 예시이다. 도 25를 참고하면, 객체 레이블 데이터는 팔 레이블(111a), 손목 레이블(111b), 얼굴 레이블(또는 입과 코 레이블, 111c)과 같은 신체에 관한 레이블 및 흡입기 레이블(111d), 열린 흡입기 레이블(111e), 흡입기 캡 레이블(111f)과 같은 흡입기에 관한 레이블을 포함할 수 있다. 동작 레이블 데이터는 흡입기를 잡는 동작 레이블(111g), 흡입기를 여는 동작 레이블(111h) 및 흡입기를 흡입하는 동작 레이블(111i)을 포함할 수 있다.
도 26은 의료 용품 중 터뷰헤일러를 이용한 약물 흡입에 관한 검출 모델 학습 데이터의 예시이다. 도 26을 참고하면, 객체 레이블 데이터는 팔 레이블(112a), 손목 레이블(112b), 얼굴 레이블(또는 입과 코 레이블, 112c)과 같은 신체에 관한 레이블 및 터뷰헤일러 레이블(112d), 열린 터뷰헤일러 레이블(112e), 터뷰헤일러 캡(112f)과 같은 터뷰헤일러에 관한 레이블을 포함할 수 있다. 동작 레이블 데이터는 터뷰헤일러를 잡는 동작 레이블(112g)을 포함할 수 있다.
도 27은 의료 용품 중 안약병을 이용한 안약 투여에 관한 검출 모델 학습 데이터의 예시이다. 도 27을 참고하면, 객체 레이블 데이터는 팔 레이블(113a), 손목 레이블(113b), 얼굴 레이블(또는 입과 코 레이블, 113c)과 같은 신체에 관한 레이블 및 안약병 레이블(113d), 열린 안약병 레이블(113e), 안약병 캡 레이블(113f)과 같은 안약병에 관한 레이블을 포함할 수 있다. 동작 레이블 데이터는 안약병을 잡는 동작 레이블(113g) 및 안약을 투여하는 동작 레이블(113h)을 포함할 수 있다.
도 28은 의료 용품 중 비강 스프레이를 이용한 약물 흡입에 관한 검출 모델 학습 데이터의 예시이다. 도 28을 참고하면, 객체 레이블 데이터는 팔 레이블(114a), 손목 레이블(114b), 얼굴 레이블(또는 입과 코 레이블, 114c)과 같은 신체에 관한 레이블 및 비강 스프레이 레이블(114d), 열린 비강 스프레이 레이블(114e), 비강 스프레이 캡 레이블(114f)과 같은 비강 스프레이에 관한 레이블을 포함할 수 있다. 동작 레이블 데이터는 비강 스프레이를 잡는 동작 레이블(114g) 및 비강 스프레이를 뿌리는 동작 레이블(114h)을 포함할 수 있다.
도 24 내지 도 28을 참고하면, 약물 이행의 유형 또는 의료 용품의 유형에 따라 이에 관한 검출 모델 레이블 데이터는 상이한 레이블을 포함할 수 있다. 예를 들어, 블리스터를 이용한 약물 복용에 관한 검출 모델 레이블 데이터는 블리스터에 관한 레이블(110e, 110f, 110g, 110h), 블리스터를 잡는 동작 레이블(110i), 알약을 잡는 동작 레이블(110j) 및 알약을 복용하는 동작 레이블(110k)을 포함하는 반면, 흡입기를 이용한 약물 흡입에 관한 검출 모델 레이블 데이터는 흡입기에 관한 레이블(111d, 111e, 111f), 흡입기를 잡는 동작 레이블(111g), 흡입기를 여는 동작 레이블(111h) 및 흡입기를 흡입하는 동작 레이블(111i)을 포함할 수 있다.
약물 이행의 유형 또는 의료 용품의 유형이 다르더라도 이에 관한 검출 모델 레이블 데이터는 동일한 레이블을 포함할 수 있다. 예를 들어, 도 24 내지 도 28의 약물 이행 모두 팔 레이블(110a, 111a, 112a, 113a, 114a) 및 얼굴 레이블(110d, 111c, 112c, 113c, 114c)을 포함하고 있다.
검출 모델이 검출하는 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나에 따라 상기 검출 모델의 학습 시 이용되는 검출 모델 학습 데이터가 달라질 수 있다.
서버가 판단하려는 약물 이행의 유형에 따라 검출 모델의 학습 시 이용되는 검출 모델 학습 데이터가 달라질 수 있다. 예를 들어, 블리스터를 이용한 약물 이행 여부를 판단하기 위해 이용되는 검출 모델의 경우, 서버는 도 24와 같은 검출 모델 학습 데이터를 이용하여 검출 모델을 학습시킬 수 있다. 반면, 블리스터를 이용한 약물 이행 여부 및 흡입기를 이용한 약물 흡입 여부를 판단하기 위해 이용되는 검출 모델의 경우, 서버는 도 24와 같은 검출 모델 학습 데이터 뿐만 아니라 도 25와 같은 검출 모델 학습 데이터도 함께 이용하여 검출 모델을 학습시켜야 할 것이다. 즉, 판단하려는 약물 이행의 유형이 다양할수록 서버는 더 많은 유형의 검출 모델 학습 데이터를 이용하여 검출 모델을 학습시켜야 할 것이다.
도 24 내지 도 28에 도시된 검출 모델 학습 데이터는 예시일 뿐 검출 모델 학습 데이터가 이에 한정되는 것은 아니다. 검출 모델 학습 데이터는 도 24 내지 도 28에 도시되지 않은 레이블을 추가로 포함할 수 있다. 뿐만 아니라, 도 24 내지 도 28에 도시된 검출 모델 학습 데이터의 레이블 중 적어도 일부가 생략될 수도 있다.
다시 도 23을 참고하면, 도 23의 입력 데이터, 레이블 데이터 및 출력 데이터는 각각 학습 이미지 프레임, 검출 모델 레이블 데이터 및 검출 모델 출력 데이터일 수 있다. 서버는 학습이 완료되지 않은 검출 모델에 학습 이미지 프레임을 입력하여 검출 모델 출력 데이터를 획득하고, 상기 검출 모델 출력 데이터와 검출 모델 레이블 데이터를 비교하여 그 오차의 역전파를 통해 검출 모델을 학습시킬 수 있다.
2.5.3 확인 모델 학습 방법
서버는 확인 모델을 학습시킬 수 있다. 서버는 확인 모델을 학습시키기 위한 확인 모델 학습 데이터를 이용하여 상기 확인 모델을 학습시킬 수 있다.
확인 모델 학습 데이터는 학습용 확인 모델 입력 데이터 및 상기 학습용 확인 모델 입력 데이터에 대응하고 약물 이행 여부를 지시하는 확인 모델 레이블 데이터를 포함할 수 있다. 상기 학습용 확인 모델 입력 데이터의 포맷은 전술한 확인 모델 입력 데이터의 포맷과 동일할 수 있다. 또한, 상기 확인 모델 레이블 데이터의 포맷은 전술한 약물 이행 여부를 지시하는 인덱스의 포맷과 동일할 수 있다.
학습용 확인 모델 입력 데이터는 약물 이행을 나타내는 학습용 확인 모델 입력 데이터 및 약물 불이행을 나타내는 학습용 확인 모델 입력 데이터를 포함할 수 있다.
학습용 확인 모델 입력 데이터는 동영상에 기초하여 생성될 수 있다. 학습용 확인 모델 입력 데이터는 상기 동영상에 포함된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나를 반영할 수 있다. 약물 이행을 나타내는 학습용 확인 모델 입력 데이터는 약물 이행을 나타내는 학습 동영상에 기초하여 생성될 수 있다. 약물 불이행을 나타내는 학습용 확인 모델 입력 데이터는 약물 불이행을 나타내는 학습 동영상에 기초하여 생성될 수 있다.
확인 모델 레이블 데이터는 약물 이행을 지시하는 레이블 및 약물 불이행을 지시하는 레이블을 포함할 수 있다. 또는, 확인 모델 레이블 데이터는 약물 이행으로 예측한 확률을 지시하는 레이블 및 약물 불이행으로 예측한 확률을 지시하는 레이블을 포함할 수 있다.
도 23을 참고하면, 도 23의 입력 데이터, 레이블 데이터 및 출력 데이터는 각각 학습용 확인 모델 입력 데이터, 확인 모델 레이블 데이터 및 약물 이행 여부를 지시하는 인덱스일 수 있다. 서버는 학습이 완료되지 않은 확인 모델에 학습용 확인 모델 입력 데이터를 입력하여 약물 이행 여부를 지시하는 인덱스를 획득하고, 상기 약물 이행 여부를 지시하는 인덱스와 확인 모델 레이블 데이터를 비교하여 그 오차의 역전파를 통해 모니터링 모델을 학습시킬 수 있다.
2.5.4 분류 모델 학습 방법
서버는 분류 모델을 학습시킬 수 있다.
제1 타입의 분류 모델의 경우, 서버는 제1 타입의 분류 모델을 학습시키기 위한 제1 타입 분류 모델 학습 데이터를 이용하여 상기 제1 타입의 분류 모델을 학습시킬 수 있다.
제1 타입 분류 모델 학습 데이터는 학습 동영상 및 상기 학습 동영상의 카테고리를 지시하는(또는 카테고리를 예측한 확률을 지시하는) 제1 타입 분류 모델 레이블 데이터를 포함할 수 있다. 상기 학습 동영상의 포맷은 전술한 약물 이행 여부 판단 시 제1 타입의 분류 모델에 입력되는 동영상의 포맷과 동일할 수 있다. 또한, 상기 제1 타입 분류 모델 레이블 데이터의 포맷은 전술한 카테고리를 지시하는 인덱스(또는 카테고리를 예측한 확률을 지시하는 인덱스)의 포맷과 동일할 수 있다.
학습 동영상은 서로 다른 카테고리에 대응하는 복수의 동영상들을 포함할 수 있다. 비한정적인 예로, 학습 동영상은 약물 복용에 관한 카테고리에 대응하는 동영상, 흡입기 사용에 관한 카테고리에 대응하는 동영상, 터뷰헤일러 사용에 관한 카테고리에 대응하는 동영상, 안약 투여에 관한 카테고리에 대응하는 동영상, 비강 스프레이 사용에 관한 카테고리에 대응하는 동영상 등을 포함할 수 있다.
학습 동영상은 약물 이행을 나타내는 학습 동영상 및 약물 불이행을 나타내는 학습 동영상을 포함할 수 있다.
제1 타입 분류 모델 레이블 데이터는 서로 다른 카테고리에 대응하는 복수의 레이블들을 포함할 수 있다. 예를 들어, 제1 타입 분류 모델 레이블 데이터는 약물 복용에 관한 카테고리에 대응하는 레이블, 흡입기 사용에 관한 카테고리에 대응하는 레이블, 터뷰헤일러 사용에 관한 카테고리에 대응하는 레이블, 안약 투여에 관한 카테고리에 대응하는 레이블, 비강 스프레이 사용에 관한 카테고리에 대응하는 레이블 등을 포함할 수 있다.
도 23을 참고하면, 도 23의 입력 데이터, 레이블 데이터 및 출력 데이터는 각각 학습 동영상, 제1 타입 분류 모델 레이블 데이터 및 카테고리를 지시하는 인덱스(또는 카테고리를 예측한 확률을 지시하는 인덱스)일 수 있다. 서버는 학습이 완료되지 않은 제1 타입의 분류 모델에 학습 동영상을 입력하여 카테고리를 지시하는 인덱스(또는 카테고리를 예측한 확률을 지시하는 인덱스)를 획득하고, 상기 카테고리를 지시하는 인덱스(또는 카테고리를 예측한 확률을 지시하는 인덱스)와 제1 타입 분류 모델 레이블 데이터를 비교하여 그 오차의 역전파를 통해 제1 타입의 분류 모델을 학습시킬 수 있다.
제2 타입의 분류 모델의 경우, 서버는 제2 타입의 분류 모델을 학습시키기 위한 제2 타입 분류 모델 학습 데이터를 이용하여 상기 제2 타입의 분류 모델을 학습시킬 수 있다.
제2 타입 분류 모델 학습 데이터는 학습 이미지 프레임 및 상기 학습 이미지 프레임에 포함된 약물 이행 관련 객체 및 약물 이행 관련 동작 중 적어도 하나에 관한 제2 타입 분류 모델 레이블 데이터를 포함할 수 있다. 상기 학습 이미지 프레임의 포맷은 전술한 약물 이행 여부 판단 시 제2 타입의 분류 모델에 입력되는 이미지 프레임의 포맷과 동일할 수 있다. 또한, 상기 제2 타입 분류 모델 레이블 데이터의 포맷은 전술한 제2 타입 분류 모델 출력 데이터의 포맷과 동일할 수 있다.
제2 타입 분류 모델 레이블 데이터는 전술한 객체 레이블 데이터 및 동작 레이블 데이터 중 적어도 하나를 포함할 수 있다.
제2 타입 분류 모델 레이블 데이터는 검출 모델 레이블 데이터가 포함하는 레이블과 상이한 유형의 레이블을 포함할 수 있다. 검출 모델 레이블 데이터는 제2 타입 분류 모델 레이블 데이터가 포함하는 레이블과 상이한 유형의 레이블을 포함할 수 있다.
제2 타입 분류 모델 레이블 데이터는 객체 레이블 데이터를 포함하고, 검출 모델 레이블 데이터는 객체 레이블 데이터 및 동작 레이블 데이터를 포함할 수 있다. 즉, 제2 타입 분류 모델 레이블 데이터는 동작 레이블 데이터를 포함하지 않을 수 있다. 이때 제2 타입 분류 모델 레이블 데이터의 객체 레이블 데이터는 검출 모델 레이블 데이터의 객체 레이블 데이터가 포함하는 레이블과 상이한 유형의 레이블을 포함할 수 있다. 예를 들어, 제2 타입 분류 모델 레이블 데이터의 객체 레이블 데이터는 복수의 유형의 약물 이행과 관련된 레이블을 포함하고, 검출 모델 레이블 데이터의 객체 레이블 데이터는 상기 복수의 유형 중 특정 유형의 약물 이행과 관련된 레이블을 포함할 수 있다. 구체적인 예로, 제2 타입 분류 모델 레이블 데이터의 객체 레이블 데이터는 약통 레이블, 흡입기 레이블, 터뷰헤일러 레이블, 안약병 레이블 등 복수의 유형의 약물 이행과 관련된 레이블을 포함하고, 검출 모델 레이블 데이터는 이 중 흡입기 사용이라는 특정 유형의 약물 이행과 관련된 레이블인 흡입기 레이블을 포함할 수 있다. 이 경우 검출 모델레이블 데이터의 객체 레이블 데이터는 제2 타입 분류 모델 레이블 데이터의 객체 레이블 데이터가 포함하지 않는 추가적인 레이블을 포함할 수 있다. 예를 들어, 검출 모델 레이블 데이터의 객체 레이블 데이터는 흡입기 레이블 외에도 신체 부위에 대한 레이블을 포함할 수 있다.
도 23을 참고하면, 도 23의 입력 데이터, 레이블 데이터 및 출력 데이터는 각각 학습 이미지 프레임, 제2 타입 분류 모델 레이블 데이터 및 제2 타입 분류 모델 출력 데이터일 수 있다. 서버는 학습이 완료되지 않은 제2 타입의 분류 모델에 학습 이미지 프레임을 입력하여 제2 타입 분류 모델 출력 데이터를 획득하고, 상기 제2 타입 분류 모델 출력 데이터와 제2 타입 분류 모델 레이블 데이터를 비교하여 그 오차의 역전파를 통해 제2 타입의 분류 모델을 학습시킬 수 있다.
제3 타입의 분류 모델의 경우, 서버는 제3 타입의 분류 모델을 학습시키기 위한 제3 타입 분류 모델 학습 데이터를 이용하여 상기 제3 타입의 분류 모델을 학습시킬 수 있다.
제3 타입 분류 모델 학습 데이터는 학습용 제3 타입 분류 모델 입력 데이터 및 상기 학습용 제3 타입 분류 모델 입력 데이터에 대응하는 카테고리를 지시하는(또는 카테고리를 예측한 확률을 지시하는) 제3 타입 분류 모델 레이블 데이터를 포함할 수 있다. 상기 학습용 제3 타입 분류 모델 입력 데이터의 포맷은 전술한 약물 이행 여부 판단 시 제3 타입의 분류 모델에 입력되는 입력 데이터의 포맷과 동일할 수 있다. 또한, 상기 제3 타입 분류 모델 레이블 데이터의 포맷은 전술한 제3 타입의 분류 모델의 출력 데이터의 포맷과 동일할 수 있다.
학습용 제3 타입 분류 모델 입력 데이터는 서로 다른 카테고리에 대응하는 복수의 입력 데이터를 포함할 수 있다. 비한정적인 예로, 학습용 제3 타입 분류 모델 입력 데이터는 약물 복용에 관한 카테고리에 대응하는 입력 데이터, 흡입기 사용에 관한 카테고리에 대응하는 입력 데이터, 터뷰헤일러 사용에 관한 카테고리에 대응하는 입력 데이터, 안약 투여에 관한 카테고리에 대응하는 입력 데이터, 비강 스프레이 사용에 관한 카테고리에 대응하는 입력 데이터 등을 포함할 수 있다.
학습용 제3 타입 분류 모델 입력 데이터는 약물 이행을 나타내는 입력 데이터 및 약물 불이행을 나타내는 입력 데이터를 포함할 수 있다.
제3 타입 분류 모델 레이블 데이터에 대해서는 전술한 제1 타입 분류 모델 레이블 데이터에 대한 내용이 적용될 수 있으므로 중복되는 설명은 생략한다.
도 23을 참고하면, 도 23의 입력 데이터, 레이블 데이터 및 출력 데이터는 각각 학습용 제3 타입 분류 모델 입력 데이터, 제3 타입 분류 모델 레이블 데이터 및 카테고리를 지시하는 인덱스(또는 카테고리를 예측한 확률을 지시하는 인덱스)일 수 있다. 서버는 학습이 완료되지 않은 제3 타입의 분류 모델에 학습용 제3 타입 분류 모델 입력 데이터를 입력하여 카테고리를 지시하는 인덱스(또는 카테고리를 예측한 확률을 지시하는 인덱스)를 획득하고, 상기 카테고리를 지시하는 인덱스(또는 카테고리를 예측한 확률을 지시하는 인덱스)와 제3 타입 분류 모델 레이블 데이터를 비교하여 그 오차의 역전파를 통해 제3 타입의 분류 모델을 학습시킬 수 있다.
전술한 학습 방법은 예시일 뿐 이에 한정되는 것은 아니며, 모델은 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다른 방법을 통해 학습될 수도 있다.
2.5.5 모델 학습 순서
전술한 모델들은 서로 연계되어 학습된 것일 수 있다.
일부 실시예에서, 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단하는 경우, 서버는 두 모델 중 하나를 먼저 학습시킨 후 나머지를 학습시킬 수 있다. 예를 들어, 서버는 검출 모델을 먼저 학습시킨 후 확인 모델을 학습시킬 수 있다. 구체적인 예로, 서버는 검출 모델 학습 데이터를 이용하여 검출 모델을 먼저 학습시킨 후, 검출 모델과 확인 모델을 연결하고, 상기 검출 모델 학습 데이터 중 학습 이미지 프레임을 다시 이용하여 상기 확인 모델을 학습시킬 수 있다. 이 경우 확인 모델을 학습시키기 위하여 상기 확인 모델에 입력되는 데이터는 검출 모델 출력 데이터에 기초하여 생성된 것일 수 있다. 또한, 상기 확인 모델을 학습시킬 때 기 학습된 검출 모델도 다시 학습시키거나 또는 검출 모델은 학습시키지 않을 수 있다.
일부 실시예에서, 제1 타입의 분류 모델 및 모니터링 모델을 이용하여 약물 이행 여부를 판단함에 있어 상기 제1 타입의 분류 모델과 상기 모니터링 모델의 구조가 동일한 경우, 서버는 두 모델 중 하나를 먼저 학습시킨 후 나머지를 학습시킬 수 있다.
일부 실시예에서, 제2 타입의 분류 모델, 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단함에 있어 상기 제2 타입의 분류 모델과 상기 검출 모델의 구조가 동일한 경우, 서버는 두 모델 중 하나를 먼저 학습시킨 후 나머지를 학습시킬 수 있다.
전술한 모델들은 독립적으로 학습된 것일 수 있다. 예를 들어, 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단하는 경우, 서버는 상기 검출 모델과 상기 확인 모델을 독립적으로 학습시킬 수 있다. 구체적인 예로, 서버는 검출 모델 학습 데이터를 이용하여 상기 검출 모델을 학습시키고, 이와 별도로 확인 모델 학습 데이터를 이용하여 상기 확인 모델을 학습시킬 수 있다. 이때 검출 모델 및 확인 모델 중 임의의 모델을 먼저 학습시킬 수 있다.
2.6 실시예 및 결과
2.6.1 제1 실시예
도 29는 모니터링 모델을 이용한 약물 이행 여부를 판단하는 방법의 실시예인 제1 실시예에 관한 도면으로, 모니터링 모델을 이용한 약물 이행 여부 판단의 결과에 관한 것이다. 도 29에서는 다양한 유형의 약물 이행 중 약통에서 알약을 꺼내 경구 투여하는 약물 복용의 여부를 판단하였고, 모니터링 모델로는 ResNet101 기반 I3D 네트워크 및 ResNet50 기반 SlowFast 네트워크를 사용하였다. 도 29의 모니터링 모델의 학습 시에는 100개의 학습 이미지 프레임을 포함하는 학습 동영상을 이용하였고, 각 학습 이미지 프레임은 224 x 224 픽셀의 해상도를 가졌다. 도 29를 참고하면, 모니터링 모델로 I3D 네트워크를 이용한 경우 약물 복용 여부 판단의 정확도는 학습 방법에 따라 77.8~81%를 나타냈다. 또한, 모니터링 모델로 SlowFast 네트워크를 이용한 경우 약물 복용 여부 판단의 정확도는 학습 방법에 따라 74~80%를 나타냈다. 모니터링 모델의 경우 네트워크의 종류와 무관하게 최대 약 80% 정도의 정확도를 나타냄을 확인하였다. 다만, 상기 제1 실시예는 약 1200개의 학습 동영상을 이용하여 학습된 결과이고, 도 29에 도시된 정확도는 학습을 진행함에 따라 향상되거나 학습 동영상이 달라짐에 따라 향상될 수 있는 등 경우에 따라 달라질 수 있다.
2.6.2 제2 실시예
도 30 및 도 31은 검출 모델 및 확인 모델을 이용한 약물 이행 여부를 판단하는 방법의 실시예인 제2 실시예에 관한 도면으로, 검출 모델 및 확인 모델을 이용한 약물 이행 여부 판단의 결과에 관한 것이다. 도 30에서는 다양한 유형의 약물 이행 중 약통에서 알약을 꺼내 경구 투여하는 약물 복용의 여부를 판단하였고, 버전 2는 초기 학습(버전 1) 후 학습 데이터를 보강하여 추가적인 학습을 진행한 것이다. 검출 모델로는 ResNet101 기반 Faster R-CNN, 확인 모델로는 2D 컨볼루션 레이어와 LSTM을 결합(combine)하여 이용하였다. 도 31을 참고하여 확인 모델의 구조에 대해 보다 자세히 살펴보면, 확인 모델로 입력된 확인 모델 입력 데이터는 2D 컨볼루션 레이어(2D convolution layer) 및 맥스 풀링 레이어(max pooling layer)를 지나서 concatenate되고, 이후 ReLU, LSTM 및 완전 연결 레이어(fully connected layer)를 지나 약물 이행 여부 판단 결과로 출력된다. 다만, 도 31에 도시된 확인 모델의 구조는 예시적이고, 확인 모델의 구조가 이에 한정되는 것은 아니다. 예를 들어, 2D 컨볼루션 레이어, LSTM, 완전 연결 레이어 순인 도 31의 확인 모델과 다르게, 확인 모델은 LSTM, 2D 컨볼루션 레이어, 완전 연결 레이어 순으로 설계될 수도 있다.
다시 도 30을 참고하면, 검출 모델의 정확도는 초기 학습 시 85.1%, 추가 학습 시 88.8%를 나타냈다. 또한, 확인 모델의 정확도는 초기 학습 시 90.5%, 추가 학습 시 94.5%를 나타냈다. 학습 데이터의 보강에 따라 모델의 정확도가 향상됨을 확인하였다. 또한, 검출 모델 및 확인 모델을 이용하면 제1 실시예 및 도 29와 같이 모니터링 모델을 이용한 경우에 비해 약물 이행 여부 판단의 정확도가 향상됨을 확인하였다. 다만, 도 30에 도시된 정확도는 학습을 진행함에 따라 향상되거나 학습 동영상이 달라짐에 따라 향상될 수 있는 등 경우에 따라 달라질 수 있다.
2.6.3 제3 실시예
도 32는 분류 모델을 이용한 약물 이행 여부를 판단하는 방법의 실시예인 제3 실시예에 관한 도면으로, 분류 모델 및 모니터링 모델을 이용한 약물 이행 여부 판단의 결과에 관한 것이다. 도 32에서는 다양한 유형의 약물 이행 중 약통에서 알약을 꺼내 경구 투여하는 약물 복용, 흡입기를 이용한 약물 흡입 및 블리스터에서 알약을 꺼내 경구 투여하는 약물 복용에 대해 약물 이행 여부를 판단하였다. 도 32에서 모델 종류가 모니터링 모델인 것은 분류 모델을 이용하지 않고 모니터링 모델만으로 위 3가지 유형의 약물 이행에 대해 약물 이행 여부를 판단한 것이고, 모델 종류가 분류 모델 + 모니터링 모델인 것은 분류 모델과 모니터링 모델을 함께 이용하여 위 3가지 유형의 약물 이행에 대해 약물 이행 여부를 판단한 것이다. 여기서, 분류 모델을 이용하지 않은 경우의 모니터링 모델은 위 3가지 유형의 약물 이행에 대해 약물 이행 여부를 판단할 수 있는 모델이고, 분류 모델을 이용한 경우의 모니터링 모델은 위 3가지 유형의 약물 이행 중 특정 1가지 약물 이행에 대해 약물 이행 여부를 판단할 수 있는 모델이다. 즉, 분류 모델을 이용하지 않은 경우에는 1개의 모니터링 모델을 이용하였고, 분류 모델을 이용한 경우에는 3개의 모니터링 모델을 이용하였다.
도 32를 참고하면, 분류 모델을 이용하지 않고 모니터링 모델만 이용한 경우, 위 3가지 유형의 약물 이행에 대해 60.1%의 정확도로 약물 이행 여부를 판단함을 확인하였다. 반면, 분류 모델과 모니터링 모델을 함께 이용한 경우, 약통에서 알약을 꺼내 경구 투여하는 약물 복용에 대해서는 77%, 흡입기를 이용한 약물 흡입에 대해서는 78.4%, 블리스터에서 알약을 꺼내 경구 투여하는 약물 복용에 대해서는 83.9%의 정확도로 약물 이행 여부를 판단하여, 평균 79.8%의 정확도로 약물 이행 여부를 판단함을 확인하였다. 분류 모델을 이용하는 경우, 블리스터 관련 모니터링 모델의 약물 이행 여부 판단의 정확도가 높은 것은 이에 대해 최적화된 하이퍼 파라미터로 약통 관련 모니터링 모델 및 흡입기 관련 모니터링 모델을 학습시켰기 때문인 것으로 생각된다. 다만, 도 32에 도시된 정확도는 학습을 진행함에 따라 향상되거나 학습 동영상이 달라짐에 따라 향상될 수 있는 등 경우에 따라 달라질 수 있다.
2.7 약물 이행 여부를 판단하는 방법의 추가 예시들
이하에서는 약물 이행 여부를 판단하는 방법의 몇몇 추가 예시들에 대해 설명한다.
2.7.1 제1 추가 예시 - 메인 핸드 및 서브 핸드
전술한 바와 같이, 서버는 웨어러블 장치로부터 획득한 동영상에 기초하여 약물 이행 여부를 판단할 수 있다. 이때 사용자 신체의 좌측 및 우측 중 어느 한 부분에 착용되는 웨어러블 장치(예: 스마트 워치, 스마트 밴드, 스마트 링 등)에 의해 동영상이 생성되는 경우, 웨어러블 장치가 착용된 신체 부위를 이용하여 약물을 이행할 때 생성되는 동영상과 착용되지 않은 신체 부위를 이용하여 약물을 이행할 때 생성되는 동영상은 서로 다른 양상을 띌 수 있다. 예를 들어, 스마트 워치에 탑재된 카메라부로 동영상을 생성함에 있어, 스마트 워치를 착용한 손으로 약물을 이행할 때 생성되는 동영상과 착용하지 않은 손으로 약물을 이행할 때 생성되는 동영상은 서로 다른 양상을 띌 수 있다. 이하에서는 스마트 워치 타입의 웨어러블 장치인 경우에 대해 주로 설명하고, 웨어러블 장치를 착용한 손을 메인 핸드(main hand), 착용하지 않은 손을 서브 핸드(sub hand)라 한다. 예를 들어, 스마트 워치를 왼쪽 손목에 착용하는 경우 왼손이 메인 핸드, 오른손이 서브 핸드일 것이다.
전술한 바와 같이, 약물 이행 패턴은 사용자별로 상이할 수 있다. 메인 핸드 및 서브 핸드 관점에서 예를 들면, 일부 사용자는 메인 핸드를 이용하여 약물을 이행하고, 다른 사용자는 상기 일부 사용자의 약물 이행 패턴과 다르게 서브 핸드를 이용하여 약물을 이행할 수 있다.
또한, 전술한 바와 같이 동일한 사용자라 하더라도 경우에 따라 약물 이행 패턴이 달라질 수 있다. 메인 핸드 및 서브 핸드 관점에서 예를 들면, 사용자는 이번 약물 이행은 메인 핸드를 이용하여 수행하더라도 다음 번 약물 이행은 상기 이번 약물 이행의 약물 이행 패턴과 다르게 서브 핸드를 이용하여 수행할 수 있다.
한편, 사용자는 경우에 따라 메인 핸드와 서브 핸드를 함께 이용하여 약물을 이행할 수도 있다. 예를 들어, 사용자는 서브 핸드로 알약을 잡고 이를 메인 핸드의 손바닥에 올린 후 메인 핸드를 입으로 이동시켜 알약을 복용할 수 있다. 이러한 경우 메인 핸드로 약물을 이행했는지 서브 핸드로 약물을 이행했는지 모호할 수 있다. 또한, 이 경우에도 사용자의 약물 이행 패턴은 경우에 따라 달라질 수 있다. 예를 들어, 사용자는 이번에는 상기와 같이 알약을 복용하였더라도, 다음번에는 메인 핸드로 알약을 잡고 이를 서브 핸드의 손바닥에 올린 후 서브 핸드를 입으로 이동시켜 알약을 복용하는 등 상기와 다른 패턴으로 알약을 복용할 수 있다.
이때, 메인 핸드와 서브 핸드 중 약물 이행의 주요 과정을 수행한 손으로 약물을 이행한 것으로 볼 수 있다. 예를 들어, 약물 이행의 주요 과정을 메인 핸드로 수행한 경우 메인 핸드로 약물을 이행한 것으로 볼 수 있다. 약물 이행의 주요 과정은 약물 이행의 유형에 따라 달라질 수 있다. 일 예로, 알약 복용의 경우 알약을 입으로 이동시켜 복용하는 과정이 약물 이행의 주요 과정일 수 있다. 다른 예로, 흡입기 사용의 경우 흡입기를 입으로 이동시켜 흡입하는 과정이 약물 이행의 주요 과정일 수 있다. 또 다른 예로, 터뷰헤일러 사용의 경우 터뷰헤일러를 입으로 이동시켜 흡입하는 과정이 약물 이행의 주요 과정일 수 있다. 또 다른 예로, 비강 스프레이 사용의 경우 비강 스프레이를 코로 이동시켜 흡입하는 과정이 약물 이행의 주요 과정일 수 있다. 또 다른 예로, 안약 투여의 경우 안약통을 눈으로 이동시켜 안약을 투여하는 과정이 약물 이행의 주요 과정일 수 있다. 또 다른 예로, 약물 주사의 경우 주사기를 신체의 일부로 이동시켜 주사하는 과정이 약물 이행의 주요 과정일 수 있다. 전술한 약물 이행의 유형에 따른 약물 이행의 주요 과정은 예시일 뿐 이에 한정되는 것은 아니며 경우에 따라 달라질 수 있다.
또는, 메인 핸드 및 서브 핸드 중 전체 약물 이행 과정에 있어 더 많은 과정을 수행한 손으로 약물을 이행한 것으로 볼 수 있다.
이하에서는 적어도 약물 이행의 주요 과정이 메인 핸드로 수행되거나 약물 이행의 상당 부분이 메인 핸드로 수행되는 등 메인 핸드로 약물을 이행한 것으로 볼 수 있는 약물 이행을 메인 핸드가 주체가 된 약물 이행으로 지칭한다. 또한, 적어도 약물 이행의 주요 과정이 서브 핸드로 수행되거나 약물 이행의 상당 부분이 서브 핸드로 수행되는 등 서브 핸드로 약물을 이행한 것으로 볼 수 있는 약물 이행을 서브 핸드가 주체가 된 약물 이행으로 지칭한다.
사용자가 메인 핸드가 주체가 되어 약물을 이행하는지 또는 서브 핸드가 주체가 되어 약물을 이행하는지에 따라 상기 사용자가 취하는 행위가 달라질 수 있다. 이에 따라, 메인 핸드가 주체가 된 약물 이행을 나타내는 동영상(이하 "메인 핸드 동영상"이라 함)과 서브 핸드가 주체가 된 약물 이행을 나타내는 동영상(이하 "서브 핸드 동영상"이라 함)에 포착되는 행위가 달라질 수 있다.
도 33 및 도 34는 일 실시예에 따른 메인 핸드가 주체가 된 약물 이행 및 서브 핸드가 주체가 된 약물 이행에 관한 도면으로, 블리스터를 이용한 약물 복용에 관한 것이다. 도 33 및 도 34는 사용자가 착용하였을 때 카메라부가 손목의 안쪽에 위치하도록 제공되는 스마트 워치 타입의 웨어러블 장치가 생성한 동영상의 이미지 프레임들이다.
메인 핸드 동영상과 서브 핸드 동영상은 동일하거나 유사한 행위를 포착할 수 있다. 예를 들어, 도 33 및 도 34를 참고하면, 메인 핸드 동영상 및 서브 핸드 동영상 모두 사용자가 블리스터 박스를 잡는 행위(115a, 116a), 사용자가 블리스터 박스에서 블리스터를 꺼내는 행위(115b, 116b), 사용자가 블리스터에서 알약을 꺼내는 행위(115c, 116c), 사용자가 블리스터 박스에 블리스터를 넣는 행위(115e, 116f) 및 사용자가 블리스터 박스를 닫는 행위(115f, 116g)를 포착하고 있다.
그러나, 경우에 따라 메인 핸드 동영상 및 서브 핸드 동영상 중 하나는 다른 하나가 포착한 행위를 포착하지 못할 수도 있다. 예를 들어, 도 33 및 도 34를 참고하면, 메인 핸드 동영상은 사용자가 알약을 복용하는 행위(115d)를 포착하고 있으나 서브 핸드 동영상은 이를 포착하지 못하고 있다(116e). 또한, 서브 핸드 동영상은 사용자가 알약을 잡는 행위(116d)를 포착하고 있으나, 메인 핸드 동영상은 이를 포착하지 못하고 있다. 즉, 메인 핸드 동영상과 서브 핸드 동영상이 포착하는 사용자의 행위가 다를 수 있고, 이러한 상황에서도 서버는 동영상에 기초하여 약물 이행 여부를 판단할 수 있어야 하므로, 이를 고려하여 학습된 모델이 제공되어야 한다.
서버는 메인 핸드 동영상과 서브 핸드 동영상을 모두 이용하여 학습된 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 예를 들어, 모니터링 모델 학습 데이터의 학습 동영상은 메인 핸드 동영상 및 서브 핸드 동영상을 포함할 수 있다. 또는, 검출 모델 학습 데이터의 학습 이미지 프레임은 메인 핸드 동영상의 이미지 프레임 및 서브 핸드 동영상의 이미지 프레임을 포함할 수 있다. 또는, 확인 모델 학습 데이터의 학습용 확인 모델 입력 데이터는 메인 핸드 동영상에 대응하는 입력 데이터 및 서브 핸드 동영상에 대응하는 입력 데이터를 포함할 수 있다. 또는, 분류 모델 학습 데이터의 학습 동영상(또는 학습 이미지 프레임)은 메인 핸드 동영상(또는 메인 핸드 동영상의 이미지 프레임) 및 서브 핸드 동영상(또는 서브 핸드 동영상의 이미지 프레임)을 포함할 수 있다. 이 경우, 서버는 약물 이행 및 약물 불이행으로 약물 이행 여부를 판단할 수 있다. 서버가 메인 핸드 동영상과 서브 핸드 동영상을 모두 이용하여 모델을 학습시키는 경우에도 목차 2.5 모델 학습 방법에서 설명한 학습 방법이 동일하거나 유사하게 적용될 수 있다.
서버는 메인 핸드 동영상과 서브 핸드 동영상을 모두 이용하는 것에 더해, 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단하도록 학습된 모델을 이용하여 약물 이행 여부를 판단할 수 있다. 이 경우 서버는 약물 이행 및 약물 불이행으로 약물 이행 여부를 판단하는 것이 아니라 메인 핸드가 주체가 된 약물 이행, 서브 핸드가 주체가 된 약물 이행 및 약물 불이행으로 약물 이행 여부를 판단할 수 있다.
일 예로, 모니터링 모델을 이용하여 약물 이행 여부를 판단하는 경우, 모니터링 모델 학습 데이터의 학습 동영상은 메인 핸드 동영상 및 서브 핸드 동영상을 포함하고, 모니터링 모델 레이블 데이터는 상기 메인 핸드 동영상에 대응하고 메인 핸드가 주체가 된 약물 이행을 지시하는 레이블(이하 "메인 핸드 레이블"이라 함) 및 상기 서브 핸드 동영상에 대응하고 서브 핸드가 주체가 된 약물 이행을 지시하는 레이블(이하 "서브 핸드 레이블"이라 함)을 포함할 수 있다.
다른 예로, 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단하는 경우, 검출 모델 학습 데이터의 학습 이미지 프레임은 메인 핸드 동영상의 이미지 프레임 및 서브 핸드 동영상의 이미지 프레임을 포함하고, 확인 모델 학습 데이터의 확인 모델 레이블 데이터는 메인 핸드 레이블 및 서브 핸드 레이블을 포함할 수 있다.
서버가 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단하도록 모델을 학습시키는 경우에도 목차 2.5 모델 학습 방법에서 설명한 학습 방법이 동일하거나 유사하게 적용될 수 있다.
도 35는 일 실시예에 따른 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행의 구분 여부에 따른 약물 이행 여부 판단의 결과에 관한 도면으로, 검출 모델 및 확인 모델을 이용하여 약물 이행 여부를 판단한 것이다. 도 35에서는 다양한 유형의 약물 이행 중 약통에서 알약을 꺼내 경구 투여하는 약물 복용의 여부를 판단하였고, 검출 모델로는 ResNet101 기반 Faster R-CNN, 확인 모델로는 2D 컨볼루션 레이어와 LSTM을 결합(combine)하여 이용하였다(도 31 참고). 도 35를 참고하면, 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단하는 경우의 검증 정확도(validation accuracy) 및 테스트 정확도(test accuracy)는 각각 98.8% 및 96.8%로, 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행을 구분하지 않고 약물 이행 여부를 판단하는 경우의 검증 정확도(97.7%) 및 테스트 정확도(88.8%)보다 높은 것을 확인하였다. 즉, 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행을 구분하여 약물 이행 여부를 판단하는 경우 메인 핸드가 주체가 된 약물 이행과 서브 핸드가 주체가 된 약물 이행을 구분하지 않고 약물 이행 여부를 판단하는 경우에 비해 정확하게 약물 이행 여부를 판단할 수 있다.
서버는 메인 핸드 동영상 및 서브 핸드 동영상 중 어느 하나로 모델을 먼저 학습시킨 후 상기 메인 핸드 동영상 및 서브 핸드 동영상 중 다른 하나로 모델을 마저 학습시킬 수 있다. 또는, 서버는 메인 핸드 동영상 및 서브 핸드 동영상을 번갈아 가며 모델을 학습시킬 수 있다. 또는, 서버는 별도의 순서에 대한 규칙 없이 메인 핸드 동영상 및 서브 핸드 동영상을 이용하여 모델을 학습시킬 수 있다.
서버는 메인 핸드가 주체가 된 약물 이행 여부를 판단하기 위한 모델과 서브 핸드가 주체가 된 약물 이행 여부를 판단하기 위한 모델을 별도로 이용할 수 있다.
2.7.2 제2 추가 예시 - 약물 이행 단계 일부 누락
서버는 사용자가 약물 이행의 단계별로 특정 행위를 수행했는지 실시간으로 확인하며 약물 이행 여부를 판단할 수 있다. 예를 들어, 서버는 사용자가 알약을 잡고 있는지, 사용자가 알약을 입에 넣는지, 사용자가 알약을 먹었는지 등을 단계적으로 동영상이나 이미지를 통해 확인하며 약물 이행 여부를 판단할 수 있다. 이 경우 각 단계별로 사용자가 특정 행위를 수행했는지 확인하므로 특정 단계가 누락될 일이 없어 약물 이행 여부 판단에 있어 유리한 면이 존재할 수 있다. 그러나, 약물 이행 여부 판단을 위해 사용자가 인위적인 특정 행위를 수행하여야 하므로, 사용자 입장에서는 편의성이 떨어지는 문제가 있다.
이와 달리, 서버는 사용자에게 별도의 특정 행위 수행을 요청하지 않고도 약물 이행 여부를 판단할 수 있다. 즉, 사용자는 평소와 같이 약물을 이행하여도 서버는 이에 관한 동영상을 분석하여 약물 이행 여부를 판단할 수 있다. 다만, 이 경우 각 단계별로 사용자가 특정 행위를 수행했는지 실시간으로 확인하지는 않으므로 사용자의 자세나 약물 이행에 소요되는 시간 등에 따라 약물 이행의 특정 과정이 동영상에 포착되지 않을 수 있다. 이때 서버는 약물 이행 과정 중 일부가 누락된 약물 이행을 나타내는 동영상을 이용하여 약물 이행 여부를 판단해야 한다. 특히, 미리 정해진 시간 동안 동영상을 촬영하여 약물 이행 여부를 판단하는 경우, 상기 사용자가 상기 미리 정해진 시간보다 긴 시간 동안 약물을 이행하면 약물 이행 과정의 뒷부분이 상기 동영상에 포착되지 않을 수 있다. 예를 들어, 약통에서 알약을 꺼내 경구 투여하는 약물 복용의 경우, 약물 이행 과정의 앞부분인 사용자가 약통에서 알약을 꺼내거나 사용자가 알약을 잡는 행위는 동영상에 포착될 수 있지만 약물 이행 과정의 뒷부분인 사용자가 알약을 복용하는 행위는 동영상에 포착되지 않을 수 있다. 또는, 사용자가 약물 이행을 개시한 시점보다 카메라부가 늦게 활성화되는 경우 등에는 약물 이행 과정의 앞부분이 동영상에 포착되지 않을 수 있다. 예를 들어, 사용자가 알약을 복용하는 시점에 카메라부가 활성화되는 경우 사용자가 약통에서 알약을 꺼내거나 사용자가 알약을 잡는 행위는 동영상에 포착되지 않을 수 있다. 이러한 예외 상황의 경우에도 서버는 약물 이행 여부를 판단할 수 있어야 하므로, 이를 고려한 모델이 제공되어야 한다.
도 36은 일 실시예에 따른 일부 이미지 프레임이 제거된 동영상을 이용한 모델 학습을 설명하기 위한 도면이다. 도 36을 참고하면, 서버는 전체 이미지 프레임들을 포함하는 학습 동영상(120) 및 일부 이미지 프레임이 제거된 학습 동영상(121)을 이용하여 모델을 학습시킬 수 있다. 상기 모델은 모니터링 모델, 제1 타입의 분류 모델 등 입력 데이터가 동영상인 모델일 수 있다.
도 36을 참고하면, 일부 이미지 프레임이 제거된 학습 동영상(121)은 전체 이미지 프레임들을 포함하는 학습 동영상(120)에 기초하여 생성될 수 있다.
도 37은 일 실시예에 따른 학습 동영상의 일부 이미지 프레임을 제거하는 방법에 관한 도면이다.
도 37의 (a) 내지 (c)를 참고하면, 일부 이미지 프레임이 제거된 학습 동영상(122, 124, 126)은 학습 동영상의 전체 이미지 프레임들 중 미리 정해진 개수의 연속적인 이미지 프레임(123, 125, 127)이 제거된 것일 수 있다. 이때, 제거되는 연속적인 이미지 프레임은 도 37의 (a)와 같이 학습 동영상의 앞부분(123)일 수 있고, 도 37의 (b)와 같이 학습 동영상의 중간 부분(125)일 수 있고, 도 37의 (c)와 같이 학습 동영상의 뒷부분(127)일 수 있다. 학습 동영상의 전체 이미지 프레임들이 전체 약물 이행 과정을 포함하는 경우, 앞부분에 대응하는 이미지 프레임이 제거된 학습 동영상은 약물 이행 과정의 앞부분이 포착되지 않은 경우로 볼 수 있다. 이와 유사하게, 중간 부분에 대응하는 이미지 프레임이 제거된 학습 동영상은 약물 이행 과정의 중간 부분이 포착되지 않은 경우로 볼 수 있고, 뒷부분에 대응하는 이미지 프레임이 제거된 학습 동영상은 약물 이행 과정의 뒷부분이 포착되지 않은 경우로 볼 수 있다. 즉, 서버는 연속적인 이미지 프레임이 제거된 학습 동영상을 이용하여 모델을 학습시킴으로써 동영상에 약물 이행의 일부 과정이 포착되지 않더라도 상기 동영상을 이용하여 약물 이행 여부를 판단할 수 있다.
도 37의 (d)를 참고하면, 일부 이미지 프레임이 제거된 학습 동영상(128)은 학습 동영상의 전체 이미지 프레임들 중 랜덤하게 미리 정해진 개수의 이미지 프레임(129)이 제거된 것일 수 있다.
도 37에 도시된 학습 동영상의 일부 이미지 프레임 제거에 대한 설명은 예시일 뿐 이에 한정되는 것은 아니다.
학습 동영상의 일부 이미지 프레임이 제거되더라도 모델에 입력되는 데이터의 포맷은 정해져 있으므로 서버는 제거된 부분에 데이터를 추가해야 할 수 있다. 이 경우, 서버는 제거된 이미지 프레임의 위치에 소정의 픽셀값을 갖는 이미지 프레임을 추가할 수 있다. 예를 들어, 상기 추가되는 이미지 프레임의 전체 픽셀들은 동일한 픽셀값을 가질 수 있으나, 이에 한정되는 것은 아니다. 즉, 전술한 일부 이미지 프레임이 제거된 학습 동영상은 전체 이미지 프레임들을 포함하는 학습 동영상과 동일한 개수의 이미지 프레임을 포함하되 일부 이미지 프레임에 대해 그 정보(예: 픽셀값에 대한 정보 등)가 소실된 것일 수 있다. 또는, 서버는 제거된 이미지 프레임의 위치와 다른 위치에 소정의 픽셀값을 갖는 이미지 프레임을 추가할 수 있다. 일 예로, 서버는 도 37의 (a)와 같이 학습 동영상의 앞부분(123)이 제거되더라도 상기 학습 동영상의 뒷부분에 소정의 픽셀값을 갖는 이미지 프레임을 추가할 수 있다. 다른 예로, 서버는 도 37의 (c)와 같이 학습 동영상의 뒷부분(127)이 제거되더라도 상기 학습 동영상의 앞부분에 소정의 픽셀값을 갖는 이미지 프레임을 추가할 수 있다.
서버는 일부 이미지 프레임이 제거된 학습 동영상 및 전체 이미지 프레임들을 포함하는 학습 동영상 중 어느 하나로 모델을 먼저 학습시킨 후 다른 하나로 모델을 마저 학습시킬 수 있다. 예를 들어, 서버는 일부 이미지 프레임이 제거된 학습 동영상으로 모델을 먼저 학습시킨 후 전체 이미지 프레임들을 포함하는 학습 동영상으로 모델을 마저 학습시킬 수 있다. 또는, 서버는 일부 이미지 프레임이 제거된 학습 동영상 및 전체 이미지 프레임들을 포함하는 학습 동영상을 번갈아 가며 모델을 학습시킬 수 있다. 또는, 서버는 별도의 순서에 대한 규칙 없이 일부 이미지 프레임이 제거된 학습 동영상 및 전체 이미지 프레임들을 포함하는 학습 동영상을 이용하여 모델을 학습시킬 수 있다.
확인 모델의 경우 모니터링 모델이나 제1 타입의 분류 모델과 달리 입력 데이터가 동영상이 아니므로 이하에서 별도로 설명한다.
도 38은 일 실시예에 따른 학습용 확인 모델 입력 데이터의 일부 서브 데이터를 제거하는 방법에 관한 도면이다. 전술한 바와 같이, 확인 모델 입력 데이터는 복수의 서브 데이터를 포함하고, 각 서브 데이터는 이미지 프레임에 대응할 수 있다. 따라서, 도 36 및 도 37에서 학습 동영상의 일부 이미지 프레임을 제거하는 것과 유사하게 학습용 확인 모델 입력 데이터의 일부 서브 데이터를 제거하여 약물 이행 과정 중 일부가 누락된 상황을 고려할 수 있다.
도 38을 참고하면, 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터(131)는 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터(130)에서 일부 서브 데이터(132)가 제거된 것일 수 있다. 도 37과 같은 학습 동영상의 일부 이미지 프레임 제거와 유사하게, 제거되는 학습용 확인 모델 입력 데이터의 서브 데이터는 연속적인 이미지 프레임에 대응하거나 랜덤한 이미지 프레임에 대응할 수 있다. 또한, 연속적인 이미지 프레임에 대응하는 학습용 확인 모델 입력 데이터의 서브 데이터를 제거함에 있어 앞부분, 중간 부분 또는 뒷부분의 이미지 프레임에 대응하는 서브 데이터가 제거될 수 있다.
학습 동영상의 일부 이미지 프레임 제거와 유사하게, 학습용 확인 모델 입력 데이터의 일부 서브 데이터가 제거되더라도 확인 모델에 입력되는 데이터의 포맷은 정해져 있으므로 서버는 제거된 부분에 데이터를 추가해야 할 수 있다. 이 경우, 도 38을 참고하면, 서버는 제거된 서브 데이터의 위치에 소정의 값(예를 들어, 도 38에서는 0)을 갖는 서브 데이터(133)를 추가할 수 있다. 즉, 전술한 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터는 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터와 동일한 개수의 서브 데이터를 포함하되 일부 서브 데이터에 대해 그 정보가 소실된 것일 수 있다.
도 38에 도시된 학습용 확인 모델 입력 데이터의 일부 서브 데이터 제거에 대한 설명은 예시일 뿐 이에 한정되는 것은 아니다.
서버는 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터 및 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터 중 어느 하나로 확인 모델을 먼저 학습시킨 후 다른 하나로 확인 모델을 마저 학습시킬 수 있다. 예를 들어, 서버는 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터로 확인 모델을 먼저 학습시킨 후 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터로 확인 모델을 마저 학습시킬 수 있다. 또는, 서버는 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터 및 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터를 번갈아 가며 확인 모델을 학습시킬 수 있다. 또는, 서버는 별도의 순서에 대한 규칙 없이 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터 및 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터를 이용하여 확인 모델을 학습시킬 수 있다.
모델은 레이블 스무딩(label smoothing) 기법을 이용하여 학습될 수 있다. 이 경우, 서버는 보다 정확하게 약물 이행 여부를 판단할 수 있다. 특히, 서버는 일부 약물 이행 과정이 누락된 동영상에 대해 보다 정확하게 약물 이행 여부를 판단할 수 있다.
도 39는 일 실시예에 따른 일부 약물 이행 과정이 누락된 상황을 고려하여 학습된 모델에 관한 도면으로, 검출 모델 및 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터를 이용하여 학습된 확인 모델의 약물 이행 여부 판단 결과에 관한 것이다. 확인 모델 1은 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터만 이용하여 학습된 확인 모델이고, 확인 모델 2는 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터 및 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터 둘 다를 이용하여 학습된 확인 모델이다. 기본적으로 모델 학습에는 프레임 레이트가 30fps이고 20초 동안 촬영된 동영상(따라서 전체 이미지 프레임들의 개수는 600개)을 이용하였다. 즉, 전체 서브 데이터의 개수가 600개인 학습용 확인 모델 입력 데이터를 이용하였다. 이 중 200개의 연속적인 서브 데이터를 제거하여 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터를 생성하였다. 검출 모델로는 ResNet101 기반 Faster R-CNN, 확인 모델로는 확인 모델 1 및 2 모두 2D 컨볼루션 레이어와 LSTM을 결합(combine)하여 이용하였다(도 31 참고).
도 39를 참고하면, 서버는 전체 약물 이행 과정을 나타내는 동영상에 대해 확인 모델 1을 이용하는 경우 96.5%, 확인 모델 2를 이용하는 경우 99.8%의 정확도로 약물 이행 여부를 판단하였다. 서버는 약물 이행 과정 중 일부가 누락된 약물 이행을 나타내는 동영상에 대해 확인 모델 1을 이용하는 경우 83.7%, 확인 모델 2를 이용하는 경우 95.8%의 정확도로 약물 이행 여부를 판단하였다. 즉, 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터 및 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터 둘 다를 이용하여 학습된 확인 모델을 이용하는 경우 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터만 이용하여 학습된 확인 모델에 비해 정확도가 향상되었고, 특히 약물 이행 과정 중 일부가 누락된 약물 이행을 나타내는 동영상에 대해 약물 이행 여부를 판단하는 정확도가 향상되었다. 다시 말해, 일부 이미지 프레임이 제거된 학습 동영상 또는 이에 대응하는 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터를 이용하여 모델을 학습시키는 경우 약물 이행 과정 중 일부가 누락된 약물 이행을 나타내는 동영상에 대해 약물 이행 여부를 판단하는 정확도가 향상됨을 확인하였다.
도 40은 일 실시예에 따른 연속적인 이미지 프레임 제거 및 랜덤한 이미지 프레임 제거에 관한 도면으로, 검출 모델 및 일부 서브 데이터가 제거된 학습용 확인 모델 입력 데이터를 이용하여 학습된 확인 모델의 약물 이행 여부 판단 결과에 관한 것이다. 확인 모델 3은 연속적인 서브 데이터가 제거된 학습용 확인 모델 입력 데이터 및 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터를 이용하여 학습된 확인 모델이고, 확인 모델 4는 랜덤한 서브 데이터가 제거된 학습용 확인 모델 입력 데이터 및 전체 서브 데이터를 포함하는 학습용 확인 모델 입력 데이터를 이용하여 학습된 확인 모델이다. 도 39와 동일한 구조의 검출 모델 및 확인 모델을 이용하였고, 학습용 확인 모델 입력 데이터의 전체 서브 데이터 개수 및 제거된 서브 데이터 개수 또한 도 39와 동일하였다.
도 40을 참고하면, 서버는 전체 약물 이행 과정을 나타내는 동영상에 대해 확인 모델 3을 이용하는 경우 98.9%, 확인 모델 4를 이용하는 경우 99.3%의 정확도로 약물 이행 여부를 판단하였다. 서버는 약물 이행 과정 중 일부가 누락된 약물 이행을 나타내는 동영상에 대해 확인 모델 3을 이용하는 경우 93.1%, 확인 모델 4를 이용하는 경우 90.0%의 정확도로 약물 이행 여부를 판단하였다. 즉, 서브 데이터의 제거 방법에 무관하게 전체 약물 이행 과정을 나타내는 동영상에 대해서는 비슷한 정확도로 약물 이행 여부를 판단하지만, 약물 이행 과정 중 일부가 누락된 약물 이행을 나타내는 동영상에 대해서는 연속적인 서브 데이터가 제거된 학습용 확인 모델 입력 데이터를 이용하여 학습된 확인 모델을 이용하는 것이 약물 이행 여부 판단의 정확도 향상에 유리하였다.
2.7.3 제3 추가 예시 - 프레임 수 변화
이상에서는 미리 정해진 개수의 이미지 프레임을 포함하는 동영상 또는 미리 정해진 개수의 서브 데이터를 포함하는 확인 모델 입력 데이터에 기초하여 약물 이행 여부를 판단하는 것에 대해 살펴보았다. 그러나, 경우에 따라 정해진 개수와 다른 개수의 이미지 프레임을 포함하는 동영상 또는 정해진 개수와 다른 개수의 서브 데이터를 포함하는 확인 모델 입력 데이터에 대해 약물 이행 여부를 판단해야 할 수 있다.
일 예로, 약물 이행의 유형에 따라 동영상 촬영 시간이 달라질 수 있고 그 결과 정해진 개수와 다른 개수의 이미지 프레임을 포함하는 동영상 또는 정해진 개수와 다른 개수의 서브 데이터를 포함하는 확인 모델 입력 데이터에 대해 약물 이행 여부를 판단해야 할 수 있다.
다른 예로, 사용자별로 동영상 촬영 시간이 달라질 수 있고 그 결과 정해진 개수와 다른 개수의 이미지 프레임을 포함하는 동영상 또는 정해진 개수와 다른 개수의 서브 데이터를 포함하는 확인 모델 입력 데이터에 대해 약물 이행 여부를 판단해야 할 수 있다.
먼저, 미리 정해진 개수를 초과하는 이미지 프레임을 포함하는 동영상 또는 미리 정해진 개수를 초과하는 서브 데이터를 포함하는 확인 모델 입력 데이터에 대한 서버의 처리 방법에 대해 설명한다.
도 41은 일 실시예에 따른 이미지 프레임 선별에 관한 도면이다. 도 41을 참고하면, 서버는 프레임 선별을 통해 미리 정해진 개수를 초과하는 개수의 이미지 프레임을 포함하는 동영상(140)으로부터 미리 정해진 개수의 이미지 프레임을 포함하는 동영상(141)을 획득할 수 있다.
일부 실시예에서, 프레임 선별은 홀수번째 이미지 프레임 및 짝수번째 이미지 프레임 중 어느 하나를 선택하는 것일 수 있다. 예를 들어, 미리 정해진 개수보다 2배의 이미지 프레임을 포함하는 동영상인 경우, 서버는 상기 동영상의 홀수번째 이미지 프레임 또는 짝수번째 이미지 프레임을 선택하여 미리 정해진 개수의 이미지 프레임을 포함하는 동영상을 생성할 수 있다. 이와 유사하게, 미리 정해진 개수보다 n배의 이미지 프레임을 포함하는 동영상인 경우, 서버는 상기 동영상의 각 n번째 이미지 프레임을 선택하여 미리 정해진 개수의 이미지 프레임을 포함하는 동영상을 생성할 수 있다.
또는, 프레임 선별은 랜덤하게 이미지 프레임을 선택하는 것일 수 있다. 예를 들어, 서버는 미리 정해진 개수를 초과하는 개수의 이미지 프레임을 포함하는 동영상에서 랜덤하게 미리 정해진 개수의 이미지 프레임을 선택하여 미리 정해진 개수의 이미지 프레임을 포함하는 동영상을 생성할 수 있다.
전술한 프레임 선별에 관한 기재는 예시일 뿐 이에 한정되는 것은 아니다.
이와 유사하게, 서버는 서브 데이터 선별을 통해 미리 정해진 개수를 초과하는 개수의 서브 데이터를 포함하는 확인 모델 입력 데이터로부터 미리 정해진 개수의 서브 데이터를 포함하는 확인 모델 입력 데이터를 획득할 수 있다. 서브 데이터 선별은 프레임 선별에 대한 내용이 적용될 수 있으므로 자세한 설명은 생략한다.
다음으로, 미리 정해진 개수 미만의 이미지 프레임을 포함하는 동영상 또는 미리 정해진 개수 미만의 서브 데이터를 포함하는 확인 모델 입력 데이터에 대한 서버의 처리 방법에 대해 설명한다.
서버는 미리 정해진 개수 미만의 이미지 프레임을 포함하는 동영상에 이미지 프레임을 추가하여 미리 정해진 개수의 이미지 프레임을 포함하는 동영상을 생성할 수 있다. 일 예로, 상기 추가되는 이미지 프레임은 상기 미리 정해진 개수 미만의 이미지 프레임을 포함하는 동영상의 앞부분에 추가될 수 있다. 다른 예로, 상기 추가되는 이미지 프레임은 상기 미리 정해진 개수 미만의 이미지 프레임을 포함하는 동영상의 뒷부분에 추가될 수 있다. 또 다른 예로, 상기 추가되는 이미지 프레임은 상기 미리 정해진 개수 미만의 이미지 프레임을 포함하는 동영상의 중간 부분에 추가될 수 있다. 또 다른 예로, 상기 추가되는 이미지 프레임은 상기 미리 정해진 개수 미만의 이미지 프레임을 포함하는 동영상의 랜덤한 위치에 추가될 수 있다.
이미지 프레임이 추가되는 위치에 따라 약물 이행 여부 판단의 정확도가 달라질 수 있다. 이때, 약물 이행 여부 판단의 정확도가 향상되는 이미지 프레임이 추가되는 위치는 모델의 종류에 따라 달라질 수 있다. 예를 들어, LSTM 계열의 모델이나 이와 유사한 모델을 이용하는 경우, 동영상의 앞부분에 이미지 프레임을 추가하는 것이 다른 경우에 비해 약물 이행 여부 판단의 정확도가 높을 수 있다.
상기 추가되는 이미지 프레임은 소정의 픽셀값을 가질 수 있다. 예를 들어, 상기 추가되는 이미지 프레임의 전체 픽셀들은 동일한 픽셀값을 가질 수 있으나, 이에 한정되는 것은 아니다.
3. 약물 이행 내용을 판단하는 방법
이상에서는 약물 이행 여부를 판단하는 방법에 대해 설명했는데, 경우에 따라 약물 이행의 내용 파악이 필요할 수도 있다. 여기서, 약물 이행의 내용이란 사용자가 어떤 알약을 복용했는지, 몇 개의 알약을 복용했는지 등 약물 이행 여부에 더해 그에 대한 내용에 관한 넓은 의미이다. 이하에서는 알약 복용 위주로 설명한다.
도 42는 일 실시예에 따른 알약 복용에 있어서의 약제 정보 판단에 관한 도면이다. 약제 정보는 알약의 개수 및 알약의 종류를 포함할 수 있다. 도 42를 참고하면, 서버는 동영상(150)의 이미지 프레임 중 손바닥 위에 알약이 놓인 장면을 나타내는 이미지 프레임(151)에 기초하여 약제 정보를 판단할 수 있다. 예를 들어, 서버는 동영상(150)의 이미지 프레임 중 손바닥 위에 알약이 놓인 장면을 나타내는 이미지 프레임(151)을 약제 정보 판단 모델에 입력하여 약제 정보를 획득할 수 있다.
손바닥 위에 알약이 놓인 장면을 나타내는 이미지 프레임이 복수인 경우, 서버는 이 중 가장 늦은 시점에 대응하는 이미지 프레임에 기초하여 약제 정보를 판단할 수 있다. 또는, 서버는 상기 복수의 이미지 프레임 각각에 기초하여 약제 정보를 판단한 후 이를 종합하여 최종 약제 정보를 판단할 수 있다.
서버는 알약이 손바닥 위에 놓인 상황을 검출할 수 있는 모델을 이용하여 손바닥 위에 알약이 놓인 장면을 나타내는 이미지 프레임을 찾을 수 있다. 예를 들어, 서버는 동영상을 이미지 프레임별로 상기 모델에 입력하여 전체 이미지 프레임들 중 손바닥 위에 알약이 놓인 장면을 나타내는 이미지 프레임을 찾을 수 있다. 알약이 손바닥 위에 놓인 상황을 검출할 수 있도록 검출 모델을 학습시키는 경우, 별도의 모델을 이용하여 추가적인 계산을 수행하지 않고 검출 모델의 검출 결과를 확인하여 손바닥 위에 알약이 놓인 장면을 나타내는 이미지 프레임을 찾을 수 있다. 이 경우 별도의 모델을 이용하여 추가적인 계산을 수행하는 것에 비해 손바닥 위에 알약이 놓인 장면을 나타내는 이미지 프레임을 현저히 빠르게 찾을 수 있고, 계산 비용(computational cost) 또한 현저히 감소할 수 있다.
상기 모델은 전술한 검출 모델과 동일하거나 유사하게 구현될 수 있지만 이에 한정되는 것은 아니다.
약물 이행 내용을 판단하는 서버는 약물 이행 여부를 판단하는 서버와 동일할 수 있다. 또는, 약물 이행 내용을 판단하는 서버는 약물 이행 여부를 판단하는 서버와 상이한 별도의 서버일 수 있다.
4. 약물 이행과 관련된 정보를 관리하는 방법
서버는 약물 이행과 관련된 다양한 정보를 관리할 수 있다. 예를 들어, 서버는 사용자의 약물 이행 현황, 사용자의 웨어러블 장치 착용 여부, 웨어러블 장치의 동영상 촬영 시간 등을 관리할 수 있다. 상기 약물 이행 현황은 동영상, 동영상의 분석 결과(예: 동영상이 약물 이행을 나타내는지 약물 불이행을 나타내는지에 대한 정보와 같은 약물 이행 여부 판단 결과 등), 사용자의 약물 이행 스케쥴, 사용자의 약물 이행 시점, 사용자의 약물 중복 이행 여부 등을 포함할 수 있다. 약물 이행 현황에 대한 보다 구체적인 내용은 후술한다.
약물 이행과 관련된 정보를 관리하는 서버는 약물 이행 여부 또는 약물 이행 내용을 판단하는 서버와 동일할 수 있다. 또는, 약물 이행에 관한 정보를 관리하는 서버는 약물 이행 여부 또는 약물 이행 내용을 판단하는 서버와 상이한 별도의 관리용 서버일 수 있다.
이하에서는 약물 이행과 관련된 정보를 관리하는 방법에 대해 보다 구체적으로 설명한다.
4.1 약물 이행 현황 관리
서버는 사용자의 약물 이행 현황을 관리할 수 있다.
서버는 사용자의 약물 이행 스케쥴을 저장할 수 있다.
서버는 사용자의 약물 이행 시점을 저장할 수 있다. 상기 약물 이행 시점은 웨어러블 장치가 동영상을 생성한 시점에 기초하여 결정될 수 있다. 예를 들어, 상기 약물 이행 시점은 웨어러블 장치가 동영상을 생성한 시점일 수 있다.
서버는 사용자의 약물 이행 스케쥴에 기초하여 상기 사용자에게 알림을 제공할 수 있다.
일 예로, 서버는 약물 이행 스케쥴 상 사용자가 약물을 이행해야 하는 시점 근처에서 웨어러블 장치 또는 사용자 단말로 알림을 전송하여 상기 사용자의 약물 이행을 유도할 수 있다.
다른 예로, 서버는 사용자가 약물을 초과 이행했는지 판단하고 이에 대한 판단 결과를 웨어러블 장치 또는 사용자 단말로 전송하여 상기 사용자에게 중복된 약물 이행을 수행하였음을 알릴 수 있다. 여기서, 약물을 초과 이행하였다는 것은 정해진 시간에 약을 1개만 먹으면 되는데 2개를 먹는 등 미리 정해진 개수를 초과하여 약물을 이행한 것을 의미한다. 서버는 사용자의 약물 이행 내용을 약물 이행 스케쥴과 비교하여 사용자가 약물을 초과 이행했는지 판단할 수 있다.
서버는 사용자에게 약물 이행 여부를 확인할 수 있다. 서버는 웨어러블 장치 또는 사용자 단말을 통해 사용자에게 약물 이행 여부를 확인할 수 있다.
일 예로, 서버는 약물 이행 스케쥴에 기초하여 사용자에게 약물 이행 여부를 확인할 수 있다. 서버는 약물 이행 스케쥴 상 사용자가 약물을 이행해야 하는 시점 근처에서 사용자에게 약물 이행 여부를 확인할 수 있다.
다른 예로, 서버는 동영상을 수신한 후 사용자에게 약물 이행 여부를 확인할 수 있다. 서버는 웨어러블 장치로부터 동영상을 수신한 후 사용자에게 약물 이행 여부를 확인할 수 있다.
또 다른 예로, 서버는 사용자의 약물 이행 여부를 판단한 후 사용자에게 약물 이행 여부를 확인할 수 있다. 서버는 동영상을 분석하여 사용자가 약물을 이행한 것으로 판단한 경우 사용자에게 약물을 이행한 것이 맞는지 약물 이행 여부를 확인할 수 있다. 또는, 서버는 동영상의 분석 결과와 무관하게 동영상을 분석하여 약물 이행 여부를 판단한 후 사용자에게 약물 이행 여부를 확인할 수 있다.
서버는 사용자의 보호자 또는 의료진 등에게 상기 사용자의 약물 이행 현황에 관한 정보를 제공할 수 있다. 예를 들어, 서버는 동영상, 사용자의 약물 이행 스케쥴, 약물 이행 여부, 약물 이행 시점 및 약물 중복 이행 여부 중 적어도 일부를 보호자 또는 의료진 등에게 제공할 수 있다. 이 경우, 서버 저장부는 웨어러블 장치의 사용자에 대한 식별 정보를 상기 사용자의 보호자 또는 의료진의 장치에 관한 식별 정보와 연계해서 저장하고 있을 수 있다.
서버는 사용자가 약물을 이행한 것으로 판단한 경우 보호자 또는 의료진 등에게 상기 사용자의 약물 이행 현황에 관한 정보를 제공할 수 있다.
서버는 사용자가 약물을 불이행한 것으로 판단한 경우 보호자 또는 의료진 등에게 상기 사용자의 약물 이행 현황에 관한 정보를 제공할 수 있다. 예를 들어, 서버는 사용자가 소정의 기간 동안 약물을 불이행한 것으로 판단한 경우 보호자 또는 의료진 등에게 상기 사용자가 약물을 불이행하고 있음을 알릴 수 있다.
4.2 웨어러블 장치 착용 관리
서버는 사용자의 웨어러블 장치 착용에 대해 관리할 수 있다.
서버는 웨어러블 장치가 수집한 정보에 기초하여 사용자의 웨어러블 장치 착용 여부를 확인할 수 있다. 예를 들어, 서버는 웨어러블 장치의 모션 센서를 통해 상기 웨어러블 장치의 움직임을 분석하여 사용자의 웨어러블 장치 착용 여부를 확인할 수 있다. 구체적으로, 웨어러블 장치가 소정의 기간 동안 움직이지 않은 경우 서버는 사용자가 웨어러블 장치를 착용하지 않은 것으로 판단할 수 있다.
서버는 사용자가 웨어러블 장치를 착용하지 않은 것으로 판단한 경우 상기 웨어러블 장치 또는 사용자 단말을 통해 상기 사용자에게 알림을 제공하여 상기 사용자의 웨어러블 장치 착용을 유도할 수 있다.
서버는 사용자가 웨어러블 장치를 제대로 착용했는지 확인할 수 있다. 웨어러블 장치의 착용 방향에 따라 잘못된 동영상이 촬영될 수 있다. 예를 들어, 스마트 워치나 스마트 밴드 형태의 웨어러블 장치의 경우, 웨어러블 장치는 카메라부가 사용자의 손 방향을 향하도록 착용되어야 사용자의 손 근처를 촬영할 수 있을 것이다.
서버는 동영상을 분석하여 사용자가 웨어러블 장치를 제대로 착용했는지 확인할 수 있다. 예를 들어, 서버는 동영상의 분석 결과 일정 횟수 이상 연속적으로 약물 불이행으로 판단되는 경우 사용자가 웨어러블 장치를 잘못 착용했다고 판단할 수 있다. 또는, 서버는 동영상의 분석 결과 약물 이행 관련 객체 및 동작이 검출되지 않거나 미리 정해진 개수 이하로 검출되는 등의 경우 사용자가 웨어러블 장치를 잘못 착용했다고 판단할 수 있다. 또는, 서버는 획득된 이미지 프레임에서 사용자의 팔에 대응하는 영역이 상기 이미지 프레임의 전체 영역 대비 일정 비율을 초과하는 것으로 판단되는 경우 상기 사용자가 웨어러블 장치를 잘못 착용했다고 판단할 수 있다.
서버는 웨어러블 장치의 카메라부가 다른 물체에 의해 가려졌는지 확인할 수 있다. 예를 들어, 스마트 워치나 스마트 밴드 형태의 웨어러블 장치의 경우, 서버는 사용자의 옷 소매에 의해 카메라부가 가려졌는지 확인할 수 있다.
서버는 동영상을 분석하여 웨어러블 장치의 카메라부가 다른 물체에 의해 가려졌는지 확인할 수 있다. 예를 들어, 서버는 동영상의 분석 결과 일정 횟수 이상 연속적으로 약물 불이행으로 판단되는 경우 카메라부가 다른 물체에 의해 가려졌다고 판단할 수 있다. 또는, 서버는 동영상의 분석 결과 약물 이행 관련 객체 및 동작이 검출되지 않거나 미리 정해진 개수 이하로 검출되는 등의 경우 카메라부가 다른 물체에 의해 가려졌다고 판단할 수 있다. 또는, 서버는 획득된 이미지 프레임의 픽셀값에 기초하여 카메라부가 다른 물체에 의해 가려졌는지 확인할 수 있다.
서버는 사용자가 웨어러블 장치를 잘못 착용한 것으로 판단한 경우 상기 웨어러블 장치 또는 사용자 단말을 통해 상기 사용자에게 알림을 제공하여 상기 사용자가 웨어러블 장치를 제대로 착용하도록 유도할 수 있다.
웨어러블 장치는 사용자의 착용이 발생하면 이미지 프레임 또는 동영상을 촬영하여 서버로 전송하는 단계를 수행할 수 있다. 이에 따라, 서버는 수신한 이미지 프레임 또는 동영상에 기초하여 사용자의 웨어러블 장치 착용에 대해 관리할 수 있다.
4.3 동영상 촬영 시간 관리
서버는 동영상 촬영 시간을 관리할 수 있다.
서버는 웨어러블 장치의 동영상 촬영 시간을 변경할 수 있다. 예를 들어, 서버는 동영상 촬영 시간을 늘리거나 줄일 수 있다. 서버는 동영상 촬영 시간을 변경하여 이를 사용자별로 최적화할 수 있다.
서버는 동영상을 분석하여 사용자에게 동영상 촬영 시간이 적절한지 판단할 수 있다. 예를 들어, 서버는 동영상의 마지막 이미지 프레임이 어떤 약물 이행 행위에 대응하는지를 판단하여 웨어러블 장치에 현재 설정된 동영상 촬영 시간이 사용자에게 적절한지 판단할 수 있다.
서버는 사용자에게 동영상 촬영 시간이 적절하지 않다고 판단한 경우 상기 동영상 촬영 시간을 변경할 수 있다. 예를 들어, 서버는 특정 사용자에게 동영상 촬영 시간이 짧은 것으로 판단한 경우 상기 특정 사용자의 동영상 촬영 시간을 늘릴 수 있다. 또는, 서버는 특정 사용자에게 동영상 촬영 시간이 긴 것으로 판단한 경우 상기 특정 사용자의 동영상 촬영 시간을 줄일 수 있다.
5. 원격 의료 적용
전술한 약물 이행에 관한 내용은 원격 의료 상황에 적용될 수 있다.
원격 의료란 의사와 환자가 멀리 떨어져 있는 장소에서 행하는 의료 행위로, 통신 수단에 의해 환자의 상태를 파악하여 적절한 진료를 행하는 것이다. 이러한 원격 의료 상황에서는 의사와 환자가 대면하는 경우에 비해 의사가 환자의 상태를 파악하기 어려울 수 있다. 따라서, 의사에게 환자의 상태에 대한 정보를 제공해주는 것이 유용할 수 있다
도 43은 원격 의료 적용의 일 예인 따른 보조 의견 리포트 제공에 관한 도면이다. 보조 의견 리포트란 사용자의 건강 상태와 관련된 리포트로, 의사나 보호자 등은 사용자의 건강 상태를 확인하거나 사용자의 건강 관리 계획을 설정하는 등에 보조 의견 리포트를 참고할 수 있다. 이를 통해 의사 등은 사용자를 대면하지 않고도 사용자의 건강 상태를 확인하거나 사용자의 건강 관리 계획을 설정할 수 있다. 서버는 의사에게 보조 의견 리포트를 제공함으로써 원격 의료 서비스를 제공하거나 보조할 수 있다.
서버는 사용자의 약물 순응도를 고려하여 보조 의견 리포트를 생성할 수 있다. 예를 들어, 서버는 기 처방에 따른 약물 순응도를 고려하여 보조 의견 리포트를 생성할 수 있다. 여기서, 기 처방에 따른 약물 순응도는 기 처방에 대한 약물 이행 여부 판단 결과에 기초하여 산출될 수 있다.
서버는 사용자의 건강 상태를 파악하여 보조 의견 리포트를 생성할 수 있다. 서버는 약물을 이행하고 일정 시간이 지난 후의 사용자의 건강 상태를 파악하여 보조 의견 리포트를 생성할 수 있다. 상기 일정 시간은 사용자, 약물의 유형 및 약물 이행의 유형 중 적어도 하나에 따라 달라질 수 있다.
사용자의 건강 상태 파악을 위하여, 서버는 웨어러블 장치로 사용자의 건강 상태에 관한 질문을 전송할 수 있다. 건강 상태에 관한 질문의 예로는 약물 부작용, 약물 이행 후의 증상 및 감정, 임상 수치, 통증 수치 등에 관한 질문이 있으나 이에 한정되는 것은 아니다.
약물을 이행하고 일정 시간이 지난 후의 사용자의 건강 상태를 파악하기 위하여, 서버는 약물을 이행하고 일정 시간이 지난 후에 웨어러블 장치로 건강 상태에 관한 질문을 전송할 수 있다.
웨어러블 장치는 서버로부터 수신한 질문에 대한 사용자의 답변을 획득할 수 있다. 웨어러블 장치는 획득한 사용자의 답변을 서버로 전송할 수 있다. 서버는 획득한 사용자의 답변에 기초하여 사용자의 건강 상태를 파악할 수 있다. 서버는 파악된 사용자의 건강 상태에 기초하여 보조 의견 리포트를 생성할 수 있다. 서버는 생성된 보조 의견 리포트를 의사나 보호자 등에게 제공할 수 있다.
서버는 사용자의 생체 정보를 더 고려하여 사용자의 건강 상태를 파악하거나 보조 의견 리포트를 생성할 수 있다. 전술한 바와 같이, 생체 정보의 예로는 걸음수 등의 움직임에 관한 정보, 심박수, 혈중 산소 포화도, 심전도 등이 있으나 이에 한정되는 것은 아니다.
서버는 약물 이행 전의 생체 정보 및 약물 이행 후의 생체 정보 중 적어도 하나를 더 고려하여 사용자의 건강 상태를 파악하거나 보조 의견 리포트를 생성할 수 있다. 예를 들어, 서버는 약물 이행 전과 약물 이행 후의 생체 정보를 비교하여 사용자의 건강 상태를 파악하거나 보조 의견 리포트를 생성할 수 있다.
서버는 웨어러블 장치를 통해 사용자의 생체 정보를 획득할 수 있다. 웨어러블 장치는 사용자의 생체 정보를 측정할 수 있다. 웨어러블 장치는 그 모션 센서, 심박 센서, 혈중 산소 포화도 센서, 심전도 센서 등을 통해 사용자의 생체 정보를 측정할 수 있다. 웨어러블 장치는 측정한 생체 정보를 서버로 전송할 수 있다.
도 43에서 서버는 웨어러블 장치를 통해 사용자의 건강 상태를 파악하는 것으로 도시하였으나, 스마트폰, 태블릿, 랩탑, 데스크탑과 같은 사용자 단말을 통해 사용자의 건강 상태를 파악할 수도 있다. 이 경우 서버는 웨어러블 장치가 아닌 사용자 단말과 통신하여 사용자의 건강 상태를 파악할 수 있다. 또는, 서버는 웨어러블 장치 및 사용자 단말 모두를 통해 사용자의 건강 상태를 파악할 수도 있다.
또한, 도 43에서는 약물 이행 여부를 판단하는 서버와 보조 의견 리포트를 생성하는 서버가 동일한 것으로 도시하였으나, 보조 의견 리포트를 생성하는 서버는 약물 이행 여부를 판단하는 서버와 상이할 수도 있다.
도 44는 원격 의료 적용의 다른 예인 처방 리포트 제공에 관한 도면이다. 의사나 약사 등은 처방 리포트를 참고하여 사용자에게 처방을 내릴 수 있다. 이를 통해 의사나 약사 등은 사용자를 대면하지 않고도 사용자에게 처방을 내릴 수 있다. 서버는 의사나 약사 등에게 처방 리포트를 제공함으로써 원격 의료 서비스를 제공하거나 보조할 수 있다.
서버는 처방 정보에 기초하여 사용자의 약물 순응도를 산출할 수 있다. 예를 들어, 서버는 1차 처방 정보에 기초하여 사용자의 1차 처방에 따른 약물 순응도를 산출할 수 있다. 사용자의 1차 처방에 따른 약물 순응도는 1차 처방에 대한 약물 이행 여부 판단 결과에 기초하여 산출될 수 있다.
서버는 사용자의 약물 순응도를 고려하여 처방 리포트를 생성할 수 있다. 예를 들어, 서버는 1차 처방에 따른 약물 순응도를 고려하여 2차 처방에 대한 처방 리포트를 생성할 수 있다. 구체적으로, 서버는 1차 처방에 따른 약물 순응도가 미리 정해진 기준 이상인 경우 사용자에게 2차 처방을 내려도 좋다는 처방 리포트를 생성할 수 있다. 또는, 서버는 1차 처방에 따른 약물 순응도가 미리 정해진 기준 미만인 경우 사용자에게 2차 처방을 내리지 말라는 처방 리포트를 생성할 수 있다.
서버는 사용자의 약물 이행 스케쥴을 고려하여 처방 리포트를 생성할 수 있다. 예를 들어, 약물 이행 스케쥴 상 사용자가 1차 처방에 대한 약물 이행을 완료하였을 것으로 예측되는 경우 서버는 처방 리포트를 생성할 수 있다. 또는, 서버는 2차 처방에 대한 요청이 있을 경우 처방 리포트를 생성할 수 있다. 예를 들어, 서버는 사용자로부터 2차 처방에 대한 요청이 있을 경우 처방 리포트를 생성할 수 있다. 이때, 서버는 도 44에 도시된 바와 같이 웨어러블 장치를 통해 사용자로부터 2차 처방에 대한 요청을 수신할 수 있으나, 사용자 단말 등 다른 경로를 통해 사용자로부터 2차 처방에 대한 요청을 수신할 수도 있다. 또한, 서버는 사용자가 아닌 의사나 약사, 보호자 등으로부터 상기 사용자의 2차 처방에 대한 요청을 획득할 수도 있을 것이다.
서버는 생성된 처방 리포트를 의사나 약사 등에게 제공할 수 있다.
도 44에서는 약물 이행 여부를 판단하는 서버와 처방 리포트를 생성하는 서버가 동일한 것으로 도시하였으나, 처방 리포트를 생성하는 서버는 약물 이행 여부를 판단하는 서버와 상이할 수도 있다.
6. 건강 관리로의 확장
상기에서는 주로 약물 이행에 대해 설명하였으나, 약물 이행에 대한 내용은 건강 관리로 확장될 수 있다. 건강 관리란 약물 이행 뿐만 아니라 혈압계를 이용한 혈압 측정, 혈당계를 이용한 혈당 측정 등 측정 기기를 이용한 건강 정보 측정, 음식 섭취 등을 포함하는 사용자의 건강을 관리하는 것과 관련된 넓은 의미이다. 즉, 목차 1 약물 이행 여부를 판단하는 시스템, 목차 2 약물 이행 여부를 판단하는 방법, 목차 3 약물 이행 내용을 판단하는 방법, 목차 4 약물 이행과 관련된 정보를 관리하는 방법, 목차 5 원격 의료 적용에서 전술한 약물 이행에 대한 내용은 측정 기기를 이용한 건강 정보 측정, 음식 섭취 등 건강 관리에도 적용될 수 있다.
약물 이행 여부를 판단하는 시스템은 건강 관리 행위 수행 여부를 판단하는 시스템으로 확장될 수 있다. 이하에서는 전술한 약물 이행 여부를 판단하는 시스템에 대한 내용에서 건강 관리 행위 수행 여부를 판단하는 시스템으로 확장되는 부분 위주로 설명한다.
무선 통신 장치(1000)는 측정 기기(예: 혈압계, 혈당계 등)에 부착되거나 그 주변에 위치할 수 있다. 또는, 무선 통신 장치(1000)는 식사 도구(예: 숟가락, 젓가락, 포크, 그릇 등)에 부착되거나 그 주변에 위치할 수 있다.
무선 통신 장치(1000)는 측정 기기의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수집할 수 있다. 또는, 무선 통신 장치(1000)는 식사 도구의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수집할 수 있다.
무선 통신 장치(1000)는 상기 수집된 데이터를 이용하여 사용자의 건강 관리 행위 개시 여부를 확인할 수 있다. 일 예로, 무선 통신 장치(1000)는 사용자의 건강 정보 측정 행위 개시 여부를 확인할 수 있다. 다른 예로, 무선 통신 장치(1000)는 사용자의 음식 섭취 행위 개시 여부를 확인할 수 있다. 사용자가 건강 관리 행위를 개시한 것으로 확인되는 경우, 무선 통신 장치(1000)는 활성화 신호를 웨어러블 장치(2000)나 서버(3000) 등 외부로 전송할 수 있다.
또는, 무선 통신 장치(1000)는 상기 수집된 데이터를 웨어러블 장치(2000)나 서버(3000) 등 외부로 전송할 수 있다.
웨어러블 장치(2000)는 무선 통신 장치(1000)와 통신할 수 있다. 웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 측정 기기의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수신할 수 있다. 또는, 웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 식사 도구의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수신할 수 있다.
웨어러블 장치(2000)는 동영상을 생성할 수 있다. 예를 들어, 웨어러블 장치(2000)는 건강 관리에 관한 동영상을 생성할 수 있다. 구체적인 일 예로, 웨어러블 장치(2000)는 건강 정보 측정에 관한 동영상을 생성할 수 있다. 구체적인 다른 예로, 웨어러블 장치(2000)는 음식 섭취에 관한 동영상을 생성할 수 있다.
웨어러블 장치(2000)는 무선 통신 장치(1000)로부터 수신한 데이터에 기초하여 동영상을 생성할 수 있다. 일 예로, 웨어러블 장치(2000)는 측정 기기의 모션 및 주변 조도 중 적어도 하나에 관한 데이터 또는 활성화 신호에 기초하여 동영상을 생성할 수 있다. 다른 예로, 웨어러블 장치(2000)는 식사 도구의 모션 및 주변 조도 중 적어도 하나에 관한 데이터 또는 활성화 신호에 기초하여 동영상을 생성할 수 있다.
서버(3000)는 무선 통신 장치(1000) 및 웨어러블 장치(2000) 중 적어도 하나로부터 측정 기기의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수신할 수 있다. 또는, 서버(3000)는 무선 통신 장치(1000) 및 웨어러블 장치(2000) 중 적어도 하나로부터 식사 도구의 모션 및 주변 조도 중 적어도 하나에 관한 데이터를 수신할 수 있다.
서버(3000)는 건강 관리 행위 수행 여부를 판단할 수 있다. 예를 들어, 서버(3000)는 무선 통신 장치(1000) 및 웨어러블 장치(2000) 중 적어도 하나로부터 획득한 정보에 기초하여 건강 관리 행위 수행 여부를 판단할 수 있다. 구체적인 예로, 서버(3000)는 웨어러블 장치(2000)로부터 수신한 동영상을 분석하여 건강 관리 행위 수행 여부를 판단할 수 있다.
약물 이행 여부를 판단하는 방법은 건강 관리 행위 수행 여부를 판단하는 방법으로 확장될 수 있다. 이하에서는 전술한 약물 이행 여부를 판단하는 방법에 대한 내용에서 건강 관리 행위 수행 여부를 판단하는 방법으로 확장되는 부분 위주로 설명한다.
서버는 모니터링 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다. 일 예로, 서버는 모니터링 모델을 이용하여 측정 기기 사용 여부를 판단할 수 있다. 다른 예로, 서버는 모니터링 모델을 이용하여 음식 섭취 여부를 판단할 수 있다.
서버는 모니터링 모델에 동영상을 입력하여 건강 관리 행위 수행 여부를 판단할 수 있다. 이 경우, 모니터링 모델의 출력 데이터는 건강 관리 행위 수행 여부 판단 결과일 수 있다.
모니터링 모델이 출력하는 건강 관리 행위 수행 여부 판단 결과는 건강 관리 행위 수행 여부를 지시하는 인덱스일 수 있다. 즉, 모니터링 모델의 출력 데이터는 건강 관리 행위 수행 여부를 지시하는 인덱스일 수 있다. 서버는 모니터링 모델을 이용하여 입력된 동영상에 대한 건강 관리 행위 수행 여부를 지시하는 인덱스를 획득할 수 있다. 비한정적인 예로, 상기 인덱스는 수치적으로 표현될 수 있다.
모니터링 모델의 학습 동영상은 건강 관리 행위 수행을 나타내는 학습 동영상 및 건강 관리 행위 미수행을 나타내는 학습 동영상을 포함할 수 있다.
모니터링 모델 레이블 데이터는 건강 관리 행위 수행을 나타내는 학습 동영상에 대응하고 건강 관리 행위 수행을 지시하는 레이블 및 건강 관리 행위 미수행을 나타내는 학습 동영상에 대응하고 건강 관리 행위 미수행을 지시하는 레이블을 포함할 수 있다. 또는, 모니터링 모델 레이블 데이터는 건강 관리 행위 수행으로 예측한 확률을 지시하는 레이블 및 건강 관리 행위 미수행으로 예측한 확률을 지시하는 레이블을 포함할 수 있다.
서버는 검출 모델 및 확인 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다. 일 예로, 서버는 검출 모델 및 확인 모델을 이용하여 측정 기기 사용 여부를 판단할 수 있다. 다른 예로, 서버는 검출 모델 및 확인 모델을 이용하여 음식 섭취 여부를 판단할 수 있다.
서버는 검출 모델을 이용하여 건강 관리 관련 객체 및 동작을 검출할 수 있다. 일 예로, 서버는 검출 모델을 이용하여 측정 기기 사용 관련 객체 및 동작을 검출할 수 있다. 다른 예로, 서버는 검출 모델을 이용하여 음식 섭취 관련 객체 및 동작을 검출할 수 있다.
서버는 검출 모델에 동영상의 이미지 프레임을 입력하여 상기 이미지 프레임에 포함된 건강 관리 관련 객체 및 동작을 검출할 수 있다. 검출 모델은 건강 관리 관련 객체 및 동작에 관한 데이터를 출력할 수 있다.
건강 관리 관련 객체는 사용자가 건강 관리 행위 시 이용하는 등 건강 관리와 관련된 다양한 유형의 객체를 포함할 수 있다. 일 예로, 측정 기기 사용 관련 객체는 사용자가 측정 기기 사용 시 이용하는 등 측정 기기 사용과 관련된 다양한 유형의 객체를 포함할 수 있다. 구체적인 예로, 측정 기기 사용 관련 객체는 혈압계, 혈당계 등과 같은 측정 기기를 포함할 수 있다. 다른 예로, 음식 섭취 관련 객체는 사용자가 음식 섭취 시 이용하는 등 음식 섭취와 관련된 다양한 유형의 객체를 포함할 수 있다. 구체적인 예로, 음식 섭취 관련 객체는 숟가락, 젓가락, 포크 등과 같은 식사 도구를 포함할 수 있다.
건강 관리 관련 동작은 사용자가 건강 관리 행위 시 취하는 자세 등 건강 관리와 관련된 다양한 유형의 동작을 포함할 수 있다. 일 예로, 측정 기기 사용 관련 동작은 사용자가 측정 기기 사용 시 취하는 자세 등 측정 기기 사용과 관련된 다양한 유형의 동작을 포함할 수 있다. 구체적인 예로, 측정 기기 사용 관련 동작은 측정 기기를 잡는 동작과 같은 측정 기기 사용 관련 객체를 잡는 동작, 측정 기기를 사용하는 동작, 측정 기기를 여는 동작 등을 포함할 수 있다. 다른 예로, 음식 섭취 관련 동작은 사용자가 음식 섭취 시 취하는 자세 등 음식 섭취와 관련된 다양한 유형의 동작을 포함할 수 있다. 구체적인 예로, 음식 섭취 관련 동작은 음식을 잡는 동작, 음식을 섭취하는 동작 등을 포함할 수 있다.
검출 모델 학습 데이터는 학습 이미지 프레임 및 상기 학습 이미지 프레임에 포함된 건강 관리 관련 객체 및 동작에 관한 검출 모델 레이블 데이터를 포함할 수 있다.
서버는 검출 결과 및 확인 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다. 일 예로, 서버는 검출 결과 및 확인 모델을 이용하여 측정 기기 사용 여부를 판단할 수 있다. 다른 예로, 서버는 검출 결과 및 확인 모델을 이용하여 음식 섭취 여부를 판단할 수 있다.
확인 모델의 입력 데이터인 확인 모델 입력 데이터는 동영상 내에 특정 클래스의 건강 관리 관련 객체 및 동작이 존재하는지 여부를 반영할 수 있다. 또는, 확인 모델 입력 데이터는 동영상 내에서 특정 클래스의 건강 관리 관련 객체 및 동작의 시간에 따른 움직임을 반영할 수 있다.
확인 모델의 출력 데이터는 건강 관리 행위 수행 여부 판단 결과일 수 있다. 일 예로, 확인 모델의 출력 데이터는 측정 기기 사용 여부 판단 결과일 수 있다. 다른 예로, 확인 모델의 출력 데이터는 음식 섭취 여부 판단 결과일 수 있다.
확인 모델이 출력하는 건강 관리 행위 수행 여부 판단 결과는 건강 관리 행위 수행 여부를 지시하는 인덱스일 수 있다. 즉, 확인 모델의 출력 데이터는 건강 관리 행위 수행 여부를 지시하는 인덱스일 수 있다.
학습용 확인 모델 입력 데이터는 건강 관리 행위 수행을 나타내는 학습용 확인 모델 입력 데이터 및 건강 관리 행위 미수행을 나타내는 학습용 확인 모델 입력 데이터를 포함할 수 있다.
확인 모델 레이블 데이터는 건강 관리 행위 수행을 지시하는 레이블 및 건강 관리 행위 미수행을 지시하는 레이블을 포함할 수 있다. 또는, 확인 모델 레이블 데이터는 건강 관리 행위 수행으로 예측한 확률을 지시하는 레이블 및 건강 관리 행위 미수행으로 예측한 확률을 지시하는 레이블을 포함할 수 있다.
서버는 분류 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다. 서버는 동영상의 카테고리를 분류하고 상기 동영상 및 상기 분류된 카테고리를 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다
동영상의 카테고리를 분류한다는 것은 상기 동영상에 대응하는 건강 관리의 유형을 판단하는 것일 수 있다. 예를 들어, 서버는 동영상이 서로 다른 유형의 건강 관리에 대응하는 둘 이상의 카테고리 중 어떤 카테고리에 대응하는지 판단하여 상기 동영상의 카테고리를 분류할 수 있다. 이 경우, 카테고리의 예로는 약물 이행 카테고리, 혈압 측정 카테고리, 혈당 측정 카테고리, 음식 섭취 카테고리 등이 있으나 이에 한정되는 것은 아니다.
건강 관리 관련 객체 및 동작은 이에 대응하는 카테고리를 가질 수 있다. 건강 관리 관련 객체 및 동작의 카테고리는 상기 건강 관리 관련 객체 및 동작과 관련된 건강 관리의 유형에 따라 결정될 수 있다. 동일하거나 유사한 유형의 건강 관리에 관련된 건강 관리 관련 객체 및 동작은 동일한 카테고리에 대응할 수 있다. 상이한 유형의 건강 관리에 관련된 건강 관리 관련 객체 및 동작은 상이한 카테고리에 대응할 수 있다. 예를 들어, 혈당계, 혈당계를 잡는 동작과 같은 건강 관리 관련 객체 및 동작은 혈당계 사용에 관한 카테고리에 포함될 수 있다. 혈압계, 혈압계를 잡는 동작과 같은 건강 관리 관련 객체 및 동작은 혈압계 사용에 관한 카테고리에 포함될 수 있다. 식사 도구, 음식을 잡는 동작과 같은 건강 관리 관련 객체 및 동작은 음식 섭취에 관한 카테고리에 포함될 수 있다. 전술한 건강 관리 관련 객체 및 동작의 카테고리에 대한 기재는 예시일 뿐 이에 한정되는 것은 아니다.
서버는 동영상의 카테고리별로 별도의 모니터링 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다. 또는, 서버는 동영상의 카테고리별로 별도의 검출 모델 및 확인 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다.
메인 핸드 동영상은 메인 핸드가 주체가 된 건강 관리 행위를 나타내는 동영상일 수 있다. 서브 핸드 동영상은 서브 핸드가 주체가 된 건강 관리 행위를 나타내는 동영상일 수 있다.
서버는 메인 핸드 동영상과 서브 핸드 동영상을 모두 이용하여 학습된 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다.
서버는 메인 핸드 동영상과 서브 핸드 동영상을 모두 이용하는 것에 더해, 메인 핸드가 주체가 된 건강 관리 행위 수행과 서브 핸드가 주체가 된 건강 관리 행위 수행을 구분하여 건강 관리 행위 수행 여부를 판단하도록 학습된 모델을 이용하여 건강 관리 행위 수행 여부를 판단할 수 있다. 이 경우 서버는 건강 관리 행위 수행 및 건강 관리 행위 미수행으로 건강 관리 행위 수행 여부를 판단하는 것이 아니라 메인 핸드가 주체가 된 건강 관리 행위 수행, 서브 핸드가 주체가 된 건강 관리 행위 수행 및 건강 관리 행위 미수행으로 건강 관리 행위 수행 여부를 판단할 수 있다.
약물 이행 내용을 판단하는 방법은 건강 관리 내용을 판단하는 방법으로 확장될 수 있다. 이하에서는 전술한 약물 이행 내용을 판단하는 방법에 대한 내용에서 건강 관리 내용을 판단하는 방법으로 확장되는 부분 위주로 설명한다.
서버는 건강 관리 내용을 판단할 수 있다. 여기서, 건강 관리의 내용이란 사용자가 측정한 혈압이나 혈당 수치가 얼마인지, 사용자가 섭취한 음식의 종류는 무엇이고 양은 얼마인지 등 건강 관리 행위 수행 여부에 더해 그에 대한 내용에 관한 넓은 의미이다.
서버는 동영상을 분석하여 사용자가 측정한 혈압이나 혈당 수치를 획득할 수 있다. 또는, 서버는 사용자 입력을 수신하여 사용자가 측정한 혈압이나 혈당 수치를 획득할 수 있다.
서버는 동영상을 분석하여 사용자가 섭취한 음식의 종류나 음식의 양을 획득할 수 있다. 또는, 서버는 사용자 입력을 수신하여 사용자가 섭취한 음식의 종류나 음식의 양을 획득할 수 있다.
서버는 건강 관리와 관련된 다양한 정보를 관리할 수 있다. 예를 들어, 서버는 사용자의 건강 관리 현황을 관리할 수 있다. 구체적인 일 예로, 서버는 사용자의 측정 기기 사용 스케쥴을 관리할 수 있다. 구체적인 다른 예로, 서버는 사용자의 음식 섭취 스케쥴을 관리할 수 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치 및 이들의 조합 등이 있으나 이에 한정되는 것은 아니다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
1000: 무선 통신 장치
1100: 모션 센서
1110: 가속도 센서
1120: 자이로 센서
1130: 지자기 센서
1200: 조도 센서
1300: 통신부
1400: 저장부
1500: 제어부
2000: 웨어러블 장치
2100: 카메라부
2200: 사용자 입력부
2300: 출력부
2400: 통신부
2500: 저장부
2600: 제어부
3000: 서버
3100: 서버 통신부
3200: 서버 저장부
3300: 서버 제어부

Claims (14)

  1. 약물 이행 여부를 판단하는 서버에 있어서,
    웨어러블 장치에서 촬영된 동영상을 수신하는 서버 통신부 -상기 동영상은 적어도 제1 이미지 프레임, 제2 이미지 프레임 및 제3 이미지 프레임을 포함함- ;
    약물 이행과 관련된 객체(object) 및 동작(posture)을 검출하기 위한 검출(detection) 모델 및 상기 검출 모델의 검출 결과에 기초하여 약물 이행 여부를 확인하기 위한 확인(confirmation) 모델을 저장하는 서버 저장부; 및
    상기 서버 통신부를 통해 수신된 동영상에 기초하여 사용자의 약물 이행 여부를 판단하는 서버 제어부를 포함하고
    상기 서버 제어부는,
    상기 검출 모델과 상기 제1 이미지 프레임을 이용하여 미리 정해진 레이블 세트에 대한 제1 서브 데이터를 생성하고, 상기 검출 모델과 상기 제2 이미지 프레임을 이용하여 상기 레이블 세트에 대한 제2 서브 데이터를 생성하고, 상기 검출 모델과 상기 제3 이미지 프레임을 이용하여 상기 레이블 세트에 대한 제3 서브 데이터를 생성하고,
    상기 제1 서브 데이터, 상기 제2 서브 데이터 및 상기 제3 서브 데이터가 시계열적으로 배열된 확인 모델 입력 데이터를 생성하고,
    상기 확인 모델에 상기 확인 모델 입력 데이터를 입력하여 상기 사용자의 약물 이행 여부를 판단하고,
    상기 레이블 세트는 상기 검출 모델의 학습 과정에서 설정되고,
    상기 레이블 세트는 약물 컨테이너(medicine container)에 대응하는 제1 객체 레이블, 약물 컨테이너의 일부와 손바닥의 일부를 포함하며 약물 컨테이너를 잡는 동작에 대응하는 제1 동작 레이블 및 얼굴의 일부와 손바닥의 일부를 포함하며 약물을 투여하는 동작에 대응하는 제2 동작 레이블을 포함하는
    서버.
  2. 제1 항에 있어서,
    상기 서버 제어부는,
    상기 제1 서브 데이터를 생성함에 있어, 상기 검출 모델에 상기 제1 이미지 프레임을 입력하여 상기 제1 이미지 프레임 내의 제1 영역에 대응하는 제1 영역 데이터 및 상기 제1 이미지 프레임 내의 제2 영역에 대응하는 제2 영역 데이터를 획득하고 - 상기 제1 및 제2 영역 데이터 각각은 상기 약물 컨테이너가 존재할 확률을 반영하는 제1 확률값, 상기 약물 컨테이너를 잡는 동작이 존재할 확률을 반영하는 제2 확률값 및 상기 약물을 투여하는 동작이 존재할 확률을 반영하는 제3 확률값을 포함하고, 상기 제1 영역 데이터는 상기 약물 컨테이너가 나타난 것을 지시하며 상기 제2 영역 데이터는 상기 약물 컨테이너를 잡는 동작이 나타난 것을 지시하고, 상기 제2 영역은 상기 제1 영역의 적어도 일부를 포함함 - , 상기 제1 영역 데이터 및 상기 제2 영역 데이터를 종합하여 상기 제1 이미지 프레임 내에 나타난 상기 약물 컨테이너 및 상기 약물 컨테이너를 잡는 동작 중 적어도 하나를 나타내는 제1 서브 데이터를 생성하는 것을 특징으로 하는
    서버.
  3. 제1 항에 있어서,
    상기 검출 모델은, 상기 제1 객체 레이블에 기초하여 학습된 객체 검출 모델 및 상기 제1 동작 레이블과 상기 제2 동작 레이블에 기초하여 학습된 동작 검출 모델을 포함하고,
    상기 서버 제어부는, 상기 제1 서브 데이터를 생성함에 있어, 상기 객체 검출 모델을 이용하여 상기 제1 서브 데이터 중 상기 약물 컨테이너에 대응하는 부분을 생성하고, 상기 동작 검출 모델을 이용하여 상기 제1 서브 데이터 중 상기 약물 컨테이너를 잡는 동작 및 상기 약물을 투여하는 동작에 대응하는 부분을 생성하는
    서버.
  4. 제1 항에 있어서,
    상기 검출 모델은, 제1 유형의 약물 컨테이너, 상기 제1 유형의 약물 컨테이너를 잡는 동작 및 상기 제1 유형의 약물을 투여하는 동작을 검출하기 위한 제1 검출 모델 및 제2 유형의 약물 컨테이너, 상기 제2 유형의 약물 컨테이너를 잡는 동작 및 상기 제2 유형의 약물을 투여하는 동작을 검출하기 위한 제2 검출 모델을 포함하고,
    상기 서버 저장부는, 상기 동영상의 카테고리를 분류하기 위한 분류 모델을 저장하고,
    상기 서버 제어부는,
    상기 동영상 및 상기 분류 모델을 이용하여 상기 동영상의 카테고리를 분류하고,
    상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 검출 모델을 이용하여 상기 제1 내지 제3 서브 데이터를 생성하고,
    상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 검출 모델을 이용하여 상기 제1 내지 제3 서브 데이터를 생성하는
    서버.
  5. 제4 항에 있어서,
    상기 확인 모델은, 상기 제1 검출 모델에 대응하는 제1 확인 모델 및 상기 제2 검출 모델에 대응하는 제2 확인 모델을 포함하고,
    상기 서버 제어부는,
    상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 확인 모델을 이용하여 상기 약물 이행 여부를 판단하고,
    상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 확인 모델을 이용하여 상기 약물 이행 여부를 판단하는
    서버.
  6. 제1 항에 있어서,
    상기 레이블 세트는, 약물 이행과 관련된 객체 및 동작의 이미지 프레임 내에서의 위치를 더 반영하고,
    상기 서버 제어부는, 상기 약물 이행과 관련된 객체 및 동작의 이미지 프레임 내에서의 위치를 고려하여 상기 사용자의 약물 이행 여부를 판단하는
    서버.
  7. 컴퓨팅 수단에 의해 수행되는 약물 이행 여부를 판단하는 방법에 있어서,
    적어도 제1 이미지 프레임, 제2 이미지 프레임 및 제3 이미지 프레임을 포함하는 동영상을 수신하는 단계;
    약물 이행과 관련된 객체(object) 및 동작(posture)을 검출하기 위한 검출(detection) 모델과 상기 제1 이미지 프레임을 이용하여 미리 정해진 레이블 세트에 대한 제1 서브 데이터를 생성하는 단계;
    상기 검출 모델과 상기 제2 이미지 프레임을 이용하여 상기 레이블 세트에 대한 제2 서브 데이터를 생성하는 단계;
    상기 검출 모델과 상기 제3 이미지 프레임을 이용하여 상기 레이블 세트에 대한 제3 서브 데이터를 생성하는 단계;
    상기 제1 서브 데이터, 상기 제2 서브 데이터 및 상기 제3 서브 데이터가 시계열적으로 배열된 확인 모델 입력 데이터를 생성하는 단계; 및
    상기 검출 모델의 검출 결과에 기초하여 약물 이행 여부를 확인하기 위한 확인(confirmation) 모델에 상기 확인 모델 입력 데이터를 입력하여 사용자의 약물 이행 여부를 판단하는 단계를 포함하고,
    상기 레이블 세트는 상기 검출 모델의 학습 과정에서 설정되고,
    상기 레이블 세트는 약물 컨테이너(medicine container)에 대응하는 제1 객체 레이블, 약물 컨테이너의 일부와 손바닥의 일부를 포함하며 약물 컨테이너를 잡는 동작에 대응하는 제1 동작 레이블 및 얼굴의 일부와 손바닥의 일부를 포함하며 약물을 투여하는 동작에 대응하는 제2 동작 레이블을 포함하는
    방법.
  8. 제7 항에 있어서,
    상기 제1 서브 데이터를 생성하는 단계는,
    상기 검출 모델에 상기 제1 이미지 프레임을 입력하여 상기 약물 컨테이너가 나타난 것으로 예상되는 상기 제1 이미지 프레임 내의 제1 영역에 대응하는 제1 영역 데이터 및 상기 약물 컨테이너를 잡는 동작이 나타난 것으로 예상되는 상기 제1 이미지 프레임 내의 제2 영역에 대응하는 제2 영역 데이터를 획득하는 단계 - 상기 제1 및 제2 영역 데이터 각각은 상기 약물 컨테이너가 존재할 확률을 반영하는 제1 확률값, 상기 약물 컨테이너를 잡는 동작이 존재할 확률을 반영하는 제2 확률값 및 상기 약물을 투여하는 동작이 존재할 확률을 반영하는 제3 확률값을 포함하고, 상기 제2 영역은 상기 제1 영역의 적어도 일부를 포함함 - ; 및
    상기 제1 영역 데이터 및 상기 제2 영역 데이터를 종합하여 상기 제1 이미지 프레임 내에 나타난 상기 약물 컨테이너 및 상기 약물 컨테이너를 잡는 동작 중 적어도 하나를 나타내는 제1 서브 데이터를 생성하는 단계를 포함하는
    방법.
  9. 제7 항에 있어서,
    상기 검출 모델은, 상기 제1 객체 레이블에 기초하여 학습된 객체 검출 모델 및 상기 제1 동작 레이블과 상기 제2 동작 레이블에 기초하여 학습된 동작 검출 모델을 포함하고,
    상기 제1 서브 데이터를 생성하는 단계는, 상기 객체 검출 모델을 이용하여 상기 제1 서브 데이터 중 상기 약물 컨테이너에 대응하는 부분을 생성하고 상기 동작 검출 모델을 이용하여 상기 제1 서브 데이터 중 상기 약물 컨테이너를 잡는 동작 및 상기 약물을 투여하는 동작에 대응하는 부분을 생성하는 단계를 포함하는
    방법.
  10. 제7 항에 있어서,
    상기 검출 모델은, 제1 유형의 약물 컨테이너, 상기 제1 유형의 약물 컨테이너를 잡는 동작 및 상기 제1 유형의 약물을 투여하는 동작을 검출하기 위한 제1 검출 모델 및 제2 유형의 약물 컨테이너, 상기 제2 유형의 약물 컨테이너를 잡는 동작 및 상기 제2 유형의 약물을 투여하는 동작을 검출하기 위한 제2 검출 모델을 포함하고,
    상기 방법은,
    상기 동영상 및 상기 동영상의 카테고리를 분류하기 위한 분류 모델을 이용하여 상기 동영상의 카테고리를 분류하는 단계를 더 포함하고,
    상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 검출 모델을 이용하여 상기 제1 내지 제3 서브 데이터를 생성하고,
    상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 검출 모델을 이용하여 상기 제1 내지 제3 서브 데이터를 생성하는
    방법.
  11. 제10 항에 있어서,
    상기 확인 모델은, 상기 제1 검출 모델에 대응하는 제1 확인 모델 및 상기 제2 검출 모델에 대응하는 제2 확인 모델을 포함하고,
    상기 동영상이 제1 카테고리로 분류된 경우, 상기 제1 확인 모델을 이용하여 상기 약물 이행 여부를 판단하고,
    상기 동영상이 제2 카테고리로 분류된 경우, 상기 제2 확인 모델을 이용하여 상기 약물 이행 여부를 판단하는
    방법.
  12. 제7 항에 있어서,
    상기 레이블 세트는, 약물 이행과 관련된 객체 및 동작의 이미지 프레임 내에서의 위치를 더 반영하고,
    상기 약물 이행과 관련된 객체 및 동작의 이미지 프레임 내에서의 위치를 고려하여 상기 사용자의 약물 이행 여부를 판단하는
    방법.
  13. 컴퓨팅 수단에 의해 수행되는 약물 이행 여부를 판단하는 모델의 학습 방법에 있어서,
    복수의 학습 이미지 프레임들을 포함하는 학습 동영상 및 상기 복수의 학습 이미지 프레임들에 대응하는 미리 정해진 레이블 세트를 포함하는 검출 모델 학습 데이터를 준비하는 단계 - 상기 레이블 세트는 약물 컨테이너(medicine container)에 대응하는 제1 객체 레이블, 약물 컨테이너의 일부와 손바닥의 일부를 포함하며 약물 컨테이너를 잡는 동작에 대응하는 제1 동작 레이블 및 얼굴의 일부와 손바닥의 일부를 포함하며 약물을 투여하는 동작에 대응하는 제2 동작 레이블을 포함함 - ;
    상기 검출 모델 학습 데이터를 이용하여 약물 이행과 관련된 객체 및 동작을 검출하기 위한 검출 모델을 업데이트하는 단계;
    상기 검출 모델과 상기 복수의 학습 이미지 프레임들 중 제1 이미지 프레임을 이용하여 상기 레이블 세트에 대한 제1 서브 데이터를 생성하는 단계;
    상기 검출 모델과 상기 복수의 학습 이미지 프레임들 중 제2 이미지 프레임을 이용하여 상기 레이블 세트에 대한 제2 서브 데이터를 생성하는 단계;
    상기 검출 모델과 상기 복수의 학습 이미지 프레임들 중 제3 이미지 프레임을 이용하여 상기 레이블 세트에 대한 제3 서브 데이터를 생성하는 단계;
    상기 제1 서브 데이터, 상기 제2 서브 데이터 및 상기 제3 서브 데이터가 시계열적으로 배열된 학습용 확인 모델 입력 데이터 및 상기 학습용 확인 모델 입력 데이터에 대응하고 약물 이행 여부를 지시하는 확인 모델 레이블 데이터를 포함하는 확인 모델 학습 데이터를 준비하는 단계; 및
    상기 확인 모델 학습 데이터를 이용하여 약물 이행 여부를 확인하기 위한 확인 모델을 업데이트하는 단계를 포함하는
    학습 방법.
  14. 컴퓨터에 제7 항 내지 제13 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020210185689A 2020-08-19 2021-12-23 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버 KR20220022886A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20200103633 2020-08-19
KR1020200103633 2020-08-19
KR1020200146394 2020-11-04
KR20200146394 2020-11-04
KR20210000496 2021-01-04
KR1020210000496 2021-01-04
KR1020210040853A KR102344101B1 (ko) 2020-08-19 2021-03-30 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040853A Division KR102344101B1 (ko) 2020-08-19 2021-03-30 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버

Publications (1)

Publication Number Publication Date
KR20220022886A true KR20220022886A (ko) 2022-02-28

Family

ID=79176590

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020210039621A KR102344449B1 (ko) 2020-08-19 2021-03-26 약물 이행 모니터링 시스템 및 이를 이용하는 장치
KR1020210039622A KR102344338B1 (ko) 2020-08-19 2021-03-26 약물 이행 모니터링 시스템 및 이를 이용하는 장치
KR1020210040855A KR102343532B1 (ko) 2020-08-19 2021-03-30 약물 이행 유형을 고려한 약물 이행 여부 판단 방법 및 이를 이용하는 서버
KR1020210040854A KR102343525B1 (ko) 2020-08-19 2021-03-30 약물 이행 패턴을 고려한 약물 이행 여부 판단 방법 및 이를 이용하는 서버
KR1020210040853A KR102344101B1 (ko) 2020-08-19 2021-03-30 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
KR1020210186342A KR102476665B1 (ko) 2020-08-19 2021-12-23 건강 관리 모니터링 시스템 및 이를 이용하는 장치
KR1020210185689A KR20220022886A (ko) 2020-08-19 2021-12-23 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
KR1020220169561A KR102595326B1 (ko) 2020-08-19 2022-12-07 건강 관리 모니터링 시스템 및 이를 이용하는 장치
KR1020230142969A KR20230153326A (ko) 2020-08-19 2023-10-24 건강 관리 모니터링 시스템 및 이를 이용하는 장치

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020210039621A KR102344449B1 (ko) 2020-08-19 2021-03-26 약물 이행 모니터링 시스템 및 이를 이용하는 장치
KR1020210039622A KR102344338B1 (ko) 2020-08-19 2021-03-26 약물 이행 모니터링 시스템 및 이를 이용하는 장치
KR1020210040855A KR102343532B1 (ko) 2020-08-19 2021-03-30 약물 이행 유형을 고려한 약물 이행 여부 판단 방법 및 이를 이용하는 서버
KR1020210040854A KR102343525B1 (ko) 2020-08-19 2021-03-30 약물 이행 패턴을 고려한 약물 이행 여부 판단 방법 및 이를 이용하는 서버
KR1020210040853A KR102344101B1 (ko) 2020-08-19 2021-03-30 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
KR1020210186342A KR102476665B1 (ko) 2020-08-19 2021-12-23 건강 관리 모니터링 시스템 및 이를 이용하는 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220169561A KR102595326B1 (ko) 2020-08-19 2022-12-07 건강 관리 모니터링 시스템 및 이를 이용하는 장치
KR1020230142969A KR20230153326A (ko) 2020-08-19 2023-10-24 건강 관리 모니터링 시스템 및 이를 이용하는 장치

Country Status (6)

Country Link
US (6) US11457862B2 (ko)
EP (1) EP4200870A1 (ko)
JP (1) JP2023538600A (ko)
KR (9) KR102344449B1 (ko)
CN (1) CN116325021A (ko)
WO (2) WO2022039521A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6703679B1 (ja) * 2019-02-01 2020-06-03 株式会社計数技研 計数装置、学習器製造装置、計数方法、学習器製造方法、及びプログラム
US20220165381A1 (en) * 2020-11-24 2022-05-26 Electronic Caregiver, Inc. Systems and methods for detecting compliance with a medication regimen
EP4261833A1 (en) * 2022-04-11 2023-10-18 Ypsomed AG Guidance for a drug delivery process
WO2024010259A1 (ko) * 2022-07-08 2024-01-11 삼성전자주식회사 사용자의 상태를 식별하기 위한 웨어러블 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160120131A (ko) 2015-04-07 2016-10-17 엘지전자 주식회사 웨어러블 단말기 및 이와 무선 통신하는 디스플레이 장치
KR101857629B1 (ko) 2016-09-09 2018-05-14 강원대학교산학협력단 웨어러블 혈당매니지먼트 시스템
KR101908336B1 (ko) 2016-12-19 2018-10-16 박진수 웨어러블 디바이스를 활용한 실버세대 생활 모니터링 시스템
KR102052558B1 (ko) 2019-04-30 2019-12-06 주식회사 비알네트콤 질환 예측 기반의 사용자 맞춤형 정보 제공 장치 및 그 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280376A (ja) 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
US9907473B2 (en) * 2015-04-03 2018-03-06 Koninklijke Philips N.V. Personal monitoring system
WO2011074744A1 (ko) * 2009-12-18 2011-06-23 주식회사 제윤 환자의 약 복용을 실시간 관리하는 약 복용 관리 시스템 및 약 복용 관리 방법
US9375142B2 (en) * 2012-03-15 2016-06-28 Siemens Aktiengesellschaft Learning patient monitoring and intervention system
JP6096654B2 (ja) 2013-12-27 2017-03-15 レノボ・シンガポール・プライベート・リミテッド 画像の記録方法、電子機器およびコンピュータ・プログラム
KR102135586B1 (ko) 2014-01-24 2020-07-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2015117226A1 (en) 2014-02-05 2015-08-13 Self Care Catalysts Inc. Systems, devices, and methods for analyzing and enhancing patient health
JP2015197803A (ja) 2014-04-01 2015-11-09 キヤノン株式会社 行動記録装置、行動記録方法及びプログラム
US9679113B2 (en) * 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
JP6460105B2 (ja) 2014-06-30 2019-01-30 パナソニックＩｐマネジメント株式会社 撮影方法、撮影システムおよび端末装置
KR101661555B1 (ko) 2014-07-14 2016-10-04 넥시스 주식회사 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
US9390610B2 (en) 2014-07-23 2016-07-12 Ncr Corporation Techniques for determining movement of a device away from a preferred location
US20160125217A1 (en) 2014-11-05 2016-05-05 Hand Held Products, Inc. Barcode scanning system using wearable device with embedded camera
US10395764B2 (en) * 2015-01-06 2019-08-27 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
US10441214B2 (en) 2015-01-29 2019-10-15 Kali Care, Inc. Monitoring adherence to a medication regimen using a sensor
KR102304693B1 (ko) 2015-02-12 2021-09-28 삼성전자주식회사 카메라 시스템의 제어 방법, 전자 장치 및 저장 매체
US10025908B1 (en) 2015-02-25 2018-07-17 Leonardo Y. Orellano Medication adherence systems and methods
KR20160104288A (ko) 2015-02-26 2016-09-05 엘지전자 주식회사 모바일 디바이스와 연동하여 식사 여부를 판단하는 웨어러블 디바이스 및 그 제어 방법
KR102318887B1 (ko) 2015-03-06 2021-10-29 삼성전자주식회사 웨어러블 전자 장치 및 그 제어 방법
US10319473B2 (en) 2015-04-20 2019-06-11 Kali Care, Inc. Wearable system for healthcare management
WO2016196140A1 (en) 2015-06-03 2016-12-08 Nuvizen Sensor-based medication systems
US20170004283A1 (en) 2015-07-01 2017-01-05 Casey LEWIS Methods and Systems for Medication Compliance Monitoring and Notification
KR102423830B1 (ko) 2015-11-10 2022-07-22 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
KR101765722B1 (ko) 2016-01-12 2017-08-08 소프트온넷(주) 인지형 차량 및 인상착의 객체 및 이벤트 인식, 추적, 검색, 예측을 위한 나레이티브 보고서 작성 시스템 및 방법
JP2017169732A (ja) 2016-03-23 2017-09-28 セイコーエプソン株式会社 情報処理装置、情報処理方法及びプログラム
KR101971695B1 (ko) * 2016-04-01 2019-04-25 한국전자통신연구원 복약 모니터링 장치 및 방법
KR101798890B1 (ko) 2016-07-14 2017-11-17 네이버 주식회사 일상 생활 습관의 행동 요소를 활용한 웨어러블 디바이스 사용자 인증 방법 및 그 시스템
KR20180028701A (ko) 2016-09-09 2018-03-19 엘지전자 주식회사 휴대용 카메라 및 그 제어방법
EP3321844B1 (en) * 2016-11-14 2021-04-14 Axis AB Action recognition in a video sequence
US10524726B2 (en) 2016-11-17 2020-01-07 Biointellisense, Inc. Medication adherence and/or counterfeit detection wearable electronic device
KR101986002B1 (ko) * 2017-01-17 2019-06-04 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체
US11687800B2 (en) * 2017-08-30 2023-06-27 P Tech, Llc Artificial intelligence and/or virtual reality for activity optimization/personalization
KR102053537B1 (ko) * 2017-12-07 2019-12-10 주식회사 라이너스 복약 관리 방법 및 장치
KR102112757B1 (ko) 2018-04-27 2020-05-20 주식회사 라이너스 환자 관리 방법 및 시스템
WO2019212122A1 (ko) 2018-04-30 2019-11-07 Lee Hwiwon 웨어러블 기기를 이용한 객체의 이벤트 감지 방법 및 이를 운용하는 관리 서버
KR101949102B1 (ko) * 2018-10-08 2019-02-18 박기준 복약 보조 시스템 및 이를 이용한 복약 보조 방법
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160120131A (ko) 2015-04-07 2016-10-17 엘지전자 주식회사 웨어러블 단말기 및 이와 무선 통신하는 디스플레이 장치
KR101857629B1 (ko) 2016-09-09 2018-05-14 강원대학교산학협력단 웨어러블 혈당매니지먼트 시스템
KR101908336B1 (ko) 2016-12-19 2018-10-16 박진수 웨어러블 디바이스를 활용한 실버세대 생활 모니터링 시스템
KR102052558B1 (ko) 2019-04-30 2019-12-06 주식회사 비알네트콤 질환 예측 기반의 사용자 맞춤형 정보 제공 장치 및 그 방법

Also Published As

Publication number Publication date
CN116325021A (zh) 2023-06-23
US20220058439A1 (en) 2022-02-24
US20220054081A1 (en) 2022-02-24
KR102344338B1 (ko) 2021-12-29
KR102343525B1 (ko) 2021-12-27
WO2022039521A1 (en) 2022-02-24
US20220192593A1 (en) 2022-06-23
US11304656B2 (en) 2022-04-19
KR102344449B1 (ko) 2021-12-29
US11832962B2 (en) 2023-12-05
EP4200870A1 (en) 2023-06-28
US20230248305A1 (en) 2023-08-10
KR102343532B1 (ko) 2021-12-27
US11457862B2 (en) 2022-10-04
KR20220022887A (ko) 2022-02-28
KR102344101B1 (ko) 2021-12-29
JP2023538600A (ja) 2023-09-08
US20220384029A1 (en) 2022-12-01
US11660048B2 (en) 2023-05-30
KR102595326B1 (ko) 2023-10-27
KR20230006624A (ko) 2023-01-10
KR102476665B1 (ko) 2022-12-12
US11950922B2 (en) 2024-04-09
US20240050031A1 (en) 2024-02-15
WO2022039532A1 (ko) 2022-02-24
KR20230153326A (ko) 2023-11-06

Similar Documents

Publication Publication Date Title
KR102344101B1 (ko) 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
JP7446295B2 (ja) 身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整
US11929167B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US11728024B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US11759399B2 (en) Performance mode adjustment based on activity detection
US11602488B2 (en) Connected pill dispenser
US20160071423A1 (en) Systems and method for monitoring an individual's compliance with a weight loss plan
US11367517B2 (en) Gesture-based detection of a physical behavior event based on gesture sensor data and supplemental information from at least one external source
JP2019505897A (ja) ロバストなヘルストラッキングサービス
US11363986B2 (en) Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US20160357940A1 (en) Systems and Methods for Connected Dispensing and Storage
CN114616627A (zh) 身体行为事件的自动检测和药物分配系统的对应调整
CN114449945A (zh) 信息处理装置、信息处理系统和信息处理方法
US20230248614A1 (en) Connected medication dispenser
US20240185977A1 (en) Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
Fidone et al. Kangarucare: A Homecare System for Enhancing Medicine Adherence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal