KR20220160899A - Image analysis apparatus and method for verifying hand hygiene implementation - Google Patents

Image analysis apparatus and method for verifying hand hygiene implementation Download PDF

Info

Publication number
KR20220160899A
KR20220160899A KR1020210069120A KR20210069120A KR20220160899A KR 20220160899 A KR20220160899 A KR 20220160899A KR 1020210069120 A KR1020210069120 A KR 1020210069120A KR 20210069120 A KR20210069120 A KR 20210069120A KR 20220160899 A KR20220160899 A KR 20220160899A
Authority
KR
South Korea
Prior art keywords
hand hygiene
observation
image analysis
data
target
Prior art date
Application number
KR1020210069120A
Other languages
Korean (ko)
Other versions
KR102592951B1 (en
Inventor
김남국
김성훈
조준영
김민지
Original Assignee
재단법인 아산사회복지재단
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 울산대학교 산학협력단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020210069120A priority Critical patent/KR102592951B1/en
Publication of KR20220160899A publication Critical patent/KR20220160899A/en
Application granted granted Critical
Publication of KR102592951B1 publication Critical patent/KR102592951B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

According to the present invention, disclosed are an image analysis device and method for verifying hand hygiene compliance, which use a hand hygiene compliance cognitive model to determine whether a subject has performed hand hygiene compliance. The image analysis device of the present invention includes a memory in which a pre-learned hand hygiene compliance model is stored; and a processor which determines whether the compliance of subject's hand hygiene is performed by using the hand hygiene compliance model based on an input image including at least one subject.

Description

손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법 {IMAGE ANALYSIS APPARATUS AND METHOD FOR VERIFYING HAND HYGIENE IMPLEMENTATION}Image analysis device and image analysis method for checking hand hygiene compliance {IMAGE ANALYSIS APPARATUS AND METHOD FOR VERIFYING HAND HYGIENE IMPLEMENTATION}

본 발명은 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법에 관한 것이다.The present invention relates to an image analysis device and an image analysis method for checking hand hygiene compliance.

손 위생은 수술실(Operating Room, OR)에서 환자와 접촉하는 의료진에 의해 종종 전염되는 병원 감염(Hospital-Acquired Infections, HAI)을 예방하는 가장 중요한 요소 중 하나이다.Hand hygiene is one of the most important factors in preventing hospital-acquired infections (HAIs), which are often transmitted by medical personnel who come into contact with patients in the operating room (OR).

손 위생 이행 확인을 위한 모니터링은 수술실 내 감염 발생 경로를 조사하고, 수술실 내 감염 발생 상황을 줄이기 위해 중요하다.Monitoring to check hand hygiene is important to investigate the route of infection in the operating room and to reduce the occurrence of infection in the operating room.

그러나 종래의 경우, 손 위생 모니터링을 위해 직접적인 수술실을 관찰하는 방식에 의존하고 있으며, 수술 현장의 시각적 복잡성으로 인해 손 위생 준수를 위한 효과적인 모니터링을 수행하는 데 어려움이 있다.However, in the conventional case, hand hygiene monitoring relies on a method of directly observing the operating room, and it is difficult to effectively monitor hand hygiene compliance due to the visual complexity of the surgical field.

본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 시, 공간 특징 학습이 동시에 가능한 심층 3차원 컨볼루션 신경망(3D CNN)을 사용하여 영상을 기반으로 의료진의 손 위생 행동을 감지하여 분석하는 것을 포함한다.The problem to be solved according to an embodiment of the present invention is to detect and analyze the hand hygiene behavior of medical staff based on images using a deep three-dimensional convolutional neural network (3D CNN) capable of learning temporal and spatial features at the same time. include

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other non-specified objects of the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치는, 미리 학습된 손 위생 이행 인지 모델이 저장된 메모리 및 입력된 적어도 하나의 대상이 포함된 영상을 기초로, 상기 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 프로세서를 포함한다.In order to solve the above problems, an image analysis device for checking hand hygiene compliance according to an embodiment of the present invention is based on a memory in which a pre-learned hand hygiene compliance model is stored and an image including at least one input object. and a processor for determining whether or not the target performs hand hygiene by using the hand hygiene awareness model.

여기서, 상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.Here, the hand hygiene compliance recognition model is learned by using a training image including an arbitrary object and behavior data of an arbitrary target as learning data, and using information obtained by analyzing the behavior of the arbitrary target as a label.

여기서, 상기 프로세서는, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.Here, the processor may recognize an observation object in each frame of the image including the at least one object, and detect a behavior of the observation object in consecutive frames.

여기서, 상기 프로세서는, 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하고, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하여, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성할 수 있다.Here, the processor detects a first object in a first frame included in the image including the at least one object, and detects a second object in a second frame adjacent to the first frame, so that the first object and an intersection over union (IoU) score of the second object is calculated, and when the IoU score is equal to or greater than a preset score, the first object and the second object are recognized as the same observation object, and the region of the first object and the second object are recognized. 2 It is possible to create 3D tubelet data by connecting the target area.

여기서, 상기 프로세서는, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.Here, the processor may input the 3D tubelet data into the hand hygiene awareness model, and determine whether or not the at least one target has performed hand hygiene based on an output result of the hand hygiene awareness model. .

여기서, 상기 프로세서는, 상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.Here, when the 3D tubelet data includes an action for the observation target to perform a preset action, the processor may determine that the observation target has performed hand hygiene.

여기서, 상기 프로세서는, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상과 상기 관찰 대상에 인접한 객체를 구별하여 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.Here, the processor may distinguish and recognize an observation target and an object adjacent to the observation target in each frame of the image including the at least one target, and detect a behavior of the observation target in consecutive frames.

여기서, 상기 프로세서는, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.Here, the processor, if the 3D tubelet data includes an operation in which the observation object overlaps with the adjacent object at one point in time and the observation object performs a preset operation at a later point in time, the observation object is It can be determined that a sanitary compliance act has been performed.

여기서, 상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 프로세서는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다.Here, the observation object includes a first observation object and a second observation object, and the processor generates first 3D tubelet data for the first observation object and second 3D tubelet data for the second observation object. If the first object and the second object are not the same observation object, the hand hygiene compliance behavior of each object may be determined based on 3D tubelet data corresponding to each object.

본 발명의 또 다른 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치에 의해 수행되는 영상 분석 방법은, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하며, 상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.An image analysis method performed by an image analysis device for checking hand hygiene compliance according to another embodiment of the present invention includes receiving an image including at least one object and using a pre-learned hand hygiene awareness model. and determining whether or not the target performs hand hygiene, and the hand hygiene compliance recognition model uses a learning image including an arbitrary target and behavior data of an arbitrary target as learning data, and the arbitrary target It is learned using the information obtained by analyzing the behavior of the target as a label.

또한, 상기 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 이후에, 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하는 단계, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하는 단계, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하는 단계 및 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하는 단계를 포함할 수 있다.In addition, after receiving the image including the at least one object, detecting a first object in a first frame included in the image including the at least one object, and detecting a second object adjacent to the first frame. Detecting a second object in the frame, calculating intersection over union (IoU) scores of the first object and the second object, and when the IoU score is equal to or greater than a preset score, the first object and the second object Recognizing them as the same observation object, and generating 3D tubelet data by connecting the region of the first object and the region of the second object.

여기서, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.Here, the step of determining whether or not the object adheres to hand hygiene includes inputting the 3D tubelet data to the hand hygiene adherence recognition model, and based on an output result of the hand hygiene adherence recognition model, the at least one target Hand hygiene compliance can be determined.

여기서, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는, 상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.Here, in the step of determining whether or not the target performs hand hygiene, if the 3D tubelet data includes an action for the observation target to perform a predetermined action, it is determined that the observation target performed the hand hygiene action. can be identified.

또한, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 상기 관찰 대상에 인접한 적어도 하나의 객체를 인식하는 단계를 더 포함할 수 있다.The method may further include recognizing at least one object adjacent to the observation target in each frame of the image including the at least one target.

여기서, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.Here, if the 3D tubelet data includes an operation in which the observation object overlaps with the adjacent object at one point in time and the observation object performs a preset operation at a later point in time, the observation object performs a hand hygiene behavior It can be determined that it has been done.

여기서, 상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 3D tubelet 데이터를 생성하는 단계는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다.Here, the observation object includes a first observation object and a second observation object, and the generating of the 3D tubelet data includes the first 3D tubelet data for the first observation object and the second observation object. Each second 3D tubelet data is generated, and if the first and second objects are not the same observation object, the hand hygiene compliance behavior of each object can be determined based on the 3D tubelet data corresponding to each object. have.

또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체를 제공할 수 있다.In addition, a command for performing an image analysis method comprising receiving an image including at least one object and determining whether the object performs hand hygiene by using a pre-learned hand hygiene awareness model. It is possible to provide a recording medium in which a computer program including a is stored.

또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.In addition, a command for performing an image analysis method comprising receiving an image including at least one object and determining whether the object performs hand hygiene by using a pre-learned hand hygiene awareness model. It is possible to provide a computer program stored in a computer readable storage medium containing a.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 영상을 기반으로 의료진의 행위가 손 위생 이행 행위인지의 여부를 인식하여, 의료진의 손 위생 행동을 감지하여 분석할 수 있다.As described above, according to the embodiments of the present invention, it is possible to detect and analyze the medical staff's hand hygiene behavior by recognizing whether the medical staff's behavior is a hand hygiene behavior based on the image.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned here, the effects described in the following specification expected by the technical features of the present invention and their provisional effects are treated as described in the specification of the present invention.

도 1은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치를 나타낸 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 손 위생 이행 인지 모델의 예시적인 구조를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에 사용되는 RGB 영상과 Optical Flow 데이터를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 대상과 객체를 인식하는 방법을 예로 들어 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 관찰 대상을 추정하는 방법 중 포즈 추정법을 예로 들어 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, Maximum Filter를 사용한 필터링을 설명하기 위한 도면이다.1 is a block diagram illustrating an image analysis device for checking hand hygiene compliance according to an embodiment of the present invention.
2 and 3 are flowcharts illustrating an image analysis method for checking hand hygiene compliance according to an embodiment of the present invention.
4 is a diagram for explaining an exemplary structure of a hand hygiene compliance cognitive model according to an embodiment of the present invention.
5 is a diagram illustrating an RGB image and Optical Flow data used in an image analysis method for checking hand hygiene according to an embodiment of the present invention.
6 is a diagram illustrating a method of recognizing a target and an object in an image analysis method for checking hand hygiene according to an embodiment of the present invention as an example.
7 is a diagram illustrating a pose estimation method among methods for estimating an object to be observed as an example in an image analysis method for confirming hand hygiene according to an embodiment of the present invention.
8 is a diagram for explaining filtering using a maximum filter in an image analysis method for checking hand hygiene compliance according to an embodiment of the present invention.

이하, 본 발명에 관련된 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, an image analysis device and an image analysis method for checking hand hygiene according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the described embodiments. And, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes "module" and "unit" for the components used in the following description are given or used interchangeably in consideration of only the ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves.

본 발명은 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법에 관한 것이다.The present invention relates to an image analysis device and an image analysis method for checking hand hygiene compliance.

도 1은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치를 나타낸 블록도이다.1 is a block diagram illustrating an image analysis device for checking hand hygiene compliance according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치(10)는 프로세서(11) 및 메모리(12)를 포함한다.Referring to FIG. 1 , an image analysis device 10 for checking hand hygiene according to an embodiment of the present invention includes a processor 11 and a memory 12 .

본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치(10)는 수술실(Operating Room, OR)을 촬영한 영상으로부터 환자와 접촉하는 의료진의 행동을 분석하여, 손 위생 이행 행위 여부를 판별하기 위한 장치이다.The image analysis device 10 for checking hand hygiene according to an embodiment of the present invention analyzes the behavior of a medical staff in contact with a patient from an image taken of an operating room (OR), and determines whether or not the hand hygiene is followed. It is a device for determining

구체적으로, 다수의 의료진과 사물들을 촬영하는 영상으로부터 환자 또는 사물과 접촉하기 전, 후에 의료진이 손을 문지르는 행위를 수행하거나 손 세정제를 누르는 행위를 인식하여 손 위생 이행 행위를 수행했는지의 여부를 판단하게 된다.Specifically, it is determined whether or not the medical staff has performed hand hygiene by recognizing the act of rubbing the hands or pressing the hand sanitizer before and after contacting a patient or object from an image of a plurality of medical staff and objects. will do

이를 위해, 손 위생 이행 인지 모델은 Two-Stream 구조로 설계되며, Optical Flow 정보를 넣어줌으로써 의료진의 모션(motion) 정보에 대해 더 잘 예측할 수 있도록 설계한다. 손 위생 이행 인지 모델은 하기 도 4에서 상세히 설명한다.To this end, the hand hygiene compliance recognition model is designed in a two-stream structure, and is designed to better predict the motion information of medical staff by inserting Optical Flow information. The hand hygiene compliance cognitive model is described in detail in FIG. 4 below.

메모리(12)는 프로세서(11)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있고, 미리 학습된 손 위생 이행 인지 모델이 저장되며, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.The memory 12 may store programs (one or more instructions) for processing and control of the processor 11, a pre-learned hand hygiene compliance cognitive model is stored, and a flash memory type, hard drive Hard disk type, multimedia card micro type, card type memory (eg SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory) ), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, at least one type of computer readable storage medium can include

메모리(12)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있으며, 후술할 미리 학습된 손 위생 이행 인지 모델이 소프트웨어 모듈로 구성될 수 있다.Programs stored in the memory 12 may be divided into a plurality of modules according to their functions, and a pre-learned hand hygiene compliance model to be described later may be composed of software modules.

프로세서(11)는 메모리(12)에 저장된 하나 이상의 인스트럭션을 실행하며, 구체적으로, 입력된 적어도 하나의 대상이 포함된 영상을 기초로, 상기 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별한다.The processor 11 executes one or more instructions stored in the memory 12, and specifically, based on an input image including at least one object, the hand hygiene compliance model is used to perform hand hygiene of the object. Determining whether or not an action has been implemented.

여기서, 프로세서(11)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.Here, the processor 11 may be divided into a plurality of modules according to functions, or functions may be performed by one processor. A processor is one or more of a central processing unit (CPU), an application processor (AP), a micro controller unit (MCU), or a communication processor (CP). can include

본 발명의 일 실시예에 따른 인공 신경망 기반의 의료 영상 분석 장치(10)의 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.The hand hygiene compliance recognition model of the artificial neural network-based medical image analysis apparatus 10 according to an embodiment of the present invention uses a learning image including an arbitrary object and behavior data of an arbitrary object as learning data, and the arbitrary It is learned by using the information that analyzed the behavior of the target as a label.

프로세서(11)는 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.The processor 11 may recognize an observation object in each frame of the image including the at least one object, and detect a behavior of the observation object in consecutive frames.

구체적으로, 프로세서(11)는 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하고, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하여, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성한다.Specifically, the processor 11 detects a first object in a first frame included in the image including the at least one object, detects a second object in a second frame adjacent to the first frame, and An intersection over union (IoU) score of the first object and the second object is calculated, and when the IoU score is equal to or greater than a preset score, the first object and the second object are recognized as the same observation object, and the region of the first object 3D tubelet data is created by connecting the area of the second target and the area of the second target.

이후, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.Thereafter, the 3D tubelet data may be input to the hand hygiene compliance recognition model, and based on an output result of the hand hygiene compliance recognition model, whether or not the at least one target performs hand hygiene compliance may be determined.

프로세서(11)는 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.The processor 11 may determine that the observation object has performed a hand hygiene action when the 3D tubelet data includes an action for the observation object to perform a preset action.

예를 들어, 기 설정된 동작은, 의료진에 해당하는 관찰 대상이 손을 문지르는 동작을 포함할 수 있고, 3D tubelet 데이터에서 관찰 대상이 손을 문지르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손을 문지르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.For example, the preset action may include a hand rubbing action of an observation target corresponding to a medical staff, and if the observation target includes a hand rubbing action in the 3D tubelet data, the observation target performs hand hygiene. , and if the observation target does not include a hand rubbing action during the operation, it can be recognized that the observation target does not perform hand hygiene, and accordingly, a notification action can be performed. .

또한, 프로세서(11)는, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상과 상기 관찰 대상에 인접한 객체를 구별하여 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.In addition, the processor 11 may distinguish and recognize an object of observation and an object adjacent to the object of observation in each frame of the image including the at least one object, and detect the behavior of the object of observation in consecutive frames. have.

여기서, 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 프로세서(11)는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다. 이에 따라, 각각의 관찰 대상 개별의 행동을 분리하여 인식할 수 있다.Here, the observation object includes a first observation object and a second observation object, and the processor 11 generates first 3D tubelet data for the first observation object and second 3D tubelet data for the second observation object. Data is respectively generated, and when the first and second objects are not the same observation object, hand hygiene compliance behavior of each object may be determined based on 3D tubelet data corresponding to each object. Accordingly, it is possible to separate and recognize the behavior of each individual observation target.

여기서, 관찰 대상에 인접한 객체는 손 세정제, 수술 도구, 수술실에 배치된 모니터 등을 포함할 수 있다.Here, objects adjacent to the observation target may include hand sanitizer, surgical instruments, and monitors disposed in an operating room.

프로세서(11)는, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.The processor 11 determines that, when the 3D tubelet data includes an operation in which the observation object overlaps with the adjacent object at one point in time and the observation object performs a preset operation at a later point in time, the observation object is handed down. It can be determined that a sanitary compliance act has been performed.

예를 들어, 의료진에 해당하는 관찰 대상이 수술실에 배치된 모니터와 소정 시간 겹쳐지고, 이후 시점에서 관찰 대상이 손을 문지르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손을 문지르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.For example, if an observation target corresponding to a medical staff overlaps with a monitor placed in an operating room for a predetermined period of time, and the observation target includes a hand rubbing action at a later point in time, it is determined that the observation target has performed hand hygiene compliance. If the observation object does not include a hand rubbing operation during the operation of the observation object, it may be recognized that the observation object does not perform hand hygiene, and accordingly, a notification action may be performed.

또한, 의료진에 해당하는 관찰 대상이 수술실에 배치된 모니터와 소정 시간 겹쳐지고, 이후 시점에서 관찰 대상이 손 세정제를 누르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손 세정제를 누르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.In addition, when an observation target corresponding to a medical staff overlaps with a monitor disposed in an operating room for a predetermined time, and the observation target includes an action of pressing hand sanitizer at a later point in time, it is determined that the observation target performs hand hygiene compliance. In addition, if the operation of the observation target does not include a hand sanitizer operation, it may be recognized that the observation target does not perform hand hygiene, and accordingly, a notification action may be performed.

또한, 의료진에 해당하는 관찰 대상이 관찰 대상이 손 세정제를 누르는 동작을 포함하고, 수술 도구와 소정 시간 겹쳐지는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손 세정제를 누르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.In addition, when an observation target corresponding to a medical staff includes an action of pressing hand sanitizer and overlaps a surgical tool for a predetermined time, it may be determined that the observation target performs hand hygiene compliance, and if the observation target During the operation, it may be recognized that the observation target does not perform the hand hygiene action if the hand sanitizer is not pressed, and a notification action may be performed accordingly.

본 발명의 다양한 실시예에 따르면, 기 설정된 동작과 객체는 이에 한정되지 않으며, 기 설정된 동작은 손 위생 이행 행위에 따른 다양한 동작으로 설정이 가능하며, 객체는 수술실에 존재하는 모든 사물에 대해 설정이 가능하다.According to various embodiments of the present invention, the preset operations and objects are not limited thereto, and the preset operations can be set to various operations according to hand hygiene practices, and the objects can be set for all objects existing in the operating room. It is possible.

도 2 및 도 3은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법을 나타낸 흐름도이다.2 and 3 are flowcharts illustrating an image analysis method for checking hand hygiene compliance according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법은 손 위생 이행 확인을 위한 영상 분석 장치에 의해 수행되며, 단계 S110에서 적어도 하나의 대상이 포함된 영상을 입력 받는다.Referring to FIG. 2 , the image analysis method for checking hand hygiene compliance according to an embodiment of the present invention is performed by an image analysis device for checking hand hygiene compliance, and in step S110, an image including at least one object is captured. receive input

이후, 단계 S120에서, 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별한다.Subsequently, in step S120, it is determined whether or not the target performs hand hygiene by using the previously learned hand hygiene awareness model.

여기서, 상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.Here, the hand hygiene compliance recognition model is learned by using a training image including an arbitrary object and behavior data of an arbitrary target as learning data, and using information obtained by analyzing the behavior of the arbitrary target as a label.

도 3을 참조하면, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법은 적어도 하나의 대상이 포함된 영상을 입력 받는 단계(S110) 이후에,Referring to FIG. 3 , in the image analysis method for confirming hand hygiene according to an embodiment of the present invention, after receiving an image including at least one object (S110),

단계 S210에서, 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출한다.In step S210, a first object is detected in a first frame included in the image including the at least one object.

단계 S220에서, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출한다.In step S220, a second target is detected in a second frame adjacent to the first frame.

단계 S230에서, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출한다.In step S230, intersection over union (IoU) scores of the first and second objects are calculated.

단계 S240에서, 상기 IoU 점수와 기 설정된 점수를 비교하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 단계 S250에서, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성한다.In step S240, the IoU score is compared with a preset score, and if the IoU score is equal to or greater than the preset score, in step S250, the first and second objects are recognized as the same observation target, and the first target 3D tubelet data is created by connecting the region and the region of the second target.

여기서, 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 3D tubelet 데이터를 생성하는 단계(S250)는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다.Here, the observation object includes a first observation object and a second observation object, and generating the 3D tubelet data (S250) includes the first 3D tubelet data for the first observation object and the second observation object. generating second 3D tubelet data for each object, and if the first object and the second object are not the same observation object, based on the 3D tubelet data corresponding to each object, the hand hygiene compliance behavior of each object is determined can do.

3D tubelet 데이터를 생성하기 위해, 2D 이미지의 3D 연결은 짧은 단위(16 frame, 약 1초)로 이루어질 수 있다.To generate 3D tubelet data, 3D connection of 2D images can be made in short units (16 frames, about 1 second).

구체적으로, 손 위생 행동의 지속 시간 평균값은 2초, 중간값은 1.5초를 가지기 때문에 1초단위의 검출을 여러번 수행하여 예상 결과값을 산출할 수 있다.Specifically, since the average duration of the hand hygiene behavior is 2 seconds and the median value is 1.5 seconds, an expected result value may be calculated by performing detection in units of 1 second several times.

근접한 이미지 프레임에서 가장 큰 intersection over union(IoU) 점수를 가진 사람, 즉 가장 겹치는 면적이 많은 사람을 비디오 단위로 묶어 3D tubelet을 구성할 수 있다.A 3D tubelet can be formed by grouping a person with the largest intersection over union (IoU) score, that is, a person with the largest overlapping area, in video units in adjacent image frames.

3D tubelet을 구성하기 위한 방법은 다양하지만 (feature 유사도 사용 등) 본 발명의 일 실시예에서는 IoU 점수를 이용할 수 있다.Although there are various methods for constructing a 3D tubelet (using feature similarity, etc.), an IoU score may be used in one embodiment of the present invention.

또한, 단계 S260에서, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 상기 관찰 대상에 인접한 적어도 하나의 객체를 인식한다.Also, in step S260, at least one object adjacent to the observation target is recognized in each frame of the image including the at least one target.

상기 도 2에서, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계(S120)는, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.2, in step S120 of determining whether or not the object adheres to hand hygiene, the 3D tubelet data is input to the hand hygiene awareness model, and based on the output result of the hand hygiene awareness model, Whether or not the at least one target performs hand hygiene may be determined.

구체적으로, 상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.Specifically, when the 3D tubelet data includes an action for the observation target to perform a preset action, it may be determined that the observation target performs hand hygiene.

또한, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.In addition, when the 3D tubelet data includes an operation in which the observation object overlaps with the adjacent object at one point in time and the observation object performs a preset operation at a later point in time, the observation object performs a hand hygiene action. It can be determined that it has been done.

도 4는 본 발명의 일 실시예에 따른 손 위생 이행 인지 모델의 예시적인 구조를 설명하기 위한 도면이다.4 is a diagram for explaining an exemplary structure of a hand hygiene compliance cognitive model according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 손 위생 이행 인지 모델은 Two-Stream 구조로 설계되며, Optical Flow 정보를 넣어줌으로써 모션(motion) 정보에 대해 더 잘 예측할 수 있도록 설계한다.The hand hygiene compliance recognition model according to an embodiment of the present invention is designed in a two-stream structure, and is designed to better predict motion information by inserting Optical Flow information.

Optical Flow(광학 흐름)는 물체와 배경 사이에 상대적인 움직임으로 인해 발생하는 움직임 패턴을 의미한다. 복잡한 배경에서도 상대적인 움직임만을 포착하여 움직임 정보에 Attention을 줄 수 있다.Optical Flow refers to a movement pattern caused by relative movement between an object and the background. Even in complex backgrounds, only relative motions can be captured to give attention to motion information.

Optical Flow 이미지는 Depth 이미지처럼 두 시차를 이용하여 카메라에서 구해지는 영상이 아니라 영상처리를 이용하여 구해짐. 현재는 CPU를 사용한 영상처리를 이용하나 향후 딥러닝 모델로 Optical flow 영상 그 자체를 학습하여 생성할 수 있다.The optical flow image is obtained using image processing, not the image obtained from the camera using two parallaxes like the depth image. Currently, image processing using a CPU is used, but the optical flow image itself can be learned and generated with a deep learning model in the future.

Optical Flow는 이전 이미지 프레임과의 비교를 통해 계산이 되므로 영상 그 자체에 움직임의 시간적 변화량을 포함하고 있으며, 본 발명의 일 실시예에 따르면, RGB 모델과 Optical Flow 모델의 평균으로 사용하여 성능 향상이 가능해진다.Since the optical flow is calculated through comparison with the previous image frame, the image itself includes the amount of motion temporal change. According to an embodiment of the present invention, performance is improved by using the RGB model and the optical flow model as an average it becomes possible

또한, Optical Flow 영상과 모델의 구조를 개선시켜 의료진의 프라이버시를 해치지 않는 모니터링 시스템으로 확장할 수 있다.In addition, by improving the structure of the Optical Flow image and model, it can be expanded to a monitoring system that does not harm the privacy of medical staff.

본 발명의 일 실시예에 따른 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습될 수 있다.In the hand hygiene compliance recognition model according to an embodiment of the present invention, a learning image including an arbitrary target and behavior data of an arbitrary target are used as learning data, and the information obtained by analyzing the behavior of the arbitrary target is used as a label. can be learned

여기서, 임의의 대상이 포함된 학습 영상(110)은 RGB 영상일 수 있고, 임의의 대상의 행위 데이터는 Optical Flow 데이터(210)일 수 있다.Here, the learning image 110 including an arbitrary object may be an RGB image, and the behavior data of an arbitrary object may be Optical Flow data 210.

구체적으로, 학습 영상(110)에서 2D 사람 검출기(Faster R-CNN)를 사용하여 의료진을 검출한 데이터(120)와 각각의 의료진을 검출한 Optical Flow 데이터(220)를 이용하며, 두개의 I3D 모델(310) 각각에 입력을 각각의 의료진에 대한 RGB 영상(130), 각각의 의료진에 대한 Optical Flow 데이터(230)를 넣어주어 학습을 시키고, 주어진 사람 인스턴스의 행동이 손 위생 행동인지, 또는 아닌지에 대한 이진 분류(320)를 수행하여 결과를 출력할 수 있다.Specifically, in the training image 110, data 120 for detecting medical staff using a 2D human detector (Faster R-CNN) and Optical Flow data 220 for detecting each medical staff are used, and two I3D models are used. (310) Enter RGB images 130 for each medical staff and Optical Flow data 230 for each medical staff as input to each to learn, and determine whether the behavior of a given person instance is a hand hygiene behavior or not. A result may be output by performing binary classification 320 on .

여기서, 각각의 의료진에 대한 RGB 영상(130)은 생성된 3D tubelet 데이터로 시,공간 특징 학습이 동시에 가능한 Inflated 3D CNN I3D) 모델에 주어질 수 있다.Here, the RGB image 130 for each medical staff may be given to an Inflated 3D CNN (I3D) model capable of simultaneously learning spatio-temporal and spatial features with the generated 3D tubelet data.

도 5는 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에 사용되는 RGB 영상과 Optical Flow 데이터를 나타낸 도면이다.5 is a diagram illustrating an RGB image and Optical Flow data used in an image analysis method for checking hand hygiene according to an embodiment of the present invention.

도 5는 손 마찰 및 기타 손 관련 동작(장갑 착용)의 소규모 동작에 따른 RGB 영상과 Optical Flow 데이터를 나타낸 것으로, 도 5의 (a)는 RGB 영상(140)과 Optical Flow 데이터(240)에서 손으로 문지르는 동작의 이미지를 나타낸 것이고, 도 5의 (b)는 RGB 영상(150)과 Optical Flow 데이터(250)에서 장갑을 착용하는 동작의 이미지를 나타낸 것이다.5 shows RGB images and Optical Flow data according to small-scale motions of hand friction and other hand-related motions (wearing gloves). 5(b) shows an image of an operation of wearing gloves in the RGB image 150 and the Optical Flow data 250.

도 5의 (b)에 나타난 바와 같이, 장갑을 착용하는 동작의 경우, RGB 영상에서는 손을 문지르는 동작과 비슷하지만, 손 위생 이행 행위는 아니므로, 이에 대한 구별이 필요하다.As shown in (b) of FIG. 5 , the action of wearing gloves is similar to the action of rubbing hands in the RGB image, but it is not a hand hygiene action, so it is necessary to distinguish it.

본 발명의 일 실시예에 따른 손 위생 이행 인지 모델은 Two-Stream 구조로 설계되며, Optical Flow 정보를 넣어줌으로써 모션(motion) 정보에 대해 더 잘 예측할 수 있도록 설계함으로써, 다양한 손 동작 데이터 세트에 따라 손 동작을 구별할 수 있다.The hand hygiene compliance recognition model according to an embodiment of the present invention is designed in a two-stream structure, and is designed to better predict motion information by inserting Optical Flow information, so that according to various hand motion data sets, Hand movements can be distinguished.

도 6은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 대상과 객체를 인식하는 방법을 예로 들어 나타낸 도면이다.6 is a diagram illustrating a method of recognizing a target and an object in an image analysis method for checking hand hygiene according to an embodiment of the present invention as an example.

도 6의 (a)와 (b)는 수술실을 촬영한 영상에서 다수의 대상과 손 소독제, 수술실의 사물을 나타낸 것이다.6 (a) and (b) show a plurality of objects, hand sanitizer, and objects in the operating room in the image of the operating room.

본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치(10)는 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출한다.The image analysis device 10 for checking hand hygiene compliance according to an embodiment of the present invention recognizes an object to be observed in each frame of the image including the at least one object, and the behavior of the object in successive frames. detect

구체적으로, 도 6의 (a)에서, 영상 분석 장치(10)는 다수의 대상인 의료진(411, 412, 413, 416)과 환자(417), 손 소독제(414, 415)와 수술실의 모니터(418)를 인식할 수 있다.Specifically, in (a) of FIG. 6, the image analysis device 10 includes a plurality of medical staff 411, 412, 413, 416, patients 417, hand sanitizers 414, 415, and a monitor 418 in an operating room. ) can be recognized.

여기서, 관찰 대상은, 다수의 대상인 의료진(411, 412, 413, 416)을 포함할 수 있고, 의료진(411, 412, 413, 416)에 대한 3D tubelet 데이터를 각각 생성할 수 있다. 이에 따라, 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.Here, the observation target may include a plurality of medical staffs 411 , 412 , 413 , and 416 , and 3D tubelet data for the medical staffs 411 , 412 , 413 , and 416 may be generated, respectively. Accordingly, when the 3D tubelet data includes an operation in which the observation target overlaps with the adjacent object at one point in time and the observation object performs a preset operation at a later point in time, the observation object performs a hand hygiene action. It can be determined that it has been done.

예를 들어, 제1 관찰 대상(416)이 수술실의 모니터(418)와 접촉한 후에, 손 세정제(415)를 누르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손 세정제를 누르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.For example, when the first observation target 416 includes an action of pressing the hand sanitizer 415 after contacting the monitor 418 in the operating room, it may be determined that the observation target performs hand hygiene. In addition, if the operation of the observation target does not include a hand sanitizer operation, it may be recognized that the observation target does not perform hand hygiene, and accordingly, a notification action may be performed.

또한, 도 6의 (b)에서, 영상 분석 장치(10)는 다수의 대상인 의료진(421, 422, 423, 424)과 환자(427), 손 소독제(425, 426)를 인식할 수 있다.In addition, in (b) of FIG. 6 , the image analysis device 10 may recognize a plurality of medical staff 421 , 422 , 423 , and 424 , a patient 427 , and hand sanitizers 425 and 426 .

여기서, 일부 의료진(421)과 환자(427)는 영상에서는 영역이 가려져 있지만, 3D tubelet 데이터가 생성됨에 따라 행동을 추적하는 것이 가능해진다.Here, although regions of some of the medical staff 421 and the patient 427 are covered in the image, it is possible to track their behavior as 3D tubelet data is generated.

도 7은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 관찰 대상을 추정하는 방법 중 포즈 추정법을 예로 들어 나타낸 도면이다.7 is a diagram illustrating a pose estimation method among methods for estimating an object to be observed as an example in an image analysis method for confirming hand hygiene according to an embodiment of the present invention.

구체적으로, 다수의 대상인 의료진(421, 422, 423, 424)별로 골격에 대한 포인트를 지정하고, 포인트와 포인트 사이의 움직임을 이용하여 문지르는 동작을 추정할 수 있다.Specifically, points for the skeleton may be designated for each of the plurality of medical staffs 421, 422, 423, and 424, and a rubbing motion may be estimated using motions between the points.

도 8은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, Maximum Filter를 사용한 필터링을 설명하기 위한 도면이다.8 is a diagram for explaining filtering using a maximum filter in an image analysis method for checking hand hygiene compliance according to an embodiment of the present invention.

Maximum Filter는 영상에서 한 영상소의 주변 영상소들에 대상 영역을 씌워서 이웃 영상소들 중에서 최대값을 출력 영상에 출력하는 필터링을 의미한다.Maximum Filter means filtering that outputs the maximum value among the neighboring image elements to the output image by covering the target area with the image elements surrounding one image element in the image.

기존의 3D 행동 검출 모델들은 이미 잘려진 비디오클립 (ex. 2초로 맞추어진 영상)에 대한 분류를 다룬다.Existing 3D action detection models deal with the classification of video clips that have already been cut (eg, 2-second video clips).

본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치는, 비디오 클립이 아닌 스트리밍 영상에서도 작동하게 하기 위해, 들어오는 모든 영상에 대해 슬라이딩 윈도우방식으로 여러 번의 검출을 수행할 수 있다.An image analysis apparatus for checking hand hygiene compliance according to an embodiment of the present invention may perform multiple detections on all incoming images in a sliding window method in order to operate on streaming images other than video clips.

예를 들어, 들어오는 영상에서 장비 만지기 행동이 2초인 것을 알고 있다면, 2초만큼의 영상을 딥러닝 모델에 넣어 쉽게 분류가 가능하지만, 본 발명의 일 실시예에서는 시작점과 끝점을 알기 어렵기 때문에 정해진 기간(1초)에서 모든 영상에서 여러번 검출을 수행하여 가장 큰 예측값을 가지는 행동 1개를 결과값으로 선정하게 된다.For example, if you know that the equipment touching action is 2 seconds in the incoming video, you can easily classify it by putting the 2-second video into the deep learning model. In a period (1 second), detection is performed several times in all images, and one action with the largest predicted value is selected as the result value.

이에 따라, 시작점과 끝점을 알지 못하는 경우에도 행동 검출 및 분류가 가능하고, 2D 사람 검출 및 3D 연결 등으로 인해 잘못된 3D 검출 결과를 보정하는 효과를 가질 수 있다.Accordingly, it is possible to detect and classify actions even when the starting point and the ending point are not known, and have an effect of correcting an erroneous 3D detection result due to 2D person detection and 3D connection.

또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체를 제공할 수 있다.In addition, a command for performing an image analysis method comprising receiving an image including at least one object and determining whether the object performs hand hygiene by using a pre-learned hand hygiene awareness model. It is possible to provide a recording medium in which a computer program including a is stored.

또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.In addition, a command for performing an image analysis method comprising receiving an image including at least one object and determining whether the object performs hand hygiene by using a pre-learned hand hygiene awareness model. It is possible to provide a computer program stored in a computer readable storage medium containing a.

이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Such computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the recording medium may be specially designed and configured for the present invention or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, etc. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is just one embodiment of the present invention, and those skilled in the art can implement it in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention should be construed to include various embodiments within the scope equivalent to those described in the claims without being limited to the above-described embodiments.

Claims (18)

손 위생 이행 확인을 위한 영상 분석 장치에 있어서,
미리 학습된 손 위생 이행 인지 모델이 저장된 메모리; 및
입력된 적어도 하나의 대상이 포함된 영상을 기초로, 상기 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 프로세서;를 포함하는 영상 분석 장치.In the image analysis device for checking hand hygiene compliance,
a memory in which a pre-learned hand hygiene compliance model is stored; and
An image analysis apparatus comprising: a processor configured to determine whether or not an object performs hand hygiene by using the hand hygiene compliance model based on an input image including at least one object. 제1항에 있어서,
상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것인 영상 분석 장치.According to claim 1,
The hand hygiene compliance recognition model is learned by using a learning image including an arbitrary object and behavior data of an arbitrary target as learning data, and using information obtained by analyzing the behavior of the arbitrary target as a label Image analysis device . 제1항에 있어서,
상기 프로세서는,
상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출하는 영상 분석 장치.According to claim 1,
the processor,
An image analysis device for recognizing an observation object in each frame of an image including the at least one object and detecting a behavior of the observation object in consecutive frames. 제1항에 있어서,
상기 프로세서는,
상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하고, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하여, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하는 영상 분석 장치.According to claim 1,
the processor,
A first object is detected in a first frame included in an image including the at least one object, and a second object is detected in a second frame adjacent to the first frame, so that the intersection of the first object and the second object is detected. An over union (IoU) score is calculated, and when the IoU score is equal to or greater than a preset score, the first and second objects are recognized as the same observation object, and the area of the first object and the area of the second object are connected. An image analysis device that generates 3D tubelet data by 제4항에 있어서,
상기 프로세서는,
상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별하는 영상 분석 장치.According to claim 4,
the processor,
The image analysis device for inputting the 3D tubelet data to the hand hygiene compliance recognition model and determining whether or not the at least one target has a hand hygiene compliance behavior based on an output result of the hand hygiene compliance recognition model. 제5항에 있어서,
상기 프로세서는,
상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 영상 분석 장치.According to claim 5,
the processor,
When the 3D tubelet data includes an action for the observation target to perform a preset action, the image analysis device for determining that the observation target has performed hand hygiene. 제4항에 있어서,
상기 프로세서는,
상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상과 상기 관찰 대상에 인접한 객체를 구별하여 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출하는 영상 분석 장치.According to claim 4,
the processor,
An image analysis device for distinguishing and recognizing an object of observation and an object adjacent to the object of observation in each frame of an image including the at least one object, and detecting a behavior of the object of observation in successive frames. 제7항에 있어서,
상기 프로세서는,
상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 영상 분석 장치.According to claim 7,
the processor,
If the 3D tubelet data includes an operation in which the observation object overlaps with the adjacent object at one point in time and the observation object performs a preset operation at a later point in time, the observation object performs hand hygiene compliance behavior An image analysis device that determines the 제4항에 있어서,
상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고,
상기 프로세서는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별하는 영상 분석 장치.According to claim 4,
The observation object includes a first observation object and a second observation object,
The processor generates first 3D tubelet data for the first observation object and second 3D tubelet data for the second observation object, respectively, and when the first object and the second object are not the same observation object , An image analysis device that determines the hand hygiene compliance of each target based on the 3D tubelet data corresponding to each target. 손 위생 이행 확인을 위한 영상 분석 장치에 의해 수행되는 영상 분석 방법에 있어서,
적어도 하나의 대상이 포함된 영상을 입력 받는 단계; 및
미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계;를 포함하며,
상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것인 영상 분석 방법.In the image analysis method performed by the image analysis device for checking hand hygiene compliance,
receiving an image including at least one object; and
Using a pre-learned hand hygiene compliance model, determining whether or not the target performs hand hygiene compliance;
The hand hygiene compliance recognition model is learned by using a training image including an arbitrary object and behavior data of an arbitrary target as learning data, and using information obtained by analyzing the behavior of the arbitrary target as a label. Image analysis method . 제10항에 있어서,
상기 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 이후에,
상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하는 단계;
상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하는 단계;
상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하는 단계; 및
상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하는 단계를 포함하는 영상 분석 방법.According to claim 10,
After the step of receiving the image including the at least one object,
detecting a first object in a first frame included in the image including the at least one object;
detecting a second object in a second frame adjacent to the first frame;
Calculating intersection over union (IoU) scores of the first object and the second object; and
When the IoU score is equal to or greater than a preset score, recognizing the first and second objects as the same observation object, and generating 3D tubelet data by connecting a region of the first object and a region of the second object. video analysis method. 제11항에 있어서,
상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는,
상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별하는 영상 분석 방법.According to claim 11,
The step of determining whether the target performs hand hygiene,
The image analysis method of inputting the 3D tubelet data to the hand hygiene compliance recognition model and determining whether or not the at least one target has hand hygiene compliance behavior based on an output result of the hand hygiene compliance recognition model. 제11항에 있어서,
상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는,
상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 영상 분석 방법.According to claim 11,
The step of determining whether the target performs hand hygiene,
If the 3D tubelet data includes an action for the observation target to perform a preset action, the image analysis method for determining that the observation target has performed hand hygiene. 제11항에 있어서,
상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 상기 관찰 대상에 인접한 적어도 하나의 객체를 인식하는 단계;를 더 포함하는 영상 분석 방법.According to claim 11,
The image analysis method further comprising recognizing at least one object adjacent to the observation object in each frame of the image including the at least one object. 제14항에 있어서,
상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 영상 분석 방법.According to claim 14,
If the 3D tubelet data includes an operation in which the observation object overlaps with the adjacent object at one point in time and the observation object performs a preset operation at a later point in time, the observation object performs hand hygiene compliance behavior Image analysis method to determine. 제11항에 있어서,
상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고,
상기 3D tubelet 데이터를 생성하는 단계는,
상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별하는 영상 분석 방법.According to claim 11,
The observation object includes a first observation object and a second observation object,
The step of generating the 3D tubelet data,
First 3D tubelet data for the first observation object and second 3D tubelet data for the second observation object are generated, respectively, and when the first object and the second object are not the same observation object, each object Based on the corresponding 3D tubelet data, an image analysis method for determining the hand hygiene compliance behavior of each subject. 적어도 하나의 대상이 포함된 영상을 입력 받는 단계; 및
미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체.receiving an image including at least one object; and
A recording medium storing a computer program containing instructions for performing an image analysis method comprising the step of determining whether or not the target performs hand hygiene by using a pre-learned hand hygiene compliance model. 적어도 하나의 대상이 포함된 영상을 입력 받는 단계; 및
미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.receiving an image including at least one object; and
A computer program stored in a computer readable storage medium including instructions for performing an image analysis method comprising the step of determining whether or not the target performs hand hygiene by using a pre-learned hand hygiene compliance model.
KR1020210069120A 2021-05-28 2021-05-28 Image analysis apparatus and method for verifying hand hygiene implementation KR102592951B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210069120A KR102592951B1 (en) 2021-05-28 2021-05-28 Image analysis apparatus and method for verifying hand hygiene implementation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210069120A KR102592951B1 (en) 2021-05-28 2021-05-28 Image analysis apparatus and method for verifying hand hygiene implementation

Publications (2)

Publication Number Publication Date
KR20220160899A true KR20220160899A (en) 2022-12-06
KR102592951B1 KR102592951B1 (en) 2023-10-23

Family

ID=84406868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210069120A KR102592951B1 (en) 2021-05-28 2021-05-28 Image analysis apparatus and method for verifying hand hygiene implementation

Country Status (1)

Country Link
KR (1) KR102592951B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021058931A1 (en) * 2019-09-23 2021-04-01 Presha Health Tech Private Limited Apparatus, system and method for real time hand hygiene monitoring
KR102253989B1 (en) * 2020-08-19 2021-05-20 이노뎁 주식회사 object tracking method for CCTV video by use of Deep Learning object detector

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021058931A1 (en) * 2019-09-23 2021-04-01 Presha Health Tech Private Limited Apparatus, system and method for real time hand hygiene monitoring
KR102253989B1 (en) * 2020-08-19 2021-05-20 이노뎁 주식회사 object tracking method for CCTV video by use of Deep Learning object detector

Also Published As

Publication number Publication date
KR102592951B1 (en) 2023-10-23

Similar Documents

Publication Publication Date Title
US9405962B2 (en) Method for on-the-fly learning of facial artifacts for facial emotion recognition
JP7392348B2 (en) Methods, programs and systems for assessment of completion of tasks performed by body parts of a user using a camera system
EP3035235B1 (en) Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier
Llorca et al. A vision-based system for automatic hand washing quality assessment
KR102174695B1 (en) Apparatus and method for recognizing movement of object
CN111144293A (en) Human face identity authentication system with interactive living body detection and method thereof
JP6833708B2 (en) How to handle asynchronous signals
US10929688B2 (en) System and method of video content filtering
KR20170025535A (en) Method of modeling a video-based interactive activity using the skeleton posture datset
CN111783714B (en) Method, device, equipment and storage medium for face recognition under duress
US20230031042A1 (en) Handwash monitoring system and handwash monitoring method
KR102592951B1 (en) Image analysis apparatus and method for verifying hand hygiene implementation
CN109492585B (en) Living body detection method and electronic equipment
Juett et al. Learning to reach by building a representation of peri-personal space
Gutstein et al. Optical flow, positioning, and eye coordination: automating the annotation of physician-patient interactions
Meng et al. Detection of abnormal gait from skeleton data
Deepak et al. Design and utilization of bounding box in human detection and activity identification
CN115761869A (en) Blink detection method and device and storage medium
Benoit et al. Fusing bio-inspired vision data for simplified high level scene interpretation: Application to face motion analysis
Vo et al. Automatic hand gesture segmentation for recognition of Vietnamese sign language
Haller et al. Human activity recognition based on multiple kinects
Le Bek Learning to recognise actions in egocentric video
US20230316562A1 (en) Causal interaction detection apparatus, control method, and computer-readable storage medium
US20230298336A1 (en) Video-based surgical skill assessment using tool tracking
CN112818929B (en) Method and device for detecting people fighting, electronic equipment and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant