KR102341950B1 - Apparatus and method for evaluating aseptic technique based on artificial intelligence using motion analysis - Google Patents

Apparatus and method for evaluating aseptic technique based on artificial intelligence using motion analysis Download PDF

Info

Publication number
KR102341950B1
KR102341950B1 KR1020200044722A KR20200044722A KR102341950B1 KR 102341950 B1 KR102341950 B1 KR 102341950B1 KR 1020200044722 A KR1020200044722 A KR 1020200044722A KR 20200044722 A KR20200044722 A KR 20200044722A KR 102341950 B1 KR102341950 B1 KR 102341950B1
Authority
KR
South Korea
Prior art keywords
evaluation
motion
aseptic
specific
specific person
Prior art date
Application number
KR1020200044722A
Other languages
Korean (ko)
Other versions
KR20210126965A (en
Inventor
김남철
Original Assignee
주식회사 삼육오엠씨네트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 삼육오엠씨네트웍스 filed Critical 주식회사 삼육오엠씨네트웍스
Priority to KR1020200044722A priority Critical patent/KR102341950B1/en
Publication of KR20210126965A publication Critical patent/KR20210126965A/en
Application granted granted Critical
Publication of KR102341950B1 publication Critical patent/KR102341950B1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Medicinal Chemistry (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Chemical & Material Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법에 관한 것으로, 상기 장치는 특정 공간을 감시하는 감시 카메라를 포함하는 감시 시스템으로부터 특정인에 관한 영상을 수신하는 영상 수신부, 상기 영상으로부터 상기 특정인의 움직임에 관한 디지털 데이터를 획득하는 움직임 데이터 획득부, 상기 디지털 데이터를 분석하여 상기 특정인의 움직임 중 특정 동작을 측정하는 동작 측정부 및 상기 특정 동작에 관한 측정 결과를 기초로 무균 조작 평가를 수행하는 평가 수행부를 포함한다.The present invention relates to an artificial intelligence-based aseptic manipulation evaluation apparatus and method using motion analysis, wherein the apparatus includes an image receiving unit for receiving an image about a specific person from a monitoring system including a surveillance camera for monitoring a specific space, and from the image A motion data acquisition unit for acquiring digital data on the movement of the specific person, a motion measurement unit for measuring a specific motion among the motions of the specific person by analyzing the digital data, and a sterile operation evaluation based on the measurement result related to the specific motion It includes an evaluation execution unit to perform.

Description

동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법{APPARATUS AND METHOD FOR EVALUATING ASEPTIC TECHNIQUE BASED ON ARTIFICIAL INTELLIGENCE USING MOTION ANALYSIS}Apparatus and method for evaluating aseptic operation based on artificial intelligence using motion analysis

본 발명은 무균 조작 평가 기술에 관한 것으로, 보다 상세하게는, 손의 움직임을 분석하고 바람직한 움직임과 나쁜 행동을 구분하여 의료인들에게 피드백을 제공할 수 있는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법에 관한 것이다.The present invention relates to aseptic manipulation evaluation technology, and more particularly, artificial intelligence-based sterile manipulation evaluation using motion analysis that can provide feedback to medical personnel by analyzing hand movements and distinguishing desirable and bad behaviors It relates to an apparatus and method.

병원 내의 수술방에서 이루어지는 모든 무균적 조작(Aseptic technique)은 감염예방 차원에서 비접촉 술기를 기본으로 한다. 이를 위하여, 수술방 내에서는 손의 접촉을 최소화할 수 있는 형태의 포지션을 항상 유지하는 것이 기본 매뉴얼로 규정되어 있다. 또한, 수술방 내의 의료진은 깨끗이 닦은 손이 하늘 방향을 향하도록 자세를 유지하는 것이 원칙이며, 무균적 장갑 및 수술복을 착용한 후에도 손이 관절 아래로 내려오지 않도록 자세를 유지하는 것이 요구되고 있다.All aseptic techniques performed in operating rooms in hospitals are based on non-contact techniques to prevent infection. To this end, it is stipulated in the basic manual to always maintain a position in a form that can minimize hand contact in the operating room. In addition, in principle, medical staff in the operating room should maintain their posture with their cleaned hands facing the sky, and it is required to maintain the posture so that their hands do not descend below the joint even after wearing sterile gloves and operating clothes.

한편, 수술방에서의 이러한 무균적 자세, 즉 움직임에 대해서는 경험 많은 스태프가 신규 인원들의 움직임을 육안으로 감시하여 끊임없이 피드백을 주는 방식으로 교육이 이루어지고 있다. 하지만, 인간의 육안으로 감시하여 이루어지는 교육 방식은 주의 집중의 한계로 인해 항상 효과가 떨어지는 단점이 존재한다.On the other hand, with regard to this aseptic posture, that is, movement in the operating room, an experienced staff visually monitors the movement of new personnel and provides continuous feedback on the training. However, there is a disadvantage that the education method performed by monitoring with the human eye is always ineffective due to the limitation of attention.

의료기관 내부에는 내부 인원의 안전을 보호하고 보안을 높이기 위하여 다양한 CCTV 시스템이 설치되어 있으며, 이를 활용하여 내부 인원의 무균적 자세에 관한 피드백을 효과적으로 제공할 수 있는 기술의 개발이 요구되고 있다.Various CCTV systems are installed inside medical institutions to protect the safety of internal personnel and to increase security.

한국공개특허 제10-2009-0085587호 (2009.08.07)Korean Patent Publication No. 10-2009-0085587 (2009.08.07)

본 발명의 일 실시예는 손의 움직임을 분석하고 바람직한 움직임과 나쁜 행동을 구분하여 의료인들에게 피드백을 제공할 수 있는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an apparatus and method for evaluating aseptic manipulation based on artificial intelligence using motion analysis that can provide feedback to medical personnel by analyzing hand movements and classifying desirable and bad behaviors.

본 발명의 일 실시예는 수술방 내의 의료인들이 올바른 무균 조작 테크닉을 제대로 시행하고 있는지를 효과적으로 파악할 수 있고, 이를 정확하게 수치화 하여 측정, 평가 및 피드백을 통한 개선을 지원할 수 있는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is based on artificial intelligence using motion analysis that can effectively identify whether medical personnel in the operating room are properly implementing the correct aseptic manipulation technique, accurately quantify it, and support improvement through measurement, evaluation and feedback. An object of the present invention is to provide an apparatus and method for evaluating aseptic manipulation.

실시예들 중에서, 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치는 특정 공간을 감시하는 감시 카메라를 포함하는 감시 시스템으로부터 특정인에 관한 영상을 수신하는 영상 수신부, 상기 영상으로부터 상기 특정인의 움직임에 관한 디지털 데이터를 획득하는 움직임 데이터 획득부, 상기 디지털 데이터를 분석하여 상기 특정인의 움직임 중 특정 동작을 측정하는 동작 측정부 및 상기 특정 동작에 관한 측정 결과를 기초로 무균 조작 평가를 수행하는 평가 수행부를 포함한다.In embodiments, the apparatus for evaluating aseptic manipulation based on artificial intelligence using motion analysis includes an image receiving unit that receives an image about a specific person from a monitoring system including a surveillance camera for monitoring a specific space, and a movement of the specific person from the image. A motion data acquisition unit for acquiring digital data, a motion measurement unit for measuring a specific motion among the motions of the specific person by analyzing the digital data, and an evaluation performing unit for performing aseptic manipulation evaluation based on the measurement result related to the specific motion do.

상기 영상 수신부는 상기 영상을 시간 순서에 따라 정렬된 복수의 프레임들로 분해하고 연속되는 프레임들 간의 변화율이 기 설정된 임계값 이하인 경우 프레임 압축을 수행할 수 있다.The image receiver may decompose the image into a plurality of frames arranged in time order and perform frame compression when a rate of change between successive frames is less than or equal to a preset threshold.

상기 영상 수신부는 상기 연속되는 프레임들의 개수가 3개 이상인 경우 해당 프레임들 중 어느 하나를 해당 시간 구간에서의 대표 프레임으로 결정하여 상기 프레임 압축을 수행할 수 있다.When the number of consecutive frames is three or more, the image receiver may determine any one of the frames as a representative frame in the corresponding time period and perform the frame compression.

상기 움직임 데이터 획득부는 상기 복수의 프레임들 각각에 대해 적어도 하나의 동적 객체를 식별하고 상기 복수의 프레임들 간의 연관성을 기초로 상기 적어도 하나의 동적 객체에서 상기 특정인에 해당하는 동적 객체를 결정하며 해당 동적 객체에 관한 디지털 데이터를 획득할 수 있다.The motion data acquisition unit identifies at least one dynamic object for each of the plurality of frames, and determines a dynamic object corresponding to the specific person from the at least one dynamic object based on the association between the plurality of frames, It is possible to obtain digital data about the object.

상기 동작 측정부는 상기 디지털 데이터로부터 상기 특정인의 얼굴, 몸통 및 팔 각각에 대한 특징 정보를 획득하여 상기 특정인의 움직임에 대응되는 골격 데이터를 생성할 수 있다.The motion measurement unit may generate skeletal data corresponding to the movement of the specific person by obtaining characteristic information on each of the face, torso, and arms of the specific person from the digital data.

상기 평가 수행부는 상기 골격 데이터에서 팔의 움직임을 트래킹하고 해당 팔의 동작을 기 정의된 위험 동작과 비교하여 상기 특정인의 무균적 자세에 관한 평가를 상기 무균 조작 평가로서 수행하고, 상기 무균 조작 평가는 상기 팔의 움직임에 연관되는 손의 위치가 상기 얼굴의 중심을 기준으로 특정 반경 이내의 영역으로 정의되는 제1 평가 영역 내에서 감지되는 시간 및 횟수에 따라 산출되는 제1 평점 및 상기 손의 위치가 상기 몸통의 중심을 포함하는 수평면을 기준으로 지면 방향으로 이격되는 거리에 따라 산출되는 제2 평점을 포함할 수 있다.The evaluation performing unit tracks the movement of the arm in the skeletal data and compares the movement of the arm with a predefined dangerous operation to evaluate the sterile posture of the specific person as the aseptic operation evaluation, and the aseptic operation evaluation is The first rating and the position of the hand calculated according to the time and number of times that the position of the hand related to the movement of the arm is sensed in the first evaluation area defined as an area within a specific radius based on the center of the face It may include a second score calculated according to a distance spaced apart in the ground direction with respect to a horizontal plane including the center of the body.

상기 무균 조작 평가 장치는 상기 무균 조작 평가에 따라 감염 방지를 위한 예방 정보를 제공하는 감염 예방 처리부를 더 포함할 수 있다.The sterile operation evaluation apparatus may further include an infection prevention processing unit that provides prevention information for infection prevention according to the aseptic operation evaluation.

실시예들 중에서, 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 방법은 특정 공간을 감시하는 감시 카메라를 포함하는 감시 시스템으로부터 특정인에 관한 영상을 수신하는 단계, 상기 영상으로부터 상기 특정인의 움직임에 관한 디지털 데이터를 획득하는 단계, 상기 디지털 데이터를 분석하여 상기 특정인의 움직임 중 특정 동작을 측정하는 단계, 상기 특정 동작에 관한 측정 결과를 기초로 무균 조작 평가를 수행하는 단계 및 상기 무균 조작 평가에 따라 감염 방지를 위한 예방 정보를 제공하는 단계를 포함한다.Among the embodiments, the method for evaluating aseptic manipulation based on artificial intelligence using motion analysis includes: receiving an image about a specific person from a monitoring system including a surveillance camera for monitoring a specific space; Acquiring data, analyzing the digital data to measure a specific motion among the movements of the specific person, performing aseptic manipulation evaluation based on the measurement result on the specific motion, and preventing infection according to the aseptic manipulation evaluation It includes the step of providing preventive information for

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be understood as being limited thereby.

본 발명의 일 실시예에 따른 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법은 손의 움직임을 분석하고 바람직한 움직임과 나쁜 행동을 구분하여 의료인들에게 피드백을 제공할 수 있다.The apparatus and method for evaluating aseptic manipulation based on artificial intelligence using motion analysis according to an embodiment of the present invention can provide feedback to medical personnel by analyzing hand motion and classifying desirable motion from bad behavior.

본 발명의 일 실시예에 따른 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법은 수술방 내의 의료인들이 올바른 무균 조작 테크닉을 제대로 시행하고 있는지를 효과적으로 파악할 수 있고, 이를 정확하게 수치화 하여 측정, 평가 및 피드백을 통한 개선을 지원할 수 있다.The artificial intelligence-based aseptic manipulation evaluation apparatus and method using motion analysis according to an embodiment of the present invention can effectively determine whether medical personnel in the operating room are properly implementing the correct aseptic manipulation technique, and accurately quantify it to measure, evaluate and You can support improvement through feedback.

도 1은 본 발명에 따른 무균 조작 평가 시스템을 설명하는 도면이다.
도 2는 도 1의 무균 조작 평가 장치의 물리적 구성을 설명하는 도면이다.
도 3은 도 1의 무균 조작 평가 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 과정을 설명하는 순서도이다.
1 is a view for explaining the aseptic operation evaluation system according to the present invention.
FIG. 2 is a view for explaining the physical configuration of the aseptic operation evaluation device of FIG. 1 .
3 is a view for explaining the functional configuration of the aseptic operation evaluation device of FIG. 1 .
4 is a flowchart illustrating an AI-based aseptic operation evaluation process using motion analysis according to the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected to” another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. Meanwhile, other expressions describing the relationship between elements, that is, "between" and "between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, identification numbers (eg, a, b, c, etc.) are used for convenience of description, and identification numbers do not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms defined in the dictionary should be interpreted as being consistent with the meaning of the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.

도 1은 본 발명에 따른 무균 조작 평가 시스템을 설명하는 도면이다.1 is a view for explaining the aseptic operation evaluation system according to the present invention.

도 1을 참조하면, 무균 조작 평가 시스템(100)은 사용자 단말(110), 무균 조작 평가 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1 , the aseptic operation evaluation system 100 may include a user terminal 110 , an aseptic operation evaluation device 130 , and a database 150 .

사용자 단말(110)은 무균 조작 평가 결과를 확인하고 감염 방지를 위한 예방 정보를 확인할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 무균 조작 평가 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 무균 조작 평가 장치(130)와 동시에 연결될 수 있다.The user terminal 110 may correspond to a computing device capable of confirming the result of aseptic manipulation evaluation and checking prevention information for infection prevention, and may be implemented as a smartphone, a notebook computer, or a computer, but is not necessarily limited thereto, and a tablet It can also be implemented in various devices such as a PC. The user terminal 110 may be connected to the sterility operation evaluation apparatus 130 through a network, and a plurality of user terminals 110 may be simultaneously connected to the sterility operation evaluation apparatus 130 .

무균 조작 평가 장치(130)는 손의 움직임을 추적하고 바람직한 움직임과 나쁜 행동을 구분하여 의료인들에게 피드백을 제공할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 무균 조작 평가 장치(130)는 사용자 단말(110)과 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 주고 받을 수 있다.The aseptic manipulation evaluation device 130 may be implemented as a computer or a server corresponding to a program that can provide feedback to medical personnel by tracking the motion of the hand and distinguishing between desirable and bad behaviors. The aseptic operation evaluation device 130 may be wirelessly connected to the user terminal 110 through Bluetooth, WiFi, or the like, and may exchange data with the user terminal 110 through a network.

일 실시예에서, 무균 조작 평가 장치(130)는 필요에 따라 외부 시스템과 연동하여 인공지능 기반의 무균 조작 평가 동작을 수행할 수 있으며, 구축된 정보는 물리적 저장장치에 해당하는 데이터베이스(150)에 저장되어 보관될 수 있다. 한편, 무균 조작 평가 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. 또한, 무균 조작 평가 장치(130)는 시스템을 구성하는 물리적 구성으로서 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있으며, 이에 대해서는 도 2에서 보다 자세히 설명한다.In one embodiment, the aseptic manipulation evaluation device 130 may perform an artificial intelligence-based sterility manipulation evaluation operation in conjunction with an external system if necessary, and the constructed information is stored in the database 150 corresponding to the physical storage device. can be stored and archived. On the other hand, the sterility evaluation device 130, unlike FIG. 1, may be implemented by including the database 150 therein. In addition, the aseptic operation evaluation device 130 may be implemented as a physical component constituting the system, including a processor, a memory, a user input/output unit, and a network input/output unit, which will be described in more detail with reference to FIG. 2 .

데이터베이스(150)는 무균 조작 평가 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 병원 등의 의료기관 내부에서 획득한 의료인들의 영상 정보를 저장할 수 있고, 무균 조작 평가 장치(130)에 의해 구축되는 동작 분석을 위한 인공지능에 관한 데이터를 저장할 수 있으며, 반드시 이에 한정되지 않고, 무균 조작 평가 장치(130)가 의료인들의 움직임을 분석하고 무균 조작 평가를 수행하여 그에 관한 피드백을 제공하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 may correspond to a storage device for storing various types of information required in the operation process of the aseptic manipulation evaluation device 130 . The database 150 may store image information of medical personnel acquired inside a medical institution such as a hospital, and may store data related to artificial intelligence for motion analysis constructed by the aseptic manipulation evaluation device 130 , and must be limited thereto. Instead, the aseptic manipulation evaluation device 130 may store information collected or processed in various forms in the process of analyzing the movements of medical personnel and providing feedback on the aseptic manipulation evaluation.

감시 시스템(170)은 병원 등의 의료기관 내부에서 사용자들의 움직임을 감시하는 장치에 해당할 수 있다. 예를 들어, 감시 시스템(170)은 CCTV 시스템에 해당할 수 있고, 이를 위한 구성으로서 감시 카메라를 포함하여 구현될 수 있다. 감시 시스템(170)은 무균 조작 평가 시스템(100)과 독립적으로 동작할 수 있으며, 네트워크로 연결되어 상호 연동을 통해 제어 신호 및 데이터 신호를 주고 받을 수 있다.The monitoring system 170 may correspond to a device that monitors the movement of users in a medical institution such as a hospital. For example, the monitoring system 170 may correspond to a CCTV system, and may be implemented including a monitoring camera as a configuration for this. The monitoring system 170 may operate independently of the aseptic operation evaluation system 100 , and may be connected to a network to exchange control signals and data signals through interworking.

도 2는 도 1의 무균 조작 평가 장치의 물리적 구성을 설명하는 도면이다.FIG. 2 is a view for explaining the physical configuration of the aseptic operation evaluation device of FIG. 1 .

도 2를 참조하면, 무균 조작 평가 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the sterility evaluation apparatus 130 may be implemented including a processor 210 , a memory 230 , a user input/output unit 250 , and a network input/output unit 270 .

프로세서(210)는 무균 조작 평가 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 무균 조작 평가 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 무균 조작 평가 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The processor 210 may execute a procedure for processing each step in the process of the sterility operation evaluation device 130 operating, and manage the memory 230 that is read or written throughout the process, and the memory ( 230) may schedule a synchronization time between the volatile memory and the non-volatile memory. The processor 210 may control the overall operation of the aseptic manipulation evaluation device 130 , and is electrically connected to the memory 230 , the user input/output unit 250 , and the network input/output unit 270 to control data flow between them. can do. The processor 210 may be implemented as a central processing unit (CPU) of the sterility evaluation apparatus 130 .

메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 무균 조작 평가 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The memory 230 is implemented as a non-volatile memory, such as a solid state drive (SSD) or a hard disk drive (HDD), and may include an auxiliary storage device used to store overall data required for the aseptic operation evaluation device 130, and , and may include a main memory implemented as a volatile memory such as random access memory (RAM).

사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 무균 조작 평가 장치(130)는 서버로서 수행될 수 있다.The user input/output unit 250 may include an environment for receiving a user input and an environment for outputting specific information to the user. For example, the user input/output unit 250 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or a touch screen. In an embodiment, the user input/output unit 250 may correspond to a computing device connected through a remote connection, and in such a case, the sterility evaluation device 130 may be implemented as a server.

네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/output unit 270 includes an environment for connecting with an external device or system through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN (Wide Area Network) (VAN). It may include an adapter for communication such as Value Added Network).

도 3은 도 1의 무균 조작 평가 장치의 기능적 구성을 설명하는 도면이다.3 is a view for explaining the functional configuration of the aseptic operation evaluation device of FIG. 1 .

도 3을 참조하면, 무균 조작 평가 장치(130)는 영상 수신부(310), 움직임 데이터 획득부(320), 동작 측정부(330), 평가 수행부(340), 감염 예방 처리부(350) 및 제어부(360)를 포함할 수 있다.Referring to FIG. 3 , the aseptic manipulation evaluation device 130 includes an image receiving unit 310 , a motion data acquiring unit 320 , a motion measuring unit 330 , an evaluation performing unit 340 , an infection prevention processing unit 350 , and a control unit. (360).

영상 수신부(310)는 특정 공간을 감시하는 감시 카메라를 포함하는 감시 시스템(170)으로부터 특정인에 관한 영상을 수신할 수 있다. 여기에서, 특정 공간은 병원, 보건소, 수술방 등 의료행위가 이루어지는 공간에 해당할 수 있다. 영상 수신부(310)는 감시 시스템(170)과 연동되어 감시 카메라가 촬영한 영상을 실시간으로 수신하거나 또는 특정 시간 간격으로 수신할 수 있고, 기 설정된 특정 시간에만 제한적으로 수신할 수도 있다. 예를 들어, 무균 조작 평가 장치(130)는 일주일 마다 무균 조작에 관한 평가 결과를 제공할 수 있고, 이를 위하여 영상 수신부(310)를 통해 이전 일주일 동안 촬영된 영상을 한꺼번에 수신하여 무균 조작 평가를 수행할 수 있다.The image receiving unit 310 may receive an image about a specific person from the monitoring system 170 including a monitoring camera for monitoring a specific space. Here, the specific space may correspond to a space in which medical treatment is performed, such as a hospital, a public health center, or an operating room. The image receiving unit 310 may be interlocked with the monitoring system 170 to receive images captured by the monitoring camera in real time or at specific time intervals, or may receive limitedly only at a preset specific time. For example, the aseptic operation evaluation device 130 may provide an evaluation result regarding the aseptic operation every week, and for this purpose, the images taken during the previous week are received at once through the image receiving unit 310 to evaluate the aseptic operation. can do.

일 실시예에서, 영상 수신부(310)는 영상을 시간 순서에 따라 정렬된 복수의 프레임들로 분해하고 연속되는 프레임들 간의 변화율이 기 설정된 임계값 이하인 경우 프레임 압축을 수행할 수 있다. 프레임들 간의 변화율은 픽셀 간의 색상 차이를 기초로 산출될 수 있고, 무균 조작 평가 장치(130)는 임계값을 사전에 설정하여 활용할 수 있다. 예를 들어, 영상은 1초에 30프레임으로 분할될 수 있고, 평가 대상이 되는 움직임이 존재하지 않거나 존재하더라도 움직임이 거의 없어 프레임들 간의 변화율이 1% 미만인 경우에는 분할된 모든 프레임에서 동일한 이미지가 생성될 수 있다.In an embodiment, the image receiving unit 310 may decompose an image into a plurality of frames arranged in time order and perform frame compression when a rate of change between successive frames is less than or equal to a preset threshold. The rate of change between frames may be calculated based on the color difference between pixels, and the aseptic manipulation evaluation apparatus 130 may set and utilize a threshold value in advance. For example, an image can be divided into 30 frames per second, and when the rate of change between frames is less than 1% because there is no motion to be evaluated or there is little motion even if there is, the same image is displayed in all divided frames. can be created

따라서, 영상 수신부(310)는 무균 조작 평가를 수행하기 전 단계에서 획득한 영상에 대한 전처리를 통해 평가 효율성을 높일 수 있다. 이 때, 영상 수신부(310)에 의해 수행되는 프레임 압축은 복수의 프레임들 중에서 평가에 활용 가능한 프레임을 선별하는 동작에 해당할 수 있다.Accordingly, the image receiving unit 310 may increase evaluation efficiency through pre-processing of the image acquired in the step before performing the aseptic manipulation evaluation. In this case, the frame compression performed by the image receiving unit 310 may correspond to an operation of selecting a frame usable for evaluation from among a plurality of frames.

일 실시예에서, 영상 수신부(310)는 연속되는 프레임들의 개수가 3개 이상인 경우 해당 프레임들 중 어느 하나를 해당 시간 구간에서의 대표 프레임으로 결정하여 프레임 압축을 수행할 수 있다. 영상 수신부(310)는 변화가 거의 없는 프레임들이 3개 이상 연속되는 경우 그 중에 어느 하나만을 해당 구간에서의 대표 프레임으로 결정할 수 있다. 또한, 영상 수신부(310)는 연속하는 대표 프레임들 간에도 변화율에 따른 프레임 압축을 반복적으로 수행할 수 있으며, 프레임 압축에 관한 반복 횟수는 무균 조작 평가 장치(130)에 의해 사전에 설정될 수 있다.In an embodiment, when the number of consecutive frames is three or more, the image receiving unit 310 may determine one of the corresponding frames as a representative frame in the corresponding time period and perform frame compression. When three or more frames with little change are consecutive, the image receiver 310 may determine any one of them as a representative frame in the corresponding section. In addition, the image receiving unit 310 may repeatedly perform frame compression according to the rate of change even between consecutive representative frames, and the number of repetitions regarding frame compression may be preset by the aseptic manipulation evaluation device 130 .

움직임 데이터 획득부(320)는 영상으로부터 특정인의 움직임에 관한 디지털 데이터를 획득할 수 있다. 움직임 데이터 획득부(320)는 인공지능을 활용하여 영상을 구성하는 프레임 별로 이미지 분석을 수행할 수 있다. 즉, 특정인을 식별하고 그 움직임에 관한 데이터를 디지털 데이터로서 획득할 수 있다.The motion data acquisition unit 320 may acquire digital data related to the movement of a specific person from the image. The motion data acquisition unit 320 may perform image analysis for each frame constituting the image by using artificial intelligence. That is, it is possible to identify a specific person and obtain data related to the movement as digital data.

일 실시예에서, 움직임 데이터 획득부(320)는 복수의 프레임들 각각에 대해 적어도 하나의 동적 객체를 식별하고 복수의 프레임들 간의 연관성을 기초로 적어도 하나의 동적 객체에서 특정인에 해당하는 동적 객체를 결정하며 해당 동적 객체에 관한 디지털 데이터를 획득할 수 있다. 여기에서, 동적 객체는 영상에서 움직이는 물체에 해당할 수 있으며, 사람, 동물 등을 포함할 수 있다.In an embodiment, the motion data acquisition unit 320 identifies at least one dynamic object for each of a plurality of frames, and selects a dynamic object corresponding to a specific person from at least one dynamic object based on the association between the plurality of frames. and can acquire digital data about the corresponding dynamic object. Here, the dynamic object may correspond to a moving object in the image, and may include a person, an animal, and the like.

즉, 움직임 데이터 획득부(320)는 프레임 별로 영상 내에 존재하는 동적 객체를 식별할 수 있으며, 동적 객체 식별을 위한 식별 모델을 생성하여 활용할 수 있다. 식별 모델은 인공지능 학습을 통해 생성된 학습 모델로서 2차원 이미지를 입력으로 사용하여 해당 이미지 내에 존재하는 식별 가능한 객체들에 대한 정보를 출력으로 제공할 수 있다. 이 때, 출력 정보에는 동적 객체에 관한 최소 경계 사각형(MBR) 정보와 식별된 객체 정보가 특징 벡터 형태로 포함될 수 있다. 예를 들어, 하나의 프레임 영상 내에 3개의 동적 객체가 존재하는 경우 동적 객체에 대응되는 3개의 특징 벡터들이 출력 정보에 포함될 수 있다.That is, the motion data acquisition unit 320 may identify a dynamic object existing in an image for each frame, and may generate and utilize an identification model for dynamic object identification. The identification model is a learning model generated through artificial intelligence learning, and may use a two-dimensional image as an input and provide information about identifiable objects existing in the image as an output. In this case, the output information may include minimum bounding rectangle (MBR) information about the dynamic object and the identified object information in the form of a feature vector. For example, when three dynamic objects exist in one frame image, three feature vectors corresponding to the dynamic objects may be included in the output information.

동작 측정부(330)는 디지털 데이터를 분석하여 특정인의 움직임 중 특정 동작을 측정할 수 있다. 즉, 동작 측정부(330)는 영상에서 식별된 동적 객체 중 사람에 해당하는 경우 프레임 별로 해당 동적 객체의 움직임을 트래킹하여 특정 동작을 검출하거나 특정 범위 내에서의 움직임을 감지할 수 있다. 동작 측정부(330)는 움직임 데이터 획득부(320)에 의해 식별된 동적 객체에 관한 이미지만을 이용하여 동작 측정을 수행할 수 있으며, 동작 측정을 위한 학습 모델이 사용될 수 있다. 이를 통해, 동작 측정부(330)는 의료인이 무균적 자세를 유지하는지에 관한 평가 자료를 생성할 수 있다.The motion measurement unit 330 may measure a specific motion among motions of a specific person by analyzing the digital data. That is, the motion measurement unit 330 may detect a specific motion or detect a motion within a specific range by tracking the motion of the corresponding dynamic object for each frame when it corresponds to a person among the dynamic objects identified in the image. The motion measurement unit 330 may perform motion measurement using only the image related to the dynamic object identified by the motion data acquisition unit 320 , and a learning model for motion measurement may be used. Through this, the motion measurement unit 330 may generate evaluation data regarding whether the medical personnel maintains an aseptic posture.

일 실시예에서, 동작 측정부(330)는 디지털 데이터로부터 특정인의 얼굴, 몸통 및 팔 각각에 대한 특징 정보를 획득하여 특정인의 움직임에 대응되는 골격 데이터를 생성할 수 있다. 여기에서, 골격 데이터는 사용자의 움직임에 대응되는 스켈레톤 데이터에 해당할 수 있고, 사람의 신체 각 부위에 대한 파라미터 정보를 포함할 수 있다. 즉, 골격 데이터는 사람의 신체 각 부위별 파라미터 정보의 집합으로 표현될 수 있으며, 동작 측정부(330)는 무균 조작 평가에 이용되는 신체부위로서 얼굴, 몸통 및 양 팔에 대한 골격 데이터를 생성할 수 있다.In an embodiment, the motion measurement unit 330 may generate skeletal data corresponding to the movement of the specific person by acquiring characteristic information on each of the face, torso, and arms of the specific person from the digital data. Here, the skeleton data may correspond to skeleton data corresponding to the user's movement, and may include parameter information for each part of the human body. That is, the skeletal data may be expressed as a set of parameter information for each part of the human body, and the motion measurement unit 330 may generate skeletal data for the face, torso, and both arms as a body part used for aseptic manipulation evaluation. can

평가 수행부(340)는 특정 동작에 관한 측정 결과를 기초로 무균 조작 평가를 수행할 수 있다. 평가 수행부(340)는 바람직한 무균적 자세를 기준으로 특정인의 동작으로부터 올바른 동작과 위험한 동작을 각각 추출할 수 있으며, 해당 동작들의 검출 횟수나 시간, 동작 패턴에 따른 무균 조작 평가를 수행할 수 있다. 따라서, 무균 조작 평가는 위험한 동작, 예를 들어, 손을 얼굴이나 입주변에 접촉하는 동작이나 손을 팔꿈치 아래로 내리는 동작 등이 자주 검출되거나 오랜 시간 동안 유지되는 경우 상대적으로 낮은 점수를 부여할 수 있다. 또한, 무균 조작 평가는 올바른 동작이 자주 검출되거나 오랜 시간 동안 유지되는 경우 상대적으로 높은 점수를 부여할 수 있다.The evaluation performing unit 340 may perform sterile operation evaluation based on the measurement result related to a specific operation. The evaluation performing unit 340 may extract correct motions and dangerous motions from a specific person's motions based on a desirable aseptic posture, respectively, and may perform aseptic manipulation evaluation according to the number of times, time, and motion patterns of the corresponding motions. . Therefore, the evaluation of aseptic manipulation can give a relatively low score when dangerous motions, for example, touching the face or mouth, or lowering the hand below the elbow, are frequently detected or maintained for a long time. . In addition, the aseptic manipulation assessment can give relatively high scores if correct behavior is detected frequently or maintained for a long time.

한편, 평가 수행부(340)는 무균 조작 평가에 대한 평가 리포트를 생성할 수 있고, 평가 리포트는 시간의 흐름에 따른 평점 그래프, 위험 행위의 검출 시점이나 그에 대한 세부 평가 및 종합 평가 결과 등을 포함하여 다양한 시각적 표현들로 구현될 수 있다.On the other hand, the evaluation performing unit 340 may generate an evaluation report for the evaluation of aseptic manipulation, and the evaluation report includes a rating graph according to the passage of time, a detection time of a dangerous action or detailed evaluation thereof and a comprehensive evaluation result, etc. Thus, it can be implemented with various visual expressions.

일 실시예에서, 평가 수행부(340)는 골격 데이터에서 팔의 움직임을 트래킹하고 해당 팔의 동작을 기 정의된 위험 동작과 비교하여 특정인의 무균적 자세에 관한 평가를 무균 조작 평가로서 수행할 수 있다. 이 때, 무균 조작 평가는 팔의 움직임에 연관되는 손의 위치가 얼굴의 중심을 기준으로 특정 반경 이내의 영역으로 정의되는 제1 평가 영역 내에서 감지되는 시간 및 횟수에 따라 산출되는 제1 평점과 손의 위치가 몸통의 중심을 포함하는 수평면을 기준으로 지면 방향으로 이격되는 거리에 따라 산출되는 제2 평점을 포함할 수 있다.In one embodiment, the evaluation performing unit 340 tracks the movement of the arm in the skeletal data and compares the movement of the arm with a predefined dangerous operation to perform the evaluation of the sterile posture of a specific person as the aseptic operation evaluation. have. In this case, the evaluation of aseptic manipulation includes a first rating calculated according to the time and number of times that the position of the hand related to the movement of the arm is sensed within a first evaluation area defined as an area within a specific radius based on the center of the face; A second rating may be included in which the position of the hand is calculated according to a distance spaced apart from the horizontal plane including the center of the body in the ground direction.

즉, 무균적 자세는 손의 위치와 방향 등이 매우 중요한 평가요소가 될 수 있기 때문에, 평가 수행부(340)는 특정인의 신체 부위 중 손의 위치와 밀접한 관련이 있는 팔의 움직임을 중심으로 무균 조작 평가를 수행할 수 있다. 이를 위하여, 평가 수행부(340)는 데이터베이스(150)에 저장된 무균적 자세에 관한 기준 데이터를 활용할 수 있으며, 기준 데이터에는 무균적 자세의 모범 동작에 관한 정보들이 포함될 수 있다.That is, since the position and direction of the hand can be very important evaluation factors for the aseptic posture, the evaluation performing unit 340 performs sterility focusing on the movement of the arm that is closely related to the position of the hand among the body parts of a specific person. Operational evaluation can be performed. To this end, the evaluation performing unit 340 may utilize the reference data on the aseptic posture stored in the database 150, and the reference data may include information on the exemplary behavior of the aseptic posture.

보다 구체적으로, 평가 수행부(340)는 팔의 움직임에 따라 손의 위치 정보를 획득할 수 있으며, 손의 위치가 무균적 자세에서 요구되는 손의 위치와 유사한지를 기준으로 무균 조작 평가를 수행할 수 있다. 무균적 자세에서 요구되는 손의 위치에 관한 평가 영역이 사전에 설정되어 평가에 반영될 수 있으며, 예를 들어, 얼굴의 중심을 기준으로 30cm 이내의 영역이 평가 영역으로 설정될 수 있다. 또한, 몸통의 중심(또는 팔꿈치의 높이)을 포함하는 수평면을 기준으로 지면 방향으로 이격되는 거리가 평가 기준으로 설정될 수 있고, 이에 따라 이격 거리를 기초로 무균 조작 평가가 이루어질 수 있다.More specifically, the evaluation performing unit 340 may acquire the position information of the hand according to the movement of the arm, and perform aseptic manipulation evaluation based on whether the position of the hand is similar to the position of the hand required in the aseptic posture. can An evaluation area regarding the position of the hand required in the aseptic posture may be set in advance and reflected in the evaluation, for example, an area within 30 cm of the center of the face may be set as the evaluation area. In addition, a distance spaced apart in the ground direction with respect to a horizontal plane including the center of the body (or the height of the elbow) may be set as an evaluation criterion, and accordingly, evaluation of aseptic manipulation may be made based on the separation distance.

일 실시예에서, 평가 수행부(340)는 손의 위치가 몸통의 중심을 포함하는 수평면(또는 팔꿈치의 높이)을 기준으로 지면 방향으로 이격되는 거리 및 시간에 따라 산출되는 제3 평점을 포함하는 무균 조작 평가를 수행할 수 있다. 다른 실시예에서, 평가 수행부(340)는 손의 위치가 다른 객체와 접촉하는 횟수 및 시간에 따라 산출되는 제4 평점을 포함하는 무균 조작 평가를 수행할 수 있다. In one embodiment, the evaluation performing unit 340 includes a third rating calculated according to the distance and time in which the position of the hand is spaced apart in the ground direction based on the horizontal plane (or the height of the elbow) including the center of the body Aseptic handling evaluation can be performed. In another embodiment, the evaluation performing unit 340 may perform aseptic manipulation evaluation including a fourth rating calculated according to the number and time of contact with an object in which the position of the hand is in contact with another object.

한편, 평가 수행부(340)는 다양한 평점들을 통합하여 종합 평점을 산출할 수 있고, 사용자의 동작에 관한 종합 평점을 기준으로 해당 동작에 관한 감염 위험 등급을 결정할 수 있다. 즉, 평가 수행부(340)는 사용자의 손의 위치를 추적하고 감염 위험도를 산출할 수 있으며, 무균 조작 평가 장치(130)는 감염 위험도를 기초로 해당 동작에 대한 피드백을 실시간으로 제공할 수 있다.Meanwhile, the evaluation performing unit 340 may calculate a comprehensive rating by integrating various ratings, and may determine an infection risk level for the corresponding operation based on the overall rating for the user's operation. That is, the evaluation performing unit 340 may track the position of the user's hand and calculate the risk of infection, and the aseptic manipulation evaluation device 130 may provide feedback on the corresponding operation in real time based on the risk of infection. .

감염 예방 처리부(350)는 무균 조작 평가에 따라 감염 방지를 위한 예방 정보를 제공할 수 있다. 감염 예방 처리부(350)는 무균 조작 평가가 수치화되어 표현되는 경우 해당 수치를 기초로 평가 결과를 등급화 할 수 있고, 평가 등급에 따른 감염 예방 정보를 제공할 수 있다. 감염 예방 정보는 감염 방지를 위한 예방 정보로서 의료인의 무균적 자세 유지를 위한 행동 강령(매뉴얼) 정보를 포함할 수 있다.The infection prevention processing unit 350 may provide prevention information for infection prevention according to the aseptic operation evaluation. When the aseptic operation evaluation is expressed numerically, the infection prevention processing unit 350 may grade the evaluation result based on the numerical value, and may provide infection prevention information according to the evaluation grade. The infection prevention information is prevention information for infection prevention and may include code of conduct (manual) information for maintaining an aseptic posture of medical personnel.

일 실시예에서, 감염 예방 처리부(350)는 무균 조작 평가에 연동하는 무균적 자세 학습을 제공할 수 있다. 보다 구체적으로, 무균 조작 평가 장치(130)는 무균 조작 평가를 실시간으로 수행하여 그 결과를 제공할 수 있으며, 감염 예방 처리부(350)는 실시간 평점을 기초로 해당 사용자 단말(110)을 통해 실시간 알림을 제공하는 방법을 통해 사용자의 주의를 환기시킬 수 있다. 이 때, 실시간 알림은 진동, 알람, 푸시(push) 메시지 등의 형태로 구현되어 사용자 단말(110)을 통해 표출될 수 있다.In one embodiment, the infection prevention processing unit 350 may provide aseptic posture learning in conjunction with the evaluation of aseptic manipulation. More specifically, the aseptic operation evaluation device 130 may perform the sterile operation evaluation in real time and provide the result, and the infection prevention processing unit 350 notifies the user in real time through the corresponding user terminal 110 based on the real-time rating. You can draw the user's attention by providing a method. At this time, the real-time notification may be implemented in the form of vibration, alarm, push message, etc. and displayed through the user terminal 110 .

이를 위하여, 사용자 단말(110)에는 전용 프로그램 또는 전용 앱이 설치되어 실행될 수 있다. 전용 프로그램 또는 전용 앱은 무균적 자세 학습에 관한 메뉴를 제공할 수 있고, 사용자는 해당 메뉴의 활성화를 통해 무균적 자세 학습의 개시와 종료를 자유롭게 제어할 수 있다.To this end, a dedicated program or a dedicated app may be installed and executed in the user terminal 110 . A dedicated program or dedicated app may provide a menu related to aseptic posture learning, and the user may freely control the start and end of aseptic posture learning through activation of the menu.

제어부(360)는 무균 조작 평가 장치(130)의 전체적인 동작을 제어하고, 영상 수신부(310), 움직임 데이터 획득부(320), 동작 측정부(330), 평가 수행부(340) 및 감염 예방 처리부(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The control unit 360 controls the overall operation of the aseptic manipulation evaluation device 130 , and the image receiving unit 310 , the motion data obtaining unit 320 , the motion measuring unit 330 , the evaluation performing unit 340 , and the infection prevention processing unit Control flow or data flow between 350 may be managed.

도 4는 본 발명에 따른 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 과정을 설명하는 순서도이다.4 is a flowchart illustrating an AI-based aseptic operation evaluation process using motion analysis according to the present invention.

도 4를 참조하면, 무균 조작 평가 장치(130)는 영상 수신부(310)를 통해 특정 공간을 감시하는 감시 카메라를 포함하는 감시 시스템(170)으로부터 특정인에 관한 영상을 수신할 수 있다(단계 S410). 무균 조작 평가 장치(130)는 움직임 데이터 획득부(320)를 통해 영상으로부터 특정인의 움직임에 관한 디지털 데이터를 획득할 수 있다(단계 S430).Referring to FIG. 4 , the aseptic manipulation evaluation device 130 may receive an image about a specific person from the monitoring system 170 including a monitoring camera for monitoring a specific space through the image receiving unit 310 (step S410). . The aseptic manipulation evaluation device 130 may acquire digital data regarding the movement of a specific person from the image through the motion data acquisition unit 320 (step S430).

또한, 무균 조작 평가 장치(130)는 동작 측정부(330)를 통해 디지털 데이터를 분석하여 특정인의 움직임 중 특정 동작을 측정할 수 있다(단계 S450). 무균 조작 평가 장치(130)는 평가 수행부(340)를 통해 특정 동작에 관한 측정 결과를 기초로 무균 조작 평가를 수행할 수 있다(단계 S470). 무균 조작 평가 장치(130)는 감염 예방 처리부(350)를 통해 무균 조작 평가에 따라 감염 방지를 위한 예방 정보를 제공할 수 있다(단계 S490).In addition, the aseptic manipulation evaluation apparatus 130 may measure a specific motion among the motions of a specific person by analyzing the digital data through the motion measurement unit 330 (step S450). The sterility operation evaluation apparatus 130 may perform the sterility operation evaluation based on the measurement result related to a specific operation through the evaluation performing unit 340 (step S470). The aseptic operation evaluation apparatus 130 may provide prevention information for infection prevention according to the aseptic operation evaluation through the infection prevention processing unit 350 (step S490).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.

100: 무균 조작 평가 시스템
110: 사용자 단말 130: 무균 조작 평가 장치
150: 데이터베이스 170: 감시 시스템
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 영상 수신부 320: 움직임 데이터 획득부
330: 동작 측정부 340: 평가 수행부
350: 감염 예방 처리부 360: 제어부
100: aseptic operation evaluation system
110: user terminal 130: aseptic operation evaluation device
150: database 170: surveillance system
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: image receiving unit 320: motion data obtaining unit
330: motion measuring unit 340: evaluation performing unit
350: infection prevention processing unit 360: control unit

Claims (8)

특정 공간을 감시하는 감시 카메라를 포함하는 감시 시스템으로부터 특정인에 관한 영상을 수신하는 영상 수신부;
상기 영상으로부터 상기 특정인의 움직임에 관한 디지털 데이터를 획득하는 움직임 데이터 획득부;
상기 디지털 데이터를 분석하여 상기 특정인의 움직임 중 특정 동작을 측정하는 동작 측정부; 및
상기 특정 동작에 관한 측정 결과를 기초로 무균 조작 평가를 수행하는 평가 수행부를 포함하되,
상기 동작 측정부는 상기 디지털 데이터로부터 상기 특정인의 얼굴, 몸통 및 팔 각각에 대한 특징 정보를 획득하여 상기 특정인의 움직임에 대응되는 골격 데이터를 생성하고,
상기 평가 수행부는 상기 골격 데이터에서 팔의 움직임을 트래킹하고 해당 팔의 동작을 기 정의된 위험 동작과 비교하여 상기 특정인의 무균적 자세에 관한 평가를 상기 무균 조작 평가로서 수행하고,
상기 무균 조작 평가는 상기 팔의 움직임에 연관되는 손의 위치가 상기 얼굴의 중심을 기준으로 특정 반경 이내의 영역으로 정의되는 제1 평가 영역 내에서 감지되는 시간 및 횟수에 따라 산출되는 제1 평점 및 상기 손의 위치가 상기 몸통의 중심을 포함하는 수평면을 기준으로 지면 방향으로 이격되는 거리에 따라 산출되는 제2 평점을 포함하는 것을 특징으로 하는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치.
an image receiving unit for receiving an image about a specific person from a monitoring system including a monitoring camera for monitoring a specific space;
a motion data acquisition unit configured to acquire digital data related to the movement of the specific person from the image;
a motion measurement unit that analyzes the digital data to measure a specific motion among the motions of the specific person; and
Comprising an evaluation performing unit for performing aseptic operation evaluation based on the measurement result related to the specific operation,
The motion measurement unit generates skeletal data corresponding to the movement of the specific person by obtaining characteristic information for each of the face, torso, and arms of the specific person from the digital data,
The evaluation performing unit tracks the movement of the arm in the skeletal data and compares the movement of the arm with a predefined dangerous operation to evaluate the sterile posture of the specific person as the aseptic operation evaluation,
The evaluation of the aseptic manipulation includes a first rating calculated according to the time and number of times the position of the hand related to the movement of the arm is sensed within a first evaluation area defined as an area within a specific radius based on the center of the face; Artificial intelligence-based aseptic manipulation evaluation apparatus using motion analysis, characterized in that the position of the hand includes a second rating calculated according to a distance in the ground direction based on a horizontal plane including the center of the torso.
제1항에 있어서, 상기 영상 수신부는
상기 영상을 시간 순서에 따라 정렬된 복수의 프레임들로 분해하고 연속되는 프레임들 간의 변화율이 기 설정된 임계값 이하인 경우 프레임 압축을 수행하는 것을 특징으로 하는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치.
According to claim 1, wherein the image receiving unit
Artificial intelligence-based aseptic manipulation evaluation apparatus using motion analysis, characterized in that the image is decomposed into a plurality of frames arranged in time sequence and frame compression is performed when the rate of change between successive frames is less than or equal to a preset threshold value .
제2항에 있어서, 상기 영상 수신부는
상기 연속되는 프레임들의 개수가 3개 이상인 경우 해당 프레임들 중 어느 하나를 해당 시간 구간에서의 대표 프레임으로 결정하여 상기 프레임 압축을 수행하는 것을 특징으로 하는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치.
The method of claim 2, wherein the image receiving unit
Artificial intelligence-based aseptic manipulation evaluation apparatus using motion analysis, characterized in that when the number of the consecutive frames is three or more, any one of the frames is determined as a representative frame in the corresponding time period and the frame compression is performed .
제2항에 있어서, 상기 움직임 데이터 획득부는
상기 복수의 프레임들 각각에 대해 적어도 하나의 동적 객체를 식별하고 상기 복수의 프레임들 간의 연관성을 기초로 상기 적어도 하나의 동적 객체에서 상기 특정인에 해당하는 동적 객체를 결정하며 해당 동적 객체에 관한 디지털 데이터를 획득하는 것을 특징으로 하는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치.
The method of claim 2, wherein the motion data acquisition unit
Identifying at least one dynamic object for each of the plurality of frames, determining a dynamic object corresponding to the specific person from the at least one dynamic object based on the association between the plurality of frames, and digital data on the dynamic object Artificial intelligence-based aseptic operation evaluation device using motion analysis, characterized in that it acquires.
삭제delete 삭제delete 제1항에 있어서,
상기 무균 조작 평가에 따라 감염 방지를 위한 예방 정보를 제공하는 감염 예방 처리부를 더 포함하는 것을 특징으로 하는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치.
According to claim 1,
Artificial intelligence-based aseptic operation evaluation apparatus using motion analysis, characterized in that it further comprises an infection prevention processing unit that provides prevention information for infection prevention according to the aseptic operation evaluation.
특정 공간을 감시하는 감시 카메라를 포함하는 감시 시스템으로부터 특정인에 관한 영상을 수신하는 단계;
상기 영상으로부터 상기 특정인의 움직임에 관한 디지털 데이터를 획득하는 단계;
상기 디지털 데이터를 분석하여 상기 특정인의 움직임 중 특정 동작을 측정하는 단계;
상기 특정 동작에 관한 측정 결과를 기초로 무균 조작 평가를 수행하는 단계; 및
상기 무균 조작 평가에 따라 감염 방지를 위한 예방 정보를 제공하는 단계를 포함하되,
상기 특정 동작을 측정하는 단계는 상기 디지털 데이터로부터 상기 특정인의 얼굴, 몸통 및 팔 각각에 대한 특징 정보를 획득하여 상기 특정인의 움직임에 대응되는 골격 데이터를 생성하는 단계를 포함하고,
상기 무균 조작 평가를 수행하는 단계는 상기 골격 데이터에서 팔의 움직임을 트래킹하고 해당 팔의 동작을 기 정의된 위험 동작과 비교하여 상기 특정인의 무균적 자세에 관한 평가를 상기 무균 조작 평가로서 수행하는 단계를 포함하고,
상기 무균 조작 평가는 상기 팔의 움직임에 연관되는 손의 위치가 상기 얼굴의 중심을 기준으로 특정 반경 이내의 영역으로 정의되는 제1 평가 영역 내에서 감지되는 시간 및 횟수에 따라 산출되는 제1 평점 및 상기 손의 위치가 상기 몸통의 중심을 포함하는 수평면을 기준으로 지면 방향으로 이격되는 거리에 따라 산출되는 제2 평점을 포함하는 것을 특징으로 하는 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 방법.
Receiving an image about a specific person from a monitoring system including a monitoring camera for monitoring a specific space;
obtaining digital data about the movement of the specific person from the image;
measuring a specific motion among the motions of the specific person by analyzing the digital data;
performing aseptic operation evaluation based on the measurement result regarding the specific operation; and
Comprising the step of providing prevention information for preventing infection according to the aseptic manipulation evaluation,
Measuring the specific motion includes generating skeletal data corresponding to the motion of the specific person by acquiring feature information on each of the face, torso, and arms of the specific person from the digital data,
The step of performing the aseptic manipulation evaluation includes: tracking the movement of the arm in the skeletal data and comparing the motion of the arm with a predefined dangerous motion to evaluate the aseptic posture of the specific person as the aseptic manipulation evaluation including,
The evaluation of the aseptic manipulation includes a first rating calculated according to the time and number of times the position of the hand related to the movement of the arm is sensed within a first evaluation area defined as an area within a specific radius based on the center of the face; An artificial intelligence-based aseptic manipulation evaluation method using motion analysis, characterized in that the position of the hand includes a second rating calculated according to a distance in the ground direction based on a horizontal plane including the center of the torso.
KR1020200044722A 2020-04-13 2020-04-13 Apparatus and method for evaluating aseptic technique based on artificial intelligence using motion analysis KR102341950B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200044722A KR102341950B1 (en) 2020-04-13 2020-04-13 Apparatus and method for evaluating aseptic technique based on artificial intelligence using motion analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200044722A KR102341950B1 (en) 2020-04-13 2020-04-13 Apparatus and method for evaluating aseptic technique based on artificial intelligence using motion analysis

Publications (2)

Publication Number Publication Date
KR20210126965A KR20210126965A (en) 2021-10-21
KR102341950B1 true KR102341950B1 (en) 2021-12-24

Family

ID=78269006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200044722A KR102341950B1 (en) 2020-04-13 2020-04-13 Apparatus and method for evaluating aseptic technique based on artificial intelligence using motion analysis

Country Status (1)

Country Link
KR (1) KR102341950B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100009329A1 (en) 2006-09-29 2010-01-14 Waseda University Medical technique evaluation system, technique evaluation device, technique evaluation device program
KR102126370B1 (en) * 2014-11-24 2020-07-09 한국전자통신연구원 Apparatus and method for analyzing motion
KR101679318B1 (en) * 2014-12-30 2016-11-24 주식회사 펀진 Object Tracking System

Also Published As

Publication number Publication date
KR20210126965A (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US20150302310A1 (en) Methods for data collection and analysis for event detection
CN109887234B (en) Method and device for preventing children from getting lost, electronic equipment and storage medium
JP2011081823A (en) Method and apparatus for modeling behavior using probability distribution function
EP2763116B1 (en) Fall detection system and method for detecting a fall of a monitored person
CN107077214A (en) For the method and system of the communication used within the hospital
CN111538030A (en) Method, system, and non-transitory computer readable medium for detecting human activity
CN105940434A (en) Information processing device, information processing method, and program
JP2014166197A (en) Information processing equipment, information processing method, and program
Mousse et al. Percentage of human-occupied areas for fall detection from two views
CN109074479B (en) Compliance monitoring medical protocol based on line of sight occlusion
Gjoreski et al. Context-based fall detection and activity recognition using inertial and location sensors
KR102294695B1 (en) Ai based fall detection device using real-time motion tracking and method for the same
Jeelani et al. Improving safety performance in construction using eye-tracking, visual data analytics, and virtual reality
JP2018082281A (en) Information processor, control method of information processor and program
JP2008541650A (en) Monitoring method and apparatus
KR102341950B1 (en) Apparatus and method for evaluating aseptic technique based on artificial intelligence using motion analysis
Bauer et al. Modeling bed exit likelihood in a camera-based automated video monitoring application
Garrido et al. Automatic detection of falls and fainting
JP2021196741A (en) Image processing device, image processing method and program
CN111191499A (en) Fall detection method and device based on minimum center line
KR102544147B1 (en) Image Analysis based One Person Fall Detection System and Method
Gamaethige et al. “SenseA”-Autism Early Signs and Pre-Aggressive Detector through Image Processing
East et al. Unobtrusive camera-based monitoring of behavioural disturbances in patients with dementia living in long term care facilities
Gerka et al. Detecting the number of persons in the bed area to enhance the safety of artificially ventilated persons
Alraeesi et al. Privacy-Preserved Social Distancing System Using Low-Resolution Thermal Sensors and Deep Learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right