KR102592951B1 - 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법 - Google Patents

손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법 Download PDF

Info

Publication number
KR102592951B1
KR102592951B1 KR1020210069120A KR20210069120A KR102592951B1 KR 102592951 B1 KR102592951 B1 KR 102592951B1 KR 1020210069120 A KR1020210069120 A KR 1020210069120A KR 20210069120 A KR20210069120 A KR 20210069120A KR 102592951 B1 KR102592951 B1 KR 102592951B1
Authority
KR
South Korea
Prior art keywords
hand hygiene
observation
data
tubelet
recognition model
Prior art date
Application number
KR1020210069120A
Other languages
English (en)
Other versions
KR20220160899A (ko
Inventor
김남국
김성훈
조준영
김민지
Original Assignee
재단법인 아산사회복지재단
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 울산대학교 산학협력단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020210069120A priority Critical patent/KR102592951B1/ko
Publication of KR20220160899A publication Critical patent/KR20220160899A/ko
Application granted granted Critical
Publication of KR102592951B1 publication Critical patent/KR102592951B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따르면, 입력된 적어도 하나의 대상이 포함된 영상을 기초로, 손 위생 이행 인지 모델을 이용하여, 대상의 손 위생 이행 행위 여부를 판별하는 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법이 개시된다.

Description

손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법 {IMAGE ANALYSIS APPARATUS AND METHOD FOR VERIFYING HAND HYGIENE IMPLEMENTATION}
본 발명은 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법에 관한 것이다.
손 위생은 수술실(Operating Room, OR)에서 환자와 접촉하는 의료진에 의해 종종 전염되는 병원 감염(Hospital-Acquired Infections, HAI)을 예방하는 가장 중요한 요소 중 하나이다.
손 위생 이행 확인을 위한 모니터링은 수술실 내 감염 발생 경로를 조사하고, 수술실 내 감염 발생 상황을 줄이기 위해 중요하다.
그러나 종래의 경우, 손 위생 모니터링을 위해 직접적인 수술실을 관찰하는 방식에 의존하고 있으며, 수술 현장의 시각적 복잡성으로 인해 손 위생 준수를 위한 효과적인 모니터링을 수행하는 데 어려움이 있다.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 시, 공간 특징 학습이 동시에 가능한 심층 3차원 컨볼루션 신경망(3D CNN)을 사용하여 영상을 기반으로 의료진의 손 위생 행동을 감지하여 분석하는 것을 포함한다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치는, 미리 학습된 손 위생 이행 인지 모델이 저장된 메모리 및 입력된 적어도 하나의 대상이 포함된 영상을 기초로, 상기 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 프로세서를 포함한다.
여기서, 상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.
여기서, 상기 프로세서는, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.
여기서, 상기 프로세서는, 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하고, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하여, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성할 수 있다.
여기서, 상기 프로세서는, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.
여기서, 상기 프로세서는, 상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
여기서, 상기 프로세서는, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상과 상기 관찰 대상에 인접한 객체를 구별하여 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.
여기서, 상기 프로세서는, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
여기서, 상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 프로세서는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다.
본 발명의 또 다른 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치에 의해 수행되는 영상 분석 방법은, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하며, 상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.
또한, 상기 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 이후에, 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하는 단계, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하는 단계, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하는 단계 및 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하는 단계를 포함할 수 있다.
여기서, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.
여기서, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는, 상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
또한, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 상기 관찰 대상에 인접한 적어도 하나의 객체를 인식하는 단계를 더 포함할 수 있다.
여기서, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
여기서, 상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 3D tubelet 데이터를 생성하는 단계는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다.
또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체를 제공할 수 있다.
또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 영상을 기반으로 의료진의 행위가 손 위생 이행 행위인지의 여부를 인식하여, 의료진의 손 위생 행동을 감지하여 분석할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치를 나타낸 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 손 위생 이행 인지 모델의 예시적인 구조를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에 사용되는 RGB 영상과 Optical Flow 데이터를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 대상과 객체를 인식하는 방법을 예로 들어 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 관찰 대상을 추정하는 방법 중 포즈 추정법을 예로 들어 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, Maximum Filter를 사용한 필터링을 설명하기 위한 도면이다.
이하, 본 발명에 관련된 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명은 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치(10)는 프로세서(11) 및 메모리(12)를 포함한다.
본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치(10)는 수술실(Operating Room, OR)을 촬영한 영상으로부터 환자와 접촉하는 의료진의 행동을 분석하여, 손 위생 이행 행위 여부를 판별하기 위한 장치이다.
구체적으로, 다수의 의료진과 사물들을 촬영하는 영상으로부터 환자 또는 사물과 접촉하기 전, 후에 의료진이 손을 문지르는 행위를 수행하거나 손 세정제를 누르는 행위를 인식하여 손 위생 이행 행위를 수행했는지의 여부를 판단하게 된다.
이를 위해, 손 위생 이행 인지 모델은 Two-Stream 구조로 설계되며, Optical Flow 정보를 넣어줌으로써 의료진의 모션(motion) 정보에 대해 더 잘 예측할 수 있도록 설계한다. 손 위생 이행 인지 모델은 하기 도 4에서 상세히 설명한다.
메모리(12)는 프로세서(11)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있고, 미리 학습된 손 위생 이행 인지 모델이 저장되며, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.
메모리(12)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있으며, 후술할 미리 학습된 손 위생 이행 인지 모델이 소프트웨어 모듈로 구성될 수 있다.
프로세서(11)는 메모리(12)에 저장된 하나 이상의 인스트럭션을 실행하며, 구체적으로, 입력된 적어도 하나의 대상이 포함된 영상을 기초로, 상기 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별한다.
여기서, 프로세서(11)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
본 발명의 일 실시예에 따른 인공 신경망 기반의 의료 영상 분석 장치(10)의 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.
프로세서(11)는 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.
구체적으로, 프로세서(11)는 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하고, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하여, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성한다.
이후, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.
프로세서(11)는 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
예를 들어, 기 설정된 동작은, 의료진에 해당하는 관찰 대상이 손을 문지르는 동작을 포함할 수 있고, 3D tubelet 데이터에서 관찰 대상이 손을 문지르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손을 문지르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.
또한, 프로세서(11)는, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상과 상기 관찰 대상에 인접한 객체를 구별하여 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출할 수 있다.
여기서, 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 프로세서(11)는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다. 이에 따라, 각각의 관찰 대상 개별의 행동을 분리하여 인식할 수 있다.
여기서, 관찰 대상에 인접한 객체는 손 세정제, 수술 도구, 수술실에 배치된 모니터 등을 포함할 수 있다.
프로세서(11)는, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
예를 들어, 의료진에 해당하는 관찰 대상이 수술실에 배치된 모니터와 소정 시간 겹쳐지고, 이후 시점에서 관찰 대상이 손을 문지르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손을 문지르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.
또한, 의료진에 해당하는 관찰 대상이 수술실에 배치된 모니터와 소정 시간 겹쳐지고, 이후 시점에서 관찰 대상이 손 세정제를 누르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손 세정제를 누르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.
또한, 의료진에 해당하는 관찰 대상이 관찰 대상이 손 세정제를 누르는 동작을 포함하고, 수술 도구와 소정 시간 겹쳐지는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손 세정제를 누르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.
본 발명의 다양한 실시예에 따르면, 기 설정된 동작과 객체는 이에 한정되지 않으며, 기 설정된 동작은 손 위생 이행 행위에 따른 다양한 동작으로 설정이 가능하며, 객체는 수술실에 존재하는 모든 사물에 대해 설정이 가능하다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법은 손 위생 이행 확인을 위한 영상 분석 장치에 의해 수행되며, 단계 S110에서 적어도 하나의 대상이 포함된 영상을 입력 받는다.
이후, 단계 S120에서, 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별한다.
여기서, 상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법은 적어도 하나의 대상이 포함된 영상을 입력 받는 단계(S110) 이후에,
단계 S210에서, 상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출한다.
단계 S220에서, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출한다.
단계 S230에서, 상기 제1 대상과 제2 대상의 intersection over union(IoU) 점수를 산출한다.
단계 S240에서, 상기 IoU 점수와 기 설정된 점수를 비교하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 단계 S250에서, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성한다.
여기서, 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고, 상기 3D tubelet 데이터를 생성하는 단계(S250)는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별할 수 있다.
3D tubelet 데이터를 생성하기 위해, 2D 이미지의 3D 연결은 짧은 단위(16 frame, 약 1초)로 이루어질 수 있다.
구체적으로, 손 위생 행동의 지속 시간 평균값은 2초, 중간값은 1.5초를 가지기 때문에 1초단위의 검출을 여러번 수행하여 예상 결과값을 산출할 수 있다.
근접한 이미지 프레임에서 가장 큰 intersection over union(IoU) 점수를 가진 사람, 즉 가장 겹치는 면적이 많은 사람을 비디오 단위로 묶어 3D tubelet을 구성할 수 있다.
3D tubelet을 구성하기 위한 방법은 다양하지만 (feature 유사도 사용 등) 본 발명의 일 실시예에서는 IoU 점수를 이용할 수 있다.
또한, 단계 S260에서, 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 상기 관찰 대상에 인접한 적어도 하나의 객체를 인식한다.
상기 도 2에서, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계(S120)는, 상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별할 수 있다.
구체적으로, 상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
또한, 상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
도 4는 본 발명의 일 실시예에 따른 손 위생 이행 인지 모델의 예시적인 구조를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 손 위생 이행 인지 모델은 Two-Stream 구조로 설계되며, Optical Flow 정보를 넣어줌으로써 모션(motion) 정보에 대해 더 잘 예측할 수 있도록 설계한다.
Optical Flow(광학 흐름)는 물체와 배경 사이에 상대적인 움직임으로 인해 발생하는 움직임 패턴을 의미한다. 복잡한 배경에서도 상대적인 움직임만을 포착하여 움직임 정보에 Attention을 줄 수 있다.
Optical Flow 이미지는 Depth 이미지처럼 두 시차를 이용하여 카메라에서 구해지는 영상이 아니라 영상처리를 이용하여 구해짐. 현재는 CPU를 사용한 영상처리를 이용하나 향후 딥러닝 모델로 Optical flow 영상 그 자체를 학습하여 생성할 수 있다.
Optical Flow는 이전 이미지 프레임과의 비교를 통해 계산이 되므로 영상 그 자체에 움직임의 시간적 변화량을 포함하고 있으며, 본 발명의 일 실시예에 따르면, RGB 모델과 Optical Flow 모델의 평균으로 사용하여 성능 향상이 가능해진다.
또한, Optical Flow 영상과 모델의 구조를 개선시켜 의료진의 프라이버시를 해치지 않는 모니터링 시스템으로 확장할 수 있다.
본 발명의 일 실시예에 따른 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습될 수 있다.
여기서, 임의의 대상이 포함된 학습 영상(110)은 RGB 영상일 수 있고, 임의의 대상의 행위 데이터는 Optical Flow 데이터(210)일 수 있다.
구체적으로, 학습 영상(110)에서 2D 사람 검출기(Faster R-CNN)를 사용하여 의료진을 검출한 데이터(120)와 각각의 의료진을 검출한 Optical Flow 데이터(220)를 이용하며, 두개의 I3D 모델(310) 각각에 입력을 각각의 의료진에 대한 RGB 영상(130), 각각의 의료진에 대한 Optical Flow 데이터(230)를 넣어주어 학습을 시키고, 주어진 사람 인스턴스의 행동이 손 위생 행동인지, 또는 아닌지에 대한 이진 분류(320)를 수행하여 결과를 출력할 수 있다.
여기서, 각각의 의료진에 대한 RGB 영상(130)은 생성된 3D tubelet 데이터로 시,공간 특징 학습이 동시에 가능한 Inflated 3D CNN I3D) 모델에 주어질 수 있다.
도 5는 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에 사용되는 RGB 영상과 Optical Flow 데이터를 나타낸 도면이다.
도 5는 손 마찰 및 기타 손 관련 동작(장갑 착용)의 소규모 동작에 따른 RGB 영상과 Optical Flow 데이터를 나타낸 것으로, 도 5의 (a)는 RGB 영상(140)과 Optical Flow 데이터(240)에서 손으로 문지르는 동작의 이미지를 나타낸 것이고, 도 5의 (b)는 RGB 영상(150)과 Optical Flow 데이터(250)에서 장갑을 착용하는 동작의 이미지를 나타낸 것이다.
도 5의 (b)에 나타난 바와 같이, 장갑을 착용하는 동작의 경우, RGB 영상에서는 손을 문지르는 동작과 비슷하지만, 손 위생 이행 행위는 아니므로, 이에 대한 구별이 필요하다.
본 발명의 일 실시예에 따른 손 위생 이행 인지 모델은 Two-Stream 구조로 설계되며, Optical Flow 정보를 넣어줌으로써 모션(motion) 정보에 대해 더 잘 예측할 수 있도록 설계함으로써, 다양한 손 동작 데이터 세트에 따라 손 동작을 구별할 수 있다.
도 6은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 대상과 객체를 인식하는 방법을 예로 들어 나타낸 도면이다.
도 6의 (a)와 (b)는 수술실을 촬영한 영상에서 다수의 대상과 손 소독제, 수술실의 사물을 나타낸 것이다.
본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치(10)는 상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출한다.
구체적으로, 도 6의 (a)에서, 영상 분석 장치(10)는 다수의 대상인 의료진(411, 412, 413, 416)과 환자(417), 손 소독제(414, 415)와 수술실의 모니터(418)를 인식할 수 있다.
여기서, 관찰 대상은, 다수의 대상인 의료진(411, 412, 413, 416)을 포함할 수 있고, 의료진(411, 412, 413, 416)에 대한 3D tubelet 데이터를 각각 생성할 수 있다. 이에 따라, 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있다.
예를 들어, 제1 관찰 대상(416)이 수술실의 모니터(418)와 접촉한 후에, 손 세정제(415)를 누르는 동작을 포함하고 있는 경우, 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별할 수 있고, 만일 관찰 대상의 동작 중에, 손 세정제를 누르는 동작을 포함하지 않는다면 관찰 대상이 손 위생 이행 행위를 수행하지 않음을 인식할 수 있고, 이에 따라 알림 조치를 수행할 수 있다.
또한, 도 6의 (b)에서, 영상 분석 장치(10)는 다수의 대상인 의료진(421, 422, 423, 424)과 환자(427), 손 소독제(425, 426)를 인식할 수 있다.
여기서, 일부 의료진(421)과 환자(427)는 영상에서는 영역이 가려져 있지만, 3D tubelet 데이터가 생성됨에 따라 행동을 추적하는 것이 가능해진다.
도 7은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, 관찰 대상을 추정하는 방법 중 포즈 추정법을 예로 들어 나타낸 도면이다.
구체적으로, 다수의 대상인 의료진(421, 422, 423, 424)별로 골격에 대한 포인트를 지정하고, 포인트와 포인트 사이의 움직임을 이용하여 문지르는 동작을 추정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 방법에서, Maximum Filter를 사용한 필터링을 설명하기 위한 도면이다.
Maximum Filter는 영상에서 한 영상소의 주변 영상소들에 대상 영역을 씌워서 이웃 영상소들 중에서 최대값을 출력 영상에 출력하는 필터링을 의미한다.
기존의 3D 행동 검출 모델들은 이미 잘려진 비디오클립 (ex. 2초로 맞추어진 영상)에 대한 분류를 다룬다.
본 발명의 일 실시예에 따른 손 위생 이행 확인을 위한 영상 분석 장치는, 비디오 클립이 아닌 스트리밍 영상에서도 작동하게 하기 위해, 들어오는 모든 영상에 대해 슬라이딩 윈도우방식으로 여러 번의 검출을 수행할 수 있다.
예를 들어, 들어오는 영상에서 장비 만지기 행동이 2초인 것을 알고 있다면, 2초만큼의 영상을 딥러닝 모델에 넣어 쉽게 분류가 가능하지만, 본 발명의 일 실시예에서는 시작점과 끝점을 알기 어렵기 때문에 정해진 기간(1초)에서 모든 영상에서 여러번 검출을 수행하여 가장 큰 예측값을 가지는 행동 1개를 결과값으로 선정하게 된다.
이에 따라, 시작점과 끝점을 알지 못하는 경우에도 행동 검출 및 분류가 가능하고, 2D 사람 검출 및 3D 연결 등으로 인해 잘못된 3D 검출 결과를 보정하는 효과를 가질 수 있다.
또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체를 제공할 수 있다.
또한, 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 및 미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계를 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (18)

  1. 손 위생 이행 확인을 위한 영상 분석 장치에 있어서,
    미리 학습된 손 위생 이행 인지 모델이 저장된 메모리; 및
    입력된 적어도 하나의 대상이 포함된 영상을 기초로, 상기 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 프로세서;를 포함하되,
    상기 프로세서는,
    상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하고, 상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하여, 상기 제1 대상과 제2 대상의 IoU(intersection over union) 점수를 산출하여, 상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하며,
    상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별하며,
    상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하고,
    상기 기 설정된 동작은 상기 관찰 대상이 손 세정제를 누르는 동작을 포함하는
    영상 분석 장치.
  2. 제1항에 있어서,
    상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습된 것인 영상 분석 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상을 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출하는 영상 분석 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 관찰 대상과 상기 관찰 대상에 인접한 객체를 구별하여 인식하고, 연속된 프레임에서 상기 관찰 대상의 행동을 검출하는 영상 분석 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 영상 분석 장치.
  9. 제1항에 있어서,
    상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고,
    상기 프로세서는, 상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별하는 영상 분석 장치.
  10. 손 위생 이행 확인을 위한 영상 분석 장치에 의해 수행되는 영상 분석 방법에 있어서,
    적어도 하나의 대상이 포함된 영상을 입력 받는 단계; 및
    미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계;를 포함하며,
    상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습되고,
    상기 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 이후에,
    상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하는 단계;
    상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하는 단계;
    상기 제1 대상과 제2 대상의 IoU 점수를 산출하는 단계; 및
    상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하는 단계;를 포함하며,
    상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는,
    상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별하는 단계; 및
    상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 단계;를 포함하고,
    상기 기 설정된 동작은 상기 관찰 대상이 손 세정제를 누르는 동작을 포함하는
    영상 분석 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제10항에 있어서,
    상기 적어도 하나의 대상이 포함된 영상의 각각의 프레임에서 상기 관찰 대상에 인접한 적어도 하나의 객체를 인식하는 단계;를 더 포함하는 영상 분석 방법.
  15. 제14항에 있어서,
    상기 3D tubelet 데이터에, 일 시점에서 상기 관찰 대상이 상기 인접한 객체와 겹쳐지고, 이후 시점에서 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 영상 분석 방법.
  16. 제10항에 있어서,
    상기 관찰 대상은, 제1 관찰 대상 및 제2 관찰 대상을 포함하고,
    상기 3D tubelet 데이터를 생성하는 단계는,
    상기 제1 관찰 대상에 대한 제1 3D tubelet 데이터와 상기 제2 관찰 대상에 대한 제2 3D tubelet 데이터를 각각 생성하고, 상기 제1 대상과 상기 제2 대상이 동일한 관찰 대상이 아닌 경우, 각 대상에 대응하는 3D tubelet 데이터를 기초로, 각 대상의 손 위생 이행 행위를 판별하는 영상 분석 방법.
  17. 적어도 하나의 대상이 포함된 영상을 입력 받는 단계; 및
    미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계;를 포함하며,
    상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습되고,
    상기 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 이후에,
    상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하는 단계;
    상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하는 단계;
    상기 제1 대상과 제2 대상의 IoU 점수를 산출하는 단계; 및
    상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하는 단계;를 포함하며,
    상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는,
    상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별하는 단계; 및
    상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 단계;를 포함하고,
    상기 기 설정된 동작은 상기 관찰 대상이 손 세정제를 누르는 동작을 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램이 저장된 기록매체.
  18. 적어도 하나의 대상이 포함된 영상을 입력 받는 단계; 및
    미리 학습된 손 위생 이행 인지 모델을 이용하여, 상기 대상의 손 위생 이행 행위 여부를 판별하는 단계;를 포함하며,
    상기 손 위생 이행 인지 모델은, 임의의 대상이 포함된 학습 영상 및 임의의 대상의 행위 데이터를 학습 데이터로 하고, 상기 임의의 대상의 행위를 분석한 정보를 레이블로 하여 학습되고,
    상기 적어도 하나의 대상이 포함된 영상을 입력 받는 단계 이후에,
    상기 적어도 하나의 대상이 포함된 영상에 포함된 제1 프레임에서 제1 대상을 검출하는 단계;
    상기 제1 프레임에 인접한 제2 프레임에서 제2 대상을 검출하는 단계;
    상기 제1 대상과 제2 대상의 IoU 점수를 산출하는 단계; 및
    상기 IoU 점수가 기 설정된 점수 이상인 경우, 상기 제1 대상과 제2 대상을 동일한 관찰 대상으로 인식하고, 상기 제1 대상의 영역과 제2 대상의 영역을 연결하여 3D tubelet 데이터를 생성하는 단계;를 포함하며,
    상기 대상의 손 위생 이행 행위 여부를 판별하는 단계는,
    상기 3D tubelet 데이터를 상기 손 위생 이행 인지 모델에 입력하고, 상기 손 위생 이행 인지 모델의 출력 결과에 기초하여, 상기 적어도 하나의 대상의 손 위생 이행 행위 여부를 판별하는 단계; 및
    상기 3D tubelet 데이터에, 상기 관찰 대상이 기 설정된 동작을 수행하는 동작이 포함되는 경우, 상기 관찰 대상이 손 위생 이행 행위를 수행하였음을 판별하는 단계;를 포함하고,
    상기 기 설정된 동작은 상기 관찰 대상이 손 세정제를 누르는 동작을 포함하는 영상 분석 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
KR1020210069120A 2021-05-28 2021-05-28 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법 KR102592951B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210069120A KR102592951B1 (ko) 2021-05-28 2021-05-28 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210069120A KR102592951B1 (ko) 2021-05-28 2021-05-28 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법

Publications (2)

Publication Number Publication Date
KR20220160899A KR20220160899A (ko) 2022-12-06
KR102592951B1 true KR102592951B1 (ko) 2023-10-23

Family

ID=84406868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210069120A KR102592951B1 (ko) 2021-05-28 2021-05-28 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법

Country Status (1)

Country Link
KR (1) KR102592951B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021058931A1 (en) * 2019-09-23 2021-04-01 Presha Health Tech Private Limited Apparatus, system and method for real time hand hygiene monitoring
KR102253989B1 (ko) * 2020-08-19 2021-05-20 이노뎁 주식회사 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021058931A1 (en) * 2019-09-23 2021-04-01 Presha Health Tech Private Limited Apparatus, system and method for real time hand hygiene monitoring
KR102253989B1 (ko) * 2020-08-19 2021-05-20 이노뎁 주식회사 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법

Also Published As

Publication number Publication date
KR20220160899A (ko) 2022-12-06

Similar Documents

Publication Publication Date Title
CN104794464B (zh) 一种基于相对属性的活体检测方法
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
JP4708422B2 (ja) 両手動作の追跡
KR102036955B1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110223322B (zh) 图像识别方法、装置、计算机设备和存储介质
JP6833708B2 (ja) 非同期信号を処理するための方法
CN116051115A (zh) 一种刷脸支付提示方法、装置及设备
EP3035235B1 (en) Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier
US10169661B2 (en) Filtering methods for visual object detection
US10360441B2 (en) Image processing method and apparatus
KR20200056602A (ko) 객체 움직임 인식 방법 및 장치
CN109086725B (zh) 手部跟踪方法及机器可读存储介质
KR101648786B1 (ko) 객체 인식 방법
CN111783714B (zh) 一种胁迫人脸识别方法、装置、设备和存储介质
KR102592951B1 (ko) 손 위생 이행 확인을 위한 영상 분석 장치 및 영상 분석 방법
CN109492585B (zh) 一种活体检测方法和电子设备
US20230031042A1 (en) Handwash monitoring system and handwash monitoring method
JP2009301242A (ja) 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
CN112818929B (zh) 一种人员斗殴检测方法、装置、电子设备及存储介质
Meng et al. Detection of abnormal gait from skeleton data
Benoit et al. Fusing bio-inspired vision data for simplified high level scene interpretation: Application to face motion analysis
CN115761869A (zh) 一种眨眼检测的方法、装置及存储介质
Vo et al. Automatic hand gesture segmentation for recognition of Vietnamese sign language
Le Bek Learning to recognise actions in egocentric video

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant