KR102397248B1 - 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법 - Google Patents
영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법 Download PDFInfo
- Publication number
- KR102397248B1 KR102397248B1 KR1020210147982A KR20210147982A KR102397248B1 KR 102397248 B1 KR102397248 B1 KR 102397248B1 KR 1020210147982 A KR1020210147982 A KR 1020210147982A KR 20210147982 A KR20210147982 A KR 20210147982A KR 102397248 B1 KR102397248 B1 KR 102397248B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- pose
- estimated
- time interval
- patient
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 177
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000010191 image analysis Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 50
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 14
- 238000013524 data verification Methods 0.000 claims description 6
- 230000007774 longterm Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 208000004210 Pressure Ulcer Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010011985 Decubitus ulcer Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
본 발명의 일 기술적 측면에 따른 영상 분석 기반의 환자 동작 모니터링 시스템은, 환자가 생활하는 병실에 구비되어 복수의 촬영 이미지를 연속적으로 생성하고, 상기 복수의 촬영 이미지 각각에 대하여 사람 객체를 추출하여 포즈를 추정하여 복수의 포즈 정보를 생성하는 적어도 하나의 에지 단말 및 상기 복수의 포즈 정보를 서로 다른 시간 인터벌로 그룹화 하고, 서로 다른 시간 인터벌로 그룹화된 포즈 정보들에 대하여 스켈레톤 데이터를 대상으로 딥 러닝 모델을 적용하여 동작을 인식하는 동작 인식 서버를 포함한다. 상기 동작 인식 서버는 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공할 수 있다.
Description
본 발명은 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법에 관한 것이다.
컴퓨팅 기술의 발전에 따라 다양한 산업 분야에서 자동화가 이루어지고 있으며, 의료 분야 또한 이러한 산업 분야의 하나이다.
의료 분야에서 환자는 다양한 의료적 관찰이 필수적이며 이에 따라 컴퓨팅 환경을 기초로 하는 환자 모니터링과 관련된 기술들이 개발되고 있다.
이러한 종래의 환자 모니터링 기술은 환자에 대한 영상을 획득하여 이를 관리자에게 보여주는 사람을 이용한 모니터링이 주를 이루고 있으며, 기타 환자의 상태를 추정하여 알람을 제공하는 기술 등이 개발되고 있다.
그러나, 이러한 종래 기술의 경우, 환자에 대한 영상 자체를 병원 또는 관리자에게 공유하는 과정에서, 환자의 영상이 외부에 노출될 우려가 있어 개인 정보보호 상의 허점이 발생할 수 있는 한계가 있다.
삭제
본 발명의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 환자에 대한 영상을 취득하는 영상 분석 기반의 환자 동작 모니터링 방법 자체에서 영상 인식을 기반으로 하는 포즈 정보를 생성하여 제공함으로써, 환자에 대한 영상이 외부로 유출될 가능성을 원천적으로 차단하고 환자의 상태를 정확하게 모니터링 할 수 있는, 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법을 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 영상 분석 기반의 환자 동작 모니터링 방법에서는 포즈 인식을 수행하여 이에 대한 포즈 정보를 동작 인식 서버로 제공하고, 동작 인식 서버에서는 학습 모델을 기반으로 이에 대한 동작을 판단함으로써, 영상 분석 기반의 환자 동작 모니터링 방법에서 요구되는 필요 리소스를 최소화함과 함께, 딥 러닝 기반의 학습 모델을 기초로 보다 정확한 동작 추정이 가능한 수 있는, 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법을 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 영상 분석 기반의 환자 동작 모니터링 방법으로부터 로컬 통신망 또는 보안영상 통신망을 통하여 데이터를 제공받은 병원 서버에서 개별적으로, 즉, 로컬 영역에서 학습을 수행한 후, 이러한 학습 결과만을 통합 동작 인식 서버와 연동하여 공유함으로써, 각각의 병원 서버 별로 보안성이 유지됨과 함께 학습 결과의 공유는 광의적으로 수행될 수 있는, 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법을 제공하는 것이다.
본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
본 발명의 일 기술적 측면은 영상 분석 기반의 환자 동작 모니터링 시스템을 제안한다. 상기 영상 분석 기반의 환자 동작 모니터링 시스템은, 환자가 생활하는 병실에 구비되어 복수의 촬영 이미지를 연속적으로 생성하고, 상기 복수의 촬영 이미지 각각에 대하여 사람 객체를 추출하여 포즈를 추정하여 복수의 포즈 정보를 생성하는 적어도 하나의 에지 단말 및 상기 복수의 포즈 정보를 서로 다른 시간 인터벌로 그룹화 하고, 서로 다른 시간 인터벌로 그룹화된 포즈 정보들에 대하여 스켈레톤 데이터를 대상으로 딥 러닝 모델을 적용하여 동작을 인식하는 동작 인식 서버를 포함한다. 상기 동작 인식 서버는 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공할 수 있다.
일 실시예에서, 상기 시스템은, 상기 적어도 하나의 에지 단말로부터 상기 복수의 촬영 이미지를 제공받아 학습 데이터와 미학습 데이터로 구분하고, 미학습 데이터로 분류된 촬영 이미지에 대하여 포즈 추정을 수행한 후 이를 기초로 동작 인식에 대한 학습 데이터로서 설정하는 병원 서버를 더 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 에지 단말과 상기 병원 서버는, 내부 인트라넷 또는 외부와 이격된 보안 네트워크로 연결될 수 있다. 상기 적어도 하나의 에지 단말과 상기 동작 인식 서버는, 공개 인터넷을 통하여 연결될 수 있다.
일 실시예에서, 상기 적어도 하나의 에지 단말은, 환자가 생활하는 상기 병실에 대한 복수의 촬영 이미지를 생성하는 카메라부, 상기 복수의 촬영 이미지를 시간 순서에 따라 연속적으로 연관하고, 상기 복수의 촬영 이미지에서 사람 객체를 판별하고 포즈 추정에서 요구되는 이미지 사이즈에 대응하여 상기 사람 객체가 포함되도록 리사이징하여 전처리하는 이미지 전처리부, 상기 이미지 전처리부에 의하여 리사이징 전처리된 이미지를 대상으로, 사람 객체를 추출하고, 추출된 사람 객체의 포즈를 추정하는 포즈 추정부 및 기 설정된 프레임 셋 단위를 기준으로, 이전 프레임 셋에서 추정된 포즈와 현재 프레임 셋에서 추정된 포즈를 비교 검증하여 오차가 일정 이상이 되는 프레임을 삭제하여 포즈 정보를 생성하는 데이터 검증부를 포함할 수 있다.
일 실시예에서, 상기 동작 인식 서버는, 상기 포즈 정보-상기 포즈 정보는 복수의 프레임 각각에 대한 추정 포즈를 포함함- 를 제1 시간 인터벌로 구분하고, 구분된 제1 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제1 시간 인터벌에 대한 제1 추정 동작을 추정하는 제1 인터벌 분석부, 상기 포즈 정보를 상기 제1 시간 인터벌 보다 더 긴 제2 시간 인터벌로 구분하고, 구분된 제2 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제2 시간 인터벌에 대한 제2 추정 동작을 추정하는 제2 인터벌 분석부, 상기 제1 인터벌 분석부로부터 상기 제1 추정 동작을, 상기 제2 인터벌 분석부로부터 상기 제2 추정 동작을 제공받고, 상기 제1 추정 동작 및 상기 제2 추정 동작을 기초로 동작의 시작 및 끝을 인식하고, 인식된 시작과 끝 사이의 환자의 동작을 추정하는 동작 분석부 및 상기 동작 분석부에서 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공하는 알람 송신부를 포함할 수 있다.
일 실시예에서, 상기 동작 인식 서버는, 상기 포즈 정보를 상기 제2 시간 인터벌 보다 더 긴 제3 시간 인터벌로 구분하고, 구분된 제3 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제3 시간 인터벌에 대한 제3 추정 동작을 추정하는 제3 인터벌 분석부 및 장기간 동작과 관련된 룰을 설정하고, 상기 제3 추정 동작이 상기 룰에 해당되는지 여부를 기초로 장기간 동작에 대한 룰 기반 분석을 제공하는 롤 기반 분석부를 더 포함할 수 있다.
일 실시예에서, 상기 병원 서버는, 상기 적어도 하나의 엣지 단말로부터 복수의 촬영 이미지를 제공받고, 상기 복수의 촬영 이미지에서 사람 객체를 판별하고 포즈 추정에서 요구되는 이미지 사이즈에 대응하여 상기 사람 객체가 포함되도록 리사이징하여 전처리하는 미학습 데이터 전처리부, 상기 이미지 전처리부에 의하여 리사이징 전처리된 이미지를 대상으로, 사람 객체를 추출하고, 추출된 사람 객체의 포즈를 추정하는 포즈 추정부 및 상기 포즈 추정부에서 제공되는 추정 포즈를 학습 데이터로 설정하여 딥 러닝 모델을 기반으로 기 설정된 시간 인터벌 동안의 추정 포즈의 변화를 기초로 동작을 추정하는 동작 학습모델을 포함할 수 있다.
본 발명의 다른 일 기술적 측면은 영상 분석 기반의 환자 동작 모니터링 방법을 제안한다. 상기 영상 분석 기반의 환자 동작 모니터링 방법은, 환자가 생활하는 병실에 구비되어 복수의 촬영 이미지를 연속적으로 생성하는 적어도 하나의 에지 단말 및 상기 적어도 하나의 에지 단말과 연동하는 동작 인식 서버를 포함하는 환자 동작 모니터링 시스템에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법으로서, 상기 적어도 하나의 에지 단말이, 상기 복수의 촬영 이미지 각각에 대하여 사람 객체를 추출하여 포즈를 추정하여 복수의 포즈 정보를 생성하는 단계, 상기 동작 인식 서버가, 상기 복수의 포즈 정보를 서로 다른 시간 인터벌로 그룹화 하는 단계, 상기 동작 인식 서버가, 서로 다른 시간 인터벌로 그룹화된 포즈 정보들에 대하여 스켈레톤 데이터를 대상으로 딥 러닝 모델을 적용하여 동작을 인식하는 단계 및 상기 동작 인식 서버가, 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공하는 단계를 포함할 수 있다.
일 실시예에서, 상기 환자 동작 모니터링 시스템은 병원 서버를 더 포함한다. 상기 영상 분석 기반의 환자 동작 모니터링 방법은, 상기 병원 서버가, 상기 적어도 하나의 에지 단말로부터 상기 복수의 촬영 이미지를 제공받아 학습 데이터와 미학습 데이터로 구분하는 단계 및 상기 병원 서버가, 미학습 데이터로 분류된 촬영 이미지에 대하여 포즈 추정을 수행한 후 이를 기초로 동작 인식에 대한 학습 데이터로서 설정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 적어도 하나의 에지 단말과 상기 병원 서버는, 내부 인트라넷 또는 외부와 이격된 보안 네트워크로 연결되고, 상기 적어도 하나의 에지 단말과 상기 동작 인식 서버는, 공개 인터넷을 통하여 연결될 수 있다.
상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시형태에 따르면, 환자에 대한 영상을 취득하는 영상 분석 기반의 환자 동작 모니터링 방법 자체에서 영상 인식을 기반으로 하는 포즈 정보를 생성하여 제공함으로써, 환자에 대한 영상이 외부로 유출될 가능성을 원천적으로 차단하고 환자의 상태를 정확하게 모니터링 할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 영상 분석 기반의 환자 동작 모니터링 방법에서는 포즈 인식을 수행하여 이에 대한 포즈 정보를 동작 인식 서버로 제공하고, 동작 인식 서버에서는 학습 모델을 기반으로 이에 대한 동작을 판단함으로써, 영상 분석 기반의 환자 동작 모니터링 방법에서 요구되는 필요 리소스를 최소화 함과 함께, 딥 러닝 기반의 학습 모델을 기초로 보다 정확한 동작 추정이 가능한 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 영상 분석 기반의 환자 동작 모니터링 방법으로부터 로컬 통신망 또는 보안영상 통신망을 통하여 데이터를 제공받은 병원 서버에서 개별적으로, 즉, 로컬 영역에서 학습을 수행한 후, 이러한 학습 결과만을 통합 동작 인식 서버와 연동하여 공유함으로써, 각각의 병원 서버 별로 보안성이 유지됨과 함께 학습 결과의 공유는 광의적으로 수행될 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 기반의 환자 동작 모니터링 시스템의 일 적용예를 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 기반의 환자 동작 모니터링 방법의 일 예를 설명하는 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른, 영상 분석 기반의 환자 동작 모니터링 방법에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 서버 장치의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 동작 인식 서버의 일 예를 설명하는 블록 구성도이다.
도 6은 본 발명의 일 실시예에 따른, 동작 인식 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 7 내지 도 8은 도 5에 도시된 동작 인식 서버에서 수행되는 학습 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 병원 서버의 일 예를 설명하는 블록 구성도이다.
도 10은 본 발명의 일 실시예에 따른, 병원 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 11은 본 발명의 일 실시예에 따른 병원 서버와 중앙 서버의 관계를 예시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른, 중앙 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 영상 분석 기반의 환자 동작 모니터링 방법의 일 예를 설명하는 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른, 영상 분석 기반의 환자 동작 모니터링 방법에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 서버 장치의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 동작 인식 서버의 일 예를 설명하는 블록 구성도이다.
도 6은 본 발명의 일 실시예에 따른, 동작 인식 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 7 내지 도 8은 도 5에 도시된 동작 인식 서버에서 수행되는 학습 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 병원 서버의 일 예를 설명하는 블록 구성도이다.
도 10은 본 발명의 일 실시예에 따른, 병원 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 11은 본 발명의 일 실시예에 따른 병원 서버와 중앙 서버의 관계를 예시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른, 중앙 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
즉, 전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 이하에서 본 발명에 따른 시스템을 설명하기 위하여 다양한 구성요소 및 그의 하부 구성요소에 대하여 설명하고 있다. 이러한 구성요소 및 그의 하부 구성요소들은, 하드웨어, 소프트웨어 또는 이들의 조합 등 다양한 형태로서 구현될 수 있다. 예컨대, 각 요소들은 해당 기능을 수행하기 위한 전자적 구성으로 구현되거나, 또는 전자적 시스템에서 구동 가능한 소프트웨어 자체이거나 그러한 소프트웨어의 일 기능적인 요소로 구현될 수 있다. 또는, 전자적 구성과 그에 대응되는 구동 소프트웨어로 구현될 수 있다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부(Unit)", "서버(Server)" 및 "시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
본 발명의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
이하에서 설명하는 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법은, 영상 인식을 기반으로 환자를 관찰하여 이상이 발생하거나 특정한 상황(예컨대, 식사 상황 등)을 인식하여 간병인 등의 보호자에게 알람을 제공하는 기술에 관한 것이다.
이하에서 설명하는 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법은, 영상 분석을 기반으로 하나, 영상 자체가 외부, 즉, 병원 외부로 제공되지 않도록 하여 보안성을 향상 시킨다. 즉, 에지 단말 자체에서 딥러닝 기반으로 영상을 분석하여 분석된 수치 데이터만 병원 외부의 동작 인식 서버로 전송하므로, 개인정보 보안에 장점을 가진다. 이는, 영상이 밖으로 나가는 것에 대하여 매우 꺼려 하는 특히 병원 같은 시설에서 그 유용성이 증대되는 효과를 가진다. 또한, 엣지 단말에서 인공지능 분석이 가능한 기술로 분석된 결과만을 동작 인식 서버에 전송하므로 개인정보등의 보안을 향상 시킬 수 있다.
또한, 이하에서 설명하는 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법은, 개인정보의 보안 리스크 없이 환자 동작인식을 위한 학습 데이터를 확보 및 공유할 수 있다. 즉, 인공지능 기반으로 환자의 동작을 인식하기 위해서는 많은 양의 병원 환자 영상 데이터가 필요하나, 각각의 병원은 독립적으로 운영되는 성향이 있어 외부에 영상 제공이 어렵고, 환자 본인 또한 개인정보 보호 차원에서 영상 제공을 원하지 않는 경우가 많다. 따라서, 충분한 학습데이터 획득을 위하여 병원 자체내에서만 영상을 활용하여 학습하되, 학습의 결과만을 상호 공유하는 연합 학습 기술을 제공한다. 연합학습 기술은 각 지역의 로컬서버에서 학습을 수행하고 학습된 결과, 예컨대, 학습 모델의 가중치값 만을 중앙 서버로 전송하여 이를 기초로 학습 성능을 전체적으로 높일 수 있다.
이하, 도 1 내지 도 12를 참조하여, 이러한 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법의 다양한 실시예들에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 기반의 환자 동작 모니터링 시스템의 일 적용예를 설명하는 도면이다.
도 1을 참조하면, 영상 분석 기반의 환자 동작 모니터링 시스템은 엣지 단말 (100), 동작 인식 서버(300) 및 병원 서버(500)를 포함할 수 있다. 도시되지는 않았으나, 병원 서버(500)와 연동하여 학습 데이터를 공유하는 중앙 서버(700, 도 11에 도시됨)를 더 포함할 수 있다.
엣지 단말 (100)은 환자가 생활하는 병실에 구비되어, 병실 내부에 대한 복수의 촬영 이미지를 연속적으로 생성할 수 있다. 도 1에 도시된 예에서 하나의 엣지 단말 (100)이 도시되나, 이는 예시적인 것으로서 시스템은 복수의 엣지 단말 (100)을 포함할 수 있다.
엣지 단말 (100)은 복수의 촬영 이미지 각각에 대하여 사람 객체를 추출하여 포즈를 추정할 수 있다. 엣지 단말 (100)은 복수의 촬영 이미지 각각에서 추정된 포즈를 포함하는 복수의 포즈 정보를 생성할 수 있고, 이를 동작 인식 서버(300)에 제공할 수 있다. 이와 같이, 엣지 단말 (100)은 촬영 이미지 자체가 아닌 추정된 포즈에 대한 포즈 정보를 제공함으로써, 데이터의 보안성 및 개인 정보보호를 증진시킬 수 있다. 이는, 동작 인식 서버(300)가 엣지 단말 (100)과 공개 인터넷을 통하여 연결되는 환경인 점에서 더욱 중요하다.
엣지 단말 (100)은 포즈 정보 또는 복수의 촬영 이미지를 병원 서버(500)에 제공할 수 있다. 이는 엣지 단말 (100)과 병원 서버(500)는 동일한 내부 인트라넷 또는 외부와 이격된 보안 네트워크로 연결될 수 있으므로, 복수의 촬영 이미지 자체를 송신하는 경우에도 보안성이 유지되기 때문이다.
동작 인식 서버(300)는 엣지 단말 (100)에서 제공된 포즈 정보를 기초로, 환자의 동작을 추정하고, 추정된 환자의 동작을 식별하여 알람 이벤트를 제공할 수 있다.
예컨대, 동작 인식 서버(300)는 복수의 포즈 정보를 서로 다른 시간 인터벌로 그룹화 하고, 서로 다른 시간 인터벌로 그룹화된 포즈 정보들에 대하여 스켈레톤 데이터를 대상으로 딥 러닝 모델을 적용하여 동작을 인식할 수 있다.
동작 인식 서버(300)는 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말(400)에게 해당 알림 이벤트를 제공할 수 있다.
보호자 단말(400)은 환자의 보호자가 가진 단말로서, 보호자는 보호자 단말(400)을 통하여 환자의 동작 상태 및 그로부터 추정된 이벤트에 대한 알림을 제공받을 수 있다.
병원 서버(500)는 엣지 단말 (100)에서 제공되는 포즈 정보 또는 복수의 촬영 이미지를 기초로, 동작 인식에 대한 학습을 수행할 수 있다.
예컨대, 병원 서버(500)는 적어도 하나의 에지 단말(100)로부터 복수의 촬영 이미지를 제공받아 학습 데이터와 미학습 데이터로 구분할 수 있다. 병원 서버(500)는 미학습 데이터로 분류된 촬영 이미지에 대하여 포즈 추정을 수행한 후 이를 기초로 동작 인식에 대한 학습 데이터로서 설정할 수 있다.
도 1에서는 병원 서버(500)가 하나로 도시되어 있으나, 각각의 병원마다 병원 서버(500)가 구비될 수 있으며 따라서 시스템은 복수의 병원 서버(500)를 포함할 수 있다. 도 11은 이러한 예를 도시하고 있다. 중앙 서버(700)는 복수의 병원 서버(500) 간의 학습 데이터 또는 학습 결과를 취합 및 공유할 수 있으므로, 그를 통하여 병원 서버(500)의 학습 효율 및 정확도를 전체적으로 증진 시킬 수 있다.
한편, 도 1에 도시된 예에는 동작 인식 서버(300)와 병원 서버(500)를 구분하여 설명하였으나, 이는 설명의 편의를 위한 것으로서, 동작 인식 서버(300)와 병원 서버(500)는 하나의 서버로서 운영될 수 있다.
이하, 도 2 내지 도 7을 참조하여, 영상 분석 기반의 환자 동작 모니터링 시스템의 다양한 실시예 및 그에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법의 다양한 실시예에 대하여 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 에지 단말의 일 예를 설명하는 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른, 에지 단말에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 2를 참조하면, 에지 단말(100)은 카메라부(110), 이미지 전처리부(120), 포즈 추정부(130), 데이터 검증부(140) 및 영상변환 송신부(150)를 포함할 수 있다.
카메라부(110)는 환자가 생활하는 상기 병실에 대한 복수의 촬영 이미지를 생성할 수 있다(S301). 카메라부(110)는 복수의 촬영 이미지를 이미지 전처리부(120)에 제공한다.
이미지 전처리부(120)는, 복수의 촬영 이미지를 시간 순서에 따라 연속적으로 연관하고, 복수의 촬영 이미지에서 사람 객체를 판별하고 포즈 추정에서 요구되는 이미지 사이즈에 대응하여 사람 객체가 포함되도록 리사이징하여 전처리할 수 있다(S302). 이는 포즈 추정부(130)에서 보다 정확하게 포즈를 처리하기 위한 전처리를 위한 것으로서, 이를 통하여 포즈 추정부(130)의 추정 효율 및 정확도가 향상될 수 있다.
포즈 추정부(130)는 이미지 전처리부(120)에 의하여 리사이징 전처리된 이미지를 대상으로, 사람 객체를 추출하고, 추출된 사람 객체의 포즈를 추정할 수 있다(S303).
일 실시예에서, 포즈 추정부(130)는 추출된 사람 객체에 대하여 2차원 스켈레톤 데이터를 생성하고, 이에대한 2차원 동작 분석을 기반으로 포즈 분석을 수행할 수 있다. 2차원 기반의 포즈 분석은 FPD 학습방식을 활용하여 축소된 네트워크에서의 학습 방식으로 구현될 수 있다. 이를 위하여, 포즈 추정부(130)는 이미지의 각 픽셀의 x, y 위치에 대하여 아래와 같은 수학식 1에 해당하는 가우스 신뢰 구간에서의 m값을 산출할 수 있다.
[수학식 1]
여기에서, k는 관절로서, 즉, 사람 객체에 대한 스켈레톤 데이터를 산출하엿을 때의 관절이다. 이러한 2차원 분석의 경우, 에지 단말에 적은 리소스로도 높은 정확도를 제공할 수 있는 효과를 가진다.
일 실시예에서, 포즈 추정부(130)는 추출된 사람 객체에 대하여 3차원 바디모델을 기초로 3차원 동작 분석을 기반으로 포즈 분석을 수행할 수 있다. 3차원 바디모델을 사용하는 것은 경량화 측면과 여러 이미지의 프레임에서 안정적인 데이터를 얻을 수 있다. 3차원 바디모델에 대한 딥러닝 알고리즘으로는 SMPL모델을 사용하는 CenterHMR(a Bottom-up Single-shot Method for Multi-person 3D Mesh Recovery from a Single Image) 모델을 적용하여 3D 자세를 추정할 수 있다. 또는, GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models(구글)을 기반으로도 구현 가능하다.
데이터 검증부(140)는 기 설정된 프레임 셋 단위를 기준으로, 이전 프레임 셋에서 추정된 포즈와 현재 프레임 셋에서 추정된 포즈를 비교 검증하여 오차가 일정 이상이 되는 프레임을 삭제할 수 있다(S304). 데이터 검증부(140)는 검증된 포즈들을 포함하여 포즈 정보를 생성할 수 있다(S305).
영상변환 송신부(150)는 포즈 정보 또는 복수의 촬영 이미지를 병원 서버(500)에 제공할 수 있다. 실시예에 따라, 영상변환 송신부(150)는 전송하는 포즈 정보 또는 복수의 촬영 이미지에 대하여 병원 서버(500)와 연동하여 보안 통신을 수행하도록 할 수 있으며, 이를 통하여, 개인 정보보호의 강도를 증대시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 서버 장치의 예시적인 컴퓨팅 운영 환경을 설명하는 도면이다.
도 4는 동작 인식 서버(300), 병원 서버(500) 또는 중앙 서버(700, 도 11에 도시됨)에 대한 실시예들이 구현될 수 있는 적합한 컴퓨팅 환경의 일반적이고 단순화된 설명을 제공하기 위한 것으로, 이의 일 예로서 컴퓨팅 장치가 도시된다.
컴퓨팅 장치는 적어도 프로세싱 유닛(303)과 시스템 메모리(301)를 포함할 수 있다.
컴퓨팅 장치는 프로그램을 실행할 때 협조하는 복수의 프로세싱 유닛을 포함할 수도 있다. 컴퓨팅 장치의 정확한 구성 및 유형에 의존하여, 시스템 메모리(301)는 휘발성(예컨대, 램(RAM)), 비휘발성(예컨대, 롬(ROM), 플래시 메모리 등) 또는 이들의 조합일 수 있다. 시스템 메모리(301)는 플랫폼의 동작을 제어하기 위한 적합한 운영 체제(302)를 포함하는데, 예컨대 마이크로소프트사로부터의 WINDOWS 운영체제나 리눅스 등의 것일 수 있다. 시스템 메모리(301)는 프로그램 모듈, 애플리케이션 등의 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수도 있다.
컴퓨팅 장치는 자기 디스크, 광학적 디스크, 또는 테이프와 같은 추가적인 데이터 저장 장치(304)를 포함할 수 있다. 이러한 추가적 저장소는 이동식 저장소 및/또는 고정식 저장소 일 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 저장정보를 위한 임의의 방법이나 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함할 수 있다. 시스템 메모리(301), 저장소(304)는 모두 컴퓨터 판독가능 저장 매체의 예시일 뿐이다. 컴퓨터 판독가능 저장 매체는 램(RAM), 롬(ROM), EEPROM, 플래시 메모리 또는 다른 메모리 기법, CD-ROM, DVD 또는 다른 광학적 저장소, 자기 테이프, 자기 디스크 저장소 또는 다른 자기적 저장 장치, 또는 원하는 정보를 저장하고 컴퓨팅 장치(300)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있는데, 이에 한정되는 것은 아니다.
컴퓨팅 장치의 입력 장치(305), 예컨대 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 및 비교 가능한 입력 장치를 포함할 수 있다. 출력 장치(306)는, 예컨대 디스플레이, 스피커, 프린터, 및 다른 유형의 출력 장치가 포함될 수도 있다. 이들 장치는 본 기술분야에서 널리 알려진 것이므로 자세한 설명은 생략한다.
컴퓨팅 장치는 예컨대 분산 컴퓨팅 환경에서의 네트워크, 예컨대, 유무선 네트워크, 위성 링크, 셀룰러 링크, 근거리 네트워크 및 비교가능한 메커니즘을 통해 장치가 다른 장치들과 통신하도록 허용하는 통신 장치(307)를 포함할 수도 있다. 통신 장치(307)는 통신 매체의 한가지 예시이며, 통신 매체는 그 안에 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 포함할 수 있다. 예시적으로, 통신 매체는 유선 네트워크나 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함하는데, 이에 한정되는 것은 아니다.
동작 인식 서버(300)는 이러한 컴퓨팅 환경에서 구현되는 기능적 구성으로 설명될 수 있다. 이에 대해서는, 도 5를 참조하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 동작 인식 서버의 일 예를 설명하는 블록 구성도이고, 도 6은 본 발명의 일 실시예에 따른, 동작 인식 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 5를 참조하면, 동작 인식 서버(300)는 제1 인터벌 분석부(310), 제2 인터벌 분석부(320), 동작 분석부(330), 제3 인터벌 분석부(340), 롤 기반 분석부(350) 및 알람 송신부(360)를 포함할 수 있다.
제1 인터벌 분석부(310)는 포즈 정보를 제1 시간 인터벌로 구분할 수 있다(S611). 여기에서, 포즈 정보는 복수의 프레임 각각에 대한 추정 포즈를 포함한다. 제1 인터벌 분석부(310)는 제1 시간 인터벌 동안의 추정 포즈의 변화를 기초로 제1 시간 인터벌에 대한 제1 추정 동작을 추정할 수 있다(S620).
예를 들어, 제1 인터벌 분석부(310)는 30초를 제1 시간 인터벌로 설정하고, 최근 30초 동안 분석된 포즈 정보를 조회할 수 있다. 또는, 이전 분석에서 포즈가 연속되는 경우를 고려하여 포즈 정보의 분석데이터로서 2초를 추가하여 32초를 조회할 수 도 있다. 매 초당 프레임은 10~ 15일 수 있다.
제1 인터벌 분석부(310)는 동작 추정을 2차원 또는 3차원 방식으로 I애할 수 있다.
일 실시예에서, 제1 인터벌 분석부(310)는 사람 객체의 관절의 위치, 즉, 포즈 정보를 시간축에 대하여 표현하여 공간적 관계성을 설정함으로써 동작을 학습할 수 있다. 도 7은 제1 인터벌 분석부(310)에 적용 가능한 ST-GCN(Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition) 모델을 예시하고 있다.
제1 인터벌 분석부(310)는 모든 프레임에서의 스켈레톤의 관절(joint)들이 하나 하나의 버텍스(vertex)로 구성하고, 한 프레임 내에서의 주변 관절들과 에지(edge)로 연결되어 그래프 구조로 적용할 수 있다.
이러한 경우, 그래프에서 vertex의 집합은 다음의 수학식 2와 같이 정의된다.
[수학식 2]
V = {vti|t = 1, . . . , T, i = 1, . . . , N}
여기에서, T는 프레임의 개수, N은 한 스켈레톤에서 관절의 개수이다.
한 프레임 안에서 관절의 에지 ES와, 다른 프레임에서 같은 관절 간의 연결은 EF는 다음의 수학식 3과 같다
[수학식 3]
제1 인터벌 분석부(310)는 이를 기초로, GCN(Graph Convolutional Neural Networks)를 다음의 수학식 4와 같이 정의한다.
[수학식 4]
여기에서, P는 샘플 함수(Sampling function)로서, 이미지의 2D convolution에서 한 픽셀로부터 주변 픽셀들을 가져오는 함수이다. 그래프에서는 이미지처럼 정해진 인접 픽셀이 정해진 것이 아니라, 정해진 룰에 따라 가져올 수 있는 픽셀의 범위가 넓어질 수 있다. 예를 들어 D=1인 거리를 갖는다면, 한 노드의 주변 픽셀은 해당 노드와 바로 연결되어있는 노드들이 된다.
W는 가중치 함수(Weight function)로서, 샘플 함수(Sampling function)을 통해 얻어와진 픽셀들에 가중치(weight)를 더하는 함수로 이미지의 경우 이미 정해진 그리드(grid)가 존재하기 때문에 거리적으로 가중치(weight)가 정해져있다. 반면 그래프의 경우 어떤것이 더 가깝고 멀고가 존재하지 않기 때문에 그에 해당하는 가중치(weight)를 설정할 수 있다.
Z는 노말라이제이션 함수(normalize function)을 의미한다.
도 8은 제1 인터벌 분석부(310)에서 이웃 노드의 설정에 따른 성능 차이를 설명하기 위한 도면이다. 즉, 제1 인터벌 분석부(310)는 상술한 GCN을 사용하여 동작인식을 적용하는데, 아래와 같은 이웃 노드의 설정을 가진다.
그림 (a)와 같은 skeleton graph가 있을 때, 그림 (b)와 같이 거리가 1인 모든 노드를 하나의 subset으로 묶을 수 있고, 그림 (c)와 같이 패스(path)의 길이에 따라 weight를 준 형태로 설정할 수 있다. 그림 (d)의 경우 해당 노드로 부터 중심노드(위의 이미지에서는 X표)와의 거리 순으로 다른 색깔로 가중치를 줄 수 있다.
이상에서는, 제1 인터벌 분석부(310)를 통한 동작 분석의 방법을 설명하였으나, 제2 인터벌 분석부(320) 내지 제3 인터벌 분석부(350) 또한 이러한 동작 분석 방법을 통하여 수행될 수 있다.
제2 인터벌 분석부(320)는 포즈 정보를 제1 시간 인터벌 보다 더 긴 제2 시간 인터벌로 구분하고, 구분된 제2 시간 인터벌 동안의 추정 포즈의 변화를 기초로 제2 시간 인터벌에 대한 제2 추정 동작을 추정할 수 있다(S621).
예를 들어, 제2 인터벌 분석부(320)는 3분를 제2 시간 인터벌로 설정하고, 최근 3분 동안 분석된 포즈 정보를 조회할 수 있다.
동작 분석부(330)는 제1 인터벌 분석부로부터 1 추정 동작을 제공받고, 제2 인터벌 분석부로부터 제2 추정 동작을 제공받을 수 있다. 동작 분석부(330)는 제1 추정 동작 및 상기 제2 추정 동작을 기초로 동작의 시작 및 끝을 인식하고, 인식된 시작과 끝 사이의 환자의 동작을 추정할 수 있다(S631). 동작 분석부(330)는 동작 분석데이터를 저장할 수 있다(S641).
예컨대, 동작 분석부(330)는 이전의 30초 분석 및 이전의 3분 분석 데이터를 같이 조회하여, 동작의 시작과 끝을 인지하여 설정할 수 있고, 이러한 동작의 시작과 끝을 대상으로 동작을 판별할 수 있다.
제3 인터벌 분석부(340)는 포즈 정보를 상기 제2 시간 인터벌 보다 더 긴 제3 시간 인터벌로 구분하고, 구분된 제3 시간 인터벌 동안의 추정 포즈의 변화를 기초로 제3 시간 인터벌에 대한 제3 추정 동작을 추정할 수 있다.
롤 기반 분석부(350)는 장기간 동작과 관련된 룰을 설정하고, 제3 추정 동작이 상기 룰에 해당되는지 여부를 기초로 장기간 동작에 대한 룰 기반 분석을 제공할 수 있다(S632).
실시예에 따라, 롤 기반 분석부(350)는 제1 인터벌 분석부(310) 및 제2 인터벌 분석부(320)로부터도 추정 동작 정보를 제공받을 수 있다.
롤 기반 분석부(350)는 추정된 동작의 시작과 끝이 정상적으로 쌍을 맺고 있는지 분석하여, 기존 분석 자료가 잘 못 되었을 수 있을 경우 알림 이벤트를 발송하도록 할 수 있다.
예컨대, 롤 기반 분석부(350)는 설정된 시간, 가령 2시간 동안 움직임이 발생하지 않은 경우 욕창 방지 알림에 대한 알림 이벤트 발송할 수 있다. 이외에도, 욕창 방지, 운동 요청 등의 상황을 모니터링하여 각 항목별 설정된 임계치를 초과할 경우 알림 이벤트 발송할 수 있다.
알람 송신부(360)는 동작 분석부에서 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공할 수 있다(S642).
일 실시예에서, 알람 송신부(360)는 롤 기반 분석부(350)에서 제공되는 롤 기반 분석을 기초로, 롤 기반 분석이 기 설정된 알림 이벤트 요건에 해당되는 경우 보호자 단말에게 해당 알림 이벤트를 제공할 수 있다. 예컨대, 알람 송신부(360)는 상황 전파에 대하여 Mobile App, SMS, PC chatbot, PC web, SNS Platform 등에 상황 알림을 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따른 병원 서버의 일 예를 설명하는 블록 구성도이고, 도 10은 본 발명의 일 실시예에 따른, 병원 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
도 9를 참조하면, 병원 서버(500)는, 학습 데이터 관리부(510), 미학습 데이터 전처리부(520), 포즈 추정부(530), 동작 학습모델(540) 및 서버 연동부(550)를 포함할 수 있다.
학습 데이터 관리부(510)는 특정 엣지 단말(학습을 위한 기록용으로 지정된 단말)에서 보내진 영상을 조회하여 추가 학습데이터로 라벨링 할 수 있다(S1012). 학습 데이터 관리부(510)는 라벨링된 학습 데이터를 공유하도록 서버 연동부(550)에 제공할 수 있다.
미학습 데이터 전처리부(520)는 적어도 하나의 엣지 단말로부터 복수의 촬영 이미지를 제공받고(S1011), 복수의 촬영 이미지에서 사람 객체를 판별하고 포즈 추정에서 요구되는 이미지 사이즈에 대응하여 사람 객체가 포함되도록 리사이징하여 전처리할 수 있다. 이러한 전처리에 대해서는 엣지 단말을 참조하여 상술한 바를 참조하여 쉽게 이해할 수 있다.
포즈 추정부(530)는 이미지 전처리부에 의하여 리사이징 전처리된 이미지를 대상으로, 사람 객체를 추출하고, 추출된 사람 객체의 포즈를 추정할 수 있다(S1021).
동작 학습모델(540)은 포즈 추정부에서 제공되는 추정 포즈를 학습 데이터로 설정하여 딥 러닝 모델을 기반으로 기 설정된 시간 인터벌 동안의 추정 포즈의 변화를 기초로 동작을 추정할 수 있다(S1022).
이러한 포즈 추정 및 동작 학습에 대해서는, 동작 인식 서버를 참조하여 기 설명한 내용으로부터 쉽게 이해할 수 있다.
서버 연동부(550)는 추정 포즈를 학습 데이터로 설정하여 중앙 서버와 공유할 수 있다.
도 12는 본 발명의 일 실시예에 따른, 중앙 서버에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법을 설명하는 순서도이다.
중앙 서버(700)는 복수의 병원 서버(500)와 연동하여 연합 학습을 제공할 수 있다. 중앙 서버(700)는 병원의 학습데이터 확보를 위한 방안으로 병원자체에서 학습을 끝내고 결과 값만을 공유 및 학습하는 연합학습 기법을 제공한다.
도 12를 참조하면, 중앙 서버(700)는 여러 병원 서버의 상황을 고려하여 데이터 편항이 발생하지 않도록 각각의 병원 서버에 대한 학습 주기를 균등하게 설정할 수 있다(S1211).
중앙 서버(700)는 동작별로 추가로 수집되어야 할 데이터 양 및 병원별 현황을 파악하기 위한 이전 학습 결과를 조회할 수 있다(S1221).
중앙 서버(700)는 신규 라운드에 참여 가능한 병원 서버를 조회하고, 추가적으로 수집되어야 할 동작에 대하여 탐색을 수행할 수 있다(S1231).
중앙 서버(700)는 학습 조건을 설정하기 위하여, 신규 라운드에서 진행할 동작 및 병원 서버를 지정하고, 라운드 수행 기간 등의 기타 항목을 설정 할 수 있다(S1241).
중앙 서버(700)는 신규 라운드에 참여할 병원 서버에 대하여 학습 조건을 제공하고, 신규 라운드에 참여하지 않는 병원에 대해서는 라운드 증가 번호를 발송할 수 있다(S1251).
중앙 서버(700)는 신규 라운드의 동작인식 학습을 수행할 수 있으며, 이는 병원 서버나 동작 인식 서버에서 설명한 내용으로 갈음한다(S1212).
중앙 서버(700)는 본 라운드의 참여 병원으로부터 학습된 결과의 수신 상태를 확인하고(S1222), 각 병원으로부터 보내진 학습결과의 가중치 값을 조회할 수 있다(S1232).
중앙 서버(700)는 신규 라운드에 대해서도 상술한 과정을 통하여 연합학습 수행하고(S1242), 신규 라운드 학습 결과를 저장하고 모든 병원에 업데이트된 모델을 전송할 수 있다(S1252).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100 : 에지 단말
300 : 동작 인식 서버 400 : 보호자 단말
500 : 병원 서버 600 : 관리자 단말
110 : 카메라부 120 : 이미지 전처리부
130 : 포즈 추정부 140 : 데이터 검증부
150 : 영상변환 송신부
301 : 시스템 메모리 302 : 운영체제
303 : 프로세싱 유닛 304 : 저장소
305 : 입력장치 306 : 출력장치
307 : 통신장치
310 : 제1 인터벌 분석부 320 : 제2 인터벌 분석부
330 : 동작 분석부 340 : 제3 인터벌 분석부
350 : 롤 기반 분석부 360 : 알람 송신부
510 : 학습데이터 관리부 520 : 미학습 데이터 필터링부
530 : 포즈 추정부 540 : 동작 학습모델
550 : 서버 연동부
300 : 동작 인식 서버 400 : 보호자 단말
500 : 병원 서버 600 : 관리자 단말
110 : 카메라부 120 : 이미지 전처리부
130 : 포즈 추정부 140 : 데이터 검증부
150 : 영상변환 송신부
301 : 시스템 메모리 302 : 운영체제
303 : 프로세싱 유닛 304 : 저장소
305 : 입력장치 306 : 출력장치
307 : 통신장치
310 : 제1 인터벌 분석부 320 : 제2 인터벌 분석부
330 : 동작 분석부 340 : 제3 인터벌 분석부
350 : 롤 기반 분석부 360 : 알람 송신부
510 : 학습데이터 관리부 520 : 미학습 데이터 필터링부
530 : 포즈 추정부 540 : 동작 학습모델
550 : 서버 연동부
Claims (10)
- 환자가 생활하는 병실에 구비되어 복수의 촬영 이미지를 연속적으로 생성하고, 상기 복수의 촬영 이미지 각각에 대하여 사람 객체를 추출하여 포즈를 추정하여 복수의 포즈 정보를 생성하는 적어도 하나의 에지 단말;
상기 복수의 포즈 정보를 서로 다른 시간 인터벌로 그룹화 하고, 서로 다른 시간 인터벌로 그룹화된 포즈 정보들에 대하여 스켈레톤 데이터를 대상으로 딥 러닝 모델을 적용하여 동작을 인식하는 동작 인식 서버; 및,
상기 적어도 하나의 에지 단말로부터 상기 복수의 촬영 이미지를 제공받아 학습 데이터와 미학습 데이터로 구분하고, 미학습 데이터로 분류된 촬영 이미지에 대하여 포즈 추정을 수행한 후 이를 기초로 동작 인식에 대한 학습 데이터로서 설정하는 병원 서버;를 포함하고,
상기 동작 인식 서버는 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공하며,
상기 적어도 하나의 에지 단말은,
환자가 생활하는 상기 병실에 대한 복수의 촬영 이미지를 생성하는 카메라부; 상기 복수의 촬영 이미지를 시간 순서에 따라 연속적으로 연관하고, 상기 복수의 촬영 이미지에서 사람 객체를 판별하고 포즈 추정에서 요구되는 이미지 사이즈에 대응하여 상기 사람 객체가 포함되도록 리사이징하여 전처리하는 이미지 전처리부; 상기 이미지 전처리부에 의하여 리사이징 전처리된 이미지를 대상으로, 사람 객체를 추출하고, 추출된 사람 객체의 포즈를 추정하는 포즈 추정부; 및 기 설정된 프레임 셋 단위를 기준으로, 이전 프레임 셋에서 추정된 포즈와 현재 프레임 셋에서 추정된 포즈를 비교 검증하여 오차가 일정 이상이 되는 프레임을 삭제하여 포즈 정보를 생성하는 데이터 검증부;를 포함하고,
상기 동작 인식 서버는,
상기 포즈 정보 -상기 포즈 정보는 복수의 프레임 각각에 대한 추정 포즈를 포함함- 를 제1 시간 인터벌로 구분하고, 구분된 제1 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제1 시간 인터벌에 대한 제1 추정 동작을 추정하는 제1 인터벌 분석부; 상기 포즈 정보를 상기 제1 시간 인터벌 보다 더 긴 제2 시간 인터벌로 구분하고, 구분된 제2 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제2 시간 인터벌에 대한 제2 추정 동작을 추정하는 제2 인터벌 분석부; 상기 제1 인터벌 분석부로부터 상기 제1 추정 동작을, 상기 제2 인터벌 분석부로부터 상기 제2 추정 동작을 제공받고, 상기 제1 추정 동작 및 상기 제2 추정 동작을 기초로 동작의 시작 및 끝을 인식하고, 인식된 시작과 끝 사이의 환자의 동작을 추정하는 동작 분석부; 및, 상기 동작 분석부에서 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공하는 알람 송신부;를 포함하는 영상 분석 기반의 환자 동작 모니터링 시스템.
- 삭제
- 제1항에 있어서,
상기 적어도 하나의 에지 단말과 상기 병원 서버는, 내부 인트라넷 또는 외부와 이격된 보안 네트워크로 연결되고,
상기 적어도 하나의 에지 단말과 상기 동작 인식 서버는, 공개 인터넷을 통하여 연결되는 영상 분석 기반의 환자 동작 모니터링 시스템.
- 삭제
- 삭제
- 제1항에 있어서, 상기 동작 인식 서버는,
상기 포즈 정보를 상기 제2 시간 인터벌 보다 더 긴 제3 시간 인터벌로 구분하고, 구분된 제3 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제3 시간 인터벌에 대한 제3 추정 동작을 추정하는 제3 인터벌 분석부; 및
장기간 동작과 관련된 룰을 설정하고, 상기 제3 추정 동작이 상기 룰에 해당되는지 여부를 기초로 장기간 동작에 대한 룰 기반 분석을 제공하는 롤 기반 분석부;를 더 포함하는 영상 분석 기반의 환자 동작 모니터링 시스템.
- 제1항에 있어서, 상기 병원 서버는
상기 적어도 하나의 엣지 단말로부터 복수의 촬영 이미지를 제공받고, 상기 복수의 촬영 이미지에서 사람 객체를 판별하고 포즈 추정에서 요구되는 이미지 사이즈에 대응하여 상기 사람 객체가 포함되도록 리사이징하여 전처리하는 미학습 데이터 전처리부;
상기 미학습 데이터 전처리부에 의하여 리사이징 전처리된 이미지를 대상으로, 사람 객체를 추출하고, 추출된 사람 객체의 포즈를 추정하는 포즈 추정부; 및
상기 포즈 추정부에서 제공되는 추정 포즈를 학습 데이터로 설정하여 딥 러닝 모델을 기반으로 기 설정된 시간 인터벌 동안의 추정 포즈의 변화를 기초로 동작을 추정하는 동작 학습모델;을 포함하는 영상 분석 기반의 환자 동작 모니터링 시스템.
- 환자가 생활하는 병실에 구비되어 복수의 촬영 이미지를 연속적으로 생성하는 적어도 하나의 에지 단말과, 상기 적어도 하나의 에지 단말과 연동하는 동작 인식 서버 및 병원서버를 포함하는 환자 동작 모니터링 시스템에서 수행되는 영상 분석 기반의 환자 동작 모니터링 방법으로서,
a) 상기 적어도 하나의 에지 단말이, 상기 복수의 촬영 이미지 각각에 대하여 사람 객체를 추출하여 포즈를 추정하여 복수의 포즈 정보를 생성하는 단계;
b) 상기 동작 인식 서버가, 상기 복수의 포즈 정보를 서로 다른 시간 인터벌로 그룹화 하고, 상기 서로 다른 시간 인터벌로 그룹화된 포즈 정보들에 대하여 스켈레톤 데이터를 대상으로 딥 러닝 모델을 적용하여 동작을 인식하는 단계;
c) 상기 동작 인식 서버가, 추정된 동작을 기 설정된 알림 이벤트 요건과 비교하여, 추정된 동작이 알림 이벤트 요건에 대응되는 경우 보호자 단말에게 해당 알림 이벤트를 제공하는 단계;
d) 상기 병원 서버가, 상기 적어도 하나의 에지 단말로부터 상기 복수의 촬영 이미지를 제공받아 학습 데이터와 미학습 데이터로 구분하는 단계; 및,
e) 상기 병원 서버가, 미학습 데이터로 분류된 촬영 이미지에 대하여 포즈 추정을 수행한 후 이를 기초로 동작 인식에 대한 학습 데이터로서 설정하는 단계;를 포함하며,
상기 b) 단계는 상기 동작 인식 서버가,
상기 포즈 정보 -상기 포즈 정보는 복수의 프레임 각각에 대한 추정 포즈를 포함함- 를 제1 시간 인터벌로 구분하고, 구분된 제1 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제1 시간 인터벌에 대한 제1 추정 동작을 추정하는 단계; 상기 포즈 정보를 상기 제1 시간 인터벌 보다 더 긴 제2 시간 인터벌로 구분하고, 구분된 제2 시간 인터벌 동안의 추정 포즈의 변화를 기초로 상기 제2 시간 인터벌에 대한 제2 추정 동작을 추정하는 단계; 및, 상기 제1 인터벌 분석부로부터 상기 제1 추정 동작을, 상기 제2 인터벌 분석부로부터 상기 제2 추정 동작을 제공받고, 상기 제1 추정 동작 및 상기 제2 추정 동작을 기초로 동작의 시작 및 끝을 인식하고, 인식된 시작과 끝 사이의 환자의 동작을 추정하는 단계;를 포함하는 영상 분석 기반의 환자 동작 모니터링 방법.
- 삭제
- 제8항에 있어서,
상기 적어도 하나의 에지 단말과 상기 병원 서버는, 내부 인트라넷 또는 외부와 이격된 보안 네트워크로 연결되고,
상기 적어도 하나의 에지 단말과 상기 동작 인식 서버는, 공개 인터넷을 통하여 연결되는 영상 분석 기반의 환자 동작 모니터링 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210147982A KR102397248B1 (ko) | 2021-11-01 | 2021-11-01 | 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210147982A KR102397248B1 (ko) | 2021-11-01 | 2021-11-01 | 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102397248B1 true KR102397248B1 (ko) | 2022-05-13 |
Family
ID=81583576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210147982A KR102397248B1 (ko) | 2021-11-01 | 2021-11-01 | 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102397248B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102510049B1 (ko) * | 2022-07-25 | 2023-03-14 | 주식회사 컴플렉시온 | 맞춤형 콘텐츠를 제공하는, 분산학습 기반 시스템 |
| CN116013548A (zh) * | 2022-12-08 | 2023-04-25 | 广州视声健康科技有限公司 | 基于计算机视觉的智慧病房监测方法和装置 |
| KR102531977B1 (ko) * | 2022-05-17 | 2023-05-15 | 한국전자기술연구원 | 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120095647A (ko) * | 2011-02-21 | 2012-08-29 | 부경대학교 산학협력단 | 홈 헬스케어 모니터링 장치 및 방법 |
| KR20200056602A (ko) | 2018-11-15 | 2020-05-25 | 송응열 | 객체 움직임 인식 방법 및 장치 |
| KR20210041464A (ko) * | 2019-10-07 | 2021-04-15 | 요타코퍼레이션(주) | 실시간 동작추적을 통한 인공지능 기반의 낙상 예방 장치 및 방법 |
| KR20210053534A (ko) * | 2019-11-04 | 2021-05-12 | 주식회사 넥스트케이 | 딥러닝기반 행동인식장치 및 그 장치의 구동방법 |
-
2021
- 2021-11-01 KR KR1020210147982A patent/KR102397248B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120095647A (ko) * | 2011-02-21 | 2012-08-29 | 부경대학교 산학협력단 | 홈 헬스케어 모니터링 장치 및 방법 |
| KR20200056602A (ko) | 2018-11-15 | 2020-05-25 | 송응열 | 객체 움직임 인식 방법 및 장치 |
| KR20210041464A (ko) * | 2019-10-07 | 2021-04-15 | 요타코퍼레이션(주) | 실시간 동작추적을 통한 인공지능 기반의 낙상 예방 장치 및 방법 |
| KR20210053534A (ko) * | 2019-11-04 | 2021-05-12 | 주식회사 넥스트케이 | 딥러닝기반 행동인식장치 및 그 장치의 구동방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102531977B1 (ko) * | 2022-05-17 | 2023-05-15 | 한국전자기술연구원 | 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 |
| WO2023224169A1 (ko) * | 2022-05-17 | 2023-11-23 | 한국전자기술연구원 | 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 |
| KR102510049B1 (ko) * | 2022-07-25 | 2023-03-14 | 주식회사 컴플렉시온 | 맞춤형 콘텐츠를 제공하는, 분산학습 기반 시스템 |
| CN116013548A (zh) * | 2022-12-08 | 2023-04-25 | 广州视声健康科技有限公司 | 基于计算机视觉的智慧病房监测方法和装置 |
| CN116013548B (zh) * | 2022-12-08 | 2024-04-09 | 广州视声健康科技有限公司 | 基于计算机视觉的智慧病房监测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102397248B1 (ko) | 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법 | |
| Alhimale et al. | The implementation of an intelligent and video-based fall detection system using a neural network | |
| Zhao et al. | Convolutional long short-term memory model for recognizing construction workers’ postures from wearable inertial measurement units | |
| Alvarez et al. | Behavior analysis through multimodal sensing for care of Parkinson’s and Alzheimer’s patients | |
| Tao et al. | Privacy-preserved behavior analysis and fall detection by an infrared ceiling sensor network | |
| Anitha et al. | Posture based health monitoring and unusual behavior recognition system for elderly using dynamic Bayesian network | |
| Harrou et al. | Malicious attacks detection in crowded areas using deep learning-based approach | |
| Xiang et al. | Remote safety monitoring for elderly persons based on omni-vision analysis | |
| Espinosa et al. | Application of convolutional neural networks for fall detection using multiple cameras | |
| ElHelw et al. | An integrated multi-sensing framework for pervasive healthcare monitoring | |
| Varshney et al. | Rule-based multi-view human activity recognition system in real time using skeleton data from RGB-D sensor | |
| Saeedi et al. | A signal-level transfer learning framework for autonomous reconfiguration of wearable systems | |
| Gong et al. | Adapting to unknown conditions in learning-based mobile sensing | |
| KR20220039373A (ko) | 스마트 축사 시스템 및 그를 이용한 축사 모니터링 방법 | |
| Hall et al. | Designing a video monitoring system for AAL applications: The SPHERE case study | |
| Haller et al. | Human activity recognition based on multiple kinects | |
| Calow et al. | Efficient encoding of natural optic flow | |
| Fernando et al. | Computer vision based privacy protected fall detection and behavior monitoring system for the care of the elderly | |
| Raza et al. | Vision-based approach to assess performance levels while eating | |
| Andrews et al. | Human Detection and Biometric Authentication with Ambient Sensors | |
| Nath et al. | Tracking for quantifying social network of Drosophila melanogaster | |
| Patil et al. | Review on human activity recognition for military restricted areas | |
| Álvarez-Meza et al. | Video analysis based on multi-kernel representation with automatic parameter choice | |
| KR102560480B1 (ko) | 시공간 행동 인지 ai 모델링 서비스를 지원하는 시스템 및 방법 | |
| Romaissa et al. | Vision-based fall detection using body geometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |