KR20230069363A - 인공지능을 이용한 환자의 이상 행동 탐지 시스템 - Google Patents
인공지능을 이용한 환자의 이상 행동 탐지 시스템 Download PDFInfo
- Publication number
- KR20230069363A KR20230069363A KR1020210155328A KR20210155328A KR20230069363A KR 20230069363 A KR20230069363 A KR 20230069363A KR 1020210155328 A KR1020210155328 A KR 1020210155328A KR 20210155328 A KR20210155328 A KR 20210155328A KR 20230069363 A KR20230069363 A KR 20230069363A
- Authority
- KR
- South Korea
- Prior art keywords
- patient
- abnormal behavior
- detected
- target patient
- behavior
- Prior art date
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 78
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 201000010099 disease Diseases 0.000 claims abstract description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 18
- 208000020016 psychiatric disease Diseases 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 7
- 238000005452 bending Methods 0.000 claims description 5
- 208000024891 symptom Diseases 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 4
- 208000031294 Upper limb fractures Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000037230 mobility Effects 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010061599 Lower limb fracture Diseases 0.000 description 2
- 206010033892 Paraplegia Diseases 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 208000021421 Arm injury Diseases 0.000 description 1
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 206010023509 Kyphosis Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Emergency Management (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 환자의 이상 행동이 탐지되면 간호사 또는 보호자에게 경고 메시지를 송신하여 환자의 이상행동에 따른 사고를 사전에 예방하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템에 관한 것으로서, 환자의 이름, 식별 번호, 안면 이미지를 포함한 기본 정보와, 환자의 나이, 병명 및 환부에 따라 배정된 관찰 등급이 저장되는 환자 정보 DB와 상기 기본 정보를 이용하여 카메라의 촬영 영상에 포함된 타겟 환자(들)의 이상 행동을 탐지하되, 상기 관찰 등급에 기초하여 촬영 영상 내 타겟 환자(들)의 탐지 빈도를 달리하는 탐지 모듈 및 환자의 이상 행동이 탐지되면, 모니터링 단말로 경고 메시지를 송신하는 알람 모듈을 포함할 수 있다.
Description
본 발명은 인공지능을 이용한 환자의 이상 행동 탐지 시스템에 관한 것으로, 더욱 상세하게는 의료기관 내 설치된 카메라의 촬영 영상을 통해 타겟 환자의 이상 행동을 관찰 등급에 기초하여 서로 다른 주기에 따라 탐지하고, 환자의 이상 행동이 탐지되면 간호사 또는 보호자에게 경고 메시지를 송신하여 환자의 이상행동에 따른 사고를 사전에 예방할 수 있는 환자의 이상 행동 탐지 시스템에 관한 것이다.
최근 의료 과학의 발전과 인간 수명의 증가에 따른 노령인구가 증가하면서 노령인구에 대한 의료복지혜택에 관심이 높아지고 있다. 그와 비례하여, 많은 노령자 및 신체활동이 부자유스러운 사람들이 홀로 거주하는 현상이 증가하고 있으며, 이와 관련하여 실버산업이 급속도로 발전하고 있는데, 그 하나가 환자를 감시할 수 있는 모니터링 시스템을 통하여 이상 발생시에 의료센터나 친인척들에게 자동으로 구급 통보를 할 수 있는 시스템의 개발되었다.
그러나 종래의 환자 감시 모니터링 시스템은 병실을 단순 모니터링 하는 경우가 대부분이며, 보양원이나 양로원 또는 노인지정병원 등의 경우의 독거 노인, 장기요양환자, 치매증상이나 정신질환을 가지고 있는 지각능력 저하 장애자 등과 같이 스스로 자신을 돌볼 수 없는 무의탁 노인/환자는 별도의 노인 요양병원이나 정신병원 등에 입원시켜 담당 의사나 간호사들이 이들과 함께 생활하면서 돌보고 있다. 무의탁 노인/환자가 담당의사나 간호사 없이 스스로 해결할 수 없는 긴급한 상황이 발생하면 직접 휴대폰 또는 긴급 연락용 단말기기 등을 이용하여 연락을 취하여야 하나 직접적으로 조작할 수조차 없는 경우가 번번히 발생되어 심각한 문제가 발생하기도 하였다.
특히, 거동이 불편한 환자가 관리가 소홀한 야간 취침시에 환자용 침대에서 갑작스럽게 낙상하는 경우에는 환자 스스로가 별도의 조치를 취할 수조차 없어 낙상 자체로 큰 사고로 이어지는 경우가 발생하기도 하였다. 다시 말해, 거동이 불편한 무의탁 노인/환자가 야간에 취침시에 환자용 침대에서 낙상하는 경우에 있어 사전에 대응이 미흡하여 신변 파악과 신속한 조치가 이루어지지 않아 여러 위험요소에 노출되는 심각한 문제가 있었다.
한편, 병원 등의 의료기관 내에서 발생하는 환자의 안전사고 중 40%는 병실 침상 또는 거동이 불편한 환자가 이동중에 발생하는 낙상 사고에 해당된다. 낙상 사고는 환자가 침상 또는 휠체어와 같은 기구에서 떨어져 사고를 당하는 것을 의미한다.
낙상 사고는 대개 환자가 침대의 사이드레일을 내린 후 침상에서 내려올 때나, 휠체어에서 내릴 때 발생한다. 그 결과, 의료기관과 환자/보호자 사이의 법적 분쟁이 빈번하게 발생한다. 보건복지부는 낙상 사고에 대한 안전 주의경보를 내렸으며, 의료기관 역시 최근 보다 적극적인 예방 및 관리를 시도하고 있다.
대한민국 공개특허 제10-2011-0131626호는 환자의 낙상을 방지 또는 보호용 침대 및 관리 시스템에 관한 기술이 개시되어 있다.
본 발명이 해결하고자 하는 과제는 촬영된 영상을 통해 타겟 환자의 이상 행동을 관찰 등급에 기초하여 탐지하고, 환자의 이상 행동이 탐지되면 간호사 또는 보호자에게 경고 메시지를 송신하여 환자의 이상행동에 따른 사고를 사전에 예방하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 인공지능을 이용한 환자의 이상 행동 탐지 시스템은 환자의 이름, 식별 번호, 안면 이미지를 포함한 기본 정보와, 환자의 나이, 병명 및 환부에 따라 배정된 관찰 등급이 저장되는 환자 정보 DB와 상기 기본 정보를 이용하여 카메라의 촬영 영상에 포함된 타겟 환자(들)의 이상 행동을 탐지하되, 상기 관찰 등급에 기초하여 촬영 영상 내 타겟 환자(들)의 탐지 빈도를 달리하는 탐지 모듈 및 환자의 이상 행동이 탐지되면, 모니터링 단말로 경고 메시지를 송신하는 알람 모듈을 포함할 수 있다.
본 발명의 시스템은 낙상 사고의 영상으로부터 낙상 사고 직전의 징후 행동을 이상 행동으로 지정 받되(get annotations), 환자의 나이, 병명 및 환부의 종류와 함께 지정 받는 머신러닝 모듈을 더 포함하며, 상기 탐지 모듈은, 촬영 영상에서 인식한 행동을 상기 머신러닝 모듈에 의해 구축된 이상 행동 DB와 비교함으로써 이상 행동을 탐지할 수도 있다.
상기 징후 행동은, 침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 비트는 행위, 침상 또는 휠체어의 환자가 소정 범위 이상으로 팔 또는 다리를 내미는 행위, 침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 하향으로 굽히는 행위를 포함할 수도 있다.
상기 탐지 모듈은, 정신질환계의 병명을 가지는 타겟 환자 A가 병실을 나선 것으로 탐지되면, 근접한 다른 카메라들의 영상을 이용하여 상기 타겟 환자 A를 연속적으로 탐지하되, 미리 설정된 시간 동안 상기 타겟 환자 A의 고개 돌림이 포착되지 않으면, 배회의 이상 행동으로 판단할 수도 있다.
상기 탐지 모듈은, 정신질환계의 병명을 가지는 타겟 환자 A가 병실을 나선 것으로 탐지되면, 상기 타겟 환자 A의 착용 의류를 더 인식하되 상기 타겟 환자 A가 환자복을 입은 상태로 환자의 외부 출입 현관에 진입하는 것이 포착되면, 배회의 이상 행동으로 판단할 수도 있다.
상기 탐지 모듈은, 정신질환계의 병명을 가지는 타겟 환자 B가 병실을 나선 것으로 탐지되면, 근접한 다른 카메라들의 영상을 이용하여 상기 타겟 환자 B의 이동 경로를 탐지하되, 상기 타겟 환자 B가 위험 구역 또는 보안 구역에 진입하려는 행동이 탐지되면 침입의 이상 행동으로 판단할 수도 있다.
상기 탐지 모듈은, 촬영 영상에서 타겟 환자와 미리 설정된 거리 이내에서 간병인 또는 간호사가 탐지되는 경우, 이상 행동의 탐지를 수행하지 않을 수도 있다.
상기 탐지 모듈은, 적외선 센서로부터 실내의 행동이 포착되면, 카메라의 촬영 영상에서 소정의 시간 동안 카메라를 응시하는 타겟 환자를 탐지하고, 탐지된 타겟 환자의 안면 인식을 통해 타겟 환자를 식별하며, 상기 알람 모듈은, 상기 식별된 타겟 환자의 정보가 포함된 도움 요청 알람 메시지를 간호사 또는 간병인의 이동 단말로 송신할 수도 있다.
상기 탐지 모듈은, 동일한 대상에 대하여 카메라A가 촬영한 제1해상도의 영상을 이용하여 타겟 환자(들)의 안면 인식을 수행하고, 동일한 대상에 대하여 카메라B가 촬영한 제2해상도의 영상을 이용하여 스켈리톤 행동 분석을 수행하며, 상기 제2해상도는 상기 제1해상도보다 낮을 수도 있다.
본 발명의 실시예에 의하면 촬영된 영상을 통해 타겟 환자의 이상 행동을 관찰 등급에 기초하여 탐지하고, 환자의 이상 행동이 탐지되면 간호사 또는 보호자에게 경고 메시지를 송신하여 환자의 이상행동에 따른 사고를 사전에 예방할 수 있다.
도 1은 실시예1에 따른 인공지능을 이용한 환자의 이상 행동 탐지 시스템의 블록도이다.
도 2는 실시예1의 탐지모듈이 환자의 이상 행동을 판단하는 방식을 나타낸 도면이다.
도 3은 실시예1의 탐지 모듈이 환자의 이상 행동을 분석하는 방식을 나타낸 도면이다.
도 4는 실시예2의 탐지 모듈에서 환자의 식별 및 이상 행동을 분석하는 방식을 나타낸 블록도이다.
도 5는 실시예 3에 따른 시스템에서 환자의 도움 요청을 알람하는 과정을 나타낸 도면이다.
도 6은 실시예4에 따른 시스템의 블록도이다.
도 2는 실시예1의 탐지모듈이 환자의 이상 행동을 판단하는 방식을 나타낸 도면이다.
도 3은 실시예1의 탐지 모듈이 환자의 이상 행동을 분석하는 방식을 나타낸 도면이다.
도 4는 실시예2의 탐지 모듈에서 환자의 식별 및 이상 행동을 분석하는 방식을 나타낸 블록도이다.
도 5는 실시예 3에 따른 시스템에서 환자의 도움 요청을 알람하는 과정을 나타낸 도면이다.
도 6은 실시예4에 따른 시스템의 블록도이다.
이하 본 발명의 몇 가지 실시예들을 도면을 이용하여 상세히 설명한다. 다만 이것은 본 발명을 어느 특정한 실시예에 대해 한정하려는 것이 아니며 본 발명의 기술적 사상을 포함하는 모든 변형(transformations), 균등물(equivalents) 및 대체물(substitutions)은 본 발명의 범위에 포함되는 것으로 이해되어야 한다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서 어느 한 구성이 어떤 서브 구성을 "구비(have)" 또는 "포함(comprise)" 한다고 기재한 경우, 특별히 반대되는 기재가 없는 한 다른(other) 구성을 제외하는 것이 아니라 다른 구성을 더 포함할 수도 있음을 의미한다.
본 명세서에서 "...유닛(Unit)", "...모듈(Module)" 및 "컴포넌트(Component)"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다.
도 1은 실시예1에 따른 인공지능을 이용한 환자의 이상 행동 탐지 시스템의 블록도이다.
실시예1의 시스템은 카메라(1)의 촬영 영상에 포함된 타겟 환자의 이상 행동을 관찰 등급에 기초하여 탐지하고, 환자의 이상 행동이 탐지되면 모니터링 단말(2)로 경고 메시지를 송신하여 환자의 이상행동에 따른 사고를 사전에 예방한다.
실시예1의 시스템은 환자 정보 DB(110), 탐지 모듈(120) 및 알람 모듈(130)을 포함한다.
환자 정보 DB(110)에는 환자의 이름, 식별 번호, 안면 이미지를 포함한 기본 정보가 저장된다. 환자 정보 DB(110)에 저장되는 기본 정보는 의료기관에 최초로 입원할 때 환자 또는 보호자에 의해 입력될 수 있으며, 안면 이미지는 의료기관에 구비된 카메라(1)에 의해 촬영될 수도 있다. 환자가 퇴원 후 일정 기간 내에 다시 입원할 경우 기본 정보는 새로 입력하지 않고 환자 정보 DB(110)에 저장된 정보를 사용하되 안면 이미지만 새롭게 촬영할 수도 있다.
환자 정보 DB(110)에는 환자의 나이, 병명 및 환부에 따라 배정된 관찰 등급이 저장된다. 관찰 등급은 낙상 또는 이상 행동에 의한 위험 발생 기준에 기초하여 결정된다. 예를 들면, 환자의 나이가 많은 경우 나이가 적은 경우보다 관찰 등급이 높게 설정되어 저장될 수도 있고, 환자의 병명(즉, 정신 질환 또는 골절 등)에 따라 관찰 등급이 다르게 설정되어 저장될 수도 있다. 또한, 환자 정보 DB(110)에는 환부 즉, 팔, 다리 또는 허리 등의 골절 부위에 따라서 관찰 등급이 다르게 설정되어 저장될 수도 있다. 관찰 등급은 의료기관에 따라 범주가 다르게 설정될 수도 있으며, 관찰 등급의 표기 방식도 의료기관에 따라 다르게 표기될 수도 있다.
탐지 모듈(120)은 환자 정보 DB(110)에 저장된 환자의 기본 정보를 이용하여 카메라(1)의 촬영 영상에 포함된 타겟 환자(들)의 이상 행동을 탐지한다.
예컨대, 카메라(1)는 병실, 복도, 계단, 로비, 식당, 매점 등 병원의 모든 구역에 설치될 수 있으며, 탐지 모듈(120)은 의료기관 내에 설치된 적어도 하나의 카메라(1)에서 촬영된 영상을 분석하여 환자 정보 DB(110)에 저장된 안면 이미지를 통해 타겟 환자(들)을 결정한다. 그리고 탐지 모듈(120)은 설정된 타겟 환자의 행동을 분석하여 환자의 이상 행동을 탐지한다.
탐지 모듈(120)은 침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 비트는 행위, 침상 또는 휠체어의 환자가 소정 범위 이상으로 팔 또는 다리를 내미는 행위, 침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 하향으로 굽히는 행위 중 적어도 하나를 이상 행동으로 탐지할 수 있으며, 상기에서 나열한 행동 외에 다른 특이 행동들도 이상 행동으로 탐지할 수도 있다.
탐지 모듈(120)은 관찰 등급에 기초하여 촬영 영상 내 타겟 환자(들)의 탐지 빈도를 달리할 수 있다. 즉, 탐지 모듈(120)은 관찰 등급이 높은 환자의 경우 관찰 등 급이 낮은 환자보다 탐지 빈도를 짧게 설정할 수 있다.
예컨대, 나이가 젊은 환자는 나이가 많은 환자에 비해 낙상에 대한 우려가 적기 때문에 낙상 징후에 대한 이상 행동 탐지를 자주할 필요가 없다. 또한, 정신질환계 환자는 외상 환자에 비해 낙상의 우려가 적기 때문에 낙상 징후에 대한 탐지를 자주할 필요 없다. 정신질환계 환자는 목적지 없는 배회를 자주하기 때문에 통상의 환자에 비해 배회, 침입 탐지(예를 들면, 출입 금지 구역)를 자주 해야 한다. 팔 부상 환자는 하반신 마비 환자에 비해 낙상 발생이 드물게 발생하기 때문에 낙상 탐지를 자주할 필요가 없다.
탐지 모듈(120)은 촬영 영상에서 타겟 환자와 미리 설정된 거리 이내에서 간병인 또는 간호사가 탐지되는 경우, 이상 행동의 탐지를 수행하지 않을 수도 있다. 이 경우, 타겟 환자가 이상 행동을 보이더라도 주변의 간병인 또는 간호사로부터 신속한 조치가 가능하기 때문에 탐지 모듈(120)은 주변에 간병인 또는 간호사가 탐지되면 타겟 환자의 이상 행동을 탐지하지 않는다.
알람 모듈(130)은 탐지 모듈(120)에서 환자의 이상 행동이 탐지되면, 모니터링 단말(2)로 경고 메시지를 송신한다.
모니터링 단말(2)은 의료기관 내에서 환자를 관리하는 직원 또는 보호자(예를 들면 간병인)가 확인할 수 있는 단말(2)로서 간호사실의 관제PC, 간호사 또는 간병인의 이동 단말(2)을 포함할 수 있다.
모니터링 단말(2)은 랩탑 컴퓨터(Laptop Computer), 스마트 폰(Smart Phone), 태블릿(Tablet) PC, PDA(Personal Digital Assistant), EDA(Enterprise Digital Assistant), 모바일 인터넷 장치(Mobile Internet Device(MID)) 및 e-북(e-Book) 중 적어도 하나를 포함할 수 있다.
도 2는 실시예1의 탐지모듈이 환자의 이상 행동을 판단하는 방식을 나타낸 도면이다.
도 1 및 도 2를 참조하면, 카메라(1)는 환자의 병실, 복도, 계단, 로비, 식당, 매점 등 병원의 모든 구역에 맵 형태로 설치된다.
탐지 모듈(120)은 정신질환계의 병명을 가지는 타겟 환자 A가 병실을 나선 것으로 탐지되면, 근접한 다른 카메라(1)들의 영상을 이용하여 상기 타겟 환자 A를 연속적으로 탐지하여 타겟 환자 A의 동선 및 이동 속도 중 적어도 하나를 파악한다.
탐지 모듈(120)은 정신질환계의 병명을 가지는 타겟 환자 A의 동선 및 이동 속도가 평상시 타겟 환자 A의 동선 및 이동 속도와 다를 경우 타겟 환자 A의 배회의 이상 행동으로 판단한다.
또한, 탐지 모듈(120)은 정신질환계의 병명을 가지는 타겟 환자 A가 미리 설정된 시간 동안 고개 돌림이 포착되지 않으면 배회의 이상 행동으로 판단한다.
탐지 모듈(120)은 정신질환계의 병명을 가지는 타겟 환자 A가 병실을 나선 것으로 탐지되면 타겟 환자 A의 착용 의류를 더 인식한다, 그리고 탐지 모듈(120)은 타겟 환자 A가 환자복을 입은 상태로 환자의 외부 출입 현관에 진입하는 것이 포착되면, 배회의 이상 행동으로 판단한다.
탐지 모듈(120)은 정신질환계의 병명을 가지는 타겟 환자 B가 병실을 나선 것으로 탐지되면, 근접한 다른 카메라(1)들의 영상을 이용하여 상기 타겟 환자 B의 이동 경로를 탐지한다. 그리고 탐지 모듈(120)은 타겟 환자 B가 위험 구역 또는 보안 구역에 진입하려는 행동이 탐지되면 침입의 이상 행동으로 판단한다.
도 3은 실시예1의 탐지 모듈(120)이 환자의 이상 행동을 분석하는 방식을 나타낸 도면이다.
도 1 및 도 3을 참조하면, 탐지 모듈(120)은 카메라(1)에서 촬영된 영상을 이용하여 타겟 환자의 스켈리톤(skeleton) 행동을 분석한다. 탐지 모듈(120)은 스켈리톤 행동 분석을 위해 카메라(1)에서 획득한 타겟 환자의 움직임에서 환자의 발목, 무릎, 엉덩이, 손목, 팔꿈치, 어깨, 턱 또는 이마의 정보를 포함하는 스켈리톤 정보로 변환하여 스켈리톤 정보를 추출하고, 추출된 정보를 수치화하여 저장한다. 탐지 모듈(120)은 인체 골격에 대응하는 20개의 스켈레톤을 초당 30회 추출하여 동작 분석을 위한 신체정보에 매칭시켜 자세분석을 수행함으로써 스켈리톤 행동을 분석 할 수도 있다.
탐지 모듈(120)은 스켈리톤 행동 분석을 통해 환자의 움직임 또는 동작 정보에 의해 신체 균형(body balance/posture)을 중심으로 체형에 대한 자세분석(Posture Analysis) 및 범위를 분석할 수 있음은 물론, 키넥트로 촬영된 체형 및 자세의 이미지를 수치화하여 분석할 수 있게 된다.
탐지 모듈(120)은 스켈레톤 추출정보를 통하여, 머리(HEAD) 기울기, 어깨(Shoulder) 좌우 높이 차이, 골반(Pelvis) 좌우 높이 차이, Toe in/out Gait, HEAD Forward Posture Level, Kyphosis Level, Step Length, Step Length 좌우 비율 차이, Arm Swing 좌우 비율 차이 등을 분석할 수 있다.
탐지 모듈(120)은 스켈리톤 분석을 통해 타겟 환자로부터 침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 비트는 행위, 침상 또는 휠체어의 환자가 소정 범위 이상으로 팔을 내미는 행위, 침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 하향으로 굽히는 행위 등을 포착하여 타겟 환자의 이상 행동을 탐지한다.
도 4는 실시예2의 탐지 모듈(220)에서 환자의 식별 및 이상 행동을 분석하는 방식을 나타낸 블록도이다.
실시예에2서는 카메라 A(1-1) 및 카메라 B(1-2)가 구비된다. 카메라 A(1-1) 및 카메라 B(1-2)는 셋트로 구성되어 환자의 병실, 복도, 계단, 로비, 식당, 매점 등 병원의 모든 구역에 설치된다.
카메라 A(1-1)는 고해상도 카메라(1)일 수 있으며, 카메라 B(1-2)는 저해상도 카메라(1)일 수 있다.
탐지 모듈(220)은 카메라 A(1-1)에서 촬영된 고해상도 영상을 이용하여 환자(들)의 안면 인식을 수행한다. 탐지 모듈(220)은 환자의 안면 인식을 통해 타겟 환자를 판별하면 동일한 대상에 대해서 카메라(1)B가 촬영한 저해상도의 영상을 이용하여 스켈리톤 행동 분석을 수행한다.
도 5는 실시예3에 따른 시스템에서 환자의 도움 요청을 알람하는 과정을 나타낸 도면이다.
실시예3에서는 적외선 센서(IR)가 더 포함된다. 적외선 센서(IR)는 병실 내부에 카메라(1)와 함께 설치된다. 실시예3에서는 설명의 편의를 위해 적외선 센서(IR)와 카메라(1)를 구분하여 설명하지만 카메라(1)에 적외선 센서(IR)가 내장되어도 무방하다.
적외선 센서(IR)는 움직임을 감지하여 실내에 있는 환자의 실내 행동을 포착한다. 예컨대, 적외선 센서(IR)는 취침 시간에 환자의 기상 및 인기척을 포착한다.
탐지 모듈(320)은 적외선 센서(IR)로부터 환자의 실내 행동이 포착되면 카메라(1)에서 촬영된 영상에서 도움 요청 행동 패턴을 인식하여 타겟 환자를 식별한다. 도움 요청 행동 패턴은 환자와의 약속된 행동으로 소정 시간 동안 카메라(1)를 응시하하거나 한 팔을 좌우로 크게 흔드는 행위 등을 포함할 수 있다.
알람 모듈(330)은 탐지 모듈(320)에서 식별된 타겟 환자의 정보가 포함된 도움 요청 알람 메시지를 모니터링 단말(2), 간호사 또는 간병인의 이동 단말(2)로 경고 메시지를 송신한다.
도 6은 실시예4에 따른 시스템의 블록도이다.
실시예4의 카메라(1), 모니터링 단말(2), 환자 정보 DB(410), 알람 모듈(430)은 실시예1 내지 실시예3의 실시예4의 카메라(1), 모니터링 단말(2), 환자 정보 DB(110), 알람 모듈(130, 330)과 동일하므로 중복된 설명을 생략하며 머신러닝 모듈(440)에 대해서 설명한다. 실시예4의 탐지 모듈(420)의 기능은 기본적으로 실시예1 내지 실시예3의 탐지 모듈(120, 220, 320)과 동일하며 머신러닝 모듈(440)과 연관된 기능이 추가된다.
실시예4의 시스템은 머신러닝 모듈(440) 및 이상 행동 DB(441)를 더 포함한다.
머신러닝 모듈(440)은 낙상 사고 영상으로부터 낙상 사고 직전의 징후 행동을 이상 행동으로 지정 받아(get annotations) 머신 러닝 한다.
낙상 사고 영상은 의료기관에 설치된 카메라(1)로부터 촬영된 영상일 수도 있고, 인터넷 망을 통해 다운로드 받은 영상일 수도 있다.
머신러닝 모듈(440)은 낙상 사고 직전의 징후 행동을 이상 행동으로 지정 받을 때, 영상 속 환자의 나이, 병명 및 환부의 종류와 함께 지정 받는다.
예컨대, 머신러닝 모듈(440)은 나이가 젊은 환자는 나이가 많은 환자에 비해 허리를 구부리는 각도가 더 구부러져도 충분히 지탱할 힘이 있기 때문에 이상 행동의 판단 기준을 다르게 학습한다. 머신러닝 모듈(440)은 내과에 입원한 환자와 외과에 입원한 환자의 이상 행동의 판단 기준을 다르게 학습한다. 머신러닝 모듈(440)은 팔 골절 환자와 다리 골절 환자의 이상 행동의 판단 기준을 다르게 학습한다.
머신러닝 모듈(440)은 하반신 마비 환자 또는 다리 골절 환자는 침상에서 일어나는 것은 문제없으나 무엇인가를 잡기 위해 팔을 길게 내밀다가 신체 균형이 무너질 수 있기 때문에 해당 환자의 경우 허리를 굽히는 행위를 볼 것이 아니라 팔을 내미는 행위를 이상 행동의 판단 기준으로 학습한다.
머신러닝 모듈(440)은 팔 골절 환자의 경우 아픈 팔로 무엇인가를 짚고 일어나려고 시도하는 행위 중에 낙상 가능하므로, 팔 골절 환자는 팔로 무엇인가를 짚으려는 행위를 이상 행동의 판단 기준으로 학습한다.
이상 행동 DB(441)에는 머신러닝 모듈(440)에서 생성된 학습 모델들이 저장된다. 이상 행동 DB(441)는 머신러닝 모듈(440)에서 학습 모델이 생성될 때마다 실시간으로 업데이트되거나 또는 미리 설정된 주기별로 업데이트된다.
탐지 모듈(420)은 촬영 영상에서 인식한 타겟 환자의 행동을 머신러닝 모듈(440)에 의해 구축된 이상 행동 DB(441)와 비교함으로써 타겟 환자의 이상 행동을 탐지한다.
이상에서는 본 발명에 관한 몇 가지 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 환자 정보 DB
120: 탐지 모듈
130: 알람 모듈
120: 탐지 모듈
130: 알람 모듈
Claims (9)
- 환자의 이름, 식별 번호, 안면 이미지를 포함한 기본 정보와, 환자의 나이, 병명 및 환부에 따라 배정된 관찰 등급이 저장되는 환자 정보 DB;
상기 기본 정보를 이용하여 카메라의 촬영 영상에 포함된 타겟 환자(들)의 이상 행동을 탐지하되, 상기 관찰 등급에 기초하여 촬영 영상 내 타겟 환자(들)의 탐지 빈도를 달리하는 탐지 모듈; 및
환자의 이상 행동이 탐지되면, 모니터링 단말로 경고 메시지를 송신하는 알람 모듈
을 포함하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제1항에 있어서,
낙상 사고의 영상으로부터 낙상 사고 직전의 징후 행동을 이상 행동으로 지정 받되(get annotations), 환자의 나이, 병명 및 환부의 종류와 함께 지정 받는 머신러닝 모듈을 더 포함하며,
상기 탐지 모듈은, 촬영 영상에서 인식한 행동을 상기 머신러닝 모듈에 의해 구축된 이상 행동 DB와 비교함으로써 이상 행동을 탐지하는 것을 특징으로 하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제2항에 있어서,
상기 징후 행동은,
침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 비트는 행위, 침상 또는 휠체어의 환자가 소정 범위 이상으로 팔 또는 다리를 내미는 행위, 침상 또는 휠체어의 환자가 소정 각도 이상으로 상체를 하향으로 굽히는 행위를 포함하는 것을 특징으로 하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제1항에 있어서,
상기 탐지 모듈은,
정신질환계의 병명을 가지는 타겟 환자 A가 병실을 나선 것으로 탐지되면, 근접한 다른 카메라들의 영상을 이용하여 상기 타겟 환자 A를 연속적으로 탐지하되, 미리 설정된 시간 동안 상기 타겟 환자 A의 고개 돌림이 포착되지 않으면, 배회의 이상 행동으로 판단하는 것을 특징으로 하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제1항에 있어서,
상기 탐지 모듈은,
정신질환계의 병명을 가지는 타겟 환자 A가 병실을 나선 것으로 탐지되면, 상기 타겟 환자 A의 착용 의류를 더 인식하되 상기 타겟 환자 A가 환자복을 입은 상태로 환자의 외부 출입 현관에 진입하는 것이 포착되면, 배회의 이상 행동으로 판단하는 것을 특징으로 하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제1항에 있어서,
상기 탐지 모듈은,
정신질환계의 병명을 가지는 타겟 환자 B가 병실을 나선 것으로 탐지되면, 근접한 다른 카메라들의 영상을 이용하여 상기 타겟 환자 B의 이동 경로를 탐지하되, 상기 타겟 환자 B가 위험 구역 또는 보안 구역에 진입하려는 행동이 탐지되면 침입의 이상 행동으로 판단하는 것을 특징으로 하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 탐지 모듈은,
촬영 영상에서 타겟 환자와 미리 설정된 거리 이내에서 간병인 또는 간호사가 탐지되는 경우, 이상 행동의 탐지를 수행하지 않는 것을 특징으로 하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제1항에 있어서,
상기 탐지 모듈은,
적외선 센서로부터 실내의 행동이 포착되면, 카메라의 촬영 영상에서 소정의 시간 동안 카메라를 응시하는 타겟 환자를 탐지하고, 탐지된 타겟 환자의 안면 인식을 통해 타겟 환자를 식별하며,
상기 알람 모듈은, 상기 식별된 타겟 환자의 정보가 포함된 도움 요청 알람 메시지를 간호사 또는 간병인의 이동 단말로 송신하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템. - 제1항에 있어서,
상기 탐지 모듈은,
동일한 대상에 대하여 카메라A가 촬영한 제1해상도의 영상을 이용하여 타겟 환자(들)의 안면 인식을 수행하고, 동일한 대상에 대하여 카메라B가 촬영한 제2해상도의 영상을 이용하여 스켈리톤 행동 분석을 수행하며,
상기 제2해상도는 상기 제1해상도보다 낮은 것을 특징으로 하는 인공지능을 이용한 환자의 이상 행동 탐지 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210155328A KR102608941B1 (ko) | 2021-11-12 | 2021-11-12 | 인공지능을 이용한 환자의 이상 행동 탐지 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210155328A KR102608941B1 (ko) | 2021-11-12 | 2021-11-12 | 인공지능을 이용한 환자의 이상 행동 탐지 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230069363A true KR20230069363A (ko) | 2023-05-19 |
| KR102608941B1 KR102608941B1 (ko) | 2023-12-01 |
Family
ID=86546893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210155328A KR102608941B1 (ko) | 2021-11-12 | 2021-11-12 | 인공지능을 이용한 환자의 이상 행동 탐지 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102608941B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102628689B1 (ko) * | 2023-07-04 | 2024-01-26 | 주식회사 클레버러스 | 이상행동 탐지 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110131626A (ko) | 2010-05-31 | 2011-12-07 | 주식회사 넷블루 | 환자 낙상 보호용 침대 및 관리 시스템 |
| KR101999213B1 (ko) * | 2019-03-28 | 2019-07-11 | 한국건설기술연구원 | 신호강도 패턴을 이용한 cctv 기반 행동 인식 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
| KR20190099185A (ko) * | 2017-05-25 | 2019-08-26 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 시스템 |
| US20200205697A1 (en) * | 2018-12-30 | 2020-07-02 | Altumview Systems Inc. | Video-based fall risk assessment system |
| JP2020194212A (ja) * | 2019-05-24 | 2020-12-03 | パラマウントベッド株式会社 | システム |
-
2021
- 2021-11-12 KR KR1020210155328A patent/KR102608941B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110131626A (ko) | 2010-05-31 | 2011-12-07 | 주식회사 넷블루 | 환자 낙상 보호용 침대 및 관리 시스템 |
| KR20190099185A (ko) * | 2017-05-25 | 2019-08-26 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 시스템 |
| US20200205697A1 (en) * | 2018-12-30 | 2020-07-02 | Altumview Systems Inc. | Video-based fall risk assessment system |
| KR101999213B1 (ko) * | 2019-03-28 | 2019-07-11 | 한국건설기술연구원 | 신호강도 패턴을 이용한 cctv 기반 행동 인식 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
| JP2020194212A (ja) * | 2019-05-24 | 2020-12-03 | パラマウントベッド株式会社 | システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102628689B1 (ko) * | 2023-07-04 | 2024-01-26 | 주식회사 클레버러스 | 이상행동 탐지 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102608941B1 (ko) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230222887A1 (en) | Machine learning based monitoring system | |
| JP6823160B2 (ja) | ベッド転落を予測及び防止する患者監視のためのデバイス、システム、及び方法 | |
| US9375142B2 (en) | Learning patient monitoring and intervention system | |
| El-Bendary et al. | Fall detection and prevention for the elderly: A review of trends and challenges | |
| US9501919B2 (en) | Method and system for monitoring the activity of a subject within spatial temporal and/or behavioral parameters | |
| JP5426428B2 (ja) | 患者状態情報管理システム | |
| US20070132597A1 (en) | Methods and systems for monitoring patient support exiting and initiating response | |
| US20070162304A1 (en) | Methods and systems for monitoring quality and performance at a healthcare facility | |
| CN110327051A (zh) | 一种基于云平台的护理型养老院的智能监护系统 | |
| US20190341147A1 (en) | Patient monitoring systems and methods | |
| JP6692987B2 (ja) | ベッド転落を予測及び防止する患者監視のためのデバイス、システム、及び方法 | |
| AU2022203004A1 (en) | System for recording, analyzing risk(s) of accident(s) or need of assistance and providing real-time warning(s) based on continuous sensor signals | |
| KR101712191B1 (ko) | 환자 낙상예방 모니터링 장치 | |
| US20240138775A1 (en) | Systems and methods for detecting attempted bed exit | |
| US20210219873A1 (en) | Machine vision to predict clinical patient parameters | |
| KR102608941B1 (ko) | 인공지능을 이용한 환자의 이상 행동 탐지 시스템 | |
| JP2019152914A (ja) | 保育施設児童見守りシステム及び情報処理方法 | |
| KR102546460B1 (ko) | Ai 기반 신체활동 인지 및 서비스 통합 플랫폼 | |
| CN113366529A (zh) | 护理记录装置、护理记录系统、护理记录程序及护理记录方法 | |
| AU2021106898A4 (en) | Network-based smart alert system for hospitals and aged care facilities | |
| CN115274089A (zh) | 一种护理风险评估预警方法及系统 | |
| CN115223089B (zh) | 儿童危险行为检测方法、装置、智能终端及存储介质 | |
| JP7327396B2 (ja) | 制御プログラム、レポート出力方法、およびレポート出力装置 | |
| EP4005466A1 (en) | Safety system and method for monitoring not self-sufficient persons | |
| US20240049991A1 (en) | Systems and methods for bed exit and fall detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |