KR102205964B1 - 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법 - Google Patents

듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법 Download PDF

Info

Publication number
KR102205964B1
KR102205964B1 KR1020200054007A KR20200054007A KR102205964B1 KR 102205964 B1 KR102205964 B1 KR 102205964B1 KR 1020200054007 A KR1020200054007 A KR 1020200054007A KR 20200054007 A KR20200054007 A KR 20200054007A KR 102205964 B1 KR102205964 B1 KR 102205964B1
Authority
KR
South Korea
Prior art keywords
patient
bed
visible light
information
camera
Prior art date
Application number
KR1020200054007A
Other languages
English (en)
Inventor
김민철
이준호
김혜진
김영광
권혁민
Original Assignee
주식회사 스위트케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스위트케이 filed Critical 주식회사 스위트케이
Priority to KR1020200054007A priority Critical patent/KR102205964B1/ko
Application granted granted Critical
Publication of KR102205964B1 publication Critical patent/KR102205964B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템이 개시된다. 본 발명의 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템은, 침대 위에 누워있는 환자가 침대 주변 바닥으로 낙상하는 것을 예방하는 시스템으로서, 침대와 침대 위의 환자를 서로 다른 각도로 촬영 가능한 제1 및 제2 가시광 카메라(110,120)와, 침대와 침대 위의 환자를 촬영 가능한 적외선 카메라(130)를 포함하며, 상기 카메라들로부터 수집된 영상을 통해 환자의 움직임을 포함하는 환자상태 정보와 침대의 상태를 포함하는 침대주변환경 정보를 감지 및 생성하고 이를 외부로 전송하는 단말부(100), 및 단말부(100)로부터 수신된 환자상태 정보 및 침대주변환경 정보를 분석하여 환자의 자세를 분석하고 또한 침대의 사이드레일이 업/다운(up/down) 되었는지 여부를 분석하여, 낙상 위험 여부에 대한 판단을 하고 또한 이에 대한 정보를 알림부(300)로 전송 가능한 제어부(200)를 포함한다. 본 발명에 의하면, 듀얼 카메라를 통해 각각 객체를 감지한 정보를 통해 3차원 기반의 3D Human Pose Estimation을 적용함으로써 하나의 카메라를 이용한 방식보다 객체 감지 성능을 향상시킬 수 있으며, 환자의 낙상 발생과 욕창 발생을 미리 예측하여 보호자에게 신속하게 알려서 신속한 대응이 가능하도록 할 수 있다.

Description

듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법{Fall prevention system and fall prevention method using dual camera and infrared camera}
본 발명은 환자가 침대에서 낙상하지 않도록 인공지능을 이용하여 낙상발생 가능성을 판단하고 판단 결과를 실시간으로 보호자에게 알려서 신속한 대처를 할 수 있도록 함과 더불어, 환자의 욕창발생 가능성을 감지하여 이에 대한 신속한 대응을 가능하게 할 수 있는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법에 관한 것이다.
최근 ICT기술의 발전과 고령화, 소득증대 등의 시대 흐름에 따라 헬스 케어(Health Care) 산업이 급성장세를 보이고 있다. 과거 헬스 케어 산업이 특정 환자에 대한 치료 중심이었다면 이제는 개인에 맞추어 일상적으로 관리 예방하는 영역으로 확대되고 있다.
최근 침대의 이용률이 높아지면서 사용자가 수면 중에 침대로부터 무의식적으로 이탈하여 지면으로 떨어지는 침대낙상사고가 빈번히 발생하고 있으며, 특히, 침대를 사용하는 유아, 노인, 환자 등은 침대 낙상 사고가 발생하지 않도록 보호자의 관찰이 필요하다.
이러한 침대 낙상 사고를 방지하기 위해, 이탈 방지용 사이드 레일이 구비된 침대가 있으나, 이탈 방지용 사이드 레일이 설치된 침대의 경우도 사용자의 편의에 따라 사이드 레일의 자유로운 해제가 가능하기 때문에 사이드 레일이 해제된 상태에서는 침대 낙상 사고를 방지하는 데 한계가 있다. 통계 결과 전체 낙상 사고의 64%가 병실의 침상 낙상이며, 이중 사이드 레일만 제대로 올라가 있어도 50%는 예방 가능한 것으로 조사되고 있다.
한편, 낙상을 감지하기 위한 종래기술 중 센서가 장착된 낙상 알림 기기를 환자의 몸에 착용하는 방식은 환자에게 불편을 주며, 배터리 충전에 대한 번거로움이 있다. 그리고, 침대 매트리스에 무게 감지 센서를 장착한 방식은 매트리스가 있거나 침상 위만 해당하는 범위가 협소하며, 빈번한 무게 변화 감지에 의한 빈번한 알림이 발생하여 정확도에 문제가 있다. 또한 영상 기반 감지방식은 다른 방식에 비해 감지 범위가 넓으며 착용의 불편함도 없으나, 어두운 병실 환경에서는 정확도가 낮은 한계가 있다. 또한, 종래 영상 기반 감지방식은 하나의 2D 카메라를 통해서 환자의 상태변화를 감지하고 있는바, 침대와 같은 입체 구조물상에서 환자의 위치 변화를 입체적으로 감지할 수 없는 단점이 있다.
대한민국 공개특허공보 제10-2018-0010441호(2018.1.31 공개)
본 발명은 상술한 종래의 문제점을 해결하기 위하여 안출된 것으로서, 2개의 가시광 카메라를 통해 각각 객체를 감지한 정보를 통해 3차원 기반의 3D Human Pose Estimation을 적용함으로써 하나의 카메라를 이용한 방식보다 객체 감지 성능을 향상시킬 수 있도록 하는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 2개의 카메라에 의한 가시광 영상정보와 적외선 카메라에 의한 열화상 영상정보를 교차 검증함으로써 환자의 위치의 검출 정확도를 높이고 특히 어두운 환경에서도 환자의 검출 정확도를 크게 향상시킬 수 있는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법을 제공하는 것을 다른 목적으로 한다.
본 발명의 일 측면에 따르면, 침대 위에 누워있는 환자가 침대 주변 바닥으로 낙상하는 것을 예방하는 시스템으로서, 침대와 침대 위의 환자를 서로 다른 각도로 촬영 가능한 제1 및 제2 가시광 카메라(110,120)와, 침대와 침대 위의 환자를 촬영 가능한 적외선 카메라(130)를 포함하며, 상기 카메라들로부터 수집된 영상을 통해 환자의 움직임을 포함하는 환자상태 정보와 침대의 상태를 포함하는 침대주변환경 정보를 감지 및 생성하고 이를 외부로 전송하는 단말부(100); 및, 상기 단말부(100)로부터 수신된 환자상태 정보 및 침대주변환경 정보를 분석하여 환자의 자세를 분석하고 또한 침대의 사이드레일이 업/다운(up/down) 되었는지 여부를 분석하여, 낙상 위험 여부에 대한 판단을 하고 또한 이에 대한 정보를 알림부(300)로 전송 가능한 제어부(200);를 포함한다. 여기서 상기 단말부(100)는 상기 제1 및 제2 가시광 카메라(110,120)의 영상과 상기 적외선 카메라(130)의 영상을 교차 검증하여 실제 환자가 있는 위치를 추정하여 선정하고, 이렇게 선정된 상기 제1 가시광 카메라(110) 및 제2 가시광 카메라(120) 각각의 2D 이미지 객체 탐지영역에 대해 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하고, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출한다.
상기 단말부(100)는, 상기 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 촬영 영상 정보를 입력받는 영상 입력부(211); 상기 제1 및 제2 가시광 카메라(110,120)로부터 입력되는 가시광 화상정보를 통해 침대와 환자를 포함하는 2D 이미지 객체 탐지를 수행하고, 상기 적외선 카메라(130)로부터 입력되는 열 화상정보를 통해 침대와 환자를 포함하는 열화상 객체 탐지를 수행하되, 상기 제1 및 제2 가시광 카메라(110,120)의 2D 이미지으로부터 사람추정 임계치를 낮추어 낮은 임계치의 복수의 환자 위치를 찾는 객체 탐지부(213); 가시광 화상정보와 열 화상정보의 좌표를 동일하게 맞춘 후, 상기 객체 탐지부(213)로부터 획득한 복수의 2D 이미지 객체 탐지영역과 열화상 객체 탐지영역을 교차 검증하여 교차되는 면적의 크기를 구하는 IoU(Intersection over Union)값을 계산하여, 가장 많이 교차된 면적을 가진 부분인 최대 IoU값을 실제 환자가 있는 위치로 추정하여 선정하는 2D 객체 교차체크부(214); 상기 2D 객체 교차체크부(214)를 통해 선정된 상기 제1 가시광 카메라(110)와 관련되는 2D 이미지 객체 탐지영역과 상기 제2 가시광 카메라(120)와 관련되는 2D 이미지 객체 탐지영역에 대해, 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하는 2D 키포인트 탐지 및 히트맵 생성부(215); 및, 상기 2D 키포인트 탐지 및 히트맵 생성부(215)에서 생성 및 탐지된 제1 및 제2 가시광 카메라의 2D 키포인트 히트맵을 추론한 후, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출하는 3D 환자움직임 교차 감지부(216);를 포함한다.
상기 제어부(200)는, 상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대 위에 누워있는 것으로 판단되고, 또한 상기 침대의 사이드 레일(150)이 하측으로 내려진 상태로 판단되면, 낙상예방 알림정보를 알림부(300)로 전송할 수 있다. 또한 상기 제어부(200)는, 상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대위에 누워있고 또한 움직이지 않는 욕창발생범위에 해당하는 것으로 판단되면, 욕창예방 알림정보를 알림부(300)로 전송할 수 있다.
본 발명의 다른 측면에 따르면, 침대 위에 누워있는 환자가 침대 주변 바닥으로 낙상하는 것을 예방하는 낙상 예방 방법으로서, (a) 제1 및 제2 가시광 카메라(110,120)를 이용하여 침대와 침대 위의 환자를 서로 다른 각도로 촬영하고, 적외선 카메라(130)를 이용하여 침대와 침대 위의 환자를 촬영하여, 상기 카메라들로부터 수집된 영상을 통해 환자의 움직임을 포함하는 환자상태 정보와 침대의 상태를 포함하는 침대주변환경 정보를 감지 및 생성하는 단계; 및, (b) 상기 (a)단계에서 감지 및 생성된 환자상태 정보 및 침대주변환경 정보를 분석하여 환자의 자세를 분석하고 또한 침대의 사이드레일이 업/다운(up/down) 되었는지 여부를 분석하여, 낙상 위험 여부 또는 욕창 발생 가능성 여부에 대한 판단을 하고 또한 이에 대한 정보를 외부로 전송하는 단계를 포함한다. 여기서 상기 (a) 단계는, 상기 제1 및 제2 가시광 카메라(110,120)의 영상과 상기 적외선 카메라(130)의 영상을 교차 검증하여 실제 환자가 있는 위치를 추정하여 선정하고, 이렇게 선정된 상기 제1 가시광 카메라(110) 및 제2 가시광 카메라(120) 각각의 2D 이미지 객체 탐지영역에 대해 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하고, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출한다.
상기 (a)단계는, (a1) 상기 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 촬영 영상 정보를 입력받는 단계; (a2) 상기 (a1) 단계에서 입력되는 가시광 화상정보를 통해 침대와 환자를 포함하는 2D 이미지 객체 탐지를 수행하고, 열 화상정보를 통해 침대와 환자를 포함하는 열화상 객체 탐지를 수행하되, 상기 제1 및 제2 가시광 카메라(110,120)의 2D 이미지으로부터 사람추정 임계치를 낮추어 낮은 임계치의 복수의 환자 위치를 찾는 단계; (a3) 가시광 화상정보와 열 화상정보의 좌표를 동일하게 맞춘 후, 상기 (a2) 단계로부터 획득한 복수의 2D 이미지 객체 탐지영역과 열화상 객체 탐지영역을 교차 검증하여 교차되는 면적의 크기를 구하는 IoU(Intersection over Union)값을 계산하여, 가장 많이 교차된 면적을 가진 부분인 최대 IoU값을 실제 환자가 있는 위치로 추정하여 선정하는 단계; (a4) 상기 (a3) 단계를 통해 선정된 상기 제1 가시광 카메라(110)와 관련되는 2D 이미지 객체 탐지영역과 상기 제2 가시광 카메라(120)와 관련되는 2D 이미지 객체 탐지영역에 대해, 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하는 단계; 및, (a5) 상기 (a4) 단계에서 생성 및 탐지된 제1 및 제2 가시광 카메라의 2D 키포인트 히트맵을 추론한 후, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출하는 단계;를 포함한다.
상기 (b)단계에서는, (b1) 상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대 위에 누워있는 것으로 판단되고, 또한 상기 침대의 사이드 레일(150)이 하측으로 내려진 상태로 판단되면, 낙상예방 알림정보를 외부로 전송하는 단계와, (b2) 상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대위에 누워있고 또한 움직이지 않는 욕창발생범위에 해당하는 것으로 판단되면, 욕창예방 알림정보를 외부로 전송하는 단계를 포함할 수 있다.
상기에서 설명한 본 발명의 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법에 의하면, 2개의 가시광 카메라를 통해 획득한 환자 감지 정보를 통해 3차원 기반의 3D Human Pose Estimation을 적용함으로써 하나의 카메라를 이용한 방식보다 환자의 감지 성능을 향상시킬 수 있으며, 이를 통해 환자의 낙상 발생과 욕창 발생을 미리 예측하여 보호자에게 신속하게 알려서 신속한 대응이 가능하도록 할 수 있는 효과가 있다.
또한, 본 발명에 의하면 2개의 카메라에 의한 가시광 영상정보의 임계치를 낮추어 낮은 정확도의 복수의 환자의 위치를 신혹히 획득하되 낮은 정확도의 단점을 보완하고자 적외선 카메라에 의한 열화상 영상정보를 교차 검증함으로써 위치의 검출 정확도를 높이고 특히 어두운 환경에서도 환자의 검출 정확도를 크게 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템의 블록 구성도,
도 2는 본 발명의 실시예에 적용되는 FPD 모델학습 방식을 설명하기 위한 도면,
도 3은 본 발명의 실시예에 적용되는 Cross-view fusion Network 방식을 설명하기 위한 도면,
도 5 및 도 6은 본 발명의 실시예에 따른 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 방법을 나타내는 순서도,
도 7는 침대의 사이드 레일이 올라가고 내려진 상태를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.
본 발명의 바람직한 실시예에 따른 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템은 침대 위에 누워있는 환자가 침대 주변 바닥으로 낙상할 가능성이 발생하는 경우와 욕창 가능성이 발생하는 경우 이를 보호자(가족, 병원 의료인, 간병인 등)에게 미리 알려서 예방할 수 있는 것이다.
이하, 실시예를 참조하여 본 발명을 상세히 설명한다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템(이하, '낙상 예방 시스템')은 침대와 침대 위의 환자를 촬영하여 수집된 영상으로부터 환자의 움직임을 포함하는 환자상태 정보와 침대의 상태를 포함하는 침대주변환경 정보를 감지 및 생성하고 이를 제어부(200)로 전달하는 단말부(100), 단말부(100)로부터 전달된 환자상태 정보와 침대주변환경 정보를 분석하여 환자의 자세와 환자의 낙상 가능성을 판단하고 판단된 정보를 외부로 전송 가능한 제어부(200), 환자의 낙상 가능성 여부에 대한 판단결과를 알려 보호자가 이를 신속하게 인식하도록 하는 알림부(300)를 포함한다.
먼저, 단말부(100)는 침대와 침대 위의 환자를 서로 다른 각도로 촬영 가능한 제1 및 제2 가시광 카메라(110,120)와, 밤이나 어두운 환경에서도 침대와 침대 위의 환자를 촬영 가능하도록 열화상 감지센서를 구비하는 적외선 카메라(130)를 포함한다. 여기서, 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)는 침대 전체를 충분히 촬영함과 더불어 그 주변 영역도 일정이상 촬영하도록 촬영 각도와 거리가 조절되게 병실에 설치되는 것이 바람직하다. 단말부(100)는 환자를 촬영하여 환자의 움직임(자세 변화, 침대위 위치 여부, 침대위 누워있는지 앉아있는지 여부 등)과 관련되는 환자상태 정보와, 침대와 그 주변영역을 촬영하여 특히 후술하는 바와 같이 침대의 사이드 레일(150) up/down에 관련되는 정보 및 기타 각종 카메라들의 위치 정보, 온도 정보, 중력센서 위치정보 등을 포함하는 침대주변환경 정보를 감지 및 생성할 수 있으며, 이를 제어부(200)로 전송한다.
본 발명의 실시예에서는, 2대의 카메라 즉 제1 및 제2 가시광 카메라(110,120)로부터 사람(환자) 추정을 위한 임계치를 낮추어 낮은 임계치의 복수의 환자 위치를 획득 후, 적외선 카메라(130)의 위치정보로 교차 검증하여 교차되는 면적의 크기를 구한 후, 복수의 환자 위치에서 가장 많이 교차된 면적을 가진 부분을 실제 환자가 있는 위치로 추정하며, 밤이나 어두운 환경에서도 검출 정확도를 향상시킬 수 있는데, 이에 관해서는 후술하기로 한다.
한편, 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 촬영 각도, 거리가 고정되지 않고 충격에 의해 변경되는 경우, 침대위 환자의 환자상태정보를 획득하는데 있어 신뢰도가 하락할 수 있다. 즉, 이러한 카메라가 환자, 침대를 촬영하는 각도, 거리를 감지하고 이를 고려하여 후술하는 바와 같이 침대 위 환자의 환자상태정보를 판단하는 것이 바람직하며, 이를 위해 중력센서(140)가 마련된다. 중력센서(140)는 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 각도 변화, 거리 변화(카메라의 기울어짐)를 정확하게 감지하도록, 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 하우징에 고정되게 마련되는 것이 바람직하다. 본 발명은 이에 한정되지 않으나, 본 발명의 실시예에서는 하나의 케이스 안에 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130), 중력센서(140)가 설치될 수 있는데, 이 경우 중력센서(140)를 통해 상기 카메라들의 위치정보를 알 수 있다.
도 1에 도시한 바와 같이, 단말부(100)는 영상 입력부(211), 객체 탐지부(213), 2D 객체 교차체크부(214), 2D 키포인트 탐지 및 히트맵 생성부(215) 및 3D 환자움직임 교차 감지부(216)를 더 포함한다.
영상 입력부(211)는 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 촬영 영상 정보를 입력받으며 또한 영상 전처리기능을 수행한다.
객체 탐지부(213)는 제1 및 제2 가시광 카메라(110,120)로부터 입력되는 가시광 화상정보를 통해 침대와 환자를 포함하는 2D 이미지 객체 탐지를 수행하고, 적외선 카메라(130)로부터 입력되는 열 화상정보를 통해 침대와 환자를 포함하는 열화상 객체 탐지를 수행한다.
객체 탐지는 딥러닝 기술을 활용하여 이미지(영상)에서 관심 객체를 배경과 구분해 식별하는 자동화 기법으로서, 환자의 현재상태 검출을 위해 카메라들에서 데이터를 받아 학습된 딥러닝 모델을 통해 환자 상태 및 주변 객체들을 판단하게 된다.
한편, 객체 탐지부(213)는 제1 및 제2 가시광 카메라(110,120) 각각의 2D 이미지로부터 사람추정 임계치를 낮추어 낮은 정확도 즉 낮은 임계치의 복수의 환자 위치를 찾게 된다. 이렇게 사람추정 임계치를 낮춤으로써 2D 이미지에서 사람(환자)의 위치를 더 많이 찾을 수 있게 된다.
객체 탐지에 대해 간략히 설명하면, 아웃풋을 만드는 공간을 나누고(multi feature map), 각 피쳐맵(아웃풋 맵)에서 다른 비율과 스케일로 default box를 생성하고 모델을 통해 계산된 좌표와 클래스값에 default box를 활용해 최종 bounding box를 생성한다.
본 발명은 이에 한정되지 않으나, 본 발명의 실시예에서는 Mobilenet 아키텍쳐와 SSD(Single Shot Multibox Detector) 모델을 이용하여 객체탐지를 수행한다.
SSD의 피쳐맵(Feature Map)별 scale level(sk)은 다음과 같이 구할 수 있다.
Figure 112020045887806-pat00001
여기서, m:feature map 개수, k:feature map index,
s_min은 0.2, s_max는 0.9 비율로 설정시, m값에 따라서 적당히 구간을 나누어 scale level 설정
그리고, default box의 가로(w)세로(h) 사이즈는 아래의 수학식 2, 3과 같이 구할 수 있다.
Figure 112020045887806-pat00002
Figure 112020045887806-pat00003
여기서, 가로세로 비율 ar: 1:!, 1:2, 1:3, 3:1, 2;1 등의 비율로 구함
sk: 수학식 1에서 구한 scale level
이와같이, 본 발명의 실시예에 의하면 임베디드 환경에 부담을 주지 않으면서 빠르고 높은 정확도를 도출할 수 있다. 또한, 다양한 grid로 접근하고 다양한 크기의 물체들을 검출할 수 있어 환자 상태뿐만 아니라 침대 등 다른 객체와의 인터렉션에 대한 행동검출에 확대 분석이 가능하다.
다음, 2D 객체 교차체크부(214)는 객체 탐지부(213)에서 가시광 화상정보를 이용하여 탐지된 2D 이미지 객체 탐지영역과 열 화상정보를 이용하여 탐지된 열화상 객체 탐지영역을 교차 검증하여, 교차되는 면적의 크기를 구하는 IoU(Intersection over Union)값을 아래 수학식 4와 같이 구한다.
Figure 112020045887806-pat00004
이렇게 구한 IoU 중 가장 많이 교차된 면적을 가진 부분인 최대 IoU 값을 실제 환자가 있는 위치로 추정하여 선정하게 된다.
다음, 2D 키포인트 탐지 및 히트맵 생성부(215)는 2D 객체 교차체크부(214)를 통해 선정된 제1 가시광 카메라(110)와 관련되는 2D 이미지 객체 탐지영역과 제2 가시광 카메라(120)와 관련되는 2D 이미지 객체 탐지영역에 대해 Fast Human Pose Estimation(FPD)를 이용하여 환자의 관절인 키포인트(keypoint)에 대한 탐지 및 2D 키포인트 히트맵(2D keyponit heatmap)을 생성한다.
구체적으로, 2D 키포인트 탐지 및 히트맵 생성부(215)는 Top-down 방식으로 엔진을 설계하여 객체 탐지부(213)와 2D 객체 교차체크부(214)에 의해 추론된 환자 영역으로 이미지를 cropping하여 해당하는 부분에 대해 HPE(Human Pose Estimation)를 진행한다. 덧붙이자면, Fast Human Pose Estimation(FPD, CVPR 2019)에서 제안된 FPD 학습방식을 활용하여 축소된 네트워크 학습방식을 이용하여 개발한다.
도 3은 FPD 모델학습 방식을 설명한 도면이다.
이러한 방식은 이미지 각 픽셀의 x,y 위치에 대하여 환자의 관절(키포인트) k에 대한 아래 수학식 5와 같이 가우스 신뢰구간 안에서 m값을 구하여 gpu 서버가 아닌 경량의 단말에서도 높은 성능을 내는 방식이다. 여기서 m값이 설정된 범위에 있는 경우 환자의 관절 k인 것으로 판단할 수 있게 된다.
Figure 112020045887806-pat00005
다음, 3D 환자움직임 교차 감지부(216)는 2D 키포인트 탐지 및 히트맵 생성부(215)에서 생성 및 탐지된 2D 키포인트 히트맵과 키포인트(관절 위치 등)를 추론한 후 3D상에서 3D 키포인트(관절 위치 등)를 추론하여 환자의 3D 좌표를 추출한다.
구체적으로, 본 발명의 실시예에서는, Cross View Fusion for 3D Human Pose Estimation(ICCV 2019)에서 제안된 Cross-view fusion Network와 RPSM(Recursive Pictorial Structure Model)를 활용하며, 궁극적으로 2D 키포인트 히트맵으로부터 환자의 3D 좌표를 추정하는 모델을 응용하여 개발하였다. 도 3은 Cross-view fusion Network의 모델을 설명하는 도면이다.
이와 같이 본 발명에 의하면 2개의 가시광 카메라를 이용하여 2D 키포인트 히트맵을 추론한 후, 이를 이용하여 3D 키포인트 히트맵을 추론하는 과정을 통해 사람(환자)의 3D 좌표를 추출하여, 침대위 환자의 상태를 더욱 정확하게 판단할 수 있는 이점이 있다.
단말부(100)는 위에서 설명된 영상 기반으로 수집된 각종 환자상태 정보와 침대주변환경 정보를 미도시된 통신모듈을 통해 제어부(200)로 송신한다.
여기서 중요한 것은 단말부(100)에서는 각종 카메라들이 수집한 영상정보를 분석을 위한 용도로만 사용할 뿐 저장하지 않고 폐기하며, 또한 상기 영상정보를 제어부(200)에 전달하지 않는데, 이는 환자의 개인사생활정보 보호차원에서 바람직하기 때문이다.
도 1을 참조하면, 제어부(200)는 단말기에서 분석한 환자상태 정보 및 침대주변환경 정보의 분석 결과를 수신하여 데이터베이스(250)에 기록하는 수집기(240), 데이터베이스(250)에 기록된 환자상태 정보 및 침대주변환경 정보의 분석을 통하여 환자의 자세를 분석하고 또한 침대의 사이드레일이 업/다운(up/down) 되었는지 여부를 분석하고, 또한 낙상 예방 탐지와 욕창 방지 탐지 등의 상황 발생 모니터링을 수행하고 상황 발생시 알림기(270)로 전달하는 모니터링부(260)를 포함한다. 알림기(270)는 상황 발생시 모니터링부(260)에서 전달된 알림을 알림부(300)에 전달하는데, 전달된 상황별 알림 방식을 통하여 알림부(300)에 유형별로 전달하게 된다.
모니터링부(260)는 구체적으로 3D 환자움직임 교차 감지부(216)를 통해 수신된 환자의 3D 좌표와 데이터베이스에 저장된 자료 및 종전 환자의 3D 좌표를 통해 환자의 자세(누워있는지 여부 또는 앉아있는지 여부, 환자가 움직임이 있는지 여부 등)을 분석하게 된다. 또한 모니터링부(260)는 객체 탐지부(213)를 통해 수신된 객체 탐지 정보를 통해 침대 및 침대의 사이드레일이 업/다운(up/down) 되었는지 여부를 분석할 수 있다.
모니터링부(260)는 침대 위 환자가 낙상할 가능성이 있는지 여부를 판단하는 낙상 예방 분석부(220)와, 침대 위 환자에게 욕창이 발생할 가능성이 있는지 여부를 판단하는 욕창 방지 분석부(230)를 포함한다. 낙상 예방 분석부(220)와 욕창 방지 분석부(230)는 환자의 자세와 침대 및 침대의 사이드레일이 업/다운(up/down) 되었는지 여부의 정보를 이용하여 낙상 예방 및 욕창 방지를 분석하게 된다.
도 6 및 7에 도시한 바와 같이, 낙상 예방 분석부(220)는 첫째 침대 위에 환자가 1인이 존재하고, 둘째 환자가 설정시간 이상 침대 위에 누워있는 것으로 판단되고, 셋째 침대의 사이드 레일(150)이 하측으로 내려진 상태로 판단되면, 환자가 낙상할 가능성이 있는 것으로 판단하여 낙상예방 알림정보를 생성하여 알림기(270)로 전달하고 알림기(270)는 유무선 통신망을 통해 상기 정보를 알림부(300)로 전송한다.
여기서 환자가 앉아있는 경우나 환자가 움직이는 경우에도 낙상 가능성이 있음은 물론이다. 그러나 이런 경우까지 낙상 가능성을 예측하는 것은 사실상 어려울 수 있다. 따라서 본 발명의 실시예에서는 환자가 잠자거나 또는 잠자지 않더라도 일정시간 누워있는 경우 낙상을 예방하는 것을 주 목적으로 한다.
도 6에 도시한 바와 같이, 욕창 방지 분석부(230)는 첫째 침대 위에 환자가 1인이 존재하고, 둘째 환자가 설정시간 이상 침대 위에 누워있고 또한 움직이지 않는 욕창발생범위에 해당하는 것으로 판단되면, 환자에게 욕창이 발생할 가능성이 있는 것으로 판단하여 욕창예방 알림정보를 생성하고 알림기(270)로 전달하고 알림기(270)는 유무선 통신망을 통해 상기 정보를 알림부(300)로 전송한다.
여기서 욕창발생범위의 판단은 환자의 움직임과 자세 변환에 관련된 것으로서 현재로부터 설정시간 이전까지의 환자 움직임 상태를 체크하여 판단하는데, 구체적으로 움직이지 않는 욕창발생범위는 각 관절의 좌표값 상으로 환자가 연속시간동안 움직이지 않는 경우와, 약간의 움직임이 있더라고 그 움직임이 설정된 범위 내(예를 들어 몇 cm 이내) 약간의 움직임이 있는 경우도 움직이지 않는 욕창발생범위로 볼 수 있다.
알림부(300)는 환자의 낙상 가능성 여부에 대한 판단결과를 디스플레이하여 가족, 의료인 등의 보호자가 이를 신속하게 인식하도록 하여 환자의 낙상 발생을 미연에 방지하기 위한 것으로서, 모바일 앱, SMS, PC CHATBOT, PC WEB, SNS 플랫폼 등으로 적용 가능하다.
이하, 본 발명의 실시예에 따른 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 방법을 설명한다.
도 4에 도시한 바와 같이, 본 발명의 실시예에 따른 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 방법은 침대 위에 누워있는 환자가 침대 주변 바닥으로 낙상하는 것을 예방하는 방법으로서, (a) 제1 및 제2 가시광 카메라(110,120)를 이용하여 침대와 침대 위의 환자를 서로 다른 각도로 촬영하고, 적외선 카메라(130)를 이용하여 침대와 침대 위의 환자를 촬영하여 환자상태정보와 주변환경정보를 감지 및 생성하는 단계(S100), (b) 상기 S100단계에서 감지 및 생성된 정보를 통해 환자의 낙상 가능성과 욕창 가능성을 판단하고 낙상 위험 여부와 욕창발생 가능성 여부에 대한 정보를 외부의 알림부로 전송하는 단계(S200)를 포함한다.
여기서 상기 (a) 단계는, 상기 제1 및 제2 가시광 카메라(110,120)의 영상과 상기 적외선 카메라(130)의 영상을 교차 검증하여 실제 환자가 있는 위치를 추정하여 선정하고, 이렇게 선정된 상기 제1 가시광 카메라(110) 및 제2 가시광 카메라(120) 각각의 2D 이미지 객체 탐지영역에 대해 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하고, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출한다.
도 5에 도시한 바와 같이, S100 단계는 영상정보 입력단계(S110), 객체탐지 단계(S120), 2D 객체 교차체크단계(S130), 2D 키포인트 탐지 및 히트맵 생성단계(S140), 3D 환자움직임 교차 감지단계(S150)를 포함한다.
먼저, 영상 입력부(211)는 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 촬영 영상 정보를 입력받는다(S110). 입력된 영상 정보는 영상 분석을 위한 용도로 사용 후 바로 폐기되는 것이 바람직하다.
다음, 객체 탐지부(213)는 제1 및 제2 가시광 카메라(110,120)로부터 입력되는 가시광 화상정보를 통해 침대와 환자를 포함하는 2D 이미지 객체 탐지를 수행하고, 적외선 카메라(130)로부터 입력되는 열 화상정보를 통해 침대와 환자를 포함하는 열화상 객체 탐지를 수행한다(S120). 객체 탐지는 딥러닝 기술을 활용하여 이미지(영상)에서 관심 객체를 배경과 구분해 식별하는 자동화 기법으로서, 환자의 현재상태 검출을 위해 카메라들에서 데이터를 받아 학습된 딥러닝 모델을 통해 환자 상태 및 주변 객체들을 판단하게 된다.
한편, 객체 탐지부(213)는 제1 및 제2 가시광 카메라(110,120) 각각의 2D 이미지로부터 사람추정 임계치를 낮추어 낮은 정확도 즉 낮은 임계치의 복수의 환자 위치를 찾게 된다. 이렇게 사람추정 임계치를 낮춤으로써 2D 이미지에서 사람(환자)의 위치를 더 많이 찾을 수 있게 된다.
다음, 2D 객체 교차체크부(214)는 2대의 가시광 카메라의 가시광 화상정보를 이용하여 탐지된 2D 이미지 객체 탐지영역과 열 화상정보를 이용하여 탐지된 열화상 객체 탐지영역을 교차 검증하여, 교차되는 면적의 크기를 구하는 IoU(Intersection over Union)값을 계산하여 최대 IoU값을 채택한다(S130).
다음, 2D 키포인트 탐지 및 히트맵 생섭부(215)는 제1 가시광 카메라(110)와 관련되는 2D 이미지 객체 탐지영역과 제2 가시광 카메라(120)와 관련되는 2D 이미지 객체 탐지영역에 대해 FPD(Fast Human Pose Estimation)를 이용하여 환자의 관절인 키포인트(keypoint)에 대한 탐지 및 2D 키포인트 히트맵(2D keyponit heatmap)을 생성한다(S140).
이어서, 3D 환자움직임 교차감지부(216)은 S140 단계에서 생성 및 탐지된 두 카메라의 2D 키포인트 히트맵과 키포인트(관절 위치 등)를 추론한 후 3D상에서 3D 키포인트(관절 위치 등)를 추론하여 환자의 3D 좌표를 추출한다(S150). 구체적으로 Cross View Fusion for 3D Human Pose Estimation(ICCV 2019)에서 제안된 Cross-view fusion Network와 RPSM(Recursive Pictorial Structure Model)를 활용하며 2D 키포인트 히트맵으로부터 환자의 3D 좌표를 추출한다.
S100에서 분석된 환자의 움직임(자세 변화, 침대위 위치 여부, 침대위 누워있는지 앉아있는지 여부 등)과 관련되는 환자상태 정보와, 침대와 침대의 사이드 레일(150) up/down에 관련되는 정보를 포함한 침대주변환경 정보는 제어부(200)로 전송된다.
도 6을 참조하여 S200 단계를 구체적으로 설명하면 다음과 같다.
먼저, 침대위 환자가 1인이 존재하는지 여부를 판단한다(S210).
S210단계의 판단 결과 환자 1인이 있다면, S100 단계를 통해 추출된 환자상태 정보를 분석하여 환자가 설정시간 이상 누워있는지 여부를 판단한다(S220).
S220 단계에서 설정시간 이상 누워있는 것으로 판단되면, 이후 낙상예방 판단과 욕창예방 판단을 위한 과정을 별도로 수행한다.
일 예로, 설정시간 동안 침대의 사이드 레일이 하측으로 내려진 상태인지 여부를 판단하고(S230), 도 7에 도시한 바와 같이 사이드 레일이 하측으로 내려간 것으로 판단되면 낙상예방 알림정보를 외부로 전송한다(S240).
다른 예로, 현재부터 설정시간 이전까지의 환자상태정보를 체크하여 설정시간 이전까지의 환자 움직임 상태 체크 결과 설정시간 이상 움직이지 않는 욕창발생 유효범위에 해당하는지 여부를 판단한다(S260). 여기서, 여기서 욕창발생범위의 판단은 환자의 움직임과 자세 변환에 관련된 것으로서 현재로부터 설정시간 이전까지의 환자 움직임 상태를 체크하여 판단하는데, 구체적으로 움직이지 않는 욕창발생범위는 각 관절의 좌표값 상으로 환자가 연속시간동안 움직이지 않는 경우와, 약간의 움직임이 있더라고 그 움직임이 설정된 범위 내(예를 들어 몇 cm 이내) 약간의 움직임이 있는 경우도 움직이지 않는 욕창발생범위로 볼 수 있다.
S260 단계를 만족하면 욕창예방 알림정보를 알림부로 전송한다(S270). 여기서 욕차예방 알림정보는 욕창예방을 단순히 알리는 정보 이외에, 환자의 욕창 예방을 위해 자세변환 및 운동을 위한 알림을 포함할 수 있다.
이상에서 설명한 바와 같이 본 발명에 의하면, 2개의 가시광 카메라를 통해 획득한 환자 감지 정보를 통해 3차원 기반의 3D Human Pose Estimation을 적용함으로써 하나의 카메라를 이용한 방식보다 환자의 감지 성능을 향상시킬 수 있으며, 이를 통해 환자의 낙상 발생과 욕창 발생을 미리 예측하여 보호자에게 신속하게 알려서 신속한 대응이 가능하도록 할 수 있는 이점이 있다.
또한, 본 발명에 의하면 2개의 카메라에 의한 가시광 영상정보의 임계치를 낮추어 낮은 정확도의 복수의 환자의 위치를 신혹히 획득하되 낮은 정확도의 단점을 보완하고자 적외선 카메라에 의한 열화상 영상정보를 교차 검증함으로써 위치의 검출 정확도를 높이고 특히 어두운 환경에서도 환자의 검출 정확도를 크게 향상시킬 수 있는 이점이 있다.
본 발명을 첨부 도면과 전술된 바람직한 실시예를 참조하여 설명하였으나, 본 발명은 그에 한정되지 않으며, 후술되는 특허청구범위에 의해 한정된다. 따라서, 본 기술분야의 통상의 지식을 가진 자라면 후술되는 특허청구범위의 기술적 사상에서 벗어나지 않는 범위 내에서 본 발명을 다양하게 변형 및 수정할 수 있다.
100: 단말부 110: 제1 가시광 카메라
120: 제2 가시광 카메라 130: 적외선 카메라
140: 중력센서 150: 사이드 레일
200: 제어부 211: 영상 입력부
213: 객체 탐지부 214: 2D 객체 교차체크부
215: 2D 키포인트 탐지 및 히트맵 생성부
216: 3D 환자움직임 교차 감지부
220: 낙상 예방 분석부 230: 욕창 방지 분석부
300: 알림부

Claims (7)

  1. 침대 위에 누워있는 환자가 침대 주변 바닥으로 낙상하는 것을 예방하는 시스템으로서,
    침대와 침대 위의 환자를 서로 다른 각도로 촬영 가능한 제1 및 제2 가시광 카메라(110,120)와, 침대와 침대 위의 환자를 촬영 가능한 적외선 카메라(130)를 포함하며, 상기 카메라들로부터 수집된 영상을 통해 환자의 움직임을 포함하는 환자상태 정보와 침대의 상태를 포함하는 침대주변환경 정보를 감지 및 생성하고 이를 외부로 전송하는 단말부(100); 및
    상기 단말부(100)로부터 수신된 환자상태 정보 및 침대주변환경 정보를 분석하여 환자의 자세를 분석하고 또한 침대의 사이드레일이 업/다운(up/down) 되었는지 여부를 분석하여, 낙상 위험 여부에 대한 판단을 하고 또한 이에 대한 정보를 알림부(300)로 전송 가능한 제어부(200);를 포함하며,
    상기 단말부(100)는 상기 제1 및 제2 가시광 카메라(110,120)의 영상과 상기 적외선 카메라(130)의 영상을 교차 검증하여 실제 환자가 있는 위치를 추정하여 선정하고, 이렇게 선정된 상기 제1 가시광 카메라(110) 및 제2 가시광 카메라(120) 각각의 2D 이미지 객체 탐지영역에 대해 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하고, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출하며,
    상기 단말부(100)는,
    상기 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 촬영 영상 정보를 입력받는 영상 입력부(211);
    상기 제1 및 제2 가시광 카메라(110,120)로부터 입력되는 가시광 화상정보를 통해 침대와 환자를 포함하는 2D 이미지 객체 탐지를 수행하고, 상기 적외선 카메라(130)로부터 입력되는 열 화상정보를 통해 침대와 환자를 포함하는 열화상 객체 탐지를 수행하되, 상기 제1 및 제2 가시광 카메라(110,120)의 2D 이미지으로부터 사람추정 임계치를 낮추어 낮은 임계치의 복수의 환자 위치를 찾는 객체 탐지부(213);
    가시광 화상정보와 열 화상정보의 좌표를 동일하게 맞춘 후, 상기 객체 탐지부(213)로부터 획득한 복수의 2D 이미지 객체 탐지영역과 열화상 객체 탐지영역을 교차 검증하여 교차되는 면적의 크기를 구하는 IoU(Intersection over Union)값을 계산하여, 가장 많이 교차된 면적을 가진 부분인 최대 IoU값을 실제 환자가 있는 위치로 추정하여 선정하는 2D 객체 교차체크부(214);
    상기 2D 객체 교차체크부(214)를 통해 선정된 상기 제1 가시광 카메라(110)와 관련되는 2D 이미지 객체 탐지영역과 상기 제2 가시광 카메라(120)와 관련되는 2D 이미지 객체 탐지영역에 대해, 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하는 2D 키포인트 탐지 및 히트맵 생성부(215); 및
    상기 2D 키포인트 탐지 및 히트맵 생성부(215)에서 생성 및 탐지된 제1 및 제2 가시광 카메라의 2D 키포인트 히트맵을 추론한 후, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출하는 3D 환자움직임 교차 감지부(216);를 포함하는 것을 특징으로 하는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 제어부(200)는,
    상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대 위에 누워있는 것으로 판단되고, 또한 상기 침대의 사이드 레일(150)이 하측으로 내려진 상태로 판단되면, 낙상예방 알림정보를 알림부(300)로 전송하는 것을 특징으로 하는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템.
  4. 제1항에 있어서, 상기 제어부(200)는,
    상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대위에 누워있고 또한 움직이지 않는 욕창발생범위에 해당하는 것으로 판단되면, 욕창예방 알림정보를 알림부(300)로 전송하는 것을 특징으로 하는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템.
  5. 침대 위에 누워있는 환자가 침대 주변 바닥으로 낙상하는 것을 예방하는 낙상 예방 방법으로서,
    (a) 제1 및 제2 가시광 카메라(110,120)를 이용하여 침대와 침대 위의 환자를 서로 다른 각도로 촬영하고, 적외선 카메라(130)를 이용하여 침대와 침대 위의 환자를 촬영하여, 상기 카메라들로부터 수집된 영상을 통해 환자의 움직임을 포함하는 환자상태 정보와 침대의 상태를 포함하는 침대주변환경 정보를 감지 및 생성하는 단계; 및
    (b) 상기 (a)단계에서 감지 및 생성된 환자상태 정보 및 침대주변환경 정보를 분석하여 환자의 자세를 분석하고 또한 침대의 사이드레일이 업/다운(up/down) 되었는지 여부를 분석하여, 낙상 위험 여부 또는 욕창 발생 가능성 여부에 대한 판단을 하고 또한 이에 대한 정보를 외부로 전송하는 단계를 포함하며,
    상기 (a) 단계는, 상기 제1 및 제2 가시광 카메라(110,120)의 영상과 상기 적외선 카메라(130)의 영상을 교차 검증하여 실제 환자가 있는 위치를 추정하여 선정하고, 이렇게 선정된 상기 제1 가시광 카메라(110) 및 제2 가시광 카메라(120) 각각의 2D 이미지 객체 탐지영역에 대해 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하고, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출하며,
    상기 (a)단계는,
    (a1) 상기 제1 및 제2 가시광 카메라(110,120), 적외선 카메라(130)의 촬영 영상 정보를 입력받는 단계;
    (a2) 상기 (a1) 단계에서 입력되는 가시광 화상정보를 통해 침대와 환자를 포함하는 2D 이미지 객체 탐지를 수행하고, 열 화상정보를 통해 침대와 환자를 포함하는 열화상 객체 탐지를 수행하되, 상기 제1 및 제2 가시광 카메라(110,120)의 2D 이미지으로부터 사람추정 임계치를 낮추어 낮은 임계치의 복수의 환자 위치를 찾는 단계;
    (a3) 가시광 화상정보와 열 화상정보의 좌표를 동일하게 맞춘 후, 상기 (a2) 단계로부터 획득한 복수의 2D 이미지 객체 탐지영역과 열화상 객체 탐지영역을 교차 검증하여 교차되는 면적의 크기를 구하는 IoU(Intersection over Union)값을 계산하여, 가장 많이 교차된 면적을 가진 부분인 최대 IoU값을 실제 환자가 있는 위치로 추정하여 선정하는 단계;
    (a4) 상기 (a3) 단계를 통해 선정된 상기 제1 가시광 카메라(110)와 관련되는 2D 이미지 객체 탐지영역과 상기 제2 가시광 카메라(120)와 관련되는 2D 이미지 객체 탐지영역에 대해, 환자의 관절인 키포인트에 대한 탐지 및 2D 키포인트 히트맵(heatmap)을 생성하는 단계; 및
    (a5) 상기 (a4) 단계에서 생성 및 탐지된 제1 및 제2 가시광 카메라의 2D 키포인트 히트맵을 추론한 후, 이를 이용하여 3D 키포인트를 추론하여 환자의 3D 좌표를 추출하는 단계;를 포함하는 것을 특징으로 하는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 (b)단계에서는,
    (b1) 상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대 위에 누워있는 것으로 판단되고, 또한 상기 침대의 사이드 레일(150)이 하측으로 내려진 상태로 판단되면, 낙상예방 알림정보를 외부로 전송하는 단계와,
    (b2) 상기 침대 위에 환자가 1인이 존재하고, 환자가 설정시간 이상 침대위에 누워있고 또한 움직이지 않는 욕창발생범위에 해당하는 것으로 판단되면, 욕창예방 알림정보를 외부로 전송하는 단계를 포함하는 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 방법.
KR1020200054007A 2020-05-06 2020-05-06 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법 KR102205964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200054007A KR102205964B1 (ko) 2020-05-06 2020-05-06 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200054007A KR102205964B1 (ko) 2020-05-06 2020-05-06 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법

Publications (1)

Publication Number Publication Date
KR102205964B1 true KR102205964B1 (ko) 2021-01-21

Family

ID=74237678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200054007A KR102205964B1 (ko) 2020-05-06 2020-05-06 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법

Country Status (1)

Country Link
KR (1) KR102205964B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932878A (zh) * 2021-02-01 2021-06-11 甘肃奥凯医学工程开发有限责任公司 一种多功能手术台智能检测装置
KR102410286B1 (ko) * 2021-11-19 2022-06-22 주식회사 씨앤에이아이 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치
KR20230085238A (ko) * 2021-12-03 2023-06-14 (주)일렉콤 Ai 기반 신체활동 인지 및 서비스 통합 플랫폼
KR20230128768A (ko) 2022-02-28 2023-09-05 (주)블라우비트 인공지능 기반의 카메라를 이용한 낙상 감지 장치 및 방법
CN116863500A (zh) * 2023-06-14 2023-10-10 中国人民解放军总医院第一医学中心 一种患者离床监控方法和系统
CN116863500B (zh) * 2023-06-14 2024-05-10 中国人民解放军总医院第一医学中心 一种患者离床监控方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140114940A (ko) * 2013-03-18 2014-09-30 (주)위니웍스 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
KR20170001785A (ko) * 2015-06-25 2017-01-05 동의대학교 산학협력단 영상 분석을 통하여 환자의 낙상 위험을 판단하는 시스템 및 방법
KR20180010441A (ko) 2016-07-21 2018-01-31 주식회사 썬웨이브텍 낙상 예방 시스템 및 낙상 예방 방법
KR101916631B1 (ko) * 2018-05-30 2018-11-08 이운명 열화상카메라를 포함하는 낙상 감지장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140114940A (ko) * 2013-03-18 2014-09-30 (주)위니웍스 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
KR20170001785A (ko) * 2015-06-25 2017-01-05 동의대학교 산학협력단 영상 분석을 통하여 환자의 낙상 위험을 판단하는 시스템 및 방법
KR20180010441A (ko) 2016-07-21 2018-01-31 주식회사 썬웨이브텍 낙상 예방 시스템 및 낙상 예방 방법
KR101916631B1 (ko) * 2018-05-30 2018-11-08 이운명 열화상카메라를 포함하는 낙상 감지장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932878A (zh) * 2021-02-01 2021-06-11 甘肃奥凯医学工程开发有限责任公司 一种多功能手术台智能检测装置
KR102410286B1 (ko) * 2021-11-19 2022-06-22 주식회사 씨앤에이아이 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치
KR20230085238A (ko) * 2021-12-03 2023-06-14 (주)일렉콤 Ai 기반 신체활동 인지 및 서비스 통합 플랫폼
KR102546460B1 (ko) 2021-12-03 2023-06-26 (주)일렉콤 Ai 기반 신체활동 인지 및 서비스 통합 플랫폼
KR20230128768A (ko) 2022-02-28 2023-09-05 (주)블라우비트 인공지능 기반의 카메라를 이용한 낙상 감지 장치 및 방법
CN116863500A (zh) * 2023-06-14 2023-10-10 中国人民解放军总医院第一医学中心 一种患者离床监控方法和系统
CN116863500B (zh) * 2023-06-14 2024-05-10 中国人民解放军总医院第一医学中心 一种患者离床监控方法和系统

Similar Documents

Publication Publication Date Title
KR102205964B1 (ko) 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
US11688265B1 (en) System and methods for safety, security, and well-being of individuals
KR101070389B1 (ko) 환자 상태 모니터링 시스템
CN105283129A (zh) 信息处理装置、信息处理方法和程序
CN111507176B (zh) 姿势估计装置、行动估计装置、记录介质、姿势估计方法
JP6822328B2 (ja) 見守り支援システム及びその制御方法
US20200221977A1 (en) Display control device, display control system, display control method, display control program, and recording medium
CN111538030A (zh) 检测人类活动的方法、系统和非暂态计算机可读介质
CN105960664A (zh) 信息处理装置、信息处理方法及程序
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
CN112036267A (zh) 一种目标检测方法、装置、设备和计算机可读存储介质
Chiu et al. A convolutional neural networks approach with infrared array sensor for bed-exit detection
Chang et al. In-bed patient motion and pose analysis using depth videos for pressure ulcer prevention
JP2019030628A (ja) 情報提供装置、情報提供システム、情報提供方法、及びプログラム
Martinez et al. “BAM!” depth-based body analysis in critical care
JP7347577B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
EP3819864A1 (en) Target object detection program and target object detection device
JP2023084685A (ja) 対象をモニタリングするための方法及びシステム
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2023076406A (ja) 映像収集装置を活用した遠隔転倒有無確認判別システム
KR20230078063A (ko) 자세유형 판별을 위한 서버 및 그 동작방법
KR102544147B1 (ko) 영상분석 기반 1인 낙상 감지 시스템 및 방법
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant