KR101712191B1 - 환자 낙상예방 모니터링 장치 - Google Patents

Abstract

본 발명은 환자 낙상예방 모니터링 장치에 관한 것으로, 상기 장치는 임베디드 보드 기반의 라즈베리파이와 카메라를 갖는 광학센서를 사용하여 거동이 불편한 환자의 침상을 촬영하고 신호 처리하는 모니터링부와; 상기 모니터링부에서 신호 처리된 데이터를 OpenCV 프로그램에 의해 차 영상을 분석해 환자의 움직임을 추론하여 서버로 전송하여 데이터베이스에 저장하며 클라이언트에 대응하는 영상처리부와; 상기 영상처리부에서 추론한 환자가 정자세 취침, 옆으로 취침 및 앉은 자세에 따른 검은색 픽셀과 흰색 픽셀에 대한 화면의 픽셀 수를 계산하여 환자의 침상 자세를 판단하는 자세판단부를 포함하며, 또한, 상기 영상처리부에서 처리된 데이터를 TCP/IP 통신이나 웹 소켓을 사용하여 관리센터로 전송하는 영상통신부 및 상기 영상처리부의 임베디드 보드에서 처리된 사진을 html로 전송하면, PC에서 수신하여 모니터링 하고 관리하기 위한 관리센터가 더 포함되는 것을 특징으로 하는 환자 낙상예방 모니터링 장치를 제공함으로써, 거동이 불편한 입원 환자가 침상에서의 낙상이나 이탈 사고를 사전에 예방하고 효율적인 간호 관리업무를 수행할 수 있는 독특한 효과가 있다.

Description

환자 낙상예방 모니터링 장치{Patient Fall Prevention Monitoring Device}

본 발명은 환자의 침대 생활을 차 영상을 이용한 영상처리기법으로 스스로 판단하고 신호 전송 처리하는 모니터링 장치를 통해 요양병원 또는 병원 등에서 거동이 불편한 환자가 침대에서 낙상, 이탈 징후로부터 조기에 보호하고 효율적인 간호 관리 업무를 수행하도록 한 환자 낙상예방 모니터링 장치에 관한 것이다.

최근 ICT기술의 발전과 고령화, 소득증대 등의 시대 흐름에 따라 헬스 케어(Health Care) 산업이 급성장세를 보이고 있다. 과거 헬스 케어 산업이 특정 환자에 대한 치료 중심이었다면 이제는 개인에 맞추어 일상적으로 관리 예방하는 영역으로 확대되고 있다.

최근 요양병원 또는 병원 등에서 거동이 불편한 환자가 낙상하여 부상 또는 사망하는 사례가 빈번하다.

2013년 성인간호학회지에 실린 ‘종합병원 입원 환자의 낙상 위험 요인 및 낙상 위험도 평가’에 따르면 서울 소재 3차 종합병원에서 2010년 1월부터 12월까지의 전체 입원 환자 중 15세 이상 환자에서 처음 낙상이 발생하여 병원의 QI(Quality Improvement) 부서로 낙상 보고가 이루어진 191명 중 정보가 누락된 환자 44명을 제외한 147명을 대상으로 한 조사에서 낙상이 발생한 장소는 병실이 92명(62.6%)으로 가장 많았고, 다음으로 화장실 관련 낙상이 17명(11.5%)으로 나타났다. 낙상이 발생한 상황은 침대에서 낙상한 경우 51명(43.7%), 보행 시 미끄러지거나 넘어지는 경우 48명(32.7%), 기타 유형이 41명(27.9%)이다. 낙상치료는 의사에게 보고 후 관찰하여 상태를 지켜보기로 한 경우가 117명(79.6%)로 가장 많았으며, 단순드레싱(21명, 14.3%)이나 수술(4명, 2.7%)을 시행하였고, 낙상이 가장 많이 발생한 시간은 00:01~06:00(28.6%)로 간병인이나 간호사의 손길이 부족한 시간대에 가장 많이 발생하고 있어 낙상방지에 관한 시스템의 도입이 시급하다.

이러한 문제점을 해결하기 위해 환자의 상태를 모니터링 하여 각종 사고를 예방할 수 있는 시스템에 관한 국내 기술개발 현황을 살펴보면, 병실 내의 각 장비에 USN을 설치하고 내부에 카메라를 설치를 통해 환자의 상태를 시각적으로 관찰하고, 환자 개인별 RFID 태그를 부여해 환자의 체온과 혈압 상태 등의 정보와 병실 환경의 정보를 체계적으로 수집 관리하는 U-헬스케어를 위한 모바일 모니터링 시스템과, 거동이 불편한 환자들이 취침 시에 침대에서 떨어지는 사고나 치매 또는 보호감시 환자들이 외부로 배회하는 경우 자기센서가 이를 감지하여 담당 의사 또는 간호사 등의 관리자가 긴급하게 대처할 수 있도록 하는 다수의 자기센서가 내장된 매트를 이용한 낙상 환자감시시스템 및 사고를 예방하고 일상생활 모니터링을 통하여 낙상 사고를 자동 감지해 응급호출을 하고 능동적인 위급호출 서비스를 제공하는 고령자의 안전한 생활을 도모하는 낙상폰과 낙상폰을 이용한 구조 시스템이 있다. 그리고 고령자용 환자 낙상 모니터링 시스템(NB-PLUS)은 비접촉식 진동감지 센서를 통해 환자의 건강정보를 수집하고 모니터링 서비스로 측정한 생체신호를 담당 주치의와 환자가족의 휴대전화로 전달하는 고령환자 원격모니터링 시스템 등이 있다.

한편, 낙상방지시스템 관련 특허기술로는 대한민국 등록특허공보 제10-1096242호(2013년)의 환자의 침대 매트 하부에 설치된 압력패드를 이용한 낙상 환자 감시시스템을 통해 신호를 중계기로 전송하고 중계기에서는 관리자 단말기로 전송하는 기술과, 미국특허공보 제8,106,782호(2012년)의 환자가 침대에 들어가는 것과 이탈하는 것을 인지하는 광학센서(카메라)의 이미지 처리과정을 통해 노인의 낙상예측과 침대의 이탈여부를 감지하고 잘못된 알람 발생을 줄이기 위해서는 낙상 후 일정시간 동안 카운터 다운을 수행 후 알람 송신하도록 하는 기술이 제안된 바 있다(도 1의 (가) 및 (나) 참조).

그러나, 국내 특허기술은 환자의 움직임에 따른 잦은 접촉과 비접촉으로 인해 에러 발생률이 높을 뿐만 아니라 간호 관리 업무가 낭비되고, 미국 특허기술은 환자가 침대에 들어가는 것과 이탈하는 것을 인지하기 위해서는 일정시간 카운터 다운을 실행한 후 알람 송신함으로써, 거동이 불편한 환자의 낙상문제를 근원적으로 해결할 수 없는 문제점이 여전히 남아 있다.

따라서, 본 발명의 목적은 종래 기술의 문제점을 개선하기 위한 것으로, 보다 상세하게는, 환자의 침대를 카메라를 사용하여 각 환자를 모니터링 하면, 라즈베리 파이(Rasberry Pi) 임베디드 시스템 스스로가 환자의 자세를 판단하여 이상 징후가 감지되면 와이파이(Wi-Fi) 통신을 통해 병원 관계자에게 자동적으로 신호를 보내도록 구성함으로써, 거동이 불편한 환자가 침대에서 낙상, 이탈 등의 이상 징후를 조기에 발견하여 환자를 근원적으로 보호하고 효율적인 간호 관리 업무를 수행할 수 있도록 한 환자 낙상예방 모니터링 장치를 제공한다.

전술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 환자 낙상예방 모니터링 장치에 있어서, 상기 장치는 임베디드 보드(Embedded Board) 기반의 라즈베리파이(Rasberry Pi, 110)와 카메라를 갖는 광학센서(120)를 사용하여 거동이 불편한 환자의 침상을 촬영하고 신호 처리하는 모니터링부(100)와; 상기 모니터링부에서 신호 처리된 데이터를 OpenCV 프로그램(220)에 의해 차 영상(Difference Image)을 분석해 환자의 움직임을 추론하여 서버(130)로 전송하여 데이터베이스(240)에 저장하며 클라이언트에 대응하는 영상처리부(200)와; 상기 영상처리부에서 추론한 환자가 정자세 취침, 옆으로 취침 및 앉은 자세에 따른 검은색 픽셀과 흰색 픽셀에 대한 화면의 픽셀 수를 계산하여 환자의 침상 자세를 판단하는 자세판단부(300)를 포함하며, 또한, 상기 영상처리부(200)에서 처리된 데이터를 TCP/IP(410) 통신이나 웹 소켓(420)을 사용하여 관리센터로 전송하는 영상통신부(400) 및 상기 영상처리부(200)의 임베디드 보드(210)에서 처리된 사진을 html로 전송하면, PC에서 수신하여 모니터링 하고 관리하기 위한 관리센터(500)가 더 포함되는 것을 특징으로 하는 환자 낙상예방 모니터링 장치를 제안한다.

본 발명의 다른 실시 예에 따르면, 상기 차 영상(Difference Image) 분석은, 서로 인접한 (i-1)번째 영상과 i번째 영상간의 명암 차에 의해 구축된 차 영상들을 분석해 움직임 물체에 대한 이동형태를 추론하는 것을 특징으로 한다.

본 발명의 또 다른 실시 예에 따르면, 상기 움직임 물체에 대한 이동형태를 추론하는 방법은, 미리 찍어둔 배경 화면과 검출할 화면이 있을 경우 그 영상을 Gray스케일로 변환하고 변환된 Gray스케일 화면을 이진화를 통해 검은색과 흰색으로 하는 두 픽셀로만 존재하는 화면을 만들고, 상기 이진화된 화면의 노이즈를 줄이기 위해 모폴리지 영상처리를 하며, 배경 영상이 바뀌더라도 움직이지 않는 물체는 배경 영상에 적용될 수 있도록 하는 이동 평균 영상처리를 하는 것을 특징으로 한다.

본 발명의 또 다른 실시 예에 따르면, 상기 차 영상(Difference Image) 분석은, 기존의 환자가 없는 배경화면과 환자라는 변수가 포함되어 있는 화면에 대한 차 영상을 검출하되, 배경은 검은 픽셀로, 환자는 흰 픽셀에 해당하는 픽셀의 개수로부터 환자의 현재 상태를 판단하도록 사전에 프로그램화되는 것을 특징으로 한다.

본 발명의 또 다른 실시 예에 따르면, 상기 영상통신부(400)는, 입원 환자의 침상 상태를 의사나 간호사, 가족들이 실시간 스트리밍 영상으로 확인할 수 있도록 동영상 스트리밍 기능이 포함되는 것을 특징으로 한다.

본 발명의 또 다른 실시 예에 따르면, 상기 모니터링 장치는, 침대 안의 영역과 침대 밖의 영역을 사전에 구분 설정하고, 상기 구분 설정된 영역에서 환자가 침대 안에 있는지 없는지 여부를 감지하기 위해 침대 안의 영역과 침대 밖의 영역을 상기 영상처리부(200)의 OpenCV 프로그램(220) 상에 빨간 선으로 구분하며, 상기 영상처리부(200)에서 OpenCV 프로그램(220)을 이용하여 차 영상 값을 획득하였을 때, 흰 픽셀이 있는 부분이 침대 안인지, 밖인지를 비교 판단하여 환자가 침대 안에 있다가 밖으로 이동하려고 할 때 상기 광학센서(120)를 구비하는 모니터링부(100)를 통해 환자를 감지하는 것을 특징으로 한다.

본 발명의 환자 낙상예방 모니터링 장치는 다음과 같은 효과가 있다.

(1) 본 발명은 종래의 접촉방식이나 카운트다운 방식과 달리 비접촉식 실시간 영상분석을 통해 환자의 낙상, 이탈 등을 신속 정확하게 모니터링 하기 때문에 오동작이나 정보전달 지연성을 현저하게 줄일 수 있다

(2) 거동이 불편한 입원 환자에 대한 정보를 병원 관계자가 실시간으로 모니터링함과 동시에 서버에 저장된 동영상 스트리밍 정보를 클라이언트가 접속하여 확인할 수 있기 때문에, 환자가 침상에서 낙상하거나 이탈에 따른 사고를 사전에 예방하고 효율적인 간호 관리업무를 수행할 수 있는 효과가 있다.

도 1의 (가) 및 (나)는 종래 기술을 나타낸 도면
도 2는 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 전체 기술적 구성을 나타낸 도면
도 3은 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 이해를 돕기 위한 (가)개요도 및 (나)실제 구현된 장치를 개략적으로 나타낸 도면
도 4는 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 침대 이탈 감지 수단에 대한 광학센서를 천장에 설치한 구성도
도 5는 상기 도 4의 천정에 설치된 광학센서에 의해 촬영된 모습을 나타낸 도면
도 6은 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 (가)배경화면과 (나)검출화면을 이용한 차 영상처리를 나타낸 사진 도면
도 7은 상기 도 6에 의한 차 영상처리 결과를 나타낸 사진 도면
도 8은 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 차 영상처리를 이용한 물체 검출과 모폴로지 사진 도면
도 9는 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 이동 평균 영상처리를 이용한 배경영상 및 차 영상으로 변화된 영역을 검출한 사진 도면
도 10은 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 상황별 환자 자세 영상을 검출한 사진 도면
도 11은 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 환자의 자세에 따른 각 픽셀 데이터 및 분포를 나타낸 도면
도 12는 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 침대의 안과 바깥 영역을 구획(구분)하여 나타낸 도면
도 13은 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 (가)침대에 들어갔을 때, (나)침대에서 벗어날 때를 나타낸 사진 도면
도 14는 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치에 대한 실시간 영상 전송 방법을 나타낸 도면

이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 하며 비록 종래기술과 동일한 부호가 표시되더라도 종래기술은 그 자체로 해석하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 2 내지 도 14를 참조하여, 본 발명의 바람직한 실시 예에 따른 환자 낙상예방 모니터링 장치의 핵심 기술적 구성은 크게, 모니터링부(100), 영상처리부(200), 자세판단부(300), 영상통신부(400), 관리센터(500)로 구성되어진다.

먼저, 도 2를 참조하여 상기 모니터링부(100)는, 거동이 불편한 환자의 침대생활을 모니터링하기 위한 수단으로, 일종의 임베디드 보드(Embedded Board) 기반의 미니 PC용 라즈베리파이(Rasberry Pi, 110)와 카메라를 갖는 광학센서(120)를 사용하여 입원 환자의 침대 생활에 대한 특정영역을 촬영한다.

상기 미니 PC용 라즈베리파이(110)는 상기 카메라를 갖는 광학센서(120)에 의해 촬영된 사진 데이터를 전송받아 디지털 신호처리를 하는데, 기존에 학습된 데이터(환자의 낙상, 이탈 등의 이상 징후에 대한 사전에 설정된 파라미터)를 바탕으로 환자의 낙상, 이탈 등의 이상 징후가 발생했다고 판단되면, 위험 신호와 동시에 현재의 데이터(영상)를 영상처리부로 전송한다. 이때 서버(Node.js, 230)의 데이터베이스(MySQL, 240)로 전송하여 저장하게 된다.

또한, 클라이언트가 서버(230)에 HTTP 접속을 요청하여 웹(Web) 접속을 하면 상기 서버(230)는 상기 데이터베이스(240)에서 가장 최근에 수신 저장된 영상 데이터를 검색하여 환자의 현재 상태와 위험 여부를 클라이언트에게 전송한다.

여기서, 상기 클라이언트는 요양병원이나 병원관계자의 관리센터 의사, 간호사 및 환자 보호자 등이다.

한편, 병원 관계자는 HTTP 접속을 하지 않아도 클라이언트 웹(Client Web)에서 해당 신호를 전송받아 노트북, 스마트폰, 태블릿으로 위험 신호를 수신 받아 조기에 대처할 수 있다.

다시 말해서, 모니터링부(100)는, 상기 임베디드 기반의 미니 PC기능을 갖는 라즈베리파이(110)와 카메라를 갖는 광학센서(120)를 통해 촬영된 아날로그 영상을 디지털 신호 처리한 후, 영상처리부(200)의 임베디드 보드(Embedded Board, 210)로 전송하면 OpenCV 프로그램(220)을 이용한 영상처리 및 데이터를 가공하여 서버(230)의 데이터베이스(240)에 저장한다. 상기 데이터베이스에 저장된 데이터를 서버(230)를 이용해 간호사 또는 간병인, 환자의 가족에게 연락을 취할 수 있도록 TCP/IP(410) 통신으로 스마트폰 어플리케이션이나 웹 소켓(420)을 통해 환자의 상태를 확인할 수 있는 관리센터(500)로 전송해 줄 수 있는 일종의 침대 이탈 감지 수단이다.

여기서, 상기 침대 이탈 감지 수단은 상기 광학센서(120)를 이용한 환자의 관찰 이외에도 리니어 스위치(미도시)를 이용한 침대 난간의 상태 확인이나 압력센서 패드(미도시)를 이용한 환자의 상태를 관리센터(500)나 환자 가족들이 확인 가능하게 구성할 수 있다.

이러한 침대 이탈 감지 수단의 구성은 네트워크를 이용해 하나의 독립적인 시스템을 운영할 수 있으며, 영상처리부(200)의 임베디드 보드와 웹 서버를 구성하고 있기 때문에 다른 서버를 거치지 않고서도 직접적인 연결이 가능하다. 하지만 실제 병원은 병실마다 침대가 여러 개가 있고 센서의 개수도 늘어남에 따라 하나의 독립적인 시스템을 운영하기보다는 메인 서버로 센서 값을 전송하여 처리하는 것이 바람직하다.

즉, 도 3을 참조하면, 침대 센서 단말기를 통한 송신기에서 센서 값을 게이트웨이 수신기로 전송하면 수신기는 메인 서버인 미들웨어 서버로 전송하여 일괄적인 관리가 가능하도록 설계할 수 있다. 이렇게 구현된 시스템은 모든 데이터를 메인 서버에서 관리하기 때문에 관리의 편의성과 시스템의 안정성에 있어서 유리하다.

따라서, 본 발명의 실시에서는 상기 도 2의 침대 이탈 감지 수단과 같은 센서 정보의 데이터베이스화와 메인 서버의 기능을 구현하고 테스트를 통합적으로 진행해서 시스템 구현을 보다 빠르게 진행함으로써, 앞으로 발생될 문제점들을 빠르게 해결 할 수 있도록 하는데 그 특징이 있다.

여기서, 도 4는 침대 이탈 감지 수단에 대한 광학센서를 천장에 설치한 구성도로서, 임베디드 보드는 통신을 USB 와이파이(WI-FI)를 이용하기 때문에 전원 이외의 연결은 하지 않는다. 아래 책상을 환자의 침대라고 가정하였을 때 침대와 임베디드 보드와의 거리는 약 1.8m이고, 이 상태에서 임베디드 보드에 연결된 광학센서(카메라)를 이용해 환자의 침대생활 자세를 관찰하도록 구성되어진다.

또한, 도 5는 상기 도 4의 천정에 설치된 광학센서에 의해 관찰된 모습을 나타낸 것으로, 도 5의 (가)는 가로 1m, 세로 1m의 영역 밖에 관찰이 불가능하여 침대를 전부 관찰하기에는 부족하기 때문에 도 5의 (나)와 같이 가로 2m 세로 4m정도의 영역을 관찰할 수 있도록 하기 위해서는 상기 광학센서(120)에 마이크로 와이드 렌즈(Micro wide lens, 130)를 장착시킴으로써, 환자의 움직임은 물론 침대 주변의 움직임까지도 관찰이 가능하도록 구현하였다.

다시 도 2 참조하여, 상기 영상처리부(200)는 카메라를 갖는 광학센서(120)에 의해 촬영된 환자의 사진 데이터를 OpenCV 프로그램(220)에 의해 영상 분석하여 서버(230)로 전송하고 데이터베이스(240)에 저장하기 위한 수단으로, 카메라로 촬영된 영상 데이터는 임베디드 보드(Embedded Board, 210)가 OpenCV 프로그램(220)에 의해 영상신호처리를 하게 되는데, 이때 차 영상(Difference Image)을 분석해 환자의 움직임을 추론하는 방법을 사용한다. 상기 차 영상 분석기법은 서로 인접한 (i-1)번째 영상과 i번째 영상간의 명암 차에 의해 구축된 차 영상들을 분석해 움직임 물체에 대한 이동형태를 추론하게 된다.

다시 말해서, 상기 임베디드 보드(Embedded Board, 210)가 차 영상을 분석하기 위해서는 OpenCV 프로그램(220)을 사용하며, 기존의 환자가 없는 배경화면과 환자라는 변수가 포함되어 있는 화면에 대한 차 영상을 검출하게 된다. 이때 배경은 검은 픽셀로, 환자는 흰 픽셀에 해당하는 픽셀의 개수로부터 환자의 현재 상태를 판단하도록 사전에 프로그램 된다.

본 발명의 실시 예에서, 상기 차 영상 검출 방법을 실시하는 이유는, 임베디드 보드(210)에서 영상 분석을 완료하여 그 결과 값을 서버(230)로 전송할 때, 미니 PC용 라즈베리파이(110)에 사용되는 CPU는 700MHz Low Power ARM1176JZFS Application Processor로 감지 기능을 갖는 차 영상 검출 이외의 정밀한 영상 분석 처리까지는 한계가 있기 때문이다.

따라서, 본 발명의 바람직한 실시 예에서는 차 영상 검출 속도향상과 임베디드 보드의 안정성과 신뢰성 확보를 위해 차 영상 검출 방법을 채택하였으며 상세한 설명은 다음과 같다.

즉, 상기 도 5의 (나)에서 마이크로 와이드 렌즈(130)를 적용하여 관찰된 화면 중에서 침상 환자만을 검출하여 환자의 움직임과 침대에서의 이탈 가능성을 판단할 수 있도록 영상처리 오픈소스 라이브러리인 OpenCV 프로그램(220)을 이용한 영상처리를 구현하였다. OpenCV 프로그램(220)에서 사람의 얼굴을 검출하거나 사람의 몸을 검출하는 별도의 라이브러리가 있지만, 임베디드 보드의 특성상 복잡한 연산 처리를 하게 되면 지연 시간이 길어져 환자의 낙상을 방지하는 목적에 부합하지 못하는 경우가 발생한다.

따라서 본 발명의 실시 예에서는 물체 검출에서 가장 기본으로 사용되는 배경 차 영상(background subtraction)처리 기법을 실시하였으며, 배경 차 영상처리 기법은 배경 영상에서 현재 영상의 차이를 계산하고, 임계값 이상의 화소 위치를 움직임이 있는 화소로 판단하는 영상처리를 말한다. 이러한 배경 차 영상처리 기법은 배경 영상을 안정적으로 계산하는 것이 가장 중요하다.

여기서, 도 6은 차 영상처리에서 사용하는 (가)배경화면과 (나)검출화면을 나타낸 것으로, 미리 찍어둔 배경 화면과 검출할 화면이 있을 경우, 이 영상을 Gray스케일로 변환하고 변환된 Gray스케일 화면을 이진화를 통해 검은색과 흰색의 두 픽셀로만 존재하는 화면을 만든다.

또한, 도 7을 참조하면, 상기 도 6에서 이진화로 변환된 배경에서 검출할 화면을 빼면 배경에 없었던 곰 인형이 검출되게 된다. 이렇게 변환된 영상은 노이즈가 포함된 상태이므로 노이즈를 제거해야 한다.

또한, 도 8을 참조하면, 상기 도 7에서 노이즈가 포함된 차 영상의 노이즈를 줄이기 위해서는 모폴로지 영상처리를 해주어야 한다. 모폴로지는 영상의 팽창과 수축을 통해 작은 점과 같은 흰 픽셀들을 줄여주는 역할을 하게 된다. 상기 모폴로지 영상처리를 위해서는 수축과 팽창의 정도를 조절하고 그에 따른 임계값을 조절하게 되는데, 임계값은 영상에 따라 그 값이 달라지기 때문에 시행착오를 거쳐서 원하는 값으로 조정할 필요가 있다.

이러한 배경 차 영상처리 기법은, 배경 영상이 고정되어 있고 조명의 변화나 사람이 아닌 물체의 이동이 있을 경우 이동된 물체와 조명의 변화에 따라 영상에 영향을 미치게 되며 원하는 결과를 얻기 힘들어질 수 있다. 따라서 배경 영상이 항상 같은 영상이 아니라 환경의 변화에 따라 값이 달라질 수 있도록 하는 영상처리 기법이 필요하다.

본 발명의 실시 예에서는 배경 차 영상처리 기법의 문제점을 보완하고자, 이동 평균 영상을 이용한 배경 차 영상처리를 실시하였다.

여기서, 상기 이동 평균 영상이란 어떤 물체가 이동하여 배경 영상이 바뀌더라도 시간의 흐름에 따라 배경 영상에 현재 화면을 적용시킴으로서 움직이지 않는 물체의 경우는 배경 영상에 적용될 수 있도록 하는 영상처리 기법을 말한다.

도 9의 (나)를 참조하면, 본 발명의 실시 예에 따른 이동 평균 영상을 적용한 화면을 살펴보면, 검출된 곰 인형의 잔상이 배경 영상에 적용되는 것을 볼 수 있으며 곰 인형이 움직이지 않고 시간이 계속 흐르면 곰 인형은 결국 배경 영상의 일부분이 되도록 영상처리가 가능하다.

이와 같이, 본 발명의 실시 예에 따른 상기 영상처리부(200)에서 차 영상(Difference Image) 분석을 통한 환자의 움직임을 추론하는 방법은 먼저, 미리 찍어둔 배경 화면과 검출할 화면이 있을 경우, 그 영상을 Gray스케일로 변환하고 변환된 Gray스케일 화면을 이진화를 통해 검은색과 흰색으로 하는 두 픽셀로만 존재하는 화면을 만든다. 다음은 이진화된 화면의 노이즈를 줄이기 위해서는 영상의 팽창과 수축을 통해 작은 점과 같은 흰 픽셀들을 줄여주는 모폴리지 영상처리를 하게 된다. 그리고 어떤 물체가 이동하여 배경 영상이 바뀌더라도 시간의 흐름에 따라 배경 영상에 현재 화면을 적용시킴으로서 움직이지 않는 물체는 배경 영상에 적용될 수 있도록 하는 이동 평균 영상처리를 하게 된다.

따라서, 본 발명의 실시 예에 따른 상기 영상처리부(200)의 차 영상 분석기법은, 서로 인접한 (i-1)번째 영상과 i번째 영상간의 명암 차에 의해 구축된 차 영상들을 분석해 움직임 물체에 대한 이동형태를 추론하는 것으로부터, 요양병원, 병원에 입원한 환자가 침대에서 낙상하거나 이탈 등의 움직임을 사전에 감지할 수 있는 독특한 영상처리에 그 특징이 있다고 할 것이다.

다시 도 2를 참조하여, 상기 자세판단부(300)는 거동이 불편한 환자가 침대 위에서 취하는 상황별 자세를 판별하기 위한 수단으로, 자세판단부는 환자가 침상에서 정자세 취침인지, 옆으로 취침인지, 앉은 자세인지 등의 3가지 경우에 대한 차 영상을 검출하여 환자의 침상 상태를 판단하게 된다.

도 10을 참조하면, 상기 자세판단부(300)는 차 영상 분석기법을 이용하며 환자가 침대 위에 있을 때 검출된 물체가 사람인지 아닌지 확인하기 위해서는 검은색 픽셀과 흰색 픽셀의 수를 계산하여 판단하게 된다. 즉, 환자의 상태가 정자세로 누워 있을 경우와 옆으로 누워 있을 경우 및 앉아 있을 경우에 대한 검출된 검은색 픽셀과 흰색 픽셀에 대한 화면의 픽셀 수를 계산하여 환자의 침상 자세를 판단하게 된다.

도 11을 참조하면, 도 11의 (가)는 환자의 자세에 따라 변하는 흰 픽셀과 검은 픽셀의 수를 계산하여 각 자세에 따라 분류한 것으로서, A_W는 정자세의 흰 픽셀의 수, A_B는 정자세의 검은 픽셀의 수, B_W는 옆으로 누운 자세의 흰 픽셀의 수, B_B는 옆으로 누운 자세의 검은 픽셀의 수, C_W는 앉은 자세의 흰 픽셀의 수, C_B는 앉은 자세의 검은 픽셀의 수로 각각 나타낸다.

또한, 도 11의 (나)는 상기 도 11의 (가)에서 계산된 값을 이용한 산점도 그래프로서, 그래프가 일직선인 것은, 본 발명의 실시 예를 통해 화면의 크기가 가로800×세로600에서 흰 픽셀과 검은 픽셀의 합이 480,000개로 고정되어 있기 때문이다.

그리고, 도 11의 (나)에서 산점도 그래프를 살펴보면 앉은 자세와 옆으로 누운 자세의 흰 픽셀이 4만개 내지 7만개 사이로 특정 영역을 구분하긴 힘들 정도로 비슷한 분포를 보이지만, 정자세로 누워있을 경우는 흰 픽셀의 수가 7만개 내지 8만개로 다른 자세와 구분될 정도로 떨어져 있는 것을 관찰할 수 있다.

따라서, 검출된 영상의 흰 픽셀의 수가 4만개에서 8만개 사이에 있을 경우 검출된 영상은 사람이라는 것을 알 수 있다. 하지만, 이 데이터는 실제 환자의 신체 사이즈와 카메라의 설치 높이에 밀접한 관계가 있기 때문에 모든 입원 환자에 적용하기에는 다소 어려움이 있으나, 상기 계산된 픽셀의 설정범위 내에서 크게 벗어나지는 않는다.

한편, 본 발명의 실시 예에 따른 카메라를 갖는 광학센서(120)를 이용하여 입원 환자의 침상 상태를 감지할 경우, 야간에 조명등을 소등하게 되면 환자의 침상 상태 감지에 문제가 발생하게 된다.

야간 소등 시 문제점을 해결하기 위해서는, 상기 광학센서(120)에 장착된 IR(Infrared) 필터를 제거하는 대신에 카메라 주위에 적외선 LED(140)를 부착하여 적외선 조명을 만들어 주게 되면 적외선을 통해 환자의 상태를 감지할 수 있기 때문에 조명등이 소등된 야간 취침시간에도 환자의 움직임을 용이하게 감지할 수 있도록 하였다.

즉, 도 2 및 도 12를 참조하여 환자가 침대에서 벗어나는 상황을 상기 광학센서(120) 등을 구비하는 모니터링부(100)로 감지하기 위해서는, 먼저 침대 안의 영역과 침대 밖의 영역을 사전에 구분 설정한다. 다음은 상기 구분 설정된 영역에서 환자가 침대 안에 있는지 없는지 여부에 따른 현재의 상태를 감지하기 위해 침대 안의 영역과 침대 밖의 영역을 상기 영상처리부(200)의 OpenCV 프로그램(220) 상에서 빨간 선으로 구분한다. 그리고 상기 영상처리부(200)에서 OpenCV 프로그램(220)을 이용하여 차 영상 값을 획득하였을 때, 흰 픽셀이 있는 부분이 침대 안인지, 밖인지를 비교 판단하여 환자가 침대 안에 있다가 밖으로 이동하려고 할 때 상기 광학센서(120)를 구비하는 모니터링부(100)를 통해 환자를 감지할 수 있도록 한다.

여기서, 도 13은 본 발명의 실시 예에 따른 임베디드 보드에서 프로그램을 가동했을 때 자동으로 찍힌 사진으로, 도 13의 (가)는 환자가 침대 밖에서 침대 안으로 들어가면 차 영상을 구해서 침대 안의 영역에 있는 흰 픽셀의 수를 감시하다가 도 13의 (나)와 같이 침대 안에서 밖으로 나오려고 할 때 흰 픽셀 수가 줄어들게 되면 카메라가 자동으로 환자의 사진을 다시 촬영하도록 구동된다. 이때 촬영된 사진 데이터는 TCP/IP(410) 통신이나 웹 소켓(420)을 사용하여 서버로 전송하게 된다.

다시 도 2를 참조하여, 상기 영상통신부(400)는 상기 영상처리부(200)에서 처리된 데이터를 TCP/IP(410) 통신이나 웹 소켓(420)을 사용하여 관리센터 등에 전송하는 수단으로, 입원 환자의 침상 상태를 의사나 간호사, 가족들이 실시간 스트리밍 영상으로 확인할 수 있도록 동영상 스트리밍 기능이 추가된다.

상기 동영상 스트리밍은 광학센서(120)가 감지한 사진을 전송하는 방식으로 이루어진다. 사람의 눈은 1초에 20프레임 이상이면 움직이는 동영상으로 보이기 때문에 광학센서에서 1초에 20번 이상의 사진을 요청하는 쪽으로 TCP/IP(410) 통신이나 웹 소켓(420)을 이용하여 전송하도록 되어 있다.

도 14를 참조하면, 입원 환자의 침상에 대한 영상을 클라언트에서 해당 IP와 포트번호로 서버(230)에 접속을 하여 동영상 스트리밍을 요청하면, 상기 영상처리부(200)의 임베디드 보드(210)에서는 사진을 html로 전송하면서 사진을 계속 갱신하는 방식으로 보여줄 수 있도록 신호 처리를 하게 된다. 이러한 IP방식을 사용하면 해당 환자를 관찰하는 IP주소만 알고 있으면 쉽게 접속이 가능하다.

다시 도 2를 참조하여, 상기 관리센터(500)는 상기 영상처리부(200)의 임베디드 보드(210)에서 처리된 사진을 html로 전송하면, 이를 관리센터의 PC에서 수신하여 모니터링 하고 관리하기 위한 수단으로, 상기 관리센터(500)는 요양병원이나 병원 의사집무실 또는 간호사실에 설치되어지며, 입원 환자의 침상 상태를 실시간으로 모니터링 하여 환자가 침대에서 낙상, 이탈 등의 이상 징후가 감지되면 조기에 환자를 보호하고 효율적으로 관리하기 간호업무 수단이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 모니터링부
110 : 라즈베리파이 120 : 광학센서
130 : 마이크로 와이드 렌즈 140 : 적외선 LED
200 : 영상처리부
210 : 임베디드 보드 220 : OpenCV 프로그램
230 : 서버 240 : 데이터베이스
300 : 자세판단부
400 : 영상통신부
410 : TCP/IP 420 : 웹 소켓
500 : 관리센터

Claims (6)

1. 환자 낙상예방 모니터링 장치에 있어서,
   상기 장치는 임베디드 보드(Embedded Board) 기반의 라즈베리파이(Rasberry Pi, 110)와 카메라를 갖는 광학센서(120)를 사용하여 거동이 불편한 환자의 침상을 촬영하고 신호 처리하는 모니터링부(100)와;
   상기 모니터링부에서 신호 처리된 데이터를 OpenCV 프로그램(220)에 의해 차 영상(Difference Image)을 분석해 환자의 움직임을 추론하여 서버(130)로 전송하여 데이터베이스(240)에 저장하며 클라이언트에 대응하는 영상처리부(200)와;
   상기 영상처리부에서 추론한 환자가 정자세 취침, 옆으로 취침 및 앉은 자세에 따른 검은색 픽셀과 흰색 픽셀에 대한 화면의 픽셀 수를 계산하여 환자의 침상 자세를 판단하는 자세판단부(300)를 포함하며,
   또한, 상기 영상처리부(200)에서 처리된 데이터를 TCP/IP(410) 통신이나 웹 소켓(420)을 사용하여 관리센터로 전송하는 영상통신부(400) 및 상기 영상처리부(200)의 임베디드 보드(210)에서 처리된 사진을 html로 전송하면, PC에서 수신하여 모니터링 하고 관리하기 위한 관리센터(500)가 더 포함되고,
   상기 차 영상(Difference Image) 분석은, 서로 인접한 (i-1)번째 영상과 i번째 영상간의 명암 차에 의해 구축된 차 영상들을 분석해 움직임 물체에 대한 이동형태를 추론하고,
   상기 움직임 물체에 대한 이동형태를 추론하는 방법은, 미리 찍어둔 배경 화면과 검출할 화면이 있을 경우 그 영상을 Gray스케일로 변환하고 변환된 Gray스케일 화면을 이진화를 통해 검은색과 흰색으로 하는 두 픽셀로만 존재하는 화면을 만들고, 상기 이진화된 화면의 노이즈를 줄이기 위해 모폴리지 영상처리를 하며, 배경 영상이 바뀌더라도 움직이지 않는 물체는 배경 영상에 적용될 수 있도록 하는 이동 평균 영상처리를 하는 것을 특징으로 하는 환자 낙상예방 모니터링 장치.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 차 영상(Difference Image) 분석은, 기존의 환자가 없는 배경화면과 환자라는 변수가 포함되어 있는 화면에 대한 차 영상을 검출하되, 배경은 검은 픽셀로, 환자는 흰 픽셀에 해당하는 픽셀의 개수로부터 환자의 현재 상태를 판단하도록 사전에 프로그램화되는 것을 특징으로 하는 환자 낙상예방 모니터링 장치.
   
5. 제1항에 있어서,
   상기 영상통신부(400)는, 입원 환자의 침상 상태를 의사나 간호사, 가족들이 실시간 스트리밍 영상으로 확인할 수 있도록 동영상 스트리밍 기능이 포함되는 것을 특징으로 하는 환자 낙상예방 모니터링 장치.
   
6. 제1항에 있어서,
   상기 모니터링 장치는, 침대 안의 영역과 침대 밖의 영역을 사전에 구분 설정하고, 상기 구분 설정된 영역에서 환자가 침대 안에 있는지 없는지 여부를 감지하기 위해 침대 안의 영역과 침대 밖의 영역을 상기 영상처리부(200)의 OpenCV 프로그램(220) 상에 빨간 선으로 구분하며, 상기 영상처리부(200)에서 OpenCV 프로그램(220)을 이용하여 차 영상 값을 획득하였을 때, 흰 픽셀이 있는 부분이 침대 안인지, 밖인지를 비교 판단하여 환자가 침대 안에 있다가 밖으로 이동하려고 할 때 상기 광학센서(120)를 구비하는 모니터링부(100)를 통해 환자를 감지하는 것을 특징으로 하는 환자 낙상예방 모니터링 장치.

Images