KR102379275B1 - 영상기반 원격 홈 케어 시스템 - Google Patents

Abstract

본 발명은 홈 케어 시스템을 개시한다. 보다 상세하게는, 본 발명은 원격지에서 IP-CAM을 이용하여 촬영된 피관찰자의 영상에 기반하여 응급상황 등 각종 예기치 못한 이벤트가 발생하는 것을 실시간으로 모니터링하는 영상기반 원격 홈 케어 시스템에 관한 것이다.
본 발명의 실시예에 따르면, 독거노인 등 취약계층이 거주하는 거주지에 하나 이상의 IP-CAM을 설치 또는 스마트 단말을 준비하고, 피보호자의 현재 모습을 실시간으로 촬영하여 수집하고, 수집된 영상의 분석을 통해 긴급상황 발생여부를 판단 및 연계된 긴급상황센터에 신고하여 피보호자를 보호할 수 있는 효과가 있다.

Description

영상기반 원격 홈 케어 시스템{SYSTEM FOR REMOTE HOME CARE BASED ON IMAGE}

본 발명은 홈 케어 시스템에 관한 것으로, 특히 원격지에서 IP-CAM을 이용하여 촬영된 피관찰자의 영상에 기반하여 응급상황 등 각종 예기치 못한 이벤트가 발생하는 것을 실시간으로 모니터링하는 영상기반 원격 홈 케어 시스템에 관한 것이다.

최근 핵가족화 및 노령화 현상이 두드러지고 있고, 이러한 현상으로 평소의 일상생활에서도 위험에 노출되는 다양한 형태의 사회취약계층들이 증가하고 있다. 특히, 긴급상황에서 도움을 줄 수 있는 간병인 없이 홀로 독거하는 독거노인의 수는 고령화로 인하여 해마다 증가하고 있는 추세이다.

이러한 독거노인들은 어느 날 갑자기 자신의 신체에 돌변현상이 발생하였을 때, 행동의 제약에 따라 다른 사람의 도움을 통해 긴급구급이 이루어야 함에도 불구하고, 가족 등 다른 사람의 도움을 즉각적으로 받을 수 없는 상황에 놓여있다.

고령에 따른 질병, 고독, 빈곤, 무직업 등에 대응하는 사회적, 경제적 대책은 고령화 사회가 당면하고 있는 과제로서, 누군가의 도움을 받기 어려운 독거노인에 대하여 갑작스럽게 건강에 이상이 생기는 위급 상황이 발생하는 경우에 대응하기 위한 다양한 모니터링 시스템이 필요한 상황이다.

이러한 독거노인을 위해 제안된 시스템으로서, 등록특허공보 제10-1927373호는 거주자 모니터링 장치가 카메라 또는 모션 감지기로부터 수신된 데이터를 이용하여 거주자의 움직임을 포착 시도하고, 지정시간 동안 움직임이 포착되지 않는 경우 거주자 모니터링 장치가 알람 신호를 출력하며, 알람 신호에 후속하여 거주자 모니터링 장치가 거주자의 움직임을 포착 시도하고, 만약 지정시간 이내에 움직임이 포착되지 않는 경우, 거주자 모니터링 장치가 광대역 통신망을 통해 관리 서버로 알람 메시지를 전송함과 아울러, 근거리 개인 통신망을 통해 거주자 모니터링 장치에 연결된 마이크가 마이크 그릴 내에 내장된 생체신호센서를 통해 생체 데이터를 센싱하는 모니터링 방법을 개시하고 있다.

이러한 선행기술문헌에 의하면, 원격에서 거주자의 다양한 상태를 모니터링하고 모니터링 결과에 따라 거주자의 관리가 가능하게 되는 효과를 기대할 수 있다.

등록특허공보 제10-1927373호(공고일자: 2018.12.12.)

본 발명은 전술한 독거노인 등 사회취약계층을 원격지에서 관리, 감독함과 더불어 긴급상황 발생시 골든타임을 놓치지 않고 즉각적인 조치가 이루어질 수 있도록 하는 원격 홈 케어 서비스를 제공하는 데 과제가 있다.

또한, 본 발명은 집안에 설치되는 복수의 IP-CAM 및 영상촬영이 가능한 하나 이상의 스마트 단말로부터 서로 다른 형식의 영상을 획득하고, 영상보정을 통해 수집되는 피보호자를 촬영한 영상을 균일화하여 정확한 분석결과를 도출하는 시스템을 제공하는 데 다른 과제가 있다.

전술한 과제를 해결하기 위해, 본 발명의 바람직한 실시예에 따른 영상기반 원격 홈 케어 시스템은, 피보호자가 거주하는 거주지에 설치되어 피보호자의 모션을 실시간으로 촬영하는 하나 이상의 IP-CAM, 상기 IP-CAM과 유선 또는 무선으로 연결되고, IP-CAM가 촬영한 피보호자 영상을 외부의 정보통신망으로 전송하는 게이트웨이 및, 정보통신망을 통해 각 거주지의 게이트웨이와 연결되어 피보호자 영상을 실시간으로 수집하고, 각 피보호자별 모션분석을 통해 피보호자의 현재상태를 판단하고, 긴급상황 발생시 긴급상황센터에 긴급출동을 요청하는 메인 서버를 포함하고, 상기 메인 서버는, 다양한 환경에서 촬영된 다수의 학습 영상을 수개월 이상 기계 학습한 학습 모델을 이용하여 수집된 피보호자 영상을 분석할 수 있다.

상기 게이트웨이는, 상기 거주지에 위치하며, 상기 메인 서버와 연동하는 어플리케이션이 설치된 하나 이상의 스마트 단말과 더 연결되고, 상기 어플리케이션은, 상기 스마트 단말에 탑재된 카메라를 통해 상기 IP-CAM과 서로 다른 위치 및 각도에서 피보호자를 실시간으로 촬영하고, 상기 게이트웨이를 통해 상기 피보호자 영상을 상기 메인 서버에 전송할 수 있다.

상기 메인 서버는, 각 거주지의 게이트웨이로부터 하나 이상의 피보호자 영상을 실시간으로 수신하는 영상 수집부, 피보호자 및 보호자에 대한 회원 가입 절차를 제공하고, 회원 가입된 피보호자 및 보호자의 정보를 회원 데이터 베이스에 저장하고, 수집된 영상의 당사자인 피보호자를 식별하는 회원 관리부, 식별된 피보호자별로 해당하는 피보호자 영상을 분류하고, 영상 저장소에 저장하는 영상 분류부, 분류된 피보호자 영상 내에 등장하는 피보호자를 추출하고, 추출된 피보호자의 모션을 분석하여 긴급상황 발생여부를 판단하는 영상 분석부 및, 학습 데이터 베이스에 저장된 다수의 학습 영상을 이용하여 기계 학습을 수행하고, 상기 영상 분석부의 피보호자 모션 분석시 학습된 학습 모델을 제공하는 학습부를 포함할 수 있다.

상기 메인 서버는, 상기 영상 분석부에 의해 피보호자에 대한 긴급상황이 발생한 것으로 판단되면, 보호자 및 피보호자의 정보를 참조하여 해당 피보호자의 보호자를 식별하고, 보호자 단말에 긴급상황에 대한 경고 알림을 제공하는 알림 생성부를 포함할 수 있다.

상기 피보호자 영상은 복수의 IP-CAM 또는 스마트 단말에 의해 동일한 시점에 촬영된 서로 다른 특성을 갖는 복수의 영상으로 구분되고, 상기 영상 분석부는, 상기 복수의 영상에 포함되는 메타정보를 참조하여 각 영상의 스케일, 해상도 및 프레임을 포함하는 속성을 추출하는 속성 추출부, 추출된 속성에 따라 상기 복수의 영상을 일관된 포맷의 영상 데이터로 변환하고, 영상 내 등장하는 피보호자를 추적하는 영상 처리부 및, 학습모델을 이용하여 영상 내 등장하는 피보호자의 모션을 인식하고, 상기 모션이 긴급상황에 해당하는 모션인지 여부를 판별하는 모션 판별부를 포함할 수 있다.

상기 영상 처리부는, 기준이 되는 영상의 속성에 대응하도록 각 영상의 스케일 및 해상도를 변환하는 변환부, 복수의 영상 중, 기준 프레임 이하의 영상에 대하여 보간 프레임을 생성하여 추가하는 보간부 및, 촬영된 방향 및 각도에 따라 각 영상이 촬영하는 영역을 정의하고, 피보호자가 동시에 둘 이상의 영상에 등장하면, 해당 영상의 영역을 정합하는 정합부를 포함할 수 있다.

상기 메인 서버는, 정보통신망을 통해 피보호자의 보호자 또는 사회복지사가 소유한 하나 이상의 보호자 단말과 더 연결되고, 상기 보호자 단말은 관련된 피보호자의 신변에 응급상황 발생시, 상기 메인 서버로부터 경고알림을 수신하고, 보호자의 조작에 따라 긴급상황센터에 긴급출동을 요청할 수 있다.

본 발명의 실시예에 따르면, 독거노인 등 취약계층이 거주하는 거주지에 하나 이상의 IP-CAM을 설치 또는 스마트 단말을 준비하고, 피보호자의 현재 모습을 실시간으로 촬영하여 수집하고, 수집된 영상의 분석을 통해 긴급상황 발생여부를 판단 및 연계된 긴급상황센터에 신고하여 피보호자를 보호할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따르면, 관리 대상인 거주지에 설치되는 복수의 IP-CAM, 스마트 단말로부터 수집된 영상을 일정 기준에 따라 균일화하고 이를 연계하여 분석함으로써 보다 정확한 분석결과를 제공할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 메인 서버의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 메인 서버에 탑재되는 영상 분석부의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 피보호자 홈 케어 방법을 나타낸 도면이다.
도 5 및 도 6은 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템과 연계하는 어플리케이션이 제공하는 화면을 예시한 도면이다.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

그리고, 이하의 설명에서 본 발명의 '영상기반 원격 홈 케어 시스템'의 용어는 설명의 편의상 '시스템'과 혼용하여 기재될 수 있다.

도 1은 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 전체 구조를 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템은, 관리, 감독이 필요한 모니터링 대상인 보호자가 거주하는 거주지(1)에 하나 이상의 IP-CAM(10)를 설치하여 피보호자의 모습을 24시간 촬영하고, 그 피보호자 영상을 게이트웨이(30)를 통해 원격지의 중앙관리 센터(3)의 메인 서버(100)에 제공하고, 메인 서버(100)는 각 지역의 거주지(1)의 게이트웨이(30)와 연결되어 피보호자 영상을 실시간으로 수집하고, 수집된 영상을 피보호자별로 분류 및 기계 학습 모델을 통해 모션 분석을 수행함으로써 피보호자가 평소와 다름없는 상태인지 혹은 긴급한 상황인지를 판별하게 된다. 만약, 긴급상황이 발생한 것이라고 판단되는 경우, 메인 서버(100)는 연계된 소방서, 경찰서 등, 긴급상황센터에 신고하여 피보호자에 대한 긴급구급이 신속하게 이루어지도록 한다.

여기서, IP-CAM(10)은 공지의 IP기반 데이터 통신을 수행하는 카메라 장치일 수 있고, 24시간 구동하여 거주지 내 피보호자의 모습을 촬영할 수 있다.

또한, 거주지(1)에는 고정 설치식의 IP-CAM(10) 이외에도, 피보호자가 의도한 위치에서 자신을 촬영할 수 있는 카메라 모듈이 탑재된 스마트폰, 태블릿PC 등의 스마트 단말(20)이 더 배치되어 게이트웨이(30)와 무선으로 연결될 수 있고, IP-CAM(10)와 더불어 피보호자를 촬영하여 피보호자 영상을 추가로 제공할 수도 있다.

아울러, 메인 서버(100)에는 피보호자와 관련된 가족 또는 사회복지사 등의 보호자(5)가 등록될 수 있고, 긴급상황 발생시 해당 보호자를 식별하고, 그의 보호자 단말(50)에 경고알림을 푸시메시지 등의 형태로 제공할 수 있다.

전술한 게이트웨이(30)와 메인 서버(100)를 연결하는 정보통신망으로는, PSTN(Public Switched Telephone Network)과 같은 유선전화망뿐만 아니라, 데이터 통신망의 일 예로서, LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크일 수 있으며, 인터넷과 같은 개방형 네트워크가 이용될 수 있다. 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있다. 또한, 무선 통신망의 일 예로는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications), 5G 등 중, 어느 하나가 이용될 수 있으나 이에 한정되는 것은 아니다.

특히, 본 발명의 실시예에 따른 메인 서버(100)는 수집되는 피보호자 영상에 등장하는 피보호자의 모션의 분석을 통해 긴급상황 발생여부를 판별하게 되며, 이를 위한 기계 학습 모듈을 탑재할 수 있다. 이러한 기계 학습과 관련된 상세한 설명은 후술하도록 한다.

전술한 구조에 따라, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템은 각 지역의 거주지에서 혼자 생활하는 독거노인 등 사회취약계층에 대하여 IP-CAM을 이용하여 모니터링 대상자인 피보호자를 실시간으로 촬영하고, 원격지에서 피보호자 영상을 분석하여 긴급상황 발생여부를 판단 및 조치를 취할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 메인 서버를 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 메인 서버의 구조를 나타낸 도면이다. 이하의 설명에서, 본 발명의 메인 서버(100) 및 그 구성부들은 공지의 클라우드 플랫폼 상에 설치 및 운영될 수 있다. 클라우드 플랫폼에 기반하여 서버를 운영하는 것은 대용량의 영상을 저장 및 분석하는 데 소요되는 컴퓨터 자원의 자유로운 확장에 유리하다는 장점이 있다.

도 2를 참조하면, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 메인 서버(100)는, 각 거주지의 게이트웨이(30)로부터 하나 이상의 피보호자 영상을 실시간으로 수신하는 영상 수집부(110), 피보호자 및 보호자에 대한 회원 가입 절차를 제공하고, 회원 가입된 피보호자 및 보호자의 정보를 회원 데이터 베이스(125)에 저장하고, 수집된 영상의 당사자인 피보호자를 식별하는 회원 관리부(120), 식별된 피보호자별로 해당하는 피보호자 영상을 분류하고, 영상 저장소(135)에 저장하는 영상 분류부(130), 분류된 피보호자 영상 내에 등장하는 피보호자를 추출하고, 추출된 피보호자의 모션을 분석하여 긴급상황 발생여부를 판단하는 영상 분석부(140), 학습 데이터 베이스(155)에 저장된 다수의 학습 영상을 이용하여 기계 학습을 수행하고, 영상 분석부(140)의 피보호자 모션 분석시 학습된 학습 모델을 제공하는 학습부(150) 및, 영상 분석부(140)에 의해 피보호자에 대한 긴급상황이 발생한 것으로 판단되면, 보호자 및 피보호자의 정보를 참조하여 해당 피보호자의 보호자를 식별하고, 보호자 단말(50)에 긴급상황에 대한 경고 알림을 제공하는 알림 생성부(160)를 포함할 수 있다.

영상 수집부(110)는 각 지역에 위치한 거주지에 설치되는 하나 이상의 IP-CAM으로부터 촬영된 피보호자 영상을 게이트웨이(30)로부터 전송 받을 수 있다. 영상 수집부(110)는 게이트웨이의 IP정보를 통해 각 피보호자 영상의 출처를 확인할 수 있고, 그 IP정보는 이후 영상 분류시 활용될 수 있다.

회원 관리부(120)는 본 발명의 실시예에 따른 원격 홈 케어 서비스를 이용하고자 하는 보호자 및 피보호자에 대한 회원 가입 절차 및, 로그인 절차를 처리할 수 있고, 보호자 및 피보호자 정보를 회원 데이터 베이스(125)에 저장할 수 있다.

본 발명의 서비스를 이용하기 위해서는 회원 가입이 필수적이며, 회원 가입절차에서 획득한 보호자 및 피보호자 정보는 긴급구급 알림 기능을 구현하는 데 활용될 수 있다.

회원 데이터 베이스(125)는 회원 가입된 보호자 및 피보호자 정보를 저장할 수 있다. 이러한 회원 데이터 베이스(125)에는 보호자 및 피보호자의 설명, 연락처, 주소, IP정보 및, 각 거주지에 설치된 IP-CAM 사양 등이 포함될 수 있고, 이러한 정보들은 실시간으로 수집되는 피보호자 영상을 피보호자 별로 분류하고, 긴급상황 발생시, 피보호자의 거주지 주소 및, 해당 피보호자에 대한 보호자의 연락처를 확인하는 데 활용될 수 있다.

영상 분류부(130)는 게이트웨이(30)들로부터 실시간으로 수집되는 피보호자 영상을 피보호자 별로 분류할 수 있다. 메인 서버(100)는 각 지역의 다수의 거주지에 설치된 다수의 게이트웨이(30)로부터 실시간으로 피보호자 영상을 수집함에 따라 분석을 위해 분류가 요구되며, 영상 분류부(130)는 각 영상이 전송된 게이트웨이(30)의 IP정보를 이용하여 피보호자를 식별하고, 수집한 영상을 분류하여 영상 저장소(135)에 저장할 수 있다.

영상 저장소(135)는 피보호자 별로 분류된 피보호자 영상을 파일 형태로 저장할 수 있다. 영상 저장소(135)에는 계정 별로 저장공간이 할당될 수 있고, 영상 수집부(110)에 의해 실시간으로 수집된 피보호자 영상을 저장할 수 있으며, 일정시간이 경과되면 자동 삭제함으로써, 추가되는 피보호자에 대한 영상의 저장을 위한 일정량의 여유공간을 지속적으로 유지할 수 있도록 한다.

또한, 본 발명의 일 실시예에 따르면, 영상 저장소(135)는 저장된 특정 영상, 특히 피보호자의 모션 분석에 따라 긴급상황으로 판별된 시점의 영상을 학습 데이터 베이스(155)에 제공함으로써, 학습 영상을 업데이트 하는 데 활용할 수 있다.

영상 분석부(140)는 분류된 피보호자 영상을 영상처리를 통해 영상 내에서 피보호자를 추출 및 추적하고, 추출된 피보호자의 모션을 분석하여 이상 모션 여부를 판별할 수 있다. 본 발명은 각 지역의 거주지에 설치된 IP-CAM으로부터 수집된 영상을 분석하여 피보호자의 현재 상태를 판단하고 긴급상황인 경우 원격지에서 즉시 조치를 취하도록 하는 것을 요지로 하며, 이에 영상 분석부(140)는 준비된 기계 학습 모델을 이용하여 피보호자 별로 피보호자 영상을 분석하여 영상 내 피보호자에 해당하는 객체를 추출 및 추적하고, 피보호자의 모션을 분석하여 이상 모션을 취하고 있는지 판별 할 수 있다.

학습부(150)는 영상 분석부(140)에 피보호자의 추출 및 모션 분석을 위한 기계 학습 모델을 제공하고, 다수의 학습 영상을 통해 학습 모델에 대한 기계 학습을 수행할 수 있다. 여기서, 학습 모델은 다양한 배경에 등장하는 사람의 모션을 포함하는 다수의 학습 영상을 6개월 이상의 학습결과를 바탕으로 이상 모션을 판별할 수 있다.

학습 데이터 베이스(155)는 학습부(150)에 다수의 다양한 형태의 학습 영상을 제공할 수 있다. 전술한 바와 같이, 학습 영상은 등장하는 사람의 모션이 긴급상황에 대응하는 이상 모션인지를 판별하기 위한 영상이고, 이러한 학습 영상을 빅 데이터로서 미리 준비될 수 있다. 또한, 학습 데이터 베이스(155)는 메인 서버(100)가 수집한 긴급상황에 대응하는, 영상 저장소(135)에 저장된 피보호자 영상을 학습 영상으로 추가하여 학습 모델에 제공할 수 있다.

알림 생성부(160)는 영상 분석부(140)의 분석 결과, 특정 피보호자가 이상 모션을 취함에 따라 긴급상황이 발생한 것으로 판단되면, 해당 피보호자와 연계된 보호자를 식별하고 경고 알림을 메시지를 보호자 단말(50)에 전송할 수 있다. 또한, 알림 생성부(160)는 연계된 긴급상황 센터의 센터 단말(60)에 해당 피보호자 대한 긴급구급을 요청할 수 있다.

또한, 알림 생성부(160)는 보호자 단말(50) 및 센터 단말(60)에 긴급상황이 발생한 피보호자의 영상을 경고 알림 메시지와 함께 전송함으로써, 보호자가 현재 상황을 즉시 판단할 수 있도록 하는 기능을 제공할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른, 영상 분석을 위한 메인 서버에 탑재되는 영상 분석부를 상세히 설명한다.

도 3은 본 발명의 실시예에 따른 메인 서버에 탑재되는 영상 분석부의 구조를 나타낸 도면이다.

도 3을 참조하면, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 메인 서버에 탑재되는 영상 분석부(140)는, 복수의 영상에 포함되는 메타정보를 참조하여 각 영상의 스케일, 해상도 및 프레임을 포함하는 속성을 추출하는 속성 추출부(141), 추출된 속성에 따라 복수의 영상을 일관된 포맷의 영상 데이터로 변환하고, 영상 내 등장하는 피보호자를 추적하는 영상 처리부(143) 및, 학습모델을 이용하여 영상 내 등장하는 피보호자의 모션을 인식하고, 상기 모션이 긴급상황에 해당하는 모션인지 여부를 판별하는 모션 판별부(145)를 포함할 수 있다.

속성 추출부(141)는 전송되는 다양한 포맷에 따른 피보호자 영상의 속성을 추출할 수 있다. 본 발명의 일 실시예에 따른 시스템은 다수의 거주지에 복수의 서로 다른 방향, 각도로 영상을 촬영하며 서로 다른 사양의 IP-CAM을 비롯하여 피보호자 또는 보호자가 추가한 스마트 단말으로부터 피보호자 영상을 수집, 분석함에 따라, 수집된 영상의 스케일, 해상도 등에 차이가 발생할 수 있고, 이는 동일한 거주지에 대한 영상의 분석시 정확도를 낮추는 원인이 될 수 있다.

이러한 문제를 개선하고 분석 결과의 정확도를 높이기 위해, 본 발명의 일 실시예에 따른 영상 분석부(140)는 하나의 거주지로부터 수집된 서로 다른 포맷의 제1 내지 제n(n은 자연수) 영상에 대하여, 영상에 포함된 속성에 대응하는 메타정보를 추출할 수 있다.

영상 처리부(143)는 속성이 추출된 제1 내지 제n 영상의 포맷을 기준에 따라 변환, 보간 및 정합하여 일관한 하나의 포맷을 갖는 영상으로 처리할 수 있다.

상세하게는, 영상 처리부(143)는 전술한 기능을 구현하기 위한 구성으로서, 기준이 되는 영상의 속성에 대응하도록 각 영상의 스케일 및 해상도를 변환하는 변환부(1431), 복수의 영상 중, 기준 프레임 이하의 영상에 대하여 보간 프레임을 생성하여 추가하는 보간부(1433) 및, 촬영된 방향 및 각도에 따라 각 영상이 촬영하는 영역을 정의하고, 피보호자가 동시에 둘 이상의 영상에 등장하면, 해당 영상의 영역을 정합하는 정합부(1435)를 포함할 수 있다.

변환부(1431)는 제1 내지 제n 영상에 대하여, 메타정보를 참조하여 각 영상의 스케일(image scale), 해상도(resolution) 등을 판단하고, 기준이 되는 어느 하나의 영상(ex. 제1 영상) 또는 별도의 고정된 기준(ex. image scale = 2.5 arcsecs/pixel, resolution = FHD(1920×1080) 등)에 따라 나머지 영상(ex. 제2 내지 제n 영상)을 변환할 수 있다.

보간부(1433)는 각 제1 내지 제n 영상의 프레임이 일치되도록 영상에 보간(interpolation) 프레임을 추가할 수 있다. 일례로서, 제1, 제3 영상의 프레임이 각각 60 fps이고 제2 영상이 30 fps이라고 할 때, 보간부(1433)는 제2 영상의 각 프레임 사이에 프레임간 중간값을 갖는 추가 프레임을 생성 및 삽입함으로써 60 fps에 인접하도록 영상을 가공할 수 있다.

정합부(1435)는 제1 내지 제n 영상에 공통적으로 등장하는 객체를 식별하고 그 위치 및 모션을 공유하도록 처리할 수 있다. 제1 내지 제n 영상은 각각 다른 방향 및 위치에 설치된 IP-CAM 및 스마트 단말에 의해 촬영된 영상임에 따라, 그 일부 또는 전부에는 객체인 피보호자가 등장할 수 있고, 각 영상에 등장하는 객체가 동일한 피보호자를 가리키는 것인지 또는 타 객체(ex. 외부인, 가구 등)인지를 정확하게 판단하기 위해, 영상 내에서 객체가 등장하는 좌표는 서로 상이하나, 동일 객체인 경우에는 실질적으로 동일한 영역을 가리키는 것임에 따라, 둘 이상의 영상에 등장하는 객체가 피보호자일 경우, 이는 동일 객체의 동일 영역을 가리키는 것임에 따라 두 영상의 영역을 정합하여 피보호자가 등장할 때, 그 위치를 추적할 수 있도록 한다.

모션 판별부(145)는 변환, 보간 및 정합 과정이 완료된 영상에 대하여, 준비된 학습 모델을 이용하여 영상 내 등장하는 피보호자의 모션에 대한 이상 모션여부를 판별하고 그 결과를 출력할 수 있다.

전술한 구조에 따라, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템은, 수집한 피보호자 영상에 대한 변환, 보간, 정합 등의 영상처리과정을 통해 높은 정확도를 갖도록 하고, 피보호자의 이상 모션을 판별할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템에 의한 피보호자에 대한 홈 케어 방법을 상세히 설명한다.

도 4는 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 피보호자 홈 케어 방법을 나타낸 도면이다. 이하의 설명에서 각 단계별 실행주체는 별도의 기재가 없더라도, 메인 서버 및 본 발명의 영상기반 원격 홈 케어 시스템을 구성하는 각 구성부가 된다.

도 4를 참조하면, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 피보호자 모니터링 방법에 따르면, 피보호자가 거주하는 거주지에 설치된 IP-CAM이 피보호자의 모션을 실시간으로 촬영하는 단계(S100), IP-CAM과 유선 또는 무선으로 연결되는 게이트웨이가 IP-CAM가 촬영한 피보호자 영상을 외부의 정보통신망을 통해 메인 서버에 전송하는 단계(S110), 정보통신망을 통해 각 거주지의 게이트웨이와 연결된 메인 서버가 피보호자 영상을 실시간으로 수집하는 단계(S120), 메인 서버가 수집된 피보호자 영상을 피보호자 별로 분류하는 단계(S130) 및, 메인 서버가 각 피보호자별 모션분석을 통해 피보호자의 현재상태를 판단하고, 긴급상황 발생시 긴급상황센터에 긴급출동을 요청하는 단계(S140)를 포함할 수 있다.

먼저, 피보호자가 거주하는 거주지에 설치된 IP-CAM이 피보호자의 모션을 실시간으로 촬영하는 단계(S100)로서, 본 발명의 홈 케어 서비스를 이용하고자 하는 보호자 및 피보호자는 메인 서버를 통한 회원 가입 절차를 완료하고, 이후 피보호자의 거주지에 하나 이상의 IP-CAM 및 게이트웨이를 설치하여 IP-CAM이 피보호자의 모션을 실시간으로 촬영한다.

다음으로, IP-CAM과 유선 또는 무선으로 연결되는 게이트웨이가 IP-CAM가 촬영한 피보호자 영상을 외부의 정보통신망을 통해 메인 서버에 전송하는 단계(S110)에서는, 실시간으로 IP-CAM이 거주지 내부를 촬영함에 따라, 이와 연결된 게이트웨이가 정보통신망을 통해 촬영된 피보호자 영상을 메인 서버에 전송하게 된다. 여기서, IP-CAM은 유선 LAN 또는 블루투스, WiFi 프로토콜을 통해 게이트웨이와 연결될 수 있고, TCP/IP 프로토콜로 메인 서버와 데이터 통신을 수행할 수 있다. 이러한 게이트웨이는 거주지에 설치된 라우터, 공유기 등을 통해 구현될 수 있다.

다음으로, 정보통신망을 통해 각 거주지의 게이트웨이와 연결된 메인 서버가 피보호자 영상을 실시간으로 수집하는 단계(S120)에서는, S110 단계에 따라 메인 서버가 서비스에 등록한 하나 이상의 피보호자의 거주지에 설치된 게이트웨이로부터 피보호자 영상을 실시간으로 전송 받아 수집하게 된다.

다음으로, 메인 서버가 수집된 피보호자 영상을 피보호자 별로 분류하는 단계(S130)에서는 다수의 게이트웨이로부터 다양한 피보호자에 대한 피보호자 영상이 실시간으로 전송됨에 따라, 메인 서버가 수집된 피보호자 영상을 피보호자 별로 분류하고, 이를 데이터 베이스에 저장하게 된다.

그리고, 메인 서버가 각 피보호자 별 모션분석을 통해 피보호자의 현재상태를 판단하고, 긴급상황 발생시 긴급상황센터에 긴급출동을 요청하는 단계(S140)에서는, 메인 서버가 피보호자 별로 분류된 피보호자 영상에 대하여, 메인 서버에 탑재되는 기계 학습 모델을 통해 영상 내에서 피보호자를 추출하고 현재 모션이 이상 모션인지를 판별하게 되며, 이상 모션이 판별된 경우 긴급상황이 발생한 것으로 간주하고, 경고 알림을 보호자 단말에 제공할 수 있다. 또한, 메인 서버는 긴급상황 센터에 피보호자에 대한 긴급구급을 요청할 수 있다.

여기서, 기계 학습 모델은 하나 이상의 딥 러닝(deep learning) 기법이 적용될 수 있고 다수의 학습 영상을 통해 적어도 6개월 이상의 학습 과정을 거친 후 분석 과정에 이용될 수 있다.

이하, 본 발명의 실시예예 따른 영상기반 원격 홈 케어 시스템의 어플리케이션이 제공하는 화면의 일 예를 통해 본 발명의 기술적 사상을 상세히 설명한다.

도 5 및 도 6은 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템과 연계하는 어플리케이션이 제공하는 화면을 예시한 도면이다.

도 5를 참조하면, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템의 어플리케이션은, 피보호자와 관련된 보호자의 스마트폰 등의 보호자 단말(50)에 설치, 실행될 수 있고, 보호자의 모니터링과 관련된 기능을 제공하거나, 긴급상황 발생시 경고알림 메시지를 수신할 수 있다.

상세하게는, 보호자 단말(50)은 어플리케이션의 실행시, 정보통신망을 통해 메인 서버에 접속하고, 모니터링과 관련된 기능인, 실시간 영상 보기(51), 피보호자 연결(52) 및, 긴급상황 센터연결(53) 기능을 제공할 수 있다. 이러한 어플리케이션은 평소에는 보호자 단말(50)의 백그라운드에서 실행되어 메인 서버로부터 경고 알림 메시지를 푸시(push) 메시지 형태로 수신할 수 있다.

먼저, 실시간 영상 보기(51) 기능은 보호자가 피보호자의 현재 상태를 확인하기 위해 피보호자 영상을 수신 및 표시하는 기능으로서, 보호자가 본 기능이 선택하면, 어플리케이션은 현재 피보호자 영상을 메인 서버에 요청하게 되며, 이에 메인 서버는 보호자 단말(50)의 식별수단, 예를 들어, MAC, 전화번호 등을 확인하여 당사자를 식별하고, 식별된 보호자와 연계된 피보호자를 확인하고 현재 수신중인 피보호자 영상을 보호자 단말(50)에 전송함으로써, 보호자 단말(50)의 화면상에서 피보호자 영상을 실시간으로 시청할 수 있도록 한다.

피보호자 연결(52) 기능은, 일반 전화 통화 또는 영상 통화 기능을 활성화하는 것으로, 본 기능이 선택되면 어플리케이션은 등록된 전화번호를 통해 피보호자가 소지한 스마트 단말에 전화 연결을 시도하거나, 메인 서버에 피보호자의 스마트 단말과의 영상통화를 요청할 수 있고, 스마트 단말을 통해 피보호자와 음성 또는 영상통화를 수행할 수 있다.

긴급상황 센터연결(53) 기능은, 피보호자가 피보호자 영상 확인 또는 전화통화에 의해 보호자에게 긴급상황이 발생된 것을 인지함에 따라, 소방서, 경찰서 등, 피보호자와 인접한 지역에 위치한 긴급상황 센터에 연결을 요청하는 기능으로서, 피보호자에 대한 긴급상황을 확인한 보호자가 본 기능을 선택하면 긴급상황 센터에서 운영중인 단말에 연결되어 피보호자로의 출동을 요청할 수 있다.

도 6을 참조하면, 본 발명의 실시예에 따른 영상기반 원격 홈 케어 시스템이 피보호자에 대하여 모니터링 중, 기계 학습 모델을 이용한 피보호자 영상 분석시 이상 모션이 나타낸 것으로 판별된 경우, 현재 상황을 보호자 단말(50)에 제공하는 기능을 예시하고 있다.

피보호자에 대하여 이상 모션이 발생한 것으로 판단되면, 메인 서버는 이상 모션으로 판단된 시점을 기준으로 하여 전후 10초 정도의 영상, 총 20초 분량의 피보호자 영상을 경고 알림과 함께 해당 보호자의 보호자 단말(50)로 전송할 수 있고, 이에 어플리케이션은 보호자 단말(50)상에 경고 알림 메시지와 더불어 이상 모션이 판별된 전술한 분량의 피보호자 영상(55)을 표시할 수 있다.

이에, 보호자는 피보호자의 현재 상태 및 긴급상황 발생 여부를 직접 확인할 수 있고, 긴급상황이라고 판단시 긴급상황 센터연결(53) 기능을 선택하여 긴급상황 센터에 연결을 시도 및 피보호자에 대한 출동을 요청할 수 있다.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.

1 : 거주지 3 : 중앙관리 센터
5 : 보호자 7 : 긴급상황 센터
10 : IP-CAM 20 : 스마트 단말
30 : 게이트웨이 50 : 보호자 단말
100 : 메인 서버 110 : 영상 수집부
120 : 회원 관리부 125 : 회원 데이터 베이스
130 : 영상 분류부 135 : 영상 저장소
140 : 영상 분석부 141 : 속성 추출부
143 : 영상 처리부 1431 : 변환부
1433 : 보간부 1435 : 정합부
145 : 모션 판별부 150 : 학습부
155 : 학습 데이터 베이스 160 : 알림 생성부

Claims (7)

1. 피보호자가 거주하는 거주지에 설치되어 피보호자의 모션을 실시간으로 촬영하는 하나 이상의 IP-CAM;
   상기 IP-CAM과 유선 또는 무선으로 연결되고, IP-CAM가 촬영한 피보호자 영상을 외부의 정보통신망으로 전송하는 게이트웨이; 및
   정보통신망을 통해 각 거주지의 게이트웨이와 연결되어 피보호자 영상을 실시간으로 수집하고, 각 피보호자별 모션분석을 통해 피보호자의 현재상태를 판단하고, 긴급상황 발생시 긴급상황센터에 긴급출동을 요청하는 메인 서버를 포함하고,
   상기 메인 서버는,
   다양한 환경에서 촬영된 다수의 학습 영상을 수개월 이상 기계 학습한 학습 모델을 이용하여 수집된 피보호자 영상을 분석하고,
   상기 게이트웨이는, 상기 거주지에 위치하며, 상기 메인 서버와 연동하는 어플리케이션이 설치된 하나 이상의 스마트 단말과 더 연결되고,
   상기 어플리케이션은,
   상기 스마트 단말에 탑재된 카메라를 통해 상기 IP-CAM과 서로 다른 위치 및 각도에서 피보호자를 실시간으로 촬영하고, 상기 게이트웨이를 통해 상기 피보호자 영상을 상기 메인 서버에 전송하는 것인, 영상기반 원격 홈 케어 시스템.
2. 삭제
3. 제 1 항에 있어서,
   상기 메인 서버는,
   각 거주지의 게이트웨이로부터 하나 이상의 피보호자 영상을 실시간으로 수신하는 영상 수집부;
   피보호자 및 보호자에 대한 회원 가입 절차를 제공하고, 회원 가입된 피보호자 및 보호자의 정보를 회원 데이터 베이스에 저장하고, 수집된 영상의 당사자인 피보호자를 식별하는 회원 관리부;
   식별된 피보호자별로 해당하는 피보호자 영상을 분류하고, 영상 저장소에 저장하는 영상 분류부;
   분류된 피보호자 영상 내에 등장하는 피보호자를 추출하고, 추출된 피보호자의 모션을 분석하여 긴급상황 발생여부를 판단하는 영상 분석부; 및
   학습 데이터 베이스에 저장된 다수의 학습 영상을 이용하여 기계 학습을 수행하고, 상기 영상 분석부의 피보호자 모션 분석시 학습된 학습 모델을 제공하는 학습부
   를 포함하는 영상기반 원격 홈 케어 시스템.
4. 제 3 항에 있어서,
   상기 메인 서버는,
   상기 영상 분석부에 의해 피보호자에 대한 긴급상황이 발생한 것으로 판단되면, 보호자 및 피보호자의 정보를 참조하여 해당 피보호자의 보호자를 식별하고, 보호자 단말에 긴급상황에 대한 경고 알림을 제공하는 알림 생성부
   를 포함하는 영상기반 원격 홈 케어 시스템.
5. 제 3 항에 있어서,
   상기 피보호자 영상은 복수의 IP-CAM 또는 스마트 단말에 의해 동일한 시점에 촬영된 서로 다른 특성을 갖는 복수의 영상으로 구분되고,
   상기 영상 분석부는,
   상기 복수의 영상에 포함되는 메타정보를 참조하여 각 영상의 스케일, 해상도 및 프레임을 포함하는 속성을 추출하는 속성 추출부;
   추출된 속성에 따라 상기 복수의 영상을 일관된 포맷의 영상 데이터로 변환하고, 영상 내 등장하는 피보호자를 추적하는 영상 처리부; 및
   학습모델을 이용하여 영상 내 등장하는 피보호자의 모션을 인식하고, 상기 모션이 긴급상황에 해당하는 모션인지 여부를 판별하는 모션 판별부
   를 포함하는 영상기반 원격 홈 케어 시스템.
6. 제 5 항에 있어서,
   상기 영상 처리부는,
   기준이 되는 영상의 속성에 대응하도록 각 영상의 스케일 및 해상도를 변환하는 변환부;
   복수의 영상 중, 기준 프레임 이하의 영상에 대하여 보간 프레임을 생성하여 추가하는 보간부; 및
   촬영된 방향 및 각도에 따라 각 영상이 촬영하는 영역을 정의하고, 피보호자가 동시에 둘 이상의 영상에 등장하면, 해당 영상의 영역을 정합하는 정합부
   를 포함하는 영상기반 원격 홈 케어 시스템.
7. 제 1 항에 있어서,
   상기 메인 서버는, 정보통신망을 통해 피보호자의 보호자 또는 사회복지사가 소유한 하나 이상의 보호자 단말과 더 연결되고,
   상기 보호자 단말은,
   관련된 피보호자의 신변에 응급상황 발생시, 상기 메인 서버로부터 경고알림을 수신하고, 보호자의 조작에 따라 긴급상황센터에 긴급출동을 요청하는 것인 영상기반 원격 홈 케어 시스템.
   

Images