KR102415912B1 - 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템 - Google Patents

Abstract

본 발명은 독거노인이나 지병, 장애를 갖는 독거인 등의 소외계층의 거주지에 설치하여 상시 촬영되는 영상을 통해 건강 이상과 같은 응급상황을 즉각적으로 인지할 수 있도록 하되 영상 중 민감정보를 제외하고 환경 및 동작만을 모니터링함으로 불필요하게 사생활이 침해되는 것을 방지할 수 있는 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템에 관한 것이다.

Description

개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템 {Artificial Intelligence life monitoring system with personal information protection function}

본 발명은 생활 모니터링 시스템에 관한 것으로, 자세하게는 독거노인이나 지병, 장애를 갖는 독거인 등의 소외계층의 거주지에 설치하여 상시 촬영되는 영상을 통해 건강 이상과 같은 응급상황을 즉각적으로 인지할 수 있도록 하되 영상 중 민감정보를 제외하고 환경 및 동작만을 모니터링함으로 불필요하게 사생활이 침해되는 것을 방지할 수 있는 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템에 관한 것이다.

현대사회는 저출산으로 인해 전체 인구 중 65세 이상의 인구가 차지하는 비율이 점차 높아지는 고령화가 매우 빠르게 진행되고 있으며, 미혼율의 증가에 따른 1인 가구 또한 증가하고 있다.

이러한 사회적 변화로 고령에 따른 질병, 고독, 빈곤, 무직업 등에 대응하는 사회, 경제적 대책은 현대화 사회가 당면한 중요 과제로서, 녹거노인이나 혼자 살고 있는 독거인의 경우 갑자기 건강에 큰 이상이 생기는 등 위급 상황이 발생할 시 누군가의 도움을 받을 수 없으며, 고독사로도 이어지고 있다.

이에 홀로 사는 장애인이나 고령의 노인 등을 대상으로 생활을 모니터링하여 위급상황을 인지하기 위한 다양한 기술 개발이 이루어지고 있다.

대표적으로 RFID 리더기나 비콘 송신기가 내장된 기술을 적용하여 동작이나 생체신호를 인지하는 기술로, 신발이나 손목 밴드형 착용구 및 스마트폰 연계를 통해 추적대상의 위급상황을 원격으로 모니터링할 수 있는 기술이 개발된 바 있다.

그러나 이러한 방식은 반드시 착용구의 착용이 전제되어야 하므로, 사용자에게 번거로움을 주는 것으로, 이들은 별도의 내장 전원이 필요함에 따라 주기적인 충전이나 배터리 교체가 이루어져야 하며, 목욕이나 세면 등 연속적인 착용에 불편함이나 거부감 등이 있어 사용자의 행동이나 현재 상황 등을 확인하기 어려운 빈틈이 발생할 우려가 높았다.

이러한 문제를 해결하기 인해 거주공간에 원격 관리가 가능한 카메라를 설치하여 연속적인 촬영을 통해 추적대상을 모니터링할 수 있는 기술이 개발되었으나 거주공간 내에서의 심각한 사생활 침해 등 민감한 개인정보의 누출이 이루어질 수밖에 없어 실제적인 적용이 어려운 실정이다.

대한민국 등록특허 제10-1438002호(2014.08.29)

본 발명은 상기와 같은 문제를 해결하기 위하여 창출된 것으로, 본 발명의 목적은 독거인의 소외계층의 거주지에 원격관리가 가능한 카메라를 설치하여 상시 모니터링을 통해 응급상황을 인지할 수 있도록 하되 영상 중 민감정보를 배제하고 환경 및 동작만 모니터링할 수 있도록 영상을 처리하여 송출함으로 사생활 침해 문제를 차단할 수 있는 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템을 제공하는 것이다.

상기와 같은 목적을 위해 본 발명은 추적 대상자의 거주공간에 설치되어 행동을 상시 촬영하는 뎁스카메라; 촬영되는 영상을 분석하여 움직임이 있는 객체와 움직임이 없는 물체를 구분하고, 상기 객체의 이동경로를 추적 학습하는 제1추출부; 상기 객체의 이동경로 학습 데이터가 설정레벨로 누적됨에 따라 객체의 세부동작을 추적 학습하는 제2추출부; 상기 제1추출부 및 제2추출부의 학습 데이터를 시간 및 날짜에 따라 정렬하여 정형 및 비정형 패턴정보를 생성하는 패턴분석부; 상기 비정형 패턴정보를 분석하여 이상상황을 판단하는 판단부; 이상상황 판단에 따라 미리 설정된 단말로 긴급신호를 전송하는 전송부; 를 포함하여 이루어지는 것을 특징으로 한다.

이때, 상기 제2추출부는, 상기 제1추출부의 추적 데이터를 기반으로 객체의 키와 각 관절 및 신체부위를 점과 선으로 재구성한 입체영상을 생성하는 영상처리부와, 입체영상의 점과 선의 움직임을 통해 세부동작을 판단하는 행동예측부를 포함할 수 있다.

또한, 상기 거주공간 내외에 설치되어 밝기를 측정하는 조도센서와, 실내외의 기온과 습도 및 기상정보를 수집하는 환경정보수집부를 포함하는 환경감지부; 를 더 포함하되, 상기 패턴분석부는 상기 환경감지부를 통해 수집된 정보를 패턴정보 생성에 반영하도록 구성될 수 있다.

또한, 상기 거주공간내 조명과 전기전자 장비 및 동작 유무를 확인하여 학습하는 제3추출부; 상기 제3추출부의 학습 데이터를 상기 패턴분석부와 연계하여 정형 및 비정형 패턴정보에 반영되도록 하는 연동부; 를 더 포함할 수 있다.

또한, 촬영되는 영상 및 제1추출부와 제2추출부의 학습 데이터를 통해 거주공간의 세부 구조정보를 생성하는 구조생성부; 상기 구조정보에 따른 객체 추적의 음영구역을 파악하고 최적의 뎁스카메라 위치를 산출하여 추천하는 보정부; 를 더 포함할 수 있다.

본 발명을 통해 독거노인이나 지병, 장애를 갖는 독거인 등의 소외계층의 건강 이상과 같은 응급상황을 원격으로 인지하여 즉각적인 대응이 이루어질 수 있다.

또한, 높은 화질의 영상이 아닌 추적대상에 대한 최소한의 움직임 및 환경 정보만을 통해 정보처리가 이루어짐에 따라 불필요하게 사생활이 침해되는 것을 방지할 수 있으며, 이로 인한 처리 데이터 용량을 줄여 빠르고 효율적인 이상 발생 여부의 판단이 이루어질 수 있다.

또한, 추적 대상자가 별도의 세팅이나 제어 작업에 관여하지 않고도 행동 패턴뿐 아니라 설치공간 구조를 학습함으로써, 누적되는 빅데이터의 딥러닝을 통하여 정확도 높은 분석 및 학습이 이루어질 수 있다.

도 1은 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템의 구성을 구체적으로 설명한다.

도 1은 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도로서, 본 발명은 독거노인으로 대표되는 보호자가 상시 동거중이지 않은 취약 계층을 추적대상으로 하여 원격에서 응급상황을 모니터링할 수 있도록 하는 기술로, 바람직한 실시예에서는 뎁스카메라(110)와, 제1추출부(120)와, ,제2추출부(130)와, 제3추출부(140)와, 환경감지부(150)와, 패턴분석부(160)와, 판단부(170)와, 전송부(180)와, 구조생성부(191) 및 보정부(192)의 구성이 구비된다.

상기 뎁스카메라(110)는 추적 대상자의 거주공간에 설치되어 행동을 상시 촬영하는 카메라로서, 최대한 사각이 없는 위치에 설치되어 촬영이 이루어지도록 한다. 영상을 촬영하는 일반 CCTV와 달리 본 발명에서 처리되는 것은 실질적으로 영상이라기보다는 영상에서 추출된 최소한의 추적대상의 동작이라 할 수 있으며, 이를 위해 거주공간을 화면으로 담으면서 객체 및 물체의 3차원 거리 정보를 얻기 위한 뎁스카메라(110)를 사용한다.

상기 제1추출부(120)는 상기 뎁스카메라(110)를 통해 촬영되는 영상을 분석하여 먼저, 움직임이 있는 객체와 움직임이 없는 물체를 구분하게 된다. 이는 뎁스카메라(110)의 설치 및 운용 후 설정시간 동안 누적된 촬영결과를 통해 이루어지게 되는 것으로 추후 촬영결과를 통해 보정이 이루어질 수 있으나, 본 발명의 주 적용대상인 독거노인 등의 경우 거주공간 내 가구나 장비의 이동이 흔치 않으므로 고정된 물체 및 이동이 이루어지는 객체, 즉 추적 대상자를 뎁스카메라 촬영결과를 통해 어렵지 않게 알 수 있다.

이후, 상기 제1추출부(120)는 움직임이 있는 객체의 이동경로를 추적 학습하게 된다. 즉 초기단계에서는 객체의 동작이 아닌 이동만을 학습하여 추후 이루어지게 될 동작 학습에 대한 정확도를 높이도록 하며, 이를 위해 인식된 전체 객체 형상에 대하여 중심이나, 뎁스카메라가 가장 잘 인지할 수 있는 머리끝 부분을 중심으로 이동경로의 파악이 이루어지는 것이 바람직하다.

이와 같이 주요 이동경로를 파악함으로 추적 대상자의 정형, 비정형 패턴을 파악하는데 도움이 될 뿐 아니라 후술되는 바와 같이 거주공간의 대략적인 구조를 파악하는데도 기여할 수 있다.

상기 제2추출부(130)는 상기 제1추출부(120)를 통해 상기 객체의 이동경로 학습 데이터가 설정레벨로 누적됨에 따라 객체의 세부동작을 추적 학습하게 된다.

즉 상기 제1추출부(120)에서 실질적인 학습대상이 이동경로이므로 객체의 기준이 되는 점 및 이의 이동을 처리하는 것이었다면, 제2추출부(130)는 객체의 기준이 되는 점에서 추적대상의 신장 및 골격과 더불어 주요 관절을 중심으로 신체부위를 따라 형성된 선을 생성하여 이들의 움직임을 통해 구체적인 동작을 인지하여 처리한다.

이를 위해 상기 제2추출부(130)는 상기 제1추출부의 추적 데이터를 기반으로 객체의 관절 및 신체부위를 점과 선으로 재구성한 입체영상을 생성하는 영상처리부(131)와, 입체영상의 점과 선의 움직임을 통해 세부동작을 판단하는 행동예측부(132)를 포함하게 된다.

이때 상기 영상처리부(131)는 신체를 관절을 중심으로 점과 선으로 재구성한 입체영상을 생성함에 있어 팔꿈치나 무릎을 비롯한 세부 관절을 모두 반영한 전체 스켈렉톤화 보다는 어깨, 고관절을 대표로 하는 주요 관절만 반영함으로 입체영상을 간소화하여 재구성할 수 있으며, 이를 통해, 머리, 몸통, 팔, 다리의 대략적인 움직임을 통해 세부동작을 판단함에 따라 얼굴이 가려지더라도 구체적인 움직임 추적 노출에 따른 거부감 및 사생활 침해 문제를 해소할 수 있다.

또한, 상기 행동예측부(132)는 추적대상자의 주요 동작을 통해 작성된 데이터를 기반으로 추후 동일 조건의 다수 추적자의 행동학습 과정을 통해 누적된 판단 데이터를 통해 세부적인 동작을 판단하며 정확도를 점차 높이게 된다.

상기 패턴분석부(160)는 상기 제1추출부(120) 및 제2추출부(130)의 학습 데이터를 시간 및 날짜에 따라 정렬하여 정형 및 비정형 패턴정보를 생성하게 된다. 여기서 정형 패턴이라 함은 말 그대로 정형화된 행동으로 추적 대상자의 일상적인 행동에서 반복되는 행동, 즉 식사, 휴식, 취침과 같은 매일 반복적으로 이루어지는 행동이 속하며, 그 외의 행동 패턴은 이후에라도 지속적인 반복발생이 이루어지지 않는 한 비정형 패턴으로 분류된다.

이때 갑작스럽게 추적 대상이 쓰러지거나 넘어지는 등의 상황은 당연히 비정형패턴이 되며, 정형 패턴인 수면, 휴식이라 하더라도 그 지속시간이 학습된 시간대비 설정치 이상으로 길어질 경우 비정형 패턴으로 정보분류된다.

상기 판단부(170)는 추적 대상을 상시 모니터링하며 긴급하게 외부의 도움이 있어야 하는 위급사태 발생을 판단하기 위한 구성으로 상기 패턴생성부(160)에서 분류된 상기 비정형 패턴정보를 분석하여 이상상황을 판단하게 된다.

판단기준은 위급상황으로 판단 가능한 쓰러짐, 넘어짐을 비롯하여 수면이나 휴식상태가 비정상으로 길어지는 상태 내지는 추적 대상이 지정된 시간 전혀 감지되지 않는 상황도 포함될 수 있다.

상기 전송부(180)는 원격의 감시자, 관리자와 통신을 수행하는 유·무선 통신모듈로서 상기 판단부(170)가 이상상황을 판단함에 따라 미리 설정된 단말로 긴급신호를 전송하여 인지 및 신속한 대응이 이루어지도록 지원한다.

이때 추적대상의 행동을 학습함에 있어 더욱 정확한 패턴정보 생성을 위한 구성으로 상기 거주공간 내외에 설치되어 밝기를 측정하는 조도센서(151)와, 실내외의 기온과 습도 및 기상정보를 수집하는 환경정보수집부(152)를 포함하는 환경감지부(150)를 더 포함하고, 상기 패턴분석부(160)는 상기 환경감지부를 통해 수집된 정보를 패턴정보 생성에 반영하도록 구성될 수 있다.

상기 조도센서(151)는 기본적으로 낮과 밤을 비롯하여 상기 환경정보수집부(152)와 함께 맑고 흐린 날씨를 파악하여 낮과 밤의 외출빈도를 비롯하여 취침 및 기상시간, 식사시간 등과 연관된 행동패턴 학습에 도움을 주게 되며, 다양한 행동패턴을 학습 및 분류하는데 효율을 높이게 된다.

특히 상기 환경정보수집부(152)를 통해 실내의 온습도의 변화를 모니터링함으로 냉난방을 비롯하여 추적대상이 실내에 있는 상태에서 이상이 발생하였는지 아니면 외출이나 장시간 타지 방문인지 여부의 예측도 가능하다.

또한, 추적대상의 상태를 보다 정확하게 인지 및 검증하기 위한 구성으로, 상기 거주공간내 조명과 전기전자 장비 및 동작 유무를 확인하여 학습하는 제3추출부(140)가 구비될 수 있다. 즉 설치된 조명을 비롯하여 추적대상자가 보유한 가전제품 및 이의 작동을 확인하기 위한 구성으로 상기 제3추출부는 조명이나 가전과 실제 전기적으로 연결될 수도 있으나 통상 상기 뎁스카메라(110)를 통해 파악되는 조명 및 가전과 이의 밝기변화 및 동작램프 등을 통해 실제 조명이나 거주공간내 조명과 전기전자 장비 및 동작유무를 확인하여 학습할 수 있다.

이러한 제3추출부(140)의 학습 데이터는 연동부(193)를 통해 상기 패턴분석부(160)와 연계하여 정형 및 비정형 패턴정보에 반영된다. 예를 들어 주기적으로 동작하던 조명이나 가전이 일정기간 이상 동작하지 않거나, 조명이나 가전이 켜진 상태에서 일정시간 이상 추적대상이 감지되지 않는 경우 등이 비정형 패턴 정보로 분류되며 이상상황이 발생한 판단 근거로 작용할 수 있다.

이때 뎁스카메라(110)의 영상분석을 통한 수동적인 모니터링 뿐 아니라 추적대상이 인지하고 간단한 방식으로 응답할 수 있는 구성으로 색상 점멸 램프, 스위치 내지는 마이크로 구성된 응답부(181)를 구비할 수도 있다.

상기 응답부(181)는 원격의 관리자가 능동적으로 추적 대상의 상황을 파악하기 위한 구성으로 미리 설정된 색상의 램프를 점멸시켜 추적 대상자가 쉽게 인지할 수 있도록 하되, 이를 인지한 추적 대상자가 버튼을 누르거나 목소리로 간단히 응답하는 방식으로 피드백하여 원격의 관리자가 추적 대상자의 정상상태 여부를 쉽게 인지할 수 있다.

본 발명에서 실질적으로 뎁스카메라(110)를 추적 대상자의 거주공간에 설치하는 것으로 일련의 학습과정을 통해 행동분석이 이루어지듯이, 영상의 배경 또한 학습함으로 거주공간의 정보를 수집생성할 수도 있다.

이를 위한 구조생성부(191)는 상기 뎁스카메라(110)를 통해 촬영되는 영상 및 상기 제1추출부와 제2추출부의 학습 데이터를 통해 거주공간의 세부 구조정보를 생성하게 된다.

즉 거주공간의 주요 구분인 거실, 주방, 침실 및 주요 가구 등을 파악함에 있어 추적 대상자의 개략적인 행동파악을 통해 공간의 세부구조의 파악이 가능하며, 화장실, 현관 등도 대상자의 행동특성 및 패턴을 통해 학습 예측할 수 있다.

이후 이와 연동된 보정부(192)는 상기 구조생성부(191)를 통해 생성된 구조정보에 따른 객체 추적의 음영구역을 파악하고 최적의 뎁스카메라(110) 위치를 산출하여 추천할 수 있을 뿐 아니라 더욱 정확한 행동패턴 파악과 이상상태 판단이 가능해 진다.

본 발명의 권리는 위에서 설명된 실시 예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

110: 뎁스카메라 120: 제1추출부
130: 제2추출부 131: 영상처리부
132: 행동예측부 140: 제3추출부
150: 환경감지부 151: 조도센서
152: 환경정보수집부 160: 패턴분석부
170: 판단부 180: 전송부
181: 응답부 191: 구조생성부
192: 보정부 193: 연동부

Claims (5)

1. 추적 대상자의 거주공간에 설치되어 행동을 상시 촬영하는 뎁스카메라(110);
   촬영되는 영상을 분석하여 움직임이 있는 객체와 움직임이 없는 물체를 구분하고, 상기 객체의 이동경로를 추적 학습하는 제1추출부(120);
   상기 객체의 이동경로 학습 데이터가 설정레벨로 누적됨에 따라 객체의 세부동작을 추적 학습하되, 상기 제1추출부(120)의 추적 데이터를 기반으로 객체의 키와 각 관절 및 신체부위를 점과 선으로 재구성한 입체영상을 생성하는 영상처리부(131)와, 입체영상의 점과 선의 움직임을 통해 세부동작을 판단하는 행동예측부(132)를 포함하는 제2추출부(130);
   상기 거주공간내 조명과 전기전자 장비 및 동작유무를 확인하여 학습하는 제3추출부(140);
   상기 거주공간 내외에 설치되어 밝기를 측정하는 조도센서(151)와, 실내외의 기온과 습도 및 기상정보를 수집하는 환경정보수집부(152)를 포함하는 환경감지부(150);
   상기 제1추출부(120) 및 제2추출부(130)의 학습 데이터를 시간 및 날짜에 따라 정렬하여 정형 및 비정형 패턴정보를 생성하고 상기 환경감지부(150)를 통해 수집된 정보를 패턴정보에 반영하는 패턴분석부(160);
   상기 비정형 패턴정보를 분석하여 이상상황을 판단하는 판단부(170);
   이상상황 판단에 따라 미리 설정된 단말로 긴급신호를 전송하는 전송부(180);
   설정된 색상으로 점멸되는 점멸 램프와 상기 램프의 점멸을 인지한 추적 대상자가 버튼을 누르는 방식의 스위치로 구성되어 원격의 관리자가 추적 대상자의 정상상태 여부를 인지할 수 있도록 구성된 응답부(181);
   촬영되는 영상 및 제1추출부와 제2추출부의 학습 데이터를 통해 거주공간의 세부 구조정보를 생성하는 구조생성부(191);
   상기 구조정보에 따른 객체 추적의 음영구역을 파악하고 최적의 뎁스카메라(110) 위치를 산출하여 추천하는 보정부(192);
   상기 제3추출부(140)의 학습 데이터를 상기 패턴분석부와 연계하여 정형 및 비정형 패턴정보에 반영되도록 하는 연동부(193); 를 포함하여 이루어지는 것을 특징으로 하는 생활 모니터링 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images