KR101580654B1 - 관심대상의 비정상 상황 판별 방법 - Google Patents

Abstract

본 발명은 관심대상의 비정상 상황 판별 방법에 관한 것으로서, 카메라를 이용하여 영상을 촬영하는 단계와, 촬영된 영상의 프레임들로부터 검출되는 RGB 색 정보를 HSI 색 정보로 변환하여 상기 프레임들의 명도값을 감지하고 평균 명도값을 산출하여 기설정된 임계값과 비교하는 단계와, 산출된 평균 명도값이 상기 임계값 이상이면 윤곽선 검출에 기초하여 상기 촬영된 영상에 포함된 객체를 검출하는 단계와, 상기 객체가 검출되면 해당 시각이 속하는 시간대의 상태값을 제1상태값으로 설정하고, 상기 객체가 검출되지 않으면 해당 시각이 속하는 시간대의 상태값을 제2상태값으로 설정하는 단계와, 설정된 상태값에 기초하여 비정상 상황의 발생 여부를 판별하는 단계를 포함하는 것을 특징으로 한다.
이에 따라, 모니터링이 필요한 관심대상의 지속적인 생활패턴에 근거한 이상 여부를 비교적 정확히 파악할 수 있고, 원격지에 있는 보호자가 관심 대상의 재중 여부와 비정상 상황 발생 여부를 즉각적으로 파악할 수 있어 신속한 조치가 가능한 효과가 있다.

Description

관심대상의 비정상 상황 판별 방법{METHOD FOR DETERMINING ABNORMAL SITUATION OF INTERESTED OBJECT}

본 발명은 관심대상의 비정상 상황 판별 방법에 관한 것으로서, 보다 상세하게는, 시간대별 관심대상의 재중 여부에 대한 생활패턴을 분석하여 비정상 상황의 발생 여부를 판별하는 방법에 관한 것이다.

최근 UN 보고서가 지적하는 것처럼 출산율 저하와 평균 수명 증대에 따른 고령화 현상은 전 세계적인 현상이다. 더욱이 우리나라는 현재와 같은 낮은 출산율이 계속된다면 2050년에는 다른 선진국들에 비해서도 세계에서 가장 고령화 비율(60세 이상 노인 인구 비율이 40% 이상)이 높은 세 나라(일본, 마카오, 한국) 중 하나가 될 것으로 예상된다. 이와 같은 급속한 고령화는 정치, 경제, 사회 모든 면에서 국가적인 여러 가지 문제를 야기할 것이다. 특히 노인 의료비의 재정 부담이 크게 증가할 것으로 예상된다. 따라서 여러 분야에서 이런 문제들을 해결하기 위해 노력하고 있다. 그 중에서도 IT를 활용한 u-Healthcare 기술을 이용한 노인 의료비의 감소 효과(현재 건강한 노인들의 건강을 더 오랜 기간 유지하는 비용이 질병 발생 후의 치료에 소요되는 비용에 비해 매우 적음) 때문에 더욱 큰 관심 아래 연구 개발이 이루어지고 있는 형편이다.

특히 핵가족화의 가속화에 따라 가정에서 홀로 생활하는 독거인의 수는 더욱 많아질 것이다. 독거인들의 경우 가정 내에서 발생하는 여러 가지 사고(넘어짐 등)에 의해 심각한 부상을 입을 가능성이 매우 높은데도 불구하고 다른 세대에 비해 사회적인 교류가 상대적으로 적어 사고 발견의 지연으로 인해 부상이 더욱 심해지거나 심지어 사망하는 경우도 있을 수 있다. 따라서 주택 내에 여러 센서를 설치하고 감지되는 데이터를 처리하여 이런 사고를 자동으로 감지하여 적절한 조치(가족, 복지사 등의 수발제공자에게 통지)를 수행하는 행동 모니터링 기술은 u-Healthcare 분야는 물론 상황인식(context-aware) 컴퓨팅의 많은 응용에도 꼭 필요한 기술이므로 최근 집중적인 연구 개발이 이루어지고 있다.

이러한 행동 모니터링 기술 중에서 일상 활동을 감지하고, 이로부터 생활패턴을 도출하는 방법이 제안되고 있는데, 생활패턴 감지 기술이란 댁내 센싱 시스템이 감지하는 정보(거주자의 위치/이동, 특정 물건의 사용 여부, 기초적인 행동 등)의 주기성, 반복성에 주목하여 이를 모델화하는 기술로 생각할 수 있다.

그러나 종래의 생활패턴과 관련된 기술의 경우, 감지된 생활패턴 정보를 토대로 일상 활동이 평상시와 얼마나 다른지를 정밀하게 모니터링하지 못하였으며, 이에 따라 위급 상황 발생에 빠르게 대처하지 못하는 문제점이 있었다.

KR 10-2013-0122409 A KR 10-1431119 B1

본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 관심대상의 주거공간 내 설치된 카메라를 이용하여 시간대별로 관심대상의 재중 여부를 파악한 후 이를 동일 시간대의 정상값과 비교하여 비정상 상황 발생 여부를 판단할 수 있는 관심대상의 비정상 상황 판별 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 관심대상의 비정상 상황 판별 방법은, 카메라를 이용하여 영상을 촬영하는 단계와, 촬영된 영상의 프레임들로부터 검출되는 RGB 색 정보를 HSI 색 정보로 변환하여 상기 프레임들의 명도값을 감지하고 평균 명도값을 산출하여 기설정된 임계값과 비교하는 단계와, 산출된 평균 명도값이 상기 임계값 이상이면 윤곽선 검출에 기초하여 상기 촬영된 영상에 포함된 객체를 검출하는 단계와, 상기 객체가 검출되면 해당 시각이 속하는 시간대의 상태값을 제1상태값으로 설정하고, 상기 객체가 검출되지 않으면 해당 시각이 속하는 시간대의 상태값을 제2상태값으로 설정하는 단계와, 설정된 상태값에 기초하여 비정상 상황의 발생 여부를 판별하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 주거공간 내 설치된 카메라에 의해 실시간으로 촬영된 영상의 객체 검출 여부에 기초하여 각 시간대의 상태값을 설정한 후 동일 시간대의 정상값과 비교하여 비정상 상황 발생 여부를 판별함으로써, 모니터링이 필요한 관심대상의 지속적인 생활패턴에 근거한 이상 여부를 비교적 정확히 파악할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 관심 대상이 재중 상태로 판단되는 경우 상기 관심 대상의 실루엣 이미지를 보호자의 단말기로 전송하고, 비정상 상황 발생 시 보호자의 단말기로 이를 알리는 알림 메시지가 전송되도록 함으로써, 원격지에 있는 보호자가 관심 대상의 재중 여부와 비정상 상황 발생 여부를 즉각적으로 파악할 수 있어 신속한 조치가 가능하다는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 관심대상의 비정상 상황 판별 방법을 개략적으로 나타내는 순서도이고,
도 2는 도 1의 관심대상의 비정상 상황 판별 방법에 따라 설정된 상태값에 기초하여 비정상 상황의 발생 여부를 판별하는 단계를 구체적으로 나타내는 순서도이고,
도 3은 도 1의 관심대상의 비정상 상황 판별 방법에 따라 복수의 시간대의 상태값을 각각 설정하는 방법의 일례를 설명하기 위한 도면이다.

이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 본 발명의 일 실시예에 따른 관심대상의 비정상 상황 판별 방법을 개략적으로 나타내는 순서도이고, 도 2는 도 1의 관심대상의 비정상 상황 판별 방법에 따라 설정된 상태값에 기초하여 비정상 상황의 발생 여부를 판별하는 단계를 구체적으로 나타내는 순서도이고, 도 3은 도 1의 관심대상의 비정상 상황 판별 방법에 따라 복수의 시간대의 상태값을 각각 설정하는 방법의 일례를 설명하기 위한 도면이다.

이하, 도면들을 참조하여 본 발명의 일 실시예에 따른 관심대상의 비정상 상황 판별 방법을 설명하도록 한다.

먼저, 관심대상의 주거공간 내에 설치된 카메라를 이용하여 영상을 촬영한다(S100).

여기서, 상기 카메라는 관심대상이 거주하는 주거공간 내 현관, 안방 및 거실 등의 여러 구역 중 적어도 하나 이상의 구역에 설치되고, 상기 카메라의 종류 및 개수는 사용자의 설정에 따라 다르게 설정될 수 있다.

다음으로, 촬영된 영상 프레임의 명도값을 감지하여 평균 명도값을 산출하고(S200), 상기 평균 명도값을 기설정된 임계값과 비교한다(S300).

구체적으로, S100 단계에서 촬영된 영상은 RGB 색 정보를 가진 상태로 저장되므로, 상기 RGB 색 정보를 HSI 색 정보로 변환한 후 상기 프레임들의 명도값을 감지하여 상기 평균 명도값을 산출하고(S200), 산출된 평균 명도값과 상기 임계값을 비교하게 된다(S300).

여기서, 상기 임계값은, 상기 카메라가 설치된 구역 내 밝기가 객체의 윤곽선을 검출 가능한 정도에 해당하는지를 판단하기 위한 것이다.

예컨대, 도 3을 참조하면, 조명의 점등 여부에 따라 실내 밝기가 조절되는 심야 시간대인 경우, 상기 카메라가 설치된 구역 내에 위치하는 조명이 점등 상태일 때(18시~19시,21시~23시)에는 상기 영상에서 감지되는 명도값이 상기 임계값 이상이고, 상기 조명이 소등 상태일 때(19시~21시)에는 상기 영상에서 감지되는 명도값이 상기 임계값 미만일 수 있다.

참고로, RGB 방식은 빨강(Red, R), 녹색(Green, G), 파랑(Blue, B)의 3가지 색을 조합하여 모든 가시광선의 색을 나타내는 방식으로서, 인간이 가장 민감한 상기 3가지 색을 기반으로 하고, HSI 방식은 색상(Hue, H), 색의 포화도(Saturation, S), 밝기(Intensity, I)를 기반으로 하는 방식이다.

본 발명에 따른 관심대상의 비정상 상황 판별 방법의 경우, HSI 방식에 포함되는 밝기 정보, 즉, 명도값이 필요하므로, 촬영된 영상에 포함된 RGB 색 정보를 HSI 색 정보로 변환하는 과정이 필요하게 되는 것이다.

이때, 상기 영상 프레임들의 RGB 색 정보는 아래의 수학식 1을 참조하여 명도값(I)에 관한 HSI 색 정보로 변환할 수 있다.

다음으로, 산출된 평균 명도값이 상기 임계값 이상이면 윤곽선 검출에 기초하여 상기 촬영된 영상에 포함된 객체를 검출하고(S400), 상기 평균 명도값이 상기 임계값 미만이면 해당 시각이 속하는 시간대의 상태값을 제2상태값으로 설정한다(S600).

이때, 상기 객체에 대한 윤곽선 검출은 라플라시안(Laplacian)연산을 이용한 2차 미분과 같은 일반적인 에지 검출 알고리즘을 이용할 수 있다. 이와 같은 에지 검출 알고리즘은 당업자에게는 자명한 사항이므로 별도의 설명은 생략하기로 한다.

예컨대, 도 3을 참조하면, S200 단계에서 산출된 평균 명도값이 상기 임계값 미만인 구간에 해당하는 시간대(19시~21시)의 상태값을 제2상태값으로 설정할 수 있다.

다음으로, S400 단계에서 상기 객체가 검출되면 해당 시각이 속하는 시간대의 상태값을 제1상태값으로 설정하고(S500), 상기 객체가 검출되지 않으면 해당 시각이 속하는 시간대의 상태값을 제2상태값으로 설정한다(S600).

구체적으로, 본 발명에 따른 관심대상의 비정상 상황 판별 방법에서 소정 시간대의 상태값을 설정하는 방법은, S300 단계에서 상기 임계값 이상으로 판단되고 S400 단계에서 상기 객체가 검출되는 경우에는 '제1상태값'으로 설정되고, S300 단계에서 상기 임계값 미만으로 판단되는 경우 또는 S300 단계에서 상기 임계값 이상으로 판단되나 S400 단계에서 상기 객체가 검출되지 않는 경우에는 '제2상태값'으로 설정된다.

예컨대, 도 3을 참조하면, S200 단계에서 산출된 평균 명도값이 상기 임계값 이상이고 객체가 검출되는 시간대(18시~19시,21시~22시)의 상태값은 제1상태값으로 설정하고, 상기 평균 명도값이 상기 임계값 이상이나 객체가 검출되지 않는 시간대(22시~23시)의 상태값은 제2상태값으로 설정할 수 있다.

이때, 상기 설정된 상태값은 하나의 시간대에 해당하는 시간 경과 후 시간대별로 구분하여 저장될 수 있다.

한편, 상기 객체가 검출되는 경우, 해당 시각이 속하는 시간대를 제1상태값으로 설정하는 단계(S500) 이전에 검출된 객체의 윤곽선에 기초한 윤곽선 이미지를 기등록된 보호자의 단말기로 전송하는 단계를 더 포함할 수 있다.

이 경우, 원격지에 있는 보호자가 관심 대상의 재중 여부와 재중 상태에 있는 관심 대상의 실루엣 이미지를 때때로 확인할 수 있어 비정상 상황이 발생하기 전이라 하더라도 사전에 이상 징후가 나타나는 경우 이를 쉽게 파악하여 조치할 수 있는 효과가 있다.

다음으로, S100 단계부터 S400 단계는 하나의 시간대에 속하는 소정시간 동안 반복된다.

구체적으로, S400 단계에서 객체의 윤곽선이 검출되지 않는 것으로 판단되어 상기 제2상태값으로 설정되는 경우(S600)에만 S100 단계부터 S400 단계의 반복이 진행되며, S400 단계에서 객체의 윤곽선이 검출되는 것으로 판단되어 상기 제1상태값으로 설정되는 경우(S500)에는 후술될 비정상 상황 판별 단계(A)로 바로 진행하게 된다. 또한, 상기 카메라에 의해 촬영되는 영상 속 명도값, 즉, 상기 카메라가 설치된 소정 구역 내의 밝기가 기설정된 임계값 이상인 것으로 판단되는 경우에는, 일정 시간 간격마다 객체의 윤곽선의 검출 여부를 확인하게 된다.

예컨대, 만일 18시 20분부터 18시 40분까지 상기 카메라가 설치된 구역 내의 조명이 점등되어 상기 카메라에 의해 촬영된 영상의 평균 명도값이 기설정된 임계값 이상인 것으로 판단된다면, 상기 평균 명도값이 상기 임계값 이상인 구간에 해당하는 시간(18:20~18;40) 동안 일정 시간 간격으로 객체의 윤곽선이 검출되는지를 확인할 수 있다.

다음으로, 소정 시간이 경과하면(S700), 설정된 상태값에 기초하여 비정상 상황의 발생 여부를 판별한다(A).

이하, 도 2를 참조하여, 상기 비정상 상황의 발생 여부를 판별하는 방법에 대해 구체적으로 설명하면 다음과 같다.

먼저, 현재 시간대의 상태값이 기설정된 동일 시간대의 평균 상태값과 일치하는지를 확인한다(S810).

여기서, 상기 평균 상태값은 누적된 실험의 경험을 토대로 사전에 설정되고, S500 단계 또는 S600 단계에 의해 설정된 상태값이 하나의 시간대에 해당하는 시간 경과 후 시간대별로 구분하여 저장될 때마다 이를 누적하여 평균 산출한 후 재설정될 수 있다.

아래의 표 1은 상기 평균 상태값을 설정하는 방법의 일례를 설명하기 위해 나타낸 것으로서, A는 제1상태값을 나타내고, B는 제2상태값을 나타낸다.

	T1(18~19시)	T2(19~20시)	T3(20~21시)	T4(21~22시)	T5(22~23시)
1일 차	B	A	A	A	B
2일 차	B	B	B	A	A
3일 차	A	B	A	A	B
평균 상태값	B	B	A	A	B

예컨대, 상기 표 1을 참조하면, 제1시간대(T1)의 경우, 1일 차엔 제2상태값(B), 2일 차엔 제2상태값(B), 3일 차엔 제1상태값(A)임에 따라 상기 제1시간대(T1)의 평균 상태값은 제2상태값(B)이 된다. 또한, 제2시간대(T2)의 경우, 1일 차엔 제1상태값(A), 2일 차엔 제2상태값(B), 3일 차엔 제2상태값(B)임에 따라 상기 제2시간대(T2)의 평균 상태값은 제2상태값(B)이 된다. 또한, 제3 시간대(T3)의 경우, 1일 차엔 제1상태값(A), 2일 차엔 제2상태값(B), 3일 차엔 제1상태값(A)임에 따라 상기 제3 시간대(T3)의 평균 상태값은 제1상태값(A)이 된다. 또한, 제4 시간대(T4)의 경우, 1일 차엔 제1상태값(A), 2일 차엔 제1상태값(A), 3일 차엔 제1상태값(A)임에 따라 상기 제4 시간대(T4)의 평균 상태값은 제1상태값(A)이 된다. 또한, 제5 시간대(T5)의 경우, 1일 차엔 제2상태값(B), 2일 차엔 제1상태값(A), 3일 차엔 제2상태값(B)임에 따라 상기 제5 시간대의 평균 상태값은 제2상태값(B)이 된다.

다음으로, S810 단계에서 일치하지 않는 것으로 확인되면, 현재 시간대의 이전 시간대의 상태값과 현재 시간대의 이후 시간대의 상태값 중 현재 시간대의 상기 평균 상태값과 일치하는 상태값이 적어도 하나 이상 존재하는지를 확인하고(S820), S820 단계에서 일치하는 상태값이 존재하지 않는 것으로 확인되면 비정상 상황이 발생한 것으로 판별한다(S830).

아래의 표 2는 현재의 상태값과 기설정된 소정 시간대의 평균 상태값에 기초하여 상기 비정상 상황을 판별하는 방법의 일례를 설명하기 위해 나타낸 것으로서, A는 제1상태값을 나타내고, B는 제2상태값을 나타낸다.

	T1(18~19시)	T2(19~20시)	T3(20~21시)	T4(21~22시)	T5(22~23시)
금일 상태값	A	B	B	A	A
평균 상태값	B	B	A	A	B

예컨대, 상기 표 2를 참조하면, 현재 시간대가 제3시간대(T3)라면 상기 제3시간대(T3)에 해당하는 시간이 모두 경과한 시점(21:00)에 비정상 상황 판별을 수행하게 된다.

먼저, 제3시간대(T3)의 금일 상태값과 기설정된 평균 상태값을 비교하여 일치 여부를 확인해보면, 금일 상태값은 제2상태값(B)이고 평균 상태값은 제1상태값(A)으로 일치하지 않는 것을 확인할 수 있다.

다음으로, 제3시간대(T3)의 이전 시간대인 제2시간대(T2)의 금일 상태값과 제3시간대(T3)의 이후 시간대인 제4시간대(T4)의 금일 상태값을 기설정된 제3시간대(T3)의 평균 상태값과 비교하여 일치 여부를 확인해보면, 제2시간대(T2)의 금일 상태값은 제2상태값(B)으로 제3시간대(T3)의 평균 상태값인 제1상태값(A)과 일치하지 않으나, 제4시간대(T4)의 금일 상태값은 제1상태값(A)으로 제3시간대(T3)의 평균 상태값인 제1상태값(A)과 일치한다는 점에서, 비정상 상황이 발생하지 않은 것으로 판단할 수 있다.

만일, 제2시간대(T2)의 금일 상태값과 제4시간대(T4)의 금일 상태값 중 제3시간대(T3)의 평균 상태값과 일치하는 상태값이 하나도 존재하지 않는다면, 비정상 상황이 발생한 것으로 판단하게 된다.

즉, 본 발명의 실시예에 따른 관심대상의 비정상 상황 판별 방법을 이용하면, 주거공간 내 설치된 카메라에 의해 실시간으로 촬영된 영상의 객체 검출 여부에 기초하여 각 시간대의 상태값을 설정한 후 동일 시간대의 정상값과 비교하여 비정상 상황 발생 여부를 판별함으로써, 모니터링이 필요한 관심대상의 지속적인 생활패턴에 근거한 이상 여부를 비교적 정확히 파악할 수 있게 된다.

다음으로, 상기 비정상 상황이 발생한 것으로 판별되는 경우 기등록된 보호자의 단말기로 이를 알리는 알림 메시지를 전송한다(S840).

이 경우, 비정상 상황 발생 시 보호자의 단말기로 이를 알리는 알림 메시지가 보호자에게 바로 전송되도록 함에 따라, 원격지에 있는 보호자의 경우에도 빠른 상황 파악 및 대처가 이루어질 수 있는 효과가 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

Claims (5)

1. 카메라를 이용하여 영상을 촬영하는 단계;
   촬영된 영상의 프레임들로부터 검출되는 RGB 색 정보를 HSI 색 정보로 변환하여 상기 프레임들의 명도값을 감지하고 평균 명도값을 산출하여 기설정된 임계값과 비교하는 단계;
   산출된 평균 명도값이 상기 임계값 이상이면 윤곽선 검출에 기초하여 상기 촬영된 영상에 포함된 객체를 검출하는 단계;
   상기 객체가 검출되면 해당 시각이 속하는 시간대의 상태값을 제1상태값으로 설정하고, 상기 객체가 검출되지 않으면 해당 시각이 속하는 시간대의 상태값을 제2상태값으로 설정하는 단계; 및
   설정된 상태값에 기초하여 비정상 상황의 발생 여부를 판별하는 단계를 포함하며,
   상기 판별하는 단계는,
   현재 시간대의 상태값이 기설정된 동일 시간대의 평균 상태값과 일치하는지를 확인하는 단계;
   상기 현재 시간대의 상태값과 상기 평균 상태값이 일치하지 않는 경우, 현재 시간대의 이전 시간대의 상태값과 현재 시간대의 이후 시간대의 상태값 중 현재 시간대의 상기 평균 상태값과 일치하는 상태값이 적어도 하나 이상 존재하는지를 확인하는 단계; 및
   상기 이전 시간대의 상태값과 상기 이후 시간대의 상태값 중에서 상기 평균 상태값과 일치하는 상태값이 존재하지 않는 경우, 비정상 상황이 발생한 것으로 판별하는 단계를 포함하는 것을 특징으로 하는 관심대상의 비정상 상황 판별 방법.
2. 삭제
3. 제1항에 있어서,
   상기 검출 여부를 확인하는 단계와 상기 설정하는 단계 사이에,
   상기 객체가 검출되면 검출된 상기 객체의 윤곽선에 기초한 윤곽선 이미지를 기등록된 보호자의 단말기로 전송하는 단계를 더 포함하는 것을 특징으로 하는 관심대상의 비정상 상황 판별 방법.
4. 제1항에 있어서,
   상기 비정상 상황이 발생한 것으로 판별되는 경우 기등록된 보호자의 단말기로 이를 알리는 알림 메시지를 전송하는 단계를 더 포함하는 것을 특징으로 하는 관심대상의 비정상 상황 판별 방법.
5. 제1항에 있어서,
   상기 설정하는 단계에서,
   상기 설정된 상태값은 하나의 시간대에 해당하는 시간 경과 후 시간대별로 구분하여 저장되고,
   상기 판별하는 단계에서,
   상기 평균 상태값은 시간대별로 상기 상태값이 저장될 때마다 이를 누적하여 평균 산출한 후 재설정되는 것을 특징으로 하는 관심대상의 비정상 상황 판별 방법.

Images