KR100913396B1 - 모션벡터를 이용한 행위 인식 장치 및 그 방법 - Google Patents

Abstract

본 발명은 모션벡터를 이용한 행위 인식 장치 및 그 방법에 관한 것으로, 카메라를 통해 입력되는 영상에서 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출한 후 인식 테이블에 매핑하여 행위를 인식하기 위한, 모션벡터를 이용한 행위 인식 장치 및 그 방법을 제공하고자 한다.

이를 위하여, 본 발명은 모션벡터를 이용한 행위 인식 장치에 있어서, 평균 모션벡터에 상응하는 행위 형태 정보를 저장하고 있는 저장수단; 외부로부터 입력되는 영상을 수집하기 위한 영상 수집수단; 상기 영상 수집수단을 통해 수집한 영상에서 객체를 인식한 후 객체의 모션벡터를 산출하기 위한 모션벡터 산출수단;상기 모션벡터 산출수단에서 산출한 모션벡터에 대하여 평균 모션벡터를 산출하기 위한 평균 모션벡터 산출수단; 및 상기 평균 모션벡터 산출수단에서 산출한 평균 모션벡터로 상기 저장수단을 탐색하여 해당 행위를 인식하기 위한 행위 인식수단을 포함한다.

모션벡터, X축 평균 모션벡터, Y축 평균 모션벡터, 인식 테이블, 행위 인식

Description

모션벡터를 이용한 행위 인식 장치 및 그 방법{Apparatus and method for recognizing person's behaviors using motion vector}

본 발명은 모션벡터를 이용한 행위 인식 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라를 통해 입력되는 영상에서 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출한 후 인식 테이블에 매핑하여 행위를 인식하기 위한, 모션벡터를 이용한 행위 인식 장치 및 그 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호 : 2006-S-007-01, 과제명 : 유비쿼터스 건강관리용 모듈 시스템].

영상 감시 기술(Video Surveillance) 분야는, 사회가 발전할수록 개인 공간뿐만 아니라 공공장소에서 개인 및 시설물의 안전에 대한 중요성이 대두되고 있는 가운데, 응급이나 돌발사고 등 급박한 상황에서 인간의 안전을 보호하기 위해 만들어진 감시 분야 중 하나이다.

종래의 영상 감시 시스템은 감시 요원이 영상을 육안으로 지켜보며 상황을 판단하여 조치를 취하는 방식으로, 효율성이나 사생활 침해 면에서 많은 문제점을 내포하고 있다.

이를 해결하기 위해, 최근의 영상 감시 기술은 영상처리, 통신기술, 센서 제어 기술, 및 데이터 분석 기술 등과 결합하여 상황의 판단 및 상황에 대한 조치를 자동으로 취할 수 있는 환경을 제공한다.

한편, 가정이 핵가족화되어가고 고령화 사회로 접어들면서 가정에서 혼자 생활하는 독거노인, 고령자들이 급격히 증가하는 추세에 있다. 독거노인들은 가정에서 생활 시 위급상황이 발생하여도 즉각적인 조치를 취하는 등의 능동적인 대처가 어려우므로 이들에 대한 댁내의 감시 및 모니터링이 필요하다. 특히, 치매를 앓고 있는 노인의 경우 혼자 생활하지 않더라도 지속적인 모니터링 및 관리가 필요하다.

이를 위해, 실내에서 동체의 위치 추적을 위해 초음파 센서 기술이 사용된 바가 있으나 행위 인식 기능은 포함하고 있지 않다.

따라서 상기와 같은 종래 기술은 동체의 위치를 추적할 뿐 행위를 인식하지 못하는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.

따라서 본 발명은 카메라를 통해 입력되는 영상에서 X축 평균 모션벡터 및 Y 축 평균 모션벡터를 산출한 후 인식 테이블에 매핑하여 행위를 인식하기 위한, 모션벡터를 이용한 행위 인식 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, 모션벡터를 이용한 행위 인식 장치에 있어서, 평균 모션벡터에 상응하는 행위 형태 정보를 저장하는 저장수단; 외부로부터 입력되는 영상을 수집하기 위한 영상 수집수단; 상기 영상 수집수단을 통해 수집한 영상에서 객체를 인식한 후 상기 객체의 모션벡터를 산출하기 위한 모션벡터 산출수단;상기 모션벡터 산출수단에서 산출한 모션벡터에 대하여 평균 모션벡터를 산출하기 위한 평균 모션벡터 산출수단; 및 상기 저장수단에 저장된 상기 행위 형태 정보 중에 상기 산출된 평균 모션벡터에 상응하는 행위 형태 정보를 탐색하여 행위를 인식하기 위한 행위 인식수단을 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 모션벡터를 이용한 행위 인식 방법에 있어서, 평균 모션벡터에 상응하는 행위 형태 정보를 저장하는 저장단계; 외부로부터 수집한 영상에서 객체를 인식한 후 상기 객체의 모션벡터를 산출하는 단계; 상기 산출한 모션벡터에 대하여 평균 모션벡터를 산출하는 평균 모션벡터 산출단계; 및 상기 저장수단에 저장된 상기 행위 형태 정보 중에 상기 산출된 평균 모션벡터에 상응하는 행위 형태 정보를 탐색하여 행위를 인식하는 행위 인식단계를 포함한다.

상기와 같은 본 발명은, 카메라를 통해 입력되는 영상에서 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출한 후 인식 테이블에 매핑하여 행위를 인식함으로써, 관찰 대상자에게 발생할 수 있는 응급 상황에 효율적으로 대처할 수 있도록 하는 효과가 있다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

도 1 은 본 발명에 따른 모션벡터를 이용한 행위 인식 장치의 일실시예 구성도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 모션벡터를 이용한 행위 인식 장치는, X축 평균 모션벡터 및 Y축 평균 모션벡터에 상응하는 행위 형태를 나타내는 인식 테이블을 저장하고 있는 인식 테이블 저장부(11), 카메라를 통해 입력되는 영상을 수집하기 위한 영상 수집부(12), 상기 영상 수집부(12)에서 수집한 영상에서 객체를 인식한 후 객체의 모션벡터를 산출하기 위한 모션벡터 산출부(13), 상기 모션벡터 산출부(13)에서 산출한 모션벡터의 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출하기 위한 평균 모션벡터 산출부(14), 및 상기 평균 모션벡터 산출부(14)에서 산출한 X축 평균 모션벡터 및 Y축 평균 모션벡터를 상기 인식 테이블에 매핑하여 행위를 인식하기 위한 행위 인식부(15)를 포함한다.

부가적으로, 상기 행위 인식부(15)에서 인식한 행위가 낙상(Fall)인 경우 외부의 응급 서비스 시스템으로 응급 상황을 통보하기 위한 응급 통보부(도면에 도시하지 않음)를 더 포함할 수도 있다.

여기서, 모션벡터 산출부(13)의 기능은 일반적으로 널리 알려진 공지의 기술로서, 이해를 돕기 위해 예를 들어 설명하기로 한다.

먼저, 입력된 현재 영상을 이전 영상과 비교하여 두 이미지 간의 색 차이(RGB 값의 차이)가 일정 수준 이상이면, 색 차이가 나타나는 부분들을 중심으로 객체를 식별하고 객체의 움직임에 대한 모션벡터를 계산한다.

즉, 연속된 두 입력 영상을 16 x 16 픽셀로 구성된 블록으로 각각 분할하고, 두 영상에서 동일 위치의 블록에 대해 블록 내 픽셀의 RGB 컬러 값을 비교하여 색번호에 따른 차를 계산한다(A).

이후, 그 차이가 임계치를 초과하는 경우 해당 픽셀에 움직임과 관련된 변화가 있다고 판단하여 이들의 개수를 합산한다(B).

이후, 합산된 총 변화 픽셀이 일정 수 이상이면 해당 블록을 객체로 인식한다. 이러한 과정은 모든 블록을 대상으로 이루어진다.

이후, 각 픽셀별 컬러 값의 MAE(Mean Absolute Error)를 구하여 움직임 벡터로 할당한다(C).

여기서, A 과정은 하기의 [수학식 1]을 통해 계산하고, B 과정은 하기의 [수학식 2]를 통해 합산하며, C 과정은 하기의 [수학식 3]을 통해 구한다.

여기서, A는 이전 영상의 색상 값, B는 현재 영상의 색상 값, i는 픽셀 번호, th₁은 임계치를 의미한다.

여기서, n은 픽셀의 총 수를 나타낸다.

한편, 대상체가 이미지상에서 하나의 객체로 인식되지 않고 여러 객체로 분할되어 나타날 경우 객체를 병합한다. 즉, 대상체의 움직임은 카메라와 멀 경우 한 블록 안에서만 나타나기도 하고, 카메라에 가까이 위치하면 여러 블록에 걸쳐서 나타나기도 하는데, 도 2에 도시된 바와 같이, 대상체가 여러 블록에 걸쳐 나타날 경우(201)에 각 신체 부위(머리, 손, 다리 등)의 동작에 따라 객체 구분이 모호하게 되어 여러 객체로 분리 인식될 수 있다. 즉, 대상체가 2개의 객체로 분할 인식되어, 왼팔과 오른팔이 각기 독립적인 대상체로 인식될 수 있다.

이러한 경우, 일정 간격 안에 있는 n개의 객체를 대상으로, 객체들의 가장 가까운 경계선 간의 거리, 중심점 간의 거리, 혹은 각 꼭지점 간의 거리의 평균 등으로 두 객체 간의 거리를 계산한 뒤, 거리가 일정 임계치 내일 경우 모션벡터가 존재하는 각 객체의 내부 블록들을 통합한다. 이렇게 블록들을 통합한 후 생성된 새 객체(202)의 외곽선을 지정한 후 새로운 모션벡터를 연산한다.

아울러, 객체가 병합되면 병합된 영역의 좌,우,상,하 최대 경계선으로부터 영역의 중심점을 계산할 수 있는데, 이 중심점을 대상체의 중심점으로 가정하며 이것이 이미지 내에서의 대상체의 좌표가 된다. 다중 카메라로부터 획득한 이미지는 같은 객체에 대한 서로 다른 이미지상의 좌표를 가지고 있는데, 이들에 대해 가상 수직선을 세운 뒤, 교차점 연산 및 실제 공간에 대한 이미지 공간의 매핑 정보를 가지는 매핑 테이블을 이용하여 대상체가 위치한 실제 좌표를 산출할 수도 있다.

또한, 이들 실제 좌표가 산출되면 기존의 실좌표 히스토리와 통합하여 이동 경로를 산출할 수도 있다.

다음으로, 상기 평균 모션벡터 산출부(14)는 하기의 [수학식 4]를 이용하여 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출한다.

여기서, t는 객체 내 모션벡터를 가지는 총 블록의 개수를 의미하고, u는 분할 영역 중 상단 영역 내 모션벡터를 가지는 총 블록의 개수를 의미하며, X_i는 모션벡터의 X축 값을, Y_i는 모션벡터의 Y축 값을 의미한다. 이때, u는 영역을 분할하지 않을 경우 t와 동일한 값을 갖는다.

또한, 평균 모션벡터 산출부(14)는 낙상(넘어짐)의 경우 다른 신체 부위에 비해 머리 부분의 모션벡터의 값이 순간적으로 크게 나타날 수 있음을 감안하여, 정확한 낙상을 판단할 수 있도록 전체 객체를 도 3의 (a)에 도시된 바와 같이, Y축으로 3등분하여 제일 상단부분에 해당하는 Y축 평균 모션벡터를 산출할 수도 있다.

이때, 객체의 크기가 작게 검출되어 Y축 영역이 3등분으로 분할되지 않을 경우에는 도 3의 (b)와 같이 2 분할 또는 도 3의 (c)와 같이 분할하지 않고 영역별 Y축 평균 모션벡터를 구할 수도 있다.

하기의 [표 1]은 인식 테이블의 일예이다.

여기서, 판단 기준 중 수치에 해당하는 부분은 카메라의 위치 등 환경적인 요소에 따라 달라질 수 있으며, 상기 [표 1]에 제시된 기준은 실험값에 의해 산출된 데이터의 일예이다. 이때, 걷기, 뛰기, 서기 동작은 현재 평균 모션벡터를 보고 판별하며, 넘어짐(Fall)의 경우 일정 기간 동안의 평균 모션벡터 변이의 추이를 보고 판별한다.

도 4 는 본 발명에 따른 모션벡터를 이용한 행위 인식 방법에 대한 일실시예 흐름도로서, 그 구체적인 실시예는 전술한 바와 같으므로, 여기서는 행위 인식 방법의 동작 과정에 대해서만 간략하게 설명하기로 한다.

먼저, X축 평균 모션벡터 및 Y축 평균 모션벡터에 상응하는 행위 형태를 나타내는 인식 테이블을 저장하고 있다(401).

이후, 카메라로부터 수집한 영상에서 객체를 인식한 후 객체의 모션벡터를 산출한다(402).

이후, 상기 산출한 모션벡터의 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출한다(403).

이후, 상기 산출한 X축 평균 모션벡터 및 Y축 평균 모션벡터를 상기 인식 테이블에 매핑하여 행위를 인식한다(404).

부가적으로, 상기 인식한 행위가 낙상(Fall)인 경우 외부로 응급 상황을 통보할 수도 있다.

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

본 발명은 영상 감시 기술 등에 이용될 수 있다.

도 1 은 본 발명에 따른 모션벡터를 이용한 행위 인식 장치의 일실시예 구성도,

도 2 는 이미지상에서 다수의 객체로 인식한 대상체를 하나의 객체로 병합한 상태를 나타내는 일예시도,

도 3 은 본 발명에 따른 객체를 Y축으로 영역 분할한 상태를 나타내는 일예시도,

도 4 는 본 발명에 따른 모션벡터를 이용한 행위 인식 방법에 대한 일실시예 흐름도이다.

* 도면의 주요 부분에 대한 부호의 설명

11 : 인식 테이블 저장부 12 : 영상 수집부

13 : 모션벡터 산출부 14 : 평균 모션벡터 산출부

15 : 행위 인식부

Claims (12)

1. 모션벡터를 이용한 행위 인식 장치에 있어서,

   평균 모션벡터에 상응하는 행위 형태 정보를 저장하는 저장수단;

   외부로부터 입력되는 영상을 수집하기 위한 영상 수집수단;

   상기 영상 수집수단을 통해 수집한 영상에서 객체를 인식한 후 상기 객체의 모션벡터를 산출하기 위한 모션벡터 산출수단;

   상기 모션벡터 산출수단에서 산출한 모션벡터에 대하여 평균 모션벡터를 산출하기 위한 평균 모션벡터 산출수단; 및

   상기 저장수단에 저장된 상기 행위 형태 정보 중에 상기 산출된 평균 모션벡터에 상응하는 행위 형태 정보를 탐색하여 행위를 인식하기 위한 행위 인식수단

   을 포함하는 모션벡터를 이용한 행위 인식 장치.
2. 제 1 항에 있어서,

   상기 행위 인식수단에서 인식한 행위가 낙상(Fall)인 경우 외부로 응급 상황을 통보하기 위한 응급 통보수단

   을 더 포함하는 모션벡터를 이용한 행위 인식 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 저장수단은,

   X축 평균 모션벡터 및 Y축 평균 모션벡터에 상응하는 행위 형태를 나타내는 인식 테이블을 저장하고 있고,

   상기 평균 모션벡터 산출수단은,

   상기 모션벡터 산출수단에서 산출한 모션벡터에 대하여 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출하며,

   상기 행위 인식수단은,

   상기 평균 모션벡터 산출수단에서 산출한 X축 평균 모션벡터 및 Y축 평균 모션벡터를 상기 인식 테이블에 매핑하여 해당 행위를 인식하는 것을 특징으로 하는 모션벡터를 이용한 행위 인식 장치.
4. 제 3 항에 있어서,

   상기 평균 모션벡터 산출수단은,

   하기의 [수학식 A]를 통해 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출하는 것을 특징으로 하는 모션벡터를 이용한 행위 인식 장치.

   [수학식 A]

   

   여기서, t, u는 객체 내 모션벡터를 가지는 총 블록의 개수를 의미하고, X_i는 모션벡터의 X축 값을, Y_i는 모션벡터의 Y축 값을 의미한다.
5. 제 3 항에 있어서,

   상기 평균 모션벡터 산출수단은,

   상기 모션벡터 산출수단에서 산출한 모션벡터의 Y축 평균 모션벡터 산출 시, 상기 객체를 Y축 기준으로 분할한 후 상단 영역에서 모션벡터의 Y축 평균 모션벡터를 산출하는 것을 특징으로 하는 모션벡터를 이용한 행위 인식 장치.
6. 제 5 항에 있어서,

   상기 평균 모션벡터 산출수단은,

   하기의 [수학식 B]를 통해 Y축 평균 모션벡터를 산출하는 것을 특징으로 하 는 모션벡터를 이용한 행위 인식 장치.

   [수학식 B]

   

   여기서, u는 분할 영역 중 상단 영역 내 모션벡터를 가지는 총 블록의 개수를 의미하며, Y_i는 모션벡터의 Y축 값을 의미한다.
7. 모션벡터를 이용한 행위 인식 방법에 있어서,

   평균 모션벡터에 상응하는 행위 형태 정보를 저장하는 저장단계;

   외부로부터 수집한 영상에서 객체를 인식한 후 상기 객체의 모션벡터를 산출하는 단계;

   상기 산출한 모션벡터에 대하여 평균 모션벡터를 산출하는 평균 모션벡터 산출단계; 및

   상기 저장단계에서 저장된 상기 행위 형태 정보 중에 상기 산출된 평균 모션벡터에 상응하는 행위 형태 정보를 탐색하여 행위를 인식하는 행위 인식단계

   를 포함하는 모션벡터를 이용한 행위 인식 방법.
8. 제 7 항에 있어서,

   상기 인식한 행위가 낙상(Fall)인 경우 외부로 응급 상황을 통보하는 단계

   를 더 포함하는 모션벡터를 이용한 행위 인식 방법.
9. 제 7 항 또는 제 8 항에 있어서,

   상기 저장단계는,

   X축 평균 모션벡터 및 Y축 평균 모션벡터에 상응하는 행위 형태를 나타내는 인식 테이블을 저장하고 있고,

   상기 평균 모션벡터 산출단계는,

   상기 산출한 모션벡터에 대하여 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출하며,

   상기 행위 인식단계는,

   상기 산출한 X축 평균 모션벡터 및 Y축 평균 모션벡터를 상기 인식 테이블에 매핑하여 해당 행위를 인식하는 것을 특징으로 하는 모션벡터를 이용한 행위 인식 방법.
10. 제 9 항에 있어서,

    상기 평균 모션벡터 산출단계는,

    하기의 [수학식 C]를 통해 X축 평균 모션벡터 및 Y축 평균 모션벡터를 산출하는 것을 특징으로 하는 모션벡터를 이용한 행위 인식 방법.

    [수학식 C]

    

    여기서, t, u는 객체 내 모션벡터를 가지는 총 블록의 개수를 의미하고, X_i는 모션벡터의 X축 값을, Y_i는 모션벡터의 Y축 값을 의미한다.
11. 제 9 항에 있어서,

    상기 평균 모션벡터 산출단계는,

    상기 산출한 모션벡터의 Y축 평균 모션벡터 산출 시, 상기 객체를 Y축 기준으로 분할한 후 상단 영역에서 모션벡터의 Y축 평균 모션벡터를 산출하는 것을 특징으로 하는 모션벡터를 이용한 행위 인식 방법.
12. 제 11 항에 있어서,

    상기 평균 모션벡터 산출단계는,

    하기의 [수학식 D]를 통해 Y축 평균 모션벡터를 산출하는 것을 특징으로 하는 모션벡터를 이용한 행위 인식 방법.

    [수학식 D]

    

    여기서, u는 분할 영역 중 상단 영역 내 모션벡터를 가지는 총 블록의 개수를 의미하며, Y_i는 모션벡터의 Y축 값을 의미한다.

Images