KR20160113966A - 행동 인식 방법 및 그 장치 - Google Patents

Abstract

행동 인식 방법 및 그 장치가 제공된다. 영상으로부터 행동을 인식하는 경우, 입력되는 프레임들의 관절 정보값을 이용하여 키프레임을 추출하고, 추출된 키 프레임들인 입력 행동 키 프레임들과 미리 등록되어 있는 행동별 등록 키 프레임들을 매칭하여 각 행동별로 매칭값을 구한다. 각 행동별로 구해진 중에서 매칭값들 중에서 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정한다.

Description

행동 인식 방법 및 그 장치{Method and apparatus for recognizing action}

본 발명은 3차원 관절 정보를 이용하여 사람의 행동을 인식하는 방법 그 장치에 관한 것이다.

사람 행동 인식은 HCI(Human-Computer Interaction, 인간-컴퓨터 상호작용), 보안, 스마트 운전자 감시 시스템, 스마트 조명 시스템, 무인 감시시스템 등의 많은 영역에서 활발히 연구되고 있다. 단일 시점의 한계를 극복하기 위해서 다양한 시점에서 행동 인식을 위한 연구들이 많이 진행되고 있다.

행동인식 관련 기술로는 대한민국 특허공개번호 10-2013-0022320에 기술된 "사용자 제스처 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치"가 있는데, 이 기술은 영상이미지 내부의 행동 인식 영역에 손을 가져다 대면 인식하는 방법이다.

또 다른 기술로는 동 특허 공개 번호 10-2013-0081126에 기술된 "손 제스처 인식 방법 및 그 장치"가 있는데, 이 기술은 랜덤 결정 포레스트 분류기를 이용하여 손 행동을 인식하는 방법이다.

또 다른 기술로는 동 특허 공개 번호 10-2013-0110441에 기술된 "신체 제스처 인식 방법 및 장치"이 있는데, 이 기술은 히든 마르코브 모델을 이용하여 제스처를 인식하는 방법이다.

또 다른 기술로는 동 특허 공개 번호 10-2013-0112061에 기술된 "자연스러운 제스처 기반 사용자 인터페이스 방법 및 시스템"이 있는데, 이 기술은 관절의 움직임에 따른 관심점을 찾고 궤적을 따라 행동을 인식하는 방법이다.

또 다른 기술로는 동 특허 공개 번호 10-2013-0071241에 기술된 "제스쳐 인식 기반 서비스 제공 시스템"이 있는데, 색채정보를 이용하여 관절 정보를 추정하고 행동을 인식하는 방법이다.

이러한 행동 인식 방법들은 조명 또는 복잡한 환경 등에 영향을 많이 받는다. 또한, 시퀀스 기반의 행동 인식의 경우, 행동의 시작과 끝을 알 수 없어 인식률이 떨어지고, 사람마다의 행동 패턴 차이를 정확하게 인식하기 어려운 단점이 있다.

본 발명이 이루고자 하는 과제는, 3차원 관절 정보를 이용하여 행동을 보다 정확하게 인식할 수 있는 방법 및 그 장치를 제공하는 것이다.

본 발명의 특징에 따른 행동 인식 방법은, 영상으로부터 행동을 인식하는 방법에서, 입력되는 프레임들의 관절 정보값을 이용하여 키프레임을 추출하는 단계; 추출된 키 프레임들인 입력 행동 키 프레임들과 미리 등록되어 있는 행동별 등록 키 프레임들을 매칭하여 각 행동별로 매칭값을 구하는 단계; 및 각 행동별로 구해진 중에서 매칭값들 중에서 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정하는 단계를 포함한다.

상기 키 프레임을 추출하는 단계는, 현재 프레임에 해당하는 현재 입력 관절 정보값과 이전 프레임에서 추정된 관절 정보값의 차이가 미리 설정된 값 이상이면, 현재 프레임을 키 프레임으로 추출할 수 있다.

상기 매칭값을 구하는 단계는, 상기 입력 행동 키 프레임들과 임의 행동에 대하여 등록된 행동 키 프레임들을 키 프레임별로 매칭하여 에러값들을 구하고, 구해진 에러값들을 합하여 상기 임의 행동에 대한 매칭값으로 사용할 수 있다.

상기 입력 행동으로 추정하는 단계는, 상기 가장 작은 매칭값을 가지는 행동에 대하여 미리 설정된 최소 에러 경계와 상기 가장 작은 매칭값을 비교하는 단계; 및 상기 가장 작은 매칭값이 상기 최소 에러 경계보다 작은 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정하는 단계를 더 포함할 수 있다.

여기서, 상기 최소 에러 경계는 등록된 행동간의 유사성을 토대로 산출될 수 있다.

이외에도, 상기 방법은 임의 등록된 행동에 대하여 다른 등록된 행동들과의 유사성들이 산출되고, 산출된 유사성들 중에서 제일 작을 값을 해당 등록된 행동의 최소 에러 경계로 사용되는 단계를 더 포함할 수 있다.

상기 입력 행동으로 추정하는 단계는, 상기 가장 작은 매칭값을 가지는 행동이 미리 설정된 횟수 이상으로 입력 행동으로 추정되는 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 최종 추정하는 단계를 포함할 수 있다.

상기 관절 정보값은, 깊이(depth) 영상으로부터 추정되는 관절 위치를 토대로 포즈 정보일 수 있다.

본 발명의 다른 특징에 따른 행동 인식 장치는, 영상으로부터 행동을 인식하는 장치에서, 사람의 행동을 촬영한 영상을 획득하며, 획득한 영상을 프레임별로 처리가능한 신호로 변환시켜 출력하는 영상 획득부; 상기 영상 획득부로부터 제공되는 프레임별 신호를 토대로 행동 인식을 수행하는 프로세서를 포함하며, 상기 프로세서는, 입력되는 프레임들의 관절 정보값을 이용하여 키프레임을 추출하는 키프레임 추출부; 추출된 키 프레임들인 입력 행동 키 프레임들과 미리 등록되어 있는 행동별 등록 키 프레임들을 매칭하여 각 행동별로 매칭값을 구하는 프레임 매칭부; 및 각 행동별로 구해진 중에서 매칭값들 중에서 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정하는 제1 추정부를 포함한다.

상기 키 프레임 추출부는, 현재 프레임에 해당하는 현재 입력 관절 정보값과 이전 프레임에서 추정된 관절 정보값의 차이가 미리 설정된 값 이상이면, 현재 프레임을 키 프레임으로 추출할 수 있다.

상기 프레임 매칭부는, 상기 입력 행동 키 프레임들과 임의 행동에 대하여 등록된 행동 키 프레임들을 키 프레임별로 매칭하여 에러값들을 구하고, 구해진 에러값들을 합하여 상기 임의 행동에 대한 매칭값으로 사용할 수 있다.

상기 제1 추정부는, 상기 가장 작은 매칭값이, 상기 가장 작은 매칭값을 가지는 행동에 대하여 미리 설정된 최소 에러 경계 보다 작은 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정할 수 있다.

여기서, 임의 등록된 행동에 대하여 다른 등록된 행동들과의 유사성들이 산출되고, 산출된 유사성들 중에서 제일 작을 값을 해당 등록된 행동의 최소 에러 경계로 사용할 수 있다.

이외에도, 상기 장치는, 상기 가장 작은 매칭값을 가지는 행동이 미리 설정된 횟수 이상으로 입력 행동으로 추정되는 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 최종 추정하는 제2 추정부를 더 포함할 수 있다.

본 발명의 실시 예에 따르면, 3차원 관절 정보를 이용하여 영상으로부터 행동을 인식함으로써, 행동의 시작과 끝을 알 수 없어도 정확하게 어떠한 행동인지를 인식할 수 있다.

또한, 프레임의 관절 정보를 이용하여 행동을 인식함으로써, 조명 변화 등 외부 환경 변화에 상관없이 영상으로부터 행동을 인식할 수 있고, 사람마다 행동 패턴에 조금 차이가 있어도 정확하게 행동을 인식할 수 있다.

영상에 대하여 행동을 인식하는 영역이 정해져 있지 않으며, 여러 자세에서 행동을 인식할 수 있으며, 동적 및 정적인 행동을 강인하게 인식할 수 있다. 또한, 야간에도 추출 가능한 영상의 깊이 정보로부터 추정되는 관절 정보를 사용함으로써, 야간에도 행동 인식이 가능하다.

도 1은 본 발명의 실시 예에 따른 키 프레임 누적 예시도이다.
도 2는 본 발명의 실시 예에 따른 행동 인식 방법의 흐름도이다.
도 3은 본 발명의 실시 예에 따른 행동 추정을 위한 키프레임 매칭을 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 행동 인식 장치의 구조도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 행동 인식 방법 및 그 장치에 대하여 설명한다.

본 발명의 실시 예에서는 3차원 관절 정보를 이용하여 행동을 인식한다.

사람의 행동을 촬영한 영상을 구성하는 프레임에서, 인접하는 프레임들에서 포즈(pose)는 매우 유사하기 때문에, 행동을 표현할 수 있는 최소한의 키 프레임(key frame)을 추출한다. 키 프레임은 행동 인식의 기준이 된다.

도 1은 본 발명의 실시 예에 따른 키 프레임 누적 예시도이다.

키 프레임은 시간에 따른 행동별로 키 프레임이 생성되어 누적되며, 행동 마다 키프레임의 개수는 다르다.

본 발명의 실시 예에서는 사람의 관절 위치를 복수개 예를 들어, 머리, 목, 몸통, 왼쪽/오른쪽 어깨, 왼쪽/오른쪽 팔꿈치, 왼쪽/오른쪽 손, 왼쪽/오른쪽 엉덩이, 왼쪽/오른쪽 무릅, 그리고 왼쪽/오른쪽 발 등으로 나눌 수 있다. 그리고 또한, 인체 모델 정보 없이, 픽셀 분류를 사용하여 프레임이 인체의 어느 부분 즉, 어떤 관절 위치에 해당하는지를 추정할 수 있다.

깊이(depth) 영상을 획득하고, 관절 위치를 토대로 한 ROI(regions of interest)를 깊이 영상으로부터 추출한다. 그리고 깊이 영상의 깊이 값(depth value)을 정규화하여 ROI가 동일한 깊이 값 분포를 가지도록 할 수 있다.

정규화 처리 이후에, 빠른 연산을 위하여, SLIC (simple linear iterative clustering) 를 이용하여 사람 영상 ROI에 대한 슈퍼픽셀(superpixel)을 생성할 수 있다. 생성된 슈퍼픽셀의 x, y 좌표의 원점(origin)을 인체 좌표와의 일치를 위하여 인체의 중심 모멘트(central moment)로 변환시킬 수 있으며, 변환된 슈퍼픽셀은 인체의 깊이 값들에 따라 미리 정의된 바디(body) 크기로 조정된다. 이러한 슈퍼픽셀은 훈련(trained) SVM(support vector machine) 분류기에 의하여 인체의 일부로 분류된다. 이와 같이 분류된 슈퍼픽셀로부터 관절 위치가 추정될 수 있다.

사람 영상 ROI에서 모든 픽셀들을 분류하는데 많은 시간이 소요되므로, 모든 픽셀들을 분류하는 대신에, 위에 기술된 바와 같이, 슈퍼픽셀들을 생성하고 슈퍼픽셀들을 인체의 일부분으로 분류함으로써, 인체 부분 분류에 요구되는 시간을 현저하게 감소시킬 수 있다.

이러한 관절 위치 추정에 따라 포즈를 추정할 수 있으며, 추정된 포즈 정보가 각 프레임별로 주어진다. 관절 정보값은 추정된 관절 위치에 따른 포즈 정보일 수 있다.

본 발명의 실시 예에서는 이러한 관절 정보를 이용하여 행동을 인식한다.

도 2는 본 발명의 실시 예에 따른 행동 인식 방법의 흐름도이다.

먼저, 입력되는 현재 프레임에 대한 관절 정보값이 주어지면(S100), 키 프레임을 추출한다. 이때, 행동 추정을 위하여, 행동별로 등록된 키프레임들이 존재하는 경우에(S110), 키 프레임을 추출 과정을 수행할 수 있다. 등록된 키 프레임들이 없는 경우에는 별도의 행동별 키 프레임 등록 과정을 수행할 수 있다(S120). 사람마다 행동의 패턴 및 속도 등에 차이가 있으므로, 정확한 행동 인식을 위하여, 행동 등록시, 키프레임별로 관절 정보값들의 평균 및 분산을 함께 등록한다. 행동별로 등록되는 키 프레임들은 시간별로 저장될 수 있다.

키 프레임 추출시, 구체적으로, 현재 프레임에 해당하는 현재 입력 관절 정보값과 이전 프레임에서 추정된 관절 정보값의 차이가 미리 설정된 값 이상이면, 현재 프레임이 키 프레임으로 추출된다(S130). 이러한 과정을 통하여 복수의 키 프레임들이 추출되어 스택(stack)에 저장될 수 있다.

현재 추출된 키 프레임이 기존에 추출된 키 프레임과 유사하거나, 관절의 정보 변화가 일정 시간 이상 지속된 경우, 키 프레임 추출을 종료한다(S140).

키 프레임 추출이 종료된 다음에, 추출된 키 프레임들을 이용하여 행동을 추정한다. 행동 추정을 위하여, 미리, 등록되어 있는 행동별 키프레임들과, 입력된 영상의 각 프레임의 관절 정보값을 토대로 위에 기술된 바와 같이 추출된 키 프레임(설명의 편의상, 입력 행동 키 프레임이라고 명명함)들을 매칭하여, 입력된 영상의 행동 즉, 입력 행동을 추정한다.

입력 행동을 추정하기 위하여, 키 프레임별로 입력 행동 키프레임과 등록된 행동 키 프레임의 매칭을 수행한다(S150).

도 3은 본 발명의 실시 예에 따른 행동 추정을 위한 키프레임 매칭을 나타낸 도이다.

첨부한 도 3에서와 같이, 입력 행동 키 프레임들의 각 키 프레임들을 행동별로 등록된 행동 키 프레임들과 비교하여 매칭 여부를 판단한다. 그리고 키 프레임별로 매칭 여부 판단에 따른 에러값을 구한다. 예를 들어, 제1 행동에 대하여 등록된 행동 키 프레임들과 입력 행동 키 프레임들을 각각 키 프레임별로 매칭하여 에러값들을 구하고, 구해진 에러값들을 합하여 제1 행동에 대한 에러 합을 구한다. 이와 같이 구해지는 에러값들을 합한 에러합을 설명의 편의상 "매칭값"이라고 명명한다.

한편, 추출된 키프레임들이 자세(gesture)의 시작과 끝에 대한 정보를 가지고 있지 않으므로, 입력 행동 키 프레임들의 첫번째 키 프레임이 등록된 행동 키프레임들의 첫번째 키프레임과 언제나 매칭되는 것은 아니다. 이에 따라, 등록된 행동 키프레임들 중에서 임의 키프레임을 선택하고, 선택된 키 프레입을 입력 행동 키 프레임들의 첫번째 키프레임과 비교할 수 있다. 예를 들어, 도 3에서 등록된 행동 키 프레임들 중에서 네번째 키프레임(3)이 선택되어 입력 행동 키 프레임들의 첫번째 키프레임(0)과 비교된다.

이러한 매칭 과정을 등록된 모든 행동별 키 프레임들에 대하여 수행하여 각 행동별 매칭값들을 구하고, 구해진 전체 매칭값들 중에서 가장 작은 매칭값을 가지는 행동을 유사 행동으로 추정한다(S160).

이때, 잘못된 추정이 이루어지는 것을 방지하기 위하여, 각 행동별로 최소 에러 경계가 사용된다. 최소 에러 경계는 등록된 행동간의 유사성을 토대로 설정될 수 있다. 등록된 행동간의 유사성을 계산하는 방법은 다음 수식을 이용할 수 있다.

여기서, ki는 i번째 입력 키프레임의 관절 정보값을 나타낸다. 예를 들어, 제1 행동에 대하여 등록된 행동 키 프레임들을 다른 행동들의 등록된 행동 키 프레임들과의 유사성을 산출하는 경우, ki는 제1 행동에 대하여 등록된 행동 키 프레임들 중 i번째 키프레임의 관절 정보값을 나타낸다.

mi는 등록된 행동 키 프레임들 중에서 i번째 키프레임의 관절 위치값의 평균을 나타내고, σi는 등록된 행동 키 프레임들 중에서 i번째 키프레임의 관절 위치값의 분산을 나타낸다. matched k는 유사성을 나타낸다.

임의 등록된 행동에 대하여 다른 등록된 행동들과의 유사성들을 산출하고, 산출된 유사성들 중에서 제일 작을 값을 해당 등록된 행동의 최소 에러 경계로 사용될 수 있다.

추정 에러를 방지하기 위하여, 입력 행동 키 프레임들에 대하여 구해진 가장 작은 매칭값과 추정된 유사 행동의 최소 에러 경계를 비교한다. 그리고 입력 행동 키 프레임들에 대한 가장 작은 매칭값이 최소 에러 경계보다 작은 경우, 해당 유사 행동을 최종 추정 행동으로 결정한다. 반면, 입력 행동 키 프레임들에 대한 가장 작은 매칭값이 최소 에러 경계보다 큰 경우에는 행동 추정에 에러가 발생한 것으로 판단할 수 있다.

행동 추정의 신뢰성을 향상시키기 위하여, 위에 기술된 바와 같은 과정을 통하여 입력 행동 키 프레임들에 대하여 추정된 행동을 저장하고, 입력되는 키 프레임들에 대한 행동 추정을 반복적으로 수행한다.

이후, 행동 추정 결과들 중에서, 가장 많이 추정된 행동을 최종 행동으로 인식한다. 예를 들어, 행동 추정 결과들에 대하여 슬라이딩 윈도우 필터를 적용하여, 임의 행동이 추정된 횟수가 슬라이딩 윈도우 필터의 크기를 초과하는 경우, 해당 행동을 최종 행동으로 인식하여 출력할 수 있다(S170, S180).

도 4는 본 발명의 실시 예에 따른 행동 인식 장치의 구조도이다.

첨부한 도 4에 도시되어 있듯이, 본 발명의 실시 예에 따른 행동 인식 장치(100)는, 영상 획득부(110), 프로세서(120), 메모리(130) 및 출력부(140)를 포함한다. 영상 획득부(110)는 촬영을 수행하여 영상 특히, 사람의 행동을 촬영한 영상을 획득하며, 획득한 영상을 프로세서(110)가 처리가능한 신호로 처리하여 프로세서(110)로 제공한다.

프로세서(120)는 위의 도 1 내지 도 3을 토대로 설명한 방법들을 구현하도록 구성될 수 있다.

이를 위하여, 프로세서(120)는 관절 정보값 산출부(121), 키프레임 추출부(122), 키프레임 매칭부(123), 제1 행동 추정부(124), 제2 행동 추정부(125)를 포함한다.

관절 정보값 산출부(121)는 영상을 구성하는 프레임에서 추정된 관절 위치에 따른 포즈 정보인 관절 정보값을 산출한다.

키프레임 추출부(122)는 프레임들의 관절 정보값을 이용하여 키프레임을 추출한다. 키프레임 추출부(122)는 현재 프레임에 해당하는 현재 입력 관절 정보값과 이전 프레임에서 추정된 관절 정보값의 차이가 미리 설정된 값 이상이면, 현재 프레임을 키 프레임으로 추출하여 저장한다.

키프레임 매칭부(123)는 키프레임 추출부(122)에 저장된 키 프레임들 즉, 입력 행동 키 프레임들과 미리 등록되어 있는 행동별 등록 키 프레임들을 매칭하고, 그에 따른 에러값을 구하고, 각 행동별로 구해진 에러값들을 합하여 매칭값을 구한다.

제1 추정부(124)는 등록된 각 행동별로 구해진 중에서 매칭값들 중에서 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정한다. 이때, 가장 작은 매칭값이 추정된 행동에 대하여 미리 산출된 최소 에러 경계 보다 작은 경우에, 해당 추정된 행동으로 최종적으로 입력 행동으로 추정할 수도 있다.

제2 추정부(125)는 복수의 추정 과정을 통하여 복수의 추정 결과가 획득된 다음에, 가장 많이 추정된 행동을 최종 행동으로 인식한다.

메모리(130)는 프로세서(120)와 연결되고 프로세서(120)의 동작과 관련한 다양한 정보를 저장한다. 메모리(130)는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.

출력부(140)는 프로세서(120)와 연결되며, 프로세서(120)로부터 전달되는 정보를 출력할 수 있다. 예를 들어, 프로세서(120)로부터의 추정 결과에 따른 행동에 대한 정보를 시각적 또는 오디오 형태로 출력할 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

1. 영상으로부터 행동을 인식하는 방법에서,
   입력되는 프레임들의 관절 정보값을 이용하여 키프레임을 추출하는 단계;
   추출된 키 프레임들인 입력 행동 키 프레임들과 미리 등록되어 있는 행동별 등록 키 프레임들을 매칭하여 각 행동별로 매칭값을 구하는 단계; 및
   각 행동별로 구해진 중에서 매칭값들 중에서 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정하는 단계
   를 포함하는, 행동 인식 방법.
2. 제1항에 있어서,
   상기 키 프레임을 추출하는 단계는,
   현재 프레임에 해당하는 현재 입력 관절 정보값과 이전 프레임에서 추정된 관절 정보값의 차이가 미리 설정된 값 이상이면, 현재 프레임을 키 프레임으로 추출하는, 행동 인식 방법.
3. 제1항에 있어서,
   상기 매칭값을 구하는 단계는,
   상기 입력 행동 키 프레임들과 임의 행동에 대하여 등록된 행동 키 프레임들을 키 프레임별로 매칭하여 에러값들을 구하고, 구해진 에러값들을 합하여 상기 임의 행동에 대한 매칭값으로 사용하는, 행동 인식 방법.
4. 제1항에 있어서,
   상기 입력 행동으로 추정하는 단계는,
   상기 가장 작은 매칭값을 가지는 행동에 대하여 미리 설정된 최소 에러 경계와 상기 가장 작은 매칭값을 비교하는 단계; 및
   상기 가장 작은 매칭값이 상기 최소 에러 경계보다 작은 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정하는 단계
   를 더 포함하는, 행동 인식 방법.
5. 제4항에 있어서,
   상기 최소 에러 경계는 등록된 행동간의 유사성을 토대로 산출되는, 행동 인식 방법.
6. 제5항에 있어서,
   임의 등록된 행동에 대하여 다른 등록된 행동들과의 유사성들이 산출되고, 산출된 유사성들 중에서 제일 작을 값을 해당 등록된 행동의 최소 에러 경계로 사용되는 단계를
   더 포함하는, 행동 인식 방법.
7. 제1항에 있어서,
   상기 입력 행동으로 추정하는 단계는,
   상기 가장 작은 매칭값을 가지는 행동이 미리 설정된 횟수 이상으로 입력 행동으로 추정되는 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 최종 추정하는 단계
   를 포함하는, 행동 인식 방법.
8. 제1항에 있어서,
   상기 관절 정보값은, 깊이(depth) 영상으로부터 추정되는 관절 위치를 토대로 포즈 정보인, 행동 인식 방법.
9. 영상으로부터 행동을 인식하는 장치에서,
   사람의 행동을 촬영한 영상을 획득하며, 획득한 영상을 프레임별로 처리가능한 신호로 변환시켜 출력하는 영상 획득부;
   상기 영상 획득부로부터 제공되는 프레임별 신호를 토대로 행동 인식을 수행하는 프로세서를 포함하며,
   상기 프로세서는,
   입력되는 프레임들의 관절 정보값을 이용하여 키프레임을 추출하는 키프레임 추출부;
   추출된 키 프레임들인 입력 행동 키 프레임들과 미리 등록되어 있는 행동별 등록 키 프레임들을 매칭하여 각 행동별로 매칭값을 구하는 프레임 매칭부; 및
   각 행동별로 구해진 중에서 매칭값들 중에서 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정하는 제1 추정부
   를 포함하는, 행동 인식 장치.
10. 제9항에 있어서,
    상기 키 프레임 추출부는, 현재 프레임에 해당하는 현재 입력 관절 정보값과 이전 프레임에서 추정된 관절 정보값의 차이가 미리 설정된 값 이상이면, 현재 프레임을 키 프레임으로 추출하는, 행동 인식 장치.
11. 제9항에 있어서,
    상기 프레임 매칭부는, 상기 입력 행동 키 프레임들과 임의 행동에 대하여 등록된 행동 키 프레임들을 키 프레임별로 매칭하여 에러값들을 구하고, 구해진 에러값들을 합하여 상기 임의 행동에 대한 매칭값으로 사용하는, 행동 인식 장치.
12. 제9항에 있어서,
    상기 제1 추정부는, 상기 가장 작은 매칭값이, 상기 가장 작은 매칭값을 가지는 행동에 대하여 미리 설정된 최소 에러 경계보다 작은 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 추정하는, 행동 인식 장치.
13. 제12항에 있어서,
    임의 등록된 행동에 대하여 다른 등록된 행동들과의 유사성들이 산출되고, 산출된 유사성들 중에서 제일 작을 값을 해당 등록된 행동의 최소 에러 경계로 사용하는, 행동 인식 장치.
14. 제9항에 있어서,
    상기 가장 작은 매칭값을 가지는 행동이 미리 설정된 횟수 이상으로 입력 행동으로 추정되는 경우에, 상기 가장 작은 매칭값을 가지는 행동을 입력 행동으로 최종 추정하는 제2 추정부
    를 더 포함하는, 행동 인식 장치.
    
    
    
    
    
    
    
    
    
    

Images