KR101708233B1 - 3d 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법 - Google Patents

Abstract

본 발명은 3D 골격데이터를 분석하여 공격적인 행동을 감지하는 장치 및 그 방법에 관한 것이다.
본 발명의 일면에 따른 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치는 키넥트 센서를 이용하여 객체의 3D 골격데이터 프레임으로부터 객체의 행동 패턴을 감지하는 센서부와, 감지된 행동 패턴에 대한 분류 가능 여부를 확인하고, DTW 알고리즘을 커널로 사용하는 서포트 벡터 머신으로 기학습한 라이브러리에 포함되는 공격적인 행동에 행동 패턴이 해당되는지 여부를 판단하는 제어부 및 상기 행동 패턴이 공격적인 행동에 해당되는 경우 이에 대한 경고 메시지를 전달하는 경고부를 포함하는 것을 특징으로 한다.

Description

3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법{APPARAUS AND METHOD FOR DETECTING AGGRESSIVE ACTIONS FROM STREAMING 3D SKELETTON DATA}

본 발명은 3D 골격데이터를 분석하여 공격적인 행동을 감지하는 장치 및 그 방법에 관한 것이다.

치매 환자의 상태는 각 문항이 7점의 등급으로 분류된 Cohen-Mansfield Agitation Inventory(CMAI) 차트에 따라 평가되며, 전체 29 문항에서 16개, 즉 약 55%의 문항이 행실에 관련된 항목이다.

최근 연구결과에 따르면 인지 기능 장애로 어려움을 겪는 치매 환자들 중 30 ~ 50 %가 다양한 교란 형태로 고통을 겪는다고 한다. 치매 노인들 사이의 교란을 판단하는 기준으로 세 개의 기준이 있는데, 언어 폭력, 신체적 폭력 그리고 비사회적 행동이다. 물론, 이 중에서 가장 중요한 것은 신체적 폭력이다.

최근 통계에 따르면, 인지 기능 장애로 입원한 환자들 중 11%가 신체적 폭력의 요인 때문이라고 한다. 대부분의 요양 생활 시설에서는 환자를 돌보는 간병인이 환자를 모니터링하는데, 이는 간병인에게 정신적으로 매우 어려운 일이다.

환자를 계속해서 돌보다 보면, 간병인에게 스트레스와 신경 쇠약에 기한 정신적 외상을 유발하므로, 환자가 문제를 일으키지 않는지 계속해서 모니터링할 수 있는 기계적 시스템의 필요성이 요구되고 있다.

종래 발명은 위험 동작 발생 감시 시스템이다. (한국 등록번호 10-0927776)

도 1은 종래 발명의 실시 예에 따른 위험 동작 발생 감시 시스템의 구성도이다. 도 1에 도시한 바와 같이, 위험 동작 감시 시스템은 영상 촬영부(100), 위험 동작 감시부(200)를 포함한다. 영상 촬영부(100)는 영상을 촬영하고 영상 촬영부(100)를 통해 촬영된 영상을 분석하여 객체 출현 여부를 확인하고, 객체 출현 시 객체의 동작 변화 정도가 위험 동작에 해당하는 지를 판단하여 위험 동작에 해당하는 경우, 위험 동작이 발생한 것으로 인식하여 위험 동작 발생 경보를 출력하는 것을 그 요지로 한다.

그런데, 종래 발명에 따르면, 노인과 환자들이 갑자기 쓰러지는 것과 같은 위험 동작만 판단하고 노인과 환자들이 공격적인 행동을 통하여 주변 사람을 공격하는지 여부를 판단하기 어렵고, 판단하더라도 정확도가 낮은 문제점이 있었다. 따라서 요양 시설에서는 이를 관리하는 간병인이 상주해야 하며, 방심하는 경우, 환자로부터 폭행을 당할 수 있는 위험이 상주하고 있다.

종래 키넥트를 이용한 공격적인 행동 감지 분석법은 다양한 개인별로 포즈, 움직임의 속도, 신체 구조가 상이하여, 같은 공격적 행동을 표현하는 방식에 있어서 상이한 패턴을 보인다는 문제점이 있다.

또한, 실생활에서 키넥트를 이용한 공격적인 행동 감지를 함에 있어서는, 비디오 게임과 같이 플레이어들이 항상 카메라를 정면으로 바라보고 추천된 거리 내에서 행동하는 것이 아니라, 환자와의 거리, 환자 신체의 오리엔테이션(Orientation)을 고려하여야 함에 어려움이 존재하는 문제점이 있다.

또한, 공격적인 행동인지 여부를 감지하기 위하여 레퍼런스 데이터로 사용되는 라이브러리 내의 데이터에 기저장되지 않은 새로운 공격 행동 패턴의 경우, 이를 업데이트할 수 없어 공격적인 행동 유형을 체계적으로 관리할 수 없는 문제점이 있었다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 3D 골격데이터를 분석하여 공격적인 행동을 감지하고, 이를 관계인에게 고지하여 즉각적인 조치가 이루어 질 수 있도록 하는 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치 및 그 방법을 제공하는 데 목적이 있다.

본 발명의 일면에 따른 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치는 키넥트 센서를 이용하여 객체의 3D 골격데이터 프레임으로부터 객체의 행동 패턴을 감지하는 센서부와, 감지된 행동 패턴에 대한 분류 가능 여부를 확인하고, DTW 알고리즘을 커널로 사용하는 서포트 벡터 머신으로 기학습한 라이브러리에 포함되는 공격적인 행동에 행동 패턴이 해당되는지 여부를 판단하는 제어부 및 상기 행동 패턴이 공격적인 행동에 해당되는 경우 이에 대한 경고 메시지를 전달하는 경고부를 포함하는 것을 특징으로 한다.

본 발명의 다른 면에 따른 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 방법은 3D 골격 데이터 프레임을 수신하여 객체의 행동 패턴을 감지하는 단계와, 데이터 베이스 검색을 통하여 행동 패턴에 대한 분류 가능 여부를 확인하는 단계와, 행동 패턴이 분류 가능한 경우, DTW 알고리즘을 커널로 사용하는 서포트 벡터 머신으로 기학습한 라이브러리에 포함되는 공격적인 행동에 행동 패턴이 해당되는지 여부를 확인하여, 행동 패턴이 공격적인 행동인지 판단하는 단계 및 행동 패턴이 공격적인 행동에 해당되는 경우, 경고 메시지를 전달하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 감지한 행동 패턴이 DTW 알고리즘을 커널로 사용하는 서포트 벡터 머신으로 기학습한 라이브러리에 포함되는 공격적인 행동에 해당되는지 여부를 확인하여, 모션 인식에 대한 정확성 및 효율성을 증대하는 효과가 있다.

본 발명의 실시예에 따르면, 치매 환자의 행실에 관련된 CMAI 항목 중 주먹, 발차기, 밀침, 던지기 에 관련된 행동 패턴을 정확하고 효율적으로 감지하는 것이 가능하다.

정확성의 측면에서, 일반적인 기술인 DTW(Dynamic time warping)와 Pose(제스처 인지에 기초한 자세)와 비교하여 볼 때, 11 내지 16%의 정확도 향상을 확인할 수 있다.

또한, 환자로부터 새로운 공격적인 행동을 감지한 경우에도, 이를 라이브러리에 갱신시키고 체계적으로 관리하는 것이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래 발명의 실시예에 따른 위험 동작 발생 감시 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 3D 골격 데이터를 스트리밍하여 공격적인 행동을 감지하는 장치의 블록도이다.
도 3은 본 발명의 실시예에 따른 킨텐스의 개관을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 관절 위치 및 각도 정보를 수집을 나타내는 개념도이다.
도 5는 본 발명의 실시예에 따른 스무딩 작업 전후의 각도 변화 그래프를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 유저 피드백에 관한 도면이다.
도 7은 본 발명의 실시예에 따른 정확도 및 DTW, POSE의 정확도를 비교한 그래프이다.
도 8은 본 발명의 실시예에 따른 강인성(robustness) 및 DTW, POSE의 강인성를 비교한 그래프이다.
도 9는 본 발명의 실시예에 따른 3D 골격 데이터를 스트리밍하여 공격적인 행동을 감지하는 방법의 순서도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 2는 본 발명의 실시 예에 따른 3D 골격 데이터를 스트리밍하여 공격적인 행동을 감지하는 장치를 나타내는 블록도이다.

본 발명의 실시예에 따르면, 스마트 홈 환경에서 사용자의 전신을 모니터링하여, 사용자의 공격적인 행동을 감지하고 이에 대한 적절한 보호가 이루어질 수 있도록 한다.

도 2에 도시한 바와 같이, 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치는 통신부(110), 센서부(120), 제어부(130) 및 경고부(140)를 포함한다.

본 발명의 실시예에 따른 통신부(110)는 객체(환자)의 3D 골격데이터 프레임을 수신하여 전송한다. 센서부(120)는 통신부(110)로부터 수신한 3D 골격데이터 프레임으로부터 객체의 행동 패턴을 감지한다. 이 때, 센서부(120)는 키넥트 센서를 통해 수신된 3D 골격데이터 프레임을 토대로 하는 스트리밍 3D 골격의 관절 좌표로부터 행동 패턴을 감지한다.

키넥트 센서는 기본적으로 3개의 렌즈로 구성되어 있는 3차원 입체센서이다. 좌측, 중앙, 우측 3개의 렌즈를 포함한다. 중앙 렌즈는 3차원 깊이 인식 렌즈이다. 우측 렌즈는 RGB 인식 렌즈이고, 좌측 렌즈는 적외선을 픽셀 단위로 쏴주는 적외선 프로젝트이다.

키넥트 센서는 이 적외선 프로젝트에서 송출된 무수히 많은 점들이 반사되어 오는 것을 인식하는 것이다. 즉 중앙과 우측 렌즈가 3차원 스캔을 해주게 되고 게임 등을 실행하면, 키넥트 센서는 XYZ축 전부를 인식하게 된다.

따라서 키넥트 센서는 48개에 달하는 사람의 관절을 인식하여 동작에 반영하고, 깊이 인식, 공간을 읽어 들이는 행위를 할 수 있어 가상 세계에서 사용자의 움직임을 인식하는데 이용된다.

본 발명의 실시예에 따른 센서부(120)는 관절 좌표의 변화를 계산하여 변화값이 기설정된 임계값보다 초과하는 경우 행동 패턴을 감지한다. 관절 좌표의 변화가 임계값을 초과하면 3D 골격 데이터를 스트리밍하여 공격적인 행동을 감지하는 장치(이하, 시스템)의 윈도우 화면이 분류기(classifier)로 변경된다.

도 3은 본 발명의 실시예에 따른 킨텐스의 개관을 도시한 도면으로서, 킨텐스는 키넥트 센서를 통해 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치이다. 킨텐스는 3D 골격 데이터를 수신하여 움직임을 감지하고, 분류 및 갱신을 수행하며, 3D 골격 데이터로부터 사용자의 공격적인 행동이 발생하였는지 여부를 판단하며, 사용자의 피드백에 의해 학습을 수행한다.

골격 데이터는 초당 30 프레임의 레이트로 생성되며, 각 프레임은 신체 관절 20개에 대한 3D coordinate로 구성되어 있다.

도 4는 본 발명의 실시예에 따른 관절 위치 및 각도 정보를 수집을 나타내는 개념도이다.

본 발명의 실시예에 따르면, 키넥트 센서로부터 획득한 20 골격 관절에 대한 3D coordinate를 이용하여 레퍼런스 데이터를 구축한다.

도 4에 도시된 바와 같이, 키넥트의 x, y, z축 데이터는 오리진 e 및 u, v, w의 3개의 기본 벡터들로 그 프레임이 정의된다.

이러한 과정 이후, 포즈 모델링 작업이 수행된다. 행동(action)은 시간에 따른 포즈(pose)의 시퀀스로서, 행동 패턴을 모델링하기에 앞서, 포즈에 대한 모델링이 선행된다.

그 후, 실생활에서 사용되는 경우 장애물의 존재, 조명 컨디션 등에 따라 발생되는 노이즈의 영향을 줄이기 위하여, 스무딩(smoothing) 작업이 수행되며, 노이즈를 제거하기 위하여 3차 중간값 필터가 사용됨이 바람직하다. 도 5는 본 발명의 실시예에 따른 스무딩 작업 전후의 각도 변화 그래프를 나타낸 도면이다.

본 발명의 실시예에 따른 제어부(130)는 감지된 행동 패턴에 대한 분류 가능 여부를 확인하고, 행동 패턴에 대한 분류가 가능한 경우, 분류된 행동 패턴이 공격적인 행동인지 판단한다.

본 발명의 실시예에 따른 제어부(130)는 센서부(120)에서 감지한 행동 패턴이 DTW 알고리즘을 커널로 사용하는 서포트 벡터 머신으로 기학습한 라이브러리에 포함되는 공격적인 행동에 해당되는지 여부를 판단한다.

DTW(Dynamic Time Warping) 알고리즘은 두 특징 벡터 시퀀스 사이의 유사성을 측정하기 위한 알고리즘으로, 행동 감지에 있어서 행동의 스피드에 대하여 불변(invariant)한 특성을 가진다.

즉, 사람의 걷기 패턴의 유사성에 대한 판단은, 하나의 비디오에서 사람이 빠르게 걷는 경우, 천천히 걷는 경우 모두에 대하여 가능한 것이다.

즉, 본 발명의 실시예에 따르면, 공격적인 행동임을 검출함에 있어서, SVM을 전체적인 프레임워크로 사용하되, 기계학습의 분류기에 해당하는 커널 수식에 DTW 알고리즘을 적용하여, 행동 패턴에 대한 모션 인식의 정확성 및 효율성을 증대시키는 효과가 있다.

본 발명의 실시예에 따른 제어부(130)는 3D 골격데이터를 이용하여 객체와의 거리, 객체의 위치, 객체의 시간 불변 골격 특징 중 적어도 하나를 통해 공격적인 행동에 해당하는지 여부를 판단한다.

본 발명의 실시예에 따른 제어부(130)는 객체의 행동 패턴이 때리기, 발차기, 밀기 및 물건 던지기 중 적어도 하나에 해당되는 경우, 이를 공격적인 행동으로 판단한다.

제어부(130)는 라이브러리에 기저장된 행동 패턴(때리기, 발차기, 밀기 및 물건 던지기)과 감지된 행동 패턴을 비교하여, 감지된 행동 패턴이 기저장된 행동 패턴과 동일하거나 유사하면 이를 공격적인 행동으로 판단한다.

본 발명의 실시예에 따른 경고부(140)는 판단된 행동 패턴이 공격적인 행동이면 경고 메시지를 전달하며, 경고음, 점멸등 형식의 경고등, 텍스트 메시지 중 적어도 하나를 이용하여 경고 메시지를 전달함이 바람직하다.

이러한 경고 메시지를 수신한 요원은 치매 환자로부터 공격적인 행동이 발생하였음을 인식하여, 적절한 조치를 취하는 것이 가능하다.

본 발명의 실시예에 따른 제어부(130)는 라이브러리에 기저장되어 있지 않은 행동 패턴에 대하여, 라이브러리에 대한 갱신을 수행한다.

즉, 감지한 행동 패턴에 대하여 사용자 단말로 공격적인 행동인지 여부에 대하여 확인하도록 하는 명령 신호를 전송하고, 사용자 단말로부터의 확인 신호에 따라, 해당 행동 패턴을 공격적인 행동인 것으로 데이터베이스에 갱신시키는 것이 가능하다.

도 6은 본 발명의 실시예에 따른 유저 피드백에 관한 도면으로서, 링크에 의하여 연결된 서브그룹에 대한 유사 여부에 대한 확인 신호를 수신한다. 사용자 단말로부터 유사 확인 신호를 전송 받은 경우, 제어부(130)는 이에 대한 분류명을 입력 받는다. 이 때, 객체의 행동에 대한 스냅샷이 사용자 단말로 전송되어, 유사 여부에 대한 확인의 레퍼런스로 사용된다.

도 7은 본 발명의 실시예에 따른 정확도를 DTW, Pose의 정확도와 비교한 그래프를 나타내는 도면이다.

도 7에 도시한 바와 같이, 본 발명의 실시예에 따른 킨텐스와, DTW 및 Pose를 비교해 보면, 100 내지 6,000 개의 샘플수에서 알고리즘의 정확도를 확인할 수 있다.

DTW는 매칭 알고리즘으로서, 초기에는 가장 낮은 정확성을 보이다가 샘플 수가 2,500 개 이상이면, Pose의 정확성을 뛰어 넘게 된다.

그러나, DTW와 Pose의 정확성은 샘플 수가 4,000를 초과하면, 더 오르지 못하고, 최대 샘플 수에 도달했을 때에, DTW는 83.3 %, Pose는 78.1%에 각각 수렴한다.

이에 반하여, 킨텐스는 늘 DTW와 Pose에 앞서며, 94. 1%에 수렴하며, DTW와 Pose에 비해서 11% 내지 16% 향상된 정확도를 확보함을 확인할 수 있다.

또한, 도 8에 도시한 바와 같이, 본 발명의 실시예에 따른 킨텐스는 DTW 및 Pose와 비교하여 볼 때, 향상된 정확도를 확보하는 것을 확인할 수 있다.

도 9는 본 발명의 실시 예에 따른 3D 골격 데이터를 스트리밍하여 공격적인 행동을 감지하는 방법의 순서도이다.

도 9에 도시한 바와 같이, 객체의 3D 골격 데이터 프레임을 수신한다(S210).

다음으로, 수신된 3D 골격 데이터 프레임으로부터 객체의 행동 패턴을 감지한다(S220). 이 때, 센서부(120)의 키넥트 센서를 통해 수신된 3D 골격데이터 프레임을 토대로 하는 스트리밍 3D 골격의 관절 좌표로부터 행동 패턴을 감지한다.

이어, 감지된 행동 패턴에 대하여 데이터 베이스 검색을 통해 분류가 가능한지 여부를 확인한다(S230). 구체적으로 제어부(130)를 통하여 감지된 행동 패턴을 데이터 베이스 검색을 통해 분류할 수 있는지 확인한다.

확인된 행동 패턴이 분류할 수 없으면 사용자 단말로부터의 행동 패턴이 공격적인 행동인지 확인을 획득한다(S232). 데이터 베이스에 없는 공격적인 행동이 감지된 경우에도 이에 대한 갱신이 가능하도록, 사용자 단말로 스냅샷을 전송하여, 사용자가 육안으로 행동 패턴을 확인하고, 이에 대한 갱신 여부에 대한 판단 정보를 수신하게 된다. 획득한 행동 패턴이 공격적인 행동이면 행동 패턴을 데이터 베이스에 갱신한다(S234). 구체적으로 사용자 입력을 통하여 행동 패턴을 데이터 베이스에 등록을 하고 이를 저장하게 된다.

확인된 행동 패턴이 분류 가능한 경우, 분류된 행동 패턴이 공격적인 행동인지 판단한다(S240). 구체적으로 행동 패턴이 CMAI 항목 중 때리기, 발차기, 밀기 및 물건 던지기 중 적어도 하나에 해당되는지 여부를 판단하여, 이를 공격적인 행동으로 판단한다.

판단된 행동 패턴이 공격적인 행동이면 경고 메시지를 전달한다(S250). 구체적으로 경고부(140)를 통하여 경고 메시지를 전달하며, 본 발명의 실시예에 따른 경고부(140)는 경고음, 점멸등 형식의 경고등, 텍스트 메시지 중 적어도 하나를 통해 경고 메시지를 전달한다.

계속하여, 사용자로부터 데이터 베이스 업데이트 명령을 획득하면 데이터 베이스를 업데이트하고 3D 골격 데이터 프레임을 수신하는 단계로 재진입한다(S260).

이제까지 본 발명의실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

110 : 통신부 120 : 센서부
130 : 제어부 140 : 경고부

Claims (8)

1. 키넥트 센서가 획득한 객체의 3D 골격데이터 프레임에 포함되는 3D 골격의 관절 좌표의 변화를 계산하여, 변화값이 기설정된 임계값을 초과하는 경우 상기 객체의 행동 패턴을 감지하는 센서부;
   감지된 상기 행동 패턴에 대한 분류 가능 여부를 확인하고, DTW 알고리즘을 커널로 사용하는 서포트 벡터 머신으로 기학습한 라이브러리에 포함되는 공격적인 행동에 상기 행동 패턴이 해당되는지 여부를 판단하는 제어부; 및
   판단된 상기 행동 패턴이 공격적인 행동이면 경고 메시지를 전달하는 경고부를 포함하되,
   상기 제어부는 상기 관절 좌표의 변화에 대하여 중간값 필터를 사용하여 스무딩(smoothing)작업을 수행하여 행동 패턴을 모델링하고, 상기 객체의 시간 불변 골격 특징을 이용하여 상기 객체의 행동 패턴이 공격적인 행동인지 여부를 판단하며, 상기 행동 패턴에 대한 분류가 불가능한 경우 사용자 단말로부터 행동 패턴에 대한 확인 신호를 획득하여 데이터베이스에 대한 갱신을 수행하는 것
   인 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치.
   
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 제어부는
   상기 객체의 행동 패턴이 기학습된 라이브러리에 저장된 때리기, 발차기, 밀기 및 물건 던지기 중 적어도 어느 하나에 해당되는 경우 이를 공격적인 행동으로 판단하는 것
   인 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치.
   
5. 제1항에 있어서, 상기 경고부는
   경고음, 점멸등 형식의 경고등 및 텍스트 메시지 중 적어도 하나를 통해 경고 메시지를 표시하는 것
   인 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 장치.
   
6. (a) 3D 골격 데이터 프레임에 포함되는 3D 골격의 관절 좌표의 변화를 계산하여 객체의 행동 패턴을 감지하는 단계;
   (b) 데이터 베이스 검색을 통하여 상기 행동 패턴에 대한 분류 가능 여부를 확인하는 단계;
   (c) 상기 행동 패턴이 분류 가능한 경우, DTW 알고리즘을 커널로 사용하는 서포트 벡터 머신으로 기학습한 라이브러리에 포함되는 공격적인 행동에 상기 행동 패턴이 해당되는지 여부를 확인하고, 객체의 시간 불변 골격 특징을 이용하여 상기 행동 패턴이 공격적인 행동인지 판단하는 단계;
   (d) 상기 행동 패턴이 공격적인 행동에 해당되는 경우, 경고 메시지를 전달하는 단계; 및
   (e) 상기 행동 패턴에 대한 분류가 불가능한 경우, 사용자 단말로부터 상기 행동 패턴이 공격적인 행동인지 여부에 대한 확인 신호를 획득하고, 상기 확인 신호에 따라, 상기 행동 패턴을 공격적인 행동으로 데이터베이스에 갱신시키는 단계
   를 포함하는 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 방법.
   
7. 제6항에 있어서,
   상기 (c) 단계는 상기 행동 패턴이 상기 라이브러리에 저장된 때리기, 발차기, 밀기 및 물건 던지기 중 적어도 어느 하나에 매칭되는 경우, 이를 공격적인 행동으로 판단하는 것
   인 3D 골격데이터를 스트리밍하여 공격적인 행동을 감지하는 방법.
   
8. 삭제

Images