KR20210053534A - 딥러닝기반 행동인식장치 및 그 장치의 구동방법 - Google Patents

Abstract

본 발명은 딥러닝기반 행동인식장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 딥러닝기반의 행동인식장치는, 임의 영역의 특성에 관련되는 딥러닝 모델을 저장하는 저장부, 및 임의 영역의 촬영영상에서 사람 객체를 추출하고 추출한 사람 객체의 스켈레톤을 추적하여 추적한 추적 결과를 (기)저장한 딥러닝 모델에 적용하여 사람 객체의 행동을 인식 및 검출하는 제어부를 포함할 수 있다.

Description

딥러닝기반 행동인식장치 및 그 장치의 구동방법{Apparatus for Performing Recognition of Activity Based on Deep Learning and Driving Method Thereof}

본 발명은 딥러닝기반 행동인식장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 촬영영상에서 사람 객체의 스켈레톤(skeleton)을 추적하여 사람 객체의 행위 인식 및 검출을 수행하며, 추적 결과를 지정 딥러닝 모델에 적용하여 서비스 장소 또는 목적에 유연하게 대응하려는 딥러닝기반 행동인식장치 및 그 장치의 구동방법에 관한 것이다.

최근 보행자 검출이나 표정 인식을 포함한 인간행동 검출 및 인식과 관련하여 비디오 검색, 감시 시스템이나 로봇과 사람의 상호작용뿐 아니라 자동차, 사물인터넷(IoT) 장치 등의 결합과 더불어 다양한 분야로 그 응용 분야가 확대되고 있어 관련 분야에 대한 관심이 높아지고 있다. 또한, CCTV 등의 증가로 인해 2D 영상에서 사람의 이상 행동 및 특별한 행동 패턴을 검출하기 위한 연구가 많이 진행되고 있으며, 이를 해결하기 위한 방법으로 딥러닝 기술이 적용되고 있는데, 다양한 기술 적용에 따른 딥러닝 기술의 발전으로 물체 인식 및 검출, 얼굴 인식, 제스처 인식 등의 다양한 분야에서 기존 알고리즘 성능의 발전이 진행되고 있다.

종래 딥러닝 기반 행동 인식과 관련하여 전자통신연구원(ETRI)의 딥뷰(Deep View)가 있다. 해당 기술은 CCTV 영상에서 사람의 행동을 정밀 인식하는 기술이다. 물건을 내려놓거나 던지는 행동을 정밀 인식하고, 쓰레기 투기 단속 분야에서는 딥러닝 기반 인식 기술로 사람의 관절 위치와 들고 있는 물체를 탐지해 실제 투기 행위를 탐지한다. 추론 기능도 갖춰 다양한 쓰레기 투기 행동 패턴을 검출한다.

그런데, 종래 컴퓨터 비전 분야에서 인간 행동인식의 제약점으로서, 2차원 카메라로 수집한 데이터를 활용하여 이루어졌지만 인간의 행동은 3차원 공간에서 행해지기 때문에 겹쳐지는 부분으로 인해 낮은 인식률의 문제, 방대한 학습 데이터 필요, 모호한 행동에 대한 정의의 어려움, 정적 데이터와 동적 데이터의 혼재, 비강체(non-rigid) 움직임, 시각(viewpoint)의 변화와 같은 외형의 변화 등이 제시되고 있다.

최근에는 CCTV 영상 감시의 취약점을 보완하는 방안으로 지능형 영상 감시 시스템의 필요성이 증대됨에 따라 딥러닝을 통한 행동 인식 알고리즘은 지능형 감시 시스템의 행동 인식 성능을 높임으로써 사회 안전망 구축에 기여해야 하는 필요성이 꾸준히 제기되고 있다. 예를 들어, 영상 기반의 보안, 영유아나 노인과 같은 취약자에 대한 모니터링, 그리고 장기적으로는 사람의 행동을 이해하고 적절한 반응을 취해야 하는 지능 로봇 등을 위한 핵심기술로서 필요성이 제기되고 있다.

한국공개특허공보 제10-2018-0096038호(2018.08.29) 한국등록특허공보 제10-1969230호(2019.04.09)

본 발명의 실시예는, 가령 촬영영상에서 사람 객체의 스켈레톤을 추적하여 사람 객체의 행위 인식 및 검출을 수행하며, 추적 결과를 지정 딥러닝 모델에 적용하여 서비스 장소 또는 목적에 유연하게 대응하려는 딥러닝기반 행동인식장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 딥러닝기반의 행동인식장치는, 임의 영역의 특성에 관련되는 딥러닝 모델을 저장하는 저장부, 및 상기 임의 영역의 촬영영상에서 사람 객체를 추출하고 상기 추출한 사람 객체의 스켈레톤을 추적하여 상기 추적한 추적 결과를 상기 저장한 딥러닝 모델에 적용하여 상기 사람 객체의 행동을 인식 및 검출하는 제어부를 포함한다.

상기 제어부는, 상기 촬영영상이 제1 영역의 제1 특성에 관계되면 제1 딥러닝 모델을 적용하고, 제2 영역의 제2 특성에 관계되면 제2 딥러닝 모델을 적용하여 상기 사람 객체의 행동을 인식 및 검출할 수 있다.

상기 제어부는, 상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역을 촬영하는 촬영장치의 식별정보를 이용할 수 있다.

상기 제어부는, 상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역에 설치되는 촬영장치의 초기 촬영영상을 이용할 수 있다.

상기 제어부는, 제1 사람 객체와 제2 사람 객체의 행동 패턴을 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시킬 수 있다.

상기 제어부는, 상기 사람 객체와 주변의 사물 객체과의 상태를 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시킬 수 있다.

상기 제어부는, 상기 사람 객체의 얼굴 상태를 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시킬 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝기반의 행동인식장치의 구동방법은, 임의 영역의 특성에 관련되는 딥러닝 모델을 저장부에 저장하는 단계, 및 제어부가, 상기 임의 영역의 촬영영상에서 사람 객체를 추출하고 상기 추출한 사람 객체의 스켈레톤을 추적하여 상기 추적한 추적 결과를 상기 저장한 딥러닝 모델에 적용하여 상기 사람 객체의 행동을 인식 및 검출하는 단계를 포함한다.

상기 사람 객체의 행동을 인식 및 검출하는 단계는, 상기 촬영영상이 제1 영역의 제1 특성에 관계되면 제1 딥러닝 모델을 적용하고, 제2 영역의 제2 특성에 관계되면 제2 딥러닝 모델을 적용하여 상기 사람 객체의 행동을 인식 및 검출할 수 있다.

상기 사람 객체의 행동을 인식 및 검출하는 단계는, 상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역을 촬영하는 촬영장치의 식별정보를 이용할 수 있다.

상기 사람 객체의 행동을 인식 및 검출하는 단계는, 상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역에 설치되는 촬영장치의 초기 촬영영상을 이용할 수 있다.

상기 사람 객체의 행동을 인식 및 검출하는 단계는, 제1 사람 객체와 제2 사람 객체의 행동 패턴을 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시킬 수 있다.

상기 사람 객체의 행동을 인식 및 검출하는 단계는, 상기 사람 객체와 주변의 사물 객체과의 상태를 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시킬 수 있다.

상기 사람 객체의 행동을 인식 및 검출하는 단계는, 상기 사람 객체의 얼굴 상태를 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시킬 수 있다.

본 발명의 실시예에 따르면 CCTV 영상 감시의 취약점을 보완하여 지능형 감시 시스템의 행동 인식 성능을 높임으로써 사회 안전망 구축에 기여할 수 있다.

또한, 본 발명의 실시예에 따르면 영상 기반의 보안, 영유아나 노인과 같은 취약자에 대한 모니터링, 그리고 장기적으로는 사람의 행동을 이해하고 적절한 반응을 취해야 하는 지능 로봇 등을 위한 핵심 기술에 다양하게 적용할 수 있다.

도 1은 본 발명의 실시예에 따른 딥러닝기반의 행동인식시스템을 나타내는 도면,
도 2는 도 1의 시스템이 적용될 수 있는 다양한 적용 예를 나타내는 도면,
도 3은 촬영영상의 스켈레톤 검출을 설명하기 위한 도면,
도 4는 사내 공간에 적용된 서비스 시나리오의 예시도,
도 5는 헬스케어센터에 적용된 서비스 시나리오의 예시도,
도 6은 공공감시분야에 적용된 서비스 시나리오의 예시도,
도 7은 학교범죄예방에 적용된 서비스 시나리오의 예시도,
도 8은 건물 옥상에 적용된 서비스 시나리오의 예시도,
도 9는 스마트 팩토리에 적용된 서비스 시나리오의 예시도,
도 10은 운전자 행동분석에 적용된 서비스 시나리오의 예시도,
도 11은 도 1의 딥러닝기반 행동인식장치의 세부구조를 예시한 블록다이어그램,
도 12는 도 1의 딥러닝기반 행동인식장치의 구동과정을 나타내는 흐름도, 그리고
도 13 내지 도 19는 얼굴 인식 과정을 설명하기 위한 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 딥러닝기반의 행동인식시스템을 나타내는 도면이고, 도 2는 도 1의 시스템이 적용될 수 있는 다양한 적용예를 나타내는 도면이며, 도 3은 촬영영상의 스켈레톤 검출을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 딥러닝기반의 행동인식시스템(90)은 촬영장치(100), 통신망(110), 딥러닝기반 행동인식장치(120) 및 관제장치(130)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 촬영장치(100)와 딥러닝기반 행동인식장치(120)가 다이렉트(예: P2P) 통신을 수행하거나, 딥러닝기반 행동인식장치(120)의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

촬영장치(100)는 CCTV(Closed Circuit Television) 등의 카메라나 IP(Internet Protocol) 카메라 등을 포함한다. 더 나아가, 촬영장치(100)는 차량 등에 설치되어 운전자의 얼굴을 상태를 감시하는 카메라 등을 더 포함할 수 있다. 또한, 촬영장치(100)는 고정 카메라나 PTZ(Pan Tilt Zoom) 카메라를 포함한다. 촬영장치(100)는 도 2의 (a) 내지 (h)에 도시된 바와 같이 활용 가능한 영역이 다양하며, 예를 들어 사회 안전(Social Safety), 범죄 예방(Crime Prevention), 리테일(Retail), 스마트 팩토리(Smart Factory), 공공 감시(Public Surveillance), 사회 문제(suicide issue), 공공 감시(Public Surveilance), 운전자 감시(Driver statues)를 위하여 다양한 장소에 설치되어 촬영영상을 제공한다.

통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망(110)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 촬영장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(100) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 딥러닝기반 행동인식장치(120) 등으로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

딥러닝기반 행동인식장치(120)는 통신망(110)을 경유하여 제공되는 촬영영상을 분석하여 분석 과정에서 촬영영상 내의 사람 객체에 대한 행동을 인식하고 검출한다. 딥러닝 기반의 행동인식은 CNN(Covolution Neural Network) 기반의 행동인식, LSTM(Long Short Term Memory) 기반의 행동인식, RNN(Recurrent Neural Network) 기반의 행동인식, 3D-컨볼루션을 이용한 방법, 깊이 맵(depth map)과 3D 스켈레톤을 이용하는 방법 등 다양한 방식이 존재하나, 본 발명의 실시예에서는 도 3에서 볼 수 있는 바와 같이, 사람 객체의 스켈레톤을 추적하여 움직임 또는 행동을 추적하며, 복수의 자세별 얼굴 이미지를 활용하는 얼굴 인식 방법을 더 이용할 수 있다. 스켈레톤은 얼굴 정면 이미지의 경우 양쪽 눈, 코, 입 꼬리 양측에 키 포인트(예: 좌표, 움직임 벡터 추적 등)를 찍어 추적하며, 측면 이미지의 경우에는 3개의 포인트를 이용한다. 이외에도, 양측 어깨, 양팔의 관절, 손목, 허리 양측과, 양쪽 무릎 및 양쪽 발목에 키 포인트를 찍어 시각적으로 촬영영상의 화면상에 표시되도록 하며, 알고리즘적으로는 해당 위치를 중심으로 움직임을 추적하여 추적 결과(예: 추적값)를 근거로 행동 인식 및 검출을 수행하게 된다. 이와 같이, 스켈레톤 추적을 통해 사람 객체의 행위를 추적하는 경우, 가령 3차원 이미지가 아니라 하더라도 3차원 공간상에서의 사람 객체의 행위나 행위 패턴의 정확한 검출이 수월할 수 있다. 예를 들어, 신체의 다양한 부위의 관절의 움직임을 관찰한다는 것은 신체의 일부를 관찰하는 것에 비하여 활용 가능한 데이터가 증가하게 되므로 그만큼 정확도는 증가하게 된다고 볼 수 있다. 객관성을 담보할 수 있을 것이다.

딥러닝기반 행동인식장치(120)는 촬영장치(100)로부터 제공되는 촬영영상을 분석하여 사람 객체의 행동과 관련한 빅데이터를 형성하고, 이를 활용하여 행동을 인식하며 인식된 행동이 어떠한 행동에 해당하는지 검출하게 된다. 예를 들어, 딥러닝기반 행동인식장치(120)는 수신된 촬영영상을 스켈레톤 기반으로 분석하여 분석 결과를 딥러닝 모델에 적용하여 행동인식, 행동분류 및 출력 즉 행위예측을 수행할 수 있다. 가령 어떠한 유형(예: 머리가 짧은 타입 등)의 사람들은 특정 행위를 많이 하는 것으로 학습을 통해 검출되었다면 이를 근거로 특정 사람의 행위를 예측할 수도 있는 것이다. 따라서, 특정 장소에서 사람들의 행위 패턴을 정확히 탐지하기 위하여 다양한 사람들의 행위에 대한 데이터를 활용할 수 있다.

구체적인 설명에 앞서 행동 인식의 개념과 범위를 간략히 살펴보면, 인간 행동(human activity)은 인간 행위 의도를 인식하고 그에 맞는 서비스를 제공하기 위한 것이다. 컴퓨터나 로봇이 인간과 유사한 방법으로 의사를 표현할 수 있도록 하기 위한 HCI(Human-computer interface), 로봇공학적인 목적과 구분된다. 제스처(gestuer)는 기본 액션인 독립된 신체 부위의 움직임을 의미한다. 예를 들어 수화 인식이 이에 해당된다. 액션은 서로 다른 신체 부위가 연속적으로 움직이는 것을 의미하며 뛰기, 걷기, 구부리기가 이에 해당된다. 행동은 인간의 액션이 상대적으로 긴 시간동안 연속적으로 일어나고 동시에 여러가지 행동(혹은 행위)이 결합된 것이다. 가령 ATM으로부터 현금 인출하기, 전화받기, 차 마시기 등이 해당된다. 상호작용은 인간과 대상체(예: 인간, 객체) 사이에 주고받는 행위로서 밀기나 때리기가 이에 해당될 수 있다. 그룹 행위는 행위를 일으키는 주체가 개인이 아니라 단체인 경우를 나타내고, 이벤트는 긴 시간동안 여러 행동들이 결합된 보다 의미있는 행동을 의미한다. 가령 축구게임이나 생일파티 등이다.

상기의 개념에 대한 정의 하에 본 발명의 실시예에 따른 딥러닝기반 행동인식장치(120)는 서비스 목적에 따라 다양한 형태로 사용될 수 있다. 예를 들어, 지방자치단체에서와 같이 통합 관리 목적에서 딥러닝기반 행동인식장치(120)를 운용하는 경우에는 촬영장치(100)가 설치되는 장소에 따라 서로 다른 딥러닝 모델에 적용될 수 있도록 할 수 있다. 이는 학습을 위한 데이터가 방대해지는 것을 줄이고, 아울러 행동인식의 정확도를 높이기 위해서이다. 다시 말해, 딥러닝기반 행동인식장치(120)는 복수의 촬영장치에서 수신되는 촬영영상에서 사람 객체를 검출하고 검출한 사람 객체를 스켈레톤 기반으로 추적하며 이 추적 결과를 통해 행동을 인식하고 검출하지만, 서로 다른 장소에서 추적되는 사람 객체의 행위는 서로 다르므로, 관계없는 장소에서 발생할 수 있는 행동을 학습할 필요는 없을 것이다. 따라서, 학습 즉 딥러닝은 서비스 목적이 서로 동일 또는 유사한 곳에서의 데이터를 활용하는 것이 좋다.

예를 들어, 도 2에서는 사회 안전, 범죄 예방이나 공공 감시 등에서 인식되고 검출되는 사람의 행위, 또 스마트 팩토리에서 검출되는 사람의 행위 및 운전시 운전자에게 검출되는 사람의 행위는 다르다. 따라서, 딥러닝기반 행동인식장치(120)는 촬영장치(100)로부터 수신되는 촬영영상이 어떠한 사람의 행위를 인식하고 검출하여 이벤트를 발생시켜야 하는지 판단하는 과정이 먼저 선행될 수 있다. 예를 들어, 딥러닝기반 행동인식장치(120)는 촬영장치(100)의 초기 설치시에 어떠한 장소에 설치되는지에 대한 장치식별정보를 등록할 수 있다. 예를 들어, 어린이집에 설치되는 경우, 해당 촬영장치(100)가 어린이집에 설치되는 이유로 촬영영상으로부터 어린이와 교사 사이에 발생할 수 있는 행위를 인식하고 검출하며, 이를 통해 이벤트를 발생시킬 수 있다.

예를 들어, 어린이집이나 이와 유사한 곳에서 제공되는 촬영영상은 동일 또는 유사한 딥러닝 모델이 적용될 수 있다. 반면, 스마트 팩토리(factory)에서의 작업자의 행동을, 촬영영상을 근거로 인식하고 검출하여 이벤트를 발생시키기 위한 적용 가능한 딥러닝 모델은 어린이집에서의 딥러닝 모델과 다를 수밖에 없다. 따라서, 본 발명의 실시예에 따른 딥러닝기반 행동인식장치(120)는 이러한 서로 다른 유형의 행동인식 및 검출을 위하여 촬영장치(100)의 식별정보를 이용하거나 또는 수신된 촬영영상의 초기 수 프레임을 분석하여 어떠한 장소에서 수신되는 촬영영상인지를 판단 후 적절한 딥러닝 모델을 적용하는 것이 얼마든지 가능할 수 있다. 물론, 통합 관리를 수행하지 않고 단독적인 딥러닝 모델을 적용하는 경우도 얼마든지 가능할 수 있으며, 이의 경우에는 해당 장소에 적합한 딥러닝 모델을 세팅할 수 있을 것이다.

본 발명의 실시예에 따른 딥러닝기반 행동인식장치(120)는 촬영영상이 수신되면 수신된 촬영영상에서 사람 객체를 추출하고 추출한 사람 객체의 스켈레톤의 움직임을 추적하여 사람 객체가 어떠한 행위를 수행하는지 인식하며 인식 결과들을 근거로 사람 객체의 행위를 검출한다. 더 정확히 말해 추출한 사람 객체서 관절을 검출하고, 검출한 관절을 서로 연결하여 스켈레톤 검출을 수행할 수 있다. 또한, 사람 객체의 추출을 위하여 얼굴 인식이 사용될 수 있으며, 얼굴의 경우에 단순히 머리를 검출하는 것이 아니라, 눈, 코, 입, 및 귀 등의 움직임 등도 사람 객체의 행위 인식을 위해 사용될 수 있으며, 이는 결국 행위 검출시에도 활용될 수 있을 것이다. 예를 들어, 사람 객체를 촬영영상에서 검출한 후 주변 사물이 제대로 인식되지 않는 경우에는 이때에도 딥러닝을 통해 인식되지 않는 사물을 명확히 구분해 낼 수 있을 것이다. 사물 객체를 명확히 구분해 내는 것은 사람 객체의 행위와 밀접한 관련이 있기 때문이다.

관제장치(130)는 가령 지방자치단체의 관제센터에 구비되는 관제요원의 컴퓨터 등을 포함할 수 있다. 예를 들어, IP 카메라를 댁내에 설치한 경우에는 관제장치(130)는 서비스를 신청한 개인의 스마트폰 등이 될 수도 있다. 딥러닝 기반의 행동인식 서비스를 이용한 개인 또는 단체 등의 다양한 장치를 포함할 수 있다. 예를 들어, 어린이집의 학부모들은 자신의 자녀를 어린이집에 보낸 후 딥러닝기반 행동인식장치(120)로부터 전송되는 이벤트를 확인할 수 있을 것이다. 예를 들어, 촬영영상을 간헐적으로 관찰하면서도 특정 이벤트가 발생할 때, 또는 자신의 자녀에게 이벤트가 발생할 때, 통지를 받을 수 있다. 대표적인 아동 학대 유형은 주먹으로 위협을 가함, 머리를 강하게 타격하는 등의 행위가 있을 수 있는데, 이러한 행위가 촬영영상에서 딥러닝 분석을 통해 확인되면 이를 통지해 주는 것이다. 사실 이러한 아동 학대는 관계 기관으로 보고되는 것이 바람직할 수 있다.

도 4는 사내 공간에 적용된 서비스 시나리오의 예시도이다.

설명의 편의상 도 4를 도 1과 함께 참조하면, 사내 공간에서는 사원들의 행동을 인식하기 위하여도 사용될 수 있다. 도 1의 딥러닝기반 행동인식장치(120)는 행동인식을 통해 사내에서 특정 인물의 성향을 파악하여 이를 회사 생활에 적극 활용할 수도 있을 것이다. 주변 사람들과의 관계를 통해 특정 인물의 성향을 판단해 볼 수 있다.

이의 경우에는 이벤트에 따른 알람을 제공하기보다는 행동인식에 따른 특정 인물의 성향를 고려한 업무배분 등과 관련한 데이터를 제공해 줄 수 있을 것이다.

도 5는 헬스케어센터에 적용된 서비스 시나리오의 예시도이다.

설명의 편의상 도 5를 도 1과 함께 참조하면, 노인 요양 시설 내 학대 사고가 끊이지 않으나 이에 대한 예방책이 미흡해 대책 마련이 요구되고 있다. 도 1의 딥러닝기반 행동인식장치(120)는 요양 시설의 경우 노인학대사고, 요양 종사자의 학대 방임행위 발생시 빠른 대응이 이루어지도록 할 수 있다. 요양 시설 내 대표적인 유형은 노인 학대(신체적 손상), 장시간 방임, 거주지 통제, 물건 던짐이나 보호용구 이탈, 괴롭힘 등이 대표적이다.

따라서, 도 1의 딥러닝기반 행동인식장치(120)는 객체 분류(지팡이, 휠체어)와 연계하여 보호 용구 이탈시 알람을 주거나 장시간 2인이 오래 체류하면서 폭력이벤트가 있을 때 알람을 제공할 수 있다.

도 6은 공공감시분야에 적용된 서비스 시나리오의 예시도이다.

설명의 편의상 도 6을 도 1과 함께 참조하면, 철도역 승강장 또는 지하철역 등 사회 공공시설(공공영역)에서 발생하는 폭력 행위나 안전사고는 오랫동안 사회적 이슈로 제기되어 왔다. 이러한 점에서 도 1의 딥러닝기반 행동인식장치(120)는 역사 내 취객 안전관리를 위한 행동 분석 알고리즘을 적용하여 안전사고 경감에 기여할 수 있을 것이다. 대표적인 사고 유형은 주취로 인한 주저앉음, 구토, 넘어짐, 쓰러짐, 선로에 추락, 열차 치임, 에스컬레이터에서 넘어짐 등이며 취객의 특징 자세는 구토, 주저앉음 등 직립 자세를 벗어난다는 것이다. 소매치기 및 싸움도 지하철 등의 공공영역에서 발생하는 대표적 사고 유형에 포함된다.

도 6에서 볼 때, 도 1의 딥러닝기반 행동인식장치(120)는 선로(경계선 통과)에 장시간 배회 움직임을 인식하고, 비틀거리거나 구토, 주저앉음 등의 자세 인식 후 주의 알람 이벤트를 표출한다. 물론 딥러닝기반 행동인식장치(120)는 촬영영상에서 사람 객체의 스켈레톤을 검출하고 추적하여 사람의 배회 움직임을 인식한다고 볼 수 있으며, 이를 통해 인식 및 검출된 행위를 근거로 이벤트를 표출한다.

도 7은 학교범죄예방에 적용된 서비스 시나리오의 예시도이며, 도 8은 건물 옥상에 적용된 서비스 시나리오의 예시도이다.

설명의 편의상 도 7을 도 1과 함께 참조하면, 사회적 문제로 학교 폭력이 떠오른지 오래지만 여전히 '사후' 중심으로 운용되고 있다. 따라서, 도 1의 딥러닝기반 행동인식장치(120)는 학교 내 CCTV를 활용하여 이벤트 발생시 파악하고 예방할 수 있도록 스쿨존 내 폭력 이벤트, 폭력 행동을 인식한다. 대표적인 학교 폭력 유형으로는 옷, 소지품 빼앗음, 신체 폭력(예: 주먹질, 발길질), 위협 및 협박, 장시간 특정 포즈 지속 등이 포함될 수 있다.

또한, 도 7 및 도 8에서 볼 수 있는 바와 같이, 옥상이나 인적인 드문 곳에서 2인 이상의 사람이 있을 때 주먹으로 가격, 주먹질, 발길질 행동이 있을 때 이를 가령 스켈레톤 기반의 행동인식을 통해 실시간 알림을 제공할 수 있을 것이다.

도 9는 스마트 팩토리에 적용된 서비스 시나리오의 예시도이다.

설명의 편의상 도 9를 도 1과 함께 참조하면, 도 1의 딥러닝기반 행동인식장치(120)는 조립라인 내 작업자의 활동 분석, 반복적으로 행해지는 활동이 안전한 방식으로 시행되는지에 대한 행동 인식, 산업재해 예방을 위한 산업 작업자의 행동인식 분석, 관심 영역 내에서 작업자의 행동 인식, 반복적으로 행해지는 활동에서 이탈시 알람, 위험 행동시 알람을 제공할 수 있다.

도 10은 운전자 행동분석에 적용된 서비스 시나리오의 예시도이다.

설명의 편의상 도 10을 도 1과 함께 참조하면, 도 1의 딥러닝기반 행동인식장치(120)는 운전자 행동분석을 수행할 수 있다. 예를 들어, 얼굴 인식을, 더 정확하게는 머리 부위를 스켈레톤 기반으로 딥러닝을 수행하여 차량 운전자의 상태 파악(예: 졸음 등 고개 각도 포즈 확인), 경찰관 수신호 확인 등을 수행할 수 있다.

그 이외에도 어린이집이에 적용된 시나리오도 얼마든지 가능할 수 있다.

일부 어린이집에서 일어나는 도 넘는 체벌 등 부정적인 이슈가 계속 이어지면서 어린이집 내 설치되어 있는 CCTV에 '어린이집 아동학대 의심 상황 검출' 관련 행동 인식 영상 분석을 접속해 서비스를 제공할 수 있다. 다시 말해 도 1의 딥러닝기반 행동인식장치(120)는 교사와 아이들의 행동 패턴 분석 후 의심스러운 상황을 탐지하는 행동 패턴 분석 알고리즘을 실행시키는 것이다. 아동에 대한 대표적인 학대 유형은 주먹으로 위협을 가함, 주먹으로 얼굴 가격, 팔 세게 가격, 코 비틈, 머리를 강하게 가격, 머리 가격, 목조르고 학대 등을 포함할 수 있다.

가령 어른과 아이가 그룹을 이루고 그 그룹 객체가 다른 객체와 동떨어져 장시간 있을 때, 폭력 의심되는 행위(예: 주먹으로 아동의 머리나 팔을 장시간 가격) 발생시 알람을 제공할 수 있다.

또한, 자살방지서비스에 적용된 서비스 시나리오도 가능할 수 있다.

2014년 기준 국내 자살 사망자만 1만 3836명을 기록하고 있으며, OECD 국가 중 자살률 1위로 사회안전망 강화 등 대책 마련이 시급한 상태이다. 따라서, 국내에서 서울 교통공사에서 교량 위 지능형 CCTV 설치, 한강다리 투신 감시 구조 시스템을 설치하고 있으나 투신 유형 분석 등 정확도를 강화할 필요가 있다.

본 발명의 실시예에 따른 도 1의 딥러닝기반 행동인식장치(120)는 난간 주위 일정 시간 이상 배회하거나 난간을 장시간 잡고 있는 경우 '관심 인물'로 인식할 수 있도록 알람을 제공한다. 또한, 위험 지대나 출입 금지 구역을 설정한 후(관심영역 설정) 배회 발생시 즉각 알람을 제공할 수 있다. 구체적으로, 안전지대를 넘어서는 경우 즉각 알림을 제공하거나, 출입 금지 구역 영역 설정 후 침입시 즉각 알람, 또 일정시간 동일장소 체류, 배회시 경고 알람을 제공할 수 있다.

도 11은 도 1의 딥러닝기반 행동인식장치의 세부구조를 예시한 블록다이어그램이다.

도 11에 도시된 바와 같이, 도 1의 딥러닝기반 행동인식장치(120)는 통신 인터페이스부(1100), 제어부(1110), 딥러닝기반 행동인식부(1120) 및 저장부(1130)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(1130)와 같은 일부 구성요소가 생략되어 구성되거나 딥러닝기반 행동인식부(1120)와 같은 일부 구성요소가 제어부(1110)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(1100)는 도 1의 통신망(110)을 경유하여 촬영장치(100)에서 제공하는 촬영영상을 수신하여 제어부(1110)로 전달한다. 물론 이의 과정에서 통신 인터페이스부(1100)는 복조, 디코딩, 디먹싱, 스케일링 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략한다. 다만, 실질적으로 이러한 동작은 통신 인터페이스부(1100), 제어부(1110) 및 딥러닝기반 행동인식부(1120) 중 적어도 하나에서 이루어질 수 있다.

제어부(1110)는 딥러닝기반 행동인식장치(120)를 구성하는 도 11의 통신 인터페이스부(1100), 딥러닝기반 행동인식부(1120) 및 저장부(1130)의 전반적인 제어 동작을 담당한다. 예를 들어, 제어부(1110)는 통신 인터페이스부(1100)에서 가령 수신된 촬영영상의 디코딩 동작이 완료되면 복원된 단위 프레임 영상을 딥러닝기반 행동인식부(1120)에 제공하여 딥러닝 기반의 영상 분석이 이루어지도록 제어할 수 있다. 제어부(1110)는 딥러닝기반 행동인식부(1120)의 프로그램을 실행하도록 제어할 수 있다. 또한, 제어부(1110)는 딥러닝기반 행동인식부(1120)로부터 이벤트 발생 통지가 있을 때, 이를 근거로 도 1의 관제장치(130)로 알림을 제공할 수 있다.

또한, 제어부(1110)는 제어 과정에서 처리되는 다양한 정보 및 데이터를 저장부(1130)에 임시 저장한 후 다시 불러내어 딥러닝기반 행동인식부(1120)에 제공할 수 있다. 정보는 간단한 제어명령이라면 데이터는 실질적인 화소 데이터를 의미할 수 있지만, 그 용어의 개념에 특별히 한정하지는 않을 것이다.

제어부(1110)는 소프트웨어, 하드웨어 및 그 조합에 의해 구성될 수 있으며, 본 발명의 다른 실시예로서 CPU 및 메모리를 포함하여 구성될 수도 있다. CPU와 메모리는 원칩화될 수 있다. 물론 그 주변회로를 더 포함할 수도 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함할 수 있으며, 메모리는 램(RAM)을 포함할 수 있다. 여기서, 제어회로는 실질적인 제어동작을, 그리고 연산부는 2진비트정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴퍼일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 등의 동작을 수행할 수 있으며, 레지시트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 이러한 구성을 갖는 경우, CPU는 딥러닝기반 행동인식장치(120)의 초기 동작시 딥러닝기반 행동인식부(1120)에 저장되어 있는 프로그램을 복사하여 메모리에 로딩한 후 이를 실행시킴으로써 데이터 연산처리 속도를 빠르게 증가시킬 수 있을 것이다.

딥러닝기반 행동인식부(1120)는 입력되는 단위 프레임 영상을 분석하여, 다시 말해 영상에서 사람 객체를 검출하고 검출한 사람 객체를 스켈레톤 기반으로 움직임 추적을 수행하여 추적 결과를 딥러닝을 통해 사람 객체의 행동을 인식하고 검출하게 된다. 물론 최초의 사람 객체에 대한 행동 인식을 위해서는 기저장된 데이터가 활용될 수도 있다. 예를 들어, 어린이집의 경우 대표적인 유형의 행동 인식을 위한 데이터의 설정이 있을 수 있다. 딥러닝 모델을 통해 사람 객체의 추적 결과는 지속적으로 학습이 이루어지며 이를 통해 사람 객체의 행동을 검출하고, 또 예측할 수 있게 된다. 물론 사람 객체에 초점을 두고 있는 만큼, 사물 객체는 크게 비중을 두지 않을 수 있다. 따라서, 사람 객체와 관련한 행동 패턴이 설정되어 있는 딥러닝기반 행동인식부(1120)는 사람 객체와 그 주변의 사물 객체를 함께 분석하고 딥러닝함으로써 어떠한 행동이 이루어지는지를 인식할 수 있고, 딥러닝을 통해 향후 발생할 수 있는 행동을 예측하여 검출할 수도 있다.

예를 들어, 딥러닝기반 행동인식부(1120)는 어린이집 내의 모든 선생님들에 대하여 전형적인 아동 학대 유형과 관련한 데이터를 설정하고, 이를 근거로 알림을 제공할 수 있다. 다만, 이외에도 선생님들은 각자마다의 다양한 성격이나 체벌, 또는 폭행 행태를 보일 수 있으므로, 이러한 행동은 지속적인 학습을 통해 판단하고 예측할 수 있게 된다. 따라서, 딥러닝기반 행동인식부(1120)는 동일한 상황에서 A 교사와 B 교사에서 예측되는 행위는 서로 다름을 인식하고 이를 검출할 수 있다.

무엇보다 도 11의 딥러닝기반 행동인식부(1120)는 서로 다른 공간을 촬영해 수신되는 촬영영상에서 공간의 특성, 또는 영상의 특성을 근거로 서로 다른 딥러닝 모델을 적용할 수 있다. 다시 말해, 어린이집에서 수신된 촬영영상이라면 그에 맞게 설정되어 있는 학습 데이터를 적용할 것이고, 스마트 팩토리에서 제공된 촬영영상이라면 작업장에 맞게 설정되어 있는 학습 데이터 또는 딥러닝 모델을 적용할 수 있다. 이를 통해 데이터 연산처리 부담을 줄이고, 또 연산처리 속도도 빠르게 증가시킬 수 있을 것이다.

만약 도 1에서 볼 때, 각 임의 장소에 설치되는 촬영장치(100)에서 영상 분석이 이루어지는 경우라면, 딥러닝기반 행동인식장치(120)는 해당 장소의 촬영장치(100)로 임의 공간의 특성에 맞는 영상 분석, 다시 말해 사람 객체에 대한 스켈레톤 기반의 추적을 통해 행동을 인식하고 검출할 수 있도록 관련 프로그램, 가령 딥러닝 모델을 제공해 줄 수도 있을 것이다.

저장부(1130)는 제어부(1110)의 제어하에 처리되는 다양한 정보 및 데이터를 임시 저장하며, 제어부(1110)의 요청에 따라 저장된 데이터를 출력할 수 있다. 또한, 저장부(1130)는 촬영장치(100)에 의해 촬영되는 임의 공간의 특성을 반영하여 이종의 딥러닝 모델을 적용하도록 하기 위한 식별정보를 저장할 수도 있다. 대표적으로 촬영장치(100)의 장치식별정보가 될 수 있다. 예를 들어, 특정 촬영장치(100)에서 장치식별정보와 함께 촬영영상을 제공하면, 제어부(1110)는 수신된 장치식별정보를 근거로 어떠한 딥러닝 모델을 적용해야 할지를 판단하는 것이다. 물론, 초기 수 프레임의 영상을 분석하여 어린이들이 감지되면 어린이집에서 제공되는 촬영영상임을 판단하는 것도 물론 가능하므로, 본 발명의 실시예에서는 저장부(1110)에 촬영장치(100)의 식별정보를 저장하는 것에 특별히 한정하지는 않을 것이다.

도 12는 도 1의 딥러닝기반 행동인식장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 12를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 딥러닝기반 행동인식장치(120)는 임의 영역의 특성에 관련되는 딥러닝 모델을 저장부에 저장한다(S1200). 예를 들어, 딥러닝기반 행동인식장치(120)가 이종의 공간, 가령 지방자치단체의 경우 다양한 곳에 대한 관제가 이루어질 수 있는데, 이의 경우 더욱 유용할 수 있다. 다만, 딥러닝기반 행동인식장치(120)가 스탠드얼론 형태로 동작하는 경우에는 그에 부합한 딥러닝 모델이 설정될 수 있다. 예를 들어, 가정에서 IP 카메라를 통해 보모를 감시하되, 스켈레톤 기반으로 보모의 움직임을 감지하고 이를 통해 행위를 인식하고 검출하고자 한다면, 이러한 서비스에만 부합하도록 딥러닝 모델을 가령 서버에 설정하여 감시가 이루어지도록 할 수 있다. 이와 같이, 딥러닝기반 행동인식장치(120)는 지정 장소의 목적에 부합한 딥러닝 모델이 설정된다고 볼 수 있다.

또한, 딥러닝기반 행동인식장치(120)는 임의 영역의 촬영영상에서 사람 객체를 추출하고 추출한 사람 객체의 스켈레톤을 추적하여 추적한 추적 결과는 기저장한 딥러닝 모델에 적용하여 사람 객체의 행동을 인식 및 검출한다(S1210). 예를 들어, 룰(rule) 기반으로 어린이집 교사의 행동을 인식하고 검출하는 과정은 전형적인 유형에만 제한될 것이다. 그렇지만 본 발명의 실시예에서와 같이 사람 객체를 스켈레톤으로 추적하고, 또 딥러닝을 적용하며, 나아가 얼굴에서의 눈, 코, 입, 귀 등의 움직임 등을 함께 추적함으로써 복수의 교사들마다의 디테일한 행동 인식이 가능하게 되고 지속적인 학습을 통해 정확한 인식이 이루어져 이를 통해 특정 교사의 행동까지도 검출하는 것이 가능하며, 무엇보다 해당 교사에 대한 행위 예측이 가능하게 된다. 예를 들어, 특정 교사의 특성상 어떠한 행위가 있은 후에 후행 행위가 주로 또는 반드시 동반되는 경우, 미리 알림을 제공하여 해당 행위가 발생하지 않도록 조치가 이루어질 수 있다.

이와 같이, 딥러닝기반 행동인식장치(120)는 관제요원으로부터 관제가 이루어지지 않거나 하더라도 해당 장소에 설치되어 있는 스피커를 통해 경보음을 발생시키거나 근처에 위치하는 경찰서 등으로 알림을 통지해 주어 신속히 대응하도록 하는 등 이벤트 알림을 발생시킬 수 있을 것이다.

도 13 내지 도 19는 얼굴 인식 과정을 설명하기 위한 도면이다.

설명의 편의상 도 13 내지 도 19를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 딥러닝기반 행동인식장치(120)는 사람 객체를 정확히 인식해야만 인식된 사람 객체를 스켈레톤 기반으로 추적하고, 또 그 추적 결과를 통해 정확한 행위 인식과 검출이 가능하게 된다고 볼 수 있다.

본 발명의 실시예에 따른 안면 데이터 수집 조건은, 다시 말해 안면 이미지에 포함되어야 할 조건은 1인당 9장의 얼굴사진을 수집한다. 턱 부분 끝과 양 볼 사이드 면적 끝 부분까지 전부 이미지에 다 포함되어야 한다. 또한, 눈, 코, 입 중심인 안면 이미지이어야 한다. 안경은 무관하지만 선글라스나 마스크는 불가능하다. 시간대, 날씨 등 주변 환경은 상관없다. 그러나 너무 어둡거나 밝아서 눈, 코, 입 구별이 불가할 정도의 이미지는 불가하다. 가능한 안면 이외의 물체는 이미지에 포함시키지 않는 것이 바람직하다.

또한, 안면 이미지 촬영에 포함되어야 할 조건은 다음과 같다. 촬영각도는 위에서 30도(°) 3장(예: 좌 45도, 정방향 0도, 우 45도), 정면 5장(좌 45도, 90도, 정방향 0도, 우 45도, 90도), 밑에서 30도 1장(정방향)이다. 얼굴 자체를 기울여서 촬영하면 안되며, HD급 이상 해상도(예: 1280 × 720 이상), 이미지는 JPG 파일 형식, 기본 카메라만 사용하며 필터 카메라를 사용하면 안된다. 초점이 흔들리지 않고 명확하게 나온 이미지가 바람직하다. 여러 각도에서 안면 촬영시 카메라와 얼굴 간격, 이미지의 방향과 얼굴 표정은 항상 똑같아야 한다.

조명이 어두워서 불가능한 경우는 눈의 윤곽선이 보이지 않아 눈의 위치를 알 수 없을 경우, 코 끝을 알 수 없을 경우, 한쪽 얼굴면이 완전히 가려진 경우, 입 꼬리 위치를 알 수 없을 경우가 해당된다.

도 13에서 볼 때, (a)는 정면 우 90도, (b)는 정면 우 45도, (c)는 정면, (d)는 정면 좌 45도, (e)는 정면 좌 90도, (f)는 위에서 30도, 우 45도, (g)는 위에서 30도, 정면, (h)는 위에서 30도, 좌 45도, (i)는 아래에서 30도를 나타낸다.

도 14는 안면 이미지에 키 포인트를 찍는 과정을 설명하기 위한 도면이다. 물론 키 포인트는 알고리즘적으로 눈, 코, 입을 검출하고 해당 검출 위치에 일종의 식별마크인 기설정된 키 포인트를 찍을 수 있다. 눈은 각 눈의 홍채 중앙 부분에 포인트를 찍으며, 좌, 우 90도에서는 검은 눈동자 부분에 포인트를 찍는다. 또한, 코는 정면에서는 코끝 중앙 부분에 포인트를 찍으며, 좌, 우에서는 코 끝부분에 포인트를 찍는다. 입은 입의 끝 부분인 입 꼬리 2곳에 포인트를 찍는다. 도 14에서 볼 때, (a)는 위에서 30도, 우 45, 키 포인트는 5개이고, (b)에서와 같이 아래에서 30도 얼굴 이미지는 키 포인트가 5개이며, (c)에서 볼 때 정면은 키 포인트가 5개이다. 또한, (d)에서와 같이 정면 좌 90도 이미지에서는 키 포인트가 3개가 된다.

도 15는 눈 포인트의 주의 사항을 설명하기 위한 도면이다. 안경에 의해서 눈동자가 가려지거나, 반사 또는 어두워서 알 수 없는 경우 눈동자 중앙을 추측하여 포인트를 찍는다. (a) 및 (c)의 이미지들은 잘못된 예시를 보여주는 것이며, 얼굴을 기울여서 촬영하면 안된다.

도 16은 입 꼬리 포인트의 주의 사항을 설명하기 위한 도면이다. 입의 끝 부분(입꼬리) 2곳에 포인트를 찍는다. (a) 및 (c)의 우 45도 이미지에서 반대편 입꼬리가 안보여도 (b) 및 (d)의 이미지처럼 입 끝 부분에 포인트를 찍는다. (b)는 우에서 30도, 우 45도 이미지이고, (d)는 정면 좌 45도 이미지로 키 포인트는 5개다.

도 17은 눈, 코, 입 포인트 찍는 순서를 나타내는 도면이다. 도 17은 정면 이미지로 키 포인트 5개를 찍은 예를 보여주고 있으며, 포인트를 찍을 때 왼쪽 눈, 오른쪽 눈, 코, 왼쪽 입 꼬리, 오른쪽 입 꼬리의 순서대로 포인트를 찍는다. 여기서, 왼쪽 및 오른쪽의 기준은 바라보는 방향을 기준으로 하지만, 이는 얼마든지 변경될 수 있는 것이므로 그것에 특별히 한정하지는 않을 것이다.

도 18은 정면 좌 90도 이미지로 키 포인트는 3개를 찍는 예를 보여준다. 키 포인트가 원래 5개인데 도 18에서처럼 3개뿐일 경우, 포인트를 찍을 때 한쪽(왼쪽) 눈 포인트를 찍고, 다른 한쪽(오른쪽) 눈 포인트 없음 버튼을 클릭한다. 또한 코 포인트를 찍으며, 한쪽(왼쪽) 입 꼬리 포인트를 찍는다. 마지막으로 다른 한쪽(오른쪽) 입 꼬리 포인트 없음 버튼을 클릭한다.

도 19는 정면 좌 90도 이미지로 키 포인트는 3개를 찍는 예를 보여준다. 키 포인트가 원래 5개인데, 도 19에서처럼 3개뿐일 경우, 포인트를 찍을 때 한쪽(왼쪽) 눈 포인트 없음 버튼 클릭, 다른 한쪽(오른쪽) 눈 포인트 찍음, 코 포인트 찍음, 한쪽(왼쪽) 입 꼬리 포인트 없음 버튼 클릭 및 다른 한쪽(오른쪽) 입 꼬리 포인트 찍음의 순서대로 포인트를 찍는다.

한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 촬영장치 110: 통신망
120: 딥러닝기반 행동인식장치 130: 관제장치
1100: 통신 인터페이스부 1110: 제어부
1120: 딥러닝기반 행동인식부 1130: 저장부

Claims (14)

1. 임의 영역의 특성에 관련되는 딥러닝 모델을 저장하는 저장부; 및
   상기 임의 영역의 촬영영상에서 사람 객체를 추출하고 상기 추출한 사람 객체의 스켈레톤(skeleton)을 추적하여 상기 추적한 추적 결과를 상기 저장한 딥러닝 모델에 적용하여 상기 사람 객체의 행동을 인식 및 검출하는 제어부;를
   포함하는 딥러닝기반의 행동인식장치.
2. 제1항에 있어서,
   상기 제어부는, 상기 촬영영상이 제1 영역의 제1 특성에 관계되면 제1 딥러닝 모델을 적용하고, 제2 영역의 제2 특성에 관계되면 제2 딥러닝 모델을 적용하여 상기 사람 객체의 행동을 인식 및 검출하는 딥러닝기반의 행동인식장치.
3. 제1항에 있어서,
   상기 제어부는, 상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역을 촬영하는 촬영장치의 식별정보를 이용하는 딥러닝기반의 행동인식장치.
4. 제1항에 있어서,
   상기 제어부는, 상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역에 설치되는 촬영장치의 초기 촬영영상을 이용하는 딥러닝기반의 행동인식장치.
5. 제1항에 있어서,
   상기 제어부는, 제1 사람 객체와 제2 사람 객체의 행동 패턴을 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시키는 딥러닝기반의 행동인식장치.
6. 제1항에 있어서,
   상기 제어부는, 상기 사람 객체와 주변의 사물 객체과의 상태를 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시키는 딥러닝기반의 행동인식장치.
7. 제1항에 있어서,
   상기 제어부는, 상기 사람 객체의 얼굴 상태를 분석하여 이상 행동이 예측되면 이벤트 알림을 발생시키는 딥러닝기반의 행동인식장치.
8. 임의 영역의 특성에 관련되는 딥러닝 모델을 저장부에 저장하는 단계; 및
   제어부가, 상기 임의 영역의 촬영영상에서 사람 객체를 추출하고 상기 추출한 사람 객체의 스켈레톤을 추적하여 상기 추적한 추적 결과를 상기 저장한 딥러닝 모델에 적용하여 상기 사람 객체의 행동을 인식 및 검출하는 단계;를
   포함하는 딥러닝기반의 행동인식장치의 구동방법.
9. 제8항에 있어서,
   상기 사람 객체의 행동을 인식 및 검출하는 단계는,
   상기 촬영영상이 제1 영역의 제1 특성에 관계되면 제1 딥러닝 모델을 적용하고, 제2 영역의 제2 특성에 관계되면 제2 딥러닝 모델을 적용하여 상기 사람 객체의 행동을 인식 및 검출하는 딥러닝기반의 행동인식장치의 구동방법.
10. 제8항에 있어서,
    상기 사람 객체의 행동을 인식 및 검출하는 단계는,
    상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역을 촬영하는 촬영장치의 식별정보를 이용하는 딥러닝기반의 행동인식장치의 구동방법.
11. 제8항에 있어서,
    상기 사람 객체의 행동을 인식 및 검출하는 단계는,
    상기 임의 영역의 특성을 판단하기 위하여 상기 임의 영역에 설치되는 촬영장치의 초기 촬영영상을 이용하는 딥러닝기반의 행동인식장치의 구동방법.
12. 제8항에 있어서,
    상기 사람 객체의 행동을 인식 및 검출하는 단계는,
    제1 사람 객체와 제2 사람 객체의 행동 패턴을 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시키는 딥러닝기반의 행동인식장치의 구동방법.
13. 제8항에 있어서,
    상기 사람 객체의 행동을 인식 및 검출하는 단계는,
    상기 사람 객체와 주변의 사물 객체과의 상태를 분석하여 이상 행동이 감지되면 이벤트 알림을 발생시키는 딥러닝기반의 행동인식장치의 구동방법.
14. 제8항에 있어서,
    상기 사람 객체의 행동을 인식 및 검출하는 단계는,
    상기 사람 객체의 얼굴 상태를 분석하여 이상 행동이 예측되면 이벤트 알림을 발생시키는 딥러닝기반의 행동인식장치의 구동방법.

Images