KR102560480B1

KR102560480B1 - 시공간 행동 인지 ai 모델링 서비스를 지원하는 시스템 및 방법

Info

Publication number: KR102560480B1
Application number: KR1020220078979A
Authority: KR
Inventors: 김승철; 아느발; 이대균; 김현철
Original assignee: 퀀텀테크엔시큐 주식회사
Priority date: 2022-06-28
Filing date: 2022-06-28
Publication date: 2023-07-27

Abstract

본 발명의 일 실시예에 따른 시공간 행동인지 AI 모델링 서비스를 지원하는 시스템은 외부로부터 IP-CAM 영상을 입력받는 영상획득부; 상기 IP-CAM 영상 내의 신체영역을 추출하고, 추출된 신체영역에서 신체 특징점에 따른 17개의 신체포즈 포인트 및 관절의 좌표를 추정하는 객체 감지 및 포즈 추정 모델링부; 가우시안 기반의 공식을 통해 상기 17개의 신체포즈 포인트 및 관절의 좌표의 2D Confidence Map을 생성하는 2D Confidence Map 생성부; 및 상기 2D Confidence Map 및 원본 RGB 프레임 데이터에 대해서 GCN 및 3D CNN(Convolution Neural Network)을 적용하여 관절의 연결성, 시공간성 및 주위 환경 요소를 분석하는 데이터 처리부를 포함한다.

Description

시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템 및 방법{Systems and methods to support artificial intelligence modeling services on behavior perception over time}

본 발명은 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템 및 방법에 관한 것이다.

낙상은 부주의로 인해 인체의 무게중심이 무너지면서 지면을 향해 빠르게 낙하하는 것을 의미한다. 세계 보건 기구(WHO)에 따르면 매년 70세 이상 노인의 32%가 낙상을 경험하고 있으며, 미국에서는 65세 이상의 노령층에서 30% 이상이 1년에 적어도 1회 이상의 낙상 사고가 발생하는 것으로 보고되었다.

일반적으로 낙상은 기초 체력, 자세 조절 및 균형 유지 능력의 저하로 인하여 발생하는 것으로 알려져 있으며, 시고 발생 시, 고관절 등의 부상으로 이어져 많은 고통과 오랜 기간의 입원으로 인한 후유증 등을 주기도 한다.

노인의 경우에는 고령화로 인하여 하지 근력의 퇴화, 관절 가동 범위의 제한 및 인지 장애 등이 발생하며, 저하 된 균형 능력이 낙상으로 이어지기도 한다. 특히, 낙상 상황 발생 후 장시간 바닥에 머무르는 'long-lie' 상태 는 탈수, 출혈, 생리 및 심리적 불안감을 초래하며, 이를 경험한 환자의 절반은 6개월 내에 사망할 확률이 매우 높은 것으로 나타났다.

한편, 낙상사고 동작 영상 데이터가 활용되는 글로벌 스마트 병원시장 규모는 2017년 기준 153조원으로 전망되며, 정부는 입원 환자의 실시간 모니터링 및 의료기관간 협진이 가능한 스마트 병원을 2025년까지 18개 구축할 예정에 있다. 의료 기관과 헬스케어 기술 관련 기존 기업에서는 낙상사고 예방 및 감지를 위한 다양한 기기를 개발하고 있으나 제품 특성에 따른 한계를 지니며, 기존에 구축된 AI 허브 데이터(사람 동작 영상 AI 데이터) 또한 낙상 감지 솔루션 개발에 한계를 지니고 있다.

환자의 입장에서 고려하면 환자들이 낙상사고에 의한 손상은 환자 개인의 사람의 질 저하, 총 의료 비용 상승 등 경제적 손실과 함께 사회적 부담을 증가시킬 수 있다. 또한 낙상 사고에 의해 환자 개개인은 골절, 뇌출혈에 이어 사망 위험성까지 존재할 수 있다.

이러한 상황에서 환자의 낙상 사고를 탐지할 수 있다면, 초기 대응을 빠르게 할 수 있고 환자의 사망 가능성 역시 줄일 수 있을 것이다.

한편, 최근 컴퓨터 비젼 AI 분야에서 사람 행동 인식(Action Recognition)에 대한 관련 연구가 많이 진행되고 있다. 그 중에서 포즈 추정(Pose Estimation) 모델로부터 얻은 관절 좌표를 활용하여 시간에 따른 관절 좌표의 움직임을 그래프 형태로 분석하는 GCN(Graph Convolution Network) 기반 모델과 수식을 통해 2D Confidence Map으로 재구성하여 행동인식을 수행하는 Confidence Map 기반 AI 모델들이 많은 주목을 받고 있다.

기존 GCN을 활용한 행동 인식 AI 모델은 관절의 좌표에 주로 집중했기 때문에 관절 간의 연결성, 사람 객체 간의 상관관계, 영상 내의 주위 환경요소를 분석하지 못하는 문제점이 있다. 한편, Confidence Map 기반 행동 인식 AI 모델은 RGB 영상과 관절 및 관절 간의 연결부위를 각각 Heat Map을 통해 나타내면서 전체적인 관절의 좌표, 관절간의 연결성, 사람 객체 간의 상관관계, 영상 내의 주위 환경요소를 분석했다.

하지만, 기존 Confidence Map 기반 AI 모델들은 관절의 좌표를 통한 Confidence Map을 생성하는 과정에 있어서 Top-Down 방식의 Box Confidence Score 요소를 고려하지 않기 때문에 좀 더 정확한 관절의 Confidence Map을 생성하지 못했다. 또한, 관절간의 연관성을 표현하기 위해 Confidence Map을 사용하여 간접적으로 연결했지만, 관절간의 연결 정보를 직접적으로 활용하지 못함으로써 효과적으로 관절의 상관작용을 분석하지 못했다.

이에 본 발명은 2D Confidence Map을 구성하는 방법과 Confidence Map, GCN을 활용하여 기존의 행동 인식 AI 모델의 단점을 효과적으로 보완하고, 관절의 시공간 움직임, 관절의 연결성, 주위 환경 요소, 사람 간의 상호 작용을 효과적이고, 독립적으로 분석할 수 있는 시스템 및 방법을 개시하고자 한다.

공개특허공보 제10-2022-0078893호

본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템 및 방법을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템은 외부로부터 IP-CAM 영상을 입력받는 영상획득부; 상기 IP-CAM 영상 내의 신체영역을 추출하고, 추출된 신체영역에서 신체 특징점에 따른 17개의 신체포즈 포인트 및 관절의 좌표를 추정하는 객체 감지 및 포즈 추정 모델링부; 가우시안 기반의 공식을 통해 상기 17개의 신체포즈 포인트 및 관절의 좌표의 2D Confidence Map을 생성하는 2D Confidence Map 생성부; 및 상기 2D Confidence Map 및 원본 RGB 프레임 데이터에 대해서 GCN 및 3D CNN(Convolution Neural Network)을 적용하여 관절의 연결성, 시공간 및 주위 환경 요소를 분석하는 데이터 처리부를 포함한다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 방법은 영상획득부에서 외부로부터 IP-CAM 영상을 획득하는 단계; 객체 감지 및 포즈 추정 모델링부에서 상기 IP-CAM 영상 내의 신체영역을 추출하고, 추출된 신체영역에서 신체 특징점에 따른 17개의 신체포즈 포인트 및 관절의 좌표를 추정하는 단계; 2D Confidence Map 생성부에서 가우시안 기반의 공식을 통해 상기 17개의 신체포즈 포인트 및 관절의 좌표의 2D Confidence Map을 생성하는 단계; 및 데이터 처리부에서 상기 2D Confidence Map 및 원본 RGB 프레임 데이터에 대해서 GCN 및 3D CNN(Convolution Neural Network)을 적용하여 관절의 연결성, 시공간 및 주위 환경 요소를 분석하는 단계를 포함한다.

본 발명의 일 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템 및 방법은 2D Confidence Map, GCN을 활용하여 기존의 행동인식 AI 모델의 단점을 효과적으로 보완하고, 관절의 시공간 움직임, 관절의 연결성, 주위 환경 요소, 사람간의 상호 작용을 효과적이고 독립적으로 분석할 수 있다는 이점이 있다.

도 1a는 본 발명의 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템의 네트워크 구성도이다.
도 1b는 도 1에 도시된 객체 감지 및 포즈 추정 모델링부에서 포즈를 추정한 예시도이다.
도 2는 도 1에 도시된 데이터 처리부에서 사용되는 GCN(Graph Convolution Network)의 구조도이다.
도 3은 ST-GCN 및 스켈레톤 데이터의 예시도이다.
도 4는 도 1에 도시된 데이터 처리부에서 사용되는 3D CNN 층의 원리를 설명한 예시도이다.
도 5는 도 1에 도시된 데이터 처리부에서 사용되는 3D CNN의 구조도이다.
도 6은 본 발명의 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 방법을 설명한 흐름도이다.
도 7은 도 6의 S730을 보다 구체화한 흐름도이다.
도 8은 도 7에서 언급된 Permute & Reshape 과정을 설명한 예시도이다.

이하, 본 명세서의 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.

예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.

이하, 첨부된 도면들에 기초하여 본 발명의 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템 및 방법을 보다 상세하게 설명하도록 한다.

도 1a는 본 발명의 일 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템의 네트워크 구성도이고, 도 1b는 도 1에 도시된 객체 감지 및 포즈 추정 모델링부에서 포즈를 추정한 예시도이고, 도 2는 도 1에 도시된 데이터 처리부에서 사용되는 GCN(Graph Convolution Network)의 구조도이고, 도 3은 ST-GCN 및 스켈레톤 데이터의 예시도이고, 도 4는 도 1에 도시된 데이터 처리부에서 사용되는 3D CNN 층의 원리를 설명한 예시도이고, 도 5는 도 1에 도시된 데이터 처리부에서 사용되는 3D CNN의 구조도이다.

먼저, 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템(100)은 3차원 Convolution Neural Network (CNN)을 기초로 하고 있다. CNN은 이미지를 분석함에 있어 강력한 성능을 보여주는 딥러닝 기반 인공 지능 알고리즘이다.

참고로, CNN은 인공 신경망 (Artificial Neural Network, ANN)을 깊이 연결하여 인공 지능의 성능을 극대화시킨 딥러닝 기반 알고리즘으로 각 연결 층마다 수많은 학습가능한 컨볼루젼 필터들이 존재하여, 입력되는 학습 데이터로부터 이미지의 주요한 특징들을 추출하는 것을 학습한다.

CNN 구조를 이루는 가장 기본적인 단위는 컨볼루젼 필터이다. 2차원 이미지 에 (1*1), (3*3) 또는 (5*5) 크기의 필터를 적용함으로써 이미지에서 유의미한 feature를 추출하는 역할을 수행 할 수 있는데, CNN 은 이러한 필터들이 초기 랜덤한 값으로 채워져 컨볼루젼 레이어(Convolutional Layer)를 이루고, 학습이 진행됨에 따라서 필터 값들이 의미있는 feature를 뽑아낼 수 있도록 변화한다. 또한 이러한 레이어가 깊이 쌓여서, 여러 단계에 걸쳐 feature를 뽑아낸다.

레이어가 깊이 쌓이면서 pooling(feature map에서 한 개의 가장 유의미한 값을 다음 레이어로 전달, 가장 큰 값을 선택하는 max pooling과, 평균값을 선택하는 average pooling 등의 방법이 있다), 과 stride (컨볼루젼 필터가 이미지를 돌 때 몇 픽셀씩 이동할 것인지에 관한 파라미터) 값 조절 등을 통하여 Downsampling이 이루어 진다.

이러한 필터들이 존재하는 컨볼루젼 레이어들을 깊이 연결하는 구조를 통해서, 인공 지능은 이미지의 작은 영역에 대한 미세한 특징부터, 넓은 영역의 특징까지 모두 활용하여 이미지를 분석하고, 원하는 결과를 도출할 수 있게끔 학습을 할 수 있게 된다. 이렇게 넓은 수용 영역(receptive field)을 보고 이미지를 분석할 수 있다는 것이 CNN이 가지는 가장 큰 특징이자 장점이라고 할 수 있다.

한편, 본 발명의 일 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템(100)은 영상획득부(110), 신체 감지 및 자세 추정 모델링부(120), Confidence Map 생성부(130) 및 데이터 처리부(140)를 포함한다.

상기 영상획득부(110)는 병원, 요양원, 가정, 학교, 교도소, 군대 내무반 등을 관찰하는 CCTV를 통해 획득한 CCTV 영상 데이터를 획득하며, 이 중에는 머신 러닝, 딥러닝 등 인공지능 학습을 위한 학습용 IP-CAM 영상 데이터 및 학습 이후 실제 낙상, 폭행, 주취 행위와 같은 이상행동 발생 여부를 추론하기 위해 실시간으로 입력되는 낙상, 폭행, 주취 행위 발생 여부 추론용 IP-CAM 영상 데이터를 획득한다.

영상획득부(110)는 본 발명의 시스템에서 하나의 독립된 장치로 구성될 수도 있지만, 전체 소프트웨어에 서 일부 소프트웨어로 구현되는 하나의 구성요소로 구현될 수도 있을 것이다.

상기 객체 감지 및 포즈 추정 모델링부(120)는 포즈 추정 알고리즘을 이용하여 IP-CAM 영상 내의 신체자세를 17개의 신체자세 키 포인트(0-‘nose’ 1-‘right_eye’ 2-‘left_eye’ 3-‘right_ear’ 4-‘left_ear’ 5-‘right_shoulder’ 6-‘left_shoulder’ 7-‘right_elbow’ 8-‘left_elbow’ 9-‘right_wrist’ 10-‘left_wrist’ 11-‘right_hip’ 12-‘left_hip’ 13-‘right_knee’ 14-‘left_knee’ 15-‘right_ankle’ 16-‘left_ankle’)로 추정 및 분류하는 구성일 수 있다.

여기서, 포즈 추정 알고리즘중에서 Top-Down 방식인 Obect Detection 모델인 Faster R-CNN과 Pose Estimation 모델인 HRNet을 통해, 상기 학습용 IP-CAM 영상 데이터를 입력값으로 활용하여 상기 IP-CAM 영상 프레임 당 사람을 탐지한 뒤, 각 사람마다 상기 소정 개수의 신체 키포인트를 추출한다. 이때, 상기 신체 키포인트의 데이터 사이즈는 (C, T, V, M)으로 표시되며, 여기서, C = 채널(x coordinate, y coordinate, confidence value) 번호(# of channel), T = 프레임 번호(# of Frame), V = 그래프 노드 번호(# of Graph Node), M = 검출된 사람의 번호(# of Detected Human)가 된다.

또한 상기 V 는 상기 소정 개수, 즉, 17개의 인체의 관절에 해당하는 지점을 나타내는 인체 관절 키포인트라고 생각하면 된다.

상기 2D Confidence Map 생성부(120)는 객체 감지 및 포즈 추정 모델링부(120)에서 추정한 17개의 신체포즈 포인트 및 관절의 좌표를 하기의 2차원 가우시안 분포 식이 활용된 [식 1]을 이용하여 상기 2D Confidence Map을 구성할 수 있다.

[식 1]

여기서, 는 K 관절의 Confidence Map을 의미하며, i와 j는 각각 Confidence Map의 행과 열 좌표를 의미한다.

그리고, 와 는 각각 k 관절에 대한 포즈 추정(Pose Estimation) 모델의 Confidence Score와 객체 감지(Object Detection) 모델의 바운딩 박스 Confidence Score를 의미한다.

는 Confidence Map 내의 관절의 영역을 조율하는 파라미터로 사용되었다. 만약, 직접 관절 좌표를 레이블링하는 경우에는 와 는 각각 1.0의 값을 가진다.

다음으로, 데이터 처리부(140)는 2D Confidence Map 및 원본 RGB 프레임 데이터를 3D CNN(Convolution Neural Network), GCN(Graph Convolution Network), GAP(Global Average Pooling)등에 적용하여 관절의 연결성 분석 및 시공간 그리고 주위 환경 요소를 분석할 수 있다.

참고로, 데이터 처리부(140)는 3D CNN 구조, 그래프 합성곱 신경망(GCN) 구조, GAP 구조가 상호 연동되는 구조일 수 있다.

상기 데이터 처리부(140)는 2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 입력받아, Permute & Reshape 과정을 통해 confidence Map의 텐서의 형태를 변경처리(T*K*(H*W))하고, 변경된 텐서를 그래프 합성곱 신경망(GCN)에 적용(T*k*f)한 후, 출력값을 전역 평균 풀링(global average pooling)층 및/또는 완전연결(Fully connected) 층을 순차적으로 적용하여 관절의 Confidence Map 간의 연결성을 도출할 수 있다.

또한, 데이터 처리부(140)는 2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 3D CNN 층에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절간 시공간성을 도출할 수 있다.

또한, 데이터 처리부(140)는 원본 RGB 프레임 데이터를 3D CNN(Convolution Neural Network)에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절의 주위환경요소를 도출할 수 있다.

참고로, Global average pooling을 사용하면, 파리미터(parameter) 수를 획기적으로 줄일 수 있다.

즉, 본 발명의 데이터 처리부(140)는 선택적으로 관절의 시공간성, 관절간 연결성 및 주위환경요소를 선택적으로 도출할 수 있다.

도 6은 본 발명의 일 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 방법을 설명한 흐름도이고, 도 7은 도 6의 S730을 보다 구체화한 흐름도이고, 도 8은 도 7에서 언급된 Permute & Reshape 과정을 설명한 예시도이다.

먼저, 도 6을 참조하면, 본 발명의 일 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 방법(S720)은 외부로부터 IP-CAM 영상을 획득(S710)한 후, 상기 IP-CAM 영상 내의 신체영역을 추출하고, 추출된 신체영역에서 신체 특징점에 따른 17개의 신체포즈 포인트 및 관절의 좌표를 추정(S720)한다.

상기 S720 과정은 객체 감지 및 포즈 추정 모델링부(120)에서 포즈 추정 알고리즘을 이용하여 IP-CAM 영상 내의 신체자세를 17개의 신체자세 키 포인트(0-‘nose’ 1-‘right_eye’ 2-‘left_eye’ 3-‘right_ear’ 4-‘left_ear’ 5-‘right_shoulder’ 6-‘left_shoulder’ 7-‘right_elbow’ 8-‘left_elbow’ 9-‘right_wrist’ 10-‘left_wrist’ 11-‘right_hip’ 12-‘left_hip’ 13-‘right_knee’ 14-‘left_knee’ 15-‘right_ankle’ 16-‘left_ankle’)로 추정 및 분류하고, 관절의 좌표를 추정하는 과정이다.

또한, 포즈 추정 알고리즘중에서 Top-Down 방식인 Obect Detection 모델인 Faster R-CNN과 Pose Estimation 모델인 HRNet을 통해, 상기 학습용 ip-cam 영상 데이터를 입력값으로 활용하여 상기 ip-cam 영상 프레임 당 사람을 탐지한 뒤, 각 사람마다 상기 소정 개수의 신체 키포인트를 추출한다.

이때, 상기 신체포즈 포인트의 데이터 사이즈는 (C, T, V, M)으로 표시되며, 여기서, C = 채널(x coordinate, y coordinate, confidence value) 번호(# of channel), T = 프레임 번호(# of Frame), V = 그래프 노드 번호(# of Graph Node), M = 검출된 사람의 번호(# of Detected Human)가 된다.

이후, 상기 17개의 신체포즈 포인트 및 관절의 좌표를 2차원 가우시안 분포 식이 활용된 [식 1]에 적용하여 각 관절에 대한 2D Confidence Map을 생성(S730)한 후, 상기 2D Confidence Map 및 원본 RGB 프레임 데이터를 3D CNN에 적용하여 관절의 연결성, 시공간 및 주위 환경 요소를 분석(S740)하는 과정을 포함한다.

[식 1]

는 Confidence Map 내의 관절의 영역을 조율하는 파라미터이고, 만약, 직접 관절 좌표를 레이블링하는 경우에는 와 는 각각 1.0의 값을 가진다.

다음으로, 상기 S740 과정은 데이터 처리부(140)에서 2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 입력받아, Permute & Reshape 과정을 통해 confidence Map의 텐서의 형태를 변경처리(T*K*(H*W))하고, 변경된 텐서를 그래프 합성곱 신경망(GCN)에 적용(T*k*f)한 후, 출력값을 전역 평균 풀링(global average pooling)층 및/또는 완전연결(Fully connected) 층을 순차적으로 적용하여 관절의 연결성을 도출하는 과정, 2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 3D CNN 층에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절간 시공간성을 도출하는 과정 및 원본 RGB 프레임 데이터를 3D CNN(Convolution Neural Network)에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절의 주위환경요소를 도출하는 과정을 포함하는 과정일 수 있다.

따라서, 본 발명의 일 실시예에 따른 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템은 2D Confidence Map, GCN을 활용하여 기존의 행동인식 AI 모델의 단점을 효과적으로 보완하고, 관절의 시공간 움직임, 관절의 연결성, 주위 환경 요소, 사람간의 상호 작용을 효과적이고 독립적으로 분석할 수 있다는 이점이 있다.

본 발명의 일 실시예에서 사용된 “부”는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다

본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 시공간 행동 인지 AI 모델링 서비스를 지원하는 시스템
110: 영상획득부
120: 객체 감지 및 포즈 추정 모델링부
130: 2D Confidence Map 생성부
140: 데이터 처리부

Claims

외부로부터 IP-CAM 영상을 입력받는 영상획득부
상기 IP-CAM 영상 내의 신체영역을 추출하고, 추출된 신체영역에서 신체 특징점에 따른 17개의 신체포즈 포인트 및 관절의 좌표를 추정하는 객체 감지 및 포즈 추정 모델링부;
가우시안 기반의 공식을 통해 상기 17개의 신체포즈 포인트 및 관절의 좌표의 2D Confidence Map을 생성하는 2D Confidence Map 생성부; 및
상기 2D Confidence Map 및 원본 RGB 프레임 데이터에 대해서 GCN 및 3D CNN(Convolution Neural Network)을 적용하여 관절의 연결성, 시공간성 및 주위 환경 요소를 분석하는 데이터 처리부를 포함하고,
상기 데이터 처리부는
2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 입력받아, Permute & Reshape 과정을 통해 confidence Map의 텐서의 형태를 변경처리하고, 변경된 텐서를 그래프 합성곱 신경망(GCN)에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층 및/또는 완전연결(Fully connected) 층을 순차적으로 적용하여 각 관절간의 연결성을 도출하고,
2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 3D CNN 층에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절의 시공간성을 도출하고,
원본 RGB 프레임 데이터를 3D CNN(Convolution Neural Network)에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절의 주위환경요소를 도출하고,
상기 2D Confidence Map 생성부는
하기의 2차원 가우시안 분포 식이 활용된 하기의 [식 1]을 이용하여 상기 2D Confidence Map을 생성하는 것을 특징으로 하는 시공간 행동인지 AI 모델링 서비스를 지원하는 시스템.
[식 1]

여기서, 는 K 관절의 Confidence Map을 의미하며, i와 j는 각각 Confidence Map의 행과 열 좌표를 의미한다.
와 는 각각 k 관절에 대한 포즈 추정(Pose Estimation) 모델의 Confidence Score와 객체 감지(Object Detection) 모델의 바운딩 박스 Confidence Score를 의미한다.
는 Confidence Map 내의 관절의 영역을 조율하는 파라미터이고, 만약, 직접 관절 좌표를 레이블링하는 경우에는 와 는 각각 1.0의 값을 갖는다.
삭제
제1항에 있어서,
상기 신체포즈 포인트는
0-‘nose’ 1-‘right_eye’ 2-‘left_eye’ 3-‘right_ear’ 4-‘left_ear’ 5-‘right_shoulder’ 6-‘left_shoulder’ 7-‘right_elbow’ 8-‘left_elbow’ 9-‘right_wrist’ 10-‘left_wrist’ 11-‘right_hip’ 12-‘left_hip’ 13-‘right_knee’ 14-‘left_knee’ 15-‘right_ankle’ 16-‘left_ankle’인 것을 특징으로 하는 시공간 행동인지 AI 모델링 서비스를 지원하는 시스템.
삭제
삭제
삭제
영상획득부에서 외부로부터 IP-CAM 영상을 획득하는 단계;
객체 감지 및 포즈 추정 모델링부에서 상기 IP-CAM 영상 내의 신체영역을 추출하고, 추출된 신체영역에서 신체 특징점에 따른 17개의 신체포즈 포인트 및 관절의 좌표를 추정하는 단계;
2D Confidence Map 생성부에서 가우시안 기반의 공식을 통해 상기 17개의 신체포즈 포인트 및 관절의 좌표의 2D Confidence Map을 생성하는 단계; 및
데이터 처리부에서 상기 2D Confidence Map 및 원본 RGB 프레임 데이터에 대해서 GCN 및 3D CNN(Convolution Neural Network)을 적용하여 관절의 연결성, 시공간 및 주위 환경 요소를 분석하는 단계를 포함하고,
상기 데이터 처리부는
2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 입력받아, Permute & Reshape 과정을 통해 confidence Map의 텐서의 형태를 변경처리하고, 변경된 텐서를 그래프 합성곱 신경망(GCN)에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층 및/또는 완전연결(Fully connected) 층을 순차적으로 적용하여 각 관절간의 연결성을 도출하고,
2D Confidence Map(관절수(K), 프레임 수(T), 높이(height), 폭(width))을 3D CNN 층에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절의 시공간성을 도출하고,
원본 RGB 프레임 데이터를 3D CNN(Convolution Neural Network)에 적용한 후, 출력값을 전역 평균 풀링(global average pooling)층에 대입하여 관절의 주위환경요소를 도출하고,
상기 2D Confidence Map 생성부는
하기의 2차원 가우시안 분포 식이 활용된 하기의 [식 1]을 이용하여 상기 2D Confidence Map을 생성하는 것을 특징으로 하고,
상기 2D Confidence Map을 생성하는 단계는
하기의 2차원 가우시안 분포 식이 활용된 하기의 [식 1]을 이용하여 상기 2D Confidence Map을 생성하는 단계인 것을 특징으로 하는 시공간 행동인지 AI 모델링 서비스를 지원하는 방법.
[식 1]

여기서, 는 K 관절의 Confidence Map을 의미하며, i와 j는 각각 Confidence Map의 행과 열 좌표를 의미한다.
그리고, 와 는 각각 k 관절에 대한 포즈 추정(Pose Estimation) 모델의 Confidence Score와 객체 감지(Object Detection) 모델의 바운딩 박스 Confidence Score를 의미한다.
는 Confidence Map 내의 관절의 영역을 조율하는 파라미터이고, 만약, 직접 관절 좌표를 레이블링하는 경우에는 와 는 각각 1.0의 값을 가진다.
삭제
삭제
삭제
삭제