KR20230080938A

KR20230080938A - 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치

Info

Publication number: KR20230080938A
Application number: KR1020210168533A
Authority: KR
Inventors: 박면주; 김진영; 경찬욱; 선영규; 김수현
Original assignee: 광운대학교 산학협력단
Priority date: 2021-11-30
Filing date: 2021-11-30
Publication date: 2023-06-07

Abstract

본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치는, 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류함으로써, 동작 인식과 분류의 정확도 및 속도를 개선시킬 수 있다.

Description

컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치{Method and apparatus of gesture recognition and classification using convolutional block attention module}

본 발명은 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치에 관한 것으로서, 더욱 상세하게는 영상 데이터에서 동작을 인식하고, 인식한 동작을 분류하는, 방법 및 장치에 관한 것이다.

최근 COVID-19로 인한 사회적 거리두기가 진행되고 있다. 그에 따라서, 운동 장소가 헬스장과 야외에서 집으로 변하고 있다. 운동 장소의 변화는 비대면 홈 트레이닝 시장을 성장시킨다. 비대면 홈 트레이닝은 카메라를 통하여, 실시간으로 운동 동작을 인식하는 기술이 요구된다. 동작 인식 기술은 카메라를 통해 얻어진 신호를 분석, 처리, 가공하여 분류하는 기술로, 여러 운동 동작을 학습시켜 운동 자세 교정, 운동 종류 분석 등을 수행할 수 있다. 과거에는 키넥스 카메라를 이용하여 동작 인식을 연구하였다. 하지만, 키넥스 카메라를 통한 동작 인식은 물체를 3차원으로 인식하기 위한 센서가 따로 필요하고, 동적 객체를 바탕으로 골격화를 시도하기 때문에 사람과 비슷한 객체가 존재하더라도 이를 사람이라 인식하고 골격화를 시도하고, 또한 사용자가 어떠한 물체를 들고 있는 상황에서 해당 물체까지 골격화를 시도하기 때문에 정확한 골격화 정보를 인식하지 못하는 문제가 발생한다.

최근에, 머신러닝을 통해 웹 카메라로 동작을 인식하는 기술이 활발히 연구되고 있다. 머신러닝을 통한 동작 인식은 정확히 사람 몸만 인식을 하게 되고 3차원으로 임베딩이 가능하다. 또한, 과거에 사용했던 키넥트 카메라에 필요한 센서들을 사용하지 않아도 된다. 하지만, 머신러닝을 이용한 동작 인식은 연산하는 파라미터의 양이 많아 높은 정확도로 빠르게 분류하는데 어려움이 있다.

본 발명이 이루고자 하는 목적은, 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류하는, 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치를 제공하는 데 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법은, 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류하는 동작 인식 및 분류 장치에 의해 수행되는 동작 인식 및 분류 방법으로서, 사람을 촬영한 상기 영상 데이터를 획득하는 단계; 상기 영상 데이터에서 상기 사람의 관절 포인트를 인식하고, 인식한 상기 관절 포인트를 기반으로 상기 동작 정보를 획득하는 단계; 미리 학습되어 구축된 상기 컨볼루션 신경망을 이용하여, 상기 동작 정보를 기반으로 상기 동작 정보에 대응되는 동작 분류 정보를 획득하는 단계; 및 상기 동작 분류 정보를 기반으로 동작 명칭을 출력하는 단계;를 포함한다.

여기서, 상기 동작 정보는, 미리 설정된 33개의 상기 관절 포인트 각각에 대한 관절 포인트 특징 정보 및 33개의 상기 관절 포인트 중에서 미리 설정된 8개의 상기 관절 포인트 각각에 대한 관절 포인트 각도 정보를 포함할 수 있다.

여기서, 상기 관절 포인트 특징 정보는, X좌표, Y좌표, Z좌표 및 가시성(visivility)을 나타내고, 상기 관절 포인트 각도 정보는, 인접한 상기 관절 포인트들과 이루는 각을 나타낼 수 있다.

여기서, 상기 동작 정보 획득 단계는, 상기 영상 데이터에서 33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 획득하고, 33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 기반으로 8개의 상기 관절 포인트 각각에 대한 관절 포인트 각도 정보를 획득하며, 33개의 상기 관절 포인트 특징 정보 및 8개의 상기 관절 포인트 각도 정보를 기반으로 상기 동작 정보를 획득하는 것으로 이루어질 수 있다.

여기서, 8개의 상기 관절 포인트는, 좌측_어깨(left_shoulder), 우측_어깨(right_shoulder), 좌측_팔꿈치(left_elbow), 우측_팔꿈치(right_elbow), 좌측_엉덩이(left_hip), 우측_엉덩이(right_hip), 좌측_무릎(left_knee) 및 우측_무릎(right_knee)일 수 있다.

여기서, 상기 동작 분류 정보 획득 단계는, 상기 동작 정보를 상기 컨볼루션 신경망에 입력하고, 상기 컨볼루션 신경망의 출력을 기반으로 상기 동작 정보에 대응되는 상기 동작 분류 정보를 획득하는 것으로 이루어질 수 있다.

여기서, 상기 컨볼루션 신경망은, 복수개의 영상 데이터로 이루어지는 학습 데이터 및 상기 학습 데이터에 포함된 영상 데이터 각각에 대한 동작 명칭으로 이루어지는 정답 레이블을 이용하여 학습되어 구축될 수 있다.

여기서, 상기 컨볼루션 신경망은, 상기 학습 데이터에 포함된 영상 데이터 각각에서 획득된 상기 동작 정보 및 상기 정답 레이블을 이용하여 학습되어 구축될 수 있다.

상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장되어 상기한 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 중 어느 하나를 컴퓨터에서 실행시킨다.

상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치는, 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류하는 동작 인식 및 분류 장치로서, 상기 영상 데이터에서 동작을 인식하여 상기 동작 정보를 획득하고, 상기 컨볼루션 신경망을 기반으로 상기 동작 정보의 동작을 분류하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 상기 영상 데이터에서 동작을 인식하여 상기 동작 정보를 획득하고, 상기 컨볼루션 신경망을 기반으로 상기 동작 정보의 동작을 분류하기 위한 동작을 수행하는 하나 이상의 프로세서;를 포함하며, 상기 프로세서는, 사람을 촬영한 상기 영상 데이터를 획득하고, 상기 영상 데이터에서 상기 사람의 관절 포인트를 인식하고, 인식한 상기 관절 포인트를 기반으로 상기 동작 정보를 획득하며, 미리 학습되어 구축된 상기 컨볼루션 신경망을 이용하여, 상기 동작 정보를 기반으로 상기 동작 정보에 대응되는 동작 분류 정보를 획득하고, 상기 동작 분류 정보를 기반으로 동작 명칭을 출력한다.

여기서, 상기 프로세서는, 상기 영상 데이터에서 33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 획득하고, 33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 기반으로 8개의 상기 관절 포인트 각각에 대한 관절 포인트 각도 정보를 획득하며, 33개의 상기 관절 포인트 특징 정보 및 8개의 상기 관절 포인트 각도 정보를 기반으로 상기 동작 정보를 획득할 수 있다.

본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치에 의하면, 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류함으로써, 동작 인식과 분류의 정확도 및 속도를 개선시킬 수 있다.

또한, 본 발명은 사람의 동작을 인식하여 홈트레이닝에서 자세를 분석하여 높은 수준의 개인 트레이닝을 할 수 있다.

또한, 본 발명은 사람의 행동이나 동작을 인식하여, 로봇 조종이 가능하고 범죄 행위를 인식하여 예방하는데 사용할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법을 설명하기 흐름도이다.
도 3은 본 발명의 바람직한 실시예에 따른 사람의 관절 포인트를 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 관절 포인트 특징 정보를 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 관절 포인트 각도 정보의 획득 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 관절 포인트 각도 정보를 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 동작 정보에 대응되는 동작 분류 정보의 획득 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 바람직한 실시예에 따른 컨볼루션 신경망의 학습 과정을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성 요소를 다른 구성 요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예컨대, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

본 명세서에서 각 단계들에 있어 식별부호(예컨대, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다" 등의 표현은 해당 특징(예컨대, 수치, 기능, 동작, 또는 부품 등의 구성 요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

이하에서 첨부한 도면을 참조하여 본 발명에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치의 바람직한 실시예에 대해 상세하게 설명한다.

먼저, 도 1을 참조하여 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치에 대하여 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치를 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치(이하 '동작 인식 및 분류 장치'라 한다)(100)는 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류한다.

이를 위해, 동작 인식 및 분류 장치(100)는 하나 이상의 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130) 및 통신 버스(150)를 포함할 수 있다.

프로세서(110)는 동작 인식 및 분류 장치(100)가 동작하도록 제어할 수 있다. 예컨대, 프로세서(110)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램(131)을 실행할 수 있다. 하나 이상의 프로그램(131)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(110)에 의해 실행되는 경우 동작 인식 및 분류 장치(100)로 하여금 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 신경망을 기반으로 동작 정보의 동작을 분류하기 위한 동작을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능한 저장 매체(130)는 영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 신경망을 기반으로 동작 정보의 동작을 분류하기 위한 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(131)은 프로세서(110)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능한 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 동작 인식 및 분류 장치(100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(150)는 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 동작 인식 및 분류 장치(100)의 다른 다양한 컴포넌트들을 상호 연결한다.

동작 인식 및 분류 장치(100)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(170) 및 하나 이상의 통신 인터페이스(190)를 포함할 수 있다. 입출력 인터페이스(170) 및 통신 인터페이스(190)는 통신 버스(150)에 연결된다. 입출력 장치(도시하지 않음)는 입출력 인터페이스(170)를 통해 동작 인식 및 분류 장치(100)의 다른 컴포넌트들에 연결될 수 있다.

그러면, 도 2 내지 도 8을 참조하여 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법에 대하여 설명한다.

도 2는 본 발명의 바람직한 실시예에 따른 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법을 설명하기 흐름도이고, 도 3은 본 발명의 바람직한 실시예에 따른 사람의 관절 포인트를 설명하기 위한 도면이며, 도 4는 본 발명의 바람직한 실시예에 따른 관절 포인트 특징 정보를 설명하기 위한 도면이고, 도 5는 본 발명의 바람직한 실시예에 따른 관절 포인트 각도 정보의 획득 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 바람직한 실시예에 따른 관절 포인트 각도 정보를 설명하기 위한 도면이고, 도 7은 본 발명의 바람직한 실시예에 따른 동작 정보에 대응되는 동작 분류 정보의 획득 과정을 설명하기 위한 도면이며, 도 8은 본 발명의 바람직한 실시예에 따른 컨볼루션 신경망의 학습 과정을 설명하기 위한 도면이다.

도 2를 참조하면, 동작 인식 및 분류 장치(100)의 프로세서(110)는 사람을 촬영한 영상 데이터를 획득할 수 있다(S110).

그런 다음, 프로세서(110)는 영상 데이터에서 사람의 관절 포인트를 인식하고, 인식한 관절 포인트를 기반으로 동작 정보를 획득할 수 있다(S120).

여기서, 동작 정보는 미리 설정된 33개의 관절 포인트 각각에 대한 관절 포인트 특징 정보 및 33개의 관절 포인트 중에서 미리 설정된 8개의 관절 포인트 각각에 대한 관절 포인트 각도 정보를 포함할 수 있다. 관절 포인트 특징 정보는 X좌표, Y좌표, Z좌표 및 가시성(visivility)을 나타낼 수 있다. 관절 포인트 각도 정보는 인접한 관절 포인트들과 이루는 각을 나타낼 수 있다.

즉, 프로세서(110)는 영상 데이터를 구성하는 복수개의 이미지 프레임 각각에 대하여 33개의 관절 포인트 특징 정보 및 8개의 관절 포인트 각도 정보를 획득하여, 이미지 프레임별 33개의 관절 포인트 특징 정보 및 8개의 관절 포인트 각도 정보로 이루어지는 동작 정보를 획득할 수 있다.

보다 자세히 설명하면, 프로세서(110)는 영상 데이터에서 도 3에 도시된 바와 같은 33개의 관절 포인트(관절 포인트 0 ~ 관절 포인트 32) 각각에 대한 관절 포인트 특징 정보를 획득할 수 있다.

여기서, 33개의 관절 포인트는 아래와 같다.

- 관절 포인트 0 : 코(nose)

- 관절 포인트 1 : 좌측_눈_안쪽(left_eye_inner)

- 관절 포인트 2 : 좌측_눈(left_eye)

- 관절 포인트 3 : 좌측_눈_바깥쪽(left_eye_outer)

- 관절 포인트 4 : 우측_눈_안쪽(right_eye_inner)

- 관절 포인트 5 : 우측_눈(right_eye)

- 관절 포인트 6 : 우측_눈_바깥쪽(right_eye_outer)

- 관절 포인트 7 : 좌측_귀(left_ear)

- 관절 포인트 8 : 우측_귀(right_ear)

- 관절 포인트 9 : 입_좌측(mouth_left)

- 관절 포인트 10 : 입_우측(mouth_right)

- 관절 포인트 11 : 좌측_어깨(left_shoulder)

- 관절 포인트 12 : 우측_어깨(right_shoulder)

- 관절 포인트 13 : 좌측_팔꿈치(left_elbow)

- 관절 포인트 14 : 우측_팔꿈치(right_elbow)

- 관절 포인트 15 : 좌측_손목(left_wrist)

- 관절 포인트 16 : 우측_손목(right_wrist)

- 관절 포인트 17 : 좌측_새끼손가락(left_pinky)

- 관절 포인트 18 : 우측_새끼손가락(right_pinky)

- 관절 포인트 19 : 좌측_인덱스(left_index)

- 관절 포인트 20 : 우측_인덱스(right_index)

- 관절 포인트 21 : 좌측_엄지손가락(left_thumb)

- 관절 포인트 22 : 우측_엄지손가락(right_thumb)

- 관절 포인트 23 : 좌측_엉덩이(left_hip)

- 관절 포인트 24 : 우측_엉덩이(right_hip)

- 관절 포인트 25 : 좌측_무릎(left_knee)

- 관절 포인트 26 : 우측_무릎(right_knee)

- 관절 포인트 27 : 좌측_발목(left_ankle)

- 관절 포인트 28 : 우측_발목(right_ankle)

- 관절 포인트 29 : 좌측_발뒤꿈치(left_heel)

- 관절 포인트 30 : 우측_발뒤꿈치(right_heel)

- 관절 포인트 31 : 좌측_발_인덱스(left_foot_index)

- 관절 포인트 32 : 우측_발_인덱스(right_foot_index)

이때, 프로세서(110)는 종래에 널리 사용되고 있는 동작 인식 알고리즘을 이용하여 영상 데이터에서 33개의 관절 포인트(관절 포인트 0 ~ 관절 포인트 32) 각각에 대한 관절 포인트 특징 정보를 획득할 수 있다. 예컨대, 프로세서(110)는 구글에서 제공하는 미디어파이프(MediaPipe)의 인간 자세 검출 및 추적(Human Pose Detection and Tracking) 기술을 이용하여 관절 포인트 특징 정보를 획득할 수 있다.

그러면, 프로세서(110)는 도 4에 도시된 바와 같이, 33개의 관절 포인트(관절 포인트 0 ~ 관절 포인트 32) 각각에 대한 관절 포인트 특징 정보를 획득할 수 있다.

그리고, 프로세서(110)는 33개의 관절 포인트(관절 포인트 0 ~ 32) 각각에 대한 관절 포인트 특징 정보를 기반으로, 33개의 관절 포인트(관절 포인트 0 ~ 32) 중에서 미리 설정된 8개의 관절 포인트(관절 포인트 11 ~ 14, 관절 포인트 23 ~ 26) 각각에 대한 관절 포인트 각도 정보를 획득할 수 있다.

여기서, 33개의 관절 포인트 중에서 각도 정보를 획득하는 대상인 8개의 관절 포인트는 아래와 같다. 본 발명은 운동 동작을 정확하게 분류하기 위해, 사람이 운동을 할 때 가장 변화가 잦고 각 운동마다 다른 각도를 가지는 특징을 확인하여 아래와 같은 8개의 관절 포인트를 각도를 계산할 관절 포인트로 설정한다.

- 관절 포인트 11 : 좌측_어깨(left_shoulder)

- 관절 포인트 12 : 우측_어깨(right_shoulder)

- 관절 포인트 13 : 좌측_팔꿈치(left_elbow)

- 관절 포인트 14 : 우측_팔꿈치(right_elbow)

- 관절 포인트 23 : 좌측_엉덩이(left_hip)

- 관절 포인트 24 : 우측_엉덩이(right_hip)

- 관절 포인트 25 : 좌측_무릎(left_knee)

- 관절 포인트 26 : 우측_무릎(right_knee)

즉, 관절 포인트 11(좌측_어깨)에 대한 각도 정보는 관절 포인트 11(좌측_어깨)을 기준으로 관절 포인트 12(우측_어깨)로 향하는 변과 관절 포인트 11(좌측_어깨)을 기준으로 관절 포인트 13(좌측_팔꿈치)으로 향하는 변이 서로 벌어진 정도를 나타낸다. 관절 포인트 12(우측_어깨)에 대한 각도 정보는 관절 포인트 12(우측_어깨)를 기준으로 관절 포인트 11(좌측_어깨)로 향하는 변과 관절 포인트 12(우측_어깨)를 기준으로 관절 포인트 14(우측_팔꿈치)로 향하는 변이 서로 벌어진 정도를 나타낸다. 관절 포인트 13(좌측_팔꿈치)에 대한 각도 정보는 관절 포인트 13(좌측_팔꿈치)을 기준으로 관절 포인트 11(좌측_어깨)로 향하는 변과 관절 포인트 13(좌측_팔꿈치)을 기준으로 관절 포인트 15(좌측_손목)로 향하는 변이 서로 벌어진 정도를 나타낸다. 관절 포인트 14(우측_팔꿈치)에 대한 각도 정보는 관절 포인트 14(우측_팔꿈치)를 기준으로 관절 포인트 12(우측_어깨)로 향하는 변과 관절 포인트 14(우측_팔꿈치)를 기준으로 관절 포인트 16(우측_손목)으로 향하는 변이 서로 벌어진 정도를 나타낸다.

그리고, 관절 포인트 23(좌측_엉덩이)에 대한 각도 정보는 관절 포인트 23(좌측_엉덩이)을 기준으로 관절 포인트 24(우측_엉덩이)로 향하는 변과 관절 포인트 23(좌측_엉덩이)을 기준으로 관절 포인트 25(좌측_무릎)로 향하는 변이 서로 벌어진 정도를 나타낸다. 관절 포인트 24(우측_엉덩이)에 대한 각도 정보는 관절 포인트 24(우측_엉덩이)를 기준으로 관절 포인트 23(좌측_엉덩이)으로 향하는 변과 관절 포인트 24(우측_엉덩이)를 기준으로 관절 포인트 26(우측_무릎)으로 향하는 변이 서로 벌어진 정도를 나타낸다. 관절 포인트 25(좌측_무릎)에 대한 각도 정보는 관절 포인트 25(좌측_무릎)를 기준으로 관절 포인트 23(좌측_엉덩이)으로 향하는 변과 관절 포인트 25(좌측_무릎)를 기준으로 관절 포인트 27(좌측_발목)로 향하는 변이 서로 벌어진 정도를 나타낸다. 관절 포인트 26(우측_무릎)에 대한 각도 정보는 관절 포인트 26(우측_무릎)을 기준으로 관절 포인트 24(우측_엉덩이)로 향하는 변과 관절 포인트 26(우측_무릎)을 기준으로 관절 포인트 28(우측_발목)로 향하는 변이 서로 벌어진 정도를 나타낸다.

예컨대, 프로세서(110)는 관절 포인트 13(좌측_팔꿈치)에 대한 관절 포인트 각도 정보는 도 5에 도시된 바와 같이 계산할 수 있다. 관절 포인트 13(좌측_팔꿈치)에 대한 관절 포인트 각도 정보 θ_i는 관절 포인트 13(좌측_팔꿈치)의 좌표 정보(x_i,y_i,z_i)와 관절 포인트 11(좌측_어깨)의 좌표 정보 (x_j,y_j,z_j)를 통해 계산된 벡터 v_ij 및 관절 포인트 13(좌측_팔꿈치)의 좌표 정보(x_i,y_i,z_i)와 관절 포인트 15(좌측_손목)의 좌표 정보 (x_k,y_k,z_k)를 통해 계산된 벡터 v_ik를 이용하여 계산될 수 있다.

그러면, 프로세서(110)는 도 6에 도시된 바와 같이, 8개의 관절 포인트(관절 포인트 11 ~ 14, 관절 포인트 23 ~ 26) 각각에 대한 관절 포인트 각도 정보를 획득할 수 있다.

그리고, 프로세서(110)는 33개의 관절 포인트 특징 정보 및 8개의 관절 포인트 각도 정보를 기반으로 동작 정보를 획득할 수 있다.

그런 다음, 프로세서(110)는 미리 학습되어 구축된 컨볼루션 신경망을 이용하여, 동작 정보를 기반으로 동작 정보에 대응되는 동작 분류 정보를 획득할 수 있다(S130).

즉, 프로세서(110)는 도 7에 도시된 바와 같이, 동작 정보를 컨볼루션 신경망에 입력하고, 컨볼루션 신경망의 출력을 기반으로 동작 정보에 대응되는 동작 분류 정보를 획득할 수 있다.

여기서, 컨볼루션 신경망은 도 8에 도시된 바와 같이, 컨볼루션 블록 어텐션 모듈(CBAM)을 이용한 컨볼루션 신경망(CNN)으로, 동작 정보를 입력으로 하고, 입력된 동작 정보에 대응되는 동작을 출력으로 할 수 있다. 이와 같이, 본 발명은 컨볼루션 블록 어텐션 모듈(CBAM)을 이용함으로써, 동작 분류 속도 개선을 통해 동작 분류 시에 발생하는 딜레이(delay) 현상을 줄일 수 있고, 사람의 동작을 실시간으로 높은 정확도로 인식하여 홈트레이닝에서 자세를 분석하는데 도움을 줄 수 있다.

그리고, 컨볼루션 신경망은 복수개의 영상 데이터로 이루어지는 학습 데이터 및 학습 데이터에 포함된 영상 데이터 각각에 대한 동작 명칭으로 이루어지는 정답 레이블을 이용하여 학습되어 구축될 수 있다.

이때, 컨볼루션 신경망은 학습 데이터에 포함된 영상 데이터 각각에서 획득된 동작 정보(이미지 프레임별 33개의 관절 포인트 특징 정보와 8개의 관절 포인트 각도 정보) 및 정답 레이블을 이용하여 학습되어 구축될 수 있다.

이후, 프로세서(110)는 동작 분류 정보를 기반으로 동작 명칭을 출력할 수 있다(S140).

정리하면, 기존 동작 인식 연구는 좌표 정보만을 이용하거나 각 포인트 사이의 거리를 계산하여 동작 분류에 적용하고 있다. 하지만, 본 발명은 기존의 동작 인식 연구와는 다르게 동작 분류에 있어서 중요한 분류 요소가 되는 각도 정보를 추가적으로 추출하여 동작 인식 정확도를 향상시킬 수 있다. 실제로, 사람이 움직이게 되면 좌표 정보와 본 발명에서 추출한 각도 정보가 변화하게 된다. 이때, 각 동작별로 좌표 정보와 각도 정보의 변화를 학습하여 동작 분류의 정확도를 향상시키게 된다. 본 발명에서 각도 정보를 8개의 관절 포인트를 대상으로 하는 이유는 본 발명이 선정한 8개의 관절 포인트의 각도가 동작 분류 시에 가장 높은 정확도를 가지기 때문이다. 더 많은 관절 포인트에서 각도 정보를 추출하게 되면, 정확도를 더 높일 수는 있지만, 연산량이 많아져서 학습 속도나 분류 속도가 느려지는 현상이 나타나게 된다. 이에 따라, 본 발명은 정확도를 향상시키면서 빠른 분류 속도를 달성하기 위해 동작에 따라 각도의 변화가 큰 8개의 관절 포인트에서 각도 정보를 추출한다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다. 컴퓨터 판독 가능한 저장 매체는 실행을 위해 프로세서에 명령어를 제공하는데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예컨대, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 동작 인식 및 분류 장치,
110 : 프로세서,
130 : 컴퓨터 판독 가능한 저장 매체,
131 : 프로그램,
150 : 통신 버스,
170 : 입출력 인터페이스,
190 : 통신 인터페이스

Claims

영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류하는 동작 인식 및 분류 장치에 의해 수행되는 동작 인식 및 분류 방법으로서,
사람을 촬영한 상기 영상 데이터를 획득하는 단계;
상기 영상 데이터에서 상기 사람의 관절 포인트를 인식하고, 인식한 상기 관절 포인트를 기반으로 상기 동작 정보를 획득하는 단계;
미리 학습되어 구축된 상기 컨볼루션 신경망을 이용하여, 상기 동작 정보를 기반으로 상기 동작 정보에 대응되는 동작 분류 정보를 획득하는 단계; 및
상기 동작 분류 정보를 기반으로 동작 명칭을 출력하는 단계;
를 포함하는 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제1항에서,
상기 동작 정보는,
미리 설정된 33개의 상기 관절 포인트 각각에 대한 관절 포인트 특징 정보 및 33개의 상기 관절 포인트 중에서 미리 설정된 8개의 상기 관절 포인트 각각에 대한 관절 포인트 각도 정보를 포함하는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제2항에서,
상기 관절 포인트 특징 정보는,
X좌표, Y좌표, Z좌표 및 가시성(visivility)을 나타내고,
상기 관절 포인트 각도 정보는,
인접한 상기 관절 포인트들과 이루는 각을 나타내는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제2항에서,
상기 동작 정보 획득 단계는,
상기 영상 데이터에서 33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 획득하고,
33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 기반으로 8개의 상기 관절 포인트 각각에 대한 관절 포인트 각도 정보를 획득하며,
33개의 상기 관절 포인트 특징 정보 및 8개의 상기 관절 포인트 각도 정보를 기반으로 상기 동작 정보를 획득하는 것으로 이루어지는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제4항에서,
8개의 상기 관절 포인트는,
좌측_어깨(left_shoulder), 우측_어깨(right_shoulder), 좌측_팔꿈치(left_elbow), 우측_팔꿈치(right_elbow), 좌측_엉덩이(left_hip), 우측_엉덩이(right_hip), 좌측_무릎(left_knee) 및 우측_무릎(right_knee)인,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제2항에서,
상기 동작 분류 정보 획득 단계는,
상기 동작 정보를 상기 컨볼루션 신경망에 입력하고, 상기 컨볼루션 신경망의 출력을 기반으로 상기 동작 정보에 대응되는 상기 동작 분류 정보를 획득하는 것으로 이루어지는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제6항에서,
상기 컨볼루션 신경망은,
복수개의 영상 데이터로 이루어지는 학습 데이터 및 상기 학습 데이터에 포함된 영상 데이터 각각에 대한 동작 명칭으로 이루어지는 정답 레이블을 이용하여 학습되어 구축되는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제7항에서,
상기 컨볼루션 신경망은,
상기 학습 데이터에 포함된 영상 데이터 각각에서 획득된 상기 동작 정보 및 상기 정답 레이블을 이용하여 학습되어 구축되는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법.
제1항 내지 제8항 중 어느 한 항에 기재된 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
영상 데이터에서 동작을 인식하여 동작 정보를 획득하고, 컨볼루션 블록 어텐션 모듈(convolutional block attention module, CBAM)을 이용한 컨볼루션 신경망(convolutional neural network, CNN)을 기반으로 동작 정보의 동작을 분류하는 동작 인식 및 분류 장치로서,
상기 영상 데이터에서 동작을 인식하여 상기 동작 정보를 획득하고, 상기 컨볼루션 신경망을 기반으로 상기 동작 정보의 동작을 분류하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 상기 영상 데이터에서 동작을 인식하여 상기 동작 정보를 획득하고, 상기 컨볼루션 신경망을 기반으로 상기 동작 정보의 동작을 분류하기 위한 동작을 수행하는 하나 이상의 프로세서;
를 포함하며,
상기 프로세서는,
사람을 촬영한 상기 영상 데이터를 획득하고,
상기 영상 데이터에서 상기 사람의 관절 포인트를 인식하고, 인식한 상기 관절 포인트를 기반으로 상기 동작 정보를 획득하며,
미리 학습되어 구축된 상기 컨볼루션 신경망을 이용하여, 상기 동작 정보를 기반으로 상기 동작 정보에 대응되는 동작 분류 정보를 획득하고,
상기 동작 분류 정보를 기반으로 동작 명칭을 출력하는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치.
제10항에서,
상기 동작 정보는,
미리 설정된 33개의 상기 관절 포인트 각각에 대한 관절 포인트 특징 정보 및 33개의 상기 관절 포인트 중에서 미리 설정된 8개의 상기 관절 포인트 각각에 대한 관절 포인트 각도 정보를 포함하는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치.
제11항에서,
상기 프로세서는,
상기 영상 데이터에서 33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 획득하고,
33개의 상기 관절 포인트 각각에 대한 상기 관절 포인트 특징 정보를 기반으로 8개의 상기 관절 포인트 각각에 대한 관절 포인트 각도 정보를 획득하며,
33개의 상기 관절 포인트 특징 정보 및 8개의 상기 관절 포인트 각도 정보를 기반으로 상기 동작 정보를 획득하는,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치.
제12항에서,
8개의 상기 관절 포인트는,
좌측_어깨(left_shoulder), 우측_어깨(right_shoulder), 좌측_팔꿈치(left_elbow), 우측_팔꿈치(right_elbow), 좌측_엉덩이(left_hip), 우측_엉덩이(right_hip), 좌측_무릎(left_knee) 및 우측_무릎(right_knee)인,
컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 장치.