KR102382419B1

KR102382419B1 - 3d 관절 점 회귀 모델의 생성 방법 및 장치

Info

Publication number: KR102382419B1
Application number: KR1020210008115A
Authority: KR
Inventors: 칭위에 멍; 천 자오
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-01-20
Filing date: 2021-01-20
Publication date: 2022-04-08
Also published as: US11341718B2; US20210225069A1; JP2021114295A; JP7361060B2; CN111260774A; CN111260774B; EP3859678A1; KR20210093795A

Abstract

본 출원의 실시예는 3D 관절 점 회귀 모델의 생성 방법 및 장치를 제공한다. 상기 방법은 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하는 단계; 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계; 및 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계를 포함한다. 상기 방법은 3D 태그를 포함하는 샘플 이미지가 제한되어 있는 상황에서 향상된 예측 능력을 갖는 관절 점 회귀 모델을 트레이닝해낼 수 있다.

Description

3D 관절 점 회귀 모델의 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING 3D JOINT POINT REGRESSION MODEL}

본 출원은 컴퓨터 기술분야에 관한 것이고, 구체적으로 3차원(3D) 신체 회귀 기술분야에 관한 것이며, 특히 3차원(3D) 관절 점 회귀 모델의 생성 방법 및 장치, 3D 관절 점 좌표의 생성 방법 및 장치에 관한 것이다.

혼합 데이터에 기반한 3D 신체 회귀 기술은 딥러닝 기술을 이용하여 3차원(3D) 신체 회귀를 진행하면서 2차원(2D) 태깅 데이터 및 3차원(3D) 태깅 데이터를 사용하여 동시에 트레이닝하는 것을 가리킨다. 현재 딥러닝 기술이 발전됨에 따라, 이의 다양한 분야에서의 응용도 점점 광범위해 지고 있는데, 예를 들면 다양한 물체 또는 태스크의 키포인트에 대한 회귀 등이 있다. 딥러닝 기술은 정확하게 태깅된 데이터에 의존하기에, 3D 데이터의 태깅은 2D 데이터의 태깅보다 난이도가 더 높다. 따라서 현재 학술계와 공업계에서는 대부분 2D 키포인트의 회귀에 대해 연구하고 있는 반면, 3D 신체의 러닝에 대한 연구는 아직 부족하다.

본 출원의 실시예는 3D 관절 점 회귀 모델의 생성 방법 및 장치, 3D 관절 점 좌표의 생성 방법 및 장치를 제공한다.

제1 양태에 따르면, 본 출원의 실시예는 3D 관절 점 회귀 모델의 생성 방법을 제공하고, 이는 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하는 단계; 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계; 및 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계를 포함한다.

일부 실시예에서, 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계는, 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 2D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수를 제1 예상 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계를 포함한다.

일부 실시예에서, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계는, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하고, 3D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수의 가중치를 제2 예상 출력의 제1 부분 출력에 대응되는 손실 함수로 하며, 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수의 가중치를 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계를 포함한다.

일부 실시예에서, 기하학적 제약 손실 함수는 각각의 예측 골격의 길이 비율과 샘플 이미지 집합 골격의 길이 비율의 평균값 사이의 유클리드 거리를 포함하고; 예측 골격은 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 중의 골격이며; 각각의 예측 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 각각의 샘플 이미지에 대응되는 각각의 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이고; 샘플 이미지 집합 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 전부 샘플 이미지에 대응되는 전부 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이다.

일부 실시예에서, 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수는, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 할 경우, 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 깊이 정보 맵 집합 중의 깊이 정보와 3D 태그에서 태깅한 관절 점 깊이 정보의 유클리드 거리를 포함한다.

일부 실시예에서, 기초 3D 관절 점 회귀 모델은, 초기 3D 관절 점 회귀 모델; 또는 2D 태그를 포함하는 샘플 이미지를 사용하여 초기 3D 관절 점 회귀 모델을 트레이닝하여 얻은 사전 트레이닝한 3D 관절 점 회귀 모델 중 어느 하나를 포함한다.

일부 실시예에서, 사전 트레이닝한 3D 관절 점 회귀 모델은, 2D 태그를 포함하는 샘플 이미지를 입력으로 하고, 2D 태그를 예상 출력으로 하며, 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합에 기초하여 결정한 관절 점 좌표와 2D 태그 중의 2D 관절 점 좌표 사이의 유클리드 거리를 손실 함수로 하여, 초기 3D 관절 점 회귀 모델을 트레이닝하는 단계를 통해 결정된다.

제2 양태에 따르면, 본 출원의 실시예는 3D 관절 점 좌표의 생성 방법을 제공하고, 인물을 포함하는 이미지를 획득하는 단계; 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻는 단계 - 트레이닝을 거친 3D 관절 점 회귀 모델은 상술한 실시예 중 어느 하나에 따른 3D 관절 점 회귀 모델의 생성 방법을 사용하여 기초 3D 관절 점 회귀 모델을 트레이닝하여 얻은 것임 - ; 및 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 인물의 3D 관절 점 좌표를 결정하는 단계를 포함한다.

일부 실시예에서, 방법은, 인물의 3D 관절 점 좌표에 기초하여, 인체의 동작 파라미터를 결정하는 단계; 및 인체의 동작 파라미터에 기초하여, 인물의 동작을 제시하기 위한 제시 정보를 생성하는 단계를 더 포함한다.

제3 양태에 따르면, 본 출원의 실시예는 3D 관절 점 회귀 모델의 생성 장치를 제공하고, 이는 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하는 샘플 이미지 획득 유닛; 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 일부 채널 트레이닝 유닛; 및 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 전부 채널 트레이닝 유닛을 포함한다.

일부 실시예에서, 일부 채널 트레이닝 유닛은 또한, 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 2D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수를 제1 예상 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝한다.

일부 실시예에서, 전부 채널 트레이닝 유닛은 또한, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하고, 3D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수의 가중치를 제2 예상 출력의 제1 부분 출력에 대응되는 손실 함수로 하며, 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수의 가중치를 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝한다.

일부 실시예에서, 일부 채널 트레이닝 유닛 또는 전부 채널 트레이닝 유닛 양자 중의 기하학적 제약 손실 함수는 각각의 예측 골격의 길이 비율과 샘플 이미지 집합 골격의 길이 비율의 평균값 사이의 유클리드 거리를 포함하고; 예측 골격은 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 중의 골격이며; 각각의 예측 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 각각의 샘플 이미지에 대응되는 각각의 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이고; 샘플 이미지 집합 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 전부 샘플 이미지에 대응되는 전부 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이다.

일부 실시예에서, 전부 채널 트레이닝 유닛에서 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수는, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 할 경우, 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 깊이 정보 맵 집합 중의 깊이 정보와 3D 태그에서 태깅한 관절 점 깊이 정보의 유클리드 거리를 포함한다.

일부 실시예에서, 일부 채널 트레이닝 유닛 또는 전부 채널 트레이닝 유닛 양자 중의 기초 3D 관절 점 회귀 모델은, 초기 3D 관절 점 회귀 모델; 또는 2D 태그를 포함하는 샘플 이미지를 사용하여 초기 3D 관절 점 회귀 모델을 트레이닝하여 얻은 사전 트레이닝한 3D 관절 점 회귀 모델 중 어느 하나를 포함한다.

제4 양태에 따르면, 본 출원의 실시예는 3D 관절 점 좌표의 생성 장치를 제공하고, 이는 인물을 포함하는 이미지를 획득하는 이미지 획득 유닛; 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻는 이미지 입력 유닛 - 트레이닝을 거친 3D 관절 점 회귀 모델은 상술한 실시예 중 어느 하나에 따른 3D 관절 점 회귀 모델의 생성 장치를 사용하여 기초 3D 관절 점 회귀 모델을 트레이닝하여 얻은 것임 - ; 및 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 인물의 3D 관절 점 좌표를 결정하는 좌표 결정 유닛을 포함한다.

일부 실시예에서, 장치는, 인물의 3D 관절 점 좌표에 기초하여, 인체의 동작 파라미터를 결정하는 동작 파라미터 결정 유닛; 및 인체의 동작 파라미터에 기초하여, 인물의 동작을 제시하기 위한 제시 정보를 생성하는 제시 정보 생성 유닛을 더 포함한다.

제5 양태에 따르면, 본 출원의 실시예는 전자 기기/단말기/서버를 제공하고, 이는 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하고, 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행될 경우, 하나 또는 복수의 프로세서가 상술한 어느 한 실시예에 따른 방법을 구현하도록 한다.

제6 양태에 따르면, 본 출원의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체를 제공하고, 상기 프로그램이 프로세서에 의해 실행될 경우 상술한 어느 한 실시예에 따른 3D 관절 점 회귀 모델의 생성 방법 및/또는 3D 관절 점 좌표의 생성 방법을 구현한다.

제6 양태에 따르면, 본 출원의 실시예는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램을 제공하며, 상기 프로그램이 프로세서에 의해 실행될 경우 상술한 어느 한 실시예에 따른 3D 관절 점 회귀 모델의 생성 방법 및/또는 3D 관절 점 좌표의 생성 방법을 구현한다.

본 출원의 실시예는 3D 관절 점 회귀 모델의 생성 방법 및 장치를 제공하고, 여기서, 3D 관절 점 회귀 모델의 생성 방법은 우선 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하고; 다음 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하며; 그 다음 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝한다. 이러한 과정에서, 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 사용하여 관절 점 회귀 모델 중의 일부 채널 및 전부 채널을 각각 트레이닝하여, 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 사용하여 3D 관절 점 회귀 모델의 파라미터를 동시에 조절할 수 있기에, 3D 태그를 포함하는 샘플 이미지가 제한되어 있는 상황에서 향상된 예측 능력을 구비하는 관절 점 회귀 모델을 트레이닝해낼 수 있고, 후속적으로 이미 트레이닝 완료된 관절 점 회귀 모델에 기초하여 입력 이미지의 3D 관절 점을 생성하는 정확도를 향상시킬 수 있다.

일부 실시에에서, 2D 태그를 포함하는 샘플 이미지를 사용하여 초기 3D 관절 점 회귀 모델을 사전 트레이닝하여, 사전 트레이닝한 3D 관절 점 회귀 모델을 얻고, 사전 트레이닝한 3D 관절 점 회귀 모델을 기초 3D 관절 점 회귀 모델로 사용하고, 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 사용하여 기초 3D 관절 점 네트워크를 트레이닝함으로써, 트레이닝을 거친 3D 관절 점 회귀 모델을 얻을 수 있다. 상기 과정에서 트레이닝을 거친 3D 관절 점 회귀 모델의 생성 효율 및 트레이닝을 거친 3D 관절 점 회귀 모델에 기반하여 3D 관절 점을 생성하는 정확도를 향상시킬 수 있다.

도면을 참조하여 진행하는 비제한적인 실시예에 대한 설명을 통해, 본 출원의 다른 특징, 목적 및 장점이 더 명확해질 것이다.
도 1은 본 출원이 적용될 수 있는 예시적 시스템 아키텍처이다.
도 2는 본 출원의 실시예에 따른 3D 관절 점 회귀 모델의 생성 방법의 일 실시예의 개략적인 흐름도이다.
도 3a는 본 출원의 실시예에 따른 3D 관절 점 회귀 모델의 생성 방법의 일 예시적 응용 상황이다.
도 3b는 도 3a의 응용 상황에서 3D 관절 점 회귀 모델의 생성 방법을 구현하는 개략도이다.
도 4는 본 출원의 실시예에 따른 3D 관절 점 좌표의 생성 방법의 일 실시예의 개략적인 흐름도이다.
도 5는 본 출원의 3D 관절 점 회귀 모델의 생성 장치의 일 실시예의 예시적 구조도이다.
도 6은 본 출원의 3D 관절 점 좌표의 생성 장치의 일 실시예의 예시적 구조도이다.
도 7은 본 출원의 실시예의 서버에 적용되는 컴퓨터 시스템의 개략적인 구성도이다.

아래 첨부 도면 및 실시예를 참조하여 본 출원을 더 상세히 설명한다. 여기서 설명되는 구체적인 실시예는 관련 발명을 해석하기 위한 것일뿐 본 출원은 이에 한정되지 않음을 이해할 수 있을 것이다. 이 밖에, 설명의 편의를 위해 도면에는 해당 발명과 관련된 부분만이 도시되었음을 유의해야 한다.

모순되지 않는 한 본 출원의 실시예 및 실시예의 특징은 서로 결합될 수 있음을 유의해야 한다. 아래 첨부 도면을 참조하고 실시예를 결부시켜 본 출원을 상세히 설명하기로 한다. 비록 본 명세서에서 "제1", "제2" 등 용어를 사용하여 다양한 입력, 예상 출력, 부분 출력 등을 설명하였으나, 이러한 입력, 예상 출력, 부분 출력은 이러한 용어에 의해 제한되는 것이 아니다. 이러한 용어는 단지 하나의 입력, 예상 출력, 부분 출력을 다른 입력, 예상 출력, 부분 출력과 구분하기 위한 것이다.

도 1은 본 출원의 3D 관절 점 회귀 모델의 생성 방법 또는 3D 관절 점 회귀 모델의 생성 장치의 실시예에 적용될 수 있는 예시적 시스템 아키텍처(100)이다.

도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크의 매체를 제공한다. 네트워크(104)는 다양한 연결 타입을 포함할 수 있는 바, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등이다.

사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메시지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)에는 다양한 통신 클라이언트 애플리케이션이 설치될 수 있는 바, 예를 들면 자동화 모델링 소프트웨어, 웹페이지 브라우징 애플리케이션, SNS 소프트웨어 등일 수 있다.

단말 기기(101, 102, 103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우 디스플레이 스크린을 구비하고 정보 입력을 지원하는 다양한 전자 기기일 수 있으며, 스마트폰, 태블릿PC, 휴대형 랩톱 및 데스크톱 등을 포함하나 이에 한정되는 것은 아니다. 단말 기기(101, 102, 103)가 소프트웨어인 경우 상기 열거된 전자 기기에 설치될 수 있다. 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산형 서비스를 제공함)로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.

서버(105)는 다양한 서비스를 제공하는 서버일 수 있고, 예를 들면 단말 기기(101, 102, 103)에서 실행되는 브라우저 애플리케이션을 지원하는 백그라운드 서버일 수 있다. 백그라운드 서버는 수신된 요청 등 데이터에 대해 분석 등 처리를 진행하고 처리 결과를 단말 기기에 피드백할 수 있다.

설명해야 할 것은, 서버는 하드웨어 또는 소프트웨어일 수 있다. 서버가 하드웨어인 경우 복수의 서버로 구성된 분산형 서버 클러스터로 구현될 수 있고, 하나의 서버로 구현될 수도 있다. 서버가 소프트웨어인 경우 분산식 서버를 제공하기 위한 복수의 소프트웨어 또는 소프트웨어 모듈로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.

실제 응용에서, 본 출원의 실시예에서 제공하는 3D 관절 점 회귀 모델의 생성 방법, 3D 관절 점 좌표의 생성 방법은 단말 기기(101, 102, 103) 및/또는 서버(105, 106)에 수행될 수 있고, 3D 관절 점 회귀 모델의 생성 장치, 3D 관절 점 좌표의 생성 장치도 단말 기기(101, 102, 103) 및/또는 서버(105, 106)에 설치될 수 있다.

이해해야 할 것은, 도 1의 단말 기기, 네트워크 및 서버의 개수는 예시적인 것일 뿐이며, 실시 필요에 따라 임의의 개수의 단말 기기, 네트워크 및 서버를 구비할 수 있다.

계속하여 도 2를 참조하면, 도 2는 본 출원의 실시예에 따른 3D 관절 점 회귀 모델의 생성 방법의 일 실시예의 흐름(200)이다. 상기 3D 관절 점 회귀 모델의 생성 방법은 아래와 같은 단계를 포함한다.

단계 201에서 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득한다.

본 실시예에서, 3D 관절 점 회귀 모델의 생성 방법의 수행 주체(예를 들면 도 1에 도시된 단말 또는 서버)는 로컬 또는 클라우드에서 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득할 수 있다.

단계 202에서 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝한다.

본 실시예에서, 2D 태그를 포함하는 샘플 이미지는 기초 2D 관절 점 회귀 모델을 트레이닝하기 위한 것으로서 2차원 좌표 태그를 포함하는 트레이닝 샘플 이미지이다. 관절 점 히트 맵은 관절을 가리키는 포인트가 표시된 히트 맵이다. 일부 채널은 출력층 중의 일부 완전 연결 출력 채널이다.

상기 기초 3D 관절 점 회귀 모델은 초기 3D 관절 점 회귀 모델; 또는 2D 태그를 포함하는 샘플 이미지를 사용하여 초기 3D 관절 점 회귀 모델을 트레이닝하여 얻은 사전 트레이닝한 3D 관절 점 회귀 모델 중 어느 하나를 포함할 수 있다.

여기서 초기 관절 점 회귀 모델은 직렬된 아워글래스 모델(hourglass)을 사용하여 구현될 수도 있고, 서열화된 FCN(Full convolutional network) 구조를 통해 공간 정보 및 패턴 정보를 학습하여 인체 자세를 추정하는 Convolutional Pose Machines(CPM) 모델로 구현될 수도 있다. 이밖에, 인체 자세 식별 프로젝트 모델(Open Pose), 인체 자세 추정 모델(Alpha Pose) 등을 통해 구현될 수도 있다.

여기서 2D 태그를 포함하는 샘플 이미지를 사용하여 초기 3D 관절 점 회귀 모델을 트레이닝하여, 사전 트레이닝한 3D 관절 점 회귀 모델을 얻은 후, 사전 트레이닝한 3D 관절 점 회귀 모델을 기초 3D 관절 점 회귀 모델로 하는 것은 사전 트레이닝한 3D 관절 점 회귀 모델의 앞순위의 다수 층을 사용하여 하위 레벨 특징을 추출한 후, 마지막으로 새로운 트레이닝 분류에 돌입하는 것에 해당된다. 이로써 초기 3D 관절 점 회귀 모델을 완전히 다시 트레이닝할 필요가 없이 3D 관절 점 회귀 모델의 생성 확률을 향상시킬 수 있다. 초기 3D 관절 점 회귀 모델을 새로 트레이닝함에 있어서, 정확률이 아주 낮은 값으로부터 시작하여 천천히 올라가기에, 사전 트레이닝한 3D 관절 점 회귀 모델을 사용할 경우 상대적으로 적은 반복 횟수를 거쳐 보다 바람직한 효과를 얻을 수 있다.

2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝할 경우, 선행 기술 또는 앞으로 발전되는 기술 중의 손실 함수를 사용하여 트레이닝 효과를 제약할 수 있다. 예를 들면 평균 제곱 오차 손실 함수, 평균 절대 오차 손실 함수, Huber 손실 함수, Log-Cosh 손실 함수, 백분위수 손실 함수 중의 하나 또는 다수를 손실 함수로 사용할 수 있다.

하나의 구체적인 예시에서, 사전 트레이닝한 3D 관절 점 회귀 모델은, 2D 태그를 포함하는 샘플 이미지를 입력으로 하고, 2D 태그를 예상 출력으로 하며, 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합에 기초하여 결정한 관절 점 좌표와 2D 태그 중의 2D 관절 점 좌표 사이의 유클리드 거리를 손실 함수로 하여, 초기 3D 관절 점 회귀 모델을 트레이닝하는 단계를 통해 결정된다.

본 실시예의 일부 가능한 실시형태에서, 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계는, 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 2D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수를 제1 예상 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계를 포함한다.

본 실시형태에서, 기하학적 제약 손실 함수는 인체의 골격의 기하학적 제약(예를 들면 골격의 길이, 골격 사이의 연결 관계 등)에 기초하여 결졍된 손실 함수이다.

깊이 정보가 태깅되지 않은, 2D 태그를 포함하는 샘플 이미지에 대해, 기하학적 제약 손실 함수를 손실 함수로 사용함으로써, 태깅되지 않은 깊이 정보가 최종 트레이닝 결과의 정확한 습관에 대한 영향을 감소하여, 트레이닝하여 얻은 3D 관절 점 회귀 모델의 출력층 중의 일부 채널의 정확성을 향상시킬 수 있다.

본 실시예의 일부 가능한 실시형태에서, 기하학적 제약 손실 함수는 각각의 예측 골격의 길이 비율과 샘플 이미지 집합 골격의 길이 비율의 평균값 사이의 유클리드 거리를 포함하고; 예측 골격은 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 중의 골격이며; 각각의 예측 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 각각의 샘플 이미지에 대응되는 각각의 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이고; 샘플 이미지 집합 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 전부 샘플 이미지에 대응되는 전부 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이다.

본 실시 형태에서, 2D 태그를 포함하는 샘플 이미지(3D 태그를 포함하는 샘플 이미지에 포함된 2D 태그를 포함하는 샘플 이미지를 포함함)에 대해, 기하학적 제약의 loss 함수는 구체적으로 수학식 (1)과 같다.

수학식 (1)

여기서,

는 기초 3D 관절 점 회귀 모델을 트레이닝하기 위한 전반적인 loss 함수이고, 입력이 2D 좌표 데이터 및 3D 좌표 데이터일 경우 상이한 loss 함수를 사용하여 거리를 계산한다. λ_reg와 λ_g는 현재 로딩된 샘플 이미지에 설정된 2D Loss와 3D Loss의 가중치를 가리키고, 이는 당업자가 경험, 응용 상황 또는 로딩된 샘플 이미지 집합 중 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지의 비율에 따라 설정할 수 있다.

는 현재 3D 관절 점 회귀 모델이 예측한 좌표를 가리키고, Y_dep는 3D 좌표 데이트의 실측값(ground truth)을 가리키며,

는 현재 로딩된 샘플 이미지가 3D 좌표를 포함하는 3D 태그를 갖는 샘플 이미지임을 가리키고,

는 현재 로딩된 샘플 이미지가 2D 좌표를 포함하는 2D 태그 또는 3D 태그를 갖는 샘플 이미지임을 가리킨다.

는 기하학적 제약 손실 함수이다. 이는 주로 하나의 결정된 사람의 골격 길이의 비율이 모두 상대적으로 고정된다는 사실에 기초한다. 예를 들면 한 사람의 위팔과 아래팔의 길이 비율, 허벅지와 종아리의 길이 비율은 모두 대략 고정된 것이고, 왼팔과 오른팔의 길이도 동일하다. 여기서 R_i를 사용하여 계산이 필요한 골격의 집합(즉 현재 로딩된 샘플 이미지 집합)을 표시하고, I_b를 사용하여 골격 b의 길이를 표시하며, 기준 데이터 집합 Human 3.6M 중의 골격 평균 길이를 손실 함수 중의 골격 기준

으로 사용한다. 따라서 비율

은 각각의 계산이 필요한 골격(즉 샘플 이미지 집합 중의 각각의 예측 골격)의 집합 R_i에 대해 하나의 고정된 수치여야 한다. 마지막으로 식

의 정의는 아래 수학식 (2)와 같다.

수학식 (2)

여기서

|R_i|는 샘플 이미지 집합의 크기를 가리키고,

는 상기 수학식에 의해 산출한 것이며, 그 함의는 현재 학습하는 샘플 이미지 집합 중 각각의 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율을 가리킨다.

단계 203에서 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝한다.

본 실시예에서, 3D 태그를 포함하는 샘플 이미지는 기초 3D 관절 점 회귀 모델을 트레이닝하기 위한 것으로서 3 차원 좌표 태그를 포함하는 트레이닝 샘플 이미지이다. 관절 점 깊이 정보 맵은 관절 점의 깊이 정보를 지시하기 위한 이미지이다. 전부 채널은 출력층 중의 모든 완전 연결 출력 채널이다.

3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝할 경우, 선행 기술 또는 앞으로 발전되는 기술 중의 손실 함수를 사용하여 트레이닝 효과를 제약할 수 있다. 예를 들면 평균 제곱 오차 손실 함수, 평균 절대 오차 손실 함수, Huber 손실 함수, Log-Cosh 손실 함수, 백분위수 손실 함수 중의 하나 또는 다수를 손실 함수로 사용할 수 있다.

본 실시예의 일부 가능한 실시형태에서, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계는, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하고, 3D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수의 가중치를 제2 예상 출력의 제1 부분 출력에 대응되는 손실 함수로 하며, 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수의 가중치를 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계를 포함한다.

본 실시형태에서, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하고, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하며, 3D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수의 가중치를 제2 예상 출력의 제1 부분 출력에 대응되는 손실 함수로 하고, 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수의 가중치를 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널를 트레이닝함으로써, 2D 태그를 포함하는 데이터를 사용하여 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 기초 상에서, 3D 태그를 포함하는 샘플 이미지를 사용하여 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 더 트레이닝하기에, 상대적으로 적은 반복 횟수를 거쳐 트레이닝 완료된 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널의 출력 정확성을 향상시킬 수 있다.

본 실시예의 일부 가능한 실시형태에서, 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수는, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 할 경우, 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 깊이 정보 맵 집합 중의 깊이 정보와 3D 태그에서 태깅한 관절 점 깊이 정보의 유클리드 거리를 포함한다.

본 실시형태에서, 3D 좌표 정보를 완전히 태깅한 샘플 이미지에 대해, 먼저 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리를 계산하여 유클리드 거리 손실 함수로 하고, 유클리드 거리 손실 함수의 가중치를 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 함으로써, 손실 함수의 계산 효율을 높이고, 3D 관절 점 회귀 모델의 생성 효율을 높인다.

본 출원의 상기 실시예에 따른 3D 관절 점 회귀 모델의 생성 방법은 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 사용하여 관절 점 회귀 모델 중의 일부 채널 및 전부 채널을 각각 트레이닝하여, 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 사용하여 3D 관절 점 회귀 모델의 파라미터를 동시에 조절할 수 있기에, 3D 태그를 포함하는 샘플 이미지가 제한되어 있는 상황에서 향상된 예측 능력을 구비하는 관절 점 회귀 모델을 트레이닝해낼 수 있고, 후속적으로 이미 트레이닝 완료된 관절 점 회귀 모델에 기초하여 입력 이미지의 3D 관절 점을 생성하는 정확도를 향상시킬 수 있다.

아래 도 3a 및 도 3b을 참조하여, 본 출원의 3D 관절 점 회귀 모델의 생성 방법의 예시적 응용 상황을 설명한다.

도 3a에 도시된 바와 같이, 도 3a는 본 출원의 실시예에 따른 3D 관절 점 회귀 모델의 생성 방법의 일 예시적 응용 상황을 도시한다.

도 3a에 도시된 바와 같이, 3D 관절 점 회귀 모델의 생성 방법(300)은 전자 기기(320)에서 수행되고 방법(300)은 아래와 같은 단계들을 포함한다.

우선 2D 태그를 포함하는 샘플 이미지(301) 및 3D 태그를 포함하는 샘플 이미지(302)를 획득하고;

다음 2D 태그를 포함하는 샘플 이미지(301)를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합(304)을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델(306)의 출력층 중의 일부 채널(307)을 트레이닝하며;

마지막으로 3D 태그를 포함하는 샘플 이미지(302)를 제2 입력(308)으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합(309)을 제2 예상 출력(310)의 제1 부분 출력(311), 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합(312)을 제2 예상 출력(310)의 제2 부분 출력(313)으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널(314)을 트레이닝한다.

이해해야 할 것은, 상기 도 3a에 도시된 3D 관절 점 회귀 모델의 생성 방법의 응용 상황은 3D 관절 점 회귀 모델의 생성 방법에 대한 예시적 설명일 뿐 해당 방법을 한정하는 것이 아니다. 예를 들면 상기 도 3a에 도시된 각각의 단계는 더 상세하게 방법을 구현할 수 있고 상기 도 3a의 기초 상에서 다른 단계를 더 추가할 수도 있다.

도 3b에 도시된 바와 같이, 도 3b에서 3D 관절 점 회귀 모델이 2D 태그를 포함하는 이미지 샘플을 로딩 시, 3D 관절 점 회귀 네트워크는 2D 태그에 대응되는 관절 점 히트 맵 집합을 출력하고 2D 태그를 사용하여 지도형(supervised) 관절 점 히트 맵 회귀를 형성하여 3D 관절 점 회귀 네트워크 모델을 트레이닝한다. 3D 관절 점 회귀 모델이 3D 태그를 포함하는 이미지 샘플을 로딩 시, 3D 관절 점 회귀 네트워크는 3D 태그에 대응되는 관절 점 히트 맵 집합 및 깊이 정보 맵 집합을 출력하고 3D 태그를 사용하여 지도형 관절 점 히트 맵 회귀 및 지도형 깊이 정보 맵 회귀를 형성하여 3D 관절 점 회귀 네트워크 모델을 트레이닝한다. 2D 태그를 포함하는 이미지 샘플 및 3D 태그를 포함하는 이미지 샘플을 사용하여 번갈아 트레이닝을 진행함으로써 트레이닝을 거친 3D 관절 점 회귀 네트워크 모델을 얻을 수 있다.

또한 도 4를 참조하면, 도 4는 본 출원의 실시예에 따른 3D 관절 점 좌표의 생성 방법의 일 실시예의 개략적인 흐름도이다.

도 4에 도시된 바와 같이, 본 실시예의 3D 관절 점 좌표의 생성 방법(400)은 아래와 같은 단계들을 포함할 수 있다.

단계 401에서 인물을 포함하는 이미지를 획득한다.

본 실시예에서, 3D 관절 점 좌표의 생성 방법의 수행 주체(예를 들면 도 1에 도시된 단말 또는 서버)는 로컬 또는 클라우드에서 태스크를 포함한 이미지를 획득할 수 있다.

단계 402에서 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻는다.

본 실시예에서, 상기 수행 주체는 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 트레이닝을 거친 3D 관절 점 회귀 모델의 출력층의 일부 채널이 출력한 관절 점 히트 맵 집합, 및 트레이닝을 거친 3D 관절 점 회귀 모델의 출력층의 전부 채널 중 상기 일부 채널을 제외한 채널로부터 출력한 관절 점 깊이 정보 맵 집합을 얻는다.

여기서 트레이닝을 거친 3D 관절 점 회귀 모델은 상기 도 2 또는 도 3의 3D 관절 점 회귀 모델의 생성 방법에 의해 기초 3D 관절 점 회귀 모델을 트레이닝하여 얻는다.

단계 403에서 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 인물의 3D 관절 점 좌표를 결정한다.

본 실시예에서, 3D 관절 점 좌표의 생성 방법의 수행 주체(예를 들면 도 1에 도시된 단말 또는 서버)는 관절 점 히트 맵 집합에 기초하여 각각의 관절 점의 2D 좌표를 결정하고; 관절 점 깊이 정보 맵 집합에 기초하여 각각의 관절 점의 깊이 정보를 결정할 수 있다. 각각의 관절 점에 대해 2D 좌표 및 깊이 좌표를 조합하여 3D 관절 점 좌표를 얻는다.

선택 가능하게, 단계 404에서 인물의 3D 관절 점 좌표에 기초하여, 인체의 동작 파라미터를 결정한다.

본 실시예에서, 상기 수행 주체는 이미지 중의 인물의 3D 관절 점 좌표에 기초하여 인체의 동작 파라미터를 결정할 수 있고, 이러한 동작 파라미터는 해당 인물의 동작을 지시할 수 있다.

단계 405에서 인체의 동작 파라미터에 기초하여, 인물의 동작을 제시하기 위한 제시 정보를 생성한다.

본 실시예에서, 상기 수행 주체는 인체의 동작 파라미터에 기초하여 이러한 동작 파라미터가 알림 조건에 부합되는지를 결정하고, 부합될 경우 알림 조건에 대응되는 인물의 동작을 제시하기 위한 제시 정보를 생성할 수 있다. 또한, 사용자에게 이러한 제시 정보를 보여주어 사용자가 다음 동작을 하도록 유도할 수도 있다.

예시적으로, 피트니스 지도 시 상기 수행 주체는 인체의 동작 파라미터에 기초하여 이러한 동작 파라미터가 피트니스 알림 조건에 부합되는지를 결정하고, 피트니스 알림 조건에 부합될 경우 피트니스 알림 조건에 대응하여 인물의 동작을 제시하기 위한 제시 정보를 생성하고, 사용자에게 이러한 제시 정보를 보여주어 사용자가 다음 피트니스 동작을 하도록 유도할 수도 있다.

다른 일 예로, 3D 인간 기계 인터랙션 서비스에서 상기 수행주체는 인체의 동작 파라미터에 기초하여 이러한 동작 파라미터가 인간 기계 인터랙션 알림 조건에 부합되는지를 결정하고, 인간 기계 인터랙션 알림 조건에 부합될 경우 인간 기계 인터랙션 알림 조건에 대응되는 인물의 동작을 제시하기 위한 제시 정보를 생성하고, 사용자에게 이러한 제시 정보를 보여주어 사용자가 다음 인간 기계 인터랙션 동작을 하도록 유도할 수도 있다.

본 출원에서 도 4 중의 실시예 중의 3D 관절 점 좌표의 생성 방법은 도 2에 도시된 3D 관절 점 회귀 모델의 생성 방법의 기초상에서 인물을 포함하는 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻고, 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 인물의 3D 관절 점 좌표를 결정함으로써, 결정된 서비스의 3D 관절 점 좌표의 정확률 및 효율성을 향상시킬 수 있다.

일부 실시예에서, 인물의 3D 관절 점 좌표에 기초하여 인체의 동작 파라미터를 결정하고, 인체의 동작 파라미터에 기초하여 인물의 동작을 제시하기 위한 제시 정보를 생성함으로써 인물의 동작의 정확성 및 타깃성을 향상시킬 수도 있다.

도 5를 참조하면, 상기 각 도면에 도시된 방법에 대한 구현으로서, 본 출원의 실시예는 3D 관절 점 회귀 모델의 생성 장치의 일 실시예를 제공하고, 상기 장치 실시예는 도 2 내지 도 4에 도시된 방법 실시예와 대응되며, 상기 장치는 구체적으로 상기 단말 기기 또는 서버에 적용될 수 있다.

도 5에 도시된 바와 같이, 본 실시예의 3D 관절 점 회귀 모델의 생성 장치(500)는 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하는 샘플 이미지 획득 유닛(510); 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 일부 채널 트레이닝 유닛(520); 및 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 상기 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 전부 채널 트레이닝 유닛(530)을 포함할 수 있다.

일부 실시예에서, 일부 채널 트레이닝 유닛(520)은 또한, 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 2D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수를 제1 예상 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝한다.

일부 실시예에서, 전부 채널 트레이닝 유닛(530)은 또한, 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하고, 3D 태그를 포함하는 샘플 이미지에 대응되는 기하학적 제약 손실 함수의 가중치를 제2 예상 출력의 제1 부분 출력에 대응되는 손실 함수로 하며, 3D 태그를 포함하는 샘플 이미지에 대응되는 유클리드 거리 손실 함수의 가중치를 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝한다.

이해해야 할 것은, 장치(500)에 관하여 기재한 각각의 유닛은 도 2 내지 도 3에 설명된 방법에서 설명한 각각의 단계에 대응한다. 따라서 상기 방법에 대해 설명한 동작 및 특징은 장치(500) 및 그에 포함된 각각의 유닛에도 마찬가지로 적용되며 여기서는 더이상 반복 설명하지 않는다.

도 6을 참조하면, 상기 각 도면에 도시된 방법에 대한 구현으로서, 본 출원의 실시예는 3D 관절 점 좌표의 생성 장치의 일 실시예를 제공하고, 상기 장치 실시예는 도 4에 도시된 방법 실시예와 대응되며, 상기 장치는 구체적으로 상기 단말 기기 또는 서버에 적용될 수 있다.

도 6에 도시된 바와 같이, 3D 관절 점 좌표의 생성 장치(600)는 인물을 포함하는 이미지를 획득하는 이미지 획득 유닛(610); 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻는 이미지 입력 유닛(620) - 트레이닝을 거친 3D 관절 점 회귀 모델은 상기 실시예 중 어느 하나에 따른 3D 관절 점 회귀 모델의 생성 장치를 사용하여 기초 3D 관절 점 회귀 모델을 트레이닝하여 얻은 것임 - ; 및 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 인물의 3D 관절 점 좌표를 결정하는 좌표 결정 유닛(630)을 포함한다.

이해해야 할 것은, 장치(600)에 관하여 기재한 각각의 유닛은 도 4에 설명된 방법에서 설명한 각각의 단계에 대응한다. 따라서 앞에서 방법에 대해 설명한 조작 및 특징은 장치(600) 및 그중에 포함된 각각의 유닛에도 마찬가지로 적용되며 여기서는 더이상 반복 설명하지 않는다.

아래 도 7을 참조하면 본 출원의 실시예에 따른 전자 기기(예를 들면 도 1의 서버 또는 단말 기기(700)를 구현할 수 있는 개략적인 구성도이다. 도 7에 도시된 전자 기기는 하나의 예시일 뿐, 본 출원의 실시예의 기능 또는 사용범위에 대해 제한하려고 하는 것이 아니다.

도 7에 도시된 바와 같이, 전자 기기(700)는 판독 전용 메모리(ROM)(702)에 저장된 프로그램 또는 저장 장치(708)로부터 랜덤 액세스 메모리(RAM)(703)로 로딩된 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 처리 장치(예를 들면 중앙 처리 장치, 그래픽 처리 장치 등)(701)를 포함한다. RAM(703)에는 또한 전자 기기(700)의 조작에 필요한 다양한 프로그램 및 데이터가 저장된다. 처리 장치(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입/출력(I/O) 인터페이스(705) 역시 버스(704)에 연결된다.

일반적으로, 예를 들어 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로스코프 등을 포함하는 입력 장치(706); 예를 들어 액정 디스플레이(LCD), 스피커, 진동기 등을 포함하는 출력 장치(707); 예를 들어 자기 테이프, 하드 드라이버 등을 포함하는 저장 장치(708); 및 통신 장치(709)는 I/O 인터페이스(705)에 연결될 수 있다. 통신 장치(709)는 전자기기(700)가 무선 또는 유선으로 다른 기기와 통신하여 데이터를 교환하도록 허용할 수 있다. 비록 도 7에서 다양한 장치를 갖는 전자기기(700)를 나타냈으나, 모든 도시된 장치를 구현하거나 구비할 필요는 없음을 이해해야 한다. 이보다 더 많거나 또는 더 적은 장치를 구현하거나 구비할 수 있다. 도 7에 도시된 각각의 블록은 하나의 장치를 가리킬 수 있고, 필요에 따라 다수의 장치를 가리킬 수도 있다.

특히, 본 출원의 실시예에 따르면, 상기에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 출원의 실시예는 컴퓨터 판독 가능 매체에 적재된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시 예에서, 상기 컴퓨터 프로그램은 통신 장치(709)를 통해 네트워크로부터 다운로드 및 설치될 수 있거나, 또는 저장 장치(708)로부터 설치되거나, 또는 ROM(702)로부터 설치될 수 있다. 컴퓨터 프로그램이 처리 장치(701)에 의해 실행될 경우, 본 출원의 실시예에 따른 방법에 한정된 상기 기능들이 수행된다.

설명해야 할 것은, 본 출원의 실시예에 따른 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체일 수 있음에 유의해야 한다. 컴퓨터 판독 가능 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 소자, 또는 이들의 임의의 조합 일 수 있지만, 이에 한정되지는 않는다. 컴퓨터 판독 가능 매체의 보다 구체적인 예는 하나 또는 복수의 와이어를 갖는 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 읽기 전용 메모리(PROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함 할 수 있지만, 이에 한정되지는 않는다. 본 출원에서, 컴퓨터 판독 가능 매체는 명령 실행 시스템, 장치 또는 소자 또는 이들과 결합되어 사용될 수 있는 프로그램을 포함하거나 저장할 수 있는 임의의 타입의 매체일 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등, 또는 상기의 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 임의의 적절한 매체에 의해 전송 될 수 있다.

상기 컴퓨터 판독 가능 매체는 상기 전자 기기에 포함될 수 있거나 상기 전자 기기에 조립되지 않고 별도로 존재할 수 있다. 상기 컴퓨터 판독 가능 매체에는 하나 또는 다수의 프로그램이 베어링되고, 상기 하나 또는 다수의 프로그램이 상기 전자 기기에 의해 수행될 경우 상기 전자 기기는 2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하고; 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하며; 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝한다, 또는 인물을 포함하는 이미지를 획득하고; 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻으며; 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 상기 인물의 3D 관절 점 좌표를 결정한다.

본 출원의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 또는 하나 이상의 프로그래밍 언어, 또는 그들의 조합으로 작성될 수 있다. 상기 프로그래밍 언어는 Java, Smalltalk, C++를 비롯한 객체 지향 프로그래밍 언어와 "C" 언어 또는 유사한 프로그래밍 언어를 비롯한 기존 절차적 프로그래밍 언어를 포함한다. 프로그램 코드는 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 LAN 또는 WAN을 포함한 모든 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결).

도면의 흐름도 및 블록도는 본 출원의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리적 기능을 구현하기 위한 하나 또는 하나 이상의 실행 가능한 명령을 포함하는 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 표기된 기능은 또한 도면에 도시된 것과 다른 순서로 구현될 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬로 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령어를 조합하여 구현할 수도 있음에 유의해야 한다.

본 출원의 실시예들에 설명된 유닛들은 소프트웨어 또는 하드웨어에 의해 구현될 수 있다. 설명된 유닛은 또한 프로세서, 예를 들어 샘플 이미지 획득 유닛, 일부 채널 트레이닝 유닛, 전부 채널 트레이닝 유닛을 포함하는 프로세서에 설치될 수도 있다. 여기서 이들 유닛의 명칭은 경우에 따라서는 유닛 자체로 한정되지 않으며, 예를 들어, 샘플 이미지 획득 유닛은 "2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하는 유닛"으로 기술될 수도 있다.

상기 설명은 본 출원의 바람직한 실시예 및 적용된 기술의 원리에 대한 설명일 뿐이다. 본 출원이 속하는 기술분야의 통상의 기술자들은 본 출원에 언급된 본 출원의 범위는 상기 기술적 특징의 특정 조합에 따른 기술적 해결수단에 한정되지 않으며, 동시에 본 출원의 사상을 벗어나지 않으면서 상기 기술적 특징 또는 그 등가 특징에 대해 임의로 조합하여 형성된 다른 기술적 해결수단, 예를 들어, 상기 특징과 본 출원에 공개된(단 이에 한정되지 않음) 유사한 기능을 구비하는 기술적 특징을 서로 교체하여 형성된 기술적 해결수단을 포함함을 이해하여야 한다.

Claims

3D 관절 점 회귀 모델의 생성 방법에 있어서,
2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하는 단계;
상기 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계; 및
상기 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 상기 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계를 포함하고,
상기 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 상기 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계는,
상기 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하고, 3D 태그를 포함하는 샘플 이미지에 대응되는 제1 손실 함수의 가중치를 상기 제2 예상 출력의 제1 부분 출력에 대응되는 손실 함수로 하며, 3D 태그를 포함하는 샘플 이미지에 대응되는 제2 손실 함수의 가중치를 상기 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 하여, 상기 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 단계를 포함하는 3D 관절 점 회귀 모델의 생성 방법.
제1항에 있어서,
상기 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계는,
상기 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하고, 2D 태그를 포함하는 샘플 이미지에 대응되는 제1 손실 함수를 상기 제1 예상 출력에 대응되는 손실 함수로 하는 것에 의해, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 단계를 포함하는 3D 관절 점 회귀 모델의 생성 방법.
제2항에 있어서,
상기 제1 손실 함수는 각각의 예측 골격의 길이 비율과 샘플 이미지 집합 골격의 길이 비율의 평균값 사이의 유클리드 거리를 포함하고; 예측 골격은 상기 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 중의 골격이며;
각각의 예측 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 각각의 샘플 이미지에 대응되는 각각의 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이고;
샘플 이미지 집합 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 전부 샘플 이미지에 대응되는 전부 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율인 3D 관절 점 회귀 모델의 생성 방법.
제1항에 있어서,
상기 3D 태그를 포함하는 샘플 이미지에 대응되는 제2 손실 함수는,
상기 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 할 경우, 상기 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 깊이 정보 맵 집합 중의 깊이 정보와 상기 3D 태그에서 태깅한 관절 점 깊이 정보의 유클리드 거리를 포함하는 3D 관절 점 회귀 모델의 생성 방법.
제1항에 있어서,
상기 기초 3D 관절 점 회귀 모델은,
초기 3D 관절 점 회귀 모델; 또는
2D 태그를 포함하는 샘플 이미지를 사용하여 초기 3D 관절 점 회귀 모델을 트레이닝하여 얻은 사전 트레이닝한 3D 관절 점 회귀 모델 중 어느 하나를 포함하는 3D 관절 점 회귀 모델의 생성 방법.
제5항에 있어서,
상기 사전 트레이닝한 3D 관절 점 회귀 모델은,
2D 태그를 포함하는 샘플 이미지를 입력으로 하고, 상기 2D 태그를 예상 출력으로 하며, 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합에 기초하여 결정한 관절 점 좌표와 2D 태그 중의 2D 관절 점 좌표 사이의 유클리드 거리를 손실 함수로 하여, 상기 초기 3D 관절 점 회귀 모델을 트레이닝하는 단계를 통해 결정되는 3D 관절 점 회귀 모델의 생성 방법.
3D 관절 점 좌표의 생성 방법에 있어서,
인물을 포함하는 이미지를 획득하는 단계;
상기 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 상기 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻는 단계 - 상기 트레이닝을 거친 3D 관절 점 회귀 모델은 제1항 내지 제6항 중 어느 한 항에 따른 3D 관절 점 회귀 모델의 생성 방법을 사용하여 기초 3D 관절 점 회귀 모델을 트레이닝하여 얻은 것임 - ; 및
상기 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 상기 인물의 3D 관절 점 좌표를 결정하는 단계를 포함하는 3D 관절 점 좌표의 생성 방법.
제7항에 있어서,
상기 인물의 3D 관절 점 좌표에 기초하여, 인체의 동작 파라미터를 결정하는 단계; 및
상기 인체의 동작 파라미터에 기초하여, 상기 인물의 동작을 제시하기 위한 제시 정보를 생성하는 단계를 더 포함하는 3D 관절 점 좌표의 생성 방법.
3D 관절 점 회귀 모델의 생성 장치에 있어서,
2D 태그를 포함하는 샘플 이미지 및 3D 태그를 포함하는 샘플 이미지를 획득하는 샘플 이미지 획득 유닛;
상기 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하여, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 일부 채널 트레이닝 유닛; 및
상기 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하여, 상기 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 전부 채널 트레이닝 유닛을 포함하고,
상기 전부 채널 트레이닝 유닛은 또한,
상기 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 하고, 3D 태그에 대응되는 관절 점 히트 맵 집합을 제2 예상 출력의 제1 부분 출력으로 하며, 3D 태그에 대응되는 관절 점 깊이 정보 맵 집합을 제2 예상 출력의 제2 부분 출력으로 하고, 3D 태그를 포함하는 샘플 이미지에 대응되는 제1 손실 함수의 가중치를 상기 제2 예상 출력의 제1 부분 출력에 대응되는 손실 함수로 하며, 3D 태그를 포함하는 샘플 이미지에 대응되는 제2 손실 함수의 가중치를 상기 제2 예상 출력의 제2 부분 출력에 대응되는 손실 함수로 하여, 상기 기초 3D 관절 점 회귀 모델의 출력층 중의 전부 채널을 트레이닝하는 3D 관절 점 회귀 모델의 생성 장치.
제9항에 있어서,
상기 일부 채널 트레이닝 유닛은 또한,
상기 2D 태그를 포함하는 샘플 이미지를 제1 입력으로 하고, 2D 태그에 대응되는 관절 점 히트 맵 집합을 제1 예상 출력으로 하고, 2D 태그를 포함하는 샘플 이미지에 대응되는 제1 손실 함수를 상기 제1 예상 출력에 대응되는 손실 함수로 하는 것에 의해, 기초 3D 관절 점 회귀 모델의 출력층 중의 일부 채널을 트레이닝하는 3D 관절 점 회귀 모델의 생성 장치.
제9항에 있어서,
상기 일부 채널 트레이닝 유닛 또는 상기 전부 채널 트레이닝 유닛에서 사용되는 제1 손실 함수는 각각의 예측 골격의 길이 비율과 샘플 이미지 집합 골격의 길이 비율의 평균값 사이의 유클리드 거리를 포함하고;
예측 골격은 상기 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 중의 골격이며;
각각의 예측 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 각각의 샘플 이미지에 대응되는 각각의 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율이고;
샘플 이미지 집합 골격의 길이 비율은 단일 회차의 트레이닝으로 선택한 샘플 이미지 집합 중의 전부 샘플 이미지에 대응되는 전부 예측 골격의 길이와 기준 데이터 집합 중의 골격의 길이의 비율인 3D 관절 점 회귀 모델의 생성 장치.
제9항에 있어서,
상기 전부 채널 트레이닝 유닛에서 3D 태그를 포함하는 샘플 이미지에 대응되는 제2 손실 함수는,
상기 3D 태그를 포함하는 샘플 이미지를 제2 입력으로 할 경우, 상기 기초 3D 관절 점 회귀 모델에서 출력한 관절 점 깊이 정보 맵 집합 중의 깊이 정보와 상기 3D 태그에서 태깅한 관절 점 깊이 정보의 유클리드 거리를 포함하는 3D 관절 점 회귀 모델의 생성 장치.
제9항에 있어서,
상기 기초 3D 관절 점 회귀 모델은,
초기 3D 관절 점 회귀 모델; 또는
2D 태그를 포함하는 샘플 이미지를 사용하여 초기 3D 관절 점 회귀 모델을 트레이닝하여 얻은 사전 트레이닝한 3D 관절 점 회귀 모델 중 어느 하나를 포함하는 3D 관절 점 회귀 모델의 생성 장치.
제13항에 있어서,
상기 사전 트레이닝한 3D 관절 점 회귀 모델은,
2D 태그를 포함하는 샘플 이미지를 입력으로 하고, 상기 2D 태그를 예상 출력으로 하며, 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합에 기초하여 결정한 관절 점 좌표와 2D 태그 중의 2D 관절 점 좌표 사이의 유클리드 거리를 손실 함수로 하여, 상기 초기 3D 관절 점 회귀 모델을 트레이닝하는 단계를 통해 결정되는 3D 관절 점 회귀 모델의 생성 장치.
3D 관절 점 좌표의 생성 장치에 있어서,
인물을 포함하는 이미지를 획득하는 이미지 획득 유닛;
상기 이미지를 트레이닝을 거친 3D 관절 점 회귀 모델에 입력하여, 상기 트레이닝을 거친 3D 관절 점 회귀 모델에서 출력한 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합을 얻는 이미지 입력 유닛 - 상기 트레이닝을 거친 3D 관절 점 회귀 모델은 제9항 내지 제14항 중 어느 한 항에 따른 3D 관절 점 회귀 모델의 생성 장치를 사용하여 기초 3D 관절 점 회귀 모델을 트레이닝하여 얻은 것임 - ; 및
상기 관절 점 히트 맵 집합 및 관절 점 깊이 정보 맵 집합에 기초하여, 상기 인물의 3D 관절 점 좌표를 결정하는 좌표 결정 유닛을 포함하는 3D 관절 점 좌표의 생성 장치.
제15항에 있어서,
상기 장치는,
상기 인물의 3D 관절 점 좌표에 기초하여, 인체의 동작 파라미터를 결정하는 동작 파라미터 결정 유닛; 및
상기 인체의 동작 파라미터에 기초하여, 상기 인물의 동작을 제시하기 위한 제시 정보를 생성하는 제시 정보 생성 유닛을 더 포함하는 3D 관절 점 좌표의 생성 장치.
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하고,
상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 제1항 내지 제6항 중 어느 한 항에 따른 방법을 구현하도록 하는 전자 기기.
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하고,
상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 제7항에 따른 방법을 구현하도록 하는 전자 기기.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제6항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 프로그램이 프로세서에 의해 실행될 경우 제7항에 따른 방법을 구현하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램으로서,
상기 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제6항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램.
컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램으로서,
상기 프로그램이 프로세서에 의해 실행될 경우 제7항에 따른 방법을 구현하는 컴퓨터 프로그램.