KR102590841B1

KR102590841B1 - 가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체

Info

Publication number: KR102590841B1
Application number: KR1020210034282A
Authority: KR
Inventors: 칭위에 멍; 천 자오
Original assignee: 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date: 2020-06-08
Filing date: 2021-03-16
Publication date: 2023-10-19
Also published as: US20210383607A1; JP2021103564A; CN111694429A; KR20210036879A; EP3825962A3; JP7273880B2; CN111694429B; US11532127B2; EP3825962A2

Abstract

본 출원은 가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체에 관한 것으로, 인공지능 기술분야 및 딥러닝 기술분야에 관한 것이다. 구체적인 구현방안에 따르면, 카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 획득하고; 상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득하고; 상기 핵심 포인트 각각의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정하고; 상기 실제 오브젝트의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동한다. 해당 방법은 가상 이미지 구동 시의 조작 복잡성 및 원가 비용을 대폭 절감시킨다.

Description

가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체{virtual object driving Method, apparatus, electronic device, and readable storage medium}

본 출원의 실시예는 컴퓨터 분야 중의 인공지능 기술분야 및 딥러닝 기술분야에 관한 것으로, 특히는 가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체에 관한 것이다.

가상 인물은 컴퓨터 그래픽(Computer Graphics, CG 약칭) 등의 기술을 이용하여 작성된 가상 인물 이미지를 의미할 수 있으며, 가상 인물은 예를 들어 3D 애니메이션 영화 중의 가상 인물, 인터넷 생방송 플랫폼 중의 가상 인물 등을 포함할 수 있다. 인터넷 생방송 플랫폼을 예로 들면, 생방송 중인 실제 사람의 동작을 기초로 가상 인물이 실제 사람과 동일한 동작을 표현하도록 구동하여, 특정 시나리오에서의 실제 수요를 구현한다. 이러한 시나리오에서, 어떻게 실제 사람의 동작을 기초로 가상 인물을 구동하여 실제 사람과 동일한 동작을 표현하도록 할지는, 해결해야 할 문제점으로 대두되고 있다.

종래기술에서, 전용 동작 획득 기기를 통해 실제 사람의 핵심 포인트 동작을 획득하고, 나아가 실제 사람의 동작을 기초로 가상 인물을 구동하여 동일한 동작을 표현하도록 구동한다.

하지만, 종래기술의 방법을 사용할 경우 조작이 복잡해지고, 원가가 지나치게 상승한다.

삭제

CN109191548A(2019.01.11) WO2020/000096A1(2020.01.02) WO2020/105871A1(2020.05.28)

본 출원은 가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체를 제공한다.

본 출원의 일 측면에 따르면, 가상 오브젝트 구동 방법을 제공한다. 해당 방법은,

카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 획득하는 단계; 상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 목표 영상 중 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득하는 단계; 상기 핵심 포인트 각각의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정하는 단계; 상기 실제 오브젝트의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동하는 단계를 포함한다.

본 출원의 다른 일 측면에 따르면, 가상 오브젝트 구동 장치를 제공한다. 해당 장치는, 카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 획득하는 획득모듈; 상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 목표 영상 중 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득하는 처리모듈;

상기 핵심 포인트 각각의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정하는 결정모듈;

상기 실제 오브젝트의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동하는 구동모듈을 포함한다.

본 출원의 또 다른 일 측면에 따르면, 전자기기를 제공한다. 해당 전자기기는,

적어도 하나의 프로세서; 및, 상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 상기 제1 측면에 따른 방법을 수행할 수 있도록 한다.

본 출원의 또 다른 일 측면에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하며, 컴퓨터 명령에 의해 상기 컴퓨터는 상기 제1 측면에 따른 방법을 수행한다.

본 출원의 또 다른 일 측면에 따르면, 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 전자기기의 적어도 하나의 프로세서는 상기 판독 가능 저장매체로부터 상기 컴퓨터 프로그램을 판독할 수 있으며, 상기 적어도 하나의 프로세서는 상기 컴퓨터 프로그램을 수행하여 상기 전자기기가 제1측면에 따른 방법을 수행하도록 한다.

본 출원의 기술에 따르면, 카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 이용하여, 실제 오브젝트 몸체 상의 각 핵심 포인트의 좌표를 결정할 수 있으며, 이러한 좌표를 이용하여, 실제 오브젝트의 몸체의 자세를 결정할 수 있다. 따라서, 실제 오브젝트의 몸체의 자세를 기초로, 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상의 가상 오브젝트를 구동한다. 해당 과정에서 실제 사람인 사용자는 카메라의 렌즈 범위 내에 서서 몸체 동작을 취하기만 하면 가상 오브젝트 구동을 수행할 수 있으며, 그 어떤 별도의 기기도 사용할 필요가 없게 된다. 따라서, 가상 이미지 구동 시의 조작 복잡성 및 원가 소모를 대폭 절감시키며, 인터넷 생방송 플랫폼의 가상 이미지 구동 등의 시나리오에 적용되어 사용자의 실제 수요를 만족시켜, 사용자의 체험을 대폭 향상시킬 수 있다. 이때, 상기 과정은 핵심 포인트의 좌표를 이용하여 실제 오브젝트의 몸체 자세를 결정하고 가상 이미지 구동을 수행하며, 또한 가상 이미지 구동 시의 높은 관절 유연성을 확보하고, 가상 이미지 구동의 보다 우수한 효과를 확보할 수 있다.

본 부분에 기재되는 내용은 본 출원의 실시예의 핵심 또는 중요 특징을 특정짓기 위한 목적이 아니며, 본 출원의 범위를 한정하는 것도 아니다. 본 출원의 기타 특징은 아래의 명세서로부터 쉽게 이해될 수 있다.

첨부되는 도면은 본 기술적 해결수단을 더 충분히 이해할 수 있도록 제공되는 것으로서, 본 출원에 대해 한정하지 않는다.
도 1은 본 출원의 실시예에서 제공하는 가상 오브젝트 구동 방법의 일 예시적 시나리오를 나타내는 도면이다.
도 2는 본 출원의 다른 실시예에서 제공하는 가상 오브젝트 구동 방법의 일 예시적 시나리오를 나타내는 도면이다.
도 3은 본 출원의 실시예에서 제공하는 가상 이미지 구동 방법을 나타내는 흐름도이다.
도 4는 본 출원의 실시예의 효과를 나타내는 도면이다.
도 5는 본 출원의 다른 실시예에서 제공하는 가상 이미지 구동 방법을 나타내는 흐름도이다.
도 6은 팔 상의 핵심 포인트를 나타내는 도면이다.
도 7은 본 출원의 실시예에 따른 일 가상 오브젝트 구동 장치의 모듈 구조도이다.
도 8은 본 출원의 실시예의 가상 오브젝트 구동 방법을 위한 전자기기의 블록도이다.

아래에서는 첨부 도면을 결합하여 본 출원의 예시적 실시예에 대해 설명한다. 여기서 본 출원의 실시예의 다양한 세부내역을 포함하여 쉽게 이해할 수 있도록 한다. 이들은 단지 예시적인 것으로 간주하여야 한다. 따라서, 당업자는, 여기에 기재된 실시예에 대해 다양한 변형 및 수정을 가할 수 있으며, 본 출원의 범위와 정신을 벗어나지 않는것으로 간주하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 기재에서 공지 기능과 구조에 대한 설명을 생략한다.

종래기술에 따르면 전용 동작 획득 기기를 이용하여 가상 인물 구동을 수행한다. 동작 획득 기기는 일반적으로 일 세트의 기기로서, 일련의 추적기를 포함하여, 실제 사람이 이러한 추적기를 몸에 착용하여야 한다. 실제 사람이 몸체 동작을 취할 때, 추적기의 위치도 변하게 된다. 처리 기기는 추적기의 위치 변화를 기초로 몸체의 위치 변화 정보를 산출하고, 나아가 몸체의 위치 변화 정보를 기초로 가상 인물을 구동한다. 일 측면에 따르면, 이러한 방식은 실제 사람이 전용 기기를 착용하여야 하므로, 가상 인물 구동을 수행할 때의 조작이 복잡하게 된다. 다른 일 측면에 따르면, 전용 동작 획득 기기는 일반적으로 보다 고가이므로, 낮은 비용을 요구하는 사용자에 적용되기 어렵다. 예를 들어, 인터넷 생방송 플랫폼 상에서 가상 인물 구동을 수행하는 사용자에 대하여, 이러한 사용자는 일반적으로 보다 높은 비용을 감당하기 어렵다.

종래기술에 따른 동작 획득 기기를 사용하여 가상 인물 구동 시 수반되는 조작이 복잡하고 비용이 지나치게 높은 문제점을 고려하여, 본 출원의 실시예는 카메라에서 수집한 실제 사람이 몸체 동작을 취할 때의 영상을 기초로 실제 사람의 자세를 획득하고, 실제 사람의 자세를 기초로 가상 인물을 구동한다. 복잡한 조작 및 별도의 기기가 필요 없으므로, 간편하게 낮은 비용으로 가상 인물 구동을 구현한다.

도 1은 본 출원의 실시예에서 제공하는 가상 오브젝트 구동 방법의 일 예시적 시나리오를 나타내는 도면이다. 도 1에 도시된 바와 같이, 해당 방법은 실제 사람인 사용자 및 단말기와 관련된다. 단말기 상에 카메라가 설치된다. 카메라에서 실제 사람인 사용자가 몸체 동작을 취할 때의 영상을 수집하고, 단말기는 본 출원의 실시예의 방법을 사용하여 단말기의 스크린 상에 표시되는 가상 오브젝트를 구동하여 실제 사람의 몸체 동작을 표현하도록 한다.

도 2는 본 출원의 다른 실시예에서 제공하는 가상 오브젝트 구동 방법의 일 예시적 시나리오를 나타내는 도면이다. 도 2에 도시된 바와 같이, 해당 방법은 단말기 및 서버와 관련되고, 단말기와 서버는 서로 통신 연결된다. 단말기 상에 카메라가 설치된다. 카메라에서 실제 사람인 사용자가 몸체 동작을 취할 때의 영상을 수집하고, 단말기는 카메라에서 수집한 영상을 서버로 전송하며, 서버는 본 출원의 실시예의 방법을 사용하여 단말기 상에 표시되는 가상 오브젝트를 구동하여 실제 사람인 사용자의 몸체 동작을 표현하도록 한다.

도 3은 본 출원의 실시예에서 제공하는 가상 이미지 구동 방법을 나타내는 흐름도이다. 해당 방법의 수행 주체는 상기 도 1에 예시된 단말기, 또는 도 2에 예시된 서버일 수 있다. 본 출원의 아래 실시예는 수행 주체가 단말기인 경우를 예로 들어 설명한다. 도 3에 도시된 바와 같이, 해당 방법은, 아래의 단계들을 포함한다.

카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 획득한다(S301).

선택적으로, 본 출원의 실시예의 실제 오브젝트는, 실제 사람을 의미할 수 있고, 또는, 실제 동물 등을 의미할 수도 있다. 본 출원의 실시예는 모두 실제 사람을 예로 들어 설명한다.

상기 카메라는 단말기 상에 설치된 카메라일 수 있고, 또는, 상기 카메라는 단말기 상에 설치되지 않고, 별도의 기기이거나 기타 기기 상에 설치될 수도 있다. 만약 카메라가 단말기 상에 설치되지 않으면, 카메라가 위치된 기기가 영상을 단말기로 전송할 수도 있다.

선택적으로, 상기 카메라는 단안 카메라 또는 양안 카메라일 수 있으며, 본 출원의 실시예는 카메라의 구체적인 형태에 대해 한정하지 않는다.

선택적으로, 카메라는 일정한 주기로 영상을 수집할 수 있다. 실제 오브젝트가 몸체 동작을 취할 때, 카메라에 의해 목표 영상이 수집되면, 해당 목표 영상에는 실제 오브젝트의 몸체 동작이 포함될 수 있다. 예를 들어, 실제 오브젝트가 팔을 펴는 몸체 동작을 취하면, 카메라에서 수집한 영상에는 실제 오브젝트가 팔을 펴는 동작이 포함된다.

상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 목표 영상 중의 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득한다(S302).

선택적으로, 실제 오브젝트의 몸체 상의 복수의 핵심 포인트는 몸체 상의 복수의 관절을 가리킬 수 있다. 예를 들어, 실제 사람의 어깨 관절이 하나의 핵심 포인트이고, 왼쪽 팔꿈치 관절이 하나의 핵심 포인트이며, 각 손가락의 관절이 모두 하나의 핵심 포인트이다.

상기 좌표 획득 모델은 사전에 트레이닝하여 획득된 모델일 수 있으며, 해당 모델은 예를 들어 뉴럴 네트워크 모델일 수 있다.

좌표 획득 모델을 기초로 복수의 핵심 포인트의 2차원 좌표를 획득할 수 있고, 또는, 복수의 핵심 포인트의 3차원 좌표를 획득할 수도 있으며, 응용되는 시나리오에 따라 유연하게 선택할 수 있다. 예를 들어, 만약 표현하려는 가상 오브젝트가 2차원 대상이면, 복수의 핵심 포인트의 2차원 좌표만 획득할 수 있다. 만약 표현하려는 가상 오브젝트가 3차원 대상이면, 복수의 핵심 포인트의 3차원 좌표를 획득할 수 있다.

각 상기 핵심 포인트의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정한다(S303).

선택적으로, 각 핵심 포인트의 좌표를 이용하여, 각 핵심 포인트 사이의 위치 변화 정보를 획득할 수 있으며, 위치 변화 정보를 기초로 실제 오브젝트의 몸체 자세를 획득할 수 있다. 예시적으로, 실제 사람이 팔을 굽히는 몸체 동작을 취할 때, 팔꿈치 관절, 어깨 관절 및 손목 관절 사이에 위치 변화가 발생하게 되며, 이러한 위치 변화를 이용하여, 실제 사람의 팔이 굽혀지는 자세를 획득할 수 있다.

몸체의 자세는 구체적으로 각도 등을 통해 나타낼 수 있으며, 구체적인 과정은 후술하는 실시예에서 상세하게 설명한다.

상기 실제 오브젝트의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동한다(S304).

상기 스크린은 단말기 상의 스크린을 의미할 수 있다.

상기 가상 오브젝트는 가상 인물 이미지, 동물 이미지 등일 수 있으며, 본 출원의 실시예는 가상 오브젝트의 구체적인 형태에 대해 한정하지 않는다.

예시적으로, 실제 사람의 자세가 팔 굽힘이면, 팔 굽힘 각도를 기초로, 가상 오브젝트의 팔이 상응한 회전 동작을 수행하도록 구동하여, 실제 오브젝트와 동일한 몸체 동작을 표현할 수 있다.

본 출원의 실시예의 수행 주체가 서버일 경우, 서버는 가상 오브젝트를 구동할 때, 구동 명령을 단말기로 전송하여, 단말기에서 명령을 수행함으로써, 가상 이미지가 실제 오브젝트와 동일한 몸체 동작을 표현하도록 할 수 있다.

도 4는 본 출원의 실시예의 효과를 나타내는 도면이다. 도 4에 도시된 바와 같이, 실제 사람인 사용자가 팔을 펴는 몸체 동작을 취하고, 핸드폰의 카메라에서 실제 사람인 사용자가 취한 이러한 동작의 영상을 수집한다. 사용자가 핸드폰 상에서 선택한 가상 오브젝트가 고양이의 만화 이미지이다. 핸드폰은 카메라에서 수집한 사용자가 팔을 펴는 영상을 기초로, 가상 고양이의 팔을 회전시키며, 스크린 상에 가상 고양이가 팔을 펴는 효과를 표현한다.

본 실시예에서, 카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 이용하여, 실제 오브젝트 몸체 상의 각 핵심 포인트의 좌표를 결정할 수 있으며, 이러한 좌표를 이용하여, 실제 오브젝트의 몸체의 자세를 결정할 수 있다, 이에 따라 실제 오브젝트의 몸체의 자세를 기초로, 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상의 가상 오브젝트를 구동할 수 있다. 해당 과정에서 실제 사람인 사용자는 카메라의 렌즈 범위 내에서 몸체 동작을 취하기만 하면 가상 오브젝트 구동을 수행할 수 있으며, 그 어떤 별도의 기기도 사용할 필요가 없게 된다. 따라서, 가상 이미지 구동 시의 조작 복잡성 및 원가 소모를 대폭 절감시키며, 인터넷 생방송 플랫폼의 가상 이미지 구동 등의 시나리오에 적용되어 사용자의 실제 수요를 만족시켜, 사용자의 체험을 대폭 향상시킬 수 있다. 이때, 상기 과정은 핵심 포인트의 좌표를 이용하여 실제 오브젝트의 몸체 자세를 결정하고 가상 이미지 구동을 수행하며, 또한 가상 이미지 구동 시의 높은 관절 유연성을 확보하고, 가상 이미지 구동의 보다 우수한 효과를 확보할 수 있다.

일 선택적인 실시형태에서, 핵심 포인트의 좌표를 기초로 실제 오브젝트의 몸체 좌표를 결정할 때, 핵심 포인트 사이의 각도를 기초로 결정할 수 있다.

도 5는 본 출원의 다른 실시예에서 제공하는 가상 이미지 구동 방법을 나타내는 흐름도이다. 도 5에 도시된 바와 같이, 상기 단계(S303)의 일 선택적인 형태는 아래의 단계들을 포함한다.

제1 핵심 포인트의 좌표, 제2 핵심 포인트의 좌표, 제3 핵심 포인트의 좌표를 기초로, 제1 부위와 제2 부위 사이의 각도 정보를 결정한다(S501).

여기서, 상기 제1 부위는 제1 핵심 포인트 및 상기 제1 핵심 포인트와 인접한 제2 핵심 포인트로 특정되고, 상기 제2 부위는 상기 제2 핵심 포인트 및 상기 제2 핵심 포인트와 인접한 제3 핵심 포인트로 특정되며, 상기 제2 핵심 포인트는 상기 제1 부위와 상기 제2 부위의 연결점이다.

여기서, 제1 핵심 포인트와 제2 핵심 포인트가 서로 인접한다 함은, 제1 핵심 포인트와 제2 핵심 포인트 사이에 기타 핵심 포인트가 존재하지 않음을 의미한다.

예시적으로, 제1 핵심 포인트는 어깨 관절이고, 제2 핵심 포인트는 팔꿈치 관절이고, 제3 핵심 포인트는 손목 관절이면, 어깨 관절 및 팔꿈치 관절의 연결선을 통해 큰팔을 나타내고, 팔꿈치 관절과 손목 관절의 연결선을 통해 작은 팔을 표시할 수 있다. 도 6은 팔 상의 핵심 포인트를 나타내는 도면이다. 도 6에 도시된 바와 같이, 어깨 관절을 제1 핵심 포인트로 하고, 팔꿈치 관절을 제2 핵심 포인트로 하고, 손목 관절을 제3 핵심 포인트로 하면, 제1 핵심 포인트와 제2 핵심 포인트의 연결선은 큰 팔을 나타낼 수 있으며, 제2 핵심 포인트와 제3 핵심 포인트의 연결선은 작은 팔을 나타낼 수 있다.

제1 핵심 포인트와 제2 핵심 포인트는 제1 부위를 나타낼 수 있고, 제2 핵심 포인트와 제3 핵심 포인트는 제2 부위를 나타낼 수 있으므로, 해당 3개의 핵심 포인트의 좌표를 이용하여, 제1 부위와 제2 부위 사이의 각도 정보를 결정할 수 있다.

선택적으로, 상기 각도 정보는 협각, 축각, 오일러 각, 사원수 등일 수 있다.

핵심 포인트의 좌표가 2차원 좌표와 3차원 좌표일 때, 상기 각도 정보를 결정하는 과정은 서로 다를 수 있다. 구체적으로 각도 정보를 결정하는 과정은 아래의 실시예에서 상세하게 설명한다.

S502, 상기 각도 정보를 기초로, 상기 제1 부위와 상기 제2 부위로 특정되는 몸체의 자세를 결정한다.

선택적으로, 각도 정보가 협각인 경우를 예로 들면, 상기 단계를 통해 제1 부위와 제2 부위 사이의 협각을 산출한 후, 해당 협각을 제1 부위와 제2 부위 사이의 자세로 할 수 있다. 예시적으로, 산출된 큰 팔와 작은 팔 사이의 협각이 90도일 때, 해당 90도를 실제 오브젝트의 몸체의 자세로 하여, 오브젝트의 작은 팔이 위로 90도만큼 회전하도록 구동함으로써, 오브젝트가 작은 팔을 굽히는 몸체 동작을 표현하도록 구동한다.

본 실시예에서, 3개의 핵심 포인트의 좌표를 기초로 두 부위 사이의 각도 정보를 결정하고, 부위 사이의 각도 정보를 기초로 실제 오브젝트의 몸체 자세를 결정할 수 있으므로, 이에 따라 보다 적은 산출량으로도 몸체 자세 정보를 획득할 수 있으며, 동시에 몸체의 실제 자세를 정확하게 나타낼 수 있다.

상술한 바와 같이, 상기 각 핵심 포인트의 좌표는 2차원 좌표일 수 있고, 3차원 좌표일 수도 있다. 아래에서는 이 두가지 경우에서 좌표 획득 모델을 이용하여 핵심 포인트의 좌표를 결정하고 실제 오브젝트의 몸체 자세를 결정하는 과정에 대해 설명한다.

우선 핵심 포인트 좌표가 3차원 좌표일 때의 처리 과정에 대해 설명한다.

선택적으로, 사전에 기설정된 트레이닝 영상 및 해당 트레이닝 영상의 표기 데이터를 사용하여 상기 좌표 획득 모델을 트레이닝할 수 있다. 여기서, 상기 트레이닝 영상의 표기 데이터는 상기 트레이닝 영상 중 각 핵심 포인트의 좌표를 포함하고, 상기 표기 데이터는 상기 트레이닝 영상 중 핵심 포인트의 카메라 좌표계에서의 3차원 좌표를 변환함으로써 획득된다.

구체적으로, 상기 좌표 획득 모델을 트레이닝하기 전에, 우선 모델의 트레이닝에 필요한 데이터에 대해 데이터 표기를 수행한다. 구체적으로, 우선 실제 오브젝트가 몸체 동작을 취할 때의 영상을 수집하고, 매번 수집할 때 각 핵심 포인트의 카메라 좌표계에서의 좌표를 기록하고, 각 핵심 포인트의 영상에서의 픽셀 좌표 및 심도값을 표기한다. 좌표 획득 모델은 트레이닝 과정에서 카메라 좌표계에서의 좌표를 핵심 포인트의 픽셀 좌표 및 심도값으로 변환한다.

상기 좌표 획득 모델 트레이닝 과정에서, 사전에 선정된 핵심 포인트를 기초로 트레이닝할 수 있으며, 이때 트레이닝 완성된 후의 좌표 획득 모델은 이러한 핵심 포인트의 좌표 처리만 수행한다. 핵심 포인트의 선정은 응용되는 시나리오에 따라 유연하게 설정할 수 있다. 예시적으로, 만약 어느 시나리오에서 가상 이미지의 윗몸만 존재하면, 모델 트레이닝 시, 윗몸의 핵심 포인트만 선정하여 표기 및 트레이닝할 수 있다.

상기 좌표 획득 모델이 트레이닝 완료된 후 상기 핵심 포인트의 좌표를 결정하는 과정에 이용될 수 있다.

선택적으로, 핵심 포인트의 3차원 좌표는 포인트의 픽셀 좌표 및 심도값을 의미하거나, 또한 핵심 포인트의 카메라 좌표계에서의 좌표를 의미할 수도 있다.

여기서, 상기 심도값은 핵심 포인트의 카메라 좌표계에서의 심도값을 의미한다.

상기 2종 3차원 좌표 중의 어느 하나를 핵심 포인트의 3차원 좌표로 하여도, 모두 실제 오브젝트 자세를 산출할 수 있으며, 이에 따라 본 출원은 더욱 높은 유연성을 갖게 된다.

제1 선택적인 실시형태에서, 만약 핵심 포인트의 3차원 좌표가 핵심 포인트의 픽셀 좌표 및 심도값을 의미하면, 목표 영상을 좌표 획득 모델에 입력한 후, 좌표 획득 모델에서 바로 핵심 포인트의 3차원 좌표, 즉 픽셀 좌표 및 심도값을 획득할 수 있다.

선택적으로, 좌표 획득 모델로부터 출력되는 픽셀 좌표의 단위는 픽셀로서, 핵심 포인트가 카메라 좌표계에서 2차원 영상 상에 매핑되는 uv좌표를 나타낸다. 심도값의 단위는 mm로서, 카메라 좌표계에서의 핵심 포인트와 카메라의 거리를 나타낸다.

제2 선택적인 실시형태에서, 만약 핵심 포인트의 3차원 좌표가 핵심 포인트의 카메라 좌표계에서의 좌표를 의미하면, 우선 상기 목표 영상을 좌표 획득 모델에 입력하여, 상기 좌표 획득 모델이 출력하는 상기 핵심 포인트의 상기 목표 영상 에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계의 심도값을 획득한다. 나아가, 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계에서의 심도값을 기초로 좌표 변환을 수행하여, 상기 핵심 포인트의 카메라 좌표계에서의 좌표를 획득한다.

여기서, 상기 좌표 획득 모델을 통해 목표 영상에서의 핵심 포인트의 픽셀 좌표 및 심도값을 획득하는 과정은 상기 제1 선택적인 실시형태와 동일하므로, 여기서는 중복되는 설명을 생략한다. 나아가, 상기 픽셀 좌표와 심도값을 획득한 후, 카메라의 내부 파라미터를 기초로, 상기 픽셀 좌표와 심도값을 핵심 포인트의 카메라 좌표계에서의 좌표로 변환할 수 있다.

해당 방식을 통해, 모델에서 출력되는 픽셀 좌표 및 심도값을 기초로 핵심 포인트의 카메라 좌표계에서의 좌표를 획득할 수 있으며, 이에 따라 카메라 좌표계에서의 자세 획득을 구현할 수 있다.

상기 과정을 통해 핵심 포인트의 3차원 좌표를 획득한 후, 해당 3차원 좌표를 이용하여, 상기 단계(S501)에서 제1 부위와 제2 부위 사이의 각도 정보를 결정할 수 있다.

선택적으로, 우선 각각 제1 핵심 포인트의 3차원 좌표 및 상기 제2 핵심 포인트의 3차원 좌표를 기초로, 상기 제1 부위의 3차원 벡터를 결정하고, 및, 상기 제2 핵심 포인트의 3차원 좌표 및 상기 제3 핵심 포인트의 3차원 좌표를 기초로, 상기 제2 부위의 3차원 벡터를 결정하며, 나아가, 상기 제1 부위의 3차원 벡터와 상기 제2 부위의 3차원 벡터를 기초로, 상기 제1 부위와 상기 제2 부위 사이의 각도 정보를 결정한다.

서로 인접한 부위의 3차원 벡터를 산출함으로써, 서로 인접한 부위의 위치 정보를 획득할 수 있고, 나아가 위치 사이의 차이를 이용하여 서로 인접한 부위의 정확한 각도 정보를 획득할 수 있으며, 이에 따라 산출 과정이 간단하고 효율적이다.

아래에서는 각도 정보가 상기 사원수인 경우를 예로 들어, 핵심 포인트의 3차원 좌표를 기초로 제1 부위와 제2 부위 사이의 각도 정보를 산출하는 과정에 대해 설명한다.

우선 (x, y, z)를 사용하여 핵심 포인트의 3차원 좌표를 나타낸다. 핵심 포인트의 3차원 좌표가 상기 제1 선택적인 실시형태에서의 좌표일 때, (x, y, z)에서, x, y는 핵심 포인트의 픽셀 좌표를 나타내고, z는 심도 정보를 표시함을 이해하여야 한다. 핵심 포인트의 3차원 좌표가 상기 제2 선택적인 실시형태에서의 좌표일 때, (x, y, z)는 카메라 좌표계에서의 핵심 포인트의 좌표를 나타낸다. 아래에서는 별도의 설명을 생략한다.

3개의 핵심 포인트가 각각 팔의 어깨 관절, 팔꿈치 관절과 손목 관절이고, 여기서, 어깨 관절의 3차원 좌표는이고, 팔꿈치 관절의 3차원 좌표는 이며, 손목 관절의 3차원 좌표라고 가정하면, 아래와 같은 3개의 단계를 통해 팔의 큰 팔과 작은 팔 사이의 사원수를 산출한다.

1. 각각 아래의 수식 (1)과 수식(2)를 사용하여 큰 팔과 작은 팔의 공간 벡터를 산출한다.

（1）

（2）

2. 아래의 수식(3)과 수식(4)를 사용하여 단위 회전축과 회전각을 산출한다.

（3）

（4）

3. 아래의 수식(5)를 사용하여 사원수를 산출한다.

（5）

여기서, ，，，이다.

아래에서는 핵심 포인트 좌표가 2차원 좌표일 때의 처리 과정에 대해 설명한다.

핵심 포인트 좌표가 2차원 좌표일 때, 해당 2차원 좌표는 목표 영상에서의 핵심 포인트의 픽셀 좌표이다.

일부 시나리오에서, 예를 들어 가상 오브젝트가 2차원 평면 영상일 때, 목표 영상에서의 핵심 포인트의 픽셀 좌표만 사용하여, 가상 오브젝트에 대한 구동을 구현할 수 있으므로, 시나리오 요구를 만족하면서 산출 복잡도를 감소시킬 수 있다.

선택적으로, 핵심 포인트가 2차원 좌표일 때, 2차원 표기된 영상만 사용하여 상기 좌표 획득 모델을 트레이닝할 수 있다. 구체적으로, 실제 오브젝트가 몸체 동작을 취할 때의 영상을 수집할 때, 각 핵심 포인트의 영상에서의 픽셀 좌표를 표기한다. 트레이닝된 좌표 획득 모델은 핵심 포인트의 픽셀 좌표를 출력할 수 있다.

구체적으로, 목표 영상을 좌표 획득 모델에 입력하여, 좌표 획득 모델이 출력하는 핵심 포인트의 목표 영상에서의 픽셀 좌표를 획득한다.

이러한 방식을 통해, 좌표 획득 모델이 2차원 시나리오 요구를 만족하도록 하면서, 모델 복잡도를 최대로 낮출 수 있다.

또는, 좌표 획득 모델은 여전히 상기 3차원 좌표 시의 트레이닝 방식을 사용한다. 모델을 사용할 때, 모델이 픽셀 좌표와 심도 정보를 출력한 후, 그 중 픽셀 좌표만 사용하면 된다.

상기 과정을 통해 핵심 포인트의 2차원 좌표를 획득한 후, 해당 2차원 좌표를 이용하여, 상기 단계(S501)에서 제1 부위와 제2 부위 사이의 각도 정보를 결정할 수 있다.

선택적으로, 우선 각각 제1 핵심 포인트의 2차원 좌표 및 상기 제2 핵심 포인트의 2차원 좌표를 기초로, 상기 제1 부위의 2차원 벡터를 결정하고, 및, 상기 제2 핵심 포인트의 2차원 좌표 및 상기 제3 핵심 포인트의 2차원 좌표를 기초로, 상기 제2 부위의 2차원 벡터를 결정하며, 나아가, 상기 제1 부위의 2차원 벡터와 상기 제2 부위의 2차원 벡터를 기초로, 상기 제1 부위와 상기 제2 부위 사이의 각도 정보를 결정한다.

서로 인접한 부위의 2차원 벡터를 산출함으로써, 서로 인접한 부위의 2차원 시나리오에서의 위치 정보를 획득할 수 있으며, 나아가 위치 공간 사이의 차이를 이용하여 서로 인접한 부위의 정확한 각도 정보를 획득할 수 있다. 이에 따라 산출 과정이 간단하고 효율적이다.

아래에서는 각도 정보가 상기 협각인 경우를 예로 들어, 핵심 포인트의 2차원 좌표를 기초로 제1 부위와 제2 부위 사이의 각도 정보를 산출하는 과정에 대해 설명한다.

우선 (x, y)를 사용하여 핵심 포인트의 2차원 좌표를 표시한다.

3개의 핵심 포인트가 각각 팔의 어깨 관절, 팔꿈치 관절와 손목 관절이고, 여기서, 어깨 관절의 2차원 좌표는 , 팔꿈치 관절의 2차원 좌표는 , 손목 관절의 2차원 좌표는 라고 가정하면, 아래 3개의 단계를 통해 팔의 큰 팔과 작은 팔 사이의 협각을 산출한다.

1. 각각 아래의 수식(6)과 수식(7)을 사용하여 큰 팔과 작은 팔의 공간 벡터를 산출한다.

（6）

（7）

2. 아래의 수식(8)과 수식(9)를 사용하여 큰 팔와 작은 팔의 공간 벡터의 모듈러스를 산출한다.

（8）

（9）

3. 아래의 수식(10)을 사용하여 큰 팔와 작은 팔 사이의 협각을 산출한다.

（10）

상기 단계(S304)에서 설명한 바와 같이, 실제 오브젝트의 자세를 기초로, 실제 오브젝트의 몸체 동작을 표현하도록 가상 오브젝트를 구동할 수 있다. 구체적으로 후술하는 2종 방식에 따라 수행할 수 있다.

제1 방식에서, 단지 상기 실제 오브젝트의 자세를 기초로 구동할 수 있다.

실제 오브젝트의 자세가 상기 사원수인 경우를 예로 들면, 사원수를 기초로 가상 오브젝트를 구동할 때, 사원수를 기초로 가상 오브젝트의 몸체를 회전시켜, 실제 오브젝트의 몸체의 자세를 표현할 수 있다.

제2 방식에서, 상기 실제 오브젝트의 자세 및 실제 오브젝트의 핵심 포인트의 좌표를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동할 수 있다.

상기 실제 오브젝트의 핵심 포인트의 좌표는 핵심 포인트의 위치를 나타내고, 동시에 자세 및 해당 위치를 기초로 가상 오브젝트를 구동할 때, 가상 오브젝트의 자세와 위치가 모두 구동되도록 할 수 있다. 예를 들어, 사원수를 기초로, 가상 오브젝트가 실제 오브젝트의 자세를 표현하도록 구동할 수 있다. 만약 실제 오브젝트가 이동하면, 예를 들어 좌측으로 일정 거리만큼 걸아가면, 핵심 포인트의 좌표는 변경되며, 해당 좌표를 이용하여 또한 가상 오브젝트가 좌측으로 이동하도록 구동할 수 있다.

도 7은 본 출원의 실시예에 따른 일 가상 오브젝트 구동 장치의 모듈 구성도이다. 도 7에 도시된 바와 같이, 해당 장치는,

카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 획득하는 획득모듈(701).

상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득하는 처리모듈(702);

상기 핵심 포인트 각각의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정하는 결정모듈(703);

상기 실제 오브젝트의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동하는 구동모듈(704);을 포함한다.

일 선택적인 실시형태에서, 결정모듈(703)은 구체적으로,

제1 핵심 포인트의 좌표, 제2 핵심 포인트의 좌표, 제3 핵심 포인트의 좌표를 기초로, 제1 부위와 제2 부위 사이의 각도 정보를 결정하되; 여기서, 상기 제1 부위는 제1 핵심 포인트 및 상기 제1 핵심 포인트와 인접한 제2 핵심 포인트로 특정되고, 상기 제2 부위는 상기 제2 핵심 포인트 및 상기 제2 핵심 포인트와 인접한 제3 핵심 포인트로 특정되며, 상기 제2 핵심 포인트는 상기 제1 부위와 상기 제2 부위의 연결점이며; 상기 각도 정보를 기초로, 상기 제1 부위와 상기 제2 부위로 특정되는 몸체의 자세를 결정한다.

일 선택적인 실시형태에서, 상기 좌표는 3차원 좌표이고; 상기 3차원 좌표는 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계에서의 심도값을 포함하거나, 또는, 상기 3차원 좌표는 상기 핵심 포인트의 카메라 좌표계에서의 좌표이다.

일 선택적인 실시형태에서, 만약 상기 3차원 좌표가 상기 핵심 포인트의 카메라 좌표계에서의 좌표이면, 처리모듈(702)은 구체적으로,

상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 좌표 획득 모델이 출력하는 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계의 심도값을 획득하고; 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계에서의 심도값을 기초로 좌표 변환을 수행하여, 상기 핵심 포인트의 카메라 좌표계에서의 좌표를 획득한다.

일 선택적인 실시형태에서, 처리모듈(702)은 구체적으로,

상기 제1 핵심 포인트의 3차원 좌표 및 상기 제2 핵심 포인트의 3차원 좌표를 기초로, 상기 제1 부위의 3차원 벡터를 결정하고; 상기 제2 핵심 포인트의 3차원 좌표 및 상기 제3 핵심 포인트의 3차원 좌표를 기초로, 상기 제2 부위의 3차원 벡터를 결정하며; 상기 제1 부위의 3차원 벡터와 상기 제2 부위의 3차원 벡터를 기초로, 상기 제1 부위와 상기 제2 부위 사이의 각도 정보를 결정한다.

일 선택적인 실시형태에서, 상기 좌표는 2차원 좌표이고; 상기 2차원 좌표는 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표이다.

일 선택적인 실시형태에서, 처리모듈(702)은 구체적으로,

상기 목표 영상을 상기 좌표 획득 모델로 입력하여, 상기 좌표 획득 모델이 출력하는 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표를 획득한다.

일 선택적인 실시형태에서, 결정모듈(703)은 구체적으로, 상기 제1 핵심 포인트의 2차원 좌표 및 상기 제2 핵심 포인트의 2차원 좌표를 기초로, 상기 제1 부위의 2차원 벡터를 결정하고; 상기 제2 핵심 포인트의 2차원 좌표 및 상기 제3 핵심 포인트의 2차원 좌표를 기초로, 상기 제2 부위의 2차원 벡터를 결정하며; 상기 제1 부위의 2차원 벡터와 상기 제2 부위의 2차원 벡터를 기초로, 상기 제1 부위와 상기 제2 부위 사이의 각도 정보를 결정한다.

일 선택적인 실시형태에서, 구동모듈(704)은 구체적으로,

상기 실제 오브젝트의 자세, 및 상기 실제 오브젝트의 핵심 포인트의 좌표를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동한다.

일 선택적인 실시형태에서, 처리모듈(702)은 또한,

기설정된 트레이닝 영상 및 상기 트레이닝 영상의 표기 데이터를 사용하여 상기 좌표 획득 모델을 트레이닝한다.

여기서, 상기 트레이닝 영상의 표기 데이터는 상기 트레이닝 영상 중 각 핵심 포인트의 좌표를 포함하되, 상기 표기 데이터는 상기 트레이닝 영상 중의 핵심 포인트의 카메라 좌표계에서의 3차원 좌표에 대해 변환하여 획득된다.

본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장매체를 더 제공한다.

도 8에 도시된 바와 같이, 본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장매체를 더 제공한다.

도 8은 본 출원의 실시예에 따른 가상 오브젝트 구동 방법을 위한 전자기기의 블록도이다. 전자기기는 다양한 형태의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 정보 단말, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터를 의미한다. 전자기기는 다양한 형태의 이동장치, 예컨대, 개인 휴대 단말, 셀폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치를 의미할 수도 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.

도 8에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(801), 메모리(802), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 메모리를 같이 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서). 도 8은 하나의 프로세서(801)를 예로 든다.

메모리(802)는 바로 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에 따른 가상 오브젝트 구동 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원에 따른 가상 오브젝트 구동 방법을 수행하도록 한다.

메모리(802)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예에 따른 가상 오브젝트 구동 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 7에 도시된 획득모듈(701), 처리모듈(702))을 저장할 수 있다. 프로세서(801)는 메모리(802)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 전자기기의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 가상 오브젝트 구동 방법을 구현한다.

메모리(802)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 가상 오브젝트를 구동하는 전자기기의 사용에 따라 구성되는 데이터 등을 저장할 수 있다. 한편, 메모리(802)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장 장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장 장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(802)는 선택적으로 프로세서(801)에 대해 원격으로 설치되는 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 가상 오브젝트를 구동하는 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.

가상 오브젝트 구동 방법을 위한 전자기기는 입력장치(803)와 출력장치(804)를 더 포함할 수 있다. 프로세서(801), 메모리(802), 입력장치(803) 및 출력장치(804)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 8에서는 버스를 통해 연결되는 것을 예시하고 있다.

입력장치(803)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 가상 오브젝트를 구동하는 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙 볼, 조종 레버 등의 입력장치가 있다. 출력장치(504)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.

본 출원의 실시예에 따르면, 본 출원은 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 더 제공하며, 전자기기의 적어도 하나의 프로세서는 판독 가능 저장매체로부터 컴퓨터 명령을 판독할 수 있으며, 적어도 하나의 프로세서는 컴퓨터 프로그램을 실행하여 전자기기가 상술한 어느 실시예에 따른 방안을 수행하도록 한다.

여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 지칭)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 “기계 판독 가능 매체”와 “컴퓨터 판독 가능 매체”는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.

사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향 장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.

여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시형태와 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매채의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다. 서버는 클라우드 서버일 수 있으며, 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고도 지칭되며, 클라우드 서버 시스템 중의 일 호스트 제품으로서, 일반 물리 호스트와 VPS 서비스에서 존재하는 관리 난도가 크고, 업무 확장성이 낮은 결함을 해결한다.

상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본문은 이에 대해 한정하지 않는다.

상술한 구체적인 실시형태는 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 요구와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해할 수 있을 것이다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 치환 및 개선 등은 모두 본 출원의 보호 범위 내에 속하는 것으로 간주하여야 한다.

Claims

단말기 또는 서버에 적용되는 가상 오브젝트 구동 방법에 있어서,
카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 획득하는 단계;
상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 목표 영상 중 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득하는 단계;
상기 핵심 포인트 각각의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정하는 단계;
상기 실제 오브젝트의 몸체의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동하는 단계;를 포함하되,
상기 핵심 포인트 각각의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정하는 단계는,
제1 핵심 포인트의 좌표, 제2 핵심 포인트의 좌표, 제3 핵심 포인트의 좌표를 기초로, 제1 부위와 제2 부위 사이의 각도 정보를 결정하되; 여기서, 상기 각도 정보는 사원수를 포함하고, 상기 제1 부위는 제1 핵심 포인트 및 상기 제1 핵심 포인트와 인접한 제2 핵심 포인트로 특정되고, 상기 제2 부위는 상기 제2 핵심 포인트 및 상기 제2 핵심 포인트와 인접한 제3 핵심 포인트로 특징되며, 상기 제2 핵심 포인트는 상기 제1 부위와 상기 제2 부위의 연결점인 단계;
상기 각도 정보를 기초로, 상기 제1 부위와 상기 제2 부위로 특정되는 몸체의 자세를 결정하는 단계를 포함하고,
상기 제1 핵심 포인트의 좌표는 이고, 상기 제2 핵심 포인트의 좌표는 이고, 상기 제3 핵심 포인트의 좌표는 이고, 상기 제1 핵심 포인트의 좌표, 제2 핵심 포인트의 좌표, 제3 핵심 포인트의 좌표를 기초로, 제1 부위와 제2 부위 사이의 각도 정보를 결정하는 단계는,
아래의 수식(1)과 수식(2)를 사용하여 상기 제1 부위와 상기 제2 부위의 공간 벡터를 산출하는 단계;
아래의 수식(3)과 수식(4)를 사용하여 단위 회전축과 회전각을 산출하는 단계;
아래의 수식(5)를 사용하여 상기 사원수를 산출하는 단계;를 포함하고,
（1）
（2）
（3）
（4）
（5）
여기서, ，， , , , 이고;
q₀, q₁, q₂, q₃는 실수이고, ｉ, ｊ, ｋ는 3개의 공간축을 따라 지향하는 단위 벡터의 부호를 의미하고, ｕ_x, ｕ_y, ｕ_z는 상기 단위 회전축의 상기 3개의 공간에서의 좌표이고,
상기 방법은,
기설정된 트레이닝 영상 및 상기 트레이닝 영상의 표기 데이터를 사용하여 상기 좌표 획득 모델을 트레이닝하는 단계를 더 포함하되,
여기서, 상기 트레이닝 영상의 표기 데이터는 상기 트레이닝 영상 중 사전에 선정된 핵심 포인트의 좌표를 포함하고, 상기 표기 데이터는 상기 트레이닝 영상 중의 사전에 선정된 핵심 포인트의 카메라 좌표계에서의 3차원 좌표에 대해 변환하여 획득되는 가상 오브젝트 구동 방법.
삭제
제1항에 있어서,
상기 좌표는 3차원 좌표이고; 상기 3차원 좌표는 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계에서의 심도값을 포함하거나, 또는,
상기 3차원 좌표는 상기 핵심 포인트의 카메라 좌표계에서의 좌표인 가상 오브젝트 구동 방법.
제3항에 있어서,
상기 3차원 좌표가 상기 핵심 포인트의 카메라 좌표계에서의 좌표이면, 상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 목표 영상 중 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득하는 단계는,
상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 좌표 획득 모델이 출력하는 상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계에서의 심도값을 획득하는 단계;
상기 핵심 포인트의 상기 목표 영상에서의 픽셀 좌표 및 상기 핵심 포인트의 카메라 좌표계에서의 심도값을 기초로 좌표 변환을 수행하여, 상기 핵심 포인트의 카메라 좌표계에서의 좌표를 획득하는 단계;를 포함하는 가상 오브젝트 구동 방법.
삭제
삭제
삭제
삭제
제1항, 제3항, 및 제4항 중 어느 한 항에 있어서,
상기 실제 오브젝트의 몸체의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동하는 단계는,
상기 실제 오브젝트의 몸체의 자세, 및 상기 실제 오브젝트의 핵심 포인트의 좌표를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동하는 단계를 포함하는 가상 오브젝트 구동 방법.
삭제
카메라에서 수집한 실제 오브젝트가 몸체 동작을 취할 때의 목표 영상을 획득하는 획득모듈;
상기 목표 영상을 좌표 획득 모델로 입력하여, 상기 목표 영상 중 실제 오브젝트의 몸체 상에 위치하는 복수의 핵심 포인트의 좌표를 획득하는 처리모듈;
상기 핵심 포인트 각각의 좌표를 기초로, 상기 실제 오브젝트의 몸체의 자세를 결정하는 결정모듈; 및
상기 실제 오브젝트의 몸체의 자세를 기초로, 상기 실제 오브젝트의 몸체 동작을 표현하도록 스크린 상에 표시되는 가상 오브젝트를 구동하는 구동모듈;을 포함하되,
상기 결정모듈은 구체적으로,
제1 핵심 포인트의 좌표, 제2 핵심 포인트의 좌표, 제3 핵심 포인트의 좌표를 기초로, 제1 부위와 제2 부위 사이의 각도 정보를 결정하되; 여기서, 상기 제1 부위는 제1 핵심 포인트 및 상기 제1 핵심 포인트와 인접한 제2 핵심 포인트로 특정되고, 상기 제2 부위는 상기 제2 핵심 포인트 및 상기 제2 핵심 포인트와 인접한 제3 핵심 포인트로 특징되며, 상기 제2 핵심 포인트는 상기 제1 부위와 상기 제2 부위의 연결점이고;
상기 각도 정보를 기초로, 상기 제1 부위와 상기 제2 부위로 특정되는 몸체의 자세를 결정하고,
상기 각도 정보는 사원수를 포함하고, 상기 제1 핵심 포인트의 좌표는 이고, 상기 제2 핵심 포인트의 좌표는 이고, 상기 제3 핵심 포인트의 좌표는 이고, 상기 결정모듈은 구체적으로,
아래의 수식(1)과 수식(2)를 사용하여 상기 제1 부위와 상기 제2 부위의 공간 벡터를 산출하고;
아래의 수식(3)과 수식(4)를 사용하여 단위 회전축과 회전각을 산출하고;
아래의 수식(5)를 사용하여 상기 사원수를 산출하고;
（1）
（2）
（3）
（4）
（5）
여기서, ，， , , , 이고;
q₀, q₁, q₂, q₃는 실수이고, ｉ, ｊ, ｋ는 3개의 공간축을 따라 지향하는 단위 벡터의 부호를 의미하고, ｕ_x, ｕ_y, ｕ_z는 상기 단위 회전축의 상기 3개의 공간에서의 좌표이고,
상기 처리모듈은 또한,
기설정된 트레이닝 영상 및 상기 트레이닝 영상의 표기 데이터를 사용하여 상기 좌표 획득 모델을 트레이닝하고,
여기서, 상기 트레이닝 영상의 표기 데이터는 상기 트레이닝 영상 중 사전에 선정된 핵심 포인트의 좌표를 포함하고, 상기 표기 데이터는 상기 트레이닝 영상 중의 사전에 선정된 핵심 포인트의 카메라 좌표계에서의 3차원 좌표에 대해 변환하여 획득되는 가상 오브젝트 구동 장치.
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항, 제3항, 및 제4항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 전자기기.
컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
상기 컴퓨터 명령은 컴퓨터가 제1항, 제3항, 및 제4항 중 어느 한 항에 따른 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체.
컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항, 제3항, 및 제4항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램.