KR20220093342A

KR20220093342A - Method, device and related products for implementing split mirror effect

Info

Publication number: KR20220093342A
Application number: KR1020227018465A
Authority: KR
Inventors: 웬타오 리우; 지아유 젱; 잔펭 후앙; 지아후아 리
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2019-12-03
Filing date: 2020-03-31
Publication date: 2022-07-05
Also published as: TW202123178A; WO2021109376A1; CN111080759B; TWI752502B; JP2023501832A; CN111080759A; JP7457806B2

Abstract

본 출원의 실시예는 분할 미러 효과의 구현 방법, 장치 및 관련 제품을 개시하였고, 상기 분할 미러 효과의 구현 방법은, 3차원 가상 모델을 획득하는 단계; 및 적어도 두 개의 상이한 카메라 앵글로 상기 3차원 가상 모델에 대해 렌더링을 수행하여, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻는 단계를 포함한다.An embodiment of the present application discloses a method, apparatus and related products for implementing a split mirror effect, the method for implementing the split mirror effect includes: acquiring a three-dimensional virtual model; and performing rendering on the 3D virtual model with at least two different camera angles to obtain virtual images respectively corresponding to the at least two different camera angles.

Description

Method, device and related products for implementing split mirror effect

관련 출원의 상호 참조Cross-referencing of related applications

본 출원은 출원번호가 201911225211.4이고 출원일자가 2019년 12월 3일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.This application is filed based on a Chinese patent application with an application number of 201911225211.4 and an application date of December 3, 2019, claiming priority to the Chinese patent application, all contents of the Chinese patent application are incorporated herein by reference do.

본 발명은 가상 기술 분야에 관한 것으로, 특히 분할 미러 효과의 구현 방법, 장치 및 관련 제품에 관한 것이다.The present invention relates to the field of virtual technology, and more particularly, to a method, apparatus and related products for implementing a split mirror effect.

예를 들어, 널리 알려진 “하츠네 미쿠”, “뤄톈이” 등 가상 아이돌이 음악 분야에서의 응용 또는 가상 사회자가 뉴스 생방송에서의 응용 등과 같이, 최근에는 “가상 캐릭터”가 우리 삶에 자주 등장한다. 가상 캐릭터는 실제 캐릭터를 대체하여 사이버 공간에서 활동할 수 있고, 또한 사용자는 수요에 따라 가상 캐릭터의 외관, 형상 등을 자체로 설정할 수 있으므로, 가상 캐릭터는 점점 사람들 간의 소통 수단이 되었다.For example, such as widely known virtual idols such as “Hatsune Miku” and “Luo Tianyi” are applied in the music field, or virtual moderators are applied in live news broadcasts. Recently, “virtual characters” appear frequently in our lives. Since virtual characters can act in cyberspace by replacing real characters, and users can set their own appearance, shape, etc. according to demand, virtual characters have increasingly become a means of communication between people.

현재, 네트워크에서의 가상 캐릭터는 생성 과정에서 보통 모션 캡처 기술을 사용하여, 이미지 인식의 방법을 통해 촬영하여 얻은 실제 캐릭터 이미지에 대해 분석을 수행함으로써, 실제 캐릭터의 동작 및 표정을 가상 캐릭터에 정향하며, 가상 캐릭터로 하여금 실제 캐릭터의 동작과 표정을 재현할 수 있도록 한다.At present, virtual characters in the network use motion capture technology in the creation process, and perform analysis on real character images obtained by shooting through the method of image recognition, thereby directing the movements and expressions of real characters to virtual characters. , allowing the virtual character to reproduce the movements and facial expressions of the real character.

본 발명의 실시예는 분할 미러 효과의 구현 방법, 장치 및 관련 제품을 개시하였다.An embodiment of the present invention discloses a method, apparatus and related products for implementing the split mirror effect.

제1측면에 있어서, 본 발명의 실시예는 분할 미러 효과의 구현 방법을 제공하고, 상기 분할 미러 효과의 구현 방법은, 3차원 가상 모델을 획득하는 단계; 및 적어도 두 개의 상이한 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻는 단계를 포함한다.In a first aspect, an embodiment of the present invention provides a method for implementing a split mirror effect, the method comprising: obtaining a three-dimensional virtual model; and performing rendering on the 3D virtual model with at least two different camera angles to obtain virtual images respectively corresponding to the at least two different camera angles.

상기 분할 미러 효과의 구현 방법은 3차원 가상 모델을 획득하고, 적어도 두 개의 상이한 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행함으로써, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻는 것을 통해, 사용자로 하여금 상이한 카메라 앵글에서의 가상 이미지를 볼 수 있도록 하며, 사용자에게 풍부한 시각 체험을 제공한다.The method for implementing the split mirror effect includes obtaining a three-dimensional virtual model, rendering the three-dimensional virtual model with at least two different camera angles, and obtaining virtual images respectively corresponding to at least two different camera angles. , allowing users to view virtual images from different camera angles, and providing users with a rich visual experience.

본 발명의 일부 선택적인 실시예에 있어서, 3차원 가상 모델은 3차원 가상 시나리오에 있는 모델 중의 3차원 가상 캐릭터 모델을 포함하고, 3차원 가상 모델을 획득하기 전에, 상기 분할 미러 효과의 구현 방법은, 실제 이미지를 획득하는 단계 - 상기 실제 이미지는 실제 캐릭터 이미지를 포함함 - ; 실제 캐릭터 이미지에 대해 특징 추출을 수행하여 특징 정보를 얻는 단계 - 상기 특징 정보는 실제 캐릭터의 동작 정보를 포함함 - ; 및 특징 정보에 따라 3차원 가상 모델을 생성함으로써, 3차원 가상 모델에서의 3차원 가상 캐릭터 모델의 동작 정보는 실제 캐릭터의 동작 정보에 대응되게 하는 단계를 더 포함한다.In some optional embodiments of the present invention, the three-dimensional virtual model includes a three-dimensional virtual character model among the models in the three-dimensional virtual scenario, and before obtaining the three-dimensional virtual model, the implementation method of the split mirror effect is , obtaining a real image, the real image including a real character image; performing feature extraction on an actual character image to obtain feature information, wherein the feature information includes motion information of a real character; and generating the 3D virtual model according to the characteristic information, so that motion information of the 3D virtual character model in the 3D virtual model corresponds to motion information of the real character.

이로부터 알다시피, 수집하여 얻은 실제 캐릭터 이미지에 대해 특징 추출을 수행함으로써, 3차원 가상 모델을 생성하여, 3차원 가상 모델에서의 3차원 가상 캐릭터 모델로 하여금 실제 캐릭터의 얼굴 표정 및 몸짓을 재현할 수 있도록 하며, 시청자이 3차원 가상 모델에 대응되는 가상 이미지를 보고 실제 캐릭터의 얼굴 표정 및 몸짓을 쉽게 알 수 있게 함으로써, 시청자이 실제 앵커와 더욱 유연한 상호작용을 하도록 한다.As is known from this, by performing feature extraction on the collected and obtained real character images, a three-dimensional virtual model is created, and the three-dimensional virtual character model in the three-dimensional virtual model can reproduce the facial expressions and gestures of the real character. By allowing viewers to easily know the facial expressions and gestures of real characters by viewing virtual images corresponding to the three-dimensional virtual model, viewers can interact more flexibly with real anchors.

본 발명의 일부 선택적인 실시예에 있어서, 실제 이미지를 획득하는 단계는, 영상 스트림을 획득하고, 영상 스트림에서의 적어도 두 프레임의 이미지에 따라 적어도 두 프레임의 실제 이미지를 얻는 단계를 포함하며; 실제 캐릭터 이미지에 대해 특징 추출을 수행하여 특징 정보를 얻는 단계는, 각 프레임 실제 캐릭터 이미지에 대해 각각 특징 추출을 수행하여 대응되는 특징 정보를 얻는 단계를 포함한다.In some optional embodiments of the present invention, the acquiring the real image includes acquiring a video stream, and acquiring the real image of at least two frames according to the images of at least two frames in the video stream; The step of obtaining feature information by performing feature extraction on the actual character image includes performing feature extraction on each frame of the actual character image to obtain corresponding feature information.

이로부터 알다시피, 3차원 가상 모델은 수집하여 얻은 다중 프레임의 실제 이미지의 실시간 변화에 따라, 사용자로 하여금 상이한 카메라 앵글에서의 3차원 가상 모델의 동적 변화 과정을 볼 수 있게 한다.As can be seen from this, the three-dimensional virtual model allows the user to see the dynamic change process of the three-dimensional virtual model at different camera angles according to the real-time change of the real image of multiple frames obtained by collecting it.

본 발명의 일부 선택적인 실시예에 있어서, 실제 이미지는 실제 시나리오 이미지를 더 포함하고, 3차원 가상 모델은 3차원 가상 시나리오 모델을 더 포함하며; 3차원 가상 모델을 획득하기 전에, 상기 분할 미러 효과의 구현 방법은, 실제 시나리오 이미지에 따라, 3차원 가상 시나리오 모델을 구축하는 단계를 더 포함한다.In some optional embodiments of the present invention, the real image further includes a real scenario image, and the three-dimensional virtual model further includes a three-dimensional virtual scenario model; Before acquiring the three-dimensional virtual model, the method for implementing the split mirror effect further includes, according to the real scenario image, building a three-dimensional virtual scenario model.

이로부터 알다시피, 상기 분할 미러 효과의 구현 방법은 실제 시나리오 이미지를 사용하여 3차원 가상 모델에서의 3차원 가상 시나리오 이미지를 구성할 수도 있으며, 특정 3차원 가상 시나리오 이미지만 선택하는 것보다 3차원 가상 시나리오 이미지를 더 선택적으로 만든다.As can be seen from this, in the implementation method of the split mirror effect, a three-dimensional virtual scenario image in a three-dimensional virtual model may be constructed using a real scenario image, and rather than selecting only a specific three-dimensional virtual scenario image, a three-dimensional virtual It makes the scenario image more selective.

본 발명의 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글을 획득하는 단계는, 적어도 두 프레임의 실제 이미지에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻는 단계를 포함한다.In some optional embodiments of the present invention, obtaining at least two different camera angles comprises obtaining at least two different camera angles according to the actual image of at least two frames.

이로부터 알다시피, 각 프레임의 실제 이미지는 하나의 카메라 앵글에 대응되고, 다중 프레임의 실제 이미지는 복수 개의 카메라 앵글에 대응되기에, 적어도 두 프레임의 실제 이미지에 따라 적어도 두 프레임 상이한 카메라 앵글을 얻을 수 있음으로써, 3차원 가상 모델의 카메라 앵글 렌더링을 구현하며, 사용자에게 풍부한 시각적 체험을 제공한다.As you can see from this, since the real image of each frame corresponds to one camera angle, and the real image of multiple frames corresponds to multiple camera angles, according to the actual image of at least two frames, at least two frame different camera angles can be obtained. By doing so, the camera angle rendering of the 3D virtual model is realized, and a rich visual experience is provided to the user.

본 발명의 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글을 획득하는 단계는, 적어도 두 프레임의 실제 이미지가 각각 대응되는 동작 정보에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻는 단계를 포함한다.In some optional embodiments of the present invention, the obtaining at least two different camera angles includes obtaining at least two different camera angles according to motion information to which the actual images of at least two frames respectively correspond. .

이로부터 알다시피, 실제 이미지에서의 실제 캐릭터의 동작 정보에 따라 카메라 앵글을 결정하고, 이미지에서 대응되는 3차원 가상 캐릭터 모델의 동작을 확대하여 현시 할 수 있도록 하며, 사용자가 용이하게 가상 이미지를 시청하는 것을 통해 실제 캐릭터의 동작을 알 수 있도록 함으로써, 상호 작용과 재미를 향상시킨다.As you can see from this, the camera angle is determined according to the motion information of the real character in the real image, and the motion of the corresponding 3D virtual character model in the image can be enlarged and displayed, and the user can easily view the virtual image. It enhances interaction and fun by allowing you to know the actual character's movements through

본 발명의 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글을 획득하는 단계는, 배경 음악을 획득하는 단계; 배경 음악에 대응되는 시간 컬렉션을 결정하는 단계 - 시간 컬렉션은 적어도 두 개의 시간대를 포함함 - ; 및 시간 컬렉션에서 각 시간대에 대응되는 카메라 앵글을 획득하는 단계를 포함한다.In some optional embodiments of the present invention, acquiring at least two different camera angles includes: acquiring background music; determining a time collection corresponding to the background music, the time collection including at least two time zones; and acquiring a camera angle corresponding to each time zone from the time collection.

이로부터 알다시피, 상기 분할 미러 효과의 구현 방법에서 배경 음악을 분석하고, 배경 음악에 대응되는 시간 컬렉션을 결정하는 것을 통해, 복수 개의 상이한 카메라 앵글을 획득하고, 이런 방법을 통해 카메라 앵글의 다양성을 향상시킬 수 있으며, 사용자로 하여금 더욱 풍부한 시각 체험을 얻을 수 있도록 한다.As can be seen from this, in the method of implementing the split mirror effect, a plurality of different camera angles are obtained by analyzing the background music and determining a time collection corresponding to the background music, and in this way, the diversity of the camera angles is obtained. can be improved, allowing users to obtain a richer visual experience.

본 발명의 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글은 제1 카메라 앵글 및 제2 카메라 앵글을 포함하고; 적어도 두 개의 상이한 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻는 단계는, 제1 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제1 가상 이미지를 얻는 단계; 제2 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제2 가상 이미지를 얻는 단계; 및 제1 가상 이미지 및 제2 가상 이미지에 따라 형성된 이미지 시퀀스를 전시하는 단계를 포함한다.In some optional embodiments of the present invention, the at least two different camera angles include a first camera angle and a second camera angle; The step of performing rendering on the 3D virtual model with at least two different camera angles to obtain a virtual image corresponding to each of the at least two different camera angles includes rendering the 3D virtual model with a first camera angle, , obtaining a first virtual image; performing rendering on the 3D virtual model at a second camera angle to obtain a second virtual image; and displaying an image sequence formed according to the first virtual image and the second virtual image.

이로부터 알다시피, 제1 카메라 앵글 및 제2 카메라 앵글로 각각 3차원 가상 모델에 대해 렌더링을 수행하고, 사용자로 하여금 제1 카메라 앵글에서의 3차원 가상 모델 및 제2 카메라 앵글에서의 3차원 가상 모델을 시청할 수 있도록 함으로써, 사용자에게 풍부한 시각 체험을 제공한다.As can be seen from this, rendering is performed on the 3D virtual model at the first camera angle and the second camera angle, respectively, and the user makes the 3D virtual model at the first camera angle and the 3D virtual model at the second camera angle By making the model viewable, it provides the user with a rich visual experience.

본 발명의 일부 선택적인 실시예에 있어서, 제2 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제2 가상 이미지를 얻는 단계는, 제1 카메라 앵글에서의 3차원 가상 모델을 수평 이동 또는 회전시켜, 제2 카메라 앵글에서의 3차원 가상 모델을 얻는 단계; 및 제2 카메라 앵글에서의 3차원 가상 모델에 대응되는 제2 가상 이미지를 획득하는 단계를 포함한다.In some optional embodiments of the present invention, the step of performing rendering on the 3D virtual model at the second camera angle to obtain the second virtual image comprises: horizontally moving the 3D virtual model at the first camera angle or rotating to obtain a three-dimensional virtual model at a second camera angle; and acquiring a second virtual image corresponding to the 3D virtual model at the second camera angle.

이로부터 알다시피, 제1 카메라 앵글에서의 3차원 가상 모델을 수평 이동 또는 회전을 수행하는 것을 통해, 빠르고 정확하게 제2 카메라 앵글에서의 3차원 가상 모델을 얻을 수 있고, 다시 말하면 제2 가상 이미지이다.As can be seen from this, by performing horizontal movement or rotation of the three-dimensional virtual model at the first camera angle, it is possible to quickly and accurately obtain a three-dimensional virtual model at the second camera angle, that is, the second virtual image. .

본 발명의 일부 선택적인 실시예에 있어서, 제1 가상 이미지 및 제2 가상 이미지에 따라 형성된 이미지 시퀀스를 전시하는 단계는, 제1 가상 이미지 및 제2 가상 이미지 사이에 a 프레임 가상 이미지를 삽입함으로써, 제1 가상 이미지로 하여금 제2 가상 이미지로 부드럽게 전환되도록 하는 단계 - a는 양의 정수임 - 를 포함한다.In some optional embodiments of the present invention, the step of displaying an image sequence formed according to the first virtual image and the second virtual image comprises: inserting a frame virtual image between the first virtual image and the second virtual image; causing the first virtual image to smoothly transition to the second virtual image, wherein a is a positive integer.

이로부터 알다시피, 제1 가상 이미지 및 제2 가상 이미지 사이에 a 프레임 가상 이미지를 삽입하여, 시청자가 단일 두 이미지(제1 가상 이미지 및 제2 가상 이미지)가 아닌 제1 가상 이미지에서 제2 가상 이미지로의 전체 변화 과정을 볼 수 있도록 함으로써, 시청자가 제1 가상 이미지에서 제2 가상 이미지로 인한 시각 차이의 변화 효과에 적응할 수 있도록 한다.As can be seen from this, by inserting a frame virtual image between the first virtual image and the second virtual image, the viewer can see the second virtual image in the first virtual image rather than the single two images (the first virtual image and the second virtual image). By making it possible to see the entire process of change into the image, the viewer can adapt to the effect of changing the visual difference due to the first virtual image to the second virtual image.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 효과의 구현 방법은, 배경 음악에 대해 비트 검출을 수행하여, 배경 음악의 비트 컬렉션을 얻는 단계 - 비트 컬렉션은 복수 개의 비트를 포함하고, 복수 개의 비트 중 각 비트는 하나의 무대 특수 효과에 대응됨 - ; 및 비트 컬렉션에 대응되는 타깃 무대 특수 효과를 3차원 가상 모델에 추가하는 단계를 더 포함한다.In some optional embodiments of the present invention, the method for implementing the split mirror effect comprises: performing beat detection on the background music to obtain a beat collection of the background music, the beat collection comprising a plurality of bits, and a plurality of - Each beat corresponds to one stage special effect; and adding a target stage special effect corresponding to the beat collection to the 3D virtual model.

이로부터 알다시피, 음악의 비트 정보에 따라 가상 캐릭터 모델이 위치하는 가상 시나리오에 대해 상응한 무대 특수 효과를 추가함으로써, 시청자에게 상이한 무대 효과를 나타내고, 시청자의 시청 체험도를 향상시킨다.As can be seen from this, by adding corresponding stage special effects to the virtual scenario in which the virtual character model is located according to the beat information of the music, different stage effects are presented to the viewers, and the viewing experience of the viewers is improved.

제2측면에 있어서, 본 발명의 실시예는 분할 미러 효과의 구현 장치를 더 제공하고, 상기 분할 미러 효과의 구현 장치는, 3차원 가상 모델을 획득하도록 구성된 획득 유닛; 및 적어도 두 개의 상이한 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻도록 구성된 분할 미러 유닛을 포함한다.In a second aspect, an embodiment of the present invention further provides an apparatus for implementing a split mirror effect, comprising: an acquiring unit, configured to acquire a three-dimensional virtual model; and a split mirror unit, configured to perform rendering on the three-dimensional virtual model with at least two different camera angles to obtain virtual images respectively corresponding to the at least two different camera angles.

본 발명의 일부 선택적인 실시예에 있어서, 3차원 가상 모델은 3차원 가상 시나리오에 있는 모델 중의 3차원 가상 캐릭터 모델을 포함하고, 분할 미러 효과의 구현 장치는, 특징 추출 유닛 및 3차원 가상 모델 생성 유닛을 더 포함하며; 여기서, 획득 유닛은 또한, 3차원 가상 모델을 획득하기 전에, 실제 이미지를 획득하도록 구성되고, 여기서, 실제 이미지는 실제 캐릭터 이미지를 포함하며; 특징 추출 유닛은, 실제 캐릭터 이미지에 대해 특징 추출을 수행하여 특징 정보를 얻도록 구성되고, 여기서, 특징 정보는 실제 캐릭터의 동작 정보를 포함하며; 3차원 가상 모델 생성 유닛은, 특징 정보에 따라 3차원 가상 모델을 생성함으로써, 3차원 가상 모델에서의 3차원 가상 캐릭터 모델의 동작 정보는 실제 캐릭터의 동작 정보에 대응되게 구성된다.In some optional embodiments of the present invention, the three-dimensional virtual model includes a three-dimensional virtual character model among the models in the three-dimensional virtual scenario, and the apparatus for implementing the split mirror effect includes: a feature extraction unit and three-dimensional virtual model generation further comprising a unit; Here, the acquiring unit is also configured to acquire a real image, before acquiring the three-dimensional virtual model, wherein the real image includes a real character image; The feature extraction unit is configured to perform feature extraction on the real character image to obtain feature information, wherein the feature information includes motion information of the real character; The three-dimensional virtual model generating unit generates the three-dimensional virtual model according to the characteristic information, so that the motion information of the three-dimensional virtual character model in the three-dimensional virtual model is configured to correspond to the motion information of the real character.

본 발명의 일부 선택적인 실시예에 있어서, 획득 유닛은, 영상 스트림을 획득하고, 영상 스트림에서의 적어도 두 프레임의 이미지에 따라 적어도 두 프레임의 실제 이미지를 얻도록 구성되고; In some optional embodiments of the present invention, the acquiring unit is configured to acquire a video stream, and acquire at least two frames of actual images according to the images of at least two frames in the video stream;

특징 추출 유닛은, 각 프레임 실제 캐릭터 이미지에 대해 특징 추출을 수행하여 대응되는 특징 정보를 얻도록 구성된다.The feature extraction unit is configured to perform feature extraction on each frame actual character image to obtain corresponding feature information.

본 발명의 일부 선택적인 실시예에 있어서, 실제 이미지는 실제 시나리오 이미지를 더 포함하고, 3차원 가상 모델은 3차원 가상 시나리오 모델을 더 포함하며; 분할 미러 효과의 구현 장치는, 획득 유닛이 3차원 가상 모델을 획득하기 전에, 실제 시나리오 이미지에 따라, 3차원 가상 시나리오 이미지를 구축하도록 구성된 3차원 가상 시나리오 이미지 구축 유닛을 더 포함한다.In some optional embodiments of the present invention, the real image further includes a real scenario image, and the three-dimensional virtual model further includes a three-dimensional virtual scenario model; The apparatus for implementing the split mirror effect further includes a three-dimensional virtual scenario image building unit, configured to build a three-dimensional virtual scenario image according to the real scenario image before the acquiring unit acquires the three-dimensional virtual model.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 효과의 구현 장치는 적어도 두 프레임의 실제 이미지에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻도록 구성된 카메라 앵글 획득 유닛을 더 포함한다.In some optional embodiments of the present invention, the apparatus for implementing the split mirror effect further includes a camera angle obtaining unit, configured to obtain at least two different camera angles according to the actual images of at least two frames.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 효과의 구현 장치는 적어도 두 프레임의 실제 이미지가 각각 대응되는 동작 정보에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻도록 구성된 카메라 앵글 획득 유닛을 더 포함한다.In some optional embodiments of the present invention, the apparatus for implementing the split mirror effect further comprises a camera angle obtaining unit, configured to obtain at least two different camera angles according to the motion information corresponding to the actual images of at least two frames, respectively do.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 효과의 구현 장치는 배경 음악을 획득하고; 배경 음악에 대응되는 시간 컬렉션을 결정하며 - 시간 컬렉션은 적어도 두 개의 시간대를 포함함 - ; 시간 컬렉션에서 각 시간대에 대응되는 카메라 앵글을 획득하도록 구성된 카메라 앵글 획득 유닛을 더 포함한다.In some optional embodiments of the present invention, the apparatus for implementing the split mirror effect is configured to acquire background music; determine a time collection corresponding to the background music, wherein the time collection includes at least two time zones; and a camera angle obtaining unit, configured to obtain a camera angle corresponding to each time zone in the time collection.

본 발명의 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글은 제1 카메라 앵글 및 제2 카메라 앵글을 포함하고, 분할 미러 유닛은, 제1 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제1 가상 이미지를 얻으며; 제2 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제2 가상 이미지를 얻고; 제1 가상 이미지 및 제2 가상 이미지에 따라 형성된 이미지 시퀀스를 전시하도록 구성된다.In some optional embodiments of the present invention, the at least two different camera angles include a first camera angle and a second camera angle, and the split mirror unit performs rendering on the three-dimensional virtual model at the first camera angle. to obtain a first virtual image; performing rendering on the three-dimensional virtual model at a second camera angle to obtain a second virtual image; and display an image sequence formed according to the first virtual image and the second virtual image.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 유닛은, 제1 카메라 앵글에서의 3차원 가상 모델을 수평 이동 또는 회전시켜, 제2 카메라 앵글에서의 3차원 가상 모델을 얻고; 제2 카메라 앵글에서의 3차원 가상 모델에 대응되는 제2 가상 이미지를 획득하도록 구성된다.In some optional embodiments of the present invention, the split mirror unit horizontally moves or rotates the three-dimensional virtual model at the first camera angle to obtain the three-dimensional virtual model at the second camera angle; and acquire a second virtual image corresponding to the three-dimensional virtual model at the second camera angle.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 유닛은, 제1 가상 이미지 및 제2 가상 이미지 사이에 a 프레임 가상 이미지를 삽입함으로써, 제1 가상 이미지로 하여금 제2 가상 이미지로 부드럽게 전환되도록 구성되고, 여기서, a는 양의 정수이다.In some optional embodiments of the present invention, the split mirror unit is configured to smoothly transition the first virtual image to the second virtual image by inserting a frame virtual image between the first virtual image and the second virtual image. , where a is a positive integer.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 효과의 구현 장치는, 비트 검출 유닛 및 무대 특수 효과 생성 유닛을 더 포함하고, 여기서, 비트 검출 유닛은, 배경 음악에 대해 비트 검출을 수행하며, 배경 음악의 비트 컬렉션을 얻도록 구성되고, 여기서, 비트 컬렉션은 복수 개의 비트를 포함하며, 복수 개의 비트 중 각 비트는 하나의 무대 특수 효과에 대응되고; 무대 특수 효과 생성 유닛은, 비트 컬렉션에 대응되는 타깃 무대 특수 효과를 3차원 가상 모델에 추가하도록 구성된다.In some optional embodiments of the present invention, the apparatus for implementing the split mirror effect further includes a beat detection unit and a stage special effect generating unit, wherein the beat detection unit performs beat detection on the background music, configured to obtain a beat collection of background music, wherein the beat collection includes a plurality of beats, each beat of the plurality of beats corresponding to one stage special effect; The stage special effect generating unit is configured to add the target stage special effect corresponding to the beat collection to the three-dimensional virtual model.

제3측면에 있어서, 본 발명의 실시예는 전자 기기를 제공하고, 상기 전자 기기는, 프로세서, 통신 인터페이스 및 메모리를 포함하며; 메모리는 명령어를 저장하기 위한 것이고, 프로세서는 명령어를 실행하기 위한 것이며, 통신 인터페이스는 프로세서의 제어하에 다른 기기들과 통신을 수행하기 위한 것이고, 여기서, 프로세서가 명령어를 실행할 때 전자 기기로 하여금 상기 제1 측면에서의 어느 한 항에 따른 방법을 구현하도록 한다.In a third aspect, an embodiment of the present invention provides an electronic device, the electronic device comprising: a processor, a communication interface and a memory; The memory is for storing instructions, the processor is for executing the instructions, and the communication interface is for performing communication with other devices under the control of the processor, wherein, when the processor executes the instructions, the electronic device causes the electronic device to execute the instructions. Let's implement the method according to any one of the aspects.

제4측면에 있어서, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 제공하고, 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 하드웨어에 의해 실행됨으로써 상기 제1 측면에서의 어느 한 항에 따른 방법을 구현한다.In a fourth aspect, an embodiment of the present invention provides a computer-readable storage medium, having a computer program stored thereon, wherein the computer program is executed by hardware, thereby comprising the method according to any one of the first aspects. implement

제5측면에 있어서, 본 발명의 실시예는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 프로그램 제품이 컴퓨터에 의해 판독 및 실행될 때, 상기 제1 측면에서의 어느 한 항에 따른 방법을 실행한다.In a fifth aspect, an embodiment of the present invention provides a computer program product, which executes the method according to any one of the first aspects when the computer program product is read and executed by a computer.

본 발명의 실시예 또는 배경 기술에서의 기술 방안을 더욱 명확하게 설명하기 위해, 아래에 본 발명의 실시예 설명에서 사용하게 될 도면에 대해 간단히 설명하고, 아래 설명에서의 도면은 본 발명의 일부 실시예이며, 본 분야의 통상적 기술자는, 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 도면을 획득할 수 있다는 것은 자명한 것이다.
도 1은 본 발명의 실시예에서 제공하는 구체적인 응용 시나리오의 예시도이다.
도 2는 본 발명의 실시예에서 제공하는 가능한 3차원 가상 모델의 예시도이다.
도 3은 본 발명의 실시예에서 제공하는 분할 미러 효과 구현 방법의 흐름 예시도이다.
도 4는 본 발명의 실시예에서 제공하는 보간 곡선의 예시도이다.
도 5는 본 발명의 실시예에서 제공하는 구체적 실시예의 흐름 예시도이다.
도 6은 본 발명의 실시예에서 제공하는 분할 미러 규칙 예시도이다.
도 7a는 본 발명의 실시예에서 제공하는 가능한 가상 이미지의 효과도이다.
도 7b는 본 발명의 실시예에서 제공하는 가능한 가상 이미지의 효과도이다.
도 7c는 본 발명의 실시예에서 제공하는 가능한 가상 이미지의 효과도이다.
도 7d는 본 발명의 실시예에서 제공하는 가능한 가상 이미지의 효과도이다.
도 8은 본 발명의 실시예에서 제공하는 분할 미러 효과의 구현 장치의 구조 예시도이다.
도 9는 본 발명의 실시예에서 제공하는 전자 기기의 구조 예시도이다.In order to more clearly explain the technical solutions in the embodiments of the present invention or the background art, the drawings to be used in the description of the embodiments of the present invention will be briefly described below, and the drawings in the following description are some implementations of the present invention. This is an example, and it is apparent that a person skilled in the art may obtain other drawings according to these drawings, even under the premise that creative labor is not imparted.
1 is an exemplary diagram of a specific application scenario provided by an embodiment of the present invention.
2 is an exemplary diagram of a possible three-dimensional virtual model provided in an embodiment of the present invention.
3 is a flowchart illustrating a method for implementing a split mirror effect provided in an embodiment of the present invention.
4 is an exemplary diagram of an interpolation curve provided in an embodiment of the present invention.
5 is a flowchart illustrating a specific embodiment provided by the embodiment of the present invention.
6 is an exemplary diagram of a split mirror rule provided in an embodiment of the present invention.
7A is an effect diagram of a possible virtual image provided in an embodiment of the present invention.
7B is an effect diagram of a possible virtual image provided in an embodiment of the present invention.
7C is an effect diagram of a possible virtual image provided in an embodiment of the present invention.
7D is an effect diagram of a possible virtual image provided in an embodiment of the present invention.
8 is an exemplary structural diagram of an apparatus for implementing a split mirror effect provided in an embodiment of the present invention.
9 is an exemplary structural diagram of an electronic device provided in an embodiment of the present invention.

본 발명의 실시예에서 사용된 용어는 다만 본 발명의 구체적 실시예에 대해 해석하기 위한 것일 뿐이고, 본 발명을 한정하려는 것은 아니다.The terms used in the examples of the present invention are only for interpretation of specific examples of the present invention, and are not intended to limit the present invention.

본 발명의 실시예에서 제공하는 분할 미러 효과의 구현 방법, 장치 및 관련 제품은 소셜 인터랙션, 엔터테이트먼트 및 교육 등 많은 분야에 적용될 수 있고, 예를 들어, 가상 생방송, 가상 커뮤니티에서 사회적 상호 작용을 수행하기 위한 것일 수 있으며, 가상 콘서트를 개최하기 위한 것일 수도 있고, 교실 교육 등에 적용될 수도 있다. 본 발명의 실시예 이해의 편의를 위해, 아래에 가상 생방송을 예로 들어, 본 발명 실시예의 구체적인 응용 시나리오에 대해 상세하게 설명한다.The method, apparatus and related products for implementing the split mirror effect provided in the embodiment of the present invention can be applied to many fields such as social interaction, entertainment and education, for example, virtual live broadcasting, social interaction in a virtual community. It may be for performing, may be for holding a virtual concert, may be applied to classroom education, and the like. For the convenience of understanding the embodiment of the present invention, a specific application scenario of the embodiment of the present invention will be described in detail below, taking virtual live broadcasting as an example.

가상 생방송은 생방송 플랫폼에서 가상 캐릭터를 사용하여 실제 앵커를 대신하여 생방송을 수행하는 방식이다. 가상 캐릭터는 풍부한 표현력을 구비하였고, 또한 소셜 네트워크의 전파 환경에도 더욱 부합되기에, 가상 생방송 산업은 발전이 빠르다. 가상 생방송의 과정에 있어서, 통상적으로 얼굴 표정 포착, 동작 포착 및 소리 처리 등 컴퓨터 기술을 사용하여, 실제 앵커의 얼굴 표정 및 동작을 가상 캐릭터 모델에 적용함으로써, 시청자과 가상 앵커가 영상 사이트 또는 소셜 네트워크 사이트에서의 상호 작용을 구현한다.Virtual live broadcasting is a method of performing live broadcasting on behalf of real anchors using virtual characters on a live broadcasting platform. Virtual characters have rich expressive power and are more suitable for the propagation environment of social networks, so the virtual live broadcasting industry is developing rapidly. In the process of virtual live broadcasting, usually by using computer technology such as facial expression capture, motion capture, and sound processing, the real anchor's facial expressions and actions are applied to the virtual character model, so that viewers and virtual anchors can interact with video sites or social network sites Implement interaction in

생방송 비용 및 후반 작업 비용을 절감하기 위해, 사용자는 통상적으로 직접 핸드폰, 태블릿 컴퓨터 등 단말 기기를 사용하여 생방송 한다. 도 1을 참조하면, 도 1은 본 발명의 실시예에서 제공하는 구체적인 응용 시나리오의 예시도이고, 도 1에 도시된 바와 같이 생방송 과정에 있어서, 촬영 기기(110)는 실제 앵커를 촬영하며, 수집된 실제 캐릭터 이미지를 네트워크를 통해 서버(120)로 전송하여 처리한 다음, 서버(120)는 생성된 가상 이미지를 사용자 단말(130)로 전송함으로써, 상이한 시청자가 대응되는 사용자 단말(130)을 통해 전체 생방송 과정을 시청할 수 있도록 한다.In order to reduce the cost of live broadcasting and post-production cost, a user usually directly broadcasts live using a terminal device such as a mobile phone or a tablet computer. Referring to FIG. 1, FIG. 1 is an exemplary diagram of a specific application scenario provided by an embodiment of the present invention, and in the live broadcast process as shown in FIG. After processing the real character image by sending it to the server 120 through the network, the server 120 transmits the generated virtual image to the user terminal 130, so that different viewers can respond through the corresponding user terminal 130. Allows viewing of the entire live broadcast process.

이로부터 알다시피, 이러한 방식으로 가상 생방송 비용은 상대적으로 낮지만, 하나의 촬영 기기(110)만이 실제 앵커를 촬영하므로, 생성된 가상 앵커의 자세는 촬영 기기(110)와 실제 앵커 사이의 상대적 위치와 관련이 있고, 다시 말하면, 시청자은 특정 앵글에서의 가상 캐릭터만 볼 수 있으며, 이 특정 앵글은 촬영 기기(110)와 실제 앵커 사이의 상대적 위치에 따라 결정되므로, 나타나는 생방송 효과가 만족스럽지 못하다. 예를 들어, 가상 생방송 과정에서 가상 앵커의 뻣뻣한 움직임, 부드럽지 않은 샷 전환 화면, 또는 단조롭고 지루한 샷 화면 등 문제가 종종 발생함으로써, 시청자의 시각적 피로를 조성하고, 시청자가 현장감을 체험할 수 없게 한다.As can be seen from this, the virtual live broadcasting cost is relatively low in this way, but since only one shooting device 110 shoots the real anchor, the posture of the created virtual anchor is the relative position between the shooting device 110 and the real anchor. In other words, the viewer can only see the virtual character at a specific angle, and this specific angle is determined according to the relative position between the shooting device 110 and the real anchor, so the resulting live broadcast effect is not satisfactory. For example, in the process of virtual live broadcasting, problems such as stiff movement of virtual anchors, not smooth shot transition screen, or monotonous and boring shot screen often occur, creating visual fatigue for viewers and making viewers unable to experience the sense of presence. .

마찬가지로, 다른 응용 시나리오, 예를 들어, 생방송 교육 시나리오에 있어서, 교육 과정에서 교사는 온라인 교육의 형태를 통해 학생들에게 지식을 가르치지만, 이러한 교육 방식은 일반적으로 지루하고, 영상 속 교사는 학생이 지식 포인트에 대한 숙달 여부를 실시간으로 알 수 없으며, 학생들은 단일 앵글 화면에서 교사 또는 교육 강의 자료만 볼 수 있어, 학생의 피로감을 쉽게 조성하고, 교사의 현장 교육에 비해 영상 교육의 교육 효과는 크게 떨어진다. 다른 예를 들어, 콘서트 개최 과정에서 날씨, 장소 등 제한으로 인해 콘서트가 예정대로 진행되지 못할 때, 가수는 녹음실에서 가상 콘서트를 개최함으로써, 실제 콘서트의 시나리오를 시뮬레이션할 수 있고, 실제 콘서트의 시나리오를 구현하기 위해, 통상적으로 복수 개의 카메라를 설치하여 가수를 촬영해야 하며, 이런 가상 콘서트의 개최 방식은 복잡하고 비용을 낭비하며, 또한 복수 개의 카메라를 사용하여 촬영하면 복수 개의 샷에서의 화면을 얻을 수 있고, 샷 전환이 원활하지 않은 문제가 존재할 수 있음으로써, 사용자로 하여금 상이한 샷 화면이 전환될 때 조성된 시각적 차이에 적응할 수 없도록 한다.Similarly, in another application scenario, for example, a live education scenario, a teacher in a training course teaches knowledge to students through the form of online education, but this teaching method is generally tedious, and the teacher in the video is It is not possible to know in real time whether or not the proficiency is achieved, and students can only see the teacher or educational lecture material on a single-angle screen, making it easy for students to feel fatigued, and the educational effect of video education is significantly lower than that of the teacher's field education. For another example, when the concert does not go as planned due to restrictions such as weather, location, etc. in the course of holding a concert, the singer can hold a virtual concert in the recording studio, thereby simulating the scenario of a real concert, In order to implement it, it is usually necessary to install a plurality of cameras to photograph the singer, and this virtual concert holding method is complicated and costly. There may be a problem in that the shot transition is not smooth, so that the user cannot adapt to the visual difference created when different shot screens are switched.

상기 응용 시나리오에서 흔히 나타나는 화면 카메라 앵글가 단일하고 샷 전환 화면이 매끄럽지 않는 등 문제를 해결하기 위해, 본 발명의 실시예는 분할 미러 효과를 구현하기 위한 방법을 제공하고, 상기 분할 미러 효과의 구현 방법은 수집하여 얻은 실제 이미지에 따라 3차원 가상 모델을 생성하며, 배경 음악 또는 실제 캐릭터의 동작에 따라 복수 개의 상이한 카메라 앵글을 얻은 후, 복수 개의 상이한 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하고, 복수 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻음으로써, 가상 시나리오에서 복수 개의 가상 카메라가 3차원 가상 모델에 대해 촬영하는 효과를 시뮬레이션하여, 시청자의 시청 체험감을 향상시킨다. 또한, 상기 분할 미러 효과의 구현 방법은 배경 음악의 비트에 대해 해석함으로써, 비트 정보에 따라 3차원 가상 모델에 대응되는 무대 특수 효과를 추가하고, 시청자에게 상이한 무대 효과를 나타내어, 시청자의 시청 체험을 더욱 향상시킨다.In order to solve the problems such as a single screen camera angle and the shot transition screen is not smooth, which are common in the above application scenarios, an embodiment of the present invention provides a method for implementing a split mirror effect, and the method for implementing the split mirror effect is A three-dimensional virtual model is generated according to the real image obtained by collecting, and a plurality of different camera angles are obtained according to the background music or the motion of a real character, and then rendering is performed on the three-dimensional virtual model with a plurality of different camera angles; By obtaining virtual images respectively corresponding to a plurality of different camera angles, the effect of a plurality of virtual cameras shooting for a three-dimensional virtual model in a virtual scenario is simulated, thereby improving the viewer's viewing experience. In addition, in the implementation method of the split mirror effect, by analyzing the beat of the background music, a stage special effect corresponding to the three-dimensional virtual model is added according to the beat information, and different stage effects are displayed to the viewer, thereby improving the viewer's viewing experience. further improve

아래에, 먼저 본 발명의 실시예에서 실제 이미지로 3차원 가상 모델을 생성하는 구체적 과정을 해석한다.Below, a detailed process of generating a three-dimensional virtual model from a real image in an embodiment of the present invention is first analyzed.

본 발명의 실시예에 있어서, 3차원 가상 모델은 3차원 가상 시나리오에 있는 3차원 가상 캐릭터 모델을 포함한다. 도 2를 예로 들어, 도 2에서 도시된 가능한 3차원 가상 모델의 예시도는, 도 2에 도시된 3차원 가상 모델에 따라 3차원 가상 캐릭터 모델의 두 손을 가슴으로 올린 것을 확인할 수 있고, 대비 효과를 강조하기 위해, 도 2의 좌측 상단 모서리에는 분할 미러 효과 구현 장치로 수집하여 얻은 실제 이미지도 전시되며, 여기서, 실제 캐릭터도 두 손을 가슴으로 올렸다. 다시 말하면, 3차원 가상 캐릭터 모델과 실제 캐릭터의 동작은 일치하다. 상기 도 2는 단지 하나의 예일뿐이고, 실제 응용에서, 분할 미러 효과 구현 장치가 수집하여 얻은 실제 이미지는 3차원 이미지일 수 있거나, 2차원 이미지일 수도 있으며, 실제 이미지 중 캐릭터의 개수는 하나일 수 있고, 복수 개일 수도 있으며, 실제 캐릭터의 동작은 두 손을 가슴으로 올리는 것일 수 있고, 왼발을 들거나 또는 다른 동작 등일 수도 있으며, 상응하게 실제 캐릭터 이미지로 생성된 3차원 가상 모델에서 3차원 가상 캐릭터 모델의 개수는 하나일 수 있거나, 복수 개일 수도 있으며, 3차원 가상 캐릭터 모델의 동작은 두 손을 가슴으로 올리는 것일 수 있고, 왼발을 들거나 또는 다른 동작 등일 수도 있으며, 여기서 구체적으로 한정하지 않음을 이해할 수 있다.In an embodiment of the present invention, the three-dimensional virtual model includes a three-dimensional virtual character model in a three-dimensional virtual scenario. Taking Fig. 2 as an example, in the exemplary view of a possible three-dimensional virtual model shown in Fig. 2, it can be confirmed that both hands of the three-dimensional virtual character model are raised to the chest according to the three-dimensional virtual model shown in Fig. 2, contrast In order to emphasize the effect, in the upper left corner of FIG. 2 , an actual image obtained by collecting with a split mirror effect realizing device is also displayed, where the real character also raised both hands on her chest. In other words, the motion of the 3D virtual character model and the real character coincide. 2 is only one example, and in actual application, the actual image obtained by collecting the split mirror effect realizing device may be a three-dimensional image or a two-dimensional image, and the number of characters in the real image may be one There may be, and there may be a plurality, and the motion of the real character may be raising both hands to the chest, raising the left foot, or other motion, and correspondingly, a 3D virtual character model in a 3D virtual model generated as a real character image. The number of may be one or may be plural, and it can be understood that the motion of the three-dimensional virtual character model may be raising both hands to the chest, raising the left foot, or other motions, etc., but it is not specifically limited here. have.

본 발명의 실시예에 있어서, 분할 미러 효과 구현 장치는 실제 캐릭터에 대해 촬영하고, 다중 프레임의 실제 이미지 I₁, I₂,…, I_n을 얻으며, 시간 순서에 따라 실제 이미지 I₁, I₂,…, I_n에 대해 각각 특징 추출을 수행함으로써, 복수 개의 대응되는 3차원 가상 모델

을 얻고, 여기서 n은 양의 정수이며, 실제 이미지 I₁, I₂,…, I_n과 3차원 가상 모델

사이에는 일대일로 대응되는 관계가 존재하고, 다시 말하면, 한 프레임의 실제 이미지는 하나의 3차원 가상 모델을 생성하기 위한 것이다. 예시적으로, 실제 이미지

가 3차원 가상 모델

을 생성하는 것을 예로 들어, 하나의 3차원 가상 모델은 하기와 같이 얻어질 수 있다. In an embodiment of the present invention, the split mirror effect realizing apparatus shoots a real character, and multi-frame real images I ₁ , I ₂ , . . . , I _n are obtained, and the real images I ₁ , I ₂ ,… , I _n by performing feature extraction on each of a plurality of corresponding three-dimensional virtual models

, where n is a positive integer, and the actual images I ₁ , I ₂ ,… , I _n and the three-dimensional virtual model

There exists a one-to-one correspondence between them, in other words, the real image of one frame is for generating one three-dimensional virtual model. Illustratively, the real image

3D virtual model

For example, one three-dimensional virtual model can be obtained as follows.

단계 1에 있어서, 분할 미러 효과 구현 장치는 실제 이미지

를 획득한다.In step 1, the device for implementing the split mirror effect

to acquire

여기서, 실제 이미지

에는 실제 캐릭터 이미지가 포함되고, i는 양의 정수이며,

이다.Here, the actual image

contains the actual character image, i is a positive integer,

to be.

단계 2에 있어서, 분할 미러 효과 구현 장치는 실제 이미지

에서의 실제 캐릭터 이미지에 대해 특징 추출을 수행하여, 특징 정보를 얻는다. 여기서, 특징 정보 실제 캐릭터의 동작 정보를 포함한다.In step 2, the device for implementing the split mirror effect

By performing feature extraction on the actual character image in , feature information is obtained. Here, the characteristic information includes motion information of the actual character.

여기서, 실제 이미지를 획득하는 단계는, 영상 스트림을 획득하고, 영상 스트림에서의 적어도 두 프레임의 이미지에 따라 적어도 두 프레임의 실제 이미지를 얻는 단계를 포함하며; 상응하게 상기 실제 캐릭터 이미지에 대해 특징 추출을 수행하여 특징 정보를 얻는 단계는, 각 프레임의 상기 실제 캐릭터 이미지에 대해 각각 특징 추출을 수행하여 대응되는 특징 정보를 얻는 단계를 포함한다.Here, the step of acquiring the real image includes acquiring a video stream, and acquiring the real image of at least two frames according to the images of at least two frames in the video stream; Correspondingly, the step of obtaining feature information by performing feature extraction on the real character image includes performing feature extraction on the real character image of each frame to obtain corresponding feature information.

이해할 수 있는 것은, 특징 정보는 3차원 가상 캐릭터 모델의 자세를 제어하기 위한 것이고, 특징 정보에서의 동작 정보는 얼굴 표정 특징 및 몸짓 특징을 포함하며, 예를 들어, 기쁨, 슬픔, 놀람, 두려움, 분노 또는 혐오 등과 같은 얼굴 표정 특징은 캐릭터의 다양한 정서 상태를 설명하기 위한 것이고, 예를 들어, 왼손 들기, 오른발 들기 또는 점프하기 등과 같은 몸짓 특징은 실제 캐릭터의 동작 상태를 설명하기 위한 것이다. 또한, 특징 정보는 캐릭터 정보를 더 포함할 수 있고, 여기서, 캐릭터 정보는 실제 캐릭터의 복수 개의 인체 키포인트 및 이에 대응되는 위치 정보를 포함하며, 인체 키포인트는 얼굴 키포인트 및 인체 골격 키포인트를 포함하고, 위치 특징은 실제 캐릭터의 인체 키포인트의 위치 좌표를 포함한다.It is understandable that the feature information is for controlling the posture of the three-dimensional virtual character model, and the motion information in the feature information includes facial expression features and gesture features, for example, joy, sadness, surprise, fear, Facial expression features such as anger or disgust are for describing various emotional states of the character, and gesture features such as raising the left hand, raising the right foot, or jumping, for example, are intended to describe the motion state of the actual character. In addition, the characteristic information may further include character information, wherein the character information includes a plurality of human body key points of the real character and position information corresponding thereto, and the human body key points include a face key point and a human body skeleton key point, and the location The feature includes the position coordinates of the key points of the human body of the real character.

선택적으로, 분할 미러 효과 구현 장치는 실제 이미지

에 대해 이미지 분할을 수행하는 것을 통해, 실제 이미지

에서의 실제 캐릭터 이미지를 추출하여 얻고; 다시 추출하여 얻은 실제 캐릭터 이미지에 대해 키포인트 검출을 수행하여 상기 복수 개의 인체 키포인트 및 복수 개의 인체 키포인트의 위치 정보를 얻으며, 여기서, 상기 인체 키포인트는 얼굴 키포인트 및 인체 골격 키포인트를 포함하고, 상기 인체 키포인트는 구체적으로 인체의 머리 영역, 목 영역, 어깨 영역, 척추 영역, 허리 영역, 엉덩이 영역, 손목 영역, 팔 영역, 무릎 영역, 다리 영역, 발목 영역 및 발바닥 영역 등에 위치할 수 있으며; 얼굴 키포인트 및 얼굴 키포인트의 위치 정보에 대해 분석을 수행하는 것을 통해, 실제 이미지

에서 실제 캐릭터의 얼굴 표정 특징을 얻고; 인체 골격 키포인트 및 인체 골격 키포인트의 위치 정보에 대해 분석을 수행하여, 실제 이미지

에서 실제 캐릭터의 골격 특징을 얻음으로써, 실제 캐릭터의 몸짓 특징을 얻는다.Optionally, the device for implementing the split mirror effect is a real image

By performing image segmentation on

obtained by extracting the actual character image from; Keypoint detection is performed on the real character image obtained by re-extraction to obtain positional information of the plurality of human body keypoints and a plurality of human body keypoints, wherein the human body keypoint includes a face keypoint and a human skeleton keypoint, and the human body keypoint is Specifically, it may be located in the head region, the neck region, the shoulder region, the spine region, the waist region, the hip region, the wrist region, the arm region, the knee region, the leg region, the ankle region and the sole region of the human body; By performing analysis on facial keypoints and location information of facial keypoints, the actual image

get the facial expression features of real characters from; By analyzing the position information of human skeleton keypoints and human skeleton keypoints, the actual image

By obtaining the skeletal features of the real character in

선택적으로, 분할 미러 효과 구현 장치는 실제 이미지

를 신경망에 입력하여 특징 추출을 수행하고, 복수 개의 컨볼루션 계층의 계산을 거친 후, 상기 복수 개의 인체 키포인트 정보를 추출하여 얻는다. 여기서, 신경망는 대량의 훈련을 통해 얻은 것이고, 신경망는 컨볼루션 신경망(Convolution Neural Network, CNN)일 수 있으며, 역전파 신경망(Back Propagation Neural Network, BPNN)일 수도 있고, 생성적 대립 네트워크(Generative Adversarial Network, GAN) 또는 순환 신경망(Recurrent Neural Network, RNN) 등일 수도 있으며, 여기서 구체적으로 한정하지 않는다. 설명해야 할 것은, 상기 인체 특징의 추출 과정은 동일한 신경망에서 수행될 수 있고, 상이한 신경망에서 수행될 수도 있다. 예를 들어, 분할 미러 효과 구현 장치는 CNN을 사용하여 얼굴 키포인트를 추출하고, 인체 얼굴 표정 특징을 얻을 수 있으며; BPNN를 사용하여 인체 골격 키포인트를 추출하고, 인체 골격 특징 및 몸짓 특징을 얻을 수도 있으며, 여기서 구체적으로 한정하지 않는다. 또한, 상기 3차원 가상 캐릭터 모델을 구동하기 위한 특징 정보의 예시는 단지 예를 들기 위한 것이고, 실제 응용에서는 다른 특징 정보를 더 포함할 수 있으며, 여기서 구체적으로 한정하지 않는다.Optionally, the device for implementing the split mirror effect is a real image

is input to the neural network to perform feature extraction, a plurality of convolutional layers are calculated, and the plurality of human key point information is extracted and obtained. Here, the neural network is obtained through a large amount of training, and the neural network may be a convolutional neural network (CNN), a back propagation neural network (BPNN), or a generative adversarial network. GAN) or a recurrent neural network (RNN), etc., but is not specifically limited herein. It should be noted that the extraction process of the human body feature may be performed in the same neural network or in different neural networks. For example, the apparatus for implementing the split mirror effect may use CNN to extract facial keypoints and obtain human facial expression features; The BPNN may be used to extract human skeleton keypoints, and to obtain human skeleton features and gesture features, without being specifically limited herein. In addition, the example of the characteristic information for driving the three-dimensional virtual character model is for illustrative purposes only, and may further include other characteristic information in an actual application, and is not specifically limited here.

단계 3에 있어서, 분할 미러 효과 구현 장치는 특징 정보에 따라 3차원 가상 모델

에서의 3차원 가상 캐릭터 모델을 생성함으로써, 3차원 가상 모델

에서의 3차원 가상 캐릭터 모델과 실제 이미지

에서 실제 캐릭터의 동작 정보로 하여금 대응되도록 한다.In step 3, the device for implementing the split-mirror effect implements a three-dimensional virtual model according to the characteristic information.

By creating a three-dimensional virtual character model in

3D virtual character model and real image in

to correspond to the actual character's motion information.

선택적으로, 분할 미러 효과 구현 장치는 상기 특징 정보에 따라 실제 캐릭터의 인체 키포인트에서 가상 캐릭터 모델의 인체 키포인트 사이의 맵핑 관계를 구축한 다음; 맵핑 관계에 따라 가상 캐릭터 모델의 표정 및 자세를 제어함으로써, 가상 캐릭터 모델의 얼굴 표정 및 몸짓과 실제 캐릭터의 얼굴 표정 및 몸짓을 일치하게 한다.Optionally, the apparatus for implementing the split mirror effect is configured to: build a mapping relationship between the human body key points of the real character and the human body key points of the virtual character model according to the feature information; By controlling the facial expressions and postures of the virtual character model according to the mapping relationship, the facial expressions and gestures of the virtual character model and the facial expressions and gestures of the real character are matched.

선택적으로, 분할 미러 효과 구현 장치는 실제 캐릭터의 인체 키포인트에 대해 각각 번호 마킹을 수행하고, 실제 캐릭터의 인체 키포인트의 마킹 정보를 얻으며, 여기서, 인체 키포인트와 마킹 정보는 일대일로 대응되고; 다음, 실제 캐릭터의 인체 키포인트의 마킹 정보에 따라 가상 캐릭터 모델에서의 인체 키포인트를 마킹한다. 예를 들어, 실제 캐릭터의 왼쪽 손목의 마킹 정보가 1호이면, 3차원 가상 캐릭터 모델의 왼쪽 손목의 마킹 정보도 1호이고, 실제 캐릭터의 왼쪽 팔의 마킹 정보가 2호이면, 3차원 가상 캐릭터 모델의 왼쪽 팔의 마킹 정보도 2호인 것 등이고; 계속하여, 실제 캐릭터의 인체 키포인트 마킹 정보와 3차원 가상 캐릭터 모델의 인체 키포인트 마킹 정보를 매칭하며, 실제 캐릭터의 인체 키포인트 위치 정보를 대응되는 3차원 가상 캐릭터 모델의 인체 키포인트에 맵핑시킴으로써, 3차원 가상 캐릭터 모델로 하여금 실제 캐릭터의 얼굴 표정 및 몸짓을 재현할 수 있도록 한다.Optionally, the device for implementing the split mirror effect performs number marking on the key points of the human body of the real character, respectively, and obtains marking information of the key points of the human body of the real character, wherein the human body key points and the marking information correspond one-to-one; Next, the human body key point in the virtual character model is marked according to the marking information of the human body key point of the real character. For example, if the marking information of the left wrist of the real character is No. 1, the marking information of the left wrist of the 3D virtual character model is No. 1, and if the marking information of the left arm of the real character is No. 2, the 3D virtual character The marking information of the left arm of the model is also No. 2, etc.; Subsequently, by matching the human body key point marking information of the real character with the human body key point marking information of the 3D virtual character model, and mapping the human body key point location information of the real character to the human body key point of the corresponding 3D virtual character model, 3D virtual It allows the character model to reproduce the facial expressions and gestures of real characters.

본 발명의 실시예에 있어서, 실제 이미지

는 실제 시나리오 이미지를 더 포함하고, 3차원 가상 모델

은 3차원 가상 시나리오 모델을 더 포함하며, 상기 실제 이미지

에 따라 3차원 가상 모델

을 생성하는 방법은, 실제 이미지

에서의 실제 시나리오 이미지에 따라, 3차원 가상 모델

에서의 3차원 가상 시나리오를 구축하는 단계를 더 포함한다.In an embodiment of the present invention, the actual image

further includes a real scenario image, a three-dimensional virtual model

further comprises a three-dimensional virtual scenario model, the real image

3D virtual model according to

How to create a real image

According to the real-world scenario image in the three-dimensional virtual model

It further comprises the step of building a three-dimensional virtual scenario in

선택적으로, 분할 미러 효과 구현 장치는 먼저 실제 이미지

에 대해 이미지 분할을 수행하여, 실제 이미지

에서의 실제 시나리오 이미지를 얻고; 다른 예를 들어, 실제 시나리오에서 물체의 위치 특징, 형상 특징 및 크기 특징 등과 같은 실제 시나리오 이미지에서의 시나리오 특징을 추출하며; 시나리오 특징에 따라 3차원 가상 모델

에서의 3차원 가상 시나리오 모델을 구축함으로써, 3차원 가상 모델

에서의 3차원 가상 시나리오 모델로 하여금 실제 이미지

에서의 실제 시나리오 이미지를 고도로 복원할 수 있도록 한다.Optionally, the device for implementing the split mirror effect first

By performing image segmentation on

Get real-world scenario images from; For another example, extracting scenario features from a real scenario image, such as location features, shape features, and size features of objects in real scenarios; 3D virtual model according to scenario characteristics

By building a three-dimensional virtual scenario model in

3D virtual scenario model in the real image

It makes it possible to highly reconstruct real-world scenario images in

간편한 진술을 위해, 상기 내용은 단지 실제 이미지

로 3차원 가상 모델

을 생성하는 과정을 설명했을 뿐이고, 실제로, 3차원 가상 모델

의 생성 과정과 3차원 가상 모델

의 생성 과정은 유사하며, 여기서 더 이상 반복하지 않는다.For simplicity's sake, the above is an actual image only.

3D virtual model as

I just described the process of creating a 3D virtual model

The creation process and 3D virtual model of

The process of creation of is similar, and is not repeated here any further.

설명해야 할 것은, 3차원 가상 모델에서의 3차원 가상 시나리오 모델은 실제 이미지에서의 실제 시나리오 이미지에 따라 구축될 수 있고, 사용자에 의해 자체 정의된 3차원 가상 시나리오 모델일 수도 있으며; 3차원 가상 모델에서 3차원 가상 캐릭터 모델의 이목구비는 실제 이미지에서의 실제 캐릭터 이미지의 오관으로 구축될 수 있고, 사용자 정의 이목구비일 수도 있으며, 여기서 구체적으로 한정하지 않는다.It should be explained that the three-dimensional virtual scenario model in the three-dimensional virtual model may be built according to the real scenario image in the real image, and may be a three-dimensional virtual scenario model defined by the user itself; In the three-dimensional virtual model, the features of the three-dimensional virtual character model may be constructed from the misconceptions of the real character image in the real image, and may be user-defined features, which are not specifically limited herein.

계속하여, 본 발명의 실시예에서 관련된 복수 개의 상이한 카메라 앵글로 3차원 가상 모델

에서의 각 3차원 가상 모델에 대해 카메라 앵글 랜더링을 수행함으로써, 시청자가 동일한 3차원 가상 모델이 상이한 카메라 앵글에서의 가상 이미지를 볼 수 있도록 하는 것에 대해 상세하게 설명한다. 실제 이미지

에 의해 생성된 3차원 가상 모델

를 예로 들어, 각각 k 개의 상이한 샷을 사용하여 3차원 가상 모델

에 대해 렌더링을 수행하여, k 개의 상이한 카메라 앵글에서의 가상 이미지

를 얻으며, 여기서

이고, 따라서, 분할 미러 전환의 효과를 구현하며, 그 구체적 과정은 하기와 같이 설명할 수 있다.Continuing, a three-dimensional virtual model with a plurality of different camera angles involved in an embodiment of the present invention

By performing camera angle rendering for each 3D virtual model in , it will be described in detail for a viewer to view a virtual image in the same 3D virtual model from different camera angles. real image

3D virtual model created by

For example, a three-dimensional virtual model using k different shots each

Rendering is performed on the virtual images at k different camera angles.

to get, where

Therefore, the effect of split mirror switching is realized, and the specific process can be described as follows.

도 3에 도시된 바와 같이, 도 3은 본 발명의 실시예에서 제공하는 분할 미러 효과 구현 방법의 흐름 예시도이다. 본 실시 방식의 분할 미러 효과 구현 방법은 하기와 같은 단계를 포함하지만 이에 한정되지 않는다.As shown in FIG. 3, FIG. 3 is a flowchart illustrating a method for implementing a split mirror effect provided in an embodiment of the present invention. The method for implementing the split mirror effect of the present embodiment includes, but is not limited to, the following steps.

단계 S101에 있어서, 분할 미러 효과 구현 장치는 3차원 가상 모델을 획득한다.In step S101, the apparatus for implementing the split mirror effect acquires a three-dimensional virtual model.

본 발명의 실시예에 있어서, 3차원 가상 모델은 실제 캐릭터 및 실제 시나리오를 시뮬레이션 하기 위한 것이고, 3차원 가상 모델은 3차원 가상 시나리오에 있는 모델 중의 3차원 가상 캐릭터 모델을 포함하고, 3차원 가상 모델은 실제 이미지에 따라 생성된다. 여기서, 3차원 가상 캐릭터 모델은 실제 이미지에 포함된 실제 캐릭터 이미지에 따라 생성되고, 3차원 가상 모델에서의 3차원 가상 캐릭터 모델은 실제 이미지에서의 실제 캐릭터를 시뮬레이션하기 위한 것이며, 3차원 가상 캐릭터 모델의 동작은 실제 캐릭터의 동작에 대응된다. 3차원 가상 시나리오 모델은 실제 이미지에 포함된 실제 시나리오 이미지에 따라 구성된 것일 수 있고, 기설정된 3차원 가상 시나리오 모델일 수도 있다. 3차원 가상 시나리오 모델은 실제 시나리오 이미지로 구축되어 얻은 것일 때, 3차원 가상 시나리오 모델은 실제 이미지에서의 실제 시나리오를 시뮬레이션 하기 위한 것일 수 있다. In an embodiment of the present invention, the three-dimensional virtual model is for simulating a real character and a real scenario, the three-dimensional virtual model includes a three-dimensional virtual character model among models in the three-dimensional virtual scenario, and the three-dimensional virtual model is generated according to the actual image. Here, the three-dimensional virtual character model is generated according to the real character image included in the real image, and the three-dimensional virtual character model in the three-dimensional virtual model is for simulating the real character in the real image, and the three-dimensional virtual character model The motion of the character corresponds to the motion of the actual character. The three-dimensional virtual scenario model may be configured according to the real scenario image included in the real image, or may be a preset three-dimensional virtual scenario model. When the 3D virtual scenario model is obtained by constructing a real scenario image, the 3D virtual scenario model may be for simulating a real scenario in the real image.

단계 S102에 있어서, 분할 미러 효과 구현 장치는 적어도 두 개의 상이한 카메라 앵글을 획득한다.In step S102, the split mirror effect implementation device acquires at least two different camera angles.

본 발명의 실시예에 있어서, 카메라 앵글은 카메라가 물체를 촬영할 때 카메라가 피사체에 대비하는 위치를 나타내기 위한 것이다. 예를 들어, 카메라가 물체의 바로 위에서 촬영할 때 물체의 평면도를 얻을 수 있다. 카메라는 물체의 바로 위에 위치하고 대응되는 카메라 앵글이

라고 가정하면, 상기 카메라를 사용해 촬영하여 얻은 이미지는 카메라 앵글

에서의 물체를 나타내고, 즉 물체의 평면도이다.In an embodiment of the present invention, the camera angle is to indicate a position where the camera prepares for the subject when the camera captures the object. For example, you can get a top view of an object when the camera is shooting directly above it. The camera is positioned directly above the object and the corresponding camera angle is

Assuming that , the image obtained by shooting using the camera is

Represents an object in , that is, a plan view of the object.

일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글을 획득하는 단계는, 적어도 두 프레임의 실제 이미지에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻는 단계를 포함한다. 여기서, 실제 이미지는 실제 카메라로 촬영하여 얻은 것일 수 있고, 실제 카메라는 실제 캐릭터의 위치에 대비하여 복수 개일 수 있으며, 복수 개의 상이한 위치에 있는 실제 카메라로 촬영하여 얻은 복수 개의 실제 이미지로 복수 개의 상이한 카메라 앵글에서의 실제 캐릭터를 나타낸다.In some optional embodiments, obtaining at least two different camera angles comprises obtaining at least two different camera angles according to at least two frames of the actual image. Here, the real image may be obtained by shooting with a real camera, the real camera may be plural in relation to the position of the real character, and a plurality of different real images obtained by shooting with a real camera in a plurality of different positions. It represents the actual character from the camera angle.

다른 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글을 획득하는 단계는, 적어도 두 프레임의 실제 이미지가 각각 대응되는 동작 정보에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻는 단계를 포함한다. 여기서, 동작 정보는 실제 이미지에서 실제 캐릭터의 몸짓 및 얼굴 표정을 포함한다. 여기서, 몸짓에는 여러 가지가 포함되고, 예를 들어 몸짓은 오른손 들기, 왼발 들기, 점프하기 등 동작 중 하나 또는 복수 개일 수 있으며, 얼굴 표정도 다양하며, 예를 들어 얼굴 표정은 미소, 눈물, 분노 등 얼굴 표정 중 하나 또는 복수 개일 수 있다. 본 실시예에서 몸짓 및 얼굴 표정에 대한 예는 상기 설명에 한정되지 않는다.In some other optional embodiments, the acquiring at least two different camera angles includes acquiring at least two different camera angles according to motion information to which the actual images of at least two frames respectively correspond. Here, the motion information includes gestures and facial expressions of real characters in real images. Here, various gestures are included, and for example, the gesture may be one or a plurality of gestures such as raising the right hand, raising the left foot, and jumping. It may be one or a plurality of back facial expressions. Examples of gestures and facial expressions in this embodiment are not limited to the above description.

본 발명의 실시예에 있어서, 하나의 동작 또는 다양한 동작의 조합은 하나의 카메라 앵글에 대응된다. 예를 들어, 실제 캐릭터가 미소 짓고 점프할 때 대응되는 카메라 앵글은

이고, 실제 캐릭터가 점프만 할 때 대응되는 카메라 앵글은 카메라 앵글

일 수 있으며, 카메라 앵글

등일 수도 있고, 마찬가지로, 실제 캐릭터가 미소만 지을 때 대응되는 카메라 앵글은 카메라 앵글

일 수 있으며, 카메라 앵글

일 수도 있고, 카메라 앵글

등일 수도 있다.In an embodiment of the present invention, one motion or a combination of various motions corresponds to one camera angle. For example, when a real character smiles and jumps, the corresponding camera angle is

and the corresponding camera angle when the actual character only jumps is the camera angle.

can be, and the camera angle

etc., and similarly, when a real character only smiles, the corresponding camera angle is the camera angle.

can be, and the camera angle

may be, the camera angle

etc. may be

또 다른 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글을 획득하는 단계는, 배경 음악을 획득하는 단계; 배경 음악에 대응되는 시간 컬렉션을 결정하는 단계 - 시간 컬렉션은 적어도 두 개의 시간대를 포함함 - ; 및 시간 컬렉션에서 각 시간대에 대응되는 카메라 앵글을 획득하는 단계를 포함한다. 여기서, 실제 이미지는 한 단락 영상 스트림에서의 한 프레임 또는 복수 개의 프레임일 수 있고, 영상 스트림에는 이미지 정보 및 배경 음악 정보가 포함되며, 여기서, 한 프레임의 이미지와 한 프레임의 음악은 대응된다. 배경 음악 정보는 배경 음악 및 대응되는 시간 컬렉션을 포함하고, 시간 컬렉션은 적어도 두 개의 시간대를 포함하며, 각 시간대는 하나의 카메라 앵글에 대응된다.In some other optional embodiments, acquiring at least two different camera angles includes: acquiring background music; determining a time collection corresponding to the background music, the time collection including at least two time zones; and acquiring a camera angle corresponding to each time zone from the time collection. Here, the actual image may be one frame or a plurality of frames in a single paragraph video stream, and the video stream includes image information and background music information, where an image of one frame and music of one frame correspond. The background music information includes background music and a corresponding time collection, and the time collection includes at least two time zones, each time zone corresponding to one camera angle.

단계 S103에 있어서, 분할 미러 효과 구현 장치는 적어도 두 개의 상이한 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻는다.In step S103, the apparatus for implementing the split mirror effect renders the 3D virtual model with at least two different camera angles to obtain virtual images respectively corresponding to the at least two different camera angles.

본 발명의 실시예에 있어서, 상기 적어도 두 개의 상이한 카메라 앵글은 제1 카메라 앵글 및 제2 카메라 앵글을 포함하고, 적어도 두 개의 상이한 카메라 앵글로 상기 3차원 가상 모델에 대해 렌더링을 수행하여, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻는 단계는, 제1 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제1 가상 이미지를 얻는 단계 S1031; 및 제2 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제2 가상 이미지를 얻는 단계 S1032를 포함한다.In an embodiment of the present invention, the at least two different camera angles include a first camera angle and a second camera angle, and rendering is performed on the three-dimensional virtual model with at least two different camera angles, so that at least two The obtaining of virtual images corresponding to different camera angles may include: S1031 of obtaining a first virtual image by rendering a 3D virtual model at a first camera angle; and a step S1032 of obtaining a second virtual image by performing rendering on the 3D virtual model at the second camera angle.

본 발명의 실시예에 있어서, 제2 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제2 가상 이미지를 얻는 단계는, 제1 카메라 앵글에서의 3차원 가상 모델을 수평 이동 또는 회전시켜, 제2 카메라 앵글에서의 3차원 가상 모델을 얻는 단계; 및 제2 카메라 앵글에서의 3차원 가상 모델에 대응되는 제2 가상 이미지를 획득하는 단계를 포함한다.In an embodiment of the present invention, the step of obtaining a second virtual image by performing rendering on the 3D virtual model at the second camera angle includes horizontally moving or rotating the 3D virtual model at the first camera angle, obtaining a three-dimensional virtual model at a second camera angle; and acquiring a second virtual image corresponding to the 3D virtual model at the second camera angle.

이해할 수 있는 것은, 제1 카메라 앵글은 실제 이미지에 따라 얻은 것일 수 있고, 실제 이미지에 대응되는 동작 정보에 따라 얻은 것일 수도 있으며, 배경 음악에 대응되는 시간 컬렉션에 따라 얻은 것일 수도 있고; 마찬가지로, 제2 카메라 앵글은 실제 이미지에 따라 얻은 것일 수 있으며, 실제 이미지에 대응되는 동작 정보에 따라 얻은 것일 수도 있고, 배경 음악에 대응되는 시간 컬렉션에 따라 얻은 것일 수도 있다.It is understandable that the first camera angle may be obtained according to an actual image, may be obtained according to motion information corresponding to the actual image, or may be obtained according to a time collection corresponding to background music; Similarly, the second camera angle may be obtained according to an actual image, may be obtained according to motion information corresponding to the actual image, or may be obtained according to a time collection corresponding to background music.

단계 S1033에 있어서, 제1 가상 이미지 및 제2 가상 이미지에 따라 형성된 이미지 시퀀스를 전시한다.In step S1033, an image sequence formed according to the first virtual image and the second virtual image is displayed.

본 발명의 실시예에 있어서, 상기 제1 가상 이미지 및 제2 가상 이미지에 따라 형성된 이미지 시퀀스를 전시하는 단계는, 제1 가상 이미지 및 상기 제2 가상 이미지 사이에 a 프레임 가상 이미지를 삽입함으로써, 제1 가상 이미지로 하여금 제2 가상 이미지로 부드럽게 전환되도록 하는 단계 - a는 양의 정수임 - 를 포함한다.In an embodiment of the present invention, the step of displaying an image sequence formed according to the first virtual image and the second virtual image comprises: inserting a frame virtual image between the first virtual image and the second virtual image; causing the first virtual image to smoothly transition to the second virtual image, wherein a is a positive integer.

선택적으로, 제1 가상 이미지와 제2 가상 이미지 사이에 a 프레임의 가상 이미지

를 삽입함으로써, 제1 가상 이미지로 하여금 제2 가상 이미지로 유연하게 전환되도록 하고, 여기서 a 프레임의 가상 이미지

가 삽입된 시점은

이며, 시점

에 의해 형성된 곡선의 기울기값은 먼저 단조 감소한 다음 단조 증가하는 함수를 만족시키고, a는 양의 정수이다.Optionally, a virtual image of a frame between the first virtual image and the second virtual image

by inserting , allowing the first virtual image to be flexibly converted to the second virtual image, where the virtual image of frame a

is inserted at the time

and the point in time

The slope value of the curve formed by first satisfies a function that monotonically decreases and then increases monotonically, and a is a positive integer.

예를 들어 설명하면, 도 4는 보간 곡선의 예시도를 도시하였고, 도 4에 도시된 바와 같이, 분할 미러 효과 구현 장치는 제1 분에 제1 가상 이미지를 획득하며, 제2 분에 제2 가상 이미지를 획득하고, 제1 가상 이미지가 나타내는 것은 3차원 가상 모델의 정면도이며, 제2 가상 이미지가 나타내는 것은 3차원 가상 모델의 좌측면도이다. 시청자가 원활한 샷 전환 화면을 볼 수 있도록 하기 위하여, 분할 미러 효과 구현 장치는 제1 분과 제2 분 사이에 복수 개의 시점을 삽입하고, 각 시점 위치에 한 프레임의 가상 이미지를 삽입하며, 예를 들어, 1.제4 분일 때 가상 이미지 P₁을 삽입하고, 1.65분일 때 가상 이미지 P₂를 삽입하며, 1.8분일 때 가상 이미지 P₃을 삽입하고, 1.85분일 때 가상 이미지 P₄를 삽입하며, 여기서, 가상 이미지 P₁은 3차원 가상 모델을 왼쪽으로 30도 회전한 효과를 나타내고, 가상 이미지 P₂가는 3차원 가상 모델을 왼쪽으로 50도 회전한 효과를 나타내며, 가상 이미지 P₃ 및 가상 이미지 P₄는 모두 3차원 가상 모델을 왼쪽으로 90도 회전한 효과를 나타내고, 시청자가 단일한 두 이미지(3차원 가상 모델의 정면도 및 3차원 가상 모델의 좌측면도) 대신, 정면도에서 점차 좌측면도로 변환되는3차원 가상 모델의 전체 과정을 볼 수 있도록 함으로써, 시청자가 정면도에서 좌측면도로 전환되는 시각적 차이의 변화 효과에 적응할 수 있도록 한다.For example, FIG. 4 shows an exemplary diagram of an interpolation curve, and as shown in FIG. 4 , the apparatus for implementing the split mirror effect acquires a first virtual image at the first minute, and at the second minute A virtual image is obtained, and the first virtual image represents a front view of the 3D virtual model, and the second virtual image represents a left side view of the 3D virtual model. In order for the viewer to see a smooth shot transition screen, the apparatus for implementing the split mirror effect inserts a plurality of viewpoints between the first and second minutes, and inserts a virtual image of one frame at each viewpoint position, for example, , 1. Insert virtual image P ₁ at the fourth minute, insert virtual image P ₂ at 1.65 minutes, insert virtual image P ₃ at 1.8 minutes, and insert virtual image P ₄ at 1.85 minutes, wherein, Virtual image P ₁ represents the effect of rotating the three-dimensional virtual model by 30 degrees to the left, virtual image P ₂ represents the effect of rotating the three-dimensional virtual model by 50 degrees to the left, and virtual images P ₃ and P ₄ are Both show the effect of rotating the 3D virtual model 90 degrees to the left, and the viewer is gradually converted from the front view to the left side instead of two single images (the front view of the 3D virtual model and the left view of the 3D virtual model)3 By allowing the viewer to see the whole process of the dimensional virtual model, the viewer can adapt to the effect of changing the visual difference from the front view to the left view.

본 발명의 일부 선택적인 실시예에 있어서, 본 발명의 실시예에서 제공하는 무대 특수 효과를 사용하여 3차원 가상 모델에 대해 렌더링을 수행함으로써, 시청자에게 상이한 무대 효과를 나타내는 것에 대해 상세한 설명하고, 구체적으로 하기와 같은 단계를 포함한다.In some optional embodiments of the present invention, by performing rendering on a three-dimensional virtual model using the stage special effects provided in the embodiments of the present invention, it is detailed about showing different stage effects to the viewer, to include the following steps.

단계 1에 있어서, 분할 미러 효과 구현 장치는 배경 음악에 대해 비트 검출을 수행하여, 배경 음악의 비트 컬렉션을 얻는다.In step 1, the apparatus for implementing the split mirror effect performs beat detection on the background music to obtain a bit collection of the background music.

여기서, 비트 컬렉션은 복수 개의 비트를 포함하고, 복수 개의 비트 중 각 비트는 하나의 무대 특수 효과에 대응된다. 선택적으로, 분할 미러 효과 구현 장치는 셰이더 및 입자 효과를 사용하여 각각 3차원 가상 모델에 대해 렌더링 처리를 수행할 수 있고, 예를 들어, 셰이더는 가상 무대 뒷면의 스포트라이트 회전 효과 및 가상 무대 자체의 오디오 웨이브 효과를 구현하기 위한 것일 수 있고, 입자 효과는 3차원 가상 모델에 불꽃, 낙엽, 유성 등과 유사한 시각 효과를 추가하기 위한 것이다.Here, the beat collection includes a plurality of beats, and each bit of the plurality of beats corresponds to one stage special effect. Optionally, the device for implementing the split mirror effect may perform rendering processing on the three-dimensional virtual model, respectively, using a shader and a particle effect, for example, the shader may include a spotlight rotation effect on the back of the virtual stage and the audio of the virtual stage itself. It may be for implementing a wave effect, and the particle effect is for adding a visual effect similar to fireworks, fallen leaves, meteors, etc. to the 3D virtual model.

단계 2에 있어서, 분할 미러 효과 구현 장치는 비트 컬렉션에 대응되는 타깃 무대 특수 효과를 3차원 가상 모델에 추가한다.In step 2, the apparatus for implementing the split mirror effect adds a target stage special effect corresponding to the beat collection to the 3D virtual model.

상기 분할 미러 효과의 구현 방법은 수집하여 얻은 실제 이미지에 따라 3차원 가상 모델을 생성하고, 수집하여 얻은 실제 이미지, 배경 음악 및 실제 캐릭터의 동작에 따라 상응한 카메라 앵글 전환을 수행하는 것을 통해, 가상 시나리오에서 복수 개의 가상 카메라가 3차원 가상 모델에 대해 촬영하는 효과를 시뮬레이션하여, 시청자의 시청 체험감을 향상시킨다. 또한, 상기 분할 미러 효과의 구현 방법은 또한 배경 음악의 비트에 대해 해석하는 것을 통해, 비트 정보에 따라 가상 이미지에 대응되는 무대 특수 효과를 추가하고, 시청자에게 상이한 무대 효과를 나타내며, 시청자의 시청 체험감을 진일보 향상시킨다.The method for implementing the split mirror effect includes generating a three-dimensional virtual model according to the collected real image, and performing corresponding camera angle change according to the collected real image, background music, and the movement of the real character. By simulating the effect of a plurality of virtual cameras shooting a 3D virtual model in a scenario, the viewer's viewing experience is improved. In addition, the implementation method of the split mirror effect also adds a stage special effect corresponding to the virtual image according to the beat information through interpretation of the beat of the background music, and presents different stage effects to the viewer, and the viewer's viewing experience improve the senses.

상기 실시예에 관련된 분할 미러 효과 구현 방법의 이해를 돕기 위해, 아래에 예의 방식을 통해 본 발명 실시예의 분할 미러 효과 구현 방식을 상세하게 설명한다.In order to help the understanding of the method for implementing the split mirror effect related to the above embodiment, the method for implementing the split mirror effect according to the embodiment of the present invention will be described in detail below by way of example.

도 5를 참조하면, 도 5는 구체적 실시예의 흐름 예시도를 도시하였다.Referring to FIG. 5 , FIG. 5 is a flowchart illustrating a specific embodiment.

단계 S201에 있어서, 분할 미러 효과 구현 장치는 실제 이미지 및 배경 음악을 획득하고, 실제 이미지에 따라 제1 카메라 앵글을 획득한다. 여기서, 배경 음악이 울릴 때, 실제 캐릭터는 배경 음악에 따라 동작하고, 실제 카메라는 실제 캐릭터에 대해 촬영하여 실제 이미지를 얻는다.In step S201, the divided mirror effect implementation device acquires the real image and the background music, and acquires the first camera angle according to the real image. Here, when the background music sounds, the real character operates according to the background music, and the real camera shoots the real character to obtain a real image.

단계 S202에 있어서, 분할 미러 효과 구현 장치는 실제 이미지에 따라 3차원 가상 모델을 생성한다. 여기서, 3차원 가상 모델은 분할 미러 효과 구현 장치가 제1 시각에 획득하여 얻은 것이다.In step S202, the device for implementing the split mirror effect generates a three-dimensional virtual model according to the real image. Here, the three-dimensional virtual model is obtained by the split mirror effect realizing apparatus at the first time point.

단계 S203에 있어서, 분할 미러 효과 구현 장치는 배경 음악에 대해 비트 검출을 수행하여, 배경 음악의 비트 컬렉션을 얻으며, 비트 컬렉션에 대응되는 타깃 무대 특수 효과를 3차원 가상 모델에 추가한다.In step S203, the divided mirror effect implementation apparatus performs beat detection on the background music to obtain a beat collection of the background music, and adds a target stage special effect corresponding to the beat collection to the three-dimensional virtual model.

단계 S204에 있어서, 분할 미러 효과 구현 장치는 제1 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제1 카메라 앵글에 대응되는 제1 가상 이미지를 얻는다.In step S204, the apparatus for implementing the split mirror effect renders the 3D virtual model at the first camera angle to obtain a first virtual image corresponding to the first camera angle.

단계 S205에 있어서, 분할 미러 효과 구현 장치는 배경 음악에 대응되는 시간 컬렉션을 결정한다.In step S205, the apparatus for implementing the split mirror effect determines a time collection corresponding to the background music.

여기서, 시간 컬렉션은 복수 개의 시간대를 포함하고, 복수 개의 시간대에서의 각 시간대는 하나의 카메라 앵글에 대응된다.Here, the time collection includes a plurality of time zones, and each time zone in the plurality of time zones corresponds to one camera angle.

단계 S206에 있어서, 분할 미러 효과 구현 장치는 동작 정보 라이브러리에 동작 정보가 포함되는지 여부를 판단하고, 동작 정보 라이브러리에 동작 정보가 포함되지 않을 경우 단계 S207 내지 단계 S209를 실행하며, 동작 정보 라이브러리에 동작 정보가 포함될 경우 단계 S210 내지 단계 S212를 실행한다. 여기서, 동작 정보는 실제 이미지 중 실제 캐릭터의 동작 정보이고, 동작 정보 라이브러리는 복수 개의 동작 정보를 포함하며, 복수 개의 동작 정보에서의 각 동작 정보는 하나의 카메라 앵글에 대응된다.In step S206, the divided mirror effect implementation apparatus determines whether the motion information is included in the motion information library, and if the motion information library does not include the motion information, executes steps S207 to S209, and the motion information library operates If the information is included, steps S210 to S212 are executed. Here, the motion information is motion information of an actual character among the actual images, the motion information library includes a plurality of motion information, and each motion information in the plurality of motion information corresponds to one camera angle.

단계 S207에 있어서, 분할 미러 효과 구현 장치는 시간 컬렉션에 따라, 제1 시각이 위치하는 시간대에 대응되는 제2 카메라 앵글을 결정한다.In step S207, the apparatus for implementing the split mirror effect determines, according to the time collection, a second camera angle corresponding to a time zone in which the first time is located.

단계 S208에 있어서, 분할 미러 효과 구현 장치는 제2 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제2 카메라 앵글에 대응되는 제2 가상 이미지를 얻는다.In step S208, the apparatus for implementing the split mirror effect renders the 3D virtual model at the second camera angle to obtain a second virtual image corresponding to the second camera angle.

단계 S209에 있어서, 분할 미러 효과 구현 장치는 제1 가상 이미지 및 제2 가상 이미지에 따라 형성된 이미지 시퀀스를 전시한다.In step S209, the divided mirror effect realizing apparatus displays an image sequence formed according to the first virtual image and the second virtual image.

단계 S210에 있어서, 분할 미러 효과 구현 장치는 동작 정보에 따라, 동작 정보에 대응되는 제3 카메라 앵글을 결정한다.In step S210, the apparatus for implementing the split mirror effect determines, according to the motion information, a third camera angle corresponding to the motion information.

단계 S211에 있어서, 분할 미러 효과 구현 장치는 제3 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제3 카메라 앵글에 대응되는 제3 가상 이미지를 얻는다.In step S211, the apparatus for implementing the split mirror effect renders the 3D virtual model at the third camera angle to obtain a third virtual image corresponding to the third camera angle.

단계 S212에 있어서, 분할 미러 효과 구현 장치는 제1 가상 이미지 및 제3 가상 이미지에 따라 형성된 이미지 시퀀스를 전시한다.In step S212, the divided mirror effect realizing apparatus displays an image sequence formed according to the first virtual image and the third virtual image.

도 5와 같은 방법에 따라, 본 발명의 실시예는 도 6에 도시된 바와 같은 분할 미러 규칙 예시도를 제공하고, 도 6에서 도시된 분할 미러 규칙에 따라 가상 이미지에 분할 미러 처리 및 무대 특수 효과 처리를 수행하며, 도 7a 내지 도 7d에 도시된 바와 같은 네 가지 가상 이미지의 효과 이미지를 얻을 수 있다.According to the method as shown in Fig. 5, the embodiment of the present invention provides an exemplary view of a split mirror rule as shown in Fig. 6, and split mirror processing and stage special effects on a virtual image according to the split mirror rule shown in Fig. 6 By performing the processing, it is possible to obtain an effect image of four virtual images as shown in FIGS. 7A to 7D .

도 7a에 도시된 바와 같이, 1분일 때, 분할 미러 효과 구현 장치는 카메라 앵글 V₁에서 실제 캐릭터에 대해 촬영하여, 실제 이미지

를 얻은 후(도 7a 좌측 상단에 도시된 바와 같이), 실제 이미지

에 따라 3차원 가상 모델

을 얻는다. 분할 미러 효과 구현 장치는 배경 음악에 대해 비트 검출을 수행하고, 1분에 대응되는 비트가 B1인 것을 결정하며, 비트 B₁에 따라 제1 분일 때의 무대 특수 효과

를 얻고, 무대 특수 효과

를 3차원 가상 모델

에 추가하며; 분할 미러 효과 구현 장치는 기설정된 샷 스크립트에 따라 1분에 대응되는 카메라 앵글(시간 카메라 앵글로 약칭됨)을 V₁로 결정하고; 분할 미러 효과 구현 장치는 실제 캐릭터가 제1 분에서의 동작은 두 손을 가슴 앞으로 올린 것이고, 두 손을 가슴 앞으로 올린 이 동작은 동작 정보 라이브러리에 없는 것을 검출하면, 즉 동작에 대응되는 카메라 앵글(동작 카메라 앵글로 약칭됨)이 존재하지 않으면, 이때 분할 미러 효과 구현 장치에는 도 7a에 도시된 바와 같은 가상 이미지가 현시되고, 여기서, 도 7a에 도시된 가상 이미지 및 실제 이미지

의 카메라 앵글은 동일하다.As shown in FIG. 7A , at 1 minute, the split mirror effect implementation device takes a picture of a real character at a camera angle V ₁ , and a real image

After obtaining (as shown in the upper left of Fig. 7a), the actual image

3D virtual model according to

to get The apparatus for implementing the split mirror effect performs beat detection on the background music, determines that the bit corresponding to one minute is B1, and the stage special effect at the first minute according to bit B ₁ .

to get the stage special effects

3D virtual model

add to; The apparatus for implementing the split mirror effect determines, as V ₁ , a camera angle corresponding to 1 minute (abbreviated as a time camera angle) according to a preset shot script; The split mirror effect implementation device detects that the motion of the actual character in the first minute is to raise both hands in front of the chest, and this motion to raise both hands in front of the chest is not in the motion information library, that is, the camera angle ( (abbreviated as motion camera angle) does not exist, at this time, a virtual image as shown in FIG. 7A is displayed on the device for implementing the split mirror effect, where the virtual image and the real image shown in FIG. 7A are displayed.

The camera angles are the same.

도 7b에 도시된 바와 같이, 제2 분일 때, 분할 미러 효과 구현 장치는 카메라 앵글 V₁에서 실제 캐릭터에 대해 촬영하여, 실제 이미지

를 얻은 후(도 7b 좌측 상단에 도시된 바와 같이), 실제 이미지

에 따라 3차원 가상 모델

을 얻는다. 분할 미러 효과 구현 장치는 배경 음악에 대해 비트 검출을 수행하고, 제2 분에 대응되는 비트 B2를 결정하며, 비트 B₂에 따라 제2 분일 때의 무대 특수 효과

를 얻고, 3차원 가상 모델

에 무대 특수 효과

를 추가하며; 분할 미러 효과 구현 장치는 기설정된 샷 스크립트에 따라 제2 분에 대응되는 카메라 앵글(시간 카메라 앵글로 약칭됨)을 V₂로 결정하고; 분할 미러 효과 구현 장치는 실제 캐릭터가 제2 분에서의 동작은 두 손을 위로 올린 것이고, 두 손을 위로 올린 이 동작은 동작 정보 라이브러리에 없는 것을 검출하면, 즉 동작에 대응되는 카메라 앵글(동작 카메라 앵글로 약칭됨)이 존재하지 않으면, 이때 분할 미러 효과 구현 장치는 3차원 가상 모델

을 왼쪽 상단으로 회전시켜 얻은 카메라 앵글은 V₂에 대응되는 가상 이미지이다. 이로부터 알다시피, 3차원 가상 모델

에 무대 특수 효과

를 추가할 때, 도 7b에서 도시된 가상 이미지는 도 7a에서 도시된 가상 이미지보다 조명 효과가 추가되었다.As shown in FIG. 7B , at the second minute, the device for implementing the split mirror effect takes a picture of the real character at the camera angle V ₁ , and the real image

After obtaining (as shown in Fig. 7b upper left), the actual image

3D virtual model according to

to get The divided mirror effect implementation device performs beat detection on the background music, determines a bit B2 corresponding to the second minute, and a stage special effect at the second minute according to the bit B ₂ .

to obtain a 3D virtual model

on stage special effects

add; The apparatus for implementing the split mirror effect determines, as V ₂ , a camera angle (abbreviated as a time camera angle) corresponding to the second minute according to a preset shot script; When the split mirror effect realizing device detects that the actual character's motion in the second minute is raising both hands, and this motion of raising both hands is not in the motion information library, that is, the camera angle corresponding to the motion (motion camera angle) does not exist, in this case, the device for implementing the split mirror effect is a three-dimensional virtual model

The camera angle obtained by rotating to the upper left is a virtual image corresponding to V ₂ . As you can see from this, the three-dimensional virtual model

on stage special effects

When adding , a lighting effect is added to the virtual image shown in FIG. 7B than the virtual image shown in FIG. 7A .

도 7c에 도시된 바와 같이, 제3 분일 때, 분할 미러 효과 구현 장치는 카메라 앵글 V₁에서 실제 캐릭터에 대해 촬영하여, 실제 이미지

를 얻은 후(도 7c 좌측 상단에 도시된 바와 같이), 실제 이미지

에 따라 3차원 가상 모델

을 얻는다. 분할 미러 효과 구현 장치는 배경 음악에 대해 비트 검출을 수행하고, 제3 분에 대응되는 비트 B₃을 결정하며, 비트 B₃에 따라 제3 분일 때의 무대 특수 효과

를 얻고, 3차원 가상 모델

에 무대 특수 효과

를 추가하며; 분할 미러 효과 구현 장치는 기설정된 샷 스크립트에 따라 제3 분에 대응되는 카메라 앵글(시간 카메라 앵글로 약칭됨)을 V₃으로 결정하고; 분할 미러 효과 구현 장치는 실제 캐릭터가 제3 분에서의 동작은 왼발을 드는 것이고, 왼발을 드는 이 동작에 대응되는 카메라 앵글(동작 카메라 앵글로 약칭됨)은 V₃이면, 이때 분할 미러 효과 구현 장치는 3차원 가상 모델

을 왼쪽으로 회전시켜 얻은 카메라 앵글은 V₃에 대응되는 가상 이미지이다. 이로부터 알다시피, 3차원 가상 모델

에 무대 특수 효과

를 추가할 때, 도 7c에서 도시된 가상 이미지와 도 7b에서 도시된 가상 이미지에서의 조명 효과는 상이하고, 도 7c에서 도시된 가상 이미지는 오디오 웨이브 효과를 나타낸다.As shown in FIG. 7C , at the third minute, the device for implementing the split mirror effect takes a picture of the real character at the camera angle V ₁ , and the real image

After obtaining (as shown in the upper left of Fig. 7c), the actual image

3D virtual model according to

to get The divided mirror effect implementation device performs beat detection on the background music, determines a bit B ₃ corresponding to the third minute, and a stage special effect at the third minute according to the bit B ₃ .

to obtain a 3D virtual model

on stage special effects

add; The apparatus for implementing the split mirror effect determines, as V ₃ , a camera angle (abbreviated as a time camera angle) corresponding to the third minute according to a preset shot script; In the split mirror effect implementation device, if the actual character’s motion in the third minute is to raise the left foot, and the camera angle (abbreviated as motion camera angle) corresponding to this action of raising the left foot is V ₃ , then the split mirror effect implementation device is a 3D virtual model

The camera angle obtained by rotating to the left is a virtual image corresponding to V ₃ . As you can see from this, the three-dimensional virtual model

on stage special effects

When adding , lighting effects in the virtual image shown in FIG. 7C and the virtual image shown in FIG. 7B are different, and the virtual image shown in FIG. 7C represents an audio wave effect.

도 7d에 도시된 바와 같이, 제4 분일 때, 분할 미러 효과 구현 장치는 카메라 앵글 V1에서 실제 캐릭터에 대해 촬영하여, 실제 이미지

를 얻은 후(도 7d 좌측 상단에 도시된 바와 같이), 실제 이미지

에 따라 3차원 가상 모델

을 얻는다. 분할 미러 효과 구현 장치는 배경 음악에 대해 비트 검출을 수행하고, 제4 분에 대응되는 비트 B4를 결정하며, 비트 B₄에 따라 제4 분일 때의 무대 특수 효과

를 얻고, 3차원 가상 모델

에 무대 특수 효과

를 추가하며; 분할 미러 효과 구현 장치는 기설정된 샷 스크립트에 따라 제4 분에 대응되는 카메라 앵글(시간 카메라 앵글로 약칭됨)은 V₄인 것을 결정하고; 분할 미러 효과 구현 장치는 실제 캐릭터가 제4 분에서의 동작은 서있는 것이고, 서있는 이 동작에 대응되는 카메라 앵글(동작 카메라 앵글로 약칭됨)은 V₄이면, 이때 분할 미러 효과 구현 장치는 3차원 가상 모델

을 오른쪽으로 회전시켜 얻은 카메라 앵글은 V₄에 대응되는 가상 이미지이다. 이로부터 알다시피, 3차원 가상 모델

에 무대 특수 효과

를 추가할 때, 도 7D에서 도시된 가상 이미지와 도 7C에서 도시된 가상 이미지 중 무대 효과를 상이하게 한다.As shown in FIG. 7D , at the fourth minute, the device for implementing the split mirror effect takes a picture of the real character at the camera angle V1, so that the real image

After obtaining (as shown in Fig. 7d upper left), the actual image

3D virtual model according to

to get The apparatus for implementing the split mirror effect performs beat detection on the background music, determines a bit B4 corresponding to the fourth minute, and a stage special effect at the fourth minute according to the bit B ₄ .

to obtain a three-dimensional virtual model

on stage special effects

add; The apparatus for implementing the split mirror effect determines that a camera angle (abbreviated as a time camera angle) corresponding to the fourth minute is V ₄ according to a preset shot script; In the device for implementing the split mirror effect, if the actual character is standing at the fourth minute, and the camera angle (abbreviated as motion camera angle) corresponding to this standing motion is V ₄ , then the device for implementing the split mirror effect is a three-dimensional virtual Model

The camera angle obtained by rotating to the right is a virtual image corresponding to V ₄ . As you can see from this, the three-dimensional virtual model

on stage special effects

When adding , the stage effect of the virtual image shown in FIG. 7D and the virtual image shown in FIG. 7C is different.

본 발명 실시예에서 제공하는 분할 미러 효과 구현 장치는 소프트웨어 장치일 수 있고 하드웨어 장치일 수도 있으며, 분할 미러 효과 구현 장치가 소프트웨어 장치일 때, 분할 미러 효과 구현 장치는 클라우드 환경에서의 컴퓨터 기기에 단독으로 배치될 수 있고, 단말 기기에 단독으로 배치될 수도 있으며, 분할 미러 효과 구현 장치가 하드웨어 기기일 때, 분할 미러 효과 구현 장치 내부의 유닛 모듈도 다양한 구분이 있을 수 있고, 각 모듈은 소프트웨어 모듈일 수 있고 하드웨어 모듈일 수도 있으며, 일부는 소프트웨어 모듈 일부는 하드웨어 모듈일 수도 있고, 본 발명은 이에 대해 한정하지 않는다. 도 8은 예시적인 분할 방식이고, 도 8에 도시된 바와 같이, 도 8은 본 발명의 실시예에서 제공하는 분할 미러 효과의 구현 장치(800)이며, 상기 분할 미러 효과의 구현 장치는, 3차원 가상 모델을 획득하도록 구성된 획득 유닛(810); 및 적어도 두 개의 상이한 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 적어도 두 개의 상이한 카메라 앵글에 각각 대응되는 가상 이미지를 얻도록 구성된 분할 미러 유닛(820)을 포함한다.The apparatus for implementing the split mirror effect provided in the embodiment of the present invention may be a software device or a hardware device. may be disposed, may be disposed alone in the terminal device, when the split mirror effect realizing device is a hardware device, the unit modules inside the split mirror effect realizing device may also have various classifications, and each module may be a software module and may be a hardware module, some may be a software module, some may be a hardware module, and the present invention is not limited thereto. 8 is an exemplary division method, and as shown in FIG. 8 , FIG. 8 is an apparatus 800 for implementing the divided mirror effect provided in an embodiment of the present invention, and the apparatus for implementing the divided mirror effect is three-dimensional. an acquiring unit 810, configured to acquire the virtual model; and a split mirror unit 820 configured to perform rendering on the three-dimensional virtual model with at least two different camera angles to obtain virtual images respectively corresponding to the at least two different camera angles.

본 발명의 일부 선택적인 실시예에 있어서, 3차원 가상 모델은 3차원 가상 시나리오에 있는 모델 중의 3차원 가상 캐릭터 모델을 포함하고, 상기 분할 미러 효과의 구현 장치는, 특징 추출 유닛(830) 및 3차원 가상 모델 생성 유닛(840)을 더 포함하며; 여기서,In some optional embodiments of the present invention, the three-dimensional virtual model includes a three-dimensional virtual character model among models in the three-dimensional virtual scenario, and the apparatus for implementing the split mirror effect includes: a feature extraction unit 830 and 3 a dimensional virtual model generating unit 840; here,

획득 유닛(810)은 또한, 3차원 가상 모델을 획득하기 전에, 실제 이미지를 획득하도록 구성되고, 여기서, 실제 이미지는 실제 캐릭터 이미지를 포함하며; 특징 추출 유닛(830)은, 실제 캐릭터 이미지에 대해 특징 추출을 수행하여 특징 정보를 얻도록 구성되고, 여기서, 특징 정보는 실제 캐릭터의 동작 정보를 포함하며; 3차원 가상 모델 생성 유닛(840)은, 특징 정보에 따라 3차원 가상 모델을 생성함으로써, 3차원 가상 모델에서의 3차원 가상 캐릭터 모델의 동작 정보는 실제 캐릭터의 동작 정보에 대응되게 구성된다.The acquiring unit 810 is also configured to acquire a real image, before acquiring the three-dimensional virtual model, wherein the real image includes a real character image; The feature extraction unit 830 is configured to perform feature extraction on the real character image to obtain feature information, wherein the feature information includes motion information of the real character; The three-dimensional virtual model generating unit 840 generates the three-dimensional virtual model according to the characteristic information, whereby motion information of the three-dimensional virtual character model in the three-dimensional virtual model is configured to correspond to the motion information of the real character.

본 발명의 일부 선택적인 실시예에 있어서, 획득 유닛은, 영상 스트림을 획득하고, 영상 스트림에서의 적어도 두 프레임의 이미지에 따라 적어도 두 프레임의 실제 이미지를 얻도록 구성되고;In some optional embodiments of the present invention, the acquiring unit is configured to acquire a video stream, and acquire at least two frames of actual images according to the images of at least two frames in the video stream;

특징 추출 유닛(830)은, 각 프레임 실제 캐릭터 이미지에 대해 특징 추출을 수행하여 대응되는 특징 정보를 얻도록 구성된다.The feature extraction unit 830 is configured to perform feature extraction on each frame real character image to obtain corresponding feature information.

본 발명의 일부 선택적인 실시예에 있어서, 실제 이미지는 실제 시나리오 이미지를 더 포함하고, 3차원 가상 모델은 3차원 가상 시나리오 모델을 더 포함하며; 상기 분할 미러 효과의 구현 장치는, 획득 유닛이 3차원 가상 모델을 획득하기 전에, 실제 시나리오 이미지에 따라, 3차원 가상 시나리오 이미지를 구축하도록 구성된 3차원 가상 시나리오 이미지 구축 유닛(850)을 더 포함한다.In some optional embodiments of the present invention, the real image further includes a real scenario image, and the three-dimensional virtual model further includes a three-dimensional virtual scenario model; The apparatus for implementing the split mirror effect further includes a three-dimensional virtual scenario image building unit 850, configured to build a three-dimensional virtual scenario image according to the real scenario image before the acquiring unit acquires the three-dimensional virtual model. .

본 발명의 일부 선택적인 실시예에 있어서, 상기 분할 미러 효과의 구현 장치는 적어도 두 개의 상이한 카메라 앵글을 획득하도록 구성된, 카메라 앵글 획득 유닛(860)을 더 포함한다. 구체적으로, 일부 선택적인 실시 방식에 있어서, 카메라 앵글 획득 유닛(860)은, 적어도 두 프레임의 실제 이미지에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻도록 구성된다.In some optional embodiments of the present invention, the apparatus for implementing the split mirror effect further includes a camera angle obtaining unit 860, configured to obtain at least two different camera angles. Specifically, in some optional implementation manners, the camera angle obtaining unit 860 is configured to obtain at least two different camera angles according to the actual image of at least two frames.

본 발명의 일부 선택적인 실시예에 있어서, 카메라 앵글 획득 유닛(860)은, 적어도 두 프레임의 실제 이미지가 각각 대응되는 동작 정보에 따라, 적어도 두 개의 상이한 카메라 앵글을 얻도록 구성된다.In some optional embodiments of the present invention, the camera angle obtaining unit 860 is configured to obtain at least two different camera angles according to the motion information to which the actual images of at least two frames respectively correspond.

본 발명의 일부 선택적인 실시예에 있어서, 카메라 앵글 획득 유닛(860)은, 배경 음악을 획득하고; 배경 음악에 대응되는 시간 컬렉션을 결정 - 시간 컬렉션은 적어도 두 개의 시간대를 포함함 -하며; 시간 컬렉션에서 각 시간대에 대응되는 카메라 앵글을 획득하도록 구성된다.In some optional embodiments of the present invention, the camera angle obtaining unit 860 is configured to obtain background music; determine a time collection corresponding to the background music, the time collection comprising at least two time zones; configured to obtain a camera angle corresponding to each time zone in the time collection.

본 발명의 일부 선택적인 실시예에 있어서, 적어도 두 개의 상이한 카메라 앵글은 제1 카메라 앵글 및 제2 카메라 앵글을 포함하고, 분할 미러 유닛(820)은, 제1 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제1 가상 이미지를 얻으며; 제2 카메라 앵글로 3차원 가상 모델에 대해 렌더링을 수행하여, 제2 가상 이미지를 얻고; 제1 가상 이미지 및 제2 가상 이미지에 따라 형성된 이미지 시퀀스를 전시하도록 구성된다.In some optional embodiments of the present invention, the at least two different camera angles include a first camera angle and a second camera angle, and the split mirror unit 820 is configured to: performing rendering to obtain a first virtual image; performing rendering on the three-dimensional virtual model at a second camera angle to obtain a second virtual image; and display an image sequence formed according to the first virtual image and the second virtual image.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 유닛(820)은, 제1 카메라 앵글에서의 3차원 가상 모델을 수평 이동 또는 회전시켜, 제2 카메라 앵글에서의 3차원 가상 모델을 얻고; 제2 카메라 앵글에서의 3차원 가상 모델에 대응되는 제2 가상 이미지를 획득하도록 구성된다.In some optional embodiments of the present invention, the split mirror unit 820 horizontally moves or rotates the three-dimensional virtual model at the first camera angle to obtain the three-dimensional virtual model at the second camera angle; and acquire a second virtual image corresponding to the three-dimensional virtual model at the second camera angle.

본 발명의 일부 선택적인 실시예에 있어서, 분할 미러 유닛(820)은, 제1 가상 이미지 및 제2 가상 이미지 사이에 a 프레임 가상 이미지를 삽입함으로써, 제1 가상 이미지로 하여금 제2 가상 이미지로 부드럽게 전환되도록 구성되고, 여기서, a는 양의 정수이다.In some optional embodiments of the present invention, the split mirror unit 820 is configured to insert an a-frame virtual image between the first virtual image and the second virtual image, thereby making the first virtual image smooth into the second virtual image. configured to be converted, wherein a is a positive integer.

본 발명의 일부 선택적인 실시예에 있어서, 상기 분할 미러 효과의 구현 장치는, 배경 음악에 대해 비트 검출을 수행하여, 배경 음악의 비트 컬렉션을 얻도록 구성된 비트 검출 유닛(870) - 비트 컬렉션은 복수 개의 비트를 포함하며, 복수 개의 비트 중 각 비트는 하나의 무대 특수 효과에 대응됨 - ; 및 비트 컬렉션에 대응되는 타깃 무대 특수 효과를 3차원 가상 모델에 추가하도록 구성된 무대 특수 효과 생성 유닛(880)을 더 포함한다.In some optional embodiments of the present invention, the apparatus for implementing the split mirror effect is configured to: perform beat detection on the background music to obtain a beat collection of the background music - a beat detection unit 870 - the beat collection is a plurality It contains multiple beats, and among the plurality of beats, each bit corresponds to one stage special effect; and a stage special effect generating unit 880, configured to add the target stage special effect corresponding to the beat collection to the three-dimensional virtual model.

상기 분할 미러 효과 구현 장치는 수집하여 얻은 실제 이미지에 따라 3차원 가상 모델을 생성하고, 수집하여 얻은 실제 이미지, 배경 음악 및 실제 캐릭터의 동작에 따라 복수 개의 카메라 앵글을 얻으며, 복수 개의 카메라 앵글을 사용하여 3차원 가상 모델에 대해 상응한 카메라 앵글 전환을 수행하는 것을 통해, 가상 시나리오에서 복수 개의 가상 카메라가 3차원 가상 모델에 대해 촬영하는 효과를 시뮬레이션함으로써, 사용자로 하여금 복수 개의 상이한 카메라 앵글에서의 3차원 가상 모델의 동적 변화 과정을 볼 수 있도록 하고, 시청자의 시청 체험감을 향상시킨다. 또한, 상기 분할 미러 효과의 구현 장치는 또한 배경 음악의 비트에 대해 해석함으로써, 비트 정보에 따라 3차원 가상 모델에 대응되는 무대 특수 효과를 추가하고, 시청자에게 상이한 무대 효과를 나타내며, 시청자의 생방송 시청 체험감을 진일보 향상시킨다.The device for implementing the split mirror effect generates a three-dimensional virtual model according to the acquired real image, obtains a plurality of camera angles according to the acquired real image, background music, and the motion of the real character, and uses the plurality of camera angles By performing a corresponding camera angle change on the 3D virtual model by simulating the effect of multiple virtual cameras shooting for the 3D virtual model in a virtual scenario, the user can use It allows you to see the dynamic change process of the dimensional virtual model, and improves the viewer's viewing experience. In addition, the apparatus for implementing the split mirror effect also interprets the bits of the background music, so that according to the beat information, a stage special effect corresponding to the three-dimensional virtual model is added, and a different stage effect is shown to the viewer, and the viewer's live broadcast viewing Step-by-step improvement of the experience.

도 9를 참조하면, 본 발명의 실시예는 전자 기기(900)의 구조 예시도를 제공하고, 전술한 분할 미러 효과 구현 장치는 전자 기기(900)에 적용된다. 전자 기기(900)는, 프로세서(910), 통신 인터페이스(920) 및 메모리(930)를 포함하고, 여기서, 프로세서(910), 통신 인터페이스(920) 및 메모리(930)는 버스(940)를 통해 커플링을 수행할 수 있다. 여기서, Referring to FIG. 9 , an embodiment of the present invention provides a structural exemplary diagram of an electronic device 900 , and the above-described split mirror effect implementation apparatus is applied to the electronic device 900 . The electronic device 900 includes a processor 910 , a communication interface 920 , and a memory 930 , wherein the processor 910 , the communication interface 920 and the memory 930 are connected via a bus 940 . coupling can be performed. here,

프로세서(910)는 중앙 처리 장치(Central Processing Unit, CPU), 범용 프로세서, 디지털 시그널 프로세서(Digital Signal Processor, DSP), 응용 주문형 집적 회로(Application-Specific Integrated Circuit, ASIC), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 다른 프로그램 가능 논리 소자(Programmable Logic Device, PLD), 트랜지스터 논리 소자, 하드웨어 부재 또는 이들의 임의의 조합일 수 있다. 프로세서(910)는 본 발명의 개시된 내용에서 설명된 다양한 예시성을 결합한 방법을 구현하거나 실행할 수 있다. 구체적으로, 프로세서(910)는 메모리(930)에 저장된 프로그램 코드를 판독하고, 통신 인터페이스(920)와 협동하여 본 발명의 상기 실시예에서 분할 미러 효과 구현 장치로 실행되는 방법의 일부 또는 전체 단계를 실행한다.The processor 910 includes a central processing unit (CPU), a general-purpose processor, a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a field programmable gate array ( Field Programmable Gate Array (FPGA) or other programmable logic device (PLD), transistor logic device, hardware member, or any combination thereof. The processor 910 may implement or execute a method combining various examples described in the disclosed subject matter of the present invention. Specifically, the processor 910 reads the program code stored in the memory 930, and cooperates with the communication interface 920 to perform some or all steps of the method executed by the divided mirror effect implementation apparatus in the above embodiment of the present invention. run

통신 인터페이스(920)는 유선 인터페이스 또는 무선 인터페이스일 수 있고, 다른 모듈 또는 기기와 통신을 수행하기 위한 것이며, 유선 인터페이스는 이더넷 인터페이스, 제어기 근거리 통신 네트워크 인터페이스, 로컬 상호 연결 네트워크(Local Interconnect Network, LIN) 및 FlexRay 인터페이스일 수 있고, 무선 인터페이스는 셀룰러 네트워크 인터페이스 또는 무선 근거리 통신 네트워크를 사용하는 인터페이스 등 일 수 있다. 구체적으로, 상기 통신 인터페이스(920)는 입력 출력 기기(950)와 서로 연결될 수 있고, 입력 출력 기기(950)는 마우스, 키보드, 마이크 등 다른 단말 기기를 포함할 수 있다.The communication interface 920 may be a wired interface or a wireless interface, and is for performing communication with other modules or devices, and the wired interface is an Ethernet interface, a controller short-range communication network interface, and a Local Interconnect Network (LIN). and a FlexRay interface, and the wireless interface may be a cellular network interface or an interface using a wireless local area communication network, or the like. Specifically, the communication interface 920 may be connected to an input/output device 950 , and the input/output device 950 may include other terminal devices such as a mouse, a keyboard, and a microphone.

메모리(930)는 예를 들어 랜덤 액세스 메모리(Random Access Memory, RAM)와 같은 휘발성 메모리를 포함할 수 있고; 메모리(930)는 예를 들어 읽기 전용 메모리(Read-Only Memory, ROM), 플래시 메모리, 하드 디스크(Hard Disk Drive, HDD) 또는 솔리드스테이트 드라이브(Solid-State Drive, SSD)와 같은 비휘발성 메모리(Non-Volatile Memory)를 포함할 수도 있으며, 메모리(930)는 상기 타입 메모리의 조합을 포함할 수도 있다. 메모리(930)에는 프로그램 코드 및 프로그램 데이터가 저장되어 있을 수 있다. 여기서, 프로그램 코드는 예를 들어, 획득 유닛(810)의 코드, 분할 미러 유닛(820)의 코드, 특징 추출 유닛(830)의 코드, 3차원 가상 모델 생성 유닛(840)의 코드, 3차원 가상 시나리오 이미지 구축 유닛(850)의 코드, 카메라 앵글 획득 유닛(860)의 코드, 비트 검출 유닛(870)의 코드 및 무대 특수 효과 생성 유닛(880)의 코드 등과 같은 상기 분할 미러 효과 구현 장치(800)에서의 일부 또는 전체 유닛의 코드로 구성되다. 프로그램 데이터는 예를 들어 실제 이미지 데이터, 3차원 가상 모델 데이터, 카메라 앵글 데이터, 배경 음악 데이터 및 가상 이미지 데이터 등과 같은 분할 미러 효과 구현 장치(800)가 작동 과정에서 생성한 데이트이다. Memory 930 may include, for example, volatile memory, such as random access memory (RAM); Memory 930 may include, for example, read-only memory (ROM), flash memory, a hard disk drive (HDD), or a non-volatile memory (SSD) such as a solid-state drive (SSD). Non-Volatile Memory) may be included, and the memory 930 may include a combination of the above type memories. The memory 930 may store program codes and program data. Here, the program code is, for example, the code of the acquiring unit 810 , the code of the split mirror unit 820 , the code of the feature extraction unit 830 , the code of the three-dimensional virtual model generating unit 840 , the three-dimensional virtual The divided mirror effect implementation apparatus 800, such as the code of the scenario image building unit 850, the code of the camera angle obtaining unit 860, the code of the bit detecting unit 870 and the code of the stage special effect generating unit 880, etc. It consists of code of some or all units in The program data is, for example, real image data, three-dimensional virtual model data, camera angle data, background music data, and virtual image data, etc., generated by the split mirror effect implementation device 800 during operation.

버스(940)는 제어기 근거리 통신 네트워크(Controller Area Network, CAN) 또는 다른 차량 내 각 시스템 또는 기기 사이 상호 연결을 구현하는 내부 버스일 수 있다. 버스(940)는 주소 버스, 데이터 버스, 제어 버스 등으로 나뉠 수 있다. 나타내기 쉽게 하기 위해, 이미지에서는 단지 하나의 굵은 선으로만 나타냈지만, 단지 하나의 버스 또는 한 가지 타입의 버스만 나타내는 것은 아니다.The bus 940 may be a controller area network (CAN) or an internal bus implementing interconnection between each system or device in another vehicle. The bus 940 may be divided into an address bus, a data bus, a control bus, and the like. For ease of illustration, only one thick line is shown in the image, but not only one bus or one type of bus.

전자 기기(900)는 도 9에서 나타낸 것에 대비하여 더욱 많거나 또는 더욱 적은 컴포넌트를 포함하거나, 상이한 컴포넌트 구성 방식이 있을 수 있음을 이해해야 한다.It should be understood that the electronic device 900 may include more or fewer components compared to that illustrated in FIG. 9 , or there may be different ways of configuring components.

본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램은 하드웨어(예를 들어 프로세서 등)에 의해 실행됨으로써, 상기 분할 미러 효과 구현 방법에서 일부 또는 전체 단계를 구현한다.An embodiment of the present invention further provides a computer-readable storage medium, wherein a computer program is stored in the computer-readable storage medium, the computer program being executed by hardware (eg, a processor, etc.), whereby the split mirror Implement some or all steps in the effect implementation method.

본 발명의 실시예는 컴퓨터 프로그램 제품을 더 제공하고, 상기 컴퓨터 프로그램 제품이 상기 분할 미러 효과 구현 장치 또는 전자 기기에서 작동될 때, 상기 분할 미러 효과 구현 방법의 일부 또는 전체 단계를 실행한다.An embodiment of the present invention further provides a computer program product, wherein when the computer program product is operated in the divided mirror effect realizing apparatus or electronic device, some or all of the steps of the split mirror effect realizing method are executed.

상기 실시예에 있어서, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합을 통해 전체적으로 또는 부분적으로 구현될 수 있다. 소프트웨어를 사용하여 구현할 때, 컴퓨터 프로그램 제품의 형태로 전체적으로 또는 부분적으로 구현될 수 있다. 상기 컴퓨터 프로그램 제품은 하나 또는 복수 개의 컴퓨터 명령어를 포함한다. 컴퓨터에서 상기 컴퓨터 프로그램 명령어가 로딩 및 실행될 때, 본 발명의 실시예에 따른 흐름 또는 기능은 전체적으로 또는 부분적으로 생성된다. 상기 컴퓨터는 범용 컴퓨터, 특수 목적 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그램 가능 장치일 수 있다. 상기 컴퓨터 명령어는 컴퓨터 판독 가능 저장 매체에 저장될 수 있거나, 하나의 컴퓨터 판독 가능 저장 매체로부터 다른 컴퓨터 판독 가능 저장 매체로 전송될 수 있고, 예를 들어, 상기 컴퓨터 명령어는 하나의 웹 사이트, 컴퓨터, 서버 또는 데이터 센터에서 유선(예를 들어, 동축 케이블, 광섬유, 디지털 가입자 회선) 또는 무선(예를 들어 적외선, 무선, 마이크로파 등) 방식으로 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 상기 컴퓨터 판독 가능 저장 매체는 컴퓨터가 액세스 가능한 임의의 사용 가능한 매체 또는 하나 또는 복수 개의 사용 가능한 매체 통합을 포함하는 서버, 데이터 센터 등 데이터 저장 기기일 수 있다. 상기 사용 가능한 매체는 자기 매체(예를 들어 플로피 디스켓, 메모리 디스크, 자기 테이프), 광학 매체(예를 들어 DVD) 또는 반도체 매체(예를 들어 SSD) 등일 수 있다. 상기 실시예에 있어서, 각 실시예에 대한 설명은 각각의 중점을 가지고, 어떤 실시예에서 상세하게 설명하지 않은 부분에 대해서는, 다른 실시예의 관련 설명을 참조할 수 있다.In the above embodiment, it may be implemented in whole or in part through software, hardware, firmware, or any combination thereof. When implemented using software, it may be implemented in whole or in part in the form of a computer program product. The computer program product includes one or a plurality of computer instructions. When the computer program instructions are loaded and executed in a computer, a flow or function according to an embodiment of the present invention is created in whole or in part. The computer may be a general purpose computer, special purpose computer, computer network, or other programmable device. The computer instructions may be stored in a computer readable storage medium or transmitted from one computer readable storage medium to another computer readable storage medium, for example, the computer instructions may be stored in one website, a computer, may be transmitted from a server or data center to another website, computer, server or data center in a wired (eg coaxial cable, optical fiber, digital subscriber line) or wireless (eg infrared, wireless, microwave, etc.) manner . The computer-readable storage medium may be any available medium that a computer can access or a data storage device such as a server, data center, etc. including one or a plurality of available media integration. The usable medium may be a magnetic medium (eg, a floppy diskette, a memory disk, a magnetic tape), an optical medium (eg, DVD), or a semiconductor medium (eg, SSD). In the above embodiment, the description of each embodiment has a respective emphasis, and for parts not described in detail in one embodiment, reference may be made to the related description of another embodiment.

본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 장치는, 다른 방식을 통해 구현될 수 있음을 이해해야 한다. 예를 들어 전술한 기기 실시예는 다만 예시적일 뿐이고, 예를 들어 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 또는 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 현시되거나 논의된 상호 간의 간접 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접 커플링 또는 통신 연결일 수 있고, 전기적 또는 다른 형태일 수 있다.In some embodiments provided in the present invention, it should be understood that the disclosed apparatus may be implemented in other ways. For example, the above-described device embodiment is merely exemplary, for example, the division for the unit is merely logical function division, and when actually implemented, there may be other division methods, for example, a plurality of units or components may be combined or integrated into other systems, or may ignore or not implement some features. Further, the indirect coupling or direct coupling or communication connection between each other shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in electrical or other form.

상기 분리 부재로서 설명된 유닛은 물리적으로 분리되거나, 분리되지 않을 수도 있고, 유닛으로서 게시된 부재는 물리적 유닛일 수도, 아닐 수도 있으며, 즉 한곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전체를 선택하여 본 발명 실시예 방안의 목적을 구현할 수 있다.The unit described as the separation member may or may not be physically separated, and the member posted as a unit may or may not be a physical unit, that is, it may be located in one place or may be distributed in a plurality of network units. . According to actual needs, some or all of the units may be selected to implement the objectives of the embodiments of the present invention.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛은 독립적인 물리적 존재일 수도 있으며, 두 개의 또는 두 개의 이상의 유닛이 한 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.In addition, each functional unit in each embodiment of the present invention may be integrated into one processing unit, each unit may be an independent physical entity, and two or two or more units may be integrated into one unit. . The integrated unit may be implemented in the form of hardware as well as in the form of a software functional unit.

상기 통합된 유닛이 만약 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 때, 하나의 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안은 본질적으로 또는 기존 기술에 기여하는 일부 또는 상기 기술 방안의 전체 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전체 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 예를 들어 USB 메모리, 외장 하드, 읽기 전용 메모리, 랜덤 액세스 메모리, 디스켓 또는 CD 등 과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.When the integrated unit is implemented in the form of a software function unit and sold or used as a standalone product, it may be stored in one computer-readable storage medium. Based on this understanding, the technical solution of the present invention essentially or a part contributing to existing technology, or all or part of the technical solution may be implemented in the form of a software product, wherein the computer software product is stored in a single storage medium It is stored and includes a plurality of instructions used to cause one computer device (which may be a personal computer, a server or a network device, etc.) to execute all or some steps of the method of each embodiment of the present invention. The above-described storage medium includes, for example, various media capable of storing program codes, such as a USB memory, an external hard drive, a read-only memory, a random access memory, a diskette, or a CD.

이상의 설명은, 단지 본 발명 실시예의 선택적인 실시 방식일 뿐이고, 본 발명 실시예의 보호 범위는 이에 한정되지 않으며, 본 기술 분야에 익숙한 통상의 기술자라면 본 발명에서 개시된 기술적 범위 내에서, 다양한 동등한 수정 또는 교체를 쉽게 생각할 수 있고, 이런 수정 또는 교체는 모두 본 발명의 보호 범위 내에 속해야 한다. 따라서, 본 발명 실시예의 보호 범위는 청구 범위의 보호 범위를 기준으로 해야 한다. The above description is merely an optional implementation manner of the embodiment of the present invention, the protection scope of the embodiment of the present invention is not limited thereto, and a person skilled in the art can make various equivalent modifications or Replacement is easily conceivable, and such modification or replacement should all fall within the protection scope of the present invention. Accordingly, the protection scope of the embodiments of the present invention should be based on the protection scope of the claims.

Claims

A method of implementing the split mirror effect, comprising:
obtaining a three-dimensional virtual model; and
and performing rendering on the 3D virtual model with at least two different camera angles to obtain a virtual image corresponding to each of the at least two different camera angles.

According to claim 1,
The three-dimensional virtual model includes a three-dimensional virtual character model among models in a three-dimensional virtual scenario, and before obtaining the three-dimensional virtual model, the implementation method of the split mirror effect comprises:
acquiring a real image, the real image including a real character image;
performing feature extraction on an actual character image to obtain feature information, wherein the feature information includes motion information of a real character; and
generating the 3D virtual model according to the characteristic information, so that motion information of the 3D virtual character model in the 3D virtual model corresponds to motion information of the real character How to implement the split mirror effect.

3. The method of claim 2,
The step of acquiring the actual image is,
obtaining a video stream, and obtaining the actual image of at least two frames according to the images of at least two frames in the video stream;
The step of obtaining feature information by performing feature extraction on the actual character image,
and performing feature extraction on the actual character image of each frame to obtain corresponding feature information.

4. The method of claim 3,
the real image further includes a real scenario image, and the three-dimensional virtual model further includes the three-dimensional virtual scenario model; Before acquiring the three-dimensional virtual model, the method of implementing the split mirror effect includes:
According to the real scenario image, the implementation method of the split mirror effect, characterized in that it further comprises the step of building the three-dimensional virtual scenario model.

5. The method according to claim 3 or 4,
Obtaining the at least two different camera angles comprises:
according to the actual image of the at least two frames, obtaining the at least two different camera angles.

5. The method according to claim 3 or 4,
Obtaining the at least two different camera angles comprises:
and obtaining the at least two different camera angles according to motion information corresponding to the actual images of the at least two frames, respectively.

5. The method according to claim 3 or 4,
Obtaining the at least two different camera angles comprises:
obtaining background music;
determining a time collection corresponding to the background music, the time collection including at least two time zones; and
and acquiring a camera angle corresponding to each time zone from the time collection.

According to claim 1,
the at least two different camera angles include a first camera angle and a second camera angle; Rendering the 3D virtual model with the at least two different camera angles to obtain a virtual image corresponding to the at least two different camera angles,
performing rendering on the 3D virtual model with the first camera angle to obtain a first virtual image;
performing rendering on the 3D virtual model with the second camera angle to obtain a second virtual image; and
and displaying an image sequence formed according to the first virtual image and the second virtual image.

9. The method of claim 8,
Obtaining a second virtual image by performing rendering on the 3D virtual model with the second camera angle,
obtaining the 3D virtual model at the second camera angle by horizontally moving or rotating the 3D virtual model at the first camera angle; and
and acquiring the second virtual image corresponding to the 3D virtual model at the second camera angle.

10. The method of claim 9,
displaying an image sequence formed according to the first virtual image and the second virtual image;
inserting a frame virtual image between the first virtual image and the second virtual image, thereby causing the first virtual image to smoothly transition to the second virtual image, where a is a positive integer A method of implementing the split mirror effect, which is characterized.

11. The method according to any one of claims 7 to 10,
How to implement the split mirror effect,
performing beat detection on the background music to obtain a collection of bits of the background music, wherein the collection of bits includes a plurality of bits, each bit of the plurality of bits corresponding to one stage special effect; and
The method of implementing a split mirror effect, characterized in that it further comprises adding a target stage special effect corresponding to the beat collection to the three-dimensional virtual model.

In the device for implementing the split mirror effect,
an acquiring unit, configured to acquire a three-dimensional virtual model; and
and a split mirror unit configured to perform rendering on the three-dimensional virtual model with at least two different camera angles to obtain virtual images respectively corresponding to at least two different camera angles. Device.

13. The method of claim 12,
the three-dimensional virtual model includes a three-dimensional virtual character model among models in a three-dimensional virtual scenario, and the apparatus for implementing the split mirror effect further includes a feature extraction unit and a three-dimensional virtual model generating unit; the acquiring unit is further configured to acquire, before acquiring the three-dimensional virtual model, a real image, wherein the real image includes a real character image;
the feature extraction unit is configured to perform feature extraction on the real character image to obtain feature information, wherein the feature information includes motion information of the real character;
The three-dimensional virtual model generating unit is configured to generate the three-dimensional virtual model according to the characteristic information, so that the motion information of the three-dimensional virtual character model in the three-dimensional virtual model corresponds to the motion information of the real character. A device for implementing the split mirror effect, characterized in that it becomes.

14. The method of claim 13,
the acquiring unit is configured to acquire a video stream, and obtain the actual image of at least two frames according to the images of at least two frames in the video stream;
and the feature extraction unit is configured to perform feature extraction on the actual character image of each frame to obtain corresponding feature information.

15. The method of claim 14,
the real image further includes a real scenario image, and the three-dimensional virtual model further includes the three-dimensional virtual scenario model;
The apparatus for implementing the split mirror effect further comprises a three-dimensional virtual scenario image building unit, configured to build the three-dimensional virtual scenario model according to the real scenario image before the acquiring unit acquires the three-dimensional virtual model A device for implementing the split mirror effect, which is characterized.

16. The method of claim 14 or 15,
The apparatus for implementing the split mirror effect further comprises a camera angle obtaining unit, configured to obtain the at least two different camera angles according to the actual image of the at least two frames.

16. The method of claim 14 or 15,
The split mirror effect implementation device further comprises a camera angle obtaining unit configured to obtain the at least two different camera angles according to the operation information to which the real images of the at least two frames respectively correspond. The device for the implementation of the effect.

16. The method of claim 14 or 15,
the apparatus for implementing the split mirror effect acquires background music; determine a time collection corresponding to the background music, the time collection comprising at least two time zones; and a camera angle obtaining unit configured to obtain a camera angle corresponding to each time zone in the time collection.

13. The method of claim 12,
the at least two different camera angles include a first camera angle and a second camera angle; the split mirror unit performs rendering on the three-dimensional virtual model with the first camera angle to obtain a first virtual image; performing rendering on the three-dimensional virtual model with the second camera angle to obtain a second virtual image; and display an image sequence formed according to the first virtual image and the second virtual image.

20. The method of claim 19,
the split mirror unit horizontally moves or rotates the three-dimensional virtual model at the first camera angle to obtain the three-dimensional virtual model at the second camera angle; and acquiring the second virtual image corresponding to the three-dimensional virtual model at the second camera angle.

21. The method of claim 20,
the split mirror unit is configured to smoothly convert the first virtual image to the second virtual image by inserting a frame virtual image between the first virtual image and the second virtual image, where a is a positive integer - A device for implementing the split mirror effect, characterized in that it has been

22. The method according to any one of claims 18 to 21,
The apparatus for implementing the split mirror effect further includes a beat detecting unit and a stage special effect generating unit; the beat detection unit is configured to perform beat detection on the background music, and obtain a collection of bits of the background music, wherein the collection of bits includes a plurality of bits, each bit of the plurality of bits is one Corresponds to stage special effects - ;
and the stage special effect generating unit is configured to add a target stage special effect corresponding to the beat collection to the three-dimensional virtual model.

As an electronic device,
processor; a communication interface and a memory;
The memory is for storing instructions, the processor is for executing the instructions, the communication interface is for communicating with other devices under the control of the processor, and when the processor executes the instructions, An electronic device that implements the method for implementing the split mirror effect according to any one of claims 1 to 11.

A computer-readable storage medium having a computer program stored therein, comprising:
12. A computer-readable storage medium, characterized in that the computer program is executed by hardware to implement the method according to any one of claims 1 to 11.

A computer program product comprising:
12. A computer program product, characterized in that the computer program product is read and executed by a computer to implement the method for implementing the split mirror effect according to any one of claims 1 to 11.