KR20200087798A - 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기 - Google Patents

특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기 Download PDF

Info

Publication number
KR20200087798A
KR20200087798A KR1020207016777A KR20207016777A KR20200087798A KR 20200087798 A KR20200087798 A KR 20200087798A KR 1020207016777 A KR1020207016777 A KR 1020207016777A KR 20207016777 A KR20207016777 A KR 20207016777A KR 20200087798 A KR20200087798 A KR 20200087798A
Authority
KR
South Korea
Prior art keywords
sub
special effect
key point
program file
parameter
Prior art date
Application number
KR1020207016777A
Other languages
English (en)
Inventor
친친 수
잔펭 리
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20200087798A publication Critical patent/KR20200087798A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G06K9/4671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/38—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 출원의 실시예는 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기를 개시하고, 여기서, 특수 효과 프로그램 파일 패키지의 생성 방법은, 서브 머티리얼을 도입하는 단계; 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하는 단계; 및 상기 서브 머티리얼, 상기 대응 관계 및 상기 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하는 단계를 포함한다. 본 출원의 실시예는 프로그램 파일을 수동으로 작성할 필요없이, 랜더링 엔진이 실행 가능한 특수 효과 프로그램 파일을 생성할 수 있으므로, 조작이 간단하고, 소요 시간이 짧으며, 특수 효과 구현의 전체적인 효율을 향상시키며, 특수 효과의 정확성을 효과적으로 확보한다.

Description

특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기
관련 출원의 상호 참조
본 출원은 2018년 1월 19일에 중국 특허청에 제출한 출원 번호가 CN 201810055429.9이고, 출원의 명칭이 "특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기"인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용을 인용하여 본 출원에 결합하였다.
본 출원은 컴퓨터 시각 기술에 관한 것으로서, 특히 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기에 관한 것이다.
증강 현실 기술(Augmented Reality, AR)은 현실 세계 정보 및 가상 세계 정보를 "완벽하게" 통합시키는 새로운 기술로서, 원래 현실 세계에서의 특정 시간 공간 범위 내의 엔티티 정보를 아날로그 시뮬레이션한 후 가상 정보를 중첩하며, 가상 정보를 현실 세계에 적용하여, 현실 세계의 인물, 환경 및 가상 물체를 동일한 화면 또는 공간에 동시에 존재하도록 실시간으로 중첩함으로써, 현실을 넘은 감각적 체험에 도달한다.
본 출원의 실시예는 특수 효과 생성의 기술 방안을 제공한다.
본 출원의 실시예의 하나의 측면에 따르면, 특수 효과 프로그램 파일 패키지의 생성 방법을 제공하고, 상기 방법은, 서브 머티리얼을 도입하는 단계; 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하는 단계; 및 상기 서브 머티리얼, 상기 대응 관계 및 상기 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 서브 머티리얼을 도입하는 단계는, 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계는, 상기 조작 바의 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계; 또는, 상기 조작 바의 인터랙션 인터페이스를 통해 송신된 선택 명령어를 수신하고, 상기 선택 명령어에 의해 선택된 기준 부분을 상기 현재 특수 효과가 추가되어야 하는 타겟 부분으로 사용하며, 상기 조작 바에 상기 타겟 부분의 특수 효과 파라미터 설정 인터페이스를 디스플레이하는 단계; 및 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계는, 상기 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더를 획득 및 디스플레이하는 단계; 상기 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신한 것에 응답하여, 상기 서브 머티리얼 선택 조작에 의해 선택된 서브 머티리얼을 도입하는 단계; 및 상기 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신하지 못한 것에 응답하여, 사전 설정에 따라 머티리얼 폴더에서의 적어도 하나의 서브 머티리얼을 선택하고, 사전 설정에 따라 선택된 서브 머티리얼을 도입하는 단계 중 적어도 하나를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 서브 머티리얼은, 이미지, 애니메이션, 비디오, 사운드 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 키 포인트는, 머리 키 포인트, 얼굴 키 포인트, 어깨 키 포인트, 팔 키 포인트, 제스처 키 포인트, 허리 키 포인트, 다리 키 포인트, 발 키 포인트, 인체 골격 키 포인트 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 머리 키 포인트가 머리 상부 키 포인트, 코 끝 키 포인트 및 턱 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 얼굴 키 포인트가 얼굴 윤곽 키 포인트, 눈 키 포인트, 눈썹 키 포인트, 코 키 포인트, 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 어깨 키 포인트가 어깨와 머리 교차 위치에 위치한 어깨 및 머리 교차 키 포인트, 및 팔 끝 윤곽 키 포인트와 어깨 및 머리 교차 키 포인트 사이의 중간 위치에 위치한 어깨 윤곽 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 팔 키 포인트가 손목 윤곽 키 포인트, 팔 꿈치 윤곽 키 포인트, 팔 끝 윤곽 키 포인트, 손목 윤곽 키 포인트와 팔 꿈치 윤곽 키 포인트 사이의 중간 위치에 위치한 하완 윤곽 중간 위치 키 포인트, 및 팔 꿈치 윤곽 키 포인트와 팔 끝 윤곽 키 포인트 사이의 중간 위치에 위치한 상완 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 제스처 키 포인트가 제스처 박스의 4 개의 정점 키 포인트 및 제스처 박스의 중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 다리 키 포인트가 가랑이 키 포인트, 무릎 윤곽 키 포인트, 발목 윤곽 키 포인트, 허벅지 끝 외부 윤곽 키 포인트, 무릎 윤곽 키 포인트와 발목 윤곽 키 포인트 사이의 중간 위치에 위치한 종아리 윤곽 중간 위치 키 포인트, 무릎 내부 윤곽 키 포인트와 가랑이 키 포인트 사이의 중간 위치에 위치한 허벅지 내부 윤곽 중간 위치 키 포인트, 및 무릎 외부 윤곽 키 포인트와 허벅지 끝 외부 윤곽 키 포인트 사이의 중간 위치에 위치한 허벅지 외부 윤곽 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 허리 키 포인트가 허벅지 끝 외부 윤곽 키 포인트와 팔 끝윤곽 키 포인트 사이를 N 등분하여, 생성된 N 개의 등분 포인트 중 어느 하나 또는 복수 개를 포함하는 것 - 상기 N은 1보다 큼 - ; 상기 발 키 포인트가 발 끝 키 포인트 및 발 꿈치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및 상기 인체 골격 키 포인트가 오른쪽 어깨 골격 키 포인트, 오른쪽 팔 꿈치 골격 키 포인트, 오른쪽 손목 골격 키 포인트, 왼쪽 어깨 골격 키 포인트, 왼쪽 팔 꿈치 골격 키 포인트, 왼쪽 손목 골격 키 포인트, 오른쪽 엉덩이 골격 키 포인트, 오른쪽 무릎 골격 키 포인트, 오른쪽 발목 골격 키 포인트, 왼쪽 엉덩이 골격 키 포인트, 왼쪽 무릎 골격 키 포인트, 왼쪽 발목 골격 키 포인트, 머리 상부 골격 키 포인트 및 목 골격 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나이다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 눈 키 포인트가 왼쪽 눈구멍 키 포인트, 왼쪽 눈 동공 중심 키 포인트, 왼쪽 눈 중심 키 포인트, 오른쪽 눈구멍 키 포인트, 오른쪽 눈 동공 중심 키 포인트 및 오른쪽 눈 중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 눈썹 키 포인트가 왼쪽 눈썹 키 포인트 및 오른쪽 눈썹 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 코 키 포인트가 콧등 키 포인트, 콧볼 키 포인트 및 코 외부 윤곽 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및 상기 입술 키 포인트가 윗 입술 키 포인트 및 아랫 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나이다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하는 단계는, 상기 서브 머티리얼의 디스플레이 위치 및 상기 적어도 하나의 키 포인트 사이의 대응 관계를 구축하는 단계; 및 상기 서브 머티리얼의 디스플레이 위치 및 검출 박스의 중심 키 포인트 사이의 대응 관계를 구축하는 단계 중 적어도 하나를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계는, 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 것에 응답하여, 상기 설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계; 및 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신하지 못한 것에 응답하여, 기설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계 중 적어도 하나를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 재생 파라미터는, 상기 서브 머티리얼이 디스플레이되었는지 여부를 나타내기 위한 디스플레이 파라미터; 상기 서브 머티리얼 디스플레이를 트리거하는 트리거 동작을 나타내기 위한 트리거 동작 파라미터; 상기 서브 머티리얼의 순환 재생 횟수을 나타내기 위한 순환 파라미터; 및 상기 서브 머티리얼을 지연 디스플레이하는 시간을 나타내기 위한 지연 트리거 파라미터 중 어느 하나 또는 복수 개를 포함하고; 선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 재생 파라미터는, 상기 서브 머티리얼이 디스플레이되었는지 여부를 나타내기 위한 디스플레이 파라미터; 상기 서브 머티리얼 디스플레이를 트리거하는 트리거 동작을 나타내기 위한 트리거 동작 파라미터; 상기 서브 머티리얼의 순환 재생 횟수을 나타내기 위한 순환 파라미터; 상기 서브 머티리얼을 지연 디스플레이하는 시간을 나타내기 위한 지연 트리거 파라미터; 상기 서브 머티리얼 디스플레이를 종료하는 동작을 나타내기 위한 트리거 종료 파라미터; 상기 서브 머티리얼의 디스플레이 크기 변화의 기준을 나타내기 위한 디스플레이 크기 파라미터; 상기 서브 머티리얼 및 위치의 관계 타입을 나타내기 위한 위치 타입 파라미터; 상기 서브 머티리얼이 기설정된 기준 부분을 따라 이동하는지 여부를 나타내기 위한 위치 관련 파라미터; 상기 서브 머티리얼과 기설정된 키 포인트 사이의 위치의 바인딩 관계를 나타내기 위한 위치 파라미터; 및 상기 서브 머티리얼 회전이 의거하는 키 포인트를 나타내기 위한 회전 파라미터 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 트리거 동작 파라미터에 대응되는 트리거 동작은, 무동작 트리거, 눈 동작, 머리 동작, 눈썹 동작, 손 동작, 입술 동작, 어깨 동작 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 위치 타입 파라미터는, 전경을 나타내기 위한 파라미터; 상기 서브 머티리얼이 얼굴 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 손의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 머리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 어깨의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 팔의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 허리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 다리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 발의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 인체 골격의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 기준 부분에 관련된 재생 위치 관계; 및 배경을 나타내기 위한 파라미터 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 기준 부분에 관련된 재생 위치 관계는, 상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되는 것; 상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되는 것; 상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 평면 회전을 따라 회전되는 것 중 어느 하나 또는 복수 개의 관계를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 내용 디스플레이 바를 통해 기준 이미지를 디스플레이하고, 상기 기준 이미지에서의 키 포인트를 디스플레이하는 단계 - 상기 기준 이미지는 적어도 하나의 기준 부분을 포함함 - 를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 기준 이미지는, 기준 인물의 적어도 일부분의 이미지를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 기준 인물의 적어도 일부분의 이미지는 상기 기준 인물의 완전한 이미지, 머리 이미지, 얼굴 이미지, 어깨 이미지, 팔 이미지, 제스처 이미지, 허리 이미지, 다리 이미지, 발 이미지 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 서브 머티리얼을 도입한 후, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 내용 디스플레이 바에서 도입된 서브 머티리얼을 디스플레이하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 위치에 대한 이동 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 위치를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 크기에 대한 조정 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 크기를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 조작 바의 인터랙션 인터페이스를 통해 수신된 두 개 또는 두 개 이상의 서브 머티리얼에 대해 송신된 계층 파라미터 조정 명령어에 따라, 상기 두 개 또는 두 개 이상의 서브 머티리얼 사이의 차폐 관계를 조정하고, 조정된 차폐 관계 및 상기 재생 파라미터의 파라미터 값에 따라 상기 두 개 또는 두 개 이상의 서브 머티리얼을 디스플레이하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지를 생성하기 전, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 기설정된 특수 효과 프로그램 파일 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼의 특수 효과 프로그램 파일을 생성하고, 프로그램 파일 바를 통해 상기 서브 머티리얼의 특수 효과 프로그램 파일을 디스플레이하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일은 자바 언어의 객체 표기(JavaScript Object Notiation, json) 프로그램으로 생성된 특수 효과 프로그램 파일을 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 수신된 작동 명령어에 따라 작동하고, 조작 인터페이스를 디스플레이하는 단계 - 상기 조작 인터페이스는, 조작 바, 내용 디스플레이 바 및 프로그램 파일 바 중 적어도 하나를 포함함 - 를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 조작 인터페이스는 왼쪽, 중간 및 오른쪽에 위치한 세 개의 영역을 포함하고; 상기 조작 인터페이스를 디스플레이하는 단계는, 상기 조작 인터페이스의 왼쪽에서 상기 조작 바를 디스플레이하고, 상기 조작 인터페이스의 중간에서 상기 내용 디스플레이 바를 디스플레이하며, 상기 조작 인터페이스의 오른쪽에서 상기 프로그램 파일 바를 디스플레이하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지를 생성한 후, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 수신된 저장 명령어에 따라 상기 저장 명령어가 가리키는 위치에서 상기 특수 효과 프로그램 파일 패키지를 저장하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 수신된 저장 명령어에 따라 상기 저장 명령어가 가리키는 위치에서 상기 특수 효과 프로그램 파일 패키지를 저장하는 단계는, 저장 명령어를 수신한 것에 응답하여, 저장 경로 선택 인터페이스 및 압축 인터페이스를 디스플레이하는 단계; 상기 저장 경로 선택 인터페이스를 통해 송신된 저장 위치를 수신하는 단계; 상기 압축 인터페이스에 기반하여 송신된 압축 모드를 수신하고, 상기 압축 모드에 따라 상기 서브 머티리얼의 특수 효과 프로그램 파일 패키지를 압축하며, 압축 파일 패키지를 생성하는 단계; 및
상기 압축 파일 패키지를 상기 저장 위치가 가리키는 폴더에 저장하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지에서 서브 머티리얼의 크기는 상기 서브 머티리얼이 도입되기 전의 크기로 유지된다.
본 출원의 실시예의 다른 하나의 측면에 따르면, 특수 효과 생성 방법을 제공하고, 상기 방법은, 특수 효과 프로그램 파일 패키지를 도입하는 단계; 상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계; 비디오 이미지에 대해 키 포인트 검출을 수행하는 단계; 및 검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 상기 서브 머티리얼의 특수 효과를 생성하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지는 서브 머티리얼 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함하고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값은 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지를 도입하는 단계는, 스티커 머티리얼을 읽기 위한 제1 인터페이스 함수를 호출하는 것을 통해, 상기 특수 효과 프로그램 파일 패키지를 내부 저장소로 판독 액세스하는 단계; 및 상기 특수 효과 프로그램 파일 패키지를 해석하고, 상기 서브 머티리얼 및 특수 효과 프로그램 파일을 획득하는 단계 - 상기 특수 효과 프로그램 파일은 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함함 - 를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일은, json 프로그램의 특수 효과 프로그램 파일을 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계는, 스티커 핸들을 생성하기 위한 제2 인터페이스 함수를 통해 스티커 핸들을 생성하는 단계; 및 상기 서브 머티리얼 및 상기 특수 효과 프로그램 파일에서의 재생 파라미터의 파라미터 값을 읽고, 상기 스티커 핸들에 저장하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 특수 효과 생성 방법은,
상기 스티커 핸들의 상기 특수 효과 프로그램 파일 중 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼이 비디오에서 디스플레이될 위치 및 비디오 프레임 개수를 획득하고, 미리 상기 비디오로부터 상기 비디오 프레임 개수에 대응되는 비디오 이미지를 읽는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 상기 서브 머티리얼의 특수 효과를 생성하는 단계는, 스티커 머티리얼을 랜더링하기 위한 제3 인터페이스 함수를 호출하는 것을 통해, 상기 스티커 핸들로부터 상기 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 읽는 단계; 상기 검출된 키 포인트 및 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태 및 디스플레이될 위치를 결정하는 단계; 및 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 상기 현재 비디오 이미지에서의 상기 디스플레이될 위치에 디스플레이하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 특수 효과 생성 방법은, 상기 특수 효과 프로그램 파일 패키지가 재생 완료된 것에 응답하여, 스티커 핸들을 제거하기 위한 제4 인터페이스 함수를 호출하는 것을 통해 상기 스티커 핸들을 제거하는 단계를 더 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 비디오 이미지에 대해 키 포인트 검출을 수행하는 단계는, 신경 네트워크를 통해, 상기 비디오 이미지에 대해 상기 대응 관계에 관련된 키 포인트 검출을 수행하고, 키 포인트 검출 결과를 출력하는 단계를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 키 포인트 검출 결과는, 상기 대응 관계에 관련된 키 포인트가 상기 비디오 이미지에서의 위치; 및 상기 대응 관계에 관련된 키 포인트의 기설정된 번호 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 방법 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지는 본 출원의 상기 어느 한 실시예에 따른 특수 효과 프로그램 파일 패키지의 생성 방법을 사용하여 생성된 특수 효과 프로그램 파일 패키지이다.
본 출원의 실시예의 또 하나의 측면에 따르면, 특수 효과 프로그램 파일 패키지의 생성 장치를 제공하고, 상기 장치는, 서브 머티리얼을 도입하기 위한 제1 도입 모듈;
상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하기 위한 제1 획득 모듈; 및 상기 서브 머티리얼, 상기 대응 관계 및 상기 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하기 위한 제1 생성 모듈을 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 장치는, 조작 바를 포함하는 조작 인터페이스; 및 상기 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하기 위한 상기 제1 도입 모듈을 더 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 제1 도입 모듈은, 상기 조작 바의 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하며; 또는, 상기 조작 바의 인터랙션 인터페이스를 통해 송신된 선택 명령어를 수신하고, 상기 선택 명령어에 의해 선택된 기준 부분을 상기 현재 특수 효과가 추가되어야 하는 타겟 부분으로 사용하며, 상기 동작 바에 상기 타겟 부분의 특수 효과 파라미터 설정 인터페이스를 디스플레이하며; 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하기 위한 것이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 제1 도입 모듈은, 상기 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더를 획득 및 디스플레이하는 것; 상기 머티리얼 폴더에 대한 서브 머티리얼 선택 동작을 수신한 것에 응답하여, 상기 서브 머티리얼 선택 동작에 의해 선택된 서브 머티리얼을 도입하는 것; 및 상기 머티리얼 폴더에 대한 서브 머티리얼 선택 동작을 수신하지 못한 것에 응답하여, 사전 설정에 따라 머티리얼 폴더에서의 적어도 하나의 서브 머티리얼을 선택하고, 사전 설정에 따라 선택된 서브 머티리얼을 도입하는 것 중 적어도 하나를 수행하기 위한 것이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 서브 머티리얼은, 이미지, 애니메이션, 비디오, 사운드 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 키 포인트는, 머리 키 포인트, 얼굴 키 포인트, 어깨 키 포인트, 팔 키 포인트, 제스처 키 포인트, 허리 키 포인트, 다리 키 포인트, 발 키 포인트, 인체 골격 키 포인트 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 머리 키 포인트가 머리 상부 키 포인트, 코 끝 키 포인트 및 턱 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 얼굴 키 포인트가 얼굴 윤곽 키 포인트, 눈 키 포인트, 눈썹 키 포인트, 코 키 포인트, 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 어깨 키 포인트가 어깨와 머리 교차 위치에 위치한 어깨 및 머리 교차 키 포인트 및 팔 끝 윤곽 키 포인트와 어깨 및 머리 교차 키 포인트 사이의 중간 위치에 위치한 어깨 윤곽 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 팔 키 포인트가 손목 윤곽 키 포인트, 팔 꿈치 윤곽 키 포인트, 팔 끝 윤곽 키 포인트, 손목 윤곽 키 포인트와 팔 꿈치 윤곽 키 포인트 사이의 중간 위치에 위치한 하완 윤곽 중간 위치 키 포인트, 및 팔 꿈치 윤곽 키 포인트와 팔 끝윤곽 키 포인트 사이의 중간 위치에 위치한 상완 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 제스처 키 포인트가 제스처 박스의 네 개 정점 키 포인트 및 제스처 박스의 중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 다리 키 포인트가 가랑이 키 포인트, 무릎 윤곽 키 포인트, 발목 윤곽 키 포인트, 허벅지 끝 외부 윤곽 키 포인트, 무릎 윤곽 키 포인트와 발목 윤곽 키 포인트 사이의 중간 위치에 위치한 종아리 윤곽 중간 위치 키 포인트, 무릎 내부 윤곽 키 포인트와 가랑이 키 포인트 사이의 중간 위치에 위치한 허벅지 내부 윤곽 중간 위치 키 포인트, 및 무릎 외부 윤곽 키 포인트와 허벅지 끝 외부 윤곽 키 포인트 사이의 중간 위치에 위치한 허벅지 외부 윤곽 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 허리 키 포인트가 허벅지 끝 외부 윤곽 키 포인트와 팔 끝윤곽 키 포인트 사이를 N 등분하여, 생성된 N 개의 등분 포인트 중 어느 하나 또는 복수 개를 포함하는 것 - 상기 N은 1보다 큼 - ; 상기 발 키 포인트가 발 끝 키 포인트 및 발 꿈치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및 상기 인체 골격 키 포인트가 오른쪽 어깨 골격 키 포인트, 오른쪽 팔 꿈치 골격 키 포인트, 오른쪽 손목 골격 키 포인트, 왼쪽 어깨 골격 키 포인트, 왼쪽 팔 꿈치 골격 키 포인트, 왼쪽 손목 골격 키 포인트, 오른쪽 엉덩이 골격 키 포인트, 오른쪽 무릎 골격 키 포인트, 오른쪽 발목 골격 키 포인트, 왼쪽 엉덩이 골격 키 포인트, 왼쪽 무릎 골격 키 포인트, 왼쪽 발목 골격 키 포인트, 머리 상부 골격 키 포인트 및 목 골격 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 눈 키 포인트가 왼쪽 눈구멍 키 포인트, 왼쪽 눈 동공 중심 키 포인트, 왼쪽 눈 중심 키 포인트, 오른쪽 눈구멍 키 포인트, 오른쪽 눈 동공 중심 키 포인트 및 오른쪽 눈 중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 눈썹 키 포인트가 왼쪽 눈썹 키 포인트 및 오른쪽 눈썹 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 상기 코 키 포인트가 콧등 키 포인트, 콧볼 키 포인트 및 코 외부 윤곽 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및 상기 입술 키 포인트가 윗 입술 키 포인트 및 아랫 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 제1 획득 모듈은 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축할 경우, 상기 서브 머티리얼의 디스플레이 위치 및 상기 적어도 하나의 키 포인트 사이의 대응 관계를 구축하는 것; 및 상기 서브 머티리얼의 디스플레이 위치 및 검출 박스의 중심 키 포인트 사이의 대응 관계를 구축하는 것 중 적어도 하나를 수행하기 위한 것이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 제1 획득 모듈은 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득할 경우, 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 것에 응답하여, 상기 설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 것; 및 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신하지 못한 것에 응답하여, 기설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 것 중 적어도 하나를 수행하기 위한 것이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 재생 파라미터는, 상기 서브 머티리얼이 디스플레이되었는지 여부를 나타내기 위한 디스플레이 파라미터; 상기 서브 머티리얼 디스플레이를 트리거하는 트리거 동작을 나타내기 위한 트리거 동작 파라미터; 상기 서브 머티리얼의 순환 재생 횟수을 나타내기 위한 순환 파라미터;
상기 서브 머티리얼을 지연 디스플레이하는 시간을 나타내기 위한 지연 트리거 파라미터; 상기 서브 머티리얼 디스플레이를 종료하는 동작을 나타내기 위한 트리거 종료 파라미터; 상기 서브 머티리얼의 디스플레이 크기 변화의 기준을 나타내기 위한 디스플레이 크기 파라미터; 상기 서브 머티리얼 및 위치의 관계 타입을 나타내기 위한 위치 타입 파라미터; 상기 서브 머티리얼이 기설정된 기준 부분을 따라 이동하는지 여부를 나타내기 위한 위치 관련 파라미터; 상기 서브 머티리얼과 기설정된 키 포인트 사이의 위치의 바인딩 관계를 나타내기 위한 위치 파라미터; 및 상기 서브 머티리얼 회전이 의거하는 키 포인트를 나타내기 위한 회전 파라미터 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 트리거 동작 파라미터에 대응되는 트리거 동작은, 무동작 트리거, 눈 동작, 머리 동작, 눈썹 동작, 손 동작, 입술 동작, 어깨 동작 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 위치 타입 파라미터는, 전경을 나타내기 위한 파라미터; 상기 서브 머티리얼이 얼굴 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 손의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 머리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 어깨의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 팔의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 허리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 다리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 발의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 상기 서브 머티리얼이 인체 골격의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터; 기준 부분에 관련된 재생 위치 관계; 및 배경을 나타내기 위한 파라미터 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 기준 부분에 관련된 재생 위치 관계는, 상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되는 것; 상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되는 것; 상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 평면 회전을 따라 회전되는 것 중 적어도 하나 또는 복수 개의 관계를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 조작 인터페이스는, 기준 이미지를 디스플레이하고, 상기 기준 이미지에서의 키 포인트를 디스플레이하기 위한 내용 디스플레이 바 - 상기 기준 이미지는 적어도 하나의 기준 부분을 포함함 - 를 더 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 기준 이미지는, 기준 인물의 적어도 일부분의 이미지를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 기준 인물의 적어도 일부분의 이미지는 상기 기준 인물의 완전한 이미지, 머리 이미지, 얼굴 이미지, 어깨 이미지, 팔 이미지, 제스처 이미지, 허리 이미지, 다리 이미지, 발 이미지 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 내용 디스플레이 바는 또한, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 도입된 서브 머티리얼을 디스플레이하기 위한 것이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 장치는, 상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 위치에 대한 이동 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 위치를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하기 위한 제1 업데이트 모듈을 더 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 장치는, 상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 크기에 대한 조정 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 크기를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하기 위한 제2 업데이트 모듈을 더 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 장치는, 조작 바의 인터랙션 인터페이스를 통해 수신된 두 개 또는 두 개 이상의 서브 머티리얼에 대해 송신된 계층 파라미터 조정 명령어에 따라, 상기 두 개 또는 두 개 이상의 서브 머티리얼 사이의 차폐 관계를 조정하고, 조정된 차폐 관계 및 상기 재생 파라미터의 파라미터 값에 따라 상기 두 개 또는 두 개 이상의 서브 머티리얼을 디스플레이하기 위한 조정 모듈을 더 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 조작 인터페이스는, 기설정된 특수 효과 프로그램 파일 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼의 특수 효과 프로그램 파일을 생성하고, 상기 서브 머티리얼의 특수 효과 프로그램 파일을 디스플레이하기 위한 프로그램 파일 바를 더 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일은json 프로그램으로 생성된 특수 효과 프로그램 파일을 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 조작 인터페이스는 왼쪽, 중간 및 오른쪽에 위치한 세 개의 영역을 포함하고; 상기 조작 인터페이스의 왼쪽은 상기 조작 바를 디스플레이하기 위한 것이고, 상기 조작 인터페이스의 중간은 상기 내용 디스플레이 바를 디스플레이하기 위한 것이며, 상기 조작 인터페이스의 오른쪽은 상기 프로그램 파일 바를 디스플레이하기 위한 것이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 장치는, 수신된 저장 명령어에 따라 상기 저장 명령어가 가리키는 위치에서 상기 특수 효과 프로그램 파일 패키지를 저장하기 위한 저장 모듈을 더 포함한다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 저장 모듈은, 저장 명령어를 수신한 것에 응답하여, 저장 경로 선택 인터페이스 및 압축 인터페이스를 디스플레이하고; 상기 저장 경로 선택 인터페이스를 통해 송신된 저장 위치를 수신하며; 상기 압축 인터페이스에 기반하여 송신된 압축 모드를 수신하고, 상기 압축 모드에 따라 상기 서브 머티리얼의 특수 효과 프로그램 파일 패키지를 압축하며, 압축 파일 패키지를 생성하며; 상기 압축 파일 패키지를 상기 저장 위치가 가리키는 폴더에 저장하기 위한 것이다.
선택적으로, 본 출원의 상기 각 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지에서 서브 머티리얼의 크기는 상기 서브 머티리얼이 도입되기 전의 크기로 유지된다.
본 출원의 실시예의 또 하나의 측면에 따르면, 특수 효과 생성 장치를 제공하고, 상기 장치는, 특수 효과 프로그램 파일 패키지를 도입하기 위한 제2 도입 모듈; 상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하기 위한 제2 획득 모듈; 비디오 이미지에 대해 키 포인트 검출을 수행하기 위한 키 포인트 검출 모듈; 검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 상기 서브 머티리얼의 특수 효과를 생성하기 위한 제2 생성 모듈을 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지는 서브 머티리얼 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함하고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값은 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 제2 도입 모듈은, 스티커 머티리얼을 읽기 위한 제1 인터페이스 함수를 호출하는 것을 통해, 상기 특수 효과 프로그램 파일 패키지를 내부 저장소로 판독 액세스하고; 상기 특수 효과 프로그램 파일 패키지를 해석하고, 상기 서브 머티리얼 및 특수 효과 프로그램 파일을 획득하기 위한 것이고, 상기 특수 효과 프로그램 파일은 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일은, json 프로그램의 특수 효과 프로그램 파일을 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 제2 획득 모듈은, 스티커 핸들을 생성하기 위한 제2 인터페이스 함수를 통해 스티커 핸들을 생성하고; 상기 서브 머티리얼 및 상기 특수 효과 프로그램 파일에서의 재생 파라미터의 파라미터 값을 읽고, 상기 스티커 핸들에 저장하기 위한 것이다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 특수 효과 생성 장치는, 상기 스티커 핸들의 상기 특수 효과 프로그램 파일 중 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼이 상기 비디오에서 디스플레이될 위치 및 비디오 프레임 개수를 획득하고, 미리 상기 비디오로부터 상기 비디오 프레임 개수에 대응되는 비디오 이미지를 읽기 위한 제3 획득 모듈을 더 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 제2 생성 모듈은, 스티커 머티리얼을 랜더링하기 위한 제3 인터페이스 함수를 호출하는 것을 통해, 상기 스티커 핸들로부터 상기 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 읽고; 상기 검출된 키 포인트 및 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태 및 디스플레이될 위치를 결정하며; 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 상기 현재 비디오 이미지에서의 상기 디스플레이될 위치에 디스플레이하기 위한 것이다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 제2 획득 모듈은 또한, 상기 특수 효과 프로그램 파일 패키지가 재생 완료된 것에 응답하여, 스티커 핸들을 제거하기 위한 제4 인터페이스 함수를 호출하는 것을 통해 상기 스티커 핸들을 제거하기 위한 것이다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 키 포인트 검출 모듈은, 신경 네트워크를 통해, 상기 비디오 이미지에 대해 상기 대응 관계에 관련된 키 포인트 검출을 수행하고, 키 포인트 검출 결과를 출력하기 위한 것이다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 키 포인트 검출 결과는, 상기 대응 관계에 관련된 키 포인트가 상기 비디오 이미지에서의 위치; 및 상기 대응 관계에 관련된 키 포인트의 기설정된 번호 중 어느 하나 또는 복수 개를 포함한다.
선택적으로, 본 출원의 상기 각 특수 효과 생성 장치 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지는 본 출원의 상기 어느 한 실시예에 따른 특수 효과 프로그램 파일 패키지의 생성 방법을 사용하여 생성된 특수 효과 프로그램 파일 패키지이다. 본 출원의 실시예에 따른 또 하나의 측면에 있어서, 전자 기기를 제공하고, 상기 전자 기기는, 컴퓨터 프로그램을 저장하기 위한 메모리; 상기 메모리에 저장된 컴퓨터 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 컴퓨터 프로그램이 실행될 경우, 본 출원의 상기 실시예 중 어느 하나에 따른 방법 중의 각 단계를 구현한다.
본 출원의 실시예에 따른 또 하나의 측면에 있어서, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 실시예 중 어느 하나에 따른 방법 중의 각 단계를 구현한다.
본 출원의 실시예의 또 하나의 측면에 따르면, 컴퓨터 명령어를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 명령어가 기기의 프로세서에서 작동될 경우, 본 출원의 상기 어느 한 실시예에 따른 방법을 구현한다.
본 출원의 상기 실시예에서 제공한 특수 효과 프로그램 파일 패키지의 생성 방법과 장치, 전자 기기, 프로그램 및 매체에 기반하여, 특수 효과 프로그램 파일 패키지를 생성할 경우, 서브 머티리얼을 도입하고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하며, 서브 머티리얼, 대응 관계 및 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하여, 상기 특수 효과 프로그램 파일 패키지 비디오에 기반하여 특수 효과 처리를 수행하며, 본 출원의 실시예는 프로그램 파일을 수동으로 작성할 필요없이, 랜더링 엔진이 실행 가능한 특수 효과 프로그램 파일을 생성할 수 있으므로, 조작이 간단하고, 소요 시간이 짧으며, 특수 효과 구현의 전체적인 효율을 향상시키며, 프로그램 파일을 수동으로 작성할 경우에 발생할 수 있는 에러를 예방하며, 특수 효과의 정확성을 효과적으로 확보한다.
본 출원의 상기 실시예에서 제공한 특수 효과 생성 방법과 장치, 전자 기기, 프로그램 및 매체에 기반하여, 특수 효과 프로그램 파일 패키지를 도입하고 상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며, 비디오 이미지에 대해 키 포인트 검출을 수행하며, 검출된 키 포인트 및 재생 파라미터의 파라미터 값에 기반하여, 현재 재생 중인 비디오에서 서브 머티리얼의 특수 효과를 생성한다. 본 출원의 실시예는 미리 생성된 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 통해, 비디오 이미지에 대해 키 포인트 검출을 수행하고, 비디오 이미지에서 특수 효과를 생성하여, 비디오의 특수 효과 재생을 구현하고, 비디오 재생 효과를 향상시킨다.
아래에 첨부된 도면 및 실시예를 통해, 본 출원의 기술방안을 상세히 설명한다.
본 명세서의 일부를 구성하는 도면은 본 출원의 실시예를 설명하고, 본 명세서의 원리를 설명과 함께 해석하기 위한 것이다.
도면을 참조하면, 본 출원은 다음의 상세한 설명에 따라, 더욱 명확하게 이해될 수 있다.
도 1은 본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 실시예의 흐름도이다.
도 2는 본 출원의 실시예에서 특수 효과 프로그램 파일 패키지의 생성 장치의 조작 인터페이스 예시도이다.
도 3은 본 출원의 실시예에서 기준 부분이 손일 경우 서브 머티리얼의 재생 파라미터 설정 인터페이스의 예시적 예시도이다.
도 4는 본 출원의 실시예에서 얼굴 키 포인트의 예시적 예시도이다.
도 5는 본 출원의 실시예에서 손 동작의 예시적 예시도이다.
도 6은 본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 다른 실시예의 흐름도이다.
도 7은 본 출원의 특수 효과 생성 방법의 실시예의 흐름도이다.
도 8은 본 출원의 특수 효과 생성 방법의 다른 실시예의 흐름도이다.
도 9는 본 출원의 특수 효과 프로그램 파일 패키지의 생성 장치의 실시예의 구조 예시도이다.
도 10은 본 출원의 특수 효과 프로그램 파일 패키지의 생성 장치의 다른 실시예의 구조 예시도이다.
도 11은 본 출원의 특수 효과 생성 장치의 실시예의 구조 예시도이다.
도 12는 본 출원의 특수 효과 생성 장치의 다른 실시예의 구조 예시도이다.
도 13은 본 출원의 전자 기기의 응용 실시예의 구조 예시도이다.
아래에 첨부 도면을 참조하여 본 출원의 다양한 실시예를 상세히 설명한다. 유의해야 할 것은, 달리 언급되지 않는 한, 실시예에서 반복 설명된 부재, 단계의 상대적인 배치, 수치 표현 및 값은 본 출원의 범위를 한정하려는 것이 아니다.
또한 이해해야 할 것은, 본 출원의 실시예에서, "복수 개"는 두 개 또는 두 개 이상을 의미할 수 있고, "적어도 하나"는 하나, 두 개 또는 두 개 이상을 의미할 수 있다.
당업자는, 본 출원의 실시예에서 "제1", "제2" 등 용어는 상이한 단계, 기기 또는 모듈 등을 구별하기 위해 사용될 뿐, 그 어떤 특정한 기술적 의미나 이들 사이의 필연적인 논리적 순서를 나타내지 않는다는 것을 이해할 수 있다.
또한 이해해야 할 것은, 본 출원의 실시예에서 언급된 임의의 부재, 데이터 또는 구조에 대해 문맥상 명백한 한정이 없거나 반대 동기가 없는 경우, 일반적으로 하나 또는 복수 개로 이해될 수 있다.
또한 이해해야 할 것은, 본 출원은 각 실시예의 설명에 대해 각 실시예 사이의 차이점에 초점을 맞추고, 실시예의 동일하거나 유사한 부분에 대해서는 서로 참조할 수 있으며, 간결함을 위해 더이상 반복하여 설명하지 않는다.
이와 동시에, 도면에 도시된 각 부분의 크기는 설명의 편의를 위해, 실제 비례 관계에 의해 그려진 것이 아님을 알아야 한다.
적어도 하나의 예시적인 실시예에 대한 이하의 설명은 실제로 설명적인 것일 뿐이며, 본 출원 및 그 응용 또는 사용을 한정하려는 것이 아니다.
관련 기술분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 적절한 경우, 상기 기술, 방법 및 기기는 명세서의 일부로 간주되어야 한다.
유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 나타내므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 논의될 필요가 없다.
유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 논의될 필요가 없다.
또한, 본 출원에서의 용어 "및/또는"은 다만 관련 대상의 관련 관계일 뿐이고, 3 가지 관계가 존재함을 표시할 수 있으며, 예를 들어, A 및/또는 B는, A가 단독으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독으로 존재하는 이 3 가지 경우를 표시한다. 또한, 본 출원에서 문장 부호 "/"는, 일반적으로 선후 관련 대상이 "또는" 관계임을 나타낸다.
본 출원의 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작될 수 있는 단말 기기, 컴퓨터 시스템 및 서버와 같은 전자 기기에 적용될 수 있다. 단말 기기, 컴퓨터 시스템 및 서버와 같은 전자 기기와 함께 사용하기에 적절한 것으로 잘 알려진 단말 기기, 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는, 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 메인 프레임 컴퓨터 시스템 및 상기 임의의 시스템을 포함한 분산 클라우드 컴퓨팅 기술 환경을 포함하지만 이에 한정되지 않는다.
단말 기기, 컴퓨터 시스템, 서버 등 전자 기기는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템의 실행 가능한 명령어(예를 들어, 프로그램 모듈)의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 실행하거나 특정 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 타겟 프로그램, 컴포넌트, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템/서버는, 작업이 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 실행되는 분산 클라우드 컴퓨팅 환경에서 실시될 수있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.
도 1은 본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 실시예의 흐름도이다. 본 출원의 각 실시예의 특수 효과 프로그램 파일 패키지의 생성 방법은, 예를 들어 하나의 장치(본 출원의 실시예에서 특수 효과 프로그램 파일 패키지의 생성 장치로 지칭됨)를 통해 구현될 수 있지만 이에 한정되지 않는다. 도 1에 도시된 바와 같이, 상기 실시예의 특수 효과 프로그램 파일 패키지의 생성 방법은 아래와 같은 단계를 포함한다.
단계 102에 있어서, 서브 머티리얼을 도입한다.
본 출원의 각 실시예의 실시형태에 있어서, 서브 머티리얼은 예를 들어, 이미지, 애니메이션, 비디오, 사운드 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예에 있어서, 상기 단계 102는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제1 도입 모듈에 의해 실행될 수 있다.
단계 104에 있어서, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축한다.
선택 가능한 예에 있어서, 상기 단계 104는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제1 획득 모듈에 의해 실행될 수 있다.
단계 106에 있어서, 상기 서브 머티리얼, 대응 관계 및 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성한다.
본 출원의 실시예에 있어서, 특수 효과 프로그램 파일 패키지는 비디오에 대한 특수 효과 처리와, 비디오에 대해 AR 효과의 랜더링 처리를 수행하는 것과 같은 비디오에서 서브 머티리얼의 특수 효과를 생성하는데 사용될 수 있다.
선택 가능한 예에 있어서, 상기 단계 106은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제1 생성 모듈에 의해 실행될 수 있다.
본 출원의 상기 실시예에서 제공한 특수 효과 프로그램 파일 패키지의 생성 방법에 기반하여, 특수 효과 프로그램 파일 패키지를 생성할 경우, 서브 머티리얼을 도입하고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하며, 서브 머티리얼, 대응 관계 및 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하여, 상기 특수 효과 프로그램 파일 패키지 비디오에 기반하여 특수 효과 처리를 수행하며, 본 출원의 실시예에서 프로그램 파일을 수동으로 작성할 필요없이, 랜더링 엔진이 실행 가능한 특수 효과 프로그램 파일을 생성할 수 있으므로, 조작이 간단하고, 소요 시간이 짧으며, 특수 효과 구현의 전체적인 효율을 향상시키며, 프로그램 파일을 수동으로 작성할 경우에 발생할 수 있는 에러를 예방하며, 특수 효과의 정확성을 효과적으로 확보한다.
본 출원의 각 실시예의 실시형태에 있어서, 특수 효과 프로그램 파일 패키지의 생성 장치는 기설정된 특수 효과 프로그램 파일를 포함할 수 있고, 이는 예를 들어 자바 스크립트 객체 표기(JavaScript Object Notiation, json) 파일, 또는 다른 임의의 실행 가능한 프로그램 파일일 수 있다. 상기 특수 효과 프로그램 파일에서 재생 파라미터의 파라미터 값은 비어있거나 디폴트 값으로 기설정될 수 있고, 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 경우, 상기 특수 효과 프로그램 파일에서의 상응하는 파라미터 값은 수신된 파라미터 값으로 자동으로 업데이트된다. 선택적으로, 상기 특수 효과 프로그램 파일 패키지의 생성 장치는 조작 바를 포함할 수 있고, 상기 조작 바에는 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신하기 위한 적어도 하나의 인터랙션 인터페이스가 설치되어 있으며; 또한, 상기 특수 효과 프로그램 파일 패키지의 생성 장치는 서브 머티리얼의 재생 파라미터의 프로그램 파일을 디스플레이하기 위한 프로그램 파일 디스플레이 바를 더 포함할 수 있으며, 도 2에 도시된 바와 같이, 이는 본 출원의 실시예에서 특수 효과 프로그램 파일 패키지의 생성 장치의 조작 인터페이스 예시도이고, 상기 특수 효과 프로그램 파일 패키지의 생성 장치의 조작 인터페이스는 조작 바 및 프로그램 파일 디스플레이 바를 포함한다. 상기 특수 효과 프로그램 파일 패키지의 생성 장치가 작동된 후, 조작 바 중 하나의 서브 머티리얼의 재생 파라미터 설정 인터페이스에 대응하여, 프로그램 파일 디스플레이 바는 상기 서브 머티리얼의 재생 파라미터가 비어있거나 디폴트 값으로 기설정된 경우의 특수 효과 프로그램 파일을 디스플레이하고, 조작 바의 인터랙션 인터페이스를 통해 하나의 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 경우, 상기 서브 머티리얼의 재생 파라미터에 의해 설정된 파라미터 값을 최근에 수신된 파라미터 값으로 업데이트하고, 프로그램 파일 디스플레이 바는 파라미터 값이 업데이트된 후의 특수 효과 프로그램 파일을 실시간으로 디스플레이한다. 설명해야 할 것은, 도 2에서 프로그램 파일 디스플레이 바에 의해 디스플레이된 프로그램 파일은 다만 특수 효과 프로그램 파일 패키지의 생성 장치에 의해 나타낸 조작 인터페이스를 예시적으로 설명하는데 사용되고, 본 출원의 실시예는 주의를 기울일 필요없으며, 프로그램 파일의 표현 형태 및 구체적인 내용을 한정하지도 않으며, 상기 프로그램 파일의 표현 형태 및 구체적인 내용은 필요에 따라 설정되거나 업데이트된다.
본 출원의 각 특수 효과 프로그램 파일 패키지의 생성 방법 실시예의 실시형태에 있어서, 단계 102는, 조작 바의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계를 포함할 수 있다.
도 2에 도시된 바와 같이, 한정이 아닌 본 출원의 각 실시예의 선택 가능한 예로서, 조작 바는 적어도 하나의 인터랙션 인터페이스를 포함하는 특수 효과 파라미터 설정 인터페이스를 포함할 수 있고; 또한 기준 부분 디스플레이 영역과 같은 다른 영역을 포함할 수 있으며, 이때의 특수 효과 파라미터 설정 인터페이스는 각 기준 부분에서의 특수 효과 파라미터 설정 인터페이스일 수 있다. 본 출원의 각 실시예에서 기준 부분은, 예를 들어 귀(ear), 손(hand), 얼굴(face), 머리 카락(hair), 목, 사지 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 도 3에 도시된 바와 같이, 이는 본 출원의 실시예에서, 기준 부분이 손일 경우, 서브 머티리얼의 재생 파라미터 설정 인터페이스의 예시적 예시도이다. 본 출원의 상기 실시형태의 선택 가능한 예에 있어서, 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계는, 조작 바에서 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계를 포함할 수 있다.
또는, 본 출원의 상기 실시형태의 다른 선택 가능한 예에 있어서, 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계는, 조작 바의 인터랙션 인터페이스를 통해 송신된 선택 명령어를 수신하고, 상기 선택 명령어에 의해 선택된 기준 부분을 현재 특수 효과가 추가되어야 하는 타겟 부분으로 사용하며, 조작 바에서 타겟 부분에서의 특수 효과 파라미터 설정 인터페이스를 디스플레이하는 단계; 및 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계를 포함할 수 있다.
본 출원의 상기 실시형태의 또 하나의 선택 가능한 예에 있어서, 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계는,
인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더를 획득 및 디스플레이하는 단계;
머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신한 것에 응답하여, 상기 서브 머티리얼 선택 조작에 의해 선택된 서브 머티리얼을 도입하는 단계; 및
머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신하지 못한 것에 응답하여, 사전 설정에 따라 머티리얼 폴더에서의 적어도 하나의 서브 머티리얼을 선택하고, 사전 설정에 따라 선택된 서브 머티리얼을 도입하는 단계 중 적어도 하나를 포함할 수 있다.
각 머티리얼 폴더는 복수 개의 7 서브 머티리얼을 포함할 수 있고, 예를 들어, 타겟 부분이 귀일 경우, 머티리얼 폴더는 상이한 형태, 색상을 갖는 귀걸이, 귀마개 등 서브 머티리얼을 포함할 수 있으며, 본 출원의 각 실시예의 실시형태에 있어서, 서브 머티리얼을 도입할 경우, 사용자가 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신하지 못한 경우, 미리 설정할 수 있고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서 기설정된 위치 또는 기설정된 일련 번호의 서브 머티리얼을 도입할 수 있다. 예를 들어, 사용자가 서브 머티리얼을 선택하지 않을 경우, 상기 머티리얼 폴더에서의 첫 번째 서브 머티리얼을 디폴트로 선택하고 도입한다.
본 출원의 각 실시예의 실시형태에 있어서, 단계 104에서, 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계는,
특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 것에 응답하여, 설정된 파라미터 값을 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계; 및
특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신하지 못한 것에 응답하여, 기설정된 파라미터 값을 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계 중 적어도 하나를 포함할 수 있다.
본 출원의 실시예는 프로그램 파일을 수동으로 작성하여 랜더링 엔진이 실행 가능한 파일을 생성할 필요없이, 사용자가 조작 바에서 서브 머티리얼에 대한 선택 조작 및 파라미터 값에 대한 설정 조작에 기반하여 특수 효과 프로그램 패킷의 생성을 구현할 수 있어, 조작이 간단하고, 소요 시간이 짧으며, 특수 효과 구현의 전체적인 효율을 향상시키며, 프로그램 파일을 수동으로 작성할 경우에 발생할 수 있는 에러를 예방하며, 특수 효과의 정확성을 효과적으로 확보한다.
본 출원의 각 실시예의 실시형태에 있어서, 키 포인트는 예를 들어, 머리 키 포인트, 얼굴 키 포인트, 어깨 키 포인트, 팔 키 포인트, 제스처 키 포인트, 허리 키 포인트, 다리 키 포인트, 발 키 포인트, 인체 골격 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 머리 키 포인트는 예를 들어, 머리 상부 키 포인트, 코 끝 키 포인트 및 턱 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 얼굴 키 포인트는 예를 들어, 얼굴 윤곽 키 포인트, 눈 키 포인트, 눈썹 키 포인트, 코 키 포인트, 입술 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
예시적으로, 눈 키 포인트는 예를 들어, 왼쪽 눈구멍 키 포인트, 왼쪽 눈 동공 중심 키 포인트, 왼쪽 눈 중심 키 포인트, 오른쪽 눈구멍 키 포인트, 오른쪽 눈 동공 중심 키 포인트 및 오른쪽 눈 중심 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 눈썹 키 포인트는 예를 들어, 왼쪽 눈썹 키 포인트 및 오른쪽 눈썹 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 코 키 포인트는 예를 들어, 콧등 키 포인트, 콧볼 키 포인트 및 코 외부 윤곽 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다. 입술 키 포인트는 예를 들어, 윗 입술 키 포인트 및 아랫 입술 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 어깨 키 포인트는 예를 들어, 어깨와 머리 교차 위치에 위치한 어깨 및 머리 교차 키 포인트, 및 팔 끝 윤곽 키 포인트와 어깨 및 머리 교차 키 포인트 사이의 중간 위치에 위치한 어깨 윤곽 중간 위치 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 팔 키 포인트는 예를 들어, 손목 윤곽 키 포인트, 팔 꿈치 윤곽 키 포인트, 팔 끝 윤곽 키 포인트, 손목 윤곽 키 포인트와 팔 꿈치 윤곽 키 포인트 사이의 중간 위치에 위치한 하완 윤곽 중간 위치 키 포인트, 및 팔 꿈치 윤곽 키 포인트와 팔 끝 윤곽 키 포인트 사이의 중간 위치에 위치한 상완 중간 위치 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 제스처 키 포인트는 예를 들어, 제스처 박스(즉, 제스처 검출 박스)의 4 개의 정점 키 포인트 및 제스처 박스의 중심 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 다리 키 포인트는 예를 들어, 가랑이 키 포인트, 무릎 윤곽 키 포인트, 발목 윤곽 키 포인트, 허벅지 끝 외부 윤곽 키 포인트, 무릎 윤곽 키 포인트와 발목 윤곽 키 포인트 사이의 중간 위치에 위치한 종아리 윤곽 중간 위치 키 포인트, 무릎 내부 윤곽 키 포인트와 가랑이 키 포인트 사이의 중간 위치에 위치한 허벅지 내부 윤곽 중간 위치 키 포인트, 및 무릎 외부 윤곽 키 포인트와 허벅지 끝 외부 윤곽 키 포인트 사이의 중간 위치에 위치한 허벅지 외부 윤곽 중간 위치 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 허리 키 포인트는 예를 들어, 허벅지 끝 외부 윤곽 키 포인트와 팔 끝 윤곽 키 포인트 사이를 N 등분하여, 생성된 N 개의 등분 포인트 - N은 1보다 큰 양의 정수임 - 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 발 키 포인트는 예를 들어, 발 끝 키 포인트 및 발 꿈치 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
선택 가능한 예 중 하나에 있어서, 인체 골격 키 포인트는 예를 들어, 오른쪽 어깨 골격 키 포인트, 오른쪽 팔 꿈치 골격 키 포인트, 오른쪽 손목 골격 키 포인트, 왼쪽 어깨 골격 키 포인트, 왼쪽 팔 꿈치 골격 키 포인트, 왼쪽 손목 골격 키 포인트, 오른쪽 엉덩이 골격 키 포인트, 오른쪽 무릎 골격 키 포인트, 오른쪽 발목 골격 키 포인트, 왼쪽 엉덩이 골격 키 포인트, 왼쪽 무릎 골격 키 포인트, 왼쪽 발목 골격 키 포인트, 머리 상부 골격 키 포인트 및 목 골격 키 포인트 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
본 출원의 각 실시예에 있어서, 복수 개의 키 포인트의 위치를 미리 설정할 수 있어, 서브 머티리얼의 디스플레이 위치 및 키 포인트의 위치 관계가 대응되도록 한다. 서브 머티리얼의 재생 파라미터의 파라미터 값을 설정할 경우, 직접 기설정된 키 포인트 집합으로부터 키 포인트를 상응하는 재생 파라미터에서의 파라미터 값으로서 선택할 수 있다.
예를 들어, 실시형태 중 하나에 있어서, 얼굴 검출 및 제스처 검출에 기반하여, 특수 효과 생성을 구현하는 동안, 얼굴 키 포인트 또는 제스처 키 포인트에 기반하여 위치 관계의 대응을 수행하기 위해, 각각 얼굴 및 제스처(손)에 복수 개의 키 포인트를 정의할 수 있다.
예를 들어, 도 4는 본 출원의 실시예에서 얼굴 키 포인트의 예시적인 예시도이고, 도 4를 결합하면, 선택 가능한 예에 있어서, 얼굴 키 포인트에 대해 아래와 같이 정의할 수 있다.
키 포인트 아이템 키 포인트 번호 키 포인트 아이템 키 포인트 번호
얼굴 프레임(얼굴 윤곽 키 포인트) 0-32 콧등 43-46
왼쪽 눈썹 33-37,64-67 오른쪽 눈썹 38-42,68-71
왼쪽 눈구멍 52-57,72-73 오른쪽 눈구멍 58-63,75-76
왼쪽 눈 동공 74,104 오른쪽 눈 동공 77,105
콧볼 47-51 코 외부 윤곽 78-83
윗 입술 84-90,96-100 아랫 입술 91-95,101-103
선택 가능한 예에 있어서, 손 키 포인트에 대해 아래와 같이 정의할 수 있다.
키 포인트 아이템 키 포인트 번호 키 포인트 아이템 키 포인트 번호
제스처 박스 110-113 중심 114
여기서, 번호가 110 내지 113인 키 포인트는 각각 제스처 검출 박스(즉 손의 외부 연결 박스)의 4 개의 정점이고, 번호가 114인 키 포인트는 제스처 검출 박스의 중심이다.본 출원의 각 실시예의 실시형태에 있어서, 단계 104에서, 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하는 단계는,
서브 머티리얼의 디스플레이 위치와 적어도 하나의 키 포인트 사이의 대응 관계를 구축하는 단계; 및 서브 머티리얼의 디스플레이 위치 및 검출 박스의 중심 키 포인트 사이의 대응 관계를 구축하는 단계 중 적어도 하나를 포함할 수 있다.
예를 들어, 본 출원의 상기 실시예에서 구축된 대응 관계 중 키 포인트가 머리 키 포인트, 얼굴 키 포인트, 어깨 키 포인트, 팔 키 포인트, 허리 키 포인트, 다리 키 포인트, 발 키 포인트, 인체 골격 키 포인트일 경우, 서브 머티리얼의 디스플레이 위치 및 상기 키 포인트 중 적어도 하나의 키 포인트 사이의 대응 관계를 구축할 수 있고; 본 출원의 상기 실시예에서 구축된 대응 관계 중 키 포인트가 머리 키 포인트, 얼굴 키 포인트, 제스처 키 포인트, 인체 골격 키 포인트일 경우, 서브 머티리얼의 디스플레이 위치 및 대응되는 검출 박스(예를 들어, 머리 검출 박스, 얼굴 검출 박스, 제스처 검출 박스, 인체 검출 박스)의 중심 키 포인트 사이의 대응 관계를 구축한다.
본 출원의 각 실시예의 실시형태에 있어서, 서브 머티리얼의 재생 파라미터는 예를 들어 아래의 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
1. 디스플레이 파라미터(Display)에 있어서, 서브 머티리얼이 디스플레이되었는지 여부를 나타내기 위한 것이다. 그 파라미터 값은 "예(Yes)" 및 "아니오(No)"인 두 개의 옵션을 포함하고, 파라미터 값이 "예(Yes)"를 선택할 경우 비디오 재생 과정 중 상응하는 서브 머티리얼을 디스플레이해야 하는 것을 나타내고, 파라미터 값이 "아니오(No)"를 선택할 경우 비디오 재생 과정 중 상응하는 서브 머티리얼을 디스플레이하지 않아도 되는 것을 나타낸다.
2. 트리거 동작 파라미터(Trigger Type)에 있어서, 서브 머티리얼 디스플레이를 트리거하는 트리거 동작을 나타내기 위한 것이고, 하나의 동작을 통해 서브 머티리얼 디스플레이를 트리거하는 것을 가리키며, 그 파라미터 값은 각 트리거 동작을 포함할 수 있으며, 사용자는 기설정된 동작 집합으로부터 적어도 하나의 동작을 트리거 동작으로서 선택할 수 있다. 즉, 비디오 재생 과정에서, 상응하는 트리거 동작을 검출할 경우 상응하는 서브 머티리얼을 디스플레이하도록 트리거할 수 있고, 예를 들어, 비디오에 상기 트리거 동작 파라미터에서 규정된 트리거 동작 "입 벌리기"를 검출한 경우 무지개를 뱉는 애니메이션 서브 머티리얼을 재생하기 시작하며, 상기 서브 머티리얼의 디스플레이 시작 시간, 디스플레이 종료 시간, 디스플레이 지속 시간 등은, 다른 파라미터의 파라미터 값에 따라 결정될 수 있으며, 예를 들어 각각 지연 트리거 파라미터, 트리거 종료 파라미터, 순환 파라미터의 파라미터 값에 따라 결정될 수 있다.
3. 순환 파라미터(Trigger Loop)에 있어서, 서브 머티리얼의 순환 재생 횟수를 나타내기 위한 것이며, 예를 들어, 1, 5등과 같이 순환 재생 횟수의 값을 그 파라미터 값으로서 설정 또는 선택할 수 있으며, 파라미터 값을 0으로 설정하면 무한 순환 재생하도록 약정할 수 있다.
4. 지연 트리거 파라미터(Trigger Delay)에 있어서, 서브 머티리얼을 지연 디스플레이하는 시간, 즉, 비디오에서의 하나의 프레임으로부터 트리거 동작 파라미터에서의 트리거 동작을 검출한 경우, 몇 개의 프레임을 지연하여 상기 서브 머티리얼을 디스플레이하기 시작하고, 서브 머티리얼을 지연 디스플레이하는 시간을 그 파라미터 값으로서 설정 또는 선택할 수 있다.
5. 트리거 종료 파라미터(Trigger Stop)에 있어서, 서브 머티리얼 디스플레이의 동작을 종료하는 것을 나타내기 위한 것이고, 하나의 동작을 통해 서브 머티리얼 디스플레이를 종료하는 것을 가리키며, 그 파라미터 값은 각 트리거 동작을 포함하며, 사용자는 기설정된 동작 집합으로부터 적어도 하나의 동작을 서브 머티리얼 디스플레이를 종료하는 동작으로서 선택할 수 있다. 즉, 비디오 재생 과정에서, 상기 트리거 종료 파라미터에 의해 규정된 트리거 동작을 검출할 경우 상응하는 서브 머티리얼의 디스플레이/재생을 종료할 수 있고, 예를 들어 비디오에 트리거 동작 파라미터에서 규정된 트리거 동작 "입 벌리기"가 발생된 것을 검출한 경우 무지개를 뱉는 애니메이션 서브 머티리얼을 재생하기 시작하며, 트리거 종료 파라미터에서의 파라미터 값을 "입 다물기"로 설정할 수 있음으로써, 비디오에 상기 "입 다물기"동작이 발생된 것을 검출한 경우, 무지개는 사라진다.
6. 디스플레이 크기 파라미터(Scale)에 있어서, 서브 머티리얼의 디스플레이 크기 변화의 기준을 나타내기 위한 것이고, 서브 머티리얼의 가까우면 크고 멀면 작은 디스플레이 효과를 구현하는데 사용된다. 상기 디스플레이 크기 파라미터의 파라미터 값(즉, 서브 머티리얼의 디스플레이 크기 변화의 기준)은 기설정된 키 포인트에서의 두 개 또는 두 개 이상의 키 포인트(PointA 및 PointB로 표시할 수 있음)일 수 있고, 이때, 서브 머티리얼의 디스플레이 크기는 비디오에서 기준으로 사용되는 두 개 또는 두 개 이상의 키 포인트에 의해 형성된 크기의 비례 변화에 따라 변화되며, 예를 들어, 서브 머티리얼이 안경이고, 선택된 디스플레이 크기 파라미터의 파라미터 값이 왼쪽 눈 동공 중심의 키 포인트 및 오른쪽 눈 동공 중심의 키 포인트를 나타낼 경우, 비디오가 재생되는 동안, 상기 서브 머티리얼의 디스플레이 크기는 이 두 개의 키 포인트 사이의 연결선의 길이 비례 변화에 따라 변화된다. 상기 디스플레이 크기 파라미터의 파라미터 값을 수정하지 않았으면, 그 디폴트 파라미터 값은 서브 머티리얼에 대응되는 기준 부분에서의 두 개의 키 포인트일 수 있다.
7. 위치 타입 파라미터(Position Type)에 있어서, 서브 머티리얼 및 위치의 관계 타입을 나타내기 위한 것이다.
8. 위치 관련 파라미터(Position Relation Type)에 있어서, 서브 머티리얼이 기설정된 기준 부분을 따라 이동하는지 여부 즉 서브 머티리얼이 기준 부분의 위치를 따라 이동하는지 여부를 나타내기 위한 것이고, 두 개의 옵션 즉 "예(Yes, Move With Position)" 및 "아니오(No)"를 포함할 수 있으며, 파라미터 값이 "예(Yes)"를 선택할 경우 서브 머티리얼은 기준 부분의 위치를 따라 이동하고, 위치 타입 파라미터의 파라미터 값이 전경이면, 파라미터 값은 "아니오(No)"를 선택하며, 서브 머티리얼이 기준 부분의 위치를 따라 이동하지 않음을 나타낸다.
9. 위치 파라미터(Position)에 있어서, 서브 머티리얼과 기설정된 키 포인트 사이의 위치 바인딩 관계 즉 비디오 재생 과정 중 서브 머티리얼 및 기설정된 키 포인트의 위치 관계를 나타내기 위한 것이고, 서브 머티리얼 및 기설정된 키 포인트에서의 일부 키 포인트의 위치를 선택하여 바인딩할 수 있다.
10. 회전 파라미터(Rotate Center)에 있어서, 서브 머티리얼 회전이 의거하는 키 포인트를 나타내기 위한 것이고, 상기 서브 머티리얼이 비디오 재생 과정 중 하나의 키 포인트에 따라 회전하도록 선택할 수 있다.
선택 가능한 예 중 하나에 있어서, 상기 트리거 동작 파라미터에 대응되는 트리거 동작은,
동작이 필요없이도 상기 서브 머티리얼을 디스플레이할 수 있는 무동작 트리거(NULL);
눈을 깜빡이는 것, 눈을 감는 것, 눈을 뜨는 것 등과 같은 눈 동작;
머리 흔들기, 머리 끄덕이기, 머리 기울이기, 머리 돌리기 등과 같은 머리 동작;
눈썹을 치켜올리는 등과 같은 눈썹 동작;
하트, 손 내밀기, 손바닥 내밀기, 엄지를 세움, 주먹 쥐고 축하, 손 하트, OK 하기, 브이 하기, 권총 손, 식지 내밀기 등과 같은 손 동작;
입 벌리기, 입 다물기 등과 같은 입술 동작;
어깨를 으쓱하는 등과 같은 어깨 동작; 및
다른 동작 중 어느 하나 또는 복수 개를 포함한다.
도 5에 도시된 바와 같이, 이는 본 출원의 실시예에서 손 동작의 예시적 예시도이다.
선택 가능한 예 중 하나에 있어서, 상기 위치 타입 파라미터는 예를 들어 아래 파라미터 중 어느 하나를 포함한다.
전경(Foreground)을 나타내기 위한 파라미터에 있어서, 이때 상응하는 서브 머티리얼이 비디오 재생 중 전경으로서 디스플레이되는 것을 나타내며, 재생 과정 중 상기 서브 머티리얼은 단말의 모니터를 재생하는 스크린 위치에 관련되며, 그 중심 포인트가 모니터의 스크린에서의 위치는 변하지 않는다.
상기 서브 머티리얼이 얼굴 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상응하는 서브 머티리얼에 대응되는 기준 부분이 얼굴인 것을 나타내고, 이때 상기 서브 머티리얼은 비디오 재생 과정 중 얼굴 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행한다.
상기 서브 머티리얼이 손의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상응하는 서브 머티리얼에 대응되는 기준 부분이 제스처(즉, 손)인 것을 나타내고, 이때 상기 서브 머티리얼은 비디오 재생 과정 중 손의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행한다.
상기 서브 머티리얼이 머리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상기 서브 머티리얼이 비디오 재생 과정 중 머리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행하는 것을 나타내기 위한 것이다.
상기 서브 머티리얼이 어깨의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상기 서브 머티리얼이 비디오 재생 과정 중 어깨의 위치를 따라 이동하는 것을 나타내기 위한 것이다.
상기 서브 머티리얼이 팔의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상기 서브 머티리얼이 비디오 재생 과정 중 팔의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행하는 것을 나타내기 위한 것이다.
상기 서브 머티리얼이 허리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상기 서브 머티리얼이 비디오 재생 과정 중 허리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행하는 것을 나타내기 위한 것이다.
상기 서브 머티리얼이 다리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상기 서브 머티리얼이 비디오 재생 과정 중 다리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행하는 것을 나타내기 위한 것이다.
상기 서브 머티리얼이 발의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상기 서브 머티리얼이 비디오 재생 과정 중 발의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행하는 것을 나타내기 위한 것이다.
상기 서브 머티리얼이 인체 골격의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터에 있어서, 상기 서브 머티리얼이 비디오 재생 과정 중 인체 골격의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 수행하는 것을 나타내기 위한 것이다.
기준 부분에 관련된 재생 위치 관계는 예를 들어, 서브 머티리얼이 기준 부분의 위치를 따라 이동하고(Position), 서브 머티리얼이 기준 부분의 크기를 따라 스케일링되는 것(Size); 서브 머티리얼이 기준 부분의 위치를 따라 이동하고(Position), 서브 머티리얼이 기준 부분의 크기를 따라 스케일링되며(Size), 서브 머티리얼이 기준 부분의 회전을 따라 뎁스 스케일링되는 것(Depth); 및 서브 머티리얼이 기준 부분의 위치를 따라 이동하고(Position), 서브 머티리얼이 기준 부분의 크기를 따라 스케일링되며(Size), 서브 머티리얼이 기준 부분의 회전을 따라 뎁스 스케일링되며(Depth), 서브 머티리얼이 기준 부분의 평면을 따라 회전하는 것(Rotation) 중 어느 하나 또는 복수 개를 포함할 수 있다.
배경(Background)을 나타내기 위한 파라미터에 있어서, 상응하는 서브 머티리얼이 비디오 재생 과정 중 배경으로서 디스플레이되는 것을 나타내고, 비디오 재생 과정 중 상기 서브 머티리얼은 단말의 모니터를 재생하는 스크린 위치에 관련되며, 상기 서브 머티리얼의 크기는 조정되어, 상기 서브 머티리얼의 4 개의 정점 좌표가 모니터의 스크린의 4 개의 정점과 일치하도록 한다.
또한, 도 2를 참조하면, 본 출원의 실시예의 특수 효과 프로그램 파일 패키지의 생성 장치는 내용 디스플레이 바를 더 포함할 수 있다. 상응하게, 본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 다른 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 내용 디스플레이 바를 통해 기준 이미지를 디스플레이하고, 상기 기준 이미지에서의 키 포인트를 디스플레이하는 단계를 더 포함할 수 있다. 여기서, 상기 기준 이미지는 적어도 하나의 기준 부분을 포함한다. 상기 기준 부분은 예를 들어, 귀, 손, 얼굴, 머리 카락, 목, 어깨 등 중 어느 하나 또는 복수 개를 포함할 수 있다.
예시적으로, 상기 기준 이미지는 예를 들어, 기준 인물의 적어도 일부의 이미지일 수 있고, 예를 들어 기준 인물의 완전한 이미지, 머리 이미지, 얼굴 이미지, 어깨 이미지, 팔 이미지, 제스처 이미지, 허리 이미지, 다리 이미지, 발 이미지, 기준 인물의 완전한 이미지 등 중 어느 하나 또는 복수 개이다.
또한, 본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 또 하나의 실시예에 있어서, 단계 102를 통해 서브 머티리얼을 도입한 후, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 내용 디스플레이 바를 통해 기준 이미지를 디스플레이하는 단계를 더 포함할 수 있고, 이는 도입된 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 내용 디스플레이 바에서 도입된 서브 머티리얼을 디스플레이하는 단계를 포함할 수 있다. 예를 들어, 기설정된 상기 서브 머티리얼의 디스플레이 위치 및 디스플레이 크기에 따라, 내용 디스플레이 바에서 상기 도입된 서브 머티리얼을 디스플레이할 수 있다.
내용 디스플레이 바에서 도입된 서브 머티리얼을 디스플레이한 후, 사용자는 상기 디스플레이의 서브 머티리얼이 내용 디스플레이 바에서의 디스플레이 위치를 수정할 수 있거나 그 디스플레이 크기를 조정할 수 있다. 이로써, 선택 가능한 추가적인 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 내용 디스플레이 바를 통해 수신된 서브 머티리얼의 위치에 따라 이동 조작하고, 상기 서브 머티리얼이 내용 디스플레이 바의 디스플레이 위치를 업데이트하며, 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하는 단계를 더 포함할 수 있다. 및/또는, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 내용 디스플레이 바를 통해 수신된 서브 머티리얼의 크기에 따라 조정 조작하고, 상기 서브 머티리얼이 내용 디스플레이 바의 디스플레이 크기를 업데이트하며, 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하는 단계를 더 포함할 수 있다. 예를 들어, 사용자는 마우스를 통해 내용 디스플레이 바에 디스플레이된 서브 머티리얼을 선택하여, 마우스를 상기 서브 머티리얼 오른쪽 하단의 작은 박스로 이동하고, 상기 작은 박스를 이동하는 것을 통해 서브 머티리얼을 스케일링할 수 있음으로써, 상기 서브 머티리얼의 디스플레이 크기를 조정하며; 사용자는 마우스를 통해 내용 디스플레이 바에 디스플레이된 서브 머티리얼을 선택하고 그 위치를 직접 이동하여, 서브 머티리얼을 정확한 위치 또는 원하는 위치로 이동할 수 있다. 후속 서브 머티리얼의 특수 효과 프로그램 파일 패키지의 재생에 있어서, 상기 서브 머티리얼이 재생 단말에서의 위치, 디스플레이 비례는 상기 내용 디스플레이 바에서의 위치, 디스플레이 비례와 일치하다. 본 출원의 상기 어느 한 실시예에 기반하여, 사용자는 복수 개의 기준 부분에 특수 효과를 추가할 수 있고, 예를 들어, 각각 귀, 얼굴, 손을 현재 특수 효과가 추가되어야 하는 타겟 부분으로서, 상기 어느 한 실시예를 실행할 수 있어, 귀, 얼굴, 손 부위의 서브 머티리얼의 특수 효과 효과를 구현한다.
사용자가 두 개 또는 두 개 이상의 서브 머티리얼을 도입할 경우, 각 서브 머티리얼의 디스플레이 계층(즉 차폐 관계)을 조정할 수 있다. 이로써, 본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 또 하나의 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 조작 바의 인터랙션 인터페이스를 통해 수신된 두 개 또는 두 개 이상의 서브 머티리얼에 대해 송신된 계층 파라미터 조정 명령어에 따라, 상기 두 개 또는 두 개 이상의 서브 머티리얼 사이의 차폐 관계를 조정하고, 조정된 차폐 관계 및 상기 재생 파라미터의 파라미터 값에 따라, 내용 디스플레이 바에서 상기 두 개 또는 두 개 이상의 서브 머티리얼을 디스플레이하는 단계를 더 포함할 수 있다.
본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 또 하나의 실시예에 있어서, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 특수 효과 프로그램 파일 패키지의 생성 장치에 의해 수신된 작동 명령어에 따라 작동하고, 조작 인터페이스를 디스플레이하는 단계 - 상기 조작 인터페이스는 조작 바, 내용 디스플레이 바 및 프로그램 파일 바를 포함함 - 를 더 포함한다.
도 2에 도시된 바와 같이, 선택 가능한 예 중 하나에 있어서, 상기 조작 인터페이스는 왼쪽, 중간 및 오른쪽에 위치한 세 개의 영역을 포함한다. 상응하게, 상기 조작 인터페이스를 디스플레이하는 단계는, 조작 인터페이스의 왼쪽에서 조작 바를 디스플레이하고, 조작 인터페이스의 중간에서 내용 디스플레이 바를 디스플레이하며, 조작 인터페이스 오른쪽에서 상기 프로그램 파일 바를 디스플레이하는 단계를 포함할 수 있다.
여기서, 왼쪽 조작 바 아래의 인터랙션 인터페이스(20)를 통해 서브 머티리얼을 도입할 수 있고, 인터랙션 인터페이스(21)를 통해 서브 머티리얼 계층 사이의 차폐 관계를 조정하며, 각 서브 머티리얼의 계층 파라미터를 설정할 수 있으며, 인터랙션 인터페이스(23)를 통해 각 서브 머티리얼의 재생 파라미터에 대한 파라미터 값을 설정할 수 있으며; 내용 디스플레이 바는 평균 얼굴을 기준 얼굴로 사용하고, 도입된 모든 서브 머티리얼은 직접 디스플레이되며, 마우스를 통해 디스플레이될 서브 머티리얼의 위치를 이동할 수 있으며; 오른쪽의 프로그램 파일 디스플레이 바는, 디스플레이 영역(24)을 통해 현재 파라미터 값을 설정하는 서브 머티리얼의 재생 프로그램 파일의 내용을 디스플레이하기 위한 것이고, 프로그램 파일 디스플레이 바에서의 저장 명령어 인터페이스(25)를 통해 특수 효과 프로그램 파일 패키지를 도출할 수 있으며, 즉 상기 특수 효과 프로그램 파일 패키지를 생성 및 저장할 수 있다.
도 6은 본 출원의 특수 효과 프로그램 파일 패키지의 생성 방법의 다른 실시예의 흐름도이다. 도 6에 도시된 바와 같이, 상기 실시예의 특수 효과 프로그램 파일 패키지의 생성 방법은 아래와 같은 단계를 포함한다.
단계 302에 있어서, 특수 효과 프로그램 파일 패키지의 생성 장치는 수신된 작동 명령어에 따라 작동되고, 조작 인터페이스를 디스플레이한다.
상기 조작 인터페이스는, 조작 바, 내용 디스플레이 바 및 프로그램 파일 바를 포함한다.
단계 304에 있어서, 내용 디스플레이 바를 통해 기준 이미지를 디스플레이하고, 상기 기준 이미지에서의 키 포인트를 디스플레이한다.
여기서, 상기 기준 이미지는 적어도 하나의 기준 부분을 포함한다.
선택 가능한 예에 있어서, 상기 단계 304는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있고, 프로세서에 의해 작동된 조작 인터페이스에서의 내용 디스플레이 바에 의해 실행될 수도 있다.
단계 306에 있어서, 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입한다.
선택 가능한 예에 있어서, 상기 단계 306은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제1 도입 모듈에 의해 실행될 수 있다.
단계 308에 있어서, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축한다.
선택 가능한 예에 있어서, 상기 단계 308은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제1 획득 모듈에 의해 실행될 수 있다.
단계 310에 있어서, 기설정된 특수 효과 프로그램 파일 및 획득된 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼의 특수 효과 프로그램 파일을 생성하고, 프로그램 파일 바를 통해 상기 서브 머티리얼의 특수 효과 프로그램 파일을 디스플레이한다.
선택 가능한 예에 있어서, 상기 단계 310은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있고, 프로세서에 의해 작동된 조작 인터페이스에서의 프로그램 파일 바에 의해 실행될 수도 있다.
단계 312에 있어서, 상기 서브 머티리얼, 대응 관계 및 특수 효과 프로그램 파일에 따라 특수 효과 프로그램 파일 패키지를 생성한다.
선택 가능한 예에 있어서, 상기 단계 312는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제1 생성 모듈에 의해 실행될 수 있다.
또한, 본 출원의 상기 어느 한 실시예에 기반하여 특수 효과 프로그램 파일 패키지를 생성한 후, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은, 수신된 저장 명령어에 따라, 상기 저장 명령어가 가리키는 위치에 상기 특수 효과 프로그램 파일 패키지를 저장하는 단계를 더 포함할 수 있다.
실시형태 중 하나에 있어서, 수신된 저장 명령어에 따라, 상기 저장 명령어가 가리키는 위치에 상기 특수 효과 프로그램 파일 패키지를 저장하는 단계는,
저장 명령어를 수신한 것에 응답하여, 저장 경로 선택 인터페이스 및 압축 인터페이스를 디스플레이하는 단계;
상기 저장 경로 선택 인터페이스를 통해 송신된 저장 위치를 수신하는 단계; 상기 압축 인터페이스에 기반하여 송신된 압축 모드를 수신하고, 상기 압축 모드에 따라 서브 머티리얼의 특수 효과 프로그램 파일 패키지를 압축하며, 압축 파일 패키지를 생성하는 단계; 및
상기 압축 파일 패키지를 상기 저장 위치가 가리키는 폴더에 저장하는 단계를 포함할 수 있다.
특수 효과 프로그램 파일 패키지의 크기가 클 경우, 핸드폰 단말에서 작동하기에 적절하지 않으므로, 본 출원의 실시예는 특수 효과 프로그램 파일 패키지를 압축한 후 저장하여, 단말에 도입하여 특수 효과를 생성하도록 한다. 본 출원의 실시예는 다만 특수 효과 프로그램 파일 패키지의 크기를 압축하고, 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 크기를 변화시키지 않으며, 즉 특수 효과 프로그램 파일 패키지에서 서브 머티리얼의 크기가 상기 서브 머티리얼이 도입되기 전의 크기로 유지되도록 한다.
본 출원의 상기 각 실시예에 기반하여 특수 효과 프로그램 파일 패키지를 생성한 후, 상기 특수 효과 프로그램 파일 패키지를 단말에 도입하여, 상기 단말에 의해 재생된 비디오에 대한 특수 효과를 생성할 수 있다.
도 7은 본 출원의 특수 효과 생성 방법의 실시예의 흐름도이다. 도 7에 도시된 바와 같이, 상기 실시예의 특수 효과 생성 방법은 아래와 같은 단계를 포함한다.
단계 402에 있어서, 특수 효과 프로그램 파일 패키지를 도입한다.
여기서, 상기 특수 효과 프로그램 파일 패키지는 서브 머티리얼 및 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함할 수 있고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값은 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 포함한다.
실시형태 중 하나에 있어서, 서브 머티리얼의 재생 파라미터의 카테고리는 본 출원의 상기 각 실시예의 기록을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
실시형태 중 하나에 있어서, 상기 단계 402는, 스티커 머티리얼을 읽기 위한 제1 인터페이스 함수를 호출하는 것을 통해, 상기 특수 효과 프로그램 파일 패키지를 내부 저장소로 판독 액세스하는 단계; 및 상기 특수 효과 프로그램 파일 패키지를 해석하고, 서브 머티리얼 및 특수 효과 프로그램 파일을 획득하는 단계 - 상기 특수 효과 프로그램 파일은 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함함 - 를 포함할 수 있다.
선택 가능한 예 중 하나에 있어서, 상기 특수 효과 프로그램 파일은, json 프로그램 또는 다른 실행 가능한 프로그램의 특수 효과 프로그램 파일을 포함할 수 있다.
실시형태 중 하나에 있어서, 본 출원의 각 특수 효과 생성 방법 실시예에서의 특수 효과 프로그램 파일 패키지는 본 출원의 상기 어느 한 특수 효과 프로그램 파일 패키지의 생성 방법 실시예를 통해 생성된 특수 효과 프로그램 파일 패키지일 수 있다.
선택 가능한 예에 있어서, 상기 단계 402는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제2 도입 모듈에 의해 실행될 수 있다.
단계 404에 있어서, 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득한다.
선택 가능한 예에 있어서, 상기 단계 404는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제2 획득 모듈에 의해 실행될 수 있다.
단계 406에 있어서, 비디오 이미지에 대해 키 포인트 검출을 수행한다.
실시형태 중 하나에 있어서, 신경 네트워크를 통해 비디오 이미지에 대해 대응 관계에 관련된 키 포인트 검출을 수행하고, 키 포인트 검출 결과를 출력할 수 있다.
여기서 키 포인트 검출 결과는, 예를 들어 대응 관계에 관련된 키 포인트가 비디오의 이미지에서의 위치; 및 특수 효과 프로그램 파일 패키지에서 대응 관계에 관련된 키 포인트의 기설정된 번호 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
실시형태 중 하나에 있어서, 키 포인트의 카테고리는 본 출원의 상기 각 실시예의 기록을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
하나의 선택 가능한 예에 있어서, 상기 단계 406은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있고, 프로세서에 의해 작동되는 키 포인트 검출 모듈에 의해 실행될 수도 있다.
단계 408에 있어서, 검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 서브 머티리얼의 특수 효과를 생성한다.
선택 가능한 예에 있어서, 상기 단계 406은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제2 생성 모듈에 의해 실행될 수 있다.
본 출원의 상기 실시예에서 제공한 특수 효과 생성 방법에 기반하여, 특수 효과 프로그램 파일 패키지를 도입하고 상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며, 비디오 이미지에 대해 키 포인트 검출을 수행하며, 검출된 키 포인트 및 재생 파라미터의 파라미터 값에 기반하여, 현재 재생 중인 비디오에서 서브 머티리얼의 특수 효과를 생성한다. 본 출원의 실시예는 미리 생성된 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 통해, 비디오 이미지에 대해 키 포인트 검출을 수행하고, 비디오에서 특수 효과를 생성하여, 비디오의 특수 효과 재생을 구현하고, 비디오 재생 효과를 향상시킨다.
실시형태 중 하나에 있어서, 단계 404는, 스티커 핸들을 생성하기 위한 제2 인터페이스 함수를 통해 스티커 핸들을 생성하는 단계; 및 서브 머티리얼 및 특수 효과 프로그램 파일에서의 재생 파라미터의 파라미터 값을 읽고, 상기 스티커 핸들에 저장하는 단계를 포함할 수 있다.
또한, 본 출원의 특수 효과 생성 방법의 다른 실시예에 있어서, 상기 특수 효과 생성 방법은, 스티커 핸들 중 특수 효과 프로그램 파일에서 재생 파라미터의 파라미터 값에 따라, 특수 효과 프로그램 파일 패키지 중 서브 머티리얼이 비디오에서 디스플레이될 위치 및 비디오 프레임 개수를 획득하고, 미리 비디오로부터 비디오 프레임 개수에 대응되는 비디오 이미지를 읽는 단계를 더 포함할 수 있다.
상응하게, 실시형태 중 하나에 있어서, 단계 408은,
스티커 머티리얼을 랜더링하기 위한 제3 인터페이스 함수를 호출하는 것을 통해, 스티커 핸들로부터 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 읽는 단계;
검출된 키 포인트 및 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 현재 비디오 이미지에서의 재생 상태 및 디스플레이될 위치를 결정하는 단계; 및
현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 현재 비디오 이미지에서의 재생 상태에 따라, 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 현재 비디오 이미지에서의 디스플레이될 위치에 디스플레이하는 단계를 포함할 수 있다.
실시형태 중 하나에 있어서, 상기 특수 효과 생성 방법은, 특수 효과 프로그램 파일 패키지가 재생 완료된 것에 응답하여, 스티커 핸들을 제거하기 위한 제4 인터페이스 함수를 호출하는 것을 통해 스티커 핸들을 제거하는 단계를 더 포함할 수 있다.
도 8은 본 출원의 특수 효과 생성 방법의 다른 실시예의 흐름도이다. 도 8에 도시된 바와 같이, 상기 실시예의 특수 효과 생성 방법은 아래와 같은 단계를 포함한다.
단계 502에 있어서, 스티커 머티리얼을 읽기 위한 제1 인터페이스 함수를 호출하는 것을 통해, 상기 특수 효과 프로그램 파일 패키지를 내부 저장소로 판독 액세스한다.
단계 504에 있어서, 상기 특수 효과 프로그램 파일 패키지를 해석하고, 서브 머티리얼 및 특수 효과 프로그램 파일을 획득하며, 상기 특수 효과 프로그램 파일은 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함한다.
선택 가능한 예에 있어서, 단계 502 내지 단계 504는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제2 도입 모듈에 의해 실행될 수 있다.
단계 506에 있어서, 스티커 핸들을 생성하기 위한 제2 인터페이스 함수를 통해 스티커 핸들을 생성한다.
단계 508에 있어서, 내부 저장소로부터 서브 머티리얼 및 특수 효과 프로그램 파일에서의 재생 파라미터의 파라미터 값을 읽고, 상기 스티커 핸들에 저장한다.
선택 가능한 예에 있어서, 단계 506 내지 단계 508은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제2 획득 모듈에 의해 실행될 수 있다.
단계 510에 있어서, 스티커 핸들 중 특수 효과 프로그램 파일 중의 재생 파라미터의 파라미터 값에 따라, 특수 효과 프로그램 파일 패키지 중 서브 머티리얼이 비디오에서 디스플레이될 위치 및 비디오 프레임 개수를 획득하고, 미리 비디오로부터 비디오 프레임 개수에 대응되는 비디오 이미지를 읽는다.
선택 가능한 예에 있어서, 상기 단계 510은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제3 획득 모듈에 의해 실행될 수 있다.
단계 512에 있어서, 신경 네트워크를 통해 비디오 이미지에 대해 대응 관계에 관련된 키 포인트 검출을 수행하고, 키 포인트 검출 결과를 출력한다.
하나의 선택 가능한 예에 있어서, 상기 단계 512는 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있고, 프로세서에 의해 작동되는 키 포인트 검출 모듈에 의해 실행될 수도 있다.
단계 514에 있어서, 스티커 머티리얼을 랜더링하기 위한 제3 인터페이스 함수를 호출하는 것을 통해, 스티커 핸들로부터 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 읽는다.
단계 516에 있어서, 검출된 키 포인트 및 디스플레이되어야 하는 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 디스플레이되어야 하는 서브 머티리얼이 현재 비디오 이미지에서의 재생 상태 및 디스플레이될 위치를 결정한다.
단계 518에 있어서, 디스플레이되어야 하는 서브 머티리얼이 현재 비디오 이미지에서의 재생 상태에 따라, 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 현재 비디오 이미지에서의 디스플레이될 위치에 디스플레이한다.
선택 가능한 예에 있어서, 상기 단계 514 내지 단계 518은 프로세서에 의해 메모리에 저장된 상응하는 명령어를 호출하여 실행될 수 있거나, 프로세서에 의해 작동되는 제2 생성 모듈에 의해 실행될 수 있다.
본 출원의 각 특수 효과 생성 방법 실시예는 다양한 비디오 재생 시나리오에 사용될 수 있고, 예를 들어 인물을 포함하는 비디오 라이브 시나리오에 사용되어, 상기 라이브 비디오에 특수 효과를 생성하고, 서브 머티리얼의 특수 효과 프로그램 파일 패키지에 따라 서브 머티리얼을 인물의 상응하는 부위에 중첩시켜 재생한다. 여기서 상응하는 부위는 예를 들어, 귀, 손, 얼굴, 머리카락, 목, 어깨 등일 수 있다.
본 출원의 실시예에서 제공한 어느 한 특수 효과 프로그램 파일 패키지의 생성 방법 및 특수 효과 생성 방법은 임의의 적절한 데이터 처리 능력을 구비하는 기기에 의해 실행될 수 있고, 단말 기기 및 서버 등을 포함하지만 이에 한정되지 않는다. 또는, 본 출원의 실시예에서 제공한 어느 한 특수 효과 프로그램 파일 패키지의 생성 방법 및 특수 효과 생성 방법은 프로세서에 의해 실행될 수 있고, 예를 들어 프로세서는 메모리에 저장된 상응하는 명령어를 호출하는 것을 통해 본 출원의 실시예에서 언급한 어느 한 특수 효과 프로그램 파일 패키지의 생성 방법 및 특수 효과 생성 방법을 실행한다. 아래에 더이상 반복하여 설명하지 않는다.
본 기술분야의 통상의 기술자는 상기 방법 실시예를 구현하기 위한 전부 또는 일부 단계는 프로그램 명령어에 관련된 하드웨어를 통해 완료되며, 전술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
도 9는 본 출원의 특수 효과 프로그램 파일 패키지의 생성 장치의 실시예의 구조 예시도이다. 상기 실시예의 특수 효과 프로그램 파일 패키지의 생성 장치는 본 출원의 상기 각 특수 효과 프로그램 파일 패키지의 생성 방법 실시예를 구현하는데 사용될 수 있다. 도 9에 도시된 바와 같이, 상기 실시예의 특수 효과 프로그램 파일 패키지의 생성 장치는, 제1 도입 모듈, 제1 획득 모듈 및 제1 생성 모듈을 포함한다. 여기서,
제1 도입 모듈은, 서브 머티리얼을 도입하기 위한 것이다. 본 출원의 각 실시예의 실시형태에 있어서, 서브 머티리얼은 예를 들어, 이미지, 애니메이션, 비디오, 사운드 등 중 어느 하나 또는 복수 개를 포함할 수 있지만 이에 한정되지 않는다.
제1 획득 모듈은, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하기 위한 것이다.
실시형태 중 하나에 있어서, 키 포인트의 카테고리 및 서브 머티리얼의 재생 파라미터는 본 출원의 상기 각 실시예의 기록을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
제1 생성 모듈은, 상기 서브 머티리얼, 대응 관계 및 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하기 위한 것이다.
본 출원의 상기 실시예에서 제공한 특수 효과 프로그램 파일 패키지의 생성 장치에 기반하여, 특수 효과 프로그램 파일 패키지를 생성할 경우, 서브 머티리얼을 도입하고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하며, 서브 머티리얼, 대응 관계 및 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하여, 상기 특수 효과 프로그램 파일 패키지 비디오에 기반하여 특수 효과 처리를 수행하며, 본 출원의 실시예에서 프로그램 파일을 수동으로 작성할 필요없이, 랜더링 엔진이 실행 가능한 특수 효과 프로그램 파일을 생성할 수 있으므로, 조작이 간단하고, 소요 시간이 짧으며, 특수 효과 구현의 전체적인 효율을 향상시키며, 프로그램 파일을 수동으로 작성할 경우에 발생할 수 있는 에러를 예방하며, 특수 효과의 정확성을 효과적으로 확보한다.
도 10은 본 출원의 특수 효과 프로그램 파일 패키지의 생성 장치의 다른 실시예의 구조 예시도이다. 도 10에 도시된 바와 같이, 도 9에 도시된 바와 같은 실시예에 비해, 상기 실시예의 생성 장치는 조작 인터페이스를 더 포함하고, 상기 조작 인터페이스는 조작 바를 포함하며, 도 2에 도시된 바와 같이, 이는 조작 인터페이스의 예시도이다. 상응하게, 상기 실시예에 있어서, 제1 도입 모듈은 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하기 위한 것이다.
실시형태 중 하나에 있어서, 제1 도입 모듈은, 조작 바에서 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하며; 또는, 조작 바의 인터랙션 인터페이스를 통해 송신된 선택 명령어를 수신하고, 선택 명령어로 선택된 기준 부분을 현재 특수 효과가 추가되어야 하는 타겟 부분으로 사용하며, 조작 바에서 타겟 부분에서의 특수 효과 파라미터 설정 인터페이스를 디스플레이하며; 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하기 위한 것이다.
선택 가능한 예 중 하나에 있어서, 제1 도입 모듈은, 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 도입 명령어가 가리키는 머티리얼 폴더를 획득 및 디스플레이하는 것; 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신한 것에 응답하여, 서브 머티리얼 선택 조작에 의해 선택된 서브 머티리얼을 도입하는 것; 및 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신하지 못한 것에 응답하여, 사전 설정에 따라 머티리얼 폴더에서의 서브 머티리얼을 선택하고, 사전 설정에 따라 선택된 서브 머티리얼을 도입하는 것 중 적어도 하나를 수행하기 위한 것이다.
실시형태 중 하나에 있어서, 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계는, 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 것에 응답하여, 설정된 파라미터 값을 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계; 및 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신하지 못한 것에 응답하여, 기설정된 파라미터 값을 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계 중 적어도 하나를 포함한다.
또한, 다른 실시형태에 있어서, 조작 인터페이스는 기준 이미지를 디스플레이하고, 기준 이미지에서의 키 포인트를 디스플레이하기 위한 내용 디스플레이 바를 더 포함할 수 있고, 여기서 기준 이미지는 적어도 하나의 기준 부분을 포함한다. 도 2에 도시된 바와 같이, 이는 조작 인터페이스의 예시도이다.
예시적으로, 상기 기준 이미지는 예를 들어, 기준 인물의 적어도 일부의 이미지일 수 있고, 예를 들어 기준 인물의 완전한 이미지, 머리 이미지, 얼굴 이미지, 어깨 이미지, 팔 이미지, 제스처 이미지, 허리 이미지, 다리 이미지, 발 이미지, 기준 인물의 완전한 이미지 등 중 어느 하나 또는 복수 개이다.
본 출원의 생성 장치의 또 하나의 실시예에 있어서, 내용 디스플레이 바는 또한 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 도입된 서브 머티리얼을 디스플레이하기 위한 것이다.
또한, 도 10을 참조하면, 본 출원의 상기 각 실시예의 생성 장치는, 내용 디스플레이 바를 통해 수신된 서브 머티리얼의 위치에 대한 이동 조작에 따라, 서브 머티리얼이 내용 디스플레이 바에서의 디스플레이 위치를 업데이트하며, 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하기 위한 제1 업데이트 모듈을 더 포함할 수 있다.
또한, 도 10을 참조하면, 본 출원의 상기 각 실시예의 생성 장치는, 내용 디스플레이 바를 통해 수신된 서브 머티리얼의 크기에 대한 조정 조작에 따라, 서브 머티리얼이 내용 디스플레이 바에서의 디스플레이 크기를 업데이트하며, 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하기 위한 제2 업데이트 모듈을 더 포함할 수 있다.
또한, 도 10을 참조하면, 본 출원의 상기 각 실시예의 생성 장치는, 조작 바의 인터랙션 인터페이스를 통해 수신된 두 개 또는 두 개 이상의 서브 머티리얼에 대해 송신된 계층 파라미터 조정 명령어에 따라, 두 개 또는 두 개 이상의 서브 머티리얼 사이의 차폐 관계를 조정하고, 조정된 차폐 관계 및 재생 파라미터의 파라미터 값에 따라 두 개 또는 두 개 이상의 서브 머티리얼을 디스플레이하기 위한 조정 모듈을 더 포함할 수 있다.
또한, 조작 인터페이스는, 기설정된 특수 효과 프로그램 파일 및 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 서브 머티리얼의 특수 효과 프로그램 파일을 생성하고, 서브 머티리얼의 특수 효과 프로그램 파일을 디스플레이하기 위한 프로그램 파일 바를 더 포함할 수 있다. 여기서 특수 효과 프로그램 파일은 예를 들어, json 프로그램으로 생성된 특수 효과 프로그램 파일을 포함할 수 있지만 이에 한정되지 않는다.
도 2를 참조하면, 상기 조작 인터페이스는 3 개의 영역 즉 왼쪽, 중간 및 오른쪽을 포함할 수 있다. 여기서, 조작 인터페이스의 왼쪽은 조작 바를 디스플레이하기 위한 것이고, 조작 인터페이스의 중간은 내용 디스플레이 바를 디스플레이하기 위한 것이며, 조작 인터페이스의 오른쪽은 프로그램 파일 바를 디스플레이하기 위한 것이다.
또한, 도 10을 참조하면, 본 출원의 상기 각 실시예의 생성 장치는, 수신된 저장 명령어가 저장 명령어가 가리키는 위치에서 특수 효과 프로그램 파일 패키지를 저장하기 위한 저장 모듈을 더 포함할 수 있다.
실시형태 중 하나에 있어서, 저장 모듈은, 저장 명령어를 수신한 것에 응답하여, 저장 경로 선택 인터페이스 및 압축 인터페이스를 디스플레이하고; 저장 경로 선택 인터페이스를 통해 송신된 저장 위치를 수신하며; 압축 인터페이스에 기반하여 송신된 압축 모드를 수신하고, 압축 모드에 따라 서브 머티리얼의 특수 효과 프로그램 파일 패키지를 압축하며, 압축 파일 패키지를 생성하며; 압축 파일 패키지를 저장 위치가 가리키는 폴더에 저장하기 위한 것이다.
선택 가능한 예 중 하나에 있어서, 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 크기는 서브 머티리얼이 도입되기 전의 크기로 유지된다.
도 11은 본 출원의 특수 효과 생성 장치의 실시예의 구조 예시도이다. 상기 실시예의 특수 효과 생성 장치는 본 출원의 상기 각 특수 효과 생성 방법 실시예를 구현하는데 사용될 수 있다. 도 11에 도시된 바와 같이, 상기 실시예의 특수 효과 생성 장치는, 제2 도입 모듈, 제2 획득 모듈, 키 포인트 검출 모듈 및 제2 생성 모듈을 포함한다. 여기서,
제2 도입 모듈은, 특수 효과 프로그램 파일 패키지를 도입하기 위한 것이다. 여기서, 상기 특수 효과 프로그램 파일 패키지는 서브 머티리얼 및 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함할 수 있고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값은 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 포함한다. 실시형태 중 하나에 있어서, 본 출원의 각 특수 효과 생성 장치 실시예에서의 특수 효과 프로그램 파일 패키지는 본 출원의 상기 어느 한 특수 효과 프로그램 파일 패키지의 생성 방법 또는 장치 실시예를 통해 생성된 특수 효과 프로그램 파일 패키지일 수 있다.
제2 획득 모듈은, 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하기 위한 것이다.
키 포인트 검출 모듈은, 비디오 이미지에 대해 키 포인트 검출을 수행하기 위한 것이다.
제2 생성 모듈은, 검출된 키 포인트 및 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 서브 머티리얼의 특수 효과를 생성하기 위한 것이다.
본 출원의 상기 실시예에서 제공한 특수 효과 생성 장치에 기반하여, 특수 효과 프로그램 파일 패키지를 도입하고 상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며, 비디오 이미지에 대해 키 포인트 검출을 수행하며, 검출된 키 포인트 및 재생 파라미터의 파라미터 값에 기반하여, 현재 재생 중인 비디오에서 서브 머티리얼의 특수 효과를 생성한다. 본 출원의 실시예는 미리 생성된 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 통해, 비디오 이미지에 대해 키 포인트 검출을 수행하고, 비디오에서 특수 효과를 생성하여, 비디오의 특수 효과 재생을 구현하고, 비디오 재생 효과를 향상시킨다.
실시형태 중 하나에 있어서, 제2 도입 모듈은, 스티커 머티리얼을 읽기 위한 제1 인터페이스 함수를 호출하는 것을 통해, 특수 효과 프로그램 파일 패키지를 내부 저장소로 판독 액세스하고; 특수 효과 프로그램 파일 패키지를 해석하고, 서브 머티리얼 및 특수 효과 프로그램 파일을 획득하기 위한 것이고, 특수 효과 프로그램 파일은 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함한다. 여기서 특수 효과 프로그램 파일은 예를 들어, json 프로그램의 특수 효과 프로그램 파일을 포함할 수 있다.
선택 가능한 예 중 하나에 있어서, 제2 획득 모듈은, 스티커 핸들을 생성하기 위한 제2 인터페이스 함수를 통해 스티커 핸들을 생성하고; 서브 머티리얼 및 특수 효과 프로그램 파일에서의 재생 파라미터의 파라미터 값을 읽고, 스티커 핸들에 저장하기 위한 것이다.
도 12는 본 출원의 특수 효과 생성 장치의 다른 실시예의 구조 예시도이다. 도 12에 도시된 바와 같이, 도 11에 도시된 바와 같은 실시예에 비해, 상기 실시예의 특수 효과 생성 장치는, 스티커 핸들 중 특수 효과 프로그램 파일 중의 재생 파라미터의 파라미터 값에 따라, 서브 머티리얼이 비디오 중 디스플레이될 위치 및 비디오 프레임 개수를 획득하고, 미리 비디오로부터 비디오 프레임 개수에 대응되는 비디오 이미지를 읽기 위한 제3 획득 모듈을 더 포함한다.
실시형태 중 하나에 있어서, 제2 생성 모듈은, 스티커 머티리얼을 랜더링하기 위한 제3 인터페이스 함수를 호출하는 것을 통해, 스티커 핸들로부터 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 읽고; 검출된 키 포인트 및 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 현재 비디오 이미지에서의 재생 상태 및 디스플레이될 위치를 결정하며; 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 현재 비디오 이미지에서의 재생 상태에 따라, 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 현재 비디오 이미지에서의 디스플레이될 위치에 디스플레이하기 위한 것이다.
또한, 도 12를 참조하면, 본 출원의 특수 효과 생성 장치의 또 하나의 실시예에 있어서, 제2 획득 모듈은 또한, 특수 효과 프로그램 파일 패키지가 재생 완료된 것에 응답하여, 스티커 핸들을 제거하기 위한 제4 인터페이스 함수를 호출하는 것을 통해 스티커 핸들을 제거하기 위한 것이다.
본 출원의 각 특수 효과 생성 장치 실시예의 실시형태에 있어서, 키 포인트 검출 모듈은, 신경 네트워크를 통해, 비디오 이미지에 대해 대응 관계에 관련된 키 포인트 검출을 수행하고, 키 포인트 검출 결과를 출력하기 위한 것이다.
여기서 키 포인트 검출 결과는, 예를 들어 대응 관계에 관련된 키 포인트가 비디오의 이미지에서의 위치; 및 대응 관계에 관련된 키 포인트의 기설정된 번호 중 어느 하나 또는 복수 개를 포함할 수 있다.
또한, 본 출원의 실시예는 전자 기기를 제공하고, 상기 전자 기기는,
컴퓨터 프로그램을 저장하기 위한 메모리; 및
메모리에 저장된 컴퓨터 프로그램을 실행하기 위한 프로세서를 포함하고, 컴퓨터 프로그램이 실행될 경우, 본 출원의 상기 어느 한 실시예의 특수 효과 프로그램 파일 패키지의 생성 방법, 또는 특수 효과 생성 방법을 구현한다.
도 13은 본 출원의 전자 기기의 응용 실시예의 구조 예시도이다. 도 13을 참조하면, 본 출원의 실시예의 단말 기기 또는 서버를 구현하기에 적절한 전자 기기의 구조 예시도이다. 도 13에 도시된 바와 같이, 상기 전자 기기는 하나 또는 복수 개의 프로세서, 통신부 등을 포함하며, 상기 하나 또는 복수 개의 프로세서는 예를 들어, 하나 또는 복수 개의 중앙 처리 장치(Central Processing Unit, CPU) 및 하나 또는 복수 개의 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나이며, 프로세서는 판독 전용 메모리(ROM)에 저장된 실행 가능한 명령어 또는 저장 부분으로부터 랜덤 액세스 메모리(RAM)에 로딩된 실행 가능한 명령어에 따라 다양한 적절한 동작 및 처리를 실행할 수 있다. 통신부는 랜 카드를 포함할 수 있으나 이에 한정되지 않으며, 상기 랜 카드는 인피니 밴드(Infiniband, IB)랜 카드를 포함할 수 있으나 이에 한정되지 않으며, 프로세서는 판독 전용 메모리 및 랜덤 액세스 메모리 중 적어도 하나와 통신하여 실행 가능한 명령어를 실행할 수 있으며, 프로세서는 버스를 통해 통신부에 연결되고, 통신부를 통해 다른 타겟 기기와 통신함으로써, 본 출원의 실시예에서 제공한 어느 한 방법의 대응되는 동작을 완료하며, 예를 들어, 서브 머티리얼을 도입하고; 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하며; 상기 서브 머티리얼, 상기 대응 관계 및 상기 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성한다. 또 예를 들어, 특수 효과 프로그램 파일 패키지를 도입하고; 상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하며; 비디오 이미지에 대해 키 포인트 검출을 수행하며; 검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 상기 서브 머티리얼의 특수 효과를 생성한다.
또한, RAM에서, 장치의 조작에 필요한 다양한 프로그램 및 데이터를 더 저장할 수 있다. CPU, ROM 및 RAM은 버스를 통해 서로 연결된다. RAM이 존재하는 경우, ROM은 선택 가능한 모듈이다. RAM은 실행 가능한 명령어를 저장할 수 있으며, 또는 작동 시, 실행 가능한 명령어를 ROM에 기록하며, 실행 가능한 명령어는 프로세서로 하여금 본 출원의 상기 어느 한 방법에 대응되는 조작을 실행할 수 있도록 한다. 입력/출력(I/O) 인터페이스도 버스에 연결된다. 통신부는 통합될 수 있거나, 버스에 연결된 복수 개의 서브 모듈(예를 들어 복수 개의 IB 랜 카드)을 구비하도록 구성될 수도 있다.
다음의 부재, 즉 키보드, 마우스 등을 포함하는 입력 부분; 음극 선관(CRT), 액정 디스플레이(LCD), 스피커 등을 포함하는 출력 부분; 하드웨어 등을 포함하는 저장 부분; 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신 부분은 I/O 인터페이스에 연결된다. 통신 부분은 인터넷과 같은 네트워크를 통해 통신 처리를 실행한다. 드라이버는 필요에 따라 I/O 인터페이스에 연결될 수도 있다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 탈착 가능한 매체는, 필요에 따라 탈착 가능한 매체로부터 판독된 컴퓨터 프로그램이 저장 부분에 설치되도록 필요에 따라 드라이버에 설치된다.
설명해야 할 것은, 도 13에 도시된 아키텍쳐는 다만 선택적인 구현 방식일 뿐이고, 실천 과정에서, 상기 도 13의 부재의 개수 및 타입은 실제 필요에 따라 선택, 감소, 추가 또는 교체되며; 상이한 기능적 부재 설치에서, 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수도 있으며, 예를 들어 GPU 및 CPU는 분리 설치되거나 GPU가 CPU에 통합될 수 있으며, 통신부는 CPU 또는 GPU에 분리 설치 또는 통합 설치될 수도 있는 것 등이다. 이러한 대안적인 실시형태는 모두 본 출원의 보호 범위에 속한다.
특히, 본 출원의 실시예에 따른 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현될 수 있다. 예를 들어, 본 출원의 실시예는 컴퓨터 프로그램 제품을 포함하고, 기계 판독 가능 매체에 타입적으로 포함된 컴퓨터 프로그램을 포함하며, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 출원의 실시예에서 제공한 얼굴 위조 방지 검출 방법의 단계를 실행하기 위한 명령어를 포함할 수 있다. 이러한 실시예에 있어서, 상기 컴퓨터 프로그램은 통신 부분을 통해 네트워크로부터 다운로드 및 설치될 수 있는 것 및 탈착 가능한 매체로부터 설치될 수 있는 것 중 적어도 하나를 수행할 수 있다. 상기 컴퓨터 프로그램이 CPU에 의해 실행될 경우, 본 출원의 방법에서 한정된 상기 기능을 실행한다.
또한, 본 출원의 실시예는 컴퓨터 명령어를 포함하는 컴퓨터 프로그램을 더 포함하고, 컴퓨터 명령어가 기기의 프로세서에서 작동될 경우, 본 출원의 상기 어느 한 실시예에 따른 특수 효과 프로그램 파일 패키지의 생성 방법, 또는 특수 효과 생성 방법을 구현한다.
또한, 본 출원의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 본 발명에서 전술한 어느 한 실시예에 따른 특수 효과 프로그램 파일 패키지의 생성 방법, 또는 특수 효과 생성 방법을 구현한다.
본 명세서에서 각 실시예는 모두 점진적으로 설명되며, 각 실시예는 다른 실시예와의 차이점을 중점적으로 설명하며, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조될 수 있다. 시스템 실시예는 방법 실시예에 대체적으로 대응되므로, 설명이 비교적 간단하고, 관련 부분에 대해서는 방법 실시예의 일부 설명을 참조하면 된다.
본 출원의 방법과 장치는 많은 방식으로 구현된다. 예를 들어, 본 출원의 방법과 장치는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 언급되지 않는 한, 상기 방법의 단계의 상기 순서는 다만 구체적인 설명을 위한 것이며, 본 출원의 방법의 단계를 한정하려는 것은 아니다. 또한, 일부 실시예에 있어서, 또한 본 출원을 기록 매체에 기록된 프로그램으로 실시할 수 있으며, 이러한 프로그램은 본 출원의 방법을 구현하기 위한 기계 판독 가능한 명령어를 포함한다. 따라서, 본 출원은 본 출원에 따른 방법들을 실행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.
본 출원의 설명은 예 및 설명을 목적으로 제공되며, 누락되지 않는 형태로 한정하거나 본 출원을 개시된 형태로 한정하려는 것은 아니다. 많은 수정과 변경이 본 기술분야의 통상의 기술자에게 자명하다. 실시예를 선택하고 설명한 것은 본 출원의 원리 및 실제 응용을 더 잘 설명하기 위해서이고, 본 기술분야의 통상의 기술자로 하여금 본 출원을 이해하여, 특정 사용에 적용 가능한 다양한 수정들을 갖는 다양한 실시예들을 설계할 수 있도록 한다.

Claims (79)

  1. 특수 효과 프로그램 파일 패키지의 생성 방법으로서,
    상기 방법은,
    서브 머티리얼을 도입하는 단계;
    상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하는 단계; 및
    상기 서브 머티리얼, 상기 대응 관계 및 상기 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하는 단계를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  2. 제1항에 있어서,
    상기 서브 머티리얼을 도입하는 단계는,
    조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  3. 제2항에 있어서,
    상기 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계는,
    상기 조작 바의 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계; 또는
    상기 조작 바의 인터랙션 인터페이스를 통해 송신된 선택 명령어를 수신하고, 상기 선택 명령어에 의해 선택된 기준 부분을 상기 현재 특수 효과가 추가되어야 하는 타겟 부분으로 사용하며, 상기 조작 바에 상기 타겟 부분의 특수 효과 파라미터 설정 인터페이스를 디스플레이하는 단계; 및 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  4. 제2항 또는 제3항에 있어서,
    인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하는 단계는,
    상기 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더를 획득 및 디스플레이하는 단계;
    상기 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신한 것에 응답하여, 상기 서브 머티리얼 선택 조작에 의해 선택된 서브 머티리얼을 도입하는 단계; 및
    상기 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신하지 못한 것에 응답하여, 사전 설정에 따라 머티리얼 폴더에서의 적어도 하나의 서브 머티리얼을 선택하고, 사전 설정에 따라 선택된 서브 머티리얼을 도입하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 서브 머티리얼은, 이미지, 애니메이션, 비디오, 사운드 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 키 포인트는, 머리 키 포인트, 얼굴 키 포인트, 어깨 키 포인트, 팔 키 포인트, 제스처 키 포인트, 허리 키 포인트, 다리 키 포인트, 발 키 포인트, 인체 골격 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  7. 제6항에 있어서,
    상기 머리 키 포인트가 머리 상부 키 포인트, 코 끝 키 포인트 및 턱 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 얼굴 키 포인트가 얼굴 윤곽 키 포인트, 눈 키 포인트, 눈썹 키 포인트, 코 키 포인트, 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 어깨 키 포인트가 어깨와 머리 교차 위치에 위치한 어깨 및 머리 교차 키 포인트, 및 팔 끝 윤곽 키 포인트와 어깨 및 머리 교차 키 포인트 사이의 중간 위치에 위치한 어깨 윤곽 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 팔 키 포인트가 손목 윤곽 키 포인트, 팔 꿈치 윤곽 키 포인트, 팔 끝 윤곽 키 포인트, 손목 윤곽 키 포인트와 팔 꿈치 윤곽 키 포인트 사이의 중간 위치에 위치한 하완 윤곽 중간 위치 키 포인트, 및 팔 꿈치 윤곽 키 포인트와 팔 끝 윤곽 키 포인트 사이의 중간 위치에 위치한 상완 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 제스처 키 포인트가 제스처 박스의 4 개의 정점 키 포인트 및 제스처 박스의 중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 다리 키 포인트가 가랑이 키 포인트, 무릎 윤곽 키 포인트, 발목 윤곽 키 포인트, 허벅지 끝 외부 윤곽 키 포인트, 무릎 윤곽 키 포인트와 발목 윤곽 키 포인트 사이의 중간 위치에 위치한 종아리 윤곽 중간 위치 키 포인트, 무릎 내부 윤곽 키 포인트와 가랑이 키 포인트 사이의 중간 위치에 위치한 허벅지 내부 윤곽 중간 위치 키 포인트, 및 무릎 외부 윤곽 키 포인트와 허벅지 끝 외부 윤곽 키 포인트 사이의 중간 위치에 위치한 허벅지 외부 윤곽 중간 위치 키 포인트를 포함하는 것;
    상기 허리 키 포인트가 허벅지 끝 외부 윤곽 키 포인트와 팔 끝 윤곽 키 포인트 사이를 N 등분하여, 생성된 N 개의 등분 포인트 중 어느 하나 또는 복수 개를 포함하는 것 - 상기 N은 1보다 큼 - ;
    상기 발 키 포인트가 발 끝 키 포인트 및 발 꿈치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및
    상기 인체 골격 키 포인트가 오른쪽 어깨 골격 키 포인트, 오른쪽 팔 꿈치 골격 키 포인트, 오른쪽 손목 골격 키 포인트, 왼쪽 어깨 골격 키 포인트, 왼쪽 팔 꿈치 골격 키 포인트, 왼쪽 손목 골격 키 포인트, 오른쪽 엉덩이 골격 키 포인트, 오른쪽 무릎 골격 키 포인트, 오른쪽 발목 골격 키 포인트, 왼쪽 엉덩이 골격 키 포인트, 왼쪽 무릎 골격 키 포인트, 왼쪽 발목 골격 키 포인트, 머리 상부 골격 키 포인트, 및 목 골격 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  8. 제7항에 있어서,
    상기 눈 키 포인트가 왼쪽 눈구멍 키 포인트, 왼쪽 눈 동공 중심 키 포인트, 왼쪽 눈 중심 키 포인트, 오른쪽 눈구멍 키 포인트, 오른쪽 눈 동공 중심 키 포인트 및 오른쪽 눈 중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 눈썹 키 포인트가 왼쪽 눈썹 키 포인트 및 오른쪽 눈썹 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 코 키 포인트가 콧등 키 포인트, 콧볼 키 포인트 및 코 외부 윤곽 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및
    상기 입술 키 포인트가 윗 입술 키 포인트 및 아랫 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나를 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하는 단계는,
    상기 서브 머티리얼의 디스플레이 위치 및 상기 적어도 하나의 키 포인트 사이의 대응 관계를 구축하는 단계; 및
    상기 서브 머티리얼의 디스플레이 위치 및 검출 박스의 중심 키 포인트 사이의 대응 관계를 구축하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  10. 제3항 내지 제9항 중 어느 한 항에 있어서,
    상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계는,
    상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 것에 응답하여, 상기 설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계; 및
    상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신하지 못한 것에 응답하여, 기설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 재생 파라미터는,
    상기 서브 머티리얼이 디스플레이되었는지 여부를 나타내기 위한 디스플레이 파라미터;
    상기 서브 머티리얼 디스플레이를 트리거하는 트리거 동작을 나타내기 위한 트리거 동작 파라미터;
    상기 서브 머티리얼의 순환 재생 횟수을 나타내기 위한 순환 파라미터;
    상기 서브 머티리얼을 지연 디스플레이하는 시간을 나타내기 위한 지연 트리거 파라미터;
    상기 서브 머티리얼 디스플레이를 종료하는 동작을 나타내기 위한 트리거 종료 파라미터;
    상기 서브 머티리얼의 디스플레이 크기 변화의 기준을 나타내기 위한 디스플레이 크기 파라미터;
    상기 서브 머티리얼 및 위치의 관계 타입을 나타내기 위한 위치 타입 파라미터;
    상기 서브 머티리얼이 기설정된 기준 부분을 따라 이동하는지 여부를 나타내기 위한 위치 관련 파라미터;
    상기 서브 머티리얼과 기설정된 키 포인트 사이의 위치의 바인딩 관계를 나타내기 위한 위치 파라미터; 및
    상기 서브 머티리얼 회전이 의거하는 키 포인트를 나타내기 위한 회전 파라미터 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  12. 제11항에 있어서,
    상기 트리거 동작 파라미터에 대응되는 트리거 동작은 무동작 트리거, 눈 동작, 머리 동작, 눈썹 동작, 손 동작, 입술 동작, 어깨 동작 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 위치 타입 파라미터는,
    전경을 나타내기 위한 파라미터;
    상기 서브 머티리얼이 얼굴 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 손의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 머리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 어깨의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 팔의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 허리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 다리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 발의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 인체 골격의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    기준 부분에 관련된 재생 위치 관계; 및
    배경을 나타내기 위한 파라미터; 중 어느 하나를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  14. 제13항에 있어서,
    상기 기준 부분에 관련된 재생 위치 관계는,
    상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되는 것;
    상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되는 것; 및
    상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 평면 회전을 따라 회전되는 것; 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    내용 디스플레이 바를 통해 기준 이미지를 디스플레이하고, 상기 기준 이미지에서의 키 포인트를 디스플레이하는 단계 - 상기 기준 이미지는 적어도 하나의 기준 부분을 포함함 - 를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  16. 제15항에 있어서,
    상기 기준 이미지는, 기준 인물의 적어도 일 부분의 이미지를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  17. 제16항에 있어서,
    상기 기준 인물의 적어도 일부분의 이미지는 상기 기준 인물의 완전한 이미지, 머리 이미지, 얼굴 이미지, 어깨 이미지, 팔 이미지, 제스처 이미지, 허리 이미지, 다리 이미지, 발 이미지 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 서브 머티리얼을 도입한 후, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 내용 디스플레이 바에서 도입된 서브 머티리얼을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  19. 제18항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 위치에 대한 이동 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 위치를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  20. 제18항 또는 제19항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 크기에 대한 조정 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 크기를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    조작 바의 인터랙션 인터페이스를 통해 수신된 두 개 또는 두 개 이상의 서브 머티리얼에 대해 송신된 계층 파라미터 조정 명령어에 따라, 상기 두 개 또는 두 개 이상의 서브 머티리얼 사이의 차폐 관계를 조정하고, 조정된 차폐 관계 및 상기 재생 파라미터의 파라미터 값에 따라 상기 두 개 또는 두 개 이상의 서브 머티리얼을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지를 생성하기 전, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    기설정된 특수 효과 프로그램 파일 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼의 특수 효과 프로그램 파일을 생성하고, 프로그램 파일 바를 통해 상기 서브 머티리얼의 특수 효과 프로그램 파일을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  23. 제22항에 있어서,
    상기 특수 효과 프로그램 파일은json 프로그램으로 생성된 특수 효과 프로그램 파일을 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  24. 제1항 내지 제23항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    수신된 작동 명령어에 따라 작동하고, 조작 인터페이스를 디스플레이하는 단계 - 상기 조작 인터페이스는, 조작 바, 내용 디스플레이 바 및 프로그램 파일 바 중 적어도 하나를 포함함 - 를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  25. 제24항에 있어서,
    상기 조작 인터페이스는 왼쪽, 중간 및 오른쪽에 위치한 세 개의 영역을 포함하고;
    상기 조작 인터페이스를 디스플레이하는 단계는,
    상기 조작 인터페이스의 왼쪽에서 상기 조작 바를 디스플레이하고, 상기 조작 인터페이스의 중간에서 상기 내용 디스플레이 바를 디스플레이하며, 상기 조작 인터페이스의 오른쪽에서 상기 프로그램 파일 바를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  26. 제1항 내지 제25항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지를 생성하는 단계 후, 상기 특수 효과 프로그램 파일 패키지의 생성 방법은,
    수신된 저장 명령어에 따라 상기 저장 명령어가 가리키는 위치에서 상기 특수 효과 프로그램 파일 패키지를 저장하는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  27. 제26항에 있어서,
    상기 수신된 저장 명령어에 따라 상기 저장 명령어가 가리키는 위치에서 상기 특수 효과 프로그램 파일 패키지를 저장하는 단계는,
    저장 명령어를 수신한 것에 응답하여, 저장 경로 선택 인터페이스 및 압축 인터페이스를 디스플레이하는 단계;
    상기 저장 경로 선택 인터페이스를 통해 송신된 저장 위치를 수신하는 단계; 상기 압축 인터페이스에 기반하여 송신된 압축 모드를 수신하고, 상기 압축 모드에 따라 상기 서브 머티리얼의 특수 효과 프로그램 파일 패키지를 압축하며, 압축 파일 패키지를 생성하는 단계; 및
    상기 압축 파일 패키지를 상기 저장 위치가 가리키는 폴더에 저장하는 단계를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  28. 제1항 내지 제27항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지에서 서브 머티리얼의 크기는 상기 서브 머티리얼이 도입되기 전의 크기로 유지되는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 방법.
  29. 특수 효과 생성 방법으로서,
    특수 효과 프로그램 파일 패키지를 도입하는 단계;
    상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계;
    비디오 이미지에 대해 키 포인트 검출을 수행하는 단계; 및
    검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 상기 서브 머티리얼의 특수 효과를 생성하는 단계를 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  30. 제29항에 있어서,
    상기 특수 효과 프로그램 파일 패키지는 서브 머티리얼 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함하고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값은 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  31. 제29항 또는 제30항에 있어서,
    상기 특수 효과 프로그램 파일 패키지를 도입하는 단계는,
    스티커 머티리얼을 읽기 위한 제1 인터페이스 함수를 호출하는 것을 통해, 상기 특수 효과 프로그램 파일 패키지를 내부 저장소로 판독 액세스하는 단계; 및
    상기 특수 효과 프로그램 파일 패키지를 해석하고, 상기 서브 머티리얼 및 특수 효과 프로그램 파일을 획득하는 단계 - 상기 특수 효과 프로그램 파일은 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함함 - 를 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  32. 제31항에 있어서,
    상기 특수 효과 프로그램 파일은, json 프로그램의 특수 효과 프로그램 파일을 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  33. 제31항 또는 제32항에 있어서,
    상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하는 단계는,
    스티커 핸들을 생성하기 위한 제2 인터페이스 함수를 통해 스티커 핸들을 생성하는 단계; 및
    상기 서브 머티리얼 및 상기 특수 효과 프로그램 파일에서의 재생 파라미터의 파라미터 값을 읽고, 상기 스티커 핸들에 저장하는 단계를 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  34. 제33항에 있어서,
    상기 특수 효과 생성 방법은,
    상기 스티커 핸들의 상기 특수 효과 프로그램 파일 중 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼이 비디오에서 디스플레이될 위치 및 비디오 프레임 개수를 획득하고, 미리 상기 비디오로부터 상기 비디오 프레임 개수에 대응되는 비디오 이미지를 읽는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  35. 제33항 또는 제34항에 있어서,
    상기 검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 상기 서브 머티리얼의 특수 효과를 생성하는 단계는,
    스티커 머티리얼을 랜더링하기 위한 제3 인터페이스 함수를 호출하는 것을 통해, 상기 스티커 핸들로부터 상기 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 읽는 단계;
    상기 검출된 키 포인트 및 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태 및 디스플레이될 위치를 결정하는 단계; 및
    상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 상기 현재 비디오 이미지에서의 상기 디스플레이될 위치에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  36. 제33항 내지 제35 중 어느 한 항에 있어서,
    상기 특수 효과 생성 방법은,
    상기 특수 효과 프로그램 파일 패키지가 재생 완료된 것에 응답하여, 스티커 핸들을 제거하기 위한 제4 인터페이스 함수를 호출하는 것을 통해 상기 스티커 핸들을 제거하는 단계를 더 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  37. 제30항 내지 제36항 중 어느 한 항에 있어서,
    상기 비디오 이미지에 대해 키 포인트 검출을 수행하는 단계는,
    신경 네트워크를 통해, 상기 비디오 이미지에 대해 상기 대응 관계에 관련된 키 포인트 검출을 수행하고, 키 포인트 검출 결과를 출력하는 단계를 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  38. 제37항에 있어서,
    상기 키 포인트 검출 결과는,
    상기 대응 관계에 관련된 키 포인트가 상기 비디오 이미지에서의 위치; 및
    상기 대응 관계에 관련된 키 포인트의 기설정된 번호 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 생성 방법.
  39. 제29항 내지 제38항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지는 제1항 내지 제28항 중 어느 한 항에 따른 특수 효과 프로그램 파일 패키지의 생성 방법을 사용하여 생성된 특수 효과 프로그램 파일 패키지인 것을 특징으로 하는 특수 효과 생성 방법.
  40. 특수 효과 프로그램 파일 패키지의 생성 장치로서,
    서브 머티리얼을 도입하기 위한 제1 도입 모듈;
    상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하고, 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축하기 위한 제1 획득 모듈; 및
    상기 서브 머티리얼, 상기 대응 관계 및 상기 파라미터 값에 따라 특수 효과 프로그램 파일 패키지를 생성하기 위한 제1 생성 모듈을 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  41. 제40항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 장치는,
    조작 바를 포함하는 조작 인터페이스; 및
    상기 조작 바의 인터랙션 인터페이스를 통해 입력된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하기 위한 상기 제1 도입 모듈을 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  42. 제41항에 있어서,
    상기 제1 도입 모듈은,
    상기 조작 바의 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하고; 또는
    상기 조작 바의 인터랙션 인터페이스를 통해 송신된 선택 명령어를 수신하고, 상기 선택 명령어에 의해 선택된 기준 부분을 상기 현재 특수 효과가 추가되어야 하는 타겟 부분으로 사용하며, 상기 조작 바에 상기 타겟 부분의 특수 효과 파라미터 설정 인터페이스를 디스플레이하며; 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더에서의 서브 머티리얼을 도입하기 위한 것임을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  43. 제41항 또는 제42항에 있어서,
    상기 제1 도입 모듈은,
    상기 인터랙션 인터페이스를 통해 송신된 도입 명령어를 수신하고, 상기 도입 명령어가 가리키는 머티리얼 폴더를 획득 및 디스플레이하는 것;
    상기 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신한 것에 응답하여, 상기 서브 머티리얼 선택 조작에 의해 선택된 서브 머티리얼을 도입하는 것; 및
    상기 머티리얼 폴더에서의 서브 머티리얼에 대한 선택 조작을 수신하지 못한 것에 응답하여, 사전 설정에 따라 머티리얼 폴더에서의 적어도 하나의 서브 머티리얼을 선택하고, 사전 설정에 따라 선택된 서브 머티리얼을 도입하는 것 중 적어도 하나를 수행하기 위한 것임을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  44. 제40항 내지 제44항 중 어느 한 항에 있어서,
    상기 서브 머티리얼은, 이미지, 애니메이션, 비디오, 사운드 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  45. 제40항 내지 제44항 중 어느 한 항에 있어서,
    상기 키 포인트는, 머리 키 포인트, 얼굴 키 포인트, 어깨 키 포인트, 팔 키 포인트, 제스처 키 포인트, 허리 키 포인트, 다리 키 포인트, 발 키 포인트, 인체 골격 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  46. 제45항에 있어서,
    상기 머리 키 포인트가 머리 상부 키 포인트, 코 끝 키 포인트 및 턱 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 얼굴 키 포인트가 얼굴 윤곽 키 포인트, 눈 키 포인트, 눈썹 키 포인트, 코 키 포인트, 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 어깨 키 포인트가 어깨와 머리 교차 위치에서의 어깨 및 머리 교차 키 포인트, 및 팔 끝 윤곽 키 포인트와 어깨 및 머리 교차 키 포인트 사이의 중간 위치에 위치한 어깨 윤곽 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 팔 키 포인트가 손목 윤곽 키 포인트, 팔 꿈치 윤곽 키 포인트, 팔 끝 윤곽 키 포인트, 손목 윤곽 키 포인트와 팔 꿈치 윤곽 키 포인트 사이의 중간 위치에 위치한 하완 윤곽 중간 위치 키 포인트, 및 팔 꿈치 윤곽 키 포인트와 팔 끝 윤곽 키 포인트 사이의 중간 위치에 위치한 상완 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 제스처 키 포인트가 제스처 박스의 4 개의 정점 키 포인트 및 제스처 박스의 중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 다리 키 포인트가 가랑이 키 포인트, 무릎 윤곽 키 포인트, 발목 윤곽 키 포인트, 허벅지 끝 외부 윤곽 키 포인트, 무릎 윤곽 키 포인트와 발목 윤곽 키 포인트 사이의 중간 위치에 위치한 종아리 윤곽 중간 위치 키 포인트, 무릎 내부 윤곽 키 포인트와 가랑이 키 포인트 사이의 중간 위치에 위치한 허벅지 내부 윤곽 중간 위치 키 포인트, 및 무릎 외부 윤곽 키 포인트와 허벅지 끝 외부 윤곽 키 포인트 사이의 중간 위치에 위치한 허벅지 외부 윤곽 중간 위치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 허리 키 포인트가 허벅지 끝 외부 윤곽 키 포인트와 팔 끝 윤곽 키 포인트 사이를 N 등분하여, 생성된 N 개의 등분 포인트 중 어느 하나 또는 복수 개를 포함하는 것 - 상기 N은 1보다 큼 - ;
    상기 발 키 포인트가 발 끝 키 포인트 및 발 꿈치 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및
    상기 인체 골격 키 포인트가 오른쪽 어깨 골격 키 포인트, 오른쪽 팔 꿈치 골격 키 포인트, 오른쪽 손목 골격 키 포인트, 왼쪽 어깨 골격 키 포인트, 왼쪽 팔 꿈치 골격 키 포인트, 왼쪽 손목 골격 키 포인트, 오른쪽 엉덩이 골격 키 포인트, 오른쪽 무릎 골격 키 포인트, 오른쪽 발목 골격 키 포인트, 왼쪽 엉덩이 골격 키 포인트, 왼쪽 무릎 골격 키 포인트, 왼쪽 발목 골격 키 포인트, 머리 상부 골격 키 포인트, 및 목 골격 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나를 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  47. 제46항에 있어서,
    상기 눈 키 포인트가 왼쪽 눈구멍 키 포인트, 왼쪽 눈 동공중심 키 포인트, 왼쪽 눈중심 키 포인트, 오른쪽 눈구멍 키 포인트, 오른쪽 눈 동공중심 키 포인트, 및 오른쪽 눈중심 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 눈썹 키 포인트가 왼쪽 눈썹 키 포인트 및 오른쪽 눈썹 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것;
    상기 코 키 포인트가 콧등 키 포인트, 콧볼 키 포인트 및 코 외부 윤곽 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 및
    상기 입술 키 포인트가 윗 입술 키 포인트 및 아랫 입술 키 포인트 중 어느 하나 또는 복수 개를 포함하는 것; 중 적어도 하나를 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  48. 제40항 내지 제47항 중 어느 한 항에 있어서,
    상기 제1 획득 모듈은 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 구축할 경우,
    상기 서브 머티리얼의 디스플레이 위치 및 상기 적어도 하나의 키 포인트 사이의 대응 관계를 구축하고;
    상기 서브 머티리얼의 디스플레이 위치 및 검출 박스의 중심 키 포인트 사이의 대응 관계를 구축하기 위한 것임을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  49. 제42항 내지 제49항 중 어느 한 항에 있어서,
    상기 제1 획득 모듈은 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득할 경우, 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신한 것에 응답하여, 상기 설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 것; 및 상기 특수 효과 파라미터 설정 인터페이스에서의 인터랙션 인터페이스를 통해 송신된 상기 서브 머티리얼의 재생 파라미터에 대해 설정된 파라미터 값을 수신하지 못한 것에 응답하여, 기설정된 파라미터 값을 상기 서브 머티리얼의 재생 파라미터의 파라미터 값으로 사용하는 것 중 적어도 하나를 수행하기 위한 것임을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  50. 제40항 내지 제49항 중 어느 한 항에 있어서,
    상기 재생 파라미터는,
    상기 서브 머티리얼이 디스플레이되었는지 여부를 나타내기 위한 디스플레이 파라미터;
    상기 서브 머티리얼 디스플레이를 트리거하는 트리거 동작을 나타내기 위한 트리거 동작 파라미터;
    상기 서브 머티리얼의 순환 재생 횟수을 나타내기 위한 순환 파라미터;
    상기 서브 머티리얼을 지연 디스플레이하는 시간을 나타내기 위한 지연 트리거 파라미터;
    상기 서브 머티리얼 디스플레이를 종료하는 동작을 나타내기 위한 트리거 종료 파라미터;
    상기 서브 머티리얼의 디스플레이 크기 변화의 기준을 나타내기 위한 디스플레이 크기 파라미터;
    상기 서브 머티리얼 및 위치의 관계 타입을 나타내기 위한 위치 타입 파라미터;
    상기 서브 머티리얼이 기설정된 기준 부분을 따라 이동하는지 여부를 나타내기 위한 위치 관련 파라미터;
    상기 서브 머티리얼과 기설정된 키 포인트 사이의 위치의 바인딩 관계를 나타내기 위한 위치 파라미터; 및
    상기 서브 머티리얼 회전이 의거하는 키 포인트를 나타내기 위한 회전 파라미터 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  51. 제40항에 있어서,
    상기 트리거 동작 파라미터에 대응되는 트리거 동작은 무동작 트리거, 눈 동작, 머리 동작, 눈썹 동작, 손 동작, 입술 동작, 어깨 동작 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  52. 제50항 또는 제51항에 있어서,
    상기 위치 타입 파라미터는,
    전경을 나타내기 위한 파라미터;
    상기 서브 머티리얼이 얼굴 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 손의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 머리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 어깨의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 팔의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 허리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 다리의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 발의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    상기 서브 머티리얼이 인체 골격의 위치를 따라 위치 결정되는 것 및 이동하는 것 중 적어도 하나를 나타내기 위한 파라미터;
    기준 부분에 관련된 재생 위치 관계; 및
    배경을 나타내기 위한 파라미터 중 어느 하나를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  53. 제52항에 있어서,
    상기 기준 부분에 관련된 재생 위치 관계는,
    상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되는 것;
    상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되는 것; 및
    상기 서브 머티리얼이 상기 기준 부분의 위치를 따라 이동하고, 상기 서브 머티리얼이 상기 기준 부분의 크기를 따라 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 회전을 따라 뎁스 스케일링되며, 상기 서브 머티리얼이 상기 기준 부분의 평면 회전을 따라 회전되는 것; 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  54. 제40항 내지 제53항 중 어느 한 항에 있어서,
    상기 조작 인터페이스는 기준 이미지를 디스플레이하고, 상기 기준 이미지에서의 키 포인트를 디스플레이하기 위한 내용 디스플레이 바 - 상기 기준 이미지는 적어도 하나의 기준 부분을 포함함 - 를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  55. 제54항에 있어서,
    상기 기준 이미지는, 기준 인물의 적어도 일 부분의 이미지를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  56. 제55항에 있어서,
    상기 기준 인물의 적어도 일부분의 이미지는 상기 기준 인물의 완전한 이미지, 머리 이미지, 얼굴 이미지, 어깨 이미지, 팔 이미지, 제스처 이미지, 허리 이미지, 다리 이미지, 발 이미지 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  57. 제54항 내지 제56항 중 어느 한 항에 있어서,
    상기 내용 디스플레이 바는 또한, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 도입된 서브 머티리얼을 디스플레이하기 위한 것임을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  58. 제57항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 장치는,
    상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 위치에 대한 이동 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 위치를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하기 위한 제1 업데이트 모듈을 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  59. 제57항 또는 제58항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 장치는,
    상기 내용 디스플레이 바를 통해 수신된 상기 서브 머티리얼의 크기에 대한 조정 조작에 따라, 상기 서브 머티리얼이 상기 내용 디스플레이 바에서의 디스플레이 크기를 업데이트하고, 상기 서브 머티리얼의 재생 파라미터에서의 상응하는 파라미터 값을 업데이트하기 위한 제2 업데이트 모듈을 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  60. 제40항 내지 제59항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 장치는,
    조작 바의 인터랙션 인터페이스를 통해 수신된 두 개 또는 두 개 이상의 서브 머티리얼에 대해 송신된 계층 파라미터 조정 명령어에 따라, 상기 두 개 또는 두 개 이상의 서브 머티리얼 사이의 차폐 관계를 조정하고, 조정된 차폐 관계 및 상기 재생 파라미터의 파라미터 값에 따라 상기 두 개 또는 두 개 이상의 서브 머티리얼을 디스플레이하기 위한 조정 모듈을 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  61. 제40항 내지 제60항 중 어느 한 항에 있어서,
    상기 조작 인터페이스는,
    기설정된 특수 효과 프로그램 파일 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼의 특수 효과 프로그램 파일을 생성하고, 상기 서브 머티리얼의 특수 효과 프로그램 파일을 디스플레이하기 위한 프로그램 파일 바를 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  62. 제61항에 있어서,
    상기 특수 효과 프로그램 파일은json 프로그램으로 생성된 특수 효과 프로그램 파일을 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  63. 제40항 내지 제62항 중 어느 한 항에 있어서,
    상기 조작 인터페이스는 왼쪽, 중간 및 오른쪽에 위치한 세 개의 영역을 포함하고;
    상기 조작 인터페이스의 왼쪽은 상기 조작 바를 디스플레이하기 위한 것이고, 상기 조작 인터페이스의 중간은 상기 내용 디스플레이 바를 디스플레이하기 위한 것이며, 상기 조작 인터페이스의 오른쪽은 상기 프로그램 파일 바를 디스플레이하기 위한 것임을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  64. 제40항 내지 제63항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지의 생성 장치는,
    수신된 저장 명령어에 따라 상기 저장 명령어가 가리키는 위치에서 상기 특수 효과 프로그램 파일 패키지를 저장하기 위한 저장 모듈을 더 포함하는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  65. 제64항에 있어서,
    상기 저장 모듈은, 저장 명령어를 수신한 것에 응답하여, 저장 경로 선택 인터페이스 및 압축 인터페이스를 디스플레이하고; 상기 저장 경로 선택 인터페이스를 통해 송신된 저장 위치를 수신하며; 상기 압축 인터페이스에 기반하여 송신된 압축 모드를 수신하고, 상기 압축 모드에 따라 상기 서브 머티리얼의 특수 효과 프로그램 파일 패키지를 압축하며, 압축 파일 패키지를 생성하며;
    상기 압축 파일 패키지를 상기 저장 위치가 가리키는 폴더에 저장하기 위한 것임을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  66. 제40항 내지 제65항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지에서 서브 머티리얼의 크기는 상기 서브 머티리얼이 도입되기 전의 크기로 유지되는 것을 특징으로 하는 특수 효과 프로그램 파일 패키지의 생성 장치.
  67. 특수 효과 생성 장치로서,
    특수 효과 프로그램 파일 패키지를 도입하기 위한 제2 도입 모듈;
    상기 특수 효과 프로그램 파일 패키지 중 서브 머티리얼의 재생 파라미터의 파라미터 값을 획득하기 위한 제2 획득 모듈;
    비디오 이미지에 대해 키 포인트 검출을 수행하기 위한 키 포인트 검출 모듈; 및
    검출된 키 포인트 및 상기 재생 파라미터의 파라미터 값에 기반하여, 상기 비디오 이미지에서 상기 서브 머티리얼의 특수 효과를 생성하기 위한 제2 생성 모듈을 포함하는 것을 특징으로 하는 특수 효과 생성 장치.
  68. 제67항에 있어서,
    상기 특수 효과 프로그램 파일 패키지는 서브 머티리얼 및 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함하고, 상기 서브 머티리얼의 재생 파라미터의 파라미터 값은 상기 서브 머티리얼의 디스플레이 위치와 적어도 하나의 기설정된 키 포인트 사이의 대응 관계를 포함하는 것을 특징으로 하는 특수 효과 생성 장치.
  69. 제67항 또는 제68항에 있어서,
    상기 제2 도입 모듈은, 스티커 머티리얼을 읽기 위한 제1 인터페이스 함수를 호출하는 것을 통해, 상기 특수 효과 프로그램 파일 패키지를 내부 저장소로 판독 액세스하고; 상기 특수 효과 프로그램 파일 패키지를 해석하며, 상기 서브 머티리얼 및 특수 효과 프로그램 파일을 획득하기 위한 것 - 상기 특수 효과 프로그램 파일은 상기 서브 머티리얼의 재생 파라미터의 파라미터 값을 포함함 - 임을 특징으로 하는 특수 효과 생성 장치.
  70. 제69항에 있어서,
    상기 특수 효과 프로그램 파일은, json 프로그램의 특수 효과 프로그램 파일을 포함하는 것을 특징으로 하는 특수 효과 생성 장치.
  71. 제69항 또는 제70항에 있어서,
    상기 제2 획득 모듈은, 스티커 핸들을 생성하기 위한 제2 인터페이스 함수를 통해 스티커 핸들을 생성하고; 상기 서브 머티리얼 및 상기 특수 효과 프로그램 파일에서의 재생 파라미터의 파라미터 값을 읽고, 상기 스티커 핸들에 저장하기 위한 것임을 특징으로 하는 특수 효과 생성 장치.
  72. 제71항에 있어서,
    상기 특수 효과 생성 장치는,
    상기 스티커 핸들의 상기 특수 효과 프로그램 파일 중 재생 파라미터의 파라미터 값에 따라, 상기 서브 머티리얼이 비디오에서 디스플레이될 위치 및 비디오 프레임 개수를 획득하고, 미리 상기 비디오로부터 상기 비디오 프레임 개수에 대응되는 비디오 이미지를 읽기 위한 제3 획득 모듈을 더 포함하는 것을 특징으로 하는 특수 효과 생성 장치.
  73. 제71항 또는 제72항에 있어서,
    상기 제2 생성 모듈은, 스티커 머티리얼을 랜더링하기 위한 제3 인터페이스 함수를 호출하는 것을 통해, 상기 스티커 핸들로부터 상기 비디오의 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 읽고; 상기 검출된 키 포인트 및 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼의 재생 파라미터의 파라미터 값에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태 및 디스플레이될 위치를 결정하며; 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼이 상기 현재 비디오 이미지에서의 재생 상태에 따라, 상기 현재 비디오 이미지에서 디스플레이되어야 하는 서브 머티리얼을 상기 현재 비디오 이미지에서의 상기 디스플레이될 위치에 디스플레이하기 위한 것임을 특징으로 하는 특수 효과 생성 장치.
  74. 제71항 내지 제73항 중 어느 한 항에 있어서,
    상기 제2 획득 모듈은 또한, 상기 특수 효과 프로그램 파일 패키지가 재생 완료된 것에 응답하여, 스티커 핸들을 제거하기 위한 제4 인터페이스 함수를 호출하는 것을 통해 상기 스티커 핸들을 제거하기 위한 것임을 특징으로 하는 특수 효과 생성 장치.
  75. 제68항 내지 제74항 중 어느 한 항에 있어서,
    상기 키 포인트 검출 모듈은, 신경 네트워크를 통해, 상기 비디오 이미지에 대해 상기 대응 관계에 관련된 키 포인트 검출을 수행하고, 키 포인트 검출 결과를 출력하기 위한 것임을 특징으로 하는 특수 효과 생성 장치.
  76. 제75항에 있어서,
    상기 키 포인트 검출 결과는 상기 대응 관계에 관련된 키 포인트가 상기 비디오 이미지에서의 위치; 및 상기 대응 관계에 관련된 키 포인트의 기설정된 번호 중 어느 하나 또는 복수 개를 포함하는 것을 특징으로 하는 특수 효과 생성 장치.
  77. 제67항 내지 제76항 중 어느 한 항에 있어서,
    상기 특수 효과 프로그램 파일 패키지는 제1항 내지 제28항 중 어느 한 항에 따른 특수 효과 프로그램 파일 패키지의 생성 방법 또는 제40항 내지 제66항 중 어느 한 항에 따른 특수 효과 프로그램 파일 패키지의 생성 장치에 의해 생성된 특수 효과 프로그램 파일 패키지인 것을 특징으로 하는 특수 효과 생성 장치.
  78. 전자 기기로서,
    컴퓨터 프로그램을 저장하기 위한 메모리; 및
    상기 메모리에 저장된 컴퓨터 프로그램을 실행하기 위한 프로세서를 포함하며,
    상기 컴퓨터 프로그램은 실행될 경우, 제1항 내지 제39항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 전자 기기.
  79. 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 상기 제1항 내지 제39항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
KR1020207016777A 2018-01-19 2019-01-10 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기 KR20200087798A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810055429.9A CN108259496B (zh) 2018-01-19 2018-01-19 特效程序文件包的生成及特效生成方法与装置、电子设备
CN201810055429.9 2018-01-19
PCT/CN2019/071094 WO2019141126A1 (zh) 2018-01-19 2019-01-10 特效程序文件包的生成及特效生成方法与装置、电子设备

Publications (1)

Publication Number Publication Date
KR20200087798A true KR20200087798A (ko) 2020-07-21

Family

ID=62741327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016777A KR20200087798A (ko) 2018-01-19 2019-01-10 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기

Country Status (6)

Country Link
US (1) US11521389B2 (ko)
JP (1) JP7015921B2 (ko)
KR (1) KR20200087798A (ko)
CN (1) CN108259496B (ko)
SG (1) SG11202004849YA (ko)
WO (1) WO2019141126A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259496B (zh) 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN112860168B (zh) 2018-02-08 2022-08-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN109064388A (zh) * 2018-07-27 2018-12-21 北京微播视界科技有限公司 人脸图像效果生成方法、装置和电子设备
CN108958610A (zh) 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN108882025B (zh) * 2018-08-07 2019-12-10 北京字节跳动网络技术有限公司 视频帧处理方法和装置
CN110941974B (zh) * 2018-09-21 2021-07-20 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110941327A (zh) * 2018-09-21 2020-03-31 北京微播视界科技有限公司 虚拟对象的显示方法和装置
CN110069125B (zh) * 2018-09-21 2023-12-22 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110069126B (zh) * 2018-11-16 2023-11-03 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110428390B (zh) * 2019-07-18 2022-08-26 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
CN112887631B (zh) * 2019-11-29 2022-08-12 北京字节跳动网络技术有限公司 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
CN112929732B (zh) * 2019-12-06 2022-07-08 腾讯科技（深圳）有限公司 视频的处理方法、装置和计算机存储介质
CN112637518B (zh) * 2020-12-21 2023-03-24 北京字跳网络技术有限公司 模拟拍照特效的生成方法、装置、设备及介质
CN115239845A (zh) * 2021-04-25 2022-10-25 北京字跳网络技术有限公司 一种特效配置文件的生成方法、装置、设备及介质
CN113240777A (zh) * 2021-04-25 2021-08-10 北京达佳互联信息技术有限公司 特效素材处理方法、装置、电子设备及存储介质
CN113760161A (zh) * 2021-08-31 2021-12-07 北京市商汤科技开发有限公司 数据生成、图像处理方法、装置、设备及存储介质
CN113938618B (zh) * 2021-09-29 2024-04-30 北京达佳互联信息技术有限公司 特效制作方法、装置、电子设备及存储介质
CN116459516A (zh) * 2022-01-12 2023-07-21 北京字跳网络技术有限公司 分屏特效道具生成方法、装置、设备和介质
CN115914758B (zh) * 2022-11-18 2024-01-26 广东轻工职业技术学院 基于区块链云计算的影视特效处理系统

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118005A (ja) * 1997-06-26 1999-01-22 Nagano Nippon Denki Software Kk 画像効果処理方式およびコンピュータ
GB2340358B (en) * 1998-07-31 2002-11-13 Sony Uk Ltd Video special effects
GB2340360B (en) 1998-07-31 2002-11-06 Sony Uk Ltd Animation of video special effects
JP2001307123A (ja) 2000-02-18 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体
US7155676B2 (en) * 2000-12-19 2006-12-26 Coolernet System and method for multimedia authoring and playback
CA2450941A1 (fr) 2001-07-04 2003-01-16 Okyz Procede et systeme d'exportation de donnees associees a des entites geometriques bidimensionnelles ou tridimensionnelles
JP2003092706A (ja) 2001-09-18 2003-03-28 Sony Corp 効果付加装置、効果付加方法、及び効果付加プログラム
US8737810B2 (en) * 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
JP2004171184A (ja) 2002-11-19 2004-06-17 Toppan Printing Co Ltd Ｗｅｂサーバ及びＷｅｂコンテンツ配信方法
TWI227444B (en) 2003-12-19 2005-02-01 Inst Information Industry Simulation method for make-up trial and the device thereof
JP2005242566A (ja) 2004-02-25 2005-09-08 Canon Inc 画像合成装置及び方法
CN1564202A (zh) 2004-03-16 2005-01-12 无敌科技(西安)有限公司 图像过场动画特效的生成及播放方法
US7903927B2 (en) 2004-07-08 2011-03-08 Sony Corporation Editing apparatus and control method thereof, and program and recording medium
JP2006260198A (ja) 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
FR2884008A1 (fr) 2005-03-31 2006-10-06 France Telecom Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones
JP4799105B2 (ja) 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
JP4760349B2 (ja) 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
JP2007257585A (ja) 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
WO2009034718A1 (ja) 2007-09-12 2009-03-19 Hubase-I.Inc フラッシュファイル生成システム及びオリジナル画像情報生成システム
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP2012113677A (ja) 2010-11-05 2012-06-14 Aitia Corp 情報処理装置および情報処理プログラム
CN102567031A (zh) 2012-03-01 2012-07-11 盛乐信息技术（上海）有限公司 视频特效扩充方法及系统
US9019310B2 (en) * 2012-03-02 2015-04-28 Adobe Systems Incorporated Methods and apparatus for applying complex continuous gradients to images
CN102801924B (zh) 2012-07-20 2014-12-03 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN102760303A (zh) 2012-07-24 2012-10-31 南京仕坤文化传媒有限公司 一种虚拟现实动态场景视频的拍摄技术与嵌入方法
US9076247B2 (en) * 2012-08-10 2015-07-07 Ppg Industries Ohio, Inc. System and method for visualizing an object in a simulated environment
KR101723877B1 (ko) * 2012-08-15 2017-04-06 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 디지털 미디어 개인정보 보호
CN102984465B (zh) 2012-12-20 2015-10-07 北京中科大洋科技发展股份有限公司 一种适用于网络化智能化数字媒体的节目合成系统及方法
CN104637078B (zh) * 2013-11-14 2017-12-15 腾讯科技（深圳）有限公司 一种图像处理方法及装置
US9501701B2 (en) * 2014-01-31 2016-11-22 The Charles Stark Draper Technology, Inc. Systems and methods for detecting and tracking objects in a video stream
CN103928039B (zh) 2014-04-15 2016-09-21 北京奇艺世纪科技有限公司 一种视频合成方法及装置
CN104967893B (zh) 2014-07-10 2019-03-29 腾讯科技（北京）有限公司 便携电子设备的视频生成方法和装置
CN105451090B (zh) 2014-08-26 2019-03-29 联想(北京)有限公司 图像处理方法和图像处理装置
CN104394331A (zh) 2014-12-05 2015-03-04 厦门美图之家科技有限公司 一种画面视频中添加匹配音效的视频处理方法
CN104469179B (zh) * 2014-12-22 2017-08-04 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
CN104778712B (zh) * 2015-04-27 2018-05-01 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN106296781B (zh) * 2015-05-27 2020-09-22 深圳超多维科技有限公司 特效图像生成方法及电子设备
JP6754619B2 (ja) 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
CN105975935B (zh) 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN106097417B (zh) * 2016-06-07 2018-07-27 腾讯科技（深圳）有限公司 主题生成方法、装置、设备
CN106101576B (zh) * 2016-06-28 2019-07-16 Oppo广东移动通信有限公司 一种增强现实照片的拍摄方法、装置及移动终端
CN106231205B (zh) * 2016-08-10 2019-07-30 苏州黑盒子智能科技有限公司 增强现实移动终端
CN106341720B (zh) 2016-08-18 2019-07-26 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN107341435A (zh) 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN106373170A (zh) * 2016-08-31 2017-02-01 北京云图微动科技有限公司 一种视频制作方法及装置
EP3321846A1 (en) * 2016-11-15 2018-05-16 Mastercard International Incorporated Systems and methods for secure biometric sample raw data storage
US10733699B2 (en) 2017-10-24 2020-08-04 Deep North, Inc. Face replacement and alignment
CN108259496B (zh) * 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
US20190236547A1 (en) * 2018-02-01 2019-08-01 Moxtra, Inc. Record and playback for online collaboration sessions
CN112860168B (zh) 2018-02-08 2022-08-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备

Also Published As

Publication number Publication date
CN108259496B (zh) 2021-06-04
SG11202004849YA (en) 2020-06-29
CN108259496A (zh) 2018-07-06
US20200285858A1 (en) 2020-09-10
JP2021504827A (ja) 2021-02-15
WO2019141126A1 (zh) 2019-07-25
US11521389B2 (en) 2022-12-06
JP7015921B2 (ja) 2022-02-15

Similar Documents

Publication Publication Date Title
KR20200087798A (ko) 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기
KR102466689B1 (ko) 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기
CN108711180B (zh) 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置
KR102386640B1 (ko) 변형 특수 효과 프로그램 파일 패키지의 생성 및 변형 특수 효과 생성 방법과 장치
KR102386639B1 (ko) 스트로크 특수 효과 프로그램 파일 패키지의 생성 및 스트로크 특수 효과 생성 방법과 장치
CN109035373B (zh) 三维特效程序文件包的生成及三维特效生成方法与装置
CN109151540B (zh) 视频图像的交互处理方法及装置
US20230247178A1 (en) Interaction processing method and apparatus, terminal and medium
CN110322571B (zh) 一种页面处理方法、装置及介质
CN108986227B (zh) 粒子特效程序文件包的生成及粒子特效生成方法与装置
CN108536790A (zh) 声音特效程序文件包的生成及声音特效生成方法与装置
US20240177389A1 (en) Apparatus and method for creating avatar
CN115272631A (zh) 一种虚拟面部模型处理方法及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2022101001176; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20220519

Effective date: 20221031