KR20220110493A - 비디오의 객체 표시 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 - Google Patents

비디오의 객체 표시 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR20220110493A
KR20220110493A KR1020227018357A KR20227018357A KR20220110493A KR 20220110493 A KR20220110493 A KR 20220110493A KR 1020227018357 A KR1020227018357 A KR 1020227018357A KR 20227018357 A KR20227018357 A KR 20227018357A KR 20220110493 A KR20220110493 A KR 20220110493A
Authority
KR
South Korea
Prior art keywords
target object
video
target
displaying
size
Prior art date
Application number
KR1020227018357A
Other languages
English (en)
Inventor
징징 추거
구앙야오 니
후이 양
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20220110493A publication Critical patent/KR20220110493A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에서는 객체를 비디오에 디스플레이하는 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체가 개시된다. 비디오에 객체를 디스플레이하는 방법은, 촬영 요소(photographing element)에 의해 획득된 비디오를 획득하고 디스플레이하는 단계; 및 제1 타겟 액션이 비디오에 나타나는 것을 검출하는 것에 응답하여, 비디오 내의 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하는 단계를 포함하고, 타겟 객체의 생성 프로세스는: 타겟 객체가 디스플레이 위치에 나타나는 단계 및 작은 것에서 큰 것으로 변화되는 단계를 포함한다. 방법에 의해, 특수 효과의 디스플레이 효과는 고정되어 있고 특수 효과를 변화되거나 이동할 수 없다는 종래 기술의 기술적 문제점이 해결되어, 특수 효과의 디스플레이 효과를 보다 유연하게 할 수 있다.

Description

비디오의 객체 디스플레이 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체
본 발명은 이미지 처리(image processing) 분야에 관한 것으로, 특히 비디오에 객체를 디스플레이하는 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
본 발명은, "비디오, 전자 장치 및 컴퓨터 판독 가능 저장 매체에 객체를 디스플레이하기 위한 방법 및 장치"의 제목으로, 2019년 11월 29일자로 출원된 중국 특허출원 제201911196331.6호를 우선권 주장하며, 그 전체 내용은 참조로 여기에 포함된다.
컴퓨터 네트워크의 발달과 스마트폰의 대중화로 일반 사용자는 더 이상 단조로운 사진과 단어만으로 자신의 감정을 표현하는 데 만족하지 않을 수 있다. 비디오는 보다 풍부하고 다양한 형태와 직관적인 느낌으로 사용자들에게 큰 사랑을 받고 있으며 점차 대중화되고 있다. 점차 일반 사용자가 원본 비디오를 만드는 추세가 되었다. 하지만 반면에 원본 셀카 비디오는 보통 밋밋한 형태로 제시된다. 동시에 영화와 텔레비전 작품에서 비디오 특수 효과(video special effect)의 사용이 점점 더 풍부해지고 있고, 콘텐츠 표현 형태도 더욱 다양해지고 있음을 알 수 있다. 비디오 특수 효과는 성공적인 영화 및 TV 작업을 지원하고 보장한다고 말할 수 있다.
그러나, 현재의 비디오 특수 효과는 일반적으로 고정된 디스플레이 효과를 가지며 충분히 유연하지 않다. 예를 들어, 일반적으로 특수 효과(special effect)는 비디오에서 미리 설정된(preset) 위치에만 디스플레이될 수 있거나 특수 효과의 디스플레이는 비디오의 객체와만 이동할 수 있다. 특수 효과가 자체적으로 어떤 변화(change)이나 이동(movement)을 만드는 것은 불가능하다.
이러한 요약은 이하의 상세한 설명에서 상세히 설명될 본 출원의 발명 개념의 간결한 도입을 위해 제공된다. 요약은 청구된 기술 솔루션의 주요 기능 또는 필수 기능을 식별하기 위한 것이 아니며, 청구된 기술 솔루션의 범위를 제한하기 위한 것도 아니다.
제1 측면에서, 본 개시의 실시예는 비디오(video)에서 객체를 디스플레이하기 위한 방법을 제공하며, 방법은: 카메라 요소(camera element)에 의해 캡처된 비디오를 획득 및 디스플레이하는 단계; 및 제1 타겟 액션(target action)이 비디오에서 나타나는 것을 검출한 것에 응답하여, 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체(target object)의 생성 프로세스를 디스플레이하는 단계를 포함하고; 타겟 객체의 생성 프로세스(generation process)는: 타겟 객체가 디스플레이 위치(display position)에 나타나는 단계 및 작은 것에서 큰 것으로 변화하는 단계를 포함한다.
제2 측면에서, 본 개시의 실시예는 비디오에서 객체를 디스플레이하기 위한 장치를 제공하고, 장치는: 카메라 요소에 의해 캡처된 비디오를 획득 및 디스플레이하도록 구성된 비디오 디스플레이 모듈(video display module); 및 제1 타겟 액션이 비디오에 나타나는 것을 검출한 것에 응답하여, 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하도록 구성된 타겟 객체 디스플레이 모듈(target object display module)을 포함하고; 타겟 객체의 생성 프로세스(generation process)는: 타겟 객체가 디스플레이 위치(display position)에 나타나는 단계 및 작은 것에서 큰 것으로 변화하는 단계를 포함한다.
제3 측면에서, 본 개시의 실시예는, 적어도 하나의 프로세서(processor); 및 적어도 하나의 프로세서와 통신하도록 결합된 메모리(memory)를 포함하고; 메모리는 적어도 하나의 프로세서에 의해 실행 가능한 명령(instruction)을 저장하고, 명령은 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금 전술한 제1 측면의 실시예 중 어느 하나에 따른 비디오에 객체를 디스플레이하는 방법을 수행하게 한다.
제4 측면에서, 본 개시의 실시예는 비일시적 컴퓨터 판독 가능 저장 매체(non-transitory computer-readable storage medium)를 제공하고, 여기서 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터로 하여금 전술한 제1 측면의 실시예 중 어느 하나에 따른 비디오에 객체를 나타내는 방법을 실행하게 하는 데 사용되는 컴퓨터 명령을 저장한다.
제5 측면에서, 본 발명의 실시예는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램(computer program product)을 제공하며, 이는 실행될 때 본 발명의 실시예에 의해 제공되는 비디오에 객체를 디스플레이하는 방법을 구현하는 데 사용된다.
본 개시는 비디오에 객체를 디스플레이하는 방법 및 장치, 전자 장치, 및 컴퓨터 판독 가능 저장 매체를 개시한다. 비디오에 객체를 디스플레이하는 방법은, 카메라 요소에 의해 캡처된 비디오를 획득하고 디스플레이하는 단계; 및 제1 타겟 액션이 비디오에서 나타나는 것을 검출한 것에 응답하여, 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하는 단계를 포함하고; 타겟 객체의 생성 프로세스는; 타겟 객체가 디스플레이 위치에 나타나는 단계 및 작은 것에서 큰 것으로 변화하는 단계를 포함한다. 위의 방법은 특수 효과의 디스플레이 효과가 고정되어 특수 효과가 일부 변화 또는 이동을 수행할 수 없다는 종래 기술의 기술적 문제를 해결하여 특수 효과의 디스플레이 효과를 보다 유연하게 만든다.
본 발명의 실시예의 상기 및 기타 특징, 이점 및 측면은 도면을 참조하여 다음 실시예로부터 더욱 명백해질 것이다. 도면 전체에서 동일하거나 유사한 참조 번호는 동일하거나 유사한 요소를 나타낸다. 도면은 도식이며 그 구성요소와 요소가 반드시 축척에 맞게 그려지는 것은 아니라는 점을 이해해야 한다.
도 1은 본 발명이 제공하는 비디오에서 객체를 디스플레이하는 방법의 일 실시예에 대한 흐름도이다;
도 2는 본 발명에서 제공하는 비디오의 객체 디스플레이 방법의 실시예에서 제2 타겟 액션의 디스플레이 위치를 결정하는 구체적인 예를 나타내는 흐름도이다;
도 3은 본 개시물에 의해 제공되는 비디오에서 객체를 디스플레이하는 방법의 실시예에서 거리 d1 및 거리 d2의 개략도이다;
도 4는 본 개시의 실시예에 의해 제공되는 비디오에서 객체를 디스플레이하기 위한 장치의 개략적인 구조도이다;
도 5는 본 발명의 일 실시예에 따라 제공되는 전자 장치의 개략적인 구조도이다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세히 설명한다. 본 개시의 특정 실시예가 도면에 나타나 있지만, 본 개시은 다양한 형태로 실현될 수 있고 본 명세서에 명시된 실시예로 제한되는 것으로 해석되어서는 안된다는 것을 이해해야 한다. 반면에, 이들 실시예는 본 개시의 보다 철저하고 완전한 이해를 위해 제공된다. 본 개시의 도면 및 실시예는 개시의 예시일 뿐이며, 본 개시의 보호 범위를 제한하려는 의도가 아님을 이해해야 한다.
본 개시의 실시예의 방법들에서 설명된 다양한 단계들은 상이한 순서로 실행될 수 있고/있거나 병렬로 실행될 수 있다는 것을 이해해야 한다. 또한, 방법 실시예는 추가 단계를 포함할 수 있고/있거나 예시된 단계 중 일부가 생략될 수 있다. 본 개시의 범위는 이와 관련하여 제한되지 않는다.
본 명세서에 사용된 용어 "포함하는(comprising)" 및 그의 변형은 개방형 모드 표현, 즉 "포함하지만 이에 제한되지 않는"이다. "에 기초하는(based on)"이라는 용어는 "적어도 부분적으로 기초하는"을 의미한다. "일 실시예"라는 용어는 "적어도 하나의 실시예"를 의미하고; "다른 실시예"라는 용어는 "적어도 하나의 추가 실시예"를 의미하고; "일부 실시예"라는 용어는 "적어도 일부 실시예"를 의미한다. 다른 용어에 대한 관련 정의는 다음 설명에서 설명한다.
본 개시에 언급된 바와 같은 "제1", "제2" 등과 같은 개념은 상이한 장치, 모듈 또는 유닛을 구별하기 위해서만 사용되며, 이들 장치, 모듈 또는 유닛에 의해 수행되는 기능의 순서 또는 이들 사이의 상호 의존성을 제한하는 데 사용되지 않는다는 점에 유의해야 한다.
본 개시에 언급된 "하나" 및 "복수"의 수정은 제한적이 아니고 예시적이라는 점에 유의해야 하고, 당업자가 문백에서 명확하게 명시되지 않는 한 "하나 또는 그 이상"으로 이해되어야 한다는 것을 이해해야 한다.
본 개시의 실시예에서 다수의 장치 사이에서 교환되는 메시지 또는 정보의 명칭은 예시적 목적을 위해 사용되는 것일 뿐, 메시지 또는 정보의 범위를 제한하려고 사용되는 것은 아니다.
도 1은 본 발명의 일 실시예에서 제공하는 비디오에서 객체를 디스플레이하는 방법의 흐름도이다. 본 실시예에서 제공하는 비디오에서 객체를 디스플레이하는 방법은 비디오에서 객체를 디스플레이하기 위한 장치에 의해 수행될 수 있다. 비디오에 객체를 디스플레이하는 장치는 소프트웨어로 구현되거나 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 비디오에 객체를 디스플레이하는 장치는 비디오에 객체를 디스플레이하는 서버(server) 또는 비디오에 객체를 디스플레이하는 단말 장치(terminal device)와 같이 비디오에 객체를 디스플레이하는 시스템에서 특정 장치에 통합될 수 있다. 도 1에 도시된 바와 같이, 방법은 다음 단계를 포함한다:
단계 S101에서, 카메라 요소에 의해 캡처된 비디오가 획득되고 디스플레이된다.
본 명세서에서 카메라 요소는 비디오를 캡처할 수 있는 다양한 이미지 센싱 장치를 의미한다. 예시적인 카메라 요소는 비디오 카메라, 웹 카메라, 카메라 등이다. 실시예에서, 카메라 요소는 휴대 전화의 전면 또는 후면 카메라와 같은 단말 장치의 카메라일 수 있으며, 카메라에 의해 수집된 비디오는 휴대 전화의 디스플레이 화면에 디스플레이된다. 단계에서, 카메라 요소에 의해 캡처된 비디오가 획득되어 본 개시의 타겟 객체의 디스플레이 배경(background)으로 디스플레이된다.
단계 S102에서, 제1 타겟 액션이 비디오에 나타나는 것을 검출한 것에 응답하여 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 타겟 객체의 생성 프로세스가 비디오에 디스플레이되고; 타겟 객체의 생성 프로세스는: 디스플레이 위치에 나타나며 작은 것에서 큰 것으로 변화하는 타겟 객체를 포함한다.
본 발명에서 제1 타겟 액션은 트리거 조건(trigger condition)으로 미리 설정될 수 있고, 제1 타겟 액션이 비디오에 나타나는 것이 검출되면 타겟 객체의 생성 프로세스의 디스플레이가 트리거된다.
선택적으로, 제1 타겟 액션이 비디오에 나타나는 것을 검출하는 단계는: 비디오에서 타겟 객체의 특징점(feature point)을 식별하는 단계; 특징점의 특정 특징점의 위치를 결정하는 단계; 및 예상 위치를 따르는 특정 특징점의 위치에 응답하여 제1 타겟 액션이 비디오에 나타나는 것으로 결정하는 단계를 포함한다. 예시적으로, 제1 타겟 액션은 삐죽이고, 특정 특징점은 입의 특징점이고, 입의 특징점과 입의 중심점(center point) 사이의 거리가 미리 설정된 값 미만인 경우, 사람 얼굴의 입에 의해 삐죽이는 동작이 수행된 것으로 결정된다.
선택적으로, 제1 타겟 액션이 비디오에 나타나는 것을 검출하는 단계는: 비디오를 미리 훈련된 컨볼루셔날 신경망(convolutional neural network)에 입력하는 단계 - 컨볼루셔날 신경망은 제1 타겟 액션을 식별하도록 구성됨 -; 및 컨볼루셔날 신경망의 출력 값이 판단 임계값(judgment threshold)보다 큰 것에 응답하여 제1 타겟 액션이 비디오에 나타나는 것으로 결정하는 단계를 포함한다. 예시적으로, 제1 타겟 액션이 삐죽삐죽이면, 삐죽이는 동작을 포함하는 다양한 비디오 프레임이 손실 함수를 사용하여 컨볼루셔날 신경망에 대한 오류(error)를 계산하기 위해 컨볼루셔날 신경망에 입력될 수 있고, 오류는 컨볼루셔날 신경망에 피드백되어 컨볼루셔날 신경망의 파라미터를 조정하고 몇 번의 훈련을 거쳐 삐죽이는 액션을 식별하는 데 사용할 수 있는 컨볼루셔날 신경망이 획득될 수 있다. 그런 다음, 카메라 요소에서 수집한 비디오 프레임을 컨볼루셔날 경망에 입력하여 비디오의 액션을 결정할 수 있다.
제1 타겟 액션이 식별된 후 제1 타겟 액션의 디스플레이 위치에 나타나는 타겟 객체는 작은 것에서 큰 것으로 변화된다. 제1 타겟 액션의 디스플레이 위치는 제1 타겟 액션을 만드는 제1 객체의 중심 위치이다. 예시에서 타겟 객체는 입이고, 그 디스플레이 위치는 입의 중앙 위치로 설정된다. 다른 예에서, 타겟 객체는 눈이고, 그 디스플레이 위치는 눈의 중앙 위치로 설정된다. 타겟 객체는 미리 설정된 방식으로 디스플레이 위치에 렌더링되는 특수 효과의 객체이다. 실시예에서, 타겟 객체는 디스플레이 위치에서 렌더링되고 작은 것에서 큰 것으로 점진적으로 증가한다.
선택적으로, 타겟 객체의 생성 프로세스는: 타겟 객체가 제1 크기 임계값에 따라 제1 타겟 액션의 디스플레이 위치에 나타나는 단계; 및 타겟 객체의 크기는, 타겟 객체의 크기가 제2 크기 임계값에 도달할 때까지 제1 크기 임계값으로부터 증가하는 단계를 포함하고; 제1 크기 임계값은 제2 크기 임계값보다 작다. 하나의 실시예에서, 타겟 객체는 디스플레이 상태 속성을 포함하고, 타겟 객체는 상이한 디스플레이 상태 속성 값(attribute value)을 설정함으로써 상이한 상태로 비디오에서 렌더링된다. 예시적으로, 디스플레이 상태 속성 값은 숨기기, 확대하기, 이동하기 및 사라지기를 포함할 수 있다. 제1 타겟 액션이 비디오에 나타나는 것을 검출하기 전에, 디스플레이 상태 속성 값이 숨김으로 설정되고, 이 경우 타겟 객체가 디스플레이되지 않고; 제1 타겟 액션을 검출한 것에 응답하여, 타겟 객체의 디스플레이 상태 속성 값은 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하기 위해 확대로 설정된다. 구체적으로, 타겟 객체는 크기 속성(size attribute)을 더 포함하고, 크기 속성의 값은 비디오에서 타겟 객체의 디스플레이 크기를 결정한다. 실시예에서, 타겟 객체의 두 개의 크기 속성 값, 즉, 제1 크기 임계값 및 제2 크기 임계값이 각각 획득된다. 제1 크기 임계값은 디스플레이된 타겟 객체의 초기 크기 속성 값이고, 제2 크기 임계값은 확대 상태(enlarging state)에서 타겟 객체의 크기 속성의 최대값이다. 제1 크기 임계값 및 제2 크기 임계값이 획득된 후, 타겟 객체의 크기 속성 값은 비디오의 다중 프레임에서 제1 크기 임계값에서 제2 크기 임계값으로 변화된다. 예시적으로, 타겟 객체의 크기 속성 값을 제1 크기 임계값에서 제2 크기 임계값으로 변화하는 단계는, 제1 크기 임계값으로부터 시작하는 단계, 매번 고정된 증분을 추가하는 단계 - 증가된 크기 속성 값은 타겟 객체의 크기 속성 값으로 사용됨 -, 및 그런 다음 크기 속성 값이 제2 크기 임계값에 도달할 때까지 다음 이미지 프레임에서 증가된 크기 속성 값에 따라 타겟 객체를 렌더링하는 단계를 포함할 수 있다. 예시적으로, 타겟 객체가 버블(bubble)인 경우, 제1 타겟 액션이 검출되면, 제1 타겟 액션의 디스플레이 위치에 버블이 렌더링된다. 버블의 제1 크기 임계값은 0이고, 버블의 제2 크기 임계값은 200픽셀이고, 0에서 200픽셀까지 반경이 변하는 버블을 렌더링하는 프로세스, 즉 작은 것에서 큰 것으로 커지는 버블을 디스플레이하는 프로세스가 비디오에 디스플레이된다.
선택적으로, 타겟 객체의 크기 속성의 제1 크기 임계값 및 제2 크기 임계값은 미리 설정된 값이고, 미리 설정된 고정 값 또는 미리 결정된 조건에 따라 계산된 값일 수 있다. 타겟 객체가 원 객체(circle object)인 경우, 반경의 초기 값을 100픽셀의 고정 길이로 설정할 수 있고; 또는 초기 값(initial value)은 비디오 길이의 1/5 등으로 설정될 수 있다.
선택적으로, 타겟 객체의 크기 속성의 제1 크기 임계값과 제2 크기 임계값은 획득 중 무작위 계산에 의해 획득되고, 제2 크기 임계값이 무작위로 획득될 때 제2 크기 임계값이 제1 크기 임계값보다 큰지 확인하기만 하면 된다. 이와 같이, 복수의 타겟 객체가 디스플레이될 때, 상이한 크기로 제시되는 복수의 타겟 객체의 효과가 달성될 수 있다.
선택적으로, 단계에서, 타겟 객체의 생성 프로세스는: 타겟 객체의 디스플레이 위치를 획득하는 단계; 확대 함수(enlargement function)를 획득하는 단계 - 확대 함수는 시간과 크기 속성 값 사이의 대응 관계(corresponding relationship)를 나타냄 -; 확대 함수에 따라 현재 시점의 타겟 객체의 크기 속성 값을 결정하는 단계; 및 타겟 객체의 디스플레이 위치 및 크기 속성 값에 따라 비디오에서 타겟 객체를 렌더링하는 단계를 포함한다. 선택적으로, 확대 함수는 시간과 크기 속성 값 사이의 대응 관계이고 타겟 객체의 확대 속도를 제어하는 데 사용된다. 예를 들어, 타겟 객체의 상태 속성 값이 확대로 설정된 경우, 타겟 객체의 크기 속성 값은 N초 이내에 제1 크기 임계값에서 제2 크기 임계값으로 증가된다. 예시적으로, 제1 크기 임계값이 0이고 제2 크기 임계값이 M인 경우, 타겟 객체는 초당 M/N 길이 단위로 확대되도록 제어하여, 타겟 객체의 상태 속성을 확대로 설정한 후 N초 후에, 타겟 객체의 크기 속성 값이 M으로 확되된다. 타겟 객체의 디스플레이 위치 및 확대 함수에 따라, 타겟 객체가 비디오 이미지에 렌더링되고, 타겟 객체가 작은 것에서 큰 것으로 점차 확대되는 효과로 디스플레이된다.
확대 함수의 구체적인 구현은 예시일 뿐이며, 본 발명을 한정하지 않는 것으로 이해될 수 있다. 실제로, 다양한 확대 방법을 사용하여 다양한 효과를 얻을 수 있다.
하나의 실시예에서, 타겟 객체의 생성 프로세스를 비디오에 디스플레이한 후, 방법은: 단계 S103, 비디오에 타겟 객체의 모션 프로세스(motion process)를 디스플레이하는 단계를 더 포함하고, 타겟 객체의 모션 프로세스는: 타겟 객체의 이동하는 단계, 및/또는 타겟 객체의 회전하는 단계, 및/또는 타겟 객체의 크기의 변화하는 단계를 포함한다. 실시예에서 타겟 객체의 상태 속성 값은 이동으로 설정되고, 이 경우 타겟 객체는 미리 설정된 모션 속성 값(motion attribute value)에 따라 이동한다.
타겟 객체의 이동은 제1 선형 궤적(first linear trajectory)을 따라 디스플레이 위치를 이동시키는 타겟 객체를 포함하고, 제1 선형 궤적은 제1 이동 속도(movement speed) 및 제1 이동 방향(movement direction)에 의해 결정된다. 실시예에서, 타겟 객체의 모션 속성(motion attribute)은 이동 방향 및 이동 속도를 포함한다. 비디오의 각 프레임에서 타겟 객체의 디스플레이 위치는 타겟 객체의 디스플레이 위치, 이동 방향 및 이동 속도에 따라 계산될 수 있다. 선택적으로, 제1 이동 방향은 방향각(direction angle)이고, 방향각은 이동 방향과 수평축 사이의 구성된 각도이다. 구성된 각도는 0°에서 360° 사이의 값을 가질 수 있다. 제1 이동 속도는 타겟 객체가 단위 시간 동안 이동한 거리를 나타내고, 이로부터 제1 선형 궤적을 계산할 수 있다. 제1 선형 궤적은 복수의 디스플레이 위치로 구성되고, 각 디스플레이 위치는 특정 시간에 타겟 객체의 디스플레이 위치에 해당한다. 그러면, 현재 시간에 따라 해당 디스플레이 위치를 획득하고 디스플레이 위치에 타겟 객체를 렌더링한다. 선택적으로, 다음 시간에 타겟 객체의 제2 디스플레이 위치는 현재 시간에 타겟 객체의 제1 디스플레이 위치, 제1 이동 속도 및 제1 이동 방향에 따라 계산될 수도 있고, 타겟 객체는 다음 시간에 도착할 때 제2 디스플레이 위치에 렌더링된다. 디스플레이 위치는 여러 프레임에서 계산되고 타겟 객체는 이동 상태를 나타내도록 타겟 객체가 렌더링된다.
타겟 객체의 회전하는 단계는: 타겟 객체가 제1 회전 궤적을 따라 회전하는 단계를 포함하고, 제1 회전 궤적은 제1 회전 방향 및 제1 각속도에 의해 결정된다. 실시예에서, 타겟 객체의 회전은 비디오의 디스플레이 평면 상에서 타겟 객체의 자체 회전이고, 타겟 객체의 모션 속성은 회전 방향 및 각속도를 포함한다. 비디오의 각 프레임에서 타겟 객체의 회전 각도는 타겟 객체의 초기 회전 각도(initial rotation angle), 회전 방향 및 각속도에 따라 계산될 수 있다. 회전 방향은 시계 방향 회전 및 반시계 방향 회전을 포함하고, 각속도는 타겟 객체의 회전 속도이고, 각속도는 타겟 객체의 단위 시간당 회전 각도를 나타낸다. 타겟 객체의 제1 회전 방향 및 제1 각속도가 결정된 후, 타겟 객체의 초기 회전 각도에 따라 제1 회전 궤적을 계산할 수 있고, 제1 회전 궤적은 다양한 시점에서 타겟 객체의 회전 각도로 구성된다. 그런 다음, 현재 시간에 따라 대응 회전 각도가 획득되고, 타겟 객체는 회전 각도에 따라 현재 시간에 해당하는 디스플레이 위치에서 회전되어 렌더링된다. 선택적으로, 다음 시간에 타겟 객체의 제2 회전 각도는 현재 시간에서 타겟 객체의 제1 회전 각도, 제1 회전 방향 및 제1 각속도에 따라 계산될 수도 있고, 타겟 객체는 다음 번에 도착할 때 제2 회전 각도로 렌더링된다. 회전 각도는 여러 프레임에서 연속적으로 계산되고, 타겟 객체는 회전 상태를 나타내도록 타겟 객체가 렌더링된다.
타겟 객체의 크기를 변화하는 단계는: 타겟 객체의 크기가 제3 크기 임계값과 제4 크기 임계값 사이에서 변화되는 단계를 포함한다. 실시예에서, 타겟 객체의 크기 속성 값은 제3 크기 임계값과 제4 크기 임계값 사이에서 변화되도록 설정된다. 예시적으로, 변화는 제3 크기 임계값과 제4 크기 임계값 사이에서 타겟 객체의 크기 속성 값이 작은 크기에서 큰 크기로 및/또는 큰 크기에서 작은 크기로 변화되는 것이다. 선택적으로 변화는 미리 설정된 고정 속도로 발생한다. 예를 들어, 타겟 객체의 크기 속성 값은 고정된 속도로 제3 크기 임계값에서 제4 크기 임계값으로 점진적으로 변화되고, 고정 속도로 점차적으로 제4 크기 임계값에서 제3 크기 임계값으로 변화된다. 선택적으로, 크기 변화 제어 함수에 의해 변화가 제어되고, 여기서 크기 변화 제어 함수는 시간을 변수로 하는 함수이므로, 각 시점의 타겟 객체의 크기 속성 값은 크기 변화 제어 함수에 기초하여 계산될 수 있다. 예시적으로, 크기 변화 제어 함수는 다음과 같다:
Figure pct00001
여기서 R은 타겟 객체의 실시간 크기 속성 값이고, R0의 값은 크기 속성의 중간 값이며,
Figure pct00002
이고, t는 상태 속성이 임의 이동으로 설정된 후 경과된 시간이다. -1≤sin(t)≤1 이고, R0-a≤R≤R0+a이다. R0-a는 제3 크기 임계값이고, R0+a는 제4 크기 임계값이다. 이 예에서, R은 원형의 타겟 객체의 반지름을 나타낼 수 있고, 이는 시간에 따라 변화되여 주기적으로 크기가 증감하는 효과를 나타낸다.
하나의 실시예에서, 타겟 객체의 이동하는 단계는: 타겟 객체가 비디오의 가장자리와 충돌하는 것에 응답하여 디스플레이 위치를 이동시키기 위해 타겟 객체가 제1 선형 궤적에서 제2 선형 궤적으로 전환하는 단계를 더 포함하고, 제2 선형 궤적은 제2 이동 속도 및 제2 이동 방향에 의해 결정된다. 타겟 객체의 회전하는 단계는: 타겟 객체가 비디오의 가장자리와 충돌하는 것에 응답하여 타겟 객체가 제1 회전 궤적에서 회전을 위한 제2 회전 궤적으로 전환하는 단계를 포함하고, 제2 회전 궤적은 제2 회전 방향 및 제2 각속도에 의해 결정된다. 선택적으로, 비디오의 가장자리와 충돌하는 타겟 객체는, 비디오의 가장자리 위치를 획득하는 단계; 및 타겟 객체의 가장자리 위치가 비디오의 가장자리 위치와 일치하는 것에 응답하여, 타겟 객체가 비디오의 가장자리와 충돌하는 것으로 결정하는 단계를 포함한다. 예시적으로, 비디오의 가장자리는 각각 X=0, Y=0, X=W, Y=H로 표시되는 4개의 직선으로 설정된다. 타겟 객체의 가장자리 포인트 좌표가 계산된다. 타겟 객체의 가장자리 포인트 좌표(X, Y)에서 X=0 또는 Y=0 또는 X=W 또는 Y=H인 경우, 타겟 객체의 가장자리 위치가 비디오의 가장자리 위치와 일치하면, 즉, 타겟 객체가 비디오의 가장자리와 충돌하는 것으로 결정된다. 충돌이 발생한 후, 타겟 객체의 새로운 모션 속성이 생성되고, 새로운 모션 속성은 제2 이동 속도, 제2 이동 방향, 및/또는 제2 회전 방향 및 제2 각속도를 포함한다. 그러면, 제2 이동 속도 및 제2 이동 방향에 의해 결정된 제2 이동 궤적에 따라 타겟 객체의 디스플레이 위치가 결정되고, 및/또는 제2 회전 방향 및 제2 각속도에 의해 결정된 제2 회전 궤적에 따라 타겟 객체의 회전 각도가 결정된다. 충돌이 발생한 후 타겟 객체의 초기 디스플레이 위치는 충돌이 발생했을 때 타겟 객체의 디스플레이 위치이고, 타겟 객체의 초기 회전 각도는 충돌이 발생했을 때 타겟 객체의 회전 각도이다.
하나의 실시예에서, 비디오에서 객체를 디스플레이하는 방법은: 단계 S104, 제1 트리거 조건을 검출하는 것에 응답하여 비디오에서 타겟 객체의 소멸 프로세스를 디스플레이하는 단계를 더 포함한다. 단계 S104는 단계 S102 이후 또는 단계 S103 이후에 실행될 수 있고, 또는 단계 S102의 실행과 병렬로 실행될 수 있다. 즉, 타겟 객체가 생성되어 있는 동안에는, 생성 프로세스나 후속 모션 프로세스에 관계없이 제1 트리거 조건이 검출되면 타겟 객체가 사라지는 프로세스가 비디오에 디스플레이된다. 실시예에서, 타겟 객체의 디스플레이 상태 속성 값은 사라지는 것으로 설정된다. 선택적으로, 비디오에서 타겟 객체의 소멸 프로세스(disappearance process)를 디스플레이하는 단계는: 타겟 객체의 소멸 시퀀스 프레임(disappearance sequence frame)을 획득하는 단계; 비디오에서 소멸 시퀀스 프레임을 재생하는 단계; 및 소멸 시퀀스 프레임의 재생이 종료되면, 타겟 객체를 비디오에서 사라지게 하는 단계를 포함한다. 타겟 객체의 소멸 시퀀스 프레임은 애니메이션이다. 예를 들어, 애니메이션은 완전한 타겟 객체에서 타겟 객체가 완전히 사라질 때까지 손상된 타겟 객체에 이르기까지 타겟 객체의 소멸 절차를 보여준다. 소멸 시퀀스 프레임을 획득한 후 비디오에서 재생하고, 소멸 시퀀스 프레임의 재생이 완료되면 타겟 객체가 비디오에서 사라진다. 구체적으로, 시퀀스 프레임의 재생 시간 길이에 따라 타겟 객체의 투명도를 조절할 수 있다. 타겟 객체의 투명도는 소멸 시퀀스 프레임의 재생이 완료되면, 타겟 객체가 완전히 투명해질 때까지 소멸 시퀀스 프레임의 재생과 함께 점차 증가한다.
선택적으로, 제1 트리거 조건은 타겟 객체가 비디오에 디스플레이된 시간 길이가 미리 설정된 시간 임계값을 초과하는 것이다. 선택적으로, 디스플레이 시간 길이는 타겟 객체의 디스플레이 상태 속성 값이 확대로 설정된 후 경과된 시간 길이이다. 선택적으로, 여기서 디스플레이 시간 길이는 타겟 객체의 디스플레이 상태 속성 값이 이동으로 설정된 후 경과된 시간의 길이이다.
선택적으로, 제1 트리거 조건은 제2 타겟 액션이 비디오에 나타나는 것이고, 비디오에서 제2 타겟 액션의 디스플레이 위치는 타겟 객체의 디스플레이 범위 내에 있다. 예시적으로, 제2 타겟 액션은 검지 손가락(index finger)을 펴는 것이고, 제2 타겟 액션의 디스플레이 위치는 검지 손가락 끝의 위치이다. 검지 손가락 끝의 위치가 타겟 객체의 디스플레이 범위 내에 있으면, 제1 트리거 조건이 검출되었음을 의미한다. 또한, 제2 타겟 액션의 디스플레이 위치를 결정하는 단계는 다음의 단계를 포함한다.
단계 S201에서, 비디오에서 손의 키 포인트(key point)를 검출한다.
단계 S202에서, 검지 손가락 끝의 키 포인트와 손의 키 포인트 중 손바닥의 키 포인트 사이의 제1 거리를 계산한다.
단계 S203에서, 중지 손가락의 제2 관절의 키 포인트과 손의 키 포인트 중 손바닥의 키 포인트 사이의 제2 거리를 계산한다.
단계 S204에서, 제2 타겟 액션이 검출되었다고 결정되고, 미리 정해진 관계를 만족하는 제1 거리 및 제2 거리에 응답하여 검지 손가락 끝에 있는 키 포인트의 위치를 제2 타겟 액션의 디스플레이 위치로 결정한다.
선택적으로, 단계 S201에서, 인간 손의 키 포인트를 검출하기 위한 모든 기술, 사람 손의 키 포인트가 주석 처리된 트레이닝 학습자료를 사용하여 딥 러닝 네트워크를 훈련하는 딥 러닝 기반 인간 손의 주요 포인트의 전형적인 검출과 같은 기술이 사용될 수 있고, 및 그런 다음 검출할 이미지를 딥 러닝 네트워크에 입력하여 검출할 이미지에서 사람 손의 주요 포인트를 출력한다. 사람 손의 키 포인트를 검출하는 다른 기술은 여기에서 설명되지 않는다. 선택적으로, 단계에서, 일반적인 검출 방법을 사용하여 사람 손의 모든 키 포인트를 검출하거나, 특정 장면에 대해 특정 네트워크가 훈련될 수 있거나 특정 방법을 사용하여 검출 효율성을 높이는 데 사용해야 하는 핵심 사항만 검출할 수 있다. 선택적으로, 실시예에서 특정 모델은 검지 손가락 끝의 키 포인트, 중지 손가락의 제2 관절의 키 포인트, 인간 손바닥의 키 포인트를 검출하도록 훈련될 수 있다. 도 3에 도시된 바와 같이, 단계 S202에서, 검지 손가락 끝의 키 포인트과 손의 키 포인트 중 손바닥의 키 포인트 사이의 제1 거리(d1)가 계산되고; 단계 S203에서, 중지 손가락의 제2 관절의 키 포인트과 손의 키 포인트에서 손바닥의 키 포인트 사이의 제2 거리(d2)가 계산된다. d1과 d2가 미리 결정된 관계를 만족하면, 사람의 손이 미리 결정된 제스쳐, 즉 제2 타겟 액션을 한 것으로 결정되고, 이 경우, 검지 손가락 끝에서 키 포인트의 위치는 제2 타겟 액션의 디스플레이 위치로 결정된다. 선택적으로, 미리 결정된 관계는 다음과 같다:
Figure pct00003
.
즉, d1이 d2의 1.5배보다 크면, 사람의 손이 검지 손가락을 펴는 액션을 하는 것으로 결정되고, 이 경우, 검지 손가락 끝에서 키 포인트의 위치를 획득한다.
선택적으로, 제2 타겟 액션의 디스플레이 위치를 결정한 후, 제2 타겟 액션의 디스플레이 위치와 타겟 객체의 중심점 위치 사이의 거리가 제1 거리 임계값보다 작은지 여부가 결정된다. 제1 거리 임계값은 타겟 객체의 크기 속성 값으로, 타겟 객체의 중심 위치와 타겟 객체의 가장자리 사이의 거리를 나타낼 수 있다. 제2 타겟 액션의 디스플레이 위치와 타겟 객체의 중심점 위치 사이의 거리가 제1 거리 임계값보다 작은 경우, 이는 제2 타겟 액션에 대응하는 디스플레이 위치가 타겟 객체의 가장자리 범위 내에 위치한다는 것을 의미한다. 예를 들어, 타겟 객체가 버블인 경우, 제1 트리거 조건으로 사용자가 검지 손가락으로 버블을 찔렀을 때 버블이 사라지는 효과를 구현할 수 있다.
선택적으로, 타겟 객체가 완전히 사라진 후, 제1 타겟 액션의 출현을 계속 기다리기 위해, 타겟 객체의 디스플레이 상태 속성을 숨김기고, 타겟 객체의 생성 프로세스를 다시 트리거하도록 설정될 수 있다.
선택적으로, 비디오에 객체를 디스플레이하는 방법은 타겟 객체에 디스플레이되는 제1 객체를 더 포함하고, 여기서 제1 객체는 제2 객체를 변형함으로써 형성되고, 제2 객체는 카메라 요소에 의해 캡처된 비디오의 객체이다. 제2 객체는 비디오의 객체이다. 예시적으로, 제2 객체는 비디오에서 인간의 얼굴이고, 변형은 스케일링 및 큰 눈 처리이다. 비디오에서 사람의 얼굴을 검출한 후, 사람의 얼굴을 잘라내어 큰 눈 처리를 하여 얼굴 속의 눈이 확대된다. 그런 다음, 큰 눈 처리 시의 얼굴은 타겟 객체의 크기에 맞게 조정되어 변형된 얼굴을 얻고, 변형된 얼굴이 타겟 객체에 렌더링된다. 타겟 객체 내에서 제1 객체를 제시한 후, 제1 객체는 타겟 객체를 따라 이동 및/또는 회전 및/또는 크기가 변화된다.
본 개시는 비디오에 객체를 디스플레이하는 방법 및 장치, 전자 장치, 및 컴퓨터 판독 가능 저장 매체를 개시한다. 비디오에 객체를 디스플레이하는 방법은, 카메라 요소에 의해 캡처된 비디오를 획득하고 디스플레이하는 단계; 및 제1 타겟 액션이 비디오에서 나타나는 것을 검출한 것에 응답하여, 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하는 단계를 포함하고; 타겟 객체의 생성 프로세스는; 타겟 객체가 디스플레이 위치에 나타나는 단계 및 작은 것에서 큰 것으로 변화하는 단계를 포함한다. 위의 방법은 특수 효과의 디스플레이 효과가 고정되어 특수 효과가 일부 변화 또는 이동을 수행할 수 없다는 종래 기술의 기술적 문제를 해결하여 특수 효과의 디스플레이 효과를 보다 유연하게 만든다.
상기 설명에서, 상기 방법 실시예의 단계들이 상기 기재된 순서대로 설명되었지만, 본 발명의 실시예의 단계들이 반드시 순서대로 실행되는 것은 아니며, 역순, 병렬, 교차 등과 같은 다른 순서로 수행될 수도 있다. 또한, 위의 단계에 기초하여, 당업자는 다른 단계를 추가할 수 있고, 이러한 명백한 수정 또는 균등한 대안은 또한 본 개시의 보호 범위 내에 포함되어야 하며, 이는 여기서 반복되지 않을 것이다.
도 4는 본 개시의 실시예에 의해 제공되는 비디오에서 객체를 디스플레이하기 위한 장치의 개략적인 구조도이다. 도 4에 도시된 바와 같이, 장치(device)(400)는: 비디오 디스플레이 모듈(video display module)(401) 및 타겟 객체 디스플레이 모듈(target object display module)(402)을 포함한다.
비디오 디스플레이 모듈(401)은 카메라 요소에 의해 캡처된 비디오를 획득하고 디스플레이하도록 구성된다.
타겟 객체 디스플레이 모듈(402)은 제1 타겟 액션이 비디오에 나타나는 것을 검출한 것에 응답하여 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하도록 구성되고; 타겟 객체의 생성 프로세스는, 디스플레이 위치에 나타나며 작은 것에서 큰 것으로 변화하는 타겟 객체를 포함한다.
또한, 구체적으로 타겟 객체의 생성 프로세스는: 타겟 객체가 제1 크기 임계값에 따라 제1 타겟 액션의 디스플레이 위치에 나타나는 단계; 및 타겟 객체의 크기는, 타겟 객체의 크기가 제2 크기 임계값에 도달할 때까지 제1 크기 임계값으로부터 증가하는 단계를 포함하고; 제1 크기 임계값은 제2 크기 임계값보다 작다.
또한, 비디오에서 타겟 객체의 생성 프로세스를 디스플레이한 후, 타겟 객체 디스플레이 모듈(402)은 비디오에서 타겟 객체의 모션 프로세스를 디스플레이하도록 더 구성되고; 타겟 객체의 모션 프로세스는: 타겟 객체의 이동하는 단계, 및/또는 타겟 객체의 회전하는 단계, 및/또는 타겟 객체의 크기의 변화하는 단계를 포함한다.
또한, 타겟 객체의 이동하는 단계는 타겟 객체가 제1 선형 궤적을 따라 디스플레이 위치를 이동하는 단계를 포함하고, 제1 선형 궤적은 제1 이동 속도 및 제1 이동 방향에 의해 결정된다.
또한, 상기 타겟 객체의 회전하는 단계는: 타겟 객체가 제1 회전 궤적을 따라 회전하는 단계를 포함하고, 제1 회전 궤적은 제1 회전 방향 및 제1 각속도에 의해 결정된다.
또한, 타겟 객체의 크기의 변화하는 단계는 제3 크기 임계값과 제4 크기 임계값 사이에서 타겟 객체의 크기가 변화하는 단계를 포함한다.
또한, 타겟 객체의 이동하는 단계는 타겟 객체가 비디오의 가장자리와 충돌하는 것에 응답하여 디스플레이 위치를 이동하기 위해 타겟 객체가 제1 선형 궤적에서 제2 선형 궤적으로 전환하는 단계를 더 포함하고, 제2 선형 궤적은 제2 이동 속도 및 제2 이동 방향에 의해 결정된다.
또한, 타겟 객체의 회전하는 단계는: 타겟 객체가 비디오의 가장자리에 충돌하는 것에 응답하여 회전을 위해 타겟 객체가 제1 회전 궤적에서 제2 회전 궤적으로 전환하는 단계를 포함하고, 제2 회전 궤적은 제2 회전 방향 및 제2 각속도에 의해 결정된다.
또한, 타겟 객체 디스플레이 모듈(402)은 제1 트리거 조건을 검출하는 것에 응답하여 비디오에서 타겟 객체의 소멸 프로세스를 디스플레이하도록 더 구성된다.
또한, 비디오에서 타겟 객체의 소멸 프로세스(disappearance process)를 디스플레이하는 단계는: 타겟 객체의 소멸 시퀀스 프레임(disappearance sequence frame)을 획득하는 단계; 비디오에서 소멸 시퀀스 프레임을 재생하는 단계; 및 소멸 시퀀스 프레임의 재생이 종료되면, 타겟 객체를 비디오에서 사라지게 하는 단계를 포함한다.
또한, 제1 트리거 조건은 제2 타겟 액션이 비디오에 나타나는 것이고, 비디오에서 제2 타겟 액션의 디스플레이 위치는 타겟 객체의 디스플레이 범위 내에 있다.
또한, 타겟 객체 디스플레이 모듈(402)은 비디오에서 손의 키 포인트를 검출하고; 검지 손가락의 손가락 끝에 있는 키 포인트와 손의 키 포인트에서 손바닥의 키 포인트 사이의 제1 거리를 계산하고; 중지 손가락의 제2 관절에 있는 키 포인트와 손의 키 포인트에 있는 손바닥에 있는 키 포인트 사이의 제2 거리를 계산하고; 및 제2 타겟 액션이 검출되었다고 결정하고, 미리 정해진 관계를 만족하는 제1 거리 및 제2 거리에 응답하여 검지 손가락 끝에 있는 키 포인트의 위치를 제2 타겟 액션의 디스플레이 위치로 결정한다.
또한, 타겟 객체의 생성 프로세스는: 타겟 객체에 제시되는 제1 객체를 더 포함하고, 여기서 제1 객체는 제2 객체를 변형함으로써 형성되고, 제2 객체는 카메라 요소에 의해 캡처된 비디오 내의 객체이다.
도 4에 도시된 장치는 도 1 내지 도 3에 도시된 실시예의 방법을 실행할 수 있다. 본 실시예에서 구체적으로 설명되지 않은 부분에 대해서는 도 1 내지 도 3에 도시된 실시예와 관련된 설명을 참조할 수 있다. 기술 솔루션의 실행 프로세스 및 기술적 효과에 대해서는 도 1 내지 도 3에 도시된 실시예에 대한 설명을 참조할 수 있으며, 이에 대한 설명은 여기에서 반복되지 않을 것이다.
이제 도 5를 참조하면, 본 개시의 실시예를 구현하기에 적합한 전자 장치(예를 들어, 도 1에 도시된 단말 장치 또는 서버)(500)의 구조도가 도시된다. 본 발명의 실시예에 따른 단말 장치는 휴대폰, 노트북, 디지털 방송 수신기, 개인디지털장치(Personal Digital Assistant)(PDA), 태블릿 컴퓨터(tablet computer)(PAD), 휴대용멀티미디어플레이어(Portable Multimedia Player)(PMP), 온보드 단말기(예를 들어, 온보드 내비게이션 단말기) 및 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기 등의 이동 단말기를 포함할 수 있으나, 이에 한정되지 않는다. 도 5에 디스플레이된 전자 장치는 단지 예일 뿐이며, 본 개시의 실시예의 기능 및 사용 범위에 어떠한 제한도 부과해서는 안된다.
도 5에 도시된 바와 같이, 전자 장치(500)는 처리 장치(processing device)(예를 들어, 중앙 프로세싱 유닛, 그래픽 프로세서)(501)를 포함할 수 있고, 이는 읽기 전용 메모리(ROM)(502) 에 저장된 프로그램 또는 저장 장치(storage device)(508)로부터 랜덤 액세스 메모리(RAM)(503)로 로드된 프로그램에 따라 다양한 적절한 액션과 프로세스를 수행할 수 있다. RAM(503)에는 전자 장치(500)의 동작(operation)에 필요한 각종 프로그램 및 데이터도 저장된다. 처리 장치(501), ROM(502) 및 RAM(503)은 버스(504)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(nterface)(505)도 버스(504) 에 연결된다.
일반적으로, 다음의 장치들이 I/O 인터페이스(I/O interface)(505)에 연결될 수 있다: 예를 들어, 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크로폰, 가속도계, 자이로스코프 등을 포함하는 입력 장치(input device)(506); 예를 들어 액정 디스플레이(LCD), 라우드 스피커, 바이브레이터 등을 포함하는 출력 장치(output device)(507); 예를 들어 자기 테이프, 하드 디스크 등을 포함하는 저장 장치(storage device)(508); 및 통신 장치(communication device)(509). 통신 장치(communication device)(509)는 전자 장치(500)가 무선으로 또는 다른 장치들과 유선으로 통신하여 데이터를 교환하도록 허용할 수 있다. 도 5는 다양한 구성요소를 갖는 전자 장치(500)를 도시하지만, 이러한 구성요소 모두를 구현하거나 가질 필요가 없다는 것을 이해해야 한다. 대안적으로, 더 많거나 더 적은 컴포넌트가 구현되거나 제공될 수 있다.
특히, 본 개시의 실시예에 따르면, 플로우차트를 참조하여 상술한 프로세스는 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하고, 이는 비일시적 컴퓨터 판독 가능 매체에 포함된 컴퓨터 프로그램을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에서, 컴퓨터 프로그램은 통신 장치(communication device)(509)를 통해 온라인으로 다운로드되고, 저장 장치(storage device)(508)로부터 설치 또는 설치되거나, ROM(502)으로부터 설치될 수 있다. 컴퓨터 프로그램이 처리 장치(501)에 의해 실행될 때, 본 개시의 실시예에 제공된 방법에 정의된 위 기능이 실행된다.
본 개시에서 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체 또는 이들의 임의의 조합일 수 있다는 점에 유의해야한다. 예를 들어, 컴퓨터 판독 가능 저장 매체는 전기, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 장치, 또는 이들의 임의의 조합일 수 있지만 이에 한정되지는 않는다. 컴퓨터 판독 가능 저장 매체(computer readable storage medium)의 보다 구체적인 예는: 하나 이상의 와이어를 갖는 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능한 프로그래밍 가능 읽기 전용 메모리(EPROM 또는 플래시), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 적합한 조합을 포함하나, 이에 제한되지 않는다. 본 개시에서, 컴퓨터 판독 가능 저장 매체는 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 매체일 수 있으며, 여기서 프로그램은 명령 실행 시스템, 장치 또는 장치에 의해 또는 이와 관련하여 사용될 수 있다. 본 개시에서, 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드를 운반하는, 기저대역에서 또는 캐리어의 일부로서 전파되는 데이터 신호를 포함할 수도 있다. 이러한 전파된 데이터 신호는 전자기 신호, 광 신호 또는 상기의 임의의 적절한 조합을 포함하되 이에 제한되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 또한 명령 실행 시스템, 장치 또는 장치에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 송신, 전파 또는 전송할 수 있는 컴퓨터 판독 가능 저장 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 구현된 프로그램 코드는 유선, 광 케이블, RF(무선 주파수) 등, 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 임의의 적절한 매체에 의해 전송될 수 있다.
일부 실시예에서, 클라이언트와 서버는 하이퍼 택스트 전송 프로토콜(HyperText Transfer Protocol)(HTTP)와 같은 현재 알려져 있거나 미래에 개발될 네트워크 프로토콜을 사용하여 통신할 수 있으며, 디지털 데이터 통신의 모든 형태 또는 매체(예를 들어, 통신 네트워크)와 상호 연결될 수 있다. 통신 네트워크의 예는 근거리 통신망(“LAN”), 광역 네트워크(“WAN”), 인터넷 및 종단 간 네트워크(예를 들어, 에드훅 종단간 네트워크(ad hoc end-to-end network)) 뿐만 아니라 현재 알려져 있거나 미래에 개발될 모든 네트워크를 포함한다.
상술한 컴퓨터 판독 가능 매체는 상술한 전자 장치에 포함될 수 있거나, 전자 장치에 조립되지 않고 단독으로 존재할 수 있다.
컴퓨터 판독 가능 매체는, 전자 장치에 의해 실행될 때, 전자 장치로 하여금: 카메라 요소(camera element)에 의해 캡처된 비디오를 획득하고 및 디스플레이하고; 및 제1 타겟 액션(target action)이 비디오에서 나타나는 것을 검출한 것에 응답하여, 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체(target object)의 생성 프로세스를 디스플레이하게 하고; 타겟 객체의 생성 프로세스(generation process)는: 타겟 객체가 디스플레이 위치(display position)에 나타나는 단계 및 작은 것에서 큰 것으로 변화하는 단계를 포함한다.
본 개시의 동작을 실행하기 위한 컴퓨터 프로그램 코드는 하나 이상의 프로그래 설계 언어 또는 조합으로 작성될 수 있으며, 프로그래 설계 언어에는 Java, Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어가 포함되며, "C" 프로그램 설계 언어 또는 유사한 프로그래밍 언어와 같은 기존 절차 프로그래밍 언어를 포함하나, 이에 제한되지 않는다. 프로그램 코드는 사용자 컴퓨터에서 완전히 또는 부분적으로 실행되거나, 독립 소프트웨어 패키지로 실행되거나, 사용자 컴퓨터에서 부분적으로 실행되고 원격 컴퓨터에서 부분적으로 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수 있다. 원격 컴퓨터의 경우에서, 원격 컴퓨터는 지역 네트워크(Local Area Network)(LAN) 또는 광역 네트워크(Wide Area Network)(WAN)를 포함한 다양한 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷을 통해 인터넷 서비스 공급자를 사용하여).
포함된 도면에서의 흐름도 및 블록도은 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 아키텍처, 기능 및 동작을 설명한다. 이와 관련하여, 플로우 차트 또는 블록도에서의 각각의 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 코드을 포함하는 모듈, 세그먼트 또는 명령(instruction)의 일부를 나타낼 수 있다. 또한, 일부 대체 구현에서, 블록에 디스플레이된 기능이 도면에 명시된 순서대로 발생할 수 있다. 예를 들어, 연속적으로 예시된 두 블록은 실제로 병행해서 실행되거나 관련된 기능에 따라 블록이 역순으로 실행될 수 있다. 또한 블록도 및/또는 순서도의 각 블록 및 블록도 및/또는 순서도 도시의 블록 조합은 지정된 기능을 수행하거나 행동하거나, 특수 목적의 하드웨어 기반 시스템에 의해 구현되거나 특수 목적의 하드웨어 및 컴퓨터 명령의 조합에 의해 구현될 수도 있다.
본 개시에서 설명하는 실시예에 관련된 유닛은 소프트웨어 또는 하드웨어로 구현될 수 있다. 여기서, 유닛의 이름은 특정 상황에서 유닛 자체에 대한 제한을 구성하지 않는다.
본 출원에서 위에서 설명된 기능은 하나 이상의 하드웨어 논리 구성요소에 의해 적어도 부분적으로 수행될 수 있다. 예를 들어, 제한 없이 사용될 수 있는 예시적인 유형의 하드웨어 논리 구성요소는 다음을 포함한다: 필드 프로그램머블 게이트 어레이(Field Programmable Gate Array)(FPGA), 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit)(ASIC), 애플리케이션 특정 표준 제품(Application Specific Standard Product)(ASSP), 시스템온칩(System on Chip)(SOC), 컴플랙스 프로그래머블 로직 장치(Complex Programmable Logic Device)(CPLD) 등.
본 개시의 맥락에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 연결하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 유형 매체일 수 있다. 기계 판독 가능 매체(machine readable medium)는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 장치, 또는 이들의 임의의 적절한 조합을 포함할 수 있으나 이에 제한되지 않는다. 기계 판독 가능 저장 매체(machine readable storage medium)의 보다 구체적인 예는: 하나 이상의 와이어를 갖는 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능한 프로그래밍 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 적합한 조합을 포함한다.
본 발명의 실시예는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램(computer program product)을 더 제공하며, 이는 실행될 때 본 발명의 실시예에 의해 제공되는 비디오에 객체를 디스플레이하는 방법을 구현하는 데 사용된다.
본 개시의 하나 이상의 실시예에 따르면, 비디오(video)에서 객체를 디스플레이하기 위한 방법이 제공되고, 방법은: 카메라 요소(camera element)에 의해 캡처된 비디오를 획득 및 디스플레이하는 단계; 및 제1 타겟 액션(target action)이 비디오에서 나타나는 것을 검출한 것에 응답하여, 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체(target object)의 생성 프로세스를 디스플레이하는 단계를 포함하고; 타겟 객체의 생성 프로세스(generation process)는: 타겟 객체가 디스플레이 위치(display position)에 나타나는 단계 및 작은 것에서 큰 것으로 변화하는 단계를 포함한다.
또한, 타겟 객체의 생성 프로세스는: 타겟 객체가 제1 크기 임계값에 따라 제1 타겟 액션의 디스플레이 위치에 나타나는 단계; 및 타겟 객체의 크기는, 타겟 객체의 크기가 제2 크기 임계값에 도달할 때까지 제1 크기 임계값으로부터 증가하는 단계를 포함하고; 제1 크기 임계값은 제2 크기 임계값보다 작다.
또한, 타겟 객체의 생성 프로세스를 비디오에 디스플레이한 후, 방법은: 비디오에 타겟 객체의 모션 프로세스를 디스플레이하는 단계를 더 포함하고, 타겟 객체의 모션 프로세스는: 타겟 객체의 이동하는 단계, 및/또는 타겟 객체의 회전하는 단계, 및/또는 타겟 객체의 크기의 변화하는 단계를 포함한다.
또한, 타겟 객체의 이동하는 단계는 타겟 객체가 제1 선형 궤적을 따라 디스플레이 위치를 이동하는 단계를 포함하고, 제1 선형 궤적은 제1 이동 속도 및 제1 이동 방향에 의해 결정된다.
또한, 상기 타겟 객체의 회전하는 단계는: 타겟 객체가 제1 회전 궤적을 따라 회전하는 단계를 포함하고, 제1 회전 궤적은 제1 회전 방향 및 제1 각속도에 의해 결정된다.
또한, 타겟 객체의 크기의 변화하는 단계는 제3 크기 임계값과 제4 크기 임계값 사이에서 타겟 객체의 크기가 변화하는 단계를 포함한다.
또한, 타겟 객체의 이동하는 단계는 타겟 객체가 비디오의 가장자리와 충돌하는 것에 응답하여 디스플레이 위치를 이동하기 위해 타겟 객체가 제1 선형 궤적에서 제2 선형 궤적으로 전환하는 단계를 더 포함하고, 제2 선형 궤적은 제2 이동 속도 및 제2 이동 방향에 의해 결정된다.
또한, 타겟 객체의 회전하는 단계는: 타겟 객체가 비디오의 가장자리에 충돌하는 것에 응답하여 회전을 위해 타겟 객체가 제1 회전 궤적에서 제2 회전 궤적으로 전환하는 단계를 포함하고, 제2 회전 궤적은 제2 회전 방향 및 제2 각속도에 의해 결정된다.
또한, 방법은 제1 트리거 조건을 검출하는 것에 응답하여 비디오에서 타겟 객체의 소멸 프로세스를 디스플레이하는 단계를 더 포함한다.
또한, 비디오에서 타겟 객체의 소멸 프로세스(disappearance process)를 디스플레이하는 단계는: 타겟 객체의 소멸 시퀀스 프레임(disappearance sequence frame)을 획득하는 단계; 비디오에서 소멸 시퀀스 프레임을 재생하는 단계; 및 소멸 시퀀스 프레임의 재생이 종료되면, 타겟 객체를 비디오에서 사라지게 하는 단계를 포함한다.
또한, 제1 트리거 조건은 제2 타겟 액션이 비디오에 나타나는 것이고, 비디오에서 제2 타겟 액션의 디스플레이 위치는 타겟 객체의 디스플레이 범위 내에 있다.
또한, 비디오의 객체를 디스플렝하는 방법은: 비디오에서 손의 키 포인트를 검출하는 단계; 검지 손가락의 손가락 끝에 있는 키 포인트와 손의 키 포인트에서 손바닥의 키 포인트 사이의 제1 거리를 계산하는 단계; 중지 손가락의 제2 관절에 있는 키 포인트와 손의 키 포인트에 있는 손바닥에 있는 키 포인트 사이의 제2 거리를 계산하는 단계; 및 제2 타겟 액션이 검출되었다고 결정하고, 미리 정해진 관계를 만족하는 제1 거리 및 제2 거리에 응답하여 검지 손가락 끝에 있는 키 포인트의 위치를 제2 타겟 액션의 디스플레이 위치로 결정하는 단계를 더 포함한다.
또한, 제1 객체가 타겟 객체에 제시되고, 여기서 제1 객체는 제2 객체를 변형함으로써 형성되고, 제2 객체는 카메라 요소에 의해 캡처된 비디오의 객체이다.
본 개시의 하나 이상의 실시예에 따르면, 비디오에서 객체를 디스플레이하기 위한 장치가 제공되고, 장치는: 카메라 요소에 의해 캡처된 비디오를 획득 및 디스플레이하도록 구성된 비디오 디스플레이 모듈(video display module); 및 제1 타겟 액션이 비디오에 나타나는 것을 검출한 것에 응답하여, 비디오에서 제1 타겟 액션의 디스플레이 위치에 기초하여 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하도록 구성된 타겟 객체 디스플레이 모듈(target object display module)을 포함하고; 타겟 객체의 생성 프로세스(generation process)는: 타겟 객체가 디스플레이 위치(display position)에 나타나는 단계 및 작은 것에서 큰 것으로 변화하는 단계를 포함한다.
또한, 타겟 객체의 생성 프로세스는: 타겟 객체가 제1 크기 임계값에 따라 제1 타겟 액션의 디스플레이 위치에 나타나는 단계; 및 타겟 객체의 크기는, 타겟 객체의 크기가 제2 크기 임계값에 도달할 때까지 제1 크기 임계값으로부터 증가하는 단계를 포함하고; 제1 크기 임계값은 제2 크기 임계값보다 작다.
또한, 비디오에서 타겟 객체의 생성 프로세스를 디스플레이한 후, 타겟 객체 디스플레이 모듈은 비디오에서 타겟 객체의 모션 프로세스를 디스플레이하도록 더 구성되고; 타겟 객체의 모션 프로세스는: 타겟 객체의 이동하는 단계, 및/또는 타겟 객체의 회전하는 단계, 및/또는 타겟 객체의 크기의 변화하는 단계를 포함한다.
또한, 타겟 객체의 이동하는 단계는 타겟 객체가 제1 선형 궤적을 따라 디스플레이 위치를 이동하는 단계를 포함하고, 제1 선형 궤적은 제1 이동 속도 및 제1 이동 방향에 의해 결정된다.
또한, 상기 타겟 객체의 회전하는 단계는: 타겟 객체가 제1 회전 궤적을 따라 회전하는 단계를 포함하고, 제1 회전 궤적은 제1 회전 방향 및 제1 각속도에 의해 결정된다.
또한, 타겟 객체의 크기의 변화하는 단계는 제3 크기 임계값과 제4 크기 임계값 사이에서 타겟 객체의 크기가 변화하는 단계를 포함한다.
또한, 타겟 객체의 이동하는 단계는 타겟 객체가 비디오의 가장자리와 충돌하는 것에 응답하여 디스플레이 위치를 이동하기 위해 타겟 객체가 제1 선형 궤적에서 제2 선형 궤적으로 전환하는 단계를 더 포함하고, 제2 선형 궤적은 제2 이동 속도 및 제2 이동 방향에 의해 결정된다.
또한, 타겟 객체의 회전하는 단계는: 타겟 객체가 비디오의 가장자리에 충돌하는 것에 응답하여 회전을 위해 타겟 객체가 제1 회전 궤적에서 제2 회전 궤적으로 전환하는 단계를 포함하고, 제2 회전 궤적은 제2 회전 방향 및 제2 각속도에 의해 결정된다.
또한, 타겟 객체 디스플레이 모듈은 제1 트리거 조건을 검출하는 것에 응답하여 비디오에서 타겟 객체의 소멸 프로세스를 디스플레이하도록 더 구성된다.
또한, 비디오에서 타겟 객체의 소멸 프로세스(disappearance process)를 디스플레이하는 단계는: 타겟 객체의 소멸 시퀀스 프레임(disappearance sequence frame)을 획득하는 단계; 비디오에서 소멸 시퀀스 프레임을 재생하는 단계; 및 소멸 시퀀스 프레임의 재생이 종료되면, 타겟 객체를 비디오에서 사라지게 하는 단계를 포함한다.
또한, 제1 트리거 조건은 제2 타겟 액션이 비디오에 나타나는 것이고, 비디오에서 제2 타겟 액션의 디스플레이 위치는 타겟 객체의 디스플레이 범위 내에 있다.
또한, 타겟 객체 디스플레이 모듈은 비디오에서 손의 키 포인트를 검출하고; 검지 손가락의 손가락 끝에 있는 키 포인트와 손의 키 포인트에서 손바닥의 키 포인트 사이의 제1 거리를 계산하고; 중지 손가락의 제2 관절에 있는 키 포인트와 손의 키 포인트에 있는 손바닥에 있는 키 포인트 사이의 제2 거리를 계산하고; 및 제2 타겟 액션이 검출되었다고 결정하고, 미리 정해진 관계를 만족하는 제1 거리 및 제2 거리에 응답하여 검지 손가락 끝에 있는 키 포인트의 위치를 제2 타겟 액션의 디스플레이 위치로 결정한다.
또한, 타겟 객체의 생성 프로세스는: 타겟 객체에 제시되는 제1 객체를 더 포함하고, 여기서 제1 객체는 제2 객체를 변형함으로써 형성되고, 제2 객체는 카메라 요소에 의해 캡처된 비디오 내의 객체이다.
본 개시의 하나 이상의 실시예에 따르면, 전자 장치가 제공되고, 전자 장치는: 적어도 하나의 프로세서(processor); 및 적어도 하나의 프로세서와 통신하도록 결합된 메모리(memory)를 포함하고; 메모리는 적어도 하나의 프로세서에 의해 실행 가능한 명령(instruction)을 저장하고, 명령은 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금 비디오의 객체를 디스플레이하기 위한 전술한 임의의 방법을 수행하게 한다.
본 개시의 하나 이상의 실시예에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체가 제공되고, 여기서 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터가 비디오의 객체를 디스플레이하기 위한 임의의 전술한 방법을 실행하게 하는 데 사용되는 컴퓨터 명령을 저장한다.
본 발명의 하나 이상의 실시예에 따르면, 컴퓨터 프로그램을 포함하는, 컴퓨터 프로그램이 제공되고, 이는 실행될 때, 본 발명의 실시예에 의해 제공되는 비디오에 객체를 디스플레이하는 방법을 구현하는데 사용된다.
위의 설명은 본 발명의 실시예에 불과하며, 본 발명에 적용되는 기술적 원리를 예시한 것이다. 당업자는 개시와 관련된 공개의 범위가 위에서 설명한 기술적 특징의 특정 조합에 의해 형성된 솔루션에 제한되지 않고, 또한 본 공개의 개념에서 벗어나지 않고 기술적 특징 또는 이와 동등한 특징의 조합으로 형성된 기타 기술 솔루션도 다룬다는 것을 이해해야 한다.. 예를 들어, 위의 특징을 본 개시에 개시된 것과 유사한 기능을 갖는 기술적 특징으로 대체함으로써 형성된 기술적 솔루션(그러나 이에 제한되지 않음).
또한, 특정한 순서로 동작을 설명하고 있지만, 이러한 동작은 도시된 특정 순서로 수행되거나 순차적으로 수행되는 것이 요구되는 것으로 이해되어서는 안 된다. 특정 상황에서는 멀티태스킹 및 병렬 처리가 유리할 수 있다. 마찬가지로, 몇몇 특정 구현 세부사항이 위의 논의에 포함되지만, 이들은 본 개시의 범위를 제한하는 것으로 해석되어서는 안 된다. 특정 특징은 별도의 실시예의 맥락에서 또한 단일 실시예에서 조합하여 구현될 수 있다. 역으로, 단일 실시예의 맥락에서 기술된 다양한 특징은 또한 개별적으로 또는 임의의 적절한 서브 조합으로 다중 실시예에서도 구현될 수 있다.
주제가 구조적 특징 및/또는 방법의 논리적 액션에 특정한 언어로 설명되었지만, 첨부된 청구범위에 정의된 주제는 위에서 설명된 특정 특징 또는 액션으로 불필요하게 제한됨을 이해해야 한다. 반대로, 위에 설명된 특정 기능 및 액션은 청구범위를 구현하는 예시적인 형태일 뿐이다.

Claims (29)

  1. 비디오에 객체를 디스플레이하는 방법에 있어서,
    카메라 요소에 의해 캡처된 비디오를 획득하고 디스플레이하는 단계; 및
    상기 비디오에서 제1 타겟 액션이 나타나는 것을 검출한 것에 응답하여 상기 비디오에서 상기 제1 타겟 액션의 디스플레이 위치에 기초하여 상기 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하는 단계를 포함하고;
    상기 타겟 객체의 생성 프로세스는: 상기 타겟 객체가 상기 디스플레이 위치에 나타나고 작은 것에서 큰 것으로 변화하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 타겟 객체의 생성 프로세스는:
    상기 타겟 객체가 제1 크기 임계값에 따라 상기 제1 타겟 액션의 디스플레이 위치에 나타나는 단계; 및
    상기 타겟 객체의 크기는, 상기 타겟 객체의 크기가 제2 크기 임계값에 도달할 때까지 상기 제1 크기 임계값으로부터 증가하는 단계를 포함하고;
    상기 제1 크기 임계값은 상기 제2 크기 임계값보다 작은
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 타겟 객체의 생성 프로세스를 상기 비디오에 디스플레이한 후, 상기 방법은:
    상기 타겟 객체의 모션 프로세스를 상기 비디오에 디스플레이하는 단계를 더 포함하고;
    상기 타겟 객체의 모션 프로세스는: 상기 타겟 객체의 이동하는 단계, 및/또는 상기 타겟 객체의 회전하는 단계, 및/또는 상기 타겟 객체의 크기의 변화하는 단계를 포함하는
    방법.
  4. 제3항에 있어서,
    상기 타겟 객체의 이동하는 단계는:
    상기 타겟 객체가 제1 선형 궤적을 따라 상기 디스플레이 위치를 이동하는 단계를 포함하고, 상기 제1 선형 궤적은 제1 이동 속도 및 제1 이동 방향에 의해 결정되는
    방법.
  5. 제3항에 있어서,
    상기 타겟 객체의 회전하는 단계는:
    상기 타겟 객체가 제1 회전 궤적을 따라 회전하는 단계를 포함하고, 여기서 상기 제1 회전 궤적은 제1 회전 방향 및 제1 각속도에 의해 결정되는
    방법.
  6. 제3항에 있어서,
    상기 타겟 객체의 크기의 변화하는 단계는:
    상기 타겟 객체의 크기가 제3 크기 임계값과 제4 크기 임계값 사이에서 변화하는 단계를 포함하는
    방법.
  7. 제4항에 있어서,
    상기 타겟 객체의 이동하는 단계는:
    상기 타겟 객체가 상기 비디오의 가장자리와 충돌하는 것에 응답하여 상기 디스플레이 위치를 이동하기 위해 상기 타겟 객체가 상기 제1 선형 궤적에서 제2 선형 궤적으로 전환하는 단계를 더 포함하고, 상기 제2 선형 궤적은 제2 이동 속도 및 제2 이동 방향에 의해 결정되는
    방법.
  8. 제5항에 있어서,
    상기 타겟 객체의 회전하는 단계는:
    상기 타겟 객체가 상기 비디오의 가장자리와 충돌하는 것에 응답하여 회전을 위해 상기 타겟 객체가 상기 제1 회전 궤적에서 제2 회전 궤적으로 전환하는 단계를 포함하고, 상기 제2 회전 궤적은 제2 회전 방향 및 제2 각속도에 의해 결정되는
    방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    제1 트리거 조건을 검출하는 것에 응답하여 상기 비디오에서 상기 타겟 객체의 소멸 프로세스를 디스플레이하는 단계를 더 포함하는
    방법.
  10. 제9항에 있어서,
    상기 타겟 객체의 소멸 프로세스를 비디오에 디스플레이하는 단계는:
    상기 타겟 객체의 소멸 시퀀스 프레임을 획득하는 단계;
    상기 비디오에서 소멸 시퀀스 프레임을 재생하는 단계; 및
    상기 소멸 시퀀스 프레임의 재생이 완료되면 상기 비디오에서 상기 타겟 객체가 사라지도록 하는 단계를 포함하는
    방법.
  11. 제9항에 있어서,
    상기 제1 트리거 조건은 제2 타겟 액션이 상기 비디오에 나타나는 것이고, 상기 비디오에서 상기 제2 타겟 액션의 디스플레이 위치는 상기 타겟 객체의 디스플레이 범위 내에 있는
    방법.
  12. 제11항에 있어서,
    상기 비디오에서 손의 키 포인트를 검출하는 단계;
    검지 손가락 끝의 키 포인트와 상기 손의 키 포인트 중 손바닥의 키 포인트 사이의 제1 거리를 계산하는 단계;
    중지 손가락의 제2 관절의 키 포인트와 상기 손의 키 포인트 중 상기 손바닥의 키 포인트 사이의 제2 거리를 계산하는 단계; 및
    상기 제2 타겟 액션이 검출되었다고 결정하는 단계, 및 미리 정해진 관계를 만족하는 상기 제1 거리 및 상기 제2 거리에 응답하여 상기 검지 손가락 끝에 있는 키 포인트의 위치를 상기 제2 타겟 액션의 디스플레이 위치로 결정하는 단계를 더 포함하는
    방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    제1 객체가 상기 타겟 객체에 제시되고, 상기 제1 객체는 제2 객체를 변형함으로써 형성되고, 상기 제2 객체는 상기 카메라 요소에 의해 캡처된 비디오의 객체인
    방법.
  14. 비디오에 객체를 디스플레이하는 장치에 있어서,
    카메라 요소에 의해 캡처된 비디오를 획득하고 디스플레이하도록 구성된 비디오 디스플레이 모듈; 및
    제1 타겟 액션이 상기 비디오에 나타나는 것을 검출한 것에 응답하여, 상기 비디오의 제1 타겟 액션의 디스플레이 위치에 기초하여 상기 비디오에서 타겟 객체의 생성 프로세스를 디스플레이하도록 구성된 타겟 객체 디스플레이 모듈을 포함하고;
    상기 타겟 객체의 생성 프로세스는: 상기 타겟 객체가 상기 디스플레이 위치에 나타나고 작은 것에서 큰 것으로 변화하는 단계를 포함하는
    장치.
  15. 제14항에 있어서,
    상기 타겟 객체의 생성 프로세스는: 상기 타겟 객체가 제1 크기 임계값에 따라 상기 제1 타겟 액션의 디스플레이 위치에 나타나는 단계; 및 상기 타겟 객체의 크기는, 타겟 객체의 크기가 제2 크기 임계값에 도달할 때까지 제1 크기 임계값으로부터 증가하는 단계를 포함하고; 제1 크기 임계값은 제2 크기 임계값보다 작은
    장치
  16. 제14항 또는 제15항에 있어서,
    상기 비디오에서 상기 타겟 객체의 생성 프로세스를 디스플레이한 후, 상기 타겟 객체 디스플레이 모듈은 상기 비디오에서 상기 타겟 객체의 모션 프로세스를 디스플레이하도록 더 구성되고;
    상기 타겟 객체의 모션 프로세스는: 상기 타겟 객체의 이동하는 단계, 및/또는 상기 타겟 객체의 회전하는 단계, 및/또는 상기 타겟 객체의 크기의 변화하는 단계를 포함하는
    장치.
  17. 제16항에 있어서,
    상기 타겟 객체의 이동하는 단계는 상기 타겟 객체가 제1 선형 궤적을 따라 디스플레이 위치를 이동하는 단계를 포함하고, 상기 제1 선형 궤적은 제1 이동 속도 및 제1 이동 방향에 의해 결정되는
    장치.
  18. 제16항에 있어서,
    상기 타겟 객체의 회전하는 단계는: 상기 타겟 객체가 제1 회전 궤적을 따라 회전하는 단계를 포함하고, 상기 제1 회전 궤적은 제1 회전 방향 및 제1 각속도에 의해 결정되는
    장치.
  19. 제16항에 있어서,
    상기 타겟 객체의 크기의 변화하는 단계는: 제3 크기 임계값과 제4 크기 임계값 사이에서 상기 타겟 객체의 크기가 변화하는 단계를 포함하는
    장치.
  20. 제17항에 있어서,
    상기 타겟 객체의 이동하는 단계는: 상기 타겟 객체가 상기 비디오의 가장자리와 충돌하는 것에 응답하여 상기 디스플레이 위치를 이동시키기 위해 상기 타겟 객체가 상기 제1 선형 궤적에서 제2 선형 궤적으로 전환하는 단계를 더 포함하고, 상기 제2 선형 궤적은 제2 이동 속도 및 제2 이동 방향에 의해 결정되는
    장치.
  21. 제18항에 있어서,
    상기 타겟 객체의 회전하는 단계는: 상기 타겟 객체가 비디오의 가장자리에 충돌하는 것에 응답하여 회전을 위해 상기 타겟 객체가 상기 제1 회전 궤적에서 제2 회전 궤적으로 전환하는 단계를 포함하고, 상기 제2 회전 궤적은 제2 회전 방향 및 제2 각속도에 의해 결정되는
    장치.
  22. 제14항 내지 제21항 중 어느 한 항에 있어서,
    상기 타겟 객체 디스플레이 모듈은 제1 트리거 조건을 검출하는 것에 응답하여 상기 비디오에서 상기 타겟 객체의 소멸 프로세스를 디스플레이하도록 더 구성되는
    장치.
  23. 제22항에 있어서,
    상기 비디오에서 상기 타겟 객체의 소멸 프로세스를 디스플레이하는 단계는: 상기 타겟 객체의 소멸 시퀀스 프레임을 획득하는 단계; 상기 비디오에서 상기 소멸 시퀀스 프레임을 재생하는 단계; 및 상기 소멸 시퀀스 프레임의 재생이 종료되면, 상기 타겟 객체를 비디오에서 사라지게 하는 단계를 포함하는
    장치.
  24. 제22항에 있어서,
    상기 제1 트리거 조건은 제2 타겟 액션이 상기 비디오에 나타나는 것이고, 상기 비디오에서 상기 제2 타겟 액션의 디스플레이 위치는 상기 타겟 객체의 디스플레이 범위 내에 있는
    장치.
  25. 제24항에 있어서,
    상기 타겟 객체 디스플레이 모듈은: 상기 비디오에서 손의 키 포인트를 검출하고; 검지 손가락의 손가락 끝에 있는 키 포인트와 상기 손의 키 포인트에서 손바닥의 키 포인트 사이의 제1 거리를 계산하고; 중지 손가락의 제2 관절에 있는 키 포인트와 상기 손의 키 포인트에 있는 상기 손바닥에 있는 상기 키 포인트 사이의 제2 거리를 계산하고; 및 상기 제2 타겟 액션이 검출되었다고 결정하고, 미리 정해진 관계를 만족하는 상기 제1 거리 및 상기 제2 거리에 응답하여 상기 검지 손가락의 손가락 끝에 있는 상기 키 포인트의 위치를 상기 제2 타겟 액션의 디스플레이 위치로 결정하는
    장치.
  26. 제14항 내지 제25항 중 어느 한 항에 있어서,
    상기 타겟 객체의 생성 프로세스는: 상기 타겟 객체에 제시되는 제1 객체를 더 포함하고, 상기 제1 객체는 제2 객체를 변형함으로써 형성되고, 상기 제2 객체는 상기 카메라 요소에 의해 캡처된 상기 비디오의 객체인
    장치.
  27. 전자 장치에 있어서,
    컴퓨터 판독 가능 명령을 저장하도록 구성된 메모리; 및
    상기 컴퓨터 판독 가능 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 명령은, 상기 프로세서로 하여금, 상기 명령을 실행할 때, 제1항 내지 제13항 중 어느 한 항에 따른 비디오에 객체를 디스플레이하는 방법을 구현하게 하는
    전자 장치.
  28. 컴퓨터 판독 가능 명령이 저장되는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항 내지 제13항 중 어느 한 항에 따른 비디오에 객체를 디스플레이하는 방법을 구현하게 하는
    비일시적 컴퓨터 판독 가능 저장 매체.
  29. 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램이 실행될 때, 제1항 내지 제13항 중 어느 한 항에 따른 비디오에 객체를 디스플레이하는 방법을 구현하는
    컴퓨터 프로그램.
KR1020227018357A 2019-11-29 2020-11-18 비디오의 객체 표시 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 KR20220110493A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911196331.6A CN112887631B (zh) 2019-11-29 2019-11-29 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
CN201911196331.6 2019-11-29
PCT/CN2020/129842 WO2021104130A1 (zh) 2019-11-29 2020-11-18 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
KR20220110493A true KR20220110493A (ko) 2022-08-08

Family

ID=76038422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227018357A KR20220110493A (ko) 2019-11-29 2020-11-18 비디오의 객체 표시 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체

Country Status (7)

Country Link
US (1) US20220284597A1 (ko)
EP (1) EP4050898A4 (ko)
JP (1) JP2023503942A (ko)
KR (1) KR20220110493A (ko)
CN (1) CN112887631B (ko)
BR (1) BR112022010037A2 (ko)
WO (1) WO2021104130A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766326A (zh) * 2021-08-31 2021-12-07 深圳Tcl新技术有限公司 界面对象提示方法、装置、电子设备和可读存储介质
CN113873151A (zh) * 2021-09-18 2021-12-31 维沃移动通信有限公司 录像方法、装置及电子设备
CN114494658B (zh) * 2022-01-25 2023-10-31 北京字跳网络技术有限公司 特效展示方法、装置、设备和存储介质
CN115278082B (zh) * 2022-07-29 2024-06-04 维沃移动通信有限公司 视频拍摄方法、视频拍摄装置及电子设备

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137541A (ja) * 1999-11-17 2001-05-22 Square Co Ltd オブジェクト表示方法、ゲーム装置および記録媒体
US6722987B2 (en) * 2002-04-16 2004-04-20 Microsoft Corporation Processing collisions between digitally represented mobile objects and free form dynamically created electronic ink
JP2007079673A (ja) * 2005-09-12 2007-03-29 Seiko Epson Corp 描画装置
US8692767B2 (en) * 2007-07-13 2014-04-08 Synaptics Incorporated Input device and method for virtual trackball operation
JP4979623B2 (ja) * 2008-03-19 2012-07-18 三洋電機株式会社 画像処理装置
DE102008045994A1 (de) * 2008-09-05 2010-03-11 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
JP5282627B2 (ja) * 2009-03-30 2013-09-04 ソニー株式会社 電子機器、表示制御方法およびプログラム
TWI412963B (zh) * 2009-07-01 2013-10-21 Htc Corp 資料顯示與移動方法及系統,及其電腦程式產品
US9013634B2 (en) * 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
JP5766540B2 (ja) * 2011-07-29 2015-08-19 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム
JP5255723B2 (ja) * 2011-11-30 2013-08-07 株式会社コナミデジタルエンタテインメント 選択装置、選択システム、選択装置の制御方法、ならびに、プログラム
US9377937B2 (en) * 2012-04-06 2016-06-28 Samsung Electronics Co., Ltd. Method and device for executing object on display
US9390500B1 (en) * 2013-03-14 2016-07-12 Amazon Technologies, Inc. Pointing finger detection
US20150318020A1 (en) * 2014-05-02 2015-11-05 FreshTake Media, Inc. Interactive real-time video editor and recorder
ITCO20130068A1 (it) * 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
CN104967893B (zh) * 2014-07-10 2019-03-29 腾讯科技(北京)有限公司 便携电子设备的视频生成方法和装置
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
WO2017126709A1 (ko) * 2016-01-18 2017-07-27 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN105744206A (zh) * 2016-02-02 2016-07-06 北京小米移动软件有限公司 一种视频通信的方法、装置和系统
CN105578113A (zh) * 2016-02-02 2016-05-11 北京小米移动软件有限公司 一种视频通信的方法、装置和系统
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
CN107341435A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN106303662B (zh) * 2016-08-29 2019-09-20 网易(杭州)网络有限公司 视频直播中的图像处理方法和装置
CN106385591B (zh) * 2016-10-17 2020-05-15 腾讯科技(上海)有限公司 视频处理方法及视频处理装置
US10452226B2 (en) * 2017-03-15 2019-10-22 Facebook, Inc. Visual editor for designing augmented-reality effects
US10460499B2 (en) * 2017-09-27 2019-10-29 Whatsapp Inc. Animating digital graphics overlaid on visual media items based on dynamic attributes
CN109963187B (zh) * 2017-12-14 2021-08-31 腾讯科技(深圳)有限公司 一种动画实现方法和装置
CN108259496B (zh) * 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
JP6979471B2 (ja) * 2018-01-30 2021-12-15 富士フイルム株式会社 電子アルバム装置、電子アルバム装置の作動方法および作動プログラム
CN108550074A (zh) * 2018-04-26 2018-09-18 北京京东金融科技控股有限公司 商品信息展示方法、装置、系统、电子设备及可读介质
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN108712661B (zh) * 2018-05-28 2022-02-25 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN112911182B (zh) * 2018-06-28 2022-08-23 腾讯科技(深圳)有限公司 游戏互动方法、装置、终端及存储介质
CN108882025B (zh) * 2018-08-07 2019-12-10 北京字节跳动网络技术有限公司 视频帧处理方法和装置
CN110069125B (zh) * 2018-09-21 2023-12-22 北京微播视界科技有限公司 虚拟对象的控制方法和装置
US10937169B2 (en) * 2018-12-18 2021-03-02 Qualcomm Incorporated Motion-assisted image segmentation and object detection
US10755128B2 (en) * 2018-12-18 2020-08-25 Slyce Acquisition Inc. Scene and user-input context aided visual search
CN109977868A (zh) * 2019-03-26 2019-07-05 深圳市商汤科技有限公司 图像渲染方法及装置、电子设备和存储介质
US10620713B1 (en) * 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device

Also Published As

Publication number Publication date
BR112022010037A2 (pt) 2022-08-09
JP2023503942A (ja) 2023-02-01
CN112887631B (zh) 2022-08-12
EP4050898A4 (en) 2022-12-14
US20220284597A1 (en) 2022-09-08
CN112887631A (zh) 2021-06-01
WO2021104130A1 (zh) 2021-06-03
EP4050898A1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
JP6944051B2 (ja) キーポイント検出方法及び装置、電子機器並びに記憶媒体
KR20220110493A (ko) 비디오의 객체 표시 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체
US11947729B2 (en) Gesture recognition method and device, gesture control method and device and virtual reality apparatus
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
WO2017092332A1 (zh) 一种渲染图像的处理方法及装置
WO2021254502A1 (zh) 目标对象显示方法、装置及电子设备
JP7422876B2 (ja) 拡張現実に基づいた表示方法及び装置、並びに記憶媒体
CN110796664B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
CN112965780B (zh) 图像显示方法、装置、设备及介质
JP2022550627A (ja) 拡張現実に基づいた表示方法、装置、及び記憶媒体
CN112764845A (zh) 视频处理方法及装置、电子设备和计算机可读存储介质
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
WO2023151525A1 (zh) 生成特效视频的方法、装置、电子设备及存储介质
US20180189928A1 (en) Method and apparatus for determining and varying the panning speed of an image based on saliency
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
KR20220093091A (ko) 라벨링 방법 및 장치, 전자 기기 및 기억 매체
WO2024027819A1 (zh) 图像处理方法、装置、设备及存储介质
CN108874141B (zh) 一种体感浏览方法和装置
WO2023116562A1 (zh) 图像展示方法、装置、电子设备及存储介质
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
CN113703704B (zh) 界面显示方法、头戴式显示设备和计算机可读介质
CN114494658B (zh) 特效展示方法、装置、设备和存储介质
CN107977147B (zh) 滑动轨迹显示方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal