JP7395070B1 - ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体 - Google Patents

ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP7395070B1
JP7395070B1 JP2023535289A JP2023535289A JP7395070B1 JP 7395070 B1 JP7395070 B1 JP 7395070B1 JP 2023535289 A JP2023535289 A JP 2023535289A JP 2023535289 A JP2023535289 A JP 2023535289A JP 7395070 B1 JP7395070 B1 JP 7395070B1
Authority
JP
Japan
Prior art keywords
image
style
image area
switching
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023535289A
Other languages
English (en)
Other versions
JP2023552591A (ja
Inventor
ヤン，シュユン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Application granted granted Critical
Publication of JP7395070B1 publication Critical patent/JP7395070B1/ja
Publication of JP2023552591A publication Critical patent/JP2023552591A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Traffic Control Systems (AREA)

Abstract

ビデオ処理方法、ビデオ処理装置、電子設備及びコンピュータ読み取り可能な記憶媒体を提供する。該ビデオ処理方法は、第１スタイルの画像を含む初期画像を表示するステップ（Ｓ１０）と、第１トリガーイベントに応答して、初期画像から第２スタイルの画像を含む目標画像に切り替える動的過程を表すための画像切替動画を表示するステップ（Ｓ２０）と、画像切替動画の表示が完了したことに応答して、目標画像を表示するステップ（Ｓ３０）と、を含み、画像切替動画における切替画像は、第１画像領域と、第２画像領域と、第３画像領域とを含み、第１画像領域は動的過程において位置移動により時分割で画像切替動画の画像領域全体をカバーしかつ位置移動の過程において形状変化が発生する。該方法は、画像のスタイルが異なるビデオクリップを準備するユーザーの煩雑さを低減でき、画像のスタイルが異なるビデオクリップの間の切り替えをよりスムーズにすることが図られ、新たなビデオクリップの切り替え方式となり、ユーザー体験が向上する。

Description

本願は、２０２０年１２月３０日に提出された第２０２０１１６０９１５８．０号の中国特許出願に基づいて優先権を主張し、当該中国特許出願の全文を援用により本願の一部とする。
本開示の実施例は、ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体に関する。
科学技術及び経済の急速な発展に伴い、ビデオアプリケーションは徐々に人々の生活に入り、さらに人々の生活の一部になる。例えば、ユーザーはいつでもどこでもビデオを撮影でき、かつ撮影されたビデオをソーシャルネットワーキングサイトに共有することにより、ビデオにより生活を共有し、交友対話を行い、生活の面白さが向上する。
当該発明の概要は、後述の具体的な実施形態で詳しく説明される概念を簡略化した形で紹介するために提供されている。当該発明の概要は、特許請求される技術的解決手段の重要な特徴または本質的な特徴を特定することを意図したものではなく、また、特許請求された技術的解決手段の範囲を限定することを意図したものでもない。
本開示の少なくとも１つの実施例は、撮影画像に基づいて得られた第１スタイルの画像を含む初期画像を表示するステップと、第１トリガーイベントに応答して、初期画像から撮影画像に基づいて得られかつ第１スタイルの画像とはスタイルが異なる第２スタイルの画像を含む目標画像に切り替える動的過程を表すための画像切替動画を表示するステップと、画像切替動画の表示が完了したことに応答して、目標画像を表示するステップとを含み、画像切替動画における切替画像は、第１画像領域と、第２画像領域と、第３画像領域とを含み、第１画像領域は第２画像領域と第３画像領域との間に位置し、第１画像領域は動的過程において位置移動により時分割で画像切替動画の画像領域全体をカバーしかつ位置移動過程において形状変化が発生し、第１画像領域は切替素材を表すために用いられ、第２画像領域は初期画像の、第２画像領域が位置する部分の画像を表すために用いられ、第３画像領域は目標画像の、第３画像領域が位置する部分の画像を表すために用いられる、ビデオ処理方法を提供する。
例えば、本開示の一実施例において提供されるビデオ処理方法において、第１トリガーイベントは、第１スタイルの画像が得られる撮影画像における目標対象が所定の肢体動作を呈することが検出されたことと、第１スタイルの画像が得られる撮影画像における目標対象が所定の顔動作を呈したことが検出されたことと、所定の音声が受信されたこととのうちの少なくとも１つを含む。
例えば、本開示の一実施例において提供されるビデオ処理方法において、第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度は第１トリガーイベントに基づいて決定される。
例えば、本開示の一実施例において提供されるビデオ処理方法において、第１トリガーイベントは第１スタイルの画像が得られる撮影画像における目標対象が所定の肢体動作を呈したことが検出されたことを含む場合、第１画像領域の動的過程における位置移動の変位速度及び形状変化の変形速度は所定の肢体動作の動作幅に基づいて決定され、第１トリガーイベントは第１スタイルの画像が得られる撮影画像における目標対象が所定の顔動作を呈したことが検出されたことを含む場合、第１画像領域の動的過程における位置移動の変位速度及び形状変化の変形速度は所定の顔動作の変形幅に基づいて決定され、第１トリガーイベントは所定の音声が受信されたことを含む場合、第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度は所定の音声の話速、所定の音声の音量又は所定の音声の内容のうちの少なくとも１つに基づいて決定される。
例えば、本開示の一実施例において提供されるビデオ処理方法において、第１スタイルの画像は撮影画像であり、第２スタイルの画像は撮影画像にスタイル変換を行うことで得られた画像である。
例えば、本開示の一実施例において提供されるビデオ処理方法において、第２スタイルの画像は第２スタイルの画像が得られる撮影画像をスタイル変換モデルに入力することにより得られたスタイル変換モデルから出力した画像であり、スタイル変換モデルはサンプル画像により機械学習モデルを訓練して得られたものであり、サンプル画像は元の画像及び変換画像を含み、元の画像はサンプルオブジェクトを撮影することで得られた画像であり、変換画像はサンプルオブジェクトにスタイル制作を行うことで得られた画像である。
例えば、本開示の一実施例において提供されるビデオ処理方法において、画像切替動画の表示過程において第２トリガーイベントの発生に応答して、動的過程を停止するように制御し、かつ画像切替動画の動的過程が停止したところの画像を表示するステップをさらに含む。
例えば、本開示の一実施例において提供されるビデオ処理方法において、初期画像は、第１スタイルの画像を取り囲む第１所定画像をさらに含み、目標画像は、第２スタイルの画像を取り囲む第２所定画像をさらに含む。
例えば、本開示の一実施例において提供されるビデオ処理方法において、画像切替動画は第１キャンバス図層、第２キャンバス図層及び第３キャンバス図層に画像レンダリングを行うことにより表示され、第２キャンバス図層は第１キャンバス図層よりも表示側に近接し、第３キャンバス図層は第２キャンバス図層よりも表示側に近接し、切替素材を第３キャンバス図層にレンダリングし、初期画像の第２画像領域が位置する部分の画像を第２キャンバス図層にレンダリングし、目標画像の第３画像領域が位置する部分の画像を第１キャンバス図層にレンダリングし、第１キャンバス図層、第２キャンバス図層及び第３キャンバス図層のレンダリング表示が行われていない領域は透明である。
本開示の少なくとも１つの実施例は、撮影画像に基づいて得られた第１スタイルの画像を含む初期画像を表示するように構成される表示ユニットと、第１トリガーイベントに応答して、初期画像から撮影画像に基づいて得られかつ第１スタイルの画像とはスタイルが異なる第２スタイルの画像を含む目標画像に切り替える動的過程を表すための画像切替動画を表示する切替ユニットとを含み、表示ユニットは、画像切替動画の表示が完了したことに応答して、目標画像を表示するように構成され、画像切替動画における切替画像は、第１画像領域と、第２画像領域と、第３画像領域とを含み、第１画像領域は第２画像領域と第３画像領域との間に位置し、第１画像領域は動的過程において位置移動により時分割で画像切替動画の画像領域全体をカバーしかつ位置移動過程において形状変化が発生し、第１画像領域は切替素材を表すために用いられ、第２画像領域は初期画像の、第２画像領域が位置する部分の画像を表すために用いられ、第３画像領域は目標画像の、第３画像領域が位置する部分の画像を表すために用いられる、ビデオ処理装置を提供する。
本開示の少なくとも１つの実施例は、プロセッサと、１つ又は複数のコンピュータプログラムモジュールを含むメモリと、を含み、１つ又は複数のコンピュータプログラムモジュールはメモリに記憶されかつプロセッサにより実行されるように構成され、１つ又は複数のコンピュータプログラムモジュールは本開示のいずれか１つの実施例において提供されるビデオ処理方法を実現するための命令を含む、電子設備を提供する。
本開示の少なくとも１つの実施例は、非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、非一時的なコンピュータ読み取り可能な命令がコンピュータにより実行される場合に本開示のいずれか１つの実施例において提供されるビデオ処理方法を実現できる、コンピュータ読み取り可能な記憶媒体を提供する。
本開示の実施例の技術案をより明確に説明するために、以下は実施例の図面を簡単に紹介する。無論、以下に説明した図面は本開示のいくつかの実施例に過ぎず、本開示を限定するものではない。
図１Ａは本開示の少なくとも１つの実施例によって提供される、ビデオ処理方法のフローチャートである。 図１Ｂは図１ＡにおけるステップＳ１０によって初期画像を表示する概略図を示す。 図１Ｃは本開示の少なくとも１つの実施例によって提供される、画像切替動画の切替画像の概略図である。 図１Ｄは本開示の少なくとも１つの実施例によって提供される目標画像の概略図である。 図２は本開示の少なくとも１つの実施例によって提供される、別のビデオ処理方法のフローチャートである。 図３は本開示の少なくとも１つの実施例によって提供される、画像切替動画の動的過程が停止したところの画像の概略図である。 図４は本開示の少なくとも１つの実施例によって提供される、画像切替動画のレンダリング図層の概略図である。 図５は本開示の少なくとも１つの実施例によって提供される、第１画像領域の位置が移動しかつ位置移動過程において形状変化が発生するメカニズムの概略図である。 図６Ａは本開示の少なくとも１つの実施例によって提供される、別のビデオ処理方法のフローチャートである。 図６Ｂは本開示の少なくとも１つの実施例によって提供されるビデオ処理方法を実現するリンクの概略図である。 図６Ｃは本開示の少なくとも１つの実施例によって提供される、初期化のフローチャートである。 図７は本開示の少なくとも１つの実施例によって提供される、ビデオ処理装置の概略ブロック図である。 図８Ａは本開示の少なくとも１つの実施例によって提供される、電子設備の概略ブロック図である。 図８Ｂは本開示の少なくとも１つの実施例によって提供される、別の電子設備の概略ブロック図である。 図９は本開示の少なくとも１つの実施例によって提供される、コンピュータ読み取り可能な記憶媒体の概略図である。
本開示の実施例の目的、技術案及び利点をより明確にするために、以下は本開示の実施例の図面を参照しながら、本開示の実施例の技術案を明確かつ完全に説明する。無論、説明された実施例は本開示の一部の実施例に過ぎず、全ての実施例ではない。説明された本開示の実施例に基づいて、当業者が創造的労働を払うことなく取得できる全ての他の実施例は、いずれも本開示の保護範囲に属する。
本開示の方法の実施形態に記載の様々なステップは、異なる順序で実行されるか、及び／又は並列に実行されてもよいことを理解されたい。また、方法の実施形態は、追加のステップ及び／又は実行を省略するステップを含んでもよい。本開示の範囲はこの点について限定されない。
本明細書で使用される用語「含む」及びその変形は開放性の「含む」であり、すなわち「含むがこれらに限らない」ということである。「に基づく」とは、「少なくとも部分的に基づく」ことである。用語「１つの実施例」は「少なくとも１つの実施例」を表し、用語「別の実施例」は「少なくとも１つの別の実施例」を表し、用語「いくつかの実施例」は「少なくともいくつかの実施例」を表す。その他の用語の関連定義については後述する。
なお、本開示に言及された「第１」、「第２」などの概念は異なる装置、モジュール又はユニットを区別するためだけに用いられ、これらの装置、モジュール又はユニットが実行する機能の順序又は相互依存関係を限定するために用いられるものではない。
なお、本開示に言及された「１つ」、「複数」の修飾は例示的で制限的なものではなく、当業者は、文脈に明確に別段の指示をしない限り、それは「１つ又は複数」と理解されるべきである。
発明者らは、ビデオアプリケーションを使用する過程において、ユーザーが常に複数の異なる画像スタイルを含むビデオを取得し、かつ該ビデオには複数の画像のスタイルが異なるビデオクリップを含むことを発見する。関連技術において、ユーザーが複数の異なる画像スタイルを含むビデオを取得しようとすると、一般的にユーザーがそれぞれ画像のスタイルが異なるビデオクリップを準備する必要があり、その後にビデオ編集ソフトウェアによりこれらの画像のスタイルが異なるビデオクリップを１つのビデオに組み合わせる。
上記関連技術はユーザーがビデオクリップを予め準備する必要があるだけでなく、１つの画像スタイルのビデオクリップから別の画像スタイルのビデオクリップに切り替える切り替え過程が不自然であり、スムーズではなく、これはユーザー体験の低下に繋がる。
本開示の少なくとも１つの実施例はビデオ処理方法、ビデオ処理装置、電子設備及びコンピュータ読み取り可能な記憶媒体を提供する。該ビデオ処理方法は、撮影画像に基づいて得られた第１スタイルの画像を含む初期画像を表示するステップと、第１トリガーイベントに応答して、初期画像から撮影画像に基づいて得られかつ第１スタイルの画像とはスタイルが異なる第２スタイルの画像を含む目標画像に切り替える動的過程を表すための画像切替動画を表示するステップと、画像切替動画の表示が完了したことに応答して、目標画像を表示するステップとを含み、画像切替動画における切替画像は、第１画像領域と、第２画像領域と、第３画像領域とを含み、第１画像領域は第２画像領域と第３画像領域との間に位置し、第１画像領域は動的過程において位置移動により時分割で画像切替動画の画像領域全体をカバーしかつ位置移動過程において形状変化が発生し、第１画像領域は切替素材を表すために用いられ、第２画像領域は初期画像の、第２画像領域が位置する部分の画像を表すために用いられ、第３画像領域は目標画像の、第３画像領域が位置する部分の画像を表すために用いられる。該ビデオ処理方法は、画像のスタイルが異なるビデオクリップを準備するユーザーの煩雑さを低減でき、かつ画像のスタイルが異なるビデオクリップの間の切り替えをよりスムーズにし、かつ新たなビデオクリップの切り替え方式となり、ユーザー体験が向上する。
なお、本開示の実施例が提供するビデオ処理方法は少なくとも部分的に適切な電子設備に適用されてもよく、例えば、いくつかの実施例において、該ビデオ処理方法は電子設備にインストールされたアプリケーションプログラム又は例えばクラウドサーバによりダウンロードされた非インストールのアプリケーションプログラム（例えば業界に存在するウィジェット、高速アプリケーション等）によりローカルで実現されてもよい。電子設備はパーソナルコンピュータ、移動端末等を含んでもよく、該移動端末は携帯電話、タブレットコンピュータ、着用可能な電子設備、スマートホーム装置等の装置であってもよい。例えば、いくつかの実施例において、ビデオ処理方法はサーバにより実現されてもよく、又はビデオ処理方法における一部のステップはサーバ（例えばクラウドサーバ）により実現されて他の一部のステップは電子設備によりローカルで実現されてもよく、電子設備は例えばネットワーク（例えば無線又は有線通信ネットワーク）により互いに通信し、それにより処理後のビデオを取得する。
図１Ａは本開示の少なくとも１つの実施例によって提供される、ビデオ処理方法のフローチャートである。
図１Ａに示すように、該方法はステップＳ１０～Ｓ３０を含んでもよい。
ステップＳ１０において、初期画像を表示し、初期画像は第１スタイルの画像を含む。
ステップＳ２０において第１トリガーイベントに応答して、画像切替動画を表示し、画像切替動画は初期画像から目標画像に切り替える動的過程を表すために用いられ、目標画像は第２スタイルの画像を含む。
ステップＳ３０において、画像切替動画の表示が完了したことに応答し、目標画像を表示する。
例えば、画像切替動画の切替画像は第１画像領域と、第２画像領域と、第３画像領域とを含み、第１画像領域は第２画像領域と第３画像領域との間に位置する。第１画像領域は動的過程において位置移動により画像切替動画の画像領域全体をカバーしかつ位置移動の過程において形状変化が発生し、第１画像領域は切替素材を表示するために用いられ、第２画像領域は初期画像が第２画像領域の所在位置に位置する部分画像を表示するために用いられ、第３画像領域は目標画像が第３画像領域の所在位置に位置する部分画像を表示するために用いられる。
該方法はユーザーが画像のスタイルが異なるビデオクリップを準備する煩雑さを低減でき、かつ画像切り替え動画により画像のスタイルが異なるビデオクリップの間の切り替えをよりスムーズにし、かつ新たなビデオクリップの切り替え方式を提供し、ユーザー体験が向上する。
ステップＳ１０について、本開示のいくつかの実施例において、第１スタイルの画像は撮影画像に基づいて得られた画像である。撮影画像は例えば撮影装置が異なる時刻に撮影した画像であってもよく、撮影装置が異なる時刻に撮影した画像は異なってもよいため、異なる時間に得られた初期画像、及び異なる時間に初期画像に基づいて得られた目標画像も異なってもよい。例えば、撮影装置はカメラであってもよい。
例えば、第１スタイルの画像はリアルタイム撮影画像であってもよく、該リアルタイム撮影画像は映像撮影装置がリアルタイムに撮影しかつ表示画面にリアルタイムに表示する画像であってもよい。例えば、映像撮影装置は前述の撮影装置であってもよく、カメラであってもよい。表示画面にリアルタイムに表示された画像は映像撮影装置がリアルタイムに撮影した画像を処理していないスルー画像であってもよく、例えば元のスルー画像であり、又は表示画面にリアルタイムに表示された画像は映像撮影装置がリアルタイムに撮影したスルー画像をリアルタイムにフィルタリング、平滑化、充填などの処理を行うことで得られた第１スタイルを有する画像であってもよい。
無論、本開示の他の実施例において、第１スタイルの画像は映像撮影装置がリアルタイムに撮影した画像でなくてもよく、例えば第１スタイルの画像はローカルメモリから直接取得した撮影画像であってもよく、クラウドからダウンロードして取得された撮影画像であってもよい。
本開示のいくつかの実施例において、初期画像は第１スタイルの画像を含むだけでなく第１スタイルの画像を取り囲む第１所定画像を含んでもよい。第１所定画像は、例えば、スタンプ、動画等であってもよい。
図１Ｂは図１ＡにおけるステップＳ１０により初期画像を表示する概略図を示す。
図１Ｂに示すように、例えば電子設備の表示画面に該初期画像１００を表示してもよく、該初期画像１００は第１スタイルの画像１０１（破線枠内部）及び第１所定画像１０２（破線枠外部）を含んでもよい。
第１スタイルの画像１０１は、例えば、目標対象を撮像装置で撮像することで得られた撮像画像であってもよい。第１所定画像１０２は例えばカレンダースタンプであってもよい。例えば、映像撮影装置を用いてビデオをリアルタイムに撮影する場合、表示画面に連続的な複数フレームの初期画像をリアルタイムに表示する。
ステップＳ２０について、第１トリガーイベントは例えば撮影画像における目標対象が所定の肢体動作を呈することが検出されたことと、撮影画像における目標対象が所定の顔動作を呈することが検出されたことと、所定の音声が受信されたこととのうちの少なくとも１つであってもよい。
所定の肢体動作は、例えば目標対象の肢体が表示画面で摺動するか、又は映像撮影装置の視野範囲内で摺動することであってもよい。肢体は、例えば、ユーザーの頭部、手部等であってもよい。顔の動作を予め設定することは、例えばユーザーの口部が変形し、又は瞬き等であってもよい。
例えば、様々な方式でビデオにおける肢体動作を検出でき、すなわち動作検出することができる。動作検出タスクは目標検出タスクに類似し、いずれもまず目標を位置決め、次に目標を識別する必要がある。例示的な方法はＳＣＮＮ（多段階ネットワーク）、ＴＵＲＮ（ユニット回帰ネットワーク）、ＴＡＧ（時系列動作パケット）、ＣＤＣネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ－Ｄｅ－Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）方法、ＳＳＮ（構造化セグメントネットワーク）、ＣＢＲ（カスケードの境界回帰ネットワーク）等を含み、本開示の実施例はある特定の動作検出方法に限定されない。
第１トリガーイベントに応答して、画像切替動画を表示することにより、画像切替動画により初期画像から目標画像に切り替える動的過程を表す。該画像切替動画は例えば連続的な複数フレームの切替画像を含んでもよく、切替画像は例えば第１画像領域、第２画像領域及び第３画像領域を含んでもよい。第１画像領域は、第２画像領域と第３画像領域との間に位置する。第１画像領域は切替素材を表示するために用いられ、第２画像領域は初期画像の第２画像領域が位置する部分の画像を表示するために用いられ、第３画像領域は目標画像の第３画像領域が位置する部分の画像を表示するために用いられる。
図１Ｃは、本開示の少なくとも一実施例によって提供される画像切替動画の切替画像を示す模式図である。
なお、図１Ｃに示す切替画像は画像切替動画における１フレームの切替画像だけであり、画像切替動画は複数フレームの異なる切替画像で構成された動画であってもよい。また、図１Ｃは一例に過ぎず、本開示の実施例を限定するものではない。
図１Ｃに示すように、該切り替え画像は第１画像領域１０３、第２画像領域１０４及び第３画像領域１０５を含んでもよい。第１画像領域１０３は、第２画像領域１０４と第３画像領域１０５との間に位置する。
第１画像領域１０３は、切替素材を表すために用いられる。図１Ｃに示すように、切替素材は例えば白色の単色充填画像であってもよい。無論、切替素材はパターンを有する画像であってもよく、図１Ｃに示す切替素材は一例に過ぎず、切替素材が白色の単色充填画像のみであることを意味しない。
第２画像領域１０４は初期画像の第２画像領域１０４が位置する部分の画像を表すために用いられる。この初期画像は、例えば、リアルタイムで撮影された画像であってもよい。図１Ｂに示すように、例えば、初期画像１００の第２画像領域１０４が位置する部分の画像は目標対象の頭頂部、目標対象が位置する部分の環境で形成された背景やカレンダースタンプであってもよい。したがって、第２画像領域１０４が初期画像１００の第２画像領域１０４が位置する部分の画像を表すことは、目標対象の頭頂部、目標対象が位置する部分の環境で形成された背景やカレンダースタンプを表すことを含んでもよい。
第３画像領域１０５は目標画像の第３画像領域１０５の所在位置に位置する部分画像を表示するために用いられる。対象画像は、第２のスタイルの画像を含む。第２スタイルの画像は撮影画像に基づいて得られた画像であり、第１スタイルの画像と第２スタイルの画像とはスタイルが異なる画像である。本開示のいくつかの実施例において、第２スタイルの画像は撮影画像にスタイル変換を行うことで得られた画像である。撮影画像は、例えば、映像撮影装置がリアルタイムで撮影した画像であってもよい。
本開示のいくつかの実施例において、第２スタイルの画像は撮影画像をスタイル変換モデルに入力することで得られたスタイル変換モデルから出力された画像である。例えば、第２スタイルの画像は例えば映像撮影装置が目標対象を撮影することで得られた撮影画像にスタイル変換を行うことで得られた画像であってもよい。例えば、撮影画像をスタイル変換モデルに入力し、スタイル変換モデルから出力された香港漫画のスタイルを有する画像を取得してもよい。
スタイル変換モデルはサンプル画像により機械学習モデルを訓練して得られたものであってもよい。サンプル画像は元の画像及び変換画像を含み、元の画像はサンプルオブジェクトを撮影することで得られた画像であり、変換画像はサンプルオブジェクトをスタイル制作して得られた画像である。
変換画像は、例えば、香港漫画風の画像、油絵風の画像、又は、スケッチ画像等であってもよい。例えば、元の画像を機械学習モデルの入力とし、変換画像を機械学習モデルの出力とし、それによりトレーニングしてスタイル変換モデルを得る。
例えば、撮影画像をスタイル変換モデルに入力することでスタイル変換モデルから出力された香港漫画のスタイルを有する画像（即ち、第２スタイルの画像）を取得し、又はユーザーの選択に基づいてスタイル変換モデルから出力された画像がどのスタイルを有するかを決定してもよい。例えば、ユーザーはアプリケーションプログラムにおいて「油絵スタイル」、「中国画スタイル」等を選択すると、スタイル変換モデルは撮影画像にスタイル変換を行って油絵スタイル、中国画スタイル等を有する第２スタイルの画像を出力する。該状況において、複数のスタイル変換モデルを採用してもよく、各スタイル変換モデルから出力された画像は異なるスタイルを有するため、ユーザーの選択に基づいて撮影画像を対応するスタイル変換モデルに入力することで、対応するスタイルの画像を取得できる。
なお、第３画像領域１０５は目標画像の第３画像領域１０５が位置する部分の画像を表す場合、第２画像領域１０４は初期画像の第２画像領域１０４が位置する部分の画像を表し、この時の初期画像と該目標画像とは同一の時刻に得られた画像であるが、初期画像と目標画像とはスタイルが異なることに過ぎない。すなわち、初期画像と目標画像とはいずれもリアルタイムの撮影画像に基づいて得られたスタイルが異なる画像であってもよい。
図１Ｃに示すように、第３画像領域１０５は例えば目標画像の第３画像領域１０５が位置する部分の画像を表してもよい。図１Ｄに示すように、例えば目標画像の第３画像領域１０５に位置する部分の画像は目標対象の顔の左下部及び髪の尾部を含んでもよく、切替画像の第３画像領域１０５に該部分の画像を表示する。
本開示のいくつかの実施例において、第１画像領域１０３は動的過程において位置移動により画像切替動画の画像領域全体をカバーしかつ位置移動の過程において形状変化が発生する。ここで理解できるのは、画像切替動画の開始時刻に、切替画像は第２画像領域のみを有してもよく、すなわち、表示画面に第１スタイルの画像を表示して第２スタイルの画像を表示しない。例えば第１画像領域は左下隅から右側及び上方に移動し、第１画像領域は位置移動により画像領域全体をカバーする。また、第１画像領域の位置移動過程において、第１画像領域に形状変化が発生する。例えば第１画像領域はページめくりの規律に応じて位置移動及び形状変化を行い、画像切替動画はページめくりの効果を呈してもよい。以下は図４及び図５を参照して画像切替動画のレンダリング図層及び第１画像領域が位置移動しかつ位置移動過程で形状変化が発生するメカニズムを説明し、ここでは説明を省略する。
なお、第１画像領域は左上隅から右側及び下方に移動し始めてもよく、又は右上隅から左側及び下方に移動し始めてもよく、要するに本開示は第１画像領域の移動方式を限定しない。
ステップＳ３０に対して、例えば第１画像領域が動的過程において位置移動により時分割で画像切替動画の画像領域全体をカバーする場合（例えば時分割でカバーすることは異なる時刻で異なる部分をカバーすることであり、同じ時刻で画像領域全体を完全にカバーすることではない）、画像切替動画の表示が完了する。
本開示のいくつかの実施例において、画像切替動画の表示が完了した場合、例えば表示画面に該時刻に対応する目標画像を表示してもよい。
本開示のいくつかの実施例において、例えば、画像切替動画の表示が完了した場合、映像撮影装置を使用してビデオをリアルタイムに撮影し続けると、表示画面に連続的な複数フレームの第２スタイルの画像を有する目標画像をリアルタイムに表示してもよい。
図１Ｄは本開示の少なくとも１つの実施例が提供する目標画像の概略図を示す。
図１Ｄに示すように、例えば表示画面に該目標画像２００を表示してもよく、該目標画像２００は第２スタイルの画像１０６（破線枠内部）及び第２所定画像１０７を含んでもよい。本開示のいくつかの実施例において、目標画像は第２スタイルの画像１０６を含むだけでなく第２所定画像１０７（破線枠外部）を含んでもよく、第２所定画像１０７は第２スタイルの画像を取り囲む。第２所定画像は、例えばマップ、動画等であってもよい。第２所定画像は、第１所定画像と同じであっても異なっていてもよい。
第２のスタイルの画像１０６は、例えば、目標対象を撮像装置が撮像した撮像画像をスタイル変換した画像であってもよい。例えば、リアルタイムに撮影された撮影画像をスタイル変換モデルに入力して香港漫画風のスタイルを有する画像を得ることが可能である。
第２所定画像１０７は、例えば、カレンダースタンプであってもよい。図１Ｄ及び図１Ｂに示すように、第２所定画像１０７と第１所定画像１０２とは互いに異なってもよく、例えば異なる日付を示すカレンダースタンプであってもよく、すなわち、カレンダースタンプにおける日付が変化する。
ここで理解できるように、画像切替動画の開始時刻に、切替画像は第２画像領域のみを有してもよく、すなわち、第１スタイルの画像を表示し第２スタイルの画像を表示しない。画像切替動画の終了時点で、切替画像は第３画像領域のみを有してもよく、すなわち、第２スタイルの画像を表示し第１スタイルの画像を表示しない。
本開示のいくつかの実施例において、第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度は第１トリガーイベントに基づいて決定される。すなわち、第１トリガーイベントに基づいて第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度を決定してもよい。該実施例は画像切替動画の変位速度及び変形速度を制御できる方法を提供し、それにより該ビデオ処理方法の面白さが向上しかつビデオ処理方法の機能を豊かにし、ユーザー体験が向上する。
本開示のいくつかの実施例において、第１トリガーイベントは撮影画像における目標対象が所定の肢体動作を呈したことが検出されたことを含む場合、第１画像領域の動的過程における位置移動の変位速度及び形状変化の変形速度は所定の肢体動作の動作幅に基づいて決定される。
例えば、第１トリガーイベントは撮影画像における目標対象の指が摺動することが検出されたことを含み、指が摺動する距離に基づいて第１画像領域の動的過程における位置移動の変位速度及び形状変化の変形速度を決定することができる。例えば、いくつかの例において、指の摺動距離が長いほど、第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度が速い。
本開示のいくつかの実施例において、第１トリガーイベントは撮影画像における目標対象が所定の顔動作を呈したことが検出されたことを含む場合、第１画像領域の動的過程における位置移動の変位速度及び形状変化の変形速度は所定の顔動作の変形幅に基づいて決定される。例えば、いくつかの例において、所定の顔動作の変形幅が大きいほど、第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度が速い。
例えば、第１トリガーイベントは撮影画像における目標対象の顔動作が笑顔ではない状態から笑顔に変化したことが検出されることを含み、口の変形幅に基づいて第１画像領域の動的過程における位置移動の変位速度及び形状変化の変形速度を決定してもよい。
本開示のいくつかの実施例において、第１トリガーイベントが所定の音声が受信されたことを含む場合、第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度は所定の音声の話速、所定の音声の音量又は所定の音声における内容のうちの少なくとも１つに基づいて決定される。
例えば、第１トリガーイベントは所定の音声「過去に切り捨て、未来に迎えよう」を受信されたことを含み、受信された所定の音声「過去に切り捨て、未来に迎えよう」の話速に基づいて第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度を決定してよい。例えば、いくつかの例において、所定の音声の話速が速いほど、第１画像領域の動的過程での位置移動の変位速度及び形状変化の変形速度が速い。
図２は本開示の少なくとも１つの実施例が提供する別のビデオ処理方法のフローチャートを示す。
図２に示すように、該ビデオ処理方法は前述の実施例に加え、ステップＳ４０を含んでもよい。ステップＳ４０は、例えば、ステップＳ２０の後、ステップＳ３０の前に実行されてもよい。
ステップＳ４０では、画像切替動画の表示過程において第２トリガーイベントが発生することに応答して、動的過程が停止するように制御し、かつ画像切替動画の動的過程が停止したところの画像を表示する。
第２のトリガーイベントは、例えば、撮像画像における対象物のジェスチャの一時停止、顔の動作の一時停止、および音声入力のうちの少なくとも１つが検出されたことを含んでよい。
肢体動作の一時停止は、例えば、指で対象物を表示画面に向けてクリックする動作であってもよい。顔の動きを一時停止するとは、例えば、対象物が舌をはみ出す動きであってよい。音声入力は、例えば、入力音声「一時停止」であってもよい。
図３は本開示の少なくとも１つの実施例が提供する画像切替動画の動的プロセス停止での画像概略図を示す。
図３に示すように、例えば画像切替動画は切替画像３００を表示し、第２トリガーイベントの発生に応答し、画像切替動画を停止するように制御し、かつ切替画像３００を表示する。
本開示のいくつかの実施例において、画像切替動画に応答する動的過程が停止すると、切替画像３００に一時停止指示キー３０１を表示することができる。
第１トリガーイベントが所定の肢体動作を含み、第２トリガーイベントが肢体動作の一時停止を含む場合、所定の肢体動作及び肢体動作が異なる肢体動作であってもよく、肢体動作に基づいて画像切替動画を表示するか又は再生中の画像切替動画を一時停止させるかを決定してよい。無論、所定の肢体動作と一時停止肢体動作は同じ肢体動作であってもよい。例えば、画像切替動画を再生していない時に肢体動作が検出されると、該肢体動作が所定の肢体動作であると決定し、画像切替動画を表示してよい。画像切替動画を再生する過程において該肢体動作が検出されると、該肢体動作が肢体動作の一時停止であると決定してよい。同様に、第１トリガーイベントが所定の顔動作を含み、第２トリガーイベントが顔動作の一時停止を含む場合、所定の顔動作と顔動作の一時停止とは異なる顔動作であってもよく、同じ顔動作であってもよい。
図４は本開示の少なくとも１つの実施例が提供する画像切替動画のレンダリング層の概略図を示す。
図４に示すように、画像切替動画は第１キャンバス画像４０１、第２キャンバス図層４０２及び第３キャンバス図層４０３に画像レンダリングを行うことにより表示される。第２キャンバス図層４０２は第１キャンバス図層４０１より表示側に近接し、第３キャンバス図層４０３は第２キャンバス図層４０２より表示側に近接する。ここで、表示側は例えば該画像切替動画を表示する装置の表示画面がユーザーに臨む一側を指す。
切替素材を第３キャンバス図層にレンダリングし、初期画像の第２画像領域が位置する部分の画像を第２キャンバス図層にレンダリングし、目標画像の第３画像領域が位置する部分の画像を第１キャンバス図層にレンダリングする。第１キャンバス図層、第２キャンバス図層及び第３キャンバス図層においてレンダリング表示が行われない領域は透明である。
例えば、図１Ｂ～図１Ｄに示す状況において、切替素材１０３は第３キャンバス図層４０３にレンダリングされ、初期画像の第２画像領域１０４が位置する部分の画像は第２キャンバス画像４０２にレンダリングされ、目標画像の第３画像領域１０５が位置する部分の画像は第１キャンバス図層４０１にレンダリングされる。
図５は本開示の少なくとも１つの実施例が提供する第１画像領域が位置移動しかつ位置移動過程において形状変化が発生するメカニズム概略図である。
図５に示すように、該メカニズム概略図において、第１画像５００の１つの縁角Ｄが跳ね上げられ、縁角Ｄが跳ね上げられた後にＣ点の位置に落ち、線分ＡＢは縁角Ｄが跳ね上げられて形成された折り目であってもよく、Ｃ点、Ａ点及びＢ点の座標を算出することができ、それにより第１画像領域５０１、第２画像領域５０２及び第３画像領域５０３を得ることができる。第２画像領域５０２は、初期画像の第２画像領域５０２が位置する部分の画像を表示する。第３画像領域５０３は、対象画像の第３画像領域５０３が位置する部分の画像を表示する。
本開示の１つの実施例において、例えばページめくり曲線によりＣ点の経時変化の座標を取得してよい。該ページめくり曲線は例えば当業者がフィッティングにより得られたものであってもよい。例えば、Ｃ点の始点と終点を決定することができ、それにより始点と終点及びページめくりの角度に基づいてページめくり曲線をフィッティングすることができる。なお、Ａ点およびＢ点の座標は、例えば、Ａ点、Ｂ点およびＣ点の位置関係から算出することができる。
図６Ａは本開示の少なくとも１つの実施例が提供する別のビデオ処理方法のフローチャートを示す。
図６Ａに示すように、該ビデオ処理方法のフローチャートはステップＳ６０２～Ｓ６０７を含んでもよい。
ステップＳ６０２では、表示画面に真人風スタイルを含む初期画像を表示する。この真人風スタイルが第１スタイルの画像である。例えば上記図１Ａを参照して説明したステップＳ１０を実行してもよく、ここでは説明を省略する。
ステップＳ６０３では、笑顔動作が検出されたか否かを判断する。笑顔動作が検出されると、ステップＳ６０４を実行し、笑顔動作が検出されることは即ち第１トリガーイベントが検出されたことである。笑顔動作が検出されると、ステップＳ６０７を実行する。
ステップＳ６０４では、笑顔の動きが検出されたことに応答して、リアルタイムの真人画像に基づいて香港漫画風を有する目標画像をリアルタイムに生成する。この時、表示画面に表示された画像は香港漫画風の目標画像の一部及び真人風スタイルの初期画像の一部を含む。
ステップＳ６０５では、ページめくり効果を表し、該ページめくり効果は上記画像切替動画である。例えば上記図１Ａを参照して説明したステップＳ２０を実行してもよく、ここでは説明を省略する。
ステップＳ６０６では、ページめくり効果の表示が完了した場合、港湾のアニメスタイルを有する目標画像を表示する。例えば上記図１Ａを参照して説明したステップＳ３０を実行してもよく、ここでは説明を省略する。
ステップＳ６０７では、真人風スタイルの画像を表示する。即ち笑顔の動きが検出されると、真人風スタイルの画像を表示する。
図６Ｂは本開示の少なくとも１つの実施例が提供するビデオ処理方法を実現するリンク概略図を示す。
図６Ｂに示すように、該リンクはアイテムパッケージ、レンダリングツールパッケージ、ビデオエディタ（ｖｉｄｅｏ ｅｄｉｔｏｒ）及びオペレーティングシステムを含んでもよい。
アイテムパッケージは、例えば、当該アイテムが有する機能を実現するためのプログラムパッケージであってよい。当該アイテムが有する機能は、例えばページめくり効果を演出することであってもよい。
レンダリングツールキットは例えばアイテムパッケージにより処理されたビデオをレンダリングし、かつレンダリングされた結果をビデオエディタに伝達することができる。ビデオエディタは例えばレンダリング後の結果に編集処理を行うことで、処理後のビデオをオペレーティングシステムに適合させ、該オペレーティングシステムで実行されるアプリケーションプログラムにより該ページめくり効果を表示することを可能にする。
本開示のいくつかの実施例において、ビデオ処理方法は、撮影終了命令又は撮影一時停止命令が受信されたことに応答して、ビデオ処理パラメータの初期化を行うステップをさらに含む。
図６Ｃは本開示の少なくとも１つの実施例が提供する初期化のフローチャートを示す。
図６Ｃに示すように、初期化操作はステップＳ６２０～Ｓ６７０を含んでもよい。
ステップＳ６２０では、撮影を開始するか否かを判断する。撮影を開始するとは、例えば、ユーザーが撮影ボタンを押して、撮像装置を撮影状態とすることであってもよい。
撮影が開始されていない場合はステップＳ６３０が実行される。撮影が開始される場合、ステップＳ６７０～Ｓ６８０を実行する。
ステップＳ６３０では、撮影状態が撮影を終了するか又は撮影を一時停止するか否かを判断する。
撮影状態が撮影を終了するか又は撮影を一時停止する場合、ステップＳ６４０～Ｓ６８０を実行する。撮影状態が撮影を終了しないか又は撮影を一時停止しない場合、ステップＳ６８０を実行する。
ステップＳ６４０では、アイテムパケット及びレンダリングツールパケットをリセットする初期化メッセージを送信することにより、アイテムパケット及びレンダリングツールパケットにおけるビデオ処理パラメータが初期化される。
ステップＳ６５０では、ビデオエディタに対してリセットを行う。例えばビデオエディタにおけるビデオ処理パラメータを初期化してもよい。
ステップＳ６６０では、アプリケーションプログラムをリセットする。例えば、アプリケーションプログラムを、真人風スタイルの画像を表す状態にリセットしてもよい。
ステップＳ６７０では、撮影状態を更新する。例えば、ステップＳ６２０が「ＹＥＳ」である場合、撮影状態に入ってもよく、第１トリガーイベントに応答して、ページめくり効果を表示する。ステップＳ６２０が「ＮＯ」であり、かつステップＳ６３０が「ＹＥＳ」である場合、ステップＳ６４０～Ｓ６６０を実行した後、撮影を一時停止するか又は撮影を終了するように撮影状態を更新する。
図７は本開示の少なくとも１つの実施例が提供するビデオ処理装置７００の概略ブロック図を示す。
例えば、図７に示すように、該ビデオ処理装置７００は表示ユニット７１０及び切替ユニット７２０を含む。
表示ユニット７１０は初期画像を表示するように構成され、例えば、初期画像は第１スタイルの画像を含み、第１スタイルの画像は撮影画像に基づいて得られた画像である。表示部７１０は、例えば、図１（ａ）における上述ステップＳ１０を実行してもよい。
切替ユニット７２０は第１トリガーイベントに応答して、画像切替動画を表示するように構成され、画像切替動画は初期画像から目標画像に切り替える動的過程を表すために用いられる。例えば、目標画像は第２スタイルの画像を含み、第２スタイルの画像は撮影画像に基づいて得られた画像であり、第１スタイルの画像と第２スタイルの画像とはスタイルが異なる画像である。切替部７２０は、例えば、図１Ａにおける上述ステップＳ２０を実行してもよい。
表示ユニット７１０はさらに画像切替動画の表示が完了したことに応答して、目標画像を表示するように構成される。表示部７１０は、例えば、図１Ａにおける上述ステップＳ３０を実行してもよい。
画像切替動画における切替画像は第１画像領域、第２画像領域及び第３画像領域を含み、第１画像領域は第２画像領域と第３画像領域との間に位置し、第１画像領域は動的過程において位置移動により時分割で画像切替動画の画像領域全体をカバーしかつ位置移動過程において形状変化が発生する。第１画像領域は切替素材を表すために用いられ、第２画像領域は初期画像の第２画像領域が位置する部分の画像を表すために用いられ、第３画像領域は目標画像の第３画像領域が位置する部分の画像を表すために用いられる。
例えば、表示ユニット７１０及び切替ユニット７２０はハードウェア、ソフトウェア、ファームウェア及びそれらの任意の実行可能な組み合わせであってもよい。例えば、表示ユニット７１０及び切替ユニット７２０は専用又は汎用の回路、チップ又は装置等であってもよく、プロセッサとメモリとの組み合わせであってもよい。上記各ユニットの具体的な形態について、本開示の実施例はこれに限定されない。
なお、本開示の実施例において、ビデオ処理装置７００の各ユニットは前述のビデオ処理方法の各ステップに対応し、ビデオ処理装置７００の具体的な機能についてはビデオ処理方法に関する関連説明を参照すればよく、ここでは説明を省略する。図７に示すビデオ処理装置７００の構成要素及び構造は例示的なものに過ぎず、限定的なものではなく、必要に応じて、該ビデオ処理装置７００はさらに他の構成要素及び構造を含んでもよい。
本開示の少なくとも１つの実施例はさらに電子設備を提供し、該電子設備はプロセッサ及びメモリを含み、メモリは１つ又は複数のコンピュータプログラムモジュールを含む。１つ又は複数のコンピュータプログラムモジュールはメモリに記憶されかつプロセッサにより実行されるように構成され、１つ又は複数のコンピュータプログラムモジュールは上記ビデオ処理方法を実現するための命令を含む。該電子設備は画像のスタイルが異なるビデオクリップを準備するユーザーの煩雑さを低減でき、かつ画像のスタイルが異なるビデオクリップの間の切り替えをよりスムーズにし、新たなビデオクリップの切り替え方式となり、ユーザー体験が向上する。
図８Ａは本開示のいくつかの実施例が提供する電子設備の概略ブロック図である。図８Ａに示すように、該電子設備８００はプロセッサ８１０及びメモリ８２０を含む。メモリ８２０は非一時的なコンピュータ読み取り可能な命令（例えば１つ又は複数のコンピュータプログラムモジュール）を記憶するために用いられる。プロセッサ８１０は非一時的なコンピュータ読み取り可能な命令を実行するために用いられ、非一時的なコンピュータ読み取り可能な命令がプロセッサ８１０により実行される時に上記ビデオ処理方法のうちの１つ又は複数のステップを実行することができる。メモリ８２０及びプロセッサ８１０は、バスシステム及び／又は他の接続機構（図示せず）を介して相互に接続されてもよい。
例えば、プロセッサ８１０は中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）又はデータ処理能力及び／又はプログラム実行能力を有する他の形式の処理ユニットであってもよい。例えば、中央処理ユニット（ＣＰＵ）はＸ８６又はＡＲＭアーキテクチャ等であってもよい。プロセッサ８１０は汎用プロセッサ又は専用プロセッサであってもよく、電子設備８００における他のコンポーネントを制御して所望の機能を実行することが可能である。
例えば、メモリ８２０は１つ又は複数のコンピュータプログラム製品の任意の組み合わせを含んでもよく、コンピュータプログラム製品は様々な形式のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリ及び／又は不揮発性メモリを含んでもよい。揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）および／またはキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＵＳＢメモリ、フラッシュメモリなどを含んでもよい。コンピュータ読み取り可能な記憶媒体に１つ又は複数のコンピュータプログラムモジュールを記憶してよく、プロセッサ８１０は１つ又は複数のコンピュータプログラムモジュールを実行することにより、電子設備８００の様々な機能を実現できる。コンピュータ読み取り可能な記憶媒体には、各種のアプリケーションプログラム及び各種のデータ、並びに、アプリケーションプログラムが使用及び／又は生成した各種のデータ等が格納されてもよい。
なお、本開示の実施例において、電子設備８００の具体的な機能及び技術的効果は以上のビデオ処理方法に関する説明を参照すればよく、ここで説明を省略する。
図８Ｂは本開示のいくつかの実施例が提供する他の電子設備の概略ブロック図である。この電子設備９００は、例えば、本開示の実施例が提供するビデオ処理方法を実施するために好適に用いられる。電子設備９００は、端末装置等であってよい。なお、図８Ｂに示された電子設備９００は一例に過ぎず、それは本開示の実施例の機能及び使用範囲にいかなる制限を与えないことである。
図８Ｂに示すように、電子設備９００は処理装置（例えば中央処理装置、グラフィックプロセッサ等）９１０を含んでもよく、それはリードオンリーメモリ（ＲＯＭ）９２０に記憶されたプログラム又は記憶装置９８０からランダムアクセスメモリ（ＲＡＭ）９３０にロードされたプログラムに基づいて様々な適切な動作及び処理を実行することができる。ＲＡＭ９３０には、さらに電子設備９００の操作に必要な様々なプログラム及びデータが記憶される。処理装置９１０、ＲＯＭ９２０、及びＲＡＭ９３０は、バス９４０により相互に接続されている。バス９４０には、入出力インタフェース９５０がさらに接続されている。
一般的に、以下の装置、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープ等を含む入力装置９６０と、例えば液晶ディスプレイ（ＬＣＤ）やスピーカ、振動器等を含む出力装置９７０と、例えば磁気テープ、ハードディスク等を含む記憶装置９８０と、通信装置９９０とのうちの１つまたは複数はＩ／Ｏインタフェース９５０に接続することが可能である。通信装置９９０は、電子設備９００と他の電子設備との間で無線または有線による通信を行い、データのやり取りを行うことができる。図８Ｂは様々な装置を有する電子設備９００を示すが、理解すべきことは、示された全ての装置を実施するか又は備えることを要求せず、電子設備９００は代替的に実施するか又はより多く又はより少ない装置を備えることが可能である。
例えば、本開示の実施例によれば、上記ビデオ処理方法はコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは非一時的なコンピュータ読み取り可能な媒体に搬送されたコンピュータプログラムを含み、該コンピュータプログラムは上記ビデオ処理方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信装置９９０によりネットワークからダウンロードしてインストールされ、又は記憶装置９８０からインストールされ、又はＲＯＭ９２０からインストールされる。該コンピュータプログラムが処理装置９１０により実行される場合、本開示の実施例が提供するビデオ処理方法に限定された機能を実現できる。
本開示の少なくとも１つの実施例はさらにコンピュータ読み取り可能な記憶媒体を提供し、該コンピュータ読み取り可能な記憶媒体は非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、非一時的なコンピュータ読み取り可能な命令がコンピュータにより実行される場合に上記ビデオ処理方法を実現できる。該コンピュータ読み取り可能な記憶媒体を利用して、ユーザーが画像のスタイルが異なるビデオクリップを準備する煩雑さを低減でき、かつ画像のスタイルが異なるビデオクリップの間の切り替えをよりスムーズにし、新たなビデオクリップの切り替え方式を提供し、ユーザー体験が向上する。
図９は本開示のいくつかの実施例が提供する記憶媒体の概略図である。図９に示すように、記憶媒体１０００は非一時的なコンピュータ読み取り可能な命令１０１０を記憶するために用いられる。例えば、非一時的なコンピュータ読み取り可能な命令１０１０がコンピュータにより実行される場合に上記ビデオ処理方法のうちの１つ又は複数のステップを実行することができる。
例えば、該記憶媒体１０００は上記電子設備８００に適用することができる。例えば、記憶媒体１０００は図８Ａに示す電子設備８００におけるメモリ８２０であってもよい。例えば、記憶媒体１０００に関する関連説明は図８Ａに示す電子設備８００におけるメモリ８２０の対応する説明を参照すればよく、ここでは説明を省略する。
なお、本開示のコンテキストにおいて、コンピュータ読み取り可能な媒体は有形の媒体であってもよく、それは命令実行システム、装置又は装置が使用するか又は命令実行システム、装置又は装置と組み合わせて使用するためのプログラムを含むか又は記憶することが可能である。コンピュータ読み取り可能な媒体はコンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は任意の以上の組み合わせであってもよいが、これに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気的接続、携帯式コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯式コンパクト磁気ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記任意の適切な組み合わせを含むが、これらに限定されない。本開示において、コンピュータ読み取り可能な記憶媒体はプログラムを含むか又は記憶するいかなる有形媒体であってもよく、該プログラムはシステム、装置又はデバイスを実行するように命令されるか又はそれと組み合わせて使用されてもよい。本開示において、コンピュータ読み取り可能な信号媒体はベースバンド又はキャリアの一部として伝送されたデータ信号を含んでもよく、その中にコンピュータ読み取り可能なプログラムコードが担持される。このような伝播されたデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ読み取り可能な信号媒体はコンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、該コンピュータ読み取り可能な信号媒体は命令実行システム、装置又はデバイスにより使用されるか又はそれと組み合わせて使用されるためのプログラムを送信、伝播又は伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、電線、光ケーブル、ＲＦ（無線周波数）等、又は上記任意の適切な組み合わせを含むが、これらに限定されない。
いくつかの実施形態において、クライアント、サーバはＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパー出願書類転送プロトコル）のような現在既知又は将来開発された任意のネットワークプロトコルを利用して通信することができ、かつ任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続することができる。通信ネットワークの例はローカルエリアネットワーク（“ＬＡＮ”）、ワイドエリアネットワーク（“ＷＡＮ”）、インターネット（例えば、インターネット）及びエンドツーエンドのネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドのネットワーク）、及び現在既知又は将来開発された任意のネットワークを含む。
上記コンピュータ読み取り可能な媒体は上記電子設備に含まれてもよいし、単独で存在してもよく、該電子設備に組み込まれていない。
一種又は複数種のプログラミング言語又はその組み合わせで本開示の操作を実行するためのコンピュータプログラムコードを作成することができ、上記プログラミング言語はオブジェクト指向のプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋を含むが、これらに限定されず、さらに従来のプロセス式プログラミング言語、例えば“Ｃ”言語又は類似のプログラミング言語を含む。プログラムコードはユーザーコンピュータで完全に実行され、ユーザーコンピュータで部分的に実行され、独立したソフトウェアパッケージとして実行され、ユーザーコンピュータで遠隔コンピュータで部分的に実行され、又は遠隔コンピュータ又はサーバで完全に実行されてもよい。遠隔コンピュータに関する場合、遠隔コンピュータは任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む）を介してユーザーコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダを利用してインターネットを介して接続される）。
図面におけるフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点で、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、該モジュール、プログラムセグメント、又はコードの一部は１つ又は複数の所定の論理機能を実現するための実行可能な命令を含む。なお、いくつかの代替としての実現において、ブロックにマークされた機能は図面にマークされた順序と異なる順序で発生してもよい。例えば、２つの連続的に表示されたブロックは実際に基本的に並行して実行されてもよく、それらは時々逆の順序で実行されてもよく、これは関連する機能に依存する。なお、ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアベースのシステムで実現されてもよく、又は専用のハードウェアとコンピュータコマンドとの組み合わせで実現されてもよい。
本開示の実施例に記載されたユニットはソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称はある場合に該ユニット自体を限定するものではない。
ここで説明された機能は少なくとも部分的に１つ以上のハードウェア論理構成要素によって実行されてもよい。例えば、非限定的に、使用可能な例示的なハードウェア論理部品はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑プログラマブル論理装置（ＣＰＬＤ）等を含む。
なお、ここで説明すべきことは以下である。
（１）本開示の実施例の図面は本開示の実施例に係る構造のみに関し、他の構成は通常設計を参照可能である。
（２）互いに矛盾しない場合、本開示の実施例及び実施例における特徴は互いに組み合わせて新たな実施例を得ることが可能である。
以上に示すのは、本開示の具体的な実施形態に過ぎず、本開示の保護範囲はこれに限定されず、請求の範囲によって限定する保護範囲を基準とすべきである。

Claims (12)

  1. ビデオ処理方法であって、
    目標対象をリアルタイムに撮影した撮影画像に基づいて得られた第１スタイルの画像を含む初期画像を表示するステップと、
    前記目標対象が検出された第１トリガーイベントに応答して、前記初期画像から前記目標対象をリアルタイムに撮影した撮影画像に基づいて得られかつ前記第１スタイルの画像とはスタイルが異なる第２スタイルの画像を含む目標画像に切り替える動的過程を表すための画像切替動画を表示するステップと、
    前記画像切替動画の表示が完了したことに応答して、前記目標画像を表示するステップとを含み、
    ここで、前記画像切替動画における切替画像は、第１画像領域と、第２画像領域と、第３画像領域とを含み、前記第１画像領域は前記第２画像領域と前記第３画像領域との間に位置し、前記第１画像領域は前記動的過程において位置移動により時分割で前記画像切替動画の画像領域全体をカバーしかつ位置移動過程において形状変化が発生し、前記第１画像領域の位置移動過程における形状変化は、前記初期画像における縁角が跳ね上げられたことにより形成された折り目、及び、前記縁角が跳ね上げられた後に位置する位置に基づいて得られ、
    前記第１画像領域は切替素材を表すために用いられ、前記第２画像領域は前記初期画像の、前記第２画像領域が位置する部分の画像を表すために用いられ、前記第３画像領域は前記目標画像の、前記第３画像領域が位置する部分の画像を表すために用いられ、前記第２画像領域が位置する部分の画像と、前記第３画像領域が位置する部分の画像とは、前記目標対象を同じ時刻で撮影することにより得られたものである、ビデオ処理方法。
  2. 前記第１トリガーイベントは、前記第１スタイルの画像が得られる前記撮影画像における目標対象が所定の肢体動作を呈することが検出されたことと、前記第１スタイルの画像が得られる前記撮影画像における目標対象が所定の顔動作を呈したことが検出されたことと、所定の音声が受信されたこととのうちの少なくとも１つをさらに含む、請求項１に記載の方法。
  3. 前記第１画像領域の前記動的過程での位置移動の変位速度及び形状変化の変形速度は前記第１トリガーイベントに基づいて決定される、請求項２に記載の方法。
  4. 前記第１トリガーイベントは前記第１スタイルの画像が得られる前記撮影画像における目標対象が所定の肢体動作を呈したことが検出されたことを含む場合、前記第１画像領域の前記動的過程における位置移動の変位速度及び形状変化の変形速度は前記所定の肢体動作の動作幅に基づいて決定され、
    前記第１トリガーイベントは前記第１スタイルの画像が得られる前記撮影画像における目標対象が所定の顔動作を呈したことが検出されたことを含む場合、前記第１画像領域の前記動的過程における位置移動の変位速度及び形状変化の変形速度は前記所定の顔動作の変形幅に基づいて決定され、
    前記第１トリガーイベントは所定の音声が受信されたことを含む場合、前記第１画像領域の前記動的過程での位置移動の変位速度及び形状変化の変形速度は前記所定の音声の話速、前記所定の音声の音量又は前記所定の音声の内容のうちの少なくとも１つに基づいて決定される、請求項３に記載の方法。
  5. 前記第１スタイルの画像は前記第１スタイルの画像が得られる前記撮影画像であり、前記第２スタイルの画像は前記第２スタイルの画像が得られる前記撮影画像にスタイル変換を行うことで得られた画像である、請求項１～４のいずれか１項に記載の方法。
  6. 前記第２スタイルの画像は前記第２スタイルの画像が得られる前記撮影画像をスタイル変換モデルに入力することにより得られた前記スタイル変換モデルから出力された画像であり、
    前記スタイル変換モデルはサンプル画像により機械学習モデルを訓練して得られたものであり、前記サンプル画像は元の画像及び変換画像を含み、前記元の画像はサンプルオブジェクトを撮影することで得られた画像であり、前記変換画像は前記サンプルオブジェクトにスタイル制作を行うことで得られた画像である、請求項５に記載の方法。
  7. 前記画像切替動画の表示過程において第２トリガーイベントの発生に応答して、前記動的過程を停止するように制御し、かつ前記画像切替動画の前記動的過程が停止したところの画像を表示するステップをさらに含む、請求項１～６のいずれか１項に記載の方法。
  8. 前記初期画像は、前記第１スタイルの画像を取り囲む第１所定画像をさらに含み、
    前記目標画像は、前記第２スタイルの画像を取り囲む第２所定画像をさらに含む、請求項１～７のいずれか１項に記載の方法。
  9. 前記画像切替動画は第１キャンバス図層、第２キャンバス図層及び第３キャンバス図層に画像レンダリングを行うことにより表示され、前記第２キャンバス図層は前記第１キャンバス図層よりも表示側に近接し、前記第３キャンバス図層は前記第２キャンバス図層よりも表示側に近接し、
    前記切替素材を前記第３キャンバス図層にレンダリングし、前記初期画像の前記第２画像領域が位置する部分の画像を前記第２キャンバス図層にレンダリングし、前記目標画像の前記第３画像領域が位置する部分の画像を前記第１キャンバス図層にレンダリングし、
    前記第１キャンバス図層、前記第２キャンバス図層及び前記第３キャンバス図層のレンダリング表示が行われていない領域は透明である、請求項１～８のいずれか１項に記載の方法。
  10. ビデオ処理装置であって、
    目標対象をリアルタイムに撮影した撮影画像に基づいて得られた第１スタイルの画像を含む初期画像を表示するように構成される表示ユニットと、
    前記目標対象が検出された第１トリガーイベントに応答して、前記初期画像から前記目標対象をリアルタイムに撮影した撮影画像に基づいて得られかつ前記第１スタイルの画像とはスタイルが異なる第２スタイルの画像を含む目標画像に切り替える動的過程を表すための画像切替動画を表示する切替ユニットと、を含み、
    前記表示ユニットは、前記画像切替動画の表示が完了したことに応答して、前記目標画像を表示するように構成され、
    ここで、前記画像切替動画における切替画像は、第１画像領域と、第２画像領域と、第３画像領域とを含み、前記第１画像領域は前記第２画像領域と前記第３画像領域との間に位置し、前記第１画像領域は前記動的過程において位置移動により時分割で前記画像切替動画の画像領域全体をカバーしかつ位置移動過程において形状変化が発生し、前記第１画像領域の位置移動過程における形状変化は、前記初期画像における縁角が跳ね上げられたことにより形成された折り目、及び、前記縁角が跳ね上げられた後に位置する位置に基づいて得られ、
    前記第１画像領域は切替素材を表すために用いられ、前記第２画像領域は前記初期画像の、前記第２画像領域が位置する部分の画像を表すために用いられ、前記第３画像領域は前記目標画像の、前記第３画像領域が位置する部分の画像を表すために用いられ、前記第２画像領域が位置する部分の画像と、前記第３画像領域が位置する部分の画像とは、前記目標対象を同じ時刻で撮影することにより得られたものである、ビデオ処理装置。
  11. 電子設備であって、
    プロセッサと、
    １つ又は複数のコンピュータプログラムモジュールを含むメモリと、を含み、
    ここで、前記１つ又は複数のコンピュータプログラムモジュールは前記メモリに記憶されかつ前記プロセッサにより実行されるように構成され、前記１つ又は複数のコンピュータプログラムモジュールは請求項１～９のいずれか１項に記載のビデオ処理方法を実現するための命令を含む、電子設備。
  12. コンピュータ読み取り可能な記憶媒体であって、非一時的なコンピュータ読み取り可能な命令を記憶するために用いられ、前記非一時的なコンピュータ読み取り可能な命令がコンピュータにより実行される場合に請求項１～９のいずれか１項に記載のビデオ処理方法を実現できる、コンピュータ読み取り可能な記憶媒体。
JP2023535289A 2020-12-30 2021-11-25 ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体 Active JP7395070B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011609158.0A CN112764845B (zh) 2020-12-30 2020-12-30 视频处理方法及装置、电子设备和计算机可读存储介质
CN202011609158.0 2020-12-30
PCT/CN2021/133179 WO2022142906A1 (zh) 2020-12-30 2021-11-25 视频处理方法及装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP7395070B1 true JP7395070B1 (ja) 2023-12-08
JP2023552591A JP2023552591A (ja) 2023-12-18

Family

ID=75697586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023535289A Active JP7395070B1 (ja) 2020-12-30 2021-11-25 ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体

Country Status (7)

Country Link
US (1) US11954781B2 (ja)
EP (1) EP4242840A4 (ja)
JP (1) JP7395070B1 (ja)
KR (1) KR102655049B1 (ja)
CN (1) CN112764845B (ja)
AU (1) AU2021415514A1 (ja)
WO (1) WO2022142906A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764845B (zh) * 2020-12-30 2022-09-16 北京字跳网络技术有限公司 视频处理方法及装置、电子设备和计算机可读存储介质
CN114428573B (zh) * 2021-12-30 2024-03-08 北京字跳网络技术有限公司 特效图像处理方法、装置、电子设备及存储介质
CN115086745B (zh) * 2022-06-30 2024-01-23 北京字跳网络技术有限公司 一种直播视频处理方法、装置、设备及介质
CN115484488B (zh) * 2022-08-23 2023-08-04 惠州拓邦电气技术有限公司 一种动画控制方法、装置及电器
WO2024065761A1 (zh) * 2022-09-30 2024-04-04 京东方科技集团股份有限公司 显示装置以及显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923435A (zh) 2010-08-24 2010-12-22 福州瑞芯微电子有限公司 电子书模拟真实翻页效果的方法
CN108765278A (zh) 2018-06-05 2018-11-06 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN110135349A (zh) 2019-05-16 2019-08-16 北京小米智能科技有限公司 识别方法、装置、设备及存储介质
CN111277893A (zh) 2020-02-12 2020-06-12 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655766B (zh) * 2008-08-22 2012-03-28 鸿富锦精密工业（深圳）有限公司 可体现电子文档翻页效果的电子装置及其方法
JP2012027687A (ja) * 2010-07-23 2012-02-09 Casio Comput Co Ltd 画像処理装置及びプログラム
US9922439B2 (en) * 2014-07-25 2018-03-20 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
CN105404489A (zh) * 2015-11-30 2016-03-16 天脉聚源（北京）科技有限公司 切换显示图像的方法和装置
DK179867B1 (en) * 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
US10318889B2 (en) * 2017-06-26 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
US10719968B2 (en) * 2018-04-18 2020-07-21 Snap Inc. Augmented expression system
CN109035374B (zh) * 2018-07-13 2023-06-02 Vidaa(荷兰)国际控股有限公司 颜色渐变动画效果的实现方法及装置
DK201970530A1 (en) * 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
CN110825286B (zh) * 2019-10-30 2021-09-03 北京字节跳动网络技术有限公司 图像处理方法、装置和电子设备
CN111738910A (zh) * 2020-06-12 2020-10-02 北京百度网讯科技有限公司 一种图像处理方法、装置、电子设备和存储介质
CN112764845B (zh) * 2020-12-30 2022-09-16 北京字跳网络技术有限公司 视频处理方法及装置、电子设备和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923435A (zh) 2010-08-24 2010-12-22 福州瑞芯微电子有限公司 电子书模拟真实翻页效果的方法
CN108765278A (zh) 2018-06-05 2018-11-06 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN110135349A (zh) 2019-05-16 2019-08-16 北京小米智能科技有限公司 识别方法、装置、设备及存储介质
CN111277893A (zh) 2020-02-12 2020-06-12 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备

Also Published As

Publication number Publication date
AU2021415514A9 (en) 2024-10-10
US11954781B2 (en) 2024-04-09
WO2022142906A1 (zh) 2022-07-07
EP4242840A1 (en) 2023-09-13
KR102655049B1 (ko) 2024-04-04
CN112764845A (zh) 2021-05-07
EP4242840A4 (en) 2024-05-15
AU2021415514A1 (en) 2023-06-29
CN112764845B (zh) 2022-09-16
JP2023552591A (ja) 2023-12-18
US20230316625A1 (en) 2023-10-05
KR20230093337A (ko) 2023-06-27

Similar Documents

Publication Publication Date Title
JP7395070B1 (ja) ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体
KR102225802B1 (ko) 반응형 영상 생성방법 및 생성프로그램
WO2020186935A1 (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
WO2022166872A1 (zh) 一种特效展示方法、装置、设备及介质
CN107831902B (zh) 一种运动控制方法及其设备、存储介质、终端
JP7568378B2 (ja) 画像表示方法、装置、機器及び媒体
KR102061867B1 (ko) 이미지 생성 장치 및 그 방법
WO2023045207A1 (zh) 任务处理方法及装置、电子设备、存储介质和计算机程序
JP7209851B2 (ja) 画像変形の制御方法、装置およびハードウェア装置
US20190278426A1 (en) Inputting information using a virtual canvas
US12019669B2 (en) Method, apparatus, device, readable storage medium and product for media content processing
CN112053370A (zh) 基于增强现实的显示方法、设备及存储介质
KR20210030384A (ko) 3d 전환
US20230133416A1 (en) Image processing method and apparatus, and device and medium
KR20180039321A (ko) 반응형영상 제작방법, 반응형영상 생성파일 제작방법, 반응형영상 기반의 광고효과 분석방법 및 이를 이용한 프로그램
WO2024027819A1 (zh) 图像处理方法、装置、设备及存储介质
JP7134558B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
WO2023284410A1 (zh) 视频效果的添加方法、装置、设备及存储介质
WO2023185968A1 (zh) 相机功能页面切换方法、装置、电子设备及存储介质
WO2021068729A1 (zh) 图像合成方法、装置、电子设备及计算机可读存储介质
JP6918660B2 (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230609

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231128

R150 Certificate of patent or registration of utility model

Ref document number: 7395070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150