JP7446468B2 - ビデオ特殊効果の処理方法、装置、電子機器及びコンピュータプログラム - Google Patents

ビデオ特殊効果の処理方法、装置、電子機器及びコンピュータプログラム Download PDF

Info

Publication number
JP7446468B2
JP7446468B2 JP2022555878A JP2022555878A JP7446468B2 JP 7446468 B2 JP7446468 B2 JP 7446468B2 JP 2022555878 A JP2022555878 A JP 2022555878A JP 2022555878 A JP2022555878 A JP 2022555878A JP 7446468 B2 JP7446468 B2 JP 7446468B2
Authority
JP
Japan
Prior art keywords
time
special effect
video
target
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022555878A
Other languages
English (en)
Other versions
JP2023518388A (ja
Inventor
国▲鵬▼ ▲齊▼
仁健 ▲陳▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2023518388A publication Critical patent/JP2023518388A/ja
Application granted granted Critical
Publication of JP7446468B2 publication Critical patent/JP7446468B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Description

[関連出願の相互参照]
本願は、出願番号が202010599847.1であって、出願日が2020年06月28日の中国特許出願に基づいてなされたものであり、当該中国特許出願の優先権を主張し、その内容の全てが参照によって本願に組み込まれる。
[技術分野]
本願は、デジタルマルチメディア技術に関し、特にビデオ特殊効果の処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。
インターネット、特にモバイルインターネットの発展により、ビデオが情報の伝播媒体としてかつてないほど活用されるようになった。ビデオが担持する情報の表現力を高め、注目度を高めるために、関連技術は通常、撮影完了中のビデオにビデオ特殊効果を追加する。
例えば、関連技術では、AE(Adobe After Effect)などの特殊なビデオ編集設計ソフトウェアに基づいて特殊効果動画を設計することができ、AEではAirbnbがオープンソース化した人気のある動画ライブラリ方式及びポータブル動画グラフィックス(PAG、Portable Animated Graphics)方式を用いることができる。
しかし、ビデオ編集設計ソフトウェアによって設計されたビデオ特殊効果は、設計が完了した後、ビデオ特殊効果の時間が固定するため、同じビデオ特殊効果を多様なニーズのビデオ再生の適用シーンに適用することが困難であり、可能なシーンごとに再生時間の異なるビデオ特殊効果を予め生成しておけば、計算リソースの浪費を招くだけでなく、ビデオプレゼンテーションのリアルタイム性にも影響を与える。
本願の実施例は、ビデオ特殊効果の処理方法であって、
ビデオ特殊効果ファイルを取得し、かつ前記ビデオ特殊効果ファイルから時間伸縮ポリシーを抽出するステップと、
前記ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得するステップであって、前記目標再生時間は前記ビデオ特殊効果ファイルのオリジナル再生時間と異なるものであるステップと、
前記時間伸縮ポリシーに基づいて、前記ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定するステップであって、前記目標時間軸の長さは前記目標再生時間と一致するものであるステップと、
前記目標時間軸に対応する特殊効果フレームに基づいてレンダリングすることで、前記目標再生時間に応じた目標ビデオ特殊効果を取得するステップと、を含むビデオ特殊効果の処理方法を提供する。
本願の実施例は、前記ビデオ特殊効果の処理方法に関連する装置、電子機器及びコンピュータ読み取り可能な記憶媒体を提供する。
本願の実施例によるビデオ特殊効果の処理システムの構造模式図である。 本願の実施例による電子機器の構造模式図である。 本願の実施例によるビデオ特殊効果の処理方法のフロー模式図である。 本願の実施例によるビデオ特殊効果の処理方法のフロー模式図である。 本願の実施例によるビデオ特殊効果の処理方法のフロー模式図である。 本願の実施例によるビデオ特殊効果の処理方法のフロー模式図である。 本願の実施例によるビデオ特殊効果の処理方法のフロー模式図である。 本願の実施例によるビデオ特殊効果の処理方法の、ゲーム週戦報ビデオのシーンにおける適用効果の模式図である。 本願の実施例によるビデオ特殊効果の処理システムのフローチャートである。 本願の実施例によるビデオ特殊効果の処理方法のマーク模式図である。 本願の実施例によるビデオ特殊効果の処理方法のマーク模式図である。 本願の実施例によるビデオ特殊効果の処理方法のマーク模式図である。 本願の実施例によるビデオ特殊効果の処理方法の時間軸模式図である。
本願の実施例をさらに詳細に説明する前に、本願の実施例に係る名詞及び用語について説明し、本願の実施例に係る名詞及び用語は、以下の解釈に適用される。
1)AE:Adobe After Effectの略称として、Adobe社が発表したグラフィックスビデオ処理ソフトウェアであり、テレビ局、アニメ制作会社、個人のポストプロダクションスタジオ及びマルチメディアスタジオを含む、設計及びビデオ特殊技を扱う機関に適用され、レイヤ種類のポストソフトウェアに属する。
2)ビデオ特殊効果ファイル、特殊効果コンテンツを担持したバイナリファイル、例えばPAGファイルは、バイナリファイルフォーマットで記憶されたステッカー動画である。
3)オリジナル時間軸:ビデオ特殊効果ファイルの全体に対応する時間軸、又はビデオ特殊効果サブファイルに対応する特殊効果部分を再生する際に対応する時間軸。
4)目標時間軸:ビデオ特殊効果ファイルにおける完全な特殊効果オブジェクトを伸縮処理した後に再生する際に対応する時間軸、又はビデオ特殊効果サブファイルに対応する特殊効果オブジェクトの一部を伸縮処理した後に再生する際に対応する時間軸。
関連技術ではモバイルインターネットクライアントがAE(Adobe After Effect)に基づいて動画を実現する方式には、Airbnbがオープンソース化したLottie方式及びPAG方式があり、これらはいずれもAE動画設計からモバイル側プレゼンテーションまでのフローを一貫しており、デザイナーがAE上で設計した動画はエクスポートプラグインを介して動画ファイルをエクスポートし、さらにモバイル側でSDKを介してロードしてレンダリングすることで、開発コストを大幅に削減するが、2つの方式ともAEによって設計した動画ファイルにおける動画の時間が固定し、出願人は本願の実施例を実施する過程で、一部のユーザインタフェース動画及びビデオ編集のシーンで、一部の区間の動画ファイルを固定したり、一部の区間の動画を線形的に伸長したりループ処理したりするなど、外部が動画ファイルの時間を制御できる必要があり、例えばステッカー動画の長さが2秒であるが、実際に必要な動画の長さが4秒であり、外部がステッカー動画を4秒に伸長するか、又はステッカー動画を繰り返し描画し、即ちステッカー動画を2回再生する必要があることを発見した。
関連技術の固定するビデオ特殊効果ファイルと任意の目標再生時間要求との間に矛盾が存在するという技術的問題に対して、本願の実施例は、ビデオ特殊効果の処理方法を提供し、固定する動画ファイルの時間伸縮をサポートでき、かつ外部アプリケーションプラットフォームが動画ファイルの目標再生時間を設定するだけで、動画ファイルがユーザにより配置された伸縮ポリシーに従って時間伸縮を行うことができる。ビデオ特殊効果ファイルの再生時間伸縮処理は、ビデオ特殊効果ファイルにおける時間伸縮ポリシーによって制御され、ビデオ特殊効果ファイルを復号した後に、時間伸縮ポリシーに基づいて処理してレンダリングすることで目標再生時間の目標ビデオ特殊効果を実現でき、プラットフォームのオペレーティングシステムに制限されることなく、様々なアプリケーション及び様々なプラットフォームに直接適用でき、実現フローが極めて簡潔である。
以下、本願の実施例による電子機器の例示的な適用について説明し、本願の実施例による電子機器は、ノートブック型コンピュータ、タブレット型コンピュータ、デスクトップコンピュータ、セットトップボックス、モバイル装置(例えば、携帯電話、携帯音楽プレーヤ、携帯情報端末、専用メッセージ装置、携帯ゲーム装置)などの多様な端末装置として実施されてもよいし、サーバとして実施されてもよい。
図1を参照すると、図1は、本願の実施例によるビデオ特殊効果の処理システムの構造模式図である。端末400は、ネットワーク300を介してサーバ200に接続され、ネットワーク300は、広域ネットワーク又はローカルエリアネットワーク、又は両方の組み合わせであってもよい。
サーバ200は、独立した物理サーバであってもよいし、複数の物理サーバからなるサーバクラスタ又は分散システムであってもよいし、クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末は、スマートフォン、タブレット型コンピュータ、ノートブック型コンピュータ、デスクトップコンピュータ、スマートスピーカ、スマートウォッチなどであってもよいが、これに限定されない。端末及びサーバは、有線又は無線通信方式により直接又は間接接続されてもよく、本願はこれに限定されない。
クラウドコンピューティング(cloud computing)は、計算タスクを多数のコンピュータからなるリソースプールに分散させ、様々なアプリケーションシステムが必要に応じて計算力、記憶空間、情報サービスを取得できるようにする計算モードである。リソースを提供するネットワークは「クラウド」と呼ばれ、「クラウド」内のリソースは使用者から見れば無限に拡張可能で、かついつでも取得でき、オンデマンドで使用し、いつでも拡張し、使用に応じて料金を支払うことができる。
以下、本願の実施例によるビデオ特殊効果の処理方法の適用について、異なる適用シーンに関連して説明する。
1つの適用シーンでは、設計者は端末500を利用して又はサーバのクラウドサービスを呼び出してビデオ特殊効果ファイルを設計し、ビデオ特殊効果ファイルをクライアントのサーバ200(即ちバックグラウンドサーバ)に送信し、サーバ200によって受信したビデオ特殊効果ファイルを記憶するか、又はサーバ200によってビデオ特殊効果ファイルをデータベース600又はファイルシステムに記憶し、ユーザは、端末400で動作するクライアントを使用し、クライアントは、ゲームアプリケーション、ソーシャルネットワークアプリケーション、ショートビデオアプリケーション、ネットショッピングアプリケーションなどの様々な種類のアプリケーションであってもよく、ユーザが使用中に、サーバ200のビデオ配信の業務ロジックをトリガし、例えば、サーバ200は、業務使用報告を定期的に配信し、例えば、ゲームにおける毎週戦報ビデオ及び毎月消費ビデオ報告の業務ロジックを配信し、業務使用報告の具体的なコンテンツは、クライアントの業務に関連し、かつビデオ表現力を向上させるビデオ特殊効果ファイルを配信するようにサーバ200をトリガし、ビデオ特殊効果ファイルはクライアントによって予め記憶されてもよい。
いくつかの適用シーンでは、端末400で動作するクライアントは、ビデオ特殊効果ファイルにおける時間伸縮ポリシーに基づいて、サーバ200が配信したビデオの再生時間を目標再生時間とし、ビデオをレンダリングすると同時に、ビデオ特殊効果ファイルに担持された特殊効果オブジェクト(ビデオ特殊効果)もレンダリングし、目標再生時間に応じた目標ビデオ特殊効果を取得し、それによってビデオ特殊効果とビデオとの同期表示の効果を実現し、具体的には、端末400はサーバ200から返信されたネイティブビデオ(毎週戦報ビデオ)及びビデオ特殊効果ファイルを受信したことに応答して、ネイティブビデオのネイティブビデオ時間(毎週戦報ビデオの時間)を取得し、ネイティブビデオ時間を目標再生時間とし、ビデオ特殊効果ファイルを復号して相応な時間伸縮処理を実行することで、時間伸縮処理を経たビデオ特殊効果をネイティブビデオの再生時間に適合させ、最後に当該ビデオ特殊効果をレンダリングしてネイティブビデオと同時に表示することで、ビデオ特殊効果を伴う毎週戦報ビデオを表示する。
いくつかの適用シーンでは、サーバは複数のビデオを配信し、ビデオ特殊効果は、複数のビデオを連続的に再生するために、複数のビデオ間のトランジション動画として機能し、トランジション動画の時間はサーバがビデオを配信するときに指定されてもよく、例えばユーザアカウントのレベル(レベルが高いほど、トランジション時間が短い)に基づいてトランジション動画の時間を決定してもよく、端末400で動作するクライアントが1つのビデオを再生し終えると、ビデオ特殊効果ファイルに担持されたビデオ特殊効果をレンダリングし、目標再生時間に応じた目標ビデオ特殊効果を取得し、目標ビデオ特殊効果は、複数のビデオ間のつながりをより自然なものにするためのトランジション動画の役割を実際に実現するものであり、具体的には、端末400は、サーバ200からあるビデオ特殊効果に対応するビデオ特殊効果ファイルを取得して復号し、かつ指定された目標再生時間(トランジション動画の時間)に基づいて相応な時間伸縮処理を実行し、かつ時間伸縮処理を経たビデオ特殊効果を複数のネイティブビデオ間でレンダリングする。
サーバが異なるユーザに対して配信したビデオ、又は同じユーザに対して配信した異なるビデオの再生時間は変化し、同じビデオ特殊効果ファイルを利用して多数のビデオの再生過程に同時に再利用でき、サーバがビデオを繰り返し再生するための計算リソースの消費を削減し、ユーザ側の待ち遅延を短縮する。
別の適用シーンでは、端末400で動作するクライアントは、ソーシャルネットワーククライアント、又はビデオ共有クライアントであり、ビデオ収集、編集及び共有の機能を有する。クライアントはビデオを収集し、サーバからダウンロードしたビデオ特殊効果ファイルを利用して、画像つなぎ合わせ(両方同時に表示)又は時間軸つなぎ合わせ(即ちビデオ特殊効果ファイルを用いて収集した複数のビデオをつながる)などの合成を行い、前者の場合、ビデオの再生時間を目標再生時間とし、具体的には、端末400はユーザが撮影したネイティブビデオを受信したことに応答して、ネイティブビデオのネイティブビデオ時間を取得し、端末400はサーバ200からあるビデオ特殊効果に対応するビデオ特殊効果ファイルを取得して復号することでネイティブビデオ時間を目標再生時間とし、ビデオ特殊効果に対して相応な時間伸縮処理を実行し、当該ビデオ特殊効果をネイティブビデオに適合させ、当該ビデオ特殊効果とネイティブビデオとの画像つなぎ合わせ処理を行った後、リアルタイムレンダリングを行って最終的な編集効果をプレビューし、プレビューを行った後に画像つなぎ合わせ処理結果を符号化処理することで、新しいビデオファイルを取得して他のユーザに共有することもでき、後者の場合、ユーザが設定した時間又はクライアントデフォルトのトランジション動画の時間を目標再生時間とし、1つのビデオを再生し終えると、ビデオ特殊効果ファイルに担持されたビデオ特殊効果をレンダリングすることで、目標再生時間に応じた目標ビデオ特殊効果を取得し、目標ビデオ特殊効果は、複数のビデオ間のつながりをより自然なものにするためのトランジション動画の役割を実際に実現するものであり、具体的には、端末400は、サーバ200からあるビデオ特殊効果に対応するビデオ特殊効果ファイルを取得して復号し、かつ指定された目標再生時間(トランジション動画の時間)に基づいて相応な時間伸縮処理を実行し、時間伸縮処理を経たビデオ特殊効果を複数のネイティブビデオ間でレンダリングし、かつ時間伸縮処理を経たビデオ特殊効果と複数のネイティブビデオとの時間軸つなぎ合わせ処理を行い、さらに符号化処理を行い、新しいビデオファイルを取得し、他のユーザに共有する。
上記ビデオ編集シーンでは、ユーザは、得られた最終プレビュー結果が要求に合致すると決定するまで、引き続き目標再生時間を調整し、かつネイティブビデオ及びビデオ特殊効果を再レンダリングし、クライアント(ビデオ編集クライアント)は、ネイティブビデオ及びビデオ特殊効果ファイルと組み合わせて符号化して完全なビデオファイルを取得し、かつ共有することができる。
なお、上述したクライアントにおける特殊効果処理を実現するための機能は、クライアントにネイティブなものであってもよいし、クライアントが相応なプラグイン、例えばソフトウェア開発キット(SDK、Software Development Kit)を埋め込むことによって実現されるものであってもよく、クライアントにおいてビデオ特殊効果処理を実現する具体的な形式は限定されない。
また、クライアントレンダリングの代わりに、レンダリングに費やされる計算リソース(プロセッサ及びメモリ)が端末の許容能力を超える場合、クライアントはサーバにレンダリングを要求し、かつサーバから返信されたレンダリングデータに基づいて目標ビデオ特殊効果をプレゼンテーションすることができる。
以下、本願の実施例による電子機器が上述した端末であることを例として説明を続け、図2を参照すると、図2は、本願の実施例による電子機器の構造模式図であり、図2に示される端末400は、少なくとも1つのプロセッサ410と、メモリ450と、少なくとも1つのネットワークインタフェース420と、ユーザインタフェース430とを含む。端末400内の各コンポーネントはバスシステム440を介して結合される。バスシステム440は、これらのコンポーネント間の接続通信を実現するために用いられることを理解されたい。バスシステム440は、データバスの他に、電源バス、制御バス及びステータス信号バスを含む。しかし、説明を明確にするために、図2では様々なバスをバスシステム440として示す。
プロセッサ410は、汎用プロセッサ、デジタル信号プロセッサ(DSP、Digital Signal Processor)、又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどのような、信号の処理能力を有する集積回路チップであってもよく、汎用プロセッサはマイクロプロセッサ又は任意の従来のプロセッサなどであってもよい。
ユーザインタフェース430は、1つ又は複数のスピーカ及び/又は1つ又は複数の視覚ディスプレイを含む、メディアコンテンツのプレゼンテーションを可能にする1つ又は複数の出力装置431を含む。ユーザインタフェース430はまた、キーボード、マウス、マイク、タッチスクリーンディスプレイ、カメラ、他の入力ボタン、及びコントロールなどのユーザ入力を容易にするユーザインタフェース部材を含む、1つ又は複数の入力装置432を含む。
メモリ450は、取り外し可能であっても、取り外し不可能であっても、又はそれらの組み合わせであってもよい。例示的なハードウェア装置は、ソリッドステートメモリ、ハードディスクドライブ、光ディスクドライブなどを含む。メモリ450は、選択的に、プロセッサ410から物理的に離れた1つ又は複数の記憶装置を含む。
メモリ450は、揮発性メモリ又は不揮発性メモリを含み、揮発性メモリ及び不揮発性メモリの両方を含むことができる。不揮発性メモリは、リードオンリーメモリ(ROM、Read Only Memory)であってもよく、揮発性メモリは、ランダムアクセスメモリ(RAM、Random Access Memory)であってもよい。本願の実施例に記載のメモリ450は、任意の適切な種類のメモリを含むことが意図される。
いくつかの実施例では、メモリ450は、様々な操作をサポートするためのデータを記憶することができ、これらのデータの例としては、プログラム、モジュール、及びデータ構造、又はそれらのサブセットもしくはスーパーセットが挙げられ、以下に例示的に説明する。
オペレーティングシステム451は、各種の基本システムサービスを処理し、ハードウェア関連のタスクを実行するためのシステムプログラム、例えばフレーム層、コアライブラリ層、ドライブ層などを含み、各種基幹業務を実現し、ハードウェアベースのタスクを処理するために用いられる。
ネットワーク通信モジュール452は、1つ又は複数の(有線又は無線)ネットワークインタフェース420を介して他の電子機器に到達するために用いられ、例示的なネットワークインタフェース420は、ブルートゥース(登録商標)、無線適合性認証(WiFi)、及びユニバーサルシリアルバス(USB、Universal Serial Bus)などを含む。
プレゼンテーションモジュール453は、ユーザインタフェース430に関連付けられた1つ又は複数の出力装置431(例えば、ディスプレイ、スピーカなど)を介して情報のプレゼンテーションを可能にするために用いられる(例えば、周辺機器を操作し、コンテンツ及び情報を表示するためのユーザインタフェース)。
入力処理モジュール454は、1つ又は複数の入力装置432の1つからの1つ又は複数のユーザ入力又はインタラクションを検出し、検出された入力又はインタラクションを翻訳するために用いられる。
いくつかの実施例では、本願の実施例によるビデオ特殊効果の処理装置は、ソフトウェア形式で実現されてもよく、図2は、メモリ450に記憶されたビデオ特殊効果の処理装置455を示し、それはプログラム及びプラグインなどの形式のソフトウェアであってもよく、ファイル取得モジュール4551、時間取得モジュール4552、特殊効果フレーム決定モジュール4553及びレンダリングモジュール4554を含み、これらのモジュールは論理的であり、したがって、実現される機能に応じて、任意の組合せ又はさらなる分割が可能である。
本願の実施例によるビデオ特殊効果の処理方法の、上述した端末における例示的な適用及び実施を説明する。なお、以下では、端末の角度で説明するが、理解できるように、上記の具体的な適用シーンの紹介から、以下のビデオ特殊効果の関連処理は、端末で動作するクライアントが行うことができるので、以下の端末は具体的には端末で動作するクライアントであってもよく、クライアントの例について既に説明したので、その説明を省略する。
図3Aを参照すると、図3Aは、本願の実施例によるビデオ特殊効果の処理方法のフロー模式図であり、図3Aに示されるステップを参照して説明する。
ステップ101では、端末はビデオ特殊効果ファイルを取得し、ビデオ特殊効果ファイルから時間伸縮ポリシーを抽出する。
例として、ビデオ特殊効果ファイルを取得する方式は主にプラグインによってビデオ特殊効果ファイルをエクスポートすることであり、ビデオ特殊効果ファイルはPAGフォーマットのステッカー動画ファイルであってもよく、エンジニアリングファイルの動画特殊効果データを読み取るために、ベクトルエクスポート方式、ビットマップシーケンスフレームエクスポート方式又はビデオシーケンスフレームエクスポート方式のうちの1つを具体的なニーズに応じて選択してPAGバイナリファイルをエクスポートすることができ、クライアント又はサーバ側は、エクスポートされたPAGバイナリファイルを復号する。ここでは端末を例に説明すると、端末はエクスポートされたPAGバイナリファイルを復号し、さらにレンダリングモジュールによってレンダリングした後にプレゼンテーションし、端末が復号及びプレゼンテーションする過程は、レンダリングSDKを呼び出すことによって実現されてもよく、復号の役割は、PAGバイナリファイルをクライアントが操作可能なデータオブジェクトに逆シーケンス化することであり、復号したデータ構造は、PAGデータ構造を参照することができる。
いくつかの実施例では、ステップ101におけるビデオ特殊効果ファイルの取得は、特殊効果オブジェクトの複数のレイヤ構造を符号化処理することで、特殊効果オブジェクトに対応する符号化エクスポートファイルを取得するステップ、特殊効果オブジェクトの複数の特殊効果フレームを符号化処理することで、特殊効果オブジェクトに対応する符号化エクスポートファイルを取得するステップ、特殊効果オブジェクトの複数の特殊効果フレームをビデオフォーマット圧縮処理し、取得されたビデオフォーマット圧縮処理結果を符号化処理することで、特殊効果オブジェクトに対応する符号化エクスポートファイルを取得するステップ、及び時間伸縮種類及び時間伸縮区間を符号化エクスポートファイルにパッケージし、特殊効果オブジェクトに対応するビデオ特殊効果ファイルを取得するステップのいずれかの処理を実行するという技術案によって実現されてもよい。
例として、まず、ベクトルエクスポート、ビットマップシーケンスフレームエクスポート及びビデオシーケンスフレームエクスポートの3つの方式のいずれかで特殊効果オブジェクトの符号化エクスポートファイルを取得し、ベクトルエクスポート方式は、ほとんどのAE特性をサポートでき、エクスポートファイルが極めて小さく、通常ユーザインタフェース上又はコンテンツが編集可能なシーンに適用され、ベクトルエクスポートはAE動画レイヤ構造の復元であり、ベクトルエクスポート方式はAEによって提供されるSDKによって、AE動画レイヤ構造を復元し、かつエクスポートの過程で動的ビットストレージ技術を採用し、ファイルサイズを大幅に低減し、ビットマップシーケンスフレームエクスポート及びビデオシーケンスフレームエクスポート方式は全てのAE特性をサポートできるが、エクスポートファイルが大きく、通常ビデオ合成中又は動画特殊効果に特別な要件があるシーンに適用され、ビットマップシーケンスフレームでエクスポートされるのはビットマップデータであり、ビットマップシーケンスフレームエクスポートは、デザイナーが設計した複雑な動画効果の各フレームをピクチャフォーマットに変換して記憶し、より具体的には、AEの大部分の動画に対して一貫性があり、フレーム間の差異が小さいという特徴があり、キーフレームとしてあるフレームを選択し、その後の各フレームのデータと比較し、差異ビットマップの位置情報、幅高さデータを取得し、かつ差異ビットマップ情報を切り取り、記憶することによって、ファイルサイズを低減する。同時に、ビットマップシーケンスフレームは複数のバージョン(スケール係数、フレームレート、サイズが異なる)をエクスポートすることをサポートし、異なるシーンでのニーズを満たし、この処理方式は、全てのAE特性をサポートできるという利点を有し、エクスポートされたファイルが大きくなり、AE動画におけるピクチャの差し替え、テキスト編集操作を実現できないという欠点を有し、マスク、シャドウなどの複雑な特殊効果を処理するのに適し、主にウェブ画面側に適用され、ビデオシーケンスフレームエクスポート方式はビデオ分野のH.264圧縮フォーマットを採用し、ビットマップシーケンスフレームに対して、復号速度がより速く、モバイル側に重点的に適用され、ビデオシーケンスフレームエクスポート方式は切り取ったピクチャに対してビデオフォーマット圧縮を行い、ビデオシーケンスフレームエクスポート方式はビットマップシーケンスフレームエクスポート方式よりも最適化されたピクチャフォーマット容量及び復号効率を有し、性能の面から、ベクトルエクスポート方式はファイルサイズと性能が非常に最適化された極限状態を実現することができ、シーケンスフレームエクスポート方式で生成されたPAGビデオ特殊効果ファイルに対して、全体の時間消費は、シーケンスフレームピクチャのサイズにのみ関係している。
例として、ユーザが入力した時間伸縮種類及び時間伸縮区間を符号化エクスポートファイルにパッケージすることは、実際にPAGステッカー動画ファイルのデータ構造を修正することであり、ファイルルートパスのレベルで時間伸縮種類及び時間伸縮区間を追加し、最終的に特殊効果オブジェクトに対応するビデオ特殊効果ファイルを取得することができ、具体的な実施過程において、パッケージステップと符号化ステップの実行順序を限定しなくてもよく、即ちルートパスのレベルで時間伸縮種類及び時間伸縮区間を追加してから、上記3つの方式のいずれかの符号化エクスポート処理を行ってもよいし、符号化エクスポート処理を行ってから、ルートパスのレベルで時間伸縮種類及び時間伸縮区間を追加してもよい。
上記実施例により、デザイナーがAEによって動画を設計し、さらに動画特殊効果データを端末開発エンジニアに提供することで動画機能の開発フローを実現することを、デザイナーがAEによって動画を設計し、PAGステッカー動画ファイルをエクスポートし、端末がPAGステッカー動画ファイルを直接ロードして表示することに簡略化し、即ち端末開発の作業量を大幅に削減し、各プラットフォームの開発ニーズにも対応している。
いくつかの実施例では、時間伸縮ポリシーは時間伸縮区間及び対応する時間伸縮種類を含み、ステップ101におけるビデオ特殊効果ファイルからの時間伸縮ポリシーの抽出は、ビデオ特殊効果ファイルを復号処理することで、ビデオ特殊効果ファイルに対応する少なくとも1つの時間伸縮区間及び対応する時間伸縮種類を取得する。ここで、時間伸縮種類は時間線形伸縮種類、時間反復種類、時間逆順反復種類のいずれかを含むという技術案によって実現されてもよい。
例として、ビデオ特殊効果ファイルは上記PAGステッカー動画ファイルであってもよく、特殊効果オブジェクトに対する記述ファイルであって、復号した後にユーザ配置に基づく時間伸縮区間及び対応する時間伸縮種類を抽出することができ、時間伸縮区間の数は通常1つであるが、比較的複雑な適用シーンでは、時間伸縮区間の数は複数であり、各時間伸縮区間に対して、それぞれユーザが配置した時間伸縮種類が対応し、ユーザ配置機能に対して、端末によってユーザに配置ポータルを提供し、ユーザが入力した時間伸縮区間及び時間伸縮種類を受信し、図6Aを参照すると、図6Aは、本願の実施例によるビデオ特殊効果の処理方法のマーク模式図であり、即ち各適用シーンでクライアントが提供する配置ポータル601及び602を介してユーザが入力した時間伸縮区間及び時間伸縮種類を受信し、時間伸縮ポリシーを受信した後、またページジャンプを発生させることで、入力した各時間伸縮区間に対応する目標再生時間を受信し続けるか、又は時間伸縮ポリシーの設定を完了した後、受信した配置情報をプロセス間通信によってAEクライアントに送信することで、AEクライアントにおいて取得した特殊効果データと組み合わせて符号化処理を行い、最終的なビデオ特殊効果ファイルを取得し、ビデオ特殊効果ファイルから伸縮ポリシーを抽出した後、目標再生時間の配置ポータル603を提供し、このような実施形態は、任意の適用シーンのクライアントが動画特殊効果ファイルの伸縮ポリシーを柔軟に設定することを容易にすることができ、AEクライアントによって時間伸縮区間及び時間伸縮種類のマークを行うこともでき、図6B~図6Cを参照すると、図6B~図6Cは、本願の実施例によるビデオ特殊効果の処理方法のマーク模式図であり、即ち直接AEクライアントによってユーザが入力した時間伸縮区間及び時間伸縮種類を受信することで、AEクライアントにおいて取得した特殊効果データと組み合わせて符号化処理を行い、最終的なビデオ特殊効果ファイルを取得し、このような実施形態により各適用シーンのクライアントの開発最適化任務を緩和することができ、各クライアント側は、レンダリングSDKを直接呼び出してビデオ特殊効果ファイルを取得し、後続のロジックを実行することができる。
ステップ102では、ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得し、目標再生時間はビデオ特殊効果ファイルのオリジナル再生時間と異なる。
図3Aに基づいて、図3Bを参照すると、図3Bは、本願の実施例によるビデオ特殊効果の処理方法の選択可能なフロー模式図である。ステップ102におけるビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間の取得は、ステップ1021~ステップ1022によって実現することができ、各ステップを参照して説明する。
ステップ1021では、時間伸縮区間の数が複数である場合、ビデオ特殊効果ファイルを数に一致する複数のビデオ特殊効果サブファイルに分割し、各ビデオ特殊効果サブファイルに対する目標再生時間をそれぞれ取得する。
例として、実施過程でビデオ特殊効果ファイルの分割方式を限定せず、分割後に得られた各ビデオ特殊効果サブファイルに1つの時間伸縮区間が含まれ、かつ1つの時間伸縮区間しか含まれていないことを保証するだけでよく、一方、各時間伸縮区間に対する目標再生時間は、ビデオ特殊効果ファイルの目標再生時間を割り当てることによって得られるものであってもよく、例えば、ビデオ特殊効果ファイルの目標再生時間が10秒であり、ビデオ特殊効果ファイルに2つの時間伸縮区間が存在し、それぞれ1秒~2秒の第1時間伸縮区間、及び3秒~4秒の第2時間伸縮区間という2つの区間であり、第1時間伸縮区間に対する第1目標再生時間は、第2時間伸縮区間に対応する第2目標再生時間と組み合わせてビデオ特殊効果ファイルの目標再生時間を満たすことを保証すればよく、即ち第1時間伸縮種類が反復種類である場合、第1目標再生時間は少なくとも2秒よりも大きく(例えば、1秒~3秒)、かつ第1目標再生時間と第2目標再生時間との合計が10秒であり、このような実施形態の制限条件が少なく、即ち各サブファイルに対応する目標再生時間の和がビデオ特殊効果ファイルの目標再生時間であり、各サブファイルの目標再生時間が対応する時間伸縮区間を満たすことを限定するだけであり、ユーザの人為的な介入を必要とせずにユーザが設定する手間を回避し、それによって多様かつランダムなレンダリング効果を提供する。
例として、各ビデオ特殊効果サブファイルの目標再生時間は、実際にはビデオ特殊効果ファイルの目標再生時間の割り当て問題に関係し、割り当ての過程において、上記制限条件の制約に従って任意に割り当てることができるほか、ユーザに割り当てスキーム配置機能を提供することができ、図6Cのユーザ配置ポータルには、各時間伸縮区間に対して配置した目標再生時間をユーザが入力しやすいように、関連ポータルを提供することもでき、例えば、ユーザが各時間伸縮区間に対応するビデオ特殊効果サブファイルの目標再生時間を設定し、このような実施形態によりユーザが各サブファイルのレンダリング効果をよりきめ細かく柔軟に制御し、さらにファイルの全体のレンダリング効果を制御することに役立つ。
例として、時間伸縮区間の数が複数であり、特殊効果オブジェクトとの適合プレゼンテーションが必要なネイティブビデオが存在する場合、直接ネイティブビデオの時間をビデオ特殊効果ファイルに対応する目標再生時間とすることができ、各伸縮区間の目標再生時間が上記制限条件を満たすように、異なる伸縮区間に対してネイティブビデオの時間を割り当て、割り当てられた目標再生時間がビデオ特殊効果サブファイルに対応する時間伸縮ポリシーにおける時間伸縮種類に適合しない場合、例えば、時間伸縮種類が時間反復種類であるが、目標再生時間がオリジナル再生時間よりも小さい場合、他のビデオ特殊効果ファイルを選択し、素材ライブラリにおいて同じ特殊効果オブジェクトが異なる時間伸縮ポリシーに対応するビデオ特殊効果ファイルが存在することができる。
ステップ1022では、時間伸縮区間の数が1つである場合、ビデオ特殊効果ファイルの全体に対する目標再生時間を取得する
例として、時間伸縮区間の数が1つである場合、ビデオ特殊効果ファイルの目標再生時間を割り当てる必要があるという問題はなく、直接ユーザが配置した目標再生時間をビデオ特殊効果ファイルの全体の目標再生時間とし、ユーザが入力した目標再生時間が時間伸縮区間の時間伸縮種類に適合しない場合、ユーザに返信してエラー情報を提示し、かつユーザが入力した目標再生時間を受信するためにポータルを再度開く。
例として、時間伸縮区間の数が1つであり、かつ特殊効果オブジェクトとの適合プレゼンテーションが必要なネイティブビデオが存在する場合、直接ネイティブビデオの時間を特殊効果の目標再生時間とすることができ、ネイティブビデオの時間が対応する特殊効果ファイルの時間伸縮ポリシーにおける時間伸縮種類を満たさない場合、他のビデオ特殊効果ファイルを選択し、素材ライブラリにおいて同じ特殊効果オブジェクトが異なる時間伸縮ポリシーに対応するビデオ特殊効果ファイルが存在することができる。
異なる適用シーンで目標再生時間に対するニーズは多種多様であるため、同じビデオ特殊効果ファイルを、多くのビデオの再生過程及び編集過程に同時に再利用することができ、サーバがビデオを繰り返し再生するための計算リソースの消費を削減することができ、ユーザ側の待ち遅延を短縮する。
いくつかの実施例では、ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得するステップ102を実行した後、さらに、
時間伸縮区間の数が複数である場合、各ビデオ特殊効果サブファイルに対して、ビデオ特殊効果サブファイルの時間軸から特殊効果オブジェクトに対応するオリジナル時間軸、即ちサブファイルの時間軸のうち特殊効果オブジェクトが現れる一部の時間軸を取得するステップ、及びオリジナル時間軸のフレームレートを維持したまま、オリジナル時間軸を時間伸縮処理することで、目標再生時間に対応する目標時間軸を取得するステップを実行し、
時間伸縮区間の数が1つである場合、ビデオ特殊効果ファイルに対して、ビデオ特殊効果ファイルから特殊効果オブジェクトに対応するオリジナル時間軸を取得するステップ、及びオリジナル時間軸のフレームレートを維持したまま、オリジナル時間軸を時間伸縮処理することで、目標再生時間に対応する目標時間軸を取得するステップを実行するという技術案を実行してもよい。
例として、時間伸縮区間の数が複数である場合、ビデオ特殊効果サブファイルの時間軸のうち特殊効果オブジェクトが現れる一部の時間軸をオリジナル時間軸とし、オリジナル時間軸のフレームレートを維持したまま、オリジナル時間軸を時間伸縮処理することで、目標再生時間に対応する目標時間軸を取得する。時間伸縮区間の数が1つである場合、直接ビデオ特殊効果ファイルにおける特殊効果オブジェクトに対応するオリジナル時間軸を時間伸縮処理することで、目標再生時間に対応する目標時間軸を取得し、上記2つの場合における伸縮処理では、いずれもフレームレートを維持したままであり、即ち最小時間単位を維持したままであり、それによって、特殊効果オブジェクトの時間伸縮処理の効果は、再生フレームレートを変更するのではなく、再生の進行度を変更することである。
ステップ103では、端末は時間伸縮ポリシーに基づいて、ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定し、目標時間軸の長さは目標再生時間と一致する。
図3Aに基づいて、図3Cを参照すると、図3Cは、本願の実施例によるビデオ特殊効果の処理方法のフロー模式図であり、時間伸縮区間の数が複数である場合、ステップ103における時間伸縮ポリシーに基づいて、ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定することは、各時間伸縮区間に対してステップ1031A~ステップ1032Aを実行することにより実現することができ、各ステップを参照して説明する。
ステップ1031Aでは、ビデオ特殊効果サブファイルから特殊効果オブジェクトを含む複数の特殊効果フレーム、及びオリジナル時間軸において各特殊効果フレームの対応するタイムスタンプを取得し、かつ各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプとする。
例として、時間伸縮処理が不要な場合、依存するレンダリングロジックは、即ちオリジナル時間軸におけるビデオ特殊効果サブファイルにおける各特殊効果フレームの対応するタイムスタンプであり、例えば、特殊効果フレーム1ないし特殊効果フレーム24が存在し、フレームレートは毎秒24フレームであり、即ち1/24秒ごとに1つのタイムスタンプであり、例えば0、1/24、2/24、…、23/24であり、これらの24個のタイムスタンプにそれぞれ特殊効果フレーム1ないし24をプレゼンテーションし、上記タイムスタンプ0、1/24、2/24、…、23/24はそれぞれ特殊効果フレーム1ないし特殊効果フレーム24のオリジナル特殊効果フレームのタイムスタンプである。
ステップ1032Aでは、時間伸縮区間、及び各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、複数の特殊効果フレームのうち目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定する。
例として、時間伸縮処理を行う過程は、実際には目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定することであり、オリジナル時間軸が1秒であり、フレームレートが毎秒24フレームであり、即ち1/24秒ごとに1つのタイムスタンプであり、目標時間軸が2秒であり、フレームレートが依然として毎秒24フレームであると仮定すると、目標時間軸での各タイムスタンプは0、1/24、2/24、…、23/24、24/24、…、47/24であり、伸縮処理を行う際に、時間伸縮区間及び対応する時間伸縮種類によって目標時間軸でのタイムスタンプとオリジナル時間軸でのタイムスタンプとのマッピング関係及びマッピング範囲を決定することができ、それによってマッピング関係及びマッピング範囲に基づいて目標時間軸での各タイムスタンプに対応するオリジナル時間軸でのタイムスタンプを決定し、対応するオリジナル時間軸でのタイムスタンプのうち、一部のタイムスタンプはオリジナル特殊効果フレームのタイムスタンプであり、一部のタイムスタンプは特殊効果フレームをプレゼンテーションせず、例えば目標時間軸でのタイムスタンプが1/48の場合、対応するオリジナル時間軸でのタイムスタンプは特殊効果フレームをプレゼンテーションせず、特殊効果フレームをプレゼンテーションしないタイムスタンプについて、近接原則を取り、プレゼンテーションする必要がある特殊効果フレームを決定する。
図3Aに基づいて、図3Dを参照すると、図3Dは、本願の実施例によるビデオ特殊効果の処理方法のフロー模式図であり、時間伸縮区間の数が1つである場合、ステップ103における時間伸縮ポリシーに基づいて、ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定することは、ステップ1031Bないしステップ1032Bによって実現することができ、各ステップを参照して説明する。
ステップ1031Bでは、ビデオ特殊効果ファイルから特殊効果オブジェクトを含む複数の特殊効果フレーム、及びオリジナル時間軸において各特殊効果フレームの対応するタイムスタンプを取得し、かつ各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプとする。
例として、時間伸縮処理が不要な場合、依存するレンダリングロジックは、即ちオリジナル時間軸におけるビデオ特殊効果ファイルにおける各特殊効果フレームの対応するタイムスタンプであり、例えば、特殊効果フレーム1ないし特殊効果フレーム24が存在し、フレームレートは毎秒24フレームであり、即ち1/24秒ごとに1つのタイムスタンプであり、例えば0、1/24、2/24、…、23/24であり、これらの24個のタイムスタンプにそれぞれ特殊効果フレーム1ないし24をプレゼンテーションし、上記タイムスタンプ0、1/24、2/24、…、23/24はそれぞれ特殊効果フレーム1ないし特殊効果フレーム24のオリジナル特殊効果フレームのタイムスタンプである。
ステップ1032Bでは、時間伸縮区間、及び各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、複数の特殊効果フレームのうち目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定する。
例として、時間伸縮処理を行う過程は、実際には目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定することであり、オリジナル時間軸が1秒であり、フレームレートが毎秒24フレームであり、即ち1/24秒ごとに1つのタイムスタンプであり、目標時間軸が2秒であり、フレームレートが依然として毎秒24フレームであると仮定すると、目標時間軸での各タイムスタンプは0、1/24、2/24、…、23/24、24/24、…、47/24であり、伸縮処理を行う際に、時間伸縮区間及び対応する時間伸縮種類によって目標時間軸でのタイムスタンプとオリジナル時間軸でのタイムスタンプとのマッピング関係及びマッピング範囲を決定することができ、それによってマッピング関係及びマッピング範囲に基づいて目標時間軸での各タイムスタンプに対応するオリジナル時間軸でのタイムスタンプを決定し、対応するオリジナル時間軸でのタイムスタンプのうち、一部のタイムスタンプはオリジナル特殊効果フレームのタイムスタンプであり、一部のタイムスタンプは特殊効果フレームをプレゼンテーションせず、例えば目標時間軸でのタイムスタンプが1/48の場合、対応するオリジナル時間軸でのタイムスタンプは特殊効果フレームをプレゼンテーションせず、特殊効果フレームをプレゼンテーションしないタイムスタンプについて、近接原則を取り、プレゼンテーションする必要がある特殊効果フレームを決定する。
いくつかの実施例では、ステップ1032A又は1032Bでは時間伸縮区間、及び各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、複数の特殊効果フレームのうち目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定することは、順に目標時間軸での各タイムスタンプを目標タイムスタンプとし、かつ
時間伸縮区間に基づいて、オリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプを決定するステップ、オリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプがオリジナル特殊効果フレームのタイムスタンプのいずれかと重なった場合、重なったオリジナル特殊効果フレームのタイムスタンプに対応する特殊効果フレームを目標タイムスタンプに対応する特殊効果フレームとして決定するステップ、及びオリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプがオリジナル特殊効果フレームのタイムスタンプのいずれとも重ならない場合、オリジナルタイムスタンプとの距離が最も小さいオリジナル特殊効果フレームのタイムスタンプを決定し、かつ当該距離が最も小さいオリジナル特殊効果フレームのタイムスタンプに対応する特殊効果フレームを目標タイムスタンプに対応する特殊効果フレームとして決定するステップを実行するという技術案によって実現されてもよい。
例として、オリジナル時間軸が1秒であり、フレームレートが毎秒24フレームであり、即ち1/24秒ごとに1つのタイムスタンプであり、特殊効果フレーム1ないし特殊効果フレーム24が存在し、フレームレートが毎秒24フレームであり、即ち1/24秒ごとに1つのタイムスタンプであり、例えば0、1/24、2/24、…、23/24であり、この24個のタイムスタンプにそれぞれ特殊効果フレーム1ないし24をプレゼンテーションし、上記タイムスタンプ0、1/24、2/24、…、23/24はそれぞれ特殊効果フレーム1ないし特殊効果フレーム24のオリジナル特殊効果フレームのタイムスタンプであり、目標時間軸が2秒であり、フレームレートが依然として毎秒24フレームであると仮定すると、目標時間軸での各タイムスタンプは0、1/24、2/24、…、23/24、24/24、…、47/24であり、目標時間軸での各タイムスタンプを目標タイムスタンプとし、かつ各目標タイムスタンプに対応するオリジナル特殊効果フレームのタイムスタンプをそれぞれ決定し、それぞれ対応するオリジナル特殊効果フレームのタイムスタンプは0、0、1/24、1/24、2/24、2/24、…、23/24、23/24であり、オリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプがオリジナル特殊効果フレームのタイムスタンプと重なるため、これらのオリジナル特殊効果フレームのタイムスタンプに対応する特殊効果フレームをそれぞれ各目標タイムスタンプ上の特殊効果フレームとして決定し、目標時間軸での各タイムスタンプは0、1/24、2/24、…、23/24、24/24、…、47/24であり、それぞれ対応する特殊効果フレームは特殊効果フレーム1、特殊効果フレーム1、…、特殊効果フレーム24、特殊効果フレーム24であるが、この変換状況は理想的な状態での変換であり、場合によっては、目標時間軸での各目標タイムスタンプに対応するオリジナル時間軸でのオリジナルタイムスタンプは必ずしもオリジナル特殊効果フレームのタイムスタンプではなく、例えば、オリジナル時間軸における目標タイムスタンプ1/24の対応するオリジナルタイムスタンプが1/48であると仮定するが、フレームレートが毎秒24フレームである場合にオリジナル時間軸でのオリジナルタイムスタンプ1/48に対応する特殊効果フレームがないため、近接原則を取り、時間距離が最も近い特殊効果フレームAをオリジナルタイムスタンプ1/48の特殊効果フレームとし、さらに目標タイムスタンプ1/24に対応する特殊効果フレームとして決定し、距離が最も近いタイムスタンプが2つ存在することから、ここでの特殊効果フレームAはオリジナルタイムスタンプ0上の特殊効果フレームであってもよいし、オリジナルタイムスタンプ1/24の特殊効果フレームであってもよく、オリジナル時間軸における目標タイムスタンプ1/24の対応するオリジナルタイムスタンプが1/36であれば、(オリジナルタイムスタンプ)に最も近いタイムスタンプはオリジナルタイムスタンプ1/24であり、ここでの特殊効果フレームAはタイムスタンプ1/24の特殊効果フレームである。
いくつかの実施例では、時間伸縮区間に基づいて、オリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプを決定する上記ステップは、各時間伸縮区間に対して、目標タイムスタンプが時間伸縮区間の開始タイムスタンプ以下である場合、目標タイムスタンプをオリジナル時間軸において対応するオリジナルタイムスタンプとして決定するステップ、目標タイムスタンプが時間伸縮区間の開始タイムスタンプよりも大きく、かつ時間伸縮区間の終了タイムスタンプよりも小さい場合、目標タイムスタンプに対して時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得するステップ、及び目標タイムスタンプが終了タイムスタンプ以上であり、かつ目標再生時間よりも小さい場合、オリジナル再生時間と目標再生時間との第1差分値を決定し、第1差分値と目標タイムスタンプとの加算処理を行い、加算処理の結果をオリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプとして決定するステップを実行するという技術案によって実現されてもよい。
例として、時間伸縮ポリシーにおける時間伸縮区間は、既に伸縮を行う必要がある区間を限定しているため、目標時間軸での異なるタイムスタンプに対して、異なるマッピング関係に基づいて、オリジナル時間軸での対応するオリジナルタイムスタンプがマッピングされ、図7を参照すると、オリジナル時間軸の長さがm、目標時間軸の長さがn、時間伸縮区間がaないしb、時間伸縮区間の長さがb-aであり、時間伸長処理後、時間伸縮区間の開始タイムスタンプがa、終了タイムスタンプがn-(m-b)であり、目標タイムスタンプtが0ないしaの間であれば、オリジナル時間軸での対応するタイムスタンプもtであり、この時間帯がタイトル固定の区間に属するからであり、目標タイムスタンプtがn-(m-b)ないしnの間であれば、オリジナル時間軸での対応するタイムスタンプはm-n+tであり、目標タイムスタンプtがaないしn-m+bの間であれば、異なる時間伸縮種類に基づいてマッピング処理を行う必要がある。
いくつかの実施例では、目標タイムスタンプに対して時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得する上記ステップは、
時間伸縮種類が時間線形伸縮種類である場合、目標再生時間とオリジナル再生時間との第2差分値を伸縮長さとして決定し、かつ伸縮長さと時間伸縮区間の長さとの加算処理を行い、
時間伸縮区間の長さと加算処理の結果との比の値算出処理を行うことで、伸縮係数を取得し、
目標タイムスタンプと開始タイムスタンプとの第3差分値を決定し、第3差分値と伸縮係数との乗算処理を行い、
乗算処理の結果及び開始タイムスタンプに対して加算処理を行い、対応するオリジナルタイムスタンプを取得するという技術案によって実現されてもよい。
例として、目標タイムスタンプtがaないしn-m+bの間であれば、異なる時間伸縮種類に基づいてマッピング処理を行う必要があり、時間伸縮種類が時間線形伸縮である場合、目標再生時間nとオリジナル再生時間mとの第2差分値を伸縮長さとして決定し、かつ伸縮長さと時間伸縮区間の長さb-aとの加算処理を行い、時間伸縮区間の長さb-aと加算処理の結果との比の値算出処理を行うことで、伸縮係数kを取得し、目標タイムスタンプtと開始タイムスタンプaとの第3差分値を決定し、第3差分値と伸縮係数kとの乗算処理を行い、乗算処理結果及び開始タイムスタンプaに対して加算処理を行い、対応するオリジナルタイムスタンプを取得し、具体的な計算原理は、以下の式(1)を参照されたい。
Figure 0007446468000001
ここで、aは開始タイムスタンプ、tは目標タイムスタンプ、kは伸縮係数、f(t)はオリジナルタイムスタンプ、nは目標再生時間、mはオリジナル再生時間である。
いくつかの実施例では、目標タイムスタンプに対して時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得する上記ステップは、
時間伸縮種類が時間反復種類である場合、目標タイムスタンプと開始タイムスタンプとの第4差分値を決定し、第4差分値及び時間伸縮区間の長さに対して剰余算出処理を行い、
剰余算出処理の結果と開始タイムスタンプとの加算処理を行い、対応するオリジナルタイムスタンプを取得するという技術案によって実現されてもよい。
例として、目標タイムスタンプtがaないしn-m+bの間であれば、異なる時間伸縮種類に基づいてマッピング処理を行う必要があり、時間伸縮種類が時間反復種類である場合、目標タイムスタンプtと開始タイムスタンプaとの第4差分値を決定し、第4差分値と時間伸縮区間の長さ(b-a)との剰余算出処理を行い、剰余算出処理の結果と開始タイムスタンプaとの加算処理を行い、対応するオリジナルタイムスタンプを取得し、具体的な計算原理は、以下の式(2)を参照されたい。
Figure 0007446468000002
ここで、aは開始タイムスタンプ、tは目標タイムスタンプ、kは伸縮係数、f(t)はオリジナルタイムスタンプ、nは目標再生時間、mはオリジナル再生時間である。
いくつかの実施例では、目標タイムスタンプに対して時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得する上記ステップは、
時間伸縮種類が時間逆順反復種類である場合、目標タイムスタンプと開始タイムスタンプとの第5差分値を決定し、
第5差分値及び時間伸縮区間の長さに対して剰余算出処理を行い、剰余算出処理の結果を取得し、前記第5差分値と前記時間伸縮区間との比の値算出処理を行うことで、比の値結果を取得し、
比の値結果に対して小数点以下切り捨て処理を行うことで、小数点以下切り捨て結果を取得し、
小数点以下切り捨て結果が偶数である場合、剰余算出処理の結果と開始タイムスタンプとの加算処理を行うことで、対応するオリジナルタイムスタンプを取得し、
小数点以下切り捨て結果が奇数である場合、時間伸縮区間の長さと剰余算出処理の結果との第6差分値を決定し、第6差分値及び開始タイムスタンプに対して加算処理を行い、対応するオリジナルタイムスタンプを取得するという技術案によって実現されてもよい。
例として、目標タイムスタンプtがaないしn-m+bの間であれば、異なる時間伸縮種類に基づいてマッピング処理を行う必要があり、時間伸縮種類が時間逆順反復種類である場合、目標タイムスタンプtと開始タイムスタンプaとの第5差分値を決定し、第5差分値及び時間伸縮区間の長さ(b-a)に対して剰余算出処理を行い、例えば、8及び3に対して剰余算出処理を行い、得られた剰余算出処理の結果が2であり、対応する比の値結果が8/3であり、小数点以下切り捨て処理後に得られた小数点以下切り捨て結果が2であり、剰余算出処理の結果に対応する比の値結果に対して小数点以下切り捨て処理を行うことで、小数点以下切り捨て結果を取得し、小数点以下切り捨て結果が偶数である場合、剰余算出処理の結果と開始タイムスタンプaとの加算処理を行い、対応するオリジナルタイムスタンプを取得し、小数点以下切り捨て結果が奇数である場合、時間伸縮区間の長さ(b-a)と剰余算出処理の結果との第6差分値を決定し、第6差分値及び開始タイムスタンプaに対して加算処理を行い、対応するオリジナルタイムスタンプを取得し、具体的な計算原理は、以下の式(3)を参照されたい。
Figure 0007446468000003
ここで、aは開始タイムスタンプ、tは目標タイムスタンプ、kは伸縮係数、f(t)はオリジナルタイムスタンプ、nは目標再生時間、mはオリジナル再生時間である。
ステップ104では、端末は目標時間軸に対応する特殊効果フレームに基づいてレンダリングを行うことで、目標再生時間に応じた目標ビデオ特殊効果を取得する。
例として、端末は、目標時間軸での各タイムスタンプの特殊効果フレームに基づいて、対応するタイムスタンプでレンダリング処理を行うことにより、目標再生時間に応じた目標ビデオ特殊効果を取得する。
例として、ショートビデオ編集を行うシーンでは、端末はユーザが撮影したネイティブビデオ又はサーバから返信されたネイティブビデオを受信したことに応答して、ネイティブビデオのネイティブビデオ時間を取得し、端末は素材ライブラリにおけるある特殊効果オブジェクトに対応するビデオ特殊効果ファイルを復号して相応な時間伸縮処理を実行し、ネイティブビデオ時間を目標再生時間とすることで、当該特殊効果をネイティブビデオに適合させ、当該特殊効果とネイティブビデオとをつなぎ合わせ処理した後にリアルタイムレンダリングを行うことができ、最終効果のプレビューとし、プレビューを行った後につなぎ合わせ処理結果を符号化処理することで、新しいビデオファイルを得て他のユーザに共有する。
例として、ショートビデオ編集を行うシーンでは、ビデオ特殊効果ファイルにおける特殊効果は複数のネイティブビデオ間のつながり動画として用いられてもよく、端末は素材ライブラリにおけるある特殊効果オブジェクトに対応するビデオ特殊効果ファイルを復号し、かつ目標再生時間に対する設定操作を受信して相応な時間伸縮処理を実行し、時間伸縮処理を経た特殊効果オブジェクトが複数のネイティブビデオ間に位置するようにし、当該特殊効果オブジェクトとネイティブビデオとの時間軸つなぎ合わせ処理を行った後にリアルタイムレンダリングを行うことができ、最終効果のプレビューとし、プレビューを行った後につなぎ合わせ処理結果を符号化処理することで、新しいビデオファイルを得て他のユーザに共有する。
例として、ファイル共有を伴わないシーン、例えば、ゲーム戦報シーンでは、端末はサーバから返信されたネイティブビデオ及び特殊効果ビデオファイルを受信したことに応答して、ネイティブビデオのネイティブビデオ時間を取得し、かつビデオ特殊効果ファイルを復号して相応な時間伸縮処理を実行し、ネイティブビデオ時間を目標再生時間とすることで、当該特殊効果オブジェクトをネイティブビデオの再生時間に適合させ、当該特殊効果オブジェクトとネイティブビデオをレンダリングして同時に表示する。
図3Eを参照すると、図3Eは、本願の実施例によるビデオ特殊効果の処理方法のフロー模式図であり、上記実施例は実施過程において端末によってのみ具体的な処理フローを実行し、これに加えて、端末とサーバとを組み合わせて上記処理フローを実現することもでき、ステップ201では、端末はサーバにレンダリング要求を発し、ステップ202では、サーバはビデオ特殊効果ファイルを取得し、ビデオ特殊効果ファイルから時間伸縮ポリシーを抽出し、ステップ203では、サーバは抽出した時間伸縮ポリシーを端末に返信し、ステップ204では、端末は入力した目標再生時間を受信し、ステップ205では、端末は目標再生時間をサーバに送信し、ステップ206では、サーバは時間伸縮ポリシーに基づいて、ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定し、ステップ207では、サーバは目標時間軸に対応する特殊効果フレームに基づいてレンダリングを行うことで、目標再生時間に応じた目標ビデオ特殊効果を取得し、ステップ208では、サーバは目標ビデオ特殊効果を端末に返信し、ステップ209では、端末は目標ビデオ特殊効果をプレゼンテーションし、上記過程は端末とサーバとのインタラクションプロセスを伴い、大量の計算リソースを必要とするレンダリング処理をサーバに割り当てて完了させ、端末はユーザの配置要求を受信すること、及びレンダリングして得られたビデオ特殊効果をプレゼンテーションすることのみを担当し、他の実施形態では、上記サーバによって達成されるロジックは、レンダリングSDKを呼び出すことによって、又はレンダリングSDKによってクラウドサーバリソースを遠隔で呼び出すことによって達成されてもよい。
本願の実施例は、ビデオ特殊効果の処理方法を提供し、固定する動画ファイルの時間伸縮をサポートでき、かつ外部アプリケーションプラットフォームが動画ファイルの目標再生時間を設定するだけで、動画ファイルがユーザにより配置された伸縮ポリシーに従って時間伸縮を行うことができる。ビデオ特殊効果ファイルの再生時間伸縮処理は、ビデオ特殊効果ファイルにおける時間伸縮ポリシーによって制御され、ビデオ特殊効果ファイルを復号した後に、時間伸縮ポリシーに基づいて処理してレンダリングすることで目標再生時間の目標ビデオ特殊効果を実現でき、プラットフォームのオペレーティングシステムに制限されることなく、様々なアプリケーション及び様々なプラットフォームに直接適用でき、実現フローが極めて簡潔である。
以下、本願の実施例によるビデオ特殊効果の処理方法の実際の適用シーンにおける例示的な適用について説明する。
本願の実施例によるビデオ特殊効果の処理方法は、ゲーム週戦報ビデオに広く適用されており、図4を参照すると、図4は、本願の実施例によるビデオ特殊効果の処理方法の、ゲーム週戦報ビデオのシーンにおける適用効果の模式図であり、端末がプレゼンテーションする必要があるのは、中間領域の横方向ビデオ(ネイティブビデオ)及び上下領域のステッカー動画(ビデオ特殊効果ファイルに対応する特殊効果オブジェクト)であり、PAGステッカー動画によって上下領域のステッカー動画を実現し、これは縦方向画面の動画であり、ビデオの上下エッジ領域にプレゼンテーションされ、周期的な動画効果を伴い、他の適用シーンでは、ステッカー動画のタイトル及びテールが固定し、中間部分のコンテンツがニーズに応じて時間伸長を行う場合もあり、ニーズは目標再生時間であってもよく、目標再生時間は横方向ビデオの時間(ネイティブビデオの時間)であってもよく、図4における適用効果模式図は、クライアントがサーバに毎週戦報ビデオの配信を要求する配信ロジックをトリガすることで、サーバがクライアントに毎週戦報ビデオを配信し、クライアントがサーバから返信された毎週戦報ビデオ(ネイティブビデオ)及び対応するビデオ特殊効果ファイルを受信したことに応答して、毎週戦報ビデオの時間を目標再生時間として取得し、かつ目標再生時間に基づいてビデオ特殊効果ファイルを復号して相応な時間伸縮処理を実行することで、時間伸縮処理を経た特殊効果オブジェクトを毎週戦報ビデオの時間に適合させ、最後に当該特殊効果オブジェクトをレンダリングして毎週戦報ビデオと同時に表示し、表示した効果が特殊効果オブジェクト付きの毎週戦報ビデオであるステップによって実現されてもよい。
図5を参照すると、図5は、本願の実施例によるビデオ特殊効果の処理システムのフローチャートであり、まずAEにおいてプラグインによってステッカー動画の伸縮区間及び伸縮種類を設定し、図6Bを参照すると、図6Bは、本願の実施例によるビデオ特殊効果の処理方法のマーク模式図であり、ステッカー動画の総合成にマークを追加し、AEにおけるプラグインがレイヤへのマーク追加をサポートすることができ、(1)空白領域をクリックする操作によりレイヤが選択されないようにし、(2)レイヤコントロールをクリックする操作に応答して、レイヤメニューをプレゼンテーションし、(3)マークを追加する操作に応答してマーク追加過程を実現し、それによって具体的な使用シーンに合わせて、時間伸縮区間及び時間伸縮種類などの関連標識を追加することができ、後続のレンダリングSDKによる時間伸縮区間及び時間伸縮種類に応じるレンダリング処理を容易にし、図6Cを参照すると、図6Cは、本願の実施例によるビデオ特殊効果の処理方法のマーク模式図であり、具体的には時間伸縮区間及び4種類の時間伸縮種類を設定することができ、具体的な設定プロセスは、(1)マークをダブルクリックする操作に応答して、設定画面をプレゼンテーションし、(2)設定画面で時間伸縮種類(即ち記入したコンテンツ)を受信し、(3)設定画面で修正の開始時間を受信し、(4)設定画面で保存確認操作を受信し、時間伸縮種類は、1、伸縮なし種類:時間伸縮を行う必要がないことを示し、2、線形伸縮種類:PAGステッカー動画全体の目標再生時間をオリジナルPAGステッカー動画のオリジナル再生時間よりも長く設定する場合、時間伸縮区間で線形伸長を行い、PAGステッカー動画全体の目標再生時間をオリジナルPAGステッカー動画のオリジナル再生時間よりも短く設定する場合、時間伸縮区間で線形伸縮を行い、3、反復種類:時間伸縮種類が反復種類であり、PAGステッカー動画全体の目標再生時間をオリジナルPAGステッカー動画のオリジナル再生時間よりも長く設定する場合、時間伸縮区間で周期的伸長を行い、4、反復反転種類:PAGステッカー動画全体の目標再生時間をオリジナルPAGステッカー動画のオリジナル再生時間よりも長く設定する場合、時間伸縮区間で逆順周期的伸長を行い、即ちまず正順再生を行い、さらに逆順再生を行い、そして正順再生を行い、次に逆順再生を行う、などである。
時間伸縮区間及び種類設定に成功した後、特殊効果オブジェクトに対して符号化処理を行ってPAGステッカー動画ファイルを取得し、かつPAGステッカー動画ファイルをエクスポートし、PAGステッカー動画ファイルのデータ構造を修正することにより、ファイルルートパスのレベルで時間伸縮種類及び時間伸縮区間を追加し、符号化処理を行いやすくし、具体的にプラットフォーム側で使用する場合、レンダリングSDKの復号モジュールは相応なデータの復号読み取りを行う必要があり、それによって時間伸縮区間を取得し、時間伸縮区間に基づいてPAGレンダリング時間軸(伸縮なし、線形伸縮、反復伸縮及び逆順反復伸縮を含む)を取得し、レンダリングSDKは、クライアントSDK又はサーバSDKであってもよく、クライアントSDKはクライアントでレンダリング(PAGレンダリング描画)を完了し、サーバ側SDKはサーバ側でレンダリング(PAGレンダリング描画)を完了する。
PAGステッカー動画に時間伸縮をサポートする機能を追加するため、またAE設計に基づく動画のレンダリングロジックが複雑であり、例えばトラック計算、タイムラプスなどの関連効果があるため、PAGステッカー動画の特定のレイヤの動画特性を修正することで動画の時間伸長機能を実現すると、その実現の複雑さがかなり高くなるため、PAGステッカー動画のレイヤの特定の動画特性を修正するのは適切ではなく、したがってレンダリング側ではオリジナルレンダリング時間計算ロジックの上でパッケージすることができ、オリジナル動画ファイルのレンダリング進行度を変更することで時間伸縮の機能を実現し、時間伸縮区間の具体的なレンダリング進行度を計算する。
図7を参照すると、図7は、本願の実施例によるビデオ特殊効果の処理方法の時間軸模式図であり、オリジナル時間軸及び目標時間軸の最小時間単位がいずれもフレームであり、フレームレートが毎秒24フレームであれば、1秒間に24フレームをプレゼンテーションすることを意味し、最小時間単位が1/24秒であり、PAGステッカー動画ファイルのオリジナル再生時間がmであり、その中に1つの時間伸縮区間(a,b)が含まれ、時間伸縮種類が伸縮なし種類であれば、レンダリングロジックはそれまでのロジックと一致し、時間伸縮処理を行わず、時間伸縮種類が他のいくつかの種類であり、伸縮後の目標再生時間がnであれば、具体的なレンダリング進行度の計算過程は、まず時間伸縮係数kを計算し、k=(b-a)/(n-m+b-a)であり、tは伸縮後のレンダリング時間点、即ち目標時間軸での目標タイムスタンプであり、f(t)はPAGステッカー動画のオリジナル時間軸上で実際にレンダリングするオリジナル特殊効果フレームのタイムスタンプであり、時間伸縮種類が線形伸縮種類の場合、以下の式(4)に従ってPAGステッカー動画のオリジナル時間軸上で実際にレンダリングするオリジナル特殊効果フレームのタイムスタンプを計算する。
Figure 0007446468000004
時間伸縮種類が反復種類の場合、以下の式(5)に従ってPAGステッカー動画のオリジナル時間軸上で実際にレンダリングするオリジナル特殊効果フレームのタイムスタンプを計算する。
Figure 0007446468000005
時間伸縮種類が反復反転種類である場合、a<t<n-m+bである場合、PAGステッカー動画のオリジナル時間軸上で実際にレンダリングするオリジナル特殊効果フレームのタイムスタンプを2つの場合に分けて計算し、(t-a)/(b-a)の計算結果が偶数に小数点以下切り捨てられた場合、
Figure 0007446468000006
であり、(t-a)/(b-a)の計算結果が奇数に小数点以下切り捨てられた場合、
Figure 0007446468000007
であり、tがその他の範囲の値である場合、上記の計算と同様に、PAGステッカー動画に複数の時間伸縮区間がある場合、計算方法は類似しており、複数の時間伸縮区間に対して計算を行う必要があり、上記の式によりf(t)を計算した後、レンダリングSDK内のレンダリングモジュールは対応するオリジナル特殊効果フレームのタイムスタンプに基づいて最終的に必要な特殊効果に対応する動画画面をレンダリングし、最後に当該特殊効果オブジェクトの動画画面を毎週戦報ビデオと同時に表示し、表示した効果が特殊効果オブジェクト付きの毎週戦報ビデオである。
本願の実施例は、ビデオ特殊効果の処理方法を提供し、ユーザインタフェース動画(例えば、ビデオ編集)、サーバ側の特殊効果ビデオレンダリングシーンでの特殊効果動画の時間の需要が固定しないこととデザイナーが設計したステッカー動画ファイルの時間が固定することとの間の矛盾をよく解決することができ、ステッカー動画効果を設計する際に、デザイナーが時間伸縮区間及び時間伸縮種類を設定した後、任意のプラットフォーム側の使用中にステッカー動画の目標再生時間を設定するだけで、動画の時間伸長効果を実現することができる。
以下、本願の実施例によるビデオ特殊効果の処理装置455の、ソフトウェアモジュールとして実装された例示的な構造を続けて説明し、いくつかの実施例では、図2に示すように、メモリ450に記憶されたビデオ特殊効果の処理装置455におけるソフトウェアモジュールは、ビデオ特殊効果ファイルを取得し、ビデオ特殊効果ファイルから時間伸縮ポリシーを抽出するファイル取得モジュール4551と、前記ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得する時間取得モジュール4552であって、目標再生時間はビデオ特殊効果ファイルのオリジナル再生時間と異なるものである時間取得モジュール4552と、時間伸縮ポリシーに基づいて、ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定する特殊効果フレーム決定モジュールであって、目標時間軸の長さは目標再生時間と一致するものである特殊効果フレーム決定モジュール4553と、目標時間軸に対応する特殊効果フレームに基づいてレンダリングを行うことで、目標再生時間に応じた目標ビデオ特殊効果を取得するレンダリングモジュール4554と、を含んでもよい。
いくつかの実施例では、ファイル取得モジュール4551は、さらに、特殊効果オブジェクトの複数のレイヤ構造を符号化処理することで、特殊効果オブジェクトに対応する符号化エクスポートファイルを取得するステップ、特殊効果オブジェクトの複数の特殊効果フレームを符号化処理することで、特殊効果オブジェクトに対応する符号化エクスポートファイルを取得するステップ、特殊効果オブジェクトの複数の特殊効果フレームをビデオフォーマット圧縮処理し、取得されたビデオフォーマット圧縮処理結果を符号化処理することで、特殊効果オブジェクトに対応する符号化エクスポートファイルを取得するステップ、及び時間伸縮種類及び時間伸縮区間を符号化エクスポートファイルにパッケージし、特殊効果オブジェクトに対応するビデオ特殊効果ファイルを取得するステップのいずれかの処理を実行する。
いくつかの実施例では、前記時間伸縮ポリシーは時間伸縮区間及び対応する時間伸縮種類を含み、ファイル取得モジュール4551は、さらに、ビデオ特殊効果ファイルを復号処理することで、ビデオ特殊効果ファイルに対応する少なくとも1つの時間伸縮区間及び対応する時間伸縮種類を取得する。ここで、時間伸縮種類は時間線形伸縮種類、時間反復種類、時間逆順反復種類のいずれかを含む。
いくつかの実施例では、時間取得モジュール4552は、さらに、
時間伸縮区間の数が複数である場合、ビデオ特殊効果ファイルを数に一致する複数のビデオ特殊効果サブファイルに分割し、各ビデオ特殊効果サブファイルに対する目標再生時間をそれぞれ取得し、
時間伸縮区間の数が1つである場合、ビデオ特殊効果ファイルの全体に対する目標再生時間を取得する。
いくつかの実施例では、時間取得モジュール4552は、さらに、前記ビデオ特殊効果ファイルの実現すべき目標再生時間を取得するステップの後、
時間伸縮区間の数が複数である場合、各ビデオ特殊効果サブファイルに対して、
ビデオ特殊効果サブファイルから特殊効果オブジェクトに対応するオリジナル時間軸を取得する処理、及びオリジナル時間軸のフレームレートを維持したまま、オリジナル時間軸を時間伸縮処理することで、目標再生時間に対応する目標時間軸を取得する処理を実行し、
時間伸縮区間の数が1つである場合、ビデオ特殊効果ファイルに対して、
ビデオ特殊効果ファイルから特殊効果オブジェクトに対応するオリジナル時間軸を取得する処理、及びオリジナル時間軸のフレームレートを維持したまま、オリジナル時間軸を時間伸縮処理することで、目標再生時間に対応する目標時間軸を取得する処理を実行する。
いくつかの実施例では、時間伸縮区間の数が複数である場合、特殊効果フレーム決定モジュール4553は、さらに、各時間伸縮区間に対して、
ビデオ特殊効果サブファイルから特殊効果オブジェクトを含む複数の特殊効果フレーム、及びオリジナル時間軸において各特殊効果フレームの対応するタイムスタンプを取得し、かつ各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプとするステップ、及び
時間伸縮区間、及び各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、複数の特殊効果フレームのうち目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定するステップを実行する。
いくつかの実施例では、時間伸縮区間の数が1つである場合、特殊効果フレーム決定モジュール4553は、さらに、
ビデオ特殊効果ファイルから特殊効果オブジェクトを含む複数の特殊効果フレーム、及びオリジナル時間軸において各特殊効果フレームの対応するタイムスタンプを取得し、各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプとし、
時間伸縮区間、及び各特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、複数の特殊効果フレームのうち目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定する。
いくつかの実施例では、特殊効果フレーム決定モジュール4553は、さらに、順に目標時間軸での各タイムスタンプを目標タイムスタンプとし、かつ
時間伸縮区間に基づいて、オリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプを決定する処理、
オリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプがオリジナル特殊効果フレームのタイムスタンプのいずれかと重なった場合、重なったオリジナル特殊効果フレームのタイムスタンプに対応する特殊効果フレームを目標タイムスタンプに対応する特殊効果フレームとして決定する処理、及び
オリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプがオリジナル特殊効果フレームのタイムスタンプのいずれとも重ならない場合、オリジナルタイムスタンプとの距離が最も小さいオリジナル特殊効果フレームのタイムスタンプを決定し、かつ当該距離が最も小さいオリジナル特殊効果フレームのタイムスタンプに対応する特殊効果フレームを目標タイムスタンプに対応する特殊効果フレームとして決定する処理を実行する。
いくつかの実施例では、特殊効果フレーム決定モジュール4553は、さらに、各時間伸縮区間に対して、
目標タイムスタンプが時間伸縮区間の開始タイムスタンプ以下である場合、目標タイムスタンプをオリジナル時間軸において対応するオリジナルタイムスタンプとして決定するステップ、
目標タイムスタンプが時間伸縮区間の開始タイムスタンプよりも大きく、かつ時間伸縮区間の終了タイムスタンプよりも小さい場合、目標タイムスタンプに対して時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得するステップ、及び
目標タイムスタンプが終了タイムスタンプ以上であり、かつ目標再生時間よりも小さい場合、オリジナル再生時間と目標再生時間との第1差分値を決定し、第1差分値と目標タイムスタンプとの加算処理を行い、加算処理の結果をオリジナル時間軸における目標タイムスタンプの対応するオリジナルタイムスタンプとして決定するステップを実行する。
いくつかの実施例では、特殊効果フレーム決定モジュール4553は、さらに、
時間伸縮種類が時間線形伸縮種類である場合、目標再生時間とオリジナル再生時間との第2差分値を伸縮長さとして決定し、かつ伸縮長さと時間伸縮区間の長さとの加算処理を行い、
時間伸縮区間の長さと加算処理の結果との比の値算出処理を行うことで、伸縮係数を取得し、
目標タイムスタンプと開始タイムスタンプとの第3差分値を決定し、第3差分値と伸縮係数との乗算処理を行い、
乗算処理の結果と開始タイムスタンプとの加算処理を行うことで、対応するオリジナルタイムスタンプを取得する。
いくつかの実施例では、特殊効果フレーム決定モジュール4553は、さらに、
時間伸縮種類が時間反復種類である場合、目標タイムスタンプと開始タイムスタンプとの第4差分値を決定し、第4差分値及び時間伸縮区間の長さに対して剰余算出処理を行い、
剰余算出処理の結果と開始タイムスタンプとの加算処理を行い、対応するオリジナルタイムスタンプを取得する。
いくつかの実施例では、特殊効果フレーム決定モジュール4553は、さらに、
時間伸縮種類が時間逆順反復種類である場合、目標タイムスタンプと開始タイムスタンプとの第5差分値を決定し、
第5差分値及び時間伸縮区間の長さに対して剰余算出処理を行い、剰余算出処理の結果を取得し、前記第5差分値と前記時間伸縮区間の長さとの比の値算出処理を行うことで、比の値結果を取得し、
比の値結果に対して小数点以下切り捨て処理を行うことで、小数点以下切り捨て結果を取得し、
小数点以下切り捨て結果が偶数である場合、剰余算出処理の結果と開始タイムスタンプとの加算処理を行い、対応するオリジナルタイムスタンプを取得し、
小数点以下切り捨て結果が奇数である場合、時間伸縮区間の長さと剰余算出処理の結果との第6差分値を決定し、第6差分値と開始タイムスタンプとの加算処理を行うことで、対応するオリジナルタイムスタンプを取得する。
本願の実施例は、実行可能な命令を記憶したコンピュータ読み取り可能な記憶媒体を提供し、実行可能な命令はプロセッサによって実行されると、本願の実施例による電子紅包の送信方法、例えば、図3A~3Eに示されるようなビデオ特殊効果の処理方法をプロセッサに実行させる。
本願の実施例は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供する。電子機器のプロセッサは、コンピュータ読み取り可能な記憶媒体から当該コンピュータ命令を読み取り、プロセッサは、当該コンピュータ命令を実行して、本願の実施例によるビデオ特殊効果の処理方法を当該電子機器に実行させる。
いくつかの実施例では、コンピュータ読み取り可能な記憶媒体は、FRAM(登録商標)、ROM、PROM、EPROM、EEPROM、フラッシュメモリ、磁気表面メモリ、光ディスク、又はCD-ROMなどのメモリであってもよいし、上記メモリの1つ又は任意の組み合わせを含む各種デバイスであってもよい。
いくつかの実施例では、実行可能な命令は、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト、又はコードの形式で、任意の形式のプログラミング言語(コンパイル又はインタプリタ言語、又は宣言型言語又は手続き型言語を含む)で記述されてもよく、かつ、独立するプログラムとして配置され、又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境での使用に適した他のユニットとして配置されることを含む、任意の形式で配置されることができる。
例として、実行可能な命令は、ファイルシステム内のファイルに対応していてもよいが、必ずしも対応していなくてもよく、他のプログラム又はデータを保存するファイルの一部に記憶されてもよく、例えば、ハイパーテキストマークアップ言語(HTML、Hyper Text Markup Language)ドキュメント内の1つ又は複数のスクリプトに記憶され、検討対象のプログラム専用の1つのファイルに記憶され、又は、複数のシノプシスファイル(例えば、1つ又は複数のモジュール、サブプログラム、又はコード部分を記憶するファイル)に記憶される。
例として、実行可能な命令は、1つの電子機器で実行され、又は、1つの場所に位置する複数の電子機器で実行され、又は、複数の場所に分散され、通信ネットワークを介して相互接続された複数の電子機器で実行されるように配置されることができる。
要約すると、本願の実施例により、ビデオ特殊効果ファイルに時間伸縮ポリシーをパッケージすることにより、1つのビデオ特殊効果ファイルを異なる適用シーンに必要な再生時間に自由に伸縮させ、汎用性を有し、これに基づいてレンダリングを行って目標ビデオ特殊効果を取得し、異なる再生時間のビデオ特殊効果ファイルを大量に作成することによって生じる計算リソース及び時間リソースの多大な消費を節約する。
以上は、本願の実施例に過ぎず、本願の保護範囲を限定するものではない。本願の精神及び範囲内でなされたあらゆる修正、均等物、及び改良などは、本願の保護範囲内に含まれる。
200 サーバ
300 ネットワーク
400 端末
410 プロセッサ
420 (有線又は無線)ネットワークインタフェース
420 ネットワークインタフェース
430 ユーザインタフェース
431 出力装置
432 入力装置
440 バスシステム
450 メモリ
451 オペレーティングシステム
452 ネットワーク通信モジュール
453 プレゼンテーションモジュール
454 入力処理モジュール
455 処理装置
500 端末
600 データベース
601 配置ポータル
602 配置ポータル
603 配置ポータル
4551 ファイル取得モジュール
4552 時間取得モジュール
4553 特殊効果フレーム決定モジュール
4554 レンダリングモジュール

Claims (15)

  1. 電子機器が実行するビデオ特殊効果の処理方法であって、
    ビデオ特殊効果ファイルを取得し、前記ビデオ特殊効果ファイルから時間伸縮ポリシーを抽出するステップと、
    前記ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得するステップであって、前記目標再生時間は、前記ビデオ特殊効果ファイルのオリジナル再生時間と異なるものであるステップと、
    前記時間伸縮ポリシーに基づいて、前記ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定するステップであって、前記目標時間軸の長さは、前記目標再生時間と一致するものであるステップと、
    前記目標時間軸に対応する特殊効果フレームに基づいてレンダリングすることで、前記目標再生時間に応じた目標ビデオ特殊効果を取得するステップと、を含む、
    ビデオ特殊効果の処理方法。
  2. ビデオ特殊効果ファイルを取得する前記ステップは、
    殊効果オブジェクトの複数のレイヤ構造を符号化処理することで、前記特殊効果オブジェクトに対応する符号化エクスポートファイルを取得する処理、
    前記特殊効果オブジェクトの複数の特殊効果フレームを符号化処理することで、前記特殊効果オブジェクトに対応する符号化エクスポートファイルを取得する処理、
    前記特殊効果オブジェクトの複数の特殊効果フレームをビデオフォーマット圧縮処理し、取得されたビデオフォーマット圧縮処理の結果を符号化処理することで、前記特殊効果オブジェクトに対応する符号化エクスポートファイルを取得する処理、及び
    時間伸縮種類及び時間伸縮区間を前記符号化エクスポートファイルにパッケージし、前記特殊効果オブジェクトに対応するビデオ特殊効果ファイルを取得する処理のうちいずれかを実行するステップを含む、
    請求項1に記載の方法。
  3. 前記時間伸縮ポリシーは、時間伸縮区間及び対応する時間伸縮種類を含み、
    前記ビデオ特殊効果ファイルから時間伸縮ポリシーを抽出する前記ステップは、
    前記ビデオ特殊効果ファイルを復号処理することで、前記ビデオ特殊効果ファイルに対応する少なくとも1つの時間伸縮区間及び対応する時間伸縮種類を取得するステップであって、前記時間伸縮種類は、時間線形伸縮種類、時間反復種類、時間逆順反復種類のいずれかを含むものであるステップを含む、
    請求項1に記載の方法。
  4. 前記ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得する前記ステップは、
    前記時間伸縮区間の数が複数である場合、前記ビデオ特殊効果ファイルを前記数に一致する複数のビデオ特殊効果サブファイルに分割し、各前記ビデオ特殊効果サブファイルに対する目標再生時間をそれぞれ取得するステップと、
    前記時間伸縮区間の数が1つである場合、前記ビデオ特殊効果ファイルの全体に対する目標再生時間を取得するステップと、を含む、
    請求項3に記載の方法。
  5. 前記ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得する前記ステップの後、
    前記時間伸縮区間の数が複数である場合、各前記ビデオ特殊効果サブファイルに対して、
    前記ビデオ特殊効果サブファイルから特殊効果オブジェクトに対応するオリジナル時間軸を取得する処理、及び
    前記オリジナル時間軸のフレームレートを維持したまま、前記オリジナル時間軸を時間伸縮処理することで、前記目標再生時間に対応する目標時間軸を取得するステップを実行する処理と、
    を実行し、
    前記時間伸縮区間の数が1つである場合、前記ビデオ特殊効果ファイルに対して、
    前記ビデオ特殊効果ファイルから特殊効果オブジェクトに対応するオリジナル時間軸を取得する処理、及び
    前記オリジナル時間軸のフレームレートを維持したまま、前記オリジナル時間軸を時間伸縮処理することで、前記目標再生時間に対応する目標時間軸を取得するステップを実行する処理と、
    を実行するステップをさらに含む、
    請求項4に記載の方法。
  6. 前記時間伸縮区間の数が複数である場合、前記時間伸縮ポリシーに基づいて、前記ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定する前記ステップは、
    各時間伸縮区間に対して、
    前記ビデオ特殊効果サブファイルから前記特殊効果オブジェクトを含む複数の特殊効果フレーム、及び前記オリジナル時間軸において各前記特殊効果フレームの対応するタイムスタンプを取得して、各前記特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプとする処理、及び
    時間伸縮区間、及び各前記特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、前記複数の特殊効果フレームのうち前記目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定する処理を実行するステップを含む、
    請求項5に記載の方法。
  7. 前記時間伸縮区間の数が1つである場合、前記時間伸縮ポリシーに基づいて、前記ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定する前記ステップは、
    前記ビデオ特殊効果ファイルから前記特殊効果オブジェクトを含む複数の特殊効果フレーム、及び前記オリジナル時間軸において各前記特殊効果フレームの対応するタイムスタンプを取得して、各前記特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプとするステップと、
    時間伸縮区間、及び各前記特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、前記複数の特殊効果フレームのうち前記目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定するステップと、を含む、
    請求項5に記載の方法。
  8. 時間伸縮区間、及び各前記特殊効果フレームのオリジナル特殊効果フレームのタイムスタンプに基づいて、前記複数の特殊効果フレームのうち前記目標時間軸での各タイムスタンプに対応する特殊効果フレームを決定する前記ステップは、
    順に前記目標時間軸での各タイムスタンプを目標タイムスタンプとし、かつ
    時間伸縮区間に基づいて、前記オリジナル時間軸において前記目標タイムスタンプの対応するオリジナルタイムスタンプを決定する処理、
    前記オリジナル時間軸において前記目標タイムスタンプの対応するオリジナルタイムスタンプが前記オリジナル特殊効果フレームのタイムスタンプのいずれかと重なった場合、重なった前記オリジナル特殊効果フレームのタイムスタンプに対応する特殊効果フレームを、前記目標タイムスタンプに対応する特殊効果フレームとして決定する処理、及び
    前記オリジナル時間軸において前記目標タイムスタンプの対応するオリジナルタイムスタンプが前記オリジナル特殊効果フレームのタイムスタンプのいずれとも重ならない場合、前記オリジナルタイムスタンプとの距離が最も小さい前記オリジナル特殊効果フレームのタイムスタンプを決定し、当該距離が最も小さい前記オリジナル特殊効果フレームのタイムスタンプに対応する特殊効果フレームを、前記目標タイムスタンプに対応する特殊効果フレームとして決定する処理を実行するステップを含む、
    請求項6又は7に記載の方法。
  9. 時間伸縮区間に基づいて、前記オリジナル時間軸において前記目標タイムスタンプの対応するオリジナルタイムスタンプを決定することは、
    各前記時間伸縮区間に対して、
    前記目標タイムスタンプが前記時間伸縮区間の開始タイムスタンプ以下である場合、前記目標タイムスタンプを前記オリジナル時間軸において対応するオリジナルタイムスタンプとして決定する処理、
    前記目標タイムスタンプが前記時間伸縮区間の開始タイムスタンプよりも大きく、かつ前記時間伸縮区間の終了タイムスタンプよりも小さい場合、前記目標タイムスタンプに対して前記時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得する処理、及び
    前記目標タイムスタンプが前記終了タイムスタンプ以上であり、かつ前記目標再生時間よりも小さい場合、前記オリジナル再生時間と前記目標再生時間との第1差分値を決定し、前記第1差分値と前記目標タイムスタンプとの加算処理を行い、加算処理の結果を前記オリジナル時間軸において前記目標タイムスタンプの対応するオリジナルタイムスタンプとして決定する処理を実行するステップを含む、
    請求項8に記載の方法。
  10. 前記目標タイムスタンプに対して前記時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得する前記ステップは、
    前記時間伸縮種類が前記時間線形伸縮種類である場合、前記目標再生時間と前記オリジナル再生時間との第2差分値を伸縮長さとして決定し、前記伸縮長さと前記時間伸縮区間の長さとの加算処理を行うステップと、
    前記時間伸縮区間の長さと加算処理の結果との比の値算出処理を行うことで、伸縮係数を取得するステップと、
    前記目標タイムスタンプと前記開始タイムスタンプとの第3差分値を決定し、前記第3差分値と前記伸縮係数との乗算処理を行うステップと、
    乗算処理の結果と前記開始タイムスタンプとの加算処理を行うことで、対応するオリジナルタイムスタンプを取得するステップと、を含む、
    請求項9に記載の方法。
  11. 前記目標タイムスタンプに対して前記時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得する前記ステップは、
    前記時間伸縮種類が前記時間反復種類である場合、前記目標タイムスタンプと前記開始タイムスタンプとの第4差分値を決定し、前記第4差分値と前記時間伸縮区間の長さとの剰余算出処理を行うステップと、
    剰余算出処理の結果と前記開始タイムスタンプとの加算処理を行うことで、対応するオリジナルタイムスタンプを取得するステップと、を含む、
    請求項9に記載の方法。
  12. 前記目標タイムスタンプに対して前記時間伸縮種類に基づくマッピング処理を行うことで、対応するオリジナルタイムスタンプを取得する前記ステップは、
    前記時間伸縮種類が前記時間逆順反復種類である場合、前記目標タイムスタンプと前記開始タイムスタンプとの第5差分値を決定するステップと、
    前記第5差分値と前記時間伸縮区間の長さとの剰余算出処理を行うことで、剰余算出処理の結果を取得し、前記第5差分値と前記時間伸縮区間の長さとの比の値算出処理を行うことで、比の値結果を取得するステップと、
    前記比の値結果に対して小数点以下切り捨て処理を行うことで、小数点以下切り捨て結果を取得するステップと、
    前記小数点以下切り捨て結果が偶数である場合、前記剰余算出処理の結果と前記開始タイムスタンプとの加算処理を行うことで、対応するオリジナルタイムスタンプを取得するステップと、
    前記小数点以下切り捨て結果が奇数である場合、前記時間伸縮区間の長さと前記剰余算出処理の結果との第6差分値を決定し、前記第6差分値と前記開始タイムスタンプとの加算処理を行うことで、対応するオリジナルタイムスタンプを取得するステップと、を含む、
    請求項9に記載の方法。
  13. ビデオ特殊効果の処理装置であって、
    ビデオ特殊効果ファイルを取得し、前記ビデオ特殊効果ファイルから時間伸縮ポリシーを抽出するファイル取得モジュールと、
    前記ビデオ特殊効果ファイルを設計シーンに適用する際に実現すべき目標再生時間を取得する時間取得モジュールであって、前記目標再生時間は、前記ビデオ特殊効果ファイルのオリジナル再生時間と異なるものである時間取得モジュールと、
    前記時間伸縮ポリシーに基づいて、前記ビデオ特殊効果ファイルにおいて目標時間軸に対応する特殊効果フレームを決定する特殊効果フレーム決定モジュールであって、前記目標時間軸の長さは前記目標再生時間と一致するものである特殊効果フレーム決定モジュールと、
    前記目標時間軸に対応する特殊効果フレームに基づいてレンダリングすることで、前記目標再生時間に応じた目標ビデオ特殊効果を取得するレンダリングモジュールと、を含む、
    ビデオ特殊効果の処理装置。
  14. 電子機器であって、
    実行可能な命令を記憶するメモリと、
    前記メモリに記憶された実行可能な命令を実行すると、請求項1~12のいずれか一項に記載のビデオ特殊効果の処理方法を実現するプロセッサと、を含む、
    電子機器。
  15. プロセッサによって実行されると、コンピュータに請求項1~12のいずれか一項に記載のビデオ特殊効果の処理方法を行わせる、コンピュータプログラム。
JP2022555878A 2020-06-28 2021-05-26 ビデオ特殊効果の処理方法、装置、電子機器及びコンピュータプログラム Active JP7446468B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010599847.1 2020-06-28
CN202010599847.1A CN111669623B (zh) 2020-06-28 2020-06-28 视频特效的处理方法、装置以及电子设备
PCT/CN2021/095994 WO2022001508A1 (zh) 2020-06-28 2021-05-26 视频特效的处理方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
JP2023518388A JP2023518388A (ja) 2023-05-01
JP7446468B2 true JP7446468B2 (ja) 2024-03-08

Family

ID=72390053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022555878A Active JP7446468B2 (ja) 2020-06-28 2021-05-26 ビデオ特殊効果の処理方法、装置、電子機器及びコンピュータプログラム

Country Status (5)

Country Link
US (2) US12041372B2 (ja)
EP (1) EP4044604A4 (ja)
JP (1) JP7446468B2 (ja)
CN (1) CN111669623B (ja)
WO (1) WO2022001508A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669623B (zh) * 2020-06-28 2023-10-13 腾讯科技(深圳)有限公司 视频特效的处理方法、装置以及电子设备
CN112202751B (zh) * 2020-09-25 2022-06-07 腾讯科技(深圳)有限公司 动画的处理方法、装置、电子设备及存储介质
CN112702656A (zh) * 2020-12-21 2021-04-23 北京达佳互联信息技术有限公司 视频编辑方法和视频编辑装置
CN115209215B (zh) * 2021-04-09 2024-07-12 北京字跳网络技术有限公司 视频处理方法、装置及设备
CN113556576B (zh) * 2021-07-21 2024-03-19 北京达佳互联信息技术有限公司 视频生成方法及设备
CN115842815A (zh) * 2021-09-02 2023-03-24 微软技术许可有限责任公司 基于Web的视频效果添加
CN114419198A (zh) * 2021-12-21 2022-04-29 北京达佳互联信息技术有限公司 一种帧序列处理方法、装置、电子设备及存储介质
CN114630181B (zh) * 2022-02-24 2023-03-24 深圳亿幕信息科技有限公司 一种视频处理方法、系统、电子设备及介质
CN114664331B (zh) * 2022-03-29 2023-08-11 深圳万兴软件有限公司 一种周期可调的变速特效渲染方法、系统及其相关组件
CN117714767A (zh) * 2022-12-08 2024-03-15 北京冰封互娱科技有限公司 动画播放方法及装置
CN117372583B (zh) * 2023-12-08 2024-04-09 广东咏声动漫股份有限公司 一种动画文件处理方法、系统、电子设备及存储介质
CN117714774B (zh) * 2024-02-06 2024-04-19 北京美摄网络科技有限公司 视频特效封面的制作方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008247A1 (en) 2004-07-08 2006-01-12 Miyuki Minami Editing apparatus and control method thereof, and program and recording medium
US20080253735A1 (en) 2007-04-16 2008-10-16 Adobe Systems Incorporated Changing video playback rate
JP2012054619A (ja) 2009-03-19 2012-03-15 Grass Valley Co Ltd 編集装置、編集方法、編集プログラム及びデータ構造
CN110677713A (zh) 2019-10-15 2020-01-10 广州酷狗计算机科技有限公司 视频图像处理方法及装置、存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899666B1 (en) * 1997-08-25 2003-07-09 Sharp Kabushiki Kaisha Image processing apparatus displaying a catalog of different types of data in different manner
JP2004152132A (ja) * 2002-10-31 2004-05-27 Sharp Corp 画像出力方法、画像出力装置、画像出力プログラムおよびコンピュータ読取可能な記録媒体
JP2007065928A (ja) * 2005-08-30 2007-03-15 Toshiba Corp 情報記憶媒体、情報処理方法、情報転送方法、情報再生方法、情報再生装置、情報記録方法、情報記録装置、及びプログラム
AU2011202182B1 (en) * 2011-05-11 2011-10-13 Frequency Ip Holdings, Llc Creation and presentation of selective digital content feeds
WO2014089345A1 (en) * 2012-12-05 2014-06-12 Frequency Ip Holdings, Llc Automatic selection of digital service feed
EP2763401A1 (de) * 2013-02-02 2014-08-06 Novomatic AG Eingebettetes System zur Videoverarbeitung mit Hardware-Mitteln
US9170707B1 (en) * 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
CN106060581B (zh) * 2016-07-05 2019-05-07 广州华多网络科技有限公司 一种视频实时传输数据处理方法、装置及系统
JP6623977B2 (ja) * 2016-08-26 2019-12-25 富士電機株式会社 時間軸伸縮装置、バッチプロセス監視装置、時間軸伸縮システム及びプログラム
JP6218296B1 (ja) * 2016-12-26 2017-10-25 株式会社ユニコーン 動画再生装置、動画再生方法、そのプログラム及び記録媒体
CN108632540B (zh) * 2017-03-23 2020-07-03 北京小唱科技有限公司 视频处理方法和装置
CN107124624B (zh) * 2017-04-21 2022-09-23 腾讯科技(深圳)有限公司 视频数据生成的方法和装置
KR20190075672A (ko) * 2017-12-21 2019-07-01 박행운 동영상과 동기화된 부가 정보 제공 방법 및 이를 실행하는 시스템
CN110213504B (zh) * 2018-04-12 2021-10-08 腾讯科技(深圳)有限公司 一种视频处理方法、信息发送方法及相关设备
CN112150587A (zh) * 2019-06-11 2020-12-29 腾讯科技(深圳)有限公司 动画数据编码、解码方法、装置、存储介质和计算机设备
CN110445992A (zh) * 2019-08-16 2019-11-12 深圳特蓝图科技有限公司 一种基于xml的视频剪辑合成方法
CN110674341B (zh) * 2019-09-11 2023-07-25 广州方硅信息技术有限公司 特效处理方法、装置、电子设备及存储介质
CN110708596A (zh) * 2019-09-29 2020-01-17 北京达佳互联信息技术有限公司 生成视频的方法、装置、电子设备及可读存储介质
CN110769313B (zh) * 2019-11-19 2022-02-22 广州酷狗计算机科技有限公司 视频处理方法及装置、存储介质
CN111050203B (zh) * 2019-12-06 2022-06-14 腾讯科技(深圳)有限公司 一种视频处理方法、装置、视频处理设备及存储介质
CN113038149A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 直播视频互动方法、装置以及计算机设备
CN111031393A (zh) * 2019-12-26 2020-04-17 广州酷狗计算机科技有限公司 视频播放方法、装置、终端及存储介质
CN111193876B (zh) * 2020-01-08 2021-09-07 腾讯科技(深圳)有限公司 视频中添加特效的方法及装置
CN111258526B (zh) * 2020-05-06 2020-08-28 上海幻电信息科技有限公司 投屏方法和系统
CN111669623B (zh) * 2020-06-28 2023-10-13 腾讯科技(深圳)有限公司 视频特效的处理方法、装置以及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008247A1 (en) 2004-07-08 2006-01-12 Miyuki Minami Editing apparatus and control method thereof, and program and recording medium
US20080253735A1 (en) 2007-04-16 2008-10-16 Adobe Systems Incorporated Changing video playback rate
JP2012054619A (ja) 2009-03-19 2012-03-15 Grass Valley Co Ltd 編集装置、編集方法、編集プログラム及びデータ構造
CN110677713A (zh) 2019-10-15 2020-01-10 广州酷狗计算机科技有限公司 视频图像处理方法及装置、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
糸曽賢志, 山口良介, 月足直人 著,"Adobe After Effects CC/CS6 スーパーテクニック",第1版,株式会社ソーテック社,2014年01月31日,pp.44-64

Also Published As

Publication number Publication date
US20240323308A1 (en) 2024-09-26
CN111669623A (zh) 2020-09-15
CN111669623B (zh) 2023-10-13
EP4044604A1 (en) 2022-08-17
WO2022001508A1 (zh) 2022-01-06
JP2023518388A (ja) 2023-05-01
EP4044604A4 (en) 2023-01-18
US20220264029A1 (en) 2022-08-18
US12041372B2 (en) 2024-07-16

Similar Documents

Publication Publication Date Title
JP7446468B2 (ja) ビデオ特殊効果の処理方法、装置、電子機器及びコンピュータプログラム
EP3329682B1 (en) A system for compositing video with interactive, dynamically rendered visual aids
US7039643B2 (en) System, method and apparatus for converting and integrating media files
CN101193250B (zh) 产生运动图像的帧信息的系统和方法
US20160358367A1 (en) Animation based on Content Presentation Structures
CN113891113A (zh) 视频剪辑合成方法及电子设备
JP2009501388A (ja) アニメーション間の滑らかな遷移
JP2004287595A (ja) 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム
WO2020220773A1 (zh) 图片预览信息的显示方法、装置、电子设备及计算机可读存储介质
CN114450966A (zh) 用于异构沉浸式媒体的表示和流式传输的数据模型
CN111327941B (zh) 一种离线视频播放方法、装置、设备及介质
CN116437153A (zh) 虚拟模型的预览方法、装置、电子设备及存储介质
CN114866801B (zh) 视频数据的处理方法、装置、设备及计算机可读存储介质
CN116233561A (zh) 一种虚拟礼物生成方法、装置、设备及介质
CN115934974A (zh) 一种多媒体数据的处理方法、装置、设备及介质
CN115065866B (zh) 一种视频生成方法、装置、设备及存储介质
CN112348928A (zh) 动画合成方法、动画合成装置、电子设备及介质
US20020073221A1 (en) Method for the transmission and synchronization of multimedia data through computer networks
CN115442639B (zh) 一种特效配置文件的生成方法、装置、设备及介质
CN113114955B (zh) 一种视频的生成方法、装置及电子设备
CN111107425B (zh) 基于渲染组件元素获取计算资源的方法、系统和存储介质
CN118504522A (zh) 报告生成方法、系统、电子设备及存储介质
CN115134658A (zh) 视频处理方法、装置、设备及存储介质
CN116980690A (zh) 多媒体数据的处理方法、装置、存储介质及计算机设备
Gorgan et al. Remote visualization of 3D graphical models

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240227

R150 Certificate of patent or registration of utility model

Ref document number: 7446468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150