JP7490029B2 - 動画レンダリング方法、装置、電子機器及び記憶媒体 - Google Patents

動画レンダリング方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7490029B2
JP7490029B2 JP2022157691A JP2022157691A JP7490029B2 JP 7490029 B2 JP7490029 B2 JP 7490029B2 JP 2022157691 A JP2022157691 A JP 2022157691A JP 2022157691 A JP2022157691 A JP 2022157691A JP 7490029 B2 JP7490029 B2 JP 7490029B2
Authority
JP
Japan
Prior art keywords
channel
data
position information
computer
normal information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022157691A
Other languages
English (en)
Other versions
JP2023152589A (ja
Inventor
ペン トン
チェン ミナン
Original Assignee
ベイジン エレックス テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン エレックス テクノロジー カンパニー リミテッド filed Critical ベイジン エレックス テクノロジー カンパニー リミテッド
Publication of JP2023152589A publication Critical patent/JP2023152589A/ja
Application granted granted Critical
Publication of JP7490029B2 publication Critical patent/JP7490029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/822Strategy games; Role-playing games
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/807Role playing or strategy games
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

本発明は、動画技術分野に関し、特に動画レンダリング方法、装置、電子機器及び記憶媒体に関する。
ゲームの発展に伴い、ゲーム内のオブジェクトのレンダリング数が多いほど、ゲームの効果が良くなる。例えば、シミュレーションゲーム(Simulation Game、SLG)において、大規模の兵士のの行軍、戦闘は、ゲームに不可欠な一部であり、現在、ゲームは、一般にグラフィックスプロセッサ(Graphics Processing Unit、GPU)スキンインスタンス(Skin Instance)手法を用いて大量の兵士をレンダリングし、描画呼び出しDrawcallを減少させてゲーム効率を向上させる。GPU Skin Instanceは、GPUインスタンス化レンダリングの能力により、1回で複数のスキンメッシュskin meshをDrawcallレンダリングする方法である。Instanceレンダリングは、全てのskin meshが使用するリソースが同じであり、材料materialパラメータ及び骨格動画データを含むことを前提とする。従来の動画データは、オブジェクトごとに設定され、各skin meshをレンダリングする前、骨格動画を更新し、定数バッファconst bufferに伝送し、GPU skinが使用するために用いられる。したがって、skin meshのSkin Instanceを実現しようとすると、動画データを1つのリソースにパッキングしなければならず、比較的適切な方法は、テクスチャも記憶することである。動画レンダリングを行う場合、テクスチャのサンプリングにより動画データを取得し、レンダリングを行うが、現在では、テクスチャにより動画データを記憶する効率が低い。
動画レンダリング方法、装置、電子機器及び記憶媒体であって、テクスチャにより動画データを記憶する効率を向上させることができる。
第1態様として、動画レンダリング方法を提供し、当該動画レンダリング方法は、
頂点動画モードにおいて、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得し、頂点位置情報は、Rチャネルの一部の位置、Gチャネルの一部の位置及びBチャネルの一部の位置を占め、法線情報は、Rチャネルの他の一部の位置、Gチャネルの他の一部の位置、Bチャネルの他の一部の位置及びAチャネルの位置を占めることと、
頂点位置情報及び法線情報に基づき、動画レンダリングを行うことと、を含む。
一つの可能な実施形態では、第1テクスチャファイルのフォーマットは、RGBAHalfであり、
頂点位置情報は、Rチャネル、Gチャネル及びBチャネルのうちの各チャネルの仮数部の8ビットを占め、
法線情報は、Rチャネル、Gチャネル及びBチャネルのうちの各チャネルの仮数部の2ビット及びAチャネルの16ビットを占める。
一つの可能な実施形態では、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得する過程は、
シェーダにおいて第1テクスチャファイルをサンプリングして、第1元データを取得することと、
第1元データをデコードして、頂点位置情報及び法線情報を取得することと、を含む。
一つの可能な実施形態では、動画レンダリング方法は、さらに、
骨格動画モードにおいて、第2テクスチャファイルから動作データを取得し、動作データは、平行移動データ及び四元数の回転データを含むことと、
動作データに基づき、動画レンダリングを行うことと、を含む。
一つの可能な実施形態では、動作データは、スケーリングデータをさらに含む。
一つの可能な実施形態では、第2テクスチャファイルから動作データを取得することは、
シェーダにおいて、第2テクスチャファイルをサンプリングして、第2元データを取得することと、
第2元データをデコードして、平行移動データ、回転データ及びスケーリングデータを取得することと、を含む。
第2態様として、動画レンダリング装置を提供し、当該動画レンダリング装置は、取得モジュールと、レンダリングモジュールとを含み、
取得モジュールは、頂点動画モードにおいて、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得するために用いられ、頂点位置情報は、Rチャネルの一部の位置、Gチャネルの一部の位置及びBチャネルの一部の位置を占め、法線情報は、Rチャネルの他の一部の位置、Gチャネルの他の一部の位置、Bチャネルの他の一部の位置及びAチャネルの位置を占め、
レンダリングモジュールは、頂点位置情報及び法線情報に基づき、動画レンダリングを行う。
第3態様として、電子機器を提供し、当該電子機器は、コンピュータプログラム命令を記憶するためのメモリと、コンピュータプログラム命令を実行するためのプロセッサとを含み、当該コンピュータプログラム命令がプロセッサによって実行されると、電子機器が上記方法を実行するようにトリガーする。
第4態様として、コンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータ読み取り可能な記憶媒体は、記憶されたプログラムを含み、プログラムの実行時に、コンピュータ読み取り可能な記憶媒体の所在する装置が上記方法を実行するように制御する。
第5態様として、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、実行可能な命令を含み、実行可能な命令は、コンピュータで実行される時、コンピュータに上記方法を実行させる。
本発明の実施例における動画レンダリング方法、装置、電子機器、記憶媒体及びコンピュータプログラム製品は、頂点位置情報及び法線情報がそれぞれテクスチャファイルにおけるRGB各チャネルの一部を占め、且つ法線情報がAチャネルの位置を占め、このように、同一のテクスチャファイルによって頂点位置情報及び法線情報を同時に記憶することができる。それによって、動画レンダリングの過程において、1つのテクスチャファイルをサンプリングするだけで、頂点位置情報及び法線情報という2つのタイプの情報を取得することができ、動画レンダリングが行いやすくなり、レンダリングの過程におけるサンプリング回数を節約するため、テクスチャにより動画データを記憶する効率を向上させる。
関連技術における頂点位置情報を記憶するテクスチャの模式図である。 関連技術における法線情報を記憶するテクスチャの模式図である。 関連技術における骨格マトリックスベークテクスチャの模式図である。 本発明の実施例における動画レンダリング方法のフローチャートである。 本発明の実施例におけるHalfタイプデータの構造模式図である。 本発明の実施例における第1テクスチャファイルのテクスチャの模式図である。 本発明の実施例における別の動画レンダリング方法のフローチャートである。 本発明の実施例における第2テクスチャファイルのテクスチャの模式図である。 本発明の実施例における動画レンダリング装置の構造ブロック図である。 本発明の実施例における電子機器の構造ブロック図である。
本発明の実施形態で使用される用語は、本発明の具体的な実施例を説明するためのものに過ぎず、本発明を限定することを意図するものではない。
本発明の実施例を説明する前に、まず、関連技術における問題を説明する。Skin Instance方法が関わる動画モードは、頂点動画モード及び骨格動画モードという2種類がある。以下、それぞれ2種類のモードにおける技術的課題を説明する。
頂点動画モードは、各フレームの動画データをmeshデータにソフトスキンして、メモリから直接的にmesh頂点位置情報を取得し、同時に各頂点位置情報に対応する法線情報を取得する必要がある。このように、2つのテクスチャが必要となり、例えば、1つのテクスチャのフォーマットは、RGBAHalfであり、頂点位置情報を記憶するために用いられ、もう1つのテクスチャのフォーマットは、RGB24であり、法線を記憶するために用いられる。レンダリングするとき、スクリプトにおいてレンダリングインスタンスの動画状態を更新し、現在の動画において再生されているキーフレーム及び頂点インデックスに基づいてテクスチャにおけるuv座標を計算し、さらに頂点位置情報及び法線情報を取得する。
頂点動画モードにおいて、1つのオブジェクトに対するレンダリングは、頂点位置情報を記憶するテクスチャ及び法線情報を記憶するテクスチャに対してサンプリングする必要があり、即ち、2回のサンプリングを必要とし、また、動作融合を加えてサンプリングの回数を倍にし、即ち、合計で必要なサンプリング回数は、4回まで達する。大量のレンダリングオブジェクトについて、このようにすると、ハードウェアに大きな負担がかかるため、テクスチャのサンプリングの回数を減少させることは、テクスチャの記憶効率を向上させる効果的な方式となる。
テクスチャのサンプリングの回数を減少させるために、2種類のテクスチャを統合する方式で実現することができる。例えば、図1に示すように、頂点位置情報を記憶するテクスチャフォーマットは、RGBAHalfであり、Aチャネルの16ビット空間は、使用されず、図2に示すように、法線情報を記憶するテクスチャフォーマットは、RGB24であり、24ビット空間を必要とする。1つの方法は、法線情報のRチャネルデータ及びGチャネルデータをいずれも7ビットに圧縮し、頂点位置情報のテクスチャのAチャネルに統合し、法線情報のBチャネルデータは、Rチャネルデータ及びGチャネルデータから計算して得ることができ、例えばb=sqrt(1-r*r-g*g)であり、sqrtは平方根関数であり、rは法線情報のRチャネルデータであり、gは法線情報のGチャネルデータである。このような方式により、bの符号部は、1ビットを占め、発見信号を記憶することは、合計15ビットを必要とする。しかし、実験によると、このようなサンプリングにより発見情報を得る方法は、最終的に法線フリッカーが深刻になることを招き、その原因は、bを計算する過程において、大きな精度の無駄があることである。
頂点動画モードに対して、骨格動画モードは、動画データにおける骨格の変換マトリックスをテクスチャにベークする。浮動小数点タイプFloatの4*4マトリックスについて、3*4のデータのみを記憶する必要がある。各データフォーマットが一致するため、図3に示すように、同一のテクスチャファイルに記憶することができ、骨格マトリックスベークテクスチャを形成、レンダリングするときに、3回サンプリングして3*4データを取得して、マトリックスに組み立てることができる。骨格動画モードは、頂点動画モードに比べて、そのメリットは、1、ベークデータが骨格の数のみに関連すること、2、ベークデータが同一の骨格Skeletonを使用するモードに共用可能であることにある。デメリットは、サンプリングの回数が多すぎ、各頂点に2本のボウンBoneをバインディングすれば、6回サンプリングする必要があり、異なる動作融合があれば、サンプリング数は、倍増して12回となる。これは、動画レンダリング時のハードウェア帯域幅に対する負担を大きくする。
頂点動画モードは、上記法線フリッカーの課題を改善するために、1つの法線情報の記憶方法は、R、G、Bのうちの値が小さい2つのチャネルデータを記憶し、もう1つが計算により得られることである。具体的なアルゴリズムは、以下のコードによって実現することができる。
しかし、このようなコードは、追加の情報を記憶するために追加の3ビットを必要とし、このようにAチャネルの16ビットは、足りなくなる。
従って、本発明の実施例は、動画レンダリング方法を提供し、図4に示すように、方法は、
頂点動画モードにおいて、ステップ101及びステップ102を実行することを含む。
ステップ101であって、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得する。
ここで、頂点位置情報は、Rチャネルの一部の位置、Gチャネルの一部の位置及びBチャネルの一部の位置を占め、法線情報は、Rチャネルの他の一部の位置、Gチャネルの他の一部の位置、Bチャネルの他の一部の位置及びAチャネルの位置を占め、即ち、もともと頂点位置情報を記憶するテクスチャのうちの各チャネルの頂点位置データを圧縮し、圧縮後に残った空間は、法線情報を記憶するために用いられ、頂点位置情報のRGBの各チャネルは、ビットを借りて法線情報を記憶し、また、Aチャネルの位置も法線情報を記憶するために用いられ、このように、同一のテクスチャファイルにより頂点位置情報及び法線情報を同時に記憶することができる。
ステップ102であって、頂点位置情報及び法線情報に基づき、動画レンダリングを行う。
本発明の実施例における動画レンダリング方法は、頂点位置情報及び法線情報がそれぞれテクスチャファイルにおけるRGB各チャネルの一部を占め、且つ法線情報がAチャネルの位置を占め、このように、同一のテクスチャファイルにより頂点位置情報及び法線情報を同時に記憶することができる。このように、動画レンダリングの過程において、1つのテクスチャファイルをサンプリングするだけで、頂点位置情報及び法線情報という2つのタイプの情報を取得することができ、動画レンダリングを行いやすく、レンダリングの過程におけるサンプリング回数を節約するため、テクスチャにより動画データを記憶する効率を向上させる。
一つの可能な実施形態では、第1テクスチャファイルのフォーマットは、RGBAHalfであり、当該フォーマットの互換性が高く、半精度浮動小数点数Halfタイプのデータは、図5に示す構造を有し、その中に、1ビットの符号部sign、5ビットの指数部exponent及び10ビットの仮数部fractionを含み、テストにより、頂点位置情報を記憶する仮数部は、8ビットの精度だけで需要を満たすことができるため、もともと頂点位置情報を記憶するRGBの各チャネルから2ビットを借りて、また、Aチャネルの16ビットが加わると、合計で22ビットで法線情報を記憶し、図6に示すように、ちょうどR7G8B7フォーマットの法線情報を記憶することができる。頂点位置情報は、Rチャネル、Gチャネル及びBチャネルのうちの各チャネルの仮数部の8ビットを占め、頂点位置情報は、例えばRGBの各チャネルの仮数部の先頭の8ビットを占めることができる。法線情報は、Rチャネル、Gチャネル及びBチャネルのうちの各チャネルの仮数部の2ビット及びAチャネルの16ビットを占め、法線情報は、例えばRGBの各チャネルの仮数部の後尾の2ビットを占めることができる。
一つの可能な実施形態では、ステップ101であって、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得する過程は、
ステップ1011であって、シェーダshaderにおいて、第1テクスチャファイルをサンプリングして、第1元データを取得することと、
ステップ1012であって、第1元データをデコードして、頂点位置情報及び法線情報を取得することとを含む。
ここで、頂点位置情報及び法線情報は、一定の規則に従って同一のテクスチャファイルに記憶されているため、毎回テクスチャファイルをサンプリングして取得した第1元データは、対応する頂点位置情報及び法線情報を組み立てて得ることを可能にするように、いずれもデコードする必要がある。
一つの可能な実施形態では、図7に示すように、上記方法は、さらに、骨格動画モードにおいて、ステップ201及びステップ202を実行することを含む。
ステップ201であって、第2テクスチャファイルから動作データを取得し、動作データは、平行移動データ及び四元数の回転データを含み、
ステップ202であって、動作データに基づいて動画レンダリングを行う。
一つの可能な実施形態では、動作データは、スケーリングデータをさらに含む。
一つの可能な実施形態では、ステップ201であって、第2テクスチャファイルから動作データを取得することは、シェーダにおいて第2テクスチャファイルをサンプリングし、第2元データを取得するとと、第2元データをデコードし、平行移動データ、回転データ及びスケーリングデータを取得することとを含む。
具体的には、骨格動画モードにおける動作データは、第2テクスチャファイルにベークされたマトリックスデータであり、実際に動作データは、一連のスケーリング、回転及び平行移動により得られるものであるため、本発明の実施例では、回転データの代わりに四元数を使用し、平行移動データを保留する。スケーリングは、骨格動画モードにおいて等比スケーリング(例えば、SLGにおいてスケーリングが非等比スケーリングであれば、色校正は動作時に変形し、これはほとんど存在しない)であるため、スケーリングデータは、浮動小数点タイプfloatデータを用いて示され、即ち、動作データは、2つのvector4タイプのデータであり、動作データは、具体的に半精度浮動小数点数Halfタイプデータで第2テクスチャファイルに記憶される。ここで、2つのvector4タイプデータは、RGBAFloatタイプにエンコードされ、第2テクスチャファイルに対する1回のサンプリングにより、全てのデータを取得することができ、図8に示すように、図3と比較してわかるように、テクスチャファイルのデータ量は、33%減少された。また、動作データをエンコードすることにより、テクスチャのサンプリング回数を減少した。動画レンダリング過程において、テクスチャのサンプリング回数は6回から2回になり、動作融合の状況を考慮し、テクスチャのサンプリング回数は、12回から4回になった。これからわかるように、サンプリング回数が低下し、即ち、ハードウェアのレンダリング時の帯域幅の負担を低下させる。
図9に示すように、本発明の実施例は、さらに動画レンダリング装置を提供し、当該動画レンダリング装置は、取得モジュール1と、レンダリングモジュール2とを含み、取得モジュール1は、頂点動画モードにおいて、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得するために用いられ、頂点位置情報は、Rチャネルの一部の位置、Gチャネルの一部の位置及びBチャネルの一部の位置を占め、法線情報は、Rチャネルの他の一部の位置、Gチャネルの他の一部の位置、Bチャネルの他の一部の位置及びAチャネルの位置を占め、レンダリングモジュール2は、頂点位置情報及び法線情報に基づき動画レンダリングを行うために用いられる。動画レンダリング装置は、上記任意の実施例における動画レンダリング方法を適用することができ、具体的な過程と原理は、上記実施例と同様であるため、ここで繰り返し述べない。
上述した動画レンダリング装置の分割は、論理機能の分割に過ぎず、実際に実現する時に全部または一部が1つの物理的実体に統合されてもよく、物理的に分離されてもよいと理解されるべきである。また、これらのモジュールは全てソフトウェアで処理要素の呼び出しの形式により実現されてもよいし、全部がハードウェアの形式で実現されてもよい。さらに一部のモジュールがソフトウェアで処理要素の呼び出しの形式により実現されてもよく、一部のモジュールがハードウェアの形式で実現されてもよい。例えば、取得モジュール1及びレンダリングモジュール2のうちのいずれか一つは単独で設置された処理要素であってもよく、動画レンダリング装置に統合されてもよく、例えば動画レンダリング装置のあるチップに統合されて実現され、また、プログラムの形式で動画レンダリング装置のメモリに記憶されてもよく、動画レンダリング装置のある処理要素によって以上の各モジュールの機能を呼び出して実行する。他のモジュールの実現はそれと類似する。また、これらのモジュールは、全部又は一部が一体に集積されてもよく、独立して実現されてもよい。ここで前記処理素子は集積回路であってもよく、信号の処理能力を有する。実現過程において、上記方法の各ステップ又は以上の各モジュールは、プロセッサエレメント内のハードウェアの集積論理回路又はソフトウェア形式の命令により完成することができる。また、上記動画レンダリング装置は、同一の装置であってもよく、異なる装置であってもよい。
例えば、動画レンダリング装置は、上記方法を実施するように配置される1つ又は複数の集積回路、例えば1つ又は複数の特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、又は、1つ又は複数のデジタルシグナルプロセッサ(digital signal processor、DSP)、又は、1つ又は複数のフィールド・プログラマブル・ゲート・アレイ(Field Programmable Gate Array、FPGA)などであってもよい。さらに例えば、上述したあるモジュールは、処理要素によりプログラムをスケジューリングする形式で実現される場合、当該処理要素は、汎用プロセッサ、例えば中央処理装置((Central Processing Unit、CPU)又は他のプログラムを呼び出すことができるプロセッサであってもよい。さらに例えば、これらのモジュールは、一対に集積されてもよく、システムオンチップ(system-on-a―chip、SOC)の形式で実現される。
一つの可能な実施形態では、第1テクスチャファイルのフォーマットは、RGBAHalfであり、頂点位置情報は、Rチャネル、Gチャネル及びBチャネルのうちの各チャネルの仮数部の8ビットを占め、法線情報は、Rチャネル、Gチャネル及びBチャネルのうちの各チャネルの仮数部の2ビット及びAチャネルの16ビットを占める。
一つの可能な実施形態では、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得する過程は、シェーダにおいて第1テクスチャファイルをサンプリングし、第1元データを取得することと、第1元データをデコードし、頂点位置情報及び法線情報を取得することとを含む。
一つの可能な実施形態では、取得モジュール1は、さらに、骨格動画モードにおいて第2テクスチャファイルから動作データを取得するために用いられ、動作データは、平行移動データ及び四元数の回転データを含み、レンダリングモジュール2は、さらに、動作データに基づき動画レンダリングを行うために用いられる。
一つの可能な実施形態では、動作データは、スケーリングデータをさらに含む。
一つの可能な実施形態では、第2テクスチャファイルから動作データを取得することは、
シェーダにおいて第2テクスチャファイルをサンプリングし、第2元データを取得することと、
第2元データをデコードし、平行移動データ、回転データ及びスケーリングデータを取得することとを含む。
図10に示すように、本発明の実施例は、さらに電子機器を提供し、当該電子機器は、プロセッサ51及びメモリ52を含み、メモリ52は、少なくとも一つの命令を記憶するために用いられ、命令は、プロセッサ51によりロードされ且つ実行される時に上記任意の実施例における動画レンダリング方法を実現する。動画レンダリング方法の具体的な過程と原理は、上記実施例と同様であるため、ここで繰り返し述べない。
プロセッサ51の数は、1つ又は複数であってもよく、プロセッサ51及びメモリ52は、バス53を介して、或いは他の方式で接続することができる。メモリ52は、非一時的なコンピュータ読み取り可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、例えば本発明の実施例におけるデータ処理装置に対応するプログラム指令/モジュールを記憶することに用いられる。プロセッサは、メモリに記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、様々な機能アプリケーション及びデータ処理を実行し、即ち上記任意の方法実施例における方法を実現する。メモリは、記憶プログラム領域及び記憶データ領域を含み、そのうち、記憶プログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラム及び必要なデータなどを記憶することができる。また、メモリは、高速ランダムアクセスメモリを含むことができ、さらに非一時的メモリ、例えば少なくとも一つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的な固体記憶デバイスを含むことができる。電子機器は、例えばサーバ、コンピュータ、携帯電話等の電子製品であってもよい。
本発明の実施例は、さらにコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体には、コンピュータプログラムが記憶され、それがコンピュータで実行される時、コンピュータに上記任意の実施例における方法を実行させる。
上記実施例では、全部又は部分的にソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせにより実現することができる。ソフトウェアを使用して実現する場合、全部又は一部をコンピュータプログラム製品の形式で実現することができる。前記コンピュータプログラム製品は一つ又は複数のコンピュータ命令を含む。コンピュータに前記コンピュータプログラム命令をロードし実行する時、全て又は部分的に本発明に記載のフロー又は機能を生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。前記コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、又は一つのコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に伝送されてもよく、例えば、前記コンピュータ命令は一つのウェブサイト、コンピュータ、サーバ又はデータセンタから有線(例えば同軸ケーブル、光ファイバ、デジタル加入者線)又は無線(例えば赤外線、無線、マイクロ波など)の方式で別のウェブサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。前記コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体又は一つ又は複数の利用可能な媒体を含んで集積するサーバ、データセンタ等のデータ記憶装置であってもよい。前記利用可能な媒体は、磁性媒体、例えば、フロッピーディスク、ハードディスク、磁気テープ)、光媒体(例えば、DVD)、又は半導体媒体(例えばソリッドステートドライブSolid State Disk)等であってもよい。
本発明の実施例は、さらにコンピュータプログラム製品を提供し、コンピュータプログラム製品は、実行可能な命令を含み、実行可能な命令がコンピュータで実行される時、コンピュータに上記任意の実施例における方法を実行させる。
本発明の実施例において、「少なくとも一つ」とは、一つ又は複数を指し、「複数」とは、二つ又は二つ以上を指す。「及び/又は」は、関連オブジェクトの関連関係を記述し、3種類の関係が存在してもよく、例えば、A及び/又はBは、Aが単独で存在し、同時にAとBが存在し、Bが単独で存在する状況を表すことができる。ここでA、Bは単数又は複数であってもよい。文字「/」は、一般に、前後関連オブジェクトが「または」の関係であることを示す。「以下の少なくとも一つ」及びその類似する表現は、これらの項の任意の組み合わせを指し、単数又は複数の任意の組み合わせを含む。例えば、a、b及びcのうちの少なくとも一つは、a、b、c、a-b、a-c、b-c、又はa-b-cを表すことができ、ここでa、b、cは、単一であってもよく、複数であってもよい。
以上は本発明の好適な実施例に過ぎず、本発明を限定するものではなく、当業者であれば、本発明に様々な修正及び変更が可能である。本発明の精神と原則内で、行われたいかなる修正、均等置換、改善などは、いずれも本発明の保護範囲内に含まれるべきである。

Claims (10)

  1. 動画レンダリング方法であって、
    頂点動画モードにおいて、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得し、前記頂点位置情報は、Rチャネルの一部の位置、Gチャネルの一部の位置及びBチャネルの一部の位置を占め、前記法線情報は、前記Rチャネルの他の一部の位置、前記Gチャネルの他の一部の位置、前記Bチャネルの他の一部の位置及びAチャネルの位置を占めることと、
    前記頂点位置情報及び前記法線情報に基づき、動画レンダリングを行うことと、を含む、ことを特徴とする動画レンダリング方法。
  2. 前記第1テクスチャファイルのフォーマットは、RGBAHalfであり、
    前記頂点位置情報は、前記Rチャネル、前記Gチャネル及び前記Bチャネルのうちの各チャネルの仮数部の8ビットを占め、
    前記法線情報は、前記Rチャネル、前記Gチャネル及び前記Bチャネルのうちの各チャネルの仮数部の2ビット及び前記Aチャネルの16ビットを占める、ことを特徴とする請求項1に記載の動画レンダリング方法。
  3. 前記同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得する過程は、
    シェーダにおいて前記第1テクスチャファイルをサンプリングして、第1元データを取得することと、
    前記第1元データをデコードして、前記頂点位置情報及び前記法線情報を取得することと、を含む、ことを特徴とする請求項2に記載の動画レンダリング方法。
  4. 格動画モードにおいて、第2テクスチャファイルから動作データを取得し、前記動作データは、平行移動データ及び四元数の回転データを含むことと、
    前記動作データに基づき、動画レンダリングを行うことと、さらにを含む、ことを特徴とする請求項1に記載の動画レンダリング方法。
  5. 前記動作データは、スケーリングデータをさらに含むことを特徴とする請求項4に記載の動画レンダリング方法。
  6. 前記第2テクスチャファイルから動作データを取得することは、
    シェーダにおいて、前記第2テクスチャファイルをサンプリングして、第2元データを取得することと、
    前記第2元データをデコードして、前記平行移動データ、前記回転データ及び前記スケーリングデータを取得することと、を含む、ことを特徴とする請求項5に記載の動画レンダリング方法。
  7. 動画レンダリング装置であって、
    取得モジュールと、レンダリングモジュールとを含み、
    前記取得モジュールは、頂点動画モードにおいて、同一の第1テクスチャファイルから頂点位置情報及び法線情報を取得するために用いられ、前記頂点位置情報は、Rチャネルの一部の位置、Gチャネルの一部の位置及びBチャネルの一部の位置を占め、前記法線情報は、前記Rチャネルの他の一部の位置、前記Gチャネルの他の一部の位置、前記Bチャネルの他の一部の位置及びAチャネルの位置を占め、
    前記レンダリングモジュールは、前記頂点位置情報及び前記法線情報に基づき、動画レンダリングを行うために用いられることを特徴とする動画レンダリング装置。
  8. 電子機器であって、
    コンピュータプログラム命令を記憶するためのメモリと、コンピュータプログラム命令を実行するためのプロセッサとを含み、当該コンピュータプログラム命令が前記プロセッサによって実行されると、前記電子機器が請求項1~6のいずれか1項に記載の動画レンダリング方法を実行するようにトリガーする、ことを特徴とする電子機器。
  9. コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ読み取り可能な記憶媒体は、記憶されたプログラムを含み、前記プログラムの実行時に、前記コンピュータ読み取り可能な記憶媒体の所在する装置が請求項1~6のいずれか1項に記載の動画レンダリング方法を実行するように制御することを特徴とするコンピュータ読み取り可能な記憶媒体。
  10. コンピュータプログラであって、
    前記コンピュータプログラム製品は、実行可能な命令を含み、前記実行可能な命令がコンピュータで実行されると、コンピュータに請求項1~6のいずれか1項に記載の動画レンダリング方法を実行させる、ことを特徴とするコンピュータプログラム。
JP2022157691A 2022-03-31 2022-09-30 動画レンダリング方法、装置、電子機器及び記憶媒体 Active JP7490029B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210342235.3 2022-03-31
CN202210342235.3A CN114882149A (zh) 2022-03-31 2022-03-31 动画渲染方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2023152589A JP2023152589A (ja) 2023-10-17
JP7490029B2 true JP7490029B2 (ja) 2024-05-24

Family

ID=82670422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022157691A Active JP7490029B2 (ja) 2022-03-31 2022-09-30 動画レンダリング方法、装置、電子機器及び記憶媒体

Country Status (5)

Country Link
US (1) US20230316624A1 (ja)
EP (1) EP4254341A3 (ja)
JP (1) JP7490029B2 (ja)
KR (1) KR20230141408A (ja)
CN (1) CN114882149A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908678B (zh) * 2023-02-25 2023-05-30 深圳市益玩网络科技有限公司 骨骼模型渲染方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227908A (ja) 2006-02-21 2011-11-10 Sony Computer Entertainment Inc データ処理
JP2020022673A (ja) 2018-08-08 2020-02-13 株式会社藤商事 遊技機
US20210019929A1 (en) 2019-06-07 2021-01-21 Snap Inc. Single image-based real-time body animation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227908A (ja) 2006-02-21 2011-11-10 Sony Computer Entertainment Inc データ処理
JP2020022673A (ja) 2018-08-08 2020-02-13 株式会社藤商事 遊技機
US20210019929A1 (en) 2019-06-07 2021-01-21 Snap Inc. Single image-based real-time body animation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
今給黎 隆 Takashi IMAGIRE,代理ジオメトリ宝石レンダリング Proxy Geometry Gem Rendering,デジタルゲーム学研究 第10巻 第1号 Journal of Digital Games Research,日本,日本デジタルゲーム学会(DiGRA JAPAN) Digital Games Research Association JAPAN,2017年12月30日,第10巻

Also Published As

Publication number Publication date
KR20230141408A (ko) 2023-10-10
EP4254341A3 (en) 2023-11-01
US20230316624A1 (en) 2023-10-05
JP2023152589A (ja) 2023-10-17
CN114882149A (zh) 2022-08-09
EP4254341A2 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
US8670613B2 (en) Lossless frame buffer color compression
US8761528B2 (en) Compression of image data
US8547382B2 (en) Video graphics system and method of pixel data compression
US20140184894A1 (en) System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9048859B2 (en) Method and apparatus for compressing and decompressing data
US8094164B1 (en) Decompression of block encoded texture data
KR20040000151A (ko) 컬러 참조테이블을 사용하여 화소데이터의 컬러모델을변환하는 장치 및 방법
JP7490029B2 (ja) 動画レンダリング方法、装置、電子機器及び記憶媒体
EP2797049B1 (en) Color buffer compression
RU2510939C2 (ru) Система и способ декодирования, выполняемый для кодирования блоков элементов текстуры
JPH1196345A (ja) グラフィックス画像の圧縮及び逆圧縮方法
US20180097527A1 (en) 32-bit hdr pixel format with optimum precision
CN112991412B (zh) 一种液晶仪表序列帧动画性能优化方法及液晶仪表
US20140168244A1 (en) Color Buffer Caching
JP2011151572A (ja) 画像データ処理装置およびその動作方法
US9483810B2 (en) Reducing the number of IO requests to memory when executing a program that iteratively processes contiguous data
KR102531605B1 (ko) 하이브리드 블록 기반 압축
CN109408028B (zh) 浮点数运算方法、装置及存储介质
CN110175269B (zh) 一种顶点索引的压缩及解压缩方法、装置及计算机存储介质
CN116309893B (zh) 一种图片压缩方法、装置、存储介质和电子设备
WO2024049632A2 (en) High-performance and low-latency implementation of a wavelet-based image compression scheme
CN117456079A (zh) 场景渲染方法、装置、设备、存储介质及程序产品
CN114996491A (zh) 一种全液晶仪表显示性能优化方法和系统
CN118135079A (zh) 基于云端融合的三维场景漫游绘制方法、装置及设备
TW202141427A (zh) 影像處理方法、裝置、攝影設備和儲存介質

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240514

R150 Certificate of patent or registration of utility model

Ref document number: 7490029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150