JP5943330B2 - クラウドソース動画レンダリングシステム - Google Patents
クラウドソース動画レンダリングシステム Download PDFInfo
- Publication number
- JP5943330B2 JP5943330B2 JP2015117641A JP2015117641A JP5943330B2 JP 5943330 B2 JP5943330 B2 JP 5943330B2 JP 2015117641 A JP2015117641 A JP 2015117641A JP 2015117641 A JP2015117641 A JP 2015117641A JP 5943330 B2 JP5943330 B2 JP 5943330B2
- Authority
- JP
- Japan
- Prior art keywords
- render
- clients
- rendering
- processor
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 161
- 239000002131 composite material Substances 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 68
- 238000003860 storage Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 24
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 24
- 230000015654 memory Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000013500 data storage Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003518 caustics Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/52—Parallel processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Image Processing (AREA)
Description
[項目1]
プロセッサにより、1以上のクライアントへ共通のレンダリングアセットを送信する段階と、
前記プロセッサにより、前記1以上のクライアントのそれぞれへ、他の送信される空間位置とは異なる一意の空間位置を送信する段階と、
前記プロセッサにより、前記1以上のクライアントのそれぞれへ、前記共通のレンダリングアセットおよび自身の一意の空間位置を用いてレンダーを生成するための1以上の命令を送信する段階と、
前記プロセッサにより、前記1以上のクライアントのそれぞれからレンダーを受信する段階と、
前記プロセッサにより、受信した前記レンダーから合成レンダーを生成する段階と、
前記プロセッサにより、前記1以上のクライアントへ前記合成レンダーを送信する段階と
を備える方法。
[項目2]
各一意の空間位置はランダムに生成される、項目1に記載の方法。
[項目3]
前記レンダーを生成するための1以上の命令は、前記レンダリングアセットに対し前記一意の空間位置からパス追跡を実行するための命令を含む、項目1または2に記載の方法。
[項目4]
前記レンダリングアセットは表示域状態データオブジェクト(VSDO)である、項目1から3のいずれか1項に記載の方法。
[項目5]
前記レンダーは、前記レンダリングアセットを含む環境の一部または全体の光マップである、項目3または4に記載の方法。
[項目6]
前記プロセッサにより、前記合成レンダーを生成する段階は、前記プロセッサにより、受信した前記光マップを合成して、前記レンダリングアセットを含む前記環境の一部または全体の合成光マップを生成する段階を有する、項目5に記載の方法。
[項目7]
前記レンダリングアセットは表示域状態データオブジェクト(VSDO)であり、
前記レンダーは、前記パス追跡の結果として計算される拡散照明データによって補正された複数のレンダリングアセットからなるセットである、項目3に記載の方法。
[項目8]
前記レンダーはフレームであり、
前記1以上の命令はさらに、共通の視点を含み、
前記フレームは前記共通の視点からレンダリングされる、項目3から7のいずれか1項に記載の方法。
[項目9]
前記プロセッサにより、前記合成レンダーを生成する段階は、受信した前記フレームを合成して合成フレームを生成する段階を有する、項目8に記載の方法。
[項目10]
プロセッサにより、サーバからレンダリングアセットおよび一意の空間位置を受信する段階と、
前記プロセッサにより、受信した前記レンダリングアセットおよび前記一意の空間位置を用いてレンダーを生成するための1以上の命令を前記サーバから受信する段階と、
前記プロセッサにより、前記1以上の命令に従って前記レンダーを生成する段階と、
前記プロセッサにより、生成された前記レンダーを前記サーバへ送信する段階と、
前記プロセッサにより、合成レンダーを前記サーバから受信する段階と
を備える方法。
[項目11]
前記プロセッサにより、サーバに依存しない視点から反射照明をレンダリングする段階と、
前記プロセッサにより、レンダリングされた前記反射照明と受信した前記合成レンダーとを組み合わせる段階と、
前記プロセッサにより、組み合わせられた前記レンダリングされた反射照明と前記受信した合成レンダーとをディスプレイへ出力する段階と
をさらに備える、項目10に記載の方法。
[項目12]
グラフィック処理ユニットと、
プロセッサと、
前記プロセッサにより実行されるプログラムロジックを実体的に記憶した記憶媒体と
を備え、
前記プログラムロジックは、
前記プロセッサにより実行される、1以上のクライアントへ共通のレンダリングアセットを送信するための共通のレンダリングアセット送信ロジックと、
前記プロセッサにより実行される、前記1以上のクライアントのそれぞれへ、他の送信される空間位置とは異なる一意の空間位置を送信するための空間位置送信ロジックと、
前記プロセッサにより実行される、前記1以上のクライアントのそれぞれへ、前記共通のレンダリングアセットおよび自身の一意の空間位置を用いてレンダーを生成するための1以上の命令を送信するための命令送信ロジックと、
前記プロセッサにより実行される、前記1以上のクライアントのそれぞれからレンダーを受信するための受信ロジックと、
前記プロセッサにより実行される、受信した前記レンダーから合成レンダーを生成するための合成レンダー生成ロジックと、
前記プロセッサにより実行される、前記1以上のクライアントへ前記合成レンダーを送信するための合成レンダー送信ロジックと
を含む、システム。
[項目13]
各一意の空間位置はランダムに生成される、項目12に記載のシステム。
[項目14]
前記レンダーを生成するための前記命令送信ロジックはさらに、前記レンダリングアセットに対し前記一意の空間位置からパス追跡を実行するための命令を含む、項目12または13に記載のシステム。
[項目15]
前記レンダリングアセットは表示域状態データオブジェクト(VSDO)である、項目12から14のいずれか1項に記載のシステム。
[項目16]
前記レンダーは、前記レンダリングアセットを含む環境の一部または全体の光マップである、項目14または15に記載のシステム。
[項目17]
前記合成レンダー生成ロジックはさらに、受信した前記光マップを合成して、前記レンダリングアセットを含む前記環境の一部または全体の合成光マップを生成する合成ロジックを含む、項目16に記載のシステム。
[項目18]
前記レンダリングアセットは表示域状態データオブジェクト(VSDO)であり、
前記レンダーは、前記パス追跡の結果として計算される拡散照明データによって補正された複数のレンダリングアセットからなるセットである、項目14に記載のシステム。
[項目19]
前記レンダーはフレームであり、
前記1以上の命令はさらに、共通の視点を含み、
前記フレームは前記共通の視点からレンダリングされる、項目12から18のいずれか1項に記載のシステム。
[項目20]
前記合成レンダー生成ロジックはさらに、前記プロセッサにより実行される、受信した前記フレームを合成して合成フレームを生成する合成ロジックを含む、項目19に記載のシステム。
Claims (20)
- コンピュータシステムにより、複数のクライアントのうちの参加しているクライアントのそれぞれへ3D環境の共通のレンダリングアセットと、他に送信される複数の空間位置とは異なる一意の空間位置とを送信する段階であって、前記一意の空間位置は、前記3D環境のそれぞれのレンダーを生成するための位置を表す、段階と、
前記コンピュータシステムにより、前記参加しているクライアントのそれぞれへ、前記共通のレンダリングアセットおよびそれぞれの一意の空間位置を用いてそれぞれのレンダーを生成するための複数の命令を送信する段階と、
前記コンピュータシステムにより、前記参加しているクライアントのそれぞれから、前記共通のレンダリングアセットを有する環境の一部のための前記それぞれのレンダーを受信する段階と、
前記コンピュータシステムにより、前記3D環境を有するあるシーンのために合成されることが必要なサンプルの数が、前記参加しているクライアントの数を超えているか否かを判断する段階と、
前記コンピュータシステムにより、前記必要なサンプルの数が前記参加しているクライアントの数を超えている場合に、複数のレンダリングの実行を介して、前記必要なサンプルの数を取得する段階と、
前記コンピュータシステムにより、前記必要なサンプルの数を取得したときに、前記それぞれのレンダーから合成レンダーを生成する段階であって、前記それぞれのレンダーは前記共通のレンダリングアセットを有し、前記それぞれのレンダーは、前記送信された複数の空間位置のうちの1つからレンダリングされる、段階と、
前記コンピュータシステムにより、少なくとも前記参加しているクライアントへ前記合成レンダーを送信する段階と
を備える方法。 - 前記複数のレンダリングを実行することは、前記コンピュータシステムにより、前記参加しているクライアントに、前記複数のレンダリングの少なくともサブセットを実行させることをさらに含む、請求項1に記載の方法。
- 前記コンピュータシステムにより、前記複数のクライアントのうちの参加していないクライアントのサブセットのためのそれぞれの表示域をレンダリングする段階
をさらに備える、請求項1に記載の方法。 - 前記それぞれの表示域をレンダリングする段階はさらに、前記コンピュータシステムにより、前記3D環境のための複数のVSDO(表示域状態データオブジェクト)と、前記それぞれのレンダーから生成された合成光マップと、前記参加しているクライアントによって受信されたカメラ情報とに基づいて、前記参加していないクライアントのための前記それぞれの表示域をレンダリングする段階を有する、請求項3に記載の方法。
- 前記それぞれの表示域をレンダリングする段階はさらに、前記コンピュータシステムにより、ヒット機能を介して、前記複数のVSDOのうちの1つの原点と前記参加していないクライアントのそれぞれの基準点との差を補正する段階を有する、請求項4に記載の方法。
- 前記合成レンダーを送信する段階は、前記コンピュータシステムにより、前記レンダリングされた複数の表示域の複数のフレームを圧縮する段階をさらに有する、請求項3から5のいずれか一項に記載の方法。
- 前記一意の空間位置のそれぞれはランダムに生成される、請求項1から6のいずれか一項に記載の方法。
- 前記レンダーを生成するための複数の命令は、前記共通のレンダリングアセットに対し前記一意の空間位置からパス追跡を実行するための命令を含む、請求項1から7のいずれか一項に記載の方法。
- 前記合成レンダーは、前記共通のレンダリングアセットを含む前記3D環境の全体の一部のための光マップである、請求項1から8のいずれか一項に記載の方法。
- 前記共通のレンダリングアセットは複数のVSDO(表示域状態データオブジェクト)である、請求項1に記載の方法。
- 前記合成レンダーを送信する段階はさらに、
前記コンピュータシステムにより、複数の光マップを有する前記それぞれのレンダーを合成して前記共通のレンダリングアセットを含む前記環境の合成光マップを生成する段階と、
前記コンピュータシステムにより、前記合成光マップを含む層によって補正された前記複数のVSDOを送信する段階と
を有する、請求項10に記載の方法。 - 前記合成レンダーを送信する段階はさらに、前記コンピュータシステムにより、前記複数のクライアントに送信された前記複数のVSDOのための前の光マップと、前記合成光マップとの間の変化のみを送信する段階を有する、請求項11に記載の方法。
- グラフィック処理ユニットと、
プロセッサと、
前記プロセッサにより実行されるプログラムロジックを実体的に記憶した記憶媒体と
を備え、
前記プログラムロジックは、
前記プロセッサにより実行される、複数のクライアントへ3D環境の共通のレンダリングアセットを送信するための共通のレンダリングアセット送信ロジックと、
前記プロセッサにより実行される、前記複数のクライアントのうちの参加しているクライアントのそれぞれへ、それぞれのレンダーを生成するための位置を表す一意の空間位置であって、他に送信される複数の空間位置とは異なる一意の空間位置を送信するための空間位置送信ロジックと、
前記プロセッサにより実行される、前記参加しているクライアントのそれぞれへ、前記共通のレンダリングアセットおよびそれぞれの一意の空間位置を用いて前記それぞれのレンダーを生成するための複数の命令を送信するための命令送信ロジックと、
前記プロセッサにより実行される、前記参加しているクライアントのそれぞれから前記それぞれのレンダーを受信するための受信ロジックと、
前記プロセッサにより実行される、前記3D環境を有するあるシーンのために合成されることが必要なサンプルの数が、前記参加しているクライアントの数を超えているか否かを判断するための判断ロジックと、
前記プロセッサにより実行される、前記必要なサンプルの数が前記参加しているクライアントの数を超えている場合に、複数のレンダーの実行を介して、前記プロセッサによって、前記必要なサンプルの数を取得するための取得ロジックと、
前記プロセッサにより実行される、前記必要なサンプルの数を取得したときに、前記それぞれのレンダーから合成レンダーを生成するための合成レンダー生成ロジックであって、前記それぞれのレンダーは前記共通のレンダリングアセットを有し、前記送信された複数の空間位置のうちの1つからレンダリングされる、合成レンダー生成ロジックと、
前記プロセッサにより実行される、前記複数のクライアントへ前記合成レンダーを送信するための合成レンダー送信ロジックと
を含む、システム。 - 前記複数のレンダーを実行することは、前記プロセッサによって実行される、前記参加しているクライアントに、前記複数のレンダーの少なくともサブセットを実行させるためのロジックをさらに有する、請求項13に記載のシステム。
- 前記プロセッサにより実行される、前記複数のクライアントのうちの参加していないクライアントのサブセットのためのそれぞれの表示域をレンダリングするための表示域レンダリングロジックをさらに備える、請求項13に記載のシステム。
- 前記表示域レンダリングロジックはさらに、前記プロセッサにより、前記3D環境のための複数のVSDO(表示域状態データオブジェクト)と、前記それぞれのレンダーから生成された合成光マップと、前記参加しているクライアントによって受信されたカメラ情報とに基づいて、前記参加していないクライアントのための前記それぞれの表示域をレンダリングするためのロジックを有する、請求項15に記載のシステム。
- 前記それぞれの表示域をレンダリングするための前記ロジックはさらに、前記プロセッサにより実行される、前記複数のVSDOのうちの1つの原点と前記参加していないクライアントのそれぞれの基準点との差をヒット機能を介して補正するための補正ロジックを有する、請求項16に記載のシステム。
- 前記合成レンダー送信ロジックはさらに、前記プロセッサにより実行される、前記レンダリングされた複数の表示域の複数のフレームを圧縮するための圧縮ロジックを有する、請求項13から17のいずれか一項に記載のシステム。
- コンピュータに、
複数のクライアントのうちの参加しているクライアントのサブセットへ3D環境の共通のレンダリングアセットと、他に送信される複数の空間位置とは異なる一意の空間位置とを送信する段階であって、前記一意の空間位置は、前記3D環境のそれぞれのレンダーを生成するための位置を表す、段階、
前記参加しているクライアントのそれぞれへ、前記共通のレンダリングアセットおよびそれぞれの一意の空間位置を用いて前記それぞれのレンダーを生成するための複数の命令を送信する段階、
前記参加しているクライアントのそれぞれから、前記共通のレンダリングアセットを有する環境の一部のための前記それぞれのレンダーを受信する段階、
前記3D環境を有するあるシーンのために合成されることが必要なサンプルの数が、前記参加しているクライアントの数を超えているか否かを判断する段階、
前記必要なサンプルの数が前記参加しているクライアントの数を超えている場合に、複数のレンダリングの実行を介して、前記必要なサンプルの数を取得する段階、
前記必要なサンプルの数を取得したときに、前記それぞれのレンダーから合成レンダーを生成する段階であって、前記それぞれのレンダーは前記共通のレンダリングアセットを有し、前記それぞれのレンダーは、前記送信された複数の空間位置のうちの1つからレンダリングされる、段階、および
少なくとも前記参加しているクライアントへ前記合成レンダーを送信する段階
を実行させるためのプログラム。 - 前記コンピュータに、
前記複数のクライアントのうちの参加していないクライアントのサブセットのためのそれぞれの表示域をレンダリングする段階と、
前記合成レンダーを有する複数の前記表示域を、前記参加していないクライアントに送信する段階と
をさらに実行させるための、請求項19に記載のプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/208,164 | 2011-08-11 | ||
US13/208,164 US9250966B2 (en) | 2011-08-11 | 2011-08-11 | Crowd-sourced video rendering system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014525147A Division JP5763276B2 (ja) | 2011-08-11 | 2012-08-09 | クラウドソース動画レンダリングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015215908A JP2015215908A (ja) | 2015-12-03 |
JP5943330B2 true JP5943330B2 (ja) | 2016-07-05 |
Family
ID=47669235
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014525147A Active JP5763276B2 (ja) | 2011-08-11 | 2012-08-09 | クラウドソース動画レンダリングシステム |
JP2015117641A Active JP5943330B2 (ja) | 2011-08-11 | 2015-06-10 | クラウドソース動画レンダリングシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014525147A Active JP5763276B2 (ja) | 2011-08-11 | 2012-08-09 | クラウドソース動画レンダリングシステム |
Country Status (9)
Country | Link |
---|---|
US (3) | US9250966B2 (ja) |
EP (1) | EP2742431A4 (ja) |
JP (2) | JP5763276B2 (ja) |
KR (3) | KR101600726B1 (ja) |
CN (1) | CN103874991B (ja) |
AU (3) | AU2012294352B8 (ja) |
CA (1) | CA2843479C (ja) |
TW (2) | TWI485644B (ja) |
WO (1) | WO2013023069A2 (ja) |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US20130210522A1 (en) * | 2012-01-12 | 2013-08-15 | Ciinow, Inc. | Data center architecture for remote graphics rendering |
US8961302B2 (en) | 2012-07-20 | 2015-02-24 | Microsoft Technology Licensing, Llc | Game browsing |
US9381432B2 (en) | 2012-08-24 | 2016-07-05 | Microsoft Technology Licensing, Llc | Game migration |
US9437039B2 (en) | 2012-09-11 | 2016-09-06 | Nvidia Corporation | Method and system for graphics rendering employing gradient domain metropolis light transport |
US9717985B2 (en) * | 2012-10-02 | 2017-08-01 | Razer (Asia-Pacific) Pte. Ltd. | Fragment-based mobile device application streaming utilizing crowd-sourcing |
US9264749B2 (en) | 2012-12-13 | 2016-02-16 | Microsoft Technology Licensing, Llc | Server GPU assistance for mobile GPU applications |
US9717982B2 (en) | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
US9526980B2 (en) | 2012-12-21 | 2016-12-27 | Microsoft Technology Licensing, Llc | Client side processing of game controller input |
KR20240132105A (ko) | 2013-02-07 | 2024-09-02 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US10345989B2 (en) * | 2013-02-14 | 2019-07-09 | Autodesk, Inc. | Collaborative, multi-user system for viewing, rendering, and editing 3D assets |
US9694277B2 (en) | 2013-03-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Client side processing of character interactions in a remote gaming environment |
US9564102B2 (en) | 2013-03-14 | 2017-02-07 | Microsoft Technology Licensing, Llc | Client side processing of player movement in a remote gaming environment |
US10713838B2 (en) * | 2013-05-03 | 2020-07-14 | Nvidia Corporation | Image illumination rendering system and method |
US10008034B2 (en) * | 2013-05-03 | 2018-06-26 | Nvidia Corporation | System, method, and computer program product for computing indirect lighting in a cloud network |
JP6341986B2 (ja) * | 2013-09-11 | 2018-06-13 | 株式会社スクウェア・エニックス・ホールディングス | 描画装置、その描画方法、プログラム及び記録媒体 |
EP3068504A4 (en) * | 2013-11-11 | 2017-06-28 | Amazon Technologies Inc. | Data collection for multiple view generation |
US9641592B2 (en) | 2013-11-11 | 2017-05-02 | Amazon Technologies, Inc. | Location of actor resources |
US9634942B2 (en) | 2013-11-11 | 2017-04-25 | Amazon Technologies, Inc. | Adaptive scene complexity based on service quality |
US20150133216A1 (en) * | 2013-11-11 | 2015-05-14 | Amazon Technologies, Inc. | View generation based on shared state |
US20150130814A1 (en) * | 2013-11-11 | 2015-05-14 | Amazon Technologies, Inc. | Data collection for multiple view generation |
US20150130815A1 (en) * | 2013-11-11 | 2015-05-14 | Amazon Technologies, Inc. | Multiple parallel graphics processing units |
US9805479B2 (en) | 2013-11-11 | 2017-10-31 | Amazon Technologies, Inc. | Session idle optimization for streaming server |
US9374552B2 (en) | 2013-11-11 | 2016-06-21 | Amazon Technologies, Inc. | Streaming game server video recorder |
US9582904B2 (en) | 2013-11-11 | 2017-02-28 | Amazon Technologies, Inc. | Image composition based on remote object data |
US9604139B2 (en) * | 2013-11-11 | 2017-03-28 | Amazon Technologies, Inc. | Service for generating graphics object data |
US9578074B2 (en) | 2013-11-11 | 2017-02-21 | Amazon Technologies, Inc. | Adaptive content transmission |
US10742716B1 (en) * | 2013-12-16 | 2020-08-11 | Amazon Technologies, Inc. | Distributed processing for content personalization |
US9308453B2 (en) * | 2014-01-09 | 2016-04-12 | Square Enix Holdings Co., Ltd. | Online game server architecture using shared rendering |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
CN105335345B (zh) * | 2014-07-03 | 2017-12-19 | 北大方正集团有限公司 | 彩色图像文件合成方法和装置 |
US9294786B2 (en) | 2014-07-07 | 2016-03-22 | International Business Machines Corporation | Coordination of video and/or audio recording |
CN104125494B (zh) * | 2014-07-07 | 2017-07-11 | 四川中电启明星信息技术有限公司 | 一种大屏幕分布式播放场景画面拼接方法 |
CN104392481B (zh) * | 2014-11-25 | 2017-12-05 | 无锡梵天信息技术股份有限公司 | 一种利用贴图控制高光反射清晰度的方法及装置 |
EP3029940B1 (en) | 2014-12-04 | 2017-03-15 | Axis AB | Method and device for post processing of a video stream |
US10742703B2 (en) | 2015-03-20 | 2020-08-11 | Comcast Cable Communications, Llc | Data publication and distribution |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10516869B2 (en) * | 2015-07-09 | 2019-12-24 | Doubleme, Inc. | Real-time 3D virtual or physical model generating apparatus for HoloPortal and HoloCloud system |
US10671428B2 (en) * | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US20170140570A1 (en) * | 2015-11-13 | 2017-05-18 | Intel Corporation | Facilitating efficeint centralized rendering of viewpoint-agnostic graphics workloads at computing devices |
EP3185152B1 (en) * | 2015-12-22 | 2022-02-09 | Dassault Systèmes | Distributed clash and snapping |
US10719902B2 (en) * | 2017-04-17 | 2020-07-21 | Intel Corporation | Thread serialization, distributed parallel programming, and runtime extensions of parallel computing platform |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
GB201709752D0 (en) * | 2017-06-19 | 2017-08-02 | Advanced Risc Mach Ltd | Graphics processing systems |
US10455135B2 (en) * | 2017-11-17 | 2019-10-22 | Facebook, Inc. | Enabling crowd-sourced video production |
CN108364292B (zh) * | 2018-03-26 | 2021-05-25 | 吉林大学 | 一种基于多幅视角图像的光照估计方法 |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11032345B2 (en) | 2018-05-10 | 2021-06-08 | Microsoft Technology Licensing, Llc | Client side data stream processing |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US12100112B2 (en) | 2018-08-10 | 2024-09-24 | Nvidia Corporation | Cloud-centric platform for collaboration and connectivity on 3D virtual environments |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10924525B2 (en) | 2018-10-01 | 2021-02-16 | Microsoft Technology Licensing, Llc | Inducing higher input latency in multiplayer programs |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11270496B2 (en) * | 2019-05-24 | 2022-03-08 | Nvidia Corporation | Fine grained interleaved rendering applications in path tracing |
US11328471B2 (en) * | 2019-05-24 | 2022-05-10 | Nvidia Corporation | Fine grained interleaved rendering applications in path tracing for cloud computing environments |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11049315B2 (en) * | 2019-07-31 | 2021-06-29 | Verizon Patent And Licensing Inc. | Methods and devices for bifurcating graphics rendering between a media player device and a multi-access edge compute server |
US11711571B2 (en) * | 2020-03-06 | 2023-07-25 | Advanced Micro Devices, Inc. | Client-side offload of graphics effects processing |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11941752B2 (en) | 2020-07-21 | 2024-03-26 | Nvidia Corporation | Streaming a compressed light field |
EP4189530A4 (en) * | 2020-07-25 | 2024-08-14 | Silver Spoon Animation Inc | SYSTEM AND METHOD FOR REAL-TIME FILLING OF A VIRTUAL CROWD USING AUGMENTED AND VIRTUAL REALITY |
US11501467B2 (en) | 2020-11-03 | 2022-11-15 | Nvidia Corporation | Streaming a light field compressed utilizing lossless or lossy compression |
US20220134222A1 (en) * | 2020-11-03 | 2022-05-05 | Nvidia Corporation | Delta propagation in cloud-centric platforms for collaboration and connectivity |
US11875461B2 (en) | 2021-01-22 | 2024-01-16 | Dtis, Llc | Visual data management system and method |
WO2022168996A1 (ko) * | 2021-02-02 | 2022-08-11 | 박재범 | 사용자의 유휴 자원을 활용한 분산 렌더링 시스템 및 분산 렌더링 방법 |
CN115908156B (zh) * | 2021-09-30 | 2024-08-13 | 想象技术有限公司 | 渲染3d场景的图像的方法、图形处理单元和存储介质 |
CN114301880B (zh) * | 2021-12-23 | 2023-05-12 | 聚好看科技股份有限公司 | 三维数据传输方法及电子设备、信令服务器 |
US20240233079A9 (en) * | 2022-10-19 | 2024-07-11 | Qualcomm Incorporated | View-dependent multiple streaming for extended reality (xr) rendering offloading |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0814853B2 (ja) * | 1986-09-09 | 1996-02-14 | 富士通株式会社 | 並列レイトレーシングの負荷分散処理方法 |
JPH08123978A (ja) * | 1994-10-25 | 1996-05-17 | Toppan Printing Co Ltd | 3次元画像処理システム |
JP3036395B2 (ja) * | 1995-04-11 | 2000-04-24 | 日本電気株式会社 | プログレッシブラジオシティの並列実行方法 |
US6762761B2 (en) * | 1999-03-31 | 2004-07-13 | International Business Machines Corporation | Method and system for graphics rendering using hardware-event-triggered execution of captured graphics hardware instructions |
US6702078B2 (en) | 2002-01-03 | 2004-03-09 | Thomas Ray Hardy | Floor cable management system |
US20030212742A1 (en) * | 2002-05-07 | 2003-11-13 | Hochmuth Roland M. | Method, node and network for compressing and transmitting composite images to a remote client |
JP4122379B2 (ja) * | 2002-05-24 | 2008-07-23 | 独立行政法人情報通信研究機構 | ラジオシティの並列処理方法及びその装置 |
JP4896237B2 (ja) | 2002-09-06 | 2012-03-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理方法、画像処理装置、および画像処理システム |
US20040169656A1 (en) * | 2002-11-15 | 2004-09-02 | David Piponi Daniele Paolo | Method for motion simulation of an articulated figure using animation input |
JP4352990B2 (ja) * | 2004-05-17 | 2009-10-28 | 日本ビクター株式会社 | 3次元画像生成システム |
US7385614B2 (en) * | 2005-03-28 | 2008-06-10 | Silicon Graphics, Inc. | Compositing images using logically divided object space |
US8089481B2 (en) * | 2006-09-28 | 2012-01-03 | International Business Machines Corporation | Updating frame divisions based on ray tracing image processing system performance |
EP2162864A1 (en) * | 2007-05-31 | 2010-03-17 | Depth Analysis Pty.Ltd. | Systems and methods for applying a 3d scan of a physical target object to a virtual environment |
US8224087B2 (en) * | 2007-07-16 | 2012-07-17 | Michael Bronstein | Method and apparatus for video digest generation |
US20090125370A1 (en) * | 2007-11-08 | 2009-05-14 | Genetic Finance Holdings Limited | Distributed network for performing complex algorithms |
US8441476B2 (en) * | 2007-11-16 | 2013-05-14 | Sportvision, Inc. | Image repair interface for providing virtual viewpoints |
US8350846B2 (en) * | 2009-01-28 | 2013-01-08 | International Business Machines Corporation | Updating ray traced acceleration data structures between frames based on changing perspective |
US20100289804A1 (en) * | 2009-05-13 | 2010-11-18 | International Business Machines Corporation | System, mechanism, and apparatus for a customizable and extensible distributed rendering api |
US9723319B1 (en) | 2009-06-01 | 2017-08-01 | Sony Interactive Entertainment America Llc | Differentiation for achieving buffered decoding and bufferless decoding |
US8803892B2 (en) | 2010-06-10 | 2014-08-12 | Otoy, Inc. | Allocation of GPU resources across multiple clients |
TWM400644U (en) * | 2010-09-30 | 2011-03-21 | Oct Technology Co Ltd | Transmission line for integrating peripheral signals into digital video interface signals |
-
2011
- 2011-08-11 US US13/208,164 patent/US9250966B2/en active Active
-
2012
- 2012-08-09 KR KR1020147006166A patent/KR101600726B1/ko active Application Filing
- 2012-08-09 CN CN201280039280.6A patent/CN103874991B/zh active Active
- 2012-08-09 KR KR1020167005374A patent/KR101692193B1/ko active IP Right Grant
- 2012-08-09 JP JP2014525147A patent/JP5763276B2/ja active Active
- 2012-08-09 KR KR1020167036361A patent/KR101851096B1/ko active IP Right Grant
- 2012-08-09 WO PCT/US2012/050165 patent/WO2013023069A2/en unknown
- 2012-08-09 EP EP12821506.8A patent/EP2742431A4/en not_active Ceased
- 2012-08-09 CA CA2843479A patent/CA2843479C/en active Active
- 2012-08-09 AU AU2012294352A patent/AU2012294352B8/en active Active
- 2012-08-10 TW TW101128927A patent/TWI485644B/zh active
- 2012-08-10 TW TW104111570A patent/TWI543108B/zh active
-
2015
- 2015-02-24 AU AU2015200948A patent/AU2015200948B2/en active Active
- 2015-06-10 JP JP2015117641A patent/JP5943330B2/ja active Active
-
2016
- 2016-01-29 US US15/010,953 patent/US9582921B1/en active Active
-
2017
- 2017-02-24 US US15/441,782 patent/US10275926B2/en active Active
- 2017-09-12 AU AU2017228573A patent/AU2017228573B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5943330B2 (ja) | クラウドソース動画レンダリングシステム | |
JP5954802B2 (ja) | ステートレス圧縮を利用したコンポジットビデオ画像をストリーミングする方法、プログラムおよび装置 | |
US8363051B2 (en) | Non-real-time enhanced image snapshot in a virtual world system | |
US11288765B2 (en) | System and method for efficient multi-GPU execution of kernels by region based dependencies | |
JP7453311B2 (ja) | グラフィック処理のためのアセット認識コンピューティングアーキテクチャ | |
WO2023164244A1 (en) | Methods and systems for facilitating the cooperation of large numbers of computing devices with particular application to maintaining, presenting and editing a shared 3-dimensional virtual space to multiple users |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5943330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |