JPWO2021081398A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2021081398A5 JPWO2021081398A5 JP2022524585A JP2022524585A JPWO2021081398A5 JP WO2021081398 A5 JPWO2021081398 A5 JP WO2021081398A5 JP 2022524585 A JP2022524585 A JP 2022524585A JP 2022524585 A JP2022524585 A JP 2022524585A JP WO2021081398 A5 JPWO2021081398 A5 JP WO2021081398A5
- Authority
- JP
- Japan
- Prior art keywords
- computer
- real
- time engine
- computing system
- based experience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Claims (20)
前記コンピューティングシステムが、リアルタイムエンジンにおける前記コンピュータベースの体験内に少なくとも１つの仮想カメラを構成する段階と；
前記コンピューティングシステムが、前記少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて、前記コンピュータベースの体験の編集カットに関連付けられたデータを取得する段階と；
前記コンピューティングシステムが、前記リアルタイムエンジンにおける前記コンピュータベースの体験の前記編集カットから、２次元コンテンツに対応する複数のショットを生成する段階と；
前記コンピューティングシステムが、前記リアルタイムエンジンを用いて、前記コンピュータベースの体験の２次元バージョンに関連付けられたデータを生成する段階であって、前記２次元バージョンは、前記生成されたデータと前記２次元バージョンに関連付けられたタイムラインにおいてレンダリングされるようにマーク付けされた領域とに基づいてレンダリングされることができる、段階と
を備える、コンピュータ実装方法。 the computing system obtains data associated with a computer-based experience, the computer-based experience being based on interactive real-time technology;
the computing system configuring at least one virtual camera within the computer-based experience in a real-time engine;
the computing system obtaining data associated with an edited cut of the computer-based experience based on content captured by the at least one virtual camera;
the computing system generating a plurality of shots corresponding to two-dimensional content from the edited cut of the computer-based experience in the real-time engine;
the computing system using the real-time engine to generate data associated with a two-dimensional version of the computer-based experience, the two-dimensional version combining the generated data and the two-dimensional and a region marked to be rendered in a timeline associated with the version .
前記コンピューティングシステムが、非線形ビデオ編集ソフトウェアから前記リアルタイムエンジンへの前記編集カットにおいて反映された編集のセットを説明しているデータをインポートする段階を含む、請求項１から３のいずれか一項に記載のコンピュータ実装方法。 Obtaining the data associated with the edited cut further comprises:
4. The computing system according to any one of claims 1 to 3, comprising importing data describing a set of edits reflected in the edited cut from non-linear video editing software to the real-time engine. Computer implementation method described.
前記コンピューティングシステムが、前記リアルタイムエンジンを用いて、前記複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに追加のセットドレッシングとレイアウトデータとを適用する段階と；
前記コンピューティングシステムが、前記１または複数のフレームに照明と１または複数のメディア効果とを適用する段階であって、前記照明と前記１または複数のメディア効果とは、前記リアルタイムエンジンにおける前記コンピュータベースの体験に適用された前記照明と前記１または複数のメディア効果との上部に追加される、段階と
を備える、請求項１から４のいずれか一項に記載のコンピュータ実装方法。 The step of generating the plurality of shots corresponding to the two-dimensional content further includes:
the computing system using the real-time engine to apply additional set dressing and layout data to one or more frames associated with at least one shot included in the plurality of shots;
the computing system applying lighting and one or more media effects to the one or more frames, wherein the lighting and the one or more media effects are applied to the computer-based computer in the real-time engine; 5. The computer-implemented method of any one of claims 1 to 4, comprising: adding on top of the lighting and the one or more media effects applied to the experience.
前記コンピューティングシステムが、アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つの新しいショットを生成する段階、または
前記コンピューティングシステムが、前記アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する段階
を含む、請求項１から５のいずれか一項に記載のコンピュータ実装方法。 Generating data associated with the two-dimensional version of the computer-based experience from the real-time engine further comprises:
the computing system generates at least one new shot for the two-dimensional version in the animation creation application; or the computing system generates at least one new shot for the two-dimensional version in the animation creation application. or applying a plurality of animation modifications.
をさらに備える、請求項６に記載のコンピュータ実装方法。 the computing system makes a copy of the at least one shot prior to applying the one or more animation modifications, the one or more animation modifications being applied to the copy; 7. The computer-implemented method of claim 6, further comprising.
前記コンピューティングシステムが、前記インタラクティブリアルタイム技術がそれを介して提示される視聴媒体の少なくとも１つの実世界構成から、前記少なくとも１つの仮想カメラの構成を導出する段階を含む、請求項１から７のいずれか一項に記載のコンピュータ実装方法。 Configuring at least one virtual camera within the computer-based experience in the real-time engine further comprises:
8. The computing system of claims 1-7, wherein the computing system comprises deriving the configuration of the at least one virtual camera from at least one real-world configuration of a viewing medium through which the interactive real-time technology is presented. A computer-implemented method according to any one of the preceding clauses.
前記コンピューティングシステムが、前記タイムラインにおいてレンダリングされるようにマーク付けされた前記領域を決定する段階と；
前記コンピューティングシステムが、前記リアルタイムエンジンを用いて、前記領域に対応する前記２次元バージョンの一部をレンダリングする段階と
をさらに備える、請求項８に記載のコンピュータ実装方法。 the computing system determining the timeline associated with the two-dimensional version;
the computing system determining the region marked to be rendered in the timeline;
9. The computer-implemented method of claim 8, further comprising: the computing system using the real-time engine to render a portion of the two-dimensional version corresponding to the region.
少なくとも１つのプロセッサと；
命令を記憶するメモリであって、前記少なくとも１つのプロセッサによって実行される場合、前記システムに：
コンピュータベースの体験に関連付けられたデータを取得する段階であって、前記コンピュータベースの体験は、インタラクティブリアルタイム技術に基づいている、段階と；
リアルタイムエンジンにおける前記コンピュータベースの体験内に少なくとも１つの仮想カメラを構成する段階と；
前記少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて、前記コンピュータベースの体験の編集カットに関連付けられたデータを取得する段階と；
前記リアルタイムエンジンにおける前記コンピュータベースの体験の前記編集カットから、２次元コンテンツに対応する複数のショットを生成する段階と；
前記リアルタイムエンジンを用いて、前記コンピュータベースの体験の２次元バージョンに関連付けられたデータを生成する段階であって、前記２次元バージョンは、前記生成されたデータと前記２次元バージョンに関連付けられたタイムラインにおいてレンダリングされるようにマーク付けされた領域とに基づいてレンダリングされることができる、段階と
を含む方法を実行させる、命令を記憶するメモリと
を備える、システム。 A system,
at least one processor;
A memory for storing instructions, when executed by the at least one processor, in the system:
obtaining data associated with a computer-based experience, the computer-based experience being based on interactive real-time technology;
configuring at least one virtual camera within the computer-based experience in a real-time engine;
obtaining data associated with an edited cut of the computer-based experience based on content captured by the at least one virtual camera;
generating a plurality of shots corresponding to two-dimensional content from the edited cut of the computer-based experience in the real-time engine;
using the real-time engine to generate data associated with a two-dimensional version of the computer-based experience, the two-dimensional version combining the generated data and a time associated with the two-dimensional version; A system comprising: a memory storing instructions for performing a method comprising: a region marked to be rendered in a line ;
非線形ビデオ編集ソフトウェアから前記リアルタイムエンジンへの前記編集カットにおいて反映された編集のセットを説明しているデータをインポートする段階を含む、請求項１１または１２に記載のシステム。 Obtaining the data associated with the edited cut further comprises:
13. The system of claim 11 or 12, comprising importing data describing a set of edits reflected in the edited cut from non-linear video editing software to the real-time engine.
前記リアルタイムエンジンを用いて、前記複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに追加のセットドレッシングとレイアウトデータとを適用する段階と；
前記１または複数のフレームに照明と１または複数のメディア効果とを適用する段階であって、前記照明と前記１または複数のメディア効果とは、前記リアルタイムエンジンにおける前記コンピュータベースの体験に適用された前記照明と前記１または複数のメディア効果との上部に追加される、段階と
を備える、請求項１１から１３のいずれか一項に記載のシステム。 The step of generating the plurality of shots corresponding to the two-dimensional content further includes:
applying additional set dressing and layout data to one or more frames associated with at least one shot included in the plurality of shots using the real-time engine;
applying lighting and one or more media effects to the one or more frames, the lighting and the one or more media effects being applied to the computer-based experience in the real-time engine; 14. A system according to any one of claims 11 to 13, comprising: a stage added on top of the lighting and the one or more media effects.
アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つの新しいショットを生成する段階、または
前記アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する段階
を含む、請求項１１から１４のいずれか一項に記載のシステム。 Generating data associated with the two-dimensional version of the computer-based experience from the real-time engine further comprises:
generating at least one new shot for the two-dimensional version in an animation creation application; or applying one or more animation modifications to the at least one shot for the two-dimensional version in the animation creation application. A system according to any one of claims 11 to 14.
コンピュータベースの体験に関連付けられたデータを取得する手順であって、前記コンピュータベースの体験は、インタラクティブリアルタイム技術に基づいている、手順と；
リアルタイムエンジンにおける前記コンピュータベースの体験内に少なくとも１つの仮想カメラを構成する手順と；
前記少なくとも１つの仮想カメラによってキャプチャされたコンテンツに基づいて、前記コンピュータベースの体験の編集カットに関連付けられたデータを取得する手順と；
前記リアルタイムエンジンにおける前記コンピュータベースの体験の前記編集カットから、２次元コンテンツに対応する複数のショットを生成する手順と；
前記リアルタイムエンジンを用いて、前記コンピュータベースの体験の２次元バージョンに関連付けられたデータを生成する手順であって、前記２次元バージョンは、前記生成されたデータと前記２次元バージョンに関連付けられたタイムラインにおいてレンダリングされるようにマーク付けされた領域とに基づいてレンダリングされることができる、手順と
を含む方法を実行させる命令を有する、コンピュータプログラム。 a computer program, when executed by at least one processor of a computing system, the computer program comprising:
A procedure for obtaining data associated with a computer-based experience, the computer-based experience being based on interactive real-time technology;
configuring at least one virtual camera within the computer-based experience in a real-time engine;
obtaining data associated with an edited cut of the computer-based experience based on content captured by the at least one virtual camera;
generating a plurality of shots corresponding to two-dimensional content from the edited cut of the computer-based experience in the real-time engine;
using the real-time engine to generate data associated with a two-dimensional version of the computer-based experience, the two-dimensional version combining the generated data and a time associated with the two-dimensional version; A computer program product having instructions for performing a method comprising: a region marked to be rendered in a line; and a region marked to be rendered in a line .
非線形ビデオ編集ソフトウェアから前記リアルタイムエンジンへの前記編集カットにおいて反映された編集のセットを説明しているデータをインポートする手順を含む、請求項１６または１７に記載のコンピュータプログラム。 The step of obtaining the data associated with the edited cut further comprises:
18. A computer program product as claimed in claim 16 or 17, comprising importing data describing a set of edits reflected in the edited cut from non-linear video editing software to the real-time engine.
前記リアルタイムエンジンを用いて、前記複数のショットに含まれている少なくとも１つのショットに関連付けられた１または複数のフレームに追加のセットドレッシングとレイアウトデータとを適用する手順と；
前記１または複数のフレームに照明と１または複数のメディア効果とを適用する手順であって、前記照明と前記１または複数のメディア効果とは、前記リアルタイムエンジンにおける前記コンピュータベースの体験に適用された前記照明と前記１または複数のメディア効果との上部に追加される、手順と
を備える、請求項１６から１８のいずれか一項に記載のコンピュータプログラム。 The procedure for generating the plurality of shots corresponding to the two-dimensional content further includes:
applying additional set dressing and layout data to one or more frames associated with at least one shot included in the plurality of shots using the real-time engine;
applying lighting and one or more media effects to the one or more frames, the lighting and the one or more media effects being applied to the computer-based experience in the real-time engine; 19. A computer program product according to any one of claims 16 to 18, comprising: adding on top of the lighting and the one or more media effects.
アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つの新しいショットを生成する手順、または
前記アニメーション作成アプリケーションにおいて前記２次元バージョン用の少なくとも１つのショットに１または複数のアニメーション修正を適用する手順
を含む、請求項１６から１９のいずれか一項に記載のコンピュータプログラム。 The step of generating data associated with the two-dimensional version of the computer-based experience from the real-time engine further comprises:
generating at least one new shot for the two-dimensional version in an animation creation application; or applying one or more animation modifications to the at least one shot for the two-dimensional version in the animation creation application. Computer program according to any one of claims 16 to 19.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962925710P | 2019-10-24 | 2019-10-24 | |
| US62/925,710 | 2019-10-24 | ||
| US17/078,071 US20210125306A1 (en) | 2019-10-24 | 2020-10-22 | Systems and methods for creating a 2d film from immersive content |
| US17/078,062 | 2020-10-22 | ||
| US17/078,071 | 2020-10-22 | ||
| US17/078,062 US11403787B2 (en) | 2019-10-24 | 2020-10-22 | Systems and methods for creating a 2D film from immersive content |
| PCT/US2020/057158 WO2021081398A1 (en) | 2019-10-24 | 2020-10-23 | Systems and methods for creating a 2d film from immersive content |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022554232A JP2022554232A (en) | 2022-12-28 |
| JPWO2021081398A5 true JPWO2021081398A5 (en) | 2023-10-31 |
Family
ID=75585951
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022524585A Pending JP2022554232A (en) | 2019-10-24 | 2020-10-23 | Systems and methods for creating 2D movies from immersive content |
| JP2022524615A Pending JP2022553766A (en) | 2019-10-24 | 2020-10-23 | Systems and methods for creating 2D films from immersive content |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022524615A Pending JP2022553766A (en) | 2019-10-24 | 2020-10-23 | Systems and methods for creating 2D films from immersive content |
Country Status (5)
| Country | Link |
|---|---|
| US (4) | US11403787B2 (en) |
| EP (2) | EP4049263A4 (en) |
| JP (2) | JP2022554232A (en) |
| KR (2) | KR20220088886A (en) |
| WO (2) | WO2021081398A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
| US11394799B2 (en) * | 2020-05-07 | 2022-07-19 | Freeman Augustus Jackson | Methods, systems, apparatuses, and devices for facilitating for generation of an interactive story based on non-interactive data |
| US20220165024A1 (en) * | 2020-11-24 | 2022-05-26 | At&T Intellectual Property I, L.P. | Transforming static two-dimensional images into immersive computer-generated content |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070035665A1 (en) * | 2005-08-12 | 2007-02-15 | Broadcom Corporation | Method and system for communicating lighting effects with additional layering in a video stream |
| US20090219291A1 (en) * | 2008-02-29 | 2009-09-03 | David Brian Lloyd | Movie animation systems |
| US8591332B1 (en) * | 2008-05-05 | 2013-11-26 | Activision Publishing, Inc. | Video game video editor |
| US8773441B2 (en) * | 2009-07-10 | 2014-07-08 | Pixar | System and method for conforming an animated camera to an editorial cut |
| US20120092348A1 (en) * | 2010-10-14 | 2012-04-19 | Immersive Media Company | Semi-automatic navigation with an immersive image |
| US8464153B2 (en) | 2011-03-01 | 2013-06-11 | Lucasfilm Entertainment Company Ltd. | Copying an object in an animation creation application |
| EP2600316A1 (en) | 2011-11-29 | 2013-06-05 | Inria Institut National de Recherche en Informatique et en Automatique | Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation |
| US9977580B2 (en) * | 2014-02-24 | 2018-05-22 | Ilos Co. | Easy-to-use desktop screen recording application |
| WO2015142732A1 (en) * | 2014-03-21 | 2015-09-24 | Audience Entertainment, Llc | Adaptive group interactive motion control system and method for 2d and 3d video |
| GB2526263B (en) * | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
| US9332285B1 (en) | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
| JP6702657B2 (en) * | 2015-05-29 | 2020-06-03 | キヤノン株式会社 | Video processing device, video processing method, and program |
| US10484824B1 (en) * | 2015-06-26 | 2019-11-19 | Lucasfilm Entertainment Company Ltd. | Content presentation and layering across multiple devices |
| US11164548B2 (en) * | 2015-12-22 | 2021-11-02 | JBF Interlude 2009 LTD | Intelligent buffering of large-scale video |
| JP6429829B2 (en) * | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | Image processing system, image processing apparatus, control method, and program |
| US10754529B2 (en) | 2016-10-28 | 2020-08-25 | Adobe Inc. | Facilitating editing of virtual-reality content using a virtual-reality headset |
| US10614606B2 (en) * | 2016-11-30 | 2020-04-07 | Ricoh Company, Ltd. | Information processing apparatus for creating an animation from a spherical image |
| US10565802B2 (en) | 2017-08-31 | 2020-02-18 | Disney Enterprises, Inc. | Collaborative multi-modal mixed-reality system and methods leveraging reconfigurable tangible user interfaces for the production of immersive, cinematic, and interactive content |
| CN111417008B (en) * | 2019-01-08 | 2022-06-03 | 诺基亚技术有限公司 | Method, apparatus and computer readable medium for virtual reality |
| KR102148006B1 (en) * | 2019-04-30 | 2020-08-25 | 주식회사 카카오 | Method and apparatus for providing special effects to video |
-
2020
- 2020-10-22 US US17/078,062 patent/US11403787B2/en active Active
- 2020-10-22 US US17/078,071 patent/US20210125306A1/en active Pending
- 2020-10-23 KR KR1020227017142A patent/KR20220088886A/en unknown
- 2020-10-23 EP EP20879811.6A patent/EP4049263A4/en active Pending
- 2020-10-23 WO PCT/US2020/057158 patent/WO2021081398A1/en unknown
- 2020-10-23 EP EP20879121.0A patent/EP4049262A4/en active Pending
- 2020-10-23 KR KR1020227017143A patent/KR20220086648A/en unknown
- 2020-10-23 JP JP2022524585A patent/JP2022554232A/en active Pending
- 2020-10-23 WO PCT/US2020/057166 patent/WO2021081406A1/en unknown
- 2020-10-23 JP JP2022524615A patent/JP2022553766A/en active Pending
-
2022
- 2022-07-15 US US17/866,183 patent/US11915342B2/en active Active
-
2024
- 2024-02-22 US US18/584,906 patent/US20240193823A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610353B2 (en) | Seamless representation of video and geometry | |
| US8576228B2 (en) | Composite transition nodes for use in 3D data generation | |
| US11915342B2 (en) | Systems and methods for creating a 2D film from immersive content | |
| US20190171869A1 (en) | Creating videos with facial expressions | |
| JP2014517961A (en) | Animation of transitions in client applications that employ mesh files | |
| US8610713B1 (en) | Reconstituting 3D scenes for retakes | |
| KR102032606B1 (en) | Machinima manufacturing method based on 3D Game Engine | |
| US8363055B1 (en) | Multiple time scales in computer graphics | |
| JPWO2021081398A5 (en) | ||
| EP3246921A2 (en) | Integrated media processing pipeline | |
| JP2006221489A (en) | Cg animation manufacturing system | |
| Bąk et al. | Using the game engine in the animation production process | |
| WO2023132788A2 (en) | Creating effects based on facial features | |
| US8773441B2 (en) | System and method for conforming an animated camera to an editorial cut | |
| Kavitha | Copyright Challenges in the Artificial Intelligence Revolution: Transforming the Film Industry from Script to Screen | |
| Young et al. | A virtual reality volumetric music video: featuring new pagans | |
| US10825220B1 (en) | Copy pose | |
| US20100225648A1 (en) | Story development in motion picture | |
| Pan et al. | MienCap: Performance-based facial animation with live mood dynamics | |
| KR100791612B1 (en) | Method for providing service about making contents and three-dimensional animaion | |
| Kardan et al. | Virtual cinematography of group scenes using hierarchical lines of actions | |
| Walther-Franks et al. | The animation loop station: near real-time animation production | |
| KR102561020B1 (en) | Emulation of hand-drawn lines in CG animation | |
| Waine et al. | Directable stadium crowds from image based modelling for" Bohemian Rhapsody" | |
| Wood et al. | A Software-Agnostic Small Studio and Education Pipeline |