JP7457806B2 - レンズ分割の実現方法、装置および関連製品 - Google Patents
レンズ分割の実現方法、装置および関連製品 Download PDFInfo
- Publication number
- JP7457806B2 JP7457806B2 JP2022528715A JP2022528715A JP7457806B2 JP 7457806 B2 JP7457806 B2 JP 7457806B2 JP 2022528715 A JP2022528715 A JP 2022528715A JP 2022528715 A JP2022528715 A JP 2022528715A JP 7457806 B2 JP7457806 B2 JP 7457806B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- dimensional virtual
- real
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 71
- 230000000694 effects Effects 0.000 claims description 67
- 238000000605 extraction Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 22
- 238000009877 rendering Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 230000008921 facial expression Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
を取得し、ここで、nは、正の整数であり、実画像I1,I2,…,Inと三次元仮想モデル
との間には一対一の対応関係があり、つまり、一フレームの実画像は、1つの三次元仮想モデルを生成するために使用される。例示的に、実画像
が、三次元仮想モデル
を生成することを例として、1つの三次元仮想モデルは、以下のように取得できる。
に対して画像分割を実行し、実画像
内の実在人物画像を抽出し、抽出して得た実在人物画像に対してキーポイント検出を実行して、上記の複数の人体キーポイントおよび複数の人体キーポイントの位置情報を取得する。ここで、前記人体キーポイントは、顔キーポイントと人体骨キーポイントとを含み、前記人体キーポイントは、具体的に、人体の頭の領域、首の領域、肩の領域、背骨の領域、腰の領域、臀部の領域、手首の領域、腕の領域、膝の領域、脚の領域、足首の領域および足下の領域などに位置でき、顔キーポイントおよび顔キーポイントの位置情報を分析することにより、実画像
内の実在人物の顔表情特徴を取得し、人体骨キーポイントおよび人体骨キーポイントの位置情報を分析することにより、実画像
内の実在人物の骨特徴を取得して、実在人物の体の動き特徴を取得する。
をニューラルネットワークに入力して特徴抽出を実行し、複数の畳み込み層の計算の後、前記複数の人体キーポイント情報を抽出する。ここで、ニューラルネットワークは、大量のトレーニングを介して取得され、ニューラルネットワークは、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)であってもよいし、逆伝播ニューラルネットワーク(BPNN:Back Propagation Neural Network)であってもよいし、生成的敵対的ネットワーク(GAN:Generative Adversarial Network)またはリカレントニューラルネットワーク(RNN:Recurrent Neural Network)などであってもよいし、ここでは具体的に限定しない。上記の人体特徴の抽出プロセスは、同じニューラルネットワークで実行でき、異なるニューラルネットワークでも実行できることに留意されたい。例えば、レンズ分割の実現装置は、CNNを使用して顔キーポイントを抽出して、人体顔表情の特徴を取得することができ、BPNNを使用して人体骨キーポイントを抽出して、人体骨の特徴および体の動き特徴を取得することもでき、ここでは具体的に限定しない。さらに、前記三次元仮想人物モデルを駆動するための特徴情報の例は、例を挙げるためにのみ目的とし、実際の用途では、他の特徴情報も含み得、ここでは具体的に限定しない。
内の三次元仮想人物モデルを生成して、三次元仮想モデル
内の三次元仮想人物モデルが、実画像
内実在人物の動き情報に対応させる。
は、さらに、実シーン画像を含み、三次元仮想モデル
は、さらに、三次元仮想シーンモデルを含み、前記実画像
に従って三次元仮想モデル
を生成する方法は、実画像
内の実シーン画像に従って、三次元仮想モデル
内の三次元仮想シーンを構築することをさらに含む。
に対して画像分割を実行して、実画像
内の実シーン画像を取得し、実シーンの物体の位置特徴、形状特徴およびサイズ特徴などの実シーン画像内のシーン特徴を抽出し、シーン特徴に従って、三次元仮想モデル
内の三次元仮想シーンモデルを構築して、三次元仮想モデル
内の三次元仮想シーンモデルが、実画像
内の実シーン画像を高度に復元できるようにする。
によって三次元仮想モデル
を生成するプロセスのみを説明し、実際に、三次元仮想モデル
の生成プロセスと三次元仮想モデル
の生成プロセスは、類似しており、ここでは再び説明しない。
内の各三次元仮想モデルに対してレンズ視野角のレンダリングして、観客が、同じ三次元仮想モデルが、異なるレンズ視野角での仮想画像を見ることができるようにすることに対して詳細に説明する。実画像
が生成する三次元仮想モデル
を例として、それぞれkの異なるレンズを使用して三次元仮想モデル
をレンダリングして、kの異なるレンズ視野角での仮想画像
を取得し、ここで、
であり、それにより、レンズ分割の切り替え効果を実現し、その具体的なプロセスは、以下の通りである。
であると、当該カメラを使用して撮影して得た画像は、レンズ視野角
での物体、即ち物体の上面図を表示する。
であり、実在人物が、ジャンプするときに対応するレンズ視野角は、レンズ視野角
であってもよいし、レンズ視野角
などであってもよいし、同様に、実在人物が、微笑むときに対応するレンズ視野角は、レンズ視野角
であってもよいし、レンズ視野角
であってもよいし、レンズ視野角
などであってもよい。
を挿入して、第1仮想画像が、第2仮想画像に緩やかに切り替えるようにし、ここで、aフレームの仮想画像
が挿入する時間ポイントは、
であり、時間ポイント
が形成する曲線のスロープ値は、単調減少した後単調単調増加する関数を満たし、aは、正の整数である。
(図7Aの左上隅に示されたように)を取得し、その後、実画像
に従って、三次元仮想モデル
を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第1分に対応するビートがB1であると決定し、ビートB1に従って、第1分のときのステージ特殊効果
を取得し、その後、ステージ特殊効果
を三次元仮想モデル
に追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第1分に対応するレンズ視野角(時間レンズ視野角と略称)がV1であると決定し、レンズ分割の実現装置が、第1分における実在人物の動きが、両手を胸に上げることであり、両手を胸に上げる動きは、動き情報ライブラリに含まれないこと、即ち、動きに対応するレンズ視野角(動きレンズ視野角と略称)がないことを検出した場合、レンズ分割の実現装置では、図7Aに示された仮想画像を表示し、ここで、図7Aに示された仮想画像と実画像
のレンズ視野角は、同じである。
(図7Bの左上隅に示されたように)を取得し、その後、実画像
に従って、三次元仮想モデル
を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第2分に対応するビートB2を決定し、ビートB2に従って、第2分のときのステージ特殊効果
を取得し、その後、三次元仮想モデル
にステージ特殊効果
を追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第2分に対応するレンズ視野角(時間レンズ視野角と略称)がV2であると決定し、レンズ分割の実現装置が、第2分における実在人物の動きが、両手を上に上げることであり、両手を上にあげる動きが、動き情報ライブラリに含まれない、動きに対応するレンズ視野角(動きレンズ視野角と略称)がないと検出した場合、レンズ分割の実現装置は、三次元仮想モデル
を左上方向に回転してレンズ視野角がV2であるときに対応する仮想画像を取得する。これから分かるように、三次元仮想モデル
にステージ特殊効果
を追加するとき、図7Bに示された仮想画像は、図7Aに示された仮想画像より照明効果が追加される。
(図7Cの左上隅に示されたように)を取得し、その後、実画像
に従って、三次元仮想モデル
を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第3分に対応するビートB3を決定し、ビートB3に従って、第3分のときのステージ特殊効果
を取得し、その後、三次元仮想モデル
にステージ特殊効果
を追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第3分に対応するレンズ視野角(時間レンズ視野角と略称)がV2であると決定し、レンズ分割の実現装置が、第3分における実在人物の動きが、左足を上に上げることであり、左足を上にあげる動きに対応するレンズ視野角(動きレンズ視野角と略称)がV3であると検出した場合、レンズ分割の実現装置は、三次元仮想モデル
を左に回転してレンズ視野角がV3であるときに対応する仮想画像を取得する。これから分かるように、三次元仮想モデル
にステージ特殊効果
を追加するとき、図7Cに示された仮想画像と図7Bに示された仮想画像の照明効果は、異なり、図7Cに示された仮想画像には、音波効果が表示される。
(図7Dの左上隅に示されたように)を取得し、その後、実画像
に従って、三次元仮想モデル
を取得する。レンズ分割の実現装置は、背景音楽に対してビート検出を実行して、第4分に対応するビートB4を決定し、ビートB4に従って、第4分のときのステージ特殊効果
を取得し、その後、三次元仮想モデル
にステージ特殊効果
を追加する。レンズ分割の実現装置は、プリセットのレンズ脚本に従って、第3分に対応するレンズ視野角(時間レンズ視野角と略称)がV4であると決定し、レンズ分割の実現装置が、第4分における実在人物の動きが、立つことであり、立つ動きに対応するレンズ視野角(動きレンズ視野角と略称)がV4であると検出した場合、レンズ分割の実現装置は、三次元仮想モデル
を右に回転してレンズ視野角がV4であるときに対応する仮想画像を取得する。これから分かるように、三次元仮想モデル
にステージ特殊効果
を追加とき、図7Dに示された仮想画像と図7Cに示された仮想画像のステージ効果が異なるようにする。
取得ユニット810は、さらに、三次元仮想モデルを取得する前に、実画像を取得するように構成され、ここで、実画像は、実在人物画像を含み、特徴抽出ユニット830は、実在人物画像に対して特徴抽出を実行して特徴情報を取得するように構成され、ここで、特徴情報は、実在人物の動き情報を含み、三次元仮想モデル生成ユニット840は、特徴情報に従って三次元仮想モデルを生成して、三次元仮想モデル内の三次元仮想人物モデルの動き情報が実在人物の動き情報に対応させる。
プロセッサ910は、中央処理装置(CPU:Central Processing Unit)、汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、特定用途向け集積回路(ASIC:Application-Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)または他のプログラマブルロジックデバイス(PLD:Programmable Logic Device)、トランジスタロジックデバイス、ハードウェア部品またはその任意の組み合わせであることができる。プロセッサ910は、本願に開示されたコンテンツで説明された様々な例示的な方法を実現または実行することができる。具体的には、プロセッサ910は、メモリ930に記憶されたプログラムコードを読み取り、通信インターフェース920と合わせて本願に記載の実施例におけるレンズ分割の実現装置によって実行される方法の一部またはすべてのステップを実行する。
Claims (11)
- レンズ分割の実現方法であって、
三次元仮想モデルを取得することと、
少なくとも2つの異なるレンズ視野角で前記三次元仮想モデルをレンダリングして、少なくとも2つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得することと、を含み、
前記三次元仮想モデルは、三次元仮想シーンモデルに配置されている三次元仮想人物モデルを含み、前記三次元仮想モデルを取得する前に、前記レンズ分割の実現方法は、
実画像を取得することであって、前記実画像は、実在人物画像を含むことと、
前記実在人物画像に対して特徴抽出を実行して特徴情報を取得することであって、前記特徴情報は、前記実在人物の動き情報を含むことと、
前記特徴情報に従って前記三次元仮想モデルを生成して、前記三次元仮想モデル内の前記三次元仮想人物モデルの動き情報を前記実在人物の動き情報に対応させることと、をさらに含み、
前記実画像を取得することは、
ビデオストリームを取得し、前記ビデオストリームのうちの少なくとも2フレームの画像に従って、少なくとも2フレームの前記実画像を取得することを含み、
前記実在人物画像に対して特徴抽出を実行して特徴情報を取得することは、
各フレームの前記実在人物画像に対してそれぞれ特徴抽出を実行して、対応する特徴情報を取得することを含み、
前記少なくとも2つの異なるレンズ視野角を取得することは、
背景音楽を取得することと、
前記背景音楽に対応するタイムコレクションを決定することであって、前記タイムコレクションは、少なくとも2つの期間を含むことと、
前記タイムコレクションのうちの各期間に対応するレンズ視野角を取得することと、を含み、
前記レンズ分割の実現方法は、
前記背景音楽に対してビート検出を実行して、前記背景音楽のビートコレクションを取得することであって、前記ビートコレクションは、複数のビートを含み、前記複数のビートのうちの各ビートは、1つのステージ特殊効果に対応することと、
前記ビートコレクションに対応するターゲットステージ特殊効果を前記三次元仮想モデルに追加することと、をさらに含む、
レンズ分割の実現方法。 - 前記実画像は、さらに、実シーン画像を含み、前記三次元仮想モデルは、さらに、前記三次元仮想シーンモデルを含み、前記三次元仮想モデルを取得する前に、前記レンズ分割の実現方法は、
前記実シーン画像に従って、前記三次元仮想シーンモデルを構築することをさらに含む、
請求項1に記載のレンズ分割の実現方法。 - 前記少なくとも2つの異なるレンズ視野角を取得することは、
前記少なくとも2フレームの前記実画像に従って、前記少なくとも2つの異なるレンズ視野角を取得することを含む、
請求項1または2に記載のレンズ分割の実現方法。 - 前記少なくとも2つの異なるレンズ視野角を取得することは、
前記少なくとも2フレームの前記実画像にそれぞれ対応する動き情報に従って、前記少なくとも2つの異なるレンズ視野角を取得することを含む、
請求項1または2に記載のレンズ分割の実現方法。 - 前記少なくとも2つの異なるレンズ視野角は、第1レンズ視野角と第2レンズ視野角を含み、前記少なくとも2つの異なるレンズ視野角で前記三次元仮想モデルをレンダリングして、少なくとも2つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得することは、
前記第1レンズ視野角で前記三次元仮想モデルをレンダリングして、第1仮想画像を取得することと、
前記第2レンズ視野角で前記三次元仮想モデルをレンダリングして、第2仮想画像を取得することと、
前記第1仮想画像および前記第2仮想画像に従って形成される画像シーケンスを表示することと、を含む、
請求項1に記載のレンズ分割の実現方法。 - 前記第2レンズ視野角で前記三次元仮想モデルをレンダリングして、第2仮想画像を取得することは、
前記第1レンズ視野角での前記三次元仮想モデルを平行移動または回転して、前記第2レンズ視野角での前記三次元仮想モデルを取得することと、
前記第2レンズ視野角での前記三次元仮想モデルに対応する前記第2仮想画像を取得することと、を含む、
請求項5に記載のレンズ分割の実現方法。 - 前記第1仮想画像および前記第2仮想画像に従って形成される画像シーケンスを表示することは、
前記第1仮想画像と前記第2仮想画像の間にaフレームの仮想画像を挿入して、前記第1仮想画像が前記第2仮想画像に緩やかに切り替えるようにすることを含み、aは、正の整数である、
請求項6に記載のレンズ分割の実現方法。 - レンズ分割の実現装置であって、
三次元仮想モデルを取得するように構成される、取得ユニットと、
少なくとも2つの異なるレンズ視野角で前記三次元仮想モデルをレンダリングして、少なくとも2つの異なるレンズ視野角にそれぞれ対応する仮想画像を取得するように構成される、レンズ分割ユニットと、を備え、
前記三次元仮想モデルは、三次元仮想シーンモデルに配置されている三次元仮想人物モデルを含み、前記レンズ分割の実現装置は、さらに、特徴抽出ユニットと三次元仮想モデル生成ユニットとを備え、前記取得ユニットは、さらに、三次元仮想モデルを取得する前に、実画像を取得するように構成され、前記実画像は、実在人物画像を含み、
前記特徴抽出ユニットは、前記実在人物画像に対して特徴抽出を実行して特徴情報を取得するように構成され、前記特徴情報は、前記実在人物の動き情報を含み、
前記三次元仮想モデル生成ユニットは、前記特徴情報に従って前記三次元仮想モデルを生成して、前記三次元仮想モデル内の前記三次元仮想人物モデルの動き情報を前記実在人物の動き情報に対応させるように構成され、
前記取得ユニットは、ビデオストリームを取得し、前記ビデオストリームのうちの少なくとも2フレームの画像に従って、少なくとも2フレームの前記実画像を取得するように構成され、
前記特徴抽出ユニットは、各フレームの前記実在人物画像に対してそれぞれ特徴抽出を実行して、対応する特徴情報を取得するように構成され、
前記レンズ分割の実現装置は、さらに、レンズ視野角取得ユニットを備え、前記レンズ視野角取得ユニットは、背景音楽を取得し、前記背景音楽に対応するタイムコレクションを決定し、前記タイムコレクションのうちの各期間に対応するレンズ視野角を取得するように構成され、前記タイムコレクションは、少なくとも2つの期間を含み、
前記レンズ分割の実現装置は、さらに、ビート検出ユニットとステージ特殊効果生成ユニットとを備え、前記ビート検出ユニットは、前記背景音楽に対してビート検出を実行して、前記背景音楽のビートコレクションを取得するように構成され、前記ビートコレクションは、複数のビートを含み、前記複数のビートのうちの各ビートは、1つのステージ特殊効果に対応し、
前記ステージ特殊効果生成ユニットは、前記ビートコレクションに対応するターゲットステージ特殊効果を前記三次元仮想モデルに追加するように構成される、
レンズ分割の実現装置。 - プロセッサ、通信インターフェースおよびメモリを備える、電子機器であって、
前記メモリは、命令を記憶するように構成され、前記プロセッサは、前記命令を実行するように構成され、前記通信インターフェースは、前記プロセッサの制御下で他の機器と通信するように構成され、前記プロセッサは、前記命令を実行するとき、請求項1ないし7のいずれか一項に記載のレンズ分割の実現方法を実現する、前記電子機器。 - コンピュータプログラムを記憶する、コンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、ハードウェアによって実行されるとき、請求項1ないし7のいずれか一項に記載のレンズ分割の実現方法を実現する、前記コンピュータ可読記憶媒体。 - コンピュータに、請求項1ないし7のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911225211.4A CN111080759B (zh) | 2019-12-03 | 2019-12-03 | 一种分镜效果的实现方法、装置及相关产品 |
CN201911225211.4 | 2019-12-03 | ||
PCT/CN2020/082545 WO2021109376A1 (zh) | 2019-12-03 | 2020-03-31 | 一种分镜效果的实现方法、装置及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023501832A JP2023501832A (ja) | 2023-01-19 |
JP7457806B2 true JP7457806B2 (ja) | 2024-03-28 |
Family
ID=70312713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022528715A Active JP7457806B2 (ja) | 2019-12-03 | 2020-03-31 | レンズ分割の実現方法、装置および関連製品 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP7457806B2 (ja) |
KR (1) | KR20220093342A (ja) |
CN (1) | CN111080759B (ja) |
TW (1) | TWI752502B (ja) |
WO (1) | WO2021109376A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI762375B (zh) * | 2021-07-09 | 2022-04-21 | 國立臺灣大學 | 語意分割錯誤偵測系統 |
CN113630646A (zh) * | 2021-07-29 | 2021-11-09 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法及装置、设备、存储介质 |
CN114157879A (zh) * | 2021-11-25 | 2022-03-08 | 广州林电智能科技有限公司 | 一种全场景虚拟直播处理设备 |
CN114630173A (zh) * | 2022-03-03 | 2022-06-14 | 北京字跳网络技术有限公司 | 虚拟对象的驱动方法、装置、电子设备及可读存储介质 |
CN114745598B (zh) * | 2022-04-12 | 2024-03-19 | 北京字跳网络技术有限公司 | 视频数据展示方法、装置、电子设备及存储介质 |
CN114900743A (zh) * | 2022-04-28 | 2022-08-12 | 中德(珠海)人工智能研究院有限公司 | 基于视频推流的场景渲染过渡方法以及系统 |
CN117014651A (zh) * | 2022-04-29 | 2023-11-07 | 北京字跳网络技术有限公司 | 一种视频生成方法及装置 |
CN114998935A (zh) * | 2022-06-28 | 2022-09-02 | 京东方智慧物联科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN115442542B (zh) * | 2022-11-09 | 2023-04-07 | 北京天图万境科技有限公司 | 一种分镜方法和装置 |
CN115883814A (zh) * | 2023-02-23 | 2023-03-31 | 阿里巴巴(中国)有限公司 | 实时视频流的播放方法、装置及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6469279B1 (ja) | 2018-04-12 | 2019-02-13 | 株式会社バーチャルキャスト | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
JP6538942B1 (ja) | 2018-07-26 | 2019-07-03 | 株式会社Cygames | 情報処理プログラム、サーバ、情報処理システム、及び情報処理装置 |
JP6595043B1 (ja) | 2018-05-29 | 2019-10-23 | 株式会社コロプラ | ゲームプログラム、方法、および情報処理装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201333882A (zh) * | 2012-02-14 | 2013-08-16 | Univ Nat Taiwan | 擴增實境裝置及其方法 |
US20150049078A1 (en) * | 2013-08-15 | 2015-02-19 | Mep Tech, Inc. | Multiple perspective interactive image projection |
CN106157359B (zh) * | 2015-04-23 | 2020-03-10 | 中国科学院宁波材料技术与工程研究所 | 一种虚拟场景体验系统的设计方法 |
US10068376B2 (en) * | 2016-01-11 | 2018-09-04 | Microsoft Technology Licensing, Llc | Updating mixed reality thumbnails |
US10019131B2 (en) * | 2016-05-10 | 2018-07-10 | Google Llc | Two-handed object manipulations in virtual reality |
CN106295955A (zh) * | 2016-07-27 | 2017-01-04 | 邓耀华 | 一种基于增强现实的客户对厂的鞋定制系统及实现方法 |
CN106385576B (zh) * | 2016-09-07 | 2017-12-08 | 深圳超多维科技有限公司 | 立体虚拟现实直播方法、装置及电子设备 |
CN107103645B (zh) * | 2017-04-27 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 虚拟现实媒体文件生成方法及装置 |
CN107194979A (zh) * | 2017-05-11 | 2017-09-22 | 上海微漫网络科技有限公司 | 一种虚拟角色的场景合成方法及系统 |
US10278001B2 (en) * | 2017-05-12 | 2019-04-30 | Microsoft Technology Licensing, Llc | Multiple listener cloud render with enhanced instant replay |
CN108538095A (zh) * | 2018-04-25 | 2018-09-14 | 惠州卫生职业技术学院 | 基于虚拟现实技术的医学教学系统及方法 |
CN108830894B (zh) * | 2018-06-19 | 2020-01-17 | 亮风台(上海)信息科技有限公司 | 基于增强现实的远程指导方法、装置、终端和存储介质 |
CN108833740B (zh) * | 2018-06-21 | 2021-03-30 | 珠海金山网络游戏科技有限公司 | 一种基于三维动画直播的实时提词器方法和装置 |
CN108961376A (zh) * | 2018-06-21 | 2018-12-07 | 珠海金山网络游戏科技有限公司 | 虚拟偶像直播中实时绘制三维场景的方法及系统 |
CN108877838B (zh) * | 2018-07-17 | 2021-04-02 | 黑盒子科技(北京)有限公司 | 音乐特效匹配方法及装置 |
CN110139115B (zh) * | 2019-04-30 | 2020-06-09 | 广州虎牙信息科技有限公司 | 基于关键点的虚拟形象姿态控制方法、装置及电子设备 |
CN110335334A (zh) * | 2019-07-04 | 2019-10-15 | 北京字节跳动网络技术有限公司 | 虚拟头像驱动显示方法、装置、电子设备及存储介质 |
CN110427110B (zh) * | 2019-08-01 | 2023-04-18 | 广州方硅信息技术有限公司 | 一种直播方法、装置以及直播服务器 |
-
2019
- 2019-12-03 CN CN201911225211.4A patent/CN111080759B/zh active Active
-
2020
- 2020-03-31 JP JP2022528715A patent/JP7457806B2/ja active Active
- 2020-03-31 KR KR1020227018465A patent/KR20220093342A/ko not_active Application Discontinuation
- 2020-03-31 WO PCT/CN2020/082545 patent/WO2021109376A1/zh active Application Filing
- 2020-05-20 TW TW109116665A patent/TWI752502B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6469279B1 (ja) | 2018-04-12 | 2019-02-13 | 株式会社バーチャルキャスト | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
JP6595043B1 (ja) | 2018-05-29 | 2019-10-23 | 株式会社コロプラ | ゲームプログラム、方法、および情報処理装置 |
JP6538942B1 (ja) | 2018-07-26 | 2019-07-03 | 株式会社Cygames | 情報処理プログラム、サーバ、情報処理システム、及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111080759A (zh) | 2020-04-28 |
WO2021109376A1 (zh) | 2021-06-10 |
KR20220093342A (ko) | 2022-07-05 |
JP2023501832A (ja) | 2023-01-19 |
TW202123178A (zh) | 2021-06-16 |
CN111080759B (zh) | 2022-12-27 |
TWI752502B (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7457806B2 (ja) | レンズ分割の実現方法、装置および関連製品 | |
CN113240782B (zh) | 基于虚拟角色的流媒体生成方法及装置 | |
CN111698390A (zh) | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统 | |
CN111970535A (zh) | 虚拟直播方法、装置、系统及存储介质 | |
TWI255141B (en) | Method and system for real-time interactive video | |
JP6683864B1 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
CN112673400A (zh) | 化身动画 | |
CN115331265A (zh) | 姿态检测模型的训练方法和数字人的驱动方法、装置 | |
KR102200239B1 (ko) | 실시간 cg 영상 방송 서비스 시스템 | |
US20150340068A1 (en) | Automatic shooting and editing of a video | |
CN110647780A (zh) | 一种数据处理方法、系统 | |
JP2021106378A (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
WO2024000480A1 (zh) | 3d虚拟对象的动画生成方法、装置、终端设备及介质 | |
KR100445846B1 (ko) | 대인 공포증 치료를 위한 가상 연설 시뮬레이터 | |
CN109360274A (zh) | 沉浸式虚拟现实构建方法、装置、智能升降桌及存储介质 | |
JP6892478B2 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
CN115239856A (zh) | 3d虚拟对象的动画生成方法、装置、终端设备及介质 | |
JP2021009351A (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
JP2001051579A (ja) | 映像表示方法、映像表示装置及び映像表示プログラムを記録した記録媒体 | |
KR102622709B1 (ko) | 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치 | |
US20240048780A1 (en) | Live broadcast method, device, storage medium, electronic equipment and product | |
US20220343783A1 (en) | Content control system, content control method, and content control program | |
Lung | Returning back the initiative of spatial relations between inner and outer space from images | |
Naugle et al. | Reflections on Heidegger: Performing Translations in Active Space Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7457806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |