JP2024061774A - アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 - Google Patents
アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2024061774A JP2024061774A JP2024034340A JP2024034340A JP2024061774A JP 2024061774 A JP2024061774 A JP 2024061774A JP 2024034340 A JP2024034340 A JP 2024034340A JP 2024034340 A JP2024034340 A JP 2024034340A JP 2024061774 A JP2024061774 A JP 2024061774A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- camera
- present
- attribute information
- animation sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 50
- 230000000694 effects Effects 0.000 claims abstract description 43
- 230000008859 change Effects 0.000 claims abstract description 39
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 241001293250 Lagascea decipiens Species 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 本発明の一態様によるアニメーションシーケンスを生成する方法を提供する。【解決手段】本発明の一態様によると、アニメーションシーケンスを生成する方法であって、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定する段階、および前記決定される属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成する段階を含む方法が提供される。【選択図】 図1
Description
本発明はアニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体に関する。
最近、パーソナルコンピュータや移動端末装置などのようなデジタル機器の2次元画面においても3次元的に表現され得るコンテンツに対する需要が増加している。また、一人放送プラットホーム、コンテンツクリエイタープラットホームなどが活性化されるにつれて、3次元コンテンツを直接著作して使用しようとする一般人のユーザーが増えている。
しかし、従来にはこのような3次元コンテンツの著作のためにコンテンツ著作用ツール(tool)が利用されてきたが、通常のアニメーション著作用ツールはその使用方法が複雑で難しいため、熟練した専門家によってのみその使用が可能であるのが一般的であった。
そこで、本発明者(ら)は、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、非専門家も容易に3次元アニメーションを著作できる技術を提案するところである。
本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。
また、本発明は、カメラによって撮影されるコンテンツまたはソースコンテンツからターゲット客体を獲得し、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に連動してターゲット客体に関するアニメーションを簡便に生成することをさらに他の目的とする。
また、本発明は、非専門家も3次元コンテンツを容易に著作できるように支援することをさらに他の目的とする。
前記目的を達成するための本発明の代表的な構成は次の通りである。
本発明の一態様によると、アニメーションシーケンスを生成する方法であって、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定する段階、および前記決定される属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成する段階を含む方法が提供される。
本発明の他の態様によると、アニメーションシーケンスを生成するシステムであって、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定する属性情報決定部、および前記決定される属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成するアニメーションシーケンス生成部を含むシステムが提供される。
この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
本発明によると、カメラによって撮影されるコンテンツまたはソースコンテンツからターゲット客体を獲得し、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に連動してターゲット客体に関するアニメーションを簡便に生成できる。
また、本発明は、非専門家も3次元コンテンツを容易に著作できるように支援できる。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施形態を例示として図示する添付図面を参照する。このような実施形態は当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施形態は互いに異なるが互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定形状、構造および特性は本発明の精神と範囲を逸脱することなく一実施形態から他の実施形態に変更されて具現され得る。また、それぞれの実施形態内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味で行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。
本明細書で、コンテンツとは、文字、符号、音声、音響、イメージ、動画などからなるデジタル情報または個別情報要素を総称する概念である。このようなコンテンツは、例えば、テキスト、イメージ、動画、オーディオ、リンク(例えば、ウェブリンク)等のデータまたはこのようなデータのうち少なくとも二つの組み合わせを含んで構成され得る。
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施形態に関して添付された図面を参照して詳細に説明することにする。
著作システムの構成
以下では、本発明の具現のために重要な機能を遂行する著作システム100の各構成要素の機能について詳察することにする。
図1は、本発明の一実施形態に係る著作システム100の内部構成を例示的に示す図面である。
本発明の一実施形態に係る著作システム100は、ターゲット客体獲得部110、属性情報決定部120、アニメーションシーケンス生成部130、通信部140および制御部150を含んで構成され得る。本発明の一実施形態によると、ターゲット客体獲得部110、属性情報決定部120、アニメーションシーケンス生成部130、通信部140および制御部150は、そのうちの少なくとも一部が外部システムと通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールまたはその他のプログラムモジュールの形態で著作システム100に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールは著作システム100と通信可能な遠隔記憶装置にそれぞれ保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり、特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されはしない。
一方、著作システム100に関して前記のように説明されたが、このような説明は例示的なものであり、著作システム100の構成要素または機能のうち少なくとも一部が必要に応じてサーバーシステム(図示されず)またはユーザーが所持、携帯または着用するデバイス400内で実現されたり、このようなサーバーシステムまたはデバイス400内に含まれてもよいことは当業者に自明である。また、場合によっては、著作システム100のすべての機能とすべての構成要素がサーバーシステムまたはデバイス400内ですべて実行されるか、サーバーシステムまたはデバイス400内にすべて含まれてもよい。
本発明の一実施形態に係るデバイス400はメモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えたデジタル機器であり、スマートグラス、スマートウォッチ、スマートバンド、スマートリング、スマートネックレス(smart necklace)、スマートイヤーセット、スマートイヤホン、スマートイヤリング(smart earring)などのようなウェアラブルデバイスであるか、スマートフォン、スマートパッド、デスクトップコンピュータ、ノートパソコン、ワークステーション、ピーディーエー(PDA)、ウェブパッド、移動電話機、リモートコントローラなどのような多少伝統的なデバイスを含むことができる。デバイス400は前記列挙された例示にのみ限定されず、本発明の目的を達成できる範囲内でいくらでも変更され得る。また、本発明の一実施形態に係るデバイス400はテキスト、イメージまたは映像などに関するコンテンツを獲得するカメラ、カメラの位置および姿勢に関する変化情報を測定するセンサ(例えば、速度センサ、加速度センサ、GPSセンサなど)またはアニメーションを表示する表示手段(例えば、ディスプレイ)を含むことができる。
一方、本発明の一実施形態に係るデバイス400には、本発明に係るアニメーションシーケンス生成を支援するアプリケーションが含まれていてもよい。このようなアプリケーションは外部のアプリケーション配布サーバー(図示されず)からダウンロードされたものであり得る。一方、このようなアプリケーションの性格は後述するような著作システム100のターゲット客体獲得部110、属性情報決定部120、アニメーションシーケンス生成部130、通信部140および制御部150と全般的に類似していてもよい。ここで、アプリケーションはその少なくとも一部が必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置で置換されてもよい。
まず、本発明の一実施形態に係るターゲット客体獲得部110は、カメラによって撮影されるコンテンツまたはソースコンテンツのうち少なくとも一つを参照してターゲット客体を獲得する機能を遂行することができる。本発明の一実施形態に係るターゲット客体は、事物、生命体などのように形状または形態を明確に特定できる対象だけでなく、領域、空間などのように形状または形態を明確に特定できない対象(例えば、背景)までもすべて含む最広義で解釈されるべきである。
例えば、ターゲット客体獲得部110はカメラによって撮影される映像またはイメージやソース映像またはイメージ内で獲得される複数の実世界(real world)の客体のうち少なくとも一つの客体をターゲット客体として獲得することができる。
より具体的には、人形を含む複数の実世界客体に関するイメージがカメラによって撮影されると、ターゲット客体獲得部110はその撮影されたイメージ内の前記人形を仮想客体(このような仮想客体は2次元または3次元客体であり得る)で生成し、その仮想客体を本発明に係るターゲット客体として獲得することができる。本発明の一実施形態によると、このような仮想客体は実世界客体である人形とその形状または色相が同一または類似し得る。また、空(例えば、雲を含む)を含む複数の実世界客体に関するイメージがカメラによって撮影されると、ターゲット客体獲得部110はその撮影されたイメージ内の前記空(例えば、雲を含む)を仮想客体(このような仮想客体は2次元または3次元客体であり得る)で生成し、その仮想客体を本発明に係るターゲット客体として獲得することができる。一方、本発明の一実施形態に係るターゲット客体獲得部110は前記ターゲット客体を獲得する過程で公知の3次元(3D)スキャニング技術、3次元モデリング技術、または3次元レンダリング(rendering)技術を活用することができる。
他の例として、ターゲット客体獲得部110は著作システム100(またはデバイス400)の内部に保存されたイメージまたは外部システム(図示されず)から提供されるイメージをソースコンテンツとして参照してターゲット客体を獲得することができる。
次に、本発明の一実施形態に係る属性情報決定部120は、カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいてターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定することができる。本発明の一実施形態によると、このようなカメラの位置に関する変化情報は、カメラの絶対座標(例えば、GPS座標などの地理的座標)または相対座標(例えば、カメラによって特定される所定地点を基準としてカメラが位置する座標)に基づいて特定され得、例えば、カメラの移動距離、移動方向、移動速度および加速度のうち少なくとも一つを含むことができる。また、カメラの姿勢に関する変化情報は、カメラの傾き、角速度および角加速度のうち少なくとも一つに関する情報を含むことができる。また、ターゲット客体のモーションに関する属性情報には、ターゲット客体で動きの対象となる少なくとも一つの部位(例えば、手、頭、足など)、その部位が動く方向、その部位が動く程度(例えば、動く距離、速度、加速度、角速度、角加速度、傾きの発生時間など)等に関する情報が含まれ得、ターゲット客体のエフェクトに関する属性情報には、エフェクトの対象となる領域(または部位)、そのエフェクトの種類(例えば、雨、雪、稲妻など)、そのエフェクトの感覚類型(例えば、視覚的、触覚的、聴覚的など)、そのエフェクトの発生程度(例えば、発生持続時間など)等に関する情報が含まれ得る。
例えば、ターゲット客体が頭および体で構成される人形であり、そのカメラが人形を中心に左右に所定角度および所定速度で繰り返し移動しながらパンニング(panning)されることがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部120は前記変化情報に対応して前記人形の頭を動きを発生させる部位として決定し、前記変化情報にしたがって(具体的には、カメラのパンニング角度およびパンニング速度に合わせて)前記人形の頭が左右に動くようにターゲット客体のモーションに関する属性情報を決定することができる。
他の例として、ターゲット客体が頭、体、腕および足で構成されるロボットであり、カメラが特定方向に加速して移動することがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部120は前記変化情報に対応して前記ロボットが前記特定方向に加速して走って行くこと(前記ロボットの腕および足を前後に動かすことも含まれ得る)にターゲット客体のモーションに関する属性情報を決定することができる。
さらに他の例として、ターゲット客体が頭、体、腕および足で構成されるロボットであり、カメラが所定地点を基準として左側から右側に(またはカメラの位置座標が(x1、y1、z1)から(x2、y2、z2)に)所定速度の等速に移動することがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部120は前記ロボットが前記左側に対応する座標から前記右側に対応する座標に歩いていくこと(または(x1、y1、z1)から(x2、y2、z2)に歩いていくこと)にターゲット客体のモーションに関する属性情報を決定することができる。一方、本発明の一実施形態に係る前記座標は、本発明に係る著作システム100、デバイス400、または前記カメラによって撮影される所定地点(または領域)を中心に定義される基準座標系(または基準平面)で特定される座標であり得る。
さらに他の例として、ターゲット客体が空であり、カメラが上下に所定角度で繰り返しチルティング(tilting)されることがカメラの位置および姿勢に関する変化情報である場合に、属性情報決定部120は前記ターゲット客体を含む所定領域をエフェクトが発生する領域として決定し、前記変化情報(具体的には、カメラのチルティングされる速度)に対応して前記所定領域で雨または雪が降ることとしてターゲット客体のエフェクトに関する属性情報を決定することができる。
一方、属性情報決定部120は前記変化情報に関連するターゲット客体のモーションおよびエフェクトに関する属性情報に関するデータベースまたはルックアップテーブルを参照して、前記ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定してもよい。このようなデータベースまたはルックアップテーブルは既設定されるか動的にアップデートされ得る。
また、属性情報決定部120は前記カメラの位置に関連する状況情報(例えば、地域の天気または場所に関連した主題)を参照してターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定することができる。
例えば、属性情報決定部120はカメラが位置する地域の天気が雪または雨が降る場合に、雪または雨に関することをターゲット客体のモーションおよびエフェクトに関する属性情報として決定することができる。より具体的には、ターゲット客体が傘を差し、その周辺で雪または雨が降ることがターゲット客体のモーションおよびエフェクトに関する属性情報として決定され得る。
他の例として、属性情報決定部120はカメラが位置する場所がスケート場である場合に、スケートに関することをターゲット客体のモーションおよびエフェクトに関する属性情報として決定することができる。より具体的には、ターゲット客体がスケートを着用した状態で動いたり走り、その周辺で雪が降ることがターゲット客体のモーションおよびエフェクトに関する属性情報として決定され得る。
一方、属性情報決定部120は前記変化情報に関連するユーザーが発生させる入力動作情報にさらに基づいて、前記ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定することができる。
例えば、前記変化情報に関連するユーザーが前記カメラを含むデバイス(例えば、スマートフォン)に対してボタン(またはタッチ)を入力する場合に、当該ボタンの入力に対応して前記ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定してもよい。
次に、本発明の一実施形態に係るアニメーションシーケンス生成部130は、前記属性情報決定部120により決定される属性情報を参照してターゲット客体に関するアニメーションシーケンスを生成することができる。
例えば、アニメーションシーケンス生成部130は、属性情報決定部120により決定されるモーションおよびエフェクトに関する属性情報をカメラに関連したタイムシーケンス上にマッチングさせることによって、ターゲット客体に関するアニメーションシーケンスを生成することができる。本発明の一実施形態に係るタイムシーケンスには、属性情報決定部120により決定されるモーションおよびエフェクトに関する属性情報がマッチングされる地点(または時点)である少なくとも一つのポッド(pod)が存在し得る。
また、アニメーションシーケンス生成部130はターゲット客体に関するアニメーションシーケンスをレンダリングすることによって、ターゲット客体に関するアニメーションを生成することができる。
例えば、アニメーションシーケンス生成部130は、ターゲット客体に関するアニメーションシーケンスを、カメラによって撮影される実世界映像または混合現実映像に結合してレンダリングすることによって、拡張現実(AR;Augmented Reality)映像を生成することができる。
より具体的には、アニメーションシーケンス生成部130は、SLAM(Simultaneous Localization And Mapping)技術を利用して、カメラによって撮影される実世界映像の座標を追跡して3次元マッピング(3D Mapping)座標を抽出することができ、前記追跡された実世界映像の座標および前記抽出された3次元マッピング座標に関する情報を参照して、ターゲット客体に関するアニメーションシーケンスが前記実世界映像内で表示される座標を決定することができ、その表示される座標を基準としてターゲット客体に関するアニメーションシーケンスと実世界映像を結合することにより拡張現実映像を生成することができる。
他の例として、アニメーションシーケンス生成部130は、ターゲット客体に関するアニメーションシーケンスを仮想現実映像に結合してレンダリングすることによって、ターゲット客体に関するアニメーションを生成してもよい。
次に、本発明の一実施形態によると、通信部140はターゲット客体獲得部110、属性情報決定部120およびアニメーションシーケンス生成部130からの/へのデータの送受信を可能とする機能を遂行することができる。
最後に、本発明の一実施形態によると、制御部150はターゲット客体獲得部110、属性情報決定部120、アニメーションシーケンス生成部130および通信部140間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部150は、著作システム100の外部からの/へのデータの流れまたは著作システム100の各構成要素間のデータの流れを制御することによって、ターゲット客体獲得部110、属性情報決定部120、アニメーションシーケンス生成部130および通信部140でそれぞれ固有機能を遂行するように制御することができる。
前述した著作システム100を通じてアニメーションシーケンスを生成する過程を例示的に詳察すると、次の通りである。
第1実施形態
図2~図4は、本発明の一実施形態によりアニメーションシーケンスが生成される過程を例示的に示す図面である。
図2~4を参照すると、本発明の一実施形態に係る著作システム100がスマートフォン400(すなわち、本発明に係るデバイス400)に含まれる状況を仮定して見ることができる。
まず、スマートフォン400のカメラによって撮影されるコンテンツ(例えば、イメージ)に基づいてターゲット客体300が獲得され得る。
例えば、図2を参照すると、実世界客体200を含むイメージがスマートフォン400のカメラによって撮影210、220され、その撮影されるイメージに基づいてターゲット客体300が獲得され得る。この場合に、実世界客体200に対する3次元スキャニングを遂行するために、実世界客体200を中心に左右210または上下220の角度で回転して撮影が遂行されるようにすることができる。
その次に、スマートフォン400のカメラによって撮影されている映像内に、前記獲得されるターゲット客体300が仮想で生成され得る。
例えば、図3を参照すると、前記スマートフォン400のカメラによって撮影されている背景310に前記獲得されるターゲット客体300が仮想で配置され得る。
その次に、前記スマートフォン400のカメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体300のモーションおよびエフェクトのうち少なくとも一つに関する属性情報が決定され得る。
例えば、図4を参照すると、前記スマートフォン400のカメラがターゲット客体300を中心として所定経路410に沿って移動する場合に、カメラに関連するタイムシーケンスで所定周期ごとに(または所定イベントの発生(例えば、所定水準以上のカメラモーションの変化)時ごとに)特定される少なくとも一つのポッド(pod)401、402、403に対して、前記変化情報に対応するターゲット客体300のモーションおよびエフェクトに関する属性情報がマッチングされ得る。
より具体的には、第1ポッド401では、カメラが右側から左に移動しながらカメラが数回揺れることが前記変化情報である場合に、ターゲット客体300が右側から左に歩きながら手を振ることとしてターゲット客体300のモーションに関する属性情報が決定され得る。また、第2ポッド402では、カメラがターゲット客体300に近く移動することが前記変化情報である場合に、ターゲット客体300を中心に炎エフェクトが視覚的または聴覚的に発生することとしてターゲット客体300のエフェクトに関する属性情報が決定され得る。また、第3ポッド403では、カメラがターゲット客体300から遠ざかりながらその遠ざかる速度が2m/s以上であることが前記変化情報である場合に、ターゲット客体300を中心に稲妻エフェクトが視覚的または聴覚的に発生しながら、ターゲット客体300が後方に向かって走っていくこととしてターゲット客体300のモーションおよびエフェクトに関する属性情報が決定され得る。
その次に、前記決定されるモーションおよびエフェクトに関する属性情報に基づいてターゲット客体に関するアニメーションシーケンスが生成され得る。
一方、著作システム100では、ターゲット客体に関するアニメーションシーケンスに対する少なくとも一つのモーションまたは少なくとも一つのエフェクトの追加、修正および削除のうち少なくとも一つを支援するグラフィックユーザーインターフェース(GUI)が提供され得る。
例えば、前記少なくとも一つのモーションまたは前記少なくとも一つのエフェクトの追加、修正および削除は、既決定されたポッド(pod)420、421(具体的には、前述したポッド(pod)401、402、403より前の時点で既決定されたポッド)または前述したポッド(pod)401、402、403を基準として遂行されるように支援され得る。
図5は、本発明の一実施形態により生成されたアニメーションシーケンスが実世界背景で動作する画面を例示的に示す図面である。
図5を参照すると、本発明の一実施形態により、前記スマートフォン400のカメラによって撮影される場所(すなわち、台所)にターゲット客体300が拡張されて配置され得、そのターゲット客体300が台所の右側から左に歩きながら手を振った後に、ターゲット客体300を中心に炎エフェクトが視覚的または聴覚的に発生し、ターゲット客体300を中心に稲妻エフェクトが視覚的または聴覚的に発生しながらターゲット客体300が後方(すなわち、流し台)に向かって走っていく拡張現実映像が生成され得る。
第2実施形態
図6は、本発明の他の実施形態によりアニメーションシーケンスが生成される過程を例示的に示す図面である。
図6を参照すると、本発明の一実施形態に係る著作システム100がヘッドマウントディスプレイ(HMD;Head Mounted Display)600(すなわち、本発明に係るデバイス400)に含まれる場合を仮定して見ることができる。このようなヘッドマウントディスプレイ600にはカメラが含まれ得、例えば、グーグル社のグーグルグラス(Google glass)、バージョンスラブス社のエピファニー(Epiphany)アイウェア、ビュージックス社のM100グラスなどの一部の特性を含むことができる。
まず、ヘッドマウントディスプレイ600に保存されたソースコンテンツ(例えば、イメージ)に基づいてターゲット客体(例えば、虎(図7の701))が獲得され得る。
その次に、前記ヘッドマウントディスプレイ600のカメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体701のモーションおよびエフェクトのうち少なくとも一つに関する属性情報が決定され得る。
例えば、前記ヘッドマウントディスプレイ600のカメラが所定経路(例えば、矢印)に沿って移動する場合に、カメラに関連するタイムシーケンスで所定周期ごとに(または所定イベントの発生(例えば、所定水準以上のカメラモーションの変化)時ごとに)特定される少なくとも一つのポッド(pod)601、602、603に対して、前記変化情報に対応するターゲット客体のモーションおよびエフェクトに関する属性情報がマッチングされ得る。
より具体的には、第1ポッド601では、カメラが廊下の外部窓(すなわち、イメージ上で左側窓)から廊下の内部窓(すなわち、イメージ上で右側窓)に加速して移動することが前記変化情報である場合に、ターゲット客体701が廊下の外部窓に対応する座標から廊下の内部窓に対応する座標に加速して走っていくこととして前記ターゲット客体701のモーションに関する属性情報が決定され得る。また、第2ポッド602では、カメラが左右に回転することが前記変化情報である場合に、前記ターゲット客体701が頭を左右に回転しながら周囲を見回すこととして前記ターゲット客体701のモーションに関する属性情報が決定され得る。また、第3ポッド603では、カメラが廊下の内部窓から廊下の終端に移動するものの、その移動速度が等速であることが前記変化情報である場合に、ターゲット客体701が廊下の内部窓に対応する座標から廊下の終端に対応する座標に手を揺らしながら一定の速度で歩いていくこととしてターゲット客体701のモーションに関する属性情報が決定され得る。
その次に、前記決定されるモーションおよびエフェクトに関する属性情報に基づいて、ターゲット客体701に関するアニメーションシーケンスが生成され得る。
その次に、前記ターゲット客体701に関するアニメーションシーケンスを前記カメラによって撮影される実世界映像に結合して拡張現実(AR)映像が生成され得る。一方、前記ターゲット客体701に関するアニメーションシーケンスを前記ヘッドマウントディスプレイ600で具現される映像に結合させることによって、仮想現実映像または混合現実映像が生成されてもよい。
図7は、本発明の他の実施形態により生成された前記アニメーションシーケンスが実世界背景で動作する画面を例示的に示す図面である。
図7を参照すると、本発明の一実施形態により前記ヘッドマウントディスプレイ600のカメラによって撮影される場所(すなわち、廊下)を中心にターゲット客体701が拡張されて配置され得、そのターゲット客体701が廊下の外部窓から廊下の内部窓に加速して走っていき、廊下の内部窓から頭を回しながら周囲を見回し、廊下の内部窓から廊下の終端に手を揺らしながら一定の速度で歩いていく拡張現実映像が生成され得る。
第3実施形態
図8は、本発明のさらに他の実施形態によりアニメーションシーケンスが生成される過程を例示的に示す図面である。
図8を参照すると、本発明の一実施形態に係る著作システム100がスマートフォン400(すなわち、本発明に係るデバイス400)に含まれる場合を仮定して見ることができる。
まず、スマートフォン400に保存されたソースコンテンツ(例えば、映像、イメージなど)に基づいてターゲット客体(例えば、アイアンマンキャラクタ(図9の901))が獲得され得る。
その次に、前記スマートフォン400のカメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体901のモーションおよびエフェクトのうち少なくとも一つに関する属性情報が決定され得る。
例えば、前記スマートフォン400のカメラが所定経路(例えば、矢印方向)に沿って移動する場合に、カメラに関連するタイムシーケンスで所定周期ごとに(または所定イベントの発生(例えば、所定水準以上のカメラモーションの変化)時ごとに)特定される少なくとも一つのポッド(pod)801、802に対して、前記変化情報に対応するターゲット客体のモーションおよびエフェクトに関する属性情報がマッチングされ得る。
より具体的には、第1ポッド801では、カメラが机の左側から右側に減速しながら平行移動することが前記変化情報である場合に、ターゲット客体901が机の左側に対応する座標から机の右側に対応する座標にスピードを下げながら走っていくこととしてターゲット客体901のモーションに関する属性情報が決定され得る。また、第2ポッド802では、カメラが平行移動する方向に対して所定角度上側に向かって加速して移動することが前記変化情報である場合に、ターゲット客体901が平行移動する方向に対して所定角度上側に飛びながらターゲット客体901を中心に稲妻エフェクトが発生することとしてターゲット客体901のモーションおよびエフェクトに関する属性情報が決定され得る。
その次に、前記決定されるモーションおよびエフェクトに関する属性情報に基づいてターゲット客体901に関するアニメーションシーケンスが生成され得る。
その次に、前記ターゲット客体901に関するアニメーションシーケンスを前記カメラによって撮影される実世界映像に結合して拡張現実(AR)映像が生成され得る。
図9は、本発明のさらに他の実施形態により生成された前記アニメーションシーケンスが実世界背景で動作する画面を例示的に示す図面である。
図9を参照すると、本発明のさらに他の実施形態により前記スマートフォン400のカメラによって撮影される場所(すなわち、机の上)を中心にターゲット客体901が増強されて配置され得、そのターゲット客体901が机左側から右側に走っていきながら速度を下げ、平行移動する方向に対して所定角度上側に飛んでいきながら稲妻エフェクトが発生する拡張現実映像が生成され得る。
以上では、ターゲット客体が有形の対象である場合に関して主に説明したが、無形の対象である場合についても前述した過程と同一の過程でアニメーションシーケンスが生成され得る。
以上で説明された本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現され、コンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、CD-ROMおよびDVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical medium)、およびROM、RAM、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同一である。
以上で本発明が具体的な構成要素などのような特定事項と限定された実施形態および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施形態に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者ならばこのような記載から多様な修正と変更を試みることができる。
したがって、本発明の思想は前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属するものと言える。
100:著作システム
110:ターゲット客体獲得部
120:属性情報決定部
130:アニメーションシーケンス生成部
140:通信部
150:制御部
200:実世界客体
300:仮想客体
110:ターゲット客体獲得部
120:属性情報決定部
130:アニメーションシーケンス生成部
140:通信部
150:制御部
200:実世界客体
300:仮想客体
Claims (1)
- アニメーションシーケンスを生成する方法であって、
カメラの位置および姿勢のうち少なくとも一つに関する変化情報に基づいて、ターゲット客体のモーションおよびエフェクトのうち少なくとも一つに関する属性情報を決定する段階と、
前記決定される属性情報を参照して前記ターゲット客体に関するアニメーションシーケンスを生成する段階と、
を含む、方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0165686 | 2018-12-19 | ||
KR20180165686 | 2018-12-19 | ||
PCT/KR2019/018138 WO2020130692A1 (ko) | 2018-12-19 | 2019-12-19 | 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
JP2021536365A JP7478740B2 (ja) | 2018-12-19 | 2019-12-19 | アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021536365A Division JP7478740B2 (ja) | 2018-12-19 | 2019-12-19 | アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024061774A true JP2024061774A (ja) | 2024-05-08 |
Family
ID=71100730
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021536365A Active JP7478740B2 (ja) | 2018-12-19 | 2019-12-19 | アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
JP2024034340A Pending JP2024061774A (ja) | 2018-12-19 | 2024-03-06 | アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021536365A Active JP7478740B2 (ja) | 2018-12-19 | 2019-12-19 | アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11645802B2 (ja) |
JP (2) | JP7478740B2 (ja) |
KR (2) | KR102361728B1 (ja) |
CN (1) | CN113424230B (ja) |
WO (1) | WO2020130692A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116235208A (zh) * | 2020-07-22 | 2023-06-06 | 安尼派恩有限公司 | 用于制作动画的方法、系统及非暂时性计算机可读记录介质 |
US20230227479A1 (en) | 2020-07-31 | 2023-07-20 | Lg Chem, Ltd. | Method of manufacturing alkoxysilane compound |
WO2023022373A1 (en) * | 2021-08-19 | 2023-02-23 | Samsung Electronics Co., Ltd. | Method and system for generating an animation from a static image |
WO2023224250A1 (ko) * | 2022-05-16 | 2023-11-23 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169471A (ja) | 2008-01-10 | 2009-07-30 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
JP5821526B2 (ja) | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
GB201208088D0 (en) | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
CN104662587B (zh) * | 2012-07-27 | 2017-07-04 | 日本电气方案创新株式会社 | 三维用户界面装置以及三维操作方法 |
KR20140095414A (ko) | 2013-01-24 | 2014-08-01 | (주) 애니펜 | 애니메이션의 모션 시퀀스를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
KR101692335B1 (ko) | 2015-02-25 | 2017-01-03 | 이은미 | 증강현실 영상표시 시스템 및 증강현실 영상표시 방법 |
JP6596883B2 (ja) * | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
US10360728B2 (en) * | 2015-05-19 | 2019-07-23 | Hand Held Products, Inc. | Augmented reality device, system, and method for safety |
KR20170067673A (ko) * | 2015-12-08 | 2017-06-16 | 스타십벤딩머신 주식회사 | 애니메이션 생성 방법 및 애니메이션 생성 장치 |
US10068385B2 (en) * | 2015-12-15 | 2018-09-04 | Intel Corporation | Generation of synthetic 3-dimensional object images for recognition systems |
US20190004639A1 (en) * | 2017-06-29 | 2019-01-03 | Microsoft Technology Licensing, Llc | Providing living avatars within virtual meetings |
KR101909994B1 (ko) | 2017-08-09 | 2018-10-22 | 서영철 | 나노블럭을 이용한 3d 증강현실 서비스 제공 방법 |
KR101910931B1 (ko) | 2017-08-09 | 2018-10-23 | 서영철 | 고유코드를 이용한 푸드 3d 증강현실 서비스 제공 방법 |
KR102009031B1 (ko) | 2018-09-07 | 2019-08-08 | 네이버랩스 주식회사 | 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템 |
-
2019
- 2019-12-19 US US17/416,146 patent/US11645802B2/en active Active
- 2019-12-19 CN CN201980091913.XA patent/CN113424230B/zh active Active
- 2019-12-19 WO PCT/KR2019/018138 patent/WO2020130692A1/ko active Application Filing
- 2019-12-19 JP JP2021536365A patent/JP7478740B2/ja active Active
- 2019-12-19 KR KR1020190171212A patent/KR102361728B1/ko active IP Right Grant
-
2021
- 2021-07-28 KR KR1020210099507A patent/KR102523601B1/ko active IP Right Grant
-
2024
- 2024-03-06 JP JP2024034340A patent/JP2024061774A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN113424230B (zh) | 2024-03-05 |
KR20200076647A (ko) | 2020-06-29 |
US20220076473A1 (en) | 2022-03-10 |
JP2022516029A (ja) | 2022-02-24 |
KR102523601B1 (ko) | 2023-04-20 |
CN113424230A (zh) | 2021-09-21 |
KR102361728B1 (ko) | 2022-02-11 |
WO2020130692A1 (ko) | 2020-06-25 |
US11645802B2 (en) | 2023-05-09 |
KR20210100048A (ko) | 2021-08-13 |
JP7478740B2 (ja) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7002684B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
JP7478740B2 (ja) | アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 | |
JP6657289B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
US10796489B1 (en) | Game engine responsive to motion-capture data for mixed-reality environments | |
JP6646620B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
US20150070274A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
JP2021530817A (ja) | 画像ディスプレイデバイスの位置特定マップを決定および/または評価するための方法および装置 | |
WO2018125742A2 (en) | Dynamic depth-based content creation in virtual reality environments | |
GB2553607A (en) | Virtual reality | |
EP3383036A2 (en) | Information processing device, information processing method, and program | |
US12014455B2 (en) | Audiovisual presence transitions in a collaborative reality environment | |
US10672190B2 (en) | Customizing appearance in mixed reality | |
Lee et al. | Game Development Utilizing Several Input Devices |