JP6892498B2 - 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム - Google Patents

多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム Download PDF

Info

Publication number
JP6892498B2
JP6892498B2 JP2019513893A JP2019513893A JP6892498B2 JP 6892498 B2 JP6892498 B2 JP 6892498B2 JP 2019513893 A JP2019513893 A JP 2019513893A JP 2019513893 A JP2019513893 A JP 2019513893A JP 6892498 B2 JP6892498 B2 JP 6892498B2
Authority
JP
Japan
Prior art keywords
video
computer
reaction type
input operation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019513893A
Other languages
English (en)
Other versions
JP2019535064A (ja
Inventor
ウ イ，チョル
ウ イ，チョル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority claimed from PCT/KR2017/009837 external-priority patent/WO2018048227A1/ko
Publication of JP2019535064A publication Critical patent/JP2019535064A/ja
Priority to JP2021088851A priority Critical patent/JP7258950B2/ja
Application granted granted Critical
Publication of JP6892498B2 publication Critical patent/JP6892498B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Description

本発明は多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラムに関する。
近年、映像撮影技術が飛躍的に進歩しつつある。カムコーダ、デジタルカメラだけでなく、スマートフォンなどの移動端末も高い解像度の映像を撮影することができる。また、３６０度カメラ、３Ｄ映像カメラなどが登場している。
映像は、映像撮影装置により撮影されて特定のフォーマットで格納され、再生可能な端末により再生される。映像の再生は、視聴者との相互作用（Ｉｎｔｅｒａｃｔｉｏｎ）がなく、一方的に時間順に提供される。即ち、視聴者は再生される映像を通じて視覚的な感覚のみを感じることができる。
そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、対象体の特定領域に対する操作に対応する映像フレームを連結しておくことによって、ユーザの入力操作に符合するように反応する映像を生成し、ユーザに提供する多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラムを提供することにある。
本発明が解決しようとする課題は、以上で言及された課題に限定されず、言及されていない他の課題は、下記の記載から通常の技術者が明確に理解できるはずである。
本発明の一実施形態に係る多次元反応型映像生成方法は、コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得し、前記基礎映像は、対象体に操作体で操作を加える映像である多次元映像フレーム獲得段階と、コンピュータが前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成し、前記３次元のセル組み合わせは、異なる深さ情報及び位置情報が付与された複数の細部セルを含むセル組み合わせ生成段階と、コンピュータが前記基礎映像に含まれているそれぞれの映像フレームを、対応する前記細部セルにマッチさせる段階とを含み、前記深さ情報は、反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、前記設定領域は、対象体内で反応型映像として生成される２次元空間領域であり、前記フレーム密度は、前記基礎映像内の特定地点に適用される前記深さ情報段階の数である。
また、他の実施形態として、前記多次元映像フレームは、操作体を用いて特定の対象体に操作が加えられる位置と圧力強度を変更しながら反復的に獲得される。
更に、他の実施形態として、前記多次元映像フレーム獲得段階は、操作体で対象体に入力操作を加える映像全体から入力操作が加えられた後に復元される復元映像を抽出し、前記復元映像内の複数の映像フレームを獲得することを特徴とする。
また、他の実施形態として、前記反応型映像として生成される前記設定領域を指定する段階を更に含む。
更に、他の実施形態として、特定強度の圧力が加えられた後、基礎映像内の変化を認識して前記対象体の復元変数を算出する段階を更に含む。
本発明の他の実施形態に係る多次元反応型映像生成プログラムは、ハードウェアと結合されて前記言及された多次元反応型映像生成方法を実行し、媒体に格納される。
本発明の他の実施形態に係る多次元反応型映像再生方法は、コンピュータがユーザから対象体に対する入力操作を受信する段階と、各再生時点で受信した前記入力操作の位置情報及び深さ情報に従って、前記コンピュータが反応型映像から位置情報及び深さ情報に対応する細部セルにマッチした映像フレームを抽出する段階とを含み、前記深さ情報は、前記反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、前記細部セルは、前記入力操作の位置情報及び深さ情報に対応する特定の映像フレームがマッチしたものであって、反応型映像内の３次元のセル組み合わせを構成する。
また、他の実施形態として、隣接する領域に連続的な入力操作が入力される場合、コンピュータが画面上の特定地点に対応する深さ情報が異なる複数の映像フレームの組み合わせ又は以前の時点に提供された映像フレームと現在の入力操作に対応する細部セル内の映像フレームの組み合わせを基にモーフィングを行って最終の再生映像フレームを生成する段階を更に含む。
更に、他の実施形態として、コンピュータが前記反応型映像から復元変数を抽出して映像フレームの変化速度を調節する段階を更に含む。
また、他の実施形態として、コンピュータが反応型映像を実行した特定時点からの時間経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階を更に含む。
本発明の他の実施形態に係る多次元反応型映像再生プログラムは、ハードウェアと結合されて前記言及された多次元反応型映像再生方法を実行し、媒体に格納される。
前記のような本発明によれば、以下のような多様な効果を有する。
第一に、ユーザによりタッチ操作時に現実での対象体表面の変化と同様に反応型映像を再生することによって、ユーザに現実感あふれる再生映像を提供できるという効果を奏する。
第二に、映像に対する視聴者らの関心を高め、伝達力を最大化できるという効果がある。これにより、映像内の特定の物体に対する広報効果を向上させることができる。
第三に、物体を撫でるなどの特定区間を往復又は特定動作を繰り返す映像を生成する場合、特定の第１方向に動く一部の映像のみを獲得した後、ユーザの入力操作によって反復再生（例えば、順方向再生及び逆方向再生を反復）を行うようにすることができる。これにより、繰り返される動作を含む映像の格納容量を減らすことができるという効果が得られる。
第四に、各細部セルに格納されている基本映像フレームを基にモーフィングを行ってユーザにより画面上に提供される操作に符合する現実感あふれる最終の再生映像フレームを提供できる。従って、動きの類型別に異なる映像フレームを格納しなくてもよいので、格納容量を顕著に減らすことができる。
本発明の一実施形態に係る多次元反応型映像生成方法の順序図である。 本発明の一実施形態によって反応型生成領域を複数の再生区域に分けるために複数の分割イメージを生成した例示図である。 本発明の一実施形態に係る反応型生成領域を指定する過程を更に含む多次元反応型映像生成方法の順序図である。 本発明の一実施形態に係る復元変数を算出する過程を更に含む多次元反応型映像生成方法の順序図である。 本発明の一実施形態に係る多次元反応型映像再生方法の順序図である。 本発明の一実施形態に係る入力操作の位置情報及び深さ情報を基に映像フレームを抽出する細部セルを決定する過程を示す例示図である。 本発明の一実施形態に係る映像フレームのモーフィング過程を更に含む多次元反応型映像再生方法の順序図である。 本発明の一実施形態に係る復元変数で映像フレームの再生を調節する過程を更に含む多次元反応型映像再生方法の順序図である。 本発明の一実施形態に係る時間の経過に伴う対象体の状態変化を反映し、入力操作による映像フレームの変化を調節する過程を示す多次元反応型映像再生方法の順序図である。
以下、添付の図面を参照し、本発明の好適な実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になるはずである。しかし、本発明は以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は本発明の開示を完全なものにし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。明細書全体に亘って同一の参照符号は、同一の構成要素を示す。
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の知識を有する者が共通して理解できる意味として使用され得る。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。
本明細書において「コンピュータ」は、演算処理を行える多様な装置が全て含まれる。例えば、コンピュータはデスクトップＰＣ、ノートブック（Ｎｏｔｅ Ｂｏｏｋ）のみならず、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ、携帯電話（Ｃｅｌｌｕｌａｒ ｐｈｏｎｅ）、ＰＣＳフォン（ＰＣＳ ｐｈｏｎｅ；Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ ｐｈｏｎｅ）、同期式／非同期式ＩＭＴ-２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ-２０００）の移動端末、パームＰＣ（Ｐａｌｍ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯情報端末（ＰＤＡ；Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）なども該当し得る。また、コンピュータは、クライアントから情報を受信するサーバコンピュータも該当し得る。以下、本明細書においてコンピュータは端末又はクライアントとも表現されることができる。
本明細書において「反応型映像」は、映像を視聴するユーザ（即ち、視聴者）の特定の入力操作に相応する形態で映像が再生される映像を意味する。例えば、反応型映像は、ユーザにより特定の物体（例えば、枕）をタッチする形態の入力操作がタッチスクリーンに加えられると、タッチスクリーンに対する入力操作と同様に物体をタッチする動きが再生される映像を意味する。また、例えば、反応型映像は、ユーザにより特定の物体を押圧する形態の入力操作がタッチスクリーンに加えられると、物体が押圧される動きとユーザの入力操作以後に再び復元される動きが再生される映像を意味する。
本明細書において「基礎映像」は、反応型映像の生成のために用いられる複数の映像フレームの組み合わせを意味する。
本明細書において「第１クライアント」は、反応型映像を生成する第１ユーザ（即ち、反応型映像製作者）のクライアント装置を意味する。
本明細書において「第２クライアント」は、反応型映像を再生する第２ユーザ（即ち、反応型映像利用者）のクライアント装置を意味する。
本明細書において「入力操作」は、反応型映像を再生するコンピュータの入力手段によって受信されるユーザの映像に対する操作を意味する。例えば、前記入力操作は、マウス又はタッチスクリーンのような入力手段を通じて映像内の特定の地点又は領域に入力され得る操作（例えば、クリック操作、ドラッグ操作、接触タッチ操作、感圧タッチ（Ｆｏｒｃｅ Ｔｏｕｃｈ）操作（即ち、タッチスクリーン又はタッチパッドに特定圧力を加えるタッチ操作））を含むことができる。また、例えば、前記入力操作は、コンピュータ（又は端末）が備えるセンサ（例えば、加速度センサ、ジャイロセンサなど）を入力手段として獲得され得る端末自体の配置状態又は動きなどを含むことができる。
本明細書において「対象体」は、ユーザにより操作される反応型映像内の物体を意味する。例えば、ユーザが手で特定の物体をタッチする動作を撮影した映像である場合、前記対象体はユーザによりタッチされる物体を意味する。
本明細書において「操作体」は、映像内で対象体に操作又は動き（Ｍｏｔｉｏｎ）を行うことを意味する。例えば、映像内において手でカバン又は枕をタッチするか、押圧する場合、操作体はカバン又は枕をタッチする手を意味する。
以下、図面を参照し、本発明の実施形態に係る多次元反応型映像生成装置、多次元反応型映像生成方法、多次元反応型映像再生方法及びプログラムについて詳細に説明する。
図１は、本発明の一実施形態に係る多次元反応型映像生成方法の順序図である。
図１を参照すれば、本発明の一実施形態に係る多次元反応型映像生成方法は、コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得する段階（Ｓ２００）と、前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成する段階（Ｓ６００）と、それぞれの細部セルに対応する映像フレームをマッチさせる段階（Ｓ１０００）とを含む。以下、各段階についての詳細な説明を記述する。
コンピュータは、基礎映像を形成する複数の多次元映像フレームを獲得する（Ｓ２００）。即ち、コンピュータはカメラによって多次元映像フレームを獲得することができ、既に獲得された１つの映像から複数の映像フレームを抽出することができる。例えば、コンピュータは、特定の操作体（例えば、手、棒、空気圧提供装置など）によって特定の対象体に操作を加える映像を撮影することができる。
前記基礎映像を生成する方式の一実施形態として、コンピュータは操作体を用いて特定の対象体に特定の操作（例えば、タッチする操作、押圧する操作）を加える映像を複数の条件のうち何れか１つのみを変更しながら、複数回獲得する。即ち、コンピュータは、対象体とカメラの位置は固定した状態で操作体の２次元空間上の動き（即ち、Ｘ軸方向の動きとＹ軸方向の動き）、Ｚ軸方向の動き（即ち、物体を押圧する圧力）のうち何れか１つの条件のみを変更しながら、映像撮影を行うことができる。
例えば、押圧する圧力と特定の第１軸（例えば、Ｙ軸）上の位置を固定した状態で第２軸（例えば、Ｘ軸）に沿って一方向にのみ動く基礎映像を獲得し、第１軸上の位置又は押圧する圧力を順に変更しながら、基礎映像を継続して獲得する。具体的に、コンピュータは、カメラによって対象体を押圧する圧力を固定し、Ｙ軸上の値を固定した状態でＸ軸に沿って操作体を移動する映像を獲得し、対象体に加えられる圧力とＹ軸上の位置を固定した状態でＸ軸方向への移動が完了すると、Ｙ軸上の位置を最小単位だけ変更し、再びＸ軸方向へ移動を行いながら、基礎映像の獲得を繰り返すことができる。また、第１軸上の位置を変更しながら第２軸に沿って移動する過程を繰り返した後、コンピュータは、操作体により対象体に加えられる圧力を変更して２次元空間上を移動させる過程を繰り返すことができる。これにより、コンピュータは、特定の２次元空間の各位置で押圧する強度に符合する映像フレームをそれぞれ獲得して反応型映像の生成のための最終の基礎映像を生成することができる。
また、前記基礎映像を生成する方式の他の実施形態として、コンピュータは基礎映像の生成及び格納時に、コンピュータは、第２軸（例えば、対象体に加えられる圧力と第１軸（即ち、Ｙ軸）上の位置を固定した状態で第２軸（即ち、Ｘ軸）方向への移動が完了した後、第１軸（即ち、Ｙ軸）上の位置を調節するために第１軸の初期地点に操作体が再び復帰する映像を格納せずに削除する。即ち、第１軸方向の位置変更のために第２軸上において反対方向へ移動する過程の映像フレームは反応型映像の生成に不要な映像フレームであるので、コンピュータは、操作体の動き方向を判断して映像フレームを獲得する方向と反対方向に動いた映像フレームを格納せずに削除する。これにより、反応型映像に含まれる映像フレームの数を減らしてファイルの大きさを縮小することができる。
また、他の実施形態として、コンピュータは、基礎映像の生成及び格納時に復元映像のみを格納する。コンピュータは、対象体の特定地点の状態が外力が印加された後に外力が加えられない状態に復元される復元映像のみを格納する。具体的に、コンピュータは、操作体により圧力が加えられる再生範囲を削除し、前記操作体による外力が加えられた後、復元される再生範囲（即ち、復元映像）を格納する。コンピュータは、復元される過程のそれぞれの映像フレームを特定地点の深さ情報別の細部セルにそれぞれマッチさせる。これにより、コンピュータは操作体に遮られず、特定地点の表面状態が変わる映像フレームを獲得することができる。
更に、他の実施形態として、コンピュータは、操作体が位置して遮られる領域を対象体のみ存在するフレームを用いてイメージプロセッシング（例えば、操作体に対応する部分の対象体イメージを切り取って付ける方式）を行って操作体なしに対象体のみ存在する映像フレームを生成して格納することができる。
また、他の実施形態として、コンピュータは、ユーザの操作類型によって異なる映像フレームを提供できるように、操作の類型別に映像フレームを格納する。例えば、ユーザが反応型映像の特定地点に対して圧力を加えた後、圧力を除去する操作を行う場合、圧力が加えられる地点以外の対象体領域は変化が発生してはならない。反面、圧力を加えながら特定方向に操作体が移動する場合、操作体により圧力が既に加えられた後、操作体が通過した領域が復元される映像フレームを提供しなければならない。従って、コンピュータは操作の類型（例えば、特定地点に対してタッチ操作、タッチスクリーン上を特定の圧力を加えながらドラッグする操作）によって異なる映像フレームが提供されるように格納する。このために、コンピュータは、タッチスクリーン上に入力される操作類型を判断し、順序通りに提供すべき映像フレームの類型を決定することができる。
その後、コンピュータは、前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に反応型生成領域内に３次元のセル組み合わせを生成する（Ｓ６００）。前記設定領域は、対象体内で操作体により操作が加えられる２次元空間領域である。前記フレーム密度は、特定の地点にマッチする複数のフレーム数を意味する。即ち、フレーム密度は、設定領域に付与される深さ（Ｚ軸方向の深さ）段階の数又は加えられる圧力強度段階の数に対応する。外力により形状が変形される物体の場合、圧力強度によってＺ軸方向の深さが変わるので、フレーム密度は、深さ段階と圧力強度段階のうち何れか１つに対応し得る。
前記フレーム密度は、第１ユーザにより設定されてもよく、コンピュータ（即ち、第１クライアント）に設定されていてもよい。例えば、コンピュータは、感圧タッチセンサで検知する圧力強度段階の数を基にフレーム密度を設定することができる。例えば、感圧タッチセンサで検知する圧力強度段階の数が最大フレーム密度で適用され、コンピュータは、フレーム密度よりも実際に獲得された映像フレーム数が少ない場合、連続する複数の細部セルに同一の映像フレームがマッチするようにすることができる。
コンピュータは、設定領域の分割された細部単位数とフレーム密度を基に３次元のセル組み合わせを形成する。セル組み合わせは、Ｘ軸方向に単位間隔でＬ個に分割され、Ｙ軸方向に単位間隔でＭ個に分割され、Ｚ軸方向にフレーム密度に対応するようにＮ個に分割されてＬ×Ｍ×Ｎ個の細部セルを含む。それぞれの細部セルは、設定領域内の該当地点と圧力強度が付与されており、これに符合する映像フレームを格納する位置とマッチする。即ち、コンピュータは、セル組み合わせを配列で生成し、前記配列内の個別セルに対応する映像フレームの格納位置が連結されるようにする。
その後、コンピュータは、それぞれの細部セルに対応する映像フレームをマッチさせて格納する（Ｓ１０００）。即ち、コンピュータは、基礎映像内の各映像フレームの２次元空間上の位置と対象体に加えられる圧力又はＺ軸方向の深さを基にそれぞれの細部セルに個別に格納する。
各細部セルに圧力強度別のフレームをマッチさせる方式は、多様な方式が適用されることができる。一実施形態として、コンピュータ内に最大強度が設定されており、強度全体を特定数単位に分割して設定されている場合、コンピュータは、ユーザから圧力数の入力を受けることによって圧力強度を設定する。また、他の実施形態として、コンピュータは、基礎映像が再生される過程に入力操作を加えるようにして、各映像フレームに対応する位置情報及び深さ情報を直ちに決定して細部セルをマッチさせることができる。
また、２次元空間上の位置を決定する方式の一実施形態として、コンピュータは、イメージ認識を通じて入力操作が加えられる２次元空間上の位置を把握し、画面上の該当位置を画面上の細部セルがマッチする地点として決定する。
更に、他の実施形態として、図２に示すように、コンピュータは、反応型生成領域を特定数の再生区域に分割するように各映像フレームを分割する分割イメージを生成して各対応するタッチスクリーン上の地点にマッチさせる。コンピュータは、映像の獲得時には１つに獲得された映像フレームを反応型生成領域を分割する分割線により複数の分割イメージに分割し、タッチスクリーン上の各地点に個別に分割イメージをマッチさせる。その後、１つ以上の操作がタッチスクリーン全体上に入力されることによって、コンピュータは、各再生区域の操作に符合する分割イメージを抽出して結合し、タッチスクリーン上に提供する。これにより、１つの映像フレームソース（Ｓｏｕｒｃｅ）を基に分割された複数の領域がマルチプレイするように実現することができ、コンピュータは、ユーザにより複数の地点に入力操作が入力される場合、複数の地点で反応が生成される反応型映像を生成することができる。
また、他の実施形態として、図３に示すように、反応型として生成される設定領域を指定する段階（Ｓ５００）を更に含む。一実施形態として、コンピュータは、基礎映像内で対象体に外形の変化が生じる領域を含む範囲を設定領域として指定することができる。例えば、第１ユーザが操作体（例えば、手）を用いて対象体（例えば、パッド）に外力を加える場合、コンピュータは外力により外形が変わる部分（即ち、パッドが押圧される部分）のみを第１ユーザにより反応型にしようと意図する領域として判断できる。また、基礎映像内に対象体のみならず、操作体が共に撮影されて含まれる場合、コンピュータは操作体の動きは排除し、対象体の外形の変化のみを認識して設定領域を指定することができる。
更に、前記設定領域を指定する他の実施形態として、コンピュータは、基礎映像内の複数の映像フレーム内に同一に存在する対象体イメージ自体を抽出し、設定領域として指定する。即ち、対象体の表面が反応型に生成される領域を含むので、コンピュータは、基礎映像内に同一に含まれている対象体の範囲全体を設定領域として指定することができる。
また、前記設定領域を指定する他の実施形態として、コンピュータは、操作体（例えば、手）の動きをトラッキングし、操作体（例えば、手）の移動経路を含む範囲を設定領域として指定する。即ち、コンピュータは、操作体が動く領域を抽出して設定領域として指定する。
更に、前記設定領域を指定する他の実施形態として、コンピュータは、第１ユーザから特定の映像フレームに反応型領域を設定する入力を受信する。例えば、コンピュータは、画面上に基礎映像内の特定の映像フレームを抽出して提供し、ユーザから設定領域として指定する対象体の２次元範囲の指定を受けることができる。
基礎映像でカメラ及び対象体の位置が固定されている場合、コンピュータは任意の映像フレームを提供した後、対象体の領域をタッチ操作を通じて設定を受けることができる。コンピュータは、特定のフレームに指定された設定領域を全てのフレームに同一に指定できる。また、他の例として、カメラ又は対象体の位置が変更される場合、コンピュータは特定の映像フレーム内に設定領域の指定を受けた後、前記設定領域のイメージに対応する各映像フレーム内の領域を設定領域として自動的に指定することができる。
また、更に他の実施形態として、図４に示すように、特定強度の圧力が加えられた後、基礎映像内の変化を認識して該当対象体の復元変数を算出する段階（Ｓ４００）を更に含む。前記復元変数は、特定の圧力が加えられた後に実際に対象体に圧力が加えられていない状態に復元される動きを、タッチスクリーン上でユーザの特定の圧力強度を有する圧力操作の後に反応型映像が実際と同様に復元されるようにする変数を意味する。コンピュータ（即ち、第１クライアント）は復元変数を算出した後、反応型映像に含んで第２クライアントに提供し、第２クライアントは後述するように反応型映像の映像フレーム再生時に復元変数を反映することができる。即ち、第２クライアントは、復元変数を反映して反応型映像を再生することによって、実際に対象体の外形が復元される形態と類似するように表現できる。第２クライアントは、復元変数を適用してタッチスクリーン上に圧力が加えられることによって、圧力の変化によって順次、映像フレームが変更され、実際に対象体の動きと同一に外形が復元されるように映像フレームを再生する。
前記復元変数を算出する方式の一実施形態として、コンピュータは、基礎映像の生成時に操作体により対象体に圧力を加えた後、復元される複数の映像フレームを獲得し、映像フレーム内の対象体の時間当り変化を基に復元変数を算出する。
また、復元変数を算出する他の実施形態として、特定の圧力で反応型生成領域において操作体により特定の圧力が加えられながら基礎映像に含まれる複数の映像フレームを獲得する過程で、コンピュータは、対象体上で操作体が移動した領域（例えば、手で対象体に圧力を加えた状態で移動する場合に手が通過した領域）での対象体の変化を分析して復元変数を算出する。これにより、ユーザは、復元変数を算出するために対象体に対して操作体を用いて圧力を加える過程を行わなくてもよいので、簡便に現実感あふれる反応型映像を生成できる。
更に、他の実施形態として、コンピュータが撮影された対象体の種類又は操作体の動きをイメージ学習を通じて把握し、対象体の特性に符合する復元変数を決定する。コンピュータがイメージを学習する方式の例として、コンピュータは、機械学習アルゴリズムを用いて対象体の種類又は操作体の動きを学習することができる。前記機械学習アルゴリズムは、ディープニューラルネットワークを基に学習を行うディープランニングアルゴリズムを含む。
例えば、コンピュータは、ビッグデータとして構築されるか、クローリングを通じて獲得されたイメージを基に基礎映像内に含まれている対象体を把握できる。また、例えば、コンピュータは、多数の動画に含まれている操作体の動き（例えば、手の動き）映像を累積して学習を行い、基礎映像内の操作体の動きに対応する複数のフレームを基に操作体により行われる動きが如何なる行動又は操作であるかを判断する。
図５は、本発明の一実施形態に係る多次元反応型映像再生方法の順序図である。
図５を参照すれば、本発明の他の実施形態に係る多次元反応型映像再生方法は、第２クライアントは、第２ユーザから対象体に対する入力操作を受信する段階（Ｓ１２００）及び前記入力操作を基に、前記第２クライアントが前記反応型映像内の映像フレームを順次提供する段階（Ｓ１４００）を含む。以下、各段階についての詳細な説明を記載する。
第２クライアントが第２ユーザから対象体に対する入力操作を受信する（Ｓ１２００）。即ち、第２クライアントは、第２ユーザによる入力操作に対応する細部セルの条件を獲得する。第２クライアントは、第２ユーザの入力操作を通じて画面上の位置（即ち、ユーザの入力操作が加えられる地点のＸ座標及びＹ座標）情報と深さ情報（即ち、加えられる圧力データ又は画面に接触する時間長）を獲得する。
第２ユーザにより連続する入力操作が加えられると、第２クライアントは単位時間間隔で位置情報及び深さ情報を獲得する。例えば、特定の軸方向（例えば、Ｘ軸方向又はＹ軸方向）に沿って動く場合、第２クライアントは単位時間間隔ごとに変更された位置情報及び深さ情報を獲得する。また、例えば、第２ユーザから対角線方向に圧力強度が変更されながら移動する入力操作を受信する場合、第２クライアントは変更される位置情報と深さ情報を順次獲得する。
前記入力操作を基に、前記第２クライアントは、前記反応型映像内の映像フレームを順次抽出又は提供する（Ｓ１４００）。前記入力操作の位置情報及び深さ情報が変更されることによって、コンピュータが、変更された位置情報及び深さ情報に対応する細部セルにマッチした映像フレームを抽出して連続的に提供する。
図６に示すように、入力操作の圧力強度又は接触時間の長さを増加させながら、Ａ地点、Ｂ地点、Ｃ地点に入力操作を移動する場合、第２クライアントは入力操作が加えられる位置（例えば、指が接触した位置）の複数の細部セルの中から加えられた圧力強度又は接触時間の長さに対応する細部セルを探索し、細部セルにマッチした映像フレームを抽出する。
具体的に、第２クライアントは、Ａ地点では圧力が加えられずに接触することによって０レベルの細部セルを選択し、Ｂ地点では圧力強度を基に１レベルの細部セルを選択し、Ｃ地点では圧力強度を基に４レベルの細部セルを選択する。第２クライアントは、Ａ地点からＣ地点へ移動しながら選択された各細部セルにマッチした映像フレームを順次提供する。
一実施形態として、コンピュータである第２クライアントは、サービスサーバからそれぞれの映像フレームを受信して再生することができる。例えば、第２クライアントは、サービスサーバに画面上の位置（例えば、第２ユーザの入力操作が加えられた画面上のピクセル位置）と圧力センサにより測定された圧力強度又は画面に接触した時間長を伝送し、サービスサーバはこれを基にセル組み合わせ内の特定の細部セルを探索してこれにマッチした映像フレームを第２クライアントに提供する。第２クライアントは、サービスサーバから受信した映像フレームを画面上に抽出する。サービスサーバとクライアント間の通信による遅延（Ｄｅｌａｙ）が短い場合、第２クライアントに第２ユーザの入力操作が入力された後、短時間後に入力操作の位置情報及び深さ情報（即ち、圧力強度又は接触時間長）に対応する映像フレームを表示できるので、第２ユーザの操作に直ちに反応するかのように映像を実現できる。
また、他の実施形態として、第２クライアントは、サービスサーバ又は第１クライアントから反応型映像のセル組み合わせ全体を受信した後、各時点の入力操作による位置情報と深さ情報（即ち、加えられた圧力強度又は時間長）を基にセル組み合わせ内の特定の細部セルを探索してこれにマッチした映像フレームを抽出して画面上に表示する。
これにより、第２クライアントは、ユーザによる入力操作の動き別に再生される映像を別途に備える必要なく、それぞれの入力操作の条件（即ち、位置情報及び深さ情報）による映像フレームをデータベースとして生成しておくことによって、第２ユーザの入力操作に対応する多様な対象体の動き（Ｍｏｔｉｏｎ）を実現できる。
また、他の実施形態として、第２クライアントは、入力操作の加圧方式によって順次再生されるフレームを抽出する細部セルが異なるように決定されることができる。
更に、本発明の他の実施形態は、隣接する領域に連続的な操作が入力される場合、第２クライアントがタッチスクリーン（即ち、画面）上の特定地点に対応する複数の映像フレームを基にモーフィング（Ｍｏｒｐｈｉｎｇ）を行って最終の再生映像フレームを生成する段階（Ｓ１３００）を更に含む。例えば、コンピュータがユーザにより特定の圧力が加えられ、第１軸方向及び第２軸方向に対象体を操作しながら獲得した映像フレームを基礎映像として格納する場合、コンピュータは、複数の映像フレームを基に特定時点でタッチ操作が入力される地点以外の領域に対してはモーフィングを行った映像フレームを生成する。これにより、ユーザの操作時に自然に変化する反応型映像を生成することができる。
具体的に、第２クライアントは、第１時点に提供された映像フレームと指の位置と圧力強度が変わることによって第２時点（第１時点から特定時間が経過した時点）に提供された映像フレームを基にモーフィングを行う。即ち、第２クライアントは、現在の入力操作に符合する細部セルの映像フレームと以前に提供された１つ以上の映像フレームを用いてモーフィングを行う。例えば、第２クライアントは、同一地点に第１時点の映像フレームと第２時点の映像フレームの平均値を適用して最終の再生映像フレームを生成できる。
これにより、入力操作に符合する細部セル内の映像フレームが第２ユーザの行う動きに符合しなくても補正を通じて動きに符合する最終の再生映像フレームを生成できる。即ち、第２ユーザが提供する動きに合う映像を提供することによって現実感を提供でき、全ての動きに対する映像フレームを格納する必要なく、基本映像フレームのみを各細部セルにマッチさせて格納した状態で多様な映像フレームを生成できるため、格納空間を節約できる。
また、第２クライアントは、第２ユーザにより入力操作が入力される地点から予め定められた範囲内のイメージ領域を共に変形させることができる。即ち、特定地点に圧力が加えられることによって周辺領域にも変形が生じるので、第２クライアントは周辺領域の補正を共に行う。
第２クライアントは、設定された入力操作が加えられた地点から設定された周辺領域の最終部分まで連続的に変わるものと表現されるように補正できる。例えば、入力操作が加えられた地点の色値と周辺領域の最終の色値を基に順次、色が変わるように補正を行う。このとき、第２クライアントは、入力操作が加えられない基本状態の映像フレームを共に活用できる。
第２クライアントは、入力操作の圧力強度に従って補正される周辺領域の範囲を異なるように決定できる。例えば、入力操作が加えられる対象体がクッションである場合、強い圧力が加えられるほど表面の変形が発生する領域が広くなるので、第２クライアントは、反応型映像の再生時に現実感を提供するために圧力強度に従って変形範囲を決定する。
また、他の実施形態として、第２クライアントが反応型映像から復元変数を抽出して映像フレームの変化を調節する段階（Ｓ１５００）を更に含む。即ち、第２クライアントは、反応型映像に共に含まれて提供される復元変数を基に入力操作が加えられた後、映像フレームが変更される速度を調節する。これにより、実際に対象体を操作する時と同様に映像を再生できる。
更に、他の実施形態として、第２クライアントが反応型映像を実行した特定時点からの時間経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階（Ｓ１６００）を更に含む。これにより、現実において時間の経過に伴い、状態変化が生じて圧力による変形の程度が変わる対象体（例えば、果物、パン、セメントなど）の特性を反応型映像でも現実と同様に状態変化を実現でき、ユーザは時間の変化に伴う物体の硬度変化を反応型映像を通じて感じることができる。例えば、第２クライアントは、反応型映像内でパンが時間の経過に伴って硬くなり、軟らかさが減少すること、セメントや粘土などが時間の経過に伴って硬くなることを、対象体の変形が少ない映像フレームを圧力によって提供される最後のフレームに変更するか、映像フレームの変化速度を調節して実現することができる。
本発明の他の実施形態に係る多次元反応型映像生成装置は、制御部を含む。前記制御部は、本発明の実施形態に係る多次元反応型映像生成方法を行う。
また、多次元反応型映像生成装置の他の実施形態は、基礎映像を撮影する映像撮影部（即ち、カメラ）を含む。
以上で前述した本発明の実施形態に係る多次元反応型映像生成方法及び再生方法は、ハードウェアであるコンピュータと結合されて実行されるためにプログラム（又はアプリケーション）で実現して媒体に格納されることができる。
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順と関連する制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されなければならないかに対するメモリ参照関連コードを更に含むことができる。また、前記コンピュータのプロセッサが前記機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連コードを更に含むことができる。
前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短時間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに限定されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散されて分散方式でコンピュータが読み取れるコードが格納されることができる。
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるはずである。従って、以上で記述した実施形態は、全ての面で例示的なものであり、制限的ではないものとして理解すべきである。

Claims (6)

  1. コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得し、前記基礎映像は、対象体に操作体で操作を加える映像である多次元映像フレーム獲得段階と、
    コンピュータが前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成し、前記３次元のセル組み合わせは、異なる深さ情報及び位置情報が付与された複数の細部セルを含むセル組み合わせ生成段階と、
    コンピュータが前記基礎映像に含まれているそれぞれの映像フレームを、対応する前記細部セルにマッチさせる段階と、
    特定強度の圧力が加えられた後、基礎映像内の変化を認識して前記対象体の復元変数を算出する段階とを含み、
    前記深さ情報は、反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、
    前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、
    前記設定領域は、対象体内で前記反応型映像として生成される２次元空間領域であり、
    前記フレーム密度は、前記基礎映像内の特定地点に適用される前記深さ情報段階の数であることを特徴とする多次元反応型映像生成方法。
  2. ハードウェアであるコンピュータと結合され、請求項１に記載の方法を実行させるために媒体に格納された多次元反応型映像生成プログラム。
  3. コンピュータがユーザから対象体に対する入力操作を受信する段階と、
    各再生時点で受信した前記入力操作の位置情報及び深さ情報に従って、前記コンピュータが反応型映像から位置情報及び深さ情報に対応する細部セルにマッチした映像フレームを抽出する段階と、
    コンピュータが前記反応型映像から復元変数を抽出して映像フレームの変化速度を調節する段階とを含み、
    前記深さ情報は、前記反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、
    前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、
    前記細部セルは、前記入力操作の位置情報及び深さ情報に対応する特定の映像フレームがマッチしたものであって、反応型映像内の３次元のセル組み合わせを構成する、多次元反応型映像再生方法。
  4. 隣接する領域に連続的な入力操作が入力される場合、
    コンピュータが画面上の特定地点に対応する深さ情報が異なる複数の映像フレームの組み合わせ又は以前の時点に提供された映像フレームと現在の入力操作に対応する細部セル内の映像フレームの組み合わせを基にモーフィングを行って最終の再生映像フレームを生成する段階を更に含むことを特徴とする請求項３に記載の多次元反応型映像再生方法。
  5. コンピュータが反応型映像を実行した特定時点からの時間経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階を更に含むことを特徴とする請求項３に記載の多次元反応型映像再生方法。
  6. ハードウェアであるコンピュータと結合され、請求項３〜５に記載の方法を実行させるために媒体に格納された反応型映像再生プログラム。
JP2019513893A 2016-09-07 2017-09-07 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム Active JP6892498B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021088851A JP7258950B2 (ja) 2016-09-07 2021-05-27 多次元反応型映像提供方法及びコンピュータ装置。

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2016-0115235 2016-09-07
KR20160115235 2016-09-07
KR10-2017-0114671 2017-09-07
KR1020170114671A KR102051981B1 (ko) 2016-09-07 2017-09-07 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
PCT/KR2017/009837 WO2018048227A1 (ko) 2016-09-07 2017-09-07 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021088851A Division JP7258950B2 (ja) 2016-09-07 2021-05-27 多次元反応型映像提供方法及びコンピュータ装置。

Publications (2)

Publication Number Publication Date
JP2019535064A JP2019535064A (ja) 2019-12-05
JP6892498B2 true JP6892498B2 (ja) 2021-06-23

Family

ID=61660054

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019513893A Active JP6892498B2 (ja) 2016-09-07 2017-09-07 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム
JP2021088851A Active JP7258950B2 (ja) 2016-09-07 2021-05-27 多次元反応型映像提供方法及びコンピュータ装置。
JP2023061258A Active JP7483979B2 (ja) 2016-09-07 2023-04-05 多次元反応型映像を再生する方法及び装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021088851A Active JP7258950B2 (ja) 2016-09-07 2021-05-27 多次元反応型映像提供方法及びコンピュータ装置。
JP2023061258A Active JP7483979B2 (ja) 2016-09-07 2023-04-05 多次元反応型映像を再生する方法及び装置

Country Status (3)

Country Link
US (3) US11003264B2 (ja)
JP (3) JP6892498B2 (ja)
KR (3) KR102051981B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090009B1 (ko) * 2018-08-07 2020-03-17 클릭트 주식회사 3차원 영상 콘텐츠를 제공하는 방법 및 프로그램
WO2024076206A1 (ko) * 2022-10-07 2024-04-11 이철우 조작패턴 기반 반응형 영상 재생 장치 및 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371428B1 (ko) 1995-03-28 2003-04-08 마츠시타 덴끼 산교 가부시키가이샤 화상기록장치및화상재생장치
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP3735358B2 (ja) 2003-09-12 2006-01-18 コナミ株式会社 ビデオゲームプログラム、ビデオゲーム装置及びビデオゲーム方法
JP2005216248A (ja) * 2004-02-02 2005-08-11 Tokyo Univ Of Science 物理的接触に応じた形状変形表示装置
JP2008508630A (ja) 2004-08-02 2008-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 仮想オブジェクトをモデル化するのを可能にする方法
US7594177B2 (en) 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
KR101317204B1 (ko) * 2006-11-27 2013-10-10 삼성전자주식회사 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치
JP2012113387A (ja) * 2010-11-22 2012-06-14 Sharp Corp 電子機器、表示制御方法、およびプログラム
KR101804848B1 (ko) * 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US8630454B1 (en) 2011-05-31 2014-01-14 Google Inc. Method and system for motion detection in an image
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5613126B2 (ja) * 2011-09-09 2014-10-22 Kddi株式会社 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
WO2013086601A1 (en) * 2011-12-12 2013-06-20 The University Of British Columbia System and method for determining a depth map sequence for a two-dimensional video sequence
KR101410410B1 (ko) 2011-12-21 2014-06-27 주식회사 케이티 체감형 학습 장치 및 방법
CN103971082A (zh) 2013-01-31 2014-08-06 威联通科技股份有限公司 基于区域转换的视频对象检测系统及相关方法
JP6107271B2 (ja) * 2013-03-21 2017-04-05 カシオ計算機株式会社 情報処理装置、情報処理システム及びプログラム
US10549180B2 (en) 2013-09-30 2020-02-04 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
CN104063280B (zh) * 2014-06-25 2017-09-12 华为技术有限公司 一种智能终端的控制方法
KR101608145B1 (ko) 2014-08-11 2016-04-01 서장원 터치입력에 반응하는 3d 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법
KR102262214B1 (ko) * 2014-09-23 2021-06-08 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법
KR101582296B1 (ko) 2015-06-26 2016-01-04 주식회사 레드덕 모바일 게임을 위한 자동 조준 시스템 및 방법
KR101750060B1 (ko) 2015-08-13 2017-06-22 이철우 반응형 영상 생성방법 및 생성프로그램
WO2017026834A1 (ko) 2015-08-13 2017-02-16 이철우 반응형 영상 생성방법 및 생성프로그램
WO2018048227A1 (ko) 2016-09-07 2018-03-15 이철우 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램

Also Published As

Publication number Publication date
US20190204946A1 (en) 2019-07-04
KR102051981B1 (ko) 2019-12-04
US20220269360A1 (en) 2022-08-25
KR102701874B1 (ko) 2024-09-02
JP2021129317A (ja) 2021-09-02
JP2019535064A (ja) 2019-12-05
KR20180028046A (ko) 2018-03-15
US11003264B2 (en) 2021-05-11
JP7483979B2 (ja) 2024-05-15
JP7258950B2 (ja) 2023-04-17
KR20220054570A (ko) 2022-05-03
US11360588B2 (en) 2022-06-14
US20200293127A1 (en) 2020-09-17
KR102390930B1 (ko) 2022-04-26
US12086335B2 (en) 2024-09-10
KR20200001574A (ko) 2020-01-06
JP2023098937A (ja) 2023-07-11

Similar Documents

Publication Publication Date Title
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
JP2023517211A (ja) 表情トランスファーモデルの訓練方法、表情トランスファー方法及び装置並びにコンピュータ装置及びプログラム
JP7483979B2 (ja) 多次元反応型映像を再生する方法及び装置
KR102363554B1 (ko) 다중 반응형영상 제작방법, 다중 반응형영상 메타데이터 생성방법, 인간 행동을 이해하기 위한 상호 작용 데이터 분석 방법 및 이를 이용한 프로그램
KR20180039321A (ko) 반응형영상 제작방법, 반응형영상 생성파일 제작방법, 반응형영상 기반의 광고효과 분석방법 및 이를 이용한 프로그램
WO2018048227A1 (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
JP7323871B2 (ja) 多重反応型映像制作方法、多重反応型映像メタデータ生成方法、人間の行動を理解するための相互作用データ分析方法及びこれを用いたプログラム
KR20240049179A (ko) 복수의 프레임 간 비교에 기반하여 반응형 영상을 생성하는 전자 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210527

R150 Certificate of patent or registration of utility model

Ref document number: 6892498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350