JP6452808B2 - 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム - Google Patents

方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム Download PDF

Info

Publication number
JP6452808B2
JP6452808B2 JP2017515808A JP2017515808A JP6452808B2 JP 6452808 B2 JP6452808 B2 JP 6452808B2 JP 2017515808 A JP2017515808 A JP 2017515808A JP 2017515808 A JP2017515808 A JP 2017515808A JP 6452808 B2 JP6452808 B2 JP 6452808B2
Authority
JP
Japan
Prior art keywords
time
direction information
information
image
time delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017515808A
Other languages
English (en)
Other versions
JP2018500616A (ja
Inventor
キョン コン ナ,
キョン コン ナ,
クヮン ジン チェ,
クヮン ジン チェ,
Original Assignee
エフエックスギア インコーポレイテッド
エフエックスギア インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エフエックスギア インコーポレイテッド, エフエックスギア インコーポレイテッド filed Critical エフエックスギア インコーポレイテッド
Publication of JP2018500616A publication Critical patent/JP2018500616A/ja
Application granted granted Critical
Publication of JP6452808B2 publication Critical patent/JP6452808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/20Linear translation of a whole image or part thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/16Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

各実施例は、シミュレーション装置及び方法と、そのためのコンピュータプログラムに関し、より詳細には、センサーによって測定される信号と表示されるイメージとの間の時間差を補正してレイテンシー(latency)を減らしたシミュレーション技術に関する。
近年、スマートフォン(smartphone)をはじめとするモバイル装置の処理能力の飛躍的な向上につれ、モバイル装置上でコンピュータシミュレーションを遂行する事例も増加している。シミュレーションされた客体は、レンダリング過程を経てイメージに変換され、ゲームなどのアプリケーション内で使用されたり、またはモバイル装置のオペレーティングシステムと関連したユーザインターフェイス(User Interface)の一部を構成したりするようにモバイル装置上に表示される。
モバイル装置上のシミュレーションの一類型として、対象体の動きを反映して、仮想の客体であるモデル(model)をシミュレーションし、シミュレーション結果をイメージとしてレンダリング(rendering)するものがある。シミュレーションの基礎となる対象体の動きは、一つ以上のセンサーを通じて測定することができ、センサーのデータに基づいてモデルをシミュレーションすることにより、対象体の動きを模写したり、これに対応してモデルを動かしたりすることができる。
しかし、センサーによる測定周期とシミュレーションされたモデルがイメージとしてレンダリングされる周期は一致しない(asynchronous)ため、レイテンシー(latency)が発生する問題点がある。すなわち、モバイル装置のセンサーデータと比較して、レンダリングされて表示されるイメージに時間遅延が発生するのである。こうした時間遅延は、ユーザーがイメージを観察する際に不自然さを感じたり、またはイメージと相互作用するにあたって不快感を感じさせる原因となる。
本発明の一側面によれば、センサーによって測定される信号と表示されるイメージとの間の時間遅延を補正してレイテンシー(latency)を減らしたシミュレーション装置及び方法と、そのためのコンピュータプログラムを提供することができる。
一実施例に係るシミュレーション装置は、一つ以上のセンサーを利用して対象体の動き情報を獲得するように構成されたセンサー部;前記動き情報を利用して前記対象体の方向情報を算出するように構成された方向算出部;及び、前記方向算出部から受信した前記方向情報に基づいて物理的客体をシミュレーションし、イメージとしてレンダリング(rendering)するように構成されたシミュレーション部を含んでよい。前記方向算出部は、前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正するように構成された時間遅延補正部を含んでよい。
前記センサー部は、周期的に前記動き情報を獲得するように構成され、前記シミュレーション部は、周期的に前記イメージをレンダリングするように構成されてよい。このとき、前記時間遅延補正部は、前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出し、前記時間遅延を利用して前記方向情報を修正するように構成されてよい。また、前記時間遅延補正部は、前記動き情報から対象体の角速度を算出し、前記角速度及び前記時間遅延の積を前記方向情報に加算することにより、前記方向情報を修正するように構成されてもよい。
前記方向算出部は、レンダリング時点と前記イメージが表示部に表示される時点との間の時間差をさらに利用して、前記対象体の方向情報を修正するように構成されてもよい。前記シミュレーション部は、周期的に前記イメージをレンダリングするように構成され、前記表示部は、前記イメージを周期的に表示するように構成されてよい。このとき、前記時間遅延補正部は、各レンダリング視点から後続するイメージ表示時点までの時間遅延をさらに利用して、前記方向情報を修正するように構成されてよい。
一実施例に係るシミュレーション方法は、シミュレーション装置が一つ以上のセンサーを利用して対象体の動き情報を獲得するステップ;前記シミュレーション装置が、前記動き情報を利用して前記対象体の方向情報を算出するステップ;前記シミュレーション装置が、前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正するステップ;及び、前記シミュレーション装置が、前記修正された方向情報を利用して物理的客体をシミュレーションし、イメージとしてレンダリングするステップを含んでよい。
前記動き情報を獲得するステップ及び前記イメージをレンダリングするステップは、周期的に遂行されてよい。このとき、前記方向情報を修正するステップは、前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出するステップ;及び、前記時間遅延を利用して前記方向情報を修正するステップを含んでよい。また、前記時間遅延を利用して前記方向情報を修正するステップは、前記動き情報から対象体の角速度を算出するステップ;及び、前記角速度及び前記時間遅延の積を前記方向情報に加算するステップを含んでもよい。
前記シミュレーション方法は、前記イメージを表示部に表示するステップをさらに含んでよい。このとき、前記方向情報を修正するステップは、レンダリング時点と前記イメージが表示される時点との間の時間差をさらに利用して遂行されてよい。また、前記イメージをレンダリングするステップ及び前記イメージを表示部に表示するステップは、周期的に遂行され、前記方向情報を修正するステップは、各レンダリング視点から後続するイメージ表示時点までの時間遅延をさらに利用して遂行されてもよい。
一実施例に係るコンピュータプログラムは、ハードウェアと結合されて、前記シミュレーション方法を遂行するように媒体に記録されたものであってよい。
本発明の一側面によるシミュレーション装置及び方法は、センサーの測定周期とイメージのレンダリング(rendering)周期との間の時間遅延及び/またはイメージのレンダリングからイメージが実際に画面に表示されるまでの時間遅延を考慮して予測された方向情報を利用して、シミュレーションを遂行する。その結果、対象体の動きと表示されるイメージとの間のレイテンシー(latency)を減らし、自然なシミュレーション結果を得ることができる。
一実施例に係るシミュレーション装置の概略的なブロック図である。 一実施例に係るシミュレーション方法における、動き情報の獲得時点、レンダリング時点及びイメージ表示時点間の時間差を説明するための概念図である。
以下、図面を参照しつつ、本発明の実施例について詳細に見ていく。
実施例に係るシミュレーション装置は、対象体の動きに応じてモデル(model)をシミュレーションし、シミュレーションされたモデルをイメージとしてレンダリング(rendering)するように構成される。本明細書において、対象体は、動きを測定しようとする装置または人を意味する。たとえば、対象体は、使用者が所持しているスマートフォン(smartphone)などのモバイル装置、またはヘッドマウント型装置(Head Mounted Device;HMD)といった、使用者が着用可能なウェアラブル(wearable)装置であってよい。または、使用者が直接対象体となり、使用者に付着され、または遠隔位置にある一つ以上のセンサーを通じて使用者の動きを測定してもよい。
本明細書において、モデルとは、対象体の動きを反映してシミュレーションしようとする仮想の物理的客体に対応するデータを意味する。たとえば、モデルは、一つ以上の頂点(vertex)を含んで定義されるメッシュ(mesh)であってもよい。対象体の動きを測定し、動きに応じた相互作用をモデルの各部分の位置及び速度に反映するように物理方程式を演算することにより、対象体の動きに応じてモデルをシミュレーションしてよい。たとえば、使用者がモバイル装置を傾けると、モバイル装置上に表示されているイメージも同様に傾けられるようにしたり、または、使用者がセンサーの前に移動すると、使用者に似たキャラクターが使用者と同じように動くようにしたりすることなどがこれに該当してよい。
図1は、一実施例に係るシミュレーション装置の概略的なブロック図である。
図1を参照すると、シミュレーション装置は、センサー部10、方向算出部20及びシミュレーション部30を含んでよい。一実施例において、シミュレーション装置は、表示部40をさらに含んでもよい。実施例に係るシミュレーション装置は、完全にハードウェアであるか、もしくは完全にソフトウェアであってよく、または、部分的にハードウェアであり、部分的にソフトウェア的な側面を持っていてもよい。たとえば、シミュレーション装置は、データ処理能力を具備したハードウェア及びこれを駆動させるための運用ソフトウェアを通称してよい。本明細書において、「部(unit)」、「システム」及び「装置」等の用語は、ハードウェア及びそのハードウェアによって駆動されるソフトウェアの組み合わせを指すものと意図される。たとえば、ハードウェアは、CPUまたは他のプロセッサ(processor)を含むデータ処理機器であってよい。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、客体(object)、実行ファイル(executable)、実行スレッド(thread of execution)、プログラム(program)などを指してよい。
実施例に係るシミュレーション装置を構成する各々の部は、必ずしも物理的に区分される別個の構成要素を指すものと意図されていない。図1において、センサー部10、方向算出部20、シミュレーション部30及び表示部40は、互いに区分される別箇のブロックとして図示されているが、実施形態によっては、センサー部10、方向算出部20、シミュレーション部30及び表示部40のうち一部または全部が同じ一つの装置内に集積化されてよい。また、方向算出部20及びシミュレーション部30は、これらが具現されたコンピューティング装置において遂行する動作に基づいて装置を機能的に区分したものであるだけであって、必ずしも互いに分離された別個の素子を意味するものではない。
たとえば、実施例に係るシミュレーション装置は、スマートフォンなどのモバイル装置に集積化された形態で具現されて、モバイル装置を対象体としてモバイル装置の動きを測定し、測定された動きに応じて所定のモデルをシミュレーションし、シミュレーションされたイメージをモバイル装置の画面に表示してもよい。しかし、これは例示的なものであって、他の実施例においては、センサー部10、方向算出部20、シミュレーション部30及び表示部40のうち一つ以上が他の部と物理的に区分さる別個の装置で具現されてもよい。たとえば、センサー部10、方向算出部20、シミュレーション部30及び表示部40は、分散コンピューティング環境の下で互いに通信可能に連結されたコンポーネントであってもよい。
センサー部10は、対象体の動き情報を獲得するための部分である。動き情報は、対象体の方向情報を算出するための基礎となる情報であって、センサー部10は、方向情報を算出することのできるセンサーデータを得るように構成された一つまたは複数の種類のセンサーを含んでよい。たとえば、一実施例において、センサー部10は、加速度計(accelerometer)110、磁気計(magnetometer)120及びジャイロスコープ(gyroscope)130からなるが、これに限定されるものではない。センサー部10によって得られる動き情報の形態は、センサーの種類に応じて異なってよい。たとえば、加速度計110の場合には重力ベクトル、磁気計120の場合には磁北に対する相対的な方向、そして、ジャイロスコープ130の場合には角速度の形態で、動き情報が得られてよい。
方向算出部20は、センサー部10によって測定された動き情報を受信し、そこから対象体の方向情報を算出するための部分である。一実施例において、方向算出部20は、信号併合部210及び時間遅延補正部220を含んでよい。信号併合部210は、センサー部10の各センサーによって測定された動き情報を併合し、そこから方向情報を算出する。一実施例において、信号併合部210は、まず、加速度計110及び磁気計120の動き情報を併合して第1の方向情報を算出し、ジャイロスコープ130の動き情報を利用して第2の方向情報を算出する。この場合、第1の方向情報は、磁気的方向及び加速度に依存するため、方向偏移(drift)が少ない反面ノイズを含んでおり、第2の方向情報は、ノイズがほとんどないが方向偏移を含んでいる。信号併合部210は、第1及び第2の方向情報を下記式1のように併合することにより、併合された方向情報を算出してよい。
[数1]
θfusion = αθ +(1−α)θam
前記式1において、θamは、第1の方向情報を示し、θは、第2の方向情報を示し、θfusionは、併合された方向情報を示す。また、前記式1において、α及び(1−α)は、それぞれ第1及び第2の方向情報に対する加重値であって、αの値は、併合された方向情報θfusionが実際の対象体の方向と符合するように、適切に決定されてよい。以上のように方向情報を算出することにより、方向偏移及びノイズがいずれも減少した方向情報を得ることができる。
時間遅延補正部220は、信号併合部210で算出された対象体の方向情報を、方向情報の算出に使用された動き情報の獲得時点とレンダリング時点との間の時間差を考慮して修正するための部分である。また、一実施例において、時間遅延補正部220は、レンダリング時点とイメージが実際に表示部40に表示される時点との間の時間差をさらに利用して、方向情報を修正してもよい。このために、時間遅延補正部220は、シミュレーション部30及び/または表示部40それぞれからこれらの動作周期についての情報を獲得してよい。時間遅延補正部220の具体的な動作については、図2を参照しつつ後述する。
シミュレーション部30は、方向算出部20から対象体の方向情報を受信し、これに基づいてモデルに対するシミュレーションを遂行するための部分である。シミュレーション部30が受信する方向情報は、信号併合部210によって一次的に算出され、時間遅延補正部220によって修正された方向情報を指す。シミュレーション部30は、対象体の方向情報を反映してモデルの各部分の位置及び速度を時間段階ごとに更新することにより、モデルが対象体の動きに応じてシミュレーションされるようにする。また、シミュレーション部30は、シミュレーションされたモデルを、画面に表示されるためのイメージとしてレンダリングする。
シミュレーションは、モデルが対象体の動きを模写するように、またはモデルが対象体の動きに応じて変化したり、対象体と相互作用したりするように遂行されてよく、特定の方式のシミュレーションによって限定されない。また、2次元または3次元モデルに対し、与えられた条件を利用してコンピュータシミュレーション演算を遂行する過程は、本願発明が属する技術分野における通常の技術者にとってよく知られているため、発明の要旨を明確にするために、本明細書においては仔細な説明を省略する。
表示部40は、シミュレーション部30によってレンダリングされたイメージを、使用者が見ることができるように表示するための部分である。たとえば、表示部40は、液晶表示装置(Liquid Crystal Display)、またはアクティブマトリクス式有機EL(Active‐Matrix Organic Light−Emitting Diode;AMOLED)等を含んでよいが、これらに限定されるものではない。本実施例に係るシミュレーション装置がスマートフォン等のモバイル装置内に集積化されて具現される場合、表示部40は、モバイル装置の表示手段かつ入力手段であるタッチスクリーンの形態で具現されてもよい。
図2は、一実施例に係るシミュレーション方法における、動き情報の獲得時点、レンダリング時点及びイメージ表示時点間の時間差を説明するための概念図である。
図1及び図2を参照すると、センサー部10による動き情報の測定は周期的に行われ、各測定時点は第1周期(T)ごとに戻ってくる。また、シミュレーション部30によるレンダリングも周期的に行われ、各レンダリング時点は第2周期(T)ごとに戻ってくる。第1周期(T)と第2周期(T)は、互いに同一であっても、互いに異なってもよいが、周期または開始時点の差により各測定時点と各レンダリング時点は一致しない(asynchronous)。その結果、各測定時点と隣接する各レンダリング時点との間には時間遅延(Dt1)が発生する。第1周期(T)と第2周期(T)が互いに異なる場合、時間遅延(Dt1)は、各時点ごとに異なることになる。
方向算出部20の時間遅延補正部220は、方向情報の算出に使用された動き情報の獲得時点から後続するレンダリング時点までの時間遅延(Dt1)を利用して、対象体の方向情報を修正する。すなわち、時間遅延補正部220によって修正された方向情報は、レンダリング時点の方向情報をあらかじめ予測したものに該当する。時間遅延補正部220は、予測された方向情報をシミュレーション部30に伝達することにより、これに基づいてシミュレーション及びレンダリングが行われるようにする。具体的に、図2の時点501,502を例として挙げると、時間遅延補正部220は、現在の方向情報の算出に使用された動き情報の測定時点501から最も隣接した後続のレンダリング時502までの時間遅延503を算出する。次に、時間遅延補正部220は、当該測定時点501に得られた動き情報を使用して対象体の角速度を算出し、算出された角速度に時間遅延503を乗じて方向情報に加算する。
すなわち、時間遅延補正部220によって修正される前の方向情報をθcurrent、最近測定された動き情報による対象体の角速度をω、最近の動き情報の測定時点と後続する隣接レンダリング時点との間の時間遅延をDt1とした場合、時間遅延補正部220によって修正された方向情報θnewは、下記式2のように算出されてよい。
[数2]
θnew = θcurrent+ ω × Dt1
一実施例において、時間遅延補正部220は、レンダリング時点と実際にイメージが表示部40に表示される時点の時間遅延をさらに考慮して、方向情報を修正してもよい。すなわち、このように修正された方向情報は、実際にイメージが表示される時点における対象体の方向をあらかじめ予測したものに該当する。
図2を参照すると、表示部40によるイメージ表示は周期的に行われ、各イメージの表示時点は第3周期(T)ごとに戻ってくる。このとき、各レンダリング時点と表示部40による各イメージ表示時点の間には時間遅延(Dt2)が発生し、時間遅延補正部220は、前述したセンサー測定時点とレンダリング時点との間の時間遅延(Dt1)に加えて、時間遅延(Dt2)をさらに考慮して方向情報を修正してよい。この場合、時間遅延補正部220によって修正された方向情報θnewは、下記式3のように算出されてよい。
[数3]
θnew = θcurrent+ ω ×(Dt1 + Dt2
すなわち、以上において説明した実施例に係るシミュレーション装置及び方法は、センサーの測定周期とイメージのレンダリング周期との間の時間遅延を考慮して、レンダリング時点における対象体の方向情報を予測し、またはこれにさらにレンダリング周期とイメージの表示周期との間の時間遅延を考慮して、イメージ表示時点における対象体の方向情報を予測するように構成されたものである。このように予測された方向情報を利用してシミュレーション及びレンダリングを遂行することにより、センサーの測定周期がシミュレーションまたは表示周期と一致しないことから発生するレイテンシー(latency)を減らし、対象体の動きに応じて自然なシミュレーション結果を得ることができるという利点がある。
以上において説明した実施例に係るシミュレーション装置による動作は、少なくとも部分的にコンピュータプログラムとして具現されて、コンピュータで読み取り可能な記録媒体に記録されてよい。前記コンピュータが読み取り可能な記録媒体は、コンピュータによって読み取ることのできるデータが格納されるあらゆる種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ROM、RAM、CD‐ROM、磁気テープ、フロッピーディスク、光データ保存装置などがあり、また、キャリアウェーブ(carrier wave)(たとえば、インターネットを通じた伝送)の形態で具現されるものも含む。また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータが読み取り可能なコードが格納され、実行されてもよい。なお、本実施例を具現するための機能的なプログラム、コード及びコードセグメント(segment)は、本実施例の属する技術分野における通常の技術者によって容易に理解され得るであろう。
以上において見てきた本発明は、図面に示された実施例を参考としつつ説明したが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であれば、このことから多様な変形及び実施例の変形が可能であるという点を理解するであろう。しかし、このような変形は、本発明の技術的保護範囲内にあると見なければならない。したがって、本発明の真の技術的保護範囲は、添付された特許請求の範囲の技術的思想によって定められなければならないと言える。
各実施例は、シミュレーション装置及び方法と、そのためのコンピュータプログラムに関するものである。

Claims (7)

  1. 一つ以上のセンサーを利用して対象体の動き情報を獲得するセンサー部;
    前記動き情報を利用して前記対象体の方向情報を算出する方向算出部;及び
    前記方向算出部から受信した前記方向情報に基づいて物理的客体をシミュレーションし、イメージとしてレンダリングするシミュレーション部
    を含み、
    前記方向算出部は、前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正する時間遅延補正部を含
    前記センサー部は、周期的に前記動き情報を獲得し、
    前記シミュレーション部は、周期的に前記イメージをレンダリングし、
    前記時間遅延補正部は、前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出し、前記時間遅延を利用して前記方向情報を修正し、
    前記時間遅延補正部は、前記動き情報から対象体の角速度を算出し、前記角速度及び前記時間遅延の積を前記方向情報に加算することにより、前記方向情報を修正する、シミュレーション装置。
  2. 前記方向算出部は、レンダリング時点と前記イメージが表示部に表示される時点との間の時間差をさらに利用して、前記対象体の方向情報を修正する、
    請求項1に記載のシミュレーション装置。
  3. 前記表示部は、前記イメージを周期的に表示し、
    前記時間遅延補正部は、各レンダリング時点から後続するイメージ表示時点までの時間遅延をさらに利用して、前記方向情報を修正する、
    請求項に記載のシミュレーション装置。
  4. シミュレーション装置が、一つ以上のセンサーを利用して対象体の移動情報を獲得するステップ;
    前記シミュレーション装置が、前記動き情報を利用して前記対象体の方向情報を算出するステップ;
    前記シミュレーション装置が、前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正するステップ;及び
    前記シミュレーション装置が、前記修正された方向情報を利用して物理的客体をシミュレーションし、イメージとしてレンダリングするステップを含
    前記動き情報を獲得するステップ及び前記イメージをレンダリングするステップは、周期的に遂行され、
    前記方向情報を修正するステップは、
    前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出するステップ;及び
    前記時間遅延を利用して前記方向情報を修正するステップ
    を含み、
    前記時間遅延を利用して前記方向情報を修正するステップは、
    前記動き情報から対象体の角速度を算出するステップ;及び
    前記角速度及び前記時間遅延の積を前記方向情報に加算するステップ
    を含む、
    シミュレーション方法。
  5. 前記イメージを表示部に表示するステップをさらに含み、
    前記方向情報を修正するステップは、レンダリング時点と前記イメージが表示される時点との間の時間差をさらに利用して遂行される、
    請求項に記載のシミュレーション方法。
  6. 前記イメージを表示部に表示するステップは、周期的に遂行され、
    前記方向情報を修正するステップは、各レンダリング時点から後続するイメージ表示時点までの時間遅延をさらに利用して遂行される、
    請求項に記載のシミュレーション方法。
  7. ハードウェアと結合されて、
    一つ以上のセンサーを利用して対象体の動き情報を獲得するステップ;
    前記動き情報を利用して前記対象体の方向情報を算出するステップ;
    前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正するステップ;及び
    前記修正された方向情報を利用して物理的客体をシミュレーションし、イメージとしてレンダリングするステップ
    を遂行するように媒体に格納され
    前記動き情報を獲得するステップ及び前記イメージをレンダリングするステップは、周期的に遂行され、
    前記方向情報を修正するステップは、
    前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出するステップ;及び
    前記時間遅延を利用して前記方向情報を修正するステップ
    を含み、
    前記時間遅延を利用して前記方向情報を修正するステップは、
    前記動き情報から対象体の角速度を算出するステップ;及び
    前記角速度及び前記時間遅延の積を前記方向情報に加算するステップ
    を含む、コンピュータプログラム。
JP2017515808A 2014-09-22 2015-09-22 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム Active JP6452808B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140125850A KR101728408B1 (ko) 2014-09-22 2014-09-22 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램
KR10-2014-0125850 2014-09-22
PCT/KR2015/009934 WO2016047999A2 (ko) 2014-09-22 2015-09-22 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
JP2018500616A JP2018500616A (ja) 2018-01-11
JP6452808B2 true JP6452808B2 (ja) 2019-01-16

Family

ID=55582210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515808A Active JP6452808B2 (ja) 2014-09-22 2015-09-22 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム

Country Status (5)

Country Link
US (1) US10204420B2 (ja)
JP (1) JP6452808B2 (ja)
KR (1) KR101728408B1 (ja)
CN (1) CN107302845B (ja)
WO (1) WO2016047999A2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424340B2 (en) * 2016-08-25 2019-09-24 Bellevue Investments Gmbh & Co. Kgaa Method and system for 360 degree video editing with latency compensation
CN109932926A (zh) * 2017-12-19 2019-06-25 帝斯贝思数字信号处理和控制工程有限公司 低延时的用于图像处理系统的试验台
US11675430B1 (en) * 2021-12-17 2023-06-13 Varjo Technologies Oy Display apparatus and method incorporating adaptive gaze locking

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
KR100316630B1 (ko) * 1999-04-22 2001-12-12 윤덕용 인터넷을 이용한 원격 이동 로봇의 인터넷 직접 제어 시스템 및그 방법
JP2001075470A (ja) * 1999-09-07 2001-03-23 Hitachi Ltd シミュレーションライド制御装置
US6995793B1 (en) * 2000-11-14 2006-02-07 Eastman Kodak Company Video tap for a digital motion camera that simulates the look of post processing
JP2002354880A (ja) 2001-05-28 2002-12-06 Mitsubishi Electric Corp リアルタイムシミュレータおよびリアルタイムシミュレーション方法
US7515156B2 (en) * 2003-01-08 2009-04-07 Hrl Laboratories, Llc Method and apparatus for parallel speculative rendering of synthetic images
US20060223637A1 (en) * 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US8083589B1 (en) * 2005-04-15 2011-12-27 Reference, LLC Capture and utilization of real-world data for use in gaming systems such as video games
US8408982B2 (en) 2007-05-24 2013-04-02 Pillar Vision, Inc. Method and apparatus for video game simulations using motion capture
TWI454140B (zh) * 2010-06-08 2014-09-21 Univ Nat Taiwan 與影片互動之方法與比賽模擬系統
KR101237018B1 (ko) 2010-12-30 2013-02-26 전자부품연구원 이더캣의 멀티채널 통신을 기반으로 하는 시뮬레이터
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
NZ751593A (en) * 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US20160027141A1 (en) * 2014-07-22 2016-01-28 Oculus Vr, Llc In-band latency detection system
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system

Also Published As

Publication number Publication date
KR101728408B1 (ko) 2017-04-19
CN107302845B (zh) 2020-11-10
CN107302845A (zh) 2017-10-27
US10204420B2 (en) 2019-02-12
US20170294022A1 (en) 2017-10-12
JP2018500616A (ja) 2018-01-11
WO2016047999A3 (ko) 2016-05-19
KR20160034645A (ko) 2016-03-30
WO2016047999A2 (ko) 2016-03-31

Similar Documents

Publication Publication Date Title
KR102212250B1 (ko) 증강 현실 오브젝트의 신체 고정식 배치
Hilfert et al. Low-cost virtual reality environment for engineering and construction
CN109643014B (zh) 头戴式显示器追踪
US11024014B2 (en) Sharp text rendering with reprojection
KR102334271B1 (ko) 제스처 파라미터 튜닝
CN112154405B (zh) 三维推送通知
JP6736944B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN113760093A (zh) 用于对象运动跟踪的方法及混合现实系统
KR20160148623A (ko) 디스플레이 디바이스 뷰어 시선 유인
WO2019173055A1 (en) Displaying content based on positional state
JP2015166816A (ja) 表示装置,表示制御プログラム及び表示制御方法
JP6452808B2 (ja) 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム
US20180005437A1 (en) Virtual manipulator rendering
KR20210087075A (ko) 패스 스루 시각화
US20190036990A1 (en) System and method for device synchronization in augmented reality
KR102207838B1 (ko) 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치
JP2016062428A (ja) 力覚提示装置、情報端末、力覚提示方法、及びプログラム
JP6437811B2 (ja) 表示装置及び表示方法
Chung Metaverse XR Components
KR101802086B1 (ko) 복수의 장비들을 이용한 증강/가상 현실 서비스 제공 방법 및 시스템
Fenneman Ipipri Digital Trails: Augmented Reality
TWI608383B (zh) 虛擬實境環境中之導引產生方法及系統,及其相關電腦程式產品
US20220146262A1 (en) Synchronization of a gyroscope in a virtual-reality environment
JP2023120257A (ja) 方向提示装置、方向提示方法、プログラム
Heukers A Smartphone-based Controller for Virtual Reality Applications

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R150 Certificate of patent or registration of utility model

Ref document number: 6452808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250