JP6452808B2 - 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム - Google Patents
方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム Download PDFInfo
- Publication number
- JP6452808B2 JP6452808B2 JP2017515808A JP2017515808A JP6452808B2 JP 6452808 B2 JP6452808 B2 JP 6452808B2 JP 2017515808 A JP2017515808 A JP 2017515808A JP 2017515808 A JP2017515808 A JP 2017515808A JP 6452808 B2 JP6452808 B2 JP 6452808B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- direction information
- information
- image
- time delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Generation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
[数1]
θfusion = αθg +(1−α)θam
前記式1において、θamは、第1の方向情報を示し、θgは、第2の方向情報を示し、θfusionは、併合された方向情報を示す。また、前記式1において、α及び(1−α)は、それぞれ第1及び第2の方向情報に対する加重値であって、αの値は、併合された方向情報θfusionが実際の対象体の方向と符合するように、適切に決定されてよい。以上のように方向情報を算出することにより、方向偏移及びノイズがいずれも減少した方向情報を得ることができる。
[数2]
θnew = θcurrent+ ω × Dt1
一実施例において、時間遅延補正部220は、レンダリング時点と実際にイメージが表示部40に表示される時点の時間遅延をさらに考慮して、方向情報を修正してもよい。すなわち、このように修正された方向情報は、実際にイメージが表示される時点における対象体の方向をあらかじめ予測したものに該当する。
[数3]
θnew = θcurrent+ ω ×(Dt1 + Dt2)
すなわち、以上において説明した実施例に係るシミュレーション装置及び方法は、センサーの測定周期とイメージのレンダリング周期との間の時間遅延を考慮して、レンダリング時点における対象体の方向情報を予測し、またはこれにさらにレンダリング周期とイメージの表示周期との間の時間遅延を考慮して、イメージ表示時点における対象体の方向情報を予測するように構成されたものである。このように予測された方向情報を利用してシミュレーション及びレンダリングを遂行することにより、センサーの測定周期がシミュレーションまたは表示周期と一致しないことから発生するレイテンシー(latency)を減らし、対象体の動きに応じて自然なシミュレーション結果を得ることができるという利点がある。
Claims (7)
- 一つ以上のセンサーを利用して対象体の動き情報を獲得するセンサー部;
前記動き情報を利用して前記対象体の方向情報を算出する方向算出部;及び
前記方向算出部から受信した前記方向情報に基づいて物理的客体をシミュレーションし、イメージとしてレンダリングするシミュレーション部
を含み、
前記方向算出部は、前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正する時間遅延補正部を含み、
前記センサー部は、周期的に前記動き情報を獲得し、
前記シミュレーション部は、周期的に前記イメージをレンダリングし、
前記時間遅延補正部は、前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出し、前記時間遅延を利用して前記方向情報を修正し、
前記時間遅延補正部は、前記動き情報から対象体の角速度を算出し、前記角速度及び前記時間遅延の積を前記方向情報に加算することにより、前記方向情報を修正する、シミュレーション装置。 - 前記方向算出部は、レンダリング時点と前記イメージが表示部に表示される時点との間の時間差をさらに利用して、前記対象体の方向情報を修正する、
請求項1に記載のシミュレーション装置。 - 前記表示部は、前記イメージを周期的に表示し、
前記時間遅延補正部は、各レンダリング時点から後続するイメージ表示時点までの時間遅延をさらに利用して、前記方向情報を修正する、
請求項2に記載のシミュレーション装置。 - シミュレーション装置が、一つ以上のセンサーを利用して対象体の移動情報を獲得するステップ;
前記シミュレーション装置が、前記動き情報を利用して前記対象体の方向情報を算出するステップ;
前記シミュレーション装置が、前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正するステップ;及び
前記シミュレーション装置が、前記修正された方向情報を利用して物理的客体をシミュレーションし、イメージとしてレンダリングするステップを含み、
前記動き情報を獲得するステップ及び前記イメージをレンダリングするステップは、周期的に遂行され、
前記方向情報を修正するステップは、
前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出するステップ;及び
前記時間遅延を利用して前記方向情報を修正するステップ
を含み、
前記時間遅延を利用して前記方向情報を修正するステップは、
前記動き情報から対象体の角速度を算出するステップ;及び
前記角速度及び前記時間遅延の積を前記方向情報に加算するステップ
を含む、
シミュレーション方法。 - 前記イメージを表示部に表示するステップをさらに含み、
前記方向情報を修正するステップは、レンダリング時点と前記イメージが表示される時点との間の時間差をさらに利用して遂行される、
請求項4に記載のシミュレーション方法。 - 前記イメージを表示部に表示するステップは、周期的に遂行され、
前記方向情報を修正するステップは、各レンダリング時点から後続するイメージ表示時点までの時間遅延をさらに利用して遂行される、
請求項5に記載のシミュレーション方法。 - ハードウェアと結合されて、
一つ以上のセンサーを利用して対象体の動き情報を獲得するステップ;
前記動き情報を利用して前記対象体の方向情報を算出するステップ;
前記動き情報の獲得時点とレンダリング時点との間の時間差を利用して前記方向情報を修正するステップ;及び
前記修正された方向情報を利用して物理的客体をシミュレーションし、イメージとしてレンダリングするステップ
を遂行するように媒体に格納され、
前記動き情報を獲得するステップ及び前記イメージをレンダリングするステップは、周期的に遂行され、
前記方向情報を修正するステップは、
前記動き情報の各獲得時点から後続するレンダリング時点までの時間遅延を算出するステップ;及び
前記時間遅延を利用して前記方向情報を修正するステップ
を含み、
前記時間遅延を利用して前記方向情報を修正するステップは、
前記動き情報から対象体の角速度を算出するステップ;及び
前記角速度及び前記時間遅延の積を前記方向情報に加算するステップ
を含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140125850A KR101728408B1 (ko) | 2014-09-22 | 2014-09-22 | 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램 |
KR10-2014-0125850 | 2014-09-22 | ||
PCT/KR2015/009934 WO2016047999A2 (ko) | 2014-09-22 | 2015-09-22 | 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018500616A JP2018500616A (ja) | 2018-01-11 |
JP6452808B2 true JP6452808B2 (ja) | 2019-01-16 |
Family
ID=55582210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017515808A Active JP6452808B2 (ja) | 2014-09-22 | 2015-09-22 | 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10204420B2 (ja) |
JP (1) | JP6452808B2 (ja) |
KR (1) | KR101728408B1 (ja) |
CN (1) | CN107302845B (ja) |
WO (1) | WO2016047999A2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10424340B2 (en) * | 2016-08-25 | 2019-09-24 | Bellevue Investments Gmbh & Co. Kgaa | Method and system for 360 degree video editing with latency compensation |
CN109932926A (zh) * | 2017-12-19 | 2019-06-25 | 帝斯贝思数字信号处理和控制工程有限公司 | 低延时的用于图像处理系统的试验台 |
US11675430B1 (en) * | 2021-12-17 | 2023-06-13 | Varjo Technologies Oy | Display apparatus and method incorporating adaptive gaze locking |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002525769A (ja) * | 1998-09-22 | 2002-08-13 | ヴェガ ヴィスタ インコーポレイテッド | 携帯型データディスプレイの直接的コントロール方法 |
KR100316630B1 (ko) * | 1999-04-22 | 2001-12-12 | 윤덕용 | 인터넷을 이용한 원격 이동 로봇의 인터넷 직접 제어 시스템 및그 방법 |
JP2001075470A (ja) * | 1999-09-07 | 2001-03-23 | Hitachi Ltd | シミュレーションライド制御装置 |
US6995793B1 (en) * | 2000-11-14 | 2006-02-07 | Eastman Kodak Company | Video tap for a digital motion camera that simulates the look of post processing |
JP2002354880A (ja) | 2001-05-28 | 2002-12-06 | Mitsubishi Electric Corp | リアルタイムシミュレータおよびリアルタイムシミュレーション方法 |
US7515156B2 (en) * | 2003-01-08 | 2009-04-07 | Hrl Laboratories, Llc | Method and apparatus for parallel speculative rendering of synthetic images |
US20060223637A1 (en) * | 2005-03-31 | 2006-10-05 | Outland Research, Llc | Video game system combining gaming simulation with remote robot control and remote robot feedback |
US8083589B1 (en) * | 2005-04-15 | 2011-12-27 | Reference, LLC | Capture and utilization of real-world data for use in gaming systems such as video games |
US8408982B2 (en) | 2007-05-24 | 2013-04-02 | Pillar Vision, Inc. | Method and apparatus for video game simulations using motion capture |
TWI454140B (zh) * | 2010-06-08 | 2014-09-21 | Univ Nat Taiwan | 與影片互動之方法與比賽模擬系統 |
KR101237018B1 (ko) | 2010-12-30 | 2013-02-26 | 전자부품연구원 | 이더캣의 멀티채널 통신을 기반으로 하는 시뮬레이터 |
US20120188148A1 (en) * | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
KR20140066258A (ko) * | 2011-09-26 | 2014-05-30 | 마이크로소프트 코포레이션 | 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정 |
NZ751593A (en) * | 2013-03-15 | 2020-01-31 | Magic Leap Inc | Display system and method |
US20160027141A1 (en) * | 2014-07-22 | 2016-01-28 | Oculus Vr, Llc | In-band latency detection system |
US9240069B1 (en) * | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
-
2014
- 2014-09-22 KR KR1020140125850A patent/KR101728408B1/ko active IP Right Grant
-
2015
- 2015-09-22 US US15/512,833 patent/US10204420B2/en active Active
- 2015-09-22 JP JP2017515808A patent/JP6452808B2/ja active Active
- 2015-09-22 CN CN201580056362.5A patent/CN107302845B/zh active Active
- 2015-09-22 WO PCT/KR2015/009934 patent/WO2016047999A2/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR101728408B1 (ko) | 2017-04-19 |
CN107302845B (zh) | 2020-11-10 |
CN107302845A (zh) | 2017-10-27 |
US10204420B2 (en) | 2019-02-12 |
US20170294022A1 (en) | 2017-10-12 |
JP2018500616A (ja) | 2018-01-11 |
WO2016047999A3 (ko) | 2016-05-19 |
KR20160034645A (ko) | 2016-03-30 |
WO2016047999A2 (ko) | 2016-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102212250B1 (ko) | 증강 현실 오브젝트의 신체 고정식 배치 | |
Hilfert et al. | Low-cost virtual reality environment for engineering and construction | |
CN109643014B (zh) | 头戴式显示器追踪 | |
US11024014B2 (en) | Sharp text rendering with reprojection | |
KR102334271B1 (ko) | 제스처 파라미터 튜닝 | |
CN112154405B (zh) | 三维推送通知 | |
JP6736944B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN113760093A (zh) | 用于对象运动跟踪的方法及混合现实系统 | |
KR20160148623A (ko) | 디스플레이 디바이스 뷰어 시선 유인 | |
WO2019173055A1 (en) | Displaying content based on positional state | |
JP2015166816A (ja) | 表示装置,表示制御プログラム及び表示制御方法 | |
JP6452808B2 (ja) | 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム | |
US20180005437A1 (en) | Virtual manipulator rendering | |
KR20210087075A (ko) | 패스 스루 시각화 | |
US20190036990A1 (en) | System and method for device synchronization in augmented reality | |
KR102207838B1 (ko) | 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 | |
JP2016062428A (ja) | 力覚提示装置、情報端末、力覚提示方法、及びプログラム | |
JP6437811B2 (ja) | 表示装置及び表示方法 | |
Chung | Metaverse XR Components | |
KR101802086B1 (ko) | 복수의 장비들을 이용한 증강/가상 현실 서비스 제공 방법 및 시스템 | |
Fenneman | Ipipri Digital Trails: Augmented Reality | |
TWI608383B (zh) | 虛擬實境環境中之導引產生方法及系統,及其相關電腦程式產品 | |
US20220146262A1 (en) | Synchronization of a gyroscope in a virtual-reality environment | |
JP2023120257A (ja) | 方向提示装置、方向提示方法、プログラム | |
Heukers | A Smartphone-based Controller for Virtual Reality Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6452808 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |