JP6027747B2 - 空間相関したマルチディスプレイヒューマンマシンインターフェース - Google Patents
空間相関したマルチディスプレイヒューマンマシンインターフェース Download PDFInfo
- Publication number
- JP6027747B2 JP6027747B2 JP2012014902A JP2012014902A JP6027747B2 JP 6027747 B2 JP6027747 B2 JP 6027747B2 JP 2012014902 A JP2012014902 A JP 2012014902A JP 2012014902 A JP2012014902 A JP 2012014902A JP 6027747 B2 JP6027747 B2 JP 6027747B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- handheld
- movable
- additional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003068 static effect Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 claims 1
- 230000000670 limiting effect Effects 0.000 description 80
- 230000033001 locomotion Effects 0.000 description 13
- 230000007704 transition Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000122205 Chamaeleonidae Species 0.000 description 1
- 241000522213 Dichilus lebeckioides Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 101000951423 Homo sapiens E3 ubiquitin-protein ligase MGRN1 Proteins 0.000 description 1
- 101100259947 Homo sapiens TBATA gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009982 effect on human Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 102000043343 human MGRN1 Human genes 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
- A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/812—Ball games, e.g. soccer or baseball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6669—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera using a plurality of virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character change rooms
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8076—Shooting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
本出願の優先権主張の基礎となる出願は、2011年2月2日出願の米国特許出願13/019924および2011年2月2日出願の米国特許出願13/019928の一部継続出願である。上記米国特許出願は共に米国特許法第119条により、以下の日本国特許出願に基づく優先権を主張している:特願2010−022022および2010−022023(2010年2月3日出願)、特願2010−177893(2010年8月6日出願)、特願2010−185315(2010年8月20日出願)、特願2010−192220および2010−192221(2010年8月30日出願)、ならびに特願2010−245298および2010−245299(2010年11月1日出願)。上記米国特許出願および日本国特許出願のすべてを参考のためここに援用する。
本技術は、ヒューマンマシンインターフェースに関し、特に複数の表示面を有する双方向グラフィカルコンピュータインターフェースに関する。本技術はさらに、複数の空間相関したディスプレイ(例えばハンドヘルドなど)を提供することにより仮想空間を介したユーザの体験を高める、没入型で直覚的な双方向マルチディスプレイヒューマンマシンインターフェースに関する。
われわれ人間は3次元空間に存在しており、われわれを取り巻く3D世界内のどこにいるかを知っている。あなたの左、右、上、下を見られたい。今、あなたは室内の3D環境内におけるご自分の位置を判定した。
1)上下、
2)左右、
3)前後、
4)ピッチ回転(先端を上下させる)、
5)ヨー回転(水平飛行中のコンパス方位または向き)、および
6)ロール回転(一方または他方の翼を上げる)
図2A〜図7は、可動型ディスプレイMDが提供する画像と静止型ディスプレイSDが提示する画像間との相関関係の非限定的な例を示す。可動型ディスプレイがどのようにして仮想環境と双方向に作用するかをより良く説明するために、一部の図面に可動型ディスプレイMD自体を示し(静止型ディスプレイSDが存在していないか、作動していないかのように)、その後の図面に可動型ディスプレイと静止型ディスプレイとの相関関係を示す。
他の実施形態では、静止画面がなくてもよい。最初のキャリブレーションステップで物理的空間の向きの相関が始まるN個のモバイルスクリーンを想像されたい。このキャリブレーションステップの後、N個のスクリーンは仮想データベースの物理的、空間的にコヒーレントなビューを表す。あらゆる状況で明瞭に位置を感知するよい方法がある場合、これは位置相関にも拡張可能である。いくつかの実施形態では、向きは、磁気センサを用いて向きのドリフトを補正することによって決定される。しかし完璧な位置情報を有するより良い位置センサが存在すれば、上記と同じものを提供することが可能である。
いくつかの非限定的アプリケーションでは、可動型ディスプレイの、例えば静止型ディスプレイSDに対する姿勢および/またはポインティング方向に依存して複数の異なる目的または状態に可動型ディスプレイMDを用いることが望まれることがある。図6Aは可動型ディスプレイMDの姿勢と静止型ディスプレイSDの姿勢との関係のうち以下の3つの異なる一般的タイプの関係を示す。
(a)範囲内、
(b)範囲外、および
(c)遷移領域。
図6Bは、範囲内の場合の実施例を示す。この実施例では、可動型ディスプレイMDに対する垂線は、静止型ディスプレイSDの理想的な姿勢および大きさに従って仮想的に決定された領域内の位置を示すか、それに交差する。この特定の実施例では、システムSは静止型ディスプレイSDの実際の姿勢および大きさを正確に知らないことがある(例えば、静止型ディスプレイが家庭用テレビを含む場合、ユーザは様々な異なるサイズおよび構造のテレビのいずれかを用い得る)。従ってシステムSは、静止型ディスプレイのサイズ、可動型ディスプレイMDと静止型ディスプレイとの間の距離、可動型ディスプレイに対する静止型ディスプレイSDの向きについてある想定を行ってもよい。このような想定が可能であるのは、ほとんどのユーザは典型的には少なくとも概して静止型ディスプレイSDの方を向いており、通常多少の差こそあれ、静止型ディスプレイの前にいるが、静止型ディスプレイに非常に近い位置にいるとか、非常に遠い位置にいるとは考えにくいからである。ユーザによる追加の入力(例えば、テレビ画面のサイズまたはタイプ)などを用いてこれらの想定を補足することもできる。
図6Eは、範囲外の場合の非限定的実施例を示す。この実施例では、可動型ディスプレイMDに対する垂線が静止型ディスプレイSDの理想的な姿勢に従って仮想的に決定された領域内の位置を示したり、その方向を向いたり、それに交差したりしない。可動型ディスプレイMDに対する垂線が静止型ディスプレイSDの領域外の位置を示す場合、システムSは可動型ディスプレイMDを用いて仮想空間を表示してもよく、可動型ディスプレイMDに表示させる画像を生成する仮想カメラの方向は可動型ディスプレイの姿勢によって制御されてもよい。図6および図6Fを参照されたい。これらの図は、可動型ディスプレイMDがその姿勢に応じた方向から見た仮想空間を表示している様子を示す。ところで、このような非限定的場合では、静止型ディスプレイSDに表示させる画像を作成する仮想カメラの方向は、必ずしも可動型ディスプレイMDの姿勢に影響を受けるわけではない。ユーザは、可動型ディスプレイMDを動かすことによって仮想空間の右側、左上、下側および裏側を見ることができ、静止型ディスプレイSDを見ることによって仮想空間の前側を見ることができる。この非限定的アプリケーションでは、ユーザは、仮想空間の側面と前面とを同時に見ることができることにより、その可視性が広がったと感じることができる。
図6Iおよび図6Jは、上記の範囲内の場合と範囲外の場合との間にある遷移領域の場合を示す。図6Iは、遷移領域TAが範囲内と範囲外(内側と外側)との間に構築可能であり、そのためユーザは何らかの処理によって視線(目の方向)を静止型ディスプレイSDから可動型ディスプレイMDに円滑に変更することができることを示す。例えば可動型ディスプレイMDの姿勢が遷移領域に対応する場合、静止型ディスプレイSD用の画像は視覚的、聴覚的および/または触覚的効果(例えば静止型ディスプレイSDが僅かにスクロールし得る)を提供してもよく、その結果ユーザは可動型ディスプレイMDの画像が範囲内状態から範囲外状態にいつ変わるか、または範囲外状態から範囲内状態にいつ変わるかを知ることができる。一実施形態では、可動型ディスプレイMDおよび静止型ディスプレイSDの相対的姿勢に応じて静止型ディスプレイSDを僅かにスクロールするまたは他の方法で動かすことにより、可動型ディスプレイMDの姿勢を回転し続けるまたは他の方法で変更し続ければ状態が変化することをユーザに警告することができる。同一のまたは異なる画像あるいは他の効果を用いて、範囲内から範囲外への変化および範囲外から範囲内への変化を示すことができる。
図8Aに示すように、ディスプレイ装置MDは人が容易に保持し動かせるように構成および構築されている。例えばディスプレイ装置MDは相対的に小型で、持ち運び可能で、かつ、軽量であり、人の手で保持、把持、支持、操作および移動することができる。図8Aに示す特定の実施例ではディスプレイ装置MDは、人の左手と右手で同時に保持するように構築および構成されている。人が両手で可動型ディスプレイ装置MDを保持し支持した場合、左手の親指でいくつかの手動入力コントロール(例えば左手スライドパッド50および/またはDパッドスイッチ52)を操作でき、同時に右手の親指で他の手動入力コントロール(例えば、右手スライドパッド54および/またはボタン配列56)を操作できる。人差し指で操作可能な更なるコントロール58a、58bがあり、裏面には例えばディスプレイ装置MDを保持しながら中指で操作可能なトリガ60などの更なるコントロールがある(図10B、図10D参照)。可動型ディスプレイMDの詳細な電気機械的構成および動作の更なる詳細(図10A〜図10Dも参照のこと。これらの図面は人間工学に基づくハンドヘルド設計の非限定的実施例を示す)は、2011年2月2日出願の米国特許出願13/0199924および米国特許出願13/0199928に記載されている。これらの全体を参考のためここに援用する。図10A〜図10Cでは、可動またはハンドヘルド装置MDのハウジング200は、平坦な前面202と実質的に平坦でない裏面204とを含む。図10B、図10Cに示すように、平坦でない裏面204は、長手方向リッジ208まで傾斜する傾斜湾曲部206を含む。リッジ208の反対側の窪み210には、スタンドの脚(図8C参照)または他の周辺装置などの付属部品を受け入れる様々な収容部212が設けられてもよい。傾斜湾曲部206上に設けられた指で押圧可能なボタン60a、60b(図10D参照)は湾曲して傾斜湾曲部の輪郭に一致する輪郭を有する一方で、外方に延びてユーザの中指を快適に載せられるパッドとなっている。これによりユーザは、中指でボタン60を操作しながら人差し指でボタン58を引くことができる。他の装置、センサ、コネクタ、収容部および他の構造物(その一部は可動型ディスプレイMDを他の装置と連結させるのに有用であり得る)を周面212、214に設けてもよい。本実施形態はこの形態に限られず、可動型ハンドヘルドディスプレイ装置MDは他の形態(例えば、タブレットコンピュータ、iPAD、スマートフォン、電子書籍、PDAなど)であってもよい。
X.Yunら、「Design and Implementation of the MARG Human Body Motion Tracking System」、Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems(「MARG人体動作追跡システムの設計と実施」、インテリジェントロボットおよびシステムに関するIEEE/RSJ国際会議会議録)(IROS 04),日本国仙台、2004年9月〜10月
E.R.Bachmannら、「Inertial and Magnetic Posture Tracking for Inserting Humans into Networked Virtual Environments」、ACM Symposium on Virtual Reality Software and Technology,(「ネットワーク化バーチャル環境に人間を挿入する慣性および磁気姿勢追跡」、バーチャルリアリティソフトウェアおよび技術に関するACMシンポジウム) VRST 01,カナダ、アルバータ州バンフ、2001年11月、9〜16頁
Bachmann、「Orientation Tracking for Humans and Robots Using Inertial Sensors」、Computational Intelligence in Robotics and Automation Proceedings(「慣性センサを用いた人およびロボット用方位追跡」、ロボティクスおよびオートメーションプロシーディングにおけるコンピュテーショナルインテリジェンス)(IEEE 1999)(この文献は、人の動きの向きと位置を追跡することを開示している。)
Eric Bachmann、「Inertial and Magnetic Angle Tracking of Human Limb Segments for Inserting Humans into Synthetic Environments」、PhD in Computer Science、Naval Postgraduate School(「合成環境に人間を挿入する人体の四肢セグメントの慣性および磁気角度追跡」、コンピュータサイエンスPhD、海軍大学院)、2000年12月
Welchら、「Motion Tracking: No Silver Bullet, but a Respectable Arsenal」(動作追跡:特効薬ではないが、まずまずの集積)、IEEE CG&A(2002年11月/12月)
Wormellら、「Advancements in 3D Interactive Devices for Virtual Environments」(バーチャル環境用3D双方向デバイスの進歩)(2003)
米国特許出願13/0199924および13/0199928(2011年2月2日出願)
米国特許第7,942,745号
米国特許第7,931,535号
米国特許第7,927,216号
米国特許第7,925,467号
米国特許第7,924,264号
米国特許第7,920,985号
上記リストアップした文献は、多次元空間内での可動型ディスプレイMDの姿勢および他の特性を決定する様々な方法を可能にし開示する目的で参考のためここに援用する。
図11は、可動型ディスプレイMDの非限定的実施例を示す(詳細は、全体を参考のためここに援用する2011年2月2日出願の米国特許出願13/0199924および米国特許出願13/0199928を参照のこと)。上記で詳細に説明した手動コントロールからの手動コントロール入力をプロセッサ102に供給する。プロセッサはデータ入力(タッチパネルディスプレイTSからの入力も含む)を受け入れ、無線トランシーバ106または他の無線または有線の通信を介してリモートコンソールまたはコンピュータGに分析のため報告する。リモートコンソールまたはコンピュータG(無線または有線で静止型ディスプレイSDにも接続されていてもよい)は報告されたデータ入力を処理して圧縮または他の処理をした画像を生成してもよい。リモートコンソールまたはコンピュータGは、この画像を可動型ディスプレイの無線トランシーバ106に送信してもよい。可動型ディスプレイ装置プロセッサ102は受け取った画像を伸張してタッチパネルディスプレイTSに表示してもよい。
−より高いまたはより低い位置、
−前方の位置または後方の位置、
−僅かに見上げる、または見下ろす(ピッチ)、
−ズームアウトまたはズームイン、
−僅かにロールまたはヨーする、
−位置的に僅かに左または右、
−その他の差異。
他のアプリケーションでは、静止型ディスプレイSDおよび可動型ディスプレイMDにそれぞれ表示させる画像を生成するために、3D仮想世界内の異なる視点、位置、地域、領域および/または近傍を用いることができる。
Claims (35)
- 没入型空間ヒューマンマシンインターフェースであって、
自由空間内で可動な少なくとも1つのハンドヘルドディスプレイと、
前記可動型のハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも1つの追加ディスプレイと、
前記ハンドヘルドディスプレイと前記追加ディスプレイとに対して作用可能に接続された少なくとも1つのグラフィカル画像生成部であって、前記ハンドヘルドディスプレイと前記追加ディスプレイとに表示させる仮想空間の画像を生成する少なくとも1つのグラフィカル画像生成部と、を含み、
前記少なくとも1つのグラフィカル画像生成部は、前記ハンドヘルドディスプレイおよび前記追加ディスプレイに表示させる、同一の仮想位置からの画像を生成し、
前記ハンドヘルドディスプレイの画像の少なくともいくつかは、前記決定された姿勢の向きに少なくとも部分的に応じて生成され、前記ハンドヘルドディスプレイが前記追加ディスプレイの方を向いている場合には、前記追加ディスプレイの画像と視線方向が略同じになるように生成される、インターフェース。 - 前記ハンドヘルドディスプレイの画像と前記追加ディスプレイの画像とが実際上類似であるモードでは、前記少なくとも1つのグラフィカル画像生成部は前記画像に代えて他の画像および/または情報を前記ハンドヘルドディスプレイに表示させる、請求項1に記載のインターフェース。
- 前記追加ディスプレイは相対的に大型の静止型ディスプレイを含み、前記少なくとも1つのグラフィカル画像生成部は、周りを見回すときに視界を僅かにシフトする可能性はあることを除き、静止型ディスプレイ用に生成される画像を描画する視界を前記決定された姿勢の向きに基づいて変更することは実際上ない、請求項1に記載のインターフェース。
- 前記少なくとも1つのグラフィカル画像生成部は、周りを見回すときに視界が僅かにシフトした場合に、前記静止型ディスプレイ用に生成した画像を描画する視界を変更する、請求項3に記載のインターフェース。
- 前記ハンドヘルドディスプレイの視界と前記追加ディスプレイの視界とが実質的に同一または近いモードでは、前記少なくとも1つのグラフィカル画像生成部は前記画像に加えて他の画像および/または情報を前記ハンドヘルドディスプレイに表示させる、請求項2に記載のインターフェース。
- 没入型空間ヒューマンマシンインターフェースであって、
自由空間内で可動な少なくとも1つのハンドヘルドディスプレイと、
前記可動型のハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも1つの追加ディスプレイと、
前記ハンドヘルドディスプレイと前記追加ディスプレイとに対して作用可能に接続された少なくとも1つのグラフィカル画像生成部であって、前記ハンドヘルドディスプレイおよび前記追加ディスプレイにそれぞれ表示させる、仮想空間内の共通の位置または互いに近い位置から見た画像を生成する少なくとも1つのグラフィカル画像生成部と、を含み、
少なくとも前記ハンドヘルドディスプレイに表示させるように生成された画像は、前記決定された姿勢の向きに応じて変化し、前記ハンドヘルドディスプレイが前記追加ディスプレイの方を向いている場合には、前記追加ディスプレイの画像と視線方向が略同じになるように生成される、インターフェース。 - 前記ハンドヘルドディスプレイ用の画像は、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表す、請求項6に記載のインターフェース。
- 前記グラフィカル画像生成部は、前記追加ディスプレイに表示させる基準視線方向からの画像と、前記ハンドヘルドディスプレイに表示させる画像であって、前記決定された姿勢の向きに応じて変化する、異なる/自由な/任意の視線方向から見た画像とを生成し、前記異なる/自由な/任意の視線方向は、前記基準方向に基づいている、請求項6に記載のインターフェース。
- 前記グラフィカル画像生成部は、前記決定された姿勢の向きが前記追加ディスプレイに対応する範囲の外にあるとき、前記ハンドヘルドディスプレイ用の画像が、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表すように、前記ハンドヘルドディスプレイおよび前記追加ディスプレイの各々に表示させる画像を生成する、請求項6に記載のインターフェース。
- 前記グラフィカル画像生成部は、前記決定された姿勢の向きが所定の姿勢に対応するとき、前記ハンドヘルドディスプレイ用の画像が、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表すように、前記ハンドヘルドディスプレイおよび前記追加ディスプレイの各々に表示させる画像を生成する、請求項6に記載のインターフェース。
- 前記グラフィカル画像生成部は、前記ハンドヘルドディスプレイ用の仮想カメラを用いて前記ハンドヘルドディスプレイに表示させる画像を生成し、前記追加ディスプレイ用の仮想カメラを用いて前記追加ディスプレイに表示させる画像を生成し、前記グラフィカル画像生成部は、前記追加ディスプレイ用の前記仮想カメラの視線方向を実質的に変更することなく、前記決定された姿勢の向きに応じて前記ハンドヘルドディスプレイ用の前記仮想カメラの視線方向を変更する、請求項6に記載のインターフェース。
- 前記ハンドヘルドディスプレイ用の前記仮想カメラの位置と、前記追加ディスプレイ用の前記仮想カメラの位置とは実質的に同一である、請求項11に記載のインターフェース。
- 前記仮想カメラの位置はプレイヤオブジェクトの位置に基づいて決定され、前記プレイヤオブジェクトの位置はプレイヤの操作によって変化する、請求項12に記載のインターフェース。
- 前記グラフィカル画像生成部は、前記ハンドヘルドディスプレイと無線で通信する、請求項6に記載のインターフェース。
- 前記グラフィカル画像生成部は単一の情報処理ユニットであり、前記情報処理ユニットは、前記ハンドヘルドディスプレイ用の画像と前記追加ディスプレイ用の画像とを実質的に同時に生成する、請求項6に記載のインターフェース。
- 前記追加ディスプレイは、相対的に大型の静止型ディスプレイを含み、前記静止型ディスプレイ用に生成した画像を描画する視界を前記決定された姿勢の向きに基づいて変更することはない、請求項6に記載のインターフェース。
- 前記可動型ディスプレイは、姿勢を決定するためにMARGセンサ装置を含む、請求項6に記載のインターフェース。
- 前記グラフィカル画像生成部は、前記可動型ディスプレイの前記決定された姿勢の向きに応じて投影視点を変更する、請求項6に記載のインターフェース。
- 前記可動型ディスプレイはハウジングで取り囲まれ、前記装置は前記ハウジング内に配置されている、請求項6に記載のインターフェース。
- 前記ハンドヘルドディスプレイはタッチディスプレイを含む、請求項6に記載のインターフェース。
- 前記装置は少なくとも1つの磁気計を含む、請求項6に記載のインターフェース。
- 前記装置は、(a)加速度計、(b)ジャイロスコープ、(c)磁気計、(d)光学エレメント、(e)超音波エレメント、(f)赤外線エレメントから選択された少なくとも1つを含む、請求項6に記載のインターフェース。
- 前記装置は外側から内側を見るタイプである、請求項6に記載のインターフェース。
- 前記装置は内側から外側を見るタイプである、請求項6に記載のインターフェース。
- 前記可動型ハンドヘルドディスプレイは、前記追加ディスプレイが表示する画像と空間相関する、前記仮想空間の3D可動パッチを表示する、請求項6に記載のインターフェース。
- 前記可動型ハンドヘルドディスプレイは3D画像を表示する、請求項6に記載のインターフェース。
- 没入型空間ヒューマンマシンインターフェースであって、
各々が自由空間内で可動な複数のハンドヘルドディスプレイと、
前記可動型ハンドヘルドディスプレイのそれぞれの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも1つの追加ディスプレイと、
前記ハンドヘルドディスプレイおよび前記追加ディスプレイと通信する少なくとも1つのグラフィカル画像生成部であって、前記複数のハンドヘルドディスプレイの各々と前記追加ディスプレイとに表示させる、仮想空間内の共通の位置または互いに近い位置から見た仮想空間の画像を生成する少なくとも1つのグラフィカル画像生成部と、を含み、
前記少なくとも1つのグラフィカル画像生成部は、前記複数のハンドヘルドディスプレイおよび前記追加ディスプレイに同時に表示させる画像を、前記決定された姿勢の向きに少なくとも部分的に応じて生成し、前記ハンドヘルドディスプレイが前記追加ディスプレイの方を向いている場合には、前記追加ディスプレイの画像と視線方向が略同じになるように前記複数のハンドヘルドディスプレイの画像を生成する、没入型空間ヒューマンマシンインターフェース。 - 没入型空間ヒューマンマシンインターフェースを提供する方法であって、
自由空間で可動な少なくとも1つのハンドヘルド提示面の姿勢の少なくともいくつかの向きの測定と、
前記ハンドヘルド提示面および追加提示面に表示させる仮想空間の画像の生成であって、前記測定した姿勢の向きに少なくとも部分的に応じて前記ハンドヘルド提示面と前記追加提示面とに同時に表示させる、前記仮想空間内の共通の位置または互いに近い位置から見た画像を生成して、前記ハンドヘルド提示面が前記追加提示面の方を向いている場合には、前記追加提示面の画像と視線方向が略同じになるように前記ハンドヘルド提示面の画像を生成することを含む生成と、を含む方法。 - コンピュータによって実行される場合に没入型空間ヒューマンマシンインターフェースを提供する命令を格納した非一時的格納媒体であって、
少なくとも1つのハンドヘルド提示面が自由空間内で動く場合に前記ハンドヘルド提示面の姿勢の少なくともいくつかの向きを決定する第1の命令と、
前記ハンドヘルド提示面および追加提示面に表示させる仮想空間の画像を生成する第2の命令であって、測定した姿勢の向きに少なくとも部分的に応じて、前記ハンドヘルド提示面と前記追加提示面とにおいて同時に見られるように、前記仮想空間内の共通の位置または互いに近い位置から見た画像を生成して、前記ハンドヘルド提示面が前記追加提示面の方を向いている場合には、前記追加提示面の画像と視線方向が略同じになるように前記ハンドヘルド提示面の画像を生成する表示した画像間を空間的に相関させ、それによって前記ヒューマンマシンインターフェースの没入性を高める命令を含む第2の命令と、を含む非一時的格納媒体。 - (1)可動型ディスプレイおよび(2)仮想空間の画像を表示する追加ディスプレイに対して用いるユーザインターフェース方法であって、
前記可動型ディスプレイがいつ前記追加ディスプレイの方を向く/指し示すかを決定することと、
前記決定によって、前記可動型ディスプレイが前記追加ディスプレイの方を向いている/指し示していると決定される場合、前記追加ディスプレイにポインティングオブジェクトを表示し、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じてポインティングオブジェクトの表示位置を制御することと、
前記決定によって、前記可動型ディスプレイが前記追加ディスプレイの方を向いていない/指し示していないと決定される場合、前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じた視線方向から見た、前記仮想空間の画像と、ポインティングオブジェクトとを前記可動型ディスプレイに表示することと、を含むユーザインターフェース方法。 - ユーザインターフェースであって、
可動型ディスプレイと、
仮想空間の画像を表示する追加ディスプレイと、
前記可動型ディスプレイがいつ前記追加ディスプレイの方を向く/指し示すかを決定する決定部と、
前記可動型ディスプレイおよび前記追加ディスプレイに接続された画像生成部であって、前記決定部が、前記可動型ディスプレイが前記追加ディスプレイの方を向いている/前記追加ディスプレイに向かっていると決定する場合、前記追加ディスプレイにポインティングオブジェクトを表示し、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じてポインティングオブジェクトの表示位置を制御し、前記決定部が、前記可動型ディスプレイが前記追加ディスプレイの方を向いていない/指し示していないと決定する場合、前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じた視線方向から見た、前記仮想空間の画像と、前記ポインティングオブジェクトとを前記可動型ディスプレイに表示する、画像生成部と、
を含むユーザインターフェース。 - (1)可動型ディスプレイおよび(2)仮想空間の画像を表示する追加ディスプレイに対して用いるユーザインターフェース方法であって、
前記可動型ディスプレイの姿勢の少なくともいくつかの向きを決定することと、
前記決定された少なくともいくつかの向きに基づいて、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢を推定することと、
前記可動型ディスプレイと前記追加ディスプレイとの推定された相対的姿勢に基づいて、(a)前記追加ディスプレイ上のポインティングオブジェクトの表示位置を制御することと、(b)前記決定した姿勢の少なくともいくつかの向きに応じた視線方向から見た前記仮想空間の画像と前記ポインティングオブジェクトとを前記可動型ディスプレイに表示することとの間で、前記可動型ディスプレイの状態を切り換えることと、を含むユーザインターフェース方法。 - (1)自由空間内で可動なハンドヘルドディスプレイおよび(2)仮想空間の画像を表示するテレビを用いるユーザインターフェース方法であって、
前記ハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定することと、
前記決定した少なくともいくつかの向きに基づいて、前記テレビに対する前記ハンドヘルドディスプレイの姿勢を推定することと、
前記推定した相対的な姿勢に基づいて、(a)前記決定した姿勢の少なくともいくつかの方位に応じた視線方向から見た、前記仮想空間内で周りを見回した画像を提示することと、(b)ユーザインターフェース制御情報を提示することとの間で前記ハンドヘルドディスプレイの状態を切り換えることと、を含むユーザインターフェース方法。 - 前記姿勢の少なくともいくつかの向きに基づいて、前記ハンドヘルドディスプレイが前記テレビの周囲の方を向いているか否かを検出し、前記検出に応じて前記テレビの表示を選択的にシフトすることをさらに含む、請求項33に記載のユーザインターフェース方法。
- 前記グラフィカル画像生成部は、前記ハンドヘルドディスプレイが前記追加ディスプレイの方を向いた状態から前記追加ディスプレイの方を向いていない状態へと変化したことに応じて、前記追加ディスプレイの画像内に表されていない一部を表すように、前記ハンドヘルドディスプレイの姿勢の変化方向に応じた方向へ、仮想空間における視線方向を変化させた画像を生成する、請求項1または請求項6に記載のインターフェース。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/019,924 US8961305B2 (en) | 2010-02-03 | 2011-02-02 | Game system, controller device and game method |
US13/019,928 US8317615B2 (en) | 2010-02-03 | 2011-02-02 | Display device, game system, and game method |
US13/019,928 | 2011-02-02 | ||
US13/019,924 | 2011-02-02 | ||
US13/153,106 US8913009B2 (en) | 2010-02-03 | 2011-06-03 | Spatially-correlated multi-display human-machine interface |
US13/153,106 | 2011-06-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012161604A JP2012161604A (ja) | 2012-08-30 |
JP6027747B2 true JP6027747B2 (ja) | 2016-11-16 |
Family
ID=45562690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012014902A Active JP6027747B2 (ja) | 2011-02-02 | 2012-01-27 | 空間相関したマルチディスプレイヒューマンマシンインターフェース |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP2485119A3 (ja) |
JP (1) | JP6027747B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8223121B2 (en) | 2008-10-20 | 2012-07-17 | Sensor Platforms, Inc. | Host system and method for determining an attitude of a device undergoing dynamic acceleration |
US9459276B2 (en) | 2012-01-06 | 2016-10-04 | Sensor Platforms, Inc. | System and method for device self-calibration |
WO2013104006A2 (en) * | 2012-01-08 | 2013-07-11 | Sensor Platforms, Inc. | System and method for calibrating sensors for different operating environments |
US9228842B2 (en) | 2012-03-25 | 2016-01-05 | Sensor Platforms, Inc. | System and method for determining a uniform external magnetic field |
JP6124517B2 (ja) * | 2012-06-01 | 2017-05-10 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
CN104604239B (zh) * | 2012-09-04 | 2019-03-22 | 西娜媒体有限公司 | 用于视频系统的增强现实 |
JP6159515B2 (ja) * | 2012-09-19 | 2017-07-05 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法 |
JP6100497B2 (ja) | 2012-10-09 | 2017-03-22 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および画像表示方法 |
JP2014097219A (ja) * | 2012-11-15 | 2014-05-29 | Nintendo Co Ltd | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
US9726498B2 (en) | 2012-11-29 | 2017-08-08 | Sensor Platforms, Inc. | Combining monitoring sensor measurements and system signals to determine device context |
JP5745497B2 (ja) * | 2012-12-04 | 2015-07-08 | 任天堂株式会社 | 表示システム、表示制御装置、情報処理プログラム及び表示方法 |
JP6057738B2 (ja) * | 2013-01-22 | 2017-01-11 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
US9836875B2 (en) * | 2013-04-26 | 2017-12-05 | Flipboard, Inc. | Viewing angle image manipulation based on device rotation |
EP2998849A4 (en) * | 2013-05-15 | 2017-01-25 | Sony Corporation | Display control device, display control method, and recording medium |
JP6031016B2 (ja) * | 2013-09-17 | 2016-11-24 | 日本電信電話株式会社 | 映像表示装置及び映像表示プログラム |
RU2683262C2 (ru) | 2014-02-17 | 2019-03-27 | Сони Корпорейшн | Устройство обработки информации, способ обработки информации и программа |
JP6581341B2 (ja) | 2014-10-15 | 2019-09-25 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理方法、および情報処理システム |
JPWO2017064926A1 (ja) * | 2015-10-15 | 2018-08-02 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
FR3043815A1 (fr) * | 2015-11-13 | 2017-05-19 | Airbus Operations Sas | Procede d'affichage, sur un dispositif d'affichage mobile embarque dans un vehicule, d'images correspondant a un environnement exterieur dudit vehicule. |
US10198874B2 (en) | 2016-05-13 | 2019-02-05 | Google Llc | Methods and apparatus to align components in virtual reality environments |
JP6883394B2 (ja) * | 2016-08-03 | 2021-06-09 | 株式会社コロプラ | プログラム、コンピュータ及び方法 |
WO2018026893A1 (en) * | 2016-08-03 | 2018-02-08 | Google Llc | Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments |
JP2019016316A (ja) | 2017-07-11 | 2019-01-31 | 株式会社日立エルジーデータストレージ | 表示システム、及び表示システムの表示制御方法 |
CN108595023A (zh) * | 2018-04-27 | 2018-09-28 | 宁波视睿迪光电有限公司 | 一种交互手柄及系统 |
CN108837507A (zh) * | 2018-05-29 | 2018-11-20 | 网易(杭州)网络有限公司 | 虚拟道具控制方法及装置、电子设备、存储介质 |
DE102019100056A1 (de) | 2019-01-03 | 2020-07-09 | Manuel-René Gernaert | Steuerungsvorrichtung zum Steuern von realen oder virtuellen Flugobjekten |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06285259A (ja) * | 1993-03-31 | 1994-10-11 | Sega Enterp Ltd | 液晶コントローラ |
JP3558104B2 (ja) * | 1996-08-05 | 2004-08-25 | ソニー株式会社 | 3次元仮想物体表示装置および方法 |
JP2001034247A (ja) * | 1999-07-19 | 2001-02-09 | Minolta Co Ltd | 映像表示装置 |
US6966837B1 (en) * | 2001-05-10 | 2005-11-22 | Best Robert M | Linked portable and video game systems |
JP2003223654A (ja) * | 2002-01-29 | 2003-08-08 | Nippon Telegr & Teleph Corp <Ntt> | 仮想表示物体観測装置 |
JP3690672B2 (ja) * | 2002-05-17 | 2005-08-31 | 任天堂株式会社 | ゲームシステムおよびゲームプログラム |
JP2004317548A (ja) * | 2003-04-11 | 2004-11-11 | Sharp Corp | 携帯端末 |
GB0608939D0 (en) * | 2006-05-05 | 2006-06-14 | Sony Comp Entertainment Europe | Display apparatus and method |
JP5037077B2 (ja) * | 2006-09-13 | 2012-09-26 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及びゲーム装置 |
US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
-
2012
- 2012-01-19 EP EP12000320A patent/EP2485119A3/en not_active Ceased
- 2012-01-27 JP JP2012014902A patent/JP6027747B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP2485119A3 (en) | 2012-12-12 |
JP2012161604A (ja) | 2012-08-30 |
EP2485119A2 (en) | 2012-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11173392B2 (en) | Spatially-correlated human-machine interface | |
US11745097B2 (en) | Spatially-correlated human-machine interface | |
JP6027747B2 (ja) | 空間相関したマルチディスプレイヒューマンマシンインターフェース | |
US10764565B2 (en) | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method | |
EP2394710B1 (en) | Image generation system, image generation method, and information storage medium | |
CN103744518B (zh) | 立体交互方法及其显示装置和系统 | |
EP3106963B1 (en) | Mediated reality | |
JP5814532B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 | |
US10062209B2 (en) | Displaying an object in a panoramic image based upon a line-of-sight direction | |
EP3109833B1 (en) | Information processing device and information processing method | |
JP2006301654A (ja) | 画像呈示装置 | |
JP6931068B2 (ja) | 向上した拡張現実の体験のための、対になっているローカルユーザインターフェースとグローバルユーザインターフェース | |
JP2012141822A (ja) | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 | |
CN108830944B (zh) | 光学透视式三维近眼显示系统及显示方法 | |
US20210081051A1 (en) | Methods, apparatus, systems, computer programs for enabling mediated reality | |
JP6203346B1 (ja) | 仮想空間を提供する方法、プログラム、および記録媒体 | |
US20190346968A1 (en) | Projected, interactive environment | |
Rodrigues et al. | Mixed Reality TVs: Applying Motion Parallax for Enhanced Viewing and Control Experiences on Consumer TVs | |
JP2018014084A (ja) | 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体 | |
CN108268126B (zh) | 基于头戴式显示设备的交互方法及装置 | |
Park et al. | 3D Gesture-based view manipulator for large scale entity model review | |
US20220351441A1 (en) | Animation production system | |
JP6189496B1 (ja) | 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体 | |
Vince et al. | VR Hardware |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6027747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |