JP5944600B1 - 頭部装着型ディスプレイを備えた情報処理装置 - Google Patents
頭部装着型ディスプレイを備えた情報処理装置 Download PDFInfo
- Publication number
- JP5944600B1 JP5944600B1 JP2015558688A JP2015558688A JP5944600B1 JP 5944600 B1 JP5944600 B1 JP 5944600B1 JP 2015558688 A JP2015558688 A JP 2015558688A JP 2015558688 A JP2015558688 A JP 2015558688A JP 5944600 B1 JP5944600 B1 JP 5944600B1
- Authority
- JP
- Japan
- Prior art keywords
- head
- operator
- information processing
- operation unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
Description
本発明装置の一例を示す使用状態における外観図が、図1に示されている。同図(a)に示されるように、この情報処理装置1は、この例にあっては、ビデオゲーム装置として実現されており、操作部10と、頭部装着具20と、情報処理部30とを中心として、構成されている。
次に、操作部の幾つかの具体例について説明する。短銃を模した操作部の拡大外観図が、図2に示されている。同図に示されるように、この操作部10は、銃身11と握り部12とを有する短銃型に形成されており、引金部として構成される第1の操作子13と、銃身先端部右側面に位置する第2の操作子14と、銃身後端部上面に位置する第3の操作子15とを有する。それらの操作子13,14,15は、それぞれ、モメンタリタイプの押しボタンとして構成されている。このような短銃型の操作部によれば、薬指42dと小指42eとで握り部12を握ったまま、中指42cで第1の操作子13を、人差し指42bで第2の操作子14を、さらに、親指42aで第3の操作子15を、それぞれ、操作可能になされている。後に、図3を参照して説明するように、操作部10には、第2のモーションセンサを構成する3軸加速度センサ1603、3軸角速度センサ1604、及び3軸地磁気センサ1605がそれぞれ組み込まれている。そのため、それらのセンサによって、短銃型操作部10のモーション(例えば、位置、姿勢、及び/又は、それらの変化)を自在に検知可能とされている。
次に、頭部装着具20の構成について説明する。この例にあっては、先に説明したように、頭部装着具20には、スマートフォン50が組み込まれ、その画像表示部51は頭部装着型ディスプレイ(HMD)の表示部として機能する。加えて、スマートフォン50に組み込まれた3軸加速度センサ506、3軸角速度センサ507、及び3軸地磁気センサ508により、第1のモーションセンサが構成される(図9参照)。
市販スマートフォンの電気的ハードウェア構成の一例を示すブロック図が、図9に示されている。同図に示されるように、スマートフォン50の電気回路は、制御部501、記憶部502、ディスプレイ部503、入力操作部(タッチパネル)504、入力操作部(ボタン)505、3軸加速度センサ506、3軸角速度センサ507、3軸地磁気センサ508、GPS509、照度センサ510、タイマ511、バッテリ512、振動部513、通信ユニット514、音声出力部515、音声入力部516、スピーカ部517、カメラユニット518、及びコネクタ519を含んで構成される。
ビデオゲーム装置のソフトウェア構成を示すフローチャートが、図10に示されている。なお、このフローチャートは、スマートフォン50の制御部501において実行されるプログラムに相当するものである。
オブジェクト更新処理の一例の要部詳細フローチャートが、図11に示されている。同図に示されるように、オブジェクト更新処理の内部においては、ある時点において、操作部が指し示す内容が「方向」であるか、あるいは「運動」であるかに応じて、2系統の処理のいずれかが択一的に実行される。
オブジェクト描画処理の一例を示す要部詳細フローチャートが、図12に示されている。同図に示されるように、オブジェクト描画処理の内部においては、ある時点において、上述の更新処理に対応する描画処理が実行される。
表示用画像生成処理の詳細フローチャートが、図13に示されている。同図に示されるように、この例にあっては、第1乃至第3からなる3つのモードが用意されている。これら3つのモードは、例えば、操作部10における操作子の所定操作によって、択一的に選択可能とされている。
第1のモーションセンサの検知座標空間と第2のモーションセンサの検知座標空間との関係を示す説明図が、図14に示されている。なお、図において、符号Gは、操作者の頭部の向きに対面する所定画角枠である。この画角枠G内の画像がパノラマ画像から抽出されて、表示画面51の基本画像として表示される。
<概要>
1つのワールド座標空間上に、端末デバイス(スマートフォン)と銃デバイス(短銃型操作部)とが存在し、それらのデバイスにはそれぞれモーションセンサが内蔵されているものと想定する。ここで、モーションセンサとは、いずれも、3軸加速度センサと3軸角速度センサと3軸地磁気センサとで構成されている。いずれのデバイスも、基本的な姿勢は、3軸加速度センサと3軸地磁気センサを用いて計算により求められる。動かしたときの姿勢は、上述の基本姿勢を3軸角速度センサの検知結果を用いて補正することにより求められる。
第1ステップ:
各デバイスに組み込まれた3軸加速度センサと3軸角速度センサとを用いて、端末デバイスの姿勢と銃デバイスの姿勢とを計算し、それらを各デバイスの基本姿勢とする。なお、3軸角速度センサは使用せずとも、3軸加速度センサと3軸地磁気センサとがあれば、姿勢制御は可能である。
(1)3軸加速度センサの値から求めた基準姿勢は次の通りとなる。なお、3軸加速度センサの値はローパスフィルタ及び/ハイパスフィルタを通して、静止成分と動作成分に分割されており、ここで取得しているのは静止成分のことである。
sensor_pose = Quaternion(-_mAccel.Pose.z, _mAccel.Pose.y, -_mAccel.Pose.x,
_mAccel.Pose.w);
(2)前回の姿勢に対して3軸角速度センサの変化値補正は、次の通りとなる。
Quaternion rotation = this.transform.rotation;
Quaternion qx = Quaternion.AngleAxis(-gyro.RotZ, Vector3.right);
Quaternion qy = Quaternion.AngleAxis(-gyro.RotY, Vector3.up);
Quaternion qz = Quaternion.AngleAxis(gyro.RotX, -Vector3.forward);
q = (qz * qy * qx);
rotation = rotation * q;
Quaternion sensor_pose = clSingleton<clBLESensorManager>.Instance.SenserPose;
this.transform.rotation = Quaternion.Slerp(rotation, sensor_pose, 0.04f);
3軸加速度センサと3軸地磁気センサとを用いて、各オブジェクトの磁北方向を3軸地磁気センサから計算する。
このとき、銃オブジェクトの磁北計算は、3軸地磁気センサの成分に傾き情報が含まれているので、加速度から求めた端末の傾きを地磁気センサ情報に補正して、水平な地磁気成分を抽出する。
(1)3軸加速度センサの重力ベクトルは、次の通りとなる。
Vector3 b = Vector3(_mAccel.Gravity.x, _mAccel.Gravity.y, _mAccel.Gravity.z);
b = b.normalized;
(2)垂直下方向のベクトルは、次の通りとなる。
Vector3 a = Vector3(0f, 1f, 0f);
a = a.normalized;
float value = a.x * b.x + a.y * b.y + a.z * b.z;
float gravity_angle = Mathf.Acos (value / a.magnitude * b.magnitude);
Vector3 axis = Vector3.Cross (a, b);
axis = axis.normalized;
Quaternion aq = Quaternion.AngleAxis (-gravity_angle * Mathf.Rad2Deg, axis);
(3)地磁気の軸(mGeom.Z, _mGeom.X, _mGeom.Y)を(0, 1, 0)が上になるように回転する。
Vector3 geom_v = new Vector3(-_mGeom.Z, _mGeom.Y, -_mGeom.X);
geom_v = geom_v.normalized;
(4)加速度の傾きを地磁気の軸と合わせる。
Quaternion gq = Quaternion(-aq.z, -aq.x, aq.y, aq.w);
(5)地磁気のx, y, zを更に分解して水平方向の磁北を計算する。
float m = Mathf.Sqrt(Mathf.Pow(geom.x, 2) + Mathf.Pow(geom.y, 2) +
Mathf.Pow(geom.z, 2));
geom_height = Mathf.Asin(geom.z/m);
(6)地磁気の水平成分から求めた磁北は、次の通りとなる。
geom_height_head = Mathf.Acos(geom.x/(m * Mathf.Cos(geom_height)));
第2ステップで計算した各オブジェクトの磁北方向と各オブジェクトの基本姿勢を合成する。この時点で、ワールド空間上の、各オブジェクトの姿勢と向いている方向が分かる。
(1)方向と基準姿勢から回転計算する。
sensorRotation = q_head * pose;
第3ステップで計算した銃オブジェクトの姿勢情報から現在の姿勢の前方向に一定距離のワールド座標を計算する。なお、端末のオブジェクトのカメラの視野上に上記で計算した終点が存在するとき、ワールド座標をカメラのビューポート座標(範囲:0.0〜1.0)に変換する。この2D座標系の座標を、カメラ上の銃の照準の2D座標として利用する。0.0〜1.0の範囲外の場合は、照準は画面外とし、表示を行なわない。
Vector3 ray_s_pos = gameObject.transform.position;
_gunRay.SetPosition (0, ray_s_pos);
Vector3 ray_e_pos = gameObject.transform.forward * kRayLength;
(1)終点位置を現在のカメラのビューポート座標(0.0〜1.0)に変換する。
Vector2 v2 = ViewPortPos (ray_e_pos);
(2)ビューポート座標を中心0の座標系に変換して補正する。
Vector3 target_pos = _basePos + new Vector3((v2.x-0.5f), (v2.y-0.5f), 0.0f);
(3)現在位置から計算された次の位置に向けて照準を移動する。
this.transform.position = Vector3.MoveTowards(this.transform.position, target_pos, 0.5f);
操作者の動作と表示画面の映像との関係を示す説明図(その1)が、図17に示されている。これは、図13のフローチャートにおける第1表示モードの動作に相当する。今仮に、操作者40がHMDを通じて認識するシューティングゲームのバーチャル空間内において、操作者40の前方には標的60eが、右側方には標的60fが存在するものと想定する。
10 短銃型操作部
10A 操舵輪型操作部
10B ラケット型操作部
11 銃身
11A 放射アーム部
12 握り部
12A 環状部
13,13A,13B 第1の操作子
13a 第1のスイッチ
14,14A,14B 第2の操作子
14a 第2のスイッチ
15,15A,15B 第3の操作子
15a 第3のスイッチ
20 頭部装着具
21 頭周ベルト
22 頭頂ベルト
23 本体
24 開口
25 蓋板
26 留め具
27 仕切板
28 光学系
30 情報処理部
40 操作者
41 頭部
42 右手
42a 親指
42b 人差し指
42c 中指
42d 薬指
42e 小指
43 プレイヤの目
44 右腕
50 スマートフォン
51 表示画面
51a 後方表示ウィンドウ
51b 左側方表示ウィンドウ
51c 右側方表示ウィンドウ
60a 標的
60b 標的
60c 標的
60d 標的
60e 標的
60f 標的
61 照準マーク
62a,52b 吹き出し図形
63a〜63f 動物に相当する標的図形
64a〜64f メニュー項目に相当する標的図形
65 押しボタンに相当する標的図形
66 スティック型の操作子
66a 押しボタン
501 制御部
502 記憶部
503 ディスプレイ
504 入力操作部(タッチパネル)
505 入力操作部(ボタン)
506 3軸加速度センサ
507 3軸角速度センサ
508 3軸地磁気センサ
509 GPS
510 照度センサ
511 タイマ
512 バッテリ
513 振動部
514 通信ユニット
515 音声出力部
516 音声入力部
517 スピーカ部
518 カメラユニット
519 コネクタ
1601 制御部
1602 通信ユニット
1603 3軸加速度センサ
1604 3軸角速度センサ
1605 3軸地磁気センサ
1606 バッテリ
1607 記憶部
G 所定画角枠
Claims (18)
- 手持ち型又は身体装着型として構成される操作部と、
操作者の眼前に配置されるようにして、前記操作者の頭部に装着される頭部装着型のディスプレイと、
前記操作者の頭部のモーションを検出可能であって、かつ少なくとも、三次元加速度センサと三次元地磁気センサとを含む第1のモーションセンサと、
前記操作部のモーションを検出可能であって、かつ少なくとも、三次元加速度センサと三次元地磁気センサとを含む第2のモーションセンサと、
予め設定されたワールド座標上に定義された広域画像のうちで、前記第1のモーションセンサを介して検出される前記操作者の頭部の姿勢に対応する所定画角枠内の画像を前記ディスプレイに表示すると共に、前記第2のモーションセンサを介して検出される前記操作部の姿勢に対応する特定処理を実行する情報処理部とを包含し、
前記情報処理部は、
前記第1のモーションセンサに含まれる三次元加速度センサの検出値から前記操作者の頭部の第1のローカル座標上の基本姿勢を、また前記第2のモーションセンサに含まれる三次元加速度センサの検出値から前記操作部の第2のローカル座標上の基本姿勢を、それぞれ求める基本姿勢取得部と、
前記第1のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作者の頭部の特定絶対方位方向を、また前記第2のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作部の特定絶対方位方向を、それぞれ求める特定絶対方位方向取得部と、
前記基本姿勢取得部により取得された、前記操作者の頭部の第1のローカル座標上の基本姿勢及び前記操作部の第2のローカル座標上の基本姿勢と、前記特定絶対方位方向取得部により取得された、前記操作者の頭部の特定絶対方位方向及び前記操作部の特定絶対方位方向とに基づいて、前記ワールド座標上に、前記操作者の頭部の姿勢及び前記操作部の姿勢を合成する姿勢合成部と、を含む情報処理装置。 - 前記特定処理が、前記操作部の指し示す向きの先にある前記広域画像上に所定のカーソルを描画する、又は前記操作部の指し示す向きの先にある前記広域画像上の指示位置と前記広域画像上に予め配置された目標位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定するものである、請求項1に記載の情報処理装置。
- 前記特定処理が、前記操作部の指し示す向きによる運動軌跡に相当する図形を前記広域画像上の該当する位置に描画する、又前記運動軌跡と前記広域画像上に予め配置された目標軌跡とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、所定イベントが発生したと判定するものである、請求項1に記載の情報処理装置。
- 前記情報処理部が、シューティングゲームを実現するためのコンピュータプログラムを実行するものであって、前記操作部が所定の射撃用武器を模した外観形態を有するものであり、かつ
前記特定処理が、前記操作部の指し示す向きの先にある前記広域画像上に所定の照準マークを描画する、又は前記操作部の指し示す向きの先にある前記広域画像上の照準位置と前記広域画像上に予め配置された所定の標的位置とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、的中イベントが発生したと判定する、ものである、請求項1に記載の情報処理装置。 - 前記情報処理部が、レーシングゲームを実現するためのコンピュータプログラムを実行するものであって、前記操作部が、所定の走行体の操舵具を模した外観形態を有するものであり、かつ
前記特定処理が、前記操作部が指し示す方向へと進むように、前記広域画像上に前記走行体に相当する図形を描画するものである、請求項1に記載の情報処理装置。 - 前記レーシングゲームがカーレーシングゲームであって、前記操舵具がレーシングカーの操舵輪を模した外観形態を有するものであり、
かつ
前記特定処理が、前記操舵輪が指し示す方向へと進むように、前記広域画像上に前記レーシングカーに相当する図形を描画するものである、請求項5に記載の情報処理装置。 - 前記情報処理部が、バットやラケット等の打球具を模した操作部にて球を打つ又は打ち返す動作を伴うスポーツゲームを実現するためのコンピュータプログラムを実行するものであり、かつ
前記特定処理が、前記操作部の運動の軌跡に相当する図形を前記広域画像上の該当する位置に描画する、又前記操作部の運動の軌跡と前記広域画像上に予め設置された目標球軌跡とを照合し、両者が所定の許容範囲内において一致することを少なくとも条件として、打球イベントが発生したと判定するものである、請求項1に記載の情報処理装置。 - 前記情報処理部は、前記広域画像のうちで、前記第2のモーションセンサを介して特定される前記操作部の指し示す向きに対応する所定画角枠内の画像を、前記操作者の頭部の向きに対応する画像に代えて、又は前記操作者の頭部の向きに対面する画像と共に、前記ディスプレイに表示させる機能をさらに有する、請求項1に記載の情報処理装置。
- 前記情報処理部は、前記広域画像の中で、前記第1のモーションセンサを介して特定される操作者の頭部の向きに対して、左右の側方、後方、上方、下方等の1又は2以上の方向に対応する所定画角枠内の画像を、前記操作者の頭部の向きに対応する画像と共に、それぞれ前記ディスプレイの所定ウィンドウ内に表示させる機能をさらに有する、請求項1に記載の情報処理装置。
- 前記頭部に保持されるディスプレイ、前記第1のモーションセンサ、及び前記情報処理部を、市販のスマートフォンの該当する各機能により代用してなる、請求項1に記載の情報処理装置。
- 頭部に装着可能であって、前部開口を除いて周囲を包囲する頭部装着具と、前記頭部装着具の前部開口を開閉可能にヒンジ結合された蓋板部と、前記蓋板部の内面に画面を内側に向けて保持されるスマートフォンと、装着者の目と前記蓋板部に保持されるスマートフォンの画面との間に介在される光学系とを有する、請求項10に記載の情報処理装置。
- コンピュータを、請求項1〜11のいずれか1つに記載の情報処理装置における情報処 理部として機能させるためのコンピュータプログラム。
- 頭部装着具と、
前記頭部装着具内にあって、その表示画面が装着者の眼前に所定の光学系を介して対面するように配置され、かつ第1のモーションセンサが内蔵されたスマートフォンと、
第2のモーションセンサが組み込まれ、かつ手持ち型又は身体装着型として構成され、さらに、前記スマートフォンと無線又は有線接続される操作部とを包含し、
前記スマートフォンには、
予め設定されたワールド座標上に定義された広域画像のうちで、前記第1のモーションセンサを介して特定される操作者の頭部の向きに対応する所定画角枠内の画像をディスプレイに表示する頭部追従画像表示部と、
前記第2のモーションセンサを介して検出される前記操作部のモーションにより特定される操作者の指示に対応する特定処理を実行する特定処理実行部とを含み、さらに
前記スマートフォンには、
前記第1のモーションセンサに含まれる三次元加速度センサの検出値から前記操作者の頭部の第1のローカル座標上の基本姿勢を、また前記第2のモーションセンサに含まれる三次元加速度センサの検出値から前記操作部の第2のローカル座標上の基本姿勢を、それぞれ求める基本姿勢取得部と、
前記第1のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作者の頭部の特定絶対方位方向を、また前記第2のモーションセンサに含まれる三次元地磁気センサの検出値特定方位成分と三次元加速度センサの検出値鉛直下向き成分とに基づいて、前記操作部の特定絶対方位方向を、それぞれ求める特定絶対方位方向取得部と、
前記基本姿勢取得部により取得された、前記操作者の頭部の第1のローカル座標上の基本姿勢及び前記操作部の第2のローカル座標上の基本姿勢と、前記特定絶対方位方向取得部により取得された、前記操作者の頭部の特定絶対方位方向及び前記操作部の特定絶対方位方向とに基づいて、前記ワールド座標上に、前記操作者の頭部の姿勢及び前記操作部の姿勢を合成する姿勢合成部と、が含まれる情報処理装置。 - 前記操作部は、前記表示画面を介して認識するバーチャル空間内で使用する道具に模した外観形態を有するものである、請求項13に記載の情報処理装置。
- 前記操作部が短銃に模した外観形態を有し、
引き金部に位置する操作子と、
前記操作子の操作に応じて対応する操作情報を生成する操作情報生成部と、
前記操作情報を前記スマートフォンへ有線又は無線で送り出す通信手段とを含む、請求項14に記載の情報処理装置。 - 前記頭部装着具が、
装着者の眼前に開口する窓穴を有する本体と、
前記本体の前記窓穴を開閉しかつ外側へと開くようにヒンジ結合された窓板と、
前記窓板の内面側にスマートフォンをその画面が内側へ向くようにして保持させるための保持具と、
前記窓板が閉じられた状態において、装着者の目と前記スマートフォンとの間に介在される光学系とを有する、請求項13に記載の情報処理装置。 - 短銃に模した外観形態を有する本体を有すると共に、
前記本体には、
引き金部に位置する操作子と、
前記操作子の操作に応答して該当する操作情報を生成する操作情報生成部と、
3軸加速度センサと3軸角速度センサと3軸地磁気センサとのうちの1もしくは2以上を含んで構成されるモーションセンサと、
前記モーションセンサの出力に基づいてモーション情報を生成するモーション情報生成部と、
前記操作情報生成部により生成された操作情報及びモーション情報生成部により生成されたモーション情報を有線又は無線で情報処理装置へと送出するための通信部と、が設けられている、請求項13に記載の情報処理装置のための入力操作部。 - スマートフォンを、請求項13〜16のいずれか1つに記載の情報処理装置におけるス マートフォンとして機能させるためのコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015169855 | 2015-08-28 | ||
JP2015169855 | 2015-08-28 | ||
PCT/JP2015/083910 WO2017037962A1 (ja) | 2015-08-28 | 2015-12-02 | 頭部装着型ディスプレイを備えた情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016103485A Division JP2017045443A (ja) | 2015-08-28 | 2016-05-24 | 頭部装着型ディスプレイを備えた情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5944600B1 true JP5944600B1 (ja) | 2016-07-05 |
JPWO2017037962A1 JPWO2017037962A1 (ja) | 2017-08-31 |
Family
ID=56289124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015558688A Active JP5944600B1 (ja) | 2015-08-28 | 2015-12-02 | 頭部装着型ディスプレイを備えた情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9703102B2 (ja) |
JP (1) | JP5944600B1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017224003A (ja) * | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム、および記録媒体 |
JP2018037034A (ja) * | 2016-09-02 | 2018-03-08 | 株式会社タカラトミー | 情報処理システム |
JP2018045462A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社スクウェア・エニックス | 表示システム、表示方法、及び、コンピュータ装置 |
JP2019532444A (ja) * | 2016-08-23 | 2019-11-07 | リアヴィーレ インコーポレイティドReavire,Inc. | 仮想光線を用いたオブジェクト制御 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105247466B (zh) * | 2013-05-15 | 2019-07-26 | 索尼公司 | 显示控制装置,显示控制方法和记录介质 |
WO2016049284A1 (en) | 2014-09-24 | 2016-03-31 | Taction Technology Inc. | Systems and methods for generating damped electromagnetically actuated planar motion for audio-frequency vibrations |
US9936273B2 (en) * | 2015-01-20 | 2018-04-03 | Taction Technology, Inc. | Apparatus and methods for altering the appearance of wearable devices |
JP2016208348A (ja) * | 2015-04-24 | 2016-12-08 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2017021461A (ja) * | 2015-07-08 | 2017-01-26 | 株式会社ソニー・インタラクティブエンタテインメント | 操作入力装置および操作入力方法 |
US10573139B2 (en) | 2015-09-16 | 2020-02-25 | Taction Technology, Inc. | Tactile transducer with digital signal processing for improved fidelity |
EP3349917A4 (en) | 2015-09-16 | 2019-08-21 | Taction Technology, Inc. | APPARATUS AND METHODS FOR AUDIO-TOUCH SOUND SPATIALIZATION AND PERCEPTION OF LOW |
JP6832061B2 (ja) * | 2015-12-29 | 2021-02-24 | 株式会社バンダイナムコエンターテインメント | ゲーム装置及びプログラム |
US10646289B2 (en) * | 2015-12-29 | 2020-05-12 | Koninklijke Philips N.V. | System, controller and method using virtual reality device for robotic surgery |
US10378858B2 (en) * | 2016-01-21 | 2019-08-13 | Kai W. Gull | Systems, devices and methods for visualizing a target |
US20170256197A1 (en) * | 2016-03-02 | 2017-09-07 | Disney Enterprises Inc. | Systems and Methods for Providing Input to a Computer-Mediated Reality Device Using a Viewing Device |
US10539797B2 (en) * | 2016-05-06 | 2020-01-21 | Colopl, Inc. | Method of providing virtual space, program therefor, and recording medium |
JP6228640B1 (ja) * | 2016-08-17 | 2017-11-08 | 株式会社コロプラ | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム |
US10656731B2 (en) * | 2016-09-15 | 2020-05-19 | Daqri, Llc | Peripheral device for head-mounted display |
US10663729B2 (en) | 2016-09-15 | 2020-05-26 | Daqri, Llc | Peripheral device for head-mounted display |
US10536691B2 (en) * | 2016-10-04 | 2020-01-14 | Facebook, Inc. | Controls and interfaces for user interactions in virtual spaces |
GB2555838A (en) * | 2016-11-11 | 2018-05-16 | Sony Corp | An apparatus, computer program and method |
US10241587B2 (en) * | 2016-12-22 | 2019-03-26 | Microsoft Technology Licensing, Llc | Magnetic tracker power duty cycling |
US11070724B2 (en) * | 2017-03-22 | 2021-07-20 | Sony Corporation | Image processing apparatus and method |
JP7070547B2 (ja) * | 2017-03-22 | 2022-05-18 | ソニーグループ株式会社 | 画像処理装置および方法、並びにプログラム |
KR102012364B1 (ko) * | 2017-05-31 | 2019-08-20 | 이병찬 | 게임 컨트롤러 |
GB2565836B (en) * | 2017-08-25 | 2021-04-14 | Sony Interactive Entertainment Inc | Data processing for position detection using markers in captured images |
JP6977931B2 (ja) * | 2017-12-28 | 2021-12-08 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
CN108211343A (zh) * | 2018-01-23 | 2018-06-29 | 上海森涵信息技术有限公司 | 基于vr技术的模拟射击方法和装置 |
JP6917340B2 (ja) * | 2018-05-17 | 2021-08-11 | グリー株式会社 | データ処理プログラム、データ処理方法、および、データ処理装置 |
US10748344B2 (en) * | 2018-09-12 | 2020-08-18 | Seiko Epson Corporation | Methods and devices for user interaction in augmented reality |
CN111309142A (zh) * | 2018-12-11 | 2020-06-19 | 托比股份公司 | 用于切换显示设备的输入模态的方法和设备 |
US10937218B2 (en) * | 2019-07-01 | 2021-03-02 | Microsoft Technology Licensing, Llc | Live cube preview animation |
JP2021056371A (ja) * | 2019-09-30 | 2021-04-08 | セイコーエプソン株式会社 | 表示システム、表示方法及び表示プログラム |
US11864841B2 (en) | 2019-12-31 | 2024-01-09 | Carl Zeiss Meditec Ag | Method of operating a surgical microscope and surgical microscope |
US11409091B2 (en) * | 2019-12-31 | 2022-08-09 | Carl Zeiss Meditec Ag | Method of operating a surgical microscope and surgical microscope |
US11607287B2 (en) | 2019-12-31 | 2023-03-21 | Carl Zeiss Meditec Ag | Method of operating a surgical microscope and surgical microscope |
KR102521697B1 (ko) | 2020-10-19 | 2023-04-17 | 한국과학기술연구원 | 3개 이상의 센싱 축을 갖는, 다수의 필드 센서를 자가 교정하는 방법 및 이를 수행하는 시스템 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000105533A (ja) * | 1994-06-17 | 2000-04-11 | Namco Ltd | 3次元シミュレ―タ装置及び画像合成方法 |
JP2002224444A (ja) * | 2001-01-31 | 2002-08-13 | Konami Co Ltd | ゲームコントローラ |
JP2007300980A (ja) * | 2006-05-09 | 2007-11-22 | Nintendo Co Ltd | ゲームコントローラ |
JP2007300974A (ja) * | 2006-05-08 | 2007-11-22 | Nintendo Co Ltd | プログラム、情報記憶媒体及び画像生成システム |
JP2008136694A (ja) * | 2006-12-01 | 2008-06-19 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
JP2012507068A (ja) * | 2008-10-27 | 2012-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 視覚情報を通信するためのコントロールデバイス |
JP2013017737A (ja) * | 2011-07-13 | 2013-01-31 | Sony Computer Entertainment Inc | ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2687955B1 (en) | 2012-07-20 | 2018-08-22 | Nintendo Co., Ltd. | Information processing program, information processing system and attitude calculation method for calculating an attitude of an input unit |
JP6353214B2 (ja) * | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
EP3054266A4 (en) * | 2013-12-25 | 2017-08-09 | Sony Corporation | Orientation measurement device, orientation measurement method, image processing device, image processing method, display device, display method, computer program, and image display system |
JP6355978B2 (ja) * | 2014-06-09 | 2018-07-11 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
-
2015
- 2015-12-02 US US14/908,470 patent/US9703102B2/en not_active Expired - Fee Related
- 2015-12-02 JP JP2015558688A patent/JP5944600B1/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000105533A (ja) * | 1994-06-17 | 2000-04-11 | Namco Ltd | 3次元シミュレ―タ装置及び画像合成方法 |
JP2002224444A (ja) * | 2001-01-31 | 2002-08-13 | Konami Co Ltd | ゲームコントローラ |
JP2007300974A (ja) * | 2006-05-08 | 2007-11-22 | Nintendo Co Ltd | プログラム、情報記憶媒体及び画像生成システム |
JP2007300980A (ja) * | 2006-05-09 | 2007-11-22 | Nintendo Co Ltd | ゲームコントローラ |
JP2008136694A (ja) * | 2006-12-01 | 2008-06-19 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
JP2012507068A (ja) * | 2008-10-27 | 2012-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 視覚情報を通信するためのコントロールデバイス |
JP2013017737A (ja) * | 2011-07-13 | 2013-01-31 | Sony Computer Entertainment Inc | ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
Non-Patent Citations (2)
Title |
---|
"視度補正が良好でメガネ民も安心なヘッドマウントディスプレー『Gear VR』レポート", 週刊アスキー, JPN6016002272, 8 April 2015 (2015-04-08), ISSN: 0003239807 * |
マリオカートWII 最高!最速!必勝ブック, JPN6016002271, 1 June 2008 (2008-06-01), pages 5 - 10, ISSN: 0003239806 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017224003A (ja) * | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム、および記録媒体 |
JP2019532444A (ja) * | 2016-08-23 | 2019-11-07 | リアヴィーレ インコーポレイティドReavire,Inc. | 仮想光線を用いたオブジェクト制御 |
JP2018037034A (ja) * | 2016-09-02 | 2018-03-08 | 株式会社タカラトミー | 情報処理システム |
JP2018045462A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社スクウェア・エニックス | 表示システム、表示方法、及び、コンピュータ装置 |
Also Published As
Publication number | Publication date |
---|---|
US9703102B2 (en) | 2017-07-11 |
JPWO2017037962A1 (ja) | 2017-08-31 |
US20170059871A1 (en) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5944600B1 (ja) | 頭部装着型ディスプレイを備えた情報処理装置 | |
WO2017037962A1 (ja) | 頭部装着型ディスプレイを備えた情報処理装置 | |
US10636212B2 (en) | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device | |
CN103488291B (zh) | 一种基于运动捕捉的浸入式虚拟现实系统 | |
JP6263252B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US20100004896A1 (en) | Method and apparatus for interpreting orientation invariant motion | |
JP6523233B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2018036720A (ja) | 仮想空間観察システム、方法及びプログラム | |
JP6509955B2 (ja) | 情報処理方法、プログラム及び情報処理装置 | |
JP6248219B1 (ja) | 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6227732B1 (ja) | 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム | |
JP2018037034A (ja) | 情報処理システム | |
JP6495398B2 (ja) | 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置 | |
JP2018049629A (ja) | 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム | |
JP2019086848A (ja) | プログラム、情報処理装置、および方法 | |
JP2018097517A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6368404B1 (ja) | 情報処理方法、プログラム及びコンピュータ | |
CN109475773B (zh) | 用于模拟游戏事件的方法和设备 | |
JP2019087262A (ja) | プログラム、情報処理装置、および方法 | |
JP2019020836A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6174215B1 (ja) | ヘッドマウントデバイスの表示内容を制御する方法およびシステムならびに当該方法をコンピュータに実行させるプログラム | |
JP6330072B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6298557B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018175849A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019016358A (ja) | 情報処理方法、プログラム及びコンピュータ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20151221 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160520 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5944600 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |