JP7304948B2 - ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法 - Google Patents

ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法 Download PDF

Info

Publication number
JP7304948B2
JP7304948B2 JP2021530401A JP2021530401A JP7304948B2 JP 7304948 B2 JP7304948 B2 JP 7304948B2 JP 2021530401 A JP2021530401 A JP 2021530401A JP 2021530401 A JP2021530401 A JP 2021530401A JP 7304948 B2 JP7304948 B2 JP 7304948B2
Authority
JP
Japan
Prior art keywords
head
mounted display
external
external operation
ring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021530401A
Other languages
English (en)
Other versions
JPWO2021005715A1 (ja
Inventor
治 川前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2021005715A1 publication Critical patent/JPWO2021005715A1/ja
Priority to JP2023104928A priority Critical patent/JP2023126844A/ja
Application granted granted Critical
Publication of JP7304948B2 publication Critical patent/JP7304948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ヘッドマウントディスプレイ(HMD:Head Mount Display)及びHMD用のコントローラを含めたHMDシステムに関する。
ディスプレイを搭載し、頭部に装着して情報を視聴するHMDは、近年、ゲーム用途や作業支援の分野で徐々に広がりつつある。HMDは、両手が自由になる反面、操作入力をするための方法はまだ確立されたものが無く様々である。例えば、音声による入力は、周囲のノイズとの分離が難しいという欠点がある。また、ジェスチャ動作による入力は、認識範囲内で特定の動作をすることで操作が可能であるが、広い動作範囲と規定された手や指の動きをする必要があり、動作認識や作業範囲の面で制限がある。
本技術分野における従来技術として特許文献1がある。特許文献1には、内蔵したセンサにより動きの角速度や加速度を検出しそれらの情報を送信する指輪型デバイスについて開示されている。
特開2016-76105号公報
HMDは、ユーザの両手が自由に使える利点があるが、特許文献1に開示されている指輪型デバイスでは、入力できる操作が限られており、多彩な情報を取り扱う際には不便が生じる。そのためユーザの操作の自由度が下がるという課題が残る。
本発明は、上記課題を解決するためになされたものであり、両手の自由度を確保しつつ、HMDに対して多彩な操作が可能となるように操作性を向上させたHMDシステム及びそれに用いるHMD及びその操作方法を実現することを目的とする。
本発明は、上記課題を解決するために、その一例を挙げるならば、外部操作機器からの操作入力が可能なHMDと、複数の外部操作機器が接続されたHMDシステムであって、外部操作機器は、HMDを使用するユーザの体に装着する機器であり、移動を検出するセンサを備え、外部操作機器の移動により操作情報を送信し、HMDは、近距離無線通信部と操作制御部を備え、近距離無線通信部を介して複数の外部操作機器からの操作情報を受信し、操作制御部は、受信した複数の外部操作機器からのそれぞれの操作情報により所定の操作を実行する構成とした。
本発明によれば、HMDに対して多彩な入力操作を実現して操作性を向上させることができるHMDシステム及びそれに用いるHMD及びその操作方法を提供できる。
実施例におけるHMDシステムの装着状態模式図である。 実施例におけるHMDの近距離無線通信の動作状態を示す図である。 実施例におけるHMDシステムのハードウェア構成図である。 実施例におけるHMDシステムの他の装着状態模式図である。 実施例におけるHMDシステムの他のハードウェア構成図である。 実施例における指輪型コントローラの外観を示す図である。 実施例における指輪型コントローラのハードウェア構成図である。 実施例における指輪型コントローラの起動動作を示す図である。 実施例における左右の指輪型コントローラの移動方向のベクトル定義を示す図である。 実施例における指輪型コントローラの移動方向のHMD表示を示す図である。 実施例における2個の指輪型コントローラを起動・停止する動作を示す図である。 実施例における2個の指輪型コントローラをHMDと接続する時の処理フローチャートである。 実施例におけるデュアルモード時の動作モードの切り替え操作を示す図である。 実施例におけるデュアルモード時の動作モードの他の切り替え操作を示す図である。 実施例におけるデュアルモード時の動作モードの他の切り替え操作を示す図である。 実施例におけるデュアルモード時の動作モードの他の切り替え操作を示す図である。 実施例におけるゲーム機と指輪型コントローラの構成例を示す図である。
以下、本発明の実施例について図面を用いて説明する。なお、全図を通じて同一の構成、処理には同一の符号を付し、重複説明を省略する。
図1は、本実施例におけるHMDシステムの装着状態模式図である。図1に示すように、HMDシステムは、ユーザの頭部に装着されたHMD100及びスマートフォン200、指輪型コントローラ右300、指輪型コントローラ左400を含む。スマートフォン200は、近距離無線通信回線を介してHMD100に通信接続され、情報の送受信を行う。なお、スマートフォン200とは有線で情報の送受信を行ってもよい。
サーバ500は、外部ネットワーク600を介して、スマートフォン200からの指示により情報を検索したり、HMD100に表示するコンテンツを提供したりする。
指輪型コントローラ右300、指輪型コントローラ左400は、近距離無線通信回線を介してHMD100に通信接続され、指輪型コントローラの操作情報をHMD100に送信する。ここで指輪型コントローラは、一つでも二つ同時でもHMDに接続し、動作することが可能である。
図2は、本実施例におけるHMDの近距離無線通信の動作状態を説明する図である。図2に示すように、HMDの近距離無線通信は、スマートフォン200と指輪型コントローラ右300、指輪型コントローラ左400に接続されており、例えば、無線通信を時間的に分割してそれぞれのデバイスと通信を行うようにすることで同時に動作させることが可能である。
図3は、本実施例におけるHMDシステムのハードウェア構成図である。図3に示すように、HMD100は、カメラ111、インカメラ112、測距センサ113、照度センサ114、加速度センサ115、ジャイロセンサ116、地磁気センサ117、GPS受信器118、近距離無線通信器123、制御器130、表示器150を備える。また、制御器130は、CPU131、メモリ132、操作制御135からなり、メモリ132は、プログラム133と情報データ134を有する。
近距離無線通信器123は、HMD100と指輪型コントローラ右300、指輪型コントローラ左400、スマートフォン200との間で近距離無線通信を行う通信インターフェースである。近距離無線通信器123は、例えば、Bluetooth(登録商標)、IrDA(Infrared Data Association)、Zigbee(登録商標)、HomeRF(Home Radio Frequency、登録商標)、又は、無線LAN(IEEE802.11a、IEEE802.11b、IEEE802.11g)等に対応した通信器により構成される。
指輪型コントローラ右300、指輪型コントローラ左400は、近距離無線通信器123を介してHMD100に接続される。HMD100は、近距離無線通信回線を介して指輪型コントローラ右300、指輪型コントローラ左400が受け付けた操作情報を受信する。受信した操作情報は操作制御135によってどのような入力操作がなされたかを検出し、操作内容に従った処理を行うようCPU131に伝える。
CPU131は、メモリ132に格納されたプログラム133をロードして実行し、必要に応じて情報データ134を読み出してプログラム133の実行処理に用いる。制御器130では、CPU131を用いて、各種センサからの情報を解析したり、操作制御135の情報を処理したり、スマートフォン200と情報の送受信を行ったり、表示器150への表示画面を作成したりして、HMD全体の制御を行う。ここで、指輪型コントローラにセンサの出力を演算する機能を備えている場合には、指輪型コントローラ内で移動に関する情報を演算処理した後に、HMD100に送信しても良い。
図4は、本実施例におけるHMDシステムの別の装着状態模式図である。図4において、図1と同じ機能は同じ符号を付し、その説明は省略する。図4に示すように、HMD100は、スマートフォンを介さず、自ら外部ネットワーク600を介して、サーバ500に接続するように構成している。この場合、HMDにはスマートフォンで行う演算処理や画像加工処理、通信処理などを搭載する。
また、図5は、図4に対応するHMDシステムのハードウェア構成図である。図5において、図3と同じ機能は同じ符号を付し、その説明は省略する。図5において、図3と異なる点は、HMD100内にネットワーク通信器120を備え、スマートフォンを介さず、HMD100から外部ネットワーク600に接続する構成とした点である。
ネットワーク通信器120は、無線LAN、有線LAN或いは基地局通信により外部のサーバと通信を行う通信インターフェースであり、外部ネットワー600に接続し、サーバ500と情報の送受信を行う。ネットワーク通信器120は、W-CDMA(Wideband Code Division Multiple Access)(登録商標)やGSM(Global System for Mobile communications)(登録商標)などの遠距離の無線通信規格に対応した通信器により構成される。
図6は、本実施例における指輪型コントローラ右300の外観を示した図である。図6において、押下スイッチ201は、長押しや短押しの操作で電源を制御したり、操作を切り替えたりすることが可能である。タッチパッド202は、例えば静電容量方式で人の指が触れた位置を検出することができ、その位置がどの方向に移動したかにより、操作指示を検出することができる。ここでは十文字の矢印で示したように、隣の親指を用いて上下左右の方向の操作を検出できるタッチパッドの例を示している。突起203は、指輪型コントローラの外周の一部に突起部が設けられており、指輪型コントローラが操作中に勝手に回転したりすることを抑えたり、操作する親指のホームポジションとして、所定位置を定めるものである。また、動作モードを示すLED204が搭載されている。なお、押下スイッチとタッチパッド、突起、LEDの位置関係は、この順序に限定されない。また、指輪型コントローラ左400については、図6の外観と同じでも構わないし、構造的に左右で対称な配置としても構わない。
図7は、指輪型コントローラ右300のハードウェア構成図である。図7に示すように、移動を検出するための加速度センサ211、ジャイロセンサ212、地磁気センサ213を備え、タッチパッドに触れた指の移動方向や速さ、距離を検出するタッチパッドセンサ214、押下スイッチのon/offを検出するプッシュスイッチ検出215、近距離無線通信器216を備える。また、右コントローラ制御部210は、これらの全体を制御する。なお、バッテリーや充電のためのコネクタ、LEDドライバ等は、ここでは省略する。
図8は、本実施例における指輪型コントローラの起動動作を示した図である。図8(a)のように、初めてHMDと近距離無線通信にてペアリングを行う時には、HMDをペアリングモードにした状態で、押下スイッチ201を長押しして双方で認証データを交換することでペアリングを行うことができる。一旦、ペアリングを行った後は、図8(b)のように指輪型コントローラの押下スイッチ201を長押しして起動動作させる。この時、ペアリングしたHMDが通信を送受できる範囲内に居れば自動でペアリングを行うようにする。また、しばらく動作させずにスリープモードになっていた場合には、押下スイッチ201の短押しにてスリープ解除を行うようにしても良い。このように、押下スイッチを押す時間の長さによって異なる操作を入力することが可能である。
図9は、本実施例における左右の指輪型コントローラの移動方向のベクトル定義を示す図である。図9(a)は右手に装着した指輪型コントローラ右300とそのX、Y、Z座標系を示しており、ある位置を起点として、右手に装着した指輪型コントローラ右300が移動すると、加速度センサ211やジャイロセンサ212、地磁気センサ213により、所定の時間間隔の2地点のX、Y、Z座標の差分から、どの方向にどのような速度でどの距離を指輪型コントローラ右300が移動したか検出することができる。また、図9(b)は左手に装着した指輪型コントローラ左400とそのX、Y、Z座標系を示しており、左手に装着した指輪型コントローラ左400も同様に、どのように移動をしたか検出することができる。このように左右2個の指輪型コントローラを用いることで、2つのカーソルを同時に独立で動作させることができる。
ここで、指輪型コントローラは、1個の場合でも左右独立に用いる場合でも操作は可能であるが、2個同時に用いることで多様な操作が実現できる。例えば、右手に装着した指輪型コントローラ右300と左手に装着した指輪型コントローラ左400の移動方向を同じX、Y、Z軸を基準に検出すると、二つの指輪型コントローラが所定の時間間隔の間に相対的にどのような位置に移動したのかも検出することができる。例えば、スマートフォンで、画面上に2本の指を置いて、2点間を広げて、表示サイズを拡大するような動作も、二つの指輪型コントローラを用いることで容易に実現できる。
図10は、HMDのメガネの片方のレンズ部に表示された画像オブジェクトとその移動方向を示した例である。HMDのメガネ部分には○△□の図形オブジェクトが表示されており、これを例えば、図9(a)の右手に装着した指輪型コントローラ右の移動方向X、Y、Zに従ってオブジェクトを移動させる。このとき、HMDのレンズ面と同じ面方向X、Yだけでなく、奥行方向であるZ方向にも図形の拡大縮小を用いて遠近(前後)に移動したように表示する。このように、指輪型コントローラを用いて上下左右前後方向に、表示オブジェクトを移動させるような操作をすることができる。
図11は、本実施例における2個の指輪型コントローラを起動する場合と、2個の指輪型コントローラをそれぞれ動作停止する場合の動作について示した図である。図11(a)は2個同時動作を起動する場合であり、指輪型コントローラ右の押下スイッチを長押しして指輪型コントローラ右を立ち上げ、次に指輪型コントローラ左の押下スイッチを長押しして指輪型コントローラ左を立ち上げると、指輪型コントローラを2個同時に動作するデュアルモードとして操作が可能となる。また、図11(b)のように、デュアルモードの状態から、指輪型コントローラ左の押下スイッチを長押しして指輪型コントローラ左を停止しシングルモードとし、次に指輪型コントローラ右の押下スイッチを長押しして指輪型コントローラ右を停止させることで、指輪型コントローラ2個を停止する操作が可能となる。このように、それぞれの押下スイッチを押すタイミングの関係により異なる操作入力を規定できる。
図12は、本実施例における2個の指輪型コントローラをHMDと接続する時の処理フローチャートである。図12において、まず、S900にて指輪型コントローラの接続する処理を開始する。次に、S901にてHMDとのペアリングの初期設定を行う。そして、S902にて全ての指輪型コントローラとのペアリングが済んでいるかを確認し、まだペアリングの初期設定が済んでいない指輪型コントローラがあればS901にて初期設定を行う。2個のペアリングの初期設定が完了したことで、この例の場合のS902はyesとなる。次に、S903にて一つの指輪型コントローラを認識してペアリングを行う。S904にてもう一つの指輪型コントローラを認識して同様にペアリングを行う。そしてS905にて、2個の指輪型コントローラの動作モードを確定する。必要であれば、S906にて2個の指輪型コントローラの動作モードを切り替える。終了時にはS907にて1個の指輪型コントローラを停止し、次にS908にてもう一つの指輪型コントローラを停止する。このような処理によって、2個の指輪型コントローラとHMDをペアリングして動作させることができる。
図13は、本実施例における2個の指輪型コントローラを用いて、デュアルモード時の動作モードの切り替えを行う操作を示した図である。ここで、動作モードとは、例えば、アプリケーションの切り替えモードや、音声入力の受付けモード、表示を右レンズから左レンズに替える等の表示モード、また、HMDのメガネ部分をサングラスにするサングラスモード等である。図13はモードAからモードBに切り替える操作を示したもので、2個の指輪型コントローラがデュアルモードで動作している期間内に、両方の押下スイッチを同時に2回押すことで、モードが切り替わる操作を示している。
図14は、本実施例におけるデュアルモード時の動作モードの他の切り替え操作を示す図である。図14はモードCからモードDに切り替える操作を示したもので、2個の指輪型コントローラがデュアルモードで動作している期間内に、左右の押下スイッチを交互に2回ずつ押すことで、モードが切り替わる操作を示している。ここでモードA~Dをどのような動作モードに割り付けるかは、使用者の設定次第であり特に限定はしない。
また、図15は、本実施例におけるデュアルモード時の動作モードのさらに他の切り替え操作を示す図である。図15に示すように、デュアルモードの状態において、2個の指輪型コントローラの押下スイッチを同時に長押しする操作を定義する。例えば、このモードを2個の指輪型コントローラの動作のスタート地点を決める起点リセットに対応させれば、このモードにより、それぞれの指輪型コントローラのその時点の空間上の位置を起点として、その位置からの移動を検出するように設定する。その位置から2個の指輪型コントローラがそれぞれ独立に移動した場合、その差分の軌跡が変化量として検出され、その軌跡に応じた操作を行うことができる。
また、図16は、本実施例におけるデュアルモード時の動作モードのさらに他の切り替え操作を示す図である。図16に示すように、デュアルモードの状態において、指輪型コントローラ右の押下スイッチを長押し、その期間内に指輪型コントローラ左を用いて操作するモードを定義する。例えば、指輪型コントローラ左の押下スイッチを押しているときにカーソルが移動するモードの場合、指輪型コントローラ右の押下スイッチの長押し期間の間に指輪型コントローラ左の操作を行うと、通常の操作の2倍の距離にカーソルが移動する等の定義ができる。また、押下スイッチの代わりに、指輪型コントローラ左のタッチパッドに触れて指を移動させる操作でも、同様の定義をすることができる。
このように、2個の指輪型コントローラを同時に操作させることで、それぞれの押下スイッチを押す時間の長さや押すタイミングの関係により異なる操作を入力することが可能であり、それぞれの指輪型コントローラの操作入力の連携動作により多様な動作の定義が可能となる。
図17は、指輪型コントローラをゲーム機に接続した場合の構成例を示した図である。指輪型コントローラ2個がゲーム機700と通信により接続され、指輪型コントローラ2個それぞれ独立もしくは2個を連携してゲーム機700の操作入力が可能である。ゲーム機の出力はTV800に表示される。このように、指輪型コントローラをゲーム機の操作入力装置として用いることも可能である。
なお、上記の指輪型コントローラは、HMDやゲーム機器を操作する外部操作機器であるが、ユーザへの装着の負担を軽減することができればよいので、HMDやゲーム機器を使用するユーザの体に装着する機器であってもよい。例えば、ユーザの手首に装着するブレスレット型や、腕時計型でもよい。
また、上記の説明では指輪型コントローラをHMDやゲーム機に接続して操作する例を示したが、操作する機器はこれらに限定されず、例えば、スマートフォンやタブレットPC(Personal Computer)、また、リモコン機器からの操作のように入力に応じて動作の切り替えを操作できる機器であれば適用可能である。
以上のように、本実施例によれば、HMDに対して多彩な入力操作を実現して操作性を向上させつつ、ユーザへの装着の負担を軽減することができるHMDシステム及びそれに用いるHMD及びその操作方法を提供できる。
以上、本発明の実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。
100:HMD、200:スマートフォン、300:指輪型コントローラ右、400:指輪型コントローラ左、500:サーバ、600:外部ネットワーク、700:ゲーム機、800:TV、123:近距離無線通信器、130:制御器、131:CPU、132:メモリ、133:プログラム、134:情報データ、135:操作制御、150:表示器、201:押下スイッチ、202:タッチパッド、203:突起、204:LED、211:加速度センサ、212:ジャイロセンサ、213:地磁気センサ、214:タッチパッドセンサ、215:プッシュスイッチ検出、216:近距離無線通信器

Claims (6)

  1. 外部操作機器からの操作入力が可能なヘッドマウントディスプレイと、複数の外部操作機器が接続されたヘッドマウントディスプレイシステムであって、
    前記外部操作機器は、前記ヘッドマウントディスプレイを使用するユーザの体に装着する機器であり、移動を検出するセンサを備え、前記外部操作機器の移動により操作情報を送信し、
    前記ヘッドマウントディスプレイは、近距離無線通信部と操作制御部を備え、
    前記近距離無線通信部を介して前記複数の外部操作機器からの操作情報を受信し、
    前記操作制御部は、前記受信した前記複数の外部操作機器からのそれぞれの操作情報により所定の操作を実行し、
    前記外部操作機器は、前記ユーザの指にはめる指輪型コントローラであり、押下スイッチを備え、押下スイッチを押す時間の長さによって異なる操作を入力し、前記複数の外部操作機器のそれぞれの前記押下スイッチを押すタイミングの関係により異なる操作入力を規定することを特徴とするヘッドマウントディスプレイシステム。
  2. 外部操作機器からの操作入力が可能なヘッドマウントディスプレイと、複数の外部操作機器が接続されたヘッドマウントディスプレイシステムであって、
    前記外部操作機器は、前記ヘッドマウントディスプレイを使用するユーザの体に装着する機器であり、移動を検出するセンサを備え、前記外部操作機器の移動により操作情報を送信し、
    前記ヘッドマウントディスプレイは、近距離無線通信部と操作制御部を備え、
    前記近距離無線通信部を介して前記複数の外部操作機器からの操作情報を受信し、
    前記操作制御部は、前記受信した前記複数の外部操作機器からのそれぞれの操作情報により所定の操作を実行し、
    前記外部操作機器は、前記ユーザの指にはめる指輪型コントローラであり、押下スイッチを備え、押下スイッチを押す時間の長さによって異なる操作を入力し、
    さらに、前記外部操作機器は、指が接触した位置を検出する接触位置センサを備え、指の接触位置が移動した方向を検出することができ、移動した方向により前記ヘッドマウントディスプレイの操作を入力することができ、
    前記複数の外部操作機器において、一つの外部操作機器の前記押下スイッチを押す時間と、他の外部操作機器の指の接触位置の移動との組合せによって異なる操作を入力することを特徴とするヘッドマウントディスプレイシステム。
  3. 複数の外部操作機器からの操作入力が可能なヘッドマウントディスプレイであって、
    近距離無線通信部と、操作制御部を備え、
    前記外部操作機器は、前記ヘッドマウントディスプレイを使用するユーザの指にはめる指輪型コントローラであり、移動を検出するセンサを備え、前記外部操作機器の移動により操作情報を送信し、さらに、押下スイッチを備え、押下スイッチを押す時間の長さによって異なる操作を入力し、前記複数の外部操作機器のそれぞれの前記押下スイッチを押すタイミングの関係により異なる操作入力を規定し、
    前記近距離無線通信部を介して前記複数の外部操作機器からの操作情報を受信し、
    前記操作制御部は、前記受信した前記複数の外部操作機器からのそれぞれの操作情報により所定の操作を実行することを特徴とするヘッドマウントディスプレイ
  4. 複数の外部操作機器からの操作入力が可能なヘッドマウントディスプレイであって、
    近距離無線通信部と、操作制御部を備え、
    前記外部操作機器は、前記ヘッドマウントディスプレイを使用するユーザの指にはめる指輪型コントローラであり、移動を検出するセンサを備え、前記外部操作機器の移動により操作情報を送信し、また、押下スイッチを備え、押下スイッチを押す時間の長さによって異なる操作を入力し、さらに、指が接触した位置を検出する接触位置センサを備え、指の接触位置が移動した方向を検出することができ、移動した方向により前記ヘッドマウントディスプレイの操作を入力することができ、前記複数の外部操作機器において、一つの外部操作機器の前記押下スイッチを押す時間と、他の外部操作機器の指の接触位置の移動との組合せによって異なる操作を入力することが可能であり、
    前記近距離無線通信部を介して前記複数の外部操作機器からの操作情報を受信し、
    前記操作制御部は、前記受信した前記複数の外部操作機器からのそれぞれの操作情報により所定の操作を実行することを特徴とするヘッドマウントディスプレイ
  5. 複数の外部操作機器からの操作入力が可能なヘッドマウントディスプレイの操作方法であって、
    前記外部操作機器は、前記ヘッドマウントディスプレイを使用するユーザの指にはめる指輪型コントローラであり、移動を検出するセンサを備え、前記外部操作機器の移動により操作情報を送信し、さらに、押下スイッチを備え、押下スイッチを押す時間の長さによって異なる操作を入力し、前記複数の外部操作機器のそれぞれの前記押下スイッチを押すタイミングの関係により異なる操作入力を規定し、
    前記ヘッドマウントディスプレイは、前記複数の外部操作機器と接続することが可能であり、
    前記複数の外部操作機器のそれぞれの操作入力により所定の操作を実行することを特徴とするヘッドマウントディスプレイの操作方法
  6. 複数の外部操作機器からの操作入力が可能なヘッドマウントディスプレイの操作方法であって、
    前記外部操作機器は、前記ヘッドマウントディスプレイを使用するユーザの指にはめる指輪型コントローラであり、移動を検出するセンサを備え、前記外部操作機器の移動により操作情報を送信し、また、押下スイッチを備え、押下スイッチを押す時間の長さによって異なる操作を入力し、さらに、指が接触した位置を検出する接触位置センサを備え、指の接触位置が移動した方向を検出することができ、移動した方向により前記ヘッドマウントディスプレイの操作を入力することができ、前記複数の外部操作機器において、一つの外部操作機器の前記押下スイッチを押す時間と、他の外部操作機器の指の接触位置の移動との組合せによって異なる操作を入力することが可能であり、
    前記ヘッドマウントディスプレイは、前記複数の外部操作機器と接続することが可能であり、
    前記複数の外部操作機器のそれぞれの操作入力により所定の操作を実行することを特徴とするヘッドマウントディスプレイの操作方法
JP2021530401A 2019-07-09 2019-07-09 ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法 Active JP7304948B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023104928A JP2023126844A (ja) 2019-07-09 2023-06-27 ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/027158 WO2021005715A1 (ja) 2019-07-09 2019-07-09 ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023104928A Division JP2023126844A (ja) 2019-07-09 2023-06-27 ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法

Publications (2)

Publication Number Publication Date
JPWO2021005715A1 JPWO2021005715A1 (ja) 2021-01-14
JP7304948B2 true JP7304948B2 (ja) 2023-07-07

Family

ID=74114485

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021530401A Active JP7304948B2 (ja) 2019-07-09 2019-07-09 ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法
JP2023104928A Pending JP2023126844A (ja) 2019-07-09 2023-06-27 ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023104928A Pending JP2023126844A (ja) 2019-07-09 2023-06-27 ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法

Country Status (4)

Country Link
US (1) US20220413640A1 (ja)
JP (2) JP7304948B2 (ja)
CN (1) CN114072750A (ja)
WO (1) WO2021005715A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069512A (ja) 2013-09-30 2015-04-13 株式会社Nttドコモ 情報処理装置及び情報処理方法
JP2016118929A (ja) 2014-12-19 2016-06-30 富士通株式会社 入力支援方法、入力支援プログラムおよび入力支援装置
WO2017150129A1 (ja) 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
JP2018190163A (ja) 2017-05-02 2018-11-29 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US10147243B2 (en) * 2016-12-05 2018-12-04 Google Llc Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
KR102479052B1 (ko) * 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
US11016116B2 (en) * 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
US11614793B2 (en) * 2018-02-28 2023-03-28 Logitech Europe S.A. Precision tracking of user interaction with a virtual input device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069512A (ja) 2013-09-30 2015-04-13 株式会社Nttドコモ 情報処理装置及び情報処理方法
JP2016118929A (ja) 2014-12-19 2016-06-30 富士通株式会社 入力支援方法、入力支援プログラムおよび入力支援装置
WO2017150129A1 (ja) 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
JP2018190163A (ja) 2017-05-02 2018-11-29 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム

Also Published As

Publication number Publication date
US20220413640A1 (en) 2022-12-29
CN114072750A (zh) 2022-02-18
WO2021005715A1 (ja) 2021-01-14
JP2023126844A (ja) 2023-09-12
JPWO2021005715A1 (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
US9978261B2 (en) Remote controller and information processing method and system
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US20160124579A1 (en) Controlling multiple devices with a wearable input device
WO2015168035A1 (en) Utilizing real world objects for user input
US10890982B2 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2013131327A1 (zh) 计算机终端的控制方法、装置及系统
JP2015133088A (ja) Guiシステム、表示処理装置、入力処理装置及びプログラム
CN103823548B (zh) 电子设备、穿戴式设备、控制系统和方法
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
JP2006511862A (ja) 非接触型入力装置
JP2024026166A (ja) 描画システム
JP2015011679A (ja) 操作入力装置及び入力操作処理方法
JP7304948B2 (ja) ヘッドマウントディスプレイシステム及びそれに用いるヘッドマウントディスプレイ及びその操作方法
JPWO2017134732A1 (ja) 入力装置、入力支援方法および入力支援プログラム
CN111078032A (zh) 一种可预判两指合并趋势的指环式鼠标及预判方法
KR20060125375A (ko) 마우스 기능을 구비한 스타일러스 펜과 그의 마우스 기능구현방법
KR20150093270A (ko) 모션 인터페이스 디바이스
US20190294263A1 (en) Information processing device, information processing method, and program
Gonzalez et al. XDTK: A Cross-Device Toolkit for Input & Interaction in XR
CN104536556B (zh) 一种信息处理方法及电子设备
WO2016149873A1 (zh) 智能交互方法、设备及系统
KR101637165B1 (ko) 다기능 컨트롤러
US20160139628A1 (en) User Programable Touch and Motion Controller
CN216927558U (zh) 一种基于体感的遥控交互系统
KR20140010205A (ko) 터치스크린을 포함하는 단말을 이용한 마우스 기능의 제공 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230627

R150 Certificate of patent or registration of utility model

Ref document number: 7304948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150