JP5458664B2 - Head mounted display device and communication system - Google Patents
Head mounted display device and communication system Download PDFInfo
- Publication number
- JP5458664B2 JP5458664B2 JP2009122219A JP2009122219A JP5458664B2 JP 5458664 B2 JP5458664 B2 JP 5458664B2 JP 2009122219 A JP2009122219 A JP 2009122219A JP 2009122219 A JP2009122219 A JP 2009122219A JP 5458664 B2 JP5458664 B2 JP 5458664B2
- Authority
- JP
- Japan
- Prior art keywords
- communication
- unit
- display device
- head
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
- Telephone Set Structure (AREA)
Description
本発明は、ヘッドマウントディスプレイ及び通信システムに関する。 The present invention relates to a head mounted display and a communication system.
従来から、映像等を見るために頭部に装着して使用されるヘッドマウントディスプレイ(Head Mounted Display)装置(以下「HMD装置」という)が知られている。さらに、光通信機能が搭載されたHMD装置も提案されている(例えば、特許文献1参照)。特許文献1の発明では、HMD装置に発光部と受光部とを有する光通信手段を備え、HMD装置間で光通信が行われる。
2. Description of the Related Art Conventionally, a head mounted display device (hereinafter referred to as an “HMD device”) that is used by being mounted on a head for viewing an image or the like is known. Furthermore, an HMD device equipped with an optical communication function has also been proposed (see, for example, Patent Document 1). In the invention of
しかし、特許文献1の発明では、光通信手段において発光部が使用者の視線方向に向かって光出力し、受光部が使用者の視線方向から到達した光を受光するため、通信を確立しようとすると、周辺にいるHMD装置の使用者の位置や、HMD装置の向く方位が限定されやすく、通信相手の位置等に応じて、適切な通信状態が確立できなくなるおそれがある。
However, in the invention of
そこで、本発明は、上記事情に鑑み、通信したい相手に対して適切な通信状態を確立することができるHMD装置及び通信システムを提供することを目的とする。 Then, an object of this invention is to provide the HMD apparatus and communication system which can establish an appropriate communication state with respect to the other party who wants to communicate in view of the said situation.
第1の発明に係るHMD装置は、装着部により使用者の頭部に装着される表示部と、使用者の現在位置を取得する位置情報取得部と、使用者の顔が向いている方位を算出する方位算出部と、他の通信端末と無線通信を行う通信部と、通信対象となる通信端末の現在位置を、通信部を介して取得する取得部と、使用者の現在位置と、使用者の顔が向いている方位と、通信対象となる通信端末の現在位置の情報と、に基づいて、使用者の顔が向いている方位の向きに通信対象となる通信端末が存在する場合、通信対象となる通信端末との通信を確立する通信制御部とを備える。 The HMD device according to the first invention includes a display unit that is mounted on the user's head by the mounting unit, a position information acquisition unit that acquires the current position of the user, and an orientation in which the user's face is facing. A direction calculation unit to be calculated, a communication unit that performs wireless communication with other communication terminals, an acquisition unit that acquires the current position of the communication terminal to be communicated via the communication unit, the current position of the user , and use and orientation that's face facing the current position information of the communication terminal as the communication target, based on, when the communication terminal in the direction of the bearing face of the user is facing as a communication target is present, and a communication control unit to establish communication with the communication terminal as the communication target.
第2の発明は、第1の発明において、取得部は、通信対象となる通信端末の方位の情報を通信部を介してさらに取得し、通信制御部は、通信対象となる通信端末の方位の情報に基づいて、通信対象となる通信端末と向き合う位置関係になったときに通信を確立する。 The second aspect based on the first aspect, the acquisition unit further acquires information of the bearing of the communication terminal as the communication target via the communication unit, the communication control unit, the orientation of the communication terminal as the communication target Based on the information, the communication is established when the positional relationship with the communication terminal to be communicated is established.
第3の発明は、第1又は第2の発明において、表示部の表示態様を制御する表示制御部とをさらに備え、表示制御部は、使用者の現在位置と使用者の顔が向いている方位とを基準とした通信対象となる通信端末との相対位置を示す情報を表示部に表示させる。 The third invention is the first or second aspect, further comprising a display control unit for controlling the display mode of the display unit, the display control unit, the face of the current user location and user is facing Information indicating a relative position with a communication terminal to be communicated with respect to the azimuth is displayed on the display unit.
第4の発明は、第3の発明において、表示制御部は、使用者と通信対象となる通信端末との距離を表示部にさらに表示させる。 In a fourth aspect based on the third aspect, the display control section further causes the display section to display the distance between the user and the communication terminal to be communicated.
第5の発明は、第3の発明において、表示制御部は、使用者と通信対象となる通信端末との相対的な距離を表示部にさらに表示させる。 In a fifth aspect based on the third aspect, the display control unit further causes the display unit to display a relative distance between the user and the communication terminal to be communicated.
第6の発明に係る通信システムは、第1から第5の何れか1の発明であるHMD装置と、ヘッドマウントディスプレイ装置と通信を行う通信端末と、ヘッドマウントディスプレイ装置と通信端末との間の通信を仲介するサーバ装置とを備える。 A communication system according to a sixth invention is an HMD device according to any one of the first to fifth inventions, a communication terminal that communicates with a head-mounted display device, and between the head-mounted display device and the communication terminal. And a server device that mediates communication.
第7の発明に係る通信システムは、装着部により使用者の頭部に装着される表示部と、使用者の現在位置を取得する位置情報取得部と、使用者の顔が向いている方位を算出する方位算出部と、通信部と、を有する第1ヘッドマウントディスプレイ装置と、第1ヘッドマウントディスプレイ装置及び、他の通信端末と無線通信を行う通信部と、使用者の現在位置と、使用者の顔が向いている方位と、第1ヘッドマウントディスプレイ装置と通信対象となる通信端末の現在位置の情報と、を取得し、使用者の顔が向いている方位の向きに通信対象となる通信端末が存在する場合、第1ヘッドマウントディスプレイ装置と通信対象となる通信端末との間の通信を仲介する通信制御部と、を有するサーバ装置と、を備える。
第8の発明は、第7の発明において、通信対象となる通信端末は、装着部により使用者の頭部に装着される表示部と、使用者の現在位置を取得する位置情報取得部と、使用者の顔が向いている方位を算出する方位算出部と、通信部と、を有する第2ヘッドマウントディスプレイ装置であって、サーバ装置は、第2ヘッドマウントディスプレイ装置の方位の情報をさらに取得し、通信制御部は、第1ヘッドマウントディスプレイ装置の方位の情報と第2ヘッドマウントディスプレイ装置の方位の情報とに基づいて、第1ヘッドマウントディスプレイ装置と第2ヘッドマウントディスプレイ装置とが向き合う位置関係になったときに、第1ヘッドマウントディスプレイ装置と第2ヘッドマウントディスプレイ装置との間の通信を仲介する。
第9の発明は、第7又は第8の発明において、サーバ装置は、第1ヘッドマウントディスプレイ装置の表示部の表示態様を制御する表示制御部とをさらに備え、表示制御部は、第1ヘッドマウントディスプレイ装置を使用する、使用者の現在位置と使用者の顔が向いている方位とを基準とし、通信対象となる通信端末との相対位置を示す情報を第1ヘッドマウントディスプレイ装置の表示部に表示させるように制御する。
A communication system according to a seventh aspect of the present invention includes a display unit that is mounted on the user's head by the mounting unit, a position information acquisition unit that acquires the current position of the user, and an orientation in which the user's face is facing. an azimuth calculating unit that calculates a communication unit, a first head-mounted display device having a first head-mounted display apparatus and a communication unit for performing another communication terminal and the wireless communication, the current location of the user, using and azimuth's face is facing, the current position information of the communication terminal as the communication target and the first head-mounted display device obtains, as a communication target in the direction of the bearing face of the user is facing When a communication terminal exists, the server apparatus includes a communication control unit that mediates communication between the first head mounted display device and the communication terminal to be communicated.
In an eighth aspect based on the seventh aspect, the communication terminal to be communicated includes a display unit mounted on the user's head by the mounting unit, a position information acquisition unit that acquires the current position of the user, A second head-mounted display device having an orientation calculation unit that calculates an orientation in which a user's face is facing, and a communication unit , wherein the server device further acquires information on the orientation of the second head-mounted display device and, the communication control unit, the orientation of the information of the first head-mounted display device and based on the orientation information of the second head-mounted display device, the first head-mounted display device and a second head-mounted display device and face each other position When the relationship is reached, it mediates communication between the first head mounted display device and the second head mounted display device .
A ninth aspect of the invention of the seventh or eighth, the server device further includes a display control unit for controlling the display mode of the display unit of the first head-mounted display device, the display control unit, the first head The display unit of the first head mounted display device uses information indicating the relative position with the communication terminal to be communicated with reference to the current position of the user using the mount display device and the orientation in which the user's face is facing. Control to display on the screen.
第10の発明は、第9の発明において、表示制御部は、第1ヘッドマウントディスプレイ装置の使用者と通信対象となる通信端末との距離を第1ヘッドマウントディスプレイ装置の表示部にさらに表示させるように制御する。 In a tenth aspect based on the ninth aspect, the display control unit causes the display unit of the first head mounted display device to further display the distance between the user of the first head mounted display device and the communication terminal to be communicated with. To control.
第11の発明は、第9の発明において、表示制御部は、第1ヘッドマウントディスプレイ装置の使用者と通信対象となる通信端末との相対的な距離を第1ヘッドマウントディスプレイ装置の表示部にさらに表示させるように制御する。 In an eleventh aspect based on the ninth aspect, the display control unit sets the relative distance between the user of the first head mounted display device and the communication terminal to be communicated to the display unit of the first head mounted display device. Further control is performed to display.
本発明のHMD装置によれば、通信したい相手に対して適切な通信状態を確立することができるHMD装置及び通信システムを提供する。 According to the HMD device of the present invention, it is possible to provide an HMD device and a communication system that can establish an appropriate communication state with a communication partner.
以下、図面に基づいて本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、通信システム100の全体構成の一例を示す図である。通信システム100は、HMD装置1〜3とサーバ装置50とで構成されている。各々HMD装置1〜3とサーバ装置50とは、アクセスポイント32〜34を介してインターネット網31で接続されている。HMD装置やアクセスポイントの数は、一例であってこの数に限定されるものではない。また、通信システム100は、複数のHMD装置で1つのアクセスポイントを共有してもよい。以下、HMD装置1〜3、サーバ装置50の構成について説明する。なお、HMD装置1〜3は同じ構成であるので、ここでは、HMD装置1について説明する。
<HMD装置>
図2は、HMD装置1の外観を示す図である。このHMD装置1は、主に、ヘッドホン10及び11と、連結部12と、支持アーム13と、表示部14と、操作部15とからなる。
FIG. 1 is a diagram illustrating an example of the overall configuration of the communication system 100. The communication system 100 includes
<HMD device>
FIG. 2 is a diagram illustrating an appearance of the
図2においては、ヘッドホン10及び11が連結部12により連結され、装着部を構成している。ヘッドホン10側には、支持アーム13が取り付けられており、その先端部には表示部14が取り付けられている。表示部14は、HMD装置1の使用者(不図示)の左眼に映像やメニュー画面等を表示する表示モニタ16を備える。
In FIG. 2,
また、HMD装置1は、ヘッドホン11の外面に操作部15を有する。操作部15には、タッチパネルが採用され、HMD装置1の指示入力を受け付ける。表示モニタ16に表示された選択画面への指示入力は、タッチパネルを介して行われる。このタッチパネルは、タッチパネル表面に接触した指先等の位置を検出し、指示入力の情報として後述するCPU(Central Processing Unit)28に出力する。なお、CPU28は、別途リモコン操作により指示入力を受け付けるようにしてもよい。
The
図3は、HMD装置1の機能ブロック図である。HMD装置1は、表示部14と、操作部15と、GPS(Global Positioning System)装置20と、電子コンパス21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、音声処理部24と、スピーカ(R)25aと、スピーカ(L)25bと、通信インターフェース部26(以下「通信I/F部」という。)と、表示制御部27と、CPU28と、バス29とを備える。
FIG. 3 is a functional block diagram of the
このうち、ROM22、RAM23、音声処理部24、通信I/F部26、表示制御部27及びCPU28は、バス29を介して互いに接続されている。
Among these, the
また、GPS装置20、電子コンパス21、ROM22、RAM23、通信I/F部26、表示制御部27及びCPU28は、ヘッドホン11側に内蔵されている。また、スピーカ(R)25aは、ヘッドホン11側に内蔵されており、スピーカ(L)25bは、ヘッドホン10側に内蔵されている。
The
GPS装置20は、人工衛星を用いた汎地球測位システムを利用し、人工衛星から使用者が装着しているHMD装置1の位置情報(経度、緯度)を取得する。このHMD装置1の位置情報は、使用者がいる現在の位置情報を示す。
The
電子コンパス21は、半導体を用いた地磁気センサであって、地球の南北の地磁気を検出して方角を算出する。この電子コンパス21で検出された方角を表す検出値は、CPU28に送信される。
The electronic compass 21 is a geomagnetic sensor using a semiconductor, and calculates the direction by detecting the north-south geomagnetism of the earth. A detection value indicating the direction detected by the electronic compass 21 is transmitted to the
ROM22は、HMD装置1の制御を行うプログラム等を予め記憶している不揮発性のメモリである。RAM23は、位置情報(経度、緯度)、方位情報、映像コンテンツ等を一時的に記録するメモリである。
The
音声処理部24は、音声データを音声に変換する回路である。スピーカ(R)25a、スピーカ(L)25bは、表示モニタ16に映し出される映像コンテンツ(例えば、映画等)の音声を出力する。
The
通信I/F部26は、図1に示すアクセスポイント32とのデータの送受信を無線LAN(Local Area Network)で実現するための通信インターフェースである。なお、アクセスポイント32は、インターネット網31と接続されており、HMD装置1は、サーバ装置50とデータの送受信を行うことができる。本実施形態における無線LANの信号規格は、例えば、様々な無線LAN機器間で互換性を補償するための国際標準規格であるWi−Fi(Wireless Fidelity)にも対応しているものとする。
The communication I /
表示制御部27は、表示モニタ16の表示態様を制御する。例えば、表示制御部27は、HMD装置1を装着した使用者の位置を基準とした他のHMD装置との相対位置を示す情報を表示部14に表示させる。さらに、表示制御部27は、例えば、HMD装置1を装着した使用者と他のHMD装置との距離を表示部14に表示させる(詳細は後述する)。
The
CPU28は、HMD装置1の制御を統括的に行うプロセッサである。CPU28は、ROM22に予め格納されたプログラムを実行することによりHMD装置1の各部を制御する。また、CPU28は、位置情報取得部28aと、方位情報算出部28bと、管理情報受信部28cと、HMD情報送信部28dと、通信制御部28eとしても機能する。
The
位置情報取得部28aは、GPS装置20から位置情報(経度、緯度)を取得して使用者が装着しているHMD装置1の現在位置を特定する。
The position information acquisition unit 28a acquires position information (longitude and latitude) from the
方位情報算出部28bは、電子コンパス21から方角を表す検出値を取得し、HMD装置1を装着した使用者の顔が向く方位を算出する。具体的には、方位情報算出部28bは、使用者がHMD装置1を装着した状態で、図2の示す通り、表示部14の表示モニタ16の中心部から垂線を立てた方位(図中の矢印Vのベクトル)を算出する。本実施形態では、方位情報算出部28bが算出した方位を使用者の顔が向く方位として取り扱う。すなわち、使用者の顔が向く方位は、表示部14が向く方位(図中の矢印Vのベクトル)と同様とする。
The azimuth information calculation unit 28b acquires a detection value representing a direction from the electronic compass 21, and calculates the azimuth in which the face of the user wearing the
また、本実施形態では、製品出荷前の段階で例えば電子コンパス21で検出される北の方角のベクトルの向きと、矢印Vのベクトルの向きとが一致するように設定しておく。この状態を基準の0度とし、例えば、使用者が顔を右方向に回転する等してHMD装置1が時計回りに90度回転されると、北の方角のベクトルと矢印Vのベクトルとのなす角度が90度になり、矢印Vの方位は東を向いていることとなる。なお、HMD装置1の表示部14が向く方位の変化は、角速度を検出するジャイロセンサ等で計測してもよい。このようにして、方位情報算出部28bは、北の方角のベクトルと矢印Vとのなす角度に基づいてHMD装置1の表示部14が向く向きを方位に換算して算出することができる。
In the present embodiment, the direction of the north direction vector detected by, for example, the electronic compass 21 before the product shipment is set so that the direction of the vector of the arrow V matches. For example, when the
管理情報受信部28cは、サーバ装置50から、他のHMD装置の位置情報(経度、緯度)及び方位情報、映像コンテンツの情報等を受信する。CPU28は、これらの情報を取得してRAM23に記録する。
The management
HMD情報送信部28dは、HMD装置1の位置情報(経度、緯度)、方位情報を通信I/F部26を介してサーバ装置50へと送信する。また、HMD情報送信部28dは、映像コンテンツの配信要求等、サーバ装置50へとコマンド要求を送信する。
The HMD
通信制御部28eは、HMD装置1の位置情報及び方位情報と、他のHMD装置の位置情報とに基づいて、方位の向きに他のHMD装置が存在する場合、そのHMD装置と通信を確立する。あるいは、HMD装置1の設定条件により、通信制御部28eは、他のHMD装置毎の方位情報に基づいて、HMD装置1の表示部14が他のHMD装置の表示部14と向き合う位置関係(図2に示す矢印Vのベクトルの向きがHMD装置間で向き合う位置関係)になったときに通信を確立する。ただし、向き合う位置関係とは、厳密に一直線上に向き合う場合に限られず、予め設定された許容範囲であればよいこととする。また、以下の説明では、HMD装置1と他のHMD装置が向き合うとは、HMD装置1の使用者の顔と、他のHMD装置の使用者の顔が向き合っていることを意味する。
<サーバ装置>
図4は、サーバ装置50の機能ブロック図である。このサーバ装置50は、主な構成要素として、サーバ装置用CPU51と、サーバ装置用記録部52と、サーバ用通信I/F部53と、バス54とを備える。サーバ装置用CPU51、サーバ装置用記録部52及びサーバ用通信I/F部53は、バス54を介して互いに接続されている。
The communication control unit 28e establishes communication with the HMD device when there is another HMD device in the direction of orientation based on the position information and direction information of the
<Server device>
FIG. 4 is a functional block diagram of the
サーバ装置用CPU51は、サーバ装置50の動作を統括的に制御するものである。サーバ装置用CPU51は、HMD情報受信部51a、管理情報送信部51bとしても機能する。なお、このサーバ装置50は、一例として通信システム100を供給する会社に設置されているものとする。
The
HMD情報受信部51aは、各HMD装置からのコマンド要求を受け付けたり、各HMD装置の位置情報(経度、緯度)、方位情報を定期的に受信したりする。 The HMD information receiving unit 51a receives a command request from each HMD device and periodically receives position information (longitude, latitude) and azimuth information of each HMD device.
管理情報送信部51bは、他のHMD装置2、3の位置情報(経度、緯度)、方位情報を送信する。また、管理情報送信部51bは、HMD装置1からの要求に応じて、映像コンテンツを配信する。
The management
サーバ装置用記録部52は、書き換え可能なメモリであって、図4に示す第1管理テーブル52aは、通信システム100に利用される情報を管理する。例えば、第1管理テーブル52aは、各HMD装置の位置情報、方位情報、現在の通信状態、通信先のHMD装置等の情報を管理する。また、第2管理テーブル52bは、メモリに記録されている映像コンテンツのデータファイルを管理する。 The server device recording unit 52 is a rewritable memory, and the first management table 52 a illustrated in FIG. 4 manages information used in the communication system 100. For example, the first management table 52a manages the position information, the direction information, the current communication state, the communication destination HMD device, and the like of each HMD device. The second management table 52b manages data files of video content recorded in the memory.
次に、通信システム100の動作を説明する。図5は、通信システム100におけるHMD装置1の動作の一例を示すフローチャートである。この通信システム100において、HMD装置1は、他のHMD装置2、3と映像コンテンツを共有するか否かの指示入力を受け付けることができることとする。
Next, the operation of the communication system 100 will be described. FIG. 5 is a flowchart showing an example of the operation of the
このフローチャートは、HMD装置1のCPU28が電源オンの指示入力を受け付けると、CPU28の制御により開始される。なお、サーバ装置50や他のHMD装置2、3は、電源がオンされているものとする。
This flowchart is started by the control of the
ステップS101:CPU28は、HMD装置1の位置情報と方位情報とを定期的に取得する。具体的には、CPU28の位置情報取得部28aは、GPS装置20から位置情報(経度、緯度)を定期的に取得する。また、CPU28の方位情報算出部28bは、電子コンパス21から方角を表す検出値を取得してHMD装置1の表示部14が向く方位を方位情報として算出する。CPU28は、位置情報と方位情報をRAM23に定期的に上書きして記録する。
Step S101: The
ステップS102:CPU28のHMD情報送信部28dは、HMD装置1の最新の位置情報と最新の方位情報とをHMD情報として通信I/F部27を介して無線送信する。この場合、無線送信されたHMD情報は、最も近い位置にあるアクセスポイント32(図1)に受信される。その後、HMD情報は、インターネット網31を経由してサーバ装置50で受信される。
Step S102: The HMD
サーバ装置50は、HMD情報を受信すると、図4に示す管理テーブル52aに登録する。そして、サーバ装置50は、HMD情報を受信する度に管理テーブルに上書きしていく。
Upon receiving the HMD information, the
ステップS103:HMD装置1のHMD情報送信部28dは、定期的に他のHMD装置2、3の位置情報及び方位情報の取得要求を表すコマンドを通信I/F部27を介してサーバ装置50へ無線送信する。同様に、他のHMD装置2、3も、定期的に自分以外のHMD装置の位置情報及び方位情報の取得要求を表すコマンドをサーバ装置50へ無線送信する。
Step S103: The HMD
ステップS104:HMD装置1のCPU28の管理情報受信部28cは、他のHMD装置2、3の位置情報及び方位情報を通信I/F部27を介してサーバ装置50から取得する。CPU28は、これらの情報を取得してRAM23に記録する。同様に、他のHMD装置2、3も自分以外のHMD装置の位置情報及び方位情報をサーバ装置50から取得して記録する。
Step S104: The management
ステップS105:CPU28は、表示制御部27に指示を出し、表示制御部27は、RAM23から、各HMDの位置情報及び方位情報を読み出し、表示モニタ16に表示させる。
Step S105: The
図6は、通信システム100の処理を模式的に説明する図である。図6(a)、図6(c)及び図6(e)は、使用者XのHMD装置1を基準として他のHMD装置2、3の位置関係を模式的に示す図である。図6(b)、図6(d)及び図6(f)は、HMD装置1の表示モニタ16に表示される内容を示す図である。ここで、表示制御部27は、HMD装置1を表す標識(マークX)を基準として他のHMD装置(人物のマークA、Bに置き換えている)との相対位置を表示モニタ16に模式的に表示させる。
FIG. 6 is a diagram for schematically explaining the processing of the communication system 100. FIGS. 6A, 6 </ b> C, and 6 </ b> E are diagrams schematically illustrating the positional relationship between the
ステップS106:CPU28は、HMD装置1が他のHMD装置2、3の何れかと向き合っているか否かを判定する。例えば、図6(c)、図6(e)に示す通り、HMD装置1が他のHMD装置2、3の何れかと向き合っている場合(ステップS106:Yes)、ステップS107に移行し、後述する通信処理のサブルーチンが開始される。
Step S106: The
一方、HMD装置1が他のHMD装置2、3の何れとも向き合っていない場合(ステップS106:No)、ステップS108に移行する。例えば、表示制御部27は、図6(a)に示す位置関係であれば、HMD装置1の表示モニタ16には、図6(b)に示す内容の画面が表示される。
On the other hand, when the
ステップS108:CPU28は、電源オフの指示入力を受け付けたか否かを判定する。電源オフの指示入力を受け付けない場合(ステップS108:No)、再びステップS101に戻り、上述した処理が繰り返される。ここで、使用者Xは、図6(b)に示す画面を見ることにより、どちらの方位に顔を向けば、他のHMD装置2又はHMD装置3と向き合えるかを知ることができる。例えば、使用者Xが顔を右方向に回転させることにより、HMD装置1が時計回りに回転されてHMD装置1とHMD装置2とが向き合えば、CPU28は、次のステップS106の処理は、ステップS107に移行することとなり、後述する通信処理のサブルーチンが開始される。
Step S108: The
一方、電源オフの指示入力を受け付けた場合(ステップS108:Yes)、この図5に示すフローチャートは終了する。 On the other hand, when an instruction to turn off the power is received (step S108: Yes), the flowchart shown in FIG. 5 ends.
次に、通信処理のサブルーチンについて説明する。図7は、通信処理のサブルーチン(ステップS107)の一例を示すフローチャートである。 Next, a communication processing subroutine will be described. FIG. 7 is a flowchart illustrating an example of a communication processing subroutine (step S107).
ステップS201:CPU28は、表示制御部27に指示を出すことにより、表示制御部27は、表示モニタ16にメニュー画面を表示させる。例えば、図6(c)に示す位置関係であれば、使用者AのHMD装置2の管理情報受信部28cでは、サーバ装置50の管理情報送信部51bからHMD装置1との通信の確立を行うか否かの通知を受信して、使用者AのHMD装置2の表示モニタ16のメニュー画面には、「Xさんと通信を開始しますか?」や「Xさんと映像コンテンツを共有しますか?」等の表示がされる。
Step S201: The
一方、使用者XのHMD装置1の表示制御部27は、表示モニタ16のメニュー画面に、「Aさんから通信許可待ちです。」等の表示をさせる。
On the other hand, the
ステップS202:CPU28は、操作部15からの映像コンテンツの共有を表す指示入力を受け付けることにより、HMD情報送信部28dは、サーバ装置50に例えば映画M1のいわゆるストリーミング配信を要求するコマンドを通信I/F部26を介して無線送信する。すると、サーバ装置50のHMD情報受信部51aは、サーバ用通信I/F部53を介して映像コンテンツ(例えば映画M1)のストリーミング配信を要求するコマンドを受信する。そして、サーバ装置50の管理情報送信部51aは、HMD装置1及びHMD装置2に向けて、映画M1の動画データをサーバ用通信I/F部53を介して送信する。
Step S202: When the
また、サーバ用CPU51は、第1管理テーブル52aにおいて、HMD装置1、2の通信状態を「―(通信中でない)」から「通信中」に書き換える。
Further, the
ステップS203:管理情報受信部28cは、映画M1の動画データを受信してその動画データを一旦RAM23に記録していく。通信制御部28eは、表示制御部27に指示し、RAM23から動画データを順次読み出させて表示モニタ16の子画面Wに映画を表示させる(図6(d))。さらに、通信制御部28eは、HMD装置2に向けて映像コンテンツの共有を表すコマンドを送信する。HMD装置2は、この映像コンテンツの共有を表すコマンドを受信することにより、映画M1が視聴することが可能となる。
Step S203: The management
ステップS204:通信制御部28eは、映像コンテンツのストリーミング配信が終了したか否かを判定する。ストリーミング配信が終了した場合(ステップS204:Yes)、後述するステップS206に進む。一方、ストリーミング配信中であれば(ステップS204:No)、ステップS207に移行する。 Step S204: The communication control unit 28e determines whether the streaming distribution of the video content has ended. When the streaming distribution is completed (step S204: Yes), the process proceeds to step S206 described later. On the other hand, if streaming delivery is being performed (step S204: No), the process proceeds to step S207.
ステップS205:CPU28は、HMD装置1の方位情報に変更があったか否かを判定する。HMD装置1の方位情報に変更がない場合(ステップS205:No)、ステップS203に戻り、映像コンテンツの配信が継続される。
Step S205: The
一方、HMD装置1の方位情報に変更があった場合(ステップS205:Yes)、ステップS206に移行する。方位情報が変更される例としては、使用者Xが顔を右に向ける等して図2に示すベクトルVの向きが変更される場合である。なお、CPU28は、ジャイロセンサ等が計測したHMD装置1が使用者により回転される角度に応じて、HMD装置1の方位情報の変更の有無を判定するようにしてもよい。
On the other hand, when the direction information of the
ステップS206:通信制御部28eは、HMD装置2に対して、映像コンテンツの配信の中止を表すコマンドを送信する。これにより、HMD装置2の表示モニタ16では、映像コンテンツの配信が中止されることとなる。そして、図7に示すサブルーチンは終了し、図5に示すフローチャートのステップS108に戻る。なお、HMD装置2側では、現在視聴している映像コンテンツが終了するまでは、視聴できるようにしてもよい。
Step S206: The communication control unit 28e transmits to the HMD device 2 a command indicating the suspension of video content distribution. As a result, the distribution of the video content is stopped on the display monitor 16 of the
以上より、本実施形態では、周辺にいるHMD装置の使用者の位置や、HMD装置の向く方位を考慮して通信を確立することができる。また、本実施形態では、赤外線などの光通信ではなく、無線LANを介した通信処理を行っているので、HMD装置間に光を遮るような障害物があっても通信が可能となる。さらに、本実施形態では、例えば、無線LANからインターネット網を通じて通信を確立するので、インターネット網を通じた遠距離通信が可能となる。
(変形例)
次に本実施形態の変形例について説明する。上述した通信システム100は、HMD装置1〜3とサーバ装置50とで構成されている。本実施形態の変形例の通信システムは、サーバ装置50を介さず、各々HMD装置1〜3が、アクセスポイント32〜34を介して、インターネット網31で接続されて情報のやりとりを行う。
As described above, in the present embodiment, communication can be established in consideration of the position of the user of the HMD device in the vicinity and the orientation of the HMD device. Further, in the present embodiment, communication processing is performed via a wireless LAN instead of optical communication such as infrared rays, so communication is possible even if there is an obstacle that blocks light between the HMD devices. Furthermore, in this embodiment, for example, since communication is established from a wireless LAN through the Internet network, long-distance communication through the Internet network is possible.
(Modification)
Next, a modification of this embodiment will be described. The communication system 100 described above is composed of the
この場合、HMD装置1は、図4に示す第1管理テーブル52aや第2管理テーブル52bと同等の機能をRAM23に備える。HMD装置1のRAM23には、映像コンテンツが予め記録されていることとする。また、他のHMD装置2、3のHMD情報送信部28dは、位置情報、方位情報等をHMD装置1に向けて直接送信することとする。こうすると、HMD装置1が他のHMD装置2、3の何れかと向き合っている場合に、通信制御部28eは、通信を確立することができる。
In this case, the
したがって、本実施形態の変形例の場合であっても、通信したい相手に対して適切な通信状態を確立することができる。
<補足事項>
(1)本実施形態では、表示モニタ16の表示態様の一例を示したが、例えば、以下のような表示態様にしてもよい。図8は、通信システム100の処理を模式的に説明する図である。
Therefore, even in the case of the modification of the present embodiment, an appropriate communication state can be established for the other party that wants to communicate.
<Supplementary items>
(1) In this embodiment, an example of the display mode of the display monitor 16 has been shown. However, for example, the following display mode may be used. FIG. 8 is a diagram for schematically explaining the processing of the communication system 100.
図8(a)及び図8(c)は、使用者XのHMD装置1を基準として他のHMD装置の位置関係を模式的に示す図である。なお、他のHMD装置は人物を表す絵で表現している。
FIGS. 8A and 8C are diagrams schematically showing the positional relationship of other HMD devices with reference to the
ここで、HMD装置1の操作部15を介して、例えば、他のHMD装置の使用者の表示数を5人に設定する指示入力をCPU28が受け付けると、CPU28の管理情報受信部28cは、サーバ装置50から他のMHD装置の位置情報を受信する。CPU28は、HMD装置1の位置情報と他のHMD装置の位置情報に基づいて、互いの距離を算出し、HMD装置1により近い距離に存在する他のHMD装置から優先して選択する。図8(b)の例では、CPU28は、HMD装置1の位置を中心にして半径100m以内の半円内に存在する5台のHMD装置を選択する。すると、表示制御部27は、選択したHMD装置に対応付けた人物のマークを表示モニタ16に表示させる。この場合、CPU28の通信制御部28eは、表示モニタ16に表示されているHMD装置の何れかと通信を確立することとする。
Here, for example, when the
また、図8(c)に示す通り、HMD装置1の位置を中心にして半径100m以内の半円内にHMD装置の使用者が2人いて、半径150m以内の半円内では、HMD装置の使用者が5人いる場合、HMD装置1の操作部15を介して、例えば、CPU28は、HMD装置1の位置を中心にして半径150m以内の半円内のHMD装置の使用者を表示させる指示入力を受け付けると、CPU28の管理情報受信部28cは、上述した通り、サーバ装置50から他のMHD装置の位置情報を受信する。CPU28は、HMD装置1の位置情報と他のHMD装置の位置情報に基づいて、互いの距離を算出するとともに、HMD装置1の位置を中心にして半径150m以内の半円内のHMD装置を選択する。すると、表示制御部27は、選択したHMD装置に対応付けた人物のマークを表示モニタ16に表示させる(図8(d))。この際、表示制御部27は、HMD装置1の使用者と他のHMD装置の使用者との相対距離を表示させるようにしてもよい。
Further, as shown in FIG. 8 (c), there are two users of the HMD device in a semicircle within a radius of 100 m centering on the position of the
また、上記の実施の形態とは異なり、HMD装置1の表示モニタ16に表示させるHMD装置に対応付けた人物のマークの数(他のHMD装置の数)を使用者が設定し、表示モニタ16に表示させる人物のマークの数が設定数となるように、表示制御部27が、表示モニタ16に表示させる距離または角度を自動的に調整するようにしても良い。さらに、使用者もしくは、他の使用者が移動したことにより、表示モニタ16に表示されている人物のマークの数が設定数より減った場合は、表示制御部27が、表示モニタ16に表示されている人物のマークの数が設定数となるように表示させる距離を伸ばすか、または角度を広げるように自動的に調整する。一方、使用者もしくは、他の使用者が移動したことにより、表示モニタ16に表示されている人物のマークの数が設定数より増えた場合には、表示制御部27が、表示モニタ16に表示されている人物のマークの数が設定数となるように表示させる距離を短くするか、または角度を狭くするように自動的に調整する。
Further, unlike the above embodiment, the user sets the number of human marks (number of other HMD devices) associated with the HMD device to be displayed on the display monitor 16 of the
さらに、表示制御部27は、以下に説明する表示態様を行ってもよい。図9は、通信システム100の処理を模式的に説明する図である。図9(a)は、使用者XのHMD装置1を基準として他のHMD装置の位置関係を模式的に示す図である。ここで、表示制御部27は、HMD装置1の操作部15を介して、例えば、CPU28は、HMD装置1の位置を中心にして+45度から−45度の範囲内にあるHMD装置の使用者を表示させる指示入力を受け付けると、表示制御部27は、+45度から−45度以内にあるHMD装置の使用者を表示させる(図9(b))。
(2)本実施形態では、説明を簡単にするため、同方位に1台のHMD装置がある場合について例示したが、同方位に複数のHMD装置がある場合には、CPU28は、例えば、以下に説明する何れかの取り扱いをする。
Furthermore, the
(2) In the present embodiment, the case where there is one HMD device in the same direction has been illustrated for the sake of simplicity of explanation, but when there are a plurality of HMD devices in the same direction, the
(a)図1に示す通信制御部28eは、HMD装置1に最も近い位置にあるHMD装置と通信を確立する。
(A) The communication control unit 28 e illustrated in FIG. 1 establishes communication with the HMD device located closest to the
(b)図4に示すサーバ装置50側で、第1管理テーブル52aの項目に使用者のプロフィール情報(氏名、所属、趣味等)を追加する。HMD装置1の管理情報受信部28cは、そのプロフィール情報を受信し、表示制御部27は、プロフィール情報を表示モニタ16に表示させる。CPU28は、操作部15を介して選択した人物の入力を受け付けると、通信制御部28eは、選択された人物(使用者)が装着しているHMD装置と通信を確立する。
(B) On the
(c)サーバ装置50側で、第1管理テーブル52aの項目に通信履歴情報を追加する。HMD装置1の管理情報受信部28cは、通信履歴情報を受信する。通信制御部28eは、通信頻度が最も高い使用者のHMD装置と通信を確立する。
(C) On the
(d)表示制御部27は、HMD装置1の表示モニタ16に、同方位にあるHMD装置を、例えば重ならないように表示させる。CPU28は、操作部15を介して選択したHMD装置の入力を受け付けると、通信制御部28eは、選択されたHMD装置と通信を確立する。
(3)本実施形態では、GPS装置20は、位置情報(経度、緯度)を取得したが、高度の情報もさらに取得してもよい。図10は、通信システム100の処理を模式的に説明する図である。表示制御部27は、図10に示すように高度も考慮して表示モニタ16に模式的に表示するようにしてもよい。
(4)本実施形態において、HMD装置1と通信を行う通信端末としては、HMD装置に限られず、GPS装置や電子コンパスを搭載した携帯電話であってもよい。
(5)本実施形態において、HMD装置間で会話ができるようにマイク機能をさらに搭載してもよい。
(6)本実施形態において、サーバ装置50は、例えば、プライバシー保護の観点から通信が許可されるHMD装置を予め登録しておいてもよい。HMD装置1は、この装置が向く方位の向きに登録したHMD装置と通信を行うようにしてもよい。
(D) The
(3) In the present embodiment, the
(4) In the present embodiment, the communication terminal that communicates with the
(5) In the present embodiment, a microphone function may be further mounted so that conversation can be performed between the HMD devices.
(6) In the present embodiment, for example, the
1・・・HMD装置、20・・・GPS装置、21・・・電子コンパス、23・・・RAM、26・・・通信I/F部、27・・・表示制御部、28・・・CPU、28a・・・位置情報算出部、28b・・・方位算出部、28c・・・管理情報受信部、28d・・・HMD情報送信部、28e・・・通信制御部、50・・・サーバ装置、51a・・・HMD情報受信部、51b・・・管理情報送信部
DESCRIPTION OF
Claims (11)
前記使用者の現在位置を取得する位置情報取得部と、
前記使用者の顔が向いている方位を算出する方位算出部と、
他の通信端末と無線通信を行う通信部と、
通信対象となる通信端末の現在位置を、前記通信部を介して取得する取得部と、
前記使用者の現在位置と、前記使用者の顔が向いている方位と、前記通信対象となる通信端末の現在位置の情報と、に基づいて、前記使用者の顔が向いている方位の向きに前記通信対象となる通信端末が存在する場合、前記通信対象となる通信端末との通信を確立する通信制御部とを備える
ことを特徴とするヘッドマウントディスプレイ装置。 A display unit mounted on the user's head by the mounting unit;
A position information acquisition unit for acquiring the current position of the user;
An azimuth calculating unit for calculating an azimuth in which the user's face is facing;
A communication unit that performs wireless communication with other communication terminals;
An acquisition unit for acquiring a current position of a communication terminal to be communicated via the communication unit;
The current position of the user, the a orientation face of the user is facing, and the current location information of a communication terminal serving as the communication target, based on the orientation of the bearing face of the user is facing wherein when the communication terminal as the communication target is present, the head mounted display device, characterized in that it comprises a communication control unit and for establishing a communication with the communication terminal serving as the communication target.
前記取得部は、前記通信対象となる通信端末の方位の情報を前記通信部を介してさらに取得し、
前記通信制御部は、前記通信対象となる通信端末の方位の情報に基づいて、前記通信対象となる通信端末と向き合う位置関係になったときに通信を確立する
ことを特徴とするヘッドマウントディスプレイ装置。 The head mounted display device according to claim 1 ,
Before SL acquisition unit further acquires the orientation information of the communication terminal serving as the communication target via the communication unit,
The head mounted display device, wherein the communication control unit establishes communication based on information on a direction of the communication terminal serving as a communication target, when a positional relationship is established to face the communication terminal serving as the communication target. .
前記表示部の表示態様を制御する表示制御部とをさらに備え、
前記表示制御部は、前記使用者の現在位置と前記使用者の顔が向いている方位とを基準とした前記通信対象となる通信端末との相対位置を示す情報を前記表示部に表示させる
ことを特徴とするヘッドマウントディスプレイ装置。 The head mounted display device according to claim 1 or 2,
Further comprising a display control unit for controlling a display mode of said display unit,
The display control unit causes the display unit to display information indicating a relative position with respect to the communication terminal to be communicated with respect to a current position of the user and an orientation in which the user's face is facing. A head-mounted display device.
前記表示制御部は、前記使用者と前記通信対象となる通信端末との距離を前記表示部にさらに表示させる
ことを特徴とするヘッドマウントディスプレイ装置。 In the head mounted display device according to claim 3,
The display control unit further causes the display unit to display a distance between the user and the communication terminal to be communicated. The head mounted display device.
前記表示制御部は、前記使用者と前記通信対象となる通信端末との相対的な距離を前記表示部にさらに表示させる
ことを特徴とするヘッドマウントディスプレイ装置。 In the head mounted display device according to claim 3,
The display control unit further causes the display unit to display a relative distance between the user and the communication terminal to be communicated. A head mounted display device.
前記ヘッドマウントディスプレイ装置と通信を行う通信端末と、
前記ヘッドマウントディスプレイ装置と前記通信端末との間の通信を仲介するサーバ装置とを備える
ことを特徴とする通信システム。 A head-mounted display device according to any one of claims 1 to 5;
A communication terminal for communicating with the head mounted display device;
Communication system, comprising a server apparatus that mediates communication between the communication terminal and the head-mounted display device.
前記第1ヘッドマウントディスプレイ装置及び、他の通信端末と無線通信を行う通信部と、前記使用者の現在位置と、前記使用者の顔が向いている方位と、前記第1ヘッドマウントディスプレイ装置と通信対象となる通信端末の現在位置の情報と、を取得し、前記使用者の顔が向いている方位の向きに前記通信対象となる通信端末が存在する場合、前記第1ヘッドマウントディスプレイ装置と前記通信対象となる通信端末との間の通信を仲介する通信制御部と、を有するサーバ装置と、
を備えることを特徴とする通信システム。 A display unit mounted on the user's head by the mounting unit, a position information acquisition unit that acquires the current position of the user, an orientation calculation unit that calculates an orientation in which the user's face is facing, and communication A first head mounted display device comprising:
The first head-mounted display device, a communication unit that performs wireless communication with other communication terminals, the current position of the user, the orientation in which the user's face is facing, and the first head-mounted display device It acquires the current position information of the communication terminal as the communication target, a case where the communication terminal the user's face is the communication target by which the direction of orientation opposite is present, and the first head-mounted display device A communication control unit that mediates communication with the communication terminal that is the communication target ;
A communication system comprising:
前記通信対象となる通信端末は、装着部により使用者の頭部に装着される表示部と、前記使用者の現在位置を取得する位置情報取得部と、前記使用者の顔が向いている方位を算出する方位算出部と、通信部と、を有する第2ヘッドマウントディスプレイ装置であって、
前記サーバ装置は、前記第2ヘッドマウントディスプレイ装置の方位の情報をさらに取得し、
前記通信制御部は、前記第1ヘッドマウントディスプレイ装置の方位の情報と前記第2ヘッドマウントディスプレイ装置の方位の情報とに基づいて、前記第1ヘッドマウントディスプレイ装置と前記第2ヘッドマウントディスプレイ装置とが向き合う位置関係になったときに、前記第1ヘッドマウントディスプレイ装置と前記第2ヘッドマウントディスプレイ装置との間の通信を仲介する
ことを特徴とする通信システム。 The communication system according to claim 7,
The communication terminal to be communicated includes a display unit that is mounted on a user's head by a mounting unit, a position information acquisition unit that acquires the current position of the user, and an orientation in which the user's face is facing A second head-mounted display device having an azimuth calculating unit for calculating, and a communication unit ,
The server device further acquires information on the orientation of the second head mounted display device ,
The communication control unit includes: the first head mounted display device and the second head mounted display device based on the orientation information of the first head mounted display device and the orientation information of the second head mounted display device . when it is in a positional relationship where the face, a communication system, characterized in that mediates communication between the first head-mounted display device and the second head-mounted display device.
前記サーバ装置は、前記第1ヘッドマウントディスプレイ装置の前記表示部の表示態様を制御する表示制御部とをさらに備え、
前記表示制御部は、前記第1ヘッドマウントディスプレイ装置を使用する、前記使用者の現在位置と前記使用者の顔が向いている方位とを基準とし、前記通信対象となる通信端末との相対位置を示す情報を前記第1ヘッドマウントディスプレイ装置の前記表示部に表示させるように制御する
ことを特徴とする通信システム。 The communication system according to claim 7 or claim 8,
The server apparatus further includes a display control unit for controlling the display mode of the display unit of the first head-mounted display device,
Wherein the display control unit uses the first head-mounted display device, wherein the user's current position and the reference and orientation face of the user is facing, the relative location of the communication terminal serving as the communication target Control is performed so as to display information on the display unit of the first head mounted display device.
前記表示制御部は、前記第1ヘッドマウントディスプレイ装置の前記使用者と前記通信対象となる通信端末との距離を前記第1ヘッドマウントディスプレイ装置の前記表示部にさらに表示させるように制御する
ことを特徴とする通信システム。 The communication system according to claim 9,
The display controller, to control the distance between the first head mount said communication terminal user and serving as the communication target of the display device so as further to be displayed on the display unit of the first head-mounted display device A featured communication system.
前記表示制御部は、前記第1ヘッドマウントディスプレイ装置の前記使用者と前記通信対象となる通信端末との相対的な距離を前記第1ヘッドマウントディスプレイ装置の前記表示部にさらに表示させるように制御する
ことを特徴とする通信システム。 The communication system according to claim 9,
The display controller, the first head-mounted display device said user and said display unit further controls so as to display the relative distance said first head-mounted display device of the communication terminal as the communication target A communication system characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009122219A JP5458664B2 (en) | 2009-05-20 | 2009-05-20 | Head mounted display device and communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009122219A JP5458664B2 (en) | 2009-05-20 | 2009-05-20 | Head mounted display device and communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010273031A JP2010273031A (en) | 2010-12-02 |
JP5458664B2 true JP5458664B2 (en) | 2014-04-02 |
Family
ID=43420724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009122219A Expired - Fee Related JP5458664B2 (en) | 2009-05-20 | 2009-05-20 | Head mounted display device and communication system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5458664B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013058872A (en) * | 2011-09-07 | 2013-03-28 | Murata Mach Ltd | Voice communication system |
JP6173460B2 (en) * | 2012-08-29 | 2017-08-02 | シルバーレイク モビリティ エコシステム エスディーエヌ ビーエイチディー | How to pair a mobile device |
JP5661729B2 (en) * | 2012-12-25 | 2015-01-28 | グリー株式会社 | Terminal identification method, server device, and program |
JP6423799B2 (en) * | 2013-01-04 | 2018-11-14 | コピン コーポレーション | Ad hoc network |
JP2014239344A (en) * | 2013-06-07 | 2014-12-18 | シャープ株式会社 | Communication system |
JP6349777B2 (en) * | 2013-10-23 | 2018-07-04 | 株式会社ニコン | Portable terminal device for information exchange |
JP2016004340A (en) | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | Information distribution system, head-mounted type display device, control method of head-mounted type display device and computer program |
JP5728124B2 (en) * | 2014-12-03 | 2015-06-03 | グリー株式会社 | Terminal identification method, server device, and program |
KR102060233B1 (en) * | 2015-09-27 | 2019-12-27 | 선전 로욜 테크놀로지스 컴퍼니 리미티드 | Head mounted display |
JP2017175354A (en) * | 2016-03-23 | 2017-09-28 | Kddi株式会社 | System, information processing device, head mounting device, and program |
JP2018101425A (en) * | 2018-01-09 | 2018-06-28 | 株式会社東芝 | Electronic apparatus, display method and system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002368762A (en) * | 2001-06-06 | 2002-12-20 | Olympus Optical Co Ltd | Local network system, network system and video conference system, and mobile communication unit |
JP2005085110A (en) * | 2003-09-10 | 2005-03-31 | Matsushita Electric Ind Co Ltd | Terminal device and terminal program |
JP4546151B2 (en) * | 2004-05-26 | 2010-09-15 | 株式会社日立製作所 | Voice communication system |
JP4419073B2 (en) * | 2004-11-11 | 2010-02-24 | ソニー株式会社 | Information processing apparatus and method, recording medium, and program |
JP4893257B2 (en) * | 2006-11-17 | 2012-03-07 | ヤマハ株式会社 | Sound image position control device |
JP4973299B2 (en) * | 2007-01-19 | 2012-07-11 | ソニー株式会社 | Optical communication apparatus and optical communication method |
-
2009
- 2009-05-20 JP JP2009122219A patent/JP5458664B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010273031A (en) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5458664B2 (en) | Head mounted display device and communication system | |
US10341425B2 (en) | Systems, methods, and computer readable media for sharing awareness information | |
US20120077437A1 (en) | Navigation Using a Headset Having an Integrated Sensor | |
JP2012002568A (en) | Navigation system, portable apparatus and program for portable apparatus | |
EP2645750A1 (en) | A hearing device with an inertial measurement unit | |
US20140219485A1 (en) | Personal communications unit for observing from a point of view and team communications system comprising multiple personal communications units for observing from a point of view | |
EP1589727A1 (en) | Mobile information terminal and communication system | |
JP2008275519A (en) | Information processing system, mobile information terminal and control method, information providing device and control method, and program | |
US20150331081A1 (en) | An apparatus and method to provide a user with an indication of a direction to a particular destination | |
KR20150098362A (en) | Head mounted display and method for controlling the same | |
JP6711033B2 (en) | Display control method, communication device, display control program, and display control device | |
CN111031170A (en) | Method, apparatus, electronic device and medium for selecting communication mode | |
CN111770556B (en) | Network connection method, device, electronic equipment and medium | |
US10192332B2 (en) | Display control method and information processing apparatus | |
JP2018097683A (en) | Display control program, display control method and display control apparatus | |
WO2019184359A1 (en) | Server, augmented reality apparatus and system, sharing method, and storage medium | |
JP2015059769A (en) | Terminal and control program | |
TW201017120A (en) | Navigation apparatus and method for planning a route | |
JP7023769B2 (en) | Electronic devices and processing systems | |
JP2018067157A (en) | Communication device and control method thereof | |
CN111586891B (en) | Network connection method, device, electronic equipment and medium | |
WO2022208628A1 (en) | Mobile information terminal and display method for same | |
KR101193237B1 (en) | System and Method for Providing Geographic/Environmental Information | |
KR20100097562A (en) | Navigation system | |
JP6756343B2 (en) | Location information sharing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131230 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5458664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |