JP7505112B2 - ウェアラブル端末装置、プログラムおよび報知方法 - Google Patents

Description

本開示は、ウェアラブル端末装置、プログラムおよび報知方法に関する。

従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、米国特許出願公開第２０１９／００８７０２１号明細書、および米国特許出願公開第２０１９／０３４０８２２号明細書）。

ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。

ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。

本開示のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、空間内における前記ユーザの視認領域を検出し、前記視認領域の内部に位置する指示画像を表示部に表示させる。前記少なくとも一つのプロセッサは、前記視認領域の外部に位置する前記指示画像がある場合に、当該指示画像の存在を前記ユーザに認識させるための第１の報知を実行する。前記第１の報知は、前記表示部による所定の報知表示であって、前記視認領域の外部に位置する前記指示画像に対応する標識を含む前記報知表示である。前記少なくとも一つのプロセッサは、前記視認領域の外部に位置する前記指示画像が新たな指示画像であるか否かに応じて、前記標識の表示態様を変化させる。

また、本開示のプログラムは、ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、空間内における前記ユーザの視認領域を検出する処理、および前記視認領域の内部に位置する指示画像を前記表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、前記視認領域の外部に位置する前記指示画像がある場合に、当該指示画像の存在を前記ユーザに認識させるための第１の報知を実行する処理を実行させる。前記第１の報知は、前記表示部による所定の報知表示であって、前記視認領域の外部に位置する前記指示画像に対応する標識を含む前記報知表示である。前記プログラムは、前記コンピュータに、前記視認領域の外部に位置する前記指示画像が新たな指示画像であるか否かに応じて、前記標識の表示態様を変化させる処理を実行させる。

また、本開示の報知方法は、ユーザが装着して使用するウェアラブル端末装置における報知方法である。当該報知方法では、空間内における前記ユーザの視認領域を検出し、前記視認領域の内部に位置する指示画像を表示部に表示させる。前記報知方法では、前記視認領域の外部に位置する前記指示画像がある場合に、当該指示画像の存在を前記ユーザに認識させるための第１の報知を実行する。前記第１の報知は、前記表示部による所定の報知表示であって、前記視認領域の外部に位置する前記指示画像に対応する標識を含む前記報知表示である。前記報知方法では、前記視認領域の外部に位置する前記指示画像が新たな指示画像であるか否かに応じて、前記標識の表示態様を変化させる。

第１の実施形態に係る表示システムの構成を示す模式図である。 ウェアラブル端末装置の構成を示す模式斜視図である。 ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。 空間における視認領域を説明する図である。 ウェアラブル端末装置の主要な機能構成を示すブロック図である。 外部機器の主要な機能構成を示すブロック図である。 指示画像の生成操作開始時点における視認領域および指示者用画面を示す図である。 指示者用画面における指示画像を示す図である。 指示者用画面と視認領域とのずれ、およびインジケーターによる第１の報知を示す図である。 文字による第１の報知を示す図である。 第１の報知の他の例を示す図である。 指示画像がドキュメント画像である場合を示す図である。 指示画像が表示されないことを認識させるための第２の報知を示す図である。 指示者用画面における指示画像を示す図である。 視認領域が指示者用画面より狭い例を示す図である。 外部機器において実行される遠隔指示処理の制御手順を示すフローチャートである。 ウェアラブル端末装置において実行される遠隔指示処理の制御手順を示すフローチャートである。 第２の実施形態に係る表示システムの構成を示す模式図である。 情報処理装置の主要な機能構成を示すブロック図である。

以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０、外部機器２０および情報処理装置８０は、参照する各図に示されていない任意の構成部材を備え得る。

〔第１の実施形態〕
図１に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０とを備える。表示システム１と外部機器２０とは、ネットワークＮを介して通信接続されている。ネットワークＮは、例えばインターネットとすることができるが、これに限られない。なお、表示システム１は、複数のウェアラブル端末装置１０を備えていてもよい。また、表示システム１が備える外部機器２０は１つであってもよい。

ウェアラブル端末装置１０は、ユーザ（装着者）に対してＭＲを体感させることのできる装置である。本実施形態では、所定の作業を行うユーザがウェアラブル端末装置１０を装着する。また、ウェアラブル端末装置１０を装着しているユーザに対し、ウェアラブル端末装置１０を介して遠隔地から指示を行う遠隔指示者が外部機器２０を操作する。

図２に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。

本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。

バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図５参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。

図３に示すように、仮想画像３０が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図３では、仮想画像３０として平面状のウィンドウ画面が例示されている。また、仮想画像３０は、ウェアラブル端末装置１０のユーザに対して指示または説明などを行うための指示画像３１を含む。すなわち、指示画像３１は、仮想画像３０の一態様である。図３では、矢印の指示画像３１と、ペン入力の軌跡の指示画像３１とが例示されている。仮想画像３０は、これらに限られず、例えば各種の立体画像であってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１面）および裏面（第２面）を有し、このうち表面に必要な情報が表示され、通常、裏面には情報が表示されない。

ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図４に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＵの前方に位置する領域である。例えば、視認領域４１は、ユーザＵの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＵの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。

ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。

また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。

なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。

仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。また、仮想画像３０のうち指示画像３１は、例えば外部機器２０からウェアラブル端末装置１０に送信される指示データに基づいて生成される。また、指示画像３１は、ウェアラブル端末装置１０のユーザが備忘などの目的で自ら生成することもできる。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図３においては、視認領域４１が鎖線で示されている。

バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面が視認されるように裏面が表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。

図３に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線５１と、ポインタ５２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ５２は、仮想線５１と仮想画像３０との交点に表示される。仮想線５１が仮想画像３０と交差しない場合には、仮想線５１と空間４０の壁面等との交点にポインタ５２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線５１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ５２を直接表示させてもよい。

ユーザが手を伸ばす方向を変えることで、仮想線５１の方向およびポインタ５２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３０１、ウィンドウ形状変更ボタン３０２、およびクローズボタン３０３等）にポインタ５２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ５２をクローズボタン３０３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ５２を機能バー３０１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。

このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。

次に、図５を参照してウェアラブル端末装置１０の機能構成について説明する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６と、マイク１７と、スピーカー１８などを備え、これらの各部はバス１９により接続されている。図５に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。

ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理、表示制御処理および報知処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。また、報知処理は、視認領域４１の外部に指示画像３１があることをユーザに認識させるための報知などを行う処理である。

なお、図５では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。

記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２などがある。仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。また、矢印の指示画像３１に係る仮想画像データ１３２は、矢印の大きさ、色、表示位置、および向きのデータなどを含む。ペン入力の軌跡の指示画像３１に係る仮想画像データ１３２は、軌跡の太さ、色、表示位置（軌跡の各点の座標を含む）、および向きのデータなどを含む。ドキュメント画像の指示画像３１に係る仮想画像データ１３２は、ドキュメント画像の内容、ウィンドウの大きさ、色、表示位置、および向きのデータなどを含む。

表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。

センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図５に示されていないセンサーをさらに有していてもよい。

加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。

角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。

深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。

カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４からの出力画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器２０に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器２０において表示するためにも用いられる。また、カメラ１５４の視野角（画角）と、人間の視野角と、が一致しない場合、ウェアラブル端末装置１０が認識する視認領域４１は、カメラ１５４からの出力画像と同じでなくてもよい。すなわち、カメラ１５４の視野角（画角）が人間の視野角より広い場合、ウェアラブル端末装置１０が認識する視認領域４１は、外部機器２０で表示しているカメラ１５４からの出力画像のうちの一部に対応する領域であってもよい。また、人間の視野は、人間が視力を高く維持し、細かいものを認識できる範囲である有効視野（一般的に、左右両目を用いた有効視野は、水平方向に約６０度、垂直方向に約４０度）と、当該有効視野以外の範囲（細かいものを認識できない範囲）である周辺視野と、に大別することができる。視認領域４１は、有効視野と対応するように定義されてもよいし、周辺視野まで含めた視野（一般的に、左右両目を用いた視野で、水平方向に約２００度、垂直方向に約１３０度）と対応するように定義されてもよい。また視認領域４１は、有効視野と対応するように定義されたものと、周辺視野まで含めた視野と対応するように定義されたものと、を含んでよく、ウェアラブル端末装置１０のＣＰＵ１１は、所定条件（例えば、ユーザの所定の操作によるモード変更、等）により、視認領域４１がいずれの定義に基づくものか適宜変更してもよい。

アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。

通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器２０との間で無線通信によるデータの送受信を行う。また、通信部１６は、外部機器２０との間で音声データ通信を行うことができる。すなわち、通信部１６は、マイク１７により収集された音声データを外部機器２０に送信し、スピーカー１８から音声を出力させるために外部機器２０から送信された音声データを受信する。

マイク１７は、ユーザの声などの音を電気信号に変換してＣＰＵ１１に出力する。

スピーカー１８は、入力された音声データを機械的な振動に変換して音として出力する。

このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。

ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。

ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。

ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。

ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている仮想画像３０、すなわち視認領域４１の内部に位置する仮想画像３０を表示部１４に表示させる。ＣＰＵ１１は、仮想画像データ１３２に含まれる表示位置の情報に基づいて表示する仮想画像３０を特定し、その時点における視認領域４１と、仮想画像３０の表示位置との位置関係に基づいて、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、仮想画像３０を含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に仮想画像３０が視認されるように、仮想画像３０をバイザー１４１の表示面に表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２が読み込まれ、視認領域４１の内部に位置する仮想画像３０があれば表示部１４に表示される。

ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線５１と、ポインタ５２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ５２の位置とに応じた処理を実行する。

図６に示すように、外部機器２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５と、マイク２６と、スピーカー２７などを備え、これらの各部はバス２８により接続されている。

ＣＰＵ２１は、各種演算処理を行い、外部機器２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。

ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３は、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどを記憶する。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。

操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。当該表示には、例えば、ウェアラブル端末装置１０のカメラ１５４により撮影された視認領域４１の画像を含む指示者用画面４２が含まれる。指示者用画面４２の内容については、後に詳述する。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。

通信部２５は、所定の通信プロトコルに従ってウェアラブル端末装置１０との間でデータの送受信を行う。また、通信部２５は、ウェアラブル端末装置１０との間で音声データ通信を行うことができる。すなわち、通信部２５は、マイク２６により収集された音声データをウェアラブル端末装置１０に送信し、スピーカー２７から音声を出力させるためにウェアラブル端末装置１０から送信された音声データを受信する。通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。

マイク２６は、遠隔指示者の声などの音を電気信号に変換してＣＰＵ２１に出力する。

スピーカー２７は、入力される音声データを機械的な振動に変換して音として出力する。

次に、表示システム１の動作について、外部機器２０を操作する遠隔指示者から、ウェアラブル端末装置１０を装着しているユーザへの遠隔指示（遠隔支援）に係る動作を中心に説明する。

本実施形態の表示システム１では、ウェアラブル端末装置１０と、一または二以上の外部機器２０との間で双方向のデータ通信を行うことで、種々のデータを共有して共同作業を行うことができる。例えば、ウェアラブル端末装置１０のカメラ１５４により撮影されている画像のデータを外部機器２０に送信して操作表示部２４において表示させることで、ウェアラブル端末装置１０のユーザが見ているものを、遠隔指示者がリアルタイムで認識することができる。また、ウェアラブル端末装置１０のマイク１７、および外部機器２０のマイク２６によりそれぞれ収集された音声を双方向の音声データ通信で送信することで、音声通話を行うことができる。よって、ウェアラブル端末装置１０および外部機器２０により音声データ通信が実行されている期間は、ウェアラブル端末装置１０のユーザと遠隔指示者とが音声通話中である期間を含む。遠隔指示者は、リアルタイムのカメラ画像を見ながら音声通話によってウェアラブル端末装置１０のユーザに対する指示および支援を行う、といったことが可能である。

さらに、外部機器２０は、ウェアラブル端末装置１０に対して、指示画像３１を表示させる指示を行うこともできる。すなわち、遠隔指示者が外部機器２０に対して所定の操作を行うことで、図３に示すように、指示画像３１をウェアラブル端末装置１０の表示部１４に表示させることができる。

詳しくは、遠隔指示者が、外部機器２０においてカメラ画像を見ながら、所望の位置に所望の指示画像３１を表示させる指示を行うと、当該指示画像３１を表示させるための指示データが生成されてウェアラブル端末装置１０に送信される。この指示データを受信したウェアラブル端末装置１０のＣＰＵ１１は、受信した指示データに基づいて指示画像３１に係る仮想画像データ１３２を生成する。以下では、指示画像３１に係る仮想画像データ１３２を生成することを、単に「指示画像３１を生成する」とも記す。ＣＰＵ１１は、生成した指示画像３１を、空間４０のうち仮想画像データ１３２により指定された表示位置に表示させる。詳しくは、ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている指示画像３１、すなわち視認領域４１の内部に位置する指示画像３１を表示部１４に表示させる。一方、ＣＰＵ１１は、視認領域４１の外部に表示位置が定められている指示画像３１、すなわち視認領域４１の外部に位置する指示画像３１は表示部１４に表示させない。これにより、遠隔指示者が所望する内容の指示画像３１を、遠隔指示者が意図した位置に表示させることができ、当該指示画像３１をウェアラブル端末装置１０のユーザに視認させて共有することができる。

また、ＣＰＵ１１は、通信部１６を介して音声データ通信の実行中に指示画像３１を表示部１４に表示させる。これにより、ウェアラブル端末装置１０のユーザは、この指示画像３１を視認しつつ、音声通話による遠隔指示者の指示に従った作業を行うことができる。

指示画像３１は、仮想オブジェクトの画像を含んでいてもよい、ここで、仮想オブジェクトは、位置および向きが指定された矢印形状のオブジェクト（矢印）を含んでいてもよい。また、仮想オブジェクトは、ペン入力の軌跡を表すオブジェクトを含んでいてもよい。ペン入力の軌跡を表すオブジェクトは、例えば手書きの文字または図形などであってもよい。ペン入力の軌跡は、ユーザの指先の軌跡の検出結果から特定されてもよいし、ユーザまたは遠隔指示者が保持する所定のペン型入力デバイスの先端の移動軌跡に基づいて特定されてもよい。

指示画像３１は、所定のファイル形式のドキュメント画像であってもよい。指示画像としてのドキュメント画像は、例えば、図３に示す仮想画像３０のようなウィンドウ画面として表示される。ドキュメント画像は、作業内容の手順などを示す指示書またはマニュアルなどであってもよい。ドキュメント画像のファイル形式は、例えばＪＰＥＧ等の画像データに係るファイル形式、ＰＤＦ、または他の任意のソフトウェアで生成されるファイルのファイル形式であってもよい。

次に、図７～図１２を参照して、指示画像３１の生成に係る動作を具体的に説明する。図７に示すように、ある時点における視認領域４１に、作業対象としてのバルブ用のハンドル７０ａ～７０ｅが含まれているものとする。この視認領域４１は、カメラ１５４により撮影されて外部機器２０に送信され、操作表示部２４において指示者用画面４２として表示される。

図７に示す指示者用画面４２を見た遠隔指示者が、ウェアラブル端末装置１０のユーザに対し、ハンドル７０ａの操作を指示する場合を例に挙げて説明する。この場合、遠隔指示者は、指示者用画面４２を図７の状態で一時停止させ、所定の操作を行って、例えば図８に示すようにハンドル７０ａの近傍に矢印の指示画像３１を表示させる。この操作に応じて、ハンドル７０ａの近傍の表示位置に当該指示画像３１を表示させるための指示データが生成され、外部機器２０からウェアラブル端末装置１０に送信される。指示データを受信したウェアラブル端末装置１０のＣＰＵ１１は、指示された表示位置に指示画像３１を表示させるための仮想画像データ１３２を生成する。ＣＰＵ１１は、ユーザの視認領域４１の内部に指示画像３１の表示位置が入っている場合には、当該指示画像３１を表示部１４に表示させる。

しかしながら、遠隔指示者が指示者用画面４２を一時停止させて指示画像３１の表示指示を行っている間に、ウェアラブル端末装置１０のユーザが移動したり向きを変えたりすると、視認領域４１が変動する。この結果、例えば図９に示すように、受信した指示データに基づいて指示画像３１を表示させようとするタイミングにおいて、指示画像３１の表示位置が視認領域４１の外部にあることが起こり得る。この場合には、指示画像３１は表示部１４に表示されないため、ウェアラブル端末装置１０のユーザが、遠隔指示者の指示により生成された指示画像３１に気付かないという課題がある。

そこで、本実施形態のウェアラブル端末装置１０では、ＣＰＵ１１は、視認領域４１の外部に位置する指示画像３１がある場合に、当該指示画像３１の存在をユーザに認識させるための第１の報知を実行する。言い換えると、ＣＰＵ１１は、外部機器２０からの指示データの受信に応じて指示画像３１を表示させるタイミングで、指示画像３１の表示位置が視認領域４１の外部にある場合には、第１の報知を実行する。例えば、ＣＰＵ１１は、ユーザの視覚により認識可能な第１の報知を実行する。一例を挙げると、第１の報知は、表示部１４による所定の報知表示である。このような第１の報知が実行されることで、ウェアラブル端末装置１０のユーザは、遠隔指示者の指示により生成された指示画像３１があることに気付くことができる。また、表示部１４により、ユーザの視覚により認識可能な報知表示を行うことで、より指示画像３１の存在に気付きやすくすることができる。

図９に示す例では、第１の報知は、指示画像３１が位置する方向を示すインジケーター６１を含む報知表示である。インジケーター６１は、視認領域４１の外周のうち、指示画像３１が位置する方向に表示されている。インジケーター６１を表示させることで、ユーザは、指示画像３１が位置している方向を直感的に把握することができる。インジケーター６１の形状、位置および表示態様は、指示画像３１が位置する方向を示すことが可能なものであればよく、図９に示したものに限られない。

図１０に示すように、第１の報知は、文字６２を含む報知表示であってもよい。ここでは、右方に指示画像３１が存在することを示す文字６２が表示されている。文字６２による第１の報知を行うことで、指示画像３１についてのより詳細な内容をユーザに知らせることができる。

ユーザの視覚により認識可能な第１の報知は、図９および図１０に示した報知表示に限られない。例えば、図１１に示すように、視認領域４１の外部に位置する１つの指示画像３１に対応する標識６３を表示部１４に表示させてもよい。よって、視認領域４１の外部に位置する指示画像３１が複数ある場合には、複数の標識６３が表示される。ここで、視認領域４１に対して左側にある指示画像３１に対応する標識６３を視認領域４１の左端近傍に表示させ、視認領域４１に対して右側にある指示画像３１に対応する標識６３を視認領域４１の右端近傍に表示させてもよい。また、新たな指示画像３１に対応する標識６３を所定の強調態様で表示させて、ユーザの目を引きやすくしてもよい。ここで、強調態様には、「Ｎｅｗ！」といった文字または記号等を付したり、色を変えてハイライト表示したり、形を大きくしたりする表示態様が含まれる。また、上記の「新たな指示画像３１」は、例えば、一度も表示部１４に表示されていない指示画像３１、および／または生成されてからの経過時間が所定の基準時間以下である指示画像３１であるものとすることができる。なお、視認領域４１において新たな指示画像３１が表示されているときに、当該指示画像３１自体を上記の強調態様で表示してもよい。また、図１１に示すように、新たな指示画像３１以外の指示画像３１が視認領域４１の外部にある場合に、当該指示画像３１の存在をユーザに認識させるための第１の報知が行われてもよい。

また、第１の報知は、所定の音声の出力であってもよい。この場合、ＣＰＵ１１は、視認領域４１の外部に指示画像３１があることを報知するアナウンスの音声、および／または予め定められたビープ音などをスピーカー１８から出力させる。ここで、アナウンスの音声は、例えば「右の方に指示画像があります」といった内容とすることができる。これにより、ユーザは、注視している位置によらず、表示されていない指示画像３１があることに気付くことができる。音声による第１の報知は、ユーザの視覚により認識可能な第１の報知と併せて行われてもよい。

ところで、図１２に示すように、指示画像３１は、ドキュメント画像であってもよい。図１２では、作業対象であるハンドル７０ｄの操作手順を示すマニュアルに係るドキュメント画像が例示されている。指示画像３１がドキュメント画像である場合には、指示画像３１が作業対象に重なると作業対象の視認性が低下して作業がしにくくなる。このため、指示画像３１は、ユーザから見て作業対象と重ならない位置に表示してもよい。具体的には、ＣＰＵ１１は、ユーザによる作業対象であるハンドル７０ｄを特定し、当該作業対象の視認を妨げる範囲を除いた範囲内で指示画像３１の表示位置を定めてもよい。言い換えると、外部機器２０から受信した指示データにより示される表示位置に指示画像３１を表示させると作業対象の視認を妨げることとなる場合には、ＣＰＵ１１は、作業対象の視認を妨げないように指示画像３１の表示位置を変更してもよい。これにより、作業対象が指示画像３１によって視認しにくくなる不具合の発生を低減できる。作業対象の特定方法は、特には限られないが、例えばカメラ１５４が撮像した画像の処理結果に基づいて特定したり、指示画像３１としてのドキュメント画像の内容から特定したり、アイトラッカー１５５による検出結果に基づいて特定したりすることができる。

なお、ドキュメント画像以外の指示画像３１、例えば矢印等の仮想オブジェクトの指示画像３１は、通常、作業対象と重なっても視認性が低下しにくく、また、敢えて作業対象と重ねることで、作業指示がしやすくなる場合もある。このため、ドキュメント画像以外の指示画像３１については、作業対象との位置関係に応じた表示位置の調整は行わなくてもよい。ただし、必要に応じて、ドキュメント画像と同様に、作業対象の視認を妨げる範囲を除いた範囲内となるように指示画像３１の表示位置を調整してもよい。

指示画像３１としてのドキュメント画像のファイル形式が、ウェアラブル端末装置１０においてサポートされていない場合がある。言い換えると、ドキュメント画像のファイルが、ウェアラブル端末装置１０において表示することのできないファイル形式である場合がある。この場合には、ウェアラブル端末装置１０と外部機器２０との間でドキュメント画像に係るファイルの共有がなされるものの、ウェアラブル端末装置１０においてドキュメント画像の指示画像３１は表示されない。この場合に、ＣＰＵ１１は、図１３に示すように、指示画像３１が表示部１４に表示されないことをユーザに認識させるための第２の報知を実行してもよい。図１３では、表示されない指示画像３１があることを示す文字６４が表示されている。ただし、第２の報知の態様はこれに限られず、表示部１４において文字６４以外の所定の表示を行ってもよく、スピーカー１８から所定の音声を出力してもよい。このような第２の報知を行うことで、ウェアラブル端末装置１０のユーザは、遠隔指示者の意図に反して表示されていない指示画像３１があること認識することができる。

上記では、ユーザが移動したり向きを変えたりすることに起因して、指示画像３１の表示位置が視認領域４１から外れる例を用いて説明したが、指示画像３１の表示位置が視認領域４１から外れる要因はこれに限られない。例えば、図１４に示す指示者用画面４２の範囲（例えば、カメラ１５４による撮像範囲の全部または一部）よりも、図１５に示す視認領域４１の方が狭い場合がある。この場合には、ユーザの位置および向きが不変であっても、指示画像３１の表示位置が視認領域４１の外部となることがある。すなわち、指示者用画面４２の範囲と視認領域４１の範囲との差分に相当する領域内に指示画像３１の表示位置が定められると、図１５に示すように、視認領域４１において指示画像３１は表示されない。この場合にも、上述と同様に第１の報知が実行される。

次に、指示画像３１を用いた遠隔指示に係る上述の動作を行うための遠隔指示処理について、図１６および図１７のフローチャートを参照して説明する。このうち図１６は、外部機器２０のＣＰＵ２１による制御手順を示し、図１７は、ウェアラブル端末装置１０のＣＰＵ１１による制御手順を示す。

図１６に示すように、外部機器２０のＣＰＵ２１は、遠隔指示処理が開始されると、ウェアラブル端末装置１０との間で音声データ通信を開始し、これにより音声通話を開始する。また、ＣＰＵ２１は、ウェアラブル端末装置１０のカメラ１５４により撮影されたカメラ画像の受信を開始する（ステップＳ１０１）。以降、ＣＰＵ２１は、カメラ画像に基づいて指示者用画面４２を表示させ、指示者用画面４２においてカメラ画像をリアルタイムで動画表示させる。

ＣＰＵ２１は、指示画像３１を生成するための操作（以下、「指示画像生成操作」と記す）が開始されたか否かを判別する（ステップＳ１０２）。指示画像生成操作が開始されたと判別された場合には（ステップＳ１０２で“ＹＥＳ”）、ＣＰＵ２１は、操作表示部２４において表示中のカメラ画像を一時停止させて静止画に切り替え（ステップＳ１０３）、指示画像生成操作を受け付ける（ステップＳ１０４）。指示画像生成操作は、例えば、指示画像３１の種別（矢印、ペン入力、またはドキュメント画像）を指定したり、指示画像３１の表示位置および向きを指定したりする操作を含む。指示画像３１の表示位置は、例えば、一時停止中のカメラ画像において所望の位置を選択することで指定することができる。

指示画像生成操作が終了すると、ＣＰＵ２１は、指示画像生成操作において指定された内容を反映した指示データを生成し、ウェアラブル端末装置１０に送信する（ステップＳ１０５）。

ＣＰＵ２１は、指示者用画面４２におけるカメラ画像の一時停止を解除し、静止画から動画に切り替える（ステップＳ１０６）。

ステップＳ１０６の処理が終了した場合、またはステップＳ１０２において指示画像生成操作が開始されていないと判別された場合には（ステップＳ１０２で“ＮＯ”）、ＣＰＵ２１は、遠隔指示処理を終了させる指示がなされたか否かを判別する（ステップＳ１０７）。ＣＰＵ２１は、当該指示がなされていないと判別された場合には（ステップＳ１０７で“ＮＯ”）、処理をステップＳ１０２に戻し、当該指示がなされたと判別された場合には（ステップＳ１０７で“ＹＥＳ”）、遠隔指示処理を終了させる。

図１７に示すように、ウェアラブル端末装置１０のＣＰＵ１１は、遠隔指示処理が開始されると、外部機器２０との間で音声データ通信を開始し、これにより音声通話を開始する。また、ＣＰＵ１１は、カメラ１５４により撮影されたカメラ画像の外部機器２０への送信を開始する（ステップＳ２０１）。

ＣＰＵ１１は、外部機器２０から指示データを受信したか否かを判別し（ステップＳ２０２）、指示データを受信したと判別された場合には（ステップＳ２０２で“ＹＥＳ”）、指示データに係る指示画像３１を表示可能であるか否かを判別する（ステップＳ２０３）。ここでは、ＣＰＵ１１は、指示画像３１がドキュメント画像であり、当該ドキュメント画像のファイル形式が、ウェアラブル端末装置１０において表示することのできないファイル形式である場合に、表示不可能であると判別する。

指示画像３１が表示不可能であると判別された場合には（ステップＳ２０３で“ＮＯ”）、ＣＰＵ１１は、第２の報知を実行する（ステップＳ２０４）。例えば、ＣＰＵ１１は、図１３に示すように、表示されない指示画像３１があることを示す文字６４を表示部１４に表示させる。

指示画像３１が表示可能であると判別された場合には（ステップＳ２０３で“ＹＥＳ”）、ＣＰＵ１１は、指示データの内容に基づいて仮想画像データ１３２を生成する（ステップＳ２０５）。

ステップＳ２０４およびステップＳ２０５のいずれかが終了した場合、またはステップＳ２０２において指示データを受信していないと判別された場合には（ステップＳ２０２で“ＮＯ”）、ＣＰＵ１１は、記憶部１３の仮想画像データ１３２を参照し、視認領域４１の外部に位置する指示画像３１があるか否かを判別する（ステップＳ２０６）。視認領域４１の外部に位置する指示画像３１があると判別された場合には（ステップＳ２０６で“ＹＥＳ”）、ＣＰＵ１１は、第１の報知を実行する（ステップＳ２０７）。例えば、ＣＰＵ１１は、図９に示すように、視認領域４１の外部における指示画像３１の位置を示すインジケーター６１を表示部１４に表示させる。

ステップＳ２０７が終了した場合、またはステップＳ２０６において視認領域４１の外部に位置する指示画像３１がないと判別された場合には（ステップＳ２０６で“ＮＯ”）、ＣＰＵ１１は、記憶部１３の仮想画像データ１３２を参照し、視認領域４１の内部に位置する指示画像３１があるか否かを判別する（ステップＳ２０８）。

視認領域４１の内部に位置する指示画像３１があると判別された場合には（ステップＳ２０８で“ＹＥＳ”）、ＣＰＵ１１は、指示画像３１を表示位置に表示すると当該指示画像３１が作業対象に重なるか否かを判別する（ステップＳ２０９）。指示画像３１が作業対象に重なると判別された場合には（ステップＳ２０９で“ＹＥＳ”）、ＣＰＵ１１は、仮想画像データ１３２における指示画像３１の表示位置を、作業対象の視認を妨げる範囲を除いた範囲内となるように調整する（ステップＳ２１０）。なお、上述のとおり、当該ステップＳ２１０の処理は、指示画像３１がドキュメント画像である場合に限って実行してもよい。

ステップＳ２１０が終了した場合、またはステップＳ２０９において指示画像３１が作業対象に重ならないと判別された場合には（ステップＳ２０９で“ＮＯ”）、ＣＰＵ１１は、仮想画像データ１３２により指定された表示位置に指示画像３１を表示させる（ステップＳ２１１）。

ステップＳ２１１が終了した場合、またはステップＳ２０８において視認領域４１の内部に位置する指示画像３１がないと判別された場合には（ステップＳ２０８で“ＮＯ”）、ＣＰＵ１１は、遠隔指示処理を終了させる指示がなされたか否かを判別する（ステップＳ２１２）。ＣＰＵ１１は、当該指示がなされていないと判別された場合には（ステップＳ２１２で“ＮＯ”）、処理をステップＳ２０２に戻し、当該指示がなされたと判別された場合には（ステップＳ２１２で“ＹＥＳ”）、遠隔指示処理を終了させる。なお、図１７では、指示画像３１の表示に係る処理を抽出して説明したが、指示画像３１以外の仮想画像３０がある場合には、仮想画像３０の表示制御に係る処理が並行して実行されてもよい。

〔第２の実施形態〕
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置８０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。

図１８に示すように、表示システム１は、ウェアラブル端末装置１０と、複数の外部機器２０と、ウェアラブル端末装置１０に通信接続された情報処理装置８０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置８０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置８０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。

図１９に示すように、情報処理装置８０は、ＣＰＵ８１と、ＲＡＭ８２と、記憶部８３と、操作表示部８４と、通信部８５などを備え、これらの各部はバス８６により接続されている。

ＣＰＵ８１は、各種演算処理を行い、情報処理装置８０の各部の動作を統括制御するプロセッサである。ＣＰＵ８１は、記憶部８３に記憶されたプログラム８３１を読み出して実行することで、各種制御動作を行う。

ＲＡＭ８２は、ＣＰＵ８１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部８３は、コンピュータとしてのＣＰＵ８１により読み取り可能な非一時的な記録媒体である。記憶部８３は、ＣＰＵ８１により実行されるプログラム８３１、および各種設定データなどを記憶する。プログラム８３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部８３に格納されている。記憶部８３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤなどの不揮発性の記憶装置が用いられる。

操作表示部８４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部８４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部８４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ８１に出力する。

通信部８５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部８５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部８５は、ウェアラブル端末装置１０以外の他の装置、例えば外部機器２０との通信が可能であってもよい。

このような構成の表示システム１において、情報処理装置８０のＣＰＵ８１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ８１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ８１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ８１は、ウェアラブル端末装置１０のユーザの操作に応じて、または外部機器２０から受信した指示データに基づいて、仮想画像３０（指示画像３１）に係る仮想画像データ１３２を生成してもよい。また、ＣＰＵ８１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。

ＣＰＵ２１による上記の処理結果は、通信部２５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ８１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御、および／またはスピーカー１８の出力制御を行ってもよい。例えば、ＣＰＵ８１は、ウェアラブル端末装置１０の表示部１４および／またはスピーカー１８を制御して、第１の報知および／または第２の報知を実行させてもよい。

このように、情報処理装置８０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置８０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。

〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。

例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。

また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部にある部分、および視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。よって、上記各実施形態と同様に、視認領域４１の外部に位置する指示画像３１がある場合の第１の報知等を適用できる。

ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。

仮想画像３０は必ずしも空間４０において静止していなくてもよく、所定の軌跡で空間４０の内部を移動していてもよい。

ユーザのジェスチャーを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。

音声データ通信による音声通話の実行中に、外部機器２０からウェアラブル端末装置１０に対して指示画像３１の表示指示が行われる例を用いて説明したが、これに限定されず、音声データ通信を伴わずに指示画像３１の表示指示が行われてもよい。

ウェアラブル端末装置１０および外部機器２０の間で音声通話を行う例を用いて説明したが、これに限られず、ビデオ通話が可能であってもよい。この場合には、遠隔操作者を撮影するウェブカメラを外部機器２０に設け、当該ウェブカメラで撮影している画像データをウェアラブル端末装置１０に送信して表示部１４にて表示させればよい。

指示画像３１は、ウェアラブル端末装置１０のユーザに対する作業指示のために表示されるものに限られない。指示画像３１は、ウェアラブル端末装置１０のユーザに視認させることを目的として、指示者（ユーザ自身を含む）の指示に基づいてウェアラブル端末装置１０において表示される任意の仮想画像３０を含む。

その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。

本開示は、ウェアラブル端末装置、プログラムおよび報知方法に利用することができる。

１ 表示システム
１０ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー
１６ 通信部
１７ マイク
１８ スピーカー
１９ バス
２０ 外部機器
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２５ 通信部
２６ バス
３０ 仮想画像
３０１ 機能バー
３０２ ウィンドウ形状変更ボタン
３０３ クローズボタン
３１ 指示画像
４０ 空間
４１ 視認領域
４２ 指示者用画面
５１ 仮想線
５２ ポインタ
６１ インジケーター
６２、６４ 文字
６３ 標識
７０ａ～７０ｆ ハンドル（作業対象）
８０ 情報処理装置
８１ ＣＰＵ
８２ ＲＡＭ
８３ 記憶部
８３１ プログラム
８４ 操作表示部
８５ 通信部
８６ バス
Ｎ ネットワーク
Ｕ ユーザ

Claims (16)

1. ユーザが装着して使用するウェアラブル端末装置であって、
   少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサは、
   空間内における前記ユーザの視認領域を検出し、
   前記視認領域の内部に位置する指示画像を表示部に表示させ、
   前記視認領域の外部に位置する前記指示画像がある場合に、当該指示画像の存在を前記ユーザに認識させるための第１の報知を実行し、
   前記第１の報知は、前記表示部による所定の報知表示であって、前記視認領域の外部に位置する前記指示画像に対応する標識を含む前記報知表示であり、
   前記少なくとも一つのプロセッサは、前記視認領域の外部に位置する前記指示画像が新たな指示画像であるか否かに応じて、前記標識の表示態様を変化させる、ウェアラブル端末装置。
2. 前記新たな指示画像は、一度も前記表示部に表示されていない指示画像である、請求項１に記載のウェアラブル端末装置。
3. 前記新たな指示画像は、生成されてからの経過時間が所定の基準時間以下である指示画像である、請求項１または２に記載のウェアラブル端末装置。
4. 前記表示部は、光透過性を有する表示部材を備え、
   前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記指示画像が視認されるように、前記指示画像を前記表示部材の表示面に表示させる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
5. 前記空間を撮影するカメラを備え、
   前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記指示画像を前記表示部に表示させる、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
6. 遠隔指示者が使用する外部機器との間でデータ通信を行う通信部を備え、
   前記少なくとも一つのプロセッサは、
   前記通信部が前記外部機器から受信した指示データに基づいて前記指示画像を生成し、
   生成した前記指示画像を前記表示部に表示させる、請求項１～５のいずれか一項に記載のウェアラブル端末装置。
7. 前記通信部は、前記外部機器との間で音声データ通信を行い、
   前記少なくとも一つのプロセッサは、前記通信部を介して前記音声データ通信の実行中に前記指示画像を前記表示部に表示させる、請求項６に記載のウェアラブル端末装置。
8. 前記少なくとも一つのプロセッサは、前記指示データに基づいて前記指示画像を表示できない場合に、前記指示画像が前記表示部に表示されないことを前記ユーザに認識させるための第２の報知を実行する、請求項６または７に記載のウェアラブル端末装置。
9. 前記第１の報知は、前記指示画像が位置する方向を示す前記報知表示である、請求項１～８のいずれか一項に記載のウェアラブル端末装置。
10. 前記少なくとも一つのプロセッサは、
    前記ユーザによる作業対象を特定し、
    前記作業対象の視認を妨げる範囲を除いた範囲内で前記指示画像の表示位置を定める、請求項１～９のいずれか一項に記載のウェアラブル端末装置。
11. 前記指示画像は、所定のファイル形式のドキュメント画像を含む、請求項１～１０のいずれか一項に記載のウェアラブル端末装置。
12. 前記指示画像は、仮想オブジェクトの画像を含む、請求項１～１１のいずれか一項に記載のウェアラブル端末装置。
13. 前記仮想オブジェクトは、ペン入力の軌跡を表すオブジェクトを含む、請求項１２に記載のウェアラブル端末装置。
14. 前記仮想オブジェクトは、位置および向きが指定された矢印形状のオブジェクトを含む、請求項１２または１３に記載のウェアラブル端末装置。
15. ユーザが装着して使用するウェアラブル端末装置の表示部を制御可能なコンピュータに、
    空間内における前記ユーザの視認領域を検出する処理、
    前記視認領域の内部に位置する指示画像を前記表示部に表示させる処理、
    前記視認領域の外部に位置する前記指示画像がある場合に、当該指示画像の存在を前記ユーザに認識させるための第１の報知を実行する処理、
    を実行させ、
    前記第１の報知は、前記表示部による所定の報知表示であって、前記視認領域の外部に位置する前記指示画像に対応する標識を含む前記報知表示であり、
    前記コンピュータに、前記視認領域の外部に位置する前記指示画像が新たな指示画像であるか否かに応じて、前記標識の表示態様を変化させる処理を実行させる、プログラム。
16. ユーザが装着して使用するウェアラブル端末装置における報知方法であって、
    空間内における前記ユーザの視認領域を検出し、
    前記視認領域の内部に位置する指示画像を表示部に表示させ、
    前記視認領域の外部に位置する前記指示画像がある場合に、当該指示画像の存在を前記ユーザに認識させるための第１の報知を実行し、
    前記第１の報知は、前記表示部による所定の報知表示であって、前記視認領域の外部に位置する前記指示画像に対応する標識を含む前記報知表示であり、
    前記視認領域の外部に位置する前記指示画像が新たな指示画像であるか否かに応じて、前記標識の表示態様を変化させる、報知方法。

Images