JP7478902B2 - ウェアラブル端末装置、プログラムおよび表示方法 - Google Patents

Description

本開示は、ウェアラブル端末装置、プログラムおよび表示方法に関する。

従来、ユーザが頭部に装着するウェアラブル端末装置を用いて、仮想画像および／または仮想空間をユーザに体感させる技術として、ＶＲ（仮想現実）、ＭＲ（複合現実）およびＡＲ（拡張現実）が知られている。ウェアラブル端末装置は、ユーザが装着したときにユーザの視界を覆う表示部を有する。この表示部に、ユーザの位置および向きに応じて仮想画像および／または仮想空間を表示することで、あたかもこれらが存在しているかのような視覚効果を実現する（例えば、米国特許出願公開第２０１９／００８７０２１号明細書、および米国特許出願公開第２０１９／０３４０８２２号明細書）。

ＭＲは、ユーザに現実空間を視認させつつ、現実空間の所定位置に仮想画像が存在しているように見せる表示を行うことで、現実空間と仮想画像とが融合した複合現実を体感させる技術である。また、ＶＲは、ＭＲにおける現実空間に代えて仮想空間をユーザに視認させることで、あたかもユーザが仮想空間にいるように体感させる技術である。

ＶＲおよびＭＲにおいて表示される仮想画像は、ユーザが位置する空間における表示位置が定められており、その表示位置がユーザの視認領域の内部にある場合に表示部に表示されてユーザに視認される。

本開示のウェアラブル端末装置は、ユーザが装着して使用するウェアラブル端末装置であって、少なくとも一つのプロセッサを備える。前記少なくとも一つのプロセッサは、空間内の所定位置に配置し、第１の面と前記第１の面と反対側の第２の面とを有する仮想画像を表示部に表示させる。前記少なくとも一つのプロセッサは、前記ユーザにとって前記第１の面と前記第２の面のどちらが視認し易い状態かを判定する。前記少なくとも一つのプロセッサは、前記第２の面が視認し易い状態と判定された場合、前記仮想画像の第２の面に当該仮想画像の第１の面の画像を表示させる。

また、本開示のプログラムは、ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、空間内の所定位置に配置し、第１の面と前記第１の面と反対側の第２の面とを有する仮想画像を表示部に表示させる処理を実行させる。前記プログラムは、前記コンピュータに、前記ユーザにとって前記第１の面と前記第２の面のどちらが視認し易い状態かを判定する処理を実行させる。前記プログラムは、前記コンピュータに、前記第２の面が視認し易い状態と判定された場合、前記仮想画像の第２の面に当該仮想画像の第１の面の画像を表示させる処理を実行させる。

また、本開示の表示方法は、ユーザが装着して使用するウェアラブル端末装置における表示方法である。当該表示方法では、空間内の所定位置に配置し、第１の面と前記第１の面と反対側の第２の面とを有する仮想画像を表示部に表示させる。前記表示方法では、前記ユーザにとって前記第１の面と前記第２の面のどちらが視認し易い状態かを判定する。前記表示方法では、前記第２の面が視認し易い状態と判定された場合、前記仮想画像の第２の面に当該仮想画像の第１の面の画像を表示させる。

第１の実施形態に係るウェアラブル端末装置の構成を示す模式斜視図である。 ウェアラブル端末装置を装着しているユーザが視認する視認領域および仮想画像の例を示す図である。 空間における視認領域を説明する図である。 ウェアラブル端末装置の主要な機能構成を示すブロック図である。 仮想画像表示処理の制御手順を示すフローチャートである。 ユーザにとってウィンドウ画面の仮想画像の表面と裏面のどちらが視認し易い状態にあるかの判定方法を説明する図である。 ユーザにとってウィンドウ画面の仮想画像の表面と裏面のどちらが視認し易い状態にあるかの判定方法を説明する図である。 ユーザにとってウィンドウ画面の仮想画像の表面と裏面のどちらが視認し易い状態にあるかの判定方法を説明する図である。 ウィンドウ画面の仮想画像の裏面に当該仮想画像の表面の画像を表示させない例を説明する図である。 第２の実施形態に係る表示システムの構成を示す模式図である。 情報処理装置の主要な機能構成を示すブロック図である。

以下、実施の形態を図面に基づいて説明する。ただし、以下で参照する各図は、説明の便宜上、実施形態を説明する上で必要な主要部材のみを簡略化して示したものである。したがって、本開示のウェアラブル端末装置１０および情報処理装置２０は、参照する各図に示されていない任意の構成部材を備え得る。

〔第１の実施形態〕
図１に示すように、ウェアラブル端末装置１０は、本体部１０ａ、および当該本体部１０ａに取り付けられたバイザー１４１（表示部材）などを備える。

本体部１０ａは、その周長を調整可能な環状の部材である。本体部１０ａの内部には、深度センサー１５３およびカメラ１５４などの種々の機器が内蔵されている。本体部１０ａを頭部に装着すると、ユーザの視界がバイザー１４１によって覆われるようになっている。

バイザー１４１は、光透過性を有する。ユーザは、バイザー１４１を通して現実空間を視認することができる。バイザー１４１のうちユーザの目に対向する表示面には、本体部１０ａに内蔵されたレーザースキャナー１４２（図４参照）から仮想画像等の画像が投影されて表示される。ユーザは、表示面からの反射光により仮想画像を視認する。このとき、ユーザは、併せてバイザー１４１越しに現実空間も視認しているため、あたかも現実空間に仮想画像が存在しているかのような視覚効果が得られる。

図２に示すように、仮想画像３０が表示された状態では、ユーザは、空間４０における所定位置に、所定方向を向いた仮想画像３０を視認する。本実施形態では、空間４０は、ユーザがバイザー１４１越しに視認する現実空間である。仮想画像３０は、光透過性を有するバイザー１４１に投影されているため、現実空間に重なる半透明の画像として視認される。図２では、仮想画像３０として平面状のウィンドウ画面を例示しているが、これに限られず、仮想画像３０は、例えば矢印等のオブジェクトであってもよいし、各種の立体画像であってもよい。仮想画像３０がウィンドウ画面である場合には、仮想画像３０は表面（第１の面）３０Ａおよび裏面（第２の面）３０Ｂを有し、このうち表面３０Ａに必要な情報が表示され、通常、裏面３０Ｂには情報が表示されない。また、ウィンドウ画面の仮想画像３０に関しては、当該仮想画像３０が所定の厚みを上限とする範囲内において厚みを有する場合があるものとする。

ウェアラブル端末装置１０は、空間４０におけるユーザの位置および向き（言い換えると、ウェアラブル端末装置１０の位置および向き）に基づいて、ユーザの視認領域４１を検出する。図３に示すように、視認領域４１は、空間４０のうち、ウェアラブル端末装置１０を装着しているユーザＵの前方に位置する領域である。例えば、視認領域４１は、ユーザＵの正面から左右方向および上下方向にそれぞれ所定角度範囲内の領域である。この場合、視認領域４１の形状に相当する立体を、ユーザＵの正面方向に垂直な平面で切り取ったときの切り口の形状は矩形である。なお、視認領域４１の形状は、当該切り口の形状が矩形以外（例えば、円形または楕円形等）となるように定められていてもよい。視認領域４１の形状（例えば、正面から左右方向および上下方向の角度範囲）は、例えば以下の方法で特定することができる。

ウェアラブル端末装置１０では、初回起動時等の所定のタイミングにおいて、所定の手順で視野の調整（以下、キャリブレーションと記す）が行われる。このキャリブレーションにより、ユーザが視認できる範囲が特定され、以降、当該範囲内に仮想画像３０が表示される。このキャリブレーションにより特定された視認可能な範囲の形状を、視認領域４１の形状とすることができる。

また、キャリブレーションは、上記の所定の手順で行われるものに限られず、ウェアラブル端末装置１０の通常の操作を行っている中で自動的にキャリブレーションが行われてもよい。例えば、ユーザからのリアクションがなされるべき表示に対してリアクションがなされない場合に、当該表示を行っている範囲をユーザの視野の範囲外であるとみなして視野（および視認領域４１の形状）を調整してもよい。また、視野の範囲外として定められている位置に試験的に表示を行い、当該表示に対するユーザのリアクションがあった場合に、当該表示を行っている範囲をユーザの視野の範囲内であるとみなして視野（および視認領域４１の形状）を調整してもよい。

なお、視認領域４１の形状は、出荷時等において、視野の調整結果に基づかずに予め定められて固定されていてもよい。例えば、視認領域４１の形状は、表示部１４の光学設計上、最大限表示可能な範囲に定められていてもよい。

仮想画像３０は、ユーザの所定の操作に応じて、空間４０における表示位置および向きが定められた状態で生成される。ウェアラブル端末装置１０は、生成された仮想画像３０のうち、視認領域４１の内部に表示位置が定められている仮想画像３０をバイザー１４１に投影させて表示する。図２においては、視認領域４１が鎖線で示されている。

バイザー１４１における仮想画像３０の表示位置および向きは、ユーザの視認領域４１の変化に応じてリアルタイムに更新される。すなわち、「設定された位置および向きで空間４０内に仮想画像３０が位置している」とユーザが認識するように、視認領域４１の変化に応じて仮想画像３０の表示位置および向きが変化する。例えば、ユーザが仮想画像３０の表側から裏側に向かって移動すると、この移動に応じて表示される仮想画像３０の形状（角度）が徐々に変化する。また、ユーザが仮想画像３０の裏側に回り込んだ後で当該仮想画像３０の方向を向くと、仮想画像３０の裏面３０Ｂが視認されるように裏面３０Ｂが表示される。また、視認領域４１の変化に応じて、表示位置が視認領域４１から外れた仮想画像３０は表示されなくなり、表示位置が視認領域４１に入った仮想画像３０があれば当該仮想画像３０が新たに表示される。

図２に示すように、ユーザが手（または指）を前方にかざすと、手を伸ばした方向がウェアラブル端末装置１０により検出され、当該方向に延びる仮想線５１と、ポインタ５２とがバイザー１４１の表示面に表示されてユーザに視認される。ポインタ５２は、仮想線５１と仮想画像３０との交点に表示される。仮想線５１が仮想画像３０と交差しない場合には、仮想線５１と空間４０の壁面等との交点にポインタ５２が表示されてもよい。ユーザの手と仮想画像３０との距離が所定の基準距離以内である場合に、仮想線５１の表示を省略して、ユーザの指先の位置に応じた位置にポインタ５２を直接表示させてもよい。

ユーザが手を伸ばす方向を変えることで、仮想線５１の方向およびポインタ５２の位置を調整することができる。仮想画像３０に含まれる所定の操作対象（例えば、機能バー３１、ウィンドウ形状変更ボタン３２、およびクローズボタン３３等）にポインタ５２が位置するように調整した状態で所定のジェスチャーを行うことで、当該ジェスチャーがウェアラブル端末装置１０により検出され、操作対象に対する所定の操作を行うことができる。例えば、ポインタ５２をクローズボタン３３に合わせた状態で、操作対象を選択するジェスチャー（例えば、指先をつまむジェスチャー）を行うことで、仮想画像３０を閉じる（削除する）ことができる。また、ポインタ５２を機能バー３１に合わせた状態で選択するジェスチャーを行い、選択状態のまま手を前後左右に移動させるジェスチャーを行うことで、仮想画像３０を奥行方向および左右方向に移動させることができる。仮想画像３０に対する操作はこれらに限られない。

このように、本実施形態のウェアラブル端末装置１０は、あたかも現実空間に仮想画像３０が存在するかのような視覚効果を実現し、仮想画像３０に対するユーザの操作を受け付けて仮想画像３０の表示に反映させることができる。すなわち、本実施形態のウェアラブル端末装置１０はＭＲを提供する。

次に、図４を参照してウェアラブル端末装置１０の機能構成について説明する。
ウェアラブル端末装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、表示部１４と、センサー部１５と、通信部１６などを備え、これらの各部はバス１７により接続されている。図４に示す構成要素のうち表示部１４のバイザー１４１を除いた各部は、本体部１０ａに内蔵されており、同じく本体部１０ａに内蔵されているバッテリーから供給される電力により動作する。

ＣＰＵ１１は、各種演算処理を行い、ウェアラブル端末装置１０の各部の動作を統括制御するプロセッサである。ＣＰＵ１１は、記憶部１３に記憶されたプログラム１３１を読み出して実行することで、各種制御動作を行う。ＣＰＵ１１は、プログラム１３１を実行することで、例えば視認領域検出処理および表示制御処理などを実行する。このうち視認領域検出処理は、空間４０内におけるユーザの視認領域４１を検出する処理である。また、表示制御処理は、空間４０における位置が定められた仮想画像３０のうち、視認領域４１の内部に位置が定められている仮想画像３０を表示部１４に表示させる処理である。

なお、図４では単一のＣＰＵ１１が図示されているが、これに限られない。ＣＰＵ等のプロセッサが２以上設けられていてもよく、本実施形態のＣＰＵ１１が実行する処理を、これらの２以上のプロセッサが分担して実行してもよい。

ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体である。記憶部１３は、ＣＰＵ１１により実行されるプログラム１３１、および各種設定データなどを記憶する。プログラム１３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３としては、例えばフラッシュメモリを備えたＳＳＤ（Solid State Drive）などの不揮発性の記憶装置が用いられる。

記憶部１３に記憶されるデータとしては、仮想画像３０に係る仮想画像データ１３２などがある。仮想画像データ１３２は、仮想画像３０の表示内容に係るデータ（例えば画像データ）、表示位置のデータ、および向きのデータなどを含む。

表示部１４は、バイザー１４１と、レーザースキャナー１４２と、当該レーザースキャナー１４２から出力された光をバイザー１４１の表示面に導く光学系とを有する。レーザースキャナー１４２は、ＣＰＵ１１からの制御信号に従って、画素ごとにオン／オフが制御されたパルス状のレーザー光を所定方向にスキャンしつつ光学系に照射する。光学系に入射したレーザー光は、バイザー１４１の表示面において２次元の画素マトリクスからなる表示画面を形成する。レーザースキャナー１４２の方式は、特には限られないが、例えばＭＥＭＳ（Micro Electro Mechanical Systems）によりミラーを動作させてレーザー光をスキャンする方式を用いることができる。レーザースキャナー１４２は、例えばＲＧＢの色のレーザー光を射出する３つの発光部を有する。表示部１４は、これらの発光部からの光をバイザー１４１に投影することでカラー表示を行うことができる。

センサー部１５は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５などを備える。なお、センサー部１５は、図４に示されていないセンサーをさらに有していてもよい。

加速度センサー１５１は、加速度を検出して検出結果をＣＰＵ１１に出力する。加速度センサー１５１による検出結果から、ウェアラブル端末装置１０の直交３軸方向の並進運動を検出することができる。

角速度センサー１５２（ジャイロセンサー）は、角速度を検出して検出結果をＣＰＵ１１に出力する。角速度センサー１５２による検出結果から、ウェアラブル端末装置１０の回転運動を検出することができる。

深度センサー１５３は、ＴｏＦ（Time of Flight）方式で被写体までの距離を検出する赤外線カメラであり、距離の検出結果をＣＰＵ１１に出力する。深度センサー１５３は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。空間４０においてユーザの位置および向きが変化するごとに深度センサー１５３による計測を繰り返し行って結果を合成することで、空間４０の全体の３次元マッピングを行う（すなわち、３次元構造を取得する）ことができる。

カメラ１５４は、ＲＧＢの撮像素子群により空間４０を撮影し、撮影結果としてカラー画像データを取得してＣＰＵ１１に出力する。カメラ１５４は、視認領域４１を撮影できるように本体部１０ａの前面に設けられている。カメラ１５４からの出力画像は、ウェアラブル端末装置１０の位置および向きなどの検出に用いられるほか、通信部１６から外部機器に送信されて、ウェアラブル端末装置１０のユーザの視認領域４１を外部機器において表示するためにも用いられる。

アイトラッカー１５５は、ユーザの視線を検出して検出結果をＣＰＵ１１に出力する。視線の検出方法は、特には限られないが、例えば、ユーザの目における近赤外光の反射点をアイトラッキングカメラで撮影し、その撮影結果と、カメラ１５４による撮影画像とを解析してユーザが視認している対象を特定する方法を用いることができる。アイトラッカー１５５の構成の一部は、バイザー１４１の周縁部などに設けられていてもよい。

通信部１６は、アンテナ、変復調回路、信号処理回路などを有する通信モジュールである。通信部１６は、所定の通信プロトコルに従って外部機器との間で無線通信によるデータの送受信を行う。

このような構成のウェアラブル端末装置１０において、ＣＰＵ１１は、以下のような制御動作を行う。

ＣＰＵ１１は、深度センサー１５３から入力された被写体までの距離データに基づいて空間４０の３次元マッピングを行う。ＣＰＵ１１は、ユーザの位置および向きが変化するたびにこの３次元マッピングを繰り返し行い、都度結果を更新する。また、ＣＰＵ１１は、一繋がりの空間４０を単位として３次元マッピングを行う。よって、壁などにより仕切られた複数の部屋の間をユーザが移動する場合には、ＣＰＵ１１は、それぞれの部屋を１つの空間４０と認識し、部屋ごとに別個に３次元マッピングを行う。

ＣＰＵ１１は、空間４０内におけるユーザの視認領域４１を検出する。詳しくは、ＣＰＵ１１は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５による検出結果と、蓄積されている３次元マッピングの結果と、に基づいて、空間４０におけるユーザ（ウェアラブル端末装置１０）の位置および向きを特定する。そして、特定した位置および向きと、予め定められている視認領域４１の形状と、に基づいて視認領域４１を検出（特定）する。また、ＣＰＵ１１は、ユーザの位置および向きの検出をリアルタイムで継続して行い、ユーザの位置および向きの変化に連動して視認領域４１を更新する。なお、視認領域４１の検出は、加速度センサー１５１、角速度センサー１５２、深度センサー１５３、カメラ１５４およびアイトラッカー１５５のうちの一部による検出結果を用いて行われてもよい。

ＣＰＵ１１は、ユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成する。すなわち、ＣＰＵ１１は、仮想画像３０の生成を指示する所定の操作（ジェスチャー）を検出すると、仮想画像の表示内容（例えば画像データ）、表示位置、および向きを特定し、これらの特定結果を表すデータを含む仮想画像データ１３２を生成する。

ＣＰＵ１１は、視認領域４１の内部に表示位置が定められている仮想画像３０を表示部１４に表示させる。ＣＰＵ１１は、仮想画像データ１３２に含まれる表示位置の情報に基づいて視認領域４１の内部に表示位置が定められている仮想画像３０を特定し、その時点における視認領域４１と、特定された仮想画像３０の表示位置との位置関係に基づいて、表示部１４に表示させる表示画面の画像データを生成する。ＣＰＵ１１は、この画像データに基づいてレーザースキャナー１４２にスキャン動作を行わせ、バイザー１４１の表示面に、特定された仮想画像３０を含む表示画面を形成させる。すなわち、ＣＰＵ１１は、バイザー１４１を通して視認される空間４０に仮想画像３０が視認されるように、仮想画像３０をバイザー１４１の表示面に表示させる。ＣＰＵ１１は、この表示制御処理を連続して行うことで、ユーザの動き（視認領域４１の変化）に合わせて表示部１４による表示内容をリアルタイムで更新する。ウェアラブル端末装置１０が電源オフ状態となっても仮想画像データ１３２が保持される設定となっている場合には、次にウェアラブル端末装置１０が起動したときには、既存の仮想画像データ１３２が読み込まれ、視認領域４１の内部に位置する仮想画像３０があれば表示部１４に表示される。

なお、通信部１６を介して外部機器から取得した指示データに基づいて仮想画像データ１３２を生成し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。あるいは、通信部１６を介して外部機器から仮想画像データ１３２そのものを取得し、当該仮想画像データ１３２に基づいて仮想画像３０を表示させてもよい。例えば、遠隔指示者が操作する外部機器にウェアラブル端末装置１０のカメラ１５４の映像を表示させるとともに、外部機器から仮想画像３０を表示する指示を受け付け、指示された仮想画像３０をウェアラブル端末装置１０の表示部１４に表示させてもよい。これにより、例えば、作業対象物の近傍に作業内容を示す仮想画像３０を表示させて、遠隔指示者からウェアラブル端末装置１０のユーザに対して作業を指示するといった動作が可能となる。

ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出し、検出した方向に延びる仮想線５１と、ポインタ５２とを表示部１４に表示させる。また、ＣＰＵ１１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）のジェスチャーを検出し、検出したジェスチャーの内容と、その時点におけるポインタ５２の位置とに応じた処理を実行する。

次に、視認領域４１の内部にウィンドウ画面の仮想画像３０があるときのウェアラブル端末装置１０の動作について説明する。

上述のとおり、通常、ウィンドウ画面の仮想画像３０の裏面３０Ｂには情報が表示されないため、視認領域４１の内部に、表面３０Ａが視認できない状態すなわち裏面３０Ｂがユーザと対向する方向を向いた状態の仮想画像３０が表示されている場合、この仮想画像３０が何を示すものであるか認識することができない。そのため、仮想画像３０の表面３０Ａに表示されている情報を確認しようとした場合、当該仮想画像３０の表側に回り込む必要があり不便であった。そこで、従来、仮想画像３０の表側に回り込むことなく表面３０Ａに表示されている情報を視認することを目的として、仮想画像３０の裏面３０Ｂの所定領域、具体的には表面３０Ａの機能バー３１が表示される領域に対応する領域にポインタ５２を合わせた状態で所定のジェスチャーを行うことで、当該仮想画像３０の表面３０Ａと裏面３０Ｂとを反転させる技術が開示されている。しかしながら、この技術では、上記の所定領域が小さく当該所定領域にポインタ５２を合わせ難いため、上述した仮想画像３０の表面３０Ａと裏面３０Ｂとを反転させるための操作を行い難いという問題がある。特に、視認領域４１の奥の方に仮想画像３０が存する場合、当該仮想画像３０のサイズが小さくなるため、上記の問題が顕著となる。

そこで、本実施形態のウェアラブル端末装置１０のＣＰＵ１１は、ユーザにとってウィンドウ画面の仮想画像３０の表面３０Ａと裏面３０Ｂのどちらが視認し易い状態かを判定する。そして、裏面３０Ｂが視認し易い状態と判定された場合、ＣＰＵ１１は、当該仮想画像３０の裏面３０Ｂに当該仮想画像３０の表面３０Ａの画像を表示させる。これにより、ユーザが仮想画像３０の表側に回り込むことなく、また、当該仮想画像３０の裏面３０Ｂに表面３０Ａの画像を表示させるための操作を行うことなく、当該表面３０Ａに表示されている情報を視認することができる。以下、ウィンドウ画面の仮想画像３０の裏面３０Ｂに表面３０Ａの画像を表示させる制御の例を、図５～図９を参照して説明する。

まず、図５のフローチャートを参照して、本開示の一側面に係る仮想画像表示処理のＣＰＵ１１による制御手順について説明する。図５の仮想画像表示処理は、ユーザにとってウィンドウ画面の仮想画像３０の裏面３０Ｂが視認し易い状態であると判定された場合に当該仮想画像３０の裏面３０Ｂに表面３０Ａの画像を表示させる特徴を少なくとも含むものである。

図５に示す仮想画像表示処理が開始されると、ＣＰＵ１１は、ユーザの位置および向きに基づいて視認領域４１を検出する（ステップＳ１０１）。

次いで、ＣＰＵ１１は、検出した視認領域４１の内部に表示位置が定められている仮想画像３０があるか否かを判別する（ステップＳ１０２）。

ステップＳ１０２において、検出した視認領域４１の内部に表示位置が定められている仮想画像３０がないと判別された場合（ステップＳ１０２；ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０８に進める。

また、ステップＳ１０２において、検出した視認領域４１の内部に表示位置が定められている仮想画像３０があると判別された場合（ステップＳ１０２；ＹＥＳ）、ＣＰＵ１１は、当該仮想画像３０を表示部１４に表示させる（ステップＳ１０３）。

次いで、ＣＰＵ１１は、表示部１４に表示された仮想画像３０のなかに所定の厚み以下の仮想画像３０があるか、すなわちウィンドウ画面の仮想画像３０があるか否かを判別する（ステップＳ１０４）。

ステップＳ１０４において、表示部１４に表示された仮想画像３０のなかに所定の厚み以下の仮想画像３０がないと判別された場合（ステップＳ１０４；ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０８に進める。つまり、所定の厚みを超える立体形状の仮想画像３０については、後述するステップＳ１０６の処理をスキップすることで、当該仮想画像３０の裏面（背面）に表面（正面）の画像を表示させないようにしている。立体形状の仮想画像３０（例えば、車の仮想画像等）の場合、ユーザが当該仮想画像３０の背面側を視認したい場合があるためである。

また、ステップＳ１０４において、表示部１４に表示された仮想画像３０のなかに所定の厚み以下の仮想画像３０すなわちウィンドウ画面の仮想画像３０があると判別された場合（ステップＳ１０４；ＹＥＳ）、ＣＰＵ１１は、ユーザにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態にあるか否かを判別する（ステップＳ１０５）。

ここで、ユーザにとってウィンドウ画面の仮想画像３０の表面３０Ａと裏面３０Ｂのどちらが視認し易い状態にあるかの判定方法について説明する。

第１の判定方法としては、例えば、図６に示すように、ユーザＵがウィンドウ画面の仮想画像３０の表面３０Ａと対向する位置に存する場合であって、アイトラッカー１５５により検出されるユーザＵの視線と当該仮想画像３０との交わる箇所が当該仮想画像３０の表面３０Ａ側である場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の表面３０Ａが視認し易い状態であると判定する。一方、例えば、ユーザＵが当該仮想画像３０の表面３０Ａの側から裏面３０Ｂの側へ回り込み、アイトラッカー１５５により検出されるユーザＵの視線と当該仮想画像３０との交わる箇所が当該仮想画像３０の裏面３０Ｂの側となった場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態であると判定する。これにより、当該判定を正確に行うことができる。
なお、判定方法は、上記の方法に限定されるものではなく、下記の第２の判定方法や第３の判定方法を採用してもよい。

第２の判定方法としては、例えば、図７に示すように、ユーザＵがウィンドウ画面の仮想画像３０の表面３０Ａと対向する位置に存する場合であって、ユーザが手を伸ばした方向に延びる仮想線５１と当該仮想画像３０との交わる箇所が当該仮想画像３０の表面３０Ａの側である場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の表面３０Ａが視認し易い状態であると判定する。一方、例えば、ユーザＵが当該仮想画像３０の表面３０Ａの側から裏面３０Ｂの側へ回り込み、ユーザＵが手を伸ばした方向に延びる仮想線５１と当該仮想画像３０との交わる箇所が当該仮想画像３０の裏面３０Ｂの側となった場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態であると判定する。これにより、当該判定を正確に行うことができる。

また、第３の判定方法としては、例えば、図８に示すように、ユーザＵがウィンドウ画面の仮想画像３０の表面３０Ａと対向する位置に存する場合、すなわち表面３０Ａと裏面３０Ｂとの境界を基準としてユーザＵが表面３０Ａの側に位置する場合、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の表面３０Ａが視認し易い状態であると判定する。一方、例えば、当該仮想画像３０の境界を跨いで表面３０Ａの側から裏面３０Ｂの側へ移動したことにより、ユーザＵが当該境界を基準として裏面３０Ｂの側に位置するようになった場合、ユーザＵが当該仮想画像３０の裏面３０Ｂを視認しているか否かに関わらず、ＣＰＵ１１は、ユーザＵにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態であると判定する。これにより、当該判定を正確に行うことができる。

仮想画像表示処理の制御手順の説明に戻り、ステップＳ１０５において、ユーザにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態にないと判別された場合（ステップＳ１０５；ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０８に進める。

また、ステップＳ１０５において、ユーザにとって当該仮想画像３０の裏面３０Ｂが視認し易い状態にあると判別された場合（ステップＳ１０５；ＹＥＳ）、ＣＰＵ１１は、所定の不許可条件を満たすか否かを判定する（ステップＳ１０６）。

ここで、所定の不許可条件とは、例えば、図９に示すように、裏面３０Ｂが視認し易い状態にあると判別された仮想画像３０が空間４０内に実在する壁から所定の距離以内の位置に存すること、または、表面３０Ａと裏面３０Ｂとの境界を基準として裏面３０Ｂの側に位置するユーザＵと当該仮想画像３０との間に当該仮想画像３０の視認を遮る障害物（例えば、壁等）があること、の少なくともいずれかが成立することである。上記の不許可条件に登場する所定の距離とは、ユーザＵが上記仮想画像３０と上記の壁との間に入り込むことができない程度の距離であるものとする。
なお、ウィンドウ画面の仮想画像３０は、ユーザの所定の操作に応じて、当該仮想画像３０の裏面３０Ｂへの当該仮想画像３０の表面３０Ａの画像の表示を許可する第１の態様と、当該表示を不許可とする第２の態様と、のいずれかの態様に設定することができるようにしてもよく、かかる場合、裏面３０Ｂが視認し易い状態にあると判別された仮想画像３０が第２の態様に設定されていることを上記の不許可条件に含むようにする。

ステップＳ１０６において、所定の不許可条件を満たすと判別された場合（ステップＳ１０６；ＹＥＳ）、ＣＰＵ１１は、処理をステップＳ１０８に進める。したがって、上記のように裏面３０Ｂが視認し易い状態にあると判別された仮想画像３０が空間４０内に実在する壁から所定の距離以内の位置に存する場合や、表面３０Ａと裏面３０Ｂとの境界を基準として裏面３０Ｂの側に位置するユーザＵと当該仮想画像３０との間に当該仮想画像３０の視認を遮る障害物（例えば、壁等）がある場合、所定の不許可条件を満たすこととなり、当該仮想画像３０の裏面３０Ｂに表面３０Ａの画像が表示されない。

また、ステップＳ１０６において、所定の不許可条件を満たさないと判別された場合（ステップＳ１０６；ＮＯ）、ＣＰＵ１１は、裏面３０Ｂが視認し易い状態にある仮想画像３０の当該裏面３０Ｂに表面３０Ａの画像を表示させる（ステップＳ１０７）。
なお、ステップＳ１０７の処理では、上記仮想画像３０の裏面３０Ｂに表面３０Ａの画像を表示させる際に、表面３０Ａに裏面３０Ｂの画像を表示させる、すなわち上記仮想画像３０の表面３０Ａの画像と裏面３０Ｂの画像とを入れ替えて表示するようにしてもよい。
かかる場合、上記の入れ替え表示がなされた後、ユーザが上記仮想画像３０の表側に回り込むことによって、当該仮想画像３０の表面３０Ａが視認し易い状態にあると判別された場合、ＣＰＵ１１は、再度、上記仮想画像３０の表面３０Ａの画像と裏面３０Ｂの画像とを入れ替えて表示するようにしてもよい。

次いで、ＣＰＵ１１は、ウェアラブル端末装置１０による表示動作を終了させる指示がなされたか否かを判別する（ステップＳ１０８）。

ステップＳ１０８において、ウェアラブル端末装置１０による表示動作を終了させる指示がなされていないと判別された場合（ステップＳ１０８；ＮＯ）、ＣＰＵ１１は、処理をステップＳ１０１に戻し、それ以降の処理を繰り返し行う。

また、ステップＳ１０８において、ウェアラブル端末装置１０による表示動作を終了させる指示がなされたと判別された場合（ステップＳ１０８；ＹＥＳ）、ＣＰＵ１１は、仮想画像表示処理を終了させる。

〔第２の実施形態〕
次に、第２の実施形態に係る表示システム１の構成について説明する。第２の実施形態は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の一部を外部の情報処理装置２０が実行する点で第１の実施形態と異なる。以下では、第１の実施形態との相違点について説明し、共通する点については説明を省略する。

図１０に示すように、表示システム１は、ウェアラブル端末装置１０と、当該ウェアラブル端末装置１０に通信接続された情報処理装置２０（サーバ）とを備える。ウェアラブル端末装置１０と情報処理装置２０との間の通信経路の少なくとも一部は、無線通信によるものであってもよい。ウェアラブル端末装置１０のハードウェア構成は、第１の実施形態と同様とすることができるが、情報処理装置２０が実行する処理と同一の処理を行うためのプロセッサは省略してもよい。

図１１に示すように、情報処理装置２０は、ＣＰＵ２１と、ＲＡＭ２２と、記憶部２３と、操作表示部２４と、通信部２５などを備え、これらの各部はバス２６により接続されている。

ＣＰＵ２１は、各種演算処理を行い、情報処理装置２０の各部の動作を統括制御するプロセッサである。ＣＰＵ２１は、記憶部２３に記憶されたプログラム２３１を読み出して実行することで、各種制御動作を行う。

ＲＡＭ２２は、ＣＰＵ２１に作業用のメモリ空間を提供し、一時データを記憶する。

記憶部２３は、コンピュータとしてのＣＰＵ２１により読み取り可能な非一時的な記録媒体である。記憶部２３は、ＣＰＵ２１により実行されるプログラム２３１、および各種設定データなどを記憶する。プログラム２３１は、コンピュータ読み取り可能なプログラムコードの形態で記憶部２３に格納されている。記憶部２３としては、例えばフラッシュメモリを備えたＳＳＤ、またはＨＤＤ（Hard Disk Drive）などの不揮発性の記憶装置が用いられる。

操作表示部２４は、液晶ディスプレイ等の表示装置と、マウスおよびキーボードといった入力装置とを備える。操作表示部２４は、表示装置において表示システム１の動作ステータスや処理結果等の各種表示を行う。ここで、表示システム１の動作ステータスには、ウェアラブル端末装置１０のカメラ１５４によるリアルタイムの撮影画像が含まれてもよい。また、操作表示部２４は、入力装置に対するユーザの入力操作を操作信号に変換してＣＰＵ２１に出力する。

通信部２５は、ウェアラブル端末装置１０と通信を行ってデータを送受信する。例えば、通信部２５は、ウェアラブル端末装置１０のセンサー部１５による検出結果の一部または全部を含むデータ、およびウェアラブル端末装置１０が検出したユーザの操作（ジェスチャー）に係る情報などを受信する。また、通信部２５は、ウェアラブル端末装置１０以外の他の装置との通信が可能であってもよい。

このような構成の表示システム１において、情報処理装置２０のＣＰＵ２１は、第１の実施形態においてウェアラブル端末装置１０のＣＰＵ１１が実行していた処理の少なくとも一部を実行する。例えば、ＣＰＵ２１は、深度センサー１５３による検出結果に基づいて空間４０の３次元マッピングを行ってもよい。また、ＣＰＵ２１は、センサー部１５の各部による検出結果に基づいて空間４０内におけるユーザの視認領域４１を検出してもよい。また、ＣＰＵ２１は、ウェアラブル端末装置１０のユーザの操作に応じて仮想画像３０に係る仮想画像データ１３２を生成してもよい。また、ＣＰＵ２１は、深度センサー１５３およびカメラ１５４による撮像画像に基づいてユーザの手（および／または指）の位置および向きを検出してもよい。

ＣＰＵ２１による上記の処理結果は、通信部２５を介してウェアラブル端末装置１０に送信される。ウェアラブル端末装置１０のＣＰＵ１１は、受信した処理結果に基づいてウェアラブル端末装置１０の各部（例えば表示部１４）を動作させる。また、ＣＰＵ２１は、ウェアラブル端末装置１０に制御信号を送信して、ウェアラブル端末装置１０の表示部１４の表示制御を行ってもよい。

このように、情報処理装置２０において処理の少なくとも一部を実行することで、ウェアラブル端末装置１０の装置構成を簡素化することができ、また製造コストを低減することができる。また、より高性能な情報処理装置２０を用いることで、ＭＲに係る各種の処理を高速化および高精度化することができる。よって、空間４０の３Ｄマッピングの精度を高めたり、表示部１４による表示品質を高めたり、ユーザの動作に対する表示部１４の反応速度を高めたりすることができる。

〔その他〕
なお、上記実施形態は例示であり、様々な変更が可能である。
例えば、上記の各実施形態では、ユーザに現実空間を視認させるために、光透過性を有するバイザー１４１を用いたが、これに限られない。例えば、遮光性を有するバイザー１４１を用い、カメラ１５４により撮影された空間４０の画像をユーザに視認させてもよい。すなわち、ＣＰＵ１１は、カメラ１５４により撮影された空間４０の画像、および当該空間４０の画像に重ねられた仮想画像３０を表示部１４に表示させてもよい。このような構成によっても、現実空間に仮想画像３０を融合させるＭＲを実現できる。

また、カメラ１５４による現実空間の撮影画像に代えて、予め生成された仮想空間の画像を用いることで、仮想空間にいるように体感させるＶＲを実現できる。このＶＲにおいても、ユーザの視認領域４１が特定されて、仮想空間のうち視認領域４１の内部に表示位置が定められている仮想画像３０が表示される。

ウェアラブル端末装置１０は、図１に例示した環状の本体部１０ａを有するものに限られず、装着時にユーザが視認可能な表示部を有していれば、どのような構造であってもよい。例えば、ヘルメットのように頭部全体を覆う構成であってもよい。また、メガネのように、耳に掛けるフレームを有し、フレーム内に各種機器が内蔵されていてもよい。

ユーザのジェスチャーを検出して入力操作として受け付ける例を用いて説明したが、これに限られない。例えば、ユーザが手に持ったり、体に装着したりして使用するコントローラにより入力操作が受け付けられてもよい。

上記実施形態では、ウィンドウ画面の仮想画像３０を表示部１４に表示させる際に、表示当初の表面３０Ａおよび裏面３０Ｂを識別可能な態様で表示させるようにしてもよい。

上記実施形態では、仮想画像表示処理のステップＳ１０７の処理において、ウィンドウ画面の仮想画像３０の裏面３０Ｂに表面３０Ａの画像を表示させるようにしたが、例えば、ユーザが当該表面３０Ａの画像を確認することができた場合などに、ユーザの所定の操作に応じて、当該仮想画像３０の表示態様を元の状態に戻すことができるようにしてもよい。

複数のユーザがそれぞれウェアラブル端末装置１０を装着して互いに同一の仮想画像３０（ウィンドウ画面の仮想画像３０）を同時に視認する場合にあっては、ＣＰＵ１１は、通信部１６を介して、他のユーザにとって当該仮想画像３０の表面３０Ａと裏面３０Ｂのどちらが視認し易い状態かを示す判定結果情報を当該他のユーザが使用しているウェアラブル端末装置１０から取得するようにし、当該仮想画像３０の裏面３０Ｂが視認し易い状態とする判定結果情報を当該他のユーザが使用しているウェアラブル端末装置１０から取得するまでの間は、当該仮想画像３０の裏面３０Ｂへの当該仮想画像３０の表面３０Ａの画像の表示を行わないようにしてもよい。そして、ＣＰＵ１１は、上記の判定結果情報に基づいて、自装置１０のユーザを含む上記複数のユーザ全員が上記仮想画像３０の裏面３０Ｂが視認し易い状態にあると判別した場合、当該仮想画像３０の裏面３０Ｂへの当該仮想画像３０の表面３０Ａの画像の表示を行うようにしてもよい。なお、上記複数のユーザそれぞれの位置情報を取得可能である場合にあっては、ＣＰＵ１１は、当該位置情報に基づいて、上記複数のユーザ全員が所定の位置に集合したと判定するとともに、上記仮想画像３０の裏面３０Ｂへの当該仮想画像３０の表面３０Ａの画像の表示を行う必要が生じた場合に、当該表示を行うようにしてもよい。

上記実施形態では、ウェアラブル端末装置１０は、上記の第１、第２、第３の判別方法等により、ユーザにとって仮想画像３０の裏面３０Ｂが視認し易い状態と判定された場合、裏面３０Ｂに表面３０Ａの画像を表示させるが、このとき仮想画像３０がユーザにとって必ずしも視認し易い向きとなっているとは限らない。そのため、ウェアラブル端末装置１０は、裏面３０Ｂに表面３０Ａの画像を表示させるのと併せて、又は裏面３０Ｂに表面３０Ａの画像を表示させたことに続いて、仮想画像３０の向きを変更してもよい。例えば、ウェアラブル端末装置１０は、仮想画像３０とユーザとをつなぐ仮想線が該仮想画像３０と略直交するように、該仮想画像３０の向きを変更してもよい。また、ウェアラブル端末装置１０は、ユーザの視線が仮想画像３０と略直交するように、該仮想画像３０の向きを変更してもよい。これにより、ユーザが仮想画像３０の表側に回り込むことなく、また、当該仮想画像３０の裏面３０Ｂに表面３０Ａの画像を表示させるための操作を行うことなく、当該表面３０Ａに表示されている情報を、視認し易い向きで視認できる。

その他、上記実施の形態で示した構成および制御の具体的な細部は、本開示の趣旨を逸脱しない範囲において適宜変更可能である。また、本開示の趣旨を逸脱しない範囲において、上記実施の形態で示した構成および制御を適宜組み合わせ可能である。

本開示は、ウェアラブル端末装置、プログラムおよび表示方法に利用することができる。

１ 表示システム
１０ ウェアラブル端末装置
１０ａ 本体部
１１ ＣＰＵ（プロセッサ）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 仮想画像データ
１４ 表示部
１４１ バイザー（表示部材）
１４２ レーザースキャナー
１５ センサー部
１５１ 加速度センサー
１５２ 角速度センサー
１５３ 深度センサー
１５４ カメラ
１５５ アイトラッカー（視線検出部）
１６ 通信部
１７ バス
２０ 情報処理装置
２１ ＣＰＵ
２２ ＲＡＭ
２３ 記憶部
２３１ プログラム
２４ 操作表示部
２５ 通信部
２６ バス
３０ 仮想画像
３０Ａ 表面
３０Ｂ 裏面
３１ 機能バー
３２ ウィンドウ形状変更ボタン
３３ クローズボタン
４０ 空間
４１ 視認領域
５１ 仮想線
５２ ポインタ
Ｕ ユーザ

Claims (13)

1. ユーザが装着して使用するウェアラブル端末装置であって、
   少なくとも一つのプロセッサを備え、
   前記少なくとも一つのプロセッサは、
   空間内の所定位置に配置し、第１の面と前記第１の面と反対側の第２の面とを有する仮想画像を表示部に表示させ、
   前記ユーザにとって前記第１の面と前記第２の面のどちらが視認し易い状態かを判定し、
   前記第２の面が視認し易い状態と判定された場合、前記仮想画像の第２の面に当該仮想画像の第１の面の画像を表示させる、ウェアラブル端末装置。
2. 前記表示部は、光透過性を有する表示部材を備え、
   前記少なくとも一つのプロセッサは、前記表示部材を通して視認される前記空間に前記仮想画像が視認されるように、前記仮想画像を前記表示部材の表示面に表示させる、請求項１に記載のウェアラブル端末装置。
3. 前記空間を撮影するカメラを備え、
   前記少なくとも一つのプロセッサは、前記カメラにより撮影された前記空間の画像、および当該空間の画像に重ねられた前記仮想画像を前記表示部に表示させる、請求項１に記載のウェアラブル端末装置。
4. 前記ユーザの視線を検出する視線検出部を備え、
   前記少なくとも一つのプロセッサは、前記視線検出部により検出された前記視線と前記仮想画像との交わる箇所が当該仮想画像の前記第２の面側である場合、前記第２の面が視認し易い状態と判定する、請求項１～３のいずれか一項に記載のウェアラブル端末装置。
5. 前記少なくとも一つのプロセッサは、
   前記表示部の前記ユーザの手が伸びる方向に仮想線を表示可能であり、
   前記仮想線と前記仮想画像との交わる箇所が当該仮想画像の前記第２の面側である場合、前記第２の面が視認し易い状態と判定する、請求項１～４のいずれか一項に記載のウェアラブル端末装置。
6. 前記少なくとも一つのプロセッサは、前記第１の面と前記第２の面との境界を基準として前記ユーザが前記第２の面の側に位置する場合、前記第２の面が視認し易い状態と判定する、請求項１～５のいずれか一項に記載のウェアラブル端末装置。
7. 前記少なくとも一つのプロセッサは、前記第２の面の側に位置する前記ユーザと前記仮想画像との間に当該仮想画像の視認を遮る障害物が存する場合、当該仮想画像の第２の面への当該仮想画像の第１の面の画像の表示を不可とする、請求項６に記載のウェアラブル端末装置。
8. 前記仮想画像は、当該仮想画像の第２の面への当該仮想画像の第１の面の画像の表示を許可する第１の態様と、当該表示を不許可とする第２の態様と、のいずれかの態様に設定可能である、請求項１～７のいずれか一項に記載のウェアラブル端末装置。
9. 前記少なくとも一つのプロセッサは、前記仮想画像が所定の厚み以下のオブジェクトである場合、当該仮想画像の第２の面への当該仮想画像の第１の面の画像の表示を可能とする一方で、前記仮想画像が前記所定の厚みを超えるオブジェクトである場合、当該仮想画像の第２の面への当該仮想画像の第１の面の画像の表示を不可とする、請求項１～８のいずれか一項に記載のウェアラブル端末装置。
10. 前記少なくとも一つのプロセッサは、
    他のウェアラブル端末装置を装着して使用する他のユーザにとって前記第１の面と前記第２の面のどちらが視認し易い状態かを示す判定結果情報を当該他のウェアラブル端末装置から取得し、
    前記ユーザと前記他のユーザとが同一の仮想画像を同時に視認する場合、当該他のユーザにとって当該仮想画像の第２の面が視認し易い状態とする前記判定結果情報を取得するまでの間は、当該仮想画像の第２の面への当該仮想画像の第１の面の画像の表示を不可とする、請求項１～９のいずれか一項に記載のウェアラブル端末装置。
11. 前記少なくとも一つのプロセッサは、前記仮想画像が現実空間の壁から所定の距離以内の位置に存する場合、当該仮想画像の第２の面への当該仮想画像の第１の面の画像の表示を不可とする、請求項１～１０のいずれか一項に記載のウェアラブル端末装置。
12. ユーザが装着して使用するウェアラブル端末装置に設けられたコンピュータに、
    空間内の所定位置に配置し、第１の面と前記第１の面と反対側の第２の面とを有する仮想画像を表示部に表示させる処理、
    前記ユーザにとって前記第１の面と前記第２の面のどちらが視認し易い状態かを判定する処理、
    前記第２の面が視認し易い状態と判定された場合、前記仮想画像の第２の面に当該仮想画像の第１の面の画像を表示させる処理、
    を実行させる、プログラム。
13. ユーザが装着して使用するウェアラブル端末装置における表示方法であって、
    空間内の所定位置に配置し、第１の面と前記第１の面と反対側の第２の面とを有する仮想画像を表示部に表示させ、
    前記ユーザにとって前記第１の面と前記第２の面のどちらが視認し易い状態かを判定し、
    前記第２の面が視認し易い状態と判定された場合、前記仮想画像の第２の面に当該仮想画像の第１の面の画像を表示させる、表示方法。

Images