JP5423716B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、作業中のユーザに作業内容を把握させることができるヘッドマウントディスプレイに関する。

従来、ユーザの頭部に装着されるヘッドマウントディスプレイを用いて作業中のユーザの作業効率を向上させる技術が知られている。例えば、特許文献１が開示しているヘッドマウントディスプレイは、ユーザの視野方向を撮影するＣＣＤセンサを備える。作業対象（例えば、車）に設けられたバーコードをＣＣＤセンサが撮影すると、ヘッドマウントディスプレイは、撮影したバーコードに対応した画像（例えば、車の内部画像）を表示する。その結果、ユーザは、通常の視野では視認できない画像を視認しながら作業を行うことができる。また、特許文献２が開示しているヘッドマウントディスプレイは、作業手順を表示することでユーザの作業効率の向上を図っている。

特開２０１０−２００２０９号公報 特開２００４−１０１３７２号公報

従来の技術では、ユーザは自分の作業対象・作業手順を確認することはできるが、同時に作業を行っている他のユーザの作業状況をヘッドマウントディスプレイによって確認することはできない。従って、次に行う作業を選択する際に、他のユーザの作業の遅れ等を考慮して最適な判断を行うためには、各ユーザは他のユーザとの会話等を通じて作業状況を自ら確認する必要があった。つまり、複数のユーザが作業を行っている場合に、各ユーザに他のユーザの作業状況を容易に把握させて作業全体の効率を向上させることは、従来の技術では困難であった。

本発明は、複数のユーザが作業を行っている場合に、各ユーザに他のユーザの作業状況を容易に把握させて作業全体の効率を向上させることができるヘッドマウントディスプレイを提供することを目的とする。

本発明のヘッドマウントディスプレイは、ユーザの頭部に装着され、前記ユーザの目に画像を表示する表示手段を有する複数のヘッドマウントディスプレイと、前記複数のヘッドマウントディスプレイの各々との間でデータを送受信することが可能なサーバとを備えた画像表示システムで用いられる前記ヘッドマウントディスプレイであって、前記ユーザが作業を実行する際に視認する作業用コンテンツのリストのデータを前記サーバから取得するリスト取得手段と、前記リスト取得手段によって取得されたデータに従って前記リストを前記表示手段に表示させるリスト表示手段と、前記リスト表示手段によって表示された前記リスト中の作業用コンテンツを選択するための前記ユーザからの指示を受け付ける指示受付手段と、前記指示受付手段によって指示が受け付けられた場合に、前記指示によって選択された作業用コンテンツを前記表示手段に表示させる作業用コンテンツ表示手段と、前記作業用コンテンツ表示手段によって前記表示手段に表示されている作業用コンテンツの表示状況を前記サーバに通知する表示状況通知手段と、前記ユーザの視野方向を撮影する撮影手段から画像データを取得する画像取得手段と、前記画像取得手段によって取得された画像データから、前記視野方向に存在するヘッドマウントディスプレイを識別する識別手段と、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を示すデータを前記サーバから取得する状況取得手段と、前記状況取得手段によって取得されたデータに従って、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を前記表示手段に表示させる状況表示手段とを備える。

本発明のヘッドマウントディスプレイは、ユーザによって選択された作業用コンテンツを表示する際に、表示状況をサーバに通知する。さらに、ヘッドマウントディスプレイは、ユーザの視野方向に存在する他のヘッドマウントディスプレイを識別する。識別したヘッドマウントディスプレイにおける作業用コンテンツの表示状況を、サーバから取得したデータに従って表示する。従って、各ユーザは自分が選択した作業用コンテンツを確認できるだけでなく、視野方向にあるヘッドマウントディスプレイの表示状況を容易に把握することができる。ユーザは、視野方向にあるヘッドマウントディスプレイの表示状況を把握することで、他のユーザの作業状況を把握できる。よって、ヘッドマウントディスプレイは、複数のユーザが作業を行っている場合に作業全体の効率を向上させることができる。

前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示中の作業用コンテンツが示す作業の進捗状況を前記表示手段に表示させてもよい。この場合、ユーザは、他のユーザの作業の進捗状況を容易に把握して的確な判断を行うことができる。その結果、作業全体の効率がさらに向上する。

前記状況取得手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示されている作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータを、作業の進捗状況を示すデータとして前記サーバから取得してもよい。ヘッドマウントディスプレイは、ページ数の情報または動画の進行割合を示す情報に応じて、作業の進捗状況を的確に表示することができる。

前記状況表示手段は、前記状況取得手段によって取得されたデータであり、作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータに従って、作業の進捗状況を表示してもよい。ユーザは、他のユーザの作業の進捗状況を、ページ数の情報または動画の進行割合を示す情報に応じたデータによって詳細に把握することができる。

前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイにおいて表示される全ての作業用コンテンツにおける表示中の作業用コンテンツを示す一覧画像を、作業の進捗状況として表示してもよい。この場合、ユーザは、実行されるべき全ての作業のうちどれだけの作業を他のユーザが完了させたのかを容易に把握することができる。

前記ヘッドマウントディスプレイは、前記作業用コンテンツ表示手段によって作業用コンテンツが前記表示手段に表示されているか否かを判断する表示判断手段と、前記表示判断手段の判断結果に応じて、前記画像取得手段によって取得された画像データに対する処理を切り替える処理切替手段とをさらに備えてもよい。前記処理切替手段は、前記表示判断手段によって作業用コンテンツが表示されていると判断された場合には、前記画像取得手段によって取得された視野方向の画像の画像データを前記サーバに送信する処理を実行し、前記表示判断手段によって作業用コンテンツが表示されていないと判断された場合には、前記識別手段によるヘッドマウントディスプレイの識別処理を実行してもよい。

作業用コンテンツが表示手段に表示されている場合、ユーザは作業中である。作業用コンテンツが表示されていない場合、ユーザは次に行う作業を選択する必要がある。ヘッドマウントディスプレイは、作業用コンテンツが表示されているか否かに応じて画像データに対する処理を切り替えることで、ユーザの状況に応じた適切な処理を行うことができる。詳細には、ヘッドマウントディスプレイは、ユーザが作業中であれば、ユーザの視野方向の画像をサーバに送信する。その結果、他のユーザに視野方向の画像を確認させることができる。一方、ユーザが次に行う作業を選択する場合には、他のヘッドマウントディスプレイを識別して作業の進捗状況をユーザに把握させることができる。従って、無駄な処理が実行されることを防止しユーザの状況に応じた適切な処理を行うことができる。

前記ヘッドマウントディスプレイは、前記識別手段によって識別されたヘッドマウントディスプレイから前記サーバに送信された画像データを前記サーバから取得する送信画像取得手段をさらに備えてもよい。前記状況表示手段は、前記送信画像取得手段によって取得された画像データに従って、前記識別手段によって識別されたヘッドマウントディスプレイの視野方向の画像を前記表示手段に表示させてもよい。この場合、ユーザは他のユーザの視野方向の画像を確認することで、他のユーザの作業の進捗状況をより容易に把握することができる。

各ユーザが装着する装着物には識別情報が付されていてもよい。前記識別手段は、前記画像データに含まれる識別情報を用いてヘッドマウントディスプレイを識別してもよい。ヘッドマウントディスプレイは、識別情報を用いることで、他のヘッドマウントディスプレイを容易且つ確実に識別することができる。

画像表示システム１００のシステム構成を示す図である。 ヘッドマウントディスプレイ１の斜視図である。 ヘッドマウントディスプレイ１の電気的構成を示すブロック図である。 制御装置３３の電気的構成を示すブロック図である。 サーバ６の電気的構成を示すブロック図である。 サーバ６のＨＤＤ６４に記憶される表示状況管理データのデータ構成を説明するための説明図である。 サーバ６が実行するサーバ処理のフローチャートである。 ヘッドマウントディスプレイ１が実行する作業中処理のフローチャートである。 リスト画像７１の一例を示す図である。 作業用コンテンツ７５の一例を示す図である。 撮影画像表示部８７を含む状況画像８１の一例を示す図である。 撮影画像を含まない状況画像９１の一例を示す図である。

以下、本発明を具現化した一実施の形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。

図１を参照して、本実施の形態に係る画像表示システム１００の全体構成について説明する。画像表示システム１００は、作業中のユーザの作業効率を向上させるための各種画像をユーザに視認させるシステムである。画像表示システム１００は、複数のヘッドマウントディスプレイ１と、サーバ６とを備える。ヘッドマウントディスプレイ１およびサーバ６の各々はネットワーク８に接続している。

ヘッドマウントディスプレイ１は、画像表示システム１００を利用するユーザが頭部に装着する画像表示装置である。ヘッドマウントディスプレイ１は、画像信号に応じて変調されたレーザ光を走査させて画像光として射出し、ユーザの少なくとも一方の眼の網膜に画像を直接投影する網膜走査型ディスプレイである。しかし、本発明が適用できるのは、網膜走査型のヘッドマウントディスプレイに限られない。例えば、ユーザの眼の前方に位置するレンズ上に画像を投影するスクリーン型のヘッドマウントディスプレイにも、本発明は適用できる。ユーザは、ヘッドマウントディスプレイ１が表示した画像と実際の視界とを共に視認することができる。

ヘッドマウントディスプレイ１は、作業用コンテンツを表示することができる。作業用コンテンツは、ユーザが作業を実行する際に視認するコンテンツであり、作業対象・作業手順等を示す文章、図面、写真、グラフ等からなる。ユーザは、作業用コンテンツを視認しながら作業を行うことで効率よく作業を進めることができる。ヘッドマウントディスプレイ１は、ネットワーク８を介してサーバ６から作業用コンテンツのリストのデータを取得し、リストを表示する。ユーザは、表示されたリストに含まれる作業用コンテンツのうち、実行する作業の作業用コンテンツを選択する。ヘッドマウントディスプレイ１は、選択された作業用コンテンツを表示する。その結果、ユーザは、実行する作業の作業用コンテンツを容易に選択して視認することができる。なお、ヘッドマウントディスプレイ１で表示されるリストでは、各作業について、未着手、完了済、および着手中のいずれであるかが明示される。作業が着手中の場合、作業に着手しているユーザが明示される（図９参照）。

さらに、ヘッドマウントディスプレイ１は、ユーザの視野方向に存在する他のヘッドマウントディスプレイ１を識別することができる。ヘッドマウントディスプレイ１は、識別した他のヘッドマウントディスプレイ１（以下、「識別機器」という。）における作業用コンテンツの表示状況を示すデータを、ネットワーク８を介してサーバ６から取得する。ヘッドマウントディスプレイ１は、識別機器における作業用コンテンツの表示状況を表示することができる。ユーザは、識別機器における作業用コンテンツの表示状況を認識することで、識別機器を使用しているユーザの作業状況を容易に把握した上で次に行う作業を選択することができる。その結果、複数のユーザによって行われている作業全体の効率が向上する。

サーバ６は、リストのデータ、および作業用コンテンツのデータを各ヘッドマウントディスプレイ１に送信する。さらに、サーバ６は、画像表示システム１００内の全てのヘッドマウントディスプレイ１における作業用コンテンツの表示状況（作業状況）を管理する。ヘッドマウントディスプレイ１が他のヘッドマウントディスプレイ１を識別すると、サーバ６は、識別機器における表示状況を示すデータをヘッドマウントディスプレイ１に送信する。

図２を参照して、ヘッドマウントディスプレイ１の物理的構成について説明する。ヘッドマウントディスプレイ１は眼鏡型の表示装置であり、ユーザの網膜に画像を直接投影して画像を視認させることができる。ヘッドマウントディスプレイ１は、頭部装着部２と、出射装置３と、ハーフミラー４とを少なくとも備える。頭部装着部２は、出射装置３を支持し、且つヘッドマウントディスプレイ１をユーザの頭部に固定する。ハーフミラー４は、出射装置３の光出射口に配置される。

出射装置３は、画像信号に応じた画像光をハーフミラー４に出射する。ハーフミラー４は、出射装置３に対して固定的な位置にある。ハーフミラー４は、出射装置３が出射した画像光をユーザの眼に向かって反射させる。ハーフミラー４は、例えば所定の反射率（例えば５０％）となるように、透明樹脂板に金属薄膜を蒸着することで形成される。その結果、ハーフミラー４は外界からの外光の一部を透過してユーザの眼に導く。つまり、ハーフミラー４は、ユーザの側方から入射した画像光と、外界からの外光とをユーザの眼に入射させる。従って、ユーザは実際の視界と画像光に基づく画像とを視認できる。

出射装置３を備える枠部の正面（図２の紙面左下側）には、カメラ５が設置されている。カメラ５はユーザの視野方向を撮影する。カメラ５はヘッドマウントディスプレイ１に内蔵されている必要は無く、小型のカメラをヘッドマウントディスプレイ１に装着して使用してもよい。

ヘッドマウントディスプレイ１は、ケーブル７によって制御装置３３に接続される。制御装置は小型・軽量の電子機器であり、ボタンおよび十字キー等からなる操作部３８を備える。制御装置は、サーバ６との間の通信、ユーザからの操作入力の受け付け等を行う。

図３を参照して、ヘッドマウントディスプレイ１の電気的構成について説明する。ヘッドマウントディスプレイ１は、制御部１０、ビデオＲＡＭ１４、フォントＲＯＭ１５、およびフラッシュメモリ１６を備える。制御部１０は、ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３を備える。ＣＰＵ１１はヘッドマウントディスプレイ１の制御を司る。ＲＯＭ１２は、後述する作業中処理（図８参照）を実行するための制御プログラムおよび初期値等を記憶している。ＲＡＭ１３は、制御プログラムで使用される各種情報を一時的に記憶する。ビデオＲＡＭ１４、フォントＲＯＭ１５、およびフラッシュメモリ１６は、バスを介して制御部１０と電気的に接続されている。制御部１０は、ビデオＲＡＭ１４、フォントＲＯＭ１５、およびフラッシュメモリ１６に記憶された情報を適宜参照できる。

ヘッドマウントディスプレイ１は、カメラ制御回路１７、充電制御回路１８、および機器接続インタフェイス１９を備える。カメラ制御回路１７はカメラ５を制御する。カメラ制御回路１７は、バスを介して制御部１０と電気的に接続している。従って、制御部１０はカメラ５に撮影を実行させて、カメラ５が撮影した画像データを取得することができる。充電制御回路１８は、ヘッドマウントディスプレイ１を駆動する電源となる電池９に接続し、電池９の充電を制御する。機器接続インタフェイス１９は、ケーブル７（図２参照）を介したデータ通信を制御する。機器接続インタフェイス１９は、バスを介して制御部１０と電気的に接続している。従って、制御部１０は、制御装置３３との間でデータの入出力を行うことができる。

ヘッドマウントディスプレイ１は、ユーザに画像を視認させる表示部２０を備える。表示部２０は、画像信号処理部２１、レーザ群２６、およびレーザドライバ群３０を備える。画像信号処理部２１は、画像信号を制御部１０から受信する。画像信号処理部２１は、受信した画像信号を、ユーザの網膜に直接投影するために必要な各信号に変換する。レーザ群２６は、青色出力レーザ（Ｂレーザ）２７、緑色出力レーザ（Ｇレーザ）２８、赤色出力レーザ（Ｒレーザ）２９を含む。レーザ群２６は、青色、緑色、および赤色のレーザ光を出力する。レーザドライバ群３０は、画像信号処理部２１から入力した信号に応じてレーザ群２６を制御する。

表示部２０は、垂直走査ミラー２２、垂直走査制御回路２３、水平走査ミラー２４、および水平走査制御回路２５を備えている。垂直走査ミラー２２は、レーザ群２６から出力されたレーザ光を垂直方向に反射させることで走査を行う。垂直走査制御回路２３は、画像信号処理部２１から入力した信号に応じて垂直走査ミラー２２の駆動制御を行う。水平走査ミラー２４は、レーザ群２６から出力されたレーザ光を水平方向に反射させることで走査を行う。水平走査制御回路２５は、画像信号処理部２１から入力した信号に応じて水平走査ミラー２４の駆動制御を行う。

画像信号処理部２１は、バスを介して制御部１０と電気的に接続している。従って、画像信号処理部２１は、制御部１０から受信した画像信号に応じた色およびタイミングで、レーザ群２６の各レーザ２７〜２９からレーザ光を出力させることができる。さらに、画像信号処理部２１は、制御部１０から受信した画像信号に応じた方向へレーザ光を反射させることができる。その結果、ヘッドマウントディスプレイ１は、画像信号に応じた光束を２次元方向に走査し、走査した光をユーザの眼に導いて網膜上に画像を形成することができる。

図４を参照して、制御装置３３の電気的構成について説明する。制御装置３３は、ヘッドマウントディスプレイ１をネットワーク８に接続し、且つユーザからの操作入力を受け付ける機器である。制御装置３３では、ＣＰＵ３４、ＲＯＭ３５、ＲＡＭ３６、およびＩ／Ｏインタフェイス４０がバスを介して接続されている。ＣＰＵ３４は、制御装置３３の通信処理等を司る。ＲＯＭ３５は各種制御プログラムおよび初期値等を記憶している。ＲＡＭ３６は情報を一時的に記憶する。Ｉ／Ｏインタフェイス４０には、外部通信インタフェイス３７、操作部３８、および機器接続インタフェイス３９が接続されている。外部通信インタフェイス３７は制御装置３３をネットワーク８に接続する。操作部３８はユーザによって操作され、操作信号をＩ／Ｏインタフェイス４０に出力する。機器接続インタフェイス３９は、ケーブル７を介して制御装置３３をヘッドマウントディスプレイ１に接続する。なお、操作部３８の代わりに、ユーザが発した指示音声を入力するマイクを備えてもよい。この場合、ヘッドマウントディスプレイ１は、マイクから入力された指示音声に対して周知の音声認識処理を実行し、指示内容を判断すればよい。

図５を参照して、サーバ６の電気的構成について説明する。サーバ６では、ＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３がＩ／Ｏインタフェイス６６に接続されている。Ｉ／Ｏインタフェイス６６には、ハードディスクドライブ（以下、「ＨＤＤ」という。）６４および外部通信インタフェイス６５が接続されている。ＣＰＵ６１は、サーバ６の制御を司る。ＲＯＭ６２は各種制御プログラムおよび初期値等を記憶している。ＲＡＭ６３は情報を一時的に記憶する。ＨＤＤ６４は不揮発性の記憶装置であり、後述するサーバ処理（図７参照）を実行するためのサーバプログラム、表示状況管理データ（図６参照）等を記憶する。なお、サーバプログラムは、ネットワーク８を経由してダウンロードしてもよいし、ＣＤ−ＲＯＭドライブ等の読取装置（図示外）を用いて記憶媒体から読み取ってもよい。外部通信インタフェイス６５は、サーバ６をネットワーク８に接続する。

図６を参照して、サーバ６がＨＤＤ６４に記憶する表示状況管理データについて説明する。表示状況管理データは、各作業用コンテンツの表示状況に関するデータである。ヘッドマウントディスプレイ１は、表示状況管理データに基づいて画像を表示することで、各作業の進捗状況をユーザに把握させることができる。図６に示す例では、作業番号「１」から「６」の６つの作業用コンテンツが用意されている。１つの作業は、１または複数の工程からなる。各作業用コンテンツには１または複数のページが含まれており、１つのページが１つの工程に対応する。

各作業用コンテンツに対して記憶されるデータには、「ページ数」、「ページの表示時間」、「担当したユーザ」、および「進捗状況」のデータがある。「ページ数」は、１つの作業用コンテンツに含まれる全ページのうち表示中のページを示すデータである。例えば、作業番号「２」の「工程３／５」は、全ページ数（全工程）が５であり、且つ表示中のページ数が３ページ目（実行中の工程が３番目の工程）であることを示す。最後まで表示が完了した作業用コンテンツについては、「ページ数」のデータは消去される（作業番号「１」参照）。

「ページの表示時間」は、表示中のページが表示されている時間である。作業用コンテンツが動画である場合、「ページの表示時間」は動画の進行割合を示すことになる。つまり、あらかじめ設定された動画の再生時間を「ページの表示時間」で割ることで、動画の進行割合を算出できる。

「担当したユーザ」は、作業用コンテンツを表示したヘッドマウントディスプレイ１のユーザを示すデータである。つまり、「担当したユーザ」は、作業用コンテンツを視認しながら作業を実行した、または実行しているユーザとなる。なお、各ヘッドマウントディスプレイ１にはＩＤが付されている。サーバ６は、各ヘッドマウントディスプレイ１のＩＤと、登録されたユーザ名とを対応付けて、ＨＤＤ６４に記憶している。従って、ヘッドマウントディスプレイ１のＩＤが判明すれば、そのヘッドマウントディスプレイ１を使用するユーザも判明する。

「進捗状況」は、作業の進捗状況を示すデータである。「進捗状況」のデータは、「ページ数」および「ページの表示時間」の少なくともいずれかのデータから作成される。図６に示す例では、サーバ６のＣＰＵ６１は作業番号「２」の作業について、全５ページからなる作業用コンテンツのうち３ページ目が表示されている段階であるため、進捗状況を６０％としている。また、ＣＰＵ６１は、作業番号「４」の作業について、１分４０秒の動画からなる作業用コンテンツの表示が開始されてから５秒が経過した段階であるため、進捗状況を５％としている。なお、表示が完了した作業用コンテンツには「済」、未だ表示されていない作業用コンテンツには「未着手」が記憶される。

図７を参照して、サーバ６が実行するサーバ処理について説明する。サーバ６のＨＤＤ６４には、サーバ処理を実行するためのサーバプログラムが記憶されている。サーバ６のＣＰＵ６１は、作業を開始する指示をヘッドマウントディスプレイ１から入力すると、図７に示すサーバ処理を実行する。

サーバ処理が開始されると、作業用コンテンツのリストの送信要求をいずれかのヘッドマウントディスプレイ１から受信したか否かが判断される（Ｓ１１）。受信していなければ（Ｓ１１：ＮＯ）、処理はそのままＳ１３の判断へ移行する。リストの送信要求を受信した場合（Ｓ１１：ＹＥＳ）、表示状況管理データ（図６参照）に基づいて、作業用コンテンツのリストのデータが作成される。作成されたリストのデータが、リストを要求したヘッドマウントディスプレイ１に送信される（Ｓ１２）。処理はＳ１３へ移行する。ヘッドマウントディスプレイ１は、サーバ６から受信したデータに基づいてリスト画像７１（図９参照）を表示するが、この詳細は後述する。

次いで、いずれかのヘッドマウントディスプレイ１から表示状況を受信したか否かが判断される（Ｓ１３）。詳細は後述するが、ヘッドマウントディスプレイ１は、表示中の作業用コンテンツおよびそのページ数を、作業用コンテンツの表示状況として、ページの表示開始時にサーバ６に送信（通知）する。表示状況を受信していなければ（Ｓ１３：ＮＯ）、処理はそのままＳ１７の判断へ移行する。表示状況を受信した場合（Ｓ１３：ＹＥＳ）、表示状況管理データ（図６参照）のうち該当する作業用コンテンツのデータが更新される。詳細には、表示状況の送信元のヘッドマウントディスプレイ１のＩＤ、およびユーザ名が記憶される（Ｓ１４）。表示中のページ数が記憶される（Ｓ１５）。ページの表示時間の計測が開始される（Ｓ１６）。

次いで、いずれかのヘッドマウントディスプレイ１から、識別機器についての表示状況データの送信要求を受信したか否かが判断される（Ｓ１７）。詳細は後述するが、ヘッドマウントディスプレイ１は、他のヘッドマウントディスプレイ１を識別すると、識別機器についての表示状況データの送信をサーバ６に要求する。表示状況データは、作業用コンテンツの表示状況を示す状況画像８１、９１（図１１および図１２参照）を表示するためのデータである。送信要求を受信していなければ（Ｓ１７：ＮＯ）、処理はそのままＳ１９の判断へ移行する。表示状況データの送信要求を受信すると（Ｓ１７：ＹＥＳ）、表示状況管理データ（図６参照）に基づいて、識別機器の表示状況データが作成される。作成された表示状況データが、データの送信を要求したヘッドマウントディスプレイ１に送信される（Ｓ１８）。処理はＳ１９へ移行する。リストに含まれる全ての作業が終了していなければ（Ｓ１９：ＮＯ）、処理はＳ１１の判断へ戻り、Ｓ１１〜Ｓ１９の処理が繰り返される。全ての作業が終了すると（Ｓ１９：ＹＥＳ）、サーバ処理は終了する。

図８から図１２を参照して、ヘッドマウントディスプレイ１が実行する作業中処理について説明する。ヘッドマウントディスプレイ１のＲＯＭ１２には、作業中処理を実行するための制御プログラムが記憶されている。ヘッドマウントディスプレイ１のＣＰＵ１１は、作業中処理を開始する指示を操作部３８から入力すると、図８に示す作業中処理を実行する。

作業中処理が開始されると、起動処理が実行される（Ｓ２１）。操作部３８から電源オフの指示を入力したか否かが判断される（Ｓ２２）。電源オフの指示を入力していなければ（Ｓ２２：ＮＯ）、作業用コンテンツのリストの送信要求がサーバ６に送信され、リストのデータがサーバ６から取得される（Ｓ２３）。取得されたリストのデータに基づいて、リスト画像７１が表示される（Ｓ２４）。

図９に示すように、リスト画像７１は、ユーザが作業を実行する際に視認する作業用コンテンツのリストを示す画像である。前述したように、リストのデータは表示状況管理データ（図６参照）に基づいて作成される。よって、ヘッドマウントディスプレイ１は、完了した作業、着手中の作業、および未着手の作業を把握できるように、リスト画像７１を表示することができる。本実施の形態のリスト画像７１には、６個の作業用コンテンツの各々の表示状況（作業の進行状況）を示す詳細リスト７２と、６個の作業の進行手順を示す手順リスト７３とが表示される。従って、ユーザは、各作業の進行状況の詳細と作業全体の手順とを共に容易に把握することができる。

図８の説明に戻る。リスト画像７１が表示されると、リスト画像７１に表示された作業用コンテンツが選択されたか否かが判断される（Ｓ２５）。選択されていなければ（Ｓ２５：ＮＯ）、処理はＳ２２の判断へ戻る。従って、リスト画像７１には常に最新の表示状況管理データ（図６参照）が反映される。ユーザは作業を開始する場合、制御装置３３の操作部３８（図２および図４参照）を操作し、リスト画像７１において「未着手」と表示された作業用コンテンツを選択する。作業用コンテンツが選択されると（Ｓ２５：ＹＥＳ）、作業用コンテンツの表示状況がサーバ６に通知される（Ｓ２６）。詳細には、選択されて表示される作業用コンテンツおよびページ数の情報がサーバ６へ送信される。カメラ５が撮影した画像データのサーバ６への送信が開始される（Ｓ２７）。選択された作業用コンテンツが表示される（Ｓ２８）。なお、詳細は後述するが、サーバ６へ送信された画像データは、次に実行する作業を選択する他のユーザのヘッドマウントディスプレイ１に転送される。

次いで、操作部３８に対してページ送り操作が行われたか否かが判断される（Ｓ２９）。操作が行われていなければ（Ｓ２９：ＮＯ）、同一の作業用コンテンツの表示が継続される（Ｓ２８）。ページ送り操作が行われると（Ｓ２９：ＹＥＳ）、ページが更新されることを示す情報がサーバ６へ送信される（Ｓ３０）。ＣＰＵ１１は、表示中の作業用コンテンツ内の全てのページの表示が終了したか否かを判断することで、作業が完了したか否かを判断する（Ｓ３１）。全てのページの表示が未だ終了していなければ（Ｓ３１：ＮＯ）、処理はＳ２８へ戻り、更新されたページが表示される。全てのページの表示が終了すると（Ｓ３１：ＹＥＳ）、次に実行する作業をユーザに選択させるための処理が行われる（Ｓ３４〜Ｓ４１）。

図１０に示すように、作業用コンテンツ７５は、ユーザが選択した作業の作業対象・作業手順等をユーザに把握させるためのコンテンツであり、文章、図面、写真、グラフ等からなる。図１０に例示する作業用コンテンツ７５は、作業情報７６、工程情報７７、および手順説明図面７８を含む。作業情報７６は、表示中の作業用コンテンツ７５の作業番号および作業名の情報である。工程情報７７は、１または複数の工程の概要と実行中の工程とを示す情報である。太枠で囲まれた工程「１」が実行中の工程である。手順説明図面７８は、実行中の工程の手順を説明するための図面である。手順説明図面７８は静止画および動画のいずれであってもよい。図１０に示す状態でユーザがページ送り操作を行うと、実行中の工程が工程「２」に移行し、手順説明図面７８は工程「２」の図面に更新される。ユーザは、作業用コンテンツ７５を視認しながら作業を行うことで、作業対象・作業手順等を容易に把握して円滑に作業を行うことができる。なお、作業用コンテンツ７５は、ユーザの視野方向の一部（図１０に示す例では上部）に表示される。従って、ユーザは、作業用コンテンツ７５が表示されない部分では実際の視界７９を視認することができる。

図８の説明に戻る。選択された作業用コンテンツの全てのページの表示が終了し、１つの作業が完了したと判断すると（Ｓ３１：ＹＥＳ）、カメラ５が撮影した画像データのサーバ６への送信が停止される（Ｓ３４）。カメラ５が撮影した画像データが取得され、取得された画像データに対して画像処理が行われて、画像内の識別コード５１が探索される（Ｓ３５）。図１１および図１２に示すように、本実施の形態では、各ユーザが装着するヘルメット５０に識別コード５１が付されている。識別コード５１は、それぞれのヘッドマウントディスプレイ１に割り当てられており、識別コード５１の各々にヘッドマウントディスプレイ１のＩＤが対応付けられてフラッシュメモリ１６に記憶されている。従って、ヘッドマウントディスプレイ１は、識別コード５１を識別することで、カメラ５の撮影範囲（ユーザの視野方向）に存在するヘッドマウントディスプレイ１および装着するユーザを識別することができる。なお、識別コード５１が付されるのは、ユーザが装着する装着物であればよく。ヘルメット５０に限られない。例えば、ヘッドマウントディスプレイ１の枠部、服、帽子等に識別コード５１を付してもよい。また、識別コード５１は図１１および図１２に示すものに限られず、バーコード等の他の識別コードを用いても良い。

カメラ５が撮影した画像内に識別コード５１が存在しなければ（Ｓ３６：ＮＯ）、処理はそのままＳ４１の判断へ移行する。識別コード５１が存在する場合（Ｓ３６：ＹＥＳ）、識別コード５１に割り当てられているヘッドマウントディスプレイ１のＩＤが識別される（Ｓ３７）。その結果、カメラ５の撮像範囲に存在するヘッドマウントディスプレイ１が識別される。次いで、識別されたヘッドマウントディスプレイ１（識別機器）の表示状況データの送信要求がサーバ６に送信され、表示状況データが取得される（Ｓ３８）。前述したように、表示状況データは、作業用コンテンツの表示状況を示す状況画像８１、９１（図１１および図１２参照）を表示するためのデータである。さらに、識別機器のカメラ５が撮影した画像を表示させる場合には、識別機器からサーバ６に送信された画像データがサーバ６から取得される（Ｓ３９）。Ｓ３８およびＳ３９の処理で取得されたデータに基づいて、識別機器の状況画像８１、９１が表示される（Ｓ４０）。

図１１を参照して、状況画像８１について説明する。状況画像８１は、識別機器のカメラ５の撮影画像を表示する場合の一例である。図１１に例示する状況画像８１は、プログレスバー８２および進行割合表示部８３を含む。プログレスバー８２および進行割合表示部８３は、識別機器で表示中の作業用コンテンツが示す作業の進捗状況を表示する。前述したように、作業の進捗状況は、表示されているページのページ数およびページの表示時間の少なくともいずれかによって判断できる（図６参照）。プログレスバー８２は進捗状況を棒グラフで表すものであり、進行割合表示部８３は進捗状況を数値で表すものである。ユーザは、識別機器を使用しているユーザの作業の進捗状況を、プログレスバー８２および進行割合表示部８３によって容易に把握することができる。

また、図１１に例示する状況画像８１は、作業内容表示部８４およびコメント表示部８５を含む。作業内容表示部８４は、識別機器を使用するユーザの現在の作業内容を表示する。作業内容表示部８４に表示される作業内容は、作業用コンテンツに対応付けてあらかじめ記憶されている。コメント表示部８５は各種コメントを表示する。図１１に示す例では、各作業用コンテンツを表示する標準時間があらかじめ定められている。１つの作業用コンテンツの表示時間が標準時間未満であれば、ヘッドマウントディスプレイ１は、図１１に示す「順調、手伝不要」のコメントを表示する。作業用コンテンツの表示時間が標準時間以上となれば、ヘッドマウントディスプレイは「作業遅延中」等のコメントをコメント表示部８５に表示することができる。コメント表示部８５に表示するコメントの内容は、サーバ６が決定してヘッドマウントディスプレイ１に通知してもよいし、ヘッドマウントディスプレイ１が「ページの表示時間（図６参照）」の情報をサーバ６から取得して決定してもよい。さらに、図１１に例示する状況画像８１は、識別機器のカメラ５が撮影した画像を表示する撮影画像表示部８７を含む。ユーザは、撮影画像表示部８７を視認することで、識別機器を使用するユーザの視線方向の画像を確認することができる。よって、識別機器を使用するユーザの作業の進捗状況をより的確に把握することができる。

図１２を参照して、状況画像９１について説明する。状況画像９１は、識別機器のカメラ５の撮影画像を表示しない場合の一例である。図１２に例示する状況画像９１は、作業内容表示部９２、作業一覧画像表示部９３、および工程一覧画像表示部９４を含む。作業内容表示部９２は、識別機器で表示中の作業用コンテンツが示す作業の内容を表示する。作業一覧画像表示部９３では、リスト画像７１（図９参照）に含まれる全ての作業用コンテンツの一覧画像が表示され、且つ識別機器で表示されている作業用コンテンツが太枠で示される。従って、ユーザは、識別機器を使用しているユーザが作業全体のうちのどの作業を担当しているのかを容易に把握することができる。工程一覧画像表示部９４では、識別機器において表示される１または複数のページ（工程）からなる作業用コンテンツの一覧画像が表示され、且つ識別機器で表示されているページ（工程）が太枠で示される。従って、ユーザは、実行されるべき工程のうちどれだけの工程を識別機器のユーザが完了させたのかを容易に把握することができる。なお、図１２に示す状況画像９１に撮影画像表示部８７（図１１参照）を設けてもよいことは言うまでもない。

図８の説明に戻る。状況画像８１、９１を表示させる処理（Ｓ３６〜Ｓ４０）が終了すると、作業を移行するための操作が操作部３８に入力されたか否かが判断される（Ｓ４１）。入力されていなければ（Ｓ４１：ＮＯ）、処理はＳ３５へ戻り、Ｓ３５〜Ｓ４１の処理が繰り返される。作業を移行するための操作が入力されると（Ｓ４１：ＹＥＳ）、処理はＳ２２の判断へ戻る。その後に電源がオフされなければ（Ｓ２２：ＮＯ）、リスト画像７１が再び表示されて、作業者は新たな作業に移行する。電源がオフとされると（Ｓ２２：ＹＥＳ）、処理は終了する。

以上説明したように、本実施の形態のヘッドマウントディスプレイ１は、ユーザによって選択された作業用コンテンツを表示する際に、表示状況をサーバに通知する。さらに、ヘッドマウントディスプレイ１は、ユーザの視野方向に存在する他のヘッドマウントディスプレイ１を識別する。識別機器における作業用コンテンツの表示状況を、サーバから取得した表示状況データに従って表示する。従って、各ユーザは自分が選択した作業用コンテンツを確認できるだけでなく、視野方向にある識別機器における作業用コンテンツの表示状況を容易に把握することができる。ユーザは、識別機器における作業用コンテンツの表示状況を把握することで、識別機器を使用しているユーザの作業状況を把握できる。よって、ヘッドマウントディスプレイ１は、複数のユーザが作業を行っている場合に作業全体の効率を向上させることができる。

ヘッドマウントディスプレイ１は、各ユーザが装着する装着物に付されている識別コード５１を識別することで、視野方向に存在する他のヘッドマウントディスプレイ１を容易に識別することができる。

ヘッドマウントディスプレイ１は、識別機器で表示中の作業用コンテンツが示す作業の進捗状況を、状況画像８１、９１によって表示することができる。従って、ユーザは他のユーザの作業の進捗状況を容易に把握して的確な判断を行うことができ、作業全体の効率がさらに向上する。ヘッドマウントディスプレイ１は、作業用コンテンツのページ数の情報および動画の進行割合（表示時間）の情報の少なくともいずれかに応じた表示状況データを、作業の進捗状況を示すデータとしてサーバ６から取得する。ヘッドマウントディスプレイ１は、取得した表示状況データに従って状況画像８１、９１を表示する。従って、ユーザは、他のユーザの作業の進捗状況を詳細且つ的確に把握することができる。さらに、ヘッドマウントディスプレイ１は、識別機器で表示される全ての作用用コンテンツにおける表示中の作業用コンテンツ（ページ）を示す一覧画像を、作業の進捗状況として表示させることができる。従って、ユーザは、実行されるべき全ての作業のうちどれだけの作業（工程）を他のユーザが完了させたのかを容易に把握することができる。

作業用コンテンツが表示されている場合、ユーザは作業中である。作業用コンテンツが表示されていない場合、ユーザは次に行う作業（次に表示させる作業用コンテンツ）を選択する必要がある。ヘッドマウントディスプレイ１は、作業用コンテンツを表示しているか否かに応じて、カメラ５が撮像した画像データに対する処理を切り替える。よって、ユーザの状況に応じた適切な処理を行うことができる。詳細には、ヘッドマウントディスプレイ１は、ユーザが作業中であれば、ユーザの視野方向の画像データをサーバ６に送信する。その結果、他のユーザに視野方向の画像を確認させることができる。一方、ユーザが次に行う作業を選択する場合には、ヘッドマウントディスプレイ１は、画像内の他のヘッドマウントディスプレイ１を識別し、識別機器を使用しているユーザの作業の進捗状況を表示することができる。従って、ヘッドマウントディスプレイ１は無駄な処理が実行されることを防止し、ユーザの状況に応じた適切な処理を行うことができる。ヘッドマウントディスプレイ１は、他のユーザの視野方向の画像を表示することができるため、他のユーザの作業の進捗状況をより容易に把握することができる。

上記実施の形態において、表示部２０が本発明の「表示手段」に相当する。図８のＳ２３で作業用コンテンツのリストのデータを取得するＣＰＵ１１が「リスト取得手段」として機能する。図８のＳ２４でリスト画像７１を表示させるＣＰＵ１１が「リスト表示手段」として機能する。図８のＳ２５で作業用コンテンツの選択指示を受け付けるＣＰＵ１１が「指示受付手段」として機能する。図８のＳ２８で、選択された作業用コンテンツを表示させるＣＰＵ１１が「作業用コンテンツ表示手段」として機能する。図８のＳ２６、Ｓ３０で作業用コンテンツの表示状況をサーバ６に通知するＣＰＵ１１が「表示状況通知手段」として機能する。図８のＳ３５で画像データをカメラ５から取得するＣＰＵ１１が「画像取得手段」として機能する。図８のＳ３５でヘッドマウントディスプレイ１を識別するＣＰＵ１１が「識別手段」として機能する。図８のＳ３８で表示状況データをサーバ６から取得するＣＰＵ１１が「状況取得手段」として機能する。図８のＳ４０で状況画像８１、９１を表示させるＣＰＵ１１が「状況表示手段」として機能する。

識別コード５１が本発明の「識別情報」に相当する。図８のＳ２５で作業用コンテンツの表示を開始させるか否かを判断するＣＰＵ１１、および、Ｓ３１で表示中の作業用コンテンツ内の全てのページの表示が終了したか否かを判断するＣＰＵ１１が「表示判断手段」として機能する。図８のＳ２７、Ｓ３４、Ｓ３５で画像データに対する処理を切り替えるＣＰＵ１１が「処理切替手段」として機能する。図８のＳ３９で識別機器の画像データをサーバ６から取得するＣＰＵ１１が「送信画像取得手段」として機能する。

本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、上記実施の形態のヘッドマウントディスプレイ１は、識別機器のユーザの作業の進捗状況を、状況画像８１、９１によって表示する。しかし、ヘッドマウントディスプレイ１が表示できる画像は、図１１および図１２に例示した画像に限られない。例えば、ヘッドマウントディスプレイ１は、作業の進捗状況（具体的には、プログレスバー８２の表示、進行割合表示部８３の表示、工程一覧画像表示部９４の表示等）を表示せずに、識別機器で表示されている作業用コンテンツのみを表示してもよい。ユーザは、識別機器で表示されている作業用コンテンツを把握することで、識別機器のユーザが実行している作業を把握することができる。よって、ユーザは、他のユーザが実行している作業を把握した上で、次に自分が実行する作業を円滑に選択することができる。

上記実施の形態では、ヘッドマウントディスプレイ１が状況画像８１、９１を表示するための表示状況データをサーバ６が作成する。ヘッドマウントディスプレイ１は、表示状況データをサーバ６から取得して状況画像８１、９１を表示する。しかし、状況画像８１．９１を表示するヘッドマウントディスプレイ１自身が表示状況データを作成してもよい。この場合、ヘッドマウントディスプレイ１は、識別機器において表示されている作業用コンテンツのページ数の情報、およびページの表示時間の情報をサーバ６から取得し、取得した情報に基づいて表示状況データを作成すればよい。

１ ヘッドマウントディスプレイ
５ カメラ
６ サーバ
１１ ＣＰＵ
１２ ＲＯＭ
１６ フラッシュメモリ
２０ 表示部
３３ 制御装置
３８ 操作部
５１ 識別コード
６１ ＣＰＵ
６４ ＨＤＤ
７１ リスト画像
７５ 作業用コンテンツ
８１ 状況画像
８７ 撮影画像表示部
９１ 状況画像
９３ 作業一覧画像表示部
９４ 工程一覧画像表示部
１００ 画像表示システム

Claims (8)

1. ユーザの頭部に装着され、前記ユーザの目に画像を表示する表示手段を有する複数のヘッドマウントディスプレイと、前記複数のヘッドマウントディスプレイの各々との間でデータを送受信することが可能なサーバとを備えた画像表示システムで用いられる前記ヘッドマウントディスプレイであって、
   前記ユーザが作業を実行する際に視認する作業用コンテンツのリストのデータを前記サーバから取得するリスト取得手段と、
   前記リスト取得手段によって取得されたデータに従って前記リストを前記表示手段に表示させるリスト表示手段と、
   前記リスト表示手段によって表示された前記リスト中の作業用コンテンツを選択するための前記ユーザからの指示を受け付ける指示受付手段と、
   前記指示受付手段によって指示が受け付けられた場合に、前記指示によって選択された作業用コンテンツを前記表示手段に表示させる作業用コンテンツ表示手段と、
   前記作業用コンテンツ表示手段によって前記表示手段に表示されている作業用コンテンツの表示状況を前記サーバに通知する表示状況通知手段と、
   前記ユーザの視野方向を撮影する撮影手段から画像データを取得する画像取得手段と、
   前記画像取得手段によって取得された画像データから、前記視野方向に存在するヘッドマウントディスプレイを識別する識別手段と、
   前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を示すデータを前記サーバから取得する状況取得手段と、
   前記状況取得手段によって取得されたデータに従って、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を前記表示手段に表示させる状況表示手段と
   を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示中の作業用コンテンツが示す作業の進捗状況を前記表示手段に表示させることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記状況取得手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示されている作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータを、作業の進捗状況を示すデータとして前記サーバから取得することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記状況表示手段は、前記状況取得手段によって取得されたデータであり、作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータに従って、作業の進捗状況を表示することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイにおいて表示される全ての作業用コンテンツにおける表示中の作業用コンテンツを示す一覧画像を、作業の進捗状況として表示させることを特徴とする請求項２から４のいずれかに記載のヘッドマウントディスプレイ。
6. 前記作業用コンテンツ表示手段によって作業用コンテンツが前記表示手段に表示されているか否かを判断する表示判断手段と、
   前記表示判断手段の判断結果に応じて、前記画像取得手段によって取得された画像データに対する処理を切り替える処理切替手段とをさらに備え、
   前記処理切替手段は、
   前記表示判断手段によって作業用コンテンツが表示されていると判断された場合には、前記画像取得手段によって取得された視野方向の画像の画像データを前記サーバに送信する処理を実行し、
   前記表示判断手段によって作業用コンテンツが表示されていないと判断された場合には、前記識別手段によるヘッドマウントディスプレイの識別処理を実行することを特徴とする請求項２から５のいずれかに記載のヘッドマウントディスプレイ。
7. 前記識別手段によって識別されたヘッドマウントディスプレイから前記サーバに送信された画像データを前記サーバから取得する送信画像取得手段をさらに備え、
   前記状況表示手段は、前記送信画像取得手段によって取得された画像データに従って、前記識別手段によって識別されたヘッドマウントディスプレイの視野方向の画像を前記表示手段に表示させることを特徴とする請求項２から６のいずれかに記載のヘッドマウントディスプレイ。
8. 各ユーザが装着する装着物には識別情報が付されており、
   前記識別手段は、前記画像データに含まれる識別情報を用いてヘッドマウントディスプレイを識別することを特徴とする請求項１から７のいずれかに記載のヘッドマウントディスプレイ。

Images