[第1実施形態]
図1は、本発明を適用した実施形態に係る表示システム1の概略構成図である。
この図1に示すように、表示システム1は、プロジェクター100Aと、HMD200とを、通信ネットワーク4を介して相互に通信可能に接続したシステムである。図1には1台のプロジェクター100Aと、2台のHMD200とを通信ネットワーク4に接続する例を示すが、表示システム1が備えるプロジェクター100A、及びHMD200の数に制限はない。
HMD200は、図1に示すように使用者が頭部に装着する表示装置であり、頭部装着型表示装置(ヘッドマウントディスプレイ、Head Mounted Display)とも呼ばれる。HMD200は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のHMDである。なお、以下の説明では、HMD200によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
表示システム1は、作業を行う被援助者UBがHMD200を使用し、被援助者UBに対して指示や管理を行う援助者UA(図2)がプロジェクター100Aを使用し、援助者UAと被援助者UBの間で指示や管理のための情報を送受信する。これにより、援助者UAが被援助者UBに対して、作業の手順や内容に関する情報を提供し、作業を支援できる。援助者UAは、被援助者UB、UCに何らかの情報を与える側として定義でき、指令を行う場合は指令者と呼んでもよいし、作業の補助を行う観点から補助者あるいは援助者と呼んでもよい。また、被援助者UB、UCは、援助者UAから何らかの情報による援助を受ける側として定義でき、作業を行う場合は作業者と呼んでもよい。
以下の各実施形態では、被援助者UB、UCが行う作業について援助者UAが支援する用途を例として説明するが、表示システム1の用途はこれに限定されない。
援助者UAの居場所を援助サイトAとし、被援助者UBが作業を行う場所を被援助サイトBとする。また、図1には、被援助サイトCを示し、被援助サイトCで作業を行う被援助者UCが、被援助者UBと同様にHMD200を装着する。この構成では、被援助サイトBの被援助者UBと、被援助サイトCの被援助者UCとに対し、プロジェクター100Aを使用する援助者UAが、作業支援を行うことができる。援助サイトAと被援助サイトB、Cとは、通信ネットワーク4に接続可能であれば地理的制約はなく、遠隔地であってもよいし、近接した場所であってもよい。援助サイトAを、援助者UAが指令を行う指令サイトAと呼ぶこともでき、被援助サイトB、Cを、被援助者UB、UCが作業を行う作業サイトと呼ぶこともできる。
援助者UAはプロジェクター100Aの操作者であり、被援助者UB、UCはHMD200の使用者、別の表現では使用者に相当する。
図2は、プロジェクター100Aの設置状態の例を示す図である。
プロジェクター100Aは、作業用のテーブルに固定され、テーブルの上面である作業台Tに対して画像を投射(表示)する。プロジェクター100Aは作業台Tの表示領域に画像を表示する。プロジェクター100Aが画像を表示する領域を表示領域DAとする。
作業台Tは、人が立って作業を行う場合に作業場所として使用可能な高さに設定され、好ましくは平面であり、作業用の台座(図示略)等が設置されていてもよい。作業台Tには作業対象物OBを置くことができ、援助サイトAの援助者UAは、図2に示すように作業台Tに手を載せて作業対象物OBに対する作業を行うことができる。作業台Tには、図2に示すように作業対象物OBを載せることができ、この作業対象物OBに重なるように、プロジェクター100Aが画像光を投射して、画像を表示できる。援助者UAは、プロジェクター100Aの表示画像を見ながら作業台Tで作業を行える。
プロジェクター100Aは、作業台Tを撮像する機能を有する。プロジェクター100Aが撮像する範囲は、表示領域DAの少なくとも一部を含み、図2の例では作業台Tの一部を含む。プロジェクター100Aが撮像する範囲を撮像範囲PAとする。
プロジェクター100Aは、撮像範囲を示す撮像境界線BLを作業台Tに表示する。撮像境界線BLは、撮像範囲PAの外縁を示す境界線であり、人が視認可能な表示色で表示される。
プロジェクター100Aの撮像機能により、撮像範囲PAで援助者UAが行う作業の様子を撮像できる。表示システム1では、被援助者UB、UCが装着するHMD200が、被援助者UB、UCの視界を撮像し、撮像画像を含む作業情報(案内対象情報)をプロジェクター100Aに送信する機能を有する。プロジェクター100Aは、作業情報を受信して、HMD200の撮像画像を含む画像を表示する。つまり、プロジェクター100Aは、作業情報を受信して、被援助者の視界の撮像画像を表示する。援助者UAは、プロジェクター100Aを操作し、説明用のコンテンツの選択、指示体(例えば、腕、手または指)を動かす動作等を行う。これにより、プロジェクター100AからHMD200に、選択されたコンテンツ及び指示体の動きを示すデータを含む指示情報(案内情報)が送信される。ここで、援助者UAは、プロジェクター100Aが表示する、被援助者UBの作業を示す画像を見ながら、操作を行う。
HMD200は、プロジェクター100Aが送信する指示情報を受信して、指示情報に基づく画像を画像表示部220に表示する。HMD200はシースルー型の表示装置であるため、被援助者は、画像表示部220が表示する画像を見ながら、手元を見て作業を行うことができる。これにより、表示システム1では、被援助サイトB、Cで作業を行う被援助者UB、UCの視界を、援助者UAが視認できる。そして、被援助者UB、UCのHMD200に対し、プロジェクター100Aが撮像する援助者UAの操作や指示コンテンツに含まれる画像を送信し、HMD200が表示する。これにより、援助者UAが、指示体やコンテンツを利用して、作業の案内や説明等を行って被援助者UB、UCに見せることができ、被援助者UBの作業に関する指示や助言を行える。また、被援助者UB、UCは、コンテンツの画像や指示体の動きを見ながら作業を行うことができる。HMD200の動作は、被援助者UCについても同様であり、被援助者UCが装着するHMD200によって、プロジェクター100Aを操作する援助者UAが、作業に関する指示や助言を行える。指示体は操作者である援助者UAが操作に使用する操作体と呼ぶこともできる。
通信ネットワーク4は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。通信ネットワーク4は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたLAN(Local Area Network)であってもよい。また、通信ネットワーク4、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク4が複数の通信回線で構成されてもよい。
プロジェクター100Aは、有線または無線通信回線を介して通信ネットワーク4に接続される。また、被援助サイトBには、通信ネットワーク4に接続する無線アクセスポイント3Bが設置され、被援助サイトCには通信ネットワーク4に接続する無線アクセスポイント3Cが設置される。無線アクセスポイント3B、3Cは、アクセスポイントやルーター等の通信装置であり、HMD200と通信ネットワーク4とのデータ通信を中継する。HMD200は、無線アクセスポイント3B、3Cを介して他のHMD200やプロジェクター100Aとデータ通信を実行する。なお、それぞれのHMD200は、他のHMD200との間で、例えばアドホックモードで直接、無線通信を実行してもよい。また、有線の通信回線によりHMD200が接続されてもよい。すなわち、表示システム1は、プロジェクター100A及びHMD200が通信可能であれば、その構成は特に限定されない。
また、プロジェクター100AとHMD200とは、通信ネットワーク4を経由せず直接、データ通信を行ってもよい。例えば、無線LAN(WiFi(登録商標)、Direct Wi−Fi)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行することにより、通信ネットワーク4や無線アクセスポイント3Bを介さずに通信を行ってもよい。この方法は、例えば、援助サイトAと被援助サイトB或いは被援助サイトCとが遠隔地でなく、数メートル程度の距離にある場合に有効である。
図3は、プロジェクター100Aの構成を示す機能ブロック図である。
プロジェクター100Aは、外部の装置に接続されるインターフェイスとして、I/F(インターフェイス)部11及び画像I/F(インターフェイス)部12を備える。I/F部11及び画像I/F部12は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。
インターフェイス部11は、制御データ等のデジタルデータを送受信する通信インターフェイスであり、画像インターフェイス部12は、画像データ及び/又はアナログ画像信号を入力可能な入力インターフェイスである。インターフェイス部11は、有線LAN、IEEE1394、USB等のインターフェイスを備え、無線通信インターフェイスを備えてもよい。また、画像I/F部12は、HDMI(登録商標)インターフェイス等を用いることができ、音声データや音声信号が入力されるインターフェイスを備えてもよい。
インターフェイス部11及び画像インターフェイス部12には、PC(パーソナルコンピューター)、ビデオ再生装置、DVD再生装置等の外部の画像供給装置(図示略)を接続可能である。プロジェクター100Aは、インターフェイス部11または画像インターフェイス部12に接続された画像供給装置から供給されるアナログ画像信号またはディジタル画像データに基づき、作業台Tに画像を投射することもできる。
プロジェクター100Aは、光学的な画像の形成を行う投射部20を備える。投射部20は、光源部21、光変調装置22、および投射光学系23を有する。光源部21は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)、或いはレーザー光源等からなる光源を備える。また、光源部21は、光源が発した光を光変調装置22に導くリフレクターおよび補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群(図示略)、偏光板、或いは光源が発した光の光量を光変調装置22に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置22は、例えばRGBの三原色に対応した3枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部21からの光はRGBの3色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系23に射出される。
投射光学系23は、光変調装置22により変調された画像光を作業台T方向へ導き、作業台T上に結像させるレンズ群を備える。また、投射光学系23は、投射画像の拡大・縮小および焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター100Aが短焦点型である場合、投射光学系23に、画像光を作業台Tに向けて反射する凹面鏡を備えていてもよい。
投射部20には、制御部30の制御に従って光源部21を点灯させる光源駆動部45、及び、制御部30の制御に従って光変調装置22を動作させる光変調装置駆動部46が接続される。光源駆動部45は、光源部21の点灯/消灯の切り替えを行い、光源部21の光量を調整する機能を有していてもよい。
プロジェクター100Aは、投射部20が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター100Aを制御する制御部30、記憶部50、操作取得部17、画像処理部40、光源駆動部45、及び光変調装置駆動部46を含む。また、画像処理系に、画像処理部40に接続されるフレームメモリー44を含めてもよい。
制御部30は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を備える。制御部30は、上記ROMまたは記憶部50が記憶するコンピュータープログラムを読み出して実行することにより、プロジェクター100Aの各部を制御する。制御部30は、上記プログラムを実行し、オペレーティングシステム(OS)31、投射制御部32、及び通信制御部33として機能する。また、制御部30は、上記プログラムを実行し、受信情報処理部34、操作検出部35、操作時表示制御部36、送信画像取得部37、指示情報生成部38、及び、音声処理部49として機能する。
記憶部50は、制御部30が実行するオペレーティングシステムを含む各種のプログラム、および、制御部30が処理するデータを不揮発的に記憶する。記憶部50は、設定データ51を記憶する。設定データ51は、制御部30が使用する各種の設定値を含む。設定データ51が含む設定値は、予め操作取得部17が検出する操作で入力された値であってもよいし、通信部13またはインターフェイス部11を介して外部の装置(図示略)から設定値を受信して記憶してもよい。
また、記憶部50は、検出用データ52、メニュー画像データ53、送信画像データ54、及び指示コンテンツデータ55を記憶する。
検出用データ52は、画像データから作業対象物OBの画像を検出するために利用されるデータである。作業対象物OBは、HMD200を使用する被援助者UB、UCが行う作業の対象であり、被援助者UB、UCから見える位置、すなわち視野内に配置されると考えることができる。
検出用データ52は、例えば、画像データから作業対象物OBの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物OBの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム1では、被援助者UBが作業対象とする作業対象物OBが事前に判明している場合に、この作業対象物OBに関する検出用データ52が、記憶部50に記憶される。
メニュー画像データ53は、投射部20によりメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
送信画像データ54は、プロジェクター100AがHMD200に送信する指示情報に用いられる画像データであり、例えば、腕、手、指、或いは指示棒等の指示体の画像の画像データである。詳細は後述するが、指示情報には、撮像部15が撮像する撮像画像を含めることができるが、撮像画像の代わりに、予め用意された指示体の画像を用いることもできる。送信画像データ54は、撮像画像の代わりに指示情報に含めることが可能な画像データである。送信画像データ54は、例えば、援助者UAまたは被援助者UBの腕や手指を模した画像の画像データであるが、矢印等の記号で構成されるポインターの画像の画像データであってもよく、その種類や内容は制限されない。
指示コンテンツデータ55は、プロジェクター100AがHMD200に送信するコンテンツのデータであり、テキストデータ、静止画像データ、動画像データ、及び音声データ等を含むことができる。
画像処理部40は、制御部30の制御に従って画像データを処理し、光変調装置駆動部46に画像信号を出力する。画像処理部40が実行する処理は、3D(立体)画像と2D(平面)画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部40は、制御部30により指定された処理を実行し、必要に応じて、制御部30から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部40はフレームメモリー44に接続される。画像処理部40は、表示する画像の画像データをフレームメモリー44に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部40は、処理後の画像データをフレームメモリー44から読み出して、この画像データに対応するR、G、Bの画像信号を生成し、光変調装置駆動部46に出力する。
光変調装置駆動部46は、光変調装置22の液晶パネルに接続される。光変調装置駆動部46は、画像処理部40から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。
操作取得部17は、入力デバイスとして機能するリモコン受光部18および操作パネル19に接続され、リモコン受光部18及び操作パネル19が出力する操作信号を取得することにより、操作を検出する。
リモコン受光部18は、プロジェクター100Aのユーザーが使用するリモコン(図示略)がボタン操作に対応して送信した赤外線信号を、リモコン受光部18によって受光する。リモコン受光部18は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作内容に対応する操作信号を、操作取得部17に出力する。
操作パネル19は、プロジェクター100Aの外装筐体に設けられ、各種スイッチおよびインジケーターランプ等を有する。操作取得部17は、制御部30の制御に従い、プロジェクター100Aの動作状態や設定状態に応じて操作パネル19のインジケーターランプを適宜点灯及び消灯させる。操作パネル19のスイッチが操作されると、操作パネル19は、操作されたスイッチに対応する操作信号を操作取得部17に出力する。
操作取得部17は、リモコン受光部18または操作パネル19から入力される操作信号に基づいて、操作の内容を示す操作データを生成して制御部30に出力する。
撮像部15は、撮像光学系、CCDやCMOS等の撮像素子、インターフェイス回路等を有し、撮像を実行し、撮像画像データを制御部30に出力する。撮像部15の撮像方向は、投射光学系23の投射方向と概ね同じ向きに設定され、上述のように投射光学系23の表示領域DAの少なくとも一部を含む撮像範囲PAを撮像する。
通信部13は、無線LAN(WiFi)、Miracast(登録商標)、Bluetooth等の規格に準じた無線データ通信を実行する。ここで、通信部13が通信ネットワーク4に接続する例を示す。プロジェクター100Aは、通信部13によって、通信ネットワーク4を経由する通信を実行し、例えばHMD200との間でデータを送受信する。また、プロジェクター100Aは、通信部13によって外部の機器に接続して、外部の機器からコンテンツデータ等を取得してもよい。
制御部30には、音声入出力部14が接続される。音声入出力部14は音声を集音するマイク(図示略)、及び、音声を出力するスピーカー(図示略)を備える。音声入出力部14は、制御部30から入力される音声信号に基づきスピーカーを駆動して音声を出力し、マイクで集音した音声の音声信号を制御部30に出力する。また、音声入出力部14は、アナログ音声信号とディジタル音声データとを変換するA/Dコンバーター及びD/Aコンバーター(図示略)を備えてもよい。この場合、音声入出力部14は、制御部30から入力されるディジタル音声データに基づき音声を出力し、マイクで集音した音声のディジタル音声データを制御部30に出力する。
投射制御部32は、操作取得部17により検出した操作、及び、制御部30が実行するプログラムに応じて、画像処理部40、光源駆動部45、及び光変調装置駆動部46を制御して、投射部20により画像を投射(表示)する。ここで、投射制御部32は、画像処理部40を制御して、上述した3D(立体)画像と2D(平面)画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させてもよい。また、投射制御部32は、画像処理部40の処理に合わせて光源駆動部45を制御し、光源部21の光量を制御してもよい。
通信制御部33は、通信部13を制御して、HMD200との間の通信を制御する。通信制御部33は、HMD200から作業情報を受信し、受信した作業情報を受信情報処理部34に出力する。また、通信制御部33は、指示情報生成部38が生成する指示情報を、HMD200に送信する。
受信情報処理部34は、通信制御部33が受信する作業情報を解析して、作業情報に含まれる画像データを抽出する。受信情報処理部34は、例えば、記憶部50が記憶する検出用データ52を用い、作業情報に含まれる画像データから作業対象物OBの画像を検出する。
操作検出部35は、援助者UAの操作を検出する。操作検出部35は、操作取得部17から入力される操作データに基づき、リモコン受光部18または操作パネル19による操作を検出する。また、操作検出部35は、撮像部15を利用して、作業台Tにおける援助者UAの操作を検出する。この場合、操作検出部35は、撮像部15の撮像画像データから、援助者UAが使用する指示体の画像を検出する。援助者UAが使用する指示体(操作体)は、例えば、援助者UAの腕、手、指、指示棒等を含む。操作検出部35は、撮像画像における指示体の画像の位置に基づき、指示体の指示位置を特定する。操作検出部35は、撮像部15の撮像画像における位置と、撮像部15の撮像範囲PA(図2)における位置と、表示領域DAにおける位置とを対応付けるデータを有する。このデータは、例えば事前のキャリブレーションにより設定され、設定データ51に含めて記憶部50に記憶される。これにより、操作検出部35は、作業台Tの撮像範囲PAにおいて援助者UAが指示体を用いて作業ないし操作を行った場合に、指示体の位置を、撮像範囲PAにおける座標として検出できる。また、操作検出部35は、指示体の位置を、表示領域DAにおける座標、或いは、投射部20が表示領域DAに表示する表示画像における相対的な座標に換算することも可能である。
また、操作検出部35は、指示体の指示位置が、予め設定されたパターンに該当する軌跡を形成する場合に、操作を検出してもよい。この動作は、援助者UAが指示体を動かして、その動きの種類により異なる指示を行う、いわゆるジェスチャー操作である。
操作時表示制御部36は、操作検出部35が操作を検出する間の、投射部20による表示を制御する。操作時表示制御部36は、記憶部50からメニュー画像データ53等を読み出し、投射制御部32を制御して、メニュー画像等を表示させる。これにより、例えば、援助者UAが指示体による操作やリモコン受光部18、操作パネル19の操作を行う場合に、指示体の動きの指標や目安となる文字や画像、或いは、位置入力を可能とするメニューバーの画像を、表示領域DAに表示できる。
これにより、プロジェクター100Aでは、援助者UAが指示体としての腕、手、指、指示棒等を、作業台Tで操作することにより、プロジェクター100Aを操作できる。この場合、例えば、操作時表示制御部36の制御により表示されるメニュー画像を利用して、GUI(Graphical User Interface)操作を行ってもよい。
プロジェクター100Aにおいて、腕、手、指、指示棒等の指示体による操作が可能な範囲は、撮像部15が指示体を撮像できる範囲であり、具体的には撮像範囲PAである。プロジェクター100Aは、撮像範囲PAの外縁を示す撮像境界線BLを、作業台Tに表示できる。このため、援助者UAは、撮像境界線BLによって操作可能な範囲を容易に知ることができる。
送信画像取得部37は、HMD200に送信する指示情報に含める指示体の画像を取得する。送信画像取得部37は、撮像部15で指示体を撮像した場合には、撮像部15の撮像画像から指示体の画像を抽出して取得する。また、援助者UAの操作または事前の設定で、指示体の画像を記憶部50から取得するよう設定された場合、送信画像取得部37は送信画像データ54を取得する。
指示情報生成部38は、HMD200に送信する指示情報を生成する。指示情報は、プロジェクター100AがHMD200に送信するデータである。本実施形態では、コンテンツの画像データ及び/又は音声データ、指示体の画像データ、音声処理部49が生成する援助者UAの音声のデータ、指示体の位置または動きを示すデータを含む。
音声処理部49は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、音声入出力部14に出力する。また、音声処理部49は、音声入出力部14が備えるマイク(図示略)により集音される音声を取得してディジタル音声データに変換する。音声処理部49は、ディジタル音声データに対して予め設定された処理を行ってもよい。
図4は、HMD200の外観構成を示す図である。本実施形態では、被援助者UB及び被援助者UCは同一の構成を有するHMD200を使用するものとして説明する。
画像表示部220は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部220は、右保持部221と、右表示駆動部222と、左保持部223と、左表示駆動部224と、右光学像表示部226と、左光学像表示部228と、カメラ261と、マイク263とを備える。右光学像表示部226及び左光学像表示部228は、それぞれ、使用者が画像表示部220を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部226の一端と左光学像表示部228の一端とは、使用者が画像表示部220を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部221は、右光学像表示部226の他端である端部ERから、使用者が画像表示部220を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部223は、左光学像表示部228の他端である端部ELから、使用者が画像表示部220を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部221及び左保持部223は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部220を保持する。
右表示駆動部222と左表示駆動部224とは、使用者が画像表示部220を装着した際の使用者(被援助者UB、UC)の頭部に対向する側に配置されている。なお、右表示駆動部222及び左表示駆動部224を総称して単に「表示駆動部」とも呼び、右光学像表示部226及び左光学像表示部228を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部222,224は、液晶ディスプレイ284,294(Liquid Crystal Display、以下「LCD284,294」とも呼ぶ)や投写光学系285,295等を含む(図5参照)。表示駆動部222,224の構成の詳細は後述する。光学部材としての光学像表示部226,228は、導光板286,296(図5参照)と調光板227とを備える。導光板286,296は、光透過性の樹脂等によって形成され、表示駆動部222,224から出力された画像光を使用者の眼に導く。調光板227は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部220の表側を覆うように配置されている。調光板227は、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板227の光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部226及び左光学像表示部228に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、HMD200を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板227を用いる場合について説明する。調光板227は、右導光板286及び左導光板296を保護し、右導光板286及び左導光板296の損傷や汚れの付着等を抑制する。
調光板227は、右光学像表示部226及び左光学像表示部228に対し着脱可能としてもよく、複数種類の調光板227を交換して装着可能としてもよいし、省略してもよい。
カメラ261は、右光学像表示部226と左光学像表示部228との境目部分に配置される。使用者が画像表示部220を装着した状態で、カメラ261の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ261は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ261は、画像表示部220の表側方向、換言すれば、HMD200を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ261の画角の広さは適宜設定可能であるが、カメラ261の撮像範囲が、使用者が右光学像表示部226、左光学像表示部228を通して視認する外界を含む範囲であることが好ましい。さらに、調光板227を通した使用者の視界の全体を撮像できるようにカメラ261の撮像範囲が設定されているとより好ましい。カメラ261は、制御部300の制御に従って撮像を実行し、撮像画像データを制御部300に出力する。
図5は、画像表示部220が備える光学系の構成を示す要部平面図である。図5には説明のため使用者の左眼LE及び右眼REを図示する。
左表示駆動部224は、左バックライト293、左LCD294、及び、左投写光学系295を備える。左バックライト293は、LED等の光源と拡散板とを有する。左LCD294は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、左バックライト293の拡散板から発せられる光の光路上に配置される。左投写光学系295は、左LCD294を透過した画像光Lを導くレンズ群等を備える。
左投写光学系295は、左LCD294から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板296に入射される。左導光板296は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、左導光板296の内部において複数回の反射を経て左眼LE側に導かれる。左導光板296には、左眼LEの眼前に位置するハーフミラー296A(反射面)が形成される。
ハーフミラー296Aで反射した画像光Lは左眼LEに向けて左光学像表示部228から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
右表示駆動部222は、左表示駆動部224と左右対称に構成される。右表示駆動部222は、右バックライト283、右LCD284、及び、右投写光学系285を備える。右バックライト283は、LED等の光源と拡散板とを有する。右LCD284は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、右バックライト283の拡散板から発せられる光の光路上に配置される。右投写光学系285は、右LCD284を透過した画像光Lを導くレンズ群等を備えた右投写光学系285を備える。
右投写光学系285は、右LCD284から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板286に入射される。右導光板286は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、右導光板286の内部において複数回の反射を経て右眼RE側に導かれる。右導光板286には、右眼REの眼前に位置するハーフミラー286A(反射面)が形成される。
ハーフミラー286Aで反射した画像光Lは右眼REに向けて右光学像表示部226から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
使用者の右眼REには、ハーフミラー286Aで反射した画像光Lと、調光板227を透過した外光OLとが入射する。左眼LEには、ハーフミラー296Aで反射した画像光Lと、調光板227を透過した外光OLとが入射する。このように、HMD200は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、調光板227を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。このように、HMD200は、シースルー型の表示装置として機能する。
なお、左投写光学系295と左導光板296とを総称して「左導光部」とも呼び、右投写光学系285と右導光板286とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
画像表示部220は、制御装置210に接続部240を介して接続する。接続部240は、制御装置210に接続される本体コード248、右コード242、左コード244、及び、連結部材246を備える。右コード242及び左コード244は、本体コード248が2本に分岐したコードである。右コード242は、右保持部221の延伸方向の先端部APから右保持部221の筐体内に挿入され、右表示駆動部222に接続される。同様に、左コード244は、左保持部223の延伸方向の先端部APから左保持部223の筐体内に挿入され、左表示駆動部224に接続される。
連結部材246は、本体コード248と、右コード242及び左コード244との分岐点に設けられ、イヤホンプラグ230を接続するためのジャックを有する。イヤホンプラグ230からは、右イヤホン232及び左イヤホン234が延伸する。イヤホンプラグ230の近傍にはマイク263が設けられる。イヤホンプラグ230からマイク263までは一本のコードにまとめられ、マイク263からコードが分岐して、右イヤホン232と左イヤホン234のそれぞれに繋がる。
マイク263は、例えば図4に示すように、マイク263の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部329(図6)に出力する。マイク263は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
右コード242、左コード244、及び、本体コード248は、デジタルデータを伝送可能であればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード242と左コード244とを一本のコードにまとめた構成としてもよい。
画像表示部220と制御装置210とは、接続部240を介して各種信号を伝送する。本体コード248の連結部材246とは反対側の端部、及び、制御装置210には、互いに嵌合するコネクター(図示略)が設けられる。本体コード248のコネクターと制御装置210のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置210と画像表示部220とを接離できる。
制御装置210は、HMD200を制御する。制御装置210は、決定キー211、点灯部212、表示切替キー213、輝度切替キー215、方向キー216、メニューキー217、及び電源スイッチ218を含むスイッチ類を備える。また、制御装置210は、使用者が手指で操作するトラックパッド214を備える。
決定キー211は、押下操作を検出して、制御装置210で操作された内容を決定する信号を出力する。点灯部212は、LED(Light Emitting Diode)等の光源を備え、光源の点灯状態により、HMD200の動作状態(例えば、電源のON/OFF)を通知する。表示切替キー213は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
トラックパッド214は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー215は、押下操作に応じて画像表示部220の輝度の増減を指示する信号を出力する。方向キー216は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ218は、HMD200の電源オン/オフを切り替えるスイッチである。
図6は、HMD200の機能ブロック図である。
図6に示すように、HMD200は、コンテンツの供給元となる種々の外部機器OAを接続するインターフェイス274を備える。インターフェイス274は、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器OAは、HMD200に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。
制御装置210は、制御部300、入力情報取得部270、記憶部120、送信部(Tx)251及び送信部(Tx)252を有する。
入力情報取得部270は、上記のトラックパッド214、方向キー216、電源スイッチ218等を含む操作部279に接続される。入力情報取得部270は、操作部279から入力される信号に基づき、操作部279における操作内容を検出し、操作内容を示す操作データを制御部300に出力する。また、制御装置210は、電源部278を備え、制御装置210及び画像表示部220の各部に電源を供給する。
記憶部340は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部340は、画像表示部220に表示する静止画像や動画像のデータを記憶しても良い。
記憶部340は、設定データ341を記憶する。設定データ341は、制御部300が使用する各種の設定値を含む。設定データ341が含む設定値は、予め操作部279の操作で入力された値であってもよいし、通信部277またはインターフェイス274を介して外部機器OAまたは他の装置(図示略)から設定値を受信して記憶してもよい。
また、記憶部340は、不揮発性の記憶装置であって、制御部300が実行する種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部340は、設定データ341、検出用データ343、および、メニュー画像データ345を記憶する。
記憶部340は、設定データ341を記憶する。設定データ341は、制御部300が使用する各種の設定値を含む。設定データ341が含む設定値は、予め操作部279の操作で入力された値であってもよいし、通信部277またはインターフェイス274を介して外部機器OAまたは他の装置(図示略)から設定値を受信して記憶してもよい。
検出用データ343は、画像データから作業対象物の画像を検出するために利用されるデータである。作業対象物とは、HMD200を装着した被援助者が行う作業の対象であり、作業時に被援助者の視界に位置すると考えることができる。検出用データ343は、例えば、画像データから作業対象物の画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物の画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム1では、HMD200を装着する被援助者が対象とする作業対象物が事前に判明している場合に、この作業対象物に関する検出用データ343が、記憶部340に記憶される。
メニュー画像データ345は、画像処理部303及び表示制御部305の制御により、画像表示部220にメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
制御部300には、3軸センサー273、GPS275、及び通信部277が接続される。3軸センサー273は3軸の加速度センサーであり、制御部300は3軸センサー273の検出値を取得する。3軸センサー273により、制御部300は、制御装置210の動きを検出することができ、例えば制御装置210を振る等の操作を検出できる。また、3軸センサー273は9軸センサーに置き換えてもよい。この場合、制御部300は、3軸の加速度センサー、3軸の角速度センサー、及び3軸の地磁気センサーの検出値を取得し、例えば、制御装置210の姿勢、向き、動きを検出できる。
GPS275は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置210の現在位置を算出する。GPS275は、GPS信号に基づいて求めた現在位置や現在時刻を制御部300に出力する。また、GPS275はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御部300が計時する時刻を修正させる機能を備えていてもよい。
通信部277は、無線LAN(WiFi)、Miracast、Bluetooth等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部277に無線接続された場合、制御部300は、コンテンツデータを通信部277より取得して、画像表示部220に画像を表示させる。一方、外部機器OAが、インターフェイス274に有線接続された場合、制御部300は、コンテンツデータをインターフェイス274より取得して、画像表示部220に画像を表示させる。通信部277及びインターフェイス274は、外部機器OAからコンテンツデータを取得するデータ取得部DAとして機能する。
制御部300は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を備える。制御部300は、記憶部340が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム(OS)301、画像処理部303、表示制御部305、及び、表示制御部305として機能する。また、制御部300は、通信制御部311、撮像制御部313、作業情報生成部315、受信情報解析部317、指示検出部319、表示位置算出部321、操作検出部323、表示情報生成部325、及び、音声処理部329として機能する。
画像処理部303は、コンテンツに含まれる画像信号を取得する。画像処理部303は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部303は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部303は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。画像処理部303は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに、制御部300のRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部303は、必要に応じて、画像データの解像度を右表示駆動部222及び左表示駆動部224に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部303は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。
画像処理部303は、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、RAMに格納された画像データDataのそれぞれを、送信部251、252を介して送信する。送信部251、252は、トランシーバーとして機能し、制御装置10と画像表示部220との間におけるシリアル伝送を実行する。なお、送信部251を介して送信される画像データDataを「右眼用画像データ」と呼び、送信部252を介して送信される画像データDataを「左眼用画像データ」と呼ぶ。
表示制御部305は、右表示駆動部222及び左表示駆動部224を制御する制御信号を生成し、この制御信号により、右表示駆動部222及び左表示駆動部224のそれぞれによる画像光の生成及び射出を制御する。具体的には、右LCD制御部282による右LCD284の駆動ON/OFF、右バックライト制御部281による右バックライト283の駆動ON/OFFを制御する。また、表示制御部305は、左LCD制御部292による左LCD294の駆動ON/OFF、左バックライト制御部291による左バックライト293の駆動ON/OFFを制御する。
通信制御部311は、通信部277を制御して、プロジェクター100Aとの間の通信を制御する。通信制御部311は、作業情報生成部315が生成する送信情報を含むデータを、プロジェクター100Aに送信する処理を行う。また、通信制御部311は、プロジェクター100Aが送信するデータを受信し、受信したデータを受信情報解析部317に出力する。
撮像制御部313は、カメラ261を制御して撮像を実行させ、撮像画像データを取得する。
作業情報生成部315は、プロジェクター100Aに送信するデータを取得し、取得したデータに基づき作業情報を生成する。作業情報生成部315は、カメラ261の撮像画像データを取得する。また、作業情報生成部315は、距離センサー264、9軸センサー266、及び視線センサー268の少なくとも一部のセンサーの検出値を取得してもよく、この場合、カメラ261の撮像画像データ、及び、センサーの検出値を含む作業情報を生成する。作業情報生成部315が検出値を取得するセンサーは予め設定されるが、プロジェクター100AがHMD200に設定用のコマンドを送信して、取得する検出値を指定してもよい。また、作業情報生成部315は、カメラ261の撮像画像データそのものに限らず、撮像画像データから生成した画像データを含む作業情報を生成してもよい。
受信情報解析部317は、通信制御部311が受信したデータを解析する。本実施形態では、受信情報解析部317は、通信制御部311が受信した指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部317は、通信制御部311が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
指示検出部319は、受信情報解析部317が抽出したデータから、指示体による操作を行うことを示すデータを検出する。援助者UAはプロジェクター100Aを操作して、指示体による位置指示操作を行い、この位置指示操作によってHMD200を制御することが可能である。この場合、プロジェクター100Aが送信する指示情報に含まれる位置指示操作に関するデータを、HMD200が、GUIの操作として検出する。プロジェクター100Aが送信する指示情報には、援助者UAの操作をGUIの操作として検出するか否かを指定するデータが含まれ、このデータを指示検出部319が検出する。
表示位置算出部321は、受信情報解析部317が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部317が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部321は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部321は、各画像の表示サイズを算出してもよい。また、指示検出部319が、援助者の操作をGUIの操作とすることを指示するデータを検出した場合、表示位置算出部321は、GUI操作を行うためのメニュー画像の表示位置を算出する。
操作検出部323は、受信情報解析部317が抽出した指示体の位置や動きを示すデータをGUIの操作として検出する場合に、操作を検出する。操作検出部323は、表示位置算出部321が算出したメニュー画像のアイコン等の表示位置と、指示体の画像の表示位置とに基づき、GUIの操作を検出する。
表示情報生成部325は、画像表示部220により表示する画面の表示情報を生成する。表示情報生成部325は、受信情報解析部317が抽出した画像データに基づく画像を、表示位置算出部321が算出した表示位置に配置して、一画面分の表示情報を生成する。表示情報生成部325が生成する表示情報は、表示制御部305の動作により、画像表示部220に送信され、画像表示部220が表示する。
音声処理部329は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン232および左イヤホン234に出力する。また、音声処理部329は、マイク263により集音される音声を取得してディジタル音声データに変換する。音声処理部329は、ディジタル音声データに対して予め設定された処理を行ってもよい。
画像表示部220は、上述したようにカメラ261及び距離センサー264を備える。画像表示部220は、インターフェイス225、右表示駆動部222、左表示駆動部224、右光学像表示部226としての右導光板286、左光学像表示部228としての左導光板296、9軸センサー266、及び、視線センサー268を備える。
9軸センサー266は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。制御部300は、画像表示部220が使用者の頭部に装着されているとき、9軸センサー266の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部300は、9軸センサー266の検出値に基づき、画像表示部220の傾きの大きさと傾きの向きを推定できる。
インターフェイス225は、右コード242と左コード244とが接続されるコネクターを備える。インターフェイス225は、送信部251から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)253、254に出力する。また、インターフェイス225は、表示制御部305から送信される制御信号を、対応する受信部253、254、右バックライト制御部281又は左バックライト制御部291に出力する。
また、インターフェイス225は、カメラ261、距離センサー264、9軸センサー266及び視線センサー268を接続するインターフェイスである。カメラ261の撮像データ、距離センサー264の検出結果、9軸センサー266による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果、及び、視線センサー268の検出結果は、インターフェイス225を介して制御部300に送られる。
右表示駆動部222は、上述した右バックライト283、右LCD284、及び右投写光学系285を備える。また、右表示駆動部222は、受信部253、右バックライト(BL)221を制御する右バックライト(BL)制御部201、及び、右LCD284を駆動する右LCD制御部282を備える。
受信部253は、送信部251に対応するレシーバーとして動作し、制御装置210と画像表示部220との間におけるシリアル伝送を実行する。右バックライト制御部281は、入力された制御信号に基づいて、右バックライト283を駆動する。右LCD制御部282は、受信部253を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、右LCD284を駆動する。
左表示駆動部224は、右表示駆動部222と同様の構成を有する。左表示駆動部224は、上述した左バックライト293、左LCD294、及び左投写光学系295を備える。また、左表示駆動部224は、受信部254、左バックライト293を駆動する左バックライト制御部291、及び、左LCD294を駆動する左LCD制御部292を備える。
受信部254は、送信部252に対応するレシーバーとして動作し、制御装置210と画像表示部220との間におけるシリアル伝送を実行する。左バックライト制御部291は、入力された制御信号に基づいて、左バックライト293を駆動する。左LCD制御部292は、受信部254を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、左LCD294を駆動する。
なお、右バックライト制御部281と、右LCD制御部282と、右バックライト283と、右LCD284とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部291と、左LCD制御部292と、左バックライト293と、左LCD294とを総称して、左の「画像光生成部」とも呼ぶ。
このように構成される表示システム1において、HMD200は表示装置、及び第1表示装置に相当し、プロジェクター100Aは第2表示装置に相当する。HMD200が備える画像表示部220は第1表示部に相当し、通信部277は第1通信部に相当し、制御部300は制御部及び第1制御部に相当し、カメラ261は撮像部に相当する。
また、プロジェクター100Aの操作検出部35は操作検出部に相当し、通信部13は第2通信部に相当し、撮像部15は第2撮像部に相当し、制御部30は第2制御部に相当し、投射部20は第2表示部に相当する。また、記憶部50は第2記憶部ということができる。表示領域DAは第2表示領域に相当し、撮像範囲PAは検出領域に相当する。
図7は、表示システム1の動作を示すフローチャートであり、(A)はプロジェクター100Aの動作を示し、(B)はHMD200の動作を示す。図7には、1台のプロジェクター100Aと、1台のHMD200とが動作する例を示す。
HMD200では、撮像制御部313がカメラ261を制御して撮像を実行して撮像画像データを取得する(ステップS21)。
作業情報生成部315は、ステップS21の撮像画像データを含む作業情報を生成し、このデータを通信制御部311がプロジェクター100Aに送信する(ステップS22)。ステップS22で、作業情報生成部315は、入力情報取得部270により検出した操作に関するデータを作業情報に含めてもよい。
プロジェクター100Aでは、HMD200から送信された作業情報を、通信制御部33が受信し、受信した作業情報を受信情報処理部34が解析する(ステップS11)。受信情報処理部34は、受信した作業情報から撮像画像のデータを抽出して、投射制御部32により、撮像画像を表示させる(ステップS12)。また、通信制御部33が受信した作業情報に操作に関するデータが含まれる場合、受信情報処理部34は、操作に関する情報を撮像画像に重ねて表示するデータを生成し、投射制御部32に表示させてもよい。
プロジェクター100Aでは、援助者UAの操作によりコンテンツが選択され(ステップS13)、援助者UAが被援助者UBに指示等をするための操作が行われる(ステップS14)。ステップS13では、例えば、テキストと画像を含む支援用のコンテンツが選択される。ステップS14では、例えば、通信制御部33が受信して表示中の画像について、被援助者UBに注目させる位置を指し示す操作が行われる。ステップS14の操作は、リモコン受光部18または操作パネル19の操作、或いは、援助者UAがプロジェクター100Aの前方で指示体を動かす操作である。この操作は操作検出部35により検出され(ステップS15)、操作検出部35は検出した操作のデータを生成する。
操作検出部35は、検出した操作の操作位置や操作の軌跡を、表示中のHMD200の撮像画像に対応付けるデータを生成する(ステップS16)。これにより、被援助サイトBの表示領域DAにおいて特定の位置を示すデータが得られる。送信画像取得部37は、ステップS14の操作中に撮像部15が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部50から送信画像データ54を読み出して、送信画像を取得する(ステップS17)。
指示情報生成部38は、送信画像取得部37が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をHMD200の撮像画像と対応付けるデータとを含む指示情報を生成して送信する(ステップS18)。
ここで、指示情報生成部38は、援助者UAの視点または視線方向を示す画像のデータ、または当該画像を表示するために必要な座標や方向のデータを含む指示情報を生成する。このデータの具体例は、例えば、援助者UAが使用する指示体の画像のデータや、指示体の向き及び位置を示すデータが挙げられる。この場合の指示体は向きが明らかに判別できる程度の大きさ、形状を有することが好ましい。
制御部30は、動作の終了条件が成立したか否かを判定し(ステップS19)、終了条件が成立していない場合は(ステップS19;NO)、ステップS11に戻る。また、終了条件が成立した場合は(ステップS19;YES)、本処理を終了する。終了条件は、例えばリモコン受光部18または操作パネル19の操作により、動作終了やプロジェクター100Aのシャットダウンが指示されること等が挙げられる。
HMD200は、プロジェクター100Aが送信する指示情報を通信制御部311で受信し(ステップS23)、受信した指示情報を受信情報解析部317が解析して画像データを抽出する(ステップS24)。次いで、表示位置算出部321が各画像データに基づいて画像を表示する位置を算出する(ステップS25)。さらに、表示情報生成部325が、算出した表示位置に画像を配置した表示情報を生成して、画像処理部303及び表示制御部305により表示させる(ステップS26)。
制御部300は、動作の終了条件が成立したか否かを判定し(ステップS27)、終了条件が成立していない場合は(ステップS27;NO)、ステップS22に戻る。また、終了条件が成立した場合は(ステップS27;YES)、本処理を終了する。終了条件は、例えば操作部279の操作により、動作終了やHMD200のシャットダウンが指示されること等が挙げられる。
図8は、表示システム1における表示例を示す図であり、(A)はプロジェクター100Aの表示例を示し、(B)はHMD200の表示例を示す。また、(C)はプロジェクター100Aの別の表示例を示す。なお、図8(B)は被援助者UBの右眼の視野の例を示しており、左眼の視野は各図と同一または左右対称であるため図示を省略する。また、図8(B)の表示例は被援助者UCが装着するHMD200においても同様である。
ここで、指示情報生成部38が生成する指示情報(案内情報)において、操作と作業情報とを関連付ける情報、或いは、作業情報に含まれる撮像画像に対応付ける情報の具体的な態様は、特に制限されない。上記の例では、操作位置や操作の軌跡をHMD200の撮像画像と対応付けるデータとして説明したが、単に操作位置や操作の軌跡そのものを上記情報としてもよい。また、ファイル名による対応付け、データのタイプ、ID、属性、位置等により、操作位置や操作の軌跡をHMD200の撮像画像と対応付けるデータであってもよく、結果として対応を認識できる情報であればよい。
図8(A)に示すように、プロジェクター100Aは、作業台Tの表示領域DAに画像を表示する。図8(A)の例では表示領域DAに、援助者用画面402が表示される。援助者用画面402は、OS31の機能やOS31上で動作するアプリケーションプログラムの機能により表示される画面であり、図8(A)の例ではファイル及びフォルダーの操作に係る画面である。
プロジェクター100Aは、HMD200から作業情報を受信した場合に、図8(A)に示すようにHMD200の撮像画像を表示する(図7のステップS12)。表示領域DAには撮像画像を含む援助者用画面402が表示される。援助者用画面402は、ステップS21でHMD200により撮像された撮像画像403を含み、撮像画像403には作業対象物OBの画像404が含まれる。つまり、図8(A)の表示により、援助者UAは、被援助サイトBで被援助者UBの視界(視野)に作業対象物OBがあることを知ることができる。
撮像画像403は、OS31の機能やOS31上で動作するアプリケーションプログラムの機能により表示される画面に重ねて表示される。投射制御部32は、HMD200から作業情報を受信した場合、HMD200から作業情報を受信する前に表示していた画面に重ねて、撮像画像403を表示できる。
また、表示領域DAには、撮像境界線BLが表示される。撮像境界線BLの内側が、プロジェクター100Aが撮像する撮像範囲PAであるから、援助者UAは撮像範囲PAに指示体が位置するように操作を行う。
図8(A)の例で、指示体2は援助者UAの手である。援助者UAは、表示領域DAに表示される作業対象物OBの画像404に対し、例えば、指示体2で指し示す操作を行う。プロジェクター100Aは、操作検出部35により指示体2が指示する指示位置405を検出し、指示位置405と、表示領域DAに表示中の撮像画像との相対位置を算出する。プロジェクター100Aは、指示情報生成部38により、指示体2の指示位置405に関するデータと、指示体2の向きに関するデータとを含む指示情報を生成する。
上述のように、指示情報生成部38が生成する指示情報は、援助者UAの視点または視線方向を示す画像のデータ、または当該画像を表示するために必要な座標や方向のデータを含む。図8(A)の操作が行われた場合、指示情報生成部38は、指示体2が指示する位置と指示体2の向きとが明らかになる指示情報を生成する。
図8(B)に示す被援助者の視野VRB1では、ハーフミラー286A(図5)に相当する領域が表示領域451となり、表示領域451に、右LCD284(図5)に描画される画像が表示される。ハーフミラー286Aは外景を透過するので、被援助者の視野にある作業対象物OBが表示領域451越しに視認される。そして、表示領域451には、指示画像421が表示される。指示画像421は、援助者が指示体2で指し示した指示位置405を示すマーク、及び、指示体画像422を含む。指示体画像422は、指示位置405を、援助者UAが指示体2で指し示した場合と同じ向きで表示される画像であり、図8(B)の例ではプロジェクター100Aが撮像部15で撮像した撮像画像を利用している。指示位置405を示すマーク、及び、指示体画像422は、作業対象物OBに重なるように表示される。また、指示体画像422は、HMD200が、図7のステップS23でプロジェクター100Aから受信する指示情報に含まれる画像データに基づき表示する画像であってもよい。この場合、指示位置405の位置及び指示体の向きは、指示情報に含まれるデータで指定され、このデータに基づきHMD200が指示体画像422を表示してもよい。
図2に示したように、プロジェクター100Aは作業台Tに固定されて表示領域DAに画像を投射するが、援助者UAの位置は、図2のようにプロジェクター100Aに対向する位置に限定されない。援助者UAは、作業台Tに対して任意の方向から手等を伸ばして作業を行える。また、被援助者UBは、両手を自由に使えるハンズフリーの状態で、位置の制約なく、HMD200が表示する画像を見ながら作業対象物OBに対して作業を行える。
このため、援助者UAが表示領域DAを見る方向と、被援助者UBがHMD200の画像を視認する方向とが、一致するとは限らない。そこで、表示システム1では、援助者UAが行った操作や指示に関する画像等をHMD200で表示する場合、援助者UAが操作や指示を行ったときの援助者UAの位置や視点、或いは視線方向を反映するように、表示することが好ましい。図8(B)の例では、指示位置405を示す画像や記号(マーク)を表示するだけでなく、指示位置405を指し示したときの援助者UAの身体の向きを、被援助者UBが把握できる方が、より正確な指示或いは案内を行える。このため、プロジェクター100Aは、操作を行う援助者UAの視点または視線方向を示す画像(例えば、図8(B)の指示体画像422)を表示するためのデータを指示情報に含めて送信する。また、HMD200は、指示情報に基づき、操作を行う援助者UAの視点または視線方向を示す画像を表示する。図8(B)の例では、位置および方向を把握できる指示体画像422が、指示位置405に対応する位置に、援助者UAの操作に対応する方向で、表示される。
このように、表示システム1では、プロジェクター100Aが、HMD200の撮像画像を含む援助者用画面402を表示するので、援助者UAは、被援助者UBの作業環境を見ながら作業に関する指示等を行うことができる。また、援助者UAが指示体2で指示した指示位置、及び、指示を行ったときの援助者UAの視点または視線方向を示すデータを含む指示情報がHMD200に送信される。このため、被援助者UBは、HMD200により援助者UAの指示あるいは操作の位置、内容、様子を見ることができ、この場合の援助者UAの視点または視線方向を知ることができる。
さらに、HMD200は、実空間の物体である作業対象物OBの位置に対応する位置に、指示位置405を示すマークと指示体画像422とを含む指示画像421を表示する。指示画像421が含むマーク、或いは指示体画像422の表示位置は、表示位置算出部321が作業対象物OBの位置を特定し、特定した作業対象物OBの位置に対応して決定する位置である。従って、作業対象物OBに重なって、或いは作業対象物OBに対応する位置に、情報を表示することで、一種のAR(Augmented Reality、拡張現実)としての表示効果を得ることができる。ここで、指示体画像422を表示するための画像データをHMD200の記憶部340に記憶しておき、プロジェクター100AがHMD200に送信する指示情報に、HMD200が記憶する画像を指定するデータを含めても良い。
また、HMD200は、図8(B)に示すように、表示領域451に、カメラ261により撮像可能な範囲の境界を示す撮像境界線BLを表示してもよい。例えば、カメラ261の撮像範囲が、HMD200越しに視認できる外景(実空間)の視野VRB1よりも狭い場合、被援助者UBに対してカメラ261の撮像範囲を報せるために、撮像境界線BLを表示してもよい。この場合、被援助者UBは、カメラ261の撮像範囲を意識して、例えば、作業対象物OBが撮像範囲に収まるような視点で作業を行うことができる。従って、HMD200がプロジェクター100Aに送信する作業情報に含まれる撮像画像に、作業対象物OBや、被援助者UBの手等が確実に含まれるようになるという利点がある。なお、HMD200においてカメラ261の撮像範囲が、被援助者UBの視野VRB1を含む場合、被援助者UBは視野VRB1に作業対象物OBや手が視認されるように作業を行えばよいので、撮像境界線BLを表示しなくてもよい。言い換えれば、撮像境界線BLは必須ではなく、カメラ261の撮像範囲(画角)の仕様等により、視野VRB1の少なくとも一部が撮像範囲に含まれない場合に、撮像境界線BLを表示してもよい。
また、カメラ261により光学的に、或いは、制御部300がカメラ261の撮像画像データを処理することにより、ズーム機能を利用し、ズームされた撮像画像データに基づき、プロジェクター100Aに送信する作業情報が生成されることがある。この場合、ズーム倍率を高めるほど、撮像画像データに含まれる範囲、すなわち撮像範囲が狭くなるので、撮像範囲が視野VRB1の全体を含まない場合に、撮像境界線BLを表示してもよい。つまり、カメラ261の撮像画像に対するズーム機能により、撮像範囲が変化する場合に、撮像範囲と視野VRB1との相対的な状態に基づき撮像境界線BLを表示してもよい。
図1に示したように、表示システム1は、複数のHMD200を通信ネットワーク4に接続して使用できる。この場合、プロジェクター100Aでは、複数のHMD200から作業情報を受信して表示できる。この場合の表示例を図8(C)に示す。
図8(C)はプロジェクター100Aが2つのHMD200から受信した作業情報に基づく画像を表示する例を示す。図8(C)の例では、表示領域DAに、撮像画像を表示する2つの表示領域409、410が配置される。表示領域409には一方のHMD200が送信した作業情報に基づく画像が表示される。また、表示領域410には他方のHMD200が送信した作業情報に基づく画像が表示される。これら表示領域409、410に表示された画像に対し、指示体2による指示が行われた場合、プロジェクター100Aは、指示された位置に対応する作業情報を送信したHMD200に対して、指示情報を生成して送信する。
表示システム1が複数のHMD200を含む場合に、いずれかのHMD200にプロジェクター100Aが送信する指示情報を、他のHMD200に送信してもよい。つまり、複数のHMD200に同内容の指示情報を送信してもよい。この場合、いずれかのHMD200が図7(B)のステップS22でプロジェクター100Aに送信する作業情報に対応して、プロジェクター100Aが指示情報を生成すると、この指示情報がHMD200にも送信される。この例では、いずれかの被援助者UBに対して送信した指示情報の内容を、他の被援助者(例えば、被援助者UC)が知ることができる。
以上説明したように、本発明を適用した第1実施形態に係る表示システム1は、HMD200及びプロジェクター100Aを備える。HMD200は、画像を表示する画像表示部220と、カメラ261と、プロジェクター100Aと通信を実行する通信部277とを備える。HMD200は、制御部300の制御に従って、通信部277によりプロジェクター100Aから指示情報を受信し、指示情報に基づく画像を画像表示部220により表示する。プロジェクター100Aは、表示領域DAに画像を表示する投射部20と、HMD200と通信を実行する通信部13と、操作を検出する操作検出部35とを備える。プロジェクター100Aは、制御部30の制御により、操作検出部35が検出する操作を示す情報を含む指示情報を生成して、通信部13で送信する。HMD200は、制御部300の制御により、プロジェクター100Aから受信する指示情報に基づいて、プロジェクター100Aの操作検出部35が検出した操作に対応する画像を表示する。さらに、HMD200は、操作を行う援助者UAの視点または視線方向を示す画像を画像表示部220により表示する。
このように構成される表示システム1、HMD200、及び、表示システム1を利用した情報表示方法を実行することにより、次の作用効果が得られる。すなわち、HMD200によって、プロジェクター100Aにおいて行われる操作に関する画像を表示するので、援助者UAがプロジェクター100Aを操作することで、被援助者UBに対して情報を提供できる。また、HMD200が表示する画像や情報において、援助者UAがプロジェクター100Aで行う操作等の向きを案内することができるので、被援助者UBが画像や情報の向きを誤解することがない。従って、援助者UAから被援助者UBに対し、適切に情報を提供できる。
また、プロジェクター100Aの制御部30は、操作検出部35が検出する操作を、当該操作を行う援助者UAの視点または視線方向を基準として示す情報を含む指示情報を生成する。これにより、プロジェクター100Aの操作について、援助者UAの視点または視線方向を基準とする情報がHMD200に送信されるので、被援助者UBに対して援助者UAの視点または視線方向を案内できる。
また、HMD200の画像表示部220は、被援助者UBの視野VRB1において、作業対象物OBが配置される対象配置領域を含む表示領域451に画像を表示する。制御部300は、視野VRB1に配置される作業対象物OBに対応する位置に画像を表示する。これにより、作業対象物OBに対応する位置に画像を表示し、この画像の適正な向きを案内することができる。このため、作業対象物OBに関連する情報を効果的に提供できる。
HMD200のカメラ261は、作業対象物OBが配置される対象配置領域の少なくとも一部を含む撮像範囲を撮像する。制御部300は、表示位置算出部321により、カメラ261の撮像画像に基づいて、作業対象物OBの位置に対応する画像の表示位置を特定する。これにより、作業対象物OBに対応する画像の表示位置を、適切な位置に決定できる。
また、制御部300は、表示領域451、或いは視野VRB1におけるカメラ261の撮像範囲を示す画像である撮像境界線BLを、画像表示部220により表示してもよい。この場合、被援助者UBがHMD200の表示画像を視認る領域において撮像範囲を認識できるので、カメラ261の撮像機能を効果的に利用できる。
また、制御部300は、カメラ261の撮像画像に基づき作業情報を生成して通信部277によりプロジェクター100Aに送信する。プロジェクター100Aの制御部30は、通信部13によりHMD200から作業情報を受信し、作業情報に基づき投射部20により画像を表示する。さらに、制御部30は、作業情報に基づく画像の表示中に操作検出部35が検出する操作を示す情報を含む指示情報を生成する。これにより、撮像画像を利用して、HMD200を装着する被援助者UBが行う作業等に関する情報を、プロジェクター100Aを使用する援助者UAに伝達できる。このため、より多くの情報を用いて、被援助者UBの作業等を支援できる。
また、プロジェクター100Aは、少なくとも操作検出部35が操作を検出する検出領域である撮像範囲PAの一部を含む範囲を撮像する撮像部15を備える。制御部30は、撮像部15の撮像画像をもとに、操作検出部35が検出する操作を示す情報を生成して、生成した情報を含む指示情報を生成する。これにより、プロジェクター100Aの撮像範囲で行われる操作の撮像画像等を、HMD200によって表示できる。このため、援助者UAが被援助者UBに対し、作業等に関するより詳細な情報を提供できる。
また、制御部30は、操作検出部35が検出する操作に対応する指示体の画像を含む指示情報を生成してもよい。この場合、プロジェクター100Aで操作を行う指示体の画像をHMD200が表示できるので、プロジェクター100Aの操作の内容や向きを、より直感的にわかり易く、HMD200により表示できる。
また、制御部300は、プロジェクター100Aから受信する指示情報に基づいて、HMD200を装着する被援助者UBに対して動作を案内する画像を、画像表示部220により表示してもよい。この場合、被援助者UBに対して、動作を適切に案内できる。
表示システム1の適用例について、具体例を挙げて説明する。
表示システム1は、例えば、被援助者UBが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者UAが機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体的には、パーソナルコンピューターを作業対象物として、セットアップやアプリケーションプログラムの操作を行う場合に適用できる。また、例えば、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物として、機械の操作やメンテナンスを行う場合に適用できる。すなわち、各種機械のメンテナンスを行う被援助者UBが、ユーザーの依頼に応じて作業対象の機械の設置場所を訪問し、メンテナンスを行う場合に、習熟度の低い被援助者UBを援助者UAが支援する用途で表示システム1を使用できる。
この例において、作業対象の作業対象物OBとして、工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等を、作業台Tに設置することができる。また、これらの機器やパーソナルコンピューター等が設置された位置を、作業台Tを見なすこともできる。この場合、HMD200を装着する被援助者UBは、作業対象である工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等の設置場所において、ハンズフリーで作業を行うことができる。
このような場合、遠隔地の被援助サイトBにいる被援助者UBとサービスセンター等の援助サイトAにいる援助者UAが情報を共有し、援助サイトAの援助者UAはHMD200によりAR画像を表示させて、指示、表示の変更ができる。そして、HMD200により、援助サイトAにいる援助者UAの手や手指による操作をバーチャル画像として見せて、支援できる。この場合、援助サイトAにおいて援助者UAの前に被援助サイトBの作業対象物と同じ機器を置いて実際に操作しながら説明することも有効である。援助者UAにとっては、現場の現物の特定部位に対して位置指示操作により指示や教示を行うことができ、シンプルな操作で効率よく支援できる。
他の適用例として、プロジェクター100Aから送信する指示情報に、名刺の画像データやテキストを含めることで、被援助者UBに名刺を見せることができる。この場合、援助者UAの腕を模した画像の画像データを指示情報に含めることで、HMD200により名刺を差し出す腕を表示させて、バーチャルな名刺交換を実現できる。
この名刺交換を、援助サイトAの援助者UAと被援助サイトBの被援助者UBとの間で実行し、その後に、上記実施形態で説明した動作を実行してもよい。
さらに、プロジェクター100Aがコンテンツのデータを指示情報に含めてHMD200に送信することで、HMD200の画像表示部220に、テキストや画像を含むコンテンツを表示させることができる。この場合、コンテンツのテキストや画像の表示位置は、視野VRB1に位置する現実の作業対象物OBの位置に合わせて、作業対象物OBの視認を妨げない位置とすることが好ましい。
また、コンテンツのデータとして、音声データを指示情報に含めて、プロジェクター100AからHMD200に送信してもよい。コンテンツの音声データは、予め記憶部80に記憶されたデータであってもよいし、援助者UAの音声を音声入出力部14で集音した音声データであってもよい。この場合、HMD200は、指示情報に含まれる音声データに基づき、音声入出力部14により音声を出力する。
さらに、指示体の画像として、援助者UA役のアバターや援助者UAの実際の顔、上半身、或いは全身の画像を利用することで、作業員の代わりにコンシューマーを対象としたサービスを実現することも可能である。この場合、援助者UAはコールセンターのスタッフ、家庭教師や塾の講師スタッフ等となる。このシステムの用途は、電子機器のソフトウェアのインストールや操作の案内またはトレーニング、語学教育、資格試験等の受験指導、運手免許等の公的資格のための講習、スポーツの指導等も挙げられる。また、例えば、外国語会話の講習では、視覚的に発音を教授することができる。この場合、受講者はHMD200を使用する。この場合、講師がプロジェクター100Aを使用し、受講者がHMD200によって講師の口の形を視認できる。この場合、受講者が実空間の鏡を見れば、鏡に映る受講者の口の像と、画像表示部220により表示される講師の口の像とを重ねて、或いは比較して見ることができる。また、HMD200によって、鏡に映る受講者の口の像に重なるように、講師の口の像をAR表示してもよい。
また、学習やスポーツの指導を行う場合、指導する側が援助サイトAにおいてプロジェクター100Aを使用し、指導を受ける側がHMD200を使用する。このような場合を含み、援助サイトAは、指導或いは管理を行う者がいる「管理サイト」と呼ぶことができ、プロジェクター100Aは管理用装置といえる。また、被援助サイトB、Cは、指導や教授を受けて学習を実行する者や作業を実行する者がいる「実行サイト」と呼ぶことができ、HMD200は実行側装置といえる。
この態様では、プロジェクター100Aが画像を投射する表示領域DAを、例えば人が動き回ることが可能な程度に大きな面積とし、床面を表示領域DAとすると、より効果的である。この場合、例えばプロジェクター100Aは、床面より上方に設置され、好ましくは援助者UAよりも上方に設置されて、下向きに画像を投射し、撮像を行う構成にできる。具体的には、プロジェクター100Aを天井から吊り下げ設置すればよい。
また、HMD200がプロジェクター100Aに送信する作業情報は、案内対象情報、或いは実行側情報と呼ぶことができ、指示情報は、案内情報、指導情報、或いは、管理情報と呼ぶことができる。
指導の具体例としては、数学、英語、国語、社会科、文字の書き順等の学習課目について、指導を行う者がプロジェクター100Aを使用し、指導を受ける者がHMD200に表示される内容により教授、指導を受ける態様が考えられる。パーソナルコンピューター等の機器の操作方法をガイドする目的で使用する場合も同様である。
また、プロジェクター100A及びHMD200において、特定の情報を、ポップアップ、ブリンキング、蛍光色で表示する等して、目立つように表示してもよい。また、表示される画像の表示色や表示輝度を、作業台Tにおける作業対象物OBの視認性が高まるように変更してもよい。この場合、投射部20が投射する画像光の輝度を低下させる、画像光の色調や彩度を低くする等の手法が挙げられる。この場合、外景に対する表示画像の視認性が相対的に低下するので、この表示画像に含まれる文字や画像を補助的に見せる効果がある。また、HMD200が画像表示部220により表示する際に、表示される画像の表示色や表示輝度を、実空間の作業対象物OBの視認性が高まるように変更してもよい。この場合、右光学像表示部226及び左光学像表示部228から右眼RE及び左眼LEに入射する画像光の輝度を低下させる、画像光の色調や彩度を低くする等の手法が挙げられる。この場合、実空間に対する表示画像の視認性が相対的に低下するので、この表示画像に含まれる文字や画像を補助的に見せる効果がある。
表示システム1では、HMD200を使用する被援助者UBの作業内容等を、遠隔地のプロジェクター100Aで見ることができ、被援助者UBは、援助者UAがプロジェクター100Aの撮像範囲PAで行う位置指示操作の内容を見ることができる。HMD200は、位置指示操作の内容を、例えば指示体画像422として、AR表示する。すなわち、HMD200では、作業対象物OBに重なるように、指示体画像422が表示され、この指示体画像422と作業対象物OBとの位置により、ARとしての表示効果が期待できる。
HMD200は、AR表示の効果を高めるため、指示体画像422等を表示する際に、立体画像を表示してもよい。この場合、制御部300は、作業対象物OBの種類や作業内容に対応して、左眼用の画像と右眼用の画像との視差の方向及び大きさを決定する。制御部300の表示情報生成部325は、指示情報に基づいて視差を有する画像を生成して、表示制御部305により表示させる。また、制御部300は、距離センサー264によって、作業対象物OBまでの距離を検出してもよい。この場合、制御部300は、検出した作業対象物OBまでの距離に基づき、AR表示する指示体の画像の視差の方向及び大きさを算出してもよい。例えば、予め設定された距離条件に基づき、視差を設けてもよい。この場合、被援助者UBに対して画像が立体的に表示される。また、プロジェクター100Aが立体画像を表示して、援助者UAが立体的に画像を視認できるようにしてもよい。
また、表示システム1では、図8(B)に例示したように、制御部300が、プロジェクター100Aから受信する指示情報に基づいて、プロジェクター100Aで検出した操作の操作位置に対応して、指示体画像422を表示する。このため、プロジェクター100Aが検出する操作の位置や内容を、HMD200により、わかりやすく表示できる。
また、表示システム1では、図8(B)に例示したように、制御部300が、プロジェクター100Aから受信する指示情報に基づいて、プロジェクター100Aで検出した操作の指示位置405を示すマークと、指示体画像422とを表示する。このため、プロジェクター100Aが検出する操作の位置や内容を、HMD200により、わかりやすく表示できる。
また、表示システム1では、被援助サイトCにおいて、被援助サイトBの被援助者UBの作業操作を、遠隔地からAR画像として見ることができる。これにより、作業手順等の作業支援の内容を共有できる。
また、プロジェクター100Aにより2以上の表示領域に、プロジェクター100Aの表示とHMD200の撮像画像、或いは、2以上のHMD200の作業情報に基づく画像を表示すれば、援助者UAが多くの状況を視認できる。ここで、図8(C)に示すように、2以上の表示領域に2以上のHMD200に対応する画像を表示する場合、各表示領域におけるポインター等の形状、色を変えることで、各表示領域の混同を防止する構成も考えられる。
その他、表示システム1の適用範囲は何ら制限されず、他の用途への利用も勿論可能である。
[第2実施形態]
図9及び図10は、第2実施形態における表示システム1の動作を示すフローチャートである。図9(A)はプロジェクター100Aの動作を示し、図9(B)はHMD200の動作を示す。また、図11は、第2実施形態におけるプロジェクター100A及びHMD200の表示例を示す図である。
第2実施形態の表示システム1は、上記第1実施形態で説明した表示システム1と同様に構成されるため、表示システム1の各部の構成について図示及び説明を省略する。また、図9(A)、(B)のフローチャートにおいて第1実施形態で説明した動作(図7(A)、(B))と共通する動作については、同一のステップ番号を付す。
第2実施形態では、HMD200のカメラ261で撮像した撮像画像を含む作業情報がプロジェクター100Aに送信され、プロジェクター100Aで表示される点等は第1実施形態と同様である。第2実施形態では、プロジェクター100Aで行われる位置指示操作により、HMD200の動作を制御することができる。
図10(A)に示すプロジェクター100Aの動作において、ステップS11〜S17は上記第1実施形態で説明した通りである。
ステップS17において、送信画像取得部37が送信画像を取得した後、リモコン受光部18または操作パネル19の操作により、HMD200に対するメニュー操作を行うか否かが指定される(ステップS31)。そして、指示情報生成部38は、メニュー操作を行うか否かを指定するデータを含む指示情報を生成し、HMD200に送信する(ステップS32)。ステップS32で生成される指示情報は、送信画像取得部37が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をHMD200の撮像画像と対応付けるデータとを含む。
図10(B)に示すHMD200の動作において、ステップS21〜S26及びステップS27は上記第1実施形態で説明した通りである。
HMD200は、ステップS26において、プロジェクター100Aが送信する指示情報を通信部277で受信し、この指示情報に基づく表示情報を表示情報生成部325により生成して、画像処理部303及び表示制御部305により表示する。その後、HMD200は、操作検出処理を実行する(ステップS35)。
図11は、HMD200が実行する操作検出処理を詳細に示すフローチャートである。
この操作検出処理において、HMD200の操作検出部323は、ステップS24で受信した指示情報から、メニュー操作を行うか否かを指定するデータを抽出し、このデータに基づきメニュー操作を行うか否かを判定する(ステップS41)。メニュー操作を行わないと判定した場合は(ステップS41;NO)、図10(B)のステップS27に移行する。
メニュー操作を行うと判定した場合(ステップS41;YES)、操作検出部323は、メニュー画像の表示位置を決定し、メニュー画像を表示する(ステップS42)。ここで、メニュー画像の表示位置は、プロジェクター100Aが送信する指示情報に含まれるデータで指定されてもよいし、予め設定された位置であってもよい。また、操作検出部323が自動的に位置を決定してもよい。次いで、操作検出部323は、指示情報から操作位置を示すデータを取得し(ステップS43)、取得した操作位置がメニュー画像に対応する位置であるか否かを判定する(ステップS44)。
ここで、操作位置がメニュー画像に対応する位置でないと判定した場合(ステップS44;NO)、制御部300はステップS27に移行する。
操作検出部323は、操作位置がメニュー画像に対応する位置である場合(ステップS44)、メニュー画像に対する操作を検出する(ステップS45)。このステップS45で、操作検出部323は、メニュー画像に配置される複数のアイコン等の操作用画像のうち、操作位置に対応する操作用画像を特定する。制御部300は、操作検出部323が特定した操作用画像に対応付けられた動作を実行し(ステップS46)、当該動作の後にステップS27に移行する。
図11(A)はプロジェクター100Aの表示例を示し、図11(B)は(B)はHMD200の表示例であり、HMD200を装着する被援助者の視野VRB1を示す。図11(C)はプロジェクター100Aの別の表示例を示す。
図11(A)に示すプロジェクター100Aの表示例では、表示領域DAに、HMD200の撮像画像403が表示される。リモコン受光部18または操作パネル19の操作により、メニュー操作を行うことが指定された場合、プロジェクター100Aは、表示領域DAにメニュー画像411を表示する。
メニュー画像411は、プロジェクター100Aに対する操作を行う画像ではなく、HMD200に対する操作を行うために表示される画像である。メニュー画像411は、例えば、ボタン形状の複数のアイコン(操作用画像)を含む。各アイコンには、それぞれ、HMD200で実行する動作が対応付けられる。この種の動作としては、例えば、表示拡大/縮小、描画開始/終了、描画する図形の指定、描画色の指定等が挙げられる。メニュー画像411は、操作時表示制御部36がメニュー画像データ53に基づいて表示させる。
メニュー画像411に対して指示体2による操作が行われると、操作検出部35が操作を検出し、操作位置を特定する。また、操作検出部35は、操作時のメニュー画像411及びメニュー画像411に含まれるアイコン等の操作部の位置を取得する。指示情報生成部38は、指示情報生成部38がメニュー画像411を表示させた状態で、操作検出部35が操作を検出した場合、メニュー操作を指示するデータを、指示情報に含ませる。また、指示情報生成部38は、操作検出部35が検出した操作の操作位置と、操作検出部35が取得したメニュー画像411等の位置を含む指示情報を生成する。
これにより、プロジェクター100AからHMD200に対し、援助者UAがプロジェクター100Aで行った操作の操作位置と、操作時のメニュー画像411等の位置と、メニュー操作を指定するデータとを含む指示情報が送信される。HMD200の表示位置算出部321は、メニュー画像411等の位置に合わせて、図11(B)に示すようにメニュー画像471を表示させる。なお、メニュー画像471が有するアイコン等の操作部の配置は、プロジェクター100Aにおけるメニュー画像411と同一または類似していることが好ましい。このため、プロジェクター100Aが生成し送信する指示情報には、メニュー画像411の種類や構成を指定するデータを含めてもよい。表示位置算出部321は、指示情報に基づいて指示体画像422を表示する。指示検出部67は、指示体画像422の表示位置が、メニュー画像471のアイコン等の操作部の表示位置に重なる場合、指示検出部319は当該操作部に対する操作を検出する。
従って、援助者UAがプロジェクター100Aにおいて指示体2で位置指示操作を行うと、この位置指示操作に対応して、HMD200が操作を検出し、この操作に対応する動作をHMD200に実行させることができる。このため、援助者UAがHMD200を遠隔操作することが可能となる。
また、表示システム1が複数のHMD200を含んで構成される場合、プロジェクター100Aは、複数のHMD200から作業情報を受信してもよく、複数のHMD200から受信した作業情報に基づく表示を行ってもよい。
図11(C)はプロジェクター100Aが2つのHMD200から受信した作業情報に基づき撮像画像を表示する例を示す。表示領域DAに配置された表示領域409、410のうち、メニュー画像による操作の対象となる側の表示領域(ここでは表示領域409)にはメニュー画像413が表示される。このメニュー画像413の位置に合わせて指示体2を用いた操作が行われると、表示領域409に対応するHMD200に対し、操作位置とメニュー画像413等の位置とを含む指示情報が送信される。また、表示領域409に対する操作中、表示領域DAには、他のHMD200の作業情報に基づく表示が継続される。
また、本実施形態の表示システムが複数のHMD200を含む場合、いずれかのHMD200にプロジェクター100Aが送信する作業情報を、他のHMD200に送信してもよい。例えば、被援助サイトBの被援助者UBが装着するHMD200に対しプロジェクター100Aが送信する作業情報を、被援助サイトCの被援助者UCが装着するHMD200に送信してもよい。この場合、被援助者UBが装着するHMD200が、例えば図11(B)に示すように表示領域DBに表示する内容を、被援助者UCが装着するHMD200により表示できる。
この場合、被援助者UCの視野に作業対象物OBがあるとは限らない。このため、被援助者UCが装着するHMD200は、指示体画像やメニュー画像とともに、被援助者UBが装着するHMD200がカメラ261により撮像した作業対象物OBの撮像画像を表示してもよい。
また、この場合、被援助者UCが装着するHMD200は、プロジェクター100Aによる操作の対象とならなくてもよい。すなわち、被援助者UBが装着するHMD200は指示情報に基づき動作を実行し、被援助者UCが装着するHMD200は、指示情報に基づく表示を行うが指示情報による制御がされない構成としてもよい。この場合、被援助者UCが装着するHMD200は指示体2の操作に対応した動作を実行しなくてもよい。
或いは、被援助者UCが装着するHMD200が、被援助者UBが装着するHMD200と同様に、指示体2の操作に対応した動作を行ってもよい。この場合、援助者UAが、プロジェクター100Aを用いて、複数のHMD200を遠隔操作して、動作を実行させることができる。
また、HMD200の制御部300は、通信部277で受信した指示情報に含まれる操作を示す情報に基づき、HMD200に対する操作を検出する。より具体的には、制御部300は、画像表示部220によりGUI操作用の画像であるメニュー画像471を表示させる。指示検出部319は、メニュー画像471の表示位置と、通信部277が受信した指示情報に含まれる操作位置とに基づいて操作を検出する。このため、プロジェクター100Aで位置指示操作を行うことにより、HMD200に対するGUI操作を行い、HMD200を制御できる。
[第3実施形態]
図12は、第3実施形態における表示システム1の動作を示すフローチャートである。図12(A)はプロジェクター100Aの動作を示し、図12(B)はHMD200の動作を示す。
第3実施形態の表示システム1は、上記第1実施形態で説明した表示システム1と同様に構成されるため、表示システム1の各部の構成について図示及び説明を省略する。また、図12(A)、図12(B)のフローチャートにおいて第1実施形態で説明した動作(図7(A)、(B))と共通する動作については、同一のステップ番号を付す。
第3実施形態では、HMD200のカメラ261で撮像した撮像画像を含む作業情報がプロジェクター100Aに送信され、プロジェクター100Aで表示される点は第1実施形態と同様である。第3実施形態では、プロジェクター100Aの位置指示操作により、HMD200が撮像した撮像画像を編集し、編集した撮像画像をHMD200が受信して表示する。
図12(A)に示すプロジェクター100Aの動作において、ステップS11〜S15は上記第1実施形態で説明した通りである。第3実施形態の表示システム1では、ステップS14においてコンテンツに対応する操作が行われ、この操作を操作検出部35が検出した後、さらに、表示中の撮像画像に対する操作を行うことができる(ステップS51)。
操作検出部35は、撮像画像に対する操作を検出し(ステップS52)、ステップS15及びS52で検出した操作を撮像画像に対応付ける(ステップS53)。具体的には、操作検出部35は、ステップS15で検出した操作位置を、撮像画像に対する相対位置として示すデータを生成する。また、操作検出部35は、ステップS52で検出した操作により編集された撮像画像のデータを生成する。
続いて、送信画像取得部37が送信画像を取得し(ステップS54)、指示情報生成部38は、送信画像取得部37が取得した指示体の画像の画像データと、操作検出部35が生成したデータとを含む指示情報を生成して送信する(ステップS55)。送信画像取得部37が送信画像を取得する処理は、例えばステップS17と同様の処理である。
また、図12(B)に示すHMD200の動作は、上記第1実施形態で説明した通りである。すなわち、HMD200は、プロジェクター100Aが送信する指示情報を受信し(ステップS23)、受信した指示情報を受信情報解析部317が解析して画像データを抽出する(ステップS24)。このステップS24では、プロジェクター100Aにおいて編集された、HMD200の撮像画像データ、及び、指示体の画像データが抽出される。次いで、表示位置算出部321が画像を表示する位置を算出し(ステップS25)、表示情報生成部325が表示情報を生成して、画像処理部303及び表示制御部305により表示させる(ステップS26)。
この第3実施形態の表示システム1によれば、制御部30が、HMD200から受信した作業情報が撮像画像を含む場合に、この撮像画像を投射部20に表示させ、撮像画像の表示中に操作検出部35が検出する操作に基づいて撮像画像を編集する。そして、編集後の撮像画像を含む指示情報を生成してHMD200に送信する。HMD200は、編集された撮像画像を含む指示情報を受信して、編集された撮像画像を画像表示部220により表示する。
これにより、援助者UAが、被援助者UBの視野にある作業対象物OBに対応する操作や作業を仮想的に行い、この操作HMD200を装着する被援助者UBに対し、作業対象物OBに対する援助者UAの操作や作業を見せることができる。このため、作業対象物OBに対する作業に関して、援助者UAが被援助者UBに対し、より多くの情報を提供できる。
また、第3実施形態では、HMD200が撮像した撮像画像をプロジェクター100Aで編集する例を説明した。この他に、例えば、HMD200からプロジェクター100Aに文書データや図面データを送信し、この文書データや図面データをプロジェクター100Aで編集してもよい。この場合、編集後の文書データや図面データがHMD200に送信され、プロジェクターHMD200は、編集後の文書データや図面データに基づき表示を行う。これにより、文書の編集や図面作成・編集の作業に関して、援助者UAが編集を行って、被援助者UBに対し、いわゆる手本を見せることができる。
[第4実施形態]
図13は、本発明を適用した第4実施形態に係る表示システム1Aの構成を示す図である。
表示システム1Aは、援助サイトAのプロジェクター100Aと、被援助サイトBのHMD200とが通信ネットワーク4に接続される。さらに、表示システム1Aは、援助サイトA´で使用される複数のプロジェクター100Aを備える。援助サイトA´は、援助サイトAと同様に援助者UAまたは援助者UAと同様の立場のユーザーが使用するプロジェクターであり、上記第1〜第3実施形態で説明した例と同様に構成される。
表示システム1Aでは、援助サイトA及び援助サイトA´の複数のプロジェクター100Aが、いずれも、通信ネットワーク4を介してHMD200と通信可能である。
具体的には、複数のプロジェクター100AがHMD200と同時に通信を実行可能な構成としてもよい。或いは、プロジェクター100AがHMD200と通信する間はHMD200を占有し、時分割で複数のプロジェクター100Aが順にHMD200と通信する構成としてもよい。また、それぞれのプロジェクター100AとHMD200との通信を制御するサーバー装置(図示略)を通信ネットワーク4に接続してもよい。
表示システム1Aでは、複数のプロジェクター100Aが図7(A)の動作を実行し、HMD200が、複数のプロジェクター100Aに対して図7(B)に示した動作を実行する。
HMD200は、撮像制御部313によりカメラ261を制御して撮像を実行して撮像画像データを取得する(ステップS21)。HMD200は、作業情報生成部315により作業情報を生成し、作業情報のデータを通信制御部311によって、複数のプロジェクター100Aに送信する(ステップS22)。
複数のプロジェクター100Aのそれぞれは、HMD200から送信される作業情報を、通信制御部33により受信し、受信した作業情報を受信情報処理部34により解析する(ステップS11)。受信情報処理部34は、受信した作業情報から撮像画像のデータを抽出して、投射制御部32により、撮像画像を表示させる(ステップS12)。これにより、援助サイトA、A´において、各々のプロジェクター100Aが、HMD200の撮像画像を表示する。
プロジェクター100Aでは、援助者UAの操作によりコンテンツが選択され(ステップS13)、援助者UAが被援助者UBに指示等をするための操作が行われる(ステップS14)。
本実施形態の適用例として、HMD200を装着する被援助者UBが実行する作業について、複数の援助者UAが、指示あるいは支援を行う例が挙げられる。例えば、プロジェクター100Aを使用する複数の援助者UAと被援助者UBとが参加者として、ブレインストーミングを行い、被援助者UBが、書記としてホワイトボードや台紙への記入をする場合を挙げる。この場合、それぞれの援助者UAが、被援助者UBに対して、記入を行うアイデアの内容の伝達、記入する位置に関する指示を行う。
ステップS13では、例えば、テキストと画像を含む支援用のコンテンツが選択される。このコンテンツが含むテキストは、援助者UAが発する音声を制御部30が音声認識により生成したテキストである。また、このコンテンツが含む画像は、アイデアの記入位置や記入形態の指示に用いられる画像である。ステップS14では、例えば、アイデアの記入位置を指示する操作が行われる。ステップS14の操作は、リモコン受光部18または操作パネル19の操作、或いは、援助者UAがプロジェクター100Aの前方で指示体を動かす操作である。この操作は操作検出部35により検出され(ステップS15)、操作検出部35は検出した操作のデータを生成する。
操作検出部35は、検出した操作に基づいて、表示中の画像であるHMD200の撮像画像に対応付けるデータを生成する(ステップS16)。送信画像取得部37は、ステップS14の操作中に撮像部15が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部50から送信画像データ54を読み出して、送信画像を取得する(ステップS17)。
指示情報生成部38は、送信画像取得部37が取得した画像データと、コンテンツのデータと、操作の内容を示すデータと、操作位置をHMD200の撮像画像と対応付けるデータとを含む指示情報を生成して送信する(ステップS18)。
制御部30は、動作の終了条件が成立したか否かを判定し(ステップS19)、終了条件が成立していない場合は(ステップS19;NO)、ステップS11に戻る。また、終了条件が成立した場合は(ステップS19;YES)、本処理を終了する。終了条件は上述した通りである。
HMD200は、プロジェクター100Aが送信する指示情報を通信制御部311で受信し(ステップS23)、受信した指示情報を受信情報解析部317が解析して、画像データやテキストデータを抽出する(ステップS24)。抽出されたデータに基づき、表示位置算出部321が、画像やテキストを表示する位置を算出する(ステップS25)。さらに、表示情報生成部325が、算出した表示位置に画像やテキストを配置した表示情報を生成して、画像処理部303及び表示制御部305により表示させる(ステップS26)。
制御部300は、動作の終了条件が成立したか否かを判定し(ステップS27)、終了条件が成立していない場合は(ステップS27;NO)、ステップS22に戻る。ステップS23で、HMD200は、複数のプロジェクター100Aから指示情報を受信可能である。HMD200は、指示情報を受信するごとに、ステップS23〜S26の動作を実行する。このため、終了条件が成立していない場合(ステップS27;NO)に、制御部300は、ステップS23に戻って、他の指示情報の受信を待機してもよい。終了条件が成立した場合(ステップS27;YES)、制御部300は、本処理を終了する。
このように、表示システム1Aでは、複数の援助者UAがプロジェクター100Aを利用して、被援助者UBが装着するHMD200との通信を実行することにより、それぞれの援助者UAが被援助者UBに対して情報を送ることができる。
従って、援助サイトA、A´及び被援助サイトBを含む多地点における同時作業のような運用が可能となる。上記のブレインストーミングの例のように、援助サイトA、A´及び被援助サイトBを含む多地点間の遠隔地会議を実現できる。この例では、それぞれの援助者UAの指示により、被援助者UBが、会議を進行させ、連関図や系統図を並び替えて作成する作業を行うことができる。
[第5実施形態]
図14は、第5実施形態における表示システム1Bの概略構成を示す図である。
この図14に示す表示システム1Bは、援助サイトAだけでなく、被援助サイトB、Cにおいてもプロジェクターを使用する。被援助サイトB、Cに設置されるプロジェクターは、被援助者UB、UC用のプロジェクター100Bであり、基本的な構成はプロジェクター100Aと共通である。以下では、プロジェクター100A、100Bを区別する必要のない場合、プロジェクター100と記載する。
プロジェクター100Bは、通信ネットワーク4に接続され、通信ネットワーク4を介してプロジェクター100Aと相互にデータ通信可能である。プロジェクター100Bは、例えばHMD200と同様に、無線アクセスポイントを介して通信ネットワーク4に接続されてもよい。
表示システム1Bは、作業を行う被援助者UBがプロジェクター100Bを使用し、被援助者UBに対して指示や管理を行う援助者UAがプロジェクター100Aを使用する。援助者UAと被援助者UBの間で指示や管理のための情報を送受信することにより、援助者UAが被援助者UBに対して、作業の手順や内容に関する情報の提供、作業の支援を可能とする。
援助者UAはプロジェクター100Aの操作者であり、被援助者UBはプロジェクター100Bの操作者に相当する。
図14に示すように、表示システム1Bは、被援助サイトCの被援助者UCが使用するプロジェクター100Bを備え、複数のプロジェクター100Bを含む構成であってもよい。この場合、援助サイトAにいる援助者UAが、被援助サイトB、Cのそれぞれの被援助者UB、UCに対して情報を提供できる。また、被援助サイトBの被援助者UBのみがプロジェクター100Bを使用する構成とすることも勿論可能である。なお以下において、被援助者UBが使用するプロジェクター100Bについての説明は、被援助者UCが使用するプロジェクター100Bについても同様である。
プロジェクター100Bの設置状態は、図2に示したプロジェクター100Aの設置状態と共通の設置状態とすることができる。
プロジェクター100Bは、作業用のテーブルに固定され、テーブルの上面である作業台T(図2)に対して画像を投射(表示)する。プロジェクター100Bは作業台Tの表示領域に画像を表示する。プロジェクター100Bが画像を投射(表示)する表示領域は、プロジェクター100Aの表示領域DAと同様である。この領域を表示領域DBとする。
被援助サイトBにおいても、作業台Tは、人が立って作業を行う場合に作業場所として使用可能な高さに設定され、好ましくは平面であり、作業用の台座(図示略)等が設置されていてもよく、この作業台Tに作業対象物OBを置くことができる。被援助サイトBの被援助者UBは、それぞれ、図2に示すように作業台Tに手を載せて作業対象物OBに対する作業を行うことができる。そして、プロジェクター100Bは、作業台Tにの作業対象物OBに重なるように、画像光を投射して、画像を表示できる。被援助者UBは、それぞれ、プロジェクター100Bの表示画像を見ながら作業台Tで作業を行える。
プロジェクター100Bは、作業台Tを撮像する機能を有する。プロジェクター100Bが撮像する範囲は、表示領域DBの少なくとも一部を含み、この範囲を撮像範囲PBとする。プロジェクター100Bは、撮像範囲を示す撮像境界線BLを作業台Tに表示する。撮像境界線BLは、撮像範囲PBの外縁を示す境界線であり、人が視認可能な表示色で表示される。撮像境界線BL及び撮像範囲PBの態様は、図2の撮像境界線BL及び撮像範囲PAと同様である。
プロジェクター100Bの撮像機能により、撮像範囲PBで被援助者UBが行う作業の様子を撮像できる。表示システム1Bは、プロジェクター100Bが被援助者UBの作業の様子を撮像し、撮像画像を含む作業情報をプロジェクター100Aに送信する機能を有する。プロジェクター100Aは、作業情報を受信して、プロジェクター100Bの撮像画像を含む画像を表示する。
援助者UAは、上記第1〜第4実施形態と同様に、プロジェクター100Aを操作し、説明用のコンテンツの選択、指示体(例えば、腕、手または指)を動かす動作等を行う。これにより、プロジェクター100Aからプロジェクター100Bに、選択されたコンテンツ及び指示体の動きを示すデータを含む指示情報(案内情報)が送信される。ここで、援助者UAは、プロジェクター100Aが表示する被援助者UBの作業を示す画像を見ながら、操作を行う。プロジェクター100Bは、プロジェクター100Aが送信する指示情報を受信して、指示情報に基づく画像を作業台Tに表示する。これにより、プロジェクター100Aが撮像する援助者UAの操作や指示コンテンツに含まれる画像を、プロジェクター100Bが表示して被援助者UBに見せることができ、被援助者UBの作業に関する指示や助言を行える。また、被援助者UBは、コンテンツの画像や指示体の動きを見ながら作業を行うことができる。
図15は、プロジェクター100Bの構成を示す機能ブロック図である。
プロジェクター100Bの構成は、制御部60が実行するプログラム及び当該プログラムにより実現される機能、記憶部80が記憶するデータ等を除き、基本的にプロジェクター100Aと共通である。従って、プロジェクター100Aと共通する構成については、説明を省略する。具体的には、インターフェイス部11、画像インターフェイス部12、通信部13、音声入出力部14、撮像部15、操作取得部17、リモコン受光部18、及び操作パネル19の構成は共通とすることができる。また、投射部20、光源部21、光変調装置22、投射光学系23、画像処理部40、フレームメモリー44、光源駆動部45、及び音声処理部49の構成も共通とすることができる。
制御部60は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を備える。制御部60は、上記ROMまたは記憶部80が記憶するコンピュータープログラムを読み出して実行することにより、プロジェクター100Bの各部を制御する。
制御部60は、上記プログラムを実行し、オペレーティングシステム(OS)31、投射制御部62、及び通信制御部63として機能する。また、制御部60は、上記プログラムを実行し、受信情報処理部34、操作検出部35、操作時表示制御部36、送信画像取得部37、指示情報生成部38、及び、音声処理部49として機能する。
記憶部80は、記憶部50と同様の不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。記憶部80は、制御部60が実行するオペレーティングシステムを含む各種のプログラム、および、制御部60が処理するデータを不揮発的に記憶する。記憶部80は、設定データ81を記憶する。設定データ81は、制御部60が使用する各種の設定値を含む。設定データ81が含む設定値は、予め操作取得部17が検出する操作で入力された値であってもよいし、通信部13またはインターフェイス部11を介して外部の装置(図示略)から設定値を受信して記憶してもよい。
記憶部80は、検出用データ82、及び、メニュー画像データ83を記憶する。
検出用データ82は、画像データから作業対象物OBの画像を検出するために利用されるデータである。作業対象物OBは、プロジェクター100Bを使用する被援助者UBが行う作業の対象であり、作業時に作業台Tに配置されると考えることができる。
検出用データ82は、例えば、画像データから作業対象物OBの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物OBの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム1Bでは、被援助者UBが作業対象とする作業対象物OBが事前に判明している場合に、この作業対象物OBに関する検出用データ82が、記憶部80に記憶される。
メニュー画像データ83は、投射部20によりメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
記憶部80が記憶する検出用データ82は、記憶部50(図3)が記憶する設定データ51と同一であってもよいし、設定データ51とは異なるデータであってもよい。また、メニュー画像データ85は、記憶部50が記憶するメニュー画像データ53と同一であってもよいし、異なるデータであってもよい。
画像処理部40は、制御部60の制御に従って画像データを処理し、光変調装置駆動部46に画像信号を出力する。画像処理部40が実行する処理は、3D(立体)画像と2D(平面)画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部40は、制御部60により指定された処理を実行し、必要に応じて、制御部60から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
投射制御部62は、操作取得部17により検出した操作、及び、制御部60が実行するプログラムに応じて、画像処理部40、光源駆動部45、及び光変調装置駆動部46を制御して、投射部20により画像を投射(表示)する。ここで、投射制御部62は、画像処理部40を制御して、上述した3D(立体)画像と2D(平面)画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させてもよい。また、投射制御部62は、画像処理部40の処理に合わせて光源駆動部45を制御し、光源部21の光量を制御してもよい。
通信制御部63は、通信部13を制御して、プロジェクター100Aとの間の通信を制御する。通信制御部63は、プロジェクター100Aから作業情報を受信し、受信した指示情報を受信情報解析部66に出力する。また、通信制御部63は、作業情報生成部65が生成する作業情報を、プロジェクター100Aに送信する。
撮像制御部64は、撮像部15を制御して撮像を実行させ、撮像画像データを取得する。
作業情報生成部65は、プロジェクター100Aに送信する作業情報を生成する。作業情報生成部65は、撮像部15の撮像画像データを取得する。また、作業情報生成部65は、操作取得部17により検出される操作の内容を示すデータを取得してもよく、この場合、撮像部15の撮像画像データ、及び、操作内容のデータを含む作業情報を生成する。作業情報生成部65は、撮像部15の撮像画像データそのものに限らず、撮像画像データをもとに生成する画像データを含む作業情報を生成してもよい。
受信情報解析部66は、通信制御部63が受信するデータを解析する。本実施形態では、受信情報解析部66は、通信制御部63がプロジェクター100Aから受信する指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部66は、通信制御部63が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
指示検出部67は、受信情報解析部66が抽出したデータから、指示体による操作を行うことを示すデータを検出する。例えば、援助者UAはプロジェクター100Aを操作して、指示体による位置指示操作を行い、この位置指示操作によってプロジェクター100Bを制御することが可能である。この場合、プロジェクター100Aが送信する指示情報に含まれる位置指示操作に関するデータを、プロジェクター100Bが、GUIの操作として検出する。プロジェクター100Aが送信する指示情報には、援助者UAの操作をGUIの操作として検出するか否かを指定するデータが含まれ、このデータを指示検出部67が検出する。
表示位置算出部68は、受信情報解析部66が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部66が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部68は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部68は、各画像の表示サイズを算出してもよい。また、指示検出部67が、援助者UAの操作をGUIの操作とすることを指示するデータを検出した場合、表示位置算出部68は、GUI操作を行うためのメニュー画像の表示位置を算出する。投射制御部62は、表示位置算出部68が算出した表示位置に基づいて、画像処理部40により画像データの処理を実行させ、投射部20で画像を表示する。
操作検出部69は、受信情報解析部66が抽出した指示体の位置や動きを示すデータをGUIの操作として検出する場合に、操作を検出する。操作検出部69は、表示位置算出部68が算出したメニュー画像のアイコン等の表示位置と、指示体の画像の表示位置とに基づき、GUIの操作を検出する。
表示情報生成部70は、投射部20により表示する画面の表示情報を生成する。表示情報生成部70は、受信情報解析部66が抽出する画像データに基づく画像を、表示位置算出部68が算出した表示位置に配置して、一画面分の表示情報を生成する。表示情報生成部70が生成する表示情報は、投射制御部62の制御により投射部20に送信され、投射部20が表示する。
このように構成される表示システム1Bにおいて、プロジェクター100Bは第1表示装置に相当し、プロジェクター100Aは第2表示装置に相当する。
プロジェクター100Bが備える通信部13は第1通信部に相当し、撮像部15は第1撮像部に相当し、投射部20は第1表示部に相当し、表示領域DBは第1表示領域に相当し、制御部60は第1制御部に相当する。また、記憶部80は第1記憶部ということができる。
表示システム1Bにおけるプロジェクター100A、100Bの動作は、図7を参照して説明した動作と同様である。
すなわち、表示システム1Bのプロジェクター100Aは図7(A)の動作を実行できる。また、プロジェクター100Bは、図7(B)の動作を実行する。
プロジェクター100Bでは、撮像制御部64が撮像部15を制御して撮像を実行して撮像画像データを取得する(ステップS21)。
作業情報生成部65は、ステップS21の撮像画像データを含む作業情報を生成し、このデータを通信制御部63がプロジェクター100Aに送信する(ステップS22)。ステップS22で、作業情報生成部65は、操作取得部17により検出した操作に関するデータを作業情報に含めてもよい。
プロジェクター100Aは、プロジェクター100Bから送信された作業情報を、通信制御部33が受信し、受信した作業情報を受信情報処理部34が解析する(ステップS11)。受信情報処理部34は、受信した作業情報から撮像画像のデータを抽出して、投射制御部32により、撮像画像を表示させる(ステップS12)。
プロジェクター100Aでは、援助者UAの操作によりコンテンツが選択され(ステップS13)、援助者UAが被援助者UBに指示等をするための操作が行われる(ステップS14)。ステップS14の操作は、リモコン受光部18または操作パネル19の操作、或いは、援助者UAがプロジェクター100Aの前方で指示体を動かす操作である。この操作は操作検出部35により検出され(ステップS15)、操作検出部35は検出した操作のデータを生成する。
操作検出部35は、検出した操作の操作位置や操作の軌跡を、表示中のプロジェクター100Bの撮像画像に対応付けるデータを生成する(ステップS16)。送信画像取得部37は、ステップS14の操作中に撮像部15が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部50から送信画像データ54を読み出して、送信画像を取得する(ステップS17)。
指示情報生成部38は、指示情報を生成して送信する(ステップS18)。ここで、指示情報は、例えば、送信画像取得部37が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をプロジェクター100Bの撮像画像と対応付けるデータとを含む。
制御部30は、動作の終了条件が成立したか否かを判定し(ステップS19)、終了条件が成立していない場合は(ステップS19;NO)、ステップS11に戻る。また、終了条件が成立した場合は(ステップS19;YES)、本処理を終了する。終了条件は上述した通りである。
プロジェクター100Bは、プロジェクター100Aが送信する指示情報を通信制御部63で受信し(ステップS23)、受信した指示情報を受信情報解析部66が解析して画像データを抽出する(ステップS24)。次いで、表示位置算出部68が各画像データに基づいて画像を表示する位置を算出する(ステップS25)。さらに、表示情報生成部70が、算出した表示位置に画像を配置した表示情報を生成して、投射制御部62により表示させる(ステップS26)。
制御部60は、動作の終了条件が成立したか否かを判定し(ステップS27)、終了条件が成立していない場合は(ステップS27;NO)、ステップS22に戻る。また、終了条件が成立した場合は(ステップS27;YES)、本処理を終了する。終了条件は、例えばリモコン受光部18または操作パネル19の操作により、動作終了やプロジェクター100Bのシャットダウンが指示されること等が挙げられる。
図16は、表示システム1Bにおける表示例を示す図であり、(A)はプロジェクター100Aの表示例を示し、(B)はプロジェクター100Bの表示例を示す。また、(C)はプロジェクター100Aの別の表示例を示す。
上述したように、プロジェクター100Aの指示情報生成部38が生成する指示情報において、操作と作業情報とを関連付ける情報、或いは、作業情報に含まれる撮像画像に対応付ける情報の具体的な態様は、特に制限されない。上記の例では、操作位置や操作の軌跡をプロジェクター100Bの撮像画像と対応付けるデータとして説明したが、単に操作位置や操作の軌跡そのものを上記情報としてもよい。また、ファイル名による対応付け、データのタイプ、ID、属性、位置等により、操作位置や操作の軌跡をプロジェクター100Bの撮像画像と対応付けるデータであってもよく、結果として対応を認識できる情報であればよい。
図16(A)に示すように、プロジェクター100Aは、作業台Tの表示領域DAに画像を表示する。この表示状態は、例えば、図8(A)に図示した状態と同様である。
また、図16(B)に示すように、被援助サイトBの作業台Tにおいては、表示領域DBに、指示画像421が表示される。作業台Tには実空間の物体である作業対象物OBが置かれており、作業対象物OBに重なるように、指示位置405を示すマーク、及び、指示体画像422が表示される。指示体画像422は、指示位置405を、援助者UAが指示体2で指し示した場合と同じ向きで表示される画像であり、図16(B)の例ではプロジェクター100Aが撮像部15で撮像した撮像画像を利用している。
プロジェクター100Bは作業台Tに固定されて表示領域DBに画像を投射するが、被援助者UBの位置は、図2のようにプロジェクター100A、100Bに対向する位置に限定されない。援助者UA及び被援助者UBは、それぞれ、作業台Tに対して任意の方向から手等を伸ばして作業を行えるので、援助者UAと被援助者UBが表示領域DA、DBを同じ方向から見るとは限らない。
このため、援助者UAが行った操作や指示についてプロジェクター100Bで表示する場合、援助者UAが操作や指示を行ったときの援助者UAの位置や視点、或いは視線方向を反映するように、表示することが好ましい。図16(B)の例では、指示位置405を示す画像や記号(マーク)を表示するだけでなく、指示位置405を指し示したときの援助者UAの身体の向きを、被援助者UBが把握できる方が、より正確な指示或いは案内を行える。このため、プロジェクター100Aは、操作を行う援助者UAの視点または視線方向を示す画像(例えば、図16(B)の指示体画像422)を表示するためのデータを指示情報に含めて送信する。また、プロジェクター100Bは、指示情報に基づき、操作を行う援助者UAの視点または視線方向を示す画像を表示する。
このように、表示システム1Bでは、プロジェクター100Aが、プロジェクター100Bの撮像画像を含む援助者用画面402を表示するので、援助者UAは、被援助者UBの作業環境を見ながら作業に関する指示等を行うことができる。また、援助者UAが指示体2で指示した指示位置、及び、指示を行ったときの援助者UAの視点または視線方向を示すデータを含む指示情報がプロジェクター100Bに送信される。このため、プロジェクター100Bは、援助者UAの指示あるいは操作の位置、内容、様子を見ることができ、この場合の援助者UAの視点または視線方向を知ることができる。
さらに、プロジェクター100Bは、実空間の物体である作業対象物OBの位置に対応する位置に、指示位置405を示すマークと指示体画像422とを表示する。この表示位置は、表示位置算出部68が作業対象物OBの位置を特定し、この特定した作業対象物OBの位置に対応して決定する位置である。従って、作業対象物OBに重なって、或いは作業対象物OBに対応する位置に、情報をAR表示できる。ここで、指示体画像422を表示するための画像データをプロジェクター100Bの記憶部80に記憶しておき、プロジェクター100Aがプロジェクター100Bに送信する指示情報に、プロジェクター100Bが記憶する画像を指定するデータを含めても良い。
また、表示システム1Bが備える複数のプロジェクター100Bがプロジェクター100Aと通信を実行することにより、プロジェクター100Aは、複数のプロジェクター100Bから作業情報を受信して表示できる。この場合の表示例を図16(C)に示す。
図16(C)の表示例は、上記第1実施形態で、図8(C)を参照して説明した通りである。すなわち、図16(C)に示すように、表示領域DAには2つの表示領域409、410が配置され、表示領域409には一方のプロジェクター100Bが送信した作業情報に基づく画像が表示される。また、表示領域410には他方のプロジェクター100Bが送信した作業情報に基づく画像が表示される。これら表示領域409、410に表示された画像に対し、指示体2による指示が行われた場合、プロジェクター100Aは、指示された位置に対応する作業情報を送信したプロジェクター100Bに対して、指示情報を生成して送信する。
また、複数のプロジェクター100Bのうち、いずれかのプロジェクター100Bにプロジェクター100Aが送信する指示情報を、他のプロジェクター100Bに送信してもよい。この場合、いずれかのプロジェクター100Bが、図7(B)の動作により送信する作業情報に対応して、プロジェクター100Aが指示情報を生成すると、この指示情報が他のプロジェクター100Bにも送信される。この例では、いずれかの被援助者UBに対して送信した指示情報の内容を、他の被援助者UBが知ることができる。
以上説明したように、第5実施形態に係る表示システム1Bは、プロジェクター100B及びプロジェクター100Aを備える。プロジェクター100Bは、表示領域DBに画像を表示する投射部20と、撮像部15と、プロジェクター100Aと通信を実行する通信部13とを備える。プロジェクター100Bは、制御部60の制御により、撮像部15の撮像範囲を示す撮像境界線BLを投射部20により表示し、通信部13によりプロジェクター100Aから指示情報を受信し、指示情報に基づく画像を投射部20により表示する。プロジェクター100Aは、表示領域DAに画像を表示する投射部20と、プロジェクター100Bと通信を実行する通信部13と、操作を検出する操作検出部35とを備える。プロジェクター100Aは、制御部30の制御により、操作検出部35が検出する操作を示す情報を含む指示情報を生成して、通信部13で送信する。プロジェクター100Bは、制御部60により、プロジェクター100Aから受信する指示情報に基づいて、プロジェクター100Aの操作検出部35が検出した操作に対応する画像を表示する。さらに、プロジェクター100Bは、操作を行う援助者UAの視点または視線方向を示す画像を投射部20により表示する。
このように構成される表示システム1B、プロジェクター100B、及び、表示システム1を利用した情報表示方法を実行することにより、次の作用効果が得られる。すなわち、プロジェクター100Bによって、プロジェクター100Aにおいて行われる操作に関する画像を表示し、被援助者UBに対し、プロジェクター100Aを操作することで情報を提供できる。また、プロジェクター100Bが表示する画像や情報の適正な向きを案内することができるので、被援助者UBが画像や情報の向きを誤解することなく、適切に情報を提供できる。
表示システム1Aは、表示システム1と同様の効果を奏するものである。また、表示システム1Bは、HMD200をプロジェクター100Bに置き換えることによる差異を除き、表示システム1と同様の各種の効果を奏する。
表示システム1Aの適用例については、表示システム1の適用例と同様に様々な具体例が挙げられる。表示システム1Bの適用例についても同様である。
表示システム1Bは、例えば、被援助者UBが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者UAが機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体例としては、上述のように、パーソナルコンピューターを作業対象物とするセットアップやアプリケーションプログラムの操作、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物とする操作やメンテナンスが挙げられる。
これらの例において、作業対象の作業対象物OBとして、工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等を、作業台Tに設置することができる。また、これらの機器やパーソナルコンピューター等が設置された位置を、作業台Tを見なすこともできる。この場合、プロジェクター100Bを、作業対象である工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等の設置場所が表示領域DBに含まれるように配置すればよい。例えば、プロジェクター100Bを、移動可能な台座に設置して、作業対象の設置位置に合わせて移動すればよい。また、プロジェクター100Bを任意の位置に固定可能なステーを用いてもよい。
このような場合、遠隔地の被援助サイトBにいる被援助者UBとサービスセンター等の援助サイトAにいる援助者UAが情報を共有し、援助サイトAの援助者UAは被援助者UBのプロジェクター100BにAR画像を表示させて、指示、表示の変更ができる。そして、プロジェクター100Bにより、援助サイトAにいる援助者UAの手や手指による操作をバーチャル画像として見せて、支援できる。この場合、援助サイトAにおいて援助者UAの前に被援助サイトBの作業対象物と同じ機器を置いて実際に操作しながら説明することも有効である。援助者UAにとっては、現場の現物の特定部位に対して位置指示操作により指示や教示を行うことができ、シンプルな操作で効率よく支援できる。
他の適用例として、プロジェクター100Aから送信する指示情報に、名刺の画像データやテキストを含めることで、被援助者UBに名刺を見せて、バーチャルな名刺交換を実現できる。
さらに、プロジェクター100Aがコンテンツのデータを指示情報に含めてプロジェクター100Bに送信することで、プロジェクター100Bの投射部20に、テキストや画像を含むコンテンツを表示させることができる。この場合、コンテンツのテキストや画像の表示位置は、表示領域DBに位置する現実の作業対象物の位置に合わせて、作業対象物の視認を妨げない位置とすることが好ましい。
さらに、指示体の画像として、援助者UA役のアバターや援助者UAの実際の顔、上半身、或いは全身の画像を利用することで、作業員の代わりにコンシューマーを対象としたサービスを実現することも可能である。この場合、援助者UAはコールセンターのスタッフ、家庭教師や塾の講師スタッフ等となる。このシステムの用途は、電子機器のソフトウェアのインストールや操作の案内またはトレーニング、語学教育、資格試験等の受験指導、運手免許等の公的資格のための講習、スポーツの指導等も挙げられる。また、例えば、外国語会話の講習では、視覚的に発音を教授することができる。この場合、受講者がプロジェクター100Bを使用して、壁等に設置されたスクリーンに画像を投射する構成とすることが好ましい。この場合、講師がプロジェクター100Aを使用し、プロジェクター100Bが、講師の口の形をスクリーンに表示する。また、スクリーンに、プロジェクター100Bが撮像する受講者としての被援助者UBの顔を重ねて表示できれば、より効果的である。例えば、プロジェクター100Bをスクリーンの背面に配置する背面投射型の構成において、スクリーンの前面が反射面となった構成では、プロジェクター100Bが表示する口の画像と反射面に反射する受講者の口の像とが重なるようにAR表示できる。
また、学習やスポーツの指導を行う場合に、指導する側が援助サイトAにおいてプロジェクター100Aを使用し、指導を受ける側が被援助サイトBにおいてプロジェクター100Bを使用する例も挙げられる。この態様では、プロジェクター100A、100Bが画像を投射する表示領域DA、DBを、例えば人が動き回ることが可能な程度に大きな面積とし、床面を表示領域DA、DBとすると、より効果的である。この場合、例えばプロジェクター100A、100Bは、床面より上方に設置され、好ましくは援助者UAまたは被援助者UBよりも上方に設置されて、下向きに画像を投射し、撮像を行う構成にできる。具体的には、プロジェクター100A、100Bを天井から吊り下げ設置すればよい。
また、プロジェクター100Bからプロジェクター100Aに送信する作業情報は、案内対象情報、或いは実行側情報と呼ぶことができ、指示情報は、案内情報、指導情報、或いは、管理情報と呼ぶことができる。
指導の具体例としては、数学、英語、国語、社会科、文字の書き順等の学習課目について、指導を行う者がプロジェクター100Aを使用し、指導を受ける者が、プロジェクター100Bに表示される内容により教授、指導を受ける態様が考えられる。パーソナルコンピューター等の機器の操作方法をガイドする目的で使用する場合も同様である。
また、プロジェクター100A、100Bにおいて、特定の情報を、ポップアップ、ブリンキング、蛍光色で表示する等して、目立つように表示してもよい。また、表示される画像の表示色や表示輝度を、作業台Tにおける作業対象物OBの視認性が高まるように変更してもよい。この場合、投射部20が投射する画像光の輝度を低下させる、画像光の色調や彩度を低くする等の手法が挙げられる。この場合、外景に対する表示画像の視認性が相対的に低下するので、この表示画像に含まれる文字や画像を補助的に見せる効果がある。
表示システム1Bでは、プロジェクター100Bを使用する被援助者UBの作業内容等を、遠隔地のプロジェクター100Aで見ることができ、被援助者UBは、援助者UAがプロジェクター100Aの撮像範囲PAで行う位置指示操作の内容を見ることができる。プロジェクター100Bは、位置指示操作の内容を、例えば指示体画像422として、AR表示する。すなわち、プロジェクター100Bでは、作業対象物OBに重なるように、指示体画像422が表示され、この指示体画像422と作業対象物OBとの位置により、ARとしての表示効果が期待できる。
プロジェクター100Bは、AR表示の効果を高めるため、指示体画像422等を表示する際に、立体画像を表示してもよい。この場合、制御部60は、作業対象物OBの種類や作業内容に対応して、左眼用の画像と右眼用の画像との視差の方向及び大きさを決定する。制御部60の表示情報生成部70は、指示情報に基づいて視差を有する画像を生成して、投射制御部62により表示させる。また、制御部60は、距離センサー(図示略)を備え、作業対象物OBまでの距離を検出してもよい。この場合、制御部60は、検出した作業対象物OBまでの距離に基づき、AR表示する指示体の画像の視差の方向及び大きさを算出してもよい。例えば、予め設定された距離条件に基づき、視差を設けてもよい。この場合、被援助者UBが作業を行う作業台Tにおいて、画像が立体的に表示される。また、プロジェクター100Aが立体画像を表示して、援助者UAが立体的に画像を視認できるようにしてもよい。
また、表示システム1Bでは、被援助サイトCにおいて、被援助サイトBの被援助者UBの作業操作を、遠隔地からAR画像として見ることができる。これにより、作業手順等の作業支援の内容を共有できる。
また、プロジェクター100Aにより2以上の表示領域に、プロジェクター100Aの表示とプロジェクター100Bの撮像画像、或いは、2以上のプロジェクター100Bの作業情報に基づく画像を表示すれば、援助者UAが多くの状況を視認できる。ここで、図16(C)に示すように、2以上の表示領域に2以上のプロジェクター100Bに対応する画像を表示する場合、各表示領域におけるポインター等の形状、色を変えることで、各表示領域の混同を防止する構成も考えられる。その他、表示システム1Bの適用範囲は制限されず、他の用途への利用も勿論可能である。
なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、プロジェクター100A、100Bは、投射部20を備える本体に撮像部15を設け、投射部20の投射方向を撮像する構成として説明した。本発明はこれに限定されるものではなく、少なくとも表示領域DA、DBの一部を含む範囲を撮像部15で撮像する構成であればよい。例えば、撮像部15を、投射部20とは別体として構成される撮像装置とし、この撮像装置の撮像画像データを、プロジェクター100Aの制御部30またはプロジェクター100Bの制御部60が取得可能な構成とすればよい。また、撮像部15を、投射部20を含むプロジェクター100A、100Bの本体から突出した構成としてもよい。
また、上記実施形態では、プロジェクター100A、100Bが備える光変調装置22として、RGBの各色に対応した3枚の透過型の液晶パネルを用いた構成を例に挙げて説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、反射型の液晶パネルを用いてもよい。また、例えば、1枚の液晶パネルとカラーホイールを組み合わせた方式により構成してもよい。また、RGB各色の色光を変調する3枚のデジタルミラーデバイス(DMD)を用いた方式により構成してもよい。また、1枚のデジタルミラーデバイスとカラーホイールを組み合わせた方式等により構成してもよい。ここで、表示部として1枚のみの液晶パネルまたはDMDを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びDMD以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
また、本発明の表示装置は、HMD、或いは画像を投射するプロジェクターに限定されない。例えば、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビ、或いは、PDP(プラズマディスプレイパネル)に画像を表示するモニター装置又はテレビ受像機であってもよい。また、OLED(Organic light-emitting diode)、OEL(Organic Electro-Luminescence)等と呼ばれる有機EL表示パネルに画像を表示するモニター装置又はテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の表示装置に含まれる。
また、HMD200についても上記各実施形態の構成に限定されない。例えば、画像表示部220に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
さらに、上記各実施形態では、HMD200は、画像表示部220と制御装置210とが分離され、接続部240を介して接続された構成として説明した。本発明はこれに限定されず、制御装置210と画像表示部220とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、HMD200は、少なくとも、表示を行う画像表示部220が、使用者(被援助者、指令者)の頭部に装着される装置であればよく、制御装置210の装着状態は限定されない。このため、制御装置210として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置210として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置210が画像表示部220と分離して構成され、制御装置210と画像表示部220との間で無線通信により各種信号を送受信する構成としてもよい。
また、例えば、画像表示部220において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有する構成としてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板286及び左導光板296のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
さらに、本発明の光学素子は、ハーフミラー286A、296Aを有する右導光板286、左導光板296に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
ここで、本発明の表示装置を、プロジェクター100A、100B及びHMD200とは異なる表示装置で構成した例を、第6実施形態として説明する。
[第6実施形態]
第6実施形態の表示システムは、表示システム1、1Aにおけるプロジェクター100A、HMD200、或いは、表示システム1Bにおけるプロジェクター100Bの少なくともいずれかを、タブレット型コンピューター600に置き換えた構成を有する。本第6実施形態では、上記第5実施形態の表示システム1Bにおいて第1表示装置に相当するプロジェクター100Bを、タブレット型コンピューター600に代えた構成について説明する。
図17は、タブレット型コンピューター600の構成例及び使用状態を示す図である。
図17に示すように、タブレット型コンピューター600は、薄型の板形状の筐体602を有し、筐体602の前面には表示パネル617が配置される。
タブレット型コンピューター600は、装着治具601により被援助者UBの身体に保持され、好ましくは固定される。
図17に示す構成例では、被援助者UBは、タブレット型コンピューター600を表示パネル617により装着した状態で、作業台Tに置かれた作業対象物OBを、上方から視認できる。被援助者UBは、表示パネル617に表示される画面を見ながら、作業対象物OBに対する作業を行える。
図18は、タブレット型コンピューター600の機能ブロック図である。
タブレット型コンピューター600は、有線または無線により、外部の装置に接続されるI/F部611を備える。インターフェイス部611には、PC、ビデオ再生装置、DVD再生装置等の外部の画像供給装置(図示略)を接続可能である。
タブレット型コンピューター600は、第2表示部として機能する表示パネル617を備える。表示パネル617は、例えば液晶表示パネルで構成され、制御部630の制御に従って画像を表示する。
操作取得部612は、表示パネル617に重ねて配設されるタッチパネル616へのタッチ操作を検出し、操作位置を示す操作データを制御部630に出力する。
撮像部615は、撮像光学系、CCDやCMOS等の撮像素子、インターフェイス回路等を有し、撮像を実行し、撮像画像データを制御部630に出力する。
通信部613は、通信部13に対応する。通信部613は、無線LAN(WiFi)、Miracast、Bluetooth等の規格に準じた無線データ通信を実行し、通信ネットワーク4に接続する。タブレット型コンピューター600は、通信部613によって、通信ネットワーク4を経由する通信を実行し、例えばプロジェクター100Aとの間でデータを送受信する。また、タブレット型コンピューター600は、通信部613によって外部の機器に接続して、外部の機器からコンテンツデータ等を取得してもよい。
制御部630には、音声入出力部614が接続される。音声入出力部614は音声を集音するマイク(図示略)、及び、音声を出力するスピーカー(図示略)を備える。音声入出力部614は、制御部630から入力される音声信号に基づきスピーカーを駆動して音声を出力し、マイクで集音した音声の音声信号を制御部630に出力する。また、音声入出力部614は、アナログ音声信号とディジタル音声データとを変換するA/Dコンバーター及びD/Aコンバーター(図示略)を備えてもよい。この場合、音声入出力部614は、制御部630から入力されるディジタル音声データに基づき音声を出力し、マイクで集音した音声のディジタル音声データを制御部630に出力する。
記憶部650は、制御部630が実行するオペレーティングシステムを含む各種のプログラム、および、制御部630が処理するデータを不揮発的に記憶する。記憶部650は、設定データ651を記憶する。設定データ651は、設定データ81(図15)に相当するデータであって、制御部630が使用する各種の設定値を含む。設定データ651が含む設定値は、予め操作取得部612が検出する操作で入力された値であってもよいし、通信部613またはインターフェイス部611を介して外部の装置(図示略)から設定値を受信して記憶してもよい。
また、記憶部650は、検出用データ652、及び、メニュー画像データ653を記憶する。
検出用データ652は、検出用データ82(図15)に相当するデータである。画像データから作業対象物OBの画像を検出するために利用されるデータである。作業対象物OBは、タブレット型コンピューター600を使用する被援助者UBが行う作業の対象であり、作業時に作業台Tに配置されると考えることができる。
検出用データ652は、例えば、画像データから作業対象物OBの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物OBの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。タブレット型コンピューター600を含む表示システムでは、被援助者UBが作業対象とする作業対象物OBが事前に判明している場合に、この作業対象物OBに関する検出用データ652が、記憶部650に記憶される。
メニュー画像データ653は、メニュー画像データ83(図15)に相当するデータであり、表示パネル617によりメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
制御部630は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を備える。制御部630は、上記ROMまたは記憶部650が記憶するコンピュータープログラムを読み出して実行することにより、タブレット型コンピューター600の各部を制御する。
制御部630は、上記プログラムを実行し、オペレーティングシステム(OS)631、表示制御部632、及び通信制御部633として機能する。また、制御部630は、撮像制御部634、作業情報生成部635、受信情報解析部636、指示検出部637、表示位置算出部638、操作検出部639、表示情報生成部640、及び音声処理部649として機能する。
表示制御部632は、制御部630が実行するプログラムに応じて、表示パネル617に画像を表示させる。
通信制御部633は、通信制御部63(図15)に相当する機能部であり、通信部613を制御して、プロジェクター100Aとの間の通信を制御する。通信制御部633は、プロジェクター100Aから作業情報を受信し、受信した指示情報を受信情報解析部636に出力する。また、通信制御部633は、作業情報生成部635が生成する作業情報を、プロジェクター100Aに送信する。
撮像制御部634は、撮像制御部64(図15)に相当する機能部であり、撮像部615を制御して撮像を実行させ、撮像画像データを取得する。
作業情報生成部635は、作業情報生成部65(図15)に相当する機能部であり、プロジェクター100Aに送信する作業情報を生成する。作業情報生成部635は、撮像部615の撮像画像データを取得する。また、作業情報生成部635は、操作取得部612により検出される操作の内容を示すデータを取得してもよく、この場合、撮像部615の撮像画像データ、及び、操作内容のデータを含む作業情報を生成する。作業情報生成部635は、撮像部615の撮像画像データそのものに限らず、撮像画像データをもとに生成する画像データを含む作業情報を生成してもよい。
受信情報解析部636は、受信情報解析部66(図15)に相当する機能部であり、通信制御部633が受信するデータを解析する。本実施形態では、受信情報解析部636は、通信制御部633がプロジェクター100Aから受信する指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部636は、通信制御部633が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
指示検出部637は、指示検出部67(図15)に相当する機能部であり、受信情報解析部636が抽出したデータから、指示体による操作を行うことを示すデータを検出する。例えば、援助者UAはプロジェクター100Aを操作して、指示体による位置指示操作を行い、この位置指示操作によってプロジェクター100Aを制御することが可能である。この場合、プロジェクター100Aが送信する指示情報に含まれる位置指示操作に関するデータを、タブレット型コンピューター600が、GUIの操作として検出する。プロジェクター100Aが送信する指示情報には、援助者UAの操作をGUIの操作として検出するか否かを指定するデータが含まれ、このデータを指示検出部637が検出する。
表示位置算出部638は、表示位置算出部68(図15)に相当する機能部であり、受信情報解析部636が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部636が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部638は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部638は、各画像の表示サイズを算出してもよい。また、指示検出部637が、援助者UAの操作をGUIの操作とすることを指示するデータを検出した場合、表示位置算出部638は、GUI操作を行うためのメニュー画像の表示位置を算出する。表示制御部632は、表示位置算出部638が算出した表示位置に基づいて、表示パネル617に画像を表示する。
操作検出部639は、操作検出部69(図15)に相当する機能部であり、受信情報解析部636が抽出した指示体の位置や動きを示すデータをGUIの操作として検出する場合に、操作を検出する。操作検出部639は、表示位置算出部638が算出したメニュー画像のアイコン等の表示位置と、指示体の画像の表示位置とに基づき、GUIの操作を検出する。
表示情報生成部640は、表示パネル617により表示する画面の表示情報を生成する。表示情報生成部640は、受信情報解析部636が抽出する画像データに基づく画像を、表示位置算出部638が算出した表示位置に配置して、一画面分の表示情報を生成する。表示情報生成部640が生成する表示情報は、表示制御部632の制御により表示パネル617が表示する。
音声処理部649は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、音声入出力部614に出力する。また、音声処理部649は、音声入出力部614が備えるマイク(図示略)により集音される音声を取得してディジタル音声データに変換する。音声処理部649は、ディジタル音声データに対して予め設定された処理を行ってもよい。
図19は、タブレット型コンピューター600の表面及び裏面の構成を示す図であり、図19(A)はタブレット型コンピューター600の裏面の外観図であり、図19(B)はタブレット型コンピューター600の表面の外観及び表示例を示す。
図19(A)に示すように、タブレット型コンピューター600の筐体602の裏面側には撮像部615の撮像レンズが露出する。つまり、撮像部615の撮像範囲は筐体602の裏面側であり、図17の装着状態においては筐体602の下方が撮像範囲となる。
このように構成されるタブレット型コンピューター600は、上記第1〜第4実施形態で説明したHMD200、或いは、第5実施形態で説明したプロジェクター100Bと同様の機能を実行可能である。
図19(B)に示すように、タブレット型コンピューター600の制御部630は、表示パネル617に、撮像部615により撮像した撮像画像を表示する。制御部630は、撮像画像の縁を、撮像部615の撮像範囲を示す撮像境界線BLとして明瞭に表示する。また、制御部630は、プロジェクター100Aから受信する指示情報に基づいて、指示位置405を示す画像と、指示位置405に対する援助者UAの指示体2を示す指示体画像422とを表示する。
また、制御部630は、撮像部615により撮像された、作業対象物OBを含む撮像画像を、表示パネル617に表示する。
指示位置405及び指示体画像422の表示位置は、制御部630が表示位置算出部638の機能により算出する。表示位置算出部638は、撮像部615の撮像画像から作業対象物OBの画像を検出し、この作業対象物OBの画像に対応する位置を、表示位置とする。
ここで、タブレット型コンピューター600は、図17に示したように装着治具601により被援助者UBの身体に保持されるので、被援助者UBが動かない限り撮像部615の撮像範囲における作業対象物OBの相対位置は動かない。このため、指示位置405及び指示体画像422を適切な位置に表示できる。
このように構成されるタブレット型コンピューター600を、プロジェクター100Bに代えて用いた場合、上述した第1から第3実施形態と同様の効果を得ることができる。
また、プロジェクター100Aを、タブレット型コンピューター600に置き換えて用いることも可能であり、この場合も、上述した第1から第3実施形態と同様の効果を得ることができる。
なお、図3、図6、図15、及び図18に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。その構成は、図3、図6、図15、及び図18に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、上記実施形態で説明した制御部30、60、300、630の動作をプログラムとして実現することも可能である。上記のプログラムは、その一部または全部をハードウェアとして実現してもよい。例えば、制御部30、60、300、630が備える上記の各処理部は、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。また、FPGA(Field-Programmable Gate Array)等のPLD(Programmable Logic Device)をプログラミングして構成してもよい。また、複数の半導体デバイスを含む回路として実現してもよい。
また、ハードウェアがプログラムを実行して上記機能を実現する場合、このプログラムは、制御部30、60、300、630のROM、或いは、記憶部50、80、340、650または別の記憶装置に記憶されてもよい。或いは、プロジェクター100A、100B、HMD200またはタブレット型コンピューター600に外部接続される記憶装置や記憶媒体に上記プログラムを格納してもよい。この場合、これらの記憶装置や記憶媒体から、プログラムを記憶部50、80、340、650等に取り込んで実行することも可能である。また、外部の装置に記憶されたプログラムを通信部やインターフェイス部を介して取得して実行する構成としてもよい。