JP7310535B2 - 表示装置の制御方法および制御装置 - Google Patents

Description

本発明は、表示装置の制御方法および制御装置に関する。

特許文献１には、表示装置の一例であるプロジェクターを、ユーザーの操作に基づいて操作対象装置として決定するＰＣ（Personal Computer）が記載されている。
特許文献１に記載のＰＣは、操作対象装置の候補となる複数のプロジェクターをＰＣの表示部に表示する。ユーザーは、ＰＣの操作部を操作することによって、複数の操作対象装置の候補の中から操作対象装置を決定する。続いて、ユーザーは、ＰＣの操作部を操作することによって、操作対象装置に対する操作指示をＰＣに入力する。ＰＣは、操作指示に応じた操作信号、例えば、テストパターンの表示を指示するコマンドを、操作対象装置に送信する。

特開２０１９－１１０４０７号公報

特許文献１に記載のＰＣが用いられる場合、ユーザーは、操作対象装置の候補から操作対象装置を決定するために、ＰＣの操作部を操作する必要があり、手間がかかる。
特に、複数の操作対象装置に対して個別に操作信号を送る状況では、ユーザーは、１台の操作対象装置を決定するための操作と、１つの操作指示を入力するための操作とを、繰り返す必要があり、手間を要する。

本発明に係る表示装置の制御方法の一態様は、制御装置が実行する表示装置の制御方法であって、前記表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受け、前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定し、ユーザーの操作に基づく操作信号を前記操作対象装置に送信することを含む。

本発明に係る制御装置の一態様は、表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受ける画像受信部と、前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定する決定部と、ユーザーの操作に基づく操作信号を前記操作対象装置に送信する通信部と、を含む。

第１実施形態に係る表示システム１０００を示す図である。 第１プロジェクター１の一例を示す図である。 本体３０が備える光学系の構成を示す模式図である。 制御装置３９の一例を示す図である。 第１プロジェクター１が投射する第１画像Ａ１の一例を示す図である。 第２プロジェクター２が投射する第２画像Ａ２の一例を示す図である。 制御装置３９の動作を示すフローチャートである。 第１画像Ａ１において、第１識別情報に基づいて、時間経過に伴い変化する輝度の一例を示す図である。

Ａ：第１実施形態
Ａ１：表示システム１０００の概要
図１は、第１実施形態に係る表示システム１０００を示す図である。表示システム１０００は、第１プロジェクター１と、第２プロジェクター２と、ＨＭＤ（Head Mounted Display）３と、を含む。第１プロジェクター１と第２プロジェクター２の各々は、表示装置の一例である。表示装置は、プロジェクターに限らず、ディスプレイ、例えば、ＦＰＤ（Flat Panel Display）でもよい。ＦＰＤは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイである。第１プロジェクター１と第２プロジェクター２の各々は、操作対象装置の候補の一例である。第１プロジェクター１は、第２プロジェクター２と同一構成である。

第１プロジェクター１は、画像を投射面４の第１領域４１に投射することによって、当該画像を第１領域４１に表示する。例えば、第１プロジェクター１は、画像の一例である第１画像Ａ１を投射面４の第１領域４１に投射することによって、第１画像Ａ１を第１領域４１に表示する。
第１画像Ａ１は、第１プロジェクター１を識別する第１識別情報を含む。第１識別情報は、例えば、ユーザーＢが知覚可能な態様で示される。一例を挙げると、第１識別情報は、第１プロジェクター１の名称を示す画像である。なお、第１識別情報は、第１プロジェクター１の名称を示す画像に限らない。例えば、第１識別情報は、第１プロジェクター１に関連づけられた図形、または、第１プロジェクター１に関連づけられたマークでもよい。第１画像Ａ１は、識別画像の一例である。

第２プロジェクター２は、画像を投射面４の第２領域４２に投射することによって、当該画像を第２領域４２に表示する。例えば、第２プロジェクター２は、画像の一例である第２画像Ａ２を投射面４の第２領域４２に投射することによって、第２画像Ａ２を第２領域４２に表示する。
第２画像Ａ２は、第２プロジェクター２を識別する第２識別情報を含む。第２識別情報は、例えば、ユーザーＢが知覚可能な態様で示される。一例を挙げると、第２識別情報は、第２プロジェクター２の名称を示す画像である。なお、第２識別情報は、第２プロジェクター２の名称を示す画像に限らない。例えば、第２識別情報は、第２プロジェクター２に関連づけられた図形、または、第２プロジェクター２に関連づけられたマークでもよい。第２画像Ａ２は、識別画像の他の例である。

投射面４は、例えばスクリーンである。投射面４は、スクリーンに限らず、例えば、壁の一部分、扉またはホワイトボードでもよい。第１領域４１と第２領域４２とは、相互に接している。なお、第１領域４１は、第２領域４２と離れていてもよい。第１領域４１の少なくとも一部が、第２領域４２の少なくとも一部と重なっていてもよい。投射面４と第１領域４１と第２領域４２の各々は、表示面の一例である。

ＨＭＤ３は、頭部装着型表示装置である。ＨＭＤ３は、ユーザーＢに装着される。ＨＭＤ３は、第１プロジェクター１と第２プロジェクター２の各々を制御する。

Ａ２．第１プロジェクター１の一例
第１プロジェクター１と第２プロジェクター２は、上述の通り相互に同一構成である。このため、第１プロジェクター１と第２プロジェクター２との代表として、第１プロジェクター１を説明する。

図２は、第１プロジェクター１の一例を示す図である。第１プロジェクター１は、操作部１１と、第１通信部１２と、投射部１３と、第１記憶部１４と、第１処理部１５とを含む。

操作部１１は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。操作部１１は、第１プロジェクター１の筐体に設けられている。操作部１１は、ユーザーＢの入力操作を受け取る。

第１通信部１２は、有線または無線で、ＨＭＤ３、具体的には、後述の図４に示す第２通信部３９１と通信する。第１通信部１２は、例えば、無線ＬＡＮ（Local Area Network）で第２通信部３９１と通信する。第１通信部１２と第２通信部３９１との無線通信の通信方式は、無線ＬＡＮに限らず、他の通信方式、例えば、Ｂｌｕｅｔｏｏｔｈでもよい。Ｂｌｕｅｔｏｏｔｈは登録商標である。

投射部１３は、第１領域４１に第１画像Ａ１を投射することによって第１領域４１に第１画像Ａ１を表示する。投射部１３は、画像処理部１３１と、フレームメモリー１３２と、ライトバルブ駆動部１３３と、光源１３４と、赤色用液晶ライトバルブ１３５Ｒと、緑色用液晶ライトバルブ１３５Ｇと、青色用液晶ライトバルブ１３５Ｂと、投射光学系１３６と、を含む。以下、赤色用液晶ライトバルブ１３５Ｒと、緑色用液晶ライトバルブ１３５Ｇと、青色用液晶ライトバルブ１３５Ｂとを相互に区別する必要がない場合、これらを「液晶ライトバルブ１３５」と称する。

画像処理部１３１は、単数または複数のイメージプロセッサー等の回路によって構成される。画像処理部１３１は、例えば、第１処理部１５から画像データを受け取る。画像処理部１３１は、不図示の画像供給装置から画像データを受け取ってもよい。画像供給装置は、例えば、ＰＣである。画像供給装置は、ＰＣに限らず、例えば、タブレット端末、スマートフォン、ビデオ再生装置、ＤＶＤ（Digital Versatile Disc）プレーヤー、ブルーレイディスクプレーヤー、ハードディスクレコーダー、テレビチューナー装置またはビデオゲーム機でもよい。

画像処理部１３１は、画像データをフレームメモリー１３２に展開する。フレームメモリー１３２は、例えば、ＲＡＭ（Random Access Memory）等の記憶装置によって構成される。画像処理部１３１は、フレームメモリー１３２に展開された画像データに画像処理を施すことによって画像信号を生成する。

画像処理部１３１が実行する画像処理は、例えば、投射部１３が投射する画像の台形歪みを補正する幾何補正処理を包含する。画像処理部１３１は、幾何補正処理に加えて、他の画像処理、例えば、解像度変換処理を実行してもよい。解像度変換処理では、画像処理部１３１は、画像データの解像度を、例えば液晶ライトバルブ１３５の解像度に変換する。他の画像処理は、解像度変換処理に限らない。他の画像処理は、例えば、画像供給装置から提供される画像データが示す画像にＯＳＤ（On Screen Display）画像を重畳するＯＳＤ処理でもよい。

ライトバルブ駆動部１３３は、例えば、ドライバー等の回路で構成される。ライトバルブ駆動部１３３は、画像処理部１３１から提供される画像信号に基づいて、駆動電圧を生成する。ライトバルブ駆動部１３３は、駆動電圧を液晶ライトバルブ１３５に印加することによって、液晶ライトバルブ１３５を駆動する。

光源１３４は、例えば、ＬＥＤ（light emitting diode）である。光源１３４は、ＬＥＤに限らず、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源でもよい。光源１３４は、光を射出する。光源１３４から出射された光は、不図示のインテグレーター光学系に入射する。インテグレーター光学系は、光源１３４から出射された光における輝度分布のばらつきを低減する。光源１３４から出射された光は、インテグレーター光学系を通った後、不図示の色分離光学系によって光の３原色である赤色、緑色、青色の色光成分に分離される。赤色の色光成分は、赤色用液晶ライトバルブ１３５Ｒに入射する。緑色の色光成分は、緑色用液晶ライトバルブ１３５Ｇに入射する。青色の色光成分は、青色用液晶ライトバルブ１３５Ｂに入射する。

液晶ライトバルブ１３５は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ１３５は、マトリクス状に位置する複数の画素１３５ｐを含む矩形の画素領域１３５ａを有する。液晶ライトバルブ１３５では、液晶に対して画素１３５ｐごとに、画像信号に基づく駆動電圧が印加される。ライトバルブ駆動部１３３が、駆動電圧を各画素１３５ｐに印加すると、各画素１３５ｐは、駆動電圧に基づく光透過率に設定される。光源１３４から出射される光は、画素領域１３５ａを通ることで変調される。このため、画像信号に基づく画像が色光ごとに形成される。液晶ライトバルブ１３５は、光変調装置の一例である。

各色の画像は、図示しない色合成光学系によって画素１３５ｐごとに合成される。よって、カラー画像が生成される。カラー画像は、投射光学系１３６を介して投射される。

第１記憶部１４は、第１処理部１５が読み取り可能な記録媒体である。第１記憶部１４は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）またはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭである。

第１記憶部１４は、第１処理部１５によって実行される制御プログラムと、第１処理部１５が使用する各種のデータと、を記憶する。

第１処理部１５は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第１処理部１５は、単数または複数のＣＰＵ（Central Processing Unit）によって構成される。第１処理部１５の機能の一部または全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって実現されてもよい。第１処理部１５は、各種の処理を並列的または逐次的に実行する。第１処理部１５は、第１記憶部１４から制御プログラムを読み取る。第１処理部１５は、第１記憶部１４から読み取られた制御プログラムを実行することによって種々の動作を実行する。

Ａ３．ＨＭＤ３の一例
図１に戻って、ＨＭＤ３は、本体３０と、操作入力部３００と、を含む。操作入力部３００は、接続コード３０００を介して本体３０と電気的に接続する。操作入力部３００は、有線ではなく無線で本体３０と電気的に接続してもよい。操作入力部３００は、例えば、携帯型の操作パネルである。操作入力部３００は、ユーザーＢの操作を受ける。操作入力部３００は、ユーザーＢの操作に基づく操作データを、本体３０に出力する。

本体３０は、ユーザーＢの頭部Ｃに装着される眼鏡型ウェラブル装置である。本体３０は、眼鏡型ウェラブル装置に限らない。本体３０は、ユーザーＢの頭部Ｃに装着される装置であればよい。

Ａ４．本体３０の一例
図３は、本体３０が備える光学系の構成を示す模式図である。以下、図１および図３を参照して、本体３０について説明する。
本体３０は、右保持部３１と、左保持部３２と、フレーム３３と、右表示ユニット３４と、右導光板３５と、左表示ユニット３６と、左導光板３７と、カメラ３８と、制御装置３９と、を有する。

右保持部３１は、フレーム３３の右端部３３ａから本体３０の後方に延伸する。左保持部３２は、フレーム３３の左端部３３ｂから本体３０の後方に延伸する。

右表示ユニット３４は、右目用の画像光を出力する。以下、右目用の画像光を「右画像光」と称する。右表示ユニット３４は、図３に例示されるように、右画像出力部３４ａと、右光学系３４ｂと、を含む。右画像出力部３４ａは、例えば、ＯＬＥＤ（Organic Light Emitting Diode）である。ＯＬＥＤは、有機ＥＬディスプレイとも称される。右画像出力部３４ａは、ＯＬＥＤに限らず、例えば、バックライト付きの液晶ディスプレイ、または、プラズマディスプレイでもよい。右画像出力部３４ａは、決定結果出力装置の一例である。右画像出力部３４ａは、右画像光を出力する。右光学系３４ｂは、右画像出力部３４ａから出力される右画像光を並行状態の光束にするコリメートレンズを有する。右画像光は、並行状態の光束にされた後、右導光板３５へ出力される。

右導光板３５、例えば、プリズムである。右導光板３５は、外光をユーザーＢの右眼Ｄ１に導く。右導光板３５は、さらに、右画像光をユーザーＢの右眼Ｄ１に導く。

左表示ユニット３６は、左目用の画像光を出力する。以下、左目用の画像光を「左画像光」と称する。左表示ユニット３６は、左画像出力部３６ａと、左光学系３６ｂと、を含む。左画像出力部３６ａは、例えば、ＯＬＥＤである。左画像出力部３６ａは、ＯＬＥＤに限らず、例えば、バックライト付きの液晶ディスプレイ、または、プラズマディスプレイでもよい。左画像出力部３６ａは、決定結果出力装置の他の例である。左画像出力部３６ａは、左画像光を出力する。左光学系３６ｂは、左画像出力部３６ａから出力される左画像光を並行状態の光束にするコリメートレンズを有する。左画像光は、並行状態の光束にされた後、左導光板３７へ出力される。

左導光板３７は、例えば、プリズムである。左導光板３７は、外光をユーザーＢの左眼Ｄ２に導く。左導光板３７は、さらに、左画像光をユーザーＢの左眼Ｄ２に導く。

このため、ユーザーＢは、本体３０を装着する場合、外景と右画像光と左画像光とを視認可能である。ここで、外景は、ユーザーＢの視界を意味する。なお、右画像光と左画像光は、視差に基づいて生成されてもよい。

図１に示されるカメラ３８は、撮像装置の一例である。カメラ３８は、レンズ等の受光光学系と、受光光学系によって集光される光を電気信号に変換する撮像素子と、を含む。
撮像素子は、例えば、赤外領域および可視光領域の光を受光するＣＣＤ（Charge Coupled Device）イメージセンサーである。撮像素子は、ＣＣＤイメージセンサーに限らず、例えば、赤外領域および可視光領域の光を受光するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーでもよい。

カメラ３８は、フレーム３３に設けられる。カメラ３８は、本体３０の前方を撮像対象領域とする。このため、本体３０が眼鏡のようにユーザーＢに装着される場合、カメラ３８は、ユーザーＢの視界の少なくとも一部を撮像対象領域とする。カメラ３８は、撮像対象領域を撮像することによって撮像データを生成する。撮像データは、撮像対象領域を表す撮像画像を示す。
本実施形態では、撮像画像の中心が、ユーザーＢの視界の中心と一致するように、カメラ３８がフレーム３３に配置されている。カメラ３８は、右導光板３５と右保持部３１との間に位置する。カメラ３８の位置は、右導光板３５と右保持部３１との間に限らない。例えば、カメラ３８の位置は、右導光板３５と左導光板３７との間、または、左導光板３７と左保持部３２との間でもよい。また、カメラ３８は、右保持部３１に設けられてもよいし、左保持部３２に設けられてもよい。このような位置にカメラ３８が配置される場合でも、撮像画像の中心が、ユーザーＢの視界の中心と一致することが望ましい。
なお、撮像画像の中心が、ユーザーＢの視界の中心と異なってもよい。

制御装置３９は、左保持部３２に設けられる。制御装置３９は、左保持部３２ではなく、フレーム３３に設けられてもよい。また、制御装置３９は、右保持部３１に設けられてもよい。
制御装置３９は、カメラ３８から撮像データを受ける。制御装置３９は、操作入力部３００から操作データを受ける。制御装置３９は、撮像データと操作データとを用いて、第１プロジェクター１と第２プロジェクター２とを制御する。

Ａ５．制御装置３９の一例
図４は、制御装置３９の一例を示す図である。制御装置３９は、第２通信部３９１と、第２記憶部３９２と、第２処理部３９３と、を含む。

第２通信部３９１は、第１プロジェクター１および第２プロジェクター２と通信する。例えば、第２通信部３９１は、第１プロジェクター１の第１通信部１２と通信する。

第２記憶部３９２は、第２処理部３９３が読み取り可能な記録媒体である。第２記憶部３９２は、例えば、不揮発性メモリーと揮発性メモリーとを含む。

第２記憶部３９２は、第２処理部３９３によって実行される制御プログラムと、第２処理部３９３が使用する各種のデータと、を記憶する。第２記憶部３９２に記憶される制御プログラムは「アプリケーションプログラム」または「アプリケーションソフトウェア」とも称され得る。第２処理部３９３が使用する各種のデータは、第１識別情報と第１プロジェクター１の名称との相互の対応関係と、第２識別情報と第２プロジェクター２の名称との相互の対応関係と、を示す対応データを含む。

第２処理部３９３は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第２処理部３９３は、単数または複数のＣＰＵによって構成される。第２処理部３９３の機能の一部または全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等の回路によって実現されてもよい。第２処理部３９３は、各種の処理を並列的または逐次的に実行する。

第２処理部３９３は、第２記憶部３９２から制御プログラムを読み取る。第２処理部３９３は、第２記憶部３９２から読み取られた制御プログラムを実行することによって、表示制御部３９４と、動作制御部３９５と、を実現する。

表示制御部３９４は、右画像出力部３４ａと、左画像出力部３６ａと、を制御する。例えば、表示制御部３９４は、右画像光を示す右画像データを右画像出力部３４ａに出力する。右画像出力部３４ａは、右画像データによって示される右画像光を出力する。また、表示制御部３９４は、左画像光を示す左画像データを左画像出力部３６ａに出力する。左画像出力部３６ａは、左画像データによって示される左画像光を出力する。表示制御部３９４は、例えば、表示コントローラーまたは表示制御回路等の回路によって構成されてもよい。

動作制御部３９５は、制御装置３９の動作を制御する。動作制御部３９５は、例えば、動作コントローラーまたは動作制御回路等の回路によって構成されてもよい。動作制御部３９５は、画像受信部３９６と、決定部３９７と、を含む。

画像受信部３９６は、カメラ３８から画像データを受ける。画像受信部３９６は、例えば、画像レシーバーまたは画像受信回路等の回路によって構成されてもよい。画像受信部３９６は、画像データが入力される入力端子によって構成されてもよい。
決定部３９７は、撮像データによって表される識別情報が示すプロジェクターを、操作対象装置として決定する。具体的には、決定部３９７は、撮像データが表す識別画像に含まれる識別情報によって示されるプロジェクターを、操作対象装置として決定する。決定部３９７は、操作対象装置の決定後に操作入力部３００から操作データを受ける場合、第２通信部３９１に、操作データに基づく操作信号を操作対象装置へ送信させる。換言すると、第２通信部３９１は、操作データに基づく操作信号を操作対象装置に送信する。決定部３９７は、例えば、プロセッサーまたは決定回路等の回路によって構成されてもよい。

Ａ６．第１画像Ａ１の一例と第２画像Ａ２の一例
図５は、第１プロジェクター１が投射する第１画像Ａ１の一例を示す図である。図６は、第２プロジェクター２が投射する第２画像Ａ２の一例を示す図である。

第１画像Ａ１は、第１識別情報として、第１図形Ａ１１を含む。第１図形Ａ１１は、格子状の図形である。第２画像Ａ２は、第２識別情報として、第２図形Ａ２１を含む。第２図形Ａ２１は、矩形の図形である。
この場合、第２記憶部３９２には、第１図形Ａ１１と第１プロジェクター１の名称とが互いに対応づけられ、かつ、第２図形Ａ２１と第２プロジェクター２の名称とが互いに関連づけられている対応データが記憶される。このため、第１図形Ａ１１は、間接的に第１プロジェクター１を示す。第２図形Ａ２１は、間接的に第２プロジェクター２を示す。

図５では、第１図形Ａ１１が第１画像Ａ１の全面に及んでいるが、第１図形Ａ１１は、
第１画像Ａ１の一部の領域に位置してもよい。第１画像Ａ１の一部の領域は、例えば、第
１画像Ａ１から第１画像Ａ１の縁部を除いた領域、第１画像Ａ１の中心位置よりも下の領
域、または、第１画像Ａ１の中心位置よりも上の領域である。

第２図形Ａ２１のうち、第２画像Ａ２が存在する領域は、図６に示す領域に限らない。例えば、第２図形Ａ２１のうち、第２画像Ａ２が存在する領域は、第２画像Ａ２の中心位置よりも下の領域、または、第２画像Ａ２の中心位置よりも上の領域でもよい。

なお、第１識別情報は、第１図形Ａ１１に限らない。例えば、第１識別情報は、第１プロジェクター１のＩＰ（Internet Protocol）アドレスを示す画像、または、赤等の第１色を有する画像でもよい。第１色は、赤に限らず、赤とは異なる色でもよい。第２識別情報は、第２図形Ａ２１に限らない。例えば、第２識別情報は、第２プロジェクター２のＩＰアドレスを示す画像、または、緑等の第２色を有する画像でもよい。第２色は、緑に限らない。第２色は第１色と異なる色であればよい。

Ａ７．制御装置３９の動作
図７は、制御装置３９の動作を示すフローチャートである。以下では、第１プロジェクター１は、第１画像Ａ１を第１領域４１に投射しているとする。第２プロジェクター２は、第２画像Ａ２を第２領域４２に投射しているとする。ユーザーＢが本体３０を頭部Ｃに装着しているとする。ここで、第１プロジェクター１と第２プロジェクター２とを相互に区別する必要がない場合、これらを「プロジェクター１００」と称する。

ユーザーＢが、プロジェクター１００を個別に操作するために個別操作指示を操作入力部３００に入力すると、第２処理部３９３は、第２記憶部３９２から制御プログラムを読み取り、当該制御プログラムを実行する。このため、第２処理部３９３は、表示制御部３９４と、動作制御部３９５と、画像受信部３９６と、決定部３９７とを実現する。

ステップＳ１０１では、決定部３９７は、カメラ３８に撮像を開始させる。ユーザーＢが本体３０を頭部Ｃに装着しているため、カメラ３８は、ユーザーＢの視界の少なくとも一部を撮像対象領域とする。よって、カメラ３８が生成する撮像データは、ユーザーＢが意識的に目視している画像等を表す可能性が高い。ユーザーＢは、操作対象装置として設定したいプロジェクター１００が投射する画像を、意識的に目視する。例えば、ユーザーＢは、第１画像Ａ１を目視する。ここで、投射面４において、第１画像Ａ１と第２画像Ａ２とが相互に接している場合、ユーザーＢが第１画像Ａ１を目視しても、撮像データは、第１画像Ａ１に加えて、第２画像Ａ２を示すことがある。カメラ３８は、撮像データを制御装置３９に送信する。

続いて、ステップＳ１０２において画像受信部３９６は、カメラ３８から撮像データを受信する。画像受信部３９６は、撮像データを決定部３９７に出力する。

続いて、ステップＳ１０３において決定部３９７は、撮像データが１または２以上の識別情報を表すか否かを判断する。例えば、決定部３９７は、第２記憶部３９２に記憶されている対応データが示す複数の識別情報のうち少なくとも１つが、撮像データに表されているか否かを判断する。

なお、ステップＳ１０３では、決定部３９７は、撮像データが１または２以上の識別情報を表す状況が１秒以上継続するか否かを判断してもよい。この場合、例えば、ユーザーＢが頭部Ｃの向きを変えている間に偶然に撮像された画像に含まれる識別情報を除外することが可能になる。よって、ユーザーＢが意図的に目視している１または２以上の識別情報が存在するか否かを判断可能になる。ここで、１秒は所定時間の一例である。所定時間は１秒よりも長くてもよい。所定時間は１秒よりも短くてもよい。

ステップＳ１０３において撮像データが１または２以上の識別情報を表す場合、ステップＳ１０４において決定部３９７は、撮像データが２以上の識別情報を表すか否かを判断する。

ステップＳ１０４において撮像データが２以上の識別情報を表す場合、ステップＳ１０５において決定部３９７は、２以上の識別情報のうち、撮像画像の中心に最も近い識別情報を、選択識別情報として決定する。撮像画像の中心は、撮像画像の所定位置の一例である。撮像画像の所定位置は、撮像画像の中心に限らず適宜変更可能である。なお、上述のとおり撮像画像の中心は、ユーザーＢの視界の中心またはユーザーＢの視界の中心付近と一致する。このため、撮像画像の所定位置が、撮像画像の中心である場合、ユーザーＢが意図的に目視している画像に含まれる識別情報を、選択識別情報として決定し易くなる。

ステップＳ１０５では、例えば、決定部３９７は以下のように動作する。
決定部３９７は、まず、識別情報ごとに、撮像画像において識別情報を表す識別領域を特定する。続いて、決定部３９７は、識別領域ごとに、識別領域の重心位置を決定する。続いて、決定部３９７は、識別領域の重心位置のうち、撮像画像の中心に最も近い重心位置を決定する。続いて、決定部３９７は、撮像画像の中心に最も近い重心位置を有する識別領域において表される識別情報を、選択識別情報として決定する。
例えば、撮像画像が、第１図形Ａ１１と第２図形Ａ２１とを示す状況において、第１図形Ａ１１の重心位置から撮像画像の中心までの距離が、第２図形Ａ２１の重心位置から撮像画像の中心までの距離よりも短い場合、決定部３９７は、第１図形Ａ１１を、選択識別情報として決定する。

なお、ステップＳ１０５において、決定部３９７は以下のように動作してもよい。
決定部３９７は、まず、識別情報ごとに、撮像画像において識別情報を表す識別領域を特定する。続いて、決定部３９７は、識別領域ごとに、撮像画像の中心との最短距離を、領域距離として特定する。続いて、決定部３９７は、識別領域のうち、領域距離が最も短い識別領域を特定する。続いて、決定部３９７は、領域距離が最も短い識別領域において表される識別情報を、選択識別情報として決定する。

一方、ステップＳ１０４において撮像データが１つの識別情報を表す場合、ステップＳ１０６において決定部３９７は、当該識別情報を、選択識別情報として決定する。

ステップＳ１０５またはステップＳ１０６において選択識別情報が決定されると、ステップＳ１０７において決定部３９７は、選択識別情報が示すプロジェクター１００を、操作対象装置として決定する。例えば、決定部３９７は、対応データを参照することによって、選択識別情報が示すプロジェクター１００を操作対象装置として決定する。一例を挙げると、第１図形Ａ１１が選択識別情報として決定されている場合、決定部３９７は、対応データを参照することによって、第１プロジェクター１を操作対象装置として決定する。

続いて、決定部３９７は、操作対象装置として決定されたプロジェクター１００の名称を示す決定情報を、表示制御部３９４に出力する。続いて、ステップＳ１０８において表示制御部３９４は、決定情報によって示されるプロジェクター１００の名称を表す右画像光を、右画像出力部３４ａに出力させる。さらに、ステップＳ１０８において、表示制御部３９４は、決定情報によって示されるプロジェクター１００の名称を表す左画像光を、左画像出力部３６ａに出力させる。右画像光は、右光学系３４ｂと右導光板３５を介して、ユーザーＢの右眼Ｄ１に導かれる。左画像光は、左光学系３６ｂと左導光板３７を介して、ユーザーＢの左眼Ｄ２に導かれる。このため、ユーザーＢは、操作対象装置として決定されるプロジェクター１００を視認できる。

ユーザーＢは、操作対象装置を視認すると、操作入力部３００に対して操作を行う。操作入力部３００は、ユーザーＢの操作に基づく操作データを制御装置３９に出力する。

続いて、ステップＳ１０９では、決定部３９７は、操作対象装置を決定してから所定時間以内、例えば５秒以内に操作データを受けたか否かを判断する。ステップＳ１０９において決定部３９７は、操作対象装置を決定してから所定時間以内に操作データを受けない場合、処理が、ステップＳ１０２に戻る。このため、操作対象装置を決定してから所定時間以内に操作データを受けない場合、操作対象装置を更新することが可能となる。所定時間は、５秒よりも長くてもよいし、５秒よりも短くてもよい。

ステップＳ１０９において、操作対象装置を決定してから所定時間以内に操作データを受ける場合、ステップＳ１１０において決定部３９７は、第２通信部３９１に、操作データに基づく操作信号を操作対象装置へ送信させる。例えば、操作対象装置の決定後に受けた操作データが、幾何補正処理を開始するための開始操作を示す場合、決定部３９７は、第２通信部３９１に、幾何補正処理の開始を示す操作信号を操作対象装置へ送信させる。
操作対象装置として決定されたプロジェクター１００は、操作信号が示す動作を実行する。例えば、第１プロジェクター１が操作対象装置である状況において、第１通信部１２が、幾何補正処理の開始を示す操作信号を受信すると、第１処理部１５は、投射部１３に、幾何補正処理の操作を受け付ける操作画像を示す操作画像データを出力する。投射部１３は、操作画像データに基づいて、操作画像を第１領域４１に表示する。その後、ユーザーＢは、操作画像を用いて第１プロジェクター１において幾何補正処理を実行させる。
なお、操作信号は、幾何補正処理を開始するための開始操作を示す信号に限らない。例えば、操作信号は、操作対象装置の投射画像を明るくする操作を示す信号、または、操作対象装置の投射画像を暗くする操作を示す信号でもよい。

続いて、ステップＳ１１１において操作入力部３００が終了指示を受けない場合、処理がステップＳ１０２に戻る。このため、例えば、ユーザーＢが、操作対象装置を第１プロジェクター１から第２プロジェクター２に変更したい場合、ユーザーＢは、頭部Ｃの向きを、第１画像Ａ１に向かう方向から第２画像Ａ２に向かう方向に変更すればよい。

一方、ステップＳ１１１において操作入力部３００が終了指示を受ける場合、ステップＳ１１２において決定部３９７は、カメラ３８に撮像を終了させる。

なお、ステップＳ１０３において撮像データが識別情報を表さない場合、処理はステップＳ１１１に進む。

Ａ８．第１実施形態についてのまとめ
上述の本実施形態に係る表示方法および表示装置は以下の態様を含む。

画像受信部３９６は、ユーザーＢの視界の少なくとも一部を撮像対象領域とするカメラ３８から、カメラ３８が第１画像Ａ１を撮像する場合にカメラ３８によって生成される撮像データを受ける。決定部３９７は、撮像データによって表される第１画像Ａ１における第１識別情報が示す第１プロジェクター１を、操作対象装置として決定する。第２通信部３９１は、ユーザーの操作に基づく操作信号を操作対象装置に送信する。

この態様によれば、ユーザーＢが第１画像Ａ１を視認すれば、第１プロジェクター１が、操作対象装置として自動的に決定される。このため、ユーザーＢは、操作対象装置の候補から操作対象装置を決定するために、ＰＣ等の操作部を操作する必要がなく、手間が省ける。

カメラ３８は、本体３０に設けられる。この態様によれば、ユーザーＢの視界の少なくとも一部を撮像対象領域とするカメラ３８を容易に実現できる。

制御装置３９は、本体３０に設けられる。この態様によれば、ユーザーＢは制御装置３９を容易に携帯できる。

カメラ３８と制御装置３９は、本体３０に設けられる。この態様によれば、ユーザーＢはカメラ３８と制御装置３９とを一体として取り扱える。このため、カメラ３８と制御装置３９とが別体である構成に比べて、使い勝手が向上する。

第１識別情報と第２識別情報とが撮像データに含まれると、撮像画像における第１識別情報の位置から撮像画像の所定位置までの距離が、撮像画像における第２識別情報の位置から撮像画像の所定位置までの距離よりも短い場合に、決定部３９７は、撮像データに含まれる第１識別情報が示す第１プロジェクター１を、操作対象装置として決定する。
この態様によれば、第１識別情報と第２識別情報とが撮像データに含まれていても、ユーザーＢが第１画像Ａ１を目視する場合に、第１プロジェクター１を操作対象装置として決定し易くなる。

Ｂ．変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

Ｂ１．第１変形例
第１実施形態において、第１画像Ａ１のうち、第１識別情報に割り当てられている部分における輝度が、第１識別情報に基づいて、時間経過に伴い変化してもよい。この場合、決定部３９７は、撮像データに含まれる情報のうち、時間経過に伴う輝度の変化によって示される情報を、識別情報として用いる。この態様によれば、決定部３９７は、時間経過に伴う輝度の変化を用いて、操作対象装置を決定できる。なお、第１画像Ａ１のうち、第１識別情報に割り当てられている部分とは、第１画像Ａ１のうち、第１識別情報を表すために用いられる部分を意味する。

ここで、第１識別情報に基づく輝度の変化が、６０Ｈｚ以上の周波数、例えば、１２０Ｈｚの周波数を有することが望ましい。人は、６０Ｈｚ以上の周波数を有する輝度の変化を認識できない。このため、第１識別情報に基づく輝度の変化が、６０Ｈｚ以上の周波数を有する場合、第１識別情報がユーザーＢに視認されることなく、決定部３９７は、第１識別情報を得ることが可能になる。

また、第１画像Ａ１は、第１識別情報に基づく６０Ｈｚ以上の周波数を有する輝度変化が施された静止画でもよい。この場合、ユーザーＢは、当該輝度変化を認識できずに、第１画像Ａ１を単なる静止画として認識する。このため、第１プロジェクター１は、ユーザーＢに違和感を与えることなく、第１識別情報と静止画とを同時に表示できる。

なお、第２画像Ａ２のうち、第２識別情報に割り当てられている部分における輝度が、第２識別情報に基づいて、時間経過に伴い変化してもよい。この場合、決定部３９７は、撮像データに含まれる情報のうち、時間経過に伴う輝度の変化によって示される情報を、識別情報として用いる。なお、第２画像Ａ２のうち、第２識別情報に割り当てられている部分とは、第２画像Ａ２のうち第２識別情報を表すために用いられる部分を意味する。

図８は、第１画像Ａ１において、第１識別情報に基づいて、時間経過に伴い変化する輝度の一例を示す図である。図８では、第１プロジェクター１のＩＰアドレスが第１識別情報として用いられる。
この場合、ＩＰアドレスに使用される各数値が４ビットで示される。そして、各ビットにおける“１”が第１輝度Ｅ１で表され、各ビットにおける“０”が第２輝度Ｅ２で表される。
このため、ＩＰアドレスに使用される数値「１」は、「０００１」と表され、ＩＰアドレスに使用される数値「９」は、「１００１」と表され、ＩＰアドレスに使用される数値「２」は、「００１０」と表される。
図８では、第１輝度Ｅ１が第２輝度Ｅ２よりも高い。なお、第１輝度Ｅ１が第２輝度Ｅ２よりも低くてもよい。図８に示すように、スタート位置を示すスタートマーカーＦ１と、４ビットごとの区切りを示す区切りマーカーＦ２が用いられる。

なお、図８では、第１識別情報として、第１プロジェクター１のＩＰアドレスが用いられたが、第１識別情報は、第１プロジェクター１のＩＰアドレスに限らない。例えば、第１プロジェクター１が属する無線ＬＡＮと、第２プロジェクター２が属する無線ＬＡＮが、相互に異なる場合、第１識別情報として、第１プロジェクター１が属する無線ＬＡＮのＳＳＩＤ（Service Set Identifier）が用いられてもよい。この場合、第２識別情報として、第２プロジェクター２が属する無線ＬＡＮのＳＳＩＤが用いられてもよい。

Ｂ２．第２変形例
第１実施形態において、第１画像Ａ１のうち、第１識別情報に割り当てられている部分は、第１識別情報を示す赤外光を含んでもよい。この場合、決定部３９７は、撮像データに含まれる情報のうち、赤外光によって示される情報を、識別情報として用いる。この態様によれば、決定部３９７は、ユーザーＢには視認されない赤外光を用いて、操作対象装置を決定できる。この態様では、カメラ３８は、可視光を透過せずに赤外光を透過する赤外光フィルターを介して撮像を行うことが好ましい。

また、第１画像Ａ１は、第１識別情報を示す赤外光が重畳された画像、例えば、静止画または動画でもよい。この場合、ユーザーＢは、第１識別情報を認識できずに、第１画像Ａ１を単なる画像として認識する。このため、第１プロジェクター１は、ユーザーＢに違和感を与えることなく、第１識別情報と静止画とを同時に表示できる。

なお、第２画像Ａ２のうち、第２識別情報に割り当てられている部分が、第２識別情報を示す赤外光を含んでもよい。この場合、決定部３９７は、撮像データに含まれる情報のうち、赤外光によって示される情報を、識別情報として用いる。
Ｂ３．第３変形例
第１実施形態、第１変形例および第２変形例において、表示システム１０００に含まれるプロジェクター１００の数は２台に限らず、１台でもよいし、３台以上でもよい。

Ｂ４．第４変形例
第１実施形態および第１～第３変形例において、制御装置３９は、本体３０とは異なる装置、例えばＰＣに設けられてもよい。この場合、本体３０の軽量化を図ることができる。

Ｂ５．第５変形例
第１実施形態および第１～第４変形例において、プロジェクター１００における光変調装置の一例として液晶ライトバルブ１３５が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源１３４が発した光を変調可能な構成は、光変調装置として採用できる。

Ｂ６．第６変形例
第１実施形態および第１～第５変形例において、表示装置としてＦＰＤが用いられる場合、ＦＰＤは、電子黒板または電子会議システムに用いられているＦＰＤでもよい。

Ｂ７・第７変形例
第１実施形態および第１～第６変形例では、制御装置３９は、操作対象装置の決定結果をユーザーＢへ伝えさせる動作を、決定結果出力装置として機能する右画像出力部３４ａおよび左画像出力部３６ａに実行させた。ここで、決定結果出力装置は、右画像出力部３４ａおよび左画像出力部３６ａに限らない。例えば、決定結果出力装置として、操作対象装置の決定結果をユーザーＢへ音声で伝えるスピーカーが用いられてもよい。決定結果出力装置が、操作対象装置の決定結果をユーザーＢに伝えるため、ユーザーＢは、操作対象装置の決定結果を容易に知ることが可能になる。

１…第１プロジェクター、２…第２プロジェクター、３…ＨＭＤ、３０…本体、３８…カメラ、３９…制御装置、３００…操作入力部、３９１…第２通信部、３９２…第２記憶部、３９３…第２処理部、３９４…表示制御部、３９５…動作制御部、３９６…画像受信部、３９７…決定部、１０００…表示システム。

Claims (10)

1. 制御装置が実行する表示装置の制御方法であって、
   前記表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受け、
   前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定し、
   前記操作対象装置を決定してから所定時間以内に操作データを受けた場合、前記ユーザーの操作に基づく操作信号を前記操作対象装置に送信し、
   前記所定時間以内に前記操作データを受けない場合、前記撮像データを受け、前記操作対象装置を更新する、ことを含む表示装置の制御方法。
2. 前記撮像装置は、前記ユーザーの頭部に装着される装置に設けられる、
   請求項１に記載の表示装置の制御方法。
3. 前記制御装置は、前記ユーザーの頭部に装着される装置に設けられる、
   請求項１に記載の表示装置の制御方法。
4. 前記撮像装置および前記制御装置は、前記ユーザーの頭部に装着される装置に設けられる、
   請求項１に記載の表示装置の制御方法。
5. 前記識別画像のうち、前記識別情報に割り当てられている部分における輝度は、前記識別情報に基づいて、時間経過に伴い変化し、
   前記撮像データに含まれる情報のうち、前記時間経過に伴う前記輝度の変化によって示される情報を、前記識別情報として用いる、
   請求項１から４のいずれか１項に記載の表示装置の制御方法。
6. 前記時間経過に伴う前記輝度の変化は、６０Ｈｚ以上の周波数を有する、
   請求項５に記載の表示装置の制御方法。
7. 前記識別画像のうち、前記識別情報に割り当てられている部分は、前記識別情報を示す赤外光を含み、
   前記撮像データに含まれる情報のうち、前記赤外光によって示される情報を、前記識別情報として用いる、
   請求項１から４のいずれか１項に記載の表示装置の制御方法。
8. さらに、決定結果出力装置に前記操作対象装置の決定結果を前記ユーザーへ伝えさせる、
   請求項１から７のいずれか１項に記載の表示装置の制御方法。
9. 前記識別情報を第１識別情報とする際に、前記第１識別情報に加えて前記表示装置とは異なる表示装置を識別する第２識別情報が前記撮像データに含まれると、
   前記撮像データが示す撮像画像における前記第１識別情報の位置から、前記撮像画像の所定位置までの距離が、前記撮像画像における前記第２識別情報の位置から、前記撮像画像の前記所定位置までの距離よりも短い場合に、前記撮像データに含まれる前記第１識別情報が示す表示装置を、前記操作対象装置として決定する、
   請求項１から８のいずれか１項に記載の表示装置の制御方法。
10. 表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受ける画像受信部と、
    前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定する決定部と、
    前記操作対象装置を決定してから所定時間以内に操作データを受けた場合、前記ユーザーの操作に基づく操作信号を前記操作対象装置に送信する通信部と、を含み、
    前記所定時間以内に前記操作データを受けない場合、前記画像受信部は、前記撮像データを受け、前記決定部は、前記操作対象装置を更新する、制御装置。

Images