JP6686319B2 - 画像投影装置及び画像表示システム - Google Patents

Description

本願の開示する技術は画像投影装置及び画像表示システムに関する。

スクロールされたコンテンツ画像に撮影画像が重ねられ且つ軌跡画像を含む重畳画像の映像信号をＣＰＵが生成するヘッドマウントディスプレイがある。

また、入力キー及び入力値表示欄の模擬画像が、現実空間の操作パネルの表示部に位置・形状・傾斜などと合わせ込まれて投影される操作入力システムがある。

特開２０１５−６９４８１号公報 特開２０１３−１１０５１４号公報

スマートフォン等の携帯端末では、画像を表示する画面の大きさに制限がある。したがって、使用者が画像から得られる情報量にも限りがある。また、画面を備えた画像表示機器（電子機器）であれば、携帯端末でなくても、画像を視認できる領域を広くし、画像からより多くの情報が得られるようにすれば、利便性が高い。

本願の開示技術は、１つの側面として、画像表示機器の表示画面以外に画像を投影し、画像を視認したときの取得できる情報量を多くすることが目的である。

本願の開示する技術では、撮像部で撮影された画像から、画像表示機器の表示画面に表示された表示画像を検出する検出部を有する。さらに、検出部で検出した表示画像の表示情報に基いて、表示画面と異なる位置に表示画像と異なる投影画像を投影するように投影部を制御する制御部を有する。

本願の開示する技術では、画像表示機器の表示画面以外に画像を投影し、画像を視認したときの取得できる情報量を多くできる。

図１は第一実施形態の画像表示システムを示す図である。 図２は第一実施形態の画像表示システムを示すブロック図である。 図３は候補画像組と候補画像の関係を示す表である。 図４は第一実施形態の画像表示システムにおける画像投影の手順を示すフローチャートである。 図５は第二実施形態の画像表示システムを示す図である。 図６は第二実施形態の画像表示システムを示すブロック図である。 図７は第三実施形態の画像表示システムを示す図である。 図８は第三実施形態の画像表示システムを示すブロック図である。 図９は第四実施形態の画像表示システムを示すブロック図である。

第一実施形態について、図面に基づいて詳細に説明する。

図１及び図２に示すように、第一実施形態の画像表示システム２２は、スマートフォン２４及びメガネ型投影装置２６を有する。スマートフォン２４は画像表示機器の一例であり、メガネ型投影装置２６は画像投影装置の一例である。

スマートフォン２４は、図２に示すように、制御部３２、ディスプレイ３４及びアンテナ３６を有する。制御部３２は、スマートフォン２４の各種の処理を行うプロセッサや、各種のデータ（情報）を記憶するメモリを有する。

ディスプレイ３４は、制御部３２から画像データを受け、この画像データに基いて所定の画像を表示することができる。以下、スマートフォン２４のディスプレイ３４に表示される画像を表示画像ＨＧという。

本実施形態では、図１に示すように、表示画像ＨＧの内部に、マーカＭ１を表示できる。このマーカＭ１は、たとえば、表示画像ＨＧの種類（後述する候補画像ＫＧを特定する情報及び格納先のアドレス）や、ディスプレイ３４の形状、サイズ、位置等に関連付けられた情報を有する。マーカＭ１が有するこれらの情報は、あらまじめ制御部３２内のメモリに設定・保存して置くことができる。そして、その情報の一部もしくは全部を、メガネ型投影装置２６の後述する制御部５０内のメモリと同期させてもよい。

アンテナ３６は、スマートフォン２４の外部の機器との間で、無線信号の送受信を行う。アンテナ３６が受信したデータを、制御部３２内のメモリへ書き込んだり、制御部３２内のメモリのデータをアンテナ３６から外部に送信したりすることが可能である。アンテナ３６は、制御部３２に内蔵されていてもよい。

図１に示すように、メガネ型投影装置２６は、フレーム４２及び一対のテンプル４４を有し、使用者がメガネと同様に顔面へ装着できる。テンプル４４に代えて、たとえばベルトや紐等によって使用者が装着する構造でもよい。

フレーム４２には、装着状態で使用者の目の前に位置するスクリーン４６が設けられる。スクリーン４６は光透過性を有しており、使用者がメガネ型投影装置２６を装着した状態で、外部の光がスクリーン４６を透過する。すなわち、メガネ型投影装置２６の使用者はスクリーン４６越しに外部の景色を視認できる。たとえば、メガネ型投影装置２６の使用者（装着者）は、図１に示すように、スクリーン４６越しに、手に持ったスマートフォン２４を視認できる。

さらにスクリーン４６には、後述するようにプロジェクタ４８から画像を投影できる。以下、プロジェクタ４８によりスクリーン４６に投影される画像を投影画像ＴＧという。この投影画像ＴＧは、使用者が視認できる。

メガネ型投影装置２６は、図２にも示すように、制御部５０、プロジェクタ４８、カメラ５２、検出部５４及びアンテナ５６を有する。

制御部５０は、メガネ型投影装置２６の各種の処理を行うプロセッサや、各種のデータ（情報）を記憶するメモリを有する。

カメラ５２は撮像部の一例であり、メガネ型投影装置２６の外部を撮像し、撮像データを検出部５４に送る。本実施形態では、カメラ５２は、メガネ型投影装置２６の前方側、換言すれば、メガネ型投影装置２６を装着した使用者の視界の範囲を撮像できる。たとえば、メガネ型投影装置２６の前方側にスマートフォン２４が位置している場合は、スマートフォン２４のディスプレイ３４に表示される表示画像ＨＧを撮像できる。

検出部５４は、カメラ５２から送られた撮像データから、スマートフォン２４のディスプレイ３４に表示された表示画像ＨＧを検出する。本実施形態では、表示画像ＨＧの形状及び位置を検出する。そして、表示画像ＨＧに関するこれらのデータを制御部５０に送る。

なお、制御部５０及び検出部５４は、たとえば１枚の回路基板上で一体的に形成されていてもよい。

プロジェクタ４８は、制御部５０から、後述する投影画像ＴＧの画像データを受け、この画像データに基いて、所定の投影画像ＴＧをスクリーン４６に投影する。各投影画像ＴＧの投影位置は、スマートフォン２４の表示画像ＨＧ（表示画面３４）とは重ならない位置である。

アンテナ５６は、メガネ型投影装置２６の外部の機器との間で、無線信号の送受信を行う。アンテナ５６が受信したデータを、制御部５０内のメモリへ書き込んだり、制御部５０内のメモリのデータをアンテナ５６から外部に送信したりすることが可能である。アンテナ５６は、制御部５０に内蔵されていてもよい。

スマートフォン２４の制御部３２は、スマートフォン２４のディスプレイ３４に表示するか、又はメガネ型投影装置２６のスクリーン４６に投影する複数の画像のデータを所定領域から読み足したり、生成したりする。

これらの画像は、ディスプレイ３４への表示画像またはスクリーン４６への投影画像の候補であり、以下、これを候補画像ＫＧという。候補画像ＫＧは、所定の操作、条件あるいはタイミングで更新される。

候補画像ＫＧとしては、たとえば、ブラウザ画像、メール画像、文書画像、写真画像等、特に限定されない。さらに、スマートフォン２４の各種状態（バッテリ残量）や時刻等を表示する画像でもよい。以下では、例として、５つの候補画像ＫＧを挙げ、候補画像ＫＧ−Ａから候補画像ＫＧ−Ｅとして区別する。

スマートフォン２４の使用者は、スマートフォン２４の制御部３２のメモリに格納された画像から、複数の候補画像ＫＧを選択し順位付けすることができる。この順位付けが異なる候補画像組ＧＧとして、本実施形態では、５つの候補画像組ＧＧ−Ａ〜候補画像組ＧＧ−Ｅが存在する。

図３に示す例では、候補画像組ＧＧ−Ａにおいては、候補画像ＫＧ−Ａから候補画像ＫＧ−Ｅへと順に順位が付けられる。候補画像組ＧＧ−Ｂにおいては、候補画像ＫＧ−Ｂから候補画像ＫＧ−Ｅを経て候補画像ＫＧ−Ａへと順位付けられる。候補画像組ＧＧ−Ｃにおいては、候補画像ＫＧ−Ｃから候補画像ＫＧ−Ｅを経て、さらに候補画像ＫＧ−Ａから候補画像ＫＧ−Ｂへと順位付けられる。

候補画像組ＧＧ内において、第１位に順位付けされる候補画像ＫＧは、スマートフォン２４のディスプレイ３４に表示される画像（表示画像ＨＧ）である。これに対し、候補画像組ＧＧ内において、第２位以降に順位付けされる候補画像ＫＧは、メガネ型投影装置２６においてプロジェクタ４８から投影される画像（投影画像ＴＧ）である。

メガネ型投影装置２６の制御部５０では、検出部５４から送られた表示画像ＨＧのデータから、スマートフォン２４の表示画像ＨＧの形状及び位置の情報を得る。そして、この情報から、特定の候補画像組ＧＧ内の候補画像ＫＧのうち、表示画像ＨＧ以外の画像を、投影画像ＴＧとしてプロジェクタ４８から投影するように制御する。このとき、表示画像ＨＧの位置が分かっているので、この表示画像ＨＧと異なる位置（重ならない位置）に投影するように制御部５０はプロジェクタ４８を制御する。

本実施形態では、図１に示すように、候補画像の順位に基き、投影位置があらかじめ決められている。この投影位置は、たとえばスマートフォン２４の所定位置（原点）を基準とした相対位置である。図１に示す例では、第１位の候補画像ＫＧ−Ａが、スマートフォン２４のディスプレイ３４に表示される。そして、第２位の候補画像ＫＧ−Ｂはディスプレイ３４の右に、第３位の候補画像ＫＧ−Ｃはディスプレイ３４の左に、第４位の候補画像ＫＧ−Ｄは表示画面の左上に、第５位の候補画像ＫＧ−Ｅは表示画面の右上に投影される。

なお、候補画像組ＧＧ内の候補画像ＫＧの数は限定されず、また、候補画像ＫＧの入れ替えや順位変更は、たとえば、スマートフォン２４の使用者が操作することにより可能である。メガネ型投影装置２６の制御部５０内のメモリには、スマートフォン２４から候補画像組ＧＧのデータが格納されており、格納データは、スマートフォン２４から送信されるデータ等に基づき適宜更新される。

図４には、第一実施形態において、メガネ型投影装置２６から投影画像ＴＧを投影する場合の、メガネ型投影装置２６内での処理のフロー（画像投影方法）の一例が示されている。

なお、このフローは、たとえば、メガネ型投影装置２６の電源オンによって開始され、電源オフにより任意のステップで終了する。

スマートフォン２４において、使用者が複数画面表示の開始を指示する動作を行うと、この信号がスマートフォン２４のアンテナ３６から発信される。メガネ型投影装置２６でこの信号を受けると、ステップＳ１０２において、カメラ５２により、メガネ型投影装置２６の外部を撮像する動作を行う。

ステップＳ１０４では、スマートフォン２４の表示画像ＨＧが検出できたか否かを判断する。この表示画像ＨＧの検出の判断には、表示画像ＨＧ全体を検出してもよいし、表示画像ＨＧがマーカＭ１を含む場合は、マーカＭ１を検出してもよい。さらに、表示画像ＨＧ全体の検出と、マーカＭ１の検出とを併用してもよい。

ステップＳ１０４において、表示画像ＨＧ又はマーカＭ１を検出できないと判断すると、カメラ５２の撮像範囲内にスマートフォン２４の表示画面３４が視認可能に配置されていないと考えられる。この場合、ステップＳ１０６において、画像の投影を停止する。ここでいう「停止」には、すでに投影画像ＴＧを投影している場合にこの投影を停止する場合と、投影画像ＴＧを投影していない場合に、引き続き投影しない状態を維持する２つの動作を含む。

そして、ステップＳ１０２に戻り、スマートフォン２４のディスプレイ３４のマーカＭ１をカメラ５２で撮像する。

ステップＳ１０４において、表示画像ＨＧ又はマーカＭ１を検出できたと判断した場合、ステップＳ１０８に移行する。

ステップＳ１０８では、ディスプレイ３４に表示されている表示画像ＨＧの種類（候補画像ＫＧ−Ａから候補画像ＫＧ−Ｅのいずれの画像か）、形状及びサイズを特定（認証）する。この画像の特定は、表示画像ＨＧ及びマーカＭ１のいずれか一方から行うこともでき、双方に基いて行うことも可能である。図１に示す例では、スマートフォン２４のディスプレイ３４に表示される表示画像ＨＧが候補画像ＫＧ−Ａであると特定できる。候補画像ＫＧ−Ａが表示画像ＨＧとしてディスプレイ３４に表示されているので、図３から、候補画像ＫＧ−Ａが第１位であることが分かる。

このようにして、スマートフォン２４のディスプレイ３４の表示画像ＨＧを特定すると、どの候補画像組ＧＧが選択されているかということも特定できる。図１に示す例では、スマートフォン２４の表示画像ＨＧは候補画像ＫＧ−Ａなので、図３から、候補画像組ＧＧ−Ａが選択されていると特定できる。

そして、候補画像組ＧＧを特定することで、プロジェクタ４８から投影する候補画像ＫＧのそれぞれが、投影位置も含めて決まる。

次に、ステップＳ１１０に移行する。ステップＳ１１０では、制御部５０は、特定した候補画像組ＧＧに対応する候補画像ＫＧのデータをメモリから読み出す。そして、プロジェクタ４８から、投影位置に所定の投影画像ＴＧを投影する。図１に示す例では、候補画像組ＧＧ−Ａが選択されている。したがって、第２位の候補画像ＫＧ−Ｂはディスプレイ３４の右に、第３位の候補画像ＫＧ−Ｃはディスプレイ３４の左に、第４位の候補画像ＫＧ−Ｄは表示画面の左上に、第５位の候補画像ＫＧ−Ｅはディスプレイ３４の右上に投影する。

次に、ステップＳ１１２では、候補画像組ＧＧの変更操作が行われたか否かを判断する。この変更操作は、第一実施形態では、たとえば、スマートフォン２４のディスプレイ３４における操作、たとえば、特定のアイコンへのタップや、表示画像ＨＧに対するスワイプ等により行うことが可能である。そして、変更操作が行われると、候補画像組ＧＧの変更を指示する信号がスマートフォン２４のアンテナ３６から発信される。メガネ型投影装置２６でこの信号を受けることで、ステップＳ１０８における判断が可能である。

ステップＳ１１２において、候補画像組ＧＧの変更操作が行われていないと判断した場合は、ステップＳ１０２に戻る。

ステップＳ１１２において、候補画像組ＧＧの変更操作が行われたと判断した場合は、ステップＳ１１４に移行し、候補画像組ＧＧの変更を適切に行う。具体的には、たとえば、スマートフォン２４において、表示画像ＨＧに対し左方向へのスワイプがなされた場合には、候補画像組ＧＧ−Ｂへと切り替わるように予め設定しておく。そして、ステップＳ１０２に戻る。

以降は同様のフローを繰り返す。たとえば、ステップＳ１０８において、あらためて表示画像ＨＧの種類、形状及びサイズを特定する。したがって、スマートフォン２４の向きや位置が変わった場合であっても、ステップＳ１１０では、表示画像ＨＧのあらたな形状及びサイズから、投影画像ＴＧを表示画像ＨＧに対し所定の位置（相対位置）に投影できる。

また、候補画像組ＧＧが変更されている場合は、ステップＳ１１０で、あらたな候補画像組ＧＧに基いて、投影位置のそれぞれに、候補画像ＫＧのいずれかを投影する。たとえば、候補画像組ＧＧ−Ｂが選択されている場合、図３に示す例では、第２位の候補画像ＫＧ−Ｃはディスプレイ３４の右に、第３位の候補画像ＫＧ−Ｄはディスプレイ３４の左に投影する。同様に、第４位の候補画像ＫＧ−Ｅは表示画面の右上に、第５位の候補画像ＫＧ−Ａはディスプレイ３４の左上に投影する。

次に、第二実施形態について説明する。第二実施形態において、第一実施形態と同様の要素、部材等については第一実施形態と同一の符号を付して、詳細な説明を省略する。

第二実施形態の画像表示システム１２２は、図５及び図６に示すように、メガネ型投影装置１２６を有する。このメガネ型投影装置１２６は、第一実施形態のメガネ型投影装置２６のカメラ５２（図１及び図２参照）に代えて、測長カメラ１２８を有する。

測長カメラ１２８は、スマートフォン２４のディスプレイ３４を撮像することに加えて、スマートフォン２４の使用者（メガネ型投影装置１２６の装着者）の指先の位置と、測長カメラ１２８から指先までの距離を測定できる。たとえば、測長カメラ１２８として、複数の異なる位置から対象を撮像するカメラを用いれば、３次元の画像データを取得でき、上記距離を測定できる。このようなカメラは、立体カメラ、デプスカメラ、３Ｄ(3 Dimension)カメラと称されることがある。

測長カメラ１２８で測長したデータは、メガネ型投影装置１２６の制御部３２に送信される。ここで言う「指先」は、表示画像ＨＧ又は投影画像ＴＧへの操作を行うための操作体の一例である。このような操作体としては、たとえば、表示画像ＨＧへの接触により操作を行う部材（タッチペン）等を挙げることができる。

そして、第二実施形態では、測長カメラ１２８を有しており、メガネ型投影装置１２６による投影画像ＴＧと、スマートフォン２４の使用者（メガネ型投影装置１２６の装着者）の指先の相対位置を検出できる。投影画像ＴＧは、現実的には存在しない仮想の画像であるが、この投影画像ＴＧを実際の画像（たとえば表示画像ＨＧ）のように扱い、投影画像ＴＧに対する指先の操作を、投影画像ＴＧに対する実際の操作として処理できる。

したがって、第二実施形態では、スマートフォン２４の表示画像ＨＧだけでなく、メガネ型投影装置２６の投影画像ＴＧに対しても、使用者が指先で操作を行うことができ、利便性が高い。

なお、測長カメラ１２８によって、スマートフォン２４の使用者の指先の位置と、指先までの距離を測定する方法は特に限定されない。たとえば、測長カメラ１２８から赤外線等を使用者の指先に照射し、この赤外線の反射時間によって、上記距離を測定する方法でもよい。実質的に、測長カメラ１２８は、撮像用のカメラと、測長用のセンサとが一体化された構造であるとも言える。

次に、第三実施形態について説明する。第三実施形態において、第一実施形態と同様の要素、部材等については第一実施形態と同一の符号を付して、詳細な説明を省略する。

第三実施形態の画像表示システム１４２は、図７及び図８に示すように、メガネ型投影装置１４６を有する。このメガネ型投影装置１４６は、カメラ１５２を有し、さらに、測長センサ１４８を有する。

カメラ１５２は、第一実施形態のメガネ型投影装置２６のカメラ５２と同様に、メガネ型投影装置１４６の外部を撮像する。

測長センサ１４８は、スマートフォン２４の使用者（メガネ型投影装置１４６の装着者）の指先まで距離を測定できる。なお、指先の位置は、たとえば、カメラ５２によって撮影した画像により認識してもよいし、測長センサ１４８が、実質的にカメラ５２と同様の撮像機能を備え、指先を撮像することによる位置認識と測長とを行う構造でもよい。

このように、第三実施形態では、カメラ５２及び測長センサ１４８を有しており、メガネ型投影装置１２６による投影画像ＴＧと、スマートフォン２４の使用者（メガネ型投影装置１２６の装着者）の指先の相対位置を認識できる。投影画像ＴＧは、現実的には存在しない仮想の画像であるが、この投影画像ＴＧを、実際の画像のように扱い、投影画像ＴＧに対する指先の操作を、投影画像ＴＧに対する実際の操作として処理できる。

したがって、第三実施形態では、スマートフォン２４の表示画像ＨＧだけでなく、メガネ型投影装置２６の投影画像に対しても、使用者が指先で操作を行うことができ、利便性が高い。

次に、第四実施形態について説明する。第四実施形態において、第一実施形態と同様の要素、部材等については第一実施形態と同一の符号を付して、詳細な説明を省略する。

第四実施形態の画像表示システム１７２では、スマートフォン２４及びメガネ型投影装置２６を有し、さらに、サーバ１７４を有する。

図９に示すように、サーバ１７４には、スマートフォン２４又はマーカＭ１に対応する複数の候補画像組ＧＧ（たとえば図３に示す候補画像組ＧＧ−Ａから候補画像組ＧＧ−Ｅ）が記憶される。サーバ１７４の記憶情報は、スマートフォン２４の記憶情報と同期されており、スマートフォン２４内の記憶情報と同一内容がサーバ１７４に記憶される。たとえば、スマートフォン２４内の記憶情報が更新されると、サーバ１７４の記憶情報も、スマートフォン２４からの信号を受けて更新される。さらに、第四実施形態では、複数の候補画像組ＧＧのうち、どの候補画像組ＧＧが選択されているか、という情報も、スマートフォン２４からサーバ１７４が受信する。

第四実施形態では、メガネ型投影装置２６で投影する画像のデータが、サーバ１７４から送信される。メガネ型投影装置２６では、サーバ１７４から受信した画像データに基き、プロジェクタ４８により、所定の投影画像ＴＧをスクリーン４６に投影する。

このように、第四実施形態では、スマートフォン２４による表示画像及びメガネ型投影装置２６による投影画像を、スマートフォン２４だけでなくサーバ１７４にも記憶できる。たとえば、サーバ１７４に記憶された画像情報を、スマートフォン２４の画像情報のバックアップとして用いることができる。

なお、これに対し、第一〜第三実施形態では、メガネ型投影装置２６の投影画像ＴＧの情報がスマートフォン２４から送信され、メガネ型投影装置２６でこの情報を受信する。候補画像を記憶するサーバが不要であり、画像表示システム２２、１２２、１４２としての構造を簡素化できる。

第四実施形態において、上記では、第一実施形態のメガネ型投影装置２６と同様のメガネ型投影装置を用いた例を挙げている。このメガネ型投影装置２６に代えて、たとえば、第二実施形態のメガネ型投影装置１２６（図５及び図６参照）や、第三実施形態のメガネ型投影装置１４６（図７及び図８参照）を用いてもよい。

各実施形態において、マーカＭ１に記録する情報は、上記した、表示画像ＨＧの種類や、ディスプレイ３４の形状、サイズ、等に関連付けられた情報に限定されない。たとえば、第四実施形態では、サーバ１７４に複数の候補画像ＫＧが候補画像組ＧＧとして記憶されるので、これらの画像データの記憶先のアドレス等を記録してもよい。

上記各実施形態では、スマートフォン２４のディスプレイ３４の表示画像に加えて、メガネ型投影装置２６、１２６、１４６による投影画像ＴＧを、スマートフォン２４の使用者（メガネ型投影装置２６の装着者）が視認できる。これにより、メガネ型投影装置２６による投影画像が無い構造と比較して、画像視認による取得情報量が多い。

メガネ型投影装置２６、１２６、１４６の投影画像ＴＧは、スマートフォン２４の表示画像ＨＧとは異なる画像であり、しかも、投影画像ＴＧは表示画像ＨＧ（表示画面３４）と重ならない。したがって、投影画像ＴＧが表示画像ＨＧと同内容であったり、投影画像ＴＧが表示画像ＨＧと重なっていたりする場合と比較して、画像視認による取得情報量が多い。

上記各実施形態では、メガネ型投影装置２６のカメラ５２により、スマートフォン２４の表示画像を撮像し、表示画像の形状及び位置を検出する。そしで、メガネ型投影装置２６のプロジェクタ４８では、カメラ５２で撮像し、検出したディスプレイ３４の形状及び位置に基いて、投影画像ＴＧを投影する。したがって、投影画像ＴＧを、表示画像ＨＧに対して所定位置に投影することが可能である。たとえば、投影画像ＴＧを、表示画像ＨＧと重ならない位置に投影することで、投影画像ＴＧを視認者にとって視やすく投影することができる。

上記各実施形態では、表示画像ＨＧの内部にマーカＭ１が表示される。そして、メガネ型投影装置２６のプロジェクタ４８では、検出したマーカＭ１の情報に基いて、投影画像ＴＧを投影する。このマーカＭ１には、たとえば、ディスプレイ３４におけるマーカＭ１の位置情報を登録しておくことで、表示画像ＨＧの上下や、スマートフォン２４の裏表を判別できる。また、マーカＭ１ごとに、異なる候補画像ＫＧと対応付け（関連付け）を行っておけば、マーカＭ１を認識することで、表示画像ＨＧがどの候補画像ＫＧであるかの特定が容易である。

第二実施形態及び第三実施形態では、投影画像ＴＧに対する指先の相対位置を測長カメラ１２８や測長センサ１４８を用いることで検出できる。これにより、たとえば、投影画像ＴＧに対する指先の相対位置に基づいて、投影画像ＴＧの投影内容を変更でき、利便性が高い。

また、第二実施形態及び第三実施形態では、スマートフォン２４の表示画像だけでなく、メガネ型投影装置１２６、１４６の投影画像に対し、指先等で操作を行うことも可能である。すなわち、投影画像ＴＧに対し指先で行った操作により、スマートフォン２４の表示画像を変更する指示をメガネ型投影装置１２６、１４６からスマートフォン２４に送信し、表示画像ＨＧの表示内容を変更することが可能であり、利便性が高い。

第二実施形態では、カメラ５２により、メガネ型投影装置２６から指先までの距離を測ることができる。この距離を測るための部材が不要であり、メガネ型投影装置２６及び画像表示システム２２の構造を簡素化できる。

第三実施形態では、測長センサ１４８を有しており、この測長センサ１４８は、カメラ５２とは別体である。したがって、カメラ５２では、ディスプレイ３４を撮像する機能を有すれば十分であり、カメラ５２の機能の簡素化を図ることができる。

上記では、画像表示機器の例としてスマートフォン２４を挙げているが、画像表示機器はスマートフォンに限定されない。たとえば、タブレット型のコンピュータや、ノート型のコンピュータでもよいし、据置型のディスプレイでも良い。

上記では、画像投影装置の例として、メガネ型投影装置２６を挙げているが、画像投影装置はメガネ型投影装置に限定さらない。たとえば、頭部に装着する形状の帽子型あるいはヘルメット型の投影装置であってもよい。

以上、本願の開示する技術の実施形態について説明したが、本願の開示する技術は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

本明細書は、以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像部と、
前記撮像部で撮影された画像から、画像表示機器の表示画面に表示された表示画像を検出する検出部と、
画像を投影する投影部と、
前記検出部で検出した前記表示画像の表示情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
を有する画像投影装置。
（付記２）
前記検出部が、前記表示画像の形状及び位置を検出し、
前記制御部が、前記検出部で検出した前記表示画像の形状及び位置に基いて前記投影画像を投影するように前記投影部を制御する付記１に記載の画像投影装置。
（付記３）
前記検出部が、前記表示画像の内部のマーカを検出し、
前記制御部が、前記検出部で検出した前記マーカに基いて前記投影画像を投影するように前記投影部を制御する付記１又は付記２に記載の画像投影装置。
（付記４）
前記表示画像又は前記投影画像への操作を行うための操作体の前記表示画像又は前記投影画像に対する相対位置を検出する操作体検出部を有する付記１〜付記３のいずれか１つに記載の画像投影装置。
（付記５）
前記操作体検出部で検出した前記操作体の前記相対位置に基づいて、前記制御部が前記投影画像の投影内容を変更する付記４に記載の画像投影装置。
（付記６）
前記操作体検出部で検出した前記操作体の前記相対位置に基づいて、前記制御部が前記表示画像を変更する指示を前記画像表示機器に送信する付記４又は付記５に記載の画像投影装置。
（付記７）
前記検出部が前記操作体検出部を兼ねる付記４〜付記６のいずれか１つに記載の画像投影装置。
（付記８）
前記検出部と前記操作体検出部とが別体である付記４〜付記６のいずれか１つに記載の画像投影装置。
（付記９）
前記制御部は、前記投影画像の画像データを前記画像表示機器から受ける付記１〜付記８のいずれか１つに記載の画像投影装置。
（付記１０）
前記制御部は、前記投影画像の画像データを前記画像表示機器とは異なるサーバから取得する付記１〜付記９のいずれか１つに記載の画像投影装置。
（付記１１）
表示画面に表示画像を表示する画像表示機器と、
撮像部と、
前記撮像部で撮影された画像から、前記表示画像を検出する検出部と、
画像を投影する投影部と、
前記検出部で検出した前記表示画像の表示情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
を有する画像表示システム。
（付記１２）
前記画像表示機器が、内部に記憶された複数の記憶画像のうちの特定の前記記憶画像を前記表示画像として前記表示画面に表示し、
前記投影部が、前記表示画像以外の前記記憶画像の画像データを前記画像表示機器から受けて前記投影画像として投影する付記１１に記載の画像表示システム。
（付記１３）
複数の記憶画像を記憶するサーバを有し、
前記画像表示機器が、前記サーバに記憶された複数の記憶画像のうちの特定の前記記憶画像を前記表示画像として前記表示画面に表示し、
前記投影部が、前記表示画像以外の前記記憶画像の画像データを前記サーバから受けて前記投影画像として投影する付記１１に記載の画像表示システム。
（付記１４）
撮影された画像から、画像表示機器の表示画面に表示された表示画像を検出し、
前記検出した前記表示画像の表示情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影する、
を有する画像投影方法。

２２ 画像表示システム
２４ スマートフォン（画像表示機器の一例）
２６ メガネ型投影装置（画像投影装置の一例）
３２ 制御部
３４ ディスプレイ
３４ 表示画面
３６ アンテナ
４８ プロジェクタ（投影部の一例）
５０ 制御部
５２ カメラ（撮像部の一例）
５４ 検出部
５６ アンテナ
１２２ 画像表示システム
１２６ メガネ型投影装置
１２８ 測長カメラ
１４２ 画像表示システム
１４６ メガネ型投影装置
１４８ 測長センサ
１５２ カメラ
１７２ 画像表示システム
１７４ サーバ
ＧＧ 候補画像組
ＨＧ 表示画像
ＫＧ 候補画像
Ｍ１ マーカ

Claims (5)

1. 撮像部と、
   前記撮像部で撮影された画像から、画像表示機器の表示画面に表示された表示画像の内部のマーカを検出し、前記マーカから前記表示画像の種類を含む情報を検出する検出部と、
   画像を投影する投影部と、
   前記検出部で検出した前記マーカが有する前記表示画像の種類を含む情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
   を有する画像投影装置。
2. 撮像部と、
   前記撮像部で撮影された画像から、画像表示機器の表示画面に表示された表示画像の種類を含む情報を検出する検出部と、
   画像を投影する投影部と、
   前記検出部で検出した前記表示画像の種類を含む情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
   前記表示画像又は前記投影画像への操作を行うための操作体の前記表示画像又は前記投影画像に対する相対位置を検出する操作体検出部と、
   を有する画像投影装置。
3. 前記検出部が、前記表示画像の形状及び位置を検出し、
   前記制御部が、前記検出部で検出した前記表示画像の形状及び位置に基いて前記投影画像を投影するように前記投影部を制御する請求項１又は請求項２に記載の画像投影装置。
4. 表示画面に表示画像を表示する画像表示機器と、
   撮像部と、
   前記撮像部で撮影された画像から、前記表示画像の内部のマーカを検出し、前記マーカから前記表示画像の種類を含む情報を検出する検出部と、
   画像を投影する投影部と、
   前記検出部で検出した前記マーカが有する前記表示画像の種類を含む情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
   を有する画像表示システム。
5. 表示画面に表示画像を表示する画像表示機器と、
   撮像部と、
   前記撮像部で撮影された画像から、前記表示画像の種類を含む情報を検出する検出部と、
   画像を投影する投影部と、
   前記検出部で検出した前記表示画像の種類を含む情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
   前記表示画像又は前記投影画像への操作を行うための操作体の前記表示画像又は前記投影画像に対する相対位置を検出する操作体検出部と、
   を有する画像表示システム。

Images