JP4884352B2 - 投影表示装置及び投影表示方法 - Google Patents

Description

この発明は、映像を表示面に投影することにより表示する投影表示装置に関する。

タッチセンサを内蔵するテーブルの上に、上方から映像を投影し、利用者がテーブルの上に投影された映像を指で触ることにより、利用者がコンピュータと対話するシステムがある。
利用者が複数いる場合は、映像に触った利用者を識別することにより、各利用者が同時にコンピュータと対話するとともに、複数の利用者が協調して１つの作業を行うこともできる。
特開２００３−２２１５８号公報 ポール・ディーツ、ダレン・リー「接触認証技術"ダイヤモンドタッチ"」三菱電機技報Ｖｏｌ．７６，Ｎｏ．８、２５〜２８ページ、２００２年８月。

このようなシステムにおいて、利用者が映像に触ろうとして、テーブルの上に腕を伸ばすと、腕の影になってテーブルに映像が投影されない部分ができる場合がある。
利用者が一人であれば、腕を動かすことにより見たい部分の映像を投影させることができるが、利用者が複数の場合、他の利用者の腕の影になった部分を見たい場合もある。
この発明は、例えば、上記のような課題を解決するためになされたものであり、腕などの遮蔽物によって映像が投影されない部分が生じるのを防ぐことを目的とする。

この発明にかかる投影表示装置は、
表示台装置と、主投影装置と、影領域検出装置と、補完投影選択装置と、少なくとも二つの補完投影装置とを有し、
上記表示台装置は、映像を投影される表示面を有し、
上記主投影装置は、上記表示台装置の表示面に対して映像を投影し、
上記影領域検出装置は、上記表示台装置の表示面と上記主投影装置との間に上記主投影装置が投影した映像を遮る遮蔽物が存在することにより、上記表示台装置の表示面に、上記遮蔽物の影になった影領域が発生した場合に、上記影領域を検出し、
上記補完投影選択装置は、上記影領域検出装置が検出した影領域に基づいて、上記補完投影装置のなかから少なくとも一つの補完投影装置を選択し、
上記補完投影装置は、上記補完投影選択装置が選択した選択結果に基づいて、上記補完投影選択装置が選択した補完投影装置である場合に、上記表示台装置の表示面の少なくとも一部に対して映像を投影することを特徴とする。

この発明にかかる投影表示装置によれば、影領域検出装置が検出した影領域に基づいて、補完投影選択装置が複数の補完投影装置のなかから補完映像を投影する補完投影装置を選択するので、影領域と、遮蔽物により補完映像に発生する影とが重ならないように、補完投影装置を選択することができ、表示面に、遮蔽物の影になって映像が表示されない部分が生じるのを防ぐことができるという効果を奏する。

実施の形態１．
実施の形態１について、図１〜図８を用いて説明する。

図１は、この実施の形態における投影表示装置１００の全体構成の一例を示すシステム構成図である。
投影表示装置１００は、主投影装置１１１、補完投影装置１１２〜１１５（補完投影装置１１４，１１５は図示せず）、接触位置検出装置２１１、影領域検出装置２３１、表示台装置１２０、座席１３２〜１３５（座席１３４，１３５は図示せず）、表示制御装置１４０を有する。

表示台装置１２０は、上面が平らでほぼ水平なテーブル状の形状を有する。表示台装置１２０は、表示面１２１を有する。
表示面１２１は、上側から映像を投影されるスクリーンである。表示面１２１は、表示台装置１２０の上面に位置する。座席１３２〜１３５に座っている利用者７０２，７０３や、表示台装置１２０の周囲にいる利用者は、表示面１２１に投影された映像を見ることができる。

接触位置検出装置２１１は、座席１３２〜１３５に座っている利用者７０２，７０３が、表示台装置１２０の表示面１２１に触れた場合に、利用者７０２，７０３が表示面１２１のどこに触れたかを検出する装置である。例えば、接触位置検出装置２１１は、特許文献１に記載のマルチユーザタッチシステムのように、表示面１２１の下側に位置するアンテナを有し、アンテナから放射した微弱電波により、利用者７０２，７０３の体内を微弱電流が流れるのを検出することにより、利用者７０２，７０３が表示面１２１に触れた位置（以下「利用者接触位置」と呼ぶ。）を検出する。あるいは、接触位置検出装置２１１は、圧電素子を用いたタッチセンサであってもよいし、利用者の体温を検出する赤外線センサであってもよいし、既知の他のセンサであってもよい。

主投影装置１１１は、表示台装置１２０の上方に位置する。主投影装置１１１は、表示面１２１に対して映像を投影する投影機である。
表示面１２１の裏側には、接触位置検出装置２１１が利用者接触位置を検出するためのアンテナやセンサなどが配置されているので、主投影装置１１１は、表示面１２１の裏側からではなく、表側から映像を投影する。このため、利用者７０２，７０３が表示面１２１に触れるために腕を伸ばすなどして、主投影装置１１１と表示面１２１との間に主投影装置１１１が投影した映像を遮る遮蔽物があると、遮蔽物の影になり表示面１２１に主投影装置１１１が投影した映像が投影されない領域（以下「影領域」と呼ぶ。）が発生する。

影領域検出装置２３１は、表示面１２１に影領域が発生した場合に、発生した影領域を検出する装置である。例えば、影領域検出装置２３１は、主投影装置１１１のすぐ横に設置されたカメラを有し、カメラが表示面１２１を撮影した映像と、主投影装置１１１が投影した映像との差分を取ることにより、影領域を検出する。あるいは、影領域検出装置２３１は、主投影装置１１１から離れた位置に設置されたカメラを有し、主投影装置１１１が映像を投影する投影位置と、カメラが表示面１２１を撮影する撮影位置との違いによる映像の歪みを補正した上で、補正した映像と、主投影装置１１１が投影した映像とを比較して、影領域を検出してもよい。あるいは、影領域検出装置２３１は、互いに離れた位置に設置された複数のカメラを有し、複数のカメラが表示面１２１を撮影した映像を合成することにより、カメラが撮影した映像から腕などの遮蔽物を除去した上で、合成した映像と、主投影装置１１１が投影した映像とを比較して、影領域を検出してもよい。
もしくは、影領域検出装置２３１は、表示面１２１の下側に位置するホトトランジスタなどの受光素子を有し、受光素子が受光した光の強度に基づいて、影領域を検出してもよい。受光素子は、例えば、接触位置検出装置２１１が利用者接触位置を検出するためのアンテナやセンサの隙間に配置する。

補完投影装置１１２〜１１５は、表示台装置１２０の上方、主投影装置１１１とは異なる位置に配置され、表示面１２１に対して映像を投影する。補完投影装置１１２〜１１５は、表示面１２１に影領域が発生した場合に、これを補完する映像を影領域に投影することにより、利用者７０２，７０３が映像の一部を見ることができなくなるのを防ぐ。

座席１３２〜１３５は、利用者７０２，７０３が着席可能な椅子であり、表示台装置１２０の周囲に位置する。座席１３２〜１３５はそれぞれ、着席検出装置２２２〜２２５を有する。
着席検出装置２２２は、座席１３２に着席している利用者７０２がいるか否かを検出する装置である。着席検出装置２２２は、座席１３２の座面及び足元に位置する。利用者７０２が座席１３２にしっかりと座っている場合には、座面の着席検出装置２２２が利用者７０２を検出し、利用者７０２が座席１３２から少し腰を浮かせた場合には、足元の着席検出装置２２２が利用者７０２を検出する。
例えば、着席検出装置２２２は、利用者７０２の体内を流れた電流を検出する電極を有し、接触位置検出装置２１１が利用者接触位置を検出するために放射した微弱電波により利用者７０２の体内を微弱電流が流れると、これを検出することにより、利用者７０２が座席１３２に着席していることを検出する。この構成の場合、接触位置検出装置２１１が検出した利用者接触位置に触れた利用者が、どの座席１３２〜１３５に座っている利用者であるかを判別可能である。
あるいは、着席検出装置２２２は、圧電素子などを用いたセンサにより、利用者７０２が座席１３２に着席していることを検出してもよい。この構成の場合、利用者７０２が表示面１２１に触れていない場合でも、座席１３２に利用者７０２が着席していることを検出可能である。
もしくは、着席検出装置２２２は、上述した２つの構成を組み合わせることにより、利用者７０２が表示面１２１に触れていない場合でも座席１３２に利用者７０２が着席していることを検出し、利用者７０２が表示面１２１に触れた場合には、利用者接触位置に触れた利用者がどの座席１３２〜１３５に座っている利用者であるかを判別できるものであってもよい。

着席検出装置２２３〜２２５は、着席検出装置２２２と同様、それぞれ座席１３３〜１３５に着席している利用者がいるか否かを検出する装置である。着席検出装置２２３〜２２５の構成は、着席検出装置２２２と同様なので、説明を省略する。

表示制御装置１４０は、利用者７０２，７０３の操作を入力して、コンピュータ３００に対して出力するとともに、コンピュータ３００が生成した映像を表わす映像情報を入力して、主投影装置１１１、補完投影装置１１２〜１１５が投影する映像を生成する。

図２は、この実施の形態における投影表示装置１００の各部の配置の一例を示す平面図である。
この図は、表示台装置１２０、表示台装置１２０の周囲に位置する座席１３２〜１３５、表示台装置１２０の上方に位置する主投影装置１１１、補完投影装置１１２〜１１５、影領域検出装置２３１の位置関係の一例を示している。

表示台装置１２０の表示面１２１は、正方形である。なお、表示面１２１は、長方形であってもよいし、円形であってもよいし、他の形状であってもよい。
座席１３２〜１３５は、正方形である表示面１２１の各辺に正対する位置にある。なお、座席１３２〜１３５は、着席した利用者が表示面１２１に触れることのできる範囲内にあればよい。また、投影表示装置１００を立って操作する構成としてもよく、その場合、座席１３２〜１３５はなくてもよい。

主投影装置１１１は、表示面１２１の中心のほぼ真上に位置し、表示面１２１の中心にほぼ正対している。これは、主投影装置１１１が投影した映像に生じる歪みを最小限にするためであり、また、利用者７０２〜７０５の頭や上半身などにより、表示面１２１に影領域が発生するのを防ぐためである。したがって、この２つの条件を満たす範囲内であれば、主投影装置１１１は、表示面１２１の中心に正対する位置から離れた位置にあってもよい。また、主投影装置１１１の位置による映像の歪みを考慮して、表示面１２１に投影された映像が正しい映像となるよう、わざと歪めた映像を主投影装置１１１が投影する構成とすれば、主投影装置１１１の位置に関する制限をもっと緩和してもよい。

補完投影装置１１２は、表示面１２１の中心（表示面１２１上において、主投影装置１１１が正対している位置）に正対する位置から、Ａ方向（第一方向）に離れた位置に設置する。なお、主投影装置１１１と補完投影装置１１２とは、同じ高さに設置してもよいし、異なる高さに設置してもよい。この例では、補完投影装置１１２を、主投影装置１１１よりも低い位置に設置している。これは、主投影装置１１１が画像を投影する投影角と、補完投影装置１１２が画像を投影する投影角とが等しくなるようにするためであり、また、遮蔽物により補完投影装置１１２が投影した映像に生じる影が、影領域と重ならないようにするためである。
この例において、Ａ方向は、正方形である表示面１２１の一組の対辺と平行な方向である。なお、Ａ方向は、表示面１２１の対角線の一つと平行な方向であってもよいし、表示面１２１の形状と無関係な方向であってもよい。
しかし、表示面１２１が正方形あるいは長方形である場合、Ａ方向は、表示面１２１の一組の対辺と平行な方向であるほうが好ましい。主な遮蔽物が利用者７０２〜７０５の腕７１２〜７１５であるとすると、利用者７０２〜７０５は、表示面１２１の各辺の外側から表示面１２１の上に腕７１２〜７１５を伸ばすので、腕７１２〜７１５は、表示面１２１の各辺に垂直に近い方向に伸びる場合が多い。遮蔽物が腕７１２〜７１５のように細長い形状である場合、主投影装置１１１は、遮蔽物の長手方向に近い方向にあるので、補完投影装置１１２は、遮蔽物の長手方向から離れた方向にあるほうが、補完投影装置１１２が投影した映像に生じる影が影領域と重ならないからである。

補完投影装置１１３は、表示面１２１の中心（表示面１２１上において、主投影装置１１１が正対している位置）に正対する位置から、Ｂ方向（第二方向）に離れた位置に設置する。Ｂ方向は、Ａ方向とほぼ逆の方向である。
補完投影装置１１４は、表示面１２１の中心（表示面１２１上において、主投影装置１１１が正対している位置）に正対する位置から、Ｃ方向（第三方向）に離れた位置に設置する。Ｃ方向は、表示面１２１と平行な面内でＡ方向とほぼ垂直な方向である。
補完投影装置１１５は、表示面１２１の中心（表示面１２１上において、主投影装置１１１が正対している位置）に正対する位置から、Ｄ方向（第四方向）に離れた位置に設置する。Ｄ方向は、Ｃ方向とほぼ逆の方向である。
なお、補完投影装置１１３〜１１５は、主投影装置１１１と同じ高さに設置してもよいし、異なる高さに設置してもよい。また、補完投影装置１１２〜１１５を、同じ高さに設置してもよいし、互いに異なる高さに設置してもよい。この例では、補完投影装置１１３〜１１５を、主投影装置１１１よりも低く、補完投影装置１１２と同じ高さに設置している。

影領域検出装置２３１（のカメラ）は、主投影装置１１１のすぐ横に設置する。このため、主投影装置１１１から見た表示面１２１と、影領域検出装置２３１（のカメラ）から見た表示面１２１とはほぼ同じである。このため、影領域は影領域検出装置２３１（のカメラ）から直接見えず、影領域検出装置２３１が撮影した映像には、影領域となるべき位置に、腕７１２〜７１５などの遮蔽物が写る。影領域検出装置２３１は、主投影装置１１１が投影した映像と、撮影した映像との差から、影領域を検出する。
なお、上述したように、影領域検出装置２３１は、他の構成で影領域を検出してもよく、その場合、影領域検出装置２３１は、主投影装置１１１のすぐ横に設置されるとは限らない。

次に、表示制御装置１４０のブロック構成を説明する。
以下に説明する表示制御装置１４０の機能ブロックは、例えば、論理回路などのデジタル回路により実現してもよいし、トランジスタなどのアナログ回路により実現してもよいし、コンピュータがプログラムを実行することにより実現してもよい。また、各機能ブロックの一部をデジタル回路により実現し、他の一部をアナログ回路により実現し、更に他の一部をコンピュータにより実現してもよい。また、各機能ブロックは、物理的に一つの装置の中で実現してもよいし、それぞれの機能ブロックが物理的に独立した装置において実現され、全体として表示制御装置１４０として機能するシステムを構成してもよい。

以下の例では、表示制御装置１４０の機能ブロックを、コンピュータを用いて実現する場合について説明する。

図３は、この実施の形態における表示制御装置１４０のハードウェア資源の一例を示す図である。
表示制御装置１４０は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ９１４（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、通信装置９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤＤ９０５（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｄｒｉｖｅ）、プリンタ装置９０６、スキャナ装置９０７、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信装置９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力部、入力装置の一例である。
また、通信装置９１５、表示装置９０１、プリンタ装置９０６などは、出力部、出力装置の一例である。

磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。

上記プログラム群９２３には、以下に述べる実施の形態の説明において「〜装置」として説明する機能ブロックを実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、以下に述べる実施の形態の説明において「〜装置」として説明するものは、「〜回路」、「〜部」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜装置」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、以下に述べる「〜装置」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜装置」の手順や方法をコンピュータに実行させるものである。

図４は、この実施の形態における表示制御装置１４０の内部ブロックの構成の一例を示すブロック構成図である。
表示制御装置１４０は、接触位置出力装置２１９、接触者判定装置２２６、接触者出力装置２２９、身振り記憶装置２３５、身振り判定装置２３６、身振り出力装置２３９、長方形領域算出装置２４１、長辺判定装置２４２、第一中心位置判定装置２４３、第二中心位置判定装置２４４、補完投影選択装置２４５、補完領域算出装置２４６、映像入力装置２５１、主映像生成装置２６１、補完映像生成装置２６２、補完映像生成装置２６３、補完映像生成装置２６４、補完映像生成装置２６５を有する。

接触位置出力装置２１９は、ＣＰＵ９１１などの処理装置を用いて、接触位置検出装置２１１が検出した接触位置を表わす情報（以下「接触位置情報」と呼ぶ。）を入力する。接触位置出力装置２１９は、ＣＰＵ９１１などの処理装置を用いて、入力した情報を、コンピュータ３００とのプロトコルで定められた形式に変換する。接触位置出力装置２１９は、ＣＰＵ９１１などの処理装置を用いて、変換した情報を、コンピュータ３００に対して出力する。

接触者判定装置２２６は、ＣＰＵ９１１などの処理装置を用いて、接触位置検出装置２１１が検出した利用者接触位置を表わす情報と、着席検出装置２２２〜２２５が検出した各座席１３２〜１３５に利用者が着席しているか否かを表わす情報とを入力する。接触者判定装置２２６は、ＣＰＵ９１１などの処理装置を用いて、入力した情報に基づいて、利用者接触位置に触った利用者が、どの座席１３２〜１３５に着席している利用者であるかを判定する。接触者判定装置２２６は、ＣＰＵ９１１などの処理装置を用いて、判定結果を表わす情報を出力する。
接触者出力装置２２９は、ＣＰＵ９１１などの処理装置を用いて、接触者判定装置２２６が出力した情報を入力する。接触者出力装置２２９は、ＣＰＵ９１１などの処理装置を用いて、入力した情報を、コンピュータ３００とのプロトコルで定められた形式に変換する。接触者出力装置２２９は、ＣＰＵ９１１などの処理装置を用いて、変換した情報を、コンピュータ３００に対して出力する。

身振り記憶装置２３５は、磁気ディスク装置９２０などの記憶装置を用いて、身振りデータを記憶している。この例において、利用者が表示面１２１の上で腕を動かすジェスチャ（動作）の意味をあらかじめ定めてある。身振りデータは、意味が定められているジェスチャを利用者がした場合に、表示面１２１に発生する影領域の形状がどのように変化するかを、時系列に沿った一連の形状として表わしたデータである。また、利用者が腕を使って取るポーズの意味をあらかじめ定めておいてもよい。その場合、身振り記憶装置２３５は、身振りデータとして、意味が定められているポーズを利用者がした場合に、表示面１２１に発生する影領域の形状がどうなるかをワンショットの形状として表わしたデータを記憶する。
身振り判定装置２３６は、ＣＰＵ９１１などの処理装置を用いて、影領域検出装置２３１が検出した影領域を表わす情報を入力する。身振り判定装置２３６は、ＣＰＵ９１１などの処理装置を用いて、入力した情報に基づいて、影領域の形状を算出する。身振り判定装置２３６は、ＣＰＵ９１１などの処理装置を用いて、算出した影領域の形状に基づいて、影領域の形状あるいは影領域の一連の形状が、身振り記憶装置２３５が記憶した身振りデータが表わす形状あるいは一連の形状のうち、どれに似ているかを判定する。
どれにも似ていないと判定した場合、身振り判定装置２３６は、ＣＰＵ９１１などの処理装置を用いて、似ている身振りデータがないことを表わす情報を出力する。
どれかに似ていると判定した場合、身振り判定装置２３６は、ＣＰＵ９１１などの処理装置を用いて、その身振りをしたのがどの座席１３２〜１３５に座っている利用者かを判定する。身振り判定装置２３６は、ＣＰＵ９１１などの処理装置を用いて、影領域検出装置２３１が検出した影領域を表わす情報に基づいて、影領域が、表示面１２１の輪郭線（辺）のうちどの方向の輪郭線に接続しているかを判別する。身振り判定装置２３６は、ＣＰＵ９１１などの処理装置を用いて、判別した影領域が接続している輪郭線の側にある座席に座っている利用者が、その身振りをした利用者であると判定する。
身振り判定装置２３６は、似ていると判定した身振りデータを表わす情報（以下「身振り情報」と呼ぶ。）と、その身振りをしたと判定した利用者の座席を表わす情報とを出力する。
身振り出力装置２３９は、ＣＰＵ９１１などの処理装置を用いて、身振り判定装置２３６が出力した情報を入力する。身振り出力装置２３９は、ＣＰＵ９１１などの処理装置を用いて、入力した情報を、コンピュータ３００とのプロトコルで定められた形式に変換する。身振り出力装置２３９は、ＣＰＵ９１１などの処理装置を用いて、変換した情報を、コンピュータ３００に対して出力する。

コンピュータ３００は、接触位置出力装置２１９が出力した利用者接触位置を表わす情報、接触者出力装置２２９が出力した利用者接触位置に触れた利用者が座っている座席１３２〜１３５を表わす情報、身振り出力装置２３９が出力した身振り情報などを入力し、入力した情報に基づいて、処理を行う。コンピュータ３００は、処理の結果として、映像を生成し、生成した映像を表わす情報（以下「映像情報」と呼ぶ。）を、表示制御装置１４０に対して出力する。

映像入力装置２５１は、ＣＰＵ９１１などの処理装置を用いて、コンピュータ３００が出力した映像情報を入力する。映像入力装置２５１は、ＣＰＵ９１１などの処理装置を用いて、入力した映像情報を、内部処理に適した形式に変換する。映像入力装置２５１は、ＣＰＵ９１１などの処理装置を用いて、変換した情報を出力する。

主映像生成装置２６１は、ＣＰＵ９１１などの処理装置を用いて、映像入力装置２５１が出力した情報を入力する。主映像生成装置２６１は、ＣＰＵ９１１などの処理装置を用いて、入力した情報に基づいて、主投影装置１１１が投影すべき映像（以下「主映像」と呼ぶ。）を生成する。主映像生成装置２６１は、歪み補正などが必要であれば、歪み補正された主映像を生成する。主映像生成装置２６１は、ＣＰＵ９１１などの処理装置を用いて、生成した主映像を出力する。
主投影装置１１１は、主映像生成装置２６１が出力した映像を入力し、入力した映像を表示面１２１に対して投影する。

長方形領域算出装置２４１は、ＣＰＵ９１１などの処理装置を用いて、影領域検出装置２３１が検出した影領域を表わす情報を入力する。長方形領域算出装置２４１は、ＣＰＵ９１１などの処理装置を用いて、入力した情報に基づいて、長方形領域を算出する。長方形領域とは、表示面１２１上の平面において、影領域を囲う長方形の領域であって、長方形領域の各辺がＡ方向に対してほぼ垂直あるいはほぼ平行である領域のことである。すなわち、長方形領域の一組の対辺（以下「縦辺」と呼ぶ。）は、Ａ方向及びＢ方向に対してほぼ垂直であり、Ｃ方向及びＤ方向に対してほぼ平行である。また、長方形領域の他の一組の対辺（以下「横辺」と呼ぶ。）は、Ａ方向及びＢ方向に対してほぼ平行であり、Ｃ方向及びＤ方向に対してほぼ垂直である。なお、影領域が複数の領域に分かれている場合、長方形領域算出装置２４１は、ＣＰＵ９１１などの処理装置を用いて、分かれているそれぞれの影領域について、長方形領域を算出する。長方形領域算出装置２４１は、ＣＰＵ９１１などの処理装置を用いて、算出した長方形領域を表わす情報を出力する。

長辺判定装置２４２は、ＣＰＵ９１１などの処理装置を用いて、長方形領域算出装置２４１が出力した情報を入力する。長辺判定装置２４２は、ＣＰＵ９１１などの処理装置を用いて、入力した情報に基づいて、長方形領域の縦辺が、横辺より長いか短いかを判定する。なお、長方形領域算出装置２４１が算出した長方形領域が複数ある場合、長辺判定装置２４２は、複数の長方形領域それぞれについて、縦辺が横辺より長いか短いかを判定する。長辺判定装置２４２は、ＣＰＵ９１１などの処理装置を用いて、判定結果を表わす情報を出力する。

第一中心位置判定装置２４３は、ＣＰＵ９１１などの処理装置を用いて、長辺判定装置２４２が出力した情報を入力する。第一中心位置判定装置２４３は、ＣＰＵ９１１などの処理装置を用いて、入力した情報に基づいて、長方形領域の縦辺のほうが横辺よりも長い（すなわち、長方形領域が縦長である）と長辺判定装置２４２が判定した場合、長方形領域の中心点を算出する。第一中心位置判定装置２４３は、ＣＰＵ９１１などの処理装置を用いて、表示面１２１の中心（表示面１２１上において、主投影装置１１１が正対している位置）を通り、表示面１２１内でＡ方向（及びＢ方向）に垂直（すなわち、Ｃ方向及びＤ方向に平行）な直線を基準として、算出した長方形領域の中心点が、Ａ方向（すなわち、補完投影装置１１２に近い側）にあるか、Ｂ方向（すなわち、補完投影装置１１３に近い側）にあるかを判定する。なお、縦長であると長辺判定装置２４２が判定した長方形領域が複数ある場合、第一中心位置判定装置２４３は、複数の長方形領域それぞれについて、中心点がＡ方向にあるかＢ方向にあるかを判定する。第一中心位置判定装置２４３は、ＣＰＵ９１１などの処理装置を用いて、判定結果を表わす情報を出力する。

第二中心位置判定装置２４４は、ＣＰＵ９１１などの処理装置を用いて、長辺判定装置２４２が出力した情報を入力する。第二中心位置判定装置２４４は、ＣＰＵ９１１などの処理装置を用いて、入力した情報に基づいて、長方形領域の縦辺のほうが横辺よりも短い（すなわち、長方形領域が横長である）と長辺判定装置２４２が判定した場合、長方形領域の中心点を算出する。第二中心位置判定装置２４４は、ＣＰＵ９１１などの処理装置を用いて、表示面１２１の中心（表示面１２１上において、主投影装置１１１が正対している位置）を通り、表示面１２１内でＣ方向及びＤ方向に垂直（すなわち、Ａ方向及びＢ方向に平行）な直線を基準として、算出した長方形領域の中心点が、Ｃ方向（すなわち、補完投影装置１１４に近い側）にあるか、Ｄ方向（すなわち、補完投影装置１１５に近い側）にあるかを判定する。なお、横長であると長辺判定装置２４２が判定した長方形領域が複数ある場合、第二中心位置判定装置２４４は、複数の長方形領域それぞれについて、中心点がＣ方向にあるかＤ方向にあるかを判定する。第二中心位置判定装置２４４は、ＣＰＵ９１１などの処理装置を用いて、判定結果を表わす情報を出力する。

補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、第一中心位置判定装置２４３が出力した情報と、第二中心位置判定装置２４４が出力した情報とを入力する。補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、長方形領域が縦長であると長辺判定装置２４２が判定し、長方形領域の中心点がＢ方向にあると第一中心位置判定装置２４３が判定した場合、補完投影装置１１２を選択する。補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、長方形領域が縦長であると長辺判定装置２４２が判定し、長方形領域の中心点がＡ方向にあると第一中心位置判定装置２４３が判定した場合、補完投影装置１１３を選択する。補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、長方形領域が横長であると長辺判定装置２４２が判定し、長方形領域の中心点がＤ方向にあると第一中心位置判定装置２４３が判定した場合、補完投影装置１１４を選択する。補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、長方形領域が横長であると長辺判定装置２４２が判定し、長方形領域の中心点がＣ方向にあると第一中心位置判定装置２４３が判定した場合、補完投影装置１１５を選択する。なお、長方形領域算出装置２４１が算出した長方形領域が複数ある場合、補完投影選択装置２４５は、複数の長方形領域それぞれについて、補完投影装置１１２〜１１５のなかから一つの補完投影装置を選択する。したがって、補完投影選択装置２４５は、複数の補完投影装置を選択する場合があり、すべての補完投影装置１１２〜１１５を選択する可能性もある。補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、選択結果を表わす情報を出力する。

補完領域算出装置２４６は、ＣＰＵ９１１などの処理装置を用いて、長方形領域算出装置２４１が出力した情報と、補完投影選択装置２４５が出力した情報とを入力する。補完領域算出装置２４６は、入力した情報に基づいて、各補完投影装置１１２〜１１５について、補完領域を算出する。補完領域とは、表示面１２１のうち、補完投影選択装置２４５が選択した補完投影装置１１２〜１１５が映像を投影する領域のことである。補完領域算出装置２４６は、ＣＰＵ９１１などの処理装置を用いて、補完投影選択装置２４５が選択した補完投影装置について、長方形領域算出装置２４１が算出した長方形領域を含む領域を補完領域とする。長方形領域は、影領域検出装置２３１が検出した影領域を囲う領域であるから、補完領域は影領域を含む。補完領域算出装置２４６は、補完投影選択装置２４５が選択しなかった補完投影装置について、補完領域なしとする。長方形領域算出装置２４１が算出した長方形領域が複数あり、補完投影選択装置２４５が複数の長方形領域について同一の補完投影装置を選択した場合、補完領域算出装置２４６は、複数の長方形領域それぞれを含む領域を補完領域とする。したがって、補完領域算出装置２４６が算出した補完領域は、１つの補完投影装置について複数ある場合がある。補完領域算出装置２４６は、ＣＰＵ９１１などの処理装置を用いて、各補完投影装置１１２〜１１５について、算出した補完領域を表わす情報を出力する。

補完映像生成装置２６２〜２６５は、ＣＰＵ９１１などの処理装置を用いて、映像入力装置２５１が出力した情報と、補完領域算出装置２４６が出力した情報とを入力する。
補完映像生成装置２６２は、ＣＰＵ９１１などの処理装置を用いて、補完領域算出装置２４６が補完投影装置１１２について算出した補完領域に基づいて、映像入力装置２５１が入力した映像情報が表わす映像のうち、補完投影装置１１２が補完領域に投影する映像（以下「補完映像」と呼ぶ。）を生成する。補完映像生成装置２６２は、ＣＰＵ９１１などの処理装置を用いて、生成した補完映像を出力する。
補完投影装置１１２は、補完映像生成装置２６２が出力した補完映像を入力し、入力した補完映像を表示面１２１の補完領域に対して投影する。
なお、補完投影装置１１２について補完領域算出装置２４６が算出した補完領域がない場合、補完映像生成装置２６２は、補完映像を生成せず、補完投影装置１１２は、表示面１２１に対する投影をしない。

補完映像生成装置２６３〜２６５も同様に、補完領域算出装置２４６が補完投影装置１１３〜１１５についてそれぞれ算出した補完領域に基づいて、映像入力装置２５１が入力した映像情報が表わす映像のうち、補完投影装置１１３〜１１５がそれぞれの補完領域に投影する映像（以下「補完映像」と呼ぶ。）を生成し、生成した映像を出力する。
補完投影装置１１３〜１１５はそれぞれ、補完映像生成装置２６３〜２６５が出力した映像を入力し、入力した映像をそれぞれ表示面１２１の補完領域に対して投影する。

次に、投影表示装置１００の動作について説明する。

図５は、この実施の形態における投影表示装置１００が、表示面１２１に映像を投影する投影処理の流れの一例を示すフローチャート図である。

映像入力工程Ｓ５１１において、映像入力装置２５１は、ＣＰＵ９１１などの処理装置を用いて、コンピュータ３００から映像情報を入力する。
主映像生成工程Ｓ５２１において、主映像生成工程Ｓ５２１は、ＣＰＵ９１１などの処理装置を用いて、映像入力工程Ｓ５１１で映像入力装置２５１が入力した映像情報に基づいて、主映像を生成する。
主映像投影工程Ｓ５２２において、主投影装置１１１は、主映像生成工程Ｓ５２１で主映像生成装置２６１が生成した主映像を、表示面１２１に対して投影する。

影領域検出工程Ｓ５３１において、影領域検出装置２３１は、表示面１２１に発生した影領域を検出する。
長方形領域算出工程Ｓ５３６において、長方形領域算出装置２４１は、ＣＰＵ９１１などの処理装置を用いて、影領域検出工程Ｓ５３１で影領域検出装置２３１が検出した影領域に基づいて、長方形領域を算出する。

繰返し工程Ｓ５４１において、長方形領域算出装置２４１は、ＣＰＵ９１１などの処理装置を用いて、長方形領域算出工程Ｓ５３６で算出した長方形領域のなかから、未処理の長方形領域を一つ選択する。

長辺判定工程Ｓ５４２において、長辺判定装置２４２は、ＣＰＵ９１１などの処理装置を用いて、繰返し工程Ｓ５４１で長方形領域算出装置２４１が選択した長方形領域に基づいて、長方形領域が縦長か横長かを判定する。
長方形領域が縦長であると判定した場合、第一中心位置判定工程Ｓ５４３へ進む。
長方形領域が横長であると判定した場合、第二中心位置判定工程Ｓ５４４へ進む。

第一中心位置判定工程Ｓ５４３において、第一中心位置判定装置２４３は、ＣＰＵ９１１などの処理装置を用いて、繰返し工程Ｓ５４１で長方形領域算出装置２４１が選択した長方形領域に基づいて、長方形領域の中心点がＡ方向にあるかＢ方向にあるかを判定する。
長方形領域の中心点がＢ方向にあると判定した場合、第一選択工程Ｓ５５２へ進む。
長方形領域の中心点がＡ方向にあると判定した場合、第二選択工程Ｓ５５３へ進む。

第一選択工程Ｓ５５２において、補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、繰返し工程Ｓ５４１で長方形領域算出装置２４１が選択した長方形領域について、補完投影装置１１２を選択する。その後、繰返し判定工程Ｓ５５６へ進む。
第二選択工程Ｓ５５３において、補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、繰返し工程Ｓ５４１で長方形領域算出装置２４１が選択した長方形領域について、補完投影装置１１３を選択する。その後、繰返し判定工程Ｓ５５６へ進む。

第二中心位置判定工程Ｓ５４４において、第二中心位置判定装置２４４は、ＣＰＵ９１１などの処理装置を用いて、繰返し工程Ｓ５４１で長方形領域算出装置２４１が選択した長方形領域に基づいて、長方形領域の中心点がＣ方向にあるかＤ方向にあるかを判定する。
長方形領域の中心点がＤ方向にあると判定した場合、第三選択工程Ｓ５５４へ進む。
長方形領域の中心点がＣ方向にあると判定した場合、第四選択工程Ｓ５５５へ進む。

第三選択工程Ｓ５５４において、補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、繰返し工程Ｓ５４１で長方形領域算出装置２４１が選択した長方形領域について、補完投影装置１１４を選択する。その後、繰返し判定工程Ｓ５５６へ進む。
第四選択工程Ｓ５５５において、補完投影選択装置２４５は、ＣＰＵ９１１などの処理装置を用いて、繰返し工程Ｓ５４１で長方形領域算出装置２４１が選択した長方形領域について、補完投影装置１１５を選択する。その後、繰返し判定工程Ｓ５５６へ進む。

繰返し判定工程Ｓ５５６において、長方形領域算出装置２４１は、長方形領域算出工程Ｓ５３６で算出したすべての長方形領域についての処理が終わったか否かを判定する。
すべて長方形領域についての処理が終わったと判定した場合、補完領域算出工程Ｓ５５７へ進む。まだ処理していない長方形領域が残っていると判定した場合、繰返し工程Ｓ５４１からの処理を繰り返す。

補完領域算出工程Ｓ５５７において、補完領域算出装置２４６は、ＣＰＵ９１１などの処理装置を用いて、長方形領域算出工程Ｓ５３６で長方形領域算出装置２４１が算出した長方形領域それぞれについて、第一選択工程Ｓ５５２〜第四選択工程Ｓ５５５で補完投影選択装置２４５が選択した補完投影装置に基づいて、補完投影装置１１２〜１１５それぞれについて、補完領域を算出する。
その後、補完投影装置１１２については、第一補完映像生成工程Ｓ５６２へ進む。補完投影装置１１３については、第二補完映像生成工程Ｓ５６３へ進む。補完投影装置１１４については、第三補完映像生成工程Ｓ５６４へ進む。補完投影装置１１５については、第四補完映像生成工程Ｓ５６５へ進む。

第一補完映像生成工程Ｓ５６２において、補完映像生成装置２６２は、ＣＰＵ９１１などの処理装置を用いて、補完領域算出工程Ｓ５５７で補完領域算出装置２４６が補完投影装置１１２について算出した補完領域がある場合、映像入力工程Ｓ５１１で映像入力装置２５１が入力した映像情報に基づいて、補完投影装置１１２が投影すべき補完映像を生成する。
第一補完映像投影工程Ｓ５７２において、補完投影装置１１２は、第一補完映像生成工程Ｓ５６２で補完映像生成装置２６２が生成した補完映像を、表示面１２１の補完領域に対して投影する。

第二補完映像生成工程Ｓ５６３において、補完映像生成装置２６３は、ＣＰＵ９１１などの処理装置を用いて、補完領域算出工程Ｓ５５７で補完領域算出装置２４６が補完投影装置１１３について算出した補完領域がある場合、映像入力工程Ｓ５１１で映像入力装置２５１が入力した映像情報に基づいて、補完投影装置１１３が投影すべき補完映像を生成する。
第二補完映像投影工程Ｓ５７３において、補完投影装置１１３は、第二補完映像投影工程Ｓ５７３で補完映像生成装置２６３が生成した補完映像を、表示面１２１の補完領域に対して投影する。

第三補完映像生成工程Ｓ５６４において、補完映像生成装置２６４は、ＣＰＵ９１１などの処理装置を用いて、補完領域算出工程Ｓ５５７で補完領域算出装置２４６が補完投影装置１１４について算出した補完領域がある場合、映像入力工程Ｓ５１１で映像入力装置２５１が入力した映像情報に基づいて、補完投影装置１１４が投影すべき補完映像を生成する。
第三補完映像投影工程Ｓ５７４において、補完投影装置１１４は、第三補完映像生成工程Ｓ５６４で補完映像生成装置２６４が生成した補完映像を、表示面１２１の補完領域に対して投影する。

第四補完映像生成工程Ｓ５６５において、補完映像生成装置２６５は、ＣＰＵ９１１などの処理装置を用いて、補完領域算出工程Ｓ５５７で補完領域算出装置２４６が補完投影装置１１５について算出した補完領域がある場合、映像入力工程Ｓ５１１で映像入力装置２５１が入力した映像情報に基づいて、補完投影装置１１５が投影すべき補完映像を生成する。
第四補完映像投影工程Ｓ５７５において、補完投影装置１１５は、第四補完映像投影工程Ｓ５７５で補完映像生成装置２６５が生成した補完映像を、表示面１２１の補完領域に対して投影する。

以上説明した投影表示装置１００の動作について、具体例を用いて更に詳しく説明する。

図６は、この実施の形態における投影表示装置１００を利用者７０２〜７０５が利用している状態の一例を示す平面図である。
この例において、利用者７０３は、腕７１３を表示面１２１の上に伸ばしている。同様に、利用者７０４は、腕７１４を表示面１２１の上に伸ばしている。利用者７０５は、腕７１５を表示面１２１の上に伸ばしている。利用者７０２は、表示面１２１の上に腕を伸ばしていない。
このような状況において、表示面１２１には、影領域７２３〜７２５が発生する。影領域７２３は腕７１３の影であり、影領域７２４は腕７１４の影であり、影領域７２５は腕７１５の影である。
影領域検出装置２３１は、３つに分かれた影領域７２３〜７２５を検出する。

図７は、この実施の形態における投影表示装置１００の動作を説明するための模式図である。
図６の状況で影領域検出装置２３１が検出した影領域７２３〜７２５に基づいて、長方形領域算出装置２４１は、長方形領域７３３〜７３５を算出する。影領域検出装置２３１が検出した影領域７２３〜７２５が３つに分かれているので、長方形領域算出装置２４１は、３つの長方形領域７３３〜７３５を算出する。
この例において、長方形領域算出装置２４１が算出した長方形領域７３３〜７３５は、それぞれが影領域７２３〜７２５を囲み、それぞれが影領域７２３〜７２５に接している。すなわち、長方形領域算出装置２４１は、影領域７２３〜７２５を囲み、各辺がＡ方向及びＢ方向またはＣ方向及びＤ方向に垂直または平行な長方形のうち、最も面積の少ない長方形を算出して、長方形領域とする。

長方形領域算出装置２４１が算出した長方形領域７３３〜７３５それぞれについて、長辺判定装置２４２は、縦長か横長かを判定する。長辺判定装置２４２は、３つの長方形領域７３３〜７３５のうち、長方形領域７３３及び長方形領域７３４は横長であると判定し、長方形領域７３５は縦長であると判定する。

縦長であると長辺判定装置２４２が判定した長方形領域７３５について、第一中心位置判定装置２４３は、中心点７４５が、表示面１２１の中心点７８１を通り、Ａ方向（及びＢ方向）に垂直な直線７８２より、Ａ方向にあるかＢ方向にあるかを判定する。この例において、第一中心位置判定装置２４３は、中心点７４５がＢ方向にあると判定する。

横長であると長辺判定装置２４２が判定した長方形領域７３３及び長方形領域７３４について、第二中心位置判定装置２４４は、中心点７４３及び中心点７４４が、表示面１２１の中心点７８１を通り、Ｃ方向（及びＤ方向）に垂直な直線７８３より、Ｃ方向にあるかＤ方向にあるかをそれぞれ判定する。この例において、第二中心位置判定装置２４４は、中心点７４３及び中心点７４４がともにＣ方向にあると判定する。

図８は、この実施の形態における投影表示装置１００の動作を説明するための模式図である。
図６の状況で長辺判定装置２４２及び第一中心位置判定装置２４３及び第二中心位置判定装置２４４が判定した判定結果に基づいて、補完投影選択装置２４５は、補完投影装置１１２〜１１５のなかから、長方形領域７３３〜７３５それぞれについて、補完投影装置を一つずつ選択する。
縦長であると長辺判定装置２４２が判定し、中心点がＢ方向にあると第一中心位置判定装置２４３が判定した長方形領域７３５について、補完投影選択装置２４５は、Ａ方向にある補完投影装置１１２を選択する。
また、横長であると長辺判定装置２４２が判定し、中心点がＣ方向にあると第二中心位置判定装置２４４が判定した長方形領域７３３及び長方形領域７３４について、補完投影選択装置２４５は、Ｄ方向にある補完投影装置１１５を選択する。

補完投影装置１１２について、補完領域算出装置２４６は、長方形領域７３５を含み、長方形領域７３５よりも一回り広い補完領域７５５（斜線部分）を算出する。これは、影領域が移動した場合に、影領域が一時的に補完領域の外に出てしまうのを防ぐためのマージンである。このマージンの幅は、補完領域を再計算して更新する周期と、想定される影領域の最大移動速度とに基づいて、あらかじめ設定しておく。なお、運用開始後に、補完領域算出装置２４６が、影領域の移動速度を学習して、マージンの幅を調整することとしてもよい。また、補完領域を再計算する周期が十分短ければ、マージンがなくてもよい。
なお、この例において、補完領域算出装置２４６は、長方形領域算出装置２４１が算出した長方形領域を基準にして補完領域を算出しているが、影領域検出装置２３１が検出した影領域を基準にして補完領域を算出してもよい。例えば、補完領域算出装置２４６は、影領域の周りにマージンを設けた領域を算出して、補完領域とする。そうすれば、後述する重複投影領域が少なくなる。

補完投影装置１１５について、補完領域算出装置２４６は、長方形領域７３３を含む補完領域７５３と、長方形領域７３４を含む補完領域７５４とを算出する。
また、補完投影装置１１３及び補完投影装置１１４は、補完投影選択装置２４５が選択していないので、補完領域算出装置２４６は、補完投影装置１１３及び補完投影装置１１４について、補完領域を算出しない。

補完映像生成装置２６２は、映像入力装置２５１が入力した映像情報に基づいて、補完投影装置１１２が投影する補完映像を生成する。補完映像生成装置２６２は、主投影装置１１１が表示面１２１に投影している映像と同じ映像のうち、補完領域７５５のなかに投影されるべき映像だけを切り出し、補完領域７５５以外の部分は真っ黒な補完映像を生成する。なお、補完映像生成装置２６２は、補完領域の境界付近について、外側へいくほど徐々に暗くなるようぼかした補完映像を生成してもよい。そうすれば、補完領域の境界が目立たなくなるので、好ましい。
補完投影装置１１２は、補完映像生成装置２６２が生成した補完映像を、表示面１２１に対して投影する。補完映像生成装置２６２が生成した補完映像のうち、補完領域７５５以外の部分は真っ黒であるから、補完投影装置１１２が投影した映像は、補完領域７５５以外の部分には投影されず、補完領域７５５のなかだけに投影される。このように構成することで、補完投影装置１１２の向きを物理的に変えることなく、表示面１２１の任意の範囲に補完映像を投影することができるので、好ましい。しかし、補完投影装置１１２の向きを変えて補完領域７５５の方向へ向けて、補完領域７５５に補完映像を投影する構成としてもよい。例えば、補完映像生成装置２６２が補完投影装置１１２の向きを算出し、モーターなどの駆動装置を用いて、算出した向きに補完投影装置１１２を向ける構成とする。

補完映像生成装置２６５は、映像入力装置２５１が入力した映像情報に基づいて、補完投影装置１１５が投影する補完映像を生成する。補完映像生成装置２６５は、主投影装置１１１が表示面１２１に投影している映像と同じ映像のうち、補完領域７５３及び補完領域７５４のなかに投影されるべき映像だけを切り出し、補完領域７５３及び補完領域７５４以外の部分は真っ黒な補完映像を生成する。
補完投影装置１１５は、補完映像生成装置２６５が生成した補完映像を、表示面１２１に対して投影する。

補完映像生成装置２６３及び補完映像生成装置２６４は、全体が真っ黒な補完映像を生成する。
補完投影装置１１３及び補完投影装置１１４はそれぞれ、補完映像生成装置２６３及び補完映像生成装置２６４が生成した補完映像を、表示面１２１に対して投影する。補完映像生成装置２６３及び補完映像生成装置２６４が生成した補完映像は、全体が真っ黒なので、補完投影装置１１３及び補完投影装置１１４は、表示面１２１に対して実質的に補完映像を投影していないことになる。これにより、補完投影装置１１３及び補完投影装置１１４が補完映像を投影する必要が生じたとき、補完投影装置１１３及び補完投影装置１１４が速やかに補完映像を投影することができ、好ましい。なお、補完投影装置が補完映像を投影しない場合、補完投影装置の電源を切るなどして、消費電力を抑える構成としてもよい。

以上のようにして、表示面１２１には、主投影装置１１１が投影した主映像と、補完投影装置１１２及び補完投影装置１１５が投影した補完映像とが合成された映像が投影される。
表示面１２１のうち、主投影装置１１１が投影した映像が投影されない影領域７２３〜７２５には、補完投影装置１１２あるいは補完投影装置１１５が投影した補完映像が投影されるので、利用者７０２〜７０５は、影領域７２３〜７２５に投影されるべき映像を見ることができる。

腕７１３〜７１５などの遮蔽物の位置によっては、補完投影装置が投影した補完映像も遮られ、補完領域のなかに補完投影装置が投影した映像が投影されない影領域７６３〜７６５（以下「補完影領域」と呼ぶ。）が発生する場合がある。
しかし、影領域７２３〜７２５と補完影領域７６３〜７６５とが重ならないよう、補完投影装置を選択しているので、ほとんどの場合、利用者７０２〜７０５は、表示面１２１に投影されるべき映像全体を見ることができる。遮蔽物が表示面１２１に触れている場合などには、影領域７２３〜７２５と補完影領域７６３〜７６５が重なる可能性もあるが、そのような場合は、たとえその位置に映像が投影されたとしても、遮蔽物が邪魔になり、利用者７０２〜７０５は、そこに投影された映像を見ることはできない。

また、補完投影装置１１２及び補完投影装置１１５は、影領域７２３〜７２５よりも広い範囲に補完映像を投影するので、主映像と補完映像とが重複して投影される領域７７３〜７７５（以下「重複投影領域」と呼ぶ。）が発生する。主映像と補完映像とは基本的に同じ映像なので、重複投影領域７７３〜７７５において映像がダブって見えるようなことにはならないが、２つの映像が重なっているので、他の領域よりも明るく見える。

これを防ぐための構成としては、例えば、次のようなものが考えられる。
主映像生成装置２６１は、ＣＰＵ９１１などの処理装置を用いて、補完領域算出装置２４６が算出した補完領域について、補完領域内の明るさを他の領域の半分の明るさにした主映像を生成する。
補完映像生成装置２６２〜２６５は、ＣＰＵ９１１などの処理装置を用いて、補完領域算出装置２４６が算出した補完領域のうち、影領域検出装置２３１が検出した影領域以外の部分について、明るさを影領域内の半分の明るさにした補完映像を生成する。
これにより、重複投影領域では、半分の明るさの主映像と、半分の明るさの補完映像とが重なり、他の領域と同じ明るさになる。

次に、影領域検出装置２３１が影領域を検出する方式について、補足する。
補完映像生成装置２６２〜２６５が補完映像を投影するので、影領域検出装置２３１は、投影された補完映像による影響を排除する必要がある。
影領域検出装置２３１が、主投影装置１１１のすぐ横に設置したカメラが撮影した映像に基づいて影領域を検出する構成である場合、カメラが撮影した映像において、表示面１２１上の影領域は、遮蔽物の陰になって見えない。したがって、影領域に補完映像が投影されても影響はなく、影領域検出装置２３１は、主投影装置１１１が投影した映像とカメラが撮影した映像との差を検出することにより、影領域を検出する。また、カメラが撮影した映像において、表示面１２１上の重複投影領域は、他の領域よりも明るく見える。遮蔽物は他より暗く見えるので、影領域検出装置２３１は、重複投影領域と遮蔽物とを容易に区別できる。
また、影領域検出装置２３１の構成が他の構成である場合には、例えば、主投影装置１１１が主映像を投影するタイミングと、補完投影装置１１２〜１１５が補完映像を投影するタイミングとをずらすことにより、補完映像の影響を排除できる。すなわち、補完投影装置１１２〜１１５は、人間の目では識別できない速さ（例えば６０分の１秒周期）で点滅する補完映像を投影し、影領域検出装置２３１は、補完投影装置１１２〜１１５が補完映像を投影していないタイミングで表示面１２１を撮影するなどして、影領域を検出する。

この実施の形態における投影表示装置１００は、
表示台装置１２０と、主投影装置１１１と、影領域検出装置２３１と、補完投影選択装置２４５と、少なくとも二つの補完投影装置１１２〜１１３とを有することを特徴とする。
上記表示台装置１２０は、映像を投影される表示面１２１を有することを特徴とする。
上記主投影装置１１１は、上記表示台装置１２０の表示面１２１に対して映像（主映像）を投影することを特徴とする。
上記影領域検出装置２３１は、上記表示台装置１２０の表示面１２１と上記主投影装置１１１との間に上記主投影装置１１１が投影した映像を遮る遮蔽物（腕７１２〜７１５）が存在することにより、上記表示台装置１２０の表示面１２１に、上記遮蔽物の影になった影領域が発生した場合に、上記影領域を検出することを特徴とする。
上記補完投影選択装置２４５は、上記影領域検出装置２３１が検出した影領域に基づいて、上記補完投影装置１１２〜１１３のなかから少なくとも一つの補完投影装置を選択することを特徴とする。
上記補完投影装置１１２〜１１３は、上記補完投影選択装置２４５が選択した選択結果に基づいて、上記補完投影選択装置２４５が選択した補完投影装置である場合に、上記表示台装置１２０の表示面１２１の少なくとも一部（補完領域）に対して映像（補完映像）を投影することを特徴とする。

この実施の形態における投影表示装置１００によれば、影領域検出装置２３１が検出した影領域に基づいて、補完投影選択装置２４５が複数の補完投影装置１１２〜１１５のなかから補完映像を投影する補完投影装置を選択するので、影領域と、遮蔽物により補完映像に発生する補完影領域とが重ならないように、補完投影装置を選択することができ、表示面１２１に、遮蔽物の影になって映像が表示されない部分が生じるのを防ぐことができるという効果を奏する。

この実施の形態における投影表示装置１００は、更に、長方形領域算出装置２４１と、第一中心位置判定装置２４３とを有することを特徴とする。
上記主投影装置１１１は、上記表示台装置１２０の表示面１２１の中心に略正対する位置にあることを特徴とする。
上記補完投影装置１１２〜１１３のうち第一の補完投影装置１１２は、上記表示台装置１２０の表示面１２１の中心に正対する位置から所定の第一方向（Ａ方向）に離れた位置にあることを特徴とする。
上記補完投影装置１１２〜１１３のうち第二の補完投影装置１１３は、上記表示台装置１２０の表示面１２１の中心に正対する位置から上記第一方向と逆の第二方向（Ｂ方向）に離れた位置にあることを特徴とする。
上記長方形領域算出装置２４１は、上記影領域検出装置２３１が検出した影領域に基づいて、上記表示台装置１２０の表示面１２１のうち、上記影領域を囲む略長方形の領域であって、上記領域の一組の対辺が上記第一方向（Ａ方向）に対して略垂直な領域を算出して、長方形領域とすることを特徴とする。
上記第一中心位置判定装置２４３は、上記長方形領域算出装置２４１が算出した長方形領域に基づいて、上記表示台装置１２０の表示面１２１の中心（中心点７８１）を通り、上記第一方向（Ａ方向）に対して垂直な直線７８２を基準として、上記長方形領域の中心が上記第一方向（Ａ方向）にあるか上記第二方向（Ｂ方向）にあるかを判定することを特徴とする。
上記補完投影選択装置２４５は、上記第一中心位置判定装置２４３が判定した判定結果に基づいて、上記長方形領域の中心が上記第一方向（Ａ方向）にあると上記第一中心位置判定装置２４３が判定した場合に、上記第二の補完投影装置１１３を選択し、上記長方形領域の中心が上記第二方向（Ｂ方向）にあると上記第一中心位置判定装置２４３が判定した場合に、上記第一の補完投影装置１１２を選択することを特徴とする。

この実施の形態における投影表示装置１００によれば、影領域検出装置２３１が検出した影領域に基づいて長方形領域算出装置２４１が算出した長方形領域の中心が第一方向にあるか第二方向にあるかを第一中心位置判定装置２４３が判定し、遠いほうの補完投影装置を補完投影選択装置２４５が選択するので、影領域と補完影領域とが重ならないように、補完投影装置を選択することができ、表示面１２１に、遮蔽物の影になって映像が表示されない部分が生じるのを防ぐことができるという効果を奏する。

この実施の形態における投影表示装置１００は、少なくとも四つの補完投影装置１１２〜１１５を有し、更に、長辺判定装置２４２と、第二中心位置判定装置２４４とを有することを特徴とする。
上記補完投影装置１１２〜１１５のうち第三の補完投影装置１１４は、上記表示台装置１２０の表示面１２１の中心に正対する位置から上記第一方向（Ａ方向）と略垂直な第三方向（Ｃ方向）に離れた位置にあることを特徴とする。
上記補完投影装置１１２〜１１５のうち第四の補完投影装置１１５は、上記表示台装置１２０の表示面１２１の中心に正対する位置から上記第三方向と逆の第四方向（Ｄ方向）に離れた位置にあることを特徴とする。
上記長辺判定装置２４２は、上記長方形領域算出装置２４１が算出した長方形領域に基づいて、上記長方形領域の二組の対辺のうち、上記第一方向（Ａ方向）に対して略垂直な一組の対辺（縦辺）が、他の一組の対辺（横辺）よりも長いか短いか（長方形領域が縦長か横長か）を判定することを特徴とする。
上記第二中心位置判定装置２４４は、上記長方形領域算出装置２４１が算出した長方形領域に基づいて、上記表示台装置１２０の表示面１２１の中心（中心点７８１）を通り、上記第三方向（Ｃ方向）に対して垂直な直線７８３を基準として、上記長方形領域の中心が上記第三方向（Ｃ方向）にあるか上記第四方向（Ｄ方向）にあるかを判定することを特徴とする。
上記補完投影選択装置２４５は、上記長辺判定装置２４２が判定した判定結果に基づいて、上記長方形領域の二組の対辺のうち上記第一方向（Ａ方向）に対して略垂直な一組の対辺（縦辺）が他の一組の対辺（横辺）よりも長い（長方形領域が縦長である）と上記長辺判定装置２４２が判定した場合、上記第一中心位置判定装置２４３が判定した判定結果に基づいて、上記長方形領域の中心が上記第一方向（Ａ方向）にあると上記第一中心位置判定装置２４３が判定した場合に、上記第二の補完投影装置１１３を選択し、上記長方形領域の中心が上記第二方向（Ｂ方向）にあると上記第一中心位置判定装置２４３が判定した場合に、上記第一の補完投影装置１１２を選択し、上記長辺判定装置２４２が判定した判定結果に基づいて、上記長方形領域の二組の対辺のうち上記第一方向（Ａ方向）に対して略垂直な一組の対辺（縦辺）が他の一組の対辺（横辺）よりも短い（長方形領域が横長である）と上記長辺判定装置２４２が判定した場合、上記第二中心位置判定装置２４４が判定した判定結果に基づいて、上記長方形領域の中心が上記第三方向（Ｃ方向）にあると上記第二中心位置判定装置２４４が判定した場合に、上記第四の補完投影装置１１５を選択し、上記長方形領域の中心が上記第四方向（Ｄ方向）にあると上記第二中心位置判定装置２４４が判定した場合に、上記第三の補完投影装置１１４を選択することを特徴とする。

この実施の形態における投影表示装置１００によれば、長方形領域算出装置２４１が算出した長方形領域が縦長か横長かを長辺判定装置２４２が判定し、判定結果に基づいて補完投影選択装置２４５が補完投影装置を選択するので、遮蔽物が腕７１２〜７１５のように細長い形状のものである場合、遮蔽物の長手方向から離れた方向にある補完投影装置を選択することができ、影領域と補完影領域とが重ならないようにできるという効果を奏する。

この実施の形態における投影表示装置１００は、更に、補完領域算出装置２４６を有することを特徴とする。
上記補完領域算出装置２４６は、上記影領域検出装置２３１が検出した影領域に基づいて、上記表示台装置１２０の表示面１２１のうち、上記影領域を含む領域を算出して、補完領域とすることを特徴とする。
上記補完投影装置１１２〜１１５は、上記補完投影選択装置２４５が選択した選択結果に基づいて、上記補完投影選択装置２４５が選択した補完投影装置である場合に、上記補完領域算出装置２４６が算出した補完領域に基づいて、上記補完領域に対して映像（補完映像）を投影することを特徴とする。

この実施の形態における投影表示装置１００によれば、影領域検出装置２３１が検出した影領域に基づいて補完領域算出装置２４６が算出した補完領域に対して、補完投影装置１１２〜１１５が補完映像を投影するので、不必要な補完影領域が発生するのを防ぐことができ、表示面１２１に見やすい映像を表示できるという効果を奏する。

この実施の形態における投影表示装置１００は、コンピュータ３００と接続可能であり、更に、身振り判定装置２３６と、身振り出力装置２３９と、映像入力装置２５１とを有することを特徴とする。
上記身振り判定装置２３６は、上記影領域検出装置２３１が検出した影領域に基づいて、上記影領域の形状または時系列における上記影領域の一連の形状が、所定の形状または所定の一連の形状と似ているか否かを判定し、似ていると判定した場合に、利用者が所定の身振り（ジェスチャ）をしたと判定することを特徴とする。
上記身振り出力装置２３９は、上記身振り判定装置２３６が判定した判定結果に基づいて、利用者が所定の身振りをしたと上記身振り判定装置２３６が判定した場合に、上記所定の身振りを表わす身振り情報を上記コンピュータ３００に対して出力することを特徴とする。
上記映像入力装置２５１は、上記コンピュータ３００が上記身振り情報に基づいて生成した映像を表わす映像情報を、上記コンピュータ３００から入力することを特徴とする。
上記主投影装置１１１は、上記映像入力装置２５１が入力した映像情報に基づいて、上記映像情報が表わす映像（主映像）を投影することを特徴とする。
上記補完投影装置１１２〜１１５は、上記映像入力装置２５１が入力した映像情報に基づいて、上記主投影装置１１１が投影した映像のうち、上記遮蔽物の影になった部分を補完する映像（補完映像）を投影することを特徴とする。

この実施の形態における投影表示装置１００によれば、利用者７０２〜７０５の腕７１２〜７１５などにより表示面１２１に発生する影領域に基づいて身振り判定装置２３６が利用者７０２〜７０５の身振りを判定するので、影領域を積極的に利用して、コンピュータ３００に情報を入力する手段として活用することができるという効果を奏する。

この実施の形態における投影表示装置１００は、コンピュータ３００と接続可能であり、更に、接触位置検出装置２１１と、接触位置出力装置２１９と、映像入力装置２５１とを有することを特徴とする。
上記接触位置検出装置２１１は、上記表示台装置１２０の表示面１２１に利用者７０２〜７０５が接触した場合に、上記利用者７０２〜７０５が接触した位置を検出して、接触位置とすることを特徴とする。
上記接触位置出力装置２１９は、上記接触位置検出装置２１１が検出した接触位置に基づいて、上記接触位置を表わす接触位置情報を上記コンピュータ３００に対して出力することを特徴とする。
上記映像入力装置２５１は、上記コンピュータ３００が上記接触位置情報に基づいて生成した映像を表わす映像情報を、上記コンピュータ３００から入力することを特徴とする。
上記主投影装置１１１は、上記映像入力装置２５１が入力した映像情報に基づいて、上記映像情報が表わす映像（主映像）を投影することを特徴とする。
上記補完投影装置１１２〜１１５は、上記映像入力装置２５１が入力した映像情報に基づいて、上記主投影装置１１１が投影した映像のうち、上記遮蔽物の影になった部分を補完する映像（補完映像）を投影することを特徴とする。

この実施の形態における投影表示装置１００によれば、表示面１２１に利用者７０２〜７０５が接触した接触位置を検出して、コンピュータ３００に対して出力するので、利用者７０２〜７０５が表示面１２１に表示された映像に触る感覚で、コンピュータ３００を操作することが可能となる。
また、接触位置検出装置２１１が表示面１２１の裏側に位置するため、主投影装置１１１は、表示面１２１の表側から映像を投影することになり、利用者７０２〜７０５が表示面１２１に触れるため腕７１２〜７１５を伸ばすと、主投影装置１１１が投影した映像を遮ることになるが、補完投影装置１１２〜１１５が補完映像を投影するので、表示面１２１に映像が表示されない部分が生じるのを防ぐことができ、利用者７０２〜７０５の操作に支障をきたさないという効果を奏する。

この実施の形態における投影表示装置１００が映像を投影する投影表示方法は、以下の工程を有することを特徴とする。
主投影装置１１１を用いて、表示面１２１に対して映像（主映像）を投影する。
上記表示面１２１と上記主投影装置１１１との間に上記主投影装置１１１が投影した映像を遮る遮蔽物（腕７１２〜７１５）が存在することにより、上記表示面１２１に、上記遮蔽物の影になった影領域が発生した場合に、上記影領域を検出する。
検出した影領域に基づいて、少なくとも二つの補完投影装置１１２〜１１５のなかから少なくとも一つの補完投影装置を選択する。
選択した補完投影装置を用いて、上記表示面１２１の少なくとも一部（補完領域）に対して映像（補完映像）を投影する。

この実施の形態における投影表示方法によれば、検出した影領域に基づいて、複数の補完投影装置１１２〜１１５のなかから補完映像を投影する補完投影装置を選択するので、影領域と、遮蔽物により補完映像に発生する補完影領域とが重ならないように、補完投影装置を選択することができ、表示面１２１に、遮蔽物の影になって映像が表示されない部分が生じるのを防ぐことができるという効果を奏する。

以上説明した投影表示装置１００（情報入出力装置）は、複数のユーザ（利用者７０２〜７０５）による協調作業を可能とする下記の機能ブロックを備えている。
・画面被服領域検出カメラ（影領域検出装置２３１）によってマルチユーザ用タッチテーブル（表示台装置１２０の表示面１２１）上で影となっている領域（影領域）を検出する画面被服領域検出部（影領域検出装置２３１）。
・画面被服領域検出部（影領域検出装置２３１）によって検出した影となっている領域（影領域）の時間変化からユーザのジェスチャ（身振り）を特定するジェスチャ検出部（身振り判定装置２３６）。
・画面被服領域検出部（影領域検出装置２３１）によって検出した影となっている領域（影領域）の位置からジェスチャを出したユーザを特定するユーザ特定部（身振り判定装置２３６）。
・画面被服領域検出部（影領域検出装置２３１）からの情報を用いて補完用投影機（補完投影装置１１２〜１１５）を選択する投影機選択部（補完投影選択装置２４５）。
・選択された補完用投影機に対しそれぞれの投影領域（補完領域）を決定する補完投影領域決定部（補完領域算出装置２４６）。
・補完領域が割り当てられた投影機（補完投影装置１１２〜１１５）に対して補完投影用の画像を生成する補完投影画像生成部（補完映像生成装置２６２〜２６５）。
・補完用投影機（補完投影装置１１２〜１１５）への出力を行う出力部（補完映像生成装置２６２〜２６５）。
・補完用投影機（補完投影装置１１２〜１１５）。

以上説明した投影表示装置１００（情報入出力装置）によれば、あるユーザ（利用者７０２〜７０５）がマルチユーザ用タッチテーブル（表示面１２１）上に手をかざし、それによって単一の投影機（主投影装置１１１）から投影された映像（主映像）が手や腕の影になり、マルチユーザ用タッチテーブル（表示面１２１）上に投影されるはずの画面（映像）の一部が影になった場合であっても、協調作業中の他のユーザ（利用者７０２〜７０５）から見えなくなることがなく、他のユーザ（利用者７０２〜７０５）の操作に支障をきたすことがないという効果を奏する。

すなわち、単一の投影機（主投影装置１１１）による投影では手などの影になって隠されてしまっていたマルチユーザ用タッチテーブル（表示面１２１）上の画像（映像）も表示されるようになるので、マルチユーザタッチシステム（投影表示装置１００）における複数ユーザ（利用者７０２〜７０５）での協調作業において、互いの操作に支障をきたさなくなる。

以上説明した投影表示装置１００が情報を入出力する情報入出力方法（投影表示方法）は、単一の投影機（主投影装置１１１）と異なる場所におかれた２台以上の投影機（補完投影装置１１２〜１１５）を用いて、単一の投影機（主投影装置１１１）では障害物（遮蔽物）によって影となってしまう部分（影領域）への画像を補完することを特徴とする。
これにより、上記ユーザ（利用者７０２〜７０５）が本来得られる情報全体を見ることができる。

以上説明した投影表示装置１００が情報を入出力する情報入出力方法（投影表示方法）は、画面被服領域検出カメラ（影領域検出装置２３１）を用いた画面被服領域（影領域）検出によって、単一の投影機（主投影装置１１１）によってできてしまう影（影領域）を最も効率よく補完できる位置にある補完用投影機（補完投影装置１１２〜１１５）を選択し、用いることを特徴とする。
これにより、補完用投影機（補完投影装置１１２〜１１５）によって生じてしまう新たな影（補完影領域）による投影部分とのコントラストを最小にできる。

以上説明した投影表示装置１００が情報を入出力する情報入出力方法（投影表示方法）は、画面被服領域検出カメラ（影領域検出装置２３１）を用いた画面被服領域（影領域）検出によって、検出した影（影領域）の時間変化を事前登録あるいは随時登録しておいた動きと比較し、マッチングが取れた場合にジェスチャ（身振り）として認知することを特徴とする。
これにより、ジェスチャアクションによる高度なユーザインターフェースが実現可能となる。

以上説明した投影表示装置１００（情報入出力装置）は、マルチユーザ用タッチテーブル（表示台装置１２０の表示面１２１）上で影となっている領域（影領域）を検出する画面被服領域検出部（影領域検出装置２３１）と、検出した影となっている領域（影領域）の時間変化からユーザ（利用者７０２〜７０５）のジェスチャ（身振り）を特定するジェスチャ検出部（身振り判定装置２３６）と、検出した影となっている領域（影領域）の位置からジェスチャを出したユーザを特定するユーザ特定部（身振り判定装置２３６）と、画面被服領域検出部（影領域検出装置２３１）からの情報を用いて補完用投影機（補完投影装置１１２〜１１５）を選択する投影機選択部（補完投影選択装置２４５）と、選択された補完用投影機（補完投影装置１１２〜１１５）に対しそれぞれの投影領域（補完領域）を決定する補完投影領域決定部（補完領域算出装置２４６）と、補完領域が割り当てられた投影機（補完投影装置１１２〜１１５）に対して補完投影用の画像（補完映像）を生成する補完投影画像生成部（補完映像生成装置２６２〜２６５）と、投影機（補完投影装置１１２〜１１５）への出力を行う出力部（補完映像生成装置２６２〜２６５）と、４台の補完用投影機（補完投影装置１１２〜１１５）と、１台の画面被服領域検出カメラ（影領域検出装置２３１）と、同時刻に複数の人間の接触を独立に検出する同時刻複数人接触独立検出部（接触位置検出装置２１１）と、複数人による協調作業を描画するための協調作業描画部（主映像生成装置２６１）と、中央から投影する画像（主画像）を出力する中央画像出力部（主映像生成装置２６１）と、中央投影機（主投影装置１１１）とから構成される。

画面被服領域検出部（影領域検出装置２３１）は、マルチユーザ用タッチテーブル（表示台装置１２０の表示面１２１）上で影となっている領域（影領域）を検出する装置であり、画面被服領域検出カメラ（影領域検出装置２３１）によって得られたマルチユーザ用タッチテーブル（表示面１２１）上の映像のスナップショットと、協調作業描画（主映像生成装置２６１）から出力される映像のスナップショットの差分を元に、ユーザ（利用者７０２〜７０５）の腕７１２〜７１５等の遮蔽物によって影となっている領域（影領域）の情報を出力するものである。

ジェスチャ検出部（身振り判定装置２３６）は、ユーザ（利用者７０２〜７０５）のジェスチャ（身振り）を特定する装置であり、画面被服領域検出部（影領域検出装置２３１）からの入力を元に、検出した影（影領域）の時間変化を事前登録あるいは随時登録しておいた動きと比較し、マッチングが取れた場合にジェスチャ（身振り）として認知し、ユーザ（利用者７０２〜７０５）のジェスチャ（身振り）を特定するものである。
ユーザ特定部（身振り判定装置２３６）は、ジェスチャ（身振り）を出したユーザ（利用者７０２〜７０５）を特定する装置であり、ジェスチャ検出部（身振り判定装置２３６）でジェスチャ（身振り）が特定された際に、画面被服領域検出部（影領域検出装置２３１）からの入力を元に、検出した影となっている領域（影領域）がマルチユーザ用タッチテーブル（表示面１２１）と接している辺（輪郭線）を特定し、ジェスチャ（身振り）を出したユーザ（利用者７０２〜７０５）を特定するものである。

投影機選択部（補完投影選択装置２４５）は、画面被服領域検出部（影領域検出装置２３１）からの情報を用いて補完用投影機（補完投影装置１１２〜１１５）を選択する装置であり、検出されたマルチユーザ用タッチテーブル（表示面１２１）上で影となっている領域（影領域）の情報を元に、単一の投影機（主投影装置１１１）による投影によってできる影（影領域）を最もよく補完でき、かつ補完用投影機（補完投影装置１１２〜１１５）によって生じてしまう新たな影（補完影領域）による投影部分とのコントラストを最小にするような最適な補完用投影機の選択を行う。

補完投影領域決定部（補完領域算出装置２４６）は、選択された補完用投影機（補完投影装置１１２〜１１５）に対し、それぞれの投影領域（補完領域）を決定する装置であり、どの領域に対し補完を行うかの決定を行う。

補完投影画像生成部（補完映像生成装置２６２〜２６５）は、補完領域が割り当てられた投影機（補完投影装置１１２〜１１５）に対して補完投影用の画像（補完映像）を生成する装置である。
出力部（補完映像生成装置２６２〜２６５）は、補完用投影機（補完投影装置１１２〜１１５）への出力を行う装置であり、補完用投影機（補完投影装置１１２〜１１５）へ投影領域（補完領域）および投影画像（補完映像）の送信を行う。

補完用投影機（補完投影装置１１２〜１１５）は，マルチユーザ用タッチテーブル１４（表示面１２１）上に補完投影画像（補完映像）を投影する装置であり、マルチユーザ用タッチテーブル（表示面１２１）の四辺上方に設置され、出力部（補完映像生成装置２６２〜２６５）からの出力を受けて、マルチユーザ用タッチテーブル（表示面１２１）上に補完画像（補完映像）を投影する。

操作のためにマルチユーザ用タッチテーブル（表示面１２１）上にユーザ（利用者７０２〜７０５）が腕７１２〜７１５を伸ばすと、マルチユーザ用タッチテーブル（表示面１２１）上へ向けられた中央投影機（主投影装置１１１）からの投影画像（主映像）がユーザの腕７１２〜７１５によって遮られることによって、マルチユーザ用タッチテーブル（表示面１２１）上にユーザの腕の影（影領域）が発生し、画面被服領域検出カメラ（影領域検出装置２３１）によって画像として検出される。影領域検出装置２３１が、影を含んだ画像と中央投影機（主投影装置１１１）からの投影画像の差分をとると、ユーザの腕によって発生した影（影領域）のみが画像として得られる。

長方形領域算出装置２４１は、画面被服領域検出部（影領域検出装置２３１）で検出した影（影領域）に対し、それを囲むように、マルチユーザ用タッチテーブル（表示面１２１）と各辺が平行となるような長方形（長方形領域）を算出する。長辺判定装置２４２及び第一中心位置判定装置２４３及び第二中心位置判定装置２４４は、長方形（長方形領域）の長辺、短辺、対称中心を求める。第一中心位置判定装置２４３及び第二中心位置判定装置２４４は、マルチユーザ用タッチテーブル（表示面１２１）の対称中心（中心点７８１）を通り、算出した長方形の長辺と平行な直線７８２，７８３によって、マルチユーザ用タッチテーブル（表示面１２１）上の領域を分割する。補完投影選択装置２４５は、直線７８２，７８３をはさんで、長方形（長方形領域）の対称中心と反対側にある補完用投影機（補完投影装置１１２〜１１５）を選択する。

以上説明した投影表示装置１００（情報入出力装置）によれば、ユーザ（利用者７０２〜７０５）がマルチユーザ用タッチテーブル（表示面１２１）上に手（腕７１２〜７１５）をかざした場合に、他のユーザ（利用者７０２〜７０５）の操作に支障をきたないものであり、単一の投影機（主投影装置１１１）による投影では手などの影になって隠されてしまっていたマルチユーザ用タッチテーブル（表示面１２１）上の画像（映像）を、マルチユーザ用タッチテーブル（表示面１２１）上方に設置した画面被覆領域検出カメラ（影領域検出装置２３１）によって検出された影領域に依存して最適選択された補完用投影機（補完投影装置１１２〜１１５）によって補完するので、複数ユーザ（利用者７０２〜７０５）での協調作業において、互いの操作に支障をきたさなくなる。

これにより、複数のユーザ（利用者７０２〜７０５）による協調作業を可能とするマルチユーザタッチシステム（投影表示装置１００）において、あるユーザ（利用者７０２〜７０５）がマルチユーザ用タッチテーブル（表示面１２１）上に手をかざし、それによって単一の投影機（主投影装置１１１）から投影された映像（主映像）が手や腕の影になっても、マルチユーザ用タッチテーブル（表示面１２１）上に投影されるはずの画面（映像）の一部が影になって協調作業中の他のユーザ（利用者７０２〜７０５）から見えなくならず、他のユーザ（利用者７０２〜７０５）の操作に支障をきたさない。

以上説明した投影表示装置１００（情報入出力装置）によれば、単一の投影機（主投影装置１１１）による投影では手などの影になって隠されてしまっていたマルチユーザ用タッチテーブル（表示面１２１）上の画像（映像）も表示されるようになり、マルチユーザタッチシステム（投影表示装置１００）における複数ユーザ（利用者７０２〜７０５）での協調作業において、互いの操作に支障をきたさなくなる。単一の投影機（主投影装置１１１）による投影では手などの影になって隠されてしまっていたマルチユーザ用タッチテーブル（表示面１２１）上の画像（映像）を、画面被覆領域検出カメラ（影領域検出装置２３１）によって検出された影領域に依存して最適選択された複数の補完用投影機によって補完する。これにより、複数ユーザ（利用者７０２〜７０５）での協調作業において、互いの操作に支障をきたさなくなる。また、複数手指の多点認識可能なタッチパネル（接触位置検出装置２１１）による操作に加え、ジェスチャアクションによる高度なユーザインターフェースが実現可能となる。

実施の形態１における投影表示装置１００の全体構成の一例を示すシステム構成図。 実施の形態１における投影表示装置１００の各部の配置の一例を示す平面図。 実施の形態１における表示制御装置１４０のハードウェア資源の一例を示す図。 実施の形態１における表示制御装置１４０の内部ブロックの構成の一例を示すブロック構成図。 実施の形態１における投影表示装置１００が、表示面１２１に映像を投影する投影処理の流れの一例を示すフローチャート図。 実施の形態１における投影表示装置１００を利用者７０２〜７０５が利用している状態の一例を示す平面図。 実施の形態１における投影表示装置１００の動作を説明するための模式図。 実施の形態１における投影表示装置１００の動作を説明するための模式図。

符号の説明

１００ 投影表示装置、１１１ 主投影装置、１１２〜１１５ 補完投影装置、１２０ 表示台装置、１２１ 表示面、１３２〜１３５ 座席、１４０ 表示制御装置、２１１ 接触位置検出装置、２１９ 接触位置出力装置、２２２〜２２５ 着席検出装置、２２６ 接触者判定装置、２２９ 接触者出力装置、２３１ 影領域検出装置、２３５ 身振り記憶装置、２３６ 身振り判定装置、２３９ 身振り出力装置、２４１ 長方形領域算出装置、２４２ 長辺判定装置、２４３ 第一中心位置判定装置、２４４ 第二中心位置判定装置、２４５ 補完投影選択装置、２４６ 補完領域算出装置、２５１ 映像入力装置、２６１ 主映像生成装置、２６２〜２６５ 補完映像生成装置、３００ コンピュータ、７０２〜７０５ 利用者、７１２〜７１５ 腕、７２３〜７２５ 影領域、７３３〜７３５ 長方形領域、７４３〜７４５ 中心点、７５３〜７５５ 補完領域、７６３〜７６５ 補完影領域、７７３〜７７５ 重複投影領域、７８１ 中心点、７８２，７８３ 直線、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ＦＤＤ、９０５ ＣＤＤ、９０６ プリンタ装置、９０７ スキャナ装置、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信装置、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ ウィンドウシステム、９２３ プログラム群、９２４ ファイル群、Ｓ５１１ 映像入力工程、Ｓ５２１ 主映像生成工程、Ｓ５２２ 主映像投影工程、Ｓ５３１ 影領域検出工程、Ｓ５３６ 長方形領域算出工程、Ｓ５４１ 繰返し工程、Ｓ５４２ 長辺判定工程、Ｓ５４３ 第一中心位置判定工程、Ｓ５４４ 第二中心位置判定工程、Ｓ５５２ 第一選択工程、Ｓ５５３ 第二選択工程、Ｓ５５４ 第三選択工程、Ｓ５５５ 第四選択工程、Ｓ５５６ 繰返し判定工程、Ｓ５５７ 補完領域算出工程、Ｓ５６２ 第一補完映像生成工程、Ｓ５６３ 第二補完映像生成工程、Ｓ５６４ 第三補完映像生成工程、Ｓ５６５ 第四補完映像生成工程、Ｓ５７２ 第一補完映像投影工程、Ｓ５７３ 第二補完映像投影工程、Ｓ５７４ 第三補完映像投影工程、Ｓ５７５ 第四補完映像投影工程。

Claims (7)

1. 表示台装置と、主投影装置と、影領域検出装置と、補完投影選択装置と、少なくとも二つの補完投影装置とを有し、
   上記表示台装置は、映像を投影される表示面を有し、
   上記主投影装置は、上記表示台装置の表示面に対して映像を投影し、
   上記影領域検出装置は、上記表示台装置の表示面と上記主投影装置との間に上記主投影装置が投影した映像を遮る遮蔽物が存在することにより、上記表示台装置の表示面に、上記遮蔽物の影になった影領域が発生した場合に、上記影領域を検出し、
   上記補完投影選択装置は、上記影領域検出装置が検出した影領域に基づいて、上記補完投影装置のなかから少なくとも一つの補完投影装置を選択し、
   上記補完投影装置は、上記補完投影選択装置が選択した選択結果に基づいて、上記補完投影選択装置が選択した補完投影装置である場合に、上記表示台装置の表示面の少なくとも一部に対して映像を投影する
   ことを特徴とする投影表示装置。
2. 上記投影表示装置は、更に、長方形領域算出装置と、第一中心位置判定装置とを有し、
   上記主投影装置は、上記表示台装置の表示面の中心に略正対する位置にあり、
   上記補完投影装置のうち第一の補完投影装置は、上記表示台装置の表示面の中心に正対する位置から所定の第一方向に離れた位置にあり、
   上記補完投影装置のうち第二の補完投影装置は、上記表示台装置の表示面の中心に正対する位置から上記第一方向と逆の第二方向に離れた位置にあり、
   上記長方形領域算出装置は、上記影領域検出装置が検出した影領域に基づいて、上記表示台装置の表示面のうち、上記影領域を囲む略長方形の領域であって、上記領域の一組の対辺が上記第一方向に対して略垂直な領域を算出して、長方形領域とし、
   上記第一中心位置判定装置は、上記長方形領域算出装置が算出した長方形領域に基づいて、上記表示台装置の表示面の中心を通り、上記第一方向に対して垂直な直線を基準として、上記長方形領域の中心が上記第一方向にあるか上記第二方向にあるかを判定し、
   上記補完投影選択装置は、上記第一中心位置判定装置が判定した判定結果に基づいて、上記長方形領域の中心が上記第一方向にあると上記第一中心位置判定装置が判定した場合に、上記第二の補完投影装置を選択し、上記長方形領域の中心が上記第二方向にあると上記第一中心位置判定装置が判定した場合に、上記第一の補完投影装置を選択する
   ことを特徴とする請求項１に記載の投影表示装置。
3. 上記投影表示装置は、少なくとも四つの補完投影装置を有し、更に、長辺判定装置と、第二中心位置判定装置とを有し、
   上記補完投影装置のうち第三の補完投影装置は、上記表示台装置の表示面の中心に正対する位置から上記第一方向と略垂直な第三方向に離れた位置にあり、
   上記補完投影装置のうち第四の補完投影装置は、上記表示台装置の表示面の中心に正対する位置から上記第三方向と逆の第四方向に離れた位置にあり、
   上記長辺判定装置は、上記長方形領域算出装置が算出した長方形領域に基づいて、上記長方形領域の二組の対辺のうち、上記第一方向に対して略垂直な一組の対辺が、他の一組の対辺よりも長いか短いかを判定し、
   上記第二中心位置判定装置は、上記長方形領域算出装置が算出した長方形領域に基づいて、上記表示台装置の表示面の中心を通り、上記第三方向に対して垂直な直線を基準として、上記長方形領域の中心が上記第三方向にあるか上記第四方向にあるかを判定し、
   上記補完投影選択装置は、上記長辺判定装置が判定した判定結果に基づいて、上記長方形領域の二組の対辺のうち上記第一方向に対して略垂直な一組の対辺が他の一組の対辺よりも長いと上記長辺判定装置が判定した場合、上記第一中心位置判定装置が判定した判定結果に基づいて、上記長方形領域の中心が上記第一方向にあると上記第一中心位置判定装置が判定した場合に、上記第二の補完投影装置を選択し、上記長方形領域の中心が上記第二方向にあると上記第一中心位置判定装置が判定した場合に、上記第一の補完投影装置を選択し、上記長辺判定装置が判定した判定結果に基づいて、上記長方形領域の二組の対辺のうち上記第一方向に対して略垂直な一組の対辺が他の一組の対辺よりも短いと上記長辺判定装置が判定した場合、上記第二中心位置判定装置が判定した判定結果に基づいて、上記長方形領域の中心が上記第三方向にあると上記第二中心位置判定装置が判定した場合に、上記第四の補完投影装置を選択し、上記長方形領域の中心が上記第四方向にあると上記第二中心位置判定装置が判定した場合に、上記第三の補完投影装置を選択する
   ことを特徴とする請求項２に記載の投影表示装置。
4. 上記投影表示装置は、更に、補完領域算出装置を有し、
   上記補完領域算出装置は、上記影領域検出装置が検出した影領域に基づいて、上記表示台装置の表示面のうち、上記影領域を含む領域を算出して、補完領域とし、
   上記補完投影装置は、上記補完投影選択装置が選択した選択結果に基づいて、上記補完投影選択装置が選択した補完投影装置である場合に、上記補完領域算出装置が算出した補完領域に基づいて、上記補完領域に対して映像を投影する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の投影表示装置。
5. 上記投影表示装置は、コンピュータと接続可能であり、更に、身振り判定装置と、身振り出力装置と、映像入力装置とを有し、
   上記身振り判定装置は、上記影領域検出装置が検出した影領域に基づいて、上記影領域の形状または時系列における上記影領域の一連の形状が、所定の形状または所定の一連の形状と似ているか否かを判定し、似ていると判定した場合に、利用者が所定の身振りをしたと判定し、
   上記身振り出力装置は、上記身振り判定装置が判定した判定結果に基づいて、利用者が所定の身振りをしたと上記身振り判定装置が判定した場合に、上記所定の身振りを表わす身振り情報を上記コンピュータに対して出力し、
   上記映像入力装置は、上記コンピュータが上記身振り情報に基づいて生成した映像を表わす映像情報を、上記コンピュータから入力し、
   上記主投影装置は、上記映像入力装置が入力した映像情報に基づいて、上記映像情報が表わす映像を投影し、
   上記補完投影装置は、上記映像入力装置が入力した映像情報に基づいて、上記主投影装置が投影した映像のうち、上記遮蔽物の影になった部分を補完する映像を投影する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の投影表示装置。
6. 上記投影表示装置は、コンピュータと接続可能であり、更に、接触位置検出装置と、接触位置出力装置と、映像入力装置とを有し、
   上記接触位置検出装置は、上記表示台装置の表示面に利用者が接触した場合に、上記利用者が接触した位置を検出して、接触位置とし、
   上記接触位置出力装置は、上記接触位置検出装置が検出した接触位置に基づいて、上記接触位置を表わす接触位置情報を上記コンピュータに対して出力し、
   上記映像入力装置は、上記コンピュータが上記接触位置情報に基づいて生成した映像を表わす映像情報を、上記コンピュータから入力し、
   上記主投影装置は、上記映像入力装置が入力した映像情報に基づいて、上記映像情報が表わす映像を投影し、
   上記補完投影装置は、上記映像入力装置が入力した映像情報に基づいて、上記主投影装置が投影した映像のうち、上記遮蔽物の影になった部分を補完する映像を投影する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の投影表示装置。
7. 主投影装置を用いて、表示面に対して映像を投影し、
   上記表示面と上記主投影装置との間に上記主投影装置が投影した映像を遮る遮蔽物が存在することにより、上記表示面に、上記遮蔽物の影になった影領域が発生した場合に、上記影領域を検出し、
   検出した影領域に基づいて、少なくとも二つの補完投影装置のなかから少なくとも一つの補完投影装置を選択し、
   選択した補完投影装置を用いて、上記表示面の少なくとも一部に対して映像を投影する
   ことを特徴とする投影表示方法。

Images