JPWO2018207235A1 - 入出力システム、スクリーンセット、入出力方法、及び、プログラム - Google Patents

Abstract

スクリーンに投影された画像に対する操作を効果的に検知できる入出力システムを提供する。入出力システムは、スクリーンと、スクリーンの方向に、画像を投影するプロジェクタと、プロジェクタにより投影される画像の一部を反射又は屈折させる光路変更部と、光路変更部により反射又は屈折させた画像の一部、または前記画像の他部に基づいて、スクリーンに投影された画像に対するユーザの操作を検知する操作検知部とを有する。

Description

本発明は、入出力システム、スクリーンセット、入出力方法、及び、プログラムに関する。

例えば、特許文献１には、物体と対象物の接触を検出する接触検出装置であって、前記対象物及び前記物体の３次元撮像情報を取得する撮像手段と、前記撮像手段からの前記対象物の３次元撮像情報に基づいて、接触対象面を設定する設定手段と、前記撮像手段からの前記物体の３次元撮像情報を２次元情報に変換し、該２次元情報と前記接触対象面とに基づいて、前記物体の端部候補を検出する候補検出手段と、前記端部候補の前記３次元撮像情報と前記接触対象面とに基づいて、前記物体の端部を決定するとともに、前記物体と前記対象物との接触判定を行う接触判定手段と、を備える接触検出装置が開示されている。

特開２０１６−１６２１６２号公報

本発明は、スクリーンに投影された画像に対する操作を効果的に検知できる入出力システムを提供することを目的とする。

本発明に係る入出力システムは、スクリーンと、前記スクリーンの方向に、画像を投影するプロジェクタと、前記プロジェクタにより投影される画像の一部を反射又は屈折させる光路変更部と、前記光路変更部により反射又は屈折させた画像の一部、または前記画像の他部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する操作検知部とを有する。

好適には、前記光路変更部は、前記スクリーンの外側に投射される画像を反射又は屈折させ、前記操作検知部は、前記光路変更部により反射又は屈折させた画像の一部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する。

好適には、前記光路変更部により反射又は屈折させた画像の一部を投影する検知用スクリーンをさらに有し、前記検知用スクリーンは、前記スクリーンの近傍に配置され、前記操作検知部は、前記検知用スクリーンに投影された画像に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する。

好適には、前記光路変更部により反射又は屈折させた画像の一部を投影する検知用スクリーンをさらに有し、前記検知用スクリーンは、光が透過できるスリットを含み、前記操作検知部は、前記検知用スクリーンのスリットを透過した画像の一部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する。

好適には、前記光路変更部は、前記プロジェクタから投影された画像の一部を、前記スクリーン表面と略平行な方向に反射する位置及び向きに配置された鏡であり、前記鏡により反射された画像の一部を撮影するカメラをさらに有し、前記操作検知部は、前記カメラにより撮影された画像に基づいて、ユーザの操作を検知する。

好適には、複数の前記鏡が、互いに交差する方向に画像を反射する位置に配置され、前記カメラは、前記複数の鏡それぞれで反射された画像を撮影できる位置に配置され、前記操作検知部は、前記カメラにより撮影された複数の画像に基づいて、三次元空間上のユーザ操作位置を特定する。

好適には、前記スクリーンに表示させる画像と、ユーザの操作を検知するための操作検知用画像とを合成する合成部をさらに有し、前記プロジェクタは、前記合成部により合成された合成画像を投影し、前記光路変更部は、投影された合成画像のうち、操作検知用画像を反射又は屈折させ、前記操作検知部は、前記光路変更部により反射又は屈折させた操作検知用画像に基づいて、ユーザの操作を検知する。

好適には、前記合成部は、前記操作検知部により検知されたユーザの操作に応じて、合成する操作検知用画像に含まれる画像要素の大きさ、形状、又は位置を変更する。

好適には、前記合成部は、合成する表示画像に応じて、合成する操作検知用画像に含まれる画像要素の大きさ、形状、又は位置を変更する。

好適には、前記合成部は、少なくとも一部が周期的に明度又は色が変化する操作検知用画像を表示画像に合成し、前記光路変更部により反射又は屈折させた操作検知用画像を撮影するカメラをさらに有し、前記操作検知部は、前記カメラにより撮影された操作検知用画像のうち、明度又は色の周期的変化に基づいて、ユーザの操作を検知する。

好適には、前記操作検知用画像は、前記カメラにより撮影された操作検知用画像に基づき、明度又は色が、周囲の照明環境に応じてリアルタイムに変化する単色の色からなり、前記操作検知部は、前記リアルタイムに変化する単色の色とそれ以外の色とを判別する。

好適には、前記光路変更部により反射又は屈折させた操作検知用画像を撮影するカメラをさらに有し、前記合成部は、前記カメラにより撮影された操作検知用画像に基づいて、操作検知用画像の明度又は色を調整する。

本発明に係る入出力システムは、画像を表示する表示装置と、前記表示装置の表示面の近傍において、この表示面に対して略平行な方向にユーザの操作を検知するための操作検知用画像を投影する検知用画像投影部と、前記検知画像投影部により投影された操作検知用画像を撮影するカメラと、前記カメラにより撮影された操作検知用画像に基づいて、前記表示装置に表示された画像に対するユーザの操作を検知する操作検知部と
を有する。

好適には、前記検知画像投影部は、操作検知用画像を投影するプロジェクタであり、前記表示装置により表示される画像、及び操作検知部により検知された操作に応じて変化する操作検知用画像を前記プロジェクタに出力する検知画像供給部をさらに有する。

好適には、前記検知用画像投影部は、前記表示装置の方向に操作検知用画像を投影し、前記検知用画像投影部により投影される画像の一部を反射又は屈折させる光路変更部と、前記光路変更部により反射又は屈折させた、前記表示装置の外側に投射される画像を投影する検知用スクリーンとをさらに有し、前記検知用スクリーンは、前記表示装置外周近傍のいずれかの直交する２辺に配置される。

本発明に係るスクリーンセットは、画像が投影されるスクリーンと、前記スクリーンの近傍に固定され、前記スクリーンの投影面に対して、略４５度をなす鏡面を有する鏡とを有する。

好適には、前記鏡に反射された操作検知用画像を投影する検知用スクリーンをさらに有する。

好適には、前記光路変更部により反射又は屈折させた画像の一部を投影する検知用スクリーンと、前記画像の一部が投影された検知用スクリーンに反射された光を反射又は屈折させる打ち返し光路変更部と、前記により反射又は屈折された画像の一部を撮影するカメラとをさらに有し、前記操作検知部は、前記カメラにより撮影された画像に基づいて、ユーザの操作を検知する。

好適には、前記検知用スクリーンのいずれかに、前記検知用スクリーン方向に向かってユーザの指が押下されることにより反応する操作検知用画像を表示する。

好適には、前記検知用スクリーンに投影するための画像の一部が前記スクリーン外周近傍と前記スクリーン内側近傍との範囲で前記スクリーンに沿って平行移動可能である。

好適には、前記検知用スクリーンに投影するための画像の一部が、ユーザの操作によってプロジェクタの投影光を遮ることにより、欠落した状態になっている場合に、前記操作検知部は、前記欠落した画像の一部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する。

好適には、前記スクリーンと前記検知用スクリーンとに投影するための画像のピントを調整するための調整機構をさらに有する。

本発明に係るプログラムは、スクリーンに表示させる表示画像に、ユーザの操作を検知するための操作検知用画像を合成する合成機能と、前記合成機能により合成された合成画像を、プロジェクタに出力する画像供給機能と、カメラにより撮影された前記操作検知用画像に基づいて、前記表示画像に対するユーザの操作を検知する操作検知機能とをコンピュータに実現させる。

本発明に係る入出力方法は、スクリーンに表示させる表示画像に、ユーザの操作を検知するための操作検知用画像を合成する合成ステップと、前記合成ステップにより合成された合成画像を、プロジェクタがスクリーンの方向に投影する投影ステップと、前記投影ステップにより投影された合成画像のうち、操作検知用画像を反射又は屈折させる光路変更ステップと、前記光路変更ステップにより反射又は屈折させた操作検知用画像をカメラが撮影する撮影ステップと、前記撮影ステップにより撮影された操作検知用画像に基づいて、前記表示画像に対するユーザの操作を検知する操作検知ステップとを有する。

本発明によれば、スクリーンに投影された画像に対する操作を効果的に検知できる。

入出力システム１の概要を説明する図である。 入出力装置３のハードウェア構成を例示する図である。 入出力処理装置３の機能構成を例示する図である。 画像合成部３１２による投影画像の合成例を示す図である。 検知用画像合成部３１４による操作検知用画像の合成例を示す図である。 照明環境のデータを反映した操作検知用画像の生成例である。 ユーザの手の座標を反映した操作検知用画像の生成例である。 スクリーンに投影されタオブジェクトの座標を反映した操作検知用画像の生成例である。 操作検知部３２０によるユーザの手の座標取得方法を例示する図である。 入出力システム１による操作検知用画像初期設定処理（Ｓ３０）を説明するフローチャートである。 入出力システム１によるボタン型オブジェクトへの操作検知処理（Ｓ４０）を説明するフローチャートである。 入出力システム１による投影中のオブジェクトへの操作検知処理（Ｓ５０）を説明するフローチャートである。 検知用スクリーン９にプレビュー操作を表示する入出力システム１を例示する図である。 （ａ）は、２つの検知用スクリーン９が直交するように配置された入出力システム１を例示し、（ｂ）は、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とが直交するように配置された入出力システム１を例示する図である。 検知用スクリーン９（ＹＺ面用）が反射鏡１１（ＹＺ面用）と対向する辺の外側、且つ、映像投影用スクリーン７の外側に配置された入出力システム１とその座標取得方法とを例示する図である。 検知用スクリーン９（ＺＸ面用）の一部（左手検知用スクリーン）を反射鏡１１（ＺＸ面用）に対向する辺の外側に配置した入出力システム１である。 検知用スクリーン９（ＹＺ面用）と映像投射用スクリーン７または反射鏡１１（ＹＺ面用）とによりなす角できる場合の入出力システム１である。 入出力システム１によるピント調整機構を説明する図である。 （ａ）は、ユーザの手の座標の検知範囲に透明パネルを配置した入出力システム１を例示する図であり、（ｂ）は、ユーザの手の座標の検知範囲に透明なクッションを配置した入出力システム１を例示する図である。 映像投影用スクリーン７が大型である場合の入出力システム１である。 検知用スクリーン９（ＺＸ面用）にスリット穴を設けた場合の入出力システム１を例示する図である。 検知用スクリーン９（ＺＸ面用）にスリット穴を設けた場合の入出力システム１における、座標取得方法を例示する図である。 映像投影用スクリーン７により構成される検知用スクリーン９を有する入出力システム１を例示する図である。 カメラ１台で操作検知用画像を撮影する場合の入出力システムを例示する図である。 コンテンツ画像と、操作検知用画像とを別々に投影する場合の入出力システム１を例示する図である。

本発明の実施形態を、各図面に基づいて説明する。
図１は、入出力システム１の概要を説明する図である。
図１に示すように、入出力システム１は、入出力処理装置３と、プロジェクタ５と、映像投影用スクリーン７、検知用スクリーン９、反射鏡１１、カメラ１３、通信ケーブル１５、及び映像通信ケーブル１７を有する。
プロジェクタ５は、映像投影用スクリーン７（後述）の方向に、背面投射にて画像を投影する。プロジェクタ５の投射する投射画像は、映像投影用スクリーン７をはみ出すサイズである。具体的には、投射画像は、映像投影用スクリーン７の４辺のうち、いずれか直交する２辺の外周からはみ出すサイズである。
映像投影用スクリーン７は、プロジェクタ５から投影された映像を投影する透過型プロジェクタスクリーンであり、本発明に係るスクリーンの一例である。
はみ出し光エリアは、映像投射用スクリーン７をはみ出してプロジェクタ５からの投射光が投射される範囲をいう。はみ出し光エリアは、映像投影用スクリーン７の直交する２辺の外周からはみ出した投射光のうち、横の辺からはみ出した投射光の領域を示すはみ出し光エリア（ＺＸ面用）と、映像投影用スクリーン７の直交する２辺の外周からはみ出した投射光のうち、縦の辺からはみ出した投射光の領域を示すはみ出し光エリア（ＹＺ面用）とを含む。
本実施形態では、映像投影用スクリーン７を使用しているが、液晶ディスプレイ等の直視型映像表示装置でもよく、また、ブラウン管等の既存の直視型タイプの映像表示装置を利用して入出力システム１を構成してもよい。

反射鏡１１は、プロジェクタ５により投影される画像の一部を反射又は屈折させる。具体的には、反射鏡１１は、映像投影用スクリーン７の外側に投影される、つまり、映像投影用スクリーン７をはみ出した投射光（画像）を反射又は屈折させ、検知用スクリーン９に投影する。より具体的には、反射鏡１１は、プロジェクタ５から投影された画像の一部を映像用スクリーン７の表面と略平行な方向に反射する位置及び向きに配置される鏡である。また、反射鏡１１は、映像投影用スクリーン７の近傍に固定され、映像投影用スクリーン７の投影面に対して略４５度をなす鏡面を有する鏡である。反射鏡１１は、本発明に係る光路変更部の一例である。
反射鏡１１は、反射鏡１１（ＺＸ面用）と、反射鏡１１（ＹＺ面用）とを含み、互いに交差する方向に画像を反射する位置に配置される。反射鏡１１（ＺＸ面用）は、映像投影用スクリーン７の直交する２辺の外周からはみ出した投射画像のうち、横の辺からはみ出した投射光を反射し、検知用スクリーン９（ＺＸ面用）に投影する。反射鏡１１（ＹＺ面用）は、映像投影用スクリーン７の直交する２辺の外周からはみ出した投射画像のうち、縦の辺からはみ出した投射光を反射し、検知用スクリーン９（ＹＺ面用）に投影する。はみ出した投射画像とは操作検知用画像（後述）をいう。

検知用スクリーン９は、映像投影用スクリーン７の外周近傍、または映像投影用スクリーン７内に配置され、反射鏡１１により反射された投射光を投影する。検知用スクリーン９には、ＺＸ面用及びＹＺ面用がある。
検知用スクリーン９は、映像投影用スクリーン７に対して、垂直に配置され、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とは、互いに直交するように配置される。
カメラ１３は、反射鏡１１（ＺＸ面用）と、反射鏡１１（ＹＺ面用）とのそれぞれで反射された画像を撮影できる位置に配置され、反射された画像の一部を撮影する。具体的には、カメラ１３は、検知用スクリーン９に投影された画像にユーザのタッチパネルに対する操作が重なって写るように撮影する。カメラ１３は、検知用スクリーン９（ＺＸ面用）に投影された画像を、タッチパネルに対する操作を行うユーザの手を重ねて撮影するカメラ１３（ＺＸ面用）と、検知用スクリーン９（ＹＺ面用）に投影された画像を、タッチパネルに対する操作を行うユーザの手を重ねて撮影するカメラ１３（ＹＺ面用）とを含む。

入出力処理装置３は、映像投影用スクリーン７及び検知用スクリーン９に投影する映像を合成し、プロジェクタ５へ送信する。具体的には、入出力処理装置３は、映像投影用スクリーン７に投影する映像と、検知用スクリーン９に投影する操作検知用画像とを合成する。ここで、操作検知用画像とは、プロジェクタ５からはみ出し光エリアに投射され、映像投射用スクリーン７に投影される映像とは独立して変化する映像である。そして、操作検知用画像とは、ユーザの手及び座標取得対象物を識別分離しやすい映像をいう。
また、入出力処理装置３は、カメラ１３により撮影された画像に基づいて、タッチパネルに対する操作を示すユーザの手のＸＹＺ座標を計算し、座標に応じて映像投影用スクリーン７に画像を変える等の処理を行う。入出力処理装置３は、カメラ１３とプロジェクタ５と通信可能に接続され、具体的には、入出力処理装置３は、無線または、通信ケーブル１５（ＵＳＢまたは有線ＬＡＮ）によりカメラ１３と接続する。そして、入出力処理装置３は、映像通信ケーブル１７（ＨＤＭＩ(登録商標)ケーブル、Ｓ端子、またはＤ−Ｓｕｂ端子等）によりプロジェクタ５と接続する。入出力処理装置３は、パーソナルコンピュータ端末、または、スマートフォン、専用のＡＳＩＣ等を用いて構成されたＩＣチップ等を含む、カメラ撮影画像解析能力を有したＣＰＵを内蔵するすべての電子演算計算機をいう。

図２は、入出力処理装置３のハードウェア構成を例示する図である。
図２に例示するように、入出力処理装置３は、ＣＰＵ１００、メモリ１０２、ＨＤＤ１０４、ネットワークインタフェース１０６（ネットワークＩＦ１０６）、表示装置１０８、及び、入力装置１１０を有し、これらの構成はバス１１２を介して互いに接続している。
ＣＰＵ１００は、例えば、中央演算装置である。
メモリ１０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ１０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図３の入出力処理プログラム３０）やその他のデータファイル（例えば、図３の画像データベース４００及び設定情報データベース４１０）を格納する。
ネットワークＩＦ１０６は、有線又は無線で通信するためのインタフェースであり、例えば、プロジェクタ５及びカメラ１３との通信を実現する。
表示装置１０８は、例えば、液晶ディスプレイである。
入力装置１１０は、例えば、キーボード及びマウスである。

図３は、情報処理装置３の機能構成を例示する図である。
図３に例示するように、本例の情報処理装置３には、入出力処理プログラム３０がインストールされると共に、画像データベース４００（画像ＤＢ４００）及び設定情報データベース４１０（設定情報ＤＢ４１０）が構成される。
入出力処理プログラム３０は、画像投影部３００、合成部３１０、操作検知部３２０、及び補正部３３０を有し、合成部３１０は、画像合成部３１２及び検知用画像生成部３１４を含み、操作検知部３２０は、画像解析部３２２、座標取得部３２４、及び侵入検知部３２６を含む。
画像投影部３００は、プロジェクタ５に画像データを送信して、静止画像又は動画像を映像投影用スクリーン７及び検知用スクリーン９に投影させる。具体的には、画像投影部３００は、画像合成部３１２により合成された画像をプロジェクタ５に送信する。

画像合成部３１２は、映像投影用スクリーン７に投影するコンテンツ画像と、操作検知用画像とを合成する。具体的には、画像合成部３１２は、設定情報ＤＢ４１０に保持される、映像投影用スクリーン７と検知用スクリーン９との相対位置と相対サイズとに基づいて、映像投影用スクリーン７に投影する画像と、操作検知用画像とを合成する。
より具体的には、図４に例示するように、画像合成部３１２は、画像ＤＢ４００から読み出した画像を映像投影用スクリーン７に、操作検知用画像を検知用スクリーン９に投影されるよう、これらをリアルタイムに合成する。

検知用画像生成部３１４は、入力データに基づいて、操作検知用画像を生成する。ここで、操作検知用画像とは、カメラ１３による撮影画像からユーザの手の画素を容易に検出するために、カメラ１３から見てユーザの手の背面に映される画像である。具体的には、図５に例示するように、操作検知用画像は、単色、または、方眼マス等の単純なパターンを繰り返す画像に、入力データを反映させて生成される。入力データとは、例えば、スクリーンに投影される画像、スクリーンが配置される室内照明等の環境データ、ユーザの手の座標データをいう。
また、検知用画像生成部３１４は、操作検知部３２０により検知されたユーザの操作に応じて、合成する操作検知用画像に含まれる画像要素の大きさ、形状、又は配置を変更する。さらに、検知用画像生成部３１４は、映像合成部３１２により、映像投影用スクリーン７に表示される表示画像に応じて、合成する操作検知用画像に含まれる画像要素の大きさ、形状、又は配置を変更する。

操作検知部３２０は、反射鏡１１により反射又は屈折させた画像の一部、又は画像の他部に基づいて、映像投影用スクリーン７に投影された画像に対するユーザの操作を検知する。
画像解析部３２２は、カメラ１３による複数の撮影画像の各画素データに基づいて、ユーザの手の画素を特定する。具体的には、画像解析部３２２は、ＺＸ面用撮影画像及びＹＺ面用撮影画像のＲＧＢ値に基づいて、ユーザの手の部分の画素を特定する。
座標取得部３２４は、画像解析部３２２により特定されたユーザの手の画素の３次元座標を計算し、３次元空間上のユーザの操作位置を特定する。
侵入検知部３２６は、座標取得部３２４により特定された座標が特定のアクションを表示させる範囲の座標と一致するか否かを判定し、アクションを指示する。例えば、侵入検知部３２６が、特定された座標が表示中のオブジェクトの座標と一致したと判定した場合は、ユーザがオブジェクトにタッチしたとして、オブジェクトにある一定のアクションを起こさせるように合成部３１０に指示する。また、特定された座標が合成されたボタンオブジェクトの座標と一致したと判定された場合は、ボタンオブジェクトにタッチ操作が行われたとして、映像合成部３１２にボタンオブジェクトの押下に対応するアクションを指示する。
補正部３３０は、検知用スクリーン９に投影された操作検知用画像の歪みを補正する。

ここで、操作検知用画像について、入力データを反映させる画像の例として、少なくとも一部が周期的に明度又は色が変化する、例えば、２色の色が変化する画像、座標によって２色のグラデーションが変化する画像、ユーザの手を判別しやすくするためのアルゴリズムが反映された画像等がある。
また、操作検知用画像は、静止画でなくてもよく、例えば、５０Ｈｚ等高速で色が切り替わる単色の動画映像もよい。カメラの各フレームの差分を取り、５０Ｈｚで色が変化していない部分をユーザの手として分離するアルゴリズムを用いてもよい。
さらに、検知用スクリーン９に映ったユーザの手がプロジェクタ５の投射光を遮ることにより出来る影の位置に基づいて、ユーザの手の位置を検出してもよく、その場合は、操作検知用画像としてユーザの手の色を判別しやすい画像が用いられる。
操作検知用画像は、予め生成されたものを使用してもよいし、画像投影時に、入力データをリアルタイムに反映させて、生成してもよい。

次に具体的な操作検知用画像の生成例について説明する。
図６は、照明環境のデータを反映した操作検知用画像の生成例である。
検知用画像生成部３１４は、パターン画像に、入力データとして室内の照明環境を反映させ、操作検知用画像を生成し、画像投影部３００は、生成された操作検知用画像を検知用スクリーン９に投影する。照明環境のデータとは、室内の照度、及び照明の演色状況を表す、検知用スクリーン９の配置されている環境のデータであり、これらをパターン画像に反映させ、リアルタイムに色やコントラストを変化させた操作検知用画像を生成し、投影する。これにより、室内の照明環境が変化した場合にも、ユーザの手の取得座標の精度を保つことができる。また、パターン画像の代替として、ユーザの手の色を判別しやすい色で構成される単色の画像を用いてもよい。

図７は、ユーザの手の座標を反映した操作検知用画像の生成例である。
検知用画像生成部３１４は、単色の画像に、入力データとしてユーザの手の座標を反映させ、操作検知用画像を生成し、画像投影部３００は、生成された操作検知用画像を検知用スクリーン９に投影する。ユーザの手の座標とは、カメラ１３の撮影画像に基づいて、座標取得部３２４が取得したユーザの手のＸＹＺ座標である。つまり、検知用画像生成部３１４は、ユーザの手の位置を反映させた操作検知用離画像を合成し、投影する。ユーザの手の座標に応じて操作検知用画像を生成しているため、例えば、ユーザの手の動きと同期して動くボタン型オブジェクトを映像投影スクリーン７に表示することができる。
具体的には、図７に例示するように、画像解析部３２２は、カメラ撮影した特定色Ａで合成された操作検知用画像の画像解析により、特定色Ａ以外の座標をユーザの手の座標として識別する。検知用画像生成部３１４は、識別したユーザの手の座標と同期して移動する特定色Ｂを操作検知用画像（ＺＸ面用）及び操作検知用画像（ＹＺ面用）に合成する。画像投影部３００は、検知用画像生成部３１４より合成された操作検知用画像を次のフレームにおいて検知用スクリーン９に表示する。画像合成部３１２は、特定色Ｂの座標に対応するボタン型オブジェクトを合成し、さらに、操作検知用画像と合成して映像投影スクリーン７に表示する。これにより、ユーザの手の動きに追従するボタンを作成することができる。そして、侵入検知部３２６は、カメラの撮影画像により、操作検知用画像（ＺＸ面用）上の特定色Ｂの座標と操作検知用画像（ＹＺ面用）上の特定色Ｂの座標との両方にユーザの手の座標が被ったと判断した場合に、ボタン型のオブジェクトが押下されたと判別し、映像合成部３１２は、ボタン型オブジェクトに対応するアクションを映像投影用スクリーン７に投影する。
これにより、ユーザの手の動きに同期した移動するＣＧのボタンに対応する接触判定位置を、ボタンに同期して移動させることが可能になる。

図８は、映像投影用スクリーン７に投影されたオブジェクトの座標を反映した操作検知用画像の生成例である。
図８に例示するように、入出力システム１は、映像投影用スクリーン７に投影中のオブジェクトに対応して移動する操作検知用画像中の特定部分にユーザの手が重なった場合に、オブジェクトに一定の動作をさせる。具体的には、検知用画像生成部３１４は、操作検知用画像（ＺＸ面用）と操作検知用画像（ＹＺ面用）との両方に、映像投影スクリーン７に投影中のオブジェクトに対応して移動する特定色Ａを合成する。画像投影部３００は、合成された識別分離映像を検知用スクリーン９に投影する。カメラ１３による、撮影画像（ＺＸ面用）と、撮影画像（ＹＺ面用）において、侵入検知部３２６が、両者の特定色Ａの座標とユーザの手の座標とが一致するか否かを判定する。侵入検知部３２６により、一致したと判定された場合に、画像投影部３００は、画像合成部３１２により合成されたオブジェクトの特定の動作（エフェクト）を映像投影用投影スクリーン７に投影する。
これにより、ユーザは、映像投影用スクリーン７に投影されたオブジェクトに疑似的に触れることが可能となる。また、応用方法として、画面に投影された移動するボタン型オブジェクトを押下する等のシステムをゲームや遊戯デバイスに適用することができる。

図９は、操作検知部３２０によるユーザの手の座標取得方法を例示する図である。
図９における操作検知用画像は、入出力システム１周辺の照明環境が反映され、ユーザの手を識別するのに適した色を用いて生成されている。
図９に例示するように、画像解析部３２２は、カメラ１３で撮影された撮影画像（ＸＺ面用）と、撮影画像（ＹＺ面用）との各画素のデータ解析を行い、適したアルゴリズムを適用し、ユーザの手の画素を特定する。座標取得部３２４は、特定された画素のＸＹＺ座標を計算する。
より具体的には、画像解析部３２２は、ユーザの手越しに撮影された、撮影画像（ＸＺ面用）と、撮影画像（ＹＺ面用）とのＲＧＢ値を解析し、照明環境が反映された色以外の画素を抽出し、抽出された画素がユーザの手の画素であると特定する。座標取得部３２４は、特定したユーザの手の画素に基づいて、ユーザの手の座標を計算する。ここで、ユーザの手のＺ座標に関しては、撮影画像（ＺＸ面用）に基づいて取得された座標、または、撮影画像（ＹＺ面用）に基づいて取得された座標のどちらか一方を採用しても良いし、両者の平均をとった座標を採用してもよい。また、一番スクリーンに近いＺ座標を採用するようにしてもよい。
操作検知用画像として、座標によって色が変化する複数の色で構成されたグラデーションを採用している場合、撮影画像により識別されたユーザの手の画素近傍の色のグラデーションの割合により座標を類推してもいい。
その他、操作検知用画像として、５０Ｈｚ等の一定周期で色や何らかの形状パターンが変化する映像を用いた場合、一定周期で変化するそれらの部分画素と、それ以外の部分を同じ位置の画素の色データの時系列解析をすることにより、ユーザの手の画素を特定可能である。
また、投影画像のオブジェクトまたはユーザの手の座標と同期している操作検知用画像を用いている場合は、座標取得部３２４は、各画素を１フレーム毎にリアルタイム解析を行い、各フレーム毎にユーザの手の画素を特定してもよい。

図１０は、入出力システム１による操作検知用画像初期設定処理（Ｓ３０）を説明するフローチャートである。
図１０に例示するように、ステップ３００（Ｓ３００）において、検知用画像生成部３１４は、単色またはパターン画像等の画像を操作検知用画像として生成する。
ステップ３０５（Ｓ３０５）において、映像合成部３１２は、コンテンツ画像と操作検知用画像とを合成する。具体的には、映像合成部３１２は、映像投影用スクリーン７にコンテンツ画像を、検知用スクリーン９（ＺＸ面用）に操作検知用画像（ＺＸ面用）を、検知用スクリーン９（ＹＺ面用）に操作検知用画像（ＹＺ面用）を、同時に投影できる位置とサイズに、これらを合成する。各スクリーンの相対サイズと相対位置情報は設定情報ＤＢ４１０に保持される。
ステップ３１０（Ｓ３１０）において、画像投影部３００はプロジェクタ５に合成した映像を送信し、プロジェクタ５はこれを映像投影用スクリーン７に向けて投影する。映像投影用スクリーン７をはみ出した投射光は、反射鏡１１により反射され、検知用スクリーン９に操作検知用画像が投影される。
ステップ３１５（Ｓ３１５）において、カメラ１３は、検知用スクリーン９に投影された操作検知用画像を撮影する。撮影された操作検知用画像は、入出力処理装置３へ送信される。
ステップ３２０（Ｓ３２０）において、画像解析部３２２は、カメラ１３により撮影された操作検知用画像の画像解析を行い、撮影画像において、画素のバラつきを検知する。
ステップ３２５（Ｓ３２５）において、検知用画像生成部３１４は、画像解析部３２２の操作検知用画像の明度や色が均一になるよう調整する。また、検知用画像生成部３２２は、一般的な人の肌色と明瞭に区別される色に操作検知用画像を調整する。検知用画像生成部３１４は、設定情報ＤＢ４１０に一般的な人の肌色の画素値を保持しており、これを基準値として操作検知用画像を調整する。
このように、入出力システム１が設置された場所の照明環境等により、撮影された操作検知用画像に明暗があり、検知用スクリーン９に投影された操作検知用画像の場所によっては対象物との境界が不明瞭になることがあるが、操作検知用画像を調整することによりこれを解消することが可能になる。

図１１は、入出力システム１によるボタン型オブジェクトへの操作検知処理（Ｓ４０）を説明するフローチャートである。
図１１に例示するように、ステップ４００（Ｓ４００）において、プロジェクタ５は、調整された操作検知用画像とコンテンツとを映像投影用スクリーン７に向かって投影する。映像投影用スクリーン７からはみ出た投射光は、反射鏡１１に反射され、検知用スクリーン９に操作検知用画像として投影される。
ステップ４０５（Ｓ４０５）において、ユーザは、映像投影用スクリーン７に対してタッチ操作を行う。カメラ１３は、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とをユーザの手の操作を含めて撮影し、入出力処理装置３に送信する。
ステップ４１０（Ｓ４１０）において、画像解析部３２２は、撮影画像を解析し、背景となっている操作検知用画像と異なるユーザの手の画素値を特定する。
ステップ４１５（Ｓ４１５）において、座標取得部３２４は、画像解析部３２２により特定されたユーザの手の画素のうち、最も映像投影スクリーン７に近い画素の座標を計算する。
ステップ４２０（Ｓ４２０）において、検知用画像生成部３１４は、座標取得部３２４により取得された座標に基づいて、操作検知用画像（ＺＸ面用）と操作検知用画像（ＹＺ面用）とに、ボタン型オブジェクトを示す領域を、それ以外と区別できるように色付けする。
ステップ４２５（Ｓ４２５）において、画像合成部３１２は、座標取得部３２４により取得された座標に基づいて、映像投影スクリーン７に表示するボタン型オブジェクトを合成する。
ステップ４３０（Ｓ４３０）において、画像合成部３１２は、検知用画像生成部３１４により合成された操作検知用画像と、ボタン型オブジェクトの表示されたコンテンツ画像と合成する。画像投影部３００は、プロジェクタ５を介して合成された画像を次のフレームにおいて投影する。
ステップ４３５（Ｓ４３５）において、ユーザは、映像投影用スクリーン７に対して操作を行う。カメラ１３は、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とをユーザの手の操作を含めて撮影し、入出力処理装置３に送信する。
ステップ４４０（Ｓ４４０）において、画像解析部３２２は、撮影画像を解析し、背景となっている操作検知用画像と異なるユーザの手の画素値を特定し、座標取得部３２４は、画像解析部３２２により特定されたユーザの手の画素のうち、最も映像投影スクリーン７に近い画素の座標を計算する。
ステップ４４５（Ｓ４４５）において、侵入検知部３２６は、ユーザの手の座標が、操作検知用画像（ＺＸ面用）と操作検知用画像（ＹＺ面用）とのボタン型オブジェクトの座標と一致しているか否かを判別する。一致していた場合は、侵入検知部３２６は、Ｓ４５０の処理に移行し、一致していない場合に、侵入検知部３２６は、Ｓ４５５に移行する。
ステップ４５０（Ｓ４５０）において、画像合成部３１２は、ボタン型オブジェクトの押下に対応する画像合成を行い、画像投影部３００は、これを投影する。
ステップ４５５（Ｓ４５５）において、全てのフレームを投影した場合は、ボタン型オブジェクトへの操作検知処理（Ｓ４０）は、終了する。全てのフレームを投影していない場合に、ボタン型オブジェクトへの操作検知処理（Ｓ４０）は、Ｓ４００に移行する。

図１２は、入出力システム１による投影中のオブジェクトへの操作検知処理（Ｓ５０）を説明するフローチャートである。
図１２に例示するように、Ｓ５００（Ｓ５００）において、検知用画像生成部３１４は、操作検知用画像（ＺＸ面用）と操作検知用画像（ＹＺ面用）とに、映像投影スクリーン７に表示するオブジェクトを示す領域を特定色で色付けする。画像ＤＢ４００には、コンテンツ画像のオブジェクトとオブジェクトの座標とが関連付けられて格納されており、これに基づいて、検知用画像生成部３１４は、操作検知用画像を生成する。
Ｓ５０５（Ｓ５０５）において、画像合成部３１２は、検知用画像生成部３１４により合成された操作検知用画像と、コンテンツ画像と合成する。画像投影部３００は、プロジェクタ５を介して合成された画像を投影する。
ステップ５１０（Ｓ５１０）において、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とをユーザの手の操作を含めて撮影し、入出力処理装置３に送信する。
ステップ５１５（Ｓ５１５）において、画像解析部３２２は、撮影画像を解析し、背景となっている操作検知用画像と異なるユーザの手の画素値を特定し、座標取得部３２４は、画像解析部３２２により特定されたユーザの手の画素のうち、最も映像投影スクリーン７に近い画素の座標を計算する。
ステップ５２０（Ｓ５２０）において、侵入検知部３２６は、ユーザの手の座標が、操作検知用画像（ＺＸ面用）と操作検知用画像（ＹＺ面用）とのオブジェクトに対応する色付けされた領域の座標と一致しているか否かを判別する。一致していた場合は、侵入検知部３２６は、Ｓ５２５の処理に移行し、一致していない場合に、侵入検知部３２６は、Ｓ５３０に移行する。
ステップ５２５（Ｓ５２５）において、画像合成部３１２は、投影中のオブジェクトのタッチ操作に対応する画像合成を行い、画像投影部３００は、これを投影する。
ステップ５３０（Ｓ５３０）において、全てのフレームを投影した場合は、投影中のオブジェクトへの操作検知処理（Ｓ５０）は、終了する。全てのフレームを投影していない場合に、投影中のオブジェクトへの操作検知処理（Ｓ５０）は、Ｓ５００に移行する。

次に、図１３を用いて、検知用スクリーン９（ＺＸ面用）に表示中のオブジェクトに対するプレビュー操作を表示する場合について説明する。
図１３に例示するように、画像合成部３１２は、操作検知用画像（ＺＸ面用）に、映像投影用スクリーン７に投影中のオブジェクトを合成し、画像投影部３００は、合成された映像を投影し、映像投影用スクリーン７へのユーザの操作と同様に、検知用スクリーン９（ＺＸ面用）に投影されたオブジェクトの操作も可能にする。この時、画像合成部３１２は、検知用スクリーン９（ＹＺ面用）に投影される操作検知用画像（ＹＺ面用）のうち、検知用スクリーン９（ＺＸ面用）近傍に太線と帯状の色が入ったパターン画像を合成し、侵入判定部３２６は、カメラ１３の撮影画像において、そのパターン画像の部分にユーザの手が侵入したか否かを検知する。これにより、ユーザの手の侵入が検知された場合は、検知用スクリーン９（ＺＸ面用）にユーザが近づいたと判別し易くなる。
その他にも、検知用スクリーン９（ＺＸ面用）に、ボタン型オブジェクトとなる四角形を合成して投影することで、ユーザの操作性を高めると同時に、そのボタン型オブジェクトへの侵入を検知することでユーザの手が該当座標に侵入したか否かを判別してもよい。

次に検知用スクリーン９の配置方法について説明する。
図１４（ａ）のパターンＡは、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とが直交するように配置された入出力システム１である。
パターンＡでは、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とを辺とした直方体のエリアについて座標が特定可能である。具体的には、座標計取得部３２４は、ユーザの手を含めた撮影画像（ＺＸ面用）と撮影画像（ＹＺ面用）とに基づいて、ユーザの手の座標を特定する。

図１４（ｂ）のパターンＢは、検知用スクリーン９（ＺＸ面用）と検知用スクリーン９（ＹＺ面用）とが直交するように配置された入出力システム１である。ユーザ側から見た映像投影用スクリーン７において、検知用スクリーン９（ＹＺ面用）により分割された反射鏡１１（ＹＺ面用）側の領域を領域Ａ、もう一方を領域Ｂとする。領域Ａの座標を求める場合、撮影画像（ＹＺ面用）には、ユーザの手が影となり、操作検知用画像に重なって写っている。座標取得部３２４は、ユーザの手の影の画素に基づいて、座標を計算する。領域Ｂについては、座標取得部３２４は、撮影画像（ＸＺ面用）のユーザの手の色の画素に基づいて、座標を計算する。このように、影に基づいて座標を計算するため、ユーザの肌の色により座標取得の精度の差異が発生せず、また、低照度環境下でもユーザの手の座標取得の精度を保つことが可能である。
また、検知用スクリーン９（ＹＺ面用）は、検知用スクリーン９（ＺＸ面用）を平行移動可能であり、領域Ａ及び領域Ｂの範囲を変更できる。領域Ａ及び領域Ｂの境界の座標を予め入出力処理装置３に入力し、ユーザの手が、影に基づいて座標を計算する領域、または肌の色について座標を計算する領域にあるのか判別し、自動的に計算方法を変更してもよい。
また、この配置方法を用いて、影を利用せずに、演出目的で、ユーザの手に反射鏡１１（ＹＺ面用）に反射された操作検知用画像やその他の映像を投影してもよい。

図１５のパターンＣは、検知用スクリーン９（ＹＺ面用）が反射鏡１１（ＹＺ面用）と対向する辺の外側、且つ、映像投影用スクリーン７の外側に配置された入出力システム１とその座標取得方法とを例示する図である。
図１５のパターンＢと同様に、撮影画像（ＹＺ面用）には、操作検知用画像にユーザの手の影が重なって撮影され、座標取得部３２４は、画像解析部３２２により解析された影の画素に基づいて座標を計算する。検知用スクリーン９（ＹＺ面用）に投影される操作検知用画像（ＹＺ面用）は、検知用スクリーン９（ＹＺ面用）に写った影と判別しやすい色で画像が構成されている。反射鏡１１（ＹＺ面用）により反射された投射光をユーザの手が遮ることにより、ユーザの手が検知用スクリーン９（ＹＺ面用）に影として映る。画像解析部３２２は、影を含む撮影画像のＲＧＢ値解析を行い、黒色（Ｒ＝０、Ｇ＝０、Ｂ＝０）等の影の色、または影の色に近い画素を抽出し、ユーザの手の画素とする。座標取得部３２４は、ユーザの手の画素として特定された範囲の座標を取得し、手の座標とする。

図１６のパターンＤは、検知用スクリーン９（ＺＸ面用）の一部（左手検知用スクリーン）を反射鏡１１（ＺＸ面用）に対向する辺の外側に配置した入出力システム１である。これは、右手と左手とで同時にタッチパネルに操作する場合に有効である。
具体的には、左手検知用スクリーンには、ユーザの手の影と重なった操作検知用画像が映る。パターンＤは、左手検知用スクリーンには、例えば、２色で色分けされたエリアから成る操作検知用画像を投影し、どちらを左手が遮っているかを判別する２値の論理値をリアルタイムで取得しながら、左手検知用スクリーン以外の検知用スクリーン９を利用して右手のタッチパネルに対する操作を検知する。つまり、２値を例えばキーボード操作のＳｈｉｆｔキーやＣｔｒｌキーに見立て、右手でタッチしたオブジェクトに対して、左手でこれらのキーを押下している状態か否かを判別することで、タッチしたオブジェクトに対する操作を区別することが可能である。これにより、タッチパネルの応用範囲を広げることができる。また、左手検知用スクリーンの２値のどちらかにユーザの手が侵入した際に映像投影用スクリーン７にキーボードを表示し、右手でキーボードを操作できるようにしてもよい。

図１７のパターンＥは、検知用スクリーン９（ＹＺ面用）が映像投射用スクリーン７の縦の辺または反射鏡１１（ＹＺ面用）と平行に配置されず、両者によりなす角ができる場合の入出力システム１である。
検知用スクリーン９（ＹＺ面用）に投影された操作検知用画像は台形に歪んで投影される。補正部３３０は、この歪みを補正することで計算座標の精度を保つことができる。補正部３３０は、既存のプロジェクタ内部のコンピュータに採用されている一般的なアルゴリズムを利用してもよい。

図１８を用いて、検知用スクリーン９のピント調整機構について説明する。
図１８に例示するように、入出力システム１では、プロジェクタ５から映像投影スクリーン７への投射光を、反射鏡１１を用いて検知用スクリーン９に投射している。そのため、映像投影用スクリーン７を基準とした映像投影面から検知用スクリーン９までの距離が大きくなる程、検知用スクリーン９に投影された画像のピントがずれて画像がぼやける。これを調整するため、入出力システム１は、検知用スクリーン９に投射される光の光路にピント調整機構６を設け、ピント調節を行う。ピント調整機構６は、光学レンズにより構成され、例えば、既存のプロジェクタ内部で使用される複数の光学レンズにより構成されたものやカメラレンズ等を流用してもよい。ピント調整機構６の設置位置は、プロジェクタ５のレンズ近傍の光路に設置されるのが好ましく、プロジェクタ５内部に設置されてもよい。なぜなら、プロジェクタ５との距離が離れるほど光路は広がり、ピント調整機構６によりカバーする範囲が大きくなり、光学レンズも大きくなり、コストが上がるからである。図１８では、検知用スクリーン９（ＺＸ面用）のピント調整機構を説明したが、検知用スクリーン９（ＹＺ面用）についても同様であり、ピント調整機構によりピントのずれを解消できる。
図１８左下に例示するように、プロジェクターレンズ前面に、検知スクリーン用９（ＺＸ面用）のピント調整機構６、及び検知スクリーン用９（ＹＺ面用）のピント調整機構６を配置しても良い。ピント調整機構６は、焦点の調整だけでなく、レンズシフト機構や拡大機構を有してもよい。これにより、検知用スクリーン９の設置箇所の自由度が増すとともに、映像投影用スクリーン７の映像と、操作検知用画像とを独立して拡大縮小でき、ユーザの利便性が増す。
なお、図１８では映像投影スクリーン７への投射光に合わせて検知用スクリーン９の投射光のピント調整について説明したが、検知用スクリーン９への投射光を基準として映像投影スクリーン７への投射光のピント調整を行ってもよい。

図１９（ａ）は、ユーザの手の座標の検知範囲に透明パネルを配置した入出力システム１を例示する図である。図１９（ａ）に例示するように、検知用スクリーン９（ＺＸ面用）と、検知用スクリーン９（ＹＺ面用）とに挟まれたユーザの手の座標を検知する範囲に、透明な板を配置し、ユーザが実際にその板に物理的に触れることができるタッチパネルを構成してもよい。これにより、ユーザの手による汚損や破損から映像投影用スクリーン７を保護することができる。また、操作検知用画像を調整し、ユーザから見た板表面のＺ座標でタッチパネルが反応するようにしてもよい。これにより、物理的接触面とコンピュータが認識する接触面のＺ座標を同期させることができる。
図１９（ｂ）は、ユーザの手の座標の検知範囲に透明なクッションを配置した入出力システム１を例示する図である。図１９（ｂ）は、図１９（ａ）の透明な板の代わりに、柔軟な材質でできた透明なクッション状の物体を配置している。クッションは、柔軟な材質であり、操作時にユーザの手がクッションに埋没するため、埋没位置に基づいて、手の座標を取得することも可能である。

図２０は、映像投影用スクリーン７が大型である場合の入出力システム１である。
図２０は、検知用スクリーン９（ＹＺ面用）の配置パターンは、図１５と同じで、ユーザの手の影に基づいて座標を計算する。
座標取得部３２４は、大型の映像投影用スクリーン７を用いて、ユーザの手の影に基づいて座標を計算する場合、影の大きさを加味する必要がある。具体的には、ユーザの手がプロジェクタ５の投射光の光源に近づく程、検知用スクリーン９（ＹＺ面用）に映るユーザの手の影は実際よりも大きくなる。そのため、ユーザの手とユーザの手の影との大きさの誤差を考慮したうえで座標を計算する。
また、ユーザの手とユーザの手の影との大きさの誤差を考慮するのではなく、影の中心点の座標を使用して補正してもよい。

以上説明したように、本実施形態の入出力システム１によれば、プロジェクタ５から投射され、映像投影用スクリーン７をはみ出した光を利用して操作検知用画像を投影させているため、省エネルギーを実現し、また、１台のプロジェクタからコンテンツと操作検知用画像とを投影しているため、低コストを可能にする。
また、入出力システム１によれば、入出力処理装置３が操作検知用画像をリアルタイムに生成し、投影することで様々な利用方法を提供することができる。例えば、入出力システム１の照明環境を操作検知用画像に反映させる等、状況に応じて操作検知用画像を生成することにより、取得座標の精度を上げることが可能になる。また、操作検知用画像に、投影中のオブジェクトや操作中のユーザの手の座標を反映させることで、オブジェクトに疑似的に触ることやユーザの操作に連動した動作を映像投影用スクリーン７に投影することも可能にする。

変形例１

次にユーザが、検知用スクリーン９を視認せずに、投影された映像に対するアクションを認識する方法について説明する。
図２１に例示するように、検知用スクリーン９（ＺＸ面用）には、光が透過できるスリット穴が設けられている。プロジェクタ５からの投影光は、反射鏡１１（ＺＸ面用）により反射され、操作検知用画像として検知用スクリーン９（ＺＸ面用）に投影されるが、スリット穴に投影された光は、スリット穴を透過し、映像投影用スクリーン７に対して操作しようとするユーザの手に投影される。これにより、ユーザは、映像投影用スクリーン７だけでなく、自分の手に投影された操作検知用画像を見てアクションを起こすことが可能になる。つまり、ユーザは、座標検出可能なエリアに手が侵入したことを認識可能となる。また、侵入判定部３２６により、特定の座標にユーザの手が侵入したと判定した場合に、映像合成部３１２が、スリット穴の投射光の色を高速で反転や明滅させる演出を画像投影部３００に指示してもよい。また、スリット穴に投影するのは、識別分離用映像ではなく、映像投影用スクリーン７に投影される映像でもよい。

図２２は、検知用スクリーン９（ＺＸ面用）にスリット穴を設けた場合の入出力システム１における、座標取得方法を例示する図である。
図２２に例示するように、検知用スクリーン９（ＺＸ面用）には、映像投影用スクリーン７と平行に、帯状のスリット穴が設けられている。検知用スクリーン９（ＺＸ面用）に投影する操作検知用画像（ＺＸ面用）のうち、スリット穴に投影される画像を特定色で構成する。検知用スクリーン９（ＹＺ面用）に投影される操作検知用画像（ＹＺ面用）には、スリット穴に投影される特定色とは異なる色の画像と投影する。ユーザの手がスリット穴からの投射光を遮った場合、ユーザの手にスリット穴を通って投影された特定色の画像が投影される。つまり、撮影画像（ＹＺ面用）には、ユーザの手に投影された特定色の画像と、背景の操作検知用画像（ＹＺ面用）とが写っている。画像解析部３２２は、撮影画像の特定色のＲＧＢ値を解析し、特定色の画素を抽出する。座標取得部３２４は、抽出された画素の座標を計算し、ユーザの手の座標とする。スリット穴からの投射光がユーザの手を特定の色で照らすため、直射日光のような明るい環境下において、座標取得の精度を高く保つことができ、また、ユーザの肌の色を問わずに同じ制度を保つことができる。

変形例２

上記実施形態では、映像投影用スクリーン７とは別に検知用スクリーン９を配置しているが、これに限らず、例えば、映像投影用スクリーン７を折り曲げることにより、検知用スクリーン９を構成してもよい。
図２３は、映像投影用スクリーン７により構成される検知用スクリーン９を例示する図である。
図２３に例示するように、検知用スクリーン９（ＺＸ面用）は、映像投影用スクリーン７の横の辺を９０度ユーザ側に折り曲げられてなる。同様に、検知用スクリーン９（ＹＺ面用）は、映像投影用スクリーン７の縦の辺を９０度ユーザ側に折り曲げられてなる。映像投影用スクリーン７のみから３面のスクリーンが構成されるため、反射鏡１１を除き、折り曲げられた映像投影用スクリーン７を戻せば、検知用スクリーン９となっていた部分は、映像投影用スクリーン７として使用できる。つまり、検知用スクリーン９と、映像投影用スクリーン７との切り替えが可能になる。また、映像投影用スクリーン７を折り曲げた際、通常映像投影エリアのスクリーンを着脱可能にすることにより、このエリアを他の高画質タイプのスクリーン、または直視型ディスプレイと交換できるようにしてメンテナンス性を高めてもよい。

また、映像投影用スクリーン７から検知用スクリーン９となる部分を切り取り、折り曲げて検知用スクリーン９を構成してもよい。具体的には、映像投影用スクリーン７から検知用スクリーン９（ＺＸ面用）となる長方形の領域の内、長方形の３辺を映像投影用スクリーン７から切り取り、映像投影用スクリーン７からユーザ側に折り曲げることで検知用スクリーン９を構成してもよい。ＹＺ面用についても同様である。プロジェクタ５からの投影された操作検知用画像の投射光は、映像投影用スクリーン７に出来た長方形のスリット穴を通り、反射鏡１１で反射されて検知用スクリーン９に投影される。

変形例３

上記実施形態では、カメラを２台使用し、操作検知用画像とユーザの手とを撮影しているが、図２４に例示するように、１台のカメラで操作検知用画像（ＺＸ面用）、操作検知用画像（ＹＺ面用）、及びユーザの手とを撮影してもよい。具体的には、反射鏡１１の配置された映像投影用スクリーン７の辺と対向する辺に、検知用スクリーン９の操作検知用画像を打ち返す打ち返し反射鏡１９が別途配置され、打ち返された操作検知用画像を１台のカメラで撮影するようにする。より具体的には、操作検知用画像を打ち返す打ち返し反射鏡１９は２枚あり、検知用スクリーン９（ＺＸ面用）を映す打ち返し反射鏡１９（ＺＸ面用）が、反射鏡１１（ＺＸ面用）に対向する映像投影用スクリーン７の辺に配置される。さらに、検知用スクリーン９（ＹＺ面用）を映す打ち返し反射鏡１９（ＹＺ面用）が、反射鏡１１（ＹＺ面用）に対向する映像投影用スクリーン７の辺に配置される。カメラ１３は、打ち返し反射鏡１９（ＺＸ面用）に打ち返された操作検知用画像（ＺＸ面用）、打ち返し反射鏡１９（ＹＺ面用）に打ち返された操作検知用画像（ＹＺ面用）、ユーザの手、及び、映像投影スクリーン７に投影された映像を撮影する。これにより、複数台のカメラを使用する場合に比べて入出力処理装置３の負荷を軽減することができる。また、カメラ１３と検知用スクリーン９との撮影距離を大きくとることや、ユーザの見ている映像投影用スクリーン７のリアルタイムの映像と共に解析することができる等の利点がある。打ち返し反射鏡１９は、本発明に係る打ち返し光路変更部の一例である。

変形例４

図２５は、コンテンツ画像と、操作検知用画像とを別々に投影する場合の入出力システム１を例示する図である。
上記実施形態では、プロジェクタ５は、コンテンツ画像と操作検知用画像とを合成して投影しているが、これに限定されず、コンテンツ画像と、操作検知用画像とを別々に投影してもよい。なお、本図に示された各構成のうち、図１に示された構成と実質的に同一のものには同一の符号が付されている。
図２５に例示するように、表示装置２１は、コンテンツ画像を映すモニタである。検知用プロジェクタ２３は、表示装置２１の表示面の近傍において、この表示面に対して略平行な方向に、ユーザの操作を検知するための操作検知用画像を投影する。プロジェクタ２３は、本発明に係る検知画像投影部の一例である。検知用プロジェクタ２３から投影された操作検知用画像は、反射鏡１１により反射され、検知用スクリーン９に投影される。カメラ１３は、検知用スクリーン９に投影された操作検知用画像を背景にユーザの手を撮影し、操作検知部３２０は撮影画像に基づいて、ユーザの操作を検知する。
また、プロジェクタ２３は、検知画像供給部２３０を有し、検知画像供給部２３０は、表示装置２１により表示される画像、及び操作検知部３２０により検知された操作に応じて、操作検知用画像を変化させ、変化させた操作検知用画像を検知用スクリーン９に投影する。操作検知用画像は、プロジェクタ２３によりリアルタイムに変化させてもいいし、プロジェクタ２３に接続された入出力処理装置３により変化させてもよい。

１ 入出力システム
３ 入出力処理装置
５ プロジェクタ
６ ピント調整機構
７ 映像投影用スクリーン
９ 検知用スクリーン
１１ 反射鏡
１３ カメラ
１５ 通信ケーブル

１７ 映像通信ケーブル
１９ 打ち返し反射鏡
２１ 検知用プロジェクタ
２３ 表示装置

３０ 入出力処理プログラム
３００ 画像投影部
３１０ 合成部
３１２ 画像合成部
３１４ 検知用画像生成部
３２０ 操作検知部
３２２ 画像解析部
３２４ 座標取得部
３２６ 侵入判定部
３３０ 補正部
４００ 画像データベース
４１０ 設定情報データベース

Claims (24)

1. スクリーンと、
   前記スクリーンの方向に、画像を投影するプロジェクタと、
   前記プロジェクタにより投影される画像の一部を反射又は屈折させる光路変更部と、
   前記光路変更部により反射又は屈折させた画像の一部、または前記画像の他部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する操作検知部と
   を有する入出力システム。
2. 前記光路変更部は、前記スクリーンの外側に投射される画像を反射又は屈折させ、
   前記操作検知部は、前記光路変更部により反射又は屈折させた画像の一部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する
   請求項１に記載の入出力システム。
3. 前記光路変更部により反射又は屈折させた画像の一部を投影する検知用スクリーン
   をさらに有し、
   前記検知用スクリーンは、前記スクリーンの近傍に配置され、
   前記操作検知部は、前記検知用スクリーンに投影された画像に基づいて、
   前記スクリーンに投影された画像に対するユーザの操作を検知する
   請求項１に記載の入出力システム。
4. 前記光路変更部により反射又は屈折させた画像の一部を投影する検知用スクリーンをさらに有し、
   前記検知用スクリーンは、光が透過できるスリットを含み、
   前記操作検知部は、前記検知用スクリーンのスリットを透過した画像の一部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する
   請求項１に記載の入出力システム。
5. 前記光路変更部は、前記プロジェクタから投影された画像の一部を、前記スクリーン表面と略平行な方向に反射する位置及び向きに配置された鏡であり、
   前記鏡により反射された画像の一部を撮影するカメラ
   をさらに有し、
   前記操作検知部は、前記カメラにより撮影された画像に基づいて、ユーザの操作を検知する
   請求項１に記載の入出力システム。
6. 複数の前記鏡が、互いに交差する方向に画像を反射する位置に配置され、
   前記カメラは、前記複数の鏡それぞれで反射された画像を撮影できる位置に配置され、
   前記操作検知部は、前記カメラにより撮影された複数の画像に基づいて、三次元空間上のユーザ操作位置を特定する
   請求項５に記載の入出力システム。
7. 前記スクリーンに表示させる画像と、ユーザの操作を検知するための操作検知用画像とを合成する合成部
   をさらに有し、
   前記プロジェクタは、前記合成部により合成された合成画像を投影し、
   前記光路変更部は、投影された合成画像のうち、操作検知用画像を反射又は屈折させ、
   前記操作検知部は、前記光路変更部により反射又は屈折させた操作検知用画像に基づいて、ユーザの操作を検知する
   請求項１に記載の入出力システム。
8. 前記合成部は、前記操作検知部により検知されたユーザの操作に応じて、合成する操作検知用画像に含まれる画像要素の大きさ、形状、又は位置を変更する
   請求項７に記載の入出力システム。
9. 前記合成部は、合成する表示画像に応じて、合成する操作検知用画像に含まれる画像要素の大きさ、形状、又は位置を変更する
   請求項８に記載の入出力システム。
10. 前記合成部は、少なくとも一部が周期的に明度又は色が変化する操作検知用画像を表示画像に合成し、
    前記光路変更部により反射又は屈折させた操作検知用画像を撮影するカメラをさらに有し、
    前記操作検知部は、前記カメラにより撮影された操作検知用画像のうち、明度又は色の周期的変化に基づいて、ユーザの操作を検知する
    請求項７の記載の入出力システム。
11. 前記操作検知用画像は、前記カメラにより撮影された操作検知用画像に基づき、明度又は色が、周囲の照明環境に応じてリアルタイムに変化する単色の色からなり、
    前記操作検知部は、前記リアルタイムに変化する単色の色とそれ以外の色とを判別する
    請求項１０の記載の入出力システム。
12. 前記光路変更部により反射又は屈折させた操作検知用画像を撮影するカメラをさらに有し、
    前記合成部は、前記カメラにより撮影された操作検知用画像に基づいて、操作検知用画像の明度又は色を調整する
    請求項７に記載の入出力システム。
13. 画像を表示する表示装置と、
    前記表示装置の表示面の近傍において、この表示面に対して略平行な方向にユーザの操作を検知するための操作検知用画像を投影する検知用画像投影部と、
    前記検知画像投影部により投影された操作検知用画像を撮影するカメラと、
    前記カメラにより撮影された操作検知用画像に基づいて、前記表示装置に表示された画像に対するユーザの操作を検知する操作検知部と
    を有する入出力システム。
14. 前記検知画像投影部は、操作検知用画像を投影するプロジェクタであり、
    前記表示装置により表示される画像、及び操作検知部により検知された操作に応じて変化する操作検知用画像を前記プロジェクタに出力する検知画像供給部
    をさらに有する請求項１２に記載の入出力システム。
15. 前記検知用画像投影部は、前記表示装置の方向に操作検知用画像を投影し、
    前記検知用画像投影部により投影される画像の一部を反射又は屈折させる光路変更部と、
    前記光路変更部により反射又は屈折させた、前記表示装置の外側に投射される画像を投影する検知用スクリーンと
    をさらに有し、
    前記検知用スクリーンは、前記表示装置外周近傍のいずれかの直交する２辺に配置される
    請求項１３に記載の入出力システム。
16. 画像が投影されるスクリーンと、
    前記スクリーンの近傍に固定され、前記スクリーンの投影面に対して、略４５度をなす鏡面を有する鏡と
    を有するスクリーンセット。
17. 前記鏡に反射された操作検知用画像を投影する検知用スクリーンを
    さらに有する請求項１６に記載のスクリーンセット。
18. 前記光路変更部により反射又は屈折させた画像の一部を投影する検知用スクリーンと、
    前記画像の一部が投影された検知用スクリーンに反射された光を反射又は屈折させる打ち返し光路変更部と、
    前記により反射又は屈折された画像の一部を撮影するカメラと
    をさらに有し、
    前記操作検知部は、前記カメラにより撮影された画像に基づいて、ユーザの操作を検知する
    請求項１に記載の入出力システム。
19. 前記検知用スクリーンのいずれかに、前記検知用スクリーン方向に向かってユーザの指が押下されることにより反応する操作検知用画像を表示する
    請求項３に記載の入出力システム。
20. 前記検知用スクリーンに投影するための画像の一部が前記スクリーン外周近傍と前記スクリーン内側近傍との範囲で前記スクリーンに沿って平行移動可能である
    請求項３に記載の入出力システム。
21. 前記検知用スクリーンに投影するための画像の一部が、ユーザの操作によってプロジェクタの投影光を遮ることにより、欠落した状態になっている場合に、前記操作検知部は、前記欠落した画像の一部に基づいて、前記スクリーンに投影された画像に対するユーザの操作を検知する
    請求項３に記載の入出力システム。
22. 前記スクリーンと前記検知用スクリーンとに投影するための画像のピントを調整するための調整機構
    をさらに有する
    請求項３に記載の入出力システム。
23. スクリーンに表示させる表示画像に、ユーザの操作を検知するための操作検知用画像を合成する合成機能と、
    前記合成機能により合成された合成画像を、プロジェクタに出力する画像供給機能と、
    カメラにより撮影された前記操作検知用画像に基づいて、前記表示画像に対するユーザの操作を検知する操作検知機能と
    をコンピュータに実現させるプログラム。
24. スクリーンに表示させる表示画像に、ユーザの操作を検知するための操作検知用画像を合成する合成ステップと、
    前記合成ステップにより合成された合成画像を、プロジェクタがスクリーンの方向に投影する投影ステップと、
    前記投影ステップにより投影された合成画像のうち、操作検知用画像を反射又は屈折させる光路変更ステップと、
    前記光路変更ステップにより反射又は屈折させた操作検知用画像をカメラが撮影する撮影ステップと、
    前記撮影ステップにより撮影された操作検知用画像に基づいて、前記表示画像に対するユーザの操作を検知する操作検知ステップと
    を有する入出力方法。

Images