JP6858352B2 - 画像投影装置 - Google Patents

Description

本発明は、使用者が投影スクリーンに投影された画像に対してタッチ操作を行うことにより入力指示を行う画像投影装置に関するものである。

現在、プロジェクタに関し、使用者が投影スクリーンに投影された画像に対してタッチ操作を行ったときにそのタッチ操作を検出するさまざまな技術が提案されている（例えば、特許文献１参照。また、この特許文献１に記載されている従来技術を参照。）。この特許文献１に記載された技術では、投影スクリーン上の投影画像をプロジェクタの近傍に設置されたカメラで撮影し、プロジェクタから投影している投影画像の原画像とカメラからの撮影画像との差異を評価し、投影画像上のタッチ領域に相当する撮影画像上のタッチ領域において手指の影の領域と手指の領域との面積比を求め、面積比が所定値よりも小さくなったときにタッチ領域に手がタッチされたと判定している。

特開２０１１−１１８５３３号公報

ところで、タッチ操作には、タップ操作、ダブルタップ操作、長押し操作（ロングタップ）、ドラッグ操作、フリック操作、スクロール操作等の各種の操作が含まれる。上記特許文献１に記載された技術では、これら各種の操作を正確に判定することができないという問題がある。例えば、使用者は、ダブルタップ操作を行う際に、指があまり投影スクリーンから離れないようにして指で画像に二回触れるが、上記特許文献１に記載された技術では、手指の影の領域と手指の領域との面積比が所定値よりも小さくなったときにタッチ領域に手がタッチされたと判定しているため、ダブルタップ操作について指が画像に二回触れたのか画像にずっと触れているのかを明確に識別することは困難である。

本発明は上記事情に基づいてなされたものであり、使用者が投影スクリーンに投影される画像に対して各種のタッチ操作を行ったときにそのタッチ操作の内容を正確に識別することができる画像投影装置を提供することを目的とするものである。

上記の目的を達成するための本発明に係る画像投影装置は、投影スクリーンと、所定の画像を投影スクリーンに投影して表示する投影部と、ピントを合わせる機能を有し、投影スクリーンに投影された画像を撮像して画像データを取得する撮像部と、撮像部によって得られた画像データに基づいてその撮像範囲における、投影スクリーンに投影された画像の位置及び大きさを特定する基準データを生成する基準データ生成部と、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する画像データ抽出部と、画像データ抽出部によって抽出された画像データに基づいてその撮像範囲における当該指又は指示部の位置を特定する位置データを生成する位置データ生成部と、画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定する操作判定部と、操作判定部によって判定された操作の内容と位置データ生成部によって生成された位置データと基準データ生成部によって生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するように投影部を制御する入力制御部と、を具備することを特徴とするものである。ここで、撮像部は、投影スクリーンからその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように調整されていることが望ましい。

本発明の画像投影装置では、撮像部がピントを合わせる機能を有しており、画像データ抽出部は、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。このため、例えば投影スクリーンからその垂直方向に沿って前後に一定の短い距離だけ離れた位置までの範囲内にピントが合うように撮像部を調整しておけば、画像データ抽出部によって抽出される画像データには、指又は指示具が投影スクリーンの近傍に存在している画像データだけが含まれるので、操作判定部は、その画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。そして、入力制御部は、操作判定部で判定して得られた当該指又は指示具による操作の内容と、位置データ生成部で生成された当該指又は指示具の位置データと、基準データ生成部で生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するように投影部を制御する。したがって、使用者が投影スクリーンに投影された画像に対して各種のタッチ操作を行ったときに、本発明の画像投影装置はそのタッチ操作に応じた入力指示を正確に認識することができる。

また、本発明に係る画像投影装置において、投影スクリーンに投影される各画像には枠が描かれ若しくは投影スクリーンに投影される各画像の四隅には所定のマークが描かれており、基準データ生成部は、撮像部によって得られた画像データに基づいてその撮像範囲における当該画像の枠又はマークの位置を認識し、その認識した枠又はマークの位置に関するデータを基準データとするようにしてもよい。このように枠又はマークを有する画像を投影スクリーンに投影することにより、基準データ生成部は、その画像の位置及び大きさに関する基準データを容易に生成することができる。

また、本発明に係る画像投影装置において、投影スクリーンはその裏面側から投影光を照射することにより画像を表示するためのものであり、投影部は投影スクリーンの裏面から画像を投影し、撮像部は投影スクリーンの裏面側から画像を撮像して画像データを取得するようにしてもよい。この場合、画像データ抽出部は、使用者が指又は指示具で投影スクリーンの表面側から画像に対して操作を行ったときに、投影スクリーンを介して撮像された画像データの中から、その指又は指示具に対応する形状、又は形状及び色を認識し、その認識した形状、又は形状及び色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得することが望ましい。また、本発明に係る画像投影装置において、投影スクリーンはその表面側から投影光を照射することにより画像を表示するためのものであってもよく、この場合、投影部は投影スクリーンの表面から画像を投影し、撮像部は投影スクリーンの表面側から画像を撮像して画像データを取得する。

また、本発明に係る画像投影装置において、指示具としてレーザ光を発するレーザポインタを用いる場合、画像データ抽出部は、使用者がレーザポインタからのレーザ光を投影スクリーンに照射することにより投影スクリーンに投影された画像に対して操作を行ったときに、撮像部によって得られた画像データの中から、レーザポインタからのレーザ光の形状及び／又は色を認識し、その認識したレーザ光の形状及び／又は色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得するようにしてもよい。これにより、指示具としてレーザポインタを用いた場合でも、画像投影装置は使用者からの入力指示を正確に認識することができる。

更に、本発明に係る画像投影装置は、投影スクリーンと投影部との間の距離及び投影スクリーンと撮像部との間の距離がそれぞれ略一定に保持されるように投影スクリーンを取り付けるためのスクリーン設置台を更に備えることが望ましい。このようなスクリーン設置台を用いることにより、使用者は投影スクリーンと投影部との位置関係及び投影スクリーンと撮像部との位置関係を簡単に設定することができる。

本発明に係る画像投影装置によれば、使用者が投影スクリーンに投影される画像に対して各種のタッチ操作を行ったときにそのタッチ操作に応じた入力指示を正確に認識することができる。

図１は本発明の一実施形態である画像投影装置を備えるコンピュータ端末の概略構成図である。 図２は本実施形態の画像投影装置を備えるコンピュータ端末の概略ブロック図である。 図３（ａ）はスクリーン設置台の概略斜視図、図３（ｂ）はそのスクリーン設置台を折り畳むときの様子を示す概略側面図、図３（ｃ）は折り畳まれた状態のスクリーン設置台の概略平面図である。 図４は文字入力画面の画像の一例を示す図である。 図５は使用者が投影スクリーンに指を接触させたときに形状又は色が変わった指の部位を模式的に示す図である。 図６は使用者が文字キー画像をタップ操作した場合にその文字キー画像が強調表示された文字入力画面の画像の一例を示す図である。 図７は本実施形態の画像投影装置における入力の処理の手順を説明するためのフローチャートである。 図８は本発明の変形例であるフロントプロジェクション型の画像投影装置を備えるコンピュータ端末の概略構成図である。 図９（ａ）は本発明の画像投影装置が設けられたスマートフォンの概略斜視図、図９（ｂ）はそのスマートフォンの概略側面図である。 図１０（ａ）は本発明の画像投影装置が設けられた腕時計の概略斜視図、図１０（ｂ）はその腕時計において投影スクリーンを設置したときの様子を示す図である。 図１１（ａ）は本発明のリアプロジェクション型の画像投影装置が設けられた自動車の例を示す図、図１１（ｂ）は本発明のフロントプロジェクション型の画像投影装置が設けられた自動車の例を示す図である。 図１２は本発明の画像投影装置が設けられた机の例を示す図である。 図１３は本発明の画像投影装置が設けられたコンパクトミラーの例を示す図である。

以下に、図面を参照して、本願に係る発明を実施するための形態について説明する。図１は本発明の一実施形態である画像投影装置を備えるコンピュータ端末の概略構成図、図２は本実施形態の画像投影装置を備えるコンピュータ端末の概略ブロック図である。

本発明の画像投影装置は、使用者が自分の指又は指示具を用いて投影スクリーンに投影された画像に対してタッチ操作を行ったときに、その操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するものである。特に、本実施形態では、この画像投影装置を、コンピュータ端末に組み込んだ場合について説明する。このコンピュータ端末１は、図１及び図２に示すように、コンピュータ本体１０と、液晶表示部２０と、タッチパネル３０と、本実施形態の画像投影装置１００とを有する。液晶表示部２０は、コンピュータ本体１０の筐体の上面に設けられている。液晶表示部２０の画面にはタッチパネル３０が設けられている。このタッチパネル３０には、液晶表示部２０の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報をコンピュータ本体１０に出力する位置検知部（不図示）が備えられている。液晶表示部２０の画面上には、メニュー画面、アプリケーション画面、文字入力画面等の各種の画面が表示される。尚、液晶表示部２０の代わりに、液晶以外の（タッチパネル）ディスプレイを用いてもよい。

本実施形態の画像投影装置１００は、コンピュータ端末１における表示装置及び入力装置としての役割を果たす。ここで、この画像投影装置１００としては、画像を投影スクリーンの裏面側から投影するリアプロジェクション型のものを用いている。画像投影装置１００は、図１及び図２に示すように、投影スクリーン１１０と、投影部１２０と、撮像部１３０と、制御部１４０と、記憶部１５０と、スクリーン設置台１６０とを備える。投影部１２０、撮像部１３０、制御部１４０及び記憶部１５０は、コンピュータ本体１０の筐体内に設けられている。制御部１４０は、画像投影装置１００を制御するものであるが、本実施形態では、コンピュータ端末１の全体の制御をも行う。すなわち、制御部１４０は、コンピュータ本体１０の制御部としての役割も果たす。尚、画像投影装置１００を制御する制御部とコンピュータ本体１０の制御部とは別個に設けるようにしてもよい。

投影スクリーン１１０としては、透過型スクリーン、すなわち、その裏面側から投影光を照射することにより画像を表示するためのリアプロジェクションスクリーンを用いている。この投影スクリーン１１０はハードタイプの一枚物であり、スクリーン設置台１６０に固定されている。本実施形態では、スクリーン設置台１６０として折り畳み式のものを用いている。図３（ａ）はスクリーン設置台１６０の概略斜視図、図３（ｂ）はそのスクリーン設置台１６０を折り畳むときの様子を示す概略側面図、図３（ｃ）は折り畳まれた状態のスクリーン設置台１６０の概略平面図である。

スクリーン設置台１６０は、投影スクリーン１１０及びコンピュータ本体１０が所定の位置関係で配置されるように投影スクリーン１１０及びコンピュータ本体１０を設置するためのものである。このスクリーン設置台１６０は、図３に示すように、二つのベース部１６１ａ，１６１ｂと、二つのポール部１６２，１６２とを備える。ここで、図３には、投影スクリーン１１０だけが設置されたスクリーン設置台１６０を示している。各ベース部１６１ａ，１６１ｂは略長方形状の板状部材であり、二つのベース部１６１ａ，１６１ｂは折り畳み可能に連結されている。また、一方のベース部１６１ａにおいて、他方のベース部１６１ｂと連結されている側と反対側の端部には、二つのポール部１６２，１６２が取り付けられている。各ポール部１６２，１６２は棒状部材であり、対向する側面にはその中心軸に沿って溝が形成されている。投影スクリーン１１０は、二つのポール部１６２，１６２の溝の間に挿入することによりスクリーン設置台１６０に取り付けられる。また、他方のベース部１６１ｂには、図１に示すように、コンピュータ本体１０が載置される。本実施形態では、図３（ａ）に示すように、ベース部１６１ｂの表面の所定箇所に凹部１６３を形成している。この凹部１６３はコンピュータ本体１０を設置する場所を示す目印として利用される。このため、使用者は投影スクリーン１１０を二つのポール部１６２，１６２の間に取り付け、コンピュータ本体１０をベース部１６１ｂの凹部１６３の上に配置するだけで、投影スクリーン１１０と投影部１２０との間の距離及び投影スクリーン１１０と撮像部１３０との間の距離がそれぞれ略一定になるように投影スクリーン１１０とコンピュータ本体１０との位置関係を簡単に設定することができる。また、図３（ｂ）に示すように二つのベース部１６１ａ，１６１ｂを折り畳むことにより、図３（ｃ）に示すようにスクリーン設置台１６０をフラットな状態にすることができる。

投影部１２０は、所定の画面の画像を投影スクリーン１１０の裏面側から投影スクリーン１１０に投影して表示するものである。本実施形態では、投影スクリーン１１０は、コンピュータ端末１の表示装置としての役割を果たす。このため、投影スクリーン１１０には、各種のアイコンが表示されたメニュー画面や操作画面、文字を入力するための文字入力画面等、各種の画面についての画像が表示される。図４は文字入力画面の画像の一例を示す図である。図４に示すように、文字入力画面２００は、キーボード画像２１０と、入力した文字等を表示するための表示領域２２０とを有する。キーボード画像２１０には、各文字（記号を含む）と対応付けられた複数の文字キー画像と、特定の機能が付与された複数の機能キー画像とが設けられている。また、投影部１２０によって投影スクリーン１１０に投影される各画面の画像には、枠が描かれている。例えば、図４に示す文字入力画面２００の画像は、キーボード画像２１０及び表示領域２２０を囲む長方形の外枠２３０を含んでいる。

本実施形態では、使用者は投影スクリーン１１０に投影された画面の画像に対して指又は指示具で所定の操作を行うことにより、各種の指示を制御部１４０に与えることができる。ここで、指示具としては例えば指示棒が用いられる。具体的に、使用者は、投影スクリーン１１０の表面側から投影スクリーン１１０に投影された画面の画像に指又は指示具を接触させて所定の操作を行うことにより、又は投影スクリーン１１０の表面側から投影スクリーン１１０に投影された画面の画像の近傍において指又は指示具を当該画像に接触させることなく所定の操作を行うことにより、指示を与える。そして、制御部１４０は、その指示の内容を認識し、その認識した指示の内容に応じた画面の画像を投影スクリーン１１０に投影するように投影部１２０を制御する。ここで、投影スクリーン１１０に投影された画面の画像に対する操作には、通常のタッチパネルに対して行われるタッチ操作、すなわち、タップ操作、ダブルタップ操作、長押し操作（ロングタップ）、ドラッグ操作、フリック操作、スクロール操作等の各種の操作が含まれる。尚、ここに挙げた本実施形態における各操作は、指等を画像に接触させて操作が行われるかどうかとは関係なく、通常のタッチパネルに対して行われるタッチ操作に対応する操作を意味している。

撮像部１３０は、投影スクリーン１１０に投影された画像を撮像して画像データを取得するものであり、図２に示すように、カメラ部１３１と、画像処理部１３２と、カメラ制御部１３３とを備える。カメラ部１３１はレンズや撮像素子を有するものである。このカメラ部１３１は、図１に示すように、投影スクリーン１１０をその裏面側から撮像する。カメラ部１３１が撮像することができる範囲（撮像範囲）は、投影スクリーン１１０の全体である。また、本実施形態では、カメラ部１３１は、使用者が投影スクリーン１１０に投影された画像に対して操作を行っている指又は指示具を、透過型の投影スクリーン１１０を介して撮像することを目的としている。画像処理部１３２は、カメラ部１３１が撮像した画像データについてその撮像した画像の色や階調の補正処理を行ったり、画像データの圧縮等の画像処理を行ったりするものである。カメラ制御部１３３は、画像処理部１３２を制御したり、制御部１４０との間で画像データのやり取りを制御したりする。尚、本実施形態では、画像処理部１３２が撮像部１３０に設けられている場合について説明するが、画像処理部１３２は、撮像部１３０ではなく、制御部１４０に設けるようにしてもよい。

また、本実施形態では、撮像部１３０はピントを合わせる機能を有している。このため、カメラ制御部１３３はオートフォーカス制御部１３３ａを備えている。オートフォーカス制御部１３３ａは、投影スクリーン１１０にピントが合うようにカメラ部１３１を調整（制御）する。具体的に、本実施形態では、投影スクリーン１１０とカメラ部１３１との間の距離が予め略一定の値に設定されているので、オートフォーカス制御部１３３ａは、撮像動作が開始した際に、カメラ部１３１から上記予め定められた距離だけ離れた位置にピントが合うようにピント合わせ処理を行う。また、このとき、オートフォーカス制御部１３３ａは、投影スクリーン１１０からその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように調整する。このピントが合う範囲（被写界深度）は狭い範囲に制限される。例えば、本実施形態では、オートフォーカス制御部１３３ａが、投影スクリーン１１０からその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように調整する場合を考える。このため、撮像部１３０は、投影スクリーン１１０に投影された画面の画像に対する操作を行う被写体（指又は指示具）が投影スクリーン１１０の近傍にあれば、その被写体をピントが合った状態で撮像するが、被写体が投影スクリーン１１０から被写界深度よりも遠く離れた位置にあれば、その被写体をピントが合った状態で撮像することはできない。尚、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部１３１のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。

撮像部１３０で撮像して得られた画像データは制御部１４０に送られ、制御部１４０により記憶部１５０に記憶される。また、撮像部１３０は、静止画像の撮影機能と動画像の撮影機能とを備えており、制御部１４０は必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。

制御部１４０は、画像投影装置１００の全般を制御する。例えば、制御部１４０は、画面を投影スクリーン１１０に投影するために投影部１２０を制御したり、撮像部１３０による撮像を制御したりする。具体的に、この制御部１４０は、図２に示すように、表示制御部１４１と、基準データ生成部１４２と、画像データ抽出部１４３と、位置データ生成部１４４と、操作判定部１４５と、入力制御部１４６とを備える。

表示制御部１４１は、液晶表示部２０及び投影部１２０を制御する。具体的に、表示制御部１４１は、使用者が液晶表示部２０においてタッチ操作を行ったときに、タッチパネル３０から送られる接触位置情報に基づいて当該タッチ操作による指示の内容を認識する。このとき、その認識した指示の内容が液晶表示部２０に所定の画面を表示する旨の指示であれば、表示制御部１４１は液晶表示部２０を制御してその画面を液晶表示部２０に表示させる。また、認識した指示の内容が投影スクリーン１１０に所定の画面の画像を表示する旨の指示であれば、表示制御部１４１は投影部１２０を制御してその画面の画像を投影スクリーン１１０に表示させる。また、表示制御部１４１は、投影部１２０が画像を投影する処理を開始した際に、画像が投影スクリーン１１０に明瞭に表示されるようにその画像を調整する処理を行う。表示制御部１４１は、投影スクリーン１１０に画像を表示しているときには、その投影スクリーン１１０に表示されている画像と同じ画像を液晶表示部２０に表示するように液晶表示部２０を制御するようにしてもよい。

基準データ生成部１４２は、撮像部１３０によって得られた画像データに基づいて、投影スクリーン１１０に投影された画像に関する基準データを生成する。この基準データは、撮像範囲における画像の位置及び大きさを特定するデータである。例えば、図４に示す画面の画像が投影スクリーン１１０に投影されている場合には、その画面の外枠２３０の四隅の位置データを基準データとして用いることができる。具体的に、本実施形態では、撮像部１３０の撮像範囲内に、左右方向をＸ軸方向、上下方向Ｙ軸方向とするＸＹ座標系が設定されている。基準データ生成部１４２は、撮像部１３０によって得られた画像データに基づいて当該画面の外枠２３０の位置を認識し、その認識した外枠２３０の位置に関するデータ、すなわちＸＹ座標系において外枠２３０の四隅のＸＹ座標を、基準データとして取得する。この基準データ生成部１４２で生成された基準データは記憶部１５０に記憶される。このように、本実施形態では、外枠を有する画像を投影スクリーン１１０に投影することにより、基準データ生成部１４２は、その画像の位置及び大きさに関する基準データを容易に生成することができる。

画像データ抽出部１４３は、撮像部１３０によって得られた画像データのうち、使用者が投影スクリーン１１０に投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。ここで、指又は指示具が存在しているかどうかを判断するには、一般の画像認識の方法が用いられる。したがって、画像データ抽出部１４３によって抽出される画像データには、指又は指示具が投影スクリーン１１０の近傍に存在している画像データだけが含まれる。こうして抽出された画像データは記憶部１５０に記憶される。また、画像データ抽出部１４３は、抽出した各画像データに対してはその画像データが撮像された時刻に関するデータ（時刻データ）を生成し、その生成した時刻データを当該画像データと関連付けて記憶部１５０に記憶する。操作判定部１４５及び位置データ生成部１４４では、この画像データ抽出部１４３で抽出された画像データに基づいて処理が行われることになる。

具体的に、本実施形態では、画像データ抽出部１４３は、使用者が指又は指示具で投影スクリーン１１０の表面側から画像に対して操作を行ったときに、投影スクリーン１１０を介して撮像された画像データの中から、その指又は指示具に対応する形状、又は形状及び色を認識し、その認識した形状、又は形状及び色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得することができる。また、画像データ抽出部１４３は、指又は指示具が投影スクリーン１１０に接触すると、その投影スクリーン１１０上で指又は指示具の形状又は色が変わるような場合には、その変わった形状又は色を認識して、指又は指示具の存在を判断するようにしてもよい。すなわち、画像データ抽出部１４３は、使用者が投影スクリーン１１０の表面側から画像に指又は指示具を接触させて画像に対して操作を行ったときに、投影スクリーン１１０を介して撮像された画像データの中から、その接触させた際の指又は指示具の形状の変化、色の変化、又は形状及び色の変化を認識し、その認識した指又は指示具の形状の変化、色の変化、又は形状及び色の変化が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得するようにしてもよい。この場合、例えば、指示具としては、その先端を柔らかい素材で形成し、投影スクリーン１１０に触れた際に指示具の先端が容易に変形するようなものを使用することができる。また、一例として、図５に、使用者が投影スクリーン１１０に指を接触させたときに形状又は色が変わった指の部位を模式的に示す。画像データ抽出部１４３は、指を接触させることにより指の形状又は色が変わった場合、その変わった指の部位の形状又は色を認識すると、指が存在していると判断することができる。

尚、使用者が操作に使用する指又は指示具の先端部（例えば指の腹側）に、星形や十字等の図形を描いたり、或いはそのような図形が描かれたシール等を貼り付けたりしておくことが望ましい。また、指示具の先端部を上記図形の形状に形成するようにしてもよい。この場合、画像データ抽出部１４３は、その図形が画像データに存在しているかどうかを判断し、その図形が存在していれば指又は指示具が存在していると判断する。指等自体の認識に比べて上記図形の認識の方が容易であるので、指等の存在を判断する処理を容易且つ迅速に行うことができる。

ところで、リアプロジェクションスクリーンとしては、透明なものだけでなく、半透明や乳白色等のものもある。半透明や乳白色等の投影スクリーンを用いた場合、指又は指示具にピントが合っているかどうかの判断は難しい。この問題に対しては、例えば次のような手法を用いて対処することができる。すなわち、半透明や乳白色等の各種の投影スクリーンを用いた場合には、指又は指示具が当該投影スクリーンに接触している少なくとも一つの画像を予め取得し、それらの画像を指又は指示具にピントが合っていると判断すべき画像としてプリセットしておく。画像データ抽出部１４３は、実際に撮像された画像データをプリセットされた画像と比較することにより、指又は指示具にピントがあっているかどうかを正確に判断することができる。

また、画像データ抽出部１４３は、撮像部１３０によって得られた画像データに対して、投影スクリーン１１０に現在投影されている画像についてのデータを除外する処理を施し、その処理後の画像データに基づいて指又は指示具の存在を判断するようにしてもよい。これにより、指等の存在を判断する処理をより容易且つ迅速に行うことができる。

位置データ生成部１４４は、画像データ抽出部１４３によって抽出された画像データに基づいて、撮像部１３０の撮像範囲における当該指又は指示具の位置を特定する位置データを生成する。具体的に、位置データ生成部１４４は、撮像範囲内に設定されたＸＹ座標系において、当該指又は指示具の存在する位置（例えば、指の先端の中心位置や指示具の先端部の中心位置）のＸＹ座標を位置データとして取得する。その取得した位置データは当該画像データと関連付けて記憶部１５０に記憶される。

操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作がどのような内容の操作であるかを判定する。ここで、上述したように、画像データ抽出部１４３によって抽出された画像データには、指又は指示具が投影スクリーン１１０の近傍に存在している画像データだけが含まれている。具体的に、操作判定部１４５は、時系列的に得られた一連の画像データについて各画像データに関連付けられた位置データ及び時刻データに基づいて、指又は指示具がどのような動きをしているのかを調べることにより、操作内容を判定する。

例えば、操作判定部１４５は、指又は指示具の位置がほとんど変化していない画像データがある短い時間の間にだけ抽出された場合には、その指又は指示具はタップ操作を行っていると判定する。また、指又は指示具の位置がほとんど変化していない画像データがある短い時間の間に抽出された後、一定時間が経過する前に再度、指又は指示具がほぼ同じ位置に存在している画像データがある短い時間の間に抽出された場合には、その指又は指示具はダブルタップ操作を行っていると判定する。また、指又は指示具の位置がほとんど変化していない画像データが一定時間以上にわたって抽出された場合には、その指又は指示具は長押し操作を行っていると判定する。更に、指又は指示具の位置がほとんど変化していない画像データが短い時間の間に抽出され、それに引き続き指又は指示具の位置が順次変化している画像データが抽出された場合には、その指又は指示具はドラッグ操作を行っていると判定する。このように、操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて指又は指示具による操作の内容を判定することにより、当該指又は指示具による操作の内容が、タップ操作、ダブルタップ操作、長押し操作、ドラッグ操作等の各種の操作のうちいずれの操作であるかを正確に認識することができる。その認識した当該指又は指示具による操作の内容に関するデータは記憶部１５０に記憶される。

また、本実施形態では、投影スクリーン１１０からその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように撮像部１３０を調整しているので、使用者は指又は指示具を実際に投影スクリーン１１０に接触させなくても、投影スクリーン１１０から約１０ｍｍの距離に指又は指示具を位置させるだけで、タップ操作等の操作を行うことができる。画像データ抽出部１４３は、指又は指示具が投影スクリーン１１０から約１０ｍｍまでの範囲内に存在している画像データだけを抽出するので、操作判定部１４５は、その画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。尚、上述したように、指又は指示具が投影スクリーン１１０に接触すると、その投影スクリーン１１０上で指又は指示具の形状又は色が変わるような場合、画像データ抽出部１４３は、その接触させた際の形状又は色の変化を認識し、その認識した形状の変化又は色の変化の存在している画像データを抽出することができる。この場合、使用者は投影スクリーン１１０に指又は指示具を接触させて操作を行うので、既存のタッチパネルを操作するような感覚で操作を行うことができ、また、操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。

入力制御部１４６は、操作判定部１４５によって判定された操作の内容に関するデータと、位置データ生成部１４４によって生成された位置データと、基準データ生成部１４２によって生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーン１１０に投影するように投影部１２０を制御する。

例えば、投影スクリーン１１０に投影されている画像がメニュー画面の画像である場合、入力制御部１４６は、その画面の画像に関する基準データに基づいて、撮像部１３０の撮像範囲の中で当該メニュー画面の存在する範囲を認識することができる。また、入力制御部１４６は、当該メニュー画面の構成が予め分かっているので、当該メニュー画面における各アイコンの位置及び範囲を認識することができる。したがって、例えば使用者がメニュー画面に対して指でアイコンのダブルタップ操作を行った場合、入力制御部１４６は、その指の位置データから得られる指の位置が、メニュー画面におけるどのアイコンの領域に対応するのかを調べることにより、操作対象となったアイコンを特定することができ、また、その操作の内容を調べることにより、当該操作がダブルタップ操作であることを特定することができる。その結果、入力制御部１４６は、今回の操作に対応する入力指示が上記操作されたアイコンに関連する画面の画像を表示するという入力指示であると認識し、そのアイコンに関連する画面の画像を投影スクリーン１１０に表示する処理を行う。

また、投影スクリーン１１０に投影されている画像が図４に示す文字入力画面２００の画像である場合、入力制御部１４６は、その画面の画像に関する基準データに基づいて、撮像部１３０の撮像範囲の中で当該文字入力画面２００の存在する範囲を認識することができる。また、入力制御部１４６は、当該文字入力画面２００の構成が予め分かっているので、当該文字入力画面２００におけるキーボード画像２１０の範囲や、各文字キー画像の領域等も認識することができる。したがって、例えば使用者がキーボード画像２１０に対して指で文字キー画像のタップ操作を行った場合、入力制御部１４６は、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、操作された文字キーを特定することができ、また、その操作の内容を調べることにより、当該操作がタップ操作であることを特定することができる。その結果、入力制御部１４６は、今回の操作に対応する入力指示が上記操作された文字キーに対応する文字の入力指示であると認識し、表示領域２２０にその入力指示された文字の画像を表示する処理を行う。

尚、入力制御部１４６は、使用者により文字キー画像のタップ操作が行われて、その操作された文字キーに対応する文字の入力指示があったことを認識した場合には、文字入力画面２００のうちその操作された文字キー画像だけが強調表示された画面の画像を投影スクリーン１１０に表示する処理をも行うようにしてもよい。これにより、使用者は自分が操作した文字キーを容易に確認することができる。図６に使用者が文字キー画像をタップ操作した場合にその文字キー画像が強調表示された文字入力画面２００の画像の一例を示す。

記憶部１５０には、各種のプログラムやデータ等が記憶されている。記憶部１５０に記憶されているプログラムには、例えば、メニュー画面においてアイコンを選択する操作が行われたときに画面の切り替え等の画面表示の処理を行うための画面表示処理用プログラム、文字入力画面２００において文字キーを選択する操作が行われたときに文字入力の処理を行うための文字入力処理用プログラム等が含まれている。また、記憶部１５０に記憶されているデータには、例えば、各種の画面についての画像データが含まれる。更に、この記憶部１５０は作業用のメモリとしても使用される。

次に、本実施形態の画像投影装置１００における入力の処理について説明する。図７は本実施形態の画像投影装置１００における入力の処理の手順を説明するためのフローチャートである。

使用者は、例えばタッチパネル３０を操作して所定の画面の画像を投影スクリーン１１０に表示する旨を指示する。制御部１４０（表示制御部１４１）は、その指示を受けると、当該画面の画像を投影スクリーン１１０に表示するように投影部１２０を制御する（Ｓ１）。こうして画像の投影が開始されると、制御部１４０は、撮像部１３０による撮像動作を開始する（Ｓ２）。

次に、制御部１４０は、カメラ制御部１３３にピント合わせ処理を実行させる（Ｓ３）。具体的に、本実施形態では、投影スクリーン１１０とカメラ部１３１との距離が予め略一定の値に設定されているので、カメラ制御部１３３のオートフォーカス制御部１３３ａは、カメラ部１３１からその予め定められた距離だけ離れた位置にピントがあるようにカメラ部１３１を制御する。また、このピント合わせ処理は別の方法で行うことも可能である。例えば、投影スクリーン１１０自体に赤外線反射コーティングを施したり、投影スクリーン１１０に枠を設けたり、又は投影スクリーン１１０の四隅に反射部を設けたりしておけば、カメラ制御部１３３は、オートフォーカス機能により投影スクリーン１１０までの距離を検知し、その検知した距離だけ離れた位置にピントがあるようにカメラ部１３１を制御することができる。尚、投影スクリーン１１０に反射部を設ける代わりに、スクリーン設置台１６０に反射部を設けるようにしてもよい。

また、このとき、表示制御部１４１は、投影部１２０を制御して、画像が投影スクリーン１１０に明瞭に表示されるように投影画像調整処理を行う（Ｓ４）。具体的に、この投影画像調整処理では、表示制御部１４１は、撮像部１３１で撮像された画像データに基づいて、その画像データに現在表示している画像が明瞭に現れているかどうかを判断する。そして、現在表示している画像が明瞭に現れていれば、画像が投影スクリーン１１０に明瞭に表示されていると認識する。また、表示制御部１４１は、撮像部１３０のオートフォーカス機能を利用して得られた投影スクリーン１１０までの距離情報と、撮像部１３０で撮像された投影スクリーン１１０の画像データとに基づいて、投影部１２０と投影スクリーン１１０との位置関係を認識し、その認識した位置関係に応じたサイズ・形状・角度等で画像を投影スクリーン１１０に投影するように投影部１２０を制御することも可能である。

こうして画像が投影スクリーン１１０に明瞭に表示されると、使用者は、コンピュータ本体１０に対して入力指示を行うため、投影スクリーン１１０に投影された画面の画像に対して投影スクリーン１１０の表面側から指又は指示具で所定の操作を行う。かかる使用者による操作の様子は投影スクリーン１１０を介して撮像部１３０で撮像され、その得られた画像データが画像処理部１３２に送られる。そして、画像処理部１３２が画像データに対して所定の画像処理を施し（Ｓ５）、その画像処理を施した画像データが制御部１４０に送られる。

次に、基準データ生成部１４２は、撮像部１３０によって得られた画像データに基づいて、投影スクリーン１１０に投影された画面の画像に関する基準データを生成する（Ｓ６）。具体的に、基準データ生成部１４２は、図４に示すような画面の外枠２３０の四隅の位置データ（ＸＹ座標）を取得し、その取得した外枠２３０の四隅の位置データを基準データとする。この基準データは記憶部１５０に一時記憶される。

次に、画像データ抽出部１４３は、撮像部１３０によって得られた画像データのうち、使用者が投影スクリーン１１０に投影された画面の画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する（Ｓ７）。これにより、指又は指示具が投影スクリーン１１０の近傍に存在している画像データだけが取得される。こうして抽出された画像データは記憶部１５０に一時記憶される。また、画像データ抽出部１４３は、抽出した画像データについて、その画像データが撮像された時刻に関する時刻データを生成し、その生成した時刻データを当該画像データと関連付けて記憶部１５０に記憶する。

次に、位置データ生成部１４４は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具の位置（例えば、指の先端の中心位置や指示具の先端部の中心位置）を特定する位置データ（ＸＹ座標）を生成する（Ｓ８）。この生成した位置データは当該画像データと関連付けて記憶部１５０に一時記憶される。

その後、操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作がどのような内容の操作であるかを判定する（Ｓ９）。例えば、操作判定部１４５は、画像データ抽出部１４３によって抽出された複数の画像データについて、それら各画像データと関連付けられている位置データ及び時刻データを利用して、操作内容の判定を行う。この認識した当該指又は指示具による操作の内容に関するデータは記憶部１５０に一時記憶される。

次に、入力制御部１４６は、操作判定部１４５によって判定された操作の内容に関するデータと、位置データ生成部１４４によって生成された位置データと、基準データ生成部１４２で生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し（Ｓ１０）、その認識した入力指示の内容に応じた画面の画像を投影スクリーン１１０に投影するように投影部１２０を制御する（Ｓ１１）。

例えば、使用者がメニュー画面に対して指でアイコンのダブルタップ操作を行った場合、入力制御部１４６は、その指の位置データに基づいて操作対象となったアイコンを特定することができ、しかも、その操作の内容に関するデータに基づいて当該操作を特定することができるので、今回の操作に対応する入力指示が上記操作されたアイコンに関連する画面を表示するという入力指示であると認識することができる。また、使用者がキーボード画像２１０に対して指で文字キー画像のタップ操作を行った場合、入力制御部１４６は、その指の位置データに基づいて操作された文字キーを特定することができ、しかも、その操作の内容に関するデータに基づいて当該操作を特定することができるので、今回の操作に対応する入力指示が上記操作された文字キーに対応する文字の入力指示であると認識することができる。

ステップＳ１１の処理の後、制御部１４０は、使用者から画像投影を終了する旨の指示を受けたかどうかを判断する（Ｓ１２）。画像投影を終了する旨の指示を受けていれば、図５に示す入力の処理が終了する。これに対し、画像投影を終了する旨の指示を受けていなければ、ステップＳ５に移行し、入力の処理を継続する。尚、使用者は、画像投影を終了する旨の指示を、例えばタッチパッド３０や投影スクリーン１１０のタッチ操作により行うことができる。

本実施形態の画像投影装置では、撮像部がピントを合わせる機能を有しており、画像データ抽出部は、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。このため、例えば投影スクリーンからその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように撮像部を調整しておけば、画像データ抽出部によって抽出される画像データには、指又は指示具が投影スクリーンの近傍に存在している画像データだけが含まれるので、操作判定部は、その画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。そして、入力制御部は、操作判定部で判定して得られた当該指又は指示具による操作の内容に関するデータと、位置データ生成部で生成された当該指又は指示具の位置データと、基準データ生成部で生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するように投影部を制御する。したがって、使用者が投影スクリーンに投影された画像に対して各種のタッチ操作を行ったときに、本実施形態の画像投影装置はそのタッチ操作に応じた入力指示を正確に認識することができる。

尚、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内において種々の変形が可能である。

例えば、上記の実施形態では、本発明の画像投影装置として、画像を投影スクリーンの裏面側から投影するリアプロジェクション型の画像投影装置を用いた場合について説明したが、画像を投影スクリーンの表面側から投影するフロントプロジェクション型の画像投影装置を用いるようにしてもよい。図８に本発明の変形例であるフロントプロジェクション型の画像投影装置１００ａを備えるコンピュータ端末１ａの概略構成図を示す。このフロントプロジェクション型の画像投影装置１００ａも、上記実施形態の画像投影装置１００と同様に、図８に示すように、投影スクリーン１１００と、投影部１２０と、撮像部１３０と、制御部（不図示）と、記憶部（不図示）と、スクリーン設置台（不図示）とを備える。ここで、投影スクリーン１１００としては、その表面側から投影光を照射することにより画像を表示するためのフロントプロジェクションスクリーンを用いている。具体的に、フロントプロジェクションスクリーンは、主として、拡散型スクリーン、反射型スクリーン、回帰型スクリーンの三種類に分けられる。拡散型スクリーンは、入射光が全方向に拡散反射するという性質を持つものであり、視野角がとても広いという特徴がある。反射型スクリーンは、入射光がその入射角と同じ角度の反射角で反射するという性質を持つものであり、回帰型スクリーンは、入射光の入射方向と同じ方向に反射光が戻るという性質を持つものである。投影部１２０は投影スクリーン１１００の表面から画像を投影し、撮像部１３０は投影スクリーン１１００の表面側から画像を撮像して画像データを取得する。また、この変形例の画像投影装置１００ａにおける制御部は、上記実施形態の画像投影装置１００における制御部と同様に、表示制御部と、基準データ生成部と、画像データ抽出部と、操作判定部と、位置データ生成部と、入力制御部とを備える。これら各部は、投影部１２０、撮像部１３０及びスクリーン設置台が投影スクリーン１１００の表面側に配置される点を除き、上記実施形態の画像投影装置１００におけるものと同様である。

このフロントプロジェクション型の画像投影装置１００ａでは、使用者が投影スクリーン１１００の表面側からその投影スクリーン１１００に投影された画像に対して指又は指示具で操作を行うとき、撮像部１３０が、投影スクリーン１１００の表面側からその操作の様子を撮像する。ここで、撮像部１３０は、投影スクリーン１１０からその垂直方向に沿って前後１５ｍｍまでの範囲内にピントが合うように調整されている。そして、入力制御部は、操作判定部で判定して得られた当該指又は指示具による操作の内容に関するデータと、位置データ生成部で生成された当該指又は指示具の位置データと、記憶部に記憶されている当該画面に対する基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーン１１００に投影するように投影部１２０を制御する。尚、撮像部１３０によって得られた画像データには、投影スクリーン１１００に投影されている画像の一部分が指や指示具によって隠れている内容の画像データも含まれるが、操作判定部は、その一部分が隠れている内容の画像データに、投影スクリーン１１００に現在投影している画像を重ね合わせて、指又は指示具で行っている操作を認識することも可能である。

また、上記の実施形態及び図８に示す変形例では、画像投影装置が一つの投影部を備える場合について説明したが、画像投影装置は複数の投影部を備えていてもよい。この場合には、複数の投影部を使用して、一つの画面を投影スクリーンに分割投影することが可能である。

また、上記の実施形態及び図８に示す変形例において、投影部は、青や紫系統の光量を減らすことによりブルーライト等を削減した画像を投影スクリーンに投影するようにしてもよい。これにより、使用者の目に優しい画像を表示することができる。

更に、上記の実施形態及び図８に示す変形例では、画像投影装置は一つの撮像部を備える場合について説明したが、画像投影装置は複数の撮像部を備えていてもよい。

加えて、上記の実施形態及び図８に示す変形例では、投影スクリーンがハードタイプの一枚物である場合について説明したが、投影スクリーンは、折り畳み式のスクリーン、ロール巻き上げ式のスクリーン等であってもよい。

また、上記の実施形態及び図８に示す変形例において、指示具としてレーザ光を発するレーザポインタを用いるようにしてもよい。この場合、レーザポインタで行う操作の内容については予め設定しておく必要がある。例えば、レーザ光を二回点灯する操作がダブルタップ操作を、レーザ光を点灯したまま所定の速度以下で動かす操作がスクロール操作を、レーザ光を点灯したまま所定の速度以上で動かす操作がフリック操作を、レーザ光を所定回数だけ点灯させた後に動かす操作がドラッグ操作を意味するように定めておく。具体的に、画像データ抽出部は、使用者がレーザポインタからのレーザ光を投影スクリーンに照射することにより投影スクリーンに投影された画像に対して操作を行ったときに、撮像部によって得られた画像データの中から、レーザポインタからのレーザ光の形状及び／又は色を認識し、その認識したレーザ光の形状及び／又は色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得する。ここで、レーザ光の色の認識については、例えばレーザ光の色の周波数をプリセットしておき、画像データ抽出部はそのプリセットした色を認識した場合にレーザ光が存在するとみなせばよい。画像の中にそのプリセットした色と同様の色が存在する場合もあり得るが、通常のプレゼンテーション画面等で使用する色には含まれない赤系統の周波数の色をレーザ光の色として使用すれば、レーザ光の色を誤認することはない。したがって、指示具としてレーザポインタを用いた場合でも、本発明の画像投影装置は使用者からの入力指示を正確に認識することができる。尚、レーザポインタが発するレーザ光の断面形状は円形に限らず、星形、十字形、三角形等であってもよい。これにより、画像データ抽出部は、指示具の存在を判断する処理を容易に行うことができる。

更に、上記の実施形態及び図８に示す変形例では、投影部と撮像部とがコンピュータ本体の筐体内に設けられている場合について説明したが、投影部と撮像部とは、コンピュータ本体の筐体とは別の筐体内に設けるようにしてもよい。この場合、投影部及び撮像部が設けられた筐体とコンピュータ本体の筐体とにはそれぞれ、通信部及び通信制御部を備えておくことにより、投影部及び撮像部と制御部との間のデータ通信を無線で行うことが可能である。一般に、投影部及び／又は撮像部を、制御部が設けられている筐体と別の筐体内に設けるようにしてもよい。

また、上記の実施形態及び図８に示す変形例では、投影部によって投影スクリーンに投影される各画像に枠が描かれている場合について説明したが、投影部によって投影スクリーンに投影される各画像には必ずしも枠が描かれている必要はない。更に、各画像に枠を描く代わりに、例えば、投影部によって投影スクリーンに投影される各画像の四隅に所定のマークを描くようにしてもよい。この場合、基準データ生成部は、撮像部によって得られた画像データに基づいてその撮像範囲における当該画像のマークの位置を認識し、その認識したマークの位置に関するデータを基準データとする。

また、上記の実施形態及び図８に示す変形例の画像投影装置においては、スクリーン設置台や液晶表示部を省略することができる。更に、上記の実施形態では、投影スクリーンからその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように撮像部が調整されている場合について、図８に示す変形例では、投影スクリーンからその垂直方向に沿って前後１５ｍｍまでの範囲内にピントが合うように撮像部が調整されている場合について説明したが、ピントが合う範囲は投影スクリーンからその垂直方向に沿って前後１０ｍｍ又は１５ｍｍまでの範囲に限られず、例えば投影スクリーンからその垂直方向に沿って前後５０ｍｍ位までの範囲であってもよい。撮像部は、投影スクリーンからその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように調整されている。一般的に、この所定の距離が小さいと、操作内容の識別精度は向上するが、一方、使用者にとっては操作がしにくくなる。また、この所定の距離が大きいと、使用者にとって操作性が向上するが、一方、操作内容の識別精度は低下する。かかる操作内容の識別精度を高くし、且つ操作性を良くするには、上記所定の距離は、リアプロジェクション型の画像投影装置の場合にあっては、５ｍｍ〜２５ｍｍ位、フロントプロジェクション型の画像投影装置の場合にあっては、１０ｍｍ〜５０ｍｍ位であるのが望ましい。リアプロジェクション型の画像投影装置では、撮像部が投影スクリーンの裏面側から画像を撮像するので、画像データ抽出部は、投影スクリーンに対して操作を行っている指又は指示具が存在している画像データであって投影スクリーンに対向する側における指又は指示具の面にピントが合っている画像データを抽出する必要がある。この場合、例えば使用者が人指し指でタップ操作を行うと、人指し指における指の腹は投影スクリーンの表面から５ｍｍ〜２５ｍｍ位移動すると考えられる。このため、リアプロジェクション型の画像投影装置では、上記所定の距離は５ｍｍ〜２５ｍｍ位であるのが望ましい。これに対し、フロントプロジェクション型の画像投影装置では、撮像部が投影スクリーンの表面側から画像を撮像するので、画像データ抽出部は、投影スクリーンに対して操作を行っている指又は指示具が存在している画像データであって投影スクリーンと対向する側と反対側における指又は指示具の面にピントが合っている画像データを抽出する必要がある。例えば使用者が人指し指でタップ操作を行う場合、人指し指の爪部における指の厚さが約５ｍｍ〜１５ｍｍであることを考慮すると、上記所定の距離は１０ｍｍ〜４０ｍｍ位であればよい。また、フロントプロジェクション型の画像投影装置では、操作する指等が投影部と同じ側に位置しているため、リアプロジェクション型の画像投影装置と比べて操作内容の識別精度が低下することが考えられる。このため、フロントプロジェクション型の画像投影装置では、使用者は指等でオーバーアクション気味に操作をした方がよい場合がある。このようなオーバーアクション気味の操作を行うことを考慮すれば、上記所定の距離は５０ｍｍ位であるのが望ましい。加えて、投影スクリーンのサイズが大きく、指示具として例えば長い指示棒を用いるような場合には、リアプロジェクション型の画像投影装置、フロントプロジェクション型の画像投影装置のいずれにおいても、上記所定の距離は１００ｍｍ位であるのが望ましい。

更に、上記の実施形態及び図８に示す変形例では、投影スクリーンからその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように撮像部が調整されている場合について説明したが、ピントが合う範囲の中心は必ずしも投影スクリーン上にある必要はない。例えば、リアプロジェクション型の画像投影装置では、投影スクリーンからその垂直方向に沿って後側に距離ｘ／２だけ離れた位置を、ピントが合う範囲の中心とし、その中心から投影スクリーンの垂直方向に沿って前後に距離ｘ／２だけ離れた位置までの範囲内にピントが合うように撮像部は調整されていてもよい。すなわち、この場合、ピントが合う範囲は、投影スクリーンからその垂直方向に沿って後側に距離ｘだけ離れた位置までの範囲となる。また、フロントプロジェクション型の画像投影装置では、投影スクリーンからその垂直方向に沿って前側に距離ｘ／２だけ離れた位置を、ピントが合う範囲の中心とし、その中心から投影スクリーンの垂直方向に沿って前後に距離ｘ／２だけ離れた位置までの範囲内にピントが合うように撮像部は調整されていてもよい。すなわち、この場合、ピントが合う範囲は、投影スクリーンからその垂直方向に沿って前側に距離ｘだけ離れた位置までの範囲となる。

上記の実施形態及び図８に示す変形例では、本発明の画像投影装置をコンピュータ端末に組み込んだ場合について説明したが、本発明の画像投影装置は様々な機器に組み込むことが可能である。例えば、本発明の画像投影装置を、スマートフォンや携帯電話機等の携帯端末、腕時計、自動車、テレビジョン等に設けることができる。

図９（ａ）は本発明の画像投影装置が設けられたスマートフォンの概略斜視図、図９（ｂ）はそのスマートフォンの概略側面図である。本発明の画像投影装置をスマートフォン３００に適用する場合には、投影部１２０と撮像部１３０とを図９（ａ）に示すようにスマートフォン３００の上端部に隣接して設け、投影スクリーン１１０を図９（ｂ）に示すように傾けた状態でスマートフォン３００の下部に取り付ける。この投影スクリーン１１０は、その裏面側から投影光を照射することにより画像を表示するためのリアプロジェクションスクリーンである。また、本発明の画像投影装置の制御部及び記憶部はスマートフォン３００に内蔵されている。投影部１２０が投影スクリーン１１０の裏面からメニュー画面の画像を表示したときに、使用者は指又は指示具で投影スクリーン１１０の表面側からメニュー画面に対して操作を行うことにより、入力指示を行う。

図１０（ａ）は本発明の画像投影装置が設けられた腕時計の概略斜視図、図１０（ｂ）はその腕時計において投影スクリーンを設置したときの様子を示す図である。この図１０では腕時計４００の本体部を表示し、時計バンドを省略している。本発明の画像投影装置を適用する腕時計４００は情報端末としての機能を有する。本発明の画像投影装置の制御部及び記憶部は腕時計４００に内蔵されている。また、投影部１２０と撮像部１３０とは、図１０（ａ）に示すように腕時計４００の表面の上端部に設けられる。投影スクリーン１１０ａはロール式のものであり、スクリーン収納部１７０に収納されている。このスクリーン収納部１７０は腕時計４００の左端部に設けられている。腕時計４００の右端部には、投影スクリーン１１０ａを引っ掛けるためのフック１８０，１８０が設けられている。本発明の画像投影装置を使用する際には、図１０（ｂ）に示すように、使用者は、投影スクリーン１１０ａをスクリーン収納部１７０から引き出し、フック１８０，１８０に引っ掛けることにより、投影スクリーン１１０ａを腕時計４００の表面を覆うように設置する。投影部１２０が投影スクリーン１１０ａの裏面からメニュー画面の画像を表示したときに、使用者は指又は指示具で投影スクリーン１１０ａの表面側からメニュー画面に対して操作を行うことにより、入力指示を行う。

また、本発明の画像投影装置を自動車に適用する場合にはさまざまな適用方法がある。例えば、本発明の画像投影装置における投影部、撮像部、制御部及び記憶部を自動車のエンジンルーム等に内蔵し、投影部が投影する画面を車体フロントガラス（投影スクリーン）に投影する方法や、本発明の画像投影装置における投影部、撮像部、制御部及び記憶部を自動車のダッシュボード部に内蔵し、投影部が投影する画面をコントロールパネル（投影スクリーン）に投影する方法等が考えられる。これらの方法では、本発明の画像投影装置は、リアプロジェクション型の画像投影装置として使用される。図１１（ａ）に本発明のリアプロジェクション型の画像投影装置が設けられた自動車の例を示す。また、本発明の画像投影装置における投影部、撮像部、制御部及び記憶部を自動車のダッシュボード部又は室内天井部等に内蔵し、投影部が投影する画面を車体フロントガラス（投影スクリーン）に投影する方法が考えられる。この方法では、本発明の画像投影装置は、フロントプロジェクション型の画像投影装置として使用される。図１１（ｂ）に本発明のフロントプロジェクション型の画像投影装置が設けられた自動車の例を示す。

また、日常生活で使用する机やテーブル等の道具であっても、その道具が端末としての機能を有する場合には、本発明の画像投影装置を当該道具に組み込むことが可能である。図１２に本発明の画像投影装置が設けられた机５００の例を示す。この場合、投影スクリーン１１０は机５００の天板５１０に設けられ、投影部、撮像部、制御部及び記憶部は天板５１０の下側に配置される。次に、図１３に本発明の画像投影装置が設けられたコンパクトミラー６００の例を示す。ここで、図１３（ａ）はミラー使用時のコンパクトミラーの概略斜視図、図１３（ｂ）はミラー使用時のコンパクトミラーの概略側面図、図１３（ｃ）は画像投影時のコンパクトミラーの概略斜視図、図１３（ｄ）は画像投影時のコンパクトミラーの概略側面図である。このコンパクトミラー６００は、情報端末としての機能を有し、図１３に示すように、上蓋６１０と、下蓋６２０と、鏡６３０と、本発明の画像投影装置とを備える。本発明の画像投影装置の投影部１２０、撮像部１３０、制御部及び記憶部は上蓋６１０に内蔵されている。図１３（ａ）,（ｂ）に示すように、投影スクリーン１１０は鏡６３０の裏側に配置されている。図１３（ｃ）,（ｄ）に示すように、鏡６３０を手前に倒し、投影スクリーン１１０を上蓋６１０から離すことにより、本発明の画像投影装置が使用可能な状態になる。

以上説明したように、本発明の画像投影装置では、撮像部がピントを合わせる機能を有しており、画像データ抽出部は、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。このため、例えば投影スクリーンからその垂直方向に沿って前後に一定の短い距離だけ離れた位置までの範囲内にピントが合うように撮像部を調整しておけば、画像データ抽出部によって抽出される画像データには、指又は指示具が投影スクリーンの近傍に存在している画像データだけが含まれるので、操作判定部は、その画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。したがって、本発明の画像投影装置は、コンピュータ端末、携帯端末、腕時計、自動車、テレビジョン等の各種の機器、機械又は道具に組み込んで使用するのに好適である。

１，１ａ コンピュータ端末
１０ コンピュータ本体
２０ 液晶表示部
３０ タッチパネル
１００，１００ａ 画像投影装置
１１０，１１０ａ,１１００ 投影スクリーン
１２０ 投影部
１３０ 撮像部
１３１ カメラ部
１３２ 画像処理部
１３３ カメラ制御部
１３３ａ オートフォーカス制御部
１４０ 制御部
１４１ 表示制御部
１４２ 基準データ生成部
１４３ 画像データ抽出部
１４４ 位置データ生成部
１４５ 操作判定部
１４６ 入力制御部
１５０ 記憶部
１６０ スクリーン設置台
１６１ａ，１６１ｂ ベース部
１６２ ポール部
１６３ 凹部
１７０ スクリーン収納部
１８０ フック
２００ 文字入力画面
２１０ キーボード画像
２２０ 表示領域
２３０ 外枠
３００ スマートフォン
４００ 腕時計
５００ 机
５１０ 天板
６００ コンパクトミラー
６１０ 上蓋
６２０ 下蓋
６３０ 鏡

Claims (15)

1. 投影スクリーンと、所定の画像を前記投影スクリーンに投影して表示する投影部とを有し、使用者が指又は指示具を用いて前記投影スクリーンに投影された前記画像に対してタップ操作又はダブルタップ操作を行ったときに、その操作に対応する入力指示の内容を認識して所定の画像を前記投影スクリーンに投影する画像投影装置であって、
   ピントを合わせる機能を有し、前記投影スクリーンからその垂直方向に沿って前記投影スクリーンの表面側に５ｍｍ〜１００ｍｍの範囲内における所定の距離だけ離れた位置までの範囲内にピントが合うように調整された、前記投影スクリーンに投影された前記画像を撮像して画像データを取得する撮像部と、
   前記撮像部によって得られた画像データに基づいてその撮像範囲における、前記投影スクリーンに投影された前記画像の位置及び大きさを特定する基準データを生成する基準データ生成部と、
   前記撮像部によって得られた画像データのうち、使用者が前記投影スクリーンに投影された前記画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出し、その画像データが撮像された時刻に関する時刻データを当該画像データに関連付ける画像データ抽出部と、
   前記画像データ抽出部によって抽出された画像データに基づいてその撮像範囲における当該指又は指示部の位置を特定する位置データを生成し、その生成した位置データを当該画像データに関連付ける位置データ生成部と、
   前記画像データ抽出部によって時系列的に抽出された一連の画像データについて各画像データに関連付けられた位置データ及び時刻データに基づいて当該指又は指示具による操作の内容を判定する操作判定部と、
   前記操作判定部によって判定された操作の内容と前記位置データ生成部によって生成された位置データと前記基準データ生成部によって生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を前記投影スクリーンに投影するように前記投影部を制御する入力制御部と、
   を具備し、
   前記操作判定部は、前記画像データ抽出部によって時系列的に得られた一連の画像データにおいて、指又は指示具の位置がほとんど変化していない画像データが所定時間の間に抽出された後、一定時間が経過する前に再度、指又は指示具が略同じ位置に存在している画像データが上記所定時間の間に抽出されていると認識した場合、その指又は指示具はダブルタップ操作を行っていると判定し、指又は指示具の位置がほとんど変化していない画像データが上記所定時間の間に抽出された後、上記一定時間が経過する前に指又は指示具が略同じ位置に存在している画像データが抽出されていないと認識した場合、その指又は指示具はタップ操作を行っていると判定することを特徴とする画像投影装置。
2. 前記投影スクリーンに投影される各画像には枠が描かれ若しくは前記投影スクリーンに投影される各画像の四隅には所定のマークが描かれており、前記基準データ生成部は、前記撮像部によって得られた画像データに基づいてその撮像範囲における当該画像の前記枠又は前記マークの位置を認識し、その認識した前記枠又は前記マークの位置に関するデータを基準データとすることを特徴とする請求項１記載の画像投影装置。
3. 前記投影スクリーンはその裏面側から投影光を照射することにより画像を表示するためのものであり、前記投影部は前記投影スクリーンの裏面から前記画像を投影し、前記撮像部は前記投影スクリーンの裏面側から前記画像を撮像して画像データを取得することを特徴とする請求項１又は２記載の画像投影装置。
4. 前記画像データ抽出部は、使用者が指又は指示具で前記投影スクリーンの表面側から前記画像に対して操作を行ったときに、前記投影スクリーンを介して撮像された画像データの中から、その指又は指示具に対応する形状、又は形状及び色を認識し、その認識した形状、又は形状及び色が存在している画像データを、使用者が前記画像に対して操作を行った指又は指示具が存在している画像データとして取得することを特徴とする請求項３記載の画像投影装置。
5. 前記画像データ抽出部は、使用者が前記投影スクリーンの表面側から前記画像に指又は指示具を接触させて前記画像に対して操作を行ったときに、前記投影スクリーンを介して撮像された画像データの中から、その接触させた際の指又は指示具の形状の変化、色の変化、又は形状及び色の変化を認識し、その認識した指又は指示具の形状の変化、色の変化、又は形状及び色の変化が存在している画像データを、使用者が前記画像に対して操作を行った指又は指示具が存在している画像データとして取得することを特徴とする請求項３記載の画像投影装置。
6. 前記投影スクリーンはその表面側から投影光を照射することにより画像を表示するためのものであり、前記投影部は前記投影スクリーンの表面から前記画像を投影し、前記撮像部は前記投影スクリーンの表面側から前記画像を撮像して画像データを取得することを特徴とする請求項１又は２記載の画面投影装置。
7. 指示具としてレーザ光を発するレーザポインタを用いる場合、前記画像データ抽出部は、使用者が前記レーザポインタからのレーザ光を前記投影スクリーンに照射することにより前記投影スクリーンに投影された前記画像に対して操作を行ったときに、前記撮像部によって得られた画像データの中から、前記レーザポインタからのレーザ光の形状及び／又は色を認識し、その認識したレーザ光の形状及び／又は色が存在している画像データを、使用者が前記画像に対して操作を行った指又は指示具が存在している画像データとして取得することを特徴とする請求項１、２、３、４、５又は６のいずれか１項に記載の画像投影装置。
8. 前記投影スクリーンと前記投影部との間の距離及び前記投影スクリーンと前記撮像部との間の距離がそれぞれ略一定に保持されるように前記投影スクリーンを取り付けるためのスクリーン設置台を更に備えることを特徴とする請求項１、２、３、４、５、６又は７のいずれか１項に記載の画像投影装置。
9. 前記基準データ生成部、前記画像データ抽出部、前記位置データ生成部、前記操作判定部及び前記入力制御部は一つの筐体内に設けられており、前記投影部及び／又は前記撮像部はその筐体とは別の筐体内に設けられていることを特徴とする請求項１、２、３、４、５、６、７又は８のいずれか１項に記載の画像投影装置。
10. 請求項１、２、３、４、５、６、７、８又は９のいずれか１項に記載の画像投影装置を備えることを特徴とするコンピュータ端末。
11. 請求項１、２、３、４、５、６、７、８又は９のいずれか１項に記載の画像投影装置を備えることを特徴とする腕時計。
12. 請求項１、２、３、４、５、６、７、８又は９のいずれか１項に記載の画像投影装置を備えることを特徴とする携帯端末。
13. 請求項１、２、３、４、５、６、７、８又は９のいずれか１項に記載の画像投影装置を備えることを特徴とする自動車。
14. 請求項１、２、３、４、５、６、７、８又は９のいずれか１項に記載の画像投影装置を備えることを特徴とする机又はテーブル。
15. 請求項１、２、３、４、５、６、７、８又は９のいずれか１項に記載の画像投影装置を備えることを特徴とするコンパクトミラー。

Images