JP6047763B2 - ユーザインターフェース装置およびプロジェクタ装置 - Google Patents

Description

本開示は、操作部材に対する操作を検出するユーザインターフェース装置およびプロジェクタ装置に関する。

特許文献１は、投影面に操作アイコンの画像を投影し、その投影した操作アイコンに対してユーザ操作を可能とするプロジェクタを開示している。このプロジェクタは、プロジェクタの載置面からユーザの指先位置までの法線方向の距離Ｘを、撮影した画像データに基づいて測定し、法線方向の距離Ｘが所定の距離以下であるか否かの判定を行う。法線方向の距離Ｘが所定の距離以下である場合、プロジェクタは、指先の直下に位置する操作アイコンのサイズを大きなサイズに変更して投影する。これにより、指があっても、その指の影の影響を排除し、ユーザにとって操作アイコンが見やすく良好な操作を可能としている。

特開２０１２−１０４０９６号公報

特許文献１は、距離の測定手段であるカメラと、投影面とが正対していること（カメラの光軸が投影面と直交）を前提としたプロジェクタの構成を開示している。カメラと投影面とが正対しておらず傾いて対向している場合には、距離を誤って測定してしまい、ユーザ操作が適切に検出されず、ユーザインターフェース装置として適切に動作しないという課題がある。

本開示は、タッチ操作の対象とする操作部材を提示する物体と距離検出部とが正対していない場合であっても、提示された操作部材に対する操作を適切に検出できるユーザインターフェース装置およびプロジェクタ装置を提供する。

本開示の第一の態様において、第１の物体上に提示された操作部材に対する第２の物体による操作を検出するユーザインターフェース装置が提供される。ユーザインターフェース装置は、第１の物体までの距離及び第２の物体までの距離を検出する距離検出部と、距離検出部により検出された距離に基づき、操作を検出する制御部と、を備える。制御部は、第１の物体と距離検出部の間に第２の物体が存在すると判定したときに、距離検出部から第１の物体の表面上の少なくとも３点の位置までの距離と、当該距離検出部から第２の物体までの距離とに基づいて第１の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて第２の物体による操作部材に対する操作の有無を検出する。

本開示の第二の態様において、所定の操作部材の映像を第１の物体上に投影する映像投影部と、操作部材に対する第２の物体による操作を検出するユーザインターフェース装置と、を備えたプロジェクタ装置が提供される。ユーザインターフェース装置は、第１の物体までの距離及び第２の物体までの距離を検出する距離検出部と、距離検出部により検出された距離に基づき、操作を検出する制御部と、を備える。制御部は、第１の物体と距離検出部の間に第２の物体が存在すると判定したときに、距離検出部から第１の物体の表面上の少なくとも３点の位置までの距離と、距離検出部から第２の物体までの距離とに基づいて第１の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて第２の物体による操作部材に対する操作の有無を検出する。

本開示によれば、タッチ操作の対象とする操作部材を提示する物体と距離検出部とが正対していない場合であっても、操作部材と、それに対して操作を行う物体（例えば、ユーザの指）との間の距離を精度よく検出できる。よって、提示された操作部材に対する操作を適切に検出できるユーザインターフェース装置およびプロジェクタ装置を提供できる。

図１は、プロジェクタ装置１００が壁に映像を投影している状態を説明した図である。 図２は、プロジェクタ装置１００がテーブルに映像を投影している状態を説明した図である。 図３は、プロジェクタ装置１００の電気的構成を示すブロック図である。 図４Ａは、距離検出部２３０の電気的構成を示すブロック図である。 図４Ｂは、距離検出部２３０により取得された距離情報を説明するための図である。 図５は、プロジェクタ装置１００の光学的構成を示すブロック図である。 図６Ａは、距離検出部２３０とタッチ操作の対象である投影面とが正対していない場合に生じ得る課題を説明するための図である。 図６Ｂは、距離検出部２３０とタッチ操作の対象である投影面とが正対していない場合に生じ得る課題を説明するための図である。 図７は、指から投影面までの法線ベクトル及び法線方向の距離を算出する処理を示すフローチャートである。 図８は、指と投影面との間の法線方向の距離の算出を説明するための図である。 図９は、指の周囲に位置する３点を説明するための図である。 図１０は、タッチ操作の判定を説明するための図である。 図１１は、アプリケーションの実行の要否を判断する処理を示すフローチャートである。 図１２は、第１のアプリケーションの実行例を説明するための図である。 図１３Ａは、第２のアプリケーションの実行例を説明するための図である。 図１３Ｂは、第２のアプリケーションの実行例を説明するための図である。 図１３Ｃは、第２のアプリケーションの実行例を説明するための図である。 図１４は、投影面の法線方向からずれた角度で指と対向する投影面上の位置に対する、ユーザ操作の検出を説明するための図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
本開示にかかるユーザインターフェース装置を搭載した装置の具体的な実施の形態として、プロジェクタ装置１００を説明する。

図１及び図２を用いて、プロジェクタ装置１００による映像投影動作の概要を説明する。図１は、プロジェクタ装置１００が壁に映像を投影している状態を説明した図である。図２は、プロジェクタ装置１００がテーブルに映像を投影している状態を説明した図である。

図１及び図２に示すように、プロジェクタ装置１００は、駆動部１１０を介して筐体１２０に固定されている。プロジェクタ装置１００及び駆動部１１０を構成する各部と電気的に接続される配線は、筐体１２０及び配線ダクト１３０を介して電源と接続される。これにより、プロジェクタ装置１００及び駆動部１１０に対して電力が供給される。プロジェクタ装置１００は、開口部１０１を有している。プロジェクタ装置１００は、開口部１０１を介して投影面に映像を投影する。

駆動部１１０は、映像の投影方向を変更するようプロジェクタ装置１００を駆動することができる。すなわち、駆動部１１０は、プロジェクタ装置１００の向きを変更するための機構及び、その機構を駆動するためのモータやアクチュエータを含む。駆動部１１０は、図１に示すように映像の投影方向を壁１４０の方向になるようプロジェクタ装置１００を駆動することができる。

これにより、プロジェクタ装置１００は、壁１４０に対して映像１４１を投影することができる。同様に、駆動部１１０は、図２に示すように映像の投影方向をテーブル１５０の方向になるようプロジェクタ装置１００を駆動することができる。これにより、プロジェクタ装置１００は、テーブル１５０に対して映像１５１を投影することができる。駆動部１１０は、ユーザのマニュアル操作に基づいて駆動してもよいし、所定のセンサの検出結果に応じて自動的に駆動してもよい。また、壁１４０に投影する映像１４１と、テーブル１５０に投影する映像１５１とは、内容を異ならせてもよいし、同一のものにしてもよい。

プロジェクタ装置１００は、ユーザインターフェース装置２００を搭載している。ユーザインターフェース装置２００により、ユーザが、映像（１４１、１５１）の投影面（壁１４０、テーブル１５０）自体を、タッチパネルのような操作手段として操作することを可能としている。

以下、プロジェクタ装置１００の構成及び動作について詳細を説明する。

１．プロジェクタ装置の構成
図３は、プロジェクタ装置１００の電気的構成を示すブロック図である。プロジェクタ装置１００は、ユーザインターフェース装置２００、光源部３００、画像生成部４００、投影光学系５００を備えている。以下、順にプロジェクタ装置１００を構成する各部の構成について説明する。

１．１ ユーザインターフェース装置
ユーザインターフェース装置２００は、制御部２１０、メモリ２２０、距離検出部２３０を備えている。ユーザインターフェース装置２００は、ユーザが、例えば、ユーザの指１６０をポインティング手段として用いて所定の物体上に提示された操作対象に対する操作を行ったときに、その操作を検出し、操作に応じた動作を実行させるための手段である。

制御部２１０は、プロジェクタ装置１００全体を制御する半導体素子である。すなわち、制御部２１０は、ユーザインターフェース装置２００を構成する各部（距離検出部２３０、メモリ２２０）及び、光源部３００、画像生成部４００、投影光学系５００の動作を制御する。制御部２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。例えば、制御部２１０は、ＣＰＵ、ＭＰＵ、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ等で構成できる。

メモリ２２０は、各種の情報を記憶する記憶素子である。メモリ２２０は、フラッシュメモリや強誘電体メモリなどで構成される。メモリ２２０は、プロジェクタ装置１００（ユーザインターフェース装置２００を含む）を制御するための制御プログラム等を記憶する。また、メモリ２２０は、制御部２１０から供給された各種の情報を記憶する。

距離検出部２３０は、例えば、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）センサから構成され、対向する面までの距離を直線的に検出する。距離検出部２３０が壁１４０と対向しているときは、距離検出部２３０から壁１４０までの距離を検出する。同様に、距離検出部２３０がテーブル１５０と対向しているときは、距離検出部２３０からテーブル１５０までの距離を検出する。

図４Ａは、距離検出部２３０の電気的構成を示すブロック図である。図４Ａに示すように、距離検出部２３０は、赤外検出光を照射する赤外光源部２３１と、対向する面で反射した赤外検出光を受光する赤外受光部２３２とから構成される。赤外光源部２３１は、開口部１０１を介して、赤外検出光を周囲一面に拡散されるように照射する。赤外光源部２３１は、例えば、８５０ｎｍ〜９５０ｎｍの波長の赤外光を、赤外検出光として用いる。赤外受光部２３２は、撮像面上に複数の画素が二次元状に配列されている。

制御部２１０は、赤外光源部２３１から、赤外光源部２３１が照射した赤外検出光の位相の情報を受信し、その情報をメモリ２２０に記憶しておく。対向する面が距離検出部２３０から等距離になく、傾きや形状を有する場合、赤外受光部２３２の撮像面上に二次元状に配列された複数の画素は、それぞれ別々のタイミングで反射光を受光する。各画素が別々のタイミングで受光するため、赤外受光部２３２で受光する赤外検出光は、各画素で位相が異なってくる。制御部２１０は、赤外受光部２３２が各画素で受光した赤外検出光の位相の情報を赤外受光部２３２から受信し、その情報をメモリ２２０に記憶する。

制御部２１０は、赤外光源部２３１が照射した赤外検出光の位相と、赤外受光部２３２が各画素で受光した赤外検出光の位相とをメモリ２２０から読み出す。制御部２１０は、距離検出部２３０が照射した赤外検出光と、受光した赤外検出光との位相差に基づいて、距離検出部２３０から対向する面（各画素）までの距離を測定し、測定結果に基づき距離情報（距離画像）を生成して出力する。

図４Ｂは、距離検出部２３０（赤外受光部２３２）により取得された距離情報を説明するための図である。距離検出部２３０は、受光した赤外検出光による赤外画像を構成する画素毎に距離を検出する。これにより、制御部２１０は、距離検出部２３０が受光した赤外画像の画角全域対する距離の検出結果を画素単位で得ることができる。以下の説明では、図４Ｂに示すように、赤外画像の横方向にＸ軸をとり、縦方向にＹ軸をとる。そして、検出した距離方向にＺ軸をとる。制御部２１０は、距離検出部２３０の検出結果に基づいて、赤外画像を構成する各画素について、ＸＹＺの三軸の座標（ｘ、ｙ、ｚ）を取得できる。すなわち、制御部２１０は、距離検出部２３０の検出結果に基づいて、距離情報（距離画像）を取得できる。

上記では、距離検出部２３０としてＴＯＦセンサを例示したが、本開示はこれに限定されない。すなわち、ランダムドットパターンのように、既知のパターンを投光してそのパターンのズレから距離を算出するものであっても良いし、ステレオカメラによる視差を利用したものであってもよい。

１．２ 光学的構成
次に、プロジェクタ装置の光学的構成（映像投影部）、すなわち、光源部３００、画像生成部４００および投影光学系５００の構成について、図５を用いて説明する。図５は、プロジェクタ装置１００の光学的構成を示すブロック図である。図５に示すように、光源部３００は、投影画像を生成するために必要な光を、画像生成部４００に対して供給する。画像生成部４００は生成した映像を投影光学系５００に供給する。投影光学系５００は、画像生成部４００から供給された映像に対してフォーカシング、ズーミング等の光学的変換を行う。投影光学系５００は、開口部１０１と対向しており、開口部１０１から映像が投影される。

まず、光源部３００の構成について説明する。図５に示すように、光源部３００は、半導体レーザー３１０、ダイクロイックミラー３３０、λ／４板３４０、蛍光体ホイール３６０などを備えている。半導体レーザー３１０は、例えば、波長４４０ｎｍ〜４５５ｎｍのＳ偏光の青色光を発光する固体光源である。半導体レーザー３１０から出射されたＳ偏光の青色光は、導光光学系３２０を介してダイクロイックミラー３３０に入射される。

ダイクロイックミラー３３０は、例えば、波長４４０ｎｍ〜４５５ｎｍのＳ偏光の青色光に対しては９８％以上の高い反射率を有する一方、波長４４０ｎｍ〜４５５ｎｍのＰ偏光の青色光及び、波長４９０ｎｍ〜７００ｎｍの緑色光〜赤色光に対しては偏光状態に関わらず９５％以上の高い透過率を有する光学素子である。ダイクロイックミラー３３０は、半導体レーザー３１０から出射されたＳ偏光の青色光を、λ／４板３４０の方向に反射する。

λ／４板３４０は、直線偏光を円偏光に変換又は、円偏光を直線偏光に変換する偏光素子である。λ／４板３４０は、ダイクロイックミラー３３０と蛍光体ホイール３６０との間に配置される。λ／４板３４０に入射したＳ偏光の青色光は、円偏光の青色光に変換された後、レンズ３５０を介して蛍光体ホイール３６０に照射される。

蛍光体ホイール３６０は、高速回転が可能なように構成されたアルミ平板である。蛍光体ホイール３６０の表面には、拡散反射面の領域であるＢ領域と、緑色光を発光する蛍光体が塗付されたＧ領域と、赤色光を発光する蛍光体が塗付されたＲ領域とが複数形成されている。蛍光体ホイール３６０のＢ領域に照射された円偏光の青色光は拡散反射されて、円偏光の青色光として再びλ／４板３４０に入射する。λ／４板３４０に入射した円偏光の青色光は、Ｐ偏光の青色光に変換された後、再びダイクロイックミラー３３０に入射する。このときダイクロイックミラー３３０に入射した青色光は、Ｐ偏光であるためダイクロイックミラー３３０を透過して、導光光学系３７０を介して画像生成部４００に入射する。

蛍光体ホイール３６０のＧ領域に照射された青色光は、Ｇ領域上に塗付された蛍光体を励起して緑色光を発光させる。Ｇ領域上から発光された緑色光は、ダイクロイックミラー３３０に入射する。このときダイクロイックミラー３３０に入射した緑色光は、ダイクロイックミラー３３０を透過して、導光光学系３７０を介して画像生成部４００に入射する。同様に、蛍光体ホイール３６０のＲ領域に照射された青色光は、Ｒ領域上に塗付された蛍光体を励起して赤色光を発光させる。Ｒ領域上から発光された赤色光は、ダイクロイックミラー３３０に入射する。このときダイクロイックミラー３３０に入射した赤色光は、ダイクロイックミラー３３０を透過して、導光光学系３７０を介して画像生成部４００に入射する。

蛍光体ホイール３６０は高速回転しているため、光源部３００から画像生成部４００へは、青色光、緑色光、赤色光が時分割されて出射する。

画像生成部４００は、制御部２１０から供給される映像信号に応じた投影画像を生成する。画像生成部４００は、ＤＭＤ（Ｄｉｇｉｔａｌ−Ｍｉｒｒｏｒ−Ｄｅｖｉｃｅ）４２０などを備えている。ＤＭＤ４２０は、多数のマイクロミラーを平面に配列した表示素子である。ＤＭＤ４２０は、制御部２１０から供給される映像信号に応じて、配列したマイクロミラーのそれぞれを偏向させて、入射する光を空間的に変調させる。光源部３００は、青色光、緑色光、赤色光を時分割で出射してくる。ＤＭＤ４２０は、導光光学系４１０を介して、時分割に出射されてくる青色光、緑色光、赤色光を順に繰り返し受光する。ＤＭＤ４２０は、それぞれの色の光が出射されてくるタイミングに同期して、マイクロミラーのそれぞれを偏向させる。これにより、画像生成部４００は、映像信号に応じた投影画像を生成する。ＤＭＤ４２０は、映像信号に応じて、投影光学系に進行させる光と、投影光学系の有効範囲外へと進行させる光とにマイクロミラーを偏向させる。これにより、画像生成部４００は、生成した投影画像を、投影光学系５００に対して供給することができる。

投影光学系５００は、フォーカスレンズやズームレンズなどの光学部材５１０を備える。投影光学系５００は、画像生成部４００から入射した光を拡大して投影面へ投影する。

上記では、プロジェクタ装置１００の一例として、ＤＭＤ４２０を用いたＤＬＰ（Ｄｉｇｉｔａｌ―Ｌｉｇｈｔ−Ｐｒｏｃｅｓｓｉｎｇ）方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置１００として、液晶方式による構成を採用しても構わない。

上記では、プロジェクタ装置１００の一例として、蛍光体ホイール３６０を用いた光源を時分割させた単板方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置１００として、青色光、緑色光、赤色光の各種光源を備えた三板方式による構成を採用しても構わない。

上記では、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを別ユニットとする構成を説明したが、本開示はこれに限定されない。すなわち、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを統合したユニットとしても構わない。三板方式を採用するのであれば、各色の光源と赤外光の光源とを統合したユニットとしても構わない。

２．ユーザインターフェース装置の動作
プロジェクタ装置１００に搭載されたユーザインターフェース装置２００の動作について説明する。

本実施形態のプロジェクタ装置１００は、映像を投影する投影面（例えば、壁１４０或いはテーブル１５０）上に、アイコン、ボタン、キーボード等の操作部材の映像を投影する。ユーザインターフェース装置２００は、例えばユーザの指１６０をポインティング手段として用いたユーザによる、投影面１８０上に投影された操作部材に対する操作を検出する。そして、ユーザインターフェース装置２００は、検出した操作に応じた動作を実行させる。

最初に、上記のような動作を行うユーザインターフェース装置２００において想定する課題について説明する。図６Ａ及び図６Ｂは、距離検出部２３０とタッチ操作の対象である投影面１８０とが正対していない場合に生じ得る課題を説明するための図である。図６Ａ及び図６Ｂは、プロジェクタ装置１００と、対向する投影面１８０（例えば、壁１４０或いはテーブル１５０）とが正対しておらず傾いている状況を示している。このような場合、投影面と、それに対して操作を行う物体（例えば、ユーザの指）との間の距離を誤って測定してしまい、ユーザ操作を適切に検出できないという問題がある。

図６Ａ及び図６Ｂは、ユーザの指１６０が位置ＰＡ１に位置している場合と、位置ＰＡ２に位置している場合とをそれぞれ示している。このとき、投影面１８０から位置ＰＡ１までの法線距離Ｄ’１、及び、投影面１８０から位置ＰＡ２までの法線距離Ｄ’２は同じであるとする。そして、指１６０を位置ＰＡ１に配置しているユーザは、投影面１８０の真下の位置ＰＢ１へのタッチ操作を意図しているとする。同様に、指１６０を位置ＰＡ２に配置しているユーザは、投影面１８０の真下の位置ＰＢ２へのタッチ操作を意図しているとする。

上述の通り、距離検出部２３０は、対向する投影面１８０までの距離を直線的に検出する。従って、距離検出部２３０は、位置ＰＡ１に位置する指１６０までの距離として、距離検出部から位置ＰＡ１までの距離Ｄ１を検出する事になる。同様に、距離検出部２３０は、位置ＰＡ２に位置する指１６０までの距離として、距離Ｄ４を検出する事になる。

ユーザの指１６０による投影面１８０へのタッチ操作の判定を、距離検出部２３０の検出結果（距離検出部２３０から投影面１８０までの距離）をそのまま用いて、所定の閾値と比較することにより実現する方法が考えられる。距離検出部２３０と投影面１８０とが正対している場合（距離検出部２３０の赤外受光部２３２の受光面と投影面１８０とが並行な場合）は、この方法であっても適切にタッチ操作の判定を行うことができる。

しかしながら、図６Ａ及び図６Ｂに示すように、プロジェクタ装置１００の距離検出部２３０と投影面１８０とが正対しておらず、傾いて対向している場合は、指１６０から投影面１８０までの法線距離が同じであっても、タッチ操作を行おうとする指１６０の位置に応じて、距離検出部２３０の検出結果（距離検出部２３０から投影面１８０までの距離）が大きく異なってくる。例えば、図６Ａに示すように、指１６０が位置ＰＡ１に位置する場合と、位置ＰＡ２に位置する場合とで、投影面１８０までの法線距離（Ｄ’１、Ｄ’２）は実際には同じであるが、タッチ操作に使用する判定距離Ｄ３、Ｄ６は大きく異なる。

具体的な判定距離としては、指１６０が位置ＰＡ１にある場合、距離検出部２３０から指１６０までの距離はＤ１となり、距離検出部２３０から投影面までの距離は、Ｄ２（事前に投影面までの距離を距離検出部２３０で取得しておく）となる。従って、指１６０と投影面１８０までの距離はＤ３＝（Ｄ２−Ｄ１）となる。一方、指１６０が位置ＰＡ２にある場合、距離検出部２３０から指１６０までの距離はＤ４となり、距離検出部２３０から投影面１８０までの距離はＤ５となる。従って、指１６０と投影面１８０までの距離はＤ６＝（Ｄ５−Ｄ４）となり、指１６０が位置ＰＡ１に位置する場合と位置ＰＡ２に位置する場合とで、判定距離は大きく異なってしまう。

本発明者は、距離検出部２３０と投影面１８０とが正対せず、傾いて対向しているような場合に、投影面１８０をタッチ操作の対象とする面として機能させるユーザインターフェース装置２００を試作し、検討した。その結果、本発明者は、ユーザインターフェース装置２００を試作検討する過程において本課題を認識し、後述する解決手段を考案するに至った。

具体的には、本発明者は、図６Ｂに示すように、指１６０の位置に関わらず、指１６０から投影面１８０までの法線ベクトル（法線距離）を検出し、当該検出した法線ベクトルに基づいてタッチ操作を判定する手法を考案した。これにより、距離検出部２３０と投影面１８０とが正対しておらず傾いて対向しているような場合であっても、適切にタッチ操作の判定を行うことができるユーザインターフェース装置２００を実現できた。

以下、指１６０の位置に関わらず、指１６０から投影面１８０までの法線ベクトル（法線距離）を検出し、当該検出した法線ベクトルに基づいてタッチ操作を判定する構成について、詳細に説明する。

図７は、指１６０から投影面１８０までの法線ベクトルを算出する処理を示すフローチャートである。図８は、指１６０と投影面１８０との間の法線方向の距離の算出を説明するための図である。図９は、指１６０の周囲に位置する３点を説明するための図である。なお、本実施の形態では、投影面１８０に対して、ユーザインターフェース装置２００により、ユーザが操作を行うためのユーザインターフェース（アイコン、ボタン、キーボード等）を示す映像が投影される。

まず、制御部２１０は、距離検出部２３０から距離情報を取得する（Ｓ７００）。次に、制御部２１０は、取得した距離情報に基づいて、タッチ操作の対象とする映像が投影される投影面１８０と距離検出部２３０との間に物体（ユーザの指など）が進入したか否かを検知する（Ｓ７１０）。物体の進入の判断は、公知の如何なる技術を用いてもよい。例えば、人感センサのような赤外線による温度検知を用いて、物体が進入したか否かを判断しても良い。或いは、タッチ操作の対象とする投影面を撮像した画像の時間差分（フレーム間差分）を算出し、その差分が一定閾値を越えたか否かを判定するような、動き検出処理により、物体の進入を判断してもよい。

制御部２１０は、投影面１８０と距離検出部２３０との間に物体が進入したことを検知するまで、距離検出部２３０から距離情報を取得するステップＳ７００を繰り返す（Ｓ７００、Ｓ７１０におけるＮＯ）。一方、制御部２１０は、投影面１８０と距離検出部２３０との間に物体が進入したと検知した場合（Ｓ７１０におけるＹＥＳ）、今回の物体の進入が検知される前の投影面１８０までの距離情報をメモリ２２０から取得する（Ｓ７２０）。なお、投影面１８０までの距離に関する情報については、直前フレームを含む過去数フレーム分の距離情報が、メモリ２２０に格納されている。例えば、プロジェクタ装置１００の電源オン時の初期化処理において、投影面１８０と距離検出部２３０の間に物体が存在しない状態で、距離検出部２３０により投影面１８０までの距離が測定され、その測定結果に基づき距離情報がメモリ２２０に格納される。

続いて、制御部２１０は、ステップＳ７１０において検知した物体が、指１６０であるか否かを検出する（Ｓ７３０）。指であるか否かの検出は、例えば、予め記憶しておいた指の形状の特徴量を示す情報に基づいて、マッチング処理をすることで検出できる。或いは、予め記憶しておいた指の距離情報に基づいてマッチング処理をしてもよい。その他、指であるか否かの検出方法として、公知の任意の技術を用いることができる。

進入した物体が指ではないと検出した場合（Ｓ７３０におけるＮＯ）、制御部２１０はステップＳ７００の処理に戻り、距離情報の取得を行う。

進入した物体が指であると検出した場合（Ｓ７３０におけるＹＥＳ）、制御部２１０は、検出した指の位置（ＸＹ座標位置）の周辺にある少なくとも３点の投影面１８０上の位置について距離情報（ＸＹＺ座標）を取得する（Ｓ７４０）。具体的には、図８に示すように、制御部２１０は、ステップＳ７２０においてメモリ２２０に記憶しておいた投影面１８０までの距離情報から指の位置（ＸＹＺ座標）ＰＡを求める。次に、制御部２１０は、図９に示すように、求めた位置ＰＡの近傍の少なくとも３点の位置ＰＤ１〜ＰＤ３について、距離検出部２３０から投影面１８０までの距離情報を取得する。

続いて、制御部２１０は、ステップＳ７４０にて取得した３点の距離情報（ＸＹＺ座標）から投影面１８０の法線ベクトル１９０を算出する（Ｓ７５０）。具体的には、制御部２１０は、３点の距離情報（ＸＹＺ座標）から３点で表される２つのベクトルの外積を計算することによって、この３点から表される２つのベクトルの直交ベクトルを算出する。この算出した直交ベクトルの単位ベクトルが、投影面１８０の法線ベクトル１９０となる。

そして、制御部２１０は、ステップＳ７５０で算出した法線ベクトル１９０と、ステップＳ７４０で算出した指の位置とから、指の座標から投影面の法線方向に降ろした線分が投影面と交わる点までの距離（法線距離）を算出する（Ｓ７６０）。具体的には、ステップＳ７４０で算出した指の位置（ＸＹＺ座標）と、指のＸＹ座標位置に対応する投影面上の位置（ＸＹＺ座標）とを結んだベクトルと、ステップＳ７５０で算出した投影面の法線ベクトル１９０との内積の絶対値を演算することによって法線距離を得る。例えば、図８において、指の位置ＰＡと、指の位置ＰＡに対応する投影面１８０上の位置ＰＢとを結んだベクトルと、投影面１８０の法線ベクトル１９０との内積の絶対値を演算することによって法線距離Ｄ’を得る。

そして、制御部２１０は、ステップＳ７６０で算出した法線距離をメモリ２２０に記憶する（Ｓ７７０）。すでにメモリ２２０に法線距離が記憶されている場合、制御部２１０は新たに算出した法線距離で上書き（更新）する。

なお、ステップＳ７１０で物体の進入を検知しなくなったとき、または、ステップＳ７３０で進入物体が指ではないと検出したときは、制御部２１０は、メモリ２２０に記憶されている法線距離を消去する。

その後、制御部２１０は、ステップＳ７００に戻り、上記の処理を繰り返す。

上述のようにして、ユーザの指１６０と投影面１８０までの法線距離が求められ、メモリ２２０に記憶される。このようにして求められた法線距離は、投影面に投影された操作のための映像（アイコン、ボタン等）に対するユーザの指の近接判定に用いられる。

３．操作に基づくアプリケーションの実行
以下、投影面１８０に投影されたインターフェース画像に対する操作に基づくアプリケーションの実行の要否を判断する処理を説明する。図１０は、タッチ操作の判定を説明するための図である。ここでは、図１０に示すように投影面１８０上に、操作対象となるインターフェース画像１８５（アイコン、ボタン、キーボード等）が表示されている場合を考える。ユーザは、インターフェース画像１８５に対してタッチ操作を行う場合、指１６０をそのインターフェース画像１８５に近づける。

図１１は、インターフェース画像に対するユーザ操作に基づくアプリケーションの実行の要否を判断する動作を示すフローチャートである。制御部２１０は、指１６０と投影面１８０との間の法線距離Ｄ’に基づいてタッチ判定を行い、アプリケーションの実行要否を判断する。

具体的には、制御部２１０は、メモリ２２０に記憶しておいた法線距離Ｄ’を、所定の閾値と比較する（Ｓ８００）。法線距離Ｄ’が所定の閾値以上の場合（Ｓ８００におけるＮＯ）、制御部２１０は、タッチ操作は行われていないと判定し、アプリケーションを実行しない。一方、法線距離Ｄ’が所定の閾値よりも小さい場合（Ｓ８００におけるＹＥＳ）、制御部２１０は、タッチ操作が行われたと判定し、タッチ操作がなされたインターフェース画像１８５に対応する所定のアプリケーションを実行する（Ｓ８１０）。制御部２１０は、所定の周期で上記の処理を繰り返す。

３．１ アプリケーションの実行例
続いて、プロジェクタ装置１００のタッチ操作の判定にかかるアプリケーションの実行例について説明する。図１２は、第１のアプリケーション（タッチ操作により起動されるアプリケーション）の実行例を説明するための図である。図１３Ａ、Ｂ、Ｃは、第２のアプリケーション（ジェスチャ操作により起動されるアプリケーション）の実行例を説明するための図である。

上記の実施形態のタッチ操作の判定制御は、プロジェクタ装置１００から、投影面１８０（例えば、壁１４０、テーブル１５０）に投影する映像に対してインタラクションするアプリケーションに使用できる。すなわち、制御部２１０は、タッチ操作が行われたと判定した場合、タッチ操作された座標位置に対応して、投影する映像を切り替えるようにしてもよい。例えば、図１２に示すように、投影面１８０に映像５１、５２，５３が投影されている場合、いずれかの映像に対してタッチ操作が行われたと判定した場合、制御部２１０は、タッチされた映像５１、５２または５３に応じて、投影する映像を切り替える。図１２の例では、映像６１、６２または６３に切り替えている。換言すれば、本実施形態のタッチ操作の判定制御は、タッチ操作が行われたと判定された座標に応じて、あらかじめ決められた映像に遷移するアプリケーションに対して適用できる。このようなアプリケーションの例として、例えば、複数の料理名が表示されるレストランのメニューを示す映像を投影面１８０に投影し、いずれかの料理名が選択されたときに、選択された料理名に対応する料理の画像や詳細な情報を表示するようなアプリケーションが考えられる。

また、第２のアプリケーションは、いわゆるジェスチャ操作に対応して投影映像を変化させる機能を有する。図１３Ａや図１３Ｂは、ピンチイン、ピンチアウト操作に対応して投影画像を変化させる機能を説明した図である。すなわち、制御部２１０は、タッチ操作された２点の座標間の距離の変化によって、プロジェクタ装置１００から投影面１８０へ投影する映像の拡大／縮小を行う。その場合、２点のタッチ判定を実施する必要があるが、複数点におけるタッチ操作の有無の判定に対しても、上述の判定の制御を適用することができる。

図１３Ｃは、ドラッグアンドドロップ操作に対応して投影画像を変化させる機能を説明した図である。図１３Ｃに示すように、一度、ユーザが、投影された映像に対してタッチ操作を行った後、タッチ操作が行われている状態を維持したまま（投影面１８０からの指の高さを維持したまま）タッチ操作の位置を移動させた場合、その移動に合わせて、タッチ操作の対象としている映像を移動させてもよい。このようなアプリケーションの場合、ユーザの指１６０と投影面１８０間の法線方向の距離はできる限り短い距離となったときにタッチ操作が行われていると判定することが望ましい。例えば、法線距離と比較する所定の閾値として、人間の平均的な指の厚さと、距離検出部２３０のセンサ精度のばらつきとを考慮して、約３０ｍｍ程度にすることが考えらえる。なお、使用する距離検出部２３０のセンサの精度によっては、この閾値を更に短くしてもよい。

４．効果、等
以上のように本実施形態のプロジェクタ装置１００は、所定の操作部材の映像であるインターフェース画像１８５を投影面１８０（第１の物体の一例）上に投影する映像投影部と、操作部材に対するユーザの指１６０（第２の物体の例）による操作を検出するユーザインターフェース装置２００と、を備える。ユーザインターフェース装置２００は、投影面１８０までの距離及びユーザの指１６０までの距離を検出する距離検出部２３０と、距離検出部２３０により検出された距離に基づき、操作を検出する制御部２１０とを備える。制御部２１０は、投影面１８０と距離検出部２３０の間に指１６０が存在すると判定したときに、距離検出部２３０から投影面１８０の表面上の少なくとも３点の位置までの距離と、距離検出部２３０から指１６０までの距離とに基づいて投影面１８０の法線ベクトル１９０を算出し、当該法線ベクトル１９０に基づいて指１６０によるインターフェース画像１８５に対する操作を検出する。

例えば、制御部２１０は、算出した法線ベクトル１９０に基づいて、指１６０と投影面１８０との間の距離であって投影面１８０の法線方向の距離Ｄ’を算出し、当該算出した距離Ｄ’が所定の範囲内にあるときに、操作部材に対する操作があったことを検出してもよい。

以上の構成により、タッチ操作の対象とする操作部材を提示する投影面１８０と距離検出部２３０とが正対していない場合であっても、操作部材と、それに対して操作を行う物体（例えば、ユーザの指）との間の距離を精度よく検出できることから、提示された操作部材に対する操作を適切に検出することができる。よって、ユーザ操作に応じて、適切にアプリケーションを実行することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。

しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施形態では、ユーザインターフェース装置２００をプロジェクタ装置１００に適用した例を説明したが、本開示はこれに限定されない。すなわち、ユーザによる操作の対象となる操作手段を投影映像により表現したが、これらの操作手段は他の方法により提供されてもよい。例えば、メニュー等の絵が描画された紙面や、液晶ディスプレイなどの他の表示用デバイス上での表示により、操作手段を提示してもよい。そのようにして提示された操作手段に対するユーザインターフェースとして、上記のユーザインターフェース装置２００の構成を適用することができる。または、投影映像に対するタッチ操作ではなく、現実世界の物体そのものをタッチ操作して処理をするような制御装置のインターフェースとしても、上記のユーザインターフェース装置２００の構成を適用できる。

上記では、法線方向の距離（Ｄ’）そのものをタッチ操作が行われたことの判定に使用する例を挙げたが、本開示はこれに限定されない。図１４は、投影面の法線方向からずれた角度で指と対向する投影面上の位置に対する、ユーザ操作の検出を説明するための図である。図１４に示すように、法線方向の距離Ｄ’そのものはタッチ操作が行われたことの判定には使用しないで、法線方向からオフセット角度（θ）を持たせた位置（ＰＢ１’、ＰＢ２’）と指の検出位置ＰＡとの距離（Ｄ１’、Ｄ２’）を、タッチ操作の有無の判定に使用してもよい。この場合であっても、距離（Ｄ１’、Ｄ２’）を算出するため、法線ベクトル１９０を算出する必要がある。具体的には、投影面１８０から指１６０までの法線ベクトル１９０を算出し、算出した法線ベクトル１９０に基づいて、法線距離Ｄ’を求め、その法線距離Ｄ’とオフセット角度に基づき、オフセット角度を持たせた位置（ＰＢ１’、ＰＢ２’）の距離（Ｄ１’、Ｄ２’）を算出できる。そして、この距離（Ｄ１’、Ｄ２’）に基づき、所定の動作を実行するように構成すればよい。

または、法線方向の距離そのものはタッチ操作が行われたことの判定には使用しないで、指１６０の検出位置と同じＸＹ座標を有する投影面１８０上の一点の位置までの距離を、タッチ操作が行われたことの判定に用いてもよい。この場合、ユーザインターフェース装置２００のメモリ２２０は、距離検出部２３０に対する投影面１８０の傾き（θ）に応じた距離補正テーブルを格納しておく。距離補正テーブルは、距離検出部２３０に対する投影面１８０の傾き（α）と、閾値の補正値とを関連づけて格納する。そして、検出した指１６０の位置と投影面１８０の傾きとに基づいて、距離補正テーブルから閾値の補正値を読み出して、その閾値の補正値により、タッチ操作の判定に用いる所定の閾値を補正してもよい。

具体的には、制御部２１０は、算出した指１６０の位置（ＸＹＺ座標）と、指のＸＹ座標位置に対応する投影面１８０上の位置（ＸＹＺ座標）とから、指１６０と投影面１８０の間の距離を算出する。また、制御部２１０は、投影面１８０上において指のＸＹ座標位置の周辺に対応する少なくとも３点の距離情報（ＸＹＺ座標）を取得する。すなわち、制御部２１０は、距離検出部２３０から投影面１８０までの少なくとも３点の距離情報を取得する。そして、制御部２１０は、取得した３点の距離情報が示すＸＹＺ座標に基づいて、投影面１８０の法線ベクトル１９０を算出する。制御部２１０は、算出した法線ベクトル１９０から、距離検出部２３０と投影面１８０との傾きを算出する。制御部２１０は、算出した傾きと、距離検出部２３０が検出した指１６０のＸＹＺ座標に基づいて、メモリ２２０に記憶しておいた距離補正テーブルから適切な補正値を参照する。そして、制御部２１０は、参照した補正値に基づいて所定の閾値を補正して、タッチ操作が行われたかの判定に使用する。これにより、距離補正テーブルを参照して、適切なタッチ操作の判定を行うことができる。なお、距離補正テーブルを参照する実施例においても、ユーザインターフェース装置２００は、投影面の法線ベクトル１９０を算出することについては、先に例示した実施の形態と同様である。

また、上記の実施の形態では、対向する面（投影面１８０）として、壁１４０やテーブル１５０を例示したが、これに限定されない。本実施の形態にかかるプロジェクタ装置１００或いは、ユーザインターフェース装置２００は、対向する面（投影面）として任意の形状を有する物体を採用することができる。任意の形状を有する物体であっても、ユーザインターフェース装置２００によれば、適切にタッチ操作が行われたことの判定を行うことができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、ユーザ操作を適切に検出できるユーザインターフェース装置を提供できる。本開示のユーザインターフェース装置は、上記のようなプロジェクタ装置のみならず、操作部材に対する操作を距離検出部による検出結果に応じて検出する種々の装置に適用可能である。

５１，５２，５３ 映像
６１，６２，６３ 映像
１００ プロジェクタ装置
１１０ 駆動部
１０１ 開口部
１２０ 筐体
１３０ 配線ダクト
１４０ 壁
１４１ 映像
１５０ テーブル
１５１ 映像
１６０ 指
１８０ 投影面
１８５ インターフェース画像
１９０ 法線ベクトル
２００ ユーザインターフェース装置
２１０ 制御部
２２０ メモリ
２３０ 距離検出部
２３１ 赤外光源部
２３２ 赤外受光部
３００ 光源部
３１０ 半導体レーザー
３２０ 導光光学系
３３０ ダイクロイックミラー
３４０ λ／４板
３５０ レンズ
３６０ 蛍光体ホイール
３７０ 導光光学系
４００ 画像生成部
４１０ 導光光学系
４２０ ＤＭＤ
５００ 投影光学系
５１０ 光学部材

Claims (6)

1. 第１の物体上に提示された操作部材に対する第２の物体による操作を検出するユーザインターフェース装置であって、
   前記第１の物体までの距離及び前記第２の物体までの距離を検出する距離検出部と、
   前記距離検出部により検出された距離に基づき、前記操作を検出する制御部と、を備え、
   前記制御部は、
   前記第１の物体と前記距離検出部の間に前記第２の物体が存在すると判定したときに、
   当該距離検出部から前記第１の物体の表面上の少なくとも３点の位置までの距離と、当該距離検出部から前記第２の物体までの距離とに基づいて前記第１の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて前記第２の物体による前記操作部材に対する操作の有無を検出する
   ユーザインターフェース装置。
2. 前記制御部は、前記算出した法線ベクトルに基づいて、前記第２の物体と前記第１の物体との間の距離であって前記第１の物体の法線方向の距離を算出し、当該算出した距離が所定の範囲内にあるときに、前記第１の物体に対する第２の物体の操作があったことを検出する、
   請求項１に記載のユーザインターフェース装置。
3. 前記制御部は、前記第２の物体による前記操作部材に対する操作があったことを検出したときに、その操作に応じた所定の動作を実行させる、請求項１に記載のユーザインターフェース装置。
4. 前記操作部材は、前記第１の物体上に投影された映像により提供される、
   請求項１に記載のユーザインターフェース装置。
5. 前記操作部材は、前記第１の物体上に直接描画されることにより、または、前記操作部材が描画された部材が前記第１の物体上に載置されることにより提供される、請求項１に記載のユーザインターフェース装置。
6. 所定の操作部材の映像を第１の物体上に投影する映像投影部と、
   前記操作部材に対する第２の物体による操作を検出するユーザインターフェース装置と、を備え、
   前記ユーザインターフェース装置は、
   前記第１の物体までの距離及び前記第２の物体までの距離を検出する距離検出部と、
   前記距離検出部により検出された距離に基づき、前記操作を検出する制御部と、を備え、
   前記制御部は、
   前記第１の物体と前記距離検出部の間に前記第２の物体が存在すると判定したときに、
   当該距離検出部から前記第１の物体の表面上の少なくとも３点の位置までの距離と、当該距離検出部から前記第２の物体までの距離とに基づいて前記第１の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて前記第２の物体による前記操作部材に対する操作の有無を検出する
   プロジェクタ装置。

Images