JPWO2014041938A1 - 情報入力装置 - Google Patents

Abstract

被検出対象を追尾して入力用画像の投影位置を変化させ、入力用画像への情報入力を検出することを可能とする情報入力装置を提供することを目的とする。入力用画像を投影する投影部と、入力用画像の投影位置を変更する投影位置変更部と、ユーザの足の位置を検知する検知センサと、検知センサにより検知されたユーザの足の位置を入力用画像が追尾するように投影位置変更部を制御し且つユーザの足による入力操作を判定して入力用画像による情報入力を検出する制御部を有することを特徴とする情報入力装置。

Description

本発明は情報入力装置に関し、特に投影された入力用画像を用いた情報入力装置に関する。

例えば、テレビ、ビデオ等を操作するための情報入力を行うために、リモコン等の情報入力装置を利用することが一般的に行われている。しかしながら、いざ利用しようとすると、リモコン等の置き場所が不明であったりして、利用したい時に、利用できないといった不具合があった。

そこで、情報入力機器自体を操作することなく、シンプルで分かり易く、且つ大多数の人が直感的に操作できるような情報入力装置が求められていた。

ところで、映像投射装置から複数の入力キーを有する操作部を示す映像を投影し、この映像上における指の動きを画像認識処理により検出して、入力キーに対する押下げ操作がなされた判別する情報入力装置が知られている（例えば、特許文献１参照）。

特許文献１において、映像上の指の動きは、撮像部で読取った映像から、エッジ検出によって指を判別した上で、指の上から下への動き、即ち映像が投影されている面に対する指の接触を検出している。

また、プロジェクタをユーザが身に着け、プロジェクタが投影するダイアルパッドを手のひらで受け、手のひらに投影されたダイアルパッドをユーザの指先に装着された器具で指し示すと、指し示されたダイアルパッドに対応した入力がなされる、装着可能なジェスチャーインタフェイスが知られている（例えば、特許文献２参照）。

特許文献２に記載のジェスチャーインタフェイスでは、カメラが撮像した画像をコンピュータが画像解析して、ユーザの指先に装着した器具の動きを追跡し、ダイアルパッドに対応した入力があるか否かが判断されている。また、プロジェクタからの画像は、ミラーで反射されてから投影されるため、ミラーの位置をユーザがマニュアルで変更することによって、投影場所を変更することができる。

さらに、画像を投影可能な所定の領域内で、手のひらを検出し、検出した手のひらに、星、俳句、図鑑の内容を投影するシステムが知られている（例えば、非特許文献１参照）。非特許文献１に記載のシステムでは、プロジェクタの投影方向は、固定されているが、常に所定領域全体に投影を行っているので、検出された手のひらの部分にのみ画像を表示させるようにしている。

さらに、譜面が表示される表示パネルにおいて、譜面をめくる指示をペダルで行うことを可能とする電子譜面台が知られている（例えば、特許文献３）。特許文献３に記載のシステムでは、電子譜面台にケーブルで接続された実際のペダルによって、楽譜をめくる指示を行っている。

特開平１１−９５８９５号公報（図１） 米国公開２０１０/０１９９２３２号公報（図１２） 特開２００８−２９２９６６号公報（図１）

「手のひらインタフェース：画像処理を用いた公共空間におけるパーソナルな情報提示システム」、情報処理学会論文誌 ｖｏｌ．４９、Ｎｏ．７ ２５２８−２５３８、２００８年７月

しかしながら、映像のエッジを検出することによって指の動きを判断すると、人間の指以外の物体を指と誤って認識したり、物を持っている場合に持っている物の先を指と誤って認識したり、するという不具合があった。

また、特許文献２に記載のジェスチャーインタフェイスでは、ユーザがプロジェクタ等を含む装置を身に着けなければならず通常のリモコンと比較しても、操作が煩わしいという不具合があった。

さらに、特許文献２に記載のジェスチャーインタフェイスでは、プロジェクタが固定されているため、ミラーによって投影位置はマニュアルで変更することはできるが、投影位置に手のひらを持っていかなければ、手のひらにダイアルパッドを投影することができないという不具合もあった。

また、非特許文献１に記載のシステムでは、プロジェクタの投影方向が固定されているので、検出された手のひらに画像を表示するためには、所定の領域全体を投影可能な大型プロジェクタを利用しなければならなかった。

また、特許文献３に記載のシステムでは、入力指示を行うためのペダルは電子譜面台の本体とケーブルで接続されているため、ケーブルが邪魔になったり、ユーザが移動してペダルから離れてしまうと、入力指示を行うことが困難になったりする、という不具合があった。

そこで、本発明は、上記の不具合を解消することを可能とした情報入力装置を提供することを目的とする。

また、本発明は、ユーザの足を追尾して入力用画像の投影位置を変更させ、ユーザの足による入力用画像への情報入力を検出することを可能とする情報入力装置を提供することを目的とする。

また、本発明は、ユーザの足の位置を追尾して、入力用画像をユーザの足近傍に表示することを可能とする情報入力装置を提供することを目的とする。

また、本発明は、特定の装置を身に着けることなく、ユーザの足を利用して、入力操作を行うことを可能とした情報入力装置を提供することを目的とする。

情報入力装置は、入力用画像を投影する投影部と、入力用画像の投影位置を変更する投影位置変更部と、ユーザの足の位置を検知する検知センサと、検知センサにより検知されたユーザの足の位置を入力用画像が追尾するように投影位置変更部を制御し、且つユーザの足による入力操作を判定して、入力用画像による情報入力を検出する制御部とを有することを特徴とする。

上記の情報入力装置では、検知センサは深度センサを含み、制御部は深度センサからの深度データに基づいて、入力用画像を投影する被投影面からユーザの足までの距離を算出し、算出された距離に基づいてユーザの足による入力操作を判定することが好ましい。

上記の情報入力装置では、制御部は、距離に基づいて、ユーザの足先によるタップを検出し、入力操作がなされたか否かの判定を行うことが好ましい。

上記の情報入力装置では、制御部は、投影された入力用画面上において、ユーザの足による入力操作がなされたと判定された場合に、入力用画像による情報入力を検出することが好ましい。

上記の情報入力装置では、制御部は、投影された前記入力用画面の周囲において、ユーザの足による入力操作がなされたと判定された場合に、入力用画像による情報入力を検出することが好ましい。

上記の情報入力装置では、制御部は、入力用画像による情報入力に対応した操作信号を外部の機器へ出力することが好ましい。

上記の情報入力装置では、制御部は、所定時間以内に所定回数の入力操作があったと判定された場合には、操作信号を外部の機器へ出力しないように制御することが好ましい。

上記の情報入力装置では、制御部は、検知センサからの検知データを用いて、検知領域内の物体を特定し、特定された物体の曲率からユーザの足を検知することが好ましい。

上記の情報入力装置では、入力用画像は、ダミースイッチを照らすための光スポットであることが好ましい。

情報入力装置では、ユーザの足を検出してユーザの足を追尾するように入力用画像を投影し、検出したユーザの足の動作に基づいて、入力用画像への情報入力を行うことができるので、特定の装置を身に着けることなく、簡単且つ容易に情報入力を行うことが可能となった。

情報入力装置１を楽器の演奏に適用した事例を示す図である。 照射検知装置１０の外観を示す斜視図である。 情報入力装置１の概略構成を示すブロック図である。 初期設定のための制御フローの一例を示す図である。 ＲＧＢ撮像部２１が撮像した画像の一例を示す図である。 検知領域８０における深度データを説明するための図である。 （ａ）〜（ｃ）は、照射部３０が投影する入力用画像の例を示す図である。 情報入力装置１における制御フローの一例を示す図である。 制御装置５０がＳ２１で取得したＲＧＢデータに基づいた画像例である。 入力用画像７０の追尾を説明するための図である。 靴の先端位置のタップを説明するための図である。 足による入力の他の例を示す図である。 情報入力装置１における制御フローの他の例を示す図である。 図１３に示す制御フローを説明するための図（１）である。 図１３に示す制御フローを説明するための図（２）である。

以下図面を参照して、情報入力装置について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。なお図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。また説明のため部材の縮尺は適宜変更している。

図１は、情報入力装置１を楽器の演奏の適用した事例を示す図である。

情報入力装置１は、照射検知装置１０及び制御装置５０等から構成されている。ユーザが演奏する楽器６０はコード６６で制御装置５０と接続されている。楽器６０（例えば、エレキギター又はエレクトリックアコースティックギター）からの楽音信号は、制御装置５０によって所定の効果を付与されて、修正楽音信号としてアンプ６１へ入力され、アンプ６１と接続されたスピーカ６２から出力される。

譜面台６５の下部には照射検知装置１０が配置され、照射検知装置１０はケーブル６７で制御装置５０と接続されている。照射検知装置１０が、ステージ、床又は地面等において、検知を行う検知領域８０内に、エフェクター画像８１を投影している。ユーザが投影されたエフェクター画像８１の投影箇所において、実際にエフェクターを利用するように靴の先端位置をタップ（上下動）させると、照射検知装置１０がそれを検知し、制御装置５０が楽器６０からの楽音信号にエフェクターと同様の効果を付与してアンプ６１へ出力する。

上記のように、図１に示す例では、実際に存在しないが、ユーザの靴の先端位置に投影されたエフェクター画像８１を利用して、実際のエフェクターと同様に、楽器６０からの楽音信号に効果付与を行うことが可能となる。

図２は照射検知装置１０の外観を示す斜視図であり、図３は情報入力装置１の概略構成を示すブロック図である。

照射検知装置１０は、検知部２０、照射部３０及び雲台４０等を含んで構成され、譜面台６５に固定されており、透明なプラスチック材料から構成されるドーム型のカバー１１で覆われている。

検知部２０は、ＲＧＢ撮像部２１、赤外線カメラ２２及び赤外線照射光発光部２３等を含んで構成されている。ＲＧＢ撮像部２１は、検知領域内の画像を撮像し、撮像した画像のピクセル毎のＲＧＢデータ及び位置座標データを出力する。赤外線カメラ２２は、赤外線照射光発光部２３から照射された赤外線が検知領域８０内に存在する物体から反射する反射光を受光し、撮像した画像のピクセル毎の深度データ（赤外線カメラ２２とピクセルとの間の距離に対応したデータ）を出力する。なお、ＲＧＢ撮像部２１と赤外線カメラ２２は、同じ検知領域８０で同じ解像度を有するように設定されているものとする。

照射部３０は、ＲＧＢ各色光発光レーザーを用いた超小型プロジェクタから構成され、雲台４０の第２回転部４３に取り付けられている。制御装置５０から受信した画像データに応じて、照射部３０は入力用画像を含む入力用画像７０を検知領域８０（ステージ、床又は地面等）上に投影する。なお、所定の入力用画像７０を投影することが可能であれば、ＲＧＢ各色光発光レーザーを用いた超小型プロジェクタ以外の照射部を利用することができる。

雲台４０は、基部４１、第１モータ４５によってθ方向に回転する第１回転部４２及び第２モータ４６によってφ方向に回転する第２回転部４３等を含んで構成されている。

制御装置５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３、及び、検知部２０、照射部３０、雲台４０及び披操作装置（例えば、楽器６０及びアンプ６１）との間でデータの送受信を行うためのＩ/Ｏ５４、効果付与部５５等から構成される。図１に示す例では、制御装置５０は、照射部３０が、検知領域８０内に投影した入力用画像７０をユーザが靴の先端位置でタップしたことを検出して、楽器６０からの楽音信号に所定の効果を付与した修正楽音信号をアンプ６１へ出力する。

制御装置５０は、制御データに基づいて第１モータ４５及び第２モータ４６を制御して、入力用画像７０を検知領域８０上の所望の位置に投影することができるように構成されている。なお、制御装置５０は、ＨＤ等の他の記録媒体を有していても良い。制御装置５０が、第１モータ４５を制御して第１回転部４２をθ方向に回転させると、入力用画像７０が矢印Ａの方向に移動する。また、制御装置５０が、第２モータ４６を制御して第２回転部４３をφ方向に回転させると、入力用画像７０が矢印Ｂの方向に移動する。

図３に示す、ＲＧＢデータ、位置座標データ、深度データ、画像データ及び制御データを照射検知装置１０と制御装置５０との間でやり取りするための信号線がケーブル６７に内蔵されている。なお、照射検知装置１０と制御部５０との間のデータの送受信を無線で行うようにしても良い。

図４は、初期設定のための制御フローの一例を示す図である。

図４に示す制御フローは、制御装置５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御装置５０のＣＰＵ５１が、検知部２０、照射部３０及び雲台４０を制御して実行するものである。

制御装置５０は、検知部２０のＲＧＢ撮像部２１が撮像した画像に基づいて、自動的に被投影面における検知領域８０の位置を指定する（Ｓ１０）。指定された検知領域８０の範囲を示す位置座標データは、ＲＡＭ５２等に記録される。また、制御装置５０は、検知部２０からのＲＧＢデータに基づいて、検知領域８０の背景色（例えば、ステージ、床、地面等の色）を特定し、ＲＡＭ５２等に記録する。

図５は、ＲＧＢ撮像部２１が撮像した画像の一例を示す図である。

図５の例では、制御装置５０がＣ１〜Ｃ４の４点を指定することによって、その範囲内の検知領域８０が指定されている。検知領域８０には、少なくともユーザの靴の先端位置の位置が含まれるように設定する必要がある。そこで、照射部３０から検知領域８０の範囲を床等に示しながら、検知領域８０の範囲の大きさを指定するようにしても良い。初期設定時にＰＣ等を制御装置５０に接続し、ＰＣ等を利用して検知領域８０の大きさを指定するようにしても良い。

次に、制御装置５０は、検知部２０から深度データを取得し（Ｓ１１）、被投影面として指定された検知領域８０に含まれる全てのピクセルについて、ピクセル毎の位置座標データ及び深度データを取得し、ＲＡＭ５２へ記録する（Ｓ１２）。

図６は、検知領域８０における深度データを説明するための図である。

図６に示すように、検知部２０の直下にある検知領域８０上の点Ｄ１と検知部２０から離れた位置にある点Ｄ２では、同じ検知領域８０上でありながら、検知部２０からの深度データに差が出てしまう。そこで、検知領域８０の全てのピクセルについて、位置座標データ及び深度データを予め取得して記録するようにした。

次に、制御装置５０は、照射部３０に所定の画像データを送信して基準投影画像７１を検知領域８０上に投射させ、雲台４０に所定の制御データを送信して雲台４０を制御して基準投影画像７１を移動させる（Ｓ１３）。

基準投影画像７１は、図５に示すように、円形の枠内に表示された５つの黒点である。なお、図５に示す基準投影画像７１は、一例であって、他の画像を利用することもできる。また、図５における基準投影画像７１−１は、雲台４０の直下であって、本例における基準位置に投影されたものである。なお、雲台４０と検知領域８０との位置関係及び投影画像の基準位置等は、状況に応じて適宜定めることが可能である。

次に、制御装置５０は、検知部２０からのＲＧＢデータ及び位置座標データを取得する（Ｓ１４）。さらに、制御装置５０は、５つの黒点を利用して、基準投影画像７１の位置を特定し、雲台４０へ送信した制御データと、特定された基準投影画像７１の位置座標データとの関係をＲＡＭ５２上に構成されたデータテーブルに記録する（Ｓ１５）。

制御装置５０は、上述したＳ１３〜Ｓ１５を、所定の時間間隔で基準投影画像７１を移動させながら、検知領域８０の全てをカバーするように繰り返し行う（Ｓ１６）。図５においては、基準投影画像７１−２〜７１−７を示したが、上記は一例であって、位置を特定するために基準投影画像を移動させる１回の移動量等は適宜定めることができる。

制御装置５０は、Ｓ１３〜Ｓ１６を所定回数繰り返すことによって、検知領域８０の全領域について、基準投影画像７１の位置座標データと制御データと対応関係を表すデータテーブルを完成させ（Ｓ１７）、一連の動作を終了する。

制御装置５０は、Ｓ１７で完成したデータテーブルを利用することによって、指定された検知領域８０上の任意の位置に、雲台４０を制御して入力用画像７０を移動させることが可能となる。逆に、制御装置５０は、データテーブルを利用することによって、現在投影している入力用画像７０の検知領域８０上での位置を特定することもできる。

図７は、照射部３０が投影する入力用画像の例を示す図である。

図７（ａ）に示す入力用画像７０には、ペダル型のエフェクター画像８１が含まれている。点線７１で囲ったペダル部分において、ユーザの靴の先端位置がタップ（上下動）した場合には、制御装置５０は、ペダルが踏まれた場合と同様な入力操作がなされたと判断する。

図７（ｂ）に示す入力用画像７０´には、プッシュスイッチ型のエフェクター画像８１´が含まれている。点線７２で囲ったプッシュスイッチ部分において、ユーザの靴の先端位置がタップした場合には、制御装置５０は、プッシュスイッチが踏まれた場合と同様な入力操作がなされたと判断する。

図７（ｃ）に示す入力用画像７０´´には、マルチタイプ型のエフェクター画像８１´´が含まれている。点線７３〜７６で囲ったスイッチ部分及び点線７７で囲ったペダル部分において、ユーザの靴の先端位置がタップした場合には、制御装置５０は、各スイッチ又はペダルが踏まれた場合と同様な入力操作がなされたと判断する。

図７（ａ）〜図７（ｃ）に示す入力用画像は一例であって、照射部３０は、制御装置５０からの画像データに基づいて、様々な種類の入力用画像を投影することが可能である。

制御装置５０は、照射部３０へ送信する画像データに基づいて、入力用画像に含まれる入力ボタンの種類及び入力用画像内の配置位置を判断することができる。さらに、制御装置５０は、雲台４０へ送信した制御データ及び図４のＳ１７で作成したデータテーブルに基づいて、入力用画像の検知領域８０内の位置を特定することができる。したがって、制御装置は、照射部３０へ送信する画像データ及び雲台４０へ送信した制御データに基づいて、各入力ボタンの検知領域８０内の位置を特定することができる。

図８は、情報入力装置１における制御フローの一例を示す図である。

図８に示す制御フローは、制御装置５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御装置５０のＣＰＵ５１が、検知部２０、照射部３０及び雲台４０を制御して実行するものである。図８に示す制御フローは、所定の時間間隔（例えば、１００ｍｓ毎）で繰り返し実行される。

最初に、制御装置５０は、照射部３０へ送信した画像データ及び雲台４０へ送信した制御データを取得する（Ｓ２０）。次に、制御装置５０は、検知部２０からＲＧＢデータ、位置座標データ及び深度データを取得する（Ｓ２１）。なお、Ｓ２０とＳ２１の順番は逆であっても良い。

次に、制御装置５０は、Ｓ２１で取得したＲＧＢデータ及び位置座標データに基づいて、靴の先端位置を特定し、Ｓ２１で取得した深度データ基づいて、特定した靴の先端位置の深度データを取得する（Ｓ２２）。

図９は、制御装置５０がＳ２１で取得したＲＧＢデータに基づいた画像例である。

図９において、検知領域８０内には、譜面台６５の三脚部、ユーザの右足６８の一部、ユーザの左足６９の一部、楽器６０と制御装置５０とを接続するコード６６の一部が写り込んでいる。制御装置５０は、予め記憶されている検知領域８０の背景色（図４のＳ１０参照）と、Ｓ２１で取得したＲＧＢデータを比較することによって、背景色とは異なる部分をグルーピングして物体として識別する。例えば、図９の例では、譜面台６５の三脚部、ユーザの右足６８の一部、ユーザの左足６９の一部、楽器６０と制御装置５０とを接続するコード６６の一部の４つの物体を識別する。

次に、制御装置５０は、公知の識別方法に基づいて、各物体の最端部を特定する。図９の例では、点Ｐ１、点Ｐ４、点Ｐ７、点Ｐ１０、及び点Ｐ１３の５点がそれに該当する。次に、特定した最端部から、同じ物体の周辺部上で、予め定められた距離だけ左右に離れた２つの点を特定する。例えば、点Ｐ１に関しては、点Ｐ２及び点Ｐ３が該当し、他の４つの最端部の点についても同様に特定される。

次に、制御装置５０は、各物体について、最端部の点と、その左右の２点の合計３点から、公知の計算方向に基づいて、物体の端部における曲率を計算する。例えば、点Ｐ１、Ｐ２及びＰ３から曲率を求める。通常、足元にある物体で、端部の曲率が小さいものが、靴の端部であるので、所定の閾値を設定することで、物体が靴の端部であるか否かを識別することが可能である。図９の例では、上記の識別方法に基づいて、ユーザの右足６８に関して点Ｐ４が靴の先端位置と特定され、ユーザの左足６９に関して点Ｐ１が靴の先端位置と特定される。なお、譜面台６５及びコード６６は、靴の先端位置とは特定されない。

次に、制御装置５０は、靴の先端位置として特定された点Ｐ１及びＰ４の深度データを合わせて取得し、靴の先端位置の位置座標データ及び深度データをセットにしてＲＡＭ５２等に記憶する（Ｓ２３）。

次に、制御装置５０は、照射部３０を制御して、入力用画像７０をＳ２３で特定した靴の先端位置の位置座標データに基づいて、靴の先端位置を追尾するように移動させて表示する（Ｓ２４）。

図１０は、入力用画像７０の追尾を説明するための図である。

在る時点で、ユーザの右足６８ａが矢印Ｅの方向に移動して右足６８ｂの位置となった場合、それに応じて、制御装置５０は、入力用画像７０ａを矢印Ｆの方向に移動して、入力用画像７０ｂとなるように照射部３０を制御する。図１０の例では、入力用画像７０は、図７（ａ）に示したヘダル型のエフェクターの画像８１であり、靴の先端位置Ｐ４に対応して、ペダル部分が投影されるように制御されている。

次に、制御装置５０は、入力操作がなされたか否かの判定を行う（Ｓ２５）。入力操作がなされたか否かの判定は、靴の先端位置が（踵を軸として）タップしたか否かによって行う。

図１１は、靴の先端位置のタップを説明するための図である。

制御装置５０は、Ｓ２３において記憶された前回の靴の先端位置の位置座標データと、今回Ｓ２２で特定された靴の先端位置の位置座標データとがほぼ同じ場合、Ｓ２３において記憶された前回の靴の先端位置の深度データと、今回Ｓ２２で特定された靴の先端位置の深度データとの距離（又は差異）を演算により求める。前記距離が、所定の閾値（例えば、５ｃｍ）以上あった場合、制御装置５０は、靴の先端位置がタップした、即ち、入力操作が行われたと判定する。

図１１の例では、ユーザの右足６８ａの先端位置Ｐ４が、右足６８ｃの先端位置Ｐ４´へ距離Ｓだけ移動した場合、距離Ｓが閾値より大きかった場合には、入力操作があったものと判定される。なお、上記の判定手法は、ユーザの足先によって入力操作が行われたか否かを判断する一例であって、これに限定されるものではない。

Ｓ２５において入力操作があったと判定された場合、制御装置５０は、Ｓ２０で取得した画像データ及びＳ２４で変更した制御データに基づいて、入力用画像７０に含まれる入力ボタンの検知領域８０内の位置を特定する（Ｓ２６）。

次に、制御装置５０は、Ｓ２５において入力操作があったと判定された靴の先端位置に対応する入力用画像７０に含まれる入力ボタン（図７（ａ）において点線７１で囲ったペダル部分）を特定する（Ｓ２７）。次に、制御装置５０は、入力操作された入力ボタンに対応した処理を実行して（Ｓ２８）、一連の処理を終了する。Ｓ２５において、入力操作が行われなかったと判定された場合も同様に、一連の処理が終了される。図１のシステムでは、入力操作に応じた処理に該当するのは、制御装置５０の効果付与部５５によって楽器６０からの楽音信号に所定の効果を付与するような修正処理を行うことである。

即ち、エレキギターからの音色を変更するエフェクターを入力用画像７０として表示した場合には（図７（ａ）参照）、ユーザは検知領域８０の何処で、靴の先端位置を上下動させてもエフェクターを動作させたのと同じ効果を得ることが可能となる。

上述した情報入力装置１では、ユーザの靴の先端位置を特定して、ユーザの靴の先端位置を追尾するように入力用画像７０を投影し、ユーザの靴の先端位置のタップを検出して入力操作と判定している。したがって、楽器を演奏しているユーザは、単に、靴の先端を、所望の位置でタップさせるだけで、所望の入力操作を行うことができ、演奏中にエフェクターの位置を探す必要がなくなる。また、入力用画像７０は、自由に設計することができるので、所望の入力操作を容易に行うことができる（図７（ａ）〜図７（ｃ）参照）。

上記の例では、楽器からの楽音信号を処理する機能を足で操作するようにしたが、本発明に係る情報入力装置は、上記のような操作に限定されるものではない。例えば、本発明に係る情報入力装置では、手が塞がった状態で、ネットワーク接続を行うような入力操作等に応用することが可能である。

上記の例では、ユーザの靴の先端位置を検出して、ユーザの靴の先端位置の動作に応じて入力操作がなされたか否かの判定を行った。しかしながら、検出するユーザの足の部位は、靴の先端位置だけなく、靴の踵、靴全体の形状、膝やくるぶしの部分等であって良く、靴の先端位置に限定されるものではない。

上記の例では、ユーザの靴の先端位置の深度データと検知領域の深度データとの差（距離）が所定の閾値を超えて上下に移動したことを検出して、ユーザの足がタップしたとの判定を行った。しかしながら、ユーザの足を利用した入力操作はこのような検知領域８０のステージ、床及び地面等を基準として、上〜下又は下〜上への靴の先端位置の移動だけでなく、例えば、靴の先端位置が、上〜下〜上等に移動した場合に初めてタップをしたと判定しても良い。さらに、靴の先端位置の速度や変化量に応じて、タップをしたと判定するようにしても良い。

上記の例では、靴の先端位置を追尾するように入力用画像を投影した。しかしながら、常に、靴の先端位置を追尾するように入力用画像を投影すると、逆にタップがしにくくなる場合もあるので、靴の先端位置が所定距離以上移動したときに初めて、入力用画像が靴の先端位置を追尾するように制御しても良い。

上記の例では、靴の先端位置によるタップを検出した場合には、タップによる入力操作に応じた操作信号を制御装置５０の外部機器（例えば、アンプ６１）へ出力するようにした。しかしながら、足の先端位置の微妙な上下動を全て検出すると、チャタリングのような状況が発生することから、所定時間内（例えば、１ｓ）に、複数回（３回）以上のタップが検出された場合に、操作入力が無かったと判定するようにしても良い。

図１２は、足による入力の他の例を示す図である。

図１２は、図９と同様に、制御装置５０がＳ２１で取得したＲＧＢデータに基づいた画像例である。図１２では、ダミースイッチ９０が、検知領域８０で検知されている。ダミースイッチ９０は、実体はあるが、ユーザが足によるクリック感を得るためだけの単なるスイッチであり、他の装置との接続及び情報の授受は行わない。

図８に示した制御フローでは、靴の先端位置をリアルタイムで検出し、それを追尾するように、入力用画像７０を移動させて表示した。しかしながら、図１２に示す例では、制御部５０は、ダミースイッチ９０を検出し、ダミースイッチ９０のスイッチ位置である中心部Ｐ２０で、靴の先端位置がタップした場合に、入力操作が行われたと判定する。ダミースイッチ９０の形状の情報及びそのスイッチ位置の情報は、予め制御装置５０のＲＯＭ５３等に記録されており、制御装置５０は、図８の制御フローにおけるＳ２２でダミースイッチ９０を検出し、その中心部Ｐ２０を特定することができる。

なお、ダミースイッチ９０の検出は、最初の１回だけ（通常、一旦スイッチを置いてしまえば、以後ダミースイッチを移動させる必要性は低い）としても良いし、所定の時間間隔で繰り返し行う（ユーザが足でダミースイッチを移動させてしまう可能性がある）ようにしても良い。

また、図１２に示すようなダミースイッチ９０を利用する場合には、あえて入力用画像７０を投影する必要はないが、ユーザがその場所を確認し易くするための、光スポット９１を、検出したダミースイッチ９０が存在する場所に投影するようにしても良い。さらに、検知領域８０内に、ダミースイッチが複数ある場合、ダミースイッチを相互に識別するために、ダミースイッチを照らす光スポットの外形形状をダミースポットに応じて変化（丸、四角、三角等）させても良い。また、各ダミースイッチの近傍に異なった数字、マーク、所定の説明情報等を投影するようにしても良い。

図１３は情報入力装置１における制御フローの他の例を示す図であり、図１４及び図１５は図１３に示す制御フローを説明するための図である。

図１３に示す制御フローは、制御装置５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御装置５０のＣＰＵ５１が、検知部２０、照射部３０及び雲台４０を制御して実行するものである。図１３に示す制御フローは、所定の時間間隔（例えば、１００ｍｓ毎）で繰り返し実行される。また、図１３に示す制御フローの内、Ｓ３０〜Ｓ３３は、図８に示すＳ２０〜Ｓ２３と同様であるので、その説明を省略する。

次に、制御装置５０は、靴の先端位置がダブルタップしたか否かの判定を行う（Ｓ３４）。ダブルタップしたか否かは、図８のＳ２５で操作入力がなされたか否かを判定する際に考慮した「靴の先端位置のタップ」が（図１１参照）、所定時間以内（例えば、２秒以内）に、２回行われたか否かにより行う。

Ｓ３４においてダブルタップがあったと判定された場合、制御装置５０は、照射部３０を制御して、入力用画像１００をＳ３３で特定した靴の先端位置の位置座標データに基づいて、靴の先端位置を追尾するように、その直上に表示する（Ｓ３５）。

図１４は、ユーザの右足６８の先端位置Ｐ４が認識されていた状態で、ダブルタップが行われた場合に、右足６８の直上に入力用画像１００が表示された状態を示している。なお、図１４に示す入力用画像１００は一例であって、それに限定されるものではなく、他の入力用画像を利用することも可能である。

入力用画像１００は、インジケータ部１１０及び４つのアイコン１１１〜１１４を有しており、各アイコンに所定の処理内容が予め割り付けられている。さらに、入力用画像１００の４つのアイコンが表示された領域を含み、入力用画像１００の周囲に外部にまで広がる領域１〜４が対応付けられている（図１４及び図１５参照）。なお、入力用画像１００と領域１〜４の位置関係は、予め定められているものとする。また、例えば、アイコン１１２には「制御装置５０の効果付与部５５によって楽器６０からの楽音信号に所定の効果を付与するような入力」が割り付けられ、アイコン１１４には「終了操作」が割り付けられているものとする。

次に、制御装置５０は、入力操作がなされたか否かの判定を行う（Ｓ３６）。入力操作がなされたか否かの判定は、図８のＳ２５と同様であるので、説明を省略する。

Ｓ３６において入力操作があったと判定された場合、制御装置５０は、Ｓ３５で表示された入力用画像１００の位置データ、Ｓ３０で取得した入力用画像１００自体の表示データ、及び、入力用画像１００に含まれるアイコンに対応付けられている領域の位置データに基づいて、検知領域８０内における領域１〜４の範囲を特定する（Ｓ３７）。

次に、制御装置５０は、Ｓ２５において入力操作があったと判定された靴の先端位置に対応する領域を特定し、領域に対応するアイコンを特定し、アイコンに対応した情報入力内容を特定する（Ｓ３８）。また、制御装置５０は、特定したアイコンを入力用画像１００のインジケータ１１０内に表示する。

図１５は、操作入力が行われたと判定された状態の一例を示している。図１５の場合、入力操作が行われたと判定された時の靴の先端位置Ｐ４は領域２内であるので、アイコン１１２に対する入力操作が行われたと認識され、インジケータ１１０にはアイコン１１２が表示されている。

次に、制御装置５０は、Ｓ３８で特定された情報入力内容が「終了操作」か否かの判定を行い（Ｓ３９）、「終了操作」でない場合には、入力操作されたアイコンに対応した処理を実行する（Ｓ４０）。

制御装置５０は、Ｓ３９において、Ｓ３８で特定された情報入力内容が「終了操作」であると判定された場合には、入力用画像１００を消去して（Ｓ４１）、一連の処理を終了する。前述したように、Ｓ３８で特定された領域が領域４（アイコン１１４）の場合、「終了処理」であると判定される。

図８に示す制御フローでは、図７及び図１２に示すような入力用画像の入力ボタンの位置で、入力操作を行う必要があった。これに対して、図１３に示す制御フローでは、図１５に示す様に、入力用画像１００の各アイコンに対応した領域で、入力操作を行えば、対応するアイコンに予め割り当てられた処理を行うような情報入力を行うことが可能となる。したがって、図１３に示す制御フローでは、入力用画像の入力ボタン自体をタップしなくても、入力用画像の周囲の所定の領域内でタップを行えば良いので、靴の先端位置の移動距離が短くて済み、入力操作がより容易となる。

上記の例では、図１５に示す様に、入力用画像１００に含まれる各アイコン１１１〜１１４に対応した領域１〜４を、アイコンから放射状に入力用画像１００の周囲に、その外側に伸延させた。しかしながら、上記の例は一例であって、アイコンに対応する領域であると容易に認識できるのであれば、他の方法であっても良い。例えば、アイコンを一列に配列して表示し、それぞれのアイコンの直下まで、各アイコンに対応した領域を伸延させても良い。

上記の例では、ユーザが靴の先端で、踵を軸としてダブルタップした場合（図１３のＳ３４参照）に、入力用画像１００を靴の先端位置を追尾するように表示させた。しかしながら、他の方法で、最初に入力用画像１００を表示させるようにしても良い。例えば、入力操作と同様に、シングルタップであっても良い。また、入力用画像１００を、最初からホームポジション（図１４のＨ参照）に表示させておき、ダブルタップした位置に靴の先端位置を追尾するように入力用画像１００を移動させるように制御しても良い。その場合、終了操作（図１３のＳ４１参照）に伴って、入力用画像１００を消去するのではなく、ホームポジションに戻るように制御することがより好ましい。さらに、ホームポジションにおける入力用画像１００は、実際に入力操作を行う場合と同じ形状や大きさでなくても良く、例えば、縮小して表示しても良い。

上記の例では、ユーザが靴の先端で、踵を軸としてダブルタップした場合（図１３のＳ３４参照）に、入力用画像１００を靴の先端位置を追尾するように表示させた。しかしながら、一旦入力用画像１００を表示させた後にも、靴の先端位置の位置座標を取得し続け、再度ユーザがダブルタップした場合には、再度ダブルタップした靴の先端位置を追尾するように、入力用画像１００を移動させても良い。

１ 情報入力装置
２０ 検知部
２１ ＲＧＢ撮像部
２２ 赤外線カメラ
２３ 赤外線照射発光部
３０ 照射部
４０ 雲台
４５ 第１モータ
４６ 第２モータ
５０ 制御装置
５１ ＣＰＵ
５２ ＲＡＭ
５３ ＲＯＭ
５４ Ｉ/Ｏ
７０、７０´、７０´´、１００ 入力用画像
９０ ダミースイッチ

Claims (9)

1. 入力用画像を投影する投影部と、
   前記入力用画像の投影位置を変更する投影位置変更部と、
   ユーザの足の位置を検知する検知センサと、
   前記検知センサにより検知されたユーザの足の位置を前記入力用画像が追尾するように前記投影位置変更部を制御し、且つユーザの足による入力操作を判定して、前記入力用画像による情報入力を検出する制御部と、
   を有することを特徴とする情報入力装置。
2. 前記検知センサは、深度センサを含み、
   前記制御部は、前記深度センサからの深度データに基づいて、前記入力用画像を投影する被投影面からユーザの足までの距離を算出し、算出された距離に基づいてユーザの足による入力操作を判定する、請求項１に記載の情報入力装置。
3. 前記制御部は、前記距離に基づいて、ユーザの足先によるタップを検出し、入力操作がなされたか否かの判定を行う、請求項２に記載の情報入力装置。
4. 前記制御部は、投影された前記入力用画面上において、ユーザの足による入力操作がなされたと判定された場合に、前記入力用画像による情報入力を検出する、請求項１〜３の何れか一項に記載の情報入力装置。
5. 前記制御部は、投影された前記入力用画面の周囲において、ユーザの足による入力操作がなされたと判定された場合に、前記入力用画像による情報入力を検出する、請求項１〜３の何れか一項に記載の情報入力装置。
6. 前記制御部は、前記入力用画像による情報入力に対応した操作信号を外部の機器へ出力する、請求項１〜５の何れか一項に記載の情報入力装置。
7. 前記制御部は、所定時間以内に所定回数の入力操作があったと判定された場合には、前記操作信号を外部の機器へ出力しないように制御する、請求項６に記載の情報入力装置。
8. 前記制御部は、前記検知センサからの検知データを用いて、検知領域内の物体を特定し、特定された物体の曲率から、ユーザの足を検知する、請求項１〜７の何れか一項に記載の情報入力装置。
9. 前記入力用画像は、ダミースイッチを照らすための光スポットである、請求項１に記載の情報入力装置。

Images