JP5956481B2 - 入力装置、入力方法、及びコンピュータが実行可能なプログラム - Google Patents

Description

本発明は、入力装置、入力方法、及びコンピュータが実行可能なプログラムに関する。

情報処理装置の画面操作やデータ入力は、キーボード以外にマウス、タッチパッド、トラックポイント、及びタッチペン等のポインティングデバイスに基づく操作が一般的である。

近時、情報処理装置の入力インタフェースとして、ハンドジェスチャ入力を使用する方法が提案されている。ハンドジェスチャ入力による入力インタフェースでは、カメラを用いて手指を撮影し、その撮影画像からリアルタイムに手指のジェスチャを認識してマウスをエミュレートした入力処理を行うものもある。

しかしながら、かかるハンドジェスチャ入力による方法では、手を支えるものが無いため長時間作業では疲労が大きく、一般的なマウスを操作する感覚とは大きく異なっている。また、ハンドジェスチャ入力をＯＮとしている場合に、マウス機能のＡｃｔｉｖｅ／Ｉｄｌｅの基準がないため、カメラの撮影範囲で意図せずに手を置いたり、動かしたりすると、誤動作の原因となる。

ここでは、マウスについて言及したが、他のポインティングデバイスをハンドジェスチャでエミュレートする場合にも同様の問題が発生する。

特開２０１３−１５８７７号公報 特開２０１０−２６７２２０号公報

P. Mistry, P.Maes. Mouseless-a Computer Mouse as Small as Invisible. To be appear in CHI2011. Interactivity.Vancouver,BC,canada.2011

本発明は、上記に鑑みてなされたものであり、ポインティングデバイスの入力操作を,
手を使用してエミュレートする場合に、ユーザの使い勝手がよく、かつ、誤操作の少ない入力装置、入力方法、及びコンピュータが実行可能なプログラムを提供することを課題とする。

上述した課題を解決し、目的を達成するために、本発明は、被写体を撮像して画像を取得する撮像手段と、前記撮像手段で取得した画像を解析して、所定の物体に手が接触しているか否かを検出し、前記所定の物体に前記手が接触しているのを検出した場合に、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する検出手段と、前記検出手段で検出された、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートする操作指示手段と、を備えたことを特徴とする。

また、本発明の好ましい態様によれば、前記検出手段は、前記撮像手段で取得した画像を解析して、前記所定の物体を動作させるための動作平面を検出する平面検出手段と、前記撮像手段で取得した画像を解析して、前記所定の物体を検出する物体検出手段と、前記物体検出手段で前記所定の物体を検出した場合に、前記画像を解析して、前記所定の物体に手が接触しているか否かを検出する手検出手段と、前記手検出手段で前記所定の物体に手が接触しているのを検出した場合に、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する動作検出手段と、を含むことが望ましい。

また、本発明の好ましい態様によれば、前記所定の物体を前記撮像手段で撮影して登録する登録手段を備え、前記検出手段は、前記登録手段で登録された所定の物体を検出することが望ましい。

また、本発明の好ましい態様によれば、前記検出手段は、前記所定の物体に手が接触しているのを検出した後に、前記所定の物体から手が離れるのを検出した場合には、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方の検出を停止することが望ましい。

また、本発明の好ましい態様によれば、前記ポインティングデバイスはマウスであり、
前記操作指示手段は、前記検出手段で検出された前記所定の物体の移動に応じてカーソルを移動させ、また、前記所定の物体に対する第１の指又は第２の指の操作に応じた左ボタン又は右ボタンのクリック操作を行うことが望ましい。

また、本発明の好ましい態様によれば、前記撮像手段は、３Ｄカメラであり、被写体の３次元の画像を取得することが望ましい。

また、上述した課題を解決し、目的を達成するために、本発明は、入力装置の入力方法であって、被写体を撮像して画像を取得する撮像工程と、前記撮像工程で取得した画像を解析して、所定の物体に手が接触しているか否かを検出し、前記所定の物体に前記手が接触しているのを検出した場合に、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する検出工程と、前記検出工程で検出された、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートする操作指示工程と、を含むことを特徴とする。

また、上述した課題を解決し、目的を達成するために、本発明は、入力装置に搭載されるプログラムであって、被写体を撮像して画像を取得する撮像工程と、前記撮像工程で取得した画像を解析して、所定の物体に手が接触しているか否かを検出し、前記所定の物体に前記手が接触しているのを検出した場合に、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する検出工程と、前記検出工程で検出された、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートする操作指示工程と、をコンピュータに実行させることを特徴とする。

本発明にかかる入力装置によれば、ポインティングデバイスの入力操作を手を使用してエミュレートする場合に、ユーザの使い勝手がよく、かつ、誤操作の少ない入力装置を提供することが可能になるという効果を奏する。

図１は、本実施の形態に係る入力装置の概念図である。 図２−Ａは、本実施の形態に係る入力装置を適用した情報処理装置であるノートＰＣの概略の外観図である（その１）。 図２−Ｂは、本実施の形態に係る入力装置を適用した情報処理装置であるノートＰＣの概略の外観図である（その２）。 図３は、ノートＰＣの概略のハードウェア構成例を示す図である。 図４は、マウスエミュレート用アプリケーションプログラムの機能構成を示す図である。 図５は、マウスエミュレート用アプリケーションプログラムの処理の概略を説明するためのフローチャートである。

以下に、この発明にかかる入力装置、その入力方法、及びコンピュータが実行可能なプログラムを図面に基づいて詳細に説明する。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置し設計してもよいことは容易に理解できる。したがって、本発明の装置、方法、及びプログラムの実施形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施形態の一例を示すものであって、本明細書の特許請求の範囲に示す本発明と矛盾無く装置、方法、及びプログラムについての選択した実施形態を単に示すものである。当業者は、特定の細目の１つ以上が無くても、又は他の方法、部品、材料でも本発明を実現できることが理解できる。

（実施の形態）
図１は、本実施の形態に係る入力装置の概念図である。図１に示す入力装置１は、ハードウェアやソフトウェアのモジュール、又は、その組み合わせで構成することができる。
図１に示すように、入力装置１は、撮像手段２、検出手段３、及び操作指示手段４等を備えている。

撮像手段２は、被写体を撮像して得られた画像（動画）を、検出手段３に出力する。撮像手段２は、例えば、３Ｄカメラであり、被写体の３次元の画像を取得することにしてよい。

検出手段３は、撮像手段２で取得した画像を解析して、所定の物体１１に手１２が接触しているか否かを検出し、所定の物体１１に手１２が接触しているのを検出した場合に、所定の物体１１の移動及び所定の物体１１に対する手１２の動作の少なくとも一方を検出して、その検出結果を操作指示手段４に出力する。所定の物体１１は、ユーザが机上で移動させることが可能なものが望ましく、例えば、オレンジ、箱、携帯電話、スマートフォン、ペン等の各種の物体を使用することができる。

操作指示手段４は、検出手段３で検出された、所定の物体１１の移動及び所定の物体１１に対する手１２の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートする。これにより、ユーザは、所定の物体１１を手１２で移動させたり、所定の物体１１に対して手１２で操作することにより、ポインティングデバイスと同様の入力操作を行うことができる。ポインティングデバイスは、例えば、マウス、タッチパッド、トラックポイント、及びタッチペン等である。

また、所定の物体１１を撮像手段２で撮影して登録する登録手段を備えることにしてもよい。この場合、検出手段３は、登録手段により登録されている所定の物体１１を検出することにしてもよい。これにより、ユーザが所望の物体を登録して、所望の物体１１を手で操作することにより、ポインティングデバイスと同様の入力操作を行うことが可能となる。

また、検出手段３は、撮像手段２で取得した画像を解析して、所定の物体１１を動作させるための動作平面１０を検出する平面検出手段５と、撮像手段２で取得した画像を解析して、所定の物体１１を検出する物体検出手段６と、物体検出手段６で所定の物体１１を検出した場合に、画像を解析して、所定の物体１１に手１２が接触しているか否かを検出する手接触検出手段７と、手接触検出手段７で所定の物体１１に手１２が接触しているのを検出した場合に、所定の物体１１の移動及び所定の物体１１に対する手１２の動作の少なくとも一方を検出し、その検出結果を操作指示手段４に出力する動作検出手段８と、を備える構成としてもよい。これにより、簡単な方法で所定の物体１１の移動や所定の物体１１に対する手１２の動作を検出することが可能となる。

また、検出手段３は、所定の物体１１に手１２が接触しているのを検出した後に、所定の物体１１から手１２が離れるのを検出した場合には、検出中の、所定の物体１１の移動及び／又は所定の物体に対する手の動作の検出を停止することにしてもよい。これにより、ユーザが所定の物体１１から手１２を離した場合には、検出が中断されるので、ユーザが所定の物体１１から手１２を離すことにより、入力操作を中断することが可能となる。

また、エミュレートするポインティングデバイスはマウスとしてもよい。操作指示手段４は、検出手段３で検出された所定の物体１１の移動に応じてカーソルを移動させ、また、所定の物体１１に対する第１の指又は第２の指の操作に応じた左ボタン又は右ボタンのクリック操作を行うことにしてもよい。これにより、所定の物体１１と手１２を使用してマウスと同様な入力操作を行うことが可能となる。

なお、カーソルの移動操作のみを行いたい場合（例えば、タッチパッドをエミュレートする場合）は、所定の物体１１の移動のみを検出する構成とし、また、クリック操作のみを行いたい場合には（例えば、タッチペンのクリックボタンのみをエミュレートする場合）、所定の物体１１に対する指の操作のみを検出する構成としてもよい。すなわち、所定の物体で行いたい操作をエミュレートすることにすればよい。

以上説明したように、本実施の形態によれば、撮像手段２は、被写体を撮像して画像を取得し、検出手段３は、撮像手段２で取得した画像を解析して、所定の物体に手が接触しているか否かを検出し、所定の物体に手が接触しているのを検出した場合に、所定の物体１１の移動及び所定の物体１１に対する手の動作の少なくとも一方を検出し、操作指示手段４は、検出手段３で検出された、所定の物体１１の移動及び所定の物体１１に対する手１２の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートすることとしたので、ポインティングデバイスの入力操作を、手を使用してエミュレートする場合に、ユーザの使い勝手がよく、かつ、ユーザの意図しない手の動作等によるユーザの意図しない入力操作を防止することができる。

（実施例）
図２−Ａ及び図２−Ｂは、本実施の形態に係る入力装置を適用した情報処理装置であるノートＰＣ２０の概略の外観図である。ノートＰＣ２０は、図２−Ａに示すように、いずれも略直方体である本体側筐体２２及びディスプレイ側筐体２３を備える。本体側筐体２２は、キーボード及びタッチパッド等を有する入力部２４を備える。ディスプレイ側筐体２３は、ＬＣＤ（液晶ディスプレイ）２５と、ＬＣＤ２５の表示面側にその上方の略中央に配置され、前方の被写体を撮像可能な３Ｄカメラ２６とを備える。３Ｄカメラ２６は、例えば、ステレオカメラを使用することができる。

本体側筐体２２及びディスプレイ側筐体２３は、それぞれの端部で左右の一対の連結部（ヒンジ部）２７ａ、２７ｂによって連結されており、連結部２７ａ、２７ｂは、これらの筐体を開閉自在に支持している。

上述したように、ハンドジェスチャだけでマウス操作をエミュレートする方法では、手を支えるものが無いため長時間作業では手の疲労が大きく、また、マウスを操作する感覚とは大きく異なっている。そこで、本実施例では、手でＨＩＤ物体を操作して、マウス操作をエミュレートすることにより、手をＨＩＤ物体で支え、長時間作業でも手の疲労が少なく、また、マウスを操作するのと同じ感覚での入力操作を可能としている。ここでは、一例として、ＨＩＤ物体３０としてオレンジを使用する場合について説明する。

図２−Ａに示すように、ユーザは、所望するＨＩＤ物体３０を動作平面３２上に置き、３Ｄカメラ２６でＨＩＤ物体３０を撮影してＨＩＤ物体３０を登録する。図２−Ｂに示すように、ユーザは、登録したＨＩＤ物体３０を握り、物体３０を手３１により動作平面３２で動かして、ＬＣＤ２５に表示されるカーソル２８の移動操作を行い、また、手３１の指３１ａ，３１ｂをＨＩＤ物体３０に対して押下操作することにより左右のクリック操作を行う。

図３は、上記ノートＰＣ２０の概略のハードウェア構成例を示す図である。ノートＰＣ２０は、同図に示すように、ＣＰＵ４１、ＲＯＭ４２、メモリ４３、ＨＤＤ（ハードディスク）４４、ＬＣＤ２５、入力部２４、３Ｄカメラデバイス５０、通信デバイス５１、バッテリ５２、ＤＣ−ＤＣコンバータ５３，ＡＣアダプタ５４、ＵＳＢポート５５等を備えており、各部はバスを介して直接又は間接的に接続されている。

ＣＰＵ４１は、バスを介して接続されたＨＤＤ４４に格納されたＯＳ４５によりノートＰＣ２０全体の制御を行うとともに、ＨＤＤ４４に格納された各種のプログラムに基づいて処理を実行する機能を司る。ＲＯＭ４２は、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ：基本入出力システム）４２ａやデータ等を格納している。

メモリ４３は、キャッシュメモリやＲＡＭで構成されており、ＣＰＵ４１の実行プログラムの読み込み領域として、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。

ＨＤＤ（ハードディスク）４４は、例えば、Ｗｉｎｄｏｗｓ（登録商標） ＸＰ、Ｖｉｓｔａ、７、８等のノートＰＣ２０全体の制御を行うためのＯＳ４５、周辺機器類をハードウェア操作するための各種ドライバ４６、マウスエミュレート用アプリケーションプログラム４７、特定業務に向けられた他のアプリケーションプログラム４８等を記憶する機能を有する。

ＯＳ４５は、ノートＰＣ２０の基本的な動作を制御しているものであり、各種資源を管理し、例えば、アプリケーションプログラムが発生した命令を、各種ドライバ４６やＢＩＯＳ４２ａに伝える。ＯＳ４５は、マルチタスク機能及びマルチウィンドウ機能を有し、アプリケーションプログラムの実行コンテキスト（あるアプリケーションプログラムが利用しているレジスタセットやメインメモリイメージ、ファイルハンドルなど）やＧＵＩの
部品などのソフトウェア資源の管理も行うように構成されている。アプリケーションプログラムと各デバイス・ドライバの間のデータ又はコマンドの送受信には、ＯＳ４５が介在する。

各種ドライバ４６は、例えば、ＯＳ４５の指示に従ってＬＣＤ２５を制御する表示ドライバ、ＯＳ４５の指示に従って３Ｄカメラデバイス５０を制御するカメラドライバ、ＯＳ３５の指示に従ってマウスを制御するマウスライバ、ＯＳ４５の指示に従って通信デバイス５１を制御する通信ドライバ等である。

マウスエミュレート用アプリケーションプログラム４７は、ユーザが登録したＨＩＤ物体３０を手で操作して、マウスと同様の入力操作を行うためのものである。他のアプリケーションプログラム４８は、ブラウザ、メール、ワープロ、表計算等のプログラムである。

ＬＣＤ２５は、ＣＰＵ４１の制御に従って、表示情報をビデオ信号に変換し、変換したビデオ信号に応じた各種情報を表示画面に表示する。

なお、本実施の形態では、ディスプレイとしてＬＣＤを使用することにしているが、本発明はこれに限られるものではなく、有機ＥＬディスプレイやＣＲＴ等の他のディスプレイを使用することにしてもよい。

入力部２４は、ユーザが入力操作を行うためのユーザ・インターフェースであり、文字、コマンド等を入力する各種キーより構成されるキーボードや、画面上のカーソルを移動させたり、各種メニューを選択するタッチパッド等を備えている。

３Ｄカメラデバイス５０は、ステレオカメラ等の３Ｄカメラ２６と、カメラ処理回路５６とを備えている。３Ｄカメラ２６は、レンズや撮像部（ＣＣＤやＣＭＯＳ）を備えており、レンズは被写体光を結像し、撮像部は結像された被写体光をＲ，Ｇ，Ｂの画像信号として出力する。カメラ処理回路５６は、Ａ／Ｄ変換器、画像処理用ＬＳＩ、メモリ等を備え、撮像部の駆動タイミングや露出制御等を行うと共に、撮像部で得られたＲＧＢの画像信号を信号処理（３次元画像の生成処理を含む）して３次元の画像をＣＰＵ４１に出力する。

通信デバイス５１は、ネットワークを介してデータの送受信を行うためのものであり、画像データ及び音声データをネットワークに送信し、また、ネットワークを介して送信されてくる画像データ及び音声データを受信する。なお、通信デバイス５１は、画像データ及び音声データをコード化して送信することにしてもよく、また、コード化された画像データ及び音声データを受信した場合には、デコードすることにしてもよい。ＵＳＢポート５５には、ＵＳＢデバイス（例えば、ＵＳＢマウス等）が接続可能となっている。

ＡＣアダプタ５４は、商用電源に接続して、ＡＣ電圧をＤＣ電圧に変換してＤＣ−ＤＣコンバータ５３に出力する。ＤＣ−ＤＣコンバータ５３は、ＡＣアダプタ５４から供給されるＤＣ電圧を所定の電圧に変換して各部に電力を供給し、また、バッテリ５２の充電を行う。バッテリ５２は、ＤＣ−ＤＣコンバータ５３により充電され、充電した電圧を各部に供給する。バッテリ５３は、ＡＣアダプタ５４が商用電源に接続されていない場合に使用される。

図４及び図５を参照して、マウスエミュレート用アプリケーションプログラム４７によるマウスエミュレート処理を説明する。マウスエミュレート処理では、３Ｄカメラデバイス５０により、登録したＨＩＤ物体３０及びＨＩＤ物体３０を操作している操作者の手３１が撮影される。マウスエミュレート用アプリケーションプログラム４７は、３Ｄカメラデバイス５０からの画像を画像処理して解析することにより、ＨＩＤ物体３０の移動及び手３１の指３１ａ，３１ｂによる（仮想の）左クリックまたは（仮想の）右クリック操作を検出する。マウスエミュレート用アプリケーションプログラム４７は、これらの検出結果に応じたカーソル２８の移動や左右クリック処理を行う。

図４は、マウスエミュレート用アプリケーションプログラム４７の機能構成を示す図である。マウスエミュレート用アプリケーションプログラム４７は、ＨＩＤ物体登録部６１と、ＨＩＤ有効・無効判定部６２と、ＨＩＤエミュレーション部６３とを備えている。

ＨＩＤ物体登録部６１は、３Ｄカメラデバイス５０でＨＩＤ物体３０を撮影して登録する。具体的には、ＨＩＤ物体登録部６１は、ユーザがＨＩＤ物体３０を登録するためのガイダンスをＬＣＤ２５に表示し、ユーザはガイダンスに従って、３Ｄカメラ２６の撮影エリア内に所望のＨＩＤ物体３０を置く。３Ｄカメラ２６がＨＩＤ物体３０を撮影し、ＨＩＤ物体登録部６１は、撮影されたＨＩＤ物体３０の３次元の画像をメモリに登録する。この場合、ＨＩＤ物体３０を回転させて、複数方向から撮影するのが望ましい。

例えば、図２−Ａに示す例では、ユーザは、ＨＩＤ物体登録部６１がＬＣＤ２５に表示するガイダンス（不図示）に従って、３Ｄカメラデバイス５０の３Ｄカメラ２６の撮影エリア内にオレンジ３０を置くと、３Ｄカメラデバイス５０がオレンジ３０を撮影し、ＨＩＤ物体登録部６１は、撮影されたオレンジの３次元の画像をメモリに登録する。これにより、例えば、ユーザは、マウスを忘れた場合などに身近な物を登録することで、マウスに類似した操作で擬似的なマウス入力を行うことができる。

ＨＩＤ有効・無効判定部６２は、平面検出部７１と、ＨＩＤ物体検出部７２と、手接触検出部７３と、を備えている。平面検出部７１は、３Ｄカメラデバイス５０が撮影した画像を解析して、動作平面３２が有るか否かを検出する。平面の検出方法は公知の方法を使用することができるのでその詳細な説明は省略する。ここで、動作平面３２は、ＨＩＤ物体３０の動作を確保するための平面であり、所定の大きさ以上の平面であればよく、その色は限定されない。

ＨＩＤ物体検出部７２は、３Ｄカメラデバイス５０からの画像を解析して、動作平面３２上にＨＩＤ物体登録部６１で登録されたＨＩＤ物体３０が有るか否かを検出する。手接触検出部７３は、ＨＩＤ物体検出部７２がＨＩＤ物体３０を検出した場合に、３Ｄカメラデバイス５０からの画像を解析して、ＨＩＤ物体３０に手３１が接触しているか否かを検出し、ＨＩＤ物体３０に手３１が接触している場合には、その旨をＨＩＤエミュレーション部６３に通知する。これにより、ＨＩＤエミュレーション部６３によるＨＩＤ物体３０のＴｒａｃｋｉｎｇがＡｃｔｉｖｅとなる（マウス機能がＡｃｔｉｖｅとなる）。なお、手の検出方法は公知であるのでその詳細な説明は省略する。

ＨＩＤエミュレート部６３は、手接触検出部７３からＨＩＤ物体３０に手３１が接触している旨の通知があった場合には、ＨＩＤ物体３０のＴｒａｃｋｉｎｇを開始する。ＨＩＤエミュレート部６３は、ＨＩＤ物体座標追跡部８１と、指操作追跡部８２と、操作指示部８３とを備えている。

ＨＩＤ物体座標追跡部８１は、３Ｄカメラデバイス５０からの画像を解析して、ＨＩＤ物体３０の座標位置を検出することにより、ＨＩＤ物体３０の移動を検出し、その移動方向および移動量を操作指示部８３に出力する。より具体的は、ＨＩＤ物体座標追跡部８１は、ＨＩＤ物体３０の３次元座標位置（Ｘ_3D、Ｙ_3D、Ｚ_3D）を検出した後、２次元座標位置（Ｘ_2D、Ｙ_2D）に変換する。３次元−２次元座標変換は公知の方法を使用することができるので、その詳細な説明は省略する。３次元座標位置（Ｘ_3D、Ｙ_3D、Ｚ_3D）は、ＨＩＤ物体３０の重心位置や中心位置とすることができる。座標追跡部８１は、ＨＩＤ物体３０の２次元座標における移動方向及び移動量を算出して、操作指示部８３に出力する。

指操作追跡部８２は、第１の指３１ａにマウスの右ボタンの機能を、第２の指３１ｂにマウスの左ボタンの機能をそれぞれ割り当て、３Ｄカメラデバイス５０からの画像を解析して、第１の指３１ａ又は第２の指３１ｂの座標を検出することにより、第１の指３１ａ又は第２の指３１ｂのＨＩＤ物体３０に対する押下動作を監視する（図２−Ｂ参照）。指操作追跡部８２は、例えば、第１の指３１ａ又は第２の指３１ｂがＨＩＤ物体３０から一旦離れた後、ＨＩＤ物体３０を押す（接触する）動作を検出した場合に、右ボタン又は左ボタンがクリックされたと判定することができる。指操作追跡部８２は、右ボタン又は左ボタンがクリックされたか否かを判定して、その判定結果を操作指示部８３に出力する。マウスの右ボタン及び左ボタンの機能を割り当てる指は、第１の指３１ａ、第２の指３１ｂに限られるものではなく、他の指を割り当てることにしてもよい。

操作指示部８３は、ＨＩＤ物体座標追跡部８１から入力されるＨＩＤ物体３０の移動方向及び移動量に応じてカーソル２８を移動させる。また、操作指示部８３は、指操作追跡部８２から右ボタン又は左ボタンのクリックが行われた旨の通知があった場合には、右クリック操作または左クリック操作を実行する。

図５は、図４のマウスエミュレート用アプリケーションプログラム４７の処理の概略を説明するためのフローチャートである。マウスエミュレート用アプリケーションプログラム４７が起動すると、マウスエミュレート用アプリケーションプログラム４７は、３Ｄカメラデバイス５０を起動させ、常時、３次元の画像を撮影して出力させる。

まず、ＨＩＤ物体登録部６１は、３Ｄカメラデバイス５０でＨＩＤ物体３０を撮影してその三次元の画像を登録する（ステップＳ１）。

平面検出部７１は、３Ｄカメラデバイス５０が撮影した画像を解析して、動作平面３２が有るか否かを判定する（ステップＳ２）。平面検出部７１が動作平面３２が有ると判定した場合には（ステップＳ２の「Ｙｅｓ」）、ＨＩＤ物体検出部７２は、３Ｄカメラデバイス５０で撮影した画像を解析して、動作平面３２上にＨＩＤ物体登録部６１で登録されたＨＩＤ物体３０が有るか否かを判定する（ステップＳ３）。ＨＩＤ物体検出部７２で動作平面３２上にＨＩＤ物体登録部６１で登録されたＨＩＤ物体３０が有ると判定された場合には（ステップＳ３の「Ｙｅｓ」）、手接触検出部７３は、３Ｄカメラデバイス５０からの画像を解析して、ＨＩＤ物体３０に手３１が接触しているか否かを判定する（ステップＳ４）。

手接触検出部７３は、ＨＩＤ物体３０に手３１が接触していると判定した場合には（ステップＳ４の「Ｙｅｓ」）、その旨をＨＩＤエミュレーション部６３に通知する。これにより、ＨＩＤエミュレーション部６３によるＨＩＤ物体３０のＴｒａｃｋｉｎｇがＡｃｔｉｖｅとなる（マウス機能がＡｃｔｉｖｅとなる）。このように、ＨＩＤ物体３０に手３１が接触していることが検出された場合にマウス機能がＡｃｔｉｖｅとなるので、手だけの動作によるご操作を防止することができる。

ステップＳ５では、ＨＩＤ物体座標追跡部８１は、３Ｄカメラデバイス５０からの画像を解析して、ＨＩＤ物体３０が移動したか否かを判定する（ステップＳ５）。ＨＩＤ物体座標追跡部８１は、ＨＩＤ物体３０が移動したと判定した場合には（ステップＳ５の「Ｙｅｓ」）、ＨＩＤ物体３０の移動方向及び移動量を操作指示部８３に出力する。操作指示部８３は、ＨＩＤ物体３０の移動方向及び移動量に応じてカーソルを移動させる（ステップＳ６）。ＨＩＤ物体３０が移動したと判定されなかった場合には（ステップＳ５の「Ｎｏ」）、ステップＳ７に移行する。

ステップＳ７では、指操作追跡部８２は、ＨＩＤ物体３０に対して第１の指３１ａ又は第２の指３１ｂの押下が行われたか否かを判定する。ＨＩＤ物体３０に対して第１の指３１ａ又は第２の指３１ｂの押下が行われた場合には（ステップＳ７の「Ｙｅｓ」）、右クリック又は左クリックが行われた旨を操作指示部８３に出力し、操作指示部８３は、右クリック操作または左クリック操作を実行する（ステップＳ８）。

ＨＩＤ物体３０に対して第１の指３１ａ又は第２の指３１ｂの押下が行われなかった場合には（ステップＳ７の「Ｎｏ」）、ステップＳ９に移行する。ステップＳ９では、手接触検出部７３は、ＨＩＤ物体３０から手３１が離れたか（手３１がＨＩＤ物体３０に置かれていない状態）否かを判定する。ＨＩＤ物体３０から手３１が離れなかった場合には（ステップＳ９の「Ｎｏ」）、ステップＳ５に戻る。

他方、ＨＩＤ物体３０から手３１が離れた場合には（ステップＳ９の「Ｙｅｓ」）、ステップＳ２に戻り、ＨＩＤエミュレーション部６３によるＨＩＤ物体３０のＴｒａｃｋｉｎｇがＩｄｌｅとなり（マウス機能がＩｄｌｅとなる）、再度、動作平面３０、登録したＨＩＤ物体３０、登録したＨＩＤ物体３０に対する手の接触の検出が行われ（ステップＳ２〜Ｓ４）、これらが検出された場合に、ＨＩＤエミュレート部６３によるＨＩＤ物体３０のＴｒａｃｋｉｎｇがＡｃｔｉｖｅとなる（マウス機能がＡｃｔｉｖｅとなる）。このように、ユーザがＨＩＤ物体３０から手３１を離すことにより、マウス機能の使用を中断することができ、ユーザがマウス機能を使い時だけ、ＨＩＤ物体３０に手を置けばよく、ハンドジェスチャのみの手法に比して、ユーザの使い勝手が向上する。

以上説明したように、上記実施例によれば、被写体を撮像して３次元の画像を取得する３Ｄカメラデバイス５０と、ＨＩＤ物体を３Ｄカメラデバイス５０で撮影して登録するＨＩＤ物体登録部６１と、３Ｄカメラデバイス５０で撮影した画像を解析して、ＨＩＤ物体３０を動作させるための動作平面３２を検出する平面検出部７１と、３Ｄカメラデバイス５０で撮影した画像を解析して、登録されたＨＩＤ物体３０を検出するＨＩＤ物体検出部７２と、ＨＩＤ物体検出部７２で登録したＨＩＤ物体３０を検出した場合に、３Ｄカメラデバイス５０で撮影した画像を解析して、ＨＩＤ物体３０に手３１が接触しているか否かを検出する手接触検出部７３と、手接触検出部７３でＨＩＤ物体３０に手３１が接触しているのを検出した場合に、ＨＩＤ物体３０の移動及びＨＩＤ物体３０に対する指の押下動作を検出するＨＩＤ物体座標追跡部８１及び指操作追跡部８２と、ＨＩＤ物体３０の移動及びＨＩＤ物体３０に対する指の押下動作に応じて、カーソル２８の移動及び左右クリック操作を行って、マウスの入力操作をエミュレートする操作指示部８３とを備えているので、マウスの入力操作を、手を使用してエミュレートする場合に、ユーザの使い勝手がよく、かつ、誤操作を低減することが可能となる。

付言すると、本実施例によれば、手でＨＩＤ物体３０を操作して、マウス操作をエミュレートしているため、手をＨＩＤ物体３０で支えていることができ、手の疲労が少なく、また、マウスを操作するのと同じ感覚での入力操作を行うことが可能となる。

また、手でＨＩＤ物体３０を触っているときのみマウス機能が有効となるので、誤操作や誤検出を低減することが可能となる。

なお、上記実施例では、ＨＩＤ物体３０に対する第１及び第２の指３１ａ、３１ｂの押下で、左ボタン操作及び右ボタン操作を行う例を示したが、第３の指を使用して、スクロールボタンの操作を行う構成としてもよい。

また、ＨＩＤ物体３０に対する第１及び第２の指３１ａ、３１ｂの押下で左ボタン操作及び右ボタン操作を行う例を示したが、本発明はこれに限られるものではない。

例えば、ＨＩＤ物体３０が特徴的な形状の部分を有している場合には、マウスエミュレート用アプリケーションプログラム４７は、当該特徴的な形状の部分に指が触れるのを検出した場合に、所定の入力操作を行う構成としてもよい。より具体的には、例えば、ＨＩＤ物体３０をスマートフォンとした場合に、スマートフォンのホームボタンに指が触れるのを検出した場合に左クリック操作を行い、スマートフォンのマイクに指が触れるのを検出した場合に、右クリック操作を行うことにしてもよい。

また、ＨＩＤ物体３０が所定の色の領域を有している場合には、マウスエミュレート用アプリケーションプログラム４７は、当該所定の色の領域に指が触れるのを検出した場合に、所定の操作を行う構成としてもよい。より具体的には、例えば、ＨＩＤ物体３０が赤の領域と青の領域を有する場合には、ＨＩＤ物体３０の赤の領域に指が触れるのを検出した場合に左クリック操作を行い、ＨＩＤ物体３０の青の領域に指が触れるのを検出した場合に、右クリック操作を行うことにしてもよい。

なお、本実施例では、マウスエミュレート処理をマウスエミュレート用アプリケーションプログラム４７が実行することとしたが、ドライバプログラム、ユーティリティプログラム、又はＯＳが実行することにしてもよい。さらに、３Ｄカメラデバイス５０がマウスエミュレート処理の一部又は全部を実行することにしてもよい。

また、本実施例では、情報処理装置としてノートＰＣを例示したが、本発明はこれに限られるものではなく、デスクトップ型ＰＣ、タブレットＰＣ、ＰＤＡ、スマートフォン、携帯電話等に適用可能である。

以上のように、本発明にかかる入力装置、入力方法、及びコンピュータが実行可能なプログラムは、ポインティングデバイスの入力操作をエミュレートする場合に広く利用可能である。

１ 入力装置
２ 撮像手段
３ 検出手段
４ 操作指示手段
１０ 動作平面
１１ 所定の物体
１２ 手
２０ ＰＣ
２２ 本体側筐体
２３ ディスプレイ側筐体
２４ 入力部
２５ ＬＣＤ（液晶ディスプレイ）
２６ ３Ｄカメラ
２７ａ、２７ｂ 連結部
２８ カーソル
３０ ＨＩＤ物体
３１ 手
３１ａ 第１の指
３１ｂ 第２の指
３２ 動作平面
４１ ＣＰＵ
４２ ＲＯＭ
４３ メモリ
４４ ＨＤＤ（ハードディスク）
４５ ＯＳ
４６ ドライバ
４７ マウスエミュレート用アプリケーションプログラム
４８ その他のアプリケーションプログラム
５０ ３Ｄカメラデバイス
５１ 通信デバイス
５２ バッテリ
５３ ＤＣ−ＤＣコンバータ
５４ ＡＣアダプタ
５５ ＵＳＢポート
５６ カメラ処理回路
６１ ＨＩＤ物体登録部
６２ ＨＩＤ有効・無効判定部
６３ ＨＩＤエミュレート部
７１ 平面検出部
７２ ＨＩＤ物体検出部
７３ 手接触検出部
８１ ＨＩＤ物体座標追跡部
８２ 指操作追跡部
８３ 操作指示部

Claims (8)

1. 被写体を撮像して画像を取得する撮像手段と、
   前記撮像手段で取得した画像を解析して、手を支えることが可能でかつ手で平面上を移動可能な所定の物体に手が接触しているか否かを検出し、前記所定の物体に前記手が接触しているのを検出した場合に、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する検出手段と、
   前記検出手段で検出された、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートする操作指示手段と、
   を備えたことを特徴とする入力装置。
2. 前記検出手段は、
   前記撮像手段で取得した画像を解析して、前記所定の物体を動作させるための動作平面を検出する平面検出手段と、
   前記画像を解析して、前記所定の物体を検出する物体検出手段と、
   前記物体検出手段で前記所定の物体を検出した場合に、前記画像を解析して、前記所定の物体に手が接触しているか否かを検出する手接触検出手段と、
   前記手接触検出手段で前記所定の物体に手が接触しているのを検出した場合に、前記画像を解析して、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する動作検出手段と、
   を含むことを特徴とする請求項１に記載の入力装置。
3. 前記所定の物体を前記撮像手段で撮影して登録する登録手段を備え、
   前記検出手段は、前記登録手段で登録された所定の物体を検出することを特徴とする請求項１又は請求項２に記載の入力装置。
4. 前記検出手段は、前記所定の物体に手が接触しているのを検出した後に、前記所定の物体から手が離れるのを検出した場合には、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方の検出を停止することを特徴とする請求項１〜請求項３のいずれか１つに記載の入力装置。
5. 前記ポインティングデバイスはマウスであり、
   前記操作指示手段は、前記検出手段で検出された前記所定の物体の移動に応じてカーソルを移動させ、また、前記所定の物体に対する第１の指又は第２の指の操作に応じた左ボタン又は右ボタンのクリック操作を行うことを特徴とする請求項１〜請求項４のいずれか１つに記載の入力装置。
6. 前記撮像手段は、３Ｄカメラであり、被写体の３次元の画像を取得することを特徴とする請求項１〜請求項５のいずれか１つに記載の入力装置。
7. 入力装置の入力方法であって、
   被写体を撮像して画像を取得する撮像工程と、
   前記撮像工程で取得した画像を解析して、手を支えることが可能でかつ手で平面上を移動可能な所定の物体に手が接触しているか否かを検出し、前記所定の物体に前記手が接触しているのを検出した場合に、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する検出工程と、
   前記検出工程で検出された、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートする操作指示工程と、
   を含むことを特徴とする入力装置の入力方法。
8. 入力装置に搭載されるプログラムであって、
   被写体を撮像して画像を取得する撮像工程と、
   前記撮像工程で取得した画像を解析して、手を支えることが可能でかつ手で平面上を移動可能な所定の物体に手が接触しているか否かを検出し、前記所定の物体に前記手が接触しているのを検出した場合に、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方を検出する検出工程と、
   前記検出工程で検出された、前記所定の物体の移動及び前記所定の物体に対する手の動作の少なくとも一方に応じた入力操作を行って、ポインティングデバイスの入力操作をエミュレートする操作指示工程と、
   をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。

Images