JP6344530B2 - 入力装置、入力方法、及びプログラム - Google Patents

Description

本発明は、入力装置、入力方法、及びプログラムに関する。

ジェスチャ入力等、ユーザが空間上で行った動作をカメラで撮像し、生成された撮像画像を解析することで、情報処理装置に対するユーザの入力操作を認識する技術が開発されている。特許文献１は、ユーザの手のひらのジェスチャ（例えば手のひらを開くジェスチャ）に応じて、その手のひらにメニュー画面を表示したり、そのメニュー画面を切り替えたりする技術を開示している。

特許文献２は、ヘッドマウントディスプレイに表示される仮想キーボードを用いて入力を行う技術を開示している。また、特許文献２は、上記仮想キーボードを実空間上の物に固定することで、ヘッドマウントディスプレイの装着者が頭部を動かしても上記仮想キーボードの位置が変化しないようにする技術を開示している。

米国特許出願公開第２０１５／００１６７７７号明細書 特表２０１５−５０４６１６号公報

撮像画像に含まれるユーザの手などの動きを解析する場合、ユーザが入力操作のために手などを動かしているのか、別の目的で手などを動かしているのかを区別することが難しい。そのため、ユーザが入力操作を行っていないにも関わらず入力操作が誤って認識されたり、ユーザが入力操作を行っているにも関わらず入力操作が認識されなかったりする可能性がある。

本発明は、上記課題に鑑みてなされたものである。本発明の目的は、撮像画像からユーザの入力操作を認識する際の認識精度を向上する技術を提供することである。

本発明の第１の入力装置は、１）ユーザの身体が触れられたことを、前記ユーザの身体に取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、を有する。
前記動き検出手段は、前記撮像画像に含まれるマーカを検出し、前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出する。
前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である。
本発明の第２の入力装置は、１）ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、を有する。
前記センサは、前記ユーザに取り付けられたデバイスに設けられる。
前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更する。
前記動き検出手段は、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する。
本発明の第３の入力装置は、１）ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、を有する。
前記撮像画像を生成するカメラは、前記センサとは別体として設けられる。
前記動き検出手段は、前記撮像画像に含まれるマーカを検出し、前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出する。
前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である。
本発明の第４の入力装置は、１）ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、を有する。
前記撮像画像を生成するカメラは、前記センサとは別体として設けられる。
前記センサは、前記ユーザに取り付けられたデバイスに設けられる。
前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更する。
前記動き検出手段は、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する。

本発明の第１の入力方法は、コンピュータによって実行される入力方法である。
当該入力方法は、１）ユーザの身体が触れられたことを、前記ユーザの身体に取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、を有する。
前記動き検出ステップにおいて、前記撮像画像に含まれるマーカを検出し、前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出する。
前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である。
本発明の第２の入力方法は、コンピュータによって実行される入力方法である。
当該入力方法は、１）ユーザの身体が触れられたことを、前記ユーザの身体に取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、を有する。
前記撮像画像を生成するカメラは、前記センサとは別体として設けられる。
前記センサは、前記ユーザに取り付けられたデバイスに設けられる。
前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更する。
前記動き検出ステップにおいて、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する。
本発明の第３の入力方法は、コンピュータによって実行される入力方法である。
当該入力方法は、１）ユーザの身体が触れられたことを、前記ユーザの身体に取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、を有する。
前記撮像画像を生成するカメラは、前記センサとは別体として設けられる。
前記動き検出ステップにおいて、前記撮像画像に含まれるマーカを検出し、前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出する。
前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である。
本発明の第４の入力方法は、コンピュータによって実行される入力方法である。
当該入力方法は、１）ユーザの身体が触れられたことを、前記ユーザの身体に取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、を有する。
前記撮像画像を生成するカメラは、前記センサとは別体として設けられる。
前記センサは、前記ユーザに取り付けられたデバイスに設けられる。
前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更する。
前記動き検出ステップにおいて、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する。
本発明の第１のシステムは、センサ、カメラ、及び入力装置を有する。
前記入力装置は、１）前記センサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、を有する。
前記センサはユーザの身体に取り付けられる。
前記撮像画像は前記カメラによって生成される。
前記カメラと前記センサは互いに別体として設けられる。
前記動き検出手段は、前記撮像画像に含まれるマーカを検出し、前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出する。
前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である。
本発明の第２のシステムは、センサ、カメラ、及び入力装置を有する。
前記入力装置は、１）前記センサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、２）前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、を有する。
前記センサはユーザの身体に取り付けられる。
前記撮像画像は前記カメラによって生成される。
前記カメラと前記センサは互いに別体として設けられる。
前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更する。
前記動き検出手段は、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する。

本発明によれば、撮像画像からユーザの入力操作を認識する際の認識精度を向上する技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る入力装置を例示するブロック図である。 入力装置の動作を概念的に説明するための図である。 入力装置を実現する計算機の構成を例示する図である。 実施形態１の入力装置によって実行される処理の流れを例示するフローチャートである。 ユーザによって左腕がタップされた場合に、デバイスの表示画面に表示されている画像が変更される様子を例示する図である。 センサタイミングを用いて検出対象期間の開始時点を決定する方法を例示する図である。 ぶれた状態のユーザの指が含まれる撮像画像を例示する図である。 オブジェクトの動きによって定まる形状を入力として認識する様子を例示する図である。 オブジェクトの動きを形状に変換する様子を例示する図である。 ジェスチャ入力を例示する図である。 実施形態２に係る入力装置を例示するブロック図である。 実施形態２の入力装置の動作を概念的に説明する図である。 実施形態２の入力装置によって実行される処理の流れを例示するフローチャートである。 表示制御部が第１領域の形状を補正して第２領域を生成する様子を例示する図である。 第２領域が撮像画像に重畳されて表示画面に表示される様子を例示する図である。 ヘッドマウントディスプレイの表示画面に表示された第２領域を例示する図である。 実施形態２の入力装置を実現する計算機のハードウエア構成を例示する図である。 グラス及びウォッチを例示する図である。 ユーザが行う点検作業の概要を例示する図である。 ユーザの視界に含まれる操作選択メニューを例示する図である。 ユーザの視界に含まれる入力方法選択メニューを例示する図である。 数値入力ボタンが選択された後の様子を例示する図である。 メモボタンが選択された後の様子を例示する図である。 ユーザが撮像画像上に含まれるものに対して描画を行う様子を例示する図である。 撮像画像の平面上における入力位置とオブジェクトの位置との関係を例示する図である。 ３次元空間上における入力位置とオブジェクトとの位置との関係を例示する図である。 ユーザによる入力によって定まる位置に第２領域が表示される様子を例示する図である。 マーカに基づいて検出領域を定める方法を例示する第１の図である。 マーカに基づいて検出領域を定める方法を例示する第２の図である。 マーカに基づいて検出領域を定める方法を例示する第３の図である。 表示制御部が第１領域の形状を補正して第２領域を生成する様子を例示する第２の図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［実施形態１］
図１は、実施形態１に係る入力装置２０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

入力装置２０００は、動き検出部２０２０及び入力認識部２０４０を有する。動き検出部２０２０は、オブジェクトが含まれる撮像画像を用いて、オブジェクトの動きを検出する。ここで、検出されるオブジェクトの動きは、入力装置２０００のユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きである。入力認識部２０４０は、検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する。この入力によって操作などがされる情報処理装置（入力対象の情報処理装置）は、入力装置２０００であってもよいし、それ以外の装置であってもよい。

図２は、入力装置２０００の動作を概念的に説明するための図である。ユーザは、指３０を動かすことで、情報処理装置へ入力を行う。指３０の動きは、カメラ２０によって撮像される。その結果、カメラ２０は、指３０が含まれる撮像画像を生成する。入力装置２０００は、カメラ２０によって生成された撮像画像に含まれる指３０から、指３０の動きを検出する。入力装置２０００は、検出した指３０の動きに基づいて、ユーザによる入力を認識する。

入力装置２０００は、ユーザによる入力操作の認識に、ユーザに身につけられているセンサを利用する。図２では、ユーザの左腕５０に身につけられているデバイス１０にセンサ１２が内蔵されている。センサ１２は、例えば振動センサである。例えばユーザが入力操作を開始するタイミングで左腕５０をタップするようにすれば、入力装置２０００は、センサによってそのタップが検出されたタイミングに基づいて、そのタイミングを含むユーザの動作が入力操作であることを知ることができる。よって、入力装置２０００は、そのタイミングを含む期間における指３０の動きを検出することで、ユーザが意図した入力操作を正しく認識することができる。

ただし、図２を用いて説明した入力装置２０００の動作は、入力装置２０００の理解を容易にするための例示であり、入力装置２０００の動作は上述の例に限定されるわけではない。入力装置２０００の動作の詳細やバリエーションについては、以降の記載で説明する。

＜作用・効果＞
撮像画像に含まれるオブジェクトの動きのみを利用してユーザの入力操作を認識しようとすると、ユーザが入力操作のためにオブジェクトを動かしているのか、別の目的でオブジェクトを動かしているのかを区別することが難しい。そのため、ユーザが入力操作を行っていないにも関わらず入力操作が誤って認識されたり、ユーザが入力操作を行っているにも関わらず入力操作が認識されなかったりする可能性がある。

そこで本実施形態の入力装置２０００は、ユーザに身につけられているセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを解析することで、入力操作を認識する。この期間におけるオブジェクトの動きは、ユーザの入力操作を表す動きである蓋然性が高い。そのため、ユーザが意図して行った入力操作が正しく認識されるようになり、ユーザが入力操作を行っていないにも関わらず入力操作が誤って認識されたり、ユーザが入力操作を行っているにも関わらず入力操作が認識されなかったりすることを防ぐことができる。

＜入力装置２０００のハードウエア構成の例＞
入力装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、入力装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

計算機１０００は、ヘッドマウントディスプレイ、タブレット端末、スマートフォン、Personal Computer（PC）、又はサーバマシンなど、種々の計算機である。計算機１０００は、入力装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

図３は、入力装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、及びストレージ１０８０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM などのメモリであってもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。カメラ２０が接続されている。カメラ２０は、繰り返し撮像を行って、各撮像結果を表す撮像画像を生成する任意のカメラである。なお、カメラ２０は、２Ｄ（two-dimensional）カメラであってもよいし、３Ｄ（three-dimensional）カメラであってもよい。

カメラ２０が設けられる位置は任意である。例えばカメラ２０は、ユーザが身につけている物に取り付けられる。ユーザが身につけている物とは、例えばヘッドマウントディスプレイや、首から提げている社員証などである。また例えば、カメラ２０は、ユーザが入力装置２０００に対する入力操作を行う部屋の壁等に設けられてもよい。後者の場合、カメラ２０の撮影範囲（撮影方向やズーム率など）は、リモコンなどによる遠隔操作によって変更できることが好ましい。

ストレージ１０８０は入力装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

計算機１０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。

＜処理の流れ＞
図４は、実施形態１の入力装置２０００によって実行される処理の流れを例示するフローチャートである。動き検出部２０２０は、入力装置２０００のユーザの身体に取り付けられたセンサ１２の検出結果を把握する（Ｓ１０２）。動き検出部２０２０は撮像画像を取得する（Ｓ１０４）。動き検出部２０２０は、取得した撮像画像を用いて、センサ１２の検出結果に基づいて定まる期間におけるオブジェクトの動きを検出する（Ｓ１０６）。入力認識部２０４０は、検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する（Ｓ１０８）。

＜ユーザに身につけられるセンサについて＞
ユーザに身に付けられるセンサは、ユーザによる入力操作のタイミングを把握するために利用できる任意のセンサであり、前述した振動センサに限定されない。例えばセンサは、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサなどでもよい。加速度センサや振動スイッチは、振動センサと同様に、例えばデバイス１０の内部に設けられる。圧力センサや静電容量センサは、例えばデバイス１０のタッチパネルに設けられる。また例えば、圧力センサや静電容量センサは、ユーザの腕や手などに貼られたり巻き付けられたりするシートなどに設けられてもよい。また例えば、圧力センサや静電容量センサは、ユーザの衣服（袖など）に設けられてもよい。

＜センサの検出結果を把握する方法＞
動き検出部２０２０は、入力装置２０００のユーザの身体に取り付けられたセンサの検出結果を把握する（Ｓ１０２）。動き検出部２０２０がセンサの検出結果を把握する方法は様々である。以下、その方法を例示する。

＜＜無線通信の利用＞＞
例えば動き検出部２０２０は、センサを内蔵するデバイス１０と無線通信を行うことにより、センサの検出結果を示す情報を取得することで、センサ１２の検出結果を把握する。例えば、デバイス１０は、センサが所定の大きさ以上の振動を検出したタイミングで、動き検出部２０２０に対して所定の信号を送信する。この場合、動き検出部２０２０は、この所定の信号を受信することにより、「センサによって振動が検出された」というセンサの検出結果を取得することができる。

また例えば、デバイス１０は、センサ１２によって所定の大きさ以上の振動が検出された場合に、その振動が検出された時点を示す情報を動き検出部２０２０に送信しても良い。

＜＜デバイス１０の外観の変化の検出＞＞
デバイス１０は、センサ１２による振動の検出に応じてデバイス１０の外観を変化させてもよい。この場合、カメラ２０を用いてデバイス１０を撮像する。動き検出部２０２０は、デバイス１０が含まれる画像を用いてデバイス１０の外観の変化を検出することで、センサの検出結果（センサによって振動が検出されたこと）を把握する。

例えばデバイス１０が表示画面を有する場合、デバイス１０は、センサによって所定の大きさ以上の振動が検出されたときに、表示画面の表示を変更する。より具体的には、デバイス１０は、センサによって所定の大きさ以上の振動が検出されたとき、デバイス１０の表示画面に表示されている画像を変更するか、又は何も表示されていなかった表示画面に新たに画像を表示する。動き検出部２０２０は、カメラ２０によって繰り返し生成される画像を解析することで、デバイス１０の表示画面の表示が変更されたことを検出する。これにより、動き検出部２０２０は、センサによって振動が検出されたことを把握する。図５は、ユーザによって左腕５０がタップされた場合に、デバイス１０の表示画面に表示されている画像が変更される様子を例示する図である。

また例えば、デバイス１０は、センサ１２によって振動が検出された場合に、デバイス１０の表示画面のバックライトやデバイス１０に設けられた LED（Light Emitting Diode）ライトなどのライトを点灯又は点滅させてもよい。動き検出部２０２０は、カメラ２０によって繰り返し生成される画像を解析することで、これらのライトの点灯や点滅を検出する。これにより、動き検出部２０２０は、センサ１２によって振動が検出されたことを把握する。

このように、センサ１２による振動の検出に応じてデバイス１０の外観を変化させることによって動き検出部２０２０がその振動の検出を把握すれば、デバイス１０と入力装置２０００との間で無線通信を行う必要がない。そのため、他に無線通信の必要性がない限り、デバイス１０や入力装置２０００は無線通信の機能を有さなくてよい。

動き検出部２０２０が振動センサ以外のセンサによる検出結果を把握する方法は、振動センサについて説明した上述の方法と同様である。例えばセンサが加速度センサや振動スイッチである場合、デバイス１０や動き算出部２０２０は、これらのセンサが所定の大きさ以上の加速度や振動を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。また例えばセンサが圧力センサである場合、デバイス１０や動き検出部２０２０は、圧力センサが所定の大きさ以上の圧力を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。また例えば、センサが静電容量センサである場合、デバイス１０や動き検出部２０２０は、静電容量センサが所定の大きさ以上の静電容量の変位を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。

＜撮像画像を取得する方法＞
動き検出部２０２０は撮像画像を取得する（Ｓ１０４）。動き検出部２０２０が撮像画像を取得する方法は様々である。例えば動き検出部２０２０は、カメラ２０から撮像画像を取得する。この場合、入力装置２０００とカメラ２０とは通信可能に接続されている。

また、カメラ２０が外部の記憶装置に撮像画像を記憶する場合、動き検出部２０２０は、この記憶装置から撮像画像を取得する。この場合、動き検出部２０２０は、この記憶装置と通信可能に接続されている。

＜オブジェクトの動きを検出する方法＞
動き検出部２０２０は、取得した撮像画像を用いて、センサ１２の検出結果に基づいて定まる期間におけるオブジェクトの動きを検出する（Ｓ１０６）。以下、１）何をオブジェクトとして扱うか、２）どの期間におけるオブジェクトの動きを検出するか、及び３）撮像画像からどのようにオブジェクトの動きを検出するかについて、それぞれ説明する。

＜＜何をオブジェクトとして扱うか＞＞
動き検出部２０２０は、所定の物をオブジェクトとして扱う。例えば所定の物は、ユーザの指やペンなどである。この場合、ユーザは、カメラ２０の撮像範囲内で指やペンなどを動かすことにより、入力操作を行う。

また例えば、所定の物は、物に付されたマークであってもよい。例えばこのマークは、ユーザの身体（指など）に付される。また例えば、このマークは、ユーザが保持する物（ペンなど）に付される。また例えば、このマークは、ユーザが身につける物に付される。ユーザに身につけられる物は、例えば前述したセンサが内蔵されているデバイス１０である。ユーザは、カメラ２０の撮像範囲内で、マークが付された指、ペン、又はデバイス１０などを動かすことにより、入力操作を行う。

動き検出部２０２０が何をオブジェクトとして扱うかを示す情報は、動き検出部２０２０に予め設定されていてもよいし、入力装置２０００の内部又は外部に設けられた記憶装置に記憶されていてもよい。

なお、動き検出部２０２０がオブジェクトとして扱う物は、一種類であってもよいし、複数種類であってもよい。

＜＜どの期間におけるオブジェクトの動きを検出するか＞＞
動き検出部２０２０は、センサの検出結果を取得する。そして、動き検出部２０２０は、センサの検出結果に基づいて定まる期間におけるオブジェクトの動きを検出する。以下、「センサの検出結果に基づいて定まる期間」を検出対象期間と表記する。検出対象期間を定める方法を以下に例示する。

動き検出部２０２０は、検出対象期間を定めるために、センサの検出結果を利用する。具体的には、動き検出部２０２０は、センサタイミングに基づいて検出対象期間を定める。センサタイミングは、センサによって振動などが検出されたタイミング又はこれに近いタイミングである。例えばセンサ１２によって振動などが検出された場合にデバイス１０から動き検出部２０２０へ所定の信号が送信される場合、センサタイミングは、動き検出部２０２０がこの所定の信号を受信した時点である。また例えば、センサ１２によって振動などが検出された時点を示す情報がデバイス１０から動き検出部２０２０へ送信される場合、センサタイミングは、この情報によって示される時点である。また例えば、センサ１２によって振動などが検出された場合にデバイス１０の外観に所定の変化が加わる場合、センサタイミングは、動き検出部２０２０によってこの所定の変化が検出された時点である。

動き検出部２０２０は、センサタイミングを１つ又は２つ用いて検出対象期間を定める。センサタイミングを１つ用いて検出対象期間を定める場合、動き検出部２０２０は、１つのセンサタイミングを用いて検出対象期間の開始時点及び終了時点の双方を定める。

センサタイミングを２つ用いて検出対象期間を定める場合、動き検出部２０２０は、２つのセンサタイミングを用いて検出対象期間を定める。具体的には、動き検出部２０２０は、２つのセンサタイミングのうち、より早いセンサタイミングを用いて検出対象期間の開始時点を決定し、より後のセンサタイミングを用いて検出対象期間の終了時点を決定する。

図６は、センサタイミングを用いて検出対象期間の開始時点を決定する方法を例示する図である。例えば動き検出部２０２０は、センサタイミングを検出対象期間の開始時点とする（図６（ａ））。また例えば、動き検出部２０２０は、センサタイミングから所定時間前の時点を、検出対象期間の開始時点とする（図６（ｂ））。また例えば、動き検出部２０２０は、センサタイミングから所定時間後の時点を、検出対象期間の開始時点とする（図６（ｃ））。

センサタイミングを用いて検出対象期間の終了時点を決定する方法は、センサタイミングを用いて検出対象期間の開始時点を決定する方法と同様である。

なお、センサタイミングよりも所定時間前の時点を検出対象期間の開始時点とする場合（図６（ｂ））、オブジェクトの動きの検出には、センサタイミングよりも上記所定時間前以降に撮像されたオブジェクトが含まれる撮像画像が必要となる。そこで、カメラ２０は、センサ１２によって振動が検出される前から撮像を開始する。例えばカメラ２０は、ユーザが入力装置２０００の利用を開始してから終了するまでの間、継続して撮像を行う。また、カメラ２０によって生成される撮像画像は、所定期間継続して記憶装置などに記憶される。

一方、センサタイミング又はセンサタイミングから所定時間後を検出対象期間の開始時点とする場合（図６（ａ）又は図６（ｃ））、カメラ２０は、センサ１２によって振動が検出されてから撮像を開始してもよい。この場合、例えばカメラ２０は、デバイス１０又は入力装置２０００から、センサ１２によって振動が検出された旨の信号を受信し、その信号を受信したタイミングで撮像を開始する。

なお、上述した各所定時間を表す情報は、動き検出部２０２０に予め設定されていてもよいし、動き検出部２０２０からアクセス可能な記憶装置に記憶されていてもよい。また、検出対象期間の開始時点の決定に用いる所定時間と、検出対象期間の終了時点に用いる所定時間は、同じであってもよいし、異なっていてもよい。

＜＜撮像画像からどのようにオブジェクトの動きを検出するか＞＞
動き検出部２０２０は、検出対象期間において撮像されたオブジェクトが含まれる撮像画像を用いてオブジェクトの動きを検出する。検出対象期間において撮像されたオブジェクトが含まれる撮像画像が複数ある場合、例えば動き検出部２０２０は、それら複数の撮像画像それぞれについてオブジェクト認識を行い、各撮像画像に含まれるオブジェクトの位置を算出する。そして動き検出部２０２０は、オブジェクトの位置の変化を表す情報を、オブジェクトの動きを表す情報とする。オブジェクトの位置の変化を表す情報は、例えばオブジェクトの位置を時系列で並べた情報である。

検出対象期間において撮像されたオブジェクトが含まれる撮像画像は１つであってもよい。オブジェクトが動いている場合、ぶれた状態のオブジェクトが１つの撮像画像に含まれることが多い。そこで動き検出部２０２０は、その１つの撮像画像に含まれているぶれた状態のオブジェクトの画像から、オブジェクトの動きを算出する。

図７は、ぶれた状態のユーザの指が含まれる撮像画像２２を例示する図である。撮像画像２２では、ユーザの指３０が、指３０−Ａから指３０−Ｂへ移動するようにぶれている。動き検出部２０２０は、指３０−Ａと指３０−Ｂに共通する特徴点の位置の変化を、オブジェクトの動きとして検出する。例えば動き検出部２０２０は、指３０−Ａの指先と指３０−Ｂの指先の位置の変化によって定まる動き４０を検出する。

＜入力認識部２０４０の詳細＞
入力認識部２０４０は、検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する（Ｓ１０８）。入力認識部２０４０は、１）検出したオブジェクトの動きに基づく形状を情報処理装置への入力として認識としてもよいし、２）検出したオブジェクトの動きに対応する所定の入力操作を、情報処理装置への入力として認識してもよい。

＜＜オブジェクトの動きに基づく形状を入力として認識するケース＞＞
図８は、オブジェクトの動きによって定まる形状を入力として認識する様子を例示する図である。図８（ａ）では、入力認識部２０４０は、オブジェクトの動き４０−Ａが表す形状４１や、動き４０−Ｂが表す形状４２を、情報処理装置への入力として認識する。例えばこの入力は、ユーザが情報処理装置へ手書き入力を行う際に利用される。

図８（ｂ）では、入力認識部２０４０は、オブジェクトの動きとは異なる形状ではあるものの、オブジェクトの動きによって形状及び大きさが定まる形状を、情報処理装置への入力として認識する。具体的には、入力認識部２０４０は、動き４０−Ｃの両端を対角線の両端とする矩形４４や、動き４０−Ｃの両端を直径の両端とする円形４６を、情報処理装置への入力として認識する。例えばこの入力は、ユーザが情報処理装置へ、ある範囲を表す入力（選択操作など）を行う際や、所定の図形の描画を行う際に用いられる。

図８（ａ）に示した方法と図８（ｂ）で示した方法のどちらを用いるのかは、予め固定されていてもよいし、ユーザによって設定可能であってもよい。また、上記どちらの方法を用いるのかを示す情報は、入力認識部２０４０に予め設定されていてもよいし、入力認識部２０４０からアクセス可能な記憶装置に記憶されていてもよい。

ここで入力認識部２０４０は、カメラ２０の正面から見たオブジェクトの動き（撮像画像に含まれるオブジェクトの動き）を上記の各形状に変換してもよいし、別の角度から見たオブジェクトの動きを上記の各形状に変換してもよい。図９は、オブジェクトの動きを形状に変換する様子を例示する図である。撮像画像２２は、カメラ２０によって生成された撮像画像である。ユーザは、左腕５０上で動き４０を行っている。ここで、撮像画像２２に含まれる動き４０を図８（ｂ）に示した方法で形状に変換すると形状４８となる。しかし、ユーザは左腕５０を入力用の平面として扱っていることから、ユーザが入力しようとしたのは、動き４０をカメラ２０の正面から見た形状４８ではなく、動き４０を左腕５０の正面から見た形状４９であると考えられる。

そこで入力認識部２０４０は、動き４０を左腕５０の正面から見た動きに基づいて形状４９を算出し、この形状４９をユーザによる入力として認識する。そのために、入力認識部２０４０は、ユーザの左腕５０に取り付けられているデバイス１０を利用する。具体的には、入力認識部２０４０は、デバイス１０のタッチパネル１４を撮像画像から抽出する。そして、入力認識部２０４０は、抽出したタッチパネル１４の形状から、タッチパネル１４上の平面の座標軸１４０を割り出す。例えば入力認識部２０４０は、タッチパネル１４の中心を原点とし、タッチパネル１４によって定まる平面（例えばタッチパネル１４の４隅で定まる平面）を XY 平面とし、その平面に直交する方向を Z 方向とする座標軸を座標軸１４０とする。そして、入力認識部２０４０は、この座標軸１４０で定まる平面上において動き４０の両端を対角線の両端とする形状４９を算出する。

なお、撮像画像２２に含まれるオブジェクトの動きをそのまま形状に変換する方法と、別の角度（例えば左腕５０を正面から見た角度）から見たオブジェクトの動きを形状に変換する方法のどちらを用いるのかは、予め固定されていてもよいし、ユーザによって設定可能であってもよい。また、上記どちらの方法を用いるのかを示す情報は、入力認識部２０４０に予め設定されていてもよいし、入力認識部２０４０からアクセス可能な記憶装置に記憶されていてもよい。

＜＜オブジェクトの動きに対応する所定の入力操作を認識するケース＞＞
検出したオブジェクトの動きに対応する所定の入力操作は、いわゆるジェスチャ入力による入力操作である。図１０は、ジェスチャ入力を例示する図である。図１０（ａ）はフリック動作を表し、図１０（ｂ）はピンチイン・ピンチアウト動作を表している。

オブジェクトの動きと、その動きに対応する所定の入力操作とを関連付ける情報は、入力認識部２０４０に予め設定されていてもよいし、入力装置２０００の内部又は外部の記憶装置に予め記憶されていてもよい。

＜オブジェクトを動かす動作が行われた場所の取り扱いについて＞
入力認識部２０４０は、１）オブジェクトを動かす動作が行われた位置に関係なく、そのオブジェクトの動きのみを入力として認識してもよいし、２）オブジェクトの動きと、そのオブジェクトを動かす動作が行われた位置との組み合わせを入力として認識してもよい。前者の場合、オブジェクトを動かす動作が撮像画像２２上のどの場所で行われても、同じオブジェクトの動きは同じ入力を表す。一方後者の場合、オブジェクトを動かす動作が撮像画像２２上のどの場所で行われたかが意味を持つこととなる。

例えば、ユーザが、撮像画像２２上に含まれるものや表示画面に表示されているものに対して描画操作を行うとする。この場合、描画される形状だけでなく、その描画が何に対して行われたものであるかが意味を持つ。図２４は、ユーザが撮像画像２２上に含まれるものに対して描画を行う様子を例示する図である。図２４の撮像画像２２には、一部にサビがあるパイプが含まれている。ユーザは、撮像画像２２に含まれるパイプの一部にサビがあることを示すため、サビ部分を囲むように線６２を描いている。この入力操作を認識するためには、入力認識部２０４０は、線６２の形状だけでなく、線６２が描かれた場所も入力として認識する必要がある。

１）の場合、入力認識部２０４０は、前述したように動き検出部２０２０によって検出されたオブジェクトの動きで定まる形状や、オブジェクトの動きで定まるジェスチャを、入力として認識する。

一方２）の場合、入力認識部２０４０は、動き検出部２０２０によって検出された撮像画像２２上のオブジェクトの座標の遷移を入力として認識する。よって、図２４において、入力認識部２０４０は、線６２の形状だけでなく、線６２が描かれた位置も入力として認識する。

また２）の場合、入力認識部２０４０は、オブジェクトの動作が行われた場所ではなく、その場所と離れた場所を、ユーザによって入力が行われた場所として認識してもよい。図２４では、オブジェクトを動かすことで、オブジェクトから離れた位置を対象として入力を行っている。以下、オブジェクトの動作が行われた場所に対応して入力として認識される位置を、入力位置と表記する。

オブジェクトの動きに基づいて、オブジェクトから離れた場所を入力位置とする入力を認識する場合、入力認識部２０４０は、動き検出部２０２０によって検出された撮像画像２２上のオブジェクトの座標の遷移を、所定の方法で、オブジェクトから離れた入力位置の座標の遷移に変換する。

入力位置は、撮像画像２２上のオブジェクトの位置との関係で予め相対的に定められている。例えば入力位置とオブジェクトの位置との関係は、撮像画像２２の平面上における二次元の位置関係で定められている。

図２５は、撮像画像２２の平面上における入力位置６０とオブジェクトの位置との関係を例示する図である。入力位置６０とオブジェクトの位置との関係は、以下の数式（１）で定められている。（a_x, a_y）は、撮像画像２２における入力位置６０の座標である。（m_x, m_y）は、撮像画像２２における指３０の座標である。（c_x, c_y）は、オブジェクトの位置に対する入力位置６０の相対位置である。図２５では、オブジェクトは指３０であり、オブジェクトの位置は指３０の指先である。

また例えば入力位置６０の位置は、オブジェクトの位置に対する３次元空間上の相対位置として予め定められている。この３次元空間は、撮像画像２２に含まれるオブジェクトによって定まる３次元空間である。

図２６は、３次元空間上における入力位置６０とオブジェクトとの位置との関係を例示する図である。入力認識部２０４０は、撮像画像２２に含まれる所定の物を用いて座標軸１４０を決定する。例えば入力認識部２０４０は、デバイス１０を用いて座標軸１４０を決定する。具体的には、入力認識部２０４０は、デバイス１０のタッチパネル１４の中心を原点とし、タッチパネル１４によって定まる平面を XY 平面とし、その平面に直交する方向を Z 方向とする座標軸を座標軸１４０とする。

入力位置６０とオブジェクトの位置との関係は、座標軸１４０で定まる３次元空間上において、例えば以下の数式（２）で定められる。（a_x, a_y, a_z）は、座標軸１４０で定まる３次元空間上における入力位置６０の座標である。（m_x, m_y, m_y）は、座標軸１４０で定まる３次元空間上におけるオブジェクトの位置の座標である。（c_x, c_y, c_z）は、座標軸１４０で定まる３次元空間上における、オブジェクトの位置に対する入力位置６０の相対位置である。図２５でも、オブジェクトは指３０であり、オブジェクトの位置は指３０の指先である。

入力認識部２０４０は、数式（１）や数式（２）を用いて、複数の撮像画像２２上のオブジェクトの位置の座標をそれぞれ、入力位置６０の座標に変換する。そして、入力認識部２０４０は、算出された複数の入力位置６０の座標を時系列で並べた情報を、ユーザによる入力として認識する。

入力認識部２０４０が１）と２）のどちらの方法で入力を認識するのかは、予め入力認識部２０４０に設定されていてもよいし、入力認識部２０４０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって選択可能であってもよい。

［実施形態２］
図１１は、実施形態２に係る入力装置２０００を例示するブロック図である。図１１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

図１２は、実施形態２の入力装置２０００の動作を概念的に説明する図である。実施形態２の入力装置２０００において、入力認識部２０４０は、撮像画像２２に含まれるオブジェクトの動きに基づいて、領域を描く入力を認識する。以下、入力認識部２０４０によって認識される領域を第１領域と表記する。第１領域は、例えば矩形領域や円形領域などである。図１２における第１領域は、ユーザの左腕５０上において、指３０の動き４０に基づいて描かれた矩形領域７０である。

そして、入力装置２０００は、その入力認識後に生成された撮像画像２２の中から、その領域に基づいて定まる範囲を抽出する。図１２では、上記矩形領域７０の入力が認識された後、カメラ２０によってメータ８０が撮像され、その結果撮像画像９０が生成されている。入力装置２０００は、撮像画像９０の矩形領域１００に含まれる範囲（メータ８０の計測結果）を抽出する。矩形領域１００は、矩形領域７０によって定まる領域である。例えば入力装置２０００は、この抽出した画像を解析することにより、メータ８０の計測結果を割り出す。

上記機能を実現するために、実施形態２の入力装置２０００は表示制御部２０５０及び抽出部２０６０を有する。また、実施形態２の入力認識部２０４０は、前述した通り、オブジェクトの動きに基づいて第１領域を描く入力を認識する。表示制御部２０５０は、表示画面に第１の領域に基づいて定まる第２領域を表示する。抽出部２０６０は、入力認識部２０４０によって第１領域を描く入力が認識された後にカメラ２０によって生成される画像から、第２領域に対応する範囲に含まれる部分画像を抽出する。

以下、実施形態２の入力装置２０００についてさらに詳細を説明する。

＜処理の流れ＞
図１３は、実施形態２の入力装置２０００によって実行される処理の流れを例示するフローチャートである。入力認識部２０４０は、オブジェクトの動きに基づいて第１領域を描く入力を認識する（Ｓ２０２）。表示制御部２０５０は、第１領域に基づいて第２領域を生成する（Ｓ２０４）。表示制御部２０５０は、第２領域を表示画面に表示する（Ｓ２０６）。抽出部２０６０は、カメラ２０によって生成される撮像画像から、第２領域に対応する範囲に含まれる部分画像を抽出する（Ｓ２０８）。

＜入力認識部２０４０の詳細＞
入力認識部２０４０は、オブジェクトの動きに基づいて第１領域を描く入力を認識する（Ｓ２０２）。例えば第１領域は、オブジェクトの動きそのものが表す領域である。また例えば、第１領域は、オブジェクトの動きによって定められる所定の形状を表す領域である。例えば第１領域は、図８で例示した形状４２、矩形４４、又は円形４６などである。

＜表示制御部２０５０の詳細＞
＜＜第２領域の生成方法＞＞
表示制御部２０５０は、第１領域に基づいて第２領域を生成する（Ｓ２０４）。表示制御部２０５０が第１領域に基づいて第２領域を生成する方法は様々である。例えば表示制御部２０５０は、第１領域と同一の大きさ及び同一の形状の領域として、第２領域を生成する。

また例えば、表示制御部２０５０は、第１領域と形状が同じで（相似で）大きさが異なる領域を、第２領域として生成する。具体的には、表示制御部２０５０は、第１領域と形状が同じであり、かつ面積が所定の面積である領域を第２領域とする。

また例えば、表示制御部２０５０は、第１領域の形状を所定の方法で変形して第２領域を生成してもよい。概念的には、表示制御部２０５０は、第１領域がユーザの意図した形状になるように補正する。

図１４は、表示制御部２０５０が第１領域の形状を補正して第２領域を生成する様子を例示する図である。図１４（ａ）は撮像画像２２に含まれる様子を示す。ユーザは、左腕５０に対して第１領域１１０を表す入力を行っている。ここで、カメラ２０が左腕５０を正面から撮影していないため、撮像画像２２に含まれる第１領域１１０の形状は、長方形を斜め上から見たような形状となっている。しかしユーザは、左腕５０を正面から見た場合に目に見える形状を描こうとしていると考えられるため、ユーザが意図する第１領域１１０の形状は長方形であると考えられる。

そこで表示制御部２０５０は、第１領域１１０の形状を補正する。図１４（ｂ）は、第１領域１１０の形状を補正することで生成された第２領域１２０を示す図である。図１４において、表示制御部２０５０は、ユーザの左腕５０に取り付けられているデバイス１０のタッチパネル１４を撮像画像から抽出する。そして、表示制御部２０５０は、抽出したタッチパネル１４の形状から、タッチパネル１４上の平面の座標軸１４０を割り出す。そして、表示制御部２０５０は、この座標軸１４０を用いて第１領域１１０の形状を変換することで、第２領域１２０を生成する。

なお、第１領域の形状を補正する方法は、図１４に示す方法に限定されない。図３１は、表示制御部２０５０が第１領域の形状を補正して第２領域を生成する様子を例示する第２の図である。図３１（ａ）の例において、表示制御部２０５０は、第１領域１１０−１を補正して、第２領域１２０−１又は第２領域１２０−２を生成する。第２領域１２０−１は、第１領域１１０−１の４つの頂点を直線で結んだ台形である。第２領域１２０−２は、第２領域１２０−１の上辺と底辺をそれぞれ短辺とする矩形である。なお、台形を補正して矩形に変換する技術には、既存の技術を利用することができる。

図３１（ｂ）の例において、表示制御部２０５０は、第１領域１１０−２を補正して、第２領域１２０−３又は第２領域１２０−４を生成する。第２領域１２０−３は、第１領域１１０−２の４つの頂点を直線で結んだ平行四辺形である。第２領域１２０−４は、第２領域１２０−３の上辺と底辺をそれぞれ長辺と矩形である。なお、平行四辺形を補正して矩形に変換する技術には、既存の技術を利用することができる。

なお、表示制御部２０５０が上述したどの方法を用いて第２領域を生成するのかは、予め固定されていてもよいし、ユーザによって設定可能であってもよい。また、どの方法を用いるのかを示す情報は、表示制御部２０５０に予め設定されていてもよいし、表示制御部２０５０からアクセス可能な記憶装置に記憶されていてもよい。

＜＜第２領域の表示方法＞＞
表示制御部２０５０は、第２領域を表示画面に表示する（Ｓ２０６）。ここで、表示制御部２０５０は、表示画面を見るユーザが、カメラ２０によって生成される撮像画像と第２領域とが重畳された様子を見ることができるように、第２領域を表示する。

例えば表示制御部２０５０は、第２領域に撮像画像が重畳されるように、表示画面に撮像画像と第２領域の双方を表示する。これにより、ユーザは、撮像画像と第２領域とが重畳された様子を見ることができる。なお、撮像画像及び第２領域は、プロジェクタによって壁等に投影されてもよい。この場合、この投影面が表示画面となる。

また、表示画面が、ユーザによって装着された透過型のヘッドマウントディスプレイの表示画面である場合、表示制御部２０５０は、撮像画像の表示を行わなくてもよい。この場合、カメラ２０は、ヘッドマウントディスプレイを装着したユーザの視界と同一又はこれに近い方向を撮影するように、ヘッドマウントディスプレイに設けられる。その結果、表示画面の先に見える実世界の景色は、撮像画像に含まれる景色と同様となる。

そこで表示制御部２０５０は、ヘッドマウントディスプレイの表示画面に第２領域を表示する。これにより、ヘッドマウントディスプレイを装着したユーザは「表示画面の先に見える実世界の景色と、表示画面に表示された第２領域とが重畳された景色」を見ることができ、この景色が撮像画像と第２領域とが重畳された様子を表す。

＜＜第２領域の表示位置について＞＞
実施形態１で説明したように、入力認識部２０４０は、１）オブジェクトを動かす動作が行われた位置に関係なく、そのオブジェクトの動きのみを入力として認識してもよいし、２）オブジェクトの動きと、そのオブジェクトを動かす動作が行われた位置との組み合わせを入力として認識してもよい。１）の場合、ユーザによる入力は第２領域の形状を定めるものであり、第２領域の位置の指定を含まない。そのため、第２領域の表示位置はユーザによって指定されない。そこで表示制御部２０５０は、例えば表示画面上の所定位置（表示画面の中心など）に第２領域を表示する。

一方、２）の場合、ユーザによる入力には、第２領域の形状だけでなく、第２領域の撮像画像２２上の位置が含まれる。そこで表示制御部２０５０は、ユーザによる入力によって定まる表示画面上の位置に、第２領域を表示する。図２７は、ユーザによる入力によって定まる位置に第２領域が表示される様子を例示する図である。ユーザは、左腕５０上で動き４０を行うことで、計器のメータ部分を囲む矩形を描く入力を行う。その結果、表示制御部２０５０は、表示画面１５０上におけるそのメータ部分に、第２領域１２０を表示する。

表示制御部２０５０は、撮像画像上の位置に対応する表示画面上の位置に、第２領域を表示する。表示画面に撮像画像が表示される場合（表示画面が非透過型のヘッドマウントディスプレイの表示画面である場合など）、表示制御部２０５０は、ユーザによる入力によって指定された位置に第２領域を重畳した撮像画像を、表示画面に表示する。

一方、撮像画像が表示画面に表示されない場合（表示画面が透過型のヘッドマウントディスプレイの表示画面である場合）、表示制御部２０５０は、撮像画像上の座標と表示画面上の座標との対応関係（撮像画像上の座標を表示画面上の座標に変換する変換式など）に基づいて、ユーザによって指定された撮像画像上の第２領域の位置から、表示画面上の位置を算出する。そして、表示制御部２０５０は、表示画面上の算出した位置に、第２領域を表示する。

撮像画像上の座標と表示画面上の座標との対応関係は、カメラ２０に関する各種のパラメタ（画角や焦点距離）や、表示画面とカメラ２０との位置関係などに基づいて定まる。この対応関係は、これらのパラメタなどを用いて表示制御部２０５０によって算出されてもよいし、設定値として予め定められていてもよい。

＜＜第２領域の移動や変形について＞＞
表示画面に表示された第２領域は、移動又は変形されてもよい。例えば表示制御部２０５０は、ユーザから、マウス等の入力デバイスを用いた操作や、実施形態１で説明した入力認識部２０４０に対する入力操作を受け付け、この操作に基づいて第２領域の移動又は変形を行う。第２領域を移動する操作は、例えばドラッグ操作である。第２領域を変形する操作は、例えばピンチイン・ピンチアウト操作である。第２領域を移動又は変形することにより、後述する抽出部２０６０によってユーザが意図した部分画像が抽出されるようにすることができる。

図１５は、第２領域が撮像画像に重畳されて表示画面に表示される様子を例示する図である。図１５において、表示制御部２０５０は、投影面１３０に撮像画像２２及び第２領域１２０を投影している。図１５（ａ）は、ユーザが第２領域１２０を移動させる前の様子を例示している。一方、図１５（ｂ）は、ユーザが第２領域１２０を移動させた後の様子を例示している。ユーザが第２領域１２０を移動させたことにより、図１５（ａ）と図１５（ｂ）とで、第２領域１２０に含まれる画像が変化している。

ユーザは、カメラ２０の撮像範囲を変更することで、カメラ２０上の第２領域の位置を変更してもよい。例えばカメラ２０がヘッドマウントディスプレイに設けられているカメラである場合、ユーザは、顔の向きを変更することなどにより、撮像画像中の意図した部分が第２領域に収まるようにすることができる。また例えばカメラ２０が部屋に設置されているカメラである場合、ユーザはリモコンなどを用いてカメラの姿勢やズーム率を変化させることにより、撮像画像中の意図した部分が第２領域に収まるようにすることができる。

図１６は、ヘッドマウントディスプレイの表示画面に表示された第２領域を例示する図である。ディスプレイ２０４は、眼鏡型のヘッドマウントディスプレイのレンズ部分として構成される表示画面である。図１６（ａ）は、ヘッドマウントディスプレイを装着したユーザが顔の向きを変える前の様子を例示している。一方、図１６（ｂ）は、ユーザが顔の向きを変えた後の様子を例示している。

第２領域１２０は、図１６（ａ）及び図１６（ｂ）双方においてディスプレイ２０４の中央に表示されている。しかし、ユーザが顔の向きを変えたことにより、図１６（ａ）と図１６（ｂ）とで、第２領域１２０に含まれる部分画像が変化している。

＜抽出部２０６０の詳細＞
抽出部２０６０は、カメラ２０によって生成される撮像画像から、第２領域に対応する範囲に含まれる部分画像を抽出する（Ｓ２０８）。第２領域が撮像画像上に重畳して表示される場合（表示画面が非透過型のヘッドマウントディスプレイの表示画面である場合など）、第２領域に対応する撮像画像上の範囲は、第２領域が重畳されている撮像画像上の範囲である。

一方、第２領域が撮像画像上に重畳して表示されない場合（表示画面が透過型のヘッドマウントディスプレイの表示画面である場合）、撮像画像は表示画面に表示されない。この場合、抽出部２０６０は、表示画面上の座標と撮像画像上の座標との対応関係（表示画面上の座標を撮像画像上の座標に変換する変換式など）に基づいて、表示画面上の第２領域を撮像画像上にマッピングする。抽出部２０６０は、撮像画像から、このマッピングされた領域に含まれる画像を抽出することで、部分画像を抽出する。

なお、撮像画像上の座標と表示画面上の座標との対応関係は、カメラ２０に関する各種のパラメタ（画角や焦点距離）や、表示画面とカメラ２０との位置関係などに基づいて定まる。この対応関係は、これらのパラメタなどを用いて抽出部２０６０によって算出されてもよいし、設定値として予め定められていてもよい。

抽出部２０６０が撮像画像から部分画像を抽出するタイミングは様々である。例えば入力装置２０００は、ユーザから部分画像の抽出を指示する所定の操作を受け付ける。抽出部２０６０は、入力装置２０００によってこの所定の操作が受け付けられた場合に部分画像の抽出を行う。マウス等の入力デバイスを用いた操作であってもよいし、実施形態１で説明した入力認識部２０４０に対する入力操作であってもよい。

また例えば、表示制御部２０５０が第２領域を移動又は変形する操作を受け付ける場合、抽出部２０６０は、所定時間以上これらの操作が受け付けられなかった場合に、部分画像の抽出を行ってもよい。また例えば、ユーザがカメラ２０の撮影範囲を変更することで撮像画像上の第２領域の位置を変更する場合、抽出部２０６０は、所定時間以上カメラ２０の撮影範囲が変更されなかった場合に、部分画像の抽出を行ってもよい。

＜ハードウエア構成例＞
図１７は、実施形態２の入力装置２０００を実現する計算機１０００のハードウエア構成を例示する図である。この計算機１０００の構成は、実施形態１の入力装置２０００を実現する計算機１０００の構成と同様である。ただし、実施形態２の計算機１０００が有するストレージ１０８０は、本実施形態の入力装置２０００が有する各機能を実現するためのプログラムモジュールをさらに有する。

入出力インタフェース１１００には、第２領域が表示される表示画面１５０、又は第２領域を投影面に投影するプロジェクタ１６０などが接続される。表示画面１５０は、液晶ディスプレイなどの表示画面であってもよいし、ヘッドマウントディスプレイの表示画面であってもよい。図１７に示す構成では、表示画面１５０はヘッドマウントディスプレイ１７０の表示画面である。

ヘッドマウントディスプレイ１７０は、ユーザの視界に入る表示画面１５０を有する任意のヘッドマウントディスプレイである。例えば表示画面１５０は、非透過型のディスプレイである。この場合、ヘッドマウントディスプレイ１７０は、ユーザの周囲（例えばユーザの顔方向）を撮像するカメラによって撮像された画像と、その他の物を表す画像とを重畳させて表示画面１５０に表示する。ユーザは、この表示画面１５０を見ることで、周囲の景色にその他の物が重畳された様子を見ることができる。なお、「ユーザの周囲を撮像するカメラ」は、カメラ２０であってもよいし、これとは別途設けられるカメラであってもよい。

また例えば、表示画面１５０は、透過型のディスプレイである。この場合、ユーザは、表示画面１５０の先にある実物体及び表示画面１５０に表示される画像の両方を見ることができる。

＜作用・効果＞
本実施形態によれば、撮像画像から、ユーザによって行われた入力に基づく領域に対応する部分画像が抽出される。この構成により、ユーザは、撮像画像の中から抽出したい領域を容易に入力することができる。

［実施例］
以下、上述した入力装置２０００を、より具体的な実施例に沿って説明する。なお、この実施例は入力装置２０００の利用方法の一例であり、入力装置２０００の利用方法を限定するものではない。

本実施例では、入力装置２０００の運用には、グラス２００とウォッチ２１０という２つのデバイスが用いられる。図１８は、グラス２００及びウォッチ２１０を例示する図である。

グラス２００は、カメラ２０２が備えられたヘッドマウントディスプレイである。本実施例において、入力装置２０００はグラス２００に内蔵される。ユーザは、グラス２００を眼鏡のように装着する。

カメラ２０２はビデオカメラであり、上述した各実施形態におけるカメラ２０に相当する。ディスプレイ２０４は、レンズの形状をした透過型のディスプレイである。グラス２００は、ディスプレイ２０４に種々の情報を表示する。これにより、ユーザの目には、実世界の景色に種々の情報が重畳されて見える。

ウォッチ２１０は、振動センサ２１１を内蔵している。またウォッチ２１０は、タッチパネル２１２を有する。ウォッチ２１０、振動センサ２１１、タッチパネル２１２はそれぞれ、実施形態１や２におけるデバイス１０、センサ１２、タッチパネル１４に相当する。

グラス２００及びウォッチ２１０は、情報処理装置に対する入力インタフェースとして機能する入力システムを構成する。この入力システムの操作対象である情報処理装置は、グラス２００又はウォッチ２１０であってもよいし、それ以外の計算機であってもよい。本実施例では、操作対象の情報処理装置をグラス２００とする。

本実施例では、ユーザは、グラス２００及びウォッチ２１０を用いて、機器の点検作業を行う。図１９は、ユーザが行う点検作業の概要を例示する図である。ユーザは、チェックリストに従って各機器の状態を表すメータの読み取り作業を行ったり、機器の気になる箇所についてメモの記録や写真の撮影を行ったりする。

グラス２００に対する入力操作は、２つに大別される。１つ目の入力操作は、カメラ２０２の撮影範囲内で所定のオブジェクトを動かすことによって行う入力操作である。この操作は、実施形態１や２で説明した入力操作である。グラス２００がこの操作を受け付ける状態を、第１入力モードと呼ぶ。２つ目の入力操作は、ディスプレイ２０４に表示される操作画像に対して操作を加えることで行う入力操作である。グラス２００がこの操作を受け付ける状態を、第２入力モードと呼ぶ。なお、第２入力モードにおける操作の具体的な内容は後述する。

ユーザが点検作業を開始すると、グラス２００は、ディスプレイ２０４上にチェックリストの１番目の項目と操作選択メニュー３００を表示する。図２０は、ユーザの視界に含まれる操作選択メニュー３００を例示する図である。操作選択メニュー３００は、入力ボタン３０２、撮影ボタン３０４、及び記録ボタン３０６という３つの操作画像を含んでいる。ここで、グラス２００は、ユーザの目から見て、ウォッチ２１０が装着されている左腕５０の付近にチェックリストの１番目の項目が見えるようにこの項目を表示する。また、グラス２００は、ユーザの目から見て、ウォッチ２１０が装着されている左腕５０上に操作選択メニューが見えるように、操作選択メニューを表示する。

ユーザは、操作画像を選択する操作を行う。具体的には、ユーザは、選択する操作画像をタップする動作を行う。すると、このタップの振動を検出したウォッチ２１０は、タッチパネル２１２に表示する画像を変更する。すると、グラス２００は、タッチパネル２１２に表示されている画像が変化したことを検出し、これに伴って入力の認識を行う処理を行う。

現在のグラス２００の状態は、操作画像の選択を受け付ける第２入力モードである。そのため、グラス２００は、タッチパネル２１２に表示されている画像が変化したことを検出したことに伴い、ユーザによってどの操作画像が選択されたかを判定する。具体的には、グラス２００は、カメラ２０２によって撮影された撮像画像からユーザの指の位置を検出し、その位置が、操作選択メニュー３００に含まれる操作画像のどの位置に対応しているかを割り出す。

ユーザが操作選択メニュー３００の中から入力ボタン３０２を選択すると、グラス２００はディスプレイ２０４に入力方法選択メニュー３１０を表示する。図２１は、ユーザの視界に含まれる入力方法選択メニュー３１０を例示する図である。入力方法選択メニュー３１０は、メータ読取ボタン３１２、数値入力ボタン３１４、及びメモボタン３１６という３つの操作画像を含む。

メータ読取ボタン３１２は、カメラ２０２によって撮像される撮像画像からメータの値を自動で読み取る入力操作である。例えばユーザは、実施形態２で説明した図２７に示す入力操作を行うことで、計器のメータ部分を示す第２領域１２０を入力する。抽出部２０６０は、この第２領域１２０に基づいてメータ部分の部分画像を生成する。そして、入力装置２０００は、このメータ部分に対して文字列認識処理を行うことにより、メータの値を特定する。これにより、メータの値が自動で読み取られる。なお、ユーザがメータ読取ボタン３１２を選択すると、グラス２００は第１入力モードに遷移する。そして、メータの値の自動読み取りが終了すると、グラス２００は再度第２入力モードに遷移する。

数値入力ボタン３１４は、メータの値をユーザ自身が入力する入力操作である。図２２は、数値入力ボタン３１４が選択された後の様子を例示する図である。グラス２００は、左腕５０にテンキー画像３１８が重畳して見えるように、ディスプレイ２０４にテンキー画像３１８を表示する。ユーザはテンキー画像３１８の各キーをタップすることで、メータの数値を入力する。

メモボタン３１６は、メモを入力するための入力操作である。図２３は、メモボタン３１６が選択された後の様子を例示する図である。グラス２００は、左腕５０にキーボード画像３２０が重畳して見えるように、ディスプレイ２０４にキーボード画像３２０を表示する。ユーザはキーボード画像３２０の各キーをタップすることで、メモの入力を行う。

ユーザが操作選択メニュー３００の中から撮影ボタン３０４を選択すると、その選択が行われた時にカメラ２０２によって撮像された撮像画像が、現在の点検項目に対応付けて記憶される。例えばユーザは、点検対象の設備の気になる箇所が視界に入る状態で撮影ボタン３０４を押す。すると、その気になる箇所が含まれる撮像画像が記憶される。

ユーザが操作選択メニュー３００の中から記録ボタン３０６を選択すると、現在の点検項目に対する入力操作が終了し、次の点検項目に移る。ユーザは、上述した種々の入力操作を次の点検項目についても行う。このようにユーザは、各点検項目に対して入力操作を行う。

なお、本実施例では点検作業を対象にしているが、入力装置２０００の応用範囲は点検作業に限られるものではない。例えば入力装置２０００は、機器の組み立て作業、看護士などによる看護作業その他様々な作業の記録などに利用することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、及び上記実施形態以外の様々な構成を採用することもできる。

例えばこれまでの説明において、動き検出部２０２０は、撮像画像２２全体を対象として、オブジェクトの動きを検出している。しかし、動き検出部２０２０は、撮像画像２２の一部の領域を対象として、オブジェクトの動きを検出してもよい。後者の場合において、オブジェクトの動きの検出が行われる領域を、検出領域と表記する。

動き検出部２０２０は、撮像画像２２に含まれるマーカを用いて検出領域を定める。マーカは、撮像画像２２において少なくともその位置が特定できる任意のものである。例えばマーカは、３次元の座標系の決定に利用できるマーカである。３次元の座標系の決定に利用できるマーカは、例えば AR（Augmented Reality）マーカである。ただし、３次元の座標系の決定に利用できるマーカは、参照方向によらず、或る基準点からの相互に直交する３つの方向を一定に得ることができるものであればよく、AR マーカには限定されない。

マーカは、ユーザの身体の任意の箇所に取り付けることができる。例えばマーカは、ユーザの腕部に取り付けられる。ここで、ユーザの腕部とは、そのユーザの腕だけでなく、腕及び手を含む部分である。例えばマーカは、ユーザの腕部に取り付けられたデバイス１０のタッチパネル１４に表示される画像である。以下、タッチパネル１４に表示されるマーカの画像を、マーカ画像と表記する。

マーカ画像は、予めデバイス１０に記憶されている画像であってもよいし、デバイス１０の外部にある記憶装置に記憶されている画像であってもよい。後者の場合、デバイス１０は、表示するマーカ画像を記憶装置から取得して表示する。

例えばユーザが、検出対象のオブジェクト（例えばユーザの指）をユーザの腕部の上で動かするとする。この場合、ユーザは、その腕部に予めマーカを取り付けておく。例えばマーカが前述したマーカ画像であり、オブジェクトが左腕の上で動かされる場合、ユーザは、左腕にデバイス１０を身につけておく。

例えば動き検出部２０２０は、撮像画像２２に含まれるマーカを検出する。そして動き検出部は、マーカが身につけられている腕部を表す領域を検出領域として定める。図２８は、マーカに基づいて検出領域を定める方法を例示する第１の図である。図２８において、マーカはマーカ画像１６である。

動き検出部２０２０は、撮像画像２２からマーカ画像１６を検出する。さらに動き検出部２０２０は、撮像画像２２から、マーカ画像１６が重畳されている左腕５０を検出する。そして、動き検出部２０２０は、左腕５０を表すドット柄で塗られた領域を、検出領域とする。

ここで動き検出部２０２０は、マーカ画像１６を用いて、左腕５０の一部を検出領域として定めてもよい。例えば動き検出部２０２０は、左腕５０を表す領域を、マーカ画像を境界として２つに分割する。そして、動き検出部２０２０は、分割された２つの領域のうち、より広い領域を検出領域とする。

図２９は、マーカに基づいて検出領域を定める方法を例示する第２の図である。図２９において、左腕５０を表す領域は、マーカ画像１６を境界として領域５２と領域５４に分けられている。そして、領域５２は領域５４よりも広い。そこで動き検出部２０２０は、領域５２を検出領域とする。

腕部の一部を検出領域として定める場合、動き検出部２０２０は、マーカが左右どちらの腕部に身につけられているかに基づいて、検出領域を定めてもよい。この場合、マーカが左右どちらの腕部に身につけられているかを示す情報が、予め定められているとする。この情報は、動き検出部２０２０に予め設定されていてもよいし、動き検出部２０２０からアクセス可能な記憶装置に記憶されていてもよい。

例えばマーカが左の腕部に身につけられている場合、動き検出部２０２０は、左の腕部を表す領域のうち、マーカの位置よりも左側の領域を検出領域とする。一方、マーカが右の腕部に身につけられている場合、動き検出部２０２０は、右の腕部を表す領域のうち、マーカの位置よりも右側の領域を検出領域とする。

図３０は、マーカに基づいて検出領域を定める方法を例示する第３の図である。まず動き検出部２０２０は、撮像画像２２からマーカ画像１６を検出する。次に動き検出部２０２０は、座標軸１４０を算出する。

図３０のケースにおいて、マーカ画像１６はユーザの左腕５０にある。そこで動き検出部２０２０は、マーカ画像１６の位置よりも左側の領域を検出領域とする。具体的には、動き検出部２０２０は、座標軸１４０によって定まる座標系における xy 平面であり、かつ y 方向の位置が座標軸１４０の原点を基準に負の方向の位置となる領域を、検出領域として定める。図３０では、検出領域１８０が検出領域である。

検出領域１８０において、x 方向の辺である辺１８２や y 方向の辺である辺１８４の長さは、例えば予め定められた所定の長さである。ただし動き検出部２０２０は、辺１８２や辺１８４の長さを徐々に短くしていくことで、検出領域１８０の大きさを徐々に狭くしていってもよい。具体的には、動き検出部２０２０は、検出領域１８０に含まれる領域のうち、中心から遠い領域において所定期間以上オブジェクトが検出されない場合に、検出領域１８０を狭くする。例えば検出領域１８０内の領域のうち、辺１８４を所定の長さ短くした場合に検出領域１８０に含まれなくなる領域において、所定期間オブジェクトが検出されなかったとする。この場合、動き検出部２０２０は、辺１８４を当該所定の長さ短くする。腕の大きさや太さには個人差があるため、動き検出部２０２０は、検出領域１８０を徐々に狭くすることで、このような個人差に対処する。なお、上記各所定の値は、動き検出部２０２０に予め設定されていてもよいし、動き検出部２０２０からアクセスできる記憶装置に記憶されていてもよい。

このように、マーカを基準としてオブジェクトの動きを検出する範囲を限定することにより、オブジェクトの動きの検出に要する計算の量を減らすことができる。これに伴い、オブジェクトの動きの検出に要する時間が短くなる。また、このようにマーカを基準として検出領域を定める方法によれば、検出領域を容易な方法で定めることができる。

さらに、例えば図２８から図３０の例のように、オブジェクトが動く場所をユーザの腕部の上に限定すれば、検出領域の背景が、ユーザの素肌や服の袖などとなる。そのため、一般的な景色が背景となる場合と比較し、背景の色や模様が単調となる。よって、オブジェクトの動きの検出が容易になる。

以下、参考形態の例を付記する。
１． ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、
前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、
を有する入力装置。
２． 前記動き検出手段は、前記センサの検出タイミングを用いて、検出する前記オブジェクトの動きの始点及び終点の少なくとも一方を決定する、１．に記載の入力装置。
３． 前記センサは振動センサ、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサである、１．又は２．に記載の入力装置。
４． 前記オブジェクトは、ユーザの身体の一部又は前記センサが設けられているデバイスである、１．乃至３．いずれか一つに記載の入力装置。
５． 前記入力認識手段は、前記オブジェクトの動きに基づいて第１の領域を描く入力を認識し、
表示画面に前記第１の領域に基づいて定まる第２の領域を表示する表示制御手段と、
撮像画像から、前記第２の領域に対応する範囲に含まれる部分画像を抽出する抽出手段を有する１．乃至４．いずれか一つに記載の入力装置。
６． 前記表示制御手段は、前記第２の領域を撮像画像に重畳して前記表示画面に表示し、
前記抽出手段は、前記表示画面に表示される撮像画像において前記第２の領域が重畳されている範囲から、前記部分画像を抽出する、５．に記載の入力装置。
７． 前記動き検出手段は、
前記撮像画像に含まれるマーカを検出し、
前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出する、１．乃至６．いずれか一つに記載の入力装置。

８． コンピュータによって実行される入力方法であって、
ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、
前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、
を有する入力方法。
９． 前記動き検出ステップにおいて、前記センサの検出タイミングを用いて、検出する前記オブジェクトの動きの始点及び終点の少なくとも一方を決定する、８．に記載の入力方法。
１０． 前記センサは振動センサ、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサである、８．又は９．に記載の入力方法。
１１． 前記オブジェクトは、ユーザの身体の一部又は前記センサが設けられているデバイスである、８．乃至１０．いずれか一つに記載の入力方法。
１２． 前記入力認識ステップにおいて、前記オブジェクトの動きに基づいて第１の領域を描く入力を認識し、
表示画面に前記第１の領域に基づいて定まる第２の領域を表示する表示制御ステップと、
撮像画像から、前記第２の領域に対応する範囲に含まれる部分画像を抽出する抽出ステップを有する８．乃至１１．いずれか一つに記載の入力方法。
１３． 前記表示制御ステップにおいて、前記第２の領域を撮像画像に重畳して前記表示画面に表示し、
前記抽出ステップは、前記表示画面に表示される撮像画像において前記第２の領域が重畳されている範囲から、前記部分画像を抽出する、１２．に記載の入力方法。
１４． 前記動き検出ステップにおいて、
前記撮像画像に含まれるマーカを検出し、
前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出する、８．乃至１３．いずれか一つに記載の入力方法。

１５． コンピュータに、８．乃至１４．いずれか一つに記載の入力方法の各ステップを実行させるプログラム。

この出願は、２０１５年９月２８日に出願された日本出願特願２０１５−１９０２３８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (21)

1. ユーザの身体が触れられたことを、前記ユーザの身体に取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、
   前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、
   を有し、
   前記動き検出手段は、
   前記撮像画像に含まれるマーカを検出し、
   前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出し、
   前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である、入力装置。
2. ユーザの身体が触れられたことを、前記ユーザの身体に取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、
   前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、
   を有し、
   前記センサは、前記ユーザに取り付けられたデバイスに設けられており、
   前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更し、
   前記動き検出手段は、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する、入力装置。
3. 前記センサは、振動センサ、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサである、請求項１又は２に記載の入力装置。
4. 前記動き検出手段は、前記オブジェクトによって前記ユーザの身体が触れられたことの検出の結果に基づいて定まる期間における、前記オブジェクトの動きを検出する、請求項１乃至３いずれか一項に記載の入力装置。
5. 前記動き検出手段は、前記ユーザの身体に振動が加えられたことを前記センサによって検出することで、前記ユーザの身体が触れられたことを検出する、請求項１乃至４いずれか一項に記載の入力装置。
6. ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、
   前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、
   を有し、
   前記撮像画像を生成するカメラは、前記センサとは別体として設けられ、
   前記動き検出手段は、
   前記撮像画像に含まれるマーカを検出し、
   前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出し、
   前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である、入力装置。
7. ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、
   前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、
   を有し、
   前記撮像画像を生成するカメラは、前記センサとは別体として設けられ、
   前記センサは、前記ユーザに取り付けられたデバイスに設けられており、
   前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更し、
   前記動き検出手段は、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する、入力装置。
8. 前記センサは振動センサ、加速度センサ、又は振動スイッチである、請求項６又は７に記載の入力装置。
9. 前記動き検出手段は、前記センサの検出タイミングを用いて、検出する前記オブジェクトの動きの始点及び終点の少なくとも一方を決定する、請求項１乃至８いずれか一項に記載の入力装置。
10. 前記オブジェクトは、ユーザの身体の一部又は前記センサが設けられているデバイスである、請求項１乃至９いずれか一項に記載の入力装置。
11. 前記入力認識手段は、前記オブジェクトの動きに基づいて第１の領域を描く入力を認識し、
    表示画面に前記第１の領域に基づいて定まる第２の領域を表示する表示制御手段と、
    撮像画像から、前記第２の領域に対応する範囲に含まれる部分画像を抽出する抽出手段を有する請求項１乃至１０いずれか一項に記載の入力装置。
12. 前記表示制御手段は、前記第２の領域を撮像画像に重畳して前記表示画面に表示し、
    前記抽出手段は、前記表示画面に表示される撮像画像において前記第２の領域が重畳されている範囲から、前記部分画像を抽出する、請求項１１に記載の入力装置。
13. 前記動き検出手段は、
    前記撮像画像に含まれるマーカを検出し、
    前記撮像画像における前記オブジェクトの位置を、前記マーカに基づいて定まる座標系における座標に変換し、前記座標系における前記オブジェクトの位置の変化を前記オブジェクトの動きとして検出する、請求項１又は６に記載の入力装置。
14. 前記デバイスは、前記センサの検出結果に基づいて、前記デバイスに設けられているディスプレイ装置の表示を変更し、
    前記動き検出手段は、前記デバイスのディスプレイ装置が撮像された撮像画像を用いて、そのディスプレイ装置の表示の変化を検出することにより、前記センサの検出結果を認識する、請求項２又は７に記載の入力装置。
15. コンピュータによって実行される入力方法であって、
    ユーザの身体が触れられたことを、前記ユーザに取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、
    前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、
    を有し、
    前記動き検出ステップにおいて、
    前記撮像画像に含まれるマーカを検出し、
    前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出し、
    前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である、入力方法。
16. コンピュータによって実行される入力方法であって、
    ユーザの身体が触れられたことを、前記ユーザに取り付けられたセンサによって検出し、その検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、
    前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、
    を有し、
    前記撮像画像を生成するカメラは、前記センサとは別体として設けられ、
    前記センサは、前記ユーザに取り付けられたデバイスに設けられており、
    前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更し、
    前記動き検出ステップにおいて、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する、入力方法。
17. コンピュータによって実行される入力方法であって、
    ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、
    前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、
    を有し、
    前記撮像画像を生成するカメラは、前記センサとは別体として設けられ、
    前記動き検出ステップにおいて、
    前記撮像画像に含まれるマーカを検出し、
    前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出し、
    前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である、入力方法。
18. コンピュータによって実行される入力方法であって、
    ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出ステップと、
    前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識ステップと、
    を有し、
    前記撮像画像を生成するカメラは、前記センサとは別体として設けられ、
    前記センサは、前記ユーザに取り付けられたデバイスに設けられており、
    前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更し、
    前記動き検出ステップにおいて、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する、入力方法。
19. コンピュータに、請求項１５乃至１８いずれか一項に記載の入力方法の各ステップを実行させるプログラム。
20. センサ、カメラ、及び入力装置を有するシステムであって、
    前記入力装置は、
    前記センサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、
    前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、
    を有し、
    前記センサはユーザの身体に取り付けられており、
    前記撮像画像は前記カメラによって生成され、
    前記カメラと前記センサは互いに別体として設けられ、
    前記動き検出手段は、
    前記撮像画像に含まれるマーカを検出し、
    前記撮像画像に含まれる領域のうち、前記マーカに基づいて定まる一部の領域から、前記オブジェクトの動きを検出し、
    前記マーカは、前記ユーザの身体に取り付けられているデバイスのディスプレイ装置に表示される所定の画像である、システム。
21. センサ、カメラ、及び入力装置を有するシステムであって、
    前記入力装置は、
    前記センサの検出結果に基づいて定まる期間におけるオブジェクトの動きを、前記オブジェクトが含まれる撮像画像を用いて検出する動き検出手段と、
    前記検出したオブジェクトの動きに基づいて、情報処理装置への入力を認識する入力認識手段と、
    を有し、
    前記センサはユーザの身体に取り付けられたデバイスに設けられており、
    前記撮像画像は前記カメラによって生成され、
    前記カメラと前記センサは互いに別体として設けられ、
    前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更し、
    前記動き検出手段は、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する、システム。

Images