JP6390799B2 - 入力装置、入力方法、及びプログラム - Google Patents

Description

本発明は、入力装置、入力方法、及びプログラムに関する。

ジェスチャ入力等、ユーザが空間上で行った動作をカメラで撮像し、生成された撮像画像を解析することで、情報処理装置に対するユーザの入力操作を認識する技術が開発されている。特許文献１は、ユーザの手のひらのジェスチャ（例えば手のひらを開くジェスチャ）に応じて、その手のひらにメニュー画面を表示したり、そのメニュー画面を切り替えたりする技術を開示している。

特許文献２は、ヘッドマウントディスプレイに表示される仮想キーボードを用いて入力を行う技術を開示している。また、特許文献２は、上記仮想キーボードを実空間上の物に固定することで、ヘッドマウントディスプレイの装着者が頭部を動かしても上記仮想キーボードの位置が変化しないようにする技術を開示している。

米国特許出願公開第２０１５／００１６７７７号明細書 特表２０１５−５０４６１６号公報

撮像画像に含まれる物を解析してユーザによる入力操作を認識する場合、入力操作がどのタイミングで行われたのかを判断することが難しい。そのため、ユーザが入力操作を行っていないにも関わらず入力操作が誤って認識されたり、ユーザが入力操作を行っているにも関わらず入力操作が認識されなかったりする可能性がある。

本発明は、上記課題に鑑みてなされたものである。本発明の目的は、撮像画像からユーザの入力操作を認識する際の認識精度を向上する技術を提供することである。

本発明の第１の入力装置は、１）ユーザの身体に取り付けられた装着物に設けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出手段と、２）前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識手段と、を有する。前記指定される場所は、前記マーカから離れた場所である。前記マーカは、前記装着物に描画又は印字されたものである。
本発明の第２の入力装置は、１）ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出手段と、２）前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識手段と、を有する。前記指定される場所は、前記マーカから離れた場所である。前記マーカは、前記ユーザの腕部に取り付けられるデバイスの表示画面上に表示される画像である。
本発明の第３の入力装置は、１）ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出手段と、２）前記算出されたマーカの位置に基づいて定まる前記撮像画像上の領域を指定する入力を認識する入力認識手段と、３）前記指定された領域に含まれる部分画像を前記撮像画像から抽出する抽出手段と、を有する。前記指定される場所は、前記マーカから離れた場所である。前記マーカは、ユーザの身体に取り付けられているか、又は前記ユーザの身体の一部である。

本発明の第１の入力方法は、コンピュータによって実行される入力方法である。当該入力方法は、１）ユーザの身体に取り付けられた装着物に設けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出ステップと、２）前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識ステップと、を有する。前記指定される場所は、前記マーカから離れた場所である。前記マーカは、前記装着物に描画又は印字されたものである。
本発明の第２の入力方法は、コンピュータによって実行される入力方法である。当該入力方法は、１）ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出ステップと、２）前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識ステップと、を有する。前記指定される場所は、前記マーカから離れた場所である。前記マーカは、前記ユーザの腕部に取り付けられるデバイスの表示画面上に表示される画像である。
本発明の第３の入力方法は、コンピュータによって実行される入力方法である。当該入力方法は、１）ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出ステップと、２）前記算出されたマーカの位置に基づいて定まる前記撮像画像上の領域を指定する入力を認識する入力認識ステップと、３）前記指定された領域に含まれる部分画像を前記撮像画像から抽出する抽出ステップと、を有する。前記指定される場所は、前記マーカから離れた場所である。前記マーカは、ユーザの身体に取り付けられているか、又は前記ユーザの身体の一部である。

本発明によれば、撮像画像からユーザの入力操作を認識する際の認識精度を向上する技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る入力装置を例示するブロック図である。 入力装置の動作を概念的に説明するための図である。 入力装置を実現する計算機の構成を例示する図である。 ヘッドマウントディスプレイにカメラが設けられている様子を例示する図である。 実施形態１の入力装置によって実行される処理の流れを例示するフローチャートである。 ユーザによって左腕がタップされた場合に、デバイスの表示画面に表示されているマーカ画像が変更される様子を例示する図である。 入力位置を例示する図である。 撮像画像の平面上における入力位置とマーカの位置との関係を例示する図である。 ３次元空間上における領域６２とマーカとの位置との関係を例示する図である。 実施形態２に係る入力装置を例示するブロック図である。 実施形態２の入力装置の動作を例示する図である。 実施形態３に係る入力装置を例示するブロック図である。 実施形態３の入力装置を実現する計算機のハードウエア構成を例示する図である。 マーカの位置が変わっても部分画像の表示位置が変わらない様子を例示する図である。 カメラの撮像範囲が変化しても部分画像の表示位置が変わらない様子を例示する図である。 実施形態４に係る入力装置を例示するブロック図である。 ユーザによる入力操作を例示する図である。 センサタイミングを用いて検出対象時間の開始時点を決定する方法を例示する図である。 ぶれた状態のマーカが含まれる撮像画像を例示する図である。 マーカの動きによって定まる形状を入力として認識する様子を例示する図である。 ジェスチャ入力を例示する図である。 グラス及びウォッチを例示する図である。 ユーザが行う点検作業の概要を例示する図である。 ユーザの視界に含まれる操作選択メニューを例示する図である。 ユーザの視界に含まれるガイドを例示する図である。 ユーザが線を描く様子を例示している。 ユーザの視界に含まれる入力方法選択メニューを例示する図である。 数値入力ボタンが選択された後の様子を例示する図である。 メモボタンが選択された後の様子を例示する図である。 第２表示制御部を有する入力装置を例示するブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［実施形態１］
図１は、実施形態１に係る入力装置２０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

入力装置２０００は、位置算出部２０２０及び入力認識部２０４０を有する。位置算出部２０２０は、ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、そのマーカが含まれる撮像画像を用いて算出する。マーカは、ユーザの身体に取り付けられているか、又はユーザの身体の一部である。入力認識部２０４０は、算出されたマーカの位置に基づいて、撮像画像上の場所を指定する入力を認識する。この入力によって指定される場所は、マーカから離れた場所である。

図２は、入力装置２０００の動作を概念的に説明するための図である。撮像画像２２は、ユーザの周辺を撮像するカメラによって生成される撮像画像である。

この例では、入力装置２０００を利用するユーザの身体にマーカが身につけられている。図２において、ユーザの左腕５０には、時計型のデバイス１０が身につけられている。そして、デバイス１０は、タッチパネル１４にマーカ画像１６を表示している。このマーカ画像１６が、マーカの役割を持つ。

ユーザは、入力装置２０００を用いて、マーカから離れた位置にある一点や範囲などの場所を指定する入力操作を行う。図２（ａ）では、マーカ画像１６の位置に基づいて、マーカ画像１６から離れた撮像画像２２上の点が指定されている。図２（ｂ）では、マーカ画像１６の位置に基づいて、マーカ画像１６から離れた撮像画像２２上の領域が指定されている。なお、この入力によって操作等がされる装置は、入力装置２０００であってもよいし、入力装置２０００以外であってもよい。

ここで、入力装置２０００は、ユーザによる入力操作の認識に、ユーザに身につけられているセンサを利用する。図２の例では、デバイス１０にセンサ１２が内蔵されている。センサ１２は、例えば振動センサである。例えばユーザが、入力操作を行うタイミングで左腕５０をタップするようにする。そして位置算出部２０２０は、上記振動センサによって振動が検出されたタイミング又はこれに近いタイミングで生成された撮像画像２２から、マーカの位置を算出する。そして、入力装置２０００は、算出されたマーカの位置に基づいて、マーカから離れた撮像画像２２上の或る場所を指定する入力を認識する。

入力装置２０００は、上記タップなどがセンサによって検出されたことを把握することで、ユーザによる入力操作が行われたことを把握することができる。そのため、入力装置２０００によれば、ユーザが入力操作を行ったのに入力操作が認識されなかったり、ユーザが入力操作を行っていないのに誤って入力操作が認識されてしまったりすることを防ぐことができ、ユーザが意図した入力操作を正しく認識することができる。

なお、図２を用いて説明した入力装置２０００の動作は、以降で説明する入力装置２０００の詳細の理解を容易にするための例示であり、入力装置２０００の動作は上述の例に限定されるわけではない。入力装置２０００の動作の詳細やバリエーションについては、以降の記載で説明する。

＜入力装置２０００のハードウエア構成の例＞
入力装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、入力装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、入力装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、ヘッドマウントディスプレイ、タブレット端末、スマートフォン、Personal Computer（PC）、又はサーバマシンなど、種々の計算機である。計算機１０００は、入力装置２０００を実現するために設計された種々の計算機であってもよいし、汎用の計算機であってもよい。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、及びストレージ１０８０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM などのメモリであってもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３では、入出力インタフェース１１００に対してカメラ２０が接続されている。カメラ２０は、ユーザの周辺を撮像することができる任意のカメラである。カメラ２０は、繰り返し撮像を行って、各撮像結果を表す撮像画像２２を生成する。なお、カメラ２０は、２Ｄ（two-dimensional）カメラであってもよいし、３Ｄ（three-dimensional）カメラであってもよい。

カメラ２０が設けられる位置は任意である。例えばカメラ２０は、ユーザが身につけている物に取り付けられる。ユーザが身につけている物とは、例えばヘッドマウントディスプレイや、首から提げている社員証などである。また例えば、カメラ２０は、ユーザが入力装置２０００に対する入力操作を行う部屋の壁等に設けられてもよい。後者の場合、カメラ２０の撮影範囲（撮影方向やズーム率など）は、リモコンなどによる遠隔操作によって変更できることが好ましい。

図４は、ヘッドマウントディスプレイにカメラ２０が設けられている様子を例示する図である。図４に示すヘッドマウントディスプレイ１７０は、透過型のディスプレイであるディスプレイ１７２を有する。ユーザは、ディスプレイ１７２を介して実世界の景色を見つつ、ディスプレイ１７２に表示される画像を見ることで、実世界上の景色に画像が重畳された様子を見ることができる。

図４において、カメラ２０は、ディスプレイ１７２の近くに設けられている。これにより、カメラ２０がユーザの視界方向と同じ又はこれに近い方向を撮像することで、カメラ２０によって生成される撮像画像２２に含まれる景色を、ユーザが見ている景色に近い景色にすることができる。

ただし、カメラ２０の撮像方向は任意であり、ユーザの視界方向又はこれに近い方向に限定されない。また、カメラ２０が設けられる位置は、ディスプレイ１７２の近くに限定されない。また、カメラ２０が設けられるヘッドマウントディスプレイ１７０は、透過型のディスプレイを持つヘッドマウントディスプレイに限定されず、非透過型のディスプレイを持つヘッドマウントディスプレイでもよい。ヘッドマウントディスプレイの種類と入力装置２０００の実装方法との関係については、必要に応じて後述する。

ストレージ１０８０は入力装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

計算機１０００のハードウエア構成は図４に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。

＜処理の流れ＞
図５は、実施形態１の入力装置２０００によって実行される処理の流れを例示するフローチャートである。位置算出部２０２０はセンサの検出結果を把握する（Ｓ１０２）。位置算出部２０２０は撮像画像２２を取得する（Ｓ１０４）。位置算出部２０２０は、撮像画像２２に含まれるマーカの位置を算出する（１０６）。入力認識部２０４０は、算出されたマーカの位置に基づいて、そのマーカから離れた撮像画像２２上の場所を指定する入力を認識する（Ｓ１０８）。

＜ユーザに身につけられるセンサについて＞
ユーザに身に付けられるセンサは、ユーザによる入力操作のタイミングを把握するために利用できる任意のセンサであり、前述した振動センサに限定されない。例えばセンサは、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサなどでもよい。加速度センサや振動スイッチは、振動センサと同様に、例えばデバイス１０の内部に設けられる。圧力センサや静電容量センサは、例えばデバイス１０のタッチパネルに設けられる。また例えば、圧力センサや静電容量センサは、ユーザの腕や手などに貼られたり巻き付けられたりするシートなどに設けられてもよい。また例えば、圧力センサや静電容量センサは、ユーザの衣服（袖など）に設けられてもよい。

＜位置算出部２０２０の詳細＞
＜＜センサの検出結果を把握する方法＞＞
位置算出部２０２０は、入力装置２０００のユーザの身体に取り付けられたセンサの検出結果を把握する（Ｓ１０２）。位置算出部２０２０がセンサの検出結果を把握する方法は様々である。以下、その方法を例示する。なお以下では、センサが図２で説明したセンサ１２（振動センサ）である場合を例として説明する。

＜＜＜無線通信の利用＞＞＞
例えば位置算出部２０２０は、センサ１２を内蔵するデバイス１０と無線通信を行うことにより、センサ１２の検出結果を示す情報を取得することで、センサ１２の検出結果を把握する。例えば、デバイス１０は、センサ１２が所定の大きさ以上の振動を検出したタイミングで、位置算出部２０２０に対して所定の信号を送信する。この場合、位置算出部２０２０は、この所定の信号を受信することにより、「センサ１２によって振動が検出された」というセンサ１２の検出結果を取得することができる。

また例えば、デバイス１０は、センサ１２によって所定の大きさ以上の振動が検出された場合に、その振動が検出された時点を示す情報を位置算出部２０２０に送信しても良い。

＜＜＜デバイス１０の外観の変化の検出＞＞＞
デバイス１０は、センサ１２による振動の検出に応じてデバイス１０の外観を変化させてもよい。この場合、位置算出部２０２０は、カメラ２０によって生成された画像を用いてこの所定の変化を検出することで、センサ１２の検出結果（センサ１２によって振動が検出されたこと）を把握する。

例えばデバイス１０は、センサ１２によって所定の大きさ以上の振動が検出されたときに、表示画面の表示を変更する。より具体的には、デバイス１０は、センサ１２によって所定の大きさ以上の振動が検出されたとき、デバイス１０の表示画面に表示されている画像を変更するか、又は何も表示されていなかった表示画面に新たに画像を表示する。位置算出部２０２０は、カメラ２０によって繰り返し生成される画像を解析することで、デバイス１０の表示画面の表示が変更されたことを検出する。これにより、位置算出部２０２０は、デバイス１０に内蔵されているセンサ１２によって振動が検出されたことを把握する。図６は、ユーザによって左腕５０がタップされた場合に、デバイス１０の表示画面（タッチパネル１４）に表示されているマーカ画像１６が変更される様子を例示する図である。

また例えば、デバイス１０は、センサ１２によって振動が検出された場合に、デバイス１０の表示画面のバックライトやデバイス１０に設けられた LED（Light Emitting Diode）ライトなどのライトを点灯又は点滅させてもよい。位置算出部２０２０は、カメラ２０によって繰り返し生成される画像を解析することで、これらのライトの点灯や点滅を検出する。これにより、位置算出部２０２０は、センサ１２によって振動が検出されたことを把握する。

このように、センサ１２による振動の検出に応じてデバイス１０の外観を変化させることによって位置算出部２０２０がその振動の検出を把握すれば、デバイス１０と入力装置２０００との間で無線通信を行う必要がない。そのため、他に無線通信の必要性がない限り、デバイス１０や入力装置２０００は無線通信の機能を有さなくてよい。

位置算出部２０２０が振動センサ以外のセンサによる検出結果を把握する方法は、振動センサについて説明した上述の方法と同様である。例えばセンサが加速度センサや振動スイッチである場合、デバイス１０や位置算出部２０２０は、これらのセンサが所定の大きさ以上の加速度や振動を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。また例えばセンサが圧力センサである場合、デバイス１０や位置算出部２０２０は、圧力センサが所定の大きさ以上の圧力を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。また例えば、センサが静電容量センサである場合、デバイス１０や位置算出部２０２０は、静電容量センサが所定の大きさ以上の静電容量の変位を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。

＜＜撮像画像２２を取得する方法＞＞
位置算出部２０２０は撮像画像２２を取得する（Ｓ１０４）。位置算出部２０２０が撮像画像２２を取得する方法は様々である。例えば位置算出部２０２０は、カメラ２０から撮像画像２２を取得する。この場合、入力装置２０００とカメラ２０とは通信可能に接続されている。

また、カメラ２０が外部の記憶装置に撮像画像２２を記憶する場合、位置算出部２０２０は、この記憶装置から撮像画像２２を取得する。この場合、位置算出部２０２０は、この記憶装置と通信可能に接続されている。

＜＜利用する撮像画像２２を決定する方法＞＞
位置算出部２０２０は、撮像画像２２に含まれるマーカの位置を算出する（Ｓ１０６）。マーカの位置の算出には、センサの検出結果に基づくタイミングにおけるマーカが含まれる撮像画像２２が利用される。以下、「センサの検出結果に基づくタイミング」をセンサタイミングと表記する。

センサタイミングは、センサによって振動などが検出されたタイミング又はこれに近いタイミングである。例えばセンサ１２によって振動などが検出された場合にデバイス１０から位置算出部２０２０へ所定の信号が送信される場合、センサタイミングは、位置算出部２０２０がこの所定の信号を受信した時点である。また例えば、センサ１２によって振動などが検出された時点を示す情報がデバイス１０から位置算出部２０２０へ送信される場合、センサタイミングは、この情報によって示される時点である。また例えば、センサ１２によって振動などが検出された場合にデバイス１０の外観に所定の変化が加わる場合、センサタイミングは、位置算出部２０２０によってこの所定の変化が検出された時点である。

また、センサタイミングは、前述した各時点（デバイス１０から前述した信号を受信した時点など）から所定時間前又は後の時点でもよい。この所定時間は、位置算出部２０２０に予め設定されていてもよいし、位置算出部２０２０からアクセス可能な記憶装置に記憶されていてもよい。

なお、センサタイミングを、デバイス１０から前述した信号を受信した時点などから所定時間前の時点とする場合、デバイス１０から前述した信号を受信した時点などから所定時間前にカメラ２０によって生成された撮像画像２２が必要となる。そのため、カメラ２０は、センサ１２によって振動などが検出される前から撮像を開始する。例えばカメラ２０は、ユーザが入力装置２０００の利用を開始してから終了するまでの間、継続して撮像を行う。また、カメラ２０によって生成される撮像画像２２は、所定期間継続して記憶装置などに記憶される。

一方、デバイス１０から送信された信号を受信した時点など、又はそれらの時点から所定時間後をセンサタイミングとする場合、カメラ２０は、センサ１２によって振動などが検出されてから撮像を開始してもよい。この場合、例えばカメラ２０は、デバイス１０又は入力装置２０００から、センサ１２によって振動が検出された旨の信号を受信し、その信号を受信したタイミングで撮像を開始する。

なお、カメラ２０は離散的な時間間隔（例えば 33 ミリ秒に１回）で撮像画像２２を生成するため、厳密には、センサタイミングにおいて生成された撮像画像２２が存在しない場合もある。この場合、位置算出部２０２０は、例えばセンサタイミングの直前又は直後に生成された撮像画像２２を用いてマーカの位置を算出する。

＜＜マーカについて＞＞
マーカは、撮像画像２２において少なくともその位置が特定できる任意のマーカである。例えばマーカは、３次元の座標系の決定に利用できるマーカである。３次元の座標系の決定に利用できるマーカは、例えば AR（Augmented Reality）マーカである。ただし、３次元の座標系の決定に利用できるマーカは、参照方向によらず、或る基準点からの相互に直交する３つの方向を一定に得ることができるものであればよく、AR マーカには限定されない。

マーカがユーザの身体に取り付けられるものである場合、マーカは、ユーザの身体の任意の箇所に取り付けることができる。例えばマーカは、ユーザの腕や手に取り付けられる。

例えばマーカは、ユーザの腕に取り付けられたデバイスの表示画面に表示される画像である。このデバイスは、表示画面上に画像を表示する機能を有する任意の電子機器である。なおこのデバイスは、ユーザの腕に直接取り付けられてもよいし、服の上からユーザの腕に取り付けられてもよい。

例えば図２では、マーカは、ユーザの手首に取り付けられる時計型のデバイス１０のタッチパネル１４に表示されているマーカ画像１６である。マーカ画像１６は、予めデバイス１０に記憶されている画像であってもよいし、デバイス１０の外部にある記憶装置に記憶されている画像であってもよい。後者の場合、デバイス１０は、マーカ画像１６を記憶装置から取得して表示する。

マーカは、上述のようにデバイスに表示されるものに限定されない。また、マーカは、ユーザの腕などに直接描画されていてもよいし、ユーザの腕などにある任意の物に描画されていてもよい。後者の場合、例えばマーカは、ユーザの指に取り付けられている指輪、ユーザの手首に取り付けられているリストバンド、又はユーザが着ている服の袖などに描画される。なお、マーカは、手で描画されてもよいし、印字されてもよい。

マーカがユーザの身体の一部である場合、マーカは、ユーザの身体の任意の部分とすることができる。例えばマーカは、ユーザの指や手首などである。

＜マーカの位置の算出方法＞
位置算出部２０２０は、取得した撮像画像２２からマーカを検出し、そのマーカの位置を算出する。例えば、位置算出部２０２０は、マーカに関する形状、サイズ、色などについての情報を予め保持しており、このような既知の情報を用いて、取得された撮像画像２２からマーカを検出し、その位置を算出する。ここで、画像内から所定の物を検出し、さらにその物の画像内における位置を算出する技術は既知の技術であるため、この技術の詳細については省略する。

＜入力認識部２０４０の詳細＞
入力認識部２０４０は、算出されたマーカの位置に基づいて、そのマーカから離れた撮像画像２２上の場所を指定する入力を認識する（Ｓ１０８）。前述したように、入力によって指定される場所は、撮像画像２２上の一点であってもよいし、撮像画像２２上の領域であってもよい。

入力を一点と領域のどちらとして認識するかを定める方法は様々である。例えば、入力を一点と領域のどちらとして認識するかを、位置算出部２０２０に予め設定しておく。また例えば、入力を一点と領域のどちらとして認識するかを表す情報を、入力認識部２０４０からアクセス可能な記憶装置に予め記憶しておく。また例えば、入力認識部２０４０が入力を認識する前に、入力を一点と領域のどちらとして認識するかを選択する入力操作をユーザから受け付ける。この入力操作を受け付ける方法は任意である。例えばこの入力操作は、デバイス１０のタッチパネル１４を用いて行われる。

入力認識部２０４０が入力によって指定される場所を特定する方法について説明する。まず入力認識部２０４０は、算出されたマーカの位置に基づいて、入力として認識する撮像画像２２上の場所を特定するための位置（以下、入力位置）を決定する。図７は、入力位置を例示する図である。入力を撮像画像２２上の一点として認識する場合、入力認識部２０４０は、入力位置６０を、入力された撮像画像２２上の場所として認識する（図７（ａ））。入力を撮像画像２２上の領域として認識する場合、入力認識部２０４０は、入力位置６０で定まる領域６２を、入力された撮像画像２２上の場所として認識する（図７（ｂ））。

入力位置６０は、撮像画像２２上のマーカの位置との関係で予め相対的に定められている。例えば入力位置とマーカの位置との関係は、撮像画像２２の平面上における二次元の位置関係で定められている。

図８は、撮像画像２２の平面上における入力位置６０とマーカの位置との関係を例示する図である。図８の例において、入力位置６０とマーカの位置との関係は、以下の数式（１）で定められている。（a_x, a_y）は、撮像画像２２における入力位置６０の座標である。（m_x, m_y）は、撮像画像２２におけるマーカの中心位置の座標である。（c_x, c_y）は、マーカの中心位置に対する入力位置６０の相対位置である。

また例えば入力位置６０の位置は、マーカの位置に対する３次元空間上の相対位置として予め定められている。この３次元空間は、撮像画像２２に含まれるマーカによって定まる３次元空間である。

図９は、３次元空間上における領域６２とマーカとの位置との関係を例示する図である。図９において、入力認識部２０４０は、撮像画像２２に含まれるマーカの形状から、座標軸１４０を割り出す。例えば入力認識部２０４０は、マーカの中心を原点とし、マーカによって定まる平面を XY 平面とし、その平面に直交する方向を Z 方向とする座標軸を座標軸１４０とする。

入力位置６０とマーカの位置との関係は、座標軸１４０で定まる３次元空間上において、例えば以下の数式（２）で定められる。（a_x, a_y, a_z）は、座標軸１４０で定まる３次元空間上における入力位置６０の座標である。（m_x, m_y, m_y）は、座標軸１４０で定まる３次元空間上におけるマーカの中心位置の座標である。（c_x, c_y, c_z）は、座標軸１４０で定まる３次元空間上における、マーカの中心位置に対する入力位置６０の相対位置である。

このように入力位置６０とマーカの位置との関係が３次元空間上の関係で定まっている場合、例えばユーザは、図２においてデバイス１０の姿勢を変える動作（左手の手首をひねる動作）などをすることにより、左腕５０を大きく動かすことなく、入力位置６０を変化させることができる。

＜＜入力位置６０に対応する領域６２について＞＞
領域６２の位置は、入力位置６０によって定まる。例えば入力認識部２０４０は、中心や１つの頂点の位置が入力位置６０で定まる領域を領域６２とする。

領域６２の形状は矩形や円形など、任意の形状である。また、領域６２の大きさも任意である。ここで、領域６２の形状や大きさを定める方法は様々である。例えば領域６２の形状や大きさは、入力認識部２０４０に予め設定されている。また例えば、領域６２の形状や大きさは、入力認識部２０４０からアクセス可能な記憶装置に予め記憶されている。また例えば、入力装置２０００は、領域６２の形状や大きさを指定する入力をユーザから受け付けてもよい。この入力は、例えばデバイス１０のタッチパネル１４を用いて行われる。

［実施形態２］
図１０は、実施形態２に係る入力装置２０００を例示するブロック図である。図１０において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。特に説明する場合を除き、実施形態２の入力装置２０００は、実施形態１の入力装置２０００と同様の機能を有する。

実施形態２の入力装置２０００は、実施形態１で説明した方法により、撮像画像２２上の領域６２を指定する入力を認識する。さらに、実施形態２の入力装置２０００は、撮像画像２２から、領域６２内の部分画像を抽出する。

図１１は、実施形態２の入力装置２０００の動作を例示する図である。図１１において、ユーザは、デバイス１０のタッチパネル１４に表示されているマーカ画像１６を利用して、領域６２の入力を行う。そして、入力装置２０００は、撮像画像２２から領域６２内の部分画像２４を抽出する。

上記の動作を実現するために、実施形態２の入力装置２０００は、抽出部２０６０をさらに有する。抽出部２０６０は、撮像画像２２から、入力認識部２０４０によって認識された領域６２に含まれる部分画像を抽出する。ここで、ある画像から所定範囲に含まれる部分を抽出する技術は既知の技術であるため、その技術についての詳細な説明は省略する。

領域６２の認識に用いられる撮像画像２２と、部分画像２４が抽出される撮像画像２２とは、同一のものであってもよいし、異なるものであってもよい。後者の場合、例えば抽出部２０６０は、入力認識部２０４０が入力操作を認識する処理を終えた時点における最新の撮像画像２２から部分画像２４を抽出する。

＜ハードウエア構成例＞
実施形態２の入力装置２０００は、実施形態１の入力装置２０００と同様に、計算機１０００で実現される。実施形態２の計算機１０００のストレージ１０８０は、上述した入力装置２０００の各機能を実現するプログラムモジュールをさらに有する。

＜作用・効果＞
本実施形態の入力装置２０００によれば、ユーザの身体に取り付けられたマーカを用いるという、ユーザにとって直感的な方法で、撮像画像から部分画像を抽出する領域を指定できる。よって、撮像画像からその一部を抽出したい場合に、ユーザが直感的に容易に抽出したい部分を指定できる。なお、撮像画像から部分画像を抽出することには、撮像画像の内の特に注目したい部分について、その部分の保存や表示を行ったり、その部分について画像解析を行ったりすることができるなど、様々な利点がある。

［実施形態３］
図１２は、実施形態３に係る入力装置２０００を例示するブロック図である。図１２において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。実施形態３の入力装置２０００は、特に説明する点を除き、実施形態２の入力装置２０００と同様の機能を有する。

入力装置２０００は、部分画像２４を表示画面に表示する。ここで、入力装置２０００は、ユーザの目から見て、撮像画像２２に含まれる景色又はこれに近い景色に、抽出部２０６０によって抽出された部分画像２４が重畳されて見えるように、部分画像２４を表示画面に表示する。さらに入力装置２０００は、抽出部２０６０から部分画像２４が抽出された後は、撮像画像２２に含まれる景色の変化とは独立して部分画像２４が見えるように、部分画像２４の表示を制御する。

そのために、実施形態３の入力装置２０００は表示制御部２０８０を有する。表示制御部２０８０は、抽出部２０６０によって抽出された部分画像２４を表示画面の所定位置に表示する。例えば表示制御部２０８０は、部分画像を表示画面の中心に表示する。また例えば、表示制御部２０８０は、抽出部２０６０によって抽出された際の位置に部分画像２４がとどまるように、部分画像２４を表示する。さらに表示制御部２０８０は、所定時間が経過するか、又はユーザによって所定の操作が行われるまで、表示画面上の上記所定位置に、部分画像２４を表示し続ける。

上記所定時間は、表示制御部２０８０に予め設定されていてもよいし、表示制御部２０８０からアクセス可能な記憶装置に記憶されていてもよい。また、入力装置２０００は、上記所定時間を指定する入力をユーザから受け付けてもよい。また、上記所定操作は任意の操作でよい。例えば上記所定操作は、デバイス１０のタッチパネル１４を用いて行われる。

表示制御部２０８０が制御する表示画面は様々である。例えば表示制御部２０８０は、部分画像２４を、ヘッドマウントディスプレイ１７０の表示画面（図４のディスプレイ１７２）に表示させる。また例えば、表示制御部２０８０は、部分画像２４を、プロジェクタによって撮像画像２２が投影される壁などの投影面に表示させる。この場合、投影面が表示画面としての役割を持つ。その他にも、表示制御部２０８０は、部分画像２４を、液晶ディスプレイなど、任意の表示画面に表示させる。

ここで、ヘッドマウントディスプレイ１７０には、ディスプレイ１７２が非透過型のディスプレイであるものと、透過型のディスプレイであるものがある。ディスプレイ１７２が非透過型のディスプレイである場合、ヘッドマウントディスプレイ１７０は、カメラ２０によって生成される撮像画像２２と、その他の物を表す画像とを重畳させてディスプレイ１７２に表示する。ユーザは、このディスプレイ１７２を見ることで、周囲の景色にその他の物が重畳された様子を見ることができる。本実施形態の表示制御部２０８０は、部分画像２４を重畳させた撮像画像２２をディスプレイ１７２に表示することで、周囲の景色に部分画像２４が重畳された様子をユーザに見せる。

ディスプレイ１７２が透過型のディスプレイである場合、ユーザは、ディスプレイ１７２の先に見える実物体（実世界の景色）及びディスプレイ１７２に表示される画像の両方を見ることで、周囲の景色に画像が重畳された様子を見ることができる。本実施形態の表示制御部２０８０は、ディスプレイ１７２に部分画像２４を表示することで、ユーザに部分画像２４を見せる。さらに、ユーザが見る実世界の景色は、カメラ２０によって撮像される景色又はこれに近い景色である。よって、ユーザは、撮像画像２２に含まれる景色又はこれに近い景色に、部分画像２４が重畳された様子を見ることができる。

表示画面がプロジェクタの投影面や液晶ディスプレイなど、その他の任意の表示画面である場合、表示制御部２０８０は、非透過型のディスプレイを持つヘッドマウントディスプレイ１７０の場合と同様に、撮像画像２２に部分画像２４を重畳させて表示画面に表示する。

部分画像２４が抽出部２０６０によって抽出された際の位置（入力位置６０）にとどまるように部分画像２４を表示する場合において表示制御部２０８０が部分画像２４の表示位置を決定する方法は、表示画面の種類によって異なる。非透過型のディスプレイを持つヘッドマウントディスプレイなど、撮像画像２２が表示される表示画面を用いる場合、表示制御部２０８０は、部分画像２４を抽出した際の入力位置６０を記憶しておき、その後に表示画面に表示される各撮像画像２２上の上記入力位置６０に部分画像２４を重畳して表示する。

一方、透過型のディスプレイを持つヘッドマウントディスプレイなど、撮像画像２２が表示されない表示画面を用いる場合、表示制御部２０８０は、撮像画像２２上の位置である、部分画像２４が抽出された入力位置６０を、表示画面上の位置に変換する。そして、表示制御部２０８０は、この変換によって算出された表示画面上の位置に、部分画像２４を表示する。

なお、撮像画像２２上の座標と表示画面上の座標との対応関係は、カメラ２０に関する各種のパラメタ（画角や焦点距離）や、表示画面とカメラ２０との位置関係などに基づいて定まる。この対応関係は、これらのパラメタなどを用いて表示制御部２０８０によって算出されてもよいし、設定値として予め定められていてもよい。

＜ハードウエア構成例＞
図１３は、実施形態３の入力装置２０００を実現する計算機１０００のハードウエア構成を例示する図である。この計算機１０００の構成は、実施形態１の入力装置２０００を実現する計算機１０００の構成と同様である。ただし、実施形態３の計算機１０００が有するストレージ１０８０は、本実施形態の入力装置２０００が有する各機能を実現するためのプログラムモジュールをさらに有する。

入出力インタフェース１１００には、部分画像２４が表示されるヘッドマウントディスプレイ１７０のディスプレイ１７２や、部分画像２４を投影面に投影するプロジェクタ１６０などが接続される。

＜作用・効果＞
本実施形態の入力装置２０００によれば、撮像画像２２から抽出された部分画像２４が、表示画面上の所定位置に固定して表示される。そのため、ユーザがマーカを動かしても（撮像画像２２に含まれるマーカの位置が変化しても）、部分画像２４が表示される表示画面上の位置が変わらない。図１４は、マーカの位置が変わっても部分画像２４の表示位置が変わらない様子を例示する図である。図１４（ａ）はマーカを動かす前の様子を表し、図１４（ｂ）はマーカを動かした後の様子を表す。

このように、ユーザは、表示画面上の固定された位置に部分画像２４が表示された状態で、マーカを移動させることができる。よって、例えばユーザは、部分画像２４が固定された位置に表示された状態で、入力認識部２０４０に認識させる入力操作を新たに行うことができる。そのため、ユーザによる入力操作の自由度が向上する。

同様に、カメラ２０の撮像範囲が変化しても部分画像２４が表示される表示画面上の位置が変わらない。図１５は、カメラ２０の撮像範囲が変化しても部分画像２４の表示位置が変わらない様子を例示する図である。図１５（ａ）は部分画像２４を抽出した時にカメラ２０によって生成された撮像画像２２を表し、図１５（ｂ）はその後に撮像範囲が変化したカメラ２０によって生成された撮像画像２２を表す。

このように、ユーザは、表示画面上の固定された位置に部分画像２４が表示された状態で、カメラ２０の撮像範囲を変化させることができる。例えばユーザがヘッドマウントディスプレイ１７０を利用している場合、ユーザは、部分画像２４が固定された位置に表示された状態で、見る方向を変えることができる。よって、ユーザによる入力装置２０００の利便性が向上する。

［実施形態４］
図１６は、実施形態４に係る入力装置２０００を例示するブロック図である。図１６において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。特に説明する場合を除き、本実施形態の入力装置２０００は、実施形態３の入力装置２０００と同様の機能を有する。

実施形態４の入力装置２０００は、撮像画像２２に含まれるマーカの動きに基づいて、ユーザによる入力操作を認識する。図１７は、ユーザによる入力操作を例示する図である。図１７において、ユーザは、マーカを動かすことにより、部分画像２４上に線７０を描いている。線７０は、部分画像２４に含まれる様子のうち、特に注目すべき部分を強調するための線である。なお、ユーザが行う入力は、部分画像２４に対する入力に限定されない。

上記機能を実現するために、入力装置２０００は、動き検出部２１００及び第２入力認識部２１２０をさらに有する。動き検出部２１００は、撮像画像２２に含まれるマーカの動きを検出する。ここで、検出されるマーカの動きは、入力装置２０００のユーザの身体に取り付けられたセンサの検出結果に基づくタイミングを含む時間におけるマーカの動きである。第２入力認識部２１２０は、検出したマーカの動きに基づいて入力を認識する。この入力は、入力装置２０００に対するものであってもよいし、それ以外の装置に対するものであってもよい。なお、上記センサは、位置算出部２０２０によって利用されるセンサであってもよいし、異なるセンサであってもよい。

＜動き検出部２１００の詳細＞
動き検出部２１００は、センサ１２の検出結果を取得する。動き検出部２１００がセンサ１２の検出結果を把握する方法は、位置算出部２０２０がセンサの検出結果を把握する方法と同様である。

動き検出部２１００は、センサ１２の検出結果に基づいて定まる期間におけるマーカの動きを検出する。以下、この「センサ１２の検出結果に基づいて定まる期間」を、検出対象期間と表記する。

動き検出部２１００は、実施形態１で説明したセンサタイミングを１つ又は２つ用いて検出対象期間を定める。センサタイミングを１つ用いて検出対象期間を定める場合、動き検出部２１００は、１つのセンサタイミングを用いて検出対象期間の開始時点及び終了時点の双方を定める。

センサタイミングを２つ用いて検出対象期間を定める場合、動き検出部２１００は、２つのセンサタイミングのうち、より早いセンサタイミングを用いて検出対象期間の開始時点を決定し、より後のセンサタイミングを用いて検出対象期間の終了時間を決定する。

図１８は、センサタイミングを用いて検出対象期間の開始時点を決定する方法を例示する図である。例えば動き検出部２１００は、センサタイミングを検出対象期間の開始時点とする（図１８（ａ））。また例えば、動き検出部２１００は、センサタイミングから所定時間前の時点を、検出対象期間の開始時点とする（図１８（ｂ））。また例えば、動き検出部２１００は、センサタイミングから所定時間後の時点を、検出対象期間の開始時点とする（図１８（ｃ））。

センサタイミングを用いて検出対象期間の終了時点を決定する方法は、センサタイミングを用いて検出対象期間の開始時点を決定する方法と同様である。

なお、上述した各所定時間を表す情報は、動き検出部２１００に予め設定されていてもよいし、動き検出部２１００からアクセス可能な記憶装置に記憶されていてもよい。また、検出対象期間の開始時点の決定に用いる所定時間と、検出対象期間の終了時点に用いる所定時間は、同じであってもよいし、異なっていてもよい。

動き検出部２１００は、検出対象期間において生成された撮像画像２２を用いてマーカの動きを検出する。検出対象期間において生成された撮像画像２２が複数ある場合、例えば動き検出部２１００は、それら複数の撮像画像２２それぞれについてマーカ認識を行い、各撮像画像２２に含まれるマーカの位置を算出する。そして動き検出部２１００は、マーカの位置の変化を表す情報を、マーカの動きを表す情報とする。マーカの位置の変化を表す情報は、例えばマーカの位置を時系列で並べた情報である。

検出対象期間において生成された撮像画像２２は１つであってもよい。マーカが動いている場合、ぶれた状態のマーカが１つの撮像画像２２に含まれることが多い。そこで動き検出部２１００は、ぶれた状態のマーカが含まれる１つの撮像画像２２から、そのマーカの動きを算出する。

図１９は、ぶれた状態のマーカが含まれる撮像画像２２を例示する図である。撮像画像２２では、マーカ画像１６が、マーカ画像１６−Ａからマーカ画像１６−Ｂへ移動するようにぶれている。動き検出部２１００は、マーカ画像１６−Ａとマーカ画像１６−Ｂに共通する特徴点（例えばマーカ画像１６の四隅や中心）の位置の変化を、マーカの動きとして検出する。

＜第２入力認識部２１２０の詳細＞
第２入力認識部２１２０は、検出したマーカの動きに基づいて入力を認識する。第２入力認識部２１２０は、１）検出したマーカの動きに基づく形状を入力として認識としてもよいし、２）検出したマーカの動きに対応する所定の入力操作を入力として認識してもよい。

＜＜マーカの動きに基づく形状を入力として認識するケース＞＞
図２０は、マーカの動き４０によって定まる形状を入力として認識する様子を例示する図である。図２０（ａ）では、第２入力認識部２１２０は、マーカの動き４０−Ａが表す形状４１や、動き４０−Ｂが表す形状４２を入力として認識する。例えばこの入力は、ユーザが手書き入力を行う際に利用される。

図２０（ｂ）では、第２入力認識部２１２０は、マーカの動きとは異なる形状ではあるものの、マーカの動きによって形状及び大きさが定まる形状を入力として認識する。具体的には、第２入力認識部２１２０は、動き４０−Ｃの両端を対角線の両端とする矩形４４や、動き４０−Ｃの両端を直径の両端とする円形４６を入力として認識する。例えばこの入力は、ユーザが、ある範囲を表す入力（選択操作など）を行う際や、所定の図形の描画を行う際に用いられる。

図２０（ａ）に示した方法と図２０（ｂ）で示した方法のどちらを用いるのかは、予め固定されていてもよいし、ユーザによって設定可能であってもよい。また、上記どちらの方法を用いるのかを示す情報は、第２入力認識部２１２０に予め設定されていてもよいし、第２入力認識部２１２０からアクセス可能な記憶装置に記憶されていてもよい。

＜＜マーカの動きに対応する所定の入力操作を認識するケース＞＞
検出したマーカの動きに対応する所定の入力操作は、いわゆるジェスチャ入力による入力操作である。図２１は、ジェスチャ入力を例示する図である。図２１（ａ）はフリック動作を表し、図２１（ｂ）は回転動作を表している。

マーカの動きと、その動きに対応する所定の入力操作とを関連付ける情報は、第２入力認識部２１２０に予め設定されていてもよいし、入力装置２０００の内部又は外部の記憶装置に予め記憶されていてもよい。

＜マーカの動作が行われた場所の取り扱いについて＞
第２入力認識部２１２０は、１）マーカを動かす動作が行われた位置に関係なく、そのマーカの動きのみを入力として認識してもよいし、２）マーカの動きと、そのマーカを動かす動作が行われた位置との組み合わせを入力として認識してもよい。前者の場合、マーカを動かす動作が撮像画像２２上のどの場所で行われても、同じマーカの動きは同じ入力を表す。一方後者の場合、マーカを動かす動作が撮像画像２２上のどの場所で行われたかが意味を持つこととなる。

例えば、ユーザが、撮像画像２２上に含まれるものや表示画面に表示されているもの（部分画像２４など）に対して描画操作を行うとする。この場合、描画される形状だけでなく、その描画が何に対して行われたものであるかが意味を持つ。例えば、図１７で示した入力操作は、部分画像２４に含まれるパイプのサビ部分を囲むように線７０を描く操作である。そのため、第２入力認識部２１２０は、線７０の形状だけでなく、線７０が描かれた場所も入力として認識する必要がある。

１）の場合、第２入力認識部２１２０は、前述したように、動き検出部２１００によって検出されたマーカの動きで定まる形状や、マーカの動きで定まるジェスチャを、入力として認識する。

一方２）の場合、第２入力認識部２１２０は、動き検出部２１００によって検出された撮像画像２２上のマーカの座標の遷移に基づいて、入力として認識する。図１７の場合、第２入力認識部２１２０は、撮像画像２２上のマーカの座標の遷移を入力として認識する。よって、第２入力認識部２１２０は、線７０の形状だけでなく、線７０が描かれた位置も入力として認識する。

また２）の場合、第２入力認識部２１２０は、マーカの動作が行われた場所ではなく、その場所と離れた場所を、ユーザによって入力が行われた場所として認識してもよい。これは、入力認識部２０４０が、マーカの位置から離れた場所を入力として認識することと同様のことである。前述した図１７では、マーカを動かすことで、マーカから離れた位置を対象として入力を行っている。

このようにマーカの動きに基づいて、マーカから離れた場所に対する入力を認識する場合、第２入力認識部２１２０は、動き検出部２１００によって検出された撮像画像２２上のマーカの座標の遷移を、所定の方法で、マーカから離れた場所における座標の遷移に変換する。

例えば第２入力認識部２１２０は、数式（１）を用いて説明したマーカの位置と入力位置６０との関係を利用する。具体的には、第２入力認識部２１２０は、数式（１）を用いて、複数の撮像画像２２上のマーカの位置をそれぞれ、入力位置６０に変換する。そして、第２入力認識部２１２０は、算出された複数の入力位置６０を時系列で並べた情報を、入力として認識する。

同様に、第２入力認識部２１２０は、数式（２）を用いて説明したマーカの位置と入力位置６０との関係を利用し、複数の撮像画像２２上のマーカの位置をそれぞれ、入力位置６０に変換してもよい。

第２入力認識部２１２０が１）と２）のどちらの方法で入力を認識するのかは、予め第２入力認識部２１２０に設定されていてもよいし、第２入力認識部２１２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって選択可能であってもよい。

＜入力認識部２０４０と第２入力認識部２１２０とを切り替える方法＞
実施形態４の入力装置２０００は、入力認識部２０４０と第２入力認識部２１２０のいずれかによってユーザの入力を認識する。入力装置２０００が、入力認識部２０４０と第２入力認識部２１２０のどちらによってユーザの入力を認識するかを決定する方法は様々である。

例えば入力装置２０００は、ユーザから、入力認識部２０４０と第２入力認識部２１２０のどちらによって入力を認識させるかを選択する操作を受け付ける。また例えば、入力装置２０００は、抽出部２０６０によって抽出された部分画像２４が表示制御部２０８０によって表示画面に表示されている間は、第２入力認識部２１２０によって入力を認識するようにしてもよい。こうすることで、ユーザが入力方法の選択操作を行うことなく、部分画像２４に対して前述した線７０の描画等を行えるようになる。

＜作用・効果＞
本実施形態によれば、ユーザは、マーカから離れた場所を指定する入力操作（入力認識部２０４０によって認識される入力操作）に加え、マーカの動きを用いた入力操作（第２入力認識部２１２０によって認識される入力操作）を行えるようになる。よって、ユーザによる入力操作のバリエーションが増え、入力装置２０００の利便性が向上する。

［実施例］
以下、上述した入力装置２０００を、より具体的な実施例に沿って説明する。なお、この実施例は入力装置２０００の利用方法の一例であり、入力装置２０００の利用方法を限定するものではない。

本実施例では、入力装置２０００の運用には、グラス２００とウォッチ２１０という２つのデバイスが用いられる。図２２は、グラス２００及びウォッチ２１０を例示する図である。

グラス２００は、カメラ２０２が備えられたヘッドマウントディスプレイである。本実施例において、入力装置２０００はグラス２００に内蔵される。ユーザは、グラス２００を眼鏡のように装着して利用する。

カメラ２０２はビデオカメラであり、上述した各実施形態におけるカメラ２０に相当する。ディスプレイ２０４は、レンズの形状をした透過型のディスプレイである。グラス２００は、ディスプレイ２０４に種々の情報を表示する。これにより、ユーザの目には、実世界の景色に種々の情報が重畳されて見える。

ウォッチ２１０は、振動センサ２１１を内蔵している。またウォッチ２１０は、タッチパネル２１２を有する。ウォッチ２１０、振動センサ２１１、タッチパネル２１２はそれぞれ、各実施形態１におけるデバイス１０、センサ１２、タッチパネル１４に相当する。タッチパネル２１２は、マーカ画像２１６を表示する。

グラス２００及びウォッチ２１０は、情報処理装置に対する入力インタフェースとして機能する入力システムを構成する。この入力システムの操作対象である情報処理装置は、グラス２００又はウォッチ２１０であってもよいし、それ以外の計算機であってもよい。本実施例では、操作対象の情報処理装置をグラス２００とする。

本実施例では、ユーザは、グラス２００及びウォッチ２１０を用いて、機器の点検作業を行う。図２３は、ユーザが行う点検作業の概要を例示する図である。ユーザは、チェックリストに従って各機器の状態を表すメータの読み取り作業を行ったり、機器の気になる箇所についてメモの記録や写真の撮影を行ったりする。

グラス２００に対する入力操作は、３つに大別される。１つ目の入力操作は、カメラ２０２の撮像範囲に含まれるマーカ画像２１６から離れた場所を指定する入力である。この操作は、実施形態１から３で説明した入力である。グラス２００がこの操作を受け付ける状態を、第１入力モードを呼ぶ。

２つ目の入力操作は、カメラ２０２の撮影範囲内で所定のオブジェクトを動かすことによって行う入力操作である。この操作は、実施形態４で説明した入力操作である。ただし、本実施例の入力装置２０００は、マーカ画像２１６に限らず、ユーザの指など、各種のオブジェクトの動きを入力として認識する。グラス２００がこの操作を受け付ける状態を、第２入力モードと呼ぶ。

３つ目の入力操作は、ディスプレイ２０４に表示される操作画像に対して操作を加えることで行う入力操作である。グラス２００がこの操作を受け付ける状態を、第３入力モードと呼ぶ。なお、第３入力モードにおける操作の具体的な内容は後述する。

ユーザが点検作業を開始すると、グラス２００は、ディスプレイ２０４上にチェックリストの１番目の項目と操作選択メニュー３００を表示する。図２４は、ユーザの視界に含まれる操作選択メニュー３００を例示する図である。操作選択メニュー３００は、入力ボタン３０２、撮影ボタン３０４、及び記録ボタン３０６という３つの操作画像を含んでいる。ここで、グラス２００は、ユーザの目から見て、ウォッチ２１０が装着されている左腕５０の付近にチェックリストの１番目の項目が見えるようにこの項目を表示する。また、グラス２００は、ユーザの目から見て、ウォッチ２１０が装着されている左腕５０上に操作選択メニューが見えるように、操作選択メニューを表示する。

ユーザは、操作画像を選択する操作を行う。具体的には、ユーザは、選択する操作画像をタップする動作を行う。すると、このタップの振動を検出したウォッチ２１０は、タッチパネル２１２に表示するマーカ画像を変更する。すると、グラス２００は、タッチパネル２１２に表示されている画像が変化したことを検出し、これに伴って入力の認識を行う処理を行う。

操作選択メニュー３００が表示されているときのグラス２００の状態は、操作画像の選択を受け付ける第３入力モードである。そのため、グラス２００は、タッチパネル２１２に表示されている画像が変化したことを検出したことに伴い、ユーザによってどの操作画像が選択されたかを判定する。具体的には、グラス２００は、カメラ２０２によって撮影された撮像画像２２からユーザの指の位置を検出し、その位置が、操作選択メニュー３００に含まれる操作画像のどの位置に対応しているかを割り出す。

ユーザが操作選択メニュー３００の中から撮影ボタン３０４を選択すると、グラス２００は、ディスプレイ２０４に、撮像範囲を表すガイドを表示する。図２５は、ユーザの視界に含まれるガイド８０を例示する図である。ガイド８０は、ユーザが入力装置２０００に対して入力を行った場合に、表示制御部２０８０によって抽出される部分画像２４（入力認識部２０４０によって認識される領域６２）を表す。ガイド８０を表示することにより、ユーザは、部分画像２４の抽出を行う前に、どの部分が部分画像２４として抽出されるのかを、視覚的に確認できる。

ユーザは、画像として保存したい場所にガイド８０が表示されるように、デバイス１０を動かす。その後、ユーザは、左腕５０をタップすることで、入力装置２０００に対して入力を行う。ここで、撮影ボタン３０４を押した後、入力装置２０００の状態は、入力認識部２０４０が入力操作を受け付ける第２モードに遷移する。そこで、ユーザが左腕５０をタップしたことにより、入力認識部２０４０が領域６２を認識する。そして、表示制御部２０８０が、この領域６２を用いて部分画像２４を抽出する。

領域６２によって抽出された部分画像２４は、表示制御部２０８０により、ディスプレイ２０４の中心に表示される。ここで、部分画像２４に含まれるパイプには、一部に錆があるそこでユーザは、マーカ画像２１６を動かすことにより、部分画像２４上に７０を描く。こうすることでユーザは、特に注目すべき点を強調した上で、部分画像２４を保存することができる。図２６は、ユーザが線７０を描く様子を例示している。

ユーザが操作選択メニュー３００の中から入力ボタン３０２を選択すると、入力方法選択メニュー３１０が表示される。入力方法選択メニュー３１０は、メータ読取ボタン３１２、数値入力ボタン３１４、及びメモボタン３１６という３つの操作画像を含む。

ユーザが操作選択メニュー３００の中から入力ボタン３０２を選択すると、グラス２００はディスプレイ２０４に入力方法選択メニュー３１０を表示する。図２７は、ユーザの視界に含まれる入力方法選択メニュー３１０を例示する図である。入力方法選択メニュー３１０は、メータ読取ボタン３１２、数値入力ボタン３１４、及びメモボタン３１６という３つの操作画像を含む。

メータ読取ボタン３１２は、カメラ２０２によって撮像される撮像画像２２からメータの値を自動で読み取る入力操作である。なお、ユーザがメータ読取ボタン３１２を選択すると、グラス２００は第１入力モードに遷移する。そして、メータの値の自動読み取りが終了すると、グラス２００は再度第２入力モードに遷移する。

数値入力ボタン３１４は、メータの値をユーザ自身が入力する入力操作である。図２８は、数値入力ボタン３１４が選択された後の様子を例示する図である。グラス２００は、左腕５０にテンキー画像３１８が重畳して見えるように、ディスプレイ２０４にテンキー画像３１８を表示する。ユーザはテンキー画像３１８の各キーをタップすることで、メータの数値を入力する。

メモボタン３１６は、メモを入力するための入力操作である。図２９は、メモボタン３１６が選択された後の様子を例示する図である。グラス２００は、左腕５０にキーボード画像３２０が重畳して見えるように、ディスプレイ２０４にキーボード画像３２０を表示する。ユーザはキーボード画像３２０の各キーをタップすることで、メモの入力を行う。

ユーザが操作選択メニュー３００の中から記録ボタン３０６を選択すると、現在の点検項目に対する入力操作が終了し、次の点検項目に移る。ユーザは、上述した種々の入力操作を次の点検項目についても行う。このようにユーザは、各点検項目に対して入力操作を行う。

＜ガイド８０の表示方法＞
実施例の入力装置２０００は、ガイド８０を表示するために、第２表示制御部２１４０を有する。図３０は、第２表示制御部２１４０を有する入力装置２０００を例示するブロック図である。

入力装置２０００が第２表示制御部２１４０を有する場合、位置算出部２０２０は、センサによる振動などの検出の有無に関わらず、撮像画像２２を時系列で取得して、各撮像画像２２に含まれるマーカの位置をそれぞれ算出する。第２表示制御部２１４０は、これら時系列で並べられた各マーカの位置に対応してガイド８０の表示を順に行う。

ガイド８０の表示位置は、入力認識部２０４０によってマーカの位置から算出される入力位置６０に相当する位置である。具体的には、第２表示制御部２１４０は、入力認識部２０４０がマーカの位置から入力位置６０を算出する方法と同様の方法で、位置算出部２０２０によって算出された各マーカの位置からガイド８０の表示位置を算出する。

撮像画像２２が表示画面に表示される場合、第２表示制御部２１４０は、撮像画像２２にガイド８０が重畳されるように、撮像画像２２上の上記表示位置にガイド８０を表示する。一方、撮像画像２２が表示画面に表示されない場合（ユーザが透過型のヘッドマウントディスプレイを利用している場合など）、第２表示制御部２１４０は、撮像画像２２上の表示位置に相当する表示画面上の位置を算出し、その位置にガイドを表示する。

なお、撮像画像２２上の座標と表示画面上の座標との対応関係は、前述したように、カメラ２０に関する各種のパラメタ（画角や焦点距離）や、表示画面とカメラ２０との位置関係などに基づいて定まる。この対応関係は、これらのパラメタなどを用いて第２表示制御部２１４０によって算出されてもよいし、設定値として予め定められていてもよい。

入力認識部２０４０が或る一点を入力として認識する場合、第２表示制御部２１４０は、入力位置６０を表すガイド８０を表示画面に表示する。入力位置６０を表す表示は、例えば、入力位置６０を中心位置とする点、十字点、バツ印、又は丸印などの任意の印である。

一方、入力認識部２０４０が或る領域を入力として認識する場合、第２表示制御部２１４０は、入力位置６０に対応する領域６２を表すガイド８０を表示画面に表示する。領域６２を表すガイド表示は、例えば領域６２を表す枠線である。枠線は、実線、点線、一点鎖線などの任意の線とすることができる。また、領域６２を表すガイド表示は、領域６２の頂点のみを示してもよい。頂点は、点、十字点、バツ印、又は丸印などの任意の印で表すことができる。さらに領域６２を表すガイド表示は、枠線及び頂点を表す印の双方であってもよい。

ガイド８０の色は、任意の色とすることができる。

なお、本実施例では点検作業を対象にしているが、入力装置２０００の応用範囲は点検作業に限られるものではない。例えば入力装置２０００は、機器の組み立て作業、看護士などによる看護作業その他様々な作業の記録などに利用することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、及び上記実施形態以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出手段と、
前記算出されたマーカの位置に基づいて、前記撮像画像上の場所を指定する入力を認識する入力認識手段と、を有し、
前記指定される場所は、前記マーカから離れた場所であり、
前記マーカは、ユーザの身体に取り付けられているか、又は前記ユーザの身体の一部である、入力装置。
２． 前記入力認識手段は、前記算出されたマーカの位置から離れた位置にある領域を入力として認識し、
前記撮像画像から、前記領域に含まれる部分画像を抽出する抽出手段を有する、１．に記載の入力装置。
３． 前記部分画像を表示画面の所定位置に表示する表示制御手段を有する、２．に記載の入力装置。
４． 前記表示制御手段は、前記撮像画像から抽出された前記部分画像を、他の撮像画像に重畳させて前記表示画面に表示する、３．に記載の入力装置。
５． 前記表示画面は、ヘッドマウントディスプレイの表示画面又はプロジェクタの投影面である、３．又は４．に記載の入力装置。
６． 前記表示制御手段は、前記指定される場所を表す表示を前記表示画面に表示する、３．乃至５．いずれか一つに記載の入力装置。
７． 前記ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングを含む時間における前記マーカの動きを検出する動き検出手段と、
前記検出したマーカの動きを入力操作として認識する第２入力認識手段と、を有する１．乃至６．いずれか一つに記載の入力装置。

８． コンピュータによって実行される入力方法であって、
ユーザの身体に取り付けられたセンサの検出結果に基づいて定まる期間におけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出ステップと、
前記算出されたマーカの位置に基づいて、前記撮像画像上の場所を指定する入力を認識する入力認識ステップと、を有し、
前記指定される場所は、前記マーカから離れた場所であり、
前記マーカは、ユーザの身体に取り付けられているか、又は前記ユーザの身体の一部である、入力方法。
９． 前記入力認識ステップにおいて、前記算出されたマーカの位置から離れた位置にある領域を入力として認識し、
前記撮像画像から、前記領域に含まれる部分画像を抽出する抽出ステップを有する、８．に記載の入力方法。
１０． 前記部分画像を表示画面の所定位置に表示する表示制御ステップを有する、９．に記載の入力方法。
１１． 前記表示制御ステップにおいて、前記撮像画像から抽出された前記部分画像を、他の撮像画像に重畳させて前記表示画面に表示する、１０．に記載の入力方法。
１２． 前記表示画面は、ヘッドマウントディスプレイの表示画面又はプロジェクタの投影面である、１０．又は１１．に記載の入力方法。
１３． 前記表示制御ステップにおいて、前記指定される場所を表す表示を前記表示画面に表示する、１０．乃至１２．いずれか一つに記載の入力方法。
１４． 前記ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングを含む時間における前記マーカの動きを検出する動き検出ステップと、
前記検出したマーカの動きを入力操作として認識する第２入力認識ステップと、を有する８．乃至１３．いずれか一つに記載の入力方法。

１５． ８．乃至１４．いずれか一つに記載の入力方法に係る各ステップをコンピュータに実行させるプログラム。

この出願は、２０１５年９月２８日に出願された日本出願特願２０１５−１９０２３９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (18)

1. ユーザの身体に取り付けられた装着物に設けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出手段と、
   前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識手段と、を有し、
   前記指定される場所は、前記マーカから離れた場所であり、
   前記マーカは、前記装着物に描画又は印字されたものである、入力装置。
2. ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出手段と、
   前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識手段と、を有し、
   前記指定される場所は、前記マーカから離れた場所であり、
   前記マーカは、前記ユーザの腕部に取り付けられるデバイスの表示画面上に表示される画像である、入力装置。
3. 前記入力認識手段は、前記算出されたマーカの位置から離れた位置にある領域を入力として認識し、
   前記撮像画像から、前記領域に含まれる部分画像を抽出する抽出手段を有する、請求項１又は２に記載の入力装置。
4. ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出手段と、
   前記算出されたマーカの位置に基づいて定まる前記撮像画像上の領域を指定する入力を認識する入力認識手段と、
   前記指定された領域に含まれる部分画像を前記撮像画像から抽出する抽出手段と、を有し、
   前記指定される場所は、前記マーカから離れた場所であり、
   前記マーカは、ユーザの身体に取り付けられているか、又は前記ユーザの身体の一部である、入力装置。
5. 前記抽出手段によって前記部分画像が抽出されたことに応じ、前記ユーザの操作を介することなく前記部分画像を表示画面の所定位置に表示する表示制御手段を有する、請求項３又は４に記載の入力装置。
6. 前記部分画像が表示される前記表示画面の前記所定位置は、前記部分画像が前記抽出手段によって抽出されたタイミングにおける前記表示画面上の前記部分画像の位置である、請求項５に記載の入力装置。
7. 前記表示制御手段は、前記撮像画像から抽出された前記部分画像を、他の撮像画像に重畳させて前記表示画面に表示する、請求項５又は６に記載の入力装置。
8. 前記表示画面は、ヘッドマウントディスプレイの表示画面又はプロジェクタの投影面である、請求項５乃至７いずれか一項に記載の入力装置。
9. 前記表示制御手段は、前記指定される場所を表す表示を前記表示画面に表示する、請求項５乃至８いずれか一項に記載の入力装置。
10. 前記入力認識手段は、前記算出されたマーカの位置を基準とする所定の大きさ又は所定の形状の領域を指定する入力を認識する、請求項３乃至９いずれか一項に記載の入力装置。
11. 前記算出されたマーカの位置に基づいて定まる前記撮像画像上の領域を表すガイドを表示し、
    前記入力認識手段は、前記ガイドで表される領域を指定する入力を受け付ける、請求項３乃至１０いずれか一項に記載の入力装置。
12. 前記センサは、前記ユーザの身体が触れられたことを検知する振動センサ、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサである、請求項１乃至１１いずれか一項に記載の入力装置。
13. 前記センサは、前記ユーザに取り付けられたデバイスに設けられており、
    前記デバイスは、前記センサの検出結果に基づいて前記デバイスの外観を変更し、
    前記位置算出手段は、前記デバイスが撮像された撮像画像を用いて前記デバイスの外観の変化を検出することにより、前記センサの検出結果を認識する、請求項１乃至１２いずれか一項に記載の入力装置。
14. 前記ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングを含む時間における前記マーカの動きを検出する動き検出手段と、
    前記検出したマーカの動きを入力操作として認識する第２入力認識手段と、を有する請求項１乃至１３いずれか一項に記載の入力装置。
15. コンピュータによって実行される入力方法であって、
    ユーザの身体に取り付けられた装着物に設けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出ステップと、
    前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識ステップと、を有し、
    前記指定される場所は、前記マーカから離れた場所であり、
    前記マーカは、前記装着物に描画又は印字されたものである、入力方法。
16. コンピュータによって実行される入力方法であって、
    ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出ステップと、
    前記算出されたマーカの位置を基準として定まる前記撮像画像上の場所を指定する入力を認識する入力認識ステップと、を有し、
    前記指定される場所は、前記マーカから離れた場所であり、
    前記マーカは、前記ユーザの腕部に取り付けられるデバイスの表示画面上に表示される画像である、入力方法。
17. コンピュータによって実行される入力方法であって、
    ユーザの身体に取り付けられたセンサの検出結果に基づくタイミングにおけるマーカの位置を、前記マーカが含まれる撮像画像を用いて算出する位置算出ステップと、
    前記算出されたマーカの位置に基づいて定まる前記撮像画像上の領域を指定する入力を認識する入力認識ステップと、
    前記指定された領域に含まれる部分画像を前記撮像画像から抽出する抽出ステップと、を有し、
    前記指定される場所は、前記マーカから離れた場所であり、
    前記マーカは、ユーザの身体に取り付けられているか、又は前記ユーザの身体の一部である、入力方法。
18. 請求項１５乃至１７いずれか一項に記載の入力方法に係る各ステップをコンピュータに実行させるプログラム。

Images