JPWO2014045683A1 - 制御装置および記憶媒体 - Google Patents

Abstract

【課題】実体オブジェクトの所定の領域に仮想的に操作機能を関連付けることが可能な制御装置および記憶媒体を提供する。【解決手段】ユーザにより操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部と、前記検出部により検出された操作領域に所定の機能を対応付けるよう設定する機能設定部と、前記操作領域と操作体の位置関係に基づいて、前記操作領域に対応付けられた機能を実行する制御部と、を備える、制御装置。【選択図】図１

Description

本開示は、制御装置および記憶媒体に関する。

一般的に、デスクトップ型のパーソナルコンピュータ（ＰＣ）では、操作入力用のデバイスとして、机上に配置するキーボードおよびマウスが用いられている。

操作入力用のデバイスに関し、下記特許文献１では、机上のスペースを占拠することなく、入出力を実現することが可能な入出力装置が開示されている。具体的には、特許文献１に記載の入出力装置は、机に設置され、机上に表示画面及び操作キーを投影するプロジェクタと、操作者が行う入力操作を撮影する撮像用ビデオカメラとを有する。操作者は、机上に投影された表示画面に対して入力操作を行う。これにより、机上に様々な表示装置や操作キーボード等を並べる必要が無く、机上をシンプル化することができ、窓口カウンターや机上の美観を向上してイメージアップを図る。

特開２０００−２９８５４４号公報

ここで、近年普及している携帯電話端末やノートＰＣ等のモバイル端末は、液晶の表示画面をキーボードと折り畳みできるように結合された構造となっている。また、タブレット端末やスマートフォンは、液晶の表示画面に操作画面を表示し、ユーザのタッチ操作を検出している。いずれも、ユーザが把持するモバイル端末であって、キーボード等に相当する操作入力用のデバイスが設けられている。

さらに、モバイル端末の分野では、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置（ヘッドマウンドディスプレイ：ＨＭＤ）が提案されている。このような装置は、ハンズフリーという最大の特徴を有し、キーボードやマウス等に相当する操作入力用のデバイスによる操作には相容れない装置であった。

しかしながら、音声やジェスチャーによる操作入力だけでは、正確に操作できなかったり、テキスト入力が困難であったりした。また、通常ユーザが慣れ親しんでいる操作とは異なる操作となるので、ユーザにとって操作負担やストレスとなってしまうことが想定される。

そこで、本開示では、実体オブジェクトの所定の領域に仮想的に操作機能を関連付けることが可能な、新規かつ改良された制御装置および記憶媒体を提案する。

本開示によれば、ユーザにより操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部と、前記検出部により検出された操作領域に所定の機能を対応付けるよう設定する機能設定部と、前記操作領域と操作体の位置関係に基づいて、前記操作領域に対応付けられた機能を実行する制御部と、を備える、制御装置を提案する。

本開示によれば、コンピュータを、ユーザにより操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部と、前記検出部により検出された操作領域に所定の機能を対応付けるよう設定する機能設定部と、前記操作領域と操作体の位置関係に基づいて、前記操作領域に対応付けられた機能を実行する制御部、として機能させるためのプログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、実体オブジェクトの所定の領域に仮想的に操作機能を関連付けることが可能となる。

本開示の一実施形態による制御システムの概要を説明するための図である。 本実施形態によるＨＭＤの内部構成例を示すブロック図である。 第１の実施形態による制御動作の処理を示すフローチャートである。 第１の実施形態による制御動作を説明するための図である。 第２の実施形態による制御動作の処理を示すフローチャートである。 第２の実施形態による制御動作を説明するための図である。 第３の実施形態による制御動作の処理を示すフローチャートである。 第４の実施形態による制御動作の処理を示すフローチャートである。 第４の実施形態による制御動作を説明するための図である。 第５の実施形態による制御動作の処理を示すフローチャートである。 第５の実施形態による制御動作を説明するための図である。 第６の実施形態による制御動作の処理を示すフローチャートである。 第６の実施形態による制御動作を説明するための図である。 操作入力用のデバイスとしてキーボードを選択した場合について説明するための図である。 操作入力用のデバイスとして携帯電話端末を選択した場合について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による制御システムの概要
２．ＨＭＤの内部構成例
３．各実施形態
３−１．第１の実施形態
３−２．第２の実施形態
３−３．第３の実施形態
３−４．第４の実施形態
３−５．第５の実施形態
３−６．第６の実施形態
４．まとめ

＜１．本開示の一実施形態による制御システムの概要＞
まず、本開示の一実施形態による制御システムの概要について、図１を参照して説明する。

図１は、本開示の一実施形態による制御システムの概要を説明するための図である。図１に示すように、本実施形態による制御システムは、眼鏡型ディスプレイを有するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１に適用される。

本実施形態によるＨＭＤ１（制御装置）は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図１に示すように両耳殻にかけられることでユーザに装着される。そしてこのＨＭＤ１は、図１に示すような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２ａ、２ｂが配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図１に示すようなスルー状態、即ち透明または半透明の状態とできる。表示部２がスルー状態とされることで、ＨＭＤ１を眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

さらに、表示部２は、透明または半透明の状態のまま、テキストや図等の画像を表示することで、現実空間の風景にＡＲ（拡張現実）情報を重畳することができる。

また、表示部２は、撮像レンズ３ａで撮像された現実空間の撮像画像を表示部２に表示し、当該現実空間の撮像画像にＡＲ（拡張現実）情報を重畳表示してもよい。また、表示部２は、ＨＭＤ１が外部機器（デジタルカメラやビデオカメラ、また、携帯電話端末、スマートフォン、パーソナルコンピュータ等の情報処理装置など）から受信したコンテンツや、ＨＭＤ１の記憶媒体に記憶されるコンテンツを再生表示してもよい。

ここで、表示部２に表示されるコンテンツとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像された静止画コンテンツ、電子書籍等のデータであってもよい。また、かかるコンテンツは、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲームプログラムに基づくゲーム画像など、表示対象となるあらゆるデータが想定される。

また、ユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により形成される。さらに、ユーザが装着した状態において、ユーザが視認する方向を投影方向として画像を投影するように、前方に向けてプロジェクタ部７が配置されている。

また、図１では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。

また右眼用の表示部２ａの右方と、左眼用の表示部２ｂの左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。

なお図１は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。

またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。

また図１は、プロジェクタ部７を含む例としているが、プロジェクタ部７を備えない例も考えられる。さらに、ＨＭＤ１としてマイクロホン６ａ、６ｂやイヤホンスピーカ５ａを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。

ここで、通常のＨＭＤは、ハンズフリーという最大の特徴を有し、キーボードやマウス等に相当する操作入力用のデバイスは設けられておらず、ユーザ操作は、例えばＨＭＤに設けられたボタンやスイッチ、音声入力、ジェスチャー入力等により行われる。

しかしながら、上述したように、音声やジェスチャーによる操作入力は、ユーザが慣れ親しんでいる操作とは異なる操作であって、ユーザにとって操作負担やストレスになることが想定される。また、音声やジェスチャーによる操作入力では、正確な操作入力やテキスト入力が困難であった。さらに、音声やジェスチャーによる操作入力では、マウスやキーボード等を操作する際の操作感が得られなかった。

そこで、上記事情を一着眼点にして本開示の各実施形態による制御システムを創作するに至った。本開示の各実施形態による制御システムは、実体オブジェクトの所定の領域に仮想的に操作機能を関連付けることができる。

このような本実施形態による制御システムが適用されるＨＭＤ１の内部構成例および操作例について、以下順次説明する。

＜２．ＨＭＤの内部構成例＞
図２は、本実施形態によるＨＭＤ１の内部構成例を示すブロック図である。図２に示すように、ＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、プロジェクタ部７、システムコントローラ１０、撮像制御部１１、表示画像処理部１２、表示駆動部１３、表示制御部１４、撮像信号処理部１５、音声信号処理部１６、画像解析部１７、照明制御部１８、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、ストレージ部２５、通信部２６、画像入出力コントロール２７、音声入出力コントロール２８、および音声合成部２９を有する。

（システムコントローラ）
システムコントローラ１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。

また、システムコントローラ１０は、図２に示すように外界の状況を判定する外界状況判定部１０ａと、外界状況判定部１０ａの判定結果に従って各部に制御指示を行う動作制御部１０ｂとして機能する。

・外界状況判定部
外界状況判定部１０ａは、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、および通信部２６により、外界の情報を取得する。外界状況判定部１０ａは、取得した外界の情報（例えば光強度、時間帯等）に応じて、プロジェクタ部７、撮像部３、または表示部２の照度・輝度・感度を調整するよう制御してもよい。また、本実施形態による外界状況判定部１０ａは、外界の情報に基づいて、ユーザにより操作可能な位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部として機能する。

具体的には、例えば外界状況判定部１０ａ（検出部）は、撮像部３によりユーザの周囲を撮像した撮像画像（画像解析部１７が撮像画像を解析した解析結果でもよい）に基づいて、撮像部３から所定距離内の実体オブジェクトを抽出する。所定距離内とは、ユーザにより直接的または間接的に操作可能（接触操作、近接操作を含む）と推定される距離内であって、例えばユーザの手が届く距離、またはユーザが把持する操作体（ペンや指し棒）が届く距離である。実体オブジェクトとは、ユーザが触れることのできる実空間に存在する対象物である。例えば、外界状況判定部１０ａ（検出部）は、ユーザの近くにある机や、机に置かれたノートＰＣ、または音楽再生装置等を、実体オブジェクトとして抽出する。そして、外界状況判定部１０ａ（検出部）は、抽出した実体オブジェクトの少なくとも一部の平坦領域を、操作領域として検出する。例えば、閉じられた状態で机に置かれたノートＰＣが実体オブジェクトとして抽出された場合、外界状況判定部１０ａ（検出部）は、ノートＰＣの天板部分を操作領域として検出してもよい。

・動作制御部１０ｂ
動作制御部１０ｂは、取得した外界の情報や、外界状況判定部１０ａによる判定結果に応じて、撮像動作や表示動作に関する制御を行う。また、本実施形態による動作制御部１０ｂは、外界状況判定部１０ａ（検出部）により検出された操作領域に、所定の機能を対応付ける（関連付ける）よう設定する機能設定部として機能する。

具体的には、動作制御部１０ｂ（機能設定部）は、操作領域と、マウスパッド機能、キーボード機能、テンキー機能、コンテンツ操作機能等の各種操作機能を関連付ける。若しくは、動作制御部１０ｂ（機能設定部）は、操作領域を検出した実体オブジェクトの機能と類似する操作機能を関連付けてもよい。例えば、実体オブジェクトとして電卓が抽出され、電卓のテンキー部分が操作領域として検出された場合、動作制御部１０ｂ（機能設定部）は、当該操作領域にテンキー機能を関連付ける。

また、動作制御部１０ｂは、関連付けた操作機能に対応する操作部画像（操作画面）を、検出した実体オブジェクトの操作領域に重畳表示／投影するよう制御する制御部として機能する。例えば、机の一部が操作領域として検出され、ここにキーボード機能を関連付けた場合、動作制御部１０ｂ（制御部）は、当該操作領域にキーボード画像を重畳表示／投影するよう表示部２またはプロジェクタ部７を制御する。また、動作制御部１０ｂは、表示／投影する操作部画像の大きさを、操作領域の大きさに合わせて制御することもできる。

さらに、動作制御部１０ｂは、操作領域と操作体の位置関係に基づいて、操作領域に対応付けられた（関連付けられた）機能を実行する制御部として機能する。ここで、操作体とは、ユーザの指部等の身体の一部、またはユーザが把持しているペンまたは指し棒であってもよい。

より具体的には、動作制御部１０ｂ（制御部）は、外界の情報（例えば撮像画像）に基づいて操作領域と操作体の位置関係を認識し、操作体が操作領域と所定時間重なっているか否かを判断する。そして、所定時間重なっている場合、動作制御部１０ｂ（制御部）は、操作領域に関連付けられた操作機能を実行、すなわち、ユーザによる操作入力として受け付ける。

例えば、操作領域にマウスパッド機能が関連付けられた場合、動作制御部１０ｂ（制御部）は、当該操作領域上でのユーザの指部の動きに応じて、表示部２に表示するマウスポインタの表示位置を制御する。また、例えば操作領域にキーボード機能が関連付けられた場合、動作制御部１０ｂ（制御部）は、当該操作領域の各キーの位置とユーザの指部の位置との関係に基づいて、文字入力を実行する。

これにより、ユーザは、ハンズフリーのＨＭＤ１を操作する際に、実空間に存在する実体オブジェクトに触れて操作入力を行うことができる。また、マウス操作やキーボード入力等、ユーザが普段慣れ親しんでいる動きで操作入力を行うことができる。さらに、実体オブジェクトの所定の平坦領域を操作部として活用する際、実体オブジェクトとＨＭＤ１は電気的、物理的に接続する必要はないので、両者間の通信接続や配線が不要である。また、実体オブジェクトからＨＭＤ１に入力データを送信する必要もないので、実体オブジェクトが例えば無線キーボードやマウスであっても、電源を入れる必要はない。また、実体オブジェクトが壊れたキーボードやマウス等であっても、ＨＭＤ１により操作領域と検出され、操作機能が関連付けられれば、操作入力用のデバイスとして利用できるので、究極のリサイクルを実現することができる。

（撮像部）
撮像部３は、撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。撮像レンズ３ａは、図１に示すように、ＨＭＤ１をユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて配置されているので、撮像部３は、表示部２を介してユーザが見ている視界を含む範囲を撮像することができる。

（撮像信号処理部）
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１５は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

（撮像制御部）
撮像制御部は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１５のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。

さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。

（画像入出力コントロール）
上記撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号（撮像による画像データ）は画像入出力コントロール２７に供給される。画像入出力コントロール２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち撮像系（撮像信号処理部１５）、表示系（表示画像処理部１２）、ストレージ部２５、通信部２６の間の画像データの転送を制御する。

例えば画像入出力コントロール２７は、撮像信号処理部１５で処理された撮像信号としての画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。

また画像入出力コントロール２７は、例えばストレージ部２５から再生された画像データを、表示画像処理部１２に供給したり、通信部２６に供給する動作を行う。また画像入出力コントロール２７は例えば通信部２６で受信された画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給する動作を行う。

（表示画像処理部）
表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。

（表示駆動部）
表示駆動部１３は、表示画像処理部１２から供給される画像データを、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。さらに、表示駆動部１３は、表示部２の一部をスルー状態とし、一部にＡＲ情報を表示させてもよい。

（表示制御部）
表示制御部１４は、システムコントローラ１０の制御に応じて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。具体的には、表示制御部１４は、表示画像処理部１２に対して、上述した画像データの輝度レベル調整等を行うよう制御する。また、表示制御部１４は、表示駆動部１３に対して、表示部２のスルー状態、画像表示状態の切り換えを行うように制御する。

（音声入力部）
音声入力部６は、図１に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声入出力コントロール２８に出力する。

（音声入出力コントロール）
音声入出力コントロール２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。具体的には、音声入出力コントロール２８は、音声入力部６、音声信号処理部１６、ストレージ部２５、通信部２６の間の音声信号の転送を制御する。例えば音声入出力コントロール２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。

また音声入出力コントロール２８は例えばストレージ部２５で再生された音声データを、音声信号処理部１６に供給したり、通信部２６に供給する動作を行う。また音声入出力コントロール２８は例えば通信部２６で受信された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給する動作を行う。

（音声信号処理部）
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、あるいは通信部２６からの音声データが、音声入出力コントロール２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。

（音声出力部）
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。ユーザは、音声出力部５により、外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。

（ストレージ部）
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２５は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

ストレージ部２５には、撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データが、画像入出力コントロール２７を介して供給される。また、ストレージ部２５には、音声入力部６で得られた音声データや、通信部２６で受信した音声データが、音声入出力コントロール２８を介して供給される。

ストレージ部２５は、システムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。またストレージ部２５は、システムコントローラ１０の制御に従って、記録媒体から画像データや音声データを再生する。再生した画像データは画像入出力コントロール２７へ出力し、また再生した音声データは音声入出力コントロール２８へ出力する。

（通信部）
通信部２６は外部機器との間でのデータの送受信を行う。通信部２６は、外界情報を取得するための構成の一例である。通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。

外部機器としては、コンピュータ機器、ＰＤＡ、携帯電話端末、スマートフォン、ビデオ機器、オーディオ機器、チューナ機器など、情報処理及び通信機能を備えたあらゆる機器が想定される。またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信対象の外部機器として想定される。さらには、ＩＣチップを内蔵した非接触通信ＩＣカード、ＱＲコード等の二次元バーコード、ホログラムメモリなどを外部機器とし、通信部２６はこれらの外部機器から情報を読み取る構成とすることも考えられる。さらには他のＨＭＤ１も外部機器として想定される。

通信部２６には、撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、ストレージ部２５で再生した画像データが、画像入出力コントロール２７を介して供給される。また、通信部２６には、音声入力部６で得られた音声データや、ストレージ部２５で再生された音声データが、音声入出力コントロール２８を介して供給される。

通信部２６は、システムコントローラ１０の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。また通信部２６は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール２７へ出力し、また受信復調した音声データは音声入出力コントロール２８へ出力する。

（音声合成部）
音声合成部２７は、システムコントローラ１０の制御に応じて音声合成を行い、音声信号を出力する。音声合成部２７から出力された音声信号は、音声入出力コントロール２８を介して音声信号処理部１６に供給されて処理された後、音声出力部５に供給され、ユーザに対して音声出力される。

（照明部、照明制御部）
照明部４は、図１に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。

（周囲環境センサ）
周囲環境センサ１９は、外界情報を取得するための構成の一例である。周囲環境センサ１９としては、具体的には例えば照度センサ、温度センサ、湿度センサ、気圧センサ等が想定され、ＨＭＤ１の周囲環境として、周囲の明るさ、温度、湿度、或いは天候等を検出するための情報を得るセンサとされる。

（撮像対象センサ）
撮像対象センサ２０は、外界情報を取得するための構成の一例である。具体的には、撮像対象センサ２０は、撮像部３での撮像動作の被写体となっている撮像対象に関する情報を検出するセンサである。例えばＨＭＤ１から撮像対象までの距離の情報を検出する測距センサや、焦電センサなどの赤外線センサのように、撮像対象が発する赤外線の特定の波長などの情報やエネルギーを検出するセンサなどが想定される。焦電センサの場合、例えば撮像対象が人や動物などの生体であるか否かの検出が可能となる。さらに、各種ＵＶ（Ｕｌｔｒａ Ｖｉｏｌｅｔ）センサのように、撮像対象が発する紫外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が蛍光物質や蛍光体であるか否かの検出や、日焼け対策に必要な外界の紫外線量の検出が可能となる。

（ＧＰＳ受信部）
ＧＰＳ受信部２１は、外界情報を取得するための構成の一例である。具体的には、ＧＰＳ受信部２１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力する。

（日時計数部）
日時計数部２２は、外界情報を取得するための構成の一例である。日時計数部２２は、いわゆる時計部として、日時（年月日時分秒）を計数し、現在日時情報を出力する。

（画像解析部）
画像解析部１７は、外界情報を取得するための構成の一例である。具体的には、画像解析部１７は、画像データを解析し、画像データに含まれる画像の情報を得る。画像解析部１７には、画像入出力コントロール２７を介して画像データが供給される。画像解析部１７において画像解析の対象となる画像データとは、撮像部３、撮像信号処理部１５により得られた撮像画像としての画像データや、通信部２６で受信された画像データ、あるいはストレージ部２５で記録媒体から再生された画像データである。

以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、外界情報を取得するための構成として周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を示したが、これらは必ずしも全てを備える必要はない。また、周囲の音声を検知・解析する音声解析部など、他のセンサが設けられても良い。

＜３．各実施形態＞
上述したように、本実施形態によるＨＭＤ１は、ユーザにより操作可能な位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出し、検出された操作領域に所定の機能を対応付ける。そして、ＨＭＤ１は、撮像画像等に基づいて、検出した操作領域と操作体の位置関係を認識し、操作領域に対応付けられた機能を実行するよう制御することで、ユーザによる操作入力を受け付ける。これにより、本実施形態によるＨＭＤ１は、電気的、物理的に接続していない、実空間に存在する実体オブジェクトを操作入力用デバイスとして用いることができる。以下、このような本実施形態によるＨＭＤ１の操作例に関し、複数の実施形態を挙げて詳細に説明する。

［３−１．第１の実施形態］
第１の実施形態による制御動作について、図３を参照して説明する。図３は、第１の実施形態による制御動作の処理を示すフローチャートである。

図３に示すように、まず、ステップＳ１０３において、外界状況判定部１０ａ（検出部）は、撮像部３により撮像された撮像画像から、撮像部３から所定距離内の実体オブジェクト（以下、オブジェクトと称す）を抽出する。オブジェクトの抽出には、カメラ（撮像部３）の位置や姿勢と撮像画像に映る特徴点の位置とを同時に推定可能なＳＬＡＭと称される技術を応用して実空間内に存在する物体（オブジェクト）の３次元位置を表現する環境マップを動的に生成する手法を用いてもよい。単一のカメラを用いたＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術の基本的な原理については、特開２０１１−１５９１６３号公報や特開２００８−３０４２６８号公報に説明されている。

また、外界状況判定部１０ａ（検出部）は、予めストレージ部２５に記憶されたオブジェクトのパターン（３次元データ等）を参照し、撮像画像とパターンマッチングを行い、各オブジェクトを抽出してもよい。

また、撮像レンズ３ａが複数ある場合（ステレオカメラである場合）、外界状況判定部１０ａ（検出部）は、ステレオ視に基づいて、オブジェクトを抽出したり、オブジェクトとの距離を把握したりしてもよい。

また、外界状況判定部１０ａ（検出部）は、撮像部３からオブジェクトまでの距離を、撮像画像を解析する他、撮像対象センサ２０により取得された情報に基づいて把握してもよい。

また、外界状況判定部１０ａは、撮像部３から所定距離内のオブジェクトを複数抽出してもよい。

ここで、図４に第１の実施形態による制御動作を説明するための図を示す。図４に示す例では、表示部２がスルー状態となり、ユーザが実空間の風景を透明の表示部２を介して見ている状態である。なお、動作制御部１０ｂは、表示部２に、撮像部３により撮像された実空間の撮像画像の一部をリアルタイムに表示し、スルー状態の場合とほぼ同様に見えるよう制御してもよい。

また、図４に示す例では、撮像部３の撮像範囲が、表示部２を介して見るユーザの視界の範囲より広い。なお、ユーザの視界の範囲より広い範囲を撮像するために、撮像部３は、撮像レンズに広角レンズを用いてもよいし、複数の撮像レンズを備えてもよい。これにより、撮像部３は、表示部２を介して見えるユーザの視界には入らないユーザの手元にあるオブジェクトも撮像することができる。そして、外界状況判定部１０ａ（検出部）は、撮像部３に撮像された撮像画像に基づいて、例えばユーザの手が届く距離にあるオブジェクト５０Ａ、５０Ｂ、５０Ｃを抽出する。

次いで、ステップＳ１０６において、外界状況判定部１０ａ（検出部）は、抽出したオブジェクトのうち、最も平坦領域の面積が大きなオブジェクトの少なくとも一部を操作領域として検出する。操作領域は、ユーザの操作スペースとして活用される。なお、外界状況判定部１０ａ（検出部）は、抽出した各オブジェクトまでの距離を用いて各オブジェクトの平坦領域の面積正規化した上で比較し、最大の平坦領域面積を有するオブジェクトを判断する。

例えば図４に示す例では、抽出されたオブジェクト５０Ａ（折り畳まれた状態のノートＰＣ）、５０Ｂ（卓上扇風機）、５０Ｃ（コップ）のうち、オブジェクト５０Ａが、最大の平坦領域（天板部分）を有している。この場合、外界状況判定部１０ａ（検出部）は、オブジェクト５０Ａの天板部分を操作領域３３として検出する。

次に、ステップＳ１０９において、動作制御部１０ｂは、外界状況判定部１０ａにより検出された操作領域に、所定の操作機能、例えばマウスパッド機能を関連付ける。より具体的には、動作制御部１０ｂは、四角形状のマウスパッドを想定し、図４に示す操作領域３３に、四角形状のマウスパッドの座標を設定する。

また、動作制御部１０ｂは、マウスパッド機能を関連付けた場合、マウスポインタ３１を表示部２に表示する。図４に示す例では、表示部２の大部分がスルー状態であって、表示部２の一部にマウスポインタ３１が表示されている。かかるマウスポインタ３１は、図４に示すように、現実空間に存在するオブジェクト（例えばオブジェクト５０Ｄ）を選択する際に用いられる。動作制御部１０ｂは、マウスポインタ３１で選択されたオブジェクトに関する情報を、ＡＲ情報５２として表示部２に重畳表示する。

次いで、ステップＳ１１２において、動作制御部１０ｂは、撮像画像に基づいて、ユーザの指部をその画像特徴量（指部の画像特徴量）等から認識し、指部と操作領域が所定時間（例えば略０．５秒等）重なっているか否かを判断する。

次に、指部と操作領域が所定時間重なっていると判断された場合（Ｓ１１２／ＹＥＳ）、ステップＳ１１５において、動作制御部１０ｂは、指部の位置に対応する、操作領域に設定した座標位置に基づいて、マウスポインタ３１の表示位置を制御する。

このように、ユーザは、マウスパッドの機能が関連付けられたオブジェクト５０Ａの操作領域３３で指部４０を動かすことで、マウスポインタ３１の表示位置を制御することができる。この際、ユーザは、指部４０で操作領域３３を触りながらマウスポインタ３１の表示位置を制御することができるので、空中で指部を動かす操作よりも、より通常のマウス操作に似た感覚で操作することができる。また、図４に示すように、操作領域３３はユーザの視界（表示部２）から外れているので、ユーザは表示部２を見ながらマウスポインタ３１の表示位置をブラインド操作できる。

そして、ステップＳ１１８において、動作制御部１０ｂは、機能関連付けが解除された否かを判断し、解除された場合（Ｓ１１８／ＹＥＳ）、本動作処理を終了する。例えば、動作制御部１０ｂは、関連付けた操作機能を利用するアプリケーションが終了した場合に解除されたと判断してもよい。また、動作制御部１０ｂは、ユーザが移動した場合に解除されたと判断してもよい。この場合、動作制御部１０ｂは、ユーザが他の場所に移動した後、再度Ｓ１０３〜Ｓ１０９に示す処理を行い、新たに検出した操作領域に操作機能を関連付けてもよい。なお、ユーザの移動は、ＨＭＤ１に設けられたＧＰＳ受信部２１により取得された現在位置情報や、加速度センサ（不図示）により取得された値に基づいて判断され得る。

［３−２．第２の実施形態］
上述した第１の実施形態では、操作領域３３がユーザの視界（表示部２）から外れているが、本開示の範囲は、操作領域３３がユーザの視界（表示部２）に含まれている場合も当然に含む。以下、操作領域３３がユーザの視界（表示部２）に含まれる第２の実施形態について、図５〜図６を参照して具体的に説明する。

図５は、第２の実施形態による制御動作の処理を示すフローチャートである。図５に示すステップＳ１０３、Ｓ１０６において、外界状況判定部１０ａ（検出部）は、図３を参照して説明した同ステップと同様の処理を行う。

ここで、図６に第２の実施形態による制御動作を説明するための図を示す。図６に示す例では、透明の表示部２を介して見えるユーザの視界の範囲内にあるオブジェクト５０Ａが、最も平坦領域の面積が大きなオブジェクトとして判断され、オブジェクト５０Ａの一部（天板部分）が操作領域３３として検出されている。また、図６に示す例では、撮像部３は、表示部２を介して見えるユーザの視界を含む範囲を撮像し、撮像画像として出力する。

次に、ステップＳ１１０において、動作制御部１０ｂは、外界状況判定部１０ａにより検出された操作領域に、所定の操作機能、例えば図３のＳ１０９で説明した場合と同様にステップマウスパッド機能を関連付けてもよい。動作制御部１０ｂは、例えば四角形状のマウスパッドを想定し、図６に示す操作領域３３に、四角形状のマウスパッドの座標を設定する。また、動作制御部１０ｂは、マウスパッド機能を関連付けた場合、マウスポインタ３１を表示部２に表示する。図６に示す例では、表示部２の大部分がスルー状態であって、表示部２の一部にマウスポインタ３１が表示されている。かかるマウスポインタ３１は、第１の実施形態と同様に、現実空間に存在するオブジェクト（例えばオブジェクト５０Ｄ）を選択する際に用いられる。動作制御部１０ｂは、マウスポインタ３１で選択されたオブジェクトに関する情報を、ＡＲ情報５２として表示部２に重畳表示する。

さらに、動作制御部１０ｂは、操作領域に関連付けた操作機能に対応する操作部画像（操作画面）を、表示部２において操作領域に重畳表示するよう表示制御部１４を制御する。具体的には、例えば動作制御部１０ｂは、図６に示すように、四角形状のマウスパッドの画像が操作領域３３に重畳表示されるよう制御する。これにより、ユーザは、操作領域３３を視認することができる。

続くステップＳ１１２〜Ｓ１１８では、図３を参照して説明した同ステップと同様の処理が行われるので、ここでの説明は省略する。

以上説明したように、第２の実施形態では、操作領域３３がユーザの視界（表示部２）に含まれ、関連付けられた操作機能に対応する操作部画像が、操作領域３３に重畳表示されるよう表示部２に表示される。これにより、ユーザは、操作領域３３を視認しながら、操作を行うことができる。また、操作機能に対応する操作部画像（マウスパッド画像、キーボード画像、テンキー画像等）が表示されるので、ユーザは、どのような操作機能が関連付けられたかを直感的に把握することができる。

［３−３．第３の実施形態］
上述した第２の実施形態では、操作領域３３に重畳表示する操作部画像を、表示部２に表示しているが、本開示の範囲は、操作部画像を操作領域３３に投影する場合も含む。以下、操作部画像を操作領域３３に投影する第３の実施形態について、図７を参照して具体的に説明する。

図７は、第３の実施形態による制御動作の処理を示すフローチャートである。図７に示すステップＳ１０３、Ｓ１０６において、外界状況判定部１０ａ（検出部）は、図３を参照して説明した同ステップと同様の処理を行う。

次に、ステップＳ１１１において、動作制御部１０ｂは、外界状況判定部１０ａにより検出された操作領域に、所定の操作機能、例えば図５のステップＳ１１０で説明した場合と同様にマウスパッド機能を関連付けてもよい。

さらに、動作制御部１０ｂは、操作領域に関連付けた操作機能に対応する操作部画像（操作画面）を、操作領域に投影するようプロジェクタ部７を制御する。具体的には、例えば動作制御部１０ｂは、四角形状のマウスパッドの画像が操作領域３３に投影されるようプロジェクタ部７を制御する。これにより、ユーザは、操作領域３３を視認することができる。

続くステップＳ１１２〜Ｓ１１８では、図３を参照して説明した同ステップと同様の処理が行われるので、ここでの説明は省略する。

以上説明したように、第３の実施形態では、操作部画像を操作領域３３に投影することで、ユーザは、操作領域３３を直感的に把握することができる。

［３−４．第４の実施形態］
上述した各実施形態では、抽出したオブジェクトのうち、平坦領域が最大のオブジェクトから操作領域を検出していたが、本開示の範囲は、操作用の物理的なスイッチ、ボタン等の操作子（操作部）を有するオブジェクトから優先的に操作領域を検出する場合も含む。以下、操作用の物理的な操作子を有するオブジェクトから操作領域を検出する第４の実施形態について、図８〜図９を参照して具体的に説明する。

図８は、第４の実施形態による制御動作の処理を示すフローチャートである。まず、図８に示すステップＳ１０３において、外界状況判定部１０ａ（検出部）は、上述した同ステップと同様に、実体オブジェクトの抽出を行う。

次いで、ステップＳ１０７において、外界状況判定部１０ａ（検出部）は、抽出したオブジェクトのうち、平坦領域が所定以上の大きさであるオブジェクトの一部を、操作領域候補として検出する。例えば、図９に示す例では、撮像画像に基づいて抽出された各オブジェクトのうち、オブジェクト５０Ａ（ノートＰＣ）、５０Ｅ（机）、５０Ｆ（電卓）が、平坦領域が所定以上の大きさであるオブジェクトと判断される。また、各オブジェクトの平坦領域の一部が操作領域候補３５Ａ（天板部分）、３５Ｅ（机の一部）、３５Ｆ（テンキー部分）として検出される。なお、図９上に示す例では、説明のために操作領域候補３５Ａ、３５Ｅ、３５Ｆを示す破線を図示しているが、表示部２にはこのような破線は表示されず、ユーザは透明の表示部２を介して実空間の風景のみが見える。

次に、ステップＳ１２０において、動作制御部１０ｂは、操作領域候補の画像特徴量と、予めストレージ部２５に記憶された操作感を有するデバイスの画像特徴量とを比較し、最もマッチ度が高い操作領域を選定する。例えば、ストレージ部２５に操作感を有するデバイスの画像特徴量として、キーボード、マウス、テンキー等の画像特徴量が記憶されている場合、動作制御部１０ｂは、図９上に示す電卓（オブジェクト５０Ｆ）の操作領域候補３５Ｆを操作領域３３Ｆとして選定することができる。

次いで、ステップＳ１２３において、動作制御部１０ｂは、選定した操作領域（例えば図９下に示す操作領域３３Ｆ）内の各ボタン（若しくはスイッチ、キー等の物理的な操作子）に、所定の操作機能、例えばテンキー機能を関連付ける。ここで、関連付ける操作機能は、操作領域３３Ｆ内の各ボタン（操作子）に応じた機能（文字キーであれば、対応する文字データの入力機能、数字キーであれば、対応する数字データの入力機能等）である。動作制御部１０ｂは、選定した操作領域内の各ボタン（操作子）の画像解析結果に基づいて、各ボタンに応じた機能を判断することができる。

続いて、ステップＳ１２６において、動作制御部１０ｂは、ユーザの視界の範囲を含む撮像画像に基づいて、ユーザの指部４０をその画像特徴量等から認識し、指部４０と操作領域３３Ｆ内のボタンが所定時間（例えば略０．５秒等）重なっているか否かを判断する。

次に、指部４０と操作領域３３Ｆ内のボタンが所定時間重なっていると判断された場合（Ｓ１２６／ＹＥＳ）、ステップＳ１２９において、動作制御部１０ｂは、指部４０の位置に対応する、操作領域３３Ｆ内のボタンに関連付けられたキー機能を実行する。すなわち、指部４０が重なっているボタンに関連付けられたテンキーに対応するデータを入力値として受け付ける。また、この際、動作制御部１０ｂは、入力値として受け付けたデータを、表示部２に表示するよう、表示制御部１４を制御してもよい。例えば、動作制御部１０ｂは、図９下に示すように、入力値として受け付けたデータを示す画像３７を表示部２の一部に表示する。なお、図９下に示す例では、説明のために操作領域３３Ｆを示す点線を図示しているが、表示部２にはこのような点線は表示されず、ユーザは透明の表示部２を介して実空間の風景と、上記画像３７のみが見える。

これにより、ユーザは、ハンズフリーのＨＭＤ１を装着している場合でも、実空間に存在する電卓やキーボード、マウス、携帯電話端末等を実際に触って操作感を得ながら、データ入力（操作）を行うことができる。また、操作に用いるオブジェクト（操作入力デバイス）は、ＨＭＤ１と電気的または物理的に接続している必要はないので、両者間の通信接続や配線が不要である。また、操作入力デバイス（例えば図９に示す電卓（オブジェクト５０Ｆ））は電源を入れる必要がなく、電池残量がなかったり、表示機能や入力機能が壊れていたりしてもよいので、究極のリサイクルを実現することができる。

そして、ステップＳ１１８において、動作制御部１０ｂは、機能関連付けが解除された否かを判断し、解除された場合（Ｓ１１８／ＹＥＳ）、本動作処理を終了する。

［３−５．第５の実施形態］
上述した第４の実施形態では、操作領域３３の選定を自動的に行っているが（Ｓ１２０参照）、本開示の範囲は、操作領域３３の選定をユーザが行う場合も含む。以下、操作領域３３の選定をユーザが行う第５の実施形態について、図１０〜図１１を参照して具体的に説明する。

図１０は、第５の実施形態による制御動作の処理を示すフローチャートである。図１０に示すステップＳ１０３、Ｓ１０７において、外界状況判定部１０ａ（検出部）は、図８を参照して説明した同ステップと同様の処理を行う。

次に、ステップＳ１３５において、動作制御部１０ｂは、Ｓ１０７で検出された操作領域候補を、表示部２にＡＲ表示するよう、表示制御部１４を制御する。具体的には、例えば図１１上に示すように、動作制御部１０ｂは、透明の表示部２から見えるオブジェクト５０Ａ（ノートＰＣ）、５０Ｅ（机）、５０Ｆ（電卓）の各操作領域候補３５Ａ、３５Ｅ、３５Ｆに重なって見えるようＡＲ画像を表示部２に表示する。ここで、表示部２に表示されるＡＲ画像は、操作領域候補３５に重畳する色画像または点滅画像、若しくは、操作領域候補３５を囲むように重なる枠画像であってもよい。これにより、ＨＭＤ１は、検出した操作領域候補をユーザに提示することができる。

次いで、ステップＳ１３８において、動作制御部１０ｂは、ユーザの視界の範囲を含む撮像画像に基づいて、ユーザの指部４０をその画像特徴量等から認識し、指部４０と操作領域候補３５が所定時間（例えば略０．５秒等）重なっているか否かを判断する。

次に、指部４０と操作領域候補３５が所定時間重なっていると判断された場合（Ｓ１３８／ＹＥＳ）、ステップＳ１４１において、動作制御部１０ｂは、指部４０の位置に対応する操作領域候補３５を操作領域３３として選定する。例えば、図１１中央に示す例では、ユーザの指部４０が、操作領域候補３５Ｅと所定時間重なっている場合、動作制御部１０ｂは、操作領域候補３５Ｅを操作領域３３Ｅとして選定することができる。このように、本実施形態では、複数の操作領域候補３５のうち、ユーザが任意で指を指したり叩いたりすることで、操作領域を選定することができる。

さらに、動作制御部１０ｂは、ユーザの指示に応じて選定した操作領域に、表示部２において、ＡＲ情報として操作部画像（操作画面）が重畳表示されるよう表示制御部１４を制御してもよい。具体的には、例えば動作制御部１０ｂは、図１１下に示すように、ユーザが透明の表示部２から実空間の風景を見た場合に、キーボード画像３８が操作領域３３Ｅに重なって見えるよう表示部２の一部に表示する。なお、図１１下に示す例では、説明のために操作領域３３Ｅを示す点線を図示しているが、表示部２にはこのような点線は表示されず、ユーザは透明の表示部２を介して実空間の風景と、上記キーボード画像３８のみが見える。

次いで、ステップＳ１４４において、動作制御部１０ｂは、ＡＲ情報として重畳表示した操作部画像内の各領域と、所定の操作機能を関連付ける。本実施形態では、動作制御部１０ｂは、キーボード画像３８内の各領域と、キーボードの各キーの機能とを関連付ける。

続いて、ステップＳ１４７において、動作制御部１０ｂは、ユーザの視界の範囲を含む撮像画像に基づいて、ユーザの指部４０をその画像特徴量等から認識し、指部４０とキーボード画像３８の領域が所定時間（例えば略０．５秒等）重なっているか否かを判断する。

次に、指部４０とキーボード画像３８が所定時間重なっていると判断された場合（Ｓ１４７／ＹＥＳ）、ステップＳ１５０において、動作制御部１０ｂは、指部４０が重なっているキーボード画像３８の領域に関連付けられたキー機能を実行する。すなわち、指部４０が重なっているキーボード画像３８の領域（キーの画像）に関連付けられたキーに対応するデータを入力値として受け付ける。また、この際、動作制御部１０ｂは、入力値として受け付けたデータを、表示部２に表示するよう、表示制御部１４を制御してもよい。例えば、動作制御部１０ｂは、図１１に示すように、入力値として受け付けたデータを示す画像３９を表示部２の一部に表示する。

これにより、ユーザは、複数の操作領域候補から操作領域を選定し、選定した操作領域を実際に触りながら、データ入力（操作）を行うことができる。なお、本実施形態では、表示部２に操作領域候補を示す表示や操作部画像をＡＲ表示しているが、本実施形態は表示部２でのＡＲ表示に限定されず、第３の実施形態と同様に、プロジェクタ部７により、操作領域候補を示す表示や操作部画像を実空間に投影してもよい。

そして、ステップＳ１１８において、動作制御部１０ｂは、機能関連付けが解除された否かを判断し、解除された場合（Ｓ１１８／ＹＥＳ）、本動作処理を終了する。

［３−６．第６の実施形態］
上述した第４の実施形態では、選定した操作領域の画像解析結果に基づいて、各ボタンに応じた機能を関連付け、実行していた。具体的には、数字キーの領域には数字キーの機能を関連付け、数字データを入力値として受け付けていた。しかしながら、本開示による機能の関連付けは、第４の実施形態に限定されず、本開示の範囲には、操作領域が選定されたオブジェクト（操作入力用のデバイス）の種類に応じて、ＨＭＤ１が有する類似機能を関連付ける場合も含まれる。以下、オブジェクトの種類に応じてＨＭＤ１が有する類似機能を関連付ける第６の実施形態について、図１２〜図１３を参照して具体的に説明する。

図１２は、第６の実施形態による制御動作の処理を示すフローチャートである。図１２に示すステップＳ１０３、Ｓ１０７において、外界状況判定部１０ａ（検出部）は、図８を参照して説明した同ステップと同様の処理を行う。具体的には、外界状況判定部１０ａ（検出部）は、透明の表示部２を介して見えるユーザの視界を含む範囲を撮像部３により撮像した撮像画像に基づいて、図１３に示すように、オブジェクト５０Ａ、５０Ｅ、５０Ｇを抽出する（Ｓ１０３）。さらに、外界状況判定部１０ａ（検出部）は、各オブジェクト５０Ａ（ノートＰＣ）、５０Ｅ（机）、５０Ｇ（音楽プレーヤ）から各々操作領域候補３５Ａ、３５Ｅ、３５Ｇを検出する（Ｓ１０７）。

なお、図１３上に示す例では、説明のために操作領域候補３５Ａ、３５Ｅ、３５Ｇを示す破線を図示しているが、表示部２にはこのような破線は表示されず、ユーザは透明の表示部２を介して実空間の風景のみが見える。

次に、ステップＳ１５３において、動作制御部１０ｂは、操作領域候補の画像特徴量と、予めストレージ部２５に記憶されたＨＭＤ１が有する機能に対応するデバイスの画像特徴量とを比較し、最もマッチ度が高いオブジェクトの操作領域を選定する。例えば、ストレージ部２５にＨＭＤ１が有する機能に対応するデバイスの画像特徴量として、音楽プレーヤ、ＴＶのリモートコントローラ、携帯電話端末、電話機等の画像特徴量が記憶されている場合を想定する。この場合、動作制御部１０ｂは、図１３に示す各オブジェクト５０Ａ、５０Ｅ、５０Ｇのうち、音楽プレーヤのマッチ度が高いオブジェクト５０Ｇの操作領域候補３５Ｇを、操作領域３３Ｇとして選定する。

次いで、ステップＳ１５６において、動作制御部１０ｂは、選定した操作領域内の各ボタン（物理的な操作子）に、当該操作領域を検出したオブジェクトの機能と類似するＨＭＤ１の機能を関連付ける。例えば、図１３下に示す例では、操作領域３３Ｇが検出されたオブジェクト５０Ｇは、音楽プレーヤであるので、動作制御部１０ｂは、操作領域３３Ｇ内の各ボタンに、ＨＭＤ１が有する音楽再生機能を関連付ける。

続いて、ステップＳ１５９において、動作制御部１０ｂは、ユーザの視界の範囲を含む撮像画像に基づいて、ユーザの指部４０をその画像特徴量等から認識し、指部４０と操作領域３３Ｇ内のボタンが所定時間（例えば略０．５秒等）重なっているか否かを判断する。

次に、指部４０と操作領域３３Ｇ内のボタンが所定時間重なっていると判断された場合（Ｓ１５９／ＹＥＳ）、ステップＳ１６２において、動作制御部１０ｂは、指部４０の位置に対応する、操作領域３３Ｇ内のボタンに関連付けられたキー機能を実行する。すなわち、指部４０が重なっているボタンに関連付けられた操作領域３３Ｇ内の再生ボタンに対応する再生指示を操作入力として受け付けて、動作制御部１０ｂは、音声出力部５から音楽再生を行うよう音声入出力コントロール２８を制御する。

また、この際、動作制御部１０ｂは、受け付けた操作入力のフィードバックを表示部２に表示するよう表示制御部１４を制御してもよい。例えば、動作制御部１０ｂは、図１３下に示すように、再生ボタンの操作に応じて再生している音楽の名称や再生時間を示す画像４４を透明の表示部２の一部に表示してもよい。なお、図１３下に示す例では、説明のために操作領域３３Ｇを示す点線を図示しているが、表示部２にはこのような点線は表示されず、ユーザは透明の表示部２を介して実空間の風景と、上記画像４４のみが見える。

そして、ステップＳ１１８において、動作制御部１０ｂは、機能関連付けが解除された否かを判断し、解除された場合（Ｓ１１８／ＹＥＳ）、本動作処理を終了する。

以上、第６の実施形態について説明した。これによれば、例えば操作領域内のボタンが数字キーの場合に、当該数字キーがＴＶ（テレビジョン）のリモートコントローラに設けられている場合は、ＨＭＤ１の表示部２で再生するＴＶ番組のチャンネル操作機能が関連付けられる。一方、当該数字キーが、携帯電話端末に設けられている場合は、ＨＭＤ１の電話番号入力機能が関連付けられる。

＜３．まとめ＞
上述したように、本実施形態による制御システムでは、実体オブジェクトの所定の領域に仮想的に操作機能を関連付けることが可能となる。例えば、ハンズフリーを特徴とするＨＭＤ１において、実空間に存在する実体オブジェクトを操作入力用デバイスとして用いることができる。これにより、ユーザは、ＨＭＤ１の操作を、実空間に存在する実体オブジェクトに触れて行うことができる。この場合、ユーザは、普段慣れ親しんでいるマウス操作やキーボード入力等と似た感覚で操作入力を行うことができる。

また、操作入力用デバイスとして用いるオブジェクトとＨＭＤ１は電気的、物理的に接続する必要がないので、両者間の通信接続や配線が不要である。また、実体オブジェクトからＨＭＤ１に入力データを送信する必要もないので、実体オブジェクトが例えば無線キーボードやマウスであっても、電源を入れる必要はない。さらに、実体オブジェクトが壊れたキーボードやマウス等であっても、ＨＭＤ１により操作領域と検出され、操作機能が関連付けられれば操作入力用のデバイスとして利用できるので、究極のリサイクルを実現することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した各実施形態では、透明の表示部２から実空間の風景に重なるよう表示部２の一部にＡＲ情報を表示する旨について、図４や図６等を参照して説明した。また、ユーザの視線方向を被写体方向として撮像した撮像画像を表示し、さらにＡＲ情報を重畳表示することで、図４や図６等に示す場合と同様に見える旨を述べた。しかし本実施形態はこれに限定されず、表示部２にコンテンツ（写真、映像等）が再生され、表示部２の大部分が不透明状態となっている場合でも、実体オブジェクトから操作領域を検出して操作機能が関連付けてもよい。この場合、ユーザは、実体オブジェクトを触ってブラインド操作を行うことができる。

また、操作領域が検出される実体オブジェクトは、机やノードＰＣの天板等の平坦な領域を有する物体や、キーボードや電卓等の物理的な操作子が設けられた物体の他、キーボードやテンキー等の操作子の絵が示された紙媒体であってもよい。また、操作領域が検出される実体オブジェクトは、手のひら等、身体の一部であってもよい。

また、第５の実施形態では、複数の操作領域候補からユーザが任意で操作領域を選択しているが、本開示の範囲はこれに限定されない。例えば、本実施形態による外界状況判定部１０ａ（検出部）は、ユーザが指示（指で指す、叩く、手で触れる等）したオブジェクトを、ユーザにより操作可能と推定される位置に存在する（所定距離内の）オブジェクトとして抽出し、その一部を操作領域として検出してもよい。

より具体的には、図１４上に示すように、実空間にキーボード（実体オブジェクト５０Ｈ）、および携帯電話端末（実体オブジェクト５０Ｉ）が存在する場合に、ユーザは、図１４中央に示すように、例えばキーボードを指部４０で触れて（指して）選択してもよい。この際、外界状況判定部１０ａ（検出部）は、撮像部３により撮影された撮影画像に基づいて、指部４０が触れているキーボード（実体オブジェクト５０Ｈ）を、図１４下に示すように、操作領域３３Ｈとして検出する。なお、図１４下に示す例では、説明のために操作領域候３３Ｈを示す点線を図示しているが、表示部２にはこのような点線は表示されず、ユーザは透明の表示部２を介して実空間の風景が見える。

そして、動作制御部１０ｂは、検出した操作領域３３Ｈの各キーに、キーボードの各キー機能を関連付ける。これにより、動作制御部１０ｂは、指部４０と操作領域３３Ｈのキーが所定時間重なっている場合、指部４０が重なっている操作領域３３Ｈのキーに関連付けられたキー機能を実行する。すなわち、指部４０が重なっている操作領域３３Ｈのキーに関連付けられたキーに対応するデータを入力値として受け付ける。また、この際、動作制御部１０ｂは、入力値として受け付けたデータを、表示部２に表示するよう、表示制御部１４を制御してもよい。例えば、動作制御部１０ｂは、図１４下に示すように、入力値として受け付けたデータを示す画像３９を表示部２の一部に表示する。

ここで、図１４に示す例では、キーボード（実体オブジェクト５０Ｈ）が選択された場合について説明したが、当然、図１５に示すように、ユーザは、携帯電話端末（実体オブジェクト５０Ｉ）を選択してもよい。この場合も同様に、外界状況判定部１０ａ（検出部）は、撮像部３により撮影された撮影画像に基づいて、指部４０が触れている携帯電話端末（実体オブジェクト５０Ｉ）を、操作領域３３Ｉとして検出する。

そして、動作制御部１０ｂは、検出した操作領域３３Ｉの各キーに、携帯電話端末の入力機能を関連付ける。これにより、動作制御部１０ｂは、指部４０と操作領域３３Ｉのキーが所定時間重なっている場合、指部４０が重なっている操作領域３３Ｉのキーに関連付けられた入力機能を実行する。すなわち、指部４０が重なっている操作領域３３Ｉのキーに関連付けられた入力機能に対応するデータを入力値として受け付ける。また、この際、動作制御部１０ｂは、入力値として受け付けたデータを、表示部２に表示するよう、表示制御部１４を制御してもよい。例えば、動作制御部１０ｂは、図１５に示すように、入力値として受け付けたデータを示す画像３９を表示部２の一部に表示する。なお、図１５に示す例では、説明のために操作領域候３３Ｉを示す点線を図示しているが、表示部２にはこのような点線は表示されず、ユーザは透明の表示部２に表示される画像３９と、表示部２を介して実空間の風景が見える。

以上図１４および図１５を参照して説明したように、ＨＭＤ１の操作入力用デバイスとして、日常的に使用しているキーボードや携帯電話端末も用いることができる。特にキーボードや携帯電話端末には、ユーザが使い慣れている、あるいは使いやすいキー配列（キーアサイン）があって、電気的に壊れてしまっても使い続けたいというユーザのニーズがある。このような場合にも、本開示によれば、使い慣れているが壊れてしまったキーボードや携帯電話端末もＨＭＤ１の操作入力用デバイスとして利用することができ、ユーザを満足させることができる。

例えば携帯電話端末を買い替えた際に、キャリアや端末メーカによって使い慣れた買い替え前の携帯電話端末のキー配列やキーアサイン等と少し異なるために非常に使いづらく、買い替えた時の障害になっていた。しかしながら、買い替え前の使い慣れた携帯電話端末をＨＭＤ１の操作入力用デバイスとして再利用できれば、利便性が高く、特に携帯電話端末でレポートを作成するユーザにとっては重宝される。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザにより操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部と、
前記検出部により検出された操作領域に所定の機能を対応付けるよう設定する機能設定部と、
前記操作領域と操作体の位置関係に基づいて、前記操作領域に対応付けられた機能を実行する制御部と、
を備える、制御装置。
（２）
前記検出部は、前記ユーザにより直接的または間接的に操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する、前記（１）に記載の制御装置。
（３）
前記操作体は、前記ユーザの指部、または前記ユーザにより把持される物体である、前記（１）または（２）に記載の制御装置。
（４）
前記検出部は、前記ユーザにより操作可能と推定される位置に存在する実体オブジェクトのうち、操作部が設けられた実体オブジェクトの少なくとも一部を、優先的に前記操作領域として検出する、前記（１）〜（３）のいずれか１項に記載の制御装置。
（５）
前記制御部は、前記検出部により検出された前記操作領域に、仮想的な操作画面を重畳表示するよう表示部を制御する、前記（１）〜（４）のいずれか１項に記載の制御装置。
（６）
前記制御装置は、ヘッドマウンドディスプレイ装置であって、
前記制御部は、前記ヘッドマウンドディスプレイ装置の表示画面に映る実体オブジェクトの前記操作領域に、前記操作画面が重畳表示されるよう制御する、前記（５）に記載の制御装置。
（７）
前記制御装置は、画像投影部をさらに備え、
前記制御部は、前記検出部により検出された前記操作領域に操作画面を投影するよう前記画像投影部を制御する、前記（１）〜（６）のいずれか１項に記載の制御装置。
（８）
前記機能設定部は、前記検出により複数の操作領域が検出された場合、前記ユーザに選択された一の操作領域に、所定の機能を対応付けるよう設定する、前記（１）〜（７）のいずれか１項に記載の制御装置。
（９）
前記機能設定部は、前記操作領域が検出された実体オブジェクトの機能と類似する機能を、当該操作領域の機能として対応付けるよう設定する、前記（１）〜（８）のいずれか１項に記載の制御装置。
（１０）
前記検出部は、前記ユーザに指示された実体オブジェクトの少なくとも一部を操作領域として検出する、前記（１）〜（９）のいずれか１項に記載の制御装置。
（１１）
コンピュータを、
ユーザにより操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部と、
前記検出部により検出された操作領域に所定の機能を対応付けるよう設定する機能設定部と、
前記操作領域と操作体の位置関係に基づいて、前記操作領域に対応付けられた機能を実行する制御部、
として機能させるためのプログラムが記憶された、記憶媒体。

１ ＨＭＤ（ヘッドマウンドディスプレイ）
２ 表示部
３ 撮像部
４ 照明部
５ 音声出力部
６ 音声入力部
７ プロジェクタ部
１０ システムコントローラ
１０ａ 外界状況判定部
１０ｂ 動作制御部
１１ 撮像制御部
１２ 表示画像処理部
１３ 表示駆動部
１４ 表示制御部
１５ 撮像信号処理部
１６ 音声信号処理部
１７ 画像解析部
１８ 照明制御部
１９ 周囲環境センサ
２０ 撮像対象センサ
２１ ＧＰＳ受信部
２２ 日時計数部
２５ ストレージ部
２６ 通信部
２７ 画像入出力コントロール
２８ 音声入出力コントロール
２９ 音声合成部
３１ マウスポインタ
３３、３３Ａ〜３３Ｉ 操作領域
３５、３５Ａ〜３５Ｇ 操作領域候補
３８ キーボード画像
５０Ａ〜５０Ｉ オブジェクト（実体オブジェクト）
４０ 指部

（音声合成部）
音声合成部２９は、システムコントローラ１０の制御に応じて音声合成を行い、音声信号を出力する。音声合成部２９から出力された音声信号は、音声入出力コントロール２８を介して音声信号処理部１６に供給されて処理された後、音声出力部５に供給され、ユーザに対して音声出力される。

また、操作領域が検出される実体オブジェクトは、机やノートＰＣの天板等の平坦な領域を有する物体や、キーボードや電卓等の物理的な操作子が設けられた物体の他、キーボードやテンキー等の操作子の絵が示された紙媒体であってもよい。また、操作領域が検出される実体オブジェクトは、手のひら等、身体の一部であってもよい。

より具体的には、図１４上に示すように、実空間にキーボード（実体オブジェクト５０Ｈ）、および携帯電話端末（実体オブジェクト５０Ｉ）が存在する場合に、ユーザは、図１４中央に示すように、例えばキーボードを指部４０で触れて（指して）選択してもよい。この際、外界状況判定部１０ａ（検出部）は、撮像部３により撮影された撮影画像に基づいて、指部４０が触れているキーボード（実体オブジェクト５０Ｈ）を、図１４下に示すように、操作領域３３Ｈとして検出する。なお、図１４下に示す例では、説明のために操作領域３３Ｈを示す点線を図示しているが、表示部２にはこのような点線は表示されず、ユーザは透明の表示部２を介して実空間の風景が見える。

そして、動作制御部１０ｂは、検出した操作領域３３Ｉの各キーに、携帯電話端末の入力機能を関連付ける。これにより、動作制御部１０ｂは、指部４０と操作領域３３Ｉのキーが所定時間重なっている場合、指部４０が重なっている操作領域３３Ｉのキーに関連付けられた入力機能を実行する。すなわち、指部４０が重なっている操作領域３３Ｉのキーに関連付けられた入力機能に対応するデータを入力値として受け付ける。また、この際、動作制御部１０ｂは、入力値として受け付けたデータを、表示部２に表示するよう、表示制御部１４を制御してもよい。例えば、動作制御部１０ｂは、図１５に示すように、入力値として受け付けたデータを示す画像３９を表示部２の一部に表示する。なお、図１５に示す例では、説明のために操作領域３３Ｉを示す点線を図示しているが、表示部２にはこのような点線は表示されず、ユーザは透明の表示部２に表示される画像３９と、表示部２を介して実空間の風景が見える。

Claims (11)

1. ユーザにより操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部と、
   前記検出部により検出された操作領域に所定の機能を対応付けるよう設定する機能設定部と、
   前記操作領域と操作体の位置関係に基づいて、前記操作領域に対応付けられた機能を実行する制御部と、
   を備える、制御装置。
2. 前記検出部は、前記ユーザにより直接的または間接的に操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する、請求項１に記載の制御装置。
3. 前記操作体は、前記ユーザの指部、または前記ユーザにより把持される物体である、請求項１に記載の制御装置。
4. 前記検出部は、前記ユーザにより操作可能と推定される位置に存在する実体オブジェクトのうち、操作部が設けられた実体オブジェクトの少なくとも一部を、優先的に前記操作領域として検出する、請求項１に記載の制御装置。
5. 前記制御部は、前記検出部により検出された前記操作領域に、仮想的な操作画面を重畳表示するよう表示部を制御する、請求項１に記載の制御装置。
6. 前記制御装置は、ヘッドマウンドディスプレイ装置であって、
   前記制御部は、前記ヘッドマウンドディスプレイ装置の表示画面に映る実体オブジェクトの前記操作領域に、前記操作画面が重畳表示されるよう制御する、請求項５に記載の制御装置。
7. 前記制御装置は、画像投影部をさらに備え、
   前記制御部は、前記検出部により検出された前記操作領域に操作画面を投影するよう前記画像投影部を制御する、請求項１に記載の制御装置。
8. 前記機能設定部は、前記検出により複数の操作領域が検出された場合、前記ユーザに選択された一の操作領域に、所定の機能を対応付けるよう設定する、請求項１に記載の制御装置。
9. 前記機能設定部は、前記操作領域が検出された実体オブジェクトの機能と類似する機能を、当該操作領域の機能として対応付けるよう設定する、請求項１に記載の制御装置。
10. 前記検出部は、前記ユーザに指示された実体オブジェクトの少なくとも一部を操作領域として検出する、請求項１に記載の制御装置。
11. コンピュータを、
    ユーザにより操作可能と推定される位置に存在する実体オブジェクトの少なくとも一部を操作領域として検出する検出部と、
    前記検出部により検出された操作領域に所定の機能を対応付けるよう設定する機能設定部と、
    前記操作領域と操作体の位置関係に基づいて、前記操作領域に対応付けられた機能を実行する制御部、
    として機能させるためのプログラムが記憶された、記憶媒体。

Images