JP6341755B2 - 情報処理装置、方法及びプログラム並びに記録媒体 - Google Patents

Description

本発明は、ユーザの手指の動き（ジェスチャ）により特定の処理を行う情報処理装置、方法及びプログラム、並びに、情報処理プログラムを記録した記録媒体に関する。

テレビジョン受信機、録画再生装置及び遠隔会議システム等の入力操作方法として、ユーザの手指等の動きまたは身体表現を利用するジェスチャ入力操作方式が登場している。ジェスチャ入力操作方式は、ユーザの手指の動き（ジェスチャ）を撮像し、その撮像された映像データから特定箇所（例えば手指の先端部）の動きの軌跡をパターン認識し、その認識されたパターンに対応した値又は操作コマンドを入力するものである。

特許文献１は、ユーザを撮像して得られる画像データ上で、指が終始点入力判定領域外に位置する場合にジェスチャ入力を有効化するジェスチャ認識装置が記載されている。また、指の位置が終始点入力判定領域内にある場合、当該終始点入力判定領域を当初サイズよりも大きなサイズに拡大し、終始点入力判定領域外にある場合、当初サイズに戻すことが記載されている。

特許文献２には、ユーザの手指が実空間の予め設定されるジェスチャ認識領域内に存在するときのみ、ジェスチャによる動作制御を有効化するジェスチャ入力装置が記載されている。

特許文献３には、腕や手などの現実のオブジェクト上にＧＵＩ（Graphical User Interface）を投影し、その投影されたＧＵＩへのタッチを検知することによるHead Mounted Display（ＨＭＤ）タイプの情報処理端末への入力操作方式が記載されている。

特開２０１２−０９８９８７号公報 特開２０１２−１４６２３６号公報 米国特許出願公開第２０１３／００１６０７０号明細書

従来技術では、ユーザが入力操作の意図で行うジェスチャと、入力操作の目的でない手指の動きとを区別することが困難である、という問題が依然として存在する。

特許文献２に開示される技術は、ジェスチャ認識領域を予め設定し、この領域内での手指の動きを「入力操作の意図で行うジェスチャ」と判定し、この領域外での手指の動きを「それ以外の動作」と判定している。この技術では、ジェスチャ認識領域内での手指の動きはすべてジェスチャと認識されることになる。たとえばユーザが文字を入力しようとしたときの、送筆（文字を構成する線を入力する手指の移動）と、終筆（いわゆる「止め」）から起筆（いわゆる「打ち込み」）の間の手指の移動とを区別できない。あるいは、何らかの描画をしているときの、画の入力を行っているいわゆるペン・オンの状態と、入力を行っていないいわゆるペン・オフの状態を区別できない。

本発明は上記課題に鑑みてなされたものであり、ユーザが入力操作の意図で行うジェスチャと、入力操作の目的でない手指の動きとを適切に識別できる情報処理装置、方法及びプログラム並びに記録媒体を提供することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、ジェスチャ操作により手書き文字図形を入力する情報処理装置であって、前記ジェスチャ操作を行う操作体の少なくとも基点を撮像手段により撮像された撮像画像から検出する検出手段と、前記基点が検出された後、前記情報処理装置から前記基点までの距離を測定する距離測定手段と、前記基点が検出された後の特定のタイミングにおいて前記距離測定手段により計測された、前記基点までの距離に基づいて基準距離を定めるように制御する制御手段であって、前記基点が前記基準距離以内または以上である距離条件を満たす場合に、表示部に表示された撮像画像を含む表示用画像信号の、前記撮像画像の前記基点に対応する位置に入力を行うための識別マークを重畳するように制御する制御手段と、前記基準距離が定められた後、前記基準距離の位置に合焦するように撮像手段のフォーカスを制御し、さらに被写界深度が浅くなるように前記撮像手段の絞りを制御する撮像制御手段とを有することを特徴とする。

本発明によれば、ユーザが入力操作の意図で行うジェスチャと、入力操作の目的でない手指の動きとを適切に区別することのできる情報処理装置を提供できる。

本発明の一実施例の概略構成ブロック図である。 本実施例のジェスチャ操作直前の様子を示す説明例である。 本実施例で基準距離Ｄ設定の操作説明例である。 本実施例で手書き文字入力直前の説明例である。 本実施例で手書き文字入力中の説明例である。 本実施例で手書き文字入力終了の説明例である。 本実施例の動作フローチャートである。 本実施例の動作フローチャートである。 本発明の実施例２の正面側から見た外観図を示す。 実施例２を背面側から見た外観図を示す。 実施例２をユーザの頭部に装着した状態の側面図を示す。 実施例２の概略構成ブロック図を示す。 実施例２のジェスチャ操作直前の様子を示す説明例である。 実施例２でユーザの手指を撮像している状態の説明図である。 実施例２で手書き文字入力直前の説明例である。 実施例２で手書き文字入力中の説明例である。 実施例２で手書き文字入力終了の説明例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１に、本発明に係る情報処理装置の一実施例の概略構成ブロック図を示す。本実施例は、ジェスチャ操作の基点（例えば、手指先端）までの距離が基準距離以上か以内かに関する距離基準に従い手書き情報（例えば、文字図形）の入力を制御する。

図１に示す情報処理装置１００は、例えば、パーソナルコンピュータ（以下、ＰＣと略す。）により実現されうる。内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、距離測定部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、通信Ｉ／Ｆ１１０、撮像部１１２が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性メモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、情報処理装置１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、及びＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は、例えばハードディスク（ＨＤＤ）又はフラッシュメモリなどで構成される。

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像データや、撮像部１１２や外部Ｉ／Ｆ１０９より取得した映像信号、通信Ｉ／Ｆ１１０をより取得した画像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理及び色変換処理などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って対応する画像処理を施すことも可能である。

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための表示用画像信号を生成してディスプレイ１０５に出力するように情報処理装置１００の各部を制御する。ディスプレイ１０５は、入力される表示用画像信号に基づく画像を表示する。なお、情報処理装置１００自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５は外付けのモニタ（テレビジョン受信機など）で構成してもよい。または、テレビジョン受信信号等の外部映像信号を外部Ｉ／Ｆ１０９より取得し、外部映像信号等より表示用画像信号を生成してディスプレイ１０５に供給する構成としてもよい。

距離測定部１０６は、情報処理装置１００と物体との距離を測定する。物体とは、たとえばユーザの手指である。なお、他にも指示用のペンなどでもよい。情報処理装置１００と物体との距離を測定するには、超音波や音波の反射を利用する方法、及び静電容量の変化を利用する方法など、一般的に知られている方法を用いることができる。撮像部１１２がいわゆるオートフォーカス機能を具えるときは、物体に合焦する距離を探索するのと共通のプロセスにより情報処理装置１００と物体との距離を測定できる。たとえば、特開２００９−２１０６９４号公報には、ＴＶ−ＡＦ方式、外測測距ＡＦ方式及び内測位相差ＡＦ方式等、一般的に実用される種々の測距技術が開示されている。

撮像部１１２は、ユーザ等の被写体を撮像するものであり、フォーカス機能、ズーム機能及び絞り機能を含む撮影レンズ並びに光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。撮像部１１２はさらにパンチルト機能を具え、撮像方向を変更できる構成としてもよい。

記録媒体Ｉ／Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０８が装着可能である。記録媒体Ｉ／Ｆ１０７は、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出し、記録媒体１０８にデータを書き込む。

外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

本実施例の各部の作用を説明する前に、図２Ａ〜図２Ｅを参照して、本実施例の使用方法を説明する。図２Ａ〜図２Ｅは、本実施例の使用状態の遷移例を示す。

図２Ａは、ユーザ２００が所定の操作（たとえば、手指を所定のポーズにする操作）をした状態を示す。撮像部１１２はユーザ２００を撮像し、図２Ｂに示すように、ディスプレイ１０５に撮像部１１２の撮像画像が表示される。この撮像画像はユーザ２００の手指の画像を含む。ディスプレイ１０５には、他に、文字入力領域２０２、決定ボタン２０３及びキャンセルボタン２０４が表示される。

ユーザが手指を情報処理装置１００から基準距離Ｄより近い距離まで近づけると、ＣＰＵ１０１は、図２Ｃに示すように、ディスプレイ１０５の画面上で手指先端に対応する位置に識別マーク２０１を表示する。ユーザは、この識別マーク２０１が表示されることにより、基準距離Ｄ未満の距離まで手指を近づけていることを知ることができる。

ユーザが手指を情報処理装置１００から基準距離Ｄ未満の距離まで近づけたまま、手指先端を移動させると、ＣＰＵ１０１は、図２Ｄに示すように、手指先端の移動軌跡をディスプレイ１０５の画面上に表示する。ユーザは、軌跡の表示を途切れさせたいときは、手指先端を基準距離Ｄより情報処理装置１００から遠ざける。そうすると、図２Ｅに示すようにＣＰＵ１０１は、ディスプレイ１０５の画面上で手指先端に対応する位置の識別マーク２０１を消す。識別マーク２０１が消えることで、ユーザは、手指先端を基準距離以上に情報処理装置１００から遠ざけていることを知ることができる。

図３Ａ及び図３Ｂは全体として、情報処理装置１００のジェスチャ認識処理のフローチャートを示す。この処理を実現するプログラムが不揮発性メモリ１０３に記録されている。ＣＰＵ１０１は、不揮発性メモリ１０３からこのプログラムをメモリ１０２に読み込み、実行することで、この処理を実現する。

情報処理装置１００がユーザの電源投入等により起動されると、Ｓ３０１では、ＣＰＵ１０１は、撮像部１１２での撮像を開始する。そして、ＣＰＵ１０１は、撮像部１１２による撮像画像を解析し、手指の検出を行う。Ｓ３０２では、ＣＰＵ１０１は、撮像部１１２で撮像された画像から手指が検出できたか否かを判定する。手指検出は、たとえば、撮像画像に含まれる画像特徴と、予め学習された、エッジ成分、色彩成分のパターン、爪の有無及び関節の曲がり方向などの画像特徴とを確率統計的に組み合わせることで行うことができる。もちろん、他の方法でもよい。

ジェスチャを検出又は認識するための基点又は対象物として手指先端を採用しているが、その他の身体部位であってもよい。更には、設定により、ジェスチャの検出対象として、棒（の先端）、筆記具又はポインティング・デバイスなど手指以外のものでもよい。以下では、ジェスチャの検出対象を手指先端とする。

Ｓ３０３では、ＣＰＵ１０１は、ユーザによる所定の開始操作があったかを判定する。たとえば「手指が所定のポーズになったか」である。当該所定の操作があったときはＳ３０４に進む。

Ｓ３０４では、ＣＰＵ１０１は、撮像画像において手指が所定サイズ及び位置になるように撮影条件を調整する。ここで調整する撮影条件は例えば、撮像部１１２のズーム比及び撮像方向である。ズーム比の変更は、光学的に行うものでもデジタル処理で行うもの（デジタル・ズーム）でも、これらを組み合わせたものでもよい。また、撮像方向の変更は、パンチルト機能を用いて行うものでも、撮像画像の一部の領域を切り出すデジタル処理で行うものでも、これらを組み合わせたものでもよい。このようにすることで、撮像部１１２に対するユーザの位置が場合によってある程度異なる位置であっても、ディスプレイ１０５に表示された自分の手指の映像を見やすくすることができ、操作しやすくすることができる。

Ｓ３０５では、ＣＰＵ１０１は、距離測定部１０６によりユーザの手指先端までの距離を測定する。

Ｓ３０６では、ＣＰＵ１０１は、測定された距離の値に基づき基準距離Ｄを設定する。この基準距離Ｄは、測定された手指までの距離より、０（ゼロ）〜ヒトの腕の長さの半分程度分、短い距離である。基準距離Ｄは、本処理の開始時にステップＳ３０６で設定され、ステップＳ３０６以降の処理では固定される。このように基準距離Ｄを設定するのは、ユーザが手指を情報処理装置１００に近付けたときに識別マーク２０１を表示して、いわゆるペン・オンの状態（書込み可能状態）にするためである。例えば、測定された手指までの距離が３ｍであれば、基準距離Ｄを、そこから０．２ｍほど引いた２．８ｍと設定する。

Ｓ３０７では、ＣＰＵ１０１は、撮像部１１２の撮像条件に関して、基準距離Ｄの位置に合焦するようにフォーカス調整し、かつ、被写界深度を浅くする。被写界深度とは、合焦しているように見える被写体側の距離の範囲であり、たとえばレンズ絞りを開けてＦ値（Ｆ−ｎｕｍｂｅｒ）を小さくすることにより、被写界深度を浅くすることができる。なお、レンズ絞りを開けることで光量が過剰となる場合には、ＮＤ（Neutral Density）フィルタを使用、撮像センサの感度を低くする、又は露光時間を短くすることにより、光量を均衡させうる。基準距離Ｄの位置に合焦するようにフォーカス調整し、かつ、被写界深度を浅くすることにより、ディスプレイ１０５上の手指画像は、ユーザが手指を基準距離Ｄに近付けるほど鮮明になり、逆に情報処理装置１００から離れる程、ぼける。この指画像の鮮鋭度の程度により、ユーザは、どれくらい手指を移動させれば、いわゆるペン・オンの状態（書込み可能状態）になるかを視覚的に知ることができる。

画像処理部１０４による画像処理によっても、手指画像鮮鋭度を情報処理装置１００との間の距離に従い同様に変化させることができる。例えば、撮像画像に対して、座標ごとの、基準距離Ｄと測定距離ｄとの距離差（遠近）をグレーの濃淡により表わした距離画像（距離マップ）を作成する。そして、その距離画像をいわゆるアルファチャンネル（座標ごとのエフェクト適用量を規定する画像）としてぼかし（Ｂｌｕｒ）エフェクトを適用する。このぼかしエフェクトにより、手指を基準距離Ｄに近付けたとき、手指の画像にフォーカスが合って行くようにすることができる。また、同様の目的で、画像処理のエフェクト種類を異ならせることにより、手指を基準距離Ｄに近付けたとき、手指の画像の透過度を下げて次第に現れてくるように表示することができる。また、彩度を上げて白黒からカラーに変化するように表示したり、明度を上げてシルエットから明るい画像に変化するように表示したりすることも可能であり、これらを組み合わせることも可能である。

Ｓ３０８では、ＣＰＵ１０１は、変更した撮影条件（または画像処理の条件）により、改めて撮像画像をディスプレイ１０５上にミラー表示する。ミラー表示とは、撮像している画像を左右反転して表示することである。ミラー表示により、ユーザが手指等を動かした方向と手指等の画像が動く方向が一致し、ユーザは、どの方向に手指を移動させればどう手指画像が移動するかを感覚的に知ることができる。なお、撮像画像のミラー表示は、外部Ｉ／Ｆ１０９により取得されるテレビジョン受信信号等の外部映像信号の表示の中の部分領域に嵌め込んで表示するものであってもよいし、半透明等の画像処理により重畳して表示するものであってもよい。

Ｓ３０９では、ＣＰＵ１０１は、ポーズを検出した位置の周辺に文字入力領域２０２をディスプレイ１０５の画面上に表示する。この文字入力領域２０２は、図２Ｂに示すように、ディスプレイ１０５上にたとえば一定領域の矩形として表示される。手指先端の軌跡等を表示する際はこの領域２０２内を表示用に指定することで、ユーザに対して、どの範囲で入力のためのジェスチャ操作をすればよいかを認識させることができる。入力のためのジェスチャ操作を認識する範囲を限定することにより、認識の効率と精度が向上する。

Ｓ３１０では、ＣＰＵ１０１は、ディスプレイ１０５の画面上で文字入力領域２０２の外に、決定領域２０３とキャンセル領域２０４を表示する。

Ｓ３１１では、ＣＰＵ１０１は、距離測定部１０６によりユーザの手指先端までの距離を測定する。以下では、測定された距離をｄとする。この距離ｄは随時測定され、その時々のユーザの手指の位置に応じて更新される。

Ｓ３１２では、ＣＰＵ１０１は、Ｓ３１１で計測した距離ｄと、Ｓ３０６で設定した基準距離Ｄとを比較し、距離ｄが基準距離Ｄより短くなったか否かを判定する。ＣＰＵ１０１は、ユーザの手指先端が基準距離未満の位置に入った、即ちｄ＜Ｄであると判定すると、Ｓ３１３に進み、そうでない場合、Ｓ３２０に進む。

Ｓ３１３では、ＣＰＵ１０１は、手指先端が指し示す位置が決定領域２０３内にあるか否かを判定する。ＣＰＵ１０１は、決定領域２０３内であると判定すると、Ｓ３１４に進み、そうでない場合はＳ３１５に進む。

Ｓ３１４では、ＣＰＵ１０１は、ユーザにより文字入力を決定して終了する指示がされたものとして、文字入力領域２０２に表示されている手指先端の軌跡の画像を保存し、図３Ａ及び図３Ｂに示す処理を終了する。なお、Ｓ３１３の判定に代えて、手指先端が指し示す位置が決定領域２０３内である状態で、距離ｄが基準距離Ｄより大きくなったか否かの判定とし、大きくなった場合にＳ３１４に進み、そうでない場合にＳ３１５に進むようにしても良い。すなわち、決定領域２０３にペンダウンした操作があったか否かの判定に代えて、決定領域２０３を指示した状態でペンアップの操作があったか否かの判定であってもよい。

Ｓ３１５では、ＣＰＵ１０１は、ユーザの手指先端が指し示す位置がキャンセル領域２０４にあるか否かを判定する。手指先端の位置がキャンセル領域２０４であった場合、ＣＰＵ１０１は、ユーザにより文字入力をキャンセルして終了する指示がされたものとして、手指先端の軌跡の画像を保存することなく終了する。手指先端の位置がキャンセル領域２０４でなかった場合、ＣＰＵ１０１は、Ｓ３１６に進む。なお、Ｓ３１５の判定も、Ｓ３１３と同様に、キャンセル領域２０４にペンダウンした操作があったか否かの判定に代えて、キャンセル領域２０４を指示した状態でペンアップの操作があったか否かの判定であってもよい。

Ｓ３１６では、ペン・オンの状態（ｄ＜Ｄ）で、ユーザの手指先端によって指示される位置が文字入力領域２０２内であるか否かを判定する。ＣＰＵ１０１は、文字入力領域２０２内である場合、Ｓ３１７に進み、そうでない場合、即ち、ｄ＜Ｄの状態で手指先端が文字入力領域２０２の外まで移動した場合、Ｓ３１９に進む。

Ｓ３１７では、ＣＰＵ１０１は、手指先端の位置にたとえば「円」印のような識別マーク２０１をディスプレイ１０５に表示する。これにより、ユーザは、いわゆるペン・オンの状態（書込み可能状態）であることを知ることができる。

Ｓ３１８では、ＣＰＵ１０１は、ペン・オンの状態での手指先端の移動に応じて、手指先端の軌跡をディスプレイ１０５に表示する。ユーザは、この軌跡の表示によって、それまでに入力した内容を確認しながら、入力操作を継続することができる。

Ｓ３１９では、ＣＰＵ１０１は、「入力領域を外れている」旨をディスプレイ１０５に表示する。たとえば、こうした旨のメッセージ・テキストを表示してもよいし、文字入力領域や領域の枠を、それまでと異なる色や形状で表示するようにしてもよい。

Ｓ３２０では、ＣＰＵ１０１は、手指先端の位置の識別マーク２０１をディスプレイ１０５で非表示にする。

Ｓ３２１では、ＣＰＵ１０１は、ユーザによる所定の決定操作があったか否かを判定し、決定操作があった場合はＳ３１４に進み、そうでない場合はＳ３２２に進む。決定操作は、たとえば、手指を決定に対応する所定のポーズにする操作である。ポーズをとる操作に限らず、リモートコントローラ（不図示）などの操作部材に対する操作であってもよい。決定操作があった場合、ＣＰＵ１０１は、Ｓ３１４で文字入力領域２０２に表示されている手指先端の軌跡の画像を保存し、図３Ａ及び図３Ｂに示す処理を終了する。

Ｓ３２２では、ＣＰＵ１０１は、所定のキャンセル操作があったか否かを判定し、キャンセル操作があった場合は図３Ａ及び図３Ｂに示す処理を終了し、そうでない場合はＳ３１１に戻り、処理を繰り返す。キャンセル操作は、例えば、手指を、キャンセルに対応する所定のポーズにする操作である。ポーズをとる操作に限らず、リモートコントローラ（不図示）などの操作部材に対する操作であってもよい。キャンセル操作があった場合、ＣＰＵ１０１は、手指先端の軌跡の画像を保存することなく、図３Ａ及び図３Ｂに示す処理を終了する。

本実施例は、以下のような効果を有する。すなわち、ユーザが空間上で手指等を移動させてその軌跡を入力しようとするとき、いわゆるペン・オンの状態（書込み可能状態）かペン・オフの状態（書込み不能状態）かが明確となる。つまり、ユーザが入力操作の意図で行うジェスチャと、入力操作の目的でない手指等の動きとを適切に区別することが可能となる。

基準距離Ｄと手指までの距離ｄの距離差に応じて、撮像画像又は手指画像にぼかし、透過度、明度及び彩度のいずれか一以上の変更を加えることで、ユーザに手書き入力に適した距離を実感させることができる。

頭部装着型のディスプレイ（Head Mounted Display：ＨＭＤ）を利用するシステムに適用した実施例を説明する。この実施例では、物体までの距離を測定する距離測定装置をＨＭＤに組み込み、ＨＭＤを装着したユーザの手指までの距離を検知し、その測定距離に応じて実施例１と同様にＨＭＤの表示を制御する。

図４Ａは、本発明の実施例２であるＨＭＤ型情報処理端末４００（以下、「ＨＭＤ４００」と略す。）の正面側から見た外観図を示す。図４Ｂは背面側から見た外観図を示し、図４Ｃはユーザの頭部に装着した状態の側面図を示す。図４Ｄは、ＨＭＤ４００の概略構成ブロック図を示す。

頭部装着部４０１はＨＭＤ４００をユーザの頭部に装着するためのものであり、構成部材４２１〜４２５からなる。ＨＭＤ４００を頭部に装着するには、まず、アジャスタ４２２で長さ調整部４２３を緩めた状態でＨＭＤ４００を頭にかぶる。そして、額装着部４２５を額に密着させてから側頭装着部４２１と後頭装着部４２４を各々側頭部と後頭部に密着させるように、アジャスタ４２２で長さ調整部４２３を絞める。なお、ここに示したゴーグルタイプの他に、眼鏡フレームタイプ及びヘルメットタイプなど種々のタイプが利用可能である。

撮像部４０２はいわゆるデジタルカメラであり、ＨＭＤ４００を頭部に装着したユーザの顔が向く方向と略同方向を撮像するようにＨＭＤ４００に配置されている。具体的には、入射窓４１２を介してＨＭＤ４００の外部から入射した光を光学プリズム４１７によってＨＭＤ４００の内部に導き、撮像センサ４１６により受光する。

距離測定部４０３は、ＨＭＤ４００と前方の物体、ここではユーザの手指先端との距離を測定する。手指先端以外に指示用のペンなどでもよいことは実施例１と同様である。ＨＭＤ４００と物体との距離を測定する方法は、超音波や音波の反射を利用する方法、静電容量の変化を利用する方法など、一般的に知られている方法を用いることができる。また、撮像部４０２がいわゆるオートフォーカス機能を具えるときは、物体に合焦する距離を探索するのと共通のプロセスによりＨＭＤ４００と物体との距離を測定できる。たとえば、特開２００９−２１０６９４号公報には、ＴＶ−ＡＦ方式、外測測距ＡＦ方式及び内測位相差ＡＦ方式等、一般的に実用される種々の測距技術が開示されている。

表示部４０４（４０４Ｌ，４０４Ｒ）は、スクリーン４１０（４１０Ｌ，４１０Ｒ）、カラー液晶ディスプレイ４１４（４１４Ｌ，４１４Ｒ）及び光学プリズム４１５（４１５Ｌ，４１４Ｒ）からなる。符号に付加したＬ，Ｒはそれぞれ左眼用及び右眼用を示す。表示部４０４は、使用者の目の位置に相対するように、眼鏡における眼鏡レンズに相当する位置に配置される。具体的には、カラー液晶ディスプレイ４１４が表示する画像を光学プリズム４１５によってスクリーン４１０に導き、スクリーン４１０上に表示する。

表示部４０４の光学プリズム４１５の出力光と撮像部４０２の光学プリズム４１７の入力光は、ＨＭＤ４００の装着時に、ユーザの瞳の光軸と一致するようになっている。撮像センサ４１６は、ユーザの位置及び方向によって視覚的に認識できる現実空間の被写体を撮像する。

カラー液晶ディスプレイ４１４は、撮像部４０２によって撮像された現実空間の画像に、ＧＵＩ等のいわゆるコンピューター・グラフィックスの画像を電気的に重畳（画像合成）した画像を表示する。

ＨＭＤ４００は、図４Ｄに示すように、本体（頭部装着部４０１を含む）内部に、表示制御部４３０、撮像制御部４４０、ＣＰＵ４５０、メモリ４６０及び電源部４７０を具える。

表示制御部４３０は、表示部４０４の表示を制御する。具体的には、表示制御部４３０は、現実空間画像に重畳表示（画像合成）する仮想オブジェクトの画像の大きさ、位置、向き、色彩及び透過度、並びに、現実空間画像の変更に伴う移動及び明度の変更などを制御する。

撮像制御部４４０は、撮像画像を用いた所定の演算処理の演算結果に基づいて露出と測距等を制御する。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＡＷＢ（オートホワイトバランス）処理等が行われる。撮像部４０２が光学フィルタを光路上から挿脱する機構及び防振機構等を具えている場合、撮像制御部４４０は、動作状況により当該光学フィルタの挿脱及び防振動作を行う。

ＣＰＵ４５０は、ＨＭＤ４００全体を制御し、種々の演算処理を行う。ＣＰＵ４５０は、メモリ４６０に記録されたプログラムを実行することで、以下に説明する制御と処理を実現する。

メモリ４６０はワーク領域および不揮発性領域より成る。ワーク領域には、不揮発性領域から読み出されたプログラムやシステム制御用の定数及び変数が展開される。また、現実空間に重畳して表示する仮想オブジェクトの画像のデータが、メモリ４６０に表示のために保持される。また、撮像部４０２により撮像されＡ／Ｄ変換された画像データが、画像解析及び画像処理等の目的でメモリ４６０に展開される。

電源部４７０は、アルカリ電池又はリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池又はＬｉ電池等の二次電池、若しくはＡＣアダプタ等からなり、ＨＭＤ４００全体に電力を供給する。電源部４７０は、ユーザ操作その他の条件により電源オンと電源オフを切り替える電源スイッチを具える。

図５Ａ〜図５Ｅは、本実施例の使用状態の模式図を示す。図５Ａ〜図５Ｅを参照して、本実施例の使用方法と動作を簡単に説明する。

ＨＭＤ４００を装着したユーザ５００が手指を目の前にかざすと、図５Ａに示すように、ＨＭＤ４００の表示部４０４にユーザ５００の手指の画像が表示される。ここで、図５Ｂに示すように、ユーザ５００が所定の操作（たとえば、手指を所定のポーズにする）をしたとする。このポーズに応じて、ＣＰＵ４５０は、撮像部４０２による撮像画像に重畳して文字入力領域５０２、「決定」領域５０３及び「キャンセル」領域５０４のいわゆるＧＵＩ（グラフィカル・ユーザー・インターフェース）を表示部４０４に表示する。ＧＵＩの要素と撮像部４０２によるユーザ５００の手指の画像とが表示画面上で重なる領域では、ユーザにとってあたかもＧＵＩがユーザの手指の向こうにあると感じられるように、ＧＵＩの部分が切り取られ又は透過するように表示される。このような表示により、ユーザ５００の手指の向こうにあたかも仮想スクリーンがあり、その仮想スクリーン上にＧＵＩが表示されているとユーザに感じさせることが可能となる。

ユーザ５００が手指をＨＭＤ４００から基準距離Ｄ以上に遠ざけると、ＣＰＵ４５０は、図５Ｃに示すように、表示部４０４の画面上で手指先端に対応する位置に識別マーク５０１を表示する。ユーザは、この識別マーク５０１により、基準距離Ｄ以上に、ＨＭＤ４００から手指を遠ざけていることを知ることができる。

ユーザが手指をＨＭＤ４００から基準距離Ｄ以上に遠ざけたまま、手指先端を移動させると、ＣＰＵ４５０は、図５Ｄに示すように、手指先端の移動軌跡５０５を表示部４０４の画面上に表示する。ユーザは、軌跡の表示を途切れさせたいときは、手指先端をＨＭＤ４００から基準距離Ｄ未満に近づける。そうすると、ＣＰＵ４５０は、表示部４０４の画面上で手指先端に対応する位置の識別マーク５０１を消す。識別マーク５０１が消えることで、ユーザは、手指先端を基準距離未満にＨＭＤ４００に近づいていることを知ることができる

すなわち、ユーザが空間上で手指（または筆記具やポインティング・デバイス）を移動させてその軌跡を入力しようとするとき、いわゆるペン・オンの状態（書込み可能状態）かペン・オフの状態（書込み不能状態）かが明確となる。つまり、ユーザが入力操作の意図で行うジェスチャと、入力操作の目的でない手指等の動きとを適切に区別できる。

また、ユーザは仮想スクリーンに文字や図形を書き込むような操作をすることになり、直感的でわかりやすいユーザ・インターフェースを実現できる。

（その他）なお、上述の実施例では文字を入力する場合を例に説明したが、文字を構成しないグラフィックスを入力する場合にも適用可能であることはいうまでもない。

ＣＰＵ１０１による制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明の好適な実施例を説明したが、本発明は上述の特定の実施例に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述した各実施例は本発明の一実施形態を示すものにすぎず、各実施例を適宜組み合わせることも可能である。

本発明をジェスチャ等の身体表現により手書き文字図形を表示する情報処理装置に適用した実施例を説明したが、本発明は、ジェスチャにより手書きの文字図形等を入力する装置一般に適用可能である。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

Claims (14)

1. ジェスチャ操作により手書き文字図形を入力する情報処理装置であって、
   前記ジェスチャ操作を行う操作体の少なくとも基点を撮像手段により撮像された撮像画像から検出する検出手段と、
   前記基点が検出された後、前記情報処理装置から前記基点までの距離を測定する距離測定手段と、
   前記基点が検出された後の特定のタイミングにおいて前記距離測定手段により計測された、前記基点までの距離に基づいて基準距離を定めるように制御する制御手段であって、前記基点が前記基準距離以内または以上である距離条件を満たす場合に、表示部に表示された撮像画像を含む表示用画像信号の、前記撮像画像の前記基点に対応する位置に入力を行うための識別マークを重畳するように制御する制御手段と、
   前記基準距離が定められた後、前記基準距離の位置に合焦するように撮像手段のフォーカスを制御し、さらに被写界深度が浅くなるように前記撮像手段の絞りを制御する撮像制御手段
   とを有することを特徴とする情報処理装置。
2. 前記制御手段は、前記基点が前記距離条件を満たす場合に、前記撮像手段により撮像された前記基点の位置に基づいて文字図形の入力をするように制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記撮像画像をミラー表示するように制御することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記制御手段は、前記基点が前記距離条件を満たさない場合には、前記表示部に表示された前記撮像画像の前記基点に対応する位置に前記識別マークを重畳しないように制御することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記距離条件が前記基準距離以内に前記基点があることである場合には、前記基準距離は、前記特定のタイミングにおいて前記距離測定手段により計測された前記基点までの距離より前記情報処理装置から所定距離遠い距離であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記撮像制御手段は、前記基点が前記撮像画像において所定サイズで表示されるように、光学ズームまたは電子ズームを行うように制御することを特徴とする請求項１乃至５の何れか1項に記載の情報処理装置。
7. 前記撮像制御手段は、前記基点が前記撮像画像において所定の位置に表示されるように、パンまたはチルトを行うように制御する、あるいは撮像画像からの切り出し処理を行うように制御することを特徴とする請求項１乃至６のいずれか1項に記載の情報処理装置。
8. 前記制御手段は、前記基点までの距離と前記基準距離との差に応じた色彩または明度で前記撮像画像を表示するように制御することを特徴とする請求項１乃至７の何れか1項に記載の情報処理装置。
9. 前記特定のタイミングにおける前記距離測定手段により計測された前記基準までの距離は、前記操作体が所定のポーズになったことに応じて前記距離測定手段により計測された前記基準までの距離であることを特徴とする請求項１乃至８の何れか1項に記載の情報処理装置。
10. 前記表示部をユーザが装着している場合には、前記距離条件は、前記基点が前記基準距離以上であることであり、前記表示部がユーザから離れている場合には、前記距離条件は、前記基点が前記基準距離以内であることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記制御手段は、前記基点までの距離が前記距離条件を満たす場合の前記基点の位置の動きに応じた描画処理である、前記表示部への手描き処理を行うように制御することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. ジェスチャ操作により手書き文字図形を入力する情報処理装置の制御方法であって、
    前記ジェスチャ操作を行う操作体の少なくとも基点を撮像手段により撮像された撮像画像から検出する検出ステップと、
    前記基点が検出された後、前記情報処理装置から前記基点までの距離を測定する距離測定ステップと、
    前記基点が検出された後の特定のタイミングにおいて前記距離測定手段により計測された、前記基点までの距離に基づいて基準距離を定めるように制御する制御ステップであって、前記基点が前記基準距離以内または以上である距離条件を満たす場合に、表示部に表示された撮像画像を含む表示用画像信号の、前記撮像画像の前記基点に対応する位置に入力を行うための識別マークを重畳するように制御する制御ステップと、
    前記基準距離が定められた後、前記基準距離の位置に合焦するように撮像手段のフォーカスを制御し、さらに被写界深度が浅くなるように前記撮像手段の絞りを制御する撮像制御ステップ
    とを有することを特徴とする情報処理装置の制御方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images