JP5197777B2 - インターフェイス装置、方法、およびプログラム - Google Patents

Description

本発明の実施形態は、プロジェクタによって映像が投影されたスクリーンに対して直接的に指示するためのインターフェイス装置、方法、およびプログラムに関する。

従来、プロジェクタによって映像が投影されたスクリーンに対するインターフェイス装置の多くは、電子ペンなどの特殊デバイスを用い、表示装置の画面を通じて間接的に操作をするものであったが、近年、指や手といった汎用的な身体の一部を用い、スクリーン上で直接的に操作が行える技術が提案されている。例えば特許文献１には、限定的な操作に限られるものの、ユーザが指で選択範囲を指定することが可能なインターフェイス装置が開示されている。

特許文献２および３には、スクリーンに対して指や棒などの指示手段によりポインティング操作等を行うインターフェイス装置を実現するために、スクリーン面を撮像するカメラの映像から、指を検出する技術が開示されている。

特許文献３の技術においては、プロジェクタで投影した画像とカメラで撮像した画像との差分により指を検出する。また、プロジェクタによる投影動作とカメラによる撮像動作のタイミングを同期させ、一定時刻毎に特定の色をスクリーン全体に投影することで指の検出を容易にしている。

特開２００７−７２８９１号公報 特開２００８−２５０４８２号公報 特開２００８−１５２６２２号公報

スクリーンに対して直接的に指示を行うための指示物体を頑健に画像検出することのできるインターフェイス装置、方法、およびプログラムを提供することが望まれている。

実施形態によれば、指示物体の位置および方向に応じたインターフェイスを表示するインターフェイス装置が提供される。表示手段は、第１の画像フレーム群に基づく映像を表示する。撮像手段は、前記映像が表示された面を撮像することにより第２の画像フレーム群を得る。検出手段は、前記第１の画像フレーム群と前記第２の画像フレーム群とに基づいて、前記指示物体の位置および方向を検出する。追加表示手段は、前記指示物体が検出された位置に一定照度以上の光が照射され、前記位置からの距離に応じて照度が減衰するように特定形状を前記インターフェイスと共に表示する。

第１の実施形態に係るインターフェイス装置の構成を示すブロック図 第２の実施形態に係るインターフェイス装置の構成を示すブロック図 勾配ベクトルの平滑化を示す図 インターフェイス装置のデバイス図 追加表示部に係るメニューの起動と削除の図 追加表示部に係るメニューの図 追加表示部に係る表示アイコンにおける操作の図 第２の実施形態に係る指示位置強調を説明するための図 第３の実施形態に係るインターフェイス装置を示すブロック図 第３の実施形態に係るインターフェイス装置の動作を示すフローチャート 第３の実施形態に係るインターフェイス装置の動作の様子を示す図。 第３の実施形態に係るインターフェイス装置の固定位置明度調整領域の設定を示す図 第３の実施形態に係るインターフェイス装置の変動領域に伴う明度調整領域の設定を示す図 第３の実施形態に係るインターフェイス装置の指先位置に伴う明度調整領域の設定を示す図 第３の実施形態に係るインターフェイス装置の指先位置による明度調整領域の変化を示す図 第４の実施形態に係るインターフェイス装置を示すブロック図 第４の実施形態に係るインターフェイス装置の動作を示すフローチャート 第４の実施形態に係るインターフェイス装置の指先位置による明度調整領域の変化を示す図

以下、実施の形態について、図面を参照して説明する。

本実施形態は、プロジェクタのスクリーン又は大画面表示デバイスに対して指等の指示物体によりユーザが直接的に指示を行うことのできるユーザインターフェイス装置に関する。本実施形態では、ユーザが意図する場所を指し示す指示物体の位置とその方向を撮像装置により検出し、該方向に向かって該指示物体の検出位置から所定量ほど移動した位置にメニューなどのインターフェイスオブジェクトの投影像を表示する。これにより、指等の指示物体が指し示す方向に沿ってユーザが指等を動かすことで容易なコマンド選択を実現することができる。また、指等の指示物体と、メニューなどのインターフェイスオブジェクトの投影像とが重なり合って表示を妨げることがないため、ユーザが見やすいインターフェイスを実現することができる。

（第１の実施形態）
図１は、第１の実施形態に係るインターフェイス装置を示すブロック図である。第１の実施形態に係るインターフェイス装置１は、ユーザの指等の指示物体を撮像する撮像部２と、複数の画像フレームに基づく映像を表示する表示部３と、表示部３が映像の表示を行っているスクリーン内において指示物体が指し示している位置と方向を検出する検出部４と、検出部４により検出された指示物体の位置と方向に応じて、指示物体とは重ならないように指示物体から所定量ほど移動した位置にメニューなどのインターフェイスオブジェクトの投影像を表示する追加表示部５とを備える。追加表示部５は、このようなインターフェイスの画像データを、表示部３が表示する映像の画像フレーム群に上書きする。ここで、画像フレーム群とは複数の画像フレームをさす。

撮像部２は、スクリーンに表示する表示面全体を撮像可能なようにインターフェイス装置１の本体、あるいは本体とは別の位置に配置される。撮像部２は、ユーザの指示物体がスクリーンを直接的に指し示す動作を複数の画像フレームによって構成される映像として撮像する。撮像部２は、撮像した映像を常に検出部４に送るか、もしくは一定の闘値時間間隔で検出部４に送ってもよい。

情報を表示する表示部３は、例えば自発光型の大型ディスプレイであっても良いし、スクリーンに映像を投影するプロジェクタであっても良い。本実施形態において、表示部３は、プロジェクタであるものとする。本実施形態では、図４に示すように、インターフェイス装置１のデバイス本体には、撮像部２を構成するレンズと、表示部３を構成するプロジェクタのレンズ３とが、それらの光軸がほぼ一致するように近接して配置される。また、表示部３に表示する情報は、該情報を処理するアプリケーションに依存するため任意である。例えば本実施形態では、デジタルアルバムをアプリケーションとし、デジタルアルバムのアプリケーション画面を表示部３に表示する。従って、ユーザは、スクリーンに投影されたデジタルアルバムのアプリケーション映像に対して、スクリーン上で直接的に指し示す等の動作によって、アプリケーションの操作を行うことができる。

検出部４は、撮像部２から送られた映像又は一定の闘値時間間隔で送られる画像から、表示部３にて表示する表示面内にてユーザの指等の指示物体が指し示した位置と、該指示物体が指し示す方向とを検出する。検出部４は、この検出した位置と方向を追加表示部５に送る。本実施形態では、例えばユーザがスクリーンを直接、指で指し示し、検出部４がこのユーザの指を検出する。なお、被検出物としては、ユーザの指のみならず、先端が円弧である棒状の指示物体などであってもよい。例えば、ユーザが手に保持した長い棒状のペンの位置と方向を検出することも可能である。

検出部４は、撮像された指示物体の先端の円弧を画像内で探索することによりその位置と方向を検出する。このため、事前に表示部３にて表示している画像と撮像部２にて撮像した画像との差を求めることができるようにしておく。具体的には、各画素もしくは矩形に対して、投影前の輝度値を入力とし、投影後の輝度値を出力とする関数をそれぞれ学習しておく。撮像部２にて撮像した映像もしくは画像の各フレームに対して、上記輝度値の変化を表す関数を用いて表示している情報を差し引く。これにより得られる差分画像は、撮像部２とスクリーンとの間に存在する指示物体のみを残す。このような差分画像に対して円弧検出を行うことにより、指示物体の位置およびこれが指し示す方向を検出する。

円弧検出のアルゴリズムとしては、例えば、ある矩形内のエッジ勾配と、理想の円弧形状のエッジ勾配のテンプレートとの類似度が闘値以上となる領域を円弧であるとする手法を用いることができる。テンプレートは、量子化した複数の方向についてこれを用意することで、位置だけでなく方向を検出することができる。なお、検出部４は、表示部３で表示するアプリケーションが、画面遷移などの状態変化が生じている際には必ずしも検出をしなくてもよい。

（プロジェクト面の検出アルゴリズム）
予めプロジェクタと、カメラの光軸が同じ方向を向きできるだけ近くなるよう設置する。カメラのレンズを変更しない限りプロジェクト面は、ほぼ同様の位置で撮像できるため、予め設定したプロジェクト面の四隅の予想位置を初期値とし、装置の起動時に撮像した画像中から正確な四隅の画像座標を検出する。装置起動時に最大輝度で照射し撮像した画像に対して、Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｏｒなどを用いて、初期値周辺を処理し最もコーナー点らしい座標を検出する。プロジェクト面を平面とする仮定を置くことで、検出した画像中のプロジェクト面における四隅の座標から、平面射影変換（ｈｏｍｏｇｒａｐｈｙ）行列を求め、撮像した画像から照射したアスペクト比の画像へ射影変換することができる。この射影変換した画像に対して、指先やペン先（即ち、指示物体）の検出などの処理を行う。

（円弧検出アルゴリズム）
前処理として、表示したい輝度値と撮像した輝度値の対応関係を学習しておく。これは、起動時に１回だけ行う、ＬＵＴ（Ｌｏｏｋ ｕｐ Ｔａｂｌｅ）の形で保持する。

撮像したプロジェクト面の画像に対して、表示部により表示している内容との差分をとった画像を差分画像とする。差分画像には、プロジェクト面とカメラとの間に存在する物体の情報のみが保持されている。

ユーザが支持に用いる物体である指やペン先を検出するが、差分画像に対して指先やペン先は円弧の形状であると仮定し、その輪郭線を抽出する。以下、処理手順を示す。

（１）画像の空間微分を求め、得られた微分係数を倍角変換する
（２）倍角変換された微分画像を平滑化してから縮小する
（３）微分画像をテンプレートで走査して円弧の検出を行う
画像の微分と倍角変換：画像の微分にはＲｏｂｅｒｔｓフィルタを用い、得られた勾配ベクトル（ｇ_ｘ，ｇ_ｙ）に対して、以下の式を用いて倍角変換を行い、倍角化した勾配ベクトル（ｆ_ｘ，ｆ_ｙ）を求める。

倍角変換が必要な理由は、後段の平滑化と縮小処理において勾配情報が失われないようにするためである。図３に示すように、勾配ベクトルをそのまま平滑化すると、細い輪郭線の近傍ではその両側で勾配の向きが逆になり打ち消しあうが、倍角変換により勾配ベクトルは１８０度異なる方向同士が同じ方向となり、平滑化による輪郭線近傍の勾配が失われない。

勾配ベクトル画像の平滑化と縮小：倍角化した勾配画像に対してノイズ除去を目的として平滑化処理を行った後に２分の１のサイズに画像を縮小する。

テンプレートを用いた円弧検出：通常のテンプレートマッチングは１回のマッチング処理でＳＡＤやＳＳＤの値を１つ求めるが、複数の半径を持つ円弧を検出する必要があるため、単純な処理では高精度な検出ができない。本実施形態では、予め生成しておいた中心に向かう勾配ベクトルを倍角化したテンプレートを用いることで、テンプレートが一致した領域の中心画素が円弧の中心点の検出と同時に、テンプレートの各画素が中心位置からの円の半径と、その方向に対応するため、円弧の方向と半径も検出する。つまり、検出を行う１つの領域に対して、対応するテンプレートの各画素における勾配ベクトルの内積値（０〜１の値となり、１に近づくほど相関が高い）を求め、半径と方向の２軸を持つパラメタ空間に値を加算する。パラメタ空間は、検証領域の中心座標を原点とした際の極座標変換に相当し、次式で表すことができる。

ここで、（ｌ_ｘ，ｌ_ｙ）は検証領域の中心座標を原点とした各画素の座標で、（Ｐ_γ，Ｐ_θ）は投票を行うパラメタ空間の座標であり、半径と方向を示す。本実施形態では、半径を１６段階に、半径を５段階に量子化して扱うが、より高い分解能を求める場合は、量子化数を増やすことで実現できる。
事前にパラメタ空間は、値を全て0で初期化されているため、パラメタ空間の最大値を閾値処理することで、検証領域中に円弧が存在するかを判定でき、さらに最大値を所有するパラメタ空間の位置から、円弧の半径と方向が推定できる。

追加表示部５は、検出部４にて検出した位置から指し示す方向に沿ってユーザが選択できるメニューやアイコンなどのインターフェイスを、表示部３にて表示する内容に上書きする。

例えば、図５（ａ）に示すように、ユーザが指先をスクリーン上の一定位置に闘値時間以上にわたって止めた動作を、メニューやアイコンなどのインターフェイスを表示させる起動動作とする。また、スクリーンに対して円形の軌跡を描く動作を起動動作としてもよい（円形の軌跡の検出方法は後述）。起動後は、メニューやアイコンを起動時に検出した位置に常に表示させ、選択行動であるユーザが指し示す位置がいずれかのコマンド上に移動した状態か、闘値以上の距離にわたり起動時の位置から指先が移動した場合に、インターフェイスの表示を解除する。これを図５（ｂ）に示す。コマンドが選択された場合、その旨をアプリケーション（本例ではデジタルアルバム）に通知する。

（円形の軌跡の検出方法）
円形の軌跡の検出方法では、各フレームにおける指先の検出点の軌跡を用いた、ジェスチャ認識を行う。本実施形態では円判定が有効であることから、円判定の方法について説明する。

まず、過去閾値フレーム数から連続して指先を追跡できた場合のみを対象とし、最大で閾値２フレーム数の指の軌跡を用いる。用いるフレーム数をｎとし、ｎ点の重心座標をＰｍ、現在のフレームをｉとしその際の検出点をＰｉとする。ｎフレーム全ての検出点が重心座標から一定距離以上離れている場合、次式により重心点を中心点とするｎ角形の内角の和を求める。

求めた内角の和Ａｎｇが、２π以上である場合を検出点の軌跡が円であると判定する。内角の和は２πから若干のバイアス値を引くことで判定が可能となる。

また、図６（ａ）に示すように、追加表示するメニューもしくはアイコン６０は、ユーザが指し示す方向と直行する方向との比率で形状を変えられる、楕円の一部を切り欠いた円弧形状（馬蹄型）のパネル６１上に配置する。例えば、指し示す方向に０．３〜３倍長い形状に変化させたり、楕円の円周に対して３０％〜８０％の長さを持つ弧の形状に変化させたりしてもよい。

本実施形態では、図６（ａ）に示すように、例えば、指し示す方向に１．４倍長い楕円形状とし、楕円の円周に対して６７％の長さを持つ弧の形状とする。メニューもしくはアイコン６０は、アプリケーションの状態に応じて選択可能なコマンドに対応付けられる。アイコンに代えて文字をメニュー表示してもよい。選択可能なコマンドに優先順位を予め設定するならば、図６（ｂ）に示すように最も優先順位の高いコマンド６２をユーザが指し示す方向と交わるように配置し、他のコマンドよりもサイズを大きくするなどしてもよい。コマンドが選択された際には、対応するアイコンもしくはテキストをアニメーション等により強調表示してもよい。

さらに、図７（ａ）に示すように、追加表示するコマンド全てを一度に表記する必要はなく、少なくとも１つ以上のコマンドを表示し、それ以外のコマンドを表示させるアイコン７０を表示させるインターフェイスとしてもよい。あるいは、図７（ｂ）に示すように、ユーザの指等の指示物体が円の軌跡を描く動作に追従して、アイコンを移動してもよい。本実施形態のアプリケーション例であるデジタルアルバムの場合、「全画面表示中の画像の変更（次の写真、一つ前の写真）」、「拡大縮小」、「一覧表示」、「一覧表示の枚数の変更」、「選択」、「戻る」、「進む」、「メニューキャンセル」などのコマンドが考えられる。また、各コマンドを表す一定範囲の領域にユーザが指等を移動させることで選択したと判断するが、例えば次の写真に移動するコマンドを選択した場合、アプリケーションは、全画面表示である画像を表示しているがユーザの選択に伴い、内部で保持している画像リストの次順の画像へ表示を変更する。メニュー表示は、選択動作に伴い消去してもよいし、そのまま表示を継続してもよい。

本実施形態では表示を継続し、例えばユーザが次の写真に移動するコマンドを表す領域上に指を停止させ続けた場合、一定間隔もしくは徐々に短くなる間隔にてコマンド選択したと判断し、表示を変更し続け、画像リストの端点まで移動した時点でコマンドを表すアイコンもしくはテキストを選択不能の表示に切り替える。また、連続量を取りえるコマンド、例えば表示する画像の拡大率などを選択した場合、表示していた馬蹄型のメニューの端辺にそれぞれ拡大と縮小を対応付ける表示に変更し、ユーザが直接連続量を指定できるようにする。この場合、ユーザの指先の円運動と連動して連続量を変化させる。設定した値を決定する領域が選択されると、その時点で値が決定される。以後は、元のメニュー表示に戻っても良いし、連続量を指定する馬蹄型領域からユーザが指等を一定時間離したら、現在指定されている値を設定し、元のメニューに戻っても良い。連続量を指定するコマンドには、表示画像の拡大率の指定だけでなく、音量の指定や、動画像の表示速度の指定（早送りや巻き戻しなど）、複数枚数画像の表示時における表示区間の移動、なども考えられる。

（第２の実施形態）
図２は、第２の実施形態に係るインターフェイス装置を示すブロック図である。第２の実施形態は、上述した第１の実施形態と組み合わせて実施可能である。インターフェイス装置１０１は、指示位置表示部１０６を更に備える点で、インターフェイス装置１と相違する。インターフェイス装置１０１のうち、第１の実施形態に係るインターフェイス装置１と同様な構成については、説明を省略する。

検出部４は、検出したユーザが指し示した位置と指し示す方向を追加表示部５だけでなく、指示位置表示部１０６にも送る。指示位置表示部１０６は、ユーザに対する視覚フィードバックを与えるために検出部４から送られる、ユーザが指し示した位置に追加表示を行う。

図８は、第２の実施形態に係る指示位置強調を説明するための図である。

指示位置強調表示は、図８（ａ）に示すように、指等の指示物体の検出位置の中心点Ｃを最大照度の光Ｌで照射する。この光Ｌは、その中心点Ｃからの距離で照度が減衰する形状であり、ここでは楕円形状を例とする。これは、図８（ｂ）に示すように、ユーザが指示する際に使用する物体、例えば指などの周辺の領域ＲＯＩ（Region of Interest；関心領域）における、背景のエッジやテクスチャなどの輝度変化を抑えるため、次フレームにおける検出部４での頑健な検出が可能となる効果が得られる。なお、領域ＲＯＩは、撮像画像フレームにおいて背景差分により抽出される指等の指示物体の画像Ｓｂｔを含みうる広がりを持ち、上記中心点Ｃからの距離で照度が減衰する楕円形状に対応する。

このように本実施形態では、検出した指の周囲への照射光量を増加することにより、照射平面の変化に対して検出部４における指の検出精度を頑健にすることができる。

追加表示部５は、指示位置表示部１０６にてユーザが指し示した位置周辺に最大輝度で追加表示を行うため、第１の実施形態に係るインターフェイス装置１と同じ表示形態ではメニューやアイコンが知覚できなくなる場合がありうる。そのため、メニューやアイコンに指示位置表示部１０６にて追加する表示が重なる場合、その特定のアイコンやメニューを図８（ｃ）のように拡大表示するか、図８（ｄ）のように吹き出しにて表示することにより知覚可能な表示態様とすることが好ましい。

（第３の実施形態）
図９は、第３の実施形態に係るインターフェイス装置を示すブロック図である。第３の実施形態は、上述した第１又は第２の実施形態と組み合わせて実施可能である。第３の実施形態に係るインターフェイス装置は、撮像部１０１と、投影部１０２と、指先位置出力部１０３と、映像入力部１０４と、インターフェイス処理部２００と、を備える。

なお、第３の実施形態以降では、撮像する指示物体がユーザの指先であるものとして説明するが、指示物体は指先に限らず任意の指示手段（例えばペン先など）としてもよい。

撮像部１０１は、スクリーンを撮像して撮像画像を取得する手段である。撮像する範囲が、スクリーン面において投影部１０２で投影する範囲を内包するように設置することで、投影された映像のあらゆる位置に対して操作を行うことができる。例えば、後述の図１１に示すように、撮像部１０１と投影部１０２を同じ向きで近接させて設置することで、投影範囲３０１と撮像範囲３０２をおおよそ一致させることができる。ただし、この設置条件は必須ではなく、例えば、撮像範囲３０１の一部分だけで操作ができればよい場合は、少なくともその範囲が撮像範囲３０２に含まれていればよい。また、撮像部１０１と投影部１０２は個別に離れた場所に設置されていてもよい。

投影部１０２は、映像入力部１０４によって入力された映像を後述の処理によりインターフェイス処理部２００が書き換えた結果の映像を、スクリーンに投影する手段である。

指先位置出力部１０３は、インターフェイス処理部２００により検出された指先位置を操作対象のシステムに送信するための手段である。

映像入力部１０４は、操作対象のシステムがスクリーンに表示しようとする映像をインターフェイス処理部２００に入力するための手段である。

インターフェイス処理部２００は、指先検出部２０７と、固定位置明度調整部２０４と、動的位置明度調整部２０５を備えている。

指先検出部２０７は、撮像部１０１により撮像された映像から指先を検出するための手段であり、形状検出部２０１と、変動検出部２０２を備える。形状検出部２０１は、撮像部１０１により撮像された撮像映像から、テンプレートマッチングやパターン認識などの方法により指先の位置を検出する手段である。変動検出部２０２は、撮像部１０１により撮像された撮像映像から、背景差分やフレーム間差分など変動を検出する手法を用いて指の位置を検出する手段である。

明度調整部２０６は、映像入力部１０４により入力された画像の画素値を書き換える手段であり、固定位置明度調整部２０４と、動的位置明度調整部２０５を備える。

固定位置明度調整部２０４は、予め与えられた特定の領域の画素値を書き換える手段である。動的位置明度調整部２０５は、指先検出部２０１や変動検出部２０２によって指先や変動が検出された位置の周辺の領域の画素値を書き換える手段である。

インターフェイス処理部２００は、例えば、コンピュータによって実現され、指先検出部２０１、変動検出部２０２、固定位置明度調整部２０４、動的位置明度調整部２０５はそれぞれの機能を実現するソフトウェアと、それを実行するためのＣＰＵやメモリなどのハードウェアにより構成される。また、インターフェイス処理部２００と操作対象のシステムは同じハードウェアで実行してもよい。この場合、指先位置出力部１０３や、映像入力部１０４はメモリの読み書きで実現できる。

次に、インターフェイス処理部２００の動作について説明する。

図１０は、第３の実施形態に係るインターフェイス装置の動作を表すフローチャートであり、図１１は、第３の実施形態に係るインターフェイス装置の動作の様子を表す図である。

図１１に示すように、本実施の形態におけるインターフェイス装置１００は、例えば、カメラなどの撮像部１０１とプロジェクタなどの投影部１０２とが搭載された端末により、部屋の壁などのスクリーンとなる面に向けて投影部１０２により映像を投影し、撮像部１０１により得られた映像から指先３０３の位置などを検出することにより、ユーザがスクリーンに対して操作を行う場合を想定している。

インターフェイス装置１００では、まず、固定位置明度調整部２０６により予め設定された領域を明度調整領域４０１として設定し（ステップＳ１０１）、映像入力部１０４により入力された映像について明度設定領域の画素値を変更し（ステップＳ１０２）、投影部１０２に出力する。

図１２は明度調整領域の設定例を表す図である。

ステップＳ１０１では、固定位置明度調整部２０６において、明度調整領域４０１は、例えば、スクリーンの外周部の全て（同図（ａ））や、一部に細く帯状に設定したり（同図（ｂ））、スクリーンの隅などに円や多角形などで設定したりする（同図（ｃ））。指は必ずスクリーンの外周部を通過してからスクリーン内に侵入するため、ユーザに対する負担が少ない。また、外周部付近に設置することで、後述のステップＳ１０２において画素値を変更したときに映像表示の邪魔になりにくくなる。必要であればスクリーンの中心など、他の場所に設定してもよい。ただし、後述するステップＳ１０４において変動を安定して検出するためには、調整領域４０１の大きさは撮像部１０１により撮像した画像における画素幅よりも大きい必要があるため、例えば、撮像部１０１により撮像した画像における１画素〜数画素程度の幅に設定する。なお、スクリーンの見た目を重視するような使用環境で明度調整領域４０１を小さくする場合は、上記の条件を満たすような高い解像度の撮像部１０１を用いればよい。また、明度調整領域４０１の大きさを決定する別の目安として、例えば、投影部１０２が投影できる最小の画素幅を基準として、幅を１画素〜数画素程度としてもよい。また、明度調整領域４０１の大きさを決定する別の目安として、例えば、スクリーン上における指の太さを基準として、指０．１本分〜１本分としてもよい。

ステップＳ１０２では、固定位置明度調整部２０６は、明度調整領域４０１の画素値を予め与えられた任意の色、例えば、白、赤、黄、緑、青などに変更する。式（１）は白色（ｒ＝２５５、ｇ＝２５５、ｂ＝２５５）に変更する例である。

ただし、Ｒ’Ｇ’Ｂ’はそれぞれ画像の変更後の赤緑青の各成分の値を表す。また、任意の色に変更する代わりに、元の画像と任意の色を式（２）によりアルファブレンディングしてもよい。

ただし、ＲＧＢはそれぞれ画像の元の赤緑青成分の値、αは０．０〜１．０範囲内で予め与えられた係数をあらわす。さらに、明度調整領域４０１の境界付近では、式（２）において、αを境界線上で１とし、領域から離れるに従って０に近づくように設定することにより境界をぼかしてもよい。また、ユーザに指で操作することを伝えるために、明度調整領域４０１の周辺や内部に、例えば、「Ｓｔａｒｔ」などの文字列や、指の形やボタンなどの図形を表示してもよい。内部に表示する場合は、文字や図形の色を背景色と近くすることで、指検出の精度への悪影響を抑えることができる。

次に、撮像部１０１により、スクリーンに投影された映像を撮像した画像を取得し（ステップＳ１０３）、変動検出部２０２により、取得した画像から変動領域の位置を検出する（ステップＳ１０４）。

ステップＳ１０４では、変動検出部２０２は、明度調整領域４０１において指による変動領域を検出する。指の一部だけが画像に映っている場合でも指を検出できる方法、例えば、背景差分、フレーム間差分、色（例えば、肌色はＨＳＶ表色系におけるＨ（色相）が０〜３０である）などを利用して指を検出する。明度調整領域４０１では、投影部１０２により投影される映像が安定しているため、容易に変動を検出することができる。

次に、変動領域の有無を判定する（ステップＳ１０５）。変動領域の有無の判定は、例えば、変動領域の面積を閾値と比較することで行う。小さな変動領域は画像のノイズとして無視する。変動領域が存在しなければ、その時刻には操作が行われていないと判断して処理を終了する。

一方、変動領域が存在する場合には、動的明度調整部２０５により、明度調整領域を設定し（ステップＳ１０６）、明度設定領域４０２の画素値を変更し（ステップＳ１０７）、投影部１０２に出力する。

図１３は変動領域に伴う明度調整領域の設定を示す図である。

ステップＳ１０６では、動的明度調整部２０５において、明度調整領域４０１は、図１３に示すように、例えば、変動領域５０１からの距離が閾値以下の領域や、変動領域の中心から予め与えられた半径の円の内側などに設定する。投影範囲３０１の外周の辺に直行する方向と平行な方向で半径が異なる楕円で設定してもよい。上記の距離の閾値や円の半径は、明度調整領域４０１に指先が含まれるように、インターフェイス装置が想定する１フレームの間（例えば、１／３０秒や１／１５秒など）の指の最大移動距離の１倍、１．５倍、２倍程度を指定する。半径を大きくすると指先の検出精度が上がるが投影する映像の邪魔になる。このとき、ステップ１０１で設定した明度調整領域４０１を削除してもよいし、そのまま残してもよい。２本以上の手で操作する場合には残しておくことが好ましい。

ステップＳ１０７では、動的明度調整部２０５において、明度調整領域４０１の画素値をステップＳ２１０と同一の方法で変更する。その際、明度調整領域４０１が徐々に大きくなるように表示をアニメーションさせてもよい。

次に、撮像部１０１により、スクリーンに投影された映像を撮像した画像を取得し（ステップＳ１０８）、形状検出部２０１により、取得した画像から指先位置を検出する（ステップＳ１０９）。

ステップＳ１０９では、形状検出部２０１は、明度調整領域４０１において、指先位置を検出する。指先位置を正確に検出できる方法、例えば、エッジ方向を用いたテンプレートマッチングを用い、類似度が閾値以上となる位置を指先位置として検出する。指先位置の検出には、円形ハフ変換、分離度フィルタ、パターン認識などの方法を用いてもよい。

次に、指先の有無を判定する（ステップＳ１１０）。指先が存在しなければ、その時刻には操作が行われていないと判断して処理を終了する。

一方、指先が存在する場合には、指先位置出力部１０３により、指先位置を操作対象のシステムに出力し（ステップＳ１１１）、指先の周辺に明度調整領域を設定し（ステップＳ１１２）、ステップＳ１０７に戻る。

図１４は指先位置に伴う明度調整領域の設定を示す図である。

ステップＳ１１２では、ステップＳ１０６と同様の方法で、例えば、指先位置出力部１０３により検出された指先位置５０２を中心として予め与えられた半径の円の内側に明度調整領域４０１を設定する。このとき、ステップＳ１０６で設定した明度調整領域４０１は削除する。ステップＳ１０１で設定した明度調整領域４０１を削除してもよいし、そのまま残してもよい。

上記で説明したユーザインターフェイス装置によってユーザが操作を開始してから終了するまでの様子を説明する。

図１５はユーザの指先位置による明度調整領域の変化を示す図である。

状態７０１は初期状態である。

状態７０２では、ユーザの指がまだ投影範囲３０１の外にあるので、ステップＳ１０１、Ｓ１０２により、外周部に明度調整領域４０１が設定される。

状態７０３では、指が投影範囲３０１の内部に侵入し、ステップＳ１０３〜Ｓ１０５で変動領域が検出され、ステップＳ１０６、Ｓ１０７により、変動領域の周囲に明度調整領域４０１が設定されるため、状態７０４となる。

状態７０４では、ステップＳ１０８〜Ｓ１１０により指先が検出され、ステップＳ１１２、Ｓ１０７により指先位置の周囲に明度調整領域４０１が設定されるため、状態７０５となる。

状態７０６では、指が左に移動し、ステップＳ１０８〜Ｓ１１０により指先が検出され、ステップＳ１１２、Ｓ１０７により指先位置の周囲に明度調整領域４０１が設定されるため、状態７０７となる。指が投影範囲３０１の外側に移動するまで繰り返す。

状態７０８では、指が投影範囲３０１の外側に移動したため、ステップＳ１０１、Ｓ１０２により、外周部に明度調整領域４０１が設定され、初期状態に戻る。

以上のように、第３の実施形態に係るインターフェイス装置によれば、固定位置明度調整部２０６が映像入力部１０４により入力された映像の画素値を変更することで、変動検出部２０２は、明度調整領域４０１において安定して指先の検出ができる。

また、第３の実施形態に係るインターフェイス装置によれば、動的位置明度調整部２０５が映像入力部１０４により入力された映像の画素値を変更することで、形状検出部２０３は、明度調整領域４０１において安定して指先の検出ができる。

また、第３の実施形態に係るインターフェイス装置によれば、まず、固定位置明度調整部２０６が明度調整領域４０１を設定し、変動検出部２０２により変動領域を検出し、次に、動的位置明度調整部２０５が変動領域の周辺を明度調整領域４０１に設定し、形状検出部２０７により指先位置を検出するという２段階の指先検出により、明度調整領域４０１を小さくすることができるため、スクリーンの映像の見た目をあまり損なわない。

（変形例１）
第３の実施形態に係るインターフェイス装置１０１の変形例１は、インターフェイス処理部２００が、周辺明るさ検出部２０３を備えるようにしたものである。周辺明るさ検出部２０３は、撮像部１０１で撮像された撮像映像のうち、投影部１０２により光が照射されていない領域の明るさが予め与えられた閾値と比較することで、投影部１０１以外の光源による明るさを検出する手段である。投影部１０２により光が照射されていない領域とは、投影範囲３０１の外側や、投影部１０２が光を発していないときの投影範囲３０１の内側や、投影部１０２が部分的に黒い領域を含む映像を表示しているときの黒い領域の内側などである。

動的位置明度調整部２０５と固定位置明度調整部２０６は、周辺明るさ検出部２０３により周辺が明るいと判断された場合には、ステップＳ１０２、Ｓ１０７において、画素値の変更を行わない。室内の照明光などの環境光が明るい場合には、相対的に投影部１０２の光の影響が小さくなるため、上記の画素値の変更を行わなくても指先の検出が可能であるため、画素値を変更する必要がなくなる。

変形例１のインターフェイス装置によれば、外周部の帯が必要でないときには非表示とすることで、映像表示を邪魔する要因を軽減することができる。

（変形例２）
第３の実施形態に係るインターフェイス装置１０１の変形例２は、ステップＳ１０５の変形に関する。すなわち、ステップＳ１０５において、変動が存在した場合に変動位置を指先位置出力部１０３により出力し、処理を終了する。

投影範囲３０１の外周部に操作対象となるボタンやアイコン等が配置されているＧＵＩの場合は、外周部のみで指先位置を検出できればよいため、ステップＳ１０６〜Ｓ１１２を実行しない。

（第４の実施形態）
図１６は、第４の実施形態に係るインターフェイス装置を示すブロック図である。第４の実施形態に係るインターフェイス装置１００の構成は、変動検出部２０２を備えないことを除き、第３の実施形態の構成と同一である。

図１７は、第４の実施形態に係るインターフェイス装置の動作を表すフローチャート、図１８は、第４の実施形態に係るユーザの指先位置による明度調整領域の変化を示す図である。図１８における状態８０１〜状態８０６の遷移は、図１５に示した状態７０１〜状態７０８にほぼ対応する。

インターフェイス処理部２００の動作について説明する。

第４の実施形態に係るインターフェイス装置１００では、まず、固定位置明度調整部２０６により予め設定された領域を明度調整領域４０１として設定し（ステップＳ１０１）、映像入力部１０４により入力された映像について明度設定領域の画素値を変更し（ステップＳ１０２）、投影部１０２に出力する。

ステップＳ１０１では、固定位置明度調整部２０６において、スクリーン上において指先よりも大きな明度調整領域４０１を設定する。第３の実施形態と比較すると、調整領域４０１が大きくなってしまうため、外周部に帯状に設定するのではなく、一部に円や多角形領域の内側として設定したほうがよい。明度調整領域４０１の大きさは、例えば、スクリーン上の指の大きさを基準として、指１．５本分〜３本分程度の大きさにする。これは、後述のステップＳ１０９において、形状を用いて指先を検出するために、指先形状が判別できるように、指先が明度調整領域４０１の内部に含まれる必要があるためである。

ステップＳ１０２、Ｓ１０７〜Ｓ１１２は、第３の実施形態と同一である。

第４の実施形態のインターフェイス装置によれば、スクリーンが移動するなどの理由により、投影範囲３０１の背景が変動する環境において、指先の形状だけを用いることで指先位置を安定して検出することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，１００…インターフェイス装置、２…撮像部、３…表示部、４…検出部、５…追加表示部、１０６…指示位置表示部

Claims (18)

1. 指示物体の位置および方向に応じたインターフェイスを表示するインターフェイス装置であって、
   第１の画像フレーム群に基づく映像を表示する表示手段と、
   前記映像が表示された面を撮像することにより第２の画像フレーム群を得る撮像手段と、
   前記第１の画像フレーム群と前記第２の画像フレーム群とに基づいて、前記指示物体の位置および方向を検出する検出手段と、
   前記指示物体が検出された位置に一定照度以上の光が照射され、前記位置からの距離に応じて照度が減衰するように特定形状を前記インターフェイスと共に表示する追加表示手段と、を具備することを特徴とするインターフェイス装置。
2. 前記検出手段は、前記特定形状に対応する領域において前記指示物体の位置および方向を検出することを特徴とする請求項１に記載のインターフェイス装置。
3. 前記追加表示手段は、前記指示物体の周辺に配置され、前記指示物体とは重ならないように楕円の一部を切り欠いた円弧形状を有するインターフェイスを表示することを特徴とする請求項１に記載のインターフェイス装置。
4. 前記追加表示手段は、
   前記指示物体により指示可能なメニューであって、該メニュー内に配列される複数のアイコン又はテキストを有し、該アイコン又はテキストは夫々コマンドに対応付けられるインターフェイス
   を表示することを特徴とする請求項１に記載のインターフェイス装置。
5. 前記追加表示手段は、前記指示物体の方向に前記円弧形状の中心を位置付けるように前記インターフェイスを表示することを特徴とする請求項３に記載のインターフェイス装置。
6. 前記追加表示手段は、前記指示物体の位置の一定時間以上の停滞又は前記位置の特定の軌跡に応じて、前記インターフェイスの表示を開始することを特徴とする請求項１に記載のインターフェイス装置。
7. 前記追加表示手段は、前記指示物体の一定量以上の移動距離に応じて、前記インターフェイスの表示を終了することを特徴とする請求項１に記載のインターフェイス装置。
8. 前記追加表示手段は、前記指示物体の方向に対応するアイコン又はテキストを他のアイコン又はテキストに対して強調して表示する請求項４に記載のインターフェイス装置。
9. 前記追加表示手段は、前記指示物体により選択されたアイコン又はテキストを非選択のアイコン又はテキストに対して強調して表示する請求項４に記載のインターフェイス装置。
10. 前記追加表示手段は、前記複数のアイコン又はテキストの一部を前記メニュー内に配列し、表示すべきアイコン又はテキストを変更するためのボタンを表示することを特徴とする請求項４に記載のインターフェイス装置。
11. 前記追加表示手段は、前記指示物体の特定の移動軌跡に応じて、前記表示すべきアイコン又はテキストを変更することを特徴とする請求項１０に記載のインターフェイス装置。
12. 前記追加表示手段は、前記特定形状と重なり合うアイコン又はテキストを拡大表示し、あるいは前記特定形状と重なり合うアイコン又はテキストを吹き出しと共に表示することを特徴とする請求項４に記載のインターフェイス装置。
13. 前記第１のフレーム群の各々のフレーム内の固定位置における特定領域の明るさを変更する固定位置明度調整手段をさらに具備することを特徴とする請求項１に記載のインターフェイス装置。
14. 前記特定領域は、前記映像が表示される面の周辺の少なくとも一部であることを特徴とする請求項１３に記載のインターフェイス装置。
15. 前記検出手段は、前記特定領域の内側における前記指示物体の位置および該位置の変動を背景差分又はフレーム間差分により検出することを特徴とする請求項１３に記載のインターフェイス装置。
16. 前記第２の画像フレーム群において、前記表示手段により映像が表示されていない位置の画素値と予め与えられた閾値とを比較することにより、環境光の明るさを検出する周辺明るさ検出手段をさらに具備し、
    前記固定位置明度調整手段は、前記環境光の明るさに応じて、前記表示手段が表示する映像を変更することを特徴とする請求項１３に記載のインターフェイス装置。
17. 指示物体の位置および方向に応じたインターフェイスを表示するインターフェイス方法であって、
    表示手段が第１の画像フレーム群に基づく映像を表示することと、
    前記映像が表示された面を撮像手段が撮像することにより第２の画像フレーム群を得ることと、
    前記第１の画像フレーム群と前記第２の画像フレーム群とに基づいて、検出手段が前記指示物体の位置および方向を検出することと、
    前記指示物体が検出された位置に一定照度以上の光が照射され、前記位置からの距離に応じて照度が減衰するように特定形状を前記インターフェイスと共に追加表示手段が表示することとを含む方法。
18. 指示物体の位置および方向に応じたインターフェイスを表示するプログラムであって、
    コンピュータを、
    第１の画像フレーム群に基づく映像を表示する表示手段、
    前記映像が表示された面を撮像することにより第２の画像フレーム群を得る撮像手段、
    前記第１の画像フレーム群と前記第２の画像フレーム群とに基づいて、前記指示物体の位置および方向を検出する検出手段、
    前記指示物体が検出された位置に一定照度以上の光が照射され、前記位置からの距離に応じて照度が減衰するように特定形状を前記インターフェイスと共に表示する追加表示手段、として機能させるためのプログラム。

Images