JP6165485B2

JP6165485B2 - 携帯端末向けａｒジェスチャユーザインタフェースシステム

Info

Publication number: JP6165485B2
Application number: JP2013068961A
Authority: JP
Inventors: 孝小室; 政和樋口; 照穂藤井
Original assignee: EXVISION CORPORATION; Saitama University NUC
Current assignee: EXVISION CORPORATION; Saitama University NUC
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2017-07-19
Anticipated expiration: 2033-03-28
Also published as: JP2014192838A

Description

本発明は、携帯端末の背面に取り付けた小型カメラで撮影された実画像上に、仮想物体を重ね合わせて表示し、それを端末奥の空間に置いた手指で操作することで、携帯端末の制御や端末内のアプリケーションの動作に連動させることができるユーザインタフェースシステムに関する。

近年、コンピュータの小型化、軽量化が進んでおり、スマートフォンなどの高性能で持ち運び可能な携帯端末が一般的に普及するようになった。これにより、文書作成や画像編集など、従来ＰＣ上で行っていた作業が屋外で場所を選ばず容易に行えるようになってきた。しかし、小型の携帯端末は、その表面上に設置された操作領域が小さいため、煩瑣な操作を必要とする作業に対しては指による操作では限界があり利便性が低下する。

この問題を解決するための一つの手段として、拡張現実感（ＡＲ：Augmented Reality）の技術を用いて小型機器表面の２次元的な操作領域を３次元的な実空間に移し、より広い操作領域を確保することで機器の利便性の向上を図る研究が行われている。非特許文献２、３、５では、実空間の物体の表面やユーザの手や腕などに仮想物体を投映し、それらを実空間上で操作可能にしているが、小型プロジェクタなどの外部機器を身体に装着する必要があることや、仮想物体の投映面の形状に制限があるなどの問題点がある。

非特許文献１では、カメラで撮影した実画像上に仮想物体を重畳し、３次元空間内で仮想物体を直接手で触っている感覚を得るシステムを提案しているが、ユーザへの映像提示をヘッドマウントディスプレイを用いて行っているため、操作場所の制約は少ないが、ここでも外部機器装着の煩わしさがある。

それらに対し、特別な外部機器を必要とせず、携帯端末に搭載されたリソースのみを利用して指認識を行うことで、その端末を空中で操作可能にするユーザインタフェースシステムが開発されている（非特許文献４）。このシステムでは、外部機器装着の煩わしさは解消され、ユーザへの情報提示は端末のディスプレイに行われるため、利用環境も制限されないが、端末前面に取り付けられたカメラを使用するため、撮影画像に指認識を困難にする要因が写り込む。また、カメラのレンズ方向とユーザの視線方向が逆になるため、指の動きに連動させた仮想物体を重畳した場合、その動きが不自然に見え、３次元上での実体感のある操作を実現することが困難という問題があった。

M. Lee, W. Woo, ARKB: 3D vision-based Augmented Reality Keyboard,Int Conf Artif Real Telexistence, vol.13, pp.54--57, 2003. H. Roeber, J. Bacus, C. Tomasi, Typing in Thin Air:The Canesta Projection Keyboard -- A New Method of Interactionwith Electronic Devices, CHI'03 Extended Abstracts on Human Factors inComputing Systems, pp.712--713, 2003. P. Mistry, P. Maes, SixthSense: A Wearable Gestural Interface,ACM SIGGRAPH ASIA 2009 Sketches Article, No.11, 2009. T. Niikura, Y. Hirobe, A. Cassinelli, Y. Watanabe, T. Komuro, M. Ishikawa, In-Air Typing Interface for Mobile Devices with Vibration Feedback, ACM SIGGRAPH 2010 Emerging Technologies Article, No.15, 2010. C. Harrison, H. Benko, A. D. Wilson, OmniTouch: Wearable MultitouchInteraction Everywhere, Proceedings of the 24th annual ACM symposium on Userinterface software and technology, pp.441--450, 2011

そこで本発明は、携帯端末の背面に取り付けた小型カメラで撮影された実画像上に、仮想物体を重ね合わせて表示し、それを端末奥の空間に置いた手指で操作することで、実際にその仮想物体を触っているように感じながら、携帯端末の制御や端末内のアプリケーションの動作に連動させることができるユーザインタフェースシステムを提案することを目的になされたものである。

そのため本発明は、携帯端末の奥の空間に置いた手指を上方から撮影するカメラと、このカメラで撮影された手指の実画像上に仮想キーボードを重ね会わせて表示するディスプレイと、この仮想キーボードを操作することで、指の動きに連動しながら動く仮想キーとを備えたことを最も主要な特徴とする。

本発明は、カメラのレンズ方向と操作者の視線方向が一致するので、容易にＡＲの技術と組み合わせることができ、より現実感のある操作を実現できる。本発明者は、この検証用システムを用い、キーボードアプリケーションを通して、実際のキーを押しているように感じられ、その効果を確認した。

このシステムの最大の特徴は、前面カメラではなく背面カメラを用いているため、カメラのレンズ方向と操作者の視線方向が一致し、容易にＡＲの技術と組み合わせることができ、より現実感のある操作を実現できることある。つまり、カメラで撮影された実画像上に仮想物体を重畳し、それらを指の動きに連動させて動かしても不自然さを感じることがない。また、指認識結果を撮影画像に重畳することで、仮想物体上に指を移動させたときに、実際にその仮想物体を触っているかのようにユーザに視認させることができ、より実体感のある操作が実現できる。また、タッチパネルなどのように、直接指がディスプレイに触れないので、汗や皮脂などが表面に付着せず、ディスプレイの汚れを防止できる。

端末操作の際は、特別な外部機器を身体に装着する必要はなく、ユーザへの情報提示は端末のディスプレイに行われるため、利用環境を制限しないという利点もある。また、肘の曲げが浅い状態で操作できるため、操作者への身体的負担が軽減される。さらに、操作者の手指は端末奥に置かれるため、端末のディスプレイに顔を近づけて操作することも可能であり、端末ディスプレイ上に仮想物体が小さく表示されていても、それらを容易に目視でき誤操作を減らすことができる。これらは特に、体力や視力が低下した高齢者に対して有効である。

端末奥の広い空間が操作領域となるので、より利便性の高い端末操作を実現できる。手指認識の対象となる画像は、端末背面のカメラで撮影されるため、頭上からの光がカメラのレンズに対して逆光とならないため撮影画像は明るくなる。また、操作者の顔や屋内の蛍光灯などが撮影画像に写り込まない。さらに、操作者の爪のテクスチャ情報が利用できる。それらの利点により手指の認識が容易になる。従って端末背面のカメラで撮影される画像には、逆光・ユーザの顔・蛍光灯などの指認識を困難にする要因は含まれず、ユーザの爪が写り込むので、これらが指認識を容易にする。

指認識にはトラッキングベースのアルゴリズムを用いているため、カメラのフレームレートを上げることでその安定性が向上する。

以上により、このシステムは、広い操作空間上でＡＲにより実体感のある操作を容易に実現できるシステムとなっている。このシステムは操作の際に特別な操作環境を必要とせず、操作者への負担は軽く、安定した指認識も実現される。

本発明を実施したシステムの操作の様子を説明するための斜視図である。本発明を実施した実験システムの構成図である。別の実施例としてカメラを端末下側の側面に取り付けた斜視図である。ＡＲキーボードの例である。指先初期検出時に得られる指先画像の例である。指の動きに連動しながら動く仮想キーの例である。別の実施例としてキーの文字を見えるようにした指先の表示例である。

以下、本発明の実施の形態について説明する。

図１に、本発明を実施したシステムの操作の様子を説明するための斜視図を示す。
本システムは、手ｈが置かれた端末Ｔ奥の空間を端末Ｔの背面に取り付けた小型カメラ１で撮影し、得られた画像列を処理することで、指ｆの動きを認識し、その画像列に仮想キーボードｋと認識結果を重ね合わせて端末Ｔのディスプレイ２に表示する。よって、操作領域は端末Ｔ奥の広い空間となり、より利便性の高い端末操作を実現できる。

図２に、本発明を実施した実験システムの構成図を示す。図２（ａ）は、その正面図、図２（ｂ）は、その背面図を示す。
実験システムは、小型カメラ１、小型ディスプレイ２、ＰＣ３から構成される。
小型カメラ１は、ディスプレイ２の奥の空間を写すように端末Ｔの背面に取り付けられている。あるいは図３に示すように、小型カメラ１を端末Ｔの下側の側面に取り付けてもよい。これにより、手ｈが端末Ｔによって覆い隠されなくなるので、手指全体が直視できるようになり、操作性が向上する。

手指を含めて撮影された画像列はＰＣ３上で処理され、指ｆの動きがシステムへの入力として認識される。このシステムは、小型カメラ１が取り付けられた小型ディスプレイ２をスマートフォンなどの携帯端末に置き換え、ＰＣ３で行っている認識処理を携帯端末の処理系統で行うことにより、実システムとして実現できる。

指の動きの認識はトラッキングベースなアルゴリズムを用いて行い、指先の位置・姿勢を推定する。認識処理は、カメラから取得される撮影画像に対して順次行われる。その処理は、取得した一枚の撮影画像に対し、指先パラメータ推定の探索初期点を決定し、テンプレートマッチングにより指先のパラメータを推定する。得られた推定解は次の撮影画像のパラメータ探索初期点に設定される。推定する指先パラメータはカメラ光軸に垂直な平面上での水平・垂直の並進量、光軸方向の並進による倍率変化、光軸周りの回転角である。

指先の初期検出は、撮影画像の中心に配置された指先輪郭画像に指先を合わせることによって行われる。指先初期検出時の指先は画像として記憶され、それを以後のトラッキングにおいてテンプレートとして利用し実画像とのマッチングを行う。各時点において取得された撮影画像において、初期指先画像と撮影画像から構成される評価関数を最小にするような指先パラメータを求める。テンプレートとして用いる指先画像には指の周りの背景情報は含まれない。従って背景に依存しないパラメータ推定が可能となる。また、認識結果の実画像上への重畳も容易になる。

このシステムでは、撮影画像上に指の動きに連動して動く仮想物体を重畳することで、現実感のあるインタフェースをユーザに提示できる。そのインタフェースの例として、ＡＲキーボードを図４に示す。このインタフェースでは３次元空間上での指の動きとキーの動きを連動させており、カメラ１で撮影した実画像上に半透明の仮想キーボードｋを表示し、それをタイプできるようにしている。タイプした結果は上方の入力フィールドＮに表示される。キーボードｋの上には、指先初期検出時に得られた指先ｆ画像を指認識結果のパラメータに基づいて変形させた画像を表示する。このとき、端末Ｔの操作領域が小さいため仮想キーボードｋを小さく表示する場合は、指先ｆ画像のサイズを仮想キーボードｋのサイズに合わせて表示する。

指先画像を重畳させない場合は、仮想キーボードｋに触っている感が得られず、不自然さを感じるが、指先ｆ画像を重畳した場合は、実際に仮想キーボードｋを触っているかのようにユーザに視認させることができる。

図５に、指先初期検出時に得られる指先画像の例を示す。キータイプの判定は爪先付近の点ｐで行う。この点ｐがあるキー上に乗ったとき、その時点の指認識結果の指先サイズを記憶し、以後その値を基準にキーの奥行き方向への移動量が計算される。記憶した基準値よりも指先サイズが小さくなれば, その移動量は大きくなる。
従って、図６（ａ）から図６（ｂ）のように指ｆを端末奥に移動させていけばカメラ１に写る指サイズが小さくなりキーも奥へと押し込まれていき、指ｆをカメラ１に近づければ、押し込まれたキーも元の位置に戻る。このようにして、実際のキーボードのキーを実際に指ｆで押しているような感覚が得られる。指ｆが動いてキータイプ判定点が別のキー上に乗ったとき、その直前まで指が乗っていたキーは元の位置に戻り、キー押下の基準値は更新される。

新しく指ｆが乗ったキーに対する押下量はその新たな基準値に従って計算される。ある閾値を超えてキーが押し込まれた場合、キー入力と判定され、そのキーに対応する情報が端末内アプリケーションとユーザにフィードバックされる。キーの押下開始平面を一定の高さに設定した場合、新しいキーをタイプするときに、その高さまで指ｆを戻す必要があり、これは空中では不安定な操作の原因となる。

本システムでは、キー押下開始平面を可変にすることで、この問題を回避している。カメラ１からキー押下開始平面までの距離は固定されていないので、キーを押すときユーザはその平面を空中で探す必要がない。新しいキー押下は常にそのキー上に指ｆが乗った時点の指ｆ位置から開始されるので、手ｈ全体の大きな上下運動なしで、その時点の位置で指ｆの付け根の関節のみの動きによる小さな上下運動で新しいキーを押すことができる。これは、空中での安定したキータイピングを可能にする。

キータイピングにおいて、指ｆ等でキーに触れる際に、キー等のオブジェクトをその指ｆ等が覆い隠すので、ユーザがオブジェクトの位置を正確に認識できないという問題がある。特に指ｆの大きい大人或いは欧米人にとってはこれが問題になる場合が多い（いわゆるFat Finger Problem）。そのため、図７（ａ）に示すように、指ｆ先を半透明にしてキーの文字を見えるように表示したり、図７（ｂ）に示すように、指ｆ先を電子ペンのように細いスティック状に変形して表示してもよい。

実操作における主観的評価に関して、以下に述べる。キー上での指ｆの移動において、指ｆが乗っているキーが変わる毎にキー押下開始平面が初期化されるので、キーを僅かに押し込みながら指ｆは移動していく。これにより、被験者は実際のキーボード上で指ｆを滑らしているような感覚が得られた。また、キー押下開始平面を可変にすることで、被験者は任意の位置で小さな上下動作でキータイピングができた。加えて、その上下運動は、実際のキーボード上でのキータイピングの動きと同じであり、結果的に被験者は実際の感覚でキータイピングができた。このように、本システムは実体感を感じるインタフェースを携帯端末上で不自然なく容易にユーザに提示できる。

１カメラ
２ディスプレイ
３ＰＣ
ｆ指
ｈ手
ｋ仮想キーボード
Ｎ入力フィールド
Ｔ端末

Claims

携帯端末の奥側に位置する手指を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像と仮想キーボードとを重ね合わせて表示するディスプレイと、
前記撮影手段により撮影された撮影画像を取得し処理することによって指先の動きを検出し、前記撮像画像上に、検出された指先の動きに連動して動く仮想物体を重畳して表示するとともに、前記仮想キーボード上に配置された複数の仮想キーのうち、仮想物体と重畳して表示されている仮想キーを選択可能とした操作検出手段とを備え、
前記操作検出手段は、特定の仮想キーが選択されると、選択時の撮像画像における指先のサイズを、選択されている仮想キーに対するサイズ基準値として記憶し、
さらに、特定の仮想キーが選択されている状態で、新たに取得した撮像画像における指先のサイズが記憶されたサイズ基準値より減少すると、その減少値を基に選択されている仮想キーに対する押下量を計算し、その押下量が所定の閾値を超えると、選択されている仮想キーに対応する情報が、携帯端末内のアプリケーションと、携帯端末のユーザとにフィードバックされるように構成され、また、
新たな仮想キーが選択されると、直前まで選択されていた仮想キーに対して記憶されたサイズ基準値及び計算された押下量を初期化するように構成されていることを特徴とする携帯端末向けＡＲジェスチャユーザインタフェースシステム。
前記撮影手段は、携帯端末の背面あるいは下側の側面に取り付けられることを特徴とする請求項１記載の携帯端末向けＡＲジェスチャユーザインタフェースシステム。
前記仮想物体は指先を端末奥に移動させていけば表示サイズが小さくなり、かつ、選択されている仮想キーも奥へと押し込まれていき、指先を端末に近づければ、押し込まれた仮想キーも元の位置に戻ることを特徴とする請求項１記載の携帯端末向けＡＲジェスチャユーザインタフェースシステム。
前記撮影手段により撮影された手指の画像は、前記ディスプレイに半透明に表示されることを特徴とする請求項１記載の携帯端末向けＡＲジェスチャユーザインタフェースシステム。
前記撮影手段により撮影された手指の画像は、前記ディスプレイにスティック状の物体を表した画像に変換されて表示されることを特徴とする請求項１記載の携帯端末向けＡＲジェスチャユーザインタフェースシステム。