JP5564300B2

JP5564300B2 - ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法

Info

Publication number: JP5564300B2
Application number: JP2010065210A
Authority: JP
Inventors: 宗之大島
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-19
Filing date: 2010-03-19
Publication date: 2014-07-30
Anticipated expiration: 2030-03-19
Also published as: JP2011198150A

Description

本発明は、ヘッドマウント型の拡張現実映像提示装置に係り、特に、眼前に表示されている仮想表示物をユーザが容易に操作できるヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法に関する。

拡張現実の映像を提示するソフトウェアが開発され、利用されるようになってきている。例えばカメラ付き携帯電話機用アプリケーションソフトウェアでは、カメラで撮影されたシーンに即した情報（周辺の観光案内等）をネットワーク経由で取得し、この情報の存在を示す仮想表示物（アイコン等）を撮影画像に合成し、携帯電話機の表示画面上に表示する。そして、ユーザが上記仮想表示物をタッチパネル等を用いて表示画面上で選択すると、仮想表示物が拡大し、詳細情報（観光施設の歴史等）を閲覧したり、ローカルの記録領域に情報をコピーしたりできる。また、ユーザ自らが情報を付与した仮想表示物を生成したりすることもできる。

この様な拡張現実の映像を携帯電話機の小さな表示画面に表示しても、見づらいという問題がある。また、臨場感にも欠ける。そこで、携帯電話機にヘッドマウントディスプレイ装置（ＨＭＤ）を接続し、撮影映像と仮想表示物を表示させることで、ユーザは、臨場感のある大きく見易い映像を見ることが可能となる。

しかし、ヘッドマウントディスプレイ装置を使用すると、ユーザの目が、眼前を覆う表示画面に塞がれてしまい、表示画面中の仮想表示物を携帯電話機で操作することができなくなってしまうという問題が生じる。

この問題を解決するための手段としては、例えば下記の特許文献１に記載されている様に、ユーザの手にジャイロセンサを取り付けて手の位置をヘッドマウントディスプレイ装置が把握し、表示画面に表示されている仮想空間内に手の画像を表示させることで、手の画像を用いて仮想表示物の操作を行うことが考えられる。あるいは、ヘッドマウントディスプレイ装置の表示画面側に赤外線カメラを取り付け、ユーザの視線を感知して操作指示を出すことも可能である。

しかしながら、ジャイロセンサ等のセンサ類や赤外線カメラ等の特別な装置を設ける場合、ヘッドマウントディスプレイ装置のコストが嵩み、大がかりな装置構成になってしまうという問題がある。

特開２００３―３３７９６２号公報

本発明の目的は、高価なセンサ類などの装置を用いることなく、ヘッドマウントディスプレイ装置に表示された仮想表示物を容易に操作することができるヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法を提供することにある。

本発明のヘッドマウント型拡張現実映像提示装置は、被写体画像を撮影する撮像手段と、該撮像手段の位置を検出する位置検出手段と、前記撮像手段の撮影方向を検出する方向検出手段と、前記位置検出手段の検出結果及び前記方向検出手段の検出結果から前記被写体画像の撮影範囲を算出する算出手段と、該算出手段が算出した前記撮影範囲を外部のデータベースに送信して該撮影範囲に即した情報の存在を示すデータ（該データを以下「仮想物データ」という。）を該データベースから取得する仮想物データ取得手段と、前記撮像手段に前記被写体画像の一部としてポインタ画像を撮影させ該被写体画像と前記仮想物データを示す仮想表示物とを合成して合成画像を生成する画像合成手段と、該合成画像を表示するヘッドマウント型表示手段と、を備え、前記ポインタ画像は前記ヘッドマウント型表示手段を被ったユーザの手の画像であり、前記手の画像の動きにより該動きに対応した作用力を前記仮想表示物に与えて該仮想表示物の表示位置を制御する制御手段を更に備える。
本発明のヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法は、被写体画像を撮影する撮像手段と、該撮像手段の位置を検出する位置検出手段と、前記撮像手段の撮影方向を検出する方向検出手段と、前記位置検出手段の検出結果及び前記方向検出手段の検出結果から前記被写体画像の撮影範囲を算出する算出手段と、該算出手段が算出した前記撮影範囲を外部のデータベースに送信して該撮影範囲に即した情報の存在を示す仮想物データを該データベースから取得する仮想物データ取得手段と、前記撮像手段に前記被写体画像の一部としてポインタ画像を撮影させ該被写体画像と前記仮想物データを示す仮想表示物とを合成して合成画像を生成する画像合成手段と、該合成画像を表示するヘッドマウント型表示手段とを備えるヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法であって、前記ポインタ画像は前記ヘッドマウント型表示手段を被ったユーザの手の画像であり、前記手の画像の動きにより該動きに対応した作用力を前記仮想表示物に与えて該仮想表示物の表示位置を制御する。

本発明によれば、高価なセンサ類などの装置を用いることなく、ヘッドマウント型の表示手段に表示された仮想表示物を直感的に容易に操作することが可能となる。

本発明の一実施形態に係るヘッドマウント型拡張現実映像提示装置の機能ブロック図である。図１に示す表示画面に表示される画像例を示す図である。別実施形態に係る指先画像の取り込み例を示す図である。指先画像をポインタ画像としたときの操作手順を示す図である。指先画像を用いた操作例の説明図である。指先画像を用いた別の操作例を説明する図である。手の画像を用いた別の操作例を説明する図である。マーカ画像をポインタ画像として取り込む図である。マーカ画像をポインタ画像としたときの操作手順を示す図である。マーカ画像を用いた操作例の説明図である。マーカ画像を用いた別の操作例の説明図である。点光源画像をポインタ画像として取り込む図である。点光源画像をポインタ画像としたときの操作手順を示す図である。点光源画像を用いた操作例の説明図である。点光源画像を用いた別の操作例を説明する図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の第１実施形態に係るヘッドマウント型拡張現実映像提示装置の機能ブロック図である。本実施形態のヘッドマウント型拡張現実映像提示装置１０は、本装置１０を統括制御する中央演算処理装置（ＣＰＵ）１１と、ＣＰＵ１１に接続されたバス１２とを備える。

バス１２には、カメラ１４に接続された撮像制御部１５と、メインメモリ１６と、カメラ１４で撮影された画像信号をデジタル処理する信号処理部１７と、撮影レンズ１４ａ及び撮像センサ１４ｂで構成されるカメラ１４の位置，姿勢を計測する計測部１８と、位置情報を取得するＧＰＳ（グローバルポジショニングセンサ）２６と、方向情報を取得する地磁気センサ２７と、後述する仮想表示物等と撮像センサ１４ｂで撮影され信号処理された映像とを合成する画像合成部１９とが接続される。

更に、バス１２には、アンテナ２０を備える通信制御部２１と、詳細は後述するポインタ検出認識部２２及びポインタ監視部２３と、表示画面部（ＥＶＦ）２４が接続された画像表示制御部２５とが接続される。

このヘッドマウント型拡張現実映像提示装置１０は、外部のデータベースとの間で通信制御部２１を通して通信を行い、仮想物データを取得する。多数の仮想物データ（テキストデータや画像データ等の様々な情報を含む）が格納されている外部のデータベース３０には、仮想物データ検索部３１と通信制御部３２とアンテナ３３とが設けられている。

ヘッドマウント型拡張現実映像提示装置１０は、撮像センサ１４ｂが撮影した被写体画像の撮影範囲を、ＧＰＳ２６及び地磁気センサ２７で取得した情報を基にカメラ位置，姿勢の計測部１８で算出する。そして、被写体画像の撮影範囲に対応する方向や位置のデータを、自身の通信制御部２１，アンテナ２０を通してデータベース３０の通信制御部３２に送信する。

仮想物データ検索部３１は、受信したデータに基づいて被写体画像の撮影範囲に対応する仮想物データをデータベース３０を検索して取得し、検索した仮想物データをヘッドマウント型拡張現実映像提示装置１０に返送する。

ヘッドマウント型拡張現実映像提示装置１０のＣＰＵ１１は、受信した仮想物データをアイコン化して画像合成部１９に渡し、画像合成部１９は、このアイコンを、撮像センサ１４ｂが撮影した画像に仮想表示物として合成し表示画面２４に表示する。

このヘッドマウント型拡張現実映像提示装置１０では、通信制御部２１とアンテナ２０を内蔵しているが、この２つの機能を、携帯電話機の機能で代用する構成としても良い。

携帯電話機にはカメラが搭載されたものがあるため、ヘッドマウント型拡張現実映像提示装置１０の撮像制御部１５やカメラ１４を、携帯電話機搭載のカメラで代用する構成とすることも可能である。また、ＧＰＳセンサ２６や地磁気センサ２７を携帯電話機搭載のＧＰＳや地磁気センサで代用する構成としても良い。携帯電話機の機能とヘッドマウント型拡張現実映像提示装置１０の機能のうち重複する機能（上記の例ではカメラ機能やＧＰＳ機能）がある場合、ヘッドマウント型拡張現実映像提示装置１０の機能を優先して使用し、特別な指示がユーザから入力されたとき携帯電話機の機能を使用する構成とするのが良い。

図２は、図１に示すヘッドマウント型拡張現実映像提示装置１０の表示画面例を示す図である。カメラ１４で撮影した風景が画面２４に表示されている。ＣＰＵ１１は、拡張現実（ＡＲ）アプリケーションソフトウェアを実行し、上記したように仮想物データベース３０から取得した仮想物データのアイコンを、夫々仮想表示物（エアタグともいう。）１ａ，１ｂ，…で表示する。各エアタグ１ａ，１ｂ，…は、被写体画像中の夫々が対応する建物等の場所毎に表示される。

例えば、ここでユーザがエアタグに付与された情報を閲覧するためには、複数個表示されているエアタグから所望のエアタグを表示画面から選択し、閲覧用のアプリケーションソフトウェアを起動する必要がある。このように所望のエアタグに対して特定の機能を発現させるために、ユーザはエアタグとインタラクションをとる必要がある。

しかし、ユーザがヘッドマウント型拡張現実映像提示装置１０を装着すると、ディスプレイ装置（図１の表示画面）２４がユーザの目の付近全体を覆うため、ユーザは自身の手元を見ることができない。このため、タッチパネルの様な装置やハードウェアキーを操作することはできない。

そこで、本実施形態では、ユーザの指先の画像をカメラ１４又は携帯電話機のカメラで撮影し、この指先の画像を、画面２４に表示する。カメラ１４で指先を撮影する場合には、ユーザは自身の指先をカメラ１４の前方（ヘッドマウント型拡張現実映像提示装置１０の前方）に掲げ、指先画像２が風景と同時に写るようにする。そして、次に説明する様に、ＣＰＵ１１は、この指先画像２を用いて、ＡＲ用のユーザインタフェース処理に移行する。

図３は、ユーザが自身の指先の画像を携帯電話機のカメラから取り込む様子を示す図である。図１，図２では、カメラ１４で風景の画像の指先の画像を取り込んだが、図３では、携帯電話機５付属のカメラで風景の画像と指先の画像を取り込んでいる。そして、携帯電話機５とケーブル接続されたヘッドマウント型拡張現実映像提示装置１０のＣＰＵ１１は、携帯電話機５から送信されてくる画像データを取り込み、表示画面２４に表示する。

図４は、ユーザの指先画像をポインタとしてエアタグを操作するユーザインタフェース処理手順の説明図である。先ず、撮影画像を取り込み（ステップＳ１）、色相を観察して肌色の領域（手，指先）を検出する（ステップＳ２）。次に、仮想表示物（エアタグ）の配置座標データを取得し（ステップＳ３）、肌色領域の輪郭とエアタグとの直線距離を算出する（ステップＳ４）。

これと並行し、前フレームの撮影画像の肌色検出結果（ステップＳ２ａ）と今回フレームの肌色検出結果（ステップＳ２）との差分画像生成し（ステップＳ５）、肌色領域の動きベクトルを算出する（ステップＳ６）。

ステップＳ４とステップＳ６の後は、ステップＳ７に進み、これまでの演算結果から操作指示がどの様な操作指示であるかを認識すると共に、操作対象のエアタグを認識する。認識方法に関しては後述する。次のステップＳ８で、操作対象のエアタグに対して上記操作指示に基づく機能を発現する。つまり、操作指示が消去指示であれば、操作対象のエアタグを消去し、ステップＳ１に戻る。

ステップＳ７で、操作対象のエアタグを認識できなかった場合や、操作指示を認識できなかった場合には、ステップＳ７からステップＳ１に戻る。

この様なユーザインタフェース処理を行うことで、ジャイロセンサの様な特別な装置を用いることなく、エアタグの操作が可能となる。

図５〜図７は、上述した操作指示の説明図であり、図５（ａ）は、つかむ動作を示し、図５（ｂ）は、離す動作を示している。肌色領域２のフレーム間差分により肌色領域の増加領域と減少領域を計算し、増加領域の面積が一定未満である状態が一定時間継続し、かつ、図５（ａ）の左図に示す様に、肌色領域（指先画像）２にエアタグ１が２点以上で接している場合、エアタグ１を「つまんだ」とみなし、以後、図５（ａ）の右図に示す様に、エアタグ１を指先画像２の移動に追従させて移動させる。あるいは、肌色領域２が一定以上エアタグ１に近いとき「つまんだ」とみなしても良い。

エアタグ１を「つまんだ」状態から（図５（ｂ）左図）、図５（ｂ）の右図に示す様に、肌色領域２を一定以上の速度で移動させると、エアタグ１を「離した」とみなし、エアタグ１を肌色領域２に対して追従させない。

図６は、エアタグ１を廃棄（消去）させる操作指示の説明図である。エアタグ１をつまんだ状態で指先画像２の移動に追従させて移動させ、機能を発現させるアイコン、この場合には廃棄させるゴミ箱アイコン４にエアタグ１を重ねることで、エアタグ１を廃棄する。

図７は、エアタグ１を手で払いのける動作を行う説明図である。手の全体をカメラで写し、肌色領域２が一定以上の速度で移動し、移動した経路途中にエアタグ１が存在した場合、エアタグ１は、肌色領域２の移動速度，方向に応じた速度，向きに吹き飛ぶ様にする。

即ち、肌色領域２の撮像画像フレーム間差分により、肌色領域の増加領域と減少領域を計算し、増加領域の面積が一定以上かつエアタグがその増加領域にある場合はエアタグに対して作用力を生じさせる。若しくは、増加領域の中心座標と減少領域の中心座標を結んだ線分の延長線上かつ減少領域から増加領域に向かう方向にエアタグがある場合はエアタグに対して作用力を生じさせる。

作用力は、以下のパラメータ、即ち、増加領域の面積（大きいほど作用力が大きい）、増加領域の中心座標と減少領域の中心座標を結んだ線分の方向（作用力の力ベクトル）に依存させる。この様なプロセスでユーザのエアタグを払う動作を認識し、エアタグに作用力を与える。

この様に、ユーザは、ジェスチャーの様に自身の手や指先を動作させることで、様々な機能をエアタグに対して発現させることができる。

上述した実施形態では、ユーザが自身の手や指先の画像をポインタとしてエアタグを操作したが、指先等の他に別のものをポインタとして利用することができる。

図８は、スティック状のマーカのカメラ撮影画像をポインタとする例を示している。マーカ６を携帯電話機５のカメラで撮影し、この撮影画像をヘッドマウント型拡張現実映像提示装置１０に送り、これをポインタとして使用する。マーカ６には、二次元の幾何学パターンが記載されている。図示する例では、「ダウンロード」を意味するパターン、即ち、箱内にものを取り込む矢印が記載されている。

図９は、図８で示したマーカ画像６をポインタとしてエアタグを操作するユーザインタフェース処理手順の説明図である。先ず、マーカ画像６をカメラから取り込む（ステップＳ１１）。そして、次のステップＳ１２で、マーカ画像６の輝度成分を２値化した後、予め登録しておいたマーカの画像とのテンプレートマッチングによりマーカ画像６の検出，認識を行うと共に、認識したマーカについてカメラとの相対的な位置，姿勢を算出する。

次のステップＳ１３では、エアタグ１の配置座標データを取得し、ステップＳ１４で、マーカ画像６の中心とエアタグ１との距離を算出する。

これと並行してステップＳ１５では前フレームの撮影画像のマーカの位置，姿勢データを保持しておき、ステップＳ１６で、ステップＳ１５で保持しているマーカの位置，姿勢データとステップＳ１２の今回フレームにおけるマーカの位置，姿勢データとの差分からマーカ画像６の動きベクトルを算出する。

そして、このマーカ画像の動きベクトルと、ステップＳ１４で求めたマーカ画像中心とエアタグとの距離とにより、ユーザが操作対象としているエアタグがどのエアタグであるか認識すると共に、操作指示の認識も行う（ステップＳ１７）。

次のステップＳ１８では、ステップＳ１７の認識結果に基づいて操作対象のエアタグに対して機能を発現し、ステップＳ１１に戻る。ステップＳ１７でいずれかの認識が不可となった場合には、ステップＳ１１に戻る。

これにより、特別な装置を用いずに直感的な操作でエアタグを操作することが可能となる。

図１０は、マーカ画像６を用いた操作指示の説明図である。エアタグ１をダウンロードしたい場合には、エアタグ１にマーカ画像６を近づけ、一定時間接近させ、あるいは両者を重ねる。これにより、エアタグ１に対応するデータがダウンロードされる。

マーカ画像は平面の台紙の表裏に夫々パターンが描かれており、夫々に異なる機能が関連付けられている。マーカ画像６の裏には、ゴミ箱パターンが描かれており、ゴミ箱パターン側がカメラ側に向けて撮影すると、図１１に示す様な状態となる。そして、このゴミ箱パターンを該当エアタグに近づけて一定時間接近させることで、このエアタグを廃棄することができる。

上記例では、マーカの２つのパターンについて述べたが、その他に様々な機能に対応するパターンを用意しておけば、様々な機能を実現できる。マーカは平面の台紙だけでなく、多面体の台紙に複数配置されても良い。また、液晶ディスプレイの様な表示デバイスに様々な機能を示すパターンをユーザの指示で切替表示させる構成としても良い。

この様な構成により、様々な機能をエアタグに対して発現させることが可能となる。

図１２は、ポインタとして、スティックの先に取り付けた発光体（ＬＥＤ）をポインタとする例であり、このＬＥＤ７を携帯電話機のカメラで撮影し、ヘッドマウント型拡張現実映像提示装置１０に送る。

図１３は、図１２で示したＬＥＤ画像７をポインタとしてエアタグを操作するユーザインタフェース処理手順の説明図である。先ず、ＬＥＤ画像７をカメラから取り込む（ステップＳ２１）。そして、次のステップＳ２２で、ＬＥＤ画像７の輝度成分を２値化した後、ＬＥＤ点光源を検出する。このとき、検出したＬＥＤ点光源の色成分や発光パターンを認識しても良い。その後、ステップＳ２３でエアタグ１の配置座標データを取得し、ステップＳ２４で、ＬＥＤ点光源７とエアタグ１との距離を算出する。

これと並行してステップＳ２５では前フレームの撮影画像におけるＬＥＤ点光源の位置を保持し、ステップＳ２６で、今回フレームの撮影画像との差分からＬＥＤ点光源７の動きベクトルを算出する。この動きベクトルと、ステップＳ２４で求めた距離とにより、ユーザが操作対象としているエアタグがどのエアタグであるか認識すると共に、操作指示の認識も行う（ステップＳ２７）。

次のステップＳ２８では、ステップＳ２７の認識結果に基づいて操作対象のエアタグに対して機能を発現し、ステップＳ２１に戻る。ステップＳ２７でいずれかの認識が不可となった場合には、ステップＳ２１に戻る。

これにより、直感的な操作によりエアタグの操作を行うことができる。

図１４，図１５は、ＬＥＤ点光源を用いた操作指示の説明図である。本実施形態で用いるＬＥＤ点光源は、ユーザの指示により発光色を黄色，赤色に変更可能となっており、色毎に発現機能を変えている。色ではなく、発光パターン（例えば点滅速度）を変えて発現機能を変える様にしても良い。色と発光パターンの組合せで発現機能を変えても良い。

ＬＥＤ点光源７の発光色を黄色にし、図１４に示す様に、エアタグ１にＬＥＤ点光源を近づけ、一定時間接近状態を保つ。これにより、このエアタグに対応したアプリケーションソフトが実行される。

ＬＥＤ点光源７の発光色を赤色にし、図１５に示すように、エアタグ１にＬＥＤ点光源を近づけ、一定時間接近状態を保つ。これにより、エアタグが別のエアタグに置き換えられる。

本実施形態によれば、ＬＥＤ点光源を動かすだけで、様々な機能をエアタグに対して発現させることが可能となる。

以上述べた様に、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、被写体画像を撮影する撮像手段と、該撮像手段の位置を検出する位置検出手段と、前記撮像手段の撮影方向を検出する方向検出手段と、前記位置検出手段の検出結果及び前記方向検出手段の検出結果から前記被写体画像の撮影範囲を算出する算出手段と、該算出手段が算出した前記撮影範囲を外部のデータベースに送信して該撮影範囲に対応する仮想物データを該データベースから取得する仮想物データ取得手段と、前記撮像手段に前記被写体画像の一部としてポインタ画像を撮影させ該被写体画像と前記仮想物データを示す仮想表示物とを合成して合成画像を生成する画像合成手段と、該合成画像を表示するヘッドマウント型表示手段とを備えるヘッドマウント型拡張現実映像提示装置であって、前記合成画像中の前記ポインタ画像と前記仮想表示物との相互関係が所定条件を満たしたとき該仮想表示物に対する前記ポインタ画像による所要操作が実行されたとして該仮想表示物に対応する前記仮想物データに対し前記所要操作に対応する所要の機能を発現させることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法の前記所定条件は、前記ポインタ画像の動きで決められることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、前記ポインタ画像は前記ヘッドマウント型表示手段を被ったユーザの手の画像であり、前記制御手段は前記ポインタ画像の範囲を肌色検出で識別し該肌色の領域のフレーム間差分から該ポインタ画像の動きを認識することを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、前記手の画像の動きにより該動きに対応した作用力を前記仮想表示物に与えて該仮想表示物の表示位置を制御することを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、前記手の画像の動きが前記仮想表示物に２点以上で所定時間継続して接していたとき該仮想表示物をつまんだ操作であるとみなし前記ポインタ画像の移動に追従させて該仮想表示物の表示位置を移動させ、該ポインタ画像が該仮想表示物から所定速度以上で移動したとき離す操作であるとみなして該ポインタ画像だけ移動させることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法の前記所定条件は、前記ポインタ画像の二次元幾何学パターンで決められることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、前記ポインタ画像はマーカの画像であり、該マーカには、前記仮想物データに対する前記機能の内容を識別する前記二次元幾何学パターンが表示されていることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、前記マーカの画像は多面体の画像であり、該多面体の各面に異なる前記二次元幾何学パターンが表示されていることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、前記マーカは表示手段であり、該表示手段に表示する前記二次元幾何学パターンが複数種類用意され切換表示されることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法の前記所定条件は、前記ポインタ画像の表示色，表示パターン，表示パターンの変化のうちの少なくとも１つで決められることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、前記ポインタ画像は点光源の画像であることを特徴とする。

また、実施形態のヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法は、異なる前記機能を前記点光源の発光色又は発光パターンで識別することを特徴とする。

以上述べた各実施形態によれば、ユーザの目がヘッドマウント型の表示画面で覆われユーザが自身の手元を視認できなくても、特別なセンサ類等なしで合成画像中の仮想表示物を操作することが可能となる。

本発明に係るヘッドマウント型拡張現実映像提示装置は、ヘッドマウントディスプレイ装置で拡張現実映像を表示させている最中に、高価なポインタ装置を用いなくても映像中の仮想表示物を容易に操作することができるため、ヘッドマウント型拡張現実映像提示装置の普及を図るのに有用である。

１，１ａ，１ｂ仮想表示物（エアタグ）
２ユーザの指先画像
５携帯電話機
６マーカ画像
７ＬＥＤ点光源画像
１０ヘッドマウンド型拡張現実映像提示装置
１１ＣＰＵ
１４内蔵カメラ
１９画像合成部
２１内蔵通信制御部
２２ポインタ検出認識部
２３ポインタ監視部
２４表示画面
２６ＧＰＳ
２７地磁気センサ
３０仮想物データベース
３１仮想物データ検索部

Claims

被写体画像を撮影する撮像手段と、該撮像手段の位置を検出する位置検出手段と、前記撮像手段の撮影方向を検出する方向検出手段と、前記位置検出手段の検出結果及び前記方向検出手段の検出結果から前記被写体画像の撮影範囲を算出する算出手段と、該算出手段が算出した前記撮影範囲を外部のデータベースに送信して該撮影範囲に即した情報の存在を示すデータ（該データを以下「仮想物データ」という。）を該データベースから取得する仮想物データ取得手段と、前記撮像手段に前記被写体画像の一部としてポインタ画像を撮影させ該被写体画像と前記仮想物データを示す仮想表示物とを合成して合成画像を生成する画像合成手段と、該合成画像を表示するヘッドマウント型表示手段と、を備え、
前記ポインタ画像は前記ヘッドマウント型表示手段を被ったユーザの手の画像であり、
前記手の画像の動きにより該動きに対応した作用力を前記仮想表示物に与えて該仮想表示物の表示位置を制御する制御手段を更に備えるヘッドマウント型拡張現実映像提示装置。
請求項１に記載のヘッドマウント型拡張現実映像提示装置であって、前記制御手段は前記手の画像の範囲を肌色検出で識別し該肌色の領域のフレーム間差分から該手の画像の動きを認識するヘッドマウント型拡張現実映像提示装置。
請求項１又は２に記載のヘッドマウント型拡張現実映像提示装置であって、前記手の画像の動きが前記仮想表示物に２点以上で所定時間継続して接していたとき該仮想表示物をつまんだ操作であるとみなし前記手の画像の移動に追従させて該仮想表示物の表示位置を移動させ、該手の画像が該仮想表示物から所定速度以上で移動したとき該仮想表示物を離す操作であるとみなして該手の画像だけ移動させるヘッドマウント型拡張現実映像提示装置。
被写体画像を撮影する撮像手段と、該撮像手段の位置を検出する位置検出手段と、前記撮像手段の撮影方向を検出する方向検出手段と、前記位置検出手段の検出結果及び前記方向検出手段の検出結果から前記被写体画像の撮影範囲を算出する算出手段と、該算出手段が算出した前記撮影範囲を外部のデータベースに送信して該撮影範囲に即した情報の存在を示す仮想物データを該データベースから取得する仮想物データ取得手段と、前記撮像手段に前記被写体画像の一部としてポインタ画像を撮影させ該被写体画像と前記仮想物データを示す仮想表示物とを合成して合成画像を生成する画像合成手段と、該合成画像を表示するヘッドマウント型表示手段とを備えるヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法であって、
前記ポインタ画像は前記ヘッドマウント型表示手段を被ったユーザの手の画像であり、前記手の画像の動きにより該動きに対応した作用力を前記仮想表示物に与えて該仮想表示物の表示位置を制御するヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法。
請求項４に記載のヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法であって、前記手の画像の範囲を肌色検出で識別し該肌色の領域のフレーム間差分から該手の画像の動きを認識するヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法。
請求項４又は５に記載のヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法であって、前記手の画像の動きが前記仮想表示物に２点以上で所定時間継続して接していたとき該仮想表示物をつまんだ操作であるとみなし前記手の画像の移動に追従させて該仮想表示物の表示位置を移動させ、該手の画像が該仮想表示物から所定速度以上で移動したとき該仮想表示物を離す操作であるとみなして該手の画像だけ移動させるヘッドマウント型拡張現実映像提示装置の仮想表示物操作方法。