JP6354653B2 - 拡張現実操作システムおよび拡張現実操作プログラム - Google Patents

Description

本発明は、電子機器を操作するための操作用画像を撮影画像に合成した合成画像を表示して、操作用画像中の操作部に対する操作を受け付ける拡張現実操作システムおよび拡張現実操作プログラムに関する。

従来、画像形成装置を操作するための操作用画像を撮影画像に合成した合成画像をタッチパネルに表示して、操作用画像中の操作部に対する操作をタッチパネルで受け付ける画像形成システムが知られている（特許文献１参照。）。

特開２０１２−０２９１６４号公報

しかしながら、従来の画像形成システムにおいては、利用者が直接触れることによって操作するタッチパネルが必要であるという問題がある。

そこで、本発明は、利用者が直接触れることによって操作する入力デバイスを備えていなくても、撮影画像に合成した操作用画像中の操作部に対する操作を受け付けることができる拡張現実操作システムおよび拡張現実操作プログラムを提供することを目的とする。

本発明の拡張現実操作システムは、撮像デバイスと、表示デバイスと、電子機器と、前記電子機器を操作するための操作用画像を前記撮像デバイスによる撮影画像に合成した合成画像を前記表示デバイスに表示させる拡張現実手段と、前記操作用画像中の操作部に対する操作を受け付ける操作受付手段とを備え、前記操作受付手段は、前記撮像デバイスによって撮影された手の前記合成画像における位置と、前記合成画像における前記操作部の位置とに基づいて、前記操作部に対する操作を受け付けることを特徴とする。

この構成により、本発明の拡張現実操作システムは、撮像デバイスによって撮影された手の合成画像における位置と、合成画像における操作部の位置とに基づいて操作部に対する操作を受け付けるので、利用者が直接触れることによって操作する入力デバイスを備えていなくても、撮影画像に合成した操作用画像中の操作部に対する操作を受け付けることができる。

また、本発明の拡張現実操作システムは、音出力デバイスと、前記合成画像における前記操作部の位置に対応する現実空間における位置で前記操作部に対する操作音が出力させられているように前記音出力デバイスに立体音響で前記操作音を出力させる立体音響手段とを備えても良い。

この構成により、本発明の拡張現実操作システムは、合成画像における操作部の位置に対応する現実空間における位置で出力させられているように立体音響で出力させる操作音によって、現実空間に存在しない操作部に対する操作への違和感を抑えることができるので、操作部に対する操作感を向上することができる。

また、本発明の拡張現実操作システムにおいて、前記拡張現実手段は、前記撮像デバイスによって撮影された手の前記撮影画像における位置に応じて、仮想の手の画像を前記操作用画像に対して配置することによって、前記合成画像を生成しても良い。

この構成により、本発明の拡張現実操作システムは、合成画像における操作用画像に対して配置した仮想の手の画像と、合成画像における操作部の位置に対応する現実空間における位置で出力させられているように立体音響で出力させる操作音との相互作用によって、現実空間に存在しない操作部に対する操作への違和感を抑えることができるので、操作部に対する操作感を更に向上することができる。

また、本発明の拡張現実操作システムにおいて、前記拡張現実手段は、前記撮影画像に含まれる現実の手の画像を画像処理によって前記合成画像から消去しても良い。

この構成により、本発明の拡張現実操作システムは、現実の手の画像を合成画像に含めないことによって仮想の手の画像を目立たせることができるので、仮想の手による操作への違和感を更に抑えることができる。

また、本発明の拡張現実操作システムにおいて、前記拡張現実手段は、前記撮影画像に含まれる現実の手の画像の少なくとも一部の形状を前記仮想の手の画像の形状として使用しても良い。

この構成により、本発明の拡張現実操作システムは、仮想の手の画像の形状として利用者自身の現実の手の画像の少なくとも一部の形状を使用するので、現実空間に存在しない操作部に対する、仮想の手による操作への違和感を更に抑えることができる。

本発明の拡張現実操作プログラムは、電子機器を操作するための操作用画像を撮像デバイスによる撮影画像に合成した合成画像を表示デバイスに表示させる拡張現実手段、および、前記操作用画像中の操作部に対する操作を受け付ける操作受付手段として、コンピューターを機能させ、前記操作受付手段は、前記撮像デバイスによって撮影された手の前記合成画像における位置と、前記合成画像における前記操作部の位置とに基づいて、前記操作部に対する操作を受け付けることを特徴とする。

この構成により、本発明の拡張現実操作プログラムを実行するコンピューターは、撮像デバイスによって撮影された手の合成画像における位置と、合成画像における操作部の位置とに基づいて操作部に対する操作を受け付けるので、利用者が直接触れることによって操作する入力デバイスを備えていなくても、撮影画像に合成した操作用画像中の操作部に対する操作を受け付けることができる。

本発明の拡張現実操作システムおよび拡張現実操作プログラムは、利用者が直接触れることによって操作する入力デバイスを備えていなくても、撮影画像に合成した操作用画像中の操作部に対する操作を受け付けることができる。

本発明の一実施の形態に係る拡張現実操作システムのブロック図である。 図１に示すＭＦＰのブロック図である。 図１に示す拡張現実サーバーのブロック図である。 ＭＦＰを操作する場合の図３に示す拡張現実サーバーの動作のフローチャートである。 図１に示す表示デバイスに表示される合成画像の一例を示す図である。 表示デバイスが図５に示す合成画像を表示している場合に撮像デバイスによる撮影方向と直交する方向から観察したときのＭＦＰ、操作用画像、撮像デバイスおよび表示デバイスの位置関係を示す図である。 利用者の手が操作用画像よりも表示デバイス側に存在する場合に図１に示す表示デバイスに表示される合成画像の一例を示す図である。 表示デバイスが図７に示す合成画像を表示している場合に撮像デバイスによる撮影方向と直交する方向から観察したときのＭＦＰ、操作用画像、手、撮像デバイスおよび表示デバイスの位置関係を示す図である。 利用者の手が操作用画像よりもＭＦＰ側に存在する場合に図１に示す表示デバイスに表示される合成画像の一例を示す図である。 表示デバイスが図９に示す合成画像を表示している場合に撮像デバイスによる撮影方向と直交する方向から観察したときのＭＦＰ、操作用画像、手、撮像デバイスおよび表示デバイスの位置関係を示す図である。 仮想の手の画像を操作用画像に対して配置している場合に図１に示す表示デバイスに表示される合成画像の一例を示す図である。 表示デバイスが図１１に示す合成画像を表示している場合に撮像デバイスによる撮影方向と直交する方向から観察したときのＭＦＰ、操作用画像、手、撮像デバイスおよび表示デバイスの位置関係を示す図である。 図１２に示すＭＦＰ、操作用画像、手および表示デバイスの斜視図である。 利用者の手が操作用画像よりもＭＦＰ側に存在する場合であって、仮想の手の画像を操作用画像に対して配置している場合に図１に示す表示デバイスに表示される合成画像の一例を示す図である。 仮想の手の画像を操作用画像に対して配置している場合に図１に示す表示デバイスに表示される合成画像の一例であって図１１および図１４に示す例とは異なる例を示す図である。

以下、本発明の一実施の形態について、図面を用いて説明する。

まず、本実施の形態に係る拡張現実操作システムの構成について説明する。

図１は、本実施の形態に係る拡張現実操作システム１０のブロック図である。

図１に示すように、拡張現実操作システム１０は、本発明の電子機器としてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）２０と、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実現する例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの拡張現実サーバー３０と、カメラなどの撮像デバイス４１と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイス４２と、スピーカーなどの音出力デバイス４３とを備えている。ＭＦＰ２０と、拡張現実サーバー３０と、撮像デバイス４１と、表示デバイス４２と、音出力デバイス４３とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１１を介して互いに通信可能に接続されている。

図２は、ＭＦＰ２０のブロック図である。

図２に示すように、ＭＦＰ２０は、利用者による種々の操作が入力されるボタンなどの入力デバイスである操作部２１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部２２と、原稿から画像を読み取る読取デバイスであるスキャナー２３と、用紙などの記録媒体に印刷を実行する印刷デバイスであるプリンター２４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２５と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行う通信デバイスである通信部２６と、各種のデータを記憶しているＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、登録商標）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２７と、ＭＦＰ２０全体を制御する制御部２８とを備えている。

制御部２８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、ＲＯＭまたは記憶部２７に記憶されているプログラムを実行することができる。

図３は、拡張現実サーバー３０のブロック図である。

図３に示すように、拡張現実サーバー３０は、利用者による種々の操作が入力されるマウス、キーボードなどの入力デバイスである操作部３１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部３２と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行う通信デバイスである通信部３３と、各種のデータを記憶しているＨＤＤなどの不揮発性の記憶デバイスである記憶部３４と、拡張現実サーバー３０全体を制御する制御部３５とを備えている。

記憶部３４は、制御部３５によって実行される拡張現実操作プログラム３４ａを記憶している。拡張現実操作プログラム３４ａは、拡張現実サーバー３０の製造段階で拡張現実サーバー３０にインストールされていても良いし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの外部の記憶媒体から拡張現実サーバー３０に追加でインストールされても良いし、ネットワーク１１上から拡張現実サーバー３０に追加でインストールされても良い。

制御部３５は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部３４に記憶されているプログラムを実行する。

制御部３５は、記憶部３４に記憶されている拡張現実操作プログラム３４ａを実行することによって、ＭＦＰ２０を操作するための操作用画像を撮像デバイス４１による撮影画像に合成した合成画像を表示デバイス４２に表示させる拡張現実手段３５ａ、操作用画像中の操作部に対する操作を受け付ける操作受付手段３５ｂ、および、合成画像における操作部の位置に対応する現実空間における位置で操作部に対する操作音が出力させられているように音出力デバイス４３に立体音響で操作音を出力させる立体音響手段３５ｃとして機能する。

次に、拡張現実操作システム１０の動作について説明する。

図４は、ＭＦＰ２０を操作する場合の拡張現実サーバー３０の動作のフローチャートである。

図４に示すように、拡張現実サーバー３０の拡張現実手段３５ａは、位置情報に基づいたロケーションベースＡＲと、画像処理に基づいたビジョンベースＡＲとの何れかによって、図５に示すように、ＭＦＰ２０を操作するための操作用画像５０を撮像デバイス４１による撮影画像６０に合成した合成画像７０の表示デバイス４２への表示を開始する（Ｓ１０１）。

図５は、表示デバイス４２に表示される合成画像７０の一例を示す図である。

図５に示す操作用画像５０は、ＭＦＰ２０のスキャナー２３によって原稿から読み取った画像をＭＦＰ２０のプリンター２４によって記録媒体に印刷する機能、すなわち、コピー機能の設定の画面の例である。例えば、図５に示す操作用画像５０には、コピーによって生成する部数を設定するための操作部５１と、ＭＦＰ２０に記録媒体の供給元が複数存在する場合に何れの供給元から記録媒体を供給するかを設定するための操作部５２と、コピーの倍率を設定するための操作部５３と、コピーの濃度を設定するための操作部５４と、原稿の両面を読み取るか否かおよび記録媒体の両面に印刷するか否かを設定するための操作部５５と、記録媒体１枚当たりに何枚分の原稿の画像を印刷するかを設定するための操作部５６と、原稿のページ順に記録媒体に印刷を実行するか否かおよび印刷した記録媒体を１部毎に分けて出力するか否かを設定するための操作部５７とが含まれている。操作用画像５０は、半透明であっても良い。

また、図５に示す撮影画像６０には、撮像デバイス４１によって撮影されたＭＦＰ２０の画像６１が含まれている。

図６は、表示デバイス４２が図５に示す合成画像７０を表示している場合に撮像デバイス４１による撮影方向と直交する方向から観察したときのＭＦＰ２０、操作用画像５０、撮像デバイス４１および表示デバイス４２の位置関係を示す図である。

図６に示すように、操作用画像５０は、合成画像７０を見ている利用者にとってＭＦＰ２０と、表示デバイス４２との間の空間に配置されているように見えている。なお、操作用画像５０は、理解の容易のために図６において現実空間上に配置されているが、実際には現実空間上に存在していない。

図４に示すように、拡張現実手段３５ａは、撮像デバイス４１による撮影画像６０において手を検出したと判断するまで、撮像デバイス４１による撮影画像６０において手を検出したか否かを判断する（Ｓ１０２）。

例えば、拡張現実手段３５ａは、図７および図８に示すように利用者の手９０が操作用画像５０よりも表示デバイス４２側に存在する場合であっても、図９および図１０に示すように利用者の手が操作用画像５０よりもＭＦＰ２０側に存在する場合であっても、撮影画像６０において手９０の画像６２を検出することができる。なお、図７および図９においては、操作用画像５０と、画像６２との重なりの上下関係の理解の容易のために合成画像７０を示しているが、拡張現実手段３５ａは、実際には、操作用画像５０が合成されていない状態の撮影画像６０において手９０の画像６２を検出したか否かを判断する。また、図８および図１０には操作用画像５０が描かれているが、図６と同様に実際には操作用画像５０は現実空間上に存在していない。

図４に示すように、拡張現実手段３５ａは、撮像デバイス４１による撮影画像６０において手を検出したとＳ１０２において判断すると、撮影画像６０に含まれる現実の手９０の画像６２を画像処理によって合成画像７０から消去する（Ｓ１０３）。したがって、図７および図９に示す合成画像７０は、図５に示す合成画像７０のようになる。なお、画像処理による画像６２の消去の方法としては、例えば、画像６２の周りの箇所から補間する方法や、撮影画像６０を特定の期間記憶しておき画像６２の箇所を画像６２が現れる前の状態に戻す方法などが考えられる。

拡張現実手段３５ａは、Ｓ１０３の処理の後、図１１に示すように、撮像デバイス４１によって撮影された手９０の撮影画像６０における位置に応じて、仮想の手の画像８０を操作用画像５０に対して配置することによって、合成画像７０を生成する（Ｓ１０４）。ここで、拡張現実手段３５ａは、撮影画像６０に含まれる現実の手の画像６２の少なくとも一部の形状を仮想の手の画像８０の形状として使用する。なお、拡張現実手段３５ａは、図１２に示すように、合成画像７０を見ている利用者にとって操作用画像５０と、画像８０が表す手９１の指先との撮像デバイス４１による撮影方向における位置が一致して見えるように、画像８０を配置する位置を決定する。なお、操作用画像５０および手９１は、理解の容易のために図１２において現実空間上に配置されているが、実際には現実空間上に存在していない。

図４に示すように、拡張現実手段３５ａは、Ｓ１０４の処理の後、Ｓ１０４において生成した合成画像７０を表示デバイス４２に表示する（Ｓ１０５）。

拡張現実サーバー３０の操作受付手段３５ｂは、Ｓ１０５の処理の後、合成画像７０における操作用画像５０中の操作部５１〜５７の何れかが押されたか否かを判断する（Ｓ１０６）。ここで、操作受付手段３５ｂは、撮像デバイス４１によって撮影された手９０の合成画像７０における位置と、合成画像７０における操作部５１〜５７の位置とに基づいて、操作部５１〜５７に対する操作を受け付ける。例えば、撮像デバイス４１によって撮影された手９０の指先の撮影画像６０における位置が合成画像７０において図７または図９に示すように操作部５６に重なっている場合に、この指先が合成画像７０において位置が変わらずに大きさが小さくなったとき、操作受付手段３５ｂは、操作部５６が押されたと判断する。

拡張現実サーバー３０の立体音響手段３５ｃは、合成画像７０における操作部５１〜５７の何れかが押されたとＳ１０６において判断されると、合成画像７０において押された操作部の位置に対応する現実空間における位置で、この操作部に対する操作音が出力させられているように音出力デバイス４３に立体音響で操作音を出力させる（Ｓ１０７）。例えば、表示デバイス４２が図１１に示す合成画像７０を表示している場合に、合成画像７０を見ている利用者にとって図１３に示すようにＭＦＰ２０と、表示デバイス４２との間の空間に操作用画像５０が配置されているように見えているとき、立体音響手段３５ｃは、合成画像７０において押された操作部５６の位置に対応する現実空間における位置９２で、操作部５６に対する操作音が出力させられているように音出力デバイス４３に立体音響で操作音を出力させる。

操作受付手段３５ｂは、Ｓ１０７の処理の後、Ｓ１０６において受け付けた操作をＭＦＰ２０に通知する（Ｓ１０８）。したがって、ＭＦＰ２０の制御部２８は、通知された操作に応じた動作を実行する。

拡張現実手段３５ａは、合成画像７０における操作用画像５０中の操作部５１〜５７の何れも押されていないとＳ１０６において判断されるか、Ｓ１０８の処理が終了すると、Ｓ１０２の処理を実行する。

以上に説明したように、拡張現実操作システム１０は、撮像デバイス４１によって撮影された手９０の合成画像７０における位置と、合成画像７０における操作部５１〜５７の位置とに基づいて操作部５１〜５７に対する操作を受け付ける（Ｓ１０６）ので、利用者が直接触れることによって操作する入力デバイスを備えていなくても、撮影画像６０に合成した操作用画像５０中の操作部５１〜５７に対する操作を受け付けることができる。

人間は、五感から得られる情報を総合的に認識して操作感を判断するという特性を持っている。例えば、人間は、実際に操作した箇所が見えない状態で、少し離れたところから操作音が聞こえると、操作音が聞こえた箇所に手があるように感じる特性を持っている。すなわち、人間は、操作音が聞こえた箇所が、実際に操作した箇所と異なっていても違和感を覚えない特性を持っている。

拡張現実操作システム１０は、合成画像７０における操作部５１〜５７の位置に対応する現実空間における位置で出力させられているように立体音響で出力させる操作音によって、現実空間に存在しない操作部５１〜５７に対する操作への違和感を抑えることができるので、操作部５１〜５７に対する操作感を向上することができる。例えば、利用者は、操作部５１〜５７に対して容易に操作を実行することができ、操作部５１〜５７に対する操作を間違え難くなる。

拡張現実操作システム１０は、合成画像７０における操作用画像５０に対して配置した仮想の手９１の画像８０と、合成画像７０における操作部５１〜５７の位置に対応する現実空間における位置で出力させられているように立体音響で出力させる操作音との相互作用によって、現実空間に存在しない操作部５１〜５７に対する操作への違和感を抑えることができるので、操作部５１〜５７に対する操作感を更に向上することができる。

拡張現実操作システム１０は、現実の手９０の画像６２を合成画像７０に含めないことによって仮想の手９１の画像８０を目立たせることができるので、仮想の手９１による操作への違和感を更に抑えることができる。なお、拡張現実操作システム１０は、例えば図１４に示すように、現実の手９０の画像６２を合成画像７０に含めたままにしても良い。

拡張現実操作システム１０は、仮想の手９１の画像８０の形状として利用者自身の現実の手９０の画像６２の少なくとも一部の形状を使用するので、現実空間に存在しない操作部５１〜５７に対する、仮想の手９１による操作への違和感を更に抑えることができる。なお、拡張現実操作システム１０は、例えば図１５に示すように、事前に定められている画像を仮想の手９１の画像８０として使用しても良い。

拡張現実操作システム１０は、ＭＦＰ２０、拡張現実サーバー３０、撮像デバイス４１、表示デバイス４２および音出力デバイス４３のうち２つ以上の装置が同一の装置として製造されても良い。例えば、拡張現実操作システム１０は、拡張現実サーバー３０、撮像デバイス４１、表示デバイス４２および音出力デバイス４３のうち２つ以上の装置を備えているスマートフォン、ヘッドマウントディスプレイなどの携帯機器を備えていても良い。

拡張現実操作システム１０は、拡張現実サーバー３０の機能の少なくとも一部をＭＦＰ２０によって実現しても良い。拡張現実操作システム１０は、拡張現実サーバー３０の機能の全部をＭＦＰ２０によって実現する場合、拡張現実サーバー３０を備えていなくても良い。

拡張現実操作システム１０は、本実施の形態において、本発明の電子機器としてＭＦＰを備えているが、プリンター専用機など、ＭＦＰ以外の画像形成装置を本発明の電子機器として備えていても良いし、ＰＣなど、画像形成装置以外の電子機器を本発明の電子機器として備えていても良い

１０ 拡張現実操作システム
２０ ＭＦＰ（電子機器）
３０ 拡張現実サーバー
３４ａ 拡張現実操作プログラム
３５ａ 拡張現実手段
３５ｂ 操作受付手段
３５ｃ 立体音響手段
４１ 撮像デバイス
４２ 表示デバイス
４３ 音出力デバイス
５０ 操作用画像
５１〜５７ 操作部
６０ 撮影画像
６２ 画像（現実の手の画像）
７０ 合成画像
８０ 画像（仮想の手の画像）
９０ 手（現実の手）
９１ 手（仮想の手）
９２ 位置（現実空間における位置）

Claims (4)

1. 撮像デバイスと、
   表示デバイスと、
   電子機器と、
   前記撮像デバイスによる撮影画像に前記電子機器の画像が含まれている場合に、前記電子機器を操作するための操作用画像を前記撮影画像に合成した合成画像を、前記電子機器と、前記表示デバイスとの間の空間に前記電子機器から離れた状態で前記操作用画像が配置されているように見えるように前記表示デバイスに表示させる拡張現実手段と、
   前記操作用画像中の操作部に対する操作を受け付ける操作受付手段とを備え、
   前記拡張現実手段は、前記撮影画像に現実の手の画像が含まれる場合に、前記撮影画像に含まれる前記現実の手の画像を画像処理によって前記合成画像から消去し、前記合成画像を介して、前記操作用画像と、仮想の手の指先との前記撮像デバイスによる撮影方向における位置が一致して見えるように、前記現実の手の前記撮影画像における位置に応じて、前記仮想の手の画像を前記合成画像において前記操作用画像に対して配置し、
   前記操作受付手段は、前記仮想の手の指先の位置が、前記合成画像において前記操作部に重なっている場合に、この指先が前記合成画像において位置が変わらずに大きさが小さくなったとき、前記操作部が押されたと判断することを特徴とする拡張現実操作システム。
2. 音出力デバイスと、
   前記合成画像における前記操作部の位置に対応する現実空間における位置で前記操作部に対する操作音が出力させられているように前記音出力デバイスに立体音響で前記操作音を出力させる立体音響手段とを備えることを特徴とする請求項１に記載の拡張現実操作システム。
3. 前記拡張現実手段は、前記撮影画像に含まれる前記現実の手の画像の少なくとも一部の形状を前記仮想の手の画像の形状として使用することを特徴とする請求項１または請求項２に記載の拡張現実操作システム。
4. 撮像デバイスによる撮影画像に電子機器の画像が含まれている場合に、前記電子機器を操作するための操作用画像を前記撮影画像に合成した合成画像を、前記電子機器と、表示デバイスとの間の空間に前記電子機器から離れた状態で前記操作用画像が配置されているように見えるように前記表示デバイスに表示させる拡張現実手段、および、
   前記操作用画像中の操作部に対する操作を受け付ける操作受付手段として、コンピューターを機能させ、
   前記拡張現実手段は、前記撮影画像に現実の手の画像が含まれる場合に、前記撮影画像に含まれる前記現実の手の画像を画像処理によって前記合成画像から消去し、前記合成画像を介して、前記操作用画像と、仮想の手の指先との前記撮像デバイスによる撮影方向における位置が一致して見えるように、前記現実の手の前記撮影画像における位置に応じて、前記仮想の手の画像を前記合成画像において前記操作用画像に対して配置し、
   前記操作受付手段は、前記仮想の手の指先の位置が、前記合成画像において前記操作部に重なっている場合に、この指先が前記合成画像において位置が変わらずに大きさが小さくなったとき、前記操作部が押されたと判断することを特徴とする拡張現実操作プログラム。

Images