JP7119383B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

空気中に表示される空中画像までの距離と、距離センサで測定されたユーザの手までの距離との差が事前に定めた範囲内であるとき、ユーザのタッチ操作として認識する技術がある。

特開２０１７－６２７０９号公報

先行技術では、空中画像として表示される操作面と手の距離が予め定めた範囲以下であることを条件に、操作の有無を検知している。
ところで、空中画像は空気中に形成されるため、人が往来する空間を横切るように配置することもできる。一方で、距離だけを基準に操作を受け付ける場合には、操作を意図しない人の接近や動きも操作として誤検知されてしまう。

本発明は、空気中に形成される像に対する操作の誤検知を低減することを目的とする。

請求項１に記載の発明は、空気中に形成される像へのユーザの接近を検知する検知手段と、前記ユーザが予め定めた方向から前記像に接近する場合、当該ユーザの動きを操作として受け付ける受付手段とを有し、前記受付手段は、前記受け付けから予め定めた時間の経過後も、前記像から予め定めた方向についての第１の距離に設けられる検知用の第１の領域と当該第１の領域よりも当該像に近い第２の距離に設けられる検知用の第２の領域の両方で前記ユーザの体の一部が検知されなくなるまで、別の動きを前記操作として受け付けない、情報処理装置である。
請求項２に記載の発明は、前記受付手段は、前記時間内は、別の動きを前記操作として受け付けない、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、空気中に像を形成する像形成装置と、前記像へのユーザの接近を検知する検知装置と、前記ユーザが予め定めた方向から接近する場合、当該ユーザの動きを操作として受け付ける受付装置とを有し、前記受付装置は、前記受け付けから予め定めた時間の経過後も、前記像から予め定めた方向についての第１の距離に設けられる検知用の第１の領域と当該第１の領域よりも当該像に近い第２の距離に設けられる検知用の第２の領域の両方で前記ユーザの体の一部が検知されなくなるまで、別の動きを前記操作として受け付けない、情報処理システムである。
請求項４に記載の発明は、コンピュータに、空気中に形成される像に対してユーザが接近する方向が予め定めた方向である場合に、当該ユーザの動きを操作として受け付ける機能を実現させるためのプログラムであり、前記機能は、前記受け付けから予め定めた時間の経過後も、前記像から予め定めた方向についての第１の距離に設けられる検知用の第１の領域と当該第１の領域よりも当該像に近い第２の距離に設けられる検知用の第２の領域の両方で前記ユーザの体の一部が検知されなくなるまで、別の動きを前記操作として受け付けない、プログラムである。

請求項１記載の発明によれば、操作として受け付ける動きを限定するので誤検知を低減できる。
請求項２記載の発明によれば、空気中に形成される像に対する操作の誤検知を低減できる。
請求項３記載の発明によれば、操作として受け付ける動きを限定するので誤検知を低減できる。
請求項４記載の発明によれば、操作として受け付ける動きを限定するので誤検知を低減できる。

実施の形態１に係る空中画像形成システムの概略構成を説明する図である。 表示デバイスから出力される光を専用の光学プレートを透過させることで空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）は光学プレートの断面構造の一部を示す。 空中画像として３次元像を形成する空中画像形成装置の原理図である。 ２面コーナーリフレクタを構成する微小な四角い穴を平面内に等間隔に配列した構造のマイクロミラーアレイを用いて空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）はマイクロミラーアレイの一部分を拡大した図である。 ビームスプリッタと再帰反射シートを使用する空中画像形成装置の原理図である。 空中画像をプラズマ発光体の集合として形成する空中画像形成装置の原理図である。 実施の形態１に係る操作受付装置のハードウェア構成の一例を説明する図である。 実施の形態１に係る操作受付装置の機能構成の一例を説明する図である。 実施の形態１に係る操作受付装置で実行される処理内容を説明するフローチャートの一例である。 実施の形態１において、空中画像の表面側から指が近づく場合の操作としての受付を説明する図である。 実施の形態１において、空中画像の裏面側から指が近づく場合の操作としての受付を説明する図である。 実施の形態１において、表面側から人が空中画像を通り抜ける場合の受け付け処理を説明する図である。 実施の形態１において、Ａさんの操作中にＢさんの操作がある場合の受け付け処理を説明する図である。 実施の形態２に係る操作受付装置の機能構成の一例を説明する図である。 実施の形態２に係る操作受付装置で実行される処理内容を説明するフローチャートの一例である。 実施の形態２において、空中画像の表面側から指が近づく場合の操作としての受付を説明する図である。 実施の形態３に係る空中画像形成システムの概略構成を説明する図である。 実施の形態３に係る操作受付装置の機能構成の一例を説明する図である。 実施の形態３に係る操作受付装置で実行される処理内容を説明するフローチャートの一例である。 実施の形態３において、空中画像の表面側から人が近づく場合と裏面側から近づく場合を説明する図である。 実施の形態４に係る空中画像形成システムの概略構成を説明する図である。 実施の形態４に係る操作受付装置の機能構成の一例を説明する図である。 実施の形態３において、空中画像の表面側から人が近づく場合に操作として検知される場合と操作として検知されない場合を説明する図である。（Ａ）は操作として検知されるジェスチャーの例を示し、（Ｂ）は操作として検知されないジェスチャーの例を示す。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜空中ディスプレイの概略構成＞
図１は、実施の形態１に係る空中画像形成システム１の概略構成を説明する図である。
本実施の形態において、空中画像１０とは空気中に形成される像をいい、例えば物体からの反射光と同等の光の状態を空気中に再現することにより形成される。空中画像１０は空気中に浮かぶように形成されるので、人は、空中画像１０を通り抜けることができる。

空中画像形成システム１は、空中画像１０を空気中に形成する空中画像形成装置３１と、空中画像１０に対する人の接近の方向を検知して空中画像１０に対する操作を受け付ける操作受付装置３２とを有している。
ここでの空中画像形成システム１は、情報処理システムの一例であり、操作受付装置３２は、情報処理装置の一例である。なお、空中画像形成装置３１は、像形成装置の一例である。

図１では、空中画像１０が形成される空間に３人が位置する場合を表している。
図１の場合、平面形状の空中画像１０は、人が往来する通路に配置されており、案内用の画面や広告用の画面が表示されている。空中画像１０は、人による操作を検知すると表示が変化する操作画面でもよい。従って、操作によって表示の内容が変化する案内用の画面や広告用の画面は、操作画面の一例である。
なお、空中画像１０は、静止画像でも動画像でもよい。
また、各実施の形態では、矩形形状の全体を空中画像１０として表現するが、空中画像１０の外縁を規定する形状は矩形に限らず、任意でよい。例えば物体（オブジェクト）の像が形成される空間を、空中画像１０が形成される空間の全てとしてもよい。例えば操作用のボタンの像、人の像、動物の像、製品の像、果物の像なども、ここでの空中画像１０の一例である。図１では、空中画像１０が平面形状であるが、曲面、球体、立方体などの立体的な形状でもよい。

図１の場合、人２１及び２２は、空中画像１０に対して手前側（空中画像１０を基準としてＹ方向についてマイナス側）に位置し、人２３は、空中画像１０に対して奥側（空中画像１０を基準としてＹ方向についてプラス側）に位置している。
人２１は、空中画像１０の一部分を指している。人２１は、操作者である。また、人２３は、空中画像１０を通り抜けるように歩いている。

空中画像１０は、空気中に形成される像であるので（物理的な投影スクリーンや表示デバイスが存在しないので）、一方の側（例えば人２１の位置）から空中画像１０の向こう側（例えば人２３）が透けて見えている。勿論、奥側（例えば人２３の位置）から空中画像１０の手前側（例えば人２１の位置）も透けて見えている。もっとも、透け方は、空中画像１０に表示される画像や周囲の環境によっても異なる。

人２１～２３は、平面状に形成される空中画像１０のいずれの側からも、空中画像１０を確認できる。従って、平面上に形成された空中画像１０の両面どちら側からも触れるような動作が可能である。
ただし、本実施の形態では、空中画像１０に文字が含まれる場合を想定する。この場合、空中画像１０には、表面と裏面の関係が生じる。図１では、人２１が位置する側から見える空中画像１０を表面とする。このため、人２３が位置する側から見える空中画像１０は裏面となり、文字は鏡文字として視認される。

本実施の形態では、空中画像１０の表面側からの操作を受け付けの対象に設定する。すなわち、人２１、２２からの操作を受け付けの対象とし、人２３からの操作を受け付けの対象から除外する。
本実施の形態では、受け付けの対象とする動きを区別のために、空中画像１０に対して手前側に光学的な検知面１１及び１２を設けている。検知面１１及び１２は、空間を横切る物体を非接触で検知するために使用される、人には見えない波長の光（例えば赤外線）によって形成される。なお、この検知面１１及び１２は、操作の位置の座標の検知に使用される検知面と兼用してもよい。

本実施の形態の場合、検知面１１及び１２は平面形状であり、空中画像１０に対して平行に配置される。なお、検知面１１及び１２は、それぞれ空中画像１０から予め定めた距離１及び２だけ離して配置される。
また、本実施の形態の場合、検知面１１及び１２は、空中画像１０よりも広い面積を有している。もっとも、操作を受け付けるボタン類が表示される領域を含む面積を有していれば、空中画像１０よりも面積が狭くてもよい。
本実施の形態では、空中画像１０から遠い側に検知面１１を配置し、近い側に検知面１２を配置する。検知面１１は、第１の領域の一例であり、検知面１２は、第２の領域の一例である。

検知面１１と検知面１２を設けるのは、操作を意図した人の接近と操作を意図しない人の接近とを区別するためである。
例えば検知面１１及び検知面１２のいずれか一方だけを用いると、空中画像１０の手前側（表面側）からの操作と、空中画像１０の奥側（裏面側）からの操作とを区別することができない。
検知面１１及び１２の発生と、検知面１１及び１２を横切る物体の検知は、操作受付装置３２が実行する。

＜空中画像形成装置の例＞
図２～図６を用いて、空中画像１０の形成原理を説明する。なお、以下に説明する原理は、いずれも既知である。
図２は、表示デバイス４１から出力される光を専用の光学プレート４２を透過させることで空中画像１０を形成する空中画像形成装置３１Ａの原理図である。（Ａ）は各部材と空中画像１０との位置関係を示し、（Ｂ）は光学プレート４２の断面構造の一部を示す。

ここでの光学プレート４２は、壁面を鏡として使用する短冊状のガラス４２Ａを配列したプレートと、ガラス４２Ａに対して直交する向きに短冊状のガラス４２Ｂを配列したプレートを上下に重ねた構造を有する。
光学プレート４２は、表示デバイス４１から出力される光を短冊状のガラス４２Ａ及び４２Ｂで２回反射して空気中で結像させることで、表示デバイス４１に表示されている画像を空気中に再現する。なお、表示デバイス４１と光学プレート４２の距離と、光学プレート４２と空中画像１０との距離は同じである。また、表示デバイス４１に表示される画像の寸法と空中画像１０の寸法は同じである。

図３は、空中画像１０として３次元像を形成する空中画像形成装置３１Ｂの原理図である。空中画像形成装置３１Ｂは、実際の物体４３の表面で反射された光をリング型の光学プレート４２を２回透過させることで３次元像を空気中に再現する。なお、光学プレート４２を直列に配置する必要はない。

図４は、２面コーナーリフレクタを構成する微小な四角い穴４４Ａを平面内に等間隔に配列した構造のマイクロミラーアレイ４４を用いて空中画像１０を形成する空中画像形成装置３１Ｃの原理図である。（Ａ）は各部材と空中画像１０との位置関係を示し、（Ｂ）はマイクロミラーアレイ４４の一部分を拡大した図である。１つの穴４４Ａは、例えば１００μｍ角で形成される。

図５は、ビームスプリッタ４６と再帰性反射シート４７を使用する空中画像形成装置３１Ｄの原理図である。ここで、ビームスプリッタ４６は、表示デバイス４５の表示面に対して４５°の角度で配置されている。また、再帰性反射シート４７は、ビームスプリッタ４６による表示画像の反射方向に、表示デバイス４５の表示面に対して９０°の角度に配置されている。
空中画像形成装置３１Ｄの場合、表示デバイス４５から出力される光は、ビームスプリッタ４６によって再帰性反射シート４７の方向に反射され、次に再帰性反射シート４７で再帰反射され、ビームスプリッタ４６を透過して空中で結像される。光が結像する位置に空中画像１０が形成される。

図６は、空中画像１０をプラズマ発光体の集合として形成する空中画像形成装置３１Ｅの原理図である。
空中画像形成装置３１Ｅの場合、赤外パルスレーザ４８がパルス状のレーザ光を出力し、ＸＹＺスキャナ４９がパルス状のレーザ光を空気中で集光する。このとき、焦点近傍の気体が瞬間的にプラズマ化し、発光する。
ここでのパルス周波数は、例えば１００Ｈｚ以下であり、パルス発光時間は、例えばナノ秒オーダである。

＜操作受付装置３２の構成＞
図７は、実施の形態１に係る操作受付装置３２のハードウェア構成の一例を説明する図である。
操作受付装置３２は、ファームウェアやアプリケーションプログラムの実行を通じて各種の機能を提供するＣＰＵ（Central Processing Unit）５１と、ファームウェアやＢＩＯＳ（Basic Input Output System）を格納する記憶領域であるＲＯＭ（Read Only Memory）５２と、プログラムの実行領域であるＲＡＭ（Random Access Memory）５３とを有している。ＣＰＵ５１、ＲＯＭ５２及びＲＡＭ５３はコンピュータを構成する。
また、操作受付装置３２は、空中画像１０として表示する情報を格納する記憶装置５４を有している。記憶装置５４は、例えば書き換え可能な不揮発性の記憶媒体を情報の格納に使用する。

また、操作受付装置３２は、通信インタフェース（通信ＩＦ）５５を使用して空中画像形成装置３１を制御し、操作の内容に応じて空中画像１０に表示される画像の内容を変化させる。
また、操作受付装置３２は、検知面１１（図１参照）を横切る物体の有無を検知する接近検知センサ５６と、検知面１２（図１参照）を横切る物体の有無を検知する接近検知センサ５７とを有している。
接近検知センサ５６及び５７は、空中画像１０の近傍に検知面１１及び１２を形成できれば、天井側に配置されてもよいし、床面に配置されてもよいし、側面側に配置されてもよい。

接近検知センサ５６及び５７は、例えば検知面を形成する赤外線を発生する光源（例えば赤外線ＬＥＤ）と、検知面を横切る物体からの反射光を検知する赤外線受光部とを有している。
ここで、ＣＰＵ５１と各部はバス５８を通じて接続されている。なお、接近検知センサ５６及び５７はインタフェース（ＩＦ）５９を通じてバス５８に接続される。

図８は、実施の形態１に係る操作受付装置３２（図７参照）の機能構成の一例を説明する図である。
図８に示す機能構成は、ＣＰＵ５１によるプログラムの実行を通じて実現される。
ＣＰＵ５１は、空中画像１０（図１参照）に対する人の接近方向を検知する接近方向検知部６０と、入力が検知された座標を検知する入力座標検知部６１と、操作の受け付けを処理する操作受付部６２と、受け付けた操作に応じて操作画面を更新する操作画面更新部６３として機能する。
ここでの接近方向検知部６０は検知手段の一例であり、操作受付部６２は受付手段の一例である。なお、接近検知センサ５６及び５７も検知手段の一部である。また、広義には、接近検知センサ５６及び５７に関連する検知面１１及び１２も検知手段の一部である。

接近方向検知部６０は、接近検知センサ５６の出力信号と接近検知センサ５７の出力信号の両方を入力し、２つの出力信号を用いて空中画像１０への人の接近方向を検知する。本実施の形態の場合には、空中画像１０の表面側からの接近か否かを検知する。
入力座標検知部６１は、空中画像１０への接近が表面側からの場合に、不図示の入力座標検知センサの出力信号から入力座標を検知する。前述したように、入力座標検知センサは、接近検知センサ５６及び５７のいずれか一方又は両方と兼用してもよい。

操作受付部６２は、空中画像１０への人の接近が予め定めた方向である場合（表面側からの接近である場合）であり、かつ、人の動きが操作とみなす条件を満たすとき、操作として受け付ける。従って、表面側からの接近であっても、人の動きが空中画像１０の通り抜けであれば、操作受付部６２は、操作としての受け付けの対象から除外する。

＜操作の受付処理＞
続いて、操作受付装置３２（図１参照）による空中画像１０（図１参照）に対する操作の受付処理を説明する。
図９は、実施の形態１に係る操作受付装置３２で実行される処理内容を説明するフローチャートの一例である。この処理内容は、プログラムの実行を通じて提供される。

まず、操作受付装置３２は、検知されている別の操作がないか否かを判定する（ステップ１）。現実の空中画像１０では、表面側から接近した複数人が相前後して空中画像１０を操作することが起こり得る。しかし、他者の操作が終わっていないのに空中画像１０の表示が切り替わるのは好ましくない。
そこで、既に別の操作が検知されている場合（ステップ１で否定結果が得られた場合）、操作受付装置３２は、検知の開始から基準時間以上か否かを判定する（ステップ２）。
ステップ２で否定結果が得られた場合、操作受付装置３２は、ステップ１に戻る。

ステップ１で肯定結果が得られた場合（検知されている別の操作がない場合）又はステップ２で肯定結果が得られた場合（別の操作の検知から基準時間以上が経過している場合）、操作受付装置３２は、検知面１１だけを物体が横切る否かを判定する（ステップ３）。換言すると、検知面１２を横切る物体がない状態で検知面１１を物体が横切るか否かが判定される。
ステップ３で否定結果が得られた場合、操作受付装置３２は、ステップ１に戻る。

ステップ３で肯定結果が得られた場合、操作受付装置３２は、ステップ３で検知された同じ物体が検知面１２も横切るか否かを判定する（ステップ４）。
同じ物体か否かは、例えば検知面１１を横切った物体の位置と検知面１２を横切った物体の位置との間に連続性が認められるか否かによって確認する。

ステップ４で否定結果が得られた場合、操作受付装置３２は、ステップ１に戻る。この場合は、検知面１１と検知面１２の位置関係より、空中画像１０の表面への接近であることは分かるが、操作に至るほどの接近とは認められない状態である。
ステップ４で肯定結果が得られた場合（検知面１１だけを物体が横切った後に、同じ物体が検知面１２も横切る場合）、操作受付装置３２は、検知面１１及び１２を横切る長さが基準範囲内か否かを判定する（ステップ５）。
ここでの基準範囲には、例えば指の長さや手の大きさが用いられる。なお、基準範囲の下限を定めることにより、髪の毛や飾り等の操作に用いられない物体の誤検知を排除できる。

ステップ５で否定結果が得られた場合、操作受付装置３２は、ステップ１に戻る。操作を意図せず通り抜けるような場合を除外するためである。
ステップ５で肯定結果が得られた場合、操作受付装置３２は、検知面１１及び１２を横切っている物体の検知を操作として受け付ける（ステップ６）。
次に、操作受付装置３２は、操作に応じた処理を実行する（ステップ７）。

続いて、操作受付装置３２は、検知された同じ物体が検知面１１を横切っていないか否かを判定する（ステップ８）。
ステップ８で否定結果が得られた場合、操作受付装置３２は、ステップ４に戻る。なお、ステップ８から移動したステップ４で肯定結果が得られた場合、操作受付装置３２は、操作の継続を確認してステップ５に進む。一方、ステップ８から移動したステップ４で否定結果が得られた場合、操作受付装置３２は、操作が終わって指や手が空中画像１０から離れる方向に移動される過程と確認し、ステップ１に戻る。
ステップ８で肯定結果が得られた場合、検知面１２を横切る物体が存在しないので、操作受付装置３２は、一連の処理を終了する。

図１０は、実施の形態１において、空中画像１０の表面側から指が近づく場合の操作としての受付を説明する図である。
図１０では、指の位置が時間の経過とともに変化する様子が表されている。ここで、検知面１１は、例えば人の指の長さだけ空中画像１０から離れた位置に設けられる。空中画像１０から検知面１１までの距離は、第１の距離の一例である。一方、検知面１２は、検知面１１と空中画像１０の中間の位置に設けられる。ここでの中間は、間の意味であり、等距離を意味しない。空中画像１０から検知面１２までの距離は、第２の距離の一例である。

時点Ｔ１では、指先が検知面１１を横切っているが検知面１２を横切っていない。この状態は、ステップ４（図９参照）で否定結果が得られる状態である。従って、操作としての動作とは受け付けられない。
時点Ｔ２では、指先が検知面１１だけを横切った後に検知面１２を横切っている。また、検知面１１と検知面１２を横切っているのは指先である。この状態は、ステップ５（図９参照）で肯定結果が得られる状態である。従って、この状態は、空中画像１０の表面への接近を伴う、操作を意図した動作と受け付けられる。

時点Ｔ３では、指が引き抜かれる途中であり、検知面１１だけを横切っている。この状態は、ステップ８（図９参照）で否定結果が得られ、続くステップ４でも否定結果が得られる状態である。従って、操作としては受け付けられない。
時点Ｔ４では、指が引き抜かれた後である。この状態は、ステップ８（図９参照）で肯定結果が得られる状態である。従って、操作としては受け付けられない。

図１１は、実施の形態１において、空中画像１０の裏面側から指が近づく場合の操作としての受付を説明する図である。
図１１では、指の位置が時間の経過とともに変化する様子が表されている。
時点Ｔ１１では、指先が空中画像１０を横切っているが、検知面１１及び１２の両方を横切っていない。この状態は、ステップ３（図９参照）で否定結果が得られる状態である。従って、操作としては受け付けられない。

時点Ｔ１２では、指先が空中画像１０と検知面１２を横切っているが、検知面１１を横切っていない。この状態は、ステップ３（図９参照）で否定結果が得られる状態である。従って、操作としては受け付けられない。
時点Ｔ１３では、指先が空中画像１０、検知面１１、検知面１２の全てを横切っている。この状態も、ステップ３（図９参照）で否定結果が得られる状態である。従って、操作としては受け付けられない。

つまり、空中画像１０の裏面側からの指先の接近は、操作受付装置３２で想定する操作の受付方向とは異なっている。このため、ステップ３で肯定結果を得てからステップ４で肯定結果を得るという条件が満たされない。
よって、操作を受け付ける方向として規定されていない裏面側からの指先の接近を操作の対象から除外できる。この結果、裏面側からの通り抜けが操作として検知され、空中画像１０の表示が変化しないようにできる。

図１２は、実施の形態１において、表面側から人が空中画像１０を通り抜ける場合の受け付け処理を説明する図である。
図１２では、空中画像１０の表面側から近づいた人が、空中画像１０を通り抜ける様子が表されている。
時点Ｔ２１では、人の鼻が検知面１１を横切っているが、検知面１２は横切っていない。この状態は、ステップ４（図９参照）で否定結果が得られる状態である。従って、操作としては受け付けられない。

時点Ｔ２２及びＴ２３では、人の頭部が検知面１１及び１２の両方を横切っている。ただし、頭部の大きさは予め定めた基準範囲を超えている。この状態は、ステップ５（図９参照）で否定結果が得られる状態である。
従って、表面側からの接近であっても、操作としては受け付けられない。
このように、操作の意図が認められない通り抜けを操作としての受付から除外できる。

図１３は、実施の形態１において、Ａさんの操作中にＢさんの操作がある場合の受け付け処理を説明する図である。
この場合は、ステップ１（図９参照）とステップ２（図９参照）で否定結果が得られている状態である。
このため、Ａさんの操作だけが受け付けられ、Ｂさんの操作は受付の対象から除外される。

＜実施の形態２＞
ここでは、特定のデバイスを所持する人による表面側からの接近を選択的に操作として受け付ける場合について説明する。
実施の形態２で用いる空中画像形成システム１（図１参照）の構成や操作受付装置３２のハードウェア構成は、実施の形態１と共通である。

図１４は、実施の形態２に係る操作受付装置３２（図１参照）の機能構成の一例を説明する図である。
図１４には図８と対応する部分に対応する符号を付して示している。
本実施の形態における操作受付装置３２は、操作者が特定のデバイスを所持するか否かを検知する特定デバイス検知部６４を有する点で、実施の形態１と異なっている。
本実施の形態では、特定のデバイスを所持する人の操作を選択的に受け付け、特定のデバイスを所持しない人の操作は受け付けない

本実施の形態では、特定のデバイスとして、指輪型の端末を想定する。指輪型の端末は、ウェアラブル端末の一例である。ウェアラブル端末は、例えば眼鏡型の端末でもよいし、ペン型の端末でもよい。
なお、ウェアラブル端末は携帯型の端末の一例でもある。
本実施の形態の場合、特定デバイス検知部６４は、例えば指輪型の端末から発信されるビーコン（電波）を受信し、指輪型の端末を装着している人までの距離を推定する。この技術は、ブルートゥース（登録商標）測位とも呼ばれる。

なお、特定デバイス検知部６４には、他の屋内測位技術を用いてもよいし、組み合わせて用いてもよい。
特定のデバイスからの信号の受信や通信の成立を条件とすることで、空中画像１０に対する操作の受け付けを限定することができる。因みに、認証による人の特定を条件としてもよい。
また、測位技術との組み合わせにより、空中画像１０から離れた人（操作の意図がないとみなせる人）と空中画像１０に近づく人（操作の意図があるとみなせる人）とを区別できる。

図１５は、実施の形態２に係る操作受付装置３２（図１参照）で実行される処理内容を説明するフローチャートの一例である。この処理内容は、プログラムの実行を通じて提供される。
図１５には、図９との対応する部分に対応する符号を付して示している。
本実施の形態の場合、処理の先頭に、特定のデバイスの接近を検知するか否かを判定するステップ１１を実行する点で実施の形態１と異なる。

ステップ１１で否定結果が得られている間は、操作として受け付ける人が周囲に存在しないことを意味するので、ステップ１１の判定が繰り返される。
ステップ１１で肯定結果が得られると、操作受付装置３２は、ステップ１に進んで実施の形態１で説明した動作を実行する。

図１６は、実施の形態２において、空中画像１０の表面側から指が近づく場合の操作としての受付を説明する図である。
図１６には、図１０との対応する部分に対応する符号を付して示している。
図１６でも、指の位置が時間の経過とともに変化する様子が表されている。

時点Ｔ３１～Ｔ３３は、指輪型の端末７０を装着した指先が空中画像１０の表面側から近づき、その後、引き抜かれる様子を表している。
時点Ｔ３１は、指輪型の端末７０を装着していない指先が空中画像１０の表面側に配置された検知面１１及び１２の両方を横切る様子を表している。
実施の形態１の場合であれば、時点Ｔ４１の状態は、操作として受け付けられる状態である。

しかし、実施の形態では、操作として受け付けられるのは、指輪型の端末７０を装着している人に限られるので、時点Ｔ３２の場合に限り、操作として受け付けられている。なお、指輪型の端末７０を装着していても、時点Ｔ３１及びＴ３３における指の位置は実施の形態１で説明したように、操作としての受け付け条件を満たしていない。

＜実施の形態３＞
図１７は、実施の形態３に係る空中画像形成システム１Ｂの概略構成を説明する図である。
図１７には、図１との対応する部分に対応する符号を付して示している。
図１７では、撮像カメラ８０からの映像を用いて接近方向を検知する操作受付装置３２Ａを使用する点で実施の形態１と異なっている。
ここでの撮像カメラ８０は撮像手段の一例である。
なお、実施の形態３では、検知面１１（図１参照）及び検知面１２（図１参照）を使用していない。

本実施の形態において、撮像カメラ８０は、空中画像１０の表面側を撮影するように配置される。このため、撮像カメラ８０は、空中画像１０に対して表面側から接近する人の後頭部や背中を撮影し、空中画像１０に対して裏面側から接近する人の顔や胸を撮影する。
実施の形態３で用いる操作受付装置３２Ａのハードウェア構成は実施の形態１と共通である。

図１８は、実施の形態３に係る操作受付装置３２Ａの機能構成の一例を説明する図である。
図１８には、図８との対応する部分に対応する符号を付して示している。
本実施の形態では、撮像カメラ８０で撮像されたカメラ画像を入力する接近方向検知部６０Ａを用いる点で、実施の形態１と異なっている。
前述したように、接近方向検知部６０Ａは、カメラ画像に後頭部や背中が写っている人を操作の意図があって空中画像１０に接近する人として検知し、カメラ画像に顔や胸が写っている人を操作の意図がない人として検知する。

なお、接近方向検知部６０Ａは、複数の時点で撮像されている被写体の位置の変化から人が空中画像１０に向かっているか否かを判定してもよい。
また、接近方向検知部６０Ａは、対象物の距離に応じたボケや色ズレが発生するように撮像されたカメラ画像を使用して被写体の距離を求め、この距離の時間変化から被写体である人が空中画像１０に向かっているか否かを判定してもよい。

図１９は、実施の形態３に係る操作受付装置３２Ａ（図１７参照）で実行される処理内容を説明するフローチャートの一例である。この処理内容は、プログラムの実行を通じて提供される。
図１９には、図９との対応する部分に対応する符号を付して示している。
操作受付装置３２Ａは、ステップ１又はステップ２で肯定結果が得られた場合、空中画像１０に表面側から接近しているか否かを判定する（ステップ２１）。

ステップ２１で否定結果が得られた場合、操作受付装置３２Ａは、ステップ１に戻る。
ステップ２１で肯定結果が得られた場合、操作受付装置３２Ａは、操作の受け付けを許可し（ステップ２２）、操作に応じた処理を実行する（ステップ７）。
本実施の形態の場合、人が空中画像１０を操作する位置や領域を検知する不図示の検知装置を使用する。例えば手元を撮影する別の撮像カメラを用意してもよいし、赤外線を用いて検知面を横切る座標を検知するセンサを用意してもよい。

図２０は、実施の形態３において、空中画像１０の表面側から人が近づく場合と裏面側から近づく場合を説明する図である。
本実施の形態の場合、撮像カメラ８０によって後頭部が撮影されるＡさんについては、操作の受け付けが許可され、撮像カメラ８０によって顔が撮影されるＢさんについては、操作の受け付けの対象から除外される。

＜実施の形態４＞
図２１は、実施の形態４に係る空中画像形成システム１Ｃの概略構成を説明する図である。
図２１には、図１７との対応する部分に対応する符号を付して示している。
図２１では、撮像カメラ８０からの映像を用いて接近方向を検知する操作受付装置３２Ｂを使用する点で実施の形態３と異なっている。
なお、本実施の形態では、空中画像１０の裏面側から撮影する点で、実施の形態３と異なる。

本実施の形態の場合、撮像カメラ８０は、空中画像１０に対して表面側から接近する人の顔や胸を空中画像１０から透けて見える像として撮影し、空中画像１０に対して裏面側から接近する人の後頭部や背中を直接撮影する。
実施の形態３で用いる操作受付装置３２Ｂのハードウェア構成は実施の形態３と共通である。

図２２は、実施の形態４に係る操作受付装置３２Ｂの機能構成の一例を説明する図である。
図２２には、図１８との対応する部分に対応する符号を付して示している。
本実施の形態では、撮像カメラ８０で撮像されたカメラ画像が、接近方向検知部６０Ｂと、空中画像１０に接近する人のジャスチャーを検知するジェスチャー検知部６５と、入力座標検知部６１に入力される点で、実施の形態３と異なっている。
前述したように、接近方向検知部６０Ｂは、カメラ画像に空中画像１０を透かして顔や胸が写っている人を操作の意図がある人として検知し、カメラ画像に後頭部や背中が写っている人を操作の意図がない人として検知する。

この場合も、接近方向検知部６０Ｂは、複数の時点で撮像されている被写体の位置の変化から人が空中画像１０に向かって近づいているか否かを判定してもよい。
また、接近方向検知部６０Ｂは、対象物の距離に応じたボケや色ズレが発生するように撮像されたカメラ画像を使用して被写体の距離を求め、この距離の時間変化から被写体である人が空中画像１０に向かって近づいているか否かを判定してもよい。

ジェスチャー検知部６５は、操作の場合に出現する特徴的なジャスチャーがカメラ画像に含まれているか否かを画像処理によって判定する。例えば顔の高さで手や指を前に伸ばすようなジェスチャーは、操作として検知される。一方、手を下げている場合や荷物を持っているジェスチャーは、操作から除外される。
この実施の形態の場合、操作者の手元の位置は、空中画像１０を透かして撮像カメラ８０によって撮像されている。そこで、入力座標検知部６１は、透けて見える操作者の手元の位置を入力座標として検知する。

本実施の形態における処理動作は、実施の形態３と同様である。
図２３は、実施の形態３において、空中画像１０の表面側から人が近づく場合に操作として検知される場合と操作として検知されない場合を説明する図である。（Ａ）は操作として検知されるジェスチャーの例を示し、（Ｂ）は操作として検知されないジェスチャーの例を示す。
カメラ画像９０には、空中画像１０に対応する矩形の領域９１が含まれており、矩形の領域９１を透かして人の顔が写り込んでいる。従って、図２３に示す２つの例は、いずれも、空中画像１０に対して表面側から人が近づく場合を表している。

ただし、（Ｂ）に例示する人は、両手をぶら下げたままである。このジェスチャーは操作の場合には現れないので、（Ｂ）に示すカメラ画像９０が撮像された場合には、操作ではないと判定される。
一方、（Ａ）に例示する人は、右手を折り曲げるように持ち上げている。このジェスチャーは操作の場合に出現するので、（Ａ）に示すカメラ画像９０が撮像された場合には、操作であると判定される。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

前述の実施の形態では、操作面としての空中画像１０が平面状である場合について説明しているが、空中画像形成装置３１について説明したように空中画像１０が立体的に形成される場合にも応用が可能である。なお、空中画像１０が立体的に形成される場合には、検知面１１及び１２は、操作の方向として予め定めた側に配置されればよい。この場合、検知面１１及び１２は、空中画像１０に対して平行にはならない。

前述の実施の形態では、別の操作が検知されている場合には、その検知の開始から経過した時間を基準に次の操作を受け付けるか否かを判定しているが、検知面１１及び１２の両方を横切る物体が検知されなくなることを条件として次の操作を受け付けるようにしてもよい。このように操作として受け付ける動きを限定することにより誤検知を低減できる。

前述の実施の形態では、文字が正しい形に見える側を表面とし、空中画像１０の表面への接近を伴う場合に操作として受け付けているが、操作として受け付ける方向の設定は任意である。
例えば空中画像１０の裏面への接近を伴う場合に操作として受け付けてもよい。また例えば、空中画像１０の上方からの接近、下方からの接近、横方向からの接近などを操作として受け付ける方向に定めてもよい。
また、空中画像１０が立体像である場合にも特定の方向からの接近だけを操作として受け付けるようにしてもよい。
操作として受け付ける接近の方向を規定することにより、受け付ける操作の絞り込みが可能となり、矛盾した操作の受け付けや操作に対する反応が定まらない不都合も回避できる。

１、１Ｂ、１Ｃ…空中画像形成システム、１０…空中画像、１１、１２…検知面、３１、３１Ａ、３１Ｂ、３１Ｃ、３１Ｄ、３１Ｅ…空中画像形成装置、３２、３２Ａ、３２Ｂ…操作受付装置、５６、５７…接近検知センサ、６０、６０Ａ、６０Ｂ…接近方向検知部、６１…入力座標検知部、６２…操作受付部、６３…操作画面更新部、６４…特定デバイス検知部、６５…ジェスチャー検知部、７０…指輪型の端末、８０…撮像カメラ

Claims (4)

1. 空気中に形成される像へのユーザの接近を検知する検知手段と、
   前記ユーザが予め定めた方向から前記像に接近する場合、当該ユーザの動きを操作として受け付ける受付手段と
   を有し、
   前記受付手段は、前記受け付けから予め定めた時間の経過後も、前記像から予め定めた方向についての第１の距離に設けられる検知用の第１の領域と当該第１の領域よりも当該像に近い第２の距離に設けられる検知用の第２の領域の両方で前記ユーザの体の一部が検知されなくなるまで、別の動きを前記操作として受け付けない、
   情報処理装置。
2. 前記受付手段は、前記時間内は、別の動きを前記操作として受け付けない、
   請求項１に記載の情報処理装置。
3. 空気中に像を形成する像形成装置と、
   前記像へのユーザの接近を検知する検知装置と、
   前記ユーザが予め定めた方向から接近する場合、当該ユーザの動きを操作として受け付ける受付装置と
   を有し、
   前記受付装置は、前記受け付けから予め定めた時間の経過後も、前記像から予め定めた方向についての第１の距離に設けられる検知用の第１の領域と当該第１の領域よりも当該像に近い第２の距離に設けられる検知用の第２の領域の両方で前記ユーザの体の一部が検知されなくなるまで、別の動きを前記操作として受け付けない、
   情報処理システム。
4. コンピュータに、
   空気中に形成される像に対してユーザが接近する方向が予め定めた方向である場合に、当該ユーザの動きを操作として受け付ける機能
   を実現させるためのプログラムであり、
   前記機能は、前記受け付けから予め定めた時間の経過後も、前記像から予め定めた方向についての第１の距離に設けられる検知用の第１の領域と当該第１の領域よりも当該像に近い第２の距離に設けられる検知用の第２の領域の両方で前記ユーザの体の一部が検知されなくなるまで、別の動きを前記操作として受け付けない、
   プログラム。

Images