JP2025035473A - 空中映像入力装置、プログラム及び方法 - Google Patents

Abstract

【課題】赤外線等の光学方式によらず空中映像に対するタッチ・入力操作を検知し、大型の空中映像への入力操作や、多数点に対する同時タッチについても検知可能とする。
【解決手段】空中に結像される空中映像１２ａへの入力操作を可能とする空中映像入力部２０であって、深度カメラ１４から、空中映像１２ａに対して行われる入力操作の映像を取得する映像取得部２１と、映像取得部２１で取得された映像から、入力操作を行う操作部の、当該映像上の位置を検出する操作位置検出部２２と、映像取得部２１で取得された映像から、入力操作を行う操作部の、当該映像上の深度を検出する操作深度検出部２３と、検出された操作部の位置及び深度に基づいて、当該操作部の、映像取得部２１で取得された映像上の座標を取得し、空中映像１２ａ上の座標に変換する座標取得変換部２４を備え、空中映像１２ａ上の座標情報を所定の装置に出力する構成としてある。
【選択図】図１

Description

本発明は、所謂空中タッチディスプレイ，仮想タッチパネル等と呼ばれる、空中に結像される空中映像への入力操作を可能とする空中映像入力技術に関する。

近年、所謂空中タッチディスプレイ，仮想タッチパネル等と呼ばれる、空中に結像される空中映像技術が活用されている。
空中映像技術は、光の反射を利用して、空中において映像を結像・表示させることができる技術であり、特殊なスクリーンや媒体，メガネ等を必要とすることなく、人間が肉眼で直接、空中・空間に浮かび上がった映像を視認することができる空中映像を生成するものである。

また、そのような空中映像に対して、空中映像が浮かび上がった空間を手指で指したり移動させたりすることで、空中映像への入力・タッチ操作を行わせることもでき、空中に浮かぶ仮想的なタッチパネル・入力装置として機能させることも可能となる。
このような空中映像は、これまでのタッチパネルや入力装置等とは異なり、物理的な接触がなく、指紋なども残らず、非接触での入力操作が可能となることから、特に近年の感染症対策や医療現場等における衛生上・安全上の観点から、導入・普及が期待されるようになっている。

このような空中映像に対する非接触での入力操作・タッチ入力は、通常、光学方式によるタッチ検出が行われている。
例えば、空中映像が結像・表示される結像空間の近傍に、赤外線センサ等の光学素子を配置して、入力操作を行う操作者の手指の有無を赤外線で検知することで、空中映像へのタッチが行われたことを検知し、それをＰＣ等の情報処理装置に入力信号として出力するようになっている。
このような空中映像に対して赤外線等の光学方式による入力操作を可能とする技術としては、例えば特許文献１の「再生画像の指示位置を非接触で検知する方法及び装置」等がある。

特許第５５０９３９１号公報

しかしながら、これまでの空中映像に対する入力検知技術は、上述した特許文献１に開示されている方法も含めて、改良の余地があった。
例えば、赤外線等の光学方式による指先等の検知は、赤外線センサの数や配置される位置によって、指先等を検知できる範囲が限られており、また、同時に検知できるタッチ（指先）の数も、せいぜい２～３点であった。

このため、タッチ入力が可能な空中映像としては、１５インチ程度までの範囲のものに限定されており、大型の空中映像・空中ディスプレイには対応することができなかった。
空中映像自体は、例えば６０インチ以上の大型の映像を表示することも可能であるが、そのような大型の空中映像に対して、全範囲でのタッチ入力を可能としたり、例えば１０点以上のタッチ入力を同時に検知したりするようなことはできなかった。

本発明は、上記のような課題を解決するために提案されたものであり、赤外線等の光学方式によらず空中映像に対するタッチ・入力操作を検知することができ、大型の空中映像への入力操作や、多数点に対する同時タッチについても、確実に検知することができる空中映像入力装置、プログラム及び方法を提供することを目的とする。

上記目的を達成するため、本発明は、空中に結像される空中映像への入力操作を可能とする空中映像入力装置であって、所定の撮像手段から、前記空中映像に対して行われる入力操作の映像を取得する映像取得部と、前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の位置を検出する操作位置検出部と、前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の深度を検出する操作深度検出部と、検出された前記操作部の位置及び深度に基づいて、当該操作部の、前記映像取得部で取得された映像上の座標を取得し、前記空中映像上の座標に変換する座標取得変換部と、を備え、前記空中映像上の座標情報を所定の装置に出力する構成としてある。

本発明に係る空中映像入力装置によれば、赤外線等の光学方式によらず空中映像に対するタッチ・入力操作を検知することができる。
これによって、例えば、大型の空中映像への入力操作や、多数点に対する同時タッチについても、確実に検知することができる、大型の空中ディスプレイや複数人による同時タッチ等にも対応可能な、有用な空中映像入力装置、を提供することが可能となる。

本発明の一実施の形態に係る空中映像生成装置／空中映像入力部の全体構成を示す機能ブロック図である。 空中映像生成装置を模式的に示す説明図である。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部におけるタッチ入力操作の流れを示す説明図である。 本発明の一実施の形態に係る空中映像入力部におけるタッチ入力操作の検出・出力処理の具体的な工程を示すフローチャートである。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部において、空中映像に対して行われる入力操作の映像を上方から撮像して、操作を行う手の位置／深度を推定・検出する場合の説明図である。 図５から引き続いて、手の検出処理の詳細を示す説明図であり、（ａ）は取得される入力画像を、（ｂ）は手の位置の推定処理後の状態を示している。 図６から引き続いて、手の検出処理の詳細を示す説明図であり、（ａ）は手の骨格の推定処理後の状態を、（ｂ）は推定・検出された手の骨格（関節点）の位置を示している。 本発明の一実施の形態に係る空中映像入力部において、手の位置を座標に変換する処理の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像入力部において、深度カメラで取得された映像の結像面上のタッチ位置を、空中映像のタッチパネル（ディスプレイ）上のタッチ位置を示す座標に変換する処理の説明図である。 本発明の一実施の形態に係る空中映像入力部において、手の追従処理の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像入力部において、タッチ操作データの生成処理の詳細を示す説明図である。 タッチ操作データの生成処理において、手の移動量が少ない場合に、手のブレをドラッグ操作と推定してしまう場合の説明図である。 タッチ操作データの生成処理において、手のブレをドラッグ操作と推定されないようにする場合の説明図である。 タッチ操作データの生成処理において、前回の処理から時間が空いた場合に、手の動きが大きな移動となってしまう場合の説明図である。 タッチ操作データの生成処理において、前回の処理から時間が空いた場合にも、手の動きをスムーズに見せる場合の説明図である。 本発明の一実施の形態に係る空中映像入力部において、タッチ操作データに基づいてＰＣに入力するタッチイベントを生成・発行する処理の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部で行われるタッチ操作パターンとして、タップ操作が行われた場合の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部で行われるタッチ操作パターンとして、フリック操作が行われた場合の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部で行われるタッチ操作パターンとして、２本指操作が行われた場合の詳細を示す説明図である。 図１９から引き続いて、２本指操作が行われた場合の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部で行われるタッチ操作パターンとして、長押し操作が行われた場合の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部で行われるタッチ操作パターンとして、２本指操作から１本指操作に変更された場合の詳細を示す説明図である。 図２２から引き続いて、２本指操作から１本指操作に変更された場合の詳細を示す説明図である。 本発明の一実施の形態に係る空中映像生成装置／空中映像入力部におけるタッチ入力操作の検出処理の概要を模式的に示す説明図である。 本発明に係る空中映像生成装置／空中映像入力部を構成する情報処理装置のハードウェア構成を示すブロック図である。

以下、本明細書に添付した図面を参照しつつ、本発明に係る空中映像入力装置を具体化した実施の形態について説明し、本発明の理解に供する。
本発明に係る空中映像入力装置は、所謂空中タッチディスプレイ，仮想タッチパネル等と呼ばれる、空中に結像される空中映像への入力操作を可能とする入力装置・入力手段である。
具体的には、本発明の空中映像生成装置は、図１に示すように、空中映像を生成・表示する空中映像生成装置１０に接続される空中映像入力部２０として構成される。

ここで、空中映像生成装置１０／空中映像入力部２０は、一体の情報処理装置によって構成することができ、その場合には、空中映像入力部２０は、空中映像生成装置１０を構成する情報処理装置に実装されるソフトウェア・プログラムとして構成することができる（図２５参照）。
また、空中映像入力部２０は、空中映像生成装置１０とは別体の情報処理装置によって構成することができ、その場合には、空中映像入力部２０は、空中映像生成装置１０に対して有線／無線を介して通信可能に接続される、例えばＰＣ等の情報処理装置に実装されるソフトウェア・プログラムとして構成することができる（図２５参照）。

［空中映像生成装置］
空中映像生成装置１０は、光の反射を利用して、空中において映像を結像・表示させる装置であり、生成・表示された空中映像は、特殊なスクリーンや媒体，メガネ等を必要とすることなく、人間が肉眼で直接、空中・空間に浮かび上がった映像として視認することができるようになる。
具体的には、空中映像生成装置１０は、図１及び図２に示すように、装置を構成する筐体１１と、筐体１１の内部に配置されるディスプレイ１２と、ディスプレイ１２の前方に配置される光学素子１３とを備えて構成される。

ディスプレイ１２は、空中映像の元となるオリジナル映像を生成・表示させる、例えば液晶ディスプレイや有機ＥＬディスプレイ等で構成される表示手段である。
このディスプレイ１２には、図示しないＰＣ等の情報処理装置が接続され、ＰＣ等で生成・加工されたオリジナル映像が出力され、ディスプレイ１２に表示されるようになる。

光学素子１３は、ディスプレイ１２に表示される映像が放つ光線を反射・透過させる特殊構造のガラスプレート等で構成され、光学素子１３を通過したディスプレイ１２の映像は、光学素子１３を挟んだ反対側の同距離の空間で結像し、ディスプレイ１２のオリジナル映像と同じ映像が、空中映像１２ａとして生成・表示されるようになる。
そのように表示された空中映像１２ａは、特殊なスクリーンや媒体，専用のメガネ等を必要とすることなく、人間が肉眼で直接、空中・空間に浮かび上がった映像を視認できるようになる。

そして、そのような空中映像１２ａに対して、空中映像が浮かび上がった空間を手指で指したり移動させたりすることで、そのような手指の操作を、後述する空中映像入力部２０で検知することで、空中映像１２ａに対する入力操作として検出し、入力信号を生成し、所定の情報処理装置に出力することができる。
これによって、空中映像１２ａに対して行われた入力操作は、空中に結像・表示された仮想的なタッチパネルとして機能することになり、ディスプレイ１２のオリジナル映像に対して入力操作を行ったのと同様に、情報処理装置への入力操作として、入力信号を生成・入力することができ、例えばディスプレイ１２のオリジナル映像を生成した図示しないＰＣ等の情報処理装置に対して、任意の入力信号を入力させ、ＰＣ等に所望の処理・動作を行わせることができるようになる。
以下、本明細書では、この入力操作が可能となる空中映像１２ａを、適宜「タッチパネル」と称することがある。

ここで、空中映像１２ａとして生成・表示される映像（オリジナル映像）は、その内容等は特に限定されるものではなく、任意の映像を生成・表示させることができる。
例えば、図１及び図２に示すような「地球」（天体）の映像を表示させ、入力操作によって地球を回転させたり、特定の国や地域をタッチすることで、その国や地域についてのテキスト情報等を表示させたりすることができる。
また、例えば、「テンキー」や「キーボード」の映像を表示させることで、入力操作によって所望の番号や文字等を入力することができる。
さらに、例えば６０インチ等の大型のディスプレイに対応した大型の空中映像１２ａに人物やキャラクターの映像を表示させ、入力操作に応じてそのキャラクター等を所望の動作に動かせるようにすることも可能である。

また、本実施形態において、空中映像への入力操作を行う操作部１００は、基本的には、操作者の手である。
空中映像に対する入力操作は、空中の結像面に操作部１００を置く（位置させる）ことで行われるので、物理的な接触がなく、指紋なども残らず、非接触での入力操作が可能となることから、衛生上・安全上の観点からも、指による操作に好適である。
但し、入力操作を行う操作部１００としては、特に人間の手指に限定されるものではなく、例えばタッチペンやスティックのような棒状の器具など、空中映像の所望の位置を指し示すことができるものであれば、どのような器具や部材であっても操作部１００として用いることができる。
その場合には、後述する空中映像入力部２０における手指の骨格の推定・検知は不要となり、棒状の器具等の先端部を、画像認識によって特定すれば、入力操作として検知することができる。

なお、以上のような空中映像生成装置１０は、例えば、上述した特許文献１に開示されている装置を含めて、公知の空中映像生成手段によって構成することができる。
したがって、後述する空中映像入力部２０によって入力操作が可能となる空中映像１２ａを生成・表示させることができる限り、空中映像生成装置１０の構成・構造や大きさ、形態などは、特に図１－２に示した本実施形態のものに限定されず、空中映像入力部２０を適用可能な任意の空中映像生成装置を採用することが可能である。

［深度カメラ］
そして、以上のような空中映像生成装置１０には、空中映像１２ａに対して行われる操作部１００の映像を撮像する撮像手段として、空中映像に対して行われる入力操作の映像データと、当該映像データの深度データを生成する深度カメラ１４が備えられている。
深度カメラ１４は、Ｄｅｐｔｈカメラ，深度計測センサ付きカメラ等ともよばれ、対象物までの距離情報をカメラ映像にて可視化できるもので、任意の撮像対象の映像を撮像するとともに、撮像された対象物について、それぞれ、映像中の深度データ（距離情報）を生成・付与することができる撮像手段である。

このような深度カメラ１４によって撮像された空中映像１２ａと、その空中映像１２ａに対して入力操作を行う手指等の操作部１００は、それぞれ、その映像が撮像され、かつ、深度カメラ１４から空中映像１２ａ・操作部１００までの深度データが生成・付与されるようになる。
これによって、後述する空中映像入力部２０において、空中映像１２ａとその空中映像１２ａにタッチ操作を行う手指等の操作部１００の位置及び深度を検出することができ、空中映像１２ａに対する入力操作の有無や位置等を特定することができるようになる。

ここで、深度カメラ１４の配設位置は、空中映像１２ａと入力操作を行う手指等の操作部１００の映像が撮像できる限り、特に限定されるものではなく、撮像対象となる空中映像１２ａの大きさ（範囲）や結像位置、入力操作を行う操作者の位置などに応じて、適切な位置に配設することができる。
例えば、図１－２に示すように、空中映像１２ａを操作する手指等の操作部１００を正面から撮像できるように、深度カメラ１４を空中映像生成装置１０の筐体１１の背面側に設け、筐体１１の正面側を撮像できるようにすることができる。
また、例えば、図５に示すように、空中映像１２ａを操作する手指等の操作部１００を上方から撮像できるように、深度カメラ１４を、支持部材を介して空中映像生成装置１０の筐体１１の上方に設けて、空中映像１２ａ及び操作部１００の全体を上方から撮像できるようにすることもできる。

なお、深度カメラ１４については、公知の深度カメラ・深度センサ付きカメラ等を用いて構成することができる。
まだ、空中映像１２ａとその入力操作の映像と深度データ（距離情報）が得られる限り、深度カメラ１４の構成自体は特に限定されない。
したがって、例えば、撮像機能を有するカメラと、深度データの生成・測定機能を有する深度計測センサとを、それぞれ別体にして設けて深度カメラ１４として構成することも可能である。

［空中映像入力部］
空中映像入力部２０は、上述した空中映像生成装置１０によって生成される、空中に結像される空中映像１２ａへの入力操作を可能とする入力制御手段であり、本発明に係る空中映像入力装置を構成する。
本実施形態に係る空中映像入力部２０は、上述した空中映像生成装置１０によって生成・表示される空中映像１２ａと、その空中映像１２ａに対して操作部１００によって行われる入力操作について、撮像手段となる深度カメラ１４で撮像された映像に基づいて、入力操作を行う手指等の操作部１００の有無や位置を検知するとともに、後述する所定の情報処理装置に対して、検知された入力操作に基づく入力信号を生成・出力するための処理，手段，機能を実行するソフトウェア（プログラム）及びハードウェア（コンピュータ等の情報処理装置）によって構成される（図２５参照）。

具体的には、本実施形態に係る空中映像入力部２０は、映像取得部２１，操作位置検出部２２，操作深度検出部２３，座標取得変換部２４の各部として機能するように構成されている。
映像取得部２１は、上述した空中映像生成装置１０に備えられる撮像手段である深度カメラ１４から、空中映像１２ａに対して行われる入力操作の映像を取得する手段である。
具体的には、映像取得部２１は、深度カメラ１４で撮像される空中映像１２ａと空中映像１２ａに対する操作部１００の映像と、その映像中の空中映像１２ａ・操作部１００までの深度データを取得・入力するようになっている。
この映像取得部２１で取得される映像及び深度データに基づいて、後述する空中映像１２ａに対する入力操作の検知・特定処理が実行されることになる。
なお、この映像取得部２１は、上述した深度カメラ１４と別体に構成することもでき、また、深度カメラ１４を映像取得部２１として一体的に構成することもできる。

操作位置検出部２２は、映像取得部２１で取得された映像から、入力操作を行う操作部１００の、当該映像上の位置を検出することができる手段である。
具体的には、操作位置検出部２２は、映像取得部２１で取得された映像に含まれる操作者の手指（操作部１００）の存在を画像認識によって特定し、その手指の映像中の位置（映像中のＸＹ座標：図６－９参照）を推定・検出するようになっている。
特に、本実施形態では、操作位置検出部２２が、入力操作を行う操作者の手の骨格の、映像上の位置（図７参照）を検出することができる。
これによって、空中映像１２ａに対する手指の位置、骨格の位置から、空中映像１２ａの結像面における指先の先端位置を検出することができ、指の先端が空中映像１２ａの結像面のどの位置において、結像面に触れているかどうかを特定することができるようになる。

操作深度検出部２３は、映像取得部２１で取得された映像から、入力操作を行う操作部１００の、当該カメラ映像上の深度を検出する手段である。
具体的には、操作深度検出部２３は、映像取得部２１で取得された映像に含まれる操作者の手指（操作部１００）の深度（深度カメラ１４からの距離）を深度データによって特定し、その手指の骨格・指先を含む映像中の深度（映像中のＺ座標：図７－８参照）を推定・検出するようになっている。
特に、本実施形態では、操作深度検出部２３が、入力操作を行う操作者の手の指先の、前記映像上の深度（図８参照）を検出することができる。
これによって、上述した操作位置検出部２２で検出される空中映像１２ａの結像面における指先の先端位置情報とともに、指の先端が空中映像１２ａの結像面のどの位置において、結像面に触れているかどうかを特定することができるようになる。

座標取得変換部２４は、検出された操作部１００の位置及び深度に基づいて、当該操作部の、映像取得部２１で取得された映像上の座標を取得し、空中映像上の座標に変換する手段である。
具体的には、座標取得変換部２４は、深度カメラ１４で撮像・生成されたカメラ映像上の指先座標を、空中映像１２ａで構成されるタッチパネル上の座標に変換する。
これによって、深度カメラ１４の映像から、空中映像１２ａが構成するタッチパネルのタッチ面（結像面）に対するタッチの有無を検知・判定することができるようになる。

そして、以上のような各部の処理により、空中映像１２ａ上の座標情報、具体的にはＸＹＺ座標を示す情報（図８－９参照）を、例えば空中映像１２ａのオリジナル映像を生成したＰＣ等、所定の装置に出力することができるようになる。
以上のような空中映像入力部２０における、映像取得部２１，操作位置検出部２２，操作深度検出部２３，座標取得変換部２４の各部による具体的な処理動作については、図３－２４を参照しつつ更に後述する。

［空中映像（タッチパネル）への入力動作］
次に、以上のような構成からなる本実施形態に係る空中映像生成装置１０／空中映像入力部２０による空中映像１２ａに対して行われる入力・タッチ操作の検知について、具体的な処理・制御の工程の一例を、図面を参照しつつ説明する。
図３に、本実施の形態に係る空中映像入力部２０におけるタッチ入力操作の流れ（概要）を示す。
同図に示すように、空中映像入力部２０による処理は、概要、以下のステップ１－４の流れで実行される。

ステップ１．深度カメラの映像から手の位置を推定
深度カメラ１４で撮像された空中映像１２ａ及び入力操作を行う手の映像から、画像認識によって手の有無と位置が特定されて「映像内のどの位置に手があるか」が推定される（図６参照）。

ステップ２．推定した手の骨格を推定
上記ステップ１で特定された手の「骨格」についても、深度カメラ１４の映像が画像認識されることで、「骨格」の位置が推定される（図７参照）。これによって「映像内のどの位置に指先があるか」が特定され、指先が空中映像１２ａのタッチパネルの結像面上に触れたことを検知・判定することができる。

ステップ３．骨格の推定結果と深度データから空中映像１２ａの結像面のどのあたりをタッチしているか計算
上記ステップ２で特定された手の「指先」の位置と、深度カメラ１４で取得される「指先」の深度データに基づいて、空中映像１２ａの「結像面上の指先位置」を示す、後述する指先の「ＸＹＺ座標」が計算により求められる（図８－９参照）。

ステップ４．ＰＣのドライバに入力イベントを発行する
上記ステップ３で求められた空中映像１２ａの「タッチパネル結像面上の座標」が、例えば空中映像１２ａのオリジナル映像を生成したＰＣ等の所定の装置に入力される。その場合に、ＰＣ側の入力ドライバで「タッチパネル結像面上の座標」が、当該ＰＣで処理可能な所定のイベント情報に変換・生成される（図１６参照）。
以上により、深度カメラ１４で撮像された映像に基づいて、空中映像１２ａが示すタッチパネルへの入力操作が実行され、ＰＣ等の所定の装置に入力信号として入力され、所望の処理・制御が実行されるようになる。

以下、空中映像入力部２０による空中映像１２ａへの入力・タッチ操作の検出・出力処理について、図４を参照しつつ具体的に説明する。
図４は、本実施形態に係る空中映像入力部２０におけるタッチ入力操作の検出・出力処理の具体的な工程を示すフローチャートである。
同図に示すように、まず、「手の検出」処理が実行される（Ｓ０１）。

具体的には、深度カメラ１４で撮像された空中映像１２ａと空中映像１２ａに入力操作を行う手を映した映像が取得され（映像取得部２１）、画像認識処理によって「手の位置」と「各関節の座標点」が推定・検出され、検出データとして生成・出力される（操作位置検出部２２）。
ここで、深度カメラ１４で撮像・取得される映像（画像データ）は、一般的なカメラで取得される画像（ＲＧＢ画像）と同等のものである。
また、そのような画像データに対する画像認識処理としては、公知の画像認識技術、例えばＯＳＳ（オープンソースソフトウェア）として提供されている「ＭｅｄｉａＰｉｐｅ」や「ＭＭＰｏｓｅ」等で実行することができる。
これによって、「映像内のどの位置に手があるか」、「映像内のどの位置に指先があるか」が特定され、指先が空中映像１２ａのタッチパネルの結像面上に触れているか否かが検知・判定されることになる。

次に、「手の位置の座標変換」処理が実行される（Ｓ０２）。
具体的には、カメラ映像上の指先座標が空中映像１２ａ（タッチパネル）上の座標に変換され、タッチパネル結像面への指先のタッチの有無が判定される（ステップＳ０２）。
まず、深度カメラ１４で撮像された映像の画像認識により推定・特定された手の指先の位置（関節の座標点）に対して、深度カメラ１４で生成される深度データが付与される（操作深度検出部２３）。深度カメラ１４の深度データは、画像上の各座標点のカメラからの距離（単位ｍｍ)として生成・出力される。
これによって、深度カメラ１４のカメラ映像上の指先座標を、空中映像１２ａ（タッチパネル）上の座標（ＸＹＺ座標）に変換することができ、空中映像１２ａで形成されたタッチパネルの結像面への指先のタッチの有無が判定されるようになる（座標取得変換部２４）。

また、これと並行して、「手の追従判定」処理が実行される（Ｓ０３）。
具体的には、深度カメラ１４の映像から画像認識処理された今回の「手」が、前回の処理で認識されていた「手」か否かを判断する追従判定が行われる（ステップＳ０３）。
この追従判定処理では、画像認識処理で付与される認識対象を示す識別情報（ランダム付与される認識処理番号）に関わらず、前回と同じ「手」と認識された場合には、同じ識別情報（管理番号）を与えることで、「手」の同一性・追従判定が行われる。
この「手」の追従判定処理も、公知の画像認識技術、例えばＭＯＴ：ＭｕｌｔｉｐｌｅＯｂｊｅｃｔＴｒａｃｋｉｎｇを実行するアルゴリズムとして提供されている「ＢｙｔｅＴｒａｃｋ」等を用いることで実現することができる。

その後、「タッチ操作データの生成」処理が実行される（Ｓ０４）
タッチ操作データは、上記Ｓ０１－Ｓ０３で生成・取得された空中映像１２ａに対する入力操作情報を、最終的な出力先であるＰＣ等の情報処理装置に渡す前の中間的なデータとして生成されるもので、例えば、上述した「手（指）の管理番号・指（先）の位置・タッチの有無」などを示す操作データとして生成・出力される。

最後に、「タッチイベント生成」処理が実行される（Ｓ０５）。
タッチイベントは、上述したタッチ操作データを、最終的な出力先であるＰＣ等の情報処理装置が認識・処理可能なイベントデータに変化するもので、例えば、出力先であるＰＣのドライバに対する「操作イベント」を示す情報として生成・発行される。
このタッチイベントが、最終的な出力先であるＰＣ等に入力されることで、ＰＣ上で所望の処理・制御が実行されることになる。

以下、図４のフローチャートで示した各処理（手の検出・手の位置の座標変換・手の追従処理・タッチ操作データの生成・タッチイベント生成）について、より具体的に説明する。
［手の検出処理］
まず、「手の検出処理」について説明する。
図５は、本実施形態に係る空中映像生成装置１０／空中映像入力部２０において、空中映像に対して行われる入力操作の映像を上方から撮像して、操作を行う手の位置／深度を推定・検出する場合の説明図である。
図６は、図５から引き続いて、手の検出処理の詳細を示す説明図であり、（ａ）は取得される入力画像を、（ｂ）は手の位置の推定処理後の状態を示している。
図７は、図６から引き続いて、手の検出処理の詳細を示す説明図であり、（ａ）は手の骨格の推定処理後の状態を、（ｂ）は推定・検出された手の骨格（関節点）の位置を示している。

まず、手の検出処理を実行する場合に、事前に空中映像１２ａの結像面の位置に関して、以下の情報を準備しておく。
(1)深度カメラ１４で撮像されるカメラ画像見えでの結像面の端点の位置（図５（ａ）の黒線で示す結像面の位置）
(2)結像面の端点のカメラからの距離（図５（ｂ）の点線で示す距離データを取得）
図５（ａ）に示すように、操作者の右手指が位置する画像の黒線の位置が、空中映像１２ａの結像面の位置となる。なお、同図では、見やすいように長方形で示しているが、実際には台形に近い見え方(カメラに近いほど横線が短く、遠いほど長い形)となる。
また、図５（ｂ）に示すように、結像面の端点のカメラからの距離は、深度カメラ１４の配設位置と空中映像１２ａの結像位置によって決定される。

手の検出処理では、手の位置をベースに空中映像１２ａで形成されるタッチパネルの操作を行うため、手がどこにあるのかを計算(画像認識による推定)をする必要がある。
ここでは、深度カメラ１４で撮像された画像データをＩＮＰＵＴにして、画像上のどの位置に手があり、関節点の位置がどこにあるのかをＯＵＴＰＵＴとして出力する。
・ＩＮＰＵＴ：ＲＧＢ画像
・ＯＵＴＰＵＴ：手の位置の推定結果、手の骨格の推定結果
これによって、以下の２つの推定結果が得られる。
１．深度カメラ１４から入力された映像（ＲＧＢ画像）に基づいて手の位置を推定
２．推定した手の位置から骨格を推定

まず、図６（ａ）及び（ｂ）に示すように、深度カメラ１４から入力された映像（ＲＧＢ画像）をもとに、手の位置を推定する。ここでのＩｎｐｕｔ画像は、一般的なカメラで取られる映像データと同じものであり、深度データは含まれない。
なお、図６（ｂ）では、推定処理後の「手の位置」について、見やすく囲って示しているが、推定処理で得られるデータは囲っている枠の角の画像上の座標データとなる。
その後、図７（ａ）に示すように、推定した手の位置から、手の「骨格」を推定する。
図７（ａ）に示す例では、囲われた部分のデータを入力として、２１点の関節点を推定する（図７（ｂ）参照）。同図に示す２１点は、各指の関節（１－２０）＋手のひらの付け根（０）となっている。

ここで、手の骨格の推定で得られるのは、各関節点の画像上の座標データとなる。
画像上の座標点とは、例えば図６（ａ）に示すＩｎｐｕｔ画像の左上を［０，０］とし、右下を画像のサイズ(図６（ａ）の例では［横８４８ｐｉｘｅｌ×縦４８０ｐｉｘｅｌ］)として、ピクセルごとに振ったものとなる。
例えば、図６（ａ）のＩｎｐｕｔ画像では、左手の人差し指は真ん中よりやや右に位置するので、画像上の座標データとしては、おおよそ（４２４，３００）となる。

［手の位置の座標変換処理］
次に、「手の位置の座標変換処理」について説明する。
手の位置の座標変換処理では、上述した手の検出で取得された関節点のデータ＋深度データをＩＮＰＵＴとし、３次元的に「手」がどの辺りに存在するのか、また、空中映像１２ａの結像面に対して触れているのかをＯＵＴＰＵＴとする。
・ＩＮＰＵＴ：手の骨格の推定結果
・ＯＵＴＰＵＴ：タッチパネル上の座標、タッチ有無

これによって、以下の４つの処理が実行される。
１．手の骨格の推定結果から指先の結果だけを抽出
２．事前に取得している結像面の位置を使って、結像面に触れていると想定される座標だけを抽出
３．結像面上のどの位置に指があるか計算し、指が結像面に触れているかを判定する
４．結像面上のタッチ位置をタッチパネル上のタッチ位置への変換

１．手の骨格の推定結果から指先の結果だけを抽出
上述のとおり、手の骨格の推定結果は、２１点の関節点情報があるが（図７（ｂ）参照）、手の位置の座標変換処理で使用されるのは指先のデータだけとなる。
すなわち、入力データ（ＩＮＰＵＴ）を加工し、図７（ｂ）に示す例では、関節点［４，８，１２，１６，２０］のデータのみとする。

２．事前に取得している結像面の位置を使って、結像面に触れていると想定される座標だけを抽出
まず、上述のとおり、図５（ａ）で示す黒線部分が、事前に取得されている結像面の位置となる。この結像面の範囲を下部限界まで広げた範囲を、結像面に触れていると想定される範囲(白線で囲った四角の範囲)とし、この範囲内に入っているもののみについて、結像面上の座標点を計算する。

図５（ａ）の例では、左手の人差し指は想定範囲内にいないため、タッチしておらず、空中映像１２ａのタッチパネル上のどこにあるかも不明となる。
一方、右手の人差し指は、想定範囲内にいるので、座標計算が実行される。
なお、上記のように、結像面よりも下に有効範囲を広げている理由は、指が結像面よりも深く触れられた場合に対応するためである。
以下の「３」の処理にも関連するが、空中映像１２ａの「結像面ピッタリ」と「結像面より奥」とでは、カメラの画像的には違いが生ずるからである。

３．結像面上のどの位置に指があるか計算し、指が結像面に触れているかを判定する
空中映像１２ａは、実際には何もない空間を指さすことになるので、タッチパネルの同じ位置をタップするつもりでも、結像面よりも深く指を挿す可能性がある。
そのため、「結像面の端点で形成される平面」と、「タッチされていると思われる指先座標」とが直行する座標を、結像面上の指先位置(タッチ座標)として扱うようにする。
この点を、図８を参照して説明する。
同図に示すように、考え方(計算の方法)としては、［Ｘ，Ｙ］をカメラから見える横縦座標とし、Ｚをカメラからの距離とする。
そして、空中映像１２ａの結像面上のタッチ座標（Ｆ）が、結像面の端点（Ａ－Ｄ）の範囲内であれば、指先が結像面に触れていると判断することができる。

４．結像面上のタッチ位置をタッチパネル上のタッチ位置への変換
図９は、深度カメラ１４で取得された映像の結像面上のタッチ位置を、空中映像１２ａのタッチパネル（ディスプレイ）上のタッチ位置を示す座標に変換する処理の説明図である。
同図に示すように、結像面上のタッチ位置を、Ｘをカメラから見える横座標とし、Ｚをカメラからの距離として考える。
また、タッチパネル（空中映像１２ａ）上のタッチ位置は、Ｘ，Ｙをタッチパネル上の横縦座標として考える。

このとき、Ｘ，Ｙの最大値は、それぞれ結像面上のＸ，Ｚの最大値から最小値を引いた値となる（図５参照）。
上述した図５（ａ）に示すように、操作者の指のタッチ位置は、同図の黒線で囲む範囲内となるが、同図では、見やすいように長方形で示しているが、実際には台形に近い見え方(カメラに近いほど横線が短く、遠いほど長い形)となる。
このように結像面上のタッチ位置は台形に近い形となるが、これを、図９に示すように、長方形に変換する。

すなわち、図５（ａ）で示した空中結像面の位置情報は（画像内縦横（Ｘ,Ｙ）と深度（Ｚ））となるので、指のタッチ位置の座標計算においても、画像内の（Ｘ，Ｙ，Ｚ）は、空中結像内にいるのかを範囲で確認するために取得することになる。
なお、Ｘ，Ｚの値を使用しているのは、深度カメラ１４の位置が空中映像１２ａの上部だからであり（図５）参照、図１－２で示すように深度カメラ１４の位置が空中映像１２ａの正面（背面）の場合には、使用する値はＸ，Ｙの値となる。

［手の追従処理］
次に、「手の追従処理」について説明する。
図１０は、空中映像入力部２０による、手の追従処理の詳細を示す説明図である。
手の追従処理では、手の検出で取得した手の位置データをＩＮＰＵＴにして、今まで認識していた手か否かを判断する。
・ＩＮＰＵＴ：手の位置の推定結果
・ＯＵＴＰＵＴ：管理番号
具体的には、手の追従処理では、画像認識処理で付与される認識対象を示す識別情報（ランダム付与される認識処理番号）に関わらず、前回と同じ「手」と認識された場合には、同じ識別情報（管理番号）を与えることで、「手」の同一性・追従判定が行われる。

一般に、画像認識処理において、例えば手の認識は、前回自分が認識していた手かどうかは判断されず、そのため、認識結果はランダムに格納されることになる（図１０参照）。
そこで、手の追従処理では、ランダムな認識結果と、空中映像入力部２０の内部で使用する管理番号を変換して出力する。
これによって、認識結果では異なる認識番号が付与された「手」について、共通の同じ管理番号を付与することで、同一の「手」として追従することができ、重複した手の検出処理等が行われることを回避することができるようになる。

［タッチ操作データの生成処理］
次に、「タッチ操作データの生成処理」について説明する。
タッチ操作データは、空中映像１２ａに対する入力操作情報を、最終的な出力先であるＰＣ等の情報処理装置に渡す前の中間的なデータとして生成される。
具体的には、タッチ操作データの生成処理では、上述した追従判定の結果、「ディスプレイ上の座標とタッチの有無」と「前回のタッチ状態」の情報を元にして、どのような操作を行うかデータを整形する。
また、タッチ操作データの生成処理では、タッチ操作のスムーズな動きを実現するために、例えば１０ｍｓごとに操作した想定でデータを作成することができる。

・ＩＮＰＵＴ：追従判定の結果(手ごとの管理番号)、ディスプレイ上の座標とタッチ有無、前回のタッチ状態と時間
・ＯＵＴＰＵＴ：指先ごとの管理番号とそれに紐づく操作状態とタッチ座標
タッチ操作データの生成処理では、上記のようなＩＮＰＵＴの情報を元にして、どのような操作を行うかデータを整形する。

例えば、図１１（ａ）に示すように、右図に示すような位置に手がある場合には、ＯＵＴＰＵＴとして、タッチ操作データは左図のようになる。なお、同図中［ｘｘｘ］,［ｙｙｙ］は任意の値を意味する（以下同様）。
そして、この状態から、次の画像で、図１１（ｂ）の右図に示すように手が移動した場合は、図１１（ｂ）左図のようなタッチ操作データとなる。

以上が、タッチ操作の基本的な動きと、その場合に生成されるタッチ操作データの例であるが、特殊なパターンとして、以下の２つのパターンが想定される。
パターン１．タッチ開始直後は移動量が少ない場合はタッチ座標を変化させない
パターン２．前回の処理から時間が所定時間（１０ｍｓ）以上空いた場合は、ＯＵＴＰＵＴをその所定時間（１０ｍｓ）間隔で移動した想定にする

まず、パターン１について、図１２－１３を参照しつつ説明する。
画像認識の指先推定の結果は、手が動いていなくても、数ｐｉｘｅｌ動いて推定されることが少なくない。
その場合、生成・出力されるタッチ操作データの一例は、例えば図１２に示すようになる。
そのため、純粋（厳密）に推定結果を使用すると、単純なタッチ操作が難しくなることがある。
例えば、手が動いていないのに、結果がぶれてドラッグ操作になってしまう、ということが起こり得る。
これを回避するために、図１３に示すように、移動量が少ないうちはタッチ座標を更新せず、移動量のみ加算する処理を行うことが好ましい。

次に、パターン２について、図１４－１５を参照しつつ説明する。
画像認識の指先推定の時間は、基本的には数ｍｓであるが、例えば１０ｍｓ以上かかってしまう場合もある。
そのような場合には、入力操作を行ったユーザが想定していたよりも大きな移動となり、操作の違和感につながることがある。
例えば、図１４に示すように、ユーザは３０ｍｓかけて「１００」移動したが、認識上は一瞬で「１００」移動したと判断されることがある。
このような場合には、図１５に示すように、タッチ操作を行う指先が、例えば１０ｍｓごとに移動したと想定される値に変換することで、スムーズな移動に見せることができるようになる。

［タッチイベントデータの生成処理］
次に、「タッチイベントデータの生成処理」について説明する。
タッチイベントは、上述したタッチ操作データを、最終的な出力先であるＰＣ等の情報処理装置が認識・処理可能なイベントデータに変化するもので、例えば、出力先であるＰＣのドライバに対する「操作イベント」を示す情報として生成・発行される。
このタッチイベントが、最終的な出力先であるＰＣ等に入力されることで、ＰＣ上で所望の処理・制御が実行されることになる。

・ＩＮＰＵＴ：タッチ操作データ(指管理番号、タッチ座標、タッチ有無、タッチ状態変化)
・ＯＵＴＰＵＴ：ドライバに対する操作イベント
具体的には、タッチイベントデータの生成処理では、新規タッチ、タッチ位置変更、タッチ終了を行う際に、それぞれイベントを発行する。
なお、当然ながら、何も無いときには、何も発行されない。
例えば、ドラッグ操作を行った際の発行イベントは、「タッチ→移動→タッチ終了」となる。
具体的には、例えば図１６に示すようなタッチイベントが発行される。

［タッチ操作パターン］
次に、本実施形態に係る空中映像生成装置１０／空中映像入力部２０で行われるタッチ操作パターンとして、以下の５つの操作パターンについて、それぞれその詳細を説明する。
１．タップ操作
２．フリック操作
３．２本指操作
４．長押し操作
５．２本指操作から１本指操作に変更

なお、５つのいずれの操作パターンの場合も、基本的に処理・動作は共通であり、具体的には、上述した図５－９で示したタッチパネル上のタッチ位置の計算を行い、図１１（ａ）で示したタッチ操作データを生成し、図１６で示したタッチイベントデータの送信が行われる。
また、以下の説明では、手の動きを示す図として、図１７－２３において、人差し指を使った場合を例にとっているが、操作自体は人差し指だけに限らず、いずれの指でもよく、また、指はどのような向きでもよく、例えば指の腹側でなく背側（爪側）で入力操作を行っても、空中映像１２ａの結像面上に指先が当たっていると判断されれば、操作要求を行うことができる。

［操作パターン１：タップ操作］
図１７は、本実施形態に係る空中映像生成装置１０／空中映像入力部２０で行われるタッチ操作パターンとして、タップ操作が行われた場合の一例である。
タップ操作は、手の動きとして「結像面上に指をあてて、左右にはほとんど動かさず結像面から指を離す」場合である。
具体的には、例えば図１７に示すようなタッチ位置計算・タッチ操作データの生成・タッチイベント発行が実行される。
詳細は、上述した図１２－１３で示した場合と同様である。

［操作パターン２：フリック操作］
図１８は、タッチ操作パターンとして、フリック操作が行われた場合の一例である。
フリック操作は、手の動きとして「結像面上に指をあてて、右に動かす」場合である。
具体的には、例えば図１８に示すようなタッチ位置計算・タッチ操作データの生成・タッチイベント発行が実行される。

［操作パターン３：２本指操作］
図１９－２０は、タッチ操作パターンとして、２本指操作が行われた場合の一例である。
２本指操作は、手に動きとして「結像面上に2本指をあてて、それぞれを左右に動かす」(ピンチイン操作)場合である。
具体的には、例えば図１９－２０に示すようなタッチ位置計算・タッチ操作データの生成・タッチイベント発行が実行される。
この２本指操作の場合、指が複数になっても、やっていることは各指がタッチパネルのどのあたりをタッチしているかを示すイベント発行するだけで、基本的には１本指の操作の場合と同様である。

［操作パターン４：長押し操作］
図２１は、タッチ操作パターンとして、長押し操作が行われた場合の一例である。
長押し操作は、手の動きとして「結像面上に指をあてて、左右にはほとんど動かさない」場合であり、ほとんど動かない(若干動く余地がある)ことについては、詳細は、上述した図１２－１３で示した場合と同様である。
また、この場合には、長押しの前後で同じイベントが発行されることになる。
具体的には、例えば図２１に示すようなタッチ位置計算・タッチ操作データの生成・タッチイベント発行が実行される。
なお、長押しされているかどうか（同一位置を何秒タップしていれば長押しとみなすか)は、出力先となるＰＣ等の装置側で判断することができる。

［操作パターン５：２本指操作から１本指操作への変更］
図２２－２３は、タッチ操作パターンとして、２本指操作から１本指操作に変更された場合の一例である。
２本指操作から１本指操作への変更が行われた場合には、例えば、上述した［操作パターン２：フリック操作］及び［操作パターン３：２本指操作］と同様の動作・処理となる。
また、タップしなくなった指は、タップ解放時と同じイベントが発行されることになる。
具体的には、例えば図２２－２３に示すようなタッチ位置計算・タッチ操作データの生成・タッチイベント発行が実行される。

図２４に、以上のような本実施形態に係る空中映像入力部２０におけるタッチ入力操作の検出処理の概要を模式的に示す。
同図に示すように、本実施形態に係る空中映像入力部２０によれば、Ｘをカメラから見える横座標とし、Ｚをカメラからの距離で考えて、以下のようにして、空中映像１２ａのタッチパネルに対するタッチ入力操作の検出処理を実行できるようになる。
１．結像面上のどの辺りに指先があるかを計算する。
２．「仮想的なタッチパネルのどこに指先があるか」を示すタッチ位置情報に変換する。
３．仮想的なタッチパネルの情報をＰＣに渡す。

なお、以上説明した本発明の空中映像入力装置の一実施形態を構成する空中映像入力部２０の各部（映像取得部２１・操作位置検出部２２・操作深度検出部２３・座標取得変換部２４）は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現することができる。
プログラムは、コンピュータの各構成要素に指令を送り、上述した空中映像入力部２０による本発明に係る所定の処理・機能等を行わせることができる。
したがって、本発明における空中映像入力部２０の各処理や手段，機能は、プログラムとコンピュータとが協働した具体的手段によって実現することができる。

ここで、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
また、本発明に係る空中映像入力部２０を実行するコンピュータは、空中映像生成装置１０や、空中映像となるオリジナル映像を生成・出力するとともに、空中映像への入力操作に基づく入力信号を入力して所定の動作を実行させるＰＣ等とともに、単一の情報処理装置（例えば一台のパーソナルコンピュータ等）で構成することもでき、複数の情報処理装置（例えば複数台のサーバコンピュータ群等）で構成することもできる。

具体的には、本発明に係る空中映像入力部２０を構成する情報処理装置は、例えば図２５に示すように、ＣＰＵ３０１・ＲＡＭ３０２・ＲＯＭ３０３・ＨＤＤ３０４・入力装置３０５・表示装置（ディスプレイ）３０６・通信ＩＦ３０７等を含むハードウェアによって構成される。これらの構成要素はシステムバスで接続され、システムバスを介してデータのやり取りが行われる。ＣＰＵ（Central Processing Unit）３０１は、中央処理装置とも呼ばれ、コンピュータの中心的な処理を行う部位であり、各装置の制御やデータの計算や加工を行う。ＲＡＭ（Random Access Memory）３０２は、メモリ装置の一種で、データの消去や書き換えが可能なものである。ＲＯＭ（Read Only Memory）３０３は、半導体などを用いたメモリ装置の一種で、データ書き込みは製造時１回のみで、利用時には記録されたデータの読み出しのみできるものである。ＨＤＤ（Hard Disk Drive）３０４は、磁性体の性質を利用し、情報を記録し読み出す補助記憶装置である。入力装置３０５は、ユーザがコンピュータに対して操作指示を行うため、あるいは、文字等を入力するために使用され、具体的には、タッチパネル機能を備えたディスプレイや、キーボード、マウス等で構成される。表示装置３０６は、例えば液晶ディスプレイ等で構成される。本発明における各装置は、入力装置３０５及び表示装置３０６が一体となったタッチパネル機能を有する装置を備えていてもよい。また、他の端末や情報処理装置等との通信が可能となる通信機能（通信ＩＦ３０７）を備えることもできる。通信ＩＦ（Inter Face）は、所定の通信規格に従って他の装置と通信するための装置であり、例えばＮＩＣ（Network Interface Card）を含む。

以上説明したように、本発明の一実施形態に係る空中映像生成装置１０／空中映像入力部２０によれば、空中映像に対して行われる入力操作を、撮像手段となる深度カメラ１４で撮像することで、入力操作を行う操作部１００となる手指の位置と深度を、深度カメラ１４で取得される映像と深度データから推定・検出することができる。
このため、撮像手段となる深度カメラ１４で撮像可能な範囲であれば、どのような大きさ・範囲の空中映像であっても、その空中映像に対して行われる手指等の入力操作を検知することが可能となる。

したがって、本実施形態の空中映像生成装置１０／空中映像入力部２０では、従来の赤外線等の光学方式によらず、また、手指や人間の動作・ジェスチャーなどの「動き」の有無に関わらず、空中映像に対するタッチ・入力操作を検知することができる。
これによって、これまでの赤外線方式やジェスチャー検知等では困難乃至対応不可能であった、大型の空中映像への入力操作や、例えば１０点以上の多数点に対する同時タッチについても、その入力操作を確実に検知することができるようになり、大型の空中ディスプレイや複数人による同時タッチ等にも対応可能な、有用な空中映像入力装置を提供することが可能となる。

以上、本発明について好ましい実施形態を示して説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、空中映像１２ａからなるタッチパネルへの入力操作の映像を撮像する撮像手段として、１つ（単一）の深度カメラ１４を備える場合を例に取って説明したが、本発明に係る撮像手段としては、深度カメラを複数備えることも勿論可能であり、深度カメラとともに、深度計測機能の有無を問わず、他のカメラ・撮像手段を、深度カメラ１４を補完・補助する第２，第３の撮像手段として備えることもできる。

また、例えば、上述した実施形態では、空中映像１２ａからなるタッチパネルへの入力操作を検出・判定する手段として、空中映像入力部２０のみを備える場合を例に取って説明したが、空中映像へのタッチ操作を検出する手段として、例えば、これまで使用されてきた赤外線センサ等の光学方式による検出手段を、空中映像入力部２０を補完・補助する第２の入力装置・入力手段として備えることは勿論可能である。

本発明は、所謂空中タッチディスプレイ，仮想タッチパネル等とよばれる、空中に結像される空中映像への入力操作を可能とする空中映像入力技術として好適に利用可能である。

１０ 空中映像生成装置
１１ 筐体
１２ ディスプレイ
１２ａ 空中映像
１３ 光学素子
１４ 深度カメラ
２０ 空中映像入力部
２１ 映像取得部
２２ 操作位置検出部
２３ 操作深度検出部
２４ 座標取得変換部
１００ 操作部（手指）

Claims (7)

1. 空中に結像される空中映像への入力操作を可能とする空中映像入力装置であって、
   所定の撮像手段から、前記空中映像に対して行われる入力操作の映像を取得する映像取得部と、
   前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の位置を検出する操作位置検出部と、
   前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の深度を検出する操作深度検出部と、
   検出された前記操作部の位置及び深度に基づいて、当該操作部の、前記映像取得部で取得された映像上の座標を取得し、前記空中映像上の座標に変換する座標取得変換部と、を備え、
   前記空中映像上の座標情報を所定の装置に出力する
   ことを特徴とする空中映像入力装置。
2. 前記空中映像への入力操作を行う前記操作部が、操作者の手である
   ことを特徴とする請求項１に記載の空中映像入力装置。
3. 前記操作位置検出部が、
   前記入力操作を行う操作者の手の骨格の、前記映像上の位置を検出する
   ことを特徴とする請求項２に記載の空中映像入力装置。
4. 前記操作深度検出部が、
   前記入力操作を行う操作者の手の指先の、前記映像上の深度を検出する
   ことを特徴とする請求項２に記載の空中映像入力装置。
5. 前記撮像手段が、
   前記空中映像に対して行われる入力操作の映像データと、当該映像データの深度データを生成する深度カメラからなる
   ことを特徴とする請求項１又は２に記載の空中映像入力装置。
6. 空中に結像される空中映像への入力操作を可能とする空中映像入力装置を構成するコンピュータを、
   所定の撮像手段から、前記空中映像に対して行われる入力操作の映像を取得する映像取得手段、
   前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の位置を検出する操作位置検出手段と、
   前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の深度を検出する操作深度検出手段と、
   検出された前記操作部の位置及び深度に基づいて、当該操作部の、前記映像取得部で取得された映像上の座標を取得し、前記空中映像上の座標に変換する座標取得変換手段、として機能させ、
   前記空中映像上の座標情報を所定の装置に出力させる
   ことを特徴とする空中映像入力プログラム。
7. 空中に結像される空中映像への入力操作を可能とする空中映像入力装置を構成するコンピュータを用いて、
   所定の撮像手段から、前記空中映像に対して行われる入力操作の映像を取得する映像取得手順と、
   前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の位置を検出する操作位置検出手順と、
   前記映像取得部で取得された映像から、前記入力操作を行う操作部の、当該映像上の深度を検出する操作深度検出手順と、
   検出された前記操作部の位置及び深度に基づいて、当該操作部の、前記映像取得部で取得された映像上の座標を取得し、前記空中映像上の座標に変換する座標取得変換手順と、を実行し、
   前記空中映像上の座標情報を所定の装置に出力する
   ことを特徴とする空中映像入力方法。
   
   

Images