WO2010098050A1

WO2010098050A1 - 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム

Info

Publication number: WO2010098050A1
Application number: PCT/JP2010/001090
Authority: WO
Inventors: 仙洞田充
Original assignee: 日本電気株式会社
Priority date: 2009-02-25
Filing date: 2010-02-19
Publication date: 2010-09-02

Abstract

　タッチパネルでの二次元的な操作形態を三次元的なものに拡張して三次元操作を実現する。電子機器のインターフェースは、タッチパネルを有する電子機器の操作手段と、タッチパネル上方の空間の画像を取り込む画像取り込み手段と、画像取り込み手段が取り込んだ画像から特定される電子機器の操作者の手の状態を示す手情報を検出する手情報検出手段と、タッチパネルでの操作者のタッチパネル入力を検出するタッチ検出手段と、手情報検出手段が検出した手情報とタッチ検出手段が検出したタッチパネル入力に基づいて電子機器の機能を制御する制御手段とを有する。

Description

電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム

　本発明は、タッチパネルを利用する電子機器の操作技術に関する。

　タッチパネルは、電子機器の機能を制御するために操作者が手で示す操作を受け付ける代表的な入力装置であり、電子機器の形態等に応じて出力装置としての機能も兼ね備え、タッチスクリーンとも呼ばれることがある。特許文献１は、かかるタッチパネルを利用して被制御装置を操作するタッチパネルリモコンを開示している。このタッチパネルリモコンでは、操作者の指がタッチパネルに接触し、タッチパネル上でスライドし、あるいは、タッチパネルから離れることを検出して、対応する制御信号を生成して被制御装置を制御し、被制御装置における機能の起動と終了、パラメーター値の調整、文字・数字の入力等の操作を行うものとしている。このようにタッチパネルのパネル面内で操作者の手が示した操作を検出し、それに応じて操作対象の電子機器を制御する技術は、タッチパネルに予定された通常の機能を利用する一般的な電子機器の操作技術であり、様々な電子機器において広く実用に供されている。

　一方、特許文献２や特許文献３は、タッチパネルを利用しない形態で操作者の手が示す操作を受け付ける技術を開示している。特許文献２の車載機器用インターフェースは、車内乗員を撮像した画像から手の形状等を特定し、それに対応付けられた車載機器の動作状態を切り替えている。また、特許文献３の空間操作入力装置は、操作者の手に持たれて空中で動かされた時の検出加速度から動作パターンを特定し、それに対応する送信パターン・コードに応じて家電機器に予め決められた動作を行わせている。なお、特許文献２にあるような人物の画像から手の状態を特定する技術は、左右２台のテレビカメラで撮影した立体画像データから手話動作を認識する特許文献４の手話認識装置でも採用している。

日本特開２００８－０４２４８１号公報日本特開２００５－１７８４７３号公報日本特開２００６－３２３５９９号公報日本特開平１１－１７４９４８号公報

　ところで、タッチパネル（ないしタッチスクリーン）は、操作者の指先が触れることに起因して生じる抵抗膜式接点や静電容量の検出、表面弾性波（ＳＡＷ（Surface Acoustic Wave））の変化の検出などの方式を操作原理として使用している。すなわち、タッチパネルは、操作を受け付ける原理そのものがタッチすること（操作者の手がパネル面に接触すること）を前提にしている。

　したがって、タッチパネルにおいて操作者が手で示す操作は、パネル面内を指先で指し示し、その二次元平面内の位置を指定する二次元的な操作に限られ、操作時の操作者の手の位置と移動もパネル面に平行な二次元平面内に制限される。このため、タッチパネルを利用した電子機器の操作では、操作者が空中で自身の手を三次元の各方向に動かして所望の操作を示すような三次元的な操作をすることはできない。

　上述した特許文献２や特許文献３の技術では、操作者の手の動きが特定の二次元平面内には制限されないが、タッチパネルを利用して電子機器を操作する技術ではなく、操作者が自身の置かれた状況下の三次元空間中で視覚的な情報は何も捉えずに手を動かすため、タッチパネルを利用した操作と連動するような操作形態を採用する余地がない。タッチパネルは、その表示に伴う視覚的な情報との相互作用に基づいて電子機器の直感的な操作ができる操作手段であるから、その操作形態を三次元的なものに拡張できれば、より操作性の優れた電子機器のインターフェースを実現することができる。

　本発明は、このような事情に鑑みてなされたものであり、タッチパネルを利用する電子機器の操作において、特定の二次元平面内には制限されない三次元空間中で操作者の手が示す操作を受け付けることを可能にし、タッチパネルでの二次元的な操作形態を三次元的なものに拡張して三次元操作を実現することができる電子機器の操作技術を提供することを目的としている。

　かかる目的を達成するため、本発明に係る電子機器のインターフェースは、タッチパネルを有する電子機器の操作手段と、前記タッチパネル上方の空間の画像を取り込む画像取り込み手段と、前記画像取り込み手段が取り込んだ前記画像から特定される前記電子機器の操作者の手の状態を示す手情報を検出する手情報検出手段と、前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出手段と、前記手情報検出手段が検出した前記手情報と前記タッチ検出手段が検出した前記タッチパネル入力に基づいて前記電子機器の機能を制御する制御手段とを有している。

　本発明に係る電子機器は、タッチパネルを有する操作手段と、前記タッチパネル上方の空間の画像を取り込む画像取り込み手段と、前記画像取り込み手段が取り込んだ前記画像から特定される操作者の手の状態を示す手情報を検出する手情報検出手段と、前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出手段と、前記手情報検出手段が検出した前記手情報と前記タッチ検出手段が検出した前記タッチパネル入力に基づいて電子機器自身の機能を制御する制御手段とを有している。

　本発明に係る電子機器の操作方法では、タッチパネルを利用して電子機器の操作者の入力を受け付け、前記タッチパネル上方の空間の画像を取り込み、取り込んだ前記画像から特定される前記操作者の手の状態を示す手情報を検出し、前記タッチパネルでの前記操作者のタッチパネル入力を検出し、検出した前記手情報と検出した前記タッチパネル入力に基づいて前記電子機器の機能を制御する。

　本発明に係る電子機器の操作プログラムは、タッチパネルを利用して電子機器の操作者の入力を受け付ける入力機能と、前記タッチパネル上方の空間の画像を取り込む画像取り込み機能と、前記画像取り込み機能を利用して取り込んだ前記画像から特定される前記操作者の手の状態を示す手情報を検出する手情報検出機能と、前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出機能と、前記手情報検出機能を利用して検出した前記手情報と前記タッチ検出機能を利用して検出した前記タッチパネル入力に基づいて前記電子機器の機能を制御する制御機能とをコンピュータに実現させるための電子機器の操作プログラムである。

　本発明に係る電子機器の操作システムは、通信可能に接続された第１の電子機器と第２の電子機器を有し、前記第１の電子機器は、タッチパネルを有する操作手段と、前記タッチパネル上方の空間の画像を取り込む画像取り込み手段と、前記画像取り込み手段が取り込んだ前記画像から特定される操作者の手の状態を示す手情報を検出する手情報検出手段と、前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出手段と、前記手情報検出手段が検出した前記手情報と前記タッチ検出手段が検出した前記タッチパネル入力に基づいて前記第１の電子機器の通信機能を制御する制御手段とを有し、前記第１の電子機器が前記第２の電子機器と情報の送受信をする。

　本発明によれば、タッチパネル上方の空間の画像から特定された操作者の手の状態を示す手情報と操作者のタッチパネル入力に基づいて電子機器の機能が制御される。このため、タッチパネル面の二次元平面における操作者の入力のみならず、タッチパネル上方の空間で捉えられた操作者の手の状態に応じた電子機器の制御が行われ、操作者の手が三次元の空間の中で示した状態が電子機器を制御するための操作として受け付けられる。したがって、タッチパネルを利用する電子機器の操作において、特定の二次元平面内には制限されない三次元空間中で操作者の手が示す操作を受け付けることが可能となり、タッチパネルでの二次元的な操作形態を三次元的なものに拡張して三次元操作を実現することができる。

本発明の一実施形態に係る電子機器のインターフェースの要部構成を示したブロック図である。同インターフェースにおける手情報検出部１００の具体的な構成を示した機能ブロック図である。同インターフェースを適用した電子機器６００の全体構成を示した図である。操作者の手で電子機器６００を操作するときの一形態を示した外観図である。同インターフェースが圧縮ファイル解凍アプリケーションを利用した３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）情報操作を受け付けて電子機器６００を制御する処理の手順を示したフローチャートである。図５の３Ｄ情報操作時の操作者の手の状態と電子機器６００の動作形態の例を模式的に示した外観図である。図５の３Ｄ情報操作時の操作者の手の状態と電子機器６００の動作形態の例を模式的に示した外観図である。電子機器６００と他の電子機器６０１等との間で情報を転送してコピーする場合の３Ｄ情報操作の処理の手順を示したフローチャートである。図７の３Ｄ情報操作時の操作者の手の状態と電子機器６００及び電子機器６０１の動作形態の例を模式的に示した外観図である。図７の３Ｄ情報操作時の操作者の手の状態と電子機器６００及びその他の電子機器の動作形態の例を模式的に示した外観図である。図７の３Ｄ情報操作時の操作者の手の状態と電子機器６００及びその他の電子機器の動作形態の例を模式的に示した外観図である。同インターフェースにおける手情報とそれぞれの手情報に対応させた操作例ないし操作が実現する機能例を列挙した図である。ファイル圧縮アプリケーションを利用した３Ｄ情報操作の形態の例を示した図である。タッチパネルの画面内に表示されるアイコンに影を設ける形態の例を示した図である。タッチパネルの画面内に表示されるアイコンに影を設ける形態の例を示した図である。電子機器６００が送信先機器のリモートファイル制御をする場合の認証形態とノック動作を利用した送信フォルダの転送形態の例を示した図である。

＜構成＞
（１）要部構成
　以下、図面を参照しつつ本発明の実施形態について説明する。図１は、本発明の一実施形態に係る電子機器のインターフェースの要部構成を示したブロック図である。本インターフェースは、その適用対象である電子機器（以下「対象電子機器」という。）において、操作者の手でした操作を受け付けて当該対象電子機器の機能を制御する部分の構成に係る。したがって、図１の構成は、対象電子機器の構成の一部に相当し、当該一部である図示の操作部５０１、画像取り込み部５０２及び制御部９００を備えて本インターフェースの要部が構成されている。

　操作部５０１は、タッチパネル等の入力装置で構成された対象電子機器の操作入力装置であり、必須の入力装置としてタッチパネルを有し、対象電子機器の形態に応じて押しボタン式のキースイッチ等の他の入力装置を適宜備える。操作部５０１は、制御部９００に接続されており、操作者が手でしたタッチパネル等の操作に応じた入力情報を制御部９００に供給する。なお、タッチパネルは、タッチスクリーンと呼ばれることもあるが、ここでは両者を総称してタッチパネルという（したがって、ここにいう「タッチパネル」は、タッチスクリーンと呼ばれるものも含む。）。

　画像取り込み部５０２は、操作者が操作部５０１を利用する操作をするときに、当該操作者の手が写り込む所定領域の画像を取り込むカメラ等の撮像（ないし撮影）装置である。特に、画像取り込み部５０２は、操作部５０１のタッチパネルを利用する操作時に操作者の手が位置するタッチパネル上方の三次元空間領域を前記所定領域として、画像を取り込む範囲の画角が当該三次元空間領域を写す角度となっており、かつ、その画角に対応して取り込まれる画像がタッチパネル面から上方へ向かう高さ方向の座標を含むものとなるように配置されている。画像取り込み部５０２は、制御部９００に接続されており、前記所定領域の画像を時系列に順次取り込み、それらの画像情報を制御部９００への入力画像情報として順次供給する。

　制御部９００は、対象電子機器本体の制御部である。制御部９００は、対象電子機器の内部での情報処理に係る演算処理を実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の演算装置、対象電子機器の起動から各種動作遂行に必要なシステム情報等が記憶されたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性メモリと、演算装置の作業用記憶領域として更新可能に情報を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やキャッシュ・メモリ等の半導体メモリとで構成された記憶装置、及び対象電子機器の各部の動作制御や外部との情報授受を司る制御装置等を有しており、本インターフェースを含む対象電子機器全体の機能を制御する。

　本インターフェースは、上述の制御部９００に操作部５０１と画像取り込み部５０２とが接続された構成を要部とし、操作部５０１を利用して操作者がした操作と、画像取り込み部５０２を利用して取り込まれた画像中の操作者の手の状態（手の形状、位置、動き等）から把握される操作との双方を操作者の手でした操作として受け付け、対象電子機器の機能を制御する。したがって、制御部９００において本インターフェースの要部を構成するのは、操作部５０１からの入力情報と画像取り込み部５０２からの入力画像情報に基づいて操作者の手でした操作を受け付ける情報処理機能に係る部分と、その情報処理機能を利用して受け付けた操作に従い、対象電子機器の形態に応じて設けられる他の構成要素の動作を制御する動作制御機能に係る部分である。これらの部分のうちの情報処理機能に係る部分の構成として、制御部９００は、前述の演算装置や記憶装置等を利用して実現される図示の手情報検出部１００、タッチ検出部２００及び手検出領域指定部３００を内部に有している。

　手情報検出部１００は、画像取り込み部５０２から供給される入力画像情報から操作者の手の形状、位置、動き等の手の状態を識別ないし認識し、操作者の手の状態を示す手情報を検出する（この手情報検出部１００の具体的な構成は後述する。）。

　タッチ検出部２００は、操作部５０１から供給される入力情報から操作者のタッチパネル入力を識別ないし認識し、操作者が手で示した（指先で触れた）タッチパネル面内の位置情報を検出する。タッチ検出部２００は、検出した位置情報を示すタッチ検出情報を手情報検出部１００に供給する。

　手検出領域指定部３００は、手情報検出部１００が手情報の検出をする領域を指定する。手検出領域指定部３００は、手情報の検出をする予め設定された指定領域と画像取り込み部５０２からの入力画像情報に基づき、操作者の手が指定領域内にある場合に検出実行の指示を手情報検出部１００に発して手情報の検出を有効とし、検出される手情報に基づいて他の構成要素の動作を制御部９００で制御することができるようにする。

　画像取り込み部５０２は、上述のように操作部５０１のタッチパネルを利用する操作時に操作者の手が位置する所定領域の画像を取り込むように配置されている。したがって、手情報の検出をする指定領域としては、前記所定領域を予め設定しておくことにしてもよい（ただし、前記所定領域は三次元空間の領域であり、指定領域も現実の世界では三次元空間の領域である。それらの領域は、取り込まれる画像においては共に二次元平面に投影された領域となるため、画像中の領域としてはそれぞれの二次元平面への投影領域で取り扱われるが、その二次元平面の座標系には、タッチパネル面から上方へ向かう高さ方向の座標軸が含まれる。）。この場合の画像取り込み部５０２は、手情報検出部１００が手情報の検出をする指定領域だけを撮像する撮像装置ということになり、前記所定領域が指定領域と一致するので、手検出領域指定部３００は必須の構成ではなくなる。

　しかし、カメラ等の撮像装置の画角には、その撮像装置の性能等に応じた広がりがあるため、タッチパネル上方の三次元空間領域を前記所定領域としても、タッチパネルを利用する操作をしていない操作者の手（あるいは、対象電子機器の操作とは関係のない他人の手や手のような外観の他の物体等）が写り込むこともあり得る。そこで、手検出領域指定部３００では、入力画像情報が示す入力画像の全領域内（前記所定領域の二次元平面への投影領域内）において、タッチパネルを利用して操作をしている操作者の手であると認識すべき手の画像の位置の範囲を予め指定領域として設定し、操作者の手の位置（入力画像中の手の位置）が予め設定された指定領域内に存在する場合に、手情報検出部１００を利用した手情報の検出を有効とし、又は制御部９００での動作制御機能の発動を許可する。このように取り込み画像中で操作時の操作者の手と認めるべき位置の範囲を指定することで、操作者の手情報の誤認識を避けることができる。また、電子機器に搭載される既存のカメラを撮像装置として利用する場合には、このように手情報の検出をする指定領域を前記所定領域とは別に設定し、前記所定領域が指定領域を含むようにして、画像取り込み部５０２が所定領域を撮像するように配置されたものとする方が実用的な構成となる。

　ここで、指定領域の設定は、制御部９００に画像取り込み部５０２からの入力画像情報を参照させつつ操作者が操作部５０１から適宜設定指示入力を与えて予め行うものとしてもよい。もっとも、本インターフェースでは、受け付ける操作に対応する手の状態を予め特定しておくので（この特定の詳細は後述する。）、その特定した操作に対応する手の状態として許容する手の動作範囲を指定領域として予め設定することにしてもよい。かかる指定領域は、操作に対応する手の状態、撮像装置の画角、撮像装置とタッチパネルとの相対的な位置関係等に基づいて幾何学的に決定することができる。設定した指定領域は、制御部９００の記憶装置ないし対象電子機器内の他の記憶装置（例えば、図３に示した記憶部５１３）に記憶しておき、手検出領域指定部３００が設定した指定領域を参照して入力画像中の手の位置が指定領域内に存在するか否かを判断する。

　なお、手の位置が指定領域内に存在するか否かの判断をするには、入力画像情報が示す指定領域内の画像に人間の手であると識別ないし認識できるものが含まれているか否かを判断すればよい。したがって、手検出領域指定部３００では、入力画像情報に基づく所定の閾値演算や加減演算等の情報処理（例えば、人間の手に相当する一定の範囲内の輝度や色を有する画素が指定領域内に所定数以上含まれているか否か、指定領域内の画像に含まれる画素の輝度ないし色がほぼ一定の領域が人間の手の色か否か、かかる領域の面積が指定領域内にある人間の手の大きさに相当するか否か、かかる領域に指のような棒状ないし指先のような弧状のエッジがあるか否か、そのようなエッジが５つあるか否か等）を実行して手の位置が指定領域内に存在するか否かを判断すればよく、手情報検出部１００での手情報の検出のように具体的な手の形状等の状態を特定することまではしない。

　制御部９００は、上述のような手情報検出部１００、タッチ検出部２００及び手検出領域指定部３００を有し、手情報検出部１００とタッチ検出部２００との検出結果に基づいて対象電子機器の機能を制御する。すなわち、本インターフェースでは、操作者が操作部５０１のタッチパネルを利用した操作入力をすると、そのタッチパネル入力をタッチ検出部２００が検出する。また、操作者がタッチパネルの面上ないしその上方の三次元空間内で手を動かし、自身の手を予め特定された操作に対応する状態にすると、その手の状態の手情報を画像取り込み部５０２からの入力画像情報に基づいて手情報検出部１００が検出する。さらに、それらのタッチパネル入力と手情報とに基づき、操作者の手が示した操作に対応する対象電子機器の機能制御を制御部９００が実行し、上述の動作制御機能に係る部分を実現する。そして、手情報の検出と対象電子機器の機能制御は、操作者の手の位置が予め設定された指定領域内に存在すると手検出領域指定部３００が判断した場合に可能となるように規制され、手情報の誤検出と対象電子機器の誤動作が回避される（つまり、誤操作が防止される。）。なお、制御部９００の動作制御機能に係る部分については、制御対象の構成要素が対象電子機器の形態に応じて異なるため、図１中には具体的な明示をしていないが、後で制御対象の具体例を挙げて説明する。

（２）手情報検出部１００の構成
　次に、上記要部構成における手情報検出部１００の具体的な構成について説明する。図２は、手情報検出部１００の具体的な構成を示した機能ブロック図である。この図に示すように、手情報検出部１００に対しては、画像取り込み部５０２からの入力画像情報５５０が送られると共に、タッチ検出部２００からのタッチ検出情報５５１が供給される。手情報検出部１００は、それらの入力画像情報５５０とタッチ検出情報５５１から手情報を検出するための構成として、抽出部１０１、テンプレート１０２、比較部１０３、形状特定部１０４、位置特定部１０５、動き特定部１０６及び３次元位置特定部１０７を内部に有している。３次元位置特定部１０７の中には、さらに３次元校正部１０８がある。

　抽出部１０１は、画像取り込み部５０２からの入力画像情報５５０を受け、それが示す入力画像において手が撮像された領域である手部分を抽出する。抽出部１０１は、入力画像を構成する各画素の輝度及び色の情報のうち、いずれか一方又は双方の情報を手部分の抽出用情報とし、入力画像情報５５０において抽出用情報が予め設定された許容範囲内（人間の手と認め得る範囲内）にある領域を手部分と判断して、入力画像に基づく手部分を抽出する。抽出する手部分は、手のみの部分の領域の画像であって、それ自体の画像情報が手の形状、大きさ、色等の情報を含んでいる。抽出部１０１は、かかる抽出手部分の形状情報を比較部１０３に供給すると共に、抽出手部分の画像情報とその抽出位置の情報（入力画像内での手部分の領域の位置情報）を位置特定部１０５及び３次元位置特定部１０７に供給する。

　テンプレート１０２は、受け付ける操作に対応する手の形状を示す形状パターンの情報を予め記憶装置に記憶して登録した手の形状パターンの辞書ないしデータベースである。例えば、制御部９００の記憶装置ないし対象電子機器内の他の記憶装置に手の形状パターンの辞書ないしデータベースを予め構築し、それを制御部９００が参照して手情報検出部１００内のテンプレート１０２として実現する。

　本インターフェースは、指定領域の三次元空間内で操作者が自身の手の状態を利用して示した操作を対象電子機器の機能制御のための操作として受け付ける。そこで、本インターフェースでは、その受け付ける各操作に対応する手の状態を予め特定し、それらの手の状態を示す手情報を制御部９００が保持する（あるいは、他の記憶装置に保持させて制御部９００が参照する。）。テンプレート１０２は、かかる手の状態のうち、手の形状を示す手情報を保持しており、その手情報として手の形状パターンの情報を保持している。例えば、単純な手の形状としては、“摘む”形状、“放す”形状、“指す”形状等が挙げられる。それらの手の形状をそれぞれ所定の操作に対応する手の状態として予め特定し、それぞれの手の形状を示す形状パターンの情報を予め記憶装置に登録しておくことで、操作に対応する手の形状を参照するための辞書ないしデータベースとなるテンプレート１０２が予め用意される。

　比較部１０３は、抽出部１０１からの手部分の形状情報とテンプレート１０２にある形状パターンの情報に基づき、入力画像から抽出された抽出手部分の形状と予め用意されたテンプレート１０２の各形状パターンとを比較し、比較結果を形状特定部１０４に供給する。比較部１０３での比較は、抽出手部分の形状とテンプレート１０２の各登録形状パターンの形状とが類似しているか否かの類否判定をするための比較である。比較部１０３は、抽出手部分の形状に対するそれぞれの登録形状パターンの類似度を示す情報（誤差ないし差分、相関値等）を比較結果として形状特定部１０４に供給する。

　形状特定部１０４は、比較部１０３からの比較結果に基づき、抽出手部分の形状と最も類似しているテンプレート１０２の形状パターンを判定する。すなわち、形状特定部１０４は、予め登録されている手の形状のうちで抽出手部分の形状と最も類似している形状を操作者の手の形状として特定（識別）し、その特定した手の形状を操作者の手情報とする。これにより、操作者の手の状態を示す手情報として操作者の手の形状を示す手情報が検出される。なお、類似度に閾値を設定して登録形状パターン中に類似する形状がないと判定したりすることは必要に応じて適宜行うものとしてよい。

　位置特定部１０５は、抽出部１０１からの抽出手部分の画像情報と抽出位置の情報に基づき、抽出手部分の重心等を操作者の手の位置として特定し、その特定した手の位置を操作者の手情報とする。これによって特定される操作者の手の位置は、入力画像内での位置であり、タッチパネル上方の三次元空間領域を画像取り込み部５０２の取り込み画像に投影した二次元平面における位置である。したがって、その位置情報は、タッチパネル面から上方へ向かう高さ方向の位置情報を含んでいる。さらに、画像取り込み部５０２の撮像装置がタッチパネルの周縁部からタッチパネル面より上の指定領域（三次元）を見渡すように配置され、入力画像中の水平方向が撮像装置側に対するタッチパネル面の水平方向と一致し、かつ、入力画像中の高さ方向がタッチパネル面から垂直に上方へ向かう高さ方向と一致する場合には、その位置情報は、指定領域（二次元）における水平方向と高さ方向の位置を示すものとなる。位置特定部１０５は、かかる操作者の手の位置の位置情報を動き特定部１０６と３次元位置特定部１０７に供給する。なお、位置特定部１０５での手の位置特定については、抽出画像から画像の重心位置を割り出し、重心を解析対象物の位置とする一般的な画像処理技術を利用して行うこともできる。

　動き特定部１０６は、位置特定部１０５からの位置情報に基づき、位置特定部１０５が特定した手の位置の時系列的な変化を操作者の手の動きとして特定し、その特定した手の動きを操作者の手情報とする。画像取り込み部５０２は、時系列に順次画像を取り込んで入力画像情報５５０を供給するので、それに伴って抽出部１０１が抽出手部分の画像情報等を位置特定部１０５に順次供給し、動き特定部１０６には位置特定部１０５からの位置情報が順次供給されてくる。動き特定部１０６は、それらの順次供給されてくる位置情報に基づいて操作者の手の位置の時系列的な変化を操作者の手の動きとして特定する。位置の時系列的な変化は速度に相当するので、動き特定部１０６は、操作者の手の速度（動いた軌跡とその速さ）を操作者の手の動きとして特定し、手の速度を操作者の手情報としてもよい。

　３次元位置特定部１０７は、抽出部１０１からの抽出手部分の画像情報と抽出位置の情報、位置特定部１０５からの位置情報、及びタッチ検出部２００からのタッチ検出情報５５１に基づき、操作者の手の三次元空間内における位置を特定し、その特定した位置を操作者の手情報とする。これによって特定される操作者の手情報は三次元位置情報である。タッチパネル入力があったときには、その時点でタッチ検出部２００の検出した位置情報がタッチパネル面に平行な二次元平面内における操作者の手の位置を表しており、かつ、その時点での位置特定部１０５からの位置情報が上述のようにタッチパネル面から上方へ向かう高さ方向の位置情報を含んでいる。したがって、３次元位置特定部１０７では、それらの位置情報に基づいて操作者の手の三次元空間内における位置を特定することができる。

　ここで、画像取り込み部５０２の撮像装置がタッチパネルの周縁部からタッチパネル面より上の三次元空間領域を見渡すように配置され、入力画像中の水平方向が撮像装置側に対するタッチパネル面の水平方向と一致し、入力画像中の高さ方向がタッチパネル面から垂直に上方へ向かう高さ方向と一致する場合には、それらの各方向における操作者の手の位置は、位置特定部１０５からの位置情報に基づいて特定される。そして、タッチ検出情報５５１は、操作者が指先で触れたタッチパネル面内の位置情報を示しているので、その位置に基づいて撮像装置から操作者の手の位置までの奥行き量を検出することができ、その奥行き量から撮像装置側に対するタッチパネル面の奥行き方向における操作者の手の位置を特定することができる。

　このように撮像装置を配置する場合には、指定領域における水平方向と高さ方向の位置が位置特定部１０５からの位置情報として示される。したがって、タッチ検出部２００は、タッチ検出情報５５１としてタッチパネル面内の位置情報自体を供給するのではなく、そのタッチパネル面内の位置情報に基づいて撮像装置から操作者の手の位置までの奥行き量を検出し、その検出した奥行き量をタッチ検出情報５５１として３次元位置特定部１０７に供給するものとしてもよい。この場合の３次元位置特定部１０７は、位置特定部１０５が特定した水平方向及び高さ方向の位置と、タッチ検出部２００が検出した奥行き量とに基づいて、三次元で操作者の手の位置を特定し、その特定した手の三次元位置情報を操作者の手情報とする。

　３次元位置特定部１０７は、上述のように操作者の手の三次元空間内における位置を特定するが、操作者の手は、その位置までの撮像装置からの奥行き量に応じて入力画像中で捉えられる大きさや移動量が変わる。このため、抽出手部分の重心等から特定した操作者の手の位置には奥行き量に応じた誤差が含まれる。また、奥行き量は、撮像装置が一定の位置に固定されていれば（撮像装置の配置形態に拘わらず、撮像装置と正対しない斜め方向の奥行き量であっても）タッチ検出部２００で検出されたタッチパネル面内の位置情報に基づいて検出できる。一方、操作者のタッチパネル入力がないときには奥行き量を検出できず、操作者の手の三次元位置情報は得られない。

　３次元校正部１０８は、かかる誤差や奥行き量不検出の問題を解消する。タッチパネル入力があったときには、その時点で供給されるタッチ検出情報５５１に基づいて奥行き量が検出できる。また、その奥行き量を検出したのと同時に画像取り込み部５０２で取り込まれた入力画像から抽出された抽出手部分は、撮像装置から当該奥行き量の距離の位置にある操作者の手の画像である。すなわち、当該抽出手部分は、撮像装置に対して当該奥行き量の距離だけ離れたタッチパネル上の位置において撮像装置から見えた操作者の手のサイズを示している。したがって、撮像装置が一定の位置に固定されていて撮像装置とタッチパネルとの位置関係が予め特定されていれば、そのタッチパネル上の位置にある操作者の手のサイズは、当該抽出手部分の領域の大きさと当該奥行き量から幾何学的に把握することができる。そこで、３次元校正部１０８は、タッチパネル入力があった時の抽出部１０１からの抽出手部分の画像情報及び抽出位置の情報とタッチ検出部２００からのタッチ検出情報５５１とに基づき、タッチ検出情報５５１が示すタッチパネル面上の位置に対応した操作者の手のサイズ（つまり、この時の抽出手部分のサイズ）を校正（キャリブレーション）する。

　校正は、その対象である抽出手部分のサイズと、特徴となる画像のサイズとの関係に基づいて行う。特徴となる画像のサイズとは、入力画像において基準とする操作者の手の画像のサイズである。特徴となる画像のサイズは、予め基準とする手の画像を特定し、その画像情報（少なくとも画像サイズを含む情報）を記憶装置に設定登録しておいてもよい。あるいは、例えば、操作者の手がタッチパネル上の中央部、指定領域内の中心部、指定領域内の撮像装置直近位置等の所定の基準位置にあるときに入力画像中に現れる操作者の手の画像のサイズを求め、それを特徴となる画像のサイズとして用いることができる。以下、このような特徴となる画像のサイズを「特徴画像サイズ」という。基準位置の特徴画像サイズは、タッチ検出情報５５１及び抽出位置の情報が示す抽出手部分の手があった位置と基準位置との相対的な位置関係から、抽出手部分の手の位置を基準位置とした場合の入力画像中でのサイズの倍率を特定することで求めることができる。

　３次元校正部１０８は、かかる特徴画像サイズを求め、求めた特徴画像サイズ等に抽出手部分のサイズを校正する（奥行き量に応じた誤差を解消した操作者の手の実際の大きさに対応する基準サイズに校正する。特徴画像サイズ自体をかかる基準サイズとして抽出手部分のサイズを特徴画像サイズに校正するのがよい。しかし、基準位置の選定如何に応じてそうでない場合には、かかる基準サイズに対する特徴画像サイズの倍率に基づいて抽出手部分のサイズを基準サイズに校正する。）。そして、水平方向と高さ方向における抽出手部分の重心等に変動が生じる場合には、その変動に合わせて３次元位置特定部１０７における操作者の手の特定位置を校正し、校正後の特定位置の三次元位置情報を操作者の手情報とする。３次元校正部１０８は、このようにしてタッチパネル入力の検出時に入力画像と奥行き量との校正を行う。

　さらに、３次元校正部１０８は、タッチパネル入力の検出時以後、抽出部１０１から順次供給される抽出手部分の画像情報に基づき、タッチパネルにタッチしていない状態での操作者の手の奥行き方向の位置を推定ないし推測し、三次元位置特定部１０７における操作者の手の三次元位置特定を続行する。

　一旦タッチパネル入力が検出されると、３次元校正部１０８は、上述のように特徴画像サイズを求めて校正を行うので、操作者の手が基準位置にある時の画像サイズとタッチパネル入力の検出位置にある時の画像サイズとの対応関係を把握する。この対応関係は、操作者の手が各位置（特に、奥行き方向の各位置）にあるときに入力画像中にどのような大きさで現れるかの規準を示しており、抽出手部分が与えられれば当該抽出手部分の手がどこに位置しているかを画像サイズの比較演算や三次元空間領域内での補間演算等を利用して求めることができる。したがって、３次元校正部１０８では、その把握した対応関係を利用し、入力画像中の操作者の手のサイズが抽出部１０１から順次供給されるそれぞれの抽出手部分のサイズであるときに、それぞれの入力画像が取り込まれた時点での操作者の手の位置（特に、奥行き方向についての位置）を推定ないし推測することができる。

　これにより、操作者のタッチパネル入力がないときにも、３次元校正部１０８が入力画像に基づいて三次元空間内の空中にある操作者の手の対象電子機器に対する位置を推定し続ける。また、３次元位置特定部１０７は、その３次元校正部１０８での推定に基づいて操作者の手の三次元空間内における位置を引き続き順次特定し、その順次特定した三次元位置情報を操作者の手情報としていく。

　上述した手情報検出部１００の構成は、操作者の手の形状、位置及び動きの状態を示す手情報を検出する例である。手情報検出部１００は、本インターフェースで受け付ける操作の内容や対象電子機器の形態等に応じて適宜他の手の状態の手情報を検出するものとしてよい。

　また、手の位置や動きについても、受け付ける操作に対応する手の位置や動きを予め適宜特定して記憶装置に登録し、手の形状についての上述したテンプレート１０２のような辞書ないしデータベースを予め用意して特定の操作に対応する手情報を検出することができる。これについては、後述の動作説明で具体的な例を挙げて説明する。

　さらに、手情報検出部１００における各部間での情報交換は、上述した形態に限られるものではない。例えば、３次元校正部１０８で校正した３次元位置情報を位置特定部１０５や動き特定部１０６へ供給したり、サイズを校正した抽出手部分の画像情報を比較部１０３へ供給したりしてもよい。３次元位置情報（校正した３次元位置情報、あるいは、校正した３次元位置情報中の奥行き位置と位置特定部１０５が特定した位置に対応する３次元位置情報）を動き特定部１０６に供給すれば、その３次元位置情報が示す手の位置の時系列的な変化に基づいて動き特定部１０６が三次元での操作者の手の動きを特定し、三次元での手の動きを示す手情報が検出される。なお、撮像装置の画角等次第では抽出手部分の位置に応じた現れ方が非線形になり、形状や位置も校正した方がよい場合もあるであろう。かかる場合には、入力画像において基準とする操作者の手の画像と複数回のタッチパネル入力に対応した複数の抽出手部分サンプルとのサイズ、形状及び位置等の対応関係を適宜把握して補間してもよい。

（３）電子機器の全体構成
　次に、本インターフェースを適用した電子機器の構成について説明する。図３は、携帯電話機を始めとする通信端末機としての機能を有する電子機器を対象電子機器として、本インターフェースを適用した電子機器６００の全体構成を示した図である。つまり、図３は、本インターフェースを搭載した対象電子機器の一例の制御に関する全体の構成を示している。電子機器６００は、本インターフェースの上述した要部構成に相当する操作部５０１、画像取り込み部５０２及び制御部９００を備える。また、電子機器６００は、制御部９００の制御対象となり得る他の構成要素として、アンテナ５１１、送受信部５１２、記憶部５１３、他の機器とのＩ／Ｆ（インターフェース）５１４、その他のセンサ５１５、スピーカ５１６、表示部５１７、発光部５１８、振動発生部５１９及び音声取り込み部５２０を有している。こうして、電子機器６００は本発明に係る電子機器の一実施形態に相当するものとなっている。なお、図３では、制御部９００が他の構成要素と必要に応じて様々な情報授受を行うため、その内部での信号ないし情報の流れの図示は省略した。

　アンテナ５１１と送受信部５１２は、無線通信を利用して他の機器との情報通信をするために、無線信号の送受信機能を担う構成要素である。電子機器６００本体の制御部である制御部９００に他の機器と情報をやり取りする送受信部５１２が接続され、送受信部５１２にアンテナ５１１が接続されている（したがって、電子機器６００は、無線接続を利用した通信機能を有する無線通信機器への適用例であるが、対象電子機器は、有線の通信機器や他の機器との通信機能を有しない機器でもよく、無線通信機器に限られるわけではない。）。制御部９００は、アンテナ５１１及び送受信部５１２が担う機能を制御して他の機器との無線通信を実施する。さらに、制御部９００には、操作部５０１、画像取り込み部５０２、記憶部５１３、他の機器とのＩ／Ｆ５１４、その他のセンサ５１５、スピーカ５１６、表示部５１７、発光部５１８、振動発生部５１９及び音声取り込み部５２０が接続されている。操作部５０１は電子機器６００の操作入力装置、画像取り込み部５０２は電子機器６００に搭載されたカメラを利用して構成された撮像装置であり、それぞれ、上記「（１）要部構成」で説明した構成を備えている。

　記憶部５１３は、電子機器６００にインストールされたプログラムのファイルやそのプログラムが取り扱う種々のデータ・ファイル等が格納されている不揮発性メモリを利用して構成された記憶装置（例えば、電子機器６００を構成しているコンピュータが読み取り可能な記憶媒体）であり、電子機器６００における情報の記憶機能を担う。記憶部５１３には、ＯＳ（Operating System）等の基本的なソフトウェアのプログラム・ファイルに加え、本インターフェースを利用した電子機器の操作を実施するための処理動作を規定した電子機器の操作プログラムのプログラム・ファイルが格納されている。その操作プログラムを制御部９００が実行して上記「（１）要部構成」及び「（２）手情報検出部１００の構成」で説明した構成の機能が実現され、電子機器６００において本インターフェースを利用した電子機器の操作方法が実施される。なお、上述したテンプレート１０２の形状パターンの情報のように予め登録しておく手情報や予め設定しておく指定領域の情報等は、その操作プログラムが取り扱うデータ・ファイルとして記憶部５１３に格納してもよい情報の例である。

　他の機器とのＩ／Ｆ５１４は、他の機器と接続して情報を授受する機能のためのインターフェースであり、例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）、カードメモリスロット、ＩｒＤＡ（Infrared Data Association）、Bluetooth（登録商標）等のインターフェースを適宜備える。その他のセンサ５１５は、電子機器６００の機能動作上必要な物理量等の検出機能ないし検知機能を担うセンサであり、例えば、加速度センサ、磁気センサ、力センサ、温度センサ、湿度センサ等が適宜設けられる。スピーカ５１６は音声出力機能を担う。表示部５１７は、情報表示機能を担う表示装置である。操作部５０１のタッチパネルは、情報表示機能も有するという側面からいえば、この表示部５１７の一部を構成している。発光部５１８、振動発生部５１９は、それぞれ所定の報知動作等のための発光機能、振動機能を担う。音声取り込み部５２０は、マイク等を利用して構成され、音声検出機能ないし集音機能を担う。

　以上の電子機器６００の各構成要素は、ハードウェアとしての実装構造については既存の通信端末機等を構成する技術を利用して実施することができる。電子機器６００の特異な構成は、上述の操作プログラムに規定された処理動作を実行して本インターフェース特有の電子機器の操作を実施する構成にある。それによって操作部５０１、画像取り込み部５０２及び制御部９００は本インターフェース特有の要部を構成し、他の構成要素もすべて制御部９００が行う動作制御機能の制御対象の具体例として特異な構成要素となる。制御部９００が上述の操作プログラムを実行し、電子機器６００が本インターフェース特有の電子機器の操作を実現する具体的な形態は、以下の動作説明で述べる通りである。

＜動作＞
（１）手情報の検出
　次に、上記構成に基づく動作について説明する。図４は、操作者の手で電子機器６００を操作するときの一形態を示した外観図であり、その外観と併せて電子機器６００の画像取り込み領域を点線と破線を利用して模式的に示してある。図４中の電子機器６００は、上述した図３の構成を有する電子機器６００を具体的な外観構成例に沿って示したものであり、図示のように上面側に操作部５０１のタッチパネルと画像取り込み部５０２のカメラ（撮像装置）が設けられている。アンテナ５１１、送受信部５１２、記憶部５１３、他の機器とのＩ／Ｆ５１４等の他の構成要素と制御部９００は内蔵されており、外観中には現れていない。

　操作部５０１のタッチパネルは、表示部５１７としての機能も兼ね備えており、記憶部５１３に格納されているフォルダを図示のようにアイコン（“フォルダ１”～“フォルダ５”。なお、“フォルダ４”は操作者の手で隠されている）で表示し、最上段に操作バー（最小化、サイズ変更及び閉じるの記号）を示し、その下にメニューバー（“編集(E)　表示(V)　お気に入り(A)　ツール(T)”）を示したウィンドウを表示している。画像取り込み部５０２のカメラは、タッチパネルの周縁部からタッチパネル面より上の三次元空間領域を見渡すように配置されており、図示のように撮像範囲がレンズ中心から点線で示した方向に向けられ、破線で示した画角仮想線によって取り囲まれた指定領域を含むタッチパネル上方の三次元空間領域の画像を入力画像として時系列的に順次取り込んでいる。この画像取り込み部５０２のカメラでは、入力画像中の水平方向がタッチパネル面の水平方向（図４中の左右方向）と一致し、入力画像中の高さ方向がタッチパネル面から上方へ向かう高さ方向と一致するものとなっている。

　操作者が電子機器６００の操作部５０１のタッチパネルを利用して操作を開始すると、その操作者の手を含む三次元空間領域を撮像して得られた入力画像は同時に画像取り込み部５０２（のカメラ）を利用して取り込まれる。この操作部５０１からの入力情報と画像取り込み部５０２からの入力画像情報５５０は制御部９００の内部で処理される。画像取り込み部５０２で取り込まれた入力画像情報５５０に対して、制御部９００内の手検出領域指定部３００は、操作者の手が指定領域内か否かの判断を行い、指定領域内ならば手情報の検出が有効とされる。これは、上述したようにタッチパネルを利用して操作をしている操作者の手であると認識すべき手の画像の位置の範囲を予め指定して、操作者の手情報の誤認識を避けるためである。

　例えば、操作者の手が図４中の一点鎖線で示した位置にあるときは、画角仮想線が示す指定領域外に操作者の手があるので、手情報の検出は行われない。一点鎖線で示した位置の操作者の手は、ウィンドウ内でも上端に極めて近くて、その操作は誤操作である可能性が高く、誤操作でないとすれば、その操作は、タッチパネルが検出する操作バーかメニューバーの操作以外にないからである（図４中に白抜きの小円盤で示した操作者のタッチパネル入力は誤操作である。）。このような位置の操作者の手は、タッチパネルを利用して操作をしている操作者の手ではないか、あるいは、かかる操作者の手であっても、本インターフェースがそう認識すべき手ではないので、手情報の検出は有効としない（誤操作でない可能性があっても、タッチパネルを利用した検出のみで足りて完結する操作は、本インターフェースで重複して検出してもよいが、通常は検出しなくてよい。）。

　これに対し、操作者の手が図４中の実線で示した位置にあるときは、画角仮想線が示す指定領域内に操作者の手がある。したがって、手検出領域指定部３００から検出実行の指示が手情報検出部１００に発せられ、手情報検出部１００での手情報の検出が有効とされる（図４中に黒小円盤で示した操作者のタッチパネル入力は、操作者がタッチパネルを利用する何らかの操作を開始しようとしている可能性があるので、手情報の検出を開始する。）。

　手情報の検出が有効とされると、操作者の手を撮像した入力画像情報５５０から、手情報検出部１００にある抽出部１０１が手のみの画像の手部分を抽出する。比較部１０３は、抽出された手部分の形状情報と予め登録されている手の形状パターンを示すテンプレート１０２とを比較する。形状特定部１０４は、最も類似したテンプレート１０２の形状パターンの形状を操作者の手の形状として特定する。例えば、テンプレート１０２には、上述したように手の“摘む”形状、“放す”形状、“指す”形状等の形状パターンが予め登録されており、それらのうちで抽出手部分と最も類似した形状が特定され、その特定された形状が操作者の手情報として検出される。

　また、入力画像情報５５０は、タッチパネル入力のような二次元の位置情報とは違い、タッチパネル面から上方へ向かう高さ方向の座標の位置情報を含んでいるので、操作者の手のタッチパネル上の高さを位置特定部１０５が得ることができる。位置特定部１０５における手の位置特定では、抽出手部分から割り出した手の画像の重心位置等が手の位置として特定され（高さ方向の位置を含む手の位置が特定され）、その特定された位置が操作者の手情報として検出される。

　さらに、入力画像情報５５０は、時系列に順次取得される情報となっているので、タッチパネルの通常の入力検出のようにタッチの瞬間のみではなく、その前後の操作者の手の状態（操作者のタッチパネル入力前後の手の動作）を動き特定部１０６が特定する。

　例えば、手の“掃う”動作、“ねじる”動作、“投げる”動作等を本インターフェースで受け付ける操作に対応する手の状態として予め特定し、それらの手の動作を示す手情報を予め登録して制御部９００で保持しておき（あるいは、他の記憶装置に保持させて制御部９００が参照し）、登録されている動作のうちで操作者の手の動作に最も類似する動作を特定して操作者の手情報とする。手の位置の移動のみに基づいて識別できる動作については、手の形状についてのテンプレート１０２と同様に、その位置の移動パターンの情報を記憶装置に登録したテンプレートを予め用意して動き特定部１０６が参照し、操作者の手の動きと最も類似する登録移動パターンを特定して操作者の手情報とすればよい。“掃う”動作、“ねじる”動作、“投げる”動作等の手の動作（位置の移動と形状の変化を伴う手の動作）については、手がそれらの動作をするときの手の位置の移動パターンの情報を記憶装置に登録して動き特定部１０６が参照するテンプレートを予め用意すると共に、手がそれらの動作をするときの手の形状パターンの情報をテンプレート１０２の登録形状パターンとして予め用意する（手の動きと手の形状の双方のパターンに応じて特定される手情報として予め登録する）。そして、動き特定部１０６が操作者の手の動きと最も類似する移動パターンを特定すると共に、そのときの操作者の手の形状と最も類似する形状パターンを形状特定部１０４が特定し、それらの動き特定部１０６が特定した手の位置の移動と形状特定部１０４が特定した手の形状とに対応する手の動作を特定して操作者の手情報とする。

　このように動き特定部１０６が行う手の動きの特定と形状特定部１０４が行う手の形状の特定とを組み合わせると、“掃う”動作、“ねじる”動作、“投げる”動作等の移動と変形を伴う手の動作も操作に対応する手の状態として予め登録しておくことが可能となり、その操作者の手の動作を手情報として検出することができる。ただし、移動と変形を伴う手の動作であっても、そのうちのいずれかに他の動作との識別が可能な特徴があるときは、手の動きか形状のいずれかを特定して手情報とすることにしてもよい。例えば、“ねじる”動作は主に手の形状に特徴が現れるので、形状特定部１０４での形状特定から手情報として検出するものとしてもよい。また、入力画像情報５５０は時系列的に順次供給され、それに伴って抽出部１０１からは抽出手部分の形状情報が順次比較部１０３に供給される。したがって、その比較結果に基づく形状特定部１０４での形状特定は、単一の抽出手部分の形状からする特定に限られるわけではなく、特定対象の手の状態に応じて適宜複数の抽出手部分の形状（手の形状の変化）を特定して手情報を検出することにしてもよい。

　さらに、手情報は、形状や二次元的な位置、動きだけではなく、三次元の情報として検出することができる。指定領域内で操作者がタッチパネル上で表示されている情報を選択したとき（手で直接アイコンにタッチしたとき）、タッチ検出部２００は、操作部５０１からの入力情報に基づいてタッチパネル上のどの位置がタッチされたのかを検出（認識）する。このとき同時に操作者の手の画像情報は画像取り込み部５０２のカメラにて取り込まれる。これらの２つの情報（入力情報と入力画像情報）から、指定領域内にて抽出部１０１が抽出した操作者の抽出手部分と操作部５０１のタッチパネル上の検出位置とでタッチパネル入力があった位置に対応した操作者の手のサイズや、特徴画像サイズとの対応関係が判り、上述したように３次元校正部１０８が校正を行う。そして、その対応関係を使い、上述したようにタッチパネルにタッチしていない状態での操作者の手の奥行き方向の位置が推測され、３次元位置特定部１０７が空中にある操作者の手の三次元位置を特定し、その三次元位置情報を手情報として検出する。

　電子機器６００は、本インターフェースを利用し、以上のようにして操作者の手情報の検出（識別）を行い、検出された手情報が示す手の状態に対応する操作を制御部９００が受け付け、その受け付けた操作に従って他の構成要素の動作を制御部９００が制御する。これにより、本インターフェースないし電子機器６００では、三次元空間である指定領域の中で操作者の手が示す操作が受け付けられ、タッチパネルでの二次元的な操作形態を三次元的な操作形態に拡張した三次元操作が実現され、指定された操作領域内で三次元的に対象電子機器の操作を行うことが可能となる。

　例えば、形状特定部１０４での形状特定に基づいて手で“摘む”、手から“放す”、手で“指す”等の三次元的な操作が可能となり、動き特定部１０６での動き特定に基づいて手の動作（動き）を使った三次元的な操作が可能となり、それらを組み合わせて手で“掃う”、手で“ねじる”、手から“投げる”等の動作を伴う三次元的な操作が可能となる。そして、３次元位置特定部１０７での三次元位置特定に基づいて、操作者の手の三次元位置情報の検出とその校正をすることができる。さらに、タッチパネル入力がなくても操作者の手の三次元位置情報を検出し続けることができるので、タッチパネルには触れずに操作者が三次元空間中で示していく手の形状、位置、動き等を利用した操作も可能となる（以下においては、このような本インターフェースを利用した三次元的な操作を「３Ｄ操作」といい、タッチパネル（操作部５０１ないし表示部５１７）に表示された情報を取り扱う３Ｄ操作に関する一連の操作を「３Ｄ情報操作」という。）。例えば、操作者のタッチに関する情報とカメラ等の撮像装置の情報とから、電子機器に保持された情報をタッチパネル上で操作するだけでなく、手でつまむ、移動させる、落とし込むなどの三次元の操作に従って制御することが可能になる。

（２）圧縮ファイル等を解凍する３Ｄ情報操作
　次に、本インターフェースを利用した３Ｄ情報操作の一例として、予め設定した速度で圧縮ファイル等（圧縮ファイルないし圧縮フォルダ等の圧縮された情報）をタッチパネル上に投げつけて解凍するアプリケーションを利用した３Ｄ情報操作について説明する。図５は、その圧縮ファイル解凍アプリケーションが３Ｄ情報操作を受け付けて電子機器６００を制御する処理の手順を示した三次元操作フローチャートである。また、図６Ａおよび図６Ｂは、その３Ｄ情報操作時の操作者の手の状態と電子機器６００の動作形態の例を模式的に示した外観図である。ここにいう圧縮ファイル解凍アプリケーションのプログラムは、電子機器６００にインストールされた操作プログラムに含まれており、それを制御部９００が実行して以下の処理動作が行われる。圧縮ファイルを予め設定した速度で投げつける、ということの意味は以下の説明で明らかになるが、その速度は、指定領域の情報等と同様に予め設定して記憶装置に格納しておく情報（所定の速度値ないし速度範囲）である。

　最初に、操作者がタッチパネルに触れると、操作部５０１からの入力情報をタッチ検出部２００が検出（認識）し、３Ｄ情報操作が開始される（図５中の３Ｄ情報操作のstart）。なお、３Ｄ情報操作は、操作者の３Ｄ情報操作をしようとする意図として捉え得る任意の操作の検出に応答して開始するものとしてもよく、タッチパネルに触れたタッチパネル入力の検出に限らず、操作部５０１での他の操作等の検出に応答して開始してもよい。

　次いで、操作者のタッチに応じて、タッチパネルに表示されている情報中から解凍する情報（ファイル、フォルダ又は他の表示されている何らかの情報）の選択がなされる（ステップＳ１）。また、その際の操作者の手の画像を画像取り込み部５０２が取り込むと共に、タッチパネル入力をタッチ検出部２００が検出し、上記「（１）手情報の検出」で述べた手情報の検出動作が開始される（ステップＳ２）。なお、情報の選択は、操作者が３Ｄ情報操作を開始する最初のタッチパネル入力で行うものとしてもよい。

　ここで、手検出領域指定部３００は、画像取り込み部５０２からの入力画像情報が示す手部分の有効範囲を指定領域（ある特定の範囲）に設定している。これにより、操作以外の手と操作のための操作者の手とが区別される。今、操作者は、タッチパネルへのタッチを利用して解凍する情報を選択したので、その手は指定領域内にある。したがって、手情報の検出が有効とされると共に、情報の選択時の入力画像情報５５０が手情報検出部１００に送られ、抽出部１０１が手部分を抽出する。そして、比較部１０３は、抽出手部分の形状情報とテンプレート１０２にある手の形状パターンとを比較し、形状特定部１０４が手の形状を特定して手情報の検出を行う（ステップＳ２）。

　ファイルを解凍したり他の機器に転送したりするためにウィンドウ内にあるファイルを取り出す場合の一般的な情報操作形態は、ポインティング・デバイスを利用したドラッグ操作であり、かかるファイルを取り出すドラッグ操作に対応する手の状態として好適な例は、手の“摘む”形状である。そこで、本インターフェースでは、ドラッグ操作に対応する手の状態を手の“摘む”形状と予め特定し、その形状パターンの情報をテンプレート１０２に登録しておく。そして、圧縮ファイル解凍アプリケーションは、情報の選択時から検出されている手情報の形状が“摘む”形状か否かを判断して、その手情報がドラッグ操作に対応する手の状態を示すものか否か（情報選択時から操作者がドラッグ操作をしているか否か）を判断する（ステップＳ３）。

　これにより、操作者がドラッグ操作をしているときには、３Ｄ操作を有効とし（ステップＳ３での判断結果が“YES”となってステップＳ４へ進み）、そのドラッグ操作をしている（“摘む”形状のままの）操作者の手の動きを動き特定部１０６が特定する。すなわち、制御部９００は、操作者の手が選択された情報をドラッグしているものとして、以後の操作者の手の動きを追跡する。

　そして、制御部９００は、動き特定部１０６が特定した手情報（ここでは操作者の手の速度）に基づき、操作者がドラッグした情報を予め設定した速度以上でタッチパネル上に投げつけたか否かを判断する（ステップＳ５）。操作者がドラッグした（タッチパネル面に触れつつ摘んだ）圧縮ファイルないし圧縮フォルダ等の圧縮された情報を予め設定した速度以上でタッチパネル上に投げつける動作をすると（ステップＳ５での判断結果が“YES”となり）、制御部９００は、その圧縮ファイル等を解凍する処理を実行して（ステップＳ６）、圧縮ファイル解凍アプリケーションを利用した３Ｄ情報操作を終了する（３Ｄ情報操作のend）。なお、情報選択時に操作者がドラッグ操作をしていなければ（上記ステップＳ３での判断結果が“NO”となり）、圧縮ファイル解凍アプリケーションでは何らの処理も行わずに３Ｄ情報操作は終了する（３Ｄ情報操作のend）。

　例えば、図６Ａに示すように、圧縮フォルダを示す冷蔵庫ないし冷凍庫のアイコンで表示された“フォルダ３”を操作者が手で摘み上げると、制御部９００は、破線矢印と操作者の手にあるアイコンが示すような仮想的なドラッグ操作がされているものとして、操作者の仮想ドラッグ操作を受け付ける。そして、図６Ｂに示すように、操作者がドラッグした“フォルダ３”をタッチパネル上の画面に向かって投げつける動作をすると、圧縮フォルダの“フォルダ３”を解凍する処理を実行する（上述のステップＳ１～Ｓ６）。なお、図６Ｂでは、制御部９００が圧縮フォルダの解凍処理動作と共に制御する他の動作の例として、圧縮フォルダの解凍演出を表示させること（圧縮フォルダが開いて圧縮されていた情報が展開されたことを視覚的に認識できる表示をタッチパネルないし表示部５１７に行わせること）を示してある。

　一方、操作者が上述のような投げつける動作をしないときには、操作者がドラッグした情報をドロップしたか否かを判断する（ステップＳ５での判断結果が“NO”となり、ステップＳ７での判断に移行する。）。ドラッグ中の情報をドロップする操作に対応する手の状態として好適な例は、手の“放す”形状である。そこで、本インターフェースでは、ドロップ操作に対応する手の状態を手の“放す”形状と予め特定し、その形状パターンの情報をテンプレート１０２に登録しておき、操作者が上述のような投げつける動作をしないときに検出された手情報の形状が“放す”形状か否かを判断して、操作者がドロップ操作をしたか否かを判断する（ステップＳ７）。

　操作者がドラッグした情報を“放す”こともしないときには、処理の流れは再び上述の投げつける動作をしたか否かの判断に戻り、上記同様の処理を繰り返す（ステップＳ７での判断結果が“NO”となってステップＳ５へ戻る。なお、図５中の“Ａ”は、処理の流れの合流箇所を示す記号であり、そこに何らかの処理ステップがあるというわけではない。後述の図７中にある“Ａ”及び“Ｂ”の記号も同様である。）。操作者がドラッグした情報を“放す”と、制御部９００は、検出された手情報の形状に基づいて操作者がドロップ操作をしたと判断し、そのドロップ操作において操作者が情報をドロップした位置（場所）が別のアプリケーションの起動位置か否かを判断する（ステップＳ７での判断結果が“YES”となってステップＳ８へ進む。）。

　ここで、操作者が情報をドロップした位置は、位置特定部１０５ないし３次元位置特定部１０７が検出した位置の手情報から特定されるタッチパネル面内の位置である。制御部９００は、そのタッチパネル面内の位置が別のアプリケーションの起動位置であれば、当該アプリケーションのプログラムに従って処理動作を他のアプリケーションを利用した処理へと展開する動作に移行する（ステップＳ８での判断結果が“YES”となってステップＳ９へ進み）。一方、そのタッチパネル面内の位置が別のアプリケーションの起動位置でなければ（ステップＳ８での判断結果は“NO”となり）、制御部９００は、何らの処理も行わずに圧縮ファイル解凍アプリケーションを利用した３Ｄ情報操作を終了する（３Ｄ情報操作のend）。

　圧縮ファイル解凍アプリケーションを利用した３Ｄ情報操作は上述のようにして行われるが、操作者がドラッグした情報を投げつける動作については、動き特定部１０６が特定する動きの手情報（操作者の手の速度）に加え、その動作で操作者の手が最も下方向に下がった時点で形状特定部１０４が特定する形状の手情報も参照するとよい。すなわち、当該時点での操作者の手が“放す”形状のドロップ操作をしているときに限り、操作者がドラッグした情報を投げつけた（手放した）と判断する。この方が操作者の手の動作に対してより忠実に対応する３Ｄ操作を行うことができる。図６Ｂ中の操作者の手は、そのような投げつける動作をするものとして示してある。なお、操作者の“摘む”動作に対応したドラッグ操作は、タッチパネル面に直には触れていないアイコン等の表示の近傍でも有効となるようにしてもよい。

（３）電子機器間で情報を送受信する３Ｄ情報操作
　次に、本インターフェースを利用した３Ｄ情報操作の他の例として、電子機器６００と他の電子機器６０１等との間で情報を送受信し、３Ｄ操作を利用して電子機器６００から他の電子機器６０１等にファイル等の情報を転送してコピーする場合の３Ｄ情報操作について説明する。図７は、かかる電子機器間で情報を送受信してファイル等を転送する場合の３Ｄ情報操作の処理の手順を示した三次元操作フローチャートである。また、図８、図９Ａ及び図９Ｂは、その３Ｄ情報操作時の操作者の手の状態と電子機器６００、電子機器６０１及びその他の電子機器の動作形態の例を模式的に示した外観図である。ここでの電子機器６００は、操作者が自身の端末として使用する転送情報送信元の機器（自機器）である。一方、電子機器６０１とその他の電子機器は、転送情報送信先の端末として使用される機器（送信先機器ないし情報転送の対象端末）である。電子機器６０１は、電子機器６００と同様に本インターフェースを適用した電子機器であって、電子機器６００の上述した構成と同様の構成を備えている。また、ここで説明する３Ｄ情報操作を実施するプログラムは、電子機器６００及び電子機器６０１にインストールされた操作プログラムに含まれており、それを電子機器６００及び電子機器６０１のそれぞれの制御部９００が実行して以下の処理動作が行われる。

　最初に、操作者がタッチパネルに触れること等に応答して３Ｄ情報操作が開始される（図７中の３Ｄ情報操作のstart）。次いで、操作者のタッチに応じてタッチパネルに表示されている情報中から情報の選択がなされ（ステップＳ２０）、上記「（１）手情報の検出」で述べた手情報の検出動作が開始される（ステップＳ２１）。ここまでの処理動作は、上記「（２）圧縮ファイル等を解凍する３Ｄ情報操作」で説明した処理動作（上記図５中の３Ｄ情報操作のstartからステップＳ２まで）と同様である。ただし、これらの処理動作が行われるのは電子機器６００の方であって、操作者が選択する情報は電子機器６０１に転送してコピーしようとする情報である。

　ファイル等の情報を他の機器に転送するので、情報の選択時から検出されている手情報が示す操作（手情報が示す手の状態に対応する予め特定された操作）がドラッグ操作か否かに応じて、電子機器６００の制御部９００は、操作者がドラッグ操作をしているか否かを判断する（図７中のステップＳ２２）。操作者がドラッグ操作をしていなければ３Ｄ情報操作は終了する（ステップＳ２２での判断結果が“NO”となって３Ｄ情報操作のendへ移行する。）。操作者がドラッグ操作をしているときには、３Ｄ操作が有効となる（ステップＳ２２での判断結果が“YES”となり、３Ｄ操作が有効と判断されてステップＳ２３へ進む。）。

　次に、電子機器６００の制御部９００は、これから行われる操作が他の端末に対するファイルの操作（他の端末との間のファイル操作）であるか否かを判断する（ステップＳ２４）。この判断は、換言すれば、電子機器６００から情報を転送し得る他の機器がその時点で存在しているか否かの判断であり、上述のように３Ｄ操作が有効となったときに、電子機器６００とネットワーク接続されている状態にある他の端末があるか否か、その端末が電子機器６００との間での情報送受信の適格を有する端末であるか否か等の判断基準に従って行う。電子機器６００は、他の機器との通信装置として、アンテナ５１１及び送受信部５１２と、他の機器とのＩ／Ｆ５１４を有しているので、３Ｄ操作が有効となった時点において、それらの構成要素を利用して、通信可能な情報の送信先機器となり得る他の対象端末があるか否かを制御部９００が判断する。かかる他の対象端末があれば、電子機器６００の制御部９００は、その対象端末との間の通信が近距離通信であるか否かを判断する（ステップＳ２４での判断結果が“YES”となってステップＳ２５へ進む。）。

　このとき、電子機器６０１が電子機器６００に対して互いの他の機器とのＩ／Ｆ５１４を介して近距離通信可能に接続されていたとすると、電子機器６００の制御部９００は、対象端末との間の通信が近距離通信であると判断し（ステップＳ２５での判断結果が“YES”となり）、その対象端末である電子機器６０１を送信先機器として、操作者が送信先機器においてドロップ操作をしたか否かを判断する（ステップＳ２６）。すなわち、電子機器６０１において、画像取り込み部５０２のカメラが撮像した入力画像から制御部９００が手情報の検出を行う。そして、電子機器６０１の制御部９００は、操作者のドロップ操作を受け付けたときには、他の機器とのＩ／Ｆ５１４を介した近距離通信を通じて、操作者のドロップ操作があったことを電子機器６００の制御部９００に通知する。この電子機器６０１からの通知の有無に応じて、電子機器６００は、送信先機器の画像取り込み部５０２を構成しているカメラが操作者のドロップ操作を捉えたかどうかを判断する（ステップＳ２６）。

　これにより、電子機器６００は、電子機器６０１からの通知を受けて送信先機器での操作者のドロップ操作を確認すると（ステップＳ２６での判断結果が“YES”となり）、他の機器とのＩ／Ｆ５１４を介した近距離通信を通じて、操作者が電子機器６００でドラッグしたファイル等（記憶部５１３にある情報）を制御部９００が電子機器６０１へと転送する（ステップＳ２７）。そして、このファイル転送作業が終了すると（ステップＳ２８）、３Ｄ情報操作は終了する（３Ｄ情報操作のend）。

　例えば、図８中の左側に示すように、操作者が電子機器６００で“フォルダ５”を摘み上げて破線矢印で示す仮想的なドラッグ操作を行い、その仮想ドラッグした点線で示すフォルダを同図中の右側に示すように送信先機器の電子機器６０１でドロップすれば（電子機器６０１の指定領域内でフォルダを放して破線矢印の仮想的なドロップ動作をすれば）、そのドロップ操作を電子機器６０１からの通知に基づいて電子機器６００の制御部９００が確認し、“フォルダ５”の情報を電子機器６０１へ転送する。これにより、電子機器６０１の制御部９００は、転送されてきた“フォルダ５”の情報を記憶部５１３に格納すると共に、そのアイコンをタッチパネル（表示部５１７）に図示のように表示させ、電子機器６００から電子機器６０１への“フォルダ５”の情報の転送及びコピーが完了する。

　このとき、電子機器６００と送信先の端末である電子機器６０１とは上述のようにネットワーク接続状態にあることが前提であり、送信先機器でカメラ等の画像に基づいて操作者がドロップ操作をしたことが判断できるか、あるいは、何らかの転送許可を伝える通信がなされれば転送を実行することができる。したがって、送信先の端末は、かかる転送許可を伝える通信が可能であれば、本インターフェースの構成を備えている必要はなく、上述の電子機器６０１に限られるわけではない。また、電子機器６００とネットワーク接続状態にある他の端末がないときには、３Ｄ操作が有効となっても以後の操作は他の端末に対するファイルの操作ではないので、電子機器６００の制御部９００は、処理動作を他のアプリケーションを利用した処理へと展開する動作に移行する（上記ステップＳ２４での判断結果が“NO”となってステップＳ２９へ進む。）。その一方で、他の端末に対するファイル操作と判断されて近距離通信可能な送信先機器があっても、その送信先機器のカメラ等の画像に基づいたドロップ操作の判断（ステップＳ２６での操作者がドロップ操作をしたか否かの判断）で操作者のドロップ操作が確認できなければ（その判断結果が“NO”となり）、ファイル転送は行わずにそのままファイル転送作業は終了したものとして３Ｄ情報操作は終了する（ステップＳ２６からステップＳ２８へ進んで３Ｄ情報操作のendになる。）。

　ここで、他の端末に対するファイル操作である場合に近距離通信を他の通信と区別しているのは、図８に示したように近距離にある送信先機器（電子機器６０１）と他の機器とを区別する一つの方法であって、通信可能な距離を操作者の手の届く範囲内とするように更に限定を加えて、認証等の手続きをしなくても送信先機器を特定してファイル等の情報転送が実行できるからである。もちろん、ネットワーク上で送信先機器を特定（認証）してファイル等の情報転送をすることも可能であり、その場合には近距離通信と長距離通信等の他の通信との区別なく、他の機器に情報をコピーする３Ｄ操作をすることが可能となる。

　送信先機器との通信が近距離通信でない場合には、電子機器６００の制御部９００は、その送信先機器との接続が許可されているか否か（ファイル等の転送及びコピーに必要な情報の送受信が可能な状態か否か）を判断する（上記ステップＳ２５での判断結果が“NO”となってステップＳ３０へと進む。）。そして、送信先機器との接続が許可されていれば、その送信先機器のファイル制御を電子機器６００から遠隔実施するリモートファイル制御を開始する（ステップＳ３０での判断結果が“YES”となってステップＳ３１へと進む。）。

　リモートファイル制御では、電子機器６００は、操作者がドロップ操作をしたか否かの判断（ステップＳ３２）と、そのドロップがリモートな送信先機器（送信先機器の画面情報を表示する送信先機器のプロパティ）へのドロップであるか否かの判断（ステップＳ３３）の２つの判断（チェック）に基づいてファイル転送をするか否かを決定する。すなわち、操作者の自機器である電子機器６００の制御部９００は、画像取り込み部５０２のカメラからの入力画像情報に基づいて操作者がドロップ操作をしたか否かを判断する。操作者がドロップ操作をしたときには、電子機器６００の制御部９００は、ドロップ操作において情報をドロップした位置が送信先機器のプロパティを開いた送信先リモート画面のウィンドウ内（送信先機器が保持する情報を遠隔制御するウィンドウ内）であるか否かを判断する。ドロップした位置が送信先リモート画面のウィンドウ内であったときに、電子機器６００の制御部９００は、操作者がドロップした情報を送信先機器に転送する（ステップＳ３２とステップＳ３３での判断結果が双方とも“YES”となったときにステップＳ２７に進む。）。そして、このファイル転送作業が終了すると（ステップＳ２８）、３Ｄ情報操作は終了する（３Ｄ情報操作のend）。

　例えば、図９Ａに示すように、操作者が電子機器６００で“フォルダ５”を摘み上げて上向き破線矢印で示す仮想的なドラッグ操作を行い、その仮想ドラッグした点線で示すフォルダを送信先リモート画面の上方で放して下向き破線矢印の仮想的なドロップ操作をすると、そのドロップ操作に従って、電子機器６００の制御部９００が“フォルダ５”の情報を他の電子機器である送信先機器へ転送する。これにより、図９Ｂに示すように、送信先機器は、転送されてきた“フォルダ５”の情報をその記憶部に格納すると共に、“フォルダ５”のアイコンをその表示部に図示のように表示させ、電子機器６００から送信先機器への“フォルダ５”の情報の転送及びコピーが完了する。ここでの送信先機器は、電子機器６００との接続が許可される機器であればよく、電子機器６００や電子機器６０１と同様の構成を備える必要は必ずしもない。

　送信先機器との通信が近距離通信でない場合には、送信先機器が操作者の手の届く範囲にあれば、近距離通信である場合と同様に、送信先機器のカメラが撮影した画像で操作者のドロップ操作を認識して上記同様の３Ｄ操作（送信先機器からの通知を受けて転送及びコピーをする操作）をすることも可能である。一方、送信先機器が操作者の手の届く範囲にないときには、上述のように送信先機器のリモート画面を利用して操作を行うことで３Ｄ操作が可能となる。ただし、ネットワーク上での送信先機器との認証が取られていることが前提条件である。

　なお、送信先機器との接続が許可されない場合には、ファイル転送は行わずにそのままファイル転送作業は終了したものとして３Ｄ情報操作は終了する（上記ステップＳ３０での判断結果が“NO”となってステップＳ２８へ進み、３Ｄ情報操作のendになる。）。また、リモートファイル制御では、操作者がドロップ操作をしなければドロップ操作をするまで処理が保留状態となる（ステップＳ３２での判断結果が“NO”となり、“Ｂ”に戻って同様の判断を繰り返し）。そして、操作者が送信先リモート画面のウィンドウ内でない位置に情報をドロップしたときには、その位置に応じて制御部９００が処理動作を他のアプリケーションを利用した処理へと展開する動作に移行する（ステップＳ３３での判断結果が“NO”となり、“Ａ”以下のステップＳ２９へ進む。）。

　電子機器６００と他の電子機器６０１等との間で情報を送受信し、ファイル等の情報の転送及びコピーをする３Ｄ情報操作は上述のようにして行われ、複数の電子機器間で情報を授受して３Ｄ操作を実施する電子機器の操作システムを本インターフェースを利用して構成することができる。その操作システムにおいては、送信元である電子機器６００以外の電子機器は、上述のように必ずしも本インターフェースの構成をすべて備えている必要はなく、電子機器６００からの情報を受信して記憶ないし表示できる電子機器を適宜利用することができる。また、他の機器との通信装置であるアンテナ５１１及び送受信部５１２と他の機器とのＩ／Ｆ５１４については、通信可能な距離を操作者が任意に設定することにしてよく、操作者が自身の手が届く範囲や自身の周辺で適宜利用する電子機器がある範囲等を必要に応じて設定することにしてよい。例えば、他の機器とのＩ／Ｆ５１４を利用して通信可能な距離については、１ｍ以内と設定することにしてもよい（アンテナ５１１及び送受信部５１２を利用して通信可能な距離をそうしてもよい。）。

　本インターフェースに従えば、これまで２次元的に操作されてきたタッチパネルを利用したインターフェースを上述したように三次元的に拡張することが可能となり、タッチパネル上の操作で操作者本人の手で、バーチャルにデータをつまむ、移動する、落とし込むなどの物理的な人の自然な動作を使った操作が実現でき、より使い易いインターフェースが実現できるという効果がある。

＜応用ないし変形の例＞
（１）手情報と操作の対応例
　上述した３Ｄ操作は主としてファイル操作に関する例であるが、本インターフェースでは、上述したもの以外にも様々な３Ｄ操作を受け付けることができる。図１０は、本インターフェースにおいて、入力画像情報５５０から検出（認識）する手情報と、それぞれの手情報に対応させた操作例ないし操作が実現する機能例を列挙した図である。この図に示すように、例えば、
・“手の形状検出”の手情報に応じて、“摘む”形状はドラッグ、“放す”形状はドロップ、“ひねる”形状はロック、“ねじる”形状は圧縮や選択等、の３Ｄ操作として受け付けることができる。
・“手の移動検出”の手情報に応じて、
“操作面内上へ”の移動は、フォルダ／ファイルの移動、スクロールＵｐ
“操作面内下へ”の移動は、フォルダ／ファイルの移動、スクロールＤｏｗｎ
“操作面内右へ”の移動は、フォルダ／ファイルの移動、左スクロール
“操作面内左へ”の移動は、フォルダ／ファイルの移動、右スクロール
“操作面上の上へ”の移動は、表示のズームＵｐ、“摘んで放す”でコピーないし移動、“アイコン上へ移動してドロップ”でアプリケーションの起動
“操作面上の下へ”の移動は、表示のズームＤｏｗｎ、規定速度（予め設定した速度）の場合は圧縮の解凍
等の３Ｄ操作として受け付けることができる。ただし、ここでは、上述した図４等の外観のように操作者と対向する位置に撮像装置を設ける場合を想定し、手の左右移動とスクロールの左右移動は逆にした（したがって、手の左右移動に対応したフォルダやファイルの移動も左右逆である。）。
　この場合、手情報は、三次元の手の位置や動き、手の形状の情報を組み合わせることで、色々な操作を対応させることが可能となる。

（２）自機器内部での３Ｄ情報操作の他の例
　上述した圧縮ファイル解凍アプリケーションを利用した３Ｄ情報操作は、操作者自身の電子機器内部での情報操作例であるが、かかる自機器内部での３Ｄ情報操作の他の例としては、例えば、図１１に示したようにファイル等の情報を圧縮するファイル圧縮アプリケーションを利用した３Ｄ情報操作が挙げられる。ファイル圧縮アプリケーションを利用した３Ｄ情報操作では、操作者が圧縮しようとするファイル等の情報を選び、選んだ情報のアイコンが表示されている部分で手をねじる動作（又はひねる動作）をすると、それらのアイコンが示す情報を制御部９００が圧縮して圧縮ファイルにする。図１１では、一点鎖線の楕円内にある“フォルダ２”と“フォルダ５”を操作者が選んで同楕円部分で破線白抜き矢印で示すように手をねじる動作をしており、それによって“フォルダ２”と“フォルダ５”の圧縮ファイルが生成される３Ｄ情報操作の形態を模式的に示してある。

（３）アイコンの影の表示
　本インターフェースでは、表示されたアイコンを仮想的に摘み上げてドラッグすると、以後の操作者の手の三次元位置情報が手情報として検出され、制御部９００は、そのアイコンが三次元空間内を手情報の位置に従って仮想的に移動しているものとみなす。そこで、電子機器６００は、タッチパネルの画面内に表示されるアイコンに影を設け、そのアイコンを手情報に基づいて三次元的に移動させるとき、タッチパネルの平面内移動に対しては画面内をアイコンが追従して移動し、タッチパネルの高さ方向の移動に対してはアイコンの影とアイコンとの間の距離を変化させて表示してもよい。

　図１２Ａ及び図１２Ｂは、かかるアイコンの影の表示形態の例を示した図である。図１２Ａに示したように、操作者が仮想ドラッグした点線のフォルダに対し、タッチパネルの画面内で影を表示する。そして、図１２Ｂに示したように、操作者が手を上下に移動させたときには、アイコンとその影との間の距離を変化させる。本インターフェースに従えば、３Ｄ操作をより自然に見せる工夫として、アイコンを仮想的に摘み上げたときに、このように画面に表示されるアイコンとその影との間の距離を変化させて、アイコンを持ち上げたような演出を電子機器６００にさせることも可能であり、よりリアルな操作感を再現できる。なお、影の移動は、操作者が手を上に移動させるほど（アイコンを高く持ち上げるほど）アイコンから離れていくのが基本的な形態であるが、より光が射す方向を入力画像の輝度分布から判断したり影の大きさや形も変えたりして適宜調整してもよい。

（４）リモートファイル制御のための認証
　上記＜動作＞の「（３）電子機器間で情報を送受信する３Ｄ情報操作」においては、送信元の電子機器６００が送信先機器のリモートファイル制御をする場合がある。その場合、かかるリモートファイル制御のための認証技術としては、図１３に示すように、送信先の端末（送信先機器）に予め識別用のマークを送信しておき、その識別マークを操作者の端末（電子機器６００）に適宜設けられる外撮りカメラ等の撮像装置（図示せず）を利用して検出（認識ないし識別）して認証を行い、その上で目的の送信フォルダをノックする動作等に応答して当該送信フォルダを転送するなどのアプリケーションが挙げられる。

　ここで、識別マークは、図示のように送信先の端末の表示部に表示させた画像情報となっており、それを操作者の端末の撮像装置で撮像して検出し、送信先の端末と操作者の端末とが共に共通する識別情報を取得して互いに情報交換をする形態に従って認証を行うものである。したがって、図１３では識別マークの一例として二次元コードを示したが、これに限られるわけではなく、かかる形態に従って他の機器のリモート制御を可能にする認証をするための識別情報として利用できる画像情報であればよい。

（５）画像取り込み部の形態
　画像取り込み部５０２を構成する撮像装置は、カメラに限らず、画像情報が取り込めるものであれば制限は無く、操作部５０１（のタッチパネル）を利用する操作時の操作者の手が入る領域が写る角度に配置されていて（図４や図６Ａ参照）、前記所定領域の画像情報を取得できるものであればよい。また、この撮像装置は、複数のカメラを利用して構成するものとしても構わないし、その画像を取り込む範囲の画角が、前記操作時に操作者の手が入る領域が写る角度に調整される制御がされるものであってもよい。なお、その画角調整制御では、手検出領域指定部３００が設定した指定領域に基づき、当該指定領域が写る角度に画角を調整するようにしてもよい。

　例えば、対象電子機器が携帯電話機である場合には、ユーザ自身を写す表示画面側に搭載されるカメラの他に、ユーザ以外の対象物を撮像する表示画面の反対側に搭載されるカメラ等、複数のカメラで複数の画角を写す撮像装置が一般的に搭載されている。そこで、それらの複数のカメラのうち、少なくとも１つのカメラを前記操作時の操作者の手が入る領域が写る角度に配置し、あるいは、その領域を写す角度に少なくともいずれか１つのカメラの画角を調整する制御をし、あるいは、その領域を複数のカメラで写すように各カメラを配置しまたは画角調整制御を行って、画像取り込み部５０２を構成することにしてもよい。

　上述した画像取り込み部５０２は、その画角で取り込まれる画像がタッチパネル面から上方へ向かう高さ方向の座標を含むものとしたが、このようにしたのは、入力画像に操作者の手の高さ方向の位置情報が含まれるようにするためである。高さ方向の位置情報が入力画像に含まれなくなるのは、撮像装置から画像取り込み領域に向かう中心線がタッチパネル面と垂直な場合である。しかし、その中心線がタッチパネル面と垂直で入力画像中の位置情報に高さ方向の位置情報が含まれない場合であっても、入力画像中に現れる抽出手部分のサイズは、操作者の手の高さに応じたサイズになるので、そのサイズに基づいて操作者の手の高さは特定することができる。したがって、画像取り込み部５０２の形態として、取り込み画像がタッチパネル面から上方へ向かう高さ方向の座標を含むことは必須ではない。

（６）その他
　本インターフェースは、その一部又は全部を対象電子機器とは別体のハードウェアとして構成し、それを対象電子機器の構成に追加する形態としても実施することはできる。しかし、すべての電子機器は、その機能を制御するために機能動作の制御部と情報の記憶部を有している。したがって、本インターフェースを利用して電子機器の操作を実施するために制御部が実行する処理動作を操作プログラムに規定して記憶部に格納すれば、既存の電子機器のハードウェアを利用して本インターフェースの一部又は全部をソフトウェアとして実現することもできる。操作部５０１と画像取り込み部５０２については、相当するハードウェア構成がない電子機器では適宜設ける必要がある。しかし、タッチパネルとカメラ等の撮像装置を有する電子機器であれば、それらをソフトウェア上で制御して操作部５０１と画像取り込み部５０２にすることができ、必要であればそれらの配置を適宜調整すればよい。

　以上、実施形態を参照して本発明を説明したが、本発明は上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更を加えることができる。

　例えば、図１に示した制御部９００は、必ずしも手情報検出部１００、タッチ検出部２００及び手検出領域指定部３００を内部に有している必要はない。例えば、手情報検出部１００、タッチ検出部２００及び手検出領域指定部３００を制御部９００の外部に設け、手情報検出部１００、タッチ検出部２００及び手検出領域指定部３００以外の機能に係る部分で制御部９００を構成するとともに、制御部９００が手情報検出部１００、タッチ検出部２００及び手検出領域指定部３００を制御するようにしても良い。

　この出願は、２００９年２月２５日に出願された日本出願特願２００９－０４２３１０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明の活用例として、携帯電話機やＰＤＡ（Personal Digital Assistant）、ノートＰＣ（Personal Computer）等の情報をやり取りする電子機器全般に利用できる。さらに、本発明は、タッチパネルを入力装置として用いることができる電子機器であれば、適用可能である。

１００　手情報検出部（手情報検出手段）
２００　タッチ検出部（タッチ検出手段）
３００　手検出領域指定部（手検出領域指定手段）
１０１　抽出部（抽出手段）
１０２　テンプレート
１０３　比較部（比較手段）
１０４　形状特定部（形状特定手段）
１０５　位置特定部（位置特定手段）
１０６　動き特定部（動き特定手段）
１０７　３次元位置特定部（３次元位置特定手段）
１０８　３次元校正部（３次元校正手段）
５０１　操作部（操作手段）
５０２　画像取り込み部（画像取り込み手段）
５１１　アンテナ（通信手段）
５１２　送受信部（通信手段）
５１３　記憶部
５１４　他の機器とのＩ／Ｆ（通信手段）
５１７　表示部
６００、６０１　電子機器
９００　制御部（制御手段）

Claims

　タッチパネルを有する電子機器の操作手段と、
　前記タッチパネル上方の空間の画像を取り込む画像取り込み手段と、
　前記画像取り込み手段が取り込んだ前記画像から特定される前記電子機器の操作者の手の状態を示す手情報を検出する手情報検出手段と、
　前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出手段と、
　前記手情報検出手段が検出した前記手情報と前記タッチ検出手段が検出した前記タッチパネル入力に基づいて前記電子機器の機能を制御する制御手段と
　を有する電子機器のインターフェース。
　前記操作手段と前記画像取り込み手段は前記制御手段に接続され、
　前記制御手段は前記手情報検出手段と前記タッチ検出手段を有する
　請求項１記載の電子機器のインターフェース。
　前記手の状態が手の形状、位置及び動きを含む請求項１又は２記載の電子機器のインターフェース。
　前記手情報を検出する指定領域を設定する手検出領域指定手段を有し、
　前記制御手段は、前記操作者の前記手の位置が前記手検出領域指定手段において予め設定された前記指定領域内に存在する場合に、前記手情報検出手段に前記手情報の検出を行わせ、又は前記機能の制御を行う
　請求項１～３のいずれかの項記載の電子機器のインターフェース。
　前記画像取り込み手段は、前記指定領域を撮像するように配置された少なくとも１つ以上のカメラである請求項４記載の電子機器のインターフェース。
　前記画像取り込み手段は、前記操作者の前記手がある前記空間の前記画像を撮像して取り込み、
　前記手情報検出手段は、前記画像取り込み手段が撮像した前記画像を入力画像として、前記入力画像において前記手が撮像された領域である手部分を抽出する抽出手段と、前記抽出手段が抽出した前記手部分の形状と予め用意されたテンプレートの形状とを比較する比較手段と、比較結果に基づいて前記手部分の前記形状に最も類似したテンプレートの形状を手の形状として特定する形状特定手段とを備え、前記形状特定手段が特定した前記手の形状を前記手情報とする
　請求項１～５のいずれかの項記載の電子機器のインターフェース。
　前記画像取り込み手段は、前記操作者の前記手がある前記空間の前記画像を撮像して取り込み、
　前記手情報検出手段は、前記画像取り込み手段が撮像した前記画像を入力画像として、前記入力画像において前記手が撮像された領域である手部分を抽出する抽出手段と、前記抽出手段が抽出した前記手部分の重心を手の位置として特定する位置特定手段とを備え、前記位置特定手段が特定した前記手の位置を前記手情報とする
　請求項１～６のいずれかの項記載の電子機器のインターフェース。
　前記画像取り込み手段は、前記操作者の手がある前記空間の画像を撮像して取り込み、
　前記手情報検出手段は、前記画像取り込み手段が撮像した前記画像を入力画像として、前記入力画像において前記手が撮像された領域である手部分を抽出する抽出手段と、前記抽出手段が抽出した前記手部分の重心を手の位置として特定する位置特定手段と、前記位置特定手段が特定した前記手の位置の時系列的な変化を、手の動きとして特定する動き特定手段とを備え、前記動き特定手段が特定した前記手の動きを前記手情報とする
　請求項１～７のいずれかの項記載の電子機器のインターフェース。
　前記動き特定手段は、前記手の位置の時系列的な変化に相当する前記手の速度を前記手の動きとして特定する請求項８記載の電子機器のインターフェース。
　前記抽出手段は、前記入力画像を構成する各画素の輝度及び色の情報のうち少なくとも一方を抽出用情報とし、前記入力画像において前記抽出用情報が予め設定された許容範囲内にある領域を前記手部分とする
　請求項６～９のいずれかの項記載の電子機器のインターフェース。
　前記画像取り込み手段は、前記操作者の前記手がある前記空間の前記画像を撮像して取り込み、
　前記タッチ検出手段は、前記タッチパネル入力の位置に基づいて前記画像取り込み手段から前記操作者の前記手までの奥行き量を検出し、
　前記手情報検出手段は、前記画像取り込み手段が撮像した前記画像を入力画像として、前記入力画像において前記手が撮像された領域である手部分を抽出する抽出手段と、前記抽出手段が抽出した前記手部分の重心を手の位置として特定する位置特定手段と、前記タッチパネル入力があった時の前記入力画像から前記抽出手段及び前記位置特定手段を利用して特定された前記手の位置と、当該タッチパネル入力の前記位置に基づいて前記タッチ検出手段が検出した前記奥行き量とをもとに前記手の三次元位置を特定する３次元位置特定手段とを備え、前記３次元位置特定手段が特定した前記手の三次元位置情報を前記手情報とする
　請求項１～１０のいずれかの項記載の電子機器のインターフェース。
　前記３次元位置特定手段は、前記タッチパネル入力の前記位置にをもとに前記タッチ検出手段が検出した前記奥行き量に基づき、前記タッチパネル入力があった時の前記入力画像から前記抽出手段が抽出した前記手部分を基準とする手部分に校正する３次元校正手段を備え、校正した手部分、前記基準とする手部分、及び前記タッチパネル入力以後の前記入力画像から前記抽出手段が抽出した手部分に基づき、前記操作者の空中にある手の位置を推定して前記手の三次元位置を特定する
　請求項１１記載の電子機器のインターフェース。
　前記３次元校正手段は、前記抽出手段が抽出した前記手部分の重心に変動が生じたときに、前記変動に合わせて前記手の三次元位置を校正する請求項１２に記載の電子機器のインターフェース。
　前記制御手段は、前記電子機器が、前記タッチパネルに表示するアイコンに影を設け、前記アイコンを前記手情報に基づいて三次元的に移動させるとき、前記タッチパネルの平面内移動に対しては前記タッチパネルの画面内を追従して移動させ、前記タッチパネルの高さ方向の移動に対しては前記影と前記アイコンとの間の距離を変化させて表示させるように、前記電子機器の前記機能を制御する
　請求項１～１３のいずれかの項記載の電子機器のインターフェース。
　前記制御手段は、前記電子機器が、前記電子機器に設けられた通信手段を利用して情報の送受信をするように、前記電子機器の前記機能を制御する請求項１～１４のいずれかの項記載の電子機器のインターフェース。
　前記制御手段は、前記電子機器が、前記通信手段を使って、他の電子機器の画面情報を表示し、前記他の電子機器の機能をリモートに制御するように、前記電子機器の前記機能を制御する請求項１５記載の電子機器のインターフェース。
　前記制御手段は、前記電子機器が、前記他の電子機器のリモート制御を可能にするための識別情報を検出し、前記リモート制御を可能にするように、前記電子機器の前記機能を制御する請求項１６記載の電子機器のインターフェース。
　前記識別情報が画像情報である請求項１７記載の電子機器のインターフェース。
　前記通信手段の通信可能な距離が１ｍ以内で設定される請求項１５～１８のいずれかの項記載の電子機器のインターフェース。
　前記通信手段の通信可能な距離を前記操作者が任意に設定できる請求項１５～１８のいずれかの項記載の電子機器のインターフェース。
　タッチパネルを有する操作手段と、
　前記タッチパネル上方の空間の画像を取り込む画像取り込み手段と、
　前記画像取り込み手段が取り込んだ前記画像から特定される操作者の手の状態を示す手情報を検出する手情報検出手段と、
　前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出手段と、
　前記手情報検出手段が検出した前記手情報と前記タッチ検出手段が検出した前記タッチパネル入力に基づいて電子機器自身の機能を制御する制御手段と
　を有する電子機器。
　タッチパネルを利用して電子機器の操作者の入力を受け付け、
　前記タッチパネル上方の空間の画像を取り込み、
　取り込んだ前記画像から特定される前記操作者の手の状態を示す手情報を検出し、
　前記タッチパネルでの前記操作者のタッチパネル入力を検出し、
　検出した前記手情報と検出した前記タッチパネル入力に基づいて前記電子機器の機能を制御する電子機器の操作方法。
　タッチパネルを利用して電子機器の操作者の入力を受け付ける入力機能と、
　前記タッチパネル上方の空間の画像を取り込む画像取り込み機能と、
　前記画像取り込み機能を利用して取り込んだ前記画像から特定される前記操作者の手の状態を示す手情報を検出する手情報検出機能と、
　前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出機能と、
　前記手情報検出機能を利用して検出した前記手情報と前記タッチ検出機能を利用して検出した前記タッチパネル入力に基づいて前記電子機器の機能を制御する制御機能と
　をコンピュータに実現させるための電子機器の操作プログラム。
　通信可能に接続された第１の電子機器と第２の電子機器を有し、
　前記第１の電子機器は、
　タッチパネルを有する操作手段と、
　前記タッチパネル上方の空間の画像を取り込む画像取り込み手段と、
　前記画像取り込み手段が取り込んだ前記画像から特定される操作者の手の状態を示す手情報を検出する手情報検出手段と、
　前記タッチパネルでの前記操作者のタッチパネル入力を検出するタッチ検出手段と、
　前記手情報検出手段が検出した前記手情報と前記タッチ検出手段が検出した前記タッチパネル入力に基づいて前記第１の電子機器の通信機能を制御する制御手段と
　を有し、
　前記第１の電子機器が前記第２の電子機器と情報の送受信をする電子機器の操作システム。