JP6221332B2 - 操作装置及び情報処理装置 - Google Patents

Description

本発明は、タッチパネルを有する操作装置、及びこれを用いた情報処理システムに関する。

近時、タッチパネルを操作対象として、タッチパネルにおける操作を表示画面に反映させる技術が存在する。

特許文献１には、操作キーを表す画像が表示された表示画面に指を対向させると、表示画面の指と対向する位置に、表示画面と指との間の距離に応じたカーソルを表示させる技術が開示されている。

特開２０１０−６１２２４号公報

ところが、上記技術では、表示画面に表示されたオブジェクトを選択して移動させる際には、指先を、表示画面から常に一定の高さの範囲を保持しながら動かさないといけない。このように、指先を表示画面から常に一定の高さの範囲を保持しながら動かすには熟練を要し、操作性が良いとはいえない。

本発明は、上述の課題を解決するためになされたものであり、操作性の良い操作装置、及びこれを用いた情報処理システムを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る操作装置は、タッチパネル面を有し、当該タッチパネル面にタッチされた平面上の座標位置を検出するタッチパネルと、タッチされた前記座標位置を表す座標情報を生成する座標情報生成部であって、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する座標情報生成部と、前記複数の座標生成モードのうち、ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部と、前記座標情報生成部によって生成された座標情報を出力する出力部と、を備え、前記座標情報生成部は、前記タッチパネル面におけるタッチ位置の平面上の二次元座標と、前記タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを、前記座標生成モードに応じて生成する。

この構成によると、指先をタッチパネル面上に置いたままで、タッチパネル面におけるタッチ位置の平面上の二次元座標と、タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを、座標生成モードに応じて生成するので、ユーザは、指先を表示画面から常に一定の高さの範囲を保持しながら動かす必要がない。

そのため、ユーザは、表示画面と指との距離に惑わされることなく、ストレスなく、操作装置を操作することができる。その結果、操作性の良い操作装置を提供することができる。

また、本発明の他の態様に係る操作装置は、タッチパネル面を有し、当該タッチパネル面における指先のタッチ位置を検出する機能と共に、前記タッチパネル面の上空に存在する指先の前記タッチパネル面に対する高さを検出する機能を併せ持つタッチパネルと、前記タッチパネル面の上空の前記指先の三次元位置情報を三次元座標情報として生成する３Ｄ操作モードと、前記タッチパネル面の上空に指先が存在する場合に検出される前記三次元位置情報を利用せずに、前記タッチパネル面における指先の座標位置を表す平面座標情報を利用する第１座標生成モードを含む複数の座標生成モードを有する２Ｄ操作モードとを有する座標情報生成部と、前記座標情報生成部によって生成された座標情報を出力する出力部と、前記２Ｄ操作モードの場合に、ある座標生成モードから別の座標生成モードに切り替えるための特定操作を受け付ける受付部と、を備え、前記座標情報生成部は、（１）前記３Ｄ操作モードの場合、前記指先が、前記タッチパネル面にタッチしている場合も含め、前記タッチパネル面上から一定高さ以内の三次元空間内に存在する場合に、前記指先の検出位置を三次元座標として生成し、（２）前記２Ｄ操作モードの場合、前記タッチパネルにタッチされた位置の平面上の二次元座標と、前記タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを座標生成モードに応じて生成する。

この構成によると、指先が、タッチパネル面上から一定の高さの範囲以内の三次元空間内に存在する場合に、指先の検出位置を三次元座標として生成する３Ｄ操作モードを有する。

３Ｄ操作モードとは、言い換えれば、指先をタッチパネル面から一定の高さの範囲内に位置させると、指先のタッチパネル面における二次元座標を表す平面位置情報と、指先とタッチパネル面からの高さを表す高さ情報と、を含む三次元位置情報を、外部の処理装置に出力するモードである。このモードでは、外部の処理装置は、指先とタッチパネル面との間の距離に応じたカーソルを、平面位置情報で表される座標位置に表示させる。

このような３Ｄ操作モードを有する操作装置は、２Ｄ操作モードでは、タッチパネルにタッチされた位置の平面上の二次元座標と、タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを座標生成モードに応じて生成する。

これにより、先述の２Ｄ操作モードと、従来から存在する３Ｄ操作モードとを兼ね備えた操作装置を提供することができるので、ユーザは、操作装置を使用するケースに応じて、３Ｄ操作モードと２Ｄ操作モードとを切り分けることができるので、利便性で優れている。

また、前記座標情報生成部は、少なくとも第１座標生成モードと、第２座標生成モードとを有し、前記受付部は、前記第１座標生成モードから前記第２座標生成モードに切り替えるための第１特定操作を受け付け、前記座標情報生成部は、前記第１座標生成モードでは前記高さ情報Ｚとして、正値を与え、前記第２座標生成モードでは前記高さ情報Ｚとして、零値を与えてもよい。

この構成によると、第１座標生成モードでは高さ情報Ｚとして、正値を与え、第２座標生成モードでは高さ情報Ｚとして、零値を与えるので、平面座標位置を検出可能なタッチパネルを使用して、立体座標及び平面座標の両方を得ることができる。

また、前記座標情報生成部は、少なくとも第１座標生成モード、第２座標生成モード、及び第３座標生成モードを有し、前記受付部は、前記第１座標生成モードから前記第３座標生成モードに切り替えるための第２特定操作と、前記第３座標生成モードから前記第２座標生成モードに切り替えるための第３特定操作を受け付け、前記座標情報生成部は、前記第１座標生成モードでは前記高さ情報Ｚとして、一定値以上の正値を与え、前記第２座標生成モードでは前記高さ情報Ｚとして、零値を与え、前記第３座標生成モードでは前記高さ情報Ｚとして、一定値未満の正値を与えてもよい。

この構成によると、２Ｄ操作モードの場合、第１座標生成モードでは高さ情報Ｚとして、一定値以上の正値を与え、第２座標生成モードでは高さ情報Ｚとして、零値を与え、第３座標生成モードでは高さ情報Ｚとして、一定値未満の正値を与える。

この構成によると、第３座標生成モードは、第１座標生成モード及び第２座標生成モードとは異なる値の高さ情報を与えるので、第１座標生成モードと第２座標生成モードとの間の中間モードとなることができる。

よって、第１座標生成モードからいきなり第２座標生成モードに遷移する場合と比べて、第１座標生成モードと第２座標生成モードとの間に、中間モードである第３座標生成モードが挟まれるので、ユーザは、きめ細かい操作感覚を得ることができる。

また、前記座標情報生成部は、前記タッチパネルに対する指先のタッチ位置の平面位置座標が予め設定された設定時間内に変化した場合に、前記平面位置座標の変化量を表す変化量情報を生成するマウス操作モードに遷移してもよい。

この構成によると、タッチパネルに対する指先のタッチ位置の平面位置座標が設定時間内に変化した場合には、平面位置座標の変化量を表す変化量情報を生成するマウス操作モードに遷移する。

先述の操作装置では、タッチパネル面における二次元位置情報や、タッチパネル面上空における指先の高さ情報を出力するだけであったが、この構成によると、極めて正確なポインティング操作が求められる局面では、設定時間内に指先のタッチ位置を変化させるだけでマウス操作モードに遷移する。これにより、ユーザに、正確なポインティング操作の操作性を提供することができる。

また、前記座標情報生成部は、前記タッチパネルが少なくとも２本の指先によってタッチされたことを検出した場合には、タッチ位置のそれぞれの座標を生成してもよい。

この構成によると、タッチパネルが少なくとも２本の指先によってタッチされたとき、タッチ位置のそれぞれの座標情報を生成するので、少なくとも２本の指での操作を伴うマルチタッチジェスチャが、外部の処理装置側で実現できる。そのため、例えば、処理装置側では、ピンチインやピンチアウトなどといったマルチフィンガージェスチャーを実現することができるようになる。

また、前記座標情報生成部は、少なくとも前記操作装置が起動後は何れの座標生成モードでもない待機状態であり、前記待機状態から、前記タッチパネルが少なくとも１本の指先でタッチされたことを検出した場合には、前記第１座標生成モードに遷移してもよい。

この構成によると、待機状態からタッチパネルが少なくとも１本の指先でタッチされたことを検出した場合には、第１座標生成モードに遷移するので、待機状態においてタッチパネルを１本の指でタッチすれば、指先のタッチパネル面におけるタッチが、指先がタッチパネル面の上空に存在しているのと等価な状態となる。これにより、二次元情報しか出力できないタッチパネルを用いた場合であっても、第１座標生成モードに遷移することによって、高さ情報を含む三次元位置情報を出力することができる。

また、前記座標情報生成部は、前記第１座標生成モードで前記受付部が第１特定操作を受け付けた場合には、前記第２座標生成モードに遷移してもよい。

この構成によると、第１座標生成モードで第１特定操作を受け付けた場合には、第２座標生成モードに遷移する。

この構成によると、第１特定操作を受け付けた場合には、指先がタッチパネル面上空に位置すると仮定した状態から、指先がタッチパネル面にタッチしている状態に遷移できるので、二次元情報しか出力できないタッチパネルを用いた場合であっても、上記２つの状態を実現することができる。

また、前記座標情報生成部は、前記第１座標生成モードで前記受付部が第２特定操作を受け付けた場合には、前記第３座標生成モードに遷移し、前記第３座標生成モードで前記受付部が前記第３特定操作を受け付けた場合には、前記第２座標生成モードに遷移してもよい。

この構成によると、第１座標生成モードで第２特定操作を受け付けた場合には、第３座標生成モードに遷移し、第３座標生成モードで第３特定操作を受け付けた場合には、第２座標生成モードに遷移する。

このように、操作装置のモードを、第２特定操作によって、第１座標生成モードと第２座標生成モードとの中間モードである第３座標生成モードに遷移させることができ、第３座標生成モードにおいて、第３特定操作によって、中間モードから第２座標生成モードに遷移させることができる。よって、操作装置に対して高さ情報をきめ細かく与える操作を実現することができる。

また、前記第１座標生成モード、前記第２座標生成モード、及び前記第３座標生成モードのいずかにおいて、前記タッチパネルにおいて一定時間の間継続してタッチを検出しない場合には、前記待機状態となってもよい。

この構成によると、第１座標生成モード〜第３座標生成モードのいずかにおいて、タッチパネルにおいて一定時間の間継続してタッチを検出しない場合には、待機状態となるので、第１座標生成モード〜第３座標生成モードのいずれかから待機状態にするのに特別な操作を必要としない。よって、自然な操作感覚を実現することができる。

さらに、前記座標情報生成部を前記第１座標生成モードから前記第２座標生成モードに遷移させることができる第１操作キーを備え、前記座標情報生成部は、前記受付部が前記第１特定操作として前記第１操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、前記第１操作キーの操作を受け付けなくなった場合には、第１座標生成モードに遷移してもよい。

この構成によると、第１操作キーの操作によって、指先がタッチパネル面に位置するように扱う第２座標生成モードに遷移し、第１操作キーの操作を解除することによって、指先がタッチパネル面の上空に存在するかのように扱う第１座標生成モードに遷移する。

このように、第１操作キーの操作と、座標生成モードの遷移とが対応しているので、自然な操作感覚を実現することができる。

さらに、前記座標情報生成部は、前記第１座標生成モードにおいて、前記第１特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第２座標生成モードに遷移し、前記タッチが解除された場合には、前記第１座標生成モードに遷移してもよい。

この構成によると、タッチパネルの同一位置における一定時間の継続したタッチの有無によって、第１座標生成モードか第２座標生成モードかになる。これにより、タッチパネル面におけるタッチ位置の保持という意思を伴う操作によって座標生成モードが変化するので、自然な操作感覚を実現することができる。

また、前記第１特定操作は、前記タッチパネル上においてユーザの指を同一位置で静止させる操作を継続した後、さらに一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、前記座標情報生成部は、前記第１座標生成モードで前記受付部が前記第１特定操作を受け付けたときには、前記第２座標生成モードに遷移し、前記タッチが解除された場合には、前記第１座標生成モードに遷移してもよい。

この構成によると、タッチパネル上において指先を同一位置で静止させている間、及びその後の一定時間以内のタッチ解除中には第１座標生成モードが継続され、その後の再タッチによって第２座標生成モードに遷移する。

そのため、指先をタッチパネル上において同一位置で静止させ、その後の一定時間の間は、タッチパネルをタッチしていても高さ情報が出力される、仮想的なタッチ操作が実現され、その後の再タッチによって、高さ情報が出力されない、現実のタッチ相当状態に遷移するので、より自然な操作感覚を実現できる。

また、前記第１特定操作は、前記第１座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、前記座標情報生成部は、前記第２座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に前記平面座標情報を生成し、前記第２座標生成モードへの遷移の要因となっている指先のタッチの解除によって、前記第１座標生成モードに遷移し、前記第２座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移してもよい。

この構成によると、第１特定操作は、第１座標生成モードへの遷移の要因となったタッチをしている指とは別の指による平面へのタッチ操作である そのため、第１座標生成モードへの遷移の要因となった指先は連続してタッチしたまま、その指先とは別の指のタッチ操作によって第２座標生成モードに遷移させることができる。

その結果、第１座標生成モードへの要因となった指先を静止させたまま、動きのあるオブジェクトの座標を追跡して、そのオブジェクトの座標に対して座標生成モードをタッチ相当状態に変化させたいような場合に効果的である。

また、第２座標生成モードの原因となった指のタッチの解除によって、連続的に第１座標生成モードに復帰することができるので、第１座標生成モードへの遷移の要因となった指先によって、継続してオブジェクトを追跡するような場合に尚さら有効である。

また、前記座標情報生成部は、前記第１座標生成モードにおいて、前記第２特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第３座標生成モードに遷移し、前記タッチ位置が変化した場合、或いは前記タッチが解除された場合には、前記第１座標生成モードに遷移してもよい。

この構成によると、第２特定操作は、タッチパネルの同一位置における一定時間の継続したタッチである。そのため、タッチ位置の静止継続という意思を伴う操作によって第１座標生成モードと第３座標生成モードとを行き来出来るので、自然な操作感覚を実現することができる。

また、前記座標情報生成部は、前記第１座標生成モードにおいて、前記第２特定操作として、前記タッチパネル上におけるタッチ位置の変化を遅くするにつれて、前記第３座標生成モードに遷移し、前記タッチ位置の変化を速くするにつれて、前記第１座標生成モードに遷移してもよい。

この構成によると、タッチ位置の移動速度が速いか遅いかの違いという意思を反映させ易い作法に依って、第１座標生成モードと第３座標生成モードとを行き来出来るので、より自然な操作感覚を実現することができる。

さらに、前記座標情報生成部を前記第３座標生成モードから前記第２座標生成モードに遷移させることができる第２操作キーを備え、前記座標情報生成部は、前記受付部が前記第３特定操作として前記第２操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、その後、前記第２操作キーの操作を受け付けなくなった場合には、前記第３座標生成モードに遷移してもよい。

この構成によると、第２操作キーの操作によって、指先がタッチパネル面に位置するように扱う第２座標生成モードに遷移し、第２操作キーの操作を解除することによって、第１座標生成モードと第２座標モーとの間の中間モードである第３座標生成モードに遷移する。

このように、第２操作キーの操作と、座標生成モードの遷移とが対応しているので、自然な操作感覚を実現することができる。

さらに、前記座標情報生成部は、前記第３座標生成モードにおいて、前記第３特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間の継続したタッチを検出した場合には、前記第２座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第３座標生成モードに遷移してもよい。

この構成によると、タッチパネルの同一位置における一定時間の継続したタッチの有無によって、第３座標生成モードか第２座標生成モードとなる。これにより、タッチパネル面におけるタッチ位置の保持という意思を伴う操作によって座標生成モードが変化するので、自然な操作感覚を実現することができる。

また、前記第３特定操作は、一定時間以内のタッチ解除後に前記タッチパネル上において前記平面を再度タッチする一連の操作であり、前記座標情報生成部は、前記第３座標生成モードで前記受付部が前記第３特定操作を受け付けたときには、前記第２座標生成モードに遷移し、その後、前記タッチが解除された場合には、前記第３座標生成モードに遷移してもよい。

この構成によると、タッチパネル上において指先を同一位置で静止させている間、及びその後の一定時間以内のタッチ解除中には第３座標生成モードが継続され、その後の再タッチによって第２座標生成モードに遷移する。

そのため、指先をタッチパネル上において同一位置で静止させ、その後の一定時間の間は、タッチパネルをタッチしていても高さ情報が出力される、仮想的なタッチ操作が実現され、その後の再タッチによって、高さ情報が出力されない、現実のタッチ相当状態に遷移するので、より自然な操作感覚を実現できる。

また、前記第３特定操作は、前記第１座標生成モード及び前記第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指による前記平面へのタッチ操作であり、前記座標情報生成部は、前記第３座標生成モードへの遷移の要因となったタッチをしている指のタッチ位置を示す平面座標を元に前記平面座標情報を生成し、前記第３座標生成モードの要因となっている指先のタッチの解除によって、前記第１座標生成モードに遷移し、第３座標生成モードの要因となっている指先のタッチの一定時間以上の解除によって、待機状態に遷移してもよい。

この構成によると、第３特定操作は、第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指による平面へのタッチ操作である。

そのため、第３座標生成モードへの遷移の要因となった指先は連続してタッチしたまま、その指先とは別の指のタッチ操作によって第１座標生成モードに遷移させることができる。

その結果、第３座標生成モードへの要因となった指先を静止させたまま、動きのあるオブジェクトの座標を追跡して、そのオブジェクトの座標に対して座標生成モードを仮想的なタッチ相当状態に変化させたいような場合に効果的である。

また、第３座標生成モードへの遷移の原因となった指のタッチの解除によって、連続的に第１座標モードに復帰することができるので、第３座標モードへの遷移の要因となった指先によって、継続してオブジェクトを追跡するような場合に尚さら有効である。

また、本発明の他の態様に係る情報処理システムは、請求項１〜２０のいずれか１項に記載の操作装置と、表示装置と、前記出力部から出力された前記座標情報を前記表示装置における座標情報に変換し、変換した座標情報で表される座標位置にカーソル画像を表示させる処理装置と、前記操作装置と前記処理装置との間で少なくとも前記座標情報を通信させるための通信部と、を備え、前記処理装置は、前記出力部から前記座標情報及び前記高さ情報を受信した際に、前記高さ情報が設定値以上の正値の座標値を受信した際に第１カーソルを表示させ、前記高さ情報が零値を受信した際に第２カーソルを表示させ、前記高さ情報が設定値未満の正値の座標値を受信した際に第３カーソルを表示させる。

この構成によると、高さ情報が設定値以上の正値の座標値を受信した際に第１カーソルを表示させ、高さ情報が零値を受信した際に第２カーソルを表示させ、高さ情報が設定値未満の正値の座標値を受信した際に第３カーソルを表示させる。

これにより、操作装置が、第１座標生成モード、第２座標生成モード、及び第３座標生成モードのいずれにあるかを、容易に区別することができる。また、ユーザ自身が、同じタッチ面上での操作であるにも拘らず、自らの操作に応じて高さ座標Ｚが変化していることをカーソル表示の差によって直感的に認識することができる。

また、前記第１カーソルの画像、前記第２カーソルの画像、及び前記第３カーソルの画像の各々は、形状及び色の少なくとも一方が異なっていてもよい。

この構成によると、第１カーソル画像、第２カーソル画像、及び第３カーソル画像の各々は、形状及び色の少なくとも一方が異なっているので、各々のカーソル画像をより簡単に区別することができる。

また、前記処理装置は、前記座標情報生成部が前記マウス操作モードを実行している際には、前記表示部に、前記カーソル画像としてマウスカーソル画像を表示させてもよい。

この構成によると、マウス操作モードでは、マウスカーソル画像を表示させるので、マウス操作モードであることが一目で判る。

また、前記処理装置は、前記座標情報生成部が、前記３Ｄ操作モードの際と、前記２Ｄ操作モードの際との間では、前記表示装置に表示させる前記カーソル画像の形状及び色を異ならせてもよい。

この構成によると、３Ｄ操作モードの際と、２Ｄ操作モードの際との間では、表示装置に表示させるカーソル画像の形状及び色を異ならせるので、３Ｄ操作モードか２Ｄ操作モードかの区別が容易につく。

また、前記処理装置は、前記２Ｄ操作モード、前記３Ｄ操作モード、及びマウス操作モードのいずれかを表す操作モード情報を保持しており、前記通信部を経由して前記処理装置が保持している前記操作モード情報を前記操作装置に提供し、前記座標情報生成部は、提供を受けた前記操作モード情報に従って、前記２Ｄ操作モード、前記３Ｄ操作モード、及びマウス操作モードのいずれかを実行してもよい。

この構成によると、２Ｄ操作モード、３Ｄ操作モード、及びマウス操作モードのいずれかを表す操作モード情報を処理装置で保持しており、操作装置は、処理装置からおくられてきた操作モード情報に基づいたモードとなる。

これにより、例えば、処理装置が実行するプログラムに応じた操作モードに、操作装置がなることができるため、利便である。

また、前記処理装置には、前記操作装置による操作を受け付けるための複数のプログラムが予めインストールされており、前記処理装置は、前記各プログラムの実行中に、当該プログラムの実行状態、または実行されている個別のプログラムに応じて、前記３Ｄ操作モード、前記２Ｄ操作モード、及び前記マウス操作モードのいずれかを表す前記操作モード情報を前記座標情報生成部に送信してもよい。

この構成によると、処理装置が実行しているプログラムの実行状態、または実行されている個別のプログラムに応じて、操作モード情報を操作装置に送信するので、以下の効果が期待できる。

例えば、特定のゲームアプリケーションでは３Ｄ操作モードが適しているので、処理装置は３Ｄ操作モード情報を操作装置に出力して３Ｄ操作モードに遷移させることができる。

或いは、細かな画面オブジェクトを扱うことが多いＷＥＢブラウザではマウス操作モードが適しているので、処理装置はマウス操作モード情報を操作装置に出力してマウス操作モードに遷移させることができる。

或いは、ソフトウェアキーボードの実行時には、２Ｄ操作モードが適しているので、処理装置は２Ｄ操作モード情報を操作装置に出力して２Ｄ操作モードに遷移させることができる。

また、前記処理装置は、前記座標情報生成部に前記３Ｄ操作モード、前記２Ｄ操作モード、及びマウス操作モードのいずれの操作モードになるかを選択するための選択キーを備えていてもよい。

この構成によると、選択キーの操作によって、３Ｄ操作モード、２Ｄ操作モード、及びマウス操作モードのいずれの操作モードになるかを選択できるため、操作者の利用意思に応じて操作モードを切換えることができるので、利便である。

また、前記座標情報生成部は、前記操作装置の姿勢を表わす姿勢情報によって、前記３Ｄ操作モード、前記２Ｄ操作モード、及び前記マウス操作モードのいずれか１つの操作モードを実行してもよい。

この構成によると、操作装置の姿勢を表す姿勢情報によって、３Ｄ操作モード、２Ｄ操作モード、及びマウス操作モードのいずれかとなるので、利便である。

さらに、前記操作装置の姿勢を検出し、検出した姿勢を表す前記姿勢情報を出力する加速度センサを備えていてもよい。

この構成によると、姿勢情報は、加速度センサにより得られるので、３次元空間におけるあらゆる方向の姿勢を知ることが出来、かつ加速度の変化から姿勢の動的な変化も知ることも出来る。

また、前記操作装置は、振動部をさらに備えていてもよい。

この構成によると、操作装置は振動部を備えるので、所定のタイミングで振動することにより、ユーザに所定の事項を触覚により伝えることができる。

また、前記操作装置は、発光部をさらに備えていてもよい。

この構成によると、操作装置は発光部を備えるので、所定のタイミングで発光することにより、ユーザに所定の事項を視覚により伝えることができる。

本発明によると、タッチパネルと指との距離に惑わされることなく、ストレスなく、操作装置を操作することができる。

本発明の実施の形態１に係る情報処理システムの一例を表したシステム構成図である。 発明の実施の形態１に係る操作装置の機能ブロックの一例を示したブロック図である。 特定操作テーブルの構成の一例を示した図である。 処理装置の機能構成の一例を示したブロック図である。 対応モードテーブルの構成の一例を示した図である。 表示装置の機能構成の一例を示したブロック図である。 操作装置の座標情報生成部の基本動作の一例について示したフローチャートである。 座標情報生成部における座標生成モード遷移処理について示したフローチャートである。 処理装置の基本動作の一例について示したフローチャートである。 表示装置に表示されるカーソル画像の一例を示した図である。 マウスカーソル画像の一例を示した図である。 本発明の実施の形態２に係る操作装置の座標情報生成部の基本動作の一例を示したフローチャートである。 本発明の実施の形態２において表示装置に表示されるカーソル画像の一例を示した図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
＜情報処理システムの構成＞
図１は、本発明の実施の形態１に係る情報処理システムの一例を表したシステム構成図である。図１に示す情報処理システムは、操作装置１と、表示装置２と、処理装置３とを備える。この情報処理システムは、処理装置３に予めインストールされているアプリケーションプログラムを処理装置３が実行する際に、ユーザに、操作装置１におけるタッチパネル１０１の操作を、あたかも、表示装置２の表示画面２０上で行っているように思わせるシステムである。

換言すれば、この情報処理システムは、表示装置２の表示画面２０を仮想タッチパネルとしてユーザに提供するシステムである。

操作装置１は、タッチパネル１０１のほかに、後述する各種操作キー１１Ａ〜１１Ｃを備える。操作装置１は、例えば、プラットフォーム１の１つであるアンドロイド（登録商標）に従った処理を行う。

表示装置２は、先述のように表示画面２０を有する。処理装置３は、操作装置１との間で、例えば、近距離無線通信規格の１つであるBluetooth（登録商標）に従って無線通信を行い、所定の情報を送受する。

また、処理装置３は、表示装置２に、ケーブルＣを介して接続されており、表示装置２に、所定の画像情報を提供する。なお、処理装置３と表示装置２とは、無線通信を行うことができるようにしてもよい。また、本実施の形態１では、操作装置１と処理装置３とが別個に設けられているが、この例には限られず、操作装置１及び処理装置３の各々の機能を有する装置単体としてもよい。

＜操作装置１の構成＞
図２は、本発明の実施の形態１に係る操作装置の機能ブロックの一例を示したブロック図である。

操作装置１は、図２に示すように、ＳＯＣ（System-On-a-Chip）３００と、タッチパネル１０１と、第１操作キー１１Ａと、第２操作キー１１Ｂと、第３操作キー１１Ｃと、マイクＭＩ及びスピーカＳＰを制御するオーディオ制御回路１０６と、無線通信インタフェース１１１と、アンテナ１１２と、外部電源コネクタ１１３と、電源制御回路１１４と、充電池１１５と、加速度センサＳと、振動部１１７と、発光部１１８と、を備える。

ＳＯＣ３００では、以下の構成要素が内部バス１０３に接続されている。ＳＯＣ３００は、タッチパネルインタフェース１０２と、操作キーインタフェース１０４と、オーディオインタフェース１０５と、メモリ１０７と、ＣＰＵ（Central Processing Unit；表示制御部）１０８と、クロック出力部１０９と、通信インタフェース（通信部、出力部）１１０と、特定操作テーブル１１６Ａを有する座標情報生成部１１６と、を備える。

タッチパネルインタフェース１０２は、タッチパネル１０１をＳＯＣ３００に接続するためのインタフェースである。

操作キーインタフェース１０４は、操作キー１１Ａ〜１１ＣをＳＯＣ３００に接続するためのインタフェースである。操作キーインタフェース１０４は、操作キー１１Ａ〜１１Ｃが操作されたことを表す情報（例えば信号のオン期間を表す情報）を受け付け、当該情報をＣＰＵ１０８に出力する。オーディオインタフェース１０５は、オーディオ制御回路１０６をＳＯＣ３００に接続するためのインタフェースである。

メモリ１０７は、この操作装置１が動作するために必要な各種の制御プログラムが格納されている記憶媒体である。メモリ１０７には、制御プログラムの１つとして、先述のアンドロイド（登録商標）を構成するプログラムが予めインストールされている。

ＣＰＵ１０８は、メモリ１０７に格納された制御プログラム、例えば、アンドロイド（登録商標）によって作動することにより制御部としての機能を果たす。クロック出力部１０９は、ＣＰＵ１０８が動作するためのクロック信号を出力するユニットである。

通信インタフェース１１０は、無線通信インタフェース１１１をＳＯＣ３００に接続するためのインタフェースである。

座標情報生成部１１６は、第１座標生成モード（第１座標基準の一例）、第２座標生成モード（第２座標基準の一例）、及び、第３座標生成モード（第３座標基準の一例）を有している。なお、これらの座標生成モードの詳細については後述する。また、座標情報生成部１１６は、特定操作テーブル１１６Ａと、受付部１１６Ｂとを備える。

図３は、特定操作テーブル１１６Ａの構成の一例を示した図である。特定操作テーブル１１６Ａには、特定操作１１６０と、特定操作１１６０に対応した操作手法１１６１とが記憶されている。

本実施の形態１では、特定操作１１６０として、第１特定操作１１６０Ａ、第２特定操作１１６０Ｂ、及び、第３特定操作１１６０Ｃが記憶されている。

そして、第１特定操作１１６０Ａに対応して、（１）“操作キー１１Ａの押し操作”、（２）“タッチパネル１０１における一定時間の継続したタッチ操作”、（３）“タッチパネル１０１上においてユーザの指を同一位置で静止させる操作を継続した後、一定時間以内のタッチ解除後に、再度タッチパネル１０１をタッチする一連の操作”、及び、（４）“第１座標生成モードへの遷移の要因となったタッチとは別の指によるタッチ操作”が記憶されている。

また、第２特定操作１１６０Ｂに対応して、（５）“タッチパネル１０１の同一位置における一定時間の継続したタッチ操作”、及び、（６）“タッチパネル１０１におけるタッチ位置の変化を遅くする操作”が記憶されている。

さらに、第３特定操作１１６０Ｃに対応して、（７）“操作キー１１Ｂの押し操作”、（８）“タッチパネル１０１の同一位置における一定時間の継続したタッチ操作”、（９）“タッチパネル１０１における一定時間以内のタッチ解除後に再度タッチする一連の操作”、及び（１０）“第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指によるタッチ操作”が記憶されている。

受付部１１６Ｂは、後述する、第１特定操作、第２特定操作、及び第３特定操作を受け付ける。タッチパネル１０１は、タッチパネル面を有し、当該タッチパネル面にタッチされた平面状の座標位置を検出する。

操作キー１１Ａは後述する第１特定操作を行うための操作キーである。第２キー１１Ｂは後述する第２特定操作を行うための操作キーである。第３操作キー１１Ｃは後述する選択操作を行うためのキーである。なお、本実施の形態では、第１キー１１Ａ〜第３キー１１Ｃの各々に、専用の機能を割り当てているが、本発明ではこの例には限られず、第１キー１１Ａ〜第３キーの各々に、ＣＰＵ１０８が実行している制御プログラムに応じた機能を割り当ててもよい。

オーディオ制御回路１０６は、マイクＭＩ及びスピーカＳＰを通じた、相手先（例えば、携帯電話機）との通話を行うための回路である。つまり、操作装置１は、携帯電話機としても機能する。

無線通信インタフェース１１１は、アンテナ１１２を通じて操作装置１との間で無線通信を行うためのインタフェースである。

外部電源コネクタ１１３は、充電器（図示せず）からの電源供給を受ける。電源制御回路１１４は、充電器から充電池１１５への充電を制御する。

加速度センサＳは、例えば、３軸加速度センサからなり、操作装置１の姿勢を表す姿勢情報をＣＰＵ１０８に出力する。

振動部１１７は、例えば、モーターやピエゾ素子で構成されており、所定のタイミングで振動する。発光部１１８は、例えば、発光ダイオードで構成されており、所定のタイミングで発光する。なお、所定のタイミングの例については後述する。

＜処理装置３の構成＞
表示装置２には、処理装置３が提供した画像が表示される。そのために、処理装置３は、以下の構成とされている。図４は、処理装置３の機能構成の一例を示したブロック図である。

処理装置３は、無線情報送受信部（通信部）３１と、座標情報変換部３２と、ＣＰＵ３３と、インタフェース３４と、メモリ３５とを備える。

無線情報送受信部３１は、操作装置１との間で、各種の情報を、無線を通じて送受するユニットである。なお、情報の種類は後述する。

座標情報変換部３２は、操作装置１によって生成された座標情報を表示装置２における座標情報に変換するユニットである。そのために、座標情報変換部３２には、操作装置１による座標情報と、表示装置２における座標情報との対応付けが記憶されている。ＣＰＵ３３は、メモリ３５に記憶された制御プログラム、例えば、アンドロイド（登録商標）に従って、この処理装置３を制御する。

インタフェース３４は、表示装置２を処理装置３に接続するためのインタフェースである。メモリ３５は、この処理装置３が動作するのに必要な各種の制御プログラムの他、対応モードテーブル３５Ａと、アプリケーションプログラム３５Ｂ〜３５Ｄと、２Ｄ操作モード情報３５Ｅと、３Ｄ操作モード情報３５Ｆと、マウス操作モード情報３５Ｇと、を備える。なお、２Ｄ操作モード情報３５Ｅと、３Ｄ操作モード情報３５Ｆと、マウス操作モード情報３５Ｇの詳細については後述する。

図５は、対応モードテーブルの構成の一例を示した図である。対応モードテーブル３５Ａには、アプリケーションプログラム３５０に対応する操作モード情報３５１が記憶されている。この例では、アプリケーションプログラム３５０Ａに対応して３Ｄ操作モード情報３５１Ａが記憶されており、アプリケーションプログラム３５０Ｂに対応して２Ｄ操作モード情報３５１Ｂが記憶されており、アプリケーションプログラム３５０Ｃに対応してマウス操作モード情報３５１Ｃが記憶されている。なお、３Ｄ操作モード情報３５１Ａ、２Ｄ操作モード情報３５１Ｂ、及び、マウス操作モード情報３５１Ｃの詳細については後述する。

＜表示装置２の構成＞
図６は、表示装置２の機能構成の一例を示したブロック図である。表示装置２は、表示画面２０と、表示制御部２１と、情報受付部２２と、インタフェース２３とを備える。表示画面２０は、例えば、液晶ディスプレイによって構成されている。表示制御部２１は、表示画面２０における画像の表示を制御する。例えば、表示制御部２１は、液晶分子の向きを制御することにより、表示画面２０に画像を表示する。情報受付部２２は、インタフェース２３を通じて処理装置３から送られてきた各種の情報を受け付ける。なお、情報の種類については後述する。

＜操作装置１の動作＞
図７は、操作装置１の座標情報生成部１１６の基本動作の一例について示したフローチャートである。まず、操作装置１の電源を立ち上げたときには座標情報生成部１１６は待機状態となる（ステップＳ１０）。

そして、タッチパネル１０１がタッチパネル面上のタッチ操作を検出した際には、（ステップＳ１１でＹＥＳ）、座標情報生成部１１６は、当該座標情報生成部１１６が、第１座標生成モード、第２座標生成モード、及び第３座標生成モードのいずれにあるかに応じて、以下の処理を行う。

すなわち、座標情報生成部１１６は、第１座標生成モードであるときには（ステップＳ１２でＹＥＳ）、タッチされた位置の二次元座標情報と、Ｚ１（但しＺ１は正の数値）以上の高さ情報とを生成し、処理装置３に出力する（ステップＳ１３）。

また、座標情報生成部１１６は、第２座標生成モードであるときには（ステップＳ１４でＹＥＳ）、タッチされた位置の二次元座標情報と、零値の高さ情報とを生成し、処理装置３に出力する（ステップＳ１５）。

さらに、座標情報生成部１１６は、第３座標生成モードであるときには（ステップＳ１４でＮＯ）、タッチされた位置の二次元座標情報と、Ｚ１未満の正の値の高さ情報とを生成し、処理装置３に出力する（ステップＳ１６）。

そして、ステップＳ１１で最初にタッチ操作が検出された後、そのタッチ位置が変化したとき、すなわち、タッチパネル面における平面座標情報が所定時間内に変化したときには（ステップＳ１７でＹＥＳ）、マウス操作モードとなる（ステップＳ１８）。

マウス操作モードでは、座標情報生成部１１６は、平面位置座標の変化量を表す変化量情報を生成し、その情報を処理装置３に出力する。

その後、一定時間の間、継続してタッチ操作が検出されない場合には（ステップＳ１９でＹＥＳ）、座標情報生成部１１６は待機状態に戻る（ステップＳ１０）。

次に、座標情報生成部１１６における座標生成モード遷移処理について説明する。図８は、座標情報生成部１１６における座標生成モード遷移処理について示したフローチャートである。

座標情報生成部１１６は、待機状態において（ステップＳ１００）、タッチパネル１０１のタッチパネル面が１本の指で操作されたときには（ステップＳ１０１でＹＥＳ）、第１座標生成モードとなる（ステップＳ１０２）。一方で、待機状態でタッチパネル面が２本の指で操作されたときには（ステップＳ１０１でＮＯ、ステップＳ１０３でＹＥＳ）、座標情報生成部１１６は、タッチされた位置のそれぞれの平面座標情報を生成して、処理装置４に出力する（ステップＳ１０４）。

その後、受付部１１６Ｂが第１特定操作１１６０Ａ（図３参照）を受け付けたとき（ステップＳ１０５でＹＥＳ）、座標情報生成部１１６は、第２座標生成モードに遷移する（ステップ１０６）。

このとき、第１特定操作１１６０Ａが、“第１座標生成モードへの遷移の要因となったタッチとは別の指によるタッチ操作”である場合には、別の指によるタッチ位置を示す平面座標を元に平面座標情報を生成し、処理装置３に出力する。このとき、処理装置３によって、タッチ位置を示す平面座標情報が表示装置２における座標情報に変換され、変換された座標情報で表される座標位置に、第２カーソル画像ＣＵ２（図１０参照）を表示させる。

一方、受付部１１６Ｂが第２特定操作１１８０Ｂ（図３参照）を受け付けたとき（ステップＳ１０９でＹＥＳ）、第３座標生成モードに遷移する（ステップＳ１１０）。

座標情報生成部１１６は、第２座標生成モードになってから（ステップＳ１０６）、第１座標生成モードへの遷移条件が成立した場合には（ステップＳ１０７でＹＥＳ）、第１座標生成モードに遷移する（ステップＳ１０２）。

ここにおいて、“第２座標生成モードから第１座標生成モードへの遷移条件”としては、例えば、“第１操作キー１１Ａの押し操作の中止”、“タッチパネル１０１の同一位置における一定時間の継続したタッチの後、当該タッチが解除されたこと”、“タッチパネル１０１上においてユーザの指を同一位置で静止させる操作を継続した後、さらに一定時間以内のタッチ解除後にタッチパネル１０１を再度タッチする一連の操作の後にタッチが解除されたこと”、及び、“第２座標生成モードへの遷移の要因となっている指先のタッチの解除”が挙げられる。

また、第２座標生成モードにおいて、第１座標生成モードへの遷移条件が成立しない場合には（ステップＳ１０７でＮＯ）、待機状態への遷移条件が成立すれば（ステップＳ１０８でＹＥＳ）、座標情報生成部１１６は待機状態へ戻る（ステップＳ１００）。

ここにおいて、“待機状態への遷移条件”としては、例えば、“タッチパネル１０１が一定時間の間継続してタッチされないこと”、及び、“第２座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除”が挙げられる。

座標情報生成部１１６は、第３座標生成モードに遷移してから（ステップＳ１１０）、受付部１１６Ｂが第３特定操作１１６０Ｃを受け付けたときには（ステップＳ１１１でＹＥＳ）、第２座標生成モードに遷移する（ステップＳ１１４）。

このとき、第３特定操作１１６０Ｃが、“第３座標生成モードへの遷移の要因となったタッチをしている指とは別の指によるタッチ操作”である場合には、別の指によるタッチ位置を示す平面座標を元に平面座標情報を生成し、処理装置３に出力する。このとき、処理装置３によって、タッチ位置を示す平面座標情報が表示装置２における座標情報に変換され、変換された座標情報で表される座標位置に、第３カーソル画像ＣＵ３（図１０参照）を表示させる。

一方で、座標情報生成部１１６は、第３座標生成モードに遷移してから（ステップＳ１１０）、第１座標生成モードへの遷移条件が成立したときには（ステップＳ１１２でＹＥＳ）、第１座標生成モードに遷移する（ステップＳ１０２）。

ここにおいて、“第３座標生成モードから第１座標生成モードへの遷移条件”としては、例えば、“タッチパネル１０１の同一位置における一定時間の継続したタッチを検出した後、タッチ位置が変化した場合、或いはタッチが解除された場合”、“第３座標生成モードの要因となっている指先の解除”、及び、“タッチパネル１０１上におけるタッチ位置の変化を早くする操作”が挙げられる。

そして、座標情報生成部１１６は、第３座標生成モードに遷移してから（ステップＳ１１０）、待機状態への遷移条件が成立したときには（ステップＳ１１３でＹＥＳ）、待機状態に戻る（ステップＳ１００）。

ここにおいて、“第３座標生成モードから待機状態への遷移条件”としては、例えば、“一定時間の間継続してタッチが検出されないこと”、及び、“第３座標生成モードの要因となっている指先のタッチの一定時間以上の解除”が挙げられる。

また、座標情報生成部１１６は、第２座標生成モードになってから（ステップＳ１１４）、第３座標生成モードへの遷移条件が成立したときには（ステップＳ１１５でＹＥＳ）、第３座標生成モードに遷移する（ステップＳ１１０）。

ここにおいて、“第２座標生成モードから第３座標生成モードへの遷移条件”としては、例えば、“第２操作キー１１Ｂの押し操作の停止”、“タッチパネル１０１の同一位置における一定時間の継続したタッチを検出した後、前記タッチが解除されたこと”、及び、“一定時間以内のタッチ解除後にタッチパネル１０１を再度タッチする操作がなされ、当該タッチが解除されたこと”が挙げられる。

そして、座標情報生成部１１６は、第２座標生成モードに遷移してから（ステップＳ１１４）、待機状態への遷移条件が成立したときには（ステップＳ１１６でＹＥＳ）、待機状態に戻る（ステップＳ１００）。

ここにおいて、“第２座標生成モードから待機状態への遷移条件”としては、“一定時間の間、継続してタッチパネル１０１がタッチされないこと”、及び“第２座標生成モードへの遷移の要因となっている指先のタッチの一定時間以上の解除”が挙げられる。

＜処理装置３の動作＞
図９は、処理装置３の基本動作の一例について示したフローチャートである。図１０は、表示装置２に表示されるカーソル画像の一例を示した図である。図１１は、マウスカーソル画像の一例を示した図である。

操作装置１からは、図７のフローチャートに示すように、処理装置３に対して、二次元座標情報と高さ情報（Ｚ）とを出力しているので、処理装置３のＣＰＵ３３は、これらを受けたとき（ステップＳ２００でＹＥＳ）、以下のように動作する。

すなわち、ＣＰＵ３３は、一定値Ｚ１（但しＺ１は正の値）以上の高さ情報を受信したときには（ステップＳ２０１でＹＥＳ）、受信した二次元座標情報を表示装置における座標情報に変換し（ステップＳ２０２）、変換した座標情報と第１カーソル画像情報とを表示装置２に出力して、変換した座標情報で表される座標位置に、第１カーソル画像ＣＵ１（図１０参照）を表示させる（ステップＳ２０３）。

また、ＣＰＵ３３は、零値の高さ情報を受信したときには（ステップＳ２０４でＹＥＳ）、受信した二次元座標情報を表示装置における座標情報に変換し（ステップＳ２０５）、変換した座標情報と第２カーソル画像情報とを表示装置２に出力して、変換した座標情報で表される座標位置に、第２カーソル画像ＣＵ２（図１０参照）を表示させる（ステップＳ２０６）。

さらに、ＣＰＵ３３は、０を超え一定値Ｚ１（但しＺ１は正の値）未満の高さ情報を受信したときには（ステップＳ２０７でＹＥＳ）、受信した二次元座標情報を表示装置における座標情報に変換し（ステップＳ２０８）、変換した座標情報と第３カーソル画像情報とを表示装置２に出力して、変換した座標情報で表される座標位置に、第３カーソル画像ＣＵ３（図１０参照）を表示させる（ステップＳ２０９）。

そして、操作装置１がマウス操作モードに遷移したときには（ステップＳ２１０）、操作装置１から前記変化量情報が処理装置３に出力されてくるので、処理装置３はこれを受信して、表示装置２にマウスカーソル画像情報を出力してマウスカーソル画像ＣＵ４（図１１参照）を表示させ、前記変化量情報に基づいてマウスカーソル画像ＣＵ４を表示画面２０で移動させる（ステップＳ２１１）。

なお、処理装置１のＣＰＵ３３は、第１カーソル画像ＣＵ１、第２カーソル画像ＣＵ２、及び、第３カーソル画像ＣＵ３の各々の形状及び色を異ならせている。図１０（ａ）に示す第１カーソル画像ＣＵ１は丸で表されており、図１０（ｂ）に示す第２カーソル画像ＣＵ２はハッチング入りの四角形で表されており、図１０（ｃ）に示す第３カーソル画像ＣＵ３は白抜きの四角形で表されている。

＜効果＞
以上に説明したように、本実施の形態１によると、タッチパネル１０１のタッチパネル面におけるタッチ位置の平面状の２次元座標と、タッチパネル面に対して垂直方向の高さ情報（Ｚ）とを、座標生成モードに応じて生成するので、ユーザは、指先をタッチパネル面から常に一定の高さを保持しながら動かす必要がない。

そのため、ユーザは、タッチパネル１０１と指との距離に惑わされることなく、ストレスなく、操作装置１を操作することができる。その結果、操作性の良い操作装置１を提供することができる。

また、表示装置２の表示画面２０には、操作装置１の座標生成モードに応じた複数種類のカーソル画像ＣＵ１〜ＣＵ３が表示されるので、操作装置１がどの座標生成モードにあるかが一目で判る。

また、タッチパネル１０１で指を移動させると、表示画面２０に表示されているマウスカーソル画像も移動するので、タッチパネル１０１における操作を、あたかも、表示装置２の表示画面２０で行っているようにユーザに思わせることができ、利便性に長ける。

（実施の形態２）
次に、本発明の実施の形態２について説明する。なお、操作装置１、表示装置２、及び処理装置３の基本構成は、先述の構成と同様である。ただし、タッチパネル１０１（図２参照）の機能が異なる。

実施の形態２では、タッチパネル１０１は、タッチパネル面における指先のタッチ位置を検出する機能と共に、タッチパネル面の上空に存在する指先のタッチパネル面に対する高さを検出する機能を有する。

すなわち、タッチパネル１０１は、タッチパネル面の上空の一定高さ以内の三次元空間内に指先が位置している場合には、指先の三次元位置情報を座標情報生成部１１６に出力する。

また、座標情報生成部１１６は、先述の、第１座標生成モード、第２座標生成モード、及び第３座標生成モードのほかに、３Ｄ操作モード（第１操作モードの一例）、及び、２Ｄ操作モード（第２操作モードの一例）を有している。

さらに、第３操作キー１７Ｃには、座標情報生成部１１６が、３Ｄ操作モードか２Ｄ操作モードのいずれになるかを選択する機能が割り当てられている。

さらに、処理装置３のＣＰＵ３３は、２Ｄ操作モード情報３５Ｅ、３Ｄ操作モード情報３５Ｆ、及びマウス操作モード３５Ｇのいずれかを操作装置１に出力する。

＜操作装置１の動作＞
図１２は、本発明の実施の形態２に係る操作装置１の座標情報生成部１１６の基本動作の一例を示したフローチャートである。図１３は、本発明の実施の形態２において表示装置２に表示されるカーソル画像の一例を示した図である。

座標情報生成部１１６は、処理装置３から３Ｄ操作モード情報３５Ｆ（図４参照）を受信したときには（ステップＳ３００でＹＥＳ）、３Ｄ操作モードとなる（ステップＳ３０１）。ここにおいて、処理装置３が３Ｄ操作モード情報３５Ｆを出力するのは、例えば、第３操作キー１１Ｃ（図２参照）が操作されて３Ｄ操作モードが選択されたとき、及び、処理装置４がアプリケーションプログラム３５０Ａ（図５参照）を実行しているとき、が挙げられる。

座標情報生成部１１６は、３Ｄ操作モードでは、タッチパネル上空の一定高さ以内の三次元空間内の指先の三次元位置情報を表す立体座標情報を生成し、処理装置４に出力する。

処理装置４は、立体座標情報を用いて、タッチパネル１０１上空の指先のＸ−Ｙ座標位置情報を認識し、表示装置２における座標情報に変換する。また、処理装置４は、立体座標位置を用いて、指先のタッチパネル１０１からの高さ情報を認識する。

処理装置４は、高さ情報に応じたカーソル画像とともに、変換済みの座標情報を表示装置２に出力する。これにより、表示装置２は、タッチパネル面におけるタッチ位置に対応する座標位置に、前記高さ情報に応じたカーソル画像を表示する。

なお、３Ｄ操作モードで表示するカーソル画像ＣＵ５は、図１３に示すように、２Ｄ操作モードにおけるカーソル画像ＣＵ１〜ＣＵ３とは異なる色及び形状であることが望ましい。

また、座標情報生成部１１６は、処理装置３から２Ｄ操作モード情報３５Ｅ（図４参照）を受信したとき、２Ｄ操作モードとなる（ステップＳ３０３）。ここにおいて、処理装置３が２Ｄ操作モード情報３５Ｅを出力するのは、例えば、第３操作キー１１Ｃ（図２参照）が操作されて２Ｄ操作モードが選択されたとき、及び、処理装置４がアプリケーションプログラム３５０Ｂ（図５参照）を実行しているとき、が挙げられる。

座標情報生成部１１６は、２Ｄ操作モードとなった場合には、タッチパネル１０１から出力された指先の三次元位置情報を利用せずに、タッチパネル１０１のタッチパネル面における指先の座標位置を表す平面座標情報を利用して、先述した実施の形態１と同様の処理を行う。

さらに、座標情報生成部１１６は、処理装置３からマウス操作モード情報３５Ｇ（図４参照）を受信したときには（ステップＳ３０４でＹＥＳ）、マウス操作モードとなる（ステップＳ３０５）。

＜効果＞
以上説明したように、本実施の形態２によると、三次元位置情報を検出可能なタッチパネル１０１を用いても、座標情報生成部１１６が２Ｄ操作モードの際には、座標情報生成部１１６は、実施の形態１と同様の動作を行う。

よって、三次元位置情報を検出可能なタッチパネルを使用しても、実施の形態１と同様の効果を奏することができる。

（その他の実施例等）
なお、処理装置３は、アプリケーションプログラム３５０Ａ〜３５０Ｃのいずれかの実行状態に応じて、３Ｄ操作モード情報３５１Ａ、２Ｄ操作モード情報３５１Ｂ、及び、マウス操作モード情報３５１Ｃのいずれかを操作装置１に出力してもよい。

また、座標情報生成部１１６は、加速度センサＳから出力された姿勢情報に基づいて、３Ｄ操作モード、２Ｄ操作モード、及びマウス操作モードのいずれかのモードになってもよい。なお、加速度センサＳが検出する姿勢としては、例えば、把持姿勢、据え置き姿勢、水平方向での把持姿勢、縦方向での把持姿勢などが挙げられる。

また、操作装置１は、所定のタイミングで、振動部１１７（図２参照）或いは発光部１１８（図２参照）を作動させてもよい。なお、作動タイミングとしては、例えば、第２座標生成モードに切り替わったタイミング、第２座標生成モード中のタイミング、３Ｄ操作モードにおけるタッチ面へのタッチ中のタイミング、マウス操作モード中のタッチ面にタッチ中のタイミング、操作モードが切り替わったタイミング、操作装置１と処理装置３間の通信が確立したタイミング等が挙げられる。

以上、本発明の実施の形態に係る情報処理システム及び操作装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、また、上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。

本発明は、例えば、スマートフォンと、当該スマートフォンとの間でプラットフォームに基づいた処理を行う処理装置を含む情報処理システムと、に適用できる。

１ 操作装置
２ 表示装置
１０ 液晶ディスプレイ
１１Ａ 第１操作キー
１１Ｂ 第２操作キー
１１Ｃ 第３操作キー
２０ 表示画面
３ 処理装置
３１ 無線情報送受信部
３２ 座標情報変換部
３５ メモリ
３５Ａ 対応モードテーブル
３５Ｂ〜３５Ｄ アプリケーションプログラム
３５Ｅ ２Ｄ操作モード情報
３５Ｆ ３Ｄ操作モード情報
３５Ｇ マウス操作モード情報
１０１ タッチパネル
１０８ ＣＰＵ
１１０ 通信インタフェース
１１６ 座標情報生成部
１１６Ａ 特定操作テーブル
１１６Ｂ 受付部
１１７ 振動部
１１８ 発光部
１１６０Ａ 第１特定操作
１１６０Ｂ 第２特定操作
１１６０Ｃ 第３特定操作
ＣＵ１ 第１カーソル画像
ＣＵ２ 第２カーソル画像
ＣＵ３ 第３カーソル画像
ＣＵ４ マウスカーソル画像
ＣＵ５ ３Ｄ操作モードにおけるカーソル画像
Ｓ 加速度センサ

Claims (31)

1. 対象と接触する座標位置を得るタッチパネルと、
   前記座標位置を表す平面座標情報と、前記タッチパネルからの高さ情報（Ｚ）と、を用いて、座標位置情報を生成する座標情報生成部と、を備え、
   前記座標情報生成部は、複数の座標生成モードのうち、ある座標生成モードから別の座標生成モードに遷移し、当該遷移した座標生成モードに応じて、前記平面座標情報と、高さの範囲が異なるいずれかの前記高さ情報と、を生成する
   操作装置。
2. 対象と接触する座標位置と、高さ情報と、を得るタッチパネルと、
   前記座標位置及び前記高さ情報を三次元座標情報として利用する第１操作モードと、前記座標位置を平面座標情報として利用する第２操作モードと、を有する座標情報生成部と、を備え、
   前記座標情報生成部は、
   （１）前記第１操作モードの場合、前記対象が前記タッチパネルから一定高さ以内に存在する場合に、前記対象の接触位置を三次元座標として生成し、
   （２）前記第２操作モードの場合、複数の座標生成モードのうち、ある座標生成モードから別の座標生成モードに遷移し、当該遷移した座標生成モードに応じて、前記平面座標情報と、前記タッチパネルからの高さの範囲が異なるいずれかの高さ情報（Ｚ）と、を生成する
   操作装置。
3. 前記座標情報生成部は、少なくとも第１座標生成モードと、第２座標生成モードとを有し、
   前記座標情報生成部は、
   前記第１座標生成モードでは前記高さ情報Ｚとして、正値を与え、
   前記第２座標生成モードでは前記高さ情報Ｚとして、零値を与える
   請求項１又は２に記載の操作装置。
4. 前記座標情報生成部は、少なくとも第１座標生成モード、第２座標生成モード、及び第３座標生成モードを有し、
   前記座標情報生成部は、
   前記第１座標生成モードでは前記高さ情報Ｚとして、一定値以上の正値を与え、
   前記第２座標生成モードでは前記高さ情報Ｚとして、零値を与え、
   前記第３座標生成モードでは前記高さ情報Ｚとして、一定値未満の正値を与える
   請求項１又は２に記載の操作装置。
5. 前記座標情報生成部は、前記対象の平面位置座標が予め設定された設定時間内に変化した場合に、前記平面位置座標の変化量を表す変化量情報を生成するマウス操作モードに遷移する
   請求項１〜４のいずれか１項に記載の操作装置。
6. 前記座標情報生成部は、
   前記タッチパネルが少なくとも２箇所の接触を検出した場合には、接触位置のそれぞれの座標を得る
   請求項１〜５のいずれか１項に記載の操作装置。
7. 前記座標情報生成部は、
   前記タッチパネルが少なくとも１箇所の接触を検出した場合には、前記第１座標生成モードに遷移する
   請求項３又は４に記載の操作装置。
8. 前記座標情報生成部は、
   前記第１座標生成モードで第１特定操作を受け付けた場合には、前記第２座標生成モードに遷移する
   請求項４に記載の操作装置。
9. 前記座標情報生成部は、
   前記第１座標生成モードで第２特定操作を受け付けた場合には、前記第３座標生成モードに遷移し、前記第３座標生成モードで第３特定操作を受け付けた場合には、前記第２座標生成モードに遷移する
   請求項４に記載の操作装置。
10. 前記第１座標生成モード、前記第２座標生成モード、及び前記第３座標生成モードのいずかにおいて、前記タッチパネルにおいて一定時間継続して前記対象との接触を検出しない場合には、待機状態となる
    請求項４、８、及び９のいずれか１項に記載の操作装置。
11. 前記座標情報生成部を前記第１座標生成モードから前記第２座標生成モードに遷移させることができる第１操作キーを備え、
    前記座標情報生成部は、第１特定操作として前記第１操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、前記第１操作キーの操作を受け付けなくなった場合には、前記第１座標生成モードに遷移する
    請求項３、４、及び８のいずれか１項に記載の操作装置。
12. 前記座標情報生成部は、
    前記第１座標生成モードにおいて、第１特定操作として、前記タッチパネルが、同一位置における一定時間継続した接触を検出した場合には、前記第２座標生成モードに遷移し、前記接触が解除された場合には、前記第１座標生成モードに遷移する
    請求項３、４、及び８のいずれか１項に記載の操作装置。
13. 第１特定操作は、前記タッチパネル上において前記対象を同一位置で静止させる操作を継続した後、一定時間以内の接触解除後に前記タッチパネルと再度接触する操作であり、
    前記座標情報生成部は、前記第１座標生成モードで前記第１特定操作を受け付けたときには、前記第２座標生成モードに遷移し、前記接触が解除された場合には、前記第１座標生成モードに遷移する
    請求項３、４、及び８のいずれか１項に記載の操作装置。
14. 第１特定操作は、前記第１座標生成モードへの遷移の要因となった接触位置とは異なる前記タッチパネルの位置への接触操作であり、
    前記座標情報生成部は、
    前記第２座標生成モードへの遷移の要因となった接触位置とは異なる接触位置を示す平面座標を元に前記平面座標情報を生成し、
    前記第２座標生成モードへの遷移の要因となっている接触の解除によって、前記第１座標生成モードに遷移し、
    前記第２座標生成モードへの遷移の要因となっている接触の一定時間以上の解除によって、待機状態に遷移する
    請求項３、４、及び８のいずれか１項に記載の操作装置。
15. 前記座標情報生成部は、
    前記第１座標生成モードにおいて、第２特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間継続した接触を検出した場合には、前記第３座標生成モードに遷移し、
    前記接触位置が変化した場合、或いは前記接触が解除された場合には、前記第１座標生成モードに遷移する
    請求項４又は９に記載の操作装置。
16. 前記座標情報生成部は、前記第１座標生成モードにおいて、第２特定操作として、前記タッチパネル上における接触位置の変化を遅くするにつれて、前記第３座標生成モードに遷移し、前記接触位置の変化を速くするにつれて、前記第１座標生成モードに遷移する
    請求項４又は９に記載の操作装置。
17. 前記座標情報生成部を前記第３座標生成モードから前記第２座標生成モードに遷移させることができる第２操作キーを備え、
    前記座標情報生成部は、
    第３特定操作として前記第２操作キーが操作されたことを受け付けた場合には、前記第２座標生成モードに遷移し、前記第２座標生成モードにおいて前記第２操作キーの操作を受け付けない場合には、前記第３座標生成モードに遷移する
    請求項４又は９に記載の操作装置。
18. 前記座標情報生成部は、さらに
    前記第３座標生成モードにおいて、第３特定操作として、前記タッチパネルが、当該タッチパネルの同一位置における一定時間継続した接触を検出した場合には、前記第２座標生成モードに遷移し、前記第２座標生成モードにおいて前記接触が解除された場合には、前記第３座標生成モードに遷移する
    請求項４又は９に記載の操作装置。
19. 第３特定操作は、一定時間以内の接触解除後に前記タッチパネルを再度接触する操作であり、
    前記座標情報生成部は、前記第３座標生成モードで前記第３特定操作を受け付けたときには、前記第２座標生成モードに遷移し、前記第２座標生成モードにおいて前記接触が解除された場合には、前記第３座標生成モードに遷移する
    請求項４又は９に記載の操作装置。
20. 第３特定操作は、前記第１座標生成モード及び前記第３座標生成モードへの遷移の要因となった接触位置とは異なる前記タッチパネルの位置への接触操作であり、
    前記座標情報生成部は、
    前記第３座標生成モードへの遷移の要因となった接触位置を示す平面座標を元に前記平面座標情報を生成し、
    前記第３座標生成モードの要因となっている接触の解除によって、前記第１座標生成モードに遷移し、
    前記第３座標生成モードの要因となっている接触の一定時間以上の解除によって、待機状態に遷移する
    請求項４又は９に記載の操作装置。
21. 請求項１に記載の操作装置と、
    表示装置と、
    前記操作装置から出力された前記座標位置情報を前記表示装置における座標位置情報に変換し、変換した座標位置情報で表される座標位置にカーソル画像を表示させる処理装置と、
    前記操作装置と前記処理装置との間で少なくとも前記座標位置情報を通信させるための通信部と、を備え、
    前記処理装置は、前記操作装置から前記平面座標情報及び前記高さ情報を受信した際に、前記高さ情報が設定値以上の正値の座標値を受信した際に第１カーソルを表示させ、前記高さ情報が零値を受信した際に第２カーソルを表示させ、前記高さ情報が設定値未満の正値の座標値を受信した際に第３カーソルを表示させる
    情報処理装置。
22. 前記第１カーソルの画像、前記第２カーソルの画像、及び前記第３カーソルの画像の各々は、形状及び色の少なくとも一方が異なっている
    請求項２１に記載の情報処理装置。
23. 前記処理装置は、
    前記座標情報生成部がマウス操作モードを実行している際には、前記表示装置に、前記カーソル画像を表示させる
    請求項２１又は２２に記載の情報処理装置。
24. 前記処理装置は、前記座標情報生成部が、第１操作モードの際と、第２操作モードの際との間では、前記カーソル画像の形状及び色を異ならせる
    請求項２１〜２３のいずれか１項に記載の情報処理装置。
25. 前記処理装置は、第１操作モード、第２操作モード、及びマウス操作モードのいずれかを表す操作モード情報を保持しており、
    前記通信部を経由して前記処理装置が保持している前記操作モード情報を前記操作装置に提供し、
    前記座標情報生成部は、提供を受けた前記操作モード情報に従って、前記第１操作モード、前記第２操作モード、及び前記マウス操作モードのいずれかを実行する
    請求項２１〜２４のいずれか１項に記載の情報処理装置。
26. 前記処理装置には、前記操作装置による操作を受け付けるための複数のプログラムが予めインストールされており、
    前記処理装置は、前記各プログラムの実行中に、当該プログラムの実行状態、または実行されている個別のプログラムに応じて、前記第１操作モード、前記第２操作モード、及び前記マウス操作モードのいずれかを表す前記操作モード情報を前記座標情報生成部に送信する
    請求項２５に記載の情報処理装置。
27. 前記処理装置は、
    前記座標情報生成部に第１操作モード、第２操作モード、及びマウス操作モードのいずれの操作モードになるかを選択するための選択キーを備える
    請求項２１〜２６のいずれか１項に記載の情報処理装置。
28. 前記座標情報生成部は、前記操作装置の姿勢を表わす姿勢情報によって、第１操作モード、第２操作モード、及びマウス操作モードのいずれか１つの操作モードを実行する
    請求項２１〜２７のいずれか１項に記載の情報処理装置。
29. 前記操作装置の姿勢を検出し、検出した姿勢を表す前記姿勢情報を出力する加速度センサを備える
    請求項２８に記載の情報処理装置。
30. 前記操作装置は、振動部をさらに備える
    請求項２１〜２９のいずれか１項に記載の情報処理装置。
31. 前記操作装置は、発光部をさらに備える
    請求項２１〜３０のいずれか１項に記載の情報処理装置。

Images