JP5926008B2 - 電子機器、制御方法および制御プログラム - Google Patents

Description

本発明は、電子機器、制御方法および制御プログラムに関する。

近年、仮想現実技術や拡張現実技術の進歩により、人々は様々な事象を擬似的に体験できるようになってきている。例えば、特許文献１では、楽器の演奏を擬似的に体験することができる技術が開示されている。

特開２０１１−０１１００８号公報

しかしながら、楽器を演奏するに際しては、鍵盤をたたく強度等の操作の強度が重要であるところ、特許文献１に記載されている技術は、タッチパネル面上に接触することによって擬似体験を実現するものであり、実際に楽器を演奏する感覚を十分に与えることは難しい。

本発明は、かかる事情に鑑みてなされたものであって、操作者に、よりリアルな操作感覚を与えることができる電子機器、制御方法および制御プログラムを提供することを目的とする。

本発明に係る電子機器は、オブジェクトを表示する表示部と、前記オブジェクトに関連付けられた動作を実行する動作部と、前記オブジェクトに対する物体の変位を検出する検出部と、前記検出部が検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、該判定された強度に応じて、前記動作部が実行する動作の内容を変化させる制御部と、を備える。

また、前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触するまでに要した変位時間に基づいて前記操作の強度を判定することが好ましい。

また、前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触するまでに要した時間から換算される変位速度に基づいて前記操作の強度を判定することが好ましい。

また、前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触した後に所定の第２位置まで移動するのに要した変位時間に基づいて前記操作の強度を判定することが好ましい。
また、前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触した後に所定の第２位置まで移動するのに要した時間から換算される変位速度に基づいて前記操作の強度を判定することが好ましい。

また、前記検出部は、所定の空間内で物体を検出可能であり、前記所定の第１位置と前記所定の第２位置は、前記所定の空間内に位置することが好ましい。

また、前記検出部は、前記表示部に重畳された静電容量式の検出器を有し、前記制御部は、前記検出部により前記オブジェクトに対する物体を検出してから、前記物体が前記表示部に表示されるオブジェクトに接触するまで前記検出器の感度を高めさせることが好ましい。

また、前記表示部は、所定の空間内においてオブジェクトを立体的に表示し、前記検出部は、前記所定の空間内における物体の変位を検出することが好ましい。

また、本発明に係る制御方法は、表示部を有する電子機器に、オブジェクトを表示するステップと、前記オブジェクトに関連付けられた動作を実行するステップと、前記オブジェクトに対する物体の変位を検出するステップと、前記検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、該判定された強度に応じて、前記動作の内容を変化させるステップと、を含む。

また、本発明に係る制御プログラムは、表示部を有する電子機器に、オブジェクトを表示するステップと、前記オブジェクトに関連付けられた動作を実行するステップと、前記オブジェクトに対する物体の変位を検出するステップと、前記検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、該判定された強度に応じて、前記動作の内容を変化させるステップと、を実行させる。

本発明は、オブジェクトに対する操作の強度に基づいて、操作者に、よりリアルな操作感覚を与えることができる電子機器、制御方法および制御プログラムを提供することができる。

図１は、本実施例に係る携帯電話端末（電子機器）の外観を示す正面図である。 図２は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。 図３は、オブジェクトに対する操作および強度の検出について説明するための図である。 図４は、表示部に表示されるオブジェクトの例を示す図である。 図５は、操作の強度の調整処理の処理手順を示すフローチャートである。 図６は、操作の強度の段階を分けて調整処理を行う例を示す図である。 図７は、３次元オブジェクトに対する操作の検出について説明するための図である。

以下、本発明の各実施の形態について、図面を参照して説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわいる均等の範囲のものが含まれる。以下においては、電子機器の一例として携帯電話端末を想定して説明する。しかしながら、本発明の電子機器は、携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
（実施例）
まず、図１および図２を参照しながら、本実施例に係る携帯電話端末（電子機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、形態電話端末１の機能的な構成を示すブロック図である。

図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、タイマー２８と、音声処理部３０と、タッチパネル３２と撮像部４０とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２および撮像部４０は、携帯電話端末１の正面に一部が露出する。

操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。

マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。

通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code Division Multiple Access）方式などによる無線信
号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。タイマー２８は、基準クロック等に基づいて経過時間を検出する。

タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。

表示部３２ａは、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。本実施例において、タッチセンサ３２ｂは、静電容量式のセンサであるものとする。

なお、タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作以外に、タッチパネル３２の表面より離れた所定の空間内で行われる入力操作も検出することができる。つまり、物体がタッチパネル３２に接触している場合に加え、物体が非接触に場合でも入力操作を検出することが可能である。これは、タッチセンサ３２ｂの感度を調整することにより、非接触の状態でも指のＸ軸方向、Ｙ軸方向およびＺ軸方向の動きを検出することを可能にしている。

撮像部４０は、撮像センサによって画像を電子的に取得する。本実施例において、撮像部４０は、タッチパネル３２が設けられた面の対角に配置された撮像部４０ａおよび撮像部４０ｂとから構成されるが、撮像部４０は、必ずしも複数の撮像手段を必要としない。なお、撮像部４０は、タッチパネル３２上のどの位置に指が置かれていてもその指を撮影することができるように画角や配置が設定されていることが好ましい。また。撮像部４０は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。

制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。

記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。

制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２でのオブジェクトの表示を制御する機能や、タッチパネル３２によって表示されるオブジェクトに対する利用者の操作の強度を検出する機能が含まれる。

次に、図３、図４を参照しながら、オブジェクトに対する操作の強度の検出について説明する。図３は、オブジェクトに対する操作および強度の検出について説明するための図である。図４は、表示部に表示されるオブジェクトの例を示す図であり、オブジェクトとしてピアノの鍵盤が表示されている。

図３に示すように、タッチパネル３２が、オブジェクトＯＢ１を表示しているものとする。以下、オブジェクトＯＢ１は、一例として図４に示すようなピアノの鍵盤を想定して記載する。

図３では、利用者は、指Ｆ１を地点Ａ（第１位置）から表示部３２ａに表示されたオブジェクトまで振り下ろした後、元の位置まで戻す操作を行っている。

このような操作中、制御部２２は検出部により検出される変位を監視している。以下、検出部の一例としてタッチセンサ３２ｂを用いて説明し、検出部により検出される変位を静電容量が変化した値として説明する。

制御部２２はタッチセンサ３２ｂにより検出される静電容量の変化を監視している。この静電容量の変化により、所定の静電容量を検出した際に、指Ｆ１が地点Ａに到達（通過）したと見なす。さらに、地点Ａを通過した際に検出される所定の静電容量とは異なる所定の静電容量を満たした際に、指Ｆ１がタッチパネルに接したと判断し、タッチセンサ３２ｂにより指Ｆ１がタッチパネル上のどの位置と接触しているのかを判断する。この時、指Ｆ１が接触している位置にオブジェクトが表示されている場合は、該オブジェクトに接したと見なす。

そして、地点Ａからオブジェクトに接触するまでに要した変位時間に基づいて、オブジェクトに対する操作の強弱を変化させる。図４に示すようにオブジェクトがピアノの鍵盤の場合、接触したピアノの鍵盤の音を奏でると共に、強弱がつけられるようになる。なお、ここでいう変位時間とは、検出部であるタッチセンサ３２ｂが、指Ｆ１が地点Ａからオブジェクトに接触するまでに検出した変位（静電容量の変化）に基づいて求められた時間のことを指す。以下、この変位時間を時間と称して説明する。

指Ｆ１で鍵盤を操作する場合、鍵盤を強く押すほど、操作に要する時間は短くなると考えられる。したがって、地点Ａを通過してから、オブジェクトである鍵盤に接触するまでに要した時間が短い場合は鍵盤が強く押されたと判断し、長い場合は鍵盤が軽く押されたと判断することができる。

この判断結果に基づいて、当該強度が高いほどピアノの音を大きくするような動作内容とする。この場合、オブジェクト自体の表示を変化させるわけではないが、オブジェクトと関連付けられた物理量である音の大きさを変えたり、音の出し方を変えたりすることができる。その他、音以外の物理量として、光の強度、明滅、そのテンポ、周期等を変化させてもよい。つまり、オブジェクトに関連づけられた動作を実行する動作部は、音を発するスピーカー（図面なし）、または、物体である指Ｆ１に直接作用を及ばすことのできるタッチパネル３２上である。

次に、図５を参照しながら、操作の強度の調整処理の処理手順について説明する。図５は、操作の強度の調整処理の処理手順を示すフローチャートである。図５に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、図５に示す処理手順は、利用者がオブジェクトに対する操作を初めて行う前のタイミングや、その後の定期的なタイミング等に実行される。

図５に示すように、制御部２２は、まず、ステップＳ１１として、タッチパネル３２にオブジェクトを表示させる。続いて、制御部２２は、ステップＳ１２として、オブジェクトに対する操作を指示するメッセージをタッチパネル３２に表示させる。そして、制御部２２は、ステップＳ１３として、検出部であるタッチセンサ３２ｂを起動させる。

なお、タッチセンサ３２ｂを起動させる時間は、予め定められた長さの期間であってもよいし、タッチセンサ３２ｂが休止モードから回復してから、再度、休止モードに以降するまでの期間であってもよい。なお、タッチセンサ３２ｂの感度であるが、休止モードからタッチセンサ３２ｂが回復し、指Ｆ１がタッチパネル３２に接触するまでの間は上げることが望ましい。これにより、指Ｆ１がタッチパネル３２に対して非接触の場合でも、指Ｆ１を正確に検出することができる。そして、指Ｆ１がタッチパネル３２に接触したことを検出すると、タッチセンサ３２ｂの感度を下げ、通常の状態に戻すことが望ましい。これにより、電力消費を最小限に留めることができる。

次に、制御部２２は、ステップＳ１４として、物体である指Ｆ１が第１位置である地点Ａを通過したか否かを判断する。指Ｆ１が地点Ａを通過していない場合（Ｎｏ）は、地点Ａを通過するまで、ステップＳ１４を繰り返す。そして、指Ｆ１が地点Ａを通過した場合（Ｙｅｓ）には、処理はステップＳ１５に進む。なお、指Ｆ１が地点Ａを通過したのか否かの判断はタッチセンサ３２ｂにより検出される静電容量が所定の値を満たしたか否かで判断を行う。

続いて、制御部２２は、ステップＳ１５として、タイマー２８を起動させる。そして、ステップＳ１６にて指Ｆ１がオブジェクトに接触したか否かの判断をする。物体がオブジェクトに接触していない場合（Ｎｏ）は、引き続き、タイマー２８にて時間を計り、指Ｆ１がオブジェクトに接触したかの判定を行い続ける。そして、指Ｆ１がオブジェクトに接触した場合（Ｙｅｓ）には、処理はステップＳ１７に進む。なお、指Ｆ１がオブジェクトに接触したか否かの判断はタッチセンサ３２ｂにより検出される静電容量が所定の値を満たしたか否かで判断を行う。なお、このオブジェクトに接触した際の判断基準となる静電容量の値は、地点Ａを通過した際の判断基準となる静電容量よりも大きい値である。

制御部２２は、ステップＳ１７として、指Ｆ１が地点Ａを通過してからタッチパネル３２に表示されるオブジェクトに接触するまでに要した時間を算出する。

そして、制御部２２はステップＳ１８として、ステップＳ１７において算出した時間に基づいて操作の強度を調整する。なお、要した時間が短いほど、操作強度を高く設定する。また、所定の第１位置からオブジェクトに接触するまで移動するのに要した時間に換えて、所定の物体が移動を開始してから停止するまでの時間としてもよい。

このように、操作の強度の調整処理を実施することにより、操作の強度の判定を利用者の特性に合わせることができる。なお、図６に示すように、強度の段階を分けて調整処理を行ってもよい。図６に示す例では、タッチパネル３２に３つの領域を表示し、左側の領域を強くたたかせ、中央の領域を中程度の強さでたたかせ、右側の領域を弱くたたかせた結果に基づいて操作の強度の調整が行われる。強度の段階を分けて調整処理を行うことにより、操作の強度の調整処理をより精密に行うことができる。

上述してきたように、本実施例では、操作に要した時間や操作に要した時間から換算される速度に基づいて利用者が行う操作の強度を検出することとしたので、利用者が行う操作の強度を適確に検出することができる。

なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、オブジェクトに対して指で操作を行うこととしたが、オブジェクトに対してスタイラス等の道具を使って操作することとしてもよい。

また、上記の実施例では、指Ｆ１の動きをタッチセンサ３２ｂが検出する静電容量に基づいて検出することとしたが、撮像部４０が撮像した画像に基づいて検出してもよい。

なお、上述では、所定の物体が所定の地点からオブジェクトに接触するまでに要した時間に基づいて操作の強度を判定するようにしたが、これに限られない。たとえば所定の物体が、所定の地点からオブジェクトに接触するまでの距離と要した時間に基づいて変位速度を換算し操作の強度を判定してもよい。そして変位速度が速いほど、操作強度を高く設定するとよい。なお、ここでいう変位速度とは、検出部であるタッチセンサ３２ｂが、指Ｆ１が所定の地点からオブジェクトに接触するまでに検出した変位（静電容量の変化）に基づいて求められた時間を換算して求めた速度のことを指す。

あるいは、所定の物体が移動を開始してからオブジェクトに接触するまでの変位距離に基づいて操作の強度を判定してもよい。そして、変位距離が長いほど、操作強度を高く設定するとよい。この変位距離は、タッチセンサ３２ｂが検出する静電容量を換算して求めることができる。

あるいは、所定の物体が、上記所定の第１位置から上記オブジェクトに接触し、さらに所定の第２位置まで移動するのに要した変位時間に基づいて操作の強度を判定してもよい。そして、要した変位時間が短いほど、操作強度を高く設定するとよい。この変位時間は、タッチセンサ３２ｂが検出する静電容量を換算して求めることができる。

あるいは、所定の物体が、上記所定の第１位置から上記オブジェクトに接触し、さらに所定の第２位置まで移動するのに要した時間に基づいて変位速度を換算し、操作の強度を判定してもよい。そして、要した変位速度が速いほど、操作強度を高く設定するとよい。この変位速度は、タッチセンサ３２ｂが検出する静電容量を換算して求めることができる。

あるいは、所定の物体が移動を開始してからオブジェクトに接触し、該オブジェクトから離れて静止した位置までの変位距離に基づいて操作の強度を判定してもよい。そして、変位距離が長いほど、操作強度を高く設定するとよい。この変位距離は、タッチセンサ３２ｂが検出する静電容量を換算して求めることができる。

なお、上述した所定の第１位置と所定の第２位置を、物体が移動を開始した位置を所定の第１位置に、物体が移動を開始してからオブジェクトに接触し、該オブジェクトから離れて静止した位置を所定の第２位置と置き換えてもよい。

また、上記実施例では、所定の物体の移動により生じる各物理量の変位を検出するためにタッチセンサ３２を用いた例を示したが、これに限られない。たとえばタッチセンサ３２に変えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また、物体が非接触である場合における面方向の移動を検出できる赤外線センサや近接センサ等を、所定の物体の移動方向とほぼ水平に配置して、これらを用いてもよい。なお、所定の物体にセンサ等を配置することなく、上記変位の検出ができるとよく、その場合、指にわざわざ加速度センサを取り付けたり、加速度を備えた電子機器そのものを移動させたりする必要がないので、コスト低減が図れる。

また、判定された強度の強さに応じて動作内容を変化させる例として、上記実施例では、楽器のピアノを例に示したが、これに限られない。たとえば、指等を空間内で移動させたときの強度に対応付けられており、強弱のレベル調整が行えるものであればなんでもよい。強度の強さに応じて、オブジェクトを移動させる、あるいはその際の移動の速さを変える、オブジェクトを変形させる、あるいは変形させる量を変える等、オブジェクト自体についてのなんらかの変化があるようにしてもよい。

また、上記実施例においては、タッチパネル３２に２次元オブジェクトを表示する例を示したが、これに限られない。たとえば、タッチパネル３２は、３次元オブジェクトを表示できるものとしてもよい。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。図７に示すように、タッチパネル３２が、オブジェクトＯＢ２を表示しているものとする。オブジェクトＯＢ２は、利用者には空間中にタッチパネル３２から浮き上がって見えるため、３次元オブジェクトＯＢ２に対する操作は、タッチパネル３２から離れた位置で行われる。図７では、利用者は、指Ｆ１を３次元オブジェクトまで振り下ろした後、元の位置まで戻す操作を行っている。この場合、上記実施例におけるオブジェクトに接触した場合と同様に判断される状態は、３次元オブジェクトに接触した場合や、３次元オブジェクト内の所定の位置に到達した場合とする。なお、３次元オブジェクトに関連付けられた動作を実行する動作部は、音を発するスピーカー、または、物体に直接作用を及ぼすタッチパネル３２上および３次元オブジェクトが表示される空間である。

なお、上記実施例において、変位に基づくパラメータとして時間、速度、距離を例に示したが、これに限られない。検出部が検出する変位から換算できるパラメータであればよい。

上述してきたように、本実施例に係る携帯電話機器１（電子機器）の構成によれば、利用者がオブジェクトをどの程度の強度で操作したかに基づいて、動作の内容を変更するため、よりリアルで直感的な操作感覚を与えることができる。

１ 携帯電話端末（電子機器）
１３ 操作部
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２６ 通信部
２８ タイマー
３０ 音声処理部
３２ タッチパネル
３２ａ 表示部
３２ｂ タッチパネル

Claims (7)

1. オブジェクトを表示する表示部と、
   前記オブジェクトに関連付けられた動作を実行する動作部と、
   所定の空間内に位置する実際の物体の前記オブジェクトに対する変位を検出する検出部と、
   前記検出部が検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、該判定された強度に応じて、前記動作部が実行する動作の内容を変化させる制御部と、
   を備え、
   前記表示部は、視差を利用して立体的に浮き上がって見えるように前記オブジェクトを表示し、
   前記オブジェクトに対する操作は、前記所定の空間内の位置から前記物体を移動させ、前記表示部から浮き上がって見える前記オブジェクトに、前記表示部から離れた位置で前記物体が接触した後、元の位置まで前記物体を戻すことによって行われることを特徴とする電子機器。
2. 前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触するまでに要した変位時間に基づいて前記操作の強度を判定し、
   前記所定の第１位置は、前記所定の空間内に位置することを特徴とする請求項１に記載の電子機器。
3. 前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触するまでに要した時間から換算される変位速度に基づいて前記操作の強度を判定し、
   前記所定の第１位置は、前記所定の空間内に位置することを特徴とする請求項１に記載の電子機器。
4. 前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触した後に所定の第２位置まで移動するのに要した変位時間に基づいて前記操作の強度を判定し、
   前記所定の第１位置および前記所定の第２の位置は、前記所定の空間内に位置することを特徴とする請求項１に記載の電子機器。
5. 前記制御部は、前記物体が、所定の第１位置から前記表示部に表示されるオブジェクトに接触した後に所定の第２位置まで移動するのに要した時間から換算される変位速度に基づいて前記操作の強度を判定し、
   前記所定の第１位置および前記所定の第２の位置は、前記所定の空間内に位置することを特徴とする請求項１に記載の電子機器。
6. 表示部を有する電子機器によって実行される制御方法であって、
   視差を利用して立体的に浮き上がって見えるようにオブジェクトを表示するステップと、
   所定の空間内に位置する実際の物体の前記オブジェクトに対する変位を検出するステップと、
   前記検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、該判定された強度に応じて前記オブジェクトに関連付けられた動作の内容を変化させるステップと、
   変化させた動作を実行するステップと、
   を含み、
   前記オブジェクトに対する操作は、前記所定の空間内の位置から前記物体を移動させ、前記表示部から浮き上がって見える前記オブジェクトに、前記表示部から離れた位置で前記物体が接触した後、元の位置まで前記物体を戻すことによって行われることを特徴とする制御方法。
7. 表示部を有する電子機器に、
   視差を利用して立体的に浮き上がって見えるようにオブジェクトを表示するステップと、
   前記オブジェクトに関連付けられた動作を実行するステップと、
   所定の空間内に位置する実際の物体の前記オブジェクトに対する変位を検出するステップと、
   前記検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、該判定された強度に応じて前記動作の内容を変化させるステップと、
   を実行させ、
   前記オブジェクトに対する操作は、前記所定の空間内の位置から前記物体を移動させ、前記表示部から浮き上がって見える前記オブジェクトに、前記表示部から離れた位置で前記物体が接触した後、元の位置まで前記物体を戻すことによって行われることを特徴とする制御プログラム。

Images