JP5766479B2

JP5766479B2 - 電子機器、制御方法および制御プログラム

Info

Publication number: JP5766479B2
Application number: JP2011068967A
Authority: JP
Inventors: 雄大永田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2011-03-25
Filing date: 2011-03-25
Publication date: 2015-08-19
Anticipated expiration: 2031-03-25
Also published as: EP2690524B1; US20140009424A1; EP2690524A1; JP2012203736A; US9430081B2; EP2690524A4; WO2012133226A1

Description

本発明は、電子機器、制御方法および制御プログラムに関する。

近年、仮想現実技術や拡張現実技術の進歩により、人々は様々な事象を擬似的に体験できるようになってきている。例えば、特許文献１では、楽器の演奏を擬似的に体験ことができる技術が開示されている。

特開２０１１−０１１００８号公報

しかしながら、楽器を演奏するに際しては、鍵盤をたたく強度等の操作の強度が重要であるところ、特許文献１に記載されている技術は、タッチパネル面上に接触することによって擬似体験を実現するものであり、実際に楽器を演奏する感覚を十分に与えることは難しい。

本発明は、上記に鑑みてなされたものであって、立体表示がなされた空間における利用者の操作を検出することができる電子機器、制御方法および制御プログラムを提供することを目的とする。

本発明に係る電子機器は、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトに関連付けられた動作を実行する動作部と、前記オブジェクトの視認空間における所定の物体の変位を検出する検出部と、当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させる制御部とを備える。

ここで、前記検出部は、前記所定の物体に接触することなく前記変位を検出することが好ましい。

また、前記制御部は、前記所定の物体が、前記空間において移動した距離に基づいて前記操作の強度を判定することが好ましい。

また、前記制御部は、前記所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間に基づいて前記操作の強度を判定することが好ましい。

また、前記制御部は、前記所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間から換算される速度に基づいて前記操作の強度を判定することが好ましい。

また、前記制御部は、前記所定の物体の大きさが変化するのに要した時間に基づいて前記操作の強度を判定することが好ましい。

また、前記制御部は、前記所定の物体の大きさが変化する比率に基づいて前記操作の強度を判定することが好ましい。

また、前記所定の物体は指であることが好ましい。この場合、前記所定の物体の変位は、前記空間を撮影する撮影部の画像に基づいて検出され、前記制御部は、予め記憶している指紋データと前記画像とを照合することにより、前記所定の物体の大きさを求めることとしてもよい。

また、前記制御部は、指定した操作の強度と、前記所定の物体の変位に基づいて判定した操作の強度との差或いは比率に基づいて、操作の強度を判定するための閾値を調整することが好ましい。

また、前記制御部は、前記表示部に前記オブジェクトを３次元表示する立体視の程度と、当該オブジェクトに接触する操作を行った際の前記所定の物体の位置の検出結果とに基づいて、前記表示部にオブジェクトを３次元表示する立体視の程度を調整することが好ましい。

また、本発明に係る制御方法は、表示部を有する電子機器によって実行される制御方法であって、所定のオブジェクトを３次元表示するステップと、前記オブジェクトに関連付けられた動作を実行するステップと、前記オブジェクトの視認空間における所定の物体の変位を検出するステップと、当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップとを含む。

また、本発明に係る制御プログラムは、表示部を有する電子機器に、所定のオブジェクトを３次元表示するステップと、前記オブジェクトに関連付けられた動作を実行するステップと、前記オブジェクトの視認空間における所定の物体の変位を検出するステップと、当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップとを実行させる。

本発明は、立体表示がなされた空間における利用者の操作を検出することができるという効果を奏する。

図１は、本実施例に係る携帯電話端末（電子機器）の外観を示す正面図である。図２は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。図３は、３次元オブジェクトに対する操作の検出について説明するための図である。図４は、３次元オブジェクトに対する操作時に撮影される画像の例を示す図である。図５は、３次元オブジェクトに対する操作の強度の検出について説明するための図である。図６は、操作の強度の調整処理の処理手順を示すフローチャートである。図７は、強度の段階を分けて調整処理を行う例を示す図である。図８は、立体視の程度の調整の例を示す図である。図９は、ロック解除画面で立体視の程度の調整を行う例を示す図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。

まず、図１および図２を参照しながら、本実施例に係る携帯電話端末（電子機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の機能的な構成を示すブロック図である。

図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２および撮影部４０は、携帯電話端末１の正面に一部が露出する。

操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。

マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。

通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。

タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。

表示部３２ａは、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。本実施例において、タッチセンサ３２ｂは、静電容量式のセンサであるものとする。

また、本実施例において、タッチパネル３２は、３次元オブジェクトを表示できるものとする。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。

撮影部４０は、撮像センサによって画像を電子的に取得する。本実施例において、撮影部４０は、タッチパネル３２が設けられた面の対角に配置された撮影部４０ａおよび撮影部４０ｂとから構成されるが、撮影部４０は、必ずしも複数の撮影手段を必要としない。なお、撮影部４０は、タッチパネル３２上のどの位置に指が置かれていてもその指を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。

制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。

記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。

制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作の強度を検出する機能が含まれる。

次に、図３から図５を参照しながら、３次元オブジェクトに対する操作の強度の検出について説明する。図３は、３次元オブジェクトに対する操作の検出について説明するための図である。図４は、３次元オブジェクトに対する操作時に撮影される画像の例を示す図である。図５は、３次元オブジェクトに対する操作の強度の検出について説明するための図である。

図３に示すように、タッチパネル３２が、３次元オブジェクトＯＢ１を表示しているものとする。３次元オブジェクトＯＢ１は、利用者には視認空間中にタッチパネル３２から浮き上がって見えるため、３次元オブジェクトＯＢ１に対する操作は、タッチパネル３２から離れた位置で行われる。図３では、利用者は、指Ｆ１を３次元オブジェクトまで振り下ろした後、元の位置まで戻す操作を行っている。なお、視認空間とは、利用者には、あたかもオブジェクトＯＢ１が存在しているように見えている空間をいう。

このような操作中に、図４に示すような画像Ｐが撮影部４０によって撮影される。図４では、当初は小さく写っていた指先が振り下ろし動作にともなって大きくなり、指先を元の位置へ戻す動作にともなって元の大きさに戻っていく様子が撮影されている。図４において、ＦＰ１は、操作開始前の指先領域であり、ＦＰ２は、指Ｆ１がタッチパネル３２に最も近づいたときの指先領域であり、ＦＰ３は、操作完了後の指先領域である。

操作中に撮影される各画像Ｐに含まれる指先の大きさを時間順にプロットすると、図５に示すような曲線が得られる。ここで、指Ｆ１で３次元オブジェクトＯＢ１を操作する場合、指Ｆ１を強く動かすほど、操作に要する時間は短くなると考えられる。したがって、操作開始時の指Ｆ１の画像が撮影されてから、指先が最も大きく写った画像が撮影されるまでの時間Ｔに基づいて操作の強弱を判定することができる。すなわち、時間Ｔが短いほど強く操作が行われ、時間Ｔが短いほど弱く操作が行われたと判定することができる。

また、指Ｆ１で３次元オブジェクトＯＢ１を操作する場合、指Ｆ１を強く動かすほど、指Ｆ１の移動量が大きくなると考えられる。したがって、操作開始時の指先領域ＦＰ１の大きさＳｍｉｎと、指Ｆ１が最もタッチパネルに近づいたときの指先領域ＦＰ２の大きさＳｍａｘとの比率に基づいて操作の強弱を判定することもできる。すなわち、Ｓｍａｘ／Ｓｍｉｎが大きいほど強く操作が行われ、Ｓｍａｘ／Ｓｍｉｎが小さいほど弱く操作が行われたと判定することができる。

なお、個人によっては、比較的弱く操作を行う場合には時間Ｔが操作の強弱を明確に表し、比較的強く操作を行う場合にはＳｍａｘ／Ｓｍｉｎが操作の強弱を明確に表すこともあるため、これらの指標を併用して操作の強弱を判定することが好ましい。また、これらの指標を求めるには、操作の開始時点を識別する必要があるが、例えば、撮影部４０によって撮影される画像に含まれる指先領域の大きさが所定回数以上連続して増大したタイミングを操作の開始時点として処理してもよい。

また、指先領域の大きさを精度よく識別するため、利用者の指紋データを携帯電話端末１に予め登録しておき、登録されている指紋データとマッチする領域を指先領域として処理してもよい。

次に、図６を参照しながら、操作の強度の調整処理の処理手順について説明する。図６は、操作の強度の調整処理の処理手順を示すフローチャートである。図６に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、図６に示す処理手順は、利用者が３次元オブジェクトに対する操作を初めて行う前のタイミングや、その後の定期的なタイミング等に実行される。

図６に示すように、制御部２２は、まず、ステップＳ１１として、タッチパネル３２に３次元オブジェクトを表示させる。続いて、制御部２２は、ステップＳ１２として、３次元オブジェクトに対する操作を指示するメッセージをタッチパネル３２に表示させる。そして、制御部２２は、ステップＳ１３として、撮影部４０に指先の画像を連続して撮影させる。

なお、撮影部４０に指先の画像を連続して撮影させる期間は、予め定められた長さの期間であってもよいし、撮影された画像から操作の完了が検出されるまでの期間であってもよい。

制御部２２は、ステップＳ１４として、撮影された画像の中から指先のサイズが最小の画像と指先のサイズが最大の画像とを選択する。続いて、制御部２２は、ステップＳ１５として、選択された画像間の経過時間または指先のサイズの比率の少なくとも一方を算出する。そして、制御部２２は、ステップＳ１６として、算出結果に基づいて、操作の強度を判定するための閾値を補正する等して、操作の強度の調整を行う。なお、ここでは、選択された画像間の経過時間または指先のサイズの比率に基づいて、操作の強度を示す値を算出し、閾値と予め対応づけられている強度と算出された強度との差或いは比率に応じて閾値を調整してもよい。

このように、操作の強度の調整処理を実施することにより、操作の強度の判定を利用者の特性に合わせることができる。なお、図７に示すように、強度の段階を分けて調整処理を行ってもよい。図７に示す例では、３本のピンを３次元オブジェクトとして表示し、左側のピンを強くたたかせ、中央のピンを中程度の強さでたたかせ、右側のピンを弱くたたかせた結果に基づいて操作の強度の調整が行われる。強度の段階を分けて調整処理を行うことにより、操作の強度の調整処理をより精密に行うことができる。

上述してきたように、本実施例では、操作に要した時間や操作にともなう移動距離に基づいて利用者が行う操作の強度を検出することとしたので、利用者が行う操作の強度を適確に検出することができる。

なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、３次元オブジェクトに対して道具を使って操作することとしてもよい。

また、上記の実施例では、３次元空間での指の動きを撮影部４０が撮影した画像に基づいて検出することとしたが、タッチセンサ３２ｂを用いて３次元空間での指の動きを検出してもよい。タッチセンサ３２ｂの感度を調整することにより、指がタッチセンサ３２ｂと接触していなくても、指のＸ軸方向、Ｙ軸方向およびＺ軸方向の動きを検出することができる。

また、操作の強度の判定の精度を向上させるために、携帯電話端末１が想定している立体視の程度と、実際に利用者に見えている立体視の程度とを調整することとしてもよい。立体視の程度の調整について、図８および図９を参照しながら説明する。

図８に示すように、制御部２２は、球形の３次元オブジェクトをタッチパネル３２上に１つ表示し、その３次元オブジェクトに指を接触させるように利用者に促す。すると、利用者は、３次元オブジェクトが見えている位置に指を置く。このときの指の位置を検出することにより、携帯電話端末１が想定している立体視の程度と、実際に利用者に見えている立体視の程度とを一致させることができる。

続いて、制御部２２は、立体視の程度が異なる複数の３次元オブジェクトをタッチパネル３２上に表示し、最も立体的に見える３次元オブジェクトに指を接触させるように利用者に促す。すると、利用者は、最も立体的に見える３次元オブジェクトに指を接触させる。どの３次元オブジェクトに指が接触したかを判定することにより、最も好適な立体視の程度が分かる。

なお、好適な立体視の程度は、体調等によっても変化するため、なるべく頻繁に判定を行うことが好ましい。例えば、図９に示すように、省電力状態から復帰する際に表示されるロック解除画面に立体視の程度が異なる複数の３次元オブジェクトを表示し、最も立体的に見える３次元オブジェクトに対応する操作によって復帰を実現することにより、利用者に負担をかけることなく、好適な立体視の程度を高い頻度で判定することができる。

なお、上述では、所定の物体の大きさが変化するのに要した時間に基づいて操作の強度を判定するようにしたが、これに限られない。たとえば所定の物体が、立体画像が表示される空間において移動した距離に基づいて操作の強度を判定してもよい。そして移動距離が大きいほど、操作強度を高く設定するとよい。この場合、指の移動を撮影部で撮影すればよい。この場合、指の移動方向が、撮影部が撮影できる撮影面とほぼ平行になるように撮影部を配置していると、物体の移動量を容易に計測できる。

あるいは、所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間に基づいて前記操作の強度を判定してもよい。そして要した時間が短いほど、操作強度を高く設定するとよい。この場合、指の移動を撮影部で撮影すればよい。また、所定の第１位置および所定の第２位置は、ユーザーが立体表示を見ながら設定できるようにしてもよい。もちろん、所定の第１位置から所定の第２位置まで移動するのに要した時間に換えて、所定の物体が移動を開始してから停止するまでの時間としてもよい。

あるいは、上記所定の第１位置から上記所定の第２位置まで移動するのに要した時間から換算される速度が速いほど、操作強度を高く設定してもよい。この場合、第１位置から第２位置までの直線距離をあらかじめ測定あるいは設定しておき、この距離と移動に要した時間から第１位置から第2位置まで移動する際の速度を算出してもよい。

また、上記実施例では、所定の物体の移動により生じる各物理量の変位を検出するために撮影部を用いた例を示したが、これに限られない。たとえば撮影部に変えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また立体表示がされた空間における面方向の移動を検出できる赤外線センサや近接センサ等を、所定の物体の移動方向とほぼ水平に配置すると、所定の物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、所定の物体にセンサ等を配置することなく、上記変位の検出ができるとよく、その場合、指にわざわざ加速度センサを取り付けたり、加速度を備えた電子機器そのものを移動させたりする必要がないので、コスト低減が図れる。

また、判定された強度の強さに応じて、動作内容を変化させる例としては、指等を空間内で移動させたときの強度に対応付けられており、強弱のレベル調整が行えるものであればなんでもよい。たとえば、強度の強さに応じて、オブジェクトを移動させる、あるいはその際の移動の速さを変える、オブジェクトを変形させる、あるいは変形させる量を変える等、オブジェクト自体についてのなんらかの変化があるようにしてもよい。
あるいは、オブジェクトとしてピアノの鍵盤を表示しており、当該強度が高いほどピアノの音を大きくするような動作内容としてもよい。この場合、オブジェクト自体の表示を変化させるわけではないが、オブジェクトと関連付けられた物理量である音の大きさを変えたり、音の出し方を変えたりすることができる。その他、音以外の物理量として、光の強度、明滅、そのテンポ、周期等を変化させてもよい。

また、上述の実施例では、３次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に３次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側にセンサやカメラを配置すればよい。
電子機器がたとえば携帯電話の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラを共に備えていることが多い。そこで、このアウトカメラを用いることで裏面側における所定の物体の変位を捕捉することができるようにしてもよい。

１携帯電話端末
１３操作部
２２制御部
２４記憶部
２４ａ制御プログラム
２６通信部
３０音声処理部
３２タッチパネル
３２ａ表示部
３２ｂタッチセンサ
４０撮影部

Claims

所定のオブジェクトを３次元表示する表示部と、
前記オブジェクトに関連付けられた動作を実行する動作部と、
前記オブジェクトの視認空間における所定の物体の変位を検出する検出部と、
当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させる制御部と
を備え、
前記制御部は、前記表示部に前記オブジェクトを３次元表示する立体視の程度と、当該オブジェクトに接触する操作を行った際の前記所定の物体の位置の検出結果とに基づいて、前記表示部にオブジェクトを３次元表示する立体視の程度を調整することを特徴とする電子機器。
前記検出部は、前記所定の物体に接触することなく前記変位を検出する
ことを特徴とする請求項１に記載の電子機器。
前記制御部は、前記所定の物体が、前記空間において移動した距離に基づいて前記操作の強度を判定する
ことを特徴とする請求項１に記載の電子機器。
前記制御部は、前記所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間に基づいて前記操作の強度を判定する
ことを特徴とする請求項１に記載の電子機器。
前記制御部は、前記所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間から換算される速度に基づいて前記操作の強度を判定する
ことを特徴とする請求項１に記載の電子機器。
前記制御部は、前記所定の物体の大きさが変化するのに要した時間に基づいて前記操作の強度を判定することを特徴とする請求項１に記載の電子機器。
前記制御部は、前記所定の物体の大きさが変化する比率に基づいて前記操作の強度を判定することを特徴とする請求項１に記載の電子機器。
前記所定の物体は指であることを特徴とする請求項１から７のいずれか１項に記載の電子機器。
前記所定の物体の変位は、前記空間を撮影する撮影部の画像に基づいて検出され、
前記制御部は、予め記憶している指紋データと前記画像とを照合することにより、前記所定の物体の大きさを求めることを特徴とする請求項８に記載の電子機器。
前記制御部は、指定した操作の強度と、前記所定の物体の変位に基づいて判定した操作の強度との差或いは比率に基づいて、操作の強度を判定するための閾値を調整することを特徴とする請求項１から９のいずれか１項に記載の電子機器。
表示部を有する電子機器によって実行される制御方法であって、
所定のオブジェクトを３次元表示するステップと、
前記オブジェクトに関連付けられた動作を実行するステップと、
前記オブジェクトの視認空間における所定の物体の変位を検出するステップと、
当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップと、
前記表示部に前記オブジェクトを３次元表示する立体視の程度と、当該オブジェクトに接触する操作を行った際の前記所定の物体の位置の検出結果とに基づいて、前記表示部にオブジェクトを３次元表示する立体視の程度を調整するステップと
を含むことを特徴とする制御方法。
表示部を有する電子機器に、
所定のオブジェクトを３次元表示するステップと、
前記オブジェクトに関連付けられた動作を実行するステップと、
前記オブジェクトの視認空間における所定の物体の変位を検出するステップと、
当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップと
前記表示部に前記オブジェクトを３次元表示する立体視の程度と、当該オブジェクトに接触する操作を行った際の前記所定の物体の位置の検出結果とに基づいて、前記表示部にオブジェクトを３次元表示する立体視の程度を調整するステップと
を実行させることを特徴とする制御プログラム。