JP5785753B2 - 電子機器、制御方法および制御プログラム - Google Patents

電子機器、制御方法および制御プログラム Download PDF

Info

Publication number
JP5785753B2
JP5785753B2 JP2011068968A JP2011068968A JP5785753B2 JP 5785753 B2 JP5785753 B2 JP 5785753B2 JP 2011068968 A JP2011068968 A JP 2011068968A JP 2011068968 A JP2011068968 A JP 2011068968A JP 5785753 B2 JP5785753 B2 JP 5785753B2
Authority
JP
Japan
Prior art keywords
unit
detected
dimensional object
control unit
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011068968A
Other languages
English (en)
Other versions
JP2012203737A (ja
Inventor
上野 泰弘
泰弘 上野
茂輝 田辺
茂輝 田辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2011068968A priority Critical patent/JP5785753B2/ja
Priority to EP12763260.2A priority patent/EP2690528A4/en
Priority to US14/007,313 priority patent/US9507428B2/en
Priority to PCT/JP2012/057603 priority patent/WO2012133227A1/ja
Publication of JP2012203737A publication Critical patent/JP2012203737A/ja
Application granted granted Critical
Publication of JP5785753B2 publication Critical patent/JP5785753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Description

本発明は、電子機器、制御方法および制御プログラムに関する。
近年、直感的な操作を可能にするとともに、キーボードのように物理的に大きな面積を必要とするデバイスを具備しない小型の電子機器を実現するために、タッチパネルが広く利用されるようになっている。タッチパネルを備える電子機器では、タッチパネルによって検出されるタップ等の動作に対して特定の処理が割り当てられる(例えば、特許文献1)。
特開2009−164794号公報
しかしながら、タッチパネルによって検出される動作は、タップ、フリック、スワイプ等の数種類に過ぎない。このため、タッチパネルを備える従来の電子機器では、利用者に対して多様な操作方法を提供することができなかった。
本発明は、上記に鑑みてなされたものであって、利用者に対して多様な操作方法を提供することができる電子機器、制御方法および制御プログラムを提供することを目的とする。
本発明に係る電子機器は、所定のオブジェクトを3次元表示する表示部と、前記オブジェクトの視認空間における所定の物体の変位を検出する検出部と、前記検出部によって検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行う制御部とを備える。
ここで、前記制御部は、前記検出部によって前記所定の物体の前記オブジェクトに沿って移動する変位が検出された場合に、当該物体の移動方向に対応させて前記オブジェクトを回転させることが好ましい。さらに、前記制御部は、前記動作の移動量に応じた角度だけ前記オブジェクトを回転させることとしてもよい。
また、前記制御部は、前記検出部によって前記所定の物体が前記オブジェクトに接触した後に離れる動作が検出された場合に、前記オブジェクトの接触された位置に対応する処理を実行することが好ましい。
また、前記電子機器は、画像を投影する投影部をさらに備え、前記制御部は、前記オブジェクトに関連する画像を前記投影部から投影させることが好ましい。
また、前記電子機器は、第2の表示部をさらに備え、前記制御部は、前記オブジェクトに関連する画像を前記第2の表示部に表示させることが好ましい。
また、前記検出部は、例えば、静電容量式のタッチセンサであってもよいし、画像を撮影する撮影部であってもよい。
また、本発明に係る制御方法は、表示部を有する電子機器によって実行される制御方法であって、所定のオブジェクトを前記表示部に3次元表示するステップと、前記オブジェクトの視認空間における所定の物体の変位を検出するステップと、検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップとを含む。
また、本発明に係る制御プログラムは、表示部を有する電子機器に、所定のオブジェクトを前記表示部に3次元表示するステップと、前記オブジェクトの視認空間における所定の物体の変位を検出するステップと、検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップとを実行させる。
本発明は、利用者に対して多様な操作方法を提供することができるという効果を奏する。
図1は、本実施例に係る携帯電話端末(電子機器)の外観を示す正面図である。 図2は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。 図3は、3次元オブジェクトに対する操作の検出について説明するための図である。 図4は、3次元オブジェクトに対する操作を検出することによって実現される制御の一例を示す図である。 図5は、指を3次元オブジェクトに一瞬接触させる操作の軌跡の一例を示す図である。 図6は、指を3次元オブジェクトに沿って移動させる操作の軌跡の一例を示す図である。 図7は、指で3次元オブジェクト押しつぶす操作の軌跡の一例を示す図である。 図8は、3次元オブジェクトに対する操作の検出にともなって携帯電話端末1が実行する制御の処理手順を示すフローチャートである。 図9は、2つのタッチパネルを備える携帯電話端末の外観を示す正面図である。
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、PHS(Personal Handyphone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
まず、図1および図2を参照しながら、本実施例に係る携帯電話端末(電子機器)1の構成について説明する。図1は、携帯電話端末1の外観を示す正面図である。図2は、携帯電話端末1の機能的な構成を示すブロック図である。
図1および図2に示すように、携帯電話端末1は、操作部13と、マイク15と、レシーバ16と、制御部22と、記憶部24と、通信部26と、音声処理部30と、タッチパネル32と、プロジェクタ34と、撮影部40とを有する。操作部13、マイク15、レシーバ16、タッチパネル32および撮影部40は、携帯電話端末1の正面に一部が露出する。
操作部13は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部22へ出力する。なお、図1に示す例では、操作部13はボタンを1つしか有していないが、操作部13は複数のボタンを有していてもよい。
マイク15は、外部の音声を取得する。レシーバ16は、通話時に通話相手の音声を出力する。音声処理部30は、マイク15から入力される音声をデジタル信号化して制御部22へ出力する。また、音声処理部30は、制御部22から入力されるデジタル信号を復号してレシーバ16へ出力する。
通信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介して、基地局との間にCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立する。通信部26は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
タッチパネル32は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル32は、表示部32aと、タッチセンサ32bとを重畳して構成される。
表示部32aは、液晶ディスプレイ(Liquid Crystal Display)や有機EL(Organic Electro−Luminescence)パネル等の表示装置を備え、制御部22から入力される制御信号に従って各種の情報を表示する。タッチセンサ32bは、タッチパネル32の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部22へ出力する。本実施例において、タッチセンサ32bは、静電容量式のセンサであるものとする。
また、本実施例において、タッチパネル32は、3次元オブジェクトを表示できるものとする。3次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状である。なお、3次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
プロジェクタ34は、制御部22から入力される制御信号に従って、画像を壁面やスクリーンに投影する。なお、プロジェクタ34が画像を投影する方式は特に限定しない。例えば、プロジェクタ34は、光源から照射されるレーザー光をMEMS(Micro Electro Mechanical System)ミラーで反射して画像を描画してもよい。また、プロジェクタ34は、ハロゲンライト、LED、LD等の光源と、LCD、DMD(Digital Micro-mirror Device)等の光学系とを組み合わせて構成されてもよい。
撮影部40は、撮像センサによって画像を電子的に取得する。撮影部40は、タッチパネル32上のどの位置に指が置かれていてもその指を撮影することができるように画角や配置が設定されていることが好ましい。なお、撮影部40は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
制御部22は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部22は、記憶部24に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をCPUに実行させる。そして、制御部22は、CPUによる命令の実行結果に応じて、メモリおよび記憶部24に対してデータの読み書きを行ったり、通信部26や表示部32a等の動作を制御したりする。CPUが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ32b等から入力される信号がパラメータや判定条件の一部として利用される。
記憶部24は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部24に記憶されるプログラムには、制御プログラム24aが含まれる。なお、記憶部24は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム24aは、記憶媒体に記憶されていてもよい。また、制御プログラム24aは、通信部26による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
制御プログラム24aは、携帯電話端末1を稼働させるための各種制御に関する機能を提供する。制御プログラム24aが提供する機能には、タッチパネル32での3次元オブジェクトの表示を制御する機能や、プロジェクタ34による画像の投影を制御する機能や、タッチパネル32によって表示される3次元オブジェクトに対する利用者の操作を検出する機能が含まれる。
次に、図3を参照しながら、3次元オブジェクトに対する操作の検出について説明する。図3は、3次元オブジェクトに対する操作の検出について説明するための図である。図3に示すように、タッチパネル32が、3次元オブジェクトOB1を表示しているものとする。3次元オブジェクトOB1は、利用者には、視認空間中に、タッチパネル32から浮き上がって見えるため、3次元オブジェクトOB1を操作しようとする利用者の指F1は、必ずしもタッチパネル32と接触しない。なお、視認空間とは、3次元オブジェクトを表示する表示部32の表示面に対向した位置で、利用者にはあたかもオブジェクトOB1存在しているように見えている空間をいう。
したがって、3次元オブジェクトに対する操作を検出するには、タッチパネル32の表面に平行なX軸方向およびY軸方向への指F1の動きだけでなく、タッチパネル32の表面と垂直なZ軸方向への指F1の動きを検出することが好ましい。Z軸方向への指F1の動きを検出することは、X軸方向およびY軸方向への指F1の動きの検出だけでは実現できない多様な操作を可能にするという点においても好ましい。
制御部22は、3次元オブジェクトに対する利用者の操作を検出するための検出部として、タッチセンサ32bおよび撮影部40のいずれか一方または両方を利用する。タッチセンサ32bは、感度を高めることで、例えば、指F1とタッチパネル32の表面とのZ軸方向の距離Hが10cm程度ある場合でも、指F1のX軸方向およびY軸方向の位置を検出することができる。また、制御部22は、タッチセンサ32bが検出する静電容量の大きさに基づいて距離Hを算出することができる。
また、制御部22は、撮影部40によって撮影される画像に含まれる指F1の位置および大きさから、指F1のX軸方向、Y軸方向およびZ軸方向の位置を算出することができる。なお、算出される位置の精度を向上させるために、指F1のテンプレート画像を予め携帯電話端末1に記憶させておいてもよい。また、制御部22は、撮影部40が被写体に焦点を合わせるために合焦機構によって測定される撮影部40と指F1との距離を併用して、指F1の位置を算出してもよい。
タッチセンサ32bおよび撮影部40を併用する場合、それぞれの検出結果を平均して指F1の位置を特定してもよい。この場合、タッチパネル32と近い領域は撮影部40では、指F1の画像を取得し難いのでタッチセンサ32bの重みづけを大きくし、タッチパネル32と遠い領域では、タッチセンサ32bの検出精度が低くなるので撮影部40の重みづけを大きくした加重平均を用いてもよい。
なお、近接センサ等の他のセンサを単独利用または併用して、3次元オブジェクトに対する利用者の操作を検出するための検出部として機能させてもよい。
次に、図4から図7を参照しながら、3次元オブジェクトに対する操作を検出することによって実現される制御の例について説明する。図4は、3次元オブジェクトに対する操作を検出することによって実現される制御の一例を示す図である。図5は、指F1を3次元オブジェクトに一瞬接触させる操作の軌跡の一例を示す図である。図6は、指F1を3次元オブジェクトに沿って移動させる操作の軌跡の一例を示す図である。図7は、指F1で3次元オブジェクト押しつぶす操作の軌跡の一例を示す図である。
図4に示すステップS11では、制御部22は、球形の地球儀を3次元オブジェクトOB1として、タッチパネル32に表示させている。さらに、制御部22は、上から見た3次元オブジェクトOB1の中心に表示されている日本を拡大した地図を投影画像P1としてプロジェクタ34から投影している。このように、制御部22は、タッチパネル32に表示される3次元オブジェクトとプロジェクタ34から投影される画像とを連動させる。
なお、ここでは、3次元オブジェクトOB1の中心に表示されている日本に関連する画像として日本の地図を投影させているが、日本の国旗、国花等日本に関連する他の画像を投影させてもよい。また、表示される3次元オブジェクトおよび画像は、記憶部24に予め記憶されていてもよいし、通信部26による通信によって取得されてもよい。
ステップS11の状態において、図5に示すような指F1を斜め下へ移動させて3次元オブジェクトOB1に一瞬接触させて直ぐに離す操作が検出されたものとする。この操作は、タッチパネル32に指F1を一瞬接触させて直ぐに離すタップ操作と類似しているが、タップ操作は平面状の点しか選択できないのに対して、3次元オブジェクトOB1の任意の場所を選択できる点において優れている。
なお、利用者から見える3次元オブジェクトの大きさについては、予め算出された値が3次元オブジェクトのデータ中に含まれていれば、その値を使用することとしてもよい。また、制御部22は、3次元オブジェクトの表示を制御しながら、利用者から見える3次元オブジェクトの大きさを動的に算出してもよい。あるいは、事前にキャリブレーションを行って、利用者から見た3次元オブジェクトの範囲と、タッチセンサ32b等が検出する指F1の位置との対応を記憶しておいてもよい。
図5に示すような操作が検出されると、制御部22は、指F1によって接触された位置が選択されたと判定し、選択された位置に対応する処理を実行する。選択された位置に対応する処理とは、例えば、選択された位置に対応する詳細情報をプロジェクタ34から投影する処理である。本実施例では、選択された位置に対応する処理として、選択された位置が中心になるように3次元オブジェクトOB1を回転させる処理が実行されるものとする。
図14に示すステップS12では、図5に示すような操作が検出された結果、制御部22は、接触されたフロリダ半島付近が中心になるように3次元オブジェクトOB1を回転させている。3次元オブジェクトOB1の回転と連動して、制御部22は、3次元オブジェクトOB1の中心へ移動したフロリダ半島付近の地図を投影画像P1としてプロジェクタ34から投影させている。なお、3次元オブジェクトOB1に一瞬接触させるために指F1を移動させる方向は、斜め下方向に限定されず、どの方向であってもよい。
また、ステップS11の状態において、図6に示すような指F1を3次元オブジェクトOB1に沿って移動させる操作が検出されたものとする。図6に示すような操作が検出されると、制御部22は、指F1の移動方向および移動量に応じて3次元オブジェクトOB1を回転させる。このように、3次元オブジェクトOB1に沿った指F1の移動に応じた処理として3次元オブジェクトOB1を回転させることは、利用者にとって直感的で覚えやすい。
図14に示すステップS13では、図6に示すような操作が検出された結果、制御部22は、3次元オブジェクトOB1を左方向に指F1の移動量に応じた角度だけ回転させている。3次元オブジェクトOB1の回転と連動して、制御部22は、3次元オブジェクトOB1の中心へ移動したフロリダ半島付近の地図を投影画像P1としてプロジェクタ34から投影させている。
また、ステップS11の状態において、図7に示すような指F1を使って3次元オブジェクトOB1を上から押しつぶすような操作が検出されたものとする。図7に示すような操作が検出されると、制御部22は、利用者が指F1を3次元オブジェクトOB1に押し込む量に応じて3次元オブジェクトOB1を縮小させる。このように、3次元オブジェクトOB1を押しつぶす操作に応じた処理として3次元オブジェクトOB1を縮小させることは、利用者にとって直感的で覚えやすい。
図14に示すステップS14では、図7に示すような操作が検出された結果、制御部22は、3次元オブジェクトOB1を縮小させている。また、制御部22は、3次元オブジェクトOB1の縮小と連動して、投影画像P1としてプロジェクタ34から投影される地図も縮小させている。
次に、図8を参照しながら、3次元オブジェクトに対する操作の検出にともなって携帯電話端末1が実行する制御の処理手順について説明する。図8は、3次元オブジェクトに対する操作の検出にともなって携帯電話端末1が実行する制御の処理手順を示すフローチャートである。図8に示す処理手順は、制御部22が制御プログラム24aを実行することによって実現される。
図8に示すように、制御部22は、まず、ステップS101として、3次元オブジェクトをタッチパネル32に表示させる。また、制御部22は、ステップS102として、3次元オブジェクトに対応する画像をプロジェクタ34から投影させる。
続いて、制御部22は、ステップS103として、検出部によって指が検出されているかを判定する。検出部によって指が検出されていない場合(ステップS103,No)、制御部22は、ステップS108として、利用者による終了操作が検出されたかを判定する。終了操作が検出されていない場合(ステップS108,No)、制御部22は、ステップS103以降を再実行する。一方、終了操作が検出されていた場合(ステップS108,Yes)、制御部22は、一連の処理手順を終了させる。
ステップS103において指が検出されている場合(ステップS103,Yes)、制御部22は、ステップS104として、検出部の検出結果に基づいて、3次元空間での指の動きを判定する。そして、3次元オブジェクトに指が一瞬接触する動作が検出された場合(ステップS105,Yes)、制御部22は、ステップS106として、接触された位置に対応する処理を実行する。そして、制御部22は、ステップS107として、3次元オブジェクトに対応づけて投影されている画像を更新し、上述したステップS108を実行する。
また、3次元オブジェクトに沿って指が移動する動作に対応する変位が検出された場合(ステップS105,No、ステップS109,Yes)、制御部22は、ステップS110として、指の移動方向および移動量に応じて3次元オブジェクトを回転させる。そして、制御部22は、ステップS107として、3次元オブジェクトに対応づけて投影されている画像を更新し、上述したステップS108を実行する。
また、指で3次元オブジェクトを押しつぶすような動作に対応する変位が検出された場合(ステップS109,No、ステップS111,Yes)、制御部22は、ステップS112として、指を3次元オブジェクトに押し込む量に応じて3次元オブジェクトを縮小させる。そして、制御部22は、ステップS107として、3次元オブジェクトに対応づけて投影されている画像を更新し、上述したステップS108を実行する。
上記の動作のいずれも検出されない場合(ステップS111,No)、制御部22は、投影されている画像をそのまま維持して、上述したステップS108を実行する。
上述してきたように、本実施例では、3次元空間での指の動きに基づいて利用者の操作を検出することとしたため、利用者に多様な操作方法を提供することができる。
なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム24aは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、3次元オブジェクトに対して指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を指の代わりに用いてもよい。
また、上記の実施例では、3次元空間での指の動きに基づいて3種類の操作を検出することとしたが、3次元空間での指や手の動きに基づいて検出される操作は、これらに限定されない。例えば、創作プログラムと連係して、利用者が3次元表示されたブロックや粘度を指で操作して像や建物を製作できるようにしてもよい。また、レースゲームプログラムと連係して、利用者が3次元表示されたハンドルを手で操作してレースを楽しめるようにしてもよい。
また、楽器演奏プログラムと連係して、利用者が3次元表示されたピアノや鍵盤を指で操作して演奏を楽しめるようにしてもよい。また、データ表示プログラムと連係して、3次元表示された形状の任意の部分を手で切断すると、切断面の画像がプロジェクタ34から投影されることとしてもよい。
また、上記の実施例では、携帯電話端末1が、表示手段として静電容量式のタッチパネルを備えることとしたが、撮影部40によって3次元空間での指や手の動きを精度よく検出できる場合は、携帯電話端末1は、静電容量式のタッチパネルを備えなくてもよい。この場合、携帯電話端末1は、表示手段として静電容量式以外の検出方式のタッチパネルを備えてもよいし、表示手段として単に情報を表示するだけの装置を備えてもよい。
また、上記の実施例では、3次元オブジェクトと関連する画像をプロジェクタから投影することとしたが、携帯電話端末が複数の表示手段を備える場合は、1つの表示手段に3次元オブジェクトを表示し、他の表示手段に画像を表示することとしてもよい。
図9は、2つのタッチパネルを備える携帯電話端末2の外観を示す正面図である。携帯電話端末2は、スライド可能に構成された筐体2aおよび筐体2bとを有する。筐体2aは、タッチパネル33aを有し、筐体2bはタッチパネル33bを有する。携帯電話端末2は、筐体2aおよび筐体2bの重複が最も小さい開状態では、タッチパネル33aおよびタッチパネル33bを外部に露出し、筐体2aおよび筐体2bが重なり合う閉状態では、タッチパネル33aのみを外部に露出する。
開状態において、タッチパネル33aは、3次元オブジェクトを表示するために用いられることがあり、その場合、タッチパネル33bは、関連する画像を表示するために用いられる。なお、携帯電話端末2は、複数のタッチパネルを備える折り畳み式の電子機器であってもよい。
なお、上記実施例では、所定の物体の変位を検出するために撮影部やタッチセンサを用いた例を示したが、これに限られない。たとえば撮影部に変えて、TOF(Time-of-Flight)法を用いたセンサでもよい。また立体表示がされた空間における面方向の移動を検出できる近接センサ等を、所定の物体の移動方向とほぼ水平に配置すると、所定の物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、所定の物体にセンサ等を配置することなく、上記変位の検出ができるとよく、その場合、指にわざわざ加速度センサを取り付けたり、加速度を備えた電子機器そのものを移動させたりする必要がないので、コスト低減が図れる。
また、検出した変位に対応して行われるオブジェクトに関連する動作はなんでもよい。たとえば、検出された変位に対応して、オブジェクトを移動させる、オブジェクトを変形させる等、オブジェクト自体についてのなんらかの変化があるようにしてもよい。
また、上述の実施例では、3次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に3次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側にセンサやカメラを配置すればよい。
電子機器がたとえば携帯電話の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラを共に備えていることが多い。そこで、このアウトカメラを用いることで裏面側における所定の物体の変位を捕捉することができるようにしてもよい。
1 携帯電話端末
13 操作部
22 制御部
24 記憶部
24a 制御プログラム
26 通信部
30 音声処理部
32 タッチパネル
32a 表示部
32b タッチセンサ(検出部)
34 プロジェクタ
40 撮影部(検出部)

Claims (8)

  1. 一のオブジェクトを3次元表示する表示部と、
    前記オブジェクトの視認空間における所定の物体の変位を検出する検出部と、
    前記検出部によって検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行う制御部と
    前記オブジェクトに関連した画像を投影する投影部と、
    を備え
    前記制御部は、前記検出部によって検出される前記所定の物体が、前記オブジェクトのどの位置に接触したかに基づいて、前記投影部が投影する画像の内容を変化させることを特徴とする電子機器。
  2. 前記制御部は、前記検出部によって前記所定の物体の前記オブジェクトに沿って移動する変位が検出された場合に、当該物体の移動方向に対応させて前記オブジェクトを回転させることを特徴とする請求項1に記載の電子機器。
  3. 前記制御部は、前記動作の移動量に応じた角度だけ前記オブジェクトを回転させることを特徴とする請求項2に記載の電子機器。
  4. 前記制御部は、前記検出部によって前記所定の物体が前記オブジェクトに接触した後に離れる動作が検出された場合に、前記オブジェクトの接触された位置に対応する処理を実行することを特徴とする請求項1から3のいずれか1つに記載の電子機器。
  5. 一のオブジェクトを3次元表示する表示部と、
    前記オブジェクトの視認空間における所定の物体の変位を検出する検出部と、
    前記検出部によって検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行う制御部と、
    前記オブジェクトに関連した画像を表示する第2の表示部と、
    を備え、
    前記制御部は、前記検出部によって検出される前記所定の物体が、前記オブジェクトのどの位置に接触したかに基づいて、前記第2の表示部が表示する画像の内容を変化させることを特徴とする電子機器。
  6. 前記制御部は、前記検出部によって前記所定の物体の前記オブジェクトに沿って移動する変位が検出された場合に、当該物体の移動方向に対応させて前記オブジェクトを回転させることを特徴とする請求項5に記載の電子機器。
  7. 前記検出部は、静電容量式のタッチセンサであることを特徴とする請求項1から6のいずれか1つに記載の電子機器。
  8. 前記検出部は、画像を撮影する撮影部であることを特徴とする請求項1から6のいずれか1つに記載の電子機器。
JP2011068968A 2011-03-25 2011-03-25 電子機器、制御方法および制御プログラム Active JP5785753B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011068968A JP5785753B2 (ja) 2011-03-25 2011-03-25 電子機器、制御方法および制御プログラム
EP12763260.2A EP2690528A4 (en) 2011-03-25 2012-03-23 ELECTRONIC APPARATUS, CONTROL METHOD, AND CONTROL PROGRAM
US14/007,313 US9507428B2 (en) 2011-03-25 2012-03-23 Electronic device, control method, and control program
PCT/JP2012/057603 WO2012133227A1 (ja) 2011-03-25 2012-03-23 電子機器、制御方法および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011068968A JP5785753B2 (ja) 2011-03-25 2011-03-25 電子機器、制御方法および制御プログラム

Publications (2)

Publication Number Publication Date
JP2012203737A JP2012203737A (ja) 2012-10-22
JP5785753B2 true JP5785753B2 (ja) 2015-09-30

Family

ID=46930949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011068968A Active JP5785753B2 (ja) 2011-03-25 2011-03-25 電子機器、制御方法および制御プログラム

Country Status (4)

Country Link
US (1) US9507428B2 (ja)
EP (1) EP2690528A4 (ja)
JP (1) JP5785753B2 (ja)
WO (1) WO2012133227A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6232694B2 (ja) * 2012-10-15 2017-11-22 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
CN105027190B (zh) * 2013-01-03 2019-06-21 美达视野股份有限公司 用于虚拟或增强介导视觉的射出空间成像数字眼镜
JP6322029B2 (ja) * 2014-03-31 2018-05-09 株式会社メガチップス ジェスチャー検出装置、ジェスチャー検出装置の動作方法および制御プログラム
JP6021272B2 (ja) * 2014-07-08 2016-11-09 京セラドキュメントソリューションズ株式会社 情報処理システムおよび情報処理方法
EP3239817A4 (en) 2014-12-26 2018-07-25 Nikon Corporation Detection device and program
CN105934732B (zh) 2014-12-26 2021-04-27 株式会社尼康 控制装置、电子设备、控制方法及程序
KR20170100411A (ko) 2014-12-26 2017-09-04 가부시키가이샤 니콘 검출 장치, 전자 기기, 검출 방법 및 프로그램
US10665020B2 (en) 2016-02-15 2020-05-26 Meta View, Inc. Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
JP6724987B2 (ja) * 2016-06-28 2020-07-15 株式会社ニコン 制御装置および検出方法
JP6822472B2 (ja) 2016-06-28 2021-01-27 株式会社ニコン 表示装置、プログラム、表示方法および制御装置
WO2018003860A1 (ja) 2016-06-28 2018-01-04 株式会社ニコン 表示装置、プログラム、表示方法および制御装置
JP2019010337A (ja) * 2017-06-30 2019-01-24 株式会社コーエーテクモゲームス 端末装置及び制御プログラム
JP6920900B2 (ja) * 2017-06-30 2021-08-18 株式会社コーエーテクモゲームス 端末装置及び制御プログラム
CN107608605A (zh) * 2017-09-28 2018-01-19 北京金山安全软件有限公司 一种图像的显示方法、装置、电子设备及存储介质
JP6583486B2 (ja) * 2018-06-07 2019-10-02 株式会社リコー 情報処理方法、情報処理プログラムおよび情報処理装置
JP7052128B1 (ja) * 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7163526B1 (ja) 2021-07-20 2022-10-31 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7286857B2 (ja) * 2021-07-20 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7286856B2 (ja) * 2022-03-30 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608850A (en) * 1994-04-14 1997-03-04 Xerox Corporation Transporting a display object coupled to a viewpoint within or between navigable workspaces
CA2254344A1 (en) * 1997-03-14 1998-09-24 Sony Corporation Image synthesizing device and method, position detecting device and method, and supply medium
JP2002229991A (ja) * 2001-01-31 2002-08-16 Fujitsu Ltd サーバ,ユーザ端末,情報提供サービスシステムおよび情報提供サービス方法
JP2003004441A (ja) * 2001-06-18 2003-01-08 Hitachi Ltd 距離計測方法および距離計測機能を有する画像入力装置
US7692667B2 (en) * 2001-08-17 2010-04-06 Palm, Inc. Handheld computer having moveable segments that are interactive with an integrated display
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CN100421064C (zh) * 2003-12-19 2008-09-24 升达科技股份有限公司 触控装置、控制方法及其采用该触控装置的电子装置
JP4655563B2 (ja) * 2004-09-21 2011-03-23 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
WO2006043456A1 (ja) * 2004-10-20 2006-04-27 Kyocera Corporation カメラモジュール及びこれを備えた携帯端末並びに情報端末
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
JP2006150912A (ja) * 2004-12-01 2006-06-15 Seiko Epson Corp 画像出力システム、および情報報知方法
US9137417B2 (en) * 2005-03-24 2015-09-15 Kofax, Inc. Systems and methods for processing video data
US7567419B2 (en) * 2005-06-10 2009-07-28 Kyocera Wireless Corp. Apparatus, system, and method for electrostatic discharge protection
DE102005046950B3 (de) * 2005-09-30 2006-12-21 Siemens Ag Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern
JP2007170951A (ja) * 2005-12-21 2007-07-05 Fine Tech Corp 極低測定圧接触式測長装置
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
CA2654960A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
WO2008041314A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
US9327192B2 (en) * 2006-11-17 2016-05-03 Nintendo Co., Ltd. Game system and storage medium storing game program
JP4607208B2 (ja) * 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 立体映像ディスプレイ方法
JP4565002B2 (ja) 2007-12-28 2010-10-20 京セラ株式会社 携帯通信端末
JP4997175B2 (ja) * 2008-05-23 2012-08-08 株式会社Pfu オブジェクト管理装置、携帯端末、および、オブジェクト操作方法
KR101908033B1 (ko) * 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
JP5113655B2 (ja) * 2008-07-18 2013-01-09 富士フイルム株式会社 電子フォトアルバム
JP5071308B2 (ja) * 2008-08-29 2012-11-14 ソニー株式会社 入出力装置
JP2010134629A (ja) * 2008-12-03 2010-06-17 Sony Corp 情報処理装置および情報処理方法
JP4875050B2 (ja) * 2008-12-09 2012-02-15 京セラ株式会社 入力装置
TW201032091A (en) * 2009-02-17 2010-09-01 Pixart Imaging Inc Optical displacement detecting device and operating method thereof
US8289316B1 (en) * 2009-04-01 2012-10-16 Perceptive Pixel Inc. Controlling distribution of error in 2D and 3D manipulation
JP5563250B2 (ja) * 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
US9182854B2 (en) * 2009-07-08 2015-11-10 Microsoft Technology Licensing, Llc System and method for multi-touch interactions with a touch sensitive screen
KR101608764B1 (ko) * 2009-07-14 2016-04-04 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
JP5127792B2 (ja) * 2009-08-18 2013-01-23 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記録媒体
CN102640502B (zh) * 2009-10-14 2015-09-23 诺基亚公司 自动立体渲染和显示装置
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
KR20110044424A (ko) * 2009-10-23 2011-04-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20110076458A (ko) * 2009-12-29 2011-07-06 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9146669B2 (en) * 2009-12-29 2015-09-29 Bizmodeline Co., Ltd. Password processing method and apparatus
JP2011170838A (ja) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd 画像処理装置及び電子機器
WO2011094855A1 (en) * 2010-02-05 2011-08-11 Smart Technologies Ulc Interactive input system displaying an e-book graphic object and method of manipulating a e-book graphic object
JP5658500B2 (ja) * 2010-07-26 2015-01-28 キヤノン株式会社 情報処理装置及びその制御方法
US20120066648A1 (en) * 2010-09-14 2012-03-15 Xerox Corporation Move and turn touch screen interface for manipulating objects in a 3d scene
US8483617B2 (en) * 2010-09-30 2013-07-09 Broadcom Corporation Portable computing device with high-speed data communication
US20120105367A1 (en) * 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
JP5708083B2 (ja) * 2011-03-17 2015-04-30 ソニー株式会社 電子機器、情報処理方法、プログラム、及び電子機器システム
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
JP5774387B2 (ja) * 2011-06-28 2015-09-09 京セラ株式会社 表示機器
KR101883376B1 (ko) * 2011-11-22 2018-07-31 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN105027190B (zh) * 2013-01-03 2019-06-21 美达视野股份有限公司 用于虚拟或增强介导视觉的射出空间成像数字眼镜

Also Published As

Publication number Publication date
JP2012203737A (ja) 2012-10-22
WO2012133227A1 (ja) 2012-10-04
US20140015794A1 (en) 2014-01-16
US9507428B2 (en) 2016-11-29
EP2690528A4 (en) 2014-12-17
EP2690528A1 (en) 2014-01-29

Similar Documents

Publication Publication Date Title
JP5785753B2 (ja) 電子機器、制御方法および制御プログラム
EP2180676B1 (en) Mobile communication terminal and screen scrolling method thereof
US20210405761A1 (en) Augmented reality experiences with object manipulation
JP5864144B2 (ja) 表示機器
JP5766479B2 (ja) 電子機器、制御方法および制御プログラム
WO2013046596A1 (ja) 携帯型情報処理端末
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
US11513637B2 (en) Image projection device
CN110743168A (zh) 虚拟场景中的虚拟对象控制方法、计算机设备及存储介质
US9619048B2 (en) Display device
JP5684618B2 (ja) 撮影装置および仮想情報表示プログラム
US8970483B2 (en) Method and apparatus for determining input
CN110213205B (zh) 验证方法、装置及设备
JP2012138776A (ja) コンテンツ表示装置、コンテンツ表示方法、および、コンテンツ表示用プログラム
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
US8659626B2 (en) Projection control
JP6126195B2 (ja) 表示機器
JP5926008B2 (ja) 電子機器、制御方法および制御プログラム
JP2015109092A (ja) 表示機器
JP2001236172A (ja) 携帯情報端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150727

R150 Certificate of patent or registration of utility model

Ref document number: 5785753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150