JP4447823B2 - Portable information devices - Google Patents

Portable information devices Download PDF

Info

Publication number
JP4447823B2
JP4447823B2 JP2002174493A JP2002174493A JP4447823B2 JP 4447823 B2 JP4447823 B2 JP 4447823B2 JP 2002174493 A JP2002174493 A JP 2002174493A JP 2002174493 A JP2002174493 A JP 2002174493A JP 4447823 B2 JP4447823 B2 JP 4447823B2
Authority
JP
Japan
Prior art keywords
user
portable information
device
input
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002174493A
Other languages
Japanese (ja)
Other versions
JP2004021528A (en
Inventor
プピレフ イワン
シュヴェージグ カーステン
純一 暦本
栄二郎 森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2002174493A priority Critical patent/JP4447823B2/en
Priority claimed from US10/456,186 external-priority patent/US7456823B2/en
Publication of JP2004021528A publication Critical patent/JP2004021528A/en
Application granted granted Critical
Publication of JP4447823B2 publication Critical patent/JP4447823B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、ユーザからの入力動作に応答して所定の情報処理サービスを提供する携帯情報機器に係り、特に、機器に標準で装備されている入力装置を介したユーザ入力に応答して動作する携帯情報機器に関する。 The present invention, in response to an input operation from the user relates to a portable information device that provides predetermined information processing service, in particular, operates in response to a user input via an input device that is standard on equipment It relates to a portable information devices.
【0002】 [0002]
さらに詳しくは、本発明は、複雑な入力オペレーションを比較的簡単なユーザ動作で実現する携帯情報機器に係り、特に、ユーザの物理的なジェスチャを受容する物理的なユーザ・インターフェースを備えて入力操作を簡単にした携帯情報機器に関する。 More particularly, the present invention relates to a portable information device be realized in a relatively simple user operation complicated input operations, in particular, the input operation includes a physical user interface for receiving the physical gestures of the user It relates to a portable information devices that simplify.
【0003】 [0003]
【従来の技術】 BACKGROUND OF THE INVENTION
人の手は、極めて優秀なツールである。 The hand of man is a very excellent tool. すなわち、手や指が持つ多数の自由度を効果的にコントロールすることによってさまざまの複雑な操作を成し遂げることができる。 In other words, it is possible to achieve complex operations of various by effectively controlling the number of degrees of freedom with the hand and fingers. 例えば、バイオリニストなどの音楽家は、弓で弦を同時に2つの方向(例えば弦と同じ方向並びにこれを横切る方向)に弾いたり、同時に弦に異なる張力を印加することができる。 For example, musicians, such as violinist, or play the strings at the same time in two directions (e.g. transverse to the same direction and which the chord) at the bow, it is possible to apply different tensions to the strings at the same time.
【0004】 [0004]
これと同様に、最近のコンピュータにおいては、マウスやペンなどの入力装置を用いて、コンピュータ・スクリーン上で位置と力を同時に入力することができる。 Similarly, in a recent computer, using an input device such as a mouse or a pen, it is possible to input the position and force on a computer screen at the same time. 例えば、マウスでスクリーン上の特定の場所を指示しながらボタンを押下したり、タブレット上でペンを押下操作する。 For example, pressing a button while indicates a specific location on the screen with the mouse, it depresses the pen on the tablet.
【0005】 [0005]
また、S. Zhai、P. Milgram共著の論文”Human performance evaluation of manipulation schemes in virtual environments”(Proceedings of VRAIS'93. 1993. IEEE. pp. 155-61)では、位置制御(アイソトニック・コントロール)と力制御(アイソメトリック・コントロール)は、マニュアル・コントロールの生理学的及び心理学的メカニズムが相違し、人間にとって基本的には制御方向が直交関係にある、ということが示唆されている。 In addition, S. Zhai, P. In Milgram co-author of the paper "Human performance evaluation of manipulation schemes in virtual environments" (Proceedings of VRAIS'93. 1993. IEEE. Pp. 155-61), position control and (isotonic control) power control (isometric control), physiological and psychological mechanisms manual control are different, is basically to humans are orthogonal control direction, it has been suggested that.
【0006】 [0006]
携帯型若しくはハンドヘルド型の機器においては、データ入力が難作業であり、効果的なインタラクションを行なえない、ということが長らく重要な課題であった。 A portable or handheld devices, data input is hardly work, can not be performed effectively interaction, that was a long important issue. 通常、携帯型機器における入力機能は、例えばタッチ・スクリーンを介したペン入力や、ボタン、ジョグダイヤル式のコントローラなどに限定される。 Usually, the input function of the portable device, for example a pen input or via the touch screen, buttons, is limited such as a jog dial type controller. また、タッチ・スクリーンを用いた場合、スクリーンの表示内容を遮ったり、ペンの使用がしばしば必要になったり、タッチ・センサが持つ解像度の限界のためにペン入力が困難になることがある。 In the case of using a touch screen, or block the display contents of the screen, which may or used becomes often necessary pen, a pen input for the resolution limit with the touch sensor becomes difficult.
【0007】 [0007]
タッチ・スクリーンを介したインタラクションは、GUIインターフェース・オブジェクトに対する連続的な操作を直接行なうといったような、ある特定のインタラクションにおいては推奨される。 Interaction via the touch-screen, such as for continuous operation on the GUI interface objects directly, is recommended in certain interactions. 例えば、地図をズームするために、スクロールやズーム機能を連続的に適用しなければならない場合などである。 For example, in order to zoom the map, if the scrolling or zooming function must be continuously applied, and the like. このような入力オペレーションを単一のジェスチャで実現することができれば、作業は著しく簡素化され、ユーザの負担を軽減することができる。 If it is possible to realize such an input operation in a single gesture, the work is considerably simplified, it is possible to reduce the burden on the user.
【0008】 [0008]
ユーザが携帯型コンピュータに対して物理的なジェスチャを印加することによってすべてのコンピュータ操作を行なったり、さまざまなタスクを実現するという物理的なユーザ・インターフェースに関する提案も幾つかなされている。 Users have been made several proposed or performed all computers operated by applying a physical gesture, about the physical user interface of achieving a variety of tasks to the portable computer.
【0009】 [0009]
例えば、米国特許第6,243,074号明細書には、処理されたデータ構造に関する情報を表示するフィードバック・モジュールと、ユーザの手操作を検出するディテクタを備え、手操作に応答してデータ構造の表示形態を変更する携帯型機器について開示されている。 For example, U.S. Pat. No. 6,243,074 Pat comprises a feedback module for displaying information on the processing data structure, a detector for detecting a hand operation of the user data in response to manual operation structure It discloses a portable device for changing the display mode. また、米国特許第5,602,566号明細書には、片手で持つことができ、機器本体の傾きに応じて画面をスクロールさせる小型情報処理装置について開示されている。 Also, U.S. Pat. No. 5,602,566, can have one hand, discloses a small-sized information processor to scroll the screen according to the inclination of the main body. これらの場合、ユーザが機器に印加したアクションを機器本体に内蔵されたセンサが検出することによって、インターフェースをコントロールするようになっている。 In these cases, by the user detected by the sensor provided in the action applied to the device to the device main body, is adapted to control the interface.
【0010】 [0010]
また、J. Rekimoto著の論文”Tilting operations for small screen interfaces”( Proceedings of UIST'96. 1996. ACM. pp. 167-168)には、傾斜センサを用いて機器の傾きを検出して、これを情報表示におけるスクロールに使用するという小型表示インターフェースについて開示されている。 Further, J. Rekimoto al article "Tilting operations for small screen interfaces" (Proceedings of UIST'96. 1996. ACM. Pp. 167-168) to detects the tilt of the device by using the tilt sensor, which It discloses a compact display interface that uses the scroll in the information display.
【0011】 [0011]
しかしながら、これらのインターフェースは、ある特定の機能を実現することに着目したものである。 However, these interfaces are those focused on realizing a specific function. 言い換えれば、コンピュータに対する物理的なインタラクションは非同期的なものと考えられており、例えば、他のアクションを形成した後にユーザ・アクションが続く。 In other words, the physical interaction with the computer is believed asynchronous manner, for example, followed by a user action after forming other actions. 複数のジェスチャを透過的に組み合わせて取り扱える機器というものは、これまで開発されてこなかった。 Those that devices that can handle a combination of a plurality of gestures transparently has not been developed so far.
【0012】 [0012]
例えば、R. Balakrishnan、G. Fitzmaurice、G. Kurtenbach、K. Singh共著の論文”Exploring interactive curve and surface manipulation using a bend and twist sensitive input strip”(Proceedings of Symposium on Interactive 3D graphics. 1999. ACM. pp. 111-118)や米国特許第5,396,265号明細書には、回転センサを用いて互いに機械的に接続されている感知部品を撓ませるという、可撓性のインターフェースについて開示されている。 For example, R. Balakrishnan, G. Fitzmaurice, G. Kurtenbach, K. Singh co article "Exploring interactive curve and surface manipulation using a bend and twist sensitive input strip" (Proceedings of Symposium on Interactive 3D graphics. 1999. ACM. Pp . the 111-118) and U.S. Pat. No. 5,396,265, referred to deflect the sensing part using a rotation sensor are mechanically connected to each other, is disclosed for the flexible interface . しかしながら、このようなインターフェースは、単に形を生成するという作業に着目したに過ぎず、携帯型機器やさらには一般的な機器インターフェースに適用するという汎用インターフェースを提案するものではない。 However, such an interface is merely focused on the work of generating the form, does not propose a general-purpose interface that portable device and further applied to a common device interface.
【0013】 [0013]
例えば、スペース・ボールなどの力検出装置を用いて、デスクトップ・コンピュータのための物理的インタラクションが実現されている。 For example, using a force detecting device such as a space ball, physical interactions for the desktop computer is realized. しかしながら、この種の装置の用途は、一般に、3次元空間におけるナビゲーションなどに限定されたものである。 However, use of this type of apparatus are generally those that are limited like navigation in three-dimensional space.
【0014】 [0014]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
本発明の目的は、複雑な入力オペレーションを比較的簡単なユーザ動作で実現することができる、優れた携帯情報機器を提供することにある。 An object of the present invention can be realized in a relatively simple user operation complicated input operations is to provide a superior portable information device.
【0015】 [0015]
本発明のさらなる目的は、ユーザの物理的なジェスチャを受容する物理的なユーザ・インターフェースを備えて入力操作を簡単にすることができる、優れた携帯情報機器を提供することにある。 A further object of the present invention, it is possible to simplify the input operation comprises a physical user interface for receiving the physical gestures of the user, it is to provide an excellent portable information device.
【0016】 [0016]
本発明のさらなる目的は、ユーザが行なう複数のジェスチャを透過的に組み合わせて機器に対する入力として取り扱うことができる、優れた携帯情報機器を提供することにある。 A further object of the present invention can be handled as an input to the device by combining a plurality of gestures performed by the user transparently is to provide a superior portable information device.
【0017】 [0017]
本発明のさらなる目的は、機器に対する物理的なインタラクションを機器への汎用的なインターフェースとして用いることができる、優れた携帯情報機器を提供することにある。 A further object of the present invention can be used a physical interaction with equipment as a general interface to the device is to provide a superior portable information device.
【0018】 [0018]
【課題を解決するための手段及び作用】 Means and operation for solving the problem]
本発明は、上記課題を参酌してなされたものであり、その第1の側面は、ユーザ入力に応答して動作する携帯情報機器であって、 The present invention has been made in consideration of the above problems, a first aspect is a portable information device which operates in response to user input,
機器本体と、 And the device body,
前記機器本体に対してユーザが印加した物理的インタラクションを取得するジェスチャ入力手段と、 A gesture input means for obtaining a physical interaction by the user is applied to the apparatus main body,
ユーザ入力に応じた処理を実行する処理手段と、 Processing means for executing processing in response to user input,
を具備することを特徴とする携帯型情報機器である。 A portable information equipment, characterized by comprising.
【0019】 [0019]
例えば機器本体を曲げる、撓ませるといったジェスチャをユーザ入力として採取することによって、ユーザは自分の感情や衝動に従って直感的に機器操作を行なうことができるので、効率的な物理的インタラクションを実現することができる。 For example bending the device body, by taking gesture such flexing as a user input, the user can perform intuitive device operation according to their emotions and impulses, it is possible to achieve efficient physical interaction it can.
【0020】 [0020]
本発明に係る携帯型情報機器は、前記機器本体正面に配設されて、前記処理手段による処理結果を視覚的に表示する視覚的ディスプレイと、前記機器本体背面に配設されて、ユーザの指先による操作に応じてディスプレイ・スクリーン上で方向入力又は座標指示入力を行なう方向入力手段とをさらに備えていてもよい。 Portable information apparatus according to the present invention, the disposed in the device body front, and visual display for visually displaying the result of processing by said processing means, said disposed in the apparatus main body back, the user's fingertip it may further comprise a direction input means for direction input or coordinate pointing on the display screen in response to manipulation by.
【0021】 [0021]
また、本発明に係る携帯型情報機器は、前記処理手段による処理結果を力覚的にユーザにフィードバックする力覚提示部をさらに備えていてもよい。 In addition, the portable information apparatus according to the present invention may further comprise force feedback unit for feeding back to the user a processing result by the processing means tactile. このような場合、前記ジェスチャ入力手段を介して機器本体に有効に印加された物理的インタラクションの程度や回数などを、ユーザに力覚的にフィードバックすることができる。 In such a case, such as the degree and the number of effectively applied physical interaction to the device body through the gesture input means may be tactile feedback to the user.
【0022】 [0022]
前記ジェスチャ入力手段は、例えば、前記機器本体の左右両端に回動自在に結合された操作部と、前記操作部の前記機器本体に対する回転操作量を検出する回転センサと、前記回転センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することができる。 The gesture input means, for example, left and right ends to pivotally coupled operation unit of the apparatus main body, a rotation sensor for detecting a rotational operation amount with respect to the apparatus main body of the operation portion, the sensor output of said rotation sensor can be constituted by the said processing means for supplying data acquisition unit as a gesture enter.
【0023】 [0023]
このような場合、ユーザはそれぞれの手で左右の操作部をつかんで、機器本体に対して操作部を撓ませることができる。 In such a case, the user grabs the operating portion of the left and right in each hand, it is possible to deflect the operation portion to the device body. このとき、回転センサによって検出された回転操作量はジェスチャ入力として取得される。 At this time, the rotational operation amount detected by the rotation sensor is acquired as a gesture input.
【0024】 [0024]
機器本体に対して操作部を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。 Gesture that deflect the operation portion to the device body, which can be intuitively carried out according to the user's feeling or impulse, an efficient physical interaction.
【0025】 [0025]
このようなジェスチャ入力は、視覚的ディスプレイの表示内容を確認しながら行なうことができる。 Such gesture input can be performed while confirming the display contents of the visual display. また、ユーザは機器本体の左右側縁をつかんでジェスチャ入力を行なうことから、表示スクリーンが遮られるというオクルージョンの問題はない。 Further, the user from doing a gesture input by grasping left and right side edges of the main body, there is no occlusion of the problem the display screen is blocked.
【0026】 [0026]
また、ユーザは、機器正面の表示スクリーン上の表示内容を確認しながら、その背面で指を走査することによって2次元的な座標指示を行なうことができる。 The user, while confirming the display contents on the display screen of the device front, it is possible to perform two-dimensional coordinates indicated by scanning the finger at the rear. このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。 In this case, the fingertip for performing coordinate instruction will not block the display screen. また、正面側の視覚的ディスプレイ上にGUI操作画面を用意するとともに、背面側のタッチ・センサ上での座標指示位置に応じてこのGUI操作画面上にカーソルを表示して、タッチ・センサ上での2次元的な座標指示入力と視覚的ディスプレイ上でのGUI操作を連動させてもよい。 Also, with providing a GUI operation screen on the front side of the visual on the display, and displays a cursor in accordance with the coordinate pointing position on the rear side touch sensors in the GUI operation screen, on the touch sensor it may be linked to GUI operation in the two-dimensional coordinate pointing and visual on display.
【0027】 [0027]
あるいは、前記機器本体を可撓性の構造体にすることによって、前記ジェスチャ入力手段は、ユーザによる物理的インタラクションによる前記機器本体の撓み量を検出する撓みセンサと、前記撓みセンサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することができる。 Alternatively, by the apparatus main body structure of flexible, the gesture input means, a gesture sensor deflection detecting the amount of deflection of said device body by a physical interaction by the user, the sensor output of the deflection sensor can be composed of a data acquisition unit that supplies to the processing means as inputs. そして、前記撓みセンサは前記機器本体の撓み量と撓み方向を検出して、撓み量と撓み方向の組み合わせに対してコンピュータ上のデータやコマンドをマッピングすることができる。 Then, the deflection sensor can detect the direction and deflection amount of bending of the device body, mapping data and commands on a computer to a combination of the deflection amount and the deflection direction.
【0028】 [0028]
このような場合、機器本体が変形することから、視覚的ディスプレイには有機EL素子のような可撓性の表示装置を利用するとともに、可撓性の静電容量型メッシュ・センサをタッチ・センサに利用するようにすればよい。 In this case, since the apparatus main body is deformed, the flexible as well as using the display device, the flexible touch sensor capacitive mesh sensors such as an organic EL element in a visual display it is sufficient to use to.
【0029】 [0029]
あるいは、前記ジェスチャ入力手段は、前記機器本体の左右両端に取り付けられた操作部と、前記機器本体に対して前記操作部を変形させる外力を検出する力センサと、前記回転センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することができる。 Alternatively, the gesture input means, gestures and attached operating unit on the left and right ends of the device body, and a force sensor for detecting an external force to deform the operating portion with respect to the device body, the sensor output of said rotation sensor can be composed of a data acquisition unit that supplies to the processing means as inputs. この場合、ユーザが機器本体を撓ませるような外力を操作部に印加すると、力センサがこれをジェスチャ入力として検出することができる。 In this case, when the user applies the operating unit an external force such as to deflect the apparatus main body, it is possible to force sensor detects this as a gesture input.
【0030】 [0030]
あるいは、前記ジェスチャ入力手段は、前記機器本体を変形させようと印加された外力を検出する圧力センサと、前記圧力センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することもできる。 Alternatively, the gesture input means composed of a pressure sensor for detecting an external force applied attempt to deform the device body, and said processing means for supplying the data acquisition unit of the sensor output of the pressure sensor as a gesture input it is also possible.
【0031】 [0031]
例えば、ユーザが機器本体の端部を親指と人差し指等で挟み込むように摘んで、撓ませるような外力を印加すると、圧力センサが親指から印加される圧力をジェスチャ入力として検出する。 For example, a user picking so as to sandwich the end portion of the main body with the thumb and index finger, etc., is applied an external force, such as to deflect, to detect the pressure at which the pressure sensor is applied from the thumb as a gesture input.
【0032】 [0032]
また、機器本体の上下の各面に力センサを配設することによって、単に力の強度を検出するだけでなく、ユーザが印加する物理的インタラクションの方向、すなわち前記機器本体を上下いずれの方向に撓ませようとしているかを判別することができる。 Further, by arranging a force sensor at the top and bottom of each side of the main body, not only detects the intensity of the force, the direction of the physical interaction by the user to apply, i.e. the apparatus body in the vertical either direction it is possible to determine whether you are trying deflect.
【0033】 [0033]
また、前記処理手段は、前記ジェスチャ入力手段を介したジェスチャ入力と前記方向入力手段を介した方向入力を同時で透過的に処理するようにしてもよい。 Further, the processing means may be adapted to process transparently direction input with simultaneous through the direction input means and gesture input via the gesture input means.
【0034】 [0034]
このような場合、前記処理手段は、前記方向入力手段を介して指定された前記ディスプレイ・スクリーン上のオブジェクトに対して、前記ジェスチャ入力手段を介した物理的インタラクションに応じた処理を適用するようことができる。 In this case, the processing means, for the object on the specified the display screen via the direction input means, it to apply a process corresponding to the physical interaction through the gesture input means can.
【0035】 [0035]
例えば、前記方向入力手段を介した指示座標を基に地図の表示場所をスクロールしながら、入力されたジェスチャに応じて縮尺を切り替えていく(物理的な操作量の増大とともにズームさせていく)といったインタラクションを行なうことができる。 For example, while scrolling the display location of the map on the basis of the designated coordinates via the direction input means, such as going to switch the scale in accordance with the input gesture (gradually zooms with increasing physical operation amount) it is possible to perform the interaction.
【0036】 [0036]
また、前記ジェスチャ入力手段は、ユーザが前記機器本体に印加した物理的インタラクションの強度を検出する力センサで構成され、前記処理手段は、前記力センサによる連続的なセンサ出力をインターフェース・コントロールのためのアナログ値として取り扱うようにしてもよい。 Further, the gesture input means comprises a force sensor for detecting the intensity of a physical interaction by the user is applied to the device body, the processing means, for a continuous sensor output by the force sensor of interface controls it may be treated as an analog value. そして、前記ジェスチャ手段を介してどれだけのアナログ値が入力されたかを、力感的提示部によってユーザに力覚的にフィードバックするようにしてもよい。 Then, whether analog value much through the gesture unit is input, it may be tactile feedback to the user by force sensation manner presentation unit.
【0037】 [0037]
あるいは、前記処理手段は、前記力センサによるセンサ出力が所定の閾値を越えたことに応答して、システムに対するコマンドを発行したり、インターフェースの状態や動作モードを切り替えたり、その他のGUIオペレーションを実行するなど、システム・オペレーションを制御するようにしてもよい。 Alternatively, the processing means, in response to the sensor output by the force sensor exceeds a predetermined threshold value, or issue a command to the system, to switch the state or operation mode of the interface, perform other GUI operations such as may be controlled system operation. また、前記ジェスチャ手段を介した物理的インタラクションが有効に作用したことをユーザに力覚的に通知するようにしてよい。 Further, it may be such that the force to inform the user that the physical interaction through the gesture means acts effectively.
【0038】 [0038]
例えば、ユーザは、方向入力手段を介してメニュー上の所望の要素が選択し、さらに機器本体を撓ませるような物理的インタラクションを行なえばよい。 For example, a user may select the desired element on the menu via the direction input means, may be performed physical interaction such as to further bend the device body. そして、このとき印加された外力が所定の閾値に到達したことに応答して、該当するメニュー・コマンドが実行される。 Then, in response to an external force applied at this time it has reached a predetermined threshold value, the appropriate menu command is executed.
【0039】 [0039]
あるいは、前記処理手段は、前記力センサにより検出された力のパターンを認識して特定のコマンドとして取り扱うようにしてもよい。 Alternatively, the processing means may be adapted handled as a specific command by recognizing a pattern of detected force by the force sensor.
【0040】 [0040]
例えば、機器本体を同じ方向又は逆方向に撓ませたり、異なる時刻に撓ませたり、所定の間隔を置いて撓ませたりすることによって、さまざまなジェスチャを作ることができる。 For example, deflecting the apparatus body in the same or opposite direction, or to deflect at different times, by or flexed at predetermined intervals, can make various gestures. そして、これら個々のジェスチャのパターンに対して、システム・オペレーション上のコマンドを割り当てることができる。 Then, for each of these gestures of the pattern can be assigned a command on system operation.
【0041】 [0041]
また、前記ジェスチャ手段を介した物理的インタラクションの認識並びに該当するコマンドの実行が成功したことをユーザに力覚的に通知するようにしてもよい。 Further, it is also possible to force to notify the user that the execution of the command to recognize and appropriate physical interaction through the gesture unit is successful.
【0042】 [0042]
要するに、本発明は、コンピュータ・インターフェースが方向入力若しくは座標指示と力の伝達を同時に行なうことができるコンピュータ・インターフェースを提供するものである。 In summary, the present invention is a computer interface provides a computer interface that can be performed at the same time the transmission of the direction input or the coordinate directions and forces. 多元的なユーザ入力を同時に行なうことができるので、操作性が高まるとともにインタラクションの表現力が増す。 Can be performed pluralistic user input at the same time, expressive power of interaction increases with the operability is enhanced.
【0043】 [0043]
このようなユーザ入力の組み合わせを用いることは、とりわけハンドヘルド若しくは携帯型、携行型のコンピュータにおいて効果的であり、ユーザに豊かなインタラクションをもたらすことができる。 Using a combination of such user input, especially hand-held or portable, are effective in portable type computer, it is possible to bring rich interaction user.
【0044】 [0044]
このようなインターフェースによれば、ユーザは、相違する直交性の情報に関するインタラクションを単一のジェスチャだけで実現することができる。 According to this interface, the user can realize an interaction regarding orthogonality of information differ by a single gesture. 例えば、市街地の地図をスクロールしながら同時に縮尺を変えていくといったインタラクションを単一のジェスチャにより行なうことができる。 For example, it is possible to perform the interaction such will change the scale at the same time while scrolling the city map with a single gesture.
【0045】 [0045]
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。 Further objects, features, and advantages of the present invention will become apparent from the detailed description based on embodiments of the invention and the accompanying drawings described below.
【0046】 [0046]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、図面を参照しながら本発明の実施形態について詳解する。 Hereinafter, described in detail embodiments of the present invention with reference to the drawings.
【0047】 [0047]
図1には、本発明の一実施形態に係る携帯型機器100のハードウェア構成を模式的に示している。 Figure 1 is a hardware configuration of the portable device 100 according to an embodiment of the present invention is schematically shown.
【0048】 [0048]
同図に示すように、携帯型機器100は、メイン・コントローラとしてのプロセッサ・ユニット108と、ユーザ入力を行なうインターフェースとして力センサ101、撓みセンサ102、圧力センサ103、回転センサ104、並びにユーザが2次元位置を入力するためのタッチ・センサ105と、ユーザ出力を行なうインターフェースとしての視覚的ディスプレイ106並びに力覚的(Tactile)ディスプレイ109を備えている。 As shown in the drawing, the portable device 100 includes a processor unit 108 as a main controller, the force sensor 101 as an interface for user input, the deflection sensor 102, pressure sensor 103, rotational sensor 104, and the user 2 a touch sensor 105 for inputting a dimension position, and a visual display 106 and ChikaraSatoshiteki (Tactile) display 109 as an interface for user output.
【0049】 [0049]
プロセッサ・ユニット108は、例えば、処理エンジンとしてのCPU(Central Processing Unit)と、実行プログラムをロードしたり作業データを一時保存するRAM(Random Access Memory)、プログラム・コードやその他のデータを恒久的に格納するROM(Read Only Memory)などの組み合わせで構成され、オペレーティング・システム(OS)が提供する実行環境下で、ユーザのジェスチャなどの物理的なインタラクションを利用したアプリケーションを実行する。 Processor unit 108 is, for example, a CPU (Central Processing Unit) as a processing engine, RAM for temporarily storing work data to load the execution program (Random Access Memory), a program code or other data permanently is a combination of such storage is ROM (Read Only Memory), under execution environment provided by an operating system (OS), to run the application using the physical interaction such as a user's gesture.
【0050】 [0050]
視覚的ディスプレイ106は、例えば液晶表示ディスプレイ(LCD)などで構成され、プロセッサ・ユニット108における処理結果を視覚表示する。 Visual display 106, for example, a liquid crystal display display (LCD), a visually displays the processing results of the processor unit 108.
【0051】 [0051]
また、タッチ・センサ105は、例えば、視覚的ディスプレイ106に重畳されていてもよい。 The touch sensor 105 may, for example, may be superimposed on the visual display 106. あるいは、機器100本体の視覚的ディスプレイ106とは反対側(すなわち、機器100の背面側)に配設されている。 Alternatively, it is disposed on the opposite side (i.e., the back side of the device 100) and the visual display 106 of device 100 main body. 後者の場合、ユーザは、機器100正面の表示スクリーン上の表示内容を確認しながら、その背面を指先で走査することによって2次元的な座標指示を行なうことができる。 In the latter case, the user, while confirming the display contents on the display screen of the device 100 front, by scanning the back with the fingertips can perform two-dimensional coordinate instruction. したがって、座標指示を行なう指先が視覚的ディスプレイ106の表示スクリーンを遮ることはない。 Accordingly, the fingertip for performing coordinate instruction never block the display screen of the visual display 106.
【0052】 [0052]
力覚的ディスプレイ109は、プロセッサ・ユニット108における処理結果を力覚的にフィードバックするためのデバイスである。 ChikaraSatoshiteki display 109 is a device for feeding back the processing result of the processor unit 108 tactile. 力覚的ディスプレイ109に任意の制御信号を印加することにより、力覚パターンを自由に変更することができる。 By applying any of the control signals to ChikaraSatoshiteki display 109, it is possible to change the force sense pattern freely. プロセッサ・ユニット108は処理結果データに従って電圧の時間関数である制御信号を生成すればよい。 The processor unit 108 may generate a control signal which is a time function of the voltage in accordance with the processing result data. 例えば、多層ピエゾ可撓性アクチュエータで力覚的ディスプレイ109を構成することができる。 For example, it is possible to configure the ChikaraSatoshiteki display 109 in the multilayer piezoelectric flexible actuator. 多層ピエゾ・アクチュエータは、上層ピエゾ・アクチュエータと、下層ピエゾ・アクチュエータからなり、上層及び下層の各ピエゾ・アクチュエータに対して逆方向の電圧を印加することによって、上層を収縮させると同時に下層を拡張させて、多層ピエゾ可撓性アクチュエータ全体としては、上方あるいは下方に撓ませることができる。 Multilayer piezo actuator, and the upper layer piezoelectric actuator, made from a lower layer piezoelectric actuator by applying a reverse voltage to the upper and lower layers each piezo actuator, to expand the lower and at the same time contracting the upper layer Te, as a whole multilayer piezoelectric flexible actuator may be bent upward or downward. なお、力覚的ディスプレイに関しては、本出願人に既に譲渡されている特願2002−18228号明細書に記述されている。 Regarding the ChikaraSatoshiteki display, it is described in 2002-18228 Japanese Patent Application No. which has already been assigned to the present assignee.
【0053】 [0053]
力センサ101、撓みセンサ102、圧力センサ103、回転センサ104は、ユーザのジェスチャなどの物理的なインタラクションを検出して、コンピュータ・データとして取り込むためのデバイスである。 The force sensor 101, the deflection sensor 102, pressure sensor 103, rotation sensor 104 detects a physical interaction such as a user's gesture is a device for capturing as computer data. 物理的なインタラクションを取得するために、携帯型機器100がこれらすべてのセンサ101〜104を装備する必要はなく、これらのうち少なくとも1つを備えていればよい。 To obtain the physical interaction need not portable device 100 is equipped with all the sensors 101 to 104 thereof, may include at least one of these.
【0054】 [0054]
データ取得部107は、これらのセンサ出力をデジタライズしてプロセッサ・ユニット108に供給する。 Data acquisition unit 107 supplies the processor unit 108 to Dejitaraizu these sensor outputs. そして、プロセッサ・ユニット108においては、タッチ・センサ105からの2次元位置の入力と、データ取得部107を介したジェスチャ入力とを同時で透過的に処理することにより、相違する直交性の情報に関するインタラクションを単一のジェスチャだけで実現することができる。 Then, in the processor unit 108, an input of the two-dimensional position of the touch sensor 105, by treating transparently simultaneously the gesture input via the data acquisition unit 107, to the orthogonality of the information to be different from it is possible to realize the interaction of only a single gesture. プロセッサ・ユニット108は、例えば、市街地の地図をスクロールしながら同時に縮尺を変えていくといったインタラクションを提供する。 Processor unit 108, for example, providing an interaction such as will change the scale at the same time while scrolling the city map. ジェスチャを基調とするインタラクションは、直感的で効率的であり、また楽しい。 Interaction of tones and gestures are intuitive, efficient, and fun.
【0055】 [0055]
図2には、携帯型機器100の外観構成の一例を示している。 Figure 2 shows an example of the appearance of the portable device 100. 同図に示す例では、携帯型機器100本体の左右両端縁にそれぞれ操作部111が回動可能にヒンジ結合されている。 In the example shown in the figure, the operation unit 111 are respectively rotatably hinged to left and right end edges of the portable device 100 main body. また、ヒンジ部分には回転センサ104が装備されており、機器100本体に対する操作部111の回転操作量を検出することができる。 Further, the hinge is equipped with a rotation sensor 104 can detect the rotation operation amount of the operation unit 111 of the appliance 100 itself.
【0056】 [0056]
例えば、ユーザは図示のようにそれぞれの手で左右の操作部111をつかんで、機器100本体に対して操作部111を撓ませることができる。 For example, a user may grasp the operation portion 111 of the left and right in each hand as shown, it is possible to deflect the operation unit 111 to the device 100 main body. このとき、回転センサ104によって検出された回転操作量はジェスチャ入力としてデータ取得部107を介してプロセッサ・ユニット108に与えられる。 At this time, the rotational operation amount detected by the rotation sensor 104 is provided to the processor unit 108 via the data acquisition unit 107 as a gesture input. このようなジェスチャ入力は、視覚的ディスプレイ106の表示内容を確認しながら行なうことができる。 Such gesture input can be performed while confirming the display contents of the visual display 106. ユーザは機器100本体の左右側縁をつかんでジェスチャ入力を行なうことから、表示スクリーンが遮られるというオクルージョンの問題はない。 User from doing a gesture input by grasping left and right side edges of the device 100 main body, there is no occlusion of the problem the display screen is blocked.
【0057】 [0057]
機器100本体に対して操作部111を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。 Gesture that deflect the operation unit 111 to the device 100 main body, which can be intuitively carried out according to the user's feeling or impulse, an efficient physical interaction.
【0058】 [0058]
また、図3には、図2に示した携帯型機器100の変形例を示している。 Further, FIG. 3 shows a modification of the portable device 100 shown in FIG.
【0059】 [0059]
図示の通り、機器100本体の正面側に視覚的ディスプレイ106が配設されるとともに、その反対側すなわち機器100の背面側にはタッチ・センサ105が配設されている。 As shown, together with the visual display 106 is disposed on the front side of the device 100 main body, the touch sensor 105 is disposed on the rear side of the opposite side, i.e. device 100. したがって、ユーザは、機器100正面の表示スクリーン上の表示内容を確認しながら、その背面を指先で走査することによって2次元的な座標指示を行なうことができる。 Therefore, the user, while confirming the display contents on the display screen of the device 100 front, by scanning the back with the fingertips can perform two-dimensional coordinate instruction. このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。 In this case, the fingertip for performing coordinate instruction will not block the display screen. また、正面側の視覚的ディスプレイ106上にGUI操作画面を用意するとともに、背面側のタッチ・センサ105上での座標指示位置に応じてこのGUI操作画面上にカーソルを表示して、タッチ・センサ105上での2次元的な座標指示入力と視覚的ディスプレイ106上でのGUI操作を連動させてもよい。 Also, with providing a GUI operation screen on the visual display 106 on the front side, and displays a cursor on the GUI operation screen in accordance with the coordinate pointing position on the back side of the touch sensor 105, the touch sensor the GUI operations on the two-dimensional coordinate pointing and visual display 106 on 105 may be interlocked.
【0060】 [0060]
プロセッサ・ユニット108では、左右の操作部111を用いたジェスチャ入力と、タッチ・センサ105を介した2次元的な座標指示入力を同時で透過的に処理することができる。 The processor unit 108 may be transparently processed and gesture input using the left and right operating section 111, a two-dimensional coordinate instruction input via the touch sensor 105 at the same time. 例えば、市街地の地図表示アプリケーションにおいて、タッチ・センサ105による指示座標を基に地図の表示場所をスクロールしながら、ジェスチャすなわち操作部111の回転操作量に応じて縮尺を切り替えていく(回転操作量の増大とともにズームさせていく)といったインタラクションを行なうことができる。 For example, the city map display application, while scrolling based on a display location of the map designated coordinates by the touch sensor 105, will switch the scale in accordance with the rotation operation amount of the gesture i.e. the operation unit 111 (the rotational operation amount of the It zooms with increasing can be performed interactions such are going).
【0061】 [0061]
図4には、携帯型機器100のさらに他の変形例を示している。 Figure 4 shows still another modification of the portable device 100.
【0062】 [0062]
図示の通り、機器100本体の正面側に視覚的ディスプレイ106が配設されるとともに、その反対側すなわち機器100の背面側にはタッチ・センサ105が配設されている。 As shown, together with the visual display 106 is disposed on the front side of the device 100 main body, the touch sensor 105 is disposed on the rear side of the opposite side, i.e. device 100. ユーザは、機器100正面の表示スクリーン上の表示内容を確認しながら、その背面のタッチ・センサ105上を指先で走査することによって2次元的な座標指示を行なうことができる。 The user, while confirming the display contents on the display screen of the device 100 front, it is possible to perform a two-dimensional coordinate instruction by scanning the touch sensor 105 on the back with the fingertips. このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。 In this case, the fingertip for performing coordinate instruction will not block the display screen.
【0063】 [0063]
勿論、正面側の視覚的ディスプレイ106上にGUI操作画面を用意するとともに、背面側のタッチ・センサ105上での座標指示位置に応じてこのGUI操作画面上にカーソルを表示して、タッチ・センサ105上での2次元的な座標指示入力と視覚的ディスプレイ106上でのGUI操作を連動させてもよい。 Of course, as well as providing a GUI operation screen on the visual display 106 on the front side, and displays a cursor on the GUI operation screen in accordance with the coordinate pointing position on the back side of the touch sensor 105, the touch sensor the GUI operations on the two-dimensional coordinate pointing and visual display 106 on 105 may be interlocked.
【0064】 [0064]
また、この変形例では、ジェスチャ入力の手段として、機器100本体に対する操作部の回転量ではなく、機器100本体に印加される撓みを利用する。 Further, in this modification, as a means of gesture input, rather than the rotation amount of the operation unit of the appliance 100 body, utilizing a deflection it is applied to the device 100 main body. この場合、機器100本体に内蔵されている撓みセンサ102からのセンサ出力を基にユーザの物理的なインタラクションを計測する。 In this case, measuring the physical interaction of the user based on the sensor output from the deflection sensor 102 is incorporated in the device 100 itself. そして、プロセッサ・ユニット108は、データ取得部107を介してジェスチャ入力を取得する。 The processor unit 108 acquires the gesture input via the data acquisition unit 107.
【0065】 [0065]
この実施形態では、ジェスチャ入力に応じて機器100本体が変形する。 In this embodiment, device 100 main body is deformed in accordance with the gesture input. このため、視覚的ディスプレイ106には有機EL素子のような可撓性の表示装置を利用するとともに、可撓性の静電容量型メッシュ・センサをタッチ・センサ105に利用するようにすればよい。 Therefore, the use of the flexible display device such as an organic EL element in visual display 106, it is sufficient to use the flexible capacitive mesh sensor in the touch sensor 105 .
【0066】 [0066]
図5には、携帯型機器100のさらに他の変形例を示している。 FIG. 5 shows another modification of the portable device 100.
【0067】 [0067]
図示の通り、機器100本体の正面側に視覚的ディスプレイ106が配設されるとともに、その反対側すなわち機器100の背面側にはタッチ・センサ105が配設されている。 As shown, together with the visual display 106 is disposed on the front side of the device 100 main body, the touch sensor 105 is disposed on the rear side of the opposite side, i.e. device 100. ユーザは、機器100正面の表示スクリーン上の表示内容を確認しながら、その背面のタッチ・センサ105上を指先で走査することによって2次元的な座標指示を行なうことができるので、座標指示を行なう指先が表示スクリーンを遮ることはない。 The user, while confirming the display contents on the display screen of the device 100 front, it is possible to perform the two-dimensional coordinates indicated by scanning the touch sensor 105 on the back with the fingertips, the coordinates indication fingertip is not able to block the display screen.
【0068】 [0068]
勿論、正面側の視覚的ディスプレイ106上にGUI操作画面を用意するとともに、背面側のタッチ・センサ105上での座標指示位置に応じてこのGUI操作画面上にカーソルを表示して、タッチ・センサ105上での2次元的な座標指示入力と視覚的ディスプレイ106上でのGUI操作を連動させてもよい。 Of course, as well as providing a GUI operation screen on the visual display 106 on the front side, and displays a cursor on the GUI operation screen in accordance with the coordinate pointing position on the back side of the touch sensor 105, the touch sensor the GUI operations on the two-dimensional coordinate pointing and visual display 106 on 105 may be interlocked.
【0069】 [0069]
また、同図に示す例では、携帯型機器100本体の左右両端縁にそれぞれ操作部111が力センサ101を介して連結されている。 Further, in the example shown in the figure, the operation unit 111 respectively are connected through a force sensor 101 to the right and left end edges of the portable device 100 main body. したがって、ユーザが機器100本体を撓ませるような外力を操作部111に印加すると、力センサ101がこれをジェスチャ入力として検出する。 Therefore, when the user applies the operating unit 111 an external force such as bending the device 100 main body, a force sensor 101 detects this as a gesture input.
【0070】 [0070]
したがって、ユーザは、機器100本体の左右を両手で把持して、視覚的ディスプレイ106を眺めながら親指を押し付けることによって、座標指示入力と同時に透過的なジェスチャ入力を行なうことができる。 Accordingly, the user grips the right and left of the apparatus 100 body with both hands, by pressing the thumb while viewing the visual display 106, can be performed simultaneously transparent gesture input and coordinate pointing. 機器100本体を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。 Gesture that deflect the apparatus 100 body, which can be intuitively carried out according to the user's feeling or impulse, an efficient physical interaction.
【0071】 [0071]
この実施形態では、ジェスチャ入力に応じて機器100本体が変形することはないので、視覚的ディスプレイ106として可撓性のデバイスを使用する必要は必ずしもない。 In this embodiment, since it is not that the device 100 main body is deformed in accordance with the gesture input is not always necessary to use the flexibility of the device as a visual display 106.
【0072】 [0072]
図6には、携帯型機器100のさらに他の変形例を示している。 Figure 6 shows still another modified example of the portable device 100.
【0073】 [0073]
図示の通り、機器100本体の正面側に視覚的ディスプレイ106が配設されるとともに、その反対側すなわち機器100の背面側にはタッチ・センサ105が配設されている。 As shown, together with the visual display 106 is disposed on the front side of the device 100 main body, the touch sensor 105 is disposed on the rear side of the opposite side, i.e. device 100. ユーザは、機器100正面の表示スクリーン上の表示内容を確認しながら、その背面のタッチ・センサ105上を指先で走査することによって2次元的な座標指示を行なうことができる。 The user, while confirming the display contents on the display screen of the device 100 front, it is possible to perform a two-dimensional coordinate instruction by scanning the touch sensor 105 on the back with the fingertips. このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。 In this case, the fingertip for performing coordinate instruction will not block the display screen.
【0074】 [0074]
勿論、正面側の視覚的ディスプレイ106上にGUI操作画面を用意するとともに、背面側のタッチ・センサ105上での座標指示位置に応じてこのGUI操作画面上にカーソルを表示して、タッチ・センサ105上での2次元的な座標指示入力と視覚的ディスプレイ106上でのGUI操作を連動させてもよい。 Of course, as well as providing a GUI operation screen on the visual display 106 on the front side, and displays a cursor on the GUI operation screen in accordance with the coordinate pointing position on the back side of the touch sensor 105, the touch sensor the GUI operations on the two-dimensional coordinate pointing and visual display 106 on 105 may be interlocked.
【0075】 [0075]
また、この変形例では、ジェスチャ入力の手段として、機器100本体の左右の両端には、表裏双方に圧力センサ103が配設されている。 Further, in this modification, as a means of gesture input, the both ends of the left and right of the device 100 main body, a pressure sensor 103 is disposed on the front and back both. したがって、ユーザが機器100本体の端部を親指と人差し指等で挟み込むように摘んで、撓ませるような外力を印加すると、圧力センサ103が親指から印加される圧力をジェスチャ入力として検出する。 Therefore, the user by pinching so as to sandwich the end portion of the device 100 main body with the thumb and index finger, etc., is applied an external force, such as to deflect, to detect the pressure by the pressure sensor 103 is applied from the thumb as a gesture input.
【0076】 [0076]
したがって、ユーザは、機器100本体の左右を両手で把持して視覚的ディスプレイ106を眺めながら、親指と人差し指等で挟み込んだ姿勢で機器100本体の表面をせり出すように上方向に撓ませる力を印加したり、あるいは表面を凹ませるように下方向に力を印加することによって、座標指示入力と同時に透過的なジェスチャ入力を行なうことができる。 Therefore, the user applies a force to deflect the left and right of the device 100 main body while looking at the visual display 106 is gripped with both hands, in sandwiched position between thumb and forefinger or the like upward to pushed out of the surface of the device 100 body by applying a downward force or, or, as recessed surface, it can be performed simultaneously transparent gesture input and coordinate pointing. 機器100本体を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。 Gesture that deflect the apparatus 100 body, which can be intuitively carried out according to the user's feeling or impulse, an efficient physical interaction.
【0077】 [0077]
この実施形態では、ジェスチャ入力に応じて機器100本体が変形することはないので、視覚的ディスプレイ106として可撓性のデバイスを使用する必要は必ずしもない。 In this embodiment, since it is not that the device 100 main body is deformed in accordance with the gesture input is not always necessary to use the flexibility of the device as a visual display 106.
【0078】 [0078]
圧力センサ103を用いてジェスチャ入力を実現するためのメカニズムを、図7〜図8を参照しながら説明する。 A mechanism for realizing the gesture input using the pressure sensor 103 will be described with reference to FIGS. 7-8.
【0079】 [0079]
図7に示すように、2つの圧力センサ103が機器100本体の正面及び背面にそれぞれ貼設されている。 As shown in FIG. 7, two pressure sensors 103 are affixed respectively to the front and back of the device 100 main body. そして、一方の手の親指並びに人差し指等を用いて各々の面で圧力センサ103に触れている。 Then, touching the pressure sensor 103 at each side with a thumb and forefinger or the like of one hand.
【0080】 [0080]
ユーザは、このように親指並びに人差し指等で挟み込むように摘んで、機器100本体の表面をせり出すように上方向に撓ませる力を印加したり、あるいは表面を凹ませるような下方向に力を印加することができる。 The user, by holding so as to sandwich this manner by the thumb and forefinger or the like, or by applying a force to deflect upward as pushed out of the surface of the device 100 main body, or a downward force, such as recessed surface applied can do. ユーザが機器100本体に対していずれの方向に力を印加しているかは、正面及び背面それぞれに配設した圧力センサ103間のセンサ出力の差分によって検出することができる。 If the user applies a force in any direction relative to the device 100 main body can be detected by the difference of the sensor output between the pressure sensor 103 which is arranged in each front and rear. すなわち、正面側の圧力センサ103の出力の方が背面側よりも大きければ下方向の力が印加され、下方向へのジェスチャ入力が行なわれていると判断される(図8を参照のこと)。 That is downward force is applied if the direction of the output of the pressure sensor 103 on the front side is greater than the rear side, is determined to have been performed gesture input downward (see FIG. 8) .
【0081】 [0081]
勿論、圧力センサ103を正面又は背面のいずれか一方にのみ配設して、構造を簡素化してもよい。 Of course, by arranging only the pressure sensor 103 to either the front or the back, it may be simplified structure. このような場合、力の印加はいずれか一方においてのみ可能で、また圧力の大小のみでジェスチャ入力が行なわれる。 In such cases, application of force only possible in either, also the gesture input is performed only by the magnitude of the pressure.
【0082】 [0082]
本発明は、コンピュータ・インターフェースが座標指示と力の伝達を同時に行なうことができるコンピュータ・インターフェースを提供するものである。 The present invention computer interface provides a computer interface that can perform the transmission of the coordinate indicator and the force at the same time. 図3〜図6に示したように、本発明に係る携帯型機器100における必須の構成として、タッチ・パネル105を機器100本体の背面に配設することが挙げられる。 As shown in FIGS. 3 to 6, as an essential constituent in the portable apparatus 100 according to the present invention, it is exemplified by disposing the touch panel 105 on the back of the device 100 main body. このような構成により、ユーザは、機器本体の左右両端を両手で把持することにより、ごく自然に機器100を持つことができる。 With this configuration, the user, by gripping the left and right ends of the main body with both hands, it is possible to have a device 100 a natural. そして、ユーザは、手で機器100本体に力を伝達してジェスチャ入力を行なうと同時に、タッチ・パネル105上に置いた指先を自由に移動することによって、座標指示入力を透過的に行なうことができる。 The user, at the same time to transmit a force to the device 100 main body by hand performing a gesture input by moving the fingertip placed on the touch panel 105 freely, is possible to coordinate pointing transparently it can.
【0083】 [0083]
このようなコンピュータ・インターフェースによれば、キーボードやマウス、ペンなどを使用しなくても、ハンドヘルド型のコンピュータに対して複雑なインタラクションを実現することができる。 According to such a computer interface, a keyboard, a mouse, without using a pen, it is possible to realize a complex interaction against handheld computer. また、機器の視覚的ディスプレイ106を遮るという問題もない。 In addition, there is no problem that obstructs the visual display 106 of the device. したがって、このコンピュータ・インターフェースを、小型の表示ディスプレイしか持たない機器と組み合わせることにより、快適な操作環境を提供することができる。 Thus, the computer interface, combined with equipment that has only a small display displaying, it is possible to provide a comfortable operating environment.
【0084】 [0084]
携帯型機器100は、タッチ・パネル105上に指先を置いて座標指示のためのインタラクションを行ないながら、ユーザが機器本体に力を印加してジェスチャ入力インタラクションを行ない易いようなフォームファクタを備えていることが好ましい。 The portable device 100, while performing an interaction for the coordinate indicator at the fingertips on the touch panel 105, the user is provided with a form factor that easily performs gesture input interaction by applying a force to the device body it is preferable.
【0085】 [0085]
本実施形態に係る携帯型機器100によれば、視覚的ディスプレイ106によって提供された表示情報又はGUIオブジェクトに対して座標指示入力を行なうと同時に、ジェスチャ入力に応答して指示された特定の位置に対してさらなる処理を適用することができる。 According to the portable device 100 according to this embodiment, at the same time it performs the coordinate pointing to the display information or the GUI objects provided by the visual display 106, the specific position indicated in response to the gesture input it can be applied further processing for. 以下では、本実施形態に係る携帯型機器100におけるこのようなデータの同時入力の方法について説明する。 The following describes such a method for the simultaneous input of data in the portable device 100 according to this embodiment.
【0086】 [0086]
(1)座標指示入力と連続的な力制御の組み合わせ: (1) continuous force control and coordinate pointing in combination:
この場合、ユーザが機器100本体に印加する力は、インターフェース・コントロールにおけるアナログ値にマッピングされる。 In this case, the force the user applies to the device 100 main body is mapped to an analog value in the interface controls.
【0087】 [0087]
例えば、視覚的ディスプレイ106上に地図を表示して、機器100本体背面のタッチ・パネル105を利用して地図上の場所を指示すると同時に、ユーザの物理的インタラクションを力センサ101で検出して、このセンサ出力に従って地図の縮尺をコントロールする。 For example, by displaying a map on the visual display 106, and at the same time indicate where on the map by using the apparatus 100 Rear touch panel 105, detecting a physical interaction of the user with a force sensor 101, to control the scale of the map in accordance with the sensor output. そして、機器100本体に印加された撓み量が小さければ視覚的ディスプレイ106上の地図表示を拡大又は縮小する。 Then, to enlarge or reduce the map displayed on the visual display 106 the smaller the amount of deflection applied to the device 100 main body. また、機器100が剛体で力を加えても実際には変形しない場合には、どれだけのアナログ値が機器100本体に入力されたかを力覚的ディスプレイ109を用いてユーザにフィードバックするようにしてもよい。 Further, when the device 100 is not deformed in fact be a force in rigid body, which analog value only so as to feedback to the user using the ChikaraSatoshiteki display 109 or input to the device 100 body it may be.
【0088】 [0088]
(2)座標指示入力と閾値を越えた力制御の組み合わせ: (2) the force control beyond the coordinate pointing and threshold combination:
ユーザが機器100本体に印加した力が所定の閾値を越えたときに、システムに対するコマンドを発行したり、インターフェースの状態や動作モードを切り替えたり、その他のGUIオペレーションを実行する。 User when a force applied to the device 100 main body exceeds a predetermined threshold value, or issue a command to the system, to switch the state or operation mode of the interface, perform other GUI operations.
【0089】 [0089]
例えば、ユーザは、タッチ・パネル105を介してメニュー上のセレクタを移動してメニューを閲覧することができる。 For example, the user can browse a menu by moving the selector on the menu through the touch panel 105. 所望の要素が選択されたときに、さらに機器100本体を撓ませるような物理的インタラクションを行なえばよい。 When the desired element is selected may be performed a physical interaction such as to further bend the device 100 main body. そして、このとき印加された外力が所定の閾値に到達したことに応答して、該当するメニュー・コマンドが実行される。 Then, in response to an external force applied at this time it has reached a predetermined threshold value, the appropriate menu command is executed. ユーザが行なったジェスチャの力が所定レベルに到達して、物理的インタラクションが有効に作用したことを、例えば力覚的ディスプレイ109を用いてユーザに通知するようにしてもよい。 The force of user performs the gesture has reached the predetermined level, that the physical interaction acts effectively, for example, a ChikaraSatoshiteki display 109 may be notified to the user using.
【0090】 [0090]
(3)座標指示入力とジェスチャ・ベースの力制御: (3) coordinate pointing and gesture-based force control:
機器100本体に印加された力のパターンを認識して、特定のコマンドとして取り扱う。 Recognizes the pattern of the force applied to the device 100 main body, treated as a specific command.
【0091】 [0091]
例えば、ユーザは視覚的ディスプレイ106上で表示されている地図上で所望の位置をタッチ・パネル105を介して走査して、さらに、機器100本体を垂直方向に2回だけ瞬時に撓ませることによって、画面表示を切り替える。 For example, a user may scan through a visual display 106 on the touch panel 105 a desired position on the map displayed, in addition, by deflecting the instant only twice a device 100 main body in the vertical direction to switch the screen display.
【0092】 [0092]
このような場合、例えば機器100本体を同じ方向又は逆方向に撓ませたり、異なる時刻に撓ませたり、所定の間隔を置いて撓ませたりすることによって、さまざまなジェスチャを作ることができる。 In such a case, for example, or to bend the device 100 main body in the same or opposite direction, or to deflect at different times, by or flexed at predetermined intervals, can make various gestures. そして、機器100本体に印加した物理的インタラクションの認識並びに該当するコマンドの実行が成功したことを、例えば力覚的ディスプレイ109を用いてユーザに通知するようにしてもよい。 Then, it may be, for example so as to notify the user using the ChikaraSatoshiteki display 109 that the recognition and execution of the appropriate command for physical interaction applied to the device 100 main body is successful.
【0093】 [0093]
図9には、ジェスチャ入力を利用したシステム・オペレーションをフローチャートの形式で示している。 Figure 9 shows a system operation utilizing a gesture input in the form of a flowchart. このような処理は、実際には、所定のプログラム・コードを起動するプロセッサ・ユニット108が、ジェスチャ入力並びにタッチ・パネル105を介した座標指示入力を同時且つ透過的に取り扱うことによって実現される。 Such processing is, in reality, the processor unit 108 which starts a predetermined program code is implemented by handling the coordinate instruction input via the gesture input and the touch panel 105 simultaneously and transparently.
【0094】 [0094]
まず、タッチ・パネル105を介した指示座標値(X,Y)、並びに力センサ101で検出された力F、若しくは撓みセンサ102、圧力センサ103、回転センサ104を介したジェスチャを入力する(ステップS1)。 First, it indicated coordinate values ​​via a touch panel 105 (X, Y), and the detected force F at the force sensor 101, or the deflection sensor 102, pressure sensor 103, and inputs a gesture through the rotation sensor 104 (step S1).
【0095】 [0095]
ここで、ユーザがジェスチャを形成した場合(例えば、機器100本体を2回だけ変形させる)には(ステップS2)、力覚的ディスプレイ109を介してユーザに力覚的フィードバックを返した後(ステップS3)、メニューを表示するなど所定のアクションを実行する(ステップS4)。 Here, when the user forms the gesture (e.g., device 100 simply deforming twice body) to (step S2), and after returning the tactile feedback to the user via the ChikaraSatoshiteki display 109 (step S3), and executes a predetermined action such as displaying a menu (step S4). また、ユーザがジェスチャを行なわなかった場合には、入力データの読み込みを継続する(ステップS5)。 Also, if the user has not performed the gesture continues to read the input data (step S5).
【0096】 [0096]
また、タッチ・パネル105を介した座標指示入力が行なわれた場合には、支持座標に対応するGUIオブジェクトを探索する(ステップS6)。 Further, when the coordinate pointing is performed via the touch panel 105 searches the GUI object corresponding to the supporting coordinates (step S6).
【0097】 [0097]
次いで、指定されたGUIオブジェクトがメニュー項目やハイパーリンクなどの選択可能なオブジェクトかどうかを判別する(ステップS7)。 Then, the specified GUI objects to determine if the selectable objects such as menu items and hyperlinks (step S7).
【0098】 [0098]
そして、指定されたGUIオブジェクトが選択可能である場合には、さらに、ジェスチャ入力により機器100本体に印加された力Fが所定の閾値を越える(あるいは、ジェスチャ入力の程度が所定レベルを越える)かどうかを判別する(ステップS8)。 Then, if the specified GUI object is selectable, further force F applied to the device 100 main body by gesture input exceeds a predetermined threshold value (or the degree of gesture input exceeds a predetermined level), or to determine whether (step S8).
【0099】 [0099]
力Fが所定の閾値を越える場合には、入力されたジェスチャを有効化して、力覚的ディスプレイ109を介してユーザに力覚的フィードバックを返した後(ステップS9)、選択されたメニューの実行やハイパーリンクの探索など、指示座標に基づくコマンドを発行する(ステップS10)。 When the force F exceeds a predetermined threshold, and enable the input gesture, after returning the tactile feedback to the user via the ChikaraSatoshiteki display 109 (step S9), and executing the selected menu etc. and search for hyperlinks, it issues a command based on the designated coordinates (step S10). また、力Fが所定の閾値に達しないなどジェスチャ入力が有効化されなかった場合には、入力データの読み込みを継続する(ステップS11)。 Further, when a force F is not enabled gesture input etc. does not reach the predetermined threshold value, it continues to read the input data (step S11).
【0100】 [0100]
また、ステップS7において、選択可能なGUIオブジェクトが指示されていないと判断された場合には、さらに、このGUIオブジェクトが縮尺や色合い、サイズといった連続的な値をコントロールするものかどうかを判別する(ステップS12)。 Further, in step S7, if the selectable GUI object is determined not to be instructed, further determines whether or not the GUI object to control the continuous value scale and colors, such as the size ( step S12).
【0101】 [0101]
GUIオブジェクトが連続的な値をコントロールするものである場合には、機器100本体に印加された力F(あるいは、その他の入力されたジェスチャ)を、地図表示のズームなど制御値の変更にマッピングする(ステップS13)。 If GUI object is to control a continuous value, the force applied to the apparatus 100 body F (or other input gesture), and maps to a change in the control value such as a map display zooming (step S13). そして、力覚的ディスプレイ109を介してユーザに力覚的フィードバックを返した後(ステップS14)、入力データの読み込みを継続する(ステップS15)。 Then, after returning the tactile feedback to the user via the ChikaraSatoshiteki display 109 (step S14), and continues the reading of input data (step S15).
【0102】 [0102]
また、ステップS12における判断結果が否定的である場合には、指示されたGUIオブジェクトがヘルプやプレビュー、他のビューなどの付加的な情報レイヤを持つかどうかをさらに判別する(ステップS16)。 Further, the determination in step S12 if it is negative, further determines whether the designated GUI object has additional information layers, such as help and preview, other views (step S16).
【0103】 [0103]
付加的な情報レイヤを持つ場合には、ジェスチャ入力による連続的なコントロールが可能かどうかを判別する(ステップS17)。 If having additional information layer determines whether it is possible to continuously control with gesture input (step S17). そして、ジェスチャ入力による連続的なコントロールが可能である場合には、機器100本体に印加された力F(あるいは、その他の入力されたジェスチャ)を、ズーム・イン/アウトやブレンドなど付加的な情報レイヤにマッピングする(ステップS18)。 When it is possible to continuously control with the gesture input device 100 is applied to the body the force F (or other input gesture), and additional information such as zoom-in / out or blend mapping to layer (step S18). そして、力覚的ディスプレイ109を介してユーザに力覚的フィードバックを返した後(ステップS19)、入力データの読み込みを継続する(ステップS20)。 Then, after returning the tactile feedback to the user via the ChikaraSatoshiteki display 109 (step S19), and continues the reading of input data (step S20).
【0104】 [0104]
一方、ジェスチャ入力による連続的なコントロールが可能でない場合には、さらに、機器100本体に印加された力Fが所定の閾値を越える(あるいは、ジェスチャ入力の程度が所定レベルを越える)かどうかを判別する(ステップS21)。 On the other hand, if it is not possible continuously controlled by gesture input, further force F applied to the device 100 main body exceeds a predetermined threshold value (or the degree of gesture input exceeds a predetermined level) whether the determination (step S21). 力Fが所定の閾値を越える場合には、力覚的ディスプレイ109を介してユーザに力覚的フィードバックを返した後(ステップS22)、ポップ・アップ・ヘルプなどの付加的な情報を表示する(ステップS23)。 When the force F exceeds a predetermined threshold, after returning the tactile feedback to the user via the ChikaraSatoshiteki display 109 (step S22), and displays additional information such as pop-up help ( step S23). また、力Fが所定の閾値に達しないなどジェスチャ入力が有効化されなかった場合には、入力データの読み込みを継続する(ステップS24)。 Further, when a force F is not enabled gesture input etc. does not reach the predetermined threshold value, it continues to read the input data (step S24).
【0105】 [0105]
また、ステップS16において、指示されたGUIオブジェクトが付加的な情報を持たないと判別された場合には、入力データの読み込みを継続する(ステップS25)。 Further, in step S16, when it is determined that the designated GUI object has no additional information will continue to read the input data (step S25).
【0106】 [0106]
以上説明してきたように、本実施形態に係るジェスチャ入力は、マウスやタッチ・スクリーン、キーボードなどを使用しないハンドヘルド型の機器におけるインタラクションに利用することができる。 As has been described, the gesture input according to the present embodiment can be utilized a mouse or touch screen, etc. interaction in handheld devices that do not use the keyboard. 例えば以下のような用途を挙げることができる。 Mention may be made, for example, following applications.
【0107】 [0107]
▲1▼ディスプレイ・スクリーンのための先進的なリモート・コントロール▲2▼TV受像機のための先進的なリモート・コントロール(図10を参照のこと) ▲ 1 ▼ display advanced remote control for screen ▲ 2 ▼ advanced remote control for a TV receiver (see Figure 10)
▲3▼PDA(Personal Digital Assistant)やその他の個人情報の閲覧や管理▲4▼携帯電話機▲5▼電子ブック▲6▼ハンドヘルド型のゲーム・コントローラ【0108】 ▲ 3 ▼ PDA (Personal Digital Assistant) or any other personal information browsing and management ▲ 4 ▼ mobile phone ▲ 5 ▼ of e-books ▲ 6 ▼ handheld game controller [0108]
図10には、本実施形態に係るジェスチャ入力をTV受像機などのオーディオ機器用リモート・コントローラに適用した様子を示している。 Figure 10 shows a state of applying the gesture input according to the present embodiment to the remote controller for audio devices such as a TV receiver. 同図に示すような実施形態においては、ユーザはリモート・コントローラ本体を上下各方向に曲げるという物理的インタラクションを印加する。 In the embodiment as shown in the figure, the user applies a physical interaction of bending the remote controller body vertical in each direction. このとき、曲げ量又は本体に印加する力の強弱のパターンを変える。 In this case, changing the pattern of the force intensity to be applied to the amount of bending or body. そして、リモート・コントローラ内ではこのようなジェスチャを機器コントロール用のデータやコマンドにデコードして、機器本体に転送する。 Then, in the remote controller decode such gesture data and commands for the equipment control, to transfer to the device body.
【0109】 [0109]
[追補] [Supplement]
以上、特定の実施形態を参照しながら、本発明について詳解してきた。 Above with reference to specific embodiments, the present invention has been described in detail. しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。 However, it is obvious that those skilled in the art without departing from the scope of the present invention can make modifications and substitutions of the embodiments. すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。 In other words, the foregoing discloses the present invention in the form of illustration and should not be construed as limiting the contents of this specification. 本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。 In order to determine the scope of the invention it should be referred to the appended claims set forth at the outset.
【0110】 [0110]
【発明の効果】 【Effect of the invention】
以上詳記したように、本発明によれば、複雑な入力オペレーションを比較的簡単なユーザ動作で実現することができる、優れた携帯情報機器を提供することができる。 As has been detailed above, according to the present invention can be realized in a relatively simple user operation complicated input operations, it is possible to provide an excellent portable information device.
【0111】 [0111]
また、本発明によれば、ユーザの物理的なジェスチャを受容する物理的なユーザ・インターフェースを備えて入力操作を簡単にすることができる、優れた携帯情報機器を提供することができる。 Further, according to the present invention, it is possible to simplify the input operation comprises a physical user interface for receiving the physical gestures of the user, it is possible to provide an excellent portable information device.
【0112】 [0112]
また、本発明によれば、ユーザが行なう複数のジェスチャを透過的に組み合わせて機器に対する入力として取り扱うことができる、優れた携帯情報機器を提供することができる。 Further, according to the present invention, can be handled as an input for devices by combining a plurality of gestures performed by the user transparently, it is possible to provide an excellent portable information device.
【0113】 [0113]
また、本発明によれば、機器に対する物理的なインタラクションを機器への汎用的なインターフェースとして用いることができる、優れた携帯情報機器を提供することができる。 Further, according to the present invention, it is possible to use a physical interaction with equipment as a general interface to the device, it is possible to provide an excellent portable information device.
【0114】 [0114]
本発明によれば、コンピュータ・インターフェースが座標指示と力の伝達を同時に行なうことができるコンピュータ・インターフェースを提供することができる。 According to the present invention, it is possible to computer interface provides a computer interface that can perform the transmission of the coordinate indicator and the force at the same time. すなわち、多元的なユーザ入力を同時に行なうことができるので、操作性が高まるとともにインタラクションの表現力が増す。 That is, it is possible to perform multidimensional user input at the same time, expressive interaction increases with the operability is enhanced.
【0115】 [0115]
このようなユーザ入力の組み合わせを用いることは、とりわけハンドヘルド若しくは携帯型、携行型のコンピュータにおいて効果的であり、マウスやタッチ・パネル、キーボードなどを用いなくても、ユーザに豊かなインタラクションをもたらすことができる。 Using a combination of such user input, especially hand-held or portable, are effective in portable type computer, mouse or touch panel, without using the keyboard, to bring rich interaction user can. また、本発明に係るインターフェースは、表示スクリーンとは干渉しないので、ジェスチャによるインタラクションにおいてスクリーンの表示内容が遮られることはない。 The interface according to the present invention does not interfere with the display screen, does not display the contents of the screen is blocked in the interaction with the gesture.
【0116】 [0116]
本発明に係るインターフェースによれば、ユーザは、相違する直交性の情報に関するインタラクションを単一のジェスチャだけで実現することができる。 According to the interface according to the present invention, the user can realize an interaction regarding orthogonality of information differ by a single gesture. ジェスチャを基調とするインタラクションは、直感的で効率的であり、また楽しい。 Interaction of tones and gestures are intuitive, efficient, and fun.
【0117】 [0117]
本発明に係るインターフェースによれば、小型のハンドヘルド・コンピュータ上で、2次元的な座標指示と力入力を同時で透過的に行なうことができる。 According to the interface according to the present invention, on a small handheld computer, it can be transparently performing two-dimensional coordinate instruction and force input at the same time. 例えば、市街地の地図をスクロールしながら同時に縮尺を変えていくといったインタラクションを単一のジェスチャにより行なうことができる。 For example, it is possible to perform the interaction such will change the scale at the same time while scrolling the city map with a single gesture.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の一実施形態に係る携帯型機器100のハードウェア構成を模式的に示した図である。 1 is a diagram schematically showing the hardware configuration of the portable device 100 according to an embodiment of the present invention.
【図2】携帯型機器100の外観構成の一例を示した図である。 2 is a diagram showing an example of the appearance of the portable device 100.
【図3】図2に示した携帯型機器100の変形例を示した図である。 3 is a diagram showing a modification of the portable device 100 shown in FIG.
【図4】図2に示した携帯型機器100の変形例を示した図である。 4 is a diagram showing a modification of the portable device 100 shown in FIG.
【図5】図2に示した携帯型機器100の変形例を示した図である。 5 is a diagram showing a modification of the portable device 100 shown in FIG.
【図6】図2に示した携帯型機器100の変形例を示した図である。 6 is a diagram showing a modification of the portable device 100 shown in FIG.
【図7】圧力センサ103を用いてジェスチャ入力を実現するためのメカニズムを説明するための図である。 7 is a diagram for explaining a mechanism for realizing the gesture input using the pressure sensor 103.
【図8】圧力センサ103を用いてジェスチャ入力を実現するためのメカニズムを説明するための図である。 8 is a diagram for explaining a mechanism for realizing the gesture input using the pressure sensor 103.
【図9】ジェスチャ入力を利用したシステム・オペレーションを示したフローチャートである。 9 is a flowchart showing a system operation utilizing a gesture input.
【図10】ジェスチャ入力の応用例を示した図である。 10 is a diagram showing an application example of gesture input.
【符号の説明】 DESCRIPTION OF SYMBOLS
100…携帯型情報機器101…力センサ,102…撓みセンサ103…圧力センサ,104…回転センサ105…タッチ・パネル106…視覚的ディスプレイ107…データ取得部108…プロセッサ・ユニット109…力覚的ディスプレイ111…操作部 100 ... portable information device 101 ... force sensor 102 ... deflection sensors 103 ... pressure sensor, 104 ... rotation sensor 105 ... Touch panel 106 ... visual display 107 ... data acquiring unit 108 ... processor unit 109 ... ChikaraSatoshiteki display 111 ... the operation unit

Claims (11)

  1. ユーザ入力に応答して動作する携帯情報機器であって、 A portable information device which operates in response to user input,
    機器本体と、 And the device body,
    前記機器本体の正面の左右両端に配設された第1の圧力センサと、 A first pressure sensor disposed in the left and right ends of the front surface of the apparatus body,
    前記機器本体の背面の左右両端に配設された第2の圧力センサと、 A second pressure sensor disposed in the left and right ends of the rear surface of the device body,
    前記第1及び第2の圧力センサの出力の差分に基づいて、前記機器本体の左右両端を指で挟み込むように摘んだユーザが前記機器本体の表面をせり出すような上方向に撓ませる力又は該表面を凹ませるような下方向の力のいずれを印加しているかを検出して、ユーザが行なうジェスチャ入力の方向を判断するジェスチャ入力手段と、 Based on the difference between the outputs of the first and second pressure sensors, force or the said user picked left and right ends of the main body so as to sandwich a finger is flexed upwardly as pushed out of the surface of the device body detecting whether the applied any downward force that recessed surface, a gesture input means for determining the direction of the gesture input performed by the user,
    ユーザからの前記ジェスチャ入力に応じた処理を実行する処理手段と、 Processing means for executing processing corresponding to the gesture input from the user,
    を具備することを特徴とする携帯型情報機器。 Portable information device, characterized by comprising.
  2. 前記機器本体正面に配設されて、前記処理手段による処理結果を視覚的に表示する視覚的ディスプレイと、 Is disposed on the apparatus main body front, and visual display for visually displaying the result of processing by said processing means,
    前記機器本体背面に配設されて、ユーザの指先による操作に応じてディスプレイ・スクリーン上で方向入力を行なう方向入力手段と、 Wherein disposed in the apparatus main body back, the direction input means for direction input on the display screen in response to operation by the user's fingertip,
    をさらに備えることを特徴とする請求項1に記載の携帯型情報機器。 The portable information device according to claim 1, further comprising a.
  3. 前記処理手段による処理結果を力覚的にユーザにフィードバックする力覚提示部をさらに備える、 Further comprising force feedback unit for feeding back to the user a processing result by the processing means tactile,
    ことを特徴とする請求項1に記載の携帯型情報機器。 The portable information device according to claim 1, characterized in that.
  4. 前記機器本体正面に配設されて、前記処理手段による処理結果を視覚的に表示する視覚的ディスプレイと、 Is disposed on the apparatus main body front, and visual display for visually displaying the result of processing by said processing means,
    ディスプレイ・スクリーン上での方向入力を行なう方向入力手段をさらに備え、 Further comprising a direction input means for direction input on the display screen,
    前記処理手段は、前記ジェスチャ入力手段を介したジェスチャ入力と前記方向入力手段を介した方向入力を同時処理する、 It said processing means processes the direction input through the direction input means and gesture input via the gesture input means simultaneously,
    ことを特徴とする請求項1に記載の携帯型情報機器。 The portable information device according to claim 1, characterized in that.
  5. 前記処理手段は、前記方向入力手段を介して指定された前記ディスプレイ・スクリーン上のオブジェクトに対して、前記ジェスチャ入力手段を介した前記ジェスチャ入力に応じた処理を適用する、 The processing means, for the object on the specified the display screen via the direction input means, processing to apply in accordance with the gesture input via the gesture input means,
    ことを特徴とする請求項4に記載の携帯型情報機器。 The portable information device according to claim 4, characterized in that.
  6. 前記処理手段は、 前記ジェスチャ入力手段が検出した連続的な検出出力をインターフェース・コントロールのためのアナログ値として取り扱う、 The processing means, handle continuous detection output the gesture input means is detected as an analog value for the interface controls,
    ことを特徴とする請求項1に記載の携帯型情報機器。 The portable information device according to claim 1, characterized in that.
  7. 前記ジェスチャ入力手段を介してどれだけのアナログ値が入力されたかをユーザに力覚的にフィードバックする力覚的提示部をさらに備える、 Further comprising a tactile presentation section for tactile feedback whether analog value much through the gesture input means is input by the user,
    ことを特徴とする請求項6に記載の携帯型情報機器。 The portable information device according to claim 6, characterized in that.
  8. 前記処理手段は、 前記ジェスチャ入力手段による検出出力が所定の閾値を越えたことに応答してシステム・オペレーションを制御する、 The processing means, the detection output by the gesture input means controls the system operation in response to exceeding the predetermined threshold value,
    ことを特徴とする請求項1に記載の携帯型情報機器。 The portable information device according to claim 1, characterized in that.
  9. 前記ジェスチャ入力手段を介した前記ジェスチャ入力が有効に作用したことをユーザに力覚的に通知する力覚的提示部をさらに備える、 Further comprising a tactile presentation section for tactile notify the user that the gesture input via the gesture input means acts effectively,
    ことを特徴とする請求項8に記載の携帯型情報機器。 The portable information device according to claim 8, characterized in that.
  10. 前記処理手段は、 前記ジェスチャ入力手段により検出された力のパターンを認識して特定のコマンドとして取り扱う、 The processing means, treated as a specific command to recognize the pattern of the detected force by the gesture input means,
    ことを特徴とする請求項1に記載の携帯型情報機器。 The portable information device according to claim 1, characterized in that.
  11. 前記ジェスチャ入力手段を介した前記ジェスチャ入力の認識並びに該当するコマンドの実行が成功したことをユーザに力覚的に通知する力覚的提示部をさらに備える、 Further comprising a tactile presentation section running commands the recognition and appropriate gesture input through the gesture input means for tactile notify the user that a successful,
    ことを特徴とする請求項10に記載の携帯型情報機器。 The portable information device according to claim 10, characterized in that.
JP2002174493A 2002-06-14 2002-06-14 Portable information devices Expired - Fee Related JP4447823B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002174493A JP4447823B2 (en) 2002-06-14 2002-06-14 Portable information devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002174493A JP4447823B2 (en) 2002-06-14 2002-06-14 Portable information devices
US10/456,186 US7456823B2 (en) 2002-06-14 2003-06-06 User interface apparatus and portable information apparatus

Publications (2)

Publication Number Publication Date
JP2004021528A JP2004021528A (en) 2004-01-22
JP4447823B2 true JP4447823B2 (en) 2010-04-07

Family

ID=31173446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002174493A Expired - Fee Related JP4447823B2 (en) 2002-06-14 2002-06-14 Portable information devices

Country Status (1)

Country Link
JP (1) JP4447823B2 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345343B1 (en) 2006-11-24 2013-12-27 삼성전자 주식회사 Method and apparatus for providing feedback corresponding to movement of a controlled object
JP4905287B2 (en) * 2007-08-02 2012-03-28 ブラザー工業株式会社 Printer
JP2010086471A (en) 2008-10-02 2010-04-15 Sony Corp Operation feedback apparatus, and operation feeling feedback method, and program
KR101703780B1 (en) * 2008-12-15 2017-02-07 코닌클리케 필립스 엔.브이. The user interface apparatus and method
TWI393935B (en) * 2009-01-08 2013-04-21 Prime View Int Co Ltd Touch-control structure for a flexible display device
KR20100138725A (en) 2009-06-25 2010-12-31 삼성전자주식회사 Method and apparatus for processing virtual world
CN102473035B (en) * 2009-07-22 2015-01-21 意美森公司 Interactive touch screen gaming metaphors with haptic feedback across platforms
EP2315186B1 (en) 2009-10-26 2016-09-21 Lg Electronics Inc. Mobile terminal with flexible body for inputting a signal upon bending said body
KR101753582B1 (en) * 2009-11-03 2017-07-06 엘지전자 주식회사 A portable terminal device
JP5440136B2 (en) 2009-12-04 2014-03-12 ソニー株式会社 Control method for a display device and a display device
GB2486527B (en) * 2010-11-10 2016-08-03 J T Consultancy Ltd A simulator including a controller
JP5327256B2 (en) 2011-03-30 2013-10-30 ブラザー工業株式会社 Input device and an image display device
JP5831542B2 (en) * 2011-04-08 2015-12-09 株式会社村田製作所 Displacement sensor, the displacement detecting device
US9411423B2 (en) * 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
KR101454685B1 (en) * 2012-02-29 2014-10-27 주식회사 팬택 Apparatus, portable terminal and method for user interface using that get bent of the flexible display
JP5713943B2 (en) * 2012-03-19 2015-05-07 ヤフー株式会社 The information processing apparatus, information processing method, and program
KR101948665B1 (en) 2012-08-23 2019-02-18 삼성전자주식회사 Flexible apparatus and control method thereof
CN103853514A (en) * 2012-12-04 2014-06-11 联想(北京)有限公司 Information processing method and electronic equipment
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
EP3462297A3 (en) * 2013-04-26 2019-07-10 Immersion Corporation Systems and methods for haptically-enabled conformed and multifaceted displays

Also Published As

Publication number Publication date
JP2004021528A (en) 2004-01-22

Similar Documents

Publication Publication Date Title
Hinckley et al. Input technologies and techniques
CN1198204C (en) Device with touch screen using connected external apparatus for displaying information, and method thereof
Rekimoto et al. PreSense: interaction techniques for finger sensing input devices
US9367235B2 (en) Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
CN102439547B (en) Hand-held device with two-finger touch triggered selection and transformation of active elements
KR101890079B1 (en) Multi-touch device having dynamichaptic effects
US6232957B1 (en) Technique for implementing an on-demand tool glass for use in a desktop user interface
Rahman et al. Tilt techniques: investigating the dexterity of wrist-based input
US9348458B2 (en) Gestures for touch sensitive input devices
US5909207A (en) Browsing system and method for computer information
JP5259474B2 (en) Selective input signal rejection and modification
US8493342B2 (en) Method and apparatus for displaying graphical user interface depending on a user's contact pattern
US8599147B2 (en) Computer interface for navigating graphical user interface by touch
KR950012490B1 (en) Apparatus processing the object on the display unit using the touch screen
CN101133385B (en) Hand held electronic device, hand held device and operation method thereof
US6326950B1 (en) Pointing device using two linear sensors and fingerprints to generate displacement signals
US9495021B2 (en) Computer input device
KR100984596B1 (en) Gestures for touch sensitive input devices
US8542206B2 (en) Swipe gestures for touch screen keyboards
US6885316B2 (en) System and method for keyboard independent touch typing
US7245292B1 (en) Apparatus and method for incorporating tactile control and tactile feedback into a human-machine interface
AU2007100827B4 (en) Multi-event input system
US9389718B1 (en) Thumb touch interface
US7256770B2 (en) Method for displaying information responsive to sensing a physical presence proximate to a computer input device
KR100954594B1 (en) Virtual keyboard input system using pointing apparatus in digial device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061030

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070207

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070308

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees