JPH0728591A - Space manipulation mouse system and space operation pattern input method - Google Patents

Space manipulation mouse system and space operation pattern input method

Info

Publication number
JPH0728591A
JPH0728591A JP10022994A JP10022994A JPH0728591A JP H0728591 A JPH0728591 A JP H0728591A JP 10022994 A JP10022994 A JP 10022994A JP 10022994 A JP10022994 A JP 10022994A JP H0728591 A JPH0728591 A JP H0728591A
Authority
JP
Japan
Prior art keywords
operation
space
step
motion
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10022994A
Other languages
Japanese (ja)
Inventor
Tomiyoshi Fukumoto
Yuji Ide
Toshihiro Morohoshi
Kazuhiro Takashima
祐二 井手
富義 福元
利弘 諸星
和宏 高島
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP5-111856 priority Critical
Priority to JP11185693 priority
Application filed by Toshiba Corp, 株式会社東芝 filed Critical Toshiba Corp
Priority to JP10022994A priority patent/JPH0728591A/en
Publication of JPH0728591A publication Critical patent/JPH0728591A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE:To recognize the space operation pattern of an operator by providing a space manipulation mouse with a motion signal generation means which detects the motion of the space manipulation mouse from the acceleration or the angular velocity in the two-dimensional direction or three-dimensional direction. CONSTITUTION:The operator moves a space manipulation mouse 1 on the virtual plane without using the reference surface as desks and grid reflection boards. The motion of the mouse 1 can be detected by being resolved into the horizontal and virtical directions based on the work of a horizontal motion detection element 3 and a virtical motion detection element 3 which are constructed by using piezoelectric elements. The detected two-directional motions, for example, the acceleration and angular velocity are converted into the space manipulation mouse or the signal representing the movement distance by motion detection parts 16a and 16b at the output. A transmission part 18 performs the required processing on the two motion signals and drives infrared ray emitting elements 5 and 6 to send it to the equipments to be controlled.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、コンピュータやマルチメディア機器等で用いられる入力装置に関し、特に操作性の良いマン・マシンインターフェイス環境を提供するための空間操作マウス(mouse)等の3次元入力装置に関する。 BACKGROUND OF THE INVENTION The present invention is a computer and relates the input device used in multimedia equipment or the like, in particular 3-dimensional input space using a mouse (mouse) or the like for providing a good operability man-machine interface environment apparatus on. さらには、3次元入力装置を利用して、操作者の動作パターンによる拡張された入力機能を実現する空間動作パターン入力システムに関する。 Furthermore, by using the three-dimensional input device, a spatial activity pattern input system for implementing has been extended by the operation pattern of the operator input function.

【0002】 [0002]

【従来の技術】コンピュータや、コンピュータを利用する各種システムに用いられる、マン・マシンインターフェイス上の入力機器として、昨今では、いわゆるマウスと呼ばれるポインティング・デバイスが広く使われてきている。 And Background of the Invention computer, used for various systems that use the computer, as an input device on the man-machine interface, in recent years, pointing device called a so-called mouse have been widely used.

【0003】このマウスを用いたシステムでは、まず、 [0003] In a system using the mouse, first,
操作者は、マウスを机上等で動かすことにより、表示画面上に表示された上記マウスに連動して動くカーソルを、表示画面上に表示されている所望の対象物(画像、 Operator mouse by moving a desk or the like, a cursor that moves in conjunction with the mouse displayed on the display screen, the desired object is displayed on the display screen (image,
文字等)上に移動させる。 Characters or the like) to move on. そして、表示画面上で、選択したい対象物上にカーソルが位置されている状態で、マウスのクリックボタンと呼ばれる確認用のスイッチを押す(あるいは放す)ことによって、システムに対する入力を行う。 Then, on the display screen, with the cursor on the object to be selected is located, press the switch for confirmation called click button of a mouse (or released) by, performing the input to the system. このように、マウスによって、キーボードにはなかった良好な操作性が提供される。 Thus, the mouse, good operability was not the keyboard is provided.

【0004】しかしながら、従来のマウスは、専用の操作板などの操作面に接触させて動かす必要があることと、加えてコンピュータとマウスとの間に接続ケーブルが存在することから、操作性に多大な支障を与えていた。 However, conventional mouse are that it is necessary to move into contact with the operation surface, such as a dedicated operation plate, since there is the connection cable between the computer and the mouse in addition, great operability It had given such trouble. すなわち、操作者は、任意の空間あるいは任意の仮想的な平面上で、マウスと、コンピュータなどの制御対象機器との距離を自由にとって、ポインティング操作をすることはできなかった。 That is, the operator, on any space or any virtual plane, and a mouse, taking the free distance between the control target devices such as a computer, it was not possible to the pointing operation.

【0005】さらには、マウスの動きは前述の操作面に拘束されるため、マウスは平面上の動きしか検出することができず、空間的な動きを検出することはできなかった。 [0005] Furthermore, since the movement of the mouse to be bound to the operation surface of the foregoing, the mouse can not only detect motion in a plane, it was not possible to detect the spatial movement. それゆえ、空間的なマウスの動きを反映したポインティング操作をすることは困難であった。 Therefore, it is difficult to a pointing operation that reflects the movement of the spatial mice.

【0006】このような事情が考慮され、最近では、操作者の3次元的な動きをとらえることにより、任意の平面でのポインタ動作、さらには空間的なポインタ動作を可能とし、コンピュータやマルチメディア機器あるいはその表示装置から離れていても手軽にポインタ動作をすることを可能にする、空間操作マウスのような3次元入力装置(特開平3−192423)が出現してきた。 [0006] Such circumstances are considered, more recently, by capturing a three-dimensional motion of the operator, and allows the pointer operation, more spatial pointer operation in any plane, computers and multimedia device or be separated from the display apparatus that can be the easily pointer operation, three-dimensional input device, such as a space using a mouse (JP-a 3-192423) have emerged.

【0007】しかしながら、上記3次元入力装置を用いたシステムでは、「操作者が、3次元入力装置を空間で動かすことにより、表示画面上を3次元入力装置に連動して動くカーソルを、表示されている所望の対象物上に移動させ、その後クリックボタンを押す(あるいは放す)ことによって、確認あるいは選択を行う」というようなポインティング操作が主に提供されているだけである。 However, in the system using the three-dimensional input device, "the operator, by moving the three-dimensional input device in space, the cursor moves in conjunction with the three-dimensional input device on the display screen, it is displayed and it has moved on to a desired object, then press the click button by (or release), but only pointing operation as that performed "confirmation or selection is mainly provided.

【0008】一方、従来のマウスを操作面上で動かして、所定のパターンを描くことによって、各パターンに対応付けられた機能を実行させることのできるシステムが提案されている(特開平4−7726、特開平4−1 On the other hand, moving the conventional mouse on the operation surface, by drawing a predetermined pattern, a system capable of executing the function associated with each pattern has been proposed (JP-A-4-7726 , JP-A-4-1
80119)。 80119).

【0009】しかしながら、これらシステムでは、マウスを操作面上で動かす必要があることから、単純なパターンしか使用できないという制約がある。 However, in these systems, it is necessary to move the mouse on the operation surface, there is a restriction that allows only simple patterns. また、操作面上に所定のパターンをきれいに描くことは案外難しく、 Moreover, it is surprisingly difficult to draw clean a predetermined pattern on the operating surface,
パターン・マッチング法では、操作者の描いたパターンを認識しきれない問題があった。 In the pattern matching method, there has been a problem that can not be aware of the pattern drawn by the operator.

【0010】 [0010]

【発明が解決しようとする課題】以上のように、従来のマウスを用いたシステムでは、3次元の動きを検出できるようにして、単に専用の操作板等を不要とする改善に止まっていた。 As described above [0005], in a system using a conventional mouse, so as to detect three-dimensional motion, had just stopped the improvement to eliminate a dedicated operation plate.

【0011】また、ポインティング・デバイスとしての機能以外に極簡単なパターン入力機能を付加したマウスとしては、ごく限られたパターン入力機能を専用の操作板等を要する(2次元)マウスに与えたものがあるに止まっていた。 [0011] The mice adding a very simple pattern input function in addition to a function as a pointing device, which gave very limited pattern input function (2-dimensional) mice requiring special operation plate such They had stopped at a certain.

【0012】本発明は、上記事情を考慮してなされたもので、任意の仮想平面でのポインタ動作、さらには空間的なポインタ動作を可能とした、空間操作マウスのような3次元入力装置を用いる入力システムにおいて、操作者の空間での空間動作パターンを認識し、コンピュータやマルチメディア機器に対して空間動作パターンに応じた内容の制御を実行できる、すなわち感覚的なマン・マシンインタフェイス環境を提供できる、空間動作パターン入力システムを提供することを目的とする。 [0012] The present invention has been made in view of these circumstances, the pointer operation in any virtual plane, and even to allow the spatial pointer operation, the three-dimensional input device such as a spatial operations mice in the input system used to recognize the spatial activity pattern in space of the operator can perform control of the content according to the spatial operation patterns for computers and multimedia devices, i.e., a sensuous man-machine interface environment It can be provided, and an object thereof is to provide a spatial activity pattern input system.

【0013】 [0013]

【課題を解決するための手段】本発明に係る空間操作マウスシステムでは、操作空間での所定の3つの軸方向の速度若しくは加速度又は3つの軸の回りの角速度若しくは角加速度のうちの少なくとも1つを検出し、当該検出された1つあるいは複数の量をそのままあるいは関連する量に変換して動き信号として出力するための動き信号生成手段と、この動き信号生成手段により与えられた前記動き信号を含む前記制御信号を送信するための送信手段とを有する空間操作マウスと、前記空間操作マウスの前記送信手段により送信された制御信号を受信するための受信手段と、この受信手段により得られた制御信号に基づいて、表示画面上のカーソルまたは表示オブジェクトを変化させ、前記空間操作マウスの操作者の指示位置を表示し、あるい In spatial operations mouse system according to the present invention SUMMARY OF THE INVENTION, at least one of the angular velocity about or angular acceleration of three predetermined axial velocity or acceleration, or three axes of the operating space detects a motion signal generating means for outputting a movement signal into one or more of the amount the detected directly or related to the amount, the motion signal provided by the motion signal generating means and space operation mouse and a transmitting means for transmitting said control signals including a receiving means for receiving a control signal transmitted by said transmitting means of said spatial operations mice, control obtained by the receiving means based on the signal, changing the cursor or display objects on the display screen, to display the indication position of the operator of the spatial operations mice, there have 前記動き信号に従い表示画面を変化させる表示手段とを有する制御対象機器とを具備してなることを特徴とする。 And characterized by being provided with a control target device and a display means for changing a display screen in accordance with the motion signal.

【0014】また、本発明に係る空間操作マウスを用いた空間動作パターン入力方法では、操作者により与えられる3次元空間における直線的、平面的あるいは空間的な動作を、その操作空間における所定の3つの軸方向の速度若しくは加速度又は3つの軸の回りの角速度若しくは角加速度のうちの少なくとも2つの量として検出する検出ステップと、当該検出された少なくとも2つの検出量を、当該動作をパターン化した動作パターンデータに変換する変換ステップと、当該動作パターンデータと、 [0014] In the spatial activity pattern input method using spatial operations mouse according to the present invention, linearly in the three-dimensional space given by the operator, a planar or spatial operations, given 3 in its operational space one of a detection step of detecting as at least two quantities of the axial velocity or acceleration, or three axes of angular velocity or angular acceleration, operating at least two detection amount which is the detected, patterning the relevant operation a conversion step of converting the pattern data, and the operation pattern data,
予め登録されている複数の基本動作パターンに関連する基本データとを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて当該動作パターンを識別する識別ステップと、前記識別ステップにおける識別結果に基づいて当該動作パターンに対応する所定の制御を行う制御ステップとを含むことを特徴とする。 A comparing step of comparing the base data associated with a plurality of basic operation patterns that are registered in advance, and the identification step for identifying the operation pattern on the basis of the comparison result of the comparing step, based on the identification result of the identifying step characterized in that a control step of performing a predetermined control corresponding to the operation pattern Te.

【0015】一方、本発明では、空間操作型入力装置の空間動作パターンに応じた内容の制御を制御対象機器に実行させるための空間動作パターン入力方法において、 Meanwhile, in the present invention, the spatial activity pattern input method for executing the control content in accordance with the spatial activity pattern of three-dimensional operation input apparatus to the control target device,
空間操作型入力装置の空間における互いに平行でない所定の3軸方向の動作量のうち少なくとも2軸方向の動作量を検出する動作検出ステップと、前記動作検出ステップにおいて検出された少なくとも2つの検出量からなる当該空間動作量を動作ベクトル列に変換する変換ステップと、予め登録されている基本動作パターンに対応した動作ベクトル列と当該動作ベクトル列とを比較して識別を行う識別ステップと、前記識別ステップにおける認識結果に基づく制御を制御対象機器に対して実行する実行ステップとを有することを特徴とする。 An operation detection step of detecting an operation amount of at least two axial directions of predetermined three axial movement amount not parallel to each other in the space of three-dimensional operation input apparatus, from at least two detection amount detected in the operation detection step a conversion step of converting the spatial movement amount to the operation vector sequence consisting, an identification step for performing identification by comparing the operation vector sequence and the operation vector sequence corresponding to the basic operation patterns are registered in advance, the identification step and having an execution step of executing control based on the recognition result to the control target device in.

【0016】また、好ましくは、前記識別ステップは、 [0016] Preferably, the identification step,
空間操作型入力装置の動作量から得られた動作ベクトル列を基にした単位ベクトル関数および空間操作型入力装置の動作量から得られた動作ベクトル列を基にした累積ベクトル関数の少なくとも一方を生成するベクトル関数生成ステップと、生成した単位ベクトル関数および累積ベクトル関数の少なくとも一方を、基本動作パターン動作に対応した動作ベクトル列から得られるものと比較し、この比較結果に基づいて空間操作型入力装置の空間動作パターンの識別を行う識別ステップとを含むことを特徴とする。 Generating at least one of the accumulation vector function with a motion vector string obtained from the operating amount of the three-dimensional operation input unit vectors function and three-dimensional operation input apparatus based on a motion vector string obtained from the operation amount of the apparatus on the basis of a vector function generation step of, at least one of the unit vectors function and accumulation vector function generated, compared to that obtained from the operation vector sequence corresponding to the basic operation pattern operation, dimensional operation input device based on the comparison result characterized in that it comprises an identification step of identifying spatial activity patterns.

【0017】また、好ましくは、前記変換ステップは、 [0017] Preferably, the converting step,
空間動作量に対して単位ベクトルの個数と角度を登録した変換テーブルに対して、前記動作検出ステップにおいて検出された少なくとも2つの検出量からなる当該空間動作量を時間的にサンプリングした値を逐次指定値として与えることによって、当該空間動作量を動作ベクトル列に変換した結果を得ることを特徴とする。 Against conversion table registers the number and angle of the unit vector for space operation amount, sequentially specify the detected at least two of said spatial operation amount temporally sampled values ​​consisting of detecting the amount in the operation detection step by giving a value, and wherein the obtaining a result of converting the spatial movement amount to the operation vector row.

【0018】また、好ましくは、前記動作検出ステップは、前記空間操作型入力装置の動作量を検出する2軸方向ごとに、これに直行する方向の軸回りの回転動作量を検出する回転動作量検出ステップをさらに有し、前記変換ステップは、前記回転動作量検出ステップでの検出結果に基づき、前記動作検出ステップで検出された関連する前記空間操作型入力装置の2軸方向の動作量から上記軸回りの回転動作量を取り除いた動作量を抽出する補正ステップをさらに有することを特徴とする。 [0018] Preferably, the motion detecting step, for each biaxial direction for detecting an operation amount of the three-dimensional operation input device, the rotation operation amount detecting the rotation amount around the axis in a direction perpendicular thereto further comprising a detection step, the conversion step, based on said detection result of the rotation operation amount detecting step, said the amount of operation of two axial directions of the three-dimensional operation input device associated detected by the operation detecting step characterized by further comprising a correction step of extracting the movement amount obtained by removing the rotational movement amount around the axis.

【0019】また、好ましくは、前記実行ステップは、 [0019] In a preferred embodiment, the execution step,
前記識別ステップにおいて認識された空間動作パターンの形状を表示画面に表示することを特徴とする。 And displaying the shape of the recognized space operating pattern in the identification step on a display screen.

【0020】 [0020]

【作用】本発明では、空間操作マウスに2次元方向または3次元方向の加速度または角速度から空間操作マウスの動きを検出する動き信号生成手段を設けた。 According to the present invention, it provided a motion signal generation means for detecting a motion of spatial operations mice from two-dimensional directions or three-dimensional direction of the acceleration or angular velocity spatial operations mice. このために、任意の操作空間での操作者の意図する平面的動作や空間的動作を検出することができ、従って、空間操作マウスを、コンピュータのポインタとして、あるいは離れた場所から見る大画面映像システムやマルチメディア機器のリモコン装置として用いて、手軽にポインタ操作や制御操作ができる。 For this, it is possible to detect a planar operation and spatial behavior intended by the operator at any of the operational space, therefore, large screen image view space operation mouse as a pointer of a computer, or from a remote location used as a remote control device of the system and multimedia devices can easily pointer operation and control operations.

【0021】それゆえ、本発明の空間操作マウスを用いた空間操作マウスシステムでは、制御対象機器の表示画面上のカーソルまたは表示オブジェクトの変化により操作者の指示位置を表示したり、表示画面の方向を変化させることで、従来にない操作性の向上されたヒューマンインターフェイス環境を実現できる。 [0021] Thus, in the space operation mouse system using spatial operations mouse of the present invention, or displays an instruction position of the operator by changing the cursor or display objects on the display screen of the control target device, the direction of the display screen by varying the can realize unprecedented operability human interface environment that is improving.

【0022】また、本発明に係る空間動作パターン入力方法では、予め操作者の基本動作パターンを登録しておき、空間操作マウスを操作して入力された動作パターンを識別し、各動作パターンに対応する制御を実行する。 [0022] In the spatial activity pattern input method according to the present invention, may be registered the basic operation pattern in advance operator to identify the operation pattern input by operating the space operation mouse, corresponding to each operation pattern the control to be executed.
従って、人間の自然な動作を用いて、制御対象機器を制御することが可能となる。 Therefore, using the natural human behavior, it is possible to control the control target device.

【0023】一方、本発明に係る空間動作パターン入力方法では、予め操作者の基本動作パターンを登録しておくとともに、操作者が空間操作マウス(空間操作型入力装置)を操作することにより入力された空間動作パターンの動きを検出して動作ベクトル列に変換し、予め登録されている基本動作パターンに対応した動作ベクトル列と当該動作ベクトル列とを比較して識別を行い、この認識結果に基づく制御を制御対象機器に対して実行する。 On the other hand, the spatial activity pattern input method according to the present invention, along with registering the basic operation pattern in advance operator, the operator is input by operating the space using the mouse (three-dimensional operation input apparatus) detect movement of the spatial activity pattern is converted to motion vector sequence, performs identification by comparing the operation vector sequence and the operation vector sequence corresponding to the basic operation patterns are registered in advance, based on the recognition result executing a control for the control target device.

【0024】このように、基準位置(原点)に対する空間操作マウスの空間座標を測定しなくても、空間操作マウスの動きを動作ベクトルを用いて時系列の微小基準ベクトル集合として相対的に得ることによって、動作パターン入力を行うことができる。 [0024] Thus, even without measuring the spatial coordinates of the spatial operations mice to a reference position (origin), obtaining as a relatively small reference vector set of time series by using the motion vector the motion of spatial operations mice Accordingly, it is possible to perform the operation pattern input. また、本発明では、従来のパターンマッチング法ではなく、動きを動作ベクトル列に分解して基本動作パターンと比較するので、空間での不安定なマウスの操作から得られる動作パターンを高精度に認識することが可能となる。 In the present invention, rather than the conventional pattern matching method, since the comparison with the basic operation pattern by decomposing the motion operation vector sequence, recognizing the operation pattern obtained from the operation unstable mouse in space with high precision it is possible to become.

【0025】従って、本発明によれば、人間の自然な動作を用いて、制御対象機器を制御することが可能となる。 [0025] Therefore, according to the present invention, using the natural human behavior, it is possible to control the control target device.

【0026】 [0026]

【実施例】以下、図面を参照しながら本発明の実施例を説明する。 EXAMPLES Hereinafter, an embodiment of the present invention with reference to the drawings.

【0027】図1に、本発明の第1の実施例に係る空間操作マウスの概観図を、図2に空間操作マウスの概略ブロック図を示す。 [0027] Figure 1, a schematic view of a space using the mouse according to a first embodiment of the present invention, showing a schematic block diagram of a spatial operations mice in FIG. ここで、本明細書では、水平方向とは図1の矢印28のように空間操作マウスからみて左右の方向をいい、垂直方向とは矢印29のようにマウスからみて上下の方向を言うものとする。 In this specification, refers to the direction of the left and right as viewed from the space using mice as arrow 28 in FIG. 1 is a horizontal direction, the vertical and shall refer to the direction of the vertical as viewed from the mouse as indicated by the arrow 29 to.

【0028】本発明の空間操作マウスは、水平方向の動きを検出するための第1動き検出部16aと、垂直方向の動きを検出するための第2動き検出部16bと、操作者がクリック動作をするためのスイッチ部17と、第1 The space operating mouse of the present invention includes a first motion detector 16a for detecting the horizontal motion, a second motion detection unit 16b for detecting the vertical movement, clicks operator operation a switch unit 17 for a first
動き検出部16aからの出力信号、第2動き検出部16 The output signal from the motion detection unit 16a, the second movement detection section 16
bからの出力信号およびスイッチ部17からの出力信号を制御対象機器に対して伝送するための送信部18を備える。 A transmission unit 18 for transmitting an output signal from the output signal and the switch section 17 from b to the control target device.

【0029】第1動き検出部16aは、水平方向の動きを検出する水平方向動き検出素子2を含む。 The first motion detection unit 16a includes a horizontal-direction motion detecting device 2 for detecting a horizontal motion. 第2動き検出部16bは、垂直方向の動きを検出する垂直方向動き検出素子3を含む。 Second motion detection unit 16b includes a vertical motion detection device 3 for detecting a vertical motion. スイッチ部17は、クリックボタン4を含む。 The switch unit 17 includes a click button 4. 送信部18は、赤外線発光素子5,6を含む。 Transmission unit 18 includes an infrared light-emitting elements 5 and 6.

【0030】操作者は、空間操作マウス本体1を握り、 [0030] The operator, grip the space operation mouse body 1,
任意の空間において、空間操作マウス本体1を上下左右に動かして操作する。 In any space to operate by moving the spatial manipulation mouse body 1 vertically and horizontally. すなわち、操作者は、机や格子反射板のような実在する基準面を用いずに、仮想的な平面上において、空間操作マウス本体1の移動操作を行う。 That is, the operator, without using the real reference surface such as a desk or grating reflectors on virtual plane, to move the operation of the space using the mouse body 1.
空間操作マウス本体1の動きは、圧電素子等を用いて構成された水平方向動き検出素子2および垂直方向動き検出素子3の働きにより、水平(左右)および垂直(上下)の2方向の動きに分解して検出される。 Movement of spatial operations mouse body 1, by the action of the horizontal motion detector element 2 and the vertical-direction motion detecting device 3 constituted by using a piezoelectric element or the like, in the two directions of movement of the horizontal (right and left) and vertical (up and down) decomposed to be detected. 検出された2方向の動き、例えば加速度や角速度は、動き検出部1 It detected two directions of motion, for example, acceleration or angular velocity, the motion detector 1
6a,16bによって、所定の動き信号、例えば空間操作マウスの速度あるいは移動距離等を表す信号に変換されて出力される。 6a, 16b by a predetermined motion signal is output, for example, is converted into a signal representing the speed or distance traveled, etc. spatial operations mice. あるいは、加速度や角速度などそのままの形で出力される。 Alternatively, the output as-such as an acceleration or an angular velocity. 送信部18は、この2つの動き信号に対して、必要な処理、例えばフォーマット変換、符号化、多重化、変調等を施す。 Transmission unit 18 for the two motion signals, necessary processing, such format conversion, encoding, multiplexing, performs modulation or the like. その後、送信部18は、 Thereafter, the transmission unit 18,
赤外線発光素子5,6を駆動して、この信号を制御対象機器まで伝送する。 It drives the infrared light emitting elements 5 and 6, and transmits the signal to the control target device.

【0031】操作者は、このような空間操作マウスを用いて、表示画面上のカーソルの位置を操作するとともに、操作する前および/または操作した後に、スイッチ部17のクリックボタン4を押す(あるいは放す)。 The operator uses such a spatial operations mice, as well as manipulate the position of a cursor on the display screen, after pre-and / or operation operated by pressing the click button 4 of the switch unit 17 (or release). 送信部18は、クリックボタン4が押されたこと(あるいは放されたこと)を、制御対象機器に伝える。 Transmitting portion 18, the click button 4 has been pressed (or released the fact), transmitted to the control target device. 動き信号やクリック動作を示す信号を受けた制御対象機器は、これら信号に応じた所定の制御動作を実行する。 Control target device which receives a signal indicating the motion signal and click operation, executes a predetermined control operation according to these signals.

【0032】発光素子5は右側の空間に、発光素子6は左側の空間に、赤外線を放射するようにすると、すなわち両素子に異なる指向性を割り当てると、赤外線の放射範囲が広角になるので好ましい。 The light emitting element 5 on the right side of the space, the preferred light-emitting element 6 on the left side of the space and to emit the infrared, i.e. assigning different directivity to both elements, because the irradiation range of the infrared ray becomes wide . 特に任意の空間で操作する空間操作マウスでは、操作者が空間操作マウスを左右に振っても、赤外線を制御対象機器に確実に伝送することができる。 Especially in spatial operations mouse to operate in any spatial, even the operator by swinging the space operation mouse to the left and right, it is possible to reliably transmit the infrared control target device. もちろん、この発光素子の個数は、アプリケーションに応じて、1つでも、3つ以上でも良い。 Of course, the number of the light emitting element, depending on the application, even one, may be three or more.

【0033】図1の実施例では、空間操作マウスに、垂直および水平方向の2軸方向の動きを検出する動き検出素子を設けた。 [0033] In the embodiment of FIG. 1, the space manipulation mice, it provided a motion detection device for detecting the two-axis movement of the vertical and horizontal directions. その代りに、上記垂直および水平方向に直行する方向(すなわち前後方向)と垂直方向の動きを検出する2つの動き検出素子を、または前後方向と水平方向との動きを検出する2つの動き検出素子を、空間操作マウスに設ても良い。 Instead, two motion-detecting element for detecting a movement of the vertical and two motion detecting device for detecting the direction (i.e., longitudinal direction) and vertical movement perpendicular to the horizontal or longitudinal direction and the horizontal direction, a, it may be set in space operation mouse. また、検出する2軸の方向は、 The direction of the two axes detected,
平行でない限りは、直行していなくても構わない。 Unless it is a parallel, it does not matter even if they are not direct. この点に関しては、後述する実施例においても同様である。 In this regard, the same also in examples described later.

【0034】図3に、本実施例の空間操作マウスをラップトップコンピュータ21へ適用して構成される空間操作型コンピュータシステムの使用概念図を示す。 [0034] Figure 3 illustrates the use conceptual diagram of a three-dimensional operation computer system by applying the spatial operations mouse of the present embodiment to a laptop computer 21.

【0035】本発明によれば、マウスを操作するための特別な作業環境や拘束された作業環境は不要である。 According to the present invention, special working environment and constrained working environment for operating the mouse it is unnecessary. すなわち、操作者は、空間操作マウス本体1を握り、任意の空間(すなわち操作者の目の前の空中など)で、これを上下左右に動かせば良い。 That is, the operator grips the spatial operations mouse body 1 in any space (i.e., such as prior to airborne eyes of the operator), should be moved this vertically and horizontally. この動きは、前述のように水平方向動き検出素子2および垂直方向動き検出素子3 This movement, as described above horizontal motion detecting element 2 and the vertical-direction motion detecting device 3
によって検出される。 It is detected by. そして、検出された動きに応じた制御信号が、赤外線発光素子5,6からラップトップコンピュータ21へ放射され、赤外線受光素子23により受光される。 Then, the control signal corresponding to the detected motion, is emitted from the infrared light-emitting elements 5 and 6 to the laptop computer 21, and is received by the infrared receiving element 23. また、クリック動作を示す制御信号も、同様にして、空間操作マウスからラップトップコンピュータ21へ伝送される。 The control signal indicating the click operation is also similarly, is transmitted from the space using a mouse to a laptop computer 21.

【0036】ラップトップコンピュータ21は、受け取った制御信号に応じて、あるいは制御信号に基づく所定の演算処理により空間操作マウスの移動量等を求めて、 The laptop computer 21, in response to the control signal received, or seek movement amount of the space using a mouse by the predetermined calculation processing based on the control signal,
この表示画面22のカーソルを動かす制御を行う。 It performs a control to move the cursor of the display screen 22. また、必要な場合には、表示画面上のカーソル位置にある表示物に対して所定の処理を施したり、あるいはカーソル位置に対応する新たな入力画面の表示などの制御を行う。 Further, if necessary, performs control such as performing or, or display the new input screen corresponding to the cursor position predetermined processing on display objects at the cursor position on the display screen. さらには、クリック動作に応答して、カーソル位置の表示物(または文字列)に予め対応付けられている所定の処理を行うなどの制御を実行することもできる。 Furthermore, in response to the click operation it can also be performed a control such as performing a predetermined process that is associated in advance to the display of the cursor (or string).

【0037】このように、操作者は、空間操作マウスを用いて、表示画面22上に表示されたカーソル等を動かすとともに、クリック動作を実行することにより、システム制御を順次行っていく。 [0037] Thus, the operator uses the space operation mouse, etc. with movement of the displayed on the display screen 22 cursor by executing a click operation, sequentially performs system control.

【0038】以下、いくつかの表示画面例を用いて、本発明の空間操作マウスを用いた入力操作の具体例を簡単に説明する。 [0038] Hereinafter, with reference to some of the display screen example, briefly explaining an example of an input operation using a spatial operation mouse of the present invention.

【0039】図4(a),図4(b)は、AからIまでの9個のアイコンのうちから、Fのアイコンを選ぶ操作を実行する例である。 [0039] FIG. 4 (a), the FIG. 4 (b), from among the nine icons to I from A, an example of executing an operation to select the F icon. まず、図4(a)のように、画面上のDの部分に+印のカーソルがあるとする。 First, as shown in FIG. 4 (a), and the cursor part to + indicia D on the screen. 操作者が空間操作マウスを右側に動かすと、これに伴ってカーソルも右側に移動する。 When the operator moves the space operation mouse on the right side, also moves to the right cursor accordingly. そして、図4(b)のように、操作者は、カーソルがFの上に移動したときに、空間操作マウスのクリックボタン4を押して、ラップトップコンピュータ21に対して、Fのアイコンを選択したことを伝える。 Then, as shown in FIG. 4 (b), the operator, when the cursor hovers over the F, press the click button 4 of spatial operations mice against a laptop computer 21, and selects the F icon tell you. Fのアイコンが選択されると、ラップトップコンピュータ21は、Fのアイコンに対応する処理を実行する。 If F icon is selected, a laptop computer 21 executes a process corresponding to the F icon.

【0040】図5(a),図5(b)は、部屋の内部を表した映像である。 [0040] FIG. 5 (a), and FIG. 5 (b) is a picture showing the interior of the room. ここでは、この映像中から1つの対象物を選ぶ操作を実行する例を説明する。 Here, an example to perform operations to select one object from in the image. 表示画面上で、矢印のアイコンによって示される部分は、網目状に変化される。 On the display screen, the portion indicated by the arrow icon is changed into a mesh shape. 例えば、操作する前は、図5(a)のように、矢印のアイコンがドアのところにある場合、ドアのみが網目状に変化している。 For example, before operating, as shown in FIG. 5 (a), the case where an arrow icon is at the door, only the door is changed in a network form. 次に、操作者が空間操作マウスを右に移動して、机の上のワードプロセッサの所にアイコンを移動すると、図5(b)のように、ワ−ドプロセッサのみが網目状に変化される。 Next, the operator moves the spatial operations mouse to the right, moving the icon at the word processor on a desk, as shown in FIG. 5 (b), the word - only de processor is changed into a mesh-like . この網目表示によって、ワードプロセッサが指示されていることが、一目で認識できる。 This mesh display, that word processor is instructed, can be recognized at a glance. 操作者がこのワードプロセッサを選択したい場合は、網目状に変化している時にクリックボタン4を押せば良い。 If the operator wishes to select the word processor may press the click button 4 when you are changing the mesh.

【0041】図6(a),図6(b)は、建物の廊下を表した映像である。 [0041] FIG. 6 (a), the FIG. 6 (b), is a video that shows the corridor of the building. ここでは、映像を操作者の見たい方向に転換して表示させる操作を実行する例を説明する。 Here, an example to perform the operation for displaying and converted to the desired direction of the image of the operator.
例えば、操作する前は、図6(a)のように、通路に平行にまっすぐ見た映像が表示されている。 For example, before the operation, as shown in FIG. 6 (a), it is displayed parallel straight seen video in the passage. 操作者が手に握った空間操作マウスを右側に動かすと、それに連動するように、表示される映像は徐々に右側を見た映像に変化していく。 When the operator moves the space operation mice that were holding the hand on the right side, to work on it, the video to be displayed will change in the video which was gradually look at the right-hand side. そして、最終的に図6(b)のように先の右側のドアを正面から見た映像に変化する。 Then, finally changes the video viewed previous right door from the front as in FIG. 6 (b).

【0042】次に、本発明の空間操作マウスをより具体化した構成例について説明する。 Next, a description will be given more specific the configuration example spatial operations mouse of the present invention.

【0043】図7(a)は、本実施例の空間操作マウスのより具体的なブロック図である。 [0043] FIG. 7 (a) is a more specific block diagram of a spatial operations mouse of the present embodiment. また、図7(b) Further, and FIG. 7 (b)
は、制御対象器機の一例を示す概略ブロック図である。 Is a schematic block diagram showing an example of the control target devices.

【0044】この空間操作マウスは、垂直方向の加速度を検出するための第1動きセンサ30aと、この出力を増幅する増幅器31aと、この出力を積分して速度を求めるための速度検出部32aと、水平方向の加速度を検出するための第2動きセンサ30bと、この出力を増幅する増幅器31bと、この出力を積分して速度を求めるための速度検出部32bと、前記速度検出部32a,3 [0044] The space operating mice, a first motion sensor 30a for detecting acceleration in the vertical direction, an amplifier 31a for amplifying the output, a speed detecting section 32a for determining the speed by integrating the output a second motion sensor 30b for detecting the acceleration in the horizontal direction, an amplifier 31b for amplifying the output, a speed detecting unit 32b for determining the speed by integrating the output, the speed detection unit 32a, 3
2bの出力を伝送するための赤外線リモコン送信回路3 Infrared remote control transmitter circuit 3 for transmitting an output of 2b
3と、この送信回路33により駆動される赤外線発光素子34を備える。 3, includes an infrared light emitting device 34 driven by the transmission circuit 33.

【0045】ここでは、第1動きセンサ30aおよび第2動きセンサ30bとして、圧電素子を用いる。 [0045] Here, as the first motion sensor 30a and a second motion sensor 30b, a piezoelectric element is used. なお、 It should be noted that,
図2のようなクリックボタンを含むスイッチ部は、図面上では省略してある。 Switch unit comprising a click button as shown in FIG. 2 are omitted in the drawing.

【0046】一方、制御対象機器、例えばコンピュータは、赤外線発光素子34から放射された光信号を受信する赤外線受光素子35と、受光された信号を所定の形に変換して出力する赤外線リモコン受信回路36と、その出力に応答して、画面制御を含む所定の処理を実行する処理部37と、表示画面38とにより構成される。 Meanwhile, the control target device, for example a computer, an infrared light receiving element 35 for receiving the optical signal emitted from the infrared light-emitting element 34, an infrared remote control receiver circuit for converting the received signal into a predetermined shape 36, in response to the output, a processing unit 37 for executing a predetermined process including the screen control, constituted by the display screen 38.

【0047】これらの構成において、操作者は、この空間操作マウスの本体を握り、任意の空間の仮想的な平面で、これを上下左右等の2次元方向に動かして操作する。 [0047] In these configurations, the operator grasps the body of the space operation mouse, a virtual plane of an arbitrary space, operated by moving it to two-dimensional directions of the vertical and horizontal. この空間操作マウスの動きは、第1動きセンサ30 Movement of the spatial operations mice, the first motion sensor 30
aおよび第2動きセンサ30bの働きにより、例えば水平および垂直の2方向の加速度に分解して検出され、それぞれの加速度に比例した電圧信号が出力される。 By the action of a and the second motion sensor 30b, for example, it is detected by decomposing the horizontal and the two directions of acceleration of the vertical, voltage signal proportional to the respective acceleration is outputted.

【0048】検出された2方向の加速度に対応する電圧信号は、比較的微弱な信号である。 The voltage signal corresponding to the acceleration of the detected two directions are relatively weak signal. 従って、2つの電圧信号を、それぞれ増幅器31a,31bで増幅する。 Therefore, the two voltage signals, and amplifies each amplifier 31a, at 31b. このときに、必要であれば、ノイズ除去処理を行う。 At this time, if necessary, the noise removal process.

【0049】次に、増幅された2つの信号は、速度検出部32a,32bにそれぞれ与えられる。 Next, the two signals amplified, the speed detection unit 32a, provided respectively 32b. ここでは、2 Here, 2
方向の加速度に対応する電圧信号は、それぞれ積分により、2方向の移動速度に対応する電圧信号に変換される。 Voltage signal corresponding to the direction of acceleration, by respective integral, and is converted into a voltage signal corresponding to the moving speed of the two directions. 図8(a)は、検出されたマウスの加速度に対応する電圧信号と速度に変換された電圧信号と間の関係を示す図である。 8 (a) is a diagram showing the relationship between the detected voltage signal converted into a voltage signal and the speed corresponding to the acceleration of the mouse. 破線l1は、加速度センサ30aまたは3 Dashed line l1 is an acceleration sensor 30a or 3
0bからの出力電圧を表す。 It represents the output voltage from the 0b. 実線l2は、速度検出部3 The solid line l2, the speed detector 3
2aまたは32bに含まれる積分回路で速度に変換された出力電圧を表す。 The integration circuit contained in 2a or 32b represent the converted output voltage to the speed.

【0050】速度検出部32a,32bからは、速度に変換された出力電圧l2をそのまま出力しても良い。 The speed detection unit 32a, from 32b, the output voltage l2 converted to velocity may be directly output. あるいは、その代わりに、図8(b)に示すように、速度に対応するパルス密度を有するパルス信号に変換した後、出力しても良い。 Or alternatively, as shown in FIG. 8 (b), after converting into a pulse signal having a pulse density corresponding to the speed may be output.

【0051】また、加速度から速度を検出する動き演算部としては、積分回路の他に、デジタル積分回路や、マイクロプロセッサによる演算を用いても実現可能である。 [0051] As the motion calculation unit for detecting the speed from the acceleration, in addition to the integration circuit, and a digital integration circuit, it can also be implemented using a calculation by the microprocessor.

【0052】次に、速度検出部32a,32bの各出力とスイッチ部からのクリック動作を示す信号を受けた赤外線リモコン送信回路33は、これらの信号に対して、 Next, the speed detection unit 32a, an infrared remote control transmitter circuit 33 that has received a signal indicating a click operation from the output and the switching section 32b, based on these signals,
必要な処理、例えばフォーマット変換、符号化、信号の多重化、変調等のうちの任意の処理を施す。 Necessary processing, for example format conversion, encoding, multiplexing of signals, any processing of the modulation or the like is subjected. その後、赤外線発光素子34を駆動して、この信号を制御対象機器に対して送信する。 Then, by driving the infrared light emitting element 34, and transmits this signal to the control target device.

【0053】図7(a)の空間操作マウスから送信された、この空間操作マウスの移動速度に対応する信号やクリック動作を示す信号は、図7(b)の制御対象機器の赤外線受光素子35により受光される。 [0053] transmitted from the spatial operations mouse of FIG. 7 (a), a signal indicating a signal or click operation corresponding to the moving speed of the spatial operations mice, infrared receiving component of the control target device of FIG. 7 (b) 35 It is received by the. そして、これら受光された信号に対して、赤外線リモコン受信回路36 Then, the light-receiving signals, infrared remote control receiver circuit 36
により、所定の制御信号の形に戻す処理が行われる。 Accordingly, the process of returning to a shape of a predetermined control signal.

【0054】この制御信号を受けた処理部37は、所定の演算処理により、空間操作マウスの移動量を求めることにより、この空間操作マウスの移動量、移動速度及びそれらの方向並びにクリック動作を表す信号をすべて獲得することができる。 [0054] The processing unit 37 that receives the control signal, by a predetermined calculation process, by obtaining the amount of movement of the spatial operations mouse movement at this spatial operations mice, indicating the moving speed and their direction and click operation it is possible to get all of the signal. 処理部37は、これらの信号に応答して、表示画面38上のカーソルを動かす制御を行う。 Processor 37, in response to these signals, performs control to move the cursor on the display screen 38. また、場合によっては、動かした後のカーソル位置の表示物に所定の処理、例えば色あるいは模様を付す処理を行う。 In some cases, a predetermined process on the display of the cursor position after moving, the process subjecting the example color or pattern performed. あるいは、カーソル位置に対応する新たな入力画面、例え現在の入力画面の下の階層の入力画面等を表示する制御などを行う。 Alternatively, performing a new input screen corresponding to the cursor position, for example and control to display an input screen or the like of the hierarchy below the current input screen. さらにまた、クリック動作に応答して、カーソル位置の表示物(または文字列)に対応する処理、例えばその表示物等自体に処理を施すことができる。 Furthermore, in response to the click operation, the processing corresponding to the display of the cursor (or character string) may be subjected to treatment, for example, in the display or the like itself. あるいは、その文字列等が示すコマンド(画面制御以外の制御を含む)を実行するなどの制御を実行することも可能である。 Alternatively, it is also possible to perform a control such as executing the command (including the control of the non-screen control) indicated by the character string or the like.

【0055】ここで、前記速度検出部32a,32b [0055] Here, the speed detection unit 32a, 32b
は、図7(a)の空間操作マウス側に設けずに、図7 Is not provided in the spatial operations mouth-side in FIG. 7 (a), 7
(b)の制御対象機器側に設けても良い。 (B) it may be provided to the control target device side. また、図7 In addition, FIG. 7
(a)の空間操作マウス側で当該空間操作マウスの移動量まで算定し、この算定した移動量を図7(b)の制御対象機器側に与えるように構成しても良い。 Calculated by spatial operations mouth-side of (a) to the amount of movement of the space operation mouse may be configured to provide the calculated the movement amount of the control target device side in Figure 7 (b).

【0056】次に、動き検出素子として圧電振動ジャイロを用いる例について説明する。 Next, an example of using a piezoelectric vibrating gyro as a motion detection device.

【0057】図9(a)に、圧電振動ジャイロの構造の一例を示す。 [0057] in FIG. 9 (a), showing an example of the structure of a piezoelectric vibrating gyroscope. この圧電振動ジャイロでは、正三角柱の恒弾性金属91を振動子として用いる。 This piezoelectric vibratory gyroscope, using regular triangular prism of constant elastic metal 91 as oscillators. 恒弾性金属91の各面には、縦波モードの圧電セラミック92〜94が配置される。 The surfaces of constant elastic metal 91, the piezoelectric ceramic 92 to 94 of the longitudinal modes are arranged. 図9(b)のように、励振電源96を用いて、励振用圧電セラミック92に振動子91を励振させる。 As shown in FIG. 9 (b), using an excitation power 96, to excite the transducer 91 to the excitation piezoelectric ceramic 92. この場合、静止時には、検出用圧電セラミック9 In this case, at the time of rest, the detecting piezoelectric ceramic 9
3,94には等しい電圧が発生する。 Voltage is generated equal to 3,94. 一方、この圧電振動ジャイロが回転軸95を中心に回転すると、振動方向からみて90度の方向に、角速度に比例したコリオリの力が発生する。 On the other hand, if the piezoelectric vibrating gyro is rotated around the rotation shaft 95, in the direction of 90 degrees when viewed from the vibration direction, the Coriolis force proportional to the angular velocity is generated. この結果、検出用圧電セラミック93に発生する電圧と検出用圧電セラミック94に発生する電圧との間に、差が生じる。 As a result, between the voltage generated in the voltage and the detecting piezoelectric ceramic 94 which is generated in the detection piezoelectric ceramic 93, a difference occurs. 従って、減算装置97を用いて、検出用圧電セラミック93,94の出力電圧の差を演算することによって、角速度を求めることができる。 Thus, by using the subtractor 97, by calculating the difference between the output voltage of the detecting piezoelectric ceramics 93 and 94, it is possible to obtain an angular velocity.
2つの検出用圧電セラミック93,94の特性が同一であるとすると、出力端子98には、角速度に比例した電圧信号のみが現れる。 When the characteristics of the two detecting piezoelectric ceramics 93 and 94 is the same, the output terminal 98, only the voltage signal proportional to the angular velocity it appears.

【0058】この圧電振動ジャイロを本発明の空間操作マウスにさらに適用すれば、平行移動のみではなく、軸回りの回転も検出することがでる。 [0058] In more applied to spatial operations mouse of the present invention the piezoelectric vibrating gyro, not only parallel movement, it is out to detect the axis rotation. この適用は、空間操作マウスの操作性の面において、様々な応用範囲の広がりを与える。 This application, in the operation of the surface of the space using a mouse, giving a spread of different range of applications.

【0059】なお、振動子91が回転しなくても、励振用圧電セラミックの振動方向からみて90度の方向に空間操作マウス本体が動くと、検出用圧電セラミック9 [0059] Incidentally, even without the vibrator 91 is rotated, the spatial operations mouse body in the direction of 90 degrees when viewed from the direction vibration of the excitation piezoelectric ceramic moves, the detecting piezoelectric ceramic 9
3,94に、移動速度に比例する電圧差が発生する。 To 3,94, a voltage difference proportional to the moving speed is generated. これを利用して、マウス本体の速度を検出することができる。 By utilizing this, it is possible to detect the speed of the mouse body.

【0060】図10は、ポインティング動作を安定にするための手振れ補正回路を設けた空間操作マウスの構成例である。 [0060] FIG. 10 is a configuration example of a spatial operations mice provided with a camera shake correction circuit for stabilizing the pointing operation. この空間操作マウスの構成は、基本的には、 The configuration of the space operation mouse is, basically,
図7(a)の空間操作マウスの構成と同じである。 Is the same as the configuration of the spatial operations mice Fig 7 (a). ただし、増幅器31a,31bの後段に、帯域制限器39 However, amplifiers 31a, downstream of the 31b, the band limiter 39
a,39bをそれぞれ設けた点に、相違がある。 a, 39 b and in that respectively, there are differences.

【0061】すなわち、空間操作マウスは操作者が手に持って操作するため、操作者の手振れにより、どうしても空間操作マウス本体が微妙に振動する。 [0061] In other words, space operation mouse is for the operator to operate in his hand, the hand-shake of the operator, is absolutely space operation mouse body to subtle vibration. この結果、ポインティング動作が正確にできない場合が生ずる。 As a result, when the pointing operation can not be accurately occurs. そこで、帯域制限器39a,bを用いて、手振れによる振動成分を除去するものである。 Therefore, the bandwidth limiter 39a, with b, is to remove the vibration component due to camera shake.

【0062】通常、手振れの周波数は、0.5Hz〜1 [0062] Typically, the frequency of hand-shake, 0.5Hz~1
5Hz程度の周波数範囲にあると考えられる。 It is considered to be in the frequency range of about 5Hz. 従って、 Therefore,
帯域制限器39a,39bの周波数除去範囲は、上記範囲に設定すると効果的である。 Band limiter 39a, 39b of the frequency rejection range, it is effective to set in the above range. これにより、操作者の意図する動作に対してのみ、マウスの動きを検出することが可能になるので、操作者の意図しない誤入力を回避することができる。 Thus, only the operation intended by the operator, it becomes possible to detect the movement of the mouse, it is possible to avoid unintentional erroneous input by the operator. 従って、空間操作マウスの信頼性の向上を図ることができる。 Therefore, it is possible to improve the reliability of the spatial operations mice.

【0063】この帯域制限器39a,39bには、帯域制限フィルタまたは積分回路、あるいは演算回路を用いても良いし、ソフト処理によっても実現可能である。 [0063] The band-limiter 39a, the 39 b, band-limiting filter or integrating circuit, or may be used an arithmetic circuit can be realized by software processing.

【0064】なお、アプリケーションによっては、帯域制限器39a,39bの除去周波数を互いに異なる範囲に設定しても良い。 [0064] Depending on the application, the bandwidth limiter 39a, may be set to different ranges rejection frequency of 39 b.

【0065】一方、手振れの周波数である0.5Hz〜 [0065] On the other hand, is the frequency of the hand shake 0.5Hz~
15Hz程度の周波数範囲に該当する緩慢な動作で、この空間操作マウスの操作を行いたい場合もある。 In slow operation corresponding to the frequency range of about 15 Hz, you may want do this spatial operations mice. この場合は、空間操作マウスに、帯域制限器39a,39bを設ける経路と、設けない経路の2系統を設ければ良い。 In this case, the spatial operations mice band limiter 39a, a path providing a 39 b, may be provided two systems of paths is not provided.
そして、除去周波数の範囲に該当する動作であっても、 Then, even an operation corresponding to a range of rejection frequency,
帯域制限器39a,39bを設けない経路から得られる移動距離等を勘案し、操作者の意図する動作と認められる場合と認められない場合で経路を切り替えて信号を出力しても良い。 Band limiter 39a, in consideration of the moving distance and the like obtained from the path without the 39 b, the route may be output signal switches to a case where not recognized as if deemed operation intended by the operator.

【0066】以上により、任意の空間でのポインタ動作を可能とするとともに、コンピュータやマルチメディア器機あるいはその表示装置から離れていても、手軽にポインタ操作や制御操作を行うができる空間操作マウスを提供することができる。 [0066] Thus, provided with the enabling pointer operation in any spatial, be separate from the computer or multimedia equipment or the display device, a spatial operation mouse as possible easily perform pointer operation and control operations can do.

【0067】図11は、本発明の第2の実施例に係る空間操作マウスの概略構成図である。 [0067] Figure 11 is a schematic configuration diagram of a spatial operations mouse according to a second embodiment of the present invention. 第1の実施例と同様に、水平方向動き検出素子112と垂直方向動き検出素子113によって、空間操作マウス本体111の2次元方向の動きを検出し、その結果得られる動き信号により、制御対象機器の表示画面上のカーソルを動かす。 Like the first embodiment, the horizontal motion detection device 112 and the vertical motion detection device 113 detects the two-dimensional movement of the space using the mouse body 111, by the resulting motion signal, the control target device move the cursor on the display screen. 操作は、カーソルボタン114とクリックボタン117によって行われる。 Operation is carried out by the cursor button 114 and the click button 117.

【0068】図12は、本発明の第2の実施例の空間操作マウスをマルチメディアテレビに適用した場合の空間操作型映像システムの使用概念図である。 [0068] Figure 12 is a use conceptual view of the three-dimensional operation image system in a case of applying the spatial operations mice second embodiment multimedia television of the present invention. 操作者は、従来のボタン制御型の赤外線リモコン装置のように、多くの機能ボタンを用いて操作を行うのではなく、テレビ画面内に表示される入力画面を見ながら操作を行うことができる。 The operator, as in the conventional button-controlled infrared remote control device, instead of performing an operation using a number of function buttons, can perform an operation while looking at the input screen displayed on the TV screen.

【0069】操作者が空間操作マウス本体111を上下左右に動かすと、空間操作マウスによってその動きが検出される。 [0069] When the operator moves the spatial manipulation mouse body 111 vertically and horizontally, the motion is detected by the space operation mouse. そして、空間操作マウス内で動きに応じた制御信号が生成され、赤外線発光素子115、116から放射される。 Then, the control signal corresponding to the movement in space operations in mice is generated and emitted from the infrared light emitting element 115, 116. 放射され赤外線は、マルチメディアテレビ本体121の赤外線受光素子123により受光される。 Infrared emitted is received by the infrared receiving elements 123 of the multimedia television body 121.

【0070】操作者が、空間操作マウスのカーソルボタン114を第1の指(例えば親指)で押すと、表示画面122上にカーソルが表示される。 [0070] When the operator presses the cursor button 114 of the spatial operations mouse first finger (e.g. a thumb), the cursor is displayed on the display screen 122. マウス本体111を動かして、カーソルをクリックしたい対象物上に移動する。 Move the mouse body 111, to move on to the object you want to click the cursor. そして、操作者は、第2の指(例えば人差し指や中指)でクリックボタン117を押す。 Then, the operator, press the click button 117 in the second finger (eg index finger and middle finger).

【0071】図13(a)〜図13(d)の画面例を用いて、この空間操作型映像システムの操作の一例を説明する。 [0071] Using the example of the screen shown in FIG. 13 (a) ~ FIG 13 (d), for explaining an example of operation of the three-dimensional operation image system. まず、画面にはチャンネルAの内容が映されているものとする。 First, the screen shall contents of channel A is mirrored. そのような画面の状態を、図13(a) The state of such a screen, FIG. 13 (a)
に示す。 To show. 操作者が例えばチャンネルDを画面に映したい場合には、まず、操作者は、カーソルボタン114をクリックする。 The operator, for example, the channel D if you want to project on the screen, first, the operator, click the cursor button 114. すると、図13(b)のように、入力画面124が表示される。 Then, as shown in FIG. 13 (b), the input screen 124 is displayed. このとき、入力画面124には、 In this case, the input screen 124,
チャンネルを表すA〜Fの文字が表示される。 Character of A~F representing the channel is displayed. 現在のチャンネルであるAは、四角いカーソルで囲まれている。 A is the current channel is surrounded by a square cursor.
操作者は、空間操作マウスを動かして、このカーソルを図13(c)のようにDに移動させる。 The operator moves the spatial manipulation mouse is moved to D as shown in FIG. 13 (c) the cursor. そして、クリックボタン117を押し、続けてカーソルボタン114を押す。 Then, press the click button 117, pressing the cursor button 114 to continue. すると、図13(d)のようにチャンネルが切り替わり、入力画面124は消去される。 Then, 13 channel is switched as (d), an input screen 124 is erased.

【0072】このような操作は、チャンネル選択だけでなく、音量調節、色調の調節等、あらゆる操作に用いることができる。 [0072] Such operation is not only channel selection, can be used for volume control, regulation, etc. of tones, all operations.

【0073】このように、本発明の空間操作マウスを用いれば、従来の多くの機能ボタンを有するボタン制御型の赤外線リモコン装置を用いる場合と異なり、操作者は、テレビ画面を見ながら入力操作を行うことができる。 [0073] Thus, the use of the space operation mouse of the present invention, unlike the case of using an infrared remote controller button controlled with many conventional function buttons, the operator, the input operation while viewing the TV screen It can be carried out. したがって、操作者は、多くのボタンの機能をそれぞれ記憶する負担や煩雑なボタン操作から解放される。 Therefore, the operator is released from the burden and cumbersome button operation for storing a number of buttons functions, respectively.
すなわち、本発明の空間操作マウスは、操作者にとって非常に使いやすい操作環境を提供することができる。 That is, spatial operations mouse of the present invention can provide a very easy to use operating environment for the operator.

【0074】ここで、1つのクリックボタンを有する第1の実施例の空間操作マウスおよびカーソルボタンおよびクリックボタンの2つのボタンを有する第2の実施例の空間操作マウスについて、種々のクリック動作のタイプを図14を参照しながら説明する。 [0074] Here, the spatial operations mice second embodiment with two buttons spatial operations mouse and cursor buttons and click button of a first embodiment having one click button, type variety of click operation It will be described with reference to FIG. なお、図14において、「押す」という動作は、「押し続ける」ではなく「押して放す」という動作を示す。 In FIG. 14, the operation of "pressing" refers to the operation of the "press and hold" rather than "press release".

【0075】従来のメカニカル式マウスや光学式マウスでは、カーソル制御のオン/オフの切り換えは、マウス本体を操作板に接触させるかさせないかで決められる。 [0075] In a conventional mechanical mouse or optical mouse, switching of cursor control on / off is determined by either not or contacting the mouse body on the operation plate.
従って、マウス本体が操作板の端に位置している場合に、表示画面上でさらにカーソルを移動させたいときは、操作者は、一旦、マウスを持ち上げて、マウスを操作板の移動可能領域に設置し直し、改めて操作板上を移動させる。 Therefore, when the mouse body is located on the edge of the operation plate, when it is desired to further move the cursor on the display screen, the operator is once lift the mouse, the movable area of ​​the mouse operation plate installed again, it is moved on again the operation plate. ところが、本発明の空間操作マウスでは、カーソル制御のオン/オフの切り換えは、ボタンの押し方あるいは放し方によって簡単に指示することができる。 However, in the spatial manipulation mouse of the present invention, switching of the cursor control the on / off may be indicated simply by pressing this or release way button.
あるいは、オン/オフ指示用のボタンの操作によって指示される。 Alternatively, as indicated by operation of the button for ON / OFF instruction.

【0076】まず、第2の実施例の空間操作マウスでは、カーソル制御を可能にするためのカーソルボタン(A)と確認動作あるいは選択動作をするためのクリックボタン(B)とを別に設けている。 [0076] First, the spatial operations mice second embodiment, provided separately from the click button for cursor button (A) and verify operation or selection operation for enabling a cursor control (B) .

【0077】操作タイプ1では、カーソルボタン(A) [0077] In the operation type 1, the cursor button (A)
を押すと、カーソルや必要な入力画面が表示され、カーソル制御が可能となる。 When you press, to display the cursor and necessary input screen, it is possible to control the cursor. 操作者は、表示されたカーソルを移動させた後、クリックボタン(B)を押す。 The operator, after moving the displayed cursor, press the click button (B). この操作により、確認入力あるいは選択入力がなされる。 This operation confirmation input or selection input is made. そして、再びカーソルボタン(A)を押すと、カーソルや入力画面が消去され、カーソル制御が不可となる。 And, again pressing the cursor button (A), it erases the cursor and input screen, cursor control is impossible.

【0078】操作タイプ2では、カーソルボタン(A) [0078] In the operation type 2, the cursor button (A)
を押し続けている間、カーソルや必要な入力画面が表示され、カーソル制御が可能となる。 While holding down the, to display the cursor and necessary input screen, it is possible to control the cursor. カーソルを移動させた後、クリックボタン(B)を押すことにより、確認あるいは選択がなされる。 After moving the cursor by pressing the click button (B), confirm or selection is made. そして、再びカーソルボタン(A)を放すと、カーソルや入力画面が消去され、カーソル制御が不可となる。 And, again release the cursor button (A), it erases the cursor and input screen, cursor control is impossible.

【0079】次に、第1の実施例の空間操作マウスは、 Next, spatial operations mice first embodiment,
カーソル制御を可能にするためのカーソルボタンと確認動作あるいは選択動作をするためのクリックボタンとを1つのクリックボタンで共有したものである。 It is obtained by sharing and click button for the cursor buttons and check operation or selection operation for enabling cursor controlled by a single click button.

【0080】操作タイプ3では、クリックボタンを1回押すと、カーソルや必要な入力画面が表示され、カーソル制御が可能となる。 [0080] In the operation type 3, and press once the click button, to display the cursor and necessary input screen, it is possible to control the cursor. カーソルを移動させた後、クリックボタンを予め設定された回数(例えば2回)押すことにより、確認あるいは選択がなされる。 After moving the cursor, the number of times that is set to the click button in advance (for example, twice) by pressing a confirmation or selection is made. そして、再びクリックボタンを1回押すと、カーソルや入力画面が消去され、カーソル制御が不可となる。 Then, when pressed once the click button again clears the cursor and input screen, cursor control is impossible.

【0081】操作タイプ4では、クリックボタンを押し続けている間、カーソルや必要な入力画面が表示され、 [0081] In the operation type 4, while press and hold the click button, to display the cursor and necessary input screen,
カーソル制御が可能となる。 Cursor control becomes possible. カーソルを移動させた後、 After moving the cursor,
クリックボタンを放すことにより、確認あるいは選択がなされるとともに、カーソルや入力画面が消去され、カーソル制御が不可となる。 By releasing the click button, along with confirmation or selection is made, are erased cursor or input screen, cursor control is impossible.

【0082】この操作タイプ3および4は、第2の実施例の空間操作マウスでも使用可能である。 [0082] The operation type 3 and 4 can also be used in space operations mice second embodiment.

【0083】これらの操作タイプは、アプリケーションの特徴等を考慮して、その都度最適なものを選択するのが好ましい。 [0083] These operations types, in consideration of the application features like the, preferably selected each time optimum.

【0084】なお、この他の操作タイプとしては、例えば次のような方法がある。 [0084] As the other operation type, there is the following method, for example. まず、制御対象機器側でカーソル制御を可能とするとともに、必要な場合にはその旨を操作者に伝える。 First, while allowing the cursor controlled by the control target device side, if necessary inform the fact to the operator. そして、空間操作マウス側では、確認動作あるいは選択動作をするためのクリックボタンの操作が行われる。 Then, the spatial operations mouth-side, the operation of the click button for a confirmation operation or selection operation is performed.

【0085】また、制御対象機器側で、カーソル制御を可能や不可にするタイミングの制御、および確認動作あるいは選択動作タイミングの制御を司り、空間操作マウス側では、クリックボタンを設けないあるいは設けても操作しないで、カーソルの移動だけを行わせる様に構成することも可能である。 [0085] Further, in the control target device side, control of the timing that enables or disables cursor control, and confirmation operation or responsible for the control of the selection operation timing, in the spatial manipulation mouth-side, be provided or not provided click button not operate, it is also possible to configure so as to perform only the movement of the cursor.

【0086】次に、本発明の第3の実施例について説明する。 Next, a description will be given of a third embodiment of the present invention.

【0087】本発明の空間操作マウスは、カーソルを用いた画面上のアイコンや映像の制御に適用できるのみではなく、操作者が空間操作マウス本体を握って、空間に所定の動作パターンを描くことにより意思を伝達できる機能を付加したものである。 [0087] spatial operations mice of the present invention is not only applicable to the control of the screen icons and images using the cursor, the operator grips the space operation mouse body, to draw a predetermined operation pattern in the space it is obtained by adding the ability to transfer an intention by. それゆえ、空間操作マウスという語句は、ポインティング・デバイスとしての機能を有するマウスを意味するだけでなく、動作パターンによる入力機能をも含めた拡張した意味で用いるものとする。 Thus, the phrase spatial operations mice not only means a mouse having a function as a pointing device, shall be used in the sense that extends including the input function by operation pattern.

【0088】基本的に、人間の通常の感覚に基づいて自然になされる動作は、3次元空間内で営まれる。 [0088] Basically, the operation performed naturally on the basis of the normal human senses, it is Itonama in the three-dimensional space. 従って、操作者による3次元空間動作のパターンの認識ができれば、操作者が感覚的にコンピュータや映像器機を制御できるような環境を提供することが可能となる。 Thus, if the recognition of the pattern of three-dimensional space operation by the operator, it is possible to provide an environment that the operator can control the sensuously computers and video equipment. すなわち、日常生活の中で無意識に行われる生理的動作や習慣的動作等の感覚的動作/反射的動作を利用するマン・ In other words, the man to use the sensory action / reflection operation of the physiological behavior and habitual operation, and the like that are to be carried out in unconscious in daily life
マシンインターフェイスは、感覚的制御に最適なヒューマンインターフェイスと言える。 Machine interface, it can be said that the optimal human interface to the sensory control.

【0089】感覚的制御に利用する生理的動作や習慣的動作としては、以下のようなものが考えられる。 [0089] as a physiological behavior and habitual behavior to be used for sensory control, it is considered as follows. まず、 First of all,
生理的動作の例としては、喜怒哀楽の情緒的感情に伴う動作や、人の体の構造上規定される動作がある。 Examples of physiological action, operation or due to emotional feelings of emotion, there is a behavior that is defined on the structure of the human body. 次の5 The next 5
つの動作は、生理的動作の例である。 One of the operations is an example of a physiological operation. (i )驚いた時には、一瞬筋肉が萎縮し、体がすくむ。 (I) when the surprise, a moment muscles to atrophy, the body is cowered. (ii)緊張している時には、手足が震える。 (Ii) when you are nervous, trembling limbs. (iii )注意している時には、静止する。 (Iii) when you are careful, to rest. (iv)相手を攻撃するときは、手を突き出したり、上から降り下ろしたりする。 (Iv) When you attack the opponent, or projecting a hand, or down down from the top. (v )右利きの人が紙をめくる時は、左下から右上に向かってめくる。 (V) when the right-handed people to turn the paper, turn from the lower left to the upper right.

【0090】また、次の4つの動作は、習慣的動作の例である。 [0090] In addition, the following four operations, is an example of habitual behavior. (i )肯定の場合に、首を縦に振る。 (I) in the case of a positive, shook his head vertically. (ii)音量アップの時は、右回しでボリュームを操作し、音量ダウンの時は、左回しの動作をする。 (Ii) when the volume up, operate the volume on the right once, when the volume down, to the operation of the left once. (iii )別れる時は、手を上げて、左右に振る。 (Iii) when the break up is, raise your hand, shake from side to side. (iv)人を呼び寄せる時は、手のひらを上に向け、手前に振る。 (Iv) When you attract people, towards the palm upward, shake in front. このように、日常生活において、万人が同じような動作を習慣的に行う例は多い。 In this way, in everyday life, examples million people do habitually the same kind of behavior are many.

【0091】生理的動作や習慣的動作を入力パターンとして利用することは、操作者にとって、それらの動作が無意識に感覚的にできる点において、優れている。 [0091] utilizing the physiological action and customarily operates as an input pattern, for the operator, in that their operation can be sensuously unconscious, it is excellent.

【0092】ただし、2次元平面では、その動作の表現と認識が困難である。 [0092] However, in the two-dimensional plane, it is difficult to recognize the representation of the operation. すなわち、3次元空間内での動作確認技術が必要不可欠である。 That is indispensable operation check technique in the three-dimensional space. 従って、従来の操作板上で操作する2次元マウスから動作パターンを入力しても、人間の3次元空間での感覚的動作を認識することはできない。 Thus, entering the operation pattern from the two-dimensional mouse operating in conventional operation board, it is impossible to recognize the sensory operation in human three-dimensional space. これに対して本発明では、空間操作マウス本体1を3次元空間内で操作できるため、従来の2次元マウスでは不可能な感覚制御型ヒューマンインターフェイスを実現することができるわけである。 In the present invention, on the other hand, it is possible to operate the spatial operations mouse body 1 in the three-dimensional space, is not a conventional two-dimensional mouse can be realized not sense-controlled human interface.

【0093】図15は、空間動作パターンによる入力機能を有する空間操作マウスのブロック図の一例である。 [0093] Figure 15 is an example of a block diagram of a spatial operations mice with an input function by spatial movement pattern.
この空間操作マウスは、第1動きセンサ30a、増幅器31a、前述の帯域制限器39a、A/D変換器40 The spatial operations mice, the first motion sensor 30a, an amplifier 31a, band limiter 39a described above, A / D converter 40
a、速度検出部32c、第2動きセンサ30b、増幅器31b、前述の帯域制限器39b、A/D変換器40 a, the speed detection unit 32c, a second motion sensor 30b, an amplifier 31b, band limiter 39b described above, A / D converter 40
b、速度検出部32d、動作認識部41、動作パターンメモリ42、赤外線リモコン送信回路43、赤外線発光素子34により構成される。 b, the speed detection unit 32d, the operation recognition section 41, the operation pattern memory 42, an infrared remote control transmitter circuit 43, constituted by the infrared light-emitting element 34.

【0094】基本的な構成は、図10の空間操作マウスとほぼ同様であるが、操作者によって空間に描かれた動作パターンを認識するための動作認識部41および動作パターンメモリ42を設けた点が異なる。 [0094] The basic structure is substantially the same as spatial operations mice of Figure 10, the point of providing the operation recognition section 41 and the operation pattern memory 42 for recognizing an operation pattern drawn in the space by the operator It is different.

【0095】まず、ポインティング・デバイスとしての機能は、図10とほぼ同様の構成、すなわち、第1動きセンサ30a、増幅器31a、前述の帯域制限器39 [0095] First, functions as a pointing device, substantially the same structure as FIG. 10, i.e., the first motion sensor 30a, an amplifier 31a, the aforementioned band limiter 39
a、A/D変換器40a、速度検出部32c、第2動きセンサ30b、増幅器31b、帯域制限器39b、A/ a, A / D converter 40a, the speed detection unit 32c, a second motion sensor 30b, an amplifier 31b, band limiter 39 b, A /
D変換器40b、および速度検出部32dを用いて実現される。 D converter 40b, and is implemented using a speed detection unit 32d.

【0096】速度検出部32c,32dには、それぞれA/D変換された信号が与えられる。 [0096] speed detecting unit 32c, the 32d, is given each A / D converted signal. 速度検出部32 Speed ​​detection unit 32
c,32dでは、デジタル処理が行われる点のみが異なり、動作に関しては図7のものと同一である。 c, the 32d, differs only in that the digital processing is performed, is identical to that of Figure 7 with respect to the operation. 従って、 Therefore,
この部分の構成および動作の詳細については、すでに説明したので記載を省略する。 For details of construction and operation of this part is omitted the description has already been described. なお、速度検出部32c, It should be noted that the speed detection unit 32c,
32dには、A/D変換する前の信号を与えるように構成しても構わない。 32d, the it may be configured to provide a signal before conversion A / D.

【0097】次に、この空間操作マウスを用いた動作パターンの認識処理と、それによる対象機器の制御について説明する。 [0097] Next, the recognition pattern of behavior using the spatial operations mice, it by the control of the target device will be described.

【0098】図16(a),図16(b),図16 [0098] FIG. 16 (a), the FIG. 16 (b), the 16
(c)は、そのような動作パターンによる入力動作の例である。 (C) is an example of an input operation by such operation pattern. 空間操作マウスを図16(a)のように回転させる動作、図16(b)のように上下に振る動作、あるいは、図16(c)のように左右に振る動作、といった種々の動作パターンに対応して登録された制御を、コンピュータ等の制御対象機器に対して行うことができる。 Operation of rotating the spatial operations mice as in FIG. 16 (a), operation shake up and down as shown in FIG. 16 (b), the or the various operation patterns operation, such as waving to the left and right as shown in FIG. 16 (c) the control registered corresponding, it can be performed on the control target device such as a computer.
例えば、制御対象機器がスピーカーを内蔵している場合、空間操作マウスを右に回すと音量が増加し、左に回すと減少する、といった制御をさせることが可能である。 For example, if the control target device is a built-in speaker, increase volume Turn the spatial operations mouse to the right, it is possible to control such decreases by turning to the left. あるいは、制御対象機器から確認のための入力を求められた場合、空間操作マウスを上下に振ると“Ye Alternatively, when prompted for confirmation from the control target device, shake spatial operations mouse up and down "Ye
s”が伝えられ、左右に振ると“No”が伝えられるなど、種々の制御をさせることが可能である。 s "is transmitted, and shake to the left and right", etc. No "is transmitted, it is possible to various control.

【0099】まず、操作者は、本実施例の空間操作マウスを握り、手を動かして、予め決められている基本動作パターンを空間に描く。 [0099] First, the operator grips the spatial operations mouse of the present embodiment, by moving the hand, draws a basic operation pattern is predetermined in the space. 空間操作マウスの動きは、第1 Movement of spatial operations mice first
動きセンサ30a,30bにより、一旦2つの方向の動きに分解されて検出される。 Motion sensors 30a, by 30b, is detected is decomposed once two directions of movement. それぞれの方向の動きを表す信号は、増幅器31a,31bにより増幅され、帯域制限器39a,39bにより余分な成分が除去され、A Signals representing the respective directions of movement, an amplifier 31a, is amplified by 31b, the band limiter 39a, extra components are removed by 39 b, A
/D変換器40a,40bによりデジタル信号に変換されて、動作認識部41にそれぞれ与えられる。 / D converter 40a, is converted into a digital signal by 40b, respectively applied to the operation recognition section 41.

【0100】一方、動作パターンメモリ42には、所定の様々な基本動作パターンに対応する基本データが格納されている。 [0100] On the other hand, the operation pattern memory 42, the basic data corresponding to the predetermined different basic operation patterns are stored.

【0101】動作認識部41は、まず、操作者の3次元空間における動作をパターン化するために、2つの方向の動きを表す信号を基本データと同じフォーマットの動作パターンデータに変換する。 [0102] operation recognition portion 41, first, in order to pattern the operation in three-dimensional space of the operator, and converts a signal representative of the two directions of movement to the operation pattern data in the same format as the basic data. そして、この動作パターンデータと基本データとを比較することによって、動作パターンの識別を行い。 Then, by comparing the behavior pattern data and the basic data, performs the identification of the operation pattern. そして、該当する基本動作パターンを示す動作コードを獲得する。 Then, to acquire an operation code indicating the appropriate basic operation patterns.

【0102】この動作コードは、赤外線リモコン送信回路43と赤外線発光素子34により制御対象機器に送信される。 [0102] The operation code is sent to the control target device via infrared remote control transmitter circuit 43 and the infrared light emitting element 34. これを受信した制御対象機器は、与えられた動作コードに対応する制御を実行する。 Control target device receiving this executes a control corresponding to the given operating code.

【0103】ここで、操作者の動作により得られた動作パターンデータおよび動作パターンメモリ42に格納されている基本データを比較することによって、操作者の動作を同定しようとしても、識別しにくい動作がなされた結果、動作を同定しきれない場合が考えられる。 [0103] Here, by comparing the basic data stored in the operation pattern data and the operation pattern memory 42 is obtained by the operation of the operator, even if an attempt identify the operation of the operator, the identification difficult operation made the result, cases can be considered that can not be identified operation. そこで、例えば動作パターンデータと基本データとの間の類似度を計算し、測定された動作パターンデータに対して類似度の一番高い基本データを有する動作パターンを操作者が行った動作ものと決定し、決定した動作パターンに対応する動作コードを得るようにしても良い。 Therefore, for example, the degree of similarity between the operation pattern data and basic data is calculated, the operation stuff the operator the operation pattern having the highest basic data of similarity is performed on the measured motion pattern data determined and, the determined operation pattern may be obtained an operation code that corresponds. あるいは、良く知られているニューロやファジー等の手法を用いて、動作パターンの識別を行っても良い。 Alternatively, using techniques neuro or fuzzy like well known, it may be performed to identify the motion pattern.

【0104】また、測定された動作パターンデータに対して同程度の類似度を有する基本データが複数検出された場合、複数の動作コードと類似度の組を制御対象機器側に送信し、制御対象機器側の方で、与えられたデータの組に基づいて適宜処理を行っても良い。 [0104] Also, if the base data with the same degree of similarity is more detected for measured operating pattern data, and sends the set of a plurality of operation codes and similarity to the control target device side control object you were apparatus side, it may be carried out as appropriate processing based on a given data set. あるいは、動作パターンが特定できないことを制御対象機器側に伝え、制御対象機器側の方で画面表示あるいは合成音等を用いて、再度動作パターンによる入力を実行するように、操作者に伝えるように構成しても良い。 Alternatively, tell that the operation pattern can not be identified to the control target device side, using such screen display, or synthetic sound towards the control target device side, so as to perform the input by the operation pattern again, to convey to the operator it may be configured.

【0105】動きの認識については、様々なバリエーションが考えられ、「8の字」や「×印」のような複雑な動きも認識可能である。 [0105] for the recognition of the movement, is considered a variety of variations, complex movements, such as the "figure eight" and "× mark" can also be recognized. また、移動速度、加速度、パターンの大きさ等の種々データを用い、また組み合わせれば、さらに数多くの種類の制御が可能となる。 Further, the moving speed, acceleration, using various data such as the size of the pattern, also be accomplished by combining, it is possible to further numerous types of control. 例えば、 For example,
空間操作マウスを右に回すと音量が増加する場合、大きな輪を描くように(あるいは早い速度で)右に回すときの方が、小さく輪を描くように(あるいは遅い速度で) As if the volume is increased by turning the space operation mouse to the right, it is better when the turn to draw a large circle in (or early in speed) right, draw a small circle (or at a slower rate)
右に回すときよりも、音量の増加の度合いが大きくなるように設定することも可能である。 Than when turning to the right, it is also possible to set as the degree of increase in the volume is increased.

【0106】また、基本動作パターンに対して、前述のような人間の通常の習慣的な動作が示す意味に対応する処理内容を割り当て、あるいは基本動作パターンに対して、その基本動作パターンから受ける印象から違和感の生じない処理内容を割り当てると効果的である。 [0106] Further, impression given to the basic operation patterns, allocation processing content corresponding to the meaning indicated by the human normal habitual behavior as described above, or to the basic operation patterns, from the basic operation pattern assigning a processing content causing no discomfort from the effective. そのようにすれば、操作者は、困難なく種々の基本動作パターンに与えられた機能を記憶することができるとともに、 If that way, the operator, it is possible to store a given variety of basic operation pattern without difficulty function,
使用時も非常に使い易くなる。 When use is also very easy to use. このように、本発明の空間操作マウスを適用すれば、優れたマン・マシンインターフェイス環境を提供することができる。 Thus, by applying the spatial operations mouse of the present invention, it is possible to provide an excellent man-machine interface environment.

【0107】ここで、動きを検出すべき2つの方向については、本実施例では垂直および水平方向に動きを扱った。 [0107] Here, for the two directions to be detected motion, in the present embodiment deals with movement in the vertical and horizontal directions. その代わりに、これらに直行する方向(すなわち前後方向)と垂直方向の2つの方向や、前後方向と水平方向の2つの方向の動きを検出するように構成することが可能である。 Instead, the direction orthogonal thereto (i.e., longitudinal direction) and two directions perpendicular direction, it is possible to configure to detect the two directions of movement in the longitudinal direction and the horizontal direction. さらに、動き検出部を増設して、動きを検出できる軸を増やすことによって、動作パターン入力に用いる基本動作パターンとして、3次元空間でのさらに複雑な動作を用いることも可能である。 Furthermore, by adding the motion detector, by increasing the axial capable of detecting motion, as a basic operation pattern for use in operating pattern input, it is also possible to use a more complex operation in three-dimensional space. また、手首のひねり等の動作による軸の回りの回転を検出して、これを動作パターンあるいは動作パターンの一部として用いても効果的である。 Further, by detecting the rotational operation around the axis by such twisting of the wrist, it is effective also be used as part of the operation pattern or operation pattern it.

【0108】なお、本実施例の空間操作マウスの2つの機能、すなわちいわゆるポインタ機能とこの動作パターン入力機能の使い分けは、空間操作マウスの方で設定しても良いし、制御対象機器の方で指示しても良い。 [0108] Incidentally, two functions of spatial operations mouse of the present embodiment, i.e. a so-called pointer function proper use of this operation pattern input function may be set in the way of spatial operations mice, you were the control target device it may instruct. また、このポインタ機能と動作パターン入力機能を組合わせて使用することも可能である。 It is also possible to use a combination of operation patterns input function and the pointer function.

【0109】また、前記動作認識部41および動作パターンメモリ42は制御対象機器の方に設け、当該空間操作マウスからは動き検出をして得られたそのままのデータを出力するように構成しても良い。 [0109] Further, the operation recognition portion 41 and the operation pattern memory 42 is provided toward the control target device, even from the space operation mouse configured to output the raw data obtained by the motion detection good.

【0110】本実施例では、操作者が空間操作マウスを手に握って操作する例について説明した。 [0110] In this embodiment, the operator has been described an example of operation holding the hand spatial operations mice. 空間操作マウスを手に握って操作する代りに、空間操作マウスを操作者の体の他の部分、例えば足あるいは頭に装着し、それらの装着した部分の動作パターンを検出しても良い。 Instead of operating holding in hand space operation mouse, other parts of the body of the operator spatial operations mice, for example, mounted on the foot or the head, may be detected operation pattern of their mounting portions. また、操作者の操作する装置あるいは道具に装着あるいは内臓して、それら装置等の動作パターンを検出しても良い。 Moreover, by mounting or built in the apparatus or tool for operation of the operator, it may detect the operation pattern thereof or the like.

【0111】以上のように、本発明によれば、任意の空間でのポインタ動作を可能にするだけでなく、操作者の動作を認識することができる空間操作マウスを提供することができる。 [0111] As described above, according to the present invention not only allows the pointer operation in an arbitrary space, it is possible to provide a spatial operations mice can recognize the operation of the operator. また、コンピュータやマルチメディア器機あるいはその表示装置から離れていても、手軽にポインタ操作や制御操作を可能にする空間操作マウスを提供することができる。 Further, it can be separated from the computer and multimedia equipment or the display device, provides a space operation mouse that allows easy pointer operation and control operations.

【0112】次に、本発明の第4の実施例を説明する。 [0112] Next, a fourth embodiment of the present invention.

【0113】本実施例は、概略的には第3の実施例と同様に、空間操作マウスのような3次元入力装置を用いて、空間動作パターンを入力して、所望の機能を実行させるシステムである。 [0113] This example system is schematically that as in the third embodiment, using a three-dimensional input device such as a spatial operations mice, enter the spatial activity pattern, to perform the desired function it is. 本実施例では、第3の実施例における動作パターンの認識処理をさらに詳細化している。 In this embodiment, further refine the recognition process operation pattern in the third embodiment.
すなわち、後述するように、操作者の空間での動作パターンを微小な基準ベクトルの集合である動作ベクトル列に変換し、動作ベクトル列と予め登録された操作者の基本動作パターンとを比較して認識を行うところに特徴がある。 That is, as will be described later, converts the operation pattern in space of the operator to operate the vector sequence is a set of small reference vectors, by comparing the basic operation pattern of the pre-registered operator and operation vector sequence it is characterized in that performing the recognition.

【0114】本実施例の空間動作パターン入力システムを用いると、概略的には、操作者は、基本動作パターンを空間に描くことにより、このパターンに対応付けられている機能を実行させることができる。 [0114] The use of spatial activity pattern input system of this embodiment, the schematic, the operator, a basic operation pattern by drawing the space, it is possible to execute a function associated with this pattern . 例えば図17に示すような機能が実現できる。 For example function as shown in FIG. 17 can be realized. 図17は、本発明による空間動作パターンによる入力操作の一例を示したものである。 Figure 17 is a diagram showing an example of an input operation by the space operation pattern according to the present invention. 図のように、操作者が、空間操作マウス1を、a As shown, the operator, spatial operations mouse 1, a
からb、そしてcへと三角形状に動かすことにより、表示装置202の表示画面203に表示されていた選択肢の中から、三角形の項目を選ぶことができる。 From b, and by moving to c in a triangular shape, it can be from the options that are displayed on the display screen 203 of the display device 202 to select the item of the triangle.

【0115】次に、本発明で用いる動作ベクトルの概念を説明する。 Next, explaining the concept of motion vectors used in the present invention. 図18(a)に、操作者によって動かされている空間操作マウス1の運動の大きさ(V)と方向(θ)を示す。 Figure 18 (a), the illustrated size of the operator's spatial operations mouse 1 is being moved by the movement (V) and direction (theta). 図18(b)のように、ある時刻(t) As shown in FIG. 18 (b), the certain time (t)
において操作者によってなされた動作を、基準ベクトルの大きさ(n)の倍数と基準方向(例えば水平方向)に対する角度の組で表現する。 In an operation made by the operator is expressed by an angle set with respect to the multiplier and the reference direction (e.g., horizontal direction) of the magnitude of the reference vector (n). このように表現した動作を、動作ベクトル(Vt、θt)と定義する。 Thus the operations expression defined motion vector (Vt, [theta] t) and. 図18 Figure 18
(a)のように、この動作ベクトルは、空間操作マウス1によって検出される検出量を一定時間でサンプリングすることによって、直接得られる検出軸方向の速度(v (A), in the motion vector by sampling a detection amount detected by the spatial manipulation mouse 1 at a fixed time, the speed of the detection axis direction obtained directly (v
x 、vy )あるいは加速度(αx 、αy )を指定値として、テーブルを参照して得られるベクトルである。 x, vy) or acceleration (.alpha.x, as the designated value .alpha.y), a vector obtained by referring to the table. 動作ベクトルは、その大きさを基準ベクトルの大きさ(n) Motion vector, the magnitude of the reference vector its size (n)
の倍数で表現したものである。 It is a representation of a multiple of. よって、この動作ベクトルを用いれば、基準位置(原点)に対する空間操作マウスの空間座標を測定しなくても、空間操作マウスの動きを、時系列の微小基準ベクトル集合として相対的に得ることが可能となる。 Therefore, by using this motion vector, the reference position without measuring the spatial coordinates of the spatial operations mice to (origin), it can be obtained relatively movements spatial operations mice, as fine reference vector set of time series to become.

【0116】次に、動作を表現する際に一般的に用いられるいわゆる運動ベクトルと本発明において使用される動作ベクトルの相違を説明する。 [0116] Next, the difference in motion vectors which are generally used in the so-called motion vectors and the present invention used when expressing the operation. 図19のように、運動ベクトルによる表現では、ある運動を始点と終点のみでとらえ、始点−終点間の運動の大きさ(V)と方向(θ)を用いる。 As shown in FIG. 19, in the representation by the motion vector, there motion captured only at the start and end points and the starting point - using the magnitude of the movement between end points and (V) direction (theta). 一方、本発明における動作ベクトルによる表現では、ある運動の始点から終点までを微小なベクトルの集合としてとらえ、ある時刻(t)における個々の微小ベクトルの大きさ(Vt)と方向(θt)を用いる。 On the other hand, in the representation by motion vectors in the present invention, there is caught from the beginning of movement to the end point as a set of small vectors, is used the size of the individual micro-vectors at a certain time (t) and (Vt) direction ([theta] t) . これによって、空間における不安定な動作でも、 Thus, even in the unstable operation in space,
それぞれの動作ベクトルの大きさあるいは方向の時間的変化を追っていくことによって、相対的に、ある動作をとらえることができる。 By going over time changes in magnitude or direction of the respective motion vectors can be considered relatively, certain operations.

【0117】図20は、本発明の空間操作マウスを用いる空間動作パターン入力システムの要部構成の一例を示すブロック図である。 [0117] Figure 20 is a block diagram showing an example of the main configuration of the spatial activity pattern input system using spatial operations mouse of the present invention. 本実施例の空間動作パターン入力システムは、動作検出部204と、動作ベクトルへの変換を行う変換部205と、検出量と動作ベクトルとの対応を示したベクトルテーブル206と、識別部207 Space operating pattern input system of this embodiment, the motion detecting unit 204, a converting unit 205 for converting the motion vectors, a vector table 206 showing the correspondence between the detected amount of motion vectors, the identification unit 207
と、実行部208により構成される。 When configured by the execution unit 208.

【0118】図20の各構成部分は、適宜、空間操作マウスと、制御対象機器に分散配置することができる。 [0118] Each component of Figure 20, as appropriate, can be distributed and space operation mouse, the control target device. ただし、少なくとも、動作検出部204は空間操作マウスに実装し、実行部208は制御対象機器に実装する。 However, at least, the operation detection unit 204 is mounted on the spatial operations mice execution unit 208 implements the control target device. 例えば、動作検出部204を空間操作マウスに実装し、変換部205とベクトルテーブル206と識別部207と実行部208とを制御対象機器に実装する。 For example, the operation detection unit 204 mounted in the space operation mouse, implement a conversion unit 205 and the vector table 206 and the identifying unit 207 and the execution unit 208 to the control target device. あるいは、 Alternatively,
動作検出部204と変換部205とベクトルテーブル2 Converted motion detecting unit 204 205 and Vector Table 2
06を空間操作マウスに実装し、識別部207と実行部208とを制御対象機器に実装する。 06 was mounted on the spatial operations mice implementing the identification unit 207 and the execution unit 208 to the control target device. 他にも、種々の実装の仕方が考えられる。 Additional conceivable how various implementations.

【0119】動作検出部204を空間操作マウスに実装し、他を制御対象機器に実装する場合、動作検出部20 [0119] The operation detecting unit 204 mounted on the spatial operations mice, when implementing other control target device, the operation detection unit 20
4の出力信号は、図7(a)のように赤外線リモコン送信回路33を用いて送信され、図7(a)のような制御対象機器側の赤外線リモコン受信回路36を用いて受信される。 The output signal of 4 is transmitted using an infrared remote control transmitter circuit 33 as shown in FIG. 7 (a), the received by using an infrared remote control receiver circuit 36 ​​of the control target device side as shown in FIG. 7 (a). 他の実装方法を採用する場合も、同様の方法で信号を、空間操作マウス側から制御対象機器側へ渡すことができる。 May adopt other mounting method, the signal in the same way, it is possible to pass from the space using the mouse side to the control target device side.

【0120】すなわち、赤外線リモコン送信回路33あるいは送信部18は、後述する動作パターン入力に必要な処理が全て終了した時点の信号、あるいは処理の途中の時点での信号に、フォーマット変換、符号化、多重化、変調等の処理を施した後、赤外線発光素子12、1 [0120] That is, the infrared remote control transmitter circuit 33 or transmission unit 18, the signal in the middle of the time signal or the processing, the time of completion of all the processing necessary for the operation pattern input to be described later, format conversion, coding, multiplexing, was subjected to treatment such as modulation, infrared light emitting element 12, 1
3を駆動して、この信号を制御対象機器まで伝送する。 3 is driven and transmits the signal to the control target device.
これを受けた制御対象機器は、動作パターン入力処理の途中の信号であれば、その後のステップの処理を行って、動作パターン入力方法に対応した所定の制御動作を実行する。 Control target device receiving this, if the middle of the signal of the operation pattern input process, performs the processing of the subsequent steps, performing a predetermined control operation corresponding to the operation pattern input method.

【0121】本実施例では、空間操作マウスとして、図1および図2や、図15などの既に各実施例で説明したものを用いることができる。 [0121] In this example, as the spatial manipulation mouse, and FIGS. 1 and 2, it is possible to use those already described in the embodiments, such as FIG. 15. 例えば、第3の実施例で説明した空間操作マウスを利用する場合、動作検出部20 For example, when using the spatial operations mice described in the third embodiment, the operation detection unit 20
4は、第1動きセンサ30a、増幅器31a、帯域制限器39a、A/D変換器40a、第2動きセンサ30 4, the first motion sensor 30a, an amplifier 31a, band limiter 39a, A / D converter 40a, a second motion sensor 30
b、増幅器31b、帯域制限器39b、A/D変換器4 b, an amplifier 31b, band limiter 39b, A / D converter 4
0bを利用して構成することができる。 It can be constructed using the 0b. また、変換部2 The conversion unit 2
05とベクトルテーブル206と識別部207は、動作認識部41に対応する。 05 and vector table 206 and the identification unit 207 corresponds to the operation recognition section 41. 動作認識部41が用いる動作パターンメモリ42には、後述するような基本動作パターンが格納される。 The operation pattern memory 42 is motion recognizing unit 41 is used, it is stored basic operation pattern as described below. 実行部208は、例えば図7(b)の処理部37の実行機能に該当する。 Execution unit 208 corresponds for example to perform functions of the processing unit 37 in Figure 7 (b).

【0122】なお、前出の空間操作マウスを利用する場合、スイッチ部17(ただし図15では図中からは省略されている)には、確認動作あるいは選択動作をするためのクリックボタンに加えて、カーソル制御を可能とするためのカーソルボタンや後述する動作パターン入力を可能とするための動作パターン入力ボタン等をさらに設ける修正を施すこともある。 [0122] Incidentally, when using the spatial operations mice supra, the switch section 17 (but is omitted from in FIG 15. In FIG. 15), in addition to the click button to confirm operation or selection operation It may also be subjected to further provided modify the behavior pattern input button or the like for enabling the operation pattern input to cursor buttons and later for allowing cursor control.

【0123】ここで、特開平3−192423に、空間での動作を検出し、これをコンピュータに入力する3次元コンピュータ入力装置が開示されている。 [0123] Here, in Japanese Patent Laid-Open No. 3-192423, to detect the operation of a spatial, three-dimensional computer input device is disclosed for inputting this into a computer. しかしながら、空間での動作検出の概念を開示するに留まっており、一部のポインティング操作に用いることができるのみである。 However, and remains discloses the concept of motion detection in space, only can be used for part of the pointing operation. 一方、本発明は、空間操作マウス等によって操作者の任意空間での動作を検出し、これを意味のある動作として入力し、3次元空間における動作認識を行うことを目的としており、これを前述の動作ベクトルという概念を用いて実現するものである。 On the other hand, the present invention detects the operation in any spatial operator by spatial manipulation mouse or the like, inputs this as a meaningful operation aims at performing motion recognition in three-dimensional space, this above it is realized using the concept of motion vectors.

【0124】図21は、前記動作検出部204にて得られた空間動作量を動作パターンに変換する変換部205 [0124] Figure 21 has a conversion unit 205 for converting a spatial operation amount obtained by said operation detecting unit 204 in the operation pattern
の機能を説明するための図である。 It is a diagram for explaining the functions.

【0125】この変換部205では、ある時刻(t)に動作検出部204で検出された水平(左右)および垂直(上下)の2方向の検出量(XtとYt)を組み合わせて、ベクトルテーブル206を参照し、動作ベクトル(Vt、θt)に高速に変換する。 [0125] In the conversion unit 205, a combination of a certain time detected horizontally operation detection unit 204 (t) (right and left) and two directions of detection of the vertical (up and down) (Xt and Yt), a vector table 206 refers to the, converted to high speed operation vector (Vt, [theta] t). なお、Vtは、ある時刻(t)におけるそのベクトルの大きさ(基準ベクトルの倍数)を表し、θtはそのベクトルの方向を表す。 Incidentally, Vt represents the magnitude of the vector at a certain time (t) (multiples of the reference vector), [theta] t represents the direction of the vector.
以下の説明では、空間での一連の動作を、速度ベクトルあるいは加速度のベクトル列として扱う。 In the following description, a series of operations in space, handled as a vector sequence of the velocity vectors, or acceleration. また、空間操作マウスを動かしたときの動作ベクトルの時系列の集合全体を、動作ベクトル列(V{}、θ{})と呼ぶ。 Also, the entire set of time series of motion vectors when you move the spatial operations mouse, operation vector sequence (V {}, θ {}) is called a. なお、動作ベクトル列(V{}、θ{})は、((V1、 The operation vector sequence (V {}, θ {}) is, ((V1,
θ1)、(V2、θ2)、... 、(Vt、θt)、... θ1), (V2, θ2), ..., (Vt, θt), ...
)といった動作ベクトルの時系列集合である。 ) Is a time-series set of such motion vectors.

【0126】次に、空間動作を、ベクトルテーブル20 [0126] Next, the space operations, vector table 20
6によって、動作ベクトルに変換する一例を説明する。 By 6, an example of converting the motion vector.
操作者の空間動作は、動作検出部204によって、例えば図22(a)のような2つの方向の動きXt,Ytに分解して検出される。 Spatial activity of the operator, the two directions of motion Xt such as by the operation detection unit 204, for example, FIG. 22 (a), the detected decomposed in Yt. 図22(b)のように、ある時刻(t)に動作検出ステップで得られた水平方向の検出量(例えばXt=2)と垂直方向の検出量(例えばYt= As shown in FIG. 22 (b), the certain time detection of the horizontal direction at the operating detection step (t) (e.g., Xt = 2) and the detection of the vertical direction (e.g., Yt =
3)は、予め検出量と動作ベクトルとの対応を示したベクトルテーブルによって、動作ベクトル((Vt、θ 3), by a vector table showing the correspondence between the previously detected amount of motion vector, motion vector ((Vt, theta
t)=(V23、θ23))に変換される。 t) = (V23, is converted to θ23)). 図22(c) Figure 22 (c)
に、動作ベクトル(V23、θ23)を表す。 To represent the motion vectors (V23, θ23). なお、動作ベクトルの大きさを得るためのベクトルテーブルには、基準ベクトルの大きさ(n)を基準とした係数を登録する。 Note that the vector table for obtaining the magnitude of the motion vector, register the coefficients on the basis size (n) of the reference vector.

【0127】図23は、変換部205において変換された動作ベクトル列(V{}、θ{})を、予め登録された基本動作パターンと比較して、識別を行う識別部20 [0127] Figure 23 is transformed motion vector sequence in the conversion unit 205 (V {}, θ {}), and compared to the basic operation pattern registered in advance, the identification unit 20 for identifying
7の内部構成の一例である。 7 is an example of the internal configuration of. 図のように、単位ベクトル処理部224と、ベクトル加算処理部225と、判定部227を用いて構成される。 As shown, the unit vector processing unit 224, a vector addition processing section 225, and using the determination unit 227. ただし、単位ベクトル処理部224とベクトル加算処理部225のいずれか一方のみを有する構成を採用することも可能である。 However, it is also possible to employ either configuration with only one of the unit vector processing unit 224 and the vector addition processing section 225.

【0128】識別部207では、まず、動作ベクトル列(V{}、θ{})を用いて単位ベクトル処理部224 [0128] In the identifying unit 207, first, the operation vector sequence (V {}, θ {}) units using the vector processing unit 224
による処理および/またはベクトル加算処理部225による処理を行う。 The processing by the processing and / or vector addition processing unit 225 by performing. その結果を、予め登録された基本動作パターンと動作ベクトル列マッチング処理部226にて比較し、判定部227において動作ベクトル列に該当する基本動作パターンが存在するかを判定する。 The results, compared with the basic operation pattern registered in advance by operating vector sequence matching processing unit 226, determines whether the basic operation pattern corresponding to the operation vector sequence in the determination unit 227 exists.

【0129】図24は、識別部207の単位ベクトル処理部224による処理の流れ図である。 [0129] Figure 24 is a flow diagram of the processing by the unit vector processing unit 224 of the identification unit 207. ここでは、ある時刻(t)の動作ベクトル(Vt、θt)は、そのベクトルの大きさにかかわらず、ベクトルの方向(θ)の単位ベクトルとして扱う。 Here, motion vectors of a certain time (t) (Vt, θt), regardless of the magnitude of the vector is treated as a unit vector in the direction of the vector (theta). 単位ベクトルを、原点を中心にまとめたものを、単位ベクトル関数Sθと呼ぶ。 The unit vector, a summary about the origin, called a unit vector function S.theta.

【0130】単位ベクトル処理部224では、まず、この単位ベクトル関数Sθを初期化する(ステップS22 [0130] In the unit vector processing unit 224 first initializes the unit vector function S.theta (step S22
8)。 8). 動作ベクトル列のデータを時系列に処理するために、tを1にセットする(ステップS229)。 To process the data in operation vector sequence in a time series, it sets t to 1 (step S229). 時刻t Time t
におけるベクトルの方向θtをメモリから呼び出す(ステップS230)。 Calling the direction θt of the vector from the memory at (step S230).

【0131】その方向のSθがそれまでの動作ベクトル列に存在したか判定する(ステップS231)。 [0131] determines its direction Sθ has either present in the motion vector string so far (step S231). もし、 if,
存在していなければSθt を1にセットする(ステップS232)。 If absent sets Sθt to 1 (step S232).

【0132】そして、tの値が動作ベクトル列の全サンプル数より大きいかを判定する(ステップS233)。 [0132] Then, it is determined whether or not the value of t is larger than the total number of samples operation vector sequence (step S233).
もし小さければtの値に1を加え(ステップS23 If one to the value of smaller if t added (step S23
4)、時刻tにおけるベクトルの方向θtをメモリから呼び出すステップに戻る。 4) Back direction θt of the vector at time t in the step of calling from the memory.

【0133】そして、以降同様の処理を繰り返し、ステップS233で、tの値が動作ベクトル列の全サンプル数より大きくなれば、この処理を終了する。 [0133] Then, the same process is repeated thereafter, in step S233, if greater than the total number of samples of values ​​of t the operation vector sequence, the process ends.

【0134】この処理によって、操作者の動作による動作ベクトルは、原点を中心とし、大きさを1とした単位ベクトルの集合(単位ベクトル関数)として表される。 [0134] By this process, motion vector due to the operation of the operator, and centered at the origin, expressed as a set of unit vectors in which the size of the 1 (unit vector function).

【0135】次に、単位ベクトル処理の具体例を説明する。 [0135] Next, a specific example of a unit vector processing.

【0136】図25(a)〜図25(c)は、単位ベクトル処理の説明図である。 [0136] Figure 25 (a) ~ FIG 25 (c) is an explanatory view of a unit vector processing. 例えば、図25(a)のように空間で描かれた三角形状の動作ベクトル列(サンプル数:6)は、個々の動作ベクトルの大きさは異なるが、 For example, Figure 25 drawn triangular operation vector sequence (number of samples: 6) in a space as in (a), the size of each motion vector different,
その方向はほぼ3方向によって構成される。 Its direction is constituted by approximately three directions. この動作ベクトル列から単位ベクトル処理では、図25(b)のように各動作ベクトルのベクトルの方向(θ)のみに注目し、原点からθ方向の単位ベクトルを得る処理を繰り返し、動作ベクトル列のベクトルの方向の概要を得る(ステップS301〜S306)。 A unit vector processing from the motion vector string, focused only in the direction (theta) of the vector of each motion vector as shown in FIG. 25 (b), the repeated process of obtaining a unit vector in the theta direction from the origin, the operation vector sequence obtaining a direction overview of vector (step S301 to S306). この結果、図25(c) As a result, FIG. 25 (c)
のように、この三角形状の動作ベクトル列は、3方向の単位ベクトルとして表される。 As in the operation vector sequence of this triangle is expressed as a unit vector in three directions.

【0137】これによって、ほぼ同じベクトルの方向から構成される三角形は、その形状の大小や若干の変形にかかわらず、同じ三角形として識別できる。 [0137] Thus, the triangle formed from the direction of substantially the same vector, regardless or slight deformation of the shape, can be identified as the same triangle. あるいは、 Alternatively,
空間で円を描いた場合は、数多くの単位ベクトルが得られることによって識別できる。 If a circle in space, can be identified by a number of unit vectors obtained. この他にも種々のパターンを識別することが可能である。 Besides this it is possible to identify the various patterns.

【0138】また、この単位ベクトル処理では、単位ベクトルの方向を、水平方向および垂直方向を含むいくつかの方向に分けておおまかに行ってもよい。 [0138] Further, in the unit vector processing, the direction of the unit vector, may be performed roughly in several directions including the horizontal and vertical directions. さらに、単位ベクトルの現れた順序の情報を用いることによって、 Further, by using the information appearing order of the unit vectors,
例えば、円の描かれた回転方向(右回り、左回り)を識別するなど、より多くの動作パターンを取り扱うことができる。 For example, circles drawn (around the right, counterclockwise) rotation direction such that identifies, can be handled more operating patterns.

【0139】一方、図26は、識別部207のベクトル加算処理部225による処理の流れ図である。 [0139] On the other hand, FIG. 26 is a flowchart of processing by the vector addition processing section 225 of the identification unit 207. ここでは、原点を中心に、動作ベクトルの大きさを、そのベクトルの方向毎に加算する。 Here, around the origin, the magnitude of the motion vector is added for each direction of the vector. この加算の結果得られるベクトル関数を、単位ベクトル処理における単位ベクトル関数に対して、累積ベクトル関数Cθと呼ぶ。 The resulting vector functions of the addition, to the unit vector function in the unit vector processing, referred to as the accumulation vector function C theta.

【0140】ベクトル加算処理部225では、まず、この累積ベクトル関数Cθを初期化する(ステップS23 [0140] In the vector addition processing section 225 first initializes the accumulation vector function C theta (step S23
5)。 5). 動作ベクトル列のデータを時系列に処理するために、tを1にセットする(ステップS236)。 To process the data in operation vector sequence in a time series, it sets t to 1 (step S236). 時刻t Time t
における動作ベクトル(vt、θt)をメモリから呼び出す(ステップS237)。 Motion vectors in call (vt, [theta] t) from the memory (step S237).

【0141】それまでの累積ベクトル関数Cθt-1 に、 [0141] the cumulative vector function Cθt-1 up to it,
方向(θt)で大きさ(vt)のベクトルを加える(ステップS238)。 Add a vector of magnitude and direction (θt) (vt) (step S238).

【0142】そして、tの値が動作ベクトル列の全サンプル数より大きいかを判定する(ステップS239)。 [0142] Then, it is determined whether or not the value of t is larger than the total number of samples operation vector sequence (step S239).
もし小さければtの値に1を加え(ステップS24 If one to the value of smaller if t added (step S24
0)、時刻tにおける動作ベクトル(Vt、θt)をメモリから呼び出すステップ(ステップS237)に戻る。 0), calling operation vector at time t (Vt, [theta] t) from the memory returns to the step (step S237).

【0143】そして、以降同様の処理を繰り返し、ステップS239で、tの値が動作ベクトル列の全サンプル数より大きくなれば、この処理を終了する。 [0143] Then, the same process is repeated thereafter, in step S239, if greater than the total number of samples of values ​​of t the operation vector sequence, the process ends.

【0144】この処理によって、操作者の動作による動作ベクトルは、原点を中心としたベクトルの集合(累積ベクトル関数)として表される。 [0144] By this process, motion vector due to the operation of the operator is expressed as a collection of the vector about the origin (accumulation vector function). この処理結果と予め登録された基本動作パターンとを比較することにより、空間動作パターンが形状や大きさなどの点で、基本操作パターンと同じかあるいは異なるかを識別できる。 By comparing the processing result with a previously registered basic operation patterns, in terms of such spatial activity pattern shapes and sizes, can identify whether the same or different from the basic operation patterns.

【0145】次に、加算ベクトル処理の具体例を説明する。 [0145] Next, specific examples of the add vector processing.

【0146】図27(a)〜図27(c),図28 [0146] Figure 27 (a) ~ FIG 27 (c), FIG. 28
(a),図28(b)は、動作ベクトルの大きさを、その方向毎に加算するベクトル加算処理を説明するための図である。 (A), FIG. 28 (b), the magnitude of the motion vector is a diagram for explaining the vector addition processing of adding to the direction each. 前述の単位ベクトル処理では、例えば、図2 A unit vector processing described above, for example, FIG. 2
7(a)と図28(a)のように空間で描かれた三角形の形状は、それぞれ異なるにもかかわらず、ともに図2 7 the shape of a triangle drawn in space as in (a) and FIG. 28 (a) differs in spite respectively, together 2
5(c)のような結果が得られる。 The results shown in 5 (c) is obtained. このような両者を区別する必要がある際にベクトル加算処理は、効果的である。 Vector addition processing when it is necessary to distinguish such two are effective. 例えば、図27(a)のように空間で描かれた三角形状の動作ベクトル列(サンプル数:6)は、図27 For example, space drawn triangular operation vector sequence as shown in FIG. 27 (a) (number of samples: 6), 27
(b)のように各動作ベクトルのベクトルの大きさ(V)と方向(θ)に注目し、原点からベクトルの方向毎にベクトルの大きさを加算する処理を繰り返し、動作ベクトル列の全体構成を得る(ステップS311〜S3 Focused on the magnitude of the vector of each motion vector as (b) (V) and direction (theta), repeating the process for adding the magnitude of the vector for each direction of the vector from the origin, the overall configuration of the operation vector sequence the gain (step S311~S3
16)。 16). この結果、図27(c)のように、この三角形状の動作ベクトル列は、3方向のほぼ同じ大きさのベクトルとして表される。 As a result, as shown in FIG. 27 (c), the operation vector sequence of this triangle is represented as a vector of approximately the same size of the three directions.

【0147】同様に、図28(a)のように空間で描かれた三角形状の動作ベクトル列(サンプル数:5)からは、ベクトル加算処理により、図28(b)のような結果が得られる。 [0147] Similarly, space drawn triangular operation vector sequence as shown in FIG. 28 (a) (number of samples: 5) is the vector addition processing, obtained a result as shown in FIG. 28 (b) It is.

【0148】そして、図27(c)と図28(b)を比較すると、動作ベクトルを構成している動作ベクトルの大きさの割合が異なることから、入力された空間動作パターンが互いに異なることが識別できる。 [0148] When comparing FIG. 28 (b) Fig. 27 and (c), since the ratio of the size of the motion vectors that make up the motion vector is different, that space operating pattern input are different from each other It can be identified.

【0149】なお、動作ベクトルの大きさは、基準ベクトルの倍数として表されているので、予め変換テーブルに記録されている係数を加算していくことにより、上記ベクトル加算処理は容易になされる。 [0149] The size of the motion vector, so is represented as a multiple of the reference vector, by going adding the coefficients recorded in advance in the conversion table, the vector addition processing is facilitated. また、このベクトル加算処理も、動作ベクトルの方向を水平方向および垂直方向を含むいくつかの方向に分けて、おおまかに行ってもよい。 Furthermore, the vector addition processing is also divided in the direction of motion vectors in several directions, including horizontal and vertical directions, it may be carried out roughly.

【0150】次に、動作ベクトル列マッチング処理部2 [0150] Next, the operation vector sequence matching unit 2
26では、単位ベクトル処理部224の処理結果と予め登録された基本動作パターンとの間のマッチング処理、 In 26, the matching process between the previously registered basic operation patterns and the processing result of the unit vector processing unit 224,
および/または、ベクトル加算処理部225の処理結果と予め登録された基本動作パターンとの間のマッチング処理を行い、判定部227において動作ベクトル列に該当する基本動作パターンが存在するかを判定する。 And / or determines performs a matching process between the basic operation pattern registered in advance and the processing result of the vector addition processing section 225, the basic operation pattern corresponding to the operation vector sequence in the determination unit 227 exists.

【0151】図29は、判定部227における処理の流れの一例を示す図である。 [0151] Figure 29 is a diagram showing an example of the flow of processing in the determination unit 227. 例えば、動作ベクトル列マッチング処理部226におけるマッチング処理により、いくつかの識別候補の基本動作パターンとそれぞれとの類似度(P)が得られるとき、類似度(P)が予め規定された類似度の基準値(Ref)より大きければ、判定部227では、動作ベクトル列に対応する基本動作パターンが存在すると判定し、類似度の基準値(Ref)より小さければ、動作ベクトル列に対応する基本動作パターンは存在しないと判定する。 For example, the operation by the matching process in the vector sequence matching processing unit 226, when several basic operation patterns and similarity between respective identification candidate (P) is obtained, the similarity (P) is predefined similarity larger than the reference value (Ref), the determination unit 227 determines that the basic operation pattern corresponding to the operation vector sequence is present, is smaller than the similarity of the reference value (Ref), basic corresponds to the operation vector sequence operation pattern It determines not to exist.

【0152】そして、この判定結果を基に、識別部20 [0152] Then, based on this determination result, the identification unit 20
7における類似度の大きさ等による認識を行う。 It performs recognition by the similarity in size such as in 7. その結果に基づいて、実行部208では、動作パターンに対応して登録されていた基本データによって、制御対象機器の制御を実行する。 Based on the result, the execution unit 208, the basic data registered in correspondence with the operation pattern, executes the control of the control target device.

【0153】ここで、図30(a)〜図30(e)には、単位ベクトル関数による動作ベクトル列の識別方法の一例を示す。 [0153] Here, in FIG. 30 (a) ~ FIG 30 (e) shows an example of a method of identifying operation vector sequence by unit vector function. 例えば、図30(a)のように空間で描かれた三角形状の動作ベクトル列(サンプル数:6)から図30(b)のような単位ベクトル関数Sθが得られたとき、この動作は3方向の単位ベクトルとして表される。 For example, FIG. 30 (a) drawn triangular operation vector sequence (number of samples: 6) in a space, such as when the the unit vector function Sθ as shown in FIG. 30 (b) was obtained, this operation 3 It expressed as a unit vector in the direction. この処理結果と予め登録された図30(c)〜図3 Figure 30 (c) ~ Figure 3 registered in advance with the process result
0(e)のような基本動作パターンを比較して識別を行う。 0 by comparing the basic operation patterns and identifies such as (e). この動作は3方向の単位ベクトルとして表されているので、識別候補の基本動作パターンは図30(d)と図30(e)となる。 This operation is represented as a unit vector in three directions, the basic operation pattern of the identifying candidate becomes 30 (d) and that of FIG. 30 (e).

【0154】さらに、単位ベクトル関数のベクトルの方向(θ1、θ2、θ3)の関係に注目して、 |θ1−θ2| |θ2−θ3| |θ3−θ1| などを計算する。 [0154] In addition, the direction of the vector of the unit vector function (θ1, θ2, θ3) to focus on the relationship, | θ1-θ2 | | θ2-θ3 | | θ3-θ1 | to calculate the like.

【0155】この計算を識別候補の基本動作パターン(図30(d)と図30(e))に対しても行い、比較するとベクトルの方向の構成から図30(d)の方の類似度が大きくなる。 [0155] similarity Well done also for basic operation pattern of the calculated identification candidate (Fig. 30 (d) and FIG. 30 (e)), FIG. 30 from the direction of arrangement of the vector when compared (d) is growing. このようにして、単位ベクトル関数によって動作ベクトル列の識別ができる。 In this way, it is identified in operation vector sequence by unit vector function. また、 |θ1−θD1| |θ2−θD2| |θ3−θD3| などを計算することによって、類似度を増減すると識別がより正確に行われる。 Moreover, | θ1-θD1 | | θ2-θD2 | | θ3-θD3 | by calculating the like, are identified as to increase or decrease the similarity is more accurately performed.

【0156】このように、基準位置(原点)に対する空間操作マウスの空間座標を測定しなくても、空間操作マウスの動きを動作ベクトルを用いて時系列の微小基準ベクトル集合として相対的に得ることによって、動作パターン入力を行うことができる。 [0156] Thus, even without measuring the spatial coordinates of the spatial operations mice to a reference position (origin), obtaining as a relatively small reference vector set of time series by using the motion vector the motion of spatial operations mice Accordingly, it is possible to perform the operation pattern input.

【0157】ここで、本実施例による動作パターン入力のための処理の一例として、上述した単位ベクトル処理や判定方法を用いたものについて、そのフローチャートを図31に示す。 [0157] Here, as an example of a process for operation pattern input according to this embodiment, the one using a unit vector processing and determination method described above, showing the flow chart in FIG. 31.

【0158】次に、本発明の動作ベクトル列マッチングと従来のパターンマッチングの相違について説明する。 [0158] Next, a description will be given differences in operation vector sequence matching the conventional pattern matching of the present invention.

【0159】図32(a)〜図32(g)は、本発明における動作ベクトル列マッチングと従来のパターンマッチングとの相違を説明するための図である。 [0159] Figure 32 (a) ~ FIG 32 (g) are diagrams for explaining the differences between the operation vector sequence matching the conventional pattern matching in the present invention. 例えば、操作者が動作パターン“丸”に対応する制御を実行したいときに、正しくは図32(a)のように空間操作マウス1を動かすべきであるところを、不安定な空間における操作の結果、図32(b)のような軌跡の動作を行ってしまったものとする。 For example, when it is desired to perform the control of the operator corresponding to the operation pattern "circle", correctly result of the operation in a place where it should move the spatial operations mouse 1, Unstable as shown in FIG. 32 (a) shall be gone the operation of the trajectory as shown in FIG. 32 (b). このとき、従来のパターンマッチング処理では、図32(c)のように得られた動作全体の軌跡あるいはこの軌跡から得られる特長点の集合と、 In this case, the conventional pattern matching process, a set of features points obtained from the entire trajectory or the trajectory behavior obtained as FIG. 32 (c),
図32(d)の予め登録されていた基本パターンの形状との間のマッチングを行うため、このように不安定な操作による入力の場合は、その類似度が小さくなってしまう。 For matching between the shape of the basic pattern that was registered in advance in FIG. 32 (d), in the case of input due to such unstable operation, the degree of similarity is reduced. したがって、従来のパターンマッチング処理では、 Therefore, in the conventional pattern matching process,
操作者により描かれた空間動作パターンを認識しきれない場合が多々生じると考えられる。 If that can not recognize the spatial activity pattern drawn by the operator is considered to often occur. 一方、本発明における動作ベクトル列マッチング処理では、図32(e)のように操作者による空間操作マウス1の動きに基づき、 On the other hand, in the operation vector sequence matching process in the present invention is based on the movement of spatial operations mouse 1 by an operator as shown in FIG. 32 (e),
動作ベクトル列を生成し、例えば図32(f)のような前記単位ベクトル処理の結果と予め登録されていた図3 Generates an operation vector sequence, e.g., FIG. 32 FIG been previously registered with the results of the unit vector processing such as (f) 3
2(g)のようなベクトルパターンとのマッチングを行うため、不安定な操作による入力に対しても、その類似度を大きくすることができる。 For matching between the vector patterns, such as 2 (g), even for input by unstable operation, it is possible to increase the degree of similarity. つまり、動作ベクトル列マッチングを用いることによって、不安定な空間での操作も正しく認識することができる。 That is, by using the motion vector string matching can be correctly recognized even operation in Unstable.

【0160】ここで、図33に本実施例を適用したシステムの構成例を、図34にその入力動作例のフローチャートをそれぞれ示す。 [0160] Here, an example of the configuration of a system according to the present embodiment in FIG. 33, respectively a flow chart of the input operation example in FIG. 34.

【0161】図33のシステムは、空間マウス本体1、 [0161] The system of FIG. 33, space mouse body 1,
動作検出部204、変換部205、ベクトルテーブル2 Operation detection unit 204, conversion unit 205, the vector table 2
06、識別部207、基本動作パターン209、実行部208、オブジェクト指定部210、オブジェクト記憶部211、表示制御部212、表示部213を備えた構成となっている。 06, the identification unit 207, the basic operation patterns 209, execution unit 208, the object specifying unit 210, the object storage unit 211, the display control unit 212 has a configuration that includes a display unit 213. なお、ここでは、空間マウス本体1には、少なくとも前述の実施例で述べたような動き検出素子が内蔵されているものとする。 Here, the space mouse body 1, it is assumed that the motion detection device is built as described in at least the above embodiments. また、実行部208 The execution unit 208
は、すでに述べた機能に加えて、オブジェクト指定部2 In addition to the already mentioned function, object specification part 2
10から与えられるコード等に対応する制御を実行する。 Executes a control corresponding to the given from 10 code, or the like. 実行部208は、表示制御部212および図示しない所望の制御対象に対して指定された制御を実行する。 Execution unit 208 executes the by the control specified for the desired control object to the display control unit 212 and not shown.

【0162】このシステムは、図示しない制御回路により、画面に表示されたオブジェクトを指示するためのいわゆるポインティング・デバイスとして用いるモード(ここでは、オブジェクト指示モードと言う)と、前述した動作パターンによる入力モード(ここでは、動作パターン入力モードと言う)とを切り替えて利用することができる。 [0162] The system, by a control circuit (not shown), the mode (in this case, refers to an object instruction mode) used as a so-called pointing device for designating the object displayed on the screen and the input mode by the operation pattern as described earlier (in this case, the operation pattern input mode say) it can be used to switch between.

【0163】すでに述べたように、動作パターン入力モードは、空間マウス本体1、動作検出部204、変換部205、ベクトルテーブル206、識別部207、基本動作パターン209、実行部208によって実現される。 [0163] As already mentioned, the operation pattern input mode, the space mouse body 1, the operation detection unit 204, conversion unit 205, a vector table 206, identifying unit 207, the basic operation patterns 209 are implemented by execution unit 208.

【0164】また、オブジェクト指示モードは、空間マウス本体1、オブジェクト指定部210、オブジェクト記憶部211、表示制御部212、表示部213、実行部208によって、実現される。 [0164] Further, the object instruction mode, spatial mouse body 1, the object specifying unit 210, the object storage unit 211, the display control unit 212, a display unit 213, the execution unit 208 is realized. オブジェクト指定部2 Object specifying section 2
10は、表示制御部212に適宜オブジェクトを表示部213の画面上に表示させる機能、空間マウス本体1の動きを検出した結果を表示制御部212に与えて表示部213の画面上のカーソルを移動させる機能、および空間マウス本体1の指示に応答して選択されたオブジェクトあるいはそれに対応するコードを実行部208または(選択されたオブジェクトに対応する機能が画面制御に関するものである場合)表示制御部212に出力する機能を有する。 10 movement, function to display on the screen of the display unit 213 as appropriate object to the display control unit 212, a cursor on the screen of the display unit 213 gives a result of detecting the movement of the spatial mouse body 1 to the display control unit 212 function of, and space mouse body 1 of the instruction execution unit 208 or a code corresponding to the object or it selected in response to (if the function corresponding to the selected object is related to screen control) the display control unit 212 It has a function to output to. オブジェクト記憶部211には、各種オブジェクトの情報およびそれらに対応付けられた機能を示すコード等が格納されている。 The object storage unit 211, a code or the like indicating information and function associated with these various objects are stored.

【0165】上記構成において、まず、ユーザーまたはシステムによって入力モードが設定される。 [0165] In the above configuration, first, the input mode is set by the user or system.

【0166】動作パターン入力モードが設定されると(ステップS402)、ユーザーは空間操作マウス本体を握って空間に動作パターンを描くことにより、入力することが可能となる(ステップS403)。 [0166] When the operation pattern input mode is set (step S402), the user by drawing the operation pattern to the space holding spatial operations mouse body, it is possible to input (step S403). ステップS Step S
404でこの動きが検出され、ステップS405で動作ベクトル列が生成され、ステップ406で単位ベクトル処理等を用いて動作の識別判定が行われる。 404 This movement is detected, the operation vector sequence is generated in step S405, the identification determination operation is performed using the unit vector processing and the like at step 406. そして、ステップS407で対応する制御が実行される。 Then, the corresponding control is executed at step S407.

【0167】入力モードを終了する場合はステップS4 [0167] If you want to exit the input mode step S4
08で終了し、入力モードを変更する場合は、ステップS409からステップS410に移る。 It ends at 08, to change the input mode, proceeds from step S409 to step S410.

【0168】一方、オブジェクト指示入力モードが設定されると(ステップS410)、ユーザーは空間操作マウス本体を握って、画面上に表示されたカーソルを所望のオブジェクトの上に移動させ、指示入力することが可能となる(S411)。 [0168] On the other hand, when the object instruction input mode is set (step S410), the user holds the spatial manipulation mouse body, a cursor displayed on the screen is moved over the desired object, that command input it is possible (S411). ステップS412で指示されたオブジェクトに対応する制御が実行される。 Control corresponding to the indicated object in the step S412 is executed.

【0169】入力モードを終了する場合はステップS4 [0169] If you want to exit the input mode step S4
13で終了し、入力モードを変更する場合は、ステップS414からステップS402に移る。 It ends at 13, to change the input mode, proceeds from step S414 to step S402.

【0170】次に、操作者の意図に反する動きを補正する処理について説明する。 [0170] Next, a description will be given of a process for correcting a movement contrary to the intention of the operator.

【0171】図35(a)〜図35(d)は、動作検出部204において検出された検出量を補正する補正部を説明するための図である。 [0171] Figure 35 (a) ~ FIG 35 (d) are diagrams for explaining a correction unit for correcting the detection amount detected in the operation detection unit 204. 操作者が、空間操作マウスの水平方向や垂直方向を、表示画面の水平方向や垂直方向とを合わせて、手に持っていないと、カーソルは空間での手の動きとは異なる方向へ移動する。 Operator, the horizontal and vertical spatial operations mice, by combining the horizontal and vertical directions of the display screen and do not have to hand, the cursor is moved to a direction different from the movement of the hand in space . 例えば、空間操作マウスを正規の向きと上下逆に持っていると、手の動きとカーソルの動きは180度違ってしまう。 For example, if you have a spatial operations mouse upside down and correct direction, movement of the hand movement and the cursor would differ 180 degrees. このような場合は、操作者は、表示画面上のカーソルの動きを目視できるため、すぐに空間操作マウスの水平方向や垂直方向と、表示画面の水平方向や垂直方向とが合っていないことが容易に分かる。 In such cases, the operator can for visible cursor movement on the display screen, does not match the horizontal and vertical spatial operations mice immediately the horizontal direction or the vertical direction of the display screen It is easy to see. 従って、すぐに空間操作マウス持ち直すことによって、これ以降は快適な操作が可能となる。 Therefore, by pick up spatial operations mice immediately thereafter becomes possible comfortable operation.

【0172】しかしながら、空間操作マウスを動かしている途中で、(人間の手や腕の機能に起因して)無意識に手首のひねり等による回転が加わることによって、手の動きとカーソルの動く方向とが違ってしまうことが生じ得る。 [0172] However, in the middle of moving the space operation mouse, the direction of movement of (due to the human hand and arm function) by the rotation is applied by twisting or the like of the wrist unconsciously, hand movements and cursor it may occur that will be different. つまり、腕は所望の方向に動いているのに、空間操作マウス本体1が回転しながら動いた場合は、操作者は案外その原因に気付かないので、その結果として、 In other words, though the arm is moving in the desired direction, if the spatial manipulation mouse body 1 moves while rotating, since the operator unexpectedly unaware of the cause, as a result,
使い勝手が良くない入力機器であるという印象をもたれかねない。 It could lean the impression that it is an input device usability is not good. 例えば、操作者が、図35(a)の表示画面203に表示されているカーソル235を、座標(X0 For example, the operator, the cursor 235 displayed on the display screen 203 of FIG. 35 (a), the coordinates (X0
、Y0 )から座標(X1 、Y1 )に水平に右方向へ移動させたい場合を考える。 Consider a case to be moved horizontally to the right to the coordinates from (X1, Y1) Y0). この場合、操作者が空間操作マウスに手首のひねり等を加わえて動かしてしまうと、 In this case, the operator will move to e Kuwawa a twist, etc. of the wrist to the space operation mouse,
空間操作マウスは図35(b),図35(c),図35 Spatial operations mice 35 (b), FIG. 35 (c), FIG. 35
(d)に示す順に回転していく。 Continue to rotate in the order shown in (d). その結果、カーソル2 As a result, the cursor 2
35は、図35(a)の座標(XA 、YA )から座標(XB、YB )、そして座標(XC 、YC )というように、異なる方向に移動してしまう。 35, coordinates (XA, YA) from the coordinates (XB, YB) of FIG. 35 (a), the and so on coordinates (XC, YC), will move in different directions.

【0173】そこで、図36のように、水平方向動き検出素子2および垂直方向動き検出素子3の両方に直交する方向(すなわち前後方向)に回転量検出素子236を設置し、その回転検出量に応じて、水平方向や垂直方向の速度あるいは加速度等の動作量の検出軸方向への成分の分配を補正する。 [0173] Therefore, as shown in FIG. 36, set up a rotation amount detecting device 236 in a direction (i.e., longitudinal direction) perpendicular to both the horizontal motion detector element 2 and the vertical-direction motion detecting device 3, to the rotation detecting amount in response, it corrects the distribution of components in the detection axis direction of the operation of such horizontal and vertical velocity or acceleration.

【0174】図37は、図2の空間操作マウスに、回転量検出部237と補正部238をさらに設けた空間操作マウスの概略ブロック図である。 [0174] Figure 37 is a spatial operations mice of Figure 2 is a schematic block diagram of a further provided space operated mice rotation amount detection unit 237 and the correction unit 238. 操作者による空間操作マウスの動きは、動き検出部16a、16bにおいて、 Movement of spatial operations mouse by the operator, the motion detector 16a, in 16b,
所定の動き信号、例えば空間操作マウスの速度あるいは移動距離等を表す信号に変換されるが、そのときに回転量検出部237によって得られた量に基づいて、水平(左右)および垂直(上下)の2方向の動き量の成分を、補正部238で補正する。 Predetermined motion signal, for example, is converted into a signal representing the spatial operations mouse speed or moving distance or the like, based on the amount obtained by the rotation amount detection unit 237 at that time, the horizontal (right and left) and vertical (up and down) 2 movement amount of the component of the, is corrected by the correction unit 238.

【0175】これによって、空間操作マウスのポインティング・デバイスとしての性能を向上できるとともに、 [0175] Thus, it is possible to improve the performance of the pointing device spatial operations mice,
動作パターン入力を正確に行える。 Accurately perform the operation pattern input.

【0176】図38(a)、図38(b)は、補正部2 [0176] Figure 38 (a), FIG. 38 (b), the correction unit 2
38での処理を説明するための図である。 38 is a diagram for explaining the processing in the. 手首のひねり等による回転によって、空間操作マウスの水平方向や垂直方向と、表示画面の水平方向や垂直方向とがずれているときに、動き検出部16a、16bで検出された検出量を、水平方向(x')、垂直方向(y')とする。 By rotation by twisting or the like of the wrist, and the horizontal and vertical spatial operations mice, when the horizontal and vertical directions of the display screen is shifted, the motion detection unit 16a, a detection amount detected by 16b, horizontal direction (x ') and vertical (y'). 一方、ずれていないときの検出量を、水平方向(x)、垂直方向(y)とする。 On the other hand, a detectable amount when no offset, and the horizontal direction (x), vertical (y). 同様に、ずれているときの動作ベクトルの方向を(θ')とし、ずれていないときの動作ベクトルの方向を(θ)とする。 Similarly, the direction of movement vector when is deviated and (theta '), the direction of the motion vectors when not displaced and (theta). また、回転量検出部2 The rotation amount detection unit 2
37によって得られた量を(θm)とする。 The amount obtained by 37 and (.theta.m).

【0177】すると、図38(a)のように、正しくは(θ)方向に動かすとき、手首のひねり等による回転によって(θm)だけずれると、図38(b)のように動作ベクトルの方向は(θ')として得られてしまう。 [0177] Then, as shown in FIG. 38 (a), when properly moved in (theta) direction, deviates by rotation by twisting or the like of the wrist only (.theta.m), the direction of the motion vectors as shown in FIG. 38 (b) is thus obtained as (θ '). つまり、 θ'=θ+θm x'=V・cosθ' y'=V・sinθ' となる。 That is, the θ '= θ + θm x' = V · cosθ 'y' = V · sinθ '. よって、動作ベクトルの大きさ(V)と、誤って得られている動作ベクトルの方向(θ')と、回転量検出部237によって得られた量(θm)を用いて、 θ=θ'−θm x=V・cos(θ'−θm) y=V・sin(θ'−θm) として、動作量の検出軸方向への成分分配を補正することができる。 Thus, by using the magnitude of the motion vector (V), the direction of the erroneously obtained by that motion vector (theta '), the amount obtained by the rotation amount detecting unit 237 (θm), θ = θ'- as θm x = V · cos (θ'-θm) y = V · sin (θ'-θm), can be corrected component distribution in the detection axis direction of the operation amount.

【0178】次に、本実施例の空間動作パターン入力システムの機能を、2次元動作パターンから3次元動作パターンへ拡張することについて説明する。 [0178] Next, the function of spatial activity pattern input system of this embodiment will be described to extend from the two-dimensional movement pattern into a 3D operation pattern.

【0179】ここまでは、2軸方向の動き検出について記述してきたが、本発明はこれに限定されず、図39のように空間操作マウスからみて前後方向240に対応する前後方向動き検出素子239を設けて、3次元の動きによる空間動作パターン入力ができるように拡張できる。 [0179] Up to this point, 2 has been described for axial movement detection, the present invention is not limited to this, the front-rear-direction motion detecting elements 239 corresponding to the front-rear direction 240 as viewed from the space using a mouse as shown in FIG. 39 the provided, it can be extended to allow space operating pattern input by a three-dimensional motion.

【0180】図40は、3次元の動きによる動作パターン入力方法の一例を示したもので、操作者が空間操作マウス1を、aからb、c、d、e、fと三角錘の形状に動かすことにより、表示装置202の表示画面203に三角錘を描くことができる。 [0180] Figure 40 is an illustration of an example of an operation pattern input method according to 3-dimensional motion, spatial operations mouse 1 operator, b from a, c, d, e, the shape of f and triangular pyramid by moving, it is possible to draw a triangular pyramid on the display screen 203 of the display device 202.

【0181】このような3次元空間での動作ベクトルは、図41(a)に示すように、ベクトルの大きさ(V)とその方向(θ、φ)を用いて表す。 [0181] motion vectors in such three-dimensional space, as shown in FIG. 41 (a), expressed by using the magnitude of the vector (V) and its direction (theta, phi). また、図4 In addition, FIG. 4
1(b)に、3次元空間での3次元動作を動作ベクトルに変換する際に参照する、ベクトルテーブルの一例を示す。 To 1 (b), referred to in converting a three-dimensional operation of the three-dimensional space in operation vector, an example of a vector table.

【0182】このベクトルテーブルを利用し、すでに説明した2次元の空間動作パターン入力と同様な処理を行えば、3次元の空間動作パターンによる入力を行うことができる。 [0182] The use of the vector table, already by performing two-dimensional spatial activity pattern input similar to the processes described, it is possible to perform an input by a three-dimensional spatial activity patterns.

【0183】次に、空間動作パターン入力モードのON [0183] Next, ON of space operation pattern input mode
/OFF操作について説明する。 / About OFF operation will be described.

【0184】通常の空間操作マウスによる制御対象機器に対する主操作は、手の動きに合わせて表示画面上のカーソルを移動させる操作であろう。 [0184] The main operation for the control target apparatus by conventional spatial operations mice will be operated to move the cursor on the display screen according to the movement of the hand. この操作は、いわゆるポインタ機能の実現である。 This operation is the realization of a so-called pointer function. そこで、空間操作マウスによって、ポインタ機能モードなどから動作パターン入力を行うモードに入るには、以下のようなモード変更のための操作が必要となる。 Therefore, the spatial operations mice, to enter a mode for performing an operation pattern inputted from such as a pointer function mode, it is necessary to operate for the following types of mode change. 例えば、(1)表示画面上のある位置(各種ツールが選択できる領域、あるいはメニューを選択する領域など)にカーソルを合わせる、 For example, hover over (1) a position with a display screen (such as a region for selecting various regions tool can be selected or a menu),
(2)動作パターン入力開始ボタンを押す、(3)上下に数回振る等の予め決めていた簡単な動きを行うことなどが考えられる。 (2) Press the operation pattern input start button, it is considered such that performing a simple motion that was predetermined such shaking (3) up and down several times.

【0185】また、このモードからポインタ機能モードなどに戻るときにも、何らかの操作あるいは予め規定したルールが必要となる。 [0185] In addition, even when the return from this mode, such as the pointer function mode, it is necessary to some sort of operation or pre-defined rules. 例えば、(1)ある程度の時間が経つと強制的に出ると規定しておく、(2)静止状態(動き量が検出されてない状態)を判定する、(3)動作パターン入力用ボタンを放す(または再度押す)などが考えられる。 For example, (1) previously defined as a certain degree of forcing out over time, (2) determining the stationary state (a state where the amount of motion is not detected), release the button for (3) Operation pattern input (or press again) the like can be considered.

【0186】さらに、動作パターン入力モードに入っている時のカーソルの取扱いによって、制御動作実行後の操作性が変わってくるので、アプリケーションに応じて、以下のようにすることが考えられる。 [0186] Furthermore, the handling of the cursor when contained in the operation pattern input mode, since the operation of the post-control operation performed varies, depending on the application, it is conceivable to as follows. (1)カーソルを表示画面上から消去する。 (1) to erase the cursor from the display screen. ただし、動作パターン入力モードに入った時の表示画面上の座標は保持しておく。 However, the coordinates on the display screen when entering the operation pattern input mode holds. これにより、このモードから出るとカーソルが動作パターン入力モードに入った時の位置に再度出現するので、ツールの選択等を実行後にその場所から作業を続けられる。 As a result, the cursor Upon exiting from this mode is again appearing in the position when entering the operation pattern input mode, you can continue to work after running a tool such as a selection from that location. (2)通常通りに空間操作マウスの動きに合わせてカーソルが表示画面上を移動する。 (2) the cursor according to the movement of the spatial operations mouse moves on the display screen as usual. これにより、操作者が目視によるフィードバックをかけられるので正確な動作が入力できる。 Thus, the operator can correct operation input because it is fed back visually. (3)動作パターン入力モードに入っていることが一目瞭然に理解できるような形状にカーソルを変化させる。 (3) that are in the operating pattern input mode changes the cursor shape as can be seen plainly. なお、これらのうちのいくつかを組み合わせても良い。 It should be noted, it may be a combination of some of these.

【0187】また、通常は、図42(a)のような矢印形(あるいは十字形など)のカーソル235を、動作パターン入力によって認識された結果によって、図42 [0187] Also, typically, the result of the cursor 235 of the arrow-shaped as shown in FIG. 42 (a) (or such cross), recognized by the operation pattern input, FIG. 42
(b)のように変形させると、正しく動作パターン入力が行われたかを操作者が簡単に理解できる。 When deformed thereby so as in (b), however, can the operator to easily understand the operation pattern inputted correctly been performed. また、これと同時に、動作パターン入力毎に確認のための画面表示(例えば「今の動作は、〜ですか?」)と操作者による了解操作(「はい」あるいは「いいえ」)を省いて、次の操作へスムーズに移ることが出来る。 At the same time, the screen display ( "now operational, ~ Is?", For example) for the confirmation to each operation pattern input by omitting the consent operation by the operator ( "Yes" or "No"), it is possible to move smoothly to the next operation. 図42(c) Figure 42 (c)
に、認識結果によるカーソルの形状の変形例を示す。 To show a modified example of the shape of the cursor by the recognition result.

【0188】さらに、空間での操作は不安定な面があるので、直線状にカーソルを移動させたいときなども、まず動作パターンによって移動させたい方向を認識させてカーソルの形状をその方向を示す形に変えて、それ以降はその方向だけにカーソルを制御できるようにすればよい。 [0188] Further, since the operation in space is unstable surface, even when you want to move the cursor in a straight line, indicating the direction the shape of the cursor is first made aware of the direction to be moved by the movement pattern instead of the form, thereafter it is sufficient to be able to control the cursor only in that direction.

【0189】以上詳述したように、本実施例によれば、 [0189] As described above in detail, according to this embodiment,
任意の平面でのポインタ動作さらには空間的なポインタ動作を可能とした、空間操作マウスのような3次元入力装置を用いるシステムにおいて、操作者の空間での動作パターンを認識して、コンピュータやマルチメディア機器の制御を実行できる、感覚的なマン・マシンインタフェイス環境を実現できる。 The pointer operation further in any plane to allow spatial pointer operation, in a system using a three-dimensional input device such as a spatial operations mice recognizes the operation pattern in space of the operator, a computer or a multi can perform the control of media devices, it is possible to realize a sensuous man-machine interface environment.

【0190】図43は、第5の実施例に係る空間操作マウスの概略構成図である。 [0190] Figure 43 is a schematic configuration diagram of a spatial operations mice according to the fifth embodiment. この空間操作マウスは、前述の実施例に係る空間操作マウスと基本的な構成・動作は同じである。 The spatial operations mice are the same space using a mouse and basic configuration and operation according to the embodiment described above. ただし、前後方向の動きを検出するための動き検出素子7をさらに備えた点が異なる。 However, different points, further comprising a motion detection device 7 for detecting a longitudinal movement.

【0191】すなわち、本発明は2軸方向の動き検出にのみ限定されるものではなく、本実施例のように3軸方向に対応する動き検出部2,3,7を設けて、3次元空間での動きを検出するように拡張することができる。 [0191] Namely, the present invention is not limited only to the motion detection of two axial directions, and a motion detecting unit 2, 3, 7 corresponding to the three axial directions as in the present embodiment is provided, three-dimensional space motion can be extended to detect at.

【0192】通常の表示画面は2次元表示であるので、 [0192] Since the normal display screen is a two-dimensional display,
画面上のカーソル位置を特定するには、第1の実施例のように2軸分の動き検出部2,3を設ければ十分であるが、本実施例の3軸方向の動きを検出できる空間操作マウスを、昨今盛んに用いられるようになってきているの種々の疑似的な3次元表示を有するシステムのために、 To determine the position of the cursor on the screen, the first is a sufficient to provide the motion detectors 2 and 3 of the two axes as in the embodiment can detect three axial movement of this example spatial operations mouse, for systems having various pseudo three-dimensional display of have come to be extensively used today,
ポインティング・デバイスとして活用すれば、非常に効果的である。 If used as a pointing device, it is very effective.

【0193】また、3番目の軸方向の動きに、特別な役割を与えることも可能である。 [0193] Further, the third axial movement, it is also possible to give a special role. 例えば、3番目の軸方向の(仮想的な)位置によって、空間操作マウスの1番目や2番目の軸方向の移動量に対する画面上のカーソルの移動量の比が決定されるようにすることもできる。 For example, the third axial (hypothetical) position, also as the ratio of the amount of movement of the cursor on the screen for the first and the amount of movement of the second axial spatial operations mice is determined it can.

【0194】3番目の軸の動作の検出としては、動き検出部7を設けて平行移動を検出する代わり、図9の圧電ジャイロを用いて軸の回りの回転を検出するようにしても良い。 [0194] As a third operation axis detection, instead of detecting the parallel movement is provided a motion detection section 7, may be detected rotation about an axis using a piezoelectric gyro of FIG.

【0195】一方、前述の第3の実施例に係る空間操作マウスにおいて、パターン入力に用いる基本動作パターンとして、3次元空間での動作を用いることも可能である。 [0195] On the other hand, in spatial operations mice according to the third embodiment described above, as a basic operation pattern for use in pattern input, it is also possible to use the operation of the three-dimensional space.

【0196】もちろん、さらに拡張して4軸以上の検出部を設けても良い。 [0196] Needless to say, it may be provided detecting portion of four or more axes further extended.

【0197】この場合、2軸にポインティング・デバイスとしての役割を与え、他の軸に動作パターン入力の役割を与えても良い。 [0197] In this case, given the role as a pointing device in two axes may be given the role of operation pattern input to the other axes.

【0198】このように、本発明によれば、任意の仮想平面でのポインタ動作、さらには空間的なポインタ動作を可能とし、また操作者の動作を認識し、コンピュータやマルチメディア器機あるいはその表示装置から離れていても手軽にポインタ操作や制御操作を可能にする空間操作マウスを提供するができる。 [0198] Thus, according to the present invention, the pointer operation in any virtual plane, further to allow the spatial pointer operation, also recognizes the operation of an operator, computer or multimedia devices or display that be separated from the apparatus can provides a spatial operations mouse that allows easy pointer operation and control operations.

【0199】図44は、第6の実施例に係る空間操作マウスの概略構成図を示す。 [0199] Figure 44 shows a schematic diagram of a spatial operations mice according to the sixth embodiment. この空間操作マウスは、前述の実施例と基本的な構成・動作は同じである。 The spatial operations mice are the same as embodiment and the basic configuration and operation described above. 水平方向動き検出素子2と垂直方向動き検出素子3で空間操作マウス本体1の2次元方向の動きを検出し、クリックボタン4でクリック操作を受け付ける。 Detecting the two-dimensional movement of the horizontal motion detector element 2 and the spatial operations mouse body 1 in the vertical direction motion detection device 3 and receives a click operation by clicking the button 4.

【0200】ここで、本実施例においては、空間操作マウスと制御対象機器は接続ケーブル8を用いて接続する。 [0200] Here, in the present embodiment, the control target device and space operation mouse is connected using a connection cable 8. 接続は、空間操作マウスの接続ケーブル8の端部のコネクタ9を制御対象機器に差し込むことによって行われる。 Connection is made by inserting the connector 9 of the end portion of the spatial operations mouse connection cable 8 to the control target device. 空間操作マウスからの出力信号は、接続ケーブル8を伝わり、制御対象機器に入力される。 The output signal from the spatial operations mice transmitted the connecting cable 8, is input to the control target device.

【0201】空間操作マウスをワイヤレスにすることが、そのシステムにとって必要でない場合には、この有線の空間操作マウスを用いれば、赤外線方式のように伝送方向の指向性を考慮する必要なく、制御信号の伝送を極めて確実に実行できる。 [0202] be a spatial operations mouse wirelessly, if not necessary for the system, the use of spatial operations mice in this wired, without the need to consider the transmission directivity as infrared type control signal transmission can be very reliably run the.

【0202】以上、本発明について、種々の実施例を用いて説明してきたが、空間操作マウスの形状は、必ずしも従来のいわゆるマウスのような形状である必要はなく、目的・用途に応じて、種々の形状にして使用することが可能である。 [0202] Although the present invention has been described with reference to various embodiments, the shape of spatial operations mice is not necessarily shaped like a conventional so-called mouse, depending on the purpose and application, It can be used in a variety of shapes.

【0203】また、必ずしも手に握って操作する必要はなく、操作者が直接あるいは間接的に用いる他の装置あるいは道具に装着あるいは内蔵するように構成することも可能である。 [0203] Also, not necessarily operated by gripping the hand, it is also possible operator configured to mount or built directly or indirectly using other devices or tools.

【0204】あるいは、この空間操作マウスに音声入力等の他の入力手段を設ければ、さらにバリエーションに富む操作環境を提供することができる。 [0204] Alternatively, by providing the other input means of the voice input or the like in this space operation mouse, it is possible to provide an operating environment that further enriched variation.

【0205】クリックボタンについては、設ける個数は任意であり、また、その形状も様々の変形が考えられる。 [0205] For click button, the number provided is arbitrary, and its shape is also conceivable that various modifications.

【0206】なお、前述の各実施例において、空間操作マウス内部の回路は、可能な限り1チップに集積化すると好ましい。 [0206] In each embodiment described above, the circuit of the internal space operations mice, preferably integrated into a single chip as possible.

【0207】また、本発明は上述した各実施例に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。 [0207] Further, the present invention is not intended to be limited to the embodiments hereinbefore described which may be without departing from the spirit thereof, variously modified and practiced.

【0208】 [0208]

【発明の効果】以上詳述したように、本発明では、2次元方向または3次元方向の加速度または角速度から空間操作マウスの動きを検出する動き検出手段を設けてある。 As described above in detail, the present invention is provided with a motion detecting means for detecting a motion of spatial operations mice from two-dimensional directions or three-dimensional direction of the acceleration or angular velocity.

【0209】このために、任意の操作空間で操作者の意図する動作を空間操作マウスで検出でき、また送信手段により制御対象機器に容易に制御信号を伝送することができる。 [0209] For this, the operation intended by the operator at any of the operational space can be detected in spatial operations mice and can be transmitted easily control signal to the control object device by transmission means. さらに、制御対象機器の表示画面上のカーソルまたは表示オブジェクトの変化により操作者の指示位置を表示したり、表示画面の方向を変化させることで、従来にない操作の容易なヒューマンインターフェイス環境を実現できる。 Further, controlled by the change of the cursor or display objects on the display screen of the target device can display an indication position of the operator, by changing the direction of the display screen can be realized easily human interface environment of unprecedented operation .

【0210】あるいは、予め操作者の動作を登録してある動作パターン記憶手段を設け、操作動作パターンを識別することで人間の自然な動作を用いて制御する入力手段を実現できる。 [0210] Alternatively, in advance an operation pattern storage unit that is registered operation of the operator is provided, it is possible to realize an input means for control using the natural human behavior by identifying the operating movement pattern.

【0211】さらには、操作者の手振れの周波数を除去する帯域制限フィルタを設け、手振れによるポインティング動作を正確にすることができる。 [0211] Further, the band-limiting filter for removing frequency of camera shake of the operator is provided, it is possible to accurately pointing operation by camera shake.

【0212】一方、本発明に係る空間動作パターン入力方法では、操作者が空間操作マウスを操作することにより入力された空間動作パターンの動きを検出して動作ベクトル列(相対的な時系列の微小基準ベクトル集合)に変換し、予め登録されている基本動作パターンに対応した動作ベクトル列と当該動作ベクトル列とを比較して識別を行い、この認識結果に基づく制御を制御対象機器に対して実行する。 [0212] On the other hand, the spatial activity pattern input method according to the present invention, the operator detects and motion vector string movement space operation pattern input by operating the spatial operations mice (relative chronological minute into a reference vector set), the identification by comparing the operation vector sequence corresponding to the basic operation patterns that are registered in advance and the operation vector sequence, executes a control based on the recognition result to the control target device to.

【0213】したがって、基準位置(原点)に対する空間操作マウスの空間座標を測定することなく、動作パターン入力を高精度に行うことができる。 [0213] Thus, without measuring the spatial coordinates of the spatial operations mice to a reference position (origin), it is possible to perform the operation pattern input with high accuracy.

【0214】このように、本発明によれば、人間の自然な動作を用いて、制御対象機器を制御することが可能となる。 [0214] Thus, according to the present invention, using the natural human behavior, it is possible to control the control target device.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施例に係る空間操作マウスの概略構成図 Schematic diagram of a spatial operations mouse according to a first embodiment of the present invention; FIG

【図2】本発明の第1の実施例に係る空間操作マウスの概略ブロック図 2 is a schematic block diagram of a spatial operations mouse according to a first embodiment of the present invention

【図3】図1のマウスを用いた空間操作型コンピュータシステムの使用概念図 [3] used conceptual diagram of a spatial operating computer system using the mouse of FIG. 1

【図4】図3のコンピュータの表示画面およびポインティング操作の説明図 Figure 4 is an explanatory diagram of a display screen and a pointing operation of the computer of FIG. 3

【図5】図3のコンピュータの表示画面およびポインティング操作の他の説明図 [5] Another illustration of a display screen and a pointing operation of the computer of FIG. 3

【図6】図3のコンピュータの表示画面およびポインティング操作のさらに他の説明図 [6] Yet another illustration of a display screen and a pointing operation in FIG. 3 of the computer

【図7】本発明の第1の実施例に係る空間操作マウスおよび制御対象器機のブロック図 FIG. 7 is a block diagram of a spatial operations mice and the control target devices according to the first embodiment of the present invention

【図8】加速度および速度にそれぞれ対応する電圧波形図、ならびに速度とパルス密度の関係を示す図 [8] Voltage waveform diagram corresponding to the acceleration and velocity, as well as view showing the relationship between the speed and pulse density

【図9】圧電振動ジャイロを用いた角速度検出部の構成例 [9] configuration example of an angular velocity detecting unit using a piezoelectric vibrating gyroscope

【図10】手振れ補正部を設けた空間操作マウスの概略ブロック図 Figure 10 is a schematic block diagram of a spatial operations mice in which a camera shake correction unit

【図11】本発明の第2の実施例に係る空間操作マウスの概略構成図 Figure 11 is a schematic block diagram of a spatial operations mouse according to a second embodiment of the present invention

【図12】図11のマウスを用いた空間操作型映像システムの使用概念図 [12] use conceptual view of dimensional operation video system using the mouse of FIG. 11

【図13】図12のシステムの表示画面およびポインティング操作の説明図 Figure 13 is an explanatory diagram of a display screen and a pointing operation of the system of FIG. 12

【図14】第1および第2の実施例での種々のクリック動作を説明するための図 Figure 14 is a diagram illustrating the various click motion in the first and second embodiments

【図15】本発明の第3の実施例に係る空間操作マウスの概略ブロック図 [15] Third schematic block diagram of a spatial operations mouse according to an embodiment of the present invention

【図16】検出動作パターンを説明するための図、 Figure 16 is a diagram for explaining the detection operation pattern,

【図17】本発明の第4の実施例に係る動作パターン入力方法の一例を示す図 Illustrates an example of an operation pattern input method according to the fourth embodiment of FIG. 17 the present invention

【図18】動作ベクトルの概念を説明するための図 Figure 18 is a view for explaining the concept of motion vectors

【図19】運動ベクトルと動作ベクトルとの相違を説明するための図 Figure 19 is a diagram illustrating the difference between the motion vector and the motion vector

【図20】本発明の第4の実施例に係る空間動作パターン入力システムの要部構成を示すブロック図 Block diagram showing the main configuration of the spatial activity pattern input system according to the fourth embodiment of Figure 20 the present invention

【図21】空間動作量を動作パターンに変換する変換部の機能を説明するための図 Figure 21 is a diagram for illustrating the function of the converter for converting spatial operation amount to the operation pattern

【図22】空間動作をベクトルテーブルによって動作ベクトルに変換する一例を示す図 FIG. 22 shows an example of converting the spatial activity in the motion vector by the vector table

【図23】識別部の概略構成を示すブロック図 Figure 23 is a block diagram showing a schematic configuration of the identification unit

【図24】単位ベクトル処理部による処理の流れ図 Figure 24 is a flow diagram of the process by the unit vector processing unit

【図25】単位ベクトル処理を説明するための図 Diagram for explaining FIG. 25 unit vector processing

【図26】ベクトル加算処理部による処理の流れ図 Figure 26 is a flow diagram of the processing by the vector addition processing unit

【図27】ベクトル加算処理を説明するための図 Figure 27 is a diagram for explaining a vector addition processing

【図28】ベクトル加算処理を説明するための図 Figure 28 is a diagram for explaining a vector addition processing

【図29】判定部における処理の流れの一例を示す図 Figure 29 illustrates an example of the flow of processing in the determination unit

【図30】単位ベクトル関数による動作ベクトル列の識別方法の一例を説明するための図 Diagram for explaining an example of a method of identifying operation vector sequence according to Figure 30 the unit vector function

【図31】単位ベクトル関数による動作パターン認識処理の流れを示す図 FIG. 31 shows an operation flow of pattern recognition processing by the unit vector function

【図32】本発明の動作ベクトル列マッチングと従来のパターンマッチングとの相違を説明するための図 Figure 32 is a diagram illustrating the difference between the motion vector string matching the conventional pattern matching of the present invention

【図33】本実施例の動作パターン入力方法を適用したシステムの構成例を示す図 Diagram illustrating a configuration example of the operation pattern input methods the applied system of FIG. 33 embodiment

【図34】図33のシステムの入力動作例を示すのフローチャート Figure 34 is a flowchart for showing an input operation of the system of FIG. 33

【図35】動作検出部において検出された検出量を補正する処理を説明するための図 Diagram for explaining a process for correcting the detected amount detected in [35] Operation detecting unit

【図36】回転量検出素子の設置位置の例を示す概観図 [Figure 36] schematic view showing an example of the installation position of the rotation amount detecting device

【図37】補正部を設けた空間操作マウスを示す概略ブロック図 Figure 37 is a schematic block diagram illustrating a spatial operations mice provided a correction unit

【図38】補正部での処理を説明するための図 Figure 38 is a diagram for explaining a process in the correction unit

【図39】3次元動作パターン入力への拡張のための前後方向検出素子の設置位置の例を示す図 Diagram illustrating an example of installation position of the longitudinal direction detection device for FIG. 39 extension to 3 dimensional motion pattern input

【図40】3次元動作パターン入力方法の一例を示した図 [Figure 40] shows an example of the three-dimensional motion pattern input method Figure

【図41】3次元空間での動作ベクトルの表現方法の一例、および3次元空間での動作を動作ベクトルに変換する際に参照するベクトルテーブルの一例を示す図 It illustrates an example of a vector table referenced when converting one example of a method of expressing motion vectors in Figure 41 three-dimensional space, and the operation of the three-dimensional space on motion vectors

【図42】動作パターン入力によって認識された結果によるカーソル変形例を示す図 Figure 42 illustrates the cursor modification by the results recognized by the motion pattern input

【図43】本発明の第5の実施例に係る空間操作マウスの構成図 Figure 43 is a configuration diagram of a spatial operations mice according to the fifth embodiment of the present invention

【図44】本発明の第6の実施例に係る空間操作マウスの構成図 [Figure 44] Sixth diagram of spatial operations mouse according to an embodiment of the present invention

【符号の説明】 DESCRIPTION OF SYMBOLS

1…空間操作マウス本体、2…水平方向動き検出素子、 1 ... spatial operations mouse body, 2 ... horizontal movement detection device,
3…垂直方向動き検出素子、4…クリックボタン、5, 3 ... vertical motion detection element, 4 ... click button, 5,
6…赤外線発光素子、16a…第1動き検出部、16b 6 ... infrared light emitting device, 16a ... first motion detector, 16b
…第2動き検出部、17…スイッチ部、18…送信部、 ... second motion detection unit, 17 ... switch unit, 18 ... transmission unit,
21…制御対象機器、22…表示画面、23…赤外線受光素子、30a…第1動きセンサ、31a31b…増幅器、39a…帯域制限器、40a…A/D変換器、32 21 ... control target device, 22 ... display screen, 23 ... infrared receiving component, 30a ... first motion sensor, 31A31b ... amplifier, 39a ... band limiter, 40a ... A / D converter, 32
c…速度検出部、30b…第2動きセンサ、31b…増幅器、39b…帯域制限器、40b…A/D変換器、3 c ... speed detecting section, 30b ... second motion sensor, 31b ... amplifier, 39 b ... band limiter, 40b ... A / D converter, 3
2d…速度検出部、41…動作認識部、42…動作パターンメモリ、43…赤外線リモコン送信回路、34…赤外線発光素子、202…表示装置、203…表示画面、 2d ... speed detecting unit, 41 ... operation recognition portion, 42 ... operation pattern memory, 43 ... infrared remote control transmitter circuit, 34 ... infrared light emitting element, 202 ... display unit, 203 ... display screen,
235…カーソル、236…回転量検出素子、239… 235 ... cursor, 236 ... rotation amount detection element, 239 ...
前後方向動き検出素子 Longitudinal-direction motion detecting device

フロントページの続き (72)発明者 福元 富義 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 Of the front page Continued (72) inventor Tomiyoshi Fukumoto Kawasaki-shi, Kanagawa-ku, Saiwai Komukaitoshiba-cho, address 1 Co., Ltd., Toshiba Research and Development Center in

Claims (7)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】操作空間での所定の3つの軸方向の速度若しくは加速度又は3つの軸の回りの角速度若しくは角加速度のうちの少なくとも1つを検出し、当該検出された1つあるいは複数の量をそのままあるいは関連する量に変換して動き信号として出力するための動き信号生成手段と、この動き信号生成手段により与えられた前記動き信号を含む前記制御信号を送信するための送信手段とを有する空間操作マウスと、 前記空間操作マウスの前記送信手段により送信された制御信号を受信するための受信手段と、この受信手段により得られた制御信号に基づいて、表示画面上のカーソルまたは表示オブジェクトを変化させ、前記空間操作マウスの操作者の指示位置を表示し、あるいは前記動き信号に従い表示画面を変化させる表示手段とを有す At least one is detected and one or more of the amount the detected one of claim 1] three predetermined axial velocity or acceleration or three angular velocities around or angular acceleration of the shaft in the operational space the converted directly to or related quantity and a transmitting means for transmitting the motion signal generating means for outputting a movement signal, said control signal including the motion signal provided by the motion signal generating means and space operation mouse, a receiving means for receiving a control signal transmitted by said transmitting means of said spatial operations mice, on the basis of a control signal obtained by the receiving means, a cursor or display objects on the display screen varied, to display the indication position of the operator of the spatial operations mice or having a display means for changing a display screen in accordance with the motion signal る制御対象機器とを具備してなることを特徴とする空間操作マウスシステム。 Spatial operations mouse system characterized by comprising and a control target device that.
  2. 【請求項2】操作者により与えられる3次元空間における直線的、平面的あるいは空間的な動作を、その操作空間における所定の3つの軸方向の速度若しくは加速度又は3つの軸の回りの角速度若しくは角加速度のうちの少なくとも2つの量として検出する検出ステップと、 当該検出された少なくとも2つの検出量を、当該動作をパターン化した動作パターンデータに変換する変換ステップと、 当該動作パターンデータと、予め登録されている複数の基本動作パターンに関連する基本データとを比較する比較ステップと、 前記比較ステップにおける比較結果に基づいて当該動作パターンを識別する識別ステップと、 前記識別ステップにおける識別結果に基づいて当該動作パターンに対応する所定の制御を行う制御ステップとを含むことを特 2. A linear in the three-dimensional space given by the operator, a planar or spatial operations, the angular velocity around or corners of three predetermined axial velocity or acceleration, or three axes in the operation space a detection step of detecting as at least two quantities of acceleration, a conversion step at least two detection amount is the detection, and converts the operation pattern data patterned the operation, and the operation pattern data registered in advance a comparing step of comparing the base data associated with a plurality of basic operation pattern being an identifying step for identifying the operation pattern on the basis of the comparison result of the comparing step, the based on the identification result of the identifying step JP that a control step of performing a predetermined control corresponding to the operation pattern 徴とする空間操作マウスを用いた空間動作パターン入力方法。 Space operating pattern input method using spatial operations mice with symptoms.
  3. 【請求項3】空間操作型入力装置の空間動作パターンに応じた内容の制御を制御対象機器に実行させるための空間動作パターン入力方法において、 空間操作型入力装置の空間における互いに平行でない所定の3軸方向の動作量のうち少なくとも2軸方向の動作量を検出する動作検出ステップと、 前記動作検出ステップにおいて検出された少なくとも2 3. A spatial activity pattern input method for executing the control content in accordance with the spatial movement pattern to the control target device of the three-dimensional operation input device, the predetermined non-parallel to each other in the space of three-dimensional operation input apparatus 3 an operation detection step of detecting an operation amount of at least two axial directions of the axial movement amount of at least detected in the operation detection step 2
    つの検出量からなる当該空間動作量を動作ベクトル列に変換する変換ステップと、 予め登録されている基本動作パターンに対応した動作ベクトル列と当該動作ベクトル列とを比較して識別を行う識別ステップと、 前記識別ステップにおける認識結果に基づく制御を制御対象機器に対して実行する実行ステップとを有することを特徴とする空間動作パターン入力方法。 A conversion step of converting One of the space operation amount consisting of detecting the amount of motion vector sequence, an identification step for performing identification by comparing the operation vector sequence and the operation vector sequence corresponding to the basic operation patterns that are registered in advance , spatial activity pattern input method characterized by comprising an execution step of executing control based on the recognition result in the identification step with respect to the control target device.
  4. 【請求項4】前記識別ステップは、 空間操作型入力装置の動作量から得られた動作ベクトル列を基にした単位ベクトル関数および空間操作型入力装置の動作量から得られた動作ベクトル列を基にした累積ベクトル関数の少なくとも一方を生成するベクトル関数生成ステップと、 生成した単位ベクトル関数および累積ベクトル関数の少なくとも一方を、基本動作パターン動作に対応した動作ベクトル列から得られるものと比較し、この比較結果に基づいて空間操作型入力装置の空間動作パターンの識別を行う識別ステップとを含むことを特徴とする請求項3 Wherein said identification step, based on a motion vector string obtained from the operating amount of the three-dimensional operation unit vector function based on a motion vector string obtained from the operation amount of the input device and the three-dimensional operation input apparatus compared to the vector function generation step of generating at least one of the accumulation vector function was, at least one of the unit vectors function and accumulation vector function generated, and those obtained from the operation vector sequence corresponding to the basic operation pattern operation, the claim 3, characterized in that it comprises an identification step based on the comparison result and identifies a spatial activity pattern of three-dimensional operation input apparatus
    に記載の空間動作パターン入力方法。 Space operating pattern input methods described.
  5. 【請求項5】前記変換ステップは、空間動作量に対して単位ベクトルの個数と角度を登録した変換テーブルに対して、前記動作検出ステップにおいて検出された少なくとも2つの検出量からなる当該空間動作量を時間的にサンプリングした値を逐次指定値として与えることによって、当該空間動作量を動作ベクトル列に変換した結果を得ることを特徴とする請求項3に記載の空間動作パターン入力方法。 Wherein said conversion step, to the conversion table registering the number and angle of the unit vector for space operation amount, the space operation amount consisting of at least two detection amount detected in the operation detection step by providing sequential as the specified value of the time-sampled value, spatial activity pattern input method according to claim 3, characterized in that to obtain a result of converting the spatial movement amount to the operation vector row.
  6. 【請求項6】前記動作検出ステップは、前記空間操作型入力装置の動作量を検出する2軸方向ごとに、これに直行する方向の軸回りの回転動作量を検出する回転動作量検出ステップをさらに有し、 前記変換ステップは、前記回転動作量検出ステップでの検出結果に基づき、前記動作検出ステップで検出された関連する前記空間操作型入力装置の2軸方向の動作量から上記軸回りの回転動作量を取り除いた動作量を抽出する補正ステップをさらに有することを特徴とする請求項3に記載の空間動作パターン入力方法。 Wherein said motion detecting step, for each biaxial direction for detecting an operation amount of the three-dimensional operation input device, the rotation operation amount detecting step of detecting a rotation amount around the axis in a direction perpendicular thereto further comprising the step of converting, based on said detection result of the rotation operation amount detecting step, from the operation amount of the two axial directions of the three-dimensional operation input device associated detected by the operation detecting step of the axis space operating pattern input method according to claim 3, further comprising a correction step of extracting the movement amount obtained by removing the rotational operation amount.
  7. 【請求項7】前記実行ステップは、前記識別ステップにおいて認識された空間動作パターンの形状を表示画面に表示することを特徴とする請求項3に記載の空間動作パターン入力方法。 Wherein said executing step, spatial activity pattern input method according to claim 3, wherein the displaying the shape of the recognized space operating pattern in the identification step on a display screen.
JP10022994A 1993-05-13 1994-05-13 Space manipulation mouse system and space operation pattern input method Pending JPH0728591A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP5-111856 1993-05-13
JP11185693 1993-05-13
JP10022994A JPH0728591A (en) 1993-05-13 1994-05-13 Space manipulation mouse system and space operation pattern input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10022994A JPH0728591A (en) 1993-05-13 1994-05-13 Space manipulation mouse system and space operation pattern input method

Publications (1)

Publication Number Publication Date
JPH0728591A true JPH0728591A (en) 1995-01-31

Family

ID=26441289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10022994A Pending JPH0728591A (en) 1993-05-13 1994-05-13 Space manipulation mouse system and space operation pattern input method

Country Status (1)

Country Link
JP (1) JPH0728591A (en)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6515669B1 (en) 1998-10-23 2003-02-04 Olympus Optical Co., Ltd. Operation input device applied to three-dimensional input device
WO2005081095A2 (en) * 2004-02-19 2005-09-01 Siemens Aktiengesellschaft Method for assessing a virtual writing plane
WO2006028013A1 (en) * 2004-09-07 2006-03-16 Vodafone K.K. Acceleration estimating method, acceleration estimating device, and mobile terminal
JP2006345537A (en) * 2003-05-01 2006-12-21 Thomson Licensing Multimedia user interface
JP2007535776A (en) * 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド Free space pointing device with an ease of use that slope compensation and improvement
JP2007535774A (en) * 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド Method and device for removing motion unintentional in free space pointing device
WO2008029467A1 (en) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Gesture input system, method and program
JP2008077425A (en) * 2006-09-21 2008-04-03 Sony Computer Entertainment Inc Information processor, information processing method, and program
KR100827236B1 (en) * 2006-05-23 2008-05-07 삼성전자주식회사 Pointing Device, Pointer movement method and Apparatus for displaying the pointer
CN101251382A (en) * 2002-08-28 2008-08-27 索尼株式会社 Electronic apparatus, signal compensation device, and signal compensation method
KR100855471B1 (en) * 2006-09-19 2008-09-01 삼성전자주식회사 Input device and method for providing movement information of the input device
JP2008541232A (en) * 2005-05-04 2008-11-20 ヒルクレスト・ラボラトリーズ・インコーポレイテッド Scrolling and pointing methods and systems in the user interface
JP2008299866A (en) * 2004-03-23 2008-12-11 Fujitsu Ltd Distinguishing tilt and translation motion components in handheld devices
WO2009051563A1 (en) * 2007-10-19 2009-04-23 Razer (Asia-Pacific) Pte Ltd Unintended displacement identification and correction method and system
US7545410B2 (en) 1997-04-24 2009-06-09 Sony Corporation Video camera system having remote commander
WO2009072583A1 (en) * 2007-12-07 2009-06-11 Sony Corporation Input device, control device, control system, control method, and handheld device
JP2009151664A (en) * 2007-12-21 2009-07-09 Denso Corp Remote control apparatus
JP2009205245A (en) * 2008-02-26 2009-09-10 Nikon Corp Image reproduction system
JP2010097429A (en) * 2008-10-16 2010-04-30 Nintendo Co Ltd Information processing apparatus and information processing program
KR100964426B1 (en) * 2008-06-25 2010-06-16 엘지전자 주식회사 A display device
JP2010146230A (en) * 2008-12-18 2010-07-01 Seiko Epson Corp Input device and data processing system
CN101840277A (en) * 2009-03-17 2010-09-22 索尼公司 Input apparatus, control apparatus, control system, and control method
DE102009015918A1 (en) * 2009-03-25 2010-09-30 Kuhn, Andrè Input arrangement for display system e.g. navigation system, use in motor vehicles, has control device controlling screen, and connecting device provided between direction determination device and position determination device
JP2011238250A (en) * 2004-04-30 2011-11-24 Hillcrest Laboratories Inc 3d pointing device and pointing method
KR101112624B1 (en) * 2008-11-06 2012-02-15 주식회사 비트컴퓨터 Character Recognizing method and the system with 3D Accelerometer
USRE43657E1 (en) 2002-08-28 2012-09-11 Sony Corporation Electronic device, signal compensation device and signal compensation method
JP2012256378A (en) * 2006-02-01 2012-12-27 Memsic Inc Control system of portable device by movement detection device, control method, data input system, and data input method
JP2013175208A (en) * 2013-04-05 2013-09-05 Nintendo Co Ltd Information processing apparatus and information processing program
JP2013232208A (en) * 2007-08-20 2013-11-14 Qualcomm Inc Method, device, computer readable recording medium and apparatus for enhanced rejection of out-of-vocabulary words
JP2013242916A (en) * 2012-04-27 2013-12-05 Panasonic Corp Input device, input support method, and program
JP2013242836A (en) * 2012-04-27 2013-12-05 Panasonic Corp Input device, input support method, and program
US8692764B2 (en) 2004-03-23 2014-04-08 Fujitsu Limited Gesture based user interface supporting preexisting symbols
WO2015141175A1 (en) * 2014-03-18 2015-09-24 株式会社デンソー Operation input device and operation input method
US9223405B2 (en) 2011-03-16 2015-12-29 Electronics And Telecommunications Research Institute Apparatus and method for inputting information based on events
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US9298282B2 (en) 2004-04-30 2016-03-29 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
WO2016056259A1 (en) * 2014-10-07 2016-04-14 株式会社ログバー Gesture input system data processing method
CN105744339A (en) * 2009-05-29 2016-07-06 Lg电子株式会社 Image display apparatus and operating method thereof
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US9675878B2 (en) 2004-09-29 2017-06-13 Mq Gaming, Llc System and method for playing a virtual game by sensing physical movements
US9700806B2 (en) 2005-08-22 2017-07-11 Nintendo Co., Ltd. Game operating device
US9713766B2 (en) 2000-02-22 2017-07-25 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9731194B2 (en) 1999-02-26 2017-08-15 Mq Gaming, Llc Multi-platform gaming systems and methods
US9770652B2 (en) 2003-03-25 2017-09-26 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US9857885B2 (en) 2007-09-14 2018-01-02 Sony Corporation Input apparatus, control apparatus, control system, control method, and handheld apparatus
JP2018508805A (en) * 2014-12-29 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント Method and system for user interaction in a virtual or augmented reality scene using a head mounted display
US9931578B2 (en) 2000-10-20 2018-04-03 Mq Gaming, Llc Toy incorporating RFID tag
US9993724B2 (en) 2003-03-25 2018-06-12 Mq Gaming, Llc Interactive gaming toy
US10010790B2 (en) 2002-04-05 2018-07-03 Mq Gaming, Llc System and method for playing an interactive game
US10137365B2 (en) 2005-08-24 2018-11-27 Nintendo Co., Ltd. Game controller and game system
US10159897B2 (en) 2004-11-23 2018-12-25 Idhl Holdings, Inc. Semantic gaming and application transformation
KR102001121B1 (en) * 2018-10-30 2019-07-17 (주)유즈브레인넷 Apparatus and Method for Recognizing Motion By Using Gyroscope

Cited By (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545410B2 (en) 1997-04-24 2009-06-09 Sony Corporation Video camera system having remote commander
US6515669B1 (en) 1998-10-23 2003-02-04 Olympus Optical Co., Ltd. Operation input device applied to three-dimensional input device
US9731194B2 (en) 1999-02-26 2017-08-15 Mq Gaming, Llc Multi-platform gaming systems and methods
US9861887B1 (en) 1999-02-26 2018-01-09 Mq Gaming, Llc Multi-platform gaming systems and methods
US10300374B2 (en) 1999-02-26 2019-05-28 Mq Gaming, Llc Multi-platform gaming systems and methods
US10188953B2 (en) 2000-02-22 2019-01-29 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9713766B2 (en) 2000-02-22 2017-07-25 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9814973B2 (en) 2000-02-22 2017-11-14 Mq Gaming, Llc Interactive entertainment system
US10307671B2 (en) 2000-02-22 2019-06-04 Mq Gaming, Llc Interactive entertainment system
US10307683B2 (en) 2000-10-20 2019-06-04 Mq Gaming, Llc Toy incorporating RFID tag
US9931578B2 (en) 2000-10-20 2018-04-03 Mq Gaming, Llc Toy incorporating RFID tag
US10179283B2 (en) 2001-02-22 2019-01-15 Mq Gaming, Llc Wireless entertainment device, system, and method
US9737797B2 (en) 2001-02-22 2017-08-22 Mq Gaming, Llc Wireless entertainment device, system, and method
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US10010790B2 (en) 2002-04-05 2018-07-03 Mq Gaming, Llc System and method for playing an interactive game
CN101251382A (en) * 2002-08-28 2008-08-27 索尼株式会社 Electronic apparatus, signal compensation device, and signal compensation method
JP2008269577A (en) * 2002-08-28 2008-11-06 Sony Corp Electronic apparatus, spatial displacement calculating device and spatial displacement calculating method
JP2010164571A (en) * 2002-08-28 2010-07-29 Sony Corp Electronic apparatus, signal compensation device, and signal compensation method
USRE43657E1 (en) 2002-08-28 2012-09-11 Sony Corporation Electronic device, signal compensation device and signal compensation method
JP4730464B2 (en) * 2002-08-28 2011-07-20 ソニー株式会社 Electronic device apparatus, signal compensation apparatus, and signal compensation method
US10022624B2 (en) 2003-03-25 2018-07-17 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US9993724B2 (en) 2003-03-25 2018-06-12 Mq Gaming, Llc Interactive gaming toy
US9707478B2 (en) 2003-03-25 2017-07-18 Mq Gaming, Llc Motion-sensitive controller and associated gaming applications
US10369463B2 (en) 2003-03-25 2019-08-06 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US9770652B2 (en) 2003-03-25 2017-09-26 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
JP2016015741A (en) * 2003-05-01 2016-01-28 トムソン ライセンシングThomson Licensing Multimedia user interface
JP2006345536A (en) * 2003-05-01 2006-12-21 Thomson Licensing Multimedia user interface
JP2006345537A (en) * 2003-05-01 2006-12-21 Thomson Licensing Multimedia user interface
WO2005081095A2 (en) * 2004-02-19 2005-09-01 Siemens Aktiengesellschaft Method for assessing a virtual writing plane
WO2005081095A3 (en) * 2004-02-19 2005-11-17 Siemens Ag Method for assessing a virtual writing plane
JP2008299866A (en) * 2004-03-23 2008-12-11 Fujitsu Ltd Distinguishing tilt and translation motion components in handheld devices
US8692764B2 (en) 2004-03-23 2014-04-08 Fujitsu Limited Gesture based user interface supporting preexisting symbols
US9946356B2 (en) 2004-04-30 2018-04-17 Interdigital Patent Holdings, Inc. 3D pointing devices with orientation compensation and improved usability
US9261978B2 (en) 2004-04-30 2016-02-16 Hillcrest Laboratories, Inc. 3D pointing devices and methods
JP2007535776A (en) * 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド Free space pointing device with an ease of use that slope compensation and improvement
JP2012190479A (en) * 2004-04-30 2012-10-04 Hillcrest Laboratories Inc Three-dimensional pointing device with inclination compensation and improved usability
JP2007535774A (en) * 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド Method and device for removing motion unintentional in free space pointing device
JP2015015058A (en) * 2004-04-30 2015-01-22 ヒルクレスト・ラボラトリーズ・インコーポレイテッド Three-dimensional pointing device with inclination compensation and improved usability
US9575570B2 (en) 2004-04-30 2017-02-21 Hillcrest Laboratories, Inc. 3D pointing devices and methods
US9298282B2 (en) 2004-04-30 2016-03-29 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
JP2011238250A (en) * 2004-04-30 2011-11-24 Hillcrest Laboratories Inc 3d pointing device and pointing method
US8521467B2 (en) 2004-09-07 2013-08-27 Vodafone Group Plc Method for acceleration estimation, acceleration estimating apparatus, and mobile terminal
WO2006028013A1 (en) * 2004-09-07 2006-03-16 Vodafone K.K. Acceleration estimating method, acceleration estimating device, and mobile terminal
JPWO2006028013A1 (en) * 2004-09-07 2008-05-08 ソフトバンクモバイル株式会社 Acceleration estimation method, the acceleration estimating unit and a mobile terminal device
US9675878B2 (en) 2004-09-29 2017-06-13 Mq Gaming, Llc System and method for playing a virtual game by sensing physical movements
US10159897B2 (en) 2004-11-23 2018-12-25 Idhl Holdings, Inc. Semantic gaming and application transformation
JP2008541232A (en) * 2005-05-04 2008-11-20 ヒルクレスト・ラボラトリーズ・インコーポレイテッド Scrolling and pointing methods and systems in the user interface
US10155170B2 (en) 2005-08-22 2018-12-18 Nintendo Co., Ltd. Game operating device with holding portion detachably holding an electronic device
US9700806B2 (en) 2005-08-22 2017-07-11 Nintendo Co., Ltd. Game operating device
US10238978B2 (en) 2005-08-22 2019-03-26 Nintendo Co., Ltd. Game operating device
US10137365B2 (en) 2005-08-24 2018-11-27 Nintendo Co., Ltd. Game controller and game system
JP2012256378A (en) * 2006-02-01 2012-12-27 Memsic Inc Control system of portable device by movement detection device, control method, data input system, and data input method
KR100827236B1 (en) * 2006-05-23 2008-05-07 삼성전자주식회사 Pointing Device, Pointer movement method and Apparatus for displaying the pointer
JP4489825B2 (en) * 2006-09-07 2010-06-23 学校法人 大阪電気通信大学 Gesture input system, method and program
WO2008029467A1 (en) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Gesture input system, method and program
US9032336B2 (en) 2006-09-07 2015-05-12 Osaka Electro-Communication University Gesture input system, method and program
JPWO2008029467A1 (en) * 2006-09-07 2010-01-21 学校法人 大阪電気通信大学 Gesture input system, method and program
KR100855471B1 (en) * 2006-09-19 2008-09-01 삼성전자주식회사 Input device and method for providing movement information of the input device
JP2008077425A (en) * 2006-09-21 2008-04-03 Sony Computer Entertainment Inc Information processor, information processing method, and program
JP4700584B2 (en) * 2006-09-21 2011-06-15 株式会社ソニー・コンピュータエンタテインメント Information processing apparatus, information processing method, and program
JP2013232208A (en) * 2007-08-20 2013-11-14 Qualcomm Inc Method, device, computer readable recording medium and apparatus for enhanced rejection of out-of-vocabulary words
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US9857885B2 (en) 2007-09-14 2018-01-02 Sony Corporation Input apparatus, control apparatus, control system, control method, and handheld apparatus
US9046938B2 (en) 2007-10-19 2015-06-02 Razer (Asia-Pacific) Pte Ltd Unintended displacement identification and correction method and system
WO2009051563A1 (en) * 2007-10-19 2009-04-23 Razer (Asia-Pacific) Pte Ltd Unintended displacement identification and correction method and system
US8576168B2 (en) 2007-12-07 2013-11-05 Sony Corporation Input apparatus, control apparatus, control system, control method, and handheld apparatus
WO2009072583A1 (en) * 2007-12-07 2009-06-11 Sony Corporation Input device, control device, control system, control method, and handheld device
JP2009151664A (en) * 2007-12-21 2009-07-09 Denso Corp Remote control apparatus
JP2009205245A (en) * 2008-02-26 2009-09-10 Nikon Corp Image reproduction system
KR100964426B1 (en) * 2008-06-25 2010-06-16 엘지전자 주식회사 A display device
US8884875B2 (en) 2008-10-16 2014-11-11 Nintendo Co., Ltd. Information processing apparatus and computer-readable recording medium recording information processing program
JP2010097429A (en) * 2008-10-16 2010-04-30 Nintendo Co Ltd Information processing apparatus and information processing program
KR101112624B1 (en) * 2008-11-06 2012-02-15 주식회사 비트컴퓨터 Character Recognizing method and the system with 3D Accelerometer
JP2010146230A (en) * 2008-12-18 2010-07-01 Seiko Epson Corp Input device and data processing system
US8614670B2 (en) 2008-12-18 2013-12-24 Seiko Epson Corporation Input device and data processing system
CN101840277A (en) * 2009-03-17 2010-09-22 索尼公司 Input apparatus, control apparatus, control system, and control method
DE102009015918A1 (en) * 2009-03-25 2010-09-30 Kuhn, Andrè Input arrangement for display system e.g. navigation system, use in motor vehicles, has control device controlling screen, and connecting device provided between direction determination device and position determination device
CN105744339A (en) * 2009-05-29 2016-07-06 Lg电子株式会社 Image display apparatus and operating method thereof
US9223405B2 (en) 2011-03-16 2015-12-29 Electronics And Telecommunications Research Institute Apparatus and method for inputting information based on events
JP2013242916A (en) * 2012-04-27 2013-12-05 Panasonic Corp Input device, input support method, and program
US10261630B2 (en) 2012-04-27 2019-04-16 Panasonic Intellectual Property Corporation Of America Input device, input support method, and program
JP2013242836A (en) * 2012-04-27 2013-12-05 Panasonic Corp Input device, input support method, and program
JP2013175208A (en) * 2013-04-05 2013-09-05 Nintendo Co Ltd Information processing apparatus and information processing program
WO2015141175A1 (en) * 2014-03-18 2015-09-24 株式会社デンソー Operation input device and operation input method
JP2016076104A (en) * 2014-10-07 2016-05-12 株式会社ログバー Method for processing data of gesture input system
WO2016056259A1 (en) * 2014-10-07 2016-04-14 株式会社ログバー Gesture input system data processing method
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
JP2018508805A (en) * 2014-12-29 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント Method and system for user interaction in a virtual or augmented reality scene using a head mounted display
KR102001121B1 (en) * 2018-10-30 2019-07-17 (주)유즈브레인넷 Apparatus and Method for Recognizing Motion By Using Gyroscope

Similar Documents

Publication Publication Date Title
EP0394614B1 (en) Advanced user interface
US7024625B2 (en) Mouse device with tactile feedback applied to housing
US6181322B1 (en) Pointing device having selection buttons operable from movement of a palm portion of a person's hands
EP1288773B1 (en) Object position detector with edge motion feature and gesture recognition
US7161579B2 (en) Hand-held computer interactive device
CN103257684B (en) Directionally sensitive apparatus and signal output method
US7532205B2 (en) Object position detector with edge motion feature and gesture recognition
KR100851977B1 (en) Controlling Method and apparatus for User Interface of electronic machine using Virtual plane.
US7133026B2 (en) Information input device for giving input instructions to a program executing machine
CN102609116B (en) Multi-touch input device with orientation sensing
JP5095811B2 (en) Mobile communication device and input device for the mobile communication device
US5880411A (en) Object position detector with edge motion feature and gesture recognition
US7907838B2 (en) Motion sensing and processing on mobile devices
US20080048997A1 (en) Object position detector with edge motion feature and gesture recognition
US6028271A (en) Object position detector with edge motion feature and gesture recognition
JP2013117996A (en) Sound data output and operation using tactile feedback
US20080100825A1 (en) Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US7774075B2 (en) Audio-visual three-dimensional input/output
US5751260A (en) Sensory integrated data interface
US10086282B2 (en) Tracking device for use in obtaining information for controlling game program execution
US20020024500A1 (en) Wireless control device
US20080268956A1 (en) Game system and information processing system
US6839049B1 (en) Physically interacting with a processor-based display
US20060028457A1 (en) Stylus-Based Computer Input System
US20070015558A1 (en) Method and apparatus for use in determining an activity level of a user in relation to a system