JP4730464B2 - Electronic device apparatus, signal compensation apparatus, and signal compensation method - Google Patents

Electronic device apparatus, signal compensation apparatus, and signal compensation method Download PDF

Info

Publication number
JP4730464B2
JP4730464B2 JP2010035302A JP2010035302A JP4730464B2 JP 4730464 B2 JP4730464 B2 JP 4730464B2 JP 2010035302 A JP2010035302 A JP 2010035302A JP 2010035302 A JP2010035302 A JP 2010035302A JP 4730464 B2 JP4730464 B2 JP 4730464B2
Authority
JP
Japan
Prior art keywords
signal
angular velocity
velocity sensor
data
stationary state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010035302A
Other languages
Japanese (ja)
Other versions
JP2010164571A (en
Inventor
裕 臼田
英治 宮崎
慎二 山近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010035302A priority Critical patent/JP4730464B2/en
Publication of JP2010164571A publication Critical patent/JP2010164571A/en
Application granted granted Critical
Publication of JP4730464B2 publication Critical patent/JP4730464B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Gyroscopes (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Description

本発明は、例えば携帯端末や携帯電話等の電子機器装置、このような装置に搭載される信号補償装置及びこのような装置に使われる信号補償方法に関する。   The present invention relates to an electronic device such as a mobile terminal or a mobile phone, a signal compensation device mounted on such a device, and a signal compensation method used in such a device.

特開2002−7027号公報には、携帯端末や携帯電話等の携帯可能な装置を構成する筐体の移動に応じて表示部に表示される画像をスクロールする技術が開示されている。例えば、このような装置を手に持つユーザがこの装置を右方向に移動させると、画像も同様に右方向にスクロールする、というものである。筐体の移動を感知する手段としては角速度センサが用いられる。例えば、角速度センサの基準となる値を検出しておき、基準値からの変化として電気信号として出力し、出力結果に応じて画面をスクロールさせる。   Japanese Patent Application Laid-Open No. 2002-7027 discloses a technique for scrolling an image displayed on a display unit in accordance with movement of a casing constituting a portable device such as a portable terminal or a cellular phone. For example, when a user holding such a device moves the device in the right direction, the image scrolls in the right direction as well. An angular velocity sensor is used as means for sensing the movement of the housing. For example, a reference value of the angular velocity sensor is detected, output as an electrical signal as a change from the reference value, and the screen is scrolled according to the output result.

特開2002−7027号公報JP 2002-7027 A

しかしながら、このような機器に使われる角速度センサは、周囲の温度変化によってこの基準値が変化する、いわゆる温度ドリフトを起こす。温度ドリフトは低周波として出力され、画像のスクロールに悪影響を与える。例えば、ユーザが装置を移動させない場合であっても表示部に表示された画像が勝手にスクロールしたり、ユーザが移動させた方向とは異なる方向に画面がスクロールするといった誤作動が生じる。   However, an angular velocity sensor used in such a device causes a so-called temperature drift in which the reference value changes due to a change in ambient temperature. The temperature drift is output as a low frequency, which adversely affects image scrolling. For example, even when the user does not move the device, a malfunction occurs such that the image displayed on the display unit scrolls arbitrarily or the screen scrolls in a direction different from the direction moved by the user.

本発明は、このような事情に基づきなされたもので、角速度センサの温度ドリフトによる誤作動を防止することができる電子機器装置、信号補償装置及び信号補償方法を提供することを目的とする。   The present invention has been made based on such circumstances, and it is an object of the present invention to provide an electronic device apparatus, a signal compensation apparatus, and a signal compensation method that can prevent malfunction due to temperature drift of an angular velocity sensor.

上記課題を解決するために、本発明の主たる観点に係る電子機器装置は、ユーザが手に持った状態で空間を移動されることで操作される電子機器装置であって、回転方向の角速度に応じた第1の信号を出力する角速度センサと、静止した状態の前記角速度センサが出力する第2の信号のデータを角速度算出用の基準値として予め記憶する記憶手段と、前記装置の空間内での静止状態を検出するための加速度センサと、前記加速度センサの単位時間あたりの出力電圧の変位に基づいて静止状態が検出されると、その時の前記角速度センサが出力する第1の信号のデータを用いて、前記第1の信号を補償するための新たな基準値を算出する算出手段とを具備することを特徴とするものである。   In order to solve the above-described problems, an electronic device apparatus according to a main aspect of the present invention is an electronic apparatus device that is operated by being moved in space while being held in a hand, and has an angular velocity in a rotation direction. An angular velocity sensor that outputs a first signal in response, a storage unit that preliminarily stores data of a second signal output by the angular velocity sensor in a stationary state as a reference value for calculating the angular velocity, and in the space of the device When the stationary state is detected based on the acceleration sensor for detecting the stationary state of the sensor and the displacement of the output voltage per unit time of the acceleration sensor, data of the first signal output by the angular velocity sensor at that time is obtained. And calculating means for calculating a new reference value for compensating the first signal.

人間の腕の動きはひじ又は肩を支点とするものである。ユーザが筐体を空間中で移動させる動作は近似的に球面での動きとなる。この腕の動きの速度を検出するためには球面に沿った腕の移動速度、すなわち角速度を検出できれば良いこととなる。
一般に、加速度と速度の関係は、以下の式で表される。
The movement of the human arm is based on the elbow or shoulder. The movement of the user to move the casing in the space is approximately a spherical movement. In order to detect the speed of movement of the arm, it is only necessary to detect the movement speed of the arm along the spherical surface, that is, the angular speed.
In general, the relationship between acceleration and speed is expressed by the following equation.

数1から、加速度センサがあれば、一定の時間幅tで得られたデータの積分を行うことにより速度を求めることが可能であるとわかる。ある一定時間の移動体の速度が求まれば、この速度の値を積分することによりさらに移動距離を求めることができ、スクロール量が決定できる。 From Equation 1, it can be seen that if there is an acceleration sensor, the speed can be obtained by integrating the data obtained in a certain time width t. If the speed of the moving body for a certain time is obtained, the moving distance can be further obtained by integrating the value of the speed, and the scroll amount can be determined.

しかし、加速度から移動体の移動距離を求めるには、時間による2重積分を行わなければならないので、応答性が遅れたり、累積誤差が生じやすくなったりする。また、加速度センサは、角速度センサに比べ重力加速度の影響を受けやすいので、これによっても誤差が生じるおそれがある。上述したように、腕の動きを検出するためには、角速度を検出できればよい。そこで、本発明では、移動量を検出する手段として角速度センサを用いている。
角速度によりスクロール量を求めると、数2のようになる。
However, in order to obtain the moving distance of the moving body from the acceleration, it is necessary to perform double integration by time, so that responsiveness is delayed or an accumulated error is likely to occur. In addition, the acceleration sensor is more susceptible to gravitational acceleration than the angular velocity sensor, which may cause an error. As described above, it is only necessary to detect the angular velocity in order to detect the movement of the arm. Therefore, in the present invention, an angular velocity sensor is used as means for detecting the movement amount.
When the scroll amount is obtained from the angular velocity, the following formula 2 is obtained.

角速度センサは、主に電子機器等の手ぶれによる振動を検出するために使用されている。手ぶれによる振動は波長の短い高周波である。手ぶれによる振動を検出する際には、例えばハイパスフィルタ等により低周波をカットし高周波のみを出力させる。温度ドリフトによる出力は低周波であるためカットされる。このため、手ぶれによる振動を検出する際には、温度ドリフトによる誤作動の問題は生じない。 Angular velocity sensors are mainly used to detect vibrations caused by camera shake in electronic devices and the like. Vibration due to camera shake is a high frequency with a short wavelength. When vibration due to camera shake is detected, for example, a low frequency is cut by a high-pass filter or the like and only the high frequency is output. The output due to temperature drift is cut because it has a low frequency. For this reason, when detecting vibration due to camera shake, there is no problem of malfunction due to temperature drift.

本発明に係る角速度センサが検知する動作は、ユーザが表示部を目で追いながら装置を移動させる動作であり、波長の長い低周波である。したがって、装置を移動させる動作は、上記の温度ドリフトによる低周波と互いに影響しあうこととなる。   The operation detected by the angular velocity sensor according to the present invention is an operation in which the user moves the apparatus while following the display unit, and is a low frequency with a long wavelength. Therefore, the operation of moving the apparatus interacts with the low frequency due to the temperature drift.

本発明によれば、装置が静止状態にあるときの角速度センサの出力を比較することによって温度ドリフトの値を抽出することができ、この値をもとに、角速度センサの出力を補償することができる。   According to the present invention, the value of the temperature drift can be extracted by comparing the output of the angular velocity sensor when the apparatus is in a stationary state, and the output of the angular velocity sensor can be compensated based on this value. it can.

本発明では、ある温度で静止状態にある装置の角速度センサの出力を予め記憶する。そして、例えば別の温度で静止状態にある装置の角速度センサの出力を検出する。検出された出力と、予め記憶した角速度センサの出力とを比較すると、温度ドリフトによって変化した基準値の差が抽出される。装置を移動させたときの角速度センサの出力は、移動による出力と、温度ドリフトによる出力とを重ね合わせたものである。抽出された基準値の差は温度ドリフトによる出力に相当する。したがって装置を移動させたときの角速度センサの出力から抽出された基準値の差を除去することにより、移動による出力のみを求めることができる。このドリフト分の角速度をΔωkとすると、補正後のスクロール量は数3のようになる。   In the present invention, the output of the angular velocity sensor of the device that is stationary at a certain temperature is stored in advance. Then, for example, the output of the angular velocity sensor of the device that is stationary at another temperature is detected. When the detected output is compared with the output of the angular velocity sensor stored in advance, the difference between the reference values changed due to the temperature drift is extracted. The output of the angular velocity sensor when the apparatus is moved is a superposition of the output from the movement and the output from the temperature drift. The difference between the extracted reference values corresponds to the output due to temperature drift. Therefore, by removing the difference between the reference values extracted from the output of the angular velocity sensor when the apparatus is moved, only the output due to movement can be obtained. Assuming that the angular velocity of this drift is Δωk, the scroll amount after correction is as shown in Equation 3.

これにより、角速度センサの温度ドリフトによって表示部に表示された画像が勝手にスクロールするという誤作動は生じない。
ここで、上記の電子機器装置において、静止状態検出手段が、当該電子機器装置の所定の方向に対する速度成分及び変位成分を検出するために用いられる加速度センサであることが好ましい。
Thereby, the malfunction that the image displayed on the display part scrolls arbitrarily by the temperature drift of an angular velocity sensor does not arise.
Here, in the electronic apparatus device described above, it is preferable that the stationary state detection unit is an acceleration sensor used to detect a velocity component and a displacement component with respect to a predetermined direction of the electronic apparatus device.

一般に、角速度センサは直線の動作に対する感度が不十分である。一方、加速度センサは、直線上の動作であっても移動の際の加速度を検出することができる。加速度センサは絶対運動の検出に適しているので、装置の直線的な移動を検出すると同時に、装置が移動していない静止状態も検出することができる。これにより、静止状態を検出するセンサを別途設ける必要がなく、処理系の複雑化を避けることができ、効率的な処理が可能となる。   In general, the angular velocity sensor is not sufficiently sensitive to linear motion. On the other hand, the acceleration sensor can detect the acceleration at the time of movement even if it is a linear motion. Since the acceleration sensor is suitable for detecting absolute motion, it can detect a linear movement of the apparatus and a stationary state where the apparatus is not moving. Thereby, it is not necessary to separately provide a sensor for detecting the stationary state, the processing system can be prevented from becoming complicated, and efficient processing can be performed.

これに対し、角速度センサは相対的運動の検出に適しているので、手、腕の移動量を検出することができる。加速度センサを主として用いた場合、角速度センサを主として用いた場合と比較して、応答性が悪く、積分の際の累積誤差が大きくなってしまう。しかし、角速度センサでは検知不十分な直線の動作に関してのみ加速度センサで検知させるものとすると、応答性が悪くなるのを抑えることができ、スクロールの反応が鈍くなることを防止できる。本発明では、加速度センサを角速度センサの補助として用いることで、直線の動作に対する感度も十分となり、装置の移動をより確実に検知することができる。
本発明は、電子機器装置ばかりでなく、広く信号補償装置に適用できるし、信号補償方法として把握することも可能である。
On the other hand, since the angular velocity sensor is suitable for detecting relative motion, it is possible to detect the amount of movement of the hand and arm. When the acceleration sensor is mainly used, compared with the case where the angular velocity sensor is mainly used, the responsiveness is poor and the accumulated error at the time of integration becomes large. However, if the acceleration sensor detects only a linear motion that is insufficiently detected by the angular velocity sensor, it is possible to suppress the deterioration of the responsiveness and to prevent the scroll reaction from becoming dull. In the present invention, by using the acceleration sensor as an auxiliary to the angular velocity sensor, the sensitivity to the linear operation becomes sufficient, and the movement of the apparatus can be detected more reliably.
The present invention can be widely applied not only to an electronic apparatus device but also to a signal compensation device, and can be grasped as a signal compensation method.

即ち、本発明の更に別の観点に係る信号補償装置は、ユーザが手に持った状態で空間を移動されることで操作される電子機器装置であって、回転方向の角速度に応じた第1の信号を出力する角速度センサと、静止した状態の前記角速度センサが出力する第2の信号のデータを角速度算出用の基準値として予め記憶する記憶手段と、前記装置の空間内での静止状態を検出するための加速度センサと、前記加速度センサの単位時間あたりの出力電圧の変位に基づいて静止状態が検出されると、その時の前記角速度センサが出力する第1の信号のデータを用いて、前記第1の信号を補償するための新たな基準値を算出する算出手段とを具備することを特徴とするものである。   That is, a signal compensation device according to still another aspect of the present invention is an electronic device device that is operated by being moved in space while being held by a user's hand, and is a first device corresponding to an angular velocity in a rotation direction. An angular velocity sensor that outputs a signal of the above, a storage means that preliminarily stores data of a second signal output by the angular velocity sensor in a stationary state as a reference value for angular velocity calculation, and a stationary state in the space of the device When the stationary state is detected based on the acceleration sensor for detecting and the displacement of the output voltage per unit time of the acceleration sensor, the data of the first signal output by the angular velocity sensor at that time is used. And a calculating means for calculating a new reference value for compensating the first signal.

本発明の別の観点に係る信号補償方法は、ユーザが手に持った状態で空間を移動されることで操作される電子機器装置における信号補償方法であって、角速度センサから出力される第1の信号を読み取る工程と、静止した状態の前記角速度センサが出力する第2の信号のデータを角速度算出用の基準値として予め記憶手段に記憶させる工程と、加速度センサの単位時間あたりの出力電圧の変位に基づいて前記装置の空間内での静止状態を検出する工程と、前記静止状態が検出されると、その時の前記角速度センサが出力する第1の信号のデータを用いて、前記第1の信号を補償するための新たな基準値を算出する工程とを具備することを特徴とするものである。   A signal compensation method according to another aspect of the present invention is a signal compensation method in an electronic apparatus that is operated by moving in space while being held by a user's hand, and is a first signal output from an angular velocity sensor. A step of reading the signal of the second sensor, a step of preliminarily storing the second signal data output from the angular velocity sensor in a stationary state in the storage means as a reference value for calculating the angular velocity, and an output voltage per unit time of the acceleration sensor. A step of detecting a stationary state in the space of the device based on a displacement, and when the stationary state is detected, the first signal data output from the angular velocity sensor at that time is used to detect the first state. And a step of calculating a new reference value for compensating the signal.

以上説明したように、本発明によれば、重力加速度の影響を受けずに装置の移動量を検出することができるとともに、角速度センサの温度ドリフトによる誤作動をも防止することができる。   As described above, according to the present invention, it is possible to detect the amount of movement of the apparatus without being affected by gravitational acceleration, and to prevent malfunction due to temperature drift of the angular velocity sensor.

本発明の一実施形態に係る表示装置の外観を示す斜視図である。It is a perspective view which shows the external appearance of the display apparatus which concerns on one Embodiment of this invention. 同実施形態に係る表示装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the display apparatus which concerns on the same embodiment. 同実施形態に係る表示装置に用いられる角速度センサの斜視図である。It is a perspective view of the angular velocity sensor used for the display apparatus which concerns on the same embodiment. 同実施形態に係る表示装置に用いられる角速度センサの出力グラフである。It is an output graph of the angular velocity sensor used for the display apparatus concerning the embodiment. 同実施形態に係る表示装置に用いられる加速度センサの斜視図である。It is a perspective view of the acceleration sensor used for the display apparatus which concerns on the same embodiment. 同実施形態に係る表示装置の一部を示す斜視図である。It is a perspective view which shows a part of display apparatus which concerns on the same embodiment. 温度ドリフト補償の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of temperature drift compensation. 温度ドリフト補償の原理を示す図である。It is a figure which shows the principle of temperature drift compensation. 表示装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a display apparatus. 表示装置に表示される初期画面の一例を示す図である。It is a figure which shows an example of the initial screen displayed on a display apparatus. 表示装置に表示される金額提示画面の一例を示す図である。It is a figure which shows an example of the money amount presentation screen displayed on a display apparatus. 表示装置に表示されたコンテンツ画像の一例を示す図である。It is a figure which shows an example of the content image displayed on the display apparatus. 表示装置に表示されたコンテンツ画像の他の例を示す図である。It is a figure which shows the other example of the content image displayed on the display apparatus.

以下、本発明の実施の形態を図面に基づき説明する。
(表示装置)
図1及び図2をもとにして、本発明に係る電子機器装置の一例である表示装置について説明する。
図1は、本発明の一実施形態に係る電子機器装置の斜視図である。図2は、この表示装置のハードウェア構成を示すブロック図である。
図1に示すように、表示装置1は、例えばユーザが片手で持てるような大きさの筐体2を有する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Display device)
A display device, which is an example of an electronic apparatus device according to the present invention, will be described with reference to FIGS.
FIG. 1 is a perspective view of an electronic device according to an embodiment of the present invention. FIG. 2 is a block diagram showing a hardware configuration of the display device.
As shown in FIG. 1, the display device 1 includes a housing 2 that is large enough to be held by a user with one hand, for example.

筐体2の前面2aには、スピーカ4、マイク5、リセットボタン10が設けられ、更に、OKボタン7a、Undoボタン7b、及びカメラキャプチャーボタン7cが設けられた操作部7、例えばスティック状の記憶媒体8が着脱自在に装着される装着部9が設けられている。
筐体2の背面2bには、カメラ3が設けられている。カメラ3は例えばCCDカメラにより構成される。
On the front surface 2a of the housing 2, a speaker 4, a microphone 5, and a reset button 10 are provided, and an operation unit 7 provided with an OK button 7a, an Undo button 7b, and a camera capture button 7c, for example, a stick-shaped memory A mounting portion 9 to which the medium 8 is detachably mounted is provided.
A camera 3 is provided on the back surface 2 b of the housing 2. The camera 3 is constituted by a CCD camera, for example.

筐体2の側面2cには、表示部6が設けられている。表示部6は、例えばカラー液晶表示装置により構成される。筐体2の側面2dには、取手部11が設けられている。   A display unit 6 is provided on the side surface 2 c of the housing 2. The display unit 6 is configured by a color liquid crystal display device, for example. A handle portion 11 is provided on the side surface 2 d of the housing 2.

図2に示すように、表示装置1は、メインバス14にCPU15、ROM16、フラッシュ(Flash)メモリ17、RAM18、記憶媒体用インタフェース19、センサインタフェース20の他、各種のインタフェース、例えばTTY(Tele Typewriter)21、NIC(ネットワーク・インターフェース・カード)として、例えばイーサネット(登録商標)ボード(Ethernet(登録商標) Board)22、イメージプロセッシングユニット(Image Processing Unit)23、Viscaインタフェース(Visca Interface)24、VGAボード(VGA Board)25、オーディオビデオインタフェース(Audio&Video Interface)26を接続して構成される。CPU15は、この表示装置1全体を統括的に制御するものである。ROM16は、その動作に必要なプログラムを記憶させるために設けられる。必要なプログラムとは、例えば、後述する切り替えスイッチのためのプログラム等である。フラッシュメモリ17は、必要なデータを記憶させるために設けられる。必要なデータとは、後述するように、ある温度における角速度センサの出力等である。RAM18は、処理の際の作業スペースとして用いられる。   As shown in FIG. 2, the display device 1 includes a CPU 15, a ROM 16, a flash memory 17, a RAM 18, a storage medium interface 19, and a sensor interface 20, as well as various interfaces such as TTY (Tele Typewriter). ) 21, NIC (network interface card), for example, an Ethernet (registered trademark) board 22, an image processing unit (Image Processing Unit) 23, a Visca interface (Visca Interface) 24, a VGA board (VGA Board) 25 and audio-video interface (Audio & Video Interface) 26 are connected. Constructed. The CPU 15 controls the display device 1 as a whole. The ROM 16 is provided for storing a program necessary for the operation. The necessary program is, for example, a program for a changeover switch described later. The flash memory 17 is provided for storing necessary data. The necessary data is an output of the angular velocity sensor at a certain temperature, as will be described later. The RAM 18 is used as a work space for processing.

記憶媒体用インタフェース19には装着部9が接続される。装着部9に装着された記憶媒体8との間でデータの通信が行われるようになっている。   The mounting unit 9 is connected to the storage medium interface 19. Data communication is performed with the storage medium 8 attached to the attachment unit 9.

センサインタフェース20には、A/Dコンバータ27、ローパスフィルタ29を介して、角速度センサ12及び加速度センサ13が並列に接続されている。
TTY(Tele Typewriter)21は、上記の操作領域の各種のボタンと接続されている。
An angular velocity sensor 12 and an acceleration sensor 13 are connected in parallel to the sensor interface 20 via an A / D converter 27 and a low-pass filter 29.
A TTY (Tele Typewriter) 21 is connected to various buttons in the operation area.

イーサネット(登録商標)ボード(Ethernet(登録商標) Board)22は、イーサネット(登録商標)に接続可能とするものである。イーサネット(登録商標)を介して例えばサーバに接続され、このサーバを介してインターネットに接続されるようになっている。   An Ethernet (registered trademark) board 22 can be connected to the Ethernet (registered trademark). It is connected to, for example, a server via Ethernet (registered trademark), and is connected to the Internet via this server.

イメージプロセッシングユニット(Image Processing Unit)23にはカメラインタフェース(Camera Interface)28が接続される。カメラインタフェース28には上記のCCDカメラ3が接続されている。CCDカメラ3により接続された画像を表示装置1内に取り込むことが可能であり、これを表示部6に表示することも可能である。   A camera interface (Camera Interface) 28 is connected to the image processing unit (Image Processing Unit) 23. The CCD camera 3 is connected to the camera interface 28. An image connected by the CCD camera 3 can be taken into the display device 1 and can be displayed on the display unit 6.

Viscaインタフェース(Visca Interface)24には外部のパーソナルコンピュータ等が接続される。このインタフェースを介して表示装置1の各種の制御を行うことが可能とされている。   An external personal computer or the like is connected to the Visca interface (Visca Interface) 24. Various controls of the display device 1 can be performed via this interface.

VGAボード(VGA Board)25には上記の表示部6としての液晶表示装置が接続されている。   The liquid crystal display device as the display unit 6 is connected to a VGA board 25.

オーディオビデオインタフェース(Audio&Video Interface)26には、オーディオビデオ系の機器が接続されるようになっている。このインタフェース26を介してオーディオビデオ系の機器からの信号を表示装置1内に取り込んだり、逆にオーディオ信号や画像信号をオーディオビデオ系の機器に出力することができる。   An audio video system (Audio & Video Interface) 26 is connected to an audio video system device. Via this interface 26, a signal from an audio video system device can be taken into the display device 1, and an audio signal or an image signal can be output to the audio video system device.

(角速度センサ及び加速度センサ)
次に、図3から図6をもとにして、表示装置1に設けられる角速度センサ及び加速度センサについて説明する。
(Angular velocity sensor and acceleration sensor)
Next, an angular velocity sensor and an acceleration sensor provided in the display device 1 will be described with reference to FIGS.

図3は、角速度センサについて示したものである。図4は、角速度センサから出力された結果を示すグラフである。図5は、加速度センサについて示したものである。図6は、角速度センサ及び加速度センサの取り付けられる位置を示したものである。   FIG. 3 shows an angular velocity sensor. FIG. 4 is a graph showing the results output from the angular velocity sensor. FIG. 5 shows an acceleration sensor. FIG. 6 shows the positions where the angular velocity sensor and the acceleration sensor are attached.

角速度センサ12は、表示装置1の回転方向の角速度を検知し、電圧として出力する素子であり、例えば、移動検出方向と平行方向の長さが1cm、垂直方向の長さがそれぞれ0.5cm及び0.3cmの直方体の形状である。   The angular velocity sensor 12 is an element that detects an angular velocity in the rotation direction of the display device 1 and outputs it as a voltage. For example, the length in the direction parallel to the movement detection direction is 1 cm, the length in the vertical direction is 0.5 cm, and It is a 0.3 cm rectangular parallelepiped shape.

人間の腕の動きは、ひじや肩を中心とした球面上での動きに近似することができる。図3(a)に示すように、ユーザがこの表示装置1を移動させたとき、例えばひじ28を支点とした球面に沿ったα方向のような動きになる。この腕の動きの速度を検出するためには球面に沿った腕の移動速度、すなわち角速度を検出できれば良いこととなる。一般に、加速度と速度の関係は、以下の式で表される。   The movement of a human arm can be approximated to a movement on a spherical surface centered on the elbow and shoulder. As shown in FIG. 3A, when the user moves the display device 1, for example, the movement is in the α direction along the spherical surface with the elbow 28 as a fulcrum. In order to detect the speed of movement of the arm, it is only necessary to detect the movement speed of the arm along the spherical surface, that is, the angular speed. In general, the relationship between acceleration and speed is expressed by the following equation.

数1から、加速度を検出する例えば後述する加速度センサ等があれば、一定の時間幅tで得られたデータの積分を行うことにより速度を求めることが可能であるとわかる。ある一定時間の表示装置1の移動速度が求まれば、この速度の値を積分することによりさらに移動距離を求めることができ、画面のスクロール量が決定できる。 From Equation 1, it can be seen that if there is an acceleration sensor or the like that detects acceleration, for example, the speed can be obtained by integrating the data obtained in a certain time width t. If the moving speed of the display device 1 for a certain period of time is obtained, the moving distance can be further obtained by integrating the value of this speed, and the scroll amount of the screen can be determined.

しかし、加速度から表示装置1の移動距離を求めるには、時間による2重積分を行わなければならないので、応答性が遅れたり、累積誤差が生じやすくなったりする。上述したように、腕の動きを検出するためには、角速度を検出できればよい。そこで、本発明では、移動量を検出する手段として角速度センサ12を用いている。
角速度により画面のスクロール量を求めると、数2のようになる。
However, in order to obtain the moving distance of the display device 1 from the acceleration, it is necessary to perform double integration by time, so that responsiveness is delayed or an accumulated error is likely to occur. As described above, it is only necessary to detect the angular velocity in order to detect the movement of the arm. Therefore, in the present invention, the angular velocity sensor 12 is used as means for detecting the movement amount.
When the scroll amount of the screen is obtained from the angular velocity, the following equation 2 is obtained.

角速度センサ12は、主に電子機器等の手ぶれによる振動を検出するために使用されている。手ぶれによる振動は波長の短い高周波である。手ぶれによる振動を検出する際には、例えばハイパスフィルタ等により低周波をカットし高周波のみを出力させる。温度ドリフトによる出力は低周波であるためカットされる。このため、手ぶれによる振動を検出する際には、温度ドリフトによる誤作動の問題は生じない。 The angular velocity sensor 12 is mainly used to detect vibration due to camera shake of an electronic device or the like. Vibration due to camera shake is a high frequency with a short wavelength. When vibration due to camera shake is detected, for example, a low frequency is cut by a high-pass filter or the like and only the high frequency is output. The output due to temperature drift is cut because it has a low frequency. For this reason, when detecting vibration due to camera shake, there is no problem of malfunction due to temperature drift.

角速度センサ12が検知する動作は、ユーザが表示部6を目で追いながら表示装置1を移動させる動作であり、波長の長い低周波である。表示装置1を移動させる動作は、温度ドリフトによる低周波と互いに影響しあうこととなる。   The operation detected by the angular velocity sensor 12 is an operation in which the user moves the display device 1 while following the display unit 6 with eyes, and is a low frequency with a long wavelength. The operation of moving the display device 1 interacts with the low frequency due to temperature drift.

ある温度で静止状態にある表示装置1の角速度センサ12の出力を予め記憶する。そして、例えば別の温度で静止状態にある表示装置1の角速度センサ12の出力を検出する。検出された出力と、予め記憶した角速度センサ12の出力とを比較すると、温度ドリフトによって変化した基準値の差が抽出される。装置を移動させたときの角速度センサ12の出力は、移動による出力と、温度ドリフトによる出力とを重ね合わせたものである。抽出された基準値の差は温度ドリフトによる出力に相当する。したがって表示装置1を移動させたときの角速度センサ12の出力から抽出された基準値の差を除去することにより、移動による出力のみを求めることができる。このドリフト分の角速度をΔωkとすると、補正後のスクロール量は数3のようになる。   The output of the angular velocity sensor 12 of the display device 1 that is stationary at a certain temperature is stored in advance. Then, for example, the output of the angular velocity sensor 12 of the display device 1 in a stationary state at another temperature is detected. When the detected output is compared with the output of the angular velocity sensor 12 stored in advance, the difference between the reference values changed due to the temperature drift is extracted. The output of the angular velocity sensor 12 when the apparatus is moved is a superposition of the output from the movement and the output from the temperature drift. The difference between the extracted reference values corresponds to the output due to temperature drift. Therefore, by removing the difference between the reference values extracted from the output of the angular velocity sensor 12 when the display device 1 is moved, only the output due to movement can be obtained. Assuming that the angular velocity of this drift is Δωk, the scroll amount after correction is as shown in Equation 3.

角速度センサ12は、α方向の回転の角速度を検知して電圧として出力する。出力は基準電圧からの変化で示される。例えば、腕の長さが45cmのユーザが表示装置1を0.2秒間で回転角5度回転させたとき、角速度センサ12の変位電圧は約10mVである。また角速度センサ12の基準電圧は約1.5Vである。出力された角速度の値は、図示しない例えばローパスフィルタを通して高周波成分を除去する。高周波成分が除去された出力は、CPU15により、数値積分法によって時間積分が行われ、表示装置1の変位成分が算出されるようになっている。 The angular velocity sensor 12 detects the angular velocity of rotation in the α direction and outputs it as a voltage. The output is shown as a change from the reference voltage. For example, when a user with an arm length of 45 cm rotates the display device 1 at a rotation angle of 5 degrees in 0.2 seconds, the displacement voltage of the angular velocity sensor 12 is about 10 mV. The reference voltage of the angular velocity sensor 12 is about 1.5V. The output angular velocity value removes high frequency components through a low-pass filter (not shown), for example. The output from which the high-frequency component has been removed is time-integrated by the numerical integration method by the CPU 15, and the displacement component of the display device 1 is calculated.

また、角速度センサ12は一の回転方向の角速度のみを検知するものであるため、図3(b)に示すように、二以上の回転方向、例えばα方向、及びβ方向の2方向にまたがる動きを検知する場合は、角速度センサ12をそれぞれの回転軸に応じて設ける必要がある。この場合、角速度センサ12は、表示装置1に加わる角速度のα方向成分、β方向成分を出力する。出力結果は、ローパスフィルタ29を通されてCPU15により数値積分法によって時間積分が行われ、表示装置1のそれぞれの変位成分が算出される。   Further, since the angular velocity sensor 12 detects only the angular velocity in one rotation direction, as shown in FIG. 3B, the movement spans two or more rotation directions, for example, the α direction and the β direction. When detecting the angular velocity, it is necessary to provide the angular velocity sensor 12 according to each rotation axis. In this case, the angular velocity sensor 12 outputs an α direction component and a β direction component of the angular velocity applied to the display device 1. The output result is passed through the low-pass filter 29, and time integration is performed by the CPU 15 by the numerical integration method, and each displacement component of the display device 1 is calculated.

角速度センサ12による検出結果は、例えば図4(a)のようになる。図4(a)に示されたグラフの縦軸は、角速度センサ12の出力電圧(V)であり、横軸は時間(秒)である。この出力結果の波形には、角速度センサ12が検知した表示装置の移動による成分と、手ぶれなどの振動による成分と、角速度センサ12の温度ドリフトによる成分とが含まれている。この結果を、ローパスフィルタ29によって手ぶれ成分である高周波を除去した様子を示すのが図4(b)である。この波形には、角速度センサ12が検知した表示装置の移動による成分、及び角速度センサ12の温度ドリフトによる成分のみが含まれることとなる。この場合表示装置1は、角速度センサ12の出力電圧の値に応じて画像をスクロールさせる。出力電圧は低周波であるから、図4(a)のように手ぶれ等の細かな電圧の変化、すなわち高周波までは検知する必要がない。このような細かな変化をそのまま処理してしまうと、スクロールの際に画像が細かく振動して表示されるため非常に見づらくもなる。そこで、ローパスフィルタ29により不要な高周波を除去するのである。   The detection result by the angular velocity sensor 12 is, for example, as shown in FIG. The vertical axis of the graph shown in FIG. 4A is the output voltage (V) of the angular velocity sensor 12, and the horizontal axis is time (seconds). The waveform of the output result includes a component due to movement of the display device detected by the angular velocity sensor 12, a component due to vibration such as camera shake, and a component due to temperature drift of the angular velocity sensor 12. FIG. 4B shows the result of removing the high frequency, which is a camera shake component, by the low-pass filter 29. This waveform includes only the component due to the movement of the display device detected by the angular velocity sensor 12 and the component due to the temperature drift of the angular velocity sensor 12. In this case, the display device 1 scrolls the image according to the value of the output voltage of the angular velocity sensor 12. Since the output voltage is a low frequency, it is not necessary to detect fine voltage changes such as camera shake as shown in FIG. If such a small change is processed as it is, the image is vibrated finely during scrolling, which makes it very difficult to see. Therefore, unnecessary high frequency is removed by the low-pass filter 29.

加速度センサ13は、ユーザがこの表示装置1を手に持った状態で空間を移動させたとき、2軸方向あるいは3軸方向の加速度を検知して、電圧として出力するする素子である。   The acceleration sensor 13 is an element that detects a biaxial or triaxial acceleration and outputs it as a voltage when the user moves the space while holding the display device 1 in his / her hand.

図5は、例えば加速度センサを3軸方向の加速度を検出するセンサとして用いた場合について示したものである。表示装置1に加わる加速度の縦方向成分、横方向成分、及び前後方向成分を検知し、それぞれの成分ごとに時間積分演算を行って速度成分、変位成分を算出するようになっている。   FIG. 5 shows a case where, for example, an acceleration sensor is used as a sensor for detecting acceleration in three axial directions. A vertical component, a horizontal component, and a longitudinal component of acceleration applied to the display device 1 are detected, and a time integration operation is performed for each component to calculate a velocity component and a displacement component.

また、表示装置1が静止状態となると、表示装置1に加速度が働かず、加速度センサ13による出力電圧は、加速度が加わっていないときの電圧となる。つまり、加速度センサ13の単位時間あたりの出力電圧の変位が0になる。このように、加速度センサ13からの出力が、加速度が加わっていないときの電圧(単位時間あたりの出力電圧の変位が0)になったことを確認することで、表示装置1の静止状態を検知することもできる。これにより、静止状態を検出するセンサを別途設ける必要がなく、処理系の複雑化を避けることができ、効率的な処理が可能となる。
角速度センサ12及び加速度センサ13の算出結果は後述する温度ドリフトの補償、及び画像のスクロールに用いられる。
Further, when the display device 1 is in a stationary state, no acceleration acts on the display device 1, and the output voltage from the acceleration sensor 13 is a voltage when no acceleration is applied. That is, the displacement of the output voltage per unit time of the acceleration sensor 13 becomes zero. Thus, the stationary state of the display device 1 is detected by confirming that the output from the acceleration sensor 13 is the voltage when no acceleration is applied (the displacement of the output voltage per unit time is 0). You can also Thereby, it is not necessary to separately provide a sensor for detecting the stationary state, the processing system can be prevented from becoming complicated, and efficient processing can be performed.
The calculation results of the angular velocity sensor 12 and the acceleration sensor 13 are used for temperature drift compensation and image scrolling, which will be described later.

図6に示すように、表示部6は、裏ぶた6a、フレーム6b、表ぶた6c、液晶装置6d、並びに角速度センサ12及び加速度センサ13から構成される。角速度センサ12は、X方向の移動を検知する角速度センサ12a、Y方向の移動を検知する角速度センサ12b、Z方向の移動を検知する角速度センサ12cの3個が設けられている。角速度センサ12a及び12bは、裏ぶた6aの内側に貼り付けられる。角速度センサ12cは、フレーム6bの外側に貼り付けられる。角速度センサ12は、直方体であり、長手方向の長さが1cmである。角速度センサ12cは長手方向が表示部6の厚さ方向と平行となるように設けられるため、表示部6の内側に設けると、表示部6自体が薄型化する際の妨げとなる。このため角速度センサ12cはフレーム6bの外側に設けられる。   As shown in FIG. 6, the display unit 6 includes a back cover 6a, a frame 6b, a front cover 6c, a liquid crystal device 6d, an angular velocity sensor 12, and an acceleration sensor 13. The angular velocity sensor 12 includes three angular velocity sensors 12a for detecting movement in the X direction, an angular velocity sensor 12b for detecting movement in the Y direction, and an angular velocity sensor 12c for detecting movement in the Z direction. The angular velocity sensors 12a and 12b are affixed inside the back cover 6a. The angular velocity sensor 12c is affixed to the outside of the frame 6b. The angular velocity sensor 12 is a rectangular parallelepiped and has a length in the longitudinal direction of 1 cm. Since the angular velocity sensor 12c is provided so that the longitudinal direction is parallel to the thickness direction of the display unit 6, if the angular velocity sensor 12c is provided inside the display unit 6, the display unit 6 itself becomes an obstacle when the thickness is reduced. For this reason, the angular velocity sensor 12c is provided outside the frame 6b.

加速度センサ13は1個設けられる。1個でX軸方向、Y軸方向、Z軸方向の移動を十分に検出できる。加速度センサ13は、角速度センサ12a及び角速度センサ12bと近接して設けることが好ましいが、これらと距離をおいて設けても勿論構わない。角速度センサ12及び加速度センサ13はローパスフィルタ29、A/Dコンバータ27を介して、CPU15と接続される。
(処理工程)
次に、図7及び図8をもとにして、画面がスクロールするための処理について説明する。
One acceleration sensor 13 is provided. One can sufficiently detect movement in the X-axis direction, the Y-axis direction, and the Z-axis direction. The acceleration sensor 13 is preferably provided close to the angular velocity sensor 12a and the angular velocity sensor 12b, but may be provided at a distance from them. The angular velocity sensor 12 and the acceleration sensor 13 are connected to the CPU 15 via a low pass filter 29 and an A / D converter 27.
(Processing process)
Next, a process for scrolling the screen will be described with reference to FIGS.

図7は、表示装置1が移動してから画面がスクロールするまでのCPU15の処理工程について示したものである。図8は、縦軸が電圧(V)、横軸が温度(℃)とした場合の、角速度センサ12の温度ドリフトについて示したものである。   FIG. 7 shows processing steps of the CPU 15 from when the display device 1 moves until the screen scrolls. FIG. 8 shows the temperature drift of the angular velocity sensor 12 when the vertical axis is voltage (V) and the horizontal axis is temperature (° C.).

図7に示すように、CPU15は、まずユーザによってリセットボタン10が押されたか否かを確認する(ステップ701)。リセットボタン10が押されたならば、ステップ702及びステップ703の工程を省略してステップ704の工程に進む。リセットボタン10が押されていなければ加速度センサ13の出力電圧を読み取る(ステップ702)。そして、表示装置1が静止状態であるかどうかを判別するため、加速度センサ12により加速度を検出する。加速度センサ13の出力が0ならば次のステップに進み、出力が0でなければステップ701及びステップ2の処理を繰り返す(ステップ703)。   As shown in FIG. 7, the CPU 15 first checks whether or not the reset button 10 has been pressed by the user (step 701). If the reset button 10 is pressed, the steps 702 and 703 are omitted and the process proceeds to step 704. If the reset button 10 is not pressed, the output voltage of the acceleration sensor 13 is read (step 702). Then, the acceleration sensor 12 detects acceleration in order to determine whether or not the display device 1 is in a stationary state. If the output of the acceleration sensor 13 is 0, the process proceeds to the next step, and if the output is not 0, the processes of step 701 and step 2 are repeated (step 703).

ユーザによってリセットボタンが押された場合、又は加速度センサ13の出力電圧の変位が0であった場合、CPU15は角速度センサ12の出力電圧を読み取る(ステップ704)。そして、フラッシュメモリ17に記憶しておいた、ある温度の下で静止状態にある角速度センサ12の出力電圧を読み出し(ステップ705)、ステップ704で読み取った角速度センサ12の出力電圧の値からステップ705で読み出した角速度センサ12の出力電圧の値を引いた値を温度ドリフトによるオフセット量として抽出する(ステップ706)。   When the reset button is pressed by the user or when the displacement of the output voltage of the acceleration sensor 13 is 0, the CPU 15 reads the output voltage of the angular velocity sensor 12 (step 704). Then, the output voltage of the angular velocity sensor 12 which is stored in the flash memory 17 in a stationary state at a certain temperature is read (step 705), and the value of the output voltage of the angular velocity sensor 12 read in step 704 is read out in step 705. The value obtained by subtracting the value of the output voltage of the angular velocity sensor 12 read out in (5) is extracted as an offset amount due to temperature drift (step 706).

次に、例えばユーザが表示装置1を移動させたときに角速度センサ12から出力された値を読み取る(ステップ707)。この出力値からステップ706で抽出したオフセット量を減算すると、温度ドリフトによる電圧の変化が除去され、移動による変位が算出される(ステップ708)。この値に基づいて画像をスクロールする指示を出す(ステップ709)。
このようにして処理すれば、温度ドリフトによる動作不良は解消されることとなる。
上記の処理工程について一方向の移動を例にとって原理的に説明する。
Next, for example, the value output from the angular velocity sensor 12 when the user moves the display device 1 is read (step 707). By subtracting the offset amount extracted in step 706 from this output value, the voltage change due to temperature drift is removed, and the displacement due to movement is calculated (step 708). An instruction to scroll the image is issued based on this value (step 709).
By processing in this way, the malfunction due to temperature drift is eliminated.
The above processing steps will be described in principle with an example of movement in one direction.

角速度センサ12は、静止状態で温度が変化した場合、図8のグラフβのように出力する。グラフαは角速度センサ12を一定量移動させたときの出力値を示す。これは、グラフβを電圧軸正方向に平行移動させたものである。このうち例えば20℃のときの出力値をθとしてフラッシュメモリ17等に記憶させておく。   When the temperature changes in a stationary state, the angular velocity sensor 12 outputs as shown by a graph β in FIG. A graph α indicates an output value when the angular velocity sensor 12 is moved by a certain amount. This is obtained by translating the graph β in the positive direction of the voltage axis. Among these, for example, the output value at 20 ° C. is stored in the flash memory 17 or the like as θ.

例えば40℃のときを例にとる。40℃のとき、静止状態での角速度センサ12の出力はβ1である。ここでステップ706の計算を行い、フラッシュメモリ17に記憶された値θを読み出し、β1とθとの差をとると上記温度ドリフトによるオフセット量が抽出される。このときのオフセット量をΔとすると、
Δ=θ−β1
となる。
Take for example the case of 40 ° C. When the temperature is 40 ° C., the output of the angular velocity sensor 12 in a stationary state is β1. Here, the calculation in step 706 is performed, the value θ stored in the flash memory 17 is read, and the difference between β1 and θ is taken, the offset amount due to the temperature drift is extracted. If the offset amount at this time is Δ,
Δ = θ-β1
It becomes.

さらに、40℃のときにユーザが表示装置1を一定量移動させたときの出力値はα1である。ここでステップ707の計算を行い、α1にΔを足すと補償出力が算出される。このときの補償出力をωとすると、
ω=α1+Δ
=α1+(θ−β1)
=α1−β1+θ
Furthermore, the output value when the user moves the display device 1 by a certain amount at 40 ° C. is α1. Here, the calculation in step 707 is performed, and when Δ is added to α1, a compensation output is calculated. If the compensation output at this time is ω,
ω = α1 + Δ
= Α1 + (θ−β1)
= Α1-β1 + θ

なり、補償出力ωは温度に関係なく一定となる。ωからフラッシュメモリ17に記憶しておいたθの値を減算すれば、(α1−β1)が求まる。これが実際の移動による変位となる。したがって、(α1−β1)の値に基づいて画像をスクロールすればよいこととなる。   Thus, the compensation output ω is constant regardless of the temperature. By subtracting the value of θ stored in the flash memory 17 from ω, (α1−β1) is obtained. This is the displacement due to the actual movement. Therefore, the image may be scrolled based on the value of (α1−β1).

つまり実際には、表示装置1が静止状態のグラフβさえ記憶しておけば、実際にユーザがこの表示装置1を利用するときには、一定量表示装置1を移動させたときのある温度での出力電圧(グラフαのある温度における出力電圧)と、グラフβのその温度における出力電圧との差をとることにより、表示装置1の移動のみによる変位が検出できる。よってグラフβは表示装置1の製品出荷時点でデフォルトで記憶されていてもよい。
(使用例)
次に、この表示装置1を用いてコンテンツを購入する際の動作について説明する。
図9はその動作を示すフローチャートである。
That is, in practice, as long as the display device 1 stores only the graph β in a stationary state, when the user actually uses the display device 1, an output at a certain temperature when the display device 1 is moved by a certain amount is used. By taking the difference between the voltage (the output voltage at a certain temperature in the graph α) and the output voltage at that temperature in the graph β, the displacement due only to the movement of the display device 1 can be detected. Therefore, the graph β may be stored by default when the display device 1 is shipped.
(Example of use)
Next, an operation when purchasing content using the display device 1 will be described.
FIG. 9 is a flowchart showing the operation.

表示装置1は、電源が投入されると、表示部6に初期画面を表示する(ステップ901)。図10はそのような初期画面の一例を示す図である。図10に示す表示部6の画面には、例えば「メニュー」、「レストラン」、「デパート」、「映画館」、「飲食店」、「地図」、「絵」、「文字入力」等があり、この画面上には表示されていないが、他の項目が更にこの下に存在し、表示装置1を下方に移動させることで、画面を下方にスクロールして下にある項目も見ることができる。また、現在画面上で選択可能な項目はハイライト表示(図10中符号37)されており、OKボタン7aを押すとハイライト表示された項目37が選択されるようになっている。このようなハイライト表示は例えば画面上に固定され、上記のように画面をスクロールさせて項目の方を移動させることでハイライト表示させたい項目37を選択することができる。   When the power is turned on, the display device 1 displays an initial screen on the display unit 6 (step 901). FIG. 10 shows an example of such an initial screen. The screen of the display unit 6 shown in FIG. 10 includes, for example, “menu”, “restaurant”, “department store”, “movie theater”, “restaurant”, “map”, “picture”, “character input”, and the like. Although not displayed on this screen, other items exist further below this, and by moving the display device 1 downward, the screen can be scrolled downward to see the items below. . Further, items that can be selected on the current screen are highlighted (reference numeral 37 in FIG. 10), and when the OK button 7a is pressed, the highlighted item 37 is selected. Such highlight display is fixed on the screen, for example, and the item 37 to be highlighted can be selected by scrolling the screen and moving the item as described above.

ここで、表示装置1は、当該表示装置1が上下に移動されると(ステップ1102)、この移動に応じて表示部6の画面を例えば上下にスクロールさせる(ステップ1103)。ユーザにより所望の項目例えば「絵」をハイライト表示され、OKボタン7aが押されると(ステップ904)、表示部6に「絵」の選択画面を表示する(ステップ905)。   Here, when the display device 1 is moved up and down (step 1102), the display device 1 scrolls the screen of the display unit 6 up and down, for example, according to the movement (step 1103). When the user highlights a desired item such as “picture” and the OK button 7a is pressed (step 904), a “picture” selection screen is displayed on the display unit 6 (step 905).

ここでも同様に表示装置1は、当該表示装置1が上下左右に移動されると(ステップ906)、この移動に応じて表示部6の画面を例えば上下左右にスクロールさせる(ステップ907)。ユーザにより4つの画像に分割されたそれぞれ提供可能なコンテンツの画像A1、A2、B1、B2から1つの画像が選択されると(ステップ908)、図11に示すように、表示装置1は、表示部6に金額提示画面38を表示する(ステップ909)。この画面38上には、例えばコンテンツの金額を表示する金額表示部39、購入確認ボタン40、複数コンテンツ購入ボタン41がある。複数コンテンツ購入ボタン41を押すと、もう一度初期画面に戻って更に購入するコンテンツを追加することができる。   Similarly, when the display device 1 is moved up, down, left, and right (step 906), the display device 1 scrolls the screen of the display unit 6 up, down, left, and right, for example, according to this movement (step 907). When one image is selected from the images A1, A2, B1, and B2 of the contents that can be provided by the user divided into four images (step 908), as shown in FIG. The amount presentation screen 38 is displayed on the part 6 (step 909). On this screen 38, for example, there are an amount display unit 39 for displaying the amount of content, a purchase confirmation button 40, and a multiple content purchase button 41. When the multi-content purchase button 41 is pressed, it is possible to return to the initial screen again and add content to be purchased.

なお、上記の選択は、例えば4つ画像A1、A2、B1、B2のうち表示画面上で最も大きな面積の画像をハイライト表示させるようにしておき、スクロールにより適宜ハイライト画面を選択し、OKボタン7aでコンテンツを選択すればよい。   In the above selection, for example, among the four images A1, A2, B1, and B2, the image having the largest area on the display screen is highlighted, and the highlight screen is selected as appropriate by scrolling, and OK. What is necessary is just to select a content with the button 7a.

コンテンツの金額の提示に応じてユーザによりコンテンツが選択されると、選択されたコンテンツが例えばサーバからインターネットを介して表示装置1に提供される(ステップ910)。
表示装置1は、例えば図12に示すように表示部6にコンテンツ44を表示する(ステップ911)と共に記憶媒体に記憶する(ステップ912)。
ユーザは表示装置1を適宜移動させることで、表示部6に表示されたコンテンツ44の画像45をスクロールして見ることができる。
When the content is selected by the user in accordance with the presentation of the content amount, the selected content is provided from the server to the display device 1 via the Internet, for example (step 910).
For example, as shown in FIG. 12, the display device 1 displays the content 44 on the display unit 6 (step 911) and stores it in the storage medium (step 912).
The user can scroll the image 45 of the content 44 displayed on the display unit 6 by moving the display device 1 as appropriate.

図13は図10に示した初期画面上の項目から「地図」を選択したときに、表示部6に表示される画像の一例を示している。この状態から、表示装置1を移動させて(ステップ906)、画面を例えば上下左右にスクロールし(ステップ907)、地図上の所定の画像を選択する(ステップ908)と、例えばその領域におけるより詳細な地図を、選択したコンテンツとして表示部6に表示し、記憶媒体8に記憶させることができる。   FIG. 13 shows an example of an image displayed on the display unit 6 when “Map” is selected from the items on the initial screen shown in FIG. 10. From this state, the display device 1 is moved (step 906), the screen is scrolled up and down, left and right, for example (step 907), and a predetermined image on the map is selected (step 908). A simple map can be displayed on the display unit 6 as the selected content and stored in the storage medium 8.

以上の動作において、表示装置1を静止状態にしておいたにもかかわらず角速度センサ12の温度ドリフトにより画像がスクロールしてしまう、といった誤作動の問題が起こることもない。
また、ユーザは、リセットボタン10を押して角速度センサ12の温度ドリフトを補償することもできる。これにより、誤作動が防止されることとなる。
また、角速度センサで装置の移動量を検出することによって、重力加速度の影響を受けずに装置の移動量を検出することができる。
本発明は、以上の実施形態に限定されるものではない。
例えば、上述した実施形態では、コンテンツが画像である場合を説明したが、コンテンツが音楽等であってもよい。
In the above operation, there is no problem of malfunction such that the image is scrolled due to the temperature drift of the angular velocity sensor 12 even though the display device 1 is in a stationary state.
The user can also compensate for the temperature drift of the angular velocity sensor 12 by pressing the reset button 10. Thereby, malfunction is prevented.
Further, by detecting the amount of movement of the apparatus with the angular velocity sensor, the amount of movement of the apparatus can be detected without being affected by gravitational acceleration.
The present invention is not limited to the above embodiment.
For example, in the above-described embodiment, the case where the content is an image has been described, but the content may be music or the like.

また、ユーザが表示装置1を移動させている場合でも、表示部6に表示された画像をスクロールさせたくない場合に、画像がスクロールしないようにする例えば図示しないストップボタンのようなものを設けても良い。
更に、本実施形態では表示装置を例に取り説明したが、角速度センサを使ったあらゆる機器に本発明を適用することが可能である。
In addition, even when the user moves the display device 1, for example, a stop button (not shown) is provided to prevent the image from scrolling when it is not desired to scroll the image displayed on the display unit 6. Also good.
Further, in the present embodiment, the display device has been described as an example. However, the present invention can be applied to any device using an angular velocity sensor.

1…表示装置
2…筐体
6…表示部
10…リセットボタン
12…角速度センサ
13…加速度センサ
45…画像
DESCRIPTION OF SYMBOLS 1 ... Display apparatus 2 ... Housing 6 ... Display part 10 ... Reset button 12 ... Angular velocity sensor 13 ... Acceleration sensor 45 ... Image

Claims (17)

ユーザが手に持った状態で空間を移動されることで操作される電子機器装置であって、
回転方向の角速度に応じた第1の信号を出力する角速度センサと、
静止した状態の前記角速度センサが出力する第2の信号のデータを角速度算出用の基準値として予め記憶する記憶手段と、
ユーザが前記装置を手に持った状態での空間内における当該装置の静止状態を検出するための加速度センサと、
前記加速度センサの単位時間あたりの出力電圧の変位に基づいてユーザが前記装置を手に持った状態での空間内における当該装置の静止状態が検出されると、その時の前記角速度センサが出力する第1の信号のデータを用いて、前記第1の信号を補償するための新たな基準値を算出する算出手段と
を具備することを特徴とする電子機器装置。
An electronic device device that is operated by being moved in space with a user holding it in a hand,
An angular velocity sensor that outputs a first signal corresponding to the angular velocity in the rotational direction;
Storage means for preliminarily storing data of the second signal output from the angular velocity sensor in a stationary state as a reference value for calculating the angular velocity;
An acceleration sensor for detecting a stationary state of the device in a space where the user holds the device;
When the stationary state of the device in the space with the device held by the user is detected based on the displacement of the output voltage per unit time of the acceleration sensor, the angular velocity sensor output at that time is detected. An electronic apparatus comprising: calculating means for calculating a new reference value for compensating the first signal using data of one signal.
請求項1に記載の電子機器装置であって、
前記算出手段は、前記静止状態が検出されたとき、前記角速度センサより出力される第1の信号、及び前記記憶手段により予め記憶された第2の信号のデータを用いて、前記第1の信号を補償するためのデータを算出する
ことを特徴とする電子機器装置。
The electronic device apparatus according to claim 1,
The calculating means uses the first signal output from the angular velocity sensor when the stationary state is detected, and the second signal data stored in advance by the storage means, and uses the first signal. An electronic apparatus device characterized by calculating data for compensating for
請求項2に記載の電子機器装置であって、
前記算出手段は、前記静止状態が検出されたとき角速度センサにより出力される第1の信号と前記記憶手段により予め記憶された第2の信号との差分を、前記第1の信号を補償するためのデータとして算出する
ことを特徴とする電子機器装置。
The electronic device apparatus according to claim 2,
The calculating means compensates for the difference between the first signal output from the angular velocity sensor when the stationary state is detected and the second signal stored in advance by the storage means. An electronic apparatus device characterized by being calculated as data.
請求項1から請求項3のうちいずれか1項に記載の電子機器装置であって、
前記算出手段により算出されたデータに基づき、前記第1の信号を補償する手段
をさらに具備することを特徴とする電子機器装置。
The electronic device apparatus according to any one of claims 1 to 3,
The electronic apparatus apparatus further comprising: means for compensating the first signal based on the data calculated by the calculating means.
請求項4に記載の電子機器装置であって、
前記補償された第1の信号に基づき、空間移動による変位を計算する手段
をさらに具備することを特徴とする電子機器装置。
The electronic device apparatus according to claim 4,
An electronic apparatus apparatus further comprising means for calculating a displacement due to spatial movement based on the compensated first signal.
請求項5に記載の電子機器装置であって、
前記計算された変位に基づき、画像をスクロールするための情報を、画像を表示する側に送る手段
をさらに具備することを特徴とする電子機器装置。
The electronic device device according to claim 5,
An electronic apparatus apparatus further comprising: means for sending information for scrolling the image to the image display side based on the calculated displacement.
請求項6に記載の電子機器装置であって、
前記送られた情報に基づき、画像をスクロールさせて表示する手段
をさらに具備することを特徴とする電子機器装置。
The electronic device apparatus according to claim 6,
An electronic device apparatus further comprising means for scrolling and displaying an image based on the sent information.
請求項5に記載の電子機器装置であって、
前記計算された変位に基づき、画像を操作するための情報を、画像を表示する側に送る手段
をさらに具備することを特徴とする電子機器装置。
The electronic device device according to claim 5,
An electronic apparatus apparatus further comprising: means for sending information for manipulating an image to the image display side based on the calculated displacement.
請求項8に記載の電子機器装置であって、
前記送られた情報に基づき、画像を操作して表示する手段
をさらに具備することを特徴とする電子機器装置。
The electronic device device according to claim 8,
An electronic device apparatus further comprising means for manipulating and displaying an image based on the sent information.
ユーザが手に持った状態で空間を移動されることで操作される電子機器装置であって、
回転方向の角速度に応じた第1の信号を出力する角速度センサと、
静止した状態の前記角速度センサが出力する第2の信号のデータを角速度算出用の基準値として予め記憶する記憶手段と、
ユーザが前記装置を手に持った状態での空間内における当該装置の静止状態を検出するための加速度センサと、
前記加速度センサの単位時間あたりの出力電圧の変位に基づいてユーザが前記装置を手に持った状態での空間内における当該装置の静止状態が検出されると、その時の前記角速度センサが出力する第1の信号のデータを用いて、前記第1の信号を補償するための新たな基準値を算出する算出手段と
を具備することを特徴とする信号補償装置。
An electronic device device that is operated by being moved in space with a user holding it in a hand,
An angular velocity sensor that outputs a first signal corresponding to the angular velocity in the rotational direction;
Storage means for preliminarily storing data of the second signal output from the angular velocity sensor in a stationary state as a reference value for calculating the angular velocity;
An acceleration sensor for detecting a stationary state of the device in a space where the user holds the device;
When the stationary state of the device in the space with the device held by the user is detected based on the displacement of the output voltage per unit time of the acceleration sensor, the angular velocity sensor output at that time is detected. And a calculating means for calculating a new reference value for compensating the first signal using data of one signal.
請求項10に記載の信号補償装置であって、
前記算出手段は、前記静止状態が検出されたとき、前記角速度センサより出力される第1の信号、及び前記記憶手段により予め記憶された第2の信号のデータを用いて、前記第1の信号を補償するためのデータを予め算出する
ことを特徴とする信号補償装置。
The signal compensation device according to claim 10, comprising:
The calculating means uses the first signal output from the angular velocity sensor when the stationary state is detected, and the second signal data stored in advance by the storage means, and uses the first signal. A signal compensator characterized by previously calculating data for compensating for.
請求項11に記載の信号補償装置であって、
前記算出手段は、前記静止状態が検出されたとき角速度センサにより出力される第1の信号と前記記憶手段により予め記憶された第2の信号との差分を、前記第1の信号を補償するためのデータとして算出する
ことを特徴とする信号補償装置。
The signal compensation device according to claim 11, comprising:
The calculating means compensates for the difference between the first signal output from the angular velocity sensor when the stationary state is detected and the second signal stored in advance by the storage means. A signal compensator characterized by being calculated as data of
請求項10から請求項12のうちいずれか1項に記載の信号補償装置であって、
前記算出手段により算出されたデータに基づき、前記第1の信号を補償する手段
をさらに具備することを特徴とする信号補償装置。
The signal compensation device according to any one of claims 10 to 12,
A signal compensation apparatus, further comprising: means for compensating the first signal based on the data calculated by the calculation means.
ユーザが手に持った状態で空間を移動されることで操作される電子機器装置における信号補償方法であって、
角速度センサから出力される第1の信号を読み取る工程と、
静止した状態の前記角速度センサが出力する第2の信号のデータを角速度算出用の基準値として予め記憶手段に記憶させる工程と、
加速度センサの単位時間あたりの出力電圧の変位に基づいてユーザが前記装置を手に持った状態での空間内における当該装置の静止状態を検出する工程と、
ユーザが前記装置を手に持った状態での空間内における当該装置の静止状態が検出されると、その時の前記角速度センサが出力する第1の信号のデータを用いて、前記第1の信号を補償するための新たな基準値を算出する工程と
を具備することを特徴とする信号補償方法。
A signal compensation method in an electronic device apparatus that is operated by being moved in space while being held in a hand,
Reading the first signal output from the angular velocity sensor;
Storing the data of the second signal output by the angular velocity sensor in a stationary state in a storage means in advance as a reference value for calculating the angular velocity;
Detecting a stationary state of the device in a space in a state where the user holds the device based on the displacement of the output voltage per unit time of the acceleration sensor;
When the stationary state of the device in the space where the user holds the device is detected, the first signal is obtained using data of the first signal output by the angular velocity sensor at that time. And a step of calculating a new reference value for compensation.
請求項14に記載の信号補償方法であって、
前記補償データ算出工程は、前記静止状態が検出されたとき角速度センサにより出力される第1の信号、及び前記記憶手段により予め記憶された第2の信号のデータを用いて、前記第1の信号を補償するためのデータを算出する
ことを特徴とする信号補償方法。
The signal compensation method according to claim 14, comprising:
The compensation data calculation step uses the first signal output by the angular velocity sensor when the stationary state is detected, and the second signal data stored in advance by the storage means, and uses the first signal. A signal compensation method, characterized in that data for compensating for is calculated.
請求項15に記載の信号補償方法であって、
前記補償データ算出工程は、前記静止状態が検出されたとき角速度センサにより出力される第1の信号と前記記憶手段により予め記憶された第2の信号との差分を、前記第1の信号を補償するためのデータとして算出する
ことを特徴とする信号補償方法。
The signal compensation method according to claim 15, comprising:
The compensation data calculating step compensates for the difference between the first signal output from the angular velocity sensor when the stationary state is detected and the second signal stored in advance by the storage means. A signal compensation method characterized in that the signal compensation method is calculated as data for performing the processing.
請求項14から請求項16のうちいずれか1項に記載の信号補償方法であって、
前記補償データ算出工程により算出されたデータに基づき、前記第1の信号を補償する工程
をさらに具備することを特徴とする信号補償方法。
A signal compensation method according to any one of claims 14 to 16, comprising:
Compensating the first signal based on the data calculated by the compensation data calculating step, further comprising: a signal compensation method.
JP2010035302A 2002-08-28 2010-02-19 Electronic device apparatus, signal compensation apparatus, and signal compensation method Expired - Fee Related JP4730464B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010035302A JP4730464B2 (en) 2002-08-28 2010-02-19 Electronic device apparatus, signal compensation apparatus, and signal compensation method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002249795 2002-08-28
JP2002249795 2002-08-28
JP2010035302A JP4730464B2 (en) 2002-08-28 2010-02-19 Electronic device apparatus, signal compensation apparatus, and signal compensation method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002274156A Division JP4482269B2 (en) 2002-08-28 2002-09-19 Electronic device apparatus, signal compensation apparatus, and signal compensation method

Publications (2)

Publication Number Publication Date
JP2010164571A JP2010164571A (en) 2010-07-29
JP4730464B2 true JP4730464B2 (en) 2011-07-20

Family

ID=39781839

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008043653A Pending JP2008269577A (en) 2002-08-28 2008-02-25 Electronic apparatus, spatial displacement calculating device and spatial displacement calculating method
JP2008043647A Pending JP2008204464A (en) 2002-08-28 2008-02-25 Electronic equipment device, signal compensating device and signal compensating method
JP2010035302A Expired - Fee Related JP4730464B2 (en) 2002-08-28 2010-02-19 Electronic device apparatus, signal compensation apparatus, and signal compensation method

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2008043653A Pending JP2008269577A (en) 2002-08-28 2008-02-25 Electronic apparatus, spatial displacement calculating device and spatial displacement calculating method
JP2008043647A Pending JP2008204464A (en) 2002-08-28 2008-02-25 Electronic equipment device, signal compensating device and signal compensating method

Country Status (2)

Country Link
JP (3) JP2008269577A (en)
CN (4) CN101256075B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20115250L (en) * 2011-03-14 2012-09-15 Vti Technologies Oy POINTING METHOD, DEVICE AND SYSTEM THEREOF
CN103399651B (en) * 2013-06-19 2016-08-10 江苏惠通集团有限责任公司 The data transmission method for uplink of space mouse, the method for control mouse pointer
JP6337540B2 (en) * 2014-03-18 2018-06-06 リコーイメージング株式会社 Temperature compensation device for sensor output
EP3470776A1 (en) * 2016-06-08 2019-04-17 Sony Corporation Imaging control device and method, and vehicle

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694734A (en) * 1992-03-23 1994-04-08 Taya Eng Kk Drift cancel system and apparatus for angular velocity detecting sensor
JPH0728591A (en) * 1993-05-13 1995-01-31 Toshiba Corp Space manipulation mouse system and space operation pattern input method
JPH0744315A (en) * 1993-05-21 1995-02-14 Sony Corp Input device
JPH0821732A (en) * 1994-07-05 1996-01-23 Data Tec:Kk Attitude, azimuth, and position measuring apparatus
JPH08285621A (en) * 1995-04-14 1996-11-01 Omron Corp Navigation device
JPH10307676A (en) * 1997-05-07 1998-11-17 Ricoh Co Ltd Pen type input device
JPH10332415A (en) * 1997-05-27 1998-12-18 Hitachi Ltd Navigation system
JPH113171A (en) * 1997-06-13 1999-01-06 Ricoh Co Ltd Pen type input device
JPH1144539A (en) * 1997-07-24 1999-02-16 Murata Mfg Co Ltd Signal processor for inertia sensor
JP2001522986A (en) * 1997-10-31 2001-11-20 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Vehicle navigation equipment
JP2002023919A (en) * 2000-07-07 2002-01-25 Olympus Optical Co Ltd Posture detection device and operation input device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0611125B1 (en) * 1993-02-12 2000-11-22 Sony Corporation Electronic zoom control and image stabilization
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
JPH09282086A (en) * 1996-04-16 1997-10-31 Mitsumi Electric Co Ltd Position information input device
JP3560418B2 (en) * 1996-07-15 2004-09-02 株式会社リコー Pen-type input device
JP3111909B2 (en) * 1996-09-27 2000-11-27 松下電器産業株式会社 Mobile phone
JP3780673B2 (en) * 1997-12-11 2006-05-31 株式会社日本自動車部品総合研究所 Angular velocity sensor
JP2000221040A (en) * 1999-02-03 2000-08-11 Murata Mfg Co Ltd Oscillation gyro
US6744420B2 (en) * 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
JP2002007027A (en) * 2000-06-27 2002-01-11 Masanori Idesawa Image information display device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694734A (en) * 1992-03-23 1994-04-08 Taya Eng Kk Drift cancel system and apparatus for angular velocity detecting sensor
JPH0728591A (en) * 1993-05-13 1995-01-31 Toshiba Corp Space manipulation mouse system and space operation pattern input method
JPH0744315A (en) * 1993-05-21 1995-02-14 Sony Corp Input device
JPH0821732A (en) * 1994-07-05 1996-01-23 Data Tec:Kk Attitude, azimuth, and position measuring apparatus
JPH08285621A (en) * 1995-04-14 1996-11-01 Omron Corp Navigation device
JPH10307676A (en) * 1997-05-07 1998-11-17 Ricoh Co Ltd Pen type input device
JPH10332415A (en) * 1997-05-27 1998-12-18 Hitachi Ltd Navigation system
JPH113171A (en) * 1997-06-13 1999-01-06 Ricoh Co Ltd Pen type input device
JPH1144539A (en) * 1997-07-24 1999-02-16 Murata Mfg Co Ltd Signal processor for inertia sensor
JP2001522986A (en) * 1997-10-31 2001-11-20 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング Vehicle navigation equipment
JP2002023919A (en) * 2000-07-07 2002-01-25 Olympus Optical Co Ltd Posture detection device and operation input device

Also Published As

Publication number Publication date
JP2008269577A (en) 2008-11-06
CN101251383A (en) 2008-08-27
CN101256076B (en) 2013-06-12
CN101251382B (en) 2013-04-17
JP2008204464A (en) 2008-09-04
CN101256076A (en) 2008-09-03
JP2010164571A (en) 2010-07-29
CN101251382A (en) 2008-08-27
CN101256075B (en) 2014-02-12
CN101256075A (en) 2008-09-03

Similar Documents

Publication Publication Date Title
JP4482269B2 (en) Electronic device apparatus, signal compensation apparatus, and signal compensation method
US8351910B2 (en) Method and apparatus for determining a user input from inertial sensors
US20120236025A1 (en) Advanced remote control of host application using motion and voice commands
US20060187204A1 (en) Apparatus and method for controlling menu navigation in a terminal
JP4730464B2 (en) Electronic device apparatus, signal compensation apparatus, and signal compensation method
WO2004109386A1 (en) Imaging apparatus
JP2008135075A (en) Electronic apparatus, spatial displacement computing device, and spatial displacement computation method
JP2014199964A (en) Imaging apparatus and image processing apparatus
JP2014053794A (en) Information processing program, information processing apparatus, information processing system, and information processing method
JP2003316502A (en) Terminal equipment and character input method
CN108777763B (en) Photographing method and terminal equipment
EP2808650A1 (en) Portable electronic device
CN109033100A (en) The method and device of content of pages is provided
JPWO2013145491A1 (en) Information processing device
WO2013132885A1 (en) Information processing device, information processing method, and program
JP2004102736A (en) Electronic equipment
JP2004102738A (en) Electronic equipment
EP1533685A1 (en) Handheld device for navigating and displaying data
WO2023217198A1 (en) Method and apparatus for displaying picture on head-mounted display device, and electronic device
CN112985326B (en) Handheld electronic device and control method thereof
CN112771445B (en) Image pickup apparatus
JP4529228B2 (en) Input device and hand-held image recording device
JP2008304966A (en) Portable equipment
JP2011039943A (en) Information processing apparatus, control method and program thereof, and recording medium
JP2003303246A (en) System for providing content, image display, and method of providing content

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100624

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4730464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees