JPH11296191A - Equipment control system - Google Patents

Equipment control system

Info

Publication number
JPH11296191A
JPH11296191A JP10102636A JP10263698A JPH11296191A JP H11296191 A JPH11296191 A JP H11296191A JP 10102636 A JP10102636 A JP 10102636A JP 10263698 A JP10263698 A JP 10263698A JP H11296191 A JPH11296191 A JP H11296191A
Authority
JP
Japan
Prior art keywords
voice
control system
manual operation
manual
device control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10102636A
Other languages
Japanese (ja)
Other versions
JP4028076B2 (en
Inventor
Hiroshi Shibata
浩 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP10263698A priority Critical patent/JP4028076B2/en
Publication of JPH11296191A publication Critical patent/JPH11296191A/en
Application granted granted Critical
Publication of JP4028076B2 publication Critical patent/JP4028076B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an equipment control system by which the disturbance of a user at the time of operation can be prevented even if an operating means controlled by speech and manual operation are mounted. SOLUTION: This equipment control system provided with an operating means controlled by speech and manual operation is installed with an exclusive means 11 for controlling equipment. Since an usable operating means can be limited to only either of speech or manual operation by the equipment control system, the disturbance of a user at the time of operation can be prevented to improve operability.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は機器制御システムに
関し、より詳細には、音声及び手動による複数の操作手
段を備えた機器制御システムに関し、特に車載用機器に
おいて複数の操作手段(本体に取り付けられた手動式ス
イッチ、リモコンを用いた手動式スイッチ、及び音声認
識装置等)を用いる場合に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an equipment control system, and more particularly to an equipment control system having a plurality of voice and manual operation means, and more particularly to a plurality of operation means (mounted on a main body) in a vehicle-mounted apparatus. (E.g., a manual switch using a remote control, a manual switch using a remote control, and a voice recognition device).

【0002】[0002]

【従来の技術及び発明が解決しようとする課題】近年、
音声及び手動による複数の操作手段を備えた機器制御シ
ステムが開発されている。特に、車載用機器の操作に音
声を用いれば、運転者の脇見運転等を抑えることがで
き、安全性の向上を図ることができる。
2. Description of the Related Art In recent years,
A device control system having a plurality of voice and manual operation means has been developed. In particular, if voice is used for operating the vehicle-mounted device, it is possible to suppress the driver's inattentive driving and the like, and to improve safety.

【0003】図9は、複数の操作手段を備えた、従来の
機器制御システムの要部を概略的に示したブロック図で
ある。該機器制御システムでは、手動操作によるリモコ
ン9からの信号を受信する受信手段2、本体に装備され
た本体スイッチ3、及び音声認識処理手段5からの情報
がそれぞれ制御手段7に入力されるようになっており、
これらの情報に基づいて、制御手段7が機器8の制御を
行なうように構成されている。マイク4は使用者10か
ら発声された音声を捕らえるものであり、その音声は音
声認識手段5によってA/D変換された後、音声認識処
理が施される。また、メモリ6には音声認識用のデータ
が格納されている。
FIG. 9 is a block diagram schematically showing a main part of a conventional device control system provided with a plurality of operation means. In the device control system, information from the receiving means 2 for receiving a signal from the remote controller 9 by manual operation, the main body switch 3 provided on the main body, and the voice recognition processing means 5 are input to the control means 7 respectively. Has become
The control means 7 controls the device 8 based on these pieces of information. The microphone 4 captures voice uttered by the user 10, and the voice is subjected to A / D conversion by the voice recognition means 5, and then subjected to voice recognition processing. The memory 6 stores data for voice recognition.

【0004】図9に示したような機器制御システムの場
合、使用者の好みに応じて、音声操作と手動操作とを使
い分けることができ、また音声操作を使用することによ
って視線移動が抑えられるので、特に運転者にとっては
安全性の高いシステムとなっている。
In the case of the device control system as shown in FIG. 9, the voice operation and the manual operation can be selectively used according to the user's preference, and the movement of the line of sight can be suppressed by using the voice operation. , Especially for the driver.

【0005】しかしながら、上記機器制御システムの場
合、音声操作と手動操作との操作手順は基本的には異な
っており、また音声操作と手動操作とを適切に連動させ
るような構成にはなっていない。そのため一連の操作時
に、例えばナビゲーションシステムを利用して「渋滞情
報」を入手するための操作時に、音声による操作と手動
による操作との両操作を行なうと、適切な機器操作を行
なうことができず、使用者を混乱させてしまう虞れがあ
る。
[0005] However, in the case of the device control system described above, the operation procedure between the voice operation and the manual operation is basically different, and the structure is not such that the voice operation and the manual operation are appropriately linked. . Therefore, during a series of operations, for example, when performing an operation for obtaining "congestion information" using a navigation system, if both operations by voice and manual operations are performed, appropriate device operations cannot be performed. However, there is a possibility that the user will be confused.

【0006】本発明は上記課題に鑑みなされたものであ
って、音声及び手動による操作手段を装備していたとし
ても、操作時における使用者の混乱を避けることがで
き、かつ使い勝手の良い機器制御システムを提供するこ
とを目的としている。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and even when equipped with voice and manual operation means, it is possible to avoid confusion of a user at the time of operation and to control the device with good usability. It aims to provide a system.

【0007】[0007]

【課題を解決するための手段及びその効果】上記目的を
達成するために本発明に係る機器制御システム(1)
は、音声及び手動による操作手段を備えた機器制御シス
テムにおいて、音声又は手動のいずれかのみによって、
機器の制御を行なうようにするための排他手段を備えて
いることを特徴としている。
Means for Solving the Problems and Their Effects To achieve the above object, a device control system according to the present invention (1)
Is a device control system with voice and manual operation means, by either voice or manual,
It is characterized in that an exclusive means for controlling the device is provided.

【0008】上記機器制御システム(1)によれば、使
用可能な操作手段を音声又は手動のいずれかのみに制限
することができるので、操作時における使用者の混乱を
避けることができ、使い勝手が良い。
According to the device control system (1), usable operation means can be limited to either voice or manual operation, so that confusion of a user at the time of operation can be avoided and usability is improved. good.

【0009】また、本発明に係る機器制御システム
(2)は、音声及び手動による操作手段を備え、該操作
手段から選択された操作命令項目に基づいて機器の制御
を行なう機器制御システムにおいて、音声操作による操
作命令項目が手動操作による操作命令項目よりもより最
終的な操作命令項目で構成され、手動操作による階層数
よりも音声操作による階層数が少ないものとなっている
ことを特徴としている。
A device control system (2) according to the present invention includes a voice and manual operation means, and controls the device based on an operation command item selected from the operation means. It is characterized in that the operation command item by operation is constituted by a more final operation command item than the operation command item by manual operation, and the number of layers by voice operation is smaller than the number of layers by manual operation.

【0010】上記機器制御システム(2)によれば、音
声操作による操作命令項目が手動操作による操作命令項
目よりもより最終的な操作命令項目で構成されているの
で、音声操作によって機器の制御をよりダイレクトに行
なうことができるようになる。
[0010] According to the device control system (2), since the operation command item by voice operation is constituted by a more final operation command item than the operation command item by manual operation, control of the device by voice operation is performed. It can be performed more directly.

【0011】例えば、オーディオ操作として、CDを聴
いていてFMラジオの「FM大阪」に切り替える場合
に、『エフエムオーサカ』と発声するだけで、ダイレク
トにFMラジオの「FM大阪」に切り替えることができ
る。
For example, as an audio operation, when switching to "FM Osaka" of FM radio while listening to a CD, it is possible to directly switch to "FM Osaka" of FM radio simply by saying "FM Osaka". .

【0012】また、本発明に係る機器制御システム
(3)は、音声及び手動による操作手段を備え、該操作
手段から選択された操作命令項目に基づいて機器の制御
を行なう機器制御システムにおいて、音声又は手動のい
ずれによっても機器の制御を行なうことができるよう
に、音声操作による操作命令項目と手動操作による操作
命令項目とが共通化されていることを特徴としている。
Further, the equipment control system (3) according to the present invention includes a voice and manual operation means, and controls the equipment based on an operation command item selected from the operation means. Alternatively, an operation instruction item by voice operation and an operation instruction item by manual operation are shared so that the device can be controlled either manually or manually.

【0013】上記機器制御システム(3)によれば、音
声操作による操作命令項目と手動操作による操作命令項
目とが共通化され、すなわち操作過程で次に選択できる
操作命令項目が、音声操作と手動操作とで同じになって
いるので、音声による操作手段と手動による操作手段と
の両操作手段を用いて、適切に機器操作を行なうことが
できる。また、リモコンや本体スイッチを見れば操作手
順の分かる手動操作と、音声操作とで操作手順が同じに
なるので、音声操作による操作手順が分からなくなるこ
とをなくすことができる。
[0013] According to the device control system (3), the operation command item by voice operation and the operation command item by manual operation are shared, that is, the operation command item that can be selected next in the operation process is the voice operation and the manual operation item. Since the operation is the same, the device operation can be appropriately performed using both the operation means by voice and the operation means by manual operation. In addition, since the operation procedure is the same between the manual operation that the operation procedure can be understood by looking at the remote control and the main body switch and the voice operation, the operation procedure by the voice operation can be prevented from being lost.

【0014】例えば、オーディオ操作として、CDを聴
いていてFMラジオの「FM大阪」に切り替えを行なう
場合に、ボタン[FM]を押すかわりに、『エフエム』
と発声し、その後、複数のメモリボタンの中から周波数
「85.1MHz 」(FM大阪)がメモリされているメモリボ
タンを押すことによって、FMラジオの「FM大阪」に
切り替えることができる。
For example, as an audio operation, when switching to FM radio "FM Osaka" while listening to a CD, instead of pressing the button [FM], "FM"
Then, by pressing a memory button in which a frequency "85.1 MHz" (FM Osaka) is stored from among a plurality of memory buttons, the FM radio can be switched to "FM Osaka".

【0015】また、本発明に係る機器制御システム
(4)は、音声及び手動による操作手段を備え、該操作
手段から選択された操作命令項目に基づいて機器の制御
を行なう機器制御システムにおいて、音声操作による操
作命令項目と手動操作による操作命令項目とを組み合わ
せて用いるように構成されていることを特徴としてい
る。上記機器制御システム(4)によれば、音声操作に
よる操作命令項目と手動操作による操作命令項目とを組
み合わせて用いるように構成され、すなわち音声操作及
び手動操作それぞれの良い部分を有効に用いることがで
きるように構成されているので、使い勝手が大変良くな
る。
The device control system (4) according to the present invention includes a voice and manual operation means, and controls the device based on an operation command item selected from the operation means. It is characterized in that it is configured to use an operation instruction item by an operation and an operation instruction item by a manual operation in combination. According to the device control system (4), the operation command item by the voice operation and the operation command item by the manual operation are used in combination, that is, the good parts of the voice operation and the manual operation can be effectively used. Since it is configured so that it can be used, usability is very good.

【0016】例えば、ナビゲーションシステムを利用
し、電話番号を入力して目的地を設定する場合に、まず
『デンワバンゴウケンサク』と発声し、続いてリモコン
のテンキーを用いて電話番号を入力し、そして最後に
『モクテキチセッテイ』と発声することによって、目的
地を設定することができる。
For example, when using a navigation system to enter a telephone number to set a destination, first say "Denwabangoukensaku", then enter a telephone number using the numeric keypad on the remote control, and Finally, the destination can be set by saying "Moktekichi setting".

【0017】また、本発明に係る機器制御システム
(5)は、上記機器制御システム(1)〜(4)のいず
れかにおいて、入力音声の大きさに応じて制御量を差別
化するように構成されていることを特徴としている。
Further, the equipment control system (5) according to the present invention is configured such that in any one of the equipment control systems (1) to (4), the control amount is differentiated according to the volume of the input voice. It is characterized by being.

【0018】上記機器制御システム(5)によれば、入
力音声の大きさに応じて制御量を差別化することができ
るので、例えば、ボリューム操作において、大きな声で
『ボリュームアップ』といった場合と小さな声で『ボリ
ュームアップ』といった場合とでは、ボリュームアップ
のレベルを変えることができる。
According to the device control system (5), the control amount can be differentiated in accordance with the volume of the input voice. In the case of "volume up" by voice, the level of volume up can be changed.

【0019】また、本発明に係る機器制御システム
(6)は、上記機器制御システム(1)〜(5)のいず
れかにおいて、終了命令項目が発声されるまで、継続中
の作動を終了させないように構成されていることを特徴
としている。
Further, the equipment control system (6) according to the present invention does not terminate the ongoing operation in any of the equipment control systems (1) to (5) until an end command item is uttered. It is characterized by being constituted.

【0020】上記機器制御システム(6)によれば、終
了命令がなされるまで、作動が終了しないので、例え
ば、操作画面上のカーソルを移動させる場合、まず最初
に『ミギ』と発声すれば、カーソルが右へ移動しはじ
め、次に『ストップ』と発声すればカーソルが止まるよ
うにすることができる。
According to the device control system (6), the operation does not end until a termination command is issued. For example, when the cursor on the operation screen is moved, if "Migi" is first uttered, The cursor can start moving to the right and then say "stop" to stop the cursor.

【0021】また、ボリューム操作についても同様であ
って、まず『ボリュームダウン』と発声すれば、ボリュ
ームが低下しはじめ、次に『ストップ』と発声されるま
で、ボリュームを低下させ続けることができる。
The same is true of the volume operation. When "volume down" is first uttered, the volume starts to decrease, and the volume can be continuously decreased until the next "stop" is uttered.

【0022】また、本発明に係る機器制御システム
(7)は、上記機器制御システム(1)〜(6)のいず
れかにおいて、同音語が連続的に入力されると、その連
続数をカウントし、カウント値に応じて制御量を決定す
るように構成されていることを特徴としている。
Further, the device control system (7) according to the present invention counts the number of consecutive homophone words in any of the above device control systems (1) to (6). , The control amount is determined according to the count value.

【0023】上記機器制御システム(7)によれば、同
音語が連続的に入力されると、その連続数に応じて制御
量を差別化することができるので、例えば、操作画面上
のカーソルを移動させる場合、『ミギ、ミギ、ミギ』と
発声すれば、カーソルを3つ分、右へ移動させることが
できる。
According to the device control system (7), when a homophone is continuously input, the control amount can be differentiated in accordance with the number of consecutive words. In the case of moving, if "Migi, Migi, Migi" is uttered, the cursor can be moved to the right by three.

【0024】また、本発明に係る機器制御システム
(8)は、上記機器制御システム(1)〜(7)のいず
れかにおいて、リモコンを用いて音声を入力し、その音
声情報を機器本体側へ伝達する場合に、FM等の電波を
用いて行なうように構成されていることを特徴としてい
る。
The equipment control system (8) according to the present invention, in any one of the equipment control systems (1) to (7), inputs sound using a remote controller and sends the sound information to the equipment body. It is characterized in that transmission is performed using radio waves such as FM.

【0025】上記機器制御システム(8)によれば、F
M等の電波を用いることによって、空間に障害物等があ
ったとしても、精度良く音声情報を機器本体側へ伝達さ
せることができる。
According to the device control system (8), F
By using radio waves such as M, even if there is an obstacle or the like in the space, audio information can be transmitted to the device body with high accuracy.

【0026】[0026]

【発明の実施の形態】以下、本発明に係る機器制御シス
テムの実施の形態を図面に基づいて説明する。図1は、
実施の形態に係る機器制御システム(1)の要部を概略
的に示したブロック図である。ここでは、図9に示した
機器制御システムと同様の構成については、その説明を
省略する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a device control system according to the present invention will be described below with reference to the drawings. FIG.
FIG. 2 is a block diagram schematically showing a main part of a device control system (1) according to the embodiment. Here, the description of the same configuration as the device control system shown in FIG. 9 is omitted.

【0027】受信手段2、及び本体スイッチ3は排他手
段11を介して制御回路14に接続され、マイク4は排
他手段11を介して音声認識処理手段5に接続され、そ
して音声認識手段5は切替手段12を介して制御回路1
5に接続されている。また、制御手段13は制御回路1
4、及び制御回路15を含んで構成され、受信手段2、
本体スイッチ3、及び音声認識手段5からのデータに基
づいて、機器8の制御を行なうようになっている。
The receiving means 2 and the main body switch 3 are connected to the control circuit 14 via the exclusion means 11, the microphone 4 is connected to the voice recognition processing means 5 via the exclusion means 11, and the voice recognition means 5 is switched. Control circuit 1 via means 12
5 is connected. In addition, the control means 13 controls the control circuit 1
4 and a control circuit 15, and the receiving means 2,
The device 8 is controlled based on data from the main body switch 3 and the voice recognition means 5.

【0028】排他手段11は、音声又は手動のいずれか
のみによって、機器8の制御を行なうようにするための
ものであり、切替手段12からの信号に応じて、手動式
スイッチであるリモコン9、及び本体スイッチ3からの
データを制御手段13に伝達させないように構成されて
いる。
The exclusion means 11 is for controlling the device 8 only by either voice or manual operation. According to a signal from the switching means 12, the remote control 9, which is a manual switch, In addition, data from the main body switch 3 is not transmitted to the control means 13.

【0029】切替手段12の動作を図2に示したフロー
チャートに基づいて説明する。まずステップ1におい
て、音声認識処理手段5からの入力データがあるか否か
を判断する。入力データがあると判断すれば、ステップ
2に移り、手動操作を不可能とするように排他手段11
に信号を出力して、ステップ3に進む。一方、入力デー
タがないと判断すれば、ステップ1に戻る。
The operation of the switching means 12 will be described with reference to the flowchart shown in FIG. First, in step 1, it is determined whether or not there is input data from the voice recognition processing means 5. If it is determined that there is input data, the process proceeds to step 2 and the exclusion unit 11 disables the manual operation.
, And the process proceeds to step 3. On the other hand, if it is determined that there is no input data, the process returns to step 1.

【0030】次にステップ3では、音声認識処理手段5
からの新たな入力データがあるか否かを判断する。入力
データがあると判断すれば、ステップ4に移り、タイマ
tを0にしてステップ5に進む。一方、入力データがな
いと判断すれば、ステップ4を飛ばしてステップ5に進
む。
Next, in step 3, the voice recognition processing means 5
It is determined whether there is new input data from. If it is determined that there is input data, the process proceeds to step 4, the timer t is set to 0, and the process proceeds to step 5. On the other hand, if it is determined that there is no input data, the process skips step 4 and proceeds to step 5.

【0031】ステップ5では、タイマtが所定時間T以
上であるか否かを判断する。所定時間T以上であれば、
ステップ6に移り、手動操作を可能とするように排他手
段11に信号を出力して、ステップ1に戻る。一方、所
定時間T以上でなければ、ステップ3に戻る。
In step 5, it is determined whether or not the timer t is equal to or longer than a predetermined time T. If it is longer than the predetermined time T,
In step 6, a signal is output to the exclusion unit 11 so that manual operation is enabled, and the process returns to step 1. On the other hand, if it is not longer than the predetermined time T, the process returns to the step 3.

【0032】すなわち、切替手段12は音声による操作
が開始されると、リモコン9、及び本体スイッチ3によ
る操作制御ができなくなるように動作し、また音声によ
る操作が所定時間Tのあいだ行なわれないと再びリモコ
ン9、及び本体スイッチ3による操作が可能となるよう
に動作するように構成されている。
That is, the switching means 12 operates so that the operation control by the remote controller 9 and the main body switch 3 cannot be performed when the operation by voice is started, and when the operation by voice is not performed for a predetermined time T. It is configured to operate so that operation by the remote controller 9 and the main body switch 3 is enabled again.

【0033】また、図3に示したように、使用者が操作
することのできる切替スイッチ17を排他手段11に接
続することにより排他手段11を制御し、音声又は手動
のいずれかのみによって機器8の制御を行なうようにす
ることもできる。
As shown in FIG. 3, the exclusion means 11 is controlled by connecting a changeover switch 17 which can be operated by the user to the exclusion means 11, and the device 8 can be operated only by voice or manually. May be controlled.

【0034】また、メモリ16には手動操作による操作
命令項目よりもより最終的な操作命令項目が音声認識用
データとして格納されており、制御回路15は音声認識
処理手段5からの認識データに基づいて機器8の制御を
行なうように構成されている。
The memory 16 stores, as voice recognition data, operation command items which are more final than the operation command items by manual operation, and the control circuit 15 operates based on the recognition data from the voice recognition processing means 5. The device 8 is configured to perform control of the device 8.

【0035】表1にはメモリ16に格納されている音声
認識用データを示し、表2には音声認識用データと該デ
ータに基づいて制御手段13が行なう制御機能とを示し
ている。
Table 1 shows the voice recognition data stored in the memory 16, and Table 2 shows the voice recognition data and the control functions performed by the control means 13 based on the data.

【0036】[0036]

【表1】 [Table 1]

【0037】[0037]

【表2】 [Table 2]

【0038】続いて、オーディオ操作として、CDを聴
いていてFMラジオの「FM大阪」に切り替える場合に
ついて説明する。
Next, a description will be given of a case where, as an audio operation, a user is listening to a CD and switches to "FM Osaka" of FM radio.

【0039】1.リモコン9、又は本体スイッチ3を用
いて、手動操作で行なう場合 第1番目の操作として、ボタン[FM]を押す。これに
よって、オーディオ機能がFMラジオに切り替わる。第
2番目の操作として、複数のメモリボタンの中から周波
数「85.1MHz 」(FM大阪)がメモリされているボタン
を押す。これによって、放送局がFM大阪に切り替わ
る。但し、ここではあらかじめ周波数「85.1MHz 」がメ
モリされているものとする。
1. When performing manual operation using the remote controller 9 or the main body switch 3 As a first operation, the button [FM] is pressed. This switches the audio function to FM radio. As a second operation, the user presses the button storing the frequency “85.1 MHz” (FM Osaka) from among the plurality of memory buttons. As a result, the broadcasting station is switched to FM Osaka. However, here, it is assumed that the frequency “85.1 MHz” is stored in advance.

【0040】2.音声操作で行なう場合 表1、及び表2から明らかなように、より最終的な操作
命令項目を音声認識用データとしてメモリさせておくこ
とによって、『エフエムオーサカ』と発声するだけで、
ダイレクトでFMラジオの「FM大阪」に切り替わる。
2. When performing by voice operation As is clear from Tables 1 and 2, by storing more final operation command items as data for voice recognition, it is possible to merely say "FM Osaka",
Directly switches to FM radio "FM Osaka".

【0041】上記実施の形態に係る機器制御システム
(1)によれば、使用可能な操作手段を音声又は手動の
いずれかのみに制限することができるので、操作時にお
ける使用者の混乱を避けることができ、使い勝手が良
い。また、音声操作による操作命令項目が手動操作によ
る操作命令項目よりもより最終的な操作命令項目で構成
されているので、音声操作によって機器の制御をよりダ
イレクトに行なうことができるようになる。
According to the device control system (1) according to the above-mentioned embodiment, usable operation means can be limited to either voice or manual operation, so that confusion of the user during operation can be avoided. It is easy to use. Further, since the operation command item by voice operation is constituted by a more final operation command item than the operation command item by manual operation, it is possible to directly control the device by voice operation.

【0042】上記オーディオ操作以外の例として、ナビ
ゲーションシステムを利用し、「渋滞情報」を入手する
際の操作について説明する。手動操作では、まず全体の
メニュー画面を開いて、「VICS」画面、及び「文字
情報取得」画面を経た後に、「渋滞情報」を入手すると
いうのが一般的であるが、最終的な操作命令項目である
『ジュウタイジョウホウ』を音声認識用データとして格
納しておくことにより、ダイレクトで「渋滞情報」を入
手することが可能となる。
As an example other than the audio operation described above, an operation for obtaining "traffic congestion information" using a navigation system will be described. In a manual operation, it is common to first open the entire menu screen, and then obtain “congestion information” after passing through a “VICS” screen and a “character information acquisition” screen. By storing the item “Justice information” as voice recognition data, it is possible to directly obtain “congestion information”.

【0043】図4は、実施の形態に係る機器制御システ
ム(2)の要部を概略的に示したブロック図である。こ
こでは、図9に示した機器制御システムと同様の構成に
ついては、その説明を省略する。受信手段2、本体スイ
ッチ3、及び音声認識処理手段5は制御手段19に接続
され、制御手段19は機器8、及び表示手段20に接続
されている。音声認識処理手段5と接続されているメモ
リ18には、手動操作による操作命令項目と同じ操作命
令項目が音声認識用データとして格納されている。
FIG. 4 is a block diagram schematically showing a main part of a device control system (2) according to the embodiment. Here, the description of the same configuration as the device control system shown in FIG. 9 is omitted. The receiving means 2, the main body switch 3, and the voice recognition processing means 5 are connected to the control means 19, and the control means 19 is connected to the device 8 and the display means 20. In the memory 18 connected to the voice recognition processing means 5, the same operation command items as the manual operation items are stored as voice recognition data.

【0044】また、制御手段19は、音声又は手動のい
ずれによっても機器8の制御を行なうことができるよう
に、音声操作による操作命令項目と手動操作による操作
命令項目とが共通化されて構成され、さらに手動(リモ
コン9、本体スイッチ3)又は音声のいずれによって操
作が行なわれたとしても、その操作状況を表示手段20
に表示させるように構成されている。
The control means 19 is configured such that operation command items by voice operation and operation command items by manual operation are shared so that the device 8 can be controlled either by voice or manually. Even if the operation is performed manually (remote control 9, body switch 3) or by voice, the operation status is displayed on display means 20.
Is configured to be displayed.

【0045】表3にはメモリ18に格納されている音声
認識用データを示し、表4には音声認識用データと該デ
ータに基づいて制御手段19が行なう制御機能とを示し
ている。
Table 3 shows the data for voice recognition stored in the memory 18, and Table 4 shows the data for voice recognition and the control functions performed by the control means 19 based on the data.

【0046】[0046]

【表3】 [Table 3]

【0047】[0047]

【表4】 [Table 4]

【0048】続いて、オーディオ操作として、CDを聴
いていてFMラジオの「FM大阪」に切り替える場合に
ついて説明する。
Next, a description will be given of a case where, as an audio operation, a user is listening to a CD and switches to "FM Osaka" of FM radio.

【0049】1.リモコン9、又は本体スイッチ3を用
いて、手動操作のみで行なう場合 第1番目の操作として、ボタン[FM]を押す。これに
よって、オーディオ機能がFMラジオに切り替わる。第
2番目の操作として、複数のメモリボタン(〜の5
つのボタンがあるとする)の中から周波数「85.1MHz 」
(FM大阪)がメモリされているメモリボタンを押
す。これによって、放送局がFM大阪に切り替わる。但
し、ここでは周波数「85.1MHz 」があらかじめメモリボ
タンにメモリされているものとする。
1. When Only Manual Operation is Performed Using Remote Controller 9 or Main Body Switch 3 As a first operation, the button [FM] is pressed. This switches the audio function to FM radio. As a second operation, a plurality of memory buttons (to 5
Frequency "85.1MHz"
Press the memory button where (FM Osaka) is stored. As a result, the broadcasting station is switched to FM Osaka. Here, it is assumed that the frequency “85.1 MHz” is stored in the memory button in advance.

【0050】2.マイク4から入力される音声操作のみ
で行なう場合 第1番目の操作として、『エフエム』と発声する。これ
によって、オーディオ機能がFMラジオに切り替わる。
第2番目の操作として、『メモリーナンバー・ニバン』
と発声することによって、メモリボタンにメモリされ
ている周波数「85.1MHz 」(FM大阪)の放送局に切り
替わる。
2. When Performing Only by Voice Operation Input from Microphone 4 As the first operation, “FM” is uttered. This switches the audio function to FM radio.
As the second operation, "Memory Number Niban"
Is switched to the broadcast station of the frequency "85.1 MHz" (FM Osaka) stored in the memory button.

【0051】3.手動操作と音声操作とで行なう場合
(その1) 第1番目の操作として、ボタン[FM]を押す。第2番
目の操作として、『メモリーナンバー・ニバン』と発声
する。
3. When Performing Manual Operation and Voice Operation (Part 1) As a first operation, a button [FM] is pressed. As a second operation, say "memory number niban".

【0052】4.手動操作と音声操作とで行なう場合
(その2) 第1番目の操作として、『エフエム』と発声する。第2
番目の操作として、複数のメモリボタンの中から周波数
「85.1MHz 」(FM大阪)がメモリされているメモリボ
タンを押す。
4. When Performing by Manual Operation and Voice Operation (Part 2) As the first operation, “FM” is uttered. Second
As a third operation, a memory button in which the frequency “85.1 MHz” (FM Osaka) is stored is pressed from among a plurality of memory buttons.

【0053】上記実施の形態に係る機器制御システム
(2)によれば、音声操作による操作命令項目と手動操
作による操作命令項目とが共通化され、すなわち操作過
程で次に選択できる操作命令項目が、音声操作及び手動
操作で同じになっているので、音声による操作手段と手
動による操作手段との両操作手段を用いたとしても、適
切に機器操作を行なうことができる。また、リモコン9
や本体スイッチ3を見れば操作手順の分かる手動操作
と、音声操作とで操作手順が同じになるので、音声操作
による操作手順が分からなくなることをなくすことがで
きる。また、操作状況を表示手段20に表示させること
によって、表示手段20からも操作過程で次に選択でき
る操作命令項目を認識することができる。
According to the device control system (2) according to the above-described embodiment, the operation command item by voice operation and the operation command item by manual operation are shared, that is, the operation command item that can be selected next in the operation process. In this case, the voice operation and the manual operation are the same, so that the device operation can be appropriately performed even if both the voice operation means and the manual operation means are used. Also, the remote control 9
Since the operation procedure is the same between the manual operation that the operation procedure can be understood by looking at the main body switch 3 and the voice operation, the operation procedure by the voice operation can be prevented from being lost. Further, by displaying the operation status on the display means 20, the operation command item which can be selected next in the operation process can be recognized from the display means 20.

【0054】図5は、実施の形態に係る機器制御システ
ム(3)の要部を概略的に示したブロック図である。こ
こでは、図9に示した機器制御システムと同様の構成に
ついては、その説明を省略する。
FIG. 5 is a block diagram schematically showing a main part of a device control system (3) according to the embodiment. Here, the description of the same configuration as the device control system shown in FIG. 9 is omitted.

【0055】受信手段2、本体スイッチ3、及び音声認
識処理手段5は制御手段22に接続され、制御手段22
は機器8、及び音声出力手段23に接続されている。音
声認識処理手段5と接続されているメモリ21には、手
動操作による操作命令項目と組み合わせて用いられる、
音声操作による操作命令項目が音声認識用データとして
格納されている。
The receiving means 2, the main body switch 3, and the voice recognition processing means 5 are connected to the control means 22.
Is connected to the device 8 and the audio output means 23. The memory 21 connected to the voice recognition processing means 5 is used in combination with an operation command item by a manual operation.
An operation command item by voice operation is stored as voice recognition data.

【0056】また、制御手段22は、音声操作による操
作命令項目と手動による操作命令項目とを組み合わせて
用いるように、さらに必要な操作案内を音声出力手段2
3から行なわせるように構成されている。
Further, the control means 22 provides further necessary operation guidance to the voice output means 2 so that the operation command items by voice operation and the manual operation command items are used in combination.
3 is performed.

【0057】続いて、ナビゲーションシステムを利用
し、電話番号を入力して目的地を設定する場合について
説明する。第1の操作として、『デンワバンゴウケンサ
ク』と発声すると、音声出力手段23より「(リモコン
の)テンキーで電話番号を入力して下さい。」と案内さ
れる。第2の操作として、リモコンのテンキーを操作し
て電話番号を入力し、第3の操作として、『モクテキチ
セッテイ』と発声する。
Next, a case where a destination is set by inputting a telephone number using the navigation system will be described. As a first operation, when "Denwa Bangou Kensaku" is uttered, the voice output means 23 guides the user to "enter a telephone number with the ten keys (on the remote control)." As a second operation, a telephone number is input by operating a ten-key on the remote controller, and as a third operation, "Mokutechi setting" is uttered.

【0058】上記実施の形態に係る機器制御システム
(3)によれば、音声操作及び手動操作それぞれの良い
部分を有効に用いることができるように構成されている
ので、使い勝手が大変良くなる。
According to the device control system (3) according to the above-described embodiment, since the good parts of the voice operation and the manual operation can be effectively used, the usability is greatly improved.

【0059】上記実施の形態に係る機器制御システム
(1)〜(3)のいずれかにおいて、マイク4より入力
された音声の大きさに応じて制御量を差別化するように
構成することによって、例えば、ボリューム操作におい
て、大きな声で『ボリュームアップ』といった場合と小
さな声で『ボリュームアップ』といった場合とでは、ボ
リュームアップのレベルを変えることができる。
In any one of the device control systems (1) to (3) according to the above embodiment, the control amount is differentiated according to the volume of the sound input from the microphone 4, whereby: For example, in the volume operation, the level of volume up can be changed between "loud volume" and "volume up" with a loud voice.

【0060】この動作を図6に示したフローチャートに
基づいて説明する。まず、ステップ11において、『ボ
リュームアップ』と発声された音声量vが所定声量V以
上であるか否かを判断する。音声量vが所定声量V以上
であれば、ステップ12に移り、音声量vに応じてボリ
ュームアップを行なう。一方、音声量vが所定声量V以
上でなければ、ステップ13に移り、所定量だけボリュ
ームアップを行なう。
This operation will be described with reference to the flowchart shown in FIG. First, in step 11, it is determined whether or not the volume v of voice "volume up" is equal to or greater than a predetermined volume V. If the voice volume v is equal to or more than the predetermined voice volume V, the process proceeds to step 12, and the volume is increased according to the voice volume v. On the other hand, if the voice volume v is not equal to or greater than the predetermined voice volume V, the process proceeds to step 13, and the volume is increased by a predetermined volume.

【0061】上記実施の形態に係る機器制御システム
(1)〜(3)のいずれかにおいて、マイク4より終了
命令項目(例えば、『ストップ』)が入力されるまで、
継続中の作動を終了させないように構成することによっ
て、例えば、操作画面上のカーソルを移動させる場合に
おいて、まず最初に『ミギ』と発声すれば、カーソルが
右へ移動しはじめ、次に『ストップ』と発声されるまで
カーソルが停止しないように制御することができる。
In any one of the device control systems (1) to (3) according to the above embodiment, until the end command item (for example, “stop”) is input from the microphone 4
By configuring so that the ongoing operation is not terminated, for example, when moving the cursor on the operation screen, if "Migi" is first spoken, the cursor starts moving to the right and then "Stop" Can be controlled so that the cursor does not stop until "is pronounced.

【0062】この動作を図7に示したフローチャートに
基づいて説明する。但し、フローチャートには、既にカ
ーソルが右移動を開始した後の動作だけを示す。まず、
ステップ21において、音声『ストップ』が入力された
か否かを判断する。入力されていれば、ステップ22に
移り、カーソルの移動を停止させるように制御する。一
方、入力されていなければ、ステップ21に戻る。
This operation will be described with reference to the flowchart shown in FIG. However, the flowchart shows only the operation after the cursor has already started moving rightward. First,
In step 21, it is determined whether or not the voice "stop" has been input. If the input has been made, the process proceeds to step 22, where control is performed to stop the movement of the cursor. On the other hand, if the input has not been made, the process returns to step 21.

【0063】上記実施の形態に係る機器制御システム
(1)〜(3)のいずれかにおいて、マイク4より同音
語が連続的に入力されると、その連続数をカウントし、
カウントしたカウント値に応じて制御量を決定するよう
に構成することによって、例えば、操作画面上のカーソ
ルを移動させる場合において、『ミギ、ミギ、ミギ』と
発声すれば、カーソルを3つ分、右へ移動させることが
できる。
In any one of the device control systems (1) to (3) according to the above-described embodiment, when a homophone is continuously input from the microphone 4, the number of continuations is counted.
By configuring so that the control amount is determined according to the counted value, for example, when moving the cursor on the operation screen, if “Migi, Migi, Migi” is uttered, three cursors are used. You can move it to the right.

【0064】この動作を図8に示したフローチャートに
基づいて説明する。まずステップ31において、マイク
4から入力されたデータDを取り込んで、ステップ32
に移り、データDが『ミギ』データであるか否かを判断
する。『ミギ』であると判断すれば、ステップ34に移
り、カウンタC(初期値は1とする)に1を加えて、ス
テップ31に戻る。一方、『ミギ』でないと判断すれ
ば、ステップ33に移る。
This operation will be described with reference to the flowchart shown in FIG. First, in step 31, the data D input from the microphone 4 is fetched, and in step 32
Then, it is determined whether or not the data D is "Migi" data. If it is determined to be "Migi", the process proceeds to step 34, where 1 is added to the counter C (the initial value is 1), and the process returns to step 31. On the other hand, if it is determined that it is not “Migi”, the process proceeds to Step 33.

【0065】ステップ33では、カウンタCが2以上で
あるか否かを判断する。カウンタCが2以上であれば、
すなわち同音語が連続して入力されていれば、ステップ
35に移り、データDとカウンタCとを制御手段へ出力
する。一方、カウンタCが2以上でなければ、ステップ
36に移り、データDだけを制御手段へ出力する。
In step 33, it is determined whether or not the counter C is 2 or more. If the counter C is 2 or more,
That is, if the homophone is continuously input, the process proceeds to step 35, where the data D and the counter C are output to the control means. On the other hand, if the counter C is not 2 or more, the process proceeds to step 36, and outputs only the data D to the control means.

【0066】上記実施の形態に係る機器制御システムに
おいて、リモコンを用いて音声を入力し、その音声情報
を機器本体側へ伝達する場合に、FM等の電波を用いて
行なうように構成することによって、空間に障害物等が
あったとしても、精度良く音声情報を機器本体側へ伝達
させることができる。また、前記リモコンにディスプレ
イを設けて、音声操作による操作命令項目を表示させる
ことによって、より使い勝手の良いものとすることがで
きる。また、別のディスプレイに操作命令項目を表示さ
せたり、またスピーカを用いて操作命令項目を案内させ
る構成とすることもできる。
In the device control system according to the above-described embodiment, when sound is input using a remote controller and the sound information is transmitted to the device main body side, the sound information is transmitted using radio waves such as FM. Even if there is an obstacle or the like in the space, the voice information can be transmitted to the device body with high accuracy. Further, by providing a display on the remote controller to display operation command items by voice operation, it is possible to make the remote control more user-friendly. Further, a configuration may be adopted in which the operation instruction item is displayed on another display, or the operation instruction item is guided using a speaker.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態に係る機器制御システム
(1)の要部を概略的に示したブロック図である。
FIG. 1 is a block diagram schematically showing a main part of a device control system (1) according to an embodiment of the present invention.

【図2】実施の形態に係る機器制御システム(1)にお
ける切替手段の動作を示したフローチャートである。
FIG. 2 is a flowchart showing an operation of a switching unit in the device control system (1) according to the embodiment.

【図3】別の実施の形態に係る機器制御システムの要部
を概略的に示したブロック図である。
FIG. 3 is a block diagram schematically showing a main part of a device control system according to another embodiment.

【図4】実施の形態に係る機器制御システム(2)の要
部を概略的に示したブロック図である。
FIG. 4 is a block diagram schematically showing a main part of a device control system (2) according to the embodiment.

【図5】実施の形態に係る機器制御システム(3)の要
部を概略的に示したブロック図である。
FIG. 5 is a block diagram schematically showing a main part of a device control system (3) according to the embodiment.

【図6】音声の大きさに応じて制御量を差別化する動作
を示したフローチャートである。
FIG. 6 is a flowchart illustrating an operation of differentiating a control amount according to a loudness of a sound.

【図7】終了命令項目が入力された場合の動作を示した
フローチャートである。
FIG. 7 is a flowchart showing an operation when an end command item is input.

【図8】同音語が連続的に入力された場合の動作を示し
たフローチャートである。
FIG. 8 is a flowchart showing an operation in a case where a homophone is continuously input.

【図9】従来の機器制御システムの要部を概略的に示し
たブロック図である。
FIG. 9 is a block diagram schematically showing a main part of a conventional device control system.

【符号の説明】[Explanation of symbols]

2 受信手段 3 本体スイッチ 4 マイク 5 音声認識処理手段 6、16、18、21 メモリ 7、13、19、22 制御手段 8 機器 9 リモコン 10 使用者 11 排他手段 12 切替手段 14、15 制御回路 17 切替スイッチ 20 表示手段 23 音声出力手段 2 Receiving means 3 Body switch 4 Microphone 5 Voice recognition processing means 6, 16, 18, 21 Memory 7, 13, 19, 22 Control means 8 Equipment 9 Remote control 10 User 11 Exclusive means 12 Switching means 14, 15 Control circuit 17 Switching Switch 20 display means 23 sound output means

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 音声及び手動による操作手段を備えた機
器制御システムにおいて、 音声又は手動のいずれかのみによって、機器の制御を行
なうようにするための排他手段を備えていることを特徴
とする機器制御システム。
1. An apparatus control system provided with voice and manual operation means, wherein said apparatus is provided with exclusive means for controlling the apparatus only by either voice or manual operation. Control system.
【請求項2】 音声及び手動による操作手段を備え、該
操作手段から選択された操作命令項目に基づいて機器の
制御を行なう機器制御システムにおいて、 音声操作による操作命令項目が手動操作による操作命令
項目よりもより最終的な操作命令項目で構成され、手動
操作による階層数よりも音声操作による階層数が少ない
ものとなっていることを特徴とする機器操作システム。
2. An apparatus control system comprising voice and manual operation means for controlling a device based on an operation instruction item selected from the operation means, wherein the operation instruction item by voice operation is an operation instruction item by manual operation. An apparatus operation system comprising a more final operation command item than a manual operation and a smaller number of layers by voice operation than a number of layers by manual operation.
【請求項3】 音声及び手動による操作手段を備え、該
操作手段から選択された操作命令項目に基づいて機器の
制御を行なう機器制御システムにおいて、 音声又は手動のいずれによっても機器の制御を行なうこ
とができるように、音声操作による操作命令項目と手動
操作による操作命令項目とが共通化されていることを特
徴とする機器制御システム。
3. A device control system comprising a voice and manual operation means for controlling a device based on an operation command item selected from the operation means, wherein the device is controlled either by voice or manually. A device control system, wherein operation command items by voice operation and operation command items by manual operation are shared.
【請求項4】 音声及び手動による操作手段を備え、該
操作手段から選択された操作命令項目に基づいて機器の
制御を行なう機器制御システムにおいて、 音声操作による操作命令項目と手動操作による操作命令
項目とを組み合わせて用いるように構成されていること
を特徴とする機器制御システム。
4. An equipment control system comprising voice and manual operation means for controlling an apparatus based on an operation instruction item selected from said operation means, wherein an operation instruction item by voice operation and an operation instruction item by manual operation A device control system configured to be used in combination with the above.
【請求項5】 入力音声の大きさに応じて制御量を差別
化するように構成されていることを特徴とする請求項1
〜4のいずれかの項に記載の機器制御システム。
5. The apparatus according to claim 1, wherein the control amount is differentiated according to the volume of the input voice.
5. The device control system according to any one of Items 4 to 4.
【請求項6】 終了命令項目が発声されるまで、継続中
の作動を終了させないように構成されていることを特徴
とする請求項1〜5のいずれかの項に記載の機器制御シ
ステム。
6. The device control system according to claim 1, wherein the ongoing operation is not terminated until an end command item is uttered.
【請求項7】 同音語が連続的に入力されると、その連
続数をカウントし、カウント値に応じて制御量を決定す
るように構成されていることを特徴とする請求項1〜6
のいずれかの項に記載の機器制御システム。
7. The system according to claim 1, wherein when the same phonetic word is continuously input, the number of continuous voice words is counted, and a control amount is determined according to the count value.
The device control system according to any one of the above items.
【請求項8】 リモコンを用いて音声を入力し、その音
声情報を機器本体側へ伝達する場合に、FM等の電波を
用いて行なうように構成されていることを特徴とする請
求項1〜7のいずれかの項に記載の機器制御システム。
8. The apparatus according to claim 1, wherein a voice is input using a remote controller, and the voice information is transmitted to a device main body using radio waves such as FM. 8. The device control system according to any one of items 7.
JP10263698A 1998-04-14 1998-04-14 Device control system and in-vehicle device Expired - Lifetime JP4028076B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10263698A JP4028076B2 (en) 1998-04-14 1998-04-14 Device control system and in-vehicle device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10263698A JP4028076B2 (en) 1998-04-14 1998-04-14 Device control system and in-vehicle device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006122893A Division JP4171924B2 (en) 2006-04-27 2006-04-27 Equipment control system

Publications (2)

Publication Number Publication Date
JPH11296191A true JPH11296191A (en) 1999-10-29
JP4028076B2 JP4028076B2 (en) 2007-12-26

Family

ID=14332739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10263698A Expired - Lifetime JP4028076B2 (en) 1998-04-14 1998-04-14 Device control system and in-vehicle device

Country Status (1)

Country Link
JP (1) JP4028076B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7572534B2 (en) 2004-09-20 2009-08-11 3M Innovative Properties Company Fuel cell membrane electrode assembly
US8101317B2 (en) 2004-09-20 2012-01-24 3M Innovative Properties Company Durable fuel cell having polymer electrolyte membrane comprising manganese oxide
WO2019131159A1 (en) * 2017-12-27 2019-07-04 ソニー株式会社 Control processing device, control processing method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7572534B2 (en) 2004-09-20 2009-08-11 3M Innovative Properties Company Fuel cell membrane electrode assembly
US7803847B2 (en) 2004-09-20 2010-09-28 3M Innovative Properties Company Fuel cell membrane electrode assembly
US8101317B2 (en) 2004-09-20 2012-01-24 3M Innovative Properties Company Durable fuel cell having polymer electrolyte membrane comprising manganese oxide
WO2019131159A1 (en) * 2017-12-27 2019-07-04 ソニー株式会社 Control processing device, control processing method, and program
JPWO2019131159A1 (en) * 2017-12-27 2021-01-14 ソニー株式会社 Control processing device and control processing method, and program

Also Published As

Publication number Publication date
JP4028076B2 (en) 2007-12-26

Similar Documents

Publication Publication Date Title
JP2847577B2 (en) Cellular telephone controller with synthesized voice feedback for directory number verification and call status
JP4500447B2 (en) System including remotely controlled device and device for remote control based on device voice
EP1560199B1 (en) Multimodal data input
EP1944953A1 (en) Audio output system and method for information processing terminal
JP2004505322A (en) Remote control user interface
US6281883B1 (en) Data entry device
KR100401398B1 (en) A speech-actuated control system for use with a consumer product
JP4171924B2 (en) Equipment control system
JPH11296191A (en) Equipment control system
GB2430116A (en) Hands free device for personal Communications Systems
JP2004294872A (en) Electronic equipment using speech recognition
JPS63171071A (en) Speech controller
JPH05207549A (en) On-vehicle operation switch device
JP4413221B2 (en) Playback device
JP2006205866A (en) System and method for controlling on-vehicle electronic equipment
JP6372078B2 (en) Wireless device and control method thereof
CN213024316U (en) Vehicle-mounted system device
JP2004317548A (en) Portable terminal
JPH0689096A (en) 'karaoke' @(3754/24)orchestration without lyrics device with speech control function
JPS58218238A (en) Transmitter and receiver provided with voice recognizing circuit
JP4152267B2 (en) Input device
KR20020089637A (en) Mobile communication terminal device both remote controller and method same
JPH0727883A (en) Audio/video equipment
JPS62108239A (en) Slide projector device
JPH07253237A (en) Air conditioner

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

EXPY Cancellation because of completion of term