JPH0876965A - Speech recognition system - Google Patents

Speech recognition system

Info

Publication number
JPH0876965A
JPH0876965A JP6213466A JP21346694A JPH0876965A JP H0876965 A JPH0876965 A JP H0876965A JP 6213466 A JP6213466 A JP 6213466A JP 21346694 A JP21346694 A JP 21346694A JP H0876965 A JPH0876965 A JP H0876965A
Authority
JP
Japan
Prior art keywords
user
operator
voice
user terminal
terminal side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6213466A
Other languages
Japanese (ja)
Inventor
Junichi Iwasaki
淳一 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP6213466A priority Critical patent/JPH0876965A/en
Publication of JPH0876965A publication Critical patent/JPH0876965A/en
Pending legal-status Critical Current

Links

Abstract

PURPOSE: To support a user by an operator by calling the operator when the user can not understand a using method for a system and hesitates to execute operation or the like. CONSTITUTION: When a call button 13b on an operation part 13 arranged on a user's terminal 10-1 is depressed by a user, a call request is transmitted from a control part 17 in the terminal 10-1 to a control part 25 in an operator's terminal 20 through a communication line 30-1 and the control part 25 calls an operator and switches a line so as to connect the line to the terminal 10-1. In said state, user's voice inputted from a voice input part 11 in the terminal 10-1 is sent to the terminal 20 and outputted from a voice output part 24 and an operator's voice inputted from a voice input part 21 in the terminal 20 is sent to the terminal 10-1 and outputted from a voice output part 16.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、情報案内装置、自動発
券機等に用いて好適な音声認識システムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice recognition system suitable for use in an information guidance device, an automatic ticket issuing machine and the like.

【0002】[0002]

【従来の技術】近年、利用者との対話のために音声認識
を用いた様々な実用システムが考えられつつある。なか
でも、不特定話者音声認識技術を用いた音声認識システ
ムは、利用者が音声を登録することなく誰でも利用でき
るため、不特定多数の人が利用する情報案内装置、自動
発券機等の社会システムでの実用化に適している。
2. Description of the Related Art In recent years, various practical systems using voice recognition for dialog with a user are being considered. Among them, since the voice recognition system using the unspecified speaker voice recognition technology can be used by anyone without the user having to register the voice, information guidance devices, automatic ticketing machines, etc., used by an unspecified number of people Suitable for practical use in social systems.

【0003】しかしながら、このような音声認識システ
ムを実社会に導入するとなると、利用者がそのシステム
に不慣れであること、音声認識そのものに対する利用者
の理解度が低く、音声認識装置にとって望ましい発声が
得られない場合があり、認識率が低下してしまうこと、
また、現状の音声認識装置では、利用者の音声を常に誤
りなく認識するのが困難であること、といった要因か
ら、音声認識システムの利用価値が低下するという欠点
があった。
However, when such a voice recognition system is introduced into the real world, the user is unfamiliar with the system and the degree of understanding of the voice recognition itself by the user is low, and a desired utterance can be obtained for the voice recognition device. It may not be, and the recognition rate will decrease,
In addition, the current voice recognition device has a drawback that the utility value of the voice recognition system is reduced due to the fact that it is difficult to always recognize the user's voice without error.

【0004】以上の背景から、利用者からの入力手段と
して、音声認識を伴う音声入力手段のみを用いるのでは
なく、タッチパネル等の他の入力手段(操作手段)と併
用して利用できるようにしたシステムや、音声合成技術
を用いた音声出力手段でその利用方法を案内するシステ
ムなどが考えられている。
From the background described above, not only the voice input means accompanied by voice recognition is used as the input means from the user, but it can be used in combination with other input means (operation means) such as a touch panel. A system and a system which guides the usage method by a voice output means using a voice synthesis technique are considered.

【0005】このように、音声認識システムを社会シス
テムにおいて実用化するに当たっては、初めてそのシス
テムを利用する人でも目的が達成できるように実現する
ことが重要な課題となるが、従来のシステムでは、必ず
しもそれを満たしているとはいえなかった。
As described above, in putting a voice recognition system into practical use in a social system, it is an important issue to realize the purpose so that even a person who uses the system for the first time can achieve the purpose. It wasn't always the case.

【0006】[0006]

【発明が解決しようとする課題】上記したように従来の
音声認識システムでは、そのシステムを初めて利用する
人でも必ず目的を達成することができるように実現する
ことは困難であるという問題があった。
As described above, the conventional voice recognition system has a problem that it is difficult to realize it so that even a person who uses the system for the first time can always achieve the purpose. .

【0007】本発明は上記事情を考慮してなされたもの
でその目的は、利用者がシステム(音声認識機能を有す
るユーザ端末)の利用方法が理解できないときや、幾度
も音声入力しても正しく認識されないときに、オペレー
タを呼び出して、オペレータに支援してもらうことが簡
単に行える音声認識システムを提供することにある。
The present invention has been made in consideration of the above circumstances, and an object thereof is to make a correct operation when a user cannot understand how to use a system (user terminal having a voice recognition function) or even if voice input is repeated many times. An object of the present invention is to provide a voice recognition system that can easily call an operator when not recognized and ask the operator to assist the operator.

【0008】本発明の他の目的は、1人のオペレータが
複数のユーザ端末を受け持つことがてきる音声認識シス
テムを提供することにある。本発明の更に他の目的は、
ユーザ端末に対する利用者の利用状況をオペレータから
確実に把握できる音声認識システムを提供することにあ
る。
Another object of the present invention is to provide a voice recognition system in which one operator can handle a plurality of user terminals. Still another object of the present invention is to provide
An object of the present invention is to provide a voice recognition system in which the operator can surely grasp the usage status of a user with respect to a user terminal.

【0009】本発明の更に他の目的は、利用者の要求す
る操作をオペレータが代わりに操作できる音声認識シス
テムを提供することにある。本発明の更に他の目的は、
オペレータを呼び出すことが可能であるか否かを利用者
が判断できる音声認識システムを提供することにある。
Still another object of the present invention is to provide a voice recognition system in which the operator can operate the operation requested by the user instead. Still another object of the present invention is to provide
An object of the present invention is to provide a voice recognition system that enables a user to determine whether or not an operator can be called.

【0010】本発明の更に他の目的は、利用者がシステ
ム利用の目的を達成できないで困っている状態を検出し
てオペレータ呼び出しを自動的にかけることができる音
声認識システムを提供することにある。
Still another object of the present invention is to provide a voice recognition system capable of automatically calling an operator by detecting a state in which the user cannot achieve the purpose of using the system and is in trouble. .

【0011】[0011]

【課題を解決するための手段】本発明の第1の観点に係
る音声認識システムは、利用者との対話を行うための音
声認識機能を有するユーザ端末であって、利用者による
音声入力操作のためのユーザ端末側音声入力手段、この
ユーザ端末側音声入力手段から入力された音声を認識す
る音声認識手段、この音声認識手段の認識結果及び各種
情報を表示するためのユーザ端末側表示手段、利用者に
各種情報を音声で通知するユーザ端末側音声出力手段、
音声とは別の入力操作のためのユーザ端末側操作手段、
及び上記各手段を制御するためのユーザ端末側制御手段
を備えたユーザ端末と、上記ユーザ端末の利用者とオペ
レータが会話をするためのオペレータ端末であって、ユ
ーザ端末側音声入力手段により入力された利用者の音声
入力を聴取するためのオペレータ端末側音声出力手段、
及びオペレータの音声をユーザ端末の利用者に通知する
ためのオペレータ端末側音声入力手段を備えたオペレー
タ端末とを具備することを特徴とするものである。
A voice recognition system according to a first aspect of the present invention is a user terminal having a voice recognition function for carrying out a dialogue with a user, and a voice input operation by the user. User terminal side voice input means, voice recognition means for recognizing voice input from the user terminal side voice input means, user terminal side display means for displaying the recognition result and various information of the voice recognition means, User terminal side voice output means for notifying the person of various information by voice,
User terminal side operation means for input operation other than voice,
And a user terminal provided with a user terminal side control means for controlling each of the above means, and an operator terminal for a user and an operator of the user terminal to have a conversation, which are input by the user terminal side voice input means. Operator terminal side audio output means for listening to the user's audio input,
And an operator terminal equipped with an operator terminal side voice input means for notifying the user of the user terminal of the operator's voice.

【0012】本発明の第2の観点に係る音声認識システ
ムは、上記第1の観点に係る音声認識システムにおける
上記ユーザ端末を複数備えた構成とすると共に、上記オ
ペレータ端末に、複数のユーザ端末の1つを当該オペレ
ータ端末に切り替え接続するためのオペレータ端末側制
御手段を更に備えた構成としたことを特徴とする。
[0012] A voice recognition system according to a second aspect of the present invention comprises a plurality of user terminals in the voice recognition system according to the first aspect, and the operator terminal has a plurality of user terminals. It is characterized by further comprising an operator terminal side control means for switching and connecting one to the operator terminal.

【0013】本発明の第3の観点に係る音声認識システ
ムは、上記第1または第2の観点に係る音声認識システ
ムのオペレータ端末に、ユーザ端末側表示手段の表示内
容をモニタするためのオペレータ端末側表示手段を更に
備えた構成としたことを特徴とする。
A voice recognition system according to a third aspect of the present invention is an operator terminal for monitoring the display content of a user terminal side display means on the operator terminal of the voice recognition system according to the first or second aspect. The present invention is characterized in that the side display means is further provided.

【0014】本発明の第4の観点に係る音声認識システ
ムは、上記第1、第2または第3の観点に係る音声認識
システムのオペレータ端末に、ユーザ端末側操作手段を
用いた利用者による入力操作をオペレータが代行するた
めのオペレータ端末側操作手段を更に備えたことを特徴
とする。
A voice recognition system according to a fourth aspect of the present invention is a voice recognition system according to the first, second or third aspect, wherein an operator terminal of the voice recognition system is input by a user using a user terminal side operation means. It is characterized in that it further comprises an operator terminal side operation means for the operator to act on behalf of the operator.

【0015】本発明の第5の観点に係る音声認識システ
ムは、上記第1、第2、第3または第4の観点に係る音
声認識システムのユーザ端末に、オペレータ端末のオペ
レータとの会話が可能であるか否かの状態を外部出力す
るための状態出力手段を更に備えたことを特徴とする。
A voice recognition system according to a fifth aspect of the present invention enables a user terminal of the voice recognition system according to the first, second, third or fourth aspect to have a conversation with an operator of an operator terminal. It is characterized by further comprising a state output means for externally outputting the state of whether or not.

【0016】本発明の第6の観点に係る音声認識システ
ムは、上記第1、第2、第3、第4または第5の観点に
係る音声認識システムのユーザ端末に、当該ユーザ端末
と利用者との対話が予め定められた時間を超えても終了
しない状態を検出する状態検出手段、及びこの状態検出
手段の状態検出に応じてオペレータ端末に対して、オペ
レータ呼び出しをかけるオペレータ自動呼出手段を更に
備えたことを特徴とする。
A voice recognition system according to a sixth aspect of the present invention is a user terminal of the voice recognition system according to the first, second, third, fourth or fifth aspect, wherein the user terminal and the user. A state detecting means for detecting a state in which the dialogue with the operator does not end even if it exceeds a predetermined time, and an operator automatic calling means for making an operator call to the operator terminal according to the state detection of the state detecting means. It is characterized by having.

【0017】[0017]

【作用】上記第1の観点に係る音声認識システムにおい
ては、利用者の音声入力をオペレータ端末側音声出力手
段を通してオペレータが聴取でき、またオペレータの音
声をオペレータ端末側音声入力手段により入力してユー
ザ端末側音声出力手段を通して利用者に通知できる。こ
のため、利用者がシステム(ユーザ端末)の利用方法を
理解できないときや、幾度も音声入力しても正しく認識
されないときに、オペレータを呼び出して、利用方法が
わからないときはそれを尋ね、また正しく音声が認識さ
れないときには音声入力以外の入力方法を指示してもら
うことによって、利用目的を達成することが可能とな
る。
In the voice recognition system according to the first aspect, the operator can hear the voice input of the user through the voice output means on the operator terminal side, and the voice input by the operator is input by the voice input means on the operator terminal side. The user can be notified through the terminal side audio output means. For this reason, when the user cannot understand how to use the system (user terminal), or when it is not correctly recognized even after repeatedly inputting voice, call the operator and ask if it does not know how to use it. When the voice is not recognized, the purpose of use can be achieved by instructing an input method other than the voice input.

【0018】次に、上記第2の観点に係る音声認識シス
テムにおいては、オペレータ端末の制御手段により、複
数のユーザ端末のうちの1台を選択的にオペレータ端末
に切り替え接続できる。このため、1人のオペレータが
複数のユーザ端末を受け持つことが可能となる。
Next, in the voice recognition system according to the second aspect, one of the plurality of user terminals can be selectively switched and connected to the operator terminal by the control means of the operator terminal. Therefore, one operator can handle a plurality of user terminals.

【0019】次に、上記第3の観点に係る音声認識シス
テムにおいては、利用者とユーザ端末との対話の結果、
ユーザ端末側表示手段に表示される入力音声の認識結果
や各種情報が、オペレータ端末側の表示手段にも表示さ
れる。このため、オペレータは、利用者とユーザ端末と
の対話の状況を、当該表示手段を通して詳細に把握する
ことができる。
Next, in the voice recognition system according to the third aspect, as a result of the dialogue between the user and the user terminal,
The recognition result of the input voice displayed on the display unit on the user terminal side and various information are also displayed on the display unit on the operator terminal side. Therefore, the operator can grasp the state of the dialogue between the user and the user terminal in detail through the display means.

【0020】次に、上記第4の観点に係る音声認識シス
テムにおいては、オペレータ端末側操作手段をオペレー
タが操作することにより、ユーザ端末側操作手段を利用
者が操作したのと同じ効果が得られる。このため、利用
者の要求する入力操作をオペレータがオペレータ端末側
操作手段を用いて代わりに行うことが可能となる。
Next, in the voice recognition system according to the fourth aspect, the operator operates the operator terminal side operation means to obtain the same effect as that of the user operating the user terminal side operation means. . Therefore, the operator can perform the input operation requested by the user by using the operator terminal side operation means instead.

【0021】次に、上記第5の観点に係る音声認識シス
テムにおいては、利用者はオペレータを呼び出すことが
可能であるか否かを、ユーザ端末からの状態出力内容に
より知ることができる。
Next, in the voice recognition system according to the fifth aspect, the user can know whether or not the operator can be called by the contents of the status output from the user terminal.

【0022】次に、上記第6の観点に係る音声認識シス
テムにおいては、利用者がユーザ端末の操作に迷ったり
したために、或いは幾度も音声入力しても正しく認識さ
れなかったために、所定時間を経過してもユーザ端末の
利用目的が達成できなかった場合には、即ち利用者とユ
ーザ端末との対話が所定時間を越えても終了しなかった
場合には、その状態が状態検出手段により検出されて、
オペレータ端末に対して、オペレータ呼び出しが自動的
にかけられる。
Next, in the voice recognition system according to the sixth aspect, the predetermined time is set because the user is confused about the operation of the user terminal or is not correctly recognized even if the voice is input many times. If the purpose of use of the user terminal cannot be achieved even after the elapse of time, that is, if the dialogue between the user and the user terminal does not end within a predetermined time, the state is detected by the state detecting means. Has been
An operator call is automatically made to the operator terminal.

【0023】[0023]

【実施例】以下、本発明の一実施例に係る音声認識シス
テムにつき図面を参照して説明する。図1は、同実施例
を示す音声認識システムのブロック構成図である。
DESCRIPTION OF THE PREFERRED EMBODIMENTS A voice recognition system according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of a voice recognition system showing the same embodiment.

【0024】図1のシステムは、利用者と対話を行って
利用者の要求する情報等を提供する、例えば情報案内装
置としてのn台のユーザ端末10-1〜10-nと、このユ
ーザ端末10-1〜10-nが接続される1台のオペレータ
端末20と、これらユーザ端末10-1〜10-nとオペレ
ータ端末20との間の通信に供される通信回線30-1〜
30-nから構成される。
The system of FIG. 1 interacts with a user to provide information requested by the user, for example, n user terminals 10-1 to 10-n as information guide devices, and the user terminals. One operator terminal 20 to which 10-1 to 10-n are connected, and a communication line 30-1 to be used for communication between these user terminals 10-1 to 10-n and the operator terminal 20.
It consists of 30-n.

【0025】ユーザ端末10-1は音声入力部11、音声
認識部12、操作部13、状態検出部14、表示部1
5、音声出力部16及び制御部17から構成される。音
声入力部11は、利用者が音声入力を行うためのもの
で、マイクロフォン11aを有している。
The user terminal 10-1 includes a voice input unit 11, a voice recognition unit 12, an operation unit 13, a state detection unit 14, and a display unit 1.
5, a voice output unit 16 and a control unit 17. The voice input unit 11 is used by the user to input a voice and has a microphone 11a.

【0026】音声認識部12は、音声入力部11により
入力された音声を認識するためのものである。操作部1
3は、利用者が音声入力以外の入力操作を行うためのも
ので、例えば上下左右のカーソル移動操作等に用いられ
る操作ボタン13a、及び利用者がオペレータ端末20
のオペレータを呼び出すための操作手段として用いられ
るオペレータ呼出ボタン13bを有している。
The voice recognition unit 12 is for recognizing the voice input by the voice input unit 11. Operation part 1
Reference numeral 3 is for the user to perform an input operation other than voice input. For example, the operation button 13a used for cursor up / down / left / right cursor operation, etc.
Has an operator call button 13b used as an operating means for calling the operator.

【0027】状態検出部14は、ユーザ端末10-1に対
する利用者の利用状態を検出するためのもので、例えば
利用者がユーザ端末10-1の前に立ったことを光学的に
検出するセンサ14aを有している。
The state detecting unit 14 is for detecting the use state of the user with respect to the user terminal 10-1, and is a sensor for optically detecting that the user stands in front of the user terminal 10-1. 14a.

【0028】表示部15は、利用者の発声した入力音声
に対する認識結果や、利用者に対する利用案内、利用者
の要求した各種情報等を表示するためのもので、CRT
ディスプレイ、液晶ディスプレイ等のディスプレイ15
aを有している。
The display unit 15 is for displaying the recognition result of the input voice uttered by the user, the usage guidance for the user, various information requested by the user, and the like.
Displays such as displays and liquid crystal displays 15
a.

【0029】音声出力部16は、利用者に対して各種情
報を音声出力するためのもので、例えばスピーカ16a
を有している。制御部17は、ユーザ端末10-1全体を
制御してユーザとの対話を司る機能の他、呼出ボタン1
3bの操作に従う呼出要求、音声入力部11からの入力
音声、及び表示部15の表示内容等をオペレータ端末2
0に伝達する機能を有する。
The voice output unit 16 is for outputting various information to the user by voice, for example, a speaker 16a.
have. The control unit 17 has a function of controlling the entire user terminal 10-1 to control the dialogue with the user, and also has a call button 1
A call request according to the operation of 3b, an input voice from the voice input unit 11, display contents of the display unit 15, and the like are displayed on the operator terminal
It has the function of transmitting to 0.

【0030】他のユーザ端末10-2〜10-nの構成につ
いても、上記したユーザ端末10-1の構成と同様であ
る。オペレータ端末20は、音声入力部21、操作部2
2、表示部23、音声出力部24及び制御部25から構
成される。
The configuration of the other user terminals 10-2 to 10-n is the same as that of the user terminal 10-1 described above. The operator terminal 20 includes a voice input unit 21 and an operation unit 2
2, a display unit 23, a voice output unit 24, and a control unit 25.

【0031】音声入力部21は、オペレータが音声入力
を行うのに用いられるもので、オペレータの音声をユー
ザ端末10-i(i=1〜n)の利用者に通知するための
ものである。
The voice input unit 21 is used by the operator to input voice, and is for notifying the user of the user terminal 10-i (i = 1 to n) of the voice of the operator.

【0032】操作部22は、オペレータ操作に用いられ
るもので、ユーザ端末10-iの利用者の入力操作をオペ
レータが代行するためのものである。表示部23は、オ
ペレータのための表示に用いられるディスプレイ(図示
せず)を有しており、ユーザ端末10-iでの表示内容
(ユーザ端末10-1の例では、表示部15のディスプレ
イ15aに表示されている画面内容)をオペレータがモ
ニタするためのものである。
The operation section 22 is used for operator operation, and is for the operator to perform input operation by the user of the user terminal 10-i. The display unit 23 has a display (not shown) used for display for the operator, and the display content on the user terminal 10-i (in the example of the user terminal 10-1, the display 15a of the display unit 15). The contents of the screen displayed in (1) are monitored by the operator.

【0033】音声出力部24は、オペレータに対する音
声出力に用いられるもので、ユーザ端末10-iの利用者
の音声入力をオペレータが聴取するためのものである。
制御部25は、オペレータ端末20全体を制御する他、
通信回線30-iを制御する。
The voice output unit 24 is used for voice output to the operator, and is for the operator to listen to the voice input of the user of the user terminal 10-i.
The control unit 25 controls the entire operator terminal 20,
Control the communication line 30-i.

【0034】他のユーザ端末10-2〜10-nの構成も、
この図1に示したユーザ端末10-1の構成と同様であ
る。図2は、図1中のユーザ端末10-1の外観を示す。
The configurations of the other user terminals 10-2 to 10-n are also as follows.
The configuration is the same as that of the user terminal 10-1 shown in FIG. FIG. 2 shows the appearance of the user terminal 10-1 in FIG.

【0035】図2に示すように、ユーザ端末10-1の筐
体の前面部には、マイクロフォン11a、操作ボタン1
3a、呼出ボタン13b、センサ14a及びディスプレ
イ15aが設けられている。また、ディスプレイ15a
の表示画面の所定領域には、オペレータ端末20のオペ
レータとの会話が可能であるか否か、即ちオペレータが
待機しているか否かの情報を表示するためのオペレータ
待機表示領域15bが確保されている。他のユーザ端末
10-2〜10-nの筐体外観も、この図2に示したユーザ
端末10-1の筐体外観と同様である。
As shown in FIG. 2, a microphone 11a and an operation button 1 are provided on the front surface of the housing of the user terminal 10-1.
3a, a call button 13b, a sensor 14a, and a display 15a are provided. Also, the display 15a
An operator standby display area 15b for displaying information on whether or not a conversation with the operator of the operator terminal 20 is possible, that is, whether or not the operator is on standby, is secured in a predetermined area of the display screen of There is. The external appearances of the casings of the other user terminals 10-2 to 10-n are the same as the external appearances of the casing of the user terminal 10-1 shown in FIG.

【0036】次に、図1及び図2の構成の動作を説明す
る。まず、利用者が例えばユーザ端末10-1の前に接近
すると、その旨が状態検出部14内のセンサ14aによ
り検出される。すると、状態検出部14から制御部17
に対して、利用者がユーザ端末10-1の前に立ったこと
を示す状態検出通知が送られる。制御部17は、この状
態検出通知を受けて、利用者に対する利用案内(操作案
内)を表示部15及び音声出力部16に送って、ディス
プレイ15aの表示画面上への利用案内表示及びスピー
カ16aからの利用案内音声出力を行わせる。
Next, the operation of the configuration shown in FIGS. 1 and 2 will be described. First, when the user approaches the front of the user terminal 10-1, for example, the fact is detected by the sensor 14a in the state detection unit 14. Then, the state detector 14 to the controller 17
In response, a state detection notification indicating that the user has stood in front of the user terminal 10-1 is sent. Upon receiving the state detection notification, the control unit 17 sends the user guidance (operation guidance) to the display unit 15 and the voice output unit 16, and displays the user guidance on the display screen of the display 15a and the speaker 16a. The user guidance voice output is performed.

【0037】利用者は、表示部15及び音声出力部16
によるディスプレイ15a及びスピーカ16aを用いた
利用案内を見聞きしながら、音声入力部11のマイクロ
フォン11aに向かって音声を発声することにより音声
を入力する。
The user has a display unit 15 and a voice output unit 16.
While listening to and listening to the usage guidance using the display 15a and the speaker 16a, the voice is input by speaking into the microphone 11a of the voice input unit 11.

【0038】マイクロフォン11aから入力された音声
は音声入力部11により音声認識部12に渡される。音
声認識部12は、この入力音声の認識処理を行い、その
認識結果を制御部17に渡す。
The voice input from the microphone 11a is passed to the voice recognition unit 12 by the voice input unit 11. The voice recognition unit 12 performs the recognition process of this input voice and passes the recognition result to the control unit 17.

【0039】制御部17は、音声認識部12の認識結果
や、その認識結果(の示す要求)に従う各種情報を、デ
ィスプレイ15a及びスピーカ16aから出力する。こ
のように利用者は、音声入力によってユーザ端末10-1
と対話を行うことにより目的を達成する。この他、利用
者は、操作ボタン13aを用いて補助的な操作を行うと
か、音声入力の代替としてタッチパネル等の入力手段
(図示せず)を用いて入力操作を行うことによりユーザ
端末10-1と対話を行い、目的を達成することもでき
る。
The control unit 17 outputs the recognition result of the voice recognition unit 12 and various information according to (the request indicated by) the recognition result from the display 15a and the speaker 16a. In this way, the user inputs the voice by inputting the user terminal 10-1
Achieve your goals by interacting with. In addition to this, the user performs an auxiliary operation by using the operation button 13a, or performs an input operation by using an input means (not shown) such as a touch panel as an alternative to the voice input, whereby the user terminal 10-1. You can also interact with and achieve your goals.

【0040】ここで、利用者が(音声認識システムにお
ける)ユーザ端末10-1の利用方法を理解できない場合
や、幾度も音声入力してもユーザ端末10-1(の音声認
識部12)により正しく認識されない場合が生じたと想
定する。
Here, when the user cannot understand how to use the user terminal 10-1 (in the voice recognition system), or even if the voice is input many times, the user terminal 10-1 (the voice recognition unit 12 of the user terminal 10) correctly recognizes it. Suppose that some cases have not been recognized.

【0041】このような場合、利用者はオペレータ端末
20のオペレータを呼び出すために、操作部13の呼出
ボタン13bを押す。呼出ボタン13bが押されたこと
はユーザ端末10-1の制御部17により検出される。制
御部17は、呼出ボタン13bが押されたことを検出す
ると、通信回線30-1を介してオペレータ端末20の制
御部25に呼出要求を伝える。
In such a case, the user presses the call button 13b of the operation unit 13 to call the operator of the operator terminal 20. The pressing of the call button 13b is detected by the control unit 17 of the user terminal 10-1. When the control unit 17 detects that the call button 13b has been pressed, it transmits a call request to the control unit 25 of the operator terminal 20 via the communication line 30-1.

【0042】オペレータ端末20の制御部25は、ユー
ザ端末10-1の制御部17からの呼出要求を受け取る
と、オペレータを呼び出すための所定のメッセージを表
示部23に表示する。この他、当該メッセージを音声に
より音声出力部24から出力するようにしても構わな
い。また制御部25は、オペレータ端末20と接続され
ているn台のユーザ端末10-1〜10-nのうち、呼出要
求元のユーザ端末10-1と接続できるように回線(通信
回線)を切り替える。これにより、オペレータ端末20
のオペレータがユーザ端末10-1からの呼び出しに応じ
ることが可能となり、以下に述べるように、ユーザ端末
10-1の利用者とオペレータ端末20のオペレータとの
間で音声による会話(対話)が行われるようになる。
Upon receiving the call request from the control unit 17 of the user terminal 10-1, the control unit 25 of the operator terminal 20 displays a predetermined message for calling the operator on the display unit 23. Alternatively, the message may be output by voice from the voice output unit 24. Further, the control unit 25 switches the line (communication line) so that it can be connected to the user terminal 10-1 of the call request source among the n user terminals 10-1 to 10-n connected to the operator terminal 20. . Thereby, the operator terminal 20
Of the user terminal 10-1 can respond to the call from the user terminal 10-1, and a voice conversation (dialogue) is performed between the user of the user terminal 10-1 and the operator of the operator terminal 20 as described below. You will be told.

【0043】まず、ユーザ端末10-1からのオペレータ
呼出要求に応じて上記の如く回線切り替えが行われ、オ
ペレータ端末20が当該ユーザ端末10-1に接続された
状態において、利用者がユーザ端末10-1の音声入力部
11(のマイクロフォン11a)より音声を入力する
と、その入力音声(音声信号)はユーザ端末10-1の制
御部17により通信回線30-1を介してオペレータ端末
20の制御部25に送られ、当該制御部25によりオペ
レータ端末20の音声出力部24から出力される。この
結果、オペレータは音声出力部24を通して利用者の音
声を聞くことができる。
First, the line is switched as described above in response to the operator call request from the user terminal 10-1, and the user terminal 10-1 is operated by the user while the operator terminal 20 is connected to the user terminal 10-1. When a voice is input from (the microphone 11a of) the voice input unit 11 of -1, the input voice (voice signal) is controlled by the control unit 17 of the user terminal 10-1 via the communication line 30-1 by the control unit of the operator terminal 20. 25 is output to the voice output unit 24 of the operator terminal 20 by the control unit 25. As a result, the operator can hear the user's voice through the voice output unit 24.

【0044】同様に、オペレータがオペレータ端末20
の音声入力部21より音声を入力すると、その音声(音
声信号)は制御部25により通信回線30-1を介してユ
ーザ端末10-1の制御部17に送られ、当該制御部17
によりユーザ端末10-1の音声出力部16(のスピーカ
16a)から出力される。この結果、利用者は音声出力
部16を通してオペレータの音声を聞くことができる。
Similarly, the operator operates the operator terminal 20.
When a voice is input from the voice input unit 21 of the above, the voice (voice signal) is sent by the control unit 25 to the control unit 17 of the user terminal 10-1 via the communication line 30-1, and the control unit 17 concerned.
Is output from (the speaker 16a of) the audio output unit 16 of the user terminal 10-1. As a result, the user can hear the operator's voice through the voice output unit 16.

【0045】このように本実施例においては、ユーザ端
末10-1の利用者が呼出ボタン13bを押すことによ
り、オペレータ端末20のオペレータに対する呼び出し
がかけられると、オペレータは、音声出力部24によっ
て利用者の音声を聞き、音声入力部21によって利用者
に音声を伝え、利用者と会話することができる。一方、
ユーザ端末10-1の利用者は、音声入力部11のマイク
ロフォン11aと音声出力部16のスピーカ16aを用
いてオペレータと会話し、ユーザ端末10-1の利用方法
が分からないときはそれを尋ね、また正しく音声が認識
されないときには音声入力以外の入力方法を指示しても
らうことによって、目的を達成することが可能となる。
As described above, in the present embodiment, when the user of the user terminal 10-1 presses the call button 13b to call the operator of the operator terminal 20, the operator uses the voice output unit 24. It is possible to listen to the voice of the person, convey the voice to the user by the voice input unit 21, and have a conversation with the user. on the other hand,
The user of the user terminal 10-1 talks to the operator using the microphone 11a of the voice input unit 11 and the speaker 16a of the voice output unit 16, and when he / she does not know how to use the user terminal 10-1, asks for it. Further, when the voice is not correctly recognized, the object can be achieved by instructing an input method other than the voice input.

【0046】この他、本実施例においては、ユーザ端末
10-1の利用者とオペレータ端末20のオペレータとが
ユーザ端末10-1内の制御部17及びオペレータ端末2
0内の制御部25の制御のもとで会話する際には、ユー
ザ端末10-1の表示部15(のディスプレイ15a)に
表示されている画面内容(表示画面の情報)が、制御部
17により通信回線30-1を介してオペレータ端末20
側に転送される。そして、この転送された画面情報が、
オペレータ端末20の制御部25により表示部23に表
示される。
In addition to this, in the present embodiment, the user of the user terminal 10-1 and the operator of the operator terminal 20 have the control unit 17 and the operator terminal 2 in the user terminal 10-1.
When a conversation is performed under the control of the control unit 25 within 0, the screen content (display screen information) displayed on (the display 15a of) the display unit 15 of the user terminal 10-1 is changed to the control unit 17 Operator terminal 20 via communication line 30-1
Transferred to the side. And the transferred screen information is
It is displayed on the display unit 23 by the control unit 25 of the operator terminal 20.

【0047】したがってオペレータは、ユーザ端末10
-1の表示部15での表示内容(即ちオペレータとユーザ
端末10-1との間の対話の状況)をオペレータ端末20
の表示部23でモニタしながら、利用者に指示を与える
ことができる。
Therefore, the operator is the user terminal 10
-1 indicates the content displayed on the display unit 15 (that is, the state of the dialogue between the operator and the user terminal 10-1).
It is possible to give an instruction to the user while monitoring the display unit 23.

【0048】更に本実施例においては、オペレータ端末
20側に設けられた操作部22を次のように利用するこ
ともできる。まず、上記のようにしてユーザ端末10-1
からオペレータ呼び出しがかけられた際に、当該オペレ
ータが操作部22を操作すると、その操作情報は制御部
25の制御により通信回線30-1を介してユーザ端末1
0-1に送られる。ユーザ端末10-1の制御部17は、こ
の操作情報を、利用者操作によるユーザ端末10-1での
入力情報であるかのように受け取り、当該情報に従う処
理を行う。
Further, in the present embodiment, the operating section 22 provided on the operator terminal 20 side can be used as follows. First, as described above, the user terminal 10-1
When the operator operates the operation unit 22 when an operator is called from the user terminal 1, the operation information is controlled by the control unit 25 through the communication line 30-1 to the user terminal 1.
Sent to 0-1. The control unit 17 of the user terminal 10-1 receives this operation information as if it was input information on the user terminal 10-1 by a user operation, and performs processing according to the information.

【0049】このようにオペレータは、オペレータ端末
20の操作部22を用いて利用者の入力操作を代行する
ことができるため、利用者の補助操作を行ったり、利用
者の目的を達成させることが可能となる。
As described above, since the operator can substitute the input operation of the user by using the operation unit 22 of the operator terminal 20, it is possible to perform the auxiliary operation of the user or achieve the purpose of the user. It will be possible.

【0050】以上は、他のユーザ端末10-2〜10-nか
らオペレータ端末20に対してオペレータ呼び出しがか
けられた場合にも同様である。このように本実施例にお
いては、1台のオペレータ端末20にn台のユーザ端末
10-1〜10-nを接続して音声認識システムを構成し、
オペレータ呼出要求を発生したユーザ端末10-iと接続
されるように回線切り替えを行うことで、そのユーザ端
末10-iの利用者からの呼び出しにオペレータが応じら
れるようにしている。通常、複数台のユーザ端末から同
時にオペレータ呼出要求が生じることは少ないので、こ
のようなシステム構成とすることにより、オペレータ1
人で、n台のユーザ端末10-1〜10-nの利用者に対処
することができ、オペレータの人数を減らすことができ
る。
The above is the same when the operator call is made to the operator terminal 20 from the other user terminals 10-2 to 10-n. As described above, in the present embodiment, the voice recognition system is configured by connecting the n user terminals 10-1 to 10-n to the one operator terminal 20.
By switching the line so as to connect to the user terminal 10-i that has issued the operator call request, the operator can respond to the call from the user of the user terminal 10-i. Normally, it is unlikely that a plurality of user terminals will simultaneously make an operator call request. Therefore, with such a system configuration, the operator 1
The number of operators can be reduced by coping with the users of n user terminals 10-1 to 10-n.

【0051】さて、本実施例においては、以下に述べる
ように、ユーザ端末10-iの利用者は、オペレータとの
会話が可能か否かを当該ユーザ端末10-iにて識別でき
るようになっている。
In the present embodiment, as will be described below, the user of the user terminal 10-i can identify whether or not a conversation with the operator is possible by the user terminal 10-i. ing.

【0052】まず、オペレータ端末20のオペレータ
は、ユーザ端末10-1〜10-nからの呼び出しに応じる
ことが可能か否かの状態情報を例えば操作部22の操作
で入力する。この状態情報は制御部25で受け取られ
る。制御部25は、当該情報を通信回線30-1〜30-n
を介してユーザ端末10-1〜10-nに送る。すると、例
えばユーザ端末10-1では、オペレータ端末20(の制
御部25)からの状態情報を制御部17が受け取り、表
示部15のディスプレイ15aのオペレータ待機表示領
域15bに、当該情報、即ちオペレータが呼び出しに応
じることが可能か否か(オペレータが待機しているか否
か)を示す情報を表示する。ユーザ端末10-1の利用者
は、このオペレータ待機表示領域15bの表示内容によ
って、オペレータを呼び出したいときにオペレータとの
会話が可能か否かを視認することができる。これはオペ
レータが不在の可能性があるときに有用である。以上の
オペレータ待機表示は、ユーザ端末10-1以外のユーザ
端末においても同様に行われる。
First, the operator of the operator terminal 20 inputs the status information indicating whether or not it is possible to answer the call from the user terminals 10-1 to 10-n by operating the operation unit 22, for example. This status information is received by the control unit 25. The control unit 25 sends the information to the communication lines 30-1 to 30-n.
To the user terminals 10-1 to 10-n. Then, for example, in the user terminal 10-1, the control unit 17 receives the status information from (the control unit 25 of) the operator terminal 20, and the information, that is, the operator is displayed in the operator standby display area 15b of the display 15a of the display unit 15. Information indicating whether or not the call can be accepted (whether or not the operator is waiting) is displayed. The user of the user terminal 10-1 can visually recognize whether or not a conversation with the operator is possible when he / she wants to call the operator by the display contents of the operator standby display area 15b. This is useful when the operator may be absent. The above operator standby display is similarly performed on user terminals other than the user terminal 10-1.

【0053】また、オペレータ端末20(の制御部2
5)において、ユーザ端末10-iからのオペレータ呼出
要求を受け付けた場合には、制御部25の制御により、
ユーザ端末10-i以外の各ユーザ端末に対してオペレー
タが呼び出しに応じることが不可能であることを示すオ
ペレータ待機表示が行われる。これは、オペレータが他
のユーザ端末の利用者から呼び出されているときに有用
となる。
Further, (the control unit 2 of the operator terminal 20
In 5), when the operator call request from the user terminal 10-i is received, the control unit 25 controls
An operator standby display indicating that the operator cannot answer the call is displayed on each user terminal other than the user terminal 10-i. This is useful when the operator is being called by a user of another user terminal.

【0054】本実施例においては更に、利用者のユーザ
端末利用状態をもとに、オペレータを自動的に呼び出せ
るようになっている。これについて、ユーザ端末10-1
からのオペレータ自動呼び出しを例に説明する。
Further, in the present embodiment, the operator can be automatically called based on the user terminal usage state of the user. Regarding this, the user terminal 10-1
The automatic call from the operator will be described as an example.

【0055】ユーザ端末10-1の制御部17は、当該ユ
ーザ端末10-1の状態検出部14に設けられたセンサ1
4aを用いて利用者の利用時間を計測し、この利用時間
とユーザ端末10-1の内部状態から、利用者のユーザ端
末利用状態を検出する。そして制御部17は、検出した
ユーザ端末利用状態をもとにオペレータを自動的に呼び
出す。以下、この一連の処理の流れを、図3のフローチ
ャートを参照して説明する。
The control unit 17 of the user terminal 10-1 uses the sensor 1 provided in the state detection unit 14 of the user terminal 10-1.
The usage time of the user is measured using 4a, and the usage status of the user terminal of the user is detected from this usage time and the internal status of the user terminal 10-1. Then, the control unit 17 automatically calls the operator based on the detected user terminal usage state. Hereinafter, the flow of this series of processes will be described with reference to the flowchart of FIG.

【0056】まず、ユーザ端末10-1の制御部17は、
時間計測値tをクリアする(ステップS1)。次に制御
部17は、センサ14aの出力がオン(ON)になった
か否かを調べ(ステップS2)、オンにならなければス
テップS1に戻る。
First, the control unit 17 of the user terminal 10-1
The time measurement value t is cleared (step S1). Next, the control unit 17 checks whether or not the output of the sensor 14a is turned on (ON) (step S2), and if it is not turned on, the process returns to step S1.

【0057】これに対し、利用者がユーザ端末10-1の
前に立ってセンサ14aの出力がオンになったならば、
制御部17は時間計測値tを1インクリメントする(ス
テップS3)。次に、制御部17は、センサ14aの出
力がオンのままであるか否かを調べ(ステップS4)、
オンのままであるならば(即ち利用者がユーザ端末10
-1から立ち去らないならば)、時間計測値tが予め定め
られた時間(閾値)Tを越えているか否かを調べる(ス
テップS5)。この閾値Tには、利用者の通常のシステ
ム利用時間(標準的なシステム利用時間)に或るマージ
ンを加えた値が用いられる。また、センサ14aの出力
がオフになったならば(即ち利用者がユーザ端末10-1
から立ち去ったならば)、ステップS1に戻る。
On the other hand, if the user stands in front of the user terminal 10-1 and the output of the sensor 14a is turned on,
The control unit 17 increments the time measurement value t by 1 (step S3). Next, the control unit 17 checks whether or not the output of the sensor 14a remains on (step S4),
If the user terminal 10 remains on (that is, the user
If the time measurement value t does not exceed the predetermined time (threshold value) T, it is checked (step S5). A value obtained by adding a certain margin to the user's normal system usage time (standard system usage time) is used as the threshold value T. Also, if the output of the sensor 14a is turned off (that is, if the user is the user terminal 10-1).
(If left), return to step S1.

【0058】さて、ステップS5で、時間計測値tが閾
値Tを越えていないと判定されたならば、ステップS3
に戻り、時間計測値tが1インクリメントされる。これ
に対し、ステップS5で、時間計測値tが閾値Tを越え
ている判定されたならば、利用者の通常のシステム利用
時間を超過していると考えられることから、制御部17
は、利用者の目的が達成されたか否かを、例えば制御部
17自身の内部状態をもとに検査する(ステップS
6)。ここで、利用者の目的が達成されたか否かは、例
えば本システム(ユーザ端末10-1)が自動券売機であ
るならば、切符が購入されたか否かで判断することがで
きる。
If it is determined in step S5 that the time measurement value t does not exceed the threshold value T, step S3
Then, the time measurement value t is incremented by 1. On the other hand, if it is determined in step S5 that the time measurement value t exceeds the threshold value T, it is considered that the user's normal system usage time has been exceeded.
Checks whether the purpose of the user has been achieved, for example, based on the internal state of the control unit 17 itself (step S
6). Here, whether or not the purpose of the user has been achieved can be determined by whether or not a ticket has been purchased, for example, if the present system (user terminal 10-1) is an automatic ticket vending machine.

【0059】さて、ステップS6の検査を行うのは、1
人の利用者が本システムを複数回続けて利用することを
考慮したためである。即ち、通常のシステム利用時間を
超過する要因としては、利用者が操作に迷ったり、或い
は幾度も音声入力しても正しく認識されないなど、利用
者に何らかの問題が発生している場合と、1人の利用者
が本システムを複数回続けて利用する場合があることを
考慮したためである。もし、通常のシステム利用時間を
超過しても(時間計測値tが閾値Tを越えても)利用者
の目的が達成されていないならば、利用者に何らかの問
題が発生しているものと判断でき、逆に利用者の目的が
達成されているならば1人の利用者が本システムを複数
回続けて利用しているものと判断できる。
Now, the inspection in step S6 is performed in 1
This is because it is considered that one user continuously uses the system multiple times. In other words, factors that exceed the normal system usage time include the case where the user has some trouble, such as the user getting lost in operation or not being recognized correctly even if voice is input many times, This is because it is considered that some users may continuously use this system multiple times. If the user's purpose is not achieved even if the normal system usage time is exceeded (even if the time measurement value t exceeds the threshold value T), it is determined that the user has some problem. On the contrary, if the user's purpose is achieved, it can be judged that one user is using this system a plurality of times in succession.

【0060】制御部17は、ステップS6で利用者の目
的が達成されていると判断した場合、ステップS1に戻
る。これに対し、ステップS6で利用者の目的が達成さ
れていないと判断した場合には、制御部17は、利用者
に何らかの問題が発生しているものとして、通信回線3
0-1を介してオペレータ端末20の制御部25にオペレ
ータ呼出要求を通知し、オペレータを自動的に呼び出す
(ステップS7)。
When it is determined in step S6 that the user's purpose has been achieved, the control section 17 returns to step S1. On the other hand, when it is determined in step S6 that the purpose of the user has not been achieved, the control unit 17 determines that the user has some problem and the communication line 3
The operator call request is notified to the control unit 25 of the operator terminal 20 via 0-1, and the operator is automatically called (step S7).

【0061】このように、本実施例の音声認識システム
では、利用者がシステム(ユーザ端末)の利用方法を理
解できないときや、幾度も音声入力しても正しく認識さ
れないときに、オペレータを手動で或いは自動で呼び出
し、オペレータに状況を詳しく把握させ、利用方法が分
からないときはそれをオペレータに尋ね、また音声が認
識されないときには音声入力以外の入力方法を指示して
もらい、或いは操作を代行してもらうことによって目的
を達成することができる。
As described above, in the voice recognition system of the present embodiment, when the user cannot understand how to use the system (user terminal), or when the user does not correctly recognize the voice input many times, the operator manually operates. Or call it automatically, let the operator understand the situation in detail, ask the operator if you do not know how to use it, and ask the operator to enter an input method other than voice input if voice is not recognized, or substitute the operation. The purpose can be achieved by receiving.

【0062】なお、本発明は上述した実施例に限定され
るものではない。例えば、実施例の音声認識システムで
は、情報案内装置を想定してシステム構成を示したが、
金銭投入手段や切符取出手段などを具備した自動発券
機、自動販売機等を想定して構成しても、本発明はその
要旨を逸脱しない範囲で種々変形して実施可能である。
The present invention is not limited to the above embodiment. For example, in the voice recognition system of the embodiment, the system configuration is shown assuming an information guidance device.
Even if an automatic ticket issuing machine, a vending machine, or the like equipped with a money inserting means, a ticket extracting means, etc. is configured, the present invention can be variously modified and implemented without departing from the scope of the invention.

【0063】また、図2のユーザ端末10-1の構成にお
いて、マイクロフォン11aとスピーカ16aを一体に
して電話機の受話器のような構造としたり、操作ボタン
13aにより実現される入力手段に代えてタッチパネル
を用いた構成とすることも可能である。また、状態検出
部14を構成するセンサの数も1つに限るものではな
く、複数個のセンサを用いることで、より詳細な利用者
の状態を得るようにすることも可能である。更に、通信
回線30-1〜30-nとして公衆電話回線を用い、遠隔地
からオペレートするように構成することも可能である。
In the configuration of the user terminal 10-1 shown in FIG. 2, the microphone 11a and the speaker 16a are integrated into a structure like a telephone receiver, or a touch panel is used instead of the input means realized by the operation button 13a. It is also possible to adopt the configuration used. Further, the number of sensors forming the state detecting unit 14 is not limited to one, and it is possible to obtain a more detailed user state by using a plurality of sensors. Furthermore, it is possible to use public telephone lines as the communication lines 30-1 to 30-n and to operate from a remote place.

【0064】[0064]

【発明の効果】以上詳述したように本発明によれば、利
用者が音声認識システムの利用方法が理解できないとき
や、幾度も音声入力しても正しく認識されないときに、
オペレータを手動或いは自動で呼び出して、オペレータ
に指示・操作補助してもらえるので、そのシステムを初
めて利用する人でも必ず目的を達成できる、利用者に扱
いやすいシステムを提供できる。また、利用者は、オペ
レータとの会話によってそのシステムの利用方法を学ぶ
ことができるので、システムに次第に慣れることができ
る。更に、システムを提供する側からは、オペレータを
通して、そのシステムのどこが使いにくいか、どこに問
題があるかを把握することができるので、システムを改
良するための有益な情報を得て、より良いシステムを提
供することが可能となる。
As described above in detail, according to the present invention, when the user cannot understand how to use the voice recognition system, or when the user does not recognize correctly even if the voice is input many times,
Since the operator can be called manually or automatically and the operator can give instructions and operation assistance, it is possible to provide a user-friendly system in which even a person who uses the system for the first time can always achieve the purpose. In addition, the user can learn how to use the system by talking with the operator, and can gradually become accustomed to the system. Further, the system provider side can know, through the operator, where the system is difficult to use and where the problem is, so that useful information for improving the system can be obtained and a better system can be obtained. Can be provided.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例に係る音声認識システムのブ
ロック構成図。
FIG. 1 is a block configuration diagram of a voice recognition system according to an embodiment of the present invention.

【図2】同実施例におけるユーザ端末10-1の外観図。FIG. 2 is an external view of a user terminal 10-1 in the embodiment.

【図3】同実施例においてオペレータを自動的に呼び出
すためのユーザ端末10-1での一連の処理の流れを示す
フローチャート。
FIG. 3 is a flowchart showing a flow of a series of processes in the user terminal 10-1 for automatically calling an operator in the embodiment.

【符号の説明】[Explanation of symbols]

10-1〜10-n…ユーザ端末、11…音声入力部(ユー
ザ端末側音声入力手段)、11a…マイクロフォン、1
2…音声認識部、13…操作部(ユーザ端末側操作手
段)、13a…操作ボタン、13b…呼出ボタン、14
…状態検出部、14a…センサ、15…表示部(ユーザ
端末側表示手段)、15a…ディスプレイ、15b…オ
ペレータ待機表示領域(状態出力手段)、16…音声出
力部(ユーザ端末側音声出力手段)、16a…スピー
カ、17…制御部(ユーザ端末側制御手段、状態検出手
段、オペレータ自動呼び出し手段)、20…オペレータ
端末、21…音声入力部(オペレータ端末側音声入力手
段)、22…操作部(オペレータ端末側操作手段)、2
3…表示部(オペレータ端末側表示手段)、24…音声
出力部(オペレータ端末側音声出力手段)、25…制御
部(オペレータ端末側制御手段)、30-1〜30-n…通
信回線。
10-1 to 10-n ... User terminal, 11 ... Voice input unit (user terminal side voice input means), 11a ... Microphone, 1
2 ... Voice recognition section, 13 ... Operation section (user terminal side operation means), 13a ... Operation button, 13b ... Call button, 14
... state detection section, 14a ... sensor, 15 ... display section (user terminal side display means), 15a ... display, 15b ... operator standby display area (state output means), 16 ... voice output section (user terminal side voice output means) , 16a ... Speaker, 17 ... Control unit (user terminal side control means, state detection means, operator automatic calling means), 20 ... Operator terminal, 21 ... Voice input section (operator terminal side voice input means), 22 ... Operation section ( Operator terminal side operation means), 2
3 ... Display unit (operator terminal side display unit), 24 ... Voice output unit (operator terminal side voice output unit), 25 ... Control unit (operator terminal side control unit), 30-1 to 30-n ... Communication line.

フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G10L 3/00 561 C Continuation of front page (51) Int.Cl. 6 Identification number Office reference number FI technical display location G10L 3/00 561 C

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 利用者との対話を行うための音声認識機
能を有するユーザ端末であって、利用者による音声入力
操作のためのユーザ端末側音声入力手段、このユーザ端
末側音声入力手段から入力された音声を認識する音声認
識手段、この音声認識手段の認識結果及び各種情報を表
示するためのユーザ端末側表示手段、利用者に各種情報
を音声で通知するユーザ端末側音声出力手段、音声とは
別の入力操作のためのユーザ端末側操作手段、及び前記
各手段を制御するためのユーザ端末側制御手段を備えた
ユーザ端末と、 前記ユーザ端末の利用者とオペレータが会話をするため
のオペレータ端末であって、前記ユーザ端末側音声入力
手段により入力された利用者の音声入力を聴取するため
のオペレータ端末側音声出力手段、及びオペレータの音
声を前記ユーザ端末の利用者に通知するためのオペレー
タ端末側音声入力手段を備えたオペレータ端末とを具備
することを特徴とする音声認識システム。
1. A user terminal having a voice recognition function for interacting with a user, comprising a user terminal side voice input means for voice input operation by the user, and input from this user terminal side voice input means. Voice recognition means for recognizing the generated voice, user terminal side display means for displaying the recognition result of this voice recognition means and various information, user terminal side voice output means for notifying the user of various information by voice, and Is a user terminal provided with a user terminal side operating means for another input operation, and a user terminal side controlling means for controlling each of the means, and an operator for conversation between a user of the user terminal and an operator. A terminal, an operator terminal side voice output means for listening to the user's voice input inputted by the user terminal side voice input means, and an operator's voice Speech recognition system, characterized by comprising an operator terminal having an operator terminal side audio input means for notifying the user of the user terminal.
【請求項2】 利用者との対話を行うための音声認識機
能を有する複数のユーザ端末であって、利用者による音
声入力操作のためのユーザ端末側音声入力手段、このユ
ーザ端末側音声入力手段から入力された音声を認識する
音声認識手段、この音声認識手段の認識結果及び各種情
報を表示するためのユーザ端末側表示手段、利用者に各
種情報を音声で通知するユーザ端末側音声出力手段、音
声とは別の入力操作のためのユーザ端末側操作手段、及
び前記各手段を制御するためのユーザ端末側制御手段を
それぞれ備えた複数のユーザ端末と、 前記ユーザ端末の利用者とオペレータが会話をするため
のオペレータ端末であって、前記複数のユーザ端末の1
つを当該オペレータ端末に切り替え接続するためのオペ
レータ端末側制御手段、このオペレータ端末側制御手段
により切り替え接続された前記ユーザ端末の前記ユーザ
端末側音声入力手段により入力された利用者の音声入力
を聴取するためのオペレータ端末側音声出力手段、及び
オペレータの音声を前記切り替え接続されたユーザ端末
の利用者に通知するためのオペレータ端末側音声入力手
段を備えたオペレータ端末とを具備することを特徴とす
る音声認識システム。
2. A plurality of user terminals having a voice recognition function for dialogue with a user, the user terminal side voice input means for voice input operation by the user, and the user terminal side voice input means. Voice recognition means for recognizing the voice input from the user, user terminal side display means for displaying the recognition result of this voice recognition means and various information, user terminal side voice output means for notifying the user of various information by voice, User terminal side operation means for input operation different from voice, and a plurality of user terminals each having a user terminal side control means for controlling the respective means, and a user and an operator of the user terminal have a conversation And an operator terminal for performing one of the plurality of user terminals.
To the operator terminal side control means for switching and connecting one to the operator terminal, and listening to the user's voice input inputted by the user terminal side voice input means of the user terminal switched and connected by the operator terminal side control means. And an operator terminal equipped with an operator terminal side voice input means for notifying the user of the user terminal of the switch-connected voice of the operator. Speech recognition system.
【請求項3】 前記オペレータ端末に、前記ユーザ端末
側表示手段の表示内容をモニタするためのオペレータ端
末側表示手段を更に備えたことを特徴とする請求項1ま
たは請求項2記載の音声認識システム。
3. The voice recognition system according to claim 1, wherein the operator terminal further comprises an operator terminal side display means for monitoring the display content of the user terminal side display means. .
【請求項4】 前記オペレータ端末に、前記ユーザ端末
側操作手段を用いた利用者による入力操作をオペレータ
が代行するためのオペレータ端末側操作手段を更に備え
たことを特徴とする請求項1乃至請求項3のいずれかに
記載の音声認識システム。
4. The operator terminal further comprises operator terminal side operation means for allowing an operator to act on behalf of an input operation by a user using the user terminal side operation means. Item 5. The voice recognition system according to any one of Items 3.
【請求項5】 前記ユーザ端末に、前記オペレータ端末
のオペレータとの会話が可能であるか否かの状態を外部
出力するための状態出力手段を更に備えたことを特徴と
する請求項1乃至請求項4のいずれかに記載の音声認識
システム。
5. The user terminal further comprises status output means for externally outputting a status indicating whether or not a conversation with the operator of the operator terminal is possible. Item 5. The voice recognition system according to any one of items 4.
【請求項6】 前記ユーザ端末に、当該ユーザ端末と利
用者との対話が予め定められた時間を超えても終了しな
い状態を検出する状態検出手段、及びこの状態検出手段
の状態検出に応じて前記オペレータ端末に対してオペレ
ータ呼び出しをかけるオペレータ自動呼出手段を更に備
えたことを特徴とする請求項1乃至請求項5のいずれか
に記載の音声認識システム。
6. The state detection means for detecting, in the user terminal, a state in which the dialogue between the user terminal and the user does not end even if a predetermined time elapses, and the state detection means detects the state. The voice recognition system according to any one of claims 1 to 5, further comprising an automatic operator calling means for calling an operator to the operator terminal.
JP6213466A 1994-09-07 1994-09-07 Speech recognition system Pending JPH0876965A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6213466A JPH0876965A (en) 1994-09-07 1994-09-07 Speech recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6213466A JPH0876965A (en) 1994-09-07 1994-09-07 Speech recognition system

Publications (1)

Publication Number Publication Date
JPH0876965A true JPH0876965A (en) 1996-03-22

Family

ID=16639678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6213466A Pending JPH0876965A (en) 1994-09-07 1994-09-07 Speech recognition system

Country Status (1)

Country Link
JP (1) JPH0876965A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7107217B2 (en) 2000-12-28 2006-09-12 Fujitsu Limited Voice interactive system and voice interactive method
JP2007219385A (en) * 2006-02-20 2007-08-30 Internatl Business Mach Corp <Ibm> Voice interaction system
JP2008033198A (en) * 2006-08-01 2008-02-14 Nec System Technologies Ltd Voice interaction system, voice interaction method, voice input device and program
JP2009025517A (en) * 2007-07-19 2009-02-05 Nissan Motor Co Ltd On-vehicle information providing interactive device
US7756791B2 (en) 2000-12-08 2010-07-13 Fujitsu Limited Slip processing apparatus and slip processing system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756791B2 (en) 2000-12-08 2010-07-13 Fujitsu Limited Slip processing apparatus and slip processing system
US7107217B2 (en) 2000-12-28 2006-09-12 Fujitsu Limited Voice interactive system and voice interactive method
JP2007219385A (en) * 2006-02-20 2007-08-30 Internatl Business Mach Corp <Ibm> Voice interaction system
US8095371B2 (en) 2006-02-20 2012-01-10 Nuance Communications, Inc. Computer-implemented voice response method using a dialog state diagram to facilitate operator intervention
US8145494B2 (en) 2006-02-20 2012-03-27 Nuance Communications, Inc. Voice response system
JP2008033198A (en) * 2006-08-01 2008-02-14 Nec System Technologies Ltd Voice interaction system, voice interaction method, voice input device and program
JP2009025517A (en) * 2007-07-19 2009-02-05 Nissan Motor Co Ltd On-vehicle information providing interactive device

Similar Documents

Publication Publication Date Title
JP5137853B2 (en) In-vehicle speech recognition device
EP1555796B1 (en) On-vehicle handsfree system
KR20120063982A (en) Apparatus and method of man-machine interface for invisible user
CN108108142A (en) Voice information processing method, device, terminal device and storage medium
US8155277B2 (en) Voice and motion activated telephone
KR20070067191A (en) Elevator landing call register
JP2011022600A (en) Method for operating speech recognition system
JPH0876965A (en) Speech recognition system
JPH0816292A (en) Voice display keyboard and telephone system utilizing the keyboard
JP2004053825A (en) Apparatus, method, and program for language identification
JP2003316383A (en) Voice response system
JP3747915B2 (en) Touch panel device
JP4862225B2 (en) Automatic cash dispenser
JP2002362838A (en) Control device for elevator
CN108630223B (en) Signal processing device and signal processing method
SE521122C2 (en) Method and circuit to automatically reset a cordless phone with speakerphone in standby mode when a call is ended
CN111176538A (en) Screen switching method based on intelligent sound box and intelligent sound box
CN109587346A (en) Call management method, mobile terminal and storage medium
KR20190068182A (en) Smart Device, Service Server And User Interface Method thereof
JP4529273B2 (en) Service system
JPH05207549A (en) On-vehicle operation switch device
KR20060085381A (en) Voice recognition apparatus and method of telematics system
US20090111528A1 (en) Method and Apparatus for an Audible Indication of an Active Wireless Link
JP2815884B2 (en) Voice recognition device
KR100545607B1 (en) Hands-free switching device when receiving a command call