JP3974412B2 - Speech conversion system - Google Patents

Speech conversion system Download PDF

Info

Publication number
JP3974412B2
JP3974412B2 JP2002014834A JP2002014834A JP3974412B2 JP 3974412 B2 JP3974412 B2 JP 3974412B2 JP 2002014834 A JP2002014834 A JP 2002014834A JP 2002014834 A JP2002014834 A JP 2002014834A JP 3974412 B2 JP3974412 B2 JP 3974412B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
example
word
unit
language
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2002014834A
Other languages
Japanese (ja)
Other versions
JP2003288339A5 (en )
JP2003288339A (en )
Inventor
良文 ▲ひろ▼瀬
英嗣 前川
謙二 松井
研治 水谷
由実 脇田
伸一 芳澤
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、例えば、音声入力された原言語の発声を目的言語に変換して音声出力する音声変換装置に関するものである。 The present invention is, for example, relates to speech conversion equipment that outputs sound by converting the utterance of the speech input original language into the target language.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
音声通訳技術は、高性能なワークステーションやパーソナルコンピュータによる使用を前提としたソフトウェアとして開発され、仮に、旅行会話などに会話の範囲を限定した場合、その性能は実用的なレベルまで到達している。 Voice interpreter technology has been developed as software intended for use by high-performance workstations and personal computers, if, when the limit the scope of the conversation, such as the travel conversation, its performance has reached the practical level . しかし、音声通訳装置として、一般のユーザが日常的に使用するためには、海外旅行等に簡単に携行できる程度の大きさのハードウェアと、簡単に操作ができるユーザインタフェースを設計し、同等の機能のソフトウェアをそのハードウェアに移植する必要がある。 However, as a voice interpreting device, general user for daily use is enough to easily carry on a trip abroad, etc. and the magnitude of hardware, designed a user interface that can be easily operated, equivalent there is a need to port function of the software to its hardware.
【0003】 [0003]
従来は、B5サイズ程度のノート型パーソナルコンピュータに対して音声通訳ソフトウェアを移植する作業が進められてきた。 Conventionally, the task of porting the voice interpreter software for the B5 size about of a notebook personal computer have been conducted.
【0004】 [0004]
一方、近年のハードウェア技術の進歩によって、携帯可能な小型の情報機器を用いて、主に海外旅行で使用する会話を対象として、音声入力による翻訳機能が実現できるようになった。 On the other hand, by recent advances in hardware technology, by using the information equipment of the portable small size, mainly as a target of the conversation to be used in international travel, translation function by voice input can now be realized. この様な他の従来技術としての翻訳機能は双方向であり、例えば日本語から英語への変換機能と、英語から日本語への変換機能の両方を備える。 Such translation function as other prior art is a two-way, including for example, a conversion function to English from Japanese, both the conversion function from English to Japanese.
【0005】 [0005]
この様な他の従来技術の発明としては、外国語翻訳装置(特開平8−77176号公報参照)や音声入力翻訳装置(特開平8−278972号公報参照)がある。 The invention of such other prior art, there is a foreign language translation apparatus (Japanese Unexamined see JP 8-77176) and the voice input translation apparatus (see Japanese Patent Laid-Open No. 8-278972). これらの発明では、言語の異なる2人が1台の機器を対面形式で使用して対話ができるように、機器の形状や表示部の配置、その内容が決定されている。 In these inventions, as two of different languages ​​you can interact using one device in face-to-face, the arrangement of the shape and the display unit of the device, its contents are determined.
【0006】 [0006]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、B5サイズ程度のノート型パーソナルコンピュータは、ユーザが簡単に携行して様々な場所で利用できる大きさではない。 However, B5 size approximately of a notebook personal computer, the user is not the size available in various places to easily carry. また、普通のキーボードやマウスで操作しなければならないために、ユーザインタフェースとしても使い易い形態ではない。 In addition, in order to have it should not operate in a normal keyboard and mouse, not the easy form to use as a user interface. さらに音声認識に必要とされるCPU性能やワーキングメモリの容量といった計算資源の量は、一般に認識対象語彙の大きさに比例する。 Moreover the amount of computational resources such as CPU performance and working memory capacity required for the speech recognition is generally proportional to the magnitude of the recognition target words.
【0007】 [0007]
小型のハードウェアでは計算資源が限られるので、音声通訳装置として必要十分な単語を認識対象語彙として実装することが困難であり、音声通訳装置としての利用価値が低くなるという課題があった。 Since the compact hardware computational resources are limited, it is difficult to implement as the recognition target words just enough words as voice interpreting device, utility value as a sound interpretation device has a problem that low. 以上が上記従来技術についての課題である(第1の課題)。 This is the problem of the prior art (first problem).
【0008】 [0008]
次に、上記他の従来技術についての課題を説明する(第2の課題)。 Next, explaining the problem of the other prior art (the second problem).
【0009】 [0009]
即ち、上記他の従来技術の翻訳装置において、衣服のポケットに入るような小型の情報機器で、その表示領域の解像度が小さい場合には、2人の利用者に必要な情報をすべて表示することはできない。 That is, in the other prior art translator, in small information devices such as fall clothes pocket, when the resolution of the display area is small, to display all necessary information to two users can not. そのため、翻訳装置としての使い勝手が低下するという課題があった。 Therefore, usability of the translation apparatus has a problem of a decrease. また、複数の表示部を実装すると消費電力が増加して翻訳装置の稼働時間が短くなるという課題もあった。 Further, operating time of the translation device power consumption and mounting a plurality of display portions is increased there was a problem that shortens. また、翻訳装置は2人の利用者の発声を排他的に扱わないので、発声が重なると音声認識の認識率が低下して翻訳装置としての性能が低下するという課題もあった。 In addition, since the translation device is not exclusively deal with the utterance of two users, the performance of the utterance overlap and translation apparatus recognition rate is lowered of speech recognition was also the problem of deterioration.
【0010】 [0010]
本発明は、上記従来の音声通訳装置のこの様な第1の課題を考慮し、従来に比べてより一層小型化が可能であり、操作も簡単に出来得る音声変換装置を提供することを目的とする。 The present invention, in consideration of such a first problem of the conventional speech interpreter apparatus is more possible to further miniaturize than the conventional, to provide a voice conversion equipment that can also be easily operated for the purpose.
【0011】 [0011]
又、本発明に関連する技術の他の発明は、上記従来の翻訳装置のこの様な第2の課題を考慮し、従来に比べて表示内容についての使用性の向上を図る事が出来る音声変換装置、音声変換方法、プログラム、及び媒体を提供することを目的とする。 It is another aspect of the technology related to the present invention, the consideration of such a second problem of the conventional translation apparatus, voice conversion can be improved usability of the display contents in comparison with the conventional apparatus, and to provide speech conversion method, a program, and a medium.
【0012】 [0012]
【課題を解決するための手段】 In order to solve the problems]
第1の本発明(請求項1記載の本発明に対応)は、第1の言語の音声を入力するための音声入力手段と、 The first present invention (corresponding to the invention of claim 1 wherein) includes a voice input means for inputting the voice of the first language,
前記入力された音声を音声認識するための音声認識手段と、 A speech recognition means for recognizing speech a speech which is the input,
前記第1の言語の用例と、前記用例を構成する単語の内の所定の単語間の依存関係とを予め格納する用例テ゛ータベースと、 & Examples of the first language, and examples te Bu database for storing and dependencies between predetermined words among the words previously constituting the example,
前記音声の認識結果に前記所定の単語が含まれる場合、前記含まれる所定の単語の前記依存関係を利用して、前記用例データベースに格納されている前記第1の言語の用例の中から、前記音声に対応した用例を抽出し、 前記用例を構成する一つまたは複数の単語列を表示する第1の抽出・表示手段と、 When the predetermined word is included in the speech recognition result, by using the dependence of predetermined words included above, from among the examples of the first language stored in said example database, the a first extracting and displaying means for displaying one or more word string extracting examples corresponding to the voice, to configure the example,
前記表示された前記第1の言語の用例を構成する単語列から、第2の言語への変換対象となる予定の何れかの単語列を選定するための変換対象選定手段と、 From word strings constituting example of the displayed said first language, a conversion object selecting means for selecting one of the word string that will be converted into a second language,
前記用例に含まれる単語を予めクラス化して、前記クラス化された前記単語と置き換え可能な単語を予め格納する単語クラス辞書と、 A word class dictionary in advance classes the words contained in the example, is previously stored words can be replaced with the words said are classed,
前記選定された単語列の中の前記クラス化された単語が特定された際、その特定された前記クラス化された単語と同じクラスの単語前記単語クラス辞書から前記置き換えの候補として抽出し、表示する第2の抽出・表示手段と、 Wherein when the classed word of selected word sequence has been identified, extracting word of the same class as the word which is the class of which is that identified as candidates for replacement the from the word class dictionary, a second extraction and display means for displaying,
前記表示された前記同じクラスの単語の候補から何れかの候補を選定するための候補選定手段と、 And candidate selection means for selecting one of the candidate from the displayed said candidate word of the same class,
前記選定された前記第1の言語の用例を構成する単語列と、前記選定された前記同じクラスの単語の候補とに基づいて、前記第2の言語への変換対象を決定し、その決定された変換対象を前記第2の言語の音声言語に変換する変換手段と、 A word string which constitutes the example of the selected the first language, the selected been on the basis of the candidate word of the same class, determining the converted into the second language, is that determined and converting means for the conversion target converted to spoken language of the second language and,
を備えた音声変換装置である。 A speech conversion system having a.
【0013】 [0013]
又、第2の本発明(請求項2記載の本発明に対応)は、前記第1の抽出・表示手段は、前記選定の対象となる複数の単語列と、前記選定された単語列とを、それぞれ予め定められた領域に表示するための表示画面を備えた表示部を有しており、 The second of the present invention (corresponding to the invention of claim 2 wherein), the first extraction and display unit includes a plurality of word strings to be the selection, and the selected word sequence has a display unit having a display screen for displaying a predetermined region, respectively,
前記第2の抽出・表示手段は、前記用語の候補を、前記表示画面の一部の領域にウインドウ状に重ねて表示する手段である上記第1の本発明の音声変換装置である。 The second extraction and display unit, the candidate of the term, a speech conversion system of the partial region is a means for displaying overlapping the window-like the first invention of the display screen.
【0014】 [0014]
又、第3の本発明(請求項3記載の本発明に対応)は、前記第1の抽出・表示手段は、前記選定された単語列を前記表示画面上に表示する際、前記単語列の一部に対して、前記対応する用語の候補の表示が可能である旨の情報をも付加して表示する手段である上記第2の本発明の音声変換装置である。 The third of the present invention (corresponding to the invention of claim 3 wherein), the first extraction and display unit, when displaying the selected word sequence on the display screen, the word sequence for some, a speech conversion system of the corresponding display of candidate terms that a means for displaying by adding also information that is possible the second present invention.
【0015】 [0015]
又、第4の本発明(請求項4記載の本発明に対応)は、前記付加された情報が表示されている前記単語列の一部を、前記表示画面上で特定するための画面表示特定手段を備えた上記第3の本発明の音声変換装置である。 Further, (corresponding to the invention of claim 4, wherein) the fourth invention, the appended a portion of the word string information is displayed, the screen display specific to identify on the display screen an audio converter of the third invention with means.
【0016】 [0016]
又、第5の本発明(請求項5記載の本発明に対応)は、前記変換手段は、前記単語列の内、前記特定された前記一部を、前記選定された候補の用語に置き換えた結果を、前記変換対象として決定する上記第1の本発明の音声変換装置である。 Further, the fifth invention of the present invention (corresponding to the invention of claim 5), the converting means of said word string, the said portion identified above, was replaced by the terms of the selected candidate the result is an audio converter of the first aspect of the present invention for determining, as the conversion target.
【0017】 [0017]
尚、本発明に関連する技術の発明は 、入力される第1の言語の音声を、第2の言語の音声言語に変換する音声変換装置の音声変換方法であって、 Incidentally, the invention of techniques related to the present invention, the voice of the first language inputted, a speech conversion method of speech converter for converting the audio language of the second language,
前記第1の言語の音声を入力するための音声入力ステップと、 An audio input step for inputting a voice of the first language,
前記入力された音声を音声認識するための音声認識ステップと、 A speech recognition step for recognizing speech a speech which is the input,
前記第1の言語の用例と、前記用例を構成する単語の内の所定の単語間の依存関係とを予め格納する前記音声変換装置の用例データベースに格納されている前記第1の言語の用例の中から、前記音声の認識結果に前記所定の単語が含まれる場合、前記含まれる所定の単語の前記依存関係を利用して、前記音声に対応した用例を抽出し、前記用例を構成する一つまたは複数の単語列を表示する第1の抽出・表示ステップと、 & Examples of the first language, the predetermined the example of the first language stored in the example database of speech conversion system for previously storing a dependency between words of the words constituting the example one from when the predetermined word is included in the speech recognition result, which utilizes the dependency of a given word in the extracts examples corresponding to the voice, constituting the example in or a first extracting and displaying step of displaying a plurality of word strings,
前記表示された前記第1の言語の用例を構成する単語列から、第2の言語への変換対象となる予定の何れかの単語列を選定するための変換対象選定ステップと、 From word strings constituting example of the displayed said first language, a conversion object selecting step for selecting either a word string that will be converted into a second language,
前記選定された単語列の中のクラス化された単語が特定された際、その特定された前記クラス化された単語と同じクラスの単語を、前記用例に含まれる単語を予めクラス化して、前記クラス化された前記単語と置き換え可能な単語を予め格納する前記音声変換装置の単語クラス辞書から前記置き換えの候補として抽出し、表示する第2の抽出・表示ステップと、 When classed word in said selected word sequence is identified, the words of the same class as the word which is the classification that is the specific, previously class the words contained in the example, the the extracted as candidates for replacement from said word class dictionary speech conversion system for storing words replaceable with classed said word in advance, and the second extraction and display step of displaying,
前記表示された前記同じクラスの単語の候補から何れかの候補を選定するための候補選定ステップと、 A candidate selection step for selecting one candidate from the displayed said candidate word of the same class,
前記選定された前記第1の言語の用例を構成する単語列と、前記選定された前記同じクラスの単語の候補とに基づいて、前記第2の言語への変換対象を決定し、その決定された変換対象を前記第2の言語の音声言語に変換する変換ステップと、 A word string which constitutes the example of the selected the first language, the selected been on the basis of the candidate word of the same class, determining the converted into the second language, is that determined the converted a conversion step of converting the audio language of the second language and,
を備えた音声変換装置の音声変換方法である。 A speech conversion method of speech conversion device provided with a.
【0019】 [0019]
又、 本発明に関連する技術の発明は、上記音声変換装置の音声変換方法の、前記入力された音声を音声認識するための音声認識ステップと、 Further, the invention of techniques related to the present invention, the speech conversion method above Kion voice converter, a speech recognition step for recognizing speech a speech which is the input,
前記第1の言語の用例と、前記用例を構成する単語の内の所定の単語間の依存関係とを予め格納する前記音声変換装置の用例データベースに格納されている前記第1の言語の用例の中から、前記音声の認識結果に前記所定の単語が含まれる場合、前記含まれる所定の単語の前記依存関係を利用して、前記音声に対応した用例を抽出し、前記用例を構成する一つまたは複数の単語列を表示する第1の抽出・表示ステップと、 & Examples of the first language, the predetermined the example of the first language stored in the example database of speech conversion system for previously storing a dependency between words of the words constituting the example one from when the predetermined word is included in the speech recognition result, which utilizes the dependency of a given word in the extracts examples corresponding to the voice, constituting the example in or a first extracting and displaying step of displaying a plurality of word strings,
前記表示された前記第1の言語の用例を構成する単語列から、第2の言語への変換対象となる予定の何れかの単語列を選定するための変換対象選定ステップと、 From word strings constituting example of the displayed said first language, a conversion object selecting step for selecting either a word string that will be converted into a second language,
前記選定された単語列の中のクラス化された単語が特定された際、その特定された前記クラス化された単語と同じクラスの単語を、前記用例に含まれる単語を予めクラス化して、前記クラス化された前記単語と置き換え可能な単語を予め格納する前記音声変換装置の単語クラス辞書から前記置き換えの候補として抽出し、表示する第2の抽出・表示ステップと、 When classed word in said selected word sequence is identified, the words of the same class as the word which is the classification that is the specific, previously class the words contained in the example, the the extracted as candidates for replacement from said word class dictionary speech conversion system for storing words replaceable with classed said word in advance, and the second extraction and display step of displaying,
前記表示された前記同じクラスの単語の候補から何れかの候補を選定するための候補選定ステップと、 A candidate selection step for selecting one candidate from the displayed said candidate word of the same class,
前記選定された前記第1の言語の用例を構成する単語列と、前記選定された前記同じクラスの単語の候補とに基づいて、前記第2の言語への変換対象を決定し、その決定された変換対象を前記第2の言語の音声言語に変換する変換ステップと、 A word string which constitutes the example of the selected the first language, the selected been on the basis of the candidate word of the same class, determining the converted into the second language, is that determined the converted a conversion step of converting the audio language of the second language and,
をコンピュータに実行させるためのプログラムを記録した記録媒体であって、コンピュータにより処理可能な記録媒体である。 The A recording medium recording a program for causing a computer to execute a recording medium can be processed by a computer.
【0022】 [0022]
以上の構成により、上記本発明では、例えば、ユーザが片手で持ってボタンやタッチパネルで簡単に操作できる小型のハードウェアを提供することが可能である。 With the above configuration, the present invention is, for example, it is possible to provide a compact hardware that can be easily operated with buttons and a touch panel with the user in one hand. そして、例えば、音声通訳すべき用例文中に含まれる単語をクラス化して保持し、クラスを代表する少数の単語のみ認識対象語彙として音声認識部に実装することが可能である。 Then, for example, it can be held by the class of the words included in the example sentence to be speech interpreter implemented in the speech recognition unit as a recognition target words only a small number of words representing the class. クラスを代表する単語を含む文が発声されると、その単語を含む用例を検索してユーザに提示することが可能である。 When sentence containing a word representing the class is uttered, it may be presented to the user by searching the examples containing that word. 通常、ユーザは所望の用例を選択して翻訳音声を出力させる。 Usually, the user to output the translated speech to select the desired examples. しかし必要があれば、ユーザはその単語をクラス内の他の単語に置換して翻訳音声を出力させればよい。 However, if necessary, the user it is sufficient to output the translated voice to replace the word to other words in the class. 例えば、日本語で「アスピリンはありますか」と入力したい場合には、単語「アスピリン」が属するクラスを代表する単語「薬」に置き換えて、日本語で「何か薬はありますか」と発声し、その後「薬」の部分を「アスピリン」に置き換えればよい。 For example, if you want to enter as "Do you have any aspirin" in Japanese, is replaced by the word "medicine" to the word "aspirin" is representative of the class to which it belongs, say "Do you have any drugs" in Japanese , then the portion of the "medicine" may be replaced with "aspirin". このような段階的な操作によって、大規模な認識対象語彙を実装することなく、音声通訳装置としての利用価値は維持される。 Such stepwise operation, without implementing a large vocabulary to be recognized, utility value as a voice interpreting device is maintained.
【0023】 [0023]
尚、上記従来技術における第2の課題を解決するための、本発明に関連する技術の第1〜第14の他の発明について以下に述べる。 The above for conventional solve the second problem in the art, the first through another invention of the fourteenth technology related to the present invention described below.
第1の他の発明は 、第1又は第2の言語の音声を入力するための入力部と、 First other invention includes an input unit for inputting the voice of the first or second language,
(1)前記入力部から前記第1の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、(1−a)前記音声認識された前記第1の言語の表記データを出力する、又は(1−b)前記音声認識された認識結果に基づいて決定される変換対象を前記第2の言語に変換し、その変換後の言語の少なくとも表記データを出力し、(2)前記入力部から前記第2の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、(2−a)前記音声認識された前記第2の言語の表記データを出力する、又は(2−b)前記音声認識された認識結果に基づいて決定される変換対象を前記第1の言語に変換し、その変換後の言語の少なくとも表記データを出力する翻訳部と、 (1) When receiving the voice of the first language from the input unit, it recognizes speech, and, on the basis of a predetermined control instruction, (1-a) said voice recognized the first language and outputs the notation data, or (1-b) converts the conversion target said determined based on the speech recognized recognition result to the second language, and outputs at least notation data language after the conversion (2) when receiving the voice of the second language from the input unit, it was recognized speech and, on the basis of a predetermined control instruction, (2-a) recognized the second of the voice outputting the representation data language, or (2-b) converts the conversion target said determined based on the speech recognized recognition result to the first language, it outputs at least notation data language after the conversion and the translation unit that,
前記翻訳部の前記変換対象の決定を支援するための支援部と、 A support portion for supporting the determination of the conversion target of the translation unit,
前記翻訳部から出力される前記変換後の言語の前記表記データを、前記所定の制御指示に基づいて表示するための表示部と、 The notation data language after the conversion outputted from the translation unit, and a display unit for displaying, based on the predetermined control command,
前記所定の制御指示を、少なくとも前記翻訳部及び前記表示部に対して行う制御部と、を備えた音声変換装置である。 It said predetermined control instructions, a speech conversion device and a control unit for performing at least for the translation unit and the display unit.
【0024】 [0024]
又、 第2の他の発明は 、前記第1の言語を使用する利用者と、前記第2の言語を使用する他の利用者との対話の際に前記入力部により入力された音声に基づいた前記表記データを逐次保持して、履歴情報として前記表示部に出力するための対話履歴管理部を備えた上記第1の本発明の音声変換装置である。 The second other invention, based on the a user who uses the first language, the second sound input by the input unit during the interaction with other users who use the language the notation data are sequentially holds the a speech conversion system of the first aspect of the present invention having the dialogue history management section for outputting to the display unit as the history information.
【0025】 [0025]
又、 第3の他の発明は 、前記第1の言語から第2の言語、又は前記第2の言語から第1の言語への何れの翻訳が前記音声翻訳部により行われるべきかの翻訳方向を決定するための情報を検出する言語変換方向検出部を備え、 The third other invention, the first from the language second language, or the second or translation direction to be performed by the one of the translation the speech translation unit from the language into the first language comprising a language conversion direction detecting unit for detecting information for determining,
前記制御部は、前記検出結果に基づいて、前記音声翻訳部に対して前記翻訳方向を指定し、かつ、前記入力部を制御する上記第1の他の発明の音声変換装置である。 Wherein, on the basis of the detection result, the specified translation direction with respect to the speech translation unit, and a speech conversion system of the first other inventions for controlling the input unit.
【0026】 [0026]
又、 第4の他の発明は 、前記制御部の前記入力部に対する制御とは、前記入力部が複数の音声入力部によって構成される場合に、発声する利用者の音声を最も良く集音する前記音声入力部を選択することである上記第3の他の発明の音声変換装置である。 The fourth other invention, a control for the input section of the control unit, when the input unit is composed of a plurality of voice input unit, best collects user's voice uttering it is to select the audio input unit is a speech conversion system of the third other inventions.
【0027】 [0027]
又、 第5の他の発明は 、前記制御部は、前記翻訳方向に応じて、前記表示部の表示内容を、その表示部の表示画面を基準として実質上180度回転するように制御することを特徴とする上記第3の他の発明の音声変換装置である。 It is another aspect of the fifth, the control unit, in response to said translation direction, the display content of the display unit, to be controlled to rotate substantially 180 degrees a display screen of the display unit as a reference an audio converter of the third other inventions characterized.
【0028】 [0028]
又、 第6の他の発明は 、前記言語変換方向検出部は、ボタンスイッチで構成されており、発声する利用者が前記ボタンスイッチを押して翻訳方向を選択する構成である上記第3の他の発明の音声変換装置である。 It is another aspect of the sixth, the language conversion direction detection unit is composed of a button switch, the user is the third of the other configured to select the translation direction by pressing the button switch uttering an audio converter of the present invention.
【0029】 [0029]
又、 第7の他の発明は 、前記言語変換方向検出部は、可動式のマイクの音響的指向性の最も良い方向を検出する角度センサーで構成されており、発声する利用者がマイクの方向を変えて前記翻訳方向を選択する上記第3の他の発明の音声入力翻訳装置である。 It is another aspect of the seventh, the language conversion direction detection unit is constituted by an angle sensor that detects the best direction of acoustic directivity of movable microphone, the direction the user of the microphone for spoken a voice input translation apparatus of the third other inventions selecting the translation direction by changing the.
【0030】 [0030]
又、 第8の他の発明は 、前記言語変換方向検出部は、前記音声変換装置の内部に設置されたジャイロセンサーで構成されており、発声する利用者が前記音声変換装置を手に持つ位置で前記翻訳方向を選択する上記第3の他の発明の音声変換装置である。 It is another aspect of the eighth, the language conversion direction detection unit, the is composed of a gyro sensor installed inside the speech conversion system, the position which the user uttered the Holding said speech conversion system in a speech conversion system of the third other inventions selecting the translation direction.
【0031】 [0031]
又、 第9の他の発明は 、前記言語変換方向検出部は、マイクアレーユニットで構成される入力部の、音源方向検出装置によって構成されており、発声する利用者の前記マイクアレーユニットに対する発声位置で翻訳方向を選択する上記第3の他の発明の音声変換装置である。 It is another aspect of the ninth, the language conversion direction detecting unit, the input unit a microphone array unit, is constituted by a sound source direction detection device, utterance relative to the microphone array unit of the user uttering to select the translation direction at a position a speech conversion system of the third other inventions.
【0032】 [0032]
又、 第10の他の発明は 、第1又は第2の言語の音声を入力し、出力する音声入力ステップと、 It is another aspect of the tenth, a voice input step of inputting a voice of the first or second language, and outputs,
(1)前記音声入力ステップにより出力された前記第1の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、(1−a)前記音声認識された前記第1の言語の表記データを出力する、又は(1−b)前記音声認識された認識結果に基づいて決定される変換対象を前記第2の言語に変換し、その変換後の言語の少なくとも表記データを出力し、(2)前記音声入力ステップにより出力された前記第2の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、(2−a)前記音声認識された前記第2の言語の表記データを出力する、又は(2−b)前記音声認識された認識結果に基づいて決定される変換対象を前記第1の言語に変換し、その変換後の言語の少なくとも表記データ (1) When receiving the audio output said first language by the speech input step, it recognizes speech, and, on the basis of a predetermined control instruction, (1-a) said voice recognized the outputting the representation data of a first language, or (1-b) converts the conversion target is determined based upon the speech recognized recognition result to the second language, at least representation of the language after the conversion outputs data, (2) when receiving a voice of the voice input step by outputted the second language, it recognizes speech, and, on the basis of a predetermined control instruction, (2-a) wherein outputting the representation data of the speech recognized the second language, or (2-b) converts the conversion target said determined based on the speech recognized recognition result to the first language, the converted at least notation data of the language 出力する翻訳ステップと、 And translation step of outputting,
前記翻訳ステップでの前記変換対象の決定を支援するための支援ステップと、 And supporting step for supporting said determination of converted in said translation step,
前記翻訳ステップにより出力される前記変換後の言語の前記表記データを、前記所定の制御指示に基づいて表示するための表示ステップと、 The notation data language after the conversion output by the translation step, a display step for displaying on the basis of the predetermined control command,
前記所定の制御指示を、少なくとも前記翻訳ステップ及び前記表示ステップに対して行う制御ステップと、を備えた音声変換方法である。 It said predetermined control instructions, a speech conversion method and a control step of performing at least for the translation step and the display step.
【0033】 [0033]
又、 第11の他の発明は 、上記第1〜9の何れか一つの他の発明の音声変換装置の、前記翻訳部と、前記支援部と、前記表示部と、前記対話履歴管理部との全部又は一部としてコンピュータを機能させるためのプログラムである。 It is another aspect of the eleventh of the first to ninth any one of the other inventions of the voice conversion apparatus, and said translation unit, the support unit, and the display unit, the dialogue history management unit is a program for causing a computer to function as all or part of the.
【0034】 [0034]
又、 第12の他の発明は 、上記第10の他の発明の音声変換方法の、前記翻訳ステップと、前記支援ステップと、前記表示ステップと、前記対話履歴管ステップとの全部又は一部をコンピュータに実行させるためのプログラムである。 It is another aspect of the twelfth, the speech conversion method other the tenth aspect, said translation step, said support step and the display step, all or part of the dialog history tubes step is a program for causing a computer to execute.
【0035】 [0035]
又、 第13の他の発明は 、上記第11の他の発明のプログラムを担持した媒体であって、コンピュータにより処理可能なことを特徴とする媒体である。 It is another aspect of the thirteenth, a medium carrying a program of another aspect of the eleventh, a medium, characterized in that processable by a computer.
【0036】 [0036]
又、 第14の他の発明は 、上記第12の他の発明のプログラムを担持した媒体であって、コンピュータにより処理可能なことを特徴とする媒体である。 It is another aspect of the fourteenth, a medium carrying a program of another aspect of the twelfth, a medium, characterized in that processable by a computer.
【0037】 [0037]
上記本発明に関連する技術の他の発明の構成によれば、例えば、音声変換装置としてユーザが片手で持ってボタンやタッチパネルで簡単に操作できるものを用いる。 According to the configuration of the other inventions of the art related to the present invention, for example, the user use one that can be easily operated with buttons and a touch panel with one hand as an audio converter. そして、対面する2人の使用者(一方の使用者が、第1の言語を使用し、他方の使用者が第2の言語を使用する)が、操作権限を手動で獲得する手段、あるいは、操作権限を手動で相手に与える手段、あるいは、自動的に獲得する手段を追加して、どちらに操作権限があるかを明示的に示し、かつ、その使用者が操作しやすい表示と入力手段を提供する。 Then, facing two users (one user, using a first language, the other user uses the second language) is a means to acquire the operating authority manually or, means gives the operation authority manually party or automatically acquired to add a unit, either explicitly indicates how the operation authority, and the input means and display the user easy to operate provide. これにより、例えば、表示電力を増加させることなく、従来に比べて表示内容についての使用性の向上を図る事が出来る。 Thus, for example, without increasing the display power, it is possible to improve the usability of the display contents in comparison with the prior art.
【0038】 [0038]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下に、本発明の音声変換装置の一実施の形態の音声通訳装置の構成及び動作について、図面を参照しながら述べるとともに、本発明に関連する技術の発明の音声変換方法の動作も同時に説明する。 Hereinafter, the configuration and operation of the speech interpreter apparatus according to an embodiment of the speech conversion system of the present invention, we describe with reference to the accompanying drawings, it is also described at the same time the operation of the speech conversion method of the present invention techniques relating to the present invention .
【0039】 [0039]
図1は、本実施の形態の音声通訳装置のハードウェア構成を示すブロック図である。 Figure 1 is a block diagram showing a hardware configuration of a voice interpreting device of this embodiment.
【0040】 [0040]
音声入出力装置102はユーザの原言語による発声を受け取り、目的言語に通訳された音声を出力する。 Audio input and output device 102 receives an utterance by the source language of the user, and outputs a sound which is interpreted into the target language. 画像出力装置103は、本通訳装置が通訳すべき原言語の用例を表示する。 The image output apparatus 103, the interpretation device displays the example in the source language to be an interpreter. 画像指示装置105およびボタン106は、画像出力装置103に表示された用例をユーザに選択させるため使用する。 Image indicating device 105 and the button 106 is used for selecting a example displayed on the image output apparatus 103 to the user. 演算制御装置101は、音声入出力装置102と画像指示装置105とボタン106から入力される原言語に関するデータを目的言語に関するデータへ音声言語的に変換し、音声入出力装置102と画像出力装置103に出力する。 The arithmetic and control unit 101, data regarding the source language input from the audio input and output device 102 and the image indicating device 105 and the button 106 to the data relating to the target language converted audio linguistically, audio input and output device 102 and the image output device 103 and outputs it to. 外部大容量不揮発性記憶装置104は、演算制御装置101に処理の手順を指示するプログラムとデータを保持する。 External mass storage nonvolatile memory 104 holds the programs and data for instructing the procedure of the processing to the arithmetic and control unit 101. また、外部データ入出力端子107は、演算制御装置101が外部機器とプログラムやデータを交換するために使用する。 Also, external data input and output terminals 107 are used to the arithmetic and control unit 101 to exchange external devices and programs and data. 電源装置108は、演算制御装置101を駆動するために必要な電源を供給する。 Power supply 108 supplies power necessary for driving the arithmetic and control unit 101.
【0041】 [0041]
ここで、本発明の音声入力手段は、音声入力装置102に対応し、本発明の第1の抽出・表示手段、及び第2の抽出・表示手段は、画像出力装置103と演算制御装置101等を含む構成部分に対応する。 Here, the voice input means of the present invention corresponds to the voice input device 102, the first extraction and display unit, and the second extraction and display unit of the present invention, the image output apparatus 103 and the arithmetic and control unit 101, etc. corresponding to the components, including the. 又、本発明の画面表示特定手段は、画像指示装置105及びボタン106に対応する。 Also, the screen display specifying means of the present invention corresponds to the image indicating device 105 and the button 106. 又、本発明の第1の言語が、本実施の形態での原言語に対応し、本発明の第2の言語が、本実施の形態での目的言語に対応する。 The first language of the present invention, corresponds to the original language of the present embodiment, the second language of the present invention corresponds to the target language in the present embodiment.
【0042】 [0042]
演算制御装置101に、PC/AT互換のマザーボードを使用した具体的な構成例を図2に示す。 The arithmetic and control unit 101, a specific configuration example using motherboard PC / AT compatible in FIG. 音声入出力装置203はマザーボード201のUSB端子を利用して接続する。 Audio input and output device 203 are connected by using the USB terminal of the motherboard 201. 画像出力装置204はマザーボード201のデジタルRGBインタフェース端子を利用して接続する。 The image output apparatus 204 is connected using a digital RGB interface terminal of the motherboard 201. 外部大容量不揮発性記憶装置104には2.5インチのハードディスクドライブ202を使用し、マザーボード201とIDEインタフェースで接続する。 With hard drive 202 2.5 inch outside the mass storage nonvolatile memory 104, to connect the motherboard 201 and the IDE interface. このハードディスクドライブの替わりにフラッシュメモリディスクを使用してもよい。 It may be used flash memory disk instead of the hard disk drive. また、電源装置108にはLi-ion2次電池208を使用し、+5Vおよび+12Vの電圧をマザーボード201に供給する。 Further, the power supply 108 by using the Li-ion2 battery 208 supplies a voltage of + 5V and + 12V to the motherboard 201. マザーボード201の入出力端子の中で、アナログディスプレイ出力端子、ローカルエリアネットワーク端子、キーボード接続端子を引き出し、外部データ入出力端子207を構成する。 Among the input and output terminals of the mother board 201, the drawer analog display output terminal, a local area network terminal, the keyboard connecting terminals, constituting the external data input and output terminal 207.
【0043】 [0043]
画像出力装置204の詳細な構成を図3に示す。 The detailed structure of the image output apparatus 204 shown in FIG. 冷陰極線管のバックライトが背面に実装された表示面積が4インチ、解像度がVGAのLCDユニット301に対し、マザーボード302のデジタルRGBインタフェースの中から18ビットを使用して接続する。 Display area cold cathode fluorescent backlight is mounted on the back of 4 inches and a resolution to the VGA LCD unit 301, connected using 18 bits from the digital RGB motherboard 302. また、映像の同期信号とバックライトの制御信号も接続する。 It also connects the control signal of the video synchronization signal and the backlight.
【0044】 [0044]
画像指示装置205およびボタン206の詳細な構成を図4に示す。 The detailed structure of the image indicating device 205 and the button 206 shown in FIG. 3.8インチの感圧式タッチパネル402をタッチパネルコントローラ401に接続し、指示位置のX座標とY座標をRS232C規格のシリアルデータに変換してマザーボード405のシリアル端子COM1に接続する。 The pressure-sensitive touch panel 402 of 3.8 inches was connected to the touch panel controller 401, connected to the serial terminal COM1 motherboard 405 converts the X and Y coordinates of the pointed position in the serial data of RS232C standard. ボタン403とボタン404は、それぞれタッチパネルコントローラ401に接続され、ボタンのONまたはOFFの情報は指示位置の情報に付加される。 Button 403 and the button 404 is connected to the touch panel controller 401, respectively, ON or information OFF button is added to the information of the indicated position. マザーボード405に実装されるタッチパネルコントローラ401のデバイスドライバ・ソフトウェアによって受信されたシリアルデータは解読され、ボタン403はマザーボード405にマウスを接続したときの左ボタンに、ボタン404は右ボタンに相当するようにマウスクリックイベントが発生する。 Serial data received by the device driver software for the touch panel controller 401 to be mounted on the motherboard 405 is decoded, the button 403 to the left button when a mouse connected to the motherboard 405, the button 404 so as to correspond to the right button mouse click event occurs.
【0045】 [0045]
音声入出力装置203の詳細な構成を図5に示す。 Figure 5 shows the detailed configuration of the audio input and output device 203. USBオーディオインタフェース504は入力されるアナログ音声をデジタルデータに変換してマザーボード505に送信し、マザーボード505(図2の201に対応)から送信されるデジタルデータをアナログ音声に変換する。 USB Audio interface 504 transmits the analog audio input to the motherboard 505 is converted into digital data, converts the digital data to be transmitted from the mother board 505 (corresponding to 201 in FIG. 2) into an analog audio. デジタルデータの送受信にはUSBインタフェースを使用する。 Using the USB interface to send and receive digital data. アナログ音声の収集にはマイク503を使用する。 The collection of analog audio using the microphone 503. また、USBインタフェース504の出力はオーディオアンプ502によって増幅し、スピーカ501から出力する。 The output of the USB interface 504 is amplified by an audio amplifier 502, output from the speaker 501. なお、USBオーディオインタフェース504の替わりに、マザーボード505に実装されているオーディオインタフェースを使用してもよい。 Incidentally, instead of the USB audio interface 504 may be used audio interface that is mounted on a motherboard 505.
【0046】 [0046]
図2の構成を、ユーザが片手で持つことが可能な筐体に実装した例の斜視図を図6、および、その三面図を図7(a)〜図7(c)に示す。 Of the structure 2, 6 a perspective view of an example in which the user has mounted in a housing which can have one hand, and, shows the three views in FIGS. 7 (a) ~ FIG 7 (c). 主筐体601には、画像指示装置205と画像表示装置204とボタン205が実装されている。 The main housing 601, an image indicating device 205 and the image display device 204 and the button 205 are mounted. 603および604はそれぞれ、ボタン403およびボタン404に相当する。 Each 603 and 604, corresponding to the button 403 and button 404. 副筐体602には、音声入出力装置203が実装されている。 The sub-housing 602, audio input and output device 203 are mounted. 本通訳装置を利用しない場合は、画像表示装置204の表示面を副筐体602が覆って保護する。 If you do not use this interpretation device, the display surface of the image display device 204 the sub-housing 602 covers and protects.
【0047】 [0047]
本通訳装置を利用する場合は、図8のように副筐体802を音声入出力装置203(マイク803)の指向性の方向がユーザの顔を向く所定の位置まで移動させてから利用する。 Operation of this interpretation device, the direction of directivity of Fukukatami 802 the audio input and output device 203 (microphone 803) as shown in Figure 8 utilizes a move to a predetermined position facing the face of the user. その三面図を図9(a)〜図9(c)に示す。 The three orthographic views shown in FIG. 9 (a) ~ FIG 9 (c). すなわち副筐体802に実装されたスピーカ804がユーザ方向を向くまで持ち上げ、さらにマイク803も同じく持ち上げる。 That speaker 804 mounted on Fukukatami body 802 is lifted up toward the user direction, further microphone 803 is also lifted as well. この状態でタッチパネル付LCD805が使用可能になる。 With a touch panel LCD805 is available in this state.
【0048】 [0048]
図10(a)〜図10(c)に主筐体601に対する実装の様子を示す。 Figure 10 (a) ~ FIG 10 (c) shows the state of implementation for the main housing 601. 4インチVGALCDユニット301とタッチパネル402は重ねられ、タッチパネル付LCD1005として実装される。 4 inches VGALCD unit 301 and the touch panel 402 is superimposed, it is implemented as LCD1005 with a touch panel. 図11(a)〜図11(c)に副筐体602に対する実装の様子を示す。 Figure 11 shows the state of implementation for Fukukatami body 602 (a) ~ FIG 11 (c).
【0049】 [0049]
図12に本発明のプログラムとデータの実施の形態であるソフトウェア構成図を示す。 Figure 12 shows a software configuration in the form of implementation of the program and data of the present invention to. 図12において、1201は各構成要素に指示を行い、各構成要素からのデータの流れを制御する制御部、1202は制御部1201からの情報の表示や、ユーザからの入力を制御部1201に送るGUI(Graphical User Interface)部、1203は制御部1201からの指示によりユーザの音声を収録する音声入力部、1204は音声入力部から送られるユーザの音声を連続音声認識する音声認識部、1205は原言語と目的言語の用例の対応を保持する用例データベース、1206は用例データベース1205において、クラス化されている単語を保持する単語クラス辞書、1207は制御部1201から送られてくる音声認識結果から、用例データベース1205を参照して用例の選択を行う用例選択部、1208は制御部1201からの指示に従 12, 1201 performs an instruction to each component, a control unit for controlling the flow of data from each component 1202 sends display of information from the control unit 1201, an input from a user to the control unit 1201 GUI (Graphical user Interface) unit, a voice input unit to record the user's voice in response to an instruction from 1203 controller 1201, 1204 continuous voice recognition unit that recognizes the voice of the user sent from the voice input unit, 1205 Hara example database that holds the corresponding language & Examples target language, 1206 in the example database 1205, word class dictionary which holds the words that are classed, 1207 from the speech recognition result sent from the control unit 1201, examples example selection unit refers to database 1205 to select the example, 1208 follow the instruction from the control unit 1201 て、用例選択部1207により選択された用例の中からクラス化された単語の選択を行う単語選択部、1209は制御部1201により指定されたクラス化された単語に変わることが可能である単語を単語クラス辞書1206を参照することにより、代替単語を選択する代替単語選択部、1210は制御部1201により指定された用例を用例データベース1205および単語クラス辞書1206を参照することにより目的言語に変換する言語変換部、1211は制御部より指定された目的言語による用例文を音声合成して出力する音声合成部で構成する。 Te, word selection unit for selecting a word that is classed among the examples selected by the example selecting unit 1207, a word 1209 can be changed to a word which is classed as specified by the control unit 1201 by referring to the word class dictionary 1206, the substitute word selector for selecting alternative words, 1210 is converted into a target language by referring to the example database 1205 and the word class dictionary 1206 the specified example by the control unit 1201 language conversion unit 1211 constitute the example sentences by target language designated by the control unit in the speech synthesizing section for outputting the speech synthesis. 尚、ここで、用例データベース1205〜言語変換部1210をまとめて翻訳部1220と呼ぶ。 Here, it referred to as a translation unit 1220 collectively example database 1205 language conversion unit 1210.
【0050】 [0050]
ここで、本発明の音声認識手段は、音声認識部1204に対応し、本発明の変換対象選定手段は、用例選択部1207等に対応する。 Here, the speech recognition means of the present invention corresponds to the speech recognition unit 1204, a conversion object selecting means of the present invention corresponds to the example selector 1207 and the like. 又、本発明の画面表示特定手段は、単語選択部1208等に対応し、本発明の候補選定手段は、代替単語選択部1209等に対応する。 Also, the screen display specifying means of the present invention corresponds to the word selecting unit 1208 and the like, the candidate selecting means of the present invention corresponds to the alternative word selection unit 1209 and the like. 又、本発明の変換手段は、言語変換部1210と音声合成部1211などを含む構成部分に対応する。 Further, the conversion means of the present invention corresponds to the components, including the language conversion unit 1210 and the audio synthesis unit 1211.
【0051】 [0051]
図14に、用例データベース1205の具体例を示す。 Figure 14 shows a specific example of the example database 1205. 用例は対話の1文に対応しており、各用例において予め定められた情報(原言語の構成要素、構成要素の依存関係)とともに、原言語と目的言語の対応を保持している。 Examples corresponds to one sentence of dialogue, (components of the source language dependency of the components) predetermined information in each example along with, and holds the correspondence between the source language and target language. <>で囲まれた原言語の単語は、クラス化された単語であることを示す。 Word of the enclosed original language in the <> indicates that it is a word that has been classed. クラス化された単語は、同じクラスの単語と置き換えることが可能であることを示す。 Classed word indicates that it is possible to replace a word of the same class.
【0052】 [0052]
図15に単語クラス辞書1206の具体例を示す。 Specific examples of word class dictionary 1206 in FIG. ここで、クラスとは「果物」のように抽象度の高い単語のことであり、クラスに属する単語とは、「りんご」や「みかん」のようにクラスの具体的な実体を表現する単語である。 Here, the class is that of the high degree of abstraction words such as "fruit", a word that belongs to the class, in the words to express the specific entity of the class, such as "apples" and "oranges" is there. なお、クラス化の抽象度は、音声認識部1204の性能に応じて変更することにより、効率的に用例選択を行うことが可能である。 Incidentally, abstract of classification by changing in accordance with the performance of the speech recognition unit 1204, it is possible to perform efficiently example selected. また、クラスを階層化して単語クラス辞書1206を構成してもよい。 It is also possible to configure the word class dictionary 1206 a hierarchy of class.
【0053】 [0053]
図16にタッチパネル付LCD805に表示されたGUI部1202の詳細を示す。 Showing the details of the GUI unit 1202 displayed on the touch panel with LCD805 Figure 16. 1601は翻訳の方向を指定する翻訳方向指定部、1603は音声認識部1204により認識された音声認識結果を表示する音声認識結果表示部、1604は用例選択部1207により、選択された用例文を表示する用例候補表示部、1605はユーザにより指定された用例を表示する用例選択結果表示部、1606は言語変換部が目的言語に変換した用例を表示する翻訳結果表示部、1607、1608はそれぞれボタン806、ボタン807に相当し、ユーザによる入力を行う。 1601 translation direction specification portion that specifies the direction of translation, 1603 speech recognition result display unit for displaying the speech recognition result recognized by the speech recognition unit 1204, 1604 by the example selector 1207, display the example sentence selected example candidate display unit for, example selection result displaying unit that displays the example specified by the user 1605, 1606 translation result display unit for displaying the example the language conversion unit is converted into the target language, each of the buttons 1607,1608 806 , it corresponds to the button 807, performs an input by the user. また、タッチパネル付LCD805に対して、ユーザはポインティング入力を行うことが可能である。 Further, with respect LCD805 with a touch panel, the user can perform the pointing input.
【0054】 [0054]
図13は本発明のソフトウェアのフローチャートである。 Figure 13 is a flow chart of the software of the present invention. 1301は翻訳の方向を選択するステップ、1302はマイク803で音声を入力し音声認識を行うステップ、1303は音声認識結果に基づいて用例データベース1205から用例を検索するステップ、1304は検索した用例からユーザが用例の選択を行うステップ、1305はステップ1304で選択した用例を修正するか、または翻訳を行うかを決定するステップ、1306はステップ1304で選択した用例において修正する単語を選択するステップ、1307はステップ1306で選択した修正する単語に置き換え可能な単語の一覧を出力するステップ、1308はステップ1307で出力した単語の一覧からユーザが希望する単語を選択するステップ、1309はステップ1308により変更した単語に用例を置き換えるステ 1301 selecting a direction of translation, 1302 step of performing speech recognition by entering the voice microphone 803, 1303 retrieving example from the example database 1205 based on the speech recognition result, the user from the example retrieved 1304 There step for selecting a example, 1305 steps of determining whether to modify the examples selected at step 1304, or performs translation, 1306 steps of selecting a word to be modified in the example selected in step 1304, the 1307 and it outputs a list of possible words replaced by the word you want to modify selected in step 1306 step, 1308 steps of selecting a word desired by the user from a list of words that was output in step 1307, 1309 to the words that were changed by the step 1308 stearyl to replace the example プ。 Flop. 1310はステップ1305により決定された用例文を目的言語に変換するステップ、1311は、ステップ1309により目的言語に変換された用例を音声合成し、スピーカ804から出力するステップである。 1310 converting the example sentences determined in step 1305 to the target language, 1311, the example which has been converted into the target language and speech synthesis in step 1309, a step of outputting from the speaker 804.
【0055】 [0055]
以下、本発明のソフトウェアの動作を図13のフローチャートと、図17から図25のタッチパネル付LCD805に表示されるGUI部1202の表示内容を参照しながら説明する。 Hereinafter, a software operation of the present invention and the flowchart of FIG. 13 will be described with reference to the display contents of the GUI section 1202 to be displayed on the touch panel with LCD805 in FIG. 25 from FIG. 17. 一例として、ユーザが「アスピリンはありますか」という文を翻訳したい場合について説明する。 As an example, a user will be described if you want to translate the sentence "Do you have any aspirin." 具体的には、ユーザは「薬はありますか」と入力してから、「薬」の部分を「アスピリン」に置き換える操作を行う。 Specifically, the user from the input as "Do you have medicine", performs an operation to replace a portion of the "medicine" to "aspirin". 本発明では、タッチパネルとボタンを利用して2種類の入力操作が可能であるので、以下ではタッチパネル入力、ボタン入力の順で説明する。 In the present invention, since using a touch panel and buttons are possible two input operations, the following will now be described in the sequence of touch input, button input.
【0056】 [0056]
タッチパネル入力の場合のステップ1301からステップ1303までのGUI部1202の表示内容を図17に示す。 The display contents of the GUI section 1202 from step 1301 in the case of a touch panel input to step 1303 shown in FIG. 17. ステップ1301では、ユーザは翻訳方向指定部1701をタッチパネル入力によりクリックし日英方向の翻訳を指定する。 In step 1301, the user specifies, click the Japanese-to-English direction of translation by the touch panel input the translation direction designating unit 1701. この時、GUI部1202は翻訳方向を制御部1201に送信し、制御部1201は音声入力部1203に音声入力を指示する。 At this time, GUI unit 1202 transmits the translation direction to the control unit 1201, the control unit 1201 instructs the voice input to the voice input unit 1203. ユーザはマイク803を用いて「何か薬はありますか」と発声する。 The user may say "Do you have any drugs" using the microphone 803. 音声入力部1203は、入力された音声を音声認識部1204に送信する。 Voice input section 1203, transmits the speech input to the speech recognition unit 1204. ステップ1302では、音声認識部1204が指定された翻訳方向に対応する音声認識を行い、誤認識を含んだ認識結果「7日薬はありますか」を制御部1201に送信したとする。 In step 1302, performs speech recognition that corresponds to the translation direction in which the voice recognition unit 1204 is specified, and sent the result recognition that includes the erroneous recognition "Do you have 7 days drugs" to the control unit 1201. 制御部1201は、音声認識結果をGUI部1202、および用例選択部1207に送信する。 Control unit 1201 sends the speech recognition result GUI section 1202, and in the example selector 1207. GUI部1202は送信された音声認識結果を認識結果表示部1702に表示する。 GUI section 1202 displays the transmitted speech recognition result to the recognition result display unit 1702. 一方、ステップ1303では、用例選択部1207が音声認識結果に基づき、以下の方法で用例を検索し、検索された用例を制御部1201に送信する。 On the other hand, in step 1303, the example selector 1207 is based on a speech recognition result, searches for example in the following manner, and transmits the retrieved example to the control unit 1201.
【0057】 [0057]
用例選択部1207は、「7日薬はありますか」という音声認識結果から、用例データベース1205で定義されている重要語の集合として、「7日」,「薬」,「あり」を抽出する。 Example selection unit 1207, from the speech recognition result of "7 days drugs Have you are", as a set of key words that are defined in the example database 1205, "7 days", "medicine", to extract the "Yes".
【0058】 [0058]
ここで、「7日」はクラス化された単語<日数>に帰属し、「薬」はクラス化された単語<薬>に帰属する。 Here, the "7 days" is attributed to the word <days>, which is the class of, attributable to the "medicine" word, which is the class of <medicine>. 「あり」はいかなるクラス化された単語にも帰属しない。 "There" is not attributable to the words that are any class of.
【0059】 [0059]
用例選択部1207は、図14の構成要素の依存関係を順次確認し、依存関係が1つ以上成立する用例の中で、成立数が多い用例から順に選択する。 Example selecting section 1207 sequentially check the dependencies of the components of FIG. 14, in the example of dependency is established one or more are selected from the number of satisfied many examples in this order. 例えば、用例番号1の用例については、重要語の上記集合の中に「かかり」が存在しないので依存関係の成立数は0である。 For example, for the example of the example number 1, it established the number of dependencies because "it takes" is not present in the set of the important word is 0. 用例番号2の用例については、重要語の上記集合の中に「何か」が存在しないので、構成要素の依存関係の中で、(1→2)は成立しないが、(2→3)は成立する(図14参照)。 For example of the example number 2, because there is "something" in the above-mentioned set of important word does not exist, in the component dependencies, (1 → 2) is not satisfied, (2 → 3) is established (see FIG. 14). したがって、依存関係の成立数は1である。 Therefore, establishment number dependency is 1.
【0060】 [0060]
用例選択部1207が、依存関係の成立数が1以上の用例を用例データベース1205の中から選択するように設計すると、図14で用例番号1の用例は選択されず、用例番号2の用例は選択される。 Example selecting unit 1207, the establishment number of dependencies is designed to select one or more of the example from the example database 1205 is not selected examples of the example No. 1 in FIG. 14, it is the example selected example No. 2 It is. 重要語の集合の中に「何か」が存在しないので、選択された用例番号2の用例については、 Since the "something" does not exist in the set of key words, for example of the example number 2, which is selected,
・「薬はありますか」 - "Do you have medicine."
という表記を出力する。 And it outputs the notation.
【0061】 [0061]
以下の説明では、用例データベース1205の中の他の用例、 In the following description, other examples in the example database 1205,
・「薬ですか」 - "medicine Is"
・「薬です」 - "It's medicine"
が上記と同様に選択されたとして説明する。 There will be described as the selected in the same manner as described above.
【0062】 [0062]
制御部1201は、用例選択部1207から送信された用例文をGUI部1202に送信する。 Control unit 1201 transmits the example sentences transmitted from the example selector 1207 to the GUI unit 1202. GUI部1202は、選択された用例文を用例候補表示部1703に表示する。 GUI section 1202 displays the example sentence selected in the example candidate display unit 1703.
【0063】 [0063]
ステップ1304のGUI部1202の表示内容を図18に示す。 The display contents of the GUI section 1202 in step 1304 shown in FIG. 18. ステップ1304では、用例候補表示部1703に表示されている用例候補の中からタッチパネル入力で1801をクリックすることにより、ユーザは自分が発声した文章を同じ文意の用例「薬はありますか」を選択する。 In step 1304, by clicking on the 1801 in the touch panel input from the example candidate that is displayed on the example candidate display unit 1703, the user can select the "Do you have medicine" example of the same meaning of a sentence a sentence that I uttered to. この時、GUI部1202は選択された用例文を制御部1201に送信する。 At this time, GUI unit 1202 transmits the example sentences selected by the control unit 1201.
【0064】 [0064]
ステップ1305のGUI部1202の表示内容を図19に示す。 The display contents of the GUI section 1202 in step 1305 shown in FIG. 19. ステップ1305では、GUI部1202は用例結果表示部1901に選択された用例文を表示し、用例候補表示部1902をクリアする。 In step 1305, GUI section 1202 displays the example sentence selected in the example result display unit 1901 clears the example candidate display unit 1902. その後、用例を決定し翻訳を行うか、用例を修正してクラス化された単語を代替可能な単語で置き換えるかを選択する。 Thereafter, whether to determine the example translating, selects either replace a word that has been classed by modifying the examples in fungible words. この時、ユーザは用例結果表示部1901をタッチパネルでクリックすることにより、用例を決定することが可能である。 At this time, the user by clicking the example result display unit 1901 in the touch panel, it is possible to determine the example. 決定された用例は制御部1201に送信される。 Determined examples are sent to the control unit 1201. また、ユーザは用例結果表示部1901をタッチパネルでダブルクリックすることにより、用例中の単語を置き換えるモードに移行することが可能である。 The user by double-clicking the example result display unit 1901 in the touch panel, it is possible to shift to a mode to replace words in examples.
【0065】 [0065]
ステップ1305で用例を決定した場合のGUI部1202の表示内容を図20に示す。 The display contents of the GUI section 1202 in the case of determining the example in step 1305 shown in FIG. 20. ステップ1310で、制御部1201は、ユーザが決定した用例「薬はありますか」を言語変換部1210に送信する。 In step 1310, the control unit 1201, to send the example, "Do you have medicine is" determined by the user in the language conversion unit 1210. 言語変換部1210は、用例データベース1205を用いて目的言語「Any medicine」に変換し、変換結果を制御部1201に送信する。 Language conversion unit 1210 converts the target language "the Any medicine" using the example database 1205, and transmits the converted result to the control section 1201. 制御部1201では、変換結果をGUI部1202、および音声合成部1211に送信する。 The control unit 1201 transmits the conversion result GUI unit 1202, and the voice synthesis unit 1211. ステップ1311では、GUI部1202は、変換結果を通訳結果表示部2001に表示する。 In step 1311, GUI 1202 displays a conversion result interpretation result display unit 2001. 一方、音声合成部1211は、変換結果を音声合成してスピーカ804から出力する。 On the other hand, the voice synthesis unit 1211, a conversion result by the speech synthesis output from the speaker 804.
【0066】 [0066]
ステップ1306のGUI部1202の表示内容を図21に示す。 The display contents of the GUI section 1202 in step 1306 shown in FIG. 21. ステップ1306では、ユーザがステップ1305で、単語選択モードを選択した場合に、変更する単語を選択する。 In step 1306, the user at step 1305, when the user selects the word selection mode, selects a word to be changed. この時、制御部1201は、単語選択部1208に単語選択を指示する。 At this time, the control unit 1201 instructs the word selected word selection unit 1208. 単語選択部1208は、用例の中からクラス化されている単語「薬」を抽出し、制御部1201に送信する。 Word selection unit 1208 extracts the word "medicine" which is classed among the examples, and transmits to the control unit 1201. 制御部1201は、GUI部1202に単語を送信し、GUI部1202は、用例結果表示部2101に表示されている「薬」に下線を引きユーザに変更可能な単語であることを表示する。 Control unit 1201 sends the word to the GUI unit 1202, the GUI section 1202 displays that the words can be changed to the user underlined "drug" displayed in the example result display unit 2101. ユーザはタッチパネル入力で、修正したい単語「薬」をクリックする。 The user of a touch panel input, click on the word "medicine" that you want to modify. GUI部1202は、選択された単語を制御部1201に送信する。 GUI unit 1202 transmits the selected word to the control unit 1201.
【0067】 [0067]
ステップ1307のGUI部1202の表示内容を図22に示す。 The display contents of the GUI section 1202 in step 1307 shown in FIG. 22. ステップ1307では、ステップ1306によりユーザに指定された単語「薬」の代替単語の一覧を表示する。 In step 1307, to display a list of alternate words of the words that have been specified by the user "medicine" by the step 1306. 制御部1201はユーザが指定した単語「薬」を代替単語選択部1209に送信する。 Control unit 1201 transmits the word "medicine" specified by the user to the alternative word selection unit 1209. 代替単語選択部1209は、図15に示す単語クラス辞書1206を参照し、ユーザが指定した単語「薬」と同じクラスの単語・「アスピリン」 Substitute word selector 1209 refers to the word class dictionary 1206 shown in FIG. 15, the word-of the same class as the word specified by the user, "medicine", "Aspirin"
・「かぜ薬」 - "cold medicine"
・「トローチ」 - "lozenges"
・「胃腸薬」 ·"Gastrointestinal drug"
を抽出し、制御部1201に送信する。 Extracting, and transmits to the control unit 1201. 制御部1201は、GUI部1202に代替単語の一覧を送信し、GUI部1202は、リストウィンドウ2201に代替単語の一覧を表示する。 The control unit 1201, sends a list of alternative word on the GUI section 1202, the GUI section 1202 displays a list of alternative words in this list window 2201.
【0068】 [0068]
ステップ1308のGUI部1202の表示内容を図23に示す。 The display contents of the GUI section 1202 in step 1308 shown in FIG. 23. ステップ1308は、リストウィンドウ2201に示された代替単語一覧の中から希望する単語を選択する。 Step 1308, to select the word you want from among the alternative word list that is shown in the list window 2201. この時、GUI部1202はユーザのタッチパネル入力によりユーザの希望する代替単語2301をクリックすることにより代替単語「アスピリン」を取得し、制御部1201に送信する。 At this time, GUI unit 1202 acquires the substitute word "Aspirin" by clicking the alternative word 2301 desired by the user by the touch panel input from the user, and transmits to the control unit 1201.
【0069】 [0069]
ステップ1309のGUI部1202の表示内容を図24に示す。 The display contents of the GUI section 1202 in step 1309 shown in FIG. 24. ステップ1309は、指定された代替単語「アスピリン」により用例を「アスピリンはありますか」に変更する。 Step 1309, to change the example by word specified alternative "aspirin" to "aspirin there is either". その後、GUI部1202は、用例結果表示部2401に表示されている用例を「アスピリンはありますか」に変更して表示する。 Then, GUI section 1202, to modify and display the examples that are displayed in the example result display unit 2401 in the "Do you have any aspirin." そして、ステップ1305に戻る。 Then, the process returns to step 1305.
【0070】 [0070]
図25は、ステップ1305からステップ1308を繰り返し、ユーザがステップ1305で用例決定を選択し、「アスピリンはありますか」を目的言語「Any aspirin」に変換し、合成音声を出力するときのGUI部1202の表示内容である。 Figure 25 repeats the steps 1308 from step 1305, GUI 1202 when the user selects the example determined in step 1305, then converted to "Is there Aspirin" target language "the Any aspirin", and outputs the synthesized speech which is the display contents.
【0071】 [0071]
次に、ボタン入力の場合の場合について説明する。 Next, a description will be given of the case in the case of a button input. 以下の説明では、SW1はボタン806、SW2はボタン807にそれぞれ物理的に相当する。 In the following description, SW1 button 806, SW2 are respectively physically corresponds to the button 807.
【0072】 [0072]
ステップ1301からステップ1303までのGUI部1202の表示内容を図17に示す。 The display contents of the GUI section 1202 from step 1301 to step 1303 shown in FIG. 17. ステップ1301では、SW1をクリックことにより日英方向の翻訳を指定し、SW2をクリックすることにより英日方向の翻訳を指定する。 In step 1301, it specifies the Japanese-to-English direction of translation by clicking the SW1, to specify the English-Japanese direction of translation by clicking on the SW2. この場合SW1をクリックすることにより日英方向の翻訳を指定する。 This specifies the Japanese-to-English direction of translation by the case click the SW1. この時、GUI部1202は翻訳方向を制御部1201に送信し、制御部1201は音声入力部1203に音声入力を指示する。 At this time, GUI unit 1202 transmits the translation direction to the control unit 1201, the control unit 1201 instructs the voice input to the voice input unit 1203. ユーザはマイクロホン803を用いて「何か薬はありますか」と発声する。 The user may say "Do you have any drugs" using the microphone 803. 音声入力部1203は、入力された音声を音声認識部1204に送信する。 Voice input section 1203, transmits the speech input to the speech recognition unit 1204. ステップ1302では、音声認識部1204が指定された翻訳方向に対応する音声認識を行い、誤認識を含んだ認識結果「7日薬はありますか」を制御部1201に送信したとする。 In step 1302, performs speech recognition that corresponds to the translation direction in which the voice recognition unit 1204 is specified, and sent the result recognition that includes the erroneous recognition "Do you have 7 days drugs" to the control unit 1201. 制御部1201は、音声認識結果をGUI部1202、および用例選択部1207に送信する。 Control unit 1201 sends the speech recognition result GUI section 1202, and in the example selector 1207. GUI部1202は送信された音声認識結果を認識結果表示部1702に表示する。 GUI section 1202 displays the transmitted speech recognition result to the recognition result display unit 1702. 一方、ステップ1303では、用例選択部1207が音声認識結果に基づいて、用例を制御部1201に送信する。 On the other hand, in step 1303, the example selector 1207 is based on a speech recognition result, and transmits the example to the control unit 1201.
【0073】 [0073]
用例選択部1207は、「7日薬はありますか」という音声認識結果から、用例データベース1205で定義されている重要語の集合として、「7日」,「薬」,「あり」を抽出する。 Example selection unit 1207, from the speech recognition result of "7 days drugs Have you are", as a set of key words that are defined in the example database 1205, "7 days", "medicine", to extract the "Yes".
【0074】 [0074]
ここで、「7日」はクラス化された単語<日数>に帰属し、「薬」はクラス化された単語<薬>に帰属する。 Here, the "7 days" is attributed to the word <days>, which is the class of, attributable to the "medicine" word, which is the class of <medicine>. 「あり」はいかなるクラス化された単語にも帰属しない。 "There" is not attributable to the words that are any class of.
【0075】 [0075]
用例選択部1207は、図14の構成要素の依存関係を順次確認し、依存関係が1つ以上成立する用例の中で、成立数が多い用例から順に選択する。 Example selecting section 1207 sequentially check the dependencies of the components of FIG. 14, in the example of dependency is established one or more are selected from the number of satisfied many examples in this order. 例えば、用例番号1の用例については、重要語の上記集合の中に「かかり」が存在しないので依存関係の成立数は0である。 For example, for the example of the example number 1, it established the number of dependencies because "it takes" is not present in the set of the important word is 0. 用例番号2の用例については、重要語の上記集合の中に「何か」が存在しないので、構成要素の依存関係の中で、(1→2)は成立しないが、(2→3)は成立する(図14参照)。 For example of the example number 2, because there is "something" in the above-mentioned set of important word does not exist, in the component dependencies, (1 → 2) is not satisfied, (2 → 3) is established (see FIG. 14). したがって、依存関係の成立数は1である。 Therefore, establishment number dependency is 1.
【0076】 [0076]
用例選択部1207が、依存関係の成立数が1以上の用例を用例データベース1205の中から選択するように設計すると、図14で用例番号1の用例は選択されず、用例番号2の用例は選択される。 Example selecting unit 1207, the establishment number of dependencies is designed to select one or more of the example from the example database 1205 is not selected examples of the example No. 1 in FIG. 14, it is the example selected example No. 2 It is. 重要語の集合の中に「何か」が存在しないので、選択された用例番号2の用例については、 Since the "something" does not exist in the set of key words, for example of the example number 2, which is selected,
・「薬はありますか」 - "Do you have medicine."
という表記を出力する。 And it outputs the notation.
【0077】 [0077]
以下の説明では、用例データベース1205の中の他の用例、 In the following description, other examples in the example database 1205,
・「薬ですか」 - "medicine Is"
・「薬です」 - "It's medicine"
が上記と同様に選択されたとして説明する。 There will be described as the selected in the same manner as described above.
【0078】 [0078]
制御部1201は、用例選択部1207から送信された用例文をGUI部1202に送信する。 Control unit 1201 transmits the example sentences transmitted from the example selector 1207 to the GUI unit 1202. GUI部1202は、選択された用例文を用例候補表示部1703に表示する。 GUI section 1202 displays the example sentence selected in the example candidate display unit 1703.
【0079】 [0079]
ステップ1304のGUI部1202の表示内容を図18に示す。 The display contents of the GUI section 1202 in step 1304 shown in FIG. 18. ステップ1304では、用例候補表示部1604に表示されている用例候補の中からボタン入力により、ユーザは自分が発声した文章を同じ文意の用例「薬はありますか」を選択する。 In step 1304, by a button input from the example candidate that is displayed on the example candidate display unit 1604, the user selects the "Do you have medicine" example of the same meaning of a sentence a sentence that I uttered. 選択方法は、SW1をクリックすることにより指定される行が一行上に移動し、またSW2をクリックすることにより、指定される行が一行下に移動する。 Selection method, the line designated by clicking the SW1 is moved on one line, and by clicking the SW2, line designated to move down one line. 用例を選択する場合には、SW1をダブルクリックすることにより選択する。 If you choose the example is selected by double-clicking the SW1. この時、GUI部1202は選択された用例文を制御部1201に送信する。 At this time, GUI unit 1202 transmits the example sentences selected by the control unit 1201.
【0080】 [0080]
ステップ1305のGUI部1202の表示内容を図19に示す。 The display contents of the GUI section 1202 in step 1305 shown in FIG. 19. ステップ1305では、GUI部1202は用例結果表示部1901に選択された用例文を表示し、用例候補表示部1902をクリアする。 In step 1305, GUI section 1202 displays the example sentence selected in the example result display unit 1901 clears the example candidate display unit 1902. その後、用例を決定し翻訳を行うか、用例を修正してクラス化された単語を代替可能な単語で置き換えるかを選択する。 Thereafter, whether to determine the example translating, selects either replace a word that has been classed by modifying the examples in fungible words. この時、ユーザはボタン入力でSW2をクリックすることにより、用例を決定することが可能である。 At this time, the user by clicking the SW2 button input, it is possible to determine the example. 決定された用例は制御部1201に送信される。 Determined examples are sent to the control unit 1201. また、ボタン入力でSW1をクリックすることにより、用例中の単語の置き換えモードに移行することが可能であり、制御部1201に送信される。 By clicking the SW1 button input, it is possible to shift to a mode replacement word in example, is transmitted to the control unit 1201.
【0081】 [0081]
ステップ1305で用例を決定した場合のGUI部1202の表示内容を図20に示す。 The display contents of the GUI section 1202 in the case of determining the example in step 1305 shown in FIG. 20. ステップ1310で、制御部1201は、ユーザが決定した用例「薬はありますか」を言語変換部1210に送信する。 In step 1310, the control unit 1201, to send the example, "Do you have medicine is" determined by the user in the language conversion unit 1210. 言語変換部1210は、用例データベース1205を用いて目的言語「Any medicine」に変換し、変換結果を制御部1201に送信する。 Language conversion unit 1210 converts the target language "the Any medicine" using the example database 1205, and transmits the converted result to the control section 1201. 制御部1201では、変換結果をGUI部1202、および音声合成部1211に送信する。 The control unit 1201 transmits the conversion result GUI unit 1202, and the voice synthesis unit 1211. ステップ1311では、GUI部1202は、変換結果を通訳結果表示部2001に表示する。 In step 1311, GUI 1202 displays a conversion result interpretation result display unit 2001. 一方、音声合成部1211は、変換結果を音声合成してスピーカ804から出力する。 On the other hand, the voice synthesis unit 1211, a conversion result by the speech synthesis output from the speaker 804.
【0082】 [0082]
ステップ1306のGUI部1202の表示内容を図21に示す。 The display contents of the GUI section 1202 in step 1306 shown in FIG. 21. ステップ1306では、ユーザがステップ1305で、単語選択モードを選択した場合に、変更する単語を選択する。 In step 1306, the user at step 1305, when the user selects the word selection mode, selects a word to be changed. この時、制御部1201は、単語選択部1208に単語選択を指示する。 At this time, the control unit 1201 instructs the word selected word selection unit 1208. 単語選択部1208は、用例の中からクラス化されている単語「薬」を抽出し、制御部1201に送信する。 Word selection unit 1208 extracts the word "medicine" which is classed among the examples, and transmits to the control unit 1201. 制御部1201は、GUI部1202に単語を送信し、GUI部1202は、用例結果表示部2101に表示されている「薬」に下線を引きユーザに変更可能な単語であることを表示する。 Control unit 1201 sends the word to the GUI unit 1202, the GUI section 1202 displays that the words can be changed to the user underlined "drug" displayed in the example result display unit 2101. ユーザはボタン入力で、修正したい単語「薬」を選択する。 The user button input, select the word "medicine" that you want to modify. すなわち、SW1をクリックすることにより1単語左に移動し、SW2をクリックすることにより1単語右に移動する。 In other words, to move to one word left by clicking on the SW1, to move to one word right by clicking on the SW2. また、SW1をダブルクリックすることにより修正単語を選択することが可能である。 In addition, it is possible to select the Modify word by double-clicking the SW1. GUI部1202は、選択された単語を制御部1201に送信する。 GUI unit 1202 transmits the selected word to the control unit 1201.
【0083】 [0083]
ステップ1307のGUI部1202の表示内容を図22に示す。 The display contents of the GUI section 1202 in step 1307 shown in FIG. 22. ステップ1307では、ステップ1306によりユーザに指定された単語「薬」の代替単語の一覧を表示する。 In step 1307, to display a list of alternate words of the words that have been specified by the user "medicine" by the step 1306. 制御部1201はユーザが指定した単語「薬」を代替単語選択部1209に送信する。 Control unit 1201 transmits the word "medicine" specified by the user to the alternative word selection unit 1209. 代替単語選択部1209は、図15に示す単語クラス辞書1206を参照し、ユーザが指定した単語「薬」と同一クラスの単語・「アスピリン」 Substitute word selector 1209 refers to the word class dictionary 1206 shown in FIG. 15, the word-of the same class as the word "drug" designated by the user "Aspirin"
・「かぜ薬」 - "cold medicine"
・「トローチ」 - "lozenges"
・「胃腸薬」 ·"Gastrointestinal drug"
を抽出し、制御部1201に送信する。 Extracting, and transmits to the control unit 1201. 制御部1201は、GUI部1202に代替単語の一覧を送信し、GUI部1202は、リストウィンドウ2201に代替単語の一覧を表示する。 The control unit 1201, sends a list of alternative word on the GUI section 1202, the GUI section 1202 displays a list of alternative words in this list window 2201.
【0084】 [0084]
ステップ1308のGUI部1202の表示内容を図23に示す。 The display contents of the GUI section 1202 in step 1308 shown in FIG. 23. ステップ1308は、リストウィンドウ2201に示された代替単語一覧の中から希望する単語を選択する。 Step 1308, to select the word you want from among the alternative word list that is shown in the list window 2201. この時、GUI部1202はユーザのボタン入力によりユーザの希望する代替単語「アスピリン」を取得し、制御部1201に送信する。 In this case, GUI section 1202 to obtain an alternative word "aspirin" desired by the user by the button input of the user, and transmitted to the control unit 1201. 入力方法は、SW1をクリックすることにより、1単語上の単語にカーソルが移動し、SW2をクリックすることにより、1単語下の単語にカーソルが移動する。 Input methods, by clicking on the SW1, the cursor moves to the words on a word by clicking the SW2, the cursor is moved to the word under one word. 単語を選択するときは、SW1をダブルクリックすることにより選択することが可能である。 When you select a word, it is possible to select by double-clicking the SW1.
【0085】 [0085]
ステップ1309のGUI部1202の表示内容を図24に示す。 The display contents of the GUI section 1202 in step 1309 shown in FIG. 24. ステップ1309は、指定された代替単語「アスピリン」により用例を「アスピリンはありますか」に変更する。 Step 1309, to change the example by word specified alternative "aspirin" to "aspirin there is either". その後、GUI部1202は、用例結果表示部2401に表示されている用例を「アスピリンはありますか」に変更して表示する。 Then, GUI section 1202, to modify and display the examples that are displayed in the example result display unit 2401 in the "Do you have any aspirin." そして、ステップ1305に戻る。 Then, the process returns to step 1305.
【0086】 [0086]
図25は、ステップ1305からステップ1308を繰り返し、ユーザがステップ1305で、用例決定を選択し、「アスピリンはありますか」を目的言語「Any aspirin」に変換し、合成音声を出力するときのGUI部1202の表示内容である。 Figure 25 repeats the steps 1308 from step 1305, the user at step 1305, GUI portion when selecting the example decision, then converted to "Is there Aspirin" target language "the Any aspirin", and outputs the synthesized speech 1202 is a display content of.
【0087】 [0087]
なお、以上の説明では、GUI部1202に対するユーザの入力をタッチパネル入力、ボタン入力のそれぞれに限定して説明したが、音声認識処理を用いて音声で単語や用例を選択決定することも可能である。 In the above description, the touch panel receives an input of the user to the GUI unit 1202, has been described by limiting the respective button input, it is possible to select and determine the words and examples with sound using the speech recognition process . また、タッチパネル、ボタン、音声の各入力モダリティを組み合わせて操作することも可能である。 It is also possible to operate in combination touch panel, a button, each input modalities of speech. また、一例として日本語と英語を取り上げたが、中国語など他の言語についても同様に実施可能であり、本発明は言語に依存しない。 Although took up Japanese and English as an example, may be embodied in the same manner for other languages ​​such as Chinese, the present invention does not depend on language.
【0088】 [0088]
又、本発明の単語列は、上記実施の形態では、複数の単語から構成された文章の場合を例にして説明したが、これに限らず例えば、「こんにちは」の様に一つの単語から構成されていても良い。 Also, word sequence of the present invention, in the above embodiment has been described with the case of a sentence including a plurality of words, for example not limited to this, composed of a single word as a "Hello" it may be.
【0089】 [0089]
又、本発明の第1の抽出・表示手段と、第2の抽出・表示手段は、上記実施の形態では、同一の表示装置により実現する場合について説明したが、これに限らず例えば、それぞれ独立した表示装置により実現する構成としても良い。 The first and the extracting and displaying means, second extraction and display unit of the present invention, in the above embodiment, the description has been given of the case realized by the same display device, for example, not limited thereto, independently it may be configured to be realized by the display device.
【0090】 [0090]
以上説明した様に、本発明の一例である音声通訳装置は、音声による入力に基づいて用例を選択し、翻訳を行う音声通訳装置であって、前記音声通訳装置のハードウェアが、音声のモダリティとして音声入出力装置を備え、画像のモダリティとして画像出力装置を備え、接触モダリティとして1個以上のボタンと画像指示装置を備え、ユーザによって前記音声入出力装置と前記画像指示装置と前記ボタンから入力される原言語に関するデータを目的言語に関するデータへ音声言語的に変換し、前記音声入出力装置と前記画像出力装置に前記出力データを出力する演算制御装置と、前記演算制御装置に前記処理の手順を指示するプログラムとデータを保持する外部大容量不揮発性記憶装置と、前記演算制御装置が外部機器と前記プログラムとデ As described above, the voice interpreting device which is an example of the present invention, to select the example based on the input voice, a translation voice interpreting device which performs hardware of the voice interpreting device, modality of speech a voice input and output device as comprising an image output apparatus as a modality for the image, comprises one or more buttons and an image indicating device as a contact modality, the input from the button and the image indicating device and the audio input and output device by the user data about the source language to convert spoken language to the data about the target language is an arithmetic control unit for outputting the output data to the image output device and the audio input and output device, the procedure of the processing to the arithmetic and control unit an external mass storage nonvolatile memory device that holds programs and data for instructing the operation control apparatus and the an external device program de タを交換するための外部データ入出力端子と、前記演算制御装置を駆動するために必要な電源を供給する電源装置によって構成されることを特徴とする音声通訳装置である。 And the external data input and output terminals for exchanging data, a voice interpreting device characterized by being constituted by a power supply for supplying power necessary for driving the arithmetic and control unit.
【0091】 [0091]
又、他の一例は、上記演算制御装置としてPC/AT互換のマザーボードを使用することを特徴とする上記音声通訳装置である。 Further, another example is the voice interpreting device which is characterized by using a motherboard PC / AT compatible as the arithmetic and control unit.
【0092】 [0092]
又、他の一例は、上記の外部大容量不揮発性記憶装置として、2.5インチ以下のハードディスクドライブを使用することを特徴とする上記音声通訳装置である。 Further, another example is the aforementioned external mass storage nonvolatile memory device, which is the speech interpreter and wherein the use of 2.5 inches or less hard disk drive.
【0093】 [0093]
又、他の一例は、上記外部大容量不揮発性記憶装置として、フラッシュメモリディスクを使用することを特徴とする上記音声通訳装置である。 Further, another example is the above-mentioned external mass storage nonvolatile memory device, which is the voice interpreting device which is characterized by using a flash memory disk.
【0094】 [0094]
又、他の一例は、上記画像出力装置として、解像度の縦方向が240ドット以上、かつ、横方向が240ドット以上の液晶表示装置を使用することを特徴とする上記音声通訳装置である。 Also, another example as the image output device, the resolution vertical direction 240 dots or more, and is the voice interpreting device laterally, characterized by using a liquid crystal display device of the above 240 dots.
【0095】 [0095]
又、他の一例は、上記ボタンとしては、2個の機械式ボタンを使用し、上記マザーボードにマウスを接続したときのマウスボタンに機能的に相当させることを特徴とする上記音声通訳装置である。 Further, another example is, as the button, using two mechanical buttons, is the voice interpreting device for causing functionally equivalent to the mouse button when a mouse connected to the said motherboard .
【0096】 [0096]
又、他の一例は、上記画像指示装置としては、上記液晶表示装置の表示面と同等の大きさ、もしくは前期表示面を包含する大きさのタッチパネルを使用することを特徴とする上記音声通訳装置である。 Further, another example is, as the image indicating device, the voice interpreting device characterized by using the size of the touch panel including a display surface the same size as the liquid crystal display device, or the year display screen it is.
【0097】 [0097]
又、他の一例は、上記外部データ入出力端子は、上記マザーボードの入出力端子の中の、キーボード接続端子、アナログディスプレイ出力端子、ローカルエリアネットワーク端子を利用することを特徴とする上記音声通訳装置である。 Further, another example is the external data input and output terminals, in the input and output terminals of the mother board, a keyboard connection terminal, an analog display output terminals, the voice interpreting device which is characterized by utilizing a local area network terminal it is.
【0098】 [0098]
又、他の一例は、上記音声入出力装置は、上記マザーボードのUSB端子を通じてアナログ音声データとデジタル音声データを入出力するUSBオーディオインタフェースと、ユーザの発声を収集して前記USBオーディオインタフェースに与えるマイクと、前記USBオーディオインタフェースの出力を増幅するオーディオアンプと、前記オーディオアンプに接続されるスピーカによって構成することを特徴とする上記音声通訳装置である。 Further, another example is the voice input and output device, and a USB audio interface that inputs and outputs analog audio data and digital audio data via the USB terminal of the motherboard collects user utterances given to the USB audio interface microphone When an audio amplifier for amplifying an output of the USB audio interface is the voice interpreting device, characterized in that it constituted by a speaker connected to the audio amplifier.
【0099】 [0099]
又、他の一例は、上記音声入出力装置は、上記マザーボードのオーディオインタフェースと、ユーザの発声を収集して前記オーディオインタフェースに与えるマイクと、前記オーディオインタフェースの出力を増幅するオーディオアンプと、前記オーディオアンプに接続されるスピーカによって構成することを特徴とする上記音声通訳装置である。 Further, another example is the voice input and output device, an audio amplifier for amplifying the audio interface of the motherboard, a microphone to collect the user utterances given to the audio interface, the output of the audio interface, the audio is the voice interpreting device, characterized in that it constituted by a speaker connected to the amplifier.
【0100】 [0100]
又、他の一例は、上記電源装置は、リチウムイオン2次電池によって構成されることを特徴とする上記音声通訳装置である。 Further, another example is the power supply, is the voice interpreting device characterized in that it is constituted by a lithium ion secondary battery.
【0101】 [0101]
又、他の一例は、上記音声通訳装置は、ユーザが片手に持つことが可能で、かつ、前記片手の親指によってボタンを容易に操作することが可能で、かつ、他方の手で画像指示装置を操作することが可能で、かつ、画像表示装置の表示面の法線の方向と、音声入出力装置の指向性の方向が前記ユーザの顔に容易に向くようにデザインされていることを特徴とする上記音声通訳装置である。 Further, another example is the voice interpreting device user can have the one hand, and can easily operate the buttons with the thumb of the one hand, and the image indicating device with the other hand is possible to engineer and features and the normal direction of the display surface of the image display device, that the direction of the directivity of the audio input and output device is designed to easily face the face of the user is the voice interpreting device to.
【0102】 [0102]
又、他の一例は、上記音声通訳装置は、ボタンと画像指示装置と画像表示装置が実装される主筐体と、音声入出力装置が実装される副筐体によって構成され、前記音声通訳装置を利用しない場合は前記画像表示装置の表示面を前記副筐体が覆って保護し、かつ、前記音声通訳装置を利用する場合は前記副筐体を前記音声入出力装置の指向性の方向がユーザの顔を向く所定の位置まで移動させてから利用することを特徴とする上記音声通訳装置である。 Further, another example is the voice interpreting device comprises a main housing of the button and the image indicating device and the image display device is mounted, is constructed by sub-housings of audio input and output device is mounted, the voice interpreting device the case of not using protects covers the display surface of the image display device the auxiliary housing, and the direction of the directivity of the audio input and output device to the auxiliary housing when using the voice interpreting device is the voice interpreting device which is characterized by utilizing a move to a predetermined position facing the face of the user.
【0103】 [0103]
又、本発明の一例は、音声による入力に基づいて用例を選択し、翻訳を行う音声通訳装置において、前記音声通訳装置のソフトウェアが、ユーザとの入出力を行うGUI部と、音声を入力して音声認識を行う原言語入力部と、前記原言語入力部から入力された原言語から目的言語への翻訳を行う翻訳部と、前記翻訳部により翻訳された目的言語を音声合成して出力する音声合成部と、前記原言語入力部と前記GUI部と前記翻訳部と前記音声合成部を制御する制御部で構成されることを特徴とする音声通訳装置である。 Further, an example of the present invention, to select the example based on the input by voice, the voice interpreting device which performs translation, software of the voice interpreting device inputs the GUI unit for inputting and outputting a user, the voice and outputs the speech synthesis and translation unit for performing translation into the target language, the target language is translated by the translation unit and the original language input unit, the source language input from the source language input unit which performs speech recognition Te a voice synthesis unit, the a voice interpreting device which is characterized in that a control part that controls the speech synthesizer and the source language input unit and the GUI part and the translation unit.
【0104】 [0104]
又、他の一例は、上記用例としては、対話における1文を単位とすることを特徴とする上記音声通訳装置である。 Also, another example, as the above example, it is the voice interpreting device which is characterized in that the unit of one sentence in Dialogue.
【0105】 [0105]
又、他の一例は、上記用例としては、旅行会話において使用される頻度が高い文型を保持することを特徴とする上記音声通訳装置である。 Also, another example, as the above example, it is the voice interpreting device which is characterized in that the frequency used in traveling conversation retain high sentence pattern.
【0106】 [0106]
又、他の一例は、上記用例に含まれる単語は、前記単語を置き換えることが可能な関連のある単語と共にクラス化されていることを特徴とする上記音声通訳装置である。 Further, another example is a word included in the example, it is the voice interpreting device which is characterized in being classed with words that are associated which can be replaced with the word.
【0107】 [0107]
又、他の一例は、上記原言語入力部は、制御部からの指示により音声入力を行う音声入力部と、前記音声入力部から入力される音声に対して連続音声認識を行って単語列に変換する音声認識部で構成されることを特徴とする上記音声通訳装置である。 Further, another example is the source language input unit includes a voice input unit for performing a voice input in accordance with an instruction from the control unit, the word string by performing continuous speech recognition on the voice input from the voice input unit is the voice interpreting device characterized in that it is constituted by the speech recognition unit to be converted.
【0108】 [0108]
又、他の一例は、上記翻訳部は、原言語と目的言語の用例の対応を保持する用例データベースと、前記用例データベースに含まれる単語のクラス情報を保持する単語クラス辞書と、原言語入力部からの入力に基づいて、前記用例データベースから該当する用例を選択する用例選択部と、前記用例選択部により選択された用例の中から修正する単語を選択する単語選択部と、前記単語選択部により選択された単語と置き換えることが可能な単語を前記単語クラス辞書から選択する代替単語選択部と、決定された用例に基づいて前記用例データベースにより目的言語に変換する言語変換部によって構成することを特徴とする上記音声通訳装置である。 Further, another example is the translation unit, the example database that holds the corresponding example in the source language and the target language, a word class dictionary which holds the class information words included in the example database, the source language input unit based on input from the example selector for selecting example corresponding from the example database, a word selection unit for selecting a word to be modified from the example selected by the example selecting unit, by the word selection unit features and alternate word selection unit for selecting a word that can be replaced with the selected word from the word class dictionary, by the example database based on the determined examples to be constituted by the language conversion unit for converting the target language is the voice interpreting device to.
【0109】 [0109]
又、他の一例は、上記GUI部は、表示部に翻訳の方向を指定する翻訳方向指定部と、原言語入力部により出力される音声認識結果を表示する音声認識結果表示部と、前記用例選択部により用例データベースから選択された用例を表示する用例候補表示部と、ユーザにより選択された用例を表示する用例結果表示部と、言語変換部により出力される目的言語の用例を出力する通訳結果表示部で構成されることを特徴とする上記音声通訳装置である。 Further, another example is the GUI part, the translation direction designating section for designating the directions of translation on the display unit, and the speech recognition result display unit for displaying the speech recognition result output by the source language input, the example & Examples candidate display unit that displays the example selected from the example database by the selection unit, and the example result display unit for displaying the example selected by the user, interpretation result output the examples in the target language output by the language conversion unit is the voice interpreting device characterized in that it is constituted by a display unit.
【0110】 [0110]
又、他の一例は、上記GUI部は、ユーザが用例を用例候補表示部に表示された用例の中から選択する場合に、希望する前記用例をタッチパネル操作またはボタン操作によって選択すること特徴とする上記音声通訳装置である。 Further, another example is the GUI part, the user when selecting from among the examples displayed the example in the example candidate display section, and wherein selecting by the example the desired touch panel operation or button operation it is the speech interpretation system.
【0111】 [0111]
又、他の一例は、上記単語選択部は、1個以上の修正可能な単語をユーザに提示する場合に、GUI部の用例結果表示部の修正可能な単語に印を付加することを特徴とする上記音声通訳装置である。 Further, another example is the word selection unit, and characterized by the addition to the case of presenting one or more correctable words to a user, the mark modifiable words example result display portion of the GUI part is the speech interpreting device that.
【0112】 [0112]
又、他の一例は、上記修正可能な単語の印は、前記単語に下線を引く、または、前記単語を反転表示する、または、前記単語を太字にする、または、前記単語を点滅表示することを特徴とする上記音声通訳装置である。 Further, another example is the modifiable word mark, underline the word, or to highlight the word or, for the word in bold, or, to flashing the word is the voice interpreting device according to claim.
【0113】 [0113]
又、他の一例は、上記単語選択部は、ユーザが修正単語を選択するときに、GUI部をタッチパネル操作、または、ボタン操作、または、音声認識による音声操作で決定することを特徴とする上記音声通訳装置である。 Further, another example is the word selection unit, when the user selects the correction word, a touch panel operation the GUI section, or, button operation, or above, characterized in that to determine the voice operation by speech recognition a voice interpreter apparatus.
【0114】 [0114]
又、他の一例は、上記代替単語選択部は、代替単語を選択する場合に、前記代替単語選択部が単語クラス辞書を用いて代替候補一覧を取得し、GUI部によって前記代替候補一覧をリスト状に並べて表示することを特徴とする上記音声通訳装置である。 Further, another example is the alternative word selection unit list when selecting the substitute words, said alternative word selection unit acquires the alternative candidate list using a word class dictionary, the alternative candidate list by the GUI unit is the voice interpreting device and displaying side by Jo.
【0115】 [0115]
又、他の一例は、上記代替候補一覧から代替候補を選択する場合は、GUI部のタッチパネル操作、または、ボタン操作、または、音声認識による音声操作によって前記代替候補を選択することを特徴とする上記音声通訳装置である。 Further, another example is, when selecting an alternate candidate from the candidate substitute list, touch panel operation of the GUI part, or, button operation, or, and selects the alternative candidate by the voice operation by speech recognition it is the speech interpretation system.
【0116】 [0116]
又、他の一例は、上記GUI部は、ユーザが希望する用例に変更することができた場合、タッチパネル操作、または、ボタン操作によって用例を決定し、上記言語変換部によって目的言語に翻訳を行い、上記音声合成部によって前記用例の合成音声を出力することを特徴とする上記音声通訳装置である。 Further, another example is the GUI part, if the user can change in the example the desired determines the examples by the touch panel operation or button operation, performs translations in the target language by the language conversion unit a the voice interpreting device and outputting the synthesized speech of the example by the speech synthesizer.
【0117】 [0117]
以上述べたところから明らかなように、小型のハードウェアは音声通訳装置として、ユーザが海外旅行に出かけるときに無理なく携行することができる。 As it is apparent from the described above, a small hardware as voice interpretation equipment, the user can be carried without any difficulty when you go out to travel abroad. また、そのユーザインタフェースは片手で簡単に操作することができるのでショッピングやレストランなど、様々なシーンで容易に利用することができる。 In addition, the user interface, such as shopping and restaurants because it can be operated easily with one hand, can be easily used in various scenes. さらに、クラスを代表する単語を用いて音声を入力し、用例を確定した後、同じクラスの関連する単語と置き換えることができるので、少ない認識対象語彙でも音声通訳装置としての利用価値が低下しない。 Furthermore, by entering the sound using the words representing the class, after determining the example, it is possible to replace the related words of the same class, utility value as a sound interpretation device does not decrease even with a small vocabulary to be recognized.
【0118】 [0118]
次に、上記従来技術における上記第2の課題を解決するための、本願発明に関連する技術の他の発明である音声変換装置の一実施の形態の音声入力翻訳装置について、図面を参照しながら説明する。 Next, the above in order to solve the above second problem in the prior art, an embodiment of the speech input translation apparatus of speech conversion device according to another aspect of art related to the present invention, with reference to the accompanying drawings explain.
【0119】 [0119]
本実施の形態の構成を図26に示す。 The configuration of the present embodiment shown in FIG. 26.
【0120】 [0120]
同図に示す様に、音声入力部4101、翻訳支援部4108、音声翻訳部4102、表示部4103、音声出力部4107によって基本的な音声翻訳機能を実現する。 As shown in the figure, an audio input portion 4101, translation support portion 4108, a voice translation unit 4102, a display portion 4103, to implement the basic voice translation function by the audio output unit 4107.
【0121】 [0121]
ここで、本実施の形態の装置内部の構成については、上記実施の形態において既に説明済みであるので、ここでは詳細な説明は省略する。 Here, inside the apparatus configuration of this embodiment is the already explained in the above embodiment, and a detailed description thereof will be omitted.
【0122】 [0122]
尚、本実施の形態の構成(図26参照)と、例えば図12に示した構成との対応関係は次の通りである。 The configuration of this embodiment (see FIG. 26), such as the corresponding relationship between the configuration shown in FIG. 12 is as follows. 図26の音声入力部4101は、図12の音声入力部1203と対応し、音声翻訳部4102は翻訳部1220及び音声認識部1204等に対応する。 Voice input unit 4101 in FIG. 26, it corresponds to the audio input unit 1203 in FIG. 12, the speech translation unit 4102 corresponds to the translation section 1220 and the speech recognition unit 1204, and the like. 又、翻訳支援部4108及び表示部4103はGUI部1202等に対応し、音声出力部4107は音声合成部1211等に対応する。 Moreover, the translation support portion 4108 and the display unit 4103 corresponds to the GUI section 1202 or the like, an audio output portion 4107 corresponding to the voice synthesis unit 1211 and the like.
【0123】 [0123]
次に、本実施の形態の特有の構成部分について述べる。 It will now be described specific configurations of the present embodiment.
【0124】 [0124]
図26において、言語変換方向制御部4105は2人の利用者の、どちらに翻訳装置の操作権限があるかを決定し、音声入力部4101の入力形態を制御し、音声翻訳部4102に対して翻訳方向を指定し、表示部4103の表示内容を指示する。 In Figure 26, the language conversion direction control unit 4105 two users, both in determines whether the operation authority translation device, controls the input form of the voice input unit 4101, the audio translation unit 4102 specify the translation direction, and instructs the display contents of the display unit 4103. ここで、2人の利用者の内、一方は日本語(本発明に関連する技術の他の発明の第1の言語に対応)を使用し、他方は英語(本発明に関連する技術の他の発明の第2の言語に対応)を使用するものとする。 Here, among the two users, one using Japanese (corresponding to a first language other inventions techniques relating to the present invention), other techniques other related English (the present invention It shall be the second language of the invention using the corresponding).
【0125】 [0125]
言語変換方向検出部4104は、言語変換方向制御部4105が操作権限のある利用者を決定するために必要な情報を収集する。 Language conversion direction detection unit 4104 collects the information necessary to determine the user language conversion direction control unit 4105 having the operation authority. 対話管理部4106は、表示部4103に表示される翻訳対を逐次保持し、それを用いて、利用者の間で交わされた対話の履歴として、何れか一方の言語で表示部4103に表示する(図29参照)。 Dialogue management unit 4106 sequentially holds a translation pair to be displayed on the display unit 4103, we use it, as a history of dialogues that are exchanged between the user, the display unit 4103 in one of the languages (see FIG. 29).
【0126】 [0126]
以下の例では、図27等を参照しながら、日本語と英語についての翻訳装置の動作について説明するとともに、本発明に関連する技術の他の発明の音声変換方法の一実施の形態についても同時に述べる。 In the following examples, with reference to FIG. 27 and the like, Japanese and with the operation of the translation device for English, at the same time also an embodiment of the speech conversion method other inventions of art related to the present invention described.
【0127】 [0127]
ここで、例えば、図27に示す様に、翻訳装置を挟んで、図中の下方側に日本語の利用者、上方側に英語の利用者が互いに向き合っているものとする。 Here, for example, as shown in FIG. 27, across the translation apparatus, in Japanese user downward in the figure, it is assumed that the English user upward are facing each other.
【0128】 [0128]
図27の音声入力翻訳装置は、言語変換方向検出部4104がボタンである音声入力翻訳装置である。 Voice input translation apparatus of FIG. 27, language converter direction detection unit 4104 is an audio input translation apparatus is a button. 初期状態として言語変換方向制御部4105は日本語から英語への変換方向を指示していると仮定する。 Language conversion direction control unit 4105 as an initial state is assumed to be instructed to convert the direction from Japanese to English. 入力部4101はマイク4202とマイク4206で構成されるが、日本語の入力をするためにマイク4206の入力は遮断される。 An input unit 4101 a microphone 4202 and microphone 4206, the microphone input 4206 to the input of the Japanese is blocked. 利用者は音声入力ボタン4201を押してから入力部4101のマイク4202に向かって発声する(例えば「くすりはありませんか」)。 The user speaks into the microphone 4202 of the input unit 4101 by pressing the voice input button 4201 (for example, "if there is no medicine"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0129】 [0129]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0130】 [0130]
音声翻訳部4102は、音声入力部4101から日本語の音声を受け取った場合、それを音声認識し、その認識結果に対応する、日本語の一つ又は複数の単語列を抽出し、表示部4103に用例候補として表示する。 Speech translation unit 4102, when receiving the speech of Japanese from the voice input unit 4101, it was recognized speech, corresponding to the recognition result, and extracted one or more of the word strings in Japanese, the display unit 4103 to display as the example candidate to.
【0131】 [0131]
即ち、表示部4103の用例候補選択ウィンドウ4203に用例候補が表示されて(例えば、「薬ですか」、「薬はありますか」、「薬です」の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4204に選択された用例が表示されて(例えば「薬はありますか」)、用例を翻訳した英語のテキストが音声出力部4107から発声される(例えば"Do you have medicine?")。 In other words, the example candidate is displayed on the example candidate selection window 4203 of the display unit 4103 (for example, "drug Is", "Do you have medicine", three of the example of "It's medicine"), a translation support unit 4108 When the user selects one of them by using (for example selected by the touch panel), are displayed examples that have been selected in the example result window 4204 (for example, "Do you have medicine"), the English text that was translated example There is uttered from the audio output unit 4107 (for example, "Do you have medicine?"). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「薬はありますか」, "Do you have medicine?")という翻訳対)。 The dialogue management unit 4106 from the display section 4103 translation pairs are sent (for example, ( "Do you have medicine", "Do you have medicine?") That the translation pairs). 相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、言語変換方向検出部4104であるボタン4205を押す。 To determine the answer of the other party, if the urging operation of the translation device to the other, pressing the button 4205 is translatable direction detector 4104.
【0132】 [0132]
言語変換方向制御部4105は言語変換方向検出部4104からの情報に基づき、音声翻訳部4102と表示部4103に対して英語から日本語への変換方向を指示する。 The language conversion direction control unit 4105 based on information from the language converter direction detecting unit 4104, and instructs the conversion direction from English to Japanese the speech translation unit 4102 and the display portion 4103. 表示部4103の表示内容は、対面の英語の利用者が使いやすいように図28のように180°回転して、英語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as opposed English users ease of use Figure 28, the display of the English. 入力部4101は、英語の入力をするためにマイク4307の入力が遮断され、マイク4303が有効になる。 Input unit 4101, the input of the microphone 4307 to the input of English is cut off, the microphone 4303 is enabled. 対話履歴ウィンドウ4301には、対話管理部4106から翻訳対の英語の方が表示される。 In the dialog history window 4301, people from the dialogue management unit 4106 of the translation pairs of English is displayed. 具体的には、翻訳対として、例えば、「薬はありますか」と "Do you have medicine?"とからなる翻訳対と、「はい」と"Yes, I do."とからなる翻訳対が対話管理部4106に保持されている場合、図29に示す対話履ウィンドウ4401には、(日):「薬はありますか?」、(英):「はい」が表示される。 More specifically, as the translation pairs, for example, a translation pair consisting of a "medicine Have you" and "Do you have medicine?", "Yes" and "Yes, I do." Consisting of a translation pair of dialogue If you are held in the management unit 4106, in dialogue footwear window 4401 shown in FIG. 29, (day): "Do you have medicine?", (English): "Yes" is displayed. 利用者は音声入力ボタン4302を押してから入力部4101のマイク4303に向かって発声する(例えば"Yes, certainly")。 The user speaks into the microphone 4303 of the input unit 4101 by pressing a speech input button 4302 (e.g. "Yes, certainly"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0133】 [0133]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0134】 [0134]
音声翻訳部4102は、音声入力部4101から英語の音声を受け取った場合、それを音声認識し、その認識結果に対応する、英語の一つ又は複数の単語列を抽出し、表示部4103に用例候補として表示する。 Speech translation unit 4102, when receiving the English audio from the audio input unit 4101, it was recognized speech, corresponding to the recognition result, and extracted one or more of the word strings in English, example on the display unit 4103 displayed as a candidate.
【0135】 [0135]
即ち、表示部4103の用例候補選択ウィンドウ4304に候補が表示されて(例えば、"Yes, I do."、"Surely."、"Certainly."の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4305に選択された用例が表示されて(例えば"Yes, I do.")、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば「はい。」)。 That is, the candidate appears in the example candidate selection window 4304 on the display unit 4103 (e.g., "Yes, I do.", "Surely.", "Certainly." 3 pieces of the example of), using the translation support portion 4108 user by selecting one from the Te (e.g. selected by the touch panel), the example results window 4305 displays the selected example by the (e.g. "Yes, I do."), the Japanese translated the example text is uttered from the audio output unit 4107 (for example, "Yes."). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「はい」, "Yes, I do.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "Yes", "Yes, I do.") That the translation pairs). 相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、言語変換方向検出部4104であるボタン4306を押す。 To determine the answer of the other party, if the urging operation of the translation device to the other, pressing the button 4306 is translatable direction detector 4104.
【0136】 [0136]
言語変換方向制御部4105は言語変換方向検出部4104からの情報に基づき、音声翻訳部4102と表示部4103に対して日本語から英語への変換方向を指示する。 Language conversion direction control unit 4105 based on information from the language converter direction detecting unit 4104, and instructs the conversion direction from Japanese to English for the voice translation unit 4102 and the display portion 4103. 表示部4103の表示内容は、対面の日本語の利用者が使いやすいように図29のように180°回転して、日本語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as shown in Figure 29 to facilitate Japanese users of facing is used, the display of the Japanese. 入力部4101は、日本語の入力をするためにマイク4405の入力が遮断され、マイク4403が有効になる。 Input unit 4101, the input of the microphone 4405 to the input of the Japanese is cut off, the microphone 4403 is enabled. 対話履歴ウィンドウ4401には、対話管理部4106から翻訳対の日本語の方が表示される。 The interactive history window 4401, people from the dialogue management unit 4106 of the translation pairs of Japanese are displayed. 利用者は音声入力ボタン4402を押してから入力部4101のマイク4403に向かって発声する(例えば「ありがとうございます」)。 The user speaks into the microphone 4403 of the input unit 4101 by pressing the voice input button 4402 (for example, "Thank you"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0137】 [0137]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0138】 [0138]
即ち、表示部4103の用例候補選択ウィンドウ4413に候補が表示されて(例えば、「ありがとう。」の1個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4414に選択された用例が表示されて(例えば「ありがとう。」)、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば"Thank you.")。 In other words, are displayed candidate in the example candidate selection window 4413 of the display unit 4103 (for example, one of the examples of "Thank you."), When the user to select one from among them by using the translation support unit 4108 ( for example, selected in the touch panel), it is displayed examples that have been selected in the example result window 4414 (for example, "Thank you."), Japanese text was translated example is uttered from the audio output unit 4107 (for example, "Thank you. "). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「ありがとう」, "Thank you.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "thank you", "Thank you.") That the translation pairs). さらに相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、言語変換方向検出部4104であるボタン4404を押す。 To further determine the answer of the other party, if the urging operation of the translation device to the other, pressing the button 4404 is translatable direction detector 4104.
【0139】 [0139]
図30の音声入力翻訳装置は、言語変換方向検出部4104がマイク4501の傾斜角度センサー4502である音声入力翻訳装置である。 Voice input translation device of Figure 30, language converter direction detection unit 4104 is an audio input translation apparatus is the inclination angle sensor 4502 microphone 4501. すなわち、マイク4501が日本語の利用者の方に傾斜しているか、英語の利用者の方に傾斜しているかを判断するために角度センサー4502を用いている。 That is, using the angle sensor 4502 in order to determine whether the microphone 4501 or are inclined towards the Japanese users, are inclined towards the English language of the user. 図30の状態では言語変換方向制御部4105は日本語から英語への変換方向を指示している。 Language conversion direction control unit 4105 in the state of FIG. 30 indicates the conversion direction from Japanese to English. 利用者は音声入力ボタン4503を押してから入力部4101のマイク4501に向かって発声する(例えば「くすりはありませんか」)。 The user speaks into the microphone 4501 of the input unit 4101 by pressing the voice input button 4503 (for example, "if there is no medicine"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0140】 [0140]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0141】 [0141]
即ち、表示部4103の用例候補選択ウィンドウ4504に候補が表示されて(例えば、「薬ですか」「薬はありますか」「薬です」の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4505に選択された用例が表示されて(例えば「薬はありますか」)、用例を翻訳した英語のテキストが音声出力部4107から発声される(例えば"Do you have medicine?")。 In other words, use and candidates are displayed in the example candidate selection window 4504 of the display unit 4103 (for example, "drug Is" three examples of "It's medicine," "medicine Have you"), using the translation support unit 4108 person and selects one from among them (for example, selected in the touch panel), are displayed examples that have been selected in the example result window 4505 (for example, "Do you have medicine"), English text audio output that translated the example is uttered from part 4107 (for example, "Do you have medicine?"). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「薬はありますか」, "Do you have medicine?")という翻訳対)。 The dialogue management unit 4106 from the display section 4103 translation pairs are sent (for example, ( "Do you have medicine", "Do you have medicine?") That the translation pairs). 相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、マイク4501を英語の利用者の方に向ける。 In order to determine the answer of the other party, if you promote the operation of the translation apparatus to the other party, directing the microphone 4501 towards the English language of the user.
【0142】 [0142]
言語変換方向制御部4105は言語変換方向検出部4104からの情報に基づき、音声翻訳部4102と表示部4103に対して英語から日本語への変換方向を指示する。 The language conversion direction control unit 4105 based on information from the language converter direction detecting unit 4104, and instructs the conversion direction from English to Japanese the speech translation unit 4102 and the display portion 4103. 表示部4103の表示内容は、対面の英語の利用者が使いやすいように図31のように180°回転して、英語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as English users ease of use Figure 31 facing, the display of the English. 対話履歴ウィンドウ4601には、対話管理部4106から翻訳対の英語の方が表示される。 The interactive history window 4601, people from the dialogue management unit 4106 of the translation pairs of English is displayed. 利用者は音声入力ボタン4602を押してから入力部4101のマイク4603に向かって発声する(例えば"Yes, certainly")。 The user speaks into the microphone 4603 of the input unit 4101 by pressing a speech input button 4602 (e.g. "Yes, certainly"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0143】 [0143]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0144】 [0144]
即ち、表示部4103の用例候補選択ウィンドウ4604に候補が表示されて(例えば、"Yes, I do."、"Surely."、"Certainly."の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4605に選択された用例が表示されて(例えば"Yes, I do.")、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば「はい。」)。 That is, the candidate appears in the example candidate selection window 4604 on the display unit 4103 (e.g., "Yes, I do.", "Surely.", "Certainly." 3 pieces of the example of), using the translation support portion 4108 user by selecting one from the Te (e.g. selected by the touch panel), the example results window 4605 displays the selected example by the (e.g. "Yes, I do."), the Japanese translated the example text is uttered from the audio output unit 4107 (for example, "Yes."). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「はい」, "Yes, I do.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "Yes", "Yes, I do.") That the translation pairs). 相手の答えを求めるために、マイク4603を日本語の利用者の方へ向ける。 In order to determine the answer of the other party, directing the microphone 4603 towards the Japanese users.
【0145】 [0145]
言語変換方向制御部4105は言語変換方向検出部4104からの情報に基づき、音声翻訳部4102と表示部4103に対して日本語から英語への変換方向を指示する。 Language conversion direction control unit 4105 based on information from the language converter direction detecting unit 4104, and instructs the conversion direction from Japanese to English for the voice translation unit 4102 and the display portion 4103. 表示部4103の表示内容は、対面の日本語の利用者が使いやすいように図32のように180°回転して、日本語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as face-to-face in Japanese users ease of use Figure 32, the display of the Japanese. 対話履歴ウィンドウ4701には、対話管理部4106から翻訳対の日本語の方が表示される。 The interactive history window 4701, people from the dialogue management unit 4106 of the translation pairs of Japanese are displayed. 利用者は音声入力ボタン4702を押してから入力部4101のマイク4703に向かって発声する(例えば「ありがとうございます」)。 The user speaks into the microphone 4703 of the input unit 4101 by pressing the voice input button 4702 (for example, "Thank you"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0146】 [0146]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0147】 [0147]
即ち、表示部4103の用例候補選択ウィンドウ4704に候補が表示されて(例えば、「ありがとう。」の1個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4705に選択された用例が表示されて(例えば「ありがとう。」)、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば"Thank you.")。 In other words, are displayed candidate in the example candidate selection window 4704 of the display unit 4103 (for example, one of the examples of "Thank you."), When the user to select one from among them by using the translation support unit 4108 ( for example, selected in the touch panel), it is displayed examples that have been selected in the example result window 4705 (for example, "Thank you."), Japanese text was translated example is uttered from the audio output unit 4107 (for example, "Thank you. "). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「ありがとう」, "Thank you.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "thank you", "Thank you.") That the translation pairs). さらに相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、マイク4703を英語の利用者の方に向ける。 Furthermore, in order to obtain the answer of the other party, if you promote the operation of the translation apparatus to the other party, directing the microphone 4703 towards the English language of the user.
【0148】 [0148]
図33の音声入力翻訳装置は、言語変換方向検出部4104が本体の傾きを検出するジャイロセンサー4801である音声入力翻訳装置である。 Voice input translation apparatus of FIG. 33, language converter direction detection unit 4104 is an audio input translation apparatus is a gyro sensor 4801 that detects the tilt of the body. ジャイロセンサーの状態で言語変換方向制御部4105は日本語から英語への変換方向を指示していると仮定する。 It is assumed that the language conversion direction control unit 4105 in the state of the gyro sensor instructs the conversion direction from Japanese to English. 入力部4101はマイク4802とマイク4803で構成されるが、日本語の入力をするためにマイク4803の入力は遮断される。 An input unit 4101 a microphone 4802 and microphone 4803, the microphone input 4803 to the input of the Japanese is blocked. 利用者は音声入力ボタン4804を押してから入力部4101のマイク4802に向かって発声する(例えば「くすりはありませんか」)。 The user speaks into the microphone 4802 of the input unit 4101 by pressing the voice input button 4804 (for example, "if there is no medicine"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0149】 [0149]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0150】 [0150]
即ち、表示部4103の用例候補選択ウィンドウ4805に候補が表示されて(例えば、「薬ですか」「薬はありますか」「薬です」の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4806に選択された用例が表示されて(例えば「薬はありますか」)、用例を翻訳した英語のテキストが音声出力部4107から発声される(例えば"Do you have medicine?")。 In other words, use and candidates are displayed in the example candidate selection window 4805 of the display unit 4103 (for example, "drug Is" three examples of "It's medicine," "medicine Have you"), using the translation support unit 4108 person and selects one from among them (for example, selected in the touch panel), are displayed examples that have been selected in the example result window 4806 (for example, "Do you have medicine"), English text audio output that translated the example is uttered from part 4107 (for example, "Do you have medicine?"). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「薬はありますか」, "Do you have medicine?")という翻訳対)。 The dialogue management unit 4106 from the display section 4103 translation pairs are sent (for example, ( "Do you have medicine", "Do you have medicine?") That the translation pairs). 相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、音声翻訳装置を相手に差し出してさかさまになるように相手に手に持ってもらう。 In order to determine the answer of the other party, if you promote the operation of the translation apparatus to the other party, get his hand to the other party so as to be upside down and held out his speech translation apparatus to the other party.
【0151】 [0151]
言語変換方向制御部4105はジャイロセンサー4901からの情報に基づき、音声翻訳部4102と表示部4103に対して英語から日本語への変換方向を指示する。 Language conversion direction control unit 4105 based on the information from the gyro sensor 4901, to instruct the conversion direction from English to Japanese on the speech translation unit 4102 and the display unit 4103. 表示部4103の表示内容は、対面の英語の利用者が使いやすいように図34のように180°回転して、英語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as opposed English users ease of use 34, the display of the English. 入力部4101は、英語の入力をするためにマイク4902の入力が遮断され、マイク4903が有効になる。 Input unit 4101, the input of the microphone 4902 to the input of English is cut off, the microphone 4903 is enabled. 対話履歴ウィンドウ4904には、対話管理部4106から翻訳対の英語の方が表示される。 The interactive history window 4904, people from the dialogue management unit 4106 of the translation pairs of English is displayed. 利用者は音声入力ボタン4905を押してから入力部4101のマイク4903に向かって発声する(例えば"Yes, certainly")。 The user speaks into the microphone 4903 of the input unit 4101 by pressing a speech input button 4905 (e.g. "Yes, certainly"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0152】 [0152]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0153】 [0153]
即ち、表示部4103の用例候補選択ウィンドウ4906に候補が表示されて(例えば、"Yes, I do."、"Surely."、"Certainly."の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ4907に選択された用例が表示されて(例えば"Yes, I do.")、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば「はい。」)。 That is, the candidate appears in the example candidate selection window 4906 on the display unit 4103 (e.g., "Yes, I do.", "Surely.", "Certainly." 3 pieces of the example of), using the translation support portion 4108 user by selecting one from the Te (e.g. selected by the touch panel), the example results window 4907 displays the selected example by the (e.g. "Yes, I do."), the Japanese translated the example text is uttered from the audio output unit 4107 (for example, "Yes."). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「はい」, "Yes, I do.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "Yes", "Yes, I do.") That the translation pairs). 相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、音声翻訳装置を相手に差し出してさかさまになるように相手に手に持ってもらう。 In order to determine the answer of the other party, if you promote the operation of the translation apparatus to the other party, get his hand to the other party so as to be upside down and held out his speech translation apparatus to the other party.
【0154】 [0154]
言語変換方向制御部4105はジャイロセンサー5001からの情報に基づき、音声翻訳部4102と表示部4103に対して日本語から英語への変換方向を指示する。 Language conversion direction control unit 4105 based on the information from the gyro sensor 5001, to instruct the conversion direction to English from Japanese to the display unit 4103 and voice translation unit 4102. 表示部4103の表示内容は、対面の日本語の利用者が使いやすいように図35のように180°回転して、日本語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as in Japanese users ease of use Figure 35 facing, the display of the Japanese. 入力部4101は、日本語の入力をするためにマイク5002の入力が遮断され、マイク5003が有効になる。 Input unit 4101, the input of the microphone 5002 to the input of the Japanese is cut off, the microphone 5003 is enabled. 対話履歴ウィンドウ5004には、対話管理部4106から翻訳対の日本語の方が表示される。 The interactive history window 5004, people from the dialogue management unit 4106 of the translation pairs of Japanese are displayed. 利用者は音声入力ボタン5005を押してから入力部4101のマイク5003に向かって発声する(例えば「ありがとうございます」)。 The user speaks into the microphone 5003 of the input unit 4101 by pressing the voice input button 5005 (for example, "Thank you"). 発声した音声は音声翻訳部4102で翻訳される。 Speaking voice is translated by the speech translation unit 4102.
【0155】 [0155]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0156】 [0156]
即ち、表示部4103の用例候補選択ウィンドウ5006に候補が表示されて(例えば、「ありがとう。」の1個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ5007に選択された用例が表示されて(例えば「ありがとう。」)、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば"Thank you.")。 In other words, are displayed candidate in the example candidate selection window 5006 of the display unit 4103 (for example, one of the examples of "Thank you."), When the user to select one from among them by using the translation support unit 4108 ( for example, selected in the touch panel), it is displayed examples that have been selected in the example result window 5007 (for example, "Thank you."), Japanese text was translated example is uttered from the audio output unit 4107 (for example, "Thank you. "). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「ありがとう」, "Thank you.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "thank you", "Thank you.") That the translation pairs). さらに相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、音声翻訳装置を相手に差し出してさかさまになるように相手に手に持ってもらう。 Furthermore, in order to obtain the answer of the other party, if you promote the operation of the translation apparatus to the other party, get his hand to the other party so as to be upside down and held out his speech translation apparatus to the other party.
【0157】 [0157]
図36の音声入力翻訳装置は、入力部4101と言語変換方向検出部4104が音源の方向を検出可能なマイクアレーユニット5101である音声入力翻訳装置である。 Voice input translation device of Figure 36, the input unit 4101 and the language conversion direction detection unit 4104 is an audio input translation apparatus is detectable microphone array unit 5101 in the direction of the sound source. マイクアレーユニット5101は、音源の方向を特定してから、指向性の鋭い集音を行う機能を持つものであり、一般的に幾何学的に配置される複数のマイクユニットと各マイクユニットからの出力をデジタル信号処理して1つの出力に変換する演算装置によって構成される。 Microphone array unit 5101, after identifying the direction of the sound source, which has a function of performing a sharp sound collection directivity, a plurality of microphone units commonly geometrically arranged and from the microphone unit It constituted by an arithmetic unit for converting the output by digital signal processing to the output of one.
【0158】 [0158]
日本語の利用者が発声を開始すると(例えば「あの、」)、マイクアレーユニット5101は発声者の音声の方向を検出し、発声可能状態となる。 When the Japanese of the user to start the utterance (for example, "that,"), the microphone array unit 5101 detects the direction of the speaker's voice, and speech-enabled state. 発声可能状態でない間は表示部4103の背景色が利用者に注意を促す色で(例えば赤色)、発生可能状態になると許可を与えられた色になる(例えば緑色)。 Vocalization possible while not in a state background color of the display portion 4103 with attention color to the user (for example, red), will have been given permission to become generable mode color (e.g., green). マイクアレーユニット5101の情報に基づき言語変換方向制御部4105は日本語から英語への変換方向を指示する。 Language conversion direction control unit 4105 based on the information of the microphone array unit 5101 instructs the conversion direction from Japanese to English. 発生可能状態で、利用者が発声すると(例えば「くすりはありませんか」)、発声した音声は音声翻訳部4102で翻訳される。 In occurrence possible state, when the user utterance (for example, "if there is no medicine"), uttered by speech is translated in voice translation unit 4102.
【0159】 [0159]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0160】 [0160]
即ち、表示部4103の用例候補選択ウィンドウ5102に候補が表示されて(例えば、「薬ですか」「薬はありますか」「薬です」の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ5103に選択された用例が表示されて(例えば「薬はありますか」)、用例を翻訳した英語のテキストが音声出力部4107から発声される(例えば"Do you have medicine?")。 In other words, use and candidates are displayed in the example candidate selection window 5102 of the display unit 4103 (for example, "drug Is" three examples of "It's medicine," "medicine Have you"), using the translation support unit 4108 person and selects one from among them (for example, selected in the touch panel), are displayed examples that have been selected in the example result window 5103 (for example, "Do you have medicine"), English text audio output that translated the example is uttered from part 4107 (for example, "Do you have medicine?"). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「薬はありますか」, "Do you have medicine?")という翻訳対)。 The dialogue management unit 4106 from the display section 4103 translation pairs are sent (for example, ( "Do you have medicine", "Do you have medicine?") That the translation pairs).
【0161】 [0161]
相手が答えるために発声を開始すると(例えば"Hmm,")、マイクアレーユニット5201は発声者の音声の方向を検出し、発声可能状態となる。 When starting the utterance to answer other party (e.g. "Hmm,"), the microphone array unit 5201 detects the direction of the speaker's voice, the voicing state. 言語変換方向制御部4105はマイクアレーユニット5201からの情報に基づき、音声翻訳部4102と表示部4103に対して英語から日本語への変換方向を指示する。 Language conversion direction control unit 4105 based on information from the microphone array unit 5201, and instructs the conversion direction from English to Japanese the speech translation unit 4102 and the display portion 4103. 表示部4103の表示内容は、対面の英語の利用者が使いやすいように図37のように180°回転して、英語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as English users ease of use Figure 37 facing, the display of the English. 対話履歴ウィンドウ5202には、対話管理部4106から翻訳対の英語の方が表示される。 The interactive history window 5202, people from the dialogue management unit 4106 of the translation pairs of English is displayed. 発声可能状態で、英語の利用者が発声すると(例えば"Yes, certainly")、発声した音声は音声翻訳部4102で翻訳される。 In voicing state, when the English user utters (e.g. "Yes, certainly"), uttered by speech is translated by speech translation unit 4102.
【0162】 [0162]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0163】 [0163]
即ち、表示部4103の用例候補選択ウィンドウ5203に候補が表示されて(例えば、"Yes, I do."、"Surely."、"Certainly."の3個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ5204に選択された用例が表示されて(例えば"Yes, I do.")、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば「はい。」)。 That is, the candidate appears in the example candidate selection window 5203 on the display unit 4103 (e.g., "Yes, I do.", "Surely.", "Certainly." 3 pieces of the example of), using the translation support portion 4108 user by selecting one from the Te (e.g. selected by the touch panel), the example results window 5204 displays the selected example by the (e.g. "Yes, I do."), the Japanese translated the example text is uttered from the audio output unit 4107 (for example, "Yes."). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「はい」, "Yes, I do.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "Yes", "Yes, I do.") That the translation pairs).
【0164】 [0164]
相手が答えるために発声を開始すると(例えば「あ、」)、マイクアレーユニット5301は発声者の音声の方向を検出し、発声可能状態となる。 When starting the utterance to answer other party (for example, "Oh,"), the microphone array unit 5301 detects the direction of the speaker's voice, the voicing state. 言語変換方向制御部4105はマイクアレーユニット5301からの情報に基づき、音声翻訳部4102と表示部4103に対して日本語から英語への変換方向を指示する。 Language conversion direction control unit 4105 based on information from the microphone array unit 5301, and instructs the conversion direction from Japanese to English for the voice translation unit 4102 and the display portion 4103. 表示部4103の表示内容は、対面の日本語の利用者が使いやすいように図38のように180°回転して、日本語の表示になる。 Display contents of the display unit 4103, and rotated 180 ° as in Japanese users ease of use 38 of the face, the display of the Japanese. 対話履歴ウィンドウ5302には、対話管理部4106から翻訳対の日本語の方が表示される。 In the dialog history window 5302, people from the dialogue management unit 4106 of the translation pairs of Japanese are displayed. 発生可能状態で、利用者が発声すると(例えば「ありがとう」)、発声した音声は音声翻訳部4102で翻訳される。 In occurrence possible state, when the user utterance (for example, "Thank you"), uttered by speech is translated in voice translation unit 4102.
【0165】 [0165]
尚、翻訳部4102における翻訳の動作は、上記実施の形態において図14等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。 The operation of the translation in the translation section 4102, since the described with reference to FIG. 14 or the like in the above embodiment, here, the detailed description is omitted, summary is as follows.
【0166】 [0166]
即ち、表示部4103の用例候補選択ウィンドウ5303に候補が表示されて(例えば、「ありがとう。」の1個の用例)、翻訳支援部4108を用いて利用者がその中から1つを選択すると(例えばタッチパネルで選択)、用例結果ウィンドウ5304に選択された用例が表示されて(例えば「ありがとう。」)、用例を翻訳した日本語のテキストが音声出力部4107から発声される(例えば"Thank you.")。 In other words, are displayed candidate in the example candidate selection window 5303 of the display unit 4103 (for example, one of the examples of "Thank you."), When the user to select one from among them by using the translation support unit 4108 ( for example, selected in the touch panel), it is displayed examples that have been selected in the example result window 5304 (for example, "Thank you."), Japanese text was translated example is uttered from the audio output unit 4107 (for example, "Thank you. "). 表示部4103から対話管理部4106に翻訳対が送られる(例えば、(「ありがとう」, "Thank you.")という翻訳対)。 Translation pair is sent to the dialogue management unit 4106 from the display section 4103 (for example, ( "thank you", "Thank you.") That the translation pairs).
【0167】 [0167]
なお、タッチパネル、ボタン、音声の各入力モダリティを組み合わせたり、ボタンをタッチパネルで置換して操作することも可能である。 The touch panel, button, or combination of the input modalities speech, it is also possible to operate by replacing the button on the touch panel. また、一例として日本語と英語を取り上げたが、中国語など他の言語についても同様に実施可能であり、本発明に関連する技術の他の発明は言語に依存しない。 Although took up Japanese and English as an example, it is likewise feasible for other languages such as Chinese, other inventions of technology related to the present invention does not depend on language.
【0168】 [0168]
以上述べたことから明らかなように、上記構成によれば、表示部に一方の言語の操作画面が全面に表示されるので、小さい表示部であっても翻訳装置の使い勝手が維持される。 As is clear from what has been said above, according to the above configuration, the operation screen of one language on the display unit because it is displayed on the entire surface, usability also translation apparatus a small display unit is maintained. また、画面の内容から操作権限がどちらにあるのかが理解しやすく、2人の発声が重なることがない。 In addition, it is easy to understand why from the contents of the screen operation authority is there to Which is, there is no overlap two of the utterance. したがって、音声認識の認識率が低下せず、翻訳装置としての性能が低下しない。 Therefore, does not decrease the recognition rate of the speech recognition, performance of the translation apparatus is not reduced.
【0169】 [0169]
尚、上記実施の形態では、第2の言語については、翻訳結果の表示とともに、音声出力も行う場合について説明したが、これに限らず例えば、翻訳結果の表示のみの構成でも良い。 In the above embodiment, for the second language, translation together with the display of the results, there has been described a case where even the sound output, for example, not limited thereto, it may be configured of only the display of the translation result.
【0170】 [0170]
又、上記実施の形態では、2人の利用者が、翻訳装置を挟んで対面する形で同装置を使用する場合について説明したが、これに限らず例えば、2人が並んで同装置を使用する構成としても良い。 Further, in the above embodiment, two user has described the case of using the apparatus in a manner to face each other across the translation device, for example, it not limited thereto, using the apparatus side by side two it may be configured to be.
【0171】 [0171]
具体的には、図39、図40に示す構成となる。 Specifically, FIG. 39, the configuration shown in FIG. 40. これらの図に示す通り、第1の言語(例えば、日本語)の利用者は、音声入力ボタン4201aを使用し、第2の言語(例えば、英語)の利用者は、音声入力ボタン4201bを使用する。 As shown in these figures, the first language (e.g., Japanese) of the user, using speech input button 4201A, the second language (e.g., English) of the user, using the voice input button 4201b to. この構成では、マイク5501が装置の上部中央に一つ設けられている。 In this configuration, the microphone 5501 is provided one at the top center of the device. この場合にも上記構成と同様の効果発揮する。 In this case the same effect as the above configuration.
【0172】 [0172]
又、上記実施の形態では、例えば、図27、図28に示す様に用例結果を翻訳対象とする場合について説明したが、これに限らず例えば、用例結果ウィンドウ4204に表示された単語列の中から、ユーザにより指定された単語の代替単語の一覧を表示して、その代替単語の中から、所望の単語を選択し、その選択結果を反映したものを翻訳対象とする構成でも良い。 Further, in the above embodiment, for example, FIG. 27, a case has been described in which the translated the example results as shown in FIG. 28, for example, not limited thereto, in a word string displayed in the example results window 4204 from displays a list of alternative words for the specified word by the user, from among the substitute word, select the desired word may be configured to be translated to reflect the selection result. 即ち、この場合の構成は、図21〜図24で述べた構成を、図27等に示す構成に適用したものである。 That is, the configuration in this case, the configuration described in FIGS. 21 to 24, is applied to the configuration shown in FIG. 27 or the like.
【0173】 [0173]
具体的には、図41〜図44に示す構成となる。 Specifically, the configuration shown in FIGS. 41 44. 即ち、用例結果ウィンドウ4204aに表示された単語列の中から、ユーザにより指定(図41)された単語の代替単語の一覧を表示して(図42)、その代替単語の中から、所望の単語として例えば、アスピリンの単語2301を選択し(図43)、その選択結果を反映した用例結果を用例結果ウィンドウ4204aに表示して(図44)、それを翻訳対象とするものである。 That is, from among the word strings displayed in the example results window 4204A, to display a list of alternative words has been specified (Figure 41) word by the user (Fig. 42), from among the alternative word, the desired word for example, a, select the aspirin word 2301 (FIG. 43), to display the example results that reflect the selection result in the example results window 4204A (FIG. 44) is for it and translated. その後の翻訳動作等は、図28等に示した内容と同じである。 Subsequent translation operation, etc. are the same as the contents shown in FIG. 28 or the like. これにより翻訳対象の幅がより広がり使用性が向上する。 This by the width of the translation target is improved more spread usability.
【0174】 [0174]
本発明に関連する技術の発明は、上述した音声変換装置の全部又は一部の手段(又は、素子、回路、部等)の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。 Invention of the technology related to the present invention, all or part of the means of the above-described voice conversion apparatus (or, elements, circuits, parts etc.) A program for executing the functions of the computer, and the computer is a program that operates in cooperation.
【0175】 [0175]
又、本発明に関連する技術の発明は、上述した音声変換方法の全部又は一部のステップ(又は、工程、動作、作用等)の動作をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。 Further, the invention of techniques related to the present invention, all or part of the steps of the voice conversion method described above (or processes, operations, actions, etc.) A program for causing a computer to execute the operations of a computer in cooperation with a program that works.
【0176】 [0176]
又、本発明に関連する技術の発明は、上述した音声変換装置の音声変換方法の全部又は一部のステップの全部又は一部の動作をコンピュータにより実行させるためのプログラムを担持した記録媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記動作を実行する記録媒体である。 Further, the invention of techniques related to the present invention, a recording medium carrying a program for executing the whole or a computer part of the operation of all or part of the steps of the speech conversion method of the above-described voice conversion device and is a recording medium which can be read by a computer and, said program read to execute the operation by the computer in cooperation.
【0177】 [0177]
又、本発明に関連する技術の発明は、上述した音声変換装置の全部又は一部の手段の全部又は一部の機能をコンピュータにより実行させるためのプログラムを担持した媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する媒体である。 Further, the invention of techniques related to the present invention is a carrying medium a program for implementing the whole or a computer part of the functions of all or part of the means of the above-described voice conversion device, a computer readable and is a medium in which the program read performs the functions in cooperation with the computer.
【0178】 [0178]
又、本発明に関連する技術の発明の音声変換装置の音声変換方法の一部のステップ(又は、工程、動作、作用等)とは、それらの複数のステップの内の、幾つかの手段又はステップを意味し、あるいは、一つの手段又はステップの内の、一部の機能又は一部の動作を意味するものである。 Also, some of the steps of the speech conversion method of speech conversion system of the present invention techniques related to the present invention (or processes, operations, actions, etc.) and is of those several steps, several means or step means, or, of the one means or step, is intended to mean a part of the functions or part of the operation.
【0179】 [0179]
又、本発明に関連する技術の発明の一部の装置(又は、素子、回路、部等)とは、それらの複数の装置の内の、幾つかの装置を意味し、あるいは、一つの装置の内の、一部の手段(又は、素子、回路、部等)を意味し、あるいは、一つの手段の内の、一部の機能を意味するものである。 Further, a part of the apparatus of the invention of the technology related to the present invention (or, elements, circuits, parts etc.) and are of those of the plurality of devices, means some devices, or one apparatus of the part of the means (or devices, circuits, parts etc.) means, or of the single unit, it is intended to mean the part of the function.
【0180】 [0180]
又、本発明に関連する技術の発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。 Moreover, one utilizing form of the program of the invention of techniques related to the present invention may be recorded in a computer-readable recording medium may be a mode that operates in cooperation with the computer.
【0181】 [0181]
又、本発明に関連する技術の発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。 Moreover, one utilizing form of the program of the invention of techniques related to the present invention, transmitted through a transmission medium, read by a computer, may be a mode that operates in cooperation with the computer.
【0183】 [0183]
又、記録媒体としては、ROM等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。 As the recording medium, ROM, etc. are included, as the transmission medium, transmission medium such as the Internet, includes the light-wave-wave or the like.
【0184】 [0184]
又、上述した本発明のコンピュータは、CPU等の純然たるハードウェアに限らず、ファームウェアや、OS、更に周辺機器を含むものであっても良い。 The computer of the present invention described above is not limited to pure hardware such as a CPU, firmware or, OS, may be one further comprising a peripheral device.
【0185】 [0185]
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。 The above As described, the configuration of the present invention may be realized in software, it may be realized by hardware.
【0186】 [0186]
【発明の効果】 【Effect of the invention】
以上述べたことから明らかなように本発明は、従来に比べてより一層小型化が可能であり、操作も簡単に出来得るという長所を有する。 The present invention, as is clear from what has been said above, but may be more compact than the conventional, has the advantage that it can also be easily operated.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の一実施の形態の音声通訳装置のハードウェア構成を示すブロック図【図2】 PC/AT互換のマザーボードを使用した場合の図1の詳細なブロック図【図3】画像出力装置204の詳細なブロック図【図4】画像指示装置205およびボタン206の詳細なブロック図【図5】音声入出力装置203の詳細なブロック図【図6】音声通訳装置を利用しないときの筐体の全体図【図7】(a)は図6に示す音声通訳装置の詳細な構造を示す正面図(b)は図6に示す音声通訳装置の詳細な構造を示す側面図(c)は図6に示す音声通訳装置の詳細な構造を示す平面図【図8】音声通訳装置を利用するときの筐体の全体図【図9】(a)は図8に示す音声通訳装置の詳細な構造を示す正面図(b)は図8に示す音声通訳装置の詳細な構 Detailed block diagram of Figure 1 when using the block diagram Figure 2 PC / AT compatible motherboard showing a hardware configuration of a voice interpreting device of an embodiment of the invention; FIG 3 shows images when not using detailed block diagram Figure 4 is a detailed block diagram of the image indicating device 205 and buttons 206 [5] detailed block diagram of the audio input and output device 203 6 voice interpreting device of the output device 204 overall view of the housing 7 (a) is a front view showing the detailed structure of the speech interpreter apparatus shown in FIG. 6 (b) is a side view showing the detailed structure of the speech interpretation unit shown in FIG. 6 (c) the overall view of the housing when utilizing a plan view and FIG. 8 voice interpreting device showing a detailed structure of the speech interpreter apparatus shown in FIG. 6 and FIG. 9 (a) is information about voice interpreting device shown in FIG. 8 front view illustrating a structure (b) is a detailed structure of the speech interpretation unit shown in FIG. 8 を示す側面図(c)は図8に示す音声通訳装置の詳細な構造を示す平面図【図10】(a)は主筐体801に図2の各構成要素を実装する方法を示すための正面図(b)は主筐体801に図2の各構成要素を実装する方法を示すための側面図(c)は主筐体801に図2の各構成要素を実装する方法を示すための平面図【図11】(a)は副筐体802に図2の各構成要素を実装する方法を示すための正面図(b)は副筐体802に図2の各構成要素を実装する方法を示すための側面図(c)は副筐体802に図2の各構成要素を実装する方法を示すための平面図【図12】本発明の一実施の形態の音声通訳装置のソフトウェアの構成を示すブロック図【図13】ソフトウェアの処理の流れを示すフローチャート【図14】用例データベー Side shows a view (c) is a plan view showing the detailed structure of the speech interpreter apparatus shown in FIG. 8 and FIG. 10 (a) is to show how to implement the components of FIG. 2 to the main housing 801 front view (b) in the main housing 801 side view for illustrating how to implement the components of FIG. 2 (c) to indicate how to implement the components of FIG. 2 to the main housing 801 plan view and FIG. 11 (a) is a front view for illustrating how to implement the components of FIG. 2 in the sub-housing 802 (b) how to implement the components of FIG. 2 in the sub-housing 802 side to indicate diagram (c) the structure of the software of a plan view and FIG. 12 voice interpreting device of one embodiment of the present invention to show how to implement the components of FIG. 2 in the sub-housing 802 flowchart showing the flow of processing of the block diagram 13 software showing the FIG. 14 example database 1205の内容の一例を示す図【図15】単語クラス辞書1206の内容の一例を示す図【図16】 GUI部1202の表示内容を示す図【図17】ステップ1301から1303までのGUI部1202の表示内容を示す図【図18】ステップ1304の処理におけるGUI部1202の表示内容を示す図【図19】ステップ1305の処理におけるGUI部1202の表示内容を示す図【図20】ステップ1310から1311までの処理におけるGUI部1202の表示内容を示す図【図21】ステップ1306の処理におけるGUI部1202の表示内容を示す図【図22】ステップ1307の処理におけるGUI部1202の表示内容を示す図【図23】ステップ1308の処理におけるGUI部1202の表示内容を示す図【図24】ステップ1309の処理に Diagram showing an example of content of 1205 [15] Figure [16] shows an example of the contents of the word class dictionary 1206 of FIGS. 17A and 17B step 1301 indicating the display contents of the GUI section 1202 to 1303 of GUI 1202 Figures [18] Figure 20 shows the step 1310 that indicates the display contents of the GUI section 1202 in the processing of FIG. 19 step 1305 indicating the display contents of the GUI section 1202 in the processing of step 1304 indicating the display contents to 1311 Figure Figure showing display contents of the GUI section 1202 in the processing of FIG. 22 shows the step 1307 that indicates the display contents of the GUI section 1202 in the processing of FIG. FIG. 21 step 1306 indicating the display contents of the GUI section 1202 in the processing of 23] in the process of FIG. 24 shows the step 1309 that indicates the display contents of the GUI section 1202 in the processing of step 1308 けるGUI部1202の表示内容を示す図【図25】ステップ1310から1311までの処理におけるGUI部1202の表示内容を示す図【図26】 本発明に関連する技術の他の発明の一実施の形態の音声入力翻訳装置の構成を示すブロック図【図27】言語変換方向検出部4104がボタンである音声翻訳装置の日本語の利用を示す図【図28】言語変換方向検出部4104がボタンである音声翻訳装置の英語の利用を示す図【図29】言語変換方向検出部4104がボタンである音声翻訳装置の日本語の利用を示す図【図30】言語変換方向検出部4104がマイク軸の角度センサーである音声翻訳装置の日本語の利用を示す図【図31】言語変換方向検出部4104がマイク軸の角度センサーである音声翻訳装置の英語の利用を示す図【 Kicking an embodiment of another aspect of the technology related to FIG. FIG. 26 the present invention showing the display contents of the GUI section 1202 in the processing of FIGS. 25 shows the step 1310 that indicates the display contents of the GUI section 1202 to 1311 Figure [28] language conversion direction detection unit 4104 is a button indicating the Japanese use of the block diagram Figure 27 language conversion direction detection unit 4104 speech translation apparatus is a button showing a configuration of a voice input translation device angle of FIG. FIG. 29 FIG. FIG. 30 showing the Japanese use of language conversion direction detection unit 4104 speech translation apparatus is a button language conversion direction detection unit 4104 microphone axis showing an English use of speech translation apparatus It shows Fig. [31] language conversion direction detection unit 4104 indicating the Japanese use of speech translation apparatus a sensor is the English usage speech translation device is an angle sensor of the microphone shaft [ 32】言語変換方向検出部4104がマイク軸の角度センサーである音声翻訳装置の日本語の利用を示す図【図33】言語変換方向検出部4104がジャイロセンサーである音声翻訳装置の日本語の利用を示す図【図34】言語変換方向検出部4104がジャイロセンサーである音声翻訳装置の英語の利用を示す図【図35】言語変換方向検出部4104がジャイロセンサーである音声翻訳装置の日本語の利用を示す図【図36】入力部4101と言語変換方向検出部4104がマイクアレーユニットである音声翻訳装置の日本語の利用を示す図【図37】入力部4101と言語変換方向検出部4104がマイクアレーユニットである音声翻訳装置の英語の利用を示す図【図38】入力部4101と言語変換方向検出部4104がマイクアレ 32] Japanese use of FIG. 33 shows language conversion direction detection unit 4104 language conversion direction detector 4104 indicates Japanese use of speech translation apparatus is an angle sensor of the microphone shaft speech translation apparatus is gyro sensor Figure 34 shows language conversion direction detection unit 4104 in FIG. FIG. 35 is a language conversion direction detection unit 4104 that shows the English of the use of speech translation device which is a gyro sensor of Japanese speech translation device which is a gyro sensor shown Figure [36] Figure 37 shows the input unit 4101 and the language conversion direction detection unit 4104 indicating the Japanese use of speech translation apparatus is a microphone array unit input unit 4101 and the language conversion direction detection unit 4104 indicating the utilization Figure 38 shows the input unit 4101 and the language conversion direction detection unit 4104 indicating the English usage speech translation device is a microphone array unit Maikuare ーユニットである音声翻訳装置の日本語の利用を示す図【図39】 本発明に関連する技術の他の発明の別の実施の形態の音声翻訳装置の日本語の利用を説明するための図【図40】 本発明に関連する技術の他の発明の別の実施の形態の音声翻訳装置の英語の利用を説明するための図【図41】 本発明に関連する技術の他の発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図【図42】 本発明に関連する技術の他の発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図【図43】 本発明に関連する技術の他の発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図【図44】 本発明に関連する Diagram for explaining the use of Japanese alternative embodiment of the speech translating apparatus of another aspect of the technology related to FIG. FIG. 39 the present invention showing the use of a Japanese speech translation device is a chromatography unit [ Figure 40 yet another alternative aspect of another embodiment diagram for explaining the English use of speech translation apparatus of Figure 41 the present invention in a related technique other invention related art to the present invention Figure 42 shows a further embodiment of another invention related art to the present invention of a speech translating apparatus of Japanese speech translation apparatus embodiment for explaining the function of alternative words in use further features of the alternative words in the use of Japanese alternative embodiment of the speech translating apparatus of another aspect of the technology related to FIG 43 shows the invention for explaining the function of alternative words in the use of Japanese refer to Figure 44 shows the present invention for illustrating the 術の他の発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図【符号の説明】 Diagram for further explanation of the function of the alternative words in the use of Japanese alternative embodiment of the speech translating apparatus of another aspect of operative EXPLANATION OF REFERENCE NUMERALS
101 演算制御装置102 音声入出力装置103 画像出力装置104 外部大容量不揮発性記憶装置105 画像指示装置106 ボタン107 外部データ入出力端子108 電源装置201 マザーボード202 2.5インチハードディスクドライブ203 音声入出力装置204 画像出力装置205 画像指示装置206 ボタン207 外部データ出力端子208 Li-ion2次電池301 バックライト付4インチVGALCDユニット302 マザーボード401 タッチパネルコントローラ402 3.8インチ感圧式タッチパネル403 ボタン404 ボタン405 マザーボード501 スピーカ502 オーディオアンプ503 マイク504 USBオーディオデバイス505 マザーボード601 主筐体602 副筐体603 ボタン604 ボタン701 正面図 101 arithmetic and control unit 102 audio input and output device 103 the image output device 104 external mass storage nonvolatile memory 105 image indicating device 106 button 107 external data input and output terminals 108 power supply 201 motherboard 202 2.5 inches hard disk drive 203 audio input and output device 204 the image output device 205 the image indicating device 206 button 207 external data output terminal 208 Li-ion2 battery 301 with backlight 4 inches VGALCD unit 302 motherboard 401 touch panel controller 402 3.8 inches pressure sensitive touch panel 403 button 404 button 405 motherboard 501 speaker 502 audio amplifier 503 microphone 504 USB audio device 505 motherboard 601 main housing 602 sub-housing 603 button 604 button 701 front view 02 右側面図703 上面図801 主筐体802 副筐体803 マイク804 スピーカ805 タッチパネル付LCD 02 a right side view 703 top view 801 main housing 802 sub-housing 803 microphone 804 speaker 805 LCD with a touch panel
901 正面図902 右側面図903 上面図1001 正面図1002 右側面図1003 上面図1004 マザーボード1005 タッチパネル付LCD 901 front view 902 right side view 903 top view 1001 front view 1002 Right view 1003 top view 1004 motherboard 1005 LCD with a touch panel
1006 2.5インチハードディスクドライブ1007 ボタン1008 ボタン1101 正面図1102 右側面図1103 上面図1104 マイク1105 スピーカ1106 USBオーディオデバイス1107 オーディオアンプ1201 制御部1202 GUI部1203 音声入力部1204 音声認識部1205 用例データベース1206 単語クラス辞書1207 用例選択部1208 単語選択部1209 代替単語選択部1210 言語変換部1211 音声合成部1301 翻訳の方向を決定するステップ1302 音声認識を行うステップ1303 用例データベースから用例を検索するステップ1304 用例を選択するステップ1305 用例を決定するか修正するかを判断するステップ1306 修正する単語を決定するステップ1307 代替単 1006 2.5 inches hard disk drive 1007 button 1008 button 1101 front view 1102 Right view 1103 top view 1104 microphone 1105 speaker 1106 USB audio device 1107 audio amplifier 1201 controller 1202 GUI portion 1203 a voice input section 1204 speech recognition unit 1205 the example database 1206 step 1304 example of searching for example from step 1303 the example database to perform step 1302 the speech recognition to determine the direction of the word class dictionary 1207 example selector 1208 word selection unit 1209 alternative word selection unit 1210 language conversion unit 1211 voice synthesis unit 1301 translation step 1307 alternative single determining the word to be modified step 1306 to determine whether to modify or determine a step 1305 example of selecting 語一覧を取得するステップ1308 代替単語を決定するステップ1309 用例を修正するステップ1310 言語変換を行うステップ1311 音声合成部を行うステップ1601 翻訳方向指定部1602 翻訳方向指定部1603 認識結果表示部1604 用例候補表示部1605 用例結果表示部1606 通訳結果表示部1607 ボタンSW1 Acquiring a word list 1308 substitute word to correct the 1309 example of determining a step 1310 language conversion is carried out step 1311 the speech synthesis unit step 1601 performs the translation direction designating section 1602 translation direction designating section 1603 recognition result display unit 1604 example candidate display unit 1605 example result display unit 1606 interpretation result display unit 1607 button SW1
1608 ボタンSW2 1608 button SW2
1701 翻訳方向指定部1702 認識結果表示部1703 用例候補表示部1801 選択された用例1901 用例結果表示部1902 用例候補表示部2001 通訳結果表示部2101 用例結果表示部2201 リストウィンドウ2301 選択された代替単語2401 用例結果表示部4105 言語変換方向制御部4106 対話履歴管理部4104 言語変換方向検出部 1701 translation direction designating section 1702 recognition result display unit 1703 example candidate display unit 1801 selected examples 1901 example result display unit 1902 example candidate display unit 2001 interpretation result display unit 2101 example result display unit 2201 list window 2301 selected alternative word 2401 example result display unit 4105 language conversion direction controller 4106 dialogue history manager 4104 language conversion direction detector

Claims (5)

  1. 第1の言語の音声を入力するための音声入力手段と、 An audio input means for inputting the voice of the first language,
    前記入力された音声を音声認識するための音声認識手段と、 A speech recognition means for recognizing speech a speech which is the input,
    前記第1の言語の用例と、前記用例を構成する単語の内の所定の単語間の依存関係とを予め格納する用例データベースと、 & Examples of the first language, and the example database to store the dependency between a given word among words constituting the example previously,
    前記音声の認識結果に前記所定の単語が含まれる場合、前記含まれる所定の単語の前記依存関係を利用して、前記用例データベースに格納されている前記第1の言語の用例の中から、前記音声に対応した用例を抽出し、前記用例を構成する一つまたは複数の単語列を表示する第1の抽出・表示手段と、 When the predetermined word is included in the speech recognition result, by using the dependence of predetermined words included above, from among the examples of the first language stored in said example database, the a first extracting and displaying means for displaying one or more word string extracting examples corresponding to the voice, to configure the example,
    前記表示された前記第1の言語の用例を構成する単語列から、第2の言語への変換対象となる予定の何れかの単語列を選定するための変換対象選定手段と、 From word strings constituting example of the displayed said first language, a conversion object selecting means for selecting one of the word string that will be converted into a second language,
    前記用例に含まれる単語を予めクラス化して、前記クラス化された前記単語と置き換え可能な単語を予め格納する単語クラス辞書と、 A word class dictionary in advance classes the words contained in the example, is previously stored words can be replaced with the words said are classed,
    前記選定された単語列の中の前記クラス化された単語が特定された際、その特定された前記クラス化された単語と同じクラスの単語を前記単語クラス辞書から前記置き換えの候補として抽出し、表示する第2の抽出・表示手段と、 Wherein when the classed word of selected word sequence has been identified, extracting word of the same class as the word which is the class of which is that identified as candidates for replacement the from the word class dictionary, a second extraction and display means for displaying,
    前記表示された前記同じクラスの単語の候補から何れかの候補を選定するための候補選定手段と、 And candidate selection means for selecting one of the candidate from the displayed said candidate word of the same class,
    前記選定された前記第1の言語の用例を構成する単語列と、前記選定された前記同じクラスの単語の候補とに基づいて、前記第2の言語への変換対象を決定し、その決定された変換対象を前記第2の言語の音声言語に変換する変換手段と、 A word string which constitutes the example of the selected the first language, the selected been on the basis of the candidate word of the same class, determining the converted into the second language, is that determined and converting means for the conversion target converted to spoken language of the second language and,
    を備えた音声変換装置。 Speech conversion system having a.
  2. 前記第1の抽出・表示手段は、前記選定の対象となる複数の単語列と、前記選定された単語列とを、それぞれ予め定められた領域に表示するための表示画面を備えた表示部を有しており、 The first extraction and display unit includes a plurality of word strings to be the selection, and the selected word sequence, a display unit having a display screen for displaying a predetermined area, respectively has,
    前記第2の抽出・表示手段は、前記用語の候補を、前記表示画面の一部の領域にウインドウ状に重ねて表示する手段である請求項1記載の音声変換装置。 The second extraction and display unit, the candidate of the terms, speech conversion system of claim 1, wherein a part of the region which is a means for displaying overlapping the window-like of the display screen.
  3. 前記第1の抽出・表示手段は、前記選定された単語列を前記表示画面上に表示する際、前記単語列の一部に対して、前記対応する用語の候補の表示が可能である旨の情報をも付加して表示する手段である請求項2記載の音声変換装置。 It said first extracting and displaying means, when displaying the selected word sequence on the display screen, to a portion of the word string, indicating the display is possible for the corresponding terms candidate speech conversion system of claim 2 wherein the means for displaying by adding also information.
  4. 前記付加された情報が表示されている前記単語列の一部を、前記表示画面上で特定するための画面表示特定手段を備えた請求項3記載の音声変換装置。 The additional information with a portion of said word string that is displayed, the display speech conversion system according to claim 3, further comprising a screen display specifying means for specifying on the screen.
  5. 前記変換手段は、前記単語列の内、前記特定された前記一部を、前記選定された候補の用語に置き換えた結果を、前記変換対象として決定する請求項1記載の音声変換装置。 And the converting means, among the word sequence, wherein the said portion identified, the result is replaced with the term of the selected candidate, speech conversion system according to claim 1, wherein determining as the converted.
JP2002014834A 2001-01-24 2002-01-23 Speech conversion system Active JP3974412B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001015383 2001-01-24
JP2002-12931 2002-01-22
JP2002012931 2002-01-22
JP2001-15383 2002-01-22
JP2002014834A JP3974412B2 (en) 2001-01-24 2002-01-23 Speech conversion system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002014834A JP3974412B2 (en) 2001-01-24 2002-01-23 Speech conversion system

Publications (3)

Publication Number Publication Date
JP2003288339A true JP2003288339A (en) 2003-10-10
JP2003288339A5 true JP2003288339A5 (en) 2005-07-14
JP3974412B2 true JP3974412B2 (en) 2007-09-12

Family

ID=29255015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002014834A Active JP3974412B2 (en) 2001-01-24 2002-01-23 Speech conversion system

Country Status (1)

Country Link
JP (1) JP3974412B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101235A1 (en) * 2004-04-12 2005-10-27 Matsushita Electric Industrial Co., Ltd. Dialogue support device
JP2007272260A (en) * 2004-06-23 2007-10-18 Matsushita Electric Ind Co Ltd Automatic translation device
CN1842788B (en) * 2004-10-08 2012-04-04 松下电器产业株式会社 Dialog supporting apparatus, system and method
JP3962767B2 (en) 2004-10-08 2007-08-22 松下電器産業株式会社 Interactive support device
JP3984642B2 (en) * 2005-07-06 2007-10-03 松下電器産業株式会社 Interactive support device
JP3983794B2 (en) 2005-07-13 2007-09-26 松下電器産業株式会社 Interactive support device
US9128926B2 (en) 2006-10-26 2015-09-08 Facebook, Inc. Simultaneous translation of open domain lectures and speeches
US8972268B2 (en) 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
KR101269883B1 (en) 2010-12-20 2013-06-07 하인크코리아(주) Method for learning word and apparatus thereof

Also Published As

Publication number Publication date Type
JP2003288339A (en) 2003-10-10 application

Similar Documents

Publication Publication Date Title
US6148105A (en) Character recognizing and translating system and voice recognizing and translating system
US6192332B1 (en) Adaptive electronic phrase book
US6724370B2 (en) Touchscreen user interface
US6415256B1 (en) Integrated handwriting and speed recognition systems
US6167376A (en) Computer system with integrated telephony, handwriting and speech recognition functions
US5208745A (en) Multimedia interface and method for computer system
US4931950A (en) Multimedia interface and method for computer system
US20070242421A1 (en) Folding computer
US20060256139A1 (en) Predictive text computer simplified keyboard with word and phrase auto-completion (plus text-to-speech and a foreign language translation option)
US7162412B2 (en) Multilingual conversation assist system
US20070174326A1 (en) Application of metadata to digital media
US5867817A (en) Speech recognition manager
US20070016401A1 (en) Speech-to-speech translation system with user-modifiable paraphrasing grammars
US20080077393A1 (en) Virtual keyboard adaptation for multilingual input
US20060190256A1 (en) Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US20050283364A1 (en) Multimodal disambiguation of speech recognition
US20050240406A1 (en) Speech recognition computing device display with highlighted text
US6401065B1 (en) Intelligent keyboard interface with use of human language processing
US20070052868A1 (en) Multimedia accessible universal input device
WO2001031788A1 (en) Integrated keypad system
US6499015B2 (en) Voice interaction method for a computer graphical user interface
CN101097488A (en) Method for learning character fragments from received text and relevant hand-hold electronic equipments
JP2005055782A (en) Data input system, handy terminal, data input method, program, and recording medium
US20100128994A1 (en) Personal dictionary and translator device
US20020180806A1 (en) System and method for upgrading input and inquiry efficiency

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070316

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250