JP6269771B1

JP6269771B1 - 翻訳装置、拡声装置、およびその制御方法

Info

Publication number: JP6269771B1
Application number: JP2016196995A
Authority: JP
Inventors: 良彦竹井; 好男一柳; 明夫上杉
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-10-05
Filing date: 2016-10-05
Publication date: 2018-01-31
Anticipated expiration: 2036-10-05
Also published as: JP2018060346A

Abstract

【課題】ユーザが適宜に加工した定型文を登録することができ、さらに、登録した定型文を再度加工した上で音声出力を行うことができるようにする。【解決手段】ユーザの操作に応じて、予め登録された定型文を加工したユーザ固有定型文を作成するユーザ固有定型文作成部２８と、このユーザ固有定型文作成部で作成されたユーザ固有定型文を記憶部２５に登録する定型文管理部３７と、登録されたユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、原言語の合成音声および他言語の合成音声をスピーカから出力する音声出力部と、を備える。【選択図】図５

Description

本発明は、原言語の文字情報に基づいて他言語の合成音声を出力する翻訳装置、ユーザが発話した音声を増幅して出力する拡声装置、およびその制御方法に関するものである。

災害時などの避難の誘導、警備のための案内や誘導、業務の指示などに関するメッセージを多数の人物に同時に報知するため、ユーザが発話した音声を増幅して出力する拡声装置が使用されている。

一方、空港、駅、ホテル、観光地などでは外国人旅行者が多数滞在し、また、工場、倉庫、工事現場などでは外国人労働者が多数働いており、このように外国人が多数滞在する場所では、必要なメッセージを外国人に理解可能な外国語の音声で報知することが望まれる。

このような必要なメッセージを他言語の音声で報知するには、原言語（日本語）の文字情報を他国語の文字情報に変換する翻訳が必要となり、従来、別の語句に入れ替え可能な可変部を有するテンプレート定型文を用いた翻訳の技術が知られている（特許文献１，２参照）。

特開平１０−０９７５３８号公報特開平０６−０５２２１９号公報

さて、拡声装置において、翻訳で取得した他言語の文字情報から合成音声を生成して、その音声をスピーカから出力すれば、必要なメッセージを他言語の音声で報知することができる。このとき、前記のようなテンプレート定型文において、可変部を適切な語句に入れ替える編集作業をユーザが行うことができるようにすると、適切な音声を出力することができる。

ところが、音声を出力する際に、その都度、テンプレート定型文の編集作業を行うことは面倒である。そこで、編集後のテンプレート定型文を登録することができるようにすると、ユーザの利便性を高めることができる。さらに、登録されたテンプレート定型文を選択して音声を出力する際に、テンプレート定型文の再編集ができるようにすると、ユーザの利便性をより一層高めることができる。しかしながら、前記従来の技術では、テンプレート定型文の登録や再編集を行うことができないという問題があった。

そこで、本発明は、ユーザが適宜に加工した定型文を登録することができ、さらに、登録した定型文を再度加工した上で音声出力を行うことができる翻訳装置、拡声装置、およびその制御方法を提供することを主な目的とする。

本発明の翻訳装置は、原言語の文字情報に基づいて他言語の合成音声を出力する翻訳装置であって、ユーザの操作に応じて、予め登録された定型文を加工したユーザ固有定型文を作成するユーザ固有定型文作成部と、このユーザ固有定型文作成部で作成された前記ユーザ固有定型文を記憶部に登録する定型文管理部と、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、前記原言語の合成音声および他言語の合成音声をスピーカから出力する音声出力部と、を備え、さらに、前記ユーザ固有定型文作成部は、複数の前記定型文を連結した連結定型文を作成する連結定型文作成部を備え、前記連結定型文作成部は、複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成する構成とする。

また、本発明の拡声装置は、ユーザが発話した音声を増幅して出力する拡声装置であって、ユーザが発話した音声を収音するマイクと、音声を出力するスピーカと、前記スピーカから出力された音声が拡声されるホーン部と、画面を表示するディスプレイと、前記マイクで収音した原音声を録音する録音部と、予め登録された定型文の中から、前記原音声の音声認識により取得した文字情報に類似する定型文を検索する検索部と、前記検索部で見つかった前記定型文を前記ディスプレイに表示し、ユーザの操作に応じて、前記定型文を加工したユーザ固有定型文を作成するユーザ固有定型文作成部と、このユーザ固有定型文作成部で作成された前記ユーザ固有定型文を記憶部に登録する定型文管理部と、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、前記原言語の合成音声および他言語の合成音声を前記スピーカに出力し前記ホーン部から拡声する音声出力部と、を備え、さらに、前記ユーザ固有定型文作成部は、複数の前記定型文を連結した連結定型文を作成する連結定型文作成部を備え、前記連結定型文作成部は、複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成する構成とする。

また、本発明の制御方法は、原言語の文字情報に対応する他言語の文字情報を音声に変換して出力する翻訳装置の制御方法であって、ユーザの操作に応じて、予め登録された複数の定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つのユーザ固有定型文を作成し、前記ユーザ固有定型文を記憶部に登録し、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得し、前記原言語の合成音声および他言語の合成音声をスピーカから出力する構成とする。

また、本発明の制御方法は、ユーザが発話した音声を増幅して出力する拡声装置の制御方法であって、ユーザが発話した音声をマイクで収音し、前記マイクで収音した原音声を録音し、予め登録された定型文の中から、前記原音声の音声認識により取得した文字情報に類似する定型文を検索し、前記検索で見つかった前記定型文をディスプレイに表示し、ユーザの操作に応じて、前記定型文を加工したユーザ固有定型文を作成するとともに、複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つのユーザ固有定型文を作成し、作成された前記ユーザ固有定型文を記憶部に登録し、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得し、前記原言語の合成音声および他言語の合成音声をスピーカから出力し、ホーン部で拡声する構成とする。

本発明によれば、ユーザが適宜に加工した定型文をユーザ固有定型文として登録することができる。これにより、音声を出力する際には、登録されたユーザ固有定型文をユーザが選択するだけで済むため、ユーザの利便性を高めることができる。

本実施形態に係る拡声装置１の側面図拡声装置１の概略構成を示すブロック図録音部３１、音声認識部３２、検索部３３、音声合成部３４、再生部３５、および出力制御部３６で行われる処理の概略を示す説明図記憶部２５に一時記憶される情報を示す説明図定型文管理部３７、テンプレート編集部３８および連結定型文作成部３９で行われる処理の概要を示す説明図定型文データベースの登録内容の一例を示す説明図テンプレート定型文の可変部辞書の登録内容の一例を示す説明図ユーザ固有定型文データベースの登録内容の一例を示す説明図表示入力パネル９に表示されるメニュー画面を示す説明図表示入力パネル９に表示される定型文一覧画面を示す説明図ユーザが定型文を直接選択した場合に表示入力パネル９に表示される定型文表示画面を示す説明図ユーザが発話した音声に基づいて定型文を検索した場合に表示入力パネル９に表示される定型文表示画面を示す説明図表示入力パネル９に表示されるテンプレート編集画面を示す説明図表示入力パネル９に表示されるユーザ固有定型文登録画面を示す説明図表示入力パネル９に表示されるユーザ固有定型文一覧画面を示す説明図表示入力パネル９に表示される履歴一覧画面を示す説明図ユーザが発話した音声に基づいて合成音声を出力する際の動作手順を示すフロー図テンプレート編集時および音声出力時の動作手順を示すフロー図ユーザが定型文を選択して合成音声を出力する際の動作手順を示すフロー図ユーザ固有定型文を登録する際の動作手順を示すフロー図ユーザ固有定型文の音声を出力する際の動作手順を示すフロー図

前記課題を解決するためになされた第１の発明は、原言語の文字情報に基づいて他言語の合成音声を出力する翻訳装置であって、ユーザの操作に応じて、予め登録された定型文を加工したユーザ固有定型文を作成するユーザ固有定型文作成部と、このユーザ固有定型文作成部で作成された前記ユーザ固有定型文を記憶部に登録する定型文管理部と、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、前記原言語の合成音声および他言語の合成音声をスピーカから出力する音声出力部と、を備え、さらに、前記ユーザ固有定型文作成部は、複数の前記定型文を連結した連結定型文を作成する連結定型文作成部を備え、前記連結定型文作成部は、複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成する構成とする。

これによると、複数の定型文を連結した連結定型文を作成して、その連結定型文をユーザ固有定型文として登録することができる。これにより、音声を出力する際には、登録されたユーザ固有定型文をユーザが選択するだけで済むため、ユーザの利便性を高めることができる。

また、第２の発明は、前記連結定型文作成部は、前記記憶部に登録された前記ユーザ固有定型文の中から、前記第１の定型文および前記第２の定型文の少なくともいずれかを取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成する構成とする。

これによると、ユーザ固有定型文と他の定型文を連結した連結定型文を作成して、その連結定型文をユーザ固有定型文として登録することができる。

また、第３の発明は、前記ユーザ固有定型文作成部は、前記定型文が、語句を置換可能な可変部を有するテンプレート定型文である場合に、ユーザの操作に応じて、ユーザが選択した語句を前記可変部に挿入する編集を行うテンプレート編集部を備えた構成とする。

これによると、適切な語句を可変部に挿入した編集済みのテンプレート定型文を作成して、その編集済みのテンプレート定型文をユーザ固有定型文として登録することができる。

また、第４の発明は、前記テンプレート編集部は、前記ユーザ固有定型文が前記テンプレート定型文を含む場合に、前記可変部の語句をユーザが選択した語句に入れ替える再編集を行う構成とする。

これによると、可変部の語句を別の語句に入れ替える再編集を行った上で、ユーザ固有定型文の音声を出力することができる。

また、第５の発明は、ユーザが発話した音声を増幅して出力する拡声装置であって、ユーザが発話した音声を収音するマイクと、音声を出力するスピーカと、前記スピーカから出力された音声が拡声されるホーン部と、画面を表示するディスプレイと、前記マイクで収音した原音声を録音する録音部と、予め登録された定型文の中から、前記原音声の音声認識により取得した文字情報に類似する定型文を検索する検索部と、前記検索部で見つかった前記定型文を前記ディスプレイに表示し、ユーザの操作に応じて、前記定型文を加工したユーザ固有定型文を作成するユーザ固有定型文作成部と、このユーザ固有定型文作成部で作成された前記ユーザ固有定型文を記憶部に登録する定型文管理部と、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、前記原言語の合成音声および他言語の合成音声を前記スピーカに出力し前記ホーン部から拡声する音声出力部と、を備え、さらに、前記ユーザ固有定型文作成部は、複数の前記定型文を連結した連結定型文を作成する連結定型文作成部を備え、前記連結定型文作成部は、複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成する構成とする。

また、第６の発明は、前記連結定型文作成部は、前記記憶部に登録された前記ユーザ固有定型文の中から、前記第１の定型文および前記第２の定型文の少なくともいずれかを取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成する構成とする。

また、第７の発明は、前記ユーザ固有定型文作成部は、前記定型文が、語句を置換可能な可変部を有するテンプレート定型文である場合に、ユーザの操作に応じて、ユーザが選択した語句を前記可変部に挿入する編集を行うテンプレート編集部を備えた構成とする。

また、第８の発明は、前記テンプレート編集部は、前記ユーザ固有定型文が前記テンプレート定型文を含む場合に、前記可変部の語句をユーザが選択した語句に入れ替える再編集を行う構成とする。

また、第９の発明は、原言語の文字情報に対応する他言語の文字情報を音声に変換して出力する翻訳装置の制御方法であって、ユーザの操作に応じて、予め登録された複数の定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つのユーザ固有定型文を作成し、前記ユーザ固有定型文を記憶部に登録し、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得し、前記原言語の合成音声および他言語の合成音声をスピーカから出力する構成とする。

また、第１０の発明は、ユーザが発話した音声を増幅して出力する拡声装置の制御方法であって、ユーザが発話した音声をマイクで収音し、前記マイクで収音した原音声を録音し、予め登録された定型文の中から、前記原音声の音声認識により取得した文字情報に類似する定型文を検索し、前記検索で見つかった前記定型文をディスプレイに表示し、ユーザの操作に応じて、前記定型文を加工したユーザ固有定型文を作成するとともに、複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つのユーザ固有定型文を作成し、作成された前記ユーザ固有定型文を記憶部に登録し、登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得し、前記原言語の合成音声および他言語の合成音声をスピーカから出力し、ホーン部で拡声する構成とする。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る拡声装置１の側面図である。

この拡声装置１（翻訳装置）では、筐体２の内部に、マイク３と、音声切換部５と、制御部６と、アンプ７と、スピーカ８と、表示入力パネル９と、が収容されている。また、筐体２の下部には、ユーザが把持するグリップ１０が取り付けられている。筐体２におけるスピーカ８の前側には、円錐形状のホーン部１１が設けられている。なお、筐体２の内部には電池(図示せず)も収容されている。

マイク３は、ユーザが発話する音声を収音する。

制御部６は、マイク３で収音した原音声を録音する処理や、録音した原音声を文字情報に変換する処理（音声認識）や、原音声の文字情報（原文）と類似する定型文を探し出す処理（検索）や、定型文の文字情報から合成音声を生成する処理（音声合成）や、合成音声や原音声を再生する処理などを行う。

音声切換部５は、メガホンモード（第１の動作モード）での音声パス（音声の経路）と、翻訳モード（第２の動作モード）での音声パスとを切り換える。アンプ７は、音声切換部５から出力される音声を増幅する。スピーカ８は、アンプ７で増幅された音声を出力する。

メガホンモードでは、マイク３で収音した原音声をそのままアンプ７で増幅してスピーカ８で出力する。翻訳モードでは、マイク３で収音した原音声を制御部６に入力して、制御部６で生成した合成音声や原音声をアンプ７で増幅してスピーカ８で出力する。

筐体２の側面には、モード切換スイッチ１２が設けられている。このモード切換スイッチ１２は、メガホンモードと翻訳モードとを切り換えるものであり、モード切換スイッチ１２の操作に応じて、音声切換部５においてメガホンモードでの音声パスと翻訳モードでの音声パスとが切り換えられる。

表示入力パネル９（表示部、入力部）は、タッチパネルと液晶ディスプレイとを組み合わせた、いわゆるタッチパネルディスプレイで構成され、画面を上向きにした状態で、筐体２の上部に形成された凸部１８に収容されている。

凸部１８の側面には電源スイッチ１３が設けられている。

グリップ１０の手前側には、録音スイッチ１４と、音量調整スイッチ１５とが設けられている。グリップ１０の逆側には、出力スイッチ１６と、ロックスイッチ１７と、が設けられている。ユーザは、一方の手でグリップ１０を把持した状態で、その手の親指で録音スイッチを操作し、また、人差し指で出力スイッチを操作することができる。

録音スイッチ１４は、マイク３で収音した音声の録音を指示するものである。音量調整スイッチ１５は、スピーカ８から出力される音声の音量を調整するものである。

出力スイッチ１６は、メガホンモードでは、アンプ７を動作させる操作を行うものとなり、出力スイッチ１６を押下すると、マイク３で収音された原音声がアンプ７で増幅して出力される。一方、翻訳モードでは、出力スイッチ１６は、アンプ７を動作させるとともに音声の再生を制御部６に指示する操作を行うものとなり、出力スイッチ１６を押下すると、制御部６で音声が再生されて、その音声がアンプ７で増幅されて出力される。このとき、出力スイッチ１６を押下し続けることで、音声が繰返し再生される。

ロックスイッチ１７は、出力スイッチ１６を押下状態に保持するものである。これにより、出力スイッチ１６をユーザが押下し続けなくても音声の出力を継続させることができる。

なお、モード切換スイッチ１２はロッカースイッチであり、録音スイッチ１４および出力スイッチ１６は押ボタンスイッチであり、音量調整スイッチ１５はロータリースイッチである。

次に、拡声装置１の概略構成について説明する。図２は、拡声装置１の概略構成を示すブロック図である。

モード切換スイッチ１２の信号が音声切換部５に入力される。この音声切換部５は、モード切換スイッチ１２の操作に応じて、メガホンモードでの音声パスと翻訳モードでの音声パスとを切り換えるものであり、入力切換部２１と、出力切換部２２と、を備えている。入力切換部２１では、マイク３から出力される音声を、出力切換部２２側および制御部６側のいずれかに出力する。出力切換部２２では、入力切換部２１および制御部６のいずれかから入力される音声をアンプ７側に出力する。

音声切換部５と制御部６との間にはレベル調整部２３が設けられている。このレベル調整部２３では、音声切換部５の入力切換部２１から出力される音声のレベルが調整される。

音量調整スイッチ１５の信号が音量調整部２４に入力される。この音量調整部２４は、音声切換部５とアンプ７との間に設けられている。この音量調整部２４では、音量調整スイッチ１５の操作に応じて、音声切換部５の出力切換部２２から出力される音声の音量が調整される。

出力スイッチ１６の信号がアンプ７に入力される。出力スイッチ１６は、アンプ７への給電を断続するスイッチとして機能し、メガホンモードにおいて出力スイッチ１６が押下されると、アンプ７が通電して音声出力状態となり、マイク３から入力される原音声がアンプ７で増幅されて出力される。一方、翻訳モードにおいて出力スイッチ１６が押下されると、アンプ７が通電して音声出力状態になるとともに、再生部３５で音声が再生されて、再生部３５から出力される音声がアンプ７で増幅されて出力される。

記憶部２５は、制御部６において、ユーザが発話する音声を録音した原音声や、原音声の音声認識により取得した原文や、定型文の文字情報から変換された合成音声を一時記憶する。また、記憶部２５は、定型文データベースを記憶する。この定型文データベースには、多数の定型文が登録されている。

また、記憶部２５は、表示入力パネル９に表示された設定画面上でユーザが入力した情報をユーザ設定情報として記憶する。本実施形態では、ユーザ設定情報として、原言語の音声として原音声を出力するか否かに関する情報や、合成音声の性別（女性の声または男性の声）に関する情報や、複数の他言語（英語、中国語など）の音声を出力する順番に関する情報が記憶される。

制御部６は、録音部３１と、音声認識部３２と、検索部３３と、音声合成部３４と、再生部３５と、出力制御部３６と、定型文管理部３７と、テンプレート編集部３８と、連結定型文作成部３９と、を備えている。この制御部６は、プロセッサで構成され、制御部６の各部は、記憶部２５に記憶されたプログラムを実行することで実現される。

この制御部６には、モード切換スイッチ１２の信号、録音スイッチ１４の信号、および出力スイッチ１６の信号が入力される。

次に、制御部６の各部で行われる処理について説明する。まず、録音部３１、音声認識部３２、検索部３３、音声合成部３４、再生部３５、および出力制御部３６で行われる処理について説明する。図３は、制御部６で行われる処理の概略を示す説明図である。図４は、記憶部２５に一時記憶される情報を示す説明図である。

ここで、図３に示すように、音声認識部３２、検索部３３、および音声合成部３４で合成音声取得部２６が構成される。また、再生部３５、アンプ７およびスピーカ８で音声出力部２７が構成される。

録音部３１は、レベル調整部２３から出力される原音声を録音する。この録音処理では、音声信号（アナログ信号）を音声データにＡ／Ｄ変換して記憶部２５に記憶させる（図４参照）。録音部３１では、録音スイッチ１４が押下されると、録音処理が開始され、録音スイッチ１４がリリースされると、録音処理を終了する。

音声認識部３２は、録音部３１で録音された原音声を文字情報に変換する音声認識を行い、この音声認識結果として、原文（原音声の文字情報）を取得する。この原文は原音声に対応づけて記憶部２５に一時記憶される（図４参照）。

検索部３３は、定型文データベース（図６参照）に登録された原言語（日本語）の定型文の中から、音声認識部３２で取得した原文（原音声の文字情報）と類似度が最も高い定型文を探し出す。例えば、原言語の文字情報が「ここで物資を配布します」である場合（図４参照）、類似度が高い定型文の文字情報として、「こちらで物資を配布しております」が選択される。

この検索部３３では、原文（原音声の文字情報）と、定型文データベースに登録された定型文の原言語（日本語）の文字情報（日本語テキスト）とを比較して、両者の類似度を判定し、類似度の高い、具体的には、類似度が所定のしきい値以上となる定型文を抽出する。

音声合成部３４は、原言語の定型文を定型文データベースから取得して、その原言語（日本語）の定型文の文字情報から音声合成により原言語の合成音声を生成する。また、原言語の定型文の文字情報である日本語テキストに対応づけられた他言語の定型文を定型文データベースから取得して、その他言語（英語、中国語など）の定型文の文字情報から音声合成により他言語の合成音声を生成する。この音声合成部３４で生成した合成音声は記憶部２５に一時記憶される。

出力制御部３６は、出力スイッチ１６が押下されると、音声の出力を開始し、出力スイッチ１６がリリースされると、音声の出力を停止するように制御する。このとき、出力制御部３６は、検索部３３で取得した原言語の定型文およびこれに対応する他言語の定型文の音声合成を音声合成部３４に指示し、さらに、音声合成部３４で生成した合成音声の再生を再生部３５に指示する。また、出力制御部３６は、ユーザ設定情報に基づいて、原言語の音声に続けて、ユーザが指定した順番で複数の他言語の合成音声を出力するように、音声合成部３４および再生部３５に指示する。

また、出力制御部３６は、ユーザ設定情報に基づいて、原言語の音声として原音声と原言語（日本語）の合成音声とのいずれかを出力するように制御する。ここで、原音声を出力する場合には、原音声を記憶部２５から取得して、原音声の再生を再生部３５に指示する。一方、原言語の合成音声を出力する場合には、原言語の定型文を記憶部２５から取得して、原言語の定型文の音声合成を音声合成部３４に指示し、さらに、音声合成部３４で生成した原言語の合成音声の再生を再生部３５に指示する。

また、出力制御部３６は、合成音声を出力する場合に、ユーザ設定情報に基づいて、女性合成音声と男性合成音声とのいずれかを出力するように制御する。女性合成音声を出力する場合には、女性音声合成を生成するように音声合成部３４に指示し、男性合成音声を出力する場合には、男性合成音声を生成するように音声合成部３４に指示する。

再生部３５は、録音部３１で録音された原音声、および音声合成部３４で生成した合成音声を再生する。この再生処理では、原音声および合成音声のデータを音声信号（アナログ信号）にＤ／Ａ変換する処理が行われる。なお、原音声および合成音声は記憶部２５に一時記憶されており、出力スイッチ１６が押下されている状態では、原言語の音声（原音声または合成音声）および他言語の合成音声が所定の順番で連続して繰り返し再生される。

ところで、図３には、ユーザが発話した音声を録音して、その音声の音声認識結果である原文に類似する定型文を検索して、その定型文の音声を出力する方式（音声入力方式）を示したが、本実施形態では、適切な定型文を表示画面でユーザが探し出して、その定型文の音声を出力する方式（画面選択方式）も可能である。

次に、制御部６の定型文管理部３７、テンプレート編集部３８および連結定型文作成部３９で行われる処理の概要について説明する。図５は、制御部６で行われる処理の概略を示す説明図である。図６は、定型文データベースの登録内容の一例を示す説明図である。図７は、テンプレート定型文の可変部辞書の登録内容の一例を示す説明図である。図８は、ユーザ固有定型文データベースの登録内容の一例を示す説明図である。

図５に示すように、本実施形態では、記憶部２５に、定型文データベースと、ユーザ固有定型文データベースと、履歴データベースと、テンプレート定型文の可変部辞書と、が記憶されており、この定型文データベース、ユーザ固有定型文データベース、履歴データベース、およびテンプレート定型文の可変部辞書が、定型文管理部３７で管理される。

図６に示すように、定型文データベースには、定型文ごとに、定型文識別情報と、原言語（日本語）の文字情報（日本語テキスト）と、これに対応する他言語（英語、中国語など）の文字情報（英語テキスト、中国語テキストなど）と、が登録されている。

ここで、定型文には、一般定型文とテンプレート定型文とがある。一般定型文は、全文が固定されたものであり、テンプレート定型文は、固定部と、語句を入れ替え可能な可変部とからなるものである。定型文識別情報は、定型文の種類を識別するものであり、この例では、一般定型文を「０」、テンプレート定型文を「１」とする。

図７に示すように、テンプレート定型文の可変部辞書には、テンプレート定型文の可変部に挿入する語句の文字情報が、候補ＩＤ（％１０など）とともに登録されている。定型文データベース（図６参照）では、テンプレート定型文の可変部に候補ＩＤが埋め込まれた状態で登録されており、可変部辞書を参照することでテンプレート定型文が完成する

ここで、一例として、図６に示すように、日本語テキストが「％１０を％２０から％３０にてお配りいたします。」となるテンプレート定型文では、図７に示す可変部辞書を参照して、可変部に語句を挿入することで、「寝袋を午後１時から１階出口にてお配りいたします。」という文章が得られる。

図８に示すように、ユーザ固有定型文データベースには、ユーザ固有定型文ごとに、定型文識別情報と、原言語の文字情報（日本語テキスト）と、他言語の文字情報（英語テキスト、中国語テキストなど）と、が登録されている。

図８に示す例では、ユーザ固有定型文データベースに、上から１行目、２行目に示すように、一般定型文がそのまま登録されている。また、３行目、４行目に示すように、図６の定型文データベースの可変部の語句が入れ替えられた編集後のテンプレート定型文が登録されている。さらに、５行目に示すように、２つの一般定型文を連結した連結定型文が登録されており、６行目に示すように、２つのテンプレート定型文を連結した連結定型文が登録されており、７行目に示すように、一般定型文とテンプレート定型文を連結した連結定型文が登録されている。

なお、履歴データベースには、ユーザ固有定型文データベースと同様に、定型文（一般定型文およびテンプレート定型文、連結定型文）が登録される。

図５に示すように、定型文管理部３７では、ユーザの登録操作に応じて、定型文をユーザ固有定型文としてユーザ固有定型文データベースに登録する。このユーザ固有定型文データベースには、利用頻度の高い定型文をユーザが登録することができる。

このとき、定型文データベースに登録された定型文（一般定型文およびテンプレート定型文）を取得して、その定型文をそのままユーザ固有定型文として登録することができる。また、編集後のテンプレート定型文をテンプレート編集部３８から取得して、その編集後のテンプレート定型文をユーザ固有定型文として登録することができる。また、連結定型文作成部３９から連結定型文を取得して、その連結定型文をユーザ固有定型文として登録することができる。

また、定型文管理部３７では、音声出力時間、すなわち音声の出力を開始してから停止するまでの時間を計時して、その音声出力時間が所定のしきい値（例えば３秒）以上となる場合には、音声出力した定型文を履歴データベースに登録する。これにより、音声出力した定型文が、ユーザが登録の操作を行うことなく自動で登録される。

本実施形態では、テンプレート編集部３８および連結定型文作成部３９でユーザ固有定型文作成部２８が構成される。

テンプレート編集部３８は、ユーザの操作に応じて、ユーザが選択した語句を、テンプレート定型文の可変部に挿入する編集処理を行う。

また、テンプレート編集部３８は、ユーザの操作に応じて、ユーザが選択したユーザ固有定型文を、ユーザ固有定型文データベースから取得して、ユーザ固有定型文に含まれるテンプレート定型文の可変部に、ユーザが選択した語句を挿入する再編集処理を行う。

連結定型文作成部３９は、ユーザの操作に応じて、ユーザが選択した複数の定型文を連結した連結定型文を作成する。このとき、定型文データベースから定型文（一般定型文およびテンプレート定型文）を取得して、一般定型文同士を連結したり、テンプレート定型文同士を連結したり、一般定型文とテンプレート定型文を連結したりすることができる。

また、ユーザ固有定型文データベースからユーザ固有定型文を取得して、ユーザ固有定型文同士を連結したり、定型文データベースから定型文（一般定型文およびテンプレート定型文）を取得して、ユーザ固有定型文と他の定型文（一般定型文、テンプレート定型文）と連結したりすることができる。

また、編集後のテンプレート定型文をテンプレート編集部３８から取得して、その編集後のテンプレート定型文と他の定型文（一般定型文、テンプレート定型文、ユーザ固有定型文）と連結することができ、また、編集後のテンプレート定型文同士を連結することができる。

なお、本実施形態では、図３に示したように、音声入力方式の場合に、原音声が記憶部２５に一時記憶されるため、音声を出力する際に、原言語の音声として、定型文の合成音声の代わりに、原音声を出力することができる。一方、ユーザ固有定型文データベースや履歴データベースから定型文を選択して音声を出力する際に、原音声は記憶部２５に記憶されていないため、原音声を出力することはできない。

次に、表示入力パネル９に表示されるメニュー画面について説明する。図９は、メニュー画面を示す説明図である。

拡声装置１を起動すると、ＴＯＰ画面（図示せず）が表示され、このＴＯＰ画面でメニューボタンを操作すると、図９に示すメニュー画面が表示される。

このメニュー画面では、「ＴＯＰ」、「お気に入り」、「履歴」、「定型文」、および「設定」の各選択肢が設けられている。「ＴＯＰ」を選択すると、ＴＯＰ画面に戻る。「お気に入り」はユーザ固有定型文データベース(図８参照)の定型文を指し、「お気に入り」を選択すると、ユーザ固有定型文一覧画面（図１５参照）に遷移する。「履歴」は所定秒数以上拡声されると自動的に登録される履歴データベースの定型文を指し、「履歴」を選択すると、履歴一覧画面（図１６参照）に遷移する。「定型文」は元々備える定型文データベース（図６参照）の定型文を指し、「定型文」を選択すると、定型文一覧画面（図１０参照）に遷移する。「設定」は各種ユーザ設定のためのメニューであり、「設定」を選択すると、設定画面（図示せず）に遷移する。

次に、表示入力パネル９に表示される定型文一覧画面について説明する。図１０は、定型文一覧画面を示す説明図である。

メニュー画面（図９参照）でユーザが「定型文」を選択するなどの操作を行うと、図１０に示す定型文一覧画面が表示される。

この定型文一覧画面には、定型文データベースに登録された定型文（一般定型文およびテンプレート定型文）が一覧表示される。このとき、定型文データベース（図６参照）から定型文ごとに原言語（日本語）の文字情報を取得して、この原言語の文字情報が表示される。

ユーザは、画面上で選択操作（タップ）を行うことで、画面に表示された定型文のいずれかを選択することができる。定型文が選択されると、定型文表示画面（図１１参照）に遷移する。

図１０に示す例では、「寝袋を午後１時から１階出口にてお配りいたします。」のテンプレート定型文が選択されている。また、テンプレート定型文では、他の語句に入れ替え可能な可変部に下線が表示されている。なお、可変部が固定部と異なる文字色で強調表示されるようにしてもよい。

また、この定型文一覧画面には、「お気に入り」、「履歴」および「定型文」のタブ４１が設けられている。選択中のタブ４１には下線が表示される。「お気に入り」や「履歴」のタブ４１を操作すると、ユーザ固有定型文一覧画面（図１５参照）や履歴一覧画面（図１６参照）に遷移させることができる。

次に、ユーザが定型文を直接選択した場合に表示入力パネル９に表示される定型文表示画面について説明する。図１１は、ユーザが定型文を直接選択した場合に表示される定型文表示画面を示す説明図である。

定型文一覧画面（図１０参照）でユーザが選択した定型文が一般定型文である場合には、図１１（Ａ）に示す定型文表示画面が表示される。また、ユーザが選択した定型文がテンプレート定型文である場合には、図１１（Ｂ）に示す定型文表示画面が表示される。

この定型文表示画面には、定型文表示部５１が設けられている。この定型文表示部５１には、定型文一覧画面（図１０参照）で選択した定型文の原言語（日本語）の文字情報（日本語テキスト）が表示される。

また、この定型文表示画面には、再生順序表示部５２が設けられている。この再生順序表示部５２には、ユーザ設定情報に基づいて、原言語（日本語）および他言語（英語、中国語、韓国語など）の再生順序が表示される。また、再生順序表示部５２には、国旗アイコン５３が設けられており、この国旗アイコン５３を操作することで、他言語の文字情報が定型文表示部５１に表示される。なお、ユーザによる再生順序の設定は設定画面（図示せず）で行われる。

また、図１１（Ｂ）に示すように、テンプレート定型文が表示された定型文表示画面には、「テンプレート編集」のボタン５５が設けられている。この「テンプレート編集」のボタン５５を操作すると、テンプレート編集画面（図１３参照）に遷移して、テンプレート定型文内の可変部の語句を所望の語句に置き換える編集作業を行うことができる。

また、この定型文表示画面には、短縮登録ボタン５６が設けられている。この短縮登録ボタン５６には、使用頻度の高い定型文を登録することができ、短縮登録ボタン５６を操作（タップ）すると、登録された定型文が定型文表示部５１に表示される。

次に、ユーザが発話した音声に基づいて定型文を検索した場合に表示入力パネル９に表示される定型文表示画面について説明する。図１２は、ユーザが発話した音声を元に表示される定型文表示画面を示す説明図である。

本実施形態では、検索部３３において、ユーザが発話した原音声の音声認識により生成される原文と類似度が高い定型文が検索され、ここで見つかった原言語（日本語）の定型文が、図１２に示す定型文表示画面に表示される。

このとき、検索で見つかった定型文が一般定型文である場合には、図１２（Ａ）に示す定型文表示画面が表示される。また、検索で見つかった定型文がテンプレート定型文である場合には、図１２（Ｂ）に示すように、可変部が判別可能（この例では下線）に表示されるとともに「テンプレート編集」のボタン５５が付加された定型文表示画面が表示される。

ここで、検索部３３では、類似度が所定のしきい値以上となる定型文が候補として抽出されるが、このとき、複数の候補が抽出される場合がある。一方、この定型文表示画面では、１つの画面に１つの候補が表示されるようになっており、定型文表示画面は、各候補を順に表示する連続画面となり、画面を切り替えることで、定型文の候補を順に表示させることができる。

また、この定型文表示画面には、候補総数表示部６１と、候補番号表示部６２と、が設けられている。候補総数表示部６１には、原文に類似するものとして抽出された候補（定型文）の総数が表示される。候補番号表示部６２には、現在表示中の候補の番号（分子）と候補の総数（分母）とが表示される。図６に示す例では、候補が５つあり、その５つの候補のうちの１番目の候補が定型文表示画面に表示されている。

また、この定型文表示画面には、画面送り（ページ送り）を行うための左右のアイコン６３ａ，６３ｂが設けられている。右のアイコン６３ａを操作（タップ）すると、次の画面（ページ）に遷移させることができ、左のアイコン６３ｂを操作（タップ）すると、前の画面（ページ）に遷移させることができる。このアイコン６３ａ，６３ｂは、画面送りが可能な場合に表示される。すなわち、次の画面がある場合には、右のアイコン６３ａが表示され、前の画面がある場合には、左のアイコン６３ｂが表示される。

なお、１つの画面に複数の候補を表示させて、その中からユーザに選択させるようにしてもよい。

次に、表示入力パネル９に表示されるテンプレート編集画面について説明する。図１３は、テンプレート編集画面を示す説明図である。

このテンプレート編集画面は、テンプレート定型文の可変部を適切な語句に置き換える編集を行うものであり、定型文表示画面（図１１（Ｂ），図１２（Ｂ）参照）で「テンプレート編集」のボタン５５を操作することで表示される。

このテンプレート編集画面には、テンプレート定型文表示部７１が設けられている。このテンプレート定型文表示部７１には、初期状態で、編集前のテンプレート定型文が表示される。

また、このテンプレート編集画面には、候補表示部７２が設けられている。この候補表示部７２には、テンプレート定型文の可変部の候補となる語句が表示される。可変部の候補は、可変部辞書（図７参照）の候補ＩＤに基づいてグループ化されており、同じグループの候補が候補表示部７２に表示される。図７の例では、ＩＤが％１ｎ（％１０、％１１、％１２〜）、％２ｎ（％２０、％２１、％２２〜）などの横列のものが１つのグループとなる。この候補表示部７２で、適切な語句を選択すると、可変部が選択した語句に置き換えられた編集後のテンプレート定型文がテンプレート定型文表示部７１に表示される。

また、このテンプレート編集画面には、決定ボタン７３が設けられている。この決定ボタン７３を操作すると、テンプレート定型文表示部７１に表示された編集後のテンプレート定型文で確定され、定型文表示画面（図１１（Ｂ），図１２（Ｂ）参照）に戻る。

次に、表示入力パネル９に表示されるユーザ固有定型文登録画面について説明する。図１４は、ユーザ固有定型文登録画面を示す説明図である。

定型文一覧画面（図１０参照）で定型文を選択する操作（長押し）を行うと、図１４に示すユーザ固有定型文登録画面が表示される。

このユーザ固有定型文登録画面には、第１の定型文表示部８１と、第２の定型文表示部８２と、が設けられている。第１の定型文表示部８１には、定型文一覧画面（図１０参照）で選択した定型文（第１の定型文）が表示される。第２の定型文表示部８２には、連結する定型文（第２の定型文）が表示されるが、初期状態では、なにも表示されない。

定型文の連結を行う場合には、第２の定型文表示部８２を操作（長押し）する。これにより、定型文一覧画面（図１０参照）と同様に、定型文が一覧表示された定型文選択画面（図示せず）が表示され、この定型文選択画面で、２つ目の定型文を選択することができる。

ここで、図１４（Ａ）に示す例では、２つの一般定型文を連結して登録するようにしている。図１４（Ｂ）に示す例では、１つのテンプレート定型文をそのまま登録するようにしている。図１４（Ｃ）に示す例では、２つのテンプレート定型文を連結して登録するようにしている。

また、このユーザ固有定型文登録画面には、キャンセルボタン８３と、完了ボタン８４とが設けられている。キャンセルボタン８３を操作すると、ユーザが選択した内容を破棄して、定型文一覧画面（図１０参照）に戻る。完了ボタン８４を操作すると、登録する定型文が確定され、ユーザ固有定型文登録画面に表示された内容のユーザ固有定型文がユーザ固有定型文データベースに登録される。

次に、表示入力パネル９に表示されるユーザ固有定型文一覧画面について説明する。図１５は、ユーザ固有定型文一覧画面を示す説明図である。

メニュー画面（図９参照）で「お気に入り」を選択し、また、定型文一覧画面（図１０参照）や履歴一覧画面（図１６参照）で「お気に入り」のタブ４１を操作すると、図１５に示すユーザ固有定型文一覧画面が表示される。

ユーザ固有定型文一覧画面には、ユーザ固有定型文データベース（図８参照）にユーザ固有定型文として登録された定型文（一般定型文およびテンプレート定型文、連結定型文）が一覧表示される。このとき、ユーザ固有定型文データベースからユーザ固有定型文ごとに原言語（日本語）の文字情報を取得して、この原言語の文字情報が表示される。

ユーザは、画面上で選択操作（タップ）を行うことで、画面に表示されたユーザ固有定型文のいずれかを選択することができる。ユーザ固有定型文が選択されると、定型文表示画面（図１１参照）に遷移し、選択されたユーザ固有定型文が表示される。

なお、このユーザ固有定型文一覧画面には、定型文一覧画面（図１０参照）と同様に、お気に入り、履歴および定型文のタブ４１が設けられており、定型文一覧画面や履歴一覧画面に遷移させることができる。また、定型文を削除する操作を行う、具体的には、定型文が表示された領域を長押しすることで、登録された定型文を削除することができる。

次に、表示入力パネル９に表示される履歴一覧画面について説明する。図１６は、履歴一覧画面を示す説明図である。

メニュー画面（図９参照）で「履歴」を選択し、または、定型文一覧画面（図１０参照）やユーザ固有定型文一覧画面（図１５参照）で「履歴」のタブ４１を操作すると、図１６に示す履歴一覧画面が表示される。

この履歴一覧画面には、履歴データベースに登録された定型文が一覧表示される。このとき、履歴データベースから定型文ごとに原言語（日本語）の文字情報を取得して、この原言語の文字情報が表示される。

ユーザは、画面上で選択操作（タップ）を行うことで、画面に表示された履歴の定型文のいずれかを選択することができる。定型文が選択されると、定型文表示画面（図１１参照）に遷移し、選択された履歴の定型文が表示される。

なお、この履歴一覧画面には、定型文一覧画面（図１０参照）と同様に、お気に入り、履歴および定型文のタブ４１が設けられており、定型文一覧画面や履歴一覧画面に遷移させることができる。また、定型文を削除する操作を行う、具体的には、定型文が表示された領域を長押しすることで、登録された定型文を削除することができる。

次に、拡声装置１においてユーザが発話した音声に基づいて合成音声を出力する際の動作について説明する。図１７は、拡声装置１においてユーザが発話した音声に基づいて合成音声を出力する際の動作手順を示すフロー図である。図１８は、テンプレート編集時および音声出力時の動作手順を示すフロー図である。

なお、この例では、ユーザが発話した音声の言語、すなわち原言語が日本語であり、他言語が英語および中国語に設定されている。

拡声装置１では、まず、制御部６において、録音スイッチ１４が押下されているか否かを判定する（ＳＴ１０１）。ここで、録音スイッチ１４が押下されている場合には（ＳＴ１０１でＹｅｓ）、録音部３１において、マイク３で収音した原音声を録音する処理を開始する（ＳＴ１０２）。このとき、バイブレーションや通知音で、録音が開始されたことをユーザに通知するようにしてもよい。そして、録音スイッチ１４が戻されると（ＳＴ１０３でＹｅｓ）、録音を停止する（ＳＴ１０４）。なお、音声入力から所定時間（例えば２０秒間）経過すると録音を停止するようにしてもよい。

次に、音声認識部３２において、録音した原音声を文字情報に変換する音声認識が行われる（ＳＴ１０５）。次に、検索部３３において、音声認識結果である原文（原音声の文字情報）に最も類似する定型文を定型文データベース（図６参照）から探し出す検索が行われる（ＳＴ１０６）。

次に、検索で見つかった定型文がテンプレート定型文か否かを定型文識別情報から判定する（ＳＴ１０７）。ここで、検索で見つかった定型文がテンプレート定型文である場合には（ＳＴ１０７でＹｅｓ）、テンプレート定型文表示画面（図１２（Ｂ）参照）が表示される（ＳＴ１０６）。このとき、テンプレート定型文表示画面に表示されるテンプレート定型文では、検索で最も類似するものと判定された語句が可変部に表示される。

次に、テンプレート編集が選択されたか、すなわち、テンプレート定型文表示画面（図１２（Ｂ）参照）の「テンプレート編集」のボタン５５をユーザが操作したか否かを判定する（ＳＴ１０９）。ここで、テンプレート編集が選択された場合には（ＳＴ１０９でＹｅｓ）、テンプレート編集画面（図１３参照）が表示されて可変部を選択するテンプレート編集処理が行われる（ＳＴ１１０）。そして、編集後のテンプレート定型文が確定されると、定型文表示画面（図１１（Ｂ）参照）において編集後のテンプレート定型文が表示される。

次に、出力スイッチ１６が押下されているか否かを判定する（ＳＴ１１１）。ここで、出力スイッチ１６が押下されている場合には（ＳＴ１１１でＹｅｓ）、表示されているテンプレート定型文の音声出力処理を行う（ＳＴ１１２）。

一方、検索で見つかった定型文がテンプレート定型文でない場合、すなわち、一般定型文である場合には（ＳＴ１０７でＮｏ）、一般定型文表示画面（図１２（Ａ）参照）が表示される。次に、出力スイッチ１６が押下されているか否かを判定する（ＳＴ１１１）。ここで、出力スイッチ１６が押下されている場合には（ＳＴ１１１でＹｅｓ）、表示されている一般定型文の音声出力処理を行う（ＳＴ１１２）。

ここで、図１７に示すテンプレート編集処理（ＳＴ１１０）では、図１８に示すように、まず、テンプレート編集画面（図１３参照）が表示される（ＳＴ２０１）。このとき、定型文データベース(図６参照)では、「％１０を％２０から％３０にてお配りいたします。」と候補ＩＤが特定されているため、可変部辞書から、各可変部の候補ＩＤと一致する語句（％１０の「寝袋」、％２０の「午後１時」、％３０の「１階出口」など）を取り出して、各可変部に最初の候補となる語句が挿入されたテンプレート定型文が表示される。

次に、候補となる語句をユーザが選択したか否かを判定する（ＳＴ２０２）。ここで、候補となる語句をユーザが選択した場合には（ＳＴ２０２でＹｅｓ）、可変部をユーザが選択した語句に置き換えられた編集後のテンプレート定型文をテンプレート編集画面に表示する（ＳＴ２０３）。

次に、決定ボタン７３が操作されたか否かを判定する（ＳＴ２０４）。ここで、決定ボタン７３が操作された場合には（ＳＴ２０４でＹｅｓ）、テンプレート編集の内容を確定して、テンプレート定型文表示画面（図１１（Ｂ）参照）に戻る。このとき、テンプレート定型文表示画面には、編集後のテンプレート定型文、すなわち、可変部が適切な語句に入れ替えられたテンプレート定型文が表示される。

また、図１７に示した音声出力処理（ＳＴ１１２）では、図１８に示すように、まず、音声合成部３４において、出力対象となる定型文の原言語の文字情報（日本語テキスト）から原言語の合成音声を生成し、また、他言語の文字情報（英語テキスト、中国語テキストなど）から他言語の合成音声を生成し、音声出力部２７において、原言語の合成音声および他言語の合成音声を順にスピーカから出力する処理が開始され、合成音声がスピーカ８から出力される（ＳＴ３０１）。このとき、再生部３５において、各言語の音声が順に繰り返し再生される。そして、出力スイッチ１６が戻されると（ＳＴ３０２でＹｅｓ）、音声の出力を停止する（ＳＴ３０３）。

次に、音声出力時間、すなわち音声の出力を開始してから停止するまでの時間が所定のしきい値（例えば３秒）以上か否かを判定する（ＳＴ３０４）。ここで、音声出力時間がしきい値以上であれば（ＳＴ３０４でＹｅｓ）、音声出力した定型文（日本語テキスト、英語テキスト、中国語テキスト）を履歴データベースに登録する（ＳＴ３０５）。なお、音声出力時間がしきい値以上でない場合には（ＳＴ３０４でＮｏ）、特別な動作は行われない。

次に、拡声装置１において、ユーザが発話することなく表示入力パネル９で定型文を選択して合成音声を出力する際の動作について説明する。図１９は、ユーザが定型文を選択して合成音声を出力する際の動作手順を示すフロー図である。

拡声装置１では、まず、メニュー画面（図９参照）で「定型文」を選択するなどの操作を行うと、定型文一覧画面（図１０参照）が表示される（ＳＴ４０１）。そして、定型文を選択する操作（タップ）が行われたか否かを判定する（ＳＴ４０２）。ここで、定型文が選択された場合には（ＳＴ４０２でＹｅｓ）、図１７に示した例と同様の処理（ＳＴ１０７〜ＳＴ１１３）が行われる。

なお、この場合、選択された定型文がテンプレート定型文である場合には（ＳＴ１０７でＹｅｓ）、テンプレート定型文表示画面（図１１（Ｂ）参照）が表示され、選択された定型文が一般定型文である場合には（ＳＴ１０７でＮｏ）、一般定型文表示画面（図１１（Ａ）参照）が表示される。

次に、拡声装置１においてユーザ固有定型文を登録する際の動作について説明する。図２０は、ユーザ固有定型文を登録する際の動作手順を示すフロー図である。

拡声装置１では、まず、メニュー画面（図９参照）で「定型文」を選択するなどの操作を行うと、定型文一覧画面（図１０参照）が表示される（ＳＴ５０１）。この定型文一覧画面では、登録する定型文をユーザが選択する。そして、定型文を選択する操作（長押し）が行われたか否かを判定する（ＳＴ５０２）。ここで、定型文が選択された場合には（ＳＴ５０２でＹｅｓ）、ユーザ固有定型文登録画面（図１４参照）の第１の定型文表示部８１に選択された定型文が表示される（ＳＴ５０３）。

次に、第１の定型文表示部８１が操作（タップ）されたか否かを判定する（ＳＴ５０４）。この操作は、ＳＴ５０２で選択されて第１の定型文表示部８１に表示された定型文がテンプレート定型文の場合に、このテンプレート定型文を編集するために行われる。ここで、第１の定型文表示部８１が操作されていない場合には（ＳＴ５０４でＮｏ）、次に、第２の定型文表示部８２が操作（タップ）されたか否かを判定する（ＳＴ５０７）。この操作は、第１の定型文に連結する第２の定型文を選択するために行われる。

ここで、第２の定型文表示部８２が操作されていない場合には（ＳＴ５０７でＮｏ）、次に、完了ボタン８４が操作されたか否かを判定する（ＳＴ５１４）。ここで、完了ボタン８４が操作された場合には（ＳＴ５１４でＹｅｓ）、ユーザ固有定型文登録画面に表示された一般定型文または未編集のテンプレート定型文（第１の定型文）がユーザ固有定型文データベースに登録される（ＳＴ５１５）。

一方、第１の定型文表示部８１が操作された場合には（ＳＴ５０４でＹｅｓ）、次に、選択された定型文がテンプレート定型文か否かを判定する（ＳＴ５０５）。ここで、選択された定型文がテンプレート定型文であれば（ＳＴ５０５でＹｅｓ）、テンプレート編集処理が行われる（ＳＴ５０６）。

そして、第２の定型文表示部８２を操作することなく（ＳＴ５０７でＮｏ）、完了ボタン８４が操作された場合には（ＳＴ５１４でＹｅｓ）、編集後のテンプレート定型文（第１の定型文）がユーザ固有定型文データベースに登録される（ＳＴ５１５）。

また、第２の定型文表示部８２が操作された場合には（ＳＴ５０７でＹｅｓ）、定型文選択画面（図示せず）が表示される（ＳＴ５０８）。次に、定型文が選択されたか否かを判定する（ＳＴ５０９）。ここで、定型文が選択された場合には（ＳＴ５０９でＹｅｓ）、ユーザ固有定型文登録画面（図１４参照）に戻る（ＳＴ１１１）。このユーザ固有定型文登録画面では、ユーザが選択した定型文が第２の定型文表示部８２に表示される。

そして、再度、第２の定型文表示部８２を操作することなく（ＳＴ５１１でＮｏ）、完了ボタン８４が操作された場合には（ＳＴ５１４でＹｅｓ）、第１の定型文に、一般定型文または未編集のテンプレート定型文（第２の定型文）を連結した連結定型文を作成して、その連結定型文がユーザ固有定型文データベースに登録される（ＳＴ５１５）。

一方、第２の定型文表示部８２が操作された場合には（ＳＴ５１１でＹｅｓ）、第２の定型文表示部８２の定型文がテンプレート定型文か否かを判定する（ＳＴ５１２）。ここで、テンプレート定型文である場合には（ＳＴ５１２でＹｅｓ）、テンプレート編集処理が行われる（ＳＴ５１３）。

そして、完了ボタン８４が操作されると（ＳＴ５１４でＹｅｓ）、第１の定型文に、編集後のテンプレート定型文（第２の定型文）を連結した連結定型文を作成して、その連結定型文がユーザ固有定型文データベースに登録される（ＳＴ５１５）。

なお、テンプレート編集（ＳＴ５０６，ＳＴ５１３）は、図１８に示した例と略同様であるが、図１８のＳＴ２０５の代わりに、編集結果が反映されたユーザ固有定型文登録画面が表示される。

また、ここでは、１つの定型文をユーザ固有定型文として登録する例、および２つの定型文を連結した連結定型文をユーザ固有定型文として登録する例を示したが、３つ以上の定型文を連結することも可能である。この場合、第２の定型文表示部８２の定型文が確定したところで、新たに定型文表示部（第３の定型文表示部や第４の定型文表示部など）が画面表示されるようにすればよく、これらの新たな定型文表示部を対象にして前記と同様のフローを繰り返せばよい。

このように本実施形態では、使用頻度の高い定型文（一般定型文、テンプレート定型文）をユーザ固有定型文データベースに登録することができる。また、テンプレート定型文であれば、適切な語句を可変部に挿入する編集を行い、編集後のテンプレート定型文をユーザ固有定型文データベースに登録することができる。さらに、登録したユーザ固有定型文を再度編集して再登録することができる。また、複数の定型文を連結した連結定型文を作成して、その連結定型文をユーザ固有定型文データベースに登録することができる。

次に、拡声装置１においてユーザ固有定型文の音声を出力する際の動作について説明する。図２１は、ユーザ固有定型文の音声を出力する際の動作手順を示すフロー図である。

拡声装置１では、まず、メニュー画面（図９参照）でユーザが「お気に入り」を選択するなどの操作を行うと、ユーザ固有定型文一覧画面（図１５参照）が表示される（ＳＴ６０１）。次に、ユーザによりユーザ固有定型文が選択されたか否かを判定する（ＳＴ６０２）。ここで、ユーザ固有定型文が選択された場合には（ＳＴ６０２でＹｅｓ）、図１７に示した例と同様の処理（ＳＴ１０７〜ＳＴ１１３）が行われる。

なお、この場合、テンプレート定型文の判定（ＳＴ１０７）では、ユーザ固有定型文が連結定型文である場合があるため、選択されたユーザ固有定型文がテンプレート定型文を含むか否かを判定する。また、選択された定型文がテンプレート定型文である場合には（ＳＴ１０７でＹｅｓ）、テンプレート定型文表示画面（図１１（Ｂ）参照）が表示され、選択された定型文が一般定型文である場合には（ＳＴ１０７でＮｏ）、一般定型文表示画面（図１１（Ａ）参照）が表示される。

なお、履歴データベースに登録された定型文の音声を出力する際の動作も、ユーザ固有定型文の場合と同様である。

このように本実施形態では、ユーザ固有定型文データベースに登録されたユーザ固有定型文をユーザが選択して音声出力する際に、選択したユーザ固有定型文がテンプレート定型文を含むものであれば、可変部を別の語句に入れ替える編集を再度行うことができる。また、履歴データベースに登録された定型文の音声出力を行う場合でも、その定型文がテンプレート定型文を含むものであれば、可変部を別の語句に入れ替える編集を再度行うことができる。

なお、本実施形態では、出力スイッチ１６の操作で音声出力を開始する際に、定型文表示画面（図１１，図１２参照）を表示させるようにしたが、この定型文表示画面の代わりに、該当する定型文の原言語（日本語）の文字情報（日本語テキスト）と、他言語の文字情報（英語テキストや中国語テキスト）を一覧表示した画面を表示させるようにしてもよい。あるいは、定型文を表示させることなく音声出力を開始するようにしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、ユーザが発話する音声の音声認識により取得した原文と類似度の高い原言語（日本語）の定型文を検索して、その原言語の定型文に対応する他言語の定型文を取得して、その他言語の定型文から他言語の合成音声を生成するようにしたが、翻訳エンジンを用いて原文を翻訳することで他言語の文章を取得して、その他言語の文章から他言語の合成音声を生成するようにしてもよい。

また、前記の実施形態では、合成音声取得（音声認識、検索、音声合成）、音声解析、および音声調整などの各処理を拡声装置１で行うようにしたが、拡声装置１から必要な情報（例えば原音声）をサーバ装置に送信して、サーバ装置において、前記の各処理の全てあるいは一部を行うようにしてもよい。また、前記の翻訳エンジンを用いた文字翻訳をサーバ装置に行わせるようにしてもよい。

本発明に係る翻訳装置、拡声装置、およびその制御方法は、ユーザが適宜に加工した定型文を登録することができ、さらに、登録した定型文を再度加工した上で音声出力を行うことができる効果を有し、原言語の文字情報に基づいて他言語の合成音声を出力する翻訳装置、ユーザが発話した音声を増幅して出力する拡声装置、およびその制御方法などとして有用である。

１拡声装置（翻訳装置）
２筐体
３マイク
６制御部
８スピーカ
９表示入力パネル
１４録音スイッチ
１６出力スイッチ
２５記憶部
２６合成音声取得部
２７音声出力部
２８ユーザ固有定型文作成部
３１録音部
３２音声認識部
３３検索部
３４音声合成部
３５再生部
３６出力制御部
３７定型文管理部
３８テンプレート編集部
３９連結定型文作成部

Claims

原言語の文字情報に基づいて他言語の合成音声を出力する翻訳装置であって、
ユーザの操作に応じて、予め登録された定型文を加工したユーザ固有定型文を作成するユーザ固有定型文作成部と、
このユーザ固有定型文作成部で作成された前記ユーザ固有定型文を記憶部に登録する定型文管理部と、
登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、
前記原言語の合成音声および他言語の合成音声をスピーカから出力する音声出力部と、
を備え、
さらに、前記ユーザ固有定型文作成部は、複数の前記定型文を連結した連結定型文を作成する連結定型文作成部を備え、
前記連結定型文作成部は、
複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成することを特徴とする翻訳装置。
前記連結定型文作成部は、前記記憶部に登録された前記ユーザ固有定型文の中から、前記第１の定型文および前記第２の定型文の少なくともいずれかを取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成することを特徴とする請求項１に記載の翻訳装置。
前記ユーザ固有定型文作成部は、
前記定型文が、語句を置換可能な可変部を有するテンプレート定型文である場合に、ユーザの操作に応じて、ユーザが選択した語句を前記可変部に挿入する編集を行うテンプレート編集部を備えたことを特徴とする請求項１または請求項２に記載の翻訳装置。
前記テンプレート編集部は、前記ユーザ固有定型文が前記テンプレート定型文を含む場合に、前記可変部の語句をユーザが選択した語句に入れ替える再編集を行うことを特徴とする請求項３に記載の翻訳装置。
ユーザが発話した音声を増幅して出力する拡声装置であって、
ユーザが発話した音声を収音するマイクと、
音声を出力するスピーカと、
前記スピーカから出力された音声が拡声されるホーン部と、
画面を表示するディスプレイと、
前記マイクで収音した原音声を録音する録音部と、
予め登録された定型文の中から、前記原音声の音声認識により取得した文字情報に類似する定型文を検索する検索部と、
前記検索部で見つかった前記定型文を前記ディスプレイに表示し、ユーザの操作に応じて、前記定型文を加工したユーザ固有定型文を作成するユーザ固有定型文作成部と、
このユーザ固有定型文作成部で作成された前記ユーザ固有定型文を記憶部に登録する定型文管理部と、
登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、
前記原言語の合成音声および他言語の合成音声を前記スピーカに出力し前記ホーン部から拡声する音声出力部と、
を備え、
さらに、前記ユーザ固有定型文作成部は、複数の前記定型文を連結した連結定型文を作成する連結定型文作成部を備え、
前記連結定型文作成部は、
複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成することを特徴とする拡声装置。
前記連結定型文作成部は、前記記憶部に登録された前記ユーザ固有定型文の中から、前記第１の定型文および前記第２の定型文の少なくともいずれかを取得し、前記第１の定型文および前記第２の定型文を連結して、１つの前記ユーザ固有定型文を作成することを特徴とする請求項５に記載の拡声装置。
前記ユーザ固有定型文作成部は、
前記定型文が、語句を置換可能な可変部を有するテンプレート定型文である場合に、ユーザの操作に応じて、ユーザが選択した語句を前記可変部に挿入する編集を行うテンプレート編集部を備えたことを特徴とする請求項５または請求項６に記載の拡声装置。
前記テンプレート編集部は、前記ユーザ固有定型文が前記テンプレート定型文を含む場合に、前記可変部の語句をユーザが選択した語句に入れ替える再編集を行うことを特徴とする請求項７に記載の拡声装置。
原言語の文字情報に対応する他言語の文字情報を音声に変換して出力する翻訳装置の制御方法であって、
ユーザの操作に応じて、予め登録された複数の定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つのユーザ固有定型文を作成し、
前記ユーザ固有定型文を記憶部に登録し、
登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得し、
前記原言語の合成音声および他言語の合成音声をスピーカから出力することを特徴とする制御方法。
ユーザが発話した音声を増幅して出力する拡声装置の制御方法であって、
ユーザが発話した音声をマイクで収音し、
前記マイクで収音した原音声を録音し、
予め登録された定型文の中から、前記原音声の音声認識により取得した文字情報に類似する定型文を検索し、
前記検索で見つかった前記定型文をディスプレイに表示し、ユーザの操作に応じて、前記定型文を加工したユーザ固有定型文を作成するとともに、複数の前記定型文が表示されている状態で、ユーザが選択した定型文を第１の定型文および第２の定型文として取得し、前記第１の定型文および前記第２の定型文を連結して、１つのユーザ固有定型文を作成し、
作成された前記ユーザ固有定型文を記憶部に登録し、
登録された前記ユーザ固有定型文がユーザにより選択されると、その選択されたユーザ固有定型文に関する原言語の合成音声および他言語の合成音声を取得し、
前記原言語の合成音声および他言語の合成音声をスピーカから出力し、ホーン部で拡声することを特徴とする制御方法。