JPH10336354A - マルチメディア公衆電話システム - Google Patents

Abstract

(57)【要約】 【課題】 マルチメディア公衆電話システムは、映像も
送受信できるが、異なる言語による直接の会話ができな
い。 【解決手段】 通話者の音声を通信システムを介して音
声信号受信手段１１〜１４で受信し、翻訳変換スイッチ
１５で翻訳を選択したとき、音声認識装置１６により受
信した音声信号を認識し、この認識音声を音声認識生成
装置１７で文字データに変換し、音声／文字切換スイッ
チ１８で音声／文字の出力モードを変え、訳語変換処理
部１９で翻訳し、翻訳結果を音声又は文字でディスプレ
イ上に表示する。逆に、通話者の音声又は入力した文字
を音声又は文字認識し、これを翻訳して音声合成し、通
信システムを介して通話相手に送信する手段も含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、公衆電話システム
において、送信側と受信側で異なる言語になる音声又は
文字を翻訳して送受信できるようにしたマルチメディア
公衆電話システムに関する。

【０００２】

【従来の技術】現在のマルチメディア公衆電話システム
は、図１６に示すように、ＣＣＤカメラ１による映像入
力とスクリーン２による映像出力になる映像入出力装置
により、相手の顔を見ながら同時に会話ができること、
ＦＡＸ機能を持つこと、設置場所の周辺マップや情報案
内機能を持つこと、メモ欄機能を持つこと等の機能が加
えられ、さらに天気予報が聞けること、各イベントの情
報を取り寄せること等の各種の機能がある。この公衆電
話の操作入力は、プッシュボタン３とポインティングデ
バイス（ペン入力やタッチスクリーン方式）４が利用さ
れる。

【０００３】

【発明が解決しようとする課題】従来のマルチメディア
公衆電話システムを利用して海外諸国とコミュニケーシ
ョンを行うとき、国際電話と同様に言語の意味が解らな
かったり、聞き逃し、聞き間違い、そして翻訳サービス
等へ依頼したりと、コミュニケーション間のギャップが
あってスムーズにいかないことがあり、以下のような問
題がある。

【０００４】（１）送受信者が共に英語や日本語で話す
場合のように、同じ言葉でしかコミュニケーションが取
れない。

【０００５】（２）送受信者が異なる言葉を使う場合に
は言語間の通訳を必要とする。

【０００６】（３）翻訳サービスを通訳としてコミュニ
ケーションを行うと、プライバシーの侵害などで会話が
やりにくいし、翻訳のための時間がかかる。

【０００７】（４）言語間のギャップなどで会話途中に
あいまいな発声や言語の意味が解らない場合や聞き逃す
場合があり、円滑で確実なコミュニケーションが難し
い。

【０００８】以上のように、従来のシステムは種々のマ
ルチメディア機能があっても送受信者が異なる言葉を使
う場合には利用できる範囲が限られている。

【０００９】本発明の目的は、送受信者が異なる言葉を
使う場合にも通訳を介することなく円滑で確実なコミュ
ニケーションができるマルチメディア公衆電話システム
を提供することにある。

【００１０】

【課題を解決するための手段】本発明は、上記課題を解
決するため、従来の機能に異なる言語の音声又は文字へ
の自動翻訳機能を追加し、翻訳モードの選択で相手の音
声又は入力文字を認識してそれを翻訳し、翻訳結果を音
声合成して音声出力すること、又は字幕に変換処理して
ディスプレイ上に表示するようにしたもので、以下の構
成を特徴とする。

【００１１】（第１の発明）音声と映像の入出力手段と
通信手段を有して互いに音声及び映像を使った通話を可
能にしたマルチメディア公衆電話システムにおいて、通
話者の音声を通信制御部を介して受信する音声信号受信
手段と、前記音声信号をそのまま音声で出力又は翻訳し
て出力するかを選択する翻訳変換スイッチと、前記スイ
ッチが翻訳を選択したとき、受信した音声信号を認識す
る音声認識装置と、前記音声認識装置が認識した音声を
通話者が指定した言語に翻訳する訳語変換処理装置と、
前記翻訳した訳語を音声又は文字でディスプレイ上に文
字で表示する変換装置とを備えたことを特徴とする。

【００１２】（第２の発明）音声と映像の入出力手段と
通信手段を有して互いに音声及び映像を使った通話を可
能にしたマルチメディア公衆電話システムにおいて、通
話者の音声又は入力文字をそのまま相手に送信するか、
又は翻訳して音声又は文字で送信するかを選択する音声
／文字変換スイッチと、前記翻訳する訳語を選択する訳
語選択部と、前記スイッチが文字送信を選択したとき、
通話者が入力した文字列を文字認識により文体として認
識生成する文体認識装置と、前記スイッチが音声送信を
選択したとき、通話者が入力した音声を認識する音声認
識装置と、前記認識された文体又は音声を前記訳語選択
部で選択した言語に翻訳する訳語変換処理装置と、前記
翻訳した訳語を音声合成により音声波形に変換する音声
合成装置と、前記音声合成装置が合成した音声波形を音
声信号に変換して通信手段を介して通話相手に送信する
音声変換装置とを備えたことを特徴とする。

【００１３】

【発明の実施の形態】図１〜図４は、本発明の実施形態
を示すマルチメディア公衆電話システムのブロック図で
あり、図５〜図９に各部の処理過程を同じ符号で対応付
けて示す。以下、各部の構成と処理を詳細に説明する。

【００１４】（１）相手の音声を翻訳して受信する場合
（図１及び図２）。

【００１５】音声入力装置１１は、公衆電話に搭載され
る受話器のマイクロフォンから音声を入力するためのも
のであり、通話者が受話器から音声を入力した信号を発
生する。雑音除去フィルタ１２は、会話の中に紛れて入
ってくる雑音をノイズフィルタで除去する。

【００１６】通信制御部１３は、例えば、ディジタル回
線で高速かつ広帯域性がある２Ｂ＋ＤのＢ−ＩＳＤＮ及
びネットワークを制御するＡＴＭ交換システムによって
通信制御を行い、音声入力装置１１からの音声信号を音
声受信装置１４に伝送する。

【００１７】翻訳変換スイッチ１５は、受信した音声
（アナログ信号）をそのまま音声として受信するか、受
信者が理解できる言語に翻訳して文字又は音声で受信す
るかを受信者が選択する。

【００１８】音声理解装置１６は、スイッチ１５の選択
操作が翻訳受信にされた場合に受信音声を認識及び理解
する。この音声理解装置１６は、受信した音声を認識及
び理解するため、不特定話者に対応可能な技術として音
声分析とファジイ制御によるあいまいな言語を除去する
特徴抽出後に単語・構文・意味解析による音声認識を行
うシステムに構成され、音声認識処理部１６₁と音声合
成処理部１６₂及び音声パターン辞書１６₃を備える。

【００１９】この装置１６では、図６及び図７の処理フ
ローで示すように、入力された音声信号をＡ／Ｄ変換処
理した後、音声分析により音声入力信号を周波数スペク
トルによってファジイ制御であいまいな音声を除去す
る。そして、特徴抽出によって音声分析結果から音声信
号の特徴パラメータを時系列に抽出・変換し、セグメン
テーション処理により音声単位へのセグメント化を行
う。

【００２０】特徴抽出には、「えーと」や「あー」、
「うーん」のように、冗長的な単語をファジイ推論によ
り抽出して除去し、人と人が会話をする上で本当に必要
な単語のみを抽出する。さらに、日常的に必要な単語は
前もって登録しておき、後に必要となった単語を学習機
能によってしだいに認識及び追加して行く。

【００２１】次いで、音声認識によりニューラルネット
ワーク技術を使って音声標準パターンとの比較で単語認
識を行うことで音素系列を得、単語照合と単語認識によ
り音素系列について知識ベースに持つ単語標準パターン
との照合で単語を認識する。この認識に標準パターンが
存在しなければ学習処理（認識・登録）を行って単語知
識を知識ベースに追加する。

【００２２】次いで、認識した単語について、構文照合
と構文認識により知識ベースの構文パターンとの照合で
構文的に誤りがあるか否かを解析し、誤りがあれば再検
証することで構文認識を行う。さらに、意味解析と意味
認識により認識された単語構文について意味的に妥当で
あるかを調べ、妥当な結果が得られるまで構文解析処理
と意味解析処理を繰り返す。これら解析には文字に変換
可能か否かも含め、文字変換処理により変換可能である
文字を漢字やカナに変換する。

【００２３】図１に戻って、音声認識生成装置１７は、
音声理解装置１６によって受信音声の内容が認識された
音声データをテキスト形式の文字データに変換する。音
声／文字切換えスイッチ１８は、文字データを翻訳した
内容を文字で表示するか／音声で出力するかを受信者が
選択する。

【００２４】訳語変換処理部１９は、音声認識された受
信内容をスイッチ１５で設定する言語に翻訳する。この
翻訳は、訳語文体処理部１９₁によって受信内容につい
て意味辞書を使い学習機能を持たせて意味解析と意味認
識を行って文字列を認識する文体処理を行い、訳語変換
部１９₂が訳語パターン認識辞書１９₃を参照した訳語パ
ターンにしたがって翻訳し、訳語生成部１９₄で翻訳し
た訳語をつなぎ、翻訳文を生成する。

【００２５】変換処理部２０Ａ，２０Ｂは、翻訳文を文
字コードに変換又は音声合成による音声データに変換
し、信号変換部２１Ａ，２１Ｂはこれら変換データを実
際の文字又は音声に変換する。表示部２２Ａは文字を公
衆電話のスクリーン２に表示し、スピーカ出力部２２Ｂ
は音声信号を増幅して電話の受話器スピーカに出力す
る。

【００２６】したがって、図１及び図２の構成により、
受信した音声を音声認識装置により音声認識を行い、こ
れを受信者が希望する言語に翻訳して文字又は音声とし
て受信することにより、発信者と異なる言語による会話
でも受信者は自分の言語を使った会話ができる。

【００２７】また、電話でのコミュニケーション中、ス
クリーン表示により聞き漏らしなどのリスクを回避する
ことができる。

【００２８】（２）自分の音声又は入力文字を翻訳して
相手に送信する場合（図３及び図４）音声／文字切換ス
イッチ２３は、会話の受信者が、送信者に返答するため
に、音声又は文字で書き表した内容を翻訳してコミュニ
ケーションを行うときにその操作で音声／文字切換えの
ボタンを操作する。

【００２９】文字入力装置２４Ａは、文字を選択したと
きにメモ帳（テキスト形式）を画面表示し、話の内容を
ポィンティテングデバイス（電子ペン）で入力する。音
声入力装置２４Ｂ音声を選択したときに受話器から入力
する音声信号を得る。訳語選択部２５は、入力された文
字又は音声をどの言語に翻訳するかを選択する。

【００３０】文体認識装置２６は、手書き入力した文字
列を解析して文章として認識するもので、入力が文字の
場合にその文体を認識して生成する。この認識／生成に
は、文体形式分析２６₂による入力文体形式の分析を介
した文字パターンとその認識辞書２６₁のパターンと比
較することで文字認識部２６₃が文字認識を行い、この
文字認識結果から文体認識生成部２６₄が文体として生
成する。

【００３１】音声認識処理部２７及び音声認識生成部２
８は、図１の１６及び１７をそのまま流用し、入力音声
を認識する。同様に、訳語変換処理部２９は、図１の１
９をそのまま流用し、入力音声信号又は文字を翻訳す
る。

【００３２】音声合成処理部３０は、２７と同様の処理
で、スイッチ２３で選択した言語に翻訳した文字又は音
声信号を音声合成する。音声変換部３１は、合成した音
声信号を実際の音声信号に変換する。

【００３３】通信制御部３１は、図１の１３と同様に公
衆回線を使って相手に送信する。この送信音声は、相手
の音声受信部３３を経て受話器から翻訳した音声として
出力される。

【００３４】したがって、図３及び図４の構成により、
相手が話す言語に翻訳して相手に音声で送信することが
できる。

【００３５】なお、以上までのブロック構成において、
音声合成装置は、例えば規則合成方式により音声合成を
行い、漢字カナ混じり文に対して日本語辞書を参照した
構文解析、意味解析等により読み・単語・文節境界等を
解析し、この解析結果から音声パターン辞書を参照して
音韻系列のアクセントとイントネーション及び音韻の継
続時間の各パラメータを決定し、これらを音響管モデル
のパラメータとして音声合成を行うことができる。

【００３６】また、訳語翻訳処理部１９、２９は、トラ
ンスファー方式、ダイレクト方式、ピボット方式、さら
にはこれらの方式の特徴を組み合わせた方式で実現され
る。

【００３７】トランスファー方式は、言語別の中間表現
を持ち、中間表現での変換が行われる。例えば、英語→日
本語、仏語→日本語などを翻訳する言語に中間表現がそ
れぞれ生成される。また、解析手法としては日本語には
格文法、英語には拡張遷移文法がよく利用される。

【００３８】図１０は、トランスファー方式による翻訳
システム構成を例文と共に示す。元の言語Ａとしての日
本語の文「明日は、晴れでしょう」を目的の言語Ｂとし
ての英語の文に変換するのに、元の文を単語辞書Ｃ及び
文法辞書Ｄを使った日本語処理方法による構文解析と意
味解析を行う構文・意味解析Ｅを行うことで文節「明日
は」と「でしょう」と「晴れ」の組み合わせになる中間
表現Ｆを得る。

【００３９】この中間表現Ｆを「ｔｏｍｏｒｒｏｗ」と
「Ｉｔ ｗｉｌｌ」と「ｆｉｎｅ」の組み合わせになる
英語の中間表現Ｇに変換する。この中間表現Ｇから辞書
Ｃ，Ｄを使った英語の表層文生成Ｈにより目的の言語Ｂ
「Ｉｔ ｗｉｌｌ ｆｉｎｅｔｏｍｏｒｒｏｗ」を生成
する。

【００４０】図１１は、トランスファー方式とダイレク
ト方式及びピボット方式の３つの方式を組み合わせた変
換方式を示す。トランスファー方式は、前記のように元
の言語Ａと変換目的の言語Ｂにそれぞれ特徴的な中間表
現Ｆ，Ｇを生成した変換を行う。

【００４１】ダイレクト方式は、元の言語の単語を目的
の言語の単語に置き換え、その単語の順序を並べ換えて
変換し、ピボット方式は、元の言語の種類に依存しない
共通の中間表現Ｉに変換し、その中間表現から目的とす
る言語を生成するが、これら両方式は、トランスファー
方式に比べて変換精度が劣る。

【００４２】なお、上記の３つの変換方式の特徴を合わ
せ、より複雑な翻訳処理を可能にする方式もある。

【００４３】図１２は、画面レイアウト例である。この
画面はマルチメディア機能の他、映像部４１、音声を字
幕に切り替えた受信内容テキスト画面４２、相手に文字
を入力して音声で内容を送信するための送信内容テキス
ト画面４３、翻訳した言語の選択画面４４及び入力した
内容を送信する時、音声を男性の声が女性の声がを選択
する音声モード４５の５つからなる。

【００４４】なお、本発明は、図１の構成又は図２の構
成の両方の装置を搭載するマルチメディア公衆電話シス
テムとする他に、図１又は図２の一方の装置のみを単独
に搭載するマルチメディア公衆電話システムとすること
もできる。

【００４５】図１３は、相手の音声を字幕表示で受信す
る機能と、文字入力を相手に音声で送信する機能の両方
を持つマルチメディア公衆電話システムのインタフェー
ス構成例を示す。

【００４６】同図の音声入力部は、図１４に処理手順で
示すように、マイクロフォンから音声を入力し（Ｓ
１）、ノイズフィルタで音声に交じっている雑音を除去
し（Ｓ２）、音声入力ボードによりクリアな音声をディ
ジタル信号に変換し（Ｓ３）、音声入力ドライバの制御
の基にニューラルネットワークによる学習機能を有して
音声認識し（Ｓ４）、ファジイ推論部の推論により認識
された音声信号に冗長な信号を除去し（Ｓ５）、知識ベ
ースと知識ベースファイルと自動プログラミングエディ
タにより認識された音声信号が知識ベースファイルに無
い場合に学習処理を行い記憶し（Ｓ６）、ウィンドウコ
ントロールにより最終的に音声信号処理が完了・認識さ
れた結果をウィンドウのエディタアプリケーション画面
に表示する（Ｓ７）。

【００４７】図１３の文字入力部は、図１５に処理手順
で示すように、テキストエディタとペンにより文字入力
し（Ｓ１１）、入力された文字のパターン処理で認識す
るため、文字パターン認識部と学習部と専用知識ベース
及び汎用知識べースエディタにより、入力した文字のパ
ターンやデータベース（ｄｂ）に記憶されていない単語
を学習して記憶し、そして文字のパターンが判別される
ことで認識する（Ｓ１２）。次いで、認識された文字
（ディジタル）を音声に変換する（アナログ）ため、音
声合成システムにより男性の声又は女性の声で音声合成
し（Ｓ１３）、音声合成処理を完了した結果を音声出力
部（マイクロホン）で出力する（Ｓ１４）。

【００４８】

【発明の効果】以上のとおり、本発明によれば、従来の
マルチメディア公衆電話機能に異なる言語の音声又は文
字への自動翻訳機能を追加し、翻訳モードの選択で相手
の音声又は入力文字を認識してそれを翻訳し、翻訳結果
を音声合成して音声出力すること、又は字幕に変換処理
してディスプレイ上に表示するようにしたため、以下の
効果がある。

【００４９】（１）通話者と相手が互いに異なる言語を
使って直接に会話できる。

【００５０】（２）会話中、重要と思われる点を字幕で
表示させる事ができるため、聞き違いなどのリスクを回
避する事が可能になる。

【００５１】（３）コンピュータが翻訳処理を行うた
め、翻訳サービスを利用する場合に比べてプライバシー
が守られる。

【００５２】（４）コミュニケーション上のギャップを
回避することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態を示すマルチメディア公衆電
話システムのブロック構成図（その１）。

【図２】本発明の実施形態を示すマルチメディア公衆電
話システムのブロック構成図（その２）。

【図３】本発明の実施形態を示すマルチメディア公衆電
話システムのブロック構成図（その３）。

【図４】本発明の実施形態を示すマルチメディア公衆電
話システムのブロック構成図（その４）。

【図５】実施形態における処理フロー（その１）。

【図６】実施形態における処理フロー（その２）。

【図７】実施形態における処理フロー（その３）。

【図８】実施形態における処理フロー（その４）。

【図９】実施形態における処理フロー（その５）。

【図１０】翻訳システムの構成図。

【図１１】他の翻訳システムの構成図。

【図１２】実施形態における画面レイアウト例。

【図１３】実施形態におけるインタフェース構成例。

【図１４】図１３における音声入力部の処理手順。

【図１５】図１３における文字入力部の処理手順。

【図１６】現在のマルチメディア公衆電話の図。

【符号の説明】

１１…音声入力装置 １２…雑音除去ノイズフィルタ １３、３２…通信制御部 １４…音声受信装置 １５…翻訳変換スイッチ １６、２７…音声認識処理部 １７、２８…音声認識生成装置 １８…音声／文字切換スイッチ １９、２９…訳語変換処理部 ２３…音声／文字切換スイッチ ２５…訳語選択部 ２６…文体認識装置 ３０…音声合成処理部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 音声と映像の入出力手段と通信手段を有
   して互いに音声及び映像を使った通話を可能にしたマル
   チメディア公衆電話システムにおいて、 通話者の音声を通信制御部を介して受信する音声信号受
   信手段と、 前記音声信号をそのまま音声で出力又は翻訳して出力す
   るかを選択する翻訳変換スイッチと、 前記スイッチが翻訳を選択したとき、受信した音声信号
   を認識する音声認識装置と、 前記音声認識装置が認識した音声を通話者が指定した言
   語に翻訳する訳語変換処理装置と、 前記翻訳した訳語を音声又は文字でディスプレイ上に文
   字で表示する変換装置とを備えたことを特徴とするマル
   チメディア公衆電話システム。
2. 【請求項２】 音声と映像の入出力手段と通信手段を有
   して互いに音声及び映像を使った通話を可能にしたマル
   チメディア公衆電話システムにおいて、 通話者の音声又は入力文字をそのまま相手に送信する
   か、又は翻訳して音声又は文字で送信するかを選択する
   音声／文字変換スイッチと、 前記翻訳する訳語を選択する訳語選択部と、 前記スイッチが文字送信を選択したとき、通話者が入力
   した文字列を文字認識により文体として認識生成する文
   体認識装置と、 前記スイッチが音声送信を選択したとき、通話者が入力
   した音声を認識する音声認識装置と、 前記認識された文体又は音声を前記訳語選択部で選択し
   た言語に翻訳する訳語変換処理装置と、 前記翻訳した訳語を音声合成により音声波形に変換する
   音声合成装置と、 前記音声合成装置が合成した音声波形を音声信号に変換
   して通信手段を介して通話相手に送信する音声変換装置
   とを備えたことを特徴とするマルチメディア公衆電話シ
   ステム。