まず、実施例1に係る携帯電話端末装置の概要について説明する。実施例1に係る携帯電話端末装置は、発話した情報が受話側に伝達できているか否かを判断し、その判断結果を発話者と受話者に通知する。
図1は、実施例1の概要を説明するための図である。図1では、まず、話者10が携帯電話機100aを使用し、話者20が携帯電話機100bを使用し、通話している。そして、話者10が、携帯電話機100aに発話する(ステップS1)。なお、以下、説明の便宜上、話者10を発話者10とし、話者20を受話者20とする。
その後、携帯電話機100aは、発話した情報が受話者20に正しく伝達できていないと判断した場合に、その判断結果を検出する。そして、携帯電話機100aは、その判断結果を発話者10に通知するとともに、携帯電話機100bを介し、受話者20にも通知する(ステップS2)。
このように、携帯電話端末装置が、相手側に発話した情報が正しく伝達できていないと判断した場合、その判断結果を発話側と受話側に通知することで、双方で、発話した情報の不伝達を認識することが可能となる。
その結果、発話者に対して、相手に正しく情報伝達を行うための措置を採るよう促すことができる。例えば、周囲の雑音が少ない場所に移動することや、再度発話をするといったことが挙げられる。
そして、情報が正しく伝達されないことによる話者間の不安やトラブルを軽減し、円滑なコミュニケーションを実現することができる。
次に、実施例1の前提となる携帯電話端末装置システムの構成について説明する。図2は、実施例1に係る携帯電話端末装置システムについて説明するための図である。図1には、電話網200を介して、携帯電話機100aおよび携帯電話機100bが相互に通話を行う例を示している。
電話網200は、携帯電話機100aおよび携帯電話機100bに、通話情報を伝送する手段で、基地局200aと、基地局200bと、交換機200cと、交換機200dと、交換機200eとを有する。
そして、電話網200に含まれる各種装置は、携帯電話機100aや携帯電話機100bが、発話した情報の不伝達を検出した場合に、その旨を相手側の携帯電話機に通知する機能を具備する。
次に、実施例1に係る携帯電話端末装置の構成について説明する。図3は、実施例1に係る携帯電話端末装置の構成を示す図である。図3に示すように、携帯電話端末装置100は、マイク101と、スピーカ113と、無線部114と、制御部115とを有する。
マイク101は、発話者が発話した音声や、周辺の雑音や騒音、ノイズといった周辺音を取得し、発話音変換部102に取得した情報を入力する手段である。
スピーカ113は、発話した情報が受話側に伝達できていない状況を示す音声の再生や、通話情報が示す音声を再生する手段である。
無線部114は、携帯電話端末装置で行う通常の無線通信機能の他に、本発明に密接に関連するものとして、通話先の携帯電話端末装置使用者に対して、発話した情報が受話者に伝達できていない旨を示す情報を出力する手段である。
制御部115は、携帯電話端末装置100のユーザが発話した情報を各種制御する手段で、発話音変換部102と、人語判断部103と、発話音量判断部104と、受話音変換部105と、人語判断部106と、音量比較判断部107と、受話/発話監視・判断部108と、ユーザ通知部109と、通話先通知部110と、ディスプレイ制御部111と、バイブレータ制御部112とを有する。
発話音変換部102は、マイク101から入力された情報を、携帯電話端末装置100が取扱う形式に変換し、変換した情報を人語判断部103や発話音量判断部104または音量比較判断部107に入力する手段である。
人語判断部103は、発話音変換部102から入力された情報に言語情報が含まれているか否かを判断する手段である。この言語情報とは、「あ」や「い」といった言葉そのものを示す言葉情報と、その「あ」や「い」といった言葉情報が有する音量(以下、言葉音量とする)とを含んだ情報である。
そして、言語情報が含まれている場合、人語判断部103は、入力された情報から、発話者の言語情報を抽出し、抽出した言語情報を発話音量判断部104や受話/発話監視・判断部108に入力する。
発話音量判断部104は、発話音変換部102と人語判断部103とから入力された情報に基づいて、発話した情報が受話側に伝達できているか否かを判断し、発話した情報が受話側に伝達できていないと判断した場合に、その判断結果をユーザ通知部109へ入力する手段である。
この発話音量判断部104が行う判断動作について図3および図4を用いて説明する。図4は、発話音量判断部が行う判断動作を説明するための図である。なお、図4に示した携帯電話機100aおよび携帯電話機100bは、図3に示した携帯電話端末装置100に相当するものとし、説明の便宜上、携帯電話機100aを発話側端末装置、携帯電話機100bを受話側端末装置として、図示する。
まず、発話者10が、携帯電話機100aを使用して発話した際に、マイク101に対して、発話者10の音声と、騒音やノイズといった周辺音等とが入力される(ステップS10)。
その後、発話音量判断部104は、発話音変換部102からマイク101に入力された情報を受け取り、受け取った情報が有する音量を全体音量として保持する。したがって、この全体音量とは、マイク101に入力される音量(発話者の音声が有する音量や、騒音やノイズといった周辺音等とを合わせた音量)を示す。
一方、発話音量判断部104は、人語判断部103から言語情報を受け取った場合、受け取った言語情報に含まれる言葉音量を発話音量として保持する。
そして、発話音量判断部104は、全体音量と発話音量とを比較し、発話音量が十分に大きいか否かを判断し、発話音量が十分に大きいと判断できなかった場合に、発話した情報が受話者20に伝達できていないと判断する(ステップS11)。
上述したステップS11にて示した判断は、例えば、以下に示す式(1)と閾値Xとを用いて説明するものとする。
式(1);(発話音量A/全体音量B)≦X(定数)
式(1)によれば、発話音量判断部104は、発話音量A(単位;デシベル)を全体音量B(単位;デシベル)で割った値が、定数X以下であれば、発話音量が十分に大きいと判断しない。
一方、発話音量判断部104は、発話音量Aを全体音量Bで割った値が、定数Xを超えていた場合に、発話音量が十分に大きいと判断する。なお、上述した定数Xは、携帯電話端末装置を使用して通話が成立する閾値を示し、任意に設定することができるものとする。
例えば、閾値Xを0.6として、発話音量が50db、全体音量が100dbであれば、式(1)より、発話音量判断部104は、発話音量が十分に大きいとは判断せずに、発話した情報が受話者20に伝達できていないと判断する。
50/100(=0.5)≦0.6
そして、発話した情報が受話者20に伝達できていなかったと判断した場合に、携帯電話機100aは、その判断結果を、発話者10に、後述する使用者への通知部109を介して通知する。一方、受話者20に対しても、後述する通話先通知部110を介して通知する(ステップS12)。
次に、図3の説明に戻り、受話音変換部105について説明する。受話音変換部105は、無線部114を経由し、スピーカ113で再生された受話音声を携帯電話端末装置100が取扱う形式に変換し、変換した情報を人語判断部106に入力する手段である。
人語判断部106は、受話音変換部105から受け取った情報に、言語情報が含まれているか否かを判断する手段である。そして、言語情報が含まれていた場合、言語情報を抽出し、抽出した言語情報を音量比較判断部107や受話/発話監視・判断部108に入力する。
音量比較判断部107は、発話音変換部102と人語判断部106とから入力された情報に基づいて、受話音声が正しく受話側に伝達できたか否かを判断し、受話音声が受話側に伝達できていないと判断した場合に、その判断結果をユーザ通知部109へ入力する手段である。
この音量比較判断部107が行う判断動作について図3および図5を用いて説明する。図5は、音量比較判断部が行う判断動作を説明するための図である。なお、図5に示した携帯電話機100aおよび携帯電話機100bは、図3に示した携帯電話端末装置100に相当するものとし、説明の便宜上、携帯電話機100aを発話側端末、携帯電話機100bを受話側端末として、図示する。
まず、発話者10が携帯電話機100aを使用して発話し、発話した情報が、電話網200(図2参照)を介して、携帯電話機100bに到達する(ステップS20)。
その後、発話した情報が、受話音変換部105を介し、人語判断部106に入力される。また、携帯電話機100bの周囲雑音が、マイク101を介し、発話音変換部102に入力される(ステップS21)。
続いて、音量比較判断部107は、発話音変換部102から入力される騒音やノイズといった周辺音等を受け取り、受け取った周辺音等が含む音量を周囲雑音量として保持する。また、音量比較判断部107は、人語判断部106から言語情報に含まれる言葉音量を受け取り、その言葉音量が示す音量を受話音量として保持する。
そして、音量比較判断部107は、周囲雑音量と受話音量とを比較し、受話音量が十分に大きいか否かを判断し、受話音量が十分に大きいと判断できなかった場合に、受話音声が受話者20に伝達できていないと判断する(ステップS22)。
上述したステップS22にて示した判断は、例えば、以下に示す式(2)と閾値Yとを用いて説明するものとする。
式(2);(受話音量C/周囲雑音量D)≦Y(定数)
式(2)によれば、音量比較判断部107は、受話音量C(単位;デシベル)を周囲雑音量D(単位;デシベル)で割った値が、定数Y以下であれば、受話音量が十分に大きいと判断しない。
一方、音量比較判断部107は、受話音量Cを周囲雑音量Dで割った値が、定数Yを超えていた場合に、受話音量が十分に大きいと判断する。なお、上述した定数Yは、携帯電話端末装置を使用して通話が成立する閾値を示し、任意に設定することができるものとする。
例えば、閾値Yを0.7として、受話音量が40db、周囲雑音量が100dbであれば、式(2)より、音量比較判断部107は、受話音量が十分に大きいとは判断せずに、受話音声が受話者20に伝達できていないと判断する。
40/100(=0.4)≦0.7
そして、受話音声が受話者20に伝達できていないと判断した場合に、携帯電話機100bは、その判断結果を、受話者20に、使用者への通知部109を介して通知する。一方、発話者10に対しても、通話先通知部110を介して通知する(ステップS23)。
次に、図3の説明に戻り、受話/発話監視・判断部108について説明する。受話/発話監視・判断部108は、通話中の双方が同時に発話した場合、あるいは発話完了から一定時間経過後、受話側の応答がない場合に、発話した情報が受話側に伝達できていないと判断し、その判断結果をユーザ通知部109へ入力する手段である。
まず、受話/発話監視・判断部108が、通話中の双方が同時に発話したか否かを判断する動作について図3および図6を用いて説明する。図6は、双方が同時に発話したか否かの判断動作を説明するための図である。
なお、図6の説明において、便宜的に携帯電話機100aを発話側の端末、携帯電話機100bを受話側の端末とし、受話者20が発話している最中に、発話者10から発話があった場合を例に挙げて説明する。
まず、発話者10の発話情報が、電話網200(図2参照)を介して、携帯電話機100bに到達する。そして、発話した情報は、受話音変換部105にスピーカ113を介して入力される。
続いて、人語判断部106は、発話者10が発話した情報から言語情報(例えば、「あ」)を抽出し、抽出した言語情報を受話/発話監視・判断部108に入力する(ステップS30)。
一方、受話者20が発話すると、発話情報が発話音変換部102に入力され、人語判断部103は、受話者20が発話した情報から言語情報(例えば「い」)を抽出し、抽出した言語情報を受話/発話監視・判断部108に入力する(ステップS31)。
その後、受話/発話監視・判断部108は、言語情報「あ」を受け取った時点から、言語情報「い」を受け取るまでの間隔を監視し、監視した結果、間隔が一定値以下(例えば、T秒以下;Tは自然数)である場合に、「ほぼ同時に発話された」と判断する。
したがって、受話/発話監視・判断部108は、発話者10の発話情報が受話者20に伝達できていないと判断し、その判断結果をユーザ通知部109へ入力する(ステップS32)。
そして、発話した情報が正しく伝達できていないと判断した場合に、携帯電話機100bは、その判断結果を、受話者20に対して、ユーザ通知部109を介して通知する。一方、発話者10に対しても、通話先通知部110を介して通知する(ステップS33)。
次に、受話/発話監視・判断部108が、発話側の発話が終了してから一定時間経過後に、受話側の応答があるか否かを判断する動作について図3および図7を用いて説明する。図7は、応答があるか否かの判断動作を説明するための図である。
なお、図7に示した携帯電話機100aおよび携帯電話機100bは、図3に示した携帯電話端末装置100に相当するものとし、説明の便宜上、携帯電話機100aを発話側端末、携帯電話機100bを受話側端末として、図示する。
まず、発話者10が発話した情報が、携帯電話機100bに到達し、無線部114を介して、受話音変換部105に入力される。そして、人語判断部106は、言語情報(例えば、「あ」)を抽出し、抽出した言語情報を受話/発話監視・判断部108に入力する(ステップS40)。
その後、受話/発話監視・判断部108は、言語情報「あ」を受け取った後に、人語判断部103から言語情報を受け取るまでの時間を監視する(ステップS41)。
監視した結果、一定値以上(例えば、N秒間以上;Nは自然数)、人語判断部103から受話/発話監視・判断部108に言語情報の入力が無かった場合に、受話/発話監視・判断部108は、受話者20が発話者10の発話情報を上の空で聞いていたと考え、発話した情報が正しく伝達されていないと判断する(ステップS42)。
そして、音量比較判断部107は、ステップS42の判断結果を、ユーザ通知部109へ入力し、携帯電話機100bは、ステップS42にて得た判断結果を、受話者20に対して、ユーザ通知部109を介して通知する。一方、発話者10に対しても、通話先通知部110を介して通知する(ステップS43)。
次に、図3の説明に戻り、ユーザ通知部109について説明する。ユーザ通知部109は、「発話した情報が受話側に伝達できていない状況」あるいは、「受話した情報が受話側に伝達できていない状況」を携帯電話端末装置の使用者に、その旨を通知する手段である。
具体的には、発話音量判断部104や受話/発話監視・判断部108が「発話した情報が受話側に伝達できていない状況である」と判断した場合、あるいは音量比較判断部107が、「受話した情報が受話側に伝達できていない状況である」と判断した場合に、その旨を示す情報を通話先通知部110と、ディスプレイ制御部111と、バイブレータ制御部112、スピーカ113に入力する。
例えば、携帯電話端末装置100が発話側の携帯電話端末装置として使用された場合、ユーザ通知部109は、発話した情報が受話者(例えば、受話者20;図2参照)に伝達できていない旨を示す情報をディスプレイやバイブレータの動作等を通じて発話者(例えば、発話者10;図2参照)へ通知する。
一方、受話側の携帯電話端末として使用された場合、ユーザ通知部109は、受話した情報が受話者(例えば、受話者20;図2参照)に伝達できていない旨を示す情報をディスプレイへの表示やバイブレータの動作を通じて受話者20へ通知する。
通話先通知部110は、ユーザ通知部109からの通知を受けて、「発話した情報が受話側に伝達できていない状況」を示す情報を通話先の携帯電話端末装置へ通知する手段である。
例えば、携帯電話端末装置100が発話者側の携帯電話端末装置として使用された場合、通話先通知部110は、発話した情報が受話者(例えば、受話者20;図2参照)に伝達できていない旨を示す情報を電話網200経由で受話者に対して通知する。
また、上述したように発話者側の端末装置として使用され、「受話した情報が受話側に伝達できていない状況」を無線部114より、取得した場合は、ユーザ通知部109は、その判断結果を発話者へ通知する。
一方、受話側の携帯電話端末装置として使用された場合に、通話先通知部110は、受話した情報が受話者に伝達できていない旨を示す情報を電話網200経由で発話者(例えば、発話者10;図2参照)に対して通知する。
また、上述したように受話者側の端末として使用され、「発話した情報が受話側に伝達できていない状況」を無線部114より、取得した場合は、ユーザ通知部109は、その判断結果を受話者へ通知する。
ディスプレイ制御部111は、携帯電話端末のディスプレイに対して、「発話した情報が受話側に伝達できていない状況」を示す情報表示を行う手段である。
バイブレータ制御部112は、ユーザ通知部109からの通知を受けて、携帯電話端末装置のバイブレータに対して、「発話した情報が受話側に伝達できていない状況」を示す動作命令を行う手段である。
次に、携帯電話端末100が、発話音声と発話側の周囲雑音とを比較して、発話した情報が相手側に伝達できているか否かを判断する処理手順について説明する。図8は、発話音声が受話側に伝達できているか否かを判断するフローチャートである。
まず、発話情報と周辺音等が携帯電話端末装置100に入力される(ステップS100)。その後、発話音量判断部104は、発話音変換部102から入力される情報を全体音量として保持する(ステップS101)。
続いて、人語判断部103が、発話音変換部102より受け取った情報から言語情報を抽出する(ステップS102)。そして、人語判断部103は、発話音量判断部104に抽出した情報を入力する(ステップS103)。
その後、発話音量判断部104は、人語判断部103が抽出した情報に含まれる言葉音量を発話音量として保持し(ステップS104)、保持している全体音量と発話音量とを比較し、発話音量が十分に大きいか否かを判断し(ステップS105)、十分に大きいと判断した場合(ステップS106、Yes)、ステップS100に戻る。
一方、十分に大きくないと判断した場合(ステップS106、No)、発話音量判断部104は、発話した情報が受話者に伝達できていないと判断する。そして、発話者と受話者に対して、その判断結果を通知する(ステップS107)。
このフローチャートによれば、発話者および受話者は、発話した情報が相手に伝達できないことを双方で認識することができ、発話者と受話者に対して相手側に情報を正しく伝達するための措置を採るように促すことができ、円滑なコミュニケーションの実現を図ることが可能になる。
次に、携帯電話端末装置100が、受話音声と受話側の周囲雑音とを比較して、受話音声が受話者に伝達できているか否かを判断する処理手順について説明する。図9は、受話音声が受話側に伝達できているか否かを判断するフローチャートである。
まず、受話情報と携帯電話端末装置100の騒音やノイズ等を含む周辺音が携帯電話端末装置100に入力される(ステップS200)。その後、音量比較判断部107は、発話音変換部102から入力される情報が示す音量を周囲雑音量として保持する(ステップS201)。
続いて、人語判断部106が、受話音変換部105より受け取った情報から言語情報を抽出する(ステップS202)。そして、人語判断部106は、音量比較判断部107に抽出した情報を入力する(ステップS203)。
音量比較判断部107は、人語判断部106が抽出した情報に含まれる言葉音量を受話音量として保持し(ステップS204)、保持している周囲雑音量と受話音量とを比較して受話音量が十分に大きいか否かを判断し(ステップS205)、十分に大きいと判断した場合(ステップS206、Yes)、ステップS200に戻る。
一方、十分に大きくないと判断した場合(ステップS206、No)、音量比較判断部107は、受話音声が受話者に伝達できていないと判断する。そして、発話者と受話者に対して、その判断結果を通知する(ステップS207)。
このフローチャートによれば、発話者および受話者は、受話音声が受話者に伝達できていないことを双方で認識することができ、発話者に相手側に対して正しく情報伝達を行うための措置を採るように促すことができる。また、受話者に対しても、正確に受話できるような措置を採るように促すことができる。したがって、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
次に、双方が同時に発話した場合における携帯電話端末装置100の処理手順について説明する。図10は、双方が同時に発話した場合を判断するフローチャートである。
まず、発話者が発話した情報が、電話網200(図2参照)を介して、携帯電話端末装置100に到達する。そして、発話者からの情報が、受話音変換部105に無線部114を介し、入力される。一方、受話者が発話すると、発話情報が発話音変換部102に入力される(ステップS300)。
続いて、人語判断部106は、発話者が発話した情報から言語情報「あ」を抽出し、抽出した言語情報(例えば「あ」)を受話/発話監視・判断部108に入力する(ステップS301)。
また、受話者が発話すると、受話者の発話情報が発話音変換部102に入力され、人語判断部103は、受話者が受話した情報から言語情報(例えば「い」)を抽出し、抽出した言語情報「い」を受話/発話監視・判断部108に入力する(ステップS302)。
その後、受話/発話監視・判断部108は、言語情報「あ」を受け取った時点から、言語情報「い」を受け取るまでの間隔が一定値以下であるか判断する(ステップS303)。判断結果、間隔が一定値以下(ステップS304、Yes)である場合に、「ほぼ同時に発話された」と判断する。
そして、携帯電話端末装置100は、ステップS304にて得た判断結果を、受話者にユーザ通知部109を介して通知する。一方、発話者に対しても、通話先通知部110を介して、受話者に通知する(ステップS305)。
一方、間隔が一定値を越えていた場合に(ステップS304、No)、「ほぼ同時に発話された」と判断せず、ステップS300へ移行する。
このフローチャートによれば、発話者および受話者が同時に発話した場合に、発話した情報が受話者に伝達できていないことを双方で認識することができ、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
次に、発話側の発話が終了してから一定時間経過後に、携帯電話端末装置100が、受話側の応答があるか否かを判断する処理手順について説明する。図11は、発話後の無応答時間を判断するフローチャートである。
まず、発話者の発話した情報が、携帯電話端末装置100に到達し、受話音変換部105に入力される(ステップS400)。
そして、人語判断部106は、言語情報(例えば、「あ」)を抽出し(ステップS401)、抽出した言語情報を受話/発話監視・判断部108に入力する(ステップS402)。
その後、受話/発話監視・判断部108は、言語情報「あ」を受け取った後に、受話者の発話に係る言語情報を人語判断部103から受け取るまでの時間を監視する(ステップS403)。
監視した結果、人語判断部103から言語情報の入力が一定期間なく、一定値以上(一定期間の経過)であれば(ステップS404、Yes)、受話/発話監視・判断部108は、「正しく情報が伝達されていない可能性がある」と判断し、その判断結果を受話者と発話者に対して通知する(ステップS405)。
一方、人語判断部103から言語情報の入力が、一定期間内に受話/発話監視・判断部108に対してされた場合(ステップS404、No)、ステップS400へ移行する。
このフローチャートによれば、発話側の発話が終了してから一定時間経過後に、受話側の応答が無い場合に、携帯電話端末装置100は、発話した情報が正しく伝達できていないと判断することができ、その判断結果を受話者および発話者に通知することで、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
上述してきたように、実施例1に係る携帯電話端末装置は、発話した情報の不伝達について判断し、その判断結果を発話者および受話者に通知することで、発話した情報が受話者に伝達できていないことを双方で認識することができ、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
ところで、上述してきたように実施例1によれば、発話した情報が相手側に伝達されていない場合を判断する例について説明したが、発話した情報が相手側に正しく伝達されている場合についても、携帯電話端末装置100は判断することができ、その判断結果を発話者および受話者に対しても通知することができる。
例えば、図3で示した発話音量判断部104が、全体音量と発話音量とを比較して、発話音量が全体音量に対して十分に大きい場合は、発話した情報が相手側に正しく伝達されていると判断し、その判断結果をユーザ通知部109や通話先通知部110を介して、発話者および受話者に通知することができる。
その結果、発話側は、相手側に発話した情報が正しく伝達できている旨を認識することが可能となり、周囲の雑音等が少ない場所に移動することや、再度発話をするといったことをすることなく、安心して通話することができる。
そして、発話した情報が相手側に伝達されていないことを判断する場合と同様に、情報が正しく伝達されないことによる人間関係のトラブル発生の抑止や話者の不安を軽減し、円滑なコミュニケーションの実現を図ることができる。
次に、実施例2に係る携帯電話端末装置の概要について説明する。実施例2に係る携帯電話端末装置は、受話側の携帯電話端末装置として使用された際に、受話側の周囲雑音等の影響により、通話情報が欠落しているか否かを判断し、欠落していると判断した場合は、発話者にアラーム音を通知する。
図12は、実施例2の概要を説明するための図である。図12では、まず、話者10が携帯電話機300aを使用し、話者20が携帯電話機300bを使用し、通話している。そして、話者10が、携帯電話機300aに、「9時集合」と発話した場合を例に挙げる(ステップS50)。なお、以下、説明の便宜上、話者10を発話者10とし、話者20を受話者20とする。
その後、発話者10の発話した情報「9時集合」が、電話網200(図2参照)を介して、携帯電話機300bに到達し、携帯電話機300bのスピーカを介して、受話者20の耳までに到達する。
この間、例えば、携帯電話機300b内の集音部(図示省略)が、携帯電話機300bの周囲雑音等を取得した場合、その取得した周囲雑音等の影響を受け、「9時集合」がかき消された状態で受話者20の耳に伝達された場合に(ステップS51)、携帯電話機300bは、発話者10が発話した情報が、欠落した状態で受話者20に伝達されたと判断し、携帯電話機300aに「欠落アラーム」を通知する(ステップS52)。
したがって、この欠落アラームとは、発話者の発話した情報が、受話側の周囲雑音等の影響を受け、欠落した状態で受話者の耳に到達したことを示すアラームを指すものとする。
このように、携帯電話機300bが、発話した情報の欠落を示す「欠落アラーム」を発話者に通知することで、発話者の方で、自ら発話した情報が受話者に正しく伝達されていないことを認識することができる。
次に、実施例2に係る携帯電話端末装置の構成について説明する。図13は、実施例2に係る携帯電話端末装置の構成を示すブロック図である。なお、図13の携帯電話端末装置300は、図12に示した携帯電話機300aおよび携帯電話機300bに相当するものとするが、説明の便宜上、携帯電話端末装置300が受話側の携帯電話機300bとして使用された場合を例に挙げて以下説明する。
図13に示すように、携帯電話端末装置300は、メモリ301と、CPU(Central Processing Unit)302と、スピーカ303と、モニターマイク304と、表示部318とを有する。
メモリ301は、CPU302が使用する各種データなど記憶する記憶手段で、CPU302は、メモリ301から各種データを読み出して各種処理を実行する中央処理部である。
具体的処理として、発話音声のテキスト化と、発話音声と携帯電話端末装置300の周囲雑音等とが混在した情報のテキスト化とを行い、これらテキスト化した情報に基づいて、発話音声が欠落しているか否かを判断し、欠落していると判断した場合は、欠落アラームを発話側の携帯電話端末装置に通知を行う。
そして、CPU302は、無線制御部310と、呼制御部311と、スピーカ制御部312と、モニターマイク制御部313と、音声認識エンジン314と、音声認識エンジン315と、欠落アラーム部316と、アラーム音生成部317とを有する。
無線制御部310は、発話音声の取得や、アラーム音生成部317が生成した欠落アラームおよび欠落した情報が示すテキストデータを発話側の携帯電話機300a(図12参照)に出力する手段である。
呼制御部311は、発話音声や所定のテキストデータの入出力制御、欠落アラームの作成要求や出力を行う手段である。例えば、呼制御部311は、無線制御部310が取得した発話音声をスピーカ制御部312と欠落アラーム部316とに出力する。さらに、音声認識エンジン314および音声認識エンジン315がテキスト化した情報に基づいて、所定のテキストデータを無線制御部310や表示部318に出力する。
スピーカ制御部312は、呼制御部311から入力された発話音声をスピーカ303に出力する手段である。
モニターマイク制御部313は、モニターマイク304が取得した情報を欠落アラーム部316に出力する手段である。なお、上述したように、このモニターマイク304が取得する情報は、発話音声と、携帯電話端末装置300の周辺騒音やノイズ等を含む周辺音とが混在した情報とする。
音声認識エンジン314は、欠落アラーム部316を介して、呼制御部311に入力された発話音声を音声認識によりテキスト化し、テキスト化されたデータをテキストデータAとして保持する手段である。また、欠落アラーム部316の要求に応じて、テキストデータAを欠落アラーム部316に出力する。
音声認識エンジン315は、欠落アラーム部316を介して、モニターマイク制御部313に入力された発話音声と携帯電話端末装置300の周囲音等とが混在した情報を音声認識によりテキスト化し、テキスト化されたデータをテキストデータBとして保持する手段である。また、欠落アラーム部316の要求に応じて、テキストデータBを欠落アラーム部316に出力する。
欠落アラーム部316は、音声認識エンジン314と、音声認識エンジン315とが変換したテキストデータAとテキストデータBとをあらかじめ定められた所定間隔に基づいて、比較を行い、比較したテキストデータ間に差分が発生しているか否かを判断する手段である。なお、この「差分」とは、比較するテキストデータの一致率が所定値以下の場合を示すものとする。
さらに、欠落アラーム部316は、差分が発生していると判断した場合に、欠落アラームの生成を呼制御部311に要求する手段で、タイマー316a、テキスト入出力制御部316bと、テキスト比較部316cとを有する。
タイマー316aは、時間情報を生成し、生成した時間情報をテキスト入出力制御部316bに出力する手段である。生成する時間情報は、1秒、3秒、5秒といった例が挙げられる。
テキスト入出力制御部316bは、音声認識エンジン314と音声認識エンジン315とに、各種テキストデータの取得要求を同時に行い、取得した各種テキストデータをテキスト比較部316cに出力する手段である。なお、タイマー316aが生成する時間情報に基づき、テキスト入出力制御部316bは、周期的(例えば、5秒間)に、各種テキストデータの取得要求を行うものとする。
そして、テキスト入出力制御部316bが、音声認識エンジン314からテキストデータA、また、音声エンジン315からテキストデータBを取得した場合は、取得したテキストデータAとテキストBとをテキスト比較部316cに出力する。
テキスト比較部316cは、テキスト入出力制御部316bから取得した各種テキストデータを比較して、比較したテキストデータ間に、差分が発生したか否かを判断し、その判断結果に基づいて、発話音声が欠落して受話者に届いたか否かを判断する手段である。
さらに、テキスト比較部316cは、発話音声に欠落が発生したと判断した場合に、欠落アラームの生成要求と、欠落した箇所に相当するテキストデータの出力を呼制御部311に対して行う手段である。
テキスト比較部316cが行う処理について、具体的に図を挙げて説明する。図14は、テキスト比較部316cの処理について説明するための図である。図14の上段は、テキストデータが一致した場合を示し、一方、下段は、テキストデータに差分が発生した場合を示すものとする。
図14の上段に示すように、発話音声の示すテキストデータAが、「9時集合」の場合を例に挙げ、テキスト比較部316cが行う処理を説明する。まず、テキスト比較部316cが、テキスト入出力制御部316bからテキストデータAとして「9時集合」を取得する。
同様に、テキスト比較部316cが、テキスト入出力制御部316bからテキストデータBとして「9時集合」を取得した場合に、テキストデータAとテキストデータBとが一致することから、差分は発生しない。
したがって、テキスト比較部316cは、発話音声の欠落は発生しないで、受話者に届いたと判断し、欠落アラームの生成要求を呼制御部311に対して行わない。
一方、図14の下段に示すように、テキスト比較部316cが、テキスト入出力制御部316bからテキストデータAとして「9時集合」を取得し、テキストデータBとして「ガガガ集合」を取得した場合に、テキストデータAとテキストデータBとを比較すると、テキストデータAとテキストデータBとに共通するテキストデータは、「集合」で、「9時」は、テキストデータAにしか含んでおらず、「ガガガ」は、テキストデータBにしか含んでいない。
したがって、テキスト比較部316cは、テキストデータAとテキストデータBとの間に、差分が発生していると判断する。そして、テキスト比較部316cは、差分が発生していると判断した場合に、発話音声が欠落した状態で受話者に届いたと判断し、欠落アラームの生成要求を呼制御部311に対して行なうとともに、欠落したテキストデータ「9時」を呼制御部311に出力する。
また、このとき、欠落したテキストデータ「9時」を受け取った呼制御部311は、無線制御部310を介して、発話側の携帯電話機300aにテキストデータ「9時」を送信する。その後、携帯電話機300aは、自装置の表示部(図示省略)に「9時」を表示する。
さらに、呼制御部311は、欠落したテキストデータ「9時」を表示部318に対しても出力する。
なお、テキスト比較部316cは、各種テキストデータの差分が発生するか否かを判断していることから、音声認識エンジン314および音声認識エンジン315がテキスト化する精度(音声認識精度)に左右されず、テキスト比較316cは、各種テキストデータの差分について判断することが可能なものとする。
次に、図13の説明に戻り、アラーム音生成部317について説明する。アラーム音生成部317は、呼制御部311から欠落アラームの生成要求に応じて、欠落アラームを生成し、生成した欠落アラームを呼制御部311に出力する手段である。
スピーカ303は、図12に示した発話者10の方で発話した発話情報の音声(以下、発話音声とする)を出力する手段である。具体的には、CPU302から出力された発話音声を受話者20に対して出力する。
モニターマイク304は、スピーカ303より出力された発話音声や、携帯電話端末装置300の周囲雑音やノイズ等を含む周辺音等を取得する手段で、スピーカ303に隣接する。なお、モニターマイク304は、スピーカ303に隣接する他、スピーカ303と一体化させても良いものとする。
表示部318は、欠落したテキストデータ(例えば、「9時」;図14参照)を呼制御部311の要求に応じて表示する手段である。
次に、携帯電話端末装置300が行う処理について説明する。図15は、携帯電話端末装置300の処理を示すフローチャートである。
まず、発話者10が発話した発話音声が、音声認識エンジン314に、呼制御部311から入力され(ステップS500)、音声認識エンジン314は、入力された発話音声に対して、音声認識によるテキスト変換を開始する(ステップS501)。
続いて、モニターマイク304が取得した情報が、音声認識エンジン315に、モニターマイク制御部313から入力され(ステップS502)、音声認識エンジン315は、入力された情報に対して、音声認識によるテキスト変換を開始する(ステップS503)。
その後、テキスト入出力制御部316bが、タイマー316aが生成する時間情報に基づいて、所定時間(例えば、5秒)が経過したか否かを判断し、5秒経過していた場合(ステップS504、Yes)、ステップS505へ移行する。一方、5秒経過していない場合(ステップS504、No)、ステップS503へ移行する。
そして、テキスト入出力制御部316bは、音声認識エンジン314と音声認識エンジン315とに対して、音声認識により変換されたテキストデータの取得を要求する(ステップS505)。
その後、音声認識エンジン314は、変換したテキストデータ(例えば、テキストデータA)をテキスト入出力制御部316bに出力する。一方、音声認識エンジン315は、変換したテキストデータ(たとえば、テキストデータB)をテキスト入出力制御部316bに出力する。
その後、テキスト比較部316cは、テキスト入出力制御部316bからテキストデータAを取得し(ステップS506)、さらに、テキストデータBを取得する(ステップS507)。そして、テキスト比較部316cは、テキスト入出力制御部316bから取得したテキストデータAとテキストデータBとを比較する(ステップS508)。
続いて、テキスト比較部316cが、テキストデータAとテキストデータBとに差分があると判断した場合(ステップS509、Yes)、呼制御部311は、アラーム音生成部317が生成した欠落アラームを発話側に通知する(ステップS510)。
一方、テキスト比較部316cが、差分がないと判断した場合(ステップS509、No)、ステップS511に移行する。
そして、通話が終了される場合(ステップS511、Yes)、音声認識が終了する(ステップS512)。一方、通話が終了されない場合(ステップS511、No)、ステップS504に移行する。
このフローチャートによれば、携帯電話端末装置300が、発話音声が欠落した状態で受話側の耳に伝達されたと判断した場合、「欠落アラーム」を発話側に通知することで、発話者の方で発話した情報が受話者に正しく伝達されていないことを認識することができる。
上述してきたように、実施例2に係る携帯電話端末装置300は、発話した情報が欠落した状態で受話者の耳に到達した場合に、発話した情報の「欠落アラーム」を発話側の携帯電話端末装置に通知することで、発話者は、自分の発話した情報が相手に対し、欠落して伝達された旨を把握することができ、発話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
なお、これまで、実施例1と実施例2とを例に挙げ、別々に説明してきたが、実施例1に示す携帯電話端末装置100と、実施例2に示す携帯電話端末装置300との各処理部を組合せて構成しても良いものとする。
ところで、実施例1及び2において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種データを含む情報については、特記する場合を除いて任意に変更することができる。
また、図3に示した携帯電話端末装置100や図13に示した携帯電話端末装置300の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がCPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図16は、発話情報の不伝達を判断するプログラムを実行する携帯電話端末装置のハードウェア構成を示す図である。図16に示すように、この携帯電話端末装置400は、マイク401、無線通信部402、音声変換部403、記憶領域404、CPU(Central Processing Unit)405、バイブレータ406、ディスプレイ407、スピーカ408をバス409で接続している。
そして、記憶領域404には、CPU405によって利用されるデータを含んだ各種データ404a、上述した携帯電話端末装置100の発話音量と全体音量とを比較判断する機能と同様の機能を発揮する発話音量判断プログラム404b、受話音量と周囲音量を比較判断する機能と同様の機能を発揮する音量比較判断プログラム404c、発話情報や受話情報から言語情報に係る情報を抽出する機能と同様の機能を発揮する人語判断プログラム404d、発話者と受話者が同時に発話したかの判断、あるいは発話後の無応答時間を判断する機能と同様の機能発揮する受話/発話監視プログラム404e、発話した音声が欠落したか否かを判断する欠落アラームプログラム404fが記憶されている。
そして、CPU405が、発話音量判断プログラム404b、音量比較判断プログラム404c、人語判断プログラム404d、受話/発話監視プログラム404e、欠落アラームプログラム404fをそれぞれ読み出して実行することにより、発話音量判断プロセス405a、音量比較判断プロセス405b、人語判断プロセス405c、受話/発話監視プロセス405d、欠落アラームプロセス405eがそれぞれ起動される。ここで、発話音量判断プロセス405aは、図3に示した発話音量判断部104に対応し、音量比較判断プロセス405bは図3に示した音量比較判断部107に対応し、人語判断プロセス405cは図3に示した人語判断部103、人語判断部106に対応し、受話/発話監視プロセス405dは、受話/発話監視・判断部108に対応し、欠落アラームプロセス405eは、図13に示した欠落アラーム部316に対応する。
なお、各種データ404aには、例えば、発話音量判断プロセス405aに利用される発話音量や全体音量といったデータが一例として挙げられる。そして、CPU405は、各種データ404aを読み出して、記憶領域404に一時的に格納し、記憶領域404に格納された各種データ404aに基づいて「発話した情報が相手側に正しく伝達できているか否か」の判断処理を行う。
ところで、図16に示した発話音量判断プログラム404b、音量比較判断プログラム404c、人語判断プログラム404d、受話/発話監視プログラム404e、欠落アラームプログラム404fは、必ずしも最初から携帯電話端末装置400が有する記憶領域に記憶させておく必要はない。たとえば、SDカードなどの「可搬用の物理媒体」に記憶させておき、携帯電話端末装置が発話音量判断プログラム404b、音量比較判断プログラム404c、人語判断プログラム404d、受話/発話監視プログラム404e、欠落アラームプログラム404fを読み出して実行するようにしても良い。
上記の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)自携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手段と、
前記発話音量判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
(付記2)前記発話音量判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する付記1に記載の携帯電話端末装置。
(付記3)前記通知手段は、アラームやバイブレータまたはディスプレイ表示にて、前記利用者に前記判断結果を通知する付記2に記載の携帯電話端末装置。
(付記4)前記発話音量判断手段が、自携帯電話端末装置の利用者の音声が相手側の携帯電話端末装置に正しく伝達されていると判断した場合に、前記出力手段は、前記判断結果を出力する付記1、2または3に記載の携帯電話端末装置。
(付記5)相手側の携帯電話端末装置の利用者により入力された音声を取得し、取得した音声の音量と、自携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記相手側の携帯電話端末装置に入力された利用者の音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する音量比較判断手段と、
前記音量比較判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
(付記6)前記音量比較判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する付記5に記載の携帯電話端末装置。
(付記7)前記通知手段は、アラームやバイブレータまたはディスプレイ表示にて、前記利用者に前記判断結果を通知する付記6に記載の携帯電話端末装置。
(付記8)前記音量比較判断手段が、自携帯電話端末装置の利用者の音声が相手側の携帯電話端末装置に正しく伝達されていると判断した場合に、前記出力手段は、前記判断結果を出力する付記5、6または7に記載の携帯電話端末装置。
(付記9)前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声を第1の文字情報に変換する第1変換手段と、前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声が出力された際に、出力された音声を自携帯電話端末装置周辺の周辺音と共に取得し、取得した音を第2の文字情報に変換する第2変換手段と、前記第1の文字情報と前記第2の文字情報とを比較し、比較結果に基づいて、前記相手側の携帯電話端末装置からの音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する判断手段を更に有する付記5〜8のいずれか一つに記載の携帯電話端末装置。
(付記10)前記判断手段は、前記第1の文字情報と前記第2の文字情報とを基にして、前記第1の文字情報に存在し、かつ、前記第2の文字情報に存在しない文字情報を判断し、判断結果を前記相手側の携帯電話端末装置に通知する付記5〜9のいずれか一つに記載の携帯電話端末装置。
(付記11)前記判断手段による判断結果を前記相手側の携帯電話端末装置および/または自携帯電話端末装置に表示する表示手段を更に有する付記5〜10のいずれか一つに記載の携帯電話端末装置。
(付記12)発話と受話とが同時に行われたか否かにより、自携帯電話端末装置の利用者の音声が前記相手側の携帯電話端末装置に正しく伝達されているか否かを判断する受話/発話判断手段を更に有する付記1〜11のいずれか一つに記載の携帯電話端末装置。
(付記13)前記受話/発話判断手段は、自携帯電話端末装置の利用者による音声入力が完了してから所定時間経過しても、前記相手側の携帯電話端末装置に利用者の音声が入力されない場合に、自携帯電話端末装置の利用者の音声が当該相手側の携帯電話端末装置に正しく伝達されていないと判断する付記1〜12のいずれか一つに記載の携帯電話端末装置。
(付記14)携帯電話端末装置の通話情報を伝送する装置において、前記付記1〜13に記載の携帯電話端末装置から前記携帯電話端末装置に入力された音声が相手側の携帯電話端末装置に伝達できていないことを示す情報が通知された場合に、当該通知された情報を前記相手側の携帯電話端末装置に伝送する伝送手段を備えた伝送装置。
(付記15)携帯電話端末装置が、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された前記音声の音量と、前記周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断ステップと、
前記発話音量判断ステップの判断結果を出力する出力ステップと
を有する通話伝達の判断方法。
(付記16)携帯電話端末装置に、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶手順と、
前記記憶装置に記憶された前記音声と、前記周辺音量とを比較して、当該利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手順と、
前記発話音量判断手順の判断結果を出力する出力手順と
を実行させる通話伝達の判断プログラム。