JP6246848B2 - 情報処理装置、音声通信方法、及び音声通話プログラム - Google Patents

Description

本発明は、情報処理装置、音声通信方法、及び音声通話プログラムに関するものである。

ネットワークを介して通信可能に構成され、マイク及びスピーカを含むオーディオデバイスを備えた情報処理装置では、Ｓｋｙｐｅ（登録商標）等のＶｏＩＰ（Voice over Internet Protocol）アプリケーションを用いて音声データを送受信（以下「音声通信」という。）する人が増えている。ＶｏＩＰは、インターネットやイントラネットなどのＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）ネットワークを使って音声データを送受信する技術であり、社内ＬＡＮ（Local Area Network）を使った内線電話や、インターネット電話などに応用されている。

特開２０１２−１４７３９７号公報

しかしながら、上述の音声通信では、送信側の情報処理装置の周辺環境が良くなく、送信側のユーザの音声とは異なる音がノイズ成分として重畳して受信側の情報処理装置へ送信される場合がある。また、通信異常等を原因として、電気的なノイズが音声に重畳して受信側の情報処理装置へ送信される場合がある。
ノイズが音声に重畳されて受信側の情報処理装置へ送信されると、受信側のユーザは、送信元の音声を聞き取り難い又は全く音声を聞き取れず、受信側のユーザが送信側のユーザへ返答できない場合がある。
このような場合、送信側のユーザは、受信側のユーザが返答しない理由が分からず、ユーザ間の会話に支障が生じる場合がある。

本発明は、このような事情に鑑みてなされたものであって、他の情報処理装置との間で通話を行っている場合に、通話に係る通信状態をユーザが容易に認知できる、情報処理装置、音声通信方法、及び音声通話プログラムを提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置、音声通信方法、及び音声通話プログラムは以下の手段を採用する。

本発明の参考例に係る情報処理装置は、画像を表示する画像表示手段、音が入力される音入力手段、及び音を出力する音出力手段を有し、他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置であって、前記他の情報処理装置からの前記音データの受信を行う受信手段と、前記受信手段が前記他の情報処理装置から送信された前記音データを受信した場合、前記音データを受信したことを示す受信確認データを前記他の情報処理装置へ送信するフィードバック手段と、を備える。

本発明の第一態様に係る情報処理装置は、他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置であって、音が入力される音入力手段と、前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信手段と、前記音入力手段に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識手段と、前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信手段と、前記音声認識手段による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知手段と、を備える。

本発明の第二態様に係る音声通信システムは、他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置であって、送信側手段と、受信側手段とを有し、前記送信側手段は、音が入力される音入力手段と、前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信手段と、前記音入力手段に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識手段と、前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信手段と、前記音声認識手段による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知手段と、を有し、前記受信側手段は、前記他の情報処理装置から音データを受信する受信手段と、前記受信手段によって受信された前記音データに含まれる人の音声のデータを認識し、音声認識の結果に応じたデータを受信確認データとして前記他の情報処理装置に送信するフィードバック手段とを備える。

本発明の参考例に係る音声通信方法は、画像を表示する画像表示手段、音が入力される音入力手段、及び音を出力する音出力手段を備える情報処理装置によって、他の情報処理装置との間で音データの送受信によって通話を行う音声通信方法であって、前記他の情報処理装置からの前記音データの受信を受信手段を介して行う第１工程と、前記受信手段が前記他の情報処理装置から送信された前記音データを受信した場合、前記音データを受信したことを示す受信確認データを前記他の情報処理装置へ送信する第２工程と、を有する。

本発明の第三態様に係る音声通信方法は、他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置の音声通信方法であって、前記情報処理装置が、音が入力される音入力工程と、前記音入力工程において入力された音を示す音データを前記他の情報処理装置に送信する送信工程と、前記音入力工程において入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識工程と、前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信工程と、前記音声認識工程による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知工程と、を行う音声通信方法である。

本発明の第四態様に係る音声通信方法は、他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置の音声通信方法であって、前記情報処理装置が、送信側工程と、受信側工程とを有し、前記送信側工程は、音が入力される音入力工程と、前記音入力工程において入力された音を示す音データを前記他の情報処理装置に送信する送信工程と、前記音入力工程に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識工程と、前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信工程と、前記音声認識工程による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知工程と、を有し、前記受信側工程は、前記他の情報処理装置から音データを受信する受信工程と、前記受信工程によって受信された前記音データに含まれる人の音声のデータを認識し、音声認識の結果に応じたデータを受信確認データとして前記他の情報処理装置に送信するフィードバック工程とを行う音声通信方法である。

本発明の参考例に係るプログラムは、画像を表示する画像表示手段、音が入力される音入力手段、及び音を出力する音出力手段を有し、他の情報処理装置との間で音データの送受信によって通話を行うコンピュータを、前記他の情報処理装置からの前記音データの受信を行う受信手段と、前記受信手段が前記他の情報処理装置から送信された前記音データを受信した場合、前記音データを受信したことを示す受信確認データを前記他の情報処理装置へ送信するフィードバック手段と、して機能させる。

本発明の第五態様に係る音声通話プログラムは、音が入力される音入力手段を有するコンピュータにおいて、他の情報処理装置との間で音データの送受信によって通話を行うためのプログラムであって、前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信処理と、前記音入力手段において入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識処理と、前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信処理と、前記音声認識処理による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知処理と、をコンピュータに実行させる。
本発明の第六態様に係る音声通話プログラムは、音が入力される音入力手段を有するコンピュータにおいて、他の情報処理装置との間で音データの送受信によって通話を行うためのプログラムであって、送信側処理と、受信側処理とを有し、前記送信側処理は、前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信処理と、前記音入力手段に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識処理と、前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信処理と、前記音声認識処理による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知処理と、として機能させ、前記受信側処理は、前記他の情報処理装置から音データを受信する受信処理と、前記受信処理によって受信された前記音データに含まれる人の音声のデータを認識し、音声認識の結果に応じたデータを受信確認データとして前記他の情報処理装置に送信するフィードバック処理として機能させる。

本発明によれば、他の情報処理装置との間で通話を行っている場合に、通話に係る通信状態をユーザが容易に認知できる、という効果を有する。

本発明の実施形態に係るノートＰＣの外観図である。 本発明の実施形態に係るノートＰＣのハードウェアの構成を示す概略図である。 本発明の実施形態に係る通話判定機能に関する機能ブロック図である。 本発明の実施形態に係る送信側ノートＰＣにおける通話判定処理の流れを示すフローチャートである。 本発明の実施形態に係る受信側ノートＰＣにおける通話判定処理の流れを示すフローチャートである。

以下に、本発明に係る情報処理装置、音声通信方法、及び音声通話プログラムの一実施形態について、図面を参照して説明する。情報処理装置は、特定の１つである場合もあるし、不特定の複数である場合もあり、例えばサーバとして機能するコンピュータや、クライアントとして機能する個々の可搬型のパーソナルコンピュータ（以下「ノートＰＣ」という。）や、あるいは、それらの組み合わせである。なお、本実施形態では、情報処理装置の一例として、情報処理装置がノートＰＣである場合について説明する。

図１は、本実施形態に係るノートＰＣ１の概略外観図である。

ノートＰＣ１は、同図に示すように、一例として、いずれも略直方体である本体側筐体２及びディスプレイ側筐体３を備える。

本体側筐体２は、入力部４を備える。入力部４は、ユーザが入力操作を行うためのユーザインターフェースであり、文字、コマンド等を入力する各種キーより構成されるキーボードや、画面上のカーソルを移動させたり、各種メニューを選択するタッチパッド等を備えている。
また、本体側筐体２は、音を出力するスピーカ６ａ，６ｂを備える。

ディスプレイ側筐体３は、画像を表示する画像表示手段としてのＬＣＤ（Liquid Crystal Display）７を備える。ＬＣＤ７は、入力される表示データをビデオ信号に変換し、変換したビデオ信号に応じた各種情報を表示画面に表示する。なお、画像表示部は、ＬＣＤに限らず有機ＥＬ（Electroluminescence）ディスプレイ等の他の表示機器、又はタッチパネルとされてもよい。
また、ディスプレイ側筐体３は、マイク５及びカメラ８を備える。マイク５は、ユーザの音声やその周辺の音が入力される。マイク５は、ユーザの音声が選択的に入力されるように指向性を有するマイクが好ましい。カメラ８は、ディスプレイ側筐体３においてＬＣＤ７の表示面側でその上方の略中央に配置され、前方の被写体を撮像可能とされている。

本体側筐体２及びディスプレイ側筐体３は、それぞれの端部で左右の一対の連結部９ａ，９ｂによって連結されている。連結部９ａ，９ｂは、ヒンジであり、本体側筐体２及びディスプレイ側筐体３を開閉自在に支持している。

図２は、本実施形態に係るノートＰＣ１のハードウェアの構成を示す概略図である。
ノートＰＣ１は、同図に示すように、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、メモリ１３、ＨＤＤ（Hard Disk Device）１４、ＬＣＤ７、入力部４、カメラデバイス１５、オーディオデバイス１７、通信デバイス１９、バッテリ２１、ＤＣ／ＤＣ(Direct Current / Direct Current)コンバータ２２，ＡＣ（Alternating Current）アダプタ２３を備えており、各部はバス３６を介して直接または間接的に接続されている。

ＣＰＵ１１は、バス３６を介して接続されたＨＤＤ１４に格納されたＯＳ（Operating System）３０によりノートＰＣ１全体の制御を行うと共に、ＨＤＤ１４に格納された各種のプログラムに基づいて処理を実行する機能を司る。

ＲＯＭ１２は、ＢＩＯＳ（Basic Input／Output System）１２ａやデータ等を格納している。

メモリ１３は、キャッシュメモリやＲＡＭ（Random Access Memory）で構成されており、ＣＰＵ１１の実行プログラムの読み込み領域として、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。

ＨＤＤ１４は、ノートＰＣ１全体の制御を行うためのＯＳ３０、周辺機器類をハードウェア操作するための各種ドライバ３１、音声特性設定用ユーティリティ・プログラム３２、ＶＯＩＰ（Voice Over Internet Protocol）アプリケーション・プログラム３３、ＶＯＩＰアプリケーション・プログラム以外のマイク５を使用するアプリケーション・プログラム３４、及び他のアプリケーション・プログラム３５等を記憶する機能を有する。なお、ＨＤＤ１４の代わりにフラッシュメモリ等、他の記憶媒体が適用されてもよい。

カメラデバイス１５は、カメラ８及びカメラ処理回路１６を備えている。カメラ８は、ＣＣＤ（Charge-Coupled Device）等の撮像素子で形成される撮像部及びレンズを備えている。レンズは被写体光を結像し、撮像部は結像された被写体光をＲ，Ｇ，Ｂの画像信号として出力する。カメラ処理回路１６は、Ａ／Ｄ（Analog Digital）変換器、画像処理用ＬＳＩ（Large-Scale Integration）、及びメモリ等を備える。このような構成により、カメラ処理回路１６は、撮像部の駆動タイミングや露出制御等を行うと共に、撮像部で得られたＲＧＢの画像信号にＡ／Ｄ変換等のデータ処理をして、ＣＰＵ１１に出力する。

オーディオデバイス１７は、マイク５とスピーカ６ａ，６ｂと共に、音声処理回路１８を備えている。
音声処理回路１８は、Ａ／Ｄ変換器、Ｄ／Ａ変換器、音声処理用ＬＳＩ、メモリ等を備えており、マイク５で集音された音データ（アナログデータ）をＡ／Ｄ変換してデジタルデータとし、メモリ１３やＨＤＤ１４に出力する。なお、デジタルデータとされた音データは、通信デバイス１９を介して他の情報処理装置へ送信される。また、音声処理回路１８は、デジタルデータとされた音データをＤ／Ａ変換してアナログデータとし、スピーカ６ａ，６ｂ又は不図示のマイクロフォンへ出力する。

通信デバイス１９は、ネットワークを介して他の情報処理装置等との間でデータの送受信を行うためのものであり、画像データや音データ等の各種データをネットワークに送信し、又ネットワークを介して送信されてくる各種データを受信する。なお、通信デバイス１９は、各種データをコード化して送信してもよく、又コード化された各種データを受信した場合にはデコードしてもよい。

ＡＣアダプタ２３は、商用電源に接続して、交流電圧を直流電圧に変換してＤＣ／ＤＣコンバータ２２に出力する。ＤＣ／ＤＣコンバータ２２は、ＡＣアダプタ２３から供給されるＤＣ電圧を所定の電圧に変換して各部に電力を供給し、また、バッテリ２１の充電を行う。バッテリ２１は、ＤＣ／ＤＣコンバータ２２により充電され、充電した電圧を各部に供給する。バッテリ２１は、ＡＣアダプタ２３が商用電源に接続されていない場合に使用される。

本実施形態に係るノートＰＣ１は、他の情報処理装置との間で音データの送受信によって通話を行う音声通信を行う。他の情報処理装置は、特定の１つである場合もあるし、不特定の複数である場合もあり、例えばサーバとして機能するコンピュータや、クライアントとして機能する個々のノートＰＣや、あるいは、それらの組み合わせである。本実施形態では、他の情報処理装置がノートＰＣであるものとして説明する。
なお、以下における音声通信の説明において、音データの送信元であるノートＰＣ１を送信側ノートＰＣといい、音データの受信先であるノートＰＣ１を受信側ノートＰＣという。本実施形態では、少なくとも１台の送信側ノートＰＣと少なくとも１台の受信側ノートＰＣによって、本実施形態に係る音声通信システムが構築される。
また、音データをＶｏＩＰデータともいう。さらに、送信側ノートＰＣが送信した音データを送信ＶｏＩＰデータといい、受信側ノートＰＣが受信した音データを受信ＶｏＩＰデータという。

また、本実施形態に係るノートＰＣ１は、人の音声のデータを含む音データを音声通信によって正常に送受信したことを判定する通話判定機能を有する。送信側ノートＰＣと受信側ノートＰＣとは、同じ通話判定機能を有する。なお、以下の説明において、人の音声を単に音声という。
通話判定機能は、ノートＰＣ１が受信側ノートＰＣである場合に機能する受信側通話判定機能、及びノートＰＣ１が送信側ノートＰＣである場合に機能する送信側通話判定機能を含む。

受信側通話判定機能は、送信側ノートＰＣから送信された送信ＶｏＩＰデータを通信デバイス１９が受信した場合、送信ＶｏＩＰデータを受信したことを示す受信確認データを通信デバイス１９を介して送信側ノートＰＣへ送信（フィードバック）する。

送信側通話判定機能は、通信デバイス１９が受信確認データを受信した場合、受信確認データを受信したことを示す受信確認画像をＬＣＤ７に表示させる。

この通話判定機能によって、送信側のユーザは、自身が発話しているにもかかわらず受信確認画像が送信側ノートＰＣのＬＣＤ７に表示されない場合、受信側ノートＰＣにＶｏＩＰデータが送信されていないこと、すなわち、送信した音声を受信側のユーザが聞き取れていないことを認知できる。

図３は、本実施形態に係るノートＰＣ１が有する通話判定機能に関する機能ブロック図である。なお、図３では、同じ機能を有する２つのノートＰＣ１の機能ブロック図を図示しており、一方が送信側ノートＰＣとして機能すると、これに対応して他方が受信側ノートＰＣとして機能する。

音声処理回路１８は、送信ＶｏＩＰデータ生成部４０と、受信側通話判定機能として、受信側ＶＲ（Voice Recognition）エンジン４２、フィードバック部４４、及び受信音判定報知部４６を備える。

送信ＶｏＩＰデータ生成部４０は、送信側ノートＰＣのマイク５を介して入力された情報（アナログデータ）をデジタルデータに変換してＶｏＩＰデータを生成する。生成されたＶｏＩＰデータは、通信デバイス１９を介して送信側ノートＰＣから受信側ノートＰＣへ送信される。

受信側ＶＲエンジン４２は、受信側ノートＰＣが送信側ノートＰＣからのＶｏＩＰデータを受信すると、受信ＶｏＩＰデータに含まれる音声のデータを認識する音声認識を行う。換言すると、受信側ＶＲエンジン４２は、受信ＶｏＩＰデータが音声であるか否かを判定する。受信ＶｏＩＰデータに音声のデータが含まれない場合とは、例えば、無音や雑音の場合や、送信側ノートＰＣの周辺環境が良くなく、送信側ノートＰＣのユーザの音声とは異なる音が過剰にノイズ成分として重畳する場合や、通信異常等を原因として、電気的なノイズが音声に過剰に重畳する場合等の送信ＶｏＩＰデータに音声が含まれると認識できない場合である。なお、音声認識は、従来既知の方法が用いられればよい。

フィードバック部４４は、受信ＶｏＩＰデータに対する受信側ＶＲエンジン４２での音声認識結果に応じたデータを受信確認データとして受信側ノートＰＣから送信側ノートＰＣへフィードバックする。
具体的には、フィードバック部４４は、受信ＶｏＩＰデータに音声のデータが含まれると受信側ＶＲエンジン４２が認識した場合、受信ＶｏＩＰデータに音声のデータが含まれており、通話状態が良いことを示す音声受信確認データを受信確認データとして、通信デバイス１９を介して受信側ノートＰＣから送信側ノートＰＣへ送信する。一方、受信ＶｏＩＰデータに音声のデータが含まれないと受信側ＶＲエンジン４２が認識した場合、フィードバック部４４は、受信ＶｏＩＰデータに音声のデータが含まれておらず、通話状態が良くないことを示す非音声受信確認データを受信確認データとして、通信デバイス１９を介して受信側ノートＰＣから送信側ノートＰＣへ送信する。

受信音判定報知部４６は、受信側ノートＰＣにおいて、受信ＶｏＩＰデータに対する受信側ＶＲエンジン４２の音声認識結果を受信側ノートＰＣのユーザに報知する。
具体的には、受信音判定報知部４６は、受信ＶｏＩＰデータに人の音声のデータが含まれると受信側ＶＲエンジン４２が認識（判定）した場合、受信ＶｏＩＰデータが音声であることを受信側ノートＰＣのユーザに報知するために、音声受信画像（以下「通話正常アイコンＡｖ」という。）をＬＣＤ７に表示させる。一方、受信ＶｏＩＰデータに音声のデータが含まれないと受信側ＶＲエンジン４２が認識（判定）した場合、受信音判定報知部４６は、受信ＶｏＩＰデータが音声でないことを受信側ノートＰＣのユーザに報知するために、非音声受信画像（以下「通話異常アイコンＡｎ」という。）をＬＣＤ７に表示させる。

また、音声処理回路１８は、送信側通話判定機能として、送信側ＶＲエンジン４８、通話状態判定部５０、及び通話状態報知部５２を備える。

送信側ＶＲエンジン４８は、送信側ノートＰＣにおいて、送信ＶｏＩＰデータに含まれる音声のデータを認識する音声認識を行う。換言すると、送信側ＶＲエンジン４８は、送信ＶｏＩＰデータが音声であるか否かを判定する。

通話状態判定部５０は、送信側ノートＰＣにおいて、送信側ノートＰＣと受信側ノートＰＣとの間における通話状態の判定を行う。
具体的には、通話状態判定部５０は、送信側ＶＲエンジン４８による音声認識結果と送信側ノートＰＣから送信された音声受信確認データ又は非音声受信確認データに基づいて、正常に音声通信できているか否かを判定する音声通信判定を行う。

通話状態報知部５２は、送信側ノートＰＣにおいて、通信デバイス１９が受信側ノートＰＣからの受信確認データを受信した場合、受信確認データを受信したことを送信側ノートＰＣのユーザに報知する。これにより、送信側ノートＰＣのユーザは、受信側ノートＰＣで送信ＶｏＩＰデータが受信されたことを認知できる。
なお、通話状態報知部５２は、通話状態判定部５０の判定結果に応じて異なる報知を行う。換言すると、通話状態報知部５２は、送信側ノートＰＣが受信ＶｏＩＰデータの音声認識の結果に応じたデータを受信側ノートＰＣから受信確認データとして受信した場合、受信側ノートＰＣとの通話状態を送信側ノートＰＣのユーザに報知するものである。

具体的には、通話状態報知部５２は、送信ＶｏＩＰデータに人の音声のデータが含まれると送信側ＶＲエンジン４８が認識（判定）し、かつ音声受信確認データを受信側ノートＰＣから受信した場合、正常に通話が行われていることを示す正常通話画像（以下「通話正常アイコンＢｖ」という。）をＬＣＤ７に表示させる。
これにより、送信側ノートＰＣのユーザは、通話正常アイコンＢｖを視認すると、送信側ノートＰＣと受信側ノートＰＣとの間で正常に通話が行われていることを容易に認知できる。

また、通話状態報知部５２は、送信ＶｏＩＰデータが音声であると送信側ＶＲエンジン４８が認識（判定）し、かつ非音声受信確認データを受信側ノートＰＣから受信した場合、正常に通話が行われていないことを示す異常通話画像（以下「通話異常アイコンＢｎ」という。）をＬＣＤ７に表示させる。
これにより、送信側ノートＰＣのユーザは、通話異常アイコンＢｎを視認すると、受信側ノートＰＣがＶｏＩＰデータを受信したものの、送信側ノートＰＣと受信側ノートＰＣとの間で正常に通話が行われていないことを容易に認知できる。

さらに、通話状態報知部５２は、送信側ＶＲエンジン４８が音声を認識していない場合、送信側ノートＰＣが音声を認識していないことを送信側ノートＰＣのユーザに報知するために、非音声認識アイコンをＬＣＤ７に表示させる。これにより、送信側ノートＰＣのユーザは、自身が発話しているにもかかわらず、非音声認識アイコンが表示されていると、音声を示すＶｏＩＰデータが送信側ノートＰＣから受信側ノートＰＣへ送信できていないことを容易に認知できる。

図３を用いて説明したように、ノートＰＣ１は、受信ＶｏＩＰデータを音声認識する受信側ＶＲエンジン４２と、送信ＶｏＩＰデータを音声認識する送信側ＶＲエンジン４８とを備える。このように、送信ＶｏＩＰデータと受信ＶｏＩＰデータを各々異なるＶＲエンジンによって音声認識させることで、送信側ノートＰＣのユーザと受信側ノートＰＣのユーザとが同時に発話しても、送信側ノートＰＣと受信側ノートＰＣとで同時に音声認識して通話状態を判定することが可能となる。

図４，５は、音声処理回路１８によって実行される通話判定処理の流れを示すフローチャートである。図４は、送信側ノートＰＣにおける通話判定処理の流れを示すフローチャートである。図５は、受信側ノートＰＣにおける通話判定処理の流れを示すフローチャートである。

まず、送信側ノートＰＣにおけるステップ１００では、送信側ノートＰＣがＶｏＩＰデータを受信側ノートＰＣへ送信する。

受信側ノートＰＣにおけるステップ２００では、受信側ノートＰＣが送信側ノートＰＣから送信されたＶｏＩＰデータを受信する。

次のステップ２０２では、受信ＶｏＩＰデータに対する音声認識を行う。

次のステップ２０４では、受信ＶｏＩＰデータに音声が含まれると認識された場合（肯定判定）はステップ２０６へ移行し、受信ＶｏＩＰデータに音声が含まれないと認識された場合（否定判定）はステップ２０８へ移行する。

ステップ２０６では、通話正常アイコンＡｖをＬＣＤ７に表示し、ステップ２１０へ移行する。ＬＣＤ７に通話正常アイコンＡｖが表示されることによって、受信側ノートＰＣのユーザは、送信側ノートＰＣとの間で正常に通話が行われていることを認知できる。

ステップ２０８では、通話異常アイコンＡｎをＬＣＤ７に表示し、ステップ２１０へ移行する。ＬＣＤ７に通話異常アイコンＡｎが表示されることによって、受信側ノートＰＣのユーザは、送信側ノートＰＣとの間で正常に通話が行われていないことを認知できる。

ステップ２１０では、音声認識の結果を示すデータを送信側ノートＰＣに送信（フィードバック）する。すなわち、ステップ２０４における音声認識結果が肯定判定の場合は、受信確認データとして音声受信確認データが送信側ノートＰＣへ送信される。ステップ２０４における音声認識結果が否定判定の場合は、受信確認データとして非音声受信確認データが送信側ノートＰＣへ送信される。

一方、送信側ノートＰＣがＶｏＩＰデータを受信側ノートＰＣへ送信した後、ステップ１０２では、送信ＶｏＩＰデータに対する音声認識を行う。

次のステップ１０４では、送信ＶｏＩＰデータが音声であると認識された場合（肯定判定）はステップ１０８へ移行し、送信ＶｏＩＰデータが音声でないと認識された場合（否定判定）はステップ１０６へ移行する。

ステップ１０６では、非音声認識アイコンをＬＣＤ７に表示する。ＬＣＤ７に非音声認識アイコンが表示されることによって、送信側ノートＰＣのユーザは、送信側ノートＰＣへ音声が送信されていないことを認知できる。

ステップ１０８では、音声通信判定を行う。すなわち、送信側ノートＰＣからの音声受信確認データを受信側ノートＰＣが受信した場合、ステップ１０８では、正常に音声通信できていると判定しステップ１１０へ移行する。一方、送信側ノートＰＣからの非音声受信確認データを受信側ノートＰＣが受信した場合、ステップ１０８では、正常に音声通信できていないと判定しステップ１１２へ移行する。
なお、ステップ１０２における音声認識から所定時間以内に非音声受信確認データ又は音声受信確認データを受信側ノートＰＣが受信しなかった場合も、ステップ１０８では、否定判定とする。非音声受信確認データ又は音声受信確認データを受信しなかった場合とは、送信側ノートＰＣと受信側ノートＰＣとの間で通信異常が生じている場合である。

ステップ１１０では、通話正常アイコンＢｖをＬＣＤ７に表示する。ＬＣＤ７に通話正常アイコンＢｖが表示されることによって、送信側ノートＰＣのユーザは、受信側ノートＰＣとの間で正常に通話が行われていることを認知できる。

ステップ１１２では、通話異常アイコンＢｎをＬＣＤ７に表示する。ＬＣＤ７に通話異常アイコンＢｎが表示されることによって、送信側ノートＰＣのユーザは、受信側ノートＰＣとの間で正常に通話が行われていないことを認知できる。すなわち、通話異常アイコンＢｎが表示されることによって、送信側ノートＰＣのユーザは、自身が発話しているにもかかわらず、受信側ノートＰＣのユーザが聞き取れていないことを認知できる。

以上説明したように、本実施形態に係るノートＰＣ１は、画像を表示するＬＣＤ７、音が入力されるマイク５、及び音を出力するスピーカ６ａ，６ｂを有し、他の情報処理装置との間でＶｏＩＰデータの送受信によって通話を行う。ノートＰＣ１は、通信デバイス１９が他の情報処理装置から送信されたＶｏＩＰデータを受信した場合、ＶｏＩＰデータを受信したことを示す受信確認データを通信デバイス１９を介して、ＶｏＩＰデータの送信元である他の情報処理装置へフィードバックする。
従って、本実施形態に係るノートＰＣ１は、他の情報処理装置との間で通話を行っている場合に、通話に係る通信状態をユーザが容易に認知できる。

以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。

例えば、上記実施形態では、情報処理装置をノートＰＣ１とする形態について説明したが、本発明は、これに限定されるものではなく、情報処理装置をデスクトップ型ＰＣ、タブレット型ＰＣ、スマートフォン、及びＰＤＡ（Personal Digital Assistance）等、その他の情報処理装置とする形態としてもよい。受信側ＶＲエンジン４２、フィードバック部４４、及び受信音判定報知部４６、送信側ＶＲエンジン４８、通話状態判定部５０、及び通話状態報知部５２を複数の情報処理装置に分散することもできるし、これらの機能の一部を、特定のサーバ装置等の共通の情報処理装置が担うこともできる。

また、上記実施形態では、通話判定処理におけるユーザへの報知として、ＬＣＤ７に画像（アイコン）を表示する形態について説明したが、本発明は、これに限定されるものではなく、通話判定処理におけるユーザへの報知を例えば音声等、他の手段によって行う形態としてもよい。

また、上記実施形態では、ノートＰＣ１が送信側ＶＲエンジン４８及び受信側ＶＲエンジン４２を備える形態について説明したが、本発明は、これに限定されるものではなく、送信側ＶＲエンジン４８又は受信側ＶＲエンジン４２を備えない形態としてもよい。
この形態の場合、受信側ノートＰＣは、送信側ノートＰＣからＶｏＩＰデータを受信した場合に、ＶｏＩＰデータに対する音声認識をすることなく、受信確認データを送信側ノートＰＣへフィードバックする。そして、送信側ノートＰＣは、受信確認データを受信した場合に、送信側ノートＰＣとの間で音声通信ができていることを示す通話アイコンをＬＣＤ７に表示する。

また、上記実施形態では、２台のノートＰＣ１で通信を行っている形態について説明したが、本発明は、これに限定されるものではなく、複数台のノートＰＣ１で通信を行う形態としてもよい。この形態の場合、通話正常アイコンＢｖや通話異常アイコンＢｎは、通話を行っているユーザを識別するための表示と共にＬＣＤ７に表示されてもよい。

また、上記実施形態で説明した通話判定処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

１ ノートＰＣ（情報処理装置）
５ マイク（音入力手段）
７ ＬＣＤ（画像表示手段）
６ａ，６ｂ スピーカ（音出力手段）
１９ 通信デバイス（送受信手段）
４２ 受信側ＶＲエンジン（音声認識手段）
４４ フィードバック部（フィードバック手段）
４６ 受信音判定報知部（受信音判定報知手段）
４８ 送信側ＶＲエンジン（音声認識手段）
５２ 通話状態報知部（通話状態報知手段）

Claims (9)

1. 他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置であって、
   音が入力される音入力手段と、
   前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信手段と、
   前記音入力手段に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識手段と、
   前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信手段と、
   前記音声認識手段による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知手段と、
   を備える情報処理装置。
2. 前記通話状態報知手段は、前記音入力手段に入力された音を示す前記音データに人の音声のデータが含まれると前記音声認識手段が認識し、かつ前記受信確認データが前記音データに人の音声のデータが含まれていることを示す場合、正常に通話が行われていることをユーザに報知する請求項１記載の情報処理装置。
3. 前記通話状態報知手段は、前記音入力手段に入力された音を示す前記音データに人の音声のデータが含まれると前記音声認識手段が認識し、かつ前記受信確認データを前記音データに人の音声のデータが含まれていないことを示すものとして受信した場合、正常に通話が行われていないことをユーザに報知する請求項１または２に記載の情報処理装置。
4. 前記通話状態報知手段は、前記音声認識手段の認識結果をユーザに報知する請求項１から３のいずれか１項に記載の情報処理装置。
5. 他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置であって、
   送信側手段と、
   受信側手段と
   を有し、
   前記送信側手段は、
   音が入力される音入力手段と、
   前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信手段と、
   前記音入力手段に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識手段と、
   前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信手段と、
   前記音声認識手段による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知手段と、
   を有し、
   前記受信側手段は、
   前記他の情報処理装置から音データを受信する受信手段と、
   前記受信手段によって受信された前記音データに含まれる人の音声のデータを認識し、音声認識の結果に応じたデータを受信確認データとして前記他の情報処理装置に送信するフィードバック手段と
   を備える情報処理装置。
6. 他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置の音声通信方法であって、
   前記情報処理装置が、
   音が入力される音入力工程と、
   前記音入力工程において入力された音を示す音データを前記他の情報処理装置に送信する送信工程と、
   前記音入力工程において入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識工程と、
   前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信工程と、
   前記音声認識工程による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知工程と、
   を行う音声通信方法。
7. 他の情報処理装置との間で音データの送受信によって通話を行う情報処理装置の音声通信方法であって、
   前記情報処理装置が、
   送信側工程と、
   受信側工程と
   を有し、
   前記送信側工程は、
   音が入力される音入力工程と、
   前記音入力工程において入力された音を示す音データを前記他の情報処理装置に送信する送信工程と、
   前記音入力工程に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識工程と、
   前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信工程と、
   前記音声認識工程による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知工程と、
   を有し、
   前記受信側工程は、
   前記他の情報処理装置から音データを受信する受信工程と、
   前記受信工程によって受信された前記音データに含まれる人の音声のデータを認識し、音声認識の結果に応じたデータを受信確認データとして前記他の情報処理装置に送信するフィードバック工程と
   を行う音声通信方法。
8. 音が入力される音入力手段を有するコンピュータにおいて、他の情報処理装置との間で音データの送受信によって通話を行うための音声通話プログラムであって、
   前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信処理と、
   前記音入力手段において入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識処理と、
   前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信処理と、
   前記音声認識処理による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知処理と、
   をコンピュータに実行させるためのプログラム。
9. 音が入力される音入力手段を有するコンピュータにおいて、他の情報処理装置との間で音データの送受信によって通話を行うための音声通話プログラムであって、
   送信側処理と、
   受信側処理と
   を有し、
   前記送信側処理は、
   前記音入力手段に入力された音を示す音データを前記他の情報処理装置に送信する送信処理と、
   前記音入力手段に入力された音を示す前記音データに含まれる人の音声のデータを認識する音声認識処理と、
   前記他の情報処理装置から、前記音データに含まれる人の音声のデータを認識する音声認識の結果に応じたデータを受信確認データとして受信する受信処理と、
   前記音声認識処理による認識結果と前記受信確認データとに基づいて、前記他の情報処理装置との通話状態を判定し、判定結果をユーザに報知する通話状態報知処理と、
   を含み、
   前記受信側処理は、
   前記他の情報処理装置から音データを受信する受信処理と、
   前記受信処理によって受信された前記音データに含まれる人の音声のデータを認識し、音声認識の結果に応じたデータを受信確認データとして前記他の情報処理装置に送信するフィードバック処理と
   を含む音声通話プログラム。

Images