JP6416446B1 - 通信システム、通信システムに用いられるａｐｉサーバ、ヘッドセット、及び携帯通信端末 - Google Patents

Abstract

弱電波環境や環境音が大きい環境においても快適なグループ通話を行うことが可能な通信システムを提供する。本発明の通信システム（３００）は、グループ通話を管理するＡＰＩサーバ（１０）と、携帯通信網を介して通信する携帯通信端末（２０）と、該携帯通信端末（２０）との間で近距離無線通信により音声データをやり取りするヘッドセット（２１）とを備える。ヘッドセット（２１）は、音声に含まれる発話部分を環境音に対して相対的に強調する発話強調部を備え、また、携帯通信端末（２０）は、ヘッドセット（２１）から受信した音声データから発話部分を抽出してグループ通話の相手へと送信する。携帯通信端末（２０）の間での通信は、ＡＰＩサーバ（１０）からの通信品質の制御に係る指令により制御される。

Description

本発明は通信システム、通信システムに用いられるＡＰＩサーバ、ヘッド
セット、及び携帯通信端末に関する。

携帯通信網を用いたグループ内での多対多での通話を行うための通信システムでは、通話を開始する前に互いに通話者が有する携帯通信端末をグループとして登録し、話者の音声をエンコードした音声データを該グループに登録された携帯通信端末の間でやり取りすることによるグループ内での多対多通話が行われる。

携帯通信網を用いてグループ間で通話を行う際には、話者の音声をエンコードした音声データがＶｏＩＰサーバを介してグループに参加している通話者が有する携帯通信端末へと送信される。このようにＶｏＩＰサーバを経由して音声データを送信することで、グループ内での多対多通話による通信負荷をある程度軽減することができる。

また、携帯通信網を用いて通話を行う際には、携帯通信端末に備え付けられたマイクとスピーカーを用いて通話を行う以外に、携帯通信端末との間をＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信方式で接続して使用されるヘッドセットを用いることも行われている（例えば、特許文献１参照）。ヘッドセットを用いることにより、通話者が携帯通信端末を手で保持していない状態でも携帯通信端末が通話者の声を拾うことができるようになり、また、通話者が携帯通信端末を手で保持していない状態でも携帯通信端末は通話相手の携帯通信端末から送られてくる会話を通話者に伝えることができるようになる。

上記した従来技術を用いてグループ内多対多通話を行う場合、通話の参加者全員が良好な通信環境にいる場合には、高い音質で遅延の少ない音声をお互いにやり取りしながら会話することができる。

特開２０１１−１８２４０７号公報

しかしながら、雪山や海上、工事現場、採石場、飛行場などの基地局から離れた電波状態が悪い環境にいる場合、また、多くの携帯通信端末の利用者が密集している電波を拾いにくい環境にいる場合には、そのままの音声を音声データにエンコードして送信すると、単位時間当たりに送信するべき音声データのサイズが通信可能な帯域幅に対して大きくなるため、音声データの伝達遅延が発生し、快適な通話を継続することが困難となる問題がある。この時、音声のエンコードにおける圧縮率を大きくすることで単位時間当たりに送信するべき音声データを通信可能な帯域幅に対して適正なサイズとすることで音声データの伝達遅延をある程度改善することが可能となるが、その場合には伝達された音声データをデコードした際に得られる音声の音質が劣化し、やはり良好な会話をすることができなくなるという問題が生じる。

また、雪山や海上、人ごみの中、工事現場、採石場、飛行場などでの通話においては、風切音や雑踏の音、工事音、採掘音、エンジン音などの環境音が問題となることもある。このような環境において通話を行った場合、通話に用いるマイクが話者の発話以外に周りで発生している環境音を拾うことになり、話者の発話と環境音とが混ざった音声が音声データへとエンコードされて通話の参加者が有する携帯通信端末へと送信されるが、この環境音がＳＮ比を小さくするばかりでなく、話者の発話が存在しない環境音のみの不要な音声データを送信することになり、データの遅延などの原因となってしまう。

また、雪山や海上、人ごみの中、工事現場、採石場、飛行場などで通話を行う場合は、機器の運転・操作やスポーツ等、通話以外の活動を行っている最中であることが多い。このような状況では一般的にはトランシーバーを用いて、発話の区間のみボタンを押して明示的に送信を行う必要があるが、ボタン操作を伴うことで本来行うべき活動を妨げる事になる。

更に、音声データを受信した側の携帯通信端末で受信した音声データをデコードした音声を再生した場合に、受信した側の環境音が原因で再生した音声が聞き取れなくなるという問題も生じる。環境音で音声が聞こえなくならないように、該環境音に対してノイズキャンセリングの技術を適用するということも考えられるが、雪山や海上、人ごみの中、工事現場、採石場、飛行場などで一律にノイズキャンセリングを行って環境音をカットした場合、通話者が周りで発生した危険を察知するのを遅らせる原因となるという問題が生じてしまう。

上記課題に加えて、ヘッドセットと携帯通信端末とを用いたグループ通話を行っている際に、負荷が大きな音声エンコード方式を用いると、ヘッドセット及び携帯通信端末のバッテリーの消耗が早くなり、グループ通話を長時間継続することができなくなるという問題がある。特に、ヘッドセットは耳に装着する小さなものであることが多く、携帯通信端末と比較してもバッテリーの容量が小さくなるため、ヘッドセットと携帯通信端末で適切に役割を分担して、また、計算負荷の低いアルゴリズムを組み合わせて効率よく音声をエンコードする必要がある。

そこで本発明の目的は、弱電波環境や環境音が大きい環境においても快適なグループ通話を行うことが可能な通信システムを提供することである。

本発明の通信システムは以下の３つの手段を備え、これらを互いに連関させることによりグループ内での多対多通信で発生する上記問題を解決する。
手段１）ヘッドセットで検知した音声から高精度に人の発話部分を抽出して音声データを生成する手段
手段２）弱電波環境に対応した動的な通信品質制御手段
手段３）環境を考慮した騒音に強い再生制御手段

そして、本発明は、複数のクライアントの間でＶｏＩＰサーバを介したグループ通話を行う通信システムにおいて、前記グループ通話を管理するＡＰＩサーバを備え、前記クライアントは携帯通信網を介して通信する携帯通信端末と、該携帯通信端末との間で近距離無線通信により音声データをやり取りするヘッドセットとを備え、前記ヘッドセットは、音声を検知する音声検知部と、前記音声検知部が検知した音声に含まれる発話部分を環境音に対して相対的に強調する発話強調部と、前記携帯通信端末から受信した音声データを、該音声データの発話部分において前記音声検知部が検知した音声を周辺騒音に対して相対的に聞き取りやすくなるように再生する再生制御部と、を備え、前記携帯通信端末は、前記ヘッドセットから受信した音声データに含まれるノイズを推定するノイズ推定部と、前記ノイズ推定部による推定の結果に基づいて、前記音声データから発話部分の候補となる範囲を判定する発話候補判定部と、前記発話候補判定部が判定した前記音声データの発話部分の候補となる範囲から人間の音声である部分を判定する発話性判定部と、前記発話性判定部により人間の音声であると判定された前記音声データの部分を前記ＶｏＩＰサーバへと送信する音声データ送信部と、前記ＶｏＩＰサーバから受信した音声データを前記ヘッドセットへと送信する再生音声データ送信部と、を備え、前記ＡＰＩサーバは、前記クライアントと、前記ＶｏＩＰサーバとの通信状況に基づいて、前記グループ通話の通信品質の制御に係る指令を前記クライアント及び前記ＶｏＩＰサーバへと通知する通信品質制御部を備え、前記音声データ送信部は、前記通信品質制御部から通知された指令に基づいた通信品質で前記発話性判定部により人間の音声であると判定された前記音声データの部分をエンコードして前記ＶｏＩＰサーバへと送信する、ことを特徴とする。

本発明により、多対多のグループ通話においてモバイルネットワークを介して転送されるデータ量が減少し、これにより携帯通信端末やヘッドセットにおける電力消費量を低減させることが可能となり、また、通信帯域が十分でない場合でも音声遅延を抑えることが可能となる。更に、自動的に発話区間のみを検出することで、手を用いず他の活動を妨げない形でノイズを低減し通話相手の発話内容だけがクリアに伝達されることによる通話のＵＸ（Ｕｓｅｒ Ｅｘｐｅｒｉｅｎｃｅ）を大幅に向上させることができる。

本発明の実施形態１による通信システムの概略的な構成図である。 本発明の実施形態１によるＡＰＩサーバの概略的な機能ブロック図である。 本発明の実施形態１による携帯通信端末の概略的な機能ブロック図である。 本発明の実施形態１によるヘッドセットの概略的な機能ブロック図である。 本発明の実施形態１による発話検知機能に係るヘッドセット及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。 本発明の実施形態１による図５のシーケンスチャートに従って検知された音声から送信される音声データが生成されるまでの変換のイメージを示す図である。 本発明の実施形態１による音声再生制御機能に係るヘッドセット及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。 本発明の実施形態１によるデータ転送遅延が発生した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。 本発明の実施形態１によるデータ転送状況が回復した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。 本発明の実施形態１による通信途絶が発生した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。 本発明の実施形態１による通信途絶が発生した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。 本発明の実施形態２における通信システムの概略的な構成図である。 本発明の実施形態３における通信システムの概略的な構成図である。 本発明の実施形態４における通信システムの概略的な構成図である。 本発明の実施形態４における携帯通信端末の構成を示すブロック図である。 本発明の実施形態４におけるクラウドの構成を示すブロック図である。 本発明の実施形態４におけるヘッドセット（イヤフォン）と携帯通信端末との接続状況を表示する接続状況表示画面を示す図である。 本発明の実施形態４における通信システムにログインする際に表示されるログイン画面を示す図である。 本発明の実施形態４におけるテナントを変更する際に表示されるテナント変更画面を示す図である。 本発明の実施形態４におけるユーザーがルームに参加する際に表示されるルーム参加画面を示す図である。 本発明の実施形態４におけるユーザーがルームを新設する際に表示されるルーム新設画面を示す図である。 本発明の実施形態４におけるユーザーがルームに参加した際に表示される通話画面を示す図である。 本発明の実施形態４におけるユーザーがルームメンバーを確認する際に表示されるルームメンバー画面を示す図である。 本発明の実施形態４におけるルームメンバー画面に表示されたポップアップウィンドウを示す図である。 本発明の実施形態４におけるユーザー設定画面を示す図である。 本発明の実施形態４におけるルームおよび録音に関する管理画面を示す図である。 本発明の実施形態４におけるユーザー属性に関する管理画面を示す図である。 本発明の実施形態４におけるユーザー追加ウィンドウを示す図である。 本発明の実施形態４における共用ユーザー追加ウィンドウを示す図である。 本発明の実施形態４における録音データを一覧表示する録音データウィンドウを示す図である。 本発明の実施形態４における音声データの合成処理を示すシーケンス図である。 本発明の実施形態４におけるクラウドが受信した複数の断片的な音声データを示す図である。

以下、本発明の実施形態を図面と共に説明する。
［実施形態１］
＜１．通信システムの全体構成＞
図１は、本発明の実施形態１における通信システムの概略的な構成を示す図である。本発明の通信システム３００は、少なくとも１つ以上のサーバ１と、該サーバ１とＧＳＭ（登録商標）、３Ｇ（登録商標）、４Ｇ（登録商標）、ＷＣＤＭＡ（登録商標）、ＬＴＥ（登録商標）などのモバイルネットワークを介して接続可能な複数のクライアント２を備える。

サーバ１は少なくともクライアント２の間での音声通信を制御するためのＶｏＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｃｏｌ）サーバ１１を備え、また、通信システム３００に含まれるサーバ１の内の少なくとも１つは、クライアント２の接続やＶｏＩＰサーバ１１の割り振りを管理するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍａｂｌｅ Ｉｎｔｅｒｆａｃｅ）サーバ１０を備えている。サーバ１は、１つのサーバコンピュータにより構成しても良く、また、複数のサーバコンピュータを用意してそれぞれのサーバコンピュータ上にそれぞれの機能を実装して構成しても良い。また、それぞれのサーバ１は、世界中の各地域に分散して配置されていてもよい。

サーバ１を構成するサーバコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶装置（主記憶装置及び補助記憶装置等）およびＩ／Ｏ回路等により構成される。また、サーバ１は、ＴＣＰ／ＩＰなどの有線通信に適した通信規格にしたがって広域ネットワークに接続され、該広域ネットワークを介して他のサーバ１との間で相互通信できるようにと相互通信するように構成される。

ＡＰＩサーバ１０は、多対多で行われるグループ通話を行う際に該グループ通話に参加する複数のクライアント２との間で該グループ通話に必要となる情報をやり取りし、そこで得られた情報に基づいてＶｏＩＰサーバ１１に対して指令して該グループ通話に参加する複数のクライアント２間でグループ通話を実現する管理サーバとしての役割を持つ。ＡＰＩサーバ１０は、サーバ１を構成するサーバコンピュータ上に実装される。

ＡＰＩサーバ１０は、同一のサーバ１内に配置されるＶｏＩＰサーバ１１だけでなく、ネットワークを介して接続可能な他のＶｏＩＰサーバ１１に対しても指令することが可能である。これは、ＡＰＩサーバ１０が、グループ通話に参加する複数のクライアント２のＩＰアドレスなどの情報から該クライアント２の地理的な位置を特定し、該クライアント２から低遅延接続が可能なＶｏＩＰサーバ１１を選択し、該ＶｏＩＰサーバ１１に対して前記クライアント２を振り分けることを可能とする。また、ＡＰＩサーバ１０は、複数のＶｏＩＰサーバ１１の中から稼働率の低いＶｏＩＰサーバ１１を検出して該ＶｏＩＰサーバ１１に対してクライアント２を振り分けることが可能である。

ＶｏＩＰサーバ１１は、ＡＰＩサーバ１０からの指令を受けて、各クライアント２間での音声パケットのやり取り（会話）を制御する役割を持つ。ＶｏＩＰサーバ１１は、サーバ１を構成するサーバコンピュータ上に実装される。ＶｏＩＰサーバ１１は、公知のＩＰ−ＰＢＸ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｐｒｉｖａｔｅ Ｂｒａｎｃｈ Ｅｘｃｈａｎｇｅ）のソフトウェアスイッチとして構成しても良い。ＶｏＩＰサーバ１１は、クライアント２間でのリアルタイム通話を実現するためにオンメモリで音声パケットを処理する機能を備える。

クライアント２は、利用者が備える携帯通信端末２０と、該携帯通信端末２０との間でＢｌｕｅｔｏｏｔｈ通信などの近距離無線通信で接続されたヘッドセット２１を備える。携帯通信端末２０は、利用者による音声通話における音声パケットの通信制御を行う役割を持つ。携帯通信端末２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びメモリカード等の記憶装置（主記憶装置及び補助記憶装置等）およびＩ／Ｏ回路等を備えた、タブレット型端末又はスマートフォンなどの利用者による携帯が可能なサイズ、形状および重量に設計されている情報端末により構成される。

携帯通信端末２０は、ＧＳＭ（登録商標）、３Ｇ（登録商標）、４Ｇ（登録商標）、ＷＣＤＭＡ（登録商標）、ＬＴＥ（登録商標）等の遠距離での無線通信に適した通信規格にしたがって、図示しない基地局に接続された広域ネットワークを介してサーバ１や他のクライアント２と相互通信できるように構成されている。

携帯通信端末２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格（以下、「第１近距離無線通信規格」という。）に従って、ヘッドセット２１との間で音声データを相互通信できるように構成される。また、携帯通信端末２０は、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）（登録商標）等の第１近距離無線通信規格よりも小さな電力で通信が可能な近距離無線通信規格（以下、「第２近距離無線通信規格」という。）に従って、近距離にある携帯通信端末２０と通信できるように構成される。

ヘッドセット２１は、利用者の発話した音声に基づいて音声データを作成し、作成した音声データを携帯通信端末２０へと送信すると共に、携帯通信端末２０から送信されてきた音声データに基づいて音声を再生する役割を持つ。ヘッドセット２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びメモリカード等の記憶装置（主記憶装置及び補助記憶装置等）およびマイクロフォンやスピーカーなどのＩ／Ｏ回路等を備える。ヘッドセット２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格に従って、ヘッドセット２１との間で音声データを相互通信できるように構成される。ヘッドセット２１は、装着した利用者が外部の環境音を聞き取ることができるように、オープン型のヘッドセットとして構成されていることが望ましい。

上記した構成を備えた本実施形態の通信システム３００は、グループ通話サービスの利用状況に応じて各地域にＶｏＩＰサーバ１１を設置し、配置されたＶｏＩＰサーバ１１による通話をＡＰＩサーバ１０で統括的に管理することが可能となるため、マルチリージョン間でのクライアント２間の接続を通信遅延を低減させながら効率的に運用することが可能となる。

＜２．サーバの機能構成＞
図２は、本発明の実施形態１におけるＡＰＩサーバ１０の概略的な機能構成を示す図である。ＡＰＩサーバ１０は、通話確立制御部１００、通話品質制御部１１０、クライアント管理部１２０、サーバ管理部１３０、通話グループ管理部１４０を備える。これらの機能手段は、ＡＰＩサーバ１０が実装されているサーバコンピュータが備える記憶装置やＩ／Ｏ回路等をＣＰＵが制御することにより実現される。

通話確立制御部１００は、クライアント２からのグループ通話開始要求に基づいて、該クライアント２と、該グループ通話開始要求に含まれる少なくとも１つの他のクライアント２との間でのグループ通話を開始する制御を行う機能手段である。通話確立制御部１００は、クライアント２からのグループ通話開始要求を受けると、グループ通話開始要求をしたクライアント２が後述する通話グループ管理部１４０で管理されていない場合には、該クライアント２を含む新しい通話グループを作成するように通話グループ管理部１４０に対して指令し、グループ通話開始要求をしたクライアント２が通話グループ管理部１４０で管理されている場合には、該クライアント２を含む通話グループに対してグループ通話開始要求に含まれるクライアント２を追加するように通話グループ管理部１４０に対して指令する。

通話確立制御部１００は、通話グループ管理部１４０に対して新しい通話グループの作成を指令する際に、新しい通話グループに参加する複数のクライアント２と通信を行い、それぞれのクライアント２の地理的位置を特定する。通話確立制御部１００は、クライアント２のＩＰアドレスに基づいてクライアント２の地理的位置を特定するようにしても良いし、クライアント２を構成する携帯通信端末２０が備えるＧＰＳなどの位置特定手段からの情報に基づいてクライアント２の地理的位置を特定するようにしても良い。通話確立制御部１００は、新しい通話グループに参加する複数のクライアント２の地理的位置を特定すると、後述するサーバ管理部１３０で管理されているサーバ１の内で、特定した複数のクライアント２の位置から見て低遅延接続可能な地域に配置されている少なくとも１以上のサーバ１を抽出した上で、その中から稼働率の低いＶｏＩＰサーバ１１を備えたサーバ１を検出する。そして、通話確立制御部１００は、検出したサーバ１が備えるＶｏＩＰサーバ１１を介したグループ通話を開始するように、複数のクライアント２に対して指令する。

通話品質制御部１１０は、グループ通話に参加している複数のクライアント２の間での通信品質の制御を行う機能手段である。通話品質制御部１１０は、通話グループ管理部１４０で管理されているクライアント２によるグループ通話におけるデータ転送遅延状況を監視し、あるクライアント２にデータ転送遅延が発生した時、即ち該クライアント２が弱電波になるなどして通信回線の状況が悪化した時に、該クライアント２が通信を維持できるようにグループ通話に参加している他のクライアント２に対してデータ品質を抑制してデータ量を低減するように指令する。通話品質制御部１１０は、グループ通話の制御を行っているＶｏＩＰサーバ１１から各クライアント２の通信状況を所定の周期で取得することによりクライアント２のデータ転送遅延状況を監視するようにしても良い。通話品質制御部１１０は、データ転送遅延が発生したクライアント２のデータ転送遅延状況が回復した場合には、グループ通話に参加している他のクライアント２に対してデータ品質の抑制を解除するように指令する。

また、通話品質制御部１１０は、あるクライアント２の通信が途絶した場合、即ち該クライアント２が弱電波になるなどして通信ができない状況になった時に、該クライアント２との通信が途絶したことをグループ通話に参加している他のクライアント２に対して通知する。通話品質制御部１１０は、グループ通話の制御を行っているＶｏＩＰサーバ１１から各クライアント２の通信状況を所定の周期で取得することによりクライアント２の通信が途絶したことを検出するようにしても良い。通話品質制御部１１０は、通信が途絶したクライアント２との通信が回復したことを検出した場合には、その旨をグループ通話に参加している他のクライアント２に対して通知し、通信が回復したクライアント２をグループ通話に再度参加させるように制御する。

クライアント管理部１２０は、グループ通話を行うクライアント２に係る情報であるクライアント情報を管理する機能手段である。クライアント管理部１２０が管理するクライアント情報には、少なくとも該クライアント情報に対応するクライアント２を一意に識別する識別情報を含み、更に、該クライアント情報に対応するクライアント２を有する利用者の名前などの情報や、該クライアント情報に対応するクライアント２の地理上の位置に係る情報を含むようにしても良い。クライアント管理部１２０は、一般的に提供されるサービスなどと同様に、クライアント２からのクライアント情報登録要求やクライアント情報要求、クライアント情報削除要求などを受けて、クライアント情報の登録、修正、削除などの処理を行うようにしても良い。

サーバ管理部１３０は、ＡＰＩサーバ１０から指令して制御することが可能なＶｏＩＰサーバ１１を備えたサーバ１に係る情報であるサーバ情報を管理する機能手段である。サーバ管理部１３０が管理するサーバ情報には、少なくとも該サーバの地理上の位置と該サーバのネットワーク上の位置（ＩＰアドレスなど）を含み、更に、該サーバが備えるＶｏＩＰサーバ１１の稼働率、該サーバの管理者に係る情報などを含むようにしても良い。サーバ管理部１３０は、ＡＰＩサーバ１０の管理者によるサーバ情報登録操作、サーバ情報修正操作、サーバ情報削除操作などを受けて、サーバ情報の登録、修正、削除などの処理を行うようにしても良い。

通話グループ管理部１４０は、現在グループ通話を行っているクライアント２のグループ（以下、「クライアントグループ」と言う。）に係る情報である通話グループ情報を管理する機能手段である。通話グループ管理部１４０が管理する通話グループ情報は、少なくとも該通話グループ情報に対応するグループ通話に参加しているクライアント２を識別する情報（該クライアント２に係るクライアント情報に登録されている識別情報）、該通話グループ情報にグループ通話に用いられているＶｏＩＰサーバに係る情報、該通話グループ情報にグループ通話に参加しているそれぞれのクライアント２の通信状態（データ遅延状況、通信途絶状況など）を含む。通話グループ管理部１４０は、通話確立制御部１００、通話品質制御部１１０からの通話グループ作成指令や通話グループ削除指令、通話グループ修正指令などを受けて、通話グループ情報の作成、修正、削除などの処理を行うようにしても良い。

上記した構成を備えた本実施形態のＡＰＩサーバ１０は、グループ通話に参加する各クライアント２の位置と、各ＶｏＩＰサーバ１１の稼働率とに基づいて、各クライアント２からのグループ通話要求を低遅延接続が可能なＶｏＩＰサーバ１１へと振り分けることができる。また、本実施形態のＡＰＩサーバ１０は、各地域に設置されるＶｏＩＰサーバ１１を介して、グループ通話を行う各クライアント２の死活状態を検知して、状況に応じたフェイルオーバ処理を行うため、利用者の手を煩わせることなく状況に応じた最適なグループ通話サービスを提供することができる。

＜３．クライアントの機能構成＞
図３は、本発明の実施形態１における携帯通信端末２０の概略的な機能構成を示す図である。携帯通信端末２０は、グループ通話管理部２０１、グループ通話制御部２０２、ノイズ推定部２０３、発話候補判定部２０４、発話性判定部２０５、音声データ送信部２０６、再生音声データ送信部２０７、通信部２０８、および近距離無線通信部２０９を備える。これらの機能手段は、携帯通信端末２０が備える記憶装置やＩ／Ｏ回路等をＣＰＵが制御することにより実現される。

グループ通話管理部２０１は、ＡＰＩサーバ１０との間でグループ通話の管理に係る情報を通信部２０８を介してやり取りし、グループ通話の開始や終了などを管理する機能手段である。グループ通話管理部２０１は、ＡＰＩサーバ１０に対してグループ通話開始要求、クライアント追加要求、グループ通話終了要求などの各種要求を送信し、該要求に対するＡＰＩサーバ１０の応答に応じて後述するグループ通話制御部２０２に対して指令することによりグループ通話の管理を行う。

グループ通話制御部２０２は、グループ通話管理部２０１からの指令に基づいてグループ通話に参加している他のクライアント２との間の音声データの送受信と、ヘッドセット２１との間の音声データの送受信とを制御する機能手段である。グループ通話制御部２０２は、後述するノイズ推定部２０３、発話候補判定部２０４、発話性判定部２０５によりヘッドセット２１から受信した利用者の発話にかかる音声データの発話検知と音声データのデータ品質制御を行う。

ノイズ推定部２０３は、ヘッドセット２１から受信した利用者の発話にかかる音声データから平均環境音の推定を行う機能手段である。ヘッドセット２１から受信した利用者の発話にかかる音声データには、利用者の発話と環境音とが含まれているがノイズ推定部２０３によるノイズ推定の方法としては、最小二乗誤差（ＭＭＳＥ）推定や最尤法、最大事後確率推定などの公知の方法を用いても良い。例えば、ノイズ推定部２０３は、サンプルフレーム毎の音声存在確率推定を元にして環境音のパワースペクトルをＭＭＳＥ基準により逐次更新し、該環境音のパワースペクトルを用いて音声データの中からノイズである環境音を推定できるようにするようにしても良い。

発話候補判定部２０４は、ノイズ推定部２０３によるノイズとなる環境音の推定結果に基づいて、音声データの中から平均環境音と異なる音を発話候補として判定する機能手段である。発話候補判定部２０４は、数フレーム単位の長時間スペクトル変動とノイズ推定部２０３が推定した環境音のパワースペクトルとを比較することで、非定常的な音声データの部分を利用者の発話による音声データであると判定する。

発話性判定部２０５は、発話候補判定部２０４が利用者による発話による音声データであると判定した部分について、人間の声以外の突発的な環境音であると推定される音声データの部分を判定する機能手段である。発話性判定部２０５は、発話候補判定部２０４が利用者による発話による音声データであると判定した部分に対してスペクトル周期成分の含有比率推定などを行うことで、人間の喉などから発せられた音声に基づく音声データで有るかどうかを判定する。また、発話性判定部２０５は、音声波形からのエコーの度合いの推定による発話者との距離や直接波であるかどうかの評価を行い、発話者が発した音声に基づく音声データであるかどうかを判定する。

音声データ送信部２０６は、発話候補判定部２０４が発話候補として判定された範囲から、発話性判定部２０５が突発的な環境音であると判定して部分を除いた範囲の音声データをエンコードしてＶｏＩＰサーバへと送信する。音声データ送信部２０６は、音声データをエンコードする際に、グループ通話制御部２０２がＡＰＩサーバ１０の通信品質制御部１１０からの指令に基づいて決定したエンコード方式と通信品質で音声データのエンコードを行う。

再生音声データ送信部２０７は、通信部２０８を介してＶｏＩＰサーバから受信してデコードされた音声データを近距離無線通信部２０９を介してヘッドセット２１へと送信する。

通信部２０８は、モバイルネットワークを介した通信を制御する機能手段である。通信部２０８は、一般的な携帯通信網などに対する通信インタフェースを用いて実現される。近距離無線通信部２０９は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信を制御する機能手段である。近距離無線通信部２０９は、一般的な近距離無線通信インタフェースを用いて実現される。

図４は、本発明の実施形態１におけるヘッドセット２１の概略的な機能構成を示す図である。ヘッドセット２１は、音声検知部２１１、発話強調部２１２、再生制御部２１３、近距離無線通信部２１６を備える。これらの機能手段は、ヘッドセット２１が備える記憶装置やＩ／Ｏ回路等をＣＰＵが制御することにより実現される。

音声検知部２１１は、ヘッドセット２１を装着した利用者の発話を検知して音声データへと変換する機能手段である。音声検知部２１１は、ヘッドセット２１が備えるマイクロフォンとＡ／Ｄ変換回路、音声データのエンコーダなどにより構成される。音声検知部２１１を構成するマイクロフォンとして、少なくとも２つのマイクロフォンを備えていることが望ましい。

発話強調部２１２は、音声検知部２１１が検知して変換された音声データの中からヘッドセット２１を装着している利用者の発話を強調して検出できるようにする機能手段である。発話強調部２１２は、例えば公知のビームフォーミングアルゴリズムなどを利用して利用者の発話を環境音に対して相対的に強調する。発話強調部２１２が行う処理により、音声データに含まれる環境音が利用者の発話に対して相対的に抑制されるため、音質の向上と、後段の信号処理の性能と計算負荷を下げることが可能となる。発話強調部２１２により変換された音声データは、近距離無線通信部２１６を介して携帯通信端末２０へと送信される。

再生制御部２１３は、近距離無線通信部２１６を介して携帯通信端末２０から受信した音声データを再生する機能手段である。再生制御部２１３は、ヘッドセット２１が備える音声データのデコーダ、Ｄ／Ａ変換回路、スピーカーなどにより構成される。再生制御部２１３は、携帯通信端末２０から受信した音声データにおける発話区間における音声を再生する際には、ヘッドセット２１が備えるマイクロフォンが検知した環境音を元に再生する音声データを利用者に聴取し易い形で再生する。再生制御部２１３は、音声検知部で推定した周辺騒音を元に、ノイズキャンセリング処理を実施して利用者が聴取する環境音を打ち消して再生音を聴取しやすくしてもよいし、周辺騒音の大きさに連動して再生音量を大きくする処理を実施して相対的に再生音を聴取しやすくしても良い。

上記した構成を備えた本実施形態のクライアント２は、発話と環境音に関する様々な推定処理を連関させた多面的な音声データ処理を行うことで、通信路に伝送される音声データのサイズを削減しながらも、クリアな発話再生ができるようになっている。これにより、クライアント２を構成する各機器における電力消費の省力化と、通話のＵＸ（Ｕｓｅｒ Ｅｘｐｅｒｉｅｎｃｅ）の大幅な向上を実現することができる。

以下では、上記構成を備えた通信システム３００の特徴的な機能である発話検知機能、通信制御機能、音声再生制御機能について、動作の流れを示すシーケンスチャートを用いて説明する。

＜４．発話検知機能＞
図５は、本発明の実施形態１における発話検知機能に係るヘッドセット及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。
●［ステップＳＡ０１］音声検知部２１１は、環境音を含む利用者の発話を音声として検知して音声データへと変換する。
●［ステップＳＡ０２］発話強調部２１２は、ステップＳＡ０１で変換された音声データに含まれる利用者の発話音声を環境音に対して相対的に強調する。
●［ステップＳＡ０３］近距離無線通信部２１６は、ステップＳＡ０２で変換された音声データを第１携帯通信端末２０へと送信する。

●［ステップＳＡ０４］ノイズ推定部２０３は、第１ヘッドセットから受信された音声データを解析して、音声データに含まれるノイズである環境音を推定する。
●［ステップＳＡ０５］発話候補判定部２０４は、ステップＳＡ０４におけるノイズ推定部２０３によるノイズとなる環境音の推定結果に基づいて、音声データの中から平均環境音と異なる音を発話候補として判定する。
●［ステップＳＡ０６］発話性判定部２０５は、ステップＳＡ０５で発話候補判定部２０４が利用者による発話候補である判定した音声データの部分について、突発的な環境音や、ヘッドセットのマイクロフォンから距離のある位置から発せられた発話であると推定される音声データの部分を判定する。
●［ステップＳＡ０７］グループ通話制御部２０２は、ステップＳＡ０５で発話候補として判定された範囲から、ステップＳＡ０６で発話性判定部２０５が突発的な環境音やヘッドセットのマイクロフォンから離れた位置から発せられた発話であると判定して部分を除いた範囲の音声データを対象として、ＶｏＩＰサーバ１１とのやり取りで決定されたエンコード方式と通信品質で音声データのエンコードを行い、エンコードした音声データをＶｏＩＰサーバへと送信する。

図６は、本発明の実施形態１における図５のシーケンスチャートに従って検知された音声から送信される音声データが生成されるまでの変換のイメージを示す図である。図６に示すように、本発明の通信システムでは、検知された音声の内で発話の再現に必要となる部分のみが抽出されるため、エンコードされてＶｏＩＰサーバ１１に送信される音声データは通常の通信システムにおいて送信される音声データと比較してサイズを小さくすることができる。

＜５．音声再生制御機能＞
図７は、本発明の実施形態１における音声再生制御機能に係るヘッドセット及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。
●［ステップＳＢ０１］グループ通話制御部２０２は、ＶｏＩＰサーバ１１とのやり取りで決定されたエンコード方式により受信したデータを音声データへとデコードする。
●［ステップＳＢ０２］再生音声データ送信部２０７は、ステップＳＢ０２でデコードされた音声データを第２ヘッドセット２１へと送信する。

●［ステップＳＢ０３］音声検知部２１１は、環境音を音声として検知して音声データへと変換する。
●［ステップＳＢ０４］再生制御部２１３は、第２携帯通信端末２０から受信した音声データを、音声データの発話区間においてステップＳＢ０３で検知した環境音に対して再生音を聴取しやすくする処理を行いながら再生する。
なお、本実施形態では、第２ヘッドセット２１は、環境音を打ち消して第２携帯通信端末２０から受信した音声データを再生することとしたが、これに限られない。例えば、第２ヘッドセット２１は、環境音を打ち消さずに第２携帯通信端末２０から受信した音声データをそのまま再生してもよい。

＜６．通信制御機能＞
図８は、本発明の実施形態１におけるデータ転送遅延が発生した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。
●［ステップＳＣ０１］ＶｏＩＰサーバ１１は、第２携帯通信端末２０のデータ転送遅延を検出する。
●［ステップＳＣ０２］ＶｏＩＰサーバ１１は、第２携帯通信端末２０のデータ転送遅延状況をＡＰＩサーバ１０へと通知する。

●［ステップＳＣ０３］通信品質制御部１１０は、ＶｏＩＰサーバ１１から通知された第２携帯通信端末２０のデータ転送遅延状況に応じた通信品質を決定し、決定した通信品質にするようにＶｏＩＰサーバ１１と、第２携帯通信端末２０と同じクライアントグループに所属する第１携帯通信端末２０とに指令する。
●［ステップＳＣ０４］ＶｏＩＰサーバ１１は、第２携帯通信端末２０が所属するクライアントグループの通信品質を、ステップＳＣ０３で指令された通信品質へと変更する。
●［ステップＳＣ０５］第１携帯通信端末２０は、通信品質をステップＳＣ０３で指令された通信品質へと変更する。

図９は、本発明の実施形態１におけるデータ転送状況が回復した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。
●［ステップＳＤ０１］ＶｏＩＰサーバ１１は、第２携帯通信端末２０のデータ転送状況の回復を検出する。
●［ステップＳＤ０２］ＶｏＩＰサーバ１１は、第２携帯通信端末２０のデータ転送状況の回復をＡＰＩサーバ１０へと通知する。

●［ステップＳＤ０３］通信品質制御部１１０は、ＶｏＩＰサーバ１１から通知された第２携帯通信端末２０のデータ転送状況の回復に応じて、通信品質を回復するようにＶｏＩＰサーバ１１と、第２携帯通信端末２０と同じクライアントグループに所属する第１携帯通信端末２０とに指令する。
●［ステップＳＤ０４］ＶｏＩＰサーバ１１は、第２携帯通信端末２０が所属するクライアントグループの通信品質を回復する。
●［ステップＳＤ０５］第１携帯通信端末２０は、通信品質を回復する。

図１０は、本発明の実施形態１における通信途絶が発生した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。
●［ステップＳＥ０１］ＶｏＩＰサーバ１１は、第２携帯通信端末２０との通信が途絶したことを検出する。
●［ステップＳＥ０２］ＶｏＩＰサーバ１１は、第２携帯通信端末２０の通信途絶をＡＰＩサーバ１０へと通知する。

●［ステップＳＥ０３］通信品質制御部１１０は、第２携帯通信端末２０と同じクライアントグループに所属する第１携帯通信端末２０に対して第２携帯通信端末２０との通信が途絶したことを通知する。
●［ステップＳＥ０４］ＶｏＩＰサーバ１１は、第２携帯通信端末２０の通信状態に係る情報を通信途絶状態へと変更する。
●［ステップＳＥ０５］第１携帯通信端末２０は、第２携帯通信端末２０の通信状態に係る情報を通信途絶状態へと変更する。

図１１は、本発明の実施形態１における通信途絶が発生した時の通信制御機能に係るＡＰＩサーバ、ＶｏＩＰサーバ及び携帯通信端末上で実行される処理の流れを示すシーケンスチャートである。
●［ステップＳＦ０１］ＶｏＩＰサーバ１１は、第２携帯通信端末２０の通信状況が回復したことを検出する。
●［ステップＳＥ０２］ＶｏＩＰサーバ１１は、第２携帯通信端末２０の通信状況回復をＡＰＩサーバ１０へと通知する。

●［ステップＳＥ０３］通信品質制御部１１０は、第２携帯通信端末２０と同じクライアントグループに所属する第１携帯通信端末２０に対して第２携帯通信端末２０との通信が回復したことを通知する。
●［ステップＳＥ０４］ＶｏＩＰサーバ１１は、第２携帯通信端末２０の通信状態に係る情報を通常状態へと変更する。
●［ステップＳＥ０５］第１携帯通信端末２０は、第２携帯通信端末２０の通信状態に係る情報を通常状態へと変更する。

以上説明したように、本発明の実施形態１によれば、多対多のグループ通話においてモバイルネットワークを介して転送されるデータ量が減少し、これにより携帯通信端末やヘッドセットにおける電力消費量を低減させることが可能となり、また、通信帯域が十分でない場合でも音声遅延を抑えることが可能となる。更に、自動的に発話区間のみを検出することで、手を用いず他の活動を妨げない形でノイズを低減し通話相手の発話内容だけがクリアに伝達されることによる通話のＵＸ（Ｕｓｅｒ Ｅｘｐｅｒｉｅｎｃｅ）を大幅に向上させることができる。

なお、実施形態１において、携帯通信端末２０の各機能を実行するためのプログラムは、携帯通信端末２０内のメモリに記憶されている。携帯通信端末２０内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。また、ヘッドセット２１の各機能を実行するためのプログラムは、ヘッドセット２１内のメモリに記憶されている。ヘッドセット２１内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。

また、実施形態１において、ＡＰＩサーバ１０の各機能を実行するためのプログラムは、ＡＰＩサーバ１０内のメモリに記憶されている。ＡＰＩサーバ１０内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。また、ＶｏＩＰサーバ１１の各機能を実行するためのプログラムは、ＶｏＩＰサーバ１１内のメモリに記憶されている。ＶｏＩＰサーバ１１内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。

なお、実施形態１において、ヘッドセット２１の機能の一部を、携帯通信端末２０に設けてもよい。例えば、携帯通信端末２０は、ヘッドセット２１に代えて、図４に記載の発話強調部２１２を備えてもよい。また、実施形態１において、携帯通信端末２０の機能の一部を、ヘッドセット２１に設けてもよい。例えば、ヘッドセット２１は、携帯通信端末２０に代えて、図３に記載のグループ通話管理部２０１、グループ通話制御部２０２、ノイズ推定部２０３、発話候補判定部２０４、発話性判定部２０５、および音声データ送信部２０６の全てまたは一部を備えてもよい。

また、実施形態１において、ヘッドセット２１および携帯通信端末２０の機能の一部を、ＶｏＩＰサーバ１１に設けてもよい。例えば、ＶｏＩＰサーバ１１は、ヘッドセット２１に代えて、図４に記載の発話強調部２１２を備えてもよい。また、ＶｏＩＰサーバ１１は、携帯通信端末２０に代えて、図３に記載のグループ通話管理部２０１、グループ通話制御部２０２、ノイズ推定部２０３、発話候補判定部２０４、発話性判定部２０５、および音声データ送信部２０６の全てまたは一部を備えてもよい。この場合、ＶｏＩＰサーバ１１に高性能の機能を持たせることで、ＶｏＩＰサーバ１１は、高精度なノイズ推定、高精度な発話候補判定、および高精度な発話性判定等を行うことができる。

［実施形態２］
以下、本発明の実施形態２について説明する。図１２は、本発明の実施形態２における通信システムの概略的な構成図である。図１２において、図１の各部に対応する部分には同一の符号を付し、説明を省略する。

実施形態１においては、クライアント２は携帯通信端末２０とヘッドセット２１とを備えることとした。一方、実施形態２においては、クライアント２は携帯通信端末２０を備えておらず、ヘッドセット２１が携帯通信端末２０の機能を備えることとする。また、実施形態２のＡＰＩサーバ１０およびＶｏＩＰサーバ１１は、実施形態２のＡＰＩサーバ１０およびＶｏＩＰサーバ１１と同様の構成を備える。

具体的に、図１２に示されるヘッドセット２１は、図３に示される携帯通信端末２０の各機能（グループ通話管理部２０１、グループ通話制御部２０２、ノイズ推定部２０３、発話候補判定部２０４、発話性判定部２０５、および音声データ送信部２０６）を備える。これによって、ヘッドセット２１は、実施形態１の携帯通信端末２０に代えて、音声データに基づいてノイズを推定したり（図５のステップＳＡ０４）、ノイズの推定結果に基づいて発話候補を判定したり（図５のステップＳＡ０５）、発話候補に基づいて利用者の発話部分を判定したり（図５のステップＳＡ０６）、発話部分のみの音声データをＶｏＩＰサーバ１１に送信したり（図５のステップＳＡ０７）することができる。

以上説明したように、本発明の実施形態２によれば、クライアント２に携帯通信端末２０を備える必要がないため、通信システム３００の構成を簡易化することができ、システム全体に要するコストを低減することができる。また、ヘッドセット２１に近距離無線通信部２１６を持たせる必要がなく、クライアント２内において無線通信を行う必要がないため、無線通信による処理の遅延を防止することができる。

なお、実施形態２において、ヘッドセット２１の各機能を実行するためのプログラムは、ヘッドセット２１内のメモリに記憶されている。ヘッドセット２１内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。

［実施形態３］
以下、本発明の実施形態３について説明する。図１３は、本発明の実施形態３における通信システムの概略的な構成図である。図１３において、図１の各部に対応する部分には同一の符号を付し、説明を省略する。

実施形態１においては、クライアント２は携帯通信端末２０とヘッドセット２１とを備えることとした。一方、実施形態３においては、クライアント２は携帯通信端末２０を備えておらず、ヘッドセット２１が携帯通信端末２０の機能を備えることとする。また、実施形態１および実施形態２においては、サーバ１はＡＰＩサーバ１０およびＶｏＩＰサーバ１１を備えることとした。一方、実施形態３においては、サーバ１はＶｏＩＰサーバ１１を備えておらず、各クライアント２がＶｏＩＰサーバ１１の機能を備えることとする。

具体的に、図１３に示される各クライアント２は、ＶｏＩＰサーバ１１の各機能を備え、ＶｏＩＰサーバ１１を介さずに、クライアント２同士がＰ２Ｐ（Peer to Peer）通信で直接通信を行う。また、ＡＰＩサーバ１０は、接続先を一位に定めるために複数のクライアント２間の通信を管理する。これによって、クライアント２は、実施形態２のＶｏＩＰサーバ１１に代えて、データ転送の遅延を検出したり（図８のステップＳＣ０１）、データ転送状況の回復を検出したり（図９のステップＳＤ０１）、通信品質を変更したり（図８のステップＳＣ０４および図９のＳＤ０４）、通信途絶を検出したり（図１０のステップＳＥ０１）、通信状況の回復を検出したり（図１１のステップＳＦ０１）、携帯通信端末２０の状態を変更したり（図１０のステップＳＥ０４および図１１のステップＳＦ０４）することができる。

以上説明したように、本発明の実施形態３によれば、サーバ１にＶｏＩＰサーバ１１を備える必要がないため、通信システム３００の構成を簡易化することができ、通信システム３００全体に要するコストを低減することができる。また、クライアント２およびＡＰＩサーバ１０は、ＶｏＩＰサーバ１１と通信する必要がないため、クライアント２およびＶｏＩＰサーバ１１間の通信による処理の遅延や、ＡＰＩサーバ１０およびＶｏＩＰサーバ１１間の通信による処理の遅延を防止することができる。

なお、実施形態３において、携帯通信端末２０の各機能を実行するためのプログラムは、携帯通信端末２０内のメモリに記憶されている。携帯通信端末２０内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。また、ヘッドセット２１の各機能を実行するためのプログラムは、ヘッドセット２１内のメモリに記憶されている。ヘッドセット２１内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。また、ＡＰＩサーバ１０の各機能を実行するためのプログラムは、ＡＰＩサーバ１０内のメモリに記憶されている。ＡＰＩサーバ１０内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。

［実施形態４］
以下、本発明の実施形態４について説明する。従来、業務用の音声コミュニケーションツールとして、トランシーバーを利用することがあった。トランシーバーを利用する環境においては、その通話可能範囲が電波の到達距離により制限されるため、発話内容が相手に届いているか否かを確認することが出来ない場合があった。したがって、従来のトランシーバーは、発話内容が届いているか否かを繰り返し相手に問いかけて確認するか、または録音装置に発話内容を記録して、後から発話内容を確認できるようにする必要があった。

また、特開２００５−２３４６６６号公報には、ＰｏＣ（Ｐｕｓｈ−ｔｏ−Ｔａｌｋ ｏｖｅｒ Ｃｅｌｌｕｌａｒ）サーバと、ＧＬＭＳ（Ｇｒｏｕｐ Ｌｉｓｔ Ｍａｎａｇｅｍｅｎｔ Ｓｅｒｖｅｒ）とを備えたシステムネットワークにおいて、通信内容を記録する手段が開示されている。

しかしながら、会話内容を録音する機能を有する通信システムにおいて、会話がされているか、されていないかに関わらず全ての音声データを記録すると、データ容量が大きくなるという問題があった。

そこで、本発明の実施形態４においては、録音された音声データの容量を小さくすることができるサービス提供方法、情報処理装置、プログラム、および記録媒体を提供することを目的とする。

＜７．システムの全体構成＞
図１４は、本発明の実施形態４における通信システムの概略的な構成図である。実施形態４における通信システム１０００は、第１ヘッドセット１１００Ａと、第２ヘッドセット１１００Ｂと、第１携帯通信端末１２００Ａと、第２携帯通信端末１２００Ｂと、クラウド１３００と、コンピュータ１４００と、表示部１４１０と、携帯通信端末１５００とを備える。

第１ヘッドセット１１００Ａは、ユーザーの耳に装着され、ボタン１１１０Ａおよびコミュニケーションユニット１１１１Ａを備える。ボタン１１１０Ａは、マニュアルスイッチとして機能する。コミュニケーションユニット１１１１Ａは、音声入力部としてのマイクと、音声出力部としてのスピーカーとを備える。第１ヘッドセット１１００Ａは、第１携帯通信端末１２００Ａと無線接続するためのチップを備える。

第１携帯通信端末１２００Ａは、スマートフォンなどの携帯電話やタブレット端末等であり、サービスを提供するクラウド１３００に接続される。第１ヘッドセット１１００Ａは、ユーザーから発せられた音声を示す音声データを、マイクを用いて検出し、検出した音声データを第１携帯通信端末１２００Ａに送信する。第１携帯通信端末１２００Ａは、第１ヘッドセット１１００Ａから受信した音声データをクラウド１３００に送信する。また、第１携帯通信端末１２００Ａは、クラウド１３００から受信した、第２ヘッドセット１１００Ｂによって検出された音声データを第１ヘッドセット１１００Ａに送信する。第１ヘッドセット１１００Ａは、第１携帯通信端末１２００Ａから受信した音声データを、スピーカーを用いて再生する。

なお、第２ヘッドセット１１００Ｂ、ボタン１１１０Ｂ、コミュニケーションユニット１１１１Ｂ、および第２携帯通信端末１２００Ｂは、それぞれ、第１ヘッドセット１１００Ａ、ボタン１１１０Ａ、コミュニケーションユニット１１１１Ａ、および第１携帯通信端末１２００Ａと同様の構成であるため、これらの詳細な説明については省略する。

クラウド１３００は、第１携帯通信端末１２００Ａおよび第２携帯通信端末１２００Ｂから複数の断片的な音声データを収集し、収集した複数の断片的な音声データを合成して合成音声データを生成し、生成した合成音声データを所定期間（例えば、６ヶ月）保持する。ユーザーは、クラウド１３００に接続された第１携帯通信端末１２００Ａまたは第２携帯通信端末１２００Ｂを用いて、合成音声データをクラウド１３００から取得することができる。合成音声データの詳細については後述する。

コンピュータ１４００は、デスクトップ型のコンピュータであるが、これに限られない。例えば、コンピュータ１４００は、ノート型のコンピュータであってもよい。コンピュータ１４００は、表示部１４１０に接続される。表示部１４１０は、液晶表示装置などの表示装置である。

コンピュータ１４００は、管理者権限を有するユーザーによって用いられる。管理者権限を有するユーザーは、通信システム１０００の各種設定（例えば、ユーザーに対する各種権限の付与、アカウントの変更、およびユーザーの招待等）を行うことができるユーザーである。管理者権限を有するユーザーとしては、例えば、テナント管理者およびマネージャーが存在する。テナント管理者は、テナント全体を管理する権限を有し、テナント内部のユーザー登録や、ユーザーの削除等を行うことができる。テナントは、システム利用契約を締結する契約主体である。テナント管理者は、メールアドレス等を用いてユーザーを特定する。マネージャーは、テナント内でルームの作成や端末登録等の権限を有するユーザーである。マネージャーも、テナント管理者と同様に、メールアドレス等を用いてユーザーを特定する。

管理者権限を有しないユーザーとしては、例えば、一般ユーザーと共用ユーザーが存在する。一般ユーザーは、グループ通話に参加する一般のユーザーである。テナント管理者およびマネージャーは、メールアドレス等を用いて一般ユーザーを特定する。一方、共用ユーザーは、グループ通話に参加するユーザーであるが、テナント管理者およびマネージャーは、メールアドレス等を用いて共用ユーザーを特定しない。共用ユーザーのアカウントは、課金のためのアカウント数をカウントするために用いられる。

携帯通信端末１５００は、管理者権限を有するユーザー（テナント管理者およびマネージャー等）によって用いられる。携帯通信端末１５００は、スマートフォンなどの携帯電話やタブレット端末等であり、サービスを提供するクラウド１３００に接続される。

管理者権限を有するユーザー（テナント管理者およびマネージャー等）は、コンピュータ１４００または携帯通信端末１５００を用いることにより、通信システム１０００の各種設定を行うことができる。

以下、第１ヘッドセット１１００Ａおよび第２ヘッドセット１１００Ｂのうち、いずれのヘッドセットであるかを区別しない場合は、単にヘッドセット１１００と表記する。また、第１携帯通信端末１２００Ａおよび第２携帯通信端末１２００Ｂのうち、いずれの携帯通信端末であるかを区別しない場合は、単に携帯通信端末１２００と表記する。

図１５は、本発明の実施形態４における携帯通信端末の構成を示すブロック図である。携帯通信端末１２００は、グループ通話管理部１２０１、グループ通話制御部１２０２、ノイズ推定部１２０３、発話候補判定部１２０４、発話性判定部１２０５、音声データ送信部１２０６、再生音声データ送信部１２０７、通信部１２０８、近距離無線通信部１２０９、録音データ記憶部１２１０、音声データ生成部１２１１、表示部１２１２、および再生部１２１３を備える。

なお、実施形態４におけるグループ通話管理部１２０１、グループ通話制御部１２０２、ノイズ推定部１２０３、発話候補判定部１２０４、発話性判定部１２０５、音声データ送信部１２０６、再生音声データ送信部１２０７、通信部１２０８、および近距離無線通信部１２０９は、それぞれ、実施形態１における図３に示されるグループ通話管理部２０１、グループ通話制御部２０２、ノイズ推定部２０３、発話候補判定部２０４、発話性判定部２０５、音声データ送信部２０６、再生音声データ送信部２０７、通信部２０８、および近距離無線通信部２０９と同様の構成であるため、これらの詳細な説明については省略する。

録音データ記憶部１２１０は、携帯通信端末１２００と通信可能なヘッドセット１１００によって取得された音声データ（合成前の音声データ）を録音データとして一時的に記憶する。音声データ生成部１２１１は、録音データ記憶部１２１０に記憶された録音データに基づき、ヘッドセット１１００を使用するユーザーが発話した期間の音声を示す断片的な音声データを生成する。詳細は後述するが、音声データ生成部１２１１は、生成した断片的な音声データに、ユーザーＩＤと、発話の開始時間と、発話の終了時間とをメタデータとして付与する。なお、音声データ生成部１２１１によって生成される断片的な音声データについての詳細は後述する。表示部１２１２は、例えばタッチパネルディスプレイである。再生部１２１３は、例えば、音声データを再生するスピーカーである。

なお、実施形態４におけるヘッドセット１１００の構成を示すブロック図は、図４に示される実施形態１におけるヘッドセット２１のブロック図と同様である。具体的に、

図１６は、本発明の実施形態４におけるクラウドの構成を示すブロック図である。クラウド１３００は、ヘッドセット１１００を用いて行われた会話の音声データを提供する情報処理装置である。クラウド１３００は、通信部１３０１と、音声データ合成部１３０２と、音声データ記憶部１３０３とを備える。

通信部１３０１は、携帯通信端末１２００、コンピュータ１４００、および携帯通信端末１５００と通信する。音声データ合成部１３０２は、第１携帯通信端末１２００Ａおよび第２携帯通信端末１２００Ｂから受信した複数の断片的な音声データを合成することにより、合成音声データを生成する。なお、音声データ合成部１３０２によって生成される合成音声データの詳細については後述する。音声データ記憶部１３０３は、音声データ合成部１３０２によって生成された合成音声データを記憶する。

＜８．ヘッドセットと携帯通信端末との接続＞
図１７は、本発明の実施形態４におけるヘッドセット（イヤフォン）と携帯通信端末との接続状況を表示する接続状況表示画面を示す図である。図１７に示される接続状況表示画面は、携帯通信端末１２００の表示部１２１２に表示される。表示部１２１２には、携帯通信端末１２００に接続されるヘッドセット１１００を識別するための識別情報（図１７においては、“ｘｘｘｘｘｘ”）が表示される。携帯通信端末１２００とヘッドセット１１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて接続され、音声データに加えて各種制御データが送信される。

＜９．ログイン＞
図１８は、本発明の実施形態４における通信システムにログインする際に表示されるログイン画面を示す図である。ユーザーは、図１８に示されるログイン画面にログイン情報（テナントＩＤ、メールアドレス、およびパスワード）を入力することによって、通信システム１０００にログインすることができる。テナントＩＤは、テナントを識別するための記号であり、Ｎ桁の数字・文字等によって表される。

本通信システム１０００は、ビジネスユースを想定したクラウドサービスである。このため、ログイン画面には、テナント選択キー１２１４および共用ユーザログインキー１２１５が表示される。ユーザーがテナント選択キー１２１４を選択（タップ）すると、後述するテナント変更画面（図１９）が表示部１２１２に表示される。一方、ユーザーが共用ユーザログインキー１２１５を選択（タップ）すると、ログイン情報を入力することなく、ユーザーは共用ユーザーとしてログインすることができる。なお、管理者権限を有するユーザーによって共用ユーザーに提供されるコード情報（例えば、ＱＲコード（登録商標））を用いて、共用ユーザーを認証してもよい。共用ユーザーについての詳細は後述する。

図１９は、本発明の実施形態４におけるテナントを変更する際に表示されるテナント変更画面を示す図である。テナント変更画面には、テナントリスト１２１６と、新規テナント追加キー１２１８とが表示される。デフォルトで選択されるテナントＡには、チェックマーク１２１７が表示されている。また、ユーザーは、過去に選択したことのあるテナントＢ〜Ｅを、テナントリスト１２１６から再度選択することができる。

また、ユーザーは、新規テナント追加キー１２１８を選択（タップ）することにより、新規のテナントを追加することができる。ユーザーによってテナントが選択されると、図１８に示されるログイン画面が表示部１２１２に表示され、ログイン情報（ＩＤ、メールアドレス、パスワード）を入力することでログインすることができる。テナントにログインしたユーザーは、ルームへの参加が可能となる。ルームは、グループごとの通話を管理するための単位である。ルームは、管理者権限を有するユーザーによって作成および削除される。

＜１０．ルームへの参加およびルームの新設＞
図２０は、本発明の実施形態４におけるユーザーがルームに参加する際に表示されるルーム参加画面を示す図である。図２０に示されるルーム参加画面には、招待通知１２１９と、ルームキー入力領域１２２０と、ルーム参加キー１２２１と、ルーム参加履歴１２２２と、ルーム新設キー１２２３とが表示される。

招待通知１２１９は、他のユーザーからルームへの招待が届いた場合に、新着情報として表示される。招待は、ルームにユーザーを追加するための通知である。ユーザーは、招待通知１２１９を選択（タップ）することにより、招待されたルームに直接参加することができる。

ルームキー入力領域１２２０は、ルームを識別するためのルームキーがユーザーによって入力される領域である。ルームキーは、通話接続先を一意に定めるユニークなキーである。ユーザーは、ルームキーをルームキー入力領域１２２０に入力し、ルーム参加キー１２２１を選択（タップ）することにより、ルームに参加することができる。

ルーム参加履歴１２２２は、ユーザーが過去に参加したルームのリストである。ユーザーは、ルーム参加履歴１２２２に表示されたルームを選択（タップ）することにより、選択したルームに参加することができる。

ユーザーが、ルームを新設する権限を有するユーザーＩＤを用いてログインした場合は、ルーム参加画面の下部にルーム新設キー１２２３が表示される。ユーザーが、ルーム新設キー１２２３を選択（タップ）すると、ルーム新設画面（図２１）が表示部１２１２に表示される。

図２１は、本発明の実施形態４におけるユーザーがルームを新設する際に表示されるルーム新設画面を示す図である。図２１に示されるルーム新設画面には、ルーム名１２２４と、ルームキー１２２５と、ルームＵＲＬ１２２６と、メンバー招待キー１２２７とが表示される。

ルーム名１２２４は自動的に決定されるが、ユーザーによって変更されてもよい。ルームキー１２２５は、新設されたルームに参加するために必要な認証情報であり、例えば数字によって表される。ルームＵＲＬ１２２６は、新設されたルームのインターネット上における場所を特定するための情報である。メンバー招待キー１２２７は、ルームに招待するユーザーをメンバーリストから選択するための画面を表示させるためのキーである。

ルームを新設したユーザーは、ルームキーまたはルームＵＲＬを用いて他のユーザーをルームに招待することができるとともに、メンバーリストからルームに招待したい他のユーザーを選択することもできる。ルームを新設したユーザーは、ルームに招待したい他のユーザーに対して、メールでルームキーまたはルームＵＲＬを知らせてもよいし、口頭でルームキーまたはルームＵＲＬを知らせてもよい。一方、ユーザーが、メンバーリストから他のユーザーを選択すると、選択された他のユーザーが所有する携帯通信端末１２００にｐｕｓｈ通知が届き、図２０に示される招待通知１２１９が表示部１２１２に表示される。なお、図２０に示されるルーム参加履歴１２２２には、招待されたルームが表示される。このため、ルームに招待されたユーザーは、招待通知１２１９を見落とした場合であっても、ルーム参加履歴１２２２からルームに参加することができる。

＜１１．ルームにおける会話機能＞
図２２は、本発明の実施形態４におけるユーザーがルームに参加した際に表示される通話画面を示す図である。図２２に示される通話画面には、通話終了キー１２２８と、ルームメンバーキー１２２９と、通話キー１２３０と、録音キー１２３１と、プッシュ／ハンズフリー切り替えキー１２３２とが表示される。

ユーザーが通話終了キー１２２８をタップすると、ルームにおける通話が終了する。なお、ユーザーが通話終了キー１２２８をタップするのに代えて、通話終了キー１２２８をスワイプしたことに応じて、通話を終了してもよい。ルームにおける通話が終了する。ルームメンバーキー１２２９には、ユーザー名と、ルームに参加しているメンバー数（図２２の例においては、６名）が表示されている。ユーザーがルームメンバーキー１２２９を選択（タップ）すると、後述するルームメンバー画面（図２３）が表示部１２１２に表示される。

ユーザーが通話キー１２３０を選択（タップ）すると、通話キー１２３０のオン／オフが切り替わる。通話キー１２３０がオンの場合には、携帯通信端末１２００は、ヘッドセット１１００から取得した音声データをクラウド１３００に送信する。一方、通話キー１２３０がオフの場合には、携帯通信端末１２００は、ヘッドセット１１００から取得した音声データをクラウド１３００に送信しない。これにより、通話キー１２３０をオフにすることによって、ユーザーの発話が通信相手に聞かれないようにすることができる。なお、通話キー１２３０に代えて、ヘッドセット１１００のボタン１１１０を用いて、オン／オフを切り替えてもよい。

ユーザーが録音キー１２３１を選択（タップ）すると、ユーザーの発話に基づいて取得された音声データの録音が開始される。録音された音声データは、録音データとして録音データ記憶部１２１０に記憶される。また、ユーザーがプッシュ／ハンズフリー切り替えキー１２３２を上下方向にスワイプすることにより、プッシュとハンズフリーとを切り替えることができる。

図２３は、本発明の実施形態４におけるユーザーがルームメンバーを確認する際に表示されるルームメンバー画面を示す図である。ルームメンバー画面には、ルームに参加しているアクティブなメンバーのリストと、ルームから退出したメンバーのリストとが表示される。

なお、管理者権限を有するユーザーは、ルームメンバー画面に表示されたユーザーの一人を選択して、選択したユーザーを呼び出したり、ルームから外したりすることができる。例えば、管理者権限を有するユーザーは、ルームメンバー画面からユーザーＢの選択キー１２３３を選択（タップ）すると、ポップアップウィンドウ１２３４（図２４）が表示部１２１２に表示される。

図２４は、本発明の実施形態４におけるルームメンバー画面に表示されたポップアップウィンドウを示す図である。管理者権限を有するユーザーは、ポップアップウィンドウ１２３４から、ユーザーＢを呼び出すか、ルームから外すかを選択することができる。一方、管理者権限を有するユーザーは、キャンセルキー１２３５を選択（タップ）すると、ポップアップウィンドウ１２３４を閉じることができる。

＜１２．ユーザー設定画面＞
図２５は、本発明の実施形態４におけるユーザー設定画面を示す図である。図２５は、一例として、管理者権限を有するユーザー（マネージャーＡ）のユーザー設定画面を示している。ユーザー設定画面には、アカウント設定アイコン１２３６と、トーク設定アイコン１２３７と、管理画面選択キー１２３８とが表示される。

管理者権限を有するユーザーがアカウント設定アイコン１２３６を選択（タップ）すると、アカウント設定画面が表示部１２１２に表示される。管理者権限を有するユーザーは、アカウント設定画面において、パスワードおよびニックネームを変更することができる。

また、前述したように、管理者権限を有するユーザーの他に、一般ユーザーと、共用ユーザーとが存在する。一般ユーザーは、管理者権限を有するユーザーと同様に、アカウント設定画面において、パスワードおよびニックネームを変更することができる。一方、共用ユーザーは、アカウント設定画面において、ニックネームを変更することはできるものの、パスワードを変更することはできない。なお、上述したアカウント設定画面における設定内容は一例にすぎず、これに限られない。例えば、アカウント設定画面において、パスワードおよびニックネーム以外を設定できるようにしてもよい。また、共用ユーザーは、アカウント設定画面において、パスワードを変更できるようにしてもよい。

ユーザーがトーク設定アイコン１２３７を選択（タップ）すると、トーク設定画面が表示部１２１２に表示される。ユーザーは、トーク設定画面において、音量やノイズの抑制レベル等を変更することができる。なお、上述したトーク設定画面における設定内容は一例にすぎず、これに限られない。例えば、トーク設定画面において、音量やノイズおよび抑制レベル以外を設定できるようにしてもよい。

管理画面選択キー１２３８は、管理者権限を有するユーザーのユーザー設定画面には表示されるが、一般ユーザーのユーザー設定画面および共用ユーザーのユーザー設定画面には表示されない。管理者権限を有するユーザーが管理画面選択キー１２３８を選択（タップ）すると、管理画面が表示部１２１２に表示される。

＜１３．管理画面＞
図２６は、本発明の実施形態４におけるルームおよび録音に関する管理画面を示す図である。図２７は、本発明の実施形態４におけるユーザー属性に関する管理画面を示す図である。図２６および図２７は、一例として、コンピュータ１４００に接続された表示部１４１０に表示される管理画面１４１１を示しているが、携帯通信端末１２００の表示部１２１２にも、図２６および図２７と同様の管理画面が表示される。なお、図２６および図２７は、コンピュータ４００を用いてテナント管理者がログインした場合に、表示部１４１０に表示される管理画面１４１１の一例である。

図２６に示されるように、ルームおよび録音に関する管理画面には、テナント内の全ルームが一覧表示される。各ルームはルーム名で管理され、ルームごとに録音可能となっている。ルームおよび録音に関する管理画面には、ルーム名１４１２と、録音データ情報１４１３と、メンバー情報１４１４とが表示される。ルーム名は、会話が録音されたルームの名前である。録音データ情報１４１３は、録音データの件数と、録音データの容量を示す情報である。メンバー情報１４１４は、ルームに参加したメンバーに関する情報である。

また、図２７に示されるように、ユーザー属性に関する管理画面には、テナント内の全ユーザーが一覧表示される。ユーザーは、テナントごとに管理される。テナント管理者は、ユーザー属性に関する管理画面から、ユーザーに対する各種権限の付与、アカウントの変更、およびユーザーの招待等を行うことができる。図２７に示されるように、ユーザー属性に関する管理画面には、所属選択ウィンドウ１４１５が表示される。テナント管理者は、所属選択ウィンドウ１４１５において所属を選択することにより、各ユーザーの所属（グループ）を設定することができる。

テナント管理者は、ユーザーを組織内の所属（グループ）ごとに管理する。これにより、テナント管理者は、同一グループ内に分類されたユーザーの属性を一括で変更することができる。なお、テナント管理者は、ユーザーをグループごとに管理することとしたが、これに限られない。例えば、テナント管理者は、タグを各ユーザーに付与し、ユーザーをタグごとに管理してもよい。タグとは、ユーザーに付与されるメタ情報であり、ユーザーの招待や、ユーザーの検索等に用いられる情報である。

＜１４．ユーザーの追加＞
図２８は、本発明の実施形態４におけるユーザー追加ウィンドウを示す図である。ユーザー追加ウィンドウ１４１６は、管理者権限を有するユーザーまたは一般ユーザーをテナントに追加するための画面である。テナント管理者は、表示部１４１０に表示されるユーザー追加ウィンドウ１４１６に、ユーザーのメールアドレス、氏名、所属、および権限を入力することによって、ユーザーをテナントに追加することができる。

図２９は、本発明の実施形態４における共用ユーザー追加ウィンドウを示す図である。共用ユーザー追加ウィンドウ１４１７は、共用ユーザーをテナントに追加するための画面である。テナント管理者は、表示部１４１０に表示される共用ユーザー追加ウィンドウ１４１７に、共用デバイスのデバイス名および所属（店舗）を入力することによって、共用ユーザーをテナントに追加することができる。なお、共用デバイスは、複数の一時的な共用ユーザーによって利用される携帯通信端末である。テナント管理者は、一時的に共用ユーザーに貸与する携帯通信端末を、共用デバイスとして管理する。テナント管理者は、メールアドレス等を用いて共用ユーザーを特定できないため、共用ユーザーによって利用される共用デバイス自体を管理する。

ビジネス向けのクラウドサービスの多くにおいては、アカウントごとに費用が生じる。このため、テナント管理者は、課金対象となるアカウントの追加および削除を、管理画面において一括で管理する。図２８に示されるように、テナント管理者は、新規ユーザーのメールアドレスを入力する。コンピュータ１４００は、テナント管理者によって入力されたメールアドレスをクラウド１３００に送信する。クラウド１３００は、コンピュータ１４００から受信したメールアドレスに、本登録を行うための認証用メールを送付する。

これに対し、アルバイトやパートタイム等のユーザーの場合、メンバーの入れ替わりが発生しやすい。このため、メールアドレスを用いて、アルバイトやパートタイム等のユーザーのアカウントを管理するのは適切でない。そこで、クラウド１３００は、共用デバイスに関する情報のみを登録するものとする。なお、共用デバイスに対して、共用デバイスを管理するための共用デバイスＩＤが付与される。共用デバイスＩＤは、共用デバイスの識別情報である。

なお、テナント管理者は、共用ユーザーの自動ログアウト設定、共用ユーザーの作成、タグやユーザー基本データの管理、登録メールの再送、端末登録、端末除去、ユーザーデータの詳細表示等の操作を行うことができる。ここで、端末登録は、共用ユーザーと携帯通信端末１２００とを紐付けるための登録を意味する。端末除去は、共用ユーザーと携帯通信端末１２００との紐付けを解除することを意味する。端末除去が行われた携帯通信端末１２００は、別のユーザーアカウントと再度紐付け可能な状態となる。ユーザー基本データは、ユーザーの氏名（共用ユーザーの場合は、部署名等）、ニックネーム、タグ、アイコン等のデータである。

テナント管理者は、監査ログや、ユーザーアクティビティログや、ユーザーと紐付いた録音データのリストを、表示部１２１２または表示部１４１０に表示させることができる。監査ログは、ユーザーの追加、削除、ログイン記録等の、通信システム１０００の動作に関するログである。ユーザーアクティビティログは、ルームへの参加、ルームからの退出、ルームへの招待、ルームからの追い出し、録音、ルームの状態（例えば、非アクティブ状態等）を示す情報、およびデバイスを特定するための情報等のログである。また、テナント管理者は、ユーザーＩＤまたは時間を検索キーとして用いて、音声データの絞込検索を行うことができるとともに、検索結果を表示部１２１２または表示部１４１０に表示させることができる。

＜１５．会話の録音および再生＞
図３０は、本発明の実施形態４における録音データを一覧表示する録音データウィンドウを示す図である。図３０に示される録音データウィンドウは、録音データをダウンロードする際に表示部１４１０に表示される。録音データウィンドウに表示される録音データは、クラウド１３００の音声データ合成部１３０２によって生成された合成音声データである。ユーザーは、図３０に示される録音データウィンドウから録音データを選択（タップ）することにより、クラウド１３００から携帯通信端末１２００に録音データをダウンロードすることができる。携帯通信端末１２００の再生部１２１３は、ダウンロードした録音データを再生する。

携帯通信端末１２００は、管理者権限を有するユーザーが録音キー１２３１（図２２）を選択（タップ）したことに応じて録音を開始することとしたが、これに限られない。例えば、携帯通信端末１２００は、デフォルトで全ての会話を録音してもよい。また、携帯通信端末１２００は、特定のユーザーが参加するルームにおいては、デフォルトで会話を録音してもよい。管理者権限を有するユーザーは、ルームの作成時に録音の設定を変更してもよい。例えば、管理者権限を有するユーザーは、ユーザーの特性を勘案し、録音開始の条件を決定してもよい。なお、録音データ（音声データ合成部１３０２によって生成された合成音声データ）は、クラウド１３００の音声データ記憶部１３０３に記憶される。このため、録音データの容量が予め設定された上限に達した場合、クラウド１３００は、追加課金や他のデータの保存期間を変更する等の条件を、テナント管理者が所有するコンピュータ１４００や携帯通信端末１５００に通知してもよい。

＜１６．音声データの合成処理＞
図３１は、本発明の実施形態４における音声データの合成処理を示すシーケンス図である。本実施形態においては、第１携帯通信端末１２００Ａを所持するユーザーＡおよび第２携帯通信端末１２００Ｂを所持するユーザーＢの両方が、管理者権限を有し、ルーム内の録音開始を指示できることとする。なお、説明の簡易化のため、図３１はルームに参加しているユーザーの人数が２名である例を示しているが、ユーザーの人数は３名以上であってもよい。また、図３１は、録音キー１２３１（図２２）が選択（タップ）されたことに応じて録音を開始する例を示しているが、デフォルトで全ての会話を録音するように設定されていてもよい。

図３１において、第１携帯通信端末１２００Ａを所持するユーザーＡが、第２携帯通信端末１２００Ｂを所持するユーザーＢが参加しているルームに参加すると、第１携帯通信端末１２００Ａは、クラウド１３００に参加通知を送信する（ステップＳ１）。クラウド１３００は、第１携帯通信端末１２００Ａから参加通知を受信すると、ユーザーＡについての新規メンバー情報（例えば、ユーザーＩＤ）を、第２携帯通信端末１２００Ｂに送信する（ステップＳ２）。これによって、ルーム内において、ユーザーＡはユーザーＢと会話することができる。

ユーザーＡが録音キー１２３１（図２２）を選択（タップ）すると、第１携帯通信端末１２００Ａは、録音開始通知を第２携帯通信端末１２００Ｂに送信する（ステップＳ３）。これによって、第１携帯通信端末１２００Ａおよび第２携帯通信端末１２００Ｂは、音声データの録音を開始する。

第１ヘッドセット１１００Ａは、マイクを用いて取得した音声データを、第１携帯通信端末１２００Ａに送信する。第１携帯通信端末１２００Ａの音声データ生成部１２１１は、第１ヘッドセット１１００Ａから受信した音声データから、発話性判定部１２０５により人間の音声であると判定された部分の複数の断片的な音声データを生成する。この断片的な音声データは、ユーザーＡが発話した部分の音声データである。第１携帯通信端末１２００Ａは、この断片的な音声データを、クラウド１３００および第２携帯通信端末１２００Ｂを介して、第２ヘッドセット１１００Ｂに送信する。これによって、第２ヘッドセット１１００Ｂのスピーカーは、ユーザーＡが発話した部分の音声データのみを再生することができる。

また、第１携帯通信端末１２００Ａの録音データ記憶部１２１０は、第１携帯通信端末１２００Ａの音声データ生成部１２１１によって生成された複数の断片的な音声データを、録音データとして記憶する。なお、第１携帯通信端末１２００Ａの録音データ記憶部１２１０に記憶される断片的な音声データには、ユーザーＡのユーザーＩＤと、発話の開始時間と、発話の終了時間とがメタデータとして付与される。録音開始が指示される以前の音声データが第１携帯通信端末１２００Ａの録音データ記憶部１２１０に記憶されている場合、この音声データを録音データとして用いてもよい。

一方、第２ヘッドセット１１００Ｂは、マイクを用いて取得した音声データを、第２携帯通信端末１２００Ｂに送信する。第２携帯通信端末１２００Ｂの音声データ生成部１２１１は、第２ヘッドセット１１００Ｂから受信した音声データから、発話性判定部１２０５により人間の音声であると判定された部分の複数の断片的な音声データを生成する。この断片的な音声データは、ユーザーＢが発話した部分の音声データである。第２携帯通信端末１２００Ｂは、この断片的な音声データを、クラウド１３００および第１携帯通信端末１２００Ａを介して、第１ヘッドセット１１００Ａに送信する。これによって、第１ヘッドセット１１００Ａのスピーカーは、ユーザーＢが発話した部分の音声データのみを再生することができる。

また、第２携帯通信端末１２００Ｂの録音データ記憶部１２１０は、第２携帯通信端末１２００Ｂの音声データ生成部１２１１によって生成された複数の断片的な音声データを、録音データとして記憶する。なお、第２携帯通信端末１２００Ｂの録音データ記憶部１２１０に記憶される断片的な音声データには、ユーザーＢのユーザーＩＤと、発話開始時間と、発話終了時間とがメタデータとして付与される。録音開始が指示される以前の音声データが第２携帯通信端末１２００Ｂの録音データ記憶部１２１０に記憶されている場合、この音声データを録音データとして用いてもよい。

なお、第１携帯通信端末１２００Ａは、クラウド１３００を介して第２携帯通信端末１２００Ｂから受信したユーザーＢの音声データを第１ヘッドセット１１００Ａに送信するが、このユーザーＢの音声データを第１携帯通信端末１２００Ａの録音データ記憶部１２１０に記憶しない。また、第２携帯通信端末１２００Ｂは、クラウド１３００を介して第１携帯通信端末１２００Ａから受信したユーザーＡの音声データを第２ヘッドセット１１００Ｂに送信するが、このユーザーＡの音声データを第２携帯通信端末１２００Ｂの録音データ記憶部１２１０に記憶しない。

ユーザーＡは、通話終了キー１２２８（図２２）をタップすることによって、ルームから退出する。ユーザーＡがルームから退出すると、第１携帯通信端末１２００Ａは、音声データの録音を終了する。ユーザーＡがルームから退出してから所定時間が経過した後、第１携帯通信端末１２００Ａは、録音データ記憶部１２１０に記憶された複数の断片的な音声データを読み出し、クラウド１３００に送信する（ステップＳ４）。

一方、ユーザーＢは、通話終了キー１２２８（図２２）をタップすることによって、ルームから退出する。ユーザーＢがルームから退出すると、第２携帯通信端末１２００Ｂは、音声データの録音を終了する。ユーザーＢがルームから退出してから所定時間が経過した後、第２携帯通信端末１２００Ｂは、録音データ記憶部１２１０に記憶された複数の断片的な音声データを読み出し、クラウド１３００に送信する（ステップＳ５）。

なお、図３１に示されるシーケンス図においては、携帯通信端末１２００が音声データをバッファリングし、ユーザーがルームアウトしたときに音声データをクラウド１３００に送り、クラウド１３００が録音データの合成を行うこととしたが、これに限られない。例えば、クラウド１３００は、携帯通信端末１２００から録音開始通知を受信すると、その後携帯通信端末１２００から受信した音声データの保存を開始してもよい。つまり、携帯通信端末１２００が音声データをバッファリングするのではなく、会話をしている間は常にクラウド１３００が音声データを蓄積してもよい。また、全ユーザーがルームアウト（または、録音を停止）したときに、クラウド１３００は、音声データに付与されたタイムスタンプ（発話開始時間および発話終了時間）を用いて合成音声データを生成してもよい。

図３２は、本発明の実施形態４におけるクラウドが受信した複数の断片的な音声データを示す図である。図３２において、ユーザーＡのユーザーＩＤは“ＩＤ００１”であり、ユーザーＢのユーザーＩＤは“ＩＤ００２”であることとする。図３２において、音声データＡ、音声データＣ、および音声データＥは、第１携帯通信端末１２００Ａから受信した複数の断片的な音声データ（ユーザーＡの音声データ）であり、音声データＢ、音声データＤ、および音声データＦは、第２携帯通信端末１２００Ｂから受信した複数の断片的な音声データ（ユーザーＢの音声データ）である。

音声データＡ、音声データＣ、および音声データＥには、それぞれ、メタデータＤ１、メタデータＤ３、およびメタデータＤ５が付与されている。また、音声データＢ、音声データＤ、および音声データＦには、それぞれ、メタデータＤ２、メタデータＤ４、およびメタデータＤ６が付与されている。メタデータＤ１〜Ｄ６には、ユーザーＩＤと、発話開始時間と、発話終了時間とが含まれる。クラウド１３００の音声データ合成部１３０２は、メタデータに含まれる発話開始時間および発話終了時間に基づいて複数の断片的な音声データを合成することにより、合成音声データを生成する。音声データ合成部１３０２によって生成された合成音声データは、ルームにおける会話内容が録音された録音データである。音声データ記憶部１３０３は、音声データ合成部１３０２によって生成された合成音声データを、録音データとして所定期間（例えば、６ヶ月）記憶する。

前述したように、管理者権限を有するユーザーは、図３０に示される録音データウィンドウから録音データを選択することにより、クラウド１３００の音声データ記憶部１３０３に記憶された録音データをダウンロードすることができる。

本発明の実施形態４によれば、ユーザーが発話した部分のみの音声データを抽出することにより、音声データのサイズを小さくすることができ、通信システム１０００内におけるデータの通信量を低減することができる。また、クラウド１３００は、全ての発話内容を合成するのではなく、特定のユーザーの音声のみを取り出すことで、ディクテーション・テキストを生成してもよい。これによって、会話データの元データとして各ユーザーに紐付けられた音声のみを取り出すことができる。

なお、クラウド１３００の音声データ合成部１３０２は、合成音声データ（会話ファイル）を生成する際、各ユーザーの音声データの発話タイミングを調整して、各ユーザーの音声が重ならないようにしてもよい。これによって、各ユーザーの会話を聞き取りやすくすることができる。また、クラウド１３００は、ユーザーごとの音声データを、音声認識に利用してもよい。更に、クラウド１３００は、ユーザーＩＤを検索キーとして用いて、合成音声データを検索してもよい。これによって、ルーム内の会話に参加しているユーザーを効率的に特定することができる。

なお、実施形態４において、携帯通信端末１２００の各機能を実行するためのプログラムは、携帯通信端末１２００内のメモリに記憶されている。携帯通信端末１２００内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。また、ヘッドセット１１００の各機能を実行するためのプログラムは、ヘッドセット１１００内のメモリに記憶されている。ヘッドセット１１００内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。

また、実施形態４において、クラウド１３００の各機能を実行するためのプログラムは、クラウド１３００内のメモリに記憶されている。クラウド１３００内のＣＰＵは、メモリからプログラムを読み出して実行することにより、上記の各機能を実行することができる。

なお、実施形態４において、ヘッドセット１１００の機能の一部を、携帯通信端末１２００に設けてもよい。例えば、携帯通信端末１２００は、ヘッドセット１１００に代えて、図４に記載の発話強調部２１２を備えてもよい。また、実施形態４において、携帯通信端末１２００の機能の一部を、ヘッドセット１１００に設けてもよい。例えば、ヘッドセット１１００は、携帯通信端末１２００に代えて、図１５に記載のグループ通話管理部１２０１、グループ通話制御部１２０２、ノイズ推定部１２０３、発話候補判定部１２０４、発話性判定部１２０５、および音声データ送信部１２０６、録音データ記憶部１２１０、および音声データ生成部１２１１の全てまたは一部を備えてもよい。

また、実施形態４において、ヘッドセット１１００および携帯通信端末１２００の機能の一部を、クラウド１３００に設けてもよい。例えば、クラウド１３００は、ヘッドセット１１００に代えて、図４に記載の発話強調部２１２を備えてもよい。また、クラウド１３００は、携帯通信端末１２００に代えて、図１５に記載のグループ通話管理部１２０１、グループ通話制御部１２０２、ノイズ推定部１２０３、発話候補判定部１２０４、発話性判定部１２０５、音声データ送信部１２０６、録音データ記憶部１２１０、および音声データ生成部１２１１の全てまたは一部を備えてもよい。

以上説明したように、本発明の実施形態４によれば、第１携帯通信端末１２００Ａから断片的な第１音声データを取得する第１取得ステップと、第１携帯通信端末１２００Ａと同じ通話グループに属する第２携帯通信端末１２００Ｂから断片的な第２音声データを取得する第２取得ステップと、第１音声データと第２音声データとを合成して合成音声データを生成する生成ステップと、合成音声データを再生可能に提供する提供ステップと、を有するサービス提供方法を実現することができる。

また、本発明の実施形態４によれば、上記のサービス提供方法を実行するクラウド１３００を実現することができる。

また、本発明の実施形態４によれば、情報処理装置によって実行されることにより、上記のサービス提供方法を実行するプログラムを実現することができる。

また、本発明の実施形態４によれば、上記のプログラムが記録された記録媒体を実現することができる。

また、本発明の実施形態４によれば、上記のクラウド１３００に接続可能な携帯通信端末１２００であって、複数の断片的な音声データが合成された合成音声データをクラウド１３００から受信する通信部１２０８と、通信部１２０８により受信された合成音声データを再生する再生部１２１３と、を有する携帯通信端末１２００を提供することができる。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ サーバ
２ クライアント
１０ ＡＰＩサーバ
１１ ＶｏＩＰサーバ
２０ 携帯通信端末
２１ ヘッドセット
１００ 通話確立制御部
１１０ 通話品質制御部
１２０ クライアント管理部
１３０ サーバ管理部
１４０ 通話グループ管理部
２０１ グループ通話管理部
２０２ グループ通話制御部
２０３ ノイズ推定部
２０４ 発話候補判定部
２０５ 発話性判定部
２０６ 音声データ送信部
２０７ 再生音声データ送信部
２０８ 通信部
２０９ 近距離無線通信部
２１１ 音声検知部
２１２ 発話強調部
２１３ 再生制御部
２１６ 近距離無線通信部
３００ 通信システム
１０００ 通信システム
１１００Ａ 第１ヘッドセット
１１００Ｂ 第２ヘッドセット
１２００Ａ 第１携帯通信端末
１２００Ｂ 第２携帯通信端末
１２０１ グループ通話管理部
１２０２ グループ通話制御部
１２０３ ノイズ推定部
１２０４ 発話候補判定部
１２０５ 発話性判定部
１２０６ 音声データ送信部
１２０７ 再生音声データ送信部
１２０８ 通信部
１２０９ 近距離無線通信部
１２１０ 録音データ記憶部
１２１１ 音声データ生成部
１２１２ 表示部
１３００ クラウド
１３０１ 通信部
１３０２ 音声データ合成部
１３０３ 音声データ記憶部
１４００ コンピュータ
１４１０ 表示部
１５００ 携帯通信端末

Claims (2)

1. 複数のクライアントの間でＶｏＩＰサーバを介したグループ通話を行う通信システムにおいて、
   前記グループ通話を管理するＡＰＩサーバを備え、
   前記複数のクライアントの内の各クライアントはそれぞれ携帯通信網を介して通信する携帯通信端末と、該携帯通信端末との間で近距離無線通信により音声データをやり取りするヘッドセットとを備え、
   前記ヘッドセットは、
   音声を検知する音声検知部と、
   前記音声検知部が検知した音声に含まれる発話部分を環境音に対して相対的に強調する発話強調部と、
   前記携帯通信端末から受信した音声データを、該音声データの発話部分において前記音声検知部が検知した音声を周辺騒音に対して相対的に聞き取りやすくなるように再生する再生制御部と、
   を備え、
   前記携帯通信端末は、
   前記ヘッドセットから受信した音声データに含まれるノイズを推定するノイズ推定部と、
   前記ノイズ推定部による推定の結果に基づいて、前記音声データから発話部分の候補となる範囲を判定する発話候補判定部と、
   前記発話候補判定部が判定した前記音声データの発話部分の候補となる範囲から人間の音声である部分を判定する発話性判定部と、
   前記発話性判定部により人間の音声であると判定された前記音声データの部分を前記ＶｏＩＰサーバへと送信する音声データ送信部と、
   前記ＶｏＩＰサーバから受信した音声データを前記ヘッドセットへと送信する再生音声データ送信部と、
   を備え、
   前記ＡＰＩサーバは、
   前記各クライアントと、前記ＶｏＩＰサーバとの通信状況に基づいて、前記グループ通話の通信品質の制御に係る指令を前記各クライアント及び前記ＶｏＩＰサーバへと通知する通信品質制御部を備え、
   前記音声データ送信部は、前記通信品質制御部から通知された指令に基づいた通信品質で前記発話性判定部により人間の音声であると判定された前記音声データの部分をエンコードして前記ＶｏＩＰサーバへと送信する、
   ことを特徴とする通信システム。
2. 請求項１に記載の通信システムに用いられる携帯通信端末であって、
   前記ヘッドセットから受信した音声データに含まれるノイズを推定するノイズ推定部と、
   前記ノイズ推定部による推定の結果に基づいて、前記音声データから発話部分の候補となる範囲を判定する発話候補判定部と、
   前記発話候補判定部が判定した前記音声データの発話部分の候補となる範囲から人間の音声である部分を判定する発話性判定部と、
   前記発話性判定部により人間の音声であると判定された前記音声データの部分を前記ＶｏＩＰサーバへと送信する音声データ送信部と、
   前記ＶｏＩＰサーバから受信した音声データを前記ヘッドセットへと送信する再生音声データ送信部と、
   を備えた携帯通信端末。

Images