JP6813176B2

JP6813176B2 - 音声抑制システム及び音声抑制装置

Info

Publication number: JP6813176B2
Application number: JP2016203591A
Authority: JP
Inventors: 幸信横田; 隼人新
Original assignee: INNOVATION LABORATORY, INC.
Current assignee: INNOVATION LABORATORY, INC.
Priority date: 2016-10-17
Filing date: 2016-10-17
Publication date: 2021-01-13
Anticipated expiration: 2036-10-17
Also published as: JP2018066780A

Description

本発明は、本発明は、音声抑制装置に関し、例えば、車内（電車、車の中）や室内の人の話し声の内容などを隣の人や周辺の人に対して聞き取り難くして話の内容を保護できるようにした音声抑制システム及び音声抑制装置に関する。

近年、スマートフォンのような携帯電話機の普及に伴い、スマートフォンにヘッドセットを接続して通話するというスタイルが一般的となりつつある。一方、屋内外には様々な騒音や環境音が存在しており、ユーザの耳に入るそれら騒音や環境音を低減させるためのノイズキャンセリング機能を搭載したノイズキャンセリングヘッドフォンが実用化されている。

ノイズキャンセリングヘッドフォンとしては、例えばフィードバック方式が知られている。この方式は、ヘッドフォンの内部にマイクロフォン（以下、「マイク」と呼ぶ。）を設置し、マイクで騒音として集音したノイズ信号の位相を反転した逆位相の信号を生成する。そして、この騒音に対して逆位相となるノイズキャンセル信号をヘッドフォンのドライバーユニットに供給することにより、ユーザに対して聞こえる騒音を低減させることができるようにされている。

例えば、特許文献１には、ユーザの耳に装着される音響管内においてイヤホンユニットの近傍に設けたマイクロホンユニットにより収音した音響管内部の騒音（ノイズ）を位相反転させた音声信号を生成し、これをイヤホンユニットから音として出力させることにより、ユーザの耳に入る外部ノイズを低減させるようにした構成、つまり、フィードバック方式に対応したノイズキャンセリングシステムの構成が記載されている。

特開平３−２１４８９２号公報

ところで、近年スマートフォンのような携帯電話機で屋内外を問わず第三者と電話で会話する機会が増加しているが、通話内容を他人に聞かれたくない場合が多い。一方で、そのユーザの周囲の人も、電話で会話している音声を非常に迷惑に感じる。そのために、電車の車両内や喫茶店内で、携帯電話による音声通話を禁止している場合も多い。

この場合、屋外では話し声を聞かれたくない場合には自分の声を小さくするか、手を口に当てて話す必要がある。屋内であれば防音装置や消音設備を導入することもできるが、コストがかかってしまう。

これに対し、本願の発明者らは、ユーザ自身の発話音声が周囲に漏れず、他人に聞き取れない程度に抑制することはできないかと考えた。これによって、ユーザは、周辺環境を気にすることなく、スマートフォンを用いて通話することができる。

そこで、本発明は、ユーザ自身の発話音声が周囲に漏れず、他人に聞き取れない程度に抑圧することができる音声抑制システム及び音声抑制装置を提供することを目的とする。

上述した課題を解決するために、本発明の音声抑制システムは、発話音声を抑制する音声抑制システムであって、発話者の耳元に配置されたスピーカと、発話者の口元周辺に配置され、口の動きの画像を取得する画像取得手段と、自己の音声により発話したいときに用いられ、発話音源に向かう方向に指向性を有し、自己の音声信号を入力する第１のマイクとを備えた送受話装置と、画像取得手段により取得された画像に基づいて口の動きに対応する音声信号を生成する生成手段と、生成された音声信号を相手側携帯端末に送信する送信手段とを備えた携帯端末とを有し、相手側携帯端末から送信された受話信号が携帯端末を介して前記スピーカに入力され、第１のマイクと画像取得手段は所定間隔離れて配置され、第１のマイクから取得された音声が所定の音量以上である場合、送信手段は発話者に対して警告音を送信して注意を促すことを特徴とする。

また、携帯端末は、画像取得手段により取得された前記画像に基づいて、口の動きに対応する文字を抽出する文字抽出部と、文字抽出部により抽出された文字に対応する音声信号を生成する音声生成部とを更に有し、送信手段は、生成された音声信号を相手側携帯端末に送信し、音声生成部は、あらかじめ記憶部に記憶された発話者の文章や単語に基づいてアクセント又はイントネーションのついた音声信号として生成することを特徴とする。

ここで、送受話装置と携帯端末との間の無線接続は、Ｂｌｕｅｔｏｏｔｈ(登録商標)規格に準拠するようにしてもよい。

また、スピーカは耳を収容するハウジング内に配置され、ハウジングには口元まで延在する屈曲自在なアームが形成され、アームの表面であって口元の周辺に画像取得手段が装着されるようにすることが好ましい。

また、スピーカ周辺の音と受話信号を検出する第２のマイクと、第２のマイクで検出された信号と受話信号の差分信号を位相反転させた信号を生成し、スピーカに入力する信号処理手段とを有するようにしてもよい。

上述した課題を解決するために、本発明の音声抑制装置は、発話音声を抑制する音声抑制装置であって、発話者の耳元に配置されたスピーカと、発話者の口元周辺に配置され、口の動きの画像を取得する画像取得手段と、自己の音声により発話したいときに用いられ、発話音源に向かう方向に指向性を有し、自己の音声信号を入力するマイクと、画像取得手段により取得された画像に基づいて口の動きに対応する音声信号を生成する生成手段と、生成された音声信号を相手側の通話端末に送信する音声通信手段とを有し、相手側の通話端末からの受話信号が音声通信手段を介してスピーカに入力され、マイクと画像取得手段は所定間隔離れて配置され、マイクから取得された音声が所定の音量以上である場合、音声通信手段は発話者に対して警告音を送信して注意を促すことを特徴とする。

また、画像取得手段により取得された画像に基づいて前記口の動きに対応する文字を抽出する文字抽出部と、文字抽出部により抽出された文字を用いて音声信号を生成する音声生成部とを更に有し、音声生成部は、あらかじめ記憶部に記憶された発話者の文章や単語に基づいてアクセント又はイントネーションのついた音声信号として生成することを特徴とする。

本発明によれば、ユーザ自身の発話音声を周囲に漏らさず、他人に聞き取れない程度に抑制することができる。

本発明にかかる音声抑制システムの一実施の形態を模式的に示した図である。音声抑制システムの構成を示す図である。携帯端末装置の機能を実現するコンピューターのハードウェア構成例を示す図である。制御部の構成例を示す図である。読唇通信における連続通話処理の流れを示すフローチャートである。読唇処理手順の概要を示す図である。本発明にかかる音声抑制装置の一実施の形態を模式的に示した図である。

［音声抑制システムの一実施の形態（第１の実施の形態）］
以下、本発明にかかる音声抑制システムの一実施の形態について図面を参照しながら説明する。

図１は、本発明にかかる音声抑制システムを模式的に示した図である。図２は音声抑制システムの構成を示す図である。音声抑制システム１は、送受話装置２と、送受話装置２に通信ネットワークを介して接続される携帯端末装置１０とを備えて構成されている。本実施の形態では送受話装置２としてヘッドセットタイプのものを例に挙げて説明する。

送受話装置（以下、「ヘッドセット」と呼ぶ。）２は、本実施の形態では人の頭部（後頭部又は耳部）に着脱可能な耳かけタイプのヘッドセット（図１参照）である。ヘッドセット２は、受話信号や音楽等が出力されるスピーカ１５を内蔵したハウジング部４と、ハウジング部４に連結され屈曲自在なアーム部３とを有して構成される。また、ヘッドセット２は発話者の送話信号（以下、「発話信号」と呼ぶ。）Ｓ１及び通話先の携帯端末装置１００からの受話信号Ｓ２の通信制御を行う通信部１３を、装置内に内蔵している。そしてヘッドセット２は、アーム部３の中央から先端までの間であって発話者の口元周辺位置に送話マイク１１とカメラユニット（撮像装置：画像取得手段）８を装着している。本発明にかかる音声抑制システム１においては、ヘッドセット２のアーム部３の口元周辺に対応する位置に装着されたカメラユニット８によって発話者の唇の動きが撮像され、その撮像された映像信号（動画）が入出力Ｉ／Ｆ２０（２１）を介して携帯端末装置１０を構成する制御部３０内の通信部１４０に送出される。ヘッドセット２と通信可能な携帯端末装置１０内の後述する読唇エンジンによって該唇の動きに対応した発話内容が読み取られ、テキストデータとして抽出される（読唇機能）。そして音声抑制システム１においては、さらに読唇機能によって読み取られた発話内容（テキストデータ）が音声変換され、変換された音声が通話先の携帯端末装置１００に送信される。したがって、音声抑制システム１は、小さな声若しくは全く声を出さずに唇だけを動かすことによって通話先の相手と通話することができるので、発話者が通話内容を他人に聞かれたくない場合には自身の発話音声の抑制がされる。

図１のヘッドセットは、左の耳介に引っかけて固定されるものであるが、後頭部又は後頸部に装着されるいわゆる「ヘッドバンド（ヘッドホン型）」と呼ばれるタイプのものであってもよい。その他のヘッドセットとしては、いわゆる「カナル型」と呼ばれる耳の穴の中に深く挿し込んで使用するイヤホンタイプのものや、いわゆる「インナーイヤー」と呼ばれる耳の穴付近にかけて使用するタイプで、耳の形状に合うように設計されているタイプのものや、いわゆる「ネックバンド」と呼ばれるヘッドバンドが頭の後ろから首にかけたあたりに位置するように設計されているタイプのものであってもよい。また、ハンドセットのタイプでも適用可能である。なお、「カナル型」と「インナーイヤー」については、イヤホンからアーム部を取り付けることはできないので、イヤホン部から延びるコードに接続され送話マイクとカメラユニットを備えた略棒状の筐体を手に持ったままそれを口元周辺に持っていって使用する。

携帯端末装置１０は、入出力インターフェース（以下、「入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）」と呼ぶ。）２０（２１）と、制御部３０と、記憶部４０とを備える。制御部３０は、発話者の携帯端末装置（以下、「本携帯端末装置」と呼ぶ。）１０における読唇機能に基づく通信を制御する。なお、以降の説明では、入出力Ｉ／Ｆを入力Ｉ／Ｆ２０と出力Ｉ／Ｆ２１に分けて呼ぶことがある。記憶部４０は、読唇機能に基づく通信に必要な情報、例えば後述する読唇エンジン（アプリケーション）に用いられる辞書情報等を記憶する。この読唇エンジンに用いられる辞書情報等は、専用のＲＯＭに格納されても良いし、ＲＡＭに格納されて必要があればアップデートしても良い

図３は、携帯端末装置１０の機能を実現するコンピューターのハードウェア構成例を示す図である。携帯端末装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）６０、補助記憶装置７０、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）８０、メモリ６５、入力Ｉ／Ｆ２０、出力Ｉ／Ｆ２１を備える。入力Ｉ／Ｆ２０にはカメラユニット８が接続され、出力Ｉ／Ｆ２１にはタッチパネル５０が接続される。各構成要素はバスにより接続されている。

ＣＰＵ６０は、メモリ６５又は補助記憶装置７０に記録されたプログラムに従って処理を実行する。後述する制御部３０を構成する各部（図４参照）は、ＣＰＵ６０がプログラムを実行することにより各々の機能が実現される。

補助記憶装置７０は、例えばＮＡＮＤ型フラッシュメモリなどのストレージやＳＤＤ、マイクロＳＤ等の書き込み及び読み出し可能な記憶メディア及び記憶メディア駆動装置等である。ネットワークＩ／Ｆ８０は、携帯端末装置１０をネットワークに接続するためのインターフェースである。

メモリ６５は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）又はフラッシュメモリ等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。入力Ｉ／Ｆ２０は、各入力装置を携帯端末装置１０に接続するためのインターフェースである。出力Ｉ／Ｆ２１は、表示装置等の各出力装置を携帯端末装置１０に接続するためのインターフェースである。

カメラユニット８は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等のセンサを用いた撮像素子で撮像した映像をデジタルデータとして取得する。なお、カメラユニット８は、動画の撮影が可能である。ＣＰＵ６０は、このデジタルデータを入力Ｉ／Ｆ２０を介してメモリ６５又は補助記憶装置７０に記録する。タッチパネル５０は、入力装置と出力装置とを兼ね備えた装置であって、入力Ｉ／Ｆ２０と出力Ｉ／Ｆ２１とに接続される。タッチパネル５０は、例えば静電容量方式のセンサと、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）等を表示する液晶ディスプレイとからなる装置である。

記憶部４０は、メモリ６５又は補助記憶装置７０によりその機能が実現される。また、記憶部４０は、ネットワーク上の記憶装置（図示しない）によってその機能が実現されてもよい。

なお、携帯端末装置１０の各構成要素の処理は、本実施例においてはＣＰＵ６０によって実施されるが、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、携帯端末装置１０の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現さてもよい。例えば、本発明においては、読唇エンジンが携帯端末装置１０にあるが、制御部３１内にあっても良い。

［制御部の各構成部の機能］
以下、制御部３０の各構成部の機能について図４を参照して説明する。図４は、制御部３０の構成例を示す図である。

制御部３０は、文字抽出部１１０と、音声生成部１２０と、表示部１３０と、通信部１４０と、入力部１５０と、音声取得部１６０とを備える。

文字抽出部１１０は、カメラユニット８から取得された画像から文字を抽出する。取得された画像は、発話者の口元の画像であって、発話者が発話のために唇を動かす様子が撮影された画像である。取得される画像は、実際に声を発した状態の画像であっても、声を発せずに口だけを動かした画像であってもよい。以下、発話とは、発声の有無に関わらず口を動かした状態を示す。

唇の動きから文字を抽出する処理には、例えば唇の所定の部分に座標を付し、移動量に基づいて文字を判定するなど、公知の方法が用いられる。

音声生成部１２０は、文字から音声データを生成する。文字から音声データを生成する処理については、公知の技術を用いるため、ここでは詳述しない。表示部１３０は、読唇画面等の表示画面を表示装置に対して表示させる。この表示画面には、カメラユニット８により取得された画像や、文字抽出部１１０により抽出された文字を示すテキストが含まれる。

通信部１４０は、携帯端末装置１０と他の通信機器（電話等）との通信及び通話を制御する。具体的には、通信部１４０は、入力操作に基づいて他の通信機器（電話等）に対して発信を行う。また、通信部１４０は、他の通信機器（電話）からの通信を着信する。

入力部１５０は、タッチパネル等の入力装置を用いた入力処理を制御する。例えば入力部１５０は、文字抽出部１１０により抽出された文字の訂正の入力を受け付ける。
＜読唇通信における通話処理の内容＞
以下、読唇通信における通話処理の内容を、図５を参照して説明する。図５は、読唇通信における連続通話処理の流れを示すフローチャートである。まず、携帯端末装置１０のタッチパネル５０に発信画面を表示させ、通話先の電話番号の入力と発信ボタンの選択を促す（ステップＳ１０１）。

次に、通信部１４０は、選択された電話番号の通話先に対して発信する（ステップＳ１０２）。

次に、通信部１４０は、通話先との通話を開始する（ステップＳ１０３）。なお、通話を開始するのは、通話先が発信に対して応答し、通信が確立した場合である。通話先が応答しない場合は通話処理が終了する。

次に、カメラユニット８が画像の取得を開始する（ステップＳ１０４）。カメラユニット８は、通話先との通話が終了するまで画像の取得処理を継続する。

次に、通信部１４０は、接続の切断指示を受け付けたか否かを判定する（ステップＳ１０５）。

通信部１４０が、接続の切断指示を受け付けたと判定しない場合（ステップＳ１０５で「ＮＯ」の場合）、文字抽出部１１０は、カメラユニット８により取得された画像を参照し、話者の唇の動きを検出したか否かを判定する（ステップＳ１０６）。

文字抽出部１１０が、話者の唇の動きを検出した場合（ステップＳ１０６で「ＹＥＳ」の場合）、文字抽出部１１０は、画像から文字を抽出し、テキストデータを生成する（ステップＳ１０７）。

次に、文字抽出部１１０は、生成したテキストデータを保存する（ステップＳ１０８）。テキストデータは、記憶部４０の中の図示しないテキストデータ記憶領域に記憶される。

次に、音声生成部１２０は、文字抽出部１１０が生成したテキストデータに基づいて音声を生成する（ステップＳ１０９）。この時、単にテキストデータに基づいて音声を生成するだけだと、アクセントやイントネーションが無い発話になり、聴いている側としては著しいストレスを感じることになる。そこで記憶部４０にあらかじめ発話者の文章や単語を記憶しておき、それを元に音声を生成することによって、アクセントやイントネーションのついた音声として生成可能である。なお、記憶部４０に予め記憶される発話者の文章や単語は、ユーザに所定の単語や文章を発音してもらってその結果を記録しても良いし、発話者の過去の通話履歴の記憶などから蓄積するなどの方法でも構わない。なお、ステップＳ１０８〜ステップＳ１０９の処理については、本フローチャートの順序に限定されない。

次に、通信部１４０は、ステップＳ１０９で生成された音声を通話先に送信する（ステップＳ１１０）。

次に、文字抽出部１１０は、所定時間以上唇の動きが停止したか否かを判定する（ステップＳ１１１）。
文字抽出部１１０が、所定時間以上唇の動きが停止したと判定した場合（ステップＳ１１１で「ＹＥＳ」の場合）、文字抽出部１１０は処理をステップＳ１０５に戻す。文字抽出部１１０が、所定時間以上唇の動きが停止したと判定しない場合（ステップＳ１１１で「ＮＯ」の場合）、文字抽出部１１０は処理をステップＳ１０７に戻し、再度文字抽出処理を行う。

通信部１４０が、接続の切断指示を受け付けたと判定した場合（ステップＳ１０５で「ＹＥＳ」の場合）、通信部１４０は、接続を切断する（ステップＳ１１２）。通信部１４０は、その後本フローチャートの処理を終了する。

＜文字抽出処理の方法＞
上記した文字抽出処理の方法について、特に文字抽出の対象となる辞書情報と、読唇処理での辞書情報の使用方法について図６を参照して説明する。図６は読唇処理手順の概要を示す図である。

辞書情報２００には、例えば、それぞれ１つの単語に対応するレコード２０１が登録される。各レコード２０１には、単語を示すテキスト情報（または単語の識別情報）に対して、その単語を発音したときの口領域が撮影された動画像が対応付けて登録される。また、１つのレコード２０１には複数の動画像を対応付けて登録しておくことができる。例えば、図６の例のように単語「おはよう」に対して、“おはよう”と発音したときの口領域の動画像Ａ，Ｂ，Ｃを対応付けて登録をしておく。例えば、同じ単語を異なる人が発音したときの口領域が撮影された動画像Ａ，Ｂ，Ｃを、１つのレコード２０１に登録する。また、例えば、同じ単語を同じ人が発音したときの口領域を、それぞれ異なる角度から撮影することで得られた動画像Ａ，Ｂ，Ｃを、１つのレコード２０１に登録することも可能である。本動画像の登録方法は、ユーザに所定の単語や文章を発音してもらってその結果を記録してもよいし、発話者の過去の通話履歴の記憶などから蓄積するなどの方法でも構わない。

読唇エンジン２１０は、例えば、辞書情報２００を用いて次のような読唇処理を行う。読唇エンジン２１０には、カメラユニット８で取得された処理対象の動画像２２１が入力される。処理対象の動画像２２１には、未知の人の口領域が映っている。読唇エンジン２１０は、処理対象の動画像２２１における口領域の画像と、辞書情報２００に登録されている動画像とのマッチングを行い、類似度を計算する。そして、読唇エンジン２１０は、辞書情報２００の動画像のうち、類似度が最も高い動画像を判定し、判定した動画像に対応付けられている単語のテキスト情報を、処理対象の動画像２２１に映った人が発話した内容の推定結果２２２として出力する。

このように、辞書情報２００において、１つの単語に対して多くの動画像を対応付けておき、それらの動画像を読唇処理のマッチングに利用することで、読唇精度を向上させることができる。

音声取得部１６０は、ヘッドセット２の送話マイク１１を介して入力された発話者の声を含む周辺音声を取得する。音声取得部１６０により取得された音声が所定の音量以上である場合、通信部１４０は発話者に警告音を送信して注意を促す。ここで、所定の音量以上とは発話者の発話内容が周囲に認識できる程度の音量をいう。

なお、上記した実施の形態では、送話マイクへの発話音量を自ら低減するように制御する必要があるが、発話内容の秘匿性を重んじないような通話環境にある場合や、通話において他人に聞かれてもよい発話内容である場合には読唇機能を停止し、上記した発話者自身の音量低減制御をする必要がないことはいうまでもない。

＜第１の実施の形態の効果＞
本実施の形態では、カメラユニット８が発話者の口元の画像を取得し、文字抽出部１１０により口元の画像から文字が抽出され、音声生成部１２０により文字から音声が生成される。通信部１４０は生成された音声を通話先に送信する。これにより、例え発話者が発声しなくとも、発話者が口の動きで示した文字を通話先に伝えることができるので、発話者自身の発話音声が周囲に漏れず、又は他人に聞き取れない程度の音量で発話することができるので、周辺環境を気にすることなく通話することができる。

また、発話者の発話内容が周囲に認識できる程度の音量以上になった場合、発話者に警告音が送信されるので、注意を促された発話者は自身の発話音声の音量を自ら制御することができ、発話音声の抑制を確実に行うことができる。

［音声抑制装置の一実施の形態（第２の実施の形態）］
以下、本発明に係る音声抑制装置の一実施の形態について図７を参照しながら説明する。

図７は、音声抑制装置３００の構成を示した図である。上記した第１の実施の形態と異なる部分のみ説明し、同様な部分については説明を省略する。上記した第１の実施の形態に係る音声抑制システム１は、ヘッドセット２と携帯端末装置１０を備えて構成されており、文字抽出、音声変換等の処理は携帯端末装置側で行われるものであったが、本実施の形態に係る音声抑制装置（ヘッドセット）３００に、上記した第１の実施の形態における携帯端末装置１０の入出力Ｉ／Ｆ２０（２１）、制御部３０、記憶部４０の機能を持たせたものである。換言すれば、ヘッドセット自体に携帯端末装置の機能を内蔵したものであります。機能としては図１に示す通信部１３に代わって携帯端末装置１０を構成する制御部３０内の通信部１４０を機能させるという点以外は異ならない。したがって、読唇通信処理の内容についての説明は省略する。

＜第２の実施の形態の効果＞
本実施の形態では、カメラユニット８が発話者の口元の画像を取得し、ヘッドセット２内の制御部により口元の画像から抽出された文字から音声が生成され、その音声が通話先に送信される。ヘッドセット単体で、発声しなくとも発話者が口の動きで示した文字を通話先に伝えることができるので、発話者自身の発話音声が周囲に漏れず、又は他人に聞き取れない程度の音量で発話することができる。

＜変形例＞
また、文字抽出部１１０が制御部３０内にあり、音声生成部１２０と、表示部１３０と、通信部１４０と、入力部１５０と、音声取得部１６０は携帯端末装置１０側の制御部にあっても良い（図示省略）。例えば、携帯端末装置１０のアプリケーションが音声生成部１２０の役割を果たすことができる。この場合、制御部３０内の文字抽出部１１０にて読唇結果が文字テキストに変換されているので、通信量としては単なるテキストメッセージを送るのと同じ量となる。そのため、通信時のデータ送信が軽くて済み、ユーザに取っても通信コストが下がり、使い勝手の良いものとなる。また、本アイデアは通話を前提にしているが、音声を生成するとともに文字テキストを表示、記録することも可能である。また、機能によっては音声を生成せずに文字テキストを表示、記録することも、使い方としては可能である。

１音声抑制システム
２ヘッドセット（送受話装置）
３アーム部
４ハウジング部
８カメラユニット
１０携帯端末装置
１１送話マイク
１３通信部
１５スピーカ
２０入出力Ｉ／Ｆ（入力Ｉ／Ｆ）
２１入出力Ｉ／Ｆ（出力Ｉ／Ｆ）
２８加算器
３０制御部
４０記憶部
５０タッチパネル
６０ＣＰＵ
６５メモリ
７０補助記憶装置
８０ネットワークＩ／Ｆ
１００携帯端末装置
１１０文字抽出部
１１８音声取得部
１２０音声生成部
１３０表示部
１４０通信部
１５０入力部
１６０音声取得部
２００辞書情報
２０１レコード
２１０読唇エンジン
２２１動画像
２２２推定結果
３００音声抑制装置
Ａ，Ｂ，Ｃ動画像
Ｓ２：受話信号

Claims

発話音声を抑制する音声抑制システムであって、
発話者の耳元に配置されたスピーカと、
発話者の口元周辺に配置され、口の動きの画像を取得する画像取得手段と、
自己の音声により発話したいときに用いられ、発話音源に向かう方向に指向性を有し、自己の音声信号を入力する第１のマイクと、
を備えた送受話装置と、
前記画像取得手段により取得された前記画像に基づいて前記口の動きに対応する音声信号を生成する生成手段と、
生成された前記音声信号を相手側携帯端末に送信する送信手段とを、
備えた携帯端末とを有し、
前記相手側携帯端末から送信された受話信号が前記携帯端末を介して前記スピーカに入力され、
前記第１のマイクと前記画像取得手段は所定間隔離れて配置され、
前記第１のマイクから取得された音声が所定の音量以上である場合、前記送信手段は発話者に対して警告音を送信して注意を促す、
ことを特徴とする音声抑制システム。
前記携帯端末は、
前記画像取得手段により取得された前記画像に基づいて、前記口の動きに対応する文字を抽出する文字抽出部と、
前記文字抽出部により抽出された前記文字に対応する音声信号を生成する音声生成部とを更に有し、
前記送信手段は、生成された前記音声信号を前記相手側携帯端末に送信し、
前記音声生成部は、あらかじめ記憶部に記憶された発話者の文章や単語に基づいてアクセント又はイントネーションのついた音声信号として生成する、
ことを特徴とする請求項１に記載の音声抑制システム。
前記送受話装置と前記携帯端末との間の無線接続は、Ｂｌｕｅｔｏｏｔｈ(登録商標)規格に準拠することを特徴とする請求項１又は２に記載の音声抑制システム。
前記スピーカは耳を収容するハウジング内に配置され、ハウジングには口元まで延在する屈曲自在なアームが形成され、該アームの表面であって前記口元の周辺に前記画像取得手段が装着されている、
ことを特徴とする請求項１〜３のいずれか一項に記載の音声抑制システム。
前記スピーカ周辺の音と前記受話信号を検出する第２のマイクと、
前記第２のマイクで検出された信号と前記受話信号の差分信号を位相反転させた信号を生成し、前記スピーカに入力する信号処理手段とを有する、
ことを特徴とする請求項１〜４のいずれか一項に記載の音声抑制システム。
発話音声を抑制する音声抑制装置であって、
発話者の耳元に配置されたスピーカと、
発話者の口元周辺に配置され、口の動きの画像を取得する画像取得手段と、
自己の音声により発話したいときに用いられ、発話音源に向かう方向に指向性を有し、自己の音声信号を入力するマイクと、
前記画像取得手段により取得された前記画像に基づいて前記口の動きに対応する音声信号を生成する生成手段と、
生成された前記音声信号を相手側の通話端末に送信する音声通信手段とを有し、
前記相手側の通話端末からの受話信号が前記音声通信手段を介して前記スピーカに入力され、
前記マイクと前記画像取得手段は所定間隔離れて配置され、
前記マイクから取得された音声が所定の音量以上である場合、前記音声通信手段は発話者に対して警告音を送信して注意を促す、
ことを特徴とする音声抑制装置。
前記画像取得手段により取得された前記画像に基づいて前記口の動きに対応する文字を抽出する文字抽出部と、
前記文字抽出部により抽出された前記文字を用いて音声信号を生成する音声生成部とを更に有し、
前記音声生成部は、あらかじめ記憶部に記憶された発話者の文章や単語に基づいてアクセント又はイントネーションのついた音声信号として生成する、
ことを特徴とする請求項６に記載の音声抑制装置。