JP7284570B2 - 音声再生システムおよびプログラム - Google Patents
音声再生システムおよびプログラム Download PDFInfo
- Publication number
- JP7284570B2 JP7284570B2 JP2018217272A JP2018217272A JP7284570B2 JP 7284570 B2 JP7284570 B2 JP 7284570B2 JP 2018217272 A JP2018217272 A JP 2018217272A JP 2018217272 A JP2018217272 A JP 2018217272A JP 7284570 B2 JP7284570 B2 JP 7284570B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- listener
- sound
- reproduction
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Description
本発明の目的は、聞き手の身体状態や周囲の状況を加味して音声の再生条件を決定する音声再生システム等を提供することを目的とする。
図1は、本実施の形態における音声再生システム1の構成例を示す図である。
図示するように本実施の形態の音声再生システム1は、携帯端末20と、端末装置30とが、ネットワーク70およびアクセスポイント90を介して接続されることにより構成されている。図1では、携帯端末20は、1つのみ示したが、個数はいくつでもよい。
図2は、端末装置30をロボットとした場合について説明した図である。
図2に示した、ロボットとしての端末装置30は、歩行等を行うことで移動する機能を有する移動式としてもよいが、移動しない非移動式としてもよい。
端末装置30は、送信情報の送信および受信を行う通信アンテナ301と、音声を取得するマイクロフォン302と、音声等の音を出力するスピーカ303と、ユーザが操作を行う操作ボタン304と、端末装置30の全体の制御を行う制御部305とを備える。また、操作ボタン304は、録音を行う録音ボタン304aと、送られた送信情報を再生する再生ボタン304bと、端末装置30の設定などを行うためのメニューボタン304cとを備える。
無線通信回線の種類としては、携帯電話回線、PHS(Personal Handy-phone System)回線、Wi-Fi(Wireless Fidelity)、Bluetooth(登録商標)、ZigBee、UWB(Ultra Wideband)等の各回線が使用可能である。
図3は、音声再生システム1の概略動作の例について示した図である。
まず、端末装置30を所有するユーザAが、送信情報を作成する(1A)。送信情報は、端末装置30と携帯端末20との間で、やりとりを行う際に用いられる電子情報である。送信情報は、詳しくは後述するが、音声の情報である。ユーザAは、携帯端末20を所有するユーザBへのメッセージを、音声により作成する。なお、ユーザAとユーザBとは、予め定められた人物であり、所定の交友関係がある。例えば、親子の関係であったり、友人同士の関係である。
携帯端末20では、音声再生システム1を実現するための専用のアプリが動作しており、この送信情報を、通信I/Fが取得する。CPUは、この送信情報をメモリに保存する(1C)。またこのとき、ロボットにLEDなどからなる発光源を別途設け、この発光源を点滅等させることで、ユーザAから送信情報が到着した旨を、ユーザBに対し知らせてもよい。また、ユーザAから送信情報が到着した旨の案内を、着信音や音声等で出力してもよい。
端末装置30では、この送信情報を、通信アンテナ301で受け、制御部305が取得して、メモリに記憶する(1G)。ユーザAの操作により、ユーザBから送られた送信情報をメモリから読み出し、再生を行う(1H)。
そして、以下、同様の動作が繰り返される。即ち、ユーザAとユーザBとの間で、送信情報のやりとりが行われる。
図4は、音声再生システム1の機能構成例を示したブロック図である。
なおここでは、音声再生システム1が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
音声再生システム1において、携帯端末20は、情報の送受信を行う送受信部21と、画像の表示を行う表示部22と、情報を入力する入力部23と、音声を取得する音声出力部24とを備える。
入力部23は、テキストや音声等の入力を行う入力機構であり、例えば、上述したタッチパネルや、入力ボタン・キーボード等である。また、入力部23は、ユーザBの音声を入力する入力機構であり、例えば、マイクロフォンである。
音声出力部24は、音声の出力を行うスピーカである。
再生部34は、再生手段の一例であり、ユーザBから送信された音声の再生を行う。再生部34は、スピーカ303に対応する。
決定部36は、決定手段の一例であり、分析部35による分析の結果から、再生部34で音声の再生を行う条件である再生条件を決定する。再生条件は、詳しくは後述するが、音量の調整、再生の速度および周波数変換の少なくとも一つである。
分析部35および決定部36は、例えば、CPUであり、制御部305に含まれる。
再生制御部38は、再生部34で音声の再生を行う際に、決定部36により決定された再生条件により、音声の再生の制御を行う。再生制御部38は、例えば、CPUであり、制御部305に含まれる。
次に、本実施の形態の音声再生システム1の動作について、より詳細に説明を行う。
図5は、本実施形態の音声再生システム1の動作の例について説明したフローチャートである。
まず、ユーザAが、端末装置30の操作部37を操作し、取得部33を使用して、音声の録音を行う(ステップ101)。音声の情報は、送信情報として記憶部32に記憶される(ステップ102)。さらに、送受信部31が、送信情報を携帯端末20に向け、送信する(ステップ103)。なお、送信情報には、送信情報を作成した際の日時の情報等を含めてもよい。
端末装置30では、送受信部31が、この送信情報を受信する(ステップ110)。そして、送られた送信情報は、記憶部32が記憶する(ステップ111)。
そして、再生の際に、取得部33が、自装置の周囲の音を取得する(ステップ113)。さらに、分析部35が、自装置の周囲の音を基に、ユーザAの状態と、再生部34により音声の再生を行うときの自装置の周囲の状態とを分析する(ステップ114)。
なお、詳しくは後述するが、ステップ114~ステップ115の処理は、ユーザAが録音した音声に基づき、ステップ102とステップ103の間で行われることがある。
次に、分析部35が、自装置の周囲の音を基に、ユーザAの状態と、再生部34により音声の再生を行うときの自装置の周囲の状態とを分析する方法について、詳細に説明を行う。また併せて、分析部35が分析した結果に応じて、決定部36が決定する再生条件について説明を行う。決定部36が決定する再生条件は、音量の調整、再生の速度および周波数変換の少なくとも一つである。
ここでは、分析部35は、ユーザAの音声の取得時に取得部33が取得したユーザAの音声から、ユーザAの状態として、ユーザAの年齢を推定する。そして、決定部36は、推定された年齢に応じて再生条件を変更する。
図6は、音声の周波数スペクトルについて示している。ここで、横軸は、周波数を表し、縦軸は、スペクトル強度を表す。即ち、周波数スペクトルは、音声に含まれる周波数成分について、周波数とその強度との関係を示している。
ここでは、音声について、40歳、50歳、60歳、70歳の人物の周波数スペクトルの一例を示している。図示するように、年齢が上昇するに従い、4kHz以上のスペクトル強度が増加することがわかる。実際には、4kHz以上のスペクトル強度が増加することで、音声が、よりかれた状態となる嗄声(させい)となる。
よって、分析部35は、周波数スペクトルのうち、4kHz以上のスペクトル強度を見ることで、ユーザAの年齢を推定することができる。
さらに、決定部36は、例えば、年齢が60歳以上と推定された場合は、音声の周波数変換を行ってもよい。つまり、高齢者の場合は、低音域および中音域は聞こえるが、高音域が聞こえにくくなることが多い。そのため高音域の音について、中音域への周波数変換を行い、音声に高音域の音が含まれていても、聞こえるようにする。
ここで、横軸は、周波数を示し、縦軸は、強度を示す。
このうち、図7(a)は、音声の周波数変換として、周波数の圧縮を行った場合を示している。この場合、実線で示した音声の波形について、高音域として、4000Hz以上の周波数領域について、圧縮し、点線で示す波形にしている。
また、図7(b)は、音声の周波数変換として、周波数の移行を行った場合を示している。この場合、実線で示した音声の波形について、高音域として、4000Hz以上の周波数領域について、中音域にスライド(移行)させ、点線で示す波形にしている。
このような音声の周波数変換を行うことで、本来聞こえない領域の音も聞こえるようになり、音声をより聞きやすくなる。
ここでは、分析部35は、音声の再生時に取得部33が取得した聞き手の音声の意味から、音声の聞き手の状態を分析する。そして、決定部36は、分析の結果に応じて再生条件を決定する。
ユーザBの音声を再生する際に、ユーザAの発話する音声を取得部33で取得する。つまり、再生される音声の音量が小さいような場合、ユーザAは、例えば、「えっ?」、「今、なんて言ったの?」等の音声を無意識に発することがある。また、ユーザAの聴力が弱くなっている場合も同様である。分析部35は、取得部33で取得したユーザAの音声から、このような聞き返すような意味を含む発話がなかったか否かを分析する。具体的には、分析部35は、取得部33で取得した音から、ユーザBの音声をできるだけ消去する。さらに、分析部35は、残った音にユーザAの音声が含まれる場合、聞き返すような意味を含む発話があるか否かを判断する。
ここでは、分析部35は、音声の取得時および/または音声の再生時に、取得部33が取得したユーザAの健康状態に関する音を識別し、決定部36は、識別された音に応じて再生条件を変更する。
図8(a)は、ユーザAが咳をしたときの音の波形を示している。また、図8(b)は、ユーザAがくしゃみをしたときの音の波形を示している。両図は、ともに横軸が時間を表し、縦軸が、音に含まれる周波数成分を示している。
図8(a)に示す咳の場合、30kHz付近までの周波数成分を含み、そして、この周波数成分が含まれる時間は、約0.1sと短い。また、図8(b)に示すくしゃみの場合、45kHz付近までの周波数成分を含み、そして、この周波数成分が含まれる時間は、同様に約0.1sと短い。
よって、この特徴により、分析部35は、ユーザAが、咳やくしゃみをしたか否かを判断できる。そして、この回数が、予め定められた時間内で予め定められた回数以上検出されたときは、分析部35は、ユーザAが風邪等に罹患していると判断する。つまり、この場合、分析部35は、健康状態に関する音として、咳およびくしゃみの音を識別する。
ここで、横軸は、時間を示し、縦軸は、強さを示す。
図9(a)で示す音声の信号は、図9(b)で示す基本周波数と、図9(c)で示す非周期成分の2つに分けることができる。基本周波数は、声の高さを表す。例えば、男声の基本周波数は、100Hz~200Hzであり、女声の基本周波数は、250Hz~500Hzである。また、非周期成分は、声色を表す。また、非周期成分は、声のかすれについて表し、非周期成分が小さいほどかすれは小さく、大きいほどかすれが大きくなる。
よって、分析部35は、取得した音声を基本周波数と非周期成分の2つに分け、非周期成分の大きさを分析し、ユーザAの音声にかすれがあるか否かを判断する。そして、分析部35は、かすれが大きいと判断したときは、ユーザAが風邪等に罹患していると判断する。つまり、この場合、分析部35は、健康状態に関する音として、音声のかすれを識別する。
ここでは、分析部35は、自装置の周囲の状態として、音声の取得時および/または音声の再生時に取得された自装置の周囲の環境音を識別し、決定部36は、環境音に応じて再生条件を変更する。
この環境音は、ユーザAの周囲から聞こえる音であり、雨の音、波の音、風の音、鳥や蝉の鳴き声、雑踏の音、自動車、電車、飛行機が通過する音等である。そして、この環境音が大きい場合、ユーザAは、音声を聞き取りにくくなる。
よって、分析部35は、環境音の音圧を分析する。
本実施の形態では、決定部36は、取得部33が取得した音声に基づき、自装置の周辺の状況を把握し、把握した状況に基づき、設定を行う。
例えば、決定部36は、時間帯に合わせ、音声を再生する際の音量を設定する。例えば、夜間には、音量を小さくする。
また、決定部36は、取得部33が取得した音声に基づき、自装置の周辺の状況を把握し、把握した状況に基づき、設定を行ってもよい。例えば、自装置の周辺が騒がしいときは、音量を大きくする。
さらに、上述した例では、端末装置30は、ロボットである例を示したが、これに限られるものではない。例えば、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のモバイル端末であってもよく、デスクトップコンピュータであってもよい。
さらに、上述した例では、端末装置30と携帯端末20とは、ネットワーク70、アクセスポイント90を介してピアツーピア接続していたが、これに限られるものではなく、サーバを介して接続していてもよい。なおこの場合、端末装置30で行う処理は、サーバでも同様のことができる。よって、このサーバを再生システムとして捉えることもできる。
ここで、以上説明を行った本実施の形態における端末装置30が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。そして、この処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置30に設けられたコンピュータ内部の図示しないCPUが、上述した各機能を実現するプログラムを実行し、これらの各機能を実現させる。
Claims (2)
- 送信された音声を受信するロボットが、当該送信された音声の再生を行う再生システムであり、
前記送信された音声の聞き手の再生操作に基づき、当該送信された音声の再生を行う再生手段と、
前記ロボットに向かって話しかけた前記聞き手の音声を取得するとともに、前記再生手段により前記送信された音声が再生されている際に当該聞き手が発した音を含む当該ロボットの周囲の音を取得する取得手段と、
前記取得手段が取得した前記聞き手の音声および前記ロボットの周囲の音に基づく、前記再生手段により前記送信された音声の再生を行うときの当該聞き手の状態および当該ロボットの周囲の状態から、前記再生手段で音声の再生を行う条件である再生条件を決定する決定手段と、
を有し、
前記決定手段は、前記取得手段が取得した前記聞き手の音声および前記ロボットの周囲の音のうちの当該聞き手の健康状態に関する音に応じて、前記再生条件を変更することを特徴とする音声再生システム。 - 送信された音声を受信するロボットが、当該送信された音声の再生を行うプログラムであり、
コンピュータに、
前記送信された音声の聞き手の再生操作に基づき、当該送信された音声の再生を行う再生機能と、
前記ロボットに向かって話しかけた前記聞き手の音声を取得するとともに、前記再生機能により前記送信された音声が再生されている際に当該聞き手が発した音を含む当該ロボットの周囲の音を取得する取得機能と、
前記取得機能が取得した前記聞き手の音声および前記ロボットの周囲の音に基づく、前記再生機能により前記送信された音声の再生を行うときの当該聞き手の状態および当該ロボットの周囲の状態から、前記再生機能で音声の再生を行う条件である再生条件を決定する決定機能と、
前記取得機能が取得した前記聞き手の音声および前記ロボットの周囲の音のうちの当該聞き手の健康状態に関する音に応じて、前記再生条件を変更する変更機能と、
を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018217272A JP7284570B2 (ja) | 2018-11-20 | 2018-11-20 | 音声再生システムおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018217272A JP7284570B2 (ja) | 2018-11-20 | 2018-11-20 | 音声再生システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086027A JP2020086027A (ja) | 2020-06-04 |
JP7284570B2 true JP7284570B2 (ja) | 2023-05-31 |
Family
ID=70907759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018217272A Active JP7284570B2 (ja) | 2018-11-20 | 2018-11-20 | 音声再生システムおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7284570B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7355236B2 (ja) | 2020-05-15 | 2023-10-03 | 株式会社Ihi | 電動機の固定子、及び、電動機 |
JP7469211B2 (ja) | 2020-10-21 | 2024-04-16 | 東京瓦斯株式会社 | 対話型コミュニケーション装置、コミュニケーションシステム及びプログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003345375A (ja) | 2002-05-24 | 2003-12-03 | Matsushita Electric Ind Co Ltd | 音声再生装置および音声再生システム |
JP2003345399A (ja) | 2002-05-24 | 2003-12-03 | Matsushita Electric Ind Co Ltd | 音声再生装置 |
JP2006038705A (ja) | 2004-07-28 | 2006-02-09 | Denso Corp | 音声出力装置 |
JP2007003835A (ja) | 2005-06-23 | 2007-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 疲労状態推定方法、疲労状態推定装置及びそのプログラム |
JP2007327993A (ja) | 2006-06-06 | 2007-12-20 | Konica Minolta Medical & Graphic Inc | 音声モニタシステム、音声モニタ方法、プログラム、咳検出システム |
JP2010028515A (ja) | 2008-07-22 | 2010-02-04 | Nec Saitama Ltd | 音声強調装置、携帯端末、音声強調方法および音声強調プログラム |
JP2012029099A (ja) | 2010-07-23 | 2012-02-09 | Nec Casio Mobile Communications Ltd | 音響機器 |
JP2013034057A (ja) | 2011-08-01 | 2013-02-14 | Nec Casio Mobile Communications Ltd | 電子機器、音響再生方法、及びプログラム |
JP2014064093A (ja) | 2012-09-20 | 2014-04-10 | Sony Corp | 信号処理装置およびプログラム |
JP2017192457A (ja) | 2016-04-18 | 2017-10-26 | 株式会社ブリコルールホールディングス | 音声診断装置、音声診断システム及び音声診断プログラム |
JP2020064151A (ja) | 2018-10-16 | 2020-04-23 | 東京瓦斯株式会社 | 再生システムおよびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06334457A (ja) * | 1993-05-20 | 1994-12-02 | Mitsubishi Electric Corp | 自動音量制御装置 |
-
2018
- 2018-11-20 JP JP2018217272A patent/JP7284570B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003345375A (ja) | 2002-05-24 | 2003-12-03 | Matsushita Electric Ind Co Ltd | 音声再生装置および音声再生システム |
JP2003345399A (ja) | 2002-05-24 | 2003-12-03 | Matsushita Electric Ind Co Ltd | 音声再生装置 |
JP2006038705A (ja) | 2004-07-28 | 2006-02-09 | Denso Corp | 音声出力装置 |
JP2007003835A (ja) | 2005-06-23 | 2007-01-11 | Nippon Telegr & Teleph Corp <Ntt> | 疲労状態推定方法、疲労状態推定装置及びそのプログラム |
JP2007327993A (ja) | 2006-06-06 | 2007-12-20 | Konica Minolta Medical & Graphic Inc | 音声モニタシステム、音声モニタ方法、プログラム、咳検出システム |
JP2010028515A (ja) | 2008-07-22 | 2010-02-04 | Nec Saitama Ltd | 音声強調装置、携帯端末、音声強調方法および音声強調プログラム |
JP2012029099A (ja) | 2010-07-23 | 2012-02-09 | Nec Casio Mobile Communications Ltd | 音響機器 |
JP2013034057A (ja) | 2011-08-01 | 2013-02-14 | Nec Casio Mobile Communications Ltd | 電子機器、音響再生方法、及びプログラム |
JP2014064093A (ja) | 2012-09-20 | 2014-04-10 | Sony Corp | 信号処理装置およびプログラム |
JP2017192457A (ja) | 2016-04-18 | 2017-10-26 | 株式会社ブリコルールホールディングス | 音声診断装置、音声診断システム及び音声診断プログラム |
JP2020064151A (ja) | 2018-10-16 | 2020-04-23 | 東京瓦斯株式会社 | 再生システムおよびプログラム |
Non-Patent Citations (2)
Title |
---|
小暮計貴 他,"周囲の雑音やユーザーの聞き返しに基づいて音量調節を行う音声対話システム",情報処理学会研究報告,2014年05月17日,Vol.2014-MUS-103, No.28,pp.1-5 |
山崎信行 他,"パーソナルロボットのためのアクティブインタフェースの設計と実装",日本ロボット学会誌,1996年04月15日,Vol.14, No.3,pp.461-469 |
Also Published As
Publication number | Publication date |
---|---|
JP2020086027A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10817251B2 (en) | Dynamic capability demonstration in wearable audio device | |
CN109360549B (zh) | 一种数据处理方法、穿戴设备和用于数据处理的装置 | |
JP2018528479A (ja) | スーパー広帯域音楽のための適応雑音抑圧 | |
US10922044B2 (en) | Wearable audio device capability demonstration | |
KR20080077085A (ko) | 오디오 장치 품질의 판단 | |
WO2019033438A1 (zh) | 音频信号调节方法、装置、存储介质及终端 | |
JP6731632B2 (ja) | 音声処理装置、音声処理方法及び音声処理プログラム | |
TWI831785B (zh) | 個人聽力裝置 | |
CN115482830B (zh) | 语音增强方法及相关设备 | |
WO2021244056A1 (zh) | 一种数据处理方法、装置和可读介质 | |
JP2023542968A (ja) | 定位されたフィードバックによる聴力増強及びウェアラブルシステム | |
WO2022253003A1 (zh) | 语音增强方法及相关设备 | |
JP7284570B2 (ja) | 音声再生システムおよびプログラム | |
CN113228710A (zh) | 听力装置中的声源分离及相关方法 | |
JP7218143B2 (ja) | 再生システムおよびプログラム | |
US11081136B2 (en) | Information processing apparatus, information processing system, and program | |
CN111696566B (zh) | 语音处理方法、装置和介质 | |
CN112750456A (zh) | 即时通信应用中的语音数据处理方法、装置及电子设备 | |
JP3227725U (ja) | 文字表示機能付き補聴システム | |
WO2018088210A1 (ja) | 情報処理装置および方法、並びにプログラム | |
CN111696565B (zh) | 语音处理方法、装置和介质 | |
CN111696564B (zh) | 语音处理方法、装置和介质 | |
CN112954577B (zh) | 评测设备和耳机评测实时展示方法 | |
JP7293863B2 (ja) | 音声処理装置、音声処理方法およびプログラム | |
TWI716123B (zh) | 除噪能力評估系統及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7284570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |