JPWO2018038235A1 - 聴覚トレーニング装置、聴覚トレーニング方法、およびプログラム - Google Patents

Abstract

聴覚トレーニング装置１は、対象音声を取得する取得手段１１と、対象音声に付加するノイズの属性を、与えられたトレーニング強度に応じて決定する決定手段１４と、取得手段１２により取得された対象音声に対し、決定手段１４により決定された属性を有するノイズを付加する付加手段１５と、付加手段１５によりノイズが付加された前記対象音声を出力する出力手段１６とを有する。

Description

本発明は聴覚をトレーニングする技術に関する。

音を使って脳をトレーニングする技術が知られている。例えば特許文献１には、階調域の音に対し、異なる帯域の音を合せて出力することにより脳の活性を促す技術が記載されている。

特開２０１５−１５７１１８号公報

特許文献１に記載の技術においては、脳への刺激が単調であるという問題があった。
これに対し本発明は、トレーニング強度を可変とした聴覚トレーニング技術を提供する。

本発明は、決められた正解音群および不正解音群の中から選択された音が時系列に配置された問題音声を取得する取得手段と、前記問題音声および当該問題音声に付加するノイズの少なくとも一方の属性を与えられたトレーニング強度に応じて決定する決定手段と、前記問題音声に対し、前記決定手段により決定された属性を有するノイズを付加する付加手段と、前記付加手段により前記ノイズが付加された前記問題音声を出力する出力手段とを有する聴覚トレーニング装置を提供する。

この聴覚トレーニング装置は、前記問題音声により示される音のうち前記不正解音群に属する音に関する解答の入力を受け付ける受け付け手段を有してもよい。

前記受け付け手段は、前記問題音声により示される音のうち前記不正解音群に属する音の数を前記解答として受け付けてもよい。

前記受け付け手段は、前記問題音声により示される音のうち前記不正解音群に属する音を示す文字列を前記解答として受け付けてもよい。

前記受け付け手段は、前記出力手段が前記問題音声を出力しているときに前記不正解音群に属する音が出力されたタイミングを前記解答として受け付けてもよい。

この聴覚トレーニング装置は、音声素片を記憶する記憶手段と、前記音声素片を用いて前記問題音声を合成する音声合成手段とを有し、前記取得手段は、前記音声合成手段により合成された前記問題音声を取得してもよい。

前記音声合成手段は、前記不正解音群に属する音を発声する際の音声の周波数を、前記正解音群に属する音を発声する際の音声の周波数よりも高くしてもよい。

前記記憶手段は、複数の話者の音声素片を記憶し、前記音声合成手段は、前記複数の話者の中から、前記トレーニング強度に応じて選択された話者の音声素片を用いて前記問題音声を合成してもよい。

前記記憶手段は、各々が複数の語句を含む複数の語群を記憶し、前記聴覚トレーニング装置は、前記複数の語群の中から正解語群および不正解語群を選択する選択手段を有し、前記音声合成手段は、前記正解語群および前記不正解語群の中から選択された語句が時間軸上で順番に発声した音声を合成してもよい。

前記決定手段により決定される属性は、ノイズ音源、音量、前記問題音声に対する当該ノイズの相対再生速度、およびノイズ音源の数のうち少なくとも１つを含んでもよい。

また、本発明は、決められた正解音群および不正解音群の中から選択された音を順番に発声する問題音声を取得するステップと、前記問題音声および当該問題音声に付加するノイズの少なくとも一方の属性を与えられたトレーニング強度に応じて決定するステップと、前記問題音声に対し、前記決定手段により決定された属性を有するノイズを付加するステップと、前記ノイズが付加された前記問題音声を出力するステップとを有する聴覚トレーニング方法を提供する。

さらに、本発明は、コンピュータに、決められた正解音群および不正解音群の中から選択された音を順番に発声する問題音声を取得するステップと、前記問題音声および当該問題音声に付加するノイズの少なくとも一方の属性を与えられたトレーニング強度に応じて決定するステップと、前記問題音声に対し、前記決定手段により決定された属性を有するノイズを付加するステップと、前記ノイズが付加された前記問題音声を出力するステップとを実行させるためのプログラムを提供する。

また、本発明は、対象音声を取得する取得手段と、ユーザの聴覚トレーニングにおけるトレーニングの進捗を示す達成レベルを記憶する記憶手段と、前記記憶手段に記憶されている達成レベルを用いて計算された、前記ユーザのトレーニング強度を取得する取得手段と、前記対象音声に付加するノイズの属性を、前記取得手段により取得されたトレーニング強度に応じて自動的に決定する決定手段と、前記取得手段により取得された前記対象音声に対し、前記決定手段により決定された属性を有するノイズを付加する付加手段と、前記付加手段により前記ノイズが付加された前記対象音声を出力する出力手段とを有する聴覚トレーニング装置を提供する。

前記決定手段により決定される属性は、ノイズ音源、音量、前記対象音声に対する当該ノイズの相対再生速度、およびノイズ音源の数のうち少なくとも１つを含んでもよい。

前記決定手段は、前記トレーニング強度に加え、トレーニングを受けるユーザの属性に応じて前記ノイズの属性を決定してもよい。

この聴覚トレーニング装置は、前記出力手段により出力される前記対象音声に対するユーザのフィードバックを受け付ける受け付け手段を有し、前記決定手段は、前記ユーザの属性として当該ユーザから得られたフィードバックを用いてもよい。

また、本発明は、聴覚トレーニング装置が、対象音声を取得するステップと、前記聴覚トレーニング装置が、ユーザの聴覚トレーニングにおけるトレーニングの進捗を示す達成レベルを記憶手段に記憶するステップと、前記聴覚トレーニング装置が、前記記憶手段に記憶されている達成レベルを用いて計算された、前記ユーザのトレーニング強度を取得するステップと、前記聴覚トレーニング装置が、前記対象音声に付加するノイズの属性を、前記取得されたトレーニング強度に応じて自動的に決定するステップと、前記聴覚トレーニング装置が、前記取得された対象音声に対し、前記決定された属性を有するノイズを付加するステップと、前記聴覚トレーニング装置が、前記ノイズが加算された前記対象音声を出力するステップとを有する聴覚トレーニング装置の作動方法を提供する。

さらに、本発明は、コンピュータに、対象音声を取得するステップと、ユーザの聴覚トレーニングにおけるトレーニングの進捗を示す達成レベルを記憶手段に記憶するステップと、前記記憶手段に記憶されている達成レベルを用いて計算された、前記ユーザのトレーニング強度を取得するステップと、前記対象音声に付加するノイズの属性を、前記取得されたトレーニング強度に応じて自動的に決定するステップと、前記取得された対象音声に対し、前記決定された属性を有するノイズを付加するステップと、前記ノイズが加算された前記対象音声を出力するステップとを実行させるためのプログラムを提供する。

本発明によれば、聴覚トレーニング技術において、トレーニング強度を可変とすることができる。

第１実施形態に係る聴覚トレーニング装置１の機能構成を例示する図。 聴覚トレーニング装置１のハードウェア構成を例示する図。 聴覚トレーニング装置１の動作を例示するシーケンスチャート。 トレーニング開始の指示を受け付けるＵＩ画面４０を例示する図。 フィードバックを受け付けるＵＩ画面５０を例示する図。 ユーザのフィードバックを例示する図。 第２実施形態に係る聴覚トレーニング装置２の機能構成を例示する図。 第２実施形態に係る問題音声の合成処理を例示するシーケンスチャート。 トレーニング開始の指示を受け付けるＵＩ画面６０を例示する図。 複数の音群を例示する図。 問題音声を例示する図。

１…聴覚トレーニング装置、１１…取得手段、１２…取得手段、１３…記憶手段、１４…決定手段、１５…付加手段、１６…出力手段、１７…受け付け手段、２１…選択手段、２２…音声合成手段、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…タッチスクリーン、１０５…マイクロフォン、１０６…ヘッドフォン

１．第１実施形態
１−１．構成
図１は、第１実施形態に係る聴覚トレーニング装置１の機能構成を例示する図である。聴覚トレーニング装置は、聴覚を介して脳を刺激することにより、例えば聴力を向上させ、または認知症の進行を抑制するものである。

聴覚トレーニング装置１は、取得手段１１、取得手段１２、記憶手段１３、決定手段１４、付加手段１５、出力手段１６、および受け付け手段１７を有する。取得手段１１は、対象音声を取得する。対象音声とは、聴覚トレーニングにおいて聞き取りの主たる対象となる音声をいい、例えば、音楽、朗読、会話相手の言葉、テレビ放送の音声、またはラジオ放送である。対象音声は、録音を再生したものであってもよいし、マイクロフォンを用いてリアルタイムで取得されたものであってもよい。取得手段１２は、トレーニング強度を取得する。トレーニング強度とは、聴覚トレーニングにおけるトレーニングの強さすなわち対象音声の聞き取りづらさを示す指標をいう。対象音声がより聞き取りづらい状態がトレーニング強度が強い（高い）状態であり、より聞き取りやすい状態がトレーニング強度が弱い（低い）状態である。記憶手段１３は、対象音声に付加されるノイズ音源を記憶する。この例で、記憶手段１３は、複数種類のノイズ音源を記憶する。ノイズ音源とは、ノイズを生成するためのデータをいう。ノイズは、対象音声と異なるものであればどのようなものでもよく、一例としては、海の波の音もしくは山の中の音のような自然界の音、または人の話し声もしくはいわゆるホワイトノイズのような人工的な音である。決定手段１４は、対象音声に付加するノイズの属性を、与えられたトレーニング強度に応じて決定する。ノイズの属性とは、例えば、ノイズ音源の種類、音量、対象音声に対する相対再生速度、およびノイズ音源の数のうち少なくとも１つを含む。決定手段１４は、ノイズの属性を変更する変更手段であるということもできる。付加手段１５は、取得手段１１により取得された対象音声に対し、決定手段１４により決定された属性を有するノイズを付加する。出力手段１６は、付加手段１５によりノイズが付加された対象音声を出力する。受け付け手段１７は、出力手段１６により出力される対象音声に対するユーザのフィードバックを受け付ける。ユーザのフィードバックとは、トレーニングに関するユーザの主観の入力をいい、例えば、対象音声が聞き取りづらい部分または聞き取りやすい部分を特定する情報の入力をいう。

図２は、聴覚トレーニング装置１のハードウェア構成を例示する図である。聴覚トレーニング装置１は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、タッチスクリーン１０４、マイクロフォン１０５、およびヘッドフォン１０６を有するコンピュータ装置であり、より具体的には例えばスマートフォンである。ＣＰＵ１０１は、プログラムを実行することにより他のハードウェア要素を制御する。メモリ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する記憶装置であり、例えばＲＡＭ（Random Access Memory）を含む。ストレージ１０３は、各種のプログラムおよびデータを記憶する不揮発性の記憶装置であり、例えばＳＳＤ（Solid State Drive）を含む。タッチスクリーン１０４は、表示装置としての機能と入力装置としての機能を兼ね備えた装置であり、例えばＬＣＤ（Liquid Crystal Display）およびＬＣＤ上に設けられたタッチセンサーを含む。マイクロフォン１０５は、周囲の音を集音して音信号に変換する装置である。ヘッドフォン１０６は、音信号に応じた音を出力する装置である。

この例で、ストレージ１０３は、コンピュータ装置を聴覚トレーニング装置１として機能させるためのプログラム（以下「聴覚トレーニングプログラム」という）を記憶する。ＣＰＵ１０１が聴覚トレーニングプログラムを実行することにより、コンピュータ装置に図１の機能が実装される。聴覚トレーニングプログラムを実行しているＣＰＵ１０１は、取得手段１１、取得手段１２、決定手段１４、および付加手段１５の一例である。メモリ１０２およびストレージ１０３の少なくとも一方は、記憶手段１３の一例である。ヘッドフォン１０６は、出力手段１６の一例である。タッチスクリーン１０４は、受け付け手段１７の一例である。

１−２．動作
図３は、聴覚トレーニング装置１の動作を例示するシーケンスチャートである。図３のフローは、例えば、聴覚トレーニングプログラムの起動が指示されたことを契機として開始される。以下において、取得手段１１等の機能要素を処理の主体として記載するが、これは、例えば、ソフトウェア（聴覚トレーニングプログラム）を実行しているハードウェア要素（ＣＰＵ１０１等）が他のハードウェア要素と協働して処理を実行することを意味する。

ステップＳ１０において、受け付け手段１７は、トレーニング開始の指示を受け付ける。トレーニング開始の指示は、所定のＵＩ画面を介して受け付けられる。

図４は、トレーニング開始の指示を受け付けるＵＩ画面４０を例示する図である。受け付け手段１７は、ＵＩ画面４０を表示する。ＵＩ画面４０は、画像オブジェクト４１〜４５を含む。画像オブジェクト４１は、対象音声を選択するための画像オブジェクトである。この例では、対象音声の選択肢として「マイク音声」および「録音音声」が用意されている。マイク音声は、マイクロフォン１０５を介してリアルタイムに入力される音声である。録音音声は、記憶手段１３にデータとして記憶されている音声である。録音音声に対してはさらに、「音楽」および「朗読」という選択肢が用意されている。画像オブジェクト４２は、トレーニング深度を指定するための画像オブジェクトである。トレーニング深度とは、トレーニングの深さを示す指標であり、トレーニング強度と関連している。トレーニング深度が深い（強い）状態とは対象音声がより聞き取りづらい状態であり、トレーニング深度が浅い（弱い）状態とは対象音声がより聞き取り易い状態である。この例では、トレーニング深度の選択肢として、「強」、「中」、および「弱」の３レベルが用意されている。画像オブジェクト４３は、ノイズ音源を選択するための画像オブジェクトである。この例では、ノイズ音源の選択肢として「自然音」および「人工音」が用意されている。画像オブジェクト４４は、聴力トレーニングを開始する指示を入力するための画像オブジェクト、より詳細には開始ボタンである。画像オブジェクト４５は、ユーザの属性に関する情報を示す画像オブジェクトである。この例では、ユーザの属性として、ユーザ名、累積トレーニング時間、および達成レベルが示されている。累積トレーニング時間は、聴覚トレーニングプログラムを用いてこれまで行われたトレーニング時間の累積値を示す。また、トレーニングの進捗を示す指標として達成レベルが設定されており、トレーニングが進むにつれ達成レベルが上がっていく。ユーザは、タッチスクリーン１０４において、これらの画像オブジェクトに相当する位置をタッチすることにより対象音声の選択等の指示を入力する。ユーザが画像オブジェクト４４の開始ボタンを押すと、受け付け手段１７はトレーニング開始指示を取得手段１１および取得手段１２に出力する。

再び図３を参照する。トレーニング開始指示が入力されると、取得手段１１は、対象音声を取得する（ステップＳ１１）。トレーニング開始指示には、ＵＩ画面４０を介して入力された、対象音声を特定する情報が含まれている。取得手段１１は、この情報に従って対象音声を取得する。ＵＩ画面４０において「マイク音声」が選択された場合、取得手段１１は、マイクロフォン１０５から入力された音信号を対象音声として取得する。ＵＩ画面４０において「録音音声」が選択された場合、取得手段１１は、記憶手段１３に記憶されているデータを読み出し、このデータをデコードして得られた音信号を対象音声として取得する。取得手段１１は、対象音声の音信号を付加手段１５に出力する。

トレーニング開始指示が入力されると、取得手段１２は、トレーニング強度を取得する（ステップＳ１２）。取得手段１２は、ＵＩ画面４０を介して入力された情報を用いてトレーニング強度を取得する。具体的には、取得手段１２は、トレーニング深度および達成レベル、並びに所定の数式を用いて、トレーニング強度を計算する。この数式により計算されるトレーニング強度は、例えば、達成レベルが高いほど高く、また、トレーニング深度が強いほど高くなる。取得手段１２は、この計算によりトレーニング強度を取得する。取得手段１２は、取得されたトレーニング強度を示す情報を決定手段１４に出力する。

ステップＳ１３において、決定手段１４は、ノイズの属性を決定する。この例で、ステップＳ１３において決定される属性は、ノイズ音源名および音量である。ノイズ音源名は、記憶手段１３に記憶されている複数のノイズ音源データのうち、使用されるノイズ音源データを特定するための識別情報である。音量は、対象音源の音量に対するノイズの相対的な音量を示す。例えば、対象音声がマイク音声であった場合、ノイズの相対的な音量とは、マイクロフォン１０５を介して入力される音信号の入力レベルに対するノイズの信号レベルの比をいう。対象音声が録音音声であった場合、ノイズの相対的な音量とは、録音音声の音信号の平均信号レベルとノイズの信号レベルの比をいう。決定手段１４は、まず、ノイズ音源名を決定する。決定手段１４は、取得手段１２により取得されたトレーニング強度に応じてノイズ音源名を選択する。図４の例では、画像オブジェクト４３を介して入力されるのは、ノイズ音源のカテゴリ（自然音か人工音か）を指定する情報のみであって、ノイズ音源名を具体的に特定するものではない。この場合、決定手段１４は、指定されたカテゴリに属する複数のノイズ音源データの中から所定のアルゴリズムに従って一のノイズ音源データを選択し、選択したノイズ音源を使用することを決定する。具体的には以下のとおりである。例えば、記憶手段１３は、ノイズ音源データの各々について、対応するトレーニング強度が記録されたテーブルを記憶している。決定手段１４は、取得手段１２により取得されたトレーニング強度を有するノイズ音源データの中から、一のノイズ音源データを選択する。

次に、決定手段１４は、ノイズの音量を決定する。決定手段１４は、音量を決定するための情報として、トレーニング強度およびユーザの属性情報を用いる。ここではユーザの属性情報として、特に、ユーザからのフィードバックが用いられる。詳細は後述するが、フィードバックとは、対象音声に聞き取りづらい部分があったか否かを示す情報をいい、この例では、今回選択されたノイズ音源データと同じデータを用いて以前に聴覚トレーニングが行われた際に、ユーザが「聞き取りづらい部分」として指定した部分を特定する情報をいう。この例で、音量は時間軸の情報を含んでおり、ノイズ音源の再生位置（再生時刻）に対応して変化することができる。例えば、決定手段１４は、トレーニング強度に応じて基準となる音量を決定する。決定手段１４は、さらに、ユーザのフィードバックにより「聞き取りづらい部分」とされる時間軸上の領域については基準となる音量よりも小さい音量を設定する。決定手段１４は、決定されたノイズ音源名および音量を特定する情報を付加手段１５に出力する。

ステップＳ１４において、付加手段１５は、対象音声にノイズを付加する。具体的には、付加手段１５は、決定されたノイズ音源名により特定されるノイズ音源データを記憶手段１３から読み出し、これをデコードしてノイズの音信号を得る。付加手段１５は、ノイズの音信号の振幅を、入力された音量に応じて調整する。付加手段１５は、振幅が調整されたノイズの音信号を、対象音声の音信号に加算する。ノイズの時間長が対象音声の時間長よりも短い場合、付加手段１５は、ノイズの音信号を最初から繰り返し用いる。付加手段１５は、ノイズが加算された対象音声の音信号を出力手段１６に出力する。

ステップＳ１５において、出力手段１６は、対象音声を出力する。すなわち、ノイズが付加された対象音声の音信号に応じた音をヘッドフォン１０６から出力する。対象音声の音信号が出力されている間、受け付け手段１７は、ユーザからのフィードバックを受け付ける（ステップＳ１６）。

図５は、フィードバックを受け付けるＵＩ画面５０を例示する図である。ノイズが付加された対象音声がヘッドフォン１０６から出力されている間、受け付け手段１７はＵＩ画面５０を表示する。ＵＩ画面５０は、画像オブジェクト５１を含む。画像オブジェクト５１は、聞き取りづらい部分を指定するためのボタンを含む。ユーザは、対象音声を聞きながらＵＩ画面５０を操作し、対象音声が聞き取りづらいと感じたら画像オブジェクト５１のボタンを押す。受け付け手段１７は、ノイズの再生位置に対し、画像オブジェクトのボタンが押されている（オン）か押されていない（オフ）かの情報を記憶手段１３に記憶する。ノイズの時間長が対象音声の時間長以上である場合、ノイズの再生位置は対象音声の再生位置（相対時刻）に等しい。

図６は、ユーザのフィードバックを例示する図である。図６（Ａ）は記憶手段１３に記憶されるフィードバックを示しており、横軸がノイズの再生位置を、縦軸がボタンのオン／オフを示している。この例では、時刻ｔ１からｔ２においてボタンがオンされ、それ以外の部分ではオフされたことが示されている。ステップＳ１３における音量の決定においては、このフィードバックが考慮される。図６（Ｂ）は、図６（Ａ）に対応して決められた音量を示しており、横軸がノイズの再生位置を、縦軸が音量を示している。基準となる音量Ｖｏに対し、時刻ｔ１からｔ２においては音量Ｖｄ（＜Ｖｏ）に設定されている。

以上で説明したように本実施形態によれば、与えられたトレーニング強度に応じてノイズの属性が決定され、トレーニング強度に応じて多様なノイズが対象音声に付加される。例えば、同じ対象音声およびノイズ音源が用いられる場合であっても、達成レベルが上がるにつれノイズの音量が上がっていき、難易度は徐々に高くなる。別の例で、同じ対象音声が用いられる場合であっても、達成レベルが低いうちは自然音のノイズが用いられ、達成レベルが高くなると人工音のノイズが用いられるようになり、難易度は徐々に高くなる。

２．第２実施形態
図７は、第２実施形態に係る聴覚トレーニング装置２の機能構成を例示する図である。聴覚トレーニング装置２は、第１実施形態に係る聴覚トレーニング装置１において、対象音声がより限定された、特殊なものであると捉えることができる。以下、第２実施形態における対象音声を特に「問題音声」という。問題音声は、ある音群（以下「正解音群」という）に属する音が時間軸上で順番に配置された（時系列に配置された）音声である。ただし、問題音声には、時々、正解音群と異なる音群（以下「不正解音群」という）に属する音が含まれる。正解音群に含まれる音を正解音といい、不正解音群に含まれる音を不正解音という。一例において、音群に含まれる各音は、文字列（例えば物の名称）を発声する音声を合成したものである。ユーザは、どの音が正解音で、どの音が不正解音であるかを判断するため、集中して問題音声を聞く。これにより聴力のトレーニング効果が高まる。なお以下において、第１実施形態と共通する事項および共通してもよい事項については説明を省略する。

聴覚トレーニング装置２は、選択手段２１および音声合成手段２２を有する。記憶手段１３は、問題音声を生成するための素材を記憶する。この素材は、例えば、問題音声が文字列（例えば物の名称）を発声する音声である場合には、物の名称を示す語群である。すなわち、記憶手段１３は、複数の語群に属する複数の語句を記憶する。各語句は物の名称を示す。複数の語群にはそれぞれ属性が割り当てられており、複数の語句は、この属性に応じて複数の語群に分類される。

選択手段２１は、複数の語群の中から正解語群および不正解語群を選択する。音声合成手段２２は、正解語群および不正解語群の中から選択された語句を発声する音が時間軸上で順番に配置された音声を合成する。この音声が問題音声である。正解語群に属する語句を発声した音声が正解音であり、不正解語群に属する語句を発声した音声が不正解音である。記憶手段１３は、音声合成を行うための音声素片データを記憶しており、音声合成手段２２は、この音声素片データを用いて問題音声を合成する。受け付け手段１７は問題音声に対する解答の入力を受け付ける。第２実施形態における解答は、第１実施形態におけるフィードバックの一例であると捉えることができる。

図８は、第２実施形態に係る問題音声の合成処理を例示するシーケンスチャートである。ステップＳ２１において、受け付け手段１７は、トレーニング開始の指示を受け付ける。トレーニング開始の指示は、所定のＵＩ画面を介して受け付けられる。

図９は、トレーニング開始の指示を受け付けるＵＩ画面６０を例示する図である。受け付け手段１７は、ＵＩ画面６０を表示する。ＵＩ画面６０は、画像オブジェクト４１を含まない点においてＵＩ画面４０（図４）と相違している。すなわち、第２実施形態において対象音声としては問題音声が用いられるので画像オブジェクト４１は不要である。なお、ＵＩ画面６０は、例えば、正解音群の属性を指定するための画像オブジェクトを有してもよい。

再び図８を参照する。トレーニング開始の指示が受け付けられると、受け付け手段１７は、音声合成手段２２に対して問題音声の合成を指示する（ステップＳ２２）。問題音声の合成が指示されると、音声合成手段２２は、記憶手段１３に記憶されている複数の語群の中から、問題音声に用いる正解語群および不正解語群を選択するよう、選択手段２１に指示する（ステップＳ２３）。選択手段２１は、この指示に応じて正解語群および不正解語群を選択する（ステップＳ２４）。

図１０は、複数の語群を例示する図である。ここでは、語群Ｇ１〜Ｇ３の３つの語群が例示される。語群Ｇ１には属性「果物」が割り当てられている。語群Ｇ１には、果物の名前（「リンゴ」、「みかん」、「バナナ」等）が属する。語群Ｇ２には属性「動物」が割り当てられている。語群Ｇ２には、動物の名前（「犬」、「猫」、「馬」等）が属する。語群Ｇ３には属性「乗り物」が割り当てられている。語群Ｇ３には、乗り物の名前（「自動車」、「自転車」、「電車」、「馬」等）が属する。語句を分類する観点としては種々のものが適用可能であるので、１つの語句が異なる複数の語群に属する場合がある（図８の例においては、「馬」という語句が語群Ｇ２および語群Ｇ３の双方に属している）。

再び図８を参照する。音声合成手段２２は、記憶手段１３から、正解語群および不正解語群を読み出す（ステップＳ２５）。音声合成手段２２は、正解語群および不正解語群を用いて問題音声を合成する（ステップＳ２６）。問題音声の合成は、具体的には例えば以下のように行われる。音声合成手段２２は、正解語群および不正解語群の中から語句を１つずつ選択し、語句列を生成する。正解語群および不正解語群の中から語句を選択するアルゴリズムおよび語句列において不正解語句が含まれる割合は、聴覚トーニングプログラムにおいて定義される。例えば、この語句列に含まれる正解語句の数は不正解語句の数よりも多い。また、この語句列において近接する２つの不正解語句の間には必ず正解語句が挟まれており、２つの不正解語句が連続することはない。また、ある語句が正解語群および不正解語群の双方に属する場合、その語句は問題音声には用いられないか、または正解語句としてのみ用いられる。音声合成手段２２は、この語句列を発声する音声を合成する。記憶手段１３は、音声合成に用いる素片データベースを記憶しており、音声合成手段２２はこの素片データベースを用いて音声合成を行う。素片データベースは、音韻の素片を話者毎に記録したデータベースである。素片データベースには、複数の話者による素片が記録されていてもよく、この場合、音声合成手段２２は、ユーザの指示または所定のアルゴリズムに従って話者を選択する。

図１１は、問題音声を例示する図である。この例では、語群Ｇ１が正解語群であり、語群Ｇ２が不正解語群である。これらの語群に含まれる語句が間隔を空けて順番に発声される。具体的には「リンゴ」、「みかん」、「バナナ」、「桃」、「犬」、「梨」と発声する音声が生成される（このうち「犬」が不正解音で、他は正解音である）。音声合成手段２２は、生成した問題音声を取得手段１１に出力する（ステップＳ２７）。すなわち、取得手段１１は、音声合成手段２２から問題音声を取得する。以降の処理は、基本的に図３のシーケンスと共通である。

ただし、本実施形態では受け付け手段１７が受け付けるフィードバックは、問題音声に対する解答である。問題音声に対する解答は、不正解音に関する情報であり、例えば以下の（１）〜（３）のうち少なくとも１つを含む。
（１）不正解音の数
受け付け手段１７は、問題音声に対する回答として不正解音の数の入力を受け付ける。図１１の例では不正解音の数は１である。
（２）不正解音の文字列
受け付け手段１７は、問題音声に対する回答として不正解音の数の入力を受け付ける。図１１の例では、「犬」という文字列が入力される。
（３）不正解音が出力されたタイミング
受け付け手段１７は、タッチスクリーン１０４にボタンを含むＵＩ画面（図示略）を表示する。ユーザは、問題音声を聞きながら、不正解音が出力されたと判断したタイミングでそのボタンを押す。
なお、解答は、（１）〜（３）のうち２つ以上の組み合わせであってもよい。例えば、受け付け手段１７は、不正解音の数およびその文字列の入力を受け付けてもよい。

なお、出力手段１６は、問題音声の出力に先立ち、不正解音を特定するためのヒントをユーザに与えてもよい。このヒントは、例えば、不正解音群の属性（例：「果物の中に動物が混じっています」）、または不正解音の数（例：「不正解音は３つです」）である。

トレーニング強度に応じてノイズの属性を変更する点は第１実施形態で説明したとおりである。第２実施形態においては、ノイズの属性の変更に加えて、または代えて、正解音または不正解音の属性が変更されてもよい。すなわち、第２実施形態において、決定手段１４は、問題音声およびこの問題音声に付加するノイズの少なくとも一方の属性を、与えられたトレーニング強度に応じて決定する。問題音声の属性を変更する場合、その決定は、音声合成の前に行われる。

一例において、問題音声において変更される属性は、例えば、不正解音を発声する音声の基本周波数（ピッチ）である。この例において、音声合成手段２２は、トレーニング強度が強くなるにつれ、不正解音群に属する音を発声する際の音声の周波数を、正解音群に属する音を発声する際の音声の周波数よりも高く設定する。人によっては高い周波数帯の音が聞こえづらい場合があり、不正解音をこのような聞こえづらい周波数帯の音声で出力することにより、ユーザを問題音声および不正解音の判断により集中させることができる。なおユーザが聞こえにくい周波数帯は、あらかじめ測定により特定されてもよい。また、相対的に低周波数の音が聞こえづらいユーザに対しては、トレーニング強度が強くなるにつれ、不正解音群に属する音を発声する際の音声の周波数を、正解音群に属する音を発声する際の音声の周波数よりも低く設定してもよい。このように問題音声の周波数を調整することによって難易度を調整することができる。

別の例において、問題音声において変更される属性は、不正解音を発声する音声の話者である。この例において、音声合成手段２２は、正解音および不正解音の音声を異なる話者の素片データを用いて合成する。音声合成手段２２は、トレーニング強度が強くなるにつれ、異なる種類の話者を用いる。音声合成手段２２は、例えばトレーニング強度がしきい値よりも小さいときは、正解音および不正解音をいずれも子供の話者による素片データを用いて合成し、トレーニング強度がしきい値よりも大きいときは、正解音を大人の話者による素片データを用い、不正解音を子供の話者による素片データを用いて音声合成する。なおこれはあくまで例示であり、トレーニング強度がしきい値よりも大きいときは、正解音を子供の話者による素片データを用い、不正解音を大人の話者による素片データを用いて音声合成してもよい。あるいは、正解音および不正解音を、男性の話者および女性の話者を用いて区別してもよいし、若い話者および年寄りの話者を用いて区別してもよい。このように話者を使い分けることによって難易度を調整することができる。

さらに別の例において、問題音声において変更される属性は、正解音声において不正解音が混入される割合である。この例において、音声合成手段２２は、トレーニング強度が強くなるにつれ、不正解音が混入される割合を低減する。さらに別の例において、問題音声において変更される属性は、正解音群と不正解音群との距離である。各音群について、音の持つ意味を数値化した意味空間における位置が定義される。選択手段２１は、トレーニング強度が強くなるにつれ、互いに距離が近い２つの音群を正解音群および不正解音群として選択する。

なお、ここでは、正解語群に属する語句を発声する音が正解音として、不正解語群に属する語句を発声する音が不正解音として用いられる例を説明した。しかし、正解音および不正解音はこれらに限定されない。例えば、問題音声に用いられる語群は一つであり、正解音と不正解音とで話者を異ならせてもよい。この場合において、トレーニング強度が低いうちは正解音が大人の男性の声で不正解音が女の子の声というように声質が大きく異なる話者が選択され、トレーニング強度が上がるにつれ、正解音が大人の男性の声で不正解音が別の男性の声といったように、声質の似た話者が選択されてもよい。別の例において、正解音および不正解音は、語句を発声した合成音声ではなく、あらかじめデータとして用意された音であってもよい。この音は、例えば、楽器の音（たとえばトランペットの音が正解音で、サックスの音が不正解音）、自動車のエンジン音（特定の自動車メーカーのエンジン音が正解音で、それ以外の自動車メーカーのエンジン音が不正解音）であってもよい。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。第１実施形態、第２実施形態、および以下の変形例に含まれる事項のうち２つ以上のものが組み合わせて用いられてもよい。

トレーニング強度に応じて変更されるノイズの属性は実施形態において例示したものに限定されない。ノイズ音源名および音量に加えて、または代えて、他の属性が変更されてもよい。変更される属性は、例えば、対象音声に対するノイズの相対再生速度であってもよい。例えば、決定手段１４は、トレーニング強度が強いほどノイズの再生速度を速くし、トレーニング強度が弱いほど再生速度を遅くする。あるいは、変更される属性は、ノイズ音源の数であってもよい。例えば、決定手段１４は、トレーニング強度が強いほどノイズ音源の数を多くし、トレーニングの強度が弱いほどノイズ音源の数を少なくする。また、決定手段１４は、ノイズの複数種類の属性を複合的に変更してもよい。

決定手段１４がノイズの属性を決定する際に考慮するユーザの属性は、そのユーザからのフィードバックに限定されない。ユーザからのフィードバックに代えて、または加えて、ユーザの性別、年齢、出身地、または既往歴等の情報が考慮されてもよい。また、決定手段１４は、ユーザの属性を考慮せず、トレーニング強度のみに応じてノイズの属性を決定してもよい。

トレーニング強度を得る手法は実施形態において例示したものに限定されない。例えば、取得手段１２は、達成レベルそのものをトレーニング強度として取得してもよい。この場合、トレーニング強度はユーザの入力によらず聴覚トレーニングプログラムにより自動的に決定される。あるいは、取得手段１２は、トレーニング深度そのものをトレーニング強度として取得してもよい。この場合、トレーニング強度はユーザの入力によって決定される。

出力手段１６は、音信号のレベルで加算された対象音声およびノイズを同一のヘッドフォンから出力するものに限定されない。例えば、出力手段１６は、複数のスピーカユニットを有し、出力手段１６は、一のスピーカユニットから対象音声を、他のスピーカユニットからノイズを出力してもよい。この場合、対象音声およびノイズは音信号のレベルでは加算されない。

聴覚トレーニング装置１および聴覚トレーニング装置２の機能構成は図１および図７で例示したものに限定されない。図１または図７で例示した機能の一部が省略されてもよいし、図１または図７に無い機能が追加されてもよい。また、聴覚トレーニング装置１および聴覚トレーニング装置２のハードウェア構成は図２で例示したものに限定されない。要求される機能を実現できるものであれば、聴覚トレーニング装置１および聴覚トレーニング装置２はどのようなハードウェア構成を有していてもよい。例えば、聴覚トレーニング装置１は、ヘッドフォン１０６に代えてスピーカを有してもよい。また、物理的に複数の装置が協働して聴覚トレーニング装置１として機能してもよい。この場合において、聴覚トレーニング装置１の機能の一部がネットワーク上のサーバに実装されてもよい。

実施形態で示したＵＩ画面はあくまで例示であり、聴覚トレーニング装置１において用いられるＵＩ画面はこれに限定されない。また、実施形態で説明した対象音声およびノイズ音源の種類、トレーニング深度のレベル、ユーザ情報等はあくまで例示であって、本発明はこれに限定されるものではない。

ユーザのフィードバックに応じた音量の決定方法は実施形態で例示したものに限定されない。実施形態においては、ノイズ音源の時間領域のうち、ユーザから聞き取りづらいというフィードバックが入力された部分の音量を他の部分よりも低く設定する例が示された。しかし、ノイズの相対的音量がある値（第１値）の場合において一部の時間領域で対象音声が聞き取りづらいというフィードバックが入力されたときは、決定手段１４は、次にそのユーザに対してトレーニングを提供するときに、ノイズ音源全体の音量を、前回よりも低くしてもよい。

本発明における聴覚トレーニング装置は、聴覚を介して脳を刺激するものであれば、その使用目的は聴力の向上または認知症の予防に限定されず、どのようなものであってもよい。例えば、聴覚トレーニング装置は、聴覚を介した脳への刺激により、最終的に記憶の定着を目的とするものであってもよい。具体的には、各種の授業、セミナー、または講習会を録音した音声を対象音声として用い、これらの授業等における学習内容の記憶を定着させるため、聴覚トレーニング装置が用いられてもよい。

聴覚トレーニングプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。なお、聴覚トレーニングプログラムは、図３のすべてのステップを備える必要はなく、その一部のみを備えていてもよい。

Claims (12)

1. 決められた正解音群および不正解音群の中から選択された音が時系列に配置された問題音声を取得する取得手段と、
   前記問題音声および当該問題音声に付加するノイズの少なくとも一方の属性を与えられたトレーニング強度に応じて決定する決定手段と、
   前記問題音声に対し、前記決定手段により決定された属性を有するノイズを付加する付加手段と、
   前記付加手段により前記ノイズが付加された前記問題音声を出力する出力手段と
   を有する聴覚トレーニング装置。
2. 前記問題音声により示される音のうち前記不正解音群に属する音に関する解答の入力を受け付ける受け付け手段
   を有する請求項１に記載の聴覚トレーニング装置。
3. 前記受け付け手段は、前記問題音声により示される音のうち前記不正解音群に属する音の数を前記解答として受け付ける
   請求項２に記載の聴覚トレーニング装置。
4. 前記受け付け手段は、前記問題音声により示される音のうち前記不正解音群に属する音を示す文字列を前記解答として受け付ける
   請求項２に記載の聴覚トレーニング装置。
5. 前記受け付け手段は、前記出力手段が前記問題音声を出力しているときに前記不正解音群に属する音が出力されたタイミングを前記解答として受け付ける
   請求項２に記載の聴覚トレーニング装置。
6. 音声素片を記憶する記憶手段と、
   前記音声素片を用いて前記問題音声を合成する音声合成手段と
   を有し、
   前記取得手段は、前記音声合成手段により合成された前記問題音声を取得する
   請求項１ないし５のいずれか一項に記載の聴覚トレーニング装置。
7. 前記音声合成手段は、前記不正解音群に属する音を発声する際の音声の周波数を、前記正解音群に属する音を発声する際の音声の周波数よりも高くする
   請求項６に記載の聴覚トレーニング装置。
8. 前記記憶手段は、複数の話者の音声素片を記憶し、
   前記音声合成手段は、前記複数の話者の中から、前記トレーニング強度に応じて選択された話者の音声素片を用いて前記問題音声を合成する
   請求項６または７に記載の聴覚トレーニング装置。
9. 前記記憶手段は、各々が複数の語句を含む複数の語群を記憶し、
   前記聴覚トレーニング装置は、前記複数の語群の中から正解語群および不正解語群を選択する選択手段を有し、
   前記音声合成手段は、前記正解語群および前記不正解語群の中から選択された語句が時間軸上で順番に発声した音声を合成する
   請求項６ないし８のいずれか一項に記載の聴覚トレーニング装置。
10. 前記決定手段により決定される属性は、
    ノイズ音源、
    音量、
    前記問題音声に対する当該ノイズの相対再生速度、および
    ノイズ音源の数
    のうち少なくとも１つを含む
    ことを特徴とする請求項１ないし９のいずれか一項に記載の聴覚トレーニング装置。
11. 決められた正解音群および不正解音群の中から選択された音を順番に発声する問題音声を取得するステップと、
    前記問題音声および当該問題音声に付加するノイズの少なくとも一方の属性を与えられたトレーニング強度に応じて決定するステップと、
    前記問題音声に対し、前記決定手段により決定された属性を有するノイズを付加するステップと、
    前記ノイズが付加された前記問題音声を出力するステップと
    を有する聴覚トレーニング方法。
12. コンピュータに、
    決められた正解音群および不正解音群の中から選択された音を順番に発声する問題音声を取得するステップと、
    前記問題音声および当該問題音声に付加するノイズの少なくとも一方の属性を与えられたトレーニング強度に応じて決定するステップと、
    前記問題音声に対し、前記決定手段により決定された属性を有するノイズを付加するステップと、
    前記ノイズが付加された前記問題音声を出力するステップと
    を実行させるためのプログラム。

Images