JP5997369B2 - Rehabilitation support device and control method thereof - Google Patents
Rehabilitation support device and control method thereof Download PDFInfo
- Publication number
- JP5997369B2 JP5997369B2 JP2015509604A JP2015509604A JP5997369B2 JP 5997369 B2 JP5997369 B2 JP 5997369B2 JP 2015509604 A JP2015509604 A JP 2015509604A JP 2015509604 A JP2015509604 A JP 2015509604A JP 5997369 B2 JP5997369 B2 JP 5997369B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- data
- noise data
- rehabilitation
- mixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000013500 data storage Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 25
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 14
- 230000003935 attention Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010013496 Disturbance in attention Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 201000007201 aphasia Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
- G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H2200/00—Computerized interactive toys, e.g. dolls
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Rehabilitation Tools (AREA)
Description
本発明は、注意障害等のリハビリテーションの支援を行うリハビリテーション支援装置に関する。 The present invention relates to a rehabilitation support apparatus that supports rehabilitation such as attention disorder.
注意障害の言語リハビリテーションでは、計算問題を解いたり、国語の問題を解いたりといった、一つの事柄に集中するような課題が与えられる。 In language rehabilitation for attention disorder, the task of concentrating on one thing, such as solving a calculation problem or solving a national language problem, is given.
この分野においては、手話や筆談による意思伝達にかわる音声出力装置に関する提案がある程度で(例えば特許文献1参照)、注意障害に対する言語リハビリテーションを支援するための適切な装置がない状況である。 In this field, there are some proposals related to a voice output device that replaces intention communication by sign language or writing (see, for example, Patent Document 1), and there is no suitable device for supporting language rehabilitation for attention disorder.
注意障害の言語リハビリテーションにおいて、選択的注意の一例として、カクテルパーティー効果が挙げられる。カクテルパーティー効果は複数の音声の中から特定の音声に対して注意を傾けなければ達成できないことから、注意障害の良い訓練になると考えられるが、上記のとおり、適切な訓練装置がないのが現状である。したがって、注意障害の言語リハビリテーションを支援する装置を提供することは、効果的な訓練を実施する上で重要な要請である。 An example of selective attention in language rehabilitation for attention disorder is the cocktail party effect. The cocktail party effect can be achieved only by paying attention to a specific voice from multiple voices, so it is thought that it will be a good exercise for attention disorder, but as mentioned above, there is no appropriate training device at present. It is. Therefore, providing a device that supports language rehabilitation for attention disorder is an important requirement for effective training.
その他の目的および利点については、以下の説明によって明らかになろう。 Other objects and advantages will become apparent from the following description.
本発明の一側面によれば、注意障害のリハビリテーションの支援を行うリハビリテーション支援装置であって、複数種類の音声データを記憶する音声データ記憶手段と、複数種類の雑音データを記憶する雑音データ記憶手段と、前記雑音データ記憶手段から1つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成手段と、前記音声データ記憶手段から選択された音声データに前記雑音作成手段により作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成手段と、前記作成された劣化音声データを音響出力する音響出力手段とを有し、前記雑音作成手段は、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置が提供される。 According to one aspect of the present invention, a rehabilitation support apparatus for supporting rehabilitation of attention disorder, a voice data storage unit that stores a plurality of types of voice data, and a noise data storage unit that stores a plurality of types of noise data Noise generating means for creating mixed noise data obtained by selecting and mixing one or more pieces of noise data from the noise data storing means, and voice data selected from the voice data storing means by the noise generating means Degraded voice creating means for creating degraded voice data by superimposing the created mixed noise data, and acoustic output means for acoustically outputting the created degraded voice data, wherein the noise creating means includes the noise data It is possible to adjust at least one of the number of noise data to be selected and mixed from the storage means and the gain of the mixed noise data. Rehabilitation supporting device according to claim is provided.
本発明によれば、注意障害の言語リハビリテーションを効果的に行うことができる。 According to the present invention, language rehabilitation for attention disorder can be effectively performed.
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。 Other features and advantages of the present invention will become apparent from the following description with reference to the accompanying drawings. In the accompanying drawings, the same or similar components are denoted by the same reference numerals.
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited to the following embodiment, It shows only the specific example advantageous for implementation of this invention. Moreover, not all combinations of features described in the following embodiments are indispensable for solving the problems of the present invention.
図1は、実施形態における言語リハビリテーション支援装置としてのロボット1の外観構成を示す図である。本実施形態におけるロボット1は、患者とインタラクションをとるものであって、患者に対しリハビリテーション(以下「リハビリ」と略記する。)用の言語表現を行う。
FIG. 1 is a diagram illustrating an external configuration of a
ロボット1は、一般的なコンピュータの外観を持つものであってもよいが、患者とインタラクションをとりながらリハビリを行うものであるから、患者がリラックスして親しみが湧くような外観構成を有するとよいであろう。ロボット1は、例えば無線通信を行うためのアンテナ111を有する。また、ロボット1には、人の耳及び口に対応する位置にそれぞれマイクロホン114及びスピーカ112が設けられている。また、ロボット1は、言語聴覚士や患者が使用するためのタッチパネル式の表示・入力デバイスであるタブレット端末150を、ケーブル151を介して接続可能である。タブレット端末150のタッチパネルは、ユーザの指によるタップやなぞり動作を検出可能であるものとする。もっとも、このようなタブレット端末150の機能はロボット1自体が予め備えている構成としてもよい。
The
図2は、ロボット1の内部構成を示すブロック図である。ロボット1は、装置全体の制御を司るCPU101、主記憶装置として機能するRAM102、制御プログラムや固定的なデータを記憶しているROM103をはじめ、以下の構成を備える。
FIG. 2 is a block diagram showing the internal configuration of the
無線通信コントローラ105は、アンテナ111を介して行う無線通信を制御する。HDD106はハードディスク装置であり、オペレーティグシステム(OS)107やリハビリ用プログラム108を格納する他、原音データベース(DB)116、雑音DB117、患者DB118を保持する。原音DB116は、無響室等の静かな環境で発音された単語や句、文を録音したデータを収めている。これらは挨拶文、政治経済、サイエンス等の分野ごとに分類されているとよい。また、原音DB116における各音声データの音圧レベルは正規化されていることが望ましい。雑音DB117は、音質評価用にしばしば用いられるホワイトノイズやピンクノイズをはじめ、自動車走行音、工場騒音、鳥や動物の鳴き声といった各種雑音のデータを収めている。また、カクテルパーティーを模擬する人のざわめき音を形成するための、人の喋り声のデータも複数種類(例えば20種類)収めている。雑音DB117における各雑音データの音圧レベル(ノイズレベル)も正規化されていることが望ましい。患者DB118は、被検者となる患者の個人情報、障害種別及びその重症度を含む各種情報を保持する。
The
インタフェース(I/F)109は、タブレット端末150をケーブル151を介して接続する。音声コントローラ110は、不図示のA/Dコンバータ、D/Aコンバータ、アンチエイリアシングフィルタ等を含み、スピーカ112を用いた音声出力及びマイクロホン114からの音声入力を行う。
An interface (I / F) 109 connects the
図3は、リハビリ用プログラム108のモジュール構成の例を示している。患者登録/検索モジュール121は、患者DB118への新規登録処理、及び患者DB118からの患者の検索処理に係るファンクションモジュールである。リハビリ支援メインモジュール123は、ロボット1によるリハビリの実行を担う。音声合成モジュール124は、ロボット1によるリハビリにおける音響出力を行う際に音声合成を実行する。音声認識モジュール125は、患者の発話を認識する。この音声認識は、単語認識機能のみならず、文を認識可能な連続音声認識の機能を備える。
FIG. 3 shows an example of the module configuration of the
図4は、患者DB118のデータ構造例を示す図である。図示するように、各データエントリには、固有の患者IDが付与され、氏名、生年月日等の患者の個人情報が記述される他、障害種別及びその重症度、及びリハビリの履歴が記述される。障害種別には例えば、注意障害及び失語症が含まれる。また、ここでは、重症度の値として例えば、軽度には1が、中度には2が、重度には3が設定される。リハビリ履歴は、過去にリハビリを行った日時や提示した音声やその回数等を含み、これを参照することで言語聴覚士は今後のリハビリの計画を立てやすくなるであろう。
FIG. 4 is a diagram illustrating a data structure example of the
図5は、本実施形態におけるリハビリ支援処理のフローチャートである。このフローチャートに対応するプログラムは、リハビリ用プログラム108に含まれ、RAM102にロードされてCPU101によって実行される。このプログラムが実行されるとまず、図6に示されるようなホーム画面がタブレット端末150に表示される。図示のように、ホーム画面は、患者登録ボタン601、患者選択ボタン602、リハビリ開始ボタン603を含む。ユーザ(例えば言語聴覚士)がいずれかのボタンをタップすると、対応する画面に遷移することができる。
FIG. 5 is a flowchart of the rehabilitation support process in the present embodiment. A program corresponding to this flowchart is included in the
患者登録ボタン601又は患者選択ボタン602がタップされることで、患者の登録又は選択が行われる(S1)。患者の登録及び選択の詳細は本発明と直接関係がないので、それらの画面例を図示することは、省略する。登録時には、図4に示したような事項を記述していくことになる。登録又は選択が完了すると画面はホーム画面に戻るものとする。
The patient registration or selection is performed by tapping the
S2では、リハビリ開始ボタン603がタップされるのを待機している。リハビリ開始ボタン603がタップされると、処理は原音及び雑音を選択する処理(S3)へと進む。ここで画面は図7に示すような音源選択画面に遷移する。図7の音源選択画面において、ユーザが原音声選択ボタン701をタップすると、候補ウィンドウ702が表示されるので、その中から所望するジャンルを選択できる。なお、「0:自動選択」を選択すると、原音の選択は装置側に委ねられる。このときロボット1は原音を所定の順序で原音を選んでもよいし、ランダムに選んでもよい。次にユーザが雑音種類選択ボタン703をタップすると、候補ウィンドウ704が表示されるので、その中から所望する雑音の種類を選択できる。なお、「0:自動選択」を選択すると、上記と同様、ロボット1は、所定の順序又はランダムに、雑音を選択することになる。
In S2, it waits for the
ユーザがカクテルパーティーモード選択ボタン705をタップすると、ロボット1は、雑音種類選択ボタン703による雑音選択を無効とし、カクテルパーティー効果(すなわち音声の選択的聴取)の弁別訓練を行うモードに入る。このカクテルパーティーモードでの処理については後述する。
When the user taps the cocktail party
キャンセルボタン706がタップされると、この画面での入力内容を破棄して図6のホーム画面に戻る。一方、ネクストボタン707がタップされると、この画面での入力内容に応じて次の画面に遷移する。具体的には、S4でカクテルパーティーモード選択ボタン705のON/OFFを確認し、カクテルパーティーモード選択ボタン705がOFFの場合、処理はS5に進む。S5では、選択された原音データと雑音データとを重畳した音声データを作成する。本明細書において、原音データに雑音データを重畳して得た音声データを「劣化音声データ」という。このとき、画面は図9に示されるようなリハビリ実行画面に遷移する。図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S9)。患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。あるいは、出力された劣化音声の話題に関する問題を言語聴覚士が出題し、患者にそれを回答してもらうようにしてもよい。劣化音声を聞き取ることは一般に、クリアな原音を聞くよりも集中力を要する。そのため、このような劣化音声を聴取してもらうことは、注意障害の患者にとっては注意力向上のよい訓練となる。また、雑音が重畳された劣化音声を聴取することは脳活動の活性化につながり、これが注意障害の患者に良い影響を与える側面もあると考えられる。
When the cancel
言語聴覚士は、患者の回答につき正解/不正解の情報を入力することができる(S10)。例えば、患者の回答が正解である場合は、図9の正解ボタン903をタップし、不正解である場合は、不正解ボタン904をタップする。あるいは、CPU101は、音声認識モジュール125をコールして、マイクロホン114を介して入力した患者の回答に係る発声を音声認識し、正解/不正解を自動判定してもよい。言語聴覚士によって正解ボタン903がタップされ、又は、音声認識によって正解と判定された場合は、CPU101は音声合成モジュール124をコールして、音声合成により「正解です!」との合成音をスピーカ112から発するとよい。あわせて、ロボット1が喜ぶ動作を行ってもよいであろう。なお、「戻る」ボタン905がタップされると、前画面に戻る。「次の音」ボタン906がタップされると、処理を繰り返すことが決定され(S11でNO)、S3に戻って、処理が繰り返される。「やめる」ボタン907がタップされると、これまでの正解/不正解の情報等がリハビリ履歴として患者DB118に記憶される。
The speech hearing person can input correct / incorrect information about the patient's answer (S10). For example, if the patient's answer is correct, the
一方、カクテルパーティーモード選択ボタン705がON状態の場合、処理はS4からS6に進み、S5の処理に代えてS6〜S8の処理が実行される。処理がS4からS6に進むと、画面は図8のカクテルパーティーモードの設定画面に遷移する。図8のカクテルパーティーモードの設定画面において、ユーザが「人のざわめき人数」設定ボタン801をタップすると、候補ウィンドウ802が表示されるので、その中から所望するざわめき人数Pを選択することができる。また、ユーザは、スライドバー803をスライドさせることで作成する雑音データのノイズレベルLを変更することができる。この例では、スライドバー803を左に移動させるとノイズレベルLを低減し、右に移動させるとノイズレベルLを増大させることができる。「戻る」ボタン804がタップされると、ここでの設定値は破棄されて前画面に戻る。ネクストボタン805がタップされると、ここでの設定値が有効化されて、処理はS7に進む。S7では、CPU101は、雑音DB117から、設定されたP個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルLに対応するゲインで増幅することで、混合雑音データを作成する。ここで、ノイズレベルLに対応するゲインとは、ノイズレベルLを達成するためのゲインをいう。雑音DB117における各雑音データのノイズレベルが正規化されていれば、ゲインは、元のノイズレベルに対する設定されたノイズレベルLの比率によって、容易に求めることができる。ゲインによる増幅は、上記のとおりデジタルデータの各サンプルにゲイン値を乗じることで行ってもよいし、音声コントローラ110又はスピーカ112に含まれうる不図示の可変増幅器の増幅率をそのゲインに対応する値に設定することで行ってもよいことは、当業者には容易に理解されよう。なお、本実施形態においては、ざわめき人数Pは1をとりうるものとする。したがって、P=1の場合の混合雑音は実質的には単一種類の雑音そのものである。その後、処理はS9に進み、CPU101は、S3で選択された原音データにS8で作成した混合雑音データを重畳して劣化音声データを作成する。このとき、画面は図9のリハビリ実行画面に遷移する。そして、上述したように、図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S9)。
On the other hand, when the cocktail party
このように、本実施形態によれば、リハビリテーション支援装置としてのロボット1は、カクテルパーティーモードを有し、カクテルパーティーの環境音を作成する際に、人のざわめき人数及びノイズレベルの少なくともいずれかを調整可能である。人のざわめき人数を増やし、また、ノイズレベルを増大すれば、音響出力された劣化音声データの聴取者による了解性(正しく理解されたかどうか)に関する難易度を増加することができる。逆に、人のざわめき人数を少なくし、また、ノイズレベルを低減すれば、難易度を低下させることができる。これにより、注意障害の患者に対して、カクテルパーティー効果の訓練を効率的に行うことができる。
As described above, according to the present embodiment, the
<変形例1>
以下では、カクテルパーティーモードにおいて、患者の聞き取り能力に応じた適切な劣化音声データを自動で作成する処理について説明する。図10は、カクテルパーティーモードにおけるリハビリ実行処理の変形例に係るフローチャートである。カクテルパーティーモードに入ると、CPU101はまず、難易度Dの初期設定を行う(S21)。ここで、難易度とは、音響出力の聴取者による劣化音声データの了解性に関する困難度合をいう。難易度Dの初期値は例えば、図4に示した患者DB118に記述されている障害の重症度に応じた値とするとよい。すなわち、上述したように重症度の値として、軽度には1、中度には2、重度には3が設定されている場合、難易度Dの初期値はそれぞれ、1、2、3が対応する。<
In the following, a process for automatically creating appropriate deteriorated voice data according to the patient's listening ability in the cocktail party mode will be described. FIG. 10 is a flowchart according to a modification of the rehabilitation execution process in the cocktail party mode. When entering the cocktail party mode, the
次に、人のざわめき人数とノイズレベルをそれぞれ、難易度Dに依存した値に設定する(S22)。すなわち、人のざわめき人数はP(D)と表され、ノイズレベルはL(D)と表される。ここで、ロボット1は、図11に示されるような、難易度、ざわめき人数、ノイズレベルの対応テーブルを保持しているとよい。この対応テーブルによれば、例えば難易度Dが3の場合、人のざわめき人数Pは3、ノイズレベルLは1として求められる。
Next, the number of people and the noise level are set to values depending on the difficulty level D (S22). That is, the number of people rumbling is represented as P (D), and the noise level is represented as L (D). Here, the
次に、CPU101は、雑音DB117から、設定されたP個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルLに対応するゲインで増幅することで、混合雑音データを作成する(S23)。次に、CPU101は、図7の画面で選択されたジャンルから、あるいはランダムに、原音データを選択する(S24)。そして、CPU101は、S24で選択した原音データにS23で作成した混合雑音データを重畳して劣化音声データを作成する(S25)。このとき、画面は図9のリハビリ実行画面に遷移する。そして、上述したように、図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S26)。
Next, the
患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。言語聴覚士は、患者の回答につき正解/不正解の情報を入力する(S27)。例えば、患者の回答が正解である場合は、図9の正解ボタン903をタップし、不正解である場合は、不正解ボタン904をタップする。次にS28で、出題する原音データがまだ残っている場合は、S24に戻って、他の原音データを選択して処理を繰り返す。こうして正解率を算出するための判定結果の母数が蓄積されていく。
The patient listens to the output deteriorated sound, for example, and repeats the sound. The speech hearing person inputs correct / incorrect information about the patient's answer (S27). For example, if the patient's answer is correct, the
そして、S29で、正解率CRを算出する。算出した正解率CRが第1のしきい値TH1を超えたか否かを判定する(S30)。正解率CRが第1のしきい値TH1を超えた場合(S30でYES)は、その患者にとっては出題が易しかったと評価できる。そこでこの場合は難易度Dを1段階、上昇させる(S31)。ここで図9の「やめる」ボタン907がタップされて終了割込みがないかぎり、S22に戻って処理を繰り返す。
In S29, the correct answer rate CR is calculated. It is determined whether or not the calculated accuracy rate CR exceeds the first threshold value TH1 (S30). When the correct answer rate CR exceeds the first threshold value TH1 (YES in S30), it can be evaluated that the questions were easy for the patient. Therefore, in this case, the difficulty level D is increased by one level (S31). Here, unless the “quit”
次に、正解率CRが第1のしきい値TH1より低い第2のしきい値TH2を下回る場合(S32でYES)は、その患者にとっては出題が難しかったと評価できる。そこでこの場合は難易度Dを1段階引き下げる(S33)。ここで図9の「やめる」ボタン907がタップされて終了割込みがないかぎり、S22に戻って処理を繰り返す。
Next, when the correct answer rate CR falls below the second threshold value TH2 that is lower than the first threshold value TH1 (YES in S32), it can be evaluated that the questions are difficult for the patient. Therefore, in this case, the difficulty level D is lowered by one step (S33). Here, unless the “quit”
以上の処理によれば、自動的に効率よく患者に対し難易度を設定することが可能になる。 According to the above processing, it is possible to automatically and efficiently set the difficulty level for the patient.
<変形例2>
上述の変形例1は、算出した正解率に応じて難易度が変更されるように、雑音データの混合数とノイズレベルとの少なくともいずれかを変更するものであった。これに対し、算出した正解率に応じて難易度が変更されるように、雑音の周波数帯域を調整するようにしてもよい。以下、これを変形例2として説明する。<
In the first modification described above, at least one of the number of mixed noise data and the noise level is changed so that the degree of difficulty is changed according to the calculated accuracy rate. On the other hand, the frequency band of noise may be adjusted so that the difficulty level is changed according to the calculated accuracy rate. Hereinafter, this will be described as a second modification.
例えば、リハビリ用プログラム108は、混合雑音データの周波数帯域を変更可能な帯域制限フィルタモジュールを更に含む。帯域制限フィルタモジュールは、例えば可変バンドパスフィルタを形成する。
For example, the
また、ここでは難易度Dを易しい順に1,2,3,4の4段階であるとする。図12は、音声周波数帯域の模式図である。想定する音声周波数帯域を図示のように4分割し、低い方からF1,F2,F3,F4とする。均等分割であってもよいし、不均等分割であってもよい。そして、難易度D=1のときは、混合雑音データの周波数帯域をF4にする。この場合、雑音が重畳される帯域がF4だけに制限されるので、聞き取り困難性は低いであろう。難易度D=2のときは、混合雑音データの周波数帯域をF3+F4にする。難易度D=3のときは、混合雑音データの周波数帯域をF2+F3+F4にする。そして、難易度D=4のときは、混合雑音データの周波数帯域をF1+F2+F3+F4にする。つまり、この場合は帯域制限なし、すなわち全帯域で雑音を重畳するので、聞き取り困難性は最高となる。 Here, it is assumed that the difficulty level D is four levels of 1, 2, 3, and 4 in order of ease. FIG. 12 is a schematic diagram of an audio frequency band. The assumed audio frequency band is divided into four as shown in the figure, and F1, F2, F3, and F4 are set in ascending order. It may be an equal division or an unequal division. When the difficulty level D = 1, the frequency band of the mixed noise data is set to F4. In this case, since the band on which the noise is superimposed is limited to only F4, the difficulty of hearing will be low. When the difficulty level D = 2, the frequency band of the mixed noise data is set to F3 + F4. When the difficulty level D = 3, the frequency band of the mixed noise data is set to F2 + F3 + F4. When the difficulty level D = 4, the frequency band of the mixed noise data is set to F1 + F2 + F3 + F4. That is, in this case, there is no band limitation, that is, noise is superimposed on the entire band, so that the difficulty of hearing is maximized.
このような割り当てにより、図10の処理のように、正解率が第1のしきい値TH1を超える場合は、難易度Dが上昇するように、混合雑音データの周波数帯域を拡げるよう帯域制限フィルタを制御すればよい。また、正解率が第1のしきい値TH1より低い第2のしきい値TH2を下回る場合は、難易度Dが低下するように、混合雑音データの周波数帯域を狭めるよう帯域制限フィルタを制御すればよい。 With such allocation, as in the process of FIG. 10, when the accuracy rate exceeds the first threshold value TH1, the band limiting filter is used to widen the frequency band of the mixed noise data so that the difficulty level D increases. Can be controlled. Further, when the accuracy rate is lower than the second threshold value TH2, which is lower than the first threshold value TH1, the band limiting filter is controlled so as to narrow the frequency band of the mixed noise data so that the difficulty level D decreases. That's fine.
本発明は上記実施の形態に限定されるものではなく、本発明の主旨及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。 The present invention is not limited to the above embodiments, and various changes and modifications can be made without departing from the spirit and scope of the present invention. Therefore, in order to make the scope of the present invention public, the following claims are attached.
Claims (6)
複数種類の音声データを記憶する音声データ記憶手段と、
複数種類の雑音データを記憶する雑音データ記憶手段と、
前記雑音データ記憶手段から1つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成手段と、
前記音声データ記憶手段から選択された音声データに前記雑音作成手段により作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成手段と、
前記作成された劣化音声データを音響出力する音響出力手段と、
を有し、
前記雑音作成手段は、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置。A rehabilitation support device for supporting rehabilitation of attention disorder,
Audio data storage means for storing a plurality of types of audio data;
Noise data storage means for storing a plurality of types of noise data;
Noise generating means for generating mixed noise data obtained by selecting and mixing one or more noise data from the noise data storage means;
Degraded speech creation means for creating degraded speech data by superimposing the mixed noise data created by the noise creation means on speech data selected from the speech data storage means;
Acoustic output means for acoustically outputting the created degraded voice data;
Have
The rehabilitation support apparatus, wherein the noise creating means is capable of adjusting at least one of the number of noise data to be selected and mixed from the noise data storage means and the gain of the mixed noise data.
前記制御手段により繰り返し実行された音響出力の聴取者による前記劣化音声データの了解性に関する正解率を算出する算出手段と、
を更に有し
前記雑音作成手段は、
前記算出された正解率が第1のしきい値を超える場合は、前記了解性に関する難易度が上昇するように、前記雑音データの数と前記ゲインとの少なくともいずれかを増加させ、
前記算出された正解率が前記第1のしきい値より低い第2のしきい値を下回る場合は、前記難易度が低下するように、前記雑音データの数と前記ゲインとの少なくともいずれかを低下させる
ことを特徴とする請求項1に記載のリハビリテーション支援装置。Control means for repeatedly executing the operations of the degraded sound creation means and the sound output means for a plurality of sound data selected from the sound data storage means;
Calculating means for calculating a correct answer rate regarding intelligibility of the deteriorated voice data by a listener of sound output repeatedly executed by the control means;
The noise generating means further comprises
If the calculated accuracy rate exceeds a first threshold, increase at least one of the number of the noise data and the gain so that the difficulty level regarding the intelligibility increases,
When the calculated accuracy rate is lower than a second threshold value lower than the first threshold value, at least one of the number of the noise data and the gain is set so that the difficulty level is lowered. The rehabilitation support device according to claim 1, wherein the rehabilitation support device is lowered.
前記取得した重症度に基づいて、前記難易度の初期値を設定する設定手段と、
を更に有することを特徴とする請求項2に記載のリハビリテーション支援装置。An acquisition means for acquiring the severity of the patient;
A setting means for setting an initial value of the difficulty level based on the acquired severity;
The rehabilitation support apparatus according to claim 2, further comprising:
前記混合雑音データの周波数帯域を変更可能な帯域制限フィルタ手段を含み、
前記算出された正解率が第1のしきい値を超える場合は、前記了解性に関する難易度が上昇するように、前記混合雑音データの周波数帯域を拡げるよう前記帯域制限フィルタを制御し、
前記算出された正解率が前記第1のしきい値より低い第2のしきい値を下回る場合は、前記難易度が低下するように、前記混合雑音データの周波数帯域を狭めるよう前記帯域制限フィルタを制御する
ことを特徴とする請求項1に記載のリハビリテーション支援装置。The noise generating means is
Band limiting filter means capable of changing a frequency band of the mixed noise data,
When the calculated accuracy rate exceeds a first threshold, the band limiting filter is controlled to widen the frequency band of the mixed noise data so that the difficulty level regarding the intelligibility increases.
When the calculated accuracy rate is lower than a second threshold value that is lower than the first threshold value, the band limiting filter so as to narrow the frequency band of the mixed noise data so as to reduce the difficulty level. The rehabilitation support device according to claim 1, wherein the rehabilitation support device is controlled.
複数種類の雑音データを記憶する雑音データ記憶手段から1つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成ステップと、
複数種類の音声データを記憶する音声データ記憶手段から選択された音声データに前記雑音作成ステップで作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成ステップと、
前記作成された劣化音声データを音響出力する音響出力ステップと、
を有し、
前記雑音作成ステップは、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置の制御方法。A control method of a rehabilitation support device for supporting rehabilitation of attention disorder,
A noise creation step of creating mixed noise data obtained by selecting and mixing one or more noise data from a noise data storage means for storing a plurality of types of noise data;
A deteriorated voice creation step of creating degraded voice data by superimposing the mixed noise data created in the noise creation step on voice data selected from voice data storage means for storing a plurality of types of voice data;
An acoustic output step for acoustically outputting the created degraded voice data;
Have
The method of controlling a rehabilitation support apparatus, wherein the noise generation step is capable of adjusting at least one of the number of noise data to be selected and mixed from the noise data storage means and the gain of the mixed noise data.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/002375 WO2014162361A1 (en) | 2013-04-05 | 2013-04-05 | Rehabilitation assistance apparatus and control method therefor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5997369B2 true JP5997369B2 (en) | 2016-09-28 |
JPWO2014162361A1 JPWO2014162361A1 (en) | 2017-02-16 |
Family
ID=51657696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509604A Active JP5997369B2 (en) | 2013-04-05 | 2013-04-05 | Rehabilitation support device and control method thereof |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5997369B2 (en) |
WO (1) | WO2014162361A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004500591A (en) * | 1999-08-13 | 2004-01-08 | シナプテック エル.エル.シー. | Method and apparatus for improving learning ability |
US20060029912A1 (en) * | 2004-06-12 | 2006-02-09 | Neuro Tone, Inc. | Aural rehabilitation system and a method of using the same |
JP2007293395A (en) * | 2006-04-21 | 2007-11-08 | Shodensha:Kk | Communication aid device |
WO2009102052A1 (en) * | 2008-02-15 | 2009-08-20 | Satoru Koyama | Device for improving bloodstream volume in hearing-area of brain, and virtual sound source used for the same |
JP2011110215A (en) * | 2009-11-26 | 2011-06-09 | Toyota Motor Kyushu Inc | Rehabilitation system, program and computer-readable recording medium recording program |
-
2013
- 2013-04-05 JP JP2015509604A patent/JP5997369B2/en active Active
- 2013-04-05 WO PCT/JP2013/002375 patent/WO2014162361A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004500591A (en) * | 1999-08-13 | 2004-01-08 | シナプテック エル.エル.シー. | Method and apparatus for improving learning ability |
US20060029912A1 (en) * | 2004-06-12 | 2006-02-09 | Neuro Tone, Inc. | Aural rehabilitation system and a method of using the same |
JP2007293395A (en) * | 2006-04-21 | 2007-11-08 | Shodensha:Kk | Communication aid device |
WO2009102052A1 (en) * | 2008-02-15 | 2009-08-20 | Satoru Koyama | Device for improving bloodstream volume in hearing-area of brain, and virtual sound source used for the same |
JP2011110215A (en) * | 2009-11-26 | 2011-06-09 | Toyota Motor Kyushu Inc | Rehabilitation system, program and computer-readable recording medium recording program |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014162361A1 (en) | 2017-02-16 |
WO2014162361A1 (en) | 2014-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103236263B (en) | Method, system and mobile terminal for improving call quality | |
CN108198569A (en) | A kind of audio-frequency processing method, device, equipment and readable storage medium storing program for executing | |
US20210375303A1 (en) | Natural Ear | |
Goetze et al. | Acoustic user interfaces for ambient-assisted living technologies | |
JP6121606B1 (en) | Hearing training apparatus, operating method of hearing training apparatus, and program | |
JP2023548157A (en) | Other speaker audio filtering from calls and audio messages | |
WO2019228329A1 (en) | Personal hearing device, external sound processing device, and related computer program product | |
CN106572818B (en) | Auditory system with user specific programming | |
JP2009178783A (en) | Communication robot and its control method | |
US20240276160A1 (en) | Audio signal processing method and apparatus, electronic device, and computer-readable storage medium | |
CN104851423B (en) | Sound information processing method and device | |
KR101478459B1 (en) | Language delay treatment system and control method for the same | |
US10950232B2 (en) | Non-verbal speech coach | |
JP5997369B2 (en) | Rehabilitation support device and control method thereof | |
JP2018165805A (en) | Interactive device, method for controlling interactive device, and program | |
JP2015069038A (en) | Voice synthesizer and program | |
JP6566076B2 (en) | Speech synthesis method and program | |
JP6375604B2 (en) | Voice control device, voice control method and program | |
EP3288035B1 (en) | Personal audio analytics and behavior modification feedback | |
JP6918471B2 (en) | Dialogue assist system control method, dialogue assist system, and program | |
JP2008249893A (en) | Speech response device and its method | |
US12032807B1 (en) | Assistive communication method and apparatus | |
JP2016009133A (en) | Speech rehabilitation support device and method for controlling the same | |
JP2014202963A (en) | Rehabilitation support device and control method thereof | |
JP2007013369A (en) | Language learning system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160805 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160825 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5997369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |