JP5997369B2 - Rehabilitation support device and control method thereof - Google Patents

Rehabilitation support device and control method thereof Download PDF

Info

Publication number
JP5997369B2
JP5997369B2 JP2015509604A JP2015509604A JP5997369B2 JP 5997369 B2 JP5997369 B2 JP 5997369B2 JP 2015509604 A JP2015509604 A JP 2015509604A JP 2015509604 A JP2015509604 A JP 2015509604A JP 5997369 B2 JP5997369 B2 JP 5997369B2
Authority
JP
Japan
Prior art keywords
noise
data
noise data
rehabilitation
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015509604A
Other languages
Japanese (ja)
Other versions
JPWO2014162361A1 (en
Inventor
鮫島 正
正 鮫島
俊英 田中
俊英 田中
美雪 小山
美雪 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TRUMO KABUSHIKI KAISHA
Original Assignee
TRUMO KABUSHIKI KAISHA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TRUMO KABUSHIKI KAISHA filed Critical TRUMO KABUSHIKI KAISHA
Application granted granted Critical
Publication of JP5997369B2 publication Critical patent/JP5997369B2/en
Publication of JPWO2014162361A1 publication Critical patent/JPWO2014162361A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Rehabilitation Tools (AREA)

Description

本発明は、注意障害等のリハビリテーションの支援を行うリハビリテーション支援装置に関する。   The present invention relates to a rehabilitation support apparatus that supports rehabilitation such as attention disorder.

注意障害の言語リハビリテーションでは、計算問題を解いたり、国語の問題を解いたりといった、一つの事柄に集中するような課題が与えられる。   In language rehabilitation for attention disorder, the task of concentrating on one thing, such as solving a calculation problem or solving a national language problem, is given.

この分野においては、手話や筆談による意思伝達にかわる音声出力装置に関する提案がある程度で(例えば特許文献1参照)、注意障害に対する言語リハビリテーションを支援するための適切な装置がない状況である。   In this field, there are some proposals related to a voice output device that replaces intention communication by sign language or writing (see, for example, Patent Document 1), and there is no suitable device for supporting language rehabilitation for attention disorder.

特開2007−293395号公報JP 2007-293395 A

注意障害の言語リハビリテーションにおいて、選択的注意の一例として、カクテルパーティー効果が挙げられる。カクテルパーティー効果は複数の音声の中から特定の音声に対して注意を傾けなければ達成できないことから、注意障害の良い訓練になると考えられるが、上記のとおり、適切な訓練装置がないのが現状である。したがって、注意障害の言語リハビリテーションを支援する装置を提供することは、効果的な訓練を実施する上で重要な要請である。   An example of selective attention in language rehabilitation for attention disorder is the cocktail party effect. The cocktail party effect can be achieved only by paying attention to a specific voice from multiple voices, so it is thought that it will be a good exercise for attention disorder, but as mentioned above, there is no appropriate training device at present. It is. Therefore, providing a device that supports language rehabilitation for attention disorder is an important requirement for effective training.

その他の目的および利点については、以下の説明によって明らかになろう。   Other objects and advantages will become apparent from the following description.

本発明の一側面によれば、注意障害のリハビリテーションの支援を行うリハビリテーション支援装置であって、複数種類の音声データを記憶する音声データ記憶手段と、複数種類の雑音データを記憶する雑音データ記憶手段と、前記雑音データ記憶手段から1つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成手段と、前記音声データ記憶手段から選択された音声データに前記雑音作成手段により作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成手段と、前記作成された劣化音声データを音響出力する音響出力手段とを有し、前記雑音作成手段は、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置が提供される。   According to one aspect of the present invention, a rehabilitation support apparatus for supporting rehabilitation of attention disorder, a voice data storage unit that stores a plurality of types of voice data, and a noise data storage unit that stores a plurality of types of noise data Noise generating means for creating mixed noise data obtained by selecting and mixing one or more pieces of noise data from the noise data storing means, and voice data selected from the voice data storing means by the noise generating means Degraded voice creating means for creating degraded voice data by superimposing the created mixed noise data, and acoustic output means for acoustically outputting the created degraded voice data, wherein the noise creating means includes the noise data It is possible to adjust at least one of the number of noise data to be selected and mixed from the storage means and the gain of the mixed noise data. Rehabilitation supporting device according to claim is provided.

本発明によれば、注意障害の言語リハビリテーションを効果的に行うことができる。   According to the present invention, language rehabilitation for attention disorder can be effectively performed.

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。   Other features and advantages of the present invention will become apparent from the following description with reference to the accompanying drawings. In the accompanying drawings, the same or similar components are denoted by the same reference numerals.

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
実施形態におけるロボットの外観構成を示す図。 実施形態におけるロボットの内部構成を示すブロック図。 実施形態におけるリハビリ用プログラムのモジュール構成の例を示す図。 実施形態における患者データベースに保持されるデータの構造例を示す図。 実施形態におけるリハビリ支援処理のフローチャート。 実施形態におけるリハビリ支援処理におけるホーム画面の例を示す図。 実施形態における音源選択画面の例を示す図。 実施形態におけるカクテルパーティーモード設定画面の例を示す図。 実施形態におけるリハビリ実行画面の例を示す図。 カクテルパーティーモードにおけるリハビリ実行処理の変形例に係るフローチャート。 実施形態における難易度、ざわめき人数、ノイズレベルの対応テーブルの例を示す図。 実施形態における難易度に応じた混合雑音データの帯域制限の例を説明する図。
The accompanying drawings are included in the specification, constitute a part thereof, show an embodiment of the present invention, and are used to explain the principle of the present invention together with the description.
The figure which shows the external appearance structure of the robot in embodiment. The block diagram which shows the internal structure of the robot in embodiment. The figure which shows the example of the module structure of the program for rehabilitation in embodiment. The figure which shows the structural example of the data hold | maintained in the patient database in embodiment. The flowchart of the rehabilitation assistance process in embodiment. The figure which shows the example of the home screen in the rehabilitation assistance process in embodiment. The figure which shows the example of the sound source selection screen in embodiment. The figure which shows the example of the cocktail party mode setting screen in embodiment. The figure which shows the example of the rehabilitation execution screen in embodiment. The flowchart which concerns on the modification of the rehabilitation execution process in cocktail party mode. The figure which shows the example of the corresponding | compatible table of the difficulty, the number of people, and a noise level in embodiment. The figure explaining the example of the band restriction | limiting of the mixed noise data according to the difficulty in embodiment.

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited to the following embodiment, It shows only the specific example advantageous for implementation of this invention. Moreover, not all combinations of features described in the following embodiments are indispensable for solving the problems of the present invention.

図1は、実施形態における言語リハビリテーション支援装置としてのロボット1の外観構成を示す図である。本実施形態におけるロボット1は、患者とインタラクションをとるものであって、患者に対しリハビリテーション(以下「リハビリ」と略記する。)用の言語表現を行う。   FIG. 1 is a diagram illustrating an external configuration of a robot 1 as a language rehabilitation support apparatus according to an embodiment. The robot 1 in this embodiment interacts with a patient and performs language expression for rehabilitation (hereinafter abbreviated as “rehabilitation”) for the patient.

ロボット1は、一般的なコンピュータの外観を持つものであってもよいが、患者とインタラクションをとりながらリハビリを行うものであるから、患者がリラックスして親しみが湧くような外観構成を有するとよいであろう。ロボット1は、例えば無線通信を行うためのアンテナ111を有する。また、ロボット1には、人の耳及び口に対応する位置にそれぞれマイクロホン114及びスピーカ112が設けられている。また、ロボット1は、言語聴覚士や患者が使用するためのタッチパネル式の表示・入力デバイスであるタブレット端末150を、ケーブル151を介して接続可能である。タブレット端末150のタッチパネルは、ユーザの指によるタップやなぞり動作を検出可能であるものとする。もっとも、このようなタブレット端末150の機能はロボット1自体が予め備えている構成としてもよい。   The robot 1 may have a general computer appearance. However, since the robot 1 performs rehabilitation while interacting with the patient, the robot 1 may have an appearance configuration that allows the patient to relax and become familiar. It will be. The robot 1 includes an antenna 111 for performing wireless communication, for example. Further, the robot 1 is provided with a microphone 114 and a speaker 112 at positions corresponding to human ears and mouths, respectively. In addition, the robot 1 can connect a tablet terminal 150 that is a touch panel type display / input device for use by a speech hearing person or patient via a cable 151. It is assumed that the touch panel of the tablet terminal 150 can detect a tap or a tracing operation with a user's finger. However, such a function of the tablet terminal 150 may be configured in advance in the robot 1 itself.

図2は、ロボット1の内部構成を示すブロック図である。ロボット1は、装置全体の制御を司るCPU101、主記憶装置として機能するRAM102、制御プログラムや固定的なデータを記憶しているROM103をはじめ、以下の構成を備える。   FIG. 2 is a block diagram showing the internal configuration of the robot 1. The robot 1 includes the following configuration, including a CPU 101 that controls the entire apparatus, a RAM 102 that functions as a main storage device, and a ROM 103 that stores control programs and fixed data.

無線通信コントローラ105は、アンテナ111を介して行う無線通信を制御する。HDD106はハードディスク装置であり、オペレーティグシステム(OS)107やリハビリ用プログラム108を格納する他、原音データベース(DB)116、雑音DB117、患者DB118を保持する。原音DB116は、無響室等の静かな環境で発音された単語や句、文を録音したデータを収めている。これらは挨拶文、政治経済、サイエンス等の分野ごとに分類されているとよい。また、原音DB116における各音声データの音圧レベルは正規化されていることが望ましい。雑音DB117は、音質評価用にしばしば用いられるホワイトノイズやピンクノイズをはじめ、自動車走行音、工場騒音、鳥や動物の鳴き声といった各種雑音のデータを収めている。また、カクテルパーティーを模擬する人のざわめき音を形成するための、人の喋り声のデータも複数種類(例えば20種類)収めている。雑音DB117における各雑音データの音圧レベル(ノイズレベル)も正規化されていることが望ましい。患者DB118は、被検者となる患者の個人情報、障害種別及びその重症度を含む各種情報を保持する。   The wireless communication controller 105 controls wireless communication performed via the antenna 111. The HDD 106 is a hard disk device that stores an operating system (OS) 107 and a rehabilitation program 108, and also stores an original sound database (DB) 116, a noise DB 117, and a patient DB 118. The original sound DB 116 stores data recording words, phrases, and sentences that are pronounced in a quiet environment such as an anechoic room. These should be categorized by fields such as greetings, political economy and science. Further, it is desirable that the sound pressure level of each sound data in the original sound DB 116 is normalized. The noise DB 117 stores data of various noises such as white noise and pink noise, which are often used for sound quality evaluation, as well as automobile running sound, factory noise, and birds and animals. In addition, a plurality of types (for example, 20 types) of human roaring data for forming the noise of a person simulating a cocktail party are stored. It is desirable that the sound pressure level (noise level) of each noise data in the noise DB 117 is also normalized. The patient DB 118 holds various information including personal information of a patient who is a subject, a failure type, and a severity thereof.

インタフェース(I/F)109は、タブレット端末150をケーブル151を介して接続する。音声コントローラ110は、不図示のA/Dコンバータ、D/Aコンバータ、アンチエイリアシングフィルタ等を含み、スピーカ112を用いた音声出力及びマイクロホン114からの音声入力を行う。   An interface (I / F) 109 connects the tablet terminal 150 via a cable 151. The audio controller 110 includes an A / D converter, a D / A converter, an antialiasing filter, and the like (not shown), and performs audio output using the speaker 112 and audio input from the microphone 114.

図3は、リハビリ用プログラム108のモジュール構成の例を示している。患者登録/検索モジュール121は、患者DB118への新規登録処理、及び患者DB118からの患者の検索処理に係るファンクションモジュールである。リハビリ支援メインモジュール123は、ロボット1によるリハビリの実行を担う。音声合成モジュール124は、ロボット1によるリハビリにおける音響出力を行う際に音声合成を実行する。音声認識モジュール125は、患者の発話を認識する。この音声認識は、単語認識機能のみならず、文を認識可能な連続音声認識の機能を備える。   FIG. 3 shows an example of the module configuration of the rehabilitation program 108. The patient registration / search module 121 is a function module related to new registration processing in the patient DB 118 and patient search processing from the patient DB 118. The rehabilitation support main module 123 is responsible for executing rehabilitation by the robot 1. The speech synthesis module 124 performs speech synthesis when performing acoustic output during rehabilitation by the robot 1. The voice recognition module 125 recognizes a patient's utterance. This speech recognition has not only a word recognition function but also a continuous speech recognition function capable of recognizing sentences.

図4は、患者DB118のデータ構造例を示す図である。図示するように、各データエントリには、固有の患者IDが付与され、氏名、生年月日等の患者の個人情報が記述される他、障害種別及びその重症度、及びリハビリの履歴が記述される。障害種別には例えば、注意障害及び失語症が含まれる。また、ここでは、重症度の値として例えば、軽度には1が、中度には2が、重度には3が設定される。リハビリ履歴は、過去にリハビリを行った日時や提示した音声やその回数等を含み、これを参照することで言語聴覚士は今後のリハビリの計画を立てやすくなるであろう。   FIG. 4 is a diagram illustrating a data structure example of the patient DB 118. As shown in the figure, each data entry is given a unique patient ID and describes the patient's personal information such as name, date of birth, etc., as well as the disorder type and its severity, and rehabilitation history. The The disorder type includes, for example, attention disorder and aphasia. Further, here, for example, 1 is set for mild, 2 is set for moderate, and 3 is set for severe. The rehabilitation history includes the date and time when rehabilitation was performed in the past, the number of voices presented, the number of times, and the like. By referring to the rehabilitation history, it is easier for a language hearing person to plan future rehabilitation.

図5は、本実施形態におけるリハビリ支援処理のフローチャートである。このフローチャートに対応するプログラムは、リハビリ用プログラム108に含まれ、RAM102にロードされてCPU101によって実行される。このプログラムが実行されるとまず、図6に示されるようなホーム画面がタブレット端末150に表示される。図示のように、ホーム画面は、患者登録ボタン601、患者選択ボタン602、リハビリ開始ボタン603を含む。ユーザ(例えば言語聴覚士)がいずれかのボタンをタップすると、対応する画面に遷移することができる。   FIG. 5 is a flowchart of the rehabilitation support process in the present embodiment. A program corresponding to this flowchart is included in the rehabilitation program 108, loaded into the RAM 102, and executed by the CPU 101. When this program is executed, a home screen as shown in FIG. As illustrated, the home screen includes a patient registration button 601, a patient selection button 602, and a rehabilitation start button 603. When a user (for example, a language auditor) taps any button, the corresponding screen can be displayed.

患者登録ボタン601又は患者選択ボタン602がタップされることで、患者の登録又は選択が行われる(S1)。患者の登録及び選択の詳細は本発明と直接関係がないので、それらの画面例を図示することは、省略する。登録時には、図4に示したような事項を記述していくことになる。登録又は選択が完了すると画面はホーム画面に戻るものとする。   The patient registration or selection is performed by tapping the patient registration button 601 or the patient selection button 602 (S1). Since details of patient registration and selection are not directly related to the present invention, illustration of these screen examples is omitted. At the time of registration, items as shown in FIG. 4 are described. When registration or selection is completed, the screen returns to the home screen.

S2では、リハビリ開始ボタン603がタップされるのを待機している。リハビリ開始ボタン603がタップされると、処理は原音及び雑音を選択する処理(S3)へと進む。ここで画面は図7に示すような音源選択画面に遷移する。図7の音源選択画面において、ユーザが原音声選択ボタン701をタップすると、候補ウィンドウ702が表示されるので、その中から所望するジャンルを選択できる。なお、「0:自動選択」を選択すると、原音の選択は装置側に委ねられる。このときロボット1は原音を所定の順序で原音を選んでもよいし、ランダムに選んでもよい。次にユーザが雑音種類選択ボタン703をタップすると、候補ウィンドウ704が表示されるので、その中から所望する雑音の種類を選択できる。なお、「0:自動選択」を選択すると、上記と同様、ロボット1は、所定の順序又はランダムに、雑音を選択することになる。   In S2, it waits for the rehabilitation start button 603 to be tapped. When the rehabilitation start button 603 is tapped, the process proceeds to a process (S3) for selecting an original sound and noise. Here, the screen changes to a sound source selection screen as shown in FIG. When the user taps the original audio selection button 701 on the sound source selection screen of FIG. 7, a candidate window 702 is displayed, and a desired genre can be selected from the candidate window 702. When “0: automatic selection” is selected, the selection of the original sound is left to the apparatus side. At this time, the robot 1 may select the original sounds in a predetermined order or may select them at random. Next, when the user taps the noise type selection button 703, a candidate window 704 is displayed, from which a desired noise type can be selected. When “0: automatic selection” is selected, the robot 1 selects noise in a predetermined order or at random, as described above.

ユーザがカクテルパーティーモード選択ボタン705をタップすると、ロボット1は、雑音種類選択ボタン703による雑音選択を無効とし、カクテルパーティー効果(すなわち音声の選択的聴取)の弁別訓練を行うモードに入る。このカクテルパーティーモードでの処理については後述する。   When the user taps the cocktail party mode selection button 705, the robot 1 invalidates the noise selection by the noise type selection button 703, and enters a mode for discriminating the cocktail party effect (that is, selective listening of voice). Processing in this cocktail party mode will be described later.

キャンセルボタン706がタップされると、この画面での入力内容を破棄して図6のホーム画面に戻る。一方、ネクストボタン707がタップされると、この画面での入力内容に応じて次の画面に遷移する。具体的には、S4でカクテルパーティーモード選択ボタン705のON/OFFを確認し、カクテルパーティーモード選択ボタン705がOFFの場合、処理はS5に進む。S5では、選択された原音データと雑音データとを重畳した音声データを作成する。本明細書において、原音データに雑音データを重畳して得た音声データを「劣化音声データ」という。このとき、画面は図9に示されるようなリハビリ実行画面に遷移する。図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S9)。患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。あるいは、出力された劣化音声の話題に関する問題を言語聴覚士が出題し、患者にそれを回答してもらうようにしてもよい。劣化音声を聞き取ることは一般に、クリアな原音を聞くよりも集中力を要する。そのため、このような劣化音声を聴取してもらうことは、注意障害の患者にとっては注意力向上のよい訓練となる。また、雑音が重畳された劣化音声を聴取することは脳活動の活性化につながり、これが注意障害の患者に良い影響を与える側面もあると考えられる。   When the cancel button 706 is tapped, the input content on this screen is discarded and the screen returns to the home screen in FIG. On the other hand, when the next button 707 is tapped, the screen transitions to the next screen according to the input content on this screen. Specifically, the ON / OFF state of the cocktail party mode selection button 705 is confirmed in S4. If the cocktail party mode selection button 705 is OFF, the process proceeds to S5. In S5, voice data is generated by superimposing the selected original sound data and noise data. In this specification, sound data obtained by superimposing noise data on original sound data is referred to as “degraded sound data”. At this time, the screen transitions to a rehabilitation execution screen as shown in FIG. When the sound generation execution button 901 is tapped on the rehabilitation execution screen of FIG. 9, the CPU 101 passes the created deteriorated sound data to the sound controller 110 and outputs the sound via the speaker 112 (S9). The patient listens to the output deteriorated sound, for example, and repeats the sound. Alternatively, the speech auditor may ask questions about the topic of the output degraded speech and have the patient answer it. Listening to degraded speech generally requires more concentration than listening to clear original sound. For this reason, listening to such degraded speech is a good exercise for improving attention for patients with attention disorders. In addition, listening to degraded speech with superimposed noise leads to activation of brain activity, which may have a positive effect on attention-impaired patients.

言語聴覚士は、患者の回答につき正解/不正解の情報を入力することができる(S10)。例えば、患者の回答が正解である場合は、図9の正解ボタン903をタップし、不正解である場合は、不正解ボタン904をタップする。あるいは、CPU101は、音声認識モジュール125をコールして、マイクロホン114を介して入力した患者の回答に係る発声を音声認識し、正解/不正解を自動判定してもよい。言語聴覚士によって正解ボタン903がタップされ、又は、音声認識によって正解と判定された場合は、CPU101は音声合成モジュール124をコールして、音声合成により「正解です!」との合成音をスピーカ112から発するとよい。あわせて、ロボット1が喜ぶ動作を行ってもよいであろう。なお、「戻る」ボタン905がタップされると、前画面に戻る。「次の音」ボタン906がタップされると、処理を繰り返すことが決定され(S11でNO)、S3に戻って、処理が繰り返される。「やめる」ボタン907がタップされると、これまでの正解/不正解の情報等がリハビリ履歴として患者DB118に記憶される。   The speech hearing person can input correct / incorrect information about the patient's answer (S10). For example, if the patient's answer is correct, the correct answer button 903 in FIG. 9 is tapped, and if the answer is incorrect, the incorrect answer button 904 is tapped. Alternatively, the CPU 101 may call the voice recognition module 125 to recognize the utterance related to the patient's answer input via the microphone 114 and automatically determine the correct / incorrect answer. When the correct answer button 903 is tapped by the language auditor, or when the correct answer is determined by speech recognition, the CPU 101 calls the speech synthesis module 124 to generate a synthesized sound “Sure answer!” By the speech synthesis. Depart from. At the same time, the robot 1 may be happy. When the “return” button 905 is tapped, the screen returns to the previous screen. When “next sound” button 906 is tapped, it is determined to repeat the process (NO in S11), and the process returns to S3 and the process is repeated. When the “quit” button 907 is tapped, information on the correct / incorrect answers so far is stored in the patient DB 118 as a rehabilitation history.

一方、カクテルパーティーモード選択ボタン705がON状態の場合、処理はS4からS6に進み、S5の処理に代えてS6〜S8の処理が実行される。処理がS4からS6に進むと、画面は図8のカクテルパーティーモードの設定画面に遷移する。図8のカクテルパーティーモードの設定画面において、ユーザが「人のざわめき人数」設定ボタン801をタップすると、候補ウィンドウ802が表示されるので、その中から所望するざわめき人数Pを選択することができる。また、ユーザは、スライドバー803をスライドさせることで作成する雑音データのノイズレベルLを変更することができる。この例では、スライドバー803を左に移動させるとノイズレベルLを低減し、右に移動させるとノイズレベルLを増大させることができる。「戻る」ボタン804がタップされると、ここでの設定値は破棄されて前画面に戻る。ネクストボタン805がタップされると、ここでの設定値が有効化されて、処理はS7に進む。S7では、CPU101は、雑音DB117から、設定されたP個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルLに対応するゲインで増幅することで、混合雑音データを作成する。ここで、ノイズレベルLに対応するゲインとは、ノイズレベルLを達成するためのゲインをいう。雑音DB117における各雑音データのノイズレベルが正規化されていれば、ゲインは、元のノイズレベルに対する設定されたノイズレベルLの比率によって、容易に求めることができる。ゲインによる増幅は、上記のとおりデジタルデータの各サンプルにゲイン値を乗じることで行ってもよいし、音声コントローラ110又はスピーカ112に含まれうる不図示の可変増幅器の増幅率をそのゲインに対応する値に設定することで行ってもよいことは、当業者には容易に理解されよう。なお、本実施形態においては、ざわめき人数Pは1をとりうるものとする。したがって、P=1の場合の混合雑音は実質的には単一種類の雑音そのものである。その後、処理はS9に進み、CPU101は、S3で選択された原音データにS8で作成した混合雑音データを重畳して劣化音声データを作成する。このとき、画面は図9のリハビリ実行画面に遷移する。そして、上述したように、図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S9)。   On the other hand, when the cocktail party mode selection button 705 is in the ON state, the process proceeds from S4 to S6, and the processes of S6 to S8 are executed instead of the process of S5. When the process proceeds from S4 to S6, the screen changes to the cocktail party mode setting screen of FIG. In the cocktail party mode setting screen of FIG. 8, when the user taps the “number of people shaking” setting button 801, a candidate window 802 is displayed, from which a desired number of people P can be selected. Also, the user can change the noise level L of the noise data created by sliding the slide bar 803. In this example, the noise level L can be reduced by moving the slide bar 803 to the left, and the noise level L can be increased by moving the slide bar 803 to the right. When the “return” button 804 is tapped, the setting value here is discarded and the screen returns to the previous screen. When the next button 805 is tapped, the setting value here is validated, and the process proceeds to S7. In S7, the CPU 101 obtains and mixes the set P noises from the noise DB 117, and amplifies the mixing result with a gain corresponding to the set noise level L, thereby mixing. Create noise data. Here, the gain corresponding to the noise level L is a gain for achieving the noise level L. If the noise level of each noise data in the noise DB 117 is normalized, the gain can be easily obtained by the ratio of the set noise level L to the original noise level. The amplification by the gain may be performed by multiplying each sample of the digital data by the gain value as described above, and the amplification factor of a variable amplifier (not shown) that can be included in the audio controller 110 or the speaker 112 corresponds to the gain. Those skilled in the art will readily understand that this may be done by setting the value. In the present embodiment, it is assumed that the number of rumbling persons P can be 1. Therefore, the mixed noise in the case of P = 1 is substantially a single type of noise itself. Thereafter, the process proceeds to S9, and the CPU 101 creates degraded voice data by superimposing the mixed noise data created in S8 on the original sound data selected in S3. At this time, the screen changes to the rehabilitation execution screen of FIG. Then, as described above, when the sound generation execution button 901 is tapped on the rehabilitation execution screen of FIG. 9, the CPU 101 passes the created deteriorated sound data to the sound controller 110 and outputs the sound via the speaker 112 ( S9).

このように、本実施形態によれば、リハビリテーション支援装置としてのロボット1は、カクテルパーティーモードを有し、カクテルパーティーの環境音を作成する際に、人のざわめき人数及びノイズレベルの少なくともいずれかを調整可能である。人のざわめき人数を増やし、また、ノイズレベルを増大すれば、音響出力された劣化音声データの聴取者による了解性(正しく理解されたかどうか)に関する難易度を増加することができる。逆に、人のざわめき人数を少なくし、また、ノイズレベルを低減すれば、難易度を低下させることができる。これにより、注意障害の患者に対して、カクテルパーティー効果の訓練を効率的に行うことができる。   As described above, according to the present embodiment, the robot 1 as the rehabilitation support apparatus has the cocktail party mode, and when creating the environmental sound of the cocktail party, at least one of the number of people noisy and the noise level is selected. It can be adjusted. Increasing the number of people rumbling and increasing the noise level can increase the level of difficulty regarding the intelligibility (whether correctly understood) by the listener of the degraded voice data that has been acoustically output. On the other hand, if the number of people is noisy and the noise level is reduced, the difficulty level can be reduced. Thereby, the cocktail party effect can be efficiently trained for a patient with attention disorder.

<変形例1>
以下では、カクテルパーティーモードにおいて、患者の聞き取り能力に応じた適切な劣化音声データを自動で作成する処理について説明する。図10は、カクテルパーティーモードにおけるリハビリ実行処理の変形例に係るフローチャートである。カクテルパーティーモードに入ると、CPU101はまず、難易度Dの初期設定を行う(S21)。ここで、難易度とは、音響出力の聴取者による劣化音声データの了解性に関する困難度合をいう。難易度Dの初期値は例えば、図4に示した患者DB118に記述されている障害の重症度に応じた値とするとよい。すなわち、上述したように重症度の値として、軽度には1、中度には2、重度には3が設定されている場合、難易度Dの初期値はそれぞれ、1、2、3が対応する。
<Modification 1>
In the following, a process for automatically creating appropriate deteriorated voice data according to the patient's listening ability in the cocktail party mode will be described. FIG. 10 is a flowchart according to a modification of the rehabilitation execution process in the cocktail party mode. When entering the cocktail party mode, the CPU 101 first sets the difficulty level D (S21). Here, the difficulty level refers to the level of difficulty related to the intelligibility of deteriorated voice data by the listener of the sound output. For example, the initial value of the difficulty level D may be a value according to the severity of the disorder described in the patient DB 118 shown in FIG. That is, as described above, when the severity value is set to 1 for mild, 2 for moderate, and 3 for severe, the initial value of difficulty D corresponds to 1, 2, and 3, respectively. To do.

次に、人のざわめき人数とノイズレベルをそれぞれ、難易度Dに依存した値に設定する(S22)。すなわち、人のざわめき人数はP(D)と表され、ノイズレベルはL(D)と表される。ここで、ロボット1は、図11に示されるような、難易度、ざわめき人数、ノイズレベルの対応テーブルを保持しているとよい。この対応テーブルによれば、例えば難易度Dが3の場合、人のざわめき人数Pは3、ノイズレベルLは1として求められる。   Next, the number of people and the noise level are set to values depending on the difficulty level D (S22). That is, the number of people rumbling is represented as P (D), and the noise level is represented as L (D). Here, the robot 1 may hold a correspondence table of the difficulty level, the number of rumors, and the noise level as shown in FIG. According to this correspondence table, for example, when the difficulty level D is 3, the number P of people is calculated as 3, and the noise level L is calculated as 1.

次に、CPU101は、雑音DB117から、設定されたP個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルLに対応するゲインで増幅することで、混合雑音データを作成する(S23)。次に、CPU101は、図7の画面で選択されたジャンルから、あるいはランダムに、原音データを選択する(S24)。そして、CPU101は、S24で選択した原音データにS23で作成した混合雑音データを重畳して劣化音声データを作成する(S25)。このとき、画面は図9のリハビリ実行画面に遷移する。そして、上述したように、図9のリハビリ実行画面において、発音実行ボタン901がタップされると、CPU101は、作成された劣化音声データを音声コントローラ110に渡し、スピーカ112を介して音響出力する(S26)。   Next, the CPU 101 acquires and mixes the set P noises from the noise DB 117 and amplifies the mixing result with a gain corresponding to the set noise level L, thereby mixing. Noise data is created (S23). Next, the CPU 101 selects original sound data from the genre selected on the screen of FIG. 7 or at random (S24). Then, the CPU 101 creates degraded sound data by superimposing the mixed noise data created in S23 on the original sound data selected in S24 (S25). At this time, the screen changes to the rehabilitation execution screen of FIG. Then, as described above, when the sound generation execution button 901 is tapped on the rehabilitation execution screen of FIG. 9, the CPU 101 passes the created deteriorated sound data to the sound controller 110 and outputs the sound via the speaker 112 ( S26).

患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。言語聴覚士は、患者の回答につき正解/不正解の情報を入力する(S27)。例えば、患者の回答が正解である場合は、図9の正解ボタン903をタップし、不正解である場合は、不正解ボタン904をタップする。次にS28で、出題する原音データがまだ残っている場合は、S24に戻って、他の原音データを選択して処理を繰り返す。こうして正解率を算出するための判定結果の母数が蓄積されていく。   The patient listens to the output deteriorated sound, for example, and repeats the sound. The speech hearing person inputs correct / incorrect information about the patient's answer (S27). For example, if the patient's answer is correct, the correct answer button 903 in FIG. 9 is tapped, and if the answer is incorrect, the incorrect answer button 904 is tapped. Next, in S28, if the original sound data to be presented still remains, the process returns to S24, and other original sound data is selected and the process is repeated. In this way, the parameter of the determination result for calculating the correct answer rate is accumulated.

そして、S29で、正解率CRを算出する。算出した正解率CRが第1のしきい値TH1を超えたか否かを判定する(S30)。正解率CRが第1のしきい値TH1を超えた場合(S30でYES)は、その患者にとっては出題が易しかったと評価できる。そこでこの場合は難易度Dを1段階、上昇させる(S31)。ここで図9の「やめる」ボタン907がタップされて終了割込みがないかぎり、S22に戻って処理を繰り返す。   In S29, the correct answer rate CR is calculated. It is determined whether or not the calculated accuracy rate CR exceeds the first threshold value TH1 (S30). When the correct answer rate CR exceeds the first threshold value TH1 (YES in S30), it can be evaluated that the questions were easy for the patient. Therefore, in this case, the difficulty level D is increased by one level (S31). Here, unless the “quit” button 907 in FIG. 9 is tapped and there is no end interrupt, the process returns to S22 and the process is repeated.

次に、正解率CRが第1のしきい値TH1より低い第2のしきい値TH2を下回る場合(S32でYES)は、その患者にとっては出題が難しかったと評価できる。そこでこの場合は難易度Dを1段階引き下げる(S33)。ここで図9の「やめる」ボタン907がタップされて終了割込みがないかぎり、S22に戻って処理を繰り返す。   Next, when the correct answer rate CR falls below the second threshold value TH2 that is lower than the first threshold value TH1 (YES in S32), it can be evaluated that the questions are difficult for the patient. Therefore, in this case, the difficulty level D is lowered by one step (S33). Here, unless the “quit” button 907 in FIG. 9 is tapped and there is no end interrupt, the process returns to S22 and the process is repeated.

以上の処理によれば、自動的に効率よく患者に対し難易度を設定することが可能になる。   According to the above processing, it is possible to automatically and efficiently set the difficulty level for the patient.

<変形例2>
上述の変形例1は、算出した正解率に応じて難易度が変更されるように、雑音データの混合数とノイズレベルとの少なくともいずれかを変更するものであった。これに対し、算出した正解率に応じて難易度が変更されるように、雑音の周波数帯域を調整するようにしてもよい。以下、これを変形例2として説明する。
<Modification 2>
In the first modification described above, at least one of the number of mixed noise data and the noise level is changed so that the degree of difficulty is changed according to the calculated accuracy rate. On the other hand, the frequency band of noise may be adjusted so that the difficulty level is changed according to the calculated accuracy rate. Hereinafter, this will be described as a second modification.

例えば、リハビリ用プログラム108は、混合雑音データの周波数帯域を変更可能な帯域制限フィルタモジュールを更に含む。帯域制限フィルタモジュールは、例えば可変バンドパスフィルタを形成する。   For example, the rehabilitation program 108 further includes a band limiting filter module that can change the frequency band of the mixed noise data. The band limiting filter module forms a variable bandpass filter, for example.

また、ここでは難易度Dを易しい順に1,2,3,4の4段階であるとする。図12は、音声周波数帯域の模式図である。想定する音声周波数帯域を図示のように4分割し、低い方からF1,F2,F3,F4とする。均等分割であってもよいし、不均等分割であってもよい。そして、難易度D=1のときは、混合雑音データの周波数帯域をF4にする。この場合、雑音が重畳される帯域がF4だけに制限されるので、聞き取り困難性は低いであろう。難易度D=2のときは、混合雑音データの周波数帯域をF3+F4にする。難易度D=3のときは、混合雑音データの周波数帯域をF2+F3+F4にする。そして、難易度D=4のときは、混合雑音データの周波数帯域をF1+F2+F3+F4にする。つまり、この場合は帯域制限なし、すなわち全帯域で雑音を重畳するので、聞き取り困難性は最高となる。   Here, it is assumed that the difficulty level D is four levels of 1, 2, 3, and 4 in order of ease. FIG. 12 is a schematic diagram of an audio frequency band. The assumed audio frequency band is divided into four as shown in the figure, and F1, F2, F3, and F4 are set in ascending order. It may be an equal division or an unequal division. When the difficulty level D = 1, the frequency band of the mixed noise data is set to F4. In this case, since the band on which the noise is superimposed is limited to only F4, the difficulty of hearing will be low. When the difficulty level D = 2, the frequency band of the mixed noise data is set to F3 + F4. When the difficulty level D = 3, the frequency band of the mixed noise data is set to F2 + F3 + F4. When the difficulty level D = 4, the frequency band of the mixed noise data is set to F1 + F2 + F3 + F4. That is, in this case, there is no band limitation, that is, noise is superimposed on the entire band, so that the difficulty of hearing is maximized.

このような割り当てにより、図10の処理のように、正解率が第1のしきい値TH1を超える場合は、難易度Dが上昇するように、混合雑音データの周波数帯域を拡げるよう帯域制限フィルタを制御すればよい。また、正解率が第1のしきい値TH1より低い第2のしきい値TH2を下回る場合は、難易度Dが低下するように、混合雑音データの周波数帯域を狭めるよう帯域制限フィルタを制御すればよい。   With such allocation, as in the process of FIG. 10, when the accuracy rate exceeds the first threshold value TH1, the band limiting filter is used to widen the frequency band of the mixed noise data so that the difficulty level D increases. Can be controlled. Further, when the accuracy rate is lower than the second threshold value TH2, which is lower than the first threshold value TH1, the band limiting filter is controlled so as to narrow the frequency band of the mixed noise data so that the difficulty level D decreases. That's fine.

本発明は上記実施の形態に限定されるものではなく、本発明の主旨及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。   The present invention is not limited to the above embodiments, and various changes and modifications can be made without departing from the spirit and scope of the present invention. Therefore, in order to make the scope of the present invention public, the following claims are attached.

Claims (6)

注意障害のリハビリテーションの支援を行うリハビリテーション支援装置であって、
複数種類の音声データを記憶する音声データ記憶手段と、
複数種類の雑音データを記憶する雑音データ記憶手段と、
前記雑音データ記憶手段から1つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成手段と、
前記音声データ記憶手段から選択された音声データに前記雑音作成手段により作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成手段と、
前記作成された劣化音声データを音響出力する音響出力手段と、
を有し、
前記雑音作成手段は、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置。
A rehabilitation support device for supporting rehabilitation of attention disorder,
Audio data storage means for storing a plurality of types of audio data;
Noise data storage means for storing a plurality of types of noise data;
Noise generating means for generating mixed noise data obtained by selecting and mixing one or more noise data from the noise data storage means;
Degraded speech creation means for creating degraded speech data by superimposing the mixed noise data created by the noise creation means on speech data selected from the speech data storage means;
Acoustic output means for acoustically outputting the created degraded voice data;
Have
The rehabilitation support apparatus, wherein the noise creating means is capable of adjusting at least one of the number of noise data to be selected and mixed from the noise data storage means and the gain of the mixed noise data.
前記劣化音声作成手段及び前記音響出力手段の動作を前記音声データ記憶手段から選択される複数の音声データに対して繰り返し実行する制御手段と、
前記制御手段により繰り返し実行された音響出力の聴取者による前記劣化音声データの了解性に関する正解率を算出する算出手段と、
を更に有し
前記雑音作成手段は、
前記算出された正解率が第1のしきい値を超える場合は、前記了解性に関する難易度が上昇するように、前記雑音データの数と前記ゲインとの少なくともいずれかを増加させ、
前記算出された正解率が前記第1のしきい値より低い第2のしきい値を下回る場合は、前記難易度が低下するように、前記雑音データの数と前記ゲインとの少なくともいずれかを低下させる
ことを特徴とする請求項1に記載のリハビリテーション支援装置。
Control means for repeatedly executing the operations of the degraded sound creation means and the sound output means for a plurality of sound data selected from the sound data storage means;
Calculating means for calculating a correct answer rate regarding intelligibility of the deteriorated voice data by a listener of sound output repeatedly executed by the control means;
The noise generating means further comprises
If the calculated accuracy rate exceeds a first threshold, increase at least one of the number of the noise data and the gain so that the difficulty level regarding the intelligibility increases,
When the calculated accuracy rate is lower than a second threshold value lower than the first threshold value, at least one of the number of the noise data and the gain is set so that the difficulty level is lowered. The rehabilitation support device according to claim 1, wherein the rehabilitation support device is lowered.
患者の重症度を取得する取得手段と、
前記取得した重症度に基づいて、前記難易度の初期値を設定する設定手段と、
を更に有することを特徴とする請求項2に記載のリハビリテーション支援装置。
An acquisition means for acquiring the severity of the patient;
A setting means for setting an initial value of the difficulty level based on the acquired severity;
The rehabilitation support apparatus according to claim 2, further comprising:
前記雑音作成手段は、
前記混合雑音データの周波数帯域を変更可能な帯域制限フィルタ手段を含み、
前記算出された正解率が第1のしきい値を超える場合は、前記了解性に関する難易度が上昇するように、前記混合雑音データの周波数帯域を拡げるよう前記帯域制限フィルタを制御し、
前記算出された正解率が前記第1のしきい値より低い第2のしきい値を下回る場合は、前記難易度が低下するように、前記混合雑音データの周波数帯域を狭めるよう前記帯域制限フィルタを制御する
ことを特徴とする請求項1に記載のリハビリテーション支援装置。
The noise generating means is
Band limiting filter means capable of changing a frequency band of the mixed noise data,
When the calculated accuracy rate exceeds a first threshold, the band limiting filter is controlled to widen the frequency band of the mixed noise data so that the difficulty level regarding the intelligibility increases.
When the calculated accuracy rate is lower than a second threshold value that is lower than the first threshold value, the band limiting filter so as to narrow the frequency band of the mixed noise data so as to reduce the difficulty level. The rehabilitation support device according to claim 1, wherein the rehabilitation support device is controlled.
注意障害のリハビリテーションの支援を行うリハビリテーション支援装置の制御方法であって、
複数種類の雑音データを記憶する雑音データ記憶手段から1つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成ステップと、
複数種類の音声データを記憶する音声データ記憶手段から選択された音声データに前記雑音作成ステップで作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成ステップと、
前記作成された劣化音声データを音響出力する音響出力ステップと、
を有し、
前記雑音作成ステップは、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置の制御方法。
A control method of a rehabilitation support device for supporting rehabilitation of attention disorder,
A noise creation step of creating mixed noise data obtained by selecting and mixing one or more noise data from a noise data storage means for storing a plurality of types of noise data;
A deteriorated voice creation step of creating degraded voice data by superimposing the mixed noise data created in the noise creation step on voice data selected from voice data storage means for storing a plurality of types of voice data;
An acoustic output step for acoustically outputting the created degraded voice data;
Have
The method of controlling a rehabilitation support apparatus, wherein the noise generation step is capable of adjusting at least one of the number of noise data to be selected and mixed from the noise data storage means and the gain of the mixed noise data.
コンピュータに、請求項5に記載のリハビリテーション支援装置の制御方法の各ステップを実行させるためのプログラム。   The program for making a computer perform each step of the control method of the rehabilitation assistance apparatus of Claim 5.
JP2015509604A 2013-04-05 2013-04-05 Rehabilitation support device and control method thereof Active JP5997369B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/002375 WO2014162361A1 (en) 2013-04-05 2013-04-05 Rehabilitation assistance apparatus and control method therefor

Publications (2)

Publication Number Publication Date
JP5997369B2 true JP5997369B2 (en) 2016-09-28
JPWO2014162361A1 JPWO2014162361A1 (en) 2017-02-16

Family

ID=51657696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509604A Active JP5997369B2 (en) 2013-04-05 2013-04-05 Rehabilitation support device and control method thereof

Country Status (2)

Country Link
JP (1) JP5997369B2 (en)
WO (1) WO2014162361A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004500591A (en) * 1999-08-13 2004-01-08 シナプテック エル.エル.シー. Method and apparatus for improving learning ability
US20060029912A1 (en) * 2004-06-12 2006-02-09 Neuro Tone, Inc. Aural rehabilitation system and a method of using the same
JP2007293395A (en) * 2006-04-21 2007-11-08 Shodensha:Kk Communication aid device
WO2009102052A1 (en) * 2008-02-15 2009-08-20 Satoru Koyama Device for improving bloodstream volume in hearing-area of brain, and virtual sound source used for the same
JP2011110215A (en) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc Rehabilitation system, program and computer-readable recording medium recording program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004500591A (en) * 1999-08-13 2004-01-08 シナプテック エル.エル.シー. Method and apparatus for improving learning ability
US20060029912A1 (en) * 2004-06-12 2006-02-09 Neuro Tone, Inc. Aural rehabilitation system and a method of using the same
JP2007293395A (en) * 2006-04-21 2007-11-08 Shodensha:Kk Communication aid device
WO2009102052A1 (en) * 2008-02-15 2009-08-20 Satoru Koyama Device for improving bloodstream volume in hearing-area of brain, and virtual sound source used for the same
JP2011110215A (en) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc Rehabilitation system, program and computer-readable recording medium recording program

Also Published As

Publication number Publication date
JPWO2014162361A1 (en) 2017-02-16
WO2014162361A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
CN103236263B (en) Method, system and mobile terminal for improving call quality
CN108198569A (en) A kind of audio-frequency processing method, device, equipment and readable storage medium storing program for executing
US20210375303A1 (en) Natural Ear
Goetze et al. Acoustic user interfaces for ambient-assisted living technologies
JP6121606B1 (en) Hearing training apparatus, operating method of hearing training apparatus, and program
JP2023548157A (en) Other speaker audio filtering from calls and audio messages
WO2019228329A1 (en) Personal hearing device, external sound processing device, and related computer program product
CN106572818B (en) Auditory system with user specific programming
JP2009178783A (en) Communication robot and its control method
US20240276160A1 (en) Audio signal processing method and apparatus, electronic device, and computer-readable storage medium
CN104851423B (en) Sound information processing method and device
KR101478459B1 (en) Language delay treatment system and control method for the same
US10950232B2 (en) Non-verbal speech coach
JP5997369B2 (en) Rehabilitation support device and control method thereof
JP2018165805A (en) Interactive device, method for controlling interactive device, and program
JP2015069038A (en) Voice synthesizer and program
JP6566076B2 (en) Speech synthesis method and program
JP6375604B2 (en) Voice control device, voice control method and program
EP3288035B1 (en) Personal audio analytics and behavior modification feedback
JP6918471B2 (en) Dialogue assist system control method, dialogue assist system, and program
JP2008249893A (en) Speech response device and its method
US12032807B1 (en) Assistive communication method and apparatus
JP2016009133A (en) Speech rehabilitation support device and method for controlling the same
JP2014202963A (en) Rehabilitation support device and control method thereof
JP2007013369A (en) Language learning system

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160825

R150 Certificate of patent or registration of utility model

Ref document number: 5997369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250