WO2014162361A1 - リハビリテーション支援装置及びその制御方法 - Google Patents

リハビリテーション支援装置及びその制御方法 Download PDF

Info

Publication number
WO2014162361A1
WO2014162361A1 PCT/JP2013/002375 JP2013002375W WO2014162361A1 WO 2014162361 A1 WO2014162361 A1 WO 2014162361A1 JP 2013002375 W JP2013002375 W JP 2013002375W WO 2014162361 A1 WO2014162361 A1 WO 2014162361A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
data
noise data
rehabilitation
mixed
Prior art date
Application number
PCT/JP2013/002375
Other languages
English (en)
French (fr)
Inventor
鮫島　正
俊英 田中
美雪 小山
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to PCT/JP2013/002375 priority Critical patent/WO2014162361A1/ja
Priority to JP2015509604A priority patent/JP5997369B2/ja
Publication of WO2014162361A1 publication Critical patent/WO2014162361A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls

Definitions

  • the present invention relates to a rehabilitation support device that supports rehabilitation such as attention disorder.
  • Attention-disordered language rehabilitation gives you the task of concentrating on a single issue, such as solving computational problems or solving national language problems.
  • Cocktail party effect is an example of selective attention in language rehabilitation for attention disorder.
  • the cocktail party effect can be achieved only by paying attention to a specific voice from multiple voices, so it is thought that it will be a good exercise for attention disorder, but as mentioned above, there is no appropriate training device at present. It is. Therefore, providing a device that supports language rehabilitation for attention disorder is an important requirement for effective training.
  • a rehabilitation support apparatus for supporting rehabilitation of attention disorder, a voice data storage unit that stores a plurality of types of voice data, and a noise data storage unit that stores a plurality of types of noise data
  • Noise generating means for creating mixed noise data obtained by selecting and mixing one or more pieces of noise data from the noise data storing means, and voice data selected from the voice data storing means by the noise generating means
  • Degraded voice creating means for creating degraded voice data by superimposing the created mixed noise data, and acoustic output means for acoustically outputting the created degraded voice data
  • the noise creating means includes the noise data It is possible to adjust at least one of the number of noise data to be selected and mixed from the storage means and the gain of the mixed noise data Rehabilitation supporting device is provided, characterized and.
  • the accompanying drawings are included in the specification, constitute a part thereof, show an embodiment of the present invention, and are used to explain the principle of the present invention together with the description.
  • the block diagram which shows the internal structure of the robot in embodiment.
  • the flowchart of the rehabilitation assistance process in embodiment.
  • the flowchart which concerns on the modification of the rehabilitation execution process in cocktail party mode.
  • the figure which shows the example of the corresponding
  • FIG. 1 is a diagram illustrating an external configuration of a robot 1 as a language rehabilitation support device according to the embodiment.
  • the robot 1 in this embodiment interacts with a patient and performs language expression for rehabilitation (hereinafter abbreviated as “rehabilitation”) for the patient.
  • rehabilitation language expression for rehabilitation
  • the robot 1 may have a general computer appearance. However, since the robot 1 performs rehabilitation while interacting with the patient, the robot 1 may have an appearance configuration that allows the patient to relax and become familiar. It will be.
  • the robot 1 includes an antenna 111 for performing wireless communication, for example. Further, the robot 1 is provided with a microphone 114 and a speaker 112 at positions corresponding to human ears and mouths, respectively.
  • the robot 1 can connect a tablet terminal 150 that is a touch panel type display / input device for use by a speech hearing person or patient via a cable 151. It is assumed that the touch panel of the tablet terminal 150 can detect a tap or a tracing operation with a user's finger. However, such a function of the tablet terminal 150 may be configured in advance in the robot 1 itself.
  • FIG. 2 is a block diagram showing the internal configuration of the robot 1.
  • the robot 1 includes the following configuration, including a CPU 101 that controls the entire apparatus, a RAM 102 that functions as a main storage device, and a ROM 103 that stores control programs and fixed data.
  • the wireless communication controller 105 controls wireless communication performed via the antenna 111.
  • the HDD 106 is a hard disk device that stores an operating system (OS) 107 and a rehabilitation program 108, and also stores an original sound database (DB) 116, a noise DB 117, and a patient DB 118.
  • the original sound DB 116 stores data recording words, phrases, and sentences that are pronounced in a quiet environment such as an anechoic room. These should be categorized by fields such as greetings, political economy and science. Further, it is desirable that the sound pressure level of each sound data in the original sound DB 116 is normalized.
  • the noise DB 117 stores data of various noises such as white noise and pink noise, which are often used for sound quality evaluation, as well as automobile running sound, factory noise, and birds and animals.
  • a plurality of types (for example, 20 types) of human roaring data for forming the noise of a person simulating a cocktail party are stored. It is desirable that the sound pressure level (noise level) of each noise data in the noise DB 117 is also normalized.
  • the patient DB 118 holds various information including personal information of a patient who is a subject, a failure type, and a severity thereof.
  • the interface (I / F) 109 connects the tablet terminal 150 via the cable 151.
  • the audio controller 110 includes an A / D converter, a D / A converter, an antialiasing filter, and the like (not shown), and performs audio output using the speaker 112 and audio input from the microphone 114.
  • FIG. 3 shows an example of the module configuration of the rehabilitation program 108.
  • the patient registration / search module 121 is a function module related to new registration processing in the patient DB 118 and patient search processing from the patient DB 118.
  • the rehabilitation support main module 123 is responsible for executing rehabilitation by the robot 1.
  • the speech synthesis module 124 performs speech synthesis when performing acoustic output during rehabilitation by the robot 1.
  • the voice recognition module 125 recognizes a patient's utterance. This speech recognition has not only a word recognition function but also a continuous speech recognition function capable of recognizing sentences.
  • FIG. 4 is a diagram showing an example of the data structure of the patient DB 118.
  • each data entry is given a unique patient ID and describes the patient's personal information such as name, date of birth, etc., as well as the disorder type and its severity, and rehabilitation history.
  • the disorder type includes, for example, attention disorder and aphasia. Further, here, for example, 1 is set for mild, 2 is set for moderate, and 3 is set for severe.
  • the rehabilitation history includes the date and time when rehabilitation was performed in the past, the number of voices presented, the number of times, and the like. By referring to the rehabilitation history, it is easier for a language hearing person to plan future rehabilitation.
  • FIG. 5 is a flowchart of rehabilitation support processing in the present embodiment.
  • a program corresponding to this flowchart is included in the rehabilitation program 108, loaded into the RAM 102, and executed by the CPU 101.
  • this program is executed, a home screen as shown in FIG. As illustrated, the home screen includes a patient registration button 601, a patient selection button 602, and a rehabilitation start button 603.
  • a user taps any button, the corresponding screen can be displayed.
  • the patient registration or selection is performed by tapping the patient registration button 601 or the patient selection button 602 (S1). Since details of patient registration and selection are not directly related to the present invention, illustration of these screen examples is omitted. At the time of registration, items as shown in FIG. 4 are described. When registration or selection is completed, the screen returns to the home screen.
  • S2 it waits for the rehabilitation start button 603 to be tapped.
  • the process proceeds to a process (S3) for selecting an original sound and noise.
  • the screen changes to a sound source selection screen as shown in FIG.
  • the user taps the original audio selection button 701 on the sound source selection screen of FIG. 7, a candidate window 702 is displayed, and a desired genre can be selected from the candidate window 702.
  • “0: automatic selection” is selected, the selection of the original sound is left to the apparatus side.
  • the robot 1 may select the original sounds in a predetermined order or may select them at random.
  • the noise type selection button 703 a candidate window 704 is displayed, from which a desired noise type can be selected.
  • the robot 1 selects noise in a predetermined order or at random, as described above.
  • the robot 1 invalidates the noise selection by the noise type selection button 703 and enters a mode for discriminating the cocktail party effect (that is, selective listening of voice). Processing in this cocktail party mode will be described later.
  • the screen transitions to the next screen according to the input content on this screen. Specifically, the ON / OFF state of the cocktail party mode selection button 705 is confirmed in S4. If the cocktail party mode selection button 705 is OFF, the process proceeds to S5. In S5, voice data is generated by superimposing the selected original sound data and noise data. In this specification, sound data obtained by superimposing noise data on original sound data is referred to as “degraded sound data”. At this time, the screen transitions to a rehabilitation execution screen as shown in FIG. When the sound generation execution button 901 is tapped on the rehabilitation execution screen of FIG.
  • the CPU 101 passes the created deteriorated sound data to the sound controller 110 and outputs the sound via the speaker 112 (S9).
  • the patient listens to the output deteriorated sound, for example, and repeats the sound.
  • the speech auditor may ask questions about the topic of the output degraded speech and have the patient answer it. Listening to degraded speech generally requires more concentration than listening to clear original sound. For this reason, listening to such degraded speech is a good exercise for improving attention for patients with attention disorder.
  • listening to degraded speech with superimposed noise leads to activation of brain activity, which may have a positive effect on attention-impaired patients.
  • the language hearing person can input correct / incorrect information for the patient's answer (S10). For example, if the patient's answer is correct, the correct answer button 903 in FIG. 9 is tapped, and if the answer is incorrect, the incorrect answer button 904 is tapped.
  • the CPU 101 may call the voice recognition module 125 to recognize the utterance related to the patient's answer input via the microphone 114 and automatically determine the correct / incorrect answer.
  • the correct answer button 903 is tapped by the language auditor, or when the correct answer is determined by speech recognition, the CPU 101 calls the speech synthesis module 124 to generate a synthesized sound “Sure answer!” By the speech synthesis. Depart from. At the same time, the robot 1 may be happy.
  • the process proceeds from S4 to S6, and the processes of S6 to S8 are executed instead of the process of S5.
  • the screen changes to the cocktail party mode setting screen of FIG.
  • the cocktail party mode setting screen of FIG. 8 when the user taps the “number of people shaking” setting button 801, a candidate window 802 is displayed, from which a desired number of people P can be selected.
  • the user can change the noise level L of the noise data created by sliding the slide bar 803.
  • the noise level L can be reduced by moving the slide bar 803 to the left, and the noise level L can be increased by moving the slide bar 803 to the right.
  • the setting value here is discarded and the screen returns to the previous screen.
  • the setting value here is validated, and the process proceeds to S7.
  • the CPU 101 obtains and mixes the set P noises from the noise DB 117, and amplifies the mixing result with a gain corresponding to the set noise level L, thereby mixing. Create noise data.
  • the gain corresponding to the noise level L is a gain for achieving the noise level L. If the noise level of each noise data in the noise DB 117 is normalized, the gain can be easily obtained by the ratio of the set noise level L to the original noise level.
  • the amplification by the gain may be performed by multiplying each sample of the digital data by the gain value as described above, and the amplification factor of a variable amplifier (not shown) that can be included in the audio controller 110 or the speaker 112 corresponds to the gain.
  • a variable amplifier (not shown) that can be included in the audio controller 110 or the speaker 112 corresponds to the gain.
  • the process proceeds to S9, and the CPU 101 creates degraded voice data by superimposing the mixed noise data created in S8 on the original sound data selected in S3.
  • the screen changes to the rehabilitation execution screen of FIG.
  • the CPU 101 passes the created deteriorated sound data to the sound controller 110 and outputs the sound via the speaker 112 ( S9).
  • the robot 1 as the rehabilitation support apparatus has the cocktail party mode, and when creating the environmental sound of the cocktail party, at least one of the number of people noisy and the noise level is selected. It can be adjusted. Increasing the number of people rumbling and increasing the noise level can increase the level of difficulty regarding the intelligibility (whether correctly understood) by the listener of the degraded voice data that has been acoustically output. On the other hand, if the number of people is noisy and the noise level is reduced, the difficulty level can be reduced. Thereby, the cocktail party effect can be efficiently trained for a patient with attention disorder.
  • FIG. 10 is a flowchart according to a modification of the rehabilitation execution process in the cocktail party mode.
  • the CPU 101 When entering the cocktail party mode, the CPU 101 first sets the difficulty level D (S21).
  • the difficulty level refers to the level of difficulty related to the intelligibility of deteriorated voice data by the listener of the sound output.
  • the initial value of the difficulty level D may be a value according to the severity of the disorder described in the patient DB 118 shown in FIG. That is, as described above, when the severity value is set to 1 for mild, 2 for moderate, and 3 for severe, the initial value of difficulty D corresponds to 1, 2, and 3, respectively. To do.
  • the number of people and the noise level are set to values depending on the difficulty level D (S22). That is, the number of people rumbling is represented as P (D), and the noise level is represented as L (D).
  • the robot 1 may hold a correspondence table of the difficulty level, the number of rum, and the noise level as shown in FIG. According to this correspondence table, for example, when the difficulty level D is 3, the number P of people is calculated as 3, and the noise level L is calculated as 1.
  • the CPU 101 acquires and mixes the set P noises from the noise DB 117 and amplifies the mixing result with a gain corresponding to the set noise level L, thereby mixing.
  • Noise data is created (S23).
  • the CPU 101 selects original sound data from the genre selected on the screen of FIG. 7 or at random (S24). Then, the CPU 101 creates degraded sound data by superimposing the mixed noise data created in S23 on the original sound data selected in S24 (S25).
  • the screen changes to the rehabilitation execution screen of FIG.
  • the CPU 101 passes the created deteriorated sound data to the sound controller 110 and outputs the sound via the speaker 112 ( S26).
  • the patient listens to the output deteriorated voice, for example, and repeats the voice.
  • the speech hearing person inputs correct / incorrect information about the patient's answer (S27). For example, if the patient's answer is correct, the correct answer button 903 in FIG. 9 is tapped, and if the answer is incorrect, the incorrect answer button 904 is tapped.
  • S28 if the original sound data to be presented still remains, the process returns to S24, and other original sound data is selected and the process is repeated. In this way, the parameter of the determination result for calculating the correct answer rate is accumulated.
  • the correct answer rate CR is calculated. It is determined whether or not the calculated accuracy rate CR exceeds the first threshold value TH1 (S30). When the correct answer rate CR exceeds the first threshold value TH1 (YES in S30), it can be evaluated that the questions were easy for the patient. Therefore, in this case, the difficulty level D is increased by one level (S31).
  • the “quit” button 907 in FIG. 9 is tapped and there is no end interrupt, the process returns to S22 and the process is repeated.
  • the difficulty level D is lowered by one step (S33).
  • the process returns to S22 and the process is repeated.
  • the difficulty level can be automatically and efficiently set for the patient.
  • ⁇ Modification 2> At least one of the number of mixed noise data and the noise level is changed so that the degree of difficulty is changed according to the calculated accuracy rate.
  • the frequency band of noise may be adjusted so that the difficulty level is changed according to the calculated accuracy rate.
  • the rehabilitation program 108 further includes a band limiting filter module that can change the frequency band of the mixed noise data.
  • the band limiting filter module forms a variable bandpass filter, for example.
  • FIG. 12 is a schematic diagram of an audio frequency band.
  • the assumed audio frequency band is divided into four as shown in the figure, and F1, F2, F3, and F4 are set in ascending order. It may be an equal division or an unequal division.
  • the frequency band of the mixed noise data is set to F1 + F2 + F3 + F4. That is, in this case, there is no band limitation, that is, noise is superimposed on the entire band, so that the difficulty of hearing is maximized.
  • the band limiting filter when the accuracy rate exceeds the first threshold value TH1, the band limiting filter is used to widen the frequency band of the mixed noise data so that the difficulty level D increases. Can be controlled. Further, when the accuracy rate is lower than the second threshold value TH2, which is lower than the first threshold value TH1, the band limiting filter is controlled so as to narrow the frequency band of the mixed noise data so that the difficulty level D decreases. That's fine.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Rehabilitation Tools (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

　注意障害の言語リハビリテーションを効果的に支援することができるリハビリテーション支援装置が提供される。複数種類の雑音データを記憶する雑音データ記憶部から１つ以上の雑音データを選択し混合して得た混合雑音データが作成される。複数種類の音声データを記憶する音声データ記憶部から選択された音声データに前記作成された混合雑音データを重畳することで劣化音声データが作成される。作成された劣化音声データが音響出力される。装置は、混合雑音データの作成において、雑音データ記憶部から選択し混合する雑音データの数と、混合雑音データのゲインとの少なくともいずれかを調整可能である。

Description

リハビリテーション支援装置及びその制御方法
　本発明は、注意障害等のリハビリテーションの支援を行うリハビリテーション支援装置に関する。
　注意障害の言語リハビリテーションでは、計算問題を解いたり、国語の問題を解いたりといった、一つの事柄に集中するような課題が与えられる。
　この分野においては、手話や筆談による意思伝達にかわる音声出力装置に関する提案がある程度で（例えば特許文献１参照）、注意障害に対する言語リハビリテーションを支援するための適切な装置がない状況である。
特開２００７－２９３３９５号公報
　注意障害の言語リハビリテーションにおいて、選択的注意の一例として、カクテルパーティー効果が挙げられる。カクテルパーティー効果は複数の音声の中から特定の音声に対して注意を傾けなければ達成できないことから、注意障害の良い訓練になると考えられるが、上記のとおり、適切な訓練装置がないのが現状である。したがって、注意障害の言語リハビリテーションを支援する装置を提供することは、効果的な訓練を実施する上で重要な要請である。
　その他の目的および利点については、以下の説明によって明らかになろう。
　本発明の一側面によれば、注意障害のリハビリテーションの支援を行うリハビリテーション支援装置であって、複数種類の音声データを記憶する音声データ記憶手段と、複数種類の雑音データを記憶する雑音データ記憶手段と、前記雑音データ記憶手段から１つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成手段と、前記音声データ記憶手段から選択された音声データに前記雑音作成手段により作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成手段と、前記作成された劣化音声データを音響出力する音響出力手段とを有し、前記雑音作成手段は、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置が提供される。
　本発明によれば、注意障害の言語リハビリテーションを効果的に行うことができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
実施形態におけるロボットの外観構成を示す図。 実施形態におけるロボットの内部構成を示すブロック図。 実施形態におけるリハビリ用プログラムのモジュール構成の例を示す図。 実施形態における患者データベースに保持されるデータの構造例を示す図。 実施形態におけるリハビリ支援処理のフローチャート。 実施形態におけるリハビリ支援処理におけるホーム画面の例を示す図。 実施形態における音源選択画面の例を示す図。 実施形態におけるカクテルパーティーモード設定画面の例を示す図。 実施形態におけるリハビリ実行画面の例を示す図。 カクテルパーティーモードにおけるリハビリ実行処理の変形例に係るフローチャート。 実施形態における難易度、ざわめき人数、ノイズレベルの対応テーブルの例を示す図。 実施形態における難易度に応じた混合雑音データの帯域制限の例を説明する図。
　以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
　図１は、実施形態における言語リハビリテーション支援装置としてのロボット１の外観構成を示す図である。本実施形態におけるロボット１は、患者とインタラクションをとるものであって、患者に対しリハビリテーション（以下「リハビリ」と略記する。）用の言語表現を行う。
　ロボット１は、一般的なコンピュータの外観を持つものであってもよいが、患者とインタラクションをとりながらリハビリを行うものであるから、患者がリラックスして親しみが湧くような外観構成を有するとよいであろう。ロボット１は、例えば無線通信を行うためのアンテナ１１１を有する。また、ロボット１には、人の耳及び口に対応する位置にそれぞれマイクロホン１１４及びスピーカ１１２が設けられている。また、ロボット１は、言語聴覚士や患者が使用するためのタッチパネル式の表示・入力デバイスであるタブレット端末１５０を、ケーブル１５１を介して接続可能である。タブレット端末１５０のタッチパネルは、ユーザの指によるタップやなぞり動作を検出可能であるものとする。もっとも、このようなタブレット端末１５０の機能はロボット１自体が予め備えている構成としてもよい。
　図２は、ロボット１の内部構成を示すブロック図である。ロボット１は、装置全体の制御を司るＣＰＵ１０１、主記憶装置として機能するＲＡＭ１０２、制御プログラムや固定的なデータを記憶しているＲＯＭ１０３をはじめ、以下の構成を備える。
　無線通信コントローラ１０５は、アンテナ１１１を介して行う無線通信を制御する。ＨＤＤ１０６はハードディスク装置であり、オペレーティグシステム（ＯＳ）１０７やリハビリ用プログラム１０８を格納する他、原音データベース（ＤＢ）１１６、雑音ＤＢ１１７、患者ＤＢ１１８を保持する。原音ＤＢ１１６は、無響室等の静かな環境で発音された単語や句、文を録音したデータを収めている。これらは挨拶文、政治経済、サイエンス等の分野ごとに分類されているとよい。また、原音ＤＢ１１６における各音声データの音圧レベルは正規化されていることが望ましい。雑音ＤＢ１１７は、音質評価用にしばしば用いられるホワイトノイズやピンクノイズをはじめ、自動車走行音、工場騒音、鳥や動物の鳴き声といった各種雑音のデータを収めている。また、カクテルパーティーを模擬する人のざわめき音を形成するための、人の喋り声のデータも複数種類（例えば２０種類）収めている。雑音ＤＢ１１７における各雑音データの音圧レベル（ノイズレベル）も正規化されていることが望ましい。患者ＤＢ１１８は、被検者となる患者の個人情報、障害種別及びその重症度を含む各種情報を保持する。
　インタフェース（Ｉ／Ｆ）１０９は、タブレット端末１５０をケーブル１５１を介して接続する。音声コントローラ１１０は、不図示のＡ／Ｄコンバータ、Ｄ／Ａコンバータ、アンチエイリアシングフィルタ等を含み、スピーカ１１２を用いた音声出力及びマイクロホン１１４からの音声入力を行う。
　図３は、リハビリ用プログラム１０８のモジュール構成の例を示している。患者登録／検索モジュール１２１は、患者ＤＢ１１８への新規登録処理、及び患者ＤＢ１１８からの患者の検索処理に係るファンクションモジュールである。リハビリ支援メインモジュール１２３は、ロボット１によるリハビリの実行を担う。音声合成モジュール１２４は、ロボット１によるリハビリにおける音響出力を行う際に音声合成を実行する。音声認識モジュール１２５は、患者の発話を認識する。この音声認識は、単語認識機能のみならず、文を認識可能な連続音声認識の機能を備える。
　図４は、患者ＤＢ１１８のデータ構造例を示す図である。図示するように、各データエントリには、固有の患者ＩＤが付与され、氏名、生年月日等の患者の個人情報が記述される他、障害種別及びその重症度、及びリハビリの履歴が記述される。障害種別には例えば、注意障害及び失語症が含まれる。また、ここでは、重症度の値として例えば、軽度には１が、中度には２が、重度には３が設定される。リハビリ履歴は、過去にリハビリを行った日時や提示した音声やその回数等を含み、これを参照することで言語聴覚士は今後のリハビリの計画を立てやすくなるであろう。
　図５は、本実施形態におけるリハビリ支援処理のフローチャートである。このフローチャートに対応するプログラムは、リハビリ用プログラム１０８に含まれ、ＲＡＭ１０２にロードされてＣＰＵ１０１によって実行される。このプログラムが実行されるとまず、図６に示されるようなホーム画面がタブレット端末１５０に表示される。図示のように、ホーム画面は、患者登録ボタン６０１、患者選択ボタン６０２、リハビリ開始ボタン６０３を含む。ユーザ（例えば言語聴覚士）がいずれかのボタンをタップすると、対応する画面に遷移することができる。
　患者登録ボタン６０１又は患者選択ボタン６０２がタップされることで、患者の登録又は選択が行われる（Ｓ１）。患者の登録及び選択の詳細は本発明と直接関係がないので、それらの画面例を図示することは、省略する。登録時には、図４に示したような事項を記述していくことになる。登録又は選択が完了すると画面はホーム画面に戻るものとする。
　Ｓ２では、リハビリ開始ボタン６０３がタップされるのを待機している。リハビリ開始ボタン６０３がタップされると、処理は原音及び雑音を選択する処理（Ｓ３）へと進む。ここで画面は図７に示すような音源選択画面に遷移する。図７の音源選択画面において、ユーザが原音声選択ボタン７０１をタップすると、候補ウィンドウ７０２が表示されるので、その中から所望するジャンルを選択できる。なお、「０：自動選択」を選択すると、原音の選択は装置側に委ねられる。このときロボット１は原音を所定の順序で原音を選んでもよいし、ランダムに選んでもよい。次にユーザが雑音種類選択ボタン７０３をタップすると、候補ウィンドウ７０４が表示されるので、その中から所望する雑音の種類を選択できる。なお、「０：自動選択」を選択すると、上記と同様、ロボット１は、所定の順序又はランダムに、雑音を選択することになる。
　ユーザがカクテルパーティーモード選択ボタン７０５をタップすると、ロボット１は、雑音種類選択ボタン７０３による雑音選択を無効とし、カクテルパーティー効果（すなわち音声の選択的聴取）の弁別訓練を行うモードに入る。このカクテルパーティーモードでの処理については後述する。
　キャンセルボタン７０６がタップされると、この画面での入力内容を破棄して図６のホーム画面に戻る。一方、ネクストボタン７０７がタップされると、この画面での入力内容に応じて次の画面に遷移する。具体的には、Ｓ４でカクテルパーティーモード選択ボタン７０５のＯＮ／ＯＦＦを確認し、カクテルパーティーモード選択ボタン７０５がＯＦＦの場合、処理はＳ５に進む。Ｓ５では、選択された原音データと雑音データとを重畳した音声データを作成する。本明細書において、原音データに雑音データを重畳して得た音声データを「劣化音声データ」という。このとき、画面は図９に示されるようなリハビリ実行画面に遷移する。図９のリハビリ実行画面において、発音実行ボタン９０１がタップされると、ＣＰＵ１０１は、作成された劣化音声データを音声コントローラ１１０に渡し、スピーカ１１２を介して音響出力する（Ｓ９）。患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。あるいは、出力された劣化音声の話題に関する問題を言語聴覚士が出題し、患者にそれを回答してもらうようにしてもよい。劣化音声を聞き取ることは一般に、クリアな原音を聞くよりも集中力を要する。そのため、このような劣化音声を聴取してもらうことは、注意障害の患者にとっては注意力向上のよい訓練となる。また、雑音が重畳された劣化音声を聴取することは脳活動の活性化につながり、これが注意障害の患者に良い影響を与える側面もあると考えられる。
　言語聴覚士は、患者の回答につき正解／不正解の情報を入力することができる（Ｓ１０）。例えば、患者の回答が正解である場合は、図９の正解ボタン９０３をタップし、不正解である場合は、不正解ボタン９０４をタップする。あるいは、ＣＰＵ１０１は、音声認識モジュール１２５をコールして、マイクロホン１１４を介して入力した患者の回答に係る発声を音声認識し、正解／不正解を自動判定してもよい。言語聴覚士によって正解ボタン９０３がタップされ、又は、音声認識によって正解と判定された場合は、ＣＰＵ１０１は音声合成モジュール１２４をコールして、音声合成により「正解です！」との合成音をスピーカ１１２から発するとよい。あわせて、ロボット１が喜ぶ動作を行ってもよいであろう。なお、「戻る」ボタン９０５がタップされると、前画面に戻る。「次の音」ボタン９０６がタップされると、処理を繰り返すことが決定され（Ｓ１１でＮＯ）、Ｓ３に戻って、処理が繰り返される。「やめる」ボタン９０７がタップされると、これまでの正解／不正解の情報等がリハビリ履歴として患者ＤＢ１１８に記憶される。
　一方、カクテルパーティーモード選択ボタン７０５がＯＮ状態の場合、処理はＳ４からＳ６に進み、Ｓ５の処理に代えてＳ６～Ｓ８の処理が実行される。処理がＳ４からＳ６に進むと、画面は図８のカクテルパーティーモードの設定画面に遷移する。図８のカクテルパーティーモードの設定画面において、ユーザが「人のざわめき人数」設定ボタン８０１をタップすると、候補ウィンドウ８０２が表示されるので、その中から所望するざわめき人数Ｐを選択することができる。また、ユーザは、スライドバー８０３をスライドさせることで作成する雑音データのノイズレベルＬを変更することができる。この例では、スライドバー８０３を左に移動させるとノイズレベルＬを低減し、右に移動させるとノイズレベルＬを増大させることができる。「戻る」ボタン８０４がタップされると、ここでの設定値は破棄されて前画面に戻る。ネクストボタン８０５がタップされると、ここでの設定値が有効化されて、処理はＳ７に進む。Ｓ７では、ＣＰＵ１０１は、雑音ＤＢ１１７から、設定されたＰ個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルＬに対応するゲインで増幅することで、混合雑音データを作成する。ここで、ノイズレベルＬに対応するゲインとは、ノイズレベルＬを達成するためのゲインをいう。雑音ＤＢ１１７における各雑音データのノイズレベルが正規化されていれば、ゲインは、元のノイズレベルに対する設定されたノイズレベルＬの比率によって、容易に求めることができる。ゲインによる増幅は、上記のとおりデジタルデータの各サンプルにゲイン値を乗じることで行ってもよいし、音声コントローラ１１０又はスピーカ１１２に含まれうる不図示の可変増幅器の増幅率をそのゲインに対応する値に設定することで行ってもよいことは、当業者には容易に理解されよう。なお、本実施形態においては、ざわめき人数Ｐは１をとりうるものとする。したがって、Ｐ＝１の場合の混合雑音は実質的には単一種類の雑音そのものである。その後、処理はＳ９に進み、ＣＰＵ１０１は、Ｓ３で選択された原音データにＳ８で作成した混合雑音データを重畳して劣化音声データを作成する。このとき、画面は図９のリハビリ実行画面に遷移する。そして、上述したように、図９のリハビリ実行画面において、発音実行ボタン９０１がタップされると、ＣＰＵ１０１は、作成された劣化音声データを音声コントローラ１１０に渡し、スピーカ１１２を介して音響出力する（Ｓ９）。
　このように、本実施形態によれば、リハビリテーション支援装置としてのロボット１は、カクテルパーティーモードを有し、カクテルパーティーの環境音を作成する際に、人のざわめき人数及びノイズレベルの少なくともいずれかを調整可能である。人のざわめき人数を増やし、また、ノイズレベルを増大すれば、音響出力された劣化音声データの聴取者による了解性（正しく理解されたかどうか）に関する難易度を増加することができる。逆に、人のざわめき人数を少なくし、また、ノイズレベルを低減すれば、難易度を低下させることができる。これにより、注意障害の患者に対して、カクテルパーティー効果の訓練を効率的に行うことができる。
　＜変形例１＞
　以下では、カクテルパーティーモードにおいて、患者の聞き取り能力に応じた適切な劣化音声データを自動で作成する処理について説明する。図１０は、カクテルパーティーモードにおけるリハビリ実行処理の変形例に係るフローチャートである。カクテルパーティーモードに入ると、ＣＰＵ１０１はまず、難易度Ｄの初期設定を行う（Ｓ２１）。ここで、難易度とは、音響出力の聴取者による劣化音声データの了解性に関する困難度合をいう。難易度Ｄの初期値は例えば、図４に示した患者ＤＢ１１８に記述されている障害の重症度に応じた値とするとよい。すなわち、上述したように重症度の値として、軽度には１、中度には２、重度には３が設定されている場合、難易度Ｄの初期値はそれぞれ、１、２、３が対応する。
　次に、人のざわめき人数とノイズレベルをそれぞれ、難易度Ｄに依存した値に設定する（Ｓ２２）。すなわち、人のざわめき人数はＰ（Ｄ）と表され、ノイズレベルはＬ（Ｄ）と表される。ここで、ロボット１は、図１１に示されるような、難易度、ざわめき人数、ノイズレベルの対応テーブルを保持しているとよい。この対応テーブルによれば、例えば難易度Ｄが３の場合、人のざわめき人数Ｐは３、ノイズレベルＬは１として求められる。
　次に、ＣＰＵ１０１は、雑音ＤＢ１１７から、設定されたＰ個の人のざわめき音を取得して混合するとともに、その混合結果を、設定されたノイズレベルＬに対応するゲインで増幅することで、混合雑音データを作成する（Ｓ２３）。次に、ＣＰＵ１０１は、図７の画面で選択されたジャンルから、あるいはランダムに、原音データを選択する（Ｓ２４）。そして、ＣＰＵ１０１は、Ｓ２４で選択した原音データにＳ２３で作成した混合雑音データを重畳して劣化音声データを作成する（Ｓ２５）。このとき、画面は図９のリハビリ実行画面に遷移する。そして、上述したように、図９のリハビリ実行画面において、発音実行ボタン９０１がタップされると、ＣＰＵ１０１は、作成された劣化音声データを音声コントローラ１１０に渡し、スピーカ１１２を介して音響出力する（Ｓ２６）。
　患者には、出力された劣化音声を聴取し、例えばその音声を復唱してもらう。言語聴覚士は、患者の回答につき正解／不正解の情報を入力する（Ｓ２７）。例えば、患者の回答が正解である場合は、図９の正解ボタン９０３をタップし、不正解である場合は、不正解ボタン９０４をタップする。次にＳ２８で、出題する原音データがまだ残っている場合は、Ｓ２４に戻って、他の原音データを選択して処理を繰り返す。こうして正解率を算出するための判定結果の母数が蓄積されていく。
　そして、Ｓ２９で、正解率ＣＲを算出する。算出した正解率ＣＲが第１のしきい値ＴＨ１を超えたか否かを判定する（Ｓ３０）。正解率ＣＲが第１のしきい値ＴＨ１を超えた場合（Ｓ３０でＹＥＳ）は、その患者にとっては出題が易しかったと評価できる。そこでこの場合は難易度Ｄを１段階、上昇させる（Ｓ３１）。ここで図９の「やめる」ボタン９０７がタップされて終了割込みがないかぎり、Ｓ２２に戻って処理を繰り返す。
　次に、正解率ＣＲが第１のしきい値ＴＨ１より低い第２のしきい値ＴＨ２を下回る場合（Ｓ３２でＹＥＳ）は、その患者にとっては出題が難しかったと評価できる。そこでこの場合は難易度Ｄを１段階引き下げる（Ｓ３３）。ここで図９の「やめる」ボタン９０７がタップされて終了割込みがないかぎり、Ｓ２２に戻って処理を繰り返す。
　以上の処理によれば、自動的に効率よく患者に対し難易度を設定することが可能になる。
　＜変形例２＞
　上述の変形例１は、算出した正解率に応じて難易度が変更されるように、雑音データの混合数とノイズレベルとの少なくともいずれかを変更するものであった。これに対し、算出した正解率に応じて難易度が変更されるように、雑音の周波数帯域を調整するようにしてもよい。以下、これを変形例２として説明する。
　例えば、リハビリ用プログラム１０８は、混合雑音データの周波数帯域を変更可能な帯域制限フィルタモジュールを更に含む。帯域制限フィルタモジュールは、例えば可変バンドパスフィルタを形成する。
　また、ここでは難易度Ｄを易しい順に１，２，３，４の４段階であるとする。図１２は、音声周波数帯域の模式図である。想定する音声周波数帯域を図示のように４分割し、低い方からＦ１，Ｆ２，Ｆ３，Ｆ４とする。均等分割であってもよいし、不均等分割であってもよい。そして、難易度Ｄ＝１のときは、混合雑音データの周波数帯域をＦ４にする。この場合、雑音が重畳される帯域がＦ４だけに制限されるので、聞き取り困難性は低いであろう。難易度Ｄ＝２のときは、混合雑音データの周波数帯域をＦ３＋Ｆ４にする。難易度Ｄ＝３のときは、混合雑音データの周波数帯域をＦ２＋Ｆ３＋Ｆ４にする。そして、難易度Ｄ＝４のときは、混合雑音データの周波数帯域をＦ１＋Ｆ２＋Ｆ３＋Ｆ４にする。つまり、この場合は帯域制限なし、すなわち全帯域で雑音を重畳するので、聞き取り困難性は最高となる。
　このような割り当てにより、図１０の処理のように、正解率が第１のしきい値ＴＨ１を超える場合は、難易度Ｄが上昇するように、混合雑音データの周波数帯域を拡げるよう帯域制限フィルタを制御すればよい。また、正解率が第１のしきい値ＴＨ１より低い第２のしきい値ＴＨ２を下回る場合は、難易度Ｄが低下するように、混合雑音データの周波数帯域を狭めるよう帯域制限フィルタを制御すればよい。
　本発明は上記実施の形態に限定されるものではなく、本発明の主旨及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

Claims (6)

  1. 　注意障害のリハビリテーションの支援を行うリハビリテーション支援装置であって、
    　複数種類の音声データを記憶する音声データ記憶手段と、
    　複数種類の雑音データを記憶する雑音データ記憶手段と、
    　前記雑音データ記憶手段から１つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成手段と、
    　前記音声データ記憶手段から選択された音声データに前記雑音作成手段により作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成手段と、
    　前記作成された劣化音声データを音響出力する音響出力手段と、
    　を有し、
    　前記雑音作成手段は、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置。
  2. 　前記劣化音声作成手段及び前記音響出力手段の動作を前記音声データ記憶手段から選択される複数の音声データに対して繰り返し実行する制御手段と、
    　前記制御手段により繰り返し実行された音響出力の聴取者による前記劣化音声データの了解性に関する正解率を算出する算出手段と、
    　を更に有し
    　前記雑音作成手段は、
    　　　前記算出された正解率が第１のしきい値を超える場合は、前記了解性に関する難易度が上昇するように、前記雑音データの数と前記ゲインとの少なくともいずれかを増加させ、
    　　　前記算出された正解率が前記第１のしきい値より低い第２のしきい値を下回る場合は、前記難易度が低下するように、前記雑音データの数と前記ゲインとの少なくともいずれかを低下させる
    　ことを特徴とする請求項１に記載のリハビリテーション支援装置。
  3. 　患者の重症度を取得する取得手段と、
    　前記取得した重症度に基づいて、前記難易度の初期値を設定する設定手段と、
    　を更に有することを特徴とする請求項２に記載のリハビリテーション支援装置。
  4. 　前記雑音作成手段は、
    　　　前記混合雑音データの周波数帯域を変更可能な帯域制限フィルタ手段を含み、
    　　　前記算出された正解率が第１のしきい値を超える場合は、前記了解性に関する難易度が上昇するように、前記混合雑音データの周波数帯域を拡げるよう前記帯域制限フィルタを制御し、
    　　　前記算出された正解率が前記第１のしきい値より低い第２のしきい値を下回る場合は、前記難易度が低下するように、前記混合雑音データの周波数帯域を狭めるよう前記帯域制限フィルタを制御する
    　ことを特徴とする請求項１に記載のリハビリテーション支援装置。
  5. 　注意障害のリハビリテーションの支援を行うリハビリテーション支援装置の制御方法であって、
    　複数種類の雑音データを記憶する雑音データ記憶手段から１つ以上の雑音データを選択し混合して得た混合雑音データを作成する雑音作成ステップと、
    　複数種類の音声データを記憶する音声データ記憶手段から選択された音声データに前記雑音作成ステップで作成された混合雑音データを重畳して劣化音声データを作成する劣化音声作成ステップと、
    　前記作成された劣化音声データを音響出力する音響出力ステップと、
    　を有し、
    　前記雑音作成ステップは、前記雑音データ記憶手段から選択し混合する雑音データの数と、前記混合雑音データのゲインとの少なくともいずれかを調整可能であることを特徴とするリハビリテーション支援装置の制御方法。
  6. 　コンピュータに、請求項５に記載のリハビリテーション支援装置の制御方法の各ステップを実行させるためのプログラム。
PCT/JP2013/002375 2013-04-05 2013-04-05 リハビリテーション支援装置及びその制御方法 WO2014162361A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2013/002375 WO2014162361A1 (ja) 2013-04-05 2013-04-05 リハビリテーション支援装置及びその制御方法
JP2015509604A JP5997369B2 (ja) 2013-04-05 2013-04-05 リハビリテーション支援装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/002375 WO2014162361A1 (ja) 2013-04-05 2013-04-05 リハビリテーション支援装置及びその制御方法

Publications (1)

Publication Number Publication Date
WO2014162361A1 true WO2014162361A1 (ja) 2014-10-09

Family

ID=51657696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002375 WO2014162361A1 (ja) 2013-04-05 2013-04-05 リハビリテーション支援装置及びその制御方法

Country Status (2)

Country Link
JP (1) JP5997369B2 (ja)
WO (1) WO2014162361A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004500591A (ja) * 1999-08-13 2004-01-08 シナプテック　エル．エル．シー． 学習能力を向上させる方法及び装置
JP2007293395A (ja) * 2006-04-21 2007-11-08 Shodensha:Kk コミュニケーションエイド装置
WO2009102052A1 (ja) * 2008-02-15 2009-08-20 Satoru Koyama 聴覚領域の脳血流量向上装置及び該装置に用いる仮想音源
JP2011110215A (ja) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124722A2 (en) * 2004-06-12 2005-12-29 Spl Development, Inc. Aural rehabilitation system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004500591A (ja) * 1999-08-13 2004-01-08 シナプテック　エル．エル．シー． 学習能力を向上させる方法及び装置
JP2007293395A (ja) * 2006-04-21 2007-11-08 Shodensha:Kk コミュニケーションエイド装置
WO2009102052A1 (ja) * 2008-02-15 2009-08-20 Satoru Koyama 聴覚領域の脳血流量向上装置及び該装置に用いる仮想音源
JP2011110215A (ja) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JPWO2014162361A1 (ja) 2017-02-16
JP5997369B2 (ja) 2016-09-28

Similar Documents

Publication Publication Date Title
US11527243B1 (en) Signal processing based on audio context
KR20220054602A (ko) 선택적 청취를 지원하는 시스템 및 방법
US20210375303A1 (en) Natural Ear
CN108198569A (zh) 一种音频处理方法、装置、设备及可读存储介质
Goetze et al. Acoustic user interfaces for ambient-assisted living technologies
WO2018038235A1 (ja) 聴覚トレーニング装置、聴覚トレーニング方法、およびプログラム
WO2019228329A1 (zh) 个人听力装置、外部声音处理装置及相关计算机程序产品
JP2009178783A (ja) コミュニケーションロボット及びその制御方法
CN106572818B (zh) 一种具有用户特定编程的听觉系统
CN104851423B (zh) 一种声音信息处理方法及装置
KR101478459B1 (ko) 언어 지연 치료 시스템 및 그 시스템 제어 방법
JP2008216735A (ja) 受付ロボット及び受付ロボットの会話適応方法
US10950232B2 (en) Non-verbal speech coach
KR20150134561A (ko) 스트레스 완화 및 집중력 향상을 위한 백색소음 발생 헤드셋 및 그를 이용한 백색소음 발생 방법
JP5997369B2 (ja) リハビリテーション支援装置及びその制御方法
JP2018165805A (ja) 対話装置、対話装置の制御方法およびプログラム
WO2021144964A1 (ja) ヒアリングデバイス、ヒアリングデバイスの調整方法
JP6918471B2 (ja) 対話補助システムの制御方法、対話補助システム、及び、プログラム
JP6566076B2 (ja) 音声合成方法およびプログラム
JP2008249893A (ja) 音声応答装置及びその方法
JP4457986B2 (ja) 語学学習システム及び端末装置
JP2016009133A (ja) 言語リハビリテーション支援装置及びその制御方法
JP2015064480A (ja) 音声合成装置およびプログラム
KR102350890B1 (ko) 휴대용 청력검사장치
US20220387747A1 (en) Sound control system and method for dental treatment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880773

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015509604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13880773

Country of ref document: EP

Kind code of ref document: A1