JP5805804B2

JP5805804B2 - 構音訓練用録画・録音装置

Info

Publication number: JP5805804B2
Application number: JP2014018314A
Authority: JP
Inventors: 山本　一郎; 一郎山本
Original assignee: 山本　一郎; 一郎山本
Priority date: 2014-02-03
Filing date: 2014-02-03
Publication date: 2015-11-10
Anticipated expiration: 2034-02-03
Also published as: JP2015145939A

Description

この発明は、構音訓練用録画・録音装置に関するものである。

口蓋裂術後症は、構音障害を生じさせることがある。当該構音障害は、言語聴覚士等の指導者による直接の構音指導、及び家庭での反復練習によって治療される。それには、治療前に良好な記録の採取と検査が不可欠である。

構音障害の治療では、患者毎に必要な構音訓練の内容が異なる。そして、構音障害の治療は、家庭において、正しい構音を繰り返すことが重要である。しかし、家庭では、正しい構音であったか否かを患者自身が確認することができず、指導者による構音訓練と同様の環境を再現することは困難であった。

そこで、特許文献１においては、家庭での構音訓練を効率的に行うことができる情報処理装置が提案されている。

この特許文献１の情報処理装置は、音声を集音するマイクと、所定の構音に対応する参照音声波形を記憶する記憶手段と、画像を表示する表示手段と、前記マイクで集音した音声の波形を取得し、当該取得した音声の波形、前記参照音声波形、及び前記所定の構音に対応する口形の画像、を前記表示手段に表示させる制御手段と、を備えている。

特開２０１３−６１３６９号公報

ところで、上記した特許文献１においては、構音障害による問題とマガーク効果による問題が解決されていない。

構音障害は、舌が口蓋に当たる位置によって、発生する音が異なることが原因の一つであり、口の動きは同じなのに、異なった発音が生じるという障害をいう。

マガーク効果は、ある音韻を発音したときの音声を、別の音韻を発音しているときの口の動きの映像と組み合わせて視聴者が視聴すると、耳から入ってきた音韻や口の動きから連想した音韻とも異なる音韻を視聴者が知覚するという知覚効果をいう。

即ち、上記した特許文献１おいては、発音したときの口形の画像を表示するように構成しているが、舌が口蓋に当たる位置が異なり音韻が所望の音韻とならない場合、この口形と異なる音韻の音声が組み合わされ、マガーク効果により異なる音韻を知覚することになり、却って構音訓練を阻害する虞がある。

この発明は、上記した従来の問題点を解消するためになされたものにして、マガーク効果の影響を排除した構音訓練が行える装置を提供することを目的とする。

この発明の構音訓練用録画・録音装置は、音声を集音する集音手段と、訓練用の構音対象となる文字又は絵を記憶する記憶手段と、画像を表示する表示手段と、患者を撮影する撮影手段と、前記記憶手段から読み出した訓練用の構音対象となる文字又は絵をプロンプト表示領域に表示させるとともに、前記撮影手段で撮影している動画を動画領域に表示させる制御手段を備え、
前記制御手段は、前記動画領域をマスクするとともに、前記プロンプト表示領域に訓練用の構音対象となる文字又は絵を表示させて、前記集音手段で音声を集音する
ことを特徴とする。

また、選択可能な訓練の構音対象を表示する複数のプロンプト選択欄と、前記プロンプト選択欄にそれぞれ対応して録画・録音されたデータの有無を表示するためのアイコンを有する複数の録画・録音データ選択欄と、を備え、選択した訓練用の構音対象の文字を又は絵を表示させた状態で、録画・録音すると、該当する録画・録音データ選択欄のアイコンの表示を録画・録音されたデータがあることが分かるように変更させるように構成することができる。

また、前記表示手段に、前記撮影手段で撮影した患者の顔の位置が正常に収まっているか否かを知らせる顔検出ランプと、前記撮影手段で撮影した患者の顔の位置により移動し患者の範囲を示すインジケータ枠を有する顔検出インジケータと、を表示させるように構成してもよい。

この発明は、マガーク効果の影響が生じない状態で、家庭での構音訓練、また、家庭で行った構音訓練に対する適切な指導を行うことができる。

この発明にかかる構音訓練用録画・録音装置の構成を示すブロック図である。この発明に用いられるタブレット型パーソナルコンピュータ装置を示す模式図である。この発明に用いられるＵＳＢコントローラを示す模式図である。この発明のディスプレイに表示される画面の例を示す図である。この発明のディスプレイに表示される画面の顔検出ランプを示す図である。この発明のディスプレイに表示されるインジケータ部を示す図である。この発明の音声モードにおけるディスプレイに表示される画面の例を示す図である。この発明の動画モードにおけるディスプレイに表示される画面の例を示す図である。この発明の動画モードにおけるディスプレイに表示される画面の動画表示欄をマスクした例を示す図である。この発明の動画モードにおけるディスプレイのプロンプト表示欄に文字の表示を行っている例を示す図である。この発明の音声モードにおけるディスプレイに表示される画面の再生表示の例を示す図である。この発明の動画モードにおけるディスプレイに表示される画面の再生表示の例を示す図である。この発明の動画モードにおけるディスプレイに表示される画面の再生表示の例を示す図である。この発明の制御部の動作を示すフローチャートである。

以下、この実施の形態について図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付して、説明の重複を避けるためにその説明は繰返さない。

図１は、この発明にかかる構音訓練用録画・録音装置の構成を示すブロック図であり、図２は、この発明に用いられるタブレット型パーソナルコンピュータ装置を示す模式図である。この構音訓練用録画・録音装置は、例えば、図２に示すように、タブレット型パーソナルコンピュータ装置１を用いて構成されている。このタブレット型パーソナルコンピュータ装置１は、制御部１０、ディスプレイ１１、入力装置１２、マイク１３、スピーカ１４、カメラ１５、通信インターフェース（Ｉ／Ｆ）１６、ＵＳＢインターフェース（Ｉ／Ｆ）１７、ＲＯＭ１８及びＲＡＭ１９を備えたパーソナルコンピュータ装置である。

制御部１０は、タブレット型パーソナルコンピュータ装置１を統括的に制御するものであり、マイクロコンピュータで構成されている。そして、制御部１０では、各部で入力された操作信号に基づいて各部で収集されたデータを処理する。

制御部１０には、ディスプレイ１１、入力装置１２、マイク１３、スピーカ１４、カメラ１５、通信Ｉ／Ｆ１６、ＵＳＢＩ／Ｆ１７、ＲＯＭ１８及びＲＡＭ１９が接続されている。

ディスプレイ１１は、制御部１０で処理された画像データを表示する表示装置である。入力装置１２は、操作者が入力した操作を操作信号にして、制御部１０に送信する入力装置である。

図２に示すように、タブレット型パーソナルコンピュータ装置１に備えられたディスプレイ１１と入力装置１２がタッチパネル液晶で構成される場合には、ディスプレイ１１と入力装置１２が一体として構成される。

マイク１３は、患者が発音した音声を収集するために使用する集音装置である。スピーカ１４は、制御部１０が処理した音声データを再生するために使用する拡声装置である。カメラ１５は、患者が発音したときの顔の動きを撮影するために使用する撮影装置である。カメラ１５は、患者が発音したときの顔の動きを撮影するために使用する撮影装置である。

通信Ｉ／Ｆ１６は、図示しない種々の機器と接続され、それら種々の機器との間でデータ等の送受信が行われる。通信Ｉ／Ｆ１６と種々の機器は、例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）の規格に基づいた近距離無線通信により、データの送受が行われる。なお、無線通信であればブルートゥース以外の無線通信規格であっても構わない。

ＵＳＢＩ／Ｆ１７は、ＵＳＢデバイスとしてのＵＳＢコントローラ２が接続され、ＵＳＢコントローラ２から各種操作信号が制御部１０に与えられる。

ＲＯＭ１８とＲＡＭ１９はともに記憶媒体であり、ＲＯＭ１８に記憶されている各種プログラムをＲＡＭ１９に展開して、制御部１０で処理することにより種々の動作を行う。ただし、タブレット型パーソナルコンピュータ装置１が制御部１０によって統括的に制御されるものであればよいので、各種プログラムとＲＯＭ１８、ＲＡＭ１９との構成はどの様な構成であってもよい。

例えば、ＲＯＭ１８には、タブレット型パーソナルコンピュータ装置１を起動するためのＯＳ等を格納しておき、その格納したＯＳ等を読み出して、ＲＡＭ１９にＯＳ等を展開して、各種機能を実現するように構成してもよい。

また、ＲＡＭ１９は、ハードディスク等の不揮発性メモリとワークＲＡＭ等で構成して、ＲＡＭ１９の不揮発性メモリに各種ソフトを格納して、その格納した各種ソフトを読み出して、ワークＲＡＭ等に各種ソフトを展開して、各種機能を実現するように構成してもよい。

図３は、ＵＳＢコントローラ２の構成を示した図である。ＵＳＢコントローラ２は、ディスプレイ１１に表示するプロンプトを切り替えるためや録画・録音・再生のために使用する。ＵＳＢコントローラ２は、選択するプロンプトを切り替える上ボタン２１、下ボタン２２と録画・録音のオン・オフボタン２３を有する。これらボタン２１〜２３を押すことで制御信号を発生して、その制御信号を制御部１０へ与える。

この発明にかかる構音訓練用録画・録音装置において、録画・録音を行っていないときにこのオン・オフボタン２３を押すと録画・録音が開始して、録画・録音を行っているときにこのオン・オフボタン２３を押すと録画・録音が停止する。

次に、構音障害の治療を補助するための構音訓練用アプリケーションプログラム（以下、「構音訓練用ソフトＡＰ」という。）について、説明する。構音訓練用ソフトＡＰは、この実施の形態では、ＲＯＭ１８に格納されている。制御部１０は、ＲＯＭ１８に格納されている構音訓練用ソフトＡＰを読み出して、ＲＡＭ１９に展開することにより、以下のような機能を実現する。即ち、制御部１０は、マイク１３を用いた録音機能、スピーカ１４を用いた音声再生機能、カメラ１５を用いた撮影機能、マイク１３で集音した音声の時間軸波形を取得する波形取得機能、撮影した画像、音声波形等をディスプレイ１１に表示する表示機能等を実現する。訓練用の構音対象となる文字又は絵は構音訓練用ソフトＡＰと共にＲＯＭ１８に格納されている。

制御部１０は、マイク１３を用いて録音した音声データやカメラ１５を用いて撮影した画像データをＲＡＭ１９に格納する。ＲＡＭ１９に格納された各データは、記録した日時、記録に対応するプロンプト等の記録状況を識別可能にしておく。これにより、各データの読み出しは、日時、記録状況などに基づいて容易に選択して、再生することができる。

このように、構音訓練用ソフトＡＰは、マイク１３で集音した患者が発音した音声の音声波形やカメラ１５で撮影した画像をディスプレイ１１に表示することができる。これにより、患者は聴覚的なフィードバックだけでなく、視覚的なフィードバックが得られるため、家庭での構音訓練、また、家庭で行った構音訓練に対する適切な指導を行うことができる。また、構音訓練用ソフトＡＰは、録画・録音において、マイク１３で録音した音声データやカメラ１５を用いて撮影した画像データを、聴覚的情報と視覚的情報を区別して、ＲＡＭ１９に格納することもできる。これにより、格納されたデータを再生するときにおいて、マガーク効果の影響を排除した構音訓練を行うことができるため、家庭での構音訓練、また、家庭で行った構音訓練に対する適切な指導を行うことができる。

以下、ディスプレイ１１に表示される具体的な表示内容及び制御部１０の動作について説明する。
ディスプレイ１１に表示される表示画面の表示モードには、音声モードと動画モードがある。
音声モードは、患者が発音した様子の録画・録音又は録画・録音したデータの再生において、画像表示欄を表示しない表示モードである。
動画モードは、患者が発音した様子の録画・録音又は録画・録音したデータの再生において、画像表示欄を表示する表示モードである。

音声モードにおける表示画面について説明する。
図４は、音声モードにおけるディスプレイ１１に表示される表示画面１１ａの例を示す図である。患者がタッチパネルである入力装置１２を操作して、構音訓練用ソフトＡＰを立ち上げると、図４に示すように、ディスプレイ１１に表示画面１１ａが表示される。

表示画面１１ａには、顔検出ランプ１１１、顔検出インジケータ１１２、レコードボタン１１３、ストップボタン１１４、プレイボタン１１５、プロンプト表示欄１１６、プロンプト選択欄１１７、録画・録音データ選択欄１１８、音声波形欄１１９の操作アイコン等の画像表示欄が表示される。

顔検出ランプ１１１は、カメラ１５で検出された患者の顔の位置が正常な範囲に収まっているかどうかを患者に知らせるランプである。図４に示すように、構音訓練用ソフトＡＰを立ち上げると、表示画面１１ａに、顔検出ランプ１１１が表示される。

図５は、この発明における顔検出ランプ１１１の変化の様子を示す図である。
カメラ１５で検出された患者の顔の位置が正常な範囲に収まっていない場合には、顔検出ランプ１１１が赤色（図５に示す１１１ａにおけるハッチングの状態）になる。カメラ１５で検出された患者の顔の位置が正常な範囲に収まっている場合には、顔検出ランプ１１１が緑色（図５に示す１１１ｂにおけるクロスハッチングの状態）になる。この顔検出ランプ１１１が赤色（１１１ａ）から緑色（１１１ｂ）になるように、カメラ１５を患者の顔の前で移動させる。

また、この実施の形態では、表示画面１１ａに、顔検出インジケータ１１２が表示される。顔検出インジケータ１１２は、カメラ１５で検出された患者の顔が正常な範囲に収まっているかどうかを患者に知らせるインジケータである。

図６は、この発明における顔検出インジケータ１１２の変化の様子を示す図である。図６（ａ）、（ｂ）に示すように、顔検出インジケータ１１２には、インジケータ枠１１２ａが表示される。インジケータ枠１１２ａで囲まれた範囲はカメラ１５で検出された患者の顔の範囲である。

インジケータ枠１１２ａが顔検出インジケータ１１２の中央部に収まれば、患者の顔が正常な範囲に収まっていると判断できる。即ち、インジケータ枠１１２ａが顔検出インジケータ１１２の中央部に収まるようにタブレット型パーソナルコンピュータ装置１を移動させると、顔検出を正常に完了させることができる。このように、顔検出ランプ１１１と顔検出インジケータ１１２を用いることで、患者を録画するための顔位置に容易に設定することができる。

レコードボタン１１３は、患者が発音した様子を録画・録音するためのボタンである。録画・録音を開始する場合には、レコードボタン１１３をタップする。ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音を開始することもできる。

ストップボタン１１４は、患者が発音した様子の録画・録音を停止するためのボタンである。録画・録音を停止する場合には、ストップボタン１１４をタップする。ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音を停止することもできる。

プレイボタン１１５は、患者が発音した様子を録画・録音したデータを再生するためのボタンである。所望する録画・録音データを選択して、選択した録画・録音データを再生する場合には、プレイボタン１１５をタップする。ＵＳＢコントローラ２のオン・オフボタン３３を押すことで録画・録音の再生を開始することができる。

選択した録画・録音データの再生を停止する場合には、ストップボタン１１４をタップする。ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音データの再生を停止することもできる。

プロンプト表示欄１１６は、プロンプトとしての文字又は絵が表示される表示欄である。プロンプト選択欄１１７は、プロンプト表示欄１１６に表示させたい文字又は絵を選択する選択欄である。本実施形態では、プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃと３個の選択欄を設けているが、プロンプト選択欄の個数は任意に増減できる。

プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃのうち、プロンプト表示欄１１６に表示させたい文字又は絵が表示されているプロンプト選択欄１１７をタップする。タップされたプロンプト選択欄１１７に表示されている文字又は絵がプロンプト表示欄１１６に表示される。そのプロンプト表示欄１１６に表示された文字又は絵を見て患者が想起する言葉を患者が発音することにより構音訓練が行われる。

図４に示す例では、第１のプロンプト選択欄１１７ａの「ぱんだ」の文字に対応する絵がプロンプト表示欄１１６に表示されている。プロンプト表示欄１１６に表示された絵を患者が見て、患者が想起する言葉である「ぱんだ」を患者が発音する。

患者が発音した「ぱんだ」について、マイク１３で患者の音声の集音を行い、カメラ１５で患者が発音したときの顔の動きの撮影を行う。マイク１３で集音した患者の音声データやカメラ１５による患者の動画データがＲＡＭ１９に記憶される。ストップボタン１１４のタップ又はＵＳＢコントローラ２のオン・オフボタン２３を押すことにより録画・録音を停止させることができる。

ストップボタン１１４のタップ又はＵＳＢコントローラ２のオン・オフボタン２３が押されていない、即ち、録画・録音を停止させていない状態で、所定の時間が経過した場合には、第２のプロンプト選択欄１１７ｂに移動して、第２のプロンプト選択欄１１７ｂに設定された絵又は文字をプロンプト表示欄１１６に表示させることもできる。

この場合、第１のプロンプト選択欄１１７ａから第２のプロンプト選択欄１１７ｂに移動して、第２のプロンプト選択欄１１７ｂに設定された絵、この実施例では、「ばす」の絵がプロンプト表示欄１１６に表示される。

新たにプロンプト表示欄１１６に表示された絵等を患者が見て、患者が想起する言葉を患者が発音すると、マイク１３で集音した患者の音声データやカメラ１５による患者の動画データがＲＡＭ１９に記憶される。

なお、第２のプロンプトにおける録画・録音について、ストップボタン１１４のタップ又はＵＳＢコントローラ２のオン・オフボタン２３が押されていない、即ち、録画・録音を停止させていない状態で、所定の時間が経過した場合には、第３のプロンプト選択欄１１７ｃに移動して、第３のプロンプト選択欄１１７ｃに設定された絵等をプロンプト表示欄１１６に表示させることもできる。

プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃを任意に変更するときには、該当するプロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃをタップするか、ＵＳＢコントローラ２の上ボタン２１又は下ボタン２２を押すことにより、選択されているプロンプトを変更することができる。

図７は、音声モードにおけるディスプレイ１１に表示される表示画面１１ａのプロンプト表示欄１１６に文字の表示を行っている例を示す図である。この様に、プロンプト表示欄１１６にプロンプトとして文字を表示させることもできる。

プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃのうち、プロンプト表示欄１１６に表示させたい文字が表示されているプロンプト選択欄１１７をタップする。タップされたプロンプト選択欄１１７に表示されている文字がプロンプト表示欄１１６に表示される。そのプロンプト表示欄１１６に表示された文字を見て患者が想起する言葉を患者が発音することにより構音訓練を行うことができる。

録画・録音データ選択欄１１８は、患者が発音した様子を録画・録音したデータを選択する選択欄である。録画・録音データ選択欄１１８は、図４、図７等に示すように、プロンプト選択欄１１７のそれぞれ隣の領域に丸アイコンとして設けられている。この丸アイコンの行数は、本実施形態では３行になっており、プロンプト選択欄１１７ａに丸アイコン１１８ａを、プロンプト選択欄１１７ｂに丸アイコン１１８ｂを、プロンプト選択欄１１７ｃに丸アイコン１１８ｃというようにそれぞれ対応付けて設けているが、プロンプト選択欄１１７の増減に対応付けて、増減する。この丸アイコンの列数は、本実施形態では６列になっているが、任意に増減することができる。

また、録画・録音データ選択欄１１８の丸アイコンは、患者が発音した様子を録画・録音したデータの有無が分かるように、録画・録音データの有無に対応して丸アイコンの色が変わるように構成されている。

更に、録画・録音データ選択欄１１８の丸アイコンは、患者が発音した様子を録画・録音したデータがあるときにおいて、患者が発音した様子を録画・録音したときの表示画面の表示モード（音声モード・動画モード）が分かるように、表示モードに対応して丸アイコンの色が変わるように構成されている。

録画・録音データ選択欄１１８の丸アイコンの色が変わった丸アイコンをタップすることで、再生したい録画・録音されたデータを容易に選択することができる。

即ち、録画・録音したデータを再生する場合には、録画・録音データ選択欄１１８の丸アイコンをタップすることにより、録音・録画データを選択して、プレイボタン１１５をタップするか、ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音の再生を開始する。再生を停止する場合には、ストップボタン１１４をタップするか、ＵＳＢコントローラ２のオン・オフボタン２３を押すことで再生を停止する。

音声波形欄１１９は、マイク１３で集音した音声を制御部１０が解析することにより構成した音声波形を表示する欄である。患者が発音した様子を録画・録音しているとき、マイクで集音した音声を解析することにより構成した音声波形が音声波形欄１１９に表示される。音声波形は、画像データとして生成されており、音声波形欄１１９は、横軸が時間、縦軸がレベル（振幅）に対応している。また、音声波形欄１１９は時系列的に表示されており、音声波形欄１１９の左側から右側に向かって時間が経過しているように音声波形を表示している。音声波形を確認することにより、患者が正しく発音しているかどうかを確認することができる。

次に、動画モードにおける表示画面について説明する。
図８は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの例を示す図である。患者がタッチパネルである入力装置１２を操作して、構音訓練用ソフトＡＰを立ち上げると、図８に示すように、ディスプレイ１１に表示画面１１ｂが表示される。

表示画面１１ｂには、顔検出ランプ１１１、顔検出インジケータ１１２、レコードボタン１１３、ストップボタン１１４、プレイボタン１１５、プロンプト表示欄１１６、プロンプト選択欄１１７、録画・録音データ選択欄１１８、音声波形欄１１９、動画表示欄１２０の操作アイコンやの画像表示欄が表示される。

表示画面１１ｂに表示される顔検出ランプ１１１、顔検出インジケータ１１２、レコードボタン１１３、ストップボタン１１４、プレイボタン１１５、プロンプト表示欄１１６、プロンプト選択欄１１７、録画・録音データ選択欄１１８、音声波形欄１１９は、音声モードの表示画面１１ａと同様であるので、ここではその説明を省略する。

動画表示欄１２０は、図８に示すように、カメラ１５で撮影した画像を表示する表示欄である。この動画表示欄１２０は、患者が発音した様子を録画・録音するときに、カメラ１５で撮影した画像をそのまま表示したり、患者が発音した様子を録画・録音したデータを再生するときに、患者が発音した様子の画像を表示したりすることができる。

尚、動画モードにおいて、図９に示すように、動画表示欄１２０を表示しつつ、動画表示欄１２０に動画を表示させない状態、即ち、動画表示欄１２０をマスクした状態にすることもできる。図９は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの動画表示欄１２０をマスクした例を示す図である。

動画表示欄１２０をマスクさせる方法として以下の方法がある。
まず、一の方法として、設定管理画面の動画の表示／非表示の設定において、動画の非表示を選択することにより、動画表示欄１２０をマスクする設定をすることができる。

他の方法として、動画表示欄１２０を上から下へ撫でる動作により、動画表示欄１２０をマスクする設定をすることができる。この動画表示欄１２０を撫でる動作は、マスクされた動画表示欄１２０を下から上へ撫でる動作をすることにより、マスクされた動画表示欄１２０のマスクの設定を解除することができる。

動画表示欄１２０を表示した場合は、発音者が正確な発音をしているときの発音者の顔の動きを参照して、患者が構音訓練をすることができる。動画表示欄１２０をマスクした場合は、発音者の顔の動きという視覚情報が聴覚情報に影響を及ぼすというマガーク効果の影響を排除することができる。

図１０は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂのプロンプト表示欄１１６に文字の表示を行っている例を示す図である。この様に、プロンプト表示欄１１６にプロンプトとして文字を表示させることもできる。

前述の絵の選択と同様に、プロンプト選択欄１１７ａ〜プロンプト選択欄１１７ｃのうち、プロンプト表示欄１１６に表示させたい文字が表示されているプロンプト選択欄１１７をタップする。タップされたプロンプト選択欄１１７に表示されている文字がプロンプト表示欄１１６に表示される。そのプロンプト表示欄１１６に表示された文字を見て患者が想起する言葉を患者が発音することにより構音訓練を行うことができる。

次に、患者が発音した様子の録画・録音について説明する。
まず、構音訓練の初期段階においては、患者がプロンプト表示欄１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音するときに、マガーク効果の影響を考慮するために、患者自身が発音している様子の画像を患者が見ることなく発音する必要がある。この場合、ディスプレイ１１の表示モードを音声モードに設定することで対応することができる。

図４に示すように、患者がプロンプト表示欄１１６に表示された絵等を見て患者が想起する言葉を患者が発音する。そして、制御部１０は、その患者が発音した様子の画像、音声、表示モード等のデータを対応する録画・録音データ選択欄１１８の丸アイコンを識別する情報と共にＲＡＭ１９に記憶させる。

このように、録画・録音データ選択欄１１８の丸アイコンの色で、どのプロンプトに対して、どのような条件で録画・録音したデータであるか否かが判別することができる。

また、図９に示すように、ディスプレイ１１の表示モードを動画モードに設定しておき、動画表示欄１２０をマスクしておく設定で、患者が表示された絵又は文字を見て、患者が想起する言葉を患者が発音するときであっても、マガーク効果の影響を考慮した録画・録音とすることができる。

次に、構音訓練の中期段階から終期段階においては、患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音するときに、患者自身が発音している様子の画像を患者が見て確認しながら発音する必要がある。この場合、ディスプレイ１１の表示モードを動画モードに設定することで対応することができる。

図８に示すように、患者がプロンプト表示欄１１６に表示された絵等を見て患者が想起する言葉を発音する。そして、制御部１０は、その患者が発音した様子の画像、音声、表示モード等のデータを対応する録画・録音データ選択欄１１８の丸アイコンを識別する情報と共にＲＡＭ１９に記憶させる。

患者が発音した様子を録画・録音した動画の再生につき説明する。
まず、再生したい録画・録音データの呼び出しを行う。再生したい録画・録音データが録画・録音された日付を指定する。日付を指定すると、制御部１０は、その日付に該当する録画・録音データを検索する。

検索の結果、その日付に該当する録画・録音データがあれば、録画・録音された絵又は文字の情報が表示プロンプト選択欄１１７に表示されて、録画・録音データの有無が分かる表示がそのプロンプト選択欄１１７に対応する録画・録音データ選択欄１１８の丸アイコンに色を変えて表示される。

そして、録画・録音データ選択欄１１８の丸アイコンをタップして再生したい録画・録音データの丸アイコンを選択状態にする。制御部１０は選択された丸アイコンに該当するＲＡＭ１９に保存されている動画、音声、音声波形を再生可能な状態にする。

ここで、構音訓練の初期段階においては、患者がプロンプト１１６に表示された絵又は文字を見て、患者が想起する言葉を患者が発音した音声を確認するときに、マガーク効果の影響を考慮するために、患者自身が発音している様子の画像を患者が見ることなく発音の音声を確認する必要がある。この場合、ディスプレイ１１の表示モードを音声モードに設定することで対応することができる。

図１１は、音声モードにおけるディスプレイ１１に表示される表示画面１１ａの再生表示の例を示す図である。ディスプレイ１１の表示モードを音声モードに設定してから、プレイボタン１１５又は動画表示欄１２０をタップすると、録画・録音データ選択欄１１８の丸アイコンで選択されたデータに基づいて、ディスプレイ１１において、表示画面１１ａの音声波形欄１１９に音声波形が表示される。そして、スピーカ１４において、録画・録音データに基づいた音声が再生される。

これにより、患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音した音声を確認するときに、患者自身が発音している様子の画像を患者が見ることなく発音の音声を確認することができるために、マガーク効果の影響を考慮した録画・録音データの再生による音声の確認をすることができる。また、ディスプレイ１１の表示モードを動画モードに設定しておき、動画表示欄１２０をマスクしておく設定でも、音声モードと同様の確認をすることができる。

図１２は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの再生表示において動画表示欄１２０をマスクした例を示す図である。

患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音した音声を再生して確認するときに、患者自身が発音している様子の画像を患者が見ることなく発音の音声を確認することができるために、マガーク効果の影響を考慮した録画・録音データの再生による音声の確認をすることができる。

次に、構音訓練の中期段階から終期段階においては、患者がプロンプト１１６に表示された絵又は文字を見て患者が想起する言葉を患者が発音した音声を確認するときに、患者自身が発音している様子の画像を患者が確認する必要がある。この場合、ディスプレイ１１の表示モードを動画モードに設定することで対応することができる。

図１３は、動画モードにおけるディスプレイ１１に表示される表示画面１１ｂの再生表示の例を示す図である。

ディスプレイ１１の表示モードを動画モードに設定してから、プレイボタン１１５又は動画表示欄１２０をタップすると、録画・録音データ選択欄１１８の丸アイコンで選択されたデータに基づいて、ディスプレイ１１において、表示画面１１ａの音声波形欄１１９に音声波形が表示されて、表示画面１１ａにおける動画表示欄１２０に動画が再生される。そして、スピーカ１４において、録画・録音データに基づいた音声が再生される。

これにより、患者がプロンプト表示欄１１６に表示された絵又は文字を見て、患者が想起する言葉を患者が発音した音声を確認するときに、患者自身が発音している様子の画像を患者が見なから発音の音声を確認することができるために、患者が正確な発音ができたときの発音の様子を確認することができる。

ここで、図１１ないし図１３において、音声波形欄１１９に掛かるように設定されている再生領域選択ボタン１２１について説明する。

再生領域選択ボタン１２１は、患者が発音した様子を録画・録音したデータを再生するときにおいて、再生したい範囲を選択することができるボタンである。再生したい範囲を右から左又は左から右に再生領域選択ボタン１２１をそれぞれなぞることにより、選択範囲を指定することができて、再生したい範囲の部分再生の選択を行うことができる。再生領域選択ボタン１２１をなぞることにより、部分再生する場所を特定して、プレイボタン１１５又は動画表示欄１２０をタップすることで制御部１０は該当部分の動画や音声を再生することができる。

次に、図１４を参照してこの発明の制御部１０の動作を説明する。図１４は、制御部１０の動作を説明するフローチャートである。

まず、患者がタッチパネルである入力装置１２を操作すると、制御部１０は、構音訓練ソフトＡＰを立ち上げる。制御部１０は、音声モードが設定されていれば、図４に示すように、ディスプレイ１１に表示画面１１ａを表示する。
制御部１０は、動画モードが設定されていれば、図８に示すように、ディスプレイ１１に表示画面１１ｂを表示する。この表示画面１１ａ又は表示画面１１ｂにおいて、患者による構音訓練の対象となるプロンプトの患者による選択を受け付ける（ステップＳ１）。

制御部１０は、プロンプト選択欄１１７の中から患者が選択したプロンプトに関するデータをＲＯＭ１８又はＲＡＭ１９から読み出して、表示画面１１ａ又は表示画面１１ｂのプロンプト表示欄１１６に、文字又は文字に対応する絵を表示する（ステップＳ２）。

ここでは、音声モードと動画モードの切り替えや、動画モードにおける動画表示欄１２０の表示と非表示（マスク）の切り替えの動作について、適宜行われるものとして、フローチャートの内での説明は行わない。

続いて、制御部１０は、レコードボタン１１３をタップするか、ＵＳＢコントローラ２のオン・オフボタン２３を押すことで録画・録音開始を指示されたかを確認する（ステップＳ３）。

制御部１０は、録画・録音開始が指示されたと判断すると、マイク１３で集音した音声を録音する録音処理を行うと共に、当該集音した音声の波形を取得する処理を行い、カメラ１５による患者の動画をＲＡＭ１９に記憶する（ステップＳ４）。

ストップボタン１１４又はＵＳＢコントローラ２のオン・オフボタン２３が押されるまで、上記動作を繰り返す（ステップＳ５）。録画・録音終了が指示されたと制御部１０が判断すると、制御部１０は、録画・録音動作を終了させる。

ステップＳ３で、録画・録音開始以外の指示を指示されたと制御部１０が判断すると、ステップＳ６に進み、制御部１０が再生開始指示を指示されたか否かを判断する。制御部１０が再生開始指示を指示されたと判断した場合は、ステップＳ７に進み、制御部１０が再生開始指示以外の指示を指示されたと判断した場合には、ステップＳ１に戻る。

再生したい録音・録画データを選択するために、録画・録音データ選択欄１１８の色が変わっている丸アイコンをタップする。その丸アイコンをタップすることによって、制御部１０が再生開始指示を指示されたと判断すると、制御部１０は録画・録音データの再生を行う。

このとき、音声モードが選択されていれば、表示画面１１ａの音声波形表示欄１１９に音声波形を表示して、スピーカ１４から音声を再生する（ステップＳ７）。また、動画モードが選択されていれば、表示画面１１ｂの音声波形表示欄１１９に音声波形を表示して、ディスプレイ１１の表示画面１１ｂの動画表示欄１２０に動画を再生して、スピーカ１４から音声を再生する（ステップＳ７）。

ただし、動画モードが選択されていて、動画表示欄１２０がマスクされていれば、表示画面１１ｂの音声波形表示欄１１９に音声波形を表示して、スピーカ１４から音声を再生する（ステップＳ７）。再生処理動作が終了すると動作が終了する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。この発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１タブレット型パーソナルコンピュータ装置
２ＵＳＢコントローラ
１０制御部
１１ディスプレイ
１１ａ表示画面
１２入力装置
１３マイク
１４スピーカ
１５カメラ
１６通信Ｉ／Ｆ
１７ＵＳＢＩ／Ｆ
１８ＲＯＭ
１９ＲＡＭ
２１上ボタン
２２下ボタン
２３オン・オフボタン
１１６プロンプト表示欄
１１７プロンプト選択欄
１１７ａ〜１１７ｃプロンプト選択欄
１１８録画・録音データ選択欄
１１８ａ〜１１８ｃ丸アイコン

Claims

音声を集音する集音手段と、
訓練用の構音対象となる文字又は絵を記憶する記憶手段と、
画像を表示する表示手段と、
患者を撮影する撮影手段と、
前記表示手段に、前記記憶手段から読み出した訓練用の構音対象となる文字又は絵をプロンプト表示領域に表示させるとともに、前記撮影手段で撮影している動画を動画領域に表示させる制御手段を備え、
前記制御手段は、前記動画領域をマスクするとともに、前記プロンプト表示領域に訓練用の構音対象となる文字又は絵を表示させて、前記集音手段で音声を集音することを特徴とする構音訓練用録画・録音装置。
選択可能な訓練の構音対象を表示する複数のプロンプト選択欄と、
前記プロンプト選択欄にそれぞれ対応して録画・録音されたデータの有無を表示するためのアイコンを有する複数の録画・録音データ選択欄と、を備え、
選択した訓練用の構音対象の文字を又は絵を表示させた状態で、録画・録音すると、該当する録画・録音データ選択欄のアイコンの表示を録画・録音されたデータがあることが分かるように変更させることを特徴とする請求項１に記載の構音訓練用録画・録音装置。
前記表示手段に、前記撮影手段で撮影した患者の顔の位置が正常に収まっているか否かを知らせる顔検出ランプと、前記撮影手段で撮影した患者の顔の位置により移動し患者の範囲を示すインジケータ枠を有する顔検出インジケータと、を表示させることを特徴とする請求項１又は請求項２に記載の構音訓練用録画・録音装置。