JP6979300B2 - 発声・発話学習装置及びマイクロホン - Google Patents
発声・発話学習装置及びマイクロホン Download PDFInfo
- Publication number
- JP6979300B2 JP6979300B2 JP2017155998A JP2017155998A JP6979300B2 JP 6979300 B2 JP6979300 B2 JP 6979300B2 JP 2017155998 A JP2017155998 A JP 2017155998A JP 2017155998 A JP2017155998 A JP 2017155998A JP 6979300 B2 JP6979300 B2 JP 6979300B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- bone conduction
- airway
- user
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 claims description 62
- 210000000613 ear canal Anatomy 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 70
- 238000011156 evaluation Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 102100040791 Zona pellucida-binding protein 1 Human genes 0.000 description 4
- 102100022907 Acrosin-binding protein Human genes 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101000642536 Apis mellifera Venom serine protease 34 Proteins 0.000 description 1
- 101100478055 Dictyostelium discoideum cotC gene Proteins 0.000 description 1
- 101000756551 Homo sapiens Acrosin-binding protein Proteins 0.000 description 1
- 101001067830 Mus musculus Peptidyl-prolyl cis-trans isomerase A Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000003582 temporal bone Anatomy 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Description
まず、第1実施形態に係る発声・発話学習装置について説明する。第1実施形態では、発声・発話学習装置の一例として、言語学習装置、特に日本語学習装置について説明する。
図1は、第1実施形態に係る発声・発話学習装置の一例としての日本語学習装置10のハードウェア構成の一例を示す図である。図示のように、日本語学習装置10は、CPU(Central Processing Unit)102と、RAM(Random Access Memory)104と、ROM(Read only Memory)106と、ドライブ装置108と、ネットワークI/F(Interface)110と、入力装置112と、表示装置114と、気道マイク116と、骨導マイク118と、スピーカー120と、を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
すなわち、気道マイク116は、骨導マイク118の外側壁に設けられている。なお、骨導マイク118は、骨導音声を収音可能なピエゾ素子を内部に含んでいる。このような外耳道内に配置する骨導マイク118は、頭部全体でも聴覚への伝達を考えると本人(ユーザ)が聞いている骨導音に近い音が収集できる。また、この骨導マイク118の外側壁に気道マイク116を設置すると、口腔から放出した音声が実際に自分の耳に到達する音に一番近い気道音をとらえることができる。
図3は、第1実施形態に係る日本語学習装置10の機能構成(機能部)の一例を示すブロック図である。図示のように、日本語学習装置10は、記憶部130と、入力部132と、作成部134と、出力部136と、評価部138と、を備える。
なお、作成部134は、第1音声の伝送特性を修正し、第2音声としてユーザが聞いている音声により近い音声を作成してもよい。
図4は、第1実施形態に係る日本語学習装置10が実行する準備処理の流れの一例を示すフローチャートである。この準備処理は、例えば、日本語学習装置10の起動時や、予め定められた時期、ユーザの指示時等に開始される。
入力部132は、ユーザが発声した音声の気道音声と骨導音声をそれぞれ入力する。そして、処理は、ステップSP12の処理に移行する。
作成部134は、気道音声と骨導音声を混合する際の混合比率を仮決定する。この際、作成部134は、仮決定する混合比率を選択するための選択画面や混合比率を入力するための入力画面を表示装置114に表示してもよい。また、混合比率を最適な値等に自動的に仮決定してもよい。第1実施形態では、作成部134は、ステップSP12が繰り返される度に、異なる混合比率を自動的に決定する。そして、処理は、ステップSP14の処理に移行する。
作成部134は、仮決定した混合比率で(に基づき)、入力された気道音声と骨導音声を混合して、混合音声を作成する。そして、処理は、ステップSP16の処理に移行する。
出力部136は、作成された混合音声を出力する。そして、処理は、ステップSP18の処理に移行する。
作成部134は、ユーザによる一の混合比率(仮決定した混合比率)の決定操作があるか否かを判定する。そして、肯定判定された場合には処理はステップSP20の処理に移行し、否定判定された場合には処理はステップSP12の処理に戻る。
作成部134は、決定操作された一の混合比率を、混合比率130Bとして本決定し、記憶部130に記憶する。
図5は、第1実施形態に係る日本語学習装置10が実行する日本語学習処理の流れの一例を示すフローチャートである。この日本語学習処理は、例えば、ユーザの指示に応答して開始される。
入力部132は、ユーザが作成したテキスト又は予め日本語学習用に用意されたテキストを入力する。ユーザが作成したテキストを入力する場合、入力部132は、ユーザの操作に応じて入力する。また、日本語学習用に用意されたテキストを入力する場合、入力部132は、記憶部130やインターネット等から取得して入力する。そして、処理は、ステップSP32の処理に移行する。
作成部134は、入力されたテキストとモデル音素130Aに基づき、当該テキストに沿ったモデル音声を作成する。そして、出力部136は、作成されたモデル音声を出力する。そして、処理は、ステップSP34の処理に移行する。
入力部132は、ユーザがモデル音声に沿って発声した第1音声の気道音声と骨導音声をそれぞれ入力する。そして、処理は、ステップSP36の処理に移行する。なお、ステップSP34において、評価部138が、入力された気道音声と骨導音声に基づき、第1音声を評価し、評価が所定値以上であれば、図5に示す日本語学習処理が終了してもよい。
作成部134は、入力された第1音声の気道音声及び骨導音声に基づき、第1音声の音質を維持しつつ、第1音声の韻律を予め定められた韻律に変換し、第2音声を作成する。第1実施形態では、作成部134は、入力された気道音声及び骨導音声を混合比率130Bに基づいて混合し、第2音声を作成する。また、第1実施形態では、作成部134は、第1音声の韻律をモデル音声の韻律に変換する。そして、処理は、ステップSP38の処理に移行する。
出力部136は、作成された第2音声を出力する。そして、処理は、ステップSP40の処理に移行する。なお、出力部136は、第2音声を出力する前に、例えば「あなたが話すならこのように話すとわかりやすいですよ」という音声も出力してもよい。
入力部132は、ユーザが第2音声に沿って発声した第3音声を入力する。この際、入力部132は、第3音声の気道音声のみ入力してもよい。そして、処理は、ステップSP42の処理に移行する。
評価部138は、入力された第3音声を認識して、入力されているテキストと照合し、正しく音声認識できているか、言い換えれば、正しく発声できているか評価する。また、評価部138は、第3音声の韻律(音響)を分析して、伝わりやすさ(はっきり度)」の度合いを評価する。そして、評価部138は、評価結果を記憶部130に記憶する。また、評価部138は、評価結果を表示装置114等に表示してもよい。表示装置114に表示する場合は、評価部138は、評価結果に基づき、「抑揚を強調しよう!」や、「言葉を切り、音声の区切りを明確化して話そう!」などのアドバイスを表示してもよい。そして、処理は、ステップSP44の処理に移行する。
評価部138は、評価が所定値以上か否かを判定する。そして、肯定判定された場合は、処理は終了し、否定判定された場合は、ステップSP38の処理に戻る。なお、否定判定された場合は、ステップSP38に戻って第2音声を出力する代わりに、ステップSP40で入力された第3音声に、抑揚強調や発声の区切りを明確する加工を行ったモデル音声を出力してもよい。
次に、第2実施形態に係る発声・発話学習装置について説明する。第2実施形態は、第2音声として合成音声を作成する点が、第1実施形態と異なる。第2実施形態は、第1実施形態と同様、記憶部130と、入力部132と、作成部134と、出力部136と、評価部138と、を備える。
入力部132は、ユーザが、例えば約60分〜90分の間、合成音声を作成するための決められた原稿を発声(朗読)した音声の気道音声声と骨導音声声をそれぞれ入力する。そして、処理は、ステップSP52の処理に移行する。
作成部134は、入力された気道音声及び骨導音声をそれぞれ分析する。そして、処理は、ステップSP54の処理に移行する。
作成部134は、分析結果に基づき、入力された気道音声及び骨導音声を混合比率130Bに基づき混合し、ユーザの聞いている音声に対応する複数のユーザ音素(及び音素列)を作成する。
入力部132は、ユーザが作成した学習のためのテキスト又は予め日本語学習用に用意されたテキストを入力する。ユーザが作成したテキストを入力する場合、入力部132は、ユーザの操作に応じて入力する。また、日本語学習用に用意されたテキストを入力する場合、入力部132は、記憶部130やインターネット等から取得して入力する。そして、処理は、ステップSP62の処理に移行する。
作成部134は、入力されたテキストとユーザ音素に基づき、当該テキストに沿った、第2音声としての合成音声を作成する。そして、処理は、ステップSP64の処理に移行する。なお、作成部134は、作成した合成音声を、入力された気道音声とともに積算フーリエ分析を行い、逆差特性を算出し、当該逆差特性を作成した合成音声に与えることで、ユーザがいつも聞いている合成音声に調整してもよい。
出力部136は、作成された合成音声を出力する。そして、処理は、ステップSP66の処理に移行する。
入力部132は、学習者が合成音声に沿って発声した第3音声を入力する。この際、入力部132は、第3音声の気道音声のみ入力してもよい。そして、処理は、ステップSP68の処理に移行する。
評価部138は、入力された第3音声を認識して評価し、評価結果を記憶部130に記憶する。また、評価部138は、認識結果や評価結果を表示装置114に表示してもよい。そして、処理は、ステップSP70の処理に移行する。
評価部138は、評価が所定値以上か否かを判定する。そして、肯定判定された場合は、処理は終了し、否定判定された場合は、ステップSP64の処理に戻る。
なお、本発明は上記実施形態に限定されるものではない。すなわち、上記実施形態に、当業者が適宜設計調整を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、前述した実施形態が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
Claims (4)
- ユーザに言語音声の発声を学習させる発声・発話学習装置であって、
第1音声を構成する気道音声及び骨導音声をそれぞれ入力する入力部と、
前記第1音声の音質を維持しつつ、入力された前記気道音声及び前記骨導音声を、前記ユーザが聞いている音声を構成する比率で混合して、第2音声を作成する作成部と、
を備え、
前記入力部は更に、前記気道音声及び前記骨導音声の混合比率のうち一の混合比率の決定操作を入力し、
前記作成部は、前記一の混合比率に基づいて、入力された前記気道音声及び前記骨導音声を混合する、発声・発話学習装置。 - ユーザに言語音声の発声を学習させる発声・発話学習装置であって、
第1音声を構成する気道音声及び骨導音声をそれぞれ入力する入力部と、
前記第1音声を構成する前記気道音声及び前記骨導音声の伝送特性を修正して、第2音声として前記ユーザが聞いている音声により近い音声を作成する作成部と、
を備える発声・発話学習装置。 - ユーザに言語音声の発声を学習させる発声・発話学習装置であって、
合成音声を作成するための決められた原稿がユーザにより朗読された第1音声を構成する気道音声及び骨導音声をそれぞれ入力する入力部と、
入力された前記気道音声及び前記骨導音声に基づき、前記ユーザの聞いている音声に対応する音素及び音素列を作成し、第2音声として、学習のために入力されているテキストに沿った合成音声を作成する作成部と、
を備える発声・発話学習装置。 - 前記入力部は、前記骨導音声を入力し、且つ、ユーザの外耳道内に配置可能に構成された骨導マイクと、前記気道音声を入力し、前記骨導マイクの外側壁に設けられた気道マイクと、を含む、
請求項1乃至3の何れか1項に記載の発声・発話学習装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017155998A JP6979300B2 (ja) | 2017-08-10 | 2017-08-10 | 発声・発話学習装置及びマイクロホン |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017155998A JP6979300B2 (ja) | 2017-08-10 | 2017-08-10 | 発声・発話学習装置及びマイクロホン |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019035818A JP2019035818A (ja) | 2019-03-07 |
JP6979300B2 true JP6979300B2 (ja) | 2021-12-08 |
Family
ID=65637305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017155998A Active JP6979300B2 (ja) | 2017-08-10 | 2017-08-10 | 発声・発話学習装置及びマイクロホン |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6979300B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102630356B1 (ko) * | 2022-07-29 | 2024-01-30 | 한림대학교 산학협력단 | 영유아의 청각 언어인지 재활을 위한 전자 장치, 제어 방법, 및 컴퓨터 프로그램 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3647499B2 (ja) * | 1995-03-31 | 2005-05-11 | フオスター電機株式会社 | 音声ピックアップシステム |
JP3322622B2 (ja) * | 1997-12-25 | 2002-09-09 | 岩崎通信機株式会社 | 骨伝導イヤマイクロホンを用いる送受一体形電気音響変換装置 |
JP2000261534A (ja) * | 1999-03-10 | 2000-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 送受話器 |
JP2003043910A (ja) * | 2001-07-27 | 2003-02-14 | Kuniko Murase | 聴覚の訓練システム |
JP5960792B2 (ja) * | 2014-12-26 | 2016-08-02 | ひとみ 石渡 | 発声音練習補助器 |
-
2017
- 2017-08-10 JP JP2017155998A patent/JP6979300B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102630356B1 (ko) * | 2022-07-29 | 2024-01-30 | 한림대학교 산학협력단 | 영유아의 청각 언어인지 재활을 위한 전자 장치, 제어 방법, 및 컴퓨터 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
JP2019035818A (ja) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11095991B2 (en) | Hearing evaluation and configuration of a hearing assistance-device | |
US8781836B2 (en) | Hearing assistance system for providing consistent human speech | |
Hewlett et al. | An introduction to the science of phonetics | |
JP3760173B2 (ja) | マイクロフォン、コミュニケーションインタフェースシステム | |
Lawson et al. | Speech audiometry | |
US20210375303A1 (en) | Natural Ear | |
WO2018038235A1 (ja) | 聴覚トレーニング装置、聴覚トレーニング方法、およびプログラム | |
Bicevskis et al. | Visual-tactile integration in speech perception: Evidence for modality neutral speech primitives | |
CN106572818B (zh) | 一种具有用户特定编程的听觉系统 | |
Wang et al. | Preference for infant-directed speech in infants with hearing aids: Effects of early auditory experience | |
JP6979300B2 (ja) | 発声・発話学習装置及びマイクロホン | |
US9773426B2 (en) | Apparatus and method to facilitate singing intended notes | |
US20220036878A1 (en) | Speech assessment using data from ear-wearable devices | |
Barrichelo et al. | Perceptual identification and acoustic measures of the resonant voice based on “Lessac's Y-Buzz”—a preliminary study with actors | |
Boothroyd et al. | The deaf child in a hearing family: Nurturing development | |
Bouserhal et al. | Variations in voice level and fundamental frequency with changing background noise level and talker-to-listener distance while wearing hearing protectors: A pilot study | |
KR101413598B1 (ko) | 진동 스피커가 부착된 의자를 이용한 발음 교정 장치 및 방법 | |
JP6950226B2 (ja) | 音響機器、音響機器の最適化処理方法及びプログラム | |
Williams | Auditory virtual environments | |
JP6314879B2 (ja) | 音読評価装置、音読評価方法、及びプログラム | |
Watson et al. | Fundamental frequency variation with an electrolarynx improves speech understanding: A case study | |
JP6918471B2 (ja) | 対話補助システムの制御方法、対話補助システム、及び、プログラム | |
Jacewicz et al. | Amplitude variations in coarticulated vowels | |
JP2010224392A (ja) | 発話補助装置、方法及びプログラム | |
JP5960792B2 (ja) | 発声音練習補助器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200911 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210602 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210602 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210727 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6979300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |