JPH05232856A - 音声視覚化方法および装置ならびにそれを用いた語学学習装置 - Google Patents

音声視覚化方法および装置ならびにそれを用いた語学学習装置

Info

Publication number
JPH05232856A
JPH05232856A JP22556591A JP22556591A JPH05232856A JP H05232856 A JPH05232856 A JP H05232856A JP 22556591 A JP22556591 A JP 22556591A JP 22556591 A JP22556591 A JP 22556591A JP H05232856 A JPH05232856 A JP H05232856A
Authority
JP
Japan
Prior art keywords
pitch
vowel
fundamental frequency
detection logic
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP22556591A
Other languages
English (en)
Inventor
Masao Oshimi
正雄 押見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
C S K SOGO KENKYUSHO KK
Original Assignee
C S K SOGO KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by C S K SOGO KENKYUSHO KK filed Critical C S K SOGO KENKYUSHO KK
Priority to JP22556591A priority Critical patent/JPH05232856A/ja
Publication of JPH05232856A publication Critical patent/JPH05232856A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

(57)【要約】 【目的】 音声信号に含まれる豊富な特徴情報を分かり
易く表示することが可能な音声視覚化技術および高い学
習効果の得られる語学学習装置を提供する。 【構成】 音声信号6から周波数成分7を取り出すフー
リエ変換部1と、この周波数成分7における基本周波数
(母音)の有無を検出し、方形波状の母音検出論理信号
8を生成する第1フィルタ部2と、母音検出論理信号8
に同期して、周波数成分7から基本周波数の平均値と変
化とを取り出し、それぞれピッチ平均値9およびピッチ
変化値10として出力する第2フィルタ部3と、母音検
出論理信号8に基づいて、周波数成分7から基本周波数
の強弱値11を取り出す第3フィルタ部4と、母音検出
論理信号8,ピッチ平均値9,ピッチ変化値10,強弱
値11に基づいて、ピッチを縦軸、時間を横軸とする一
つのピッチ−時間座標平面上に、複数の図形21,図形
22,図形23を出力するグラフ化部5とで構成されて
いる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、音声視覚化技術および
それを用いた語学学習装置に関し、特に、コンピュータ
支援による語学学習技術に適用して有効な技術に関す
る。
【0002】
【従来の技術】たとえば、コンピュータ支援による外国
語学習システムなどにおいては、学習者に、当該学習者
の発音の欠点を示唆したり、ネイティブスピーカの正し
い発音を正確に認識させるなどのために、音声をディス
プレイ上に視覚化して学習者に提示することが考えられ
る。
【0003】従来、このような語学学習における音声視
覚化技術としては、たとえば図4に例示されるようなも
のが知られている。すなわち、同図(a)に例示される
ような音声信号から、同図(b)に示されるように強さ
−時間軸座標平面上に連続的に表示される曲線でアクセ
ント(振幅)を線図として表示し、また、同図(c)に
例示されるようなピッチ−時間軸座標平面上にピッチ
(基本周波数)の変化を線図として表示するものであ
る。
【0004】
【発明が解決しようとする課題】ところが、前述のよう
な従来技術の場合には、ピッチに関する情報とアクセン
トに関する情報とが個別の座標平面上に別個に表示され
るため、学習者にとって発音の特徴などの情報が判りに
くく、高い学習効果が得られない、という問題があっ
た。
【0005】本発明の目的は、音声信号に含まれる豊富
な特徴情報を分かり易く表示することが可能な音声視覚
化技術を提供することにある。
【0006】本発明の目的は、高い学習効果が得られる
語学学習装置を提供することにある。
【0007】本発明の上記ならびにその他の目的と新規
な特徴は、本明細書の記述および添付図面から明らかに
なるであろう。
【0008】
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。
【0009】すなわち、本発明の音声視覚化方法は、音
声信号から母音を抽出し、当該母音の平均ピッチおよび
ピッチの変化および強さおよび継続時間を、それぞれ、
一つのピッチ−時間座標平面上における図形の位置およ
び模様,形状,色および面積の大小および幅の大小によ
って表示するようにしたものである。
【0010】また、本発明の音声視覚化装置は、音声信
号に含まれる各周波数成分を分離するフーリエ変換部
と、周波数成分から母音(基本周波数)の有無に応じた
母音検出論理信号を出力する第1の手段と、周波数成分
と母音検出論理信号とから基本周波数の平均値および変
化量を取り出す第2の手段と、基本周波数のパワーを取
り出す第3の手段と、基本周波数の平均値および変化量
とパワーとから、基本周波数の平均ピッチおよびピッチ
の変化および強さおよび継続時間を、それぞれ、同一の
ピッチ−時間座標平面上における図形の位置および模
様,形状,色および面積の大小および幅の大小によって
表示するグラフ化手段とを備えたものである。
【0011】また、本発明の語学学習装置は、請求項1
記載の音声視覚化方法を用いたものである。
【0012】また、本発明の語学学習装置は、請求項2
記載の音声視覚化装置を備えたものである。
【0013】
【作用】上記した本発明の音声視覚化方法によれば、音
声信号から抽出された母音の平均ピッチおよびピッチの
変化および強さおよび継続時間を、それぞれ、一つのピ
ッチ−時間座標平面上における、図形の位置および模
様,形状,色および面積の大小および幅の大小によって
表示するので、たとえば、ピッチに関する情報とアクセ
ントに関する情報とを個別の座標平面上に単なる線図と
して提示する場合に比較して、母音の平均ピッチおよび
ピッチの変化および強さなどの有用な情報を効果的に利
用者に伝達することができる。
【0014】また、本発明の音声視覚化装置によれば、
音声信号から抽出された母音の平均ピッチおよびピッチ
の変化および強さおよび継続時間を、それぞれ、一つの
ピッチ−時間座標平面上における、図形の位置および模
様,形状,色および面積の大小および幅の大小によって
表示するので、たとえば、ピッチに関する情報とアクセ
ントに関する情報とを個別の座標平面上に単なる線図と
して提示する場合に比較して、母音の平均ピッチおよび
ピッチの変化および強さなどの豊富で有用な情報を効果
的に利用者に伝達することができる。
【0015】また、本発明の語学学習装置によれば、請
求項1記載の音声視覚化方法を用いるので、学習者に発
音の特徴や欠点などの有用な情報を効果的に伝達するこ
とができ、高い学習効果を実現することができる。
【0016】また、本発明の語学学習装置によれば、請
求項2記載の音声視覚化装置を用いるので、学習者に発
音の特徴や欠点などの有用な情報を効果的に伝達するこ
とができ、高い学習効果を実現することができる。
【0017】
【実施例】以下、図面を参照しながら本発明の一実施例
である音声視覚化方法および装置ならびにそれを用いた
語学学習装置について詳細に説明する。
【0018】図1は、本発明の一実施例である音声視覚
化装置の構成および作用の一例を示すブロック図であ
り、図2(a)および(b)は、その作用の一例を示す
概念図である。
【0019】本実施例の音声視覚化装置(語学学習装
置)は、たとえば図示しないマイクロフォンなどを介し
て取り込まれる音声信号6から周波数成分7を取り出す
フーリエ変換部1と、この周波数成分7における基本周
波数(母音)の有無を検出し、母音を検出した時に
“1”レベルとなり、それ以外の子音の場合に“0”レ
ベルとなる方形波状の母音検出論理信号8を生成する第
1フィルタ部2とを備えている。
【0020】さらに、この第1フィルタ部2の後段に
は、母音検出論理信号8に同期して、周波数成分7から
基本周波数の平均値と変化とを取り出し、それぞれピッ
チ平均値9およびピッチ変化値10として出力する第2
フィルタ部3と、母音検出論理信号8に基づいて、周波
数成分7から基本周波数のパワーを取り出し、強弱値1
1として出力する第3フィルタ部4が設けられている。
【0021】さらに、この第2フィルタ部3および第3
フィルタ部4の後段には、前述の母音検出論理信号8,
ピッチ平均値9,ピッチ変化値10,強弱値11が入力
されるグラフ化部5が配置されている。
【0022】このグラフ化部5は、母音検出論理信号
8,ピッチ平均値9,ピッチ変化値10,強弱値11に
基づいて、母音のピッチの平均と変化、強さ、継続時間
などを認識し、図1の下部に例示した、ピッチを縦軸、
時間を横軸とする一つのピッチ−時間座標平面上に、た
とえば丸形の複数の図形21,図形22,図形23に変
換して出力する。
【0023】すなわち、これらの図形21〜23の各々
は、ピッチ−時間座標平面上における上下方向の位置に
よって、当該母音のピッチの大きさ(母音の高低)を表
し、時間軸方向の幅寸法が母音の継続時間(母音の長
短)を表し、面積の大小が母音のパワー、すなわち強弱
を示している。さらに、個々の図形21〜23は、その
内部の模様に応じて異なるイントネーション(抑揚)を
識別可能にしている。
【0024】たとえば、図形21は内部が右上がりのハ
ッチングとなっており、当該母音のイントネーションが
変化しないことを示す約束となっている。同様に図形2
2の横縞のハッチングは尻上がりのイントネーションを
示し、図形23の縦縞のハッチングは尻下がりのイント
ネーションであることを示している。
【0025】このように、本実施例の音声視覚化装置で
は、一つのピッチ−時間座標平面上に複数の図形群を表
示することによって、学習者などが、発音などの音声信
号中に含まれる母音の高低、長短、強弱、イントネーシ
ョンを同時に把握することが可能になっている。
【0026】以下、本実施例の音声視覚化方法および装
置の作用の一例について説明する。
【0027】たとえば、図2(a)に例示されるよう
に、学習者が“Excuse me”という言葉を発音
した場合、当該発音は音声信号6として、フーリエ変換
部1に取り込まれ、周波数成分7に分離される。
【0028】さらに、第1フィルタ部2は、この周波数
成分7における基本周波数の有無から母音の有無を識別
し、方形波の母音検出論理信号8を生成する。
【0029】さらに、第2フィルタ部3は、この母音検
出論理信号8の立ち上がりおよび立ち下がりのタイミン
グと、周波数成分7とから、当該母音のピッチ平均値9
とピッチ変化値10とを生成してグラフ化部5に出力す
る。
【0030】同時に、第3フィルタ部4は、母音検出論
理信号8と周波数成分7とから当該母音の強弱を検出
し、強弱値11としてグラフ化部5に出力する。
【0031】そして、グラフ化部5は、母音検出論理信
号8、ピッチ平均値9、ピッチ変化値10および強弱値
11とから、同図(b)に例示されるように、ピッチ−
時間座標平面上に図形21,図形22,図形23を出力
する。
【0032】すなわち、図形21は、母音“i”が比較
的短く平坦に発音され、引き続く母音“u”は、尻上が
りのイントネーションで長く発音され、最後の母音
“i”は、尻下がりのイントネーションでやや長く発音
されたことを示しており、学習者は、自身やネイティブ
スピーカの発音に関する豊富な情報を、一つのピッチ−
時間座標平面上における図形21〜23から正確かつ迅
速に読み取ることが可能となる。
【0033】このため、学習者の外国語などの語学学習
における高い学習効果を実現することができる。
【0034】なお、図形としては、上記の説明において
例示したものに限らず、たとえば図3(b)に例示され
るようなものであってもよい。
【0035】すなわち、この図3(b)の図形31,図
形32,図形33は、図2の場合と同じ、図3(a)の
ような波形の音声信号6の入力から出力されたものであ
り、四角形の図形31は、イントネーションが変化しな
い母音を示し、上に凸の多角形からなる図形32は、尻
上がりのイントネーションを持つ母音を表し、下に凸の
多角形からなる図形33は、尻下がりのイントネーショ
ンを持つ母音を示している。
【0036】なお、各々のピッチ−時間座標平面上にお
ける位置が母音の高低を示し、時間軸方向の幅が母音の
長さを示し、面積が母音の強弱を示すことは、前述の図
2の場合と同様である。
【0037】この図3のような、図形31〜33によれ
ば、イントネーションの違いが各図形の輪郭形状の違い
として、より明瞭に識別可能になるという利点がある。
【0038】なお、特に図示しないが、各図形が表す母
音のイントネーションを識別する方法としては、図形の
内部の模様の違いや輪郭形状の違いに限らず、彩色の違
いによって表示してもよいことは言うまでもない。
【0039】
【発明の効果】本願において開示される発明のうち、代
表的なものによって得られる効果を簡単に説明すれば、
以下のとおりである。
【0040】すなわち、本発明の音声視覚化方法によれ
ば、音声信号に含まれる豊富な特徴情報を分かり易く表
示することができるという効果が得られる。
【0041】また、本発明の音声視覚化装置によれば、
音声信号に含まれる豊富な特徴情報を分かり易く表示す
ることができるという効果が得られる。
【0042】また、本発明の語学学習装置によれば、発
音などの音声信号に含まれる豊富な特徴情報を分かり易
くかつ効率良く学習者に表示して高い学習効果を達成す
ることができるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施例である音声視覚化装置の構成
および作用の一例を示すブロック図である。
【図2】(a)および(b)は、その作用の一例を示す
概念図である。
【図3】(a)および(b)は、図形の変形例を示す説
明図である。
【図4】(a)、(b)および(c)は、従来の音声可
視化技術の一例を示す線図である。
【符号の説明】
1 フーリエ変換部 2 第1フィルタ部 3 第2フィルタ部 4 第3フィルタ部 5 グラフ化部 6 音声信号 7 周波数成分 8 母音検出論理信号 9 ピッチ平均値 10 ピッチ変化値 11 強弱値 21〜23 図形 31〜33 図形

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 音声信号から母音を抽出し、当該母音の
    平均ピッチおよびピッチの変化および強さおよび継続時
    間を、それぞれ、同一のピッチ−時間座標平面上におけ
    る図形の位置および模様,形状,色および面積の大小お
    よび幅の大小によって表示することを特徴とする音声視
    覚化方法。
  2. 【請求項2】 音声信号に含まれる各周波数成分を分離
    するフーリエ変換部と、前記周波数成分から母音(基本
    周波数)の有無に応じた母音検出論理信号を出力する第
    1の手段と、前記周波数成分と前記母音検出論理信号と
    から前記基本周波数の平均値および変化量を取り出す第
    2の手段と、前記基本周波数のパワーを取り出す第3の
    手段と、前記基本周波数の平均値および変化量と前記パ
    ワーとから、前記基本周波数の平均ピッチおよびピッチ
    の変化および強さおよび継続時間を、それぞれ、同一の
    ピッチ−時間座標平面上における図形の位置および模
    様,形状,色および面積の大小および幅の大小によって
    表示するグラフ化手段とを備えたことを特徴とする音声
    視覚化装置。
  3. 【請求項3】 コンピュータ支援による語学学習装置で
    あって、請求項1記載の音声視覚化方法を用いたことを
    特徴とする語学学習装置。
  4. 【請求項4】 コンピュータ支援による語学学習装置で
    あって、請求項2記載の音声視覚化装置を備えたことを
    特徴とする語学学習装置。
JP22556591A 1991-09-05 1991-09-05 音声視覚化方法および装置ならびにそれを用いた語学学習装置 Pending JPH05232856A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22556591A JPH05232856A (ja) 1991-09-05 1991-09-05 音声視覚化方法および装置ならびにそれを用いた語学学習装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22556591A JPH05232856A (ja) 1991-09-05 1991-09-05 音声視覚化方法および装置ならびにそれを用いた語学学習装置

Publications (1)

Publication Number Publication Date
JPH05232856A true JPH05232856A (ja) 1993-09-10

Family

ID=16831299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22556591A Pending JPH05232856A (ja) 1991-09-05 1991-09-05 音声視覚化方法および装置ならびにそれを用いた語学学習装置

Country Status (1)

Country Link
JP (1) JPH05232856A (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178214A (ja) * 2004-12-22 2006-07-06 Yamaha Corp 語学学習装置
WO2008130659A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for identity verification
WO2008130658A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for speech therapy
US7538265B2 (en) 2006-07-12 2009-05-26 Master Key, Llc Apparatus and method for visualizing music and other sounds
US7589269B2 (en) 2007-04-03 2009-09-15 Master Key, Llc Device and method for visualizing musical rhythmic structures
JP2010072057A (ja) * 2008-09-16 2010-04-02 Winbond Electron Corp 音声の録音と再生方法及び該方法を用いる電子辞書
US7820900B2 (en) 2007-04-20 2010-10-26 Master Key, Llc System and method for sound recognition
US7875787B2 (en) 2008-02-01 2011-01-25 Master Key, Llc Apparatus and method for visualization of music using note extraction
US7880076B2 (en) 2007-04-03 2011-02-01 Master Key, Llc Child development and education apparatus and method using visual stimulation
US7919702B2 (en) 2008-02-01 2011-04-05 Master Key, Llc Apparatus and method of displaying infinitely small divisions of measurement
US7928306B2 (en) 2007-04-20 2011-04-19 Master Key, Llc Musical instrument tuning method and apparatus
US7932455B2 (en) 2007-04-20 2011-04-26 Master Key, Llc Method and apparatus for comparing musical works
US7932454B2 (en) 2007-04-18 2011-04-26 Master Key, Llc System and method for musical instruction
US7935877B2 (en) 2007-04-20 2011-05-03 Master Key, Llc System and method for music composition
US7947888B2 (en) 2007-04-20 2011-05-24 Master Key, Llc Method and apparatus for computer-generated music
US7960637B2 (en) 2007-04-20 2011-06-14 Master Key, Llc Archiving of environmental sounds using visualization components
US7994409B2 (en) 2007-04-19 2011-08-09 Master Key, Llc Method and apparatus for editing and mixing sound recordings
US8843377B2 (en) 2006-07-12 2014-09-23 Master Key, Llc System and method for foreign language processing

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178214A (ja) * 2004-12-22 2006-07-06 Yamaha Corp 語学学習装置
JP4543919B2 (ja) * 2004-12-22 2010-09-15 ヤマハ株式会社 語学学習装置
US8843377B2 (en) 2006-07-12 2014-09-23 Master Key, Llc System and method for foreign language processing
US7538265B2 (en) 2006-07-12 2009-05-26 Master Key, Llc Apparatus and method for visualizing music and other sounds
US7956273B2 (en) 2006-07-12 2011-06-07 Master Key, Llc Apparatus and method for visualizing music and other sounds
US7880076B2 (en) 2007-04-03 2011-02-01 Master Key, Llc Child development and education apparatus and method using visual stimulation
US7589269B2 (en) 2007-04-03 2009-09-15 Master Key, Llc Device and method for visualizing musical rhythmic structures
US7772476B2 (en) 2007-04-03 2010-08-10 Master Key, Llc Device and method for visualizing musical rhythmic structures
US7932454B2 (en) 2007-04-18 2011-04-26 Master Key, Llc System and method for musical instruction
US7994409B2 (en) 2007-04-19 2011-08-09 Master Key, Llc Method and apparatus for editing and mixing sound recordings
US7671266B2 (en) 2007-04-20 2010-03-02 Master Key, Llc System and method for speech therapy
US7928306B2 (en) 2007-04-20 2011-04-19 Master Key, Llc Musical instrument tuning method and apparatus
US7932455B2 (en) 2007-04-20 2011-04-26 Master Key, Llc Method and apparatus for comparing musical works
US7820900B2 (en) 2007-04-20 2010-10-26 Master Key, Llc System and method for sound recognition
US7935877B2 (en) 2007-04-20 2011-05-03 Master Key, Llc System and method for music composition
US7947888B2 (en) 2007-04-20 2011-05-24 Master Key, Llc Method and apparatus for computer-generated music
US7960637B2 (en) 2007-04-20 2011-06-14 Master Key, Llc Archiving of environmental sounds using visualization components
WO2008130658A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for speech therapy
US8073701B2 (en) 2007-04-20 2011-12-06 Master Key, Llc Method and apparatus for identity verification using visual representation of a spoken word
WO2008130659A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for identity verification
US7875787B2 (en) 2008-02-01 2011-01-25 Master Key, Llc Apparatus and method for visualization of music using note extraction
US7919702B2 (en) 2008-02-01 2011-04-05 Master Key, Llc Apparatus and method of displaying infinitely small divisions of measurement
JP2010072057A (ja) * 2008-09-16 2010-04-02 Winbond Electron Corp 音声の録音と再生方法及び該方法を用いる電子辞書

Similar Documents

Publication Publication Date Title
JPH05232856A (ja) 音声視覚化方法および装置ならびにそれを用いた語学学習装置
Story A parametric model of the vocal tract area function for vowel and consonant simulation
Ménard et al. Auditory normalization of French vowels synthesized by an articulatory model simulating growth from birth to adulthood
US4969194A (en) Apparatus for drilling pronunciation
Banbrook et al. Speech characterization and synthesis by nonlinear methods
CN103093750A (zh) 音乐数据显示控制设备及方法
CN103632663B (zh) 一种基于hmm的蒙古语语音合成前端处理的方法
KR101325722B1 (ko) 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법
JP4792703B2 (ja) 音声解析装置、音声解析方法及び音声解析プログラム
KR20000005183A (ko) 이미지 합성방법 및 장치
EP1024435A1 (en) A mellin-transform information extractor for vibration sources
JP2000019941A (ja) 発音学習装置
TWI574254B (zh) 用於電子系統的語音合成方法及裝置
US20150051911A1 (en) Method for dividing letter sequences into pronunciation units, method for representing tones of letter sequences using same, and storage medium storing video data representing the tones of letter sequences
Post French tonal structures
JP3174777B2 (ja) 信号処理方法および装置
Gussenhoven et al. An experimental evaluation of two nuclear-tone taxonomies
JP5531654B2 (ja) 制御情報生成装置および形状制御装置
JP3059022B2 (ja) 動画像表示装置
CN115619897A (zh) 图像处理方法、装置、电子设备及存储介质
JPH09244693A (ja) 音声合成方法及び装置
JP2016156943A (ja) 表示制御装置、表示制御方法、及びプログラム
JP2006139162A (ja) 語学学習装置
JP3988270B2 (ja) 発音表示装置、発音表示方法及び発音表示機能をコンピュータに実行させるためのプログラム
JP5378944B2 (ja) 音声処理装置およびプログラム