ところで、英語などの原文の自然な発音(会話したり朗読したりする場合の発音)では一般に、音列をアクセント(強く発音する音)の位置で区切ると、各区間(発音範囲)の時間長は均一にはならない。
この点、特許文献1の背景技術では、学習者は、原文を再生リズム音に合わせて発音する、つまりアクセントが再生リズム音の位置にくるように各区間の時間長を伸縮させるので、各区間の時間長が均一となる。このような原文の発音は、歌唱には適するが、会話や朗読では不自然に感じられる。
また、このような各区間の不均一な時間長は、原文テキストの文字からは判別し難い。
それゆえに、この発明の主たる目的は、新規な、学習支援プログラムおよび学習支援装置を提供することである。
この発明の他の目的は、原文の自然な発音を身につけさせることができる、学習支援プログラムおよび学習支援装置を提供することである。
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
第1の発明は、語学学習の対象となる原文の内容を示す原文内容情報と原文に関しアクセントの時間軸上での位置を示すアクセント位置情報とを記憶した記憶媒体を有する学習支援装置のコンピュータを、原文内容情報に基づいて、原文の内容をユーザに報知する原文内容報知手段、および原文内容報知手段によって原文の内容が報知されているときに、原文に関しアクセントの時間軸上での位置をユーザに報知するためのアクセント画像をアクセント位置情報に基づいて画面に表示するアクセント画像表示手段として機能させる、学習支援プログラムである。
第1の発明では、学習支援プログラムは、語学学習の対象となる原文(ES)の内容を示す原文内容情報(781a,781d)と原文に関しアクセントの時間軸上での位置を示すアクセント位置情報(781c)とを記憶した記憶媒体(48)を有する学習支援装置(10)のコンピュータ(42)を、原文内容報知手段(S55,S105)およびアクセント画像表示手段(S111)として機能させる。原文内容報知手段は、原文内容情報に基づいて、原文の内容をユーザに報知する。アクセント画像表示手段は、原文内容報知手段によって原文の内容が報知されているときに、原文に関しアクセントの時間軸における位置を示すアクセント画像(G,AP1,AP2,…)をアクセント位置情報に基づいて画面(14)に表示する。
第1の発明によれば、原文の内容を報知しながら、原文のアクセントの時間軸上での位置を視覚的に示すことで、ユーザは、アクセントを発音すべきタイミングと、アクセントで区切られた各区間の時間長とがわかるので、原文の自然な発音を身につけることができる。
第2の発明は、第1の発明に従属する学習支援プログラムであって、コンピュータを、原文内容報知手段によって報知されている原文をアクセント位置情報に基づいてアクセントの時間軸上での位置で時間区間に区切り、時間軸上での時間区間の位置および長さを示す時間区間画像を画面に表示する時間区間画像表示手段としてさらに機能させる。
第2の発明では、学習支援プログラムは、コンピュータを時間区間画像表示手段(S113)としてさらに機能させる。時間区間画像表示手段は、原文内容報知手段によって報知されている原文をアクセント位置情報に基づいてアクセントの時間軸上での位置で時間区間に区切り、時間軸上での時間区間の位置および長さを示す時間区間画像(GB1,GB2,…)を画面に表示する。
第2の発明によれば、さらに時間区間画像を表示することで、各時間区間の相対的な長さ(テンポの伸縮)を直感的に認識させることができる。
第3の発明は、第1の発明に従属する学習支援プログラムであって、コンピュータを、アクセント画像表示手段によって表示されたアクセント画像のうち現時点で発音すべきアクセント画像を強調表示する強調表示手段としてさらに機能させる。
第3の発明では、学習支援プログラムは、コンピュータを強調表示手段(S43)としてさらに機能させる。強調表示手段は、アクセント画像表示手段によって表示されたアクセント画像のうち現時点で発音すべきアクセント画像を強調表示する。
第3の発明によれば、時間の進行に連れてアクセント画像を強調表示していくことで、原文を適切な速さで発音させることができる。
第4の発明は、第3の発明に従属する学習支援プログラムであって、コンピュータを、原文内容報知手段によって報知されている原文をアクセント位置情報に基づいてアクセントの時間軸上での位置で時間区間に区切り、時間軸上での時間区間の位置および長さを示す時間区間画像を画面に表示する時間区間画像表示手段としてさらに機能させ、強調表示手段は、時間区間画像表示手段によって表示された時間区間画像のうち現時点に対応する時間区間画像をさらに強調表示する。
第4の発明では、学習支援プログラムは、コンピュータを時間区間画像表示手段(S113)としてさらに機能させる。時間区間画像表示手段は、原文内容報知手段によって報知されている原文をアクセント位置情報に基づいてアクセントの時間軸上での位置で時間区間に区切り、時間軸上での時間区間の位置および長さを示す時間区間画像を画面に表示する。強調表示手段は、時間区間画像表示手段によって表示された時間区間画像のうち現時点に対応する時間区間画像をさらに強調表示する。
第4の発明によれば、さらに時間区間画像を強調表示していくことで、現時点の時間区間を明確に認識させることができる。
第5の発明は、第1ないし第4のいずれかの発明に従属する学習支援プログラムであって、コンピュータを、時間軸上での現時点の位置を示す現時点位置画像を画面に表示する現時点位置画像表示手段としてさらに機能させる。
第5の発明では、学習支援プログラムは、コンピュータを現時点位置画像表示手段(S15)としてさらに機能させる。現時点位置画像表示手段は、時間軸上での現時点の位置を示す現時点位置画像(P)を画面に表示する。
第5の発明によれば、ユーザは、アクセントと現時点との位置関係がわかるので、発音の速さ(テンポ)の調整が可能となる。
第6の発明は、第1ないし第5のいずれかの発明に従属する学習支援プログラムであって、コンピュータを、アクセントに対応するアクセント音をアクセント位置情報に基づく時間間隔で再生するアクセント音再生手段としてさらに機能させる。
第6の発明では、学習支援プログラムは、コンピュータをアクセント音再生手段(S39,34)としてさらに機能させる。アクセント音再生手段は、アクセントに対応するアクセント音をアクセント位置情報に基づく時間間隔で再生する。
第6の発明によれば、ユーザは、さらにアクセント音を通じて各区間の時間長を聴覚的にも認識するので、自然な発音が容易に行える。
第7の発明は、第1ないし第6のいずれかの発明に従属する学習支援プログラムであって、原文内容情報は原文の文字を示す原文文字情報(781a)を含み、原文内容報知手段(S105)は原文文字情報に基づいて原文の文字を画面に表示する。
第7の発明によれば、原文の文字を表示することで、原文の内容を視覚的に報知すると共に、正しい綴りを認識させることができる。
第8の発明は、第7の発明に従属する学習支援プログラムであって、コンピュータを、原文内容報知手段によって表示された原文をアクセント位置情報に基づいてアクセントの時間軸上での位置で時間区間に区切り、原文内容報知手段によって表示された原文の文字列のうち現時点に対応する時間区間に属する文字列を強調表示する文字列強調表示手段としてさらに機能させる。
第8の発明では、学習支援プログラムは、コンピュータを文字列強調表示手段(S43)としてさらに機能させる。文字列強調表示手段は、原文内容報知手段によって表示された原文をアクセント位置情報に基づいてアクセントの時間軸上での位置で時間区間に区切り、原文内容報知手段によって表示された原文の文字列のうち現時点に対応する時間区間に属する文字列を強調表示する。
第8の発明によれば、さらに文字列を時間区間単位で強調表示していくことで、原文を適切な文字列単位で発音させることができる。
第9の発明は、第1ないし第8のいずれかの発明に従属する学習支援プログラムであって、原文内容情報は原文の音声を示す原文音声情報(781d)をさらに含み、原文内容報知手段(S55)は原文音声情報に基づいて原文の音声を再生する。
第9の発明によれば、原文の音声つまりお手本を再生することで、原文の内容を聴覚的に報知すると共に、正しい発音を認識させることができる。
第10の発明は、第9の発明に従属する学習支援プログラムであって、コンピュータを、原文の音声の再生速度を設定する再生速度設定手段としてさらに機能させ、原文内容報知手段は、再生速度設定手段によって設定された再生速度で原文の音声を再生する。
第10の発明では、学習支援プログラムは、コンピュータを再生速度設定手段(S1)としてさらに機能させる。再生速度設定手段は原文の音声の再生速度を設定し、原文内容報知手段は再生速度設定手段によって設定された再生速度で原文の音声を再生する。
第10の発明によれば、習熟度に応じた再生速度を設定することで、学習効果を高めることができる。
第11の発明は、第9または第10の発明に従属する学習支援プログラムであって、原文内容報知手段は、原文の音声を繰り返し再生する。
第11の発明によれば、お手本を繰り返し再生し、ユーザに繰り返し発音させることで、正しい発音を身につけさせることができる。
第12の発明は、第11の発明に従属する学習支援プログラムであって、原文内容報知手段は、原文の音声を繰り返す毎に音量が小さくなるように再生する。
第12の発明によれば、徐々にお手本に頼らずに発音させていくことで、正しい発音が身に付きやすくなる。
第13の発明は、第12の発明に従属する学習支援プログラムであって、コンピュータを、原文内容報知手段による所定の回数の音声再生が終了した後に、原文内容報知手段による再生を行わずにアクセント画像表示手段による表示を行うよう制御する再生表示制御手段、および再生表示制御手段によって制御されているときのユーザの発音をユーザ発音情報として録音する録音手段としてさらに機能させる。
第13の発明では、学習支援プログラムは、コンピュータを再生表示制御手段(S51)および録音手段(S53,86)としてさらに機能させる。再生表示制御手段は、原文内容報知手段による所定の回数の音声再生が終了した後に、原文内容報知手段による再生を行わずにアクセント画像表示手段による表示を行うよう制御する。録音手段は、再生表示制御手段によって制御されているときのユーザの発音をユーザ発音情報として録音する。
第13の発明によれば、お手本を徐々に小さくして最後は再生せず、このときにユーザの発音を録音するので、身についた発音を鮮明に(お手本がかぶらないように)録音することができる。
第14の発明は、第5の発明に従属する学習支援プログラムであって、コンピュータを、現時点位置画像表示手段によって現時点位置画像が画面に表示されているときのユーザの発音をユーザ発音情報として録音する録音手段としてさらに機能させる。
第14の発明では、学習支援プログラムはコンピュータを録音手段(S53,86)としてさらに機能させる。録音手段は、現時点位置画像表示手段によって現時点位置画像が画面に表示されているときのユーザの発音をユーザ発音情報として録音する。
第14の発明によれば、現時点位置画像を通じてお手本の発音の速さをユーザに示しながら、ユーザの発音を録音することができる。
第15の発明は、第13または第14の発明に従属する学習支援プログラムであって、コンピュータを、録音手段によって録音されたユーザ発音情報と記憶媒体に記憶されている原文内容情報とに基づいてユーザが原文を発声するリズムの正確性を評価する評価手段としてさらに機能させる。
第15の発明では、学習支援プログラムは、コンピュータを評価手段(S78)としてさらに機能させる。評価手段は、録音手段によって録音されたユーザ発音情報と記憶媒体に記憶されている原文内容情報とに基づいて、ユーザが原文を発声するリズムの正確性を評価する。
第15の発明によれば、録音したものを評価することで、学習の成果を認識させ、学習意欲を高めることができる。
第16の発明は、第13ないし第15のいずれかの発明に従属する学習支援プログラムであって、コンピュータを、所定のリズムに従うチック音をユーザに発音を開始させる所定の時点より前に再生するチック音再生手段としてさらに機能させる。
第16の発明では、学習支援プログラムは、コンピュータをチック音再生手段(S27)としてさらに機能させる。チック音再生手段は、所定のリズムに従うチック音をユーザに発音を開始させる所定の時点より前に再生する。
第16の発明によれば、チック音によって、発音開始のタイミングを認識させることができる。また、発音の平均的な速さを事前に認識させることができる。
第17の発明は、語学学習の対象となる原文(ES)の内容を示す原文内容情報(781a,781d)と原文に関しアクセントの時間軸上での位置を示すアクセント位置情報(781c)とを記憶した記憶媒体(48)、原文内容情報に基づいて原文の内容をユーザに報知する原文内容報知手段(S55,S105)、および原文内容報知手段によって原文の内容が報知されているときに原文に関しアクセントの時間軸上での位置をユーザに報知するためのアクセント画像(G,AP1,AP2,…)をアクセント位置情報に基づいて画面に表示するアクセント画像表示手段(S111)を備える、学習支援装置(10)である。
第17の発明でも、第1の発明と同様に、ユーザは、原文の自然な発音を身につけることができる。
第18の発明は、語学学習の対象となる原文の内容を示す原文内容情報と原文に関し相対的に強く発音する音を示すアクセントの時間軸上での位置を示すアクセント位置情報とを記憶した記憶媒体を有する学習支援装置のコンピュータを、原文内容情報に基づいて、原文の内容をユーザに報知する原文内容報知手段、原文内容報知手段によって原文の内容が報知されているときに、原文に関しアクセントの時間軸上での位置をユーザに報知するための1つまたは複数のアクセント画像をアクセント位置情報に基づいて画面に表示するアクセント画像表示手段、およびアクセント画像表示手段によって表示されたアクセント画像のうち現時点で発音すべき音に対応するアクセント画像を強調表示する強調表示手段として機能させる、学習支援プログラムである。
第18の発明によれば、原文の内容を報知しながら、原文の相対的に強く発音する音を示すアクセントの時間軸上での位置を1つまたは複数のアクセント画像で視覚的に示すことで、ユーザは、アクセントを発音すべきタイミングと、アクセントで区切られた各区間の時間長とがわかるので、原文の自然な発音を身につけることができる。また、時間の進行に連れてアクセント画像を強調表示していくことで、ユーザに原文を適切な速さで発音させることができる。
この発明によれば、原文の自然な発音を身につけさせることができる、学習支援プログラムおよび学習支援装置が実現される。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1〜図3には、本発明の一実施例であるゲーム装置10の外観が示される。ゲーム装置10は折り畳み型のゲーム装置であり、図1および図2は、開いた状態(開状態)におけるゲーム装置10を示し、図3は、閉じた状態(閉状態)におけるゲーム装置10を示している。また、図1は、開状態におけるゲーム装置10の正面図であり、図2は、開状態におけるゲーム装置の側面図である。ゲーム装置10は、2つの表示装置(LCD12および14)および2つのカメラ(カメラ16および18)を有し、カメラによって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることができる。
ゲーム装置10は、開いた状態において両手または片手で把持することができるような小型のサイズとされる。
ゲーム装置10は、下側ハウジング20および上側ハウジング22という2つのハウジングを有する。下側ハウジング20と上側ハウジング22とは、開閉可能(折り畳み可能)に接続されている。この実施例では、各ハウジング20および22はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。
上側ハウジング22は、下側ハウジング20の上側の一部で回動自在に支持されている。これによって、ゲーム装置10は、閉状態(下側ハウジング20と上側ハウジング22とのなす角度が約0°の状態(図3参照))と、開状態(下側ハウジング20と上側ハウジング22とのなす角度が約180°の状態(図2参照))とをとることができる。ユーザは通常、開状態でゲーム装置10を使用し、ゲーム装置10を使用しない場合には閉状態としてゲーム装置10を保管する。また、ゲーム装置10は、上記閉状態および開状態のみでなく、下側ハウジング20と上側ハウジング22とのなす角度を、ヒンジに発生する摩擦力などによって閉状態と開状態との間の任意の角度に維持することができる。つまり、上側ハウジング22を下側ハウジング20に対して任意の角度で静止させることができる。
まず、下側ハウジング20に設けられる構成について説明する。図1に示すように、ゲーム装置10は、下側LCD(液晶表示装置)12を有する。下側LCD12は横長形状であり、長辺方向が下側ハウジング20の長辺方向に一致するように配置される。下側LCD12は下側ハウジング20に収納される。下側LCD12は、下側ハウジング20の内側面に設けられる。したがって、ゲーム装置10を使用しない場合には閉状態としておくことによって、下側LCD12の画面が汚れたり傷ついたりすることを防止することができる。なお、この実施例では表示装置としてLCDを用いているが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。また、ゲーム装置10は任意の解像度の表示装置を利用することができる。なお、ゲーム装置10を撮像装置として利用する場合、下側LCD12は主に、カメラ16または18で撮像されている画像をリアルタイムに表示(スルー表示)するために用いられる。
下側ハウジング20の内側面はほぼ平面状に形成される。当該内側面の中央には、下側LCD12を露出させるための開口部20bが形成される。当該開口部20bの左側(図示y軸負側)には開口部20cが形成され、当該開口部20bの右側には開口部20dが形成される。開口部20bおよび20cは、各キートップ(各ボタン24a〜24eの上面)を露出させるためのものである。そして、下側ハウジング20の内部に収納される下側LCD12の画面が開口部20bから露出し、各キートップが開口部20cおよび20dから露出される。このように、下側ハウジング20の内側面には、中央に設けられる下側LCD12用の開口部20bの左右両側に非画面領域(図1に示す点線領域A1およびA2。具体的には、各ボタン24a〜24eを配置するための領域;ボタン配置領域)がそれぞれ設けられる。
下側ハウジング20には、入力装置として、各ボタン24a〜24iおよびタッチパネル28が設けられる。図1に示されるように、各ボタン24a〜24iのうち、方向入力ボタン24a、ボタン24b、ボタン24c、ボタン24d、ボタン24e、および電源ボタン24fは、下側ハウジング20の内側面に設けられる。方向入力ボタン24aは例えば選択操作等に用いられ、各ボタン24b〜24eは例えば決定操作やキャンセル操作等に用いられる。電源ボタン24fは、ゲーム装置10の電源をオン/オフするために用いられる。ここでは、方向入力ボタン24aおよび電源ボタン24fは、下側ハウジング20の中央付近に設けられる下側LCD12に対して一方の側の(図1では左側)に設けられ、ボタン24b〜24eは下側LCD12に対して他方の側(図1では右側)に設けられる。方向入力ボタン24aおよびボタン24b〜24eは、ゲーム装置10に対する各種操作を行うために用いられる。
図3(A)は閉状態におけるゲーム装置10の左側面図であり、図3(B)は当該ゲーム装置10の正面図であり、図3(C)は当該ゲーム装置10の右側面図であり、そして図3(D)は当該ゲーム装置10の背面図である。図3(C)に示されるように、また、図3(A)に示されるように、音量ボタン24iは、下側ハウジング20の左側面に設けられる。音量ボタン24iは、ゲーム装置10が備えるスピーカ34の音量を調整するために用いられる。また、図3(D)に示されるように、ボタン24hは、下側ハウジング20の上面の右端部に設けられる。ボタン24gは、下側ハウジング20の上面の左端部に設けられる。各ボタン24gおよび24hは、ゲーム装置10に対して例えば撮影指示操作(シャッタ操作)を行うために用いられる。各ボタン24gおよび24hの両方をシャッターボタンとして機能させてもよく、この場合、右利きのユーザはボタン24hを使用し、左利きのユーザはボタン24gを使用することができ、いずれのユーザにも使い勝手が良い。なお、ゲーム装置10は、各ボタン24gおよび24hを常にシャッターボタンとして有効としておいてもよいし、右利きか左利きかの設定をして(メニュープログラムなどによりユーザに設定入力をさせ、設定されたデータを記憶しておく)、右利き設定のときにはボタン24hのみ有効とし、左利き設定のときにはボタン24gのみ有効とするようにしてもよい。
図1に示されるように、ゲーム装置10は、各操作ボタン24a〜24iとは別の入力装として、タッチパネル28をさらに備えている。タッチパネル28は、下側LCD12の画面上に装着されている。なお、この実施例では、タッチパネル28は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、任意の押圧式のタッチパネルを用いることができる。この実施例では、タッチパネル28として、下側LCD12の解像度と同解像度(検出精度)のものを利用する。ただし、必ずしもタッチパネル28の解像度と下側LCD12の解像度が一致している必要はない。また、下側ハウジング20の右側面には挿入口30(図1および図3(D)に示す点線)が設けられている。挿入口30は、タッチパネル28に対する操作を行うために用いられるタッチペン36を収納することができる。なお、タッチパネル28に対する入力は通常タッチペン36を用いて行われるが、タッチペン36に限らずユーザの指でタッチパネル28を操作することも可能である。
図3(A)に示されるように、下側ハウジング20の右側面には開閉可能なカバー部11Bが設けられる。このカバー部11Bの内側には、ゲーム装置10とメモリカード38とを電気的に接続するためのコネクタ(図示せず)が設けられる。メモリカード38は、コネクタに着脱自在に装着される。メモリカード38は、例えば、ゲーム装置10によって撮像された画像のデータを記憶(保存)するために用いられる。
図1に示されるように、下側ハウジング20の軸部20aの左側部分には、3つのLED26a〜26cが取り付けられる。ここで、ゲーム装置10は他の機器との間で無線通信を行うことが可能であり、第1LED26aは、無線通信が確立している場合に点灯する。第2LED26bは、ゲーム装置10の充電中に点灯する。第3LED26cは、ゲーム装置10の電源がオンである場合に点灯する。したがって、3つのLED26a〜26cによって、ゲーム装置10の通信確立状況、充電状況、および、電源のオン/オフ状況をユーザに通知することができる。
以上に説明したように、下側ハウジング20には、ゲーム装置10に対する操作入力を行うための入力装置(タッチパネル28および各ボタン24a〜24i)が設けられる。したがって、ユーザは、ゲーム装置10を使用する際には下側ハウジング20を把持してゲーム装置10に対する操作を行うことができる。図4は、ユーザがゲーム装置10を両手で把持した様子を示す図である。図4に示すように、ユーザは、各LCD12および14がユーザの方向を向く状態で、両手の掌と中指、薬指および小指とで下側ハウジング20の側面および外側面(内側面の反対側の面)を把持する。このように把持することで、ユーザは、下側ハウジング20を把持したまま、各ボタン24a〜24eに対する操作を親指で行い、ボタン24gおよび24hに対する操作を人差し指で行うことができる。
一方、上側ハウジング22には、画像を撮像するための構成(カメラ)、および、撮像した画像を表示するための構成(表示装置)が設けられる。以下、上側ハウジング22に設けられる構成について説明する。
図1に示すように、ゲーム装置10は、上側LCD14を有する。上側LCD14は上側ハウジング22に収納される。上側LCD14は横長形状であり、長辺方向が上側ハウジング22の長辺方向に一致するように配置される。上側LCD14は、上側ハウジング22の内側面(ゲーム装置10が閉状態となった場合に内側となる面)に設けられる。したがって、ゲーム装置10を使用しない場合には閉状態としておくことによって、上側LCD14の画面が汚れたり傷ついたりすることを防止することができる。なお、下側LCD12と同様、上側LCD14に代えて、他の任意の方式および任意の解像度の表示装置を利用してもよい。なお、他の実施形態においては、上側LCD14上にもタッチパネルを設けてもよい。
また、ゲーム装置10は、2つのカメラ16および18を有する。各カメラ16および18はともに上側ハウジング22に収納される。図1に示されるように、内側カメラ16は、上側ハウジング22の内側面に取り付けられる。一方、図3(B)に示されるように、外側カメラ18は、内側カメラ16が取り付けられる面の反対側の面、すなわち、上側ハウジング22の外側面(ゲーム装置10が閉状態となった場合に外側となる面)に取り付けられる。これによって、内側カメラ16は、上側ハウジング22の内側面が向く方向を撮像することが可能であり、外側カメラ18は、内側カメラ16の撮像方向の逆方向、すなわち、上側ハウジング22の外側面が向く方向を撮像することが可能である。以上のように、この実施例では、2つのカメラ16および18が撮像方向が互いに逆方向となるように設けられる。したがって、ユーザはゲーム装置10を持ち替えることなく、異なる2方向を撮像することができる。例えば、ユーザは、ゲーム装置10からユーザの方を見た景色を内側カメラ16で撮影することができるとともに、ゲーム装置10からユーザの反対側の方向を見た景色を外側カメラ18で撮影することができる。
また、内側カメラ16は、上側ハウジング22の下側の中央部に形成される軸部22aの中央に取り付けられる。つまり、内側カメラ16は、2つのハウジング20および22が接続される部分の中央に取り付けられる。したがって、ゲーム装置10を開状態にした場合、内側カメラ16は、2つのLCD12および14の間に配置されることになる(図1参照)。換言すれば、内側カメラ16は、ゲーム装置10の中心付近に配置されることになる。なお、「ゲーム装置10の中心」とは、ゲーム装置10の操作面(開状態における各ハウジング20および22の内側面からなる面)の中心という意味である。なお、内側カメラ16は、LCD12および14の横方向の中心付近に配置されているということもできる。
この実施例では、ゲーム装置10を開状態にした場合に内側カメラ16はゲーム装置10の中心付近に配置されるので、ユーザは、内側カメラ16によってユーザ自身を撮影する場合、ユーザがゲーム装置10に正対する位置でゲーム装置10を把持すればよい。つまり、通常の把持位置でゲーム装置を把持すれば、ユーザは撮像範囲の中心付近に位置することになり、ユーザ自身を撮像範囲内に収めることが容易になる。
また、図3(B)に示されるように、外側カメラ18は、ゲーム装置10を開状態とした場合において上側ハウジング22の上部(下側ハウジング20から遠い側の部分)に配置される。なお、外側カメラ18は、ゲーム装置10を把持するユーザを撮影するものではないので、ゲーム装置10の中心に設ける必要性は高くない。
また、図1または図3(B)に示されるように、マイク32は、上側ハウジング22に収納されている。具体的には、マイク32は、上側ハウジング22の軸部22aに取り付けられる。この実施例では、マイク32は、内側カメラ16の周囲(図ではy軸の側方)に取り付けられ、より具体的には、内側カメラ16からy軸正方向側の側方に取り付けられる。また、軸部22aにおいては、マイク32がゲーム装置10外部の音を検知することができるように、マイク32に対応する位置(内側カメラ16の側方)にマイクロフォン用孔22cが設けられる。なお、マイク32は下側ハウジング20に収納されてもよい。たとえば、マイクロフォン用孔22cを下側ハウジング20の内側面、具体的には下側ハウジング20の内側面の左下部分(ボタン配置領域A1)に設け、マイク32を、下側ハウジング20内における、マイクロフォン用孔22cの近傍に配置することができる。
また、マイク32は、その集音方向(感度が最大となる方向)が内側カメラ16の撮像方向(光軸)と略並行(言い換えれば集音方向および撮像方向がそれぞれy軸と略並行)となる向きに取り付けられる。これによって、内側カメラ16の撮像範囲内で発せられた音声は、マイク32によって好適に捉えられる。すなわち、マイク32入力の検出とユーザの検出とを同時行うことができるとともに、検出の精度を向上させることができる。
図3(B)に示されるように、上側ハウジング22の外側面には、第4LED26dが取り付けられる。第4LED26dは、外側カメラ18の周囲(この実施例では、外側カメラ18の右側)に取り付けられる。第4LED26dは、内側カメラ16または外側カメラ18によって撮影が行われた(シャッターボタンが押下された)時点で点灯する。また、内側カメラ16または外側カメラ18によって動画が撮影される間点灯する。第4LED26dによって、ゲーム装置10による撮影が行われた(行われている)ことを撮影対象者に通知することができる。
また、上側ハウジング22の内側面はほぼ平面状に形成される。図1に示すように、当該内側面の中央には、上側LCD14を露出させるための開口部21Bが形成される。上側ハウジング22の内部に収納される上側LCD14の画面は、開口部21Bから露出する。また、上記開口部21Bの左右両側には音抜き孔22dがそれぞれ1つずつ形成される。音抜き孔22dの奥の上側ハウジング22内にはスピーカ34が収納されている。音抜き孔22dは、スピーカ34からの音を外部に放出するための孔である。
このように、上側ハウジング22の内側面には、中央に設けられる上側LCD14用の開口部21Bの左右両側に非画面領域(図1に示す点線領域B1およびB2。具体的には、スピーカ34を配置するための領域;スピーカ配置領域)がそれぞれ設けられる。2つの音抜き孔22dは、左右方向については、各スピーカ配置領域の左右方向における中央部付近に配置され、上下方向については、各スピーカ配置領域の下部領域(下側ハウジング20に近い側の領域)に配置される。
なお、上記のように、下側ハウジング20および上側ハウジング22に左右方向に関して同じ位置に非画面領域をそれぞれ設けたことで、ゲーム装置10は、図4に示すような横持ちで把持される場合だけでなく、縦持ち(図4に示す状態からゲーム装置10を左または右回りに90°回転させた状態)で把持される場合にも持ちやすい構成となっている。
以上に説明したように、上側ハウジング22には、画像を撮像するための構成であるカメラ16および18、および、撮像された画像を表示するための表示手段である上側LCD14が設けられる。一方、下側ハウジング20には、ゲーム装置10に対する操作入力を行うための入力装置(タッチパネル28および各ボタン24a〜24i)が設けられる。したがって、ゲーム装置10を撮像装置として使用する際には、ユーザは、上側LCD14に表示される撮像画像(カメラによって撮像された画像)を見ながら、下側ハウジング20を把持して入力装置に対する入力を行うことができる。
また、上側ハウジング22のカメラ16近傍には、音声を入力するための構成であるマイク32が設けられており、したがってゲーム装置10は、録音装置としても使用可能である。さらに、ユーザがマイク32を通して音声入力を行い、ゲーム装置10はこのマイク入力情報に基づいてゲーム処理や語学学習処理(後述)を実行することもできる。
図5は、ゲーム装置10の内部構成(電気的構成)を示すブロック図である。図5に示すように、ゲーム装置10は、CPU42、メインメモリ48、メモリ制御回路50、保存用データメモリ52、プリセットデータ用メモリ54、メモリカードインターフェース(メモリカードI/F)44、無線通信モジュール56、ローカル通信モジュール58、リアルタイムクロック(RTC)39、電源回路46、およびインターフェース回路(I/F回路)40等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング20(または上側ハウジング22でもよい)内に収納される。
CPU42は、各種のプログラムを実行するための情報処理手段である。ゲーム装置10を撮像装置として利用する場合には、そのためのプログラムがゲーム装置10内のメモリ(例えば保存用データメモリ52)に記憶される。CPU42が当該プログラムを実行することで、ゲーム装置10は撮影装置として機能する。なお、CPU42によって実行されるプログラムは、ゲーム装置10内のメモリに予め記憶されていてもよいし、メモリカード38から取得されてもよいし、他の機器との通信によって他の機器から取得されてもよい。
CPU42には、メインメモリ48、メモリ制御回路50、およびプリセットデータ用メモリ54が接続される。また、メモリ制御回路50には保存用データメモリ52が接続される。メインメモリ48は、CPU42のワーク領域やバッファ領域として用いられる記憶手段である。すなわち、メインメモリ48は、ゲーム処理や語学学習処理に用いられる各種データを記憶したり、外部(メモリカード38や他の機器等)から取得されるプログラムを記憶したりする。この実施例では、メインメモリ48として例えばPSRAM(Pseudo−SRAM)を用いる。保存用データメモリ52は、CPU42によって実行されるプログラムや各カメラ16および18によって撮像された画像のデータ等を記憶するための記憶手段である。保存用データメモリ52は、例えばNAND型フラッシュメモリで構成される。メモリ制御回路50は、CPU42の指示に従って、保存用データメモリ52に対するデータの読み出しおよび書き込みを制御する回路である。プリセットデータ用メモリ54は、ゲーム装置10において予め設定される各種パラメータ等のデータ(プリセットデータ)を記憶するための記憶手段である。プリセットデータ用メモリ54としては、SPI(Serial Peripheral Interface)バスによってCPU42と接続されるフラッシュメモリを用いることができる。
メモリカードI/F44はCPU42に接続される。メモリカードI/F44は、コネクタに装着されたメモリカード38に対するデータの読み出しおよび書き込みをCPU42の指示に従って行う。この実施例では、各カメラ16および18によって撮像された画像データがメモリカード38に書き込まれたり、メモリカード38に記憶された画像データがメモリカード38から読み出されて保存用データメモリ52に記憶されたりする。
無線通信モジュール56は、例えばIEEE802.11.b/gの規格に準拠した方式により、無線LANに接続する機能を有する。また、ローカル通信モジュール58は、所定の通信方式により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール56およびローカル通信モジュール58はCPU42に接続される。CPU42は、無線通信モジュール56を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール58を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
また、CPU42には、RTC60および電源回路46が接続される。RTC60は、時間をカウントしてCPU42に出力する。CPU42は、RTC60によって計時された時間に基づいて、現在時刻(日付)を計算したり、画像取り込み等の動作タイミングを検知したりする。電源回路46は、ゲーム装置10が有する電源(電池;下ハウジングに収納される)からの電力を制御し、ゲーム装置10の各部品に電力を供給する。
また、ゲーム装置10は、マイク32およびスピーカ34を備えている。マイク32およびスピーカ34はそれぞれI/F回路40に接続される。マイク32は、ユーザの音声を検知して音声信号をI/F回路40に出力する。スピーカ34は、I/F回路40からの音声信号に応じた音声を出力する。I/F回路40はCPU42に接続される。また、タッチパネル28はI/F回路40に接続される。I/F回路40は、マイク32およびスピーカ34の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するA/D変換およびD/A変換を行ったり、音声信号を所定の形式の音声データに変換したりする。変換された音声データ(語学学習を行う場合はユーザの発音データ)は、メインメモリ48の音声エリア(語学学習を行う場合は録音エリア86:図12参照)に書き込まれる。ゲーム装置10を録音装置として利用する場合には、音声エリアに格納された音声データは、後にメモリ制御回路50を介して保存用データメモリ52に書き込まれる(必要に応じてさらに、メモリカードI/F44を介してメモリカード38に記録される)。また、音声エリアに格納された音声データ(マイク入力情報)は、各種のゲーム処理にも利用される。タッチパネル制御回路は、タッチパネル28からの信号に基づいて所定の形式のタッチ位置データを生成してCPU42に出力する。タッチ位置データは、タッチパネル28の入力面のうちで入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル28からの信号の読み込み、および、タッチ位置データの生成を所定時間に1回の割合で行う。CPU42は、タッチ位置データを取得することにより、タッチパネル28に対して入力が行われた位置を知ることができる。
操作部24は、上記各ボタン24a〜24iからなり、CPU42に接続される。操作部24からCPU42へは、各ボタン24a〜24iに対する入力状況(押下されたか否か)を示す操作データが出力される。CPU42は、操作部24から操作データを取得することによって、操作部24に対する入力に従った処理を実行する。
各カメラ16および18はCPU42に接続される。各カメラ16および18は、CPU42の指示に従って画像を撮像し、撮像した画像データをCPU42に出力する。CPU42は、各カメラ16および18からの画像データをメインメモリ48の画像エリア(図示せず)に書き込む。ゲーム装置10を撮像装置として利用する場合には、画像エリアに格納された画像データは、後にメモリ制御回路50を介して保存用データメモリ52に書き込まれる(必要に応じてさらに、メモリカードI/F44を介してメモリカード38に記録される)。また、画像エリアに格納された画像データは、各種のゲーム処理にも利用される。
また、各LCD12および14はCPU42に接続される。各LCD12および14はCPU42の指示に従って画像を表示する。ゲーム装置10を撮像装置として利用する場合、CPU42は、各カメラ16および18のいずれかから取得した画像を上側LCD14に表示させ、所定の処理によって生成した操作画面を下側LCD12に表示させる。ゲーム装置10でゲームをプレイする場合には、LCD12および14の一方または両方にゲーム画像が表示される。
以上のように構成されたゲーム装置10で語学学習を行うとき、CPU42は、図6に示すようなトレーニング画面を上側LCD14(以下“LCD14”)に表示する。トレーニング画面は、語学学習の対象である英文(原文)ESたとえば“Did you hear about the poster ?”と、英文ESの発音を示すカナ文KSたとえば“ディッジュー ヒア アバウト ザ ポウスター?”と、時間軸を示すガイドGと、英文ESを発音する際に連続的に発音すべき発音範囲の発音時間長をガイドGに沿って示すガイドバーGB1〜GB3と、英文ESを発音する際のアクセントの位置をガイドGに沿って示すアクセントマークAP1〜AP3とを含む。アクセントマークAP1〜AP3のうちAP2は、他の2つと比べて相対的に強く発音されるべきアクセントの位置をユーザに認識させるため、強調表示されている。
一般に、英文ESなどの文章を発音する際には、一文内にいくつかのアクセントが現れる。この実施例では、こうしたアクセントで区切られた範囲(あるアクセントから次のアクセントの直前までの範囲)を、連続的に発音すべき発音範囲(以下“発音範囲”)と定義する。したがって、アクセントマークAP1,AP2,…は、ガイドバーGB1,GB2,…の先頭の位置に表示されることになる。
CPU42はまた、トレーニング画面をLCD14に表示した状態で、英文ESの音声をスピーカ34を通して再生する。トレーニング画面は、現時点の位置をガイドGに沿って示す現時点位置ポインタPをさらに含む。
CPU42はまた、英文ESの音声再生を開始する前に、所定数ここでは2個のチック音を一定のリズム(時間間隔)で再生する。このため、トレーニング画面は、チック音の位置をガイドGに沿って示すチックマークTP1およびTP2をさらに含む。
このように構成されたトレーニング画面は、図8(A)〜図8(C)および図9(A)〜図9(C)に示すように変化する。図8(A)〜図8(C)はチック音が再生される期間(つまりユーザが英文ESを発音する前の準備期間)の画面変化を示し、図9(A)〜図9(C)はアクセント音が再生される期間(つまりユーザが英文ESを発音する発音期間)の画面変化を示している。なお、図8(A)〜図8(C)および図9(A)〜図9(C)からは、チックマークTP1およびTP2ならびにアクセントマークAP1〜AP3に加えられるアニメーション効果(図10,図11参照:後述)は取り除かれている。
まず準備期間について、図8(A)に示すように、当初、英文ES,カナ文KSおよびガイドバーGB1〜GB3は、いずれもグレーで表示され、現時点位置ポインタPは、ガイドGの左端付近たとえばチックマークTP1の位置に置かれる。
チックマークTP1に対応する最初のチック音が再生されると、図8(B),図8(C)に示すように、現時点位置ポインタPは、一定速度で右向きに移動する動きを開始する。2番目のチック音は、現時点位置ポインタPが次のチックマークTP2を通過するとき再生される。そして現時点位置ポインタPが最初のアクセントマークAP1を通過するタイミングで、英文ESの音声再生が開始される。ユーザは、事前に再生される2個のチック音を通して、発音のリズムおよび発音開始のタイミングを認識することができる。
図8(A)〜図8(C)のように現時点位置ポインタPがチックマークTP1およびアクセントマークAP1の間に位置する期間は、英文ES,カナ文KSおよびガイドバーGB1〜GB3には、何の変化も生じない。一方、チックマークTP1およびTP2には、図10(A)〜図10(E)に示すようなアニメーション効果が加えられる。
図10(A)は最初のチック音が出力されるタイミングに対応しており、このときチックマークTP1は最大まで強調表示されている。この後、図10(B)に示すように、現時点位置ポインタPがチックマークTP2に向かって移動するに連れて、チックマークTP1の強調度合いは減少していく。そして、図10(C)に示すように、現時点位置ポインタPがチックマークTP2を通過するとき、つまり2番目のチック音が出力されるタイミングで、チックマークTP2は最大まで強調表示される。チックマークTP1の強調は、現時点位置ポインタPがチックマークTP2に到達する前に解除される。
その後、図10(D)に示すように、現時点位置ポインタPがアクセントマークAP1に向かって移動するに連れてチックマークTP2の強調度合は減少していき、図10(E)に示すように、現時点位置ポインタPがアクセントマークAP1に到達する前にチックマークTP2の強調は解除される。このようなアニメーション効果をチックマークTP1およびTP2に加えることで、発音開始のタイミングが取りやすくなる。
次に、発音期間に関し、図9(A)に示すように、現時点位置ポインタPがアクセントマークAP1を経てガイドバーGB1の範囲内に入ると、このガイドバーGB1の色がグレーから赤に変化し、さらには、英文ESおよびカナ文KSのうちガイドバーGB1に対応する部分つまり“Did you”および“ディッジュー”の色も、グレーから赤に変化する。
その後、図9(B)に示すように、現時点位置ポインタPがアクセントマークAP2を経てガイドバーGB2の範囲内に入ると、このガイドバーGB2の色がグレーから赤に変化し、さらには、英文ESおよびカナ文KSのうちガイドバーGB2に対応する部分つまり“hear about the”および“ヒア アバウト ザ”の色も、グレーから赤に変化する。一方、ガイドバーGB1,“Did you”および“ディッジュー”の色は、赤から黒に変化する。
その後、図9(C)に示すように、現時点位置ポインタPがアクセントマークAP3を経てガイドバーGB3の範囲内に入ると、このガイドバーGB3の色がグレーから赤に変化し、さらには、英文ESおよびカナ文KSのうちガイドバーGB3に対応する部分つまり“poster ?”および“ポウスター?”の色も、グレーから赤に変化する。一方、ガイドバーGB2,“hear about the”および“ヒア アバウト ザ”の色は、赤から黒に変化する。ガイドバーGB1,“Did you”および“ディッジュー”の色は、黒もまま変化しない。
こうして、現時点位置ポインタPの進行に連れてガイドバーGB1〜GB3の色を変化させ、さらに英文ESおよびカナ文KSの対応部分も同様に変化させることで、ユーザは、現時点での発音範囲および発音時間長を一目で認識することがでる。一方、アクセントマークAP1〜AP3には、図11(A)〜図11(E)に示すようなアニメーション効果が加えられる。
図11(A)は図10(E)のタイミングに対応しており、このときアクセントマークAP1は未だ強調表示されていない。この後、図11(B)に示すように、現時点位置ポインタPがアクセントマークAP1に向かって移動していき、そして、図11(C)に示すように、現時点位置ポインタPがアクセントマークAP1およびAP2の間の所定位置に到達した時点で、アクセントマークAP1は最大まで強調表示される。
その後、アクセントマークAP1の強調は、図11(D)に示すように、現時点位置ポインタPがアクセントマークAP1から遠ざかるに連れて減少していき、そして図11(E)に示すように、現時点位置ポインタPがアクセントマークAP2に到達する前に解除される。以降、アクセントマークAP2,AP3についても、同様のアニメーション効果が加えられる。このようなアニメーション効果をアクセントマークAP1〜AP3に加えることで、アクセントの発音タイミングを認識しやすくなる。
図8(A)〜図8(C)および図9(A)〜図9(C)のようなトレーニング画面の変化は、所定回数ここでは5回繰り返される。音声再生時の音量は、繰り返しの度に減少していき、最後の1回つまり5回目ではゼロとなる。ユーザは、5回に渡って英文ESの発音を行うが、最初の4回はトレーニング画面を見ながら再生音声を真似て発音を行い、最後の1回はトレーニング画面だけで(再生音声なしで)発音を行う。この5回目の発音が、マイク32を通して録音される。
録音が完了すると、CPU42は、図7に示すような再生画面をLCD14に表示して、録音された発音の音声をvscaleと同時にスピーカ34から再生する。この再生画面は、英文ESと、お手本音声の波形WP1と、ユーザ(あなた)の発音音声の波形WP2と、現時点位置ポインタPとを含む。現時点位置ポインタPは、現時点の時間軸(ガイドG)上での位置を示す。現時点位置ポインタPの移動に連れて、英文ESの色がトレーニング画面(図6参照)におけるそれと同じ要領で変化し、かつ2つの波形WP1およびWP2の描画が進行する。描画が完了すると、CPU42は、2つの波形WP1およびWP2のレベルを主としてアクセントAP1,AP2,…の位置で比較して、お手本およびユーザ発音の間の類似度を評価する。そして、評価結果を示す評価スコア(図示せず)を表示する。
次に、このような語学学習を実現するための具体的な情報処理について、図12〜図20により説明する。図12には、語学学習を行う場合のメインメモリ48のメモリマップが示される。図12を参照して、メインメモリ48にはプログラムエリア48aおよびデータエリア48bが形成され、プログラムエリア48aには、図15〜図20のフローチャートに対応するメインプログラム70が格納される。メインプログラム70は、トレーニング画面などの描画を行うための画像処理プログラム72と、英文ESの音声を再生しかつユーザの発音の録音するための音声処理プログラム74とをサブルーチンとして含む。プログラムエリア48aにはさらに、I/F回路40等を制御して映像や音声の入出力を行うための入出力制御プログラム76なども格納されている。
一方、データエリア48bは、問題エリア78,定数エリア80,変数エリア82,描画エリア84および録音エリア86などを含む。問題エリア78には、問題1データ781,問題2データ782,…が格納される。問題1データ781の構成を図13に示す。問題1データ781は、英文ESを示すテキストデータ781aと、カナ文KSを示すテキストデータ781bと、アクセントの時間軸上での位置T(1),T(2),…および強弱を示すアクセント情報781cと、英文の音声を示す波形データ781dと、英文の音声のデータサイズ(サンプル数および/または時間長W)を示すサイズ情報781eを含む。問題2データ782,…も、同様に構成される。なお、図13の例では、単語の先頭にアクセントがきているが、単語の途中にアクセントがくる場合もある。
定数エリア80には、メインプログラム70によって参照される各種の定数(V,N,T(n),STEP,Ttick,Ntick:後述)が記憶される。変数エリア82には、メインプログラム70によって制御される各種の変数(step,scale,tv,vscale,score:後述)が記憶される。描画エリア84には、トレーニング画面(図6参照)や再生画面(図7参照)に対応する画像データが記憶される。録音エリア86には、マイク32を通して入力された音声データつまりユーザの発音が記憶される。
図14には、上記の定数および変数のうち主要なものと、音声波形,チックマークおよびアクセントマークとの関係が、時間軸に沿って図解されている。“V”はお手本の音声データを、“scale”は“V”の再生倍率(たとえば0.5倍,1倍,1.5倍)を、そして“vscale”は“V”を“scale”倍に伸縮したものをそれぞれ示す。
“t”は現在時刻(基準時刻0からの経過時間)を、“tv”は再生開始時刻をそれぞれ示す。
“Ttick”はチック音の時間間隔を示しており、このためチックマーク(TP1およびTP2)間の間隔は、“Ttick”の“scale”倍つまり“Ttick×scale”となる。2番目のチックマークTP2と1番目のアクセントマークAP1との間隔もまた、“Ttick×scale”である。
“Ntick”はチック音の個数(ここでは2個)を、“N”はアクセントの個数(ここでは4個)をそれぞれ示す。T(n)は、scale=1で再生した際のn番目(1≦n≦N)のアクセントの再生開始時刻(tv)からの時間を示す。このため、アクセントマークAP1は“tv”から“T(1)×scale”だけ右に、アクセントマークAP2は“tv”から“T(2)×scale”だけ右に、アクセントマークAP3は“tv”から“T(3)×scale”だけ右に、そしてアクセントマークAP4は“tv”から“T(4)×scale”だけ右に、それぞれ位置している。
したがって、音声再生開始に先立ってチック音が一定時間“Ttick×scale”毎に発生し、最後(2番目)のチック音から“Ttick×scale”後に最初のアクセント音が発生する。音声再生は、この1番目のアクセント音よりも“T(1)×scale”だけ前に開始される(tv=Ttick×scale×2−T(1)×scale)。2番目のアクセント音は、1番目のアクセント音から“T(2)×scale−T(1)×scale”後に発生し、3番目のアクセント音は、2番目のアクセント音から“T(3)×scale−T(2)×scale”後に発生し、そして4番目のアクセント音は、3番目のアクセント音から“T(4)×scale−T(3)×scale”後に発生する。ここでT(1),T(2),…は、お手本の音声データ毎に定められた定数であるため、アクセント音の間隔は、一般に一定ではない。
CPU42は、このようなメインメモリ48のプログラムおよびデータに基づいて、図15〜図20のフローチャートに従う語学学習処理を実行する。この処理は、問題が選択される度に実行される。図15を参照して、いずれかの問題たとえば問題1が選択されると、最初、ステップS1〜S7を通じて各種変数(図12〜図14参照)に初期値をセットする。詳しくは、ステップS1では変数scaleに“1”をセットし、ステップS3では変数stepに“1”をセットする。ここで変数stepは、現時点での繰り返し回数を示す。ステップS5では、定数Ttick,Ntick,T(1)およびscaleから“(Ttick×Ntick−T(1))×scale”つまり再生開始時刻(図14参照:前述)を計算し、結果を変数tvにセットする。ステップS7では、定数Vおよびscaleから“V×scale”を計算し、結果を変数vscaleにセットする。なお、“V”はお手本の音声データを、“vscale”は“V” お手本の音声データを伸縮して得られた音声データをそれぞれ示すが、説明の便宜のため、定数V,変数vscaleのように記す。そしてステップS9で、描画エリア84に対して描画を行い、これにより図6のようなトレーニング画面がLCD14に表示される。このトレーニング画面描画処理は、詳しくは図20のサブルーチンに従って実行される。
図20を参照して、まず、ステップS101でガイドGを含む初期画面を描画し、ステップS103では問題データたとえば問題1データ781(図13参照)を読み込み、ステップS105では問題1データ781に含まれているテキストデータ781aおよび781bに基づいて英文ESおよびカナ文KSを描画する。次に、ステップS107で、問題1データ781に含まれているサイズ情報781eに基づいて伸縮率を計算する。たとえば、トレーニング画面(図6参照)の横サイズ(表示幅)が時間長W0に相当する場合、伸縮率(k)は、英文の音声(vscale)の時間長Wから“k=W0/(tv+W)”のように計算される。
ステップS109ではチックマークTP1,TP2を伸縮後の間隔で描画する。伸縮後の間隔は、“Ttick×scale×k”のように計算される(図14参照)。ステップS111ではアクセントマークAP1〜AP3を伸縮後の間隔で描画する。伸縮後の間隔は、たとえばアクセントマークAP1およびAP2の間隔については、“{T(2)×scale−T(1)×scale}×k”のように計算される(図14参照)。そしてステップS113では、ガイドバーGB1〜GB3を伸縮後の長さで描画する。伸縮後の長さは、たとえばガイドバーGB1については、“{T(2)×scale−T(1)×scale−D1}×k”のように計算される(図14参照)。ここでD1は、ガイドバーGB1の末尾とアクセントマークAP2との隙間の長さを示す。ガイドバーGB2については、“{T(3)×scale−T(2)×scale−D2}×k”のように計算される。これにより、LCD14には図6のようなトレーニング画面が表示される。その後、上位層のルーチンに復帰する。
再び図15を参照して、次に、ステップS11で変数tに“0”をセットし、ステップS13では英文ES,カナ文KSおよびガイドバーGB1〜GB3の表示色をグレーにする。そしてステップS15で、ガイドG上の現時点位置ポインタPを変数tに対応する位置へと移動する。ステップS17ではスピード変更操作の有無を判別し、NOであればステップS23に進む。操作部24やタッチパネル28を通してスピード変更操作が行われると、ステップS17からステップS19に移って、変更後のスピードに対応する再生倍率を計算し、結果を変数scaleにセットする。そして、ステップS21で音声再生または録音を停止した後、ステップS3に戻る。なお、現時点で音声再生も録音も行われていなければ、ステップS21は素通りとなる。
図16を参照して、ステップS23では変数nに“1”をセットする。ここでの変数nはチックの番号を示す。ステップS25では変数tが“Ttick×scale×(n−1)”を跨いだか否かを判別し、ここでNOであれば直ちにステップS31に進む。ステップS25でYESであれば、当該n番目のチックに関してステップS27およびS29の処理を実行した後、ステップS31に進む。ステップS27ではチック音の再生を行い、ステップS29ではチックマーク(TPn)のアニメーションを開始する。チックマーク(TP1およびTP2)のアニメーションは、図10(A)〜図10(E)に示す要領で進行する。
ステップS31では変数nをインクリメントし、次のステップS33では変数nが定数Ntick以下であるか否かを判別する。ここでYESであればステップS25に戻り、NOであればステップS35に進む。
図17を参照して、ステップS35では変数nに“1”をセットする。ここでの変数nはアクセントの番号を示す。ステップS37では変数tが“tv+scale×T(n)”を跨いだか否かを判別し、ここでNOであれば直ちにステップS45に進む。ステップS37でYESであれば、当該n番目のアクセントに関してステップS39〜S43の処理を実行した後、ステップS45に進む。ステップS39ではアクセント音の再生を行い、ステップS41ではアクセントマーク(APn)のアニメーションを開始し、ステップS43では英文ES,カナ文KSおよびガイドバーGB1,GB2,…の表示色を“0〜(n−1)”の部分は黒に、“n”の部分は赤にする。アクセントマーク(AP1,AP2,…)のアニメーションは、図11(A)〜図11(E)に示す要領で進行する。英文ES,カナ文KSおよびガイドバーGB1〜GB3の表示色は、図9(A)〜図9(C)に示す要領で変化する。
ステップS45では変数nをインクリメントし、次のステップS47では変数nが定数N以下であるか否かを判別する。ここでYESであればステップS37に戻り、NOであればステップS49に進む。
図18を参照して、ステップS49では変数tが変数tvを跨いだか否かを判別し、NOであれば直ちにステップS57に進む。ステップS49でYESであれば、変数stepが定数STEPに達したか否かをステップS51でさらに判別する。step=STEPであれば、ステップS53で録音処理を開始した後、ステップS57に進む。step<STEPであれば、ステップS55で、変数stepから音量を算出し、変数vscaleを当該音量で再生開始する。なお、音量の算出には、n=1のとき最大値をとり、nの増加に連れて値が減少し、そして“n=Nのとき0”または“n=N−1のとき最小値”となるような関数(もしくはこのような算出結果を記載したテーブル)が用いられる。そしてステップS57に進む。
ステップS57では、変数tが変数tvに{変数vscaleの再生時間}を加算した値以上であるか否かを判別し、NOであればステップS59で、一定時間待機した後、変数tの値を更新する(t=t+待機時間)。そして、ステップS15に戻る。ステップS57でYESであれば、変数stepが定数STEPに達したか否かをステップS59で再び判別する。ステップS59でNOであれば、ステップS63で変数stepをインクリメントした後、ステップS11に戻る。ステップS59でYESであれば、ステップS61で録音を停止した後、ステップS73に進む。
図19を参照して、ステップS73では、変数vscaleと録音エリア86の録音データ(ユーザ発音)とを主としてアクセントの位置におけるレベルで比較して、両者の類似度を示す評価スコアを算出する。算出結果は、変数scoreにセットされる。ステップS75では、再生画面(つまり英文ES,変数vscaleの波形WP1,および録音データの波形WP2:図7参照)の描画エリア84への描画と、変数vscaleの再生と、録音データの再生とを開始する。ステップS77では、変数tに“0”をセットし、ステップS79では現時点位置ポインタPを変数tに対応する位置へと移動させる。ステップS81では、変数tが{変数vscaleの再生時間}以上であるか否かを判別し、NOであればステップS83で、一定時間待機した後、変数tの値を更新する(t=t+待機時間)。そして、ステップS79に戻る。
ステップS81でYESであれば、ステップS85で変数scoreの値を描画する。ステップS87では聴き直し操作の有無を判別し、YESであればステップS75に戻る。ステップS87でNOであれば、終了操作の有無をステップS89でさらに判別し、ここでもNOであればステップS87に戻る。ステップS89でYESであれば、この問題(問題1)に関する語学学習処理は終了となり、次の問題(問題2)について同様の処理が実行される。
以上から明らかなように、この実施例のゲーム装置10は、CPU42およびメインメモリ48を備える。メインメモリ48は、語学学習の対象となる原文ESの内容を示す原文内容情報(原文文字情報781aおよび原文音声情報781d)と、原文に関しアクセントの時間軸上での位置を示すアクセント位置情報781cとを記憶しており(図13参照)、CPU42は、原文ESの内容を原文内容情報(781a,781d)に基づいて報知(文字を表示または音声を再生)する(S55,S105)。また、このような報知を行っているときに、原文ESに関しアクセントの時間軸上での位置をユーザに報知するためのアクセント画像(つまり時間軸を示すガイドGおよびアクセント位置を示すアクセントマークAP1,AP2,…)を、アクセント位置情報781cに基づいてLCD14に表示する(S111)。
こうして、原文ESの内容を報知しながら、原文ESのアクセント(AP1,AP2,…)の時間軸(G)上での位置を視覚的に示すことで、ユーザは、アクセントを発音すべきタイミングと、アクセントで区切られた各区間の時間長とがわかるので、原文の自然な発音を身につけることができる。
なお、チック音やアクセント音の再生、チックマークやアクセントマークのアニメーション、ガイドバーの表示といった処理は、この実施例では、現在時刻(変数t)がある値を跨いだか否かを判定して開始しているが、他の実施例では、処理を開始するフレーム(の番号)を予め計算しておいて、現フレームがそのフレームになったか否かを判定して開始してもよい。
なお、この実施例では、原文ESの言語は英語であるが、ドイツ語,フランス語,中国語など他の外国語についても、自然な発音を身につけさせることができる。原文ESを日本語とし、カナ文KSを外国語で表記すれば、日本語の学習も行える。
以上では、ゲーム装置10について説明したが、この発明は、原文内容情報781a,781dおよびアクセント位置情報781cを記憶する記憶媒体と、原文内容情報781a,781dに基づいて原文ESを報知(原文ESの文字を表示および/または原文ESの音声を再生)しながらアクセント位置情報781cに基づいてアクセント画像を画面に表示するコンピュータとを備える、学習支援装置(PCや携帯端末など)に適用できる。