JP5389876B2 - 音声制御装置、音声制御方法、及び音声制御プログラム - Google Patents

Description

本発明は、音声制御技術に関し、とくに、入力された音声を記録して再生する音声制御装置、音声制御方法、及び音声制御プログラムに関する。

楽器やマイクロフォンなどを用いて入力された音声データを編集するためのアプリケーションが提供されている。パーソナルコンピュータなどが各家庭に普及し、ハードディスクなどの記録媒体も大容量化している現在、ユーザは、このようなアプリケーションを利用して、音声データを手軽に編集して好みの音楽を作成することができる。

本発明者らは、このような音声データを編集するためのアプリケーションにおいて、より利便性及び娯楽性の高いユーザインタフェース技術に想到した。

本発明はこうした状況に鑑みてなされたものであり、その目的は、より利便性の高い音声制御技術を提供することにある。

本発明のある態様は、音声制御プログラムに関する。この音声制御プログラムは、コンピュータを、音声入力装置から入力された音声データと、前記音声データの再生を開始するタイミングとを記録装置又はメモリに記録する記録部、前記記録装置又はメモリに記録された音声データを読み出し、前記音声データの再生を開始するタイミングにおいて、前記音声データを再生する入力音声再生部、時間の経過に合わせて変形される図形と、前記音声データをシンボル化したオブジェクトとを表示装置に表示する表示部、として機能させ、前記表示部は、前記音声データの再生が開始されるタイミングにおいて、その音声データに対応するオブジェクトに前記図形が交わるように、前記音声データの再生が開始されるタイミングに応じた位置に前記オブジェクトを表示させることを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、より利便性の高い音声制御技術を提供することができる。

実施の形態に係るゲーム装置の外観を示す図である。 実施の形態に係るゲーム装置の外観を示す図である。 実施の形態に係るゲーム装置の構成を示す図である。 入力音声表示部により生成された画面の例を示す図である。 音声データテーブルの内部データの例を示す図である。 入力音声記録部により入力音声が記録されるときに表示される画面の例を示す図である。 入力音声表示部により生成された画面の例を示す図である。 入力音声編集部により入力音声データが編集される様子を示す図である。 実施の形態に係る音声制御方法の手順を示すフローチャートである。 図９の入力音声記録処理の詳細を示すフローチャートである。 図９の入力音声編集処理の詳細を示すフローチャートである。

実施の形態に係る音声制御装置は、所定長の背景音に、ユーザがマイクロフォンを介して録音した音声データを重畳して、所望の音楽を作成するための環境を提供する。音声制御装置は、録音された音声データをシンボル化したオブジェクトを画面に表示することにより音声データを視覚化し、オブジェクトに対する操作を介して音声データを編集するためのユーザインタフェースを提供する。実施の形態では、携帯型のゲーム装置により音声制御装置が実現される実施例について説明するが、音声制御装置は、任意のコンピュータや情報処理端末などにより実現されてもよい。

図１及び図２は、実施の形態に係るゲーム装置１０の外観を示す。図１及び図２に示すゲーム装置１０は、プレイヤーが把持して使用する携帯型のゲーム装置である。図１に示すように、ゲーム装置１０の表側、すなわち、プレイヤーがゲーム装置１０を把持して操作するときにプレイヤーに面する側には、方向キー２１、ボタン２２、左アナログスティック２３、右アナログスティック２４、左ボタン２５、右ボタン２６などの入力装置２０と、表示装置６８と、マイクロフォン７４と、左スピーカ７５と、右スピーカ７６とが備えられている。表示装置６８には、プレイヤーの指やスタイラスペンなどによる接触を検知するためのタッチパネル６９が併設されている。ボタン２２は、○ボタン３１、△ボタン３２、□ボタン３３、及び×ボタン３４を含む。

図２に示すように、ゲーム装置１０の裏側には、背面タッチパネル７０が備えられている。ゲーム装置１０の裏側にも、表側と同様に表示装置を設けてもよいが、本実施の形態では、ゲーム装置１０の裏側には表示装置を設けずに、背面タッチパネル７０のみを設ける。

プレイヤーは、ゲーム装置１０を両手で把持した状態で、例えば、右手親指でボタン２２を操作し、左手親指で方向キー２１を操作し、右手人差し指又は中指で右ボタン２６を操作し、左手人差し指又は中指で左ボタン２５を操作し、両手の親指でタッチパネル６９を操作し、両手の薬指又は小指で背面タッチパネル７０を操作することができる。スタイラスペンなどを用いる場合は、例えば、ゲーム装置１０を左手で把持した状態で、右手でスタイラスペン又は人差し指によりタッチパネル６９及びボタン２２を操作し、左手親指で方向キー２１を操作し、左手人差し指又は中指で左ボタン２５を操作し、左手薬指又は小指で背面タッチパネル７０を操作することができる。

図３は、実施の形態に係るゲーム装置１０の構成を示す。ゲーム装置１０は、入力装置２０、制御部４０、データ保持部６０、音声データテーブル６２、画面生成部６６、表示装置６８、タッチパネル６９、背面タッチパネル７０、３軸ジャイロセンサ７２、３軸加速度センサ７３、マイクロフォン７４、左スピーカ７５、及び右スピーカ７６を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

タッチパネル６９及び背面タッチパネル７０は、マトリクス・スイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式など、任意の方式のタッチパネルであってもよい。タッチパネル６９及び背面タッチパネル７０は、入力を検知した位置の座標を所定の周期で出力する。

３軸ジャイロセンサ７２は、ゲーム装置１０の筐体内部に設けられ、ゲーム装置１０のＸＺ平面、ＺＹ平面、ＹＸ平面における角度又は角速度を検出する。３軸加速度センサ７３は、ゲーム装置１０の筐体内部に設けられ、ゲーム装置１０のＸＹＺの３軸方向の加速度を検出する。

制御部４０は、音声制御プログラムが格納された記録媒体などからプログラムを読み出して実行し、入力装置２０、タッチパネル６９、背面タッチパネル７０などを介して受け付けたプレイヤーからの操作入力に基づいて、音声を制御する。データ保持部６０は、背景音、楽器音、入力音声などの音声データや、音声データをシンボル化したオブジェクトの画像データなど、音声制御プログラムの実行に必要なデータなどを保持する。音声データテーブル６２は、データ保持部６０に記録された音声データの制御に必要な情報を保持する。画面生成部６６は、制御部４０により実行される音声制御プログラムの画面を生成し、表示装置６８に表示させる。マイクロフォン７４は、音声を入力する。左スピーカ７５及び右スピーカ７６は、背景音、楽器音、入力音声などの音声を出力する。

制御部４０は、背景音再生部４１、楽器音出力部４２、入力音声記録部４３、入力音声表示部４４、入力音声再生部４５、及び入力音声編集部４６を含む。

本実施の形態に係る音声制御プログラムが起動されると、背景音再生部４１は、所定の背景音をデータ保持部６０から読み出して再生する。この背景音は、所定長、例えば４拍分の音声データであり、背景音再生部４１は、この背景音を繰り返し再生する。この背景音は、プレイヤーが入力して記録された音声に重畳され、作成される音楽のベースになるとともに、プレイヤーが音声を入力するときのタイミングの指標となる。

楽器音出力部４２は、ゲーム装置１０の姿勢に応じて、予めデータ保持部６０に格納されている楽器音などの音声を左スピーカ７５及び右スピーカ７６から出力する。楽器音出力部４２は、３軸ジャイロセンサ７２又は３軸加速度センサ７３から取得される情報に基づいて、ゲーム装置１０の姿勢を決定する。楽器音出力部４２は、データ保持部６０に格納された、ゲーム装置１０の姿勢と出力する音声の種別とを対応づけたテーブルを参照して、ゲーム装置１０の姿勢に応じて出力する音声の種別を決定し、決定された種別の音声のデータをデータ保持部６０から読み出して、左スピーカ７５及び右スピーカ７６から出力する。楽器音出力部４２は、例えば、ゲーム装置１０の長手方向に平行な軸、短手方向に平行な軸、又は表示装置６８の表示画面に垂直な軸を中心としてゲーム装置１０を所定の角度以上傾ける又は回転させる操作に応じて音声を出力してもよい。また、楽器音出力部４２は、ゲーム装置１０を所定の方向に所定長以上移動させる操作、又は、ゲーム装置１０を所定の方向に所定の速度又は加速度以上で移動させる操作に応じて音声を出力してもよい。楽器音出力部４２は、例えば、打楽器、金管楽器、木管楽器、鍵盤楽器、弦楽器などの楽器の音のほか、動物の鳴き声、人間の話し声、雨音や雷鳴など自然界における音など、任意の音声のデータをデータ保持部６０から読み出し、ゲーム装置１０の姿勢に応じて出力してもよい。楽器音出力部４２は、左スピーカ７５と右スピーカ７６からそれぞれ異なる音声を出力してもよい。例えば、楽器音出力部４２は、ゲーム装置１０を左回りに回転させると左スピーカ７５から、右回りに回転させると右スピーカ７６から音声を出力してもよい。また、ゲーム装置１０を左方向に移動させると左スピーカ７５から、右方向に移動させると右スピーカ７６から音声を出力してもよい。楽器音出力部４２は、ゲーム装置１０を回転又は移動させる速度又は量に応じて、出力する音声の音量、音程、再生速度などを変更してもよい。例えば、ゲーム装置１０を回転又は移動させる速度が速いほど、音量を大きくしてもよいし、音程を高くしてもよいし、再生速度を速くしてもよい。楽器音出力部４２は、ゲーム装置１０の姿勢のほか、入力装置２０、タッチパネル６９、又は背面タッチパネル７０に対する操作入力に応じて、音声データを出力してもよい。

入力音声記録部４３は、マイクロフォン７４から入力された音声を記録する。入力音声記録部４３は、音声の記録を開始する旨を指示するための所定の指示入力を受け付けると、マイクロフォン７４から入力された音声を所定のデータ形式でデータ保持部６０に記録する。入力音声記録部４３は、ハードディスク、メモリスティックなどの記録媒体に音声データを記録してもよいし、ＲＡＭなどのメモリに音声データを記録してもよい。入力音声記録部４３が音声を記録しているときに、楽器音出力部４２により音声を出力させるための所定の操作が行われると、楽器音出力部４２は、左スピーカ７５及び右スピーカ７６から音声を出力する。プレイヤーは、ゲーム装置１０を楽器として用い、所望の音を鳴らしながら、音声を記録することができる。入力音声記録部４３は、音声データをデータ保持部６０に記録すると、音声データテーブル６２に必要な情報を記録する。音声データテーブル６２の詳細については後述する。

入力音声表示部４４は、データ保持部６０に記録された音声データをシンボル化したオブジェクトを、その音声データの再生開始タイミングに応じた位置に表示する画面を生成する。

図４は、入力音声表示部４４により生成された画面の例を示す。画面１００には、中心及び楕円率を同じくする複数の楕円１０１〜１０６と、データ保持部６０に記録された音声データを示す複数のオブジェクト１１０〜１１２が表示される。入力音声表示部４４は、三次元空間内の同一平面上に配置された複数の同心円と、その平面上に配置された複数のオブジェクトとを、円の中心の斜め上方の所定位置に視点位置を、円の中心を見下ろす方向に視線方向を設定してレンダリングすることにより、画面１００を生成する。以下、説明の便宜上、三次元空間内の円を、二次元平面にレンダリングされた楕円１０１〜１０６と同一視して、円１０１〜１０６ともいう。

入力音声表示部４４は、背景音再生部４１による背景音の再生の進行に合わせて拡大変形される円１０６を表示する。円１０６は、背景音再生部４１により再生される背景音の再生の進行に合わせて、円１０１の大きさから円１０５の大きさまで拡大される。すなわち、円１０６は、背景音の再生開始タイミングにおいては円１０１に重なっており、その後、半径が等速で長くなるように拡大され、所定長の背景音の再生が終了するときに円１０５に重なる。背景音が繰り返し再生されるのに合わせて、円１０６も、円１０５の大きさまで拡大されると、円１０１の大きさに戻り、再び拡大される。

背景音の開始から終了までの間の経過時間の指標として、円１０２〜１０４が表示される。図４においては、円１０５と円１０１の半径の差を４等分し、半径の差の４分の１に円１０１の半径を加えた長さを半径とする円１０２と、半径の差の４分の２に円１０１の半径を加えた長さを半径とする円１０３と、半径の差の４分の３に円１０１の半径を加えた長さを半径とする円１０４が表示される。背景音が４拍の長さの音楽である場合、入力音声表示部４４は、円１０６が、１拍目の拍頭において円１０１に、２拍目の拍頭において円１０２に、３拍目の拍頭において円１０３に、４拍目の拍頭において円１０４に、背景音の再生終了時において円１０５に、それぞれ重なるように拡大させる。

入力音声表示部４４は、音声データの再生開始タイミングに応じて、その音声データに対応するオブジェクトの表示位置を決定する。オブジェクトの表示位置と円１０１の中心との間の距離から円１０１の半径を引いた長さは、背景音の再生が開始されてから、そのオブジェクトに対応する音声データの再生が開始されるまでの経過時間に比例する。すなわち、入力音声表示部４４は、音声データの再生開始タイミングが遅いほど、円１０１の中心から遠い位置にオブジェクトを配置する。例えば、１拍目の拍頭から２拍目の拍頭までの間に再生が開始される音声データに対応するオブジェクトは、円１０１と円１０２の間の位置に表示される。

円１０６は、背景音の再生の進行の度合いに応じて拡大されるので、音声データの再生が開始されるタイミングにおいて、その音声データに対応するオブジェクトに円１０６が交わる。これにより、円１０６によって示される波がオブジェクトに当たることで、そのオブジェクトの対応する音声データが再生されるような視覚的表現とすることができ、分かりやすく、見た目にも楽しいユーザインタフェースを提供することができる。

入力音声表示部４４は、音声データの再生が開始されたとき、すなわち、円１０６がその音声データに対応するオブジェクトの表示位置を通過したとき、オブジェクトの表示位置を中心として拡大される円を更に表示する。例えば、図４において、円１０６がオブジェクト１１０に交わって、オブジェクト１１０に対応する音声データの再生が開始されると、入力音声表示部４４は、オブジェクト１１０の表示位置を中心として拡大される円１２０を表示する。これにより、オブジェクトに対応する音声データの再生が開始されたことを視覚的に分かりやすく表示するとともに、円１０６によって示される波がオブジェクト１１０に当たって、オブジェクト１１０を中心として波紋が広がるような視覚的表現とすることができ、見た目にも楽しいユーザインタフェースを提供することができる。

入力音声表示部４４は、画面１００に表示されている円及びオブジェクトの全体を、円１０１の中心を中心として所定の速度で回転させる。すなわち、オブジェクトを円周に沿って移動させる。

入力音声再生部４５は、音声データテーブル６２を参照して、データ保持部６０に記録された音声データの再生開始タイミングが到来すると、データ保持部６０から音声データを読み出し、背景音に重畳させて音声データを再生する。これにより、プレイヤーは、複数の音声データをサンプリングし、背景音に次々に重畳させて再生させることができる。

入力音声編集部４６は、音声データをシンボル化したオブジェクトが表示された画面において、オブジェクトの位置を変更することにより、そのオブジェクトに対応する音声データの再生開始タイミングを変更する。入力音声編集部４６は、画面１００においてオブジェクトの変更操作を受け付け、オブジェクトの表示位置を変更するとともに、音声データテーブル６２の該当する音声データの再生開始タイミングを、変更後の表示位置に対応したタイミングに変更する。入力音声編集部４６の動作の詳細は、図８を参照して後述する。

図５は、音声データテーブル６２の内部データの例を示す。音声データテーブル６２には、音声ＩＤ欄１３１、音声データ欄１３２、タイミング欄１３３、長さ欄１３４、角度欄１３５、及び種別欄１３６が設けられている。音声ＩＤ欄１３１には、音声データを識別するためのＩＤが格納される。音声データ欄１３２には、データ保持部６０に格納された音声データのデータファイル名が格納される。タイミング欄１３３には、音声データの再生開始タイミングが格納される。タイミング欄１３３には、例えば、背景音楽の開始から音声データの再生が開始されるまでの経過時間、すなわち、背景音楽の再生開始タイミングと音声データの再生開始タイミングとの差が、秒又は拍を単位として格納される。長さ欄１３４には、音声データの再生時間の長さが秒又は拍を単位として格納される。角度欄１３５には、音声データを示すオブジェクトの画面上での表示位置を示す情報として、所定の基準方向との間のなす角が格納される。種別欄１３６には、音声データを示すオブジェクトの種別が格納される。

図６は、入力音声記録部４３により入力音声が記録されるときに表示される画面の例を示す。画面１４２には、入力音声の記録中であることを示すアイコンと、入力音声の記録を開始してからの経過時間を示す指標１４４が表示される。入力音声記録部４３は、入力装置２０などから、音声の記録を開始する旨を指示するための所定の指示入力を受け付けると、そのときのタイミングを入力音声の再生開始タイミングとする。すなわち、背景音の再生が開始されてから、所定の指示入力を受け付けるまでの経過時間が、その入力音声の再生開始タイミングとなる。したがって、プレイヤーは、背景音再生部４１により再生される背景音を聞き、画面１００に表示される円１０６の状況を見ながら、音声データの再生開始タイミングを図って記録を開始する。入力音声記録部４３は、入力音声の記録中に、指標１４４により、記録可能な残り時間を表示する。入力音声として記録可能な時間は、データ保持部６０の容量などに応じて予め決定されてもよいし、背景音の長さに応じて予め決定されてもよい。入力音声記録部４３は、入力音声の再生開始タイミングに応じて、記録可能な時間を決定してもよい。例えば、入力音声の再生開始タイミングにおける背景音の残り再生時間を超えないように記録可能な時間を決定してもよい。入力音声記録部４３は、入力装置２０などから、音声の記録を終了する旨を指示するための所定の指示入力を受け付けると、入力された音声を所定の形式に変換してデータ保持部６０に記録する。入力音声記録部４３は、音声の記録を終了する旨の指示入力を受け付けなくても、記録可能時間に達すると、入力音声の記録を終了してもよい。入力音声記録部４３は、音声データをデータ保持部６０に記録すると、その音声データの情報を音声データテーブル６２に登録する。

図７は、入力音声表示部４４により生成された画面の例を示す。画面１４６には、入力音声記録部４３により新たに記録された音声データをシンボル化したオブジェクト１１３が追加表示されている。入力音声表示部４４は、新たに記録された音声データの情報を音声データテーブル６２から読み出し、その音声データに対応するオブジェクト１１３を画面に表示する。本実施の形態では、再生開始タイミングが等しい円周上のどの角度の位置にオブジェクトを表示するかは、入力音声記録部４３がランダムに決定する。また、表示されるオブジェクトの種別も、入力音声記録部４３がランダムに決定する。別の実施の形態においては、入力音声記録部４３は、音声データの音量、音程、再生速度、再生時間、使用された楽器音の種別などに応じて、オブジェクトが表示される位置の角度又はオブジェクトの種別を決定してもよい。この場合、音声データテーブル６２に、音声データの音量、音程、再生速度、再生時間、楽器音の種別などの情報が更に登録されてもよい。

図８は、入力音声編集部４６により入力音声データが編集される様子を示す。入力音声表示部４４により生成された画面１４８において、入力音声編集部４６は、オブジェクトの表示位置を変更するための操作指示を受け付ける。入力音声編集部４６は、例えば、タッチパネル６９がオブジェクト１１０をドラッグする操作を受け付けると、オブジェクト１１０の表示位置を変更する。入力音声編集部４６は、変更後のオブジェクト１１０の表示位置から、オブジェクト１１０に対応する音声データの再生開始タイミングを算出し、音声データテーブル６２の該当するレコードのタイミング欄１３３を変更する。前述したように、オブジェクトの表示位置の角度が、音声データの音量や再生速度などに応じて決定されている場合は、入力音声編集部４６は、変更後のオブジェクトの表示位置から、基準方向とのなす角を算出し、音声データの音量や再生速度などを変更してもよい。また、オブジェクトの種別が、音声データの音声や再生速度などに応じて決定されている場合は、入力音声編集部４６は、オブジェクトの種別を変更するための操作指示を受け付け、変更後の種別に対応する音量や再生速度に変更してもよい。

図９は、実施の形態に係る音声制御方法の手順を示すフローチャートである。音声制御プログラムが実行されると、背景音再生部４１が背景音の再生を開始し（Ｓ１００）、入力音声表示部４４が背景音の再生に合わせて拡大される円を含む画面を表示する（Ｓ１０２）。入力音声再生部４５は、音声データテーブル６２を参照して、音声データの再生開始タイミングが到来したとき（Ｓ１０４のＹ）、音声データをデータ保持部６０から読み出して再生する（Ｓ１０６）。このとき、入力音声表示部４４は、その音声データに対応するオブジェクトの表示位置から広がる波紋を表示する（Ｓ１０８）。音声データの再生開始タイミングではない場合（Ｓ１０４のＮ）、Ｓ１０６及びＳ１０８はスキップされる。

入力音声記録部４３は、入力音声を記録する旨の操作指示を受け付けると（Ｓ１１０のＹ）、入力音声記録処理を実行する（Ｓ１１２）。入力音声を記録する旨の操作指示を受け付けない場合（Ｓ１１０のＮ）、Ｓ１１２はスキップされる。入力音声編集部４６は、入力音声を編集する旨の操作指示を受け付けると（Ｓ１１４のＹ）、入力音声編集処理を実行する（Ｓ１１６）。入力音声を編集する旨の操作指示を受け付けない場合（Ｓ１１４のＮ）、Ｓ１１６はスキップされる。

図１０は、図９の入力音声記録処理Ｓ１１２の詳細を示すフローチャートである。入力音声記録部４３は、マイクロフォン７４から入力された音声をデータ保持部６０に記録し（Ｓ１２０）、記録した音声データの情報を音声データテーブル６２に登録する（Ｓ１２２）。入力音声表示部４４は、音声データテーブル６２を参照して、新たに記録された音声データに対応するオブジェクトを画面に表示する（Ｓ１２４）。

図１１は、図９の入力音声編集処理Ｓ１１６の詳細を示すフローチャートである。入力音声編集部４６は、記録された音声データをシンボル化したオブジェクトが表示された画面において、オブジェクトの表示位置を変更する旨の操作指示を受け付け、オブジェクトの表示位置を変更する（Ｓ１３０）。入力音声編集部４６は、変更されたオブジェクトの表示位置から、そのオブジェクトに対応する音声データの再生開始タイミングを算出し、音声データテーブル６２の該当するレコードを変更する（Ｓ１３２）。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態においては、三次元空間内に配置された円を斜め上方から見下ろすようにレンダリングすることにより画面を生成する例について説明したが、二次元平面において楕円１０１〜１０６が描画されてもよい。その場合も、楕円１０６は、背景音の再生の進行に応じて拡大され、楕円１０６が通過する位置が再生開始タイミングと対応する。また、背景音の再生に合わせて拡大される図形は、円又は楕円以外の任意の図形であってもよい。オブジェクトも、球又は円以外の任意の形状のオブジェクトであってもよい。

１０ ゲーム装置、２０ 入力装置、２１ 方向キー、３０ 入力受付部、４０ 制御部、４１ 背景音再生部、４２ 楽器音出力部、４３ 入力音声記録部、４４ 入力音声表示部、４５ 入力音声再生部、４６ 入力音声編集部、６０ データ保持部、６２ 音声データテーブル、６６ 画面生成部、６８ 表示装置、６９ タッチパネル、７０ 背面タッチパネル、７２ ３軸ジャイロセンサ、７３ ３軸加速度センサ、７４ マイクロフォン、７５ 左スピーカ、７６ 右スピーカ。

Claims (9)

1. コンピュータを、
   音声入力装置から入力された音声データと、前記音声データの再生を開始するタイミングとを記録装置又はメモリに記録する記録部、
   前記記録装置又はメモリに記録された音声データを読み出し、前記音声データの再生を開始するタイミングにおいて、前記音声データを再生する入力音声再生部、
   時間の経過に合わせて変形される図形と、前記音声データをシンボル化したオブジェクトとを表示装置に表示する表示部、
   として機能させ、
   前記表示部は、前記音声データの再生が開始されるタイミングにおいて、その音声データに対応するオブジェクトに前記図形が交わるように、前記音声データの再生が開始されるタイミングに応じた位置に前記オブジェクトを表示させる
   ことを特徴とする音声制御プログラム。
2. コンピュータを、所定長の背景音を繰り返して再生する背景音再生部として更に機能させ、
   前記入力音声再生部は、前記背景音再生部により再生される背景音に重畳させて、前記音声データを再生し、
   前記図形は、前記背景音再生部による背景音の再生の進行に合わせて変形される
   ことを特徴とする請求項１に記載の音声制御プログラム。
3. 前記記録部は、前記背景音再生部により前記背景音が再生されているときに前記音声データの記録を開始するための操作指示を受け付け、前記操作指示を受け付けたタイミングを前記音声データの再生を開始するタイミングとすることを特徴とする請求項２に記載の音声制御プログラム。
4. コンピュータを、前記オブジェクトが表示された位置を変更するための操作指示を受け付け、前記オブジェクトが表示された位置を変更するとともに、変更後の位置から、前記オブジェクトに対応する音声データの再生が開始されるタイミングを算出して、前記音声データの再生が開始されるタイミングを変更する編集部として更に機能させることを特徴とする請求項１から３のいずれかに記載の音声制御プログラム。
5. 前記表示部は、前記音声データの再生が開始された後、その音声データに対応するオブジェクトの表示位置を中心として拡大される図形を更に表示することを特徴とする請求項１から４のいずれかに記載の音声制御プログラム。
6. コンピュータを、前記記録部が前記音声入力装置から入力された音声データを記録しているときに、前記音声制御プログラムが実行されている装置が回転又は移動されたことを検知すると、所定の音声を出力する出力部として更に機能させることを特徴とする請求項１から５のいずれかに記載の音声制御プログラム。
7. 音声入力装置から入力された音声データと、前記音声データの再生を開始するタイミングとを記録装置又はメモリに記録する記録部と、
   前記記録装置又はメモリに記録された音声データを読み出し、前記音声データの再生を開始するタイミングにおいて、前記音声データを再生する入力音声再生部と、
   時間の経過に合わせて変形される図形と、前記音声データをシンボル化したオブジェクトとを表示装置に表示する表示部と、を備え、
   前記表示部は、前記音声データの再生が開始されるタイミングにおいて、その音声データに対応するオブジェクトに前記図形が交わるように、前記音声データの再生が開始されるタイミングに応じた位置に前記オブジェクトを表示させる
   ことを特徴とする音声制御装置。
8. 記録部が、音声入力装置から入力された音声データと、前記音声データの再生を開始するタイミングとを記録装置又はメモリに記録するステップと、
   入力音声再生部が、前記記録装置又はメモリに記録された音声データを読み出し、前記音声データの再生を開始するタイミングにおいて、前記音声データを再生するステップと、
   表示部が、時間の経過に合わせて変形される図形と、前記音声データをシンボル化したオブジェクトとを表示装置に表示するステップと、を備え、
   前記表示部は、前記音声データの再生が開始されるタイミングにおいて、その音声データに対応するオブジェクトに前記図形が交わるように、前記音声データの再生が開始されるタイミングに応じた位置に前記オブジェクトを表示させる
   ことを特徴とする音声制御方法。
9. 請求項１から６のいずれかに記載の音声制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images