JP4390289B2 - 再生装置 - Google Patents

Description

本発明は、再生装置に関する。

従来、話速を変化させるために時間軸の拡大縮小を単純に行うと、音声のピッチ（声の高さ）が変化してしまって聴き苦しい等の問題があった。
そこで、ピッチを変化させることなく話速を変化させることによって、話速をユーザにとって聴き易く修正する話速変換技術が提案された。

具体的には、例えば、音声データの波形スタイルが右上がりであるか右下がりであるか等をチェックして、波形スタイルが同じもの同士を接合することによって、ピッチを変化させることなく話速を変化させる処理を行う再生装置が提案された（例えば、特許文献１参照）。

また、音声データを前半ブロックと後半ブロックとに分割し、前半ブロックの音声データに対しては減衰率が次第に大きくなるように減衰処理を施すとともに、後半ブロックの音声データに対しては減衰率が次第に小さくなるように減衰処理を施して、当該減衰処理が施された前半ブロックと後半ブロックとをオーバーラップさせることによって、ピッチを変化させることなく話速を変化させる処理を行う再生装置が提案された（例えば、特許文献２参照）。

また、音声データのうちの、右上がりに変化する窓関数を乗算した部分と、右下がりに変化する窓関数を乗算した部分と、をオーバーラップさせることによって、ピッチを変化させることなく話速を変化させる処理を行う再生装置が提案された（例えば、特許文献３及び非特許文献１参照）。
特開平０６−２５９０９３号公報 特開２００６−１２７６４７号公報 特許第２９５５２４７号公報 ＩＣＡＳＳＰ−９３，Ｖｏｌ．２，ｐｐ．５５４−５７７，１９９３

しかしながら、特許文献１〜３及び非特許文献１の発明では、音声データの再生時に上記ピッチを変化させることなく話速を変化させる処理を実行するため、当該再生時に再生装置の計算負荷が増大するという問題があり、また、音声データの中から厳選された部分同士が接合されたりオーバーラップされるわけではないため、必ずしも再生された音声がユーザにとって聴き易いとはいえないという問題もある。

本発明の課題は、再生時の計算負荷を抑えつつ、ユーザにとって視聴し易い状態で再生データの可変速再生を行うことができる再生装置を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
前記再生データの再生速度を指定する指定手段と、
前記リンク先毎に、前記選択手段により選択された回数を記憶する記憶手段と、を備え、
前記リンク情報は、前記再生データにおける前記リンク先の位置に関するリンク先位置情報と、前記リンク元と前記リンク先との波形の不一致度に関する不一致度情報と、前記再生ポイントを前記リンク元から前記リンク先へ移動させることによって生じる信号エネルギーの損失に関する損失情報と、を含み、
前記選択手段は、前記再生データにおける前記指定手段により指定された再生速度に応じた指定再生ポイントと、前記リンク情報に含まれるリンク先位置情報に基づくリンク先ポイントと、の時間的誤差に関する誤差情報を取得し、当該取得した誤差情報と当該誤差情報に設定された誤差情報用重み付けとの積と、前記リンク情報に含まれる不一致度情報と当該不一致度情報に設定された不一致度情報用重み付けとの積と、前記リンク情報に含まれる損失情報と当該損失情報に設定された損失情報用重み付けとの積と、の和である前記評価値を算出して、前記複数のリンク先のうちの、前記記憶手段に記憶された回数が所定の閾値を下回るリンク先の中から、当該評価値が最も小さいリンク先を選択することを特徴とする。

請求項２に記載の発明は、
請求項１に記載の再生装置において、
前記リンク情報を作成するリンク作成手段を備えることを特徴とする。

請求項３に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
前記再生データの再生速度を指定する指定手段と、
を備え、
前記リンク情報は、前記再生データにおける前記リンク先の位置に関するリンク先位置情報と、前記リンク元と前記リンク先との波形の不一致度に関する不一致度情報と、前記再生ポイントを前記リンク元から前記リンク先へ移動させることによって生じる信号エネルギーの損失に関する損失情報と、を含み、
前記選択手段は、前記再生データにおける前記指定手段により指定された再生速度に応じた指定再生ポイントと、前記リンク情報に含まれるリンク先位置情報に基づくリンク先ポイントと、の時間的誤差に関する誤差情報を取得し、当該取得した誤差情報と、前記リンク情報に含まれる不一致度情報及び損失情報のうちの少なくとも１つの情報と、に基づいて前記評価値を算出することを特徴とする。

請求項４に記載の発明は、
請求項３に記載の再生装置において、
前記評価値は、前記誤差情報と当該誤差情報に設定可能な誤差情報用重み付けとの積と、前記不一致度情報と当該不一致度情報に設定可能な不一致度情報用重み付けとの積及び前記損失情報と当該損失情報に設定可能な損失情報用重み付けとの積のうちの少なくとも１つの積と、の和であり、
前記評価値における評価が最も高いリンク先は、当該評価値が最も小さいリンク先であることを特徴とする。

請求項５に記載の発明は、
請求項４に記載の再生装置において、
前記リンク元よりも時間的に未来方向にある前記リンク先に関するリンク情報から取得される誤差情報と、前記リンク元よりも時間的に過去方向にある前記リンク先に関するリンク情報から取得される誤差情報と、には別個の前記誤差情報用重み付けが設定可能であり、
前記リンク元よりも時間的に未来方向にある前記リンク先に関するリンク情報に含まれる不一致度情報と、前記リンク元よりも時間的に過去方向にある前記リンク先に関するリンク情報に含まれる不一致度情報と、には別個の前記不一致度情報用重み付けが設定可能であり、
前記リンク元よりも時間的に未来方向にある前記リンク先に関するリンク情報に含まれる損失情報と、前記リンク元よりも時間的に過去方向にある前記リンク先に関するリンク情報に含まれる損失情報と、には別個の前記損失情報用重み付けが設定可能であることを特徴とする。

請求項６に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
前記リンク先毎に、前記選択手段により選択された回数を記憶する記憶手段と、
を備え、
前記選択手段は、前記複数のリンク先のうちの、前記記憶手段に記憶された回数が所定の閾値を下回るリンク先の中から、前記評価値における評価が最も高いリンク先を選択することを特徴とする。

請求項７に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
を備え、
前記再生データは、当該再生データに対して予め設定された前記リンク情報とともに所定の記録媒体に記録されていることを特徴とする。

請求項８に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
前記リンク情報に基づいて作成された前記リンク元と前記各リンク先との時間的な対応付けを表示するためのリンク表示データに基づくリンク画像を、表示装置に表示させる表示制御手段と、
を備えることを特徴とする。

請求項９に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
を備え、
前記再生データは音声データであり、
前記再生データ中の無音領域内に前記リンク元が位置する場合、当該リンク元の前記リンク情報は、当該無音領域の開始点及び終了点を前記リンク先とした無音内リンク情報を含むことを特徴とする。

請求項１０に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
を備え、
前記再生データは音声データであり、
前記再生データ中の無音領域内に前記リンク元が位置する場合、当該リンク元の前記リンク情報は、当該無音領域とは異なる当該再生データ中の無音領域の終了点を前記リンク先とした無音間リンク情報を含むことを特徴とする。

請求項１１に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
を備え、
前記再生データは音声データであり、
前記再生データ中の周期音領域の開始点又は終了点に前記リンク元が位置する場合、当該リンク元の前記リンク情報は、それぞれ当該周期音領域の終了点及び開始点を前記リンク先とした周期音リンク情報を含むことを特徴とする。

請求項１２に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
を備え、
前記リンク元の前記リンク情報は、ユーザにより指定された指定リンク先を前記リンク先とした主観的リンク情報を含むことを特徴とする。

請求項１３に記載の発明は、
音声データ及び／又は映像データからなる再生データを再生する再生手段と、
前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
前記リンク情報を作成するリンク作成手段と、
を備えることを特徴とする。

請求項１４に記載の発明は、
請求項３〜１３の何れか一項に記載の再生装置において、
前記リンク元の前記リンク情報は、当該リンク元の位置から所定の検索範囲内にある任意点のうちの、前記不一致度情報に基づく不一致度が最も小さい不一致度最小点を前記リンク先とした単純リンク情報を含むことを特徴とする。

請求項１に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、ユーザにとって視聴し易い状態で再生データの可変速再生を行うことができる。

また、記憶手段によって、リンク先毎に、選択手段により選択された回数を記憶することができ、リンク情報は、再生データにおけるリンク先の位置に関するリンク先位置情報と、リンク元とリンク先との波形の不一致度に関する不一致度情報と、再生ポイントをリンク元からリンク先へ移動させることによって生じる信号エネルギーの損失に関する損失情報と、を含み、選択手段は、再生データにおける指定手段により指定された再生速度に応じた指定再生ポイントと、リンク情報に含まれるリンク先位置情報に基づくリンク先ポイントと、の時間的誤差に関する誤差情報を取得し、当該取得した誤差情報と当該誤差情報に設定された誤差情報用重み付けとの積と、リンク情報に含まれる不一致度情報と当該不一致度情報に設定された不一致度情報用重み付けとの積と、リンク情報に含まれる損失情報と当該損失情報に設定された損失情報用重み付けとの積と、の和である評価値を算出して、複数のリンク先のうちの、記憶手段に記憶された回数が所定の閾値を下回るリンク先の中から、当該評価値が最も小さいリンク先を選択することができる。
したがって、誤差情報（リンク先と指定再生ポイントとの時間的誤差）と、不一致度情報（リンク元とリンク先との波形の不一致度）と、損失情報（再生ポイントの移動によって生じる信号エネルギーの損失）と、を加味して、最適なリンク先を選択して再生データを再生するため、より一層ユーザにとって視聴し易い状態で再生データを再生できる。
また、誤差情報、不一致度情報、損失情報にはそれぞれ重み付けが設定可能であるため、ユーザの好みに応じた重み付けを設定することによって、ユーザの好みに応じたリンク先を決定することができる。
また、記憶手段に記憶された回数が所定の閾値を下回るリンク先の中から、評価値が最も小さいリンク先を選択することができるため、同じリンク先を繰り返して選択することを防止できることとなって、ユーザは不快感をおぼえることなく視聴することができる。

請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られることは無論のこと、リンク情報を作成するリンク情報作成手段を備えている。
したがって、リンク情報を作成して、そのリンク情報に基づいて再生データを再生することができる。

請求項３に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、選択手段は、再生データにおける指定手段により指定された再生速度に応じた指定再生ポイントと、リンク情報に含まれるリンク先位置情報に基づくリンク先ポイントと、の時間的誤差に関する誤差情報を取得し、当該取得した誤差情報と、リンク情報に含まれる不一致度情報及び損失情報のうちの少なくとも１つの情報と、に基づいて評価値を算出することができる。
したがって、誤差情報（リンク先と指定再生ポイントとの時間的誤差）と、不一致度情報（リンク元とリンク先との波形の不一致度）又は損失情報（再生ポイントの移動によって生じる信号エネルギーの損失）と、を加味して、最適なリンク先を選択して再生データを再生するため、より一層ユーザにとって視聴し易い状態で再生データを再生できる。

請求項４に記載の発明によれば、請求項３に記載の発明と同様の効果が得られることは無論のこと、評価値は、誤差情報と当該誤差情報に設定可能な誤差情報用重み付けとの積と、不一致度情報と当該不一致度情報に設定可能な不一致度情報用重み付けとの積及び損失情報と当該損失情報に設定可能な損失情報用重み付けとの積のうちの少なくとも１つの積と、の和である。
したがって、誤差情報、不一致度情報、損失情報にはそれぞれ重み付けが設定可能であるため、ユーザの好みに応じた重み付けを設定することによって、ユーザの好みに応じたリンク先を決定することができる。

請求項５に記載の発明によれば、請求項４に記載の発明と同様の効果が得られることは無論のこと、リンク元よりも時間的に未来方向にあるリンク先に関するリンク情報から取得される誤差情報と、リンク元よりも時間的に過去方向にあるリンク先に関するリンク情報から取得される誤差情報と、には別個の誤差情報用重み付けが設定可能であり、リンク元よりも時間的に未来方向にあるリンク先に関するリンク情報に含まれる不一致度情報と、リンク元よりも時間的に過去方向にあるリンク先に関するリンク情報に含まれる不一致度情報と、には別個の不一致度情報用重み付けが設定可能であり、リンク元よりも時間的に未来方向にあるリンク先に関するリンク情報に含まれる損失情報と、リンク元よりも時間的に過去方向にあるリンク先に関するリンク情報に含まれる損失情報と、には別個の損失情報用重み付けが設定可能である。
したがって、リンク元よりも時間的に未来方向にあるリンク先を選択する場合（すなわち、再生データを高速再生する場合）と、リンク元よりも時間的に過去方向にあるリンク先を選択する場合（すなわち、再生データをスロー再生する場合）と、で別個の重み付けが設定可能であるため、より一層ユーザの好みに応じたリンク先を決定することができる。

請求項６に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、記憶手段によって、リンク先毎に、選択手段により選択された回数を記憶することができ、選択手段は、複数のリンク先のうちの、記憶手段に記憶された回数が所定の閾値を下回るリンク先の中から、評価値における評価が最も高いリンク先を選択することができる。
したがって、同じリンク先を繰り返して選択することを防止できるため、ユーザは不快感をおぼえることなく視聴することができる。

請求項７に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、再生データは、当該再生データに対して予め設定されたリンク情報とともに所定の記録媒体に記録されている。
したがって、記録媒体に記録されたリンク情報に基づいて再生データを再生することができる。

請求項８に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、表示制御手段によって、リンク情報に基づいて作成されたリンク元と各リンク先との時間的な対応付けを表示するためのリンク表示データに基づくリンク画像を、表示装置に表示させることができる。
すなわち、リンクを可視化してユーザに呈することができるので、ユーザに予め再生データのどの位置にリンクが張られているかを一望させることができ、ユーザ操作の支援になるため、使い勝手が良い。

請求項９に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、再生データ中の無音領域内にリンク元が位置する場合、当該リンク元のリンク情報は、当該無音領域の開始点及び終了点をリンク先とした無音内リンク情報を含む。
すなわち、無音内リンク情報に基づくリンクは、無音領域内で移動するリンクであるため、当該リンクを利用すると、例えば、高速再生時に無音領域を省略したり、或いは、スロー再生時に無音領域で時間つぶしをすることができることとなって、有効である。

請求項１０に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、再生データ中の無音領域内にリンク元が位置する場合、当該リンク元のリンク情報は、当該無音領域とは異なる当該再生データ中の無音領域の終了点をリンク先とした無音間リンク情報を含む。
すなわち、無音間リンク情報に基づくリンクは、異なる無音領域間を移動するためのリンクであるため、当該リンクを利用すると、例えば、高速再生時に１単語を省略すること等ができることとなって、有効である。

請求項１１に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、再生データ中の周期音領域の開始点又は終了点にリンク元が位置する場合、当該リンク元のリンク情報は、それぞれ当該周期音領域の終了点及び開始点をリンク先とした周期音リンク情報を含む。
すなわち、周期音リンク情報に基づくリンクは、周期音領域内でのリンクであるため、当該リンクを利用すると、例えば、高速再生時に周期音領域を省略したり、或いは、スロー再生時に周期音領域で時間つぶしをすることができることとなって、有効である。

請求項１２に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、リンク元のリンク情報は、ユーザにより指定された指定リンク先をリンク先とした主観的リンク情報を含む。
すなわち、主観的リンク情報に基づくリンクは、ユーザが主観的に判断して設けるリンクであるため、当該リンクを利用すると、例えば、ユーザが重要であると判断した領域を省略することなく再生したり、或いは、ユーザが不要であると判断した領域は省略することができることとなって、有効である。
ここで、ユーザとは、リンク情報を作成する者であり、例えば、再生データＤを作成した者（例えば、再生データＤが映画であれば映画監督、再生データＤがドキュメンタリー番組であれば編集者）であってもよいし、再生データＤを鑑賞する者（再生データＤの視聴者）であってもよい。

請求項１３に記載の発明によれば、選択手段によって、再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができ、再生制御手段によって、再生手段による再生データの再生ポイントがリンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、再生手段に当該再生データを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データを再生することができるため、再生時の計算負荷を抑えることができ、さらに、リンク情報に基づいて複数のリンク先の中から最適なリンク先を選択することができるため、再生データをユーザにとって視聴し易い状態で再生できる。
また、リンク情報を作成するリンク情報作成手段を備えている。
したがって、リンク情報を作成して、そのリンク情報に基づいて再生データを再生することができる。

請求項１４に記載の発明によれば、請求項３〜１３の何れか一項に記載の発明と同様の効果が得られることは無論のこと、リンク元のリンク情報は、当該リンク元の位置から所定の検索範囲内にある任意点のうちの、不一致度情報に基づく不一致度が最も小さい不一致度最小点をリンク先とした単純リンク情報を含む。
すなわち、単純リンク情報に基づくリンクは、リンク元の波形とリンク先の波形との不一致度が小さいリンクであるため、当該リンクを利用すると、再生ポイントを移動させても、再生データの波形の連続性を好適に維持することができることとなって、再生ポイントを移動させることによって生じる不快な音声の出力を抑えることができる。

以下、図を参照して、本発明にかかる再生装置の最良の形態を詳細に説明する。なお、発明の範囲は、図示例に限定されない。

［第１の実施の形態］
まず、第１の実施の形態における再生装置１について説明する。
図１２に示す再生装置１は、例えば、所定の記録媒体Ｍに記録された音声データからなる再生データＤを再生するための装置である。
再生データＤは、例えば、図１〜３に示すように、再生データＤに対して予め設定されたリンク情報及びリンク表示データとともに記録媒体Ｍに記録されており、再生装置１は、例えば、当該リンク情報に基づいてピッチを変化させることなく再生データＤの時間軸を変更して再生データＤを再生するとともに、図１４に示すように、当該リンク表示データに基づいて再生中の再生データＤに応じたリンク画像Ｇ２（詳しくはリンク画像Ｇ２が合成された音声画像配置図Ｇ１）を表示する。

再生データＤは、例えば、予め記録媒体Ｍに記録されている。
リンク情報は、例えば、図６に示すリンク情報作成装置３により、記録媒体Ｍに記録された再生データＤに基づいて作成されて、記録媒体Ｍに記録されるようになっている。
リンク表示データは、例えば、図１０に示すリンク表示データ作成装置５により、記録媒体Ｍに記録された再生データＤ及びリンク情報に基づいて作成されて、記録媒体Ｍに記録されるようになっている。
なお、記録媒体Ｍは、例えば、ＣＤや、ＤＶＤ、ＨＤＤ、半導体メモリ、メモリカードなど、データの読み書きが可能な記録媒体であれば任意である。

再生データＤは、一定のサンプリング周波数で、例えば、図１に示すように、固定長のフレームに区切られて、記録媒体Ｍに記録されている。
なお、サンプリング周波数及びフレームの長さは任意であるが、本実施の形態では、サンプリング周波数を４４．１ｋＨｚとし、１フレームの長さを１／３０秒とする。したがって、本実施の形態では、図２（ａ）に示すように、１フレームの幅Ｗ_Ｆは１４７０サンプルとなる。
ここで、各フレームには、先頭からフレーム番号Ｆ（Ｆ＝０，１，…，Ｆmax（フレームの総数）−１）が付与されているとともに、再生データ中の各サンプル（各信号）には、先頭からサンプル番号Ｐ（Ｐ＝０，１，…，Ｐmax（サンプルの総数）−１）が付与されていることとする。

リンク元Ｌ１は、例えば、各フレーム内の所定位置にそれぞれ設けられている。
なお、リンク元Ｌ１は、フレーム内の任意の位置に設けることが可能であるが、フレームの末尾近くに設けることで、アクセスした情報を最大限に活用できるようになる。
ここで、再生データＤの再生の際、再生装置１は、例えば、リンク情報に基づいて、リンク元Ｌ１に対応する複数のリンク先Ｌ２の中から一のリンク先Ｌ２を選択して、そのリンク元Ｌ１を当該選択されたリンク先Ｌ２にリンクさせるようになっているが、このリンク部分（継ぎ接ぎ部分）では、リンク元Ｌ１を開始点とする波形と、リンク先Ｌ２を開始点とする波形と、を所定の幅Ｗ_Ｖでオーバーラップするようになっている。本実施の形態では、例えば、図２（ａ）に示すように、オーバーラップ領域（図２（ａ）において斜線で示した領域）の幅Ｗ_Ｖを４９０サンプルとするため、リンク元Ｌ１をフレームの末尾近くに設けるのが好都合である点も考慮して、リンク元Ｌ１の位置を、フレームの末尾よりも時間的に４８９サンプル前の位置に設けることとする。
したがって、本実施の形態では、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１のサンプル番号は、Ｐ＝((Ｆ＋１)×Ｗ_Ｆ−１)−(Ｗ_Ｖ−１)＝(Ｆ＋１)×Ｗ_Ｆ−Ｗ_Ｖとなる。
具体的には、例えば、図２（ａ）に示すように、フレーム番号Ｆ＝２０のフレーム内にあるリンク元Ｌ１のサンプル番号は、Ｐ＝３０３８０（＝(２０＋１)×１４７０−４９０）となり、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１のオーバーラップ領域は、Ｐ＝３０３８０〜３０８６９の４９０サンプルとなる。

リンク先Ｌ２は、例えば、再生データＤの波形の連続性を維持するために、リンク元Ｌ１のオーバーラップ領域とリンク先Ｌ２のオーバーラップ領域との波形の類似度は高い必要があるので、フレーム内の任意の位置に設けることができるようにしておく必要がある。

ここで、オーバーラップについて説明する。
リンク元Ｌ１のサンプル番号をＰ１とし、リンク先Ｌ２のサンプル番号をＰ２とし、サンプル番号Ｐの再生データＤ（音声データ）をdata[Ｐ]としたときのオーバーラップ領域の出力波形のｉ番目のサンプル値out[ｉ]は、加重平均（以下の式（１））で算出される。
ここで、式（１）中のＷ[ｉ]は窓関数であり、以下の式（２）で定義される。

具体的には、例えば、図３に示すように、右下がりに変化する窓関数Ｗ[ｉ]が乗算されたリンク元Ｌ１のオーバーラップ領域と、右上がりに変化する窓関数Ｗ[ｉ]が乗算されたリンク先Ｌ２のオーバーラップ領域と、がオーバーラップされる。

リンク情報は、例えば、リンク数Kmax[Ｆ]と、恒等リンク情報、単純リンク情報、無音内リンク情報、無音間リンク情報、周期音リンク情報及び／又は主観的リンク情報と、などにより構成される。
恒等リンク情報、単純リンク情報、無音内リンク情報、無音間リンク情報、周期音リンク情報及び主観的リンク情報は、例えば、カテゴリctgry[Ｆ][Ｋ]と、リンク先サンプル番号link[Ｆ][Ｋ]と、不一致度err[Ｆ][Ｋ]と、損失loss[Ｆ][Ｋ]と、などにより構成される。なお、恒等リンク情報、単純リンク情報、無音内リンク情報、無音間リンク情報、周期音リンク情報及び主観的リンク情報は、後述で示すように、カテゴリctgry[Ｆ][Ｋ]によってそれぞれ識別される。
具体的には、例えば、図２（ａ）に示すフレーム番号Ｆ＝２０のフレーム内にあるリンク元Ｌ１に対応するリンク先Ｌ２に関するリンク情報は、例えば、図２（ｂ）に示すような情報となる。

リンク数Kmax[Ｆ]は、例えば、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１に対応するリンク先Ｌ２の個数を示す情報、すなわち、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１に張られたリンクの本数を示す情報である。
例えば、図２（ａ）では、リンク元Ｌ１に対応するリンク先Ｌ２の個数は６個、すなわち、リンク元Ｌ１に張られたリンクの本数は６本であるため、図２（ｂ）では、リンク数Kmax[２０]＝６となっている。

カテゴリctgry[Ｆ][Ｋ]は、例えば、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１に張られたリンク番号Ｋ（Ｋ＝０，１，…，リンク数Kmax[Ｆ]−１）のリンクの種類を示す情報、すなわち、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１に対応するリンク先Ｌ２がどのような根拠で採用されたかを示す情報である。
リンクの種類には、例えば、恒等リンクと、単純リンクと、無音内リンクと、無音間リンクと、周期音リンクと、主観的リンクと、などがあり、例えば、図４に示すように、カテゴリctgry[Ｆ][Ｋ]＝０は恒等リンクを示し、カテゴリctgry[Ｆ][Ｋ]＝１は単純リンクを示し、カテゴリctgry[Ｆ][Ｋ]＝２は無音内リンクを示し、カテゴリctgry[Ｆ][Ｋ]＝３は無音間リンクを示し、カテゴリctgry[Ｆ][Ｋ]＝４は周期音リンクを示し、カテゴリctgry[Ｆ][Ｋ]＝５は主観的リンクを示す。

恒等リンクは、例えば、同一位置へのリンク、具体的には、例えば、リンク元Ｌ１と同一の位置をリンク先Ｌ２として採用したリンクである。
このように再生ポイントを移動させないことをリンクとしておくことで、再生データＤの再生時には最適なリンク先Ｌ２を探すという操作に一本化できるので、再生装置１のソフトウエアが単純化できる。

単純リンクは、例えば、所定の検索範囲内から波形が一致するものとして単純に選択されたリンク、具体的には、例えば、リンク元Ｌ１の位置から所定の検索範囲内にある任意点のうちの、不一致度err[Ｆ][Ｋ]が最も小さい不一致度最小点をリンク先Ｌ２として採用したリンクである。

無音内リンクは、例えば、無音領域内で移動するためのリンク、具体的には、例えば、再生データＤ中の無音領域内にリンク元Ｌ１が位置する場合、当該無音領域の開始点及び終了点をリンク先Ｌ２として採用したリンクである。

無音間リンクは、例えば、異なる無音領域間を移動するためのリンク、具体的には、例えば、再生データＤ中の無音領域内にリンク元Ｌ１が位置する場合、当該無音領域とは異なる再生データＤ中の無音領域の終了点をリンク先Ｌ２として採用したリンクである。

周期音リンクは、例えば、周期信号内でのリンク、具体的には、例えば、再生データＤ中の周期音領域の開始点又は終了点にリンク元Ｌ１が位置する場合、それぞれ当該周期音領域の終了点及び開始点をリンク先Ｌ２として採用したリンクである。
すなわち、例えば、周期音リンクには、周期音領域の開始点がリンク元Ｌ１であり当該周期音領域の終了点がリンク先Ｌ２である周期音リンクと、周期音領域の終了点がリンク元Ｌ１であり当該周期音領域の開始点がリンク先Ｌ２である周期音リンクと、がある。

主観的リンクは、例えば、ユーザが手作業で付けたリンク、具体的には、例えば、ユーザにより指定された指定リンク先をリンク先Ｌ２として採用したリンクである。
ここで、ユーザとは、リンク情報作成装置３を操作してリンク情報を作成する者であり、例えば、再生データＤを作成した者であってもよいし、再生データＤを鑑賞する者であってもよい。

例えば、図２（ｂ）では、カテゴリctgry[２０][０]＝０であるので、リンク番号Ｋ＝０のリンクは、恒等リンクであることが分かる。
また、図２（ｂ）では、カテゴリctgry[２０][１]＝１，カテゴリctgry[２０][２]＝１，カテゴリctgry[２０][３]＝１であるので、リンク番号Ｋ＝１，２，３のリンクは、単純リンクであることが分かる。
また、図２（ｂ）では、カテゴリctgry[２０][４]＝５，カテゴリctgry[２０][５]＝５であるので、リンク番号Ｋ＝４，５のリンクは、主観的リンクであることが分かる。

ここで、例えば、恒等リンク情報は、カテゴリctgry[Ｆ][Ｋ]＝０を含んで構成される情報であり、単純リンク情報は、カテゴリctgry[Ｆ][Ｋ]＝１を含んで構成される情報であり、無音内リンク情報は、カテゴリctgry[Ｆ][Ｋ]＝２を含んで構成される情報であり、無音間リンク情報は、カテゴリctgry[Ｆ][Ｋ]＝３を含んで構成される情報であり、例えば、周期音リンク情報は、カテゴリctgry[Ｆ][Ｋ]＝４を含んで構成される情報であり、主観的リンク情報は、カテゴリctgry[Ｆ][Ｋ]＝５を含んで構成される情報である。
したがって、図２に示すフレーム番号Ｆ＝２０のフレーム内にあるリンク元Ｌ１のリンク情報は、リンク番号Ｋ＝０のリンクに係る１組の恒等リンク情報と、リンク番号Ｋ＝１，２，３のリンクに係る３組の単純リンク情報と、リンク番号Ｋ＝４，５のリンクに係る２組の主観的リンク情報と、を含んでいることになる。

リンク先サンプル番号link[Ｆ][Ｋ]は、例えば、再生データＤにおけるリンク先Ｌ２の位置に関するリンク先位置情報であり、例えば、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１とリンク番号Ｋのリンクで連結されるリンク先Ｌ２のサンプル番号Ｐである。
例えば、図２（ａ）では、リンク番号Ｋ＝１のリンクのリンク先Ｌ２は、サンプル番号Ｐ＝３２４５６であるため、図２（ｂ）では、リンク先サンプル番号link[２０][１]＝３２４５６となっている。

不一致度err[Ｆ][Ｋ]は、例えば、リンク元Ｌ１のオーバーラップ領域と、リンク先Ｌ２のオーバーラップ領域と、の波形の不一致度に関する不一致度情報であり、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１のオーバーラップ領域と、そのリンク元Ｌ１とリンク番号Ｋのリンクで連結されたリンク先Ｌ２のオーバーラップ領域と、の波形の不一致度を示す値である。
ここで、不一致度err[Ｆ][Ｋ]は、リンク元Ｌ１のサンプル番号をＰ１＝(Ｆ＋１)×Ｗ_Ｆ−Ｗ_Ｖとし、リンク先Ｌ２のサンプル番号をＰ２＝link[Ｆ][Ｋ]とすると、以下の式（３）で定義することができる。

ここで、式（３）中のＷ_Ｗ[ｉ]は、窓関数Ｗ[ｉ]による重み付け加算の影響を考慮した評価重みであり、例えば、以下の式（４）とするとよい。
式（３）中のＷ_Ｗ[ｉ]を式（４）とすることで、不一致度err[Ｆ][Ｋ]は、以下の式（５）に示すように、リンク元信号からの修正量のエネルギーと、リンク先信号からの修正量のエネルギーと、をそれぞれに対する窓関数Ｗ[ｉ]で重み付けして加算した量と等しくなる。

例えば、図２（ａ）では、リンク番号Ｋ＝０のリンクは恒等リンクであるので、例えば、図２（ｂ）では不一致度err[２０][０]＝０となっている。
また、例えば、図２（ａ）では、リンク番号Ｋ＝２のリンクのリンク先Ｌ２のオーバーラップ領域は、リンク番号Ｋ＝１のリンクのリンク先Ｌ２のオーバーラップ領域よりも、リンク元Ｌ１のオーバーラップ領域に波形が一致しているため、例えば、図２（ｂ）では、リンク番号Ｋ＝２の不一致度err[２０][２]＝１．３８は、リンク番号Ｋ＝１の不一致度err[２０][１]＝２．７７よりも小さい値となっている。

損失loss[Ｆ][Ｋ]は、例えば、再生ポイントをリンク元Ｌ１からリンク先Ｌ２へ移動させることによって生じる信号エネルギーの損失に関する損失情報であり、例えば、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１から、そのリンク元Ｌ１とリンク番号Ｋのリンクで連結されたリンク先Ｌ２へ移動することによって損失する波形の信号エネルギー値である。

ここで、再生ポイントの移動先として、再生データＤの再生速度が標準速度よりも高い場合（高速再生の場合）には、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２が選択され、再生データＤの再生速度が標準速度よりも低い場合（スロー再生の場合）には、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２が選択されることになる。そして、損失loss[Ｆ][Ｋ]は、リンク先Ｌ２がリンク元Ｌ１よりも時間的に未来方向にある場合と時間的に過去方向にある場合とで定義の仕方が異なる。
具体的には、例えば、リンク先Ｌ２がリンク元Ｌ１よりも時間的に未来方向にある場合、すなわち、リンク元Ｌ１のサンプル番号Ｐ１がリンク先Ｌ２のサンプル番号Ｐ２よりも小さい場合、損失loss[Ｆ][Ｋ]は、リンク元Ｌ１とリンク先Ｌ２との間の信号を省略することによって損失する信号エネルギーとして、以下の式（６）で定義され、例えば、リンク先Ｌ２がリンク元Ｌ１よりも時間的に過去方向にある場合、すなわち、リンク元Ｌ１のサンプル番号Ｐ１がリンク先Ｌ２のサンプル番号Ｐ２よりも大きい場合、損失loss[Ｆ][Ｋ]は、リンク元Ｌ１とリンク先Ｌ２との間の信号を繰り返すことによって損失する信号エネルギーとして、以下の式（７）で定義される。

式（６）及び式（７）によれば信号の物理量から信号エネルギーの損失を決定できる。
さらに、損失loss[Ｆ][Ｋ]は、ユーザによって決定可能である。すなわち、ユーザは、例えば、再生ポイントがリンク元Ｌ１からリンク先Ｌ２に移動することによって聴き逃してしまう音声があることに重大な問題があれば損失loss[Ｆ][Ｋ]を増加させてより大きな値になるように変更したり、或いは逆に、語句等の重要性を主観的に判断した結果、不要な部分を省略するリンクであると判断した場合には、損失loss[Ｆ][Ｋ]を減少させてより小さな値になるように変更することができる。さらに、ユーザは、語句等の重要性を主観的に判断した結果、不要な部分を省略するリンクを張りたいと判断した場合には、その他のリンクの損失loss[Ｆ][Ｋ]との相対的関係を考慮して、その不要な部分を省略するリンクの損失loss[Ｆ][Ｋ]を設定することができる。このようにユーザによって損失loss[Ｆ][Ｋ]が決定されたリンクが主観的リンクになる。
なお、ユーザによる損失loss[Ｆ][Ｋ]の決定に際しては、式（６）及び式（７）で定義される客観的損失との相対的関係に注意する必要がある。

ここで、再生データＤ（音声データ（波形情報））とリンク情報の、記録媒体Ｍへの記録形態は任意である。
具体的には、例えば、図５（ａ）に示すように、再生データＤとリンク情報とを別々にして、記録媒体Ｍに記録するようにしてもよい。この場合、再生データＤの再生直前に、リンク情報のみを再生装置１のメモリ１８に転送できるため、使い勝手がよい。
また、例えば、図５（ｂ）に示すように、再生データＤがフレーム毎に区切られている場合には、一のフレームに対応するリンク情報を当該一のフレームの前に挿入するようにして、記録媒体Ｍに記録するようにしてもよい。
また、例えば、図５（ｃ）に示すように、再生データＤがフレーム毎に区切られており、且つ、帯域（バンド）毎に分割されている場合には、一のフレーム及び一のバンドに対応するリンク情報を、当該一のフレーム及び当該一のバンドの前に挿入するようにして、記録媒体Ｍに記録するようにしてもよい。
なお、本実施の形態では、例えば、図５（ａ）に示すように、再生データＤとリンク情報とを別々にして、記録媒体Ｍに記録することとする。

＜リンク情報作成装置＞
リンク情報作成装置３は、例えば、図６に示すように、読取部３１と、デコーダ３２と、リンク情報作成部３３と、エンコーダ３４と、再生データ出力制御部３５と、操作部３６と、制御部３７と、などを備えて構成される。
また、リンク情報作成装置３は、例えば、再生データ出力制御部３５を介して音声出力装置３ａ及び表示装置３ｂを接続している。

読取部３１は、例えば、制御部３７から入力される制御信号に従って、リンク情報作成装置３に挿入等された記録媒体Ｍに記録された再生データＤを読み取って、デコーダ３２に出力する。

デコーダ３２は、例えば、制御部３７から入力される制御信号に従って、読取部３１から入力された再生データＤにデコード等の所定の処理を施して、リンク情報作成部３３及び再生データ出力制御部３５に出力する。

リンク情報作成部３３は、例えば、制御部３７が、デコーダ３２から入力された再生データＤに基づいて、無音領域情報、周期音領域情報及びリンク情報を作成する際に使用される。

エンコーダ３４は、例えば、制御部３７から入力される制御信号に従って、リンク情報作成部３３において作成されたリンク情報にエンコード等の所定の処理を施して、リンク情報作成装置３に挿入等された記録媒体Ｍに出力する。

再生データ出力制御部３５は、例えば、制御部３７が、デコーダ３２から入力された再生データＤを音声出力装置３ａに出力する際や、デコーダ３２から入力された再生データＤから音声波形のエンベロープ（包絡線）データを作成して表示装置３ｂに出力する際に使用される。

音声出力装置３ａは、例えば、スピーカ機器等であり、例えば、再生データ出力制御部３５から入力された再生データＤ（音声データ）に基づく音声を出力する。

表示装置３ｂは、例えば、液晶表示機器等であり、例えば、再生データ出力制御部３５から入力されたエンベロープデータに基づいて、再生データＤ（音声データ）に基づく音声波形のエンベロープを表示する。

操作部３６は、例えば、リンク情報作成装置３の外面に設けられた操作ボタン（図示省略）や、リンク情報作成装置３用のリモートコントローラ（図示省略）及び当該リモートコントローラと通信可能なリモコン受信部（図示省略）などにより構成され、例えば、ユーザにより操作されて、当該操作に伴う各種信号を制御部３７に出力する。
また、操作部３６は、必要に応じてマウス等のポインティングデバイスやジョグダイヤルなどその他の操作装置を備えるものとしてもよい。

制御部３７は、例えば、図６に示すように、ＣＰＵ（Central Processing Unit）３７１と、ＲＡＭ（Random Access Memory）３７２と、記憶部３７３と、などを備えて構成される。

ＣＰＵ３７１は、例えば、記憶部３７３に記憶されたリンク情報作成装置３用の各種処理プログラムに従って各種の制御動作を行う。

ＲＡＭ３７２は、例えば、ＣＰＵ３７１によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。

記憶部３７３は、例えば、リンク情報作成装置３で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラム、これら各種処理プログラムを実行する際に使用されるデータ、ＣＰＵ３７１によって演算処理された処理結果のデータなどを記憶する。なお、プログラムは、コンピュータが読み取り可能なプログラムコードの形で記憶部３７３に記憶されている。

具体的には、記憶部３７３は、例えば、無音領域検出プログラム３７３ａと、周期音領域検出プログラム３７３ｂと、リンク情報作成プログラム３７３ｃと、リンク情報記録制御プログラム３７３ｄと、などを記憶している。

無音領域検出プログラム３７３ａは、例えば、再生データＤ中の無音領域を検出する機能を、ＣＰＵ３７１に実現させる。

具体的には、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３に出力させる。
次いで、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、再生データＤの全部もしくは一部の信号エネルギー分布から、無音であると判定するための判定閾値を求める。この判定閾値を求める処理は、背景雑音の小さな再生データＤと背景雑音の大きな再生データＤとでは無音であるか否かの判定閾値が異なるため、必要な処理である。
次いで、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、再生データＤ中の信号エネルギーが当該求めた判定閾値以下である領域を無音領域であると判定することによって、再生データＤ中の無音領域を検出する。
次いで、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、当該検出した無音領域毎に無音領域情報を作成して、当該検出した無音領域の総数Ｍmaxをカウントする。
ここで、ｍ（ｍ＝０，１，…，Ｍmax−１）番目の無音領域の無音領域情報には、例えば、当該無音領域の開始点のサンプル番号ＭＡ[ｍ]と、当該無音領域の終了点のサンプル番号ＭＢ[ｍ]と、などが含まれている。

周期音領域検出プログラム３７３ｂは、例えば、再生データＤ中の周期音領域を検出する機能を、ＣＰＵ３７１に実現させる。

具体的には、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３に出力させる。
次いで、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、再生データＤ中の信号エネルギーが一定の周期で変化している一定幅以上の領域を周期音領域であると判定することによって、再生データＤ中の周期音領域を検出する。
次いで、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、当該検出した周期音領域毎に周期音領域情報を作成して、当該検出した周期音領域の総数Ｎmaxをカウントする。
ここで、ｎ（ｎ＝０，１，…，Ｎmax−１）番目の周期音領域の周期音領域情報には、例えば、当該周期音領域の開始点のサンプル番号ＮＡ[ｎ]と、当該周期音領域の終了点のサンプル番号ＮＢ[ｎ]と、などが含まれている。

リンク情報作成プログラム３７３ｂは、例えば、再生データＤに基づいてリンク情報を作成する機能を、ＣＰＵ３７１に実現させる。

具体的には、ＣＰＵ３７１は、まず、リンク数Kmax[Ｆ]（Ｆ＝０，１，２，…，Ｆmax−１）を初期化することによって、リンク数Kmax[Ｆ]＝０を設定する。

次に、ＣＰＵ３７１は、例えば、恒等リンク情報を作成する処理（恒等リンク情報作成処理）を実行する。
まず、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３に出力させる。
次いで、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、全てのフレーム（フレーム番号Ｆ＝０〜Ｆmax−１）について、カテゴリctgry[Ｆ][０]＝０、リンク先サンプル番号link[Ｆ][０]＝リンク元Ｌ１のサンプル番号、不一致度err[Ｆ][０]＝０、損失loss[Ｆ][０]＝０、とした恒等リンク情報を作成し、そして、恒等リンク情報を作成する度に当該恒等リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。

次に、ＣＰＵ３７１は、例えば、単純リンク情報を作成する処理（単純リンク情報作成処理）を実行する。
単純リンク情報とは、例えば、リンク元Ｌ１の位置から所定の検索範囲内にある任意点のうちの、不一致度err[Ｆ][Ｋ]が最も小さい不一致度最小点をリンク先Ｌ２とした情報である。

ここで、例えば、平均再生速度が略同一であっても、リンク元Ｌ１からリンク先Ｌ２までのサンプル数（リンク長）によって１秒間にアクセスしなければならないフレームの数（アクセス率）が異なってくることがある。具体的には、例えば、リンク長が短い場合には、１秒間にアクセスしなければならないフレーム数が多く、リンク長が長い場合には、１秒間にアクセスしなければならないフレーム数が少ない。そして、同じ再生速度であれば、アクセス率は低い方が効率がよい。
図７（ａ）に、リンク元Ｌ１からリンク先Ｌ２までのサンプル数（リンク長）と、対応するリンク長となるリンク先Ｌ２を選択し続けたときの平均再生速度の逆数と、の関係を示し、図７（ｂ）に、図７（ａ）における同じ平均再生速度を示すリンク長に関して、アクセス率の低い領域（図７（ｂ）における斜線部）を示す。
そして、図８（ａ）に、図７（ｂ）の斜線部をテーブル化したものを示す。単純リンクのリンク先Ｌ２を探す際、図８（ａ）のそれぞれの検索範囲内で、不一致度err[Ｆ][Ｋ]が最も小さくなる不一致度最小点をリンク先Ｌ２として探すとよい。その際、図８（ａ）の“種別７”は平均再生速度が標準速度に近いため、重要であり、且つ、使われる頻度が高い。したがって、“種別７”の検索範囲を２〜３つに分割すると、単純リンクの数が増えてリンク先Ｌ２の候補が増えるため、再生時に好ましい結果が得られる。そこで、図８（ｂ）に、図８（ａ）の“種別７”の検索範囲を３つに分割したものを示す。
また、図８（ｂ）には、“種別１２”として、リンク元Ｌ１とリンク先Ｌ２との時間差が２秒程度の長距離リンクも加えてある。このような長距離リンクは、高速再生において、ユーザにより指定された指定再生ポイントとの時間的誤差が大きくなってしまって、短距離の単純リンクだけではその差を取り戻すことができず、且つ、無音領域が全く存在しないので長距離の移動ができないような再生データＤに対しては大変有効である。

まず、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３に出力させる。
次いで、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、全てのフレーム（フレーム番号Ｆ＝０〜Ｆmax−１）内にあるリンク元Ｌ１について、図８（ｂ）に示す各種別の検索範囲内から、それぞれ不一致度err[Ｆ][Ｋ]が最も小さくなる不一致度最小点を探し、そして、当該探した不一致度最小点毎に、カテゴリctgry[Ｆ][Kmax[Ｆ]]＝１、リンク先サンプル番号link[Ｆ][Kmax[Ｆ]]＝不一致度最小点のサンプル番号、不一致度err[Ｆ][Kmax[Ｆ]]＝式（３）から求めた値、損失loss[Ｆ][Kmax[Ｆ]]＝式（６）又は式（７）から求めた値、とした単純リンク情報を作成し、そして、単純リンク情報を作成する度に当該単純リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。
ここで、検索範囲（例えば、図８（ｂ））は、予めリンク情報作成装置３に記憶されていることとする。

次に、ＣＰＵ３７１は、例えば、無音内リンク情報を作成する処理（無音内リンク情報作成処理）を実行する。
無音内リンク情報とは、例えば、再生データＤ中の無音領域内にリンク元Ｌ１が位置する場合、当該無音領域の開始点及び終了点をリンク先Ｌ２とした情報である。

まず、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３に出力させる。
次いで、ＣＰＵ３７１は、例えば、ｍ＝０，１，…，（Ｍmax−１）の順に、無音領域検出プログラム３７３ａを実行したＣＰＵ３７１により検出されたｍ番目の無音領域内にある全てのフレームについて、カテゴリctgry[Ｆ][Kmax[Ｆ]]＝２、リンク先サンプル番号link[Ｆ][Kmax[Ｆ]]＝ｍ番目の無音領域の終了点のサンプル番号ＭＢ[ｍ]、不一致度err[Ｆ][Kmax[Ｆ]]＝式（３）から求めた値、損失loss[Ｆ][Kmax[Ｆ]]＝式（６）又は式（７）から求めた値、とした無音内リンク情報を作成するとともに、カテゴリctgry[Ｆ][Kmax[Ｆ]]＝２、リンク先サンプル番号link[Ｆ][Kmax[Ｆ]]＝ｍ番目の無音領域の開始点のサンプル番号ＭＡ[ｍ]、不一致度err[Ｆ][Kmax[Ｆ]]＝式（３）から求めた値、損失loss[Ｆ][Kmax[Ｆ]]＝式（６）又は式（７）から求めた値、とした無音内リンク情報を作成し、そして、無音内リンク情報を作成する度に当該無音内リンク情報に対応するリンク数Kmax[Ｆ]をインクリメントする。
ここで、無音内リンクは無音領域内でのリンクであるため、式（６）又は式（７）から求められる損失loss[Ｆ][Ｋ]は“０”になる。

次に、ＣＰＵ３７１は、例えば、無音間リンク情報を作成する処理（無音間リンク情報作成処理）を実行する。
無音間リンク情報とは、例えば、再生データＤ中の無音領域内にリンク元Ｌ１が位置する場合、当該無音領域とは異なる再生データＤ中の無音領域の終了点をリンク先Ｌ２とした情報である。

まず、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３に出力させる。
次いで、ＣＰＵ３７１は、ｍ＝０，１，…，（Ｍmax−１）の順に、無音領域検出プログラム３７３ａを実行したＣＰＵ３７１により検出されたｍ番目の無音領域内にある全てのフレームについて、カテゴリctgry[Ｆ][Kmax[Ｆ]]＝３、リンク先サンプル番号link[Ｆ][Kmax[Ｆ]]＝ｍ番目の無音領域以外の無音領域の終了点のサンプル番号ＭＢ[ｍ]、不一致度err[Ｆ][Kmax[Ｆ]]＝式（３）から求めた値、損失loss[Ｆ][Kmax[Ｆ]]＝式（６）又は式（７）から求めた値、とした無音間リンク情報を作成し、そして、無音間リンク情報を作成する度に当該無音間リンク情報に対応するリンク数Kmax[Ｆ]をインクリメントする。

次に、ＣＰＵ３７１は、例えば、周期音リンク情報を作成する処理（周期音リンク情報作成処理）を実行する。
周期音リンク情報とは、例えば、再生データＤ中の周期音領域の開始点又は終了点にリンク元Ｌ１が位置する場合、それぞれ当該周期音領域の終了点及び開始点をリンク先Ｌ２とした情報である。

まず、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３に出力させる。
次いで、ＣＰＵ３７１は、例えば、ｎ＝０，１，…，（Ｎmax−１）の順に、周期音領域検出プログラム３７３ｂを実行したＣＰＵ３７１により検出されたｎ番目の周期音領域内にあって当該周期音領域の開始点に最も近いフレームについて、カテゴリctgry[Ｆ][Kmax[Ｆ]]＝４、リンク先サンプル番号link[Ｆ][Kmax[Ｆ]]＝ｎ番目の周期音領域の終了点のサンプル番号ＮＢ[ｍ]、不一致度err[Ｆ][Kmax[Ｆ]]＝式（３）から求めた値、損失loss[Ｆ][Kmax[Ｆ]]＝式（６）又は式（７）から求めた値、とした周期音リンク情報を作成するとともに、周期音領域検出プログラム３７３ｂを実行したＣＰＵ３７１により検出されたｎ番目の周期音領域内にあって当該周期音領域の終了点に最も近いフレームについて、カテゴリctgry[Ｆ][Kmax[Ｆ]]＝４、リンク先サンプル番号link[Ｆ][Kmax[Ｆ]]＝ｎ番目の周期音領域の開始点のサンプル番号ＮＡ[ｍ]、不一致度err[Ｆ][Kmax[Ｆ]]＝式（３）から求めた値、損失loss[Ｆ][Kmax[Ｆ]＝式（６）又は式（７）から求めた値、とした周期音リンク情報を作成し、そして、周期音リンク情報を作成する度に当該周期音リンク情報に対応するリンク数Kmax[Ｆ]をインクリメントする。

さらに、ＣＰＵ３７１は、例えば、ユーザによる操作部３６の操作に従って、主観的リンク情報を作成する処理（主観的リンク情報作成処理）を実行する。
主観的リンク情報とは、例えば、ユーザによる操作部３６の操作により指定された指定リンク先をリンク先Ｌ２とした情報である。
なお、主観的リンク情報は、予め作成された単純リンク情報、無音内リンク情報、無音間リンク情報、周期音リンク情報のうち、ユーザによる操作部３６の操作により損失loss[Ｆ][Ｋ]が変更された情報であってもよい。
ここで、ユーザは、主観的リンク情報の作成を指示すると、表示装置３ｂに表示される音声波形のエンベロープを見ながら音声出力装置３ａから出力される音声を聴くことができるとともに、操作部３６のジョグダイヤル等を操作して再生データＤの再生ポイントをコントロールすることができる。そして、ユーザは、例えば、単語の重要度や会話の重要度、話者の重要度などに応じて、不要な部分を省略するリンクが張られるように操作部３６を操作して指定リンク元や指定リンク先を指定することができるとともに、そのリンクの損失loss[Ｆ][Ｋ]を入力することができる。

まず、ＣＰＵ３７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部３１に読み取らせて、デコーダ３２を介して、リンク情報作成部３３及び再生データ出力制御部３５に出力させる。
次いで、ＣＰＵ３７１は、例えば、再生データ出力制御部３５において、再生データＤを音声出力装置３ａに出力するとともに、再生データＤに基づいて音声波形のエンベロープデータを作成して表示装置３ｂに出力する。これにより、音声出力装置３ａから再生データＤ（音声データ）に基づく音声が出力され、表示装置３ｂから再生データＤ（音声データ）に基づく音声波形のエンベロープが表示されることになる。なお、表示装置３ｂには、例えば、音声出力装置３ａから出力されている現時点での音声を含む過去から未来の音声に対応した音声波形のエンベロープが表示される。
次いで、ＣＰＵ３７１は、例えば、ユーザにより指定リンク元と指定リンク先が指定されると、指定リンク元に最も近いフレーム内にあるリンク元Ｌ１から主観的リンクを張るよう決定するとともに、指定リンク先の位置を、その指定リンク先の位置から所定の範囲内にあり、且つ、主観的リンクを張るよう決定されたリンク元Ｌ１との波形の不一致度err[Ｆ][Ｋ]が小さくなる位置に変更し、そして、指定リンク元に最も近いフレームについて、カテゴリctgry[Ｆ][Kmax[Ｆ]]＝５、リンク先サンプル番号link[Ｆ][Kmax[Ｆ]]＝位置が変更された指定リンク先のサンプル番号、不一致度err[Ｆ][Kmax[Ｆ]]＝式（３）から求めた値、損失loss[Ｆ][Kmax[Ｆ]]＝ユーザにより入力された値、とした主観的リンク情報を作成し、そして、主観的リンク情報を作成する度に当該主観的リンク情報に対応するリンク数Kmax[Ｆ]をインクリメントする。
また、ＣＰＵ３７１は、例えば、既に作成された情報の中に、ユーザにより指定された指定リンク元と指定リンク先とを連結するリンクに関する単純リンク情報、無音内リンク情報、無音間リンク情報及び周期音リンク情報がある場合には、その情報を構成するカテゴリctgry[Ｆ][Kmax[Ｆ]]を“５”に変更するとともに損失loss[Ｆ][Ｋ]を“ユーザにより入力された値”に変更することによって、その情報を主観的リンク情報に変更する。

リンク情報記録制御プログラム３７３ｄは、例えば、リンク情報作成プログラム３７３ｃを実行したＣＰＵ３７１によりリンク情報作成部３３において作成されたリンク情報を、エンコーダ３４を介して記録媒体Ｍに記録させる機能を、ＣＰＵ３７１に実現させる。

（リンク情報作成処理）
リンク情報作成装置３によるリンク情報の作成に関する処理について、図９のフローチャートを参照して説明する。

例えば、ユーザによる操作部３６の操作によって、自動でリンク情報を作成するよう指示されると、ＣＰＵ３７１は、無音領域検出プログラム３７３ａを実行して、無音領域検出処理を実行する（ステップＳ１１）。
具体的には、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、再生データＤ中の無音領域を検出して、無音領域の開始点のサンプル番号ＭＡ[ｍ]と、無音領域の終了点のサンプル番号ＭＢ[ｍ]と、などを含む無音領域情報を作成する。

次いで、ＣＰＵ３７１は、周期音領域検出プログラム３７３ｂを実行して、周期音領域検出処理を実行する（ステップＳ１２）。
具体的には、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、再生データＤ中の周期音領域を検出して、周期音領域の開始点のサンプル番号ＮＡ[ｎ]と、周期音領域の終了点のサンプル番号ＮＢ[ｎ]と、などを含む周期音領域情報を作成する。

次いで、ＣＰＵ３７１は、リンク情報作成プログラム３７３ｃを実行して、リンク数Kmax[Ｆ]＝０を設定する（ステップＳ１３）。

次いで、ＣＰＵ３７１は、恒等リンク情報作成処理を実行する（ステップＳ１４）。
具体的には、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、恒等リンク情報を作成するとともに、当該恒等リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。

次いで、ＣＰＵ３７１は、単純リンク情報作成処理を実行する（ステップＳ１５）。
具体的には、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、単純リンク情報を作成するとともに、当該単純リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。

次いで、ＣＰＵ３７１は、無音内リンク情報作成処理を実行する（ステップＳ１６）。
具体的には、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、ステップＳ１１にて得られた無音領域情報に基づいて、無音内リンク情報を作成するとともに、当該無音内リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。

次いで、ＣＰＵ３７１は、無音間リンク情報作成処理を実行する（ステップＳ１７）。
具体的には、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、ステップＳ１１にて得られた無音領域情報に基づいて、無音間リンク情報を作成するとともに、当該無音間リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。

次いで、ＣＰＵ３７１は、周期音リンク情報作成処理を実行する（ステップＳ１８）。
具体的には、ＣＰＵ３７１は、例えば、リンク情報作成部３３において、ステップＳ１２にて得られた周期音領域情報に基づいて、周期音リンク情報を作成するとともに、当該無音間リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。

次いで、ＣＰＵ３７１は、ユーザによる操作部３６の操作によって、手動でリンク情報を作成する旨が入力されたか否かを判断する（ステップＳ１９）。

ステップＳ１９で、ユーザによる操作部３６の操作によって、手動でリンク情報を作成する旨が入力されていないと判断すると（ステップＳ１９；Ｎｏ）、ＣＰＵ３７１は、ステップＳ２１の処理に移行する。

一方、ステップＳ１９で、ユーザによる操作部３６の操作によって、手動でリンク情報を作成する旨が入力されたと判断すると（ステップＳ１９；Ｙｅｓ）、ＣＰＵ３７１は、主観的リンク情報作成処理を実行する（ステップＳ２０）。
具体的には、ＣＰＵ３７１は、例えば、再生データ出力制御部３５において、音声出力装置３ａを介して再生データＤ（音声データ）に基づく音声を出力させるとともに、表示装置３ｂを介して再生データＤ（音声データ）に基づく音声波形のエンベロープを表示させ、そして、リンク情報作成部３３において、主観的リンク情報を作成するとともに、必要があれば当該主観的リンクに対応するリンク数Kmax[Ｆ]をインクリメントする。

次いで、ＣＰＵ３７１は、リンク情報記録制御プログラム３７３ｄを実行して、リンク情報作成部３３において作成されたリンク情報を、エンコーダ３４を介して記録媒体Ｍに記録させて（ステップＳ２１）、本処理を終了する。

なお、ステップＳ２１の後に、ユーザによる操作部３６の操作によって、作成されたリンク情報の中から、不要なリンクに係る情報を取り除くようにしてもよい。

＜リンク表示データ作成装置＞
リンク表示データ作成装置５は、例えば、図１０に示すように、読取部５１と、デコーダ５２と、リンク表示データ作成部５３と、エンコーダ５４と、操作部５６と、制御部５７と、などを備えて構成される。

読取部５１は、例えば、制御部５７から入力される制御信号に従って、リンク表示データ作成装置５に挿入等された記録媒体Ｍに記録された再生データＤ及びリンク情報を読み取って、デコーダ５２に出力する。

デコーダ５２は、例えば、制御部５７から入力される制御信号に従って、読取部５１から入力された再生データＤ及びリンク情報にデコード等の所定の処理を施して、リンク表示データ作成部５３に出力する。

リンク表示データ作成部５３は、例えば、制御部５７が、デコーダ５２から入力された再生データＤ及びリンク情報に基づいて、リンク表示データを作成する際に使用される。

エンコーダ５４は、例えば、制御部５７から入力される制御信号に従って、リンク表示データ作成部５３において作成されたリンク表示データにエンコード等の所定の処理を施して、リンク表示データ作成装置５に挿入等された記録媒体Ｍに出力する。

操作部５６は、例えば、リンク表示データ作成装置５の外面に設けられた操作ボタン（図示省略）や、リンク表示データ作成装置５用のリモートコントローラ（図示省略）及び当該リモートコントローラと通信可能なリモコン受信部（図示省略）などにより構成され、例えば、ユーザにより操作されて、当該操作に伴う各種信号を制御部５７に出力する。

制御部５７は、例えば、図１０に示すように、ＣＰＵ５７１と、ＲＡＭ５７２と、記憶部５７３と、などを備えて構成される。

ＣＰＵ５７１は、例えば、記憶部５７３に記憶されたリンク表示データ作成装置５用の各種処理プログラムに従って各種の制御動作を行う。

ＲＡＭ５７２は、例えば、ＣＰＵ５７１によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。

記憶部５７３は、例えば、リンク表示データ作成装置５で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラム、これら各種処理プログラムを実行する際に使用されるデータ、ＣＰＵ５７１によって演算処理された処理結果のデータなどを記憶する。なお、プログラムは、コンピュータが読み取り可能なプログラムコードの形で記憶部５７３に記憶されている。

具体的には、記憶部５７３は、例えば、分析プログラム５７３ａと、再生データ画像化プログラム５７３ｂと、音声画像配置図作成プログラム５７３ｃと、リンク表示データ作成プログラム５７３ｄと、リンク表示データ記録制御プログラム５７３ｅと、などを記憶している。

分析プログラム５７３ａは、例えば、再生データＤ（音声データ）を所定の分析条件に従って分析する機能を、ＣＰＵ５７１に実現させる。

具体的には、ＣＰＵ５７１は、例えば、記録媒体Ｍに記録された再生データＤを、読取部５１に読み取らせて、デコーダ５２を介して、リンク表示データ作成部５３に出力させる。
次いで、ＣＰＵ５７１は、例えば、リンク表示データ作成部５３において、再生データＤを所定の分析条件に従って分析する。
ここで、分析条件は、例えば、短時間フーリエ変換（ＦＦＴ）、ケプストラム分析、ウイグナー分析による時間周波数平面表現、ＡＲモデル当てはめによる極位置の推定などである。また、分析条件は、理論的な最適性などの裏付けがなくても、人間の直感に一致している経験的な条件であってもよい。

再生データ画像化プログラム５７３ｂは、例えば、分析プログラム５７３ａを実行したＣＰＵ５７１による分析結果を、分析結果に対応して予め設定された画像データに変換する機能を、ＣＰＵ５７１に実現させる。
具体的には、ＣＰＵ５７１は、例えば、リンク表示データ作成部５３において、分析プログラム５７３ａを実行したＣＰＵ５７１による分析結果を、分析によって得られたパラメータ値に対応するＲＧＢ値及び画素数（画像の大きさ）に変換することにより、ＲＧＢ値で表現された色を有する画素集団として画素小片化することによって、音声画像Ｂの画像データに変換する。

音声画像配置図作成プログラム５７３ｃは、例えば、リンク表示データ作成部５３において、再生データ画像化プログラム５７３ｂを実行したＣＰＵ５７１により画像化された画像データに基づく音声画像Ｂを、所定の時間軸に対応付けて配置した音声画像配置図Ｇ１を作成する機能を、ＣＰＵ５７１に実現させる。

リンク表示データ作成プログラム５７３ｄは、例えば、リンク情報に基づいて、音声画像配置図作成プログラム５７３ｃを実行したＣＰＵ５７１により作成された音声画像配置図Ｇ１の時間軸に対応付けて、リンク元Ｌ１とそのリンク元Ｌ１に対応するリンク先Ｌ２とを連結するリンクを示すリンク画像Ｇ２を音声画像配置図Ｇ１に合成することによって、リンク元Ｌ１と各リンク先Ｌ２との時間的な対応付けを表示するためのリンク表示データを作成する機能を、ＣＰＵ５７１に実現させる。

具体的には、ＣＰＵ５７１は、例えば、記録媒体Ｍに記録されたリンク情報を、読取部５１に読み取らせて、デコーダ５２を介して、リンク表示データ作成部５３に出力させる。
次いで、ＣＰＵ５７１は、例えば、リンク表示データ作成部５３において、リンク情報に基づいて、リンク表示データを作成する。
ここで、ＣＰＵ５７１は、例えば、リンク長（リンク元Ｌ１からリンク先Ｌ２までのサンプル数）が所定サンプル数以上（例えば、１万サンプル以上）のリンクを示すリンク画像Ｇ２のみを音声画像配置図Ｇ１に合成することとする。

リンク表示データ記録制御プログラム５７３ｅは、例えば、リンク表示データ作成プログラム５７３ｄを実行したＣＰＵ５７１によりリンク表示データ作成部５３において作成されたリンク表示データを、エンコーダ５４を介して記録媒体Ｍに記録させる機能を、ＣＰＵ５７１に実現させる。

（リンク表示データ作成処理）
リンク表示データ作成装置５によるリンク表示データの作成に関する処理について、図１１のフローチャートを参照して説明する。

例えば、ユーザによる操作部５６の操作によって、リンク表示データを作成するよう指示されると、ＣＰＵ５７１は、分析プログラム５７３ａを実行して、再生データＤを所定の分析条件に従って分析する（ステップＳ３１）。

次いで、ＣＰＵ５７１は、再生データ画像化プログラム５７３ｂを実行して、ステップＳ３１において得られた分析結果を、分析結果に対応して予め設定された画像データに変換する（ステップＳ３２）。

次いで、ＣＰＵ５７１は、例えば、音声画像配置図作成プログラム５７３ｃを実行して、ステップＳ３２において画像化された画像データに基づく音声画像Ｂを、所定の時間軸に対応付けて配置した音声画像配置図Ｇ１を作成する（ステップＳ３３）。

次いで、ＣＰＵ５７１は、リンク表示データ作成プログラム５７３ｄを実行して、リンク情報に基づいて、ステップＳ３３において作成された音声画像配置図Ｇ１の時間軸に対応付けて、リンク元Ｌ１とそのリンク元Ｌ１に対応するリンク先Ｌ２とを連結するリンクを示すリンク画像Ｇ２を音声画像配置図Ｇ１に合成することによって、リンク元Ｌ１と各リンク先Ｌ２との時間的な対応付けを表示するためのリンク表示データを作成する（ステップＳ３４）。

次いで、ＣＰＵ５７１は、リンク表示データ記録制御プログラム５７３ｅを実行して、ステップＳ３４において作成されたリンク表示データを、エンコーダ５４を介して記録媒体Ｍに記録させて（ステップＳ３５）、本処理を終了する。

＜再生装置＞
再生装置１は、例えば、図１２に示すように、再生部Ｒと、リンク表示データ時間軸変更部１５と、操作部１６と、制御部１７と、メモリ１８と、などを備えて構成される。
また、再生装置１は、例えば、再生部Ｒの再生データ時間軸変更部１３を介して音声出力装置３ａを接続するとともに、リンク表示データ時間軸変更部１５を介して表示装置３ｂを接続している。

再生部Ｒは、例えば、図１２に示すように、読取部１１と、デコーダ１２と、再生データ時間軸変更部１３と、などを備えて構成され、例えば、再生手段として、音声データからなる再生データＤを再生する。

読取部１１は、例えば、制御部１７から入力される制御信号に従って、再生装置１に挿入等された記録媒体Ｍに記録された再生データＤ、リンク情報及びリンク表示データを読み取って、デコーダ１２に出力する。

デコーダ１２は、例えば、制御部１７から入力される制御信号に従って、読取部１１から入力された再生データＤ及びリンク情報にデコード等の所定の処理を施して、再生データ時間軸変更部１２に出力するとともに、読取部１１から入力されたリンク表示データにデコード等の所定の処理を施して、リンク表示データ時間軸変更部１５に出力する。

再生データ時間軸変更部１３は、例えば、制御部１７が、デコーダ１２から入力されたリンク情報に基づいてピッチを変化させることなく再生データＤの時間軸を変更して、音声出力装置３ａに出力する際に使用される。

音声出力装置１ａは、例えば、スピーカ機器等であり、例えば、再生データ時間軸変更部１３から入力された再生データＤ（音声データ）に基づく音声を出力する。

リンク表示データ時間軸変更部１５は、例えば、制御部１７が、再生データ時間軸変更部１３における再生データＤの時間軸の変更に応じてデコーダ１２から入力されたリンク表示データの時間軸を変更して、表示装置１ｂに出力する際に使用される。

表示装置１ｂは、例えば、液晶表示機器等であり、例えば、リンク表示データ時間軸変更部１５から入力されたリンク表示データに基づいて、リンク画像Ｇ２が合成された音声画像配置図Ｇ１を表示する。

操作部１６は、例えば、再生装置１の外面に設けられた操作ボタン（図示省略）や、再生装置１用のリモートコントローラ（図示省略）及び当該リモートコントローラと通信可能なリモコン受信部（図示省略）などにより構成され、例えば、ユーザにより操作されて、当該操作に伴う各種信号を制御部１７に出力する。

具体的には、操作部１６は、例えば、指定手段として、ユーザが、再生データＤの再生速度を指定する際に操作される。

メモリ１８は、例えば、データの読み書きが可能な半導体メモリなどにより構成され、制御部１７から入力される制御信号に従って、所与のデータを記憶する。

具体的には、メモリ１８は、例えば、記憶手段として、リンク先Ｌ２毎に、選択プログラム１７３ｂを実行したＣＰＵ１７１により選択された回数を記憶する。
より具体的には、制御部１７は、例えば、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１について選択プログラム１７３ｂを実行したＣＰＵ１７１により一のリンク先Ｌ２が選択されると、当該フレーム番号Ｆと、当該リンク元Ｌ１と当該選択された一のリンク先Ｌ２とを連結するリンクのリンク番号Ｋと、の組｛Ｆ，Ｋ｝をメモリ１８に記憶させる。
ここで、メモリ１８には、例えば、最新の｛Ｆ，Ｋ｝が、所定数（例えば、１００個）記憶されるようになっている。

なお、制御部１７は、例えば、選択プログラム１７３ｂを実行したＣＰＵ１７１により選択された一のリンク先Ｌ２が、リンク元Ｌ１と恒等リンクで連結されたリンク先Ｌ２である場合には、メモリ１８に｛Ｆ，Ｋ｝を記憶しないようになっている。
リンクを利用して再生ポイントを移動させるとき、特にスロー再生の場合は、同じリンクを繰り返し利用してしまうことが起こりがちであり、ユーザは、その繰り返しの周期を強く感じてしまって不快感をおぼえることがある。そこで、これを防止するために、メモリ１８に｛Ｆ，Ｋ｝を記憶するようになっている。しかしながら、恒等リンクの場合は、再生ポイントの実質的な移動を伴わないため、繰り返し利用してもユーザは不快感をおぼえることがなく、メモリ１８に｛Ｆ，Ｋ｝を記録する実益がない。そのため、本実施の形態では、恒等リンクの場合には、メモリ１８に｛Ｆ，Ｋ｝を記録しないようになっている。

また、メモリ１８は、例えば、再生部Ｒによる再生データＤの再生直前に、記録媒体Ｍに記録されたリンク情報を記憶する。
より具体的には、制御部１７は、例えば、ユーザによる操作部１６の操作により再生データＤを再生するよう指示されると、記録媒体Ｍに記録されたリンク情報を、読取部１１に読み取らせて、デコーダ１２を介して、メモリ１８に出力させ、メモリ１８にリンク情報を記憶させる。

制御部１７は、例えば、図１２に示すように、ＣＰＵ１７１と、ＲＡＭ１７２と、記憶部１７３と、などを備えて構成される。

ＣＰＵ１７１は、例えば、記憶部１７３に記憶された再生装置１用の各種処理プログラムに従って各種の制御動作を行う。

ＲＡＭ１７２は、例えば、ＣＰＵ１７１によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。

記憶部１７３は、例えば、再生装置１で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラム、これら各種処理プログラムを実行する際に使用されるデータ、ＣＰＵ１７１によって演算処理された処理結果のデータなどを記憶する。なお、プログラムは、コンピュータが読み取り可能なプログラムコードの形で記憶部１７３に記憶されている。

具体的には、記憶部１７３は、例えば、図１２に示すように、指定再生ポイント検出プログラム１７３ａと、選択プログラム１７３ｂと、再生制御プログラム１７３ｃと、表示制御プログラム１７３ｄと、などを記憶している。

指定再生ポイント検出プログラム１７３ａは、例えば、再生データＤにおけるユーザによる操作部１６の操作により指定された再生速度に応じた指定再生ポイントを検出する機能を、ＣＰＵ１７１に実現させる。

具体的には、ＣＰＵ１７１は、例えば、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に対して所定のポイントに達すると、再生データ時間軸変更部１３において、再生データＤの再生開始から現時点までのユーザにより指定された再生速度に基づいて、再生データＤの中から、ユーザにより指定された現時点での再生速度に応じた次の時点の再生ポイント（指定再生ポイント）のサンプル番号を検出する。
ここで、所定のポイントは、リンク元Ｌ１に対応する位置であってもよいし、リンク元Ｌ１に対応する位置から所定のサンプル数だけ過去方向に離れた位置であってもよい。本実施の形態では、所定のポイントを、リンク元Ｌ１に対応する位置とする。
すなわち、ＣＰＵ１７１は、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に達すると、指定再生ポイントのサンプル番号を検出する。

より具体的には、例えば、図１３に示すように、横軸を再生データＤの再生開始からの再生時間として、縦軸をユーザにより指定された再生速度に応じた再生ポイントのサンプル番号とすると、再生データＤの再生開始から現時点までのユーザにより指定された再生速度は、例えば、図１３の太線のように示される。また、ユーザにより指定された現時点での再生速度は、例えば、現時点にて「０．５倍速」から「２倍速」に切り替わった場合には、例えば、図１３の破線のように示される。
そして、ＣＰＵ１７１は、例えば、再生データＤの再生開始から現時点までのユーザにより指定された再生速度（例えば、図１３の太線）に基づいて、再生データＤの中から、ユーザにより指定された現時点での再生速度（例えば、図１３の破線）に応じた指定再生ポイントのサンプル番号を検出する。

無論、図１３において、現時点での再生速度は、例えば、現時点にて「０．５倍速」から「２倍速」に切り替わる限りではなく、「０．５倍速」のまま一定であってもよいし、「２倍速」以外の倍速に切り替わってもよい。例えば、図１３において、現時点での再生速度が「０．５倍速」のまま一定であれば、ＣＰＵ１７１は、再生データＤの再生開始から現時点までのユーザにより指定された再生速度（例えば、図１３の太線）に基づいて、再生データＤの中から、ユーザにより指定された現時点での再生速度（例えば、図１３の太線の延長線）に応じた指定再生ポイントのサンプル番号を検出することになる。

選択プログラム１７３ｂは、例えば、再生データＤに対して予め設定されたリンク元Ｌ１に対応する複数のリンク先Ｌ２に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元Ｌ１と各リンク先Ｌ２との間の評価値Ｅを算出し、当該複数のリンク先Ｌ２の中から評価値Ｅにおける評価が最も高いリンク先Ｌ２を選択する機能を、ＣＰＵ１７１に実現させる。

具体的には、ＣＰＵ１７１は、例えば、まず、指定再生ポイント検出プログラム１７３ａを実行したＣＰＵ１７１により指定再生ポイントが検出されると、再生データ時間軸変更部１３において、当該検出された指定再生ポイントと、リンク情報に含まれるリンク先位置情報（リンク先サンプル番号link[Ｆ][Ｋ]）に基づくリンク先ポイントと、の時間的誤差に関する誤差情報Ｅ_Ｔを取得する。
次いで、ＣＰＵ１７１は、例えば、再生データ時間軸変更部１３において、当該取得した誤差情報Ｅ_Ｔと、リンク情報に含まれる不一致度情報Ｅ_Ｅ（Ｅ_Ｅ＝不一致度err[Ｆ][Ｋ]）と、リンク情報に含まれる損失情報Ｅ_Ｌ（Ｅ_Ｌ＝損失loss[Ｆ][Ｋ]）と、に基づいて評価値Ｅを算出する。

評価値Ｅは、例えば、以下の式（８）に示すように、誤差情報Ｅ_Ｔと誤差情報Ｅ_Ｔに設定可能な誤差情報用重み付けＣ_Ｔとの積と、不一致度情報Ｅ_Ｅと不一致度情報Ｅ_Ｅに設定可能な不一致度情報用重み付けＣ_Ｅとの積と、損失情報Ｅ_Ｌと損失情報Ｅ_Ｌに設定可能な損失情報用重み付けＣ_Ｌとの積と、の和で算出される。

ここで、誤差情報用重み付けＣ_Ｔと、不一致度情報用重み付けＣ_Ｅと、損失情報用重み付けＣ_Ｌとは、例えば、以下の式（９）のように設定可能である。

すなわち、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２（正方向リンクのリンク先Ｌ２）に関するリンク情報から取得される誤差情報Ｅ_Ｔと、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２（逆方向リンクのリンク先Ｌ２）に関するリンク情報から取得される誤差情報Ｅ_Ｔと、には別個の誤差情報用重み付けＣ_Ｔが設定可能である。
また、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２（正方向リンクのリンク先Ｌ２）に関するリンク情報に含まれる不一致度情報Ｅ_Ｅと、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２（逆方向リンクのリンク先Ｌ２）に関するリンク情報に含まれる不一致度情報Ｅ_Ｅと、には別個の不一致度情報用重み付けＣ_Ｅが設定可能である。
また、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２（正方向リンクのリンク先Ｌ２）に関するリンク情報に含まれる損失情報Ｅ_Ｌと、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２（逆方向リンクのリンク先Ｌ２）に関するリンク情報に含まれる損失情報Ｅ_Ｌと、には別個の損失情報用重み付けＣ_Ｌが設定可能である。

なお、例えば、式（９）に示すように、高速再生の際に選択されるリンク先Ｌ２、すなわち、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２については、不一致度情報用重み付けＣ_Ｅよりも、損失情報用重み付けＣ_Ｌを大きくして、スロー再生の際に選択されるリンク先Ｌ２、すなわち、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２については、不一致度情報用重み付けＣ_Ｅよりも、損失情報用重み付けＣ_Ｌを小さくすることで、ユーザにとって聴き易い音声が得られるようになる。

誤差情報用重み付けＣ_Ｔと、不一致度情報用重み付けＣ_Ｅと、損失情報用重み付けＣ_Ｌとは、例えば、再生装置１に予め設定されていてもよいし、ユーザによる操作部１６の操作によって設定できるようにしてもよい。さらに、誤差情報用重み付けＣ_Ｔと、不一致度情報用重み付けＣ_Ｅと、損失情報用重み付けＣ_Ｌとは、例えば、再生装置１に予め設定されていてそれをユーザによる操作部１６の操作によって変更できるようにしてもよい。
なお、誤差情報用重み付けＣ_Ｔと、不一致度情報用重み付けＣ_Ｅと、損失情報用重み付けＣ_Ｌとは、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２と、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２と、で変化させる限りではなく、例えば、リンクの種類によって変化させてもよい。
無論、誤差情報用重み付けＣ_Ｔの値、不一致度情報用重み付けＣ_Ｅの値及び損失情報用重み付けＣ_Ｌの値は、式（９）に示す限りでなく任意である。

次いで、ＣＰＵ１７１は、例えば、再生データ時間軸変更部１３において、複数のリンク先Ｌ２のうちの、メモリ１８に記憶された回数が所定の閾値を下回るリンク先Ｌ２の中から、評価値Ｅにおける評価が最も高いリンク先Ｌ２、すなわち、評価値Ｅが最も小さいリンク先Ｌ２を選択する。
具体的には、ＣＰＵ１７１は、例えば、フレーム番号Ｆのフレーム内にあるリンク元Ｌ１について選択プログラム１７３ｂを実行したＣＰＵ１７１により一のリンク先Ｌ２が選択されると、メモリ１８に記憶された、当該フレーム番号Ｆと、当該リンク元Ｌ１と当該選択された一のリンク先Ｌ２とを連結するリンクのリンク番号Ｋと、の組｛Ｆ，Ｋ｝の個数が、所定の閾値を下回るか否かを判断して、下回ると判断したリンク先Ｌ２の中から、評価値Ｅが最も小さいリンク先Ｌ２を選択する。
なお、所定の閾値は、例えば、リンクの種類毎に設定されていることとする。
ＣＰＵ１７１は、かかる選択プログラム１７３ｂを実行することによって、選択手段として機能する。

再生制御プログラム１７３ｃは、例えば、記録媒体Ｍに記録された再生データＤを再生部Ｒに再生させて、再生データＤに基づく音声を音声出力装置１ａから出力させる機能を、ＣＰＵ１７１に実現させる。

さらに、再生制御プログラム１７３ｃは、例えば、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に対して所定のポイントに達すると、リンク元Ｌ１を選択プログラム１７３ｂを実行したＣＰＵ１７１により選択されたリンク先Ｌ２にリンクさせることによって当該再生ポイントをリンク先Ｌ２に対応する位置に移動させ、再生部Ｒに再生データＤを再生させて、再生データＤに基づく音声を音声出力装置１ａから出力させる機能を、ＣＰＵ１７１に実現させる。
ここで、所定のポイントは、リンク元Ｌ１に対応する位置であってもよいし、リンク元Ｌ１に対応する位置から所定のサンプル数だけ過去方向に離れた位置であってもよい。本実施の形態では、所定のポイントを、リンク元Ｌ１に対応する位置とする。
すなわち、ＣＰＵ１７１は、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に達すると、メモリ１８に転送されたリンク情報に基づいてピッチを変化させることなく再生データＤの時間軸を変更するよう、再生部Ｒに再生データＤを再生させて、再生データＤに基づく音声を音声出力装置１ａから出力させる。

具体的には、ＣＰＵ１７１は、例えば、再生ポイントがリンク元Ｌ１の位置に達して、選択プログラム１７３ｂを実行したＣＰＵ１７１によりリンク先Ｌ２が選択されると、再生データ時間軸変更部１３において、再生ポイントが当該選択されたリンク先Ｌ２の位置に移動するよう、再生データＤの時間軸を変更する。
より具体的には、ＣＰＵ１７１は、例えば、前述の式（１）を用いて、リンク元Ｌ１のオーバーラップ領域と、選択されたリンク先Ｌ２のオーバーラップ領域と、をオーバーラップさせることによって、再生データＤの時間軸を変更する。
ＣＰＵ１７１は、かかる再生制御プログラム１７３ｃを実行することによって、再生制御手段として機能する。

表示制御プログラム１７３ｄは、例えば、記録媒体Ｍに記録されたリンク表示データに基づくリンク画像Ｇ２が合成された音声画像配置図Ｇ１を表示装置１ｂに表示させる機能を、ＣＰＵ１７１に実現させる。

具体的には、ＣＰＵ１７１は、例えば、記録媒体Ｍに記録されたリンク表示データを、読取部１１に読み取らせて、デコーダ１２を介して、リンク表示データ時間軸変更部１５に出力させる。
次いで、ＣＰＵ５７１は、例えば、リンク表示データ時間軸変更部１５において、再生データ時間軸変更部１３における再生データＤの時間軸の変更に応じて、リンク表示データの時間軸を変更して、表示装置１ｂに出力する。これにより、表示装置１ｂからは、音声出力装置１ｂから出力されている音声に対応した、リンク画像Ｇ２が合成された音声画像配置図Ｇ１が表示されることになる。なお、表示装置１ｂには、例えば、音背出力装置１ａから出力されている現時点での音声を含む過去から未来の音声に対応した、リンク画像Ｇ２が合成された音声画像配置図Ｇ１が表示される。

ここで、表示装置１ｂに表示された、リンク画像Ｇ２が合成された音声画像配置図Ｇ１の一例を図１４に示す。
図１４に示すリンク画像Ｇ２が合成された音声画像配置図Ｇ１では、例えば、横軸は時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音声画像Ｂの大きさによって音声の強度が表現され、各音声画像Ｂの形によって音声の音色（例えば、前述のＦＴＴ解析によって得られる倍音成分の構成比）が表現され、各音声画像Ｂの色によって音声の基本周波数（例えば、前述のケプストラム分析によって得られる基本周波数）が表現され、現時点を示す指標Ｓが表現されている。
さらに、図１４に示すリンク画像Ｇ２が合成された音声画像配置図Ｇ１では、例えば、リンク元Ｌ１とそのリンク元Ｌ１に対応するリンク先Ｌ２とを連結するリンクを示すリンク画像Ｇ２が、例えば、リンク元Ｌ１を起点とした矢印によって表現されている。

（再生処理）
次に、再生装置１による再生データＤの再生に関する処理について、図１５及び図１６のフローチャートを参照して説明する。

例えば、ユーザによる操作部１６の操作によって、記録媒体Ｍに記録された再生データＤを再生するよう指示されると、ＣＰＵ１７１は、メモリ１８に記憶された｛Ｆ，Ｋ｝をクリアする（例えば、ステップＳ５１）。

次いで、ＣＰＵ１７１は、記録媒体Ｍに記憶されたリンク情報を、読取部１１に読み取らせてデコーダ１２を介してメモリ１８に転送して、メモリ１８に記憶させる（ステップＳ５２）。

次いで、ＣＰＵ１７１は、再生制御プログラム１７３ｃを実行して、記録媒体Ｍに記録された再生データＤの再生を開始するとともに、表示制御プログラム１７３ｄを実行して、リンク表示データに基づくリンク画像Ｇ２（リンク画像Ｇ２が合成された音声画像配置図Ｇ１）の表示を開始させる（ステップＳ５３）。

次いで、ＣＰＵ１７１は、メモリ１８に記憶されたリンク情報に基づいて、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に達したか否かを判断する（ステップＳ５４）。

ステップＳ５４で、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に達していないと判断すると（ステップＳ５４；Ｎｏ）、ＣＰＵ１７１は、再生部Ｒによる再生データＤの再生ポイントが、再生データＤの末尾を越えるか否かを判断する（ステップＳ５５）。

ステップＳ５５で、再生部Ｒによる再生データＤの再生ポイントが、再生データＤの末尾を越えると判断すると（ステップＳ５５；Ｙｅｓ）、ＣＰＵ１７１は、本処理を終了する。

一方、ステップＳ５５で、再生部Ｒによる再生データＤの再生ポイントが、再生データＤの末尾を越えないと判断すると（ステップＳ５５；Ｎｏ）、ＣＰＵ１７１は、ステップＳ５４以降の処理を繰り返して行う。

また、ステップＳ５４で、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に達したと判断すると（ステップＳ５４；Ｙｅｓ）、ＣＰＵ１７１は、指定再生ポイント検出プログラム１７３ａを実行して、再生データ時間軸変更部１３において、再生データＤにおけるユーザによる操作部１６の操作により指定された現時点での再生速度に応じた指定再生ポイントのサンプル番号を検出する（ステップＳ５６）。

次いで、ＣＰＵ１７１は、ステップＳ５６で検出された指定再生ポイントが、再生データＤの末尾を越えるか否かを判断する（ステップＳ５７）。

ステップＳ５７で、ステップＳ５６で検出された指定再生ポイントが、再生データＤの末尾を越えると判断すると（ステップＳ５７；Ｙｅｓ）、ＣＰＵ１７１は、本処理を終了する。

一方、ステップＳ５７で、ステップＳ５６で検出された指定再生ポイントが、再生データＤの末尾を越えないと判断すると（ステップＳ５７；Ｎｏ）、ＣＰＵ１７１は、ステップＳ５８〜Ｓ６４の処理を行って、リンク先Ｌ２を選択する。

具体的には、ＣＰＵ１７１は、ＲＡＭ１７２の「フレーム番号Ｆ」記憶領域に再生部Ｒによる再生データＤの“再生ポイント（リンク元Ｌ１）が位置するフレームのフレーム番号”を設定し、ＲＡＭ１７２の「リンク番号Ｋ」記憶領域に“０（ゼロ）”を設定し、ＲＡＭ１７２の「最良のリンクのリンク番号Ｋ_opt」記憶領域に“０（ゼロ）”を設定し、ＲＡＭ１７２の「最良の評価値Ｅ_opt」記憶領域に“∞（無限大）”を設定する（ステップＳ５８）。

次いで、ＣＰＵ１７１は、選択プログラム１７３ｂを実行して、再生データ時間軸変更部１３において、リンク先サンプル番号link[Ｆ][Ｋ]のリンク先Ｌ２について、ステップＳ５６において検出された指定再生ポイントと、ステップＳ５２においてメモリ１８に転送されたリンク情報に含まれるリンク先サンプル番号link[Ｆ][Ｋ]に基づくリンク先ポイントと、の時間的誤差に関する誤差情報Ｅ_Ｔを取得して、当該取得した誤差情報Ｅ_Ｔと、ステップＳ５２においてメモリ１８に転送されたリンク情報に含まれる不一致度情報Ｅ_Ｅ（Ｅ_Ｅ＝不一致度err[Ｆ][Ｋ]）と、ステップＳ５２においてメモリ１８に転送されたリンク情報に含まれる損失情報Ｅ_Ｌ（Ｅ_Ｌ＝損失loss[Ｆ][Ｋ]）と、に基づいて評価値Ｅを算出する（ステップＳ５９）。

次いで、ＣＰＵ１７１は、ステップＳ５９で算出された評価値Ｅが、ＲＡＭ１７２の「最良の評価値Ｅ_opt」に記憶された値（最良の評価値Ｅ_opt）よりも小さいか否かを判断する（ステップＳ６０）。

ステップＳ６０で、ステップＳ５９で算出された評価値Ｅが、ＲＡＭ１７２の「最良の評価値Ｅ_opt」に記憶された値（最良の評価値Ｅ_opt）よりも小さくないと判断すると（ステップＳ６０；Ｎｏ）、ＣＰＵ１７１は、ステップＳ６４の処理に移行する。

一方、ステップＳ６０で、ステップＳ５９で算出された評価値Ｅが、ＲＡＭ１７２の「最良の評価値Ｅ_opt」に記憶された値（最良の評価値Ｅ_opt）よりも小さいと判断すると（ステップＳ６０；Ｙｅｓ）、ＣＰＵ１７１は、メモリ１８に記憶された｛Ｆ，Ｋ｝の個数が、所定の閾値を下回るか否かを判断する（ステップＳ６１）。

ステップＳ６１で、メモリ１８に記憶された｛Ｆ，Ｋ｝の個数が、所定の閾値を下回らないと判断すると（ステップＳ６１；Ｎｏ）、ＣＰＵ１７１は、ステップＳ６４の処理に移行する。

一方、ステップＳ６１で、メモリ１８に記憶された｛Ｆ，Ｋ｝の個数が、所定の閾値を下回ると判断すると（ステップＳ６１；Ｙｅｓ）、ＣＰＵ１７１は、ＲＡＭ１７２の「最良の評価値Ｅ_opt」記憶領域にステップＳ５９で算出された評価値Ｅを設定して、ＲＡＭ１７２の「最良のリンクのリンク番号Ｋ_opt」記憶領域にＲＡＭ１７２の「リンク番号Ｋ」記憶領域に設定されている値（リンク番号Ｋ）を設定する（ステップＳ６２）。

次いで、ＣＰＵ１７１は、ＲＡＭ１７の「リンク番号Ｋ」記憶領域に“Ｋ＋１”を設定して（ステップＳ６３）、ＲＡＭ１７２の「リンク番号Ｋ」記憶領域に記憶された値（リンク番号Ｋ）が、ステップＳ５２においてメモリ１８に転送されたリンク情報に含まれるリンク数Kmax[Ｆ]を超えるか否かを判断する（ステップＳ６４）。

ステップＳ６４で、ＲＡＭ１７２の「リンク番号Ｋ」記憶領域に記憶された値（リンク番号Ｋ）が、リンク情報に含まれるリンク数Kmax[Ｆ]を超えないと判断すると（ステップＳ６４；Ｎｏ）、ＣＰＵ１７１は、ステップＳ５９以降の処理を繰り返して行う。

一方、ステップＳ６４で、ＲＡＭ１７２の「リンク番号Ｋ」記憶領域に記憶された値（リンク番号Ｋ）が、リンク情報に含まれるリンク数Kmax[Ｆ]を超えると判断すると（ステップＳ６４；Ｙｅｓ）、ＣＰＵ１７１は、再生制御プログラム１７３ｃを実行して、再生部Ｒによる再生データＤの再生ポイントをリンク先サンプル番号link[Ｆ][Ｋ_opt]のリンク先Ｌ２に移動させる（ステップＳ６５）。
具体的には、ＣＰＵ１７１は、再生部Ｒによる再生データＤの再生ポイント（リンク元Ｌ１）のオーバーラップ領域と、リンク先サンプル番号link[Ｆ][Ｋ_opt]のリンク先Ｌ２のオーバーラップ領域と、をオーバーラップさせる。

次いで、ＣＰＵ１７１は、ステップＳ５２においてメモリ１８に転送されたリンク情報に含まれるカテゴリctgry[Ｆ][Ｋ_opt]が、カテゴリctgry[Ｆ][Ｋ_opt]＝０（恒等リンク）であるか否かを判断する（ステップＳ６６）。

ステップＳ６６で、カテゴリctgry[Ｆ][Ｋ_opt]＝０（恒等リンク）であると判断すると（ステップＳ６６；Ｙｅｓ）、ＣＰＵ１７１は、ステップＳ５４以降の処理を繰り返して行う。

一方、ステップＳ６６で、カテゴリctgry[Ｆ][Ｋ_opt]＝０（恒等リンク）でないと判断すると（ステップＳ６６；Ｎｏ）、ＣＰＵ１７１は、メモリ１８に｛Ｆ，Ｋ_opt｝を記憶させて（ステップＳ６７）、ステップＳ５４以降の処理を繰り返して行う。

以上説明した第１の実施の形態における再生装置１によれば、再生部Ｒによって、音声データからなる再生データＤを再生することができ、選択プログラム１７３ｂを実行したＣＰＵ１７１によって、再生データＤに対して予め設定されたリンク元Ｌ１に対応する複数のリンク先Ｌ２に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元Ｌ１と各リンク先Ｌ１との間の評価値Ｅを算出し、複数のリンク先Ｌ１の中から評価値Ｅにおける評価が最も高いリンク先Ｌ２を選択することができ、再生制御プログラム１７３ｃを実行したＣＰＵ１７１によって、再生部Ｒによる再生データＤの再生ポイントがリンク元Ｌ１に対応する位置に達すると、リンク元Ｌ１を選択プログラム１７３ｂを実行したＣＰＵ１７１により選択されたリンク先Ｌ１にリンクさせることによって当該再生ポイントをリンク先Ｌ２に対応する位置に移動させ、再生部Ｒに再生データＤを再生させることができる。
すなわち、予め設定されたリンク情報に基づいて再生データＤ（音声データ）を再生することができるため、再生時の計算負荷を抑えつつ、ピッチを変化させることなく再生データＤの時間軸を変更して再生ポイントを移動することができ、さらに、リンク情報に基づいて複数のリンク先Ｌ２の中から最適なリンク先Ｌ２を選択することができるため、ユーザにとって視聴し易い状態で再生データＤの可変速再生を行うことができる。

また、操作部１６によって、ユーザは再生データＤの再生速度を指定することができ、リンク情報は、再生データＤにおけるリンク先Ｌ２の位置に関するリンク先位置情報（リンク先サンプル番号link[Ｆ][Ｋ]）と、リンク元Ｌ１とリンク先Ｌ２との波形の不一致度に関する不一致度情報Ｅ_Ｅ（Ｅ_Ｅ＝不一致度err[Ｆ][Ｋ]）と、再生ポイントをリンク元Ｌ１からリンク先Ｌ２へ移動させることによって生じる信号エネルギーの損失に関する損失情報Ｅ_Ｌ（Ｅ_Ｌ＝損失loss[Ｆ][Ｋ]）と、を含み、選択プログラム１７３ｂを実行したＣＰＵ１７１は、再生データＤにおけるユーザによる操作部１６の操作により指定された再生速度に応じた指定再生ポイントと、リンク情報に含まれるリンク先位置情報（リンク先サンプル番号link[Ｆ][Ｋ]）に基づくリンク先ポイントと、の時間的誤差に関する誤差情報Ｅ_Ｔを取得し、当該取得した誤差情報Ｅ_Ｔと、リンク情報に含まれる不一致度情報Ｅ_Ｅと、リンク情報に含まれる損失情報Ｅ_Ｌと、に基づいて評価値Ｅを算出することができる。
したがって、誤差情報Ｅ_Ｔ（リンク先Ｌ２と指定再生ポイントとの時間的誤差）と、不一致度情報Ｅ_Ｅ（リンク元Ｌ１のオーバーラップ領域とリンク先Ｌ２のオーバーラップ領域との波形の不一致度）と、損失情報Ｅ_Ｌ（再生ポイントの移動によって生じる信号エネルギーの損失）と、を加味して、最適なリンク先Ｌ２を選択して再生データＤを再生するため、より一層ユーザにとって視聴し易い状態で再生データＤを再生できる。

また、評価値Ｅは、誤差情報Ｅ_Ｔと誤差情報Ｅ_Ｔに設定可能な誤差情報用重み付けＣ_Ｔとの積と、不一致度情報Ｅ_Ｅと不一致度情報Ｅ_Ｅに設定可能な不一致度情報用重み付けＣ_Ｅとの積と、損失情報Ｅ_Ｌと損失情報Ｅ_Ｌに設定可能な損失情報用重み付けＣ_Ｌとの積と、の和であり、評価値Ｅにおける評価が最も高いリンク先Ｌ２は、評価値Ｅが最も小さいリンク先Ｌ２である。
したがって、誤差情報Ｅ_Ｔ、不一致度情報Ｅ_Ｅ、損失情報Ｅ_Ｌにはそれぞれ重み付けが設定可能であるため、ユーザの好みに応じた重み付けを設定することによって、ユーザの好みに応じたリンク先Ｌ２を決定することができる。

また、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ１に関するリンク情報から取得される誤差情報Ｅ_Ｔと、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ１に関するリンク情報から取得される誤差情報Ｅ_Ｔと、には別個の誤差情報用重み付けＣ_Ｔが設定可能であり、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２に関するリンク情報に含まれる不一致度情報Ｅ_Ｅと、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２に関するリンク情報に含まれる不一致度情報Ｅ_Ｅと、には別個の不一致度情報用重み付けＣ_Ｅが設定可能であり、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２に関するリンク情報に含まれる損失情報Ｅ_Ｌと、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２に関するリンク情報に含まれる損失情報Ｅ_Ｌと、には別個の損失情報用重み付けＣ_Ｌが設定可能である。
したがって、リンク元Ｌ１よりも時間的に未来方向にあるリンク先Ｌ２を選択する場合（すなわち、再生データＤを高速再生する場合）と、リンク元Ｌ１よりも時間的に過去方向にあるリンク先Ｌ２を選択する場合（すなわち、再生データＤをスロー再生する場合）と、で別個の重み付けが設定可能であるため、より一層ユーザの好みに応じたリンク先Ｌ２を決定することができる。

また、メモリ１８によって、リンク先Ｌ２毎に、選択プログラム１７３ｂを実行したＣＰＵ１７１により選択された回数を記憶することができ、選択プログラム１７３ｂを実行したＣＰＵ１７１は、複数のリンク先Ｌ２のうちの、メモリ１８に記憶された回数（メモリ１８に記憶された｛Ｆ，Ｋ｝の個数）が所定の閾値を下回るリンク先Ｌ２の中から、評価値Ｅにおける評価が最も高いリンク先Ｌ２を選択することができる。
したがって、同じリンク先Ｌ２を繰り返して選択することを防止できるため、ユーザは不快感をおぼえることなく視聴することができる。

また、再生データＤは、再生データＤに対して予め設定されたリンク情報とともに記録媒体Ｍに記録されている。
したがって、記録媒体Ｍに記録されたリンク情報に基づいて再生データＤを再生することができる。

また、表示制御プログラム１７３ｄを実行したＣＰＵ１７１によって、リンク情報に基づいて作成されたリンク元Ｌ１と各リンク先Ｌ２との時間的な対応付けを表示するためのリンク表示データに基づくリンク画像Ｇ２を、表示装置１ｂに表示させることができる。
すなわち、リンクを可視化してユーザに呈することができるため、ユーザは予め再生データのどの位置にリンクが張られているかが分かることとなって、使い勝手が良い。
具体的には、例えば、主観的リンクを呈することによって、重要でない時間区間が再生データＤの中にどのように分布しているかをユーザに一望させることができ、ユーザ操作の支援になる。

また、リンク元Ｌ１のリンク情報は、そのリンク元Ｌ１の位置から所定の検索範囲内にある任意点のうちの、不一致度err[Ｆ][Ｋ]が最も小さい不一致度最小点をリンク先Ｌ２とした単純リンク情報を含む。
すなわち、単純リンク情報に基づくリンクは、リンク元Ｌ１のオーバーラップ領域の波形とリンク先Ｌ２のオーバーラップ領域の波形との不一致度が小さいリンクであるため、当該リンクを利用すると、再生ポイントを移動させても、再生データＤの波形の連続性を好適に維持することができることとなって、再生ポイントを移動させることによって生じる不快な音声の出力を抑えることができる。

また、再生データＤ中の無音領域内にリンク元Ｌ１が位置する場合、そのリンク元Ｌ１のリンク情報は、当該無音領域の開始点ＭＡ[ｍ]及び終了点ＭＢ[ｍ]をリンク先Ｌ２とした無音内リンク情報を含む。
すなわち、無音内リンク情報に基づくリンクは、無音領域内で移動するリンクであるため、当該リンクを利用すると、例えば、高速再生時に無音領域を省略したり、或いは、スロー再生時に無音領域で時間つぶしをすることができることとなって、有効である。

また、再生データＤ中の無音領域内のリンク元Ｌ１が位置する場合、そのリンク元Ｌ１のリンク情報は、当該無音領域とは異なる再生データＤ中の無音領域の終了点ＭＢ[ｍ]をリンク先Ｌ２とした無音間リンク情報を含む。
すなわち、無音間リンク情報に基づくリンクは、異なる無音領域間を移動するためのリンクであるため、当該リンクを利用すると、例えば、高速再生時に１単語を省略すること等ができることとなって、有効である。

また、再生データＤ中の周期音領域の開始点ＮＢ[ｎ]又は終了点ＮＢ[ｎ]にリンク元Ｌ１が位置する場合、そのリンク元Ｌ１のリンク情報は、それぞれ当該周期音領域の終了点ＮＢ[ｎ]及び開始点ＮＢ[ｎ]をリンク先Ｌ２とした周期音リンク情報を含む。
すなわち、周期音リンク情報に基づくリンクは、周期音領域内でのリンクであるため、当該リンクを利用すると、例えば、高速再生時に周期音領域を省略したり、或いは、スロー再生時に周期音領域で時間つぶしをすることができることとなって、有効である。

また、リンク元Ｌ１のリンク情報は、ユーザにより指定された指定リンク先をリンク先Ｌ２とした主観的リンク情報を含む。
すなわち、主観的リンク情報に基づくリンクは、ユーザが主観的に判断して設けるリンクであるため、当該リンクを利用すると、例えば、ユーザが重要であると判断した領域を省略することなく再生したり、或いは、ユーザが不要であると判断した領域は省略することができることとなって、有効である。

［第２の実施の形態]
次に、第２の実施の形態における再生装置１Ａについて説明する。
なお、第２の実施の形態の再生装置１Ａは、第１の実施の形態の再生装置１に、リンク情報作成装置３とリンク表示データ作成装置５とを含んで構成される装置である。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。

＜再生装置＞
再生装置１Ａは、例えば、所定の記録媒体ＭＡに記録された音声データからなる再生データＤに基づいてリンク情報を作成して記録媒体ＭＡに記録し、その後、記録媒体ＭＡに記録されたリンク情報に基づいて記録媒体ＭＡに記録された再生データＤを再生すると同時に、記録媒体ＭＡに記録された再生データＤ及びリンク情報に基づいてリンク表示データを作成して表示する。

具体的には、再生装置１Ａは、例えば、図１７に示すように、読取部１１Ａとデコーダ１２Ａと再生データ時間軸変更部１３とを備える再生部ＲＡと、リンク情報作成部３３と、エンコーダ３４と、再生データ出力制御部３５と、リンク表示データ作成部１５Ａと、操作部１６Ａと、制御部１７Ａと、メモリ１８と、などを備えて構成される。
また、再生装置１Ａは、例えば、再生データ出力制御部３５及び再生データ時間軸変更部１３を介して音声出力装置１ａＡを接続するとともに、再生データ出力制御部３５及びリンク表示データ作成部１５Ａを介して表示装置１ｂＡを接続している。

音声出力装置１ａＡは、例えば、第１の実施の形態の再生装置１に接続された音声出力装置１ａの機能と、リンク情報作成装置３に接続された音声出力装置３ａの機能と、などを有している。

表示装置１ｂＡは、例えば、第１の実施の形態の再生装置１に接続された表示装置１ｂの機能と、リンク情報作成装置３に接続された表示装置３ｂの機能と、などを有している。

読取部１１Ａは、例えば、第１の実施の形態の再生装置１の読取部１１の機能と、リンク情報作成装置３の読取部３１の機能と、リンク表示データ作成装置５の読取部５１の機能と、などを有している。

デコーダ１２Ａは、例えば、第１の実施の形態の再生装置１のデコーダ１２の機能と、リンク情報作成装置３のデコーダ３２の機能と、リンク表示データ作成装置５のデコーダ５２の機能と、などを有している。

リンク表示データ作成部１５Ａは、例えば、第１の実施の形態の再生装置１のリンク表示データ時間軸変更部１５の機能と、リンク表示データ作成装置５のリンク表示データ作成部５３の機能と、などを有している。

操作部１６Ａと、例えば、第１の実施の形態の再生装置１の操作部１６の機能と、リンク情報作成装置３の操作部３６の機能と、リンク表示データ作成装置５の操作部５６の機能と、などを有している。

制御部１７Ａは、例えば、図１８に示すように、ＣＰＵ１７１と、ＲＡＭ１７２と、記憶部１７３Ａと、などを備えて構成される。

記憶部１７３Ａは、例えば、再生装置１Ａで実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラム、これら各種処理プログラムを実行する際に使用されるデータ、ＣＰＵ１７１によって演算処理された処理結果のデータなどを記憶する。なお、プログラムは、コンピュータが読み取り可能なプログラムコードの形で記憶部１７３Ａに記憶されている。

具体的には、記憶部１７３Ａは、例えば、図１８に示すように、無音領域検出プログラム３７３ａと、周期音領域検出プログラム３７３ｂと、リンク情報作成プログラム３７３ｃと、リンク情報記録制御プログラム３７３ｄと、分析プログラム５７３ａと、再生データ画像化プログラム５７３ｂと、音声画像配置図作成プログラム５７３ｃと、リンク表示データ作成プログラム５７３ｄと、指定再生ポイント検出プログラム１７３ａと、選択プログラム１７３ｂと、再生制御プログラム１７３ｃと、表示制御プログラム１７３ｄＡと、などを記憶している。

ここで、リンク情報を作成するリンク情報作成手段は、例えば、リンク情報作成部３３と、無音領域検出プログラム３７３ａを実行したＣＰＵ１７１と、周期音領域検出プログラム３７３ｂを実行したＣＰＵ１７１と、リンク情報作成プログラム３７３ｃを実行したＣＰＵ１７１と、などにより構成される。

表示制御プログラム１７３ｄＡは、例えば、リンク表示データ作成プログラム５７３ｄを実行したＣＰＵ１７１によりリンク表示データ作成部１５Ａにおいて作成されたリンク表示データに基づくリンク画像Ｇ２が合成された音声画像配置図Ｇ１を表示装置１ｂＡに表示させる機能を、ＣＰＵ１７１に実現させる。

以上説明した第２の実施の形態における再生装置１Ａによれば、リンク情報を作成する、リンク情報作成部３３と、無音領域検出プログラム３７３ａを実行したＣＰＵ１７１と、周期音領域検出プログラム３７３ｂを実行したＣＰＵ１７１と、リンク情報作成プログラム３７３ｃを実行したＣＰＵ１７１と、などを備えているため、リンク情報を作成して、そのリンク情報に基づいて再生データＤを再生することができる。

また、再生装置１Ａは、再生データＤの再生時においても主観的リンク情報を作成することができる。
すなわち、例えば、再生データＤの再生時にユーザにより早送り再生がされると、その早送り再生がされた領域を省略するように主観的リンクを張ることができる。
この場合、早送り再生が開始された位置に最も近いフレーム内にあるリンク元Ｌ１から主観的リンクを張るよう決定するとともに、早送り再生が終了された位置を、その早送り再生が終了された位置から所定の範囲内にあり、且つ、主観的リンクを張るよう決定されたリンク元Ｌ１との波形の不一致度err[Ｆ][Ｋ]が小さくなる位置に変更するとよい。また、この場合、損失loss[Ｆ][Ｋ]は、ユーザにより入力された値であってもよいし、早送り再生時に作成する主観的リンク用として予め設定された値であってもよいし、早送り再生をするユーザ毎に設定された値であってもよい。

また、再生装置１Ａは、再生データＤの再生時に作成して表示することができるため、予めリンク表示データを作成する必要がない。

なお、本発明は、上記した実施の形態のものに限るものではなく、その要旨を逸脱しない範囲で適宜変更可能である。

第１及び第２の実施の形態において、再生データＤは、音声データのみからなる限りではなく、音声データ及び映像データからなってもよい。この場合、音声データに関するリンク情報だけでなく、映像データに関するリンク情報も作成して、音声データの時間軸と映像データの時間軸とを別個に変更してもよいし、音声データに関するリンク情報のみを作成して、音声データの時間軸の変更に応じて映像データの時間軸を変更するようにしてもよい。
また、第１及び第２の実施の形態において、映像データＤは、映像データのみからなってもよい。この場合、音声データに関するリンク情報に代えて、映像データに関するリンク情報を作成する必要がある。

第１及び第２の実施の形態において、リンク情報は、リンク先位置情報（リンク先サンプル番号link[Ｆ][Ｋ]）と、不一致度情報（不一致度err[Ｆ][Ｋ]）と、損失情報（損失loss[Ｆ][Ｋ]）と、を含む限りではなく、リンク情報に基づいて予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択することができるものであれば任意である。

第１及び第２の実施の形態において、ユーザにより指定された再生データＤの再生時間から、再生速度を算出して指定再生ポイントを検出してもよい。
すなわち、例えば、１時間分の再生データＤを、１５分で再生するようユーザによる操作部１６，１６Ａの操作により指定された場合、ユーザによる操作部１６，１６Ａの操作により指定された再生速度が“４倍速”であるとして、指定再生ポイントを検出し、そして、リンク先Ｌ２を選択して、再生ポイントを当該選択されたリンク先Ｌ２に移動させて再生データＤを再生するようにしてもよい。これにより、再生装置１，１Ａは、ユーザにとって視聴し易い状態で再生データＤのダイジェスト再生を行うことができる。

第１の実施の形態において、再生装置１と、リンク情報作成装置３と、は別体ではなく、一体であってもよい。この場合、再生データＤの再生時においても主観的リンク情報を作成することができる。
第１の実施の形態において、再生装置１と、リンク表示データ作成装置５と、は別体ではなく、一体であってもよい。この場合、リンク表示データは予め作成する必要はなく、再生データＤの再生時に作成して表示することができる。

第１及び第２の実施の形態において、リンク画像Ｇ２は、図１４に示すように、音声画像配置図Ｇ１に合成される必要はなく、また、リンク元Ｌ１を起点とした矢印でなくてもよく、リンク元Ｌ１と各リンク先Ｌ２との時間的な対応付けが可視化できるのであれば、任意であり、例えば、グラフ等であってもよい。

音声データからなる再生データを説明するための図である。 リンク元及びリンク先を説明するための図（ａ）と、リンク情報を示す図（ｂ）と、である。 リンク元のオーバーラップ領域と、リンク先のオーバーラップ領域と、のオーバーラップについて説明するための図である。 リンクの種類とカテゴリctgry[Ｆ][Ｋ]との関係を示す図である。 再生データ及びリンク情報の記録媒体への記録形態について説明するための図である。 リンク情報を作成するリンク情報作成装置の機能的構成を示すブロック図である。 リンク長と、対応するリンク長となるリンク先を選択し続けたときの平均再生速度の逆数と、の関係を示す図である。 リンク先の検索範囲と、対応する検索範囲内からリンク先を選択し続けたときに実現する平均再生速度と、の関係を示す図である。 リンク情報作成装置によるリンク情報の作成に関する処理について説明するためのフローチャートである。 リンク表示データを作成するリンク表示データ作成装置の機能的構成を示すブロック図である。 リンク表示データ作成装置によるリンク表示データの作成に関する処理について説明するためのフローチャートである。 第１の実施の形態における再生装置の機能的構成を示すブロック図である。 再生データの再生開始から現時点までのユーザにより指定された再生速度の変化の一例を示す図である。 表示装置に表示された、リンク画像が合成された音声画像配置図の一例を示す図である。 再生装置による再生データの再生に関する処理について説明するための第１フローチャートである。 再生装置による再生データの再生に関する処理について説明するための第２フローチャートである。 第２の実施の形態における再生装置の機能的構成を示すブロック図である。 図１７に示す制御部の機能的構成を示すブロック図である。

符号の説明

１，１Ａ 再生装置
１ｂ，１ｂＡ 表示装置
１６，１６Ａ 操作部（指定手段）
１８ メモリ（記憶手段）
１７１ ＣＰＵ（選択手段、再生制御手段、表示制御手段、リンク情報作成手段）
１７３ｂ 選択プログラム（選択手段）
１７３ｃ 再生制御プログラム（再生制御手段）
１７３ｄ 表示制御プログラム（表示制御手段）
３７３ａ 無音領域検出プログラム（リンク情報作成手段）
３７３ｂ 周期音領域検出プログラム（リンク情報作成手段）
３７３ｃ リンク情報作成プログラム（リンク情報作成手段）
Ｄ 再生データ
Ｇ２ リンク画像
Ｌ１ リンク元
Ｌ２ リンク先
Ｍ，ＭＡ 記録媒体
Ｒ，ＲＡ 再生部（再生手段）

Claims (14)

1. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
   前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
   前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
   前記再生データの再生速度を指定する指定手段と、
   前記リンク先毎に、前記選択手段により選択された回数を記憶する記憶手段と、を備え、
   前記リンク情報は、前記再生データにおける前記リンク先の位置に関するリンク先位置情報と、前記リンク元と前記リンク先との波形の不一致度に関する不一致度情報と、前記再生ポイントを前記リンク元から前記リンク先へ移動させることによって生じる信号エネルギーの損失に関する損失情報と、を含み、
   前記選択手段は、前記再生データにおける前記指定手段により指定された再生速度に応じた指定再生ポイントと、前記リンク情報に含まれるリンク先位置情報に基づくリンク先ポイントと、の時間的誤差に関する誤差情報を取得し、当該取得した誤差情報と当該誤差情報に設定された誤差情報用重み付けとの積と、前記リンク情報に含まれる不一致度情報と当該不一致度情報に設定された不一致度情報用重み付けとの積と、前記リンク情報に含まれる損失情報と当該損失情報に設定された損失情報用重み付けとの積と、の和である前記評価値を算出して、前記複数のリンク先のうちの、前記記憶手段に記憶された回数が所定の閾値を下回るリンク先の中から、当該評価値が最も小さいリンク先を選択することを特徴とする再生装置。
2. 請求項１に記載の再生装置において、
   前記リンク情報を作成するリンク作成手段を備えることを特徴とする再生装置。
3. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
   前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
   前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
   前記再生データの再生速度を指定する指定手段と、
   を備え、
   前記リンク情報は、前記再生データにおける前記リンク先の位置に関するリンク先位置情報と、前記リンク元と前記リンク先との波形の不一致度に関する不一致度情報と、前記再生ポイントを前記リンク元から前記リンク先へ移動させることによって生じる信号エネルギーの損失に関する損失情報と、を含み、
   前記選択手段は、前記再生データにおける前記指定手段により指定された再生速度に応じた指定再生ポイントと、前記リンク情報に含まれるリンク先位置情報に基づくリンク先ポイントと、の時間的誤差に関する誤差情報を取得し、当該取得した誤差情報と、前記リンク情報に含まれる不一致度情報及び損失情報のうちの少なくとも１つの情報と、に基づいて前記評価値を算出することを特徴とする再生装置。
4. 請求項３に記載の再生装置において、
   前記評価値は、前記誤差情報と当該誤差情報に設定可能な誤差情報用重み付けとの積と、前記不一致度情報と当該不一致度情報に設定可能な不一致度情報用重み付けとの積及び前記損失情報と当該損失情報に設定可能な損失情報用重み付けとの積のうちの少なくとも１つの積と、の和であり、
   前記評価値における評価が最も高いリンク先は、当該評価値が最も小さいリンク先であることを特徴とする再生装置。
5. 請求項４に記載の再生装置において、
   前記リンク元よりも時間的に未来方向にある前記リンク先に関するリンク情報から取得される誤差情報と、前記リンク元よりも時間的に過去方向にある前記リンク先に関するリンク情報から取得される誤差情報と、には別個の前記誤差情報用重み付けが設定可能であり、
   前記リンク元よりも時間的に未来方向にある前記リンク先に関するリンク情報に含まれる不一致度情報と、前記リンク元よりも時間的に過去方向にある前記リンク先に関するリンク情報に含まれる不一致度情報と、には別個の前記不一致度情報用重み付けが設定可能であり、
   前記リンク元よりも時間的に未来方向にある前記リンク先に関するリンク情報に含まれる損失情報と、前記リンク元よりも時間的に過去方向にある前記リンク先に関するリンク情報に含まれる損失情報と、には別個の前記損失情報用重み付けが設定可能であることを特徴とする再生装置。
6. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
   前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
   前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
   前記リンク先毎に、前記選択手段により選択された回数を記憶する記憶手段と、
   を備え、
   前記選択手段は、前記複数のリンク先のうちの、前記記憶手段に記憶された回数が所定の閾値を下回るリンク先の中から、前記評価値における評価が最も高いリンク先を選択することを特徴とする再生装置。
7. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
   前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
   前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
   を備え、
   前記再生データは、当該再生データに対して予め設定された前記リンク情報とともに所定の記録媒体に記録されていることを特徴とする再生装置。
8. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
   前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
   前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
   前記リンク情報に基づいて作成された前記リンク元と前記各リンク先との時間的な対応付けを表示するためのリンク表示データに基づくリンク画像を、表示装置に表示させる表示制御手段と、
   を備えることを特徴とする再生装置。
9. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
   前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
   前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
   を備え、
   前記再生データは音声データであり、
   前記再生データ中の無音領域内に前記リンク元が位置する場合、当該リンク元の前記リンク情報は、当該無音領域の開始点及び終了点を前記リンク先とした無音内リンク情報を含むことを特徴とする再生装置。
10. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
    前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
    前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
    を備え、
    前記再生データは音声データであり、
    前記再生データ中の無音領域内に前記リンク元が位置する場合、当該リンク元の前記リンク情報は、当該無音領域とは異なる当該再生データ中の無音領域の終了点を前記リンク先とした無音間リンク情報を含むことを特徴とする再生装置。
11. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
    前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
    前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
    を備え、
    前記再生データは音声データであり、
    前記再生データ中の周期音領域の開始点又は終了点に前記リンク元が位置する場合、当該リンク元の前記リンク情報は、それぞれ当該周期音領域の終了点及び開始点を前記リンク先とした周期音リンク情報を含むことを特徴とする再生装置。
12. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
    前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
    前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
    を備え、
    前記リンク元の前記リンク情報は、ユーザにより指定された指定リンク先を前記リンク先とした主観的リンク情報を含むことを特徴とする再生装置。
13. 音声データ及び／又は映像データからなる再生データを再生する再生手段と、
    前記再生データに対して予め設定されたリンク元に対応する複数のリンク先に関するリンク情報に基づいて、予め決められた所定の演算式によりリンク元と各リンク先との間の評価値を算出し、当該複数のリンク先の中から当該評価値における評価が最も高いリンク先を選択する選択手段と、
    前記再生手段による前記再生データの再生ポイントが前記リンク元に対応する位置に対して所定のポイントに達すると、当該リンク元を前記選択手段により選択されたリンク先にリンクさせることによって当該再生ポイントを当該リンク先に対応する位置に移動させ、前記再生手段に当該再生データを再生させる再生制御手段と、
    前記リンク情報を作成するリンク作成手段と、
    を備えることを特徴とする再生装置。
14. 請求項３〜１３の何れか一項に記載の再生装置において、
    前記リンク元の前記リンク情報は、当該リンク元の位置から所定の検索範囲内にある任意点のうちの、前記不一致度情報に基づく不一致度が最も小さい不一致度最小点を前記リンク先とした単純リンク情報を含むことを特徴とする再生装置。

Images