JP5093648B2 - 再生装置 - Google Patents

Description

本発明は、可変速再生を行う再生装置に関する。

ＶＣＲ（Video Cassette Recorder）やＤＶＤレコーダ、ハードディスクレコーダなどの再生装置においては、ユーザはリモートコントローラ（以下「リモコン」という）に設けられた「早送りボタン」や「巻戻しボタン」などを駆使することで、音声データ及び／又は映像データにより構成される再生データの再生中に、聞きたくない部分や見たくない部分を飛ばしたり、必要な部分を繰り返し聞いたり見たりすることができるようになっている。

しかしながら、例えば、ユーザの指示に従って、再生速度を標準速（１倍速）から２倍速に推移させてそのまま固定すると、再生速度が一瞬にして標準速から２倍速に変化するため、人間の聞き取り処理がその変化に対応できず、聞き落としが生じるという問題がある。
また、例えば、３倍速再生などの高速度再生の時間を、１０秒以上持続させると、ほとんどの場合聞き取れなくなってしまうが、０．５秒程度の短時間にすれば、多くの場合聞き落としはないということも分かっている。

従来、再生データの再生速度の制御については、ＶＣＲの機械的特性などに依存して緩やかに変化させるものや、段階的に速度を上昇／下降させるものはあった。

また、音声データを不連続な位置にジャンプさせた際、映像データを違和感なく再生するために、適度に増加させた速度や、段階的に増加させた速度、スプライン関数で制御された速度などで映像データを再生し、映像を音声に滑らかに一致させていく方法が提案されている（例えば、特許文献１参照）。

また、再生速度の変化を人間にとって快適にするために、再生速度を人工的に可変する技術として、追い付き再生（現在放送されているシーンまでの早送り再生）において、追い付く直前に再生速度を減速していき、現在の放送に滑らかにつなげる方法（例えば、特許文献２参照）や、音声データの高速度再生において、フレームを前半ブロックと後半ブロックに分割し、前半ブロックには次第に減衰率が大きくなるフェードアウト処理を施すとともに、後半ブロックには次第に減衰率が小さくなるフェードイン処理を施し、フェードアウト処理をした前半ブロックとフェードイン処理をした後半ブロックとを重ね合わせることによって、前後のフレームを滑らかにつなげる方法（例えば、特許文献３参照）が提案されている。

ところで、音声データに基づく音声の話速をユーザにとって聞きやすく修正する技術として、音声の時間軸変換（ＴＳＭ：Time Scale Modification）と呼ばれる技術が、既に公知になっている（例えば、特許文献４参照）。この時間軸変換技術を用いると、声の高さ（ピッチ）を変えずに、音声の長さを変えることができる。
また、時間軸変換技術を前提として、文頭ではゆっくり再生し、文末では速めに再生することで、文頭と文末とで再生速度が同一の場合と比較して、同じ再生時間であっても、より聞き取りやすく再生する再生プランを決定する方法が提案されている（例えば、特許文献５参照）。
特開２００１−１０３４０１号公報 特開２００１−９４９４８号公報 特開２００６−１２７６４７号公報 特開平１０−２５７５９６号公報 特開２００１−２２２３００号公報

しかしながら、上述の、再生データの再生速度の制御について、ＶＣＲの機械的特性などに依存して緩やかに変化させるものや、段階的に速度を上昇／下降させるものは、あくまでも再生データの再生速度の急激な変化に伴う不具合の程度を緩和するだけのものであり、再生データの再生速度の変化を、人間の特性に基づいて最適に調整できるものではない。さらに、高速度再生の持続時間に許容範囲があることまでを考慮して、再生データの再生速度の変化を最適に調整できるものでもない。

また、特許文献１は、最適な速度変化を決定する方法を示したものではなく、あくまでも再生データの再生速度の急激な変化に伴う不具合の程度を緩和するだけのものであり、再生データの再生速度の変化を、人間の特性に基づいて最適に調整できるものではない。

また、特許文献２及び３は、再生速度を人工的に可変するため、人間にとって不自然感をもたらすという問題がある。さらに、特許文献２及び３の再生速度の変化は便宜的なものであって、最適性の基準を持たないため、やはり再生データの再生速度の急激な変化に伴う不具合の程度を緩和するだけのものであり、再生データの再生速度の変化を、人間の特性に基づいて最適に調整できるものではない。

また、特許文献４は、決定された再生プランに基づいて、明瞭な音で再生するための手法（すなわち、ノイズを発生させないで音を再生する手法）を示したものであり、再生データの再生速度の変化を人間の特性に基づいて最適に調整するための再生プランを決定する手法を示したものではない。
また、特許文献５では、早送り再生を含んだ状況での再生プランの決定については述べられていないため、ユーザにより早送り再生が指示された際に、再生データの再生速度の変化を人間の特性に基づいて最適に調整するための再生プランを決定することはできない。

本発明の課題は、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる再生装置を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
ユーザによる前記再生装置の操作によって指示された前記再生データの記録時の速度とは異なる再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
を備え、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことを特徴とする。

請求項２に記載の発明は、
請求項１に記載の再生装置において、
前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記第１次再生プラン作成手段は、前記指示手段により指示された再生速度V１に応じた、現時点から未来に亘る第１次再生プランを作成し、
前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであり、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする。

請求項３に記載の発明は、
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
前記指示手段により指示された再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つを元にした線形関数又は非線形関数を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、非線形計画問題として非線形計画法を用いて解くものであり、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を線形関数又は非線形関数で含むことを特徴とする。

請求項４に記載の発明は、
再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
前記指示手段により指示された再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記第２次再生プラン作成手段は、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに、所定の値を最小又は最大にし、且つ、再生加速度が所定の範囲内にあるとともに、再生加速度が予め設定された時区間では一定である第２次再生プランを作成し、
前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする。

請求項５に記載の発明は、
請求項２〜４の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記第１次再生プラン作成手段により作成された第１次再生プランと、前記第２次再生プラン作成手段により作成された第２次再生プランと、の差が予め設定された規定範囲内にあるか否かを判断する判断手段と、
前記判断手段によって前記第１次再生プラン作成手段により作成された第１次再生プランと前記第２次再生プラン作成手段により作成された第２次再生プランとの差が予め設定された規定範囲内にないと判断された場合、又は、前記第２次再生プラン作成手段により前記制約条件を満たす第２次再生プランが作成されなかった場合に、前記出力装置から出力される再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整する音量調整手段と、
を備えることを特徴とする。

請求項６に記載の発明は、
請求項２〜５の何れか一項に記載の再生装置において、
前記所定の値は、前記第２次再生プランによる再生加速度の大きさを含むことを特徴とする。

請求項７に記載の発明は、
請求項２〜６の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データが、無音区間内の再生データであるか否かを判定する無音区間判定手段を備え、
前記第２次再生プラン作成手段は、前記無音区間判定手段によって前記取得手段により取得された再生データが無音区間内の再生データであると判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする。

請求項８に記載の発明は、
請求項２〜７の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データが、音声区間内の再生データであるか否かを判定する音声区間判定手段を備え、
前記第２次再生プラン作成手段は、前記音声区間判定手段によって前記取得手段により取得された再生データが音声区間内の再生データでないと判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする。

請求項９に記載の発明は、
請求項２〜８の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
前記取得手段により取得された再生データに基づく音声の話速を推定する話速推定手段を備え、
前記第２次再生プラン作成手段は、前記話速推定手段により推定された話速に応じて前記制約条件を変化させることを特徴とする。

請求項１０に記載の発明は、
請求項２〜９の何れか一項に記載の再生装置において、
前記記憶手段に記憶された再生データは、音声データ及び映像データにより構成されており、
前記所定の値は、前記第２次再生プランによる音声データの再生位置と、当該第２次再生プランによる映像データの再生位置と、の差を含むことを特徴とする。

請求項１１に記載の発明は、
音声データにより構成される再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
前記再生データを記憶する記憶手段と、
前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
前記指示手段により指示された再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
前記取得手段により取得された再生データの波形の一致度を考慮して、当該再生データの時間軸を変換する時間軸変換手段と、
前記時間軸変換手段により時間軸が変換された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
前記最適化問題は、目的関数として、前記第１次再生プランと前記第２次再生プランとの差と、前記第２次再生プランによる再生加速度の大きさと、の和を最小にするために、制約条件として、前記第２次再生プランによる再生位置の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであることを特徴とする。

本発明によれば、再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、再生データを記憶する記憶手段と、再生データの記録時の速度とは異なる再生速度に応じた、現時点から未来に亘る第１次再生プランを作成する第１次再生プラン作成手段と、第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランを作成する第２次再生プラン作成手段と、記憶手段に記憶された再生データの再生速度を指示するための指示手段と、第２次再生プラン作成手段により作成された第２次再生プランに従って、記憶手段から再生データを取得する取得手段と、取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、第１次再生プラン作成手段は、指示手段により指示された再生速度に応じた、現時点から未来に亘る第１次再生プランを作成し、最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであり、所定の値は、第１次再生プランと第２次再生プランとの差を含んでいる。
したがって、再生データの再生速度の変化を、ユーザが指示する再生速度との差を最小にし、且つ、判別可能条件の内部に収まるという制約条件を満たすように調整できるため、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる。

以下、図を参照して、本発明にかかる再生装置の最良の形態を詳細に説明する。なお、発明の範囲は、図示例に限定されない。

＜基礎的実験の概要＞
本発明にかかる再生装置１の構成など（実施例）を説明する前に、まず、人間の特性を知るために行った基礎的実験の概要について説明する。

「人間が聞き取ることのできる再生速度変化の限界」が定量化できれば、再生装置１は、その限界に基づいて再生データを再生できるので、視聴者に最も時間的効率のよい視聴をさせることが可能となる。また、「人間がストレスを感じない再生速度変化の限界」が定量化できれば、再生装置１は、その限界に基づいて再生データを再生できるので、視聴者に不快感を生じさせないままで効率のよい視聴をさせることが可能となる。
そこで、人間の特性を知るために、被験者に対して任意の速度変化で話速を変化させた音声を提示できる実験装置１０００を作成し、以下の実験を行った。

実験装置１０００は、例えば、図１に示すように、スライド型可変抵抗器２０００と、モニタ３０００と、デジタル信号処理装置４０００と、ヘッドホン５０００と、スイッチ６０００と、などを備えて構成される。
例えば、図１に示すように、操作者は、モニタ３０００の画面を見ながら、スライド型可変抵抗器２０００を操作するようになっており、被験者は、ヘッドホン５０００から出力される音声を聞きながら、スイッチ６０００を操作するようになっている。
また、実験装置１０００は、例えば、図１に示すように、実験結果解析用計算機９０００と接続されており、実験装置１０００により得られた実験結果は、実験結果解析用計算機９０００において解析されるようになっている。

操作者は、例えば、スライド型可変抵抗器２０００を操作して、記憶媒体４１００に記憶された音声データの再生速度を随時変化させる。
具体的には、操作者は、例えば、音声データの再生プランの軌跡がマクロ速度−加速度平面（後述）をまんべんなくうめつくすように、モニタ３０００に表示されるマクロ速度−加速度平面図を見ながら、スライド型可変抵抗器２０００を操作する。

デジタル信号処理装置４０００は、例えば、ＳＤ（Secure Digital）メモリカードなどの記憶媒体４１００に記憶された音声データをスライド型可変抵抗器２０００の位置に応じた再生速度で再生して、実験結果を記録する。
具体的には、デジタル信号処理装置４０００は、例えば、図１に示すように、記憶媒体４１００と、読取部４２００と、デコーダ４３００と、時間軸変換部４４００と、制御部４５００と、実験結果記録用メモリ４６００と、などを備えて構成される。

制御部４５００は、例えば、図１に示すように、ＣＰＵ（Central Processing Unit）４５１０と、ＲＡＭ（Random Access Memory）４５２０と、記憶部４５３０と、などを備えて構成されている。
記憶部４５３０は、例えば、図１に示すように、再生速度決定プログラム４５３１と、読取位置決定プログラム４５３２と、マクロ速度／加速度算出プログラム４５３３と、マクロ速度／加速度グラフ化プログラム４５３４と、音声強度算出プログラム４５３５と、などを記憶している。

ＣＰＵ４５１０は、例えば、再生速度決定プログラム４５３１を実行して、スライド型可変抵抗器２０００の位置に応じた再生速度V(t)を決定する。
次いで、ＣＰＵ４５１０は、例えば、読取位置決定プログラム４５３２を実行して、当該決定された再生速度V(t)に基づいて、記憶媒体４１００に記憶された音声データの読取位置を決定する。
次いで、読取部４２００は、制御部４５００から入力される制御信号に従って、例えば、記憶媒体４１００に記憶された音声データのうちの当該決定された読取位置にある音声データを取得して、デコーダ４３００に出力する。
次いで、デコーダ４３００は、制御部４５００から入力される制御信号に従って、例えば、読取部４２００から入力された音声データにデコード等の所定の処理を施して、時間軸変換部４４００及び制御部４５００に出力する。
次いで、時間軸変換部４４００は、制御部４５００から入力される制御信号に従って、例えば、異音を発生させることなく、ピッチを変えずに話速のみを変化させる既存の時間軸変換技術（例えば、ＴＳＭなど）を用いて、デコーダ４３００から入力された音声データの時間軸を変換して、図示しないアンプを介して、ヘッドホン５０００に出力する。
これにより、ヘッドホン５０００から音声データに基づく音声が出力されることになる。

また、ＣＰＵ４５１０は、例えば、マクロ速度／加速度算出プログラム４５３３を実行して、当該決定された再生速度V(t)に基づいて、マクロ速度（後述）及びマクロ加速度（後述）を算出する。
次いで、ＣＰＵ４５１０は、例えば、マクロ速度／加速度グラフ化プログラム４５３４を実行して、当該算出されたマクロ速度及びマクロ加速度をグラフ化することによって、操作者から指示された再生プラン（再生速度変化）の軌跡が描かれたマクロ速度−加速度平面図を作成し、そのマクロ速度−加速度平面図をモニタ３０００に表示させる。
また、ＣＰＵ４５１０は、例えば、音声強度算出プログラム４５３５を実行して、デコーダ４３００から入力された音声データに基づいて音声強度P(t)を算出する。

被験者は、例えば、操作者によるスライド型可変抵抗器２０００の操作によって再生速度が調整された音声を聞き取り、語句が聞き取れるか否かを判定する。
具体的には、被験者は、例えば、ヘッドホン５０００から出力される音声を聞き取り、語句が聞き取れない時区間の間はスイッチ６０００を「ＯＮ」にし、語句が聞き取れる時区間の間はスイッチ６０００を「ＯＦＦ」にする。

そして、ＣＰＵ４５１０は、例えば、再生速度決定プログラム４５３１を実行したＣＰＵ４５１０により決定された再生速度V(t)と、スイッチ６０００の状態Z(t)と、を時系列として実験結果記録用メモリ４６００に記録するとともに、例えば、再生された音声が無音区間の音声であるか否かを記録しておくために、音声強度算出プログラム４５３５を実行したＣＰＵ４５１０により算出された音声強度P(t)も同時に実験結果記録用メモリ４６００に記録する。
具体的には、再生速度V(t)の表現の仕方としては、例えば、時刻ｔにおいて、標準速の場合をV(t)＝１．０、２倍速の場合をV(t)＝２．０、などとすることにする。
また、スイッチ６０００の状態Z(t)の表現の仕方としては、例えば、時刻ｔにおいて、スイッチ６０００が「ＯＮ」である場合をZ(t)＝１、スイッチ６０００が「ＯＦＦ」である場合をZ(t)＝０、とすることにする。

そして、実験結果記録用メモリ４６００に記録されたV(t)、Z(t)、P(t)を、実験結果解析用計算機９０００に転送して、実験結果解析用計算機９０００により解析し、人間が語句を聞き取るためには、再生速度V(t)はどのような条件を満たせばよいか解析した。

人間が語句を聞き取るための条件が単純なものでないことは明らかである。
例えば、「再生速度が２．２倍速よりも小さいと聞き取れる」という単純な条件であれば、所望の条件は、V(t)＜２．２となる。
しかしながら、例えば、V(t)＝１．０からゆっくり時間をかけて速度を上昇させてV(t)＝２．２にする場合は、語句を十分に聞き取れることが多いのに対し、V(t)＝１．０から一瞬にして速度を上昇させてV(t)＝２．２にする場合は、人間の脳が速度変化に対応し切れずに、変化直後の数秒間は語句の聞き落としが生じてしまうことが多い。
さらに、例えば、０．０２秒間はV(t)＝１０にして、直ぐにV(t)＝１．０に戻す場合は、高速度再生の期間がほんの一瞬であるため、語句の聞き取りに何の問題も生じないことが多い。

以上のようなことを考えると、人間が語句を聞き取るための条件は、“V(t)＜定数”のように書き表せるような単純なものでないことは明らかである。
そこで、人間が語句を聞き取るための条件は、本質的に２つの指標に関する条件から成り立っていると考えることにする。

第１の指標は、一定幅の時区間での平均再生速度（以下「マクロ速度V_Ｍ(t)」という）である。
第１の指標を、瞬間的な再生速度とせずに、マクロ速度V_Ｍ(t)としたのは、音韻を識別していく場合、ある決まった長さの音声波形が必要であるし、また、音声を語句として識別していく場合、脳の処理速度に限界があるため、単位時間あたりの処理可能な語句の数に制限がありそうだからである。

再生する音声データ（音声波形データ）が、例えば、図２（ａ）に示すものであるとすると、マクロ速度V_Ｍ(t)は、例えば、図２（ｂ）に示すように、現時点から過去L_Ａ秒に亘る時区間L_Ａにおける平均再生速度として、すなわち、以下の式（１）のように定義する。

なお、マクロ速度V_Ｍ(t)は、さらに一般的な形として、以下の式（２）の条件を満たす重み関数W_Ｖで重みをつけることによって、以下の式（３）のように定義することもできる。図２（ｄ）には、図２（ｂ）を実現するための重み関数W_Ｖの例を示す。このとき、W_Ｖ(τ)＝１／L_Ａである。

第２の指標は、一定幅の時区間での再生加速度（以下「マクロ加速度A_Ｍ(t)」という）である。
第２の指標として、マクロ加速度A_Ｍ(t)を挙げたのは、上述のように、同じ話速であっても、ゆっくりと速度を変化させたときと、一瞬にして速度を変化させたときとでは、語句の聞き取りに差が出るため、加速度的な指標が必要であると考えたからである。
再生する音声データ（音声波形データ）が、例えば、図２（ａ）に示すものであるとすると、マクロ加速度A_Ｍ(t)は、例えば、図２（ｃ）に示すように、加速度を評価する２つの時区間（例えば、現時点から過去L_Ｂ秒に亘る時区間と、過去L_Ｂ秒から過去L_Ｂ＋L_Ｃ秒に亘る時区間）を決めて、現時点から過去L_Ｂ秒に亘る時区間における平均再生速度と、過去L_Ｂ秒から過去L_Ｂ＋L_Ｃ秒に亘る時区間における平均再生速度との差を、両時区間の中心間の時間差（すなわち、現時点から過去L_Ｂ秒に亘る時区間の中央から過去L_Ｂ秒から過去L_Ｂ＋L_Ｃ秒に亘る時区間の中央までの時間）で除算したものとして、すなわち、以下の式（４）のように定義する。

なお、マクロ加速度A_Ｍ(t)は、さらに一般的な形として、以下の式（５）の条件を満たす重み関数W_Ａで重みをつけて、時間長L_Ｅにわたって速度を加重平均することによって、以下の式（６）のように定義することもできる。

ちなみに、一般的なマクロ加速度の定義である式（６）で式（４）のマクロ加速度を表現するためには、重み関数W_Ａを、以下の式（７）〜（９）とし、時間長L_Ｅを、以下の式（１０）とすればよい。具体例を示すと、例えば、図２（ｃ）のマクロ加速度は、図２（ｅ）で示される重み関数W_Ａで表現できる。

さて、マクロ速度VＭ(t)とマクロ加速度AＭ(t)は、語句の聞き取りに関する人間の負担を定量化したものであり、本来は別個のものである。しかしながら、語句を聞き取ろうとする人間の総合的な負担は、両者の組み合わせによって決まると考えられる。
そこで、マクロ速度VＭ(t)を横軸にとり、マクロ加速度AＭ(t)を縦軸にとった２次元平面としてマクロ速度−加速度平面を考え、人間が語句を聞き取り可能な条件（判別可能条件）は、このマクロ速度−加速度平面内にある特定領域の内部であると考えることにする。

操作者が、モニタ３０００に表示されたマクロ速度−加速度平面上に描かれていくマクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)とを要素とするベクトルの軌跡（再生プランの軌跡）を見ながら、スライド型可変抵抗器２０００を操作することで、再生プランの軌跡でマクロ速度−加速度平面をうめつくしていくことができる。このとき、マクロ速度−加速度平面内の、判別可能条件を満たす領域（Z(t)＝０に対応する軌跡が入る領域）と、判別可能条件を満たさない領域（Z(t)＝１に対応する軌跡が入る領域）と、をより高い分離度で分離できるパラメータL_Ａ、L_Ｂ、L_Ｃを選択することができれば、判別可能条件を、速度だけの単純な条件よりも、人間の特性により近いものとして記述できることになる。
そこで、マクロ速度−加速度平面における判別可能条件を満たす領域と判別可能条件を満たさない領域とを、より高い分離度で分離できるパラメータL_Ａ、L_Ｂ、L_Ｃの組を探索するために、実験を行った。

図３及び図４は、ある被験者に対してある音声データに基づく音声を聞かせた場合の実験結果の例である。図３は、あまり適切でないパラメータL_Ａ、L_Ｂ、L_Ｃの組（具体的には、L_Ａ＝２．０秒、L_Ｂ＝０．５秒、L_Ｃ＝０．５秒）を選択した場合の例であり、図４は、適切なパラメータL_Ａ、L_Ｂ、L_Ｃの組（具体的には、L_Ａ＝０．５秒、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒）を選択した場合の例である。
図３（ａ）及び図４（ａ）は、再生時間８分４０秒分の再生プランの全軌跡を示し、図３（ｂ）及び図４（ｂ）は、再生時間８分４０秒分の再生プランの全軌跡のうちの、被験者が語句を聞き取ることができなかった時区間の軌跡（Z(t)＝１に対応する軌跡）のみを抜き出したものを示す。

図３及び図４によれば、図３に示す場合よりも、図４に示す場合の方が判別可能条件を満たす領域と判別可能条件を満たさない領域とを高い分離度で分離できることが分かる。すなわち、図３及び図４によれば、パラメータL_Ａ、L_Ｂ、L_Ｃの組が異なれば、判別可能条件を満たす領域と、判別可能条件を満たさない領域と、の分離に差が出ることが分かる。

このパラメータL_Ａ、L_Ｂ、L_Ｃの組を探索するための実験を、延べ７名の被験者に対して行って総計した結果を図５に示す。
具体的には、図５は、適切なパラメータL_Ａ、L_Ｂ、L_Ｃの組（具体的には、L_Ａ＝０．５秒、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒）を選択した場合の、マクロ速度−加速度平面における聞き取れる割合（Z(t)＝１とZ(t)＝０の割合）を図式化したものである。灰色の濃さが濃いほど聞き取れる割合が高いことを示し、灰色の濃さが薄いほど聞き取れる割合が低いことを示し、白色は誰も聞き取ることができなかったことを示す。なお、背景の斜線領域は、再生プランの軌跡が通過しなかった領域である。

図５によれば、適切なパラメータL_Ａ、L_Ｂ、L_Ｃの組を選択すれば、マクロ速度−加速度平面における判別可能条件を満たす領域と判別可能条件を満たさない領域とを、より高い分離度で分離できること（すなわち、語句を聞き取れるか否かの判定をより高い精度で行うこと）ができそうであることが分かる。また、判別可能条件を満たす領域と判別可能条件を満たさない領域との分割の際には、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)の何れか一方を用いるよりも、両方を用いるほうがよりよい分割ができそうであることも分かる。

図５に示すマクロ速度−加速度平面を、判別可能条件を満たす領域（S_０）と、判別可能条件を満たさない領域（S_１）と、に分割するためには、図６に示すように、数本の直線を用いて折れ線を作り、その折れ線によって領域を分離するのが簡単である。
具体的には、例えば、図６に示した折れ線は、折れ線を構成する４本の直線の組み合わせのうち、領域を最適に分割するものを探索するプログラムを作成して求めたものである。このときの最適性の基準は、以下の式（１１）で示される分割の評価関数E_Ｄを最小化することとした。

式（１１）に示すように、分割の評価関数E_Ｄは、「全再生時間の長さに対する、判別可能条件を満たす領域S_０内にありながら聞き取れなかった時間の長さの割合」と、「全再生時間の長さに対する、判別可能条件を満たさない領域S_１内にありながら聞き取れた時間の長さの割合」と、の加重和である。加重Wは、前者の方に大きなペナルティを課すための係数であり、例えば、W＝６．０程度にすると、良好な結果が得られる。

なお、折れ線を構成する直線の本数は任意であり、例えば、マクロ速度−加速度平面の縦軸に平行な直線及び横軸に平行な直線の２本の直線により構成してもよい。このように構成するためには、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)を線形変換して、新たなマクロ速度とマクロ加速度を定義すればよく、新たなマクロ速度とマクロ加速度に与えられた別個の上限のみで判別可能条件を満たす領域S_０が定義できるとともに、マクロ速度−加速度平面の縦軸及び横軸に対して平行にならない直線を考える必要がないため、この後の処理の簡易化に役立つ。

いずれにしても、あるパラメータL_Ａ、L_Ｂ、L_Ｃの組に対する分割の評価関数E_ＤをE_Ｄ(L_Ａ，L_Ｂ，L_Ｃ)とすると、分割の評価関数E_Ｄを最小にする折れ線を決定するプログラム（すなわち、折れ線を構成する直線の組み合わせの中から領域を最適に分割するものを探索するプログラム）を使えば、E_Ｄ(L_Ａ，L_Ｂ，L_Ｃ)に最小値を与える特定のパラメータL_Ａ、L_Ｂ、L_Ｃの組を求めることができる。
そこで、パラメータL_Ａ、L_Ｂ、L_Ｃの組の組み合わせを変えて、分割の評価関数E_Ｄの変化を調べる実験を行った。

図７は、L_Ａ＝０．５秒に固定して、L_ＢとL_Ｃを変化させたときの分割の評価関数E_Ｄの変化を３次元プロットしたものである。図７の水平平面はL_Ｂ−L_Ｃ平面を示し、垂直座標は分割の評価関数E_Ｄを示す。すなわち、高さ方向が分割の評価関数E_Ｄの大きさであるため、３次元プロットの高さが低い点ほど評価がよいことになる。この結果から、L_Ａ＝０．５秒の場合には、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒が最適であることが分かった。

図８は、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒に固定して、L_Ａを変化させたときの分割の評価関数E_Ｄの変化を２次元プロットしたものである。図８の横軸はL_Ａを示し、縦軸は分割の評価関数E_Ｄを示す。この結果から、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒の場合には、L_Ａ＝０．５秒付近に最適値があることが分かった。

すなわち、図７及び図８によれば、現時点での暫定的な結論であるが、L_Ａ＝０．５秒、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒の組が、最適なパラメータL_Ａ、L_Ｂ、L_Ｃの組であることが分かった。

なお、音声のエネルギーが小さい時区間は無音区間であると考えられるので、本基礎的実験の結果の解析からは除外してある。具体的には、例えば、実験結果記録用メモリ４６００に記録された音声強度P(t)を用いて、その音声強度P(t)を前後合計１秒間で平均した平均音声強度を算出し、平均音声強度が閾値よりも低ければ、無音区間であると推定して解析から取り除いた。当該閾値は、全時区間に対する無音区間の割合が１０％程度となるよう調整してあるものを用いた。
また、被験者がスイッチ６０００をＯＮ／ＯＦＦする反応時間についても、所定の方法で補正してある。

本基礎的実験の実験結果をまとめると、適切なマクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)を定義すれば、人間が語句を聞き取ることができるか否かは、そのマクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)とを要素とするベクトルの軌跡（再生プランの軌跡）が、マクロ速度−加速度平面を折れ線で分割した領域のうちの判別可能条件を満たす領域S_０内に入っているか否かから推定することができる。したがって、ユーザに語句を聞き取らせるためには、常に判別可能条件を満たす領域S_０内に入るような再生プランを設計すればよいわけである。

なお、L_Ａ＝０．５秒、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒という値や、図６で示した折れ線の傾きや本数などは、現時点での暫定的な結論にすぎないため、これに限られることはない。
しかしながら、ある一定幅の時区間での再生速度を式（３）や式（６）のように加重平均して（線形和をとって）、２つ以上のマクロ指標（例えば、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)）を生成し、このマクロ指標に対する不等式（例えば、図６のマクロ速度−加速度平面に示した折れ線の内側）によって聞き取りの可否を判定する点、すなわち、一定時区間での再生速度の線形結合を２つ以上生成し、これらの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面（例えば、マクロ速度−加速度平面）内にある判別可能条件を示す予め設定された領域S_０の内部に収まるか否かによって聞き取りの可否を判定する点、は普遍であり、これが本発明での本質である。

＜マクロ速度及びマクロ加速度を定式化する＞
次に、基礎的実験の概要において定義したマクロ速度及びマクロ加速度を定式化する手法について説明する。

ユーザが指定する再生速度による時間進行を第１次再生プランP_１とし、時刻ｔにおける第１次再生プランP_１による再生位置をP_１(t)とする。これは、ユーザの世界での時刻ｔにおいて、再生データの時間座標P_１(t)の部分が再生されることを意味する。
これに対し、第１次再生プランP_１を人間の特性に応じて修正した時間進行を第２次再生プランP_２とし、時刻ｔにおける第２次再生プランP_２による再生位置をP_２(t)とする。

ここで、本来、時刻ｔは、単位が“秒”の連続量であるが、デジタル信号処理を行う場合、離散化しておいたほうが都合がよい。そこで、時間軸は、サンプリング周波数F_Ｐで離散化されており、時刻ｔは離散時間でのサンプリング番号を表すこととする。すなわち、ｔ＝０は、ユーザ時間での０秒を指し、ｔ＝１は、ユーザ時間での１／F_Ｐ秒を指すものとする。また、以下では、時区間を示すパラメータL_Ａ、L_Ｂ、L_Ｃについてもサンプリング周波数F_Ｐでのサンプル数で表すことにする。
なお、サンプリング周波数F_Ｐの値は任意であるが（好ましくは、数Hz〜１００Hz程度）、再生データが音声データ及び映像データにより構成される場合は、サンプリング周波数F_Ｐを映像のフレーム周波数（例えば、３０Hzや６０Hzなど）と一致させておくと実装が容易になる。

また、再生データの時間座標も、本来は単位が“秒”であるが、再生データを構成する音声データのサンプリング周波数F_Ｓでのサンプル数で表現しておくと都合がよい。例えば、サンプリング周波数F_Ｓが４４．１kHzである場合、P_１(t)＝０は、再生データの開始地点を指し、P_１(t)＝１は、再生データの開始地点から１／４４１００秒経過した位置を指すものとする。

以上のように取り決めると、式（１）で定義されるマクロ速度V_Ｍ(t)は、第２次再生プランP_２による再生位置P_２(t)に対しては、以下の式（１２）のように書き表すことができる。

式（３）で定義される、より一般的なマクロ速度V_Ｍ(t)については、式（１２）と同様、異なる時点におけるP_２(t)の線形結合になる。すなわち、より一般的なマクロ速度V_Ｍ(t)は、P_２(t)との関係が以下の式（１３）で表される第２次再生プランP_２による再生速度V_２(t)を用いると、以下の式（１４）のように書き表すことができ、そして、式（１３）の関係を使えば、式（１４）は、以下の式（１５）、さらには以下の式（１６）のように書き直すことができる。

式（４）で定義されるマクロ加速度A_Ｍ(t)は、第２次再生プランP_２による再生位置P_２(t)に対しては、以下の式（１７）、さらには以下の式（１８）のように書き表すことができ、マクロ加速度A_Ｍ(t)も、マクロ速度V_Ｍ(t)と同様、異なる時点におけるP_２(t)の線形結合になっている。

式（６）で定義される、より一般的なマクロ加速度A_Ｍ(t)については、式（６）が式（３）と類似の形をしていることを利用して、式（１６）の結果をそのまま使って、以下の式（１９）のように書き表すことができる。

式（１２）、式（１６）、式（１８）、式（１９）を総合すると、マクロ速度V_Ｍ(t)も、マクロ加速度A_Ｍ(t)も、異なる時点におけるP_２(t)の線形結合で書き表すことができることが分かる。そこで、時間τだけ過去のP_２(t)に対する線形加重を新たにM_Ｖ(τ)若しくはM_Ａ(τ)と記述することにすると、式（１２）、式（１６）は、以下の式（２０）のように書き直すことができ、式（１８）、式（１９）は、以下の式（２１）のように書き直すことができる。

ここで、式（２０）及び式（２１）のL_Ｍは、式（１２）と式（１８）の定義においては、L_ＡとL_Ｂ＋L_Ｃのうちの何れか大きな方であり、式（１６）と式（１９）の定義においては、L_ＡとL_Ｅ（＝L_Ｂ＋L_Ｃ）のうちの何れか大きな方である。

式（２０）及び式（２１）は、第１次再生プランP_１による再生位置P_１(t)と第２次再生プランP_２による再生位置をP_２(t)との差d(t)（＝P_１(t)−P_２(t)）を使うと、それぞれ以下の式（２２）及び式（２３）のように書き表すことができる。なお、式（２２）及び式（２３）において、負のτに対するd(t−τ)は、“０”であるものとしておく。

なお、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)を再生位置（P_１(t)若しくはP_２(t)）で書き表したが、すなわち、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)を再生位置の関数として議論したが、第２次再生プランP_２による再生速度V_２(t)は、V_２(t)＝(F_Ｐ/F_Ｓ)(P_２(t)−P_２(t−1))で再生位置と関係付けられており、第２次再生プランP_２による再生加速度A_２(t)は、A_２(t)＝F_Ｐ(V_２(t)−V_２(t−1))で再生速度と関係付けられているので、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)を、再生位置の関数とする代わりに、再生速度の関数や再生加速度の関数としても本質的には同じことである。

＜線形計画法に帰着させる＞
次に、定式化したマクロ速度V_Ｍ(t)及びマクロ加速度A_Ｍ(t)を、線形計画法に帰着させる手法について説明する。

まず、図６に示した折れ線を定式化する。
判別可能条件を満たす領域S_０は、折れ線で囲まれた凸領域であり、その折れ線は、Ｋ本の直線で構成されているとする。このとき、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)を持つ再生プランの時刻ｔの瞬間が、S_０に含まれる条件は、V_Ｍ(t)とA_Ｍ(t)に関する線形条件として、以下の式（２４）のようにＫ個の不等式で書き表すことができる。ここで、式（２４）のC_Ｖｋ、C_Ａｋ、C_Ｃｋは、折れ線を構成する各直線の位置や傾きによって決まるパラメータである。

現時点が時刻t_０であるとする。単純に考えると、式（２４）をｔ＝t_０において満たすという制約のもとで、第１次再生プランP_１による再生位置P_１(t_０)と第２次再生プランP_２による再生位置P_２(t_０)との差｜d(t_０)｜＝｜P_１(t_０)−P_２(t_０)｜を最小にするという問題を解いて、P_２(t_０)を決定すればよさそうである。しかしながら、式（２４）を構成するマクロ速度V_Ｍ(t)やマクロ加速度A_Ｍ(t)が、過去の時点におけるP_２(t_０)によって定義されているため、ｔ＝t_０において式（２４）が満たせても、ｔ＞t_０においては式（２４）が満たせなくなってしまう可能性がある。
このような障害が起こらないようにするために、現時点の時刻t_０での第２次再生プランP_２の決定において、未来の数秒間（例えば、L_Ｊサンプル分の時区間）で式（２４）が成立するように、時刻t_０の時点で制約してやる必要がある。
そのためには、まず、未来の第１次再生プランP_１を予測しなければならない。

具体的には、操作者から指示される再生速度を予測して、t_０＜t＜t_０＋L_ＪにおいてP_１(t)を決める。
操作者から指示される再生速度の予測の仕方については、任意であるが、例えば、操作者による現操作が継続される（例えば、「早送りボタン」が押されているなら押し続けられる）と仮定して決めてもよいし、スライド型可変抵抗器２０００のように自由に再生速度を設定できる操作器が操作されている場合は、その速度変化が一定である（例えば、加速が続いているならば同じ加速度で加速する）と仮定して決めてもよい。また、操作者が断続的に「早送りボタン」を押しているならば、今回の「早送りボタン」の押下時間も、前回の「早送りボタン」の押下時間とほぼ同一であると仮定して決めてもよい。また、「早送りボタン」の他に、例えば、１０倍速での５秒飛ばしを指示するための「５秒飛ばしボタン」や、１０倍速での１５秒飛ばしを指示するための「１５秒飛ばしボタン」が設けられた操作器が操作されている場合は、「５秒飛ばしボタン」が押されたならば、直後の０．５秒間は１０倍速になり、「１５秒飛ばしボタン」が押されたならば、直後の１．５秒間は１０倍速になって、その後は標準速に戻ると予測できる。

さて、現時点が時刻t_０であるとすると、P_２(t)は、ｔ＜t_０に対しては既に確定しており、ｔ≧t_０に対して再生位置P_１(t)と再生位置P_２(t)との差d(t)で調整する必要があるので、以下の式（２５）のように書き表すことができる。

マクロ速度V_Ｍ(t)及びマクロ加速度A_Ｍ(t)を、それぞれ式（２０）及び式（２１）で定義するものと仮定して、式（２５）を、式（２０）及び式（２１）に代入すると、それぞれ以下の式（２６）及び式（２７）のようになる。

ここで、現時点では、式（２６）及び式（２７）における時刻ｔとして、ｔ＝t_０からｔ＝t_０＋L_Ｊ−１のL_Ｊ個が使われることを考えると、ｊ（ｊ＝０，１，…，L_Ｊ−１）を使って、時刻ｔを、ｔ＝t_０＋ｊと表現しておくと都合がよい。また、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d(t_０＋ｊ)を、d(t_０＋ｊ)＝d_ｊと記述することにする。
このように取り決めると、式（２６）及び式（２７）は、それぞれ以下の式（２８）及び式（２９）のように書き直すことができる。

一方、折れ線による制約式は、折れ線を構成する直線の本数をＫ本とすると、ＫL_Ｊ個の不等式として、以下の式（３０）のように書き表すことができる。

そして、式（３０）に、式（２８）と式（２９）を代入すると、以下の式（３１）のようになる。ここで、式（３１）のQ_ｋ(τ)は、以下の式（３２）であり、式（３１）のP_ｊｋは、以下の式（３３）である。

次に、目的関数を決定する。目的関数とは、線形計画法において最小にすべき値である。ここでは、目的関数は、例えば、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊの累積として、以下の式（３４）のように定義する。

以上をまとめると、以下の線形計画問題LP1(t_０,L_Ｊ)が導かれる。

線形計画問題LP1(t_０,L_Ｊ)は、目的関数として、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊを最小にするために、制約条件として、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面（マクロ速度−加速度平面）内にある判別可能条件を示す予め設定された領域（判別可能条件を満たす領域S_０）の内部に収まるように、線形計画法を用いて解くものとなっている。
なお、制約条件を再生位置（P_１(t)若しくはP_２(t)）で書き表したが、第２次再生プランP_２による再生速度V_２(t)は、V_２(t)＝(F_Ｐ/F_Ｓ)(P_２(t)−P_２(t−1))で再生位置と関係付けられており、第２次再生プランP_２による再生加速度A_２(t)は、A_２(t)＝F_Ｐ(V_２(t)−V_２(t−1))で再生速度と関係付けられているので、制約条件を、再生位置で書き表す代わりに、再生速度や再生加速度で書き表しても本質的には同じことである。したがって、制約条件は、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)、再生速度V_２(t_０＋ｊ)及び再生加速度A_２(t_０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まる条件であれば任意である。

ここで、線形計画問題LP1(t_０,L_Ｊ)において、d_ｊ（ｊ＝０，１，…，L_Ｊ−１）を非負に限定することについて説明する。通常、第２次再生プランP_２は、第１次再生プランP_１の再生速度を緩和したものになり、d(t)＜０の必要がないので、d(t)≧０の条件があっても邪魔にならない。さらに、条件設定によっては起こるかもしれないオーバーシュートの問題を回避するには都合がよい。また、こうすることで、目的関数の定義に絶対値の演算が不要となるため、既存の線形計画法の枠組みに入れ易くなる。
ちなみに、式（３４）で定義した目的関数は、第１次再生プランP_１に対する第２次再生プランP_２の遅れ時間の単なる総和として定義しているが、場合によっては、これを重み付け総和としてもよい。

＜線形計画法を改良する＞
次に、線形計画問題LP1(t_０,L_Ｊ)を改良する手法について説明する。

線形計画問題LP1(t_０,L_Ｊ)では、制約条件の範囲内で、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊの累積を最小にする解は見つかるが、最適性を極限まで追求してしまうため、結果として得られた第２次再生プランP_２は速度変動の激しいものになってしまうことが起こりうる。
そこで、第２次再生プランP_２による再生加速度の大きさ、すなわち、速度の加速／減速の度合いを目的関数に加味することにする。

速度の加速／減速の度合いを目的関数に加味するために、加速と減速を表す変数を導入することにする。加速と減速は、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊ（以下「修正量d_ｊ」という）で書き表すことができるので、新たな変数を導入する必要がないように思われるが、線形計画法の枠組みではそのままでは絶対値の演算が扱えないため、新たな変数を導入するのが有効である。
具体的には、例えば、加速と減速を別々の正の変数として記述しておき、加減速の変動をそれらの和として書き表すことにする。

以上の方針に沿って、非負の変数a_ｊ，b_ｊ（ｊ＝０，１，…，L_Ｊ−１）を導入する。そして、時刻t_０＋jでの（離散時間での）加速度がa_ｊ−b_ｊであるものとする。線形計画法の枠組みに入れるためには、加速度a_ｊ−b_ｊと、修正量d_ｊと、の関係を等式で表現しておく必要がある。これには、時刻ｔでの（離散時間での）再生速度をV(t)として記述することにすると、サンプリング周波数F_Ｓでのサンプル数を単位とした加速度の差として、以下の式（３５）、さらには以下の式（３６）のように計算できる。

式（３６）を、式（２５）を使って変形すると、j＝０、j＝１及びｊ≧２の３つのケースについて、それぞれ以下の式（３７）、式（３８）及び式（３９）のようになる。

さらに、式（３７）、式（３８）及び式（３９）の変数（最適化問題において調整すべき量）を左辺に集めると、それぞれ以下の式（４０）、式（４１）及び式（４２）のようになる。

そして、式（４０）〜式（４２）の右辺をまとめてR_ｊと記述することにすると、加速度a_ｊ−b_ｊと、修正量d_ｊと、の間の等式関係は、以下の式（４３）のようにまとめられる。

ここで、式（４３）でj＝０、j＝１とした場合に形式上あらわれてくる変数d_−２、d_−１は、既に過ぎてしまった過去に対する修正量d_ｊとなってしまうので、“０”と定義しておく。

次に目的関数を修正する。加速／減速が過度に起こらないようにするためには、目的関数を、以下の式（４４）のように定義すればよい。ここで、αは加速することのペナルティの重さであり、βは減速することのペナルティの重さである。ペナルティの重さは、ズレとの間の相対的な関係として記述することにする。すなわち、具体的には、例えば、加速度が１s/s^２（＝標準速から２倍速へ１秒で推移する加速度）であることと対等とみなせるズレの時間が、加速のときはαであり、減速のときはβである。

以上をまとめると、以下の改良型の線形計画問題LP2(t_０,L_Ｊ)が導かれる。

改良型の線形計画問題LP2(t_０,L_Ｊ)は、目的関数として、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊと、第２次再生プランP_２による再生加速度の大きさa_ｊ＋b_ｊと、の和を最小にするために、制約条件として、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面（マクロ速度−加速度平面）内にある判別可能条件を示す予め設定された領域（判別可能条件を満たす領域S_０）の内部に収まるように、線形計画法を用いて解くものとなっている。
なお、制約条件を再生位置（P_１(t)若しくはP_２(t)）で書き表したが、第２次再生プランP_２による再生速度V_２(t)は、V_２(t)＝(F_Ｐ/F_Ｓ)(P_２(t)−P_２(t−1))で再生位置と関係付けられており、第２次再生プランP_２による再生加速度A_２(t)は、A_２(t)＝F_Ｐ(V_２(t)−V_２(t−1))で再生速度と関係付けられているので、制約条件を、再生位置で書き表す代わりに、再生速度や再生加速度で書き表しても本質的には同じことである。したがって、制約条件は、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)、再生速度V_２(t_０＋ｊ)及び再生加速度A_２(t_０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まる条件であれば任意である。

以上、説明したように、現時点から未来に亘る時区間における第２次再生プランP_２の決定に関する問題を、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)に帰着させることができた。線形計画法は広い分野で使用されているアルゴリズムであるため、既存のサブルーチンなどを利用してソフトウエアを実装することが可能になる。
なお、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)は、現時点から未来に亘る時区間（時刻t_０から始まるL_Ｊサンプル分の時区間）における第２次再生プランP_２を求める方法にすぎない。再生データ全体を再生するためには、この方法を繰り返し適用していく必要がある。

＜実施例＞
［再生装置の構成］
本発明の再生装置１は、例えば、音声データにより構成される再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う、ＣＤ（Compact Disc）プレーヤや、ＤＶＤ（Digital Versatile Disc）プレーヤ、ハードディスクプレーヤ、パーソナルコンピュータなどである。

具体的には、再生装置１は、例えば、ユーザによる操作部１５の操作によって指示された再生速度V_１に基づいて、未来の再生速度を予測して、現時点から未来に亘る第１次再生プランP_１を作成する。
そして、再生装置１は、当該作成した第1次再生プランP_１と予め決定しておいた人間の特性に関するパラメータを基に、最適化問題を線形計画問題（線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)）として線形計画法を用いて解くことによって、現時点から未来に亘る第２次再生プランP_２を作成する。
そして、再生装置１は、当該作成した第２次再生プランP_２に従って、記憶媒体１１に記憶されている再生データを順次取得して、その再生データの断片を時間軸変換技術により滑らかにつないで、音声出力装置３から出力するようになっている。

より具体的には、再生装置１は、例えば、図９に示すように、記憶媒体１１と、読取部１２と、デコーダ１３と、時間軸変換部１４と、操作部１５と、制御部１６と、などを備えて構成される。
また、再生装置１は、例えば、図９に示すように、時間軸変換部１４を介して、所定の出力装置としての音声出力装置３を接続している。

記憶媒体１１は、例えば、記憶手段として、音声データにより構成される再生データを予め記憶している。
なお、記憶媒体１１は、例えば、ＣＤや、ＤＶＤ、ＨＤＤ（Hard Disk Drive）、半導体メモリ、メモリカードなどの、データの読み取りが可能な記憶媒体であれば任意である。

読取部１２は、制御部１６から入力される制御信号に従って、例えば、取得手段として、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP_２に従って、記憶媒体１１から再生データを取得して、デコーダ１３に出力する。

デコーダ１３は、制御部１６から入力される制御信号に従って、例えば、読取部１２から入力された再生データにデコード等の所定の処理を施して、時間軸変換部１４に出力する。

時間軸変換部１４は、制御部１６から入力される制御信号に従って、例えば、時間軸変換手段として、デコーダ１３から入力された再生データの波形の一致度を考慮して、既存の時間軸変換技術（例えば、ＴＳＭなど）などを用いて、当該再生データの時間軸を変換し、図示しないアンプを介して、音声出力装置３に出力する。

音声出力装置３は、例えば、スピーカ機器等であり、例えば、時間軸変換部１４から入力された再生データ（音声データ）に基づく音声を出力する。

操作部１５は、例えば、再生装置１の外面に設けられた「早送りボタン」や「巻戻しボタン」などの操作ボタン（図示省略）や、「早送りボタン」や「巻戻しボタン」などの操作ボタンを有する再生装置１用のリモコン（図示省略）及びリモコンと通信可能なリモコン受信部（図示省略）などにより構成され、例えば、ユーザにより操作されると、当該操作に伴う各種信号を制御部１６に出力する。

具体的には、操作部１５は、例えば、指示手段として、ユーザが、記憶媒体１１に記憶された再生データの再生速度V_１を指示する際に操作される。

制御部１６は、例えば、図９に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３と、などを備えて構成される。

ＣＰＵ１６１は、例えば、記憶部１６３に記憶された再生装置１用の各種処理プログラムに従って各種の制御動作を行う。

ＲＡＭ１６２は、例えば、ＣＰＵ１６１によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。

記憶部１６３は、例えば、再生装置１で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラム、これら各種処理プログラムを実行する際に使用されるデータ、ＣＰＵ１６１によって演算処理された処理結果のデータなどを記憶する。なお、プログラムは、コンピュータが読み取り可能なプログラムコードの形で記憶部１６３に記憶されている。

具体的には、記憶部１６３は、例えば、図９に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２と、再生制御プログラム１６３ｂ３と、などを記憶している。

パラメータ記憶ファイル１６３ａ１は、例えば、予め決定しておいた人間の特性に関するパラメータとして、M_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなどを記憶している。

第１次再生プラン蓄積ファイル１６３ａ２は、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１による再生位置P_１(t)を蓄積する。

第２次再生プラン蓄積ファイル１６３ａ３は、例えば、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP_２による再生位置P_２(t)を蓄積する。

第１次再生プラン作成プログラム１６３ｂ１は、例えば、ユーザによる操作部１５の操作により指示された再生速度V_１に応じた、現時点から未来に亘る第１次再生プランP_１を作成する機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第１次再生プラン作成プログラム１６３ｂ１を実行することによって、第１次再生プラン作成手段として機能する。

第２次再生プラン作成プログラム１６３ｂ２は、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、パラメータ記憶ファイル１６３ａ１に記憶されたM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなどと、を基に、最適化問題を、線形計画問題（線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)）として線形計画法を用いて解くことによって、当該第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成する機能を、ＣＰＵ１６１に実現させる。

また、第２次再生プラン作成プログラム１６３ｂ２は、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、当該作成された第２次再生プランP_２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の差が大きすぎるため、当該作成された第２次再生プランP_２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２を実行することによって、第２次再生プラン作成手段及び判断手段として機能する。

再生制御プログラム１６３ｂ３は、例えば、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された現時点から未来に亘る第２次再生プランP_２に従って、記憶媒体１１に記憶された再生データを再生する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、読取部１２に制御信号を入力して、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP_２に従って、記憶媒体１１から再生データを取得させ、そして、デコーダ１３や時間軸変換部１４に制御信号を入力して、読取部１２により取得された再生データを音声出力装置３に出力させる。
ＣＰＵ１６１は、かかる再生制御プログラム１６３ｂ３を実行することによって、出力制御手段として機能する。

［再生処理］
次に、再生装置１による記憶媒体１１に記憶された再生データの再生に関する処理について、図１０のフローチャートを参照して説明する。

ユーザによる操作部１５の操作によって、記憶媒体１１に記憶された再生データを再生するよう指示されると（ステップＳ１）、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t_０」記憶領域に“０”を設定する（ステップＳ２）。

次いで、ＣＰＵ１６１は、ユーザによる操作部１５の操作によって指示された、記憶媒体１１に記憶された再生データを再生する際の再生速度V_１を読み込む（ステップＳ３）。

次いで、ＣＰＵ１６１は、第１次再生プラン蓄積ファイル１６３ａ２にP_１(t_０)が蓄積されているか否か、すなわち、前もって予測していた、時刻t_０における第１次再生プランP_１による再生位置P_１(t_０)が存在するか否かを判断する（ステップＳ４）。

ステップＳ４で、前もって予測していたP_１(t_０)が存在しないと判断すると（ステップＳ４；Ｎｏ）、ＣＰＵ１６１は、第１次再生プラン作成プログラム１６３ｂ１を実行して、現時点から未来に亘る第１次再生プランP_１を作成する（ステップＳ５）。

具体的には、ＣＰＵ１６１は、例えば、ステップＳ３で読み込んだ再生速度V_１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP_１(t_０−１)と、に基づいて、現時点における第１次再生プランP_１による再生位置P_１(t_０)（＝P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１）を作成して（ステップＳ５ａ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。

次いで、ＣＰＵ１６１は、未来の第１次再生プランP_１を予測することによって、未来における第１次再生プランP_１による再生位置P_１(t_０＋j)（j＝１，２，…，L_Ｊ−１）を作成して（ステップＳ５ｂ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。

次いで、ＣＰＵ１６１は、第２次再生プラン作成プログラム１６３ｂ２を実行して、現時点から未来に亘る第２次再生プランP_２を作成して（ステップＳ６）、ステップＳ９の処理に移行する。

具体的には、ＣＰＵ１６１は、例えば、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)を解いて、修正量d_ｊ（j＝０，１，…，L_Ｊ−１）を求める（ステップＳ６ａ）。

次いで、ＣＰＵ１６１は、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP_１による再生位置P_１(t_０＋j)（j＝０，１，…，L_Ｓ−１）と、ステップＳ６ａで求めた修正量d_ｊ（j＝０，１，…，L_Ｓ−１）と、に基づいて、現時点から未来に亘る第２次再生プランP_２による再生位置P_２(t_０＋j)（j＝０，１，…，L_Ｓ−１）を作成して（ステップＳ６ｂ）、第２次再生プラン蓄積ファイル１６３ａ３に記憶させて、ステップＳ９の処理に移行する。

また、ステップＳ４で、前もって予測していたP_１(t_０)が存在すると判断すると（ステップＳ４；Ｙｅｓ）、ＣＰＵ１６１は、ステップＳ３で読み込んだ再生速度V_１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP_１(t_０−１)と、に基づいて作成した現時点における第１次再生プランP_１による再生位置P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１が、前もって予測していたP_１(t_０)にほぼ等しいか否かを判断する（ステップＳ７）。

ステップＳ７で、P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１が、前もって予測していたP_１(t_０)にほぼ等しくないと判断すると（ステップＳ７；Ｎｏ）、ＣＰＵ１６１は、ステップＳ５の処理に移行する。

一方、ステップＳ７で、P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１が、前もって予測していたP_１(t_０)にほぼ等しいと判断すると（ステップＳ７；Ｙｅｓ）、ＣＰＵ１６１は、第２次再生プラン蓄積ファイル１６３ａ３にP_２(t_０)が蓄積されているか否か、すなわち、時刻t_０における第２次再生プランP_２による再生位置P_２(t_０)が作成されているか否かを判定する（ステップＳ８）。

ステップＳ８で、P_２(t_０)が作成されていないと判断すると（ステップＳ８；Ｎｏ）、ＣＰＵ１６１は、ステップＳ５の処理に移行する。

一方、ステップＳ８で、P_２(t_０)が作成されていると判断すると（ステップＳ８；Ｙｅｓ）、ＣＰＵ１６１は、P_１(t_０)−P_２(t_０)が、予め設定された規定範囲内にあるか否かを判断する（ステップＳ９）。

ステップＳ９で、P_１(t_０)−P_２(t_０)が規定範囲内にないと判断すると（ステップＳ９；Ｎｏ）、ＣＰＵ１６１は、P_２(t_０)をP_１(t_０)で置き換える（ステップＳ１０）。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t_０＋j)」記憶領域のうちのj＝０の領域、すなわち、「聞き取り可否U(t_０)」記憶領域に“１”を設定することによって（ステップＳ１１）、時刻t_０＋j（j＝０）においては判別可能条件を満たす領域S_０に収まらない旨を記録して、ステップＳ１３の処理に移行する。

一方、ステップＳ９で、P_１(t_０)−P_２(t_０)が規定範囲内にあると判断すると（ステップＳ９；Ｙｅｓ）、ＣＰＵ１７１は、ＲＡＭ１６２内の「聞き取り可否U(t_０＋j)」記憶領域のうちのj＝０の領域、すなわち、「聞き取り可否U(t_０)」記憶領域に“０”を設定することによって（ステップＳ１２）、時刻t_０＋j（j＝０）においては判別可能条件を満たす領域S_０に収まる旨を記録する。

次いで、ＣＰＵ１６１は、再生制御プログラム１６３ｂ３を実行して、P_２(t_０)で記憶媒体１１に記憶された再生データの再生を行う（ステップＳ１３）。
具体的には、ＣＰＵ１７１は、読取部１１に、記憶媒体１１に記憶された再生データのうちの時間座標P_２(t_０)の部分を取得させ、当該取得された再生データを、デコーダ１３や時間軸変換部１４を介して、音声出力装置３に出力させる。これにより、音声出力装置３から再生データに基づく音声が出力される。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t_０」記憶領域に“t_０＋１”を設定して（ステップＳ１４）、ステップＳ３以降の処理を繰り返して行う。
そして、ＣＰＵ１６１は、ステップＳ３〜ステップＳ１４の処理を、例えば、ユーザによる操作部１５の操作によって再生データの再生を終了するよう指示されるまで、或いは、記憶媒体１１に記憶された再生データを再生し尽すまで、繰り返して行う。

次に、再生装置１の再生処理（図１０）によって各変数が更新されていく様子を、例えば、図１１に示す。図１１の横軸は時間軸である。

時刻t＝t_０において、再生装置１は、線形計画問題を解く前に、t_０から始まるL_Ｊサンプル分について、第１次再生プランP_１による再生位置P_１(t_０＋j)（j＝０，１，…，L_Ｊ−１）を予測して作成し、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。
そして、再生装置１は、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている第１次再生プランP_１による再生位置P_１(t)のうちの、過去におけるL_Ｍサンプル分の再生位置と、未来におけるL_Ｊサンプル分の再生位置と、を使って、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)を、線形計画法を用いてt_０から始まるL_Ｊサンプル分について解くことによって、L_Ｊ個の修正量d_ｊ（j＝０，１，…，L_Ｊ−１）を得る。
そして、再生装置１は、得られた修正量d_ｊ（j＝０，１，…，L_Ｊ−１）のうちの最初のL_Ｓ個を使って、第２次再生プランP_２による再生位置P_２(t_０＋j)（j＝０，１，…，L_Ｓ−１）を作成し、第２次再生プラン蓄積ファイル１６３ａ３に記憶させる。すなわち、線形計画問題は、サンプリング周波数F_Ｐにおける、L_Ｓサンプル分の時区間毎に解かれるようになっている。

その後、ユーザによる操作部１５の操作によって再生速度の変更指示がなければ、すなわち、再生装置１の再生処理（図１０）のステップＳ７がＹｅｓならば、L_Ｓサンプル分の時区間は、第２次再生プラン蓄積ファイル１６３ａ３に蓄積された第２次再生プランP_２に従って再生データの再生が行われる。
そして、時刻t＝t_０＋L_Ｓになると、新たな線形計画問題が生成されて、それが解かれることになる。
ここで、L_Ｊサンプル分の時区間は、例えば、１秒〜２秒程度の時区間であり、L_Ｓサンプル分の時区間は、L_Ｊサンプル分の時区間よりも短く、例えば、０．５秒〜１秒程度の時区間である。

なお、ユーザによる操作部１５の操作によって再生速度の変更指示があった場合は、線形計画問題を解きなおす必要がある。
また、第１次再生プランP_１による再生位置P_１(t_０)と第２次再生プランP_２による再生位置P_２(t_０)との差（P_１(t_０)−P_２(t_０)）が、予め設定された規定範囲内に収まらない場合は、ユーザに対する「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度に応じた再生位置と、実際の再生位置と、の差が大きすぎるため、P_２(t_０)をP_１(t_０)で置き換えて、この差を一気に取り戻すようにしたが（具体的には、例えば、図１０のステップＳ１０参照）、これに限ることはなく、例えば、所定の速度（例えば、８倍速など）で高速度再生することによって、この差を縮めるようにしてもよい。

次に、第１次再生プランP_１と、再生装置１の再生処理（図１０）を実行して改良型の線形計画問題LP2(t_０,L_Ｊ)を順次解くことによって作成した第２次再生プランP_２と、について、例えば、図１２及び図１３に示すマクロ速度−加速度平面を用いて比較する。
図１２と図１３は、異なる２種類の判別可能条件を満たす領域S_０について、改良型の線形計画問題LP2(t_０,L_Ｊ)で再生装置１の再生処理（図１０）を行った結果である。パラメータは、L_Ｊ＝９０（１．５秒相当）、L_Ｓ＝３０（０．５秒相当）、α＝β＝０．０１１に設定した。

図１２は、図６で得られた折れ線を使用した場合である。
図１２（ａ）には、１倍速〜４倍速の変速を含む３分間の第１次再生プランP_１の軌跡を示し、図１２（ｂ）には、図１２（ａ）の第１次再生プランP_１を基に、判別可能条件を満たす領域S_０内に収まるように、改良型の線形計画問題LP2(t_０,L_Ｊ)を順次適用していくことで作成した第２次再生プランP_２の軌跡を示す。
図１２（ａ）によれば、判別可能条件を満たす領域S_０から逸脱している軌跡が多く含まれるため、聞き落としが多く発生すると推測される。
これに対し、図１２（ｂ）によれば、判別可能条件を満たす領域S_０内に全ての軌跡が収まっているため、ほぼ聞き落としがないと期待できる。

図１３は、図６で得られた折れ線よりも、マクロ加速度A_Ｍ(t)の条件を厳しくした折れ線を使用した場合である。
図１３（ａ）は、図１２（ａ）と同一の軌跡であり、図１３（ｂ）には、図１３（ａ）の第１次再生プランP_１を基に、判別可能条件を満たす領域S_０内に収まるように、改良型の線形計画問題LP2(t_０,L_Ｊ)を順次適用していくことで作成した第２次再生プランP_２の軌跡を示す。
図１３（ａ）によれば、図１２（ａ）と同様、判別可能条件を満たす領域S_０から逸脱している軌跡が多く含まれるため、聞き落としが多く発生すると推測される。
これに対し、図１３（ｂ）によれば、図１２（ｂ）と同様、判別可能条件を満たす領域S_０内に全ての軌跡が収まっているため、ほぼ聞き落としがないと期待できる。

図１２及び図１３によれば、マクロ速度−加速度平面において、第１次再生プランP_１の軌跡は、判別可能条件を満たす領域S_０から逸脱する軌跡を多く含むが、第２次再生プランP_２の軌跡は、判別可能条件を満たす領域S_０内に完全に収まっていることが分かる。
また、折れ線で定義される判別可能条件を満たす領域S_０の形状が変わっても、第２次再生プランP_２の軌跡は、判別可能条件を満たす領域S_０内に完全に収まっていることが分かる。

次に、第１次再生プランP_１と、再生装置１の再生処理（図１０）を実行して改良型の線形計画問題LP2(t_０,L_Ｊ)を順次解くことによって作成した第２次再生プランP_２と、について、例えば、図１４に示す再生速度の変化を示す図を用いて比較する。図１４の横軸は時間であり、縦軸は再生速度である。

図１４（ａ）には、図１２（ａ）（図１３（ａ））に示す第１次再生プランP_１の最初の２０秒間における再生速度の変化を示し、図１４（ｂ）には、図１２（ｂ）に示す第２次再生プランP_２の最初の２０秒間における再生速度の変化を示し、図１４（ｃ）は、図１３（ｂ）に示す第２次再生プランP_２の最初の２０秒間における再生速度の変化を示す。

図１４によれば、再生速度の変化の仕方から、２．５秒付近、９秒付近及び１４秒付近で、高速度再生が開始されたことが分かる。
図１４（ａ）によれば、高速度再生の開始時には、再生速度が急激に変化していることがわかる。
これに対し、図１４（ｂ）によれば、図１４（ａ）と比較して、高速度再生の開始時（特に、１４秒付近）における再生速度の急激な変化が抑えられており、第２次再生プランP_２は、第１次再生プランP_１と比較して、再生速度の変化が緩やかであることが分かる。
また、図１４（ｃ）によれば、図１４（ｂ）よりもマクロ加速度A_Ｍ(t)の条件が厳しいため、図１４（ｂ）と比較して、高速度再生の開始時における再生速度の急激な変化がさらに抑えられており、図１４（ｃ）の第２次再生プランP_２は、図１４（ｂ）の第２次再生プランP_２と比較して、より一層、再生速度の変化が緩やかであることが分かる。
すなわち、図１４（ｂ）及び図１４（ｃ）によれば、折れ線の形状をコントロールすることにより、作成される第２次再生プランP_２の性質が変わることが分かる。

以上説明した本発明の再生装置１によれば、操作部１５によって、ユーザが、記憶媒体１１に記憶された再生データの再生速度を指示することができ、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１によって、操作部１５により指示された再生速度V_１に応じた、現時点から未来に亘る第１次再生プランP_１を作成することができ、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１によって、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１を基に、最適化問題を、線形計画問題（線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)）として、線形計画法を用いて解くことによって、第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成することができ、読取部１２によって、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP_２に従って、記憶媒体１１から再生データを取得することができ、再生制御プログラム１６３ｂ３を実行したＣＰＵ１６１によって、読取部１２により取得された再生データを所定の音声出力装置２に出力させることができる。
したがって、再生データの再生速度の変化を、ユーザが指示する再生速度V_１との差を最小にし、且つ、判別可能条件の内部に収まるという制約条件を満たすように調整できるため、第２次再生プランP_２が、人間の特性に合ったものになり、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる。

なお、本発明は、上記した実施の形態のものに限るものではなく、その要旨を逸脱しない範囲で適宜変更可能である。

＜変形例１＞
実施例のように、現時点から未来に亘る時区間における第２次再生プランP_２の決定に関する問題を、線形計画法の枠組みに入れることで、開発は容易になるが、本発明の基本的な考えは、線形計画法に限定されるものではなく、線形計画法から逸脱して拡張してもよい。
具体的には、例えば、図１５に示す再生装置１Ａのように、最適化問題を非線形計画問題として非線形計画法を用いて解いてもよい。
ここで、線形計画問題が、目的関数及び制約条件が線形の最適化問題であったのに対し、非線形計画問題は、目的関数及び／又は制約条件が非線形の最適化問題である。

目的関数の非線形化としては、例えば、目的関数をO_Ｆ＝Σd(t)^２などと定義すること等が考えられる。また、例えば、再生データが音声データ及び映像データにより構成される場合は、映像と音声のズレがストレスを及ぼす時間差に対して目的関数O_Ｆを極端に大きくして、剥離を防ぐこと等も考えられる。これらは全て、非線形の目的関数を生じさせる。

制約条件の非線形化としては、例えば、マクロ速度V_Ｍ(t)とマクロ加速度A_Ｍ(t)を、第２次再生プランP_２の再生位置P_２(t)の線形結合として定義するのではなく、人間の特性に応じて非線形関数として定義すること等が考えられる。また、判別可能条件を満たす領域S_０を、折れ線で定義するのではなく、曲線で定義すること等も考えられる。これらは全て、非線形の制約条件を生じさせる。

なお、再生装置１Ａは、例えば、実施例の再生装置１（図９）における制御部１６の構成の一部のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。

具体的には、再生装置１Ａの制御部１６Ａは、例えば、図１５に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ａと、などを備えて構成される。

記憶部１６３Ａは、例えば、図１５に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ａと、再生制御プログラム１６３ｂ３と、などを記憶している。

第２次再生プラン作成プログラム１６３ｂ２Ａは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、パラメータ記憶ファイル１６３ａ１に記憶された人間の特性に関するパラメータ（例えば、M_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなど）と、を基に、最適化問題を、非線形計画問題として非線形計画法を用いて解くことによって、当該第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成する機能を、ＣＰＵ１６１に実現させる。

具体的には、最適化問題は、目的関数として、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊを元にした線形関数又は非線形関数（或いは、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊを元にした線形関数又は非線形関数と、第２次再生プランP_２による再生加速度の大きさa_ｊ＋b_ｊと、の和）を最小にするために、制約条件として、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)、再生速度V_２(t_０＋ｊ)及び再生加速度A_２(t_０＋ｊ)のうちの少なくとも１つを元にした線形関数又は非線形関数を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、非線形計画問題として非線形計画法を用いて解くものである。

また、第２次再生プラン作成プログラム１６３ｂ２Ａは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、当該作成された第２次再生プランP_２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の差が大きすぎるため、当該作成された第２次再生プランP_２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ａを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。

変形例１の再生装置１Ａによれば、第２次再生プラン作成プログラム１６３ｂ２Ａを実行してＣＰＵ１６１によって、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１を基に、最適化問題を、非線形計画問題として、非線形計画法を用いて解くことによって、当該第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成することができる。
したがって、第２次再生プランP_２が、より一層、人間の特性に合ったものになり、より一層、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができる。

＜変形例２＞
実施例の線形計画問題は、F_Ｐを大きくしてL_Ｊを長く取ると、巨大な問題となり、再生装置１に内蔵されているＣＰＵ１６１にとって計算負荷が大きくなってしまう。
一方、マクロ速度−加速度平面における判別可能条件を満たす領域S_０は、多人数について平均的に求められたものであるため、それほど厳密に実現する必要がない場合も多い。
このようなとき、線形計画問題は、線形計画法ルーチンを使って解くのではなく、近似的に解いてもよい。
具体的には、例えば、図１６に示す再生装置１Ｂのように、線形計画問題を、近似的方法を使って解いてもよい。以下では、この近似的方法をQLP(t_０,L_Ｊ)と書くことにする。

なお、再生装置１Ｂは、例えば、実施例の再生装置１（図９）における制御部１６の構成の一部のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。

具体的には、再生装置１Ｂの制御部１６Ｂは、図１６に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｂと、などを備えて構成される。

記憶部１６３Ｂは、例えば、図１６に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｂと、再生制御プログラム１６３ｂ３と、などを記憶している。

第２次再生プラン作成プログラム１６３ｂ２Ｂは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１を基に、近似的方法QLP(t_０,L_Ｊ)を用いて、第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)、再生速度V_２(t_０＋ｊ)及び再生加速度A_２(t_０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊ（或いは、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊと、第２次再生プランP_２による再生加速度の大きさa_ｊ＋b_ｊと、の和）を最小にし、且つ、再生加速度A_２(t_０＋ｊ)が所定の範囲内（ａ_MINからのａ_MAX範囲内）にあるとともに、再生加速度A_２(t_０＋ｊ)が予め設定された時区間（L_Ｊ）では一定（再生加速度ａ）である第２次再生プランP_２を作成する。

また、第２次再生プラン作成プログラム１６３ｂ２Ｂは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、当該作成された第２次再生プランP_２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の差が大きすぎるため、当該作成された第２次再生プランP_２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｂを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。

［再生処理］
次に、再生装置１Ｂによる記憶媒体１１に記憶された再生データの再生に関する処理について、図１７及び図１８のフローチャートを参照して説明する。

ユーザによる操作部１５の操作によって、記憶媒体１１に記憶された再生データを再生するよう指示されると（ステップＳ３１）、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t_０」記憶領域に“０”を設定する（ステップＳ３２）。

次いで、ＣＰＵ１６１は、ユーザによる操作部１５の操作によって指示された、記憶媒体１１に記憶された再生データを再生する際の再生速度V_１を読み込む（ステップＳ３３）。

次いで、ＣＰＵ１６１は、第１次再生プラン蓄積ファイル１６３ａ２にP_１(t_０)が蓄積されているか否か、すなわち、前もって予測していた、時刻t_０における第１次再生プランP_１による再生位置P_１(t_０)が存在するか否かを判断する（ステップＳ３４）。

ステップＳ３４で、前もって予測していたP_１(t_０)が存在しないと判断すると（ステップＳ３４；Ｎｏ）、ＣＰＵ１６１は、第１次再生プラン作成プログラム１６３ｂ１を実行して、現時点から未来に亘る第１次再生プランP_１を作成する（ステップＳ３５）。

具体的には、ＣＰＵ１６１は、例えば、ステップＳ３３で読み込んだ再生速度V_１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP_１(t_０−１)と、に基づいて、現時点における第１次再生プランP_１による再生位置P_１(t_０)（＝P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１）を作成して（ステップＳ３５ａ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。

次いで、ＣＰＵ１６１は、未来の第１次再生プランP_１を予測することによって、未来における第１次再生プランP_１による再生位置P_１(t_０＋j)（j＝１，２，…，L_Ｊ−１）を作成して（ステップＳ３５ｂ）、第１次再生プラン蓄積ファイル１６３ａ２に記憶させる。

次いで、ＣＰＵ１６１は、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行して、近似的方法QLP(t_０,L_Ｊ)を用いて、現時点から未来に亘る第２次再生プランP_２を作成して（ステップＳ３６）、ステップＳ３９の処理に移行する。

具体的には、ＣＰＵ１６１は、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に“正の最大値”を設定するとともに、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に、所定の“ａ_MIN”を設定する（ステップＳ３６ａ）。

次いで、ＣＰＵ１６１は、初期速度ＶをＶ＝(F_Ｐ/F_Ｓ)(P_２(t_０−１)−P_２(t_０−２))として、現時点から未来に亘る第２次再生プランP_２による再生位置P_２(t_０＋j)（j＝０，１，…，L_Ｊ−１）が同等の再生加速度ａとなるように、修正量d_ｊ（j＝０，１，…，L_Ｊ−１）を仮決定する（ステップＳ３６ｂ）。

次いで、ＣＰＵ１６１は、ステップＳ３６ｂで仮決定した修正量d_ｊ（j＝０，１，…，L_Ｊ−１）に対して、制約条件が満たされているか否か、すなわち、式（３１）が全て満たされているか否かを判断する（ステップＳ３６ｃ）。

ステップＳ３６ｃで、ステップＳ３６ｂで仮決定した修正量d_ｊ（j＝０，１，…，L_Ｊ−１）に対して、式（３１）が全て満たされていないと判断すると（ステップＳ３６ｃ；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３６ｇの処理に移行する。

一方、ステップＳ３６ｃで、ステップＳ３６ｂで仮決定した修正量d_ｊ（j＝０，１，…，L_Ｊ−１）に対して、式（３１）が全て満たされていると判断すると（ステップＳ３６ｃ；Ｙｅｓ）、ＣＰＵ１６１は、式（３４）を計算して、ＲＡＭ１６２内の「O_Ｆ」記憶領域に、当該計算の結果である“式（３４）の計算結果”を設定する（ステップＳ３６ｄ）。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「O_Ｆ」記憶領域に設定されている値が、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に設定されている値よりも小さいか否かを判断する（ステップＳ３６ｅ）。

ステップＳ３６ｅで、ＲＡＭ１６２内の「O_Ｆ」記憶領域に設定されている値が、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に設定されている値よりも小さくないと判断すると（ステップＳ３６ｅ；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３６ｇの処理に移行する。

一方、ステップＳ３６ｅで、ＲＡＭ１６２内の「O_Ｆ」記憶領域に設定されている値が、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に設定されている値よりも小さいと判断すると（ステップＳ３６ｅ；Ｙｅｓ）、ＣＰＵ１６１は、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に、ＲＡＭ１６２内の「O_Ｆ」記憶領域に設定されている値“O_Ｆ”を設定するとともに、ＲＡＭ１６２内の「最良のd_ｊ」記憶領域に、ステップＳ３６ｂで仮決定した修正量d_ｊ（j＝０，１，…，L_Ｊ−１）を設定する（ステップＳ３６ｆ）。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に、“ａ＋Δａ”を設定する（ステップＳ３６ｇ）。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に設定されている値が、所定のａ_MAXよりも小さいか否かを判断する（ステップＳ３６ｈ）。

ステップＳ３６ｈで、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に設定されている値が、所定のａ_MAXよりも小さいと判断すると（ステップＳ３６ｈ；Ｙｅｓ）、ＣＰＵ１６１は、ステップＳ３６ｂ以降の処理を繰り返して行う。

一方、ステップＳ３６ｈで、ＲＡＭ１６２内の「再生加速度ａ」記憶領域に設定されている値が、所定のａ_MAXよりも小さくないと判断すると（ステップＳ３６ｈ；Ｎｏ）、ＣＰＵ１６１は、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に設定されている値が正の最大値であるか否かを判断する（ステップＳ３６ｉ）。

ステップＳ３６ｉで、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に設定されている値が正の最大値でないと判断すると（ステップＳ３６ｉ；Ｎｏ）、ＣＰＵ１６１は、求めていた修正量d_ｊが見つかったと判断して、ＲＡＭ１６２内の「最良のd_ｊ」記憶領域に設定されている修正量d_ｊ（j＝０，１，…，L_Ｊ−１）を、求めていた修正量d_ｊ（j＝０，１，…，L_Ｊ−１）とする（ステップＳ３６ｊ）。

次いで、ＣＰＵ１６１は、当該求めていた修正量d_ｊ（j＝０，１，…，L_Ｊ−１）のうちの修正量d_ｊ（j＝０，１，…，L_Ｓ−１）と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP_１による再生位置P_１(t_０＋j)（j＝０，１，…，L_Ｓ−１）と、に基づいて、現時点から未来に亘る第２次再生プランP_２によるP_２(t_０＋j)（j＝０，１，…，L_Ｓ−１）を作成して（ステップＳ３６ｋ）、第２次再生プラン蓄積ファイル１６３ａ３に記憶させる。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t_０＋j)」記憶領域に“０”を設定することによって（ステップＳ３６ｌ）、時刻t_０＋j（j＝０，１，…，L_Ｓ−１）においては判別可能条件を満たす領域S_０に収まる旨を記録し、ステップＳ３９の処理に移行する。

また、ステップＳ３６ｉで、ＲＡＭ１６２内の「O_{Ｆ MIN}」記憶領域に設定されている値が正の最大値であると判断すると（ステップＳ３６ｉ；Ｙｅｓ）、ＣＰＵ１６１は、求めていた修正量d_ｊが見つからなかったと判断して、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP_１による再生位置P_１(t_０＋j)（j＝０，１，…，L_Ｓ−１）を、現時点から未来に亘る第２次再生プランP_２によるP_２(t_０＋j)（j＝０，１，…，L_Ｓ−１）とすることによって、現時点から未来に亘る第２次再生プランP_２によるP_２(t_０＋j)（j＝０，１，…，L_Ｓ−１）を作成して（ステップＳ３６ｍ）、第２次再生プラン蓄積ファイル１６３ａ３に記憶させる。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t_０＋j)」記憶領域に“１”を設定することによって（ステップＳ３６ｎ）、時刻t_０＋j（j＝０，１，…，L_Ｓ−１）においては判別可能条件を満たす領域S_０に収まらない旨を記録し、ステップＳ３９の処理に移行する。

また、ステップＳ３４で、前もって予測していたP_１(t_０)が存在すると判断すると（ステップＳ３４；Ｙｅｓ）、ＣＰＵ１６１は、ステップＳ３３で読み込んだ再生速度V_１と、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されているP_１(t_０−１)と、に基づいて作成した現時点における第１次再生プランP_１による再生位置P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１が、前もって予測していたP_１(t_０)にほぼ等しいか否かを判断する（ステップＳ３７）。

ステップＳ３７で、P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１が、前もって予測していたP_１(t_０)にほぼ等しくないと判断すると（ステップＳ３７；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３５の処理に移行する。

一方、ステップＳ３７で、P_１(t_０−１)＋(F_Ｓ／F_Ｐ)V_１が、前もって予測していたP_１(t_０)にほぼ等しいと判断すると（ステップＳ３７；Ｙｅｓ）、ＣＰＵ１６１は、第２次再生プラン蓄積ファイル１６３ａ３にP_２(t_０)が蓄積されているか否か、すなわち、時刻t_０における第２次再生プランP_２による再生位置P_２(t_０)が作成されているか否かを判定する（ステップＳ３８）。

ステップＳ３８で、P_２(t_０)が作成されていないと判断すると（ステップＳ３８；Ｎｏ）、ＣＰＵ１６１は、ステップＳ３５の処理に移行する。

一方、ステップＳ３８で、P_２(t_０)が作成されていると判断すると（ステップＳ３８；Ｙｅｓ）、ＣＰＵ１６１は、P_１(t_０)−P_２(t_０)が、予め設定された規定範囲内にあるか否かを判断する（ステップＳ３９）。

ステップＳ３９で、P_１(t_０)−P_２(t_０)が規定範囲内にないと判断すると（ステップＳ３９；Ｎｏ）、ＣＰＵ１６１は、P_２(t_０)をP_１(t_０)で置き換える（ステップＳ４０）。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「聞き取り可否U(t_０＋j)」記憶領域のうちのj＝０の領域、すなわち、「聞き取り可否U(t_０)」記憶領域に“１”を設定することによって（ステップＳ４１）、時刻t_０＋j（j＝０）においては判別可能条件を満たす領域S_０に収まらない旨を記録して、ステップＳ４２の処理に移行する。

一方、ステップＳ３９で、P_１(t_０)−P_２(t_０)が規定範囲内にあると判断すると（ステップＳ３９；Ｙｅｓ）、ＣＰＵ１７１は、再生制御プログラム１６３ｂ３を実行して、P_２(t_０)で記憶媒体１１に記憶された再生データの再生を行う（ステップＳ４２）。
具体的には、ＣＰＵ１７１は、読取部１１に、記憶媒体１１に記憶された再生データのうちの時間座標P_２(t_０)の部分を取得させ、当該取得された再生データを、デコーダ１３や時間軸変換部１４を介して、音声出力装置３に出力させる。これにより、音声出力装置３から再生データに基づく音声が出力される。

次いで、ＣＰＵ１６１は、ＲＡＭ１６２内の「現時点の時刻t_０」記憶領域に“t_０＋１”を設定して（ステップＳ４３）、ステップＳ３３以降の処理を繰り返して行う。
そして、ＣＰＵ１６１は、ステップＳ３３〜ステップＳ４３の処理を、例えば、ユーザによる操作部１５の操作によって再生データの再生を終了するよう指示されるまで、或いは、記憶媒体１１に記憶された再生データを再生し尽すまで、繰り返して行う。

すなわち、近似的方法QLP(t_０,L_Ｊ)は、L_Ｊサンプル分の第２次再生プランP_２による再生位置P_２(t_０＋j)（j＝０，１，…，L_Ｊ−１）を、L_Ｊサンプルの時区間は、一定の再生加速度ａを持つものと限定するところに特徴がある。そして、再生加速度ａを、ａ_MINからａ_MAXの範囲で所定のΔａ毎に変化させながら、最良の修正量d_ｊを探して、第２次再生プランP_２を作成する。すなわち、近似的方法QLP(t_０,L_Ｊ)は、式（３１）の制約条件を満たしつつ、式（３４）（或いは式（４４）であってもよい）で定義される修正量d_ｊを最小にする再生加速度ａをもって、準最適な第２次再生プランP_２とする方法である。

次に、第１次再生プランP_１と、再生装置１Ｂの再生処理（図１７及び図１８）を実行して近似的方法QLP(t_０,L_Ｊ)を用いて作成した第２次再生プランP_２と、について、例えば、図１９に示すマクロ速度−加速度平面を用いて比較する。パラメータは、L_Ｊ＝９０（１．５秒相当）、L_Ｓ＝３０（０．５秒相当）、α＝β＝０．０１１に設定した。

図１９は、図６で得られた折れ線を使用した場合である。
図１９（ａ）は、図１２（ａ）と同一の軌跡であり、図１９（ｂ）には、図１９（ａ）の第１次再生プランP_１を基に、判別可能条件を満たす領域S_０内に収まるように、近似的方法QLP(t_０,L_Ｊ)を順次適用していくことで作成した第２次再生プランP_２の軌跡を示す。
図１９（ｂ）によれば、図１２（ｂ）と比較して、折れ線（判別可能条件を満たす領域S_０と判別可能条件を満たさない領域S_１の境界線）から離れている軌跡を多く含むが、判別可能条件を満たす領域S_０内に全ての軌跡が収まっているため、ほぼ聞き落としがないと期待できる。

近似的方法QLP(t_０,L_Ｊ)でも判別可能条件を満たす領域S_０内に全ての軌跡が収まったことをふまえて、線形計画問題LP1(t_０,L_Ｊ)及び改良型の線形計画問題LP2(t_０,L_Ｊ)による解法の意味は次の３つである。
第１は、処理能力の高いプロセッサを使用する場合は、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)をそのまま実現して最適な再生ができるという点にある。
第２は、理論的に最適な解があるということを示すためのものであるという点にある。
第３は、近似的方法QLP(t_０,L_Ｊ)のような近似的手法を開発する際に、それがどこまでよい近似であるかを調べるためのツールとして役立つという点にある。

変形例２の再生装置１Ｂによれば、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１によって、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)、再生速度V_２(t_０＋ｊ)及び再生加速度A_２(t_０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊ（或いは、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊと、第２次再生プランP_２による再生加速度の大きさa_ｊ＋b_ｊと、の和）を最小にし、且つ、再生加速度A_２(t_０＋ｊ)が所定の範囲内（ａ_MINからのａ_MAX範囲内）にあるとともに、再生加速度A_２(t_０＋ｊ)が予め設定された時区間（L_Ｊ）では一定（再生加速度ａ）である第２次再生プランP_２を作成することができる。
すなわち、再生装置１Ｂは、実施例１の線形計画問題（線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)）を近似的に解いて、第２次再生プランP_２を作成するため、ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことができるとともに、ＣＰＵ１６１の計算負荷を抑えることができる。

なお、再生装置１Ｂは、実施例の線形計画問題を近似的に解いて第２次再生プランP_２を作成する限りではなく、変形例１の非線形計画問題を近似的に解いて第２次再生プランP_２を作成してもよい。

＜変形例３＞
実施例で示した手法は、人間の特性に沿って音声を聞き取らせつつ、再生データを再生する際の再生速度をできるだけユーザが指示する再生速度に近づける手法であった。しかしながら、再生データを構成する音声データには、無音部の時区間もあれば、音声が存在しない時区間もある。このような時区間に対して制約条件を課しても無意味であり、再生データを再生する際の再生速度が、ユーザが指示する再生速度からずれていくだけである。
このようなとき、無音部の時区間や音声が存在しない時区間などの、制約が必要ないと判断される時区間については、制約条件（例えば、式（３１）など）を緩和するとよい。
具体的には、例えば、図２０に示す再生装置１Ｃのように、無音部や音声の有無を判定して、制約が必要ないと判断される時区間については、制約条件を緩和するとよい。

なお、再生装置１Ｃは、例えば、実施例の再生装置１（図９）における、デコーダ１３の構成の一部と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。

具体的には、再生装置１Ｃのデコーダ１３Ｃは、制御部１６Ｃから入力される制御信号に従って、例えば、読取部１２から入力された再生データにデコード等の所定の処理を施して、時間軸変換部１４に出力するとともに、制御部１６Ｃに出力する。

また、再生装置１Ｃの制御部１６Ｃは、例えば、図２０に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｃと、などを備えて構成される。

記憶部１６３Ｃは、例えば、図２０に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｃと、再生制御プログラム１６３ｂ３と、無音区間判定プログラム１６３ｂ４Ｃと、音声区間判定プログラム１６３ｂ５Ｃと、などを記憶している。

無音区間判定プログラム１６３ｂ４Ｃは、例えば、デコーダ１３Ｃから入力された再生データ（音声データ）を解析して、読取部１２により取得された再生データが、無音区間内の再生データであるか否かを判定する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、再生データ（音声データ）の２乗和を積分して、所定の閾値と比較することによって、無音区間の判定を行う。
ＣＰＵ１６１は、かかる無音区間判定プログラム１６３ｂ４Ｃを実行することによって、無音区間判定手段として機能する。

音声区間判定プログラム１６３ｂ５Ｃは、例えば、デコーダ１３Ｃから入力された再生データ（音声データ）を解析して、読取部１２により取得された再生データが、音声区間内の再生データであるか否かを判定する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、再生データ（音声データ）のスペクトル形、エネルギー変動の度合い（例えば、短時間分散と長時間分散との比など）、などを用いて、音声区間の判定を行う。なお、ＣＰＵ１６１は、音声区間であるか否かの判定が曖昧な時区間については、その軸間を音声区間であると判定するようになっている。
ＣＰＵ１６１は、かかる音声区間判定プログラム１６３ｂ５Ｃを実行することによって、音声区間判定手段として機能する。

第２次再生プラン作成プログラム１６３ｂ２Ｃは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、パラメータ記憶ファイル１６３ａ１に記憶されたM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなどと、を基に、最適化問題を、線形計画問題（線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)）として線形計画法を用いて解くことによって、当該第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成する機能を、ＣＰＵ１６１に実現させる。

このとき、ＣＰＵ１６１は、例えば、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが無音区間内の再生データであると判定された場合は、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１段により作成された第１次再生プランP_１を基に、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件よりも制約が緩和された条件内で第２次再生プランP_２を作成するようになっている。
また、ＣＰＵ１６１は、例えば、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが無音区間内の再生データでないと判定された場合であっても、音声区間判定プログラム１６３ｂ５Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが音声区間内の再生データでないと判定された場合は、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１を基に、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件よりも制約が緩和された条件内で第２次再生プランP_２を作成するようになっている。

具体的には、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件よりも制約が緩和された条件とは、例えば、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件を除去した条件である。
すなわち、読取部１２により取得された再生データが、無音区間内の再生データであると判定された場合、或いは、音声区間内の再生データでないと判定された場合には、ＣＰＵ１６１は、制約条件（例えば、式（３１）など）を無視して、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)を解くことによって、第２次再生プランP_２を作成する。

また、第２次再生プラン作成プログラム１６３ｂ２Ｃは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、当該作成された第２次再生プランP_２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の差が大きすぎるため、当該作成された第２次再生プランP_２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｃを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。

変形例３の再生装置１Ｃによれば、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって、読取部１２により取得された再生データが、無音区間内の再生データであるか否かを判定することができ、音声区間判定プログラム１６３ｂ５Ｃを実行したＣＰＵ１６１によって、読取部１２により取得された再生データが、音声区間内の再生データであるか否かを判定することができ、そして、第２次再生プラン作成プログラム１６３ｂ２Ｃを実行したＣＰＵ１６１は、無音区間判定プログラム１６３ｂ４Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが無音区間内の再生データであると判定された場合、或いは、音声区間判定プログラム１６３ｂ５Ｃを実行したＣＰＵ１６１によって読取部１２により取得された再生データが音声区間内の再生データでないと判定された場合は、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１を基に、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件よりも制約が緩和された条件内で第２次再生プランP_２を作成することができる。

ここで、読取部１２により取得された再生データが、無音区間内の再生データであると判定された場合、或いは、音声区間内の再生データでないと判定された場合に作成される第２次再生プランP_２は、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件よりも制約が緩和された条件内で作成されたものであるため、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)を解いて作成した第２次再生プランP_２よりも第１次再生プランP_１に近いプランになる。
したがって、再生装置１Ｃは、無音区間である時区間や音声区間でない時区間などの、制約が必要ないと判断される時区間では、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)を解いて作成した第２次再生プランP_２よりも第１次再生プランP_１に近い第２次再生プランP_２を作成するため、再生データを再生する際の再生速度が、ユーザが指示する再生速度からずれていくのを抑えることができ、効率よく再生データを再生することができる。

なお、再生装置１Ｃは、読取部１２により読み取られた再生データが、無音区間内の再生データであるか否かと、音声区間内の再生データであるか否かと、の２項目について判定するようにしたが、何れか一方のみを判定するようにしてもよい。

また、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件よりも制約が緩和された条件は、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件を除去した条件に限ることはなく、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件よりも制約が緩和されていれば任意であり、例えば、線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)の制約条件のパラメータを変化させた制約条件であってもよい。

また、再生装置１Ｃは、実施例のように、線形計画問題を解いて第２次再生プランP_２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP_２を作成してもよいし、変形例２のように、近似的方法を用いて第２次再生プランP_２を作成してもよい。

＜変形例４＞
実施例においては、話速にかかわらず制約条件を一定にしていたが、制約条件は、人間の特性として定量化したパラメータM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋを使用して生成されるものであり、パラメータM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋは、話速に依存する。したがって、さらにユーザにとって視聴しやすい状態で再生データの再生を行うためには、話速に応じて制約条件を変化させるとよい。
具体的には、例えば、図２１に示す再生装置１Ｄのように、話速を判定して、その話速に応じて制約条件を変化させるとよい。

なお、再生装置１Ｄは、例えば、実施例の再生装置１（図９）における、デコーダ１３の構成の一部と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。

具体的には、再生装置１Ｄのデコーダ１３Ｄは、制御部１６Ｄから入力される制御信号に従って、例えば、読取部１２から入力された再生データにデコード等の所定の処理を施して、時間軸変換部１４に出力するとともに、制御部１６Ｄに出力する。

また、再生装置１Ｄの制御部１６Ｄは、例えば、図２１に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｄと、などを備えて構成される。

記憶部１６３Ｄは、例えば、図２１に示すように、パラメータ記憶ファイル１６３ａ１Ｄと、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｄと、再生制御プログラム１６３ｂ３と、話速推定プログラム１６３ｂ６Ｄと、などを記憶している。

話速推定プログラム１６３ｂ６Ｄは、例えば、デコーダ１３Ｄから入力される再生データ（音声データ）を解析して、読取部１２により取得された再生データに基づく音声の話速を推定する機能を、ＣＰＵ１６１に実現させる。
具体的には、ＣＰＵ１６１は、例えば、再生データ（音声データ）のエネルギーの変動の大きさを用いることによって、話速を推定する。すなわち、ＣＰＵ１６１は、例えば、再生データの信号エネルギーを、長い時定数で平滑化したものをP_Ｌ(t)とし、短い時定数で平滑化したものをP_Ｓ(t)としたときに、１秒間あたりにP_Ｌ(t)とP_Ｓ(t)とが交差する回数を求めることによって、話速を推定する。
ＣＰＵ１６１は、かかる話速推定プログラム１６３ｂ６Ｄを実行することによって、話速推定手段として機能する。

パラメータ記憶ファイル１６３ａ１Ｄは、例えば、予め決定しておいた、各話速に対応するパラメータM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなどを記憶している。
具体的には、例えば、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定される話速は、「早い」、「普通」、「遅い」の３段階に分けられるようになっており、パラメータ記憶ファイル１６３ａ１Ｄは、話速が早い場合と、話速が普通の場合と、話速が遅い場合と、のそれぞれについて、作成される第２次再生プランP_２による再生速度V_２(t)の最高値が適度なものとなるような、パラメータM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなどを記憶している。
なお、話速を「早い」、「普通」、「遅い」の３段階に分けるようにしたが、これに限ることはなく、段階の数は複数であれば任意である。

第２次再生プラン作成プログラム１６３ｂ２Ｄは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、パラメータ記憶ファイル１６３ａ１Ｄに記憶されたM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋのうちの話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に対応するパラメータM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなどと、を基に、最適化問題を、線形計画問題（線形計画問題LP1(t_０,L_Ｊ)又は改良型の線形計画問題LP2(t_０,L_Ｊ)）として線形計画法を用いて解くことによって、当該第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成する機能を、ＣＰＵ１６１に実現させる。

このとき、ＣＰＵ１６１は、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に対応するパラメータM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋをパラメータ記憶データファイル１６３ａ１Ｄから取得して制約条件を生成することによって、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に応じて制約条件を変化させるようになっている。

また、第２次再生プラン作成プログラム１６３ｂ２Ｄは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、当該作成された第２次再生プランP_２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の差が大きすぎるため、当該作成された第２次再生プランP_２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１で置き換えることによって、現時点から未来に亘る第２次再生プランP_２を作成する機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｄを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。

変形例４の再生装置１Ｄによれば、話速推定プログラム１６３ｂ６Ｄによって、読取部１２により取得された再生データに基づく音声の話速を推定することができ、そして、第２次再生プラン作成プログラム１６３ｂ２Ｄを実行したＣＰＵ１６１は、話速推定プログラム１６３ｂ６Ｄを実行したＣＰＵ１６１により推定された話速に応じて制約条件を変化させることができる。
すなわち、話速に応じたパラメータM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋの組を使用して制約条件を生成することによって、制約条件を変化させるため、例えば、話速が早い時区間では遅くなるように、話速が遅い時区間では早くなるように、再生速度が調整された第２次再生プランP_２を作成できることとなって、ユーザにとって聞きやすい状態で効率よく再生データの可変速再生を行うことができる。

なお、話速に応じて制約条件を変化させる他に、話速に応じて再生データの再生速度を調整する手法としては、例えば、再生データの時間座標に話速で重みを付ける手法などがある。具体的には、例えば、P_２(t_２)−P_２(t_１)が再生データの時間座標上での距離であるが、この距離に、話速に比例する量を乗算することで、話速に応じて再生データの再生速度を調整するようにしてもよい。

また、再生装置１Ｄは、実施例のように、線形計画問題を解いて第２次再生プランP_２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP_２を作成してもよいし、変形例２のように、近似的方法を用いて第２次再生プランP_２を作成してもよいし、変形例３のように、制約が必要ないと判断される時区間では、実施例や変形例１、変形例２などの制約条件よりも制約が緩和された条件内で第２次再生プランP_２を作成してもよい。

＜変形例５＞
実施例では、ユーザが指示する再生速度V_１が高速であって、それが長時間維持された場合には、音声の全てを聞き取らせるのは不可能である。例えば、再生装置１が再生処理（図１０）を行なっている場合であれば、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の剥離による強制的な再生位置の修正（ステップＳ１０のP_２(t_０)をP_１(t_０)で置き換える処理）が頻繁に起こって、聞くに耐えない音声になる場合がある。そのようなことが生じたときは、語句を聞き取らせるのを諦めて、音量を下げたり、音量を切ってしまう（音声を切る、音を切る、又は、音量を０にする）のがよい。
具体的には、例えば、図２２に示す再生装置１Ｅのように、ＲＡＭ１６２内の「聞き取り可否U(t_０＋j)」記憶領域のうちのj＝０の領域、すなわち、ＲＡＭ１６２内の「聞き取り可否U(t_０)」記憶領域に“１”が設定されている場合は、音量を下げたり、音声を切ってもよい。

ここで、U(t)＝０は、第２次再生プランP_２が時刻ｔで聞き取り可能であると推定されたこと、すなわち、第２次再生プランP_２の軌跡が時刻ｔで判別可能条件を満たす領域S_０内に収まることを示す。
一方、U(t)＝１は、第２次再生プランP_２が時刻ｔで聞き取り可能でないと推定されたこと、すなわち、第２次再生プランP_２の軌跡が時刻ｔで判別可能条件を満たす領域S_０内に収まらないことを示す。

実施例の再生装置１による再生処理（図１０）では、制約条件を確保しようとして第１次再生プランP_１と第２次再生プラントP_２の差が規定範囲を超えた場合、線形計画法での解を捨てて、第２次再生プランP_２を第１次再生プランP_１で置き換えることによって（ステップＳ１０）、第２次再生プランP_２として、第１次再生プランP_１をそのまま利用するようになっている。このとき、制約条件は満たされないので、U(t)＝１と設定される。また、瞬間的であっても最低の再生速度や最高の再生速度に制約をつけることも可能であるが、その場合も線形計画法の解がなくなるので、U(t)＝１と設定される。

また、変形例２の再生装置１Ｂによる再生処理（図１７及び図１８）では、第１次再生プランP_１と第２次再生プラントP_２の差が規定範囲を超えた場合に、第２次再生プランP_２を第１次再生プランP_１で置き換える（ステップＳ４０）他に、予め定められた加速度の範囲（ａ_MINからａ_MAXの範囲）で制約条件を満たせず、求めていた修正量d_ｊが見つからなかった場合は、第１次再生プラン蓄積ファイル１６３ａ２に蓄積されている現時点から未来に亘る第１次再生プランP_１による再生位置P_１(t_０＋j)（j＝０，１，…，L_Ｓ−１）を、現時点から未来に亘る第２次再生プランP_２によるP_２(t_０＋j)（j＝０，１，…，L_Ｓ−１）とする（ステップＳ３６ｍ）ようになっている。このときも、制約条件は満たされないので、U(t)＝１と設定される。

なお、再生装置１Ｅは、例えば、実施例の再生装置１（図９）における、時間軸変換部１４の構成の一部と、音量調整部１７Ｅが追加された点と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。

具体的には、再生装置１Ｅの時間軸変換部１４Ｅは、制御部１６Ｅから入力される制御信号に従って、例えば、時間軸変換手段として、デコーダ１３から入力された再生データの波形の一致度を考慮して、既存の時間軸変換技術（例えば、ＴＳＭなど）などを用いて、当該再生データの時間軸を変換し、音量調整部１７Ｅや図示しないアンプを介して、音声出力装置３に出力する。

また、再生装置１Ｅの音量調整部１７Ｅは、制御部１６Ｅから入力される制御信号に従って、音量出力装置３から出力される再生データ（音声データ）に基づく音声の音量を調整する。

また、再生装置１Ｅの制御部１６Ｅは、例えば、図２２に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｅと、などを備えて構成される。

具体的には、記憶部１６３Ｅは、例えば、図２２に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２と、再生制御プログラム１６３ｂ３と、音量制御プログラム１６３ｂ７Ｅと、などを記憶している。

音量制御プログラム１６３ｂ７Ｅは、例えば、ＲＡＭ１６２内の「聞き取り可否U(t_０)」記憶領域に“１”を設定されている場合、すなわち、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１によって第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP_２との差が予め設定された規定範囲内にないと判断された場合に、音量調整部１７Ｅに制御信号を入力して、音声出力装置３から出力される再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整する機能を、ＣＰＵ１６１に実現させる。
ここで、再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整するとは、例えば、音量を下げたり、音量を切ってしまう（音声を切る、音を切る、又は、音量を０にする）ことである。
具体的には、ＣＰＵ１６１は、例えば、U(t_０)＝０で通常音量、U(t_０)＝１で小音量（又は無音量）となるように、音声出力装置３を制御する。
ＣＰＵ１６１は、かかる音量制御プログラム１６３ｂ７Ｅを実行することによって、音量調整手段として機能する。

変形例５の再生装置１Ｅによれば、音量制御プログラム１６３ｂ７Ｅを実行したＣＰＵ１６１によって、第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１７１によって第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と第２次再生プラン作成プログラム１６３ｂ２を実行したＣＰＵ１６１により作成された第２次再生プランP_２との差が予め設定された規定範囲内にないと判断された場合に、音声出力装置３から出力される再生データに基づく音声の音量が小さくなるように調整することができる。
したがって、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の剥離による強制的な再生位置の修正（P_２(t_０)をP_１(t_０)で置き換える処理）が頻繁に起こって、聞くに耐えない音声が出力される場合は、音量が小さくなるため、より一層、ユーザにとって聞きやすい状態で再生データの可変速再生を行うことができる。

なお、再生装置１Ｅは、変形例２のように、近似的方法を用いて第２次再生プランP_２を作成してもよい。この場合、ＲＡＭ１６２内の「聞き取り可否U(t_０)」記憶領域に“１”を設定されるのが、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１によって第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１により作成された第２次再生プランP_２との差が予め設定された規定範囲内にないと判断された場合と、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１により制約条件を満たす第２次再生プランP_２が作成されなかった場合と、であるため、第２次再生プラン作成プログラム１６３ｂ２Ｂを実行したＣＰＵ１６１により制約条件を満たす第２次再生プランP_２が作成されなかった場合も、音声出力装置３から出力される再生データに基づく音声の音量が小さくなるように調整する必要がある。

また、音量の制御の仕方は、U(t_０)＝０で通常音量、U(t_０)＝１で小音量（又は無音量）となるように制御する限りではなく、U(t_０)＝１で音声出力装置３から出力される再生データに基づく音声の音量が小さくなるように制御できれば任意であり、例えば、U(t_０)＝１が設定されると、予め設定された音量レベルに達するまで徐々に音量を下げ、その後、連続して所定回数U(t_０)＝０が設定されると、通常音量になるまで徐々に音量を上げるようにしてもよい。この場合、頻繁に音量が制御されることがなく、また、滑らかに音量が変化するため、ユーザにとって快適である。

また、第２次再生プランP_２を作成せずに、第１次再生プランP_１に従って記憶媒体１１に記憶された再生データを再生する場合は、式（３０）においてｊ＝０としたＫ個の不等式が、現時点での第１次再生プランP_１について成り立つか否かを判定し、１個でも成り立たないと判定された場合にU(t_０)＝１として、音量を小さくなるように調整するようにしてもよい。

また、再生装置１Ｅは、実施例のように、線形計画問題を解いて第２次再生プランP_２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP_２を作成してもよいし、変形例３のように、制約が必要ないと判断される時区間では、実施例や変形例１、変形例２などの制約条件よりも制約が緩和された条件内で第２次再生プランP_２を作成してもよいし、変形例４のように、話速に応じて制約条件を変化させて第２次再生プランP_２を作成してもよい。

＜変形例６＞
実施例では、記憶媒体１１に記憶された再生データは音声データにより構成されていたが、再生データは、音声データ及び映像データにより構成されていてもよい。
この場合、例えば、図２３に示す再生装置１Ｆのように、第２次再生プランP_２に従って、音声データを再生するとともに、第１次再生プランP_１に従って、映像データを再生することになる。

なお、再生装置１Ｆは、例えば、実施例の再生装置１（図９）における、記憶媒体１１の構成の一部と、デコーダ１３の構成の一部と、制御部１６の構成の一部と、のみが異なる。したがって、異なる箇所のみについて説明し、その他の共通する部分は同一符号を付して説明する。

具体的には、再生装置１Ｆの記憶媒体１１Ｆは、例えば、記憶手段として、音声データ及び映像データにより構成される再生データを予め記憶している。
なお、記憶媒体１１Ｆには、音声データと、映像データと、が予め分離されて記憶されている。

また、再生装置１Ｆのデコーダ１３Ｆは、制御部１６Ｆから入力される制御信号に従って、例えば、読取部１２から入力された再生データのうちの音声データにデコード等の所定の処理を施して、時間軸変換部１４を介して音声出力装置３に出力するとともに、読取部１２から入力された再生データのうちの映像データにデコード等の所定の処理を施して、表示装置５Ｆに出力する。

また、デコーダ１３Ｆを介して表示装置１Ｆに接続された表示装置５Ｆは、例えば、液晶表示機器等であり、例えば、所定の出力装置として、デコーダ１３Ｆから入力された再生データ（映像データ）に基づく映像を表示する。

また、再生装置１Ｆの制御部１６Ｆは、例えば、図２３に示すように、ＣＰＵ１６１と、ＲＡＭ１６２と、記憶部１６３Ｆと、などを備えて構成される。

記憶部１６３Ｆは、例えば、図２２に示すように、パラメータ記憶ファイル１６３ａ１と、第１次再生プラン蓄積ファイル１６３ａ２と、第２次再生プラン蓄積ファイル１６３ａ３と、第１次再生プラン作成プログラム１６３ｂ１と、第２次再生プラン作成プログラム１６３ｂ２Ｆと、再生制御プログラム１６３ｂ３Ｆと、などを記憶している。

第２次再生プラン作成プログラム１６３ｂ２Ｆは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、パラメータ記憶ファイル１６３ａ１に記憶されたM_Ｖ(τ)、M_Ａ(τ)、C_Ｖｋ、C_Ａｋ、C_Ｃｋなどと、を基に、最適化問題を、線形計画問題として線形計画法を用いて解くことによって、当該第１次再生プランP_１を修正した現時点から未来に亘る第２次再生プランP_２を作成する機能を、ＣＰＵ１６１に実現させる。
具体的には、最適化問題は、目的関数として、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊ（或いは、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊと、第２次再生プランP_２による再生加速度の大きさa_ｊ＋b_ｊと、の和）と、第２次再生プランP_２による音声データの再生位置と第２次再生プランP_２による映像データの再生位置との差と、の和を最小にするために、制約条件として、第２次再生プランP_２による再生位置P_２(t_０＋ｊ)、再生速度V_２(t_０＋ｊ)及び再生加速度A_２(t_０＋ｊ)のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものである。

また、第２次再生プラン作成プログラム１６３ｂ２Ｆは、例えば、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１と、当該作成された第２次再生プランP_２と、の差が予め設定された規定範囲内にあるか否かを判断し、規定範囲内にないと判断した場合は、「語句の聞き取り」を確保したままでは、ユーザにより指示された再生速度V_１に応じた再生位置（第１次再生プランP_１による再生位置P_１(t_０)）と、実際の再生位置（第２次再生プランP_２による再生位置P_２(t_０)）と、の差が大きすぎるため、当該作成された第２次再生プランP_２を、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１で置き換える機能を、ＣＰＵ１６１に実現させる。
ＣＰＵ１６１は、かかる第２次再生プラン作成プログラム１６３ｂ２Ｆを実行することによって、第２次再生プラン作成手段及び判断手段として機能する。

再生制御プログラム１６３ｂ３Ｆは、例えば、第２次再生プラン作成プログラム１６３ｂ２Ｆを実行したＣＰＵ１６１により作成された現時点から未来に亘る第２次再生プランP_２に従って、記憶媒体１１に記憶された再生データのうちの音声データを再生するとともに、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された現時点から未来に亘る第１次再生プランP_１に従って、記憶媒体１１に記憶された再生データのうちの映像データを再生する機能を、ＣＰＵ１６１に実現させる。

具体的には、ＣＰＵ１６１は、例えば、読取部１２に制御信号を入力して、第２次再生プラン作成プログラム１６３ｂ２Ｆを実行したＣＰＵ１６１により作成された第２次再生プランP_２に従って、記憶媒体１１から音声データを取得させ、そして、デコーダ１３や時間軸変換部１４に制御信号を入力して、読取部１２により取得された音声データを音声出力装置３に出力させるとともに、読取部１２に制御信号を入力して、第１次再生プラン作成プログラム１６３ｂ１を実行したＣＰＵ１６１により作成された第１次再生プランP_１に従って、記憶媒体１１から映像データを取得させ、そして、デコーダ１３に制御信号を入力して、読取部１２により取得された映像データを表示装置５Ｆに出力させる。
ＣＰＵ１６１は、かかる再生制御プログラム１６３ｂ３Ｆを実行することによって、出力制御手段として機能する。

変形例６の再生装置１Ｆによれば、目的関数として、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊ（或いは、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊと、第２次再生プランP_２による再生加速度の大きさa_ｊ＋b_ｊと、の和）と、第２次再生プランP_２による音声データの再生位置と第２次再生プランP_２による映像データの再生位置との差と、の和を最小にするために、線形計画問題として線形計画法を用いて解くようになっているため、再生される音声と映像のズレを抑えることができる。

なお、映像データを第１次再生プランP_１に従って再生するようにしたが、第１次再生プランP_１を基に、映像データ用の第２次再生プランを作成し、この映像データ用の第２次再生プランに従って、映像データを再生するようにしてもよい。このとき、この映像データ用の第２次再生プランを基に、第２次再生プランP_２（音声データ用の第２次再生プラン）を作成してもよい。或いは、逆に第１次再生プランP_１を基に、第２次再生プランP_２（音声データ用の第２次再生プラン）を作成して、第２次再生プランP_２（音声データ用の第２次再生プラン）を基に、映像データ用の第２次再生プランを作成し、この映像データ用の第２次再生プランに従って映像データを再生するようにしてもよい。この場合、目的関数から音声データの再生位置と映像データの再生位置との差を除去して、最適化問題を、例えば、目的関数として、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊ（或いは、第１次再生プランP_１による再生位置P_１(t_０＋ｊ)と第２次再生プランP_２による再生位置P_２(t_０＋ｊ)との差d_ｊと、第２次再生プランP_２による再生加速度の大きさa_ｊ＋b_ｊと、の和）を最小にするために、線形計画問題として線形計画法を用いて解くことになる。
この場合、音声データと映像データが各々に適した第２次再生プランに従って再生されるため、可変速再生をした場合であっても、音声と映像をより自然に視聴させることができる。

また、デコーダ１３Ｆから制御部１６Ｆに再生データ（映像データ）が入力されるよう構成し、デコーダ１３Ｆから入力される再生データ（映像データ）を解析して、読取部１１により読み取られた再生データが、静止画区間内の再生データであるか否かを判定し、静止画区間内の再生データであると判定された場合は、映像データを早送り再生をするようにしてもよい。
また、デコーダ１３Ｆから制御部１６Ｆに再生データ（映像データ）が入力されるよう構成し、デコーダ１３Ｆから入力される再生データ（映像データ）を解析して、読取部１１により読み取られた再生データが、変化の多い動画区間内の再生データであるか否かを判定して、変化の多い動画区間内の再生データであると判定された場合は、映像データをゆっくりと再生するようにしてもよい。

また、再生装置１Ｆは、実施例のように、線形計画問題を解いて第２次再生プランP_２を作成する限りではなく、変形例１のように、非線形計画問題を解いて第２次再生プランP_２を作成してもよいし、変形例２のように、近似的方法を用いて第２次再生プランP_２を作成してもよいし、変形例３のように、制約が必要ないと判断される時区間では、実施例や変形例１、変形例２などの制約条件よりも制約が緩和された条件内で第２次再生プランP_２を作成してもよいし、変形例４のように、話速に応じて制約条件を変化させて第２次再生プランP_２を作成してもよいし、変形例５のように、音量を調整してもよい。

なお、実施例及び変形例１〜６においては、再生装置１，１Ａ〜１Ｆと、音声出力装置３や表示装置５Ｆと、が別体である必要はなく、一体であってもよい。

基礎的実験を行うための実験装置の機能的構成を示す図である。 マクロ速度及びマクロ加速度について説明するための図である。 L_Ａ＝２．０秒、L_Ｂ＝０．５秒、L_Ｃ＝０．５秒である場合のマクロ速度−加速度平面における第１次再生プランの軌跡を示す図である。 L_Ａ＝０．５秒、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒である場合のマクロ速度−加速度平面における第１次再生プランの軌跡を示す図である。 延べ７名の被験者の結果を総計して得た、L_Ａ＝０．５秒、L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒である場合のマクロ速度−加速度平面における、聞き取れる割合を示す図である。 図５のマクロ速度−加速度平面上を、判別可能条件を満たす領域と聞き取り不可能な領域とに分割した図である。 L_Ａ＝０．５秒に固定して、L_ＢとL_Ｃを変化させたときの分割の評価関数E_Ｄの変化を３次元プロットしたものを示す図である。 L_Ｂ＝０．２５秒、L_Ｃ＝１．０８秒に固定して、L_Ａを変化させたときの分割の評価関数E_Ｄの変化を２次元プロットしたものを示す図である。 本発明の再生装置の機能的構成を示す図である。 本発明の再生装置による記憶媒体に記憶された再生データの再生に関する処理を説明するためのフローチャートである。 本発明の再生装置の再生処理によって各変数が更新されていく様子を示す図である。 マクロ速度−加速度平面における第１次再生プランの軌跡（ａ）と第２次再生プランの軌跡（ｂ）を示す図である。 図１２よりもマクロ加速度の条件を厳しくした折れ線を使用した場合の、マクロ速度−加速度平面における第１次再生プランの軌跡（ａ）と第２次再生プランの軌跡（ｂ）を示す図である。 図１２（ａ）（図１３（ａ））に示す第１次再生プランの再生速度の変化（ａ）と図１２（ｂ）に示す第２次再生プランの再生速度の変化（ｂ）と図１３（ｂ）に示す第２次再生プランの再生速度の変化（ｃ）を示す図である。 変形例１の再生装置の機能的構成を示す図である。 変形例２の再生装置の機能的構成を示す図である。 変形例２の再生装置による記憶媒体に記憶された再生データの再生に関する処理を説明するための第１のフローチャートである。 変形例２の再生装置による記憶媒体に記憶された再生データの再生に関する処理を説明するための第２のフローチャートである。 マクロ速度−加速度平面における第１次再生プランの軌跡（ａ）と近似的方法QLP(t_０,L_Ｊ)によって作成した第２次再生プランの軌跡（ｂ）を示す図である。 変形例３の再生装置の機能的構成を示す図である。 変形例４の再生装置の機能的構成を示す図である。 変形例５の再生装置の機能的構成を示す図である。 変形例６の再生装置の機能的構成を示す図である。

符号の説明

１,１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ 再生装置
３ 音声出力装置（出力装置）
５Ｆ 表示装置（出力装置）
１１，１１Ｆ 記憶媒体（記憶手段）
１２ 読取部（取得手段）
１４ 時間軸変換部（時間軸変換手段）
１５ 操作部（指示手段）
１６１ ＣＰＵ（第１次再生プラン作成手段、第２次再生プラン作成手段、判断手段、出力制御手段、無音区間判定手段、音声区間判定手段、話速推定手段、音量調整手段）
１６３ｂ１ 第１次再生プラン作成プログラム（第１次再生プラン作成手段）
１６３ｂ２，１６３ｂ２Ａ，１６３ｂ２Ｂ，１６３ｂ２Ｃ，１６３ｂ２Ｄ，１６３ｂ２Ｆ 第２次再生プラン作成プログラム（第２次再生プラン作成手段、判断手段）
１６３ｂ３，１６３ｂ３Ｆ 再生制御プログラム（出力制御手段）
１６３ｂ４Ｃ 無音区間判定プログラム（無音区間判定手段）
１６３ｂ５Ｃ 音声区間判定プログラム（音声区間判定手段）
１６３ｂ６Ｄ 話速推定プログラム（話速推定手段）
１６３ｂ７Ｅ 音量制御プログラム（音量調整手段）

Claims (11)

1. 再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
   前記再生データを記憶する記憶手段と、
   ユーザによる前記再生装置の操作によって指示された前記再生データの記録時の速度とは異なる再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
   前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
   を備え、
   ユーザにとって視聴しやすい状態で再生データの可変速再生を行うことを特徴とする再生装置。
2. 請求項１に記載の再生装置において、
   前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
   前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
   前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
   前記第１次再生プラン作成手段は、前記指示手段により指示された再生速度V１に応じた、現時点から未来に亘る第１次再生プランを作成し、
   前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであり、
   前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする再生装置。
3. 再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
   前記再生データを記憶する記憶手段と、
   前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
   前記指示手段により指示された再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
   前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
   前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
   前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
   前記最適化問題は、目的関数として、所定の値を最小又は最大にするために、制約条件として、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つを元にした線形関数又は非線形関数を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるように、非線形計画問題として非線形計画法を用いて解くものであり、
   前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を線形関数又は非線形関数で含むことを特徴とする再生装置。
4. 再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
   前記再生データを記憶する記憶手段と、
   前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
   前記指示手段により指示された再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
   前記第１次再生プラン作成手段により作成された第１次再生プランを基に、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
   前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
   前記取得手段により取得された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
   前記第２次再生プラン作成手段は、前記第２次再生プランによる再生位置、再生速度及び再生加速度のうちの少なくとも１つの線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面又は空間内にある判別可能条件を示す予め設定された領域の内部に収まるという制約条件を満たすとともに、所定の値を最小又は最大にし、且つ、再生加速度が所定の範囲内にあるとともに、再生加速度が予め設定された時区間では一定である第２次再生プランを作成し、
   前記所定の値は、前記第１次再生プランと前記第２次再生プランとの差を含むことを特徴とする再生装置。
5. 請求項２〜４の何れか一項に記載の再生装置において、
   前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
   前記第１次再生プラン作成手段により作成された第１次再生プランと、前記第２次再生プラン作成手段により作成された第２次再生プランと、の差が予め設定された規定範囲内にあるか否かを判断する判断手段と、
   前記判断手段によって前記第１次再生プラン作成手段により作成された第１次再生プランと前記第２次再生プラン作成手段により作成された第２次再生プランとの差が予め設定された規定範囲内にないと判断された場合、又は、前記第２次再生プラン作成手段により前記制約条件を満たす第２次再生プランが作成されなかった場合に、前記出力装置から出力される再生データに基づく音声の音量を予め設定された音量まで小さくなるように調整する音量調整手段と、
   を備えることを特徴とする再生装置。
6. 請求項２〜５の何れか一項に記載の再生装置において、
   前記所定の値は、前記第２次再生プランによる再生加速度の大きさを含むことを特徴とする再生装置。
7. 請求項２〜６の何れか一項に記載の再生装置において、
   前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
   前記取得手段により取得された再生データが、無音区間内の再生データであるか否かを判定する無音区間判定手段を備え、
   前記第２次再生プラン作成手段は、前記無音区間判定手段によって前記取得手段により取得された再生データが無音区間内の再生データであると判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする再生装置。
8. 請求項２〜７の何れか一項に記載の再生装置において、
   前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
   前記取得手段により取得された再生データが、音声区間内の再生データであるか否かを判定する音声区間判定手段を備え、
   前記第２次再生プラン作成手段は、前記音声区間判定手段によって前記取得手段により取得された再生データが音声区間内の再生データでないと判定された場合は、前記第１次再生プラン作成手段により作成された第１次再生プランを基に、前記制約条件よりも制約が緩和された条件内で第２次再生プランを作成することを特徴とする再生装置。
9. 請求項２〜８の何れか一項に記載の再生装置において、
   前記記憶手段に記憶された再生データは、少なくとも音声データにより構成されており、
   前記取得手段により取得された再生データに基づく音声の話速を推定する話速推定手段を備え、
   前記第２次再生プラン作成手段は、前記話速推定手段により推定された話速に応じて前記制約条件を変化させることを特徴とする再生装置。
10. 請求項２〜９の何れか一項に記載の再生装置において、
    前記記憶手段に記憶された再生データは、音声データ及び映像データにより構成されており、
    前記所定の値は、前記第２次再生プランによる音声データの再生位置と、当該第２次再生プランによる映像データの再生位置と、の差を含むことを特徴とする再生装置。
11. 音声データにより構成される再生データの再生時に、当該再生データの記録時の速度とは異なる速度で再生を行う再生装置において、
    前記再生データを記憶する記憶手段と、
    前記記憶手段に記憶された再生データの再生速度V１を指示するための指示手段と、
    前記指示手段により指示された再生速度V１に応じた、現時点t０における第１次再生プランP１による再生位置P１(t０)（＝P１(t０−１)＋(FＳ／FＰ)V１）及び未来における第１次再生プランP１による再生位置P１(t０＋j)（j＝１，２，…，LＪ−１）を作成する第１次再生プラン作成手段（FＳは再生データを構成する音声データのサンプリング周波数、FＰは時間軸を離散化するサンプリング周波数、LＪは再生位置のサンプル数）と、
    前記第１次再生プラン作成手段により作成された第１次再生プランを基に、最適化問題を解くことによって、修正量dｊ（j＝０，１，…，LＪ−１）を求め、現時点から未来に亘る第１次再生プランP１による再生位置P１(t０＋j)（j＝０，１，…，LＳ−１）と、前記修正量dｊ（j＝０，１，…，LＳ−１）と、に基づいて、当該第１次再生プランを修正した現時点から未来に亘る第２次再生プランP２による再生位置P２(t０＋j)（j＝０，１，…，LＳ−１）を作成する第２次再生プラン作成手段（ＬＳは修正量のサンプル数）と、
    前記第２次再生プラン作成手段により作成された第２次再生プランに従って、前記記憶手段から再生データを取得する取得手段と、
    前記取得手段により取得された再生データの波形の一致度を考慮して、当該再生データの時間軸を変換する時間軸変換手段と、
    前記時間軸変換手段により時間軸が変換された再生データを所定の出力装置に出力させる出力制御手段と、を備え、
    前記最適化問題は、目的関数として、前記第１次再生プランと前記第２次再生プランとの差と、前記第２次再生プランによる再生加速度の大きさと、の和を最小にするために、制約条件として、前記第２次再生プランによる再生位置の線形結合を要素とするベクトルが、そのベクトルを幾何学的に含む平面内にある判別可能条件を示す予め設定された領域の内部に収まるように、線形計画問題として線形計画法を用いて解くものであることを特徴とする再生装置。