JP3986147B2 - 音響信号処理装置及びオーディオ高速再生方法 - Google Patents
音響信号処理装置及びオーディオ高速再生方法 Download PDFInfo
- Publication number
- JP3986147B2 JP3986147B2 JP02302398A JP2302398A JP3986147B2 JP 3986147 B2 JP3986147 B2 JP 3986147B2 JP 02302398 A JP02302398 A JP 02302398A JP 2302398 A JP2302398 A JP 2302398A JP 3986147 B2 JP3986147 B2 JP 3986147B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- speed
- video
- stream
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＡＶ（オーディオ、ビジュアル）機器において、映像の再生速度に合わせてオーディオ信号の再生速度を制御する音響信号処理装置及びオーディオ高速再生方法に関するものである。
【０００２】
【従来の技術】
近年、ＤＶＤ等のように、ビデオデータとオーディオデータが圧縮されたメディアを再生するシステムが急増している。これらのシステムでは、ビデオ及びオーディオの入力データは、パケットに分割されてマルチプレックスされている。このような入力データからビデオデータ（ビデオ信号とも言う）及びオーディオデータ（オーディオ信号とも言う）を分離し、これらのデータをデコードすることによって、ビデオ及びオーディオを再生する。ここで、デジタルビデオディスク（ＤＶＤ）を例に取り、従来技術について述べる。
【０００３】
ビデオデータは、ＭＰＥＧ２の仕様で圧縮されており、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャデータから構成されている。ＮＴＳＣ規格において、フィールドストラクチャの場合は各ピクチャが1/60秒、フレームストラクチャの場合は各ピクチャが1/30秒単位で圧縮されて記録されている。
【０００４】
またＤＶＤにおけるオーディオ規格の一つとしてＡＣ−３やＭＰＥＧ−２ＭＣがある。ここでは、オーディオデータが1536オーディオサンプルを１フレームとして構成されており、標本化周波数を48kHz とし、32ms単位で圧縮されてＤＶＤに記録されている。
【０００５】
上記のようにオーディオデータやビデオデータを構成する単位時間が異なる場合に、これらのデータを再生するには、同期を取る必要がある。ＤＶＤでは、ビデオ及びオーディオの出力の同期は、各パケットにつけられているプログラム・タイム・スタンプ（ＰＴＳ）の管理により実行される。即ちビデオデータ、オーディオデータの再生タイミングを独立に調整することによって同期が確立される。
【０００６】
このようなシステムにおいて、高速再生を行う場合について考える。ビデオを高速再生する場合は以下の手法が一般的に用いられている。
（１−１) ；Ｉピクチャのみ再生する( 約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ，及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。
【０００７】
各ピクチャの枚数はエンコードの方法、ビットレート等によって変化するため、上記（１）〜（３）の手法では、高速再生時に再生速度が一定倍率にならず、約1.5 倍から約７倍くらいの幅を持つ可能性がある。
【０００８】
オーディオの場合、従来よりある高速再生を実現する手法として、以下の手法が考えられる。
（２−１) ；出力データを間引き、不連続点を滑らかにする。
（２−２) ；無音部を削除する。
【０００９】
しかしながら（２−１）の手法は、固定倍率になるため、ビデオの高速再生の倍率がオーディオより高い場合には音が連続するが、ビデオがオーディオの高速再生の倍率より早く再生できない。またビデオの高速再生の倍率がオーディオより低い場合には音が途切れてしまう。（２−２）の手法は、オーディオの高速再生の倍率がビデオの最も早い場合の高速再生倍率（最大倍速）まで上げるのが困難であり、無音部を検出するための処理が重いという問題があり、実現が難しい。
【００１０】
一方、一般的に記録媒体を高速再生するのは、視聴者がある場面をサーチする場合が大部分である。この場合、現在市販されているＤＶＤでは、高速再生時にはオーディオの出力を停止して、ビデオのみ再生していることが多い。
【００１１】
【発明が解決しようとする課題】
本発明は、このような従来の問題点に鑑みてなされたものであって、信号処理が簡単であり、ビデオの再生速度に合わせてオーディオを高速再生を行い、且つ音切れが少ない音響信号処理装置及びオーディオ高速再生方法を実現することを目的とするものである。
【００１３】
【課題を解決するための手段】
本願の請求項１記載の発明は、再生速度を指示する制御手段と、オーディオ信号とビデオ信号が多重化された入力信号を処理してオーディオ信号とビデオ信号を出力する入力信号処理手段と、前記入力信号処理手段の出力するオーディオ信号を一時的に蓄積するオーディオストリームバッファと、前記入力信号処理手段の出力するビデオ信号を一時的に蓄積するビデオストリームバッファと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、オーディオ出力信号を生成するオーディオプロセッサと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けた場合に、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、前記ビデオストリームバッファの状態を監視し、そのビデオストリーム残量が所定量Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行うようにデータの入出力を制御するバッファコントローラと、を具備することを特徴とするものである。
【００１４】
本願の請求項２記載の発明は、再生速度を指示する制御手段と、オーディオ信号とビデオ信号が多重化された入力信号を処理してオーディオ信号とビデオ信号を出力する入力信号処理手段と、前記入力信号処理手段の出力するオーディオ信号を一時的に蓄積するオーディオストリームバッファと、前記入力信号処理手段の出力するビデオ信号を一時的に蓄積するビデオストリームバッファと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、オーディオ出力信号を生成するオーディオプロセッサと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けた場合に、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、前記オーディオストリームバッファ及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファの空き容量が所定量Ａより少なくなったとき、かつ前記ビデオストリームバッファのビデオストリーム残量が所定量Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行うようにデータの入出力を制御するバッファコントローラと、を具備することを特徴とするものである。
【００１５】
本願の請求項３記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記オーディオストリームバッファの内容を断続的にフラッシュすることによってオーディオ信号を間引き、オーディオの再生データ量を削減して高速再生することを特徴とするものである。
【００１６】
本願の請求項４記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記入力信号処理手段から出力されたオーディオ信号をオーディオストリームバッファに転送するのを所定量だけ中断することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするものである。
【００１７】
本願の請求項５記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記オーディオプロセッサにおいて、前記オーディオストリームバッファからの入力データを所定のデータ量をスキップすることによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするものである。
【００１８】
本願の請求項６記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記オーディオプロセッサにおいて、所定の時間オーディオ信号の出力を停止することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするものである。
【００１９】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１における音響信号処理装置について、図面を参照しながら説明する。図１は本実施の形態における音響信号処理装置の構成を示すブロック図である。この音響信号処理装置は、入力ストリーム処理手段２、オーディオストリームバッファ３、ビデオストリームバッファ４、バッファコントローラ５Ａ、制御手段６、オーディオプロセッサ７、ビデオプロセッサ８を含んで構成される。
【００２０】
入力ストリーム処理手段２に入力される入力ストリーム１は、ＤＶＤの出力データ、又はこれと同等のデータである。即ち入力ストリームデータはビデオ信号及びオーディオ信号が圧縮されてマルチプレックスされたデータである。本実施の形態では説明の簡略化のため、入力ストリーム１をＤＶＤのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータがＡＣ−３に準拠するものとして説明する。しかしこの他のストリーム形式でも同様である。
【００２１】
入力ストリーム１が入力されると、入力ストリーム処理手段２は入力ストリームから再生すべきビデオデータ及びオーディオデータを取り出し、ビデオデータをビデオストリームバッファ４に格納し、オーディオデータをオーディオストリームバッファ３に格納する。このとき、バッファコントローラ５Ａはオーディオストリームバッファ３の空き容量を監視する。
【００２２】
通常状態では、ビデオデータがビデオプロセッサ８に入力されると、ビデオプロセッサ８はデコード処理を行い，ビデオ出力信号１０に変換する。またオーディオデータがオーディオプロセッサ７に入力されると、オーディオプロセッサ７はデコード処理を行い、オーディオ出力信号９に変換する。
【００２３】
高速再生時には、まずビデオプロセッサ８は制御手段６からの指示に従い、所定倍率の高速再生を行う。このときオーディオプロセッサ７は音のピッチを通常再生時と同一にして、一部のオーディオデータを廃棄することによりオーディオの高速再生を行う。所定倍率の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１−１) ；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ、及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。なお、（１−１) 〜（１−３) 以外の高速再生でもよい。
【００２４】
これと同時にバッファコントローラ５Ａはオーディオストリームバッファ３の空き容量を監視する。そしてオーディオストリームバッファ３の空き容量が所定の値Ａより少なくなるまで通常再生を行い、所定の値Ａより少なくなったときにオーディオプロセッサ７に残量情報を伝達する。所定の値Ａはシステムによって様々に設定することができるが、本実施の形態では、空き容量が０（Ａ＝０）の場合について述べる。勿論０以外の空き容量値を用いて制御を行っても同様である。
【００２５】
オーディオストリームバッファ３の空き容量が０になった場合に、オーディオプロセッサ７はオーディオの出力データを一部削除することによって、オーディオの高速再生を行う。これを図８を用いて説明を行う。図８は再生中のオーディオストリームバッファ３とビデオストリームバッファ４の状態を示す説明図である。本図において、データ残量を網点部で示し、空き領域を非網点部で示す。
【００２６】
ビデオを高速再生をしている場合で、オーディオストリームバッファ３の空き容量が０にならない間は、状態２のようになる。このとき、ビデオストリームバッファ４の残量は０でないので、ビデオプロセッサ８によりビデオのみを高速再生する。このビデオの再生速度に合わせてオーディオストリームが入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。やがて図８の状態１のようになり、オーディオストーリームバッファ３の空き容量が０になる。
【００２７】
オーディオストリームバッファ３の空き容量が０になると、バッファコントローラ５Ａはこの情報をオーディオプロセッサ７に伝達する。そしてオーディオデータを所定量廃棄（フラッシュ）し、オーディオプロセッサ７は廃棄されたデータの続きから通常速度でオーディオデータのデコードを再開する。
【００２８】
次に、廃棄するデータの所定量と廃棄方法を手法毎に述べる。
(i) オーディオストリームバッファのクリア（フラッシュ）
オーディオストリームバッファ３のデータをフラッシュにより一部又は全て廃棄し、デコードしないストリームを一部間引くことにより、再生するオーディオデータを削減して高速再生を行う。廃棄するオーディオデータの所定量は、システムにおけるオーディオストリームバッファサイズ以下の任意の量となる。これにより再生するオーディオデータは図４のようになる。
【００２９】
図４は、オーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図４における例は、高速再生時に、ストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオストリームバッファのクリアによって削除された場合を示す。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００３０】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファ３の内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００３１】
(ii)オーディオストリームの入力制限
入力ストリーム処理手段２からオーディオストリームバッファ３への入力を所定時間停止（未転送）することにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、入力制限毎に(n-1) オーディオフレーム以上のオーディオデータを廃棄する必要がある。
【００３２】
再生するオーディオデータは図５のようになる．図５はオーディオの入力ストリームを示し、通常再生の場合がストリーム１、入力制限した場合がストリーム２である。図５における例は、高速再生時に、ストリーム１の中のフレーム４の途中からフレーム７の途中までのオーディオデータが未転送により削除された場合である。その結果、高速再生時にデコードするストリームはストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００３３】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある．
【００３４】
(iii) オーディオストリームのスキップ
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位でスキップ（廃棄）することにより、再生するオーディオデータを削減して高速再生を行う。廃棄するデータは、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、スキップ毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００３５】
再生するオーディオデータは図６のようになる。図６において、通常再生の場合がストリーム１であり、フレームスキップした場合がストリーム２である．図６における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までがフレームスキップによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、フレームスキップによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理されるため、ストリームエラーが発生しない。
【００３６】
(iv)オーディオの出力停止
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位で出力停止することにより、再生するオーディオデータを削減し、高速再生を行う。出力停止するデータの所定量の最小値は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、出力停止毎に(n-1) オーディオフレーム以上を廃棄する必要がある。
【００３７】
再生するオーディオデータは図７のようになる。図７はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、出力停止の場合がストリーム２である。図７における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までが出力停止によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、出力停止によって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００３８】
以上のように、オーディオストリームバッファ３の空き容量が０になる度に、オーディオストリームを(i) 〜(iv)のいずれかの方法で所定量廃棄することにより、ビデオの高速再生の速度を変えることなく、ビデオの再生速度に合ったオーディオの高速再生を実現することができる。また上記のオーディオのストリーム廃棄方法を取ることにより、音切れの少ないオーディオ高速再生を実現できる。これにより、処理が簡単で、ビデオの再生速度に合わせた高速再生を実現しながら、音切れが少ない音響信号処理装置を実現することができる。
【００３９】
（実施の形態２）
次に本発明の実施の形態２における音響信号処理装置について、図面を参照しながら説明する。図２は本実施の形態における音響信号処理装置の構成を示すブロック図である。この音響信号処理装置は、実施の形態１と同様に入力ストリーム処理手段２、オーディオストリームバッファ３、ビデオストリームバッファ４、バッファコントローラ５Ｂ、制御手段６、オーディオプロセッサ７、ビデオプロセッサ８を含んで構成される。
【００４０】
入力ストリーム処理手段２に入力される入力ストリーム１は、ＤＶＤの出力データ又はこれと同等のデータとし、ビデオ信号及びオーディオ信号が圧縮されてマルチプレックスされたストリームデータである。本実施の形態でも説明の簡略化のため、入力ストリーム１をＤＶＤのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータがＡＣ−３に準拠するものとして説明する。しかしこの他のストリーム形式でも同様である．
【００４１】
入力ストリーム処理手段２では、入力ストリーム１から再生すべきビデオデータ及びオーディオデータを取り出し、ビデオデータをビデオストリームバッファ４に格納し、オーディオデータをオーディオストリームバッファ３に格納する。このとき、ビデオストリームバッファ４の残量はバッファコントローラ５Ｂによって監視される。
【００４２】
通常状態ではビデオデータはビデオプロセッサ８に入力される。ビデオプロセッサ８はビデオデータをデコード処理し、ビデオ出力信号１０に変換する。またオーディオデータはオーディオプロセッサ７に入力される。オーディオプロセッサ７はオーディオデータをデコード処理し、オーディオ出力信号９に変換する。
【００４３】
高速再生時には、まずビデオプロセッサ８は制御手段６からの指示に従い、所定の高速再生を行う。このときオーディオプロセッサ７は通常再生を行う。所定の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１−１) ；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ、及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。なお、（１−１) 〜（１−３) 以外の高速再生でもよい。
【００４４】
これと同時にバッファコントローラ５Ｂはビデオストリームバッファ４の残量を監視し、ビデオストリームバッファ４の残量が所定値Ｖより少なくなるまで通常再生を行い、所定値Ｖより少なくなったときにオーディオプロセッサ７に残量情報を伝達する。所定値Ｖの値はシステムによって様々に設定が可能であるが、本実施の形態では残量が０（Ｖ＝０）の場合について述べる。勿論０以外の残量値を用いて制御を行っても同様である。
【００４５】
ビデオストリームバッファ４の残量が０になった場合に、オーディオデータを一部削除することによって、オーディオの高速再生を行う。これを図９を用いて説明を行う。図９は再生中のオーディオストリームバッファ３とビデオストリームバッファ４の状態を示す説明図である。本図において、データ残量を網点部で示し、空き領域を非網点部で示す。
【００４６】
ビデオデータを高速再生をしている場合で、ビデオストリームバッファ４の残量が０にならない間は図９の状態２のようになる。即ち、ビデオストリームバッファ４及びオーディオストリームバッファ３は、それぞれ残量は０でない状態となり、ビデオのみを高速再生する。このビデオの再生速度に合わせてオーディオストリームのデータが入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。このようにオーディオストリームバッファ３のオーディオデータが処理されないために、入力ストリーム１からビデオストリームの新たな抽出ができなくなり、図９の状態１のように、ビデオストーリームバッファ４の残量が０になる。
【００４７】
ビデオストリームバッファ４の残量が０になると、バッファコントローラ５Ｂはこの情報をオーディオプロセッサ７に伝達する。この情報を受けたオーディオプロセッサ７は、オーディオストリームバッファ３のデータを所定量廃棄し、その後、廃棄されたデータの続きから通常速度でデコードを再開する。
【００４８】
廃棄するデータの所定量と廃棄方法を手法毎に述べる。
(i) オーディオストリームバッファクリア
オーディオストリームバッファ３のデータを一部又は全て廃棄し、デコードしていないストリームを一部間引くことにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するオーディオデータの所定量Ａは、システムにおけるオーディオストリームバッファサイズ３以下の任意の量となる。これにより再生されるオーディオデータは図４のようになる。
【００４９】
図４は、オーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図４における例は、高速再生時に、ストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオストリームのバッファクリアによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００５０】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファの内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００５１】
(ii)オーディオストリームの入力制限
入力ストリーム処理手段２からオーディオストリームバッファ３への入力を所定時間停止することにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量Ａは、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、入力制限毎に(n-1) オーディオフレーム以上のオーディオデータを廃棄する必要がある。
【００５２】
再生するオーディオデータは図５のようになる。図５はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、オーディオデータの未転送より削除した場合がストリーム２である。図５における例は、高速再生時にストリーム１の中のフレーム４の途中からフレーム７の途中までが削除された場合である。その結果、高速再生時にデコードするストリームはストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、データの入力制限（未転送）によって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8=1.5倍となる。
【００５３】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファのデータが無くなるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００５４】
(iii) オーディオストリームのスキップ
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位でスキップすることにより、再生するオーディオデータを削減し、高速再生を行う。スキップするデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、スキップ毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００５５】
再生するオーディオデータは図６のようになる。図６はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、フレームスキップした場合がストリーム２である。図６における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までがフレームスキップによって削除された場合である。その結果、高速再生時にデコードするストリームはストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによってデコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8=1.5倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００５６】
(iv)オーディオの出力停止
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位で出力停止することにより、再生するオーディオデータを削減し、高速再生を行う。出力停止するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、出力停止毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００５７】
再生するオーディオデータは図７のようになる。図７はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、出力停止の場合がストリーム２である。図７における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までが出力停止によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、出力停止によってデコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8=1.5倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理されため、ストリームエラーが発生しない。
【００５８】
以上のように、ビデオストリームバッファ４の残量が０になる度に、オーディオストリームを所定量廃棄することにより、ビデオの高速再生の速度を変えることなく、またビデオの再生速度に合ったオーディオの高速再生を実現することができる。また上記のオーディオのストリーム廃棄方法を取ることにより、音切れの少ないオーディオ高速再生を実現できる。これにより、処理が簡単で、ビデオの再生速度に合わせた高速再生を実現しながら、音切れが少ない音響信号処理装置を実現することができる。
【００５９】
（実施の形態３）
次に本発明の実施の形態３における音響信号処理装置について、図面を参照しながら説明する。図３は本実施の形態における音響信号処理装置の構成を示すブロック図である。この音響信号処理装置は、実施の形態１と同様に入力ストリーム処理手段２、オーディオストリームバッファ３、ビデオストリームバッファ４、バッファコントローラ５Ｃ、制御手段６、オーディオプロセッサ７、ビデオプロセッサ８を含んで構成される。
【００６０】
入力ストリーム処理手段２に入力される入力ストリーム１は、ＤＶＤの出力データ、又はこれと同等のデータである。即ち入力ストリームデータはビデオ信号及びオーディオ信号が圧縮されてマルチプレックスされたデータである。本実施の形態でも説明の簡略化のため、入力ストリーム１をＤＶＤのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータがＡＣ−３に準拠するものとして説明する。しかしこの他のストリーム形式でも同様である．
【００６１】
入力ストリーム処理手段２は、入力ストリーム１から再生すべきビデオデータ及びオーディオデータを取り出す。そして、ビデオデータをビデオストリームバッファ４に格納し、オーディオデータをオーディオストリームバッファ３に格納する。このとき、ビデオストリームバッファ４の残量及びオーディオストリームバッファ３の空き容量は、バッファコントローラ５Ｃによって監視される。
【００６２】
通常状態ではビデオデータはビデオプロセッサ８に入力され、デコード処理された後、ビデオ出力信号１０に変換される。またオーディオデータはオーディオプロセッサ７に入力され、デコード処理された後、オーディオ出力信号９に変換される。
【００６３】
高速再生時には、まずビデオプロセッサ８は制御手段６からの指示に従い、所定の高速再生を行う。このときオーディオプロセッサ７は通常再生を行う。所定の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１−１) ；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ、及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。なお、（１−１) 〜（１−３) 以外の高速再生でもよい。
【００６４】
これと同時にバッファコントローラ５Ｃはビデオストリームバッファ４の残量及びオーディオストリームバッファ３の空き容量を監視する。そして、ビデオストリームバッファの残量が所定値Ｖより少なくなるまで、又はオーディオストリームバッファ３の空き容量が所定値Ａより少なくなるまで通常再生を行う。ビデオストリームバッファ４の残量が所定値Ｖより少なくなったとき、又はオーディオストリームバッファ３の空き容量が所定値Ａより少なくなったときに、オーディオプロセッサ７に残量情報を伝達する。所定の値Ｖ及びＡはシステムによって様々に設定が可能であるが、本実施の形態では、所定値Ｖ及びＡが０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
【００６５】
ビデオストリームバッファ４の残量が０になった場合、又はオーディオストリームバッファ３の空き容量が０になった場合に、オーディオデータを一部削除することによって、オーディオの高速再生を行う。これを図８及び図９を用いて説明を行う。図８及び図９は再生中のオーディオストリームバッファ３及びビデオストリームバッファ４のデータ残存状態の例を示している。
【００６６】
ビデオデータを高速再生をしている場合で、ビデオストリームバッファ４の残量が０にならない間は、図８及び図９の状態２のようになる。即ち、ビデオストリームバッファ４及びオーディオストリームバッファ３の残量は０でないが、ビデオデータのみ高速再生し、このビデオの再生速度に合わせてデータストリームが入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。このため図８の状態１のように、オーディオストーリームバッファ３の空き容量が０になる。又は図９の状態１のように、ビデオストリームバッファ４の残量が０になる。
【００６７】
オーディオストリームバッファ３の空き容量が０、又はビデオストリームバッファ４の残量が０になると、バッファコントローラ５Ｃはこの情報をオーディオプロセッサ７に伝達する。そしてオーディオストリームバッファ３のデータを所定量廃棄し、オーディオプロセッサ７はその後廃棄されたデータの続きから、通常速度でデコードを再開する。
【００６８】
データの廃棄量と廃棄方法を手法毎に述べる。
(i) オーディオストリームバッファのクリア
オーディオストリームバッファ３のデータを一部全て廃棄し、デコードしていないストリームを一部間引くことにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するオーディオデータの所定量は、システムにおけるオーディオストリームバッファサイズ以下の任意の量である。これにより、再生するオーディオデータは図４のようになる。
【００６９】
図４はオーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図４における例は、高速再生時にストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオストリームのバッファクリアによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００７０】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータをフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファ３の内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００７１】
(ii)オーディオストリームの入力制限
入力ストリーム処理手段２からオーディオストリームバッファ３への入力を所定時間停止（未転送）することにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、入力制限毎に(n-1) オーディオフレーム以上のオーディオデータを廃棄する必要がある。
【００７２】
再生するオーディオデータは図５のようになる。図５はオーディオの入力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図５における例は、高速再生時にストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオデータの入力制限によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００７３】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータをフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファ３の内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００７４】
(iii) オーディオストリームのスキップ
オーディオプロセッサによって１〜数フレーム分、オーディオデータをフレーム単位でスキップすることにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、スキップ毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００７５】
再生するオーディオデータは図６のようになる。図６はオーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、フレームスキップした場合がストリーム２である。図６における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までがオーディオストリームのスキップによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、フレームスキップによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００７６】
(iv)オーディオの出力停止
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位で出力停止することにより、再生するオーディオデータを削減し、高速再生を行う。出力停止するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、出力停止毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００７７】
再生するオーディオデータは図７のようになる。図７はオーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、出力停止の場合がストリーム２である。図７における例は、高速再生時に、ストリーム１の中のフレーム４からフレーム７までがオーディオストリームの出力停止によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、出力停止によって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００７８】
以上のように、オーディオストリームバッファ３の空き容量が０になるか、又はビデオストリームバッファ４の残量が０になる度に、オーディオストリームを所定量廃棄する。こうして、ビデオの高速再生の速度を変えることなく、またビデオの再生速度に合ったオーディオの高速再生を実現することができる。
【００７９】
ＭＰＥＧ規格のデータストリームにおいて、オーディオデータ及びビデオデータは、一般に夫々独立にチップ化されたＬＳＩでデコード処理される場合が多い。また同一チップであっても、夫々のコアが独立のブロックに形成される場合が多い。このような場合は、バッファコントローラ５は、オーディオストリームバッファ３及びビデオストリームバッファ４の両方の内容を監視できるとは限らない。このような状況では、バッファコントローラ５は監視できる方のストリームバッファのみを参照する。オーディオデータ及びビデオデータが同一のチップのＬＳＩでデコード処理される場合は、データバスを介して両方のストリームバッファを参照することができる。
【００８０】
以上のようにオーディオのストリーム廃棄方法を上記(i) 〜(iv)の手法を取ることにより、音切れの少ないオーディオ高速再生を実現できる。これにより、処理が簡単でビデオの再生速度に合わせた高速再生を実現しながら、音切れが少ない音響信号処理装置を実現することができる。
【００８１】
尚、以上の実施の形態において、フレーム単位でオーディオデータを削除する場合、例えばフレーム0 〜フレームi ，フレームi+1 ，・・・フレームk-1 ，フレームk ，フレームk+1 を入力し、フレームi+1 ，・・・フレームk-1 を削除する場合には、フレームi ，フレームk のオーディオデータに対してクロスフェードをかけるものとする。
【００８３】
【発明の効果】
請求項１記載の発明によれば、オーディオストリームバッファの空き容量を監視し、それぞれ所定量より少なくなった場合にオーディオストリームを所定量廃棄することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８４】
請求項２記載の発明によれば、オーディオストリームバッファの空き容量を監視し、それぞれ所定量より少なくなった場合、又はビデオストリームバッファの残量を監視し、それぞれ所定量より少なくなった場合、オーディオストリームを所定量廃棄することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる
。
【００８５】
請求項３記載の発明によれば、オーディオストリームバッファの内容を断続的にフラッシュすることによってオーディオ信号を間引き、オーディオの再生データ量を削減して高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８６】
請求項４記載の発明によれば、入力信号処理手段から出力されたオーディオ信号をオーディオストリームバッファに転送するのを所定量だけ中断することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８７】
請求項５記載の発明によれば、オーディオプロセッサにおいて、オーディオストリームバッファからの入力データを所定のデータ量をスキップすることによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８８】
請求項６記載の発明によれば、オーディオプロセッサにおいて、所定の時間オーディオ信号の出力を停止することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における音響信号処理装置の構成図である。
【図２】本発明の実施の形態２における音響信号処理装置の構成図である。
【図３】本発明の実施の形態３における音響信号処理装置の構成図である。
【図４】本発明の実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(i) を示す説明図である。
【図５】実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(ii)を示す説明図である。
【図６】実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(iii) を示す説明図である。
【図７】実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(iv)を示す説明図である。
【図８】実施の形態１及び３の音響信号処理装置において、オーディオストリームバッファ及びビデオストリームバッファのデータの残存状態を示す説明図である。
【図９】実施の形態２及び３の音響信号処理装置において、オーディオストリームバッファ及びビデオストリームバッファのデータの残存状態を示す説明図である。
【符号の説明】
１ 入力ストリーム
２ 入力ストリーム処理手段（入力信号処理手段）
３ オーディオストリームバッファ
４ ビデオストリームバッファ
５Ａ，５Ｂ，５Ｃ バッファコントローラ
６ 制御手段
７ オーディオプロセッサ
８ ビデオプロッセッサ
９ オーディオ出力信号
１０ ビデオ出力信号
【発明の属する技術分野】
本発明は、ＡＶ（オーディオ、ビジュアル）機器において、映像の再生速度に合わせてオーディオ信号の再生速度を制御する音響信号処理装置及びオーディオ高速再生方法に関するものである。
【０００２】
【従来の技術】
近年、ＤＶＤ等のように、ビデオデータとオーディオデータが圧縮されたメディアを再生するシステムが急増している。これらのシステムでは、ビデオ及びオーディオの入力データは、パケットに分割されてマルチプレックスされている。このような入力データからビデオデータ（ビデオ信号とも言う）及びオーディオデータ（オーディオ信号とも言う）を分離し、これらのデータをデコードすることによって、ビデオ及びオーディオを再生する。ここで、デジタルビデオディスク（ＤＶＤ）を例に取り、従来技術について述べる。
【０００３】
ビデオデータは、ＭＰＥＧ２の仕様で圧縮されており、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャデータから構成されている。ＮＴＳＣ規格において、フィールドストラクチャの場合は各ピクチャが1/60秒、フレームストラクチャの場合は各ピクチャが1/30秒単位で圧縮されて記録されている。
【０００４】
またＤＶＤにおけるオーディオ規格の一つとしてＡＣ−３やＭＰＥＧ−２ＭＣがある。ここでは、オーディオデータが1536オーディオサンプルを１フレームとして構成されており、標本化周波数を48kHz とし、32ms単位で圧縮されてＤＶＤに記録されている。
【０００５】
上記のようにオーディオデータやビデオデータを構成する単位時間が異なる場合に、これらのデータを再生するには、同期を取る必要がある。ＤＶＤでは、ビデオ及びオーディオの出力の同期は、各パケットにつけられているプログラム・タイム・スタンプ（ＰＴＳ）の管理により実行される。即ちビデオデータ、オーディオデータの再生タイミングを独立に調整することによって同期が確立される。
【０００６】
このようなシステムにおいて、高速再生を行う場合について考える。ビデオを高速再生する場合は以下の手法が一般的に用いられている。
（１−１) ；Ｉピクチャのみ再生する( 約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ，及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。
【０００７】
各ピクチャの枚数はエンコードの方法、ビットレート等によって変化するため、上記（１）〜（３）の手法では、高速再生時に再生速度が一定倍率にならず、約1.5 倍から約７倍くらいの幅を持つ可能性がある。
【０００８】
オーディオの場合、従来よりある高速再生を実現する手法として、以下の手法が考えられる。
（２−１) ；出力データを間引き、不連続点を滑らかにする。
（２−２) ；無音部を削除する。
【０００９】
しかしながら（２−１）の手法は、固定倍率になるため、ビデオの高速再生の倍率がオーディオより高い場合には音が連続するが、ビデオがオーディオの高速再生の倍率より早く再生できない。またビデオの高速再生の倍率がオーディオより低い場合には音が途切れてしまう。（２−２）の手法は、オーディオの高速再生の倍率がビデオの最も早い場合の高速再生倍率（最大倍速）まで上げるのが困難であり、無音部を検出するための処理が重いという問題があり、実現が難しい。
【００１０】
一方、一般的に記録媒体を高速再生するのは、視聴者がある場面をサーチする場合が大部分である。この場合、現在市販されているＤＶＤでは、高速再生時にはオーディオの出力を停止して、ビデオのみ再生していることが多い。
【００１１】
【発明が解決しようとする課題】
本発明は、このような従来の問題点に鑑みてなされたものであって、信号処理が簡単であり、ビデオの再生速度に合わせてオーディオを高速再生を行い、且つ音切れが少ない音響信号処理装置及びオーディオ高速再生方法を実現することを目的とするものである。
【００１３】
【課題を解決するための手段】
本願の請求項１記載の発明は、再生速度を指示する制御手段と、オーディオ信号とビデオ信号が多重化された入力信号を処理してオーディオ信号とビデオ信号を出力する入力信号処理手段と、前記入力信号処理手段の出力するオーディオ信号を一時的に蓄積するオーディオストリームバッファと、前記入力信号処理手段の出力するビデオ信号を一時的に蓄積するビデオストリームバッファと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、オーディオ出力信号を生成するオーディオプロセッサと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けた場合に、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、前記ビデオストリームバッファの状態を監視し、そのビデオストリーム残量が所定量Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行うようにデータの入出力を制御するバッファコントローラと、を具備することを特徴とするものである。
【００１４】
本願の請求項２記載の発明は、再生速度を指示する制御手段と、オーディオ信号とビデオ信号が多重化された入力信号を処理してオーディオ信号とビデオ信号を出力する入力信号処理手段と、前記入力信号処理手段の出力するオーディオ信号を一時的に蓄積するオーディオストリームバッファと、前記入力信号処理手段の出力するビデオ信号を一時的に蓄積するビデオストリームバッファと、前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、オーディオ出力信号を生成するオーディオプロセッサと、前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けた場合に、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、前記オーディオストリームバッファ及び前記ビデオストリームバッファの状態を監視し、前記オーディオストリームバッファの空き容量が所定量Ａより少なくなったとき、かつ前記ビデオストリームバッファのビデオストリーム残量が所定量Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行うようにデータの入出力を制御するバッファコントローラと、を具備することを特徴とするものである。
【００１５】
本願の請求項３記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記オーディオストリームバッファの内容を断続的にフラッシュすることによってオーディオ信号を間引き、オーディオの再生データ量を削減して高速再生することを特徴とするものである。
【００１６】
本願の請求項４記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記入力信号処理手段から出力されたオーディオ信号をオーディオストリームバッファに転送するのを所定量だけ中断することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするものである。
【００１７】
本願の請求項５記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記オーディオプロセッサにおいて、前記オーディオストリームバッファからの入力データを所定のデータ量をスキップすることによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするものである。
【００１８】
本願の請求項６記載の発明は、請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、ビデオ信号を高速再生する場合、前記オーディオプロセッサにおいて、所定の時間オーディオ信号の出力を停止することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするものである。
【００１９】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１における音響信号処理装置について、図面を参照しながら説明する。図１は本実施の形態における音響信号処理装置の構成を示すブロック図である。この音響信号処理装置は、入力ストリーム処理手段２、オーディオストリームバッファ３、ビデオストリームバッファ４、バッファコントローラ５Ａ、制御手段６、オーディオプロセッサ７、ビデオプロセッサ８を含んで構成される。
【００２０】
入力ストリーム処理手段２に入力される入力ストリーム１は、ＤＶＤの出力データ、又はこれと同等のデータである。即ち入力ストリームデータはビデオ信号及びオーディオ信号が圧縮されてマルチプレックスされたデータである。本実施の形態では説明の簡略化のため、入力ストリーム１をＤＶＤのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータがＡＣ−３に準拠するものとして説明する。しかしこの他のストリーム形式でも同様である。
【００２１】
入力ストリーム１が入力されると、入力ストリーム処理手段２は入力ストリームから再生すべきビデオデータ及びオーディオデータを取り出し、ビデオデータをビデオストリームバッファ４に格納し、オーディオデータをオーディオストリームバッファ３に格納する。このとき、バッファコントローラ５Ａはオーディオストリームバッファ３の空き容量を監視する。
【００２２】
通常状態では、ビデオデータがビデオプロセッサ８に入力されると、ビデオプロセッサ８はデコード処理を行い，ビデオ出力信号１０に変換する。またオーディオデータがオーディオプロセッサ７に入力されると、オーディオプロセッサ７はデコード処理を行い、オーディオ出力信号９に変換する。
【００２３】
高速再生時には、まずビデオプロセッサ８は制御手段６からの指示に従い、所定倍率の高速再生を行う。このときオーディオプロセッサ７は音のピッチを通常再生時と同一にして、一部のオーディオデータを廃棄することによりオーディオの高速再生を行う。所定倍率の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１−１) ；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ、及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。なお、（１−１) 〜（１−３) 以外の高速再生でもよい。
【００２４】
これと同時にバッファコントローラ５Ａはオーディオストリームバッファ３の空き容量を監視する。そしてオーディオストリームバッファ３の空き容量が所定の値Ａより少なくなるまで通常再生を行い、所定の値Ａより少なくなったときにオーディオプロセッサ７に残量情報を伝達する。所定の値Ａはシステムによって様々に設定することができるが、本実施の形態では、空き容量が０（Ａ＝０）の場合について述べる。勿論０以外の空き容量値を用いて制御を行っても同様である。
【００２５】
オーディオストリームバッファ３の空き容量が０になった場合に、オーディオプロセッサ７はオーディオの出力データを一部削除することによって、オーディオの高速再生を行う。これを図８を用いて説明を行う。図８は再生中のオーディオストリームバッファ３とビデオストリームバッファ４の状態を示す説明図である。本図において、データ残量を網点部で示し、空き領域を非網点部で示す。
【００２６】
ビデオを高速再生をしている場合で、オーディオストリームバッファ３の空き容量が０にならない間は、状態２のようになる。このとき、ビデオストリームバッファ４の残量は０でないので、ビデオプロセッサ８によりビデオのみを高速再生する。このビデオの再生速度に合わせてオーディオストリームが入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。やがて図８の状態１のようになり、オーディオストーリームバッファ３の空き容量が０になる。
【００２７】
オーディオストリームバッファ３の空き容量が０になると、バッファコントローラ５Ａはこの情報をオーディオプロセッサ７に伝達する。そしてオーディオデータを所定量廃棄（フラッシュ）し、オーディオプロセッサ７は廃棄されたデータの続きから通常速度でオーディオデータのデコードを再開する。
【００２８】
次に、廃棄するデータの所定量と廃棄方法を手法毎に述べる。
(i) オーディオストリームバッファのクリア（フラッシュ）
オーディオストリームバッファ３のデータをフラッシュにより一部又は全て廃棄し、デコードしないストリームを一部間引くことにより、再生するオーディオデータを削減して高速再生を行う。廃棄するオーディオデータの所定量は、システムにおけるオーディオストリームバッファサイズ以下の任意の量となる。これにより再生するオーディオデータは図４のようになる。
【００２９】
図４は、オーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図４における例は、高速再生時に、ストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオストリームバッファのクリアによって削除された場合を示す。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００３０】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファ３の内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００３１】
(ii)オーディオストリームの入力制限
入力ストリーム処理手段２からオーディオストリームバッファ３への入力を所定時間停止（未転送）することにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、入力制限毎に(n-1) オーディオフレーム以上のオーディオデータを廃棄する必要がある。
【００３２】
再生するオーディオデータは図５のようになる．図５はオーディオの入力ストリームを示し、通常再生の場合がストリーム１、入力制限した場合がストリーム２である。図５における例は、高速再生時に、ストリーム１の中のフレーム４の途中からフレーム７の途中までのオーディオデータが未転送により削除された場合である。その結果、高速再生時にデコードするストリームはストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００３３】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある．
【００３４】
(iii) オーディオストリームのスキップ
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位でスキップ（廃棄）することにより、再生するオーディオデータを削減して高速再生を行う。廃棄するデータは、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、スキップ毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００３５】
再生するオーディオデータは図６のようになる。図６において、通常再生の場合がストリーム１であり、フレームスキップした場合がストリーム２である．図６における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までがフレームスキップによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、フレームスキップによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理されるため、ストリームエラーが発生しない。
【００３６】
(iv)オーディオの出力停止
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位で出力停止することにより、再生するオーディオデータを削減し、高速再生を行う。出力停止するデータの所定量の最小値は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、出力停止毎に(n-1) オーディオフレーム以上を廃棄する必要がある。
【００３７】
再生するオーディオデータは図７のようになる。図７はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、出力停止の場合がストリーム２である。図７における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までが出力停止によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、出力停止によって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００３８】
以上のように、オーディオストリームバッファ３の空き容量が０になる度に、オーディオストリームを(i) 〜(iv)のいずれかの方法で所定量廃棄することにより、ビデオの高速再生の速度を変えることなく、ビデオの再生速度に合ったオーディオの高速再生を実現することができる。また上記のオーディオのストリーム廃棄方法を取ることにより、音切れの少ないオーディオ高速再生を実現できる。これにより、処理が簡単で、ビデオの再生速度に合わせた高速再生を実現しながら、音切れが少ない音響信号処理装置を実現することができる。
【００３９】
（実施の形態２）
次に本発明の実施の形態２における音響信号処理装置について、図面を参照しながら説明する。図２は本実施の形態における音響信号処理装置の構成を示すブロック図である。この音響信号処理装置は、実施の形態１と同様に入力ストリーム処理手段２、オーディオストリームバッファ３、ビデオストリームバッファ４、バッファコントローラ５Ｂ、制御手段６、オーディオプロセッサ７、ビデオプロセッサ８を含んで構成される。
【００４０】
入力ストリーム処理手段２に入力される入力ストリーム１は、ＤＶＤの出力データ又はこれと同等のデータとし、ビデオ信号及びオーディオ信号が圧縮されてマルチプレックスされたストリームデータである。本実施の形態でも説明の簡略化のため、入力ストリーム１をＤＶＤのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータがＡＣ−３に準拠するものとして説明する。しかしこの他のストリーム形式でも同様である．
【００４１】
入力ストリーム処理手段２では、入力ストリーム１から再生すべきビデオデータ及びオーディオデータを取り出し、ビデオデータをビデオストリームバッファ４に格納し、オーディオデータをオーディオストリームバッファ３に格納する。このとき、ビデオストリームバッファ４の残量はバッファコントローラ５Ｂによって監視される。
【００４２】
通常状態ではビデオデータはビデオプロセッサ８に入力される。ビデオプロセッサ８はビデオデータをデコード処理し、ビデオ出力信号１０に変換する。またオーディオデータはオーディオプロセッサ７に入力される。オーディオプロセッサ７はオーディオデータをデコード処理し、オーディオ出力信号９に変換する。
【００４３】
高速再生時には、まずビデオプロセッサ８は制御手段６からの指示に従い、所定の高速再生を行う。このときオーディオプロセッサ７は通常再生を行う。所定の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１−１) ；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ、及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。なお、（１−１) 〜（１−３) 以外の高速再生でもよい。
【００４４】
これと同時にバッファコントローラ５Ｂはビデオストリームバッファ４の残量を監視し、ビデオストリームバッファ４の残量が所定値Ｖより少なくなるまで通常再生を行い、所定値Ｖより少なくなったときにオーディオプロセッサ７に残量情報を伝達する。所定値Ｖの値はシステムによって様々に設定が可能であるが、本実施の形態では残量が０（Ｖ＝０）の場合について述べる。勿論０以外の残量値を用いて制御を行っても同様である。
【００４５】
ビデオストリームバッファ４の残量が０になった場合に、オーディオデータを一部削除することによって、オーディオの高速再生を行う。これを図９を用いて説明を行う。図９は再生中のオーディオストリームバッファ３とビデオストリームバッファ４の状態を示す説明図である。本図において、データ残量を網点部で示し、空き領域を非網点部で示す。
【００４６】
ビデオデータを高速再生をしている場合で、ビデオストリームバッファ４の残量が０にならない間は図９の状態２のようになる。即ち、ビデオストリームバッファ４及びオーディオストリームバッファ３は、それぞれ残量は０でない状態となり、ビデオのみを高速再生する。このビデオの再生速度に合わせてオーディオストリームのデータが入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。このようにオーディオストリームバッファ３のオーディオデータが処理されないために、入力ストリーム１からビデオストリームの新たな抽出ができなくなり、図９の状態１のように、ビデオストーリームバッファ４の残量が０になる。
【００４７】
ビデオストリームバッファ４の残量が０になると、バッファコントローラ５Ｂはこの情報をオーディオプロセッサ７に伝達する。この情報を受けたオーディオプロセッサ７は、オーディオストリームバッファ３のデータを所定量廃棄し、その後、廃棄されたデータの続きから通常速度でデコードを再開する。
【００４８】
廃棄するデータの所定量と廃棄方法を手法毎に述べる。
(i) オーディオストリームバッファクリア
オーディオストリームバッファ３のデータを一部又は全て廃棄し、デコードしていないストリームを一部間引くことにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するオーディオデータの所定量Ａは、システムにおけるオーディオストリームバッファサイズ３以下の任意の量となる。これにより再生されるオーディオデータは図４のようになる。
【００４９】
図４は、オーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図４における例は、高速再生時に、ストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオストリームのバッファクリアによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００５０】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファの内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００５１】
(ii)オーディオストリームの入力制限
入力ストリーム処理手段２からオーディオストリームバッファ３への入力を所定時間停止することにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量Ａは、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、入力制限毎に(n-1) オーディオフレーム以上のオーディオデータを廃棄する必要がある。
【００５２】
再生するオーディオデータは図５のようになる。図５はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、オーディオデータの未転送より削除した場合がストリーム２である。図５における例は、高速再生時にストリーム１の中のフレーム４の途中からフレーム７の途中までが削除された場合である。その結果、高速再生時にデコードするストリームはストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、データの入力制限（未転送）によって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8=1.5倍となる。
【００５３】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータのフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファのデータが無くなるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００５４】
(iii) オーディオストリームのスキップ
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位でスキップすることにより、再生するオーディオデータを削減し、高速再生を行う。スキップするデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、スキップ毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００５５】
再生するオーディオデータは図６のようになる。図６はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、フレームスキップした場合がストリーム２である。図６における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までがフレームスキップによって削除された場合である。その結果、高速再生時にデコードするストリームはストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによってデコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8=1.5倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００５６】
(iv)オーディオの出力停止
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位で出力停止することにより、再生するオーディオデータを削減し、高速再生を行う。出力停止するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、出力停止毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００５７】
再生するオーディオデータは図７のようになる。図７はオーディオの出力ストリームを示し、通常再生の場合がストリーム１、出力停止の場合がストリーム２である。図７における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までが出力停止によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、出力停止によってデコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8=1.5倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理されため、ストリームエラーが発生しない。
【００５８】
以上のように、ビデオストリームバッファ４の残量が０になる度に、オーディオストリームを所定量廃棄することにより、ビデオの高速再生の速度を変えることなく、またビデオの再生速度に合ったオーディオの高速再生を実現することができる。また上記のオーディオのストリーム廃棄方法を取ることにより、音切れの少ないオーディオ高速再生を実現できる。これにより、処理が簡単で、ビデオの再生速度に合わせた高速再生を実現しながら、音切れが少ない音響信号処理装置を実現することができる。
【００５９】
（実施の形態３）
次に本発明の実施の形態３における音響信号処理装置について、図面を参照しながら説明する。図３は本実施の形態における音響信号処理装置の構成を示すブロック図である。この音響信号処理装置は、実施の形態１と同様に入力ストリーム処理手段２、オーディオストリームバッファ３、ビデオストリームバッファ４、バッファコントローラ５Ｃ、制御手段６、オーディオプロセッサ７、ビデオプロセッサ８を含んで構成される。
【００６０】
入力ストリーム処理手段２に入力される入力ストリーム１は、ＤＶＤの出力データ、又はこれと同等のデータである。即ち入力ストリームデータはビデオ信号及びオーディオ信号が圧縮されてマルチプレックスされたデータである。本実施の形態でも説明の簡略化のため、入力ストリーム１をＤＶＤのストリームデータとし、ビデオデータがＭＰＥＧ２に準拠し、オーディオデータがＡＣ−３に準拠するものとして説明する。しかしこの他のストリーム形式でも同様である．
【００６１】
入力ストリーム処理手段２は、入力ストリーム１から再生すべきビデオデータ及びオーディオデータを取り出す。そして、ビデオデータをビデオストリームバッファ４に格納し、オーディオデータをオーディオストリームバッファ３に格納する。このとき、ビデオストリームバッファ４の残量及びオーディオストリームバッファ３の空き容量は、バッファコントローラ５Ｃによって監視される。
【００６２】
通常状態ではビデオデータはビデオプロセッサ８に入力され、デコード処理された後、ビデオ出力信号１０に変換される。またオーディオデータはオーディオプロセッサ７に入力され、デコード処理された後、オーディオ出力信号９に変換される。
【００６３】
高速再生時には、まずビデオプロセッサ８は制御手段６からの指示に従い、所定の高速再生を行う。このときオーディオプロセッサ７は通常再生を行う。所定の高速再生は、ＭＰＥＧ２ビデオの場合、以下の手法を用いる。
（１−１) ；Ｉピクチャのみ再生する（約６倍〜７倍）。
（１−２) ；Ｉ及びＰピクチャのみ再生する（約1.5 倍から３倍）。
（１−３) ；Ｉ及びＰピクチャ、及びＢピクチャの一部を再生する（約１倍から1.5 倍) 。なお、（１−１) 〜（１−３) 以外の高速再生でもよい。
【００６４】
これと同時にバッファコントローラ５Ｃはビデオストリームバッファ４の残量及びオーディオストリームバッファ３の空き容量を監視する。そして、ビデオストリームバッファの残量が所定値Ｖより少なくなるまで、又はオーディオストリームバッファ３の空き容量が所定値Ａより少なくなるまで通常再生を行う。ビデオストリームバッファ４の残量が所定値Ｖより少なくなったとき、又はオーディオストリームバッファ３の空き容量が所定値Ａより少なくなったときに、オーディオプロセッサ７に残量情報を伝達する。所定の値Ｖ及びＡはシステムによって様々に設定が可能であるが、本実施の形態では、所定値Ｖ及びＡが０の場合について述べる。勿論、０以外の値を用いて制御を行っても同様である。
【００６５】
ビデオストリームバッファ４の残量が０になった場合、又はオーディオストリームバッファ３の空き容量が０になった場合に、オーディオデータを一部削除することによって、オーディオの高速再生を行う。これを図８及び図９を用いて説明を行う。図８及び図９は再生中のオーディオストリームバッファ３及びビデオストリームバッファ４のデータ残存状態の例を示している。
【００６６】
ビデオデータを高速再生をしている場合で、ビデオストリームバッファ４の残量が０にならない間は、図８及び図９の状態２のようになる。即ち、ビデオストリームバッファ４及びオーディオストリームバッファ３の残量は０でないが、ビデオデータのみ高速再生し、このビデオの再生速度に合わせてデータストリームが入力されるため、通常再生しているオーディオデータのデコード量が入力データ量より少なくなる。このため図８の状態１のように、オーディオストーリームバッファ３の空き容量が０になる。又は図９の状態１のように、ビデオストリームバッファ４の残量が０になる。
【００６７】
オーディオストリームバッファ３の空き容量が０、又はビデオストリームバッファ４の残量が０になると、バッファコントローラ５Ｃはこの情報をオーディオプロセッサ７に伝達する。そしてオーディオストリームバッファ３のデータを所定量廃棄し、オーディオプロセッサ７はその後廃棄されたデータの続きから、通常速度でデコードを再開する。
【００６８】
データの廃棄量と廃棄方法を手法毎に述べる。
(i) オーディオストリームバッファのクリア
オーディオストリームバッファ３のデータを一部全て廃棄し、デコードしていないストリームを一部間引くことにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するオーディオデータの所定量は、システムにおけるオーディオストリームバッファサイズ以下の任意の量である。これにより、再生するオーディオデータは図４のようになる。
【００６９】
図４はオーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図４における例は、高速再生時にストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオストリームのバッファクリアによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００７０】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータをフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファ３の内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００７１】
(ii)オーディオストリームの入力制限
入力ストリーム処理手段２からオーディオストリームバッファ３への入力を所定時間停止（未転送）することにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、入力制限毎に(n-1) オーディオフレーム以上のオーディオデータを廃棄する必要がある。
【００７２】
再生するオーディオデータは図５のようになる。図５はオーディオの入力ストリームを示し、通常再生の場合がストリーム１であり、バッファクリアした場合がストリーム２である。図５における例は、高速再生時にストリーム１の中のフレーム４の途中からフレーム７の途中までがオーディオデータの入力制限によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、バッファクリアによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。
【００７３】
この手法は処理が簡単であるので実現しやすい。しかし、オーディオデータをフレーム単位で処理ができないため、場合によってはストリームエラーを発生してしまう。また、オーディオストリームバッファ３の内容が全て消えるため、次のフレームのデータが入力されるまで、オーディオデータが出力できないという問題がある。
【００７４】
(iii) オーディオストリームのスキップ
オーディオプロセッサによって１〜数フレーム分、オーディオデータをフレーム単位でスキップすることにより、再生するオーディオデータを削減し、高速再生を行う。廃棄するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、スキップ毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００７５】
再生するオーディオデータは図６のようになる。図６はオーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、フレームスキップした場合がストリーム２である。図６における例は、高速再生時にストリーム１の中のフレーム４からフレーム７までがオーディオストリームのスキップによって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、フレームスキップによって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００７６】
(iv)オーディオの出力停止
オーディオプロセッサ７によって１〜数フレーム分、オーディオデータをフレーム単位で出力停止することにより、再生するオーディオデータを削減し、高速再生を行う。出力停止するデータの所定量は、システムによってサポートされるビデオの再生倍速によって決定される。ビデオの再生倍速が通常再生のｎ倍の場合、出力停止毎に(n-1) オーディオフレーム以上廃棄する必要がある。
【００７７】
再生するオーディオデータは図７のようになる。図７はオーディオの出力ストリームを示し、通常再生の場合がストリーム１であり、出力停止の場合がストリーム２である。図７における例は、高速再生時に、ストリーム１の中のフレーム４からフレーム７までがオーディオストリームの出力停止によって削除された場合である。その結果、高速再生時にデコードするストリームは、ストリーム１のＡの区間が削除されたストリーム２のようになる。この例の場合、出力停止によって、デコード可能なフレーム数は通常再生の場合の１２から８に削減でき、再生倍率は12/8＝1.5 倍となる。この手法は処理が簡単であるので実現しやすい。しかも、オーディオデータのフレーム単位で処理するため、ストリームエラーが発生しない。
【００７８】
以上のように、オーディオストリームバッファ３の空き容量が０になるか、又はビデオストリームバッファ４の残量が０になる度に、オーディオストリームを所定量廃棄する。こうして、ビデオの高速再生の速度を変えることなく、またビデオの再生速度に合ったオーディオの高速再生を実現することができる。
【００７９】
ＭＰＥＧ規格のデータストリームにおいて、オーディオデータ及びビデオデータは、一般に夫々独立にチップ化されたＬＳＩでデコード処理される場合が多い。また同一チップであっても、夫々のコアが独立のブロックに形成される場合が多い。このような場合は、バッファコントローラ５は、オーディオストリームバッファ３及びビデオストリームバッファ４の両方の内容を監視できるとは限らない。このような状況では、バッファコントローラ５は監視できる方のストリームバッファのみを参照する。オーディオデータ及びビデオデータが同一のチップのＬＳＩでデコード処理される場合は、データバスを介して両方のストリームバッファを参照することができる。
【００８０】
以上のようにオーディオのストリーム廃棄方法を上記(i) 〜(iv)の手法を取ることにより、音切れの少ないオーディオ高速再生を実現できる。これにより、処理が簡単でビデオの再生速度に合わせた高速再生を実現しながら、音切れが少ない音響信号処理装置を実現することができる。
【００８１】
尚、以上の実施の形態において、フレーム単位でオーディオデータを削除する場合、例えばフレーム0 〜フレームi ，フレームi+1 ，・・・フレームk-1 ，フレームk ，フレームk+1 を入力し、フレームi+1 ，・・・フレームk-1 を削除する場合には、フレームi ，フレームk のオーディオデータに対してクロスフェードをかけるものとする。
【００８３】
【発明の効果】
請求項１記載の発明によれば、オーディオストリームバッファの空き容量を監視し、それぞれ所定量より少なくなった場合にオーディオストリームを所定量廃棄することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８４】
請求項２記載の発明によれば、オーディオストリームバッファの空き容量を監視し、それぞれ所定量より少なくなった場合、又はビデオストリームバッファの残量を監視し、それぞれ所定量より少なくなった場合、オーディオストリームを所定量廃棄することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる
。
【００８５】
請求項３記載の発明によれば、オーディオストリームバッファの内容を断続的にフラッシュすることによってオーディオ信号を間引き、オーディオの再生データ量を削減して高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８６】
請求項４記載の発明によれば、入力信号処理手段から出力されたオーディオ信号をオーディオストリームバッファに転送するのを所定量だけ中断することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８７】
請求項５記載の発明によれば、オーディオプロセッサにおいて、オーディオストリームバッファからの入力データを所定のデータ量をスキップすることによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【００８８】
請求項６記載の発明によれば、オーディオプロセッサにおいて、所定の時間オーディオ信号の出力を停止することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することにより、ビデオの高速再生の速度を変えることなくビデオの再生速度に合った音切れの少ないオーディオの高速再生を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における音響信号処理装置の構成図である。
【図２】本発明の実施の形態２における音響信号処理装置の構成図である。
【図３】本発明の実施の形態３における音響信号処理装置の構成図である。
【図４】本発明の実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(i) を示す説明図である。
【図５】実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(ii)を示す説明図である。
【図６】実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(iii) を示す説明図である。
【図７】実施の形態１〜３の音響信号処理装置におて、オーディオストリーム削除方法(iv)を示す説明図である。
【図８】実施の形態１及び３の音響信号処理装置において、オーディオストリームバッファ及びビデオストリームバッファのデータの残存状態を示す説明図である。
【図９】実施の形態２及び３の音響信号処理装置において、オーディオストリームバッファ及びビデオストリームバッファのデータの残存状態を示す説明図である。
【符号の説明】
１ 入力ストリーム
２ 入力ストリーム処理手段（入力信号処理手段）
３ オーディオストリームバッファ
４ ビデオストリームバッファ
５Ａ，５Ｂ，５Ｃ バッファコントローラ
６ 制御手段
７ オーディオプロセッサ
８ ビデオプロッセッサ
９ オーディオ出力信号
１０ ビデオ出力信号
Claims (6)
- 再生速度を指示する制御手段と、
オーディオ信号とビデオ信号が多重化された入力信号を処理してオーディオ信号とビデオ信号を出力する入力信号処理手段と、
前記入力信号処理手段の出力するオーディオ信号を一時的に蓄積するオーディオストリームバッファと、
前記入力信号処理手段の出力するビデオ信号を一時的に蓄積するビデオストリームバッファと、
前記オーディオストリームバッファからオーディオ信号を取り出して信号処理を行い、オーディオ出力信号を生成するオーディオプロセッサと、
前記ビデオストリームバッファからビデオ信号を取り出して信号処理を行い、前記制御手段から高速再生の指示を受けた場合に、ビデオ信号を高速再生してビデオ出力信号を生成するビデオプロセッサと、
前記ビデオストリームバッファの状態を監視し、そのビデオストリーム残量が所定量Ｖより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行うようにデータの入出力を制御するバッファコントローラと、を具備することを特徴とする音響信号処理装置。 - 前記バッファコントローラはさらに、
前記オーディオストリームバッファの状態を監視し、前記ビデオストリーム残量と前記オーディオストリームバッファの空き容量とがそれぞれ所定量Ｖ、所定量Ａより少なくなったときに、前記オーディオプロセッサがオーディオ信号の高速再生を行うようにデータの入出力を制御することを特徴とする請求項１記載の音響信号処理装置。 - 請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、
ビデオ信号を高速再生する場合、前記オーディオストリームバッファの内容を断続的にフラッシュすることによってオーディオ信号を間引き、オーディオの再生データ量を削減して高速再生することを特徴とするオーディオ高速再生方法。 - 請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、
ビデオ信号を高速再生する場合、前記入力信号処理手段から出力されたオーディオ信号をオーディオストリームバッファに転送するのを所定量だけ中断することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするオーディオ高速再生方法。 - 請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、
ビデオ信号を高速再生する場合、前記オーディオプロセッサにおいて、前記オーディオストリームバッファからの入力データを所定のデータ量をスキップすることによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするオーディオ高速再生方法。 - 請求項１又は２の音響信号処理装置におけるオーディオ高速再生方法であって、
ビデオ信号を高速再生する場合、前記オーディオプロセッサにおいて、所定の時間オーディオ信号の出力を停止することによって、オーディオの再生データ量を削減してオーディオ信号を高速再生することを特徴とするオーディオ高速再生方法。
Priority Applications (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02302398A JP3986147B2 (ja) | 1998-02-04 | 1998-02-04 | 音響信号処理装置及びオーディオ高速再生方法 |
| TW087105480A TW405328B (en) | 1997-04-11 | 1998-04-10 | Audio decoding apparatus, signal processing device, sound image localization device, sound image control method, audio signal processing device, and audio signal high-rate reproduction method used for audio visual equipment |
| US09/058,713 US6356639B1 (en) | 1997-04-11 | 1998-04-10 | Audio decoding apparatus, signal processing device, sound image localization device, sound image control method, audio signal processing device, and audio signal high-rate reproduction method used for audio visual equipment |
| KR1019980013966A KR100296838B1 (ko) | 1997-04-11 | 1998-04-11 | 음향영상정위장치및음향영상제어방법 |
| CNB200410007394XA CN100334810C (zh) | 1997-04-11 | 1998-04-13 | 用于视听设备的声象定位装置和方法 |
| CN98103260A CN1208288A (zh) | 1997-04-11 | 1998-04-13 | 用于视听设备的信号处理及声象定位装置和方法 |
| DE69841538T DE69841538D1 (de) | 1997-04-11 | 1998-04-14 | Audioverarbeitung für audiovisuelle Apparatur |
| EP98106710A EP0871293B1 (en) | 1997-04-11 | 1998-04-14 | Audio processing for audio visual equipment |
| ES98106710T ES2340111T3 (es) | 1997-04-11 | 1998-04-14 | Procesamiento de audio para equipo audiovisual. |
| KR1020000043783A KR100333999B1 (ko) | 1997-04-11 | 2000-07-28 | 오디오 신호 처리 장치 및 오디오 신호 고속 재생 방법 |
| US09/994,962 US6823310B2 (en) | 1997-04-11 | 2001-11-27 | Audio signal processing device and audio signal high-rate reproduction method used for audio visual equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02302398A JP3986147B2 (ja) | 1998-02-04 | 1998-02-04 | 音響信号処理装置及びオーディオ高速再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11225309A JPH11225309A (ja) | 1999-08-17 |
| JP3986147B2 true JP3986147B2 (ja) | 2007-10-03 |
Family
ID=12098897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02302398A Expired - Lifetime JP3986147B2 (ja) | 1997-04-11 | 1998-02-04 | 音響信号処理装置及びオーディオ高速再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3986147B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010191415A (ja) * | 1999-08-24 | 2010-09-02 | Sony Corp | 音声再生方法および音声再生装置 |
| JP4895418B2 (ja) * | 1999-08-24 | 2012-03-14 | ソニー株式会社 | 音声再生方法および音声再生装置 |
| KR100669896B1 (ko) * | 1999-11-10 | 2007-01-18 | 톰슨 라이센싱 | Ｄｖｄ 레코더를 위한 페이딩 특징 |
| JP5059301B2 (ja) * | 2005-06-02 | 2012-10-24 | ルネサスエレクトロニクス株式会社 | 同期再生装置および同期再生方法 |
-
1998
- 1998-02-04 JP JP02302398A patent/JP3986147B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11225309A (ja) | 1999-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8285113B2 (en) | Method for generating additional information for guaranteeing seamless playback between data streams, recording medium storing the information, and recording, editing and/or playback apparatus using the same | |
| KR100290331B1 (ko) | 오디오-비디오 신호의 동기 재생 장치 | |
| JP4039417B2 (ja) | 記録再生装置 | |
| KR100694164B1 (ko) | 재생 방법 및 그 기록매체 | |
| JP2004104728A (ja) | データ編集可能なビデオカメラ、データ編集、記録プログラム、データ記録装置および記録媒体 | |
| KR101014664B1 (ko) | 복수의 데이터 스트림 간의 연속 재생을 보장하는 재생방법 및 그 재생 장치 | |
| JP3911380B2 (ja) | 転送レート制御装置 | |
| JP2006320009A (ja) | 再生装置、再生方法及びその記録媒体 | |
| KR100629093B1 (ko) | 디코딩 장치 및 디코딩 방법 | |
| JP3986147B2 (ja) | 音響信号処理装置及びオーディオ高速再生方法 | |
| JP2008176918A (ja) | 再生装置、再生方法及びその記録媒体 | |
| JP2002033712A (ja) | パケット処理装置及びそのパケット出力方法 | |
| JP5168105B2 (ja) | 音声再生装置、及び音声再生方法 | |
| JP4219883B2 (ja) | 転送レート制御装置、及び記録媒体 | |
| JP4973714B2 (ja) | 記録再生装置 | |
| JP2005004840A (ja) | ディスク再生装置 | |
| JP2005033732A (ja) | 信号処理装置、信号処理方法、プログラム、及び記録媒体 | |
| JP2005276246A (ja) | 情報再生方法および情報再生装置 | |
| JPH1042254A (ja) | 動画像データ再生方式 | |
| JP2007043736A (ja) | 記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070710 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |