JP4235780B2 - 信号再生方法および信号再生装置 - Google Patents
信号再生方法および信号再生装置 Download PDFInfo
- Publication number
- JP4235780B2 JP4235780B2 JP27571299A JP27571299A JP4235780B2 JP 4235780 B2 JP4235780 B2 JP 4235780B2 JP 27571299 A JP27571299 A JP 27571299A JP 27571299 A JP27571299 A JP 27571299A JP 4235780 B2 JP4235780 B2 JP 4235780B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- video
- video signal
- audio
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、映像信号および音声信号を記録再生する機器や、映像信号および音声信号を再生する機器において、記録媒体から、これに圧縮され、同期して記録されている映像信号および音声信号を再生する方法および装置に関する。
【０００２】
【従来の技術】
それぞれ圧縮され、互いに同期して記録媒体上に記録されている映像信号および音声信号を記録媒体から再生する場合には、映像信号に対して音声信号を合わせるように映像信号と音声信号を同期させて再生するのが一般的である。
【０００３】
そのため、映像信号および音声信号を記録媒体上に記録する際には、映像信号および音声信号のそれぞれに対して時刻管理情報としてＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を付加し、再生時には、音声ＰＴＳを映像ＰＴＳに合わせるように映像信号および音声信号を再生する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したように音声ＰＴＳを映像ＰＴＳに合わせるように映像信号および音声信号を再生する方法では、音声信号の再生速度を変化させる場合、例えば、音声信号の再生モードを定常再生から２倍速再生などの高速再生に変えるように音声信号を時間的に不連続な位置にジャンプさせて再生する場合、映像信号を音声信号に同期させて再生することができないという問題がある。
【０００６】
そこで、この発明は、特に、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、映像信号を音声信号に同期させて、しかも違和感なく、再生することができるようにしたものである。
【０００７】
【課題を解決するための手段】
この発明の信号再生方法は、
信号再生装置が、それぞれ圧縮され、互いに同期して記録媒体上に記録されている映像信号および音声信号を再生する方法として、
音声信号を時間的に不連続な位置にジャンプさせて再生するとき、音声信号のジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないでスキップさせて、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御するものである。
【００１０】
音声信号の無音部分をカットして音声信号を結果的に高速で再生するなどのために、音声信号を時間的に不連続な位置にジャンプさせても、違和感を感じないが、このとき、音声信号に追従させて映像信号も時間的に不連続な位置にジャンプさせると、静止画でない限り違和感を感じる。しかも、この場合、音声信号のジャンプ区間内の映像信号中にシーンチェンジ点が存在するとき、そのシーンチェンジ点の前後の映像信号を再生すると、違和感を感じる。
【００１１】
しかし、この発明の信号再生方法では、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、音声信号のジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないでスキップさせて、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御するので、違和感を感じることがない。
【００１２】
【発明の実施の形態】
〔システム全体の一実施形態…図１〕
図１は、この発明の再生装置の一実施形態を示し、ハードディスク、光磁気ディスク、光ディスクなど、ディスク状の記録媒体から、これに圧縮され、同期して記録されている映像信号および音声信号を再生する場合である。
【００１３】
システムとしては、記録装置を兼ねてもよく、実際上も記録装置を兼ねることが望ましいが、記録方法および記録装置は、公知のものと変わらないので省略し、記録媒体１には、所定のフォーマットによって映像信号および音声信号が記録されているものとする。そのフォーマットとしては、種々のものが考えられるが、以下の例では、ＭＰＥＧ２システムが用いられているものとする。
【００１４】
記録媒体１は、駆動モータ３によって回転駆動される。再生ヘッド２は、記録媒体１から、これに記録されている信号を読み取る磁気ヘッドや光学ピックアップなどであり、駆動モータ４を含む移動機構によって記録媒体１の径方向に移動させられる。駆動モータ３および４は、サーボ回路５によって駆動制御され、サーボ回路５は、装置全体を制御するシステムコントローラ６によって制御される。
【００１５】
再生ヘッド２によって記録媒体１から読み取られた信号は、デマルチプレクサ７に入力され、デマルチプレクサ７において信号のヘッダ部分がＭＰＥＧ２システム・プログラムストリームのフォーマットに従って解析されることによって、映像信号と音声信号に分離される。
【００１６】
デマルチプレクサ７で分離された映像信号および音声信号は、それぞれ映像復号器８および音声復号器９に入力され、映像復号器８および音声復号器９から、それぞれ伸長された映像信号および音声信号が得られるとともに、映像復号器８および音声復号器９において、それぞれＭＰＥＧ２システム・プログラムストリームのフォーマットに従って、映像信号および音声信号の各パケットのヘッダ部分から映像ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）および音声ＰＴＳが検出される。
【００１７】
映像復号器８からの映像信号および音声復号器９からの音声信号は、それぞれ信号処理部１０に入力されて後述のように処理され、信号処理部１０から再生出力の映像信号および音声信号が得られる。再生出力の映像信号は、ＣＲＴディスプレイや液晶ディスプレイなどの表示装置１７に出力され、再生出力の音声信号は、スピーカなどの音声出力装置１８に出力される。
【００１８】
映像復号器８で検出された映像ＰＴＳおよび音声復号器９で検出された音声ＰＴＳは、それぞれ信号処理部１０に入力されて後述のように比較され、後述のように信号処理部１０で映像制御信号が得られて、これが映像復号器８に出力される。
【００１９】
システムコントローラ６には、操作部１９が接続される。操作部１９は、システムの利用者が音声信号の再生速度を指示するなどの各種操作を行うもので、これには、システムの動作状態や操作状況を表示する液晶表示部などの表示部が設けられる。
【００２０】
〔信号処理部の一例…図２〕
図２は、信号処理部１０の一例を示す。この例では、信号処理部１０は、映像処理部１１、Ｄ／Ａコンバータ１２、速度変換処理部１３、Ｄ／Ａコンバータ１４および映像制御部１５によって構成される。
【００２１】
映像処理部１１は、後述のシーンチェンジ対応の処理を行う場合以外には、映像復号器８からの映像信号をそのまま通過させるもので、この映像処理部１１からの映像信号は、Ｄ／Ａコンバータ１２によってアナログ映像信号に変換されて、信号処理部１０から出力される。
【００２２】
速度変換処理部１３は、音声信号を２倍速など、一般にｎ倍速（ｎ＞１）で再生する場合に、バッファを利用して、音声復号器９からの音声信号の無音部分（音声レベルが閾値以下の部分）を優先的に削除し、有音部分（音声レベルが閾値を超える部分）を優先的に出力することによって、結果的に音声を定常速度で聞き取ることができるようにするものである。
【００２３】
２倍速再生のときには一定周期ごとに交互に削除と出力を繰り返すように、音声復号器９からの音声信号を周期的に切り貼りすることも考えられるが、これでは、元の音声信号を周期的に削除するため、元の音声信号中に無音部分が一定の割合で含まれていない場合には、有音部分が削除されて、切り貼り後の音声信号は音声が途切れ途切れになってしまい、内容を理解することができなくなってしまう。
【００２４】
そこで、具体的には、音声復号器９からの音声信号を処理単位期間ごとに区切り、バッファから定常速度相当量の出力音声信号が得られる範囲内で無音部分を優先的に削除して、それぞれの処理単位期間の音声信号をバッファに書き込むとともに、処理単位期間の音声信号中にバッファに蓄えられない量の有音部分が存在する場合には、一部の有音部分を削除して、その処理単位期間の音声信号をバッファに書き込む。
【００２５】
例えば、音声信号を２倍速で再生する場合、（１）処理単位期間内に無音部分と有音部分がちょうど半分（所定量）ずつ存在するときには、無音部分を全て削除して、有音部分のデータのみを全てバッファに書き込み、（２）処理単位期間内のデータが全て無音部分であるなど、処理単位期間内に無音部分が半分（所定量）を超えて存在し、かつバッファに所定量以上のデータが蓄積されているときにも、無音部分を全て削除して、有音部分のデータのみを全てバッファに書き込み、（３）処理単位期間内のデータが全て有音部分であるなど、処理単位期間内に有音部分が半分（所定量）を超えて存在し、かつバッファにその有音部分のデータを全て蓄えるだけの空きがあるときにも、無音部分があれば無音部分を全て削除して、有音部分のデータのみを全てバッファに書き込む。
【００２６】
また、（４）処理単位期間内に無音部分が半分（所定量）を超えて存在し、かつバッファに所定量以上のデータが蓄積されていないときには、有音部分の全てに無音部分の一部を付加して、所定量（半分）のデータをバッファに書き込み、（５）処理単位期間内に有音部分が半分（所定量）を超えて存在し、かつバッファにその有音部分のデータを全て蓄えるだけの空きがないときには、有音部分のデータが所定量となるように全体のデータを半分に圧縮して、バッファに書き込む。
【００２７】
バッファに書き込まれたデータは、それぞれ所定量分が、処理単位期間の時間幅である単位時間に渡って、バッファから読み出され、Ｄ／Ａコンバータ１４によってアナログ音声信号に変換される。
【００２８】
したがって、（５）の場合には、例外的に出力倍率が２倍となって、速聴きとなるが、その他の場合には、無音部分のみが削除され、有音部分が全て定常速度で出力されるので、音声が途切れず、内容を理解することができるようになる。
【００２９】
図２の例では、このように速度変換処理部１３で音声復号器９からの音声信号が切り貼りされるので、上記の音声ＰＴＳは、この速度変換処理部１３で切り貼りされた後の音声信号から検出され、映像制御部１５に取り込まれる。また、映像復号器８で検出された映像ＰＴＳが映像制御部１５に取り込まれて、映像制御部１５から映像復号器８に映像制御信号が出力される。
【００３０】
〔映像信号の再生速度の基本的な制御…図３〕
映像信号の再生速度の基本的な制御として、信号処理部１０は、図２の例では映像制御部１５は、図３に示す基本処理ルーチン２０によって、映像復号器８を制御し、映像信号の再生速度を制御する。
【００３１】
すなわち、この基本処理ルーチン２０では、まず、ステップ２１において、音声ＰＴＳが映像ＰＴＳより１／３０秒（映像信号の１フレーム）以上大きいか否かを、すなわち映像信号が音声信号に対して１フレーム以上遅れているか否かを判断し、映像信号が音声信号に対して１フレーム以上遅れているときには、ステップ２２に進んで、映像信号を１フレーム分、スキップするように映像復号器８を制御する。
【００３２】
音声ＰＴＳが映像ＰＴＳより１／３０秒以上大きくないときには、ステップ２３に進んで、逆に映像ＰＴＳが音声ＰＴＳより１／３０秒以上大きいか否かを、すなわち映像信号が音声信号に対して１フレーム以上進んでいるか否かを判断し、映像信号が音声信号に対して１フレーム以上進んでいるときには、ステップ２４に進んで、映像信号を１フレーム分、フリーズする（同一フレームを繰り返し出力する）ように映像復号器８を制御する。
【００３３】
映像信号が音声信号に対して１フレーム以上遅れてもいなく、１フレーム以上進んでもいないときには、ステップ２５に進んで、映像信号をスキップもフリーズもしないで、そのまま出力するように映像復号器８を制御する。
【００３４】
以上の処理によって、映像信号を常に１／３０秒より少ない誤差で音声信号に同期させて、音声信号および映像信号を再生することができる。ただし、映像信号の各フレームにつき、この処理を行うと、発振するので、３０フレーム（１秒）につき１回など、映像信号の所定数のフレームにつき１回ずつ、この処理を行うようにする。
【００３５】
〔ジャンプ対応の制御…図４、図５〕
音声信号の無音部分をカットして音声信号を結果的に高速で再生するなどのために、音声信号を時間的に不連続な位置にジャンプさせて再生する場合には、以下のように、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御する。
【００３６】
図４は、この場合の処理ルーチンを示す。このジャンプ対応処理ルーチン３０では、まず、ステップ３１において、音声ＰＴＳを監視して、音声信号が時間的に不連続な位置にジャンプしたか否かを判断し、ジャンプしていなければ、上述した基本処理ルーチン２０を実行するが、ジャンプしたときには、ステップ３２に進んで、映像信号が徐々に音声信号に追いつくように、後述のように映像信号の再生速度を上げる。
【００３７】
次に、ステップ３３に進んで、映像ＰＴＳおよび音声ＰＴＳを取得し、さらにステップ３４に進んで、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であるか否かを判断し、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下でなければ、ステップ３３に戻るが、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であれば、ステップ３５に進んで、映像信号の再生速度を元に戻す。すなわち、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下になるまで、映像信号の再生速度を１倍速より高くする。
【００３８】
一例として、ステップ３２では、映像信号が２倍速で再生されるように映像復号器８を制御する。一般に映像信号をｍ倍速（ｍ＞１）で再生するには、映像信号の連続するｓフレーム中のｔフレームだけを再生する。ｓ，ｔは、ｍ＝ｓ／ｔを満たす自然数（正の整数）の組み合わせの中で、ｓが最小の値を持つ組み合わせである。すなわち、２倍速ではｓ＝２，ｔ＝１であり、１．５倍速ではｓ＝３，ｔ＝２である。
【００３９】
図５（Ａ）は、このように映像信号を２倍速で再生することによって、映像信号が徐々に音声信号に追いつくようにする場合である。すなわち、この場合、時点ｔａで音声信号が時間的に不連続な位置にジャンプすると、映像信号の再生速度が１倍速から２倍速に変えられ、映像信号が音声信号に追いつくと、映像信号の再生速度が１倍速に戻される。
【００４０】
また、ステップ３２では、このように映像信号の再生速度を固定速度にする代わりに、図５（Ｂ）または（Ｃ）に示すように、映像信号の再生速度を段階的または連続的に変化させてもよい。
【００４１】
図５（Ｂ）は、時点ｔａで音声信号が時間的に不連続な位置にジャンプしたとき、映像信号の再生速度を、映像信号が音声信号に追いつくまでの間、３段階（速度としては２通り）に変化させる場合であり、図５（Ｃ）は、時点ｔａで音声信号が時間的に不連続な位置にジャンプしたとき、映像信号の再生速度を、映像信号が音声信号に追いつくまでの間、曲線Ｓで示すようにスプライン関数状に変化させる場合である。このように映像信号の再生速度を段階的または連続的に変化させることによって、より違和感を少なくすることができる。
【００４２】
（映像信号が一定時間で音声信号に追いつくようにする場合）
音声信号が時間的に不連続な位置にジャンプしたとき、映像信号が一定時間で音声信号に追いつくようにすることもできる。
【００４３】
この場合には、その一定時間をＴ、音声信号のジャンプした時間幅をＫとすると（ただし、Ｔ＜Ｋ）、図４のジャンプ対応処理ルーチン３０のステップ３２では、映像信号の再生速度をｍ＝Ｋ／Ｔの倍率にするように映像復号器８を制御する。
【００４４】
（ジャンプ時間幅に応じて映像信号の再生速度を変化させる場合）
音声信号が時間的に不連続な位置にジャンプしたときの映像信号の再生速度を、音声信号のジャンプした時間幅Ｋに応じて決定し、変化させるようにしてもよい。
【００４５】
この場合には、図４のジャンプ対応処理ルーチン３０のステップ３２では、映像信号の再生速度をｍ＝α×Ｋの倍率にするように映像復号器８を制御する。αは係数で、倍率ｍの最小値が１より大きくなるように、音声信号のジャンプする時間幅Ｋの最小値に応じて設定する。
【００４６】
〔シーンチェンジ対応の制御…図６〜図８〕
音声信号を時間的に不連続な位置にジャンプさせて再生するとき、そのジャンプ区間内の映像信号中にシーンチェンジ点が存在する場合には、そのシーンチェンジ点の前後の映像信号を再生すると、違和感を感じる。そこで、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、そのジャンプ区間内の映像信号中にシーンチェンジ点が存在する場合には、以下のように、そのジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しない（削除する）ように映像信号の再生を制御する。
【００４７】
図６は、この場合の処理ルーチンを示す。このシーンチェンジ対応処理ルーチン４０では、まず、ステップ４１において、音声ＰＴＳを監視して、音声信号が時間的に不連続な位置にジャンプしたか否かを判断し、ジャンプしていなければ、図３および図４に示した基本処理ルーチン２０を実行するが、ジャンプしたときには、ステップ４２に進んで、音声信号のジャンプ区間内の映像信号中にシーンチェンジ点が存在するか否かを判断する。
【００４８】
このシーンチェンジ点の検出は、図１の信号処理部１０において、図２の例では映像処理部１１において、映像信号のフレーム相関を利用して行う。すなわち、映像信号の連続する２フレームの対応する画素間のデータ値の差分の絶対値の全画素に渡る総和が、閾値を超えるときには、その２フレーム間にシーンチェンジ点が存在すると判定し、閾値以下であるときには、その２フレーム間にシーンチェンジ点は存在しないと判定する。ただし、その他の公知の方法によってシーンチェンジ点を検出するようにしてもよい。
【００４９】
そして、ジャンプ区間内の映像信号中にシーンチェンジ点が存在しないときには、図４で示したステップ３２〜３５に進んで、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御するが、ジャンプ区間内の映像信号中にシーンチェンジ点が存在するときには、まず、ステップ４３に進んで、図７に示す映像非再生区間設定処理ルーチン５０によって、ジャンプ区間内の映像信号を再生しない区間を設定する。
【００５０】
映像非再生区間設定処理ルーチン５０では、まず、ステップ５１において、シーンチェンジ点の前に音声ジャンプ区間が所定時間幅Ｌ以上存在するか否かを判断する。
【００５１】
図８は、音声信号が最初にジャンプ区間Ｊ１で示すように時間的に不連続な位置にジャンプし、次にジャンプ区間Ｊ２で示すように時間的に不連続な位置にジャンプし、かつ、ジャンプ区間Ｊ１およびＪ２内には、それぞれシーンチェンジ点Ｐ１およびＰ２が存在するとともに、ジャンプ区間Ｊ１については、シーンチェンジ点Ｐ１の前後に、それぞれ所定時間幅Ｌより大きいジャンプ区間Ｊ１ｆおよびＪ１ｂが存在し、ジャンプ区間Ｊ２については、シーンチェンジ点Ｐ２の前には所定時間幅Ｌより小さいジャンプ区間Ｊ２ｆが存在し、シーンチェンジ点Ｐ２の後には所定時間幅Ｌより大きいジャンプ区間Ｊ２ｂが存在する場合である。
【００５２】
そして、ジャンプ区間Ｊ１のようにシーンチェンジ点（Ｐ１）の前にジャンプ区間（Ｊ１ｆ）が所定時間幅Ｌ以上存在するときには、ステップ５１からステップ５２に進んで、シーンチェンジ点（Ｐ１）の直前の所定時間幅Ｌの区間のみを映像信号の非再生区間に設定し、ジャンプ区間Ｊ２のようにシーンチェンジ点（Ｐ２）の前にジャンプ区間（Ｊ２ｆ）が所定時間幅Ｌ以上存在しないときには、ステップ５１からステップ５３に進んで、シーンチェンジ点（Ｐ２）の前のジャンプ区間（Ｊ２ｆ）を全て映像信号の非再生区間に設定する。
【００５３】
次に、ステップ５２または５３からステップ５４に進んで、シーンチェンジ点の後に音声ジャンプ区間が所定時間幅Ｌ以上存在するか否かを判断し、ジャンプ区間Ｊ１，Ｊ２のようにシーンチェンジ点（Ｐ１，Ｐ２）の後にジャンプ区間（Ｊ１ｂ，Ｊ２ｂ）が所定時間幅Ｌ以上存在するときには、ステップ５５に進んで、シーンチェンジ点（Ｐ１，Ｐ２）の直後の所定時間幅Ｌの区間のみを映像信号の非再生区間に設定し、図８では示していないが、シーンチェンジ点の後にジャンプ区間が所定時間幅Ｌ以上存在しないときには、ステップ５６に進んで、シーンチェンジ点の後のジャンプ区間を全て映像信号の非再生区間に設定する。
【００５４】
図６のシーンチェンジ対応処理ルーチン４０では、ステップ４３で以上のように映像信号を再生しない区間を設定したら、次にステップ４４に進んで、ステップ３２と同様に、映像信号の再生速度を上げ、さらにステップ４５に進んで、映像ＰＴＳが、すなわち映像信号がステップ４３で設定した非再生区間に入ったか否かを判断する。
【００５５】
そして、映像信号が非再生区間に入ったときには、ステップ４６に進んで、非再生区間を再生しないように映像信号をスキップさせ、次にステップ４７に進んで、ステップ３３と同様に、映像ＰＴＳおよび音声ＰＴＳを取得し、さらにステップ４８に進む。映像信号が非再生区間に入っていないときには、ステップ４５から直接、ステップ４７に進み、さらにステップ４８に進む。
【００５６】
ステップ４８では、ステップ３４と同様に、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であるか否かを判断し、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下でなければ、ステップ４５に戻るが、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であれば、ステップ４９に進んで、ステップ３５と同様に、映像信号の再生速度を元に戻す。
【００５７】
以上の結果、図８のケースでは、ジャンプ区間Ｊ１については、その始点から、シーンチェンジ点Ｐ１から時間幅Ｌだけ前の時点までの区間は、映像信号が高速再生され、シーンチェンジ点Ｐ１の直前の時間幅Ｌの区間および直後の時間幅Ｌの区間は、映像信号がスキップされて再生されず、シーンチェンジ点Ｐ１から時間幅Ｌだけ後の時点からジャンプ区間Ｊ１の終点までの区間は、映像信号が高速再生される。ジャンプ区間Ｊ２については、その始点から、シーンチェンジ点Ｐ２から時間幅Ｌだけ後の時点までの区間は、映像信号がスキップされて再生されず、シーンチェンジ点Ｐ２から時間幅Ｌだけ後の時点からジャンプ区間Ｊ２の終点までの区間は、映像信号が高速再生される。
【００５８】
このように、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、そのジャンプ区間内の映像信号中にシーンチェンジ点が存在する場合には、そのジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないことによって、映像信号を違和感なく再生することができるとともに、映像信号が音声信号に追いつくのに要する時間を短縮化することができる。
【００５９】
なお、上述した例は、再生時に映像信号のフレーム相関を利用するなどによってシーンチェンジ点を検出する場合であるが、あらかじめ記録媒体にシーンチェンジを示す情報が記録されている場合には、その情報から直接、シーンチェンジ点を検出することができる。
【００６０】
〔他の実施形態〕
図１の実施形態は、記録媒体１がディスク状の場合であるが、この発明は、記録媒体（記憶媒体）が磁気テープや半導体メモリなどである場合にも、同様に適用することができる。半導体メモリの場合には、読み出し回路によってメモリから、これに書き込まれた音声信号を読み出す。したがって、この場合には、「記録」とは書き込みであり、「再生」とは読み出しである。
【００６１】
【発明の効果】
上述したように、この発明によれば、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、映像信号を音声信号に同期させて、しかも違和感なく、再生することができる。
【図面の簡単な説明】
【図１】この発明の再生装置の一実施形態を示す図である。
【図２】図１の信号処理部の一例を示す図である。
【図３】映像信号の再生速度の制御についての処理ルーチンの一例を示す図である。
【図４】音声信号が時間的に不連続な位置にジャンプする場合の映像信号の再生速度の制御についての処理ルーチンの一例を示す図である。
【図５】図４の方法で映像信号の再生速度を上げる場合の具体的な方法を示す図である。
【図６】音声信号が時間的に不連続な位置にジャンプするときシーンチェンジに対応して映像信号の再生速度を制御する場合の処理ルーチンの一例を示す図である。
【図７】図６の処理ルーチン中の映像非再生区間設定処理ルーチンの一例を示す図である。
【図８】映像信号の非再生区間の設定例を示す図である。
【符号の説明】
１…記録媒体、２…再生ヘッド、７…デマルチプレクサ、８…映像復号器、９…音声復号器、１０…信号処理部、１１…映像処理部、１３…速度変換処理部、１５…映像制御部、２０…基本処理ルーチン、３０…ジャンプ対応処理ルーチン、４０…シーンチェンジ対応処理ルーチン、５０…映像非再生区間設定処理ルーチン。
【発明の属する技術分野】
この発明は、映像信号および音声信号を記録再生する機器や、映像信号および音声信号を再生する機器において、記録媒体から、これに圧縮され、同期して記録されている映像信号および音声信号を再生する方法および装置に関する。
【０００２】
【従来の技術】
それぞれ圧縮され、互いに同期して記録媒体上に記録されている映像信号および音声信号を記録媒体から再生する場合には、映像信号に対して音声信号を合わせるように映像信号と音声信号を同期させて再生するのが一般的である。
【０００３】
そのため、映像信号および音声信号を記録媒体上に記録する際には、映像信号および音声信号のそれぞれに対して時刻管理情報としてＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を付加し、再生時には、音声ＰＴＳを映像ＰＴＳに合わせるように映像信号および音声信号を再生する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したように音声ＰＴＳを映像ＰＴＳに合わせるように映像信号および音声信号を再生する方法では、音声信号の再生速度を変化させる場合、例えば、音声信号の再生モードを定常再生から２倍速再生などの高速再生に変えるように音声信号を時間的に不連続な位置にジャンプさせて再生する場合、映像信号を音声信号に同期させて再生することができないという問題がある。
【０００６】
そこで、この発明は、特に、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、映像信号を音声信号に同期させて、しかも違和感なく、再生することができるようにしたものである。
【０００７】
【課題を解決するための手段】
この発明の信号再生方法は、
信号再生装置が、それぞれ圧縮され、互いに同期して記録媒体上に記録されている映像信号および音声信号を再生する方法として、
音声信号を時間的に不連続な位置にジャンプさせて再生するとき、音声信号のジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないでスキップさせて、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御するものである。
【００１０】
音声信号の無音部分をカットして音声信号を結果的に高速で再生するなどのために、音声信号を時間的に不連続な位置にジャンプさせても、違和感を感じないが、このとき、音声信号に追従させて映像信号も時間的に不連続な位置にジャンプさせると、静止画でない限り違和感を感じる。しかも、この場合、音声信号のジャンプ区間内の映像信号中にシーンチェンジ点が存在するとき、そのシーンチェンジ点の前後の映像信号を再生すると、違和感を感じる。
【００１１】
しかし、この発明の信号再生方法では、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、音声信号のジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないでスキップさせて、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御するので、違和感を感じることがない。
【００１２】
【発明の実施の形態】
〔システム全体の一実施形態…図１〕
図１は、この発明の再生装置の一実施形態を示し、ハードディスク、光磁気ディスク、光ディスクなど、ディスク状の記録媒体から、これに圧縮され、同期して記録されている映像信号および音声信号を再生する場合である。
【００１３】
システムとしては、記録装置を兼ねてもよく、実際上も記録装置を兼ねることが望ましいが、記録方法および記録装置は、公知のものと変わらないので省略し、記録媒体１には、所定のフォーマットによって映像信号および音声信号が記録されているものとする。そのフォーマットとしては、種々のものが考えられるが、以下の例では、ＭＰＥＧ２システムが用いられているものとする。
【００１４】
記録媒体１は、駆動モータ３によって回転駆動される。再生ヘッド２は、記録媒体１から、これに記録されている信号を読み取る磁気ヘッドや光学ピックアップなどであり、駆動モータ４を含む移動機構によって記録媒体１の径方向に移動させられる。駆動モータ３および４は、サーボ回路５によって駆動制御され、サーボ回路５は、装置全体を制御するシステムコントローラ６によって制御される。
【００１５】
再生ヘッド２によって記録媒体１から読み取られた信号は、デマルチプレクサ７に入力され、デマルチプレクサ７において信号のヘッダ部分がＭＰＥＧ２システム・プログラムストリームのフォーマットに従って解析されることによって、映像信号と音声信号に分離される。
【００１６】
デマルチプレクサ７で分離された映像信号および音声信号は、それぞれ映像復号器８および音声復号器９に入力され、映像復号器８および音声復号器９から、それぞれ伸長された映像信号および音声信号が得られるとともに、映像復号器８および音声復号器９において、それぞれＭＰＥＧ２システム・プログラムストリームのフォーマットに従って、映像信号および音声信号の各パケットのヘッダ部分から映像ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）および音声ＰＴＳが検出される。
【００１７】
映像復号器８からの映像信号および音声復号器９からの音声信号は、それぞれ信号処理部１０に入力されて後述のように処理され、信号処理部１０から再生出力の映像信号および音声信号が得られる。再生出力の映像信号は、ＣＲＴディスプレイや液晶ディスプレイなどの表示装置１７に出力され、再生出力の音声信号は、スピーカなどの音声出力装置１８に出力される。
【００１８】
映像復号器８で検出された映像ＰＴＳおよび音声復号器９で検出された音声ＰＴＳは、それぞれ信号処理部１０に入力されて後述のように比較され、後述のように信号処理部１０で映像制御信号が得られて、これが映像復号器８に出力される。
【００１９】
システムコントローラ６には、操作部１９が接続される。操作部１９は、システムの利用者が音声信号の再生速度を指示するなどの各種操作を行うもので、これには、システムの動作状態や操作状況を表示する液晶表示部などの表示部が設けられる。
【００２０】
〔信号処理部の一例…図２〕
図２は、信号処理部１０の一例を示す。この例では、信号処理部１０は、映像処理部１１、Ｄ／Ａコンバータ１２、速度変換処理部１３、Ｄ／Ａコンバータ１４および映像制御部１５によって構成される。
【００２１】
映像処理部１１は、後述のシーンチェンジ対応の処理を行う場合以外には、映像復号器８からの映像信号をそのまま通過させるもので、この映像処理部１１からの映像信号は、Ｄ／Ａコンバータ１２によってアナログ映像信号に変換されて、信号処理部１０から出力される。
【００２２】
速度変換処理部１３は、音声信号を２倍速など、一般にｎ倍速（ｎ＞１）で再生する場合に、バッファを利用して、音声復号器９からの音声信号の無音部分（音声レベルが閾値以下の部分）を優先的に削除し、有音部分（音声レベルが閾値を超える部分）を優先的に出力することによって、結果的に音声を定常速度で聞き取ることができるようにするものである。
【００２３】
２倍速再生のときには一定周期ごとに交互に削除と出力を繰り返すように、音声復号器９からの音声信号を周期的に切り貼りすることも考えられるが、これでは、元の音声信号を周期的に削除するため、元の音声信号中に無音部分が一定の割合で含まれていない場合には、有音部分が削除されて、切り貼り後の音声信号は音声が途切れ途切れになってしまい、内容を理解することができなくなってしまう。
【００２４】
そこで、具体的には、音声復号器９からの音声信号を処理単位期間ごとに区切り、バッファから定常速度相当量の出力音声信号が得られる範囲内で無音部分を優先的に削除して、それぞれの処理単位期間の音声信号をバッファに書き込むとともに、処理単位期間の音声信号中にバッファに蓄えられない量の有音部分が存在する場合には、一部の有音部分を削除して、その処理単位期間の音声信号をバッファに書き込む。
【００２５】
例えば、音声信号を２倍速で再生する場合、（１）処理単位期間内に無音部分と有音部分がちょうど半分（所定量）ずつ存在するときには、無音部分を全て削除して、有音部分のデータのみを全てバッファに書き込み、（２）処理単位期間内のデータが全て無音部分であるなど、処理単位期間内に無音部分が半分（所定量）を超えて存在し、かつバッファに所定量以上のデータが蓄積されているときにも、無音部分を全て削除して、有音部分のデータのみを全てバッファに書き込み、（３）処理単位期間内のデータが全て有音部分であるなど、処理単位期間内に有音部分が半分（所定量）を超えて存在し、かつバッファにその有音部分のデータを全て蓄えるだけの空きがあるときにも、無音部分があれば無音部分を全て削除して、有音部分のデータのみを全てバッファに書き込む。
【００２６】
また、（４）処理単位期間内に無音部分が半分（所定量）を超えて存在し、かつバッファに所定量以上のデータが蓄積されていないときには、有音部分の全てに無音部分の一部を付加して、所定量（半分）のデータをバッファに書き込み、（５）処理単位期間内に有音部分が半分（所定量）を超えて存在し、かつバッファにその有音部分のデータを全て蓄えるだけの空きがないときには、有音部分のデータが所定量となるように全体のデータを半分に圧縮して、バッファに書き込む。
【００２７】
バッファに書き込まれたデータは、それぞれ所定量分が、処理単位期間の時間幅である単位時間に渡って、バッファから読み出され、Ｄ／Ａコンバータ１４によってアナログ音声信号に変換される。
【００２８】
したがって、（５）の場合には、例外的に出力倍率が２倍となって、速聴きとなるが、その他の場合には、無音部分のみが削除され、有音部分が全て定常速度で出力されるので、音声が途切れず、内容を理解することができるようになる。
【００２９】
図２の例では、このように速度変換処理部１３で音声復号器９からの音声信号が切り貼りされるので、上記の音声ＰＴＳは、この速度変換処理部１３で切り貼りされた後の音声信号から検出され、映像制御部１５に取り込まれる。また、映像復号器８で検出された映像ＰＴＳが映像制御部１５に取り込まれて、映像制御部１５から映像復号器８に映像制御信号が出力される。
【００３０】
〔映像信号の再生速度の基本的な制御…図３〕
映像信号の再生速度の基本的な制御として、信号処理部１０は、図２の例では映像制御部１５は、図３に示す基本処理ルーチン２０によって、映像復号器８を制御し、映像信号の再生速度を制御する。
【００３１】
すなわち、この基本処理ルーチン２０では、まず、ステップ２１において、音声ＰＴＳが映像ＰＴＳより１／３０秒（映像信号の１フレーム）以上大きいか否かを、すなわち映像信号が音声信号に対して１フレーム以上遅れているか否かを判断し、映像信号が音声信号に対して１フレーム以上遅れているときには、ステップ２２に進んで、映像信号を１フレーム分、スキップするように映像復号器８を制御する。
【００３２】
音声ＰＴＳが映像ＰＴＳより１／３０秒以上大きくないときには、ステップ２３に進んで、逆に映像ＰＴＳが音声ＰＴＳより１／３０秒以上大きいか否かを、すなわち映像信号が音声信号に対して１フレーム以上進んでいるか否かを判断し、映像信号が音声信号に対して１フレーム以上進んでいるときには、ステップ２４に進んで、映像信号を１フレーム分、フリーズする（同一フレームを繰り返し出力する）ように映像復号器８を制御する。
【００３３】
映像信号が音声信号に対して１フレーム以上遅れてもいなく、１フレーム以上進んでもいないときには、ステップ２５に進んで、映像信号をスキップもフリーズもしないで、そのまま出力するように映像復号器８を制御する。
【００３４】
以上の処理によって、映像信号を常に１／３０秒より少ない誤差で音声信号に同期させて、音声信号および映像信号を再生することができる。ただし、映像信号の各フレームにつき、この処理を行うと、発振するので、３０フレーム（１秒）につき１回など、映像信号の所定数のフレームにつき１回ずつ、この処理を行うようにする。
【００３５】
〔ジャンプ対応の制御…図４、図５〕
音声信号の無音部分をカットして音声信号を結果的に高速で再生するなどのために、音声信号を時間的に不連続な位置にジャンプさせて再生する場合には、以下のように、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御する。
【００３６】
図４は、この場合の処理ルーチンを示す。このジャンプ対応処理ルーチン３０では、まず、ステップ３１において、音声ＰＴＳを監視して、音声信号が時間的に不連続な位置にジャンプしたか否かを判断し、ジャンプしていなければ、上述した基本処理ルーチン２０を実行するが、ジャンプしたときには、ステップ３２に進んで、映像信号が徐々に音声信号に追いつくように、後述のように映像信号の再生速度を上げる。
【００３７】
次に、ステップ３３に進んで、映像ＰＴＳおよび音声ＰＴＳを取得し、さらにステップ３４に進んで、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であるか否かを判断し、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下でなければ、ステップ３３に戻るが、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であれば、ステップ３５に進んで、映像信号の再生速度を元に戻す。すなわち、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下になるまで、映像信号の再生速度を１倍速より高くする。
【００３８】
一例として、ステップ３２では、映像信号が２倍速で再生されるように映像復号器８を制御する。一般に映像信号をｍ倍速（ｍ＞１）で再生するには、映像信号の連続するｓフレーム中のｔフレームだけを再生する。ｓ，ｔは、ｍ＝ｓ／ｔを満たす自然数（正の整数）の組み合わせの中で、ｓが最小の値を持つ組み合わせである。すなわち、２倍速ではｓ＝２，ｔ＝１であり、１．５倍速ではｓ＝３，ｔ＝２である。
【００３９】
図５（Ａ）は、このように映像信号を２倍速で再生することによって、映像信号が徐々に音声信号に追いつくようにする場合である。すなわち、この場合、時点ｔａで音声信号が時間的に不連続な位置にジャンプすると、映像信号の再生速度が１倍速から２倍速に変えられ、映像信号が音声信号に追いつくと、映像信号の再生速度が１倍速に戻される。
【００４０】
また、ステップ３２では、このように映像信号の再生速度を固定速度にする代わりに、図５（Ｂ）または（Ｃ）に示すように、映像信号の再生速度を段階的または連続的に変化させてもよい。
【００４１】
図５（Ｂ）は、時点ｔａで音声信号が時間的に不連続な位置にジャンプしたとき、映像信号の再生速度を、映像信号が音声信号に追いつくまでの間、３段階（速度としては２通り）に変化させる場合であり、図５（Ｃ）は、時点ｔａで音声信号が時間的に不連続な位置にジャンプしたとき、映像信号の再生速度を、映像信号が音声信号に追いつくまでの間、曲線Ｓで示すようにスプライン関数状に変化させる場合である。このように映像信号の再生速度を段階的または連続的に変化させることによって、より違和感を少なくすることができる。
【００４２】
（映像信号が一定時間で音声信号に追いつくようにする場合）
音声信号が時間的に不連続な位置にジャンプしたとき、映像信号が一定時間で音声信号に追いつくようにすることもできる。
【００４３】
この場合には、その一定時間をＴ、音声信号のジャンプした時間幅をＫとすると（ただし、Ｔ＜Ｋ）、図４のジャンプ対応処理ルーチン３０のステップ３２では、映像信号の再生速度をｍ＝Ｋ／Ｔの倍率にするように映像復号器８を制御する。
【００４４】
（ジャンプ時間幅に応じて映像信号の再生速度を変化させる場合）
音声信号が時間的に不連続な位置にジャンプしたときの映像信号の再生速度を、音声信号のジャンプした時間幅Ｋに応じて決定し、変化させるようにしてもよい。
【００４５】
この場合には、図４のジャンプ対応処理ルーチン３０のステップ３２では、映像信号の再生速度をｍ＝α×Ｋの倍率にするように映像復号器８を制御する。αは係数で、倍率ｍの最小値が１より大きくなるように、音声信号のジャンプする時間幅Ｋの最小値に応じて設定する。
【００４６】
〔シーンチェンジ対応の制御…図６〜図８〕
音声信号を時間的に不連続な位置にジャンプさせて再生するとき、そのジャンプ区間内の映像信号中にシーンチェンジ点が存在する場合には、そのシーンチェンジ点の前後の映像信号を再生すると、違和感を感じる。そこで、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、そのジャンプ区間内の映像信号中にシーンチェンジ点が存在する場合には、以下のように、そのジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しない（削除する）ように映像信号の再生を制御する。
【００４７】
図６は、この場合の処理ルーチンを示す。このシーンチェンジ対応処理ルーチン４０では、まず、ステップ４１において、音声ＰＴＳを監視して、音声信号が時間的に不連続な位置にジャンプしたか否かを判断し、ジャンプしていなければ、図３および図４に示した基本処理ルーチン２０を実行するが、ジャンプしたときには、ステップ４２に進んで、音声信号のジャンプ区間内の映像信号中にシーンチェンジ点が存在するか否かを判断する。
【００４８】
このシーンチェンジ点の検出は、図１の信号処理部１０において、図２の例では映像処理部１１において、映像信号のフレーム相関を利用して行う。すなわち、映像信号の連続する２フレームの対応する画素間のデータ値の差分の絶対値の全画素に渡る総和が、閾値を超えるときには、その２フレーム間にシーンチェンジ点が存在すると判定し、閾値以下であるときには、その２フレーム間にシーンチェンジ点は存在しないと判定する。ただし、その他の公知の方法によってシーンチェンジ点を検出するようにしてもよい。
【００４９】
そして、ジャンプ区間内の映像信号中にシーンチェンジ点が存在しないときには、図４で示したステップ３２〜３５に進んで、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御するが、ジャンプ区間内の映像信号中にシーンチェンジ点が存在するときには、まず、ステップ４３に進んで、図７に示す映像非再生区間設定処理ルーチン５０によって、ジャンプ区間内の映像信号を再生しない区間を設定する。
【００５０】
映像非再生区間設定処理ルーチン５０では、まず、ステップ５１において、シーンチェンジ点の前に音声ジャンプ区間が所定時間幅Ｌ以上存在するか否かを判断する。
【００５１】
図８は、音声信号が最初にジャンプ区間Ｊ１で示すように時間的に不連続な位置にジャンプし、次にジャンプ区間Ｊ２で示すように時間的に不連続な位置にジャンプし、かつ、ジャンプ区間Ｊ１およびＪ２内には、それぞれシーンチェンジ点Ｐ１およびＰ２が存在するとともに、ジャンプ区間Ｊ１については、シーンチェンジ点Ｐ１の前後に、それぞれ所定時間幅Ｌより大きいジャンプ区間Ｊ１ｆおよびＪ１ｂが存在し、ジャンプ区間Ｊ２については、シーンチェンジ点Ｐ２の前には所定時間幅Ｌより小さいジャンプ区間Ｊ２ｆが存在し、シーンチェンジ点Ｐ２の後には所定時間幅Ｌより大きいジャンプ区間Ｊ２ｂが存在する場合である。
【００５２】
そして、ジャンプ区間Ｊ１のようにシーンチェンジ点（Ｐ１）の前にジャンプ区間（Ｊ１ｆ）が所定時間幅Ｌ以上存在するときには、ステップ５１からステップ５２に進んで、シーンチェンジ点（Ｐ１）の直前の所定時間幅Ｌの区間のみを映像信号の非再生区間に設定し、ジャンプ区間Ｊ２のようにシーンチェンジ点（Ｐ２）の前にジャンプ区間（Ｊ２ｆ）が所定時間幅Ｌ以上存在しないときには、ステップ５１からステップ５３に進んで、シーンチェンジ点（Ｐ２）の前のジャンプ区間（Ｊ２ｆ）を全て映像信号の非再生区間に設定する。
【００５３】
次に、ステップ５２または５３からステップ５４に進んで、シーンチェンジ点の後に音声ジャンプ区間が所定時間幅Ｌ以上存在するか否かを判断し、ジャンプ区間Ｊ１，Ｊ２のようにシーンチェンジ点（Ｐ１，Ｐ２）の後にジャンプ区間（Ｊ１ｂ，Ｊ２ｂ）が所定時間幅Ｌ以上存在するときには、ステップ５５に進んで、シーンチェンジ点（Ｐ１，Ｐ２）の直後の所定時間幅Ｌの区間のみを映像信号の非再生区間に設定し、図８では示していないが、シーンチェンジ点の後にジャンプ区間が所定時間幅Ｌ以上存在しないときには、ステップ５６に進んで、シーンチェンジ点の後のジャンプ区間を全て映像信号の非再生区間に設定する。
【００５４】
図６のシーンチェンジ対応処理ルーチン４０では、ステップ４３で以上のように映像信号を再生しない区間を設定したら、次にステップ４４に進んで、ステップ３２と同様に、映像信号の再生速度を上げ、さらにステップ４５に進んで、映像ＰＴＳが、すなわち映像信号がステップ４３で設定した非再生区間に入ったか否かを判断する。
【００５５】
そして、映像信号が非再生区間に入ったときには、ステップ４６に進んで、非再生区間を再生しないように映像信号をスキップさせ、次にステップ４７に進んで、ステップ３３と同様に、映像ＰＴＳおよび音声ＰＴＳを取得し、さらにステップ４８に進む。映像信号が非再生区間に入っていないときには、ステップ４５から直接、ステップ４７に進み、さらにステップ４８に進む。
【００５６】
ステップ４８では、ステップ３４と同様に、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であるか否かを判断し、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下でなければ、ステップ４５に戻るが、映像ＰＴＳと音声ＰＴＳの差が１／３０秒以下であれば、ステップ４９に進んで、ステップ３５と同様に、映像信号の再生速度を元に戻す。
【００５７】
以上の結果、図８のケースでは、ジャンプ区間Ｊ１については、その始点から、シーンチェンジ点Ｐ１から時間幅Ｌだけ前の時点までの区間は、映像信号が高速再生され、シーンチェンジ点Ｐ１の直前の時間幅Ｌの区間および直後の時間幅Ｌの区間は、映像信号がスキップされて再生されず、シーンチェンジ点Ｐ１から時間幅Ｌだけ後の時点からジャンプ区間Ｊ１の終点までの区間は、映像信号が高速再生される。ジャンプ区間Ｊ２については、その始点から、シーンチェンジ点Ｐ２から時間幅Ｌだけ後の時点までの区間は、映像信号がスキップされて再生されず、シーンチェンジ点Ｐ２から時間幅Ｌだけ後の時点からジャンプ区間Ｊ２の終点までの区間は、映像信号が高速再生される。
【００５８】
このように、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、そのジャンプ区間内の映像信号中にシーンチェンジ点が存在する場合には、そのジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないことによって、映像信号を違和感なく再生することができるとともに、映像信号が音声信号に追いつくのに要する時間を短縮化することができる。
【００５９】
なお、上述した例は、再生時に映像信号のフレーム相関を利用するなどによってシーンチェンジ点を検出する場合であるが、あらかじめ記録媒体にシーンチェンジを示す情報が記録されている場合には、その情報から直接、シーンチェンジ点を検出することができる。
【００６０】
〔他の実施形態〕
図１の実施形態は、記録媒体１がディスク状の場合であるが、この発明は、記録媒体（記憶媒体）が磁気テープや半導体メモリなどである場合にも、同様に適用することができる。半導体メモリの場合には、読み出し回路によってメモリから、これに書き込まれた音声信号を読み出す。したがって、この場合には、「記録」とは書き込みであり、「再生」とは読み出しである。
【００６１】
【発明の効果】
上述したように、この発明によれば、音声信号を時間的に不連続な位置にジャンプさせて再生するとき、映像信号を音声信号に同期させて、しかも違和感なく、再生することができる。
【図面の簡単な説明】
【図１】この発明の再生装置の一実施形態を示す図である。
【図２】図１の信号処理部の一例を示す図である。
【図３】映像信号の再生速度の制御についての処理ルーチンの一例を示す図である。
【図４】音声信号が時間的に不連続な位置にジャンプする場合の映像信号の再生速度の制御についての処理ルーチンの一例を示す図である。
【図５】図４の方法で映像信号の再生速度を上げる場合の具体的な方法を示す図である。
【図６】音声信号が時間的に不連続な位置にジャンプするときシーンチェンジに対応して映像信号の再生速度を制御する場合の処理ルーチンの一例を示す図である。
【図７】図６の処理ルーチン中の映像非再生区間設定処理ルーチンの一例を示す図である。
【図８】映像信号の非再生区間の設定例を示す図である。
【符号の説明】
１…記録媒体、２…再生ヘッド、７…デマルチプレクサ、８…映像復号器、９…音声復号器、１０…信号処理部、１１…映像処理部、１３…速度変換処理部、１５…映像制御部、２０…基本処理ルーチン、３０…ジャンプ対応処理ルーチン、４０…シーンチェンジ対応処理ルーチン、５０…映像非再生区間設定処理ルーチン。
Claims (2)
- 信号再生装置が、それぞれ圧縮され、互いに同期して記録媒体上に記録されている映像信号および音声信号を再生する方法として、
音声信号を時間的に不連続な位置にジャンプさせて再生するとき、音声信号のジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないでスキップさせて、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御する信号再生方法。 - それぞれ圧縮され、互いに同期して記録媒体上に記録されている映像信号および音声信号を再生する装置として、
前記記録媒体から読み取られた信号から、圧縮された映像信号および音声信号を分離する信号分離部と、
前記分離された映像信号を伸長復号する映像復号部と、
前記分離された音声信号を伸長復号する音声復号部と、
音声信号を時間的に不連続な位置にジャンプさせて再生するとき、音声信号のジャンプ区間内の映像信号中のシーンチェンジ点の前後の所定時間分を再生しないでスキップさせて、映像信号が徐々に音声信号に追いつくように映像信号の再生速度を制御する制御部と、
を備える信号再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27571299A JP4235780B2 (ja) | 1999-09-29 | 1999-09-29 | 信号再生方法および信号再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27571299A JP4235780B2 (ja) | 1999-09-29 | 1999-09-29 | 信号再生方法および信号再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001103401A JP2001103401A (ja) | 2001-04-13 |
| JP4235780B2 true JP4235780B2 (ja) | 2009-03-11 |
Family
ID=17559330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27571299A Expired - Fee Related JP4235780B2 (ja) | 1999-09-29 | 1999-09-29 | 信号再生方法および信号再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4235780B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2800816C1 (ru) * | 2023-02-09 | 2023-07-28 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Омский государственный аграрный университет имени П.А. Столыпина (ФГБОУ ВО Омский ГАУ) | Способ защиты подшипникового узла от микродисперсных частиц |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003034725A1 (fr) * | 2001-10-18 | 2003-04-24 | Matsushita Electric Industrial Co., Ltd. | Appareil et procede de reproduction video/audio, programme et support correspondants |
| KR101246916B1 (ko) | 2006-04-21 | 2013-03-25 | 삼성전자주식회사 | 오디오/비디오 동기 보정 방법 및 장치 |
| TWI314017B (en) | 2006-07-12 | 2009-08-21 | Quanta Comp Inc | System and method for synchronizing video frames and audio frames |
| KR100864009B1 (ko) | 2007-04-02 | 2008-10-16 | 주식회사 대우일렉트로닉스 | 오디오／비디오 동기화 방법 |
| JP5093648B2 (ja) | 2007-05-07 | 2012-12-12 | 国立大学法人電気通信大学 | 再生装置 |
| JP5163005B2 (ja) * | 2007-08-10 | 2013-03-13 | 三菱電機株式会社 | 映像信号再生装置、映像信号処理装置および映像信号処理方法 |
-
1999
- 1999-09-29 JP JP27571299A patent/JP4235780B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2800816C1 (ru) * | 2023-02-09 | 2023-07-28 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Омский государственный аграрный университет имени П.А. Столыпина (ФГБОУ ВО Омский ГАУ) | Способ защиты подшипникового узла от микродисперсных частиц |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001103401A (ja) | 2001-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5675693A (en) | Video signal reproducing apparatus with plural search functions | |
| EP1040657A1 (en) | Method of time shifting to simultaneously record and play a data stream | |
| JP2001202698A (ja) | オーディオ及びビデオ再生装置 | |
| KR100638064B1 (ko) | 재생장치,기록장치및기록매체 | |
| US6707984B2 (en) | Changing a playback speed for video presentation recorded in a modified film format | |
| JP4235780B2 (ja) | 信号再生方法および信号再生装置 | |
| JP4006553B2 (ja) | 記録再生装置および方法 | |
| JPH0877755A (ja) | 圧縮画像情報の再生装置 | |
| JP2002025235A (ja) | 情報再生装置におけるレジューム再生方法 | |
| JP2005525710A (ja) | フィールド構成フォーマットで記録されたビデオ提示のための再生速度の変化 | |
| JP3281742B2 (ja) | ディスクプレーヤー | |
| JP3475758B2 (ja) | 再生方法及び再生装置及び記録再生方法及び記録再生装置 | |
| JP4377079B2 (ja) | 信号処理方法及び信号処理装置 | |
| JP2005167426A (ja) | 映像再生装置及び映像再生方法 | |
| JP3991532B2 (ja) | ディジタル信号記録再生装置 | |
| JP2004112176A (ja) | 情報処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、再生装置 | |
| KR19990061586A (ko) | 재기록 광 디스크의 연속 재생방법 | |
| JP3637237B2 (ja) | 情報記録再生装置及び情報記録再生方法 | |
| JP4164613B2 (ja) | 信号再生方法および信号再生装置 | |
| JPH0562349A (ja) | 情報記録再生方法および装置 | |
| JPH07222109A (ja) | 再生装置 | |
| JP3775408B2 (ja) | 光ディスク再生装置 | |
| JP3437514B2 (ja) | 光ディスク再生装置 | |
| KR100275873B1 (ko) | 멀티-광디스크 재생장치 및 그 제어방법 | |
| JP2002135728A (ja) | 録画再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081119 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |