JPWO2007099906A1 - 再生装置、携帯電話機、及び再生方法 - Google Patents

再生装置、携帯電話機、及び再生方法 Download PDF

Info

Publication number
JPWO2007099906A1
JPWO2007099906A1 JP2008502771A JP2008502771A JPWO2007099906A1 JP WO2007099906 A1 JPWO2007099906 A1 JP WO2007099906A1 JP 2008502771 A JP2008502771 A JP 2008502771A JP 2008502771 A JP2008502771 A JP 2008502771A JP WO2007099906 A1 JPWO2007099906 A1 JP WO2007099906A1
Authority
JP
Japan
Prior art keywords
frame
audio
video
unit
pts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008502771A
Other languages
English (en)
Other versions
JP4852094B2 (ja
Inventor
隆治 諸橋
隆治 諸橋
武居　靖大
靖大 武居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008502771A priority Critical patent/JP4852094B2/ja
Publication of JPWO2007099906A1 publication Critical patent/JPWO2007099906A1/ja
Application granted granted Critical
Publication of JP4852094B2 publication Critical patent/JP4852094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１０９で保持された前回のオーディオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップがあると判定された場合、同期制御部１１１は、ギャップを検出したオーディオフレームをフェイルセーフデータとしてデコードするようオーディオ復号部１０３に指示する。

Description

本発明は、符号化データを復号して再生出力する再生装置に関し、特にデジタル符号化された映像信号、及び音声信号の各ビットストリームを復号し、両信号を同期再生する同期再生装置に関するものである。
日本のデジタル放送は、ＡＲＩＢ（Association of Radio Industrial and Businesses）の規格に基づいて行われている。このＡＲＩＢの規格は、ヨーロッパのＤＶＢ（Digital Video Broadcasting）方式の規格を基に作成されたもので、ＭＰＥＧ（Moving Picture Coding Experts Group）２−ＴＳ（Transport Stream）のシステムで、映像及び音声の放送に対応している。
ＭＰＥＧ２−ＴＳでは、１８８バイトの固定長のＴＳパケットが複数個集まって、ＴＳストリームが構成される。この１８８バイトのＴＳパケットの長さは、ＡＴＭ（Asynchronous Transfer Mode）セル長との整合性を考慮して決定されている。
ＴＳパケットは、４バイトの固定長のパケットヘッダと、可変長のアダプテーションフィールド及びペイロードで構成される。パケットヘッダには、ＰＩＤ（パケット識別子）や各種のフラグが定義されている。このＰＩＤにより、ＴＳパケットの種類が識別される。
ビデオやオーディオなどの個別ストリームが収められたＰＥＳ（Packetized Elementary Stream）パケットは、同じＰＩＤ番号を持つ複数のＴＳパケットに分割されて伝送される。ビデオの符号化には、例えばＭＰＥＧ２方式やワンセグメント放送規格におけるＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式が用いられる。オーディオの符号化は、例えば、２３Ｃ（MPEG2 Advanced Audio Coding）方式が用いられている。
また、字幕などのデータが納められたＰＥＳパケットも、ビデオやオーディオのパケットと同様に、複数のＴＳパケットに分割されて伝送される。
このようなＭＰＥＧ２−ＴＳでは、復号を行う復号器内部の基準信号であるＳＴＣ（System Time Clock）の時間を合わすために、所定時間毎に、ＰＣＲ（Program Clock Reference）が送られる。
すなわち、ＴＳパケットには、アダプテーションフィールドが含まれているものがある。アダプテーションフィールドは、個別ストリームに関する付加情報を伝送するためのもので、ここには、オプショナルフィールドに、６バイトのＰＣＲが配される。
復号器内部において、ＳＴＣ（System Time Clock）は、ＳＴＣカウンタでカウントされる。このＳＴＣカウンタの時刻は、ＰＣＲの時刻に基づいて校正される。
ＭＰＥＧ２−ＴＳでは、ＡＶ（オーディオ・ビデオ）同期をとるために、アクセスユニット毎（例えば、ビデオの場合にはピクチャ毎、オーディオの場合にはオーディオフレーム毎）にタイムスタンプが付加される。これらのアクセスユニットがＰＥＳ化され、このＰＥＳパケットのヘッダに、再生時刻を指定するＰＴＳ（Presentation Time Stamp）が付加される。
このＰＴＳの時刻は、ＳＴＣの値で記述される。復号器では、ＳＴＣの値がＰＣＲと同期して進められる。復号器では、このＳＴＣのカウント値とＰＴＳの値とを比較し、ＳＴＣのカウント値とＰＴＳの値とが一致したら、表示処理やデコード処理を開始するようになっている。これにより、ＳＴＣとの同期再生が行われる。
このように、ＭＰＥＧ２−ＴＳでは、ＰＣＲに同期して進められるＳＴＣのカウント値と、ビデオ及びオーディオのＰＥＳパケットに付加されて送られてくるＰＴＳの値とを比較し、ビデオ、オーディオそれぞれがＳＴＣのカウント値とＰＴＳの値が一致するタイミングで表示処理やデコード処理を開始することにより、ＡＶ同期再生を実現している。
放送の録画再生システムとしては、映像提供側からの符号化・多重化したストリームを復号器が蓄積していき、再生の際、蓄積したストリームからオーディオ符号化データ及びビデオ符号化データを分離した後、互いに独立して復号し、復号されたオーディオ信号とビデオ信号を、互いに同期を取って再生を行っている。
蓄積されたストリームのＡＶ同期手法としては、再生オーディオ信号の出力を重視する方法であるオーディオマスタ（例えば、特許文献１参照）が適用されている。オーディオマスタ方式では、各オーディオフレームを出力すると同時に各オーディオフレームの出力時刻を用いてＳＴＣが更新し、このとき各ビデオフレームの表示時刻はＳＴＣと比較され、その比較の結果により各ビデオフレームの表示を早めたり遅らせたりする操作を行っている。
一方、再生ビデオ信号の出力を重視する方法であるビデオマスタ（例えば、特許文献２参照）でのＡＶ同期手法もある。
ところで、蓄積されたストリームのＡＶ再生開始の際の制御として、再生開始時間（以下、エントリポイント）を定義し、好きなポイント（時間）から再生を開始する手法がある。
上述したエントリポイントによる再生開始時の同期再生方法について説明する。
図２１は同期再生装置の構成を示している。図２１において、同期再生装置は、ストリームを転送する転送部１３０１、入力されたストリームから必要な情報を抽出するシステムデコーダ１３０２、ビデオフレームを復号化するビデオ復号部１３０３、オーディオフレームを復号化するオーディオ復号部１３０４、各構成要素の動作タイミングを制御するための同期制御部１３０５を備える。このように構成された同期再生装置のエントリポイントによる再生開始の動作について説明する。
図２１で示されるように、転送部１３０１からエントリポイントを含んだストリームがシステムデコーダ１３０２に転送される。システムデコーダ１３０２は、入力されたストリームからビデオ符号化データとオーディオ符号化データをそれぞれビデオ復号部１３０３とオーディオ復号部１３０４に転送し、オーディオ用ＰＴＳとビデオ用ＰＴＳを同期制御部１３０５に転送する。ビデオ復号部１３０３は、入力されるビデオ符号化データからビデオフレームの復号を行う。オーディオ復号部１３０４は、入力されるオーディオ符号化データからオーディオフレームの復号を行う。同期制御部１３０５は、転送部１３０１とシステムデコーダ１３０２とビデオ復号部１３０３とオーディオ復号部１３０４を制御することで、ビデオフレームとオーディオフレームとの同期出力制御を行う。
図２２は同期再生装置を構成する同期制御部１３０５における、エントリポイントによる再生開始の動作手順を示すフローチャートを記載した図である。以下、図２２のフローに従って、同期制御部１３０５の動作を詳しく説明する。
まず、動作が開始されると、ステップ１４０１にて、外部からのエントリポイント値の設定とエントリポイントによる再生開始が通知されると、転送部１３０１と各復号部１３０２、１３０３、１３０４に起動要求を出す。この要求を受けて、転送部１３０１と各デコーダ１３０２、１３０３、１３０４は起動処理を行う。
次いで、ステップ１４０２にて、転送部１３０１にデータ供給要求を出す。この要求を受けて転送部１３０１は、エントリポイントを含んだストリームの先頭から転送を行う。システムデコーダ１３０２は、転送部１３０１からデータを受信することで分離抽出を開始する。
ビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントがある特定のしきい値内で一致するまで、システムデコーダ１３０２から受信したビデオ符号化データからビデオフレームの復号を行う。このときは、まだ復号処理だけを行い、表示出力は行わない。
次いで、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳと、エントリポイントがある特定のしきい値内で一致した場合は、ステップ１４０４に移り、ビデオフレーム用ＰＴＳの値で、同期制御部１３０５内のＳＴＣを初期化する。
次いで、ステップ１４０５にて、ビデオ復号部１３０３にビデオフレーム同期出力要求を出す。この要求を受けてビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントとがある特定のしきい値内で一致したビデオフレームの復号と同時に表示出力も行う。この段階で、初めてビデオフレームの表示出力が行われ、以後、ビデオ復号部１３０３、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するビデオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するビデオ符号化データからのビデオフレームの復号と表示出力を次々に行っていく。
次いで、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致するまで処理を続ける。
また、ステップ１４０６にてシステムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致した場合、ステップ１４０７に移り、オーディオ復号部１３０４にオーディオフレーム同期出力要求を出す。
この要求を受けてオーディオ復号部１３０４は、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致したオーディオフレームの復号と同時にオーディオ出力も行う。この段階で、初めてオーディオフレームのオーディオ出力が行われ、以後、オーディオ復号部１３０４は、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するオーディオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するオーディオ符号化データからのオーディオフレームの復号とオーディオ出力を次々に行っていく。
また、特許文献２には、ＭＰＥＧ規格により規定される表示順序情報であるテンポラル・リファレンス（ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ）を利用して、ビデオフレーム単位、あるいはオーディオフレーム単位の精度で、指定されたエントリポイントに相当するビデオフレームとオーディオフレームを検出できる技術が開示されている。
また、特許文献３には、異常判定用のタイマを設けることによって、所定の時間が経過しても、ビデオフレームあるいはオーディオフレームの一方しか出力準備完了していない場合に、この時点で出力準備完了している、ビデオフレームまたはオーディオフレームの一方だけに出力要求を可能とし、入力されたストリーム中にエントリポイントに相当するビデオフレームとオーディオフレームの一方しか存在しない場合でも、再生開始を正常に行うことが可能な同期再生装置が開示されている。
特開平７−５０８１８号公報 特願平９−５１４１４６号公報 特開２００１−３４６１６６号公報
そこで、本発明が解決しようとする第１の課題を図２３（ａ）、（ｂ）を用いて説明する。図２３（ａ）、（ｂ）は、電波状態が悪い環境下において記録されたストリーム例を示している。縦軸がＰＴＳで横軸はストリームである。図２３（ａ）は伝送エラーなどによりＰＴＳにビット誤りが発生している場合、図２３（ｂ）は記録時の電波の受信状態が悪いためストリームに抜けが発生した場合を示す。図２３（ａ）においてエントリポイントがＰＴＳ誤りが発生している時間に指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。図２３（ｂ）も同様、ストリーム抜けが発生した時間にエントリポイントが指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。結果、再生開始位置が定まらず再生開始ができないという問題がある。
次に、本発明が解決しようとする第２の課題を図２４（ａ）、（ｂ）、（ｃ）を用いて説明する。図２４（ａ）は、ＭＰＥＧ２−ＴＳのＴＳパケットを示している。開始フレームの検索を行う対象データ領域を開始フレーム検索対象データと示す。つまり、エントリポイントと一致するフレームの検索は、この開始フレーム検索対象データに対して行うことになる。例えば、開始フレーム検索対象データに対しての検索処理時間をオーディオとビデオで、それぞれＴａ、Ｔｖ（Ｔａ＜Ｔｖ）であるとした場合、タイマＴｅは、オーディオとビデオがともに検索処理が完了する時間が与えられる（図２４（ｂ））。このような場合、図２４（ｃ）のように、検索を開始し、ビデオデータにおいて開始フレーム検索が完了し、出力準備ができたとしても、出力するのはＴｅ後からとなる。
すなわち、オーディオデータまたはビデオデータの一方の開始データが見つからない場合の片方のみ出力するためのタイマを、オーディオデータの開始フレーム検索処理時間、ビデオデータの開始フレーム検索処理時間に依らず、一意的な値をとっているため、片方データのみの出力の場合、開始フレーム検索時間が大きいほうに引っ張られて再生開始するという問題がある。
さらに、本発明が解決しようとする第３の課題を、図２５を用いて説明する。図２５（ａ） は、オーディオマスタで動作している動画再生装置のビデオ再生データとオーディオ再生データが共に正常に出力されている通常状態において、受信電波が悪い状態で記録されることにより多重化ビットストリームに時間的不連続が発生した場合の例を示す図である。
この図２５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム２３０１におけるＰＴＳは４２である。また、図２５（ａ）ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。さらに、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム２３０１と映像フレーム２３０２、また、音声フレーム２３０３と音声フレーム２３０４の間に時間飛びが発生している。
このとき、オーディオマスタとして動作しているため、オーディオ再生データは不連続点でも連続して再生され、同様にリファレンスクロックもオーディオ再生データ同様、不連続に変化する。それに対し、ビデオ再生データは映像フレーム２３０１でリファレンスクロックと大きく離れ、許容範囲を超えてしまい、非同期で再生を行う自走再生状態となる。これは、たとえば自走状態と判断する許容範囲を１０とすると、映像フレームのＰＴＳは１１３、リファレンスクロックのＳＴＣ値は４７であり、映像フレームのＰＴＳとリファレンスクロックのＳＴＣの差分は６６となり、許容範囲３０を超える。しかし、オーディオも不連続を通過後、ビデオ再生データは映像フレーム２３０３で再びリファレンスクロックと同期が取れ、再度同期再生状態に復帰し同期再生は正常に行われ、なんら問題はない。
しかしながら、図２５（ｂ）に示すように、時間飛びが発生している映像フレーム２３０６、映像フレーム２３０７間の時間間隔（図２５（ｂ）では８３）、音声フレーム２３０８と音声フレーム２３０９の時間間隔（図２５（ｂ）では６９）が異なるような状況が発生した場合、図２５（ａ）と同様な自走による制御方式を行うと図２５（ｂ）に示すように、不連続点通過後も許容範囲を超えた状態となり自走モードが継続されることになる。すなわち、図２５（ｂ）に示すようにオーディオが不連続を経過した後も、映像フレーム２３１０以降の映像フレームのＰＴＳとリファレンスクロックのＳＴＣとの差分値が常に１２になっているため、自走状態と判断する許容値１０を超えた状態が継続され、同期状態になることなく自走再生状態が続いてしまう。
自走再生状態が続くと、オーディオ、ビデオの同期がとれずリップシンクが合わない状態が続くことになってしまう。
このような状態において、従来例では、一定時間自走モードが継続された場合、ビデオまたはオーディオの再生を停止し再度開始状態に戻してから再生するという方法を行っていた。しかしながら、再生を一旦停止し再開する際は、初期状態に戻るため、起動処理が必要であり、さらにはすでにバッファ等に蓄積されているデータも破棄されるため、再生復帰までの時間がかかり、その間、映像またはオーディオが何も出力されない状態が長時間継続されるという問題が生じる。
本発明は上記の問題に鑑みてなされたものであり、エントリポイント指定による再生開始時や再生中に、映像表示時刻や音声表示時刻に時間的不連続が発生するいかなる場合においても、それぞれの場合に応じて最適な映像フレームと音声フレームからの再生開始を行え、また、映像信号と音声信号が途絶えることなく再生が継続できる、再生装置を提供することを目的とする。
本発明は上記課題を解決するために、本発明の第１態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置であって、フレーム毎に、フレーム再生時刻情報を取得する取得部と、前記取得部で取得したフレーム再生時刻情報を保持する保持部と、フレーム毎に、前記取得部で取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持部に保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較部と、前記比較部で、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力部とを備えることを特徴とする。
また、上記課題を解決するために、本発明の第２態様に係る再生装置は、フレーム単位に映像再生時刻情報が付加された映像フレームと、フレーム単位で音声再生時刻情報が付加された音声フレームとから成るデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当する映像フレーム及び音声フレームから再生を開始する機能を有する再生装置であって、映像フレームから映像フレーム再生時刻情報の取得、及び音声フレームから音声フレーム再生時刻情報の取得を行う取得部と、前記取得部で取得した映像フレームの映像フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定、及び前記取得部で取得した音声フレームの音声フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定を行う比較部と、映像フレーム及び音声フレームの復号及び再生出力を行う復号部とを備え、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔｖと、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔａとが設定されており、（ｉ）上限時間Ｔｖ＞Ｔａを満たすとき、前記復号部は、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔａが経過した時に、映像フレームの復号が完了している場合、当該映像フレームを再生出力し、（ｉｉ）上限時間Ｔｖ＜Ｔａを満たすとき、前記復号部は、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔｖが経過した時に、音声フレームの復号が完了している場合、当該音声フレームを再生出力することを特徴とする。
また、上記課題を解決するために、本発明の第３態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置であって、フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する復号部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力するよう前記復号部に指示する制御部と、前記制御部の指示により、前記復号部が前記システム基準クロックと非同期で再生出力したフレームをカウントするカウント部とを備え、前記制御部はさらに、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう前記復号部に指示する強制同期処理を実行することを特徴とする。
また、上記課題を解決するために、本発明の携帯電話機は、上記第１の態様〜第３の態様のいずれか１態様に係る再生装置を備えることを特徴とする。
第１の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
第２の態様に係る再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間を音声フレームと映像フレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。
第３の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生中において、システム基準クロックとの同期ずれを低減することができる。
また、上記第１態様に係る同期再生装置において、前記データストリームは、所定時間毎に、プログラム参照時刻情報を含むものであり、さらに、前記プログラム参照時刻情報を取得し、取得した現プログラム参照時刻情報と、前記所定時間前に取得した前プログラム参照時刻情報とを比較して、前記現プログラム参照時刻情報と前記前プログラム参照時刻情報との差分が所定の閾値を超えていた場合は、プログラム参照時刻情報が不連続であることを検出するとともに前記現プログラム参照時刻情報を保持する検出部を備え、前記比較部は、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判定された場合で、且つ前記検出部で前記現プログラム参照時刻情報が保持されている場合は、さらに、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が、前記所定時間を超えるか否かを判定し、前記再生出力部は、前記比較部で、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が前記所定時間を超えると判定された場合のみ、前記現フレーム再生時刻が付加されたフレームから再生を開始することとしてもよい。
この構成により、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していた場合、フレームのビット誤りとデータストリームのパケットエラーを区別し、フレームのビット誤りのときのみ、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第１態様に係る同期再生装置は、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠するものであり、前記フレーム再生時刻情報は、ＭＰＥＧ規格で定められたＰＴＳ（Presentation Time Stamp）であり、前記プログラム参照時刻情報は、ＭＰＥＧ規格で定められたＰＣＲ（Program Clock Reference）であることとしてもよい。
この構成により、ＭＰＥＧ規格に準拠した再生装置において、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記強制同期処理として、（ｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、フレーム再生時刻情報が、システム基準クロックが示す時刻と一致するまで待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力するよう前記復号部に指示し、（ｉｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を下回ると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームは再生出力しないよう前記復号部に指示することとしてもよい。
この構成により、フレームの欠落やエラーのあるストリームの再生中において、フレームとシステム基準クロックとの同期ずれが起きた場合、フレームを強制的に進める、又は遅らせることにより、同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合において、さらに、フレーム再生時刻情報とシステム基準クロックが示す時刻との差分が所定差分ｔ１を超える場合のみ、ｔ１より小さい所定の時間ｔ２だけ待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力することとしてもよい。
この構成により、フレームとシステム基準クロックの同期ずれが大きい場合は、少しずつフレームを強制的に進めることで、ユーザが映像を見たときの違和感をなるべく払拭しながら同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記フレームは、第１メディアに係る第１メディアフレームと、第２メディアに係る第２メディアフレームに分かれており、前記第１メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するものであり、前記比較部は、フレームについて、第１メディアフレームと第２メディアフレームとを区別して、それぞれのフレーム再生時刻情報とシステム基準クロックが示す時刻とを比較し、前記カウント部は、フレームのカウントについて、第１メディアフレームと第２メディアフレームとを区別してカウントし、前記制御部は、前記比較部で、前記フレームの内第１メディアフレームについての再生時刻情報が、前記システム基準クロックと一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力された第１メディアフレームがカウントされた場合においては、前記第２メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するよう変更することとしてもよい。
この構成により、第１メディアフレーム（例えば、オーディオフレーム）をマスタとしてストリームを再生しているときに、第１メディアフレームにフレーム欠損やエラーがあって第２メディアフレーム（例えば、ビデオフレーム）が正常な場合、不連続の発生していない正常な第２メディアフレームをマスタに切り換えることができる。
本発明の実施の形態１に係る同期再生装置の構成を示すブロック図である。 本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームのデータ構造図である。 本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームとＰＥＳパケットの関係図である。 本発明の実施の形態１に係るＰＥＳパケットのデータ構造図である。 本発明の実施の形態１に係るビデオデータ検索処理を示すフローチャートである。 本発明の実施の形態１に係るオーディオデータ検索処理を示すフローチャートである。 本発明の実施の形態１に係る再生処理を示すフローチャートである。 本発明の実施の形態２に係る同期再生装置の構成を示すブロック図である。 本発明の実施の形態２に係るタイムアウト処理を示すフローチャートである。 本発明の実施の形態３に係る同期再生装置の構成を示すブロック図である。 本発明の実施の形態３に係るＰＥＳパケットのデータ構造図である。 本発明の実施の形態３に係るビデオデータ検索処理を示すフローチャートである。 本発明の実施の形態３に係るオーディオデータ検索処理を示すフローチャートである。 本発明の実施の形態４に係る同期制御処理を示すフローチャートである。 本発明の実施の形態４に係る同期制御処理を示すタイミングチャートである。 本発明の実施の形態５に係る同期制御処理を示すフローチャートである。 本発明の実施の形態５に係る同期制御処理を示すタイミングチャートである。 本発明の実施の形態６に係る同期制御処理を示すフローチャートである。 本発明の実施の形態６に係る同期制御処理を示すタイミングチャートである。 本発明に係る携帯電話機を示すブロック図である。 従来技術の同期再生装置の構成を示すブロック図である 従来技術の同期再生装置の処理を示すフローチャートである。 従来技術における再生処理を示す概念図である。 従来技術におけるフレーム検索処理を示す概念図である。 従来技術における再生中の処理を示す概念図である。
符号の説明
１００、８００、１０００ 同期再生装置
１０１、８０１、１３０１ 転送部
１０２、８０２ 多重分離部
１０３、８０３、１３０４ オーディオ復号部
１０４、８０４、１３０３ ビデオ復号部
１０５、１０８、８０５、８０８ ＰＴＳ取得部
１０６、１０９ ＰＴＳ保持部
１０７、１１０ ＰＴＳ比較部
１１１、８１１、１３０５ 同期制御部
１１２、８１２、１３１３ リファレンスクロック部
８１３ オーディオ時間管理部
８１４ ビデオ時間管理部
１３０２ システムデコーダ
２０００ 携帯電話機
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（１．実施の形態１）
（１−１．構成）
図１は実施の形態１に係る同期再生装置１００の構成を示す図である。
図１において、同期再生装置１００は、転送部１０１、多重分離部１０２、オーディオ復号部１０３、ビデオ復号部１０４、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２を備える。
転送部１０１は、多重ストリーム（ＭＰＥＧ２−ＴＳストリーム、以下に説明）を多重分離部１０２へ転送するものである。
多重分離部１０２は、多重ストリームからビデオＰＥＳパケット（ＰＥＳパケット、以下に説明）内のＰＥＳヘッダから再生時間情報であるビデオＰＴＳと、ビデオ符号化データを抽出し、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送し、また、オーディオＰＥＳパケット内のＰＥＳヘッダから再生時間情報であるオーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送するものである。
オーディオ復号部１０３は、オーディオ符号化データを復号するものである。
ビデオ復号部１０４は、ビデオ符号化データを復号するものである。
オーディオＰＴＳ取得部１０８は、多重分離部１０２で抽出されたオーディオＰＴＳを取得するものである。
オーディオＰＴＳ保持部１０９は、オーディオＰＴＳ取得部１０８で取得したオーディオＰＴＳを保持するものである。
オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得したＰＴＳとオーディオＰＴＳ保持部１０９に保持されているオーディオＰＴＳとを比較するものである。
ビデオＰＴＳ取得部１０５は、多重分離部１０２で抽出されたビデオＰＴＳを取得するものである。
ビデオＰＴＳ保持部１０６は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳを保持するものである。
ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳとビデオＰＴＳ保持部１０６に保持されているビデオＰＴＳとを比較するものである。
同期制御部１１１は、各構成要素の動作タイミングを制御するものである。
リファレンスクロック部１１２は、システム内の基準クロックであるシステムタイムクロック（以下、ＳＴＣ）を管理するものである。
（１−２．データ）
ここで、図２を用いて、ＭＰＥＧ２−ＴＳストリームのデータ構造を説明する。図２において、５０１はＭＰＥＧ２−ＴＳストリームである。ＭＰＥＧ２−ＴＳストリーム５０１は、１８８バイト固定長の複数のＴＳパケットから構成される。ＭＰＥＧ２−ＴＳパケット（TS Packet）５０２はヘッダ（TS Header）５０３とペイロード（Payload）５０４とから成る。
ヘッダ５０３はＭＰＥＧ２−ＴＳのパケット５０２の先頭を示すシンクワード（Sync Word）５０５と、ＭＰＥＧ２−ＴＳパケット５０２内のデータ識別しＰＩＤ５０６と、ペイロード５０６が有効かどうか示すアダプレーションフィールドコントロール（Adaptation Field Control）５０７と、アダプテーションフィールド（Adaptation Field）５０８と、その他の制御フラグ（図示せず）から構成される。図３に示すようにＰＥＳパケットは、同一のＰＩＤ値６０１、６０２を持つ複数の固定長ＴＳパケットに分かれて転送される。ここで、図３を用いて、ＰＥＳパケットのデータ構造を説明する。ＰＥＳパケット７０１は、ＰＥＳパケットの先頭を示すパケットスタートコードプリフィックス（Packet Start Code Prefix）７０２と、ＰＥＳパケットデータ７０６に含まれるストリームを識別するためのストリームＩＤ（Stream id）７０３と、ＰＥＳパケットの長さを示すＰＥＳパケット長（PES Packet Length）７０４と、ＰＥＳヘッダ（PES Header）７０５と、ストリームデータが格納されるＰＥＳパケットデータ（PES Packet Data）７０６とから構成される。
さらに、ＰＥＳヘッダ７０５には、オプションフィールド（Option fields）７０７とその他の制御フラグ等（図示せず）から構成される。このオプションフィールド７０７内には、ＰＥＳパケット７０１に含まれるストリームの再生時刻情報であるＰＴＳ７０８が格納されている。また、ＰＥＳパケットデータ７０６には、符号化データが格納されている。
ここでいう復号処理は、ビデオにおいて、例えば、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ２／４方式の画像復号化処理が行われ、オーディオにおいて、例えば、２３Ｃなどの復号処理が行われる。
（１−３．動作）
図５、図６及び図７は本実施の形態１による同期再生装置１００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図５、図６及び図７のフローチャートに従って、再生開始までの動作を詳しく説明する。
まず、図５に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定されると、ビデオフレーム出力完了フラグが“０”にクリアされて処理が開始する。
まず、ステップＳ２０１にて、転送部１０１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１０１は、エントリポイントを含んだＭＰＥＧ２−ＴＳ（以下、多重ストリーム）を多重分離部１０２への転送を行う。多重分離部１０２は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１０１は、多重分離部１０２が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。
次いで、ステップＳ２０２にて、多重分離部１０２は、先頭ＰＥＳパケットを検出する。ここで、先頭ＰＥＳパケットは、入力されたストリームにおいてＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ２０３にて、多重分離部１０２は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データを、ビデオ復号部１０４へ転送し、ビデオＰＴＳを、ビデオＰＴＳ取得部１０５へ転送する。
次いで、ステップＳ２０４にて、ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送すると同時に、ビデオＰＴＳ保持部１０６へ転送する。
次いで、ステップＳ２０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１０５で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ２０６に移る。
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ２０８に移る。
ここで、エントリポイント判定は次の条件式である（数１）を用いる。（数１）において、ＥＰｖ１は外部から設定されたエントリポイントを、Ｔｖ１はフレーム単位時間、ＰＴＳｎｖ１はステップＳ２０３にて抽出されたビデオＰＴＳを示す。Ｔｖ１はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数１）
ＥＰｖ１−１／２×Ｔｖ１＜ＰＴＳｎｖ１≦ＥＰｖ１＋１／２×１／２×Ｔｖ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０６にて、同期制御部１１１は、ビデオ復号部１０４に対して復号許可信号を通知し、ビデオ復号部１０４は、同期制御部１１１からの復号許可信号によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１０４内のフレームバッファに格納される。
次いで、ステップＳ２０７にて、ステップ２０６でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０８にて、ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０６で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定には次の条件式である（数２）を用いる。この条件式が成立する場合、後述するステップＳ２０９に移る。逆にギャップと判定されない場合、後述するステップＳ２１０に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０６には前ＰＴＳは保持されていないため行わない。（数２）において、Ｘｖ１は外部から設定される閾値でギャップと判断するための値である。Ｘｖ１は、フレーム周期より大きく与えられるのが望ましい。
（数２）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値-前ＰＴＳ値＞Ｘｖ１
ギャップ判定において条件式（２）が成立する場合（ステップＳ２０８：ＹＥＳ）、ステップＳ２０９にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ２０６に移る。
一方、ギャップ判定において条件式（２）が成立しない場合（ステップＳ２０８：ＮＯ）、ステップＳ２１０にて、ビデオ復号部１０４は、ビデオＰＴＳ比較部１０７からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ２１１に移る。
次いで、ステップＳ２１１にて、ビデオＰＴＳ保持部１０６は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。その後、ステップＳ２０３の処理に移り処理を継続する。
次に、図５に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”にクリアされる。
まず、ステップＳ３０１にて、転送部１０１に対してストリーム供給要求を出す。この要求を受けて、転送部１０１は、エントリポイントを含んだ多重ストリームを多重分離部１０２への転送を行う。なお、ここまでの処理は、ビデオフレームの場合と同様な処理である。
次いで、ステップＳ３０２にて、多重分離部１０２は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ３０３にて、多重分離部１０２は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１０３へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１０８へ転送される。
次いでステップＳ３０４にて、オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送するのと同時に、オーディオＰＴＳ保持部１０９へ転送する。
次いでステップＳ３０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１０８で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ３０６に移る。
エントリポイントに相当するオーディオフレームと判定されなかった場合は、後述するステップＳ３０８に移る。
ここで、エントリポイント判定は次の条件式である（数３）を用いる。（数３）において、ＥＰａ１は外部から設定されたエントリポイントを、Ｔａ１はフレーム単位時間、ＰＴＳｎａ１はステップＳ３０３で抽出されたオーディオＰＴＳを示す。Ｔａ１はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数３）
ＥＰａ１−１／２×Ｔａ１＜ＰＴＳｎａ１≦ＥＰａ１＋１／２×１／２×Ｔａ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ３０５：ＹＥＳ）、ステップＳ３０６にて、同期制御部１１１は、オーディオ復号部１０３に対して復号許可信号を通知し、オーディオ復号部１０３は、同期制御部１１１からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１０３内のフレームバッファに格納される。
次いで、ステップＳ３０７にて、ステップＳ３０６でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ３０５：ＮＯ）、ステップＳ３０８にて、オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１０９で保持された前回のオーディオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数４）を用いる。この条件式が成立する場合、後述するステップＳ３０９に移る。逆にギャップと判定されない場合、後述するステップＳ３１０に移る。なお、この処理は、最初のオーディオフレームにおいては、オーディオＰＴＳ保持部１０９には前ＰＴＳは保持されていないため行わない。Ｘａ１は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ１は、フレーム周期より大きく与えられるのが望ましい。
（数４）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ１
ギャップ判定において条件式（４）が成立する場合（ステップＳ３０８：ＹＥＳ）、ステップＳ３０９にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ３０６に移る。
一方、ギャップ判定において条件式（４）が成立しない場合（ステップＳ３０８：ＮＯ）、ステップＳ３１０にて、オーディオ復号部１０３は、オーディオＰＴＳ比較部１１０からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ３１１に移る。
また、ステップＳ３１１にて、ビデオＰＴＳ保持部１０９は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ３０３の処理に移り処理を継続する。
次に、図７を用いて同期制御部１１１においてビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作を説明する。
ステップＳ４０１にて、ビデオフレームとオーディオフレームがともに出力準備完了になるまで待ち続ける。ビデオフレームとオーディオフレームがともに出力準備完了した場合、ステップＳ４０２に移る。
次いで、ステップＳ４０２において、ビデオフレーム、オーディオフレームがともにフェイルセーフデータとなった場合、後述するステップＳ４０５へ移る。逆にそうでないならば、後述するステップＳ４０３へ移る。
フェイルセーフデータでないフレームがある場合（ステップＳ４０２：ＮＯ）で、ステップＳ４０３において、オーディオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０８へ移る。逆にそうでないならば、後述するステップＳ４０４へ移る。
ステップＳ４０４において、ビデオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０６へ移る。逆にそうでないならば、後述するステップＳ４０５へ移る。
ビデオフレームとオーディオフレームともにフェイルセーフデータであった場合（ステップＳ４０２：ＹＥＳ）、またはビデオフレームとオーディオフレームともにフェイルセーフデータではない場合（ステップＳ４０４：ＮＯ）、ステップＳ４０５において、出力準備完了したフレームのオーディオＰＴＳとビデオＰＴＳとの比較を行い、オーディオＰＴＳ値≦ビデオのＰＴＳ値が成立する場合、オーディオマスタで開始すると判断し、後述するステップＳ４０６へ移る。逆に、オーディオのＰＴＳ値≦ビデオのＰＴＳ値が成立しない場合、ビデオマスタで開始すると判断し、後述するステップＳ４０８へ移る。
オーディオマスタで開始した場合（ステップＳ４０５：ＹＥＳ）、ステップＳ４０６において、同期制御部１１１は、オーディオ復号部１０３に再生指示を出し、同時に、オーディオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、オーディオのＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０７において、同期制御部１１１は、ビデオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣが一致したと判定された場合、ビデオ復号部１０４に対してビデオフレームの再生指示を出す。
一方、ビデオマスタで開始した場合（ステップＳ４０５：ＮＯ）、ステップＳ４０８において、同期制御部１１１は、ビデオ復号部１０４に再生指示を出し、同時に、ビデオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、ビデオのＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０９において、同期制御部１１１は、オーディオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣの差分が一致したと判定された場合、オーディオ復号部１０３に対してオーディオフレームの再生指示を出す。
以上のように、本発明の実施の形態１による同期再生装置１００によれば、再生開始時、ストリームのデータ抜けやＰＴＳのビット誤りによる不連続が発生しても、オーディオフレームまたはビデオフレームのＰＴＳのギャップを検出し、エントリポイント検索処理を停止して、エントリポイントに対応するフレームの近辺の最適なフレーム（フェイルセーフデータ）を決定して、当該最適なフレームからの再生開始ができる処理が可能となる。
（２．実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、検索に使用する上限時間を決めておき、当該上限時間の経過後はタイムアウトとなるようになっている点で、実施の形態１とは異なる。
以下、実施の形態２について、実施の形態１と異なる点を中心に説明する。
（２−１．構成）
図８は実施の形態２に係る同期再生装置８００の構成を示す図である。
同期再生装置８００は、転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、リファレンスクロック部８１２、オーディオ時間管理部８１３、及びビデオ時間管理部８１４を備える。
転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、及びリファレンスクロック部８１２は、それぞれ、実施の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。
オーディオ時間管理部８１３は、予め設定していた時間になった際に同期制御部８１１にオーディオタイムアウト信号を通知するものである。
ビデオ時間管理部８１４は、予め設定していた時間になった際に同期制御部８１１にビデオタイムアウト信号を通知するものである。
オーディオ時間管理部８１３、ビデオ時間管理部８１４に設定できる時間は個別に与えることが可能である。
（２−２．動作）
図９は本実施の形態２における、エントリポイントに対応するフレーム検索時のタイムアウト処理動作を示すフローチャートである。
なお、ビデオフレームの開始データ決定までの動作は実施の形態１の図５で示した動作と同様である。
オーディオフレームの開始データ決定までの動作は実施の形態１の図６で示した動作と同様である。また、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は実施の形態１の図７で示した動作と同様である。
図９に示す動作は、図５〜７に示す動作に付随して実行される。
ここで、ビデオ時間管理部８１４に設定していた時間をＴｅｖ、オーディオ時間管理部８１３に設定していた時間をＴｅａとする。時間Ｔｅｖ、時間Ｔｅａは、転送されるストリームに対して、エントリポイントと一致するフレームを十分に検出可能な時間が与えられているものとする。
ステップＳ９０１にて、同期制御部８１１がオーディオ時間管理部８１３からタイムアウト信号を受信した場合（ステップＳ９０１：ＹＥＳ）、後述するステップＳ９０２に移り、逆にそうでない場合は、後述するステップＳ９０４に移る。
ステップＳ９０２では、同期制御部８１１がビデオフレームの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０３に移り、そうでないならば処理を終了する。
ビデオフレームの出力準備が完了しているのであれば（ステップＳ９０２：ＹＥＳ）、ステップＳ９０３において、同期制御部８１１は、ビデオ復号部８０４に再生指示を出し、同時に、ビデオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、ビデオＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
オーディオ時間管理部８１３からタイムアウト信号は受信していない（ステップＳ９０１：ＮＯ）が、ステップＳ９０４にて、同期制御部８１１からタイムアウト信号を受信した場合、後述するステップＳ９０５に移り、逆にそうでないならば処理は終了する。
ステップＳ９０５では、同期制御部８１１がオーディオの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０６に移り、そうでないならば処理を終了する。
次いで、ステップＳ９０６において、同期制御部８１１は、オーディオ復号部８０３に再生指示を出し、同時に、オーディオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、オーディオＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。
以上のように、本発明の実施の形態２による同期再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間をオーディオフレームとビデオフレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。例えば、オーディオフレームの開始データ検索時間＜ビデオフレームの開始データ検索時間の場合、ビデオフレームの開始データ発見後、オーディオフレーム側の上限時間経過後に出力することが可能である。
（３．実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、ストリームに含まれるＰＣＲ（後述する）を利用する点で、実施の形態１とは異なる。
以下、実施の形態３について、実施の形態１と異なる点を中心に説明する。
（３−１．構成）
図１０は実施の形態３による同期再生装置１０００の構成を示す図である。
同期再生装置１０００は、転送部１００１、不連続検出部１００２、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３を備える。
転送部１００１、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３は、それぞれ、実施家の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。
不連続検出部１００２は、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲ（後述する）の不連続性を検出するものである。不連続検出部１００２は、所定時間毎に送られてくるＰＣＲに対して、現ＰＣＲと前ＰＣＲとの差分を比較することで不連続を検出し、不連続を検出したときのＰＣＲ値を、ビデオＰＴＳ比較部１０１１及びオーディオＰＴＳ比較部１００７に通知する。また、図示しないが不連続検出部１００２はバッファを有しており、不連続を検出したときのＰＣＲ値を当該バッファで保持する。
（３−２．データ）
ここで、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲについて、図１２を用いて説明する。
ＭＰＥＧ２−ＴＳストリームにおいて、ＳＴＣの時間に合わすために、所定時間ごとに、ＰＣＲ（Program Clock Reference）が送られる。ＴＳパケット５０１においてアダプテーションフィールド５０８が含まれているものがある。アダプテーションフィールド５０８は、個別ストリームに関する付加情報を伝送するもので、さらにアダプテーションフィールド５０８内のオプションフィールド（Option Field）５０９に、６バイトのＰＣＲが配される。
（３−３．動作）
図１２及び図１３は本実施の形態３による同期再生装置１０００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図１２及び図１３のフローチャートに従って、再生開始までの動作を詳しく説明する。
まず、図１２に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定され、ビデオフレーム出力完了フラグが“０”クリアされて処理が開始する。
まず、ステップＳ１１０１にて、転送部１００１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。多重分離部１００３は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１００１は、多重分離部１００３が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。
次いで、ステップＳ１１０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、(数５）に示す。条件が成立した場合、後述するステップＳ１１０３に移る。条件が成立しない場合、後述するステップＳ１１０４に移る。(数５）においての、現ＰＣＲは、今回検出されたＴＳパケットにおけるＰＣＲ、前ＰＣＲは、前回検出されたＴＳパケットにおけるＰＣＲ、Ｙａは閾値である。Ｙａは、ＰＣＲ送出周期より大きく与えられるのが望ましい。
（数５）
現ＰＣＲ値−前ＰＣＲ値＜０ または 現ＰＣＲ値−前ＰＣＲ値＞Ｙａ
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１１０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またビデオＰＴＳ比較部１０１１に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。
上述したステップＳ１１０２〜Ｓ１１０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１１０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１１０４で検出はされずにステップＳ１１０５に移る。
次いで、ステップＳ１１０５にて、多重分離部１００３は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データは、ビデオ復号部１００８へ転送され、ビデオＰＴＳは、ＰＴＳ取得部１００９へ転送される。
次いで、ステップＳ１１０６にて、ビデオＰＴＳ取得部１００９は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送すると同時に、ビデオＰＴＳ保持部１０１０へ転送する。
次いで、ステップＳ１１０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１００９が管理する現ＰＴＳを比較し、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ１１０８に移る。
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ１１１０に移る。
ここで、エントリポイント判定は次の条件式である（数６）を用いる。つまり、この条件式が成立する場合、エントリポイントに相当するフレームとして判定する。この条件式において、ＥＰｖ３は外部から設定されたエントリポイントを、Ｔｖ３はフレーム単位時間、ＰＴＳｎｖ３はステップＳ１１０５にて抽出されたビデオＰＴＳを示す。Ｔｖ３はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数６）
ＥＰｖ３−１／２×Ｔｖ３＜ＰＴＳｎｖ１≦ＥＰｖ３＋１／２×１／２×Ｔｖ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１１０７：ＹＥＳ）、ステップＳ１１０８にて、同期制御部１０１２は、ビデオ復号部１００８に対して復号許可信号を通知し、ビデオ復号部１００８は、同期制御部１０１２からの復号許可指示によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１００８内のフレームバッファに格納される。
次いで、ステップＳ１１０９にて、ステップ１１０８でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１１０７：ＮＯ）、ステップＳ１１１０にて、ビデオＰＴＳ比較部１０１１は、ビデオＰＴＳ取得部１００９で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０１０で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数７）を用いる。この条件式が成立する場合、ギャップを検出したフレームとして判定し、後述するステップＳ１１１１に移る。逆にギャップと判定されない場合、後述するステップＳ１１１３に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０１０には前ＰＴＳは保持されていないため、行わない。Ｘｖ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘｖ３は、フレーム周期より大きく与えられるのが望ましい。
（数７）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値−前ＰＴＳ値＞Ｘｖ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１１１０：ＹＥＳ）、ステップＳ１１１１にて、ＰＴＳ比較部１０１１は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１１０３）ＰＣＲとを比較して条件式（数８）が成立した場合（ステップＳ１１１１：ＹＥＳ）、後述するステップＳ１１１３へ移り、成立しない場合、後述するステップＳ１１１２へ移る。Ｚは、ＴＳパケットにおけるＰＣＲの送出周期とオーディオフレームとビデオフレームのインタリーブを想定した値が望ましい。例えば、ワンセグ運用上では、ＭＰＥＧ２ーＴＳにおけるＰＣＲの送出周期は４００ｍｓ以内、オーディオフレームとビデオフレームのインタリーブ間隔は１．５秒程度なので、２秒程度の値を与えるのが妥当である。
（数８）
−Ｚ＜ＰＣＲ−現ＰＴＳ値＜Ｚ
条件式（数８）が成立しない場合（ステップＳ１１１１：ＮＯ）、ステップＳ１１１２にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ１１０８に移る。
次いで、ステップ１１１３にて、ビデオ復号部１００８は、ビデオＰＴＳ比較部１０１１からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ１１１４に移る。
次いで、ステップＳ１１１４にて、ビデオＰＴＳ保持部１０１０は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１１０５の処理に移り処理を継続する。
次に、図１３に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該オーディオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”クリアされる。
まず、ステップＳ１２０１にて、転送部１００１に対してストリーム供給要求を出す。この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。
次いで、ステップＳ１２０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、（数５）に示す。条件が成立した場合、後述するステップＳ１２０３に移る。条件が成立しない場合、ステップＳ１２０４に移る。
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１２０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またオーディオ用ＰＴＳ比較部１００７に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。
上述したステップＳ１２０２〜Ｓ１２０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１２０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１２０４で検出はされずにステップＳ１２０５に移る。
次いで、ステップＳ１２０５にて、多重分離部１００３は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１００４へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１００５へ転送される。
次いでステップＳ１２０６にて、オーディオＰＴＳ取得部１００５は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送するのと同時に、オーディオ保持部１００６へ転送する。
次いでステップＳ１２０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１００５が管理する現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ１２０８に移る。
逆にエントリポイントに相当するフレームと判定されなかった場合（ステップＳ１２０７：ＮＯ）は、後述するステップＳ１２１０に移る。
ここで、エントリポイント判定は次の条件式である（数９）を用いる。（数９）において、ＥＰａ３は外部から設定されたエントリポイントを、Ｔａ３はフレーム単位時間、ＰＴＳｎａ３はステップ１２０６で抽出されたオーディオＰＴＳを示す。Ｔａ３はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数９）
ＥＰａ３−１／２×Ｔａ３＜ＰＴＳｎａ３≦ＥＰａ３＋１／２×１／２×Ｔａ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１２０７：ＹＥＳ）、ステップＳ１２０８にて、同期制御部１０１２は、オーディオ復号部１００４に対して復号許可信号を通知し、オーディオ復号部１００４は、同期制御部１０１２からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１００４内のフレームバッファに格納される。
ステップＳ１２０９にて、ステップ１２０８でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１２０７：ＮＯ）、ステップＳ１２１０にて、オーディオＰＴＳ比較部１００７は、オーディオＰＴＳ取得部１００５で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１００６で保持されたＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数１０）を用いる。この条件式が成立する場合、ギャップを検出したオーディオフレームとして判定し、後述するステップＳ１２１１に移る。逆にギャップと判定されない場合、後述するステップＳ１２１３に移る。なお、この処理は、最初のオーディオフレームにおいては、ＰＴＳ保持部１００６には前ＰＴＳは保持されていないため行わない。Ｘａ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ３は、フレーム周期より大きく与えられるのが望ましい。
（数１０）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１２１０：ＹＥＳ）、ステップＳ１２１１にて、オーディオＰＴＳ比較部１００７は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１２０３）ＰＣＲとを比較して条件（数８）が成立した場合（ステップＳ１２１１：ＹＥＳ）、後述するステップ１Ｓ２１２へ移り、成立しない場合、後述するＳ１２１３へ移る。
条件式（数８）が成立しない場合（ステップＳ１２１１：ＮＯ）、ステップＳ１２１２にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ１２０８に移る。
次いで、ステップＳ１２１３にて、オーディオ復号部１００４は、オーディオＰＴＳ比較部１００７からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ１２１４に移る。
次いで、ステップＳ１２１４にて、オーディオＰＴＳ保持部１００６は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１２０５の処理に移り処理を継続する。
なお、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は、実施の形態１における図７に示す動作と同様である。
以上のように、本発明の実施の形態３による同期再生装置によれば、ＰＣＲを利用してＴＳパケットの不連続検出させることで、ＴＳパケットのデータ抜けの不連続とＰＴＳのビット誤りによる不連続を区別することが可能となる。ＴＳパケットのデータ抜けによる不連続は、外部ブロック（例えば、上位ソフトウェア）で判断可能であるため、データ抜けの部分は、エントリポイントとして指定されないことが想定される。実施の形態３によれば、ＴＳパケットのデータ抜けの不連続は、開始データ検索処理を停止してフェイルセーフデータから再生することなく、検索処理を継続させることができる。
（４．実施の形態４）
次に、本発明の実施の形態４について説明する。
実施の形態４による同期再生装置は、実施の形態１と同様の構成を有しているが、ビデオフレームとオーディオフレームの再生中にフレーム欠損に係る処理を行う点で、実施の形態１と異なる。ここでは、図１に示した同期再生装置１００と同様の部分については説明を省略し、再生中の動作について重点的に説明する。
（４−１．構成）
以下、実施の形態１で説明した構成と異なる点について説明する。
再生中、まず、転送部１０１より転送される多重ストリームは、多重分離部１０２においてビデオＰＥＳデータとオーディオＰＥＳデータに分離される。ビデオＰＥＳデータはビデオＰＴＳと、ビデオ符号化データを抽出後、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送される。また、オーディオＰＥＳデータはビデオＰＥＳ同様、オーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送される。
オーディオ復号部１０３は、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は、復号処理を行って復号結果を出力する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。また、制御信号が破棄の場合は、現フレームの符号化データを破棄、すぐさま次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。
ビデオ復号部１０４も、オーディオ復号部１０３同様、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は復号処理を行って復号結果を出力し、同時に次のフレームのデータを取得する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。さらに制御信号がデータ破棄の場合は、現フレームの符号化データをデコードした後に次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。
ここで、データ破棄の場合もデコード処理を行うことの意味するところは以下の通りである。
ＭＰＥＧなどに代表される動画圧縮符号データの復号処理では、前フレームを参照しながら復号処理をする必要がある。そのため、復号処理せずしてフレームデータの破棄を行った場合、破棄したフレームの次のフレームが正常に復号できない可能性があるためである。
オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたオーディオＰＴＳを取得し、オーディオ復号部１０３が符号化データを取得するタイミングで、オーディオＰＴＳを同期制御部１１１へ転送する機能を有する。
ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたビデオＰＴＳを取得し、ビデオ復号部１０４が符号化データを取得するタイミングで、ビデオＰＴＳを同期制御部１１１へ転送する機能を有する。
同期制御部１１１では、オーディオＰＴＳ取得部１０８からオーディオＰＴＳを取得するとリファレンスクロック部１１２からリファレンスクロック（以下、ＳＴＣとも表記）を取得し、ＳＴＣとＰＴＳを比較することで、オーディオ復号部１０３に制御信号を送信する機能を有する。また、ビデオＰＴＳ取得部１０５からビデオＰＴＳを取得するとリファレンスクロック部１１２からＳＴＣを取得し、ＳＴＣとＰＴＳを比較することで、ビデオ復号部１０４に制御信号を送信する。
また、同期制御部１１１では、マスタとして動作しているデータのＰＴＳがＳＴＣに対し同期している判断した場合に、リファレンスクロックを補正するためのＰＴＳをリファレンスクロック部１１２へ転送する機能を有する。
さらに、同期制御部１１１では、現在のマスタがオーディオであるか、ビデオであるかを管理しているとともに、オーディオ、ビデオがそれぞれリファレンスクロックに対し同期しているか否かを示す同期制御状態を管理している。
リファレンスクロック部１１２は、同期制御部１１１から転送されたＰＴＳを受け内部クロックを補正する機能を有する。
（４−２．動作）
以下、再生中における、同期制御部１１１が行う同期制御処理について図１４を用いて説明を行う。尚、ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１４においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１４に示すように、まず、同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてきたタイミングで開始する。
同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてくると、ステップＳ１６０１にてＰＴＳを取得する。
次いで、ステップＳ１６０２にてリファレンスクロック部１１２から現在の時刻であるＳＴＣを取得する。
次いで、ステップＳ１６０３にて次式（数１１）を判定する。
（数１１）
｜ＰＴＳ―ＳＴＣ｜＜ｔ１
ここでｔ１はシステムまたはデータごとに決定できる固定値である。
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）には、そのＰＴＳは同期していると判断し、後述のステップＳ１６０４へ移る。（数１１）を満たしていない場合（ステップＳ１６０３：ＮＯ）には、同期していないと判断し、後述のステップＳ１６０８以降の同期外れ処理へ移る。
ここで、ＰＥＳパケット内には、１パケット内に複数のオーディオフレーム、またはビデオフレームが存在する場合がある。この場合には、多重分離部１０２から送られてきたＰＴＳは、そのパケットの先頭のフレームｉに対応するものであるので、パケット内の２番目以降のフレームｉ＋１とｉ＋２についてはＰＴＳが存在しない。このような場合、ビデオＰＴＳ取得部１０５は、ＰＴＳが存在しないフレームに対し、ビデオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。オーディオフレームにおいても同様で、オーディオＰＴＳ取得部１０８が、ＰＴＳが存在しないフレームに対し、オーディオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。
尚、上記（数１１）の意味するところは以下の通りである。
ビデオフレームと同期を取るためには、ＳＴＣ＝ＰＴＳとなった瞬間に出力を開始することが必要であるが、リファレンスクロックの読み出し処理はソフトウェアで実現する場合には処理時間にばらつきが発生する可能性があるため、厳密にＳＴＣ＝ＰＴＳとなるＳＴＣをタイミングよく読み込むことは難しい。このため、同期制御部１１１がビデオ復号部１０４に復号許可を与える条件として、（数１１）を満足させることで、判断処理に冗長を持たせている。
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）、ステップＳ１６０４にてビデオ復号部１０４に対し、復号許可信号を送信する。これにより、ビデオ復号部１０４は復号処理を行い復号結果のオーディオ再生データの出力を行う。
次いで、ステップＳ１６０５にて、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６０６にて、ビデオが現在のマスタであると判定された場合（ステップＳ１６０６：ＹＥＳ）は、リファレンスクロック部１１２へ同期と判定したＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。
ビデオがマスタではないと判定された場合（ステップＳ１６０６：ＮＯ）には、ステップＳ１６０８へ移行する。
次いで、ステップＳ１６０８にて、ＰＴＳがリファレンスクロックと同期状態であると判断されたため、後述する自走カウンタのクリアと、さらに同期制御状態を同期状態に遷移させ、同期制御処理を終了する。
一方、（数１１）を満たさない場合（ステップＳ１６０３：ＮＯ）、ステップＳ１６０９にて次式（数１２）が成り立つか否かを判定する。
（数１２）
０＜ＳＴＣ―ＰＴＳ＜ｔ２
ここでｔ２はシステムまたはデータごとに決定できる固定値である。
上記（数１２）を満たす場合（ステップＳ１６０９：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりもすでに遅れていることを意味するため、当該フレームを破棄しすぐに次フレームの処理へ遷移することで遅れを取り戻す。すなわち、ステップＳ１６１０にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
尚、再生時刻よりも既に遅れている場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、ＳＴＣに対する遅れ時間が大きい場合、複数フレーム分のデータ破棄を指示するようにしてもよい。
上記（数１２）を満たさない場合（ステップＳ１６０９：ＮＯ）は、後述するステップＳ１６１１へ移る。
ステップＳ１６１１では、次式（数１３）を判定する。
（数１３）
０＜（ＰＴＳ―ＳＴＣ）＜ｔ３
ここでｔ３はシステムまたはデータごとに決定できる固定値である。
上記（数１３）を満たす場合（ステップＳ１６１１：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりも進んでいることを意味するため、当該フレームの復号化処理を停止させることで進みをなくす。すなわち、ステップＳ１６１２にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６１３で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。
一方、上記（数１３）を満たさない場合（ステップＳ１６１１：ＮＯ）は、ＰＴＳが誤っているか不連続になっていると想定され、後述するステップＳ１６１４以降の自走処理へ移る。
自走処理では以下の処理を行う。
ステップＳ１６１４では、自走カウンタ値に対し次式（数１４）を判定する。
（数１４）
自走カウンタ＜Ｍ
ここで、自走カウンタとは、判定ステップＳ１６０３、ステップＳ１６０９、ステップＳ１６１１のいずれも満たされない場合に自走処理を行ったフレーム数をカウントするカウンタであり、開始時と判定ステップＳ１６０３が満たされた場合、すなわちＳＴＣとＰＴＳが同期していると判定された場合に０にクリアされるカウンタである。
また、Ｍはシステムまたはデータごとに決定できる固定値である。
（数１４）を満たす場合（ステップＳ１６１４：ＹＥＳ）は、ステップＳ１６１５にてビデオ復号部１０４に対し、復号許可信号を送信し、当該フレームの復号処理と出力処理を行う。
次いで、ステップＳ１６１６にて自走カウンタを１インクリメント行う。
次いで、ステップＳ１６２９にてビデオの同期制御状態を自走状態に遷移させ、同期制御処理を終了する。
一方、（数１４）を満たさない場合（ステップＳ１６１４：ＮＯ）は、ステップＳ１６１７以降の強制同期処理へ移る。
この自走カウンタ導入の意味するところは以下の通りである。
ＳＴＣとＰＴＳの差分が大きい場合、オーディオ、ビデオに時間的な不連続が発生したのか、ＰＴＳ値にエラーが混入されたのかの区別がつかない。そこで、ＳＴＣとＰＴＳの差分が大きいフレームが継続されている状態が、一定フレーム数（上記数式ではＭフレーム）未満の間はＰＴＳ値に誤りがあったと判断し自走処理を行う。しかし、一定フレーム数以上ＳＴＣとＰＴＳの差分が大きいフレームが継続された場合には、時間的な不連続が発生したと判断し強制同期処理へ移行する。
強制同期処理では以下の処理を行う。
まず、ステップＳ１６１７にて、ビデオの再生状態を強制同期状態に遷移させる。
次いで、ステップＳ１６１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１６１９：ＹＥＳ）、ステップＳ１６２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。すなわち、マスタの場合における強制同期処理とはリファレンスクロックの補正を意味する。
次いで、ステップＳ１６２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１６１９：ＮＯ）は、ステップＳ１６２２へ移る。
ステップＳ１６２２では、マスタの同期状態を取得する。
次いで、ステップＳ１６２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態ではない場合（ステップＳ１６２３：ＹＥＳ）、ステップＳ１６２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
ここで、マスタの同期制御状態判定の意味するところは以下の通りである。
マスタが同期状態ではなく自走状態、または強制同期状態の場合は、マスタは同期が取れていない状態である。そのため、リファレンスクロックはマスタのＰＴＳによって補正されていないため、信頼できる状態ではない。そのため、マスタが同期状態になるまで待つ必要がある。
一方、同期状態の場合（ステップＳ１６２３：ＮＯ）、ステップＳ１６２５にて次式（数１５）を判定する。
（数１５）
ＰＴＳ＜ＳＴＣ
上記（数１５）を満たす場合（ステップＳ１６２５：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１６２６にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
一方、（数１５）を満たさない場合（ステップＳ１６２５：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１６２７にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６２８で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し、処理を終了する。
上記フローチャートにおける強制同期部分の詳細動作を図１５のタイミングチャートを用いて示す。
図１５はビデオストリーム、オーディオのストリームに時間的不連続が発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、映像フレーム１８０１におけるＰＴＳは４２である。また、図１５ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１８０１と映像フレーム１８０２、また、音声フレーム１８０３と音声フレーム１８０４の間に時間飛びが発生している。さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１８０２にてビデオの不連続が発生する。このとき映像フレーム１８０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。
次に、音声フレーム１８０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。
音声フレーム１８０４とリファレンスクロックの差分は６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。
次に、音声フレーム１８０５にてオーディオの自走カウンタが３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。
次に、映像フレーム１８０６での同期制御処理において、オーディオが同期状態に遷移しリファレンスクロックを補正したが、映像フレーム１８０６とリファレンスクロックの差分はまだ１２であり、（数１３）における閾値１０を超えているため、自走処理は継続される。
次に、映像フレーム１８０７にてビデオの自走カウンタが５となるため、（数１４）を満たさず強制同期を行う。映像フレーム１８０７においてＰＴＳとＳＴＣの差分は１２なので、映像フレーム１７０８の復号処理を停止し１２時間分待ちを行う。その間は映像フレーム１８０６が表示され続ける。１２時間分待った後、映像フレーム１８０７は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。
以上のように、本発明の実施の形態４による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリーム、あるいはオーディオビデオ両方のストリームに時間的不連続が発生した場合でも、再生を継続でき、さらに不連続点を通過したのちにオーディオフレーム及びビデオフレームの同期再生への復帰を早くすることができる。
さらに、自走カウンタを設け、閾値に応じて自走処理か強制同期処理かを判断できるようにすることにより、伝送エラーなどによるＰＴＳに誤りが混入され、同期が取れない状態であっても不連続と判断せず自走させることでオーディオ、ビデオを途切れなく連続的に再生させることが可能である。
（５．実施の形態５）
次に、本発明の実施の形態５について説明する。
実施の形態５による同期再生装置は、実施の形態４と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、強制同期処理に変更を加えた点で実施の形態４と異なる。ここでは、実施の形態４と異なる動作について重点的に説明する。
（４−１．動作）
以下、図１６に基づいて実施の形態５における同期生再生装置の動作について説明する。
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１６においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１６は実施の形態５における同期制御処理を示すフローチャートである。
ステップＳ１７０１〜Ｓ１７１６の処理動作は、それぞれ、実施の形態４における図１４に示すステップＳ１６０１〜Ｓ１６１６と同様のため、説明は省略する。
以下、ステップＳ１７１７の強制同期処理以降について、図１６を用いて詳細に説明する。
まず、ステップＳ１７１７にて、自走と判断されたために、ビデオの同期制御状態を強制同期状態に遷移させる。
次いで、ステップＳ１７１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１７１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１７１９：ＹＥＳ）、ステップＳ１７２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２は、転送されたＰＴＳをもとに内部クロックの補正処理を行う。
次いで、ステップＳ１７２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１７１９：ＮＯ）は、ステップＳ１７２２へ移る。
ステップＳ１７２２では、マスタの同期制御状態を取得する。
次いで、ステップＳ１７２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態でない場合（ステップＳ１７２３：ＹＥＳ）は、ステップＳ１７２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
マスタが同期状態の場合（ステップＳ１７２３：ＮＯ）、ステップＳ１７２５へ移る。
ステップＳ１７２５において、次式（数１６）を判定する。
（数１６）
ＰＴＳ―ＳＴＣ＜ｔ４
ここでｔ４はシステムまたはデータごとに決定できる固定値である。
（数１６）を満たす場合（ステップＳ１７２５：ＹＥＳ）には、ステップＳ１７２６に移る。
次いで、ステップＳ１７２６では、次式（数１７）を判定する。
（数１７）
ＰＴＳ＜ＳＴＣ
上記（数１７）を満たす場合（ステップＳ１７２６：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１７２７にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
（数１７）を満たさない場合（ステップＳ１７２６：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１７２８にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７２９で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、（数１６）を満たさない場合（ステップＳ１７２５：ＮＯ）は、まず、ステップＳ１７３０にて自走カウンタをクリアする。
次いで、ステップＳ１７３１にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７３２にてｔ５時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。
尚、（数１７）において、ＰＴＳよりＳＴＣの方が大きい場合、すなわちＰＴＳがＳＴＣより遅れていると判断された場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、複数フレーム分のデータ破棄を指示してもよい。さらに、ＳＴＣとＰＴＳの差分時間分のデータ破棄を行うのではなく、ｔ５時間分のデータを破棄することも可能である。
また、この強制同期処理ステップにおいて、ＰＴＳとＳＴＣの差分値がｔ４以上の場合も、同期制御を行う範囲をｔ５にすることの意味するところは以下の通りである。
すなわち、ステップＳ１７１４における「（数１８）自走カウンタ＜Ｍ」の判定が満たされなかった場合（ステップＳ１７１４：ＮＯ）において、伝送エラーなどの要因によりＰＴＳ値が誤っている場合、あるいは、オーディオストリーム又はビデオストリームの時間的不連続状態が短時間に繰り返されるような場合、ＳＴＣとＰＴＳの差分値に対してステップＳ１７２８の処理を行うと差分値が巨大な値になる可能性がある。結果、長時間の待ち時間が発生、あるいは長時間分のデータが破棄される可能性がある。このような状況を防ぐために導入される。
上記フローチャートにおける強制同期制御の詳細動作を図１７のタイミングチャートを用いて示す。
図１７はビデオストリーム、オーディオビデオのストリームに時間的不連続が繰り返し発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１７において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム１９０１におけるＰＴＳは４２である。また、図１７ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１９０１と映像フレーム１９０２、また、音声フレーム１９０３と音声フレーム１９０４の間に時間飛びが発生している。さらに、映像フレーム１９０５と映像フレーム１９０６、また、音声フレーム１９０８と音声フレーム１９０９の間にも不連続が発生している。
（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１８）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。また、（数１６）における閾値ｔ４をオーディオ、ビデオともに２０、ＳＴＣとＰＴＳの差分固定時間ｔ５を１０とする。
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１９０２にてビデオの不連続が発生する。このとき映像フレーム１９０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。
次に、音声フレーム１９０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。
音声フレーム１９０４とリファレンスクロックの差分が６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。
次に、音声フレーム１９０５にてオーディオの自走カウンタは３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。
次に、映像フレーム１９０６にて再び不連続が発生するが、自走カウンタは３のため自走は継続される。
次に、映像フレーム１９０７にてビデオの自走カウンタが５となるため、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９０７においてＰＴＳは４２５、ＳＴＣは１３３であり、差分が２９２なので、強制同期用閾値ｔ４＝２０を超えている。そのため、待ち時間をｔ５＝１０に変換して映像フレーム１９０７の復号処理を停止し１０時間分待ちを行う。１０時間分待った後、映像フレーム１９０７は復号され表示されるが、次の映像フレーム１９１１でのＰＴＳとＳＴＣの差分は１１となり、まだ閾値１０を超えている。自走カウンタは０の状態のため、自走処理となり再度自走カウンタのカウントアップが始まる。
また、音声フレーム１９０９にてオーディオが再び不連続が発生する。音声フレーム１９０９のＰＴＳとＳＴＣとの差分が３７１であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理となる。
音声フレーム１９１０にてオーディオの自走カウンタは３となり、（数１８）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは４０９に補正される。
次に、映像フレーム１９１２にてビデオの自走カウンタが５となり、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９１２においてＰＴＳは４５０、ＳＴＣは４３９であり、差分が１１なので、（数１３）における閾値ｔ３＝１０を越えているため強制同期処理を行う。すなわち、映像フレーム１９１２の復号処理を停止し１１時間分待ちを行う。１１時間分待った後、映像フレーム１９１２は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。
以上のように、本発明の実施の形態５による同期再生装置によれば、伝送エラーなどによりストリームにエラーが混入された場合や、オーディオまたは、ビデオのストリーム、あるいはオーディオビデオ両方のストリームに時間的な不連続が繰り返し発生するような場合、あるいは、連続とＰＴＳ誤りが同時に発生するような場合において、ストリームの異常発生部分を停止させることなく再生でき、オーディオ、ビデオの同期再生へ復帰を短時間で行うことできる。
また、強制同期処理を複数回に分けて実行することから、長時間の強制同期処理を行う必要がある場合において、長時間同じフレームが再生出力されっぱなしになる時間を短縮することができ、ユーザが強制同期処理中の映像を視聴したときの違和感を軽減することができる。
（６．実施の形態６）
次に、本発明の実施の形態６について説明する。
実施の形態６による同期再生装置は、実施の形態５と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、自走処理に変更を加えた点で実施の形態５と異なる。ここでは、実施の形態５と異なる動作について重点的に説明する。
（６−１．動作）
以下、図１８に基づいて実施の形態６における同期生再生装置の動作について説明する。
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１８においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１８は実施の形態６における同期制御処理を示すフローチャートである。
ステップＳ２００１〜Ｓ２０３３の処理動作は、それぞれ、実施の形態５における図１６に示すステップＳ１７０１〜Ｓ１７３３と同様のため、説明は省略する。
以下、自走処理中のステップＳ２０３４〜Ｓ２０３９の処理について、図２０を用いて詳細に説明する。
まず、ステップＳ２０３４において、次式（数１９）を判定する。
（数１９）
自走カウンタ＞Ｎ
ここでＮはシステムまたはデータごとに決定できる固定値であるが、Ｍよりも小さい。
（数１９）を満たさない場合（ステップＳ２０３４：ＮＯ）には、ステップＳ２０１４に移り、実施の形態５と同じ処理となる。
（数１９）を満たす場合（ステップＳ２０３４：ＹＥＳ）には、ステップＳ２０３５に移る。
ステップＳ２０３５では、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ２０３６にて、現在ビデオマスタであると判定された場合、ステップＳ２０３７へ移る。ビデオマスタではない場合はステップＳ２０１５へ移る。
ステップＳ２０３７では、オーディオの同期制御状態を取得する。
次いで、ステップＳ２０３８にて、オーディオの同期制御状態が同期状態でない場合（ステップＳ２０３８：ＮＯ）はステップＳ２０１５へ移り、同期状態である場合（ステップＳ２０３８：ＹＥＳ）、ステップＳ２０３９へ移る。
ステップＳ２０３９では、マスタをオーディオに切り替える。
この自走処理ステップにおいて、自走カウンタがＮ以上になった場合にマスタの切替制御を行うことの意味するところは、以下の通りである。
記録されたストリームにおいて、マスタのストリーム（例えば、オーディオストリーム）のみに不連続が発生し、他方には不連続が発生していない場合、マスタが不連続後の強制同期処理を行うと、リファレンスクロックの補正を行うことになる。すなわち、リファレンスクロックにも不連続が発生することになる。結果、マスタではないストリーム（オーディオがマスタであれば、ビデオストリーム）は、リファレンスクロックに同期するように動作するため、不連続がないストリームにもかかわらず、同期制御処理によりデータの破棄や待ちが発生し連続再生されない。このような他方にのみ、特にマスタに指定されるストリームのみに、不連続がある場合において、不連続がない他方のストリームを滑らかに再生できるようにマスタ切替制御を導入している。
上記図１８のフローチャートにおけるマスタ切替制御を図１９のタイミングチャートを用いて示す。
図１９はオーディオストリームに時間的不連続が発生しており、同期状態中はオーディオマスタで動作している場合に、本実施例を適用した場合のタイミングチャートである。
この図１９において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、音声フレーム２１０１におけるＰＴＳは３９である。また、図１９ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、音声フレーム２１０１と音声フレーム２１０２の間に時間飛びが発生している。ビデオストリームには不連続はない。
さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをオーディオに関しては４フレーム、（数１９）におけるマスタ切替の閾値Ｎをオーディオに関しては２フレームとする。
まず、ビデオが同期状態、オーディオがマスタで同期状態にて再生中に、音声フレーム２１０２にてオーディオの不連続が発生する。このとき音声フレーム１８０２とリファレンスクロックの差分は１８であり、また、自走カウンタは０であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理が行われる。
次に、音声フレーム２１０３において、自走カウンタが３となり、（数１９）を満たすため、マスタ切替制御を行い、マスタをオーディオからビデオに変更する。映像フレーム２１０６はリファレンスクロックに対し同期しているので、同期状態で出力を行い、リファレンスクロックを補正する。
これに対し、音声フレーム２１０４は、リファレンスクロックに対し差分１８のため自走状態は継続される。この後、音声フレーム２１０５にて、自走カウンタが（数１４）を満たさず強制同期処理を行う。
音声フレーム２１０５においてＰＴＳとＳＴＣの差分が１８なので、音声フレーム２１０５の復号処理を停止し１８時間分待ちを行う。その間、音声出力は無音となる。１８時間分待った後、音声フレーム２１０５は復号され出力される。音声フレーム２１０７において、再び同期状態になるためオーディオマスタへマスタ切替を行い、通常状態に復帰する。このとき、映像フレームは一枚も欠けることなく連続して再生される。
以上のように、本発明の実施の形態６による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリームの他方のみに不連続があり、特にマスタとして位置づけられるストリームのみに不連続がある場合、マスタではない不連続のないストリームを途切れることなく連続して再生できる。
（７．実施の形態７）
実施の形態７では、本発明に係る携帯電話機について説明する。実施の形態７に係る携帯電話機２０００は、実施の形態１で示した同期再生装置１００を内部に備えている。
図２０は本発明に係る携帯電話機２０００の構成を示すブロック図である。この携帯電話機２０００は、移動通信用の通信用無線部２４０１と、ベースバンド部２４０２と、デジタルテレビ放送を受信するためのＴＶ用無線部２４０３と、ＴＶチューナー２４０５と、各種制御を行うアプリケーション処理部２４０６と入出力部２４０７と、電源部２４１７から構成される。
通信用無線部２４０１及びベースバンド部２４０２は、無線電話通信を行うための信号処理を行うものである。
ＴＶ用無線部２４０３は、デジタルテレビ放送波を受信するものである。
ＴＶチューナー２４０５は、ＴＶ用無線部２４０３で受信したデジタルテレビ放送波の信号処理を行うものである。
アプリケーション処理部２４１３は、通信部２４１３、同期再生装置２４１４、主制御部２４１５、及び蓄積部２４１６を有する。
通信部２４１３は、アプリケーション２４０６と外部との通信を行うインターフェースである。
同期再生装置２４１４は、実施の形態１で示した同期再生装置１００と同様の構成を有するものである。
主制御部２４１５は、携帯電話機２０００の各部を制御するＣＰＵ（Central Processing Unit）である。
蓄積部２４１６は、データを蓄積するメモリであり、特に、ＴＶ無線部２４０３で受信しＴＶチューナー２４０５で信号処理したデジタルテレビ放送データを蓄積する。
入出力部２４０７は、カメラ（ＣＡＭ）２４０８、ＬＣＤ（Liquid Crystal Display）２４０９、マイク（ＭＩＣ）２４１０、ＳＰＫ（スピーカー）２４１１、及びＫＥＹ（キー入力部）２４１２を有する。
カメラ２４０８は、撮像した撮像データを入力するものである。
ＬＣＤ２４０９は、画像や映像を出力するものであり、特に、同期再生装置２４１４で再生出力される映像を出力する。
マイク２４１０は、音を入力するもので、例えば、無線電話通信時に、ユーザの音声を入力するのに用いられる。
スピーカー２４１１は、音を出力するもので、例えば、同期再生装置２４１４で再生出力される音声や、無線電話通信時に通話相手の音声を出力する。
キー入力部２４１２は、ユーザの入力操作を受付けるものである。
ここで、簡単に携帯電話機２０００の動作について説明する。
デジタルテレビ視聴時または記録再生時の本発明の同期再生装置について、図２０を用いて以下に説明を行う。
デジタルテレビ放送視聴に際しては、ＴＶチューナー２４０５で選択されたチャンネルをＴＶ用無線部２４０３にて受信し、アプリケーション処理部２４０６へ多重化ストリーム（ＭＰＥＧ２−ＴＳ）を入力する。アプリケーション処理部２４０６では、チューナーより受け取った多重化ストリームを同期再生装置２４１４へ入力する。同期再生装置２４１４において、入力された多重化ストリームは、図１における転送部１０１へ入力され、多重化データをオーディオ、ビデオデータに分離、復号することで再生が可能となる。
また、放送を記録する場合は、ＴＶチューナー２４０５から入力される多重化ストリームを蓄積部２４１６に蓄積する。ここで、蓄積部２４１６は端末内部のメモリ、または端末から分離可能なメモリ、いずれでもよい。
蓄積された多重化ストリームの再生は、キー入力部２４１２を通じたユーザからのキー操作によって再生が開始され、蓄積部２４１６から多重化ストリームが同期再生装置２４１４へ入力される。同期再生装置２４１４では、入力された多重化ストリームをオーディオデータ、ビデオデータに分離、復号することでの再生が可能となる。
なお、ここでは、携帯電話機２０００に実施の形態１に係る同期再生装置１００を備える例を示したが、同様に、実施の形態２〜６に係る同期再生装置を備えることが可能なことは言うまでもない。
また、ここでは本発明の同期再生装置を適用した携帯電話機を例に挙げたが、本同期再生装置は、オーディオ機器や、映像が再生可能な様々な機器への適用が可能である。
本発明の同期再生装置は、符号化映像を再生する再生装置に広く適用可能であり、電波状態が悪い環境で録画された等の理由によりフレーム欠損のあるストリームの再生開始時に、最適なフレームから再生開始できる点、及び再生途中に映像信号と音声信号が途切れることなく再生を継続できる点で有用である。
本発明は、符号化データを復号して再生出力する再生装置に関し、特にデジタル符号化された映像信号、及び音声信号の各ビットストリームを復号し、両信号を同期再生する同期再生装置に関するものである。
日本のデジタル放送は、ＡＲＩＢ（Association of Radio Industrial and Businesses）の規格に基づいて行われている。このＡＲＩＢの規格は、ヨーロッパのＤＶＢ（DigitalVideo Broadcasting）方式の規格を基に作成されたもので、ＭＰＥＧ（Moving Picture Coding Experts Group）２−ＴＳ（TransportStream）のシステムで、映像及び音声の放送に対応している。
ＭＰＥＧ２−ＴＳでは、１８８バイトの固定長のＴＳパケットが複数個集まって、ＴＳストリームが構成される。この１８８バイトのＴＳパケットの長さは、ＡＴＭ（AsynchronousTransfer Mode）セル長との整合性を考慮して決定されている。
ＴＳパケットは、４バイトの固定長のパケットヘッダと、可変長のアダプテーションフィールド及びペイロードで構成される。パケットヘッダには、ＰＩＤ（パケット識別子）や各種のフラグが定義されている。このＰＩＤにより、ＴＳパケットの種類が識別される。
ビデオやオーディオなどの個別ストリームが収められたＰＥＳ（Packetized ElementaryStream）パケットは、同じＰＩＤ番号を持つ複数のＴＳパケットに分割されて伝送される。ビデオの符号化には、例えばＭＰＥＧ２方式やワンセグメント放送規格におけるＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式が用いられる。オーディオの符号化は、例えば、２３Ｃ（MPEG2Advanced Audio Coding）方式が用いられている。
また、字幕などのデータが納められたＰＥＳパケットも、ビデオやオーディオのパケットと同様に、複数のＴＳパケットに分割されて伝送される。
このようなＭＰＥＧ２−ＴＳでは、復号を行う復号器内部の基準信号であるＳＴＣ（System Time Clock）の時間を合わすために、所定時間毎に、ＰＣＲ（ProgramClock Reference）が送られる。
すなわち、ＴＳパケットには、アダプテーションフィールドが含まれているものがある。アダプテーションフィールドは、個別ストリームに関する付加情報を伝送するためのもので、ここには、オプショナルフィールドに、６バイトのＰＣＲが配される。
復号器内部において、ＳＴＣ（System Time Clock）は、ＳＴＣカウンタでカウントされる。このＳＴＣカウンタの時刻は、ＰＣＲの時刻に基づいて校正される。
ＭＰＥＧ２−ＴＳでは、ＡＶ（オーディオ・ビデオ）同期をとるために、アクセスユニット毎（例えば、ビデオの場合にはピクチャ毎、オーディオの場合にはオーディオフレーム毎）にタイムスタンプが付加される。これらのアクセスユニットがＰＥＳ化され、このＰＥＳパケットのヘッダに、再生時刻を指定するＰＴＳ（PresentationTime Stamp）が付加される。
このＰＴＳの時刻は、ＳＴＣの値で記述される。復号器では、ＳＴＣの値がＰＣＲと同期して進められる。復号器では、このＳＴＣのカウント値とＰＴＳの値とを比較し、ＳＴＣのカウント値とＰＴＳの値とが一致したら、表示処理やデコード処理を開始するようになっている。これにより、ＳＴＣとの同期再生が行われる。
このように、ＭＰＥＧ２−ＴＳでは、ＰＣＲに同期して進められるＳＴＣのカウント値と、ビデオ及びオーディオのＰＥＳパケットに付加されて送られてくるＰＴＳの値とを比較し、ビデオ、オーディオそれぞれがＳＴＣのカウント値とＰＴＳの値が一致するタイミングで表示処理やデコード処理を開始することにより、ＡＶ同期再生を実現している。
放送の録画再生システムとしては、映像提供側からの符号化・多重化したストリームを復号器が蓄積していき、再生の際、蓄積したストリームからオーディオ符号化データ及びビデオ符号化データを分離した後、互いに独立して復号し、復号されたオーディオ信号とビデオ信号を、互いに同期を取って再生を行っている。
蓄積されたストリームのＡＶ同期手法としては、再生オーディオ信号の出力を重視する方法であるオーディオマスタ（例えば、特許文献１参照）が適用されている。オーディオマスタ方式では、各オーディオフレームを出力すると同時に各オーディオフレームの出力時刻を用いてＳＴＣが更新し、このとき各ビデオフレームの表示時刻はＳＴＣと比較され、その比較の結果により各ビデオフレームの表示を早めたり遅らせたりする操作を行っている。
一方、再生ビデオ信号の出力を重視する方法であるビデオマスタ（例えば、特許文献２参照）でのＡＶ同期手法もある。
ところで、蓄積されたストリームのＡＶ再生開始の際の制御として、再生開始時間（以下、エントリポイント）を定義し、好きなポイント（時間）から再生を開始する手法がある。
上述したエントリポイントによる再生開始時の同期再生方法について説明する。
図２１は同期再生装置の構成を示している。図２１において、同期再生装置は、ストリームを転送する転送部１３０１、入力されたストリームから必要な情報を抽出するシステムデコーダ１３０２、ビデオフレームを復号化するビデオ復号部１３０３、オーディオフレームを復号化するオーディオ復号部１３０４、各構成要素の動作タイミングを制御するための同期制御部１３０５を備える。このように構成された同期再生装置のエントリポイントによる再生開始の動作について説明する。
図２１で示されるように、転送部１３０１からエントリポイントを含んだストリームがシステムデコーダ１３０２に転送される。システムデコーダ１３０２は、入力されたストリームからビデオ符号化データとオーディオ符号化データをそれぞれビデオ復号部１３０３とオーディオ復号部１３０４に転送し、オーディオ用ＰＴＳとビデオ用ＰＴＳを同期制御部１３０５に転送する。ビデオ復号部１３０３は、入力されるビデオ符号化データからビデオフレームの復号を行う。オーディオ復号部１３０４は、入力されるオーディオ符号化データからオーディオフレームの復号を行う。同期制御部１３０５は、転送部１３０１とシステムデコーダ１３０２とビデオ復号部１３０３とオーディオ復号部１３０４を制御することで、ビデオフレームとオーディオフレームとの同期出力制御を行う。
図２２は同期再生装置を構成する同期制御部１３０５における、エントリポイントによる再生開始の動作手順を示すフローチャートを記載した図である。以下、図２２のフローに従って、同期制御部１３０５の動作を詳しく説明する。
まず、動作が開始されると、ステップ１４０１にて、外部からのエントリポイント値の設定とエントリポイントによる再生開始が通知されると、転送部１３０１と各復号部１３０２、１３０３、１３０４に起動要求を出す。この要求を受けて、転送部１３０１と各デコーダ１３０２、１３０３、１３０４は起動処理を行う。
次いで、ステップ１４０２にて、転送部１３０１にデータ供給要求を出す。この要求を受けて転送部１３０１は、エントリポイントを含んだストリームの先頭から転送を行う。システムデコーダ１３０２は、転送部１３０１からデータを受信することで分離抽出を開始する。
ビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントがある特定のしきい値内で一致するまで、システムデコーダ１３０２から受信したビデオ符号化データからビデオフレームの復号を行う。このときは、まだ復号処理だけを行い、表示出力は行わない。
次いで、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳと、エントリポイントがある特定のしきい値内で一致した場合は、ステップ１４０４に移り、ビデオフレーム用ＰＴＳの値で、同期制御部１３０５内のＳＴＣを初期化する。
次いで、ステップ１４０５にて、ビデオ復号部１３０３にビデオフレーム同期出力要求を出す。この要求を受けてビデオ復号部１３０３は、ステップ１４０３にて、システムデコーダ１３０２から受信したビデオフレーム用ＰＴＳとエントリポイントとがある特定のしきい値内で一致したビデオフレームの復号と同時に表示出力も行う。この段階で、初めてビデオフレームの表示出力が行われ、以後、ビデオ復号部１３０３、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するビデオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するビデオ符号化データからのビデオフレームの復号と表示出力を次々に行っていく。
次いで、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致するまで処理を続ける。
また、ステップ１４０６にてシステムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致した場合、ステップ１４０７に移り、オーディオ復号部１３０４にオーディオフレーム同期出力要求を出す。
この要求を受けてオーディオ復号部１３０４は、ステップ１４０６にて、システムデコーダ１３０２から受信したオーディオフレーム用ＰＴＳと、ＳＴＣとがある特定のしきい値内で一致したオーディオフレームの復号と同時にオーディオ出力も行う。この段階で、初めてオーディオフレームのオーディオ出力が行われ、以後、オーディオ復号部１３０４は、同期制御部１３０５による、ＳＴＣとシステムデコーダ１３０２から受信するオーディオフレーム用ＰＴＳとを用いた同期制御のもとで、システムデコーダ１３０２から受信するオーディオ符号化データからのオーディオフレームの復号とオーディオ出力を次々に行っていく。
また、特許文献２には、ＭＰＥＧ規格により規定される表示順序情報であるテンポラル・リファレンス（ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ）を利用して、ビデオフレーム単位、あるいはオーディオフレーム単位の精度で、指定されたエントリポイントに相当するビデオフレームとオーディオフレームを検出できる技術が開示されている。
また、特許文献３には、異常判定用のタイマを設けることによって、所定の時間が経過しても、ビデオフレームあるいはオーディオフレームの一方しか出力準備完了していない場合に、この時点で出力準備完了している、ビデオフレームまたはオーディオフレームの一方だけに出力要求を可能とし、入力されたストリーム中にエントリポイントに相当するビデオフレームとオーディオフレームの一方しか存在しない場合でも、再生開始を正常に行うことが可能な同期再生装置が開示されている。
特開平７−５０８１８号公報 特願平９−５１４１４６号公報 特開２００１−３４６１６６号公報
そこで、本発明が解決しようとする第１の課題を図２３（ａ）、（ｂ）を用いて説明する。図２３（ａ）、（ｂ）は、電波状態が悪い環境下において記録されたストリーム例を示している。縦軸がＰＴＳで横軸はストリームである。図２３（ａ）は伝送エラーなどによりＰＴＳにビット誤りが発生している場合、図２３（ｂ）は記録時の電波の受信状態が悪いためストリームに抜けが発生した場合を示す。図２３（ａ）においてエントリポイントがＰＴＳ誤りが発生している時間に指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。図２３（ｂ）も同様、ストリーム抜けが発生した時間にエントリポイントが指定された場合、従来技術ではエントリポイント判定内に一致するＰＴＳが検出できない。結果、再生開始位置が定まらず再生開始ができないという問題がある。
次に、本発明が解決しようとする第２の課題を図２４（ａ）、（ｂ）、（ｃ）を用いて説明する。図２４（ａ）は、ＭＰＥＧ２−ＴＳのＴＳパケットを示している。開始フレームの検索を行う対象データ領域を開始フレーム検索対象データと示す。つまり、エントリポイントと一致するフレームの検索は、この開始フレーム検索対象データに対して行うことになる。例えば、開始フレーム検索対象データに対しての検索処理時間をオーディオとビデオで、それぞれＴａ、Ｔｖ（Ｔａ＜Ｔｖ）であるとした場合、タイマＴｅは、オーディオとビデオがともに検索処理が完了する時間が与えられる（図２４（ｂ））。このような場合、図２４（ｃ）のように、検索を開始し、ビデオデータにおいて開始フレーム検索が完了し、出力準備ができたとしても、出力するのはＴｅ後からとなる。
すなわち、オーディオデータまたはビデオデータの一方の開始データが見つからない場合の片方のみ出力するためのタイマを、オーディオデータの開始フレーム検索処理時間、ビデオデータの開始フレーム検索処理時間に依らず、一意的な値をとっているため、片方データのみの出力の場合、開始フレーム検索時間が大きいほうに引っ張られて再生開始するという問題がある。
さらに、本発明が解決しようとする第３の課題を、図２５を用いて説明する。図２５（ａ） は、オーディオマスタで動作している動画再生装置のビデオ再生データとオーディオ再生データが共に正常に出力されている通常状態において、受信電波が悪い状態で記録されることにより多重化ビットストリームに時間的不連続が発生した場合の例を示す図である。
この図２５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム２３０１におけるＰＴＳは４２である。また、図２５（ａ）ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。さらに、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム２３０１と映像フレーム２３０２、また、音声フレーム２３０３と音声フレーム２３０４の間に時間飛びが発生している。
このとき、オーディオマスタとして動作しているため、オーディオ再生データは不連続点でも連続して再生され、同様にリファレンスクロックもオーディオ再生データ同様、不連続に変化する。それに対し、ビデオ再生データは映像フレーム２３０１でリファレンスクロックと大きく離れ、許容範囲を超えてしまい、非同期で再生を行う自走再生状態となる。これは、たとえば自走状態と判断する許容範囲を１０とすると、映像フレームのＰＴＳは１１３、リファレンスクロックのＳＴＣ値は４７であり、映像フレームのＰＴＳとリファレンスクロックのＳＴＣの差分は６６となり、許容範囲３０を超える。しかし、オーディオも不連続を通過後、ビデオ再生データは映像フレーム２３０３で再びリファレンスクロックと同期が取れ、再度同期再生状態に復帰し同期再生は正常に行われ、なんら問題はない。
しかしながら、図２５（ｂ）に示すように、時間飛びが発生している映像フレーム２３０６、映像フレーム２３０７間の時間間隔（図２５（ｂ）では８３）、音声フレーム２３０８と音声フレーム２３０９の時間間隔（図２５（ｂ）では６９）が異なるような状況が発生した場合、図２５（ａ）と同様な自走による制御方式を行うと図２５（ｂ）に示すように、不連続点通過後も許容範囲を超えた状態となり自走モードが継続されることになる。すなわち、図２５（ｂ）に示すようにオーディオが不連続を経過した後も、映像フレーム２３１０以降の映像フレームのＰＴＳとリファレンスクロックのＳＴＣとの差分値が常に１２になっているため、自走状態と判断する許容値１０を超えた状態が継続され、同期状態になることなく自走再生状態が続いてしまう。
自走再生状態が続くと、オーディオ、ビデオの同期がとれずリップシンクが合わない状態が続くことになってしまう。
このような状態において、従来例では、一定時間自走モードが継続された場合、ビデオまたはオーディオの再生を停止し再度開始状態に戻してから再生するという方法を行っていた。しかしながら、再生を一旦停止し再開する際は、初期状態に戻るため、起動処理が必要であり、さらにはすでにバッファ等に蓄積されているデータも破棄されるため、再生復帰までの時間がかかり、その間、映像またはオーディオが何も出力されない状態が長時間継続されるという問題が生じる。
本発明は上記の問題に鑑みてなされたものであり、エントリポイント指定による再生開始時や再生中に、映像表示時刻や音声表示時刻に時間的不連続が発生するいかなる場合においても、それぞれの場合に応じて最適な映像フレームと音声フレームからの再生開始を行え、また、映像信号と音声信号が途絶えることなく再生が継続できる、再生装置を提供することを目的とする。
本発明は上記課題を解決するために、本発明の第１態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置であって、フレーム毎に、フレーム再生時刻情報を取得する取得部と、前記取得部で取得したフレーム再生時刻情報を保持する保持部と、フレーム毎に、前記取得部で取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持部に保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較部と、前記比較部で、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力部とを備えることを特徴とする。
また、上記課題を解決するために、本発明の第２態様に係る再生装置は、フレーム単位に映像再生時刻情報が付加された映像フレームと、フレーム単位で音声再生時刻情報が付加された音声フレームとから成るデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当する映像フレーム及び音声フレームから再生を開始する機能を有する再生装置であって、映像フレームから映像フレーム再生時刻情報の取得、及び音声フレームから音声フレーム再生時刻情報の取得を行う取得部と、前記取得部で取得した映像フレームの映像フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定、及び前記取得部で取得した音声フレームの音声フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定を行う比較部と、映像フレーム及び音声フレームの復号及び再生出力を行う復号部とを備え、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔｖと、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔａとが設定されており、（ｉ）上限時間Ｔｖ＞Ｔａを満たすとき、前記復号部は、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔａが経過した時に、映像フレームの復号が完了している場合、当該映像フレームを再生出力し、（ｉｉ）上限時間Ｔｖ＜Ｔａを満たすとき、前記復号部は、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔｖが経過した時に、音声フレームの復号が完了している場合、当該音声フレームを再生出力することを特徴とする。
また、上記課題を解決するために、本発明の第３態様に係る再生装置は、所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置であって、フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する復号部と、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力するよう前記復号部に指示する制御部と、前記制御部の指示により、前記復号部が前記システム基準クロックと非同期で再生出力したフレームをカウントするカウント部とを備え、前記制御部はさらに、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう前記復号部に指示する強制同期処理を実行することを特徴とする。
また、上記課題を解決するために、本発明の携帯電話機は、上記第１の態様〜第３の態様のいずれか１態様に係る再生装置を備えることを特徴とする。
第１の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
第２の態様に係る再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間を音声フレームと映像フレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。
第３の態様に係る再生装置によれば、電波状態が悪い環境で録画されたストリーム等、フレームの欠落やエラーのあるストリームの再生中において、システム基準クロックとの同期ずれを低減することができる。
また、上記第１態様に係る同期再生装置において、前記データストリームは、所定時間毎に、プログラム参照時刻情報を含むものであり、さらに、前記プログラム参照時刻情報を取得し、取得した現プログラム参照時刻情報と、前記所定時間前に取得した前プログラム参照時刻情報とを比較して、前記現プログラム参照時刻情報と前記前プログラム参照時刻情報との差分が所定の閾値を超えていた場合は、プログラム参照時刻情報が不連続であることを検出するとともに前記現プログラム参照時刻情報を保持する検出部を備え、前記比較部は、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判定された場合で、且つ前記検出部で前記現プログラム参照時刻情報が保持されている場合は、さらに、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が、前記所定時間を超えるか否かを判定し、前記再生出力部は、前記比較部で、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が前記所定時間を超えると判定された場合のみ、前記現フレーム再生時刻が付加されたフレームから再生を開始することとしてもよい。
この構成により、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していた場合、フレームのビット誤りとデータストリームのパケットエラーを区別し、フレームのビット誤りのときのみ、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第１態様に係る同期再生装置は、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠するものであり、前記フレーム再生時刻情報は、ＭＰＥＧ規格で定められたＰＴＳ（PresentationTime Stamp）であり、前記プログラム参照時刻情報は、ＭＰＥＧ規格で定められたＰＣＲ（Program Clock Reference）であることとしてもよい。
この構成により、ＭＰＥＧ規格に準拠した再生装置において、フレームの欠落やエラーのあるストリームの再生開始時において、エントリポイントに対応する（再生開始時間幅に相当する）フレームが欠落していたとしても、当該フレームの近辺の最適なフレームから再生を開始することができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記強制同期処理として、（ｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、フレーム再生時刻情報が、システム基準クロックが示す時刻と一致するまで待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力するよう前記復号部に指示し、（ｉｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を下回ると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームは再生出力しないよう前記復号部に指示することとしてもよい。
この構成により、フレームの欠落やエラーのあるストリームの再生中において、フレームとシステム基準クロックとの同期ずれが起きた場合、フレームを強制的に進める、又は遅らせることにより、同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記制御部は、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合において、さらに、フレーム再生時刻情報とシステム基準クロックが示す時刻との差分が所定差分ｔ１を超える場合のみ、ｔ１より小さい所定の時間ｔ２だけ待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力することとしてもよい。
この構成により、フレームとシステム基準クロックの同期ずれが大きい場合は、少しずつフレームを強制的に進めることで、ユーザが映像を見たときの違和感をなるべく払拭しながら同期状態に復帰させることができる。
また、上記第３態様に係る同期再生装置において、前記フレームは、第１メディアに係る第１メディアフレームと、第２メディアに係る第２メディアフレームに分かれており、前記第１メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するものであり、前記比較部は、フレームについて、第１メディアフレームと第２メディアフレームとを区別して、それぞれのフレーム再生時刻情報とシステム基準クロックが示す時刻とを比較し、前記カウント部は、フレームのカウントについて、第１メディアフレームと第２メディアフレームとを区別してカウントし、前記制御部は、前記比較部で、前記フレームの内第１メディアフレームについての再生時刻情報が、前記システム基準クロックと一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力された第１メディアフレームがカウントされた場合においては、前記第２メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するよう変更することとしてもよい。
この構成により、第１メディアフレーム（例えば、オーディオフレーム）をマスタとしてストリームを再生しているときに、第１メディアフレームにフレーム欠損やエラーがあって第２メディアフレーム（例えば、ビデオフレーム）が正常な場合、不連続の発生していない正常な第２メディアフレームをマスタに切り換えることができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（１．実施の形態１）
（１−１．構成）
図１は実施の形態１に係る同期再生装置１００の構成を示す図である。
図１において、同期再生装置１００は、転送部１０１、多重分離部１０２、オーディオ復号部１０３、ビデオ復号部１０４、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２を備える。
転送部１０１は、多重ストリーム（ＭＰＥＧ２−ＴＳストリーム、以下に説明）を多重分離部１０２へ転送するものである。
多重分離部１０２は、多重ストリームからビデオＰＥＳパケット（ＰＥＳパケット、以下に説明）内のＰＥＳヘッダから再生時間情報であるビデオＰＴＳと、ビデオ符号化データを抽出し、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送し、また、オーディオＰＥＳパケット内のＰＥＳヘッダから再生時間情報であるオーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送するものである。
オーディオ復号部１０３は、オーディオ符号化データを復号するものである。
ビデオ復号部１０４は、ビデオ符号化データを復号するものである。
オーディオＰＴＳ取得部１０８は、多重分離部１０２で抽出されたオーディオＰＴＳを取得するものである。
オーディオＰＴＳ保持部１０９は、オーディオＰＴＳ取得部１０８で取得したオーディオＰＴＳを保持するものである。
オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得したＰＴＳとオーディオＰＴＳ保持部１０９に保持されているオーディオＰＴＳとを比較するものである。
ビデオＰＴＳ取得部１０５は、多重分離部１０２で抽出されたビデオＰＴＳを取得するものである。
ビデオＰＴＳ保持部１０６は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳを保持するものである。
ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得したビデオＰＴＳとビデオＰＴＳ保持部１０６に保持されているビデオＰＴＳとを比較するものである。
同期制御部１１１は、各構成要素の動作タイミングを制御するものである。
リファレンスクロック部１１２は、システム内の基準クロックであるシステムタイムクロック（以下、ＳＴＣ）を管理するものである。
（１−２．データ）
ここで、図２を用いて、ＭＰＥＧ２−ＴＳストリームのデータ構造を説明する。図２において、５０１はＭＰＥＧ２−ＴＳストリームである。ＭＰＥＧ２−ＴＳストリーム５０１は、１８８バイト固定長の複数のＴＳパケットから構成される。ＭＰＥＧ２−ＴＳパケット（TSPacket）５０２はヘッダ（TS Header）５０３とペイロード（Payload）５０４とから成る。
ヘッダ５０３はＭＰＥＧ２−ＴＳのパケット５０２の先頭を示すシンクワード（Sync Word）５０５と、ＭＰＥＧ２−ＴＳパケット５０２内のデータ識別しＰＩＤ５０６と、ペイロード５０６が有効かどうか示すアダプレーションフィールドコントロール（AdaptationField Control）５０７と、アダプテーションフィールド（Adaptation Field）５０８と、その他の制御フラグ（図示せず）から構成される。図３に示すようにＰＥＳパケットは、同一のＰＩＤ値６０１、６０２を持つ複数の固定長ＴＳパケットに分かれて転送される。ここで、図３を用いて、ＰＥＳパケットのデータ構造を説明する。ＰＥＳパケット７０１は、ＰＥＳパケットの先頭を示すパケットスタートコードプリフィックス（PacketStart Code Prefix）７０２と、ＰＥＳパケットデータ７０６に含まれるストリームを識別するためのストリームＩＤ（Stream id）７０３と、ＰＥＳパケットの長さを示すＰＥＳパケット長（PESPacket Length）７０４と、ＰＥＳヘッダ（PES Header）７０５と、ストリームデータが格納されるＰＥＳパケットデータ（PES PacketData）７０６とから構成される。
さらに、ＰＥＳヘッダ７０５には、オプションフィールド（Option fields）７０７とその他の制御フラグ等（図示せず）から構成される。このオプションフィールド７０７内には、ＰＥＳパケット７０１に含まれるストリームの再生時刻情報であるＰＴＳ７０８が格納されている。また、ＰＥＳパケットデータ７０６には、符号化データが格納されている。
ここでいう復号処理は、ビデオにおいて、例えば、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ２／４方式の画像復号化処理が行われ、オーディオにおいて、例えば、２３Ｃなどの復号処理が行われる。
（１−３．動作）
図５、図６及び図７は本実施の形態１による同期再生装置１００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図５、図６及び図７のフローチャートに従って、再生開始までの動作を詳しく説明する。
まず、図５に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定されると、ビデオフレーム出力完了フラグが“０”にクリアされて処理が開始する。
まず、ステップＳ２０１にて、転送部１０１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１０１は、エントリポイントを含んだＭＰＥＧ２−ＴＳ（以下、多重ストリーム）を多重分離部１０２への転送を行う。多重分離部１０２は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１０１は、多重分離部１０２が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。
次いで、ステップＳ２０２にて、多重分離部１０２は、先頭ＰＥＳパケットを検出する。ここで、先頭ＰＥＳパケットは、入力されたストリームにおいてＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ２０３にて、多重分離部１０２は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データを、ビデオ復号部１０４へ転送し、ビデオＰＴＳを、ビデオＰＴＳ取得部１０５へ転送する。
次いで、ステップＳ２０４にて、ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送すると同時に、ビデオＰＴＳ保持部１０６へ転送する。
次いで、ステップＳ２０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１０５で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ２０６に移る。
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ２０８に移る。
ここで、エントリポイント判定は次の条件式である（数１）を用いる。（数１）において、ＥＰｖ１は外部から設定されたエントリポイントを、Ｔｖ１はフレーム単位時間、ＰＴＳｎｖ１はステップＳ２０３にて抽出されたビデオＰＴＳを示す。Ｔｖ１はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数１）
ＥＰｖ１−１／２×Ｔｖ１＜ＰＴＳｎｖ１≦ＥＰｖ１＋１／２×１／２×Ｔｖ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０６にて、同期制御部１１１は、ビデオ復号部１０４に対して復号許可信号を通知し、ビデオ復号部１０４は、同期制御部１１１からの復号許可信号によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１０４内のフレームバッファに格納される。
次いで、ステップＳ２０７にて、ステップ２０６でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０８にて、ビデオＰＴＳ比較部１０７は、ビデオＰＴＳ取得部１０５で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０６で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定には次の条件式である（数２）を用いる。この条件式が成立する場合、後述するステップＳ２０９に移る。逆にギャップと判定されない場合、後述するステップＳ２１０に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０６には前ＰＴＳは保持されていないため行わない。（数２）において、Ｘｖ１は外部から設定される閾値でギャップと判断するための値である。Ｘｖ１は、フレーム周期より大きく与えられるのが望ましい。
（数２）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値-前ＰＴＳ値＞Ｘｖ１
ギャップ判定において条件式（２）が成立する場合（ステップＳ２０８：ＹＥＳ）、ステップＳ２０９にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ２０６に移る。
一方、ギャップ判定において条件式（２）が成立しない場合（ステップＳ２０８：ＮＯ）、ステップＳ２１０にて、ビデオ復号部１０４は、ビデオＰＴＳ比較部１０７からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ２１１に移る。
次いで、ステップＳ２１１にて、ビデオＰＴＳ保持部１０６は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。その後、ステップＳ２０３の処理に移り処理を継続する。
次に、図５に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”にクリアされる。
まず、ステップＳ３０１にて、転送部１０１に対してストリーム供給要求を出す。この要求を受けて、転送部１０１は、エントリポイントを含んだ多重ストリームを多重分離部１０２への転送を行う。なお、ここまでの処理は、ビデオフレームの場合と同様な処理である。
次いで、ステップＳ３０２にて、多重分離部１０２は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。
次いで、ステップＳ３０３にて、多重分離部１０２は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１０３へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１０８へ転送される。
次いでステップＳ３０４にて、オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたＰＴＳを同期制御部１１１へ転送するのと同時に、オーディオＰＴＳ保持部１０９へ転送する。
次いでステップＳ３０５にて、同期制御部１１１は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１０８で取得した現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ３０６に移る。
エントリポイントに相当するオーディオフレームと判定されなかった場合は、後述するステップＳ３０８に移る。
ここで、エントリポイント判定は次の条件式である（数３）を用いる。（数３）において、ＥＰａ１は外部から設定されたエントリポイントを、Ｔａ１はフレーム単位時間、ＰＴＳｎａ１はステップＳ３０３で抽出されたオーディオＰＴＳを示す。Ｔａ１はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数３）
ＥＰａ１−１／２×Ｔａ１＜ＰＴＳｎａ１≦ＥＰａ１＋１／２×１／２×Ｔａ１
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ３０５：ＹＥＳ）、ステップＳ３０６にて、同期制御部１１１は、オーディオ復号部１０３に対して復号許可信号を通知し、オーディオ復号部１０３は、同期制御部１１１からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１０３内のフレームバッファに格納される。
次いで、ステップＳ３０７にて、ステップＳ３０６でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ３０５：ＮＯ）、ステップＳ３０８にて、オーディオＰＴＳ比較部１１０は、オーディオＰＴＳ取得部１０８で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１０９で保持された前回のオーディオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数４）を用いる。この条件式が成立する場合、後述するステップＳ３０９に移る。逆にギャップと判定されない場合、後述するステップＳ３１０に移る。なお、この処理は、最初のオーディオフレームにおいては、オーディオＰＴＳ保持部１０９には前ＰＴＳは保持されていないため行わない。Ｘａ１は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ１は、フレーム周期より大きく与えられるのが望ましい。
（数４）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ１
ギャップ判定において条件式（４）が成立する場合（ステップＳ３０８：ＹＥＳ）、ステップＳ３０９にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ３０６に移る。
一方、ギャップ判定において条件式（４）が成立しない場合（ステップＳ３０８：ＮＯ）、ステップＳ３１０にて、オーディオ復号部１０３は、オーディオＰＴＳ比較部１１０からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ３１１に移る。
また、ステップＳ３１１にて、ビデオＰＴＳ保持部１０９は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ３０３の処理に移り処理を継続する。
次に、図７を用いて同期制御部１１１においてビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作を説明する。
ステップＳ４０１にて、ビデオフレームとオーディオフレームがともに出力準備完了になるまで待ち続ける。ビデオフレームとオーディオフレームがともに出力準備完了した場合、ステップＳ４０２に移る。
次いで、ステップＳ４０２において、ビデオフレーム、オーディオフレームがともにフェイルセーフデータとなった場合、後述するステップＳ４０５へ移る。逆にそうでないならば、後述するステップＳ４０３へ移る。
フェイルセーフデータでないフレームがある場合（ステップＳ４０２：ＮＯ）で、ステップＳ４０３において、オーディオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０８へ移る。逆にそうでないならば、後述するステップＳ４０４へ移る。
ステップＳ４０４において、ビデオフレームのみフェイルセーフデータと判定された場合、後述するステップＳ４０６へ移る。逆にそうでないならば、後述するステップＳ４０５へ移る。
ビデオフレームとオーディオフレームともにフェイルセーフデータであった場合（ステップＳ４０２：ＹＥＳ）、またはビデオフレームとオーディオフレームともにフェイルセーフデータではない場合（ステップＳ４０４：ＮＯ）、ステップＳ４０５において、出力準備完了したフレームのオーディオＰＴＳとビデオＰＴＳとの比較を行い、オーディオＰＴＳ値≦ビデオのＰＴＳ値が成立する場合、オーディオマスタで開始すると判断し、後述するステップＳ４０６へ移る。逆に、オーディオのＰＴＳ値≦ビデオのＰＴＳ値が成立しない場合、ビデオマスタで開始すると判断し、後述するステップＳ４０８へ移る。
オーディオマスタで開始した場合（ステップＳ４０５：ＹＥＳ）、ステップＳ４０６において、同期制御部１１１は、オーディオ復号部１０３に再生指示を出し、同時に、オーディオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、オーディオのＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０７において、同期制御部１１１は、ビデオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣが一致したと判定された場合、ビデオ復号部１０４に対してビデオフレームの再生指示を出す。
一方、ビデオマスタで開始した場合（ステップＳ４０５：ＮＯ）、ステップＳ４０８において、同期制御部１１１は、ビデオ復号部１０４に再生指示を出し、同時に、ビデオのＰＴＳでリファレンスクロック部１１２の補正を行う。なお、ビデオのＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
次いで、ステップＳ４０９において、同期制御部１１１は、オーディオのＰＴＳとリファレンスクロックで取得したＳＴＣの差分値から同期の合わせこみを行う。ＰＴＳとＳＴＣの差分が一致したと判定された場合、オーディオ復号部１０３に対してオーディオフレームの再生指示を出す。
以上のように、本発明の実施の形態１による同期再生装置１００によれば、再生開始時、ストリームのデータ抜けやＰＴＳのビット誤りによる不連続が発生しても、オーディオフレームまたはビデオフレームのＰＴＳのギャップを検出し、エントリポイント検索処理を停止して、エントリポイントに対応するフレームの近辺の最適なフレーム（フェイルセーフデータ）を決定して、当該最適なフレームからの再生開始ができる処理が可能となる。
（２．実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、検索に使用する上限時間を決めておき、当該上限時間の経過後はタイムアウトとなるようになっている点で、実施の形態１とは異なる。
以下、実施の形態２について、実施の形態１と異なる点を中心に説明する。
（２−１．構成）
図８は実施の形態２に係る同期再生装置８００の構成を示す図である。
同期再生装置８００は、転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、リファレンスクロック部８１２、オーディオ時間管理部８１３、及びビデオ時間管理部８１４を備える。
転送部８０１、多重分離部８０２、オーディオ復号部８０３、オーディオＰＴＳ取得部８０８、オーディオＰＴＳ保持部８０９、オーディオＰＴＳ比較部８１０、ビデオ復号部８０４、ビデオＰＴＳ取得部８０５、ビデオＰＴＳ保持部８０６、ビデオＰＴＳ比較部８０７、同期制御部８１１、及びリファレンスクロック部８１２は、それぞれ、実施の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。
オーディオ時間管理部８１３は、予め設定していた時間になった際に同期制御部８１１にオーディオタイムアウト信号を通知するものである。
ビデオ時間管理部８１４は、予め設定していた時間になった際に同期制御部８１１にビデオタイムアウト信号を通知するものである。
オーディオ時間管理部８１３、ビデオ時間管理部８１４に設定できる時間は個別に与えることが可能である。
（２−２．動作）
図９は本実施の形態２における、エントリポイントに対応するフレーム検索時のタイムアウト処理動作を示すフローチャートである。
なお、ビデオフレームの開始データ決定までの動作は実施の形態１の図５で示した動作と同様である。
オーディオフレームの開始データ決定までの動作は実施の形態１の図６で示した動作と同様である。また、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は実施の形態１の図７で示した動作と同様である。
図９に示す動作は、図５〜７に示す動作に付随して実行される。
ここで、ビデオ時間管理部８１４に設定していた時間をＴｅｖ、オーディオ時間管理部８１３に設定していた時間をＴｅａとする。時間Ｔｅｖ、時間Ｔｅａは、転送されるストリームに対して、エントリポイントと一致するフレームを十分に検出可能な時間が与えられているものとする。
ステップＳ９０１にて、同期制御部８１１がオーディオ時間管理部８１３からタイムアウト信号を受信した場合（ステップＳ９０１：ＹＥＳ）、後述するステップＳ９０２に移り、逆にそうでない場合は、後述するステップＳ９０４に移る。
ステップＳ９０２では、同期制御部８１１がビデオフレームの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０３に移り、そうでないならば処理を終了する。
ビデオフレームの出力準備が完了しているのであれば（ステップＳ９０２：ＹＥＳ）、ステップＳ９０３において、同期制御部８１１は、ビデオ復号部８０４に再生指示を出し、同時に、ビデオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、ビデオＰＴＳの補正処理は、ビデオ再生の出力タイミングであるフレーム周期で行う。
オーディオ時間管理部８１３からタイムアウト信号は受信していない（ステップＳ９０１：ＮＯ）が、ステップＳ９０４にて、同期制御部８１１からタイムアウト信号を受信した場合、後述するステップＳ９０５に移り、逆にそうでないならば処理は終了する。
ステップＳ９０５では、同期制御部８１１がオーディオの出力準備完了フラグが立っていると判定したならば、後述するステップＳ９０６に移り、そうでないならば処理を終了する。
次いで、ステップＳ９０６において、同期制御部８１１は、オーディオ復号部８０３に再生指示を出し、同時に、オーディオＰＴＳでリファレンスクロック部８１２の補正を行う。なお、オーディオＰＴＳの補正処理は、オーディオ再生の出力タイミングであるフレーム周期で行う。
以上のように、本発明の実施の形態２による同期再生装置によれば、エントリポイントと一致するフレームの検索の際に上限時間をオーディオフレームとビデオフレームで個別管理することで、再生開始時、片方のみのデータしか存在しない場合、開始データ検索時間の長いほうに影響を受けることなくフレームの出力することが可能である。例えば、オーディオフレームの開始データ検索時間＜ビデオフレームの開始データ検索時間の場合、ビデオフレームの開始データ発見後、オーディオフレーム側の上限時間経過後に出力することが可能である。
（３．実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３では、エントリポイントと対応するビデオフレーム及びオーディオフレームの検索を行う際、ストリームに含まれるＰＣＲ（後述する）を利用する点で、実施の形態１とは異なる。
以下、実施の形態３について、実施の形態１と異なる点を中心に説明する。
（３−１．構成）
図１０は実施の形態３による同期再生装置１０００の構成を示す図である。
同期再生装置１０００は、転送部１００１、不連続検出部１００２、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３を備える。
転送部１００１、多重分離部１００３、オーディオ復号部１００４、オーディオＰＴＳ取得部１００５、オーディオＰＴＳ保持部１００６、オーディオＰＴＳ比較部１００７、ビデオ復号部１００８、ビデオＰＴＳ取得部１００９、ビデオＰＴＳ保持部１０１０、ビデオＰＴＳ比較部１０１１、同期制御部１０１２、及びリファレンスクロック１０１３は、それぞれ、実施家の形態１に係る同期再生装置１００における、転送部１０１、多重分離部１０２、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８、オーディオＰＴＳ保持部１０９、オーディオＰＴＳ比較部１１０、ビデオ復号部１０４、ビデオＰＴＳ取得部１０５、ビデオＰＴＳ保持部１０６、ビデオＰＴＳ比較部１０７、同期制御部１１１、及びリファレンスクロック部１１２と同様の機能を有する。
不連続検出部１００２は、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲ（後述する）の不連続性を検出するものである。不連続検出部１００２は、所定時間毎に送られてくるＰＣＲに対して、現ＰＣＲと前ＰＣＲとの差分を比較することで不連続を検出し、不連続を検出したときのＰＣＲ値を、ビデオＰＴＳ比較部１０１１及びオーディオＰＴＳ比較部１００７に通知する。また、図示しないが不連続検出部１００２はバッファを有しており、不連続を検出したときのＰＣＲ値を当該バッファで保持する。
（３−２．データ）
ここで、ＭＰＥＧ２−ＴＳストリームに付随するＰＣＲについて、図１２を用いて説明する。
ＭＰＥＧ２−ＴＳストリームにおいて、ＳＴＣの時間に合わすために、所定時間ごとに、ＰＣＲ（Program Clock Reference）が送られる。ＴＳパケット５０１においてアダプテーションフィールド５０８が含まれているものがある。アダプテーションフィールド５０８は、個別ストリームに関する付加情報を伝送するもので、さらにアダプテーションフィールド５０８内のオプションフィールド（OptionField）５０９に、６バイトのＰＣＲが配される。
（３−３．動作）
図１２及び図１３は本実施の形態３による同期再生装置１０００におけるエントリポイント再生開始の動作手順を示すフローチャートであり、以下、図１２及び図１３のフローチャートに従って、再生開始までの動作を詳しく説明する。
まず、図１２に示す動作は、再生開始指示のあったエントリポイントに対応するビデオフレームを検索し、検索した結果、当該エントリポイントに対応するビデオフレームが欠落していた場合に、当該ビデオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なビデオフレームのことを「フェイルセーフデータ」と呼ぶ。
外部からビデオ用エントリポイント値が設定され、ビデオフレーム出力完了フラグが“０”クリアされて処理が開始する。
まず、ステップＳ１１０１にて、転送部１００１に対してストリーム供給要求を出す。ここで、この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。多重分離部１００３は、バッファを持っており、多重ストリームはそのバッファに格納される。転送部１００１は、多重分離部１００３が持つバッファのオーバーフロー管理も行い、オーバーフローしそうな場合は、多重ストリームの転送を停止し、バッファの空きがでた時点で多重ストリームの転送を再開する。バッファは、以下に記述するオーディオフレームのスキップ処理、復号処理またはビデオフレームのデコード処理によって消費されていくものとする。
次いで、ステップＳ１１０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、(数５）に示す。条件が成立した場合、後述するステップＳ１１０３に移る。条件が成立しない場合、後述するステップＳ１１０４に移る。(数５）においての、現ＰＣＲは、今回検出されたＴＳパケットにおけるＰＣＲ、前ＰＣＲは、前回検出されたＴＳパケットにおけるＰＣＲ、Ｙａは閾値である。Ｙａは、ＰＣＲ送出周期より大きく与えられるのが望ましい。
（数５）
現ＰＣＲ値−前ＰＣＲ値＜０ または 現ＰＣＲ値−前ＰＣＲ値＞Ｙａ
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１１０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またビデオＰＴＳ比較部１０１１に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。
上述したステップＳ１１０２〜Ｓ１１０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１１０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１１０４で検出はされずにステップＳ１１０５に移る。
次いで、ステップＳ１１０５にて、多重分離部１００３は、ビデオ符号化データとビデオＰＴＳを抽出し、ビデオ符号化データは、ビデオ復号部１００８へ転送され、ビデオＰＴＳは、ＰＴＳ取得部１００９へ転送される。
次いで、ステップＳ１１０６にて、ビデオＰＴＳ取得部１００９は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送すると同時に、ビデオＰＴＳ保持部１０１０へ転送する。
次いで、ステップＳ１１０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とビデオＰＴＳ取得部１００９が管理する現ＰＴＳを比較し、エントリポイントに相当するビデオフレームかどうかを判断する。エントリポイントに相当するビデオフレームと判定された場合は、後述するステップＳ１１０８に移る。
エントリポイントに相当するビデオフレームと判定されなかった場合は、後述するステップＳ１１１０に移る。
ここで、エントリポイント判定は次の条件式である（数６）を用いる。つまり、この条件式が成立する場合、エントリポイントに相当するフレームとして判定する。この条件式において、ＥＰｖ３は外部から設定されたエントリポイントを、Ｔｖ３はフレーム単位時間、ＰＴＳｎｖ３はステップＳ１１０５にて抽出されたビデオＰＴＳを示す。Ｔｖ３はビデオフレームの１フレーム単位時間を使用する。例えば、１フレーム単位時間は、１５ｆｐｓで６６ｍｓ、３０ｆｐｓで３３ｍｓとなる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数６）
ＥＰｖ３−１／２×Ｔｖ３＜ＰＴＳｎｖ１≦ＥＰｖ３＋１／２×１／２×Ｔｖ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１１０７：ＹＥＳ）、ステップＳ１１０８にて、同期制御部１０１２は、ビデオ復号部１００８に対して復号許可信号を通知し、ビデオ復号部１００８は、同期制御部１０１２からの復号許可指示によりビデオ符号化データの復号処理を行う。復号化されたビデオフレームは、ビデオ復号部１００８内のフレームバッファに格納される。
次いで、ステップＳ１１０９にて、ステップ１１０８でのビデオの復号処理の完了後、ビデオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１１０７：ＮＯ）、ステップＳ１１１０にて、ビデオＰＴＳ比較部１０１１は、ビデオＰＴＳ取得部１００９で取得されたＰＴＳ（以下、現ＰＴＳ）とビデオＰＴＳ保持部１０１０で保持された前回のビデオフレームにおけるＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数７）を用いる。この条件式が成立する場合、ギャップを検出したフレームとして判定し、後述するステップＳ１１１１に移る。逆にギャップと判定されない場合、後述するステップＳ１１１３に移る。なお、この処理は、最初のビデオフレームにおいては、ビデオＰＴＳ保持部１０１０には前ＰＴＳは保持されていないため、行わない。Ｘｖ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘｖ３は、フレーム周期より大きく与えられるのが望ましい。
（数７）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値−前ＰＴＳ値＞Ｘｖ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１１１０：ＹＥＳ）、ステップＳ１１１１にて、ＰＴＳ比較部１０１１は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１１０３）ＰＣＲとを比較して条件式（数８）が成立した場合（ステップＳ１１１１：ＹＥＳ）、後述するステップＳ１１１３へ移り、成立しない場合、後述するステップＳ１１１２へ移る。Ｚは、ＴＳパケットにおけるＰＣＲの送出周期とオーディオフレームとビデオフレームのインタリーブを想定した値が望ましい。例えば、ワンセグ運用上では、ＭＰＥＧ２ーＴＳにおけるＰＣＲの送出周期は４００ｍｓ以内、オーディオフレームとビデオフレームのインタリーブ間隔は１．５秒程度なので、２秒程度の値を与えるのが妥当である。
（数８）
−Ｚ＜ＰＣＲ−現ＰＴＳ値＜Ｚ
条件式（数８）が成立しない場合（ステップＳ１１１１：ＮＯ）、ステップＳ１１１２にて、ギャップを検出したビデオフレームは、フェイルセーフデータであるとし、ステップＳ１１０８に移る。
次いで、ステップ１１１３にて、ビデオ復号部１００８は、ビデオＰＴＳ比較部１０１１からの指示により、ビデオ符号化データの復号処理を行い、ステップＳ１１１４に移る。
次いで、ステップＳ１１１４にて、ビデオＰＴＳ保持部１０１０は、現ＰＴＳ値を前ＰＴＳとして置き換える。つまり、現ＰＴＳを次のビデオフレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１１０５の処理に移り処理を継続する。
次に、図１３に示す動作は、再生開始指示のあったエントリポイントに対応するオーディオフレームを検索し、検索した結果、当該エントリポイントに対応するオーディオフレームが欠落していた場合に、当該オーディオフレームの近辺の最適なフレームを決定する動作である。ここで、この最適なオーディオフレームのことを「フェイルセーフデータ」と呼ぶ。
処理が開始されると、外部からオーディオ用エントリポイント値が設定され、オーディオフレーム出力完了フラグが“０”クリアされる。
まず、ステップＳ１２０１にて、転送部１００１に対してストリーム供給要求を出す。この要求を受けて、転送部１００１は、エントリポイントを含んだ多重ストリームを不連続検出部１００２への転送を行う。
次いで、ステップＳ１２０２にて、不連続検出部１００２は、多重ストリームのＴＳパケットのＰＣＲを検索していき不連続が発生した情報を保持する。なお、不連続の判定は、（数５）に示す。条件が成立した場合、後述するステップＳ１２０３に移る。条件が成立しない場合、ステップＳ１２０４に移る。
現ＰＣＲと前ＰＣＲとが不連続である場合（ステップＳ１１０２：ＹＥＳ）、ステップＳ１２０３にて、不連続検出部１００２は、ＴＳパケットの不連続点であるＰＣＲを保持し、またオーディオ用ＰＴＳ比較部１００７に転送する。また、不連続検出部１００２は、多重ストリームを多重分離部１００３に転送する。
上述したステップＳ１２０２〜Ｓ１２０３におけるＰＣＲの取得及び判定処理は、転送部１００１からストリームが転送されるたびに実行される。
次いで、ステップＳ１２０４にて、多重分離部１００３は、転送されたＰＥＳパケットが先頭ＰＥＳパケットである場合は、先頭ＰＥＳパケットとして検出する。ここで、先頭ＰＥＳパケットというのは、入力されたストリームのＰＴＳが存在する最初のＰＥＳパケットのことを示す。なお、先頭ＰＥＳパケットに続くＰＥＳパケットについては、当該ステップＳ１２０４で検出はされずにステップＳ１２０５に移る。
次いで、ステップＳ１２０５にて、多重分離部１００３は、オーディオ符号化データとオーディオＰＴＳを抽出し、オーディオ符号化データは、オーディオ復号部１００４へ転送され、オーディオＰＴＳは、オーディオＰＴＳ取得部１００５へ転送される。
次いでステップＳ１２０６にて、オーディオＰＴＳ取得部１００５は、多重分離部１００３から転送されたＰＴＳを同期制御部１０１２へ転送するのと同時に、オーディオ保持部１００６へ転送する。
次いでステップＳ１２０７にて、同期制御部１０１２は、外部から指定されたエントリポイント値とオーディオＰＴＳ取得部１００５が管理する現ＰＴＳとの比較を行い、エントリポイントに相当するオーディオフレームかどうかを判断する。エントリポイントに相当するオーディオフレームと判定された場合は、後述するステップＳ１２０８に移る。
逆にエントリポイントに相当するフレームと判定されなかった場合（ステップＳ１２０７：ＮＯ）は、後述するステップＳ１２１０に移る。
ここで、エントリポイント判定は次の条件式である（数９）を用いる。（数９）において、ＥＰａ３は外部から設定されたエントリポイントを、Ｔａ３はフレーム単位時間、ＰＴＳｎａ３はステップ１２０６で抽出されたオーディオＰＴＳを示す。Ｔａ３はオーディオフレームの１フレーム単位時間を使用する。例えば、ＡＡＣ２４ｋＨｚの場合、４２ｍｓ、ＡＡＣ４８ｋＨｚの場合、２２ｍｓが与えられる。ただし、この数式はあくまで例であり、これに限定されるものではない。
（数９）
ＥＰａ３−１／２×Ｔａ３＜ＰＴＳｎａ３≦ＥＰａ３＋１／２×１／２×Ｔａ３
エントリポイント値と現ＰＴＳが一致した場合（ステップＳ１２０７：ＹＥＳ）、ステップＳ１２０８にて、同期制御部１０１２は、オーディオ復号部１００４に対して復号許可信号を通知し、オーディオ復号部１００４は、同期制御部１０１２からの復号許可信号によりオーディオ符号化データの復号処理を行う。復号化されたオーディオフレームは、オーディオ復号部１００４内のフレームバッファに格納される。
ステップＳ１２０９にて、ステップ１２０８でのオーディオの復号処理の完了後、オーディオフレームの出力準備完了フラグを立てる。
一方、エントリポイント値と現ＰＴＳが一致しない場合（ステップＳ１２０７：ＮＯ）、ステップＳ１２１０にて、オーディオＰＴＳ比較部１００７は、オーディオＰＴＳ取得部１００５で取得されたＰＴＳ（以下、現ＰＴＳ）とオーディオＰＴＳ保持部１００６で保持されたＰＴＳ（以下、前ＰＴＳ）のギャップ判定を行う。ギャップ判定は次の条件式である（数１０）を用いる。この条件式が成立する場合、ギャップを検出したオーディオフレームとして判定し、後述するステップＳ１２１１に移る。逆にギャップと判定されない場合、後述するステップＳ１２１３に移る。なお、この処理は、最初のオーディオフレームにおいては、ＰＴＳ保持部１００６には前ＰＴＳは保持されていないため行わない。Ｘａ３は外部から設定される閾値で、ギャップと判断するための値である。Ｘａ３は、フレーム周期より大きく与えられるのが望ましい。
（数１０）
現ＰＴＳ値−前ＰＴＳ値＜０ または、現ＰＴＳ値−前ＰＴＳ値＞Ｘａ３
ギャップ判定において条件式（２）が成立する場合（ステップＳ１２１０：ＹＥＳ）、ステップＳ１２１１にて、オーディオＰＴＳ比較部１００７は、ギャップを検出したＰＴＳと不連続検出部１００２で保持されている（ステップＳ１２０３）ＰＣＲとを比較して条件（数８）が成立した場合（ステップＳ１２１１：ＹＥＳ）、後述するステップ１Ｓ２１２へ移り、成立しない場合、後述するＳ１２１３へ移る。
条件式（数８）が成立しない場合（ステップＳ１２１１：ＮＯ）、ステップＳ１２１２にて、ギャップを検出したオーディオフレームは、フェイルセーフデータであるとし、ステップＳ１２０８に移る。
次いで、ステップＳ１２１３にて、オーディオ復号部１００４は、オーディオＰＴＳ比較部１００７からの指示により、オーディオ符号化データのスキップ処理を行い、ステップＳ１２１４に移る。
次いで、ステップＳ１２１４にて、オーディオＰＴＳ保持部１００６は、現ＰＴＳ値と前ＰＴＳを置き換える。つまり、現ＰＴＳを次のオーディオレームのギャップ処理で使用するため、前ＰＴＳとして保存する。以下、ステップＳ１２０５の処理に移り処理を継続する。
なお、ビデオフレーム、オーディオフレームの開始データを決定してから再生までの動作は、実施の形態１における図７に示す動作と同様である。
以上のように、本発明の実施の形態３による同期再生装置によれば、ＰＣＲを利用してＴＳパケットの不連続検出させることで、ＴＳパケットのデータ抜けの不連続とＰＴＳのビット誤りによる不連続を区別することが可能となる。ＴＳパケットのデータ抜けによる不連続は、外部ブロック（例えば、上位ソフトウェア）で判断可能であるため、データ抜けの部分は、エントリポイントとして指定されないことが想定される。実施の形態３によれば、ＴＳパケットのデータ抜けの不連続は、開始データ検索処理を停止してフェイルセーフデータから再生することなく、検索処理を継続させることができる。
（４．実施の形態４）
次に、本発明の実施の形態４について説明する。
実施の形態４による同期再生装置は、実施の形態１と同様の構成を有しているが、ビデオフレームとオーディオフレームの再生中にフレーム欠損に係る処理を行う点で、実施の形態１と異なる。ここでは、図１に示した同期再生装置１００と同様の部分については説明を省略し、再生中の動作について重点的に説明する。
（４−１．構成）
以下、実施の形態１で説明した構成と異なる点について説明する。
再生中、まず、転送部１０１より転送される多重ストリームは、多重分離部１０２においてビデオＰＥＳデータとオーディオＰＥＳデータに分離される。ビデオＰＥＳデータはビデオＰＴＳと、ビデオ符号化データを抽出後、ビデオ復号部１０４とビデオＰＴＳ取得部１０５に転送される。また、オーディオＰＥＳデータはビデオＰＥＳ同様、オーディオＰＴＳと、オーディオ符号化データを抽出し、オーディオ復号部１０３、オーディオＰＴＳ取得部１０８に転送される。
オーディオ復号部１０３は、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は、復号処理を行って復号結果を出力する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。また、制御信号が破棄の場合は、現フレームの符号化データを破棄、すぐさま次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。
ビデオ復号部１０４も、オーディオ復号部１０３同様、独自のクロックを持ってフレーム周期で動作しており、フレーム周期の先頭で１フレーム分の符号化データの取得を行い、同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する機能を有する。具体的には、同期制御部１１１からの制御信号が復号許可の場合は復号処理を行って復号結果を出力し、同時に次のフレームのデータを取得する。制御信号が復号停止の場合は復号処理を停止し出力を停止する。さらに制御信号がデータ破棄の場合は、現フレームの符号化データをデコードした後に次フレームのデータを取得し、次の同期制御部１１１からの制御信号の状態に応じて復号処理動作を決定する。
ここで、データ破棄の場合もデコード処理を行うことの意味するところは以下の通りである。
ＭＰＥＧなどに代表される動画圧縮符号データの復号処理では、前フレームを参照しながら復号処理をする必要がある。そのため、復号処理せずしてフレームデータの破棄を行った場合、破棄したフレームの次のフレームが正常に復号できない可能性があるためである。
オーディオＰＴＳ取得部１０８は、多重分離部１０２から転送されたオーディオＰＴＳを取得し、オーディオ復号部１０３が符号化データを取得するタイミングで、オーディオＰＴＳを同期制御部１１１へ転送する機能を有する。
ビデオＰＴＳ取得部１０５は、多重分離部１０２から転送されたビデオＰＴＳを取得し、ビデオ復号部１０４が符号化データを取得するタイミングで、ビデオＰＴＳを同期制御部１１１へ転送する機能を有する。
同期制御部１１１では、オーディオＰＴＳ取得部１０８からオーディオＰＴＳを取得するとリファレンスクロック部１１２からリファレンスクロック（以下、ＳＴＣとも表記）を取得し、ＳＴＣとＰＴＳを比較することで、オーディオ復号部１０３に制御信号を送信する機能を有する。また、ビデオＰＴＳ取得部１０５からビデオＰＴＳを取得するとリファレンスクロック部１１２からＳＴＣを取得し、ＳＴＣとＰＴＳを比較することで、ビデオ復号部１０４に制御信号を送信する。
また、同期制御部１１１では、マスタとして動作しているデータのＰＴＳがＳＴＣに対し同期している判断した場合に、リファレンスクロックを補正するためのＰＴＳをリファレンスクロック部１１２へ転送する機能を有する。
さらに、同期制御部１１１では、現在のマスタがオーディオであるか、ビデオであるかを管理しているとともに、オーディオ、ビデオがそれぞれリファレンスクロックに対し同期しているか否かを示す同期制御状態を管理している。
リファレンスクロック部１１２は、同期制御部１１１から転送されたＰＴＳを受け内部クロックを補正する機能を有する。
（４−２．動作）
以下、再生中における、同期制御部１１１が行う同期制御処理について図１４を用いて説明を行う。尚、ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１４においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１４に示すように、まず、同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてきたタイミングで開始する。
同期制御部１１１へビデオＰＴＳ取得部１０５からビデオＰＴＳが転送されてくると、ステップＳ１６０１にてＰＴＳを取得する。
次いで、ステップＳ１６０２にてリファレンスクロック部１１２から現在の時刻であるＳＴＣを取得する。
次いで、ステップＳ１６０３にて次式（数１１）を判定する。
（数１１）
｜ＰＴＳ―ＳＴＣ｜＜ｔ１
ここでｔ１はシステムまたはデータごとに決定できる固定値である。
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）には、そのＰＴＳは同期していると判断し、後述のステップＳ１６０４へ移る。（数１１）を満たしていない場合（ステップＳ１６０３：ＮＯ）には、同期していないと判断し、後述のステップＳ１６０８以降の同期外れ処理へ移る。
ここで、ＰＥＳパケット内には、１パケット内に複数のオーディオフレーム、またはビデオフレームが存在する場合がある。この場合には、多重分離部１０２から送られてきたＰＴＳは、そのパケットの先頭のフレームｉに対応するものであるので、パケット内の２番目以降のフレームｉ＋１とｉ＋２についてはＰＴＳが存在しない。このような場合、ビデオＰＴＳ取得部１０５は、ＰＴＳが存在しないフレームに対し、ビデオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。オーディオフレームにおいても同様で、オーディオＰＴＳ取得部１０８が、ＰＴＳが存在しないフレームに対し、オーディオフレーム内のフレームレートに関するパラメータあるいは、あらかじめ規定されたフレームレートを用いてＰＴＳ値を補間する。
尚、上記（数１１）の意味するところは以下の通りである。
ビデオフレームと同期を取るためには、ＳＴＣ＝ＰＴＳとなった瞬間に出力を開始することが必要であるが、リファレンスクロックの読み出し処理はソフトウェアで実現する場合には処理時間にばらつきが発生する可能性があるため、厳密にＳＴＣ＝ＰＴＳとなるＳＴＣをタイミングよく読み込むことは難しい。このため、同期制御部１１１がビデオ復号部１０４に復号許可を与える条件として、（数１１）を満足させることで、判断処理に冗長を持たせている。
（数１１）を満たす場合（ステップＳ１６０３：ＹＥＳ）、ステップＳ１６０４にてビデオ復号部１０４に対し、復号許可信号を送信する。これにより、ビデオ復号部１０４は復号処理を行い復号結果のオーディオ再生データの出力を行う。
次いで、ステップＳ１６０５にて、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６０６にて、ビデオが現在のマスタであると判定された場合（ステップＳ１６０６：ＹＥＳ）は、リファレンスクロック部１１２へ同期と判定したＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。
ビデオがマスタではないと判定された場合（ステップＳ１６０６：ＮＯ）には、ステップＳ１６０８へ移行する。
次いで、ステップＳ１６０８にて、ＰＴＳがリファレンスクロックと同期状態であると判断されたため、後述する自走カウンタのクリアと、さらに同期制御状態を同期状態に遷移させ、同期制御処理を終了する。
一方、（数１１）を満たさない場合（ステップＳ１６０３：ＮＯ）、ステップＳ１６０９にて次式（数１２）が成り立つか否かを判定する。
（数１２）
０＜ＳＴＣ―ＰＴＳ＜ｔ２
ここでｔ２はシステムまたはデータごとに決定できる固定値である。
上記（数１２）を満たす場合（ステップＳ１６０９：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりもすでに遅れていることを意味するため、当該フレームを破棄しすぐに次フレームの処理へ遷移することで遅れを取り戻す。すなわち、ステップＳ１６１０にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
尚、再生時刻よりも既に遅れている場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、ＳＴＣに対する遅れ時間が大きい場合、複数フレーム分のデータ破棄を指示するようにしてもよい。
上記（数１２）を満たさない場合（ステップＳ１６０９：ＮＯ）は、後述するステップＳ１６１１へ移る。
ステップＳ１６１１では、次式（数１３）を判定する。
（数１３）
０＜（ＰＴＳ―ＳＴＣ）＜ｔ３
ここでｔ３はシステムまたはデータごとに決定できる固定値である。
上記（数１３）を満たす場合（ステップＳ１６１１：ＹＥＳ）は、復号化しようとするフレームが再生時刻よりも進んでいることを意味するため、当該フレームの復号化処理を停止させることで進みをなくす。すなわち、ステップＳ１６１２にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６１３で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。
一方、上記（数１３）を満たさない場合（ステップＳ１６１１：ＮＯ）は、ＰＴＳが誤っているか不連続になっていると想定され、後述するステップＳ１６１４以降の自走処理へ移る。
自走処理では以下の処理を行う。
ステップＳ１６１４では、自走カウンタ値に対し次式（数１４）を判定する。
（数１４）
自走カウンタ＜Ｍ
ここで、自走カウンタとは、判定ステップＳ１６０３、ステップＳ１６０９、ステップＳ１６１１のいずれも満たされない場合に自走処理を行ったフレーム数をカウントするカウンタであり、開始時と判定ステップＳ１６０３が満たされた場合、すなわちＳＴＣとＰＴＳが同期していると判定された場合に０にクリアされるカウンタである。
また、Ｍはシステムまたはデータごとに決定できる固定値である。
（数１４）を満たす場合（ステップＳ１６１４：ＹＥＳ）は、ステップＳ１６１５にてビデオ復号部１０４に対し、復号許可信号を送信し、当該フレームの復号処理と出力処理を行う。
次いで、ステップＳ１６１６にて自走カウンタを１インクリメント行う。
次いで、ステップＳ１６２９にてビデオの同期制御状態を自走状態に遷移させ、同期制御処理を終了する。
一方、（数１４）を満たさない場合（ステップＳ１６１４：ＮＯ）は、ステップＳ１６１７以降の強制同期処理へ移る。
この自走カウンタ導入の意味するところは以下の通りである。
ＳＴＣとＰＴＳの差分が大きい場合、オーディオ、ビデオに時間的な不連続が発生したのか、ＰＴＳ値にエラーが混入されたのかの区別がつかない。そこで、ＳＴＣとＰＴＳの差分が大きいフレームが継続されている状態が、一定フレーム数（上記数式ではＭフレーム）未満の間はＰＴＳ値に誤りがあったと判断し自走処理を行う。しかし、一定フレーム数以上ＳＴＣとＰＴＳの差分が大きいフレームが継続された場合には、時間的な不連続が発生したと判断し強制同期処理へ移行する。
強制同期処理では以下の処理を行う。
まず、ステップＳ１６１７にて、ビデオの再生状態を強制同期状態に遷移させる。
次いで、ステップＳ１６１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１６１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１６１９：ＹＥＳ）、ステップＳ１６２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２では、転送されたＰＴＳをもとに内部クロックの補正処理を行う。すなわち、マスタの場合における強制同期処理とはリファレンスクロックの補正を意味する。
次いで、ステップＳ１６２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１６１９：ＮＯ）は、ステップＳ１６２２へ移る。
ステップＳ１６２２では、マスタの同期状態を取得する。
次いで、ステップＳ１６２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態ではない場合（ステップＳ１６２３：ＹＥＳ）、ステップＳ１６２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
ここで、マスタの同期制御状態判定の意味するところは以下の通りである。
マスタが同期状態ではなく自走状態、または強制同期状態の場合は、マスタは同期が取れていない状態である。そのため、リファレンスクロックはマスタのＰＴＳによって補正されていないため、信頼できる状態ではない。そのため、マスタが同期状態になるまで待つ必要がある。
一方、同期状態の場合（ステップＳ１６２３：ＮＯ）、ステップＳ１６２５にて次式（数１５）を判定する。
（数１５）
ＰＴＳ＜ＳＴＣ
上記（数１５）を満たす場合（ステップＳ１６２５：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１６２６にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
一方、（数１５）を満たさない場合（ステップＳ１６２５：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１６２７にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１６２８で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し、処理を終了する。
上記フローチャートにおける強制同期部分の詳細動作を図１５のタイミングチャートを用いて示す。
図１５はビデオストリーム、オーディオのストリームに時間的不連続が発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１５において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、映像フレーム１８０１におけるＰＴＳは４２である。また、図１５ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１８０１と映像フレーム１８０２、また、音声フレーム１８０３と音声フレーム１８０４の間に時間飛びが発生している。さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１８０２にてビデオの不連続が発生する。このとき映像フレーム１８０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。
次に、音声フレーム１８０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。
音声フレーム１８０４とリファレンスクロックの差分は６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。
次に、音声フレーム１８０５にてオーディオの自走カウンタが３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。
次に、映像フレーム１８０６での同期制御処理において、オーディオが同期状態に遷移しリファレンスクロックを補正したが、映像フレーム１８０６とリファレンスクロックの差分はまだ１２であり、（数１３）における閾値１０を超えているため、自走処理は継続される。
次に、映像フレーム１８０７にてビデオの自走カウンタが５となるため、（数１４）を満たさず強制同期を行う。映像フレーム１８０７においてＰＴＳとＳＴＣの差分は１２なので、映像フレーム１７０８の復号処理を停止し１２時間分待ちを行う。その間は映像フレーム１８０６が表示され続ける。１２時間分待った後、映像フレーム１８０７は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。
以上のように、本発明の実施の形態４による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリーム、あるいはオーディオビデオ両方のストリームに時間的不連続が発生した場合でも、再生を継続でき、さらに不連続点を通過したのちにオーディオフレーム及びビデオフレームの同期再生への復帰を早くすることができる。
さらに、自走カウンタを設け、閾値に応じて自走処理か強制同期処理かを判断できるようにすることにより、伝送エラーなどによるＰＴＳに誤りが混入され、同期が取れない状態であっても不連続と判断せず自走させることでオーディオ、ビデオを途切れなく連続的に再生させることが可能である。
（５．実施の形態５）
次に、本発明の実施の形態５について説明する。
実施の形態５による同期再生装置は、実施の形態４と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、強制同期処理に変更を加えた点で実施の形態４と異なる。ここでは、実施の形態４と異なる動作について重点的に説明する。
（４−１．動作）
以下、図１６に基づいて実施の形態５における同期生再生装置の動作について説明する。
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１６においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１６は実施の形態５における同期制御処理を示すフローチャートである。
ステップＳ１７０１〜Ｓ１７１６の処理動作は、それぞれ、実施の形態４における図１４に示すステップＳ１６０１〜Ｓ１６１６と同様のため、説明は省略する。
以下、ステップＳ１７１７の強制同期処理以降について、図１６を用いて詳細に説明する。
まず、ステップＳ１７１７にて、自走と判断されたために、ビデオの同期制御状態を強制同期状態に遷移させる。
次いで、ステップＳ１７１８にて現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ１７１９にて、ビデオが現在のマスタかどうかを判定する。
ビデオマスタであると判定された場合（ステップＳ１７１９：ＹＥＳ）、ステップＳ１７２０にてリファレンスクロック部１１２へＰＴＳ値を転送する。リファレンスクロック部１１２は、転送されたＰＴＳをもとに内部クロックの補正処理を行う。
次いで、ステップＳ１７２１にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、ビデオマスタでないと判定された場合（ステップＳ１７１９：ＮＯ）は、ステップＳ１７２２へ移る。
ステップＳ１７２２では、マスタの同期制御状態を取得する。
次いで、ステップＳ１７２３にてマスタの同期制御状態が同期状態かどうかを判定する。
同期状態でない場合（ステップＳ１７２３：ＹＥＳ）は、ステップＳ１７２４にてビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
マスタが同期状態の場合（ステップＳ１７２３：ＮＯ）、ステップＳ１７２５へ移る。
ステップＳ１７２５において、次式（数１６）を判定する。
（数１６）
ＰＴＳ―ＳＴＣ＜ｔ４
ここでｔ４はシステムまたはデータごとに決定できる固定値である。
（数１６）を満たす場合（ステップＳ１７２５：ＹＥＳ）には、ステップＳ１７２６に移る。
次いで、ステップＳ１７２６では、次式（数１７）を判定する。
（数１７）
ＰＴＳ＜ＳＴＣ
上記（数１７）を満たす場合（ステップＳ１７２６：ＹＥＳ）、すなわちＰＴＳよりＳＴＣの方が大きい場合は、ＰＴＳは遅れていると判断されるので、ステップＳ１７２７にてビデオ復号部１０４に対し、データ破棄を送信し、処理を終了する。
（数１７）を満たさない場合（ステップＳ１７２６：ＮＯ）、すなわちＳＴＣよりＰＴＳの方が大きい場合は、ステップＳ１７２８にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７２９で、ＰＴＳとＳＴＣの差分時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信し処理を終了する。
一方、（数１６）を満たさない場合（ステップＳ１７２５：ＮＯ）は、まず、ステップＳ１７３０にて自走カウンタをクリアする。
次いで、ステップＳ１７３１にてビデオ復号部１０４に対し、復号停止を送信する。
次いで、ステップＳ１７３２にてｔ５時間分だけ待ちを行ったあと、ビデオ復号部１０４に対し、復号許可を送信する。
尚、（数１７）において、ＰＴＳよりＳＴＣの方が大きい場合、すなわちＰＴＳがＳＴＣより遅れていると判断された場合、本実施例では１フレーム分のデータ破棄を復号部へ指示しているが、複数フレーム分のデータ破棄を指示してもよい。さらに、ＳＴＣとＰＴＳの差分時間分のデータ破棄を行うのではなく、ｔ５時間分のデータを破棄することも可能である。
また、この強制同期処理ステップにおいて、ＰＴＳとＳＴＣの差分値がｔ４以上の場合も、同期制御を行う範囲をｔ５にすることの意味するところは以下の通りである。
すなわち、ステップＳ１７１４における「（数１８）自走カウンタ＜Ｍ」の判定が満たされなかった場合（ステップＳ１７１４：ＮＯ）において、伝送エラーなどの要因によりＰＴＳ値が誤っている場合、あるいは、オーディオストリーム又はビデオストリームの時間的不連続状態が短時間に繰り返されるような場合、ＳＴＣとＰＴＳの差分値に対してステップＳ１７２８の処理を行うと差分値が巨大な値になる可能性がある。結果、長時間の待ち時間が発生、あるいは長時間分のデータが破棄される可能性がある。このような状況を防ぐために導入される。
上記フローチャートにおける強制同期制御の詳細動作を図１７のタイミングチャートを用いて示す。
図１７はビデオストリーム、オーディオビデオのストリームに時間的不連続が繰り返し発生している場合に、本実施例を適用した場合のタイミングチャートである。
この図１７において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば映像フレーム１９０１におけるＰＴＳは４２である。また、図１７ではオーディオマスタ動作を例に挙げているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、映像フレーム１９０１と映像フレーム１９０２、また、音声フレーム１９０３と音声フレーム１９０４の間に時間飛びが発生している。さらに、映像フレーム１９０５と映像フレーム１９０６、また、音声フレーム１９０８と音声フレーム１９０９の間にも不連続が発生している。
（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１８）における自走カウンタの閾値Ｍをビデオに関しては５フレーム、オーディオに関しては３フレームとする。また、（数１６）における閾値ｔ４をオーディオ、ビデオともに２０、ＳＴＣとＰＴＳの差分固定時間ｔ５を１０とする。
まず、ビデオ、オーディオ両方の同期制御状態が同期状態で再生している状態において、映像フレーム１９０２にてビデオの不連続が発生する。このとき映像フレーム１９０２とリファレンスクロックの差分は７８であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０の状態のため、自走処理が行われる。
次に、音声フレーム１９０４において、オーディオの不連続が発生する。オーディオはマスタであるがビデオ同様、同期制御処理を行う。
音声フレーム１９０４とリファレンスクロックの差分が６６であることから、（数１３）における閾値ｔ３＝１０を超えており、また、自走カウンタは０のため、自走処理となる。
オーディオが自走処理の間、リファレンスクロックは補正されず、リファレンスクロック部では内部時計が自走している状態となる。
次に、音声フレーム１９０５にてオーディオの自走カウンタは３となるため、（数１４）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは１２６に補正される。
次に、映像フレーム１９０６にて再び不連続が発生するが、自走カウンタは３のため自走は継続される。
次に、映像フレーム１９０７にてビデオの自走カウンタが５となるため、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９０７においてＰＴＳは４２５、ＳＴＣは１３３であり、差分が２９２なので、強制同期用閾値ｔ４＝２０を超えている。そのため、待ち時間をｔ５＝１０に変換して映像フレーム１９０７の復号処理を停止し１０時間分待ちを行う。１０時間分待った後、映像フレーム１９０７は復号され表示されるが、次の映像フレーム１９１１でのＰＴＳとＳＴＣの差分は１１となり、まだ閾値１０を超えている。自走カウンタは０の状態のため、自走処理となり再度自走カウンタのカウントアップが始まる。
また、音声フレーム１９０９にてオーディオが再び不連続が発生する。音声フレーム１９０９のＰＴＳとＳＴＣとの差分が３７１であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理となる。
音声フレーム１９１０にてオーディオの自走カウンタは３となり、（数１８）を満たさず強制同期処理を行う。現在オーディオがマスタであるため、強制同期処理の場合にはリファレンスクロックの補正処理を行う。これによりリファレンスクロックは４０９に補正される。
次に、映像フレーム１９１２にてビデオの自走カウンタが５となり、（数１８）を満たさず強制同期処理を行う。このとき、映像フレーム１９１２においてＰＴＳは４５０、ＳＴＣは４３９であり、差分が１１なので、（数１３）における閾値ｔ３＝１０を越えているため強制同期処理を行う。すなわち、映像フレーム１９１２の復号処理を停止し１１時間分待ちを行う。１１時間分待った後、映像フレーム１９１２は復号され表示される。以後、ビデオはリファレンスクロックと同期しながら再生される。
以上のように、本発明の実施の形態５による同期再生装置によれば、伝送エラーなどによりストリームにエラーが混入された場合や、オーディオまたは、ビデオのストリーム、あるいはオーディオビデオ両方のストリームに時間的な不連続が繰り返し発生するような場合、あるいは、連続とＰＴＳ誤りが同時に発生するような場合において、ストリームの異常発生部分を停止させることなく再生でき、オーディオ、ビデオの同期再生へ復帰を短時間で行うことできる。
また、強制同期処理を複数回に分けて実行することから、長時間の強制同期処理を行う必要がある場合において、長時間同じフレームが再生出力されっぱなしになる時間を短縮することができ、ユーザが強制同期処理中の映像を視聴したときの違和感を軽減することができる。
（６．実施の形態６）
次に、本発明の実施の形態６について説明する。
実施の形態６による同期再生装置は、実施の形態５と同様の構成を有しており、基本的な動作は同様であるが、再生中の同期制御において、自走処理に変更を加えた点で実施の形態５と異なる。ここでは、実施の形態５と異なる動作について重点的に説明する。
（６−１．動作）
以下、図１８に基づいて実施の形態６における同期生再生装置の動作について説明する。
ここではビデオ符号化データの同期制御について説明するが、当然、同様の処理をオーディオ符号化データの復号処理に適用することも可能である。その場合、図１８においてビデオと表記されている部分はオーディオに、オーディオと表記されている部分はビデオに変換すればよい。
図１８は実施の形態６における同期制御処理を示すフローチャートである。
ステップＳ２００１〜Ｓ２０３３の処理動作は、それぞれ、実施の形態５における図１６に示すステップＳ１７０１〜Ｓ１７３３と同様のため、説明は省略する。
以下、自走処理中のステップＳ２０３４〜Ｓ２０３９の処理について、図２０を用いて詳細に説明する。
まず、ステップＳ２０３４において、次式（数１９）を判定する。
（数１９）
自走カウンタ＞Ｎ
ここでＮはシステムまたはデータごとに決定できる固定値であるが、Ｍよりも小さい。
（数１９）を満たさない場合（ステップＳ２０３４：ＮＯ）には、ステップＳ２０１４に移り、実施の形態５と同じ処理となる。
（数１９）を満たす場合（ステップＳ２０３４：ＹＥＳ）には、ステップＳ２０３５に移る。
ステップＳ２０３５では、現在のリファレンスクロックのマスタを取得する。
次いで、ステップＳ２０３６にて、現在ビデオマスタであると判定された場合、ステップＳ２０３７へ移る。ビデオマスタではない場合はステップＳ２０１５へ移る。
ステップＳ２０３７では、オーディオの同期制御状態を取得する。
次いで、ステップＳ２０３８にて、オーディオの同期制御状態が同期状態でない場合（ステップＳ２０３８：ＮＯ）はステップＳ２０１５へ移り、同期状態である場合（ステップＳ２０３８：ＹＥＳ）、ステップＳ２０３９へ移る。
ステップＳ２０３９では、マスタをオーディオに切り替える。
この自走処理ステップにおいて、自走カウンタがＮ以上になった場合にマスタの切替制御を行うことの意味するところは、以下の通りである。
記録されたストリームにおいて、マスタのストリーム（例えば、オーディオストリーム）のみに不連続が発生し、他方には不連続が発生していない場合、マスタが不連続後の強制同期処理を行うと、リファレンスクロックの補正を行うことになる。すなわち、リファレンスクロックにも不連続が発生することになる。結果、マスタではないストリーム（オーディオがマスタであれば、ビデオストリーム）は、リファレンスクロックに同期するように動作するため、不連続がないストリームにもかかわらず、同期制御処理によりデータの破棄や待ちが発生し連続再生されない。このような他方にのみ、特にマスタに指定されるストリームのみに、不連続がある場合において、不連続がない他方のストリームを滑らかに再生できるようにマスタ切替制御を導入している。
上記図１８のフローチャートにおけるマスタ切替制御を図１９のタイミングチャートを用いて示す。
図１９はオーディオストリームに時間的不連続が発生しており、同期状態中はオーディオマスタで動作している場合に、本実施例を適用した場合のタイミングチャートである。
この図１９において、ビデオ再生データ、オーディオ再生データはフレーム単位で示され、各フレームに付記されている数字はＰＴＳを意味する。たとえば、音声フレーム２１０１におけるＰＴＳは３９である。また、図１９ではオーディオマスタ動作を想定しているため、オーディオの各フレームのＰＴＳ値によりリファレンスクロックは補正される。また、映像フレームの表示周期は５、音声フレームの表示周期は３であり、音声フレーム２１０１と音声フレーム２１０２の間に時間飛びが発生している。ビデオストリームには不連続はない。
さらに、（数１３）における閾値ｔ３は、ビデオ、オーディオともに１０、（数１４）における自走カウンタの閾値Ｍをオーディオに関しては４フレーム、（数１９）におけるマスタ切替の閾値Ｎをオーディオに関しては２フレームとする。
まず、ビデオが同期状態、オーディオがマスタで同期状態にて再生中に、音声フレーム２１０２にてオーディオの不連続が発生する。このとき音声フレーム１８０２とリファレンスクロックの差分は１８であり、また、自走カウンタは０であることから、（数１３）における閾値ｔ３＝１０を超えているため、自走処理が行われる。
次に、音声フレーム２１０３において、自走カウンタが３となり、（数１９）を満たすため、マスタ切替制御を行い、マスタをオーディオからビデオに変更する。映像フレーム２１０６はリファレンスクロックに対し同期しているので、同期状態で出力を行い、リファレンスクロックを補正する。
これに対し、音声フレーム２１０４は、リファレンスクロックに対し差分１８のため自走状態は継続される。この後、音声フレーム２１０５にて、自走カウンタが（数１４）を満たさず強制同期処理を行う。
音声フレーム２１０５においてＰＴＳとＳＴＣの差分が１８なので、音声フレーム２１０５の復号処理を停止し１８時間分待ちを行う。その間、音声出力は無音となる。１８時間分待った後、音声フレーム２１０５は復号され出力される。音声フレーム２１０７において、再び同期状態になるためオーディオマスタへマスタ切替を行い、通常状態に復帰する。このとき、映像フレームは一枚も欠けることなく連続して再生される。
以上のように、本発明の実施の形態６による同期再生装置によれば、受信電波が悪い状況下などで記録された多重化ストリームにおいて、オーディオストリーム、またはビデオストリームの他方のみに不連続があり、特にマスタとして位置づけられるストリームのみに不連続がある場合、マスタではない不連続のないストリームを途切れることなく連続して再生できる。
（７．実施の形態７）
実施の形態７では、本発明に係る携帯電話機について説明する。実施の形態７に係る携帯電話機２０００は、実施の形態１で示した同期再生装置１００を内部に備えている。
図２０は本発明に係る携帯電話機２０００の構成を示すブロック図である。この携帯電話機２０００は、移動通信用の通信用無線部２４０１と、ベースバンド部２４０２と、デジタルテレビ放送を受信するためのＴＶ用無線部２４０３と、ＴＶチューナー２４０５と、各種制御を行うアプリケーション処理部２４０６と入出力部２４０７と、電源部２４１７から構成される。
通信用無線部２４０１及びベースバンド部２４０２は、無線電話通信を行うための信号処理を行うものである。
ＴＶ用無線部２４０３は、デジタルテレビ放送波を受信するものである。
ＴＶチューナー２４０５は、ＴＶ用無線部２４０３で受信したデジタルテレビ放送波の信号処理を行うものである。
アプリケーション処理部２４１３は、通信部２４１３、同期再生装置２４１４、主制御部２４１５、及び蓄積部２４１６を有する。
通信部２４１３は、アプリケーション２４０６と外部との通信を行うインターフェースである。
同期再生装置２４１４は、実施の形態１で示した同期再生装置１００と同様の構成を有するものである。
主制御部２４１５は、携帯電話機２０００の各部を制御するＣＰＵ（Central Processing Unit）である。
蓄積部２４１６は、データを蓄積するメモリであり、特に、ＴＶ無線部２４０３で受信しＴＶチューナー２４０５で信号処理したデジタルテレビ放送データを蓄積する。
入出力部２４０７は、カメラ（ＣＡＭ）２４０８、ＬＣＤ（Liquid Crystal Display）２４０９、マイク（ＭＩＣ）２４１０、ＳＰＫ（スピーカー）２４１１、及びＫＥＹ（キー入力部）２４１２を有する。
カメラ２４０８は、撮像した撮像データを入力するものである。
ＬＣＤ２４０９は、画像や映像を出力するものであり、特に、同期再生装置２４１４で再生出力される映像を出力する。
マイク２４１０は、音を入力するもので、例えば、無線電話通信時に、ユーザの音声を入力するのに用いられる。
スピーカー２４１１は、音を出力するもので、例えば、同期再生装置２４１４で再生出力される音声や、無線電話通信時に通話相手の音声を出力する。
キー入力部２４１２は、ユーザの入力操作を受付けるものである。
ここで、簡単に携帯電話機２０００の動作について説明する。
デジタルテレビ視聴時または記録再生時の本発明の同期再生装置について、図２０を用いて以下に説明を行う。
デジタルテレビ放送視聴に際しては、ＴＶチューナー２４０５で選択されたチャンネルをＴＶ用無線部２４０３にて受信し、アプリケーション処理部２４０６へ多重化ストリーム（ＭＰＥＧ２−ＴＳ）を入力する。アプリケーション処理部２４０６では、チューナーより受け取った多重化ストリームを同期再生装置２４１４へ入力する。同期再生装置２４１４において、入力された多重化ストリームは、図１における転送部１０１へ入力され、多重化データをオーディオ、ビデオデータに分離、復号することで再生が可能となる。
また、放送を記録する場合は、ＴＶチューナー２４０５から入力される多重化ストリームを蓄積部２４１６に蓄積する。ここで、蓄積部２４１６は端末内部のメモリ、または端末から分離可能なメモリ、いずれでもよい。
蓄積された多重化ストリームの再生は、キー入力部２４１２を通じたユーザからのキー操作によって再生が開始され、蓄積部２４１６から多重化ストリームが同期再生装置２４１４へ入力される。同期再生装置２４１４では、入力された多重化ストリームをオーディオデータ、ビデオデータに分離、復号することでの再生が可能となる。
なお、ここでは、携帯電話機２０００に実施の形態１に係る同期再生装置１００を備える例を示したが、同様に、実施の形態２〜６に係る同期再生装置を備えることが可能なことは言うまでもない。
また、ここでは本発明の同期再生装置を適用した携帯電話機を例に挙げたが、本同期再生装置は、オーディオ機器や、映像が再生可能な様々な機器への適用が可能である。
本発明の同期再生装置は、符号化映像を再生する再生装置に広く適用可能であり、電波状態が悪い環境で録画された等の理由によりフレーム欠損のあるストリームの再生開始時に、最適なフレームから再生開始できる点、及び再生途中に映像信号と音声信号が途切れることなく再生を継続できる点で有用である。
本発明の実施の形態１に係る同期再生装置の構成を示すブロック図である。 本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームのデータ構造図である。 本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームとＰＥＳパケットの関係図である。 本発明の実施の形態１に係るＰＥＳパケットのデータ構造図である。 本発明の実施の形態１に係るビデオデータ検索処理を示すフローチャートである。 本発明の実施の形態１に係るオーディオデータ検索処理を示すフローチャートである。 本発明の実施の形態１に係る再生処理を示すフローチャートである。 本発明の実施の形態２に係る同期再生装置の構成を示すブロック図である。 本発明の実施の形態２に係るタイムアウト処理を示すフローチャートである。 本発明の実施の形態３に係る同期再生装置の構成を示すブロック図である。 本発明の実施の形態３に係るＰＥＳパケットのデータ構造図である。 本発明の実施の形態３に係るビデオデータ検索処理を示すフローチャートである。 本発明の実施の形態３に係るオーディオデータ検索処理を示すフローチャートである。 本発明の実施の形態４に係る同期制御処理を示すフローチャートである。 本発明の実施の形態４に係る同期制御処理を示すタイミングチャートである。 本発明の実施の形態５に係る同期制御処理を示すフローチャートである。 本発明の実施の形態５に係る同期制御処理を示すタイミングチャートである。 本発明の実施の形態６に係る同期制御処理を示すフローチャートである。 本発明の実施の形態６に係る同期制御処理を示すタイミングチャートである。 本発明に係る携帯電話機を示すブロック図である。 従来技術の同期再生装置の構成を示すブロック図である 従来技術の同期再生装置の処理を示すフローチャートである。 従来技術における再生処理を示す概念図である。 従来技術におけるフレーム検索処理を示す概念図である。 従来技術における再生中の処理を示す概念図である。
符号の説明
１００、８００、１０００ 同期再生装置
１０１、８０１、１３０１ 転送部
１０２、８０２ 多重分離部
１０３、８０３、１３０４ オーディオ復号部
１０４、８０４、１３０３ ビデオ復号部
１０５、１０８、８０５、８０８ ＰＴＳ取得部
１０６、１０９ ＰＴＳ保持部
１０７、１１０ ＰＴＳ比較部
１１１、８１１、１３０５ 同期制御部
１１２、８１２、１３１３ リファレンスクロック部
８１３ オーディオ時間管理部
８１４ ビデオ時間管理部
１３０２ システムデコーダ
２０００ 携帯電話機

Claims (11)

  1. 所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置であって、
    フレーム毎に、フレーム再生時刻情報を取得する取得部と、
    前記取得部で取得したフレーム再生時刻情報を保持する保持部と、
    フレーム毎に、前記取得部で取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持部に保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較部と、
    前記比較部で、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力部とを備える
    ことを特徴とする再生装置。
  2. 前記データストリームは、所定時間毎に、プログラム参照時刻情報を含むものであり、
    さらに、前記プログラム参照時刻情報を取得し、取得した現プログラム参照時刻情報と、前記所定時間前に取得した前プログラム参照時刻情報とを比較して、前記現プログラム参照時刻情報と前記前プログラム参照時刻情報との差分が所定の閾値を超えていた場合は、プログラム参照時刻情報が不連続であることを検出するとともに前記現プログラム参照時刻情報を保持する検出部を備え、
    前記比較部は、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判定された場合で、且つ前記検出部で前記現プログラム参照時刻情報が保持されている場合は、さらに、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が、前記所定時間を超えるか否かを判定し、
    前記再生出力部は、前記比較部で、前記現プログラム参照時刻情報と前記現フレーム再生時刻情報との差分が前記所定時間を超えると判定された場合のみ、前記現フレーム再生時刻が付加されたフレームから再生を開始する
    ことを特徴とする請求項１記載の再生装置。
  3. ＭＰＥＧ（Moving Picture Experts Group）規格に準拠するものであり、
    前記フレーム再生時刻情報は、ＭＰＥＧ規格で定められたＰＴＳ（Presentation Time Stamp）であり、
    前記プログラム参照時刻情報は、ＭＰＥＧ規格で定められたＰＣＲ（Program Clock Reference）である
    ことを特徴とする請求項２記載の再生装置。
  4. フレーム単位に映像再生時刻情報が付加された映像フレームと、フレーム単位で音声再生時刻情報が付加された音声フレームとから成るデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅
    に相当する映像フレーム及び音声フレームから再生を開始する機能を有する再生装置であって、
    映像フレームから映像フレーム再生時刻情報の取得、及び音声フレームから音声フレーム再生時刻情報の取得を行う取得部と、
    前記取得部で取得した映像フレームの映像フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定、及び前記取得部で取得した音声フレームの音声フレーム再生時刻情報が前記指定された再生開始時間幅に含まれるか否かの判定を行う比較部と、
    映像フレーム及び音声フレームの復号及び再生出力を行う復号部とを備え、
    前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔｖと、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれるか否かを前記比較部が判定するために要する上限時間Ｔａとが設定されており、
    （ｉ）上限時間Ｔｖ＞Ｔａを満たすとき、前記復号部は、前記取得部で取得した音声フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔａが経過した時に、映像フレームの復号が完了している場合、当該映像フレームを再生出力し、
    （ｉｉ）上限時間Ｔｖ＜Ｔａを満たすとき、前記復号部は、前記取得部で取得した映像フレーム再生時刻情報が前記再生開始時間幅に含まれず上限時間Ｔｖが経過した時に、音声フレームの復号が完了している場合、当該音声フレームを再生出力する
    ことを特徴とする再生装置。
  5. 所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置であって、
    フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較部と、
    前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する復号部と、
    前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力するよう前記復号部に指示する制御部と、
    前記制御部の指示により、前記復号部が前記システム基準クロックと非同期で再生出力したフレームをカウントするカウント部とを備え、
    前記制御部はさらに、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう前記復号部に指示する強制同期処理を実行する
    ことを特徴とする再生装置。
  6. 前記制御部は、前記強制同期処理として、（ｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、フレーム再生時刻情報が、システム基準クロックが示す時刻と一致するまで待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力するよう前記復号部に指示し、（ｉｉ）前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を下回ると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームは再生出力しないよう前記復号部に指示する
    ことを特徴とする請求項５記載の再生装置。
  7. 前記制御部は、前記比較部で、フレーム再生時刻情報が、前記システム基準クロックが示す時刻を超えると判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力されたフレームがカウントされた場合において、さらに、フレーム再生時刻情報とシステム基準クロックが示す時刻との差分が所定差分ｔ１を超える場合のみ、ｔ１より小さい所定の時間ｔ２だけ待ってから、当該フレーム再生時刻情報が付加されたフレームを復号して再生出力する
    ことを特徴とする請求項６記載の再生装置。
  8. 前記フレームは、第１メディアに係る第１メディアフレームと、第２メディアに係る第２メディアフレームに分かれており、前記第１メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するものであり、
    前記比較部は、フレームについて、第１メディアフレームと第２メディアフレームとを区別して、それぞれのフレーム再生時刻情報とシステム基準クロックが示す時刻とを比較し、
    前記カウント部は、フレームのカウントについて、第１メディアフレームと第２メディアフレームとを区別してカウントし、
    前記制御部は、前記比較部で、前記フレームの内第１メディアフレームについての再生時刻情報が、前記システム基準クロックと一致しないと判断された場合で、且つ前記カウント部により、所定回数非同期で再生出力された第１メディアフレームがカウントされた場合においては、前記第２メディアフレームの再生時刻情報に基づいて前記システム基準クロックを決定するよう変更する
    ことを特徴とする請求項５記載の再生装置。
  9. 請求項１乃至８のいずれか１項に記載の再生装置を備えることを特徴とする携帯電話機。
  10. 所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号して再生出力するものであり、指定された再生開始位置を含む再生開始時間幅に相当するフレームから再生を開始する機能を有する再生装置における再生方法であって、
    フレーム毎に、フレーム再生時刻情報を取得する取得ステップと、
    前記取得ステップで取得したフレーム再生時刻情報を保持する保持ステップと、
    フレーム毎に、前記取得ステップで取得した現フレーム再生時刻情報が、前記指定された再生開始時間幅に含まれるか否かを判定し、含まれないと判定された場合はさらに、前記現フレーム再生時刻情報と、前記保持ステップで保持されている前のフレームにおける前フレーム再生時刻情報との差分が、前記所定時間間隔を超えるか否かを判定する比較ステップと、
    前記比較ステップで、前記現フレーム再生時刻情報と前記前フレーム再生時刻情報との差分が前記所定時間間隔を超えると判断された場合は、前記現フレーム再生時刻情報が付加されたフレームから再生を開始する再生出力ステップとを含む
    ことを特徴とする再生方法。
  11. 所定時間間隔でフレーム単位にフレーム再生時刻情報が付加されたデータストリームを復号し、自装置内のシステム基準クロックと同期して再生する再生装置における再生方法であって、
    フレーム毎に、フレーム再生時刻情報と、前記システム基準クロックが示す時刻とを比較する比較ステップと、
    前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致すると判断された場合、当該フレーム再生時刻情報が付加されているフレームを復号して再生出力する第１再生出力ステップと、
    前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合は、当該フレーム再生時刻情報が付加されたフレームを復号して前記システム基準クロックと非同期で再生出力する第２再生出力ステップと、
    前記第２再生出力ステップで、前記システム基準クロックと非同期で再生出力したフレームをカウントするカウントステップと、
    前記比較ステップで、フレーム再生時刻情報が、前記システム基準クロックが示す時刻と一致しないと判断された場合で、且つ前記カウントステップにより、所定回数非同期で再生出力されたフレームがカウントされた場合においては、当該フレーム再生時刻情報が付加されたフレームを強制的に前記システム基準クロックと同期させて再生出力するよう強制同期処理を実行する強制同期処理ステップとを含む
    ことを特徴とする再生方法。
JP2008502771A 2006-02-27 2007-02-26 再生装置、携帯電話機、及び再生方法 Active JP4852094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008502771A JP4852094B2 (ja) 2006-02-27 2007-02-26 再生装置、携帯電話機、及び再生方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006049672 2006-02-27
JP2006049672 2006-02-27
JP2008502771A JP4852094B2 (ja) 2006-02-27 2007-02-26 再生装置、携帯電話機、及び再生方法
PCT/JP2007/053512 WO2007099906A1 (ja) 2006-02-27 2007-02-26 再生装置、携帯電話機、及び再生方法

Publications (2)

Publication Number Publication Date
JPWO2007099906A1 true JPWO2007099906A1 (ja) 2009-07-16
JP4852094B2 JP4852094B2 (ja) 2012-01-11

Family

ID=38459013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008502771A Active JP4852094B2 (ja) 2006-02-27 2007-02-26 再生装置、携帯電話機、及び再生方法

Country Status (6)

Country Link
US (1) US20090116814A1 (ja)
EP (1) EP1995960A4 (ja)
JP (1) JP4852094B2 (ja)
KR (1) KR20080108432A (ja)
CN (1) CN101390388B (ja)
WO (1) WO2007099906A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948309B2 (en) * 2005-07-26 2015-02-03 Broadcom Corporation Method and system for redundancy-based decoding of video content in a wireless system
US7817584B2 (en) * 2007-02-28 2010-10-19 International Business Machines Corporation Method and system for managing simultaneous electronic communications
KR101489351B1 (ko) * 2008-11-28 2015-02-03 삼성전자 주식회사 배터리 잔량에 따른 동영상 재생 가능 시간 표시 방법 및 장치
JP5137857B2 (ja) * 2009-01-09 2013-02-06 株式会社日立国際電気 移動受信端末および中継装置
US8655143B2 (en) * 2009-04-01 2014-02-18 Cisco Technology, Inc. Supplementary buffer construction in real-time applications without increasing channel change delay
US8731000B2 (en) 2009-09-30 2014-05-20 Cisco Technology, Inc. Decoding earlier frames with DTS/PTS backward extrapolation
JP5101668B2 (ja) 2009-11-27 2012-12-19 株式会社東芝 デジタルビデオ収録再生装置
JP5544863B2 (ja) * 2009-12-17 2014-07-09 富士通株式会社 受信装置、受信方法及び受信プログラム
JP5765558B2 (ja) 2010-08-27 2015-08-19 ソニー株式会社 受信装置、受信方法、送信装置、送信方法、プログラム、および放送システム
CN103561818A (zh) 2011-06-01 2014-02-05 荷兰联合利华有限公司 可共挤出的多相洁齿剂组合物
CN102811380B (zh) * 2011-06-03 2015-02-18 三星电子（中国）研发中心 多媒体文件中音视频数据的解复用方法及装置
EP2530948A1 (en) * 2011-06-03 2012-12-05 Samsung Electronics Co., Ltd. Method and device for demultiplexing audio & video data of multimedia file
JP2014072861A (ja) * 2012-10-01 2014-04-21 Toshiba Corp 情報処理装置、情報処理プログラムおよび情報処理方法
WO2014069081A1 (ja) * 2012-10-30 2014-05-08 三菱電機株式会社 映像音声再生システム、映像表示装置、及び音声出力装置
CN109889888B (zh) * 2013-06-05 2022-04-01 太阳专利托管公司 再现方法、装置及生成方法、装置
CN103581730A (zh) * 2013-10-28 2014-02-12 南京熊猫电子股份有限公司 在数字机顶盒上实现音视频同步的方法
JP6506009B2 (ja) * 2013-11-22 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置、及び受信装置
US20170250927A1 (en) * 2013-12-23 2017-08-31 Dali Systems Co. Ltd. Virtual radio access network using software-defined network of remotes and digital multiplexing switches
WO2016129303A1 (ja) * 2015-02-10 2016-08-18 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
CN106034263B (zh) * 2015-03-09 2020-03-03 腾讯科技（深圳）有限公司 媒体文件中音视频的校准方法、装置及存储介质
EP3285492B1 (en) * 2015-04-13 2021-06-02 Sony Corporation Reproduction device and reproduction method
CN104967895B (zh) * 2015-06-26 2018-05-11 广州德浩科视电子科技有限公司 一种视频行场同步信号产生方法及系统
CN106470291A (zh) * 2015-08-19 2017-03-01 飞思卡尔半导体公司 从音频/视频解码器中的时间同步中的中断中恢复
KR20180080186A (ko) * 2015-11-05 2018-07-11 소니 주식회사 컨텐츠 재생 장치, 및 컨텐츠 재생 방법
CN105898500A (zh) * 2015-12-22 2016-08-24 乐视云计算有限公司 网络视频播放方法及装置
US10361814B2 (en) * 2016-06-15 2019-07-23 Friday Harbor Llc Encoding for frameless packet transmissions
CN109729404B (zh) * 2019-01-15 2021-06-04 晶晨半导体(上海)股份有限公司 一种基于嵌入式的播放器的同步调制方法
US10904606B1 (en) 2020-01-23 2021-01-26 Roku, Inc. Using non-audio data embedded in an audio signal

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396497A (en) * 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
JPH0750818A (ja) 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd 音声と映像のパケット同期転送制御方法
US5559999A (en) * 1994-09-09 1996-09-24 Lsi Logic Corporation MPEG decoding system including tag list for associating presentation time stamps with encoded data units
TW305043B (ja) * 1995-09-29 1997-05-11 Matsushita Electric Ind Co Ltd
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US5784527A (en) * 1996-03-22 1998-07-21 Cirrus Logic, Inc. System and method for error handling during playback of an audio/video data stream
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
WO2000049803A1 (fr) * 1999-02-18 2000-08-24 Kabushiki Kaisha Toshiba Support d'enregistrement pour flux de donnees, procede d'enregistrement et procede de reproduction associes
JP3542976B2 (ja) 2000-03-29 2004-07-14 松下電器産業株式会社 圧縮符号化データ再生方法および装置
TW526666B (en) * 2000-03-29 2003-04-01 Matsushita Electric Ind Co Ltd Reproducing method for compression coded data and device for the same
US7508874B2 (en) * 2002-01-29 2009-03-24 Broadcom Corporation Error concealment for MPEG decoding with personal video recording functionality
JP2003259314A (ja) * 2002-02-26 2003-09-12 Nippon Hoso Kyokai <Nhk> 映像音声同期方法及びそのシステム
US7899302B2 (en) * 2002-12-16 2011-03-01 Koninklijke Philips Electronics N.V. System for modifying the time-base of a video signal
JP3943516B2 (ja) * 2003-03-27 2007-07-11 松下電器産業株式会社 画像再生装置

Also Published As

Publication number Publication date
WO2007099906A1 (ja) 2007-09-07
JP4852094B2 (ja) 2012-01-11
CN101390388A (zh) 2009-03-18
US20090116814A1 (en) 2009-05-07
KR20080108432A (ko) 2008-12-15
EP1995960A4 (en) 2009-08-05
EP1995960A1 (en) 2008-11-26
CN101390388B (zh) 2010-09-15

Similar Documents

Publication Publication Date Title
JP4852094B2 (ja) 再生装置、携帯電話機、及び再生方法
EP2007006A2 (en) Inverter device and air conditioner
WO2013136754A1 (ja) 表示装置、及び送信装置
JP3698376B2 (ja) 同期再生装置
EP2227910B1 (en) Reducing media stream delay through independent decoder clocks
EP1956848A2 (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
JP4983923B2 (ja) デコーダ装置、およびデコード方法
US20070081563A1 (en) Synchronization device and synchronization method in digital broadcast receiver
EP2545708B1 (en) Method and system for inhibiting audio-video synchronization delay
US8331763B2 (en) Apparatus and method for synchronizing reproduction time of time-shifted content with reproduction time of real-time content
JP4987034B2 (ja) 映像表示装置
JP2009021885A (ja) デジタルテレビ放送記録再生装置およびその再生方法
JP2006254298A (ja) 動画再生装置及び動画再生方法
JP2003101962A (ja) 同期再生装置及び方法
JP5020422B2 (ja) 映像表示装置
JP2005346781A (ja) デジタル情報再生装置及び方法
JP2010258489A (ja) 映像表示装置、受信装置、送受信システム、及び映像表示方法
JP4953707B2 (ja) デジタル放送受信機
KR20030082117A (ko) 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법
JP2004320787A (ja) 連続メディア切り出し装置
JPH099215A (ja) データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置
JP2002281498A (ja) 受信再生装置
WO2003094518A1 (en) Method of data synchronisation
JP2004007541A (ja) データ多重方法及び多重データ復号方法
JP2008066770A (ja) コンテンツ受信装置、コンテンツ送受信システム、及びコンテンツ送受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111021

R150 Certificate of patent or registration of utility model

Ref document number: 4852094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250