JP4212920B2 - Audio / video synchronization control method and apparatus - Google Patents

Description

ここで、ｐはそのストリームにおける該当アクセスユニットを識別する番号である。ｐ＝０のときＤＴＳ（０）＝０とする。ＤＴＳ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ）の時間単位は、（１／ｔｉｍｅ＿ｓｃａｌｅ）秒である。
【００１１】
ＤＴＳ時間間隔のテーブルは、図７に示したような構造を有する。図７は、あるＭＰ４ファイルにおけるビデオストリームのアクセスユニット（ＡＵ）のＤＴＳテーブルの一例である。図７において、ａｕ＿ｃｏｕｎｔは、同一のＤＴＳ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ）を有するアクセスユニットの個数を示す。
【００１２】
従来のオーディオ・ビデオ同期制御方式では、テーブルに記述したＤＴＳ時間間隔に従ってアクセスユニット（ＡＵ）を復号化することで同期を確立している。
【００１３】
なお、本発明に関連する従来の技術として、特開平１１−１６４２５６号公報には、オーディオとビデオの処理を独立して行い、基準となる処理時間が異なるオーディオデータとビデオデータの同期再生を行うためのオーディオ・ビデオ同期再生方法が示されている。
【００１４】
【特許文献１】
特開平１１−１６４２５６号公報
【００１５】
【発明が解決しようとする課題】
従来のオーディオ・ビデオ同期制御方式では、アクセスユニット単位で同期を制御するため、復号化用バッファをアクセスユニット単位で用意する必要がある。しかし、アクセスユニットの大きさ（ａｕ＿ｓｉｚｅ）は、様々な要因（例えば、ビットレート）により変化するものである。ディジタルビデオカメラへ適用する場合、例えば、８ＭｂｐｓＶＧＡのＩＶＯＰでは、１つのアクセスユニットの大きさが数百Ｋバイトになることが頻繁にある。一方、携帯用オーディオ・ビデオ機器では、大容量のバッファを設けることは望ましくない。
【００１６】
よって、従来のオーディオ・ビデオ同期制御方式では、復号化用バッファをアクセスユニット単位で用意する必要がため、同期制御回路の規模も大きくなる傾向がある。
【００１７】
また、オーディオ・ビデオストリームを同期再生する際に、時間ずれが発生した場合、ビデオアクセスユニットをスキップしたり、リピート表示したりすることにより、時間ずれを補償する必要がある。従来のオーディオ・ビデオ同期制御方式では、時間ずれを効率よく補償するための方法が考慮されていない。
【００１８】
本発明は、上記の点に鑑みてなされたものであり、入力ファイルのアクセスユニットの大きさに依存しない小さなサイズの復号化用バッファを用いて、オーディオ・ビデオ同期制御回路の規模を削減することが可能なオーディオ・ビデオ同期制御方法及び装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上記課題を解決するために、本発明のオーディオ・ビデオ同期制御方法は、圧縮符号化されたオーディオデータとビデオデータを含む入力ファイルから得られるオーディオデータとビデオデータの各アクセスユニットのサイズ情報と、各アクセスユニットのデコードタイムスタンプ情報とに基づいて、一定の時間間隔ごとに転送すべき各アクセスユニットのデータ量を算出する手順と、前記時間間隔ごとに、算出された前記データ量の大きさをもつオーディオデータとビデオデータの各アクセスユニットをオーディオバッファとビデオバッファにそれぞれ格納する手順と、前記入力ファイルから得られる各アクセスユニットの前記デコードタイムスタンプ情報に前記時間間隔の逆数を乗じることによりデータ転送回数を算出する手順と、算出された前記データ転送回数にしたがって、前記オーディオバッファとオーディオデコーダ間に設けたバッファスイッチに出力される制御信号、及び前記ビデオバッファとビデオデコーダ間に設けたバッファスイッチに出力される制御信号のオン・オフを切り替えることにより、前記オーディオデータと前記ビデオデータの各アクセスユニットを前記オーディオデコーダと前記ビデオデコーダとにそれぞれ転送する手順とを有することを特徴とする。
【００２０】
また、上記課題を解決するために、本発明のオーディオ・ビデオ同期制御装置は、圧縮符号化されたオーディオデータとビデオデータを含む入力ファイルからオーディオデータとビデオデータの各アクセスユニットを取得するとともに、オーディオデータとビデオデータの同期制御を行う分離部と、取得したオーディオデータの各アクセスユニットを格納するオーディオバッファと、格納されたオーディオデータの各アクセスユニットを復号化するオーディオデコーダと、取得したビデオデータの各アクセスユニットを格納するビデオバッファと、格納されたビデオデータの各アクセスユニットを復号化するビデオデコーダとを有するオーディオ・ビデオ同期制御装置であって、前記分離部は、前記入力ファイルから得られるオーディオデータとビデオデータの各アクセスユニットのサイズ情報と、各アクセスユニットのデコードタイムスタンプ情報とに基づいて、一定の時間間隔ごとに転送すべき各アクセスユニットのデータ量を算出する手段と、前記時間間隔ごとに、算出された前記データ量の大きさをもつオーディオデータとビデオデータの各アクセスユニットを前記オーディオバッファと前記ビデオバッファにそれぞれ格納する手段と、前記入力ファイルから得られる各アクセスユニットの前記デコードタイムスタンプ情報に前記時間間隔の逆数を乗じることよりデータ転送回数を算出する手段と、算出された前記データ転送回数にしたがって、前記オーディオバッファと前記オーディオデコーダ間に設けたバッファスイッチに出力される制御信号、及び前記ビデオバッファと前記ビデオデコーダ間に設けたバッファスイッチに出力される制御信号のオン・オフを切り替えることにより、前記オーディオデータと前記ビデオデータの各アクセスユニットを前記オーディオデコーダと前記ビデオデコーダとにそれぞれ転送する手段とを備えることを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００２２】
まず、本発明のオーディオ・ビデオ同期制御方式の基本原理について説明する。
【００２３】
前述したように、従来のオーディオ・ビデオ同期制御方式では、ＭＰ４ファイルに記述された各アクセスユニットの大きさ（ａｕ＿ｓｉｚｅ）をもつＡＵデータを復号化用バッファに格納して、ＤＴＳ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ）で同期を制御している。この代わりに、本発明のオーディオ・ビデオ同期制御方式では、ＭＰ４ファイルに記述された、各アクセスユニットの大きさ（ａｕ＿ｓｉｚｅ）と各アクセスユニットのＤＴＳ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ）から、算出される一定の時間間隔（Δｔ）のデータ量（Δｄａｔａ）をもつオーディオ・ビデオデータを復号化用バッファに格納して、算出される転送回数（ｓｃｎｔ）でデコーダへ転送することにより、同期を確立する。
【００２４】
データ量（Δｄａｔａ）と一定の時間間隔（Δｔ）は、ＭＰ４ファイルに記述されたａｕ＿ｓｉｚｅとａｕ＿ｄｔｓ＿ｄｅｌｔａから、次式（２）と（３）に従って算出される。
【００２５】
【数２】

【００２６】
【数３】

ここで、ｎは任意の整数である（以下、このｎをタイムスケール定数という）。また、転送回数（ｓｃｎｔ）は、次式（４）に従って算出される。
【００２７】
【数４】

図２は、本発明の第１の実施の形態に係るオーディオ・ビデオ同期制御装置を示す。図２のオーディオ・ビデオ同期制御装置は、Δｄａｔａ／Δｔ分離回路３２と、一対のバッファスイッチ３３、４３と、一対のオーディオバッファ３４、３８と、一対のビデオバッファ４２、４４と、一対のバッファスイッチ３５、４５と、オーディオデコーダ１６と、ビデオデコーダ２０とを含む。
【００２８】
図２のオーディオ・ビデオ同期制御装置において、バッファスイッチ３３、４３とバッファスイッチ３５、４５の切り替え動作は、Δｄａｔａ／Δｔ分離回路３２の制御部から出力される制御信号により制御される。
【００２９】
また、Δｄａｔａ／Δｔ分離回路３２の制御部からバッファスイッチ３３、４３への制御信号は、オーディオバッファ３４、３８と、ビデオバッファ４２、４４に対して、バッファスイッチ３３、４３の切り替え動作が交互に行われるように出力される。すなわち、図２に示したように、ある時点でバッファスイッチ３３がオーディオバッファ３８側と導通する状態であるとき、バッファスイッチ４３はビデオバッファ４４側と導通する状態になる。次の時点でバッファスイッチ３３、４３の切り替え動作が行われると、バッファスイッチ３３はオーディオバッファ３４側と導通する状態となり、同時に、バッファスイッチ４３はビデオバッファ４２側と導通する状態になる。
【００３０】
同様に、Δｄａｔａ／Δｔ分離回路３２の制御部からバッファスイッチ３５、４５への制御信号は、オーディオバッファ３４、３８と、ビデオバッファ４２、４４に対して、バッファスイッチ３５、４５の切り替え動作が交互に行われるように出力される。すなわち、図２に示したように、ある時点でバッファスイッチ３５がオーディオバッファ３４側と導通する状態であるとき、バッファスイッチ４５はビデオバッファ４２側と導通する状態になる。次の時点でバッファスイッチ３５、４５の切り替え動作が行われると、バッファスイッチ３５はオーディオバッファ３８側と導通する状態となり、同時に、バッファスイッチ４５はビデオバッファ４４側と導通する状態になる。
【００３１】
図２に示したように、図１の従来構成におけるＡＵ／ＤＴＳ分離回路１２の代わりに、この実施形態のオーディオ・ビデオ同期制御装置では、Δｄａｔａ／Δｔ分離回路３２を設けている。ＭＰ４ファイル１０は、ＭＰ４ファイルフォーマットで圧縮符号化されたオーディオ・ビデオストリームを含み、Δｄａｔａ／Δｔ分離回路３２に入力される。
【００３２】
Δｄａｔａ／Δｔ分離回路３２は、ＭＰ４ファイル１０から得られる各アクセスユニットについてのａｕ＿ｓｉｚｅとａｕ＿ｄｔｓ＿ｄｅｌｔａを用いて、上式（２）と（３）にしたがい一定の時間間隔（Δｔ）のデータ量（Δｄａｔａ）を算出する。また、Δｄａｔａ／Δｔ分離回路３２は、上式（４）にしたがい転送回数（ｓｃｎｔ）を算出する。
【００３３】
Δｄａｔａ／Δｔ分離回路３２は、入力ファイル１０を、算出した一定の時間間隔（Δｔ）のデータ量（Δｄａｔａ）をもつオーディオデータとビデオデータとに分離して、オーディオバッファ３４、３８のいずれか一方とビデオバッファ４２、４４のいずれか一方にそれぞれ格納する。
【００３４】
図２のオーディオ・ビデオ同期制御装置においては、Δｄａｔａ／Δｔ分離回路３２が、一定の時間間隔（Δｔ）でバッファスイッチ３３、４３の切り替え動作を制御して、データ量（Δｄａｔａ）の大きさをもつオーディオデータをオーディオバッファ３４、３８のいずれか一方に、データ量（Δｄａｔａ）の大きさをもつビデオデータをビデオバッファ４２、４４のいずれか一方に格納する。
【００３５】
また同時に、Δｄａｔａ／Δｔ分離回路３２は、算出した転送回数（ｓｃｎｔ）に基づいてバッファスイッチ３５、４５の切り替え動作を制御して、オーディオバッファ３４、３８の他方のバッファにすでに格納されたオーディオデータをオーディオデコーダ１６へ転送すると共に、ビデオバッファ４２、４４の他方のバッファにすでに格納されたビデオデータをビデオデコーダ２０へ転送する。
【００３６】
上記の実施形態によれば、従来の構成に比べて小さなサイズの復号化用バッファを用いてオーディオ・ビデオ同期制御装置を構成することができ、入力ファイルのアクセスユニットの大きさに依存しないサイズをもつ復号化用バッファを用いることで、オーディオ・ビデオ同期制御回路の規模を削減することが可能である。
【００３７】
また、上記の実施形態のオーディオ・ビデオ同期制御装置においては、適用される製品に使用されるビットレート（ｂｉｔｒａｔｅ）に基づいて、復号化用バッファの大きさ（ｂｕｆｆｅｒ＿ｓｉｚｅ）を近似的に求めることが可能である。その場合には、次式（５）に従って、復号化用バッファの大きさ（ｂｕｆｆｅｒ＿ｓｉｚｅ）を算出することで、図２の構成におけるバッファ３４、３８、４２、４４の各バッファサイズを決定すればよい。
【００３８】
【数５】

上記のバッファサイズ決定方法によれば、適用される製品のビットレート（ｂｉｔｒａｔｅ）が非常に大きい場合であっても、上式（５）におけるタイムスケール定数ｎの値を大きな値に設定することにより、バッファサイズが増大してしまうことを回避することができる。
【００３９】
さらに、図２の構成のオーディオ・ビデオ同期制御装置は、Δｄａｔａ／Δｔ分離回路３２が図６の時間ずれ補償回路（後述する）を含むよう構成することで、Δｄａｔａ／Δｔ分離回路３２の制御部によるバッファスイッチ切り替え動作における時間ずれを検知して、その時間ずれを補正することができる。
【００４０】
以下、この時間ずれの補正方式の原理について説明する。
【００４１】
まず、上式（１）を変形することで、次式（６）が得られる。
【００４２】
【数６】

上式（６）から明らかなように、ｐ番目のアクセスユニットのデコードタイムスタンプｄｔｓ（ｐ）とＤＴＳ時間間隔ａｕ＿ｄｔｓ＿ｄｅｌｔａを加算すれば、（ｐ＋１）番目のアクセスユニットのデコードタイムスタンプｄｔｓ（ｐ＋１）が求まる。
【００４３】
次式（８）で算出される、ｐ番目のアクセスユニットについてのデータ転送累積時間ｔ＿ｐａｓｔの値と、ｐ番目のアクセスユニットのデコードタイムスタンプｄｔｓ（ｐ）の値とを比較することで、時間ずれが発生したか否かを検知できる。すなわち、次式（７）で算出される、時間ずれｔ＿ｄｉｆｆの値がゼロに等しくなければ、時間ずれが発生したと判定する。時間ずれｔ＿ｄｉｆｆの算出値が正であれば、データ転送累積時間ｔ＿ｐａｓｔの値が大きすぎる場合であり、時間ずれｔ＿ｄｉｆｆの算出値が負であれば、データ転送累積時間ｔ＿ｐａｓｔの値が小さすぎる場合である。
【００４４】
【数７】

【００４５】
【数８】

ここで、Δｔ_ｉは各アクセスユニットの一定時間間隔（（３）式）の値を示す。
【００４６】
さらに、次式（９）にしたがって、時間ずれｔ＿ｄｉｆｆを補正することができる。
【００４７】
【数９】

この例では、式（９）に従って修正されたａｕ＿ｄｔｓ＿ｄｅｌｔａ（ｐ）を、図２の構成におけるΔｄａｔａ／Δｔ分離回路３２の制御部内の、ＤＴＳ時間間隔を格納するためのレジスタに転送して、前回算出した時間間隔（Δｔ）の値が調整されることで、時間ずれの補正が行われる。
【００４８】
次に、本発明のオーディオ・ビデオ同期制御方式を実際の場合に適用した例について説明する。
【００４９】
図８は、図７と同じＭＰ４ファイルに記述される各アクセスユニットのデータ量（ａｕ＿ｓｉｚｅ）の一例を示す。この例では、ｔｉｍｅ＿ｓｃａｌｅ＝１０００、ｎ＝１、ｂｉｔｒａｔｅ＝２Ｍｂｐｓ、ｂｕｆｆｅｒ＿ｓｉｚｅ＝０Ｘ１６０バイトに設定している。
【００５０】
図９は、図７のデコードタイムスタンプ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ）と、図８の各アクセスユニットのデータ量（ａｕ＿ｓｉｚｅ）とに基づき算出されるデータ量（Δｄａｔａ）の一例を示す。
【００５１】
図９の例において、４番目のアクセスユニットについてデコードタイムスタンプＤＴＳ（４）＝０Ｘ８５，データ転送累積時間ｔ＿ｐａｓｓ＝０Ｘ８３とすると、上式（７）及び（８）により、ａｕ＿ｄｔｓ＿ｄｅｌｔａ（５）＝０Ｘ２２−（０Ｘ８５−０Ｘ８３）＝０Ｘ１８となる。
【００５２】
上記の例で説明したように、従来のオーディオ・ビデオ同期制御方式では、同期を確立するため、１０Ｋバイト以上の容量のバッファを用意する必要がある。しかし、本発明のオーディオ・ビデオ同期制御方式を適用すれば、１０パーセント以上のバッファを削減することができる。
【００５３】
図３は、図２のオーディオ・ビデオ同期制御装置が実行する同期制御方法の一例を説明するためのフロー図である。とくに、図３の同期制御フローは、図２の構成におけるΔｄａｔａ／Δｔ分離回路３２の制御部（以下、制御部という）がバッファスイッチ３５、４５の切り替え動作を制御するために実行される。
【００５４】
図３の同期制御フローが開始すると、制御部は、ステップＳ１において、カウンタのカウント値ｃｎｔをゼロにリセットして、カウント動作を開始する。
【００５５】
ステップＳ２において、制御部は、経過時間ｔ＿ｉｎｔが算出したΔｔの時間間隔に達したか否かを判定する。ステップＳ２は、経過時間ｔ＿ｉｎｔがΔｔの時間間隔に達するまでくりかえし実行される。
【００５６】
ステップＳ２でΔｔの時間間隔に達すると、ステップＳ３において、制御部は、制御信号ｓｗｉｔｃｈ＿ｏｎ（＝１）をバッファスイッチ３５、４５へ出力するとともに、カウンタのカウント値ｃｎｔをインクリメントする。
【００５７】
ステップＳ３が完了すると、ステップＳ４において、制御部は、カウンタのカウント値ｃｎｔが算出したデータ転送回数ｓｃｎｔに達したか否かを判定する。データ転送回数ｓｃｎｔに達した場合には、次のアクセスユニットのデータの復号化処理を開始するため、上記ステップＳ１へ戻って上記処理を繰り返す。
【００５８】
データ転送回数ｓｃｎｔにまだ達しない場合には、同一アクセスユニットの残りのデータの復号化処理を継続するため、上記ステップＳ２へ戻って上記処理を繰り返す。
【００５９】
図２の構成では、復号化用バッファのオーバフローやアンダーフローを回避するために、ダブルバッファ（オーディオバッファ３４、３８、及びビデオバッファ４２、４４）を設けている。入力ファイル１０の先頭のアクセスユニットのデータについては、算出したデータ量Δｄａｔａをもつデータを、オーディオバッファ３４とビデオバッファ４２に格納する。次のアクセスユニット以降のデータについては、バッファスイッチ制御によって、交互に、オーディオバッファ３４と３８のいずれか一方とビデオバッファ４２、４４のいずれか一方に格納していく。
【００６０】
図４は、図２のオーディオ・ビデオ同期制御装置に用いられるバッファスイッチ制御回路を示す。
【００６１】
図４のバッファスイッチ制御回路は、図２の構成におけるΔｄａｔａ／Δｔ分離回路３２内に設けられ、その動作はΔｄａｔａ／Δｔ分離回路３２の制御部によって制御される。とくに、図４のバッファスイッチ制御回路は、バッファスイッチ３３、４３の切り替え動作を制御するための制御信号ｓｗｉｔｃｈ＿ｏｎを出力する。
【００６２】
図４において、このバッファスイッチ制御回路５０は、クロック生成部（ＣＬＫ）５１と、カウンタ（ｃｎｔ）５２と、クロック数算出部（ｃｌｋ＿ｎｕｍ）５３と、コンパレータ（ＣＯＭＰ）５４とを含む。
【００６３】
クロック生成部５１は、所定の周波数（ＣＬＫ＿Ｈｚ）をもつクロック信号をカウンタ５２とクロック数算出部５３へ出力する。
【００６４】
カウンタ５２は、入力されるクロック信号をカウントして、カウント値（ｃｎｔ）を示す信号をコンパレータ５４の一方の入力に送出する。また、起動時に入力されるリセット信号（ｒｅｓｅｔ）に応じて、カウンタ５２のカウント値はゼロにリセットされ、カウンタ５２はクロック信号のカウント動作を開始する。また、カウンタ５２は、コンパレータ５４の出力から制御信号ｓｗｉｔｃｈ＿ｏｎ（＝１）を受取った場合にも、カウント値がリセットされ、クロック信号のカウント動作を再開する。
【００６５】
クロック数算出部５３は、次式（１０）にしたがってクロック数（ｃｌｋ＿ｎｕｍ）を算出して、その算出結果をコンパレータ５４のもう一方の入力に送出する。
【００６６】
【数１０】

ここで、ΔｔはΔｄａｔａ／Δｔ分離回路３２が算出した上記の時間間隔を示し、ＣＬＫ＿Ｈｚは入力されるクロック信号の周波数を示す。
【００６７】
コンパレータ５４は、カウンタ５２から受取ったカウント値（ｃｎｔ）と、クロック数算出部５３から受取ったクロック数（ｃｌｋ＿ｎｕｍ）とを比較する。カウント値（ｃｎｔ）が増加して、クロック数（ｃｌｋ＿ｎｕｍ）に等しくなると、コンパレータ５４は制御信号ｓｗｉｔｃｈ＿ｏｎ（＝１）をバッファスイッチ３３、４３へ出力する。また、制御信号ｓｗｉｔｃｈ＿ｏｎ（＝１）が出力されると、カウンタ５２のカウント値がゼロにリセットされ、カウンタ５２はクロック信号のカウント動作を再開する。
【００６８】
図２の構成においては、バッファスイッチ制御回路５０起動後、最初に制御信号ｓｗｉｔｃｈ＿ｏｎ（＝１）が出力されると、バッファスイッチ３３はオーディオバッファ３４側に導通され、バッファスイッチ４３はビデオバッファ４２側に導通される。その後、バッファスイッチ制御回路５０の動作に従い、制御信号ｓｗｉｔｃｈ＿ｏｎ（＝１）が出力されるごとに、オーディオバッファ３４、３８と、ビデオバッファ４２、４４に対して、バッファスイッチ３３、４３の切り替え動作が交互に行われる。
【００６９】
図５は、図２のオーディオ・ビデオ同期制御装置が実行する同期制御方法の一例を説明するためのフロー図である。とくに、図５の同期制御フローは、図２の構成におけるΔｄａｔａ／Δｔ分離回路３２の制御部がバッファスイッチ３３、４３の切り替え動作を制御するために実行される。
【００７０】
図５の同期制御フローは、図４に説明したバッファスイッチ制御回路５０の動作と同様であるので、その説明を省略する。
【００７１】
図６は、本発明の第２の実施の形態に係るオーディオ・ビデオ同期制御装置を示す。とくに、図６のオーディオ・ビデオ同期制御装置は、図２の構成におけるΔｄａｔａ／Δｔ分離回路３２が、その制御部によるバッファスイッチ切り替え動作に時間ずれが発生した場合にその時間ずれを補正するための時間ずれ補償回路を含むように構成される。
【００７２】
図６の時間ずれ補償回路は、クロック生成部（ＣＬＫ）５１と、カウンタ（ｃｎｔ）５２と、カウント数（ｄｔｓ＿ｃｎｔ＿ｎｕｍ）格納レジスタ５３と、コンパレータ（ＣＯＭＰ）５４と、バッファスイッチ回路６１と、カウンタ（ｃｎｔ）６２と、カウント数（ｄｔｓ＿ｃｎｔ＿ｎｕｍ）格納レジスタ６３と、減算器（ｓｕｂ）６４と、ＤＴＳ時間間隔格納レジスタ６５と、加算器（ａｄｄ）６６とを含む。
【００７３】
図６の構成におけるバッファスイッチ回路６１は、図４のバッファスイッチ制御回路と同様に構成される。バッファスイッチ回路６１が制御信号ｓｗｉｔｃｈ＿ｏｎ（＝１）を出力するとき、カウンタ６２のカウント値ｃｎｔがインクリメントされる。カウンタ６２は、データ転送累積時間ｔ＿ｐａｓｔの値を示す信号（ｔ＿ｐａｓｓ）を減算器６４の一方の入力に送出する。
【００７４】
該当するアクセスユニットのｄｔｓをクロック信号の周期で割り算することにより算出したｄｔｓ＿ｃｎｔ＿ｎｕｍの値をレジスタ５３とレジスタ６３に格納する。レジスタ６３は該当するアクセスユニットのｄｔｓの値に相当する信号（ｄｔｓ）を減算器６４の他方の入力に出力する。
【００７５】
図６のバッファスイッチ制御回路５０は、カウンタ５２のカウント値ｃｎｔがレジスタ５３に格納されたｄｔｓ＿ｃｎｔ＿ｎｕｍの値に達したとき、制御信号ｓｕｂ＿ｏｎ（＝１）を減算器６４の制御入力に出力する。このとき、減算器６４は、上式（７）に示した時間ずれｔ＿ｄｉｆｆの値を示す信号（ｔ＿ｄｉｆｆ）を加算器６６の一方の入力に出力する。他方、レジスタ６５は、該当するアクセスユニットのＤＴＳ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ＿ｐ）を示す信号を加算器６６の他方の入力に出力する。そして、加算器６６の出力によって、時間ずれｔ＿ｄｉｆｆが補正されて、補正後のＤＴＳ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ＿ｐ）でレジスタ６５の格納データが修正される。
【００７６】
上記実施形態のオーディオ・ビデオ同期制御装置によれば、図２の構成におけるΔｄａｔａ／Δｔ分離回路３２の制御部によるバッファスイッチ切り替え動作における時間ずれを検知することができ、簡易な方式で検知された時間ずれを補正することができる。
【００７７】
（付記１）
圧縮符号化されたオーディオ・ビデオデータを含む入力ファイルから得られる各アクセスユニットのサイズ情報とタイムスタンプ情報に基づいて一定の時間間隔におけるデータ量を算出する手順と、前記時間間隔にしたがって、前記データ量をもつオーディオデータとビデオデータをオーディオバッファとビデオバッファにそれぞれ格納する手順と、前記タイムスタンプ情報に基づいてデータ転送回数を算出する手順と、前記データ転送回数にしたがって、前記オーディオデータと前記ビデオデータをオーディオデコーダとビデオデコーダへ転送する手順と を有することを特徴とするオーディオ・ビデオ同期制御方法。
【００７８】
（付記２）
前記オーディオバッファと前記ビデオバッファの大きさは、適用される製品のビットレートに基づいて算出されることを特徴とする付記１記載のオーディオ・ビデオ同期制御方法。
【００７９】
（付記３）
入力ファイルからの圧縮符号化されたオーディオ・ビデオデータをオーディオデータとビデオデータに分離するとともに、オーディオ・ビデオ同期制御を行う分離部と、分離されたオーディオデータを格納するオーディオバッファと、格納されたオーディオデータを復号化するオーディオデコーダと、分離されたビデオデータを格納するビデオバッファと、格納されたビデオデータを復号化するビデオデコーダとを有するオーディオ・ビデオ同期制御装置であって、前記分離部は、 前記入力ファイルから得られる各アクセスユニットのサイズ情報とタイムスタンプ情報に基づいて一定の時間間隔のデータ量を算出する手段と、算出された時間間隔にしたがって、算出されたデータ量をもつオーディオデータとビデオデータを前記オーディオバッファと前記ビデオバッファにそれぞれ格納する手段と、 前記タイムスタンプ情報に基づいてデータ転送回数を算出する手段と、算出されたデータ転送回数にしたがって、格納された前記オーディオデータと前記ビデオデータを、前記オーディオデコーダと前記ビデオデコーダへそれぞれ転送する手段とを備えることを特徴とするオーディオ・ビデオ同期制御装置。
【００８０】
（付記４）
前記オーディオバッファと前記ビデオバッファはそれぞれ、同じサイズの２個のバッファを並列に接続して構成されることを特徴とする付記３記載のオーディオ・ビデオ同期制御装置。
【００８１】
（付記５）
前記分離部は、当該アクセスユニットのデータ転送累積時間と対応するタイムスタンプ情報を比較することにより時間ずれを検知し、検知された時間ずれに応じて前記データ転送回数を調整することにより前記時間ずれを補正する時間ずれ補償回路を備えることを特徴とする付記３又は４記載のオーディオ・ビデオ同期制御装置。
【００８２】
（付記６）
前記分離部は、前記分離部と前記オーディオバッファ間、及び前記分離部と前記ビデオバッファ間にそれぞれ設けた第１のバッファスイッチと、前記オーディオバッファと前記オーディオデコーダ間、及び前記ビデオバッファと前記ビデオデコーダ間にそれぞれ設けた第２のバッファスイッチの切り替え動作を交互に行うよう構成したことを特徴とする付記３記載のオーディオ・ビデオ同期制御装置。
【００８３】
（付記７）
前記時間ずれ補償回路は、所定の周波数で入力されるクロック信号のカウント値と、前記時間間隔とに基づいて、前記オーディオバッファ及び前記ビデオバッファと、前記分離部との導通を切り替えるための制御信号を出力するバッファスイッチ制御回路を含むことを特徴とする付記５記載のオーディオ・ビデオ同期制御装置。
【００８４】
（付記８）
前記分離部は、所定の周波数で入力されるクロック信号のカウント値と、前記時間間隔とに基づいて、前記オーディオバッファ及び前記ビデオバッファと、前記分離部との導通を切り替えるための制御信号を出力するバッファスイッチ制御回路を含むことを特徴とする付記３記載のオーディオ・ビデオ同期制御装置。
【００８５】
【発明の効果】
以上説明したように、本発明のオーディオ・ビデオ同期制御方法及び装置によれば、入力ファイルのアクセスユニットの大きさに依存しないサイズをもつ復号化用バッファを用いることで、オーディオ・ビデオ同期制御回路の規模を削減することが可能である。したがって、オーディオ・ビデオ同期制御方式のコストの低減および処理時間の短縮に寄与することができる。また、本発明のオーディオ・ビデオ同期制御方法及び装置によれば、Δｄａｔａ／Δｔ分離回路の制御部によるバッファスイッチ切り替え動作に発生する可能性のある時間ずれを検知することができ、簡易な方式で検知された時間ずれを補正することができる。
【図面の簡単な説明】
【図１】従来のオーディオ・ビデオ同期制御装置の一例を示す図である。
【図２】本発明の第１の実施の形態に係るオーディオ・ビデオ同期制御装置を示す図である。
【図３】図２のオーディオ・ビデオ同期制御装置が実行する同期制御方法の一例を説明するためのフロー図である。
【図４】図３の同期制御方法を実現するために用いられるバッファスイッチ制御回路を示す図である。
【図５】図２のオーディオ・ビデオ同期制御装置が実行する同期制御方法の一例を説明するためのフロー図である。
【図６】本発明の第２の実施の形態に係るオーディオ・ビデオ同期制御装置を示す図である。
【図７】ＭＰ４ファイルに記述される各アクセスユニット間のデコードタイムスタンプ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ）の一例を示す図である。
【図８】図７と同じＭＰ４ファイルに記述される各アクセスユニットのデータ量（ａｕ＿ｓｉｚｅ）の一例を示す図である。
【図９】図７のデコードタイムスタンプ時間間隔（ａｕ＿ｄｔｓ＿ｄｅｌｔａ）と、図８の各アクセスユニットのデータ量（ａｕ＿ｓｉｚｅ）とに基づき算出されるデータ量（Δｄａｔａ）の一例を示す図である。
【符号の説明】
１０ ＭＰ４ファイル
１２ ＡＵ／ＤＴＳ分離回路
１４ オーディオＡＵバッファ
１６ オーディオデコーダ
１８ ビデオＡＵバッファ
２０ ビデオデコーダ
２２ オーディオＤＴＳバッファ
２４ ビデオＤＴＳバッファ
２６ 同期制御回路
３２ Δｄａｔａ／Δｔ分離回路
３３ バッファスイッチ
３４ オーディオバッファ
３５ バッファスイッチ
３８ オーディオバッファ
４２ ビデオバッファ
４３ バッファスイッチ
４４ ビデオバッファ
４５ バッファスイッチ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an audio / video synchronization control method and apparatus for synchronously reproducing an audio / video stream pre-compressed and encoded, such as an audio / video stream in an MP4 file defined in an MPEG4 (Moving Picture Experts Group 4) system. It is about.
[0002]
[Prior art]
In the conventional audio / video synchronization control method, a decoding time stamp (DTS) is described for each access unit (AU) in an audio / video stream compression-encoded based on a certain time base, and synchronous reproduction is performed according to the decoding time stamp. The method of performing is used.
[0003]
An access unit (AU) is a data unit that can be independently accessed in an audio / video stream. For example, in the case of video, it corresponds to encoded data of VOP (video object plane). In MPEG4, synchronization control of a compression-encoded audio / video stream is performed in units of access units (AU).
[0004]
FIG. 1 shows an example of a conventional audio / video synchronization control apparatus.
[0005]
In the audio / video synchronization control apparatus of FIG. 1, the MP4 file 10 includes an audio / video stream compressed and encoded in the MP4 file format, and is input to the AU / DTS separation circuit 12. The AU / DTS separation circuit 12 separates the input file 10 into an audio stream access unit (AU) and a video stream access unit (AU), and stores them in the audio AU buffer 14 and the video AU buffer 18, respectively.
[0006]
The audio data (au_data) of each access unit (AU) stored in the audio AU buffer 14 is transferred to the audio decoder 16 and decoded (decoded) by the audio decoder 16. The video data (au_data) of each access unit (AU) stored in the video AU buffer 18 is transferred to the video decoder 20 and decoded (decoded) by the video decoder 20. The audio data decoded by the audio decoder 16 is reproduced by a speaker, and at the same time, the video data decoded by the video decoder 20 is displayed on a display monitor.
[0007]
Further, in the conventional configuration of FIG. 1, the AU / DTS separation circuit 12 receives, from the input file 10, the DTS time interval (au_dts_delta) of each access unit of the audio stream and the DTS time interval (au_dts_delta) of each access unit of the video stream. Are stored in the audio DTS buffer 22 and the video DTS buffer 24, respectively.
[0008]
In the conventional audio / video synchronization control apparatus of FIG. 1, the synchronization control circuit 26 monitors each DTA time interval of the audio / video stream, and instructs a control signal a_dec_start for instructing to start a decoding process for audio data, and a video. A control signal v_dec_start instructing the start of the decoding process for data is output to the audio decoder 16 and the video decoder 20, respectively. Accordingly, the synchronization control circuit 26 performs synchronization control so that the corresponding decoder starts the decoding process in units of access units according to the DTS time interval.
[0009]
Here, the MP4 file has a table describing the time interval (au_dts_delta) between the DTS of the corresponding access unit and the DTS of the next access unit for each element stream. This DTS time interval (au_dts_delta) is calculated as shown in the following equation (1) for each element stream.
[0010]
[Expression 1]

Here, p is a number for identifying the corresponding access unit in the stream. When p = 0, DTS (0) = 0. The time unit of the DTS time interval (au_dts_delta) is (1 / time_scale) seconds.
[0011]
The DTS time interval table has a structure as shown in FIG. FIG. 7 is an example of a DTS table of an access unit (AU) of a video stream in a certain MP4 file. In FIG. 7, au_count indicates the number of access units having the same DTS time interval (au_dts_delta).
[0012]
In the conventional audio / video synchronization control system, synchronization is established by decoding an access unit (AU) according to the DTS time interval described in the table.
[0013]
As a conventional technique related to the present invention, Japanese Patent Application Laid-Open No. 11-164256 discloses that audio and video processing are performed independently, and audio data and video data having different reference processing times are synchronously reproduced. An audio / video synchronized playback method is shown.
[0014]
[Patent Document 1]
JP-A-11-164256
[0015]
[Problems to be solved by the invention]
In the conventional audio / video synchronization control system, since synchronization is controlled in units of access units, it is necessary to prepare a decoding buffer in units of access units. However, the size (au_size) of the access unit varies depending on various factors (for example, bit rate). When applied to a digital video camera, for example, in an 8 Mbps VGA IVOP, the size of one access unit is often several hundred kilobytes. On the other hand, it is not desirable to provide a large-capacity buffer in portable audio / video equipment.
[0016]
Therefore, in the conventional audio / video synchronization control system, since it is necessary to prepare a decoding buffer for each access unit, the scale of the synchronization control circuit tends to increase.
[0017]
Further, when a time lag occurs during synchronous playback of the audio / video stream, it is necessary to compensate for the time lag by skipping the video access unit or displaying the video access unit repeatedly. In the conventional audio / video synchronization control system, a method for efficiently compensating for the time lag is not considered.
[0018]
The present invention has been made in view of the above points, and reduces the size of an audio / video synchronization control circuit using a decoding buffer having a small size independent of the size of an access unit of an input file. It is an object of the present invention to provide an audio / video synchronization control method and apparatus capable of performing the above.
[0019]
[Means for Solving the Problems]
In order to solve the above problems, the present invention of The audio / video synchronization control method uses compressed and encoded audio. Data and Obtained from an input file containing video data Of audio and video data Size information of each access unit and Decode each access unit Time stamp information When On the basis of the , Regular time interval For each access unit to be transferred Procedure for calculating data amount and the time interval Every , Calculated The amount of data Size of Audio data and video data with Each access unit Storing audio in the audio buffer and video buffer respectively The decoding of each access unit obtained from the input file Time stamp information By multiplying by the inverse of the time interval A procedure for calculating the number of data transfers, Calculated According to the number of data transfers, By switching on and off the control signal output to the buffer switch provided between the audio buffer and the audio decoder and the control signal output to the buffer switch provided between the video buffer and the video decoder, The audio data and the video data Each access unit The Above With audio decoder Above Video decoder And each And a transfer procedure.
[0020]
Further, in order to solve the above problems, the present invention of Audio / video synchronization controller Data and From an input file containing video data Acquire each access unit of audio data and video data With audio Data and video data A separation unit for performing synchronous control; Acquired Audio data Each access unit Audio buffer for storing audio data stored Each access unit An audio decoder for decoding Acquired Video data Each access unit Video buffer to store the stored video data Each access unit An audio / video synchronization control device having a video decoder for decoding Audio data and video data obtained from the input file Size information of each access unit and Decode each access unit Time stamp information When On the basis of the , Regular time interval For each access unit to be transferred Means for calculating the amount of data; Above Time interval Every , Calculated Above amount of data Size of Audio data and video data with Each access unit Means for storing respectively in the audio buffer and the video buffer; The decoding of each access unit obtained from the input file Time stamp information By multiplying the inverse of the time interval According to the means for calculating the number of data transfers, and according to the calculated number of data transfers, By switching on / off a control signal output to a buffer switch provided between the audio buffer and the audio decoder, and a control signal output to a buffer switch provided between the video buffer and the video decoder, The audio data and the video data Each access unit The audio decoder and the video decoder And Each means for transferring.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0022]
First, the basic principle of the audio / video synchronization control system of the present invention will be described.
[0023]
As described above, in the conventional audio / video synchronization control system, the AU data having the size (au_size) of each access unit described in the MP4 file is stored in the decoding buffer, and the DTS time interval (au_dts_delta) is stored. Control synchronization. Instead, in the audio / video synchronization control system of the present invention, a fixed time calculated from the size (au_size) of each access unit and the DTS time interval (au_dts_delta) of each access unit described in the MP4 file. Audio / video data having a data amount (Δdata) of the interval (Δt) is stored in the decoding buffer and transferred to the decoder at the calculated transfer count (scnt) to establish synchronization.
[0024]
The data amount (Δdata) and the fixed time interval (Δt) are calculated according to the following equations (2) and (3) from au_size and au_dts_delta described in the MP4 file.
[0025]
[Expression 2]

[0026]
[Equation 3]

Here, n is an arbitrary integer (hereinafter, n is referred to as a time scale constant). The number of transfers (scnt) is calculated according to the following equation (4).
[0027]
[Expression 4]

FIG. 2 shows an audio / video synchronization control apparatus according to the first embodiment of the present invention. 2 includes a Δdata / Δt separation circuit 32, a pair of buffer switches 33 and 43, a pair of audio buffers 34 and 38, a pair of video buffers 42 and 44, and a pair of buffer switches. 35, 45, an audio decoder 16, and a video decoder 20.
[0028]
In the audio / video synchronization control device of FIG. 2, the switching operation of the buffer switches 33 and 43 and the buffer switches 35 and 45 is controlled by a control signal output from the control unit of the Δdata / Δt separation circuit 32.
[0029]
In addition, the control signal from the control unit of the Δdata / Δt separation circuit 32 to the buffer switches 33 and 43 alternately switches the buffer switches 33 and 43 with respect to the audio buffers 34 and 38 and the video buffers 42 and 44. Output as done. That is, as shown in FIG. 2, when the buffer switch 33 is electrically connected to the audio buffer 38 at a certain time, the buffer switch 43 is electrically connected to the video buffer 44. When the switching operation of the buffer switches 33 and 43 is performed at the next time point, the buffer switch 33 becomes conductive with the audio buffer 34 side, and at the same time, the buffer switch 43 becomes conductive with the video buffer 42 side.
[0030]
Similarly, the control signal from the control unit of the Δdata / Δt separation circuit 32 to the buffer switches 35 and 45 alternately switches the buffer switches 35 and 45 with respect to the audio buffers 34 and 38 and the video buffers 42 and 44. Is output as is done. That is, as shown in FIG. 2, when the buffer switch 35 is electrically connected to the audio buffer 34 side at a certain time, the buffer switch 45 is electrically connected to the video buffer 42 side. When the switching operation of the buffer switches 35 and 45 is performed at the next time point, the buffer switch 35 becomes conductive with the audio buffer 38 side, and at the same time, the buffer switch 45 becomes conductive with the video buffer 44 side.
[0031]
As shown in FIG. 2, in place of the AU / DTS separation circuit 12 in the conventional configuration of FIG. 1, the audio / video synchronization control apparatus of this embodiment is provided with a Δdata / Δt separation circuit 32. The MP4 file 10 includes an audio / video stream compressed and encoded in the MP4 file format, and is input to the Δdata / Δt separation circuit 32.
[0032]
The Δdata / Δt separation circuit 32 uses the au_size and au_dts_delta for each access unit obtained from the MP4 file 10, and uses a data amount (Δdata) at a constant time interval (Δt) according to the above equations (2) and (3). Is calculated. Further, the Δdata / Δt separation circuit 32 calculates the number of transfers (scnt) according to the above equation (4).
[0033]
The Δdata / Δt separation circuit 32 separates the input file 10 into audio data and video data having a data amount (Δdata) of the calculated constant time interval (Δt), and either one of the audio buffers 34 and 38 is separated. And stored in one of the video buffers 42 and 44, respectively.
[0034]
In the audio / video synchronization control device of FIG. 2, the Δdata / Δt separation circuit 32 controls the switching operation of the buffer switches 33 and 43 at a constant time interval (Δt), thereby reducing the size of the data amount (Δdata). The stored audio data is stored in one of the audio buffers 34 and 38, and the video data having a data amount (Δdata) is stored in either one of the video buffers 42 and 44.
[0035]
At the same time, the Δdata / Δt separation circuit 32 controls the switching operation of the buffer switches 35 and 45 based on the calculated number of transfers (scnt), and the audio data already stored in the other buffer of the audio buffers 34 and 38. Is transferred to the audio decoder 16 and the video data already stored in the other buffer of the video buffers 42 and 44 is transferred to the video decoder 20.
[0036]
According to the above embodiment, the audio / video synchronization control apparatus can be configured using a decoding buffer having a size smaller than that of the conventional configuration, and the size independent of the size of the access unit of the input file can be set. By using the decoding buffer, it is possible to reduce the scale of the audio / video synchronization control circuit.
[0037]
In the audio / video synchronization control apparatus of the above embodiment, the size (buffer_size) of the decoding buffer is approximately obtained based on the bit rate used for the product to be applied. Is possible. In that case, the buffer size of each of the buffers 34, 38, 42, and 44 in the configuration of FIG. 2 may be determined by calculating the size of the decoding buffer (buffer_size) according to the following equation (5). .
[0038]
[Equation 5]

According to the above buffer size determination method, even if the bit rate of the product to be applied is very large, the value of the time scale constant n in the above equation (5) is set to a large value. It is possible to avoid an increase in the buffer size.
[0039]
Further, the audio / video synchronization control device having the configuration of FIG. 2 is configured such that the Δdata / Δt separation circuit 32 includes the time shift compensation circuit (described later) of FIG. It is possible to detect a time lag in the buffer switch switching operation by and to correct the time lag.
[0040]
Hereinafter, the principle of this time shift correction method will be described.
[0041]
First, the following equation (6) is obtained by modifying the above equation (1).
[0042]
[Formula 6]

As apparent from the above equation (6), the decoding time stamp dts (p + 1) of the (p + 1) th access unit is obtained by adding the decoding time stamp dts (p) of the pth access unit and the DTS time interval au_dts_delta. I want.
[0043]
By comparing the value of the accumulated data transfer time t_past for the pth access unit calculated by the following equation (8) with the value of the decode time stamp dts (p) of the pth access unit, the time shift Whether or not has occurred can be detected. That is, if the value of the time shift t_diff calculated by the following equation (7) is not equal to zero, it is determined that a time shift has occurred. If the calculated value of the time lag t_diff is positive, the value of the data transfer accumulated time t_past is too large, and if the calculated value of the time lag t_diff is negative, the value of the accumulated data transfer time t_past is too small. is there.
[0044]
[Expression 7]

[0045]
[Equation 8]

Where Δt _i Indicates the value of a certain time interval (equation (3)) of each access unit.
[0046]
Furthermore, the time shift t_diff can be corrected according to the following equation (9).
[0047]
[Equation 9]

In this example, au_dts_delta (p) corrected according to the equation (9) is transferred to a register for storing the DTS time interval in the control unit of the Δdata / Δt separation circuit 32 in the configuration of FIG. The time offset is corrected by adjusting the value of the time interval (Δt).
[0048]
Next, an example in which the audio / video synchronization control system of the present invention is applied to an actual case will be described.
[0049]
FIG. 8 shows an example of the data amount (au_size) of each access unit described in the same MP4 file as FIG. In this example, time_scale = 1000, n = 1, bitrate = 2 Mbps, buffer_size = 0X160 bytes are set.
[0050]
FIG. 9 shows an example of the data amount (Δdata) calculated based on the decoding time stamp time interval (au_dts_delta) in FIG. 7 and the data amount (au_size) of each access unit in FIG.
[0051]
In the example of FIG. 9, assuming that the decoding time stamp DTS (4) = 0X85 and the data transfer accumulated time t_pass = 0X83 for the fourth access unit, au_dts_delta (5) = 0X22− according to the above equations (7) and (8). (0X85-0X83) = 0X18.
[0052]
As described in the above example, in the conventional audio / video synchronization control method, it is necessary to prepare a buffer having a capacity of 10 Kbytes or more in order to establish synchronization. However, if the audio / video synchronization control system of the present invention is applied, the buffer of 10% or more can be reduced.
[0053]
FIG. 3 is a flowchart for explaining an example of the synchronization control method executed by the audio / video synchronization control apparatus of FIG. In particular, the synchronization control flow of FIG. 3 is executed in order that the control unit (hereinafter referred to as the control unit) of the Δdata / Δt separation circuit 32 in the configuration of FIG. 2 controls the switching operation of the buffer switches 35 and 45.
[0054]
When the synchronization control flow of FIG. 3 starts, the control unit resets the count value cnt of the counter to zero in step S1, and starts the count operation.
[0055]
In step S2, the control unit determines whether or not the elapsed time t_int has reached the calculated Δt time interval. Step S2 is repeated until the elapsed time t_int reaches the time interval Δt.
[0056]
When the time interval Δt is reached in step S2, in step S3, the control unit outputs a control signal switch_on (= 1) to the buffer switches 35 and 45 and increments the count value cnt of the counter.
[0057]
When step S3 is completed, in step S4, the control unit determines whether or not the count value cnt of the counter has reached the calculated data transfer count scnt. When the data transfer count scnt is reached, the process returns to step S1 and the above process is repeated in order to start the data decoding process for the next access unit.
[0058]
If the data transfer count scnt has not yet been reached, the process returns to step S2 and repeats the above process in order to continue the decoding process of the remaining data of the same access unit.
[0059]
In the configuration of FIG. 2, double buffers (audio buffers 34 and 38 and video buffers 42 and 44) are provided in order to avoid overflow and underflow of the decoding buffer. As for the data of the head access unit of the input file 10, data having the calculated data amount Δdata is stored in the audio buffer 34 and the video buffer 42. Data after the next access unit is alternately stored in one of the audio buffers 34 and 38 and one of the video buffers 42 and 44 by buffer switch control.
[0060]
FIG. 4 shows a buffer switch control circuit used in the audio / video synchronization control apparatus of FIG.
[0061]
The buffer switch control circuit of FIG. 4 is provided in the Δdata / Δt separation circuit 32 in the configuration of FIG. 2, and its operation is controlled by the control unit of the Δdata / Δt separation circuit 32. In particular, the buffer switch control circuit of FIG. 4 outputs a control signal switch_on for controlling the switching operation of the buffer switches 33 and 43.
[0062]
In FIG. 4, the buffer switch control circuit 50 includes a clock generation unit (CLK) 51, a counter (cnt) 52, a clock number calculation unit (clk_num) 53, and a comparator (COMP) 54.
[0063]
The clock generation unit 51 outputs a clock signal having a predetermined frequency (CLK_Hz) to the counter 52 and the clock number calculation unit 53.
[0064]
The counter 52 counts the input clock signal and sends a signal indicating the count value (cnt) to one input of the comparator 54. Further, the count value of the counter 52 is reset to zero in response to a reset signal (reset) input at the time of activation, and the counter 52 starts counting operation of the clock signal. Further, when the counter 52 receives the control signal switch_on (= 1) from the output of the comparator 54, the count value is reset and the count operation of the clock signal is restarted.
[0065]
The clock number calculation unit 53 calculates the clock number (clk_num) according to the following equation (10), and sends the calculation result to the other input of the comparator 54.
[0066]
[Expression 10]

Here, Δt indicates the time interval calculated by the Δdata / Δt separation circuit 32, and CLK_Hz indicates the frequency of the input clock signal.
[0067]
The comparator 54 compares the count value (cnt) received from the counter 52 with the clock number (clk_num) received from the clock number calculation unit 53. When the count value (cnt) increases and becomes equal to the clock number (clk_num), the comparator 54 outputs the control signal switch_on (= 1) to the buffer switches 33 and 43. When the control signal switch_on (= 1) is output, the count value of the counter 52 is reset to zero, and the counter 52 resumes the clock signal counting operation.
[0068]
In the configuration of FIG. 2, when the control signal switch_on (= 1) is first output after the buffer switch control circuit 50 is activated, the buffer switch 33 is turned on to the audio buffer 34 side, and the buffer switch 43 is connected to the video buffer 42 side. Is conducted. Thereafter, in accordance with the operation of the buffer switch control circuit 50, every time the control signal switch_on (= 1) is output, the switching operation of the buffer switches 33 and 43 is performed for the audio buffers 34 and 38 and the video buffers 42 and 44. It is done alternately.
[0069]
FIG. 5 is a flowchart for explaining an example of the synchronization control method executed by the audio / video synchronization control apparatus of FIG. In particular, the synchronization control flow of FIG. 5 is executed in order for the control unit of the Δdata / Δt separation circuit 32 in the configuration of FIG. 2 to control the switching operation of the buffer switches 33 and 43.
[0070]
The synchronization control flow in FIG. 5 is the same as the operation of the buffer switch control circuit 50 described in FIG.
[0071]
FIG. 6 shows an audio / video synchronization control apparatus according to the second embodiment of the present invention. In particular, the audio / video synchronization control apparatus of FIG. 6 is for the Δdata / Δt separation circuit 32 in the configuration of FIG. 2 to correct the time shift when a time shift occurs in the buffer switch switching operation by the control unit. A time shift compensation circuit is configured to be included.
[0072]
6 includes a clock generation unit (CLK) 51, a counter (cnt) 52, a count number (dts_cnt_num) storage register 53, a comparator (COMP) 54, a buffer switch circuit 61, a counter ( cnt) 62, a count number (dts_cnt_num) storage register 63, a subtracter (sub) 64, a DTS time interval storage register 65, and an adder (add) 66.
[0073]
The buffer switch circuit 61 in the configuration of FIG. 6 is configured similarly to the buffer switch control circuit of FIG. When the buffer switch circuit 61 outputs the control signal switch_on (= 1), the count value cnt of the counter 62 is incremented. The counter 62 sends a signal (t_pass) indicating the value of the accumulated data transfer time t_past to one input of the subtractor 64.
[0074]
The value of dts_cnt_num calculated by dividing dts of the corresponding access unit by the period of the clock signal is stored in the register 53 and the register 63. The register 63 outputs a signal (dts) corresponding to the value of dts of the corresponding access unit to the other input of the subtractor 64.
[0075]
The buffer switch control circuit 50 in FIG. 6 outputs the control signal sub_on (= 1) to the control input of the subtractor 64 when the count value cnt of the counter 52 reaches the value of dts_cnt_num stored in the register 53. At this time, the subtractor 64 outputs a signal (t_diff) indicating the value of the time shift t_diff shown in the above equation (7) to one input of the adder 66. On the other hand, the register 65 outputs a signal indicating the DTS time interval (au_dts_delta_p) of the corresponding access unit to the other input of the adder 66. The time shift t_diff is corrected by the output of the adder 66, and the data stored in the register 65 is corrected at the corrected DTS time interval (au_dts_delta_p).
[0076]
According to the audio / video synchronization control apparatus of the above embodiment, it is possible to detect a time lag in the buffer switch switching operation by the control unit of the Δdata / Δt separation circuit 32 in the configuration of FIG. The time lag can be corrected.
[0077]
(Appendix 1)
A procedure for calculating a data amount at a fixed time interval based on the size information and time stamp information of each access unit obtained from the input file including the compression-encoded audio / video data, and according to the time interval, the data A procedure for storing audio data and video data having an amount in an audio buffer and a video buffer, a procedure for calculating the number of data transfers based on the time stamp information, and the audio data and the video according to the number of data transfers. An audio / video synchronization control method comprising: transferring data to an audio decoder and a video decoder.
[0078]
(Appendix 2)
2. The audio / video synchronization control method according to claim 1, wherein the sizes of the audio buffer and the video buffer are calculated based on a bit rate of a product to be applied.
[0079]
(Appendix 3)
The audio / video data compression-encoded from the input file is separated into audio data and video data, and a separation unit that performs audio / video synchronization control, an audio buffer that stores the separated audio data, and An audio / video synchronization control apparatus comprising: an audio decoder for decoding audio data; a video buffer for storing the separated video data; and a video decoder for decoding the stored video data, wherein the separation unit includes: Means for calculating a data amount at a fixed time interval based on size information and time stamp information of each access unit obtained from the input file, and audio data having a data amount calculated according to the calculated time interval And video data Means for storing each in a buffer and the video buffer; means for calculating the number of data transfers based on the time stamp information; and storing the audio data and the video data in accordance with the calculated number of data transfers, An audio / video synchronization control apparatus comprising: an audio decoder; and a means for transferring to each of the video decoders.
[0080]
(Appendix 4)
4. The audio / video synchronization control apparatus according to appendix 3, wherein the audio buffer and the video buffer are each configured by connecting two buffers of the same size in parallel.
[0081]
(Appendix 5)
The separation unit detects a time lag by comparing the time stamp information corresponding to the data transfer accumulated time of the access unit, and adjusts the number of times of data transfer according to the detected time lag. 6. The audio / video synchronization control apparatus according to appendix 3 or 4, further comprising a time shift compensation circuit for correcting the error.
[0082]
(Appendix 6)
The separation unit includes a first buffer switch provided between the separation unit and the audio buffer, and between the separation unit and the video buffer, between the audio buffer and the audio decoder, and between the video buffer and the video. 4. The audio / video synchronization control apparatus according to appendix 3, wherein the switching operation of the second buffer switch provided between the decoders is alternately performed.
[0083]
(Appendix 7)
The time shift compensation circuit is a control signal for switching conduction between the audio buffer and the video buffer and the separation unit based on a count value of a clock signal input at a predetermined frequency and the time interval. 6. The audio / video synchronization control apparatus according to claim 5, further comprising a buffer switch control circuit for outputting
[0084]
(Appendix 8)
The separation unit outputs a control signal for switching conduction between the audio buffer and the video buffer and the separation unit based on a count value of a clock signal input at a predetermined frequency and the time interval. 4. The audio / video synchronization control apparatus according to claim 3, further comprising a buffer switch control circuit for performing the operation.
[0085]
【The invention's effect】
As described above, according to the audio / video synchronization control method and apparatus of the present invention, an audio / video synchronization control circuit is provided by using a decoding buffer having a size independent of the size of the access unit of the input file. It is possible to reduce the scale. Therefore, it is possible to contribute to the reduction of the cost and the processing time of the audio / video synchronization control system. Further, according to the audio / video synchronization control method and apparatus of the present invention, it is possible to detect a time lag that may occur in the buffer switch switching operation by the control unit of the Δdata / Δt separation circuit, and in a simple manner. The detected time lag can be corrected.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a conventional audio / video synchronization control apparatus.
FIG. 2 is a diagram showing an audio / video synchronization control apparatus according to the first embodiment of the present invention;
FIG. 3 is a flowchart for explaining an example of a synchronization control method executed by the audio / video synchronization control apparatus of FIG. 2;
4 is a diagram showing a buffer switch control circuit used for realizing the synchronization control method of FIG. 3; FIG.
FIG. 5 is a flowchart for explaining an example of a synchronization control method executed by the audio / video synchronization control apparatus of FIG. 2;
FIG. 6 is a diagram showing an audio / video synchronization control apparatus according to a second embodiment of the present invention;
FIG. 7 is a diagram illustrating an example of a decoding time stamp time interval (au_dts_delta) between access units described in an MP4 file.
8 is a diagram showing an example of the data amount (au_size) of each access unit described in the same MP4 file as FIG.
9 is a diagram illustrating an example of a data amount (Δdata) calculated based on the decoding time stamp time interval (au_dts_delta) in FIG. 7 and the data amount (au_size) of each access unit in FIG. 8;
[Explanation of symbols]
10 MP4 files
12 AU / DTS separation circuit
14 Audio AU buffer
16 Audio decoder
18 Video AU buffer
20 Video decoder
22 Audio DTS buffer
24 Video DTS buffer
26 Synchronous control circuit
32 Δdata / Δt separation circuit
33 Buffer switch
34 Audio buffer
35 Buffer switch
38 Audio Buffer
42 Video buffer
43 Buffer switch
44 Video buffer
45 Buffer switch

Claims (5)

Based on the audio data obtained from the input file containing the compression-encoded audio data and video data and the size information of each access unit of the video data, and decoding time stamp information for each access unit for each predetermined time interval A procedure for calculating the amount of data for each access unit to be transferred ;
Storing each access unit of audio data and video data having the calculated amount of data for each time interval in an audio buffer and a video buffer;
Calculating the number of data transfers by multiplying the decode time stamp information of each access unit obtained from the input file by the inverse of the time interval ;
According to the calculated number of times of data transfer, the control signal output to the buffer switch provided between the audio buffer and the audio decoder and the control signal output to the buffer switch provided between the video buffer and the video decoder are turned on. - by switching off the audio and video synchronization control method characterized by having a step of transferring each respective access unit of the video data and the audio data to said video decoder and the audio decoder.   2. The audio / video synchronization control method according to claim 1, wherein the sizes of the audio buffer and the video buffer are calculated based on a bit rate of an applied product. From the input file containing the compressed encoded audio data and video data to acquire a respective access unit of the audio data and video data, a separating unit that performs synchronous control of the audio and video data, each access of the audio data acquired an audio buffer for storing units, an audio decoder for decoding the access units of the stored audio data, and video buffer for storing each access unit of the obtained video data, each access unit of the stored video data An audio / video synchronization control device having a video decoder for decoding,
The separation unit is
And size information of each access unit of the audio data and video data obtained from the input file on the basis of the decode time stamp information for each access unit, calculate the data amount of each access unit to be transferred at regular time intervals Means to
For each of the time intervals, and means for storing each of the respective access unit of audio data and video data having the calculated magnitude of the amount of data to the video buffer and the audio buffer,
Means for calculating the number of data transfers by multiplying the decode time stamp information of each access unit obtained from the input file by the reciprocal of the time interval ;
A control signal output to a buffer switch provided between the audio buffer and the audio decoder and a control signal output to a buffer switch provided between the video buffer and the video decoder according to the calculated number of times of data transfer An audio / video synchronization control apparatus comprising: means for transferring each access unit of the audio data and the video data to the audio decoder and the video decoder by switching between ON and OFF , respectively.   4. The audio / video synchronization control apparatus according to claim 3, wherein each of the audio buffer and the video buffer is configured by connecting two buffers of the same size in parallel. The separation unit detects a time lag by comparing the data transfer accumulated time of the access unit with the corresponding decode time stamp information, and adjusts the number of times of data transfer according to the detected time lag. 5. The audio / video synchronization control apparatus according to claim 3, further comprising a time shift compensation circuit for correcting the shift.

Images