WO2007004395A1

WO2007004395A1 - 再生装置、ビデオ復号装置、同期再生方法、プログラム及び記録媒体

Info

Publication number: WO2007004395A1
Application number: PCT/JP2006/311921
Authority: WO
Inventors: Kuniaki Takahashi
Original assignee: Sony Computer Entertainment Inc.
Priority date: 2005-07-01
Filing date: 2006-06-14
Publication date: 2007-01-11
Also published as: JP2007012218A; EP1909278A4; US7844166B2; US20090214178A1; EP1909278B1; EP1909278A1; JP4311570B2

Abstract

　ビデオとオーディオが多重化されたストリームのランダムアクセス再生において、ビデオとオーディオの同期再生は難しい。　多重分離部１１０は、入力された多重化ストリームからビデオパケット、オーディオパケットおよび字幕パケットを分離し、それぞれビデオデコーダ１３０、オーディオデコーダ１４０および字幕デコーダ１５０に供給する。ビデオデコーダ１３０は、入力されたビデオパケットを復号するとともに、ビデオストリームから取得した復号先頭ピクチャのＰＴＳをもとにして表示先頭ピクチャのＰＴＳを算出する。クロック制御部１２０は、表示先頭ピクチャのＰＴＳを同期信号としてオーディオデコーダ１４０および字幕デコーダ１５０に与える。オーディオデコーダ１４０および字幕デコーダ１５０は、表示先頭ＰＴＳと同じＰＴＳ値をもつオーディオおよび字幕のアクセスユニットを復号する。

Description

明細書

再生装置、ビデオ復号装置および同期再生方法

技術分野

[0001] この発明は、ビデオとオーディオが多重化されたストリームを復号する再生装置、ビデォ復号装置、および同期再生方法に関する。

背景技術

[0002] DVD (Digital Versatile Disc)などの大容量の光ディスクメディアを再生可能なメディァプレーヤやパーソナルコンピュータが普及しており、高品質の映像コンテンツが D VDなどに格納されて提供されている。また、テレビ放送などで提供されるコンテンツを DVDに録画することのできる DVDレコーダも普及している。 DVDなどの記録媒体にビデオやオーディオを蓄積するためには圧縮符号ィヒ技術が不可欠である。また、映像コンテンツでは、動画に音声や字幕が同期して再生される必要があり、同期再生のための制御機構も必須である。

[0003] 動画像圧縮符号化技術の標準として、 MPEG (Moving Picture Experts Group)や H. 264/AVC (Advanced Video Coding)がある。ビデオやオーディオの符号化ストリームは、再生時刻情報など同期再生に必要なヘッダ情報とともにシステム多重化されて、記録媒体に蓄積される。蓄積メディア向けのシステム多重化技術の標準として、 MPEG— 2システムのプログラムストリームなどがある。

[0004] MPEG— 2システムのプログラムストリームでは、ビデオおよびオーディオの再生の単位であるアクセスユニット単位で再生すべき時刻を示す PTS (Presentation Time S tamp,プレゼンテーションタイムスタンプ）情報が付加されている。ビデオとオーディオの同期再生は、この PTS情報にもとづいて行われる。

発明の開示

発明が解決しょうとする課題

[0005] MPEG— 2システムのプログラムストリームなどの多重化ストリームを先頭から再生せずに、途中の画像から再生するランダムアクセスを行った場合、システムレイヤで得られる PTS情報だけではビデオとオーディオの同期再生を正しく行うことができなレ、こと力 Sある。ビデオのストリームは、動画像符号化処理レイヤにおいて、未来のフレームを参照するフレーム間予測符号ィ匕が行われていることがあり、ランダムアクセスポイントからの再生を行った場合、フレームの復号順序と表示順序が一致せず、ランダムアクセスの際に取得されたシステムレイヤで取得された PTS情報は、そのままではビデオとオーディオの同期再生のための基準タイムスタンプとして利用することができないからである。

[0006] 表示順序において先頭となるピクチャの PTS情報を何らかの方法で取得し、表示先頭ピクチャの PTS情報を基準としてオーディオや字幕を同期させる必要があるが、多重化ストリームのファイルサイズを小さく抑えるため、 PTS情報はランダムアクセスポイントのピクチャにしか付加されていないことが多ぐ同期再生に必要な PTS情報

[0007] 本発明はこうした課題に鑑みてなされたものであり、その目的は、ビデオとオーディォなどが多重化されたストリームをランダムアクセスして再生する際に、ビデオとォーディォなどを同期させることのできる再生装置、ビデオ復号装置および同期再生方法を提供することにある。

課題を解決するための手段

[0008] 上記課題を解決するために、本発明のある態様の再生装置は、ビデオストリームとオーディオストリームが多重化された多重化ストリームからビデオデータとオーディオデータを分離する分離部と、前記ビデオデータを復号するビデオ復号部と、前記ォ一ディォデータを復号するオーディオ復号部と、前記オーディオ復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含む。前記ビデオ復号部は、前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチヤの再生タイムスタンプを算出するタイムスタンプ算出部を含む。前記制御部は、算出された前記表示先頭ピクチヤの再生タィムスタンプを前記同期信号として前記オーディオ復号部に与える。

[0009] 本発明の別の態様もまた、再生装置である。この装置は、ビデオストリーム、オーディォストリームおよび字幕ストリームが多重化された多重化ストリームからビデオデータ、オーディオデータおよび字幕データを分離する分離部と、前記ビデオデータを復号するビデオ復号部と、前記オーディオデータを復号するオーディオ復号部と、前記字幕データを復号する字幕復号部と、前記オーディオ復号部および前記字幕復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含む。前記ビデォ復号部は、前記多重化ストリームに対して途中のピクチャから再生するランダムァクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチヤの再生タイムスタンプを算出するタイムスタンプ算出部を含む。前記制御部は、算出された前記表示先頭ピクチヤの再生タイムスタンプを前記同期信号として前記オーディオ復号部および前記字幕復号部に与える。

[0010] 本発明のさらに別の態様は、ビデオ復号装置である。この装置は、ビデオストリームとオーディオストリームが多重化された多重化ストリームから分離されたビデオデータを復号する復号部と、前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチャの再生タイムスタンプをもとに最初に表示される表示先頭ピクチヤの再生タイムスタンプを算出するタイムスタンプ算出部とを含む。

[0011] 本発明のさらに別の態様は、同期再生方法である。この方法は、ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチャの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出し、算出された前記表示先頭ピクチヤの再生タイムスタンプに同期させて前記オーディオストリームを復号して再生する。

[0012] 本発明のさらに別の態様は、プログラムである。このプログラムは、ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得するステップと、前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するステップと、ビデオの再生にオーディオの再生を同期させるための同期信号として、算出された前記表示先頭ピクチヤの再生タイムスタンプを出力するステップとをコンピュータに実行させる。

[0013] このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよレ、。このファームウェアは、たとえば、機器内の ROMやフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよぐまた、このプログラムが通信回線で伝送されてもよい

[0014] なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0015] 本発明によれば、ビデオとオーディオなどが多重化されたストリームをランダムァクセスして再生する際に、ビデオとオーディオなどを正確に同期させることができる。図面の簡単な説明

[0016] [図 1]実施の形態に係る多重符号化装置の構成図である。

[図 2]図 1のビデオエンコーダの構成図である。

[図 3]図 1の多重符号ィ匕装置により生成されるプログラムストリームのデータ構造を説明する図である。

[図 4]実施の形態に係る同期再生装置の構成図である。

[図 5]図 4のビデオデコーダの構成図である。

[図 6]図 5の表示先頭 PTS算出部による表示先頭 PTSの算出手順を説明する図である。 [図 7]図 4の同期再生装置による同期再生処理の手順を説明するフローチャートである。

符号の説明

[0017] 10 蓄積バッファ、 12 可変長復号部、 14 逆量子化部、 16 逆直交変換部、 18 加算器、 20 フレームメモリ、 22 動き補償部、 24 フレーム並べ替え用バッファ、 26 DZA変換部、 28 表示先頭 PTS算出部、 100 同期再生装置、 110 多重分離部、 120 クロック制御部、 130 ビデオデコーダ、 140 ォーディォデコーダ、 150 字幕デコーダ、 160 表示出力部、 170 音声出力部、 200 多重符号化装置、 210 ビデオエンコーダ、 220 オーディオエンコーダ、 230 字幕エンコーダ、 240 ビデオパケット化部、 250 オーディオパケット化部、 260 字幕パケットィ匕部、 270 多重化部。

発明を実施するための最良の形態

[0018] 図 1は、実施の形態に係る多重符号化装置 200の構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウェアのみ、ソフトゥェァのみ、またはそれらの組合せによっていろいろな形で実現することができる。

[0019] 多重符号化装置 200には、ビデオデータ、オーディオデータおよび字幕データが入力される。このオーディオと字幕はビデオと同期して再生されるべきものである。

[0020] ビデオエンコーダ 210は、一例として、 H. 264/AVC規格にしたがって、入力されたビデオデータを符号化し、符号化ビデオストリームを生成する。

[0021] オーディオエンコーダ 220は、一例として、 MPEGオーディオなどの規格にしたがつて、入力されたオーディオデータを符号化し、符号ィ匕オーディオストリームを出力する。字幕エンコーダ 230は、入力された字幕データを符号化し、符号化字幕ストリームを出力する。

[0022] ビデオエンコーダ 210、オーディオエンコーダ 220および字幕エンコーダ 230により符号化されたストリームは、エレメンタリストリーム（Elementary Stream ; ES)と呼ばれる

[0023] H. 264/AVC規格では、動画像符号化処理を行う VCL (Video Coding Layer,ビデォ符号化層）と呼ばれるレイヤと、符号化されたデータを伝送または蓄積するシステムレイヤとの間に、 NAL (Network Abstraction Layer,ネットワーク抽象層）と呼ばれるレイヤが設けられてレ、る。

[0024] ビデオ、オーディオ、字幕の各エレメンタリストリームは、この NALと呼ばれるレイヤで NALユニットと呼ばれる単位で扱われ、情報の伝送や蓄積を行うためのシステムレイヤにマッピングされる。

[0025] ビデオストリームにおいてピクチャ単位でのアクセスを可能とするために、レ、くつかの NALユニットがアクセスユニットと呼ばれる単位にまとめられる。オーディオストリーム、字幕ストリームも同様に、レ、くつかの NALユニットをまとめたアクセスユニット単位でアクセス可能に構成される。

[0026] 本実施の形態の多重符号化装置 200は、システムレイヤにおいて MPEG— 2システムのプログラムストリーム（Program Stream ; PS)の規格にしたがって、多重化ストリームを生成し、記録媒体に蓄積する。多重化のために、ビデオ、オーディオ、字幕の各ストリームはパケットィ匕される。

[0027] ビデオパケットィ匕部 240は、ビデオエンコーダ 210から出力される符号ィ匕ビデオストリームを PES (Packetized Elementary Stream)パケットにパケット化する。同様に、ォ一ディォパケットィ匕部 250は、オーディオエンコーダ 220から出力される符号化ォーディォストリームを PESパケットにパケット化し、字幕パケットィ匕部 260は、字幕ェンコーダ 230から出力される符号ィ匕字幕ストリームを PESパケットにパケットィ匕する。

[0028] 多重化部 270は、ビデオ、オーディオおよび字幕の PESパケットを MPEG— 2システムのプログラムストリームとして多重化し、生成された多重化ストリームを出力する。生成された多重化ストリームは、 DVDやメモリカードなどの記録媒体に記録される。

[0029] 図 2は、ビデオエンコーダ 210の構成図である。ビデオエンコーダ 210は、フレーム単位で動画像の入力信号を受け取り、フレーム画像を符号化し、動画像の符号化ストリームを出力する。

[0030] AZD変換部 50は、アナログ入力信号をデジタル化し、フレーム並べ替え用バッファ 52に与える。フレーム並べ替え用バッファ 52は、フレーム間予測符号化のためにフレームを並べ替えて保持するバッファである。 H. 264/AVC規格では、フレーム間予測符号化の際、過去、未来のいずれのフレームを参照画像としてもよぐまた参照するフレームの枚数も任意であり、フレームの並べ替え用のバッファを設け、動き予測'補償部 66に参照画像を供給する必要がある。

[0031] 動き予測 ·補償部 66は、フレーム並べ替え用バッファ 52に格納されている過去または未来の画像フレームを参照画像として利用し、 P (Predictive)フレームまたは B (Bト predictive prediction)フレームのマクロブロック毎に動き予測を行レ、、動きべタトノレと動き補償された予測画像とを生成する。動き予測 ·補償部 66は、生成した動きべタトルを可変長符号ィ匕部 68に与え、予測画像を差分器 54に与える。

[0032] 差分器 54は、フレーム並べ替え用バッファ 52から供給される画像フレームが I (Intr a)フレームである場合、そのまま直交変換部 56に供給し、 P/Bフレームである場合は、動き予測 ·補償部 66から供給される予測画像との差分を計算して直交変換部 56 に供給する。

[0033] 直交変換部 56は、供給された Iフレームの画像もしくは PZBフレームの差分画像を離散コサイン変換（Discrete Cosine Transform ; DCT)し、得られた DCT係数を量子化部 58に与える。

[0034] 量子化部 58は、 DCT係数を量子化し、可変長符号化部 68に与える。また、量子化部 58は、動き補償を行うために、画像フレームの量子化された DCT係数を逆量子化部 60に供給する。逆量子化部 60は、与えられた量子化データを逆量子化し、逆直交変換部 62に与え、逆直交変換部 62は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化された画像フレームが復元される。復元された画像フレームはフレームメモリ 64に格納される。

[0035] 動き予測 ·補償部 66は、フレームメモリ 64に格納された再構成されたフレーム画像を符号化対象フレームとして参照し、動き補償を行う。

[0036] 可変長符号化部 68は、量子化部 58により量子化された DCT係数の可変長符号化を行い、可変長符号化された圧縮画像データを蓄積バッファ 70に格納する。可変長符号化部 68は、 PZBフレームの場合は、動き予測'補償部 66から与えられた動きベクトルとともに差分画像の量子化された DCT係数を可変長符号化する。

[0037] レート制御部 72は、蓄積バッファ 70に蓄積されるフレーム画像のフレームレートを制御し、量子化部 58における量子化ステップを調整する。フレーム画像は可変長符号化されるため、各フレームのデータ量は符号ィ匕するまで判明しない。そのため、蓄積バッファ 70に蓄積されたフレーム画像を再生するときのフレームレートを検出して、量子化ステップを増減し、所定のフレームレートで再生が可能な符号量に調整する必要がある。

[0038] 蓄積バッファ 70に蓄積された圧縮フレーム画像と動きベクトル情報を含む画像圧縮情報が符号ィ匕ビデオストリームとして出力され、ビデオパケット化部 240に供給される。

[0039] 図 3は、多重符号ィ匕装置 200により生成されるプログラムストリーム 300のデータ構造を説明する図である。

[0040] MPEG— 2システムのプログラムストリーム 300は、ビデオストリーム、オーディオストリームおよび字幕ストリームが PESパケットとしてパケットィ匕され、多重化されたものである。複数の PESパケットをまとめた単位はパック（Pack)と呼ばれ、プログラムストリーム 300は、パックを順次並べたデータ構造をもつ。ここでは、 1つのパック内に 1つの P ESパケットを含む構成を採用している。

[0041] 先頭のパックは、パックヘッダ 302とビデオ PESパケット 304を含む。ビデオ PESパケット 304のヘッダには、ビデオの再生時刻の基準を与える PTS情報 305が含まれ、ペイロードにはビデオデータ 306が含まれる。

[0042] この PTS情報 305は、ランダムアクセスの対象となるアクセスユニットのビデオ PES パケットにのみ含まれ、ランダムアクセスの対象とならないアクセスユニットのビデオ P ESパケットには PTS情報は含まれなレ、。プログラムストリーム 300のデータサイズが大きくなるのを避けるためである。もっともプログラムストリーム 300のデータサイズが大きくなつてもかまわなレ、場合は、ランダムアクセスの対象であるかどうかを問わず、すべてのアクセスユニットのビデオ PESパケットのヘッダに PTS情報をもたせても力まわない。

[0043] 第 2のパックは、パックヘッダ 308とビデオ PESパケット 310を含む。第 3のパックは、パックヘッダ 312とオーディオ PESパケット 314を含む。第 4のパックは、パックへッダ 316と字幕 PESパケット 318を含む。オーディオ PESパケット 314および字幕 PES パケット 318のヘッダにも、オーディオおよび字幕の再生時刻の基準を与える PTS情報が適宜含まれている。

[0044] ビデオストリームのアクセスユニットがランダムアクセスされた場合、ランダムアクセスされたアクセスユニットのビデオ PESパケット 304のヘッダ力 PTS情報 305が取り出される。

[0045] H. 264ZAVC規格では、 IDR (Instantaneous Decoding Refresh)ピクチャを用レヽたランダムアクセス機能が規定されている。 IDRピクチャは、そのピクチヤよりも前のピクチャの情報がなくても、それ以降のピクチャの復号が可能となるピクチヤであり、参照ピクチャを一時的に保持していたバッファもリセットされる。多重符号化装置 200のビデオエンコーダ 210は、 IDRピクチャに対して PTS情報を記録しており、記録媒体に格納されたプログラムストリーム 300がランダムアクセスされた際、復号先頭ピクチャである IDRピクチャから PTS値が取得される。

[0046] このように、 MPEG— 2システムのプログラムストリームでは、ビデオ、オーディオおよび字幕の同期再生のために、ビデオ、オーディオおよび字幕のそれぞれについて、再生の単位であるアクセスユニットに、再生出力時刻を示す PTSが付加されている。ビデオ、オーディオおよび字幕の各アクセスユニットの PTSを同期させることで、ビデォ、オーディオおよび字幕の同期再生が基本的には可能である。

[0047] し力しながら、プログラムストリームに対してランダムアクセスを行った場合、ビデオストリームは、未来のフレームを参照するフレーム間予測符号化がなされているため、符号化ビデオストリームから復号されるピクチャの順序と、表示されるピクチャの順序は一致しなレ、。したがって、復号順序において最初のピクチャが表示順序において最初になるとは限らなレ、。ランダムアクセスしたときに得られるビデオの PTSは、復号先頭のピクチャから取得されたものであるから、表示順序で最初のピクチャの PTSとは一般に異なる。復号先頭ピクチャの PTSに合わせてオーディオや字幕を同期させてしまうと、復号先頭ピクチャは表示順の最初のピクチャではない場合に、同期が正しく取れないことになる。そこで、本実施の形態の同期再生装置 100では、同期再生を正しく行えるように、復号先頭ピクチャの PTSから表示先頭ピクチャの PTSを内部的に算出する。

[0048] 図 4は、実施の形態に係る同期再生装置 100の構成図である。これらの機能ブロックもハードウェアのみ、ソフトウェアのみ、またはそれらの糸且合せによっていろいろな形で実現することができる。

[0049] 同期再生装置 100は、ビデオ、オーディオおよび字幕のパケットが多重化されたストリームの入力を受け取り、ビデオ、オーディオおよび字幕の同期再生を行う。この多重化ストリームは、多重符号化装置 200により生成され、記録媒体に蓄積されたものであり、ランダムアクセスされ、ランダムアクセスされたポイントからストリームのパケットデータが読み出され、同期再生装置 100に入力される。

[0050] 多重分離部 110は、入力された多重化ストリームからビデオパケット、オーディオパケットおよび字幕パケットを分離し、それぞれビデオデコーダ 130、オーディオデコーダ 140および字幕デコーダ 150に供給する。

[0051] また、多重分離部 110は、システムレイヤにおいて、ビデオパケットから PTS情報を抽出し、得られた PTSをクロック制御部 120に与える。この PTSは、ビデオストリームのランダムアクセスポイントにおけるアクセスユニットのヘッダから取得されるものであり、復号先頭ピクチャの PTS (以下、「復号先頭 PTS」という）である。

[0052] クロック制御部 120は、ビデオの再生に同期させるための同期信号をオーディオデコーダ 140および字幕デコーダ 150に与え、同期制御を行う。まず、クロック制御部 1 20は、復号先頭 PTSをビデオデコーダ 130に与える。

[0053] ビデオデコーダ 130は、入力されたビデオの圧縮情報を復号するとともに、復号先頭 PTSをもとにして表示先頭ピクチャの PTS (以下、「表示先頭 PTS」という）を算出する。ビデオデコーダ 130は、表示先頭 PTSをクロック制御部 120に与える。また、ビデォデコーダ 130は、復号されたビデオデータを表示出力部 160に与える。

[0054] クロック制御部 120は、ビデオデコーダ 130から与えられた表示先頭 PTSを同期信号としてオーディオデコーダ 140および字幕デコーダ 150に与える。オーディオデコーダ 140および字幕デコーダ 150は、表示先頭 PTSと同じ PTS値をもつオーディオおよび字幕のアクセスユニットを復号し、オーディオデコーダ 140は復号されたォーディォデータを音声出力部 170に与え、字幕デコーダ 150は復号された字幕データを表示出力部 160に与える。

[0055] 表示出力部 160は、ビデオデータと字幕データを表示装置に表示し、音声出力部 170はオーディオデータをスピーカから出力する。表示先頭ピクチャの PTSに同期して、オーディオデータと字幕データが再生されているため、オーディオと字幕がビデォに正しく同期する。

[0056] 図 5は、ビデオデコーダ 130の構成図である。ビデオデコーダ 130は、多重分離部 110からビデオの符号ィ匕フレーム画像と動きベクトル情報を含む画像圧縮情報の入力を受け取り、圧縮された画像情報を復号して出力信号を生成する。

[0057] 蓄積バッファ 10は、多重分離部 110から入力される画像圧縮情報を蓄積する。可変長復号部 12は、蓄積バッファ 10に蓄積された画像圧縮情報を可変長復号し、復号された画像データを逆量子化部 14に供給し、動きべ外ル情報を動き補償部 22に供給する。

[0058] 逆量子化部 14は、可変長復号部 12により復号された画像データを逆量子化し、逆直交変換部 16に供給する。逆直交変換部 16は、逆量子化部 14により逆量子化された DCT係数を逆離散コサイン変換 (IDCT)することにより、元の画像データを復元する。逆直交変換部 16により復元された画像データは、加算器 18に供給される。

[0059] 逆直交変換部 16から出力される画像データが Iフレームである場合、加算器 18は、 Iフレームの画像データをそのままフレーム並べ替え用バッファ 24に格納するとともに、 P/Bフレームの予測画像を生成する際の参照画像としてフレームメモリ 20に格納する。

[0060] 逆直交変換部 16から出力された画像データが P/Bフレームである場合、その画像データは差分画像であるため、加算器 18は、その差分画像と動き補償部 22から供給される予測画像とを加算することにより、元の画像データを復元し、フレーム並べ替え用バッファ 24に格納する。

[0061] 動き補償部 22は、可変長復号部 12から供給される動きべ外ル情報と、フレームメモリ 20に格納された参照画像とを用いて、 P/Bフレームの予測画像を生成し、加算器 18に供給する。

[0062] フレーム並べ替え用バッファ 24は、蓄積されたフレーム画像を表示順序に並べ替えるためのバッファであり、表示順に並べ替えられたフレーム画像は D/A変換部 26 に供給される。 DZA変換部 26はフレーム画像をアナログ信号に変換し、表示出力部 160に出力する。

[0063] 表示先頭 PTS算出部 28は、クロック制御部 120から復号先頭 PTSを取得する。また、可変長復号部 12は、復号されたビデオストリームから「CPB引き抜き遅延時間」 ( cpb_removal_delay)と「DPB出力遅延時間」（dpb_output_delay)の 2つのパラメータを抽出し、表示先頭 PTS算出部 28に供給する。表示先頭 PTS算出部 28は、復号先頭 PTS、 CPB引き抜き遅延および DPB出力遅延にもとづいて、表示先頭 PTSを算出し、クロック制御部 120に与える。

[0064] ここで、「CPB引き抜き遅延時間」と「DPB出力遅延時間」は、 H. 264ZAVC規格により符号化されるビデオストリームのシンタックスパラメータであり、ピクチャタイミンク、 ¾Ε丄 (Picture nmmg supplemental Enhancement Information;にまれる†*芊艮で、ある。これらのパラメータは、 H. 264/AVCで採用されている仮想デコーダモデルにしたがって規定されている。以下、この仮想デコーダモデルについて説明する。

[0065] ビデオデコーダ 130は、ビデオのビットストリームを蓄積バッファ 10にバッファリングしながら、符号化されたデータを復号し、画像を再生するが、このとき、蓄積バッファ 1 0がオーバーフローしたり、アンダーフローすることがないように、ビットストリームが生成されている必要がある。このため、 H. 264/AVC規格では、仮想デコーダモデルによりデコーダの振る舞いがモデル化されている。

[0066] 仮想デコーダモデルでは、 CPB (Coded Picture Buffer,符号化ピクチャバッファ）と DPB (Decoded Picture Buffer,復号ピクチャバッファ）の 2つのバッファが規定されている。 CPBは、復号処理に投入される前のビットストリームを蓄積するバッファであり、図 5のビデオデコーダ 130の蓄積バッファ 10に相当する。 DPBは、デコーダにより復号されたピクチャを表示するまでの間、蓄積するバッファであり、ビデオデコーダ 130 のフレーム並べ替え用バッファ 24に相当する。

[0067] アクセスユニットのデータは、まず CPBに入力され、各アクセスユニットのデータは、 CPBリムーバルタイム（CPB removal time)で指定された時刻（「CPB引き抜き時刻」と呼ぶ）に CPBから取り出され、復号される。

[0068] 復号されたピクチャは、 CPB引き抜き時亥 IJに DPBに入力され、蓄積される。 DPBに蓄積されたピクチャは、 DPBアウトプットタイム（DPB output time)で指定された時刻（「DPB出力時刻」という）に DPBから出力され、表示される。

[0069] 仮想デコーダでは、ビデオストリームのデータは、 CPBから引き抜かれると同時に、瞬時に復号されて、 DPBに入力されるものとしてモデル化されている。 DPBは、動き補償のために参照ピクチャを一時的に保持するため、復号されたピクチャの表示順序を入れ替えるため、および表示出力時刻まで復号されたピクチャを保持しておくために使用される。

[0070] CPB引き抜き時刻と DPB出力時刻が同じであるなら、 CPBから引き抜かれて復号されたピクチャは、 DPBに蓄積されずに、そのまま出力される力そのピクチヤが参照ピクチャであるなら、動き補償の際に参照するために DPBに保持される。また、 DPB 出力時刻が CPB引き抜き時刻よりも大きい場合は、 CPBから引き抜かれて復号されたピクチャは、表示順序を入れ替えるために、 DPBにいつたん蓄積され、 DPB出力時刻まで出力が遅延される。

[0071] 「CPB引き抜き遅延時間」は、最初のピクチャの復号が始まってから、あるピクチャ力 SCPBから引き抜かれるまでの遅延時間であり、「DPB出力遅延時間」は、あるピクチヤが CPBから引き抜かれた後、 DPBから出力されるまでの遅延時間である。

[0072] 図 6は、表示先頭 PTS算出部 28による表示先頭 PTSの算出手順を説明する図である。同図の上段にはピクチャの復号順序が示され、下段にはピクチャの表示順序が示されている。

[0073] 符号化ビデオストリームにおいて、 IDR2、 P5、 BO、 B1の順でピクチャが復号されるとする。 IDR2は、ランダムアクセスされた復号先頭ピクチヤである。 IDR、 P、 Bの各記号は、それぞれ IDRピクチャ、 Pピクチャ、 Bピクチャであることを示し、各記号の後ろの数字は表示順序を示す。すなわち、 BO、 Bl、 IDR2の順でピクチヤが表示される。 BOが表示先頭ピクチヤである。

[0074] IDR2の復号時刻において、 IDR2の PTS値である PTS と、 DPB出力遅延時間

IDR2

である dpb output delay が取得される。 PTS は復号先頭 PTSである。 dp

IDR2 IDR2

b output delay は、符号 334で示すように、復号先頭ピクチャ IDR2が CPB

IDR2

力引き抜かれて復号が開始される時刻から、その復号先頭ピクチャ IDR2が DPB 力出力される時刻までの遅延時間である。 [0075] 次に、表示先頭ピクチャ BOの表示時刻において、 CPB引き抜き遅延時間である cp b removal delay と、 DPB出力遅延時間である dpb output delay が取

― ― B0 ― ― B0 得される。

[0076] cpb removal delay は、符号 330で示すように、復号先頭ピクチャ IDR2が C

BO

PBから引き抜かれて復号が開始される時刻から、表示先頭ピクチャ B0が CPBから引き抜かれて復号が開始される時刻までの遅延時間である。

[0077] dpb output delav は、符号 332で示すように、表示先頭ピクチャ BOが CPB

BO

力引き抜かれて復号が開始される時刻から、その表示先頭ピクチャ B0が DPBから出力される時刻までの遅延時間である。

[0078] 表示先頭 PTS算出部 28は、表示先頭ピクチャ B0の PTS値である PTS を次式に

B0

より算出する。

[0079] PTS =PTS ― l pb _output _delay ― (cpb—removal― delay + dp

BO IDR2 ^{_ _} IDR2 ^{_ _} BO b output delay ) )

BO

[0080] の式は、同図力らも明らかなように、復号先頭ピクチャ IDR2の PTS 力も復号

IDR2

先頭ピクチャ IDR2の DPB出力遅延時間 dpb output delay を減算し、その

IDR2

計算結果に、表示先頭ピクチャ B0の CPB引き抜き遅延時間 cpb— removal— delay と DBP出力遅延時間 dpb output delay を加算すると、表示先頭ピクチャ BO

BO 一一 B0

の PTS が求まることを示している。

B0

[0081] ここで、表示先頭ピクチャ B0の CPB引き抜き遅延時間 cpb removal delay と

― ― B0

DBP出力遅延時間 dpb output delay の和は、復号先頭ピクチャ IDR2が CP

― ― B0

Bから引き抜かれて復号が開始される時刻から、表示先頭ピクチャ B0が DPBから出力される時刻までの遅延時間である。

[0082] なお、表示先頭ピクチャが復号先頭ピクチヤと同一である場合は、表示先頭ピクチャの PTS値を求める必要はなレ、。復号先頭ピクチャの PTS値がそのまま利用できるからである。復号先頭ピクチヤが表示先頭ピクチヤになるかどうかは復号処理が進むまで判明しないが、最初に表示出力されるピクチャが PTS値をもっていれば、それは復号先頭ピクチヤでもあったということであり、その復号先頭ピクチヤのもつ PTS値をそのまま利用すればよい。これにより、表示先頭ピクチャが復号先頭ピクチヤと同一である場合に表示先頭 PTSの計算を省略して、処理コストを減らすことができる。

[0083] 図 7は、同期再生装置 100による同期再生処理の手順を説明するフローチャートである。

[0084] クロック制御部 120は、多重分離部 110により分離された符号ィ匕ビデオストリームにおいて、ランダムアクセスポイントのパケットヘッダから復号先頭 PTSを取得し、ビデォデコーダ 130に与える（S10)。

[0085] ビデオデコーダ 130において、表示先頭 PTS算出部 28は、可変長復号部 12により復号されたビデオストリームの復号先頭アクセスユニットから DBP出力遅延時間 db p_output_delayを取得する（S12)。

[0086] 最初のピクチャが表示される際、表示先頭 PTS算出部 28は、復号先頭アクセスュニットと表示先頭アクセスユニットが一致するかどうかを判定する（S 14)。復号先頭ァクセスユニットと表示先頭アクセスユニットが一致する場合（S 14の Y)、表示先頭 PT

Sを保持する変数に復号先頭 PTSの値を代入する（S20)。

[0087] 復号先頭アクセスユニットと表示先頭アクセスユニットが一致しない場合（S 14の N)

、表示先頭 PTS算出部 28は、表示先頭アクセスユニットから CPB引き抜き遅延時間 cpb— removal— delayと DPB出力遅延時間 dpb— output— delayを取得する（S1

6)。

[0088] 表示先頭 PTS算出部 28は、復号先頭 PTS力ら復号先頭アクセスユニットの DBP 出力遅延時間 dbp— output— delayを減算し、表示先頭アクセスユニットの CPB引き抜き遅延時間 cpb— removal— delayと DPB出力遅延時間 dpb— output— delay を加算することにより、表示先頭 PTSを算出する（S18)。

[0089] 表示先頭 PTS算出部 28は、ステップ S20またはステップ S18で得られた表示先頭 PTSを出力し、クロック制御部 120に与える（S22)。

[0090] クロック制御部 120は、ビデオデコーダ 130から取得した表示先頭 PTSをオーディォデコーダ 140と字幕デコーダ 150に与え、オーディオデコーダ 140および字幕デコーダ 150はそれぞれ、ビデオの表示先頭 PTSと同期するオーディオおよび字幕を復号する (S24)。

[0091] ビデオデコーダ 130、オーディオデコーダ 140および字幕デコーダ 150の復号結果を受けて、表示出力部 160および音声出力部 170は、ビデオ、オーディオおよび字幕を同期再生する (S26)。

[0092] 以上述べたように、本実施の形態の同期再生装置 100によれば、復号先頭ピクチャの PTS値をシステムレイヤで取得し、ビデオストリームのパラメータである CPB引き抜き遅延時間と DPB出力遅延時間を参照して、表示先頭ピクチャの PTS値を計算により求めることができる。これにより、表示先頭ピクチャの PTS値を基準としてォーディォと字幕の再生を行うことが可能となり、ランダムアクセスを行った場合でも、ビデォの再生にオーディオと字幕の再生を正確に同期させることができる。

[0093] 表示先頭ピクチャの PTS値を計算により求めることができるため、すべてのピクチャにシステムレイヤで PTS情報をもたせる必要がなく、ランダムアクセスポイントのピクチャにのみ PTS情報を付加するだけで済む。そのため、システムレイヤにおけるオーバ一ヘッドを減らすことができ、同期制御のための処理が軽くなる。

[0094] 以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにレ、ろレ、ろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

[0095] 上記の実施の形態では、システムレイヤにおいて MPEG— 2システムのプログラムストリームを用いて、ビデオストリームとオーディオストリームの多重化が行われ、蓄積用の多重化ストリームを生成した力 \システムレイヤでは、 MPEG— 2システム以外の規格が用いられてもよい。たとえば、 H. 264/AVCファイルフォーマットにしたがつて、ビデオとオーディオの多重化が行われてもよい。また、 VCLのレイヤについても、実施の形態では、 H. 264ZAVCを用いて動画の符号化を行ったが、復号先頭 PT Sから表示先頭 PTSを算出するために必要なパラメータが動画ストリームから取得できる規格であれば、 H. 264/AVC以外の規格が用いられてもよい。

[0096] 上記の実施の形態では、記録媒体に蓄積された多重化ストリームをランダムァクセスしたときに、ビデオの復号先頭 PTSから表示先頭 PTSを算出する手順を説明したが、この手順は、放送される多重化ストリームにおいて、放送の途中から視聴する際にも適用することができる。放送途中から視聴する際でも、符号ィ匕ビデオストリームの復号先頭ピクチヤと表示先頭ピクチヤが一致しない状況が発生するため、表示先頭ピクチャの PTSを求めて、オーディオや字幕を同期させる必要があるからである。このように、本発明の同期制御は、蓄積メディア向けの多重化ストリームだけでなぐ M PEG— 2システムのトランスポートストリームや RTP (Rea卜 time Trasnport Protocol)などにより伝送される伝送メディア向けの多重化ストリームに対しても適用することができる。

産業上の利用可能性

本発明は、動画像の再生処理の分野に適用することができる。

Claims

請求の範囲

[1] ビデオストリームとオーディオストリームが多重化された多重化ストリームからビデオデータとオーディオデータを分離する分離部と、

前記ビデオデータを復号するビデオ復号部と、

前記オーディオデータを復号するオーディオ復号部と、

前記オーディオ復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含み、

前記ビデオ復号部は、前記多重化ストリームに対して途中のピクチヤから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチヤの再生タイムスタンプを算出するタイムスタンプ算出部を含み、

前記制御部は、算出された前記表示先頭ピクチヤの再生タイムスタンプを前記同期信号として前記オーディオ復号部に与えることを特徴とする再生装置。

[2] 前記タイムスタンプ算出部は、前記復号先頭ピクチヤおよび前記表示先頭ピクチャの表示遅延に関するパラメータを前記ビデオストリームから取得し、前記遅延時間に関するパラメータを利用して前記復号先頭ピクチヤの再生タイムスタンプをもとに前記表示先頭ピクチヤの再生タイムスタンプを算出することを特徴とする請求項 1に記載の再生装置。

[3] 前記復号先頭ピクチヤの表示遅延に関するパラメータは、前記復号先頭ピクチヤが復号されてから表示されるまでの遅延時間を示すものであることを特徴とする請求項 2に記載の再生装置。

[4] 前記表示先頭ピクチヤの表示遅延に関するパラメータは、前記復号先頭ピクチヤが復号されてから前記表示先頭ピクチヤが表示されるまでの遅延時間を示すものであることを特徴とする請求項 2または 3に記載の再生装置。

[5] 前記表示先頭ピクチヤの表示遅延に関するパラメータは、前記復号先頭ピクチヤが復号されてから前記表示先頭ピクチャが復号されるまでの遅延時間と、前記表示先頭ピクチャが復号されてから前記表示先頭ピクチヤが表示されるまでの遅延時間を示すものであることを特徴とする請求項 2または 3に記載の再生装置。

[6] 前記タイムスタンプ算出部は、前記復号先頭ピクチヤの再生タイムスタンプから、前記復号先頭ピクチャが復号されてから表示されるまでの遅延時間を減算し、その減算結果に、前記復号先頭ピクチャが復号されてから前記表示先頭ピクチヤが表示されるまでの遅延時間を加算することにより、前記表示先頭ピクチヤの再生タイムスタンプを算出することを特徴とする請求項 4に記載の再生装置。

[7] 前記タイムスタンプ算出部は、前記復号先頭ピクチヤと前記表示先頭ピクチャが異なる場合にのみ、前記表示先頭ピクチヤの再生タイムスタンプの算出を行い、前記復号先頭ピクチヤと前記表示先頭ピクチヤが一致する場合は、前記復号先頭の再生タィムスタンプをそのまま前記表示先頭ピクチヤの再生タイムスタンプとして前記制御部に与えることを特徴とする請求項 1から 6のいずれかに記載の再生装置。

[8] ビデオストリーム、オーディオストリームおよび字幕ストリームが多重化された多重化ストリームからビデオデータ、オーディオデータおよび字幕データを分離する分離部と、

前記ビデオデータを復号するビデオ復号部と、

前記オーディオデータを復号するオーディオ復号部と、

前記字幕データを復号する字幕復号部と、

前記オーディオ復号部および前記字幕復号部にビデオの再生と同期を取るための同期信号を与える制御部とを含み、

前記制御部は、算出された前記表示先頭ピクチヤの再生タイムスタンプを前記同期信号として前記オーディオ復号部および前記字幕復号部に与えることを特徴とする再生装置。

[9] 前記タイムスタンプ算出部は、前記復号先頭ピクチヤおよび前記表示先頭ピクチャの表示遅延に関するパラメータを前記ビデオストリームから取得し、前記遅延時間に関するパラメータを利用して前記復号先頭ピクチヤの再生タイムスタンプをもとに前記表示先頭ピクチヤの再生タイムスタンプを算出することを特徴とする請求項 8に記載の再生装置。

[10] ビデオストリームとオーディオストリームが多重化された多重化ストリームから分離されたビデオデータを復号する復号部と、

前記多重化ストリームに対して途中のピクチャから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチヤの再生タイムスタンプを算出するタイムスタンプ算出部とを含むことを特徴とするビデオ復号装置。

[11] 前記タイムスタンプ算出部は、前記復号先頭ピクチヤおよび前記表示先頭ピクチャの表示遅延に関するパラメータを前記ビデオストリームから取得し、前記遅延時間に関するパラメータを利用して前記復号先頭ピクチヤの再生タイムスタンプをもとに前記表示先頭ピクチヤの再生タイムスタンプを算出することを特徴とする請求項 10に記載のビデオ復号装置。

[12] ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチヤから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得し、前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチヤの再生タイムスタンプを算出し、算出された前記表示先頭ピクチヤの再生タイムスタンプに同期させて前記オーディオストリームを復号して再生することを特徴とする同期再生方法。

[13] ビデオストリームとオーディオストリームが多重化された多重化ストリームに対して途中のピクチヤから再生するランダムアクセスがなされた場合に、最初に復号される復号先頭ピクチヤの再生時刻を指定する再生タイムスタンプを前記ビデオストリームから取得するステップと、

前記復号先頭ピクチヤの再生タイムスタンプをもとに最初に表示される表示先頭ピクチャの再生タイムスタンプを算出するステップと、

ビデオの再生にオーディオの再生を同期させるための同期信号として、算出された前記表示先頭ピクチヤの再生タイムスタンプを出力するステップとをコンピュータに実行させることを特徴とするプログラム。

請求項 13に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。