WO2003067881A1

WO2003067881A1 - Appareil de traitement d'informations et procede associe

Info

Publication number: WO2003067881A1
Application number: PCT/JP2003/000053
Authority: WO
Inventors: Kiyoshi Ikeda
Original assignee: Sony Corporation
Priority date: 2002-02-04
Filing date: 2003-01-08
Publication date: 2003-08-14
Also published as: US20050004940A1; CN1507746A; JP2003230092A; KR20040080930A; EP1473935A1

Description

明細書

情報処理装置および方法技術分野

本発明は、情報処理装置および方法に関し、特に、つなぎ撮りされたストリームデータを連続再生する際に生じる再生データの乱れを低減させるようにした情報処理装置および方法に関する。背景技術

MPEG (Moving Picture Experts Group) 2方式で画像や音声を記録再生する技術が一般に普及しつつある。 MPEG 2は、画像圧縮技術の 1つであり、デジタルビデオ力メラなどに広く利用されている。

MPEG 2による画像圧縮方式では、画像データを I (Intra Coded) ピクチャ (単独で復号可能な符号化データ）、 P (Predict i ve Coded) ピクチャ（自らよりも時間的に前の I ピクチャか、または Pピクチャより復号可能な符号化データ）、および、 B (Bi-direct ional ly Predi ct ive Coded) ピクチャ（時間的に自らの前後に存在する I ピクチャ、または、 Pピクチャから復号可能な符号化データ）の 3種類のタイプの符号化ピクチャにして、所定の順序で配置することで圧縮処理がなされ、再生時には、これらのピクチャが各ピクチャの特性に応じて. 復号され、所定の順序で表示されている。

図 1は、 MPEG 2方式で記録されるストリームデータ（TS： Transport

Stream：誤りの生じやすい環境下で転送されるときに使用される MPEG 2のストリームの一形態）の構成を概念的に示したものである。 MPEG 2方式で記録されたデータは、上述のように、 I ピクチャ、 Pピクチャ、および、 Bピクチャの全てのピクチャが、時系列的にデコードされ、そのままの順序で再生されるわけではなく、ピクチャの種類によりデコードされるタイミングと再生されるタイミングが異なる。そこで、 MPEG 2では、図 1で示すように、映像データの場合、 1 ビデオフレーム毎に（音声データの場合、 1オーディオフレーム毎に）、それぞれのデータがデコード（復号）されるタイミングを示す DTS (Decoding Time Stamp) と、再生されるタイミングを示す PTS (Presentat ion Time Stamp) 力 S 設定されている。

DTS、および、 PTSのタイミングは、記録装置に設けられた STC (System Time Clock) で発生する記録装置の基準時刻に対応した時刻データである。 STCは、実際には、 2 6時間程度で循環するカウンタ値であり、 NTSC (National

Te l evi sion Standards Committee) 方式の画像データを記録する場合、 1フレーム分のカウンタ値が 3003 (PAL (Phase Alternat ing Line) 方式の場合、 3600) として使用されている。

このため、図 1で示すように図中、 1ピクチャ毎に、先頭のピクチャで DTS ( n ) (STC のカウンタ値が n ) が設定されると、次の DTS は n + 3003 となり以降連続的にデコードされるタイミングとして DTS力 n + 6006 n + 9009, n + 12012、 n + 15015に設定されており、第 1ストリームが順次再生されることが示されている。

一方、 PTSは、 DTSに基づいて設定されるものであり、ピクチャの種類によつてその設定が異なる。例えば、 I ピクチャと Pピクチャの周期が 3フレームである場合（Iピクチャ、または、 Pピクチャの間に連続して挿入される Bピクチヤが 2フレームで、 Iピクチャ力または、 Pピクチャが 3フレーム毎に現れる場合）、 I ピクチャや Pピクチヤにおいては、 PTSは、 DTSに対して 3フレーム分の値が加算された値となる。すなわち、図 1においては、第 1ストリームの最左側のピクチャが、 I どクチャか、または、 Pピクチャであるので、 PTSは、 DTS が nであるのに対して、 n + 9009 (3003 X 3 ) となっている。同様にして、図中、左から 3番目のピクチャについては、 Bピクチャであるので、 DTSが n + 6006であり、 PTSは、 n + 6006であり、さらに、左から 4番目のピクチャについては、 I ピクチャ力または、 Pピクチャであるので、 DTSが n + 9009であるのに対して、 PTSは、 n + 18018 ( = n + 9009 + 9009) となっている。左から 5番目のピクチャは、 Bピクチャであるので、 DTSが n + 12012であるのに対して、 PTSは、 n + 12012となっている。さらに、左から 6番目のピクチャも、 B ピクチャであるので、 DTSが n + 15015であるのに対して、 PTSも、 n + 15015 となっている。

尚、以下の説明においては、 DTSと PTSを両方使用する場合について説明するものとするが、 MPEG 2においては、実際には、 Bピクチャにおいては、 DTSと PTSはいずれか 1つの情報があれば良いので、 DTSがデータとして利用されておらず、 PTSだけがデータとして使用されている。また、 Bピクチャが存在しない場合、 I ピクチャは、単独での復号が可能であり、また、 Pピクチャが復号されるとき、必要な I ピクチャ、または、 Pピクチャは既に存在するため、デコードされたタイミングでそのまま再生することができるので、この場合にも、 PTSだけが使用されている。

また、基準時刻である STC とストリームデータの対応関係を示す情報として、 PCR (Program Clock reference) が設定されている。すなわち、 DTS と PTS は、記録装置（符号化装置）における STCの値であることから、再生装置（復号装置）側での STCと必ずしも一致しないことがあるため、ストリームデータのピクチャに対して不定期的な間隔で復号装置側の STCを補正するための PCRが設定される。

すなわち、図 1において、 PCRが、左から 3番目と 5番目のピクチャに含まれている（それぞれ図中では、 PCRx、 PCRx+ 1) ので、それぞれのピクチャが処理される際に、再生装置は、この情報を読み出すことにより、左から 3番目のピクチャを処理する時刻が時刻 t 1であることを認識して、その時点での STCを補正する。また、再生装置は、左から 5番目のピクチャに含まれた PCRx+ 1の情報に基づいて、左から 5番目のピクチャを処理する時刻が時刻 t 2であることを認識して、 STCを補正しながら、ストリームデータを再生する。

以上のような処理により、 MPEG 2方式で記録されたストリームデータは、記録再生される。ところで、上述のような方法で記録再生される MPEG 2のストリームデータであるが、例えば、図 1で示すように、第 1ストリームに引き続き、別のタイミングで第 2ストリームを引き続き記録する（いわゆる、つなぎ撮りをする）場合を考える。このとき、第 2ストリームを撮像するタイミングは、第 1ストリームとは異なるため、図 1で示されるように、 DTS、 PTSが設定されることになる。すなわち、第 2ストリームの最左側のピクチャ（I ピクチャ、または、 Pピクチヤ）の DTSとして m (≠ n ) 力 PTSとして m + 9009がそれぞれ設定されている。以降、左からそれぞれのピクチャは、 Bピクチャ、 Bピクチャ、 I ピクチャ、または、 Pピクチャ、および、 Bピクチャと配置されており、それぞれの DTSは、 m + 3003、 m + 6006、 m + 9009、 m + 12012、 PTSは、 m + 3003、 m + 6006、 m + 9009、 m + 12012とそれぞれ設定されている。このように、 DTSと PTSは、第 1ストリームと第 2ストリームの各ストリーム内において連続性は保たれるが、ストリームの相互間では、無関係に設定される。

また、図 1で示すように、第 1ストリームで参照する STCを STC xとして、第 2ストリームで参照する STCを STC yとすれば、 PCRは、撮像時の STCの時刻データを記録しているので、 STC xと STC yは、相互に基準となる時刻 t X 0 , t y 0 (記録が開始された STC上の時刻）が異なるので、当然のことながら参照される PCRについても、ストリーム間の連続性が保たれないことになる。

このように、第 1ストリームと第 2ストリームは、それぞれストリーム毎に関連性のない DTSと PTSが設定されることになる。このため、第 1ストリームと第 2ストリームが連続再生されると、図中の不連続点付近においては、 DTSと PTSに連続性が保たれていないため、 STCは、第 1ストリームを再生するときに使用していた STC xに対応した状態から、 STC yに対応した状態に補正されることになる。このため、第 2ストリームに切り替わった時点では、 STCが本来 STCyの基準時刻に切り替えられるべきであるにもかかわらず、 STCは、 STCxの状態のままであるため、 STCが STCyに捕正されるまでの間、つなぎ撮りされたストリームデータを再生する際、第 2ストリームの DTS、および、 PTSは、 STCx を参照して処理されるため、このときに再生される映像がフリーズするといつた乱れが発生してしまうと言う課題があった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、 DTSおよび PTSの連続性を保つようにして、つなぎ撮りされたストリームデータを連続再生する際に生じる乱れを抑制させるようにするものである。

本発明の情報処理装置は、第 1のストリームデータの第 1の時刻データを取得する第 1の取得手段と、第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データを取得する第 2の取得手段と、第 2の時刻データを、第 1の時刻データに対して連続的な時刻データに変換する時刻データ変換手段とを備えることを特徴とする。

前記ストリームデータは、 MPEG 2方式で記録されたビデオデータ、または、オーディオデータとするようにすることができる。

前記第 1の時刻データ、および、第 2の時刻データには、 MPEG 2で規定されているデコーディングタイムスタンプ、プレゼンテーションタイムスタンプ、または、プログラムクロックリファレンスのデータを含ませるようにすることがでさる。

本発明の情報処理方法は、第 1のストリームデータの第 1の時刻データを取得する第 1の取得ステップと、第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データを取得する第 2の取得ステップと、第 2の時刻データを、第 1の時刻データに対して連続的な時刻データに変換する時刻データ変換ステップとを含むことを特徴とする。

本発明のプログラム格納媒体のプログラムは、第 1のストリームデータの第 1 の時刻データの取得を制御する第 1の取得制御ステップと、第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データの取得を制御する第 2の取得制御ステップと、第 2の時刻データの、第 1の時刻データに対して連続的な時刻データへの変換を制御する時刻データ変換制御ステップとを含むことを特徴とする。

本発明のプログラムは、第 1のストリームデータの第 1の時刻データの取得を制御する第 1の取得制御ステップと、第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データの取得を制御する第 2の取得制御ステップと、第 2の時刻データの、第 1の時刻データに対して連続的な時刻データへの変換を制御する時刻データ変換制御ステップとをコンピュータに実行させることを特徴とする。

本発明の情報処理装置および方法、並びにプログラムにおいては、第 1のストリームデータの第 1の時刻データが取得され、第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データが取得され、第 2の時刻データが、第 1の時刻データに対して連続的な時刻データに変換される。図面の簡単な説明

図 1は、従来の記録装置により記録されたストリームデータの構成を示す図である。

図 2は、本発明を適用したビデオレコーダの一実施の形態の構成を示すプロック図である。

図 3は、図 2のビデオレコーダにより記録された記録媒体のストリームデータを再生する再生装置の構成を示すブロック図である。

図 4は、図 2の時刻データ変換部の構成を示すブロック図である。

図 5は、タイムスタンプ変換処理を説明するフローチヤ一トである。

図 6は、タイムスタンプ変換処理により変換されたストリームデータの構成を説明する図である。

図 7は、プログラム格納媒体を説明する図である。発明を実施するための最良の形態図 1は、本発明に係るビデオレコーダの一実施の形態の構成を示す図である。

CCD (Charged Coupled Device) カメラ 1 1は、 CCDからなる撮像素子から構成され、撮像された映像を画像データとして MPEGビデオエンコーダ 1 2に出力する。 MPEGビデオエンコーダ 1 2は、 CCDカメラ 1 1より入力された画像データを、 MPEG 2方式でエンコード（圧縮）して、ビデオ ES (Elemental ly

Stream) を生成して、マルチプレクサ 1 3に出力する。

マイクロフォン 1 4は、音声データを生成して、 MPEGオーディオエンコーダ 1 5に出力する。 MPEGオーディォエンコーダ 1 5は、マイクロフオン 1 4より入力された音声データを MPEG方式でエンコード（圧縮）して、オーディオ ES としてマルチプレクサ 1 3に出力する。

マルチプレクサ 1 3は、 MPEGビデオエンコーダ 1 2より入力された MPEG 2のビデオ ESと、 MPEGオーディオエンコーダ 1 5より入力されたオーディオ ESを多重化して、図 1で示したような TS (Transport Stream) からなるストリームデータを生成して、時刻データ変換器 1 6に出力する。尚、図 1には、説明の都合上、画像データについての情報しか表示されていが、実際には、ビデオ ES とオーディオ ESが多重化されて映像データと音声データが混在した TSが生成される。

時刻データ変換器 1 6は、マルチプレクサ 1 3より入力された TSのうち、最初に記録されたストリームデータ以降に、記録されたストリームデータ（つなぎ撮りされたストリームデータ）の時刻データである、 PTS、 DTS、および、 PCRを. その前に記録されたストリームデータの DTS、 PTS、および、 PCRに基づいて変換し、記録部 1 7に出力する。尚、時刻データ変換器 1 6については、図 4を参照して、詳細を後述する。

記録部 1 7は、時刻データ変換器 1 6より入力された、時刻データが変換されているストリームデータを記録媒体 1 8に記録する。すなわち、例えば、記録媒体がビデオテープである場合、記録部 1 7は、磁気ヘッドなどから構成され、ストリームデータを磁気テープからなる記録媒体 1 8に記録する。次に、図 2のビデオレコーダの動作について説明する。

CCDカメラ 1 1は、撮像した画像データを MPEGビデオエンコーダ 1 2に出力すると共に、マイクロフォン 1 4は、音声データを MPEGオーディオエンコーダ 1 5に出力する。 MPEGビデオエンコーダ 1 2、および、 MPEGオーディオェンコーダ 1 5は、それぞれに入力された画像データ、および、音声データを MPEG 2 方式で圧縮して、ビデオ ES、および、オーディオ ESを生成してマルチプレクサ 1 3に出力する。

マルチプレクサ 1 3は、 MPEGビデオエンコーダ 1 2、および、 MPEGオーディォエンコーダ 1 5より入力されたビデオ ESとオーディオ ESを多重化して、図 1で示したような TSからなるストリームデータを生成して、時刻データ変換器 1 6に出力する。

時刻データ変換器 1 6は、記録媒体に最初に記録されるストリームデータ以降に、つなぎ撮りされたストリームデータについて、 DTS、 PTS、および、 PCRからなる時刻データを、その直前に記録されたストリームデータに対して、連続的な値となるように変換して、記録部 1 7に出力する。尚、時刻データ変換器 1 6の時刻データを変換するタイムスタンプ変換処理については、図 5のフローチヤ一トを参照して詳細を後述する。

記録部 1 7は、時刻データ変換部 1 7より入力されたストリームデータを記録媒体 1 8に記録する。

次に、図 3を参照して、図 2のビデオレコーダにより記録媒体 1 8に記録されたストリームデータを再生する再生装置について説明する。

読取部 3 1は、記録媒体 1 8に記録されたストリームデータを読み出し、 TS としてデマルチプレクサ 3 2に出力する。デマルチプレクサ 3 2は、入力された TSに多重化されているビデオ ESとオーディオ ESを分離して、それぞれ MPEGビデォデコーダ 3 3、および、 MPEGオーディオデコーダ 3 5に出力する。

MPEGビデオデコーダ 3 3は、入力されたビデオ ESを MPEG 2方式でデコードし、元の映像データを生成して表示部 3 4に出力する。 MPEGビデオデコーダ 3 3は、図示せぬ STCを所持しており、ビデオ ESに含まれるピクチャフレーム毎の PCRの情報に基づいて、 STCを補正して、その STCに基づいて、各ピクチャフレーム（以下、フレームとも称する）に対応する DTS、または、 PTSに対応したタイミングでデコード、または、出力（表示）を実行する。表示部 3 4は、 LCD (Liqui d Crystal Di splay) や CRT (Cathode Ray Tube) など力ら構成され、 MPEGビデオデコーダ 3 3より入力された映像データを表示する。

MPEGオーディオデコーダ 3 5は、入力されたオーディオ ESを MPEG 2方式でデコードし、元の音声データを生成してスピーカ 3 6に出力する。 MPEGオーディォデコーダ 3 5は、図示せぬ STCを所持しており、オーディオ ESに含まれるオーディオフレーム毎の PCRの情報に基づいて、 STCを補正して、その STCに基づいて、各フレーム（オーディオフレーム）に対応する DTS、または、 PTSに対応したタイミングでデコード、または、スピーカ 3 6への出力を実行する。スピ一力 3 6は、 MPEGオーディオデコーダ 3 5より入力された音声データに基づいて音声を出力する。

次に、図 3の再生装置の動作について説明する。

読取部 3 1は、記録媒体 1 8に記録されたストリームデータを読み出し、 TS としてデマルチプレクサ 3 2に出力する。デマルチプレクサ 3 2は、読取部 3 1 より入力された TSを取得し、多重化されているビデオ ESとオーディオ ESを分離し、それぞれを MPEGビデオデコーダ 3 3、および、 MPEGオーディオデコーダ 3 5に出力する。

MPEGビデオデコーダ 3 3は、デマルチプレクサ 3 2より入力されたビデオ ES のピクチャフレーム毎に含まれる PCR (PCRが含まれないピクチャフレームも存在する）で内蔵する STCを補正し、その STCに対応した DTSのタイミグで MPEG 2方式のデコード処理を実行し、元の映像データを生成して、 PTSのタイミングで表示部 3 4に出力し、表示させる。 MPEGオーディオデコーダ 3 5は、入力されたオーディォ ESに含まれるオーディオフレーム毎の PCR (PCRが含まれないオーディオフレームも存在する）に基づいて、 DTSを補正し、その DTSに対応した DTSのタイミングで MPEG 2方式のデコード処理を実行し、元の音声データを生成して、 PTSのタイミングでスピーカ 3 6より音声として出力させる。

次に、図 4を参照して、時刻データ変換部 1 6の構成について説明する。

初期ストリーム判定部 5 1は、 TSが入力されたタイミングで、入力された TS が記録媒体 1 8に最初に記録されるストリームデータであるか否か（図 1で示す、第 1ストリームであるか否か）を判定し、その判定結果を PCR, 0了5検出部5 3 に出力すると共に、判定結果に基づいてセレクタ 5 2のスィツチ 7 1を端子 7 1 a、または、 7 1 bに切り替える。

より詳細には、初期ストリーム判定部 5 1は、記録部 1 7を介して記録媒体 1 8に記録されたデータを読み出し、ストリームデータが存在しない状態であることが確認できたとき（今現在のストリームデータが初期ストリームであるとき）、 PCR, DTS検出部 5 3に今現在のストリ一ムデータが初期ストリームデータであることを示す通知を出力する。また、初期ストリーム判定部 5 1は、今現在のストリームデータが初期ストリームであるとき、スィツチ 7 1を端子 7 1 aに接続し、それ以外のとき、スィッチ 7 1を端子 7 1 bに接続する。

セレクタ 5 2は、スィツチ 7 1を端子 7 1 a， 7 1 bのいずれかに接続し、初期ストリームからなるストリームデータ（入力されたそのままのストリームデータ）か、または、初期ストリーム以外の DTS、 PTS、および、 PDRからなる時刻データが置き換えられたストリームデータのいずれかを選択して、記録部 1 7に出力する。

データ置換部 7 2は、入力された、初期ストリーム以外のストリームのストリームデータの TSヘッダに含まれている DTS、 PTS、および、 PCRを、加算器 5 7 により生成される DTS、加算器 5 8により生成される PTS、および、 STCカウンタ 5 4により生成される PCR としての STC の値に置換して端子 7 1 b、および、スィッチ 7 1を介して記録部 1 7に出力する。

PCR, 015検出部5 3は、入力された TSの各 TSパケットの TSヘッダより PCR と DTS (複数の TSバケツトからなるピクチャ単位に割り振られた PCRと DTS) を検出し、初期ストリーム判定部 5 1から初期ストリームであることを示す通知を受けた場合、検出した DTSを DTSメモリ 5 6に上書きさせ、同時に加算器 5 7に対して出力を禁止するように指令する。また、初期ストリーム判定部 5 1より初期ストリームであることを示す通知を受けていない場合、 PCR, DTS検出部 5 3は、 DTSを検出したタイミングで、その時点で DTSメモリ 5 6に記憶されている DTSを加算器 5 7に出力させるように指令する。また、 PCR, DTS検出部 5 3は、 PCRを検出した場合、今現在の PCRが検出されたタイミングから、その直前の PCRを検出したタイミングまでに検出された TSバケツト数（DTSの個数でもよレ、）の情報を STCカウンタ 5 4に出力する。

尚、 PCRは、 STCカウンタにより生成される STCを補正するための基準時刻参照データであるが、 STCの精度を保っために 0 . l tns以内に少なくとも 1個生成すればよいという MPEG 2の規定により、 PCRが存在する TSバケツトと存在しない TSバケツトが存在する。

5丁( カゥンタ 5 4は、 PCR, DTS検出部 5 3より入力された今現在の PC TS パケット数、および、自らで記憶している、直前の PCRの STCに基づいて、今現在の PCRに対応する STCを生成し、自らで上書き記憶すると共に、セレクタ 5 2のデータ置換部 7 2に出力する。

ピクチャ判定部 5 5は、入力された TSパケットからなるピクチヤ（複数の TS パケットからなるピクチヤ） ί I ピクチャ、 Ρピクチャ、または、 Βピクチャのいずれの種別であるのかを判定し、判定結果に基づいて、 I ピクチャ、または、 Ρピクチャの場合、演算器 5 9のパラメータ ρを 3に設定し、演算器 5 9に 3003 X ρ ( ρ = 3 ) を演算させて加算器 5 8に出力させる。また、ピクチャ判定部 5 5は、入力された TSパケットのピクチャが Βピクチャである場合、演算器 5 9のパラメータ ρを 0に設定し、演算器 5 9から 0 ( = 3003 X 0) を加算器 5 8に出力させる。尚、パラメータ ρは、 I ピクチャと Ρピクチャの周期に応じて変化する値であり、今の場合、その周期が 3フレームである（Iピクチャ、または、 Ρピクチャの間に連続して揷入される Βピクチヤが 2枚である）ので、 ρ は 3に設定されるが、例えば、周期が 2フレームである（I ピクチャ、または、 Pピクチャの間に連続して挿入される Bピクチヤが 1枚である）場合、 pは、 2 に設定されることになり、それ以外の値についても同様にパラメータ Pは、変化する。

0了5メモリ 5 6は、 PCR, DTS検出部 5 3に制御され、初期ストリームに属する DTS は、順次上書きして、記憶し、それ以外のストリームの DTS については、 DTSが検出されたタイミングで直前に記憶している DTSを加算器 5 7に出力すると共に、加算器 5 7より直前の DTSに³003が加算された、 DTSの値を上書き記憶する。

加算器 5 7は、 DTSメ½リ 5 8より入力された DTSに 1フレーム分の STCの力ゥンタ値である 3003 を加算して、 DTS メモリ 5 6、データ置換部 7 2、および、加算器 5 8に出力する。加算器 5 8は、加算器 5 7より入力された DTS の値と、演算器 5 9より入力された値を加算して、 PTSを生成し、データ置換部 7 2に出力する。

次に、図 5のフローチャートを参照して、タイムスタンプ変換部 1 6のタイムスタンプ変換処理について説明する。

ステップ S 1において、 PCR， DTS検出部 5 3は、タイムスタンプを変換すベきピクチャが存在するか否かを判定し、タイムスタンプを変換すべきピクチャが存在する場合、その処理は、ステップ S 2に進む。

ステップ S 2において、 PCR， DTS検出部 5 3は、 PCRが検出されたか否かを判定し、 PCRが検出されたと判定した場合、その処理は、ステップ S 3に進む。ステップ S 3において、 PCR, 0丁5検出部5 3は、検出した PCRと共に、直前の PCRから今現在の PCRが検出されるまでに存在したピクチャ数を STCカウンタ 5 4に出力する。

ステップ S 4において、 5丁。カゥンタ 5 4は、入力された PCRと、直前に演算された STCに基づいて、入力された PCRに対応する STCを演算し、記憶すると共に、データ置換部 7 2に出力する。より詳細には、 81^カゥンタ 5 4は、直前の PCRから、今現在の PCRが検出されるまでのピクチャ数に対応した、今現在の PCR としての STCを計算し、データ置換部 7 2に出力し、この処理を順次操り返していく。結果として、記録媒体 1 8に記録される PCRは、初期ストリームの最初のピクチャの PCRとして設定された STCを基準にした値（初期ストリームの最初のピクチャの PCRとしての STCから連続した時刻として設定される値）となる。

尚、ステップ S 2において、 PCRが検出されなかった場合、ステップ S 3 , S 4の処理は、スキップされ、その処理は、ステップ S 5に進む。

ステップ S 5において、初期ストリーム検出部 5 1は、入力されたピクチャが初期ストリームのものであるか否かを判定し、例えば、初期ストリームであると判定された場合、その処理は、ステップ S 6に進む。

ステップ S 6において、初期ストリーム判定部 5 1は、セレクタ 5 2のスィッチ 7 1を端子 7 1 aに接続すると共に、 PCR, DTS検出部 5 3に初期ストリームが検出されたことを通知する。

ステップ S 7において、 PCR， DTS検出部 5 3は、入力されたピクチャから

DTSを検出し、 DTSメモリ 5 6に出力して上書きして記憶させると共に、加算器 5 7への出力を禁止し、その処理は、ステップ S 1に戻る。

すなわち、初期ストリームの DTS、 PTS、および、 PCRは、その基準となる PCRに基づいて、設定されているので、ステップ S 1乃至 S 7の処理により、変換されることなくそのまま記録部 1 7に出力される。

ステップ S 5において、入力されたピクチャが初期ストリームのものではないと判定された場合、その処理は、ステップ S 8に進む。

ステップ S 8において、 PCR, 015検出部5 3は、 DTSを検出したタイミングで、既に DTSメモリ 5 6に記憶されている DTSを加算器 5 7に出力させる。ステップ S 9において、加算器 5 7は、 DTSメモリ 5 6より入力された直前の DTSの値に 3003 ( 1 フレーム分の DTSの値）を加算して、今現在の DTSを生成し、データ置換部 7 2、および、加算器 5 8に出力すると共に、生成した DTS を DTSメモリ 5 6に上書き記憶させる。すなわち、初期ストリーム以外のストリームデータが最初に検出されるときには、初期ストリームの最後のピクチャの DTSの情報が、 DTSメモリ 5 6に記憶されていることになるので、初期ストリーム以降のストリームに含まれるピクチャの DTSに対しては、 1フレーム分の STC のカウンタ値 3003を順次加算することにより、連続した DTSを生成する。

ステップ S 1 0において、ピクチャ種別判定部 5 5は、入力されたピクチャが Bピクチャであるか否かを判定し、 Bピクチャであると判定した場合、その処理は、ステップ S 1 1に進む。

ステップ S 1 1において、ピクチャ種別判定部 5 5は、演算器 5 9のパラメ一タ pを 0に設定して、 3003 X 0を演算させて、演算結果を加算器 5 8に出力させ、その処理は、ステップ S 1 3に進む。

また、ステップ S 1 0において、ピクチャ種別判定部 5 5は、入力されたピクチヤが Bピクチャではない、すなわち、 I ピクチャである力 \ または、 Pピクチャであると判定された場合、その処理は、ステップ S 1 2に進む。

ステップ S 1 2において、ピクチャ種別判定部 5 5は、演算器 5 9のパラメ一タ pを 3に設定して、 3003 X 3を演算させて、演算結果を加算器 5 8に出力させ、その処理は、ステップ S 1 3に進む。

ステップ S 1 3において、加算器 5 8は、加算器 5 7より入力された DTSに演算器 5 9より入力された値を加算して、 PTSを生成し、データ置換部 7 2に出力する。

すなわち、ステップ S 1 0において、ピクチャの種別を判定し、その判定結果に応じて、ステップ S 1 1 , S 1 2において、 PTSを生成する際に必要とされる DTSに加算する値が求められて、加算器 5 8に出力される。そして、ステップ S 1 3の処理により、 Bピクチャに対しては、 DTSの値そのものが、 PTSとしてデータ置換部 7 2に出力され、 I ピクチャ、または、 Pピクチャに対しては、 DTS の値に 3フレーム分の STCのカウンタ値である 3003 X 3が加算されて PTS としてデータ置換部 7 2に出力される。ステップ S I 4において、データ置換部 7 2は、入力された TSパケットの TS ヘッダに含まれた DTS、 PTS、および、 PCR を、加算器 5 7より入力された DTS、加算器 5 8より入力された PTS、および、 STCカウンタ 5 4より入力された PCR に置き換えて端子 7 1 b、および、スィツチ 7 1を介して記録部 1 7に出力する _c ステップ S 1において、変換すべき TSパケットが存在しないと判定されるまで、ステップ S 1乃至 S 1 4の処理が繰り返され、変換すべき TSパケットが存在しないと判定されたとき、その処理は、終了する。

以上のようなタイムスタンプ変換処理により、例えば、図 6の Aで示すようなストリームデータが入力された場合、そのストリームデータは、図 6の Bで示すようなストリームデータに変換される。すなわち、図 6の Aで示す変換される前の、入力された第 1ストリ一ムの各 TSバケツ卜の DTSと PTSは、図中それぞれ左から最初の TSパケットは、 I ピクチャ力、または、 Pピクチャであるので、 DTSが n、 PTSは n +9009であり、その次の TSパケットは、 Bピクチャであるので、 DTS力 S n +3003、 PTS力 S n +3003であり、さらに、図中左から 3番目の TSノヽ⁰ ケットも、 Bピクチャであるので、 DTS力 S n +6006、 PTSは n +6006であり、さらに、 PCRxが含まれている。また、図中左から 4番目の TSパケットは、 I ピクチャカまたは、 P ピクチャであるので、 DTS が n +9009、 PTS は n +18018 であり . 図中左から 5番目の TSパケットは、 Bピクチャであるので、 DTSが n + 12012、 PTSは n + 12012であり、 PCRx+1が含まれている。さらに、図中左から 6番目の TSパケットは、 Bピクチャであるので、 DTS力 S n + 15015、 PTSは n + 15015である。

また、図 6の Aで示すように、変換前の入力された第 2ストリームの各 TSパケットの DTS と PTSは、図中それぞれ左から最初の TSパケットは、 I ピクチャか、または、 Pピクチャであるので、 DTSが m、 PTSは m+9009であり、その次の TSパケットは、 Bピクチャであるので、 DTSが m+3003、 PTS力 S m+3003でありさらに、 PCR yが含まれている。また、図中左から 3番目の TSパケットも、 Bピクチャであるので、 DTSが m+6006、 PTSは m+6006であり、図中左から 4番目の TSパケットは、 Iピクチャ力または、 Pピクチャであるので、 DTSが n +9009、 PTSは n +18018であり、図中左から 5 目の TSパケットは、 I ピクチャか、または、 Pピクチャであるので、 DTS力 S n +12012、 PTS力 S n + 12012であり、 PCR y +1が含まれている。尚、 DTS、 PTS、および、 PCRの構成は、図 1と同様である。

図 6の Aで示す第 1ストリ一ムのストリームデータは、スィツチ 7 1が端子 7 l aに接続されるので、ステップ S 1乃至 S 7の処理により、そのままの状態で、 DTS、 PTS、および、 PCRは、変換されることなく、図 6の Bで示すように、そのままの状態で記録部 1 7に出力される。

図 6の Aで示す第 2ストリームのストリームデータ、すなわち、第 1ストリームとの不連続点以降のストリームデータは、新たな DTS力ストリームに無関係に先頭から順番に 1フレームのカウンタ値 3003が連続的に加算器 5 7により加算されて生成される。従って、図 6の Bで示すように、不連続点以降の第 2ストリームの最初の TSバケツトの DTSは、第 1ストリームの最後の TSバケツトの DTSの値である n +15015に 1 フレーム分の値である 3003が加算された n + 18018となり、それ以降の TSパケットのザ直は、順に、 n +21021、 n +24024, n +27027, n +30030に変換される。

また、 PTSは、生成された DTSに対して、 I ピクチャ、または、 Pピクチャの場合、 3フレーム分の値である 3003 X 3が加算された値として生成され、 Bピクチヤの場合、 DTS と同じ値として出力される。従って、第 2ストリームの PTSは、上述のように変換された DTSの値に対して、図 6の Bで示すように、第 2ストリームの先頭の TSパケットから n + 27027、 n + 21021 , n + 24024, n +

36036、 n + 30030に変換される。

さらに、 PCRは、直前の STCに対して、今現在の PCRが検出されるまでのフレームピクチャ数にカウンタ値 3003を乗じた値として設定されるので、第 2ストリームの先頭の PCRyは、第 1ストリームの最後の PCRx+1に対して、その間に存在するフレームピクチャ数に 3003を乗じた値、すなわち、図 6の Bにおいては、 3フレーム分のカウンタ値が加算された値が、 PCRx+2として設定される。同様にして、 PCRx+3についても、 PCRx+2のカウンタ値に、その間のフレームピクチャ数に 3003を乗じた値（ = 3003 X 3) を加算した値として設定される。このため、 PCRxに基づいて得られる STCが時刻 t 1、 PCRx+ 1に基づいて得られる STCが時刻 t 2、 PCRx+2に基づいて得られる STCが時刻 t 3、および、 PCRx+3 に基づいて得られる STCが時刻 t 4であるとき、時刻 t 1乃至 t 4は、基準時刻が同一となる（STCのカウント開始時刻が共通の基準時刻 t X 0 ) となり、 DTSが第 1ストリ一ムゃ第 2ストリームとは、無関係に連続的に設定されているので、再生装置（復号装置）力第 1ストリームと第 2ストリームとを跨いで、連続的に再生するときでも、ストリームが切り替えられるタイミングで STCを補正することなく再生させることができ、結果として、つなぎ撮りされた、ストリームの切り替え部分において生じやすかつたフリーズなどの表示の乱れが抑制されることになる。

尚、以上の例においては、ビデオレコーダに時刻データ変換部 1 6が設けられた構成となっているが、時刻データ変換部 1 6のみの単体装置を構成し、例えば、再生装置から再生されたストリームデータを、他の記録装置で記録させる、いわゆるダビングさせる際に、再生装置から出力されるストリームデータのうち、時刻データ（DTS、 PTS、および、 PCRなど）のみを時刻データ変換部 1 6で変換した後、記録装置に出力して、記録させるようにすることで、新たに記録された (ダビングされた）ストリームデータにおいて、つなぎ撮りされたストリームデータを連続して再生する際の表示の乱れを抑制させるようにしてもよい。

以上によれば、つなぎ撮りされたストリームの切り替え部分を再生する際に生じる表示の乱れを抑制することが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードゥエァに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどにプログラム格納媒体からィンストールされる。

図 7は、ビデオレコーダをソフトウエアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータの CPU 1 0 1は、パーソナルコンピュータの全体の動作を制御する。また、 CPU 1 0 1は, バス 1 0 4および入出力ィンタフェース 1 0 5を介してユーザからキーボードゃマウスなどからなる入力部 1 0 6から指令が入力されると、それに対応して ROM (Read On ly Memory) 1 0 2に格納されているプログラムを実行する。あるいはまた、 CPU 1 0 1は、ドライブ 1 1 0に接続された磁気ディスク 1 1 1、光デイスク 1 1 2、光磁気ディスク 1 1 3、または半導体メモリ 1 1 4から読み出され、記'慮部 1 0 8にインスト一ノレされたプログラムを、 RAM (Random Access Memory) 1 0 3にロードして実行する。これにより、上述した画像処理装置 1の機能が、ソフトウェアにより実現されている。さらに、 CPU 1 0 1は、通信部 1 0 9を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されているプログラム格納媒体は、図 7に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プロダラムが記録されている磁気ディスク 1 1 1 (フレキシブルディスクを含む）、光デイスク 1 1 2 (CD-ROM (Compact Di sk-Read Only Memory) , DVD (Digital

Versat i le Di sk) を含む）、光磁気ディスク 1 1 3 (MD (Mi n i-Di sc) を含む）、もしくは半導体メモリ 1 1 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される. プログラムが記録されている R0M 1 0 2や、記憶部 1 0 8に含まれるハードディスクなどで構成される。

尚、本明細書において、プログラム格納媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。産業上の利用可能性

本発明の情報処理装置および方法、並びにプログラムによれば、第 1のストリームデータの第 1の時刻データを取得し、第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データを取得し、第 2の時刻データを、第 1の時刻データに対して連続的な時刻データに変換するようにしたので、つなぎ撮りされたストリームの切り替え部分を再生する際に生じる表示の乱れを抑制することが可能となる。

Claims

請求の範囲

1 . 第 1のストリームデータの第 1の時刻データを取得する第 1の取得手段と前記第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第

2の時刻データを取得する第 2の取得手段と、

前記第 2の時刻データを、前記第 1の時刻データに対して連続的な時刻データに変換する時刻データ変換手段と

を備えることを特徴とする情報処理装置。

2 . 前記ストリームデータは、 MPEG 2方式で記録されたビデオデータ、または、オーディオデータである

ことを特徴とする請求の範囲第 1項に記載の情報処理装置。

3 . 前記第 1の時刻データ、および、前記第 2の時刻データは、 MPEG 2で規定されているデコーディングタイムスタンプ、プレゼンテーションタイムスタンプ、または、プログラムクロックリファレンスのデータを含む

ことを特徴とする請求の範囲第 2項に記載の情報処理装置。

4 . 第 1のストリームデータの第 1の時刻データを取得する第 1の取得ステツプと、

前記第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データを取得する第 2の取得ステツプと、

前記第 2の時刻データを、前記第 1の時刻データに対して連続的な時刻データに変換する時刻データ変換ステップと

を含むことを特徴とする情報処理方法。

5 . 第 1のストリームデータの第 1の時刻データの取得を制御する第 1の取得制御ステップと、

前記第 1のストリームデータにつなぎ撮りされた第 2のストリームデータの第 2の時刻データの取得を制御する第 2の取得制御ステップと、

前記第 2の時刻データの、前記第 1の時刻データに対して連続的な時刻データへの変換を制御する時刻データ変換制御ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが格納されているプログラム格納媒体。

6 . 第 1のストリームデータの第 1の時刻データの取得を制御する第 1の取得制御ステップと、

前記第 2の時刻データの、前記第 1の時刻データに対して連続的な時刻データへの変換を制御する時刻データ変換制御ステップと

をコンピュータに実行させるプログラム。