(第1実施形態)
以下、本発明に係る光ディスクの実施形態を、図面を参照しながら説明する。第1実施形態に係る光ディスクは、相変化型光ディスクであり、DVD-VIDEO RECORDING規格に準じて、動画像データを記録することができるDVD-RAM,DVD-RW(以降"DVD"と略記する)であるものとする。
DVDには、図1に示すディレクトリやファイルが記録される。図1においてROOTディレクトリの直下にVIDEO_RTAV(RealTime Recording Audio Video)ディレクトリが配され、その下に、1つのVOBが収録されるAVファイルと、各種管理情報が収録される管理ファイルとが配置される。図2(a)は、AVファイルに収録されるVOBの構成を段階的に詳細化した図である。VOB(Video Object)は、ビデオストリーム、オーディオストリームを多重化することにより得られたISO/IEC13818-1規格準拠のプログラムストリームであって、その終端部にprogram_end_codeが付与されていないものをいう。本図において1段目に位置するビデオストリームは、複数のピクチャデータからなるピクチャデータの配列である。これらピクチャデータ列は、その2段目に示すように複数のGOPに分割される。GOP単位のピクチャデータは、2KByte単位に複数に分割される。一方、1段目の右側に位置するオーディオストリームも、3段目に示すように約2KByte単位に複数に分割される。2KByteに分割されたGOP単位のピクチャデータは、約2KByte単位に分割されたオーディオストリームとインターリーブ多重化されて、4段目に示すパック列を形成している。このようなパック列は、5段目に示す複数のVOBU(Video Object Unit)を形成しており、6段目に示すVOBは複数のVOBUが時系列に配列された構成を持つ。本図における破線に示す引き出し線は、下段の論理フォーマットがその上段の論理フォーマット内のどの部分を詳細化したかを明確にしている。この表記に基づいて図中の破線を参照すると、5段目におけるVOBUは、4段目に示したパック列に対応しており、更に2段目に示すGOP単位のピクチャデータに対応している。
破線に示した対応関係からも明らかなようにVOBUとは、その再生時間が約0.4秒〜1.0秒となるピクチャデータからなる少なくとも1つ以上のGOPと、このピクチャデータと共に多重化されているオーディオデータを含む単位であり、MPEG規格におけるビデオパック−オーディオパックを配列して構成されている。続いてGOPに含まれるピクチャデータについて説明する。図2(b)は、GOPの内部構成を示す図である。ピクチャデータは、過去方向および未来方向に再生されるべき画像との相関性を用いて圧縮されているBidirectionally Predictive(B)ピクチャ、過去方向に再生されるべき画像との相関性を用いて圧縮されているPredictive(P)ピクチャ、相関性を用いず、一フレーム分の画像内での空間周波数特性を利用して圧縮されているIntra(I)ピクチャのうち何れかに変換される。ピクチャデータは、約1/33秒というディスプレイの一表示期間(ビデオフレームとも呼ばれる。)にて表示される。
続いて管理ファイルについて説明する。図3は、管理ファイルの内部構成を示す図である。図3に示すように管理ファイルは、M_AVFIテーブルと、PGCIテーブルとからなる。『M_AVFI(Motion AV File Information)テーブル』は、VOBについての管理テーブルであり、破線の引き出し線hy1に示すように、VOBについての属性情報『VOB STI(Stream Information)#1・・・・#K』と、『VOBI#1・・・・#L』とからなる。
『VOB STI』は、各VOBに含まれるピクチャデータがどのようなビデオ属性を有しているか(コーディングモード、アスペクト比、NTSC/PAL、line21情報など)、各VOBに含まれるオーディオデータがどのようなオーディオ属性を有しているか(コーディングモード、チャンネル数、周波数など)を示す。『VOBI(Video Object Information)』は、破線の引き出し線hy2に示すように、VOBの種別『VOB_Type』、VOBを構成するビデオストリームの先頭ピクチャデータの再生が開始される時刻を示す再生開始時刻『VOB_Start_PTM』、VOBを構成するビデオストリームの最終ピクチャデータの再生が終了する時刻を示す再生終了時間『VOB_End_PTM』、VOBの先頭の記録日時を示す記録日時情報『VOB_REC_TM』、VOB STI#1・・・・#Kのうち、このVOBに対応するものを矢印Pr1に示すように指定するポインタ『VOB_STIN』、そのVOBを構成する各VOBUについてのタイムマップ情報『TMAPI』から構成される。TMAPIは、破線の矢印hy3に示すように『TMAP_GI』と、『TM_ENT#1〜#S』と、『VOBU_ENT#1〜#T』とを含む。
『VOBU_ENT』は、各VOBUに対応づけられた情報であり、破線の矢印hy4に示すように、対応するVOBUにおいて先頭に位置するIピクチャのサイズ『1STREF_SZ』と、対応するVOBUの再生時間『VOBU_PB_TM』と、対応するVOBUのサイズ『VOBU_SZ』とを含む。『TM_ENT』は、10秒置きのタイムエントリーの所在を示す情報であり、破線の矢印hy5に示すようにこのタイムエントリーを含むVOBUを示す『VOBU_ENTN』と、VOBU_ENTNにより示されるVOBUの先頭からタイムエントリーまでのオフセット時間を示す『TM_DIFF』と、VOBの先頭からVOBU_ENTNにより示されるVOBUの先頭までのオフセットデータを示す『VOBU_ADR』とからなる。
『TMAP_GI』は、TMAPI全体を管理する情報であり、破線の矢印hy6に示すようにVOBに設定されたタイムエントリーの個数を示す『TM_ENT_Ns』と、TMAPIに含まれるVOBU_ENTの個数を示す『VOBU_ENT_Ns』と、VOB先頭から1つのタイムエントリーまでのオフセットを示す『TM_OFS』と、AVファイルの先頭から、VOBの先頭までのオフセットを示す『ADR_OFS』とを含む。
図4は、TMAPIとVOBUとの関係を模式的に描いた図である。本図に示すように各VOBUの再生時間と、VOBUのサイズとの対応は、VOBU_PB_TM(図中のPB_TM)と、VOBU_SZとの組みによりとられている。またTM_ENTにおけるTM_DIFFは、VOBUの再生開始から何秒後にタイムエントリーに到達するかを示している。以上の構造をもったTMAPIにより、任意のタイムコードに相当するVOBUがどれであるかを特定することができる。
続いてPGCIテーブルについて説明する。PGCIテーブルは複数のPlaylist情報を含む。Playlist情報(図3では"PLI"と略記している)は、CELL情報の配列であり、再生区間を順次再生させるように再生装置に命じる再生リストである。CELL情報(図3では"CELLI"と略記している)とは、ユーザによる仮編集操作に基づき、設定された再生区間を示すポインタ情報である。仮編集では、再生区間の開始点(In点)、再生区間の終了点(Out点)を特定する操作が行われる。CELL情報は、対象となるVOBを示す『VOBI_SRP』と、そのVOBに含まれるピクチャデータのうちIn点となるピクチャデータを指定するタイムコードである『Cell_Start_PTM』、そのVOBに含まれるVOBのうちOut点となるピクチャデータを指定するタイムコード『Cell_End_PTM』とを含む。このタイムコードは、ピクチャデータの表示期間であるビデオフレームの時間精度を有しており、CELL情報は、このビデオフレームの時間精度で表現されている。
Playlist情報におけるCELL情報の順序は、再生区間の順序を意味する。つまりPlaylist情報に、CELL情報#1,#2,#3という順でCELL情報が格納されている場合、それらに対応する再生区間#1,#2,#3は、「#1」,「#2」,「#3」という順序で再生されることになる。図5は、CELL情報#x,#x+1により再生区間がどのように特定されるかを模式的に示す図である。図5に示すように、再生区間は、VOB−VOB情報−CELL情報という三階層からなる階層構造にて定義される。ユーザが本図におけるCELL情報#xに対して、再生区間#xのIn点、Out点を設定し、またCELL情報#x+1に対して再生区間#x+1のIn点、Out点を設定したものとする。CELL情報#xは、この再生区間#xを特定するものである。このCELL情報#xにおけるVOBI_SRPは、矢印vy1に示すように、VOB情報#xを介してVOB#xを指定し、CELL情報#xにおけるCell_Start_PTMは矢印vy2に示すように再生区間#xのIn点を、CELL情報#xにおけるCell_End_PTMは、矢印vy3に示すように再生区間#xのOut点を示している。
一方CELL情報#x+1は、この再生区間#x+1を特定するものである。このCELL情報#x+1におけるVOBI_SRPは、矢印vy4に示すように、VOB情報#x+1を介してVOB#x+1を指定し、CELL情報#x+1におけるCell_Start_PTMは矢印vy5に示すように再生区間#x+1のIn点を、CELL情報#x+1におけるCell_End_PTMは、矢印vy6に示すように再生区間#x+1のOut点を示している。プレイリスト情報は、このようなCELL情報の配列により、一本の編集成果物として扱われることになる。
さて、CELL情報にて指定されるピクチャデータは、前後のピクチャデータとのフレーム間相関性に基づきMPEG規格に従って圧縮符号化されたピクチャデータを多く含んでいる。この圧縮符号化は、デコード時においてVOB(VOBU)を構成する全てのピクチャデータが先頭から順次再生されるという想定の下に行われる。一方、図5のように2以上指定された再生区間のうち先行するものの最後に位置するピクチャデータと、後続するものの先頭に位置するピクチャデータとを連続して再生させることは、上述した当初の想定に反するものである。故に、プレイリスト情報により指定される複数再生区間の連続再生は困難となり、上述した先行再生区間及び後続再生区間の繋ぎめでは、動画像の途切れ等が多く現れる。再生区間が切り替わる度に、画像再生がいちいち途切れるので、プレイリスト情報にて定義される編集成果物は、悪くいうなら、つぎはぎだらけの編集成果物となる。
途切れを無くし完成度が高い編集成果物にみせるには、上述した繋ぎ目に対しては、何等かの加工が要求される。再生区間の繋ぎめをスムーズに見せる加工手法には、シームレス接続、フェードアウト接続、フェードイン接続、クロスフェード接続といった種別がある。図6(a)〜図6(d)は、複数種別の加工のそれぞれを説明するための図である。尚、本明細書において、これらの加工が施される部位を『先行再生区間の終端近傍部』、『後続再生区間の先端近傍部』というものとする。図6(a)〜図6(d)において、終端近傍部はピクチャデータPC1〜PC4といった4つのピクチャデータを含み、先端近傍部はピクチャデータPC5〜PC8といった4つのピクチャデータを含むものとする。
図6(a)は、シームレス接続を示す図であり、本図では先行再生区間の終端近傍部の最後のピクチャデータPC4が再生されてから、一ビデオフレームに、後続再生区間の先端近傍部の最初のピクチャデータPC5を表示させるという接続形態であり、見た目上再生の途切れをなくす加工手法である。図6(b)は、フェードアウト接続を示す。本図において終端近傍部に属するピクチャデータの明度を、ピクチャデータPC1〜PC3の順に落としてゆき、ピクチャデータPC4を最低の明度で表示にした後、後続再生区間の先端近傍部のピクチャデータPC5を表示させるという接続形態である。
図6(c)は、フェードイン接続を示す図であり、本図において終端近傍部のピクチャデータPC4を再生した後、先端近傍部のピクチャデータPC5を、最低の明度で表示し、その後、ピクチャデータPC6〜PC8の順に明度を上げながら表示してゆくという接続形態である。図6(d)は、クロスフェード接続を示す。終端近傍部に属するピクチャデータPC1〜PC4は、図6(b)と同様に明度徐々に落としつつ表示してゆく。一方、先端近傍部に属するピクチャデータPC5〜PC8は、図6(c)と同様に明度を徐々にあげながら表示してゆく。ピクチャデータPC1とピクチャデータPC5、ピクチャデータPC2とピクチャデータPC6、ピクチャデータPC3とピクチャデータPC7、ピクチャデータPC4とピクチャデータPC8というように、それぞれの合成画像を作成してゆき、ピクチャデータPC4が最低の明度で表示されるべき時点で後続再生区間のピクチャデータPC8が現れるようにするのである。以上が2つの再生区間の繋ぎめをスムースに見せるための加工手法である。
当然のことながら本明細書にいう加工とは、再生区間の繋ぎめをスムースに見せるという視覚効果の実現のための加工以外にも、コンピュ−タ・グラフィックスやアニメーションの合成、テロップの追加等、VOBに対するデータ操作を伴うあらゆる処理を範疇に含む。終端近傍部及び先端近傍部をどのように設定するかについて説明する。
図7(a)〜図7(b)は、加工手法がシームレス接続である場合に、終端近傍部及び先端近傍部をどのように設定するかを示す図である。図7(a)では、先行するVOB#xのうち先行再生区間のOut点を含むVOBU#(Out)から、2個先のVOBUまでを終端近傍部としており、また後続するCELL情報#x+1のうち後続再生区間のIn点を含むVOBUを先端近傍部としている。
2個先のVOBUまでを再エンコードの対象するのは、オーディオデータとの同期再生を維持するためである。ピクチャデータは他のピクチャデータとの相関性に基づき圧縮符号化されている関係上、DVDから読み出された時点の直後に再生されるのではなく、後続するピクチャデータが再生されるのを待たねばならない場合が殆どである。そのためピクチャデータがDVDから読み出されてから、再生されるまでの間再生装置内のバッファに格納されており、このバッファでの格納期間は最大1秒になり得る。一方オーディオデータは、再生装置内のバッファに格納されている期間がないか、あったとしても極めて短いので、GOP内のピクチャデータは自身の読み出しから、1秒経過後にDVDから読み出されるオーディオデータと同期再生される場合がある。
ピクチャデータの読み出しから、1秒以降にDVDから読み出されるオーディオデータは、そのピクチャデータから見て、1,2個先のVOBUであることが多いので、あるVOBUに含まれるピクチャデータは、そのVOBUに後続する1,2個先のVOBUと依存関係を有してしまう。そのような依存関係があるので、再エンコードにあたっては2個先のVOBUまでを再エンコードの対象としている。
尚、終端近傍部及び先端近傍部をこのように定める根拠は、同出願人の先行技術米国特許USP,6148,140公報により記載されているので、詳細に関してはこの公報を参照されたい。また、シームレス接続の場合は、先行再生区間の連続長は所定長以上必要になる。これは、先行再生区間の連続長が短いと、先行再生区間の再生によりバッファに十分にデータが蓄積されないため、先行再生区間から後続再生区間にランダムアクセスにより生じるディスクシークの間にバッファのアンダーフローが生じるためである。
一方フェードアウト接続、フェードイン接続、クロスフェード接続といった種別の加工では図7(a)に示すように、図7(b)に示したVOBUに加え、Out点を含むVOBUよりj個手前にあるVOBUまでが終端近傍部であり、またIn点を含むVOBUよりk個後にあるVOBUまでが先端近傍部になる。この個数j,kは、フェードイン接続・フェードアウト接続・クロスフェード接続といった視覚効果が及ぶ範囲であり、どのように視覚効果を施したいかというユーザの感性によっても左右する。つまり、流動的な個数といえる。終端近傍部と、先端近傍部は、それぞれ相異なることが通例であるが、以降の説明では単純化を期すため、終端近傍部は、Out点を含むVOBU#(Out)のみとし、先端近傍部は、In点を含むVOBU#(In)のみとする。以上がVOBに対する加工の概要である。ここで留意すべきは、仮編集は、オリジナルのVOBに対する加工を一切行わないことを原則としているから、これらの加工技術を直接適用することはできないという点である。
そこで本実施形態ではVOBにおける先行再生区間の終端近傍部と、後続再生区間の先端近傍部を複製しており、この複製部分が、加工のためにDVDに書き込まれている。図8は、データ加工のために書き込まれた複製部分を示す図である。本図では、矢印Cy1,Cy2に示すような複製が行われている。本図におけるVOB#zは、先行再生区間の終端近傍部(Out点を含むVOBU#(Out)からその2個先のVOBUまで)の複製部分であり、VOB#z+1は、後続再生区間の先端近傍部(In点を含むVOBU#(In))の複製部分である。
これらのVOB#z,#z+1は、他のVOB同様、VOB情報#z,#z+1が設定され、またTemp_Cell情報#z、Temp_Cell情報#z+1にて再生区間が指定される。図9は、VOB#z,#z+1とともにVOB情報#z,#z+1、Temp_Cell情報#z,#z+1が書き込まれたDVDを示す図である。本図の矢印by1,by2に示すようにVOB情報#z,#z+1が、矢印by3,by4に示すようにTemp_Cell情報#z、Temp_Cell情報#z+1が書き込まれていることがわかる。このことから複製部分は、VOB−VOB情報−CELL情報という三階層からなる階層構造にて再生区間が定義されるのである。これらのVOB#z,#z+1が他のVOBと異なるのは、"Temp_Cell情報"という、特殊なタイプのセル情報にて指定されている点である。Temp_Cell情報とは、Playlist情報においてある先行するCELL情報により指定される先行再生区間と、後続するCELL情報により指定される後続再生区間との間に、リンクして再生すべき再生区間を指定するCELL情報である。Temp_Cell情報#z,#z+1により指定されたVOB#z,#z+1は、それぞれ加工され得る複製部分であるから、Temp_Cell情報にてこれらVOB#z,#z+1を指定させることで、先行再生区間#xの再生終了後、後続再生区間#x+1の再生開始前に、加工され得る複製部分を再生させることができる。
続いてTemp_Cell情報のデータ構造と、Temp_Cell情報が設定されている場合のCELL情報のデータ構造とを図10を参照しながら説明する。図10は、第1実施形態に係るプレイリスト情報ののCELL情報のデータ構造を示す図であり、図11は、図10に示したCELL情報、Temp_Cell情報にてVOBがどのように指定されるかを模式的に示す図である。図10におけるプレイリスト情報の内部構成と、図3に示したプレイリスト情報との差違部分を、太枠wk1,wk2,wk3に示す。図10においてプレイリスト情報は、図3に示したCELL情報#1〜#Nに加え、太枠wk1に示すTemp_Cell情報#1〜#M(図中では、Temp_CellIと略記している)を含む。太枠wk3に示すように、Temp_Cell情報は、対応するVOBを示す『VOBI_SRP』と、VOBにおける再生区間の開始点を示す『Cell_Start_PTM』と、VOBにおける再生区間の終了点を示す『Cell_End_PTM』と、このTemp_Cell情報に後続すべきTemp_Cell情報を示す『Temp_Cell_SRP』とからなる。Temp_Cell_SRPは、図11の矢印yp1に示すVOB#zからVOB#z+1へのリンクを指定する。
またTemp_Cell情報におけるCell_Start_PTM、Cell_End_PTMがどのように設定されるかは、図11の矢印cy1,cy2,cy3,cy4の通りである。Temp_Cell情報#zにおけるCell_Start_PTMは、図11の矢印cy1に示すようにVOB#zの先頭のピクチャデータを指定しており、Cell_End_PTMは、矢印cy2に示すようにユーザにより指定されたOut点と同じピクチャデータを指定している。Temp_Cell情報#z+1におけるCell_End_PTMは、矢印cy3に示すようにVOB#z+1の最後のピクチャデータを指定しており、Cell_Start_PTMは、矢印cy4に示すようにユーザにより指定されたIn点と同じピクチャデータを、VOB#z+1に対して指定している。VOB#z,#z+1は、本来先行再生区間の終端近傍部の複製部分及び後続再生区間の先端近傍部の複製部分であるので、Temp_Cell情報#zのCell_End_PTMは、CELL情報#xのCell_End_PTMと同じピクチャデータを、Temp_Cell情報#z+1のCell_Start_PTMは、CELL情報#x+1のCell_Start_PTMにて指定されているピクチャデータと同じピクチャデータを、指定しているのである。
続いて図10におけるCELL情報のデータ構造について説明する。図10のCELL情報において『VOBI_SRP』、『Cell_Start_PTM』、『Cell_End_PTM』が設定されている点は図3と同様である。異なるのは、太枠wk3で囲んだ部分であり、『Trimming_Start_PTM』、『Trimming_End_PTM』、『Temp_Cell_SRP』、『Effect_Type』、『Temp_Cell_FLAG』が設定されている点が、図3に示したCELL情報との差違である。
『Temp_Cell_SRP』は、Temp_Cell情報を経由する際に、経由先Temp_Cell情報を示すポインタ情報である。このTemp_Cell_SRPにより、図11におけるCELL情報#xからTemp_Cell情報#zへのリンクsy1が明示的に指定されるのである。Temp_Cell情報への経由をTemp_Cell_SRPによるリンク関係で規定しているのは、Temp_Cell情報により指定される複製部分(VOB#z及びVOB#z+1)が、加工により1つのVOBに統合されたり、3つ以上に分割されるという可能性を踏まえているからである。例えばVOB#z+1がVOB#zに統合された場合、Temp_Cell情報#zにおけるCell_Start_PTM、Cell_End_PTMにて新たなVOB#zの全体を網羅できるよう更新し、Temp_Cell情報#z+1に含まれるTemp_Cell_SRPを削除すればよい。
またVOB#z+1をVOB#z+1、VOB#z+2に分割した場合、Temp_Cell情報#z+1をTemp_Cell情報#z+1,#z+2に分割する。VOB#z+1における再生区間をTemp_Cell情報#z+1にて指定し、VOB#z+2における再生区間をTemp_Cell情報#z+2に指定させて、これらTemp_Cell情報#z+1,#z+2間のリンクをTemp_Cell_SRPにて規定すればよい。統合・分割の可能性がある複製部分のVOBが、リンク関係が規定されたTemp_Cell情報にて指定されているので、複製部分の統合・分割がなされた場合は、Temp_Cell情報さえ更新すればよくCELL情報を更新する必要はない。よって加工時の更新の手間が最小限に抑えられる。
『Trimming_Start_PTM』は、先端近傍部直後に位置するピクチャデータを指すタイムコードである。『Trimming_End_PTM』は、終端近傍部直前に位置するピクチャデータを指すタイムコードである。Trimming_Start_PTM、Trimming_End_PTMを設けているのは、Temp_Cell情報を経由する際、同じ内容が重複して再生されることを避けるためである。つまりCELL情報#xのCell_End_PTMは複製部分の終端近傍部におけるOut点を、CELL情報#x+1のCell_Start_PTMは、先端近傍部の複製部分のIn点を指定しているから、ユーザにより指定されたOut点、In点は、CELL情報、Temp_Cell情報により二重に指定される。これでは終端近傍部の先頭からOut点まで、及び、In点から先端近傍部の末尾までが二重に再生されてしまう。そこでTrimming_End_PTM及びTrimming_Start_PTMにより、先端近傍部直後に位置するピクチャデータと、終端近傍部直前に位置するピクチャデータとを指定させているのである。図11においてCELL情報#xのCell_End_PTMは、破線bs1の範囲を指定している。一方CELL情報#xのTrimming_End_PTMは、矢印gy1に示すように終端近傍部の直前に位置するVOBU#(PreEdge)の最終ピクチャデータを指定している。同じくCELL情報#x+1のCell_Start_PTMは、破線bs2の範囲を指定している。一方CELL情報#x+1のTrimming_Start_PTMは、矢印gy2に示すように先端近傍部の直後に位置するVOBU#(PostEdge)の先頭ピクチャデータを指定している。このような直前・直後の指定により、Temp_Cell情報を経由して再生を行う場合であっても、重複再生は避けられることになる。
以上のように、図10のデータ構造では、Temp_Cell情報の経由を行わない場合は、Cell_End_PTM、Cell_Start_PTMに基づき、破線bs1,b2で示す終端近傍部と、先端近傍部を包含するように先行再生区間及び後続再生区間の全体の再生を行う。Temp_Cell情報への経由を行う場合は、Trimming_End_PTM、Trimming_Start_PTMに基づき、先行再生区間の終端近傍部直前まで、後続再生区間の先端近傍部以降の再生を行う旨を示すのである。
『Effect_Type』は、どのような視覚効果を実現するための加工が、Temp_Cell情報により指定されるVOBに対して施されているかを示す。ここでの視覚効果のタイプには、先に述べたシームレース接続、フェードイン接続・フェードアウト接続・クロスフェード接続でといったものがある。『Temp_Cell_FLAG』は、「0(オフ)」に設定されることにより、Temp_Cell情報を経由することなく直接後続するCELL情報に移行する旨を示し、「1(オン)」に設定されることにより、Temp_Cell情報を経由した上で後続するCELL情報に移行する旨を示す。Temp_Cell_FLAGが「0」に設定される具体的なケースとしては、複製部分を書き込むだけの空き領域をDVD上に確保できなかった場合(1)、複製部分を書き込むことができ再エンコード等の加工を行ったが、その結果が芳しくなく、再生させたくない場合(2)等が挙げられる。逆にTemp_Cell_FLAGが「1」に設定される具体的なケースとしては、複製部分に対する加工に成功し、その加工が施された複製部分を指定するTemp_Cell情報に、経由したい場合等がある。
Temp_Cell_FLAGが存在することにより、Temp_Cell情報を経由するか否かの切り換えを容易に行うことができる。図12は、図9の一例に準じて、図10に示すCELL情報及びTemp_Cell情報を設定する場合の一例を示す図である。CELL情報#xのTemp_Cell_SRPは矢印sy1に示すようにTemp_Cell情報#zを、Temp_Cell情報#zのTemp_Cell_SRPは矢印yp1に示すようにTemp_Cell情報#z+1を示している。CELL情報#xのTrimming_End_PTMは、矢印gy1に示すようにVOBU#(PreEdge)の最後に位置するピクチャデータを、CELL情報#x+1のTrimming_Start_PTMは、矢印gy2に示すようにVOBU#(PostEdge)の先頭に位置するピクチャデータをそれぞれ示している。Temp_Cell情報#zのCell_Start_PTMは、矢印cy1に示すようにVOB#zの先頭に位置するピクチャデータを、Temp_Cell情報#zのCell_End_PTMは矢印cy2に示すようにVOB#zのOut点を、VOB#z+1のCell_Start_PTMは、矢印Cy4に示すようVOB#z+1のIn点を、VOB#z+1のCell_End_PTMは矢印cy3に示すようにVOB#z+1の末尾を示している。Temp_Cell_FLAGは、矢印sy1,yp1,sy2という経路で再生を行うか、或は矢印ty0に示すようにCELL情報#xからCELL情報#x+1にダイレクトに再生を行うかを示す。
以上のように本実施形態によれば、先行再生区間の終端近傍部及び後続再生区間の先端近傍部を複製した上で、その複製部分を加工のためにDVDに書き込んでおくので、仮編集の原則を維持しつつも、この複製部分に対して視覚効果上の様々な加工を施すことができる。編集に成功した場合、CELL情報におけるTemp_Cell_FLAGをオンに設定して、複製部分を経由して再生させる。そうするとプレイリスト情報により指定された再生区間列は、再生の途切れ無しに、スムーズに再生されることになり、ユーザは悦に浸ることができる。
編集失敗時のリカバリーも確実なので、フェードイン、フェードアウト、クロスフェード等の編集技法にチャレンジする機会を増やすことができる。
(第2実施形態)第2実施形態は、仮編集を行い第1実施形態に示したデータ構造のCELL情報、Temp_Cell情報をDVDに得る記録装置に関する。図13は、記録装置の内部構成を示す図であり、記録装置はシステム制御部1、ディスクドライブ2、MPEGデコーダ3、信号出力部4、トラックバッファ5及びユーザインターフェイス部6からなり、システム制御部1は、アドレス・タイムコード変換部7、プレイリスト書込制御部8を含む。
システム制御部1は、再生を行うべき点(Play点)の指定を操作者から受け付け、Play点が指定されれば、VOBに含まれるVOBUのうちどのVOBUがこのPlay点を包含するか、更にこのVOBUに含まれる複数のピクチャデータのうち、どれがPlay点に対応するかをTMAPIを参照して特定する。特定されたVOBUを読み出すようディスクドライブ2を指示し、読み出されたVOBUにおいてPlay点により指定されたピクチャデータのみを表示するようMPEGデコーダ3に指示する。Play点が2つ指定され、それらが再生区間の開始点(In点)、再生区間の終了点(Out点)として特定された場合には、再生区間を特定するCELL情報を含むプレイリスト情報をDVDに書き込む。
ディスクドライブ2は、DVDを装填し、アクセスする装置であり、ピクチャデータの再生時にはそのピクチャデータを含むVOBUを読み出してMPEGデコーダに投入する。MPEGデコーダ3は、ピクチャデータの再生が指示された場合、ディスクドライブ2によりDVDから読み出されたVOBUをデコードし、非圧縮のピクチャデータを得る。
信号出力部4は、MPEGデコーダ3のデコードにより得られた非圧縮のピクチャデータを映像信号に変換してテレビなどに出力する。トラックバッファ5は、ディスクドライブ2によるDVDからのVOBUの読み出し速度と、MPEGデコーダ3によるピクチャデータのデコード速度との速度差を吸収するためのバッファである。このバッファのオーバーフロー又はアンダーフローが生じない限り、複数のピクチャデータの連続再生が可能となる。
ユーザインターフェイス部6は、Play点、In点、Out点を特定する操作を対話画面を介して受け付ける。図14は、仮編集処理に用いられる対話画面の一例を示す図である。本図に示すように、対話画面は、レールgu1、スライドバーgu2、再生ウィンドゥgu3、INボタンgu4、OUTボタンgu5、区間特定ボタンgu6、In点In点サムネールgu7、Out点サムネールgu8、終了ボタンgu9を含む。スライドバーgu2は、ユーザのカーソルキーの操作に応じてレールgu1上を移動する。スライドバーgu2の位置が確定されれば、レールgu1におけるスライドバーgu2の位置を、システム制御部1はPlay点として解釈する。例えばVOBが2時間であり、スライドバーgu2の位置がこのレールgu1上の丁度中間付近で確定された場合、VOB先頭から1時間が経過した時点をPlay点として解釈する。
再生ウィンドゥgu3は、Play点に存在するピクチャデータが表示される。INボタンgu4、OUTボタンgu5は、In点、Out点の設定操作を受け付けるボタンであり、区間特定ボタンgu6は、再生区間の特定処理の実行操作を受け付けるボタンである。In点サムネールgu7、Out点サムネールgu8は、In点、Out点として設定された部分に位置するピクチャデータのサムネールを表示するウィンドゥ、終了ボタンgu9は、仮編集の終了操作を受け付けるボタンである。
アドレス・タイムコード変換部7は、タイムコードからAVファイル内のVOBUのアドレスを特定するものである。タイムコードには、Play点、再生区間のIn点、Out点を指定するものがあり、アドレス・タイムコード変換部7はこれらがユーザにより設定された際、これがどのVOBUに含まれ、そのVOBUのどのピクチャデータにタイムコードが対応するかをTMAPIを参照して特定するものである。図15〜図17は、アドレス・タイムコード変換部7がタイムコードからVOBUのアドレスを特定する過程を示す図である。以降In点を一例にして、この特定の過程について説明を行う。図15に示すように、VOB先頭からの相対時刻TxにてIn点が指定されると、図16に示すように下記の式1を満たすx,y,zを求め、x,yを以下の式2に適用して、図17に示すようにVOBU#iのアドレスを求める。こうして求められたアドレスから、VOBUをDVDから読み出させ、このVOBUの再生開始時刻から時間zが経過する際に現れるピクチャデータの再生をシステム制御部1が命じれば、In点に相当するピクチャデータが表示されることになる。
(式1)In点のタイムコードTx=10秒×x-TM_ENT#x+1のTM_DIFF+TM_OFS+(VOBU_PB_TM)×y+z(式2)
VOBU#iのアドレス=ADR_OFS+TM_ENT#x+1のVOBU_ADR+VOBU_SZ×yプレイリスト書込制御部8は、ユーザによる対話操作に基づいてプレイリスト情報をDVDに書き込む構成要素であり、その実体は図18及び図19のフロ−チャ−トの処理手順を実現するプログラムである。以降、本フロ−チャ−トを参照しながら、プレイリスト書込制御部8による処理手順について説明する。本記録装置が起動されると、ステップS1〜ステップS4のループ処理に移行する。本ループ処理は、スライドバーgu2、INボタンgu4、OUTボタンgu5、区間特定ボタンgu6、処理終了ボタンgu9が指定されるのを待つものである。スライドバーgu2が指定されると、ステップS1からステップS5に移行してスライドバーgu2の移動操作がなされるのを待つ。スライドバーgu2の移動操作がなされると、ステップS6において、その移動操作に応じて、スライドバーgu2を移動する。以降、ユーザによるスライドバーgu2の移動操作が継続している間、ステップS5〜ステップS6により、スライドバーgu2が左右の方向に移動することになる。スライドバーgu2に対する移動操作が中断すれば、ステップS5がNoになってステップS7に移行し、レールgu1左端を基点としたスライドバーgu2の相対位置に基づき、タイムコードを生成し、このタイムコードをPlay点とする。ここで、編集の対象となるCellが1.5時間長であるとすると、レールgu1左端を00時00分00.00秒、レールgu1右端を01時30分00.00秒と考え、このレールgu1におけるスライドバーgu2の位置を時分秒で表す。ここでレールgu1の中間位置にスライドバーgu2が存在するものとすると、00時45分00.00秒がPlay点となる。
その後、タイムコードにて特定されるピクチャデータを再生ウィンドゥgu3に表示する。これにより、スライドバーgu2の移動操作にて、再生区間内の任意のPlay点が指定されることになる。その後ステップS1〜ステップS4からなるループ処理に移行する。スライドバーgu2に対する移動操作にて、所望のPlay点が指定されなかった場合、ステップS1においてユーザはスライドバーgu2を再度指定し、ステップS5〜S6において、移動操作を再度行うことにより、Play点の位置の微調整を行う。
微調整を経て操作者が所望するPlay点が指定され、INボタンgu4が押下されたものとする。この場合、ステップS8において、Play点をIn点として指定し、ステップS9では、レールgu1においてIn点として指定された位置に▽マークを表示する。ステップS10では、In点を示すタイムコードを時:分:秒の表記で表示し、ステップS11ではIn点におけるピクチャデータのサムネールをIn点サムネールgu7に表示する。以上の過程を経て、In点が設定されることになる。In点が設定された後、スライドバーgu2が指定され、このスライドバーgu2を移動する操作が再度行われて、OUT設定ボタンが指定されれば、In点と同様の手順を経てOut点が設定される。
以上の過程を経てIn点、Out点が設定されれば、再生区間が確定されたことになる。その後ステップS1〜ステップS4のループ処理に移行し、区間特定ボタンgu6が指定されたとする。区間特定ボタンgu6が指定されれば、ステップS3がYesになって、ステップS12に移行する。ステップS12では、対象となるVOBをVOBI_SRPに、In点をCell_Start_PTMに指定し、Out点をCell_End_PTMに指定したCell情報を生成する。以上の図18の処理が繰り返しなされ、CELL情報がn個生成されたものとする。その後、処理終了ボタンgu9が押下されれば、図18の処理を終了して図19のフロ−チャ−トに移行する。
図19のフローチャートは、ステップS13〜ステップS33の処理を、CELL情報#1〜#n-1について繰り返すループ構造になっている(ステップS34、ステップS35)。このフローチャートにおいて、処理対象となるCELL情報をCELL情報#xとし、プレイリスト情報の内部においてこれに後続するCELL情報をCELL情報#x+1とする。ステップS13において再生区間#xのOut点たるピクチャデータを含むVOBU#(Out)を特定し、再生区間#x+1のIn点となるピクチャデータを含むVOBU#(In)を特定する。ステップS14において視覚効果タイプの指定を受け付けてから、ステップS15において視覚効果タイプに応じて、VOBU#(Out)を基準にした再生区間#xの終端近傍部を特定し、ステップS16においてVOBU#(In)を基準にした再生区間#x+1の先端近傍部を特定する。視覚効果のタイプに基づき終端近傍部及び先端近傍部を特定するのは、加工すべき部分が、視覚効果の態様毎に異なる場合があるという理由による。フェードイン接続・フェードアウト接続・クロスフェード接続といった視覚効果を施す場合は、加工範囲を自動的に設定するより、対話操作にて加工を行う範囲をユーザに指定させるのが望ましい。終端近傍部と、先端近傍部が特定されれば、ステップS17において、先端近傍部と終端近傍部とを足し合わせたサイズがDVDの所定のサイズを上回るか否かを判定する。これは本実施形態に係る仮編集は、複製部分の記録を伴うので、DVDの空き領域が少ない場合に、DVDがディスクフルになってしまうことを避けるためである。所定サイズを定めるにあたっての基準としては、例えばDVDの空き領域から5〜10VOBUのデータサイズを引いた値が望ましい。ステップS17がYesと判定された場合、ステップS18においてCell情報#1〜#nのTemp_Cell_FLAGを「0」に設定して本フローチャートの処理を終了する。
ステップS17がNoと判定された場合は、ステップS19において再生区間#xの終端近傍部と、再生区間#x+1の先端近傍部とを複製し、複製部分をVOB#z,#z+1としてDVDに書き込む。その後、ステップS20においてVOB情報#z,#z+1、及び、Temp_Cell情報#z,#z+1を生成してDVDに書き込む。このステップS20の処理を経た状態が、第1実施形態に示した図9である。
ステップS21〜ステップS24では、CELL情報に対する設定を行う。ステップS21では、終端近傍部の一ビデオフレーム前のピクチャデータを指定するTrimming_End_PTMをCell情報#xに設定し、ステップS22では、先端近傍部の一ビデオフレーム後のピクチャデータを指定するTrimming_Start_PTMをCell情報#x+1に設定する。これらのステップにより、図11の矢印gy1に示すように、VOBU#(PreEdge)の末尾のピクチャデータがTrimming_End_PTMにて指定され、矢印gy2に示すように、VOBU#(PostEdge)の先頭のピクチャデータがTrimming_Start_PTMにて指定される。ステップS23においてCell情報#xのTemp_Cell_FLAGを「1」に設定する。ステップS24においてCELL情報#xのTemp_Cell_SRPにてTemp_Cell情報#zを指定する。これにより、図11の矢印sy1に示すようなリンクが形成される。以上の処理を経て、図9に示したCELL情報がDVDに得られることになる。
続くステップS25〜ステップS29では、Temp_Cell情報#zに対する処理を行う。即ち、ステップS25では、Temp_Cell情報#zのVOBI_SRPNを、VOB#zに設定し、ステップS26ではTemp_Cell情報#zのCell_Start_PTMを、VOB#zの先頭ピクチャデータに設定する。ステップS27においてTemp_Cell情報#zのCell_End_PTMに、再生区間#xのOut点を設定する。これにより、図11の矢印cy1,cy2に示すような、Temp_Cell情報#zからVOB#zへの参照関係が成立する。ステップS28においてTemp_Cell情報#zのTemp_Cell_SRPにてTemp_Cell情報#z+1を指定する。これにより矢印yp1に示すようなTemp_Cell情報#zからTemp_Cell情報#z+1へのリンクが成立する。その後、ステップS29においてTemp_Cell情報#zのEffect_Typeを設定する。
続くステップS30〜ステップS33では、Temp_Cell情報#z+1に対する処理を行う。ステップS30においてTemp_Cell情報#z+1のVOBI_SRPNに、VOB#z+1を設定し、ステップS31においてTemp_Cell情報#z+1のCell_Start_PTMに、再生区間#x+1のIn点を、ステップS32においてTemp_Cell情報#z+1のCell_End_PTMに、VOB#z+1の末尾を設定する。これにより、図11の矢印cy3,cy4に示すような、Temp_Cell情報#z+1からVOB#z+1への参照関係が成立する。その後、ステップS33においてTemp_Cell情報#zのEffect_Typeを設定する。
以上説明したように本実施形態によれば、対話画面を介したユーザフレンドリィな操作環境で第1実施形態に示したDVDを得ることができるので、第1実施形態に示したDVDを利用する機会を増やすことができる。
(第3実施形態)第3実施形態は、第1実施形態に示したデータ構造にてCELL情報及びTemp_Cell情報が記録されたDVDについての再生装置に関する。図20は、第3実施形態に係る再生装置の内部構成を示す図である。本図に示すように第3実施形態に係る再生装置は、第2実施形態に示した記録装置の内部構成をベースにしており、共通している構成要素には共通の参照符号を付して説明を省略する。異なるのは、システム制御部1内にプレイリスト再生制御部9が追加されている点である。
また第3実施形態におけるMPEGデコーダ3は、プレイリスト情報に基づく再生を行うべくトリミング処理を行う。トリミング処理とは、再生区間のIn点、Out点の指定をプレイリスト再生制御部9から受け付け、出力される複数画像のうち、In点からOut点までの範囲に属するもののみの非圧縮ピクチャデータの出力を行い、範囲外に属する画像については非圧縮ピクチャデータの出力を行わないという、再生範囲の制限動作である。
第3実施形態において新規に追加されたプレイリスト再生制御部9は、光ディスクに記録されたプレイリスト情報に基づき、再生制御を行う構成要素であり、その実体は図21及び図22に示すフロ−チャ−トの処理手順を実現するプログラムである。図21及び図22のフロ−チャ−トを参照しながら、プレイリスト再生制御部9の処理手順について説明する。本フローチャートは、ステップS40においてCELL情報#1〜#n及びTemp_Cell情報#1〜#mを含むPLIをDVDから読み出して装置内部に保持する。以降、ステップS41〜ステッステップS61の処理を、CELL情報#1〜#n-1について繰り返す(ステップS62、63)。この繰り返し処理において、処理対象となるCELL情報をCELL情報#xとし、これに後続するCELL情報をCELL情報#x+1とする。ステップS41は、CELL情報#xにおけるTemp_Cell_FLAGが「0」であるか否かを判定するステップであり、「0」であるなら、ステップS42においてCELL情報#xのVOBI_SRPN及びCell_Start_PTMに基づき、再生区間#xにおいてIn点を含むVOBU#(In)を特定し、ステップS43においてCELL情報#xのVOBI_SRPN及びCell_End_PTMに基づき、再生区間#xにおいてOut点を含むVOBU#(Out)を特定する。
ステップS44においてVOBU#(In)からVOBU#(Out)までを読み出して、MPEGデコーダ3に投入し、ステップS45において出力画像のIn点からOut点までのトリミング処理をMPEGデコーダ3に指示する。図23は、ステップS44により指定された読出範囲と、ステップS45により指定された再生範囲とを示す図である。本図における読出範囲ym1は、終端近傍部の末尾までを指定しているのに対し、再生範囲ym2は、この読出範囲ym1におけるOut点までを指定している。同じく、本図における読出範囲ym3は、先端近傍部の先頭からの読み出しを指定しているのに対し、再生範囲ym4は、この読出範囲ym3におけるIn点以降を指定している。
一方、Temp_Cell_FLAGが「1」であると判定された場合、ステップS46において先行する再生区間が有るか否かの判定を行う。先行再生区間が無い場合は、ステップS47においてCELL情報#xのVOBI_SRPN及びCell_Start_PTMに基づき、再生区間#xにおいてIn点を含むVOBU#(In)を特定する。一方、先行再生区間がある場合は、ステップS48において再生区間#x+1の先端近傍部直後に位置するVOBU#(PostEdge)を、CELL情報のVOBI_SRPN、Trimming_Start_PTMに基づき特定する。
特定後、ステップS49において再生区間#xの終端近傍部直前に位置するVOBU#(PreEdge)を、CELL情報のVOBI_SRPN、Trimming_End_PTMに基づき特定する。ステップS50においてVOBU#(In)又はVOBU#(PostEdge)から、VOBU#(PreEdge)までを読み出して、MPEGデコーダ3に投入する。図24は、ステップS50により指定された読出範囲と、ステップS50により指定された再生範囲とを示す図である。本図における読出範囲yt1及び再生範囲yt2は、VOBU#(PreEdge)の末尾までを指定していることがわかる。
続いて、ステップS51においてCELL情報#xのTemp_Cell_SRPにて指定されるTemp_Cell情報#zを読み出し、ステップS52においてTemp_Cell情報#zのVOB情報-SRPNにより、再生区間#xの終端近傍部の複製部分に対応するVOB#zを特定する。ステップS53においてTemp_Cell情報#zのCell_End_PTMをOut点に設定し、ステップS54においてVOB#zを読み出してMPEGデコーダ3に投入する。投入後、ステップS55においてVOB#z先頭のピクチャデータから、Out点にて指定されるピクチャデータまでのトリミング指示を行う。図24における矢印yp1は、ステップS54により特定される読出範囲を示し、矢印yp2は、ステップS55により特定される再生範囲を示す。読出範囲yp1は、VOB#z全体を指定しているのに対し、再生範囲yp2は、この読出範囲yp1におけるOut点までを指定している。これにより、画像出力は、CELL情報のOut点までに制限されるのである。
ステップS56にて Temp_Cell情報#zのTemp_Cell_SRPによる指定が存在するか否かの判定を行う。存在する場合には、ステップS57において Temp_Cell情報#zのTemp_Cell_SRPにて指定されるTemp_Cell情報#z+1を読み出し、ステップS58においてTemp_Cell情報#z+1のVOBI_SRPNにより、 再生区間#x+1の先端近傍部の複製部分に対応するVOB#z+1を特定する。ステップS59においてTemp_Cell情報#z+1のCell_Start_PTMをIn点に指定し、ステップS60において VOB#z+1を読み出して MPEGデコーダ3に投入する。ステップS61において出力画像のうち、In点にて指定されるピクチャデータから、VOB#z+1の末尾までのトリミング指示を行う。図20における矢印hp1は、ステップS60により特定される読出範囲を示し、矢印hp2は、ステップS61により特定される再生範囲を示す。読出範囲hp1は、VOB#z+1全体を指定しているのに対し、再生範囲hp2は、この読出範囲hp1におけるIn点から末尾までを指定している。これにより、画像出力は、後続再生区間のIn点以降に制限されるのである。
以上のように本実施形態によれば、Cell情報におけるTemp_Cell_FLAGに応じた再生を既存の再生装置に行わせることにより、第1実施形態に示したDVDを利用する機会を増やすことができる。
(第4実施形態)第4実施形態は、ハードディスク(HD)アレイを利用して動画データに対するノンリニア編集を実現する記録装置に関する。図25は、第4実施形態に係る記録装置の内部構成を示す図である。本図に示す記録装置は、図20に示した再生装置の内部構成をベースにしており、共通している構成要素には共通の参照符号を付して説明を省略する。図20と比較して図25に示す記録装置が新規な点は、HDアレイ10(終端格納部11、先端格納部12、編集結果格納部13を含む)、半導体メモリ15(終端側フレームメモリ16、先端側フレームメモリ17、編集結果フレームメモリ18を含む)、ノンリニア編集部19、MPEGエンコーダ20を具備していること(1)、プレイリスト書込制御部8がプレイリスト書込制御部14に置き換えられていること(2)である。
HDアレイ10は、DVDより高速アクセスが可能なディスク装置であり、終端格納部11、先端格納部12、編集結果格納部13を備える。先端近傍部と、終端近傍部をHDアレイ10に格納させているは、ノンリニア編集には、通常のハードディスクの4倍速等、高速データ転送が要求されるからである。プレイリスト書込制御部14は、第1実施形態に示したプレイリスト書込制御部8をベースにした構成要素であるが、終端近傍部及び先端近傍部を特定した後の動作がプレイリスト書込制御部8とは異なる。つまり図19のステップS15〜ステップS16の処理により終端近傍部及び先端近傍部が特定されれば、終端近傍部及び先端近傍部を構成するピクチャデータを読み出してMPEGデコーダ3にデコードさせる。終端近傍部と、先端近傍部を構成するピクチャデータが非圧縮ピクチャデータに変換されれば、終端近傍部を構成する非圧縮のピクチャデータをHDアレイ10における終端格納部11に書き込み、先端近傍部を構成する非圧縮のピクチャデータを先端格納部12に書き込んでゆく。以上の処理により、VOB#z、VOB#z+1を構成するピクチャデータは、非圧縮の状態でHDアレイ10内に格納されることになる。
半導体メモリ15は、終端側フレームメモリ16、先端側フレームメモリ17、編集結果フレームメモリ18を含む。終端側フレームメモリ16には、終端格納部11に格納されている終端近傍部を構成する非圧縮ピクチャデータのうち、一フレームのピクチャデータが、先端側フレームメモリ17には、先端格納部12に格納されている先端近傍部を構成する非圧縮ピクチャデータのうち、一フレームのピクチャデータがそれぞれ展開されるメモリである。編集結果フレームメモリ18には、これらフレームメモリに格納された非圧縮ピクチャデータに画像処理を施すことにより得られた非圧縮ピクチャデータが格納される。
ノンリニア編集部19は、ユーザからの操作に基づき、様々な動画像処理を施すアプリケ−ションプログラムである。ノンリニア編集部19による動画像処理は、終端近傍部格納部11及び先端近傍部格納部12に格納されている複数非圧縮ピクチャデータのそれぞれに対して、個別に画像処理を施すというものである。具体的にいうとノンリニア編集部19は、終端近傍部格納部11に格納されている複数の非圧縮ピクチャデータ及び先端近傍部格納部12に格納されている複数の非圧縮ピクチャデータのそれぞれを終端側フレームメモリ16又は先端側フレームメモリ17に読み出し、これらのフレームメモリに、一画像を構成する画素データを展開させる。これらのフレームメモリに格納されている画素データに、画素演算を施し、画素演算の結果を編集結果フレームメモリ18に得る。1つのピクチャデータについての画像処理が完了すれば、編集結果フレームメモリ18に格納されたピクチャデータを編集結果格納部13に格納する。以上の処理を終端近傍部格納部11に格納されている非圧縮ピクチャデータ及び先端近傍部格納部12に格納されている複数の非圧縮ピクチャデータのそれぞれについて繰り返す。画素レベルでの演算を前提としているため、ノンリニア編集部19は、第1実施形態に示した各種加工より高度な画像処理を行うことができる。具体例を列挙すると、ノンリニア編集部19による画像処理には、個々のピクチャデータに対するフィルタリング処理、複数ピクチャデータに対してなされるレイヤ合成処理等がある。フィルタリング処理とは、ピクチャデータを構成する画素に画素演算を施し、エンボス、輪郭抽出、モザイク化等といった画像表現を施す処理である。レイヤ合成処理とは、終端近傍部を構成するピクチャデータと、先端近傍部を構成するピクチャデータとをそれぞれ別々のレイヤに割り当て、これらのレイヤを重ね合わせた合成画像を作成するという処理である。尚ノンリニア編集部19は、システム制御部1内に設けてもよい。
MPEGエンコーダ20は、編集結果格納部13に書き込まれた非圧縮ピクチャデータをエンコードし、VOB#z、#z+1を得て、トラックバッファ5に出力する。トラックバッファ5に出力されたピクチャデータは、先に述べたプレイリスト書込制御部14の制御に基づきVOB情報、Temp_Cell情報と対応づけられてDVDに書き込まれる。
以上のように本実施形態によれば、高速アクセスが要求される動画像処理のためにHDアレイを利用しつつも、最終的な編集結果をDVDに書き込んでゆくので、高度な画像編集を実現することができる。また編集結果を第1実施形態同様Temp_Cell情報にて指定するので、第1実施形態同様、Temp_Cell_FLAGの設定値を切り換えることにより、編集のリカバリーも簡易に行なえる。
(第5実施形態)第5実施形態は、ハードディスクアレイを備えた再生装置に係る。図26は、第5実施形態に係る再生装置の内部構成を示す図である。図26に示す再生装置は、図25に示した記録装置の構成をベースにしており、図25と共通している構成要素には共通の参照符号を付して説明を省略する。図25に示した内部構成との差違は、システム制御部1内にTemp_Cell情報先読み制御部21、プレイリスト再生制御部23が設けられ、ノンリニア編集部19がノンリニア編集部22に置き換えられている点である。
Temp_Cell情報先読み制御部21は、Playlist情報に基づく再生が指定された場合に先読み処理を行う。この先読み処理とは、Playlist情報に基づく再生区間の再生が指定された場合に、CELL情報より先にTemp_Cell情報にて指定されたVOB#z,#z+1を読み出して、MPEGデコーダ3に出力するというものである。読み出されたVOB#z,#z+1に対するデコードがMPEGデコーダ3により行われ、非圧縮のピクチャデータが得られれば、VOB#zに含まれる非圧縮ピクチャデータについては終端格納部11に格納し、VOB#z+1に含まれる非圧縮ピクチャデータについては先端格納部12に格納する。
ノンリニア編集部22は、上述したVOBの先読み処理時において、ユーザからの操作を待つことなく、終端格納部11及び先端格納部12に格納されている非圧縮ピクチャデータを終端側フレームメモリ16、先端側フレームメモリ17に読み出して、Temp_Cell情報に含まれるEffect_Typeに従った動画像編集を実行する。ここでTemp_Cell情報に含まれるEffect_Typeがフェードアウトを示しているなら、VOB#z及びVOB#z+1を構成する非圧縮ピクチャデータに対してフェードアウト加工を施し、Effect_Typeがフィルタリングやレイヤ合成を示しているなら、VOB#z及びVOB#z+1を構成する非圧縮ピクチャデータに対してフェードアウト加工を施す。編集結果フレームメモリ18に、一フレームの編集結果が得られる度に、これを編集結果格納部13に格納してゆく。以上の処理を終えれば、加工終了をプレイリスト再生制御部23に通知する。
プレイリスト再生制御部23は、第3実施形態に示したプレイリスト再生制御部9の機能をベースとしながらも、第5実施形態特有の処理を行う。第3実施形態においてプレイリスト再生制御部9は、図22のステップS50において先行再生区間のVOBU#(PreEdge)までをMPEGデコーダに投入した後、Temp_Cell情報のVOBI_SRPにて指定されているVOB#z,#z+1のVOBI_SRPにて指定されているVOB#z,#z+1をMPEGデコーダ3に投入した。これに対して第5実施形態におけるプレイリスト再生制御部23は、DVDに記録されたVOB#z,#z+1に代えてノンリニア編集部22が編集を行うことにより得られた編集結果を編集結果格納部13から読み出し、信号出力部4に投入する。
編集結果格納部13に格納されている編集結果は、Temp_Cell情報のEffect_Typeに応じた編集をノンリニア編集部22が行うことにより、得られたものである。VOB#z,#z+1がこれら編集結果に置き換えられるので、Playlist情報の再生時においては、先行再生区間の終端近傍部と、後続再生区間の先端近傍部は様々な視覚効果が施されたピクチャデータに置き換えられるのである。
以上のように本実施形態によれば、Playlist情報の再生時に、Temp_Cell情報にて指定されるVOB#z,#z+1を先読みしておき、編集を施しておくので、仮編集終了後、すぐにこれを再生させることができる。
(第6実施形態)第6実施形態は、MPEGデコーダが2台具備されており、2系統のVOBのデコードが行えるような高機能再生装置に関する。図27は、第6実施形態に係る内部構成を示す図である。本図における記録装置の構成は、図26に示した再生装置の構成をベースにしており、共通の構成要素には、同一の参照符号を付して説明を省略している。新規な点は、図26に示したMPEGデコーダ3が、MPEGデコーダ24及びMPEGデコーダ25に置き換えられ、ノンリニア編集部22がノンリニア編集部26に置き換えられている点である。
この2台のMPEGデコーダのうち1つのMPEGデコーダ24は、CELL情報にて指定されている再生区間のうちCell_Start_PTM又はTrimming_Start_PTMからTrimming_End_PTM迄のデコードを行う。またもう一方のMPEGデコーダ25は、Temp_Cell情報にて指定されている再生区間のデコードを行って非圧縮ピクチャデータを得て、終端格納部11及び先端格納部12に書き込んでゆく。
ノンリニア編集部26は、終端格納部11及び先端格納部12に書き込まれた非圧縮ピクチャデータを順次、終端側フレームメモリ16、先端側フレームメモリ17に読み出し、これにEffect_Typeに従った加工を施して、その加工結果を編集結果フレームメモリ18に得る。1つの非圧縮ピクチャデータに対する加工が終了する度に、加工結果を編集結果格納部13に書き込んでゆく。
MPEGデコーダ25及びノンリニア編集部26は、以上の処理をMPEGデコーダ24によるデコード完了までに行う。MPEGデコーダ24によるVOBのデコードが完了すれば、信号出力部4は編集結果格納部13に格納されている非圧縮ピクチャデータの再生出力を行う。以上のように本実施形態によれば、再生区間のうちCell_Start_PTM又はTrimming_Start_PTMからTrimming_End_PTM迄のデコードと、Temp_Cell情報にて指定されている再生区間のデコード及び動画像編集とを並列に行うので、Temp_Cell情報が設定されていれば、ユーザはVOBに対する加工処理を全く意識することなく、フェードイン接続・フェードアウト接続・クロスフェード接続といった視覚効果を楽しむことができる。
(第7実施形態)Temp_Cell情報におけるEffect_Typeに、ワイプ加工、スライド加工といった視覚効果を追加するものである。図28(a)〜図28(c)は、ワイプ加工がどのように行われるかを示す図であり、図29(a)〜図29(c)は、スライド加工がどのように行われるかを示す図である。
ワイプ加工とは、図28(a)に示すように先行再生区間の終端側に含まれる画像Aを、後続再生区間の先端近傍部に含まれる画像Bの上に重ね合わせ、終端側の画像Aを、図28(b)、図28(c)の矢印wy1,wy2に示すように画面上で何れかの方向に移動させることにより、終端側の画像Aにより隠れていた先端近傍部側の画像Bを画面C上に表してゆくという視覚効果である。
スライド加工とは、図29(a)に示すように先行再生区間の終端近傍部に含まれる画像Aと、後続再生区間の先端近傍部に含まれる画像とを隣接させ、図29(b)の矢印wy3,4に示すように終端側の画像Aを押し出してゆくように先端近傍部側の画像を移動させながら、先端近傍部側の画像を画面上に表してゆくという視覚効果である。第7実施形態に係る記録装置は、これらワイプ加工、スライド加工を示すEffect_TypeをTemp_Cell情報に書き込んでおく。
一方第7実施形態に係る再生装置の内部構成を図30に示す。図30に示すように本再生装置は、基本的には、図25に示した第5実施形態に係る再生装置と同一構成である。第7実施形態においてMPEGデコーダ3は、Temp_Cell情報に従い、終端近傍部におけるピクチャデータ及び先端近傍部におけるピクチャデータを非圧縮ピクチャデータに変換する。
ノンリニア編集部19は、終端格納部11及び先端格納部12に格納された非圧縮ピクチャデータに対して、Effect_Typeに従ったワイプ加工又はスライド加工を施し、この結果を信号出力部4に表示出力させる。以上のように本実施形態によれば、Temp_Cell情報を記録する際に、ワイプ加工、スライド加工といった視覚効果を設定することができ、動画編集のバリエーションを増すことができる。
(第8実施形態)第1〜第7実施形態では、複製部分をVOB#z,#z+1としてDVDに書き込んでいた。VOB#z,#z+1のそれぞれの連続長が短いと、VOB#zの読み出しから、VOB#z+1の読み出しまでの間、VOB#z+1の読み出しから、VOB#x+1の読み出までの間にトラックバッファ5がアンダーフローしてしまう恐れがある。つまり、連続長が短いと、第1実施形態〜第7施形態までの処理がなされたとしてもトラックバッファ5のアンダーフロー発生により再生の途切れが生じてしまうのである。これを避けるため第2実施形態における記録装置は、いわゆるマージと呼ばれる加工を行う。マージ加工とは、VOB#zと、VOB#z+1とを連結して、連結部分のデータ長が所定のデータ長を上回るようにするという処理である。
ここでDVDの記録領域が、2048バイトの複数のセクタに分割され、さらに連続する16セクタからなる複数のECCブロックに分割されており、VOBが2048バイトのサイズを有する複数のパックからなる場合、所定のデータ長は、次式で表されるEccブロック数N_eccに相当するサイズとなる。
N_ecc = Vo * Tj / ((16*8*2048) * (1 - Vo/Vr))式中、Tjは再生装置における光ピックアップの最大ジャンプ時間、Vrはトラックバッファの入力転送レート(Mbps)、Voはトラックバッファの出力転送レート(Mbps)を示す。
尚、この式の根拠の詳細については、先述の米国特許USP,6148,140公報を参照されたい。また、複製部分の書き込み時において、このような連続長を満たすように、記録装置が複製部分を定めてもよい。以上のように本実施形態によれば、複製にあたって、複製部分をトラックバッファがアンダーフローしないようなデータ長に定めるので、アンダーフローによる再生の途切れを回避することができる。
(第9実施形態) 第9実施形態は、DVDの記録容量を考慮した処理を行う記録装置に関する。第2実施形態では、仮編集が行われる度に、終端近傍部及び先端近傍部の複製部分をDVDに書き込んでいた。よって仮編集が繰り返しなされ、多くのCELL情報が生成されれば、その分だけDVDの容量は圧迫を受けることとなり、光ディスクがディスクフルになる確率も増す。そこで第9実施形態では、加工の可能性があるか否かをユーザに提示し、この提示に対してユーザが肯定的な操作を行った場合に、記録装置のモードを、加工モードに設定する。一方、否定的な操作を行った場合は、非加工モードに設定する。第9実施形態の記録装置は、自装置が加工モードに設定された場合のみ第2実施形態の処理を行い、非加工モードに設定された場合は、第2実施形態の処理は行わない。これにより、DVDの容量に、他のVOBを多く書き込むことができる。
また、既に複製部分が書き込まれたDVDが装填された場合であって、他のVOBを書き込むだけの容量がそのDVDに存在しない場合、第9実施形態に係る記録装置は、空き領域を確保するか否かの提示を行い、もしユーザが空き領域確保を希望した場合、Temp_Cell情報にて指定されたVOBと、VOBに対応するVOB情報、Temp_Cell情報を一切削除して空き領域の確保を行う。
以上のように本実施形態によれば、第2実施形態に示した複製部分の記録処理に伴う、ディスクフルの発生を回避することができる。上記実施形態に基づいて説明してきたが、現状において最善の効果が期待できるシステム例として提示したに過ぎない。本発明はその要旨を逸脱しない範囲で変更実施することができる。代表的な変更実施の形態として、以下(A)(B)(C)・・・・のものがある。
(A)第1実施形態〜第7実施形態では、複製部分すべき部分を先行再生区間の終端近傍部及び後続再生区間の先端近傍部としていたがVOB内の任意の部分を複製し、この任意の部分の複製部分をTemp_Cell情報にて指定してもよい。第1実施形態〜第7実施形態では、VOB#x,#x+1のそれぞれに対して2以上の再生区間が設定されている一例にて説明したが、1つのVOBに対して2以上の再生区間が設定されていてもよい。
(B)第1〜第7実施形態では、DVD-RAM,DVD-RW等、DVD-VIDEO RECORDING規格に準拠して動画像データを記録し得るDVDを一例にして説明を進めたが、動画像データを記録し得る記録媒体であれば、物理的構造はどのような記録媒体であってもよい。例えば、DVD-RAM,DVD-RW以外のPD,DVD+RW,CD-RW等の相変化型光ディスクであってもよい。またCD-R,DVD-R等のライトワンス型の光ディスク(i)、MO(Magneto-optical disk),MD-DAT(Mini disc-Data),iDフォーマット等の光磁気記憶型光ディスク(ii)、ORB,Jaz,SparQ,SyJet,EZFley,マイクロドライブ等のリムーバルハードディスクドライブ(iii)、フレキシブルディスク、SuperDisk,Zip,Clik!等の磁気記録ディスク(iv)、SDメモリカード、フラッシュカード、スマートメディア、メモリスティック、マルチメディアカード、PCM-CIAカード等のフラッシュメモリカード(v)であってもよい。
(C)DVDがコンピュータの記録媒体としても使用される場合には、次のような構成とすればよい。すなわち、ディスクドライブ2は、DVDドライブ装置としてSCSI、IDE、IEEE1394準拠のインターフェイスを介してコンピュータバスに接続される。また、同図のディスクドライブ2以外の構成要素はコンピュータのハードウェア上でOS及びアプリケーションプログラムが実行されることに実現される。
(D)本実施形態では、VOBには、ビデオストリームとオーディオストリームとが多重されていたが、字幕文字をランレングス圧縮した副映像ストリームやその他制御情報が多重化されていてもよい。
(E)本実施形態ではピクチャデータの表示期間をビデオフフレームにて記述したが、フィルム素材のように、24フレーム/秒の映像を圧縮する場合に使用する3:2プルダウンを用いた場合、1フレーム=1ピクチャでなく、1.5フレーム=1ピクチャになる場合がある。本発明は実質的に3:2プルダウンに依存するものではなく、この場合、上述したフレームに制限されるものではない。
(F)本明細書では、加工を行う装置について記載を行わなかったが、これは記録装置と、動画加工を行う装置とが別々の装置として取引されているという事実に根拠におく。つまり、現在においてAVファイル・管理ファイルの書き込みは、パナソニック社のDMR-E20等、民生機器の1つであるDVDレコーダによりなされることが多い。これに対して上述した加工は、IEEE1394型のコネクタにて外付けのドライブ装置が接続され、"MotionDV STUDIO","DVD MovieAlbum"といったデジタル映像編集プログラムがインストールされたパーソナルコンピュータでなされることも多くある。
しかし本明細書は、加工装置との一体化の可能性を排除するものではなく、上述した加工を行う装置と、第2実施形態〜第9実施形態に記載した記録装置、再生装置とを一体構成してもよい。第2実施形態〜第9実施形態では記録装置、再生装置を個別の実施形態に分けて説明したが、これは説明の便宜のためであり、記録装置及び再生装置を一体構成にして実施してもよい。
(G)全ての実施形態において、光ディスクはDVD-VIDEO RECORDING規格に準じたフォーマットで各種データを記録するものとしたが、編集を前提にしてデータを記録し得る規格なら、他の規格に準じて記録されてもよい。
(H)第4実施形態〜第6実施形態では、ハードディスクアレイを一例として説明を進めたが、ハードディスクアレイを1台のハードディスクで代用してもよい。
(I)全ての実施形態では、複製部分を経由するか否かの切り換えにTemp_Cell_FLAGを用いたが、このTemp_Cell_FLAGを用いず、ユーザ操作により、複製部分を経由するか否かの切り換えを行ってもよい。