JP4355659B2 - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
JP4355659B2
JP4355659B2 JP2004544996A JP2004544996A JP4355659B2 JP 4355659 B2 JP4355659 B2 JP 4355659B2 JP 2004544996 A JP2004544996 A JP 2004544996A JP 2004544996 A JP2004544996 A JP 2004544996A JP 4355659 B2 JP4355659 B2 JP 4355659B2
Authority
JP
Japan
Prior art keywords
data stream
stream
data
information
playlist information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004544996A
Other languages
English (en)
Other versions
JPWO2004036906A1 (ja
Inventor
康行 黒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2004036906A1 publication Critical patent/JPWO2004036906A1/ja
Application granted granted Critical
Publication of JP4355659B2 publication Critical patent/JP4355659B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/216Rewritable discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G11B2220/2575DVD-RAMs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/61Solid state media wherein solid state memory is used for storing A/V content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/65Solid state media wherein solid state memory is used for storing indexing information or metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、光ディスク等の記録媒体に動画ストリームのストリームデータを記録するデータ処理装置および方法等に関する。
図1は、従来の再生装置800の機能ブロックの構成を示す。再生装置800は、DVD−RAMディスク810に記録された動画ストリーム(映像ストリーム、音声ストリーム、または映像ストリームと音声ストリームとが多重されたストリーム等)を再生する。再生装置800において行われる動画ストリームの再生処理を具体的に説明すると、まず、動画ストリームのストリームデータは、ピックアップ807および再生部804を介して、再生信号としてDVD−RAMディスク810から読み出される。一連の読み出し処理は、再生制御部805による読み出し位置の指定、再生信号の生成等に基づいて行われる。そして、再生信号は動画ストリーム復号部803において映像信号と音声信号に復号され、映像信号出力部801および音声信号出力部802へと出力される。
再生装置800は、プレイリスト情報に従って所定の順序で動画ストリームを再生するプレイリスト再生機能を有する。ここで、「プレイリスト情報」とは、1以上の動画ストリームの一部または全部の再生順序を規定した情報である。プレイリスト情報は、ユーザが任意の位置および区間等を指定することによって記録装置において生成される。プレイリスト再生機能は、DVD−RAMディスク810にプレイリスト情報が記録されている場合に利用することができ、ランダムアクセスが可能なDVD−RAMディスクの特徴を活かした機能といえる。
図2(a)〜(c)は、プレイリスト情報によって規定される再生順序の例を示す。図2(a)は、一つの動画ストリームに対して指定された一部の再生区間の例を示す。動画ストリームは、この再生区間だけ再生される。図2(b)は、複数の動画ストリームの再生区間と再生順序を示す。各再生区間は、「再生順」として示す番号に従って順に再生される。図2(c)は、映像ストリームと音声ストリームと同期させて再生する区間を示す。動画ストリームが映像および音声の各ストリームを含むときは、映像ストリームの任意の区間に対して任意の音声ストリームの再生区間が設定できるので、いわゆるアフレコ(After-Recording)機能を実現することができる。また、プレイリスト情報には、さらに映像が切り替わる際の遷移効果、動画ストリームの再生中に表示するテキスト等を規定することができる。
従来、動画ストリームやプレイリスト情報を生成してDVD−RAMディスクに記録する装置として、カムコーダが知られている。近年のカムコーダの中には、複数の記録媒体、例えばDVD−RAMディスクおよび半導体メモリカード(以下、「半導体メモリ」と称する)にデータを記録することができるものが存在する。そのようなカムコーダは、DVD−RAMディスクのみならず、半導体メモリにも、動画ストリームおよび/またはプレイリスト情報、静止画データ等を記録できる。ユーザは、半導体メモリをカムコーダから取り外し、例えばカムコーダとPC等の外部機器との間で容易なデータ交換を実現できる。さらに、カムコーダの中には、例えば特許文献1に記載されているような、同じ映像をデータレートの異なる複数の動画ストリームで記録するものも知られている。
特開平11−75198号公報
カムコーダは映像撮影時の携帯性や操作性を重視して設計される場合が多いため、ユーザがプレイリストを作成する際の操作性が悪いという問題があった。特に複雑なプレイリストを生成する際には、ユーザは非常に困難な操作を強いられていた。例えば、携帯性を向上させるために、カムコーダには撮影した映像を確認するためのモニタが装備されていないことや、小さいサイズのモニタしか装備されていないことが多く、PCのモニタやテレビ画面と比較して視認性は悪い。また、撮影時の操作性を向上させるために、カムコーダの操作スイッチの数や配置は映像の撮影のために最適化されており、再生位置、映像の遷移効果等を指定する際の操作性が悪い。
また、プレイリスト情報は個々の動画ストリームに対して設けられるため、ユーザは、同じ映像がデータレートの異なる複数の動画ストリームで記録されている場合であっても、各動画ストリームに対して別個にプレイリストを作成しなければならず、非常に煩わしかった。
本発明の目的は、同じ映像を表す高レートの動画ストリームと低レートの動画ストリームを連携して管理し、撮影した動画ストリームに対するプレイリスト情報を簡単に生成する処理を提供することである。また、本発明の他の目的は、プレイリスト情報を生成する際に、データ処理装置の処理量を軽減する処理を提供することである。
本発明によるデータ処理装置は、記録媒体からのデータの読み出し、および、前記記録媒体へのデータの書き込みを行う。この前記記録媒体は、第1符号化処理によって符号化された映像信号に関する第1データストリーム を格納している。データ処理装置は、前記第1データストリームの再生を管理する第1プレイリスト情報を取得する コントローラと、前記映像信号が前記第1符号化処理とは異なる第2符号化処理によって符号化された第2データストリームを生成するストリーム生成部と、前記第2データストリームおよび前記第1プレイリスト情報に基づいて 、前記第2データストリームの再生順序を管理する第2プレイリスト情報を生成する管理部とを備えている。
前記データ処理装置は、前記第1データストリームを前記記録媒体に記録する第1記録部、および、前記第2データストリームを前記記録媒体とは異なる記録媒体に記録する第2記録部をさらに備えている。前記ストリーム生成部は、前記第1データストリームおよび前記第2データストリームを並行して生成してもよい。
前記ストリーム生成部は、それぞれが複数のデータストリームを含む前記第1データストリームおよび前記第2データストリームを生成してもよい。
前記コントローラは、前記第1データストリームの1以上のストリームの各々を特定するストリーム特定情報および各々の再生区間を指定する区間情報を含んだ前記第1プレイリスト情報を取得し、前記管理部は、前記ストリーム特定情報および区間情報に基づいて、対応する前記第2データストリームの1以上のストリームの各々を特定するストリーム特定情報と、各々の再生区間を指定する区間情報とを含む前記第2プレイリスト情報を生成してもよい。
前記コントローラは、前記第1データストリームの再生効果を指定する前記第1プレイリスト情報を取得し、前記管理部は、前記第1データストリームの再生効果とは異なる再生効果を前記第2データストリームに指定する前記第2プレイリスト情報を生成してもよい。
前記管理部は、前記第1データストリームの再生効果の種類に応じて、前記第2データストリームに指定する再生効果を決定してもよい。
前記第1プレイリスト情報および前記第2プレイリスト情報に含まれる各区間情報は、MPEG規格におけるIピクチャを前記再生区間の開始位置として指定する情報であってもよい。
データ処理装置は、MPEG規格におけるIピクチャの生成を指示する符号化制御部をさらに備えている。前記ストリーム生成部は、前記符号化制御部の指示に基づいて、前記第1データストリームのIピクチャと、前記第2データストリームのIピクチャとが映像の同じピクチャに対応するように、前記第1データストリームおよび前記第2データストリームを生成してもよい。
前記データ処理装置は、前記映像信号を取得する撮像部と、音声信号を取得するマイクとをさらに備えている。前記ストリーム生成部は、前記音声信号をさらに含む前記第1データストリームおよび前記第2データストリームを生成してもよい。
前記データ処理装置は、前記第1データストリームの再生順序を指定する指示を受け取る指示部と、前記第1プレイリスト情報、前記第2データストリームおよび前記第2プレイリスト情報を前記記録媒体に記録する記録部をさらに備えている。前記コントローラは、前記指示に基づいて前記第1プレイリスト情報を生成し、前記ストリーム生成部は、前記第1データストリームに基づいて前記第2データストリームを生成してもよい。
本発明によるデータ処理方法は、記録媒体からのデータの読み出し、および、前記記録媒体へのデータの書き込みを行う。前記記録媒体は、第1符号化処理によって符号化された映像信号に関する第1データストリームを格納している。データ処理方法は、前記第1データストリームの再生を管理する第1プレイリスト情報を取得するステップと、前記映像信号が前記第1符号化処理とは異なる第2符号化処理によって符号化された第2データストリームを生成するステップと、前記第2データストリームおよび前記第1プレイリスト情報に基づいて、前記第2データストリームの再生順序を管理する第2プレイリスト情報を生成するステップとを包含する。
前記データ処理方法は、前記第2データストリームの生成と並行して前記第1データストリームを生成するステップと、前記第1データストリームを前記記録媒体に記録するステップと、前記第2データストリームを前記記録媒体とは異なる記録媒体に記録するステップとをさらに包含していてもよい。
前記第1データストリームを生成するステップは、複数のデータストリームを含む前記第1データストリームを生成し、前記第2データストリームを生成するステップは、複数のデータストリームを含む前記第2データストリームを生成してもよい。
前記第1プレイリスト情報を取得するステップは、前記第1データストリームの1以上のストリームの各々を特定するストリーム特定情報および各々の再生区間を指定する区間情報を含んだ前記第1プレイリスト情報を取得し、前記第2プレイリスト情報を生成するステップは、前記ストリーム特定情報および区間情報に基づいて、対応する前記第2データストリームの1以上のストリームの各々を特定するストリーム特定情報と、各々の再生区間を指定する区間情報とを含む前記第2プレイリスト情報を生成してもよい。
前記第1プレイリスト情報を取得するステップは、前記第1データストリームの再生効果を指定する前記第1プレイリスト情報を取得し、前記第2プレイリスト情報を生成するステップは、前記第1データストリームの再生効果とは異なる再生効果を前記第2データストリームに指定した前記第2プレイリスト情報を生成してもよい。
前記第2プレイリスト情報を生成するステップは、前記第1データストリームの再生効果の種類に応じて、前記第2データストリームに指定する再生効果を決定し、前記第2プレイリスト情報を生成してもよい。
前記第1プレイリスト情報および前記第2プレイリスト情報に含まれる各区間情報は、MPEG規格におけるIピクチャを前記再生区間の開始位置として指定する情報であってもよい。
前記データ処理方法は、MPEG規格におけるIピクチャの生成を指示するステップをさらに包含する。前記第1データストリームを生成するステップおよび前記第2データストリームを生成するステップは、前記指示に基づいて、前記第1データストリームのIピクチャと、前記第2データストリームのIピクチャとが映像の同じピクチャに対応するように、それぞれ前記第1データストリームおよび前記第2データストリームを生成してもよい。
前記データ処理方法は、前記映像信号を取得するステップと、音声信号を取得するステップとをさらに包含する。前記第1データストリームを生成するステップおよび前記第2データストリームを生成するステップは、それぞれ前記音声信号をさらに含む前記第1データストリームおよび前記第2データストリームを生成してもよい。
前記データ処理方法は、前記第1データストリームの再生順序を指定する指示を受け取るステップと、前記第1プレイリスト情報、前記第2データストリームおよび前記第2プレイリスト情報を前記記録媒体に記録するステップとをさらに包含する。前記第1プレイリスト情報を取得するステップは、前記指示に基づいて前記第1プレイリスト情報を生成し、第2データストリームを生成するステップは、前記第1データストリームに基づいて前記第2データストリームを生成してもよい。
本発明によるコンピュータプログラムは、記録媒体からのデータの読み出し、および、前記記録媒体へのデータの書き込みを行う際に、データ処理装置において実行される。前記記録媒体は、第1符号化処理によって符号化された映像信号に関する第1データストリームを格納している。このコンピュータプログラムは、データ処理装置に、前記第1データストリームの再生を管理する第1プレイリスト情報を取得するステップと、前記映像信号が前記第1符号化処理とは異なる第2符号化処理によって符号化された第2データストリームを生成するステップと、前記第2データストリームおよび前記第1プレイリスト情報に基づいて、前記第2データストリームの再生順序を管理する第2プレイリスト情報を生成するステップとを実行させる。
本発明によれば、同じ映像に対してデータレートの異なる複数の動画ストリームが記録可能なデータ処理装置において、高レートで記録された動画ストリームと低レートで記録された動画ストリームを連携して管理する。例えば、データ処理装置は、他の装置で生成された低レート動画ストリーム用のプレイリスト情報を使用して、高レート動画ストリーム用のプレイリスト情報を生成する。
また、本発明のデータ処理装置によれば、カムコーダで撮影したストリームを編集する際の煩雑な作業はPCで行い、完成した低レート動画ストリーム用のプレイリストファイルから高レート動画ストリーム用のプレイリスト情報を生成することによって、カムコーダでプレイリスト生成のための細かな入力作業を行うことなくプレイリストを生成できる。また、ユーザがプレイリストを生成する際に使用するストリームは低レート動画ストリームであるので、それを処理する外部機器の処理負荷を軽減でき、高レート動画ストリームで同じ作業を行う場合に比べて機器のレスポンスの向上を期待することができる。また、外部機器に出力するのは低レートの動画ストリームにすることにより、その動画ストリームを格納するための半導体メモリの容量も高レート動画ストリームを格納する場合と比べて小さくてよい。
また、低レート動画ストリーム用のプレイリストを生成する際に、再生開始フレームとしてIフレームを指定しておくことにより、高レート動画ストリーム用のプレイリストも自動的にIフレームを再生開始フレームとして指定するため、プレイリスト再生におけるストリームの切り替えがスムーズに行われるという効果が得られる。
また、PCのアプリケーションとデータ処理装置の遷移効果や再生効果への対応レベルが異なる場合であっても、PCのアプリケーションが生成した低レート動画ストリーム用のプレイリスト情報を利用して高レート用動画ストリーム用のプレイリスト情報をAVデータ記録再生装置で生成することが可能である。
また、外部機器とのデータ交換をUSB等のデジタルIFケーブルや、無線通信手段を使用して行う場合でも、外部機器に出力するのは低レートの動画ストリームであるために、高レート動画ストリームを出力する場合に比べて、カムコーダおよび外部機器の処理負荷を軽減することができる。
以下、添付の図面を参照しながら、本発明のデータ処理装置の実施形態を説明する。以下の説明では、同じ参照符号が付された構成要素は同等の機能および構成を有しているとする。
(実施形態1)
図3は、本実施形態のデータ処理装置の一例であるカムコーダ100を示す。カムコーダ100は、一般のカムコーダと同様、映像を表す映像信号を取得するための撮像部(レンズおよび撮像素子等)と、音声を表す音声信号を取得するためのマイクとを有しており、映像信号および/または音声信号を符号化した動画ストリームを記録媒体に記録することができる。
本実施形態によるカムコーダ100は、DVD−RAMディスク(以下、「光ディスク」と称する)120を装填するDVD−RAMドライブ(後述する図5のドライブ107)に加えて、半導体メモリ121を装填する半導体メモリカードスロット(図示せず)を備えている。そして、カムコーダ100は、光ディスク120および半導体メモリ121に、同じ映像をデータレートの異なる動画ストリームで記録することができる。
光ディスク120に記録される動画ストリームは、例えばデータレートが10Mbps程度の比較的高いデータレートを有する動画ストリーム(以下、「高レート動画ストリーム」と称する)であるとする。一方、半導体メモリ121に記録される動画ストリームは、例えばデータレートが1Mbps程度の比較的低いデータレートを有する動画ストリーム(以下、「低レート動画ストリーム」と称する)であるとする。なお、「10Mbps」および「1Mbps」は他の値であってもよく、高レートであるか低レートであるかは、2つの動画ストリームの各レートによって相対的に決定されることに留意されたい。
図4(a)および(b)を参照しながら、本実施形態によるカムコーダ100の動作、および、PC201の動作を概略的に説明する。なお、本明細書ではPCであるとして説明するが、これはデータ処理装置の一例であり、他には、後述する「プレイリスト」の編集機能を有するDVDレコーダ、映像編集機器等であってもよい。
図4(a)および(b)は、カムコーダ100およびPC201の処理の手順を示す。まず、図4(a)を参照する。(1)まず、カムコーダ100が低レート動画ストリームを半導体メモリ121に記録する。このとき、カムコーダ100は並行して高レート動画ストリームを光ディスク120に記録している。(2)ユーザが半導体メモリ121をPC201に装填する。ユーザは、PC201に対して低レート動画ストリームの再生を指示し、再生された映像を見ながら、その映像に対するプレイリストを作成する。「プレイリスト」は、1以上の動画ストリームの一部または全部の再生区間を規定している。動画ストリームが複数存在するときには、プレイリストには再生すべき動画ストリームとその順序も規定される。(3)PC201はユーザが作成したプレイリストを取得してプレイリスト情報を生成し、そのプレイリスト情報を半導体メモリ121に記録する。(4)ユーザがその半導体メモリ121をカムコーダ100に装填すると、(5)カムコーダ100は、半導体メモリ121に記録されたプレイリスト情報および光ディスク120に記録された高レート動画ストリームに基づいて高レート用のプレイリスト情報を生成し、光ディスク120に記録する。
図4(a)に示す処理によれば、PC201において生成された低レート用のプレイリスト情報に基づいて、カムコーダ100が高レート用のプレイリスト情報が自動的に生成するので、ユーザが高レート用のプレイリスト情報を生成する必要がなくなる。
次に、図4(b)を参照しながら、カムコーダ100およびPC201の処理を説明する。(1)まず、カムコーダ100は高レート動画ストリームを光ディスク120に記録する。(2)ユーザが光ディスク120をPC201に装填する。ユーザは、PC201に高レート動画ストリームの再生を指示し、再生された映像を見ながら、その映像に対するプレイリストを作成する。(3)PC201はユーザが作成したプレイリストを取得してプレイリスト情報を生成し、そのプレイリスト情報を光ディスク120に記録する。(4)PC201は、高レート動画ストリームから低レート動画ストリームを生成し、光ディスク120に記録する。(5)PC201は、光ディスク120に記録された高レート動画ストリーム、そのプレイリスト情報および低レート動画ストリームに基づいて、低レート用のプレイリスト情報を生成し、光ディスク120に記録する。
ユーザは、処理能力が高く、かつ、操作性のよいPC201においてプレイリスト情報を生成し、さらにPC201が低レート動画ストリームおよびそのプレイリスト情報をも生成するので、操作が簡易化および効率化を図ることができる。また(1)の処理の際には、カムコーダ100は低レート動画ストリームを生成する必要はないので、先に説明した処理と比較するとカムコーダ100による処理を簡易化でき、かつ、半導体メモリ121用のスロット等の構成も省略できる。なお、カムコーダ100に光ディスク120を装填することにより、低レート用プレイリスト情報に従って低レート動画ストリームを再生することができる。
次に、図5および図6を参照しながら、カムコーダ100およびPC201の構成を説明する。なお、以下の説明では、図4(a)および(b)に示す両方の処理を実行できるカムコーダ100およびPC201を説明する。処理の内容によっては省略可能な構成要素も含まれるため、すべての構成要素が必須ではないことに留意されたい。
図5は、カムコーダ100の機能ブロックの構成を示す。カムコーダ100は、映像信号受信部101と、音声信号受信部102と、付属情報生成部105と、蓄積スイッチ部106と、ドライブ107と、メモリコントローラ109と、プレイリスト情報管理部110と、付属情報管理部111と、動画ストリーム復号部112と、映像信号出力部113と、音声信号出力部114と動画ストリーム生成部115とを有している。
カムコーダ100の各構成要素の機能は以下のとおりである。映像信号受信部101は、カメラのCCD(図示せず)の出力から、映像を表す映像信号を受け取る。音声信号受信部102は、マイク(図示せず)から、音声を表す音声信号を受け取る。
動画ストリーム生成部115は、高レート動画ストリーム生成部103および低レート動画ストリーム生成部104を含み、それぞれ、高レートおよび低レートの動画ストリームを生成する。符号化のデータレートの相違は、使用する符号化パラメータ、符号化方法等によって定まる符号化処理の相違に起因している。符号化処理は、例えばMPEG2規格に従って行われるが、その具体的な内容は周知であるため、その説明は省略する。なお、各動画ストリーム生成部103および104は、物理的に2つの回路等で実現されてもよいし、1つの回路等を時分割で利用することによって実現されてもよい。
付属情報生成部105は、動画ストリームに対する付属情報を生成する。付属情報は、例えば、動画ストリームを構成するデータを読み出すために必要なアクセスデータ、再生タイミングを示すタイムスタンプ、符号化ビットレート、コーデック情報等を含む。アクセスデータは、動画ストリームの再生時間とその時間に再生されるデータの格納アドレスとの対応関係を規定するテーブルであり、動画ストリームの先頭からの再生、途中からの再生、特殊再生等に際して参照される。蓄積スイッチ部106はデータの伝送経路を切り替える。
ドライブ107は、光ディスク120にデータを記録し、光ディスク120からデータを読み出す。ドライブ107は、光ピックアップ108、ドライブコントローラ116を含む。光ピックアップ108は、レーザ光を光ディスク120に照射して、反射光を検出して再生信号等を出力する。ドライブコントローラ116はドライブ107の動作を制御する中央処理回路(CPU)である。なお、ドライブ107はこれらの他に、周知の構成、例えば光ピックアップ108の駆動回路、光ディスクを回転させるスピンドルモータ(図示せず)等も含んでいる。一方、メモリコントローラ109は、半導体メモリ121へのデータの読み出しおよび書き込みを制御する。
プレイリスト情報管理部110は、半導体メモリ121、光ディスク120等に記録されたプレイリスト情報を取得し、保持する。または、プレイリスト情報管理部110はユーザがカムコーダ100のボタン等を利用して設定したプレイリスト情報を取得し、保持する。付属情報管理部111は、付属情報生成部105において生成された付属情報を管理し、または、記録媒体に記録された付属情報を読み出して保持する。
動画ストリーム復号部112(以下、「復号部112」と表記する)は、動画ストリームを復号化して映像信号および音声信号を取り出す。映像信号出力部113および音声信号出力部114は、それぞれ映像信号および音声信号を出力する端子、または、ディスプレイ、スピーカ等の出力装置である。
次に、カムコーダ100の基本的な動作である記録動作および再生動作を説明する。図4に示すカムコーダ100とPC201との間で行われるカムコーダ100の動作は後述する。
まず、カムコーダ100が動画ストリームを記録するときの動作を説明する。以下では、高レートおよび低レートの両方の動画ストリームを記録するとして説明するが、いずれか一方のみであってもよい。映像信号受信部101および音声信号受信部102が映像信号および音声信号を受けると、動画ストリーム生成部103および104は、それらの信号を、例えばMPEG映像ストリームを含む高レート動画ストリームと低レート動画ストリームへと変換する。生成された高レート動画ストリームは、蓄積スイッチ部106を介してドライブ部107に送られる。ドライブ部107は、ピックアップ108を介してDVD−RAMディスク120に動画ストリームを記録する。一方、低レート動画ストリームは、蓄積スイッチ部106を介してメモリコントローラ109に送られる。メモリコントローラ109は、その動画ストリームを半導体メモリ121に記録する。
次に、カムコーダ100が動画ストリームを再生する動作を説明する。以下、動画ストリームが光ディスク120に記録されている場合と半導体メモリ121に記録されている場合とに分けて説明する。
まず、ユーザによって、光ディスク120に格納されている動画ストリームの再生が指示されると、ドライブコントローラ116は、付属情報管理部111において管理されている付属情報に基づいて、または、光ディスク120に格納されている付属情報に基づいて、光ディスク120上の動画ストリームの位置を特定する。そして、ドライブコントローラ116は、ピックアップ108を用いて動画ストリームを読み出し、蓄積スイッチ部106を経由して復号部112に送信する。復号部112は、動画ストリームを復号して映像信号と音声信号とに分離して出力する。映像信号出力部113および音声信号出力部114は、それぞれ映像信号および音声信号を出力する。
一方、ユーザによって、半導体メモリ121に記録されている動画ストリームの再生が指示されると、メモリコントローラ109は、付属情報管理部111において管理されている付属情報に基づいて、または、半導体メモリ121に格納されている付属情報に基づいて、半導体メモリ121上の動画ストリームの位置を特定する。そして、メモリコントローラ109は、半導体メモリ121から動画ストリームを読み出し、蓄積スイッチ部106を経由して復号部112に送信する。この後の処理は光ディスク120からの動画ストリームの読み出し動作と同じである。
記録媒体にプレイリスト情報が記録されているときは、ドライブ107のドライブコントローラ116は光ディスク120からプレイリスト情報を取得し、メモリコントローラ109が半導体メモリ121からプレイリスト情報を取得する。プレイリスト情報は、蓄積スイッチ部106を介してプレイリスト情報管理部110に伝送され、プレイリスト情報管理部110はそのプレイリスト情報を保持する。プレイリスト情報に従って動画ストリームを再生するときは、プレイリスト情報管理部110に保持されたプレイリスト情報と、付属情報管理部111に保持された付属情報とが利用される。
次に、図6を参照しながらPC201の構成を説明する。図6は、PC201の機能ブロックの構成を示す。PC201は、指示部130と、コントローラ131と、高レート動画ストリーム生成部133と、低レート動画ストリーム生成部134と、付属情報生成部135と、蓄積スイッチ部136と、ドライブ137と、光ピックアップ138と、メモリコントローラ139と、プレイリスト情報管理部140と、付属情報管理部141と、動画ストリーム復号部142と、映像信号出力部143と、音声信号出力部144とを備えている。
PC201の各構成要素のうち、カムコーダ100の構成要素と同様の機能を有する構成要素には同じ名称を付している。以下では、それらの構成要素に対する個別の説明は省略し、PC201の動作に関連して具体的な機能および動作を説明する。
指示部130は、ユーザから各種の指示を受け取るキーボード、マウス等の入力装置である。ユーザは、指示部130を介してプレイリストを作成する旨の指示を入力し、また、動画ストリームの変換等の指示を入力する。コントローラ131は、ユーザからの指示を受け取り、その指示に応じた処理を指示する。例えば、コントローラ131はPC201の中央処理ユニット(CPU)(図示せず)の一部の機能として実現することができる。コントローラ131は、プレイリストを規定する指示に基づいてプレイリスト情報を生成し、動画ストリームの変換指示に基づいて動画ストリーム生成部に対して、動画ストリームのレート変換を指示する。
次に、図4(a)を参照しながら説明した、本実施形態による第1の処理を説明する。図7は、カムコーダ100およびPC201において行われる第1の処理の流れを示す。図7の左半分にカムコーダ100の処理を示し、右半分にPC201の処理を示す。ステップS1において、カムコーダ100の動画ストリーム生成部115は映像信号および音声信号を符号化して、高レートおよび低レートの動画ストリームを生成する。そして、ステップS2において、メモリコントローラ109は低レートの動画ストリームを半導体メモリ121に書き込み、ドライブコントローラ116は高レートの動画ストリームを光ディスク120に書き込む。
ユーザがその半導体メモリ121をカムコーダ100から抜き取り、その後PC201に装填すると、ステップS3において、PC201は半導体メモリから低レート動画ストリームを読み出して再生し、PC201のモニタに表示する。ユーザは、表示された映像を見ながらプレイリストの作成を開始することができるので、例えばカムコーダ100等の限られた入力手段しか装備しない装置でプレイリストを作成する場合よりも、快適に作業することができる。
ステップS4において、指示部130は、ユーザから低レート動画ストリームの再生区間を指定する指示を受け取る。
なお、この説明は、例えば図2(a)に示すような1つのストリームを対象としてプレイリストを作成する際の説明である。しかし、図2(b)に示す複数のストリームを対象としてプレイリストを作成する場合には、指示部130は、各ストリームの再生区間を指定する指示とともに、ストリームの再生順序を指定する指示等も受け取る。また、図2(c)に示すような映像ストリームおよび音声ストリームの両方に対する再生区間および再生順序を指定する指示を受け取ることも可能である。
次に、ステップS5において、コントローラ131はユーザからの指示に基づいてプレイリスト情報を生成し、ステップS6においてプレイリスト情報を半導体メモリ121に記録する。このプレイリスト情報は、現在再生されている低レートの動画ストリームに対するプレイリストを規定している。この後、半導体メモリ121は取り出されて再びカムコーダ100に挿入される。
図8は、PC201の半導体メモリスロット202に挿入され、処理後に取り出された半導体メモリ121を示す。図8はさらに、PC201から取り出された半導体メモリ121のファイル構造の例を示している。図のディレクトリ“dir001”には、3つの低レート動画ストリームのデータファイル(以下、「低レート動画ファイル」と称する)203、204、205と、それらの動画ストリームの再生を管理するプレイリスト情報ファイル206が格納されている。低レート動画ファイル203、204、205は、カムコーダ100によって記録されたファイルであり、プレイリスト情報ファイル206はPC201によって記録されたファイルである。
プレイリスト情報ファイル206には、低レート動画ファイル203〜205に格納された低レート動画ストリームの再生位置(再生時刻)や再生順序が記録されている。図9は、低レート動画ストリームA〜Cとプレイリスト情報207との対応関係を示す。ストリームA〜Cは、それぞれ低レート動画ファイル203〜205に格納されたストリームに対応している。なお、低レート動画ファイル203〜205には、それぞれ低レート動画ストリームA〜Cが格納されるほか、格納されたストリームに対応するアクセスデータを含む付属情報が格納されている。
プレイリスト情報207には、再生される順序とともに、動画ストリームが格納されているファイル名、その動画ストリームの再生を開始する時間(=start time)および再生を継続する時間(=duration)が記述されている。カムコーダ100およびPC201等の再生装置は、ストリームを特定するための情報として、例えばファイル名を用いている。上述した各情報と各ファイルに格納された付属情報中のアクセスデータを参照することにより、プレイリスト再生を実現できる。図10は、プレイリスト情報207に記述された内容と低レート動画ストリームの再生位置との対応関係を示す。ここでは、第1番目に再生される低レート動画ストリームA(ファイル名“LMOV001.mov”)を例として説明する。まず、プレイリスト情報207中の再生開始時間Tsaおよび再生を継続する時間Tdaにしたがって、開始時刻Tsaおよび終了時刻Tsa+Tdaが特定される。すると、次に、ファイル内の付属情報Aに規定されたアクセスデータが参照される。アクセスデータは、時間とその時間に再生されるデータが格納されたアドレスとの対応関係が規定されたテーブルである。その結果、特定された開始時刻Tsaおよび終了時刻Tsa+Tdaに対応する、低レート動画ストリームのアドレス情報が得られる。これにより、プレイリスト情報207において規定された動画ストリームAの特定の区間が再生される。なお、第2および第3番目に再生される動画ストリームに関しても、同様の手順で再生区間が特定され、再生される。
再び図7を参照する。次に、半導体メモリ121を再び装填されたカムコーダ100の処理を説明する。ステップS7において、カムコーダ100のメモリコントローラ109は、半導体メモリ121から低レート動画ストリーム用のプレイリスト情報ファイル206を読み出し、プレイリスト情報管理部110に送る。プレイリスト情報管理部110は、プレイリスト情報ファイル206を解析し、プレイリスト情報207に規定されている低レート動画ファイルを特定するとともに、その再生順序位置および再生時間を識別する。
次に、カムコーダ100が、低レート動画ファイルに対応する高レート動画ストリームを格納するファイル(以下「高レート動画ファイル」と称する)がDVD−RAMディスク120に記録されていることを検出すると、ステップS8を実行する。
ここで、低レート動画ファイルに「対応する」高レート動画ファイルとは、例えば、高レート動画ファイルのファイル名が、低レート動画ファイルのファイル名とが一定のルールで関連付けられていることを示す。例えば、低レート動画ファイルのファイル名“LMOV001.mov”に対して、先頭の一文字LをHに置き換えた“HMOV001.mov”を高レート動画ファイルのファイル名とするルールを規定することができる。または、低レート動画ファイルのファイル名“MOVE001.mvl”に対して、拡張子の最後の文字lをhに置き換えた“MOVE001.mvh”を高レート動画ファイルのファイル名とするルール等であってもよい。
上述の低レート動画ファイルと高レート動画ファイルとの対応付けは、ストリームの記録日時等によっても可能である。具体的には、それぞれの動画ストリームまたはそれに対応する付属情報中にストリームの生成日時情報を記録することにより、両ストリームが同時に記録されたとき生成日時が同一になり、同じ映像を表す動画ファイルであるとして対応付けることができる。なお、ストリームの関連付けを管理する情報を1つのファイルとして記録媒体に記録しておいてもよい。
次に、ステップS8では、プレイリスト情報管理部110は、低レート用のプレイリスト情報207および高/低レート動画ストリームに基づいて、高レート用のプレイリスト情報を生成し、ステップS9において、ドライブ107は高レート動画ストリーム用のプレイリスト情報を光ディスクに書き込む。
図11は、高レート動画ストリームA〜Cと、高レート用のプレイリスト情報507との対応関係を示す。高レート動画ストリームA〜Cは、それぞれ高レート動画ファイル503〜505に格納されている。そして、プレイリスト情報ファイル506に格納されたプレイリスト情報507には、高レート動画ファイル503〜505に格納された高レート動画ストリームA〜Cの再生位置(再生時刻)や再生順序が規定されている。
図11と図9とを対比すると明らかなように、プレイリスト情報管理部110は、参照するファイル名を高レート動画ファイルのファイル名に設定するとともに、高レート動画ストリームの再生区間を、再生を開始する時間(start time)および再生を終了する時間(end time)によって設定している。なお、低レート用のプレイリスト情報207では再生継続時間(duration)を規定しているのに対し、高レート用のプレイリスト情報507では再生終了時間(=end time)によって規定しているが、これは、再生区間を任意に規定できることを表す例であり、特にこの変換が必要であることを意図するものではない。
高レート用のプレイリスト情報507でも再生を開始する時間(start time)および再生継続時間(duration)によって再生区間を規定するときは、低レート用のプレイリスト情報207の規定をそのまま利用することができる。その理由は、対応する高レートおよび低レートの動画ストリーム同士では、特定の時刻に再生されて表示されるフレームまたはフィールドは原則として同じだからである。このときは、いずれの方法によっても、高レート用のプレイリスト情報507によって規定される高レート動画ストリームの再生位置(再生時刻)および再生順序は、対応する低レート動画ストリームの再生位置(再生時刻)および再生順序と同じである。
以上のように、本実施形態によるカムコーダ100は、外部機器(PC201)において生成された低レート動画ストリーム用のプレイリスト情報207に基づいて、高レート動画ストリーム用のプレイリスト情報507を生成することができる。
本実施形態の処理によれば、カムコーダで撮影したストリームを編集する際の煩雑な作業はPCで行い、完成した低レート動画ストリーム用のプレイリスト情報から高レート動画ストリーム用のプレイリスト情報を自動的に生成するので、カムコーダでプレイリストを生成するための細かな入力作業を行うことなく、高レート動画ストリーム用のプレイリストを得ることができる。
また、上述のようにPC201におけるプレイリスト生成のために低レートの動画ストリームデータを利用すると、必要なデータ量を低く抑えることができる。よって、光ディスク120と比較して一般にデータ容量が小さい半導体メモリ121を利用でき、持ち運び等がより容易になる。さらに、動画ストリームのデータ量が少ないため、PC201においても処理負荷を軽減でき、高レート動画ストリームで同じ作業を行う場合に比べて機器のレスポンスの向上を期待することができる。
次に、図4(b)を参照しながら説明した本実施形態による第2の処理を詳述する。図12は、カムコーダ100およびPC201において行われる第2の処理の流れを示す。図12の左半分にカムコーダ100の処理を示し、右半分にPC201の処理を示す。ステップS10において、カムコーダ100の動画ストリーム生成部115は映像信号および音声信号を符号化して、高レートの動画ストリームを生成する。そして、ステップS11において、ドライブコントローラ116は高レートの動画ストリームを光ディスク120に書き込む。
ユーザがその光ディスク120をカムコーダ100から取り出し、その後PC201のドライブ137に装填すると、ステップS12において、PC201は光ディスク120から高レート動画ストリームを読み出して再生し、PC201のモニタに表示する。ユーザは、表示された映像を見ながらプレイリストの作成を開始することができる。
ステップS13において、指示部130が、ユーザから高レート動画ストリームの再生区間、再生順序等を指定する指示を受け取ると、ステップS14において、コントローラ131はその指示に基づいて、例えば図11に示す高レート用のプレイリスト情報507を生成して光ディスク120に書き込む。
ステップS15では、低レート動画ストリーム生成部134は高レート動画ストリームに基づいて低レート動画ストリームを生成する。この処理は、例えば、動画ストリーム復号部142によって復号化された映像信号および音声信号を低レート動画ストリーム生成部134が受け取り、それらの信号をより低いデータレートで符号化することによって行われる。さらに、付属情報生成部135は、低レート動画ストリームのアクセスデータ等を含む付属情報を生成する。
次に、ステップS16において、ドライブコントローラ132は生成した低レート動画ストリームおよび付属情報を低レート動画ファイルとして光ディスク120に書き込む。この結果、図9に示す低レート動画ファイル203〜205が光ディスク120上に設けられる。
次に、ステップS17において、PC201のプレイリスト情報管理部140は、高レート用のプレイリスト情報507、高/低レート動画ストリームに基づいて、例えば図9に示す低レート用のプレイリスト情報207を生成する。なお、高レート用のプレイリスト情報507および低レート用のプレイリスト情報207において、再生区間を規定するパラメータの相違は、先に説明したとおり例であり、同じであってもよいし他の規定方法を採用してもよい。
ステップS18では、ドライブコントローラ132は、低レート用のプレイリスト情報を光ディスク120に記録する。その結果、光ディスク120には、高/低レート動画ストリームファイルと、各ストリームに対応するプレイリスト情報ファイルとが含まれることになる。具体的には、光ディスク120には、図11におけるディレクトリ“dir001”内の高レート動画ファイル503〜505およびそのプレイリスト情報ファイル506が記録されるとともに、図9におけるディレクトリ“dir001”内の低レート動画ファイル203〜205およびそのプレイリスト情報ファイル206が記録される。1つの光ディスク120に記録されるため、後者のディレクトリ名は、例えば“dir002”にすればよい。
図12に示す処理を実行することにより、ユーザは、カムコーダ100において1つの動画ストリームを光ディスク120に記録し、その動画ストリームのプレイリストを生成するだけで、符号化手順(例えば、符号化レート)が異なる動画ストリームと、その動画ストリームに対応するプレイリスト情報とを得ることができる。よって、それぞれの動画ストリームに対するプレイリスト情報を生成しなければならない場合と比較して、利便性が非常に高くなる。この光ディスク120をカムコーダ100に再び装填することにより、カムコーダ100において低レートの動画ストリームのプレイリスト再生が可能になる。
(実施形態2)
本実施形態においては、先の例と異なるデータ構造を有する動画ストリームおよびプレイリスト情報を生成するデータ処理装置を説明する。ここでは、MPEG4システム規格(ISO/IEC 14496−1)に準拠したMP4ファイルフォーマットの例を説明する。なお、MP4ファイルフォーマットはApple(登録商標)社のQuickTime(TM)ファイルフォーマットをベースにして規定され、近年、様々なPCアプリケーションでサポートされている点においてPCとの親和性が高く、将来性のあるフォーマットである。
本実施形態によるデータ処理装置は、図5に示すカムコーダ100および図6に示すPC201と同じ機能構成を有しているとし、それぞれの説明は省略する。
まず、図13から図16を順次参照しながら、MP4ファイルのファイル構造を説明し、その後、本発明による処理への適用例を説明する。
図13は、MP4ファイル20のデータ構造を示す。MP4ファイル20は、付属情報21および動画ストリーム22を有する。MPEG4システム規格(ISO/IEC 14496−1)では、MPEG2映像またはMPEG4映像を含むシステムストリーム(動画ストリーム)22およびその付属情報21のデータ構造を図示されるように規定している。付属情報21は、映像および音声に対するアクセスデータとして、それぞれ独立にフレーム単位のデータサイズ、データの格納先アドレス、各々のフレーム再生時間等を含む。動画ストリーム22は、映像データおよび音声データがそれぞれ1つ以上のフレーム単位で配置されている。
図14は、MP4ファイル20の具体的な構成を示す。まず、動画ストリーム22を説明する。MP4ファイル20では、動画ストリーム中のデータをサンプル(sample)およびチャンク(chunk)単位で管理する。「サンプル(sample)」とは、MP4ファイルにおけるストリーム管理の最小単位であり、例えば、映像フレームの符号化されたフレームデータおよび音声フレームの符号化されたフレームデータに対応する。図には映像フレームのフレームデータを表す映像サンプル(Video Sample)および音声フレームのフレームデータを表す音声サンプル(Audio Sample)を示す。一方、「チャンク(chunk)」とは、1以上のサンプルの集合を表す。チャンク内に1つのサンプルしか存在しないときでも、1つのサンプルを含むチャンクとして管理される。
付属情報21は、映像サンプルに関する情報と音声サンプルに関する情報をそれぞれトラック単位で管理する。図14に示す付属情報21には、ビデオトラックおよびオーディオトラックが含まれている。これらのトラックには、各サンプルのサイズとその表示時間、各チャンクの先頭位置およびそのチャンクに含まれるサンプルの数等が記述される。再生装置は、付属情報21の各トラックを読み出して全てのサンプルへアクセスすることができ、また、サンプルおよびチャンク毎に読み出し等の制御が可能である。MP4ファイルの管理情報中の各サンプルおよび各チャンクの格納位置情報は先に言及したアクセスデータに相当する。
図15(a)および(b)は、それぞれ、MP4ファイルの他の構成を示す。図15(a)に示すように、付属情報と動画ストリーム3とは、それぞれ別のMP4ファイルとして構成されている。このような構成においては、付属情報2は動画ストリームの読み出しを制御するリンク情報を含んでいる。また、図15(b)に示すように、付属情報と動画ストリームが1つのMP4ファイルとして構成されているときでも、そのMP4ファイルの動画ストリームを他のMP4ファイルの付属情報から参照することができる。
図16は、MP4ファイルのさらに他の構成を示す。図16に示すように、付属情報に規定される複数のトラックにはそれぞれリンク情報が規定され、リンク情報に基づいて2つ以上の動画ストリームを参照することも可能である。例えば、動画ストリーム1には映像ストリームのみを格納してトラック1(例えばビデオトラック)から参照し、動画ストリーム2には音声ストリームのみを格納してトラック2(例えばオーディオトラック)から参照することができる。なお、付属情報には、複数のビデオトラックやオーディオトラックを格納することが可能であり、また、テキスト情報が格納されたファイルを参照するテキストトラック等の他のトラックを格納することもできる。
以下では、図16に示すファイル構成を採用したときの、動画ストリームおよびプレイリスト情報の取り扱いを説明する。図17は、MP4ファイル23に格納されたビデオトラックによって参照されるMP4ファイルの動画ストリームを示す。MP4ファイル23は、2つのビデオトラックを格納した付属情報から構成されている。一方、MP4ファイル24および25は、MP4ファイル23内の各ビデオトラックによって参照される動画ストリームを含む。付属情報のトラックには、リンク情報とアクセスデータの他に、プレイリスト情報が格納されている。
先の実施形態に関連して説明したように、プレイリスト情報は、動画ストリームの再生を行う区間を再生時刻によって指定している。指定された時刻は、時間−アドレス変換テーブルであるアクセスデータを参照することによって、その時刻に再生されるべき映像フレームのアドレスを特定することができる。プレイリスト情報には、目的とする映像フレームの再生を開始するまでの時間(オフセット時間)も格納できるため、オフセット時間の相対関係によって、動画ストリームの再生区間1および映像ストリーム2の再生区間2の再生順序を規定することができる。なお、再生区間の指定を行う必要がない場合にはプレイリスト情報は設けられない。
次に、図18を参照しながら、プレイリスト情報および動画ストリームがMP4ファイルフォーマットで光ディスク120および半導体メモリ121に格納される例を説明する。
図18(a)は、半導体メモリ121に記録されたMP4ファイル等の階層構造1101を示し、図18(b)は、光ディスク120に記録されたMP4ファイル等の階層構造1102を示す。カムコーダ100およびPC201は、各図に示すようなファイル構造および各ファイルの構成にしたがってデータを記録することができる。
図18(a)に示すように、半導体メモリ121は、低レート動画ストリームA1104およびその付属情報1103からなるMP4ファイル"LMOV001.mp4"と、低レート動画ストリームB1106およびその付属情報1105からなるMP4ファイル"LMOV002.mp4"と、付属情報1107のみを含むMP4ファイル"LPLY001.mp4"とを格納している。付属情報1107は、低レート動画ストリーム1104および1106のそれぞれに対する再生位置と再生順序を規定するプレイリスト情報と、その再生に必要なアクセスデータと、参照するMP4ファイル"LMOV001.mp4"および"LMOV002.mp4"へのリンク情報とを含んでいる。
一方、図18(b)に示す光ディスク120は、高レート動画ストリームA1109およびその付属情報1108からなるMP4ファイル"HMOV001.mp4"と、高レート動画ストリームA1111およびその付属情報1110からなるMP4ファイル"HMOV002.mp4"と、付属情報1112のみを含むMP4ファイル"HPLY001.mp4"とを格納している。付属情報1112も同様に、高レート動画ストリーム1109および1111のそれぞれに対する再生位置と再生順序を規定するプレイリスト情報と、その再生に必要なアクセスデータと、参照するMP4ファイル"HMOV001.mp4"および"HMOV002.mp4"へのリンク情報とを含んでいる。
図18(a)および(b)に示す各MP4ファイルおよび各ファイルを構成するデータおよび情報は、第1の実施形態による図7に示す処理手順によって生成することができる。例えば、低レート動画ストリームA1104およびA1106と、高レート動画ストリームA1109およびA1111とは、同じ映像についてカムコーダ100によって生成され、記録される。一方、低レート動画ストリームに対するプレイリスト情報を含む付属情報1107は、PC201において生成され、記録される。高レート動画ストリームに対するプレイリスト情報を含む付属情報1112は、PC201によって記録される。
図19は、付属情報1107と付属情報1112との対応関係を示す。付属情報1107は、参照する2つのMP4ファイルに対するトラック情報26−1および26−2を含む。トラック情報26−1はMP4ファイル"LMOV001.mp4"に対応し、トラック情報26−2はMP4ファイル"LMOV002.mp4"に対応する。
トラック情報26−1のリンク情報1201には、MP4ファイル"LMOV001.mp4"へのリンク情報が格納されている。プレイリスト情報1202には、低レート動画ストリームA1104の再生区間とオフセット時間、すなわち再生開始までのオフセット時間を識別するための情報が格納されている。アクセスデータ1203には、低レート動画ストリームA1104に対する時間とアドレスの変換テーブルが規定されている。同様に、トラック情報26−2のリンク情報1204にはMP4ファイル"LMOV002.mp4"へのリンク情報が格納されている。プレイリスト情報1205は低レート動画ストリームB1106の再生区間とオフセット時間が格納されている。アクセスデータ1206には低レート動画ストリームB1106の時間とアドレスの変換テーブルが規定されている。
カムコーダ100のプレイリスト情報管理部110および付属情報管理部111では、これらの情報に基づいて、高レート用の付属情報1112に格納すべき情報を生成する。生成された高レート用の付属情報1112もまた、参照する2つのMP4ファイルに対するトラック情報27−1および27−2を含んでいる。トラック情報27−1はMP4ファイル"HMOV001.mp4"に対応し、トラック情報27−2はMP4ファイル"HMOV002.mp4"に対応する。
トラック情報27−1のリンク情報1207には、リンク情報1201のリンク先である"LMOV001.mp4"に対応する"HMOV001.mp4"へのリンク情報が格納されている。プレイリスト情報1208はプレイリスト情報1202に基づいて生成され、格納される。さらに、アクセスデータ1209は、リンク先であるMP4ファイル"HMOV001.mp4"の付属情報1108のアクセスデータが必要に応じて変換されて生成される。アクセスデータが変換される場合の例として、各映像/音声フレームごとのデータサイズが異なる場合や、ファイル間でフレームレートが異なる場合が挙げられる。これらに該当するときには、アクセスデータに含まれるデータサイズテーブル中の値が変更される。続いて、同様に、トラック情報27−2のリンク情報1210には"HMOV002.mp4"へのリンク情報が格納される。プレイリスト情報1211においてもまた、プレイリスト情報1205が必要に応じて変換され、格納される。アクセスデータ1212には付属情報1110のアクセスデータが必要に応じて変換されて生成される。
以上のように、本発明のAVデータ記録再生装置はプレイリスト情報とアクセスデータが一体となったファイルフォーマットにも適用可能であり、本発明の実施形態1と同じ効果が得られる。
さらに、上述の例のように低レート動画ストリームをMPEG4システム規格(ISO/IEC 14496−1)に準拠したMP4ファイルで記録することにより、PC201にプレイリスト情報を生成するための専用のアプリケーションソフトを用意しなくても、MP4ファイルに対応した既存のアプリケーションを使用することができる。MP4ファイルに対応した代表的なアプリケーションとして、apple社のクイックタイム等がある。
なお、本実施の形態では、MPEG4システム規格(ISO/IEC 14496−1)に準拠したMP4ファイルを例に説明したが、本発明はこれに限定するものではなく、プレイリスト情報とアクセスデータと動画ストリームの対応関係が識別可能な構成になっていれば、他のファイルフォーマットにも適用できる。
(実施形態3)
本実施形態においては、例えば図4(a)に示す処理において、高レート動画ストリームおよび低レート動画ストリームを同時に生成する際に有用な処理を説明する。
図20は、第3の実施形態によるデータ処理装置200の機能ブロックの構成を示す。以下では、データ処理装置200がカムコーダである場合を例にして説明する。なお、他にはPC、据え置き型のDVD録画装置等として実現することもできる。
カムコーダ200は、実施形態1によるカムコーダ100にIフレーム符号化制御部1301(以下「符号化制御部1301」称する)が追加されている。カムコーダ200の他の構成は、カムコーダ100と同じであるため、図面では同じ参照符号を付してその説明は省略する。
符号化制御部1301は、MPEG映像ストリームを含む高レート動画ストリームおよび低レート動画ストリームが同時にされる際の符号化処理を制御する。具体的には、符号化制御部1301は、対応する高レートおよび低レートの動画ストリームにおいて、Iフレームが同じ映像フレームに対応するように、高レートストリーム生成部103と低レートストリーム生成部104とを制御する。
MPEG映像ストリームでは、映像の各フレームはIフレーム・Pフレーム・Bフレームに種類分けして符号化されている。このうち、PフレームおよびBフレームはフレーム間の相関を利用した符号化が施されているのに対し、Iフレームはフレーム内で完結する符号化が施されている。Iフレームは復号のために他のフレームデータを参照情報として使用しないため、動画ストリームの途中から再生を開始する場合等におけるアクセスポイントになる。
図21(a)〜(c)は、動画ストリーム内のフレームデータと映像フレームとの対応関係を示す。まず、図21(b)は、映像信号入力部101に入力された映像フレーム群を示し、図21(a)は低レート動画ストリームに含まれる低レートMPEG映像ストリームを示し、図21(c)は高レート動画ストリームに含まれる高レートMPEG映像ストリームを示す。図21(a)に示す低レート動画ストリームは、(b)に示す映像フレームのデータの一部のみを含むように符号化されている。一方、図21(c)に示す高レート動画ストリームは、(b)に示すすべての映像フレームのデータを含むように符号化される。
高レート動画ストリーム生成部103は、図21(b)に示す複数のフレームのうち斜線を付したフレームをIフレームとして符号化し、(c)に示す高レート動画ストリームを生成する。一方、低レート動画ストリーム生成部104も同様に、図21(b)に示す斜線を付したフレームをIフレームとして符号化し、(a)に示す高レート動画ストリームを生成する。これらはIフレーム符号化制御部1301からの指示に基づいて行なわれる。入力された映像フレームのうち、どのフレームをIフレームにするかは、例えば所定の時間間隔、低レート動画ストリームに設定されたデータレート等に基づいて適宜決定することができる。
なお、図21では、映像の各フレームがIフレームまたはPフレームとして符号化される例を示している。しかし、Bフレームを含む符号化を行っても、低レート動画ストリームと高レート動画ストリームで同じ映像フレームをIフレームとして符号化することは可能である。図22(a)〜(c)は、映像フレームをI、PおよびBフレームとして符号化したときの動画ストリーム内のフレームデータと映像フレームとの対応関係を示す。なお、図21および図22では、高レート動画ストリームと低レート動画ストリームを異なるフレームレートで符号化する例を説明したが、同じフレームレートで符号化してもよい。
以下、図4(a)に示すカムコーダ100を本実施形態によるカムコーダ200に置き換えたときの処理を説明する。図23は、半導体メモリ121に記録された低レート動画ストリームA〜Cと低レート用のプレイリスト情報207との対応関係を示す。図4(a)に示す(1)から(3)までの処理が行われた後には、このようなファイル構造で半導体メモリ121にデータが記録されている。
プレイリスト情報207によって規定される再生区間の先頭フレームには、Iフレームが指定されている。上述のように、Iフレームはストリームの途中から再生を開始する際のアクセスポイントになるため、再生装置は再生区間の先頭からスムーズに再生を開始することができる。なお、再生区間の先頭フレームにIフレーム以外のフレームを指定すると、そのフレームを復号するために必要なIフレームまで遡って復号を開始する必要がある。よって、プレイリスト情報に従って動画ストリームを再生する際に再生がスムーズに行われないおそれがある。
図4(a)に示す処理において、低レート用のプレイリスト情報ファイル206が記録された半導体メモリ121をカムコーダ200に装填すると、高レート用のプレイリスト情報が生成され、光ディスク120に記録される。図24は、光ディスク120に記録された高レート動画ストリームA〜Cと高レート用のプレイリスト情報507との対応関係を示す。図23および図24では、同じ映像フレームがIフレームとして符号化されているため、高レート用のプレイリスト情報507によって規定される再生区間の先頭フレームはIフレームが指定されている。この結果、高レート動画ストリームについても、再生装置は再生区間の先頭からスムーズに再生を開始することができる。
なお、本実施形態においては、図4(a)に示す処理に関連して得られたファイル構造、動作等を説明したが、これは例であって、同じ映像をデータレートが異なる動画ストリームを生成する際には適用できる。例えば、図4(b)に示す処理や、高レート動画ストリームと低レート動画ストリームを同時に光ディスク120に記録し、後に半導体メモリに低レート動画ストリームをコピーまたは移動する処理を行うときであっても適用できる。
また、本実施形態においては、動画ストリームのI、PおよびBフレームを例として説明したが、I、PおよびBフィールドのようにフィールドに読み替えてもよい。フレームおよびフィールドの両方を包含する概念として、「ピクチャ」という語が用いられる。
(実施形態4)
本実施形態では、プレイリスト情報にフェード、ワイプ等の再生効果が規定されているときに、そのプレイリスト情報に基づいて異なる符号化レートのプレイリスト情報を生成する処理を説明する。本実施形態にかかる処理は、例えば図4(a)に示す処理に関連して行われるので、図4(a)のカムコーダ100およびPC201を例に説明する。より具体的には、以下に説明する処理は、図4(a)に示す(1)から(3)までの処理が行われた後に適用される。
図25は、半導体メモリ121に記録された低レート動画ストリームA〜C、および、そのプレイリスト情報を示す。本実施形態によるプレイリスト情報には、実施形態1によるプレイリスト情報に加えて、IN点遷移効果、OUT点遷移効果、再生効果が規定されている。遷移効果とは、動画ストリームの再生開始点や終了点において適用される再生効果である。
図25を参照しながら遷移効果を説明する。まず、再生順序1のIN点遷移効果でフェードが指定されているため、低レート動画ストリームAの再生区間の先頭部分では、白い画面から徐々に映像が現れる効果が適用される。
次に再生順序2のIN点遷移効果でワイプが指定されているため、低レート動画ストリームAの映像に徐々に重なるように低レート動画ストリームBの再生が開始される。さらに再生順序2の再生効果(定常時)ではモザイクが指定されているため、低レート動画ストリームBはその再生区間において映像全体にモザイク処理が施されて再生される。低レート動画ストリームBのOUT点遷移効果は「なし」であり、再生順序3のIN点遷移効果ではミックスが指定されているため、低レート動画ストリームBの映像が終了すると同時に、低レート動画ストリームCの先頭部分にフェード、ワイプ等が組み合わされた処理が施されて再生される。
その後の再生順序3の再生効果(定常時)は「なし」であるため、低レート動画ストリームCは再生効果を施されることなく再生される。最後に、低レート動画ストリームCのOUT点遷移効果は「フェード」であるため、低レート動画ストリームCの映像が徐々に消えていく効果が適用される。
上述のように、プレイリスト情報にはさまざまな効果を付加することができる。例えばapple社のQuickTime等のPCアプリケーションの中には、このような効果をプレイリスト情報に規定することができ、また、動画ストリームの再生に際し付加された効果を適用することができる。
しかし、再生装置によっては、低レート動画ストリームに再生効果を施すための処理能力を備えていたとしても、高レート動画ストリームに同じ再生効果を施す処理能力を備えていない場合が想定される。
そこで、低レート用のプレイリスト情報に再生効果が規定されているときは、本実施形態によるカムコーダ100は、所定の変換ルールに基づいて、再生効果を変更および/または削除した高レート用のプレイリスト情報を生成する。
図26は、半導体メモリ121に記録された高レート動画ストリームA〜C、および、再生効果が変更および削除されたプレイリスト情報を示す。図25と図26とを比較すると、図26では、IN点遷移効果とOUT遷移効果として規定されていたフェード以外の再生効果(破線領域31の部分)はすべてフェード処理に置き換えられ、再生順序3の定常時の再生効果(破線領域32の部分)は削除されている。
上述の高レート用プレイリスト情報を生成する処理は、IN点遷移効果およびOUT遷移効果としてフェード処理のみが許可され、定常時の再生効果としてモノクロは削除されるというルールに基づいて行われている。
なお、プレイリスト情報管理部110が再生効果の変換テーブルを保持し、その変換テーブルに基づいて高レート用のプレイリスト情報を生成することもできる。下記の表1は、再生効果の変換テーブルの例を示す。
Figure 0004355659
プレイリスト情報管理部110は、再生効果の変換テーブルを参照して、低レート用のプレイリスト情報に変換対象の再生効果が含まれているときは再生効果を変換することができる。このような変換テーブルを利用しても、図25に示す低レート用のプレイリスト情報から、図26に示す高レート用のプレイリスト情報を生成することができる。
なお、本実施形態においては、図4(a)に示す処理に関連してカムコーダ100がプレイリスト情報の再生効果を変換するとして説明したが、図4(b)に示す処理においても適用することができる。例えば、PC201において、ユーザが高レート動画ストリームのプレイリストを生成したときに、再生効果のチェック処理を実行する。チェック処理の結果、プレイリスト情報管理部110は、前述のルール等に適合しない再生効果を変更および/または削除した高レート用のプレイリスト情報を生成すればよい。そして、その後の低レート用のプレイリスト情報を生成する際に、プレイリスト情報管理部110は、チェック前のプレイリスト情報を採用すればよい。
これまでした説明では、低レート用のプレイリスト情報に基づいて高レート用のプレイリスト情報を生成するとしたが、高レート用のプレイリスト情報に基づいて低レート用のプレイリスト情報を生成してもよい。
さらに、低レート動画ストリーム用のプレイリスト情報に基づいて高レート動画ストリームを編集する装置においても本発明を適用することができる。図27は、高レート動画ストリームA〜Cに設定された再生区間を抽出して生成した1つの高レート動画ストリームDを示す。高レート動画ストリームA〜Cの各再生区間はプレイリスト情報に基づいて規定されているが、このプレイリスト情報は低レート用であっても高レート用であっても時間によって再生区間を指定しているため、低レート用のプレイリスト情報を利用して高レート動画ストリームを編集できる。すなわち、そのプレイリスト情報に基づいて高レート動画ストリームの各再生区間を切り出し、再生時刻を示すタイプスタンプ等を付加しなおすことにより、図27に示す高レート動画ストリームを生成できる。
これまで説明した本発明の第1から第4の実施形態によれば、上述の各実施形態においては、半導体メモリ121および光ディスク120を用いて、カムコーダ200とPC201との間で低レート動画ストリームのデータファイルを授受するとした。しかし、他の形態、例えばケーブルや無線通信によってデータファイルを授受することもできる。図28は、USB等のデジタルIFケーブル30によってカムコーダ300とPC201を接続した例を示す。カムコーダ300の接続インターフェース28と、PC201の接続インターフェースとの間にデジタルIFケーブル30が接続されている。なお、ケーブル30を利用する場合には、半導体メモリ121への記録機能は必ずしも必要ではなくなる。図29は、カムコーダ300の機能ブロックの構成を示す。図5に示すカムコーダ100と比較すると、メモリコントローラ109がなく、逆にケーブル30が接続されるインターフェース28が設けられている。なお、カムコーダ300は、例えば、図20のカムコーダ200に示す符号化制御部1301をさらに有し、カムコーダ200と同様の処理を行ってもよい。
本明細書では、記録媒体がDVD−RAMディスクであるとして説明したが、特にこれに限定されることはない。例えば記録媒体として、MO、DVD−R、DVD−RW、DVD+RW、CD−R、CD−RW等の光記録媒体やハードディスク等の磁性記録媒体、半導体メモリ等の半導体記録媒体であってもよい。ただし、図4(b)に示す処理では、高レートの動画ストリームが格納可能なリムーバブルの記録媒体であることが好ましい。
また、本発明によるカムコーダ、PC等のデータ処理装置は、コンピュータプログラムに基づいて上述した処理を行うことができる。このような処理は、例えば図7、図12に示すフローチャートに基づいて各データ処理装置のために記述されたコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、光ディスクに代表される光記録媒体、SDメモリカード、EEPROMに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録することができる。なお、光ディスク装置100は、記録媒体を介してのみならず、インターネット等の電気通信回線を介してもコンピュータプログラムを取得できる。
本発明によれば、同じ映像に対してデータレートの異なる複数の動画ストリームが記録可能なデータ処理装置において、高レートで記録された動画ストリームと低レートで記録された動画ストリームを連携して管理する。例えば、データ処理装置は、他の装置で生成された低レート動画ストリーム用のプレイリスト情報を使用して、高レート動画ストリーム用のプレイリスト情報を生成する。
また、本発明のデータ処理装置によれば、カムコーダで撮影したストリームを編集する際の煩雑な作業はPCで行い、完成した低レート動画ストリーム用のプレイリストファイルから高レート動画ストリーム用のプレイリスト情報を生成することによって、カムコーダでプレイリスト生成のための細かな入力作業を行うことなくプレイリストを生成できる。また、ユーザがプレイリストを生成する際に使用するストリームは低レート動画ストリームであるので、それを処理する外部機器の処理負荷を軽減でき、高レート動画ストリームで同じ作業を行う場合に比べて機器のレスポンスの向上を期待することができる。また、外部機器に出力するのは低レートの動画ストリームにすることにより、その動画ストリームを格納するための半導体メモリの容量も高レート動画ストリームを格納する場合と比べて小さくてよい。
また、低レート動画ストリーム用のプレイリストを生成する際に、再生開始フレームとしてIフレームを指定しておくことにより、高レート動画ストリーム用のプレイリストも自動的にIフレームを再生開始フレームとして指定するため、プレイリスト再生におけるストリームの切り替えがスムーズに行われるという効果が得られる。
また、PCのアプリケーションとデータ処理装置の遷移効果や再生効果への対応レベルが異なる場合であっても、PCのアプリケーションが生成した低レート動画ストリーム用のプレイリスト情報を利用して高レート用動画ストリーム用のプレイリスト情報をAVデータ記録再生装置で生成することが可能である。
また、外部機器とのデータ交換をUSB等のデジタルIFケーブルや、無線通信手段を使用して行う場合でも、外部機器に出力するのは低レートの動画ストリームであるために、高レート動画ストリームを出力する場合に比べて、カムコーダおよび外部機器の処理負荷を軽減することができる。
従来の再生装置800のブロック図である。 (a)〜(c)は、プレイリスト情報によって規定される再生順序の例を示す図である。 実施形態1によるデータ処理装置の一例であるカムコーダ100を示す図である。 (a)および(b)は、カムコーダ100およびPC201の動作に関連する処理の手順を示す図である。 カムコーダ100のブロック図である。 PC201の機能ブロック図である。 カムコーダ100およびPC201において行われる処理の流れを示すフローチャートである。 PC201の半導体メモリスロット202に挿入され、処理後に取り出された半導体メモリ121を示す図である。 低レート動画ストリームA〜Cとプレイリスト情報207との対応関係を示す図である。 プレイリスト情報207に記述された内容と低レート動画ストリームの再生位置との対応関係を示す図である。 高レート動画ストリームA〜Cと、高レート用のプレイリスト情報507との対応関係を示す図である。 カムコーダ100およびPC201において行われる処理の流れを示すフローチャートである。 MP4ファイル20のデータ構造を示す図である。 MP4ファイル20の具体的な構成を示す図である。 (a)および(b)は、それぞれ、MP4ファイルの他の構成を示す図である。 MP4ファイルのさらに他の構成を示す図である。 MP4ファイル23に格納されたビデオトラックによって参照されるMP4ファイルの動画ストリームを示す図である。 (a)は、半導体メモリ121に記録されたMP4ファイル等の階層構造1101を示す図であり、(b)は、光ディスク120に記録されたMP4ファイル等の階層構造1102を示す図である。 付属情報1107と付属情報1112との対応関係を示す図である。 第3の実施形態によるデータ処理装置200のブロック図である。 (a)〜(c)は、動画ストリーム内のフレームデータと映像フレームとの対応関係を示す図である。 (a)〜(c)は、映像フレームをI、PおよびBフレームとして符号化したときの動画ストリーム内のフレームデータと映像フレームとの対応関係を示す図である。 半導体メモリ121に記録された低レート動画ストリームA〜Cと低レート用のプレイリスト情報207との対応関係を示す図である。 光ディスク120に記録された高レート動画ストリームA〜Cと高レート用のプレイリスト情報507との対応関係を示す図である。 半導体メモリ121に記録された低レート動画ストリームA〜C、および、そのプレイリスト情報を示す図である。 半導体メモリ121に記録された高レート動画ストリームA〜C、および、再生効果が変更および削除されたプレイリスト情報を示す図である。 高レート動画ストリームA〜Cに設定された再生区間を抽出して生成した1つの高レート動画ストリームDを示す図である。 デジタルIFケーブル30によってカムコーダ300とPC201を接続した例を示す図である。 カムコーダ300のブロック図である。

Claims (21)

  1. 記録媒体からのデータの読み出し、および、前記記録媒体へのデータの書き込みを行うデータ処理装置であって、前記記録媒体は、第1符号化処理によって符号化された映像信号に関する第1データストリームを格納しており、
    前記第1データストリームの再生を管理する第1プレイリスト情報を取得するコントローラと、
    前記映像信号が前記第1符号化処理とは異なる第2符号化処理によって符号化された第2データストリームを生成するストリーム生成部と、
    前記第2データストリームおよび前記第1プレイリスト情報に基づいて、前記第2データストリームの再生順序を管理する第2プレイリスト情報を生成する管理部と
    を備えたデータ処理装置。
  2. 前記第1データストリームを前記記録媒体に記録する第1記録部、および、前記第2データストリームを前記記録媒体とは異なる記録媒体に記録する第2記録部をさらに備え、
    前記ストリーム生成部は、前記第1データストリームおよび前記第2データストリームを並行して生成する、請求項1に記載のデータ処理装置。
  3. 前記ストリーム生成部は、それぞれが複数のデータストリームを含む前記第1データストリームおよび前記第2データストリームを生成する、請求項2に記載のデータ処理装置。
  4. 前記コントローラは、前記第1データストリームの1以上のストリームの各々を特定するストリーム特定情報および各々の再生区間を指定する区間情報を含んだ前記第1プレイリスト情報を取得し、
    前記管理部は、前記ストリーム特定情報および区間情報に基づいて、対応する前記第2データストリームの1以上のストリームの各々を特定するストリーム特定情報と、各々の再生区間を指定する区間情報とを含む前記第2プレイリスト情報を生成する、請求項2に記載のデータ処理装置。
  5. 前記コントローラは、前記第1データストリームの再生効果を指定する前記第1プレイリスト情報を取得し、
    前記管理部は、前記第1データストリームの再生効果とは異なる再生効果を前記第2データストリームに指定する前記第2プレイリスト情報を生成する、請求項4に記載のデータ処理装置。
  6. 前記管理部は、前記第1データストリームの再生効果の種類に応じて、前記第2データストリームに指定する再生効果を決定する、請求項5に記載のデータ処理装置。
  7. 前記第1プレイリスト情報および前記第2プレイリスト情報に含まれる各区間情報は、MPEG規格におけるIピクチャを前記再生区間の開始位置として指定する情報である、請求項4に記載のデータ処理装置。
  8. MPEG規格におけるIピクチャの生成を指示する符号化制御部をさらに備え、
    前記ストリーム生成部は、前記符号化制御部の指示に基づいて、前記第1データストリームのIピクチャと、前記第2データストリームのIピクチャとが映像の同じピクチャに対応するように、前記第1データストリームおよび前記第2データストリームを生成する、請求項7に記載のデータ処理装置。
  9. 前記映像信号を取得する撮像部と、音声信号を取得するマイクとをさらに備え、
    前記ストリーム生成部は、前記音声信号をさらに含む前記第1データストリームおよび前記第2データストリームを生成する、請求項2に記載のデータ処理装置。
  10. 前記第1データストリームの再生順序を指定する指示を受け取る指示部と、
    前記第1プレイリスト情報、前記第2データストリームおよび前記第2プレイリスト情報を前記記録媒体に記録する記録部をさらに備え、
    前記コントローラは、前記指示に基づいて前記第1プレイリスト情報を生成し、前記ストリーム生成部は、前記第1データストリームに基づいて前記第2データストリームを生成する、請求項1に記載のデータ処理装置。
  11. 記録媒体からのデータの読み出し、および、前記記録媒体へのデータの書き込みを行うデータ処理方法であって、前記記録媒体は、第1符号化処理によって符号化された映像信号に関する第1データストリームを格納しており、
    前記第1データストリームの再生を管理する第1プレイリスト情報を取得するステップと、
    前記映像信号が前記第1符号化処理とは異なる第2符号化処理によって符号化された第2データストリームを生成するステップと、
    前記第2データストリームおよび前記第1プレイリスト情報に基づいて、前記第2データストリームの再生順序を管理する第2プレイリスト情報を生成するステップと
    を包含するデータ処理方法。
  12. 前記第2データストリームの生成と並行して前記第1データストリームを生成するステップと、
    前記第1データストリームを前記記録媒体に記録するステップと、
    前記第2データストリームを前記記録媒体とは異なる記録媒体に記録するステップと
    をさらに包含する、請求項11に記載のデータ処理方法。
  13. 前記第1データストリームを生成するステップは、複数のデータストリームを含む前記第1データストリームを生成し、
    前記第2データストリームを生成するステップは、複数のデータストリームを含む前記第2データストリームを生成する、請求項12に記載のデータ処理方法。
  14. 前記第1プレイリスト情報を取得するステップは、前記第1データストリームの1以上のストリームの各々を特定するストリーム特定情報および各々の再生区間を指定する区間情報を含んだ前記第1プレイリスト情報を取得し、
    前記第2プレイリスト情報を生成するステップは、前記ストリーム特定情報および区間情報に基づいて、対応する前記第2データストリームの1以上のストリームの各々を特定するストリーム特定情報と、各々の再生区間を指定する区間情報とを含む前記第2プレイリスト情報を生成する、請求項12に記載のデータ処理方法。
  15. 前記第1プレイリスト情報を取得するステップは、前記第1データストリームの再生効果を指定する前記第1プレイリスト情報を取得し、
    前記第2プレイリスト情報を生成するステップは、前記第1データストリームの再生効果とは異なる再生効果を前記第2データストリームに指定した前記第2プレイリスト情報を生成する、請求項14に記載のデータ処理方法。
  16. 前記第2プレイリスト情報を生成するステップは、前記第1データストリームの再生効果の種類に応じて、前記第2データストリームに指定する再生効果を決定し、前記第2プレイリスト情報を生成する、請求項15に記載のデータ処理方法。
  17. 前記第1プレイリスト情報および前記第2プレイリスト情報に含まれる各区間情報は、MPEG規格におけるIピクチャを前記再生区間の開始位置として指定する情報である、請求項14に記載のデータ処理方法。
  18. MPEG規格におけるIピクチャの生成を指示するステップをさらに包含し、
    前記第1データストリームを生成するステップおよび前記第2データストリームを生成するステップは、前記指示に基づいて、前記第1データストリームのIピクチャと、前記第2データストリームのIピクチャとが映像の同じピクチャに対応するように、それぞれ前記第1データストリームおよび前記第2データストリームを生成する、請求項17に記載のデータ処理方法。
  19. 前記映像信号を取得するステップと、
    音声信号を取得するステップとをさらに包含し、
    前記第1データストリームを生成するステップおよび前記第2データストリームを生成するステップは、それぞれ前記音声信号をさらに含む前記第1データストリームおよび前記第2データストリームを生成する、請求項12に記載のデータ処理方法。
  20. 前記第1データストリームの再生順序を指定する指示を受け取るステップと、
    前記第1プレイリスト情報、前記第2データストリームおよび前記第2プレイリスト情報を前記記録媒体に記録するステップとをさらに包含し、
    前記第1プレイリスト情報を取得するステップは、前記指示に基づいて前記第1プレイリスト情報を生成し、
    第2データストリームを生成するステップは、前記第1データストリームに基づいて前記第2データストリームを生成する、請求項11に記載のデータ処理方法。
  21. データ記録媒体からのデータの読み出し、および、前記データ記録媒体へのデータの書き込みを行う際に、コンピュータによって実行されるコンピュータプログラムが記録されたプログラム記録媒体であって、
    前記データ記録媒体は、第1符号化処理によって符号化された映像信号に関する第1データストリームを格納しており、
    前記コンピュータプログラムは、前記コンピュータに、
    前記第1データストリームの再生を管理する第1プレイリスト情報を取得するステップと、
    前記映像信号が前記第1符号化処理とは異なる第2符号化処理によって符号化された第2データストリームを生成するステップと、
    前記第2データストリームおよび前記第1プレイリスト情報に基づいて、前記第2データストリームの再生順序を管理する第2プレイリスト情報を生成するステップと
    を実行させる、コンピュータプログラムが記録されたプログラム記録媒体。
JP2004544996A 2002-10-21 2003-10-20 データ処理装置 Expired - Fee Related JP4355659B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002305418 2002-10-21
JP2002305418 2002-10-21
PCT/JP2003/013395 WO2004036906A1 (ja) 2002-10-21 2003-10-20 データ処理装置

Publications (2)

Publication Number Publication Date
JPWO2004036906A1 JPWO2004036906A1 (ja) 2006-02-16
JP4355659B2 true JP4355659B2 (ja) 2009-11-04

Family

ID=32105166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004544996A Expired - Fee Related JP4355659B2 (ja) 2002-10-21 2003-10-20 データ処理装置

Country Status (7)

Country Link
US (1) US7734660B2 (ja)
EP (1) EP1560431A4 (ja)
JP (1) JP4355659B2 (ja)
KR (1) KR100699647B1 (ja)
CN (1) CN100463513C (ja)
AU (1) AU2003273062A1 (ja)
WO (1) WO2004036906A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716358B2 (en) 2000-09-12 2010-05-11 Wag Acquisition, Llc Streaming media buffering system
US6766376B2 (en) 2000-09-12 2004-07-20 Sn Acquisition, L.L.C Streaming media buffering system
US8595372B2 (en) 2000-09-12 2013-11-26 Wag Acquisition, Llc Streaming media buffering system
US7852351B2 (en) * 2004-05-21 2010-12-14 Lsi Corporation Multiplexed button data system
US20090019084A1 (en) * 2004-10-04 2009-01-15 T. Rad Co., Ltd. Method and system for preloading
JP4740583B2 (ja) * 2004-12-13 2011-08-03 ヤマハ株式会社 音楽データ処理装置及びプログラム
US20060171452A1 (en) * 2005-01-31 2006-08-03 Waehner Glenn C Method and apparatus for dual mode digital video recording
DK2632152T3 (en) 2005-03-02 2017-09-11 Rovi Guides Inc PLAYLISTS AND BOOKLETS IN AN INTERACTIVE MEDIA GUIDE USE SYSTEM
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
JP2008099027A (ja) * 2006-10-12 2008-04-24 Canon Inc 信号処理装置、撮像装置、及び信号処理方法
US20080114794A1 (en) * 2006-11-10 2008-05-15 Guideworks Llc Systems and methods for using playlists
US20080115173A1 (en) * 2006-11-10 2008-05-15 Guideworks Llc Systems and methods for using playlists
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US8156089B2 (en) 2008-12-31 2012-04-10 Apple, Inc. Real-time or near real-time streaming with compressed playlists
US8578272B2 (en) 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
US8260877B2 (en) 2008-12-31 2012-09-04 Apple Inc. Variant streams for real-time or near real-time streaming to provide failover protection
US20100169458A1 (en) 2008-12-31 2010-07-01 David Biderman Real-Time or Near Real-Time Streaming
US8364024B2 (en) 2009-02-03 2013-01-29 Broadcom Corporation Constructing video frames and synchronizing audio data in a media player from data received via a plurality of diverse protocol stack paths
US20100199322A1 (en) * 2009-02-03 2010-08-05 Bennett James D Server And Client Selective Video Frame Pathways
JP2012054619A (ja) * 2009-03-19 2012-03-15 Grass Valley Co Ltd 編集装置、編集方法、編集プログラム及びデータ構造
GB201105502D0 (en) 2010-04-01 2011-05-18 Apple Inc Real time or near real time streaming
US8805963B2 (en) 2010-04-01 2014-08-12 Apple Inc. Real-time or near real-time streaming
US8560642B2 (en) 2010-04-01 2013-10-15 Apple Inc. Real-time or near real-time streaming
CN102238179B (zh) 2010-04-07 2014-12-10 苹果公司 实时或准实时流传输
US9196305B2 (en) * 2011-01-28 2015-11-24 Apple Inc. Smart transitions
US8843586B2 (en) 2011-06-03 2014-09-23 Apple Inc. Playlists for real-time or near real-time streaming
US8856283B2 (en) 2011-06-03 2014-10-07 Apple Inc. Playlists for real-time or near real-time streaming

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997039411A1 (en) * 1996-04-12 1997-10-23 Avid Technology, Inc. A multimedia system with improved data management mechanisms
US6360368B1 (en) * 1997-08-01 2002-03-19 Sun Microsystems, Inc. Method and apparatus for reducing overhead associated with content playback on a multiple channel digital media server having analog output
JPH1175198A (ja) 1997-08-28 1999-03-16 Sony Corp 画像信号圧縮装置及び方法、並びに記録媒体
CN1223187C (zh) 1997-08-29 2005-10-12 松下电器产业株式会社 记录高质量图像或标准图像的光盘及其记录和再生装置
JP3916025B2 (ja) * 1997-08-29 2007-05-16 松下電器産業株式会社 高解像度および一般映像記録用光ディスク、光ディスク再生装置および光ディスク記録装置
US6215485B1 (en) 1998-04-03 2001-04-10 Avid Technology, Inc. Storing effects descriptions from a nonlinear editor using field chart and/or pixel coordinate data for use by a compositor
JP4170545B2 (ja) * 1999-12-09 2008-10-22 株式会社東芝 映像表示システムおよびこのシステムで用いられる端末装置
WO2001060062A1 (fr) * 2000-02-08 2001-08-16 Sony Corporation Procede et dispositif d'enregistrement video numerique
JP4115061B2 (ja) * 2000-02-08 2008-07-09 株式会社日立製作所 記録メディアとこれを用いる映像記録/再生装置
WO2001082611A1 (fr) * 2000-04-21 2001-11-01 Sony Corporation Procede et appareil de traitement d'informations, support enregistre, et programme
KR100780153B1 (ko) * 2000-04-21 2007-11-27 소니 가부시끼 가이샤 기록 장치 및 방법, 재생 장치 및 방법, 및 기록 매체
JP2002159003A (ja) * 2000-11-17 2002-05-31 Matsushita Electric Ind Co Ltd ストリーム統合装置及びストリーム分離装置
US7209643B2 (en) * 2001-02-02 2007-04-24 Matsushita Electric Industrial Co., Ltd. Recording apparatus and method, playback apparatus and method, recording medium, program, and computer-readable recording medium

Also Published As

Publication number Publication date
CN100463513C (zh) 2009-02-18
EP1560431A1 (en) 2005-08-03
CN1706185A (zh) 2005-12-07
EP1560431A4 (en) 2007-04-04
KR100699647B1 (ko) 2007-03-23
KR20050072444A (ko) 2005-07-11
WO2004036906A1 (ja) 2004-04-29
AU2003273062A1 (en) 2004-05-04
US7734660B2 (en) 2010-06-08
JPWO2004036906A1 (ja) 2006-02-16
US20060143667A1 (en) 2006-06-29

Similar Documents

Publication Publication Date Title
JP4355659B2 (ja) データ処理装置
JP4299836B2 (ja) データ処理装置
JP2004072793A (ja) 映像記録方法及び装置、映像再生方法及び装置、及び記録媒体
JP2005217816A (ja) 映像再生装置および記録媒体
JP4203812B2 (ja) ファイル記録装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生装置、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
JP2005005810A (ja) メディアデータ管理方法、ディスク録画装置、ディスク再生装置、メディアデータ管理システム、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
JP4534971B2 (ja) 動画記録装置、動画記録方法、動画伝送方法、動画記録方法のプログラム及び動画記録方法のプログラムを記録した記録媒体
JP2005085364A (ja) ファイル記録装置、ファイル再生装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
US8676039B2 (en) Recording apparatus, control method thereof, and non-transitory computer-readable storage medium
JP2007325110A (ja) 撮像装置及び撮像装置の制御方法
JP2004040518A (ja) 撮像記録装置と再生装置
JP4441572B2 (ja) 記録装置
JP2003032628A (ja) 記録装置及びその方法
JP2007281727A (ja) 記録装置及び記録方法
JP2008099027A (ja) 信号処理装置、撮像装置、及び信号処理方法
JP5170205B2 (ja) 情報記憶媒体、および動画音声記録再生装置
JP5274232B2 (ja) 映像記録装置、その制御方法
KR20050026913A (ko) 디지털 콘텐츠 분할장치, 디지털 콘텐츠 재생장치, 디지털콘텐츠 분할방법, 프로그램 및 기록매체
JP2007028128A (ja) 映像記録再生装置及び映像コンテンツ記録方法
JP2005295575A (ja) 情報記憶媒体、および動画音声記録再生装置
JP2006333033A (ja) 情報編集記録システム、情報編集装置及び情報書き込み装置
JP2006238348A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、リモートコントローラ、及びリモートコントロールプログラム
JP2006115529A (ja) 記録メディアとこれを用いる映像記録/再生装置
JP2008310910A (ja) 記録再生装置及びその制御方法
JP2007325099A (ja) 記録装置及び画像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090803

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees