JP5046907B2

JP5046907B2 - Recording apparatus, control method therefor, and program

Info

Publication number: JP5046907B2
Application number: JP2007325209A
Authority: JP
Inventors: 浩二磨田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-12-17
Filing date: 2007-12-17
Publication date: 2012-10-10
Anticipated expiration: 2027-12-17
Also published as: JP2009147827A

Description

本発明は、動画像を記録媒体に記録する記録装置、その制御方法、及びプログラムに関する。 The present invention relates to a recording apparatus that records a moving image on a recording medium, a control method thereof, and a program.

現在、撮像した動画像をＤＶＤ−Ｒ等のディスク状の記録媒体に記録するビデオカメラが普及している。ディスク状の記録媒体を用いるビデオカメラは、小型で持ち運びも容易であり、今後ますます広く普及していくと思われる。このようなビデオカメラでは、動画像データの記録時には、例えばＭＰＥＧ−２方式に従って、圧縮符号化された映像ストリーム及び音声ストリームを多重化した多重化ストリームを記録媒体に記録する。 At present, video cameras that record captured moving images on a disc-shaped recording medium such as a DVD-R are widely used. Video cameras that use disc-shaped recording media are small and easy to carry, and are expected to become increasingly popular in the future. In such a video camera, when recording moving image data, a multiplexed stream obtained by multiplexing a compression-encoded video stream and audio stream is recorded on a recording medium in accordance with, for example, the MPEG-2 system.

記録媒体に映像データ及び音声データを記録する規格として、ＤＶＤ−Ｖｉｄｅｏ規格が知られている。ＤＶＤ−Ｖｉｄｅｏ規格では、動画像データをＭＰＥＧ−２方式で符号化して記録している。ＭＰＥＧ−２方式では、信号処理回路において、符号化部と復号化部との間にＶＢＶ（Video Buffering Verifier）バッファと呼ばれる仮想バッファを想定し、このＶＢＶバッファが破綻しないように符号化を行うよう規定されている。 The DVD-Video standard is known as a standard for recording video data and audio data on a recording medium. In the DVD-Video standard, moving image data is encoded and recorded by the MPEG-2 system. In the MPEG-2 system, in a signal processing circuit, a virtual buffer called a VBV (Video Buffering Verifier) buffer is assumed between the encoding unit and the decoding unit, and encoding is performed so that the VBV buffer does not fail. It is prescribed.

ビデオカメラで動画像データを撮像する場合、断続的な撮像、即ち、撮像、一時停止、撮像、一時停止、撮像、、、の繰り返しが行われる場合が多い。このように断続的に撮像された動画像データは、一般的に、チャプタと呼ばれる単位で記録媒体に記録される。独立して記録された複数のチャプタを連続して再生すると、チャプタ間でフレームがスムーズに切り替わらず、再生が一瞬途切れる場合がある。そこで、チャプタ間で再生が途切れないように先行チャプタと後続チャプタとを接続する技術（所謂「シームレス接続」）が知られている。 When moving image data is captured by a video camera, intermittent imaging, that is, imaging, pause, imaging, pause, imaging, is often repeated. The moving image data captured intermittently in this way is generally recorded on a recording medium in units called chapters. If a plurality of chapters recorded independently are continuously played back, the frames may not be switched smoothly between chapters, and playback may be interrupted momentarily. Therefore, a technique (so-called “seamless connection”) is known in which a preceding chapter and a succeeding chapter are connected so that reproduction is not interrupted between chapters.

ＶＢＶバッファの占有量の遷移を考慮せずに２つのチャプタに対してシームレス接続を適用すると、ＶＢＶバッファが破綻する可能性がある。具体的には、後続チャプタの先頭ピクチャの復号時刻に、その先頭ピクチャの復号に必要な量のデータがＶＢＶバッファに溜まっておらず、その結果、バッファアンダーフローが発生する可能性がある。 If seamless connection is applied to two chapters without considering the transition of the occupation amount of the VBV buffer, the VBV buffer may fail. Specifically, the amount of data necessary for decoding the leading picture is not accumulated in the VBV buffer at the decoding time of the leading picture of the subsequent chapter, and as a result, a buffer underflow may occur.

ＶＢＶバッファの破綻を防止するため、従来のシームレス接続においては、後続チャプタの先頭ピクチャに割り当てる符号量Ｃが、次の式１におけるＣmax以下に制限されている。 In order to prevent the VBV buffer from failing, in the conventional seamless connection, the code amount C allocated to the head picture of the subsequent chapter is limited to Cmax or less in the following equation 1.

Ｃmax＝（Ｔ２−Ｔ１）×Ｒmax （式１）
ここで、
Ｔ１：先行チャプタのＶＢＶバッファに対する入力の終了時刻
Ｔ２：後続チャプタの先頭ピクチャの復号時刻
Ｒmax：ＶＢＶバッファに映像データが入力される速度
である。 Cmax = (T2-T1) * Rmax (Formula 1)
here,
T1: Input end time to the VBV buffer of the preceding chapter T2: Decoding time of the leading picture of the subsequent chapter Rmax: Speed at which video data is input to the VBV buffer.

なお、ＭＰＥＧ−２方式では、Ｒmaxは、例えば約９Ｍｂｐｓに設定され、この値は、多重化ストリームにおける読み出し対象のデータの種類に関わらず一定である。即ち、多重化ストリームから映像データ以外のデータ（例えば、音声データ）が読み出されている間も、映像データは速度ＲmaxでＶＢＶバッファに入力される。 In the MPEG-2 system, Rmax is set to about 9 Mbps, for example, and this value is constant regardless of the type of data to be read in the multiplexed stream. That is, while data other than video data (for example, audio data) is being read from the multiplexed stream, the video data is input to the VBV buffer at a speed Rmax.

また、特許文献１に開示されているように、ＶＢＶバッファを破綻させずにチャプタ間をシームレス接続させるために、記録時に後続の映像ストリーム（後続チャプタ）の先頭ピクチャの符号量を調整する技術が提案されている。
特開２００５−１３６６３３号公報 Also, as disclosed in Patent Document 1, there is a technique for adjusting the code amount of the first picture of a subsequent video stream (subsequent chapter) at the time of recording in order to seamlessly connect chapters without breaking the VBV buffer. Proposed.
JP 2005-136633 A

式１において、通常、Ｔ２−Ｔ１は比較的短時間であるため、Ｃmaxは比較的小さな値を取る。そのため、後続チャプタの先頭ピクチャに割り当てる符号量ＣをＣmax以下に制限すると、後続チャプタの先頭ピクチャの画質が低下する。また、先頭ピクチャ以降のピクチャについても、ＶＢＶバッファが破綻しないように符号量を割り当てる必要があるため、低画質のピクチャが続く可能性がある。 In Equation 1, since T2-T1 is usually a relatively short time, Cmax takes a relatively small value. Therefore, if the code amount C assigned to the head picture of the subsequent chapter is limited to Cmax or less, the image quality of the head picture of the subsequent chapter is degraded. Also, for the pictures after the first picture, since it is necessary to allocate the code amount so that the VBV buffer does not fail, there is a possibility that a low-quality picture continues.

また、特許文献１に開示された技術によれば、後続チャプタの先頭ピクチャに割り当て可能な符号量は、先行チャプタのＶＢＶバッファの占有量に依存する。そのため、後続チャプタの先頭ピクチャに十分な符号量を割り当てることができない状況が発生し得る。 Further, according to the technique disclosed in Patent Document 1, the code amount that can be allocated to the head picture of the subsequent chapter depends on the VBV buffer occupation amount of the previous chapter. Therefore, a situation may occur in which a sufficient code amount cannot be allocated to the first picture of the subsequent chapter.

従って、従来の技術に従ってシームレス接続を行うと、先行チャプタから後続チャプタに切り替わった途端に画質が劣化し、視聴者が不快に感じる可能性があった。 Therefore, when seamless connection is performed according to the conventional technique, the image quality deteriorates as soon as the previous chapter is switched to the subsequent chapter, and the viewer may feel uncomfortable.

本発明はこのような状況に鑑みてなされたものであり、後続チャプタを先行チャプタにシームレス接続させる際に、後続チャプタの画質の劣化を抑制する技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for suppressing deterioration in image quality of a subsequent chapter when the subsequent chapter is seamlessly connected to the preceding chapter.

上記課題を解決するために、第１の本発明は、映像データを符号化し、映像ストリームを生成する映像符号化部と、音声データを符号化し、音声ストリームを生成する音声符号化部と、前記映像ストリームと前記音声ストリームとを多重化して多重化ストリームを生成する多重化部であって、先行する第１の多重化ストリームと後続の第２の多重化ストリームとを続けて１つの連続した多重化ストリームとして再生可能なように前記多重化ストリームを生成する多重化部と、前記多重化ストリームを記録媒体に記録する記録部と、前記第１の多重化ストリームの末尾のピクチャと前記第２の多重化ストリームの先頭ピクチャとの間の期間も含めて前記多重化ストリームから取得されるストリームの種類に関わらず第１の速度で占有量が増加し、前記映像ストリームに含まれるピクチャの復号時刻に当該ピクチャの符号量に相当する量だけ占有量が減少する第１の仮想バッファと、前記多重化ストリームから前記映像ストリームが取得される期間のみ、前記第１の速度よりも高速な第２の速度で占有量が増加し、前記映像ストリームに含まれるピクチャの復号時刻に当該ピクチャの符号量に相当する量だけ占有量が減少する第２の仮想バッファと、前記映像データ中の符号化対象のピクチャの復号時刻における、前記第１の仮想バッファの減少前の占有量と前記第２の仮想バッファの減少前の占有量とを比較し、小さい方の占有量を当該符号化対象のピクチャに割り当てる符号量の上限値として前記映像符号化部に設定する制御部と、を備えることを特徴とする記録装置を提供する。 In order to solve the above-described problem, the first aspect of the present invention includes a video encoding unit that encodes video data and generates a video stream, an audio encoding unit that encodes audio data and generates an audio stream, and A multiplexing unit that multiplexes a video stream and the audio stream to generate a multiplexed stream, wherein the preceding first multiplexed stream and the succeeding second multiplexed stream are continued in one continuous multiplexing. A multiplexing unit that generates the multiplexed stream so that the multiplexed stream can be reproduced, a recording unit that records the multiplexed stream on a recording medium, a picture at the end of the first multiplexed stream, and the second picture fullness at the first speed regardless of the type of streams period is also obtained from the multiplexed stream, including between the first picture of the multiplexed stream is increased The first virtual buffer whose occupation amount decreases by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream, and the first virtual buffer only during the period when the video stream is acquired from the multiplexed stream. A second virtual buffer in which the occupation amount increases at a second speed higher than the first speed, and the occupation amount decreases by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream; The occupancy before the decrease of the first virtual buffer is compared with the occupancy before the decrease of the second virtual buffer at the decoding time of the picture to be encoded in the video data. And a control unit that sets the video encoding unit as an upper limit value of the code amount to be assigned to the picture to be encoded.

また、第２の本発明は、映像データを符号化し、映像ストリームを生成する映像符号化部と、音声データを符号化し、音声ストリームを生成する音声符号化部と、前記映像ストリームと前記音声ストリームとを多重化して多重化ストリームを生成する多重化部であって、先行する第１の多重化ストリームと後続の第２の多重化ストリームとを続けて１つの連続した多重化ストリームとして再生可能なように前記多重化ストリームを生成する多重化部と、前記多重化ストリームを記録媒体に記録する記録部と、前記第１の多重化ストリームの末尾のピクチャと前記第２の多重化ストリームの先頭ピクチャとの間の期間も含めて前記多重化ストリームから取得されるストリームの種類に関わらず第１の速度で占有量が増加し、前記映像ストリームに含まれるピクチャの復号時刻に当該ピクチャの符号量に相当する量だけ占有量が減少する第１の仮想バッファと、前記多重化ストリームから前記映像ストリームが取得される期間のみ、前記第１の速度よりも高速な第２の速度で占有量が増加し、前記映像ストリームに含まれるピクチャの復号時刻に当該ピクチャの符号量に相当する量だけ占有量が減少する第２の仮想バッファと、を備える記録装置の制御方法であって、前記記録装置の制御手段が、前記映像データ中の符号化対象のピクチャの復号時刻における、前記第１の仮想バッファの減少前の占有量と前記第２の仮想バッファの減少前の占有量とを比較し、小さい方の占有量を当該符号化対象のピクチャに割り当てる符号量の上限値として前記映像符号化部に設定する制御工程を備えることを特徴とする制御方法を提供する。 The second aspect of the present invention provides a video encoding unit that encodes video data and generates a video stream, an audio encoding unit that encodes audio data and generates an audio stream, the video stream, and the audio stream Are multiplexed to generate a multiplexed stream, and the preceding first multiplexed stream and the succeeding second multiplexed stream can be continuously reproduced as one continuous multiplexed stream. As described above, the multiplexing unit that generates the multiplexed stream, the recording unit that records the multiplexed stream on a recording medium, the last picture of the first multiplexed stream, and the first picture of the second multiplexed stream fullness at the first speed regardless of the type of streams period is also obtained from the multiplexed stream, including during increases and, the video stream The first virtual buffer whose occupancy decreases by an amount corresponding to the code amount of the picture at the decoding time of the included picture, and the first speed only during the period in which the video stream is acquired from the multiplexed stream. A second virtual buffer in which the occupation amount increases at a high second speed and the occupation amount decreases by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream. A control method of the apparatus, wherein the control means of the recording device includes the occupancy before the decrease of the first virtual buffer and the second virtual buffer at the decoding time of the picture to be encoded in the video data And a control step for setting the smaller occupancy amount in the video encoding unit as an upper limit value of the code amount assigned to the picture to be encoded. It provides a control method characterized by Rukoto.

また、第３の本発明は、映像データを符号化し、映像ストリームを生成する映像符号化部と、音声データを符号化し、音声ストリームを生成する音声符号化部と、前記映像ストリームと前記音声ストリームとを多重化して多重化ストリームを生成する多重化部であって、先行する第１の多重化ストリームと後続の第２の多重化ストリームとを続けて１つの連続した多重化ストリームとして再生可能なように前記多重化ストリームを生成する多重化部と、前記多重化ストリームを記録媒体に記録する記録部と、前記第１の多重化ストリームの末尾のピクチャと前記第２の多重化ストリームの先頭ピクチャとの間の期間も含めて前記多重化ストリームから取得されるストリームの種類に関わらず第１の速度で占有量が増加し、前記映像ストリームに含まれるピクチャの復号時刻に当該ピクチャの符号量に相当する量だけ占有量が減少する第１の仮想バッファと、前記多重化ストリームから前記映像ストリームが取得される期間のみ、前記第１の速度よりも高速な第２の速度で占有量が増加し、前記映像ストリームに含まれるピクチャの復号時刻に当該ピクチャの符号量に相当する量だけ占有量が減少する第２の仮想バッファと、を備える記録装置のコンピュータに、前記映像データ中の符号化対象のピクチャの復号時刻における、前記第１の仮想バッファの減少前の占有量と前記第２の仮想バッファの減少前の占有量とを比較し、小さい方の占有量を当該符号化対象のピクチャに割り当てる符号量の上限値として前記映像符号化部に設定する制御工程を実行させるためのプログラムを提供する。 According to a third aspect of the present invention, there is provided a video encoding unit that encodes video data and generates a video stream, an audio encoding unit that encodes audio data and generates an audio stream, the video stream, and the audio stream Are multiplexed to generate a multiplexed stream, and the preceding first multiplexed stream and the succeeding second multiplexed stream can be continuously reproduced as one continuous multiplexed stream. As described above, the multiplexing unit that generates the multiplexed stream, the recording unit that records the multiplexed stream on a recording medium, the last picture of the first multiplexed stream, and the first picture of the second multiplexed stream fullness at the first speed regardless of the type of streams period is also obtained from the multiplexed stream, including during increases and, the video stream The first virtual buffer whose occupancy decreases by an amount corresponding to the code amount of the picture at the decoding time of the included picture, and the first speed only during the period in which the video stream is acquired from the multiplexed stream. A second virtual buffer in which the occupation amount increases at a high second speed and the occupation amount decreases by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream. Compare the occupation amount before the decrease of the first virtual buffer and the occupation amount before the decrease of the second virtual buffer at the decoding time of the picture to be encoded in the video data to the computer of the apparatus, Provided is a program for executing a control process in which the smaller amount of occupancy is set in the video encoding unit as an upper limit value of the amount of code to be assigned to the picture to be encoded To.

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によってさらに明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the best mode for carrying out the invention.

以上の構成により、本発明によれば、後続チャプタを先行チャプタにシームレス接続させる際に、後続チャプタの画質の劣化を抑制することが可能となる。 With the above configuration, according to the present invention, it is possible to suppress deterioration of the image quality of the subsequent chapter when the subsequent chapter is seamlessly connected to the previous chapter.

以下、添付図面を参照して、本発明の実施例を説明する。以下で説明される個別の実施例は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The individual embodiments described below will help to understand various concepts from the superordinate concept to the subordinate concept of the present invention.

なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施例によって限定されるわけではない。また、実施例の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 The technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments. In addition, all combinations of features described in the embodiments are not necessarily essential to the present invention.

本発明の記録装置をビデオカメラに適用した実施例について説明する。図１は、実施例１に係るビデオカメラ１００の構成を示すブロック図である。 An embodiment in which the recording apparatus of the present invention is applied to a video camera will be described. FIG. 1 is a block diagram illustrating the configuration of the video camera 100 according to the first embodiment.

ビデオカメラ１００は、映像入力部１０１、音声入力部１０２、映像符号化部１０３、音声符号化部１０４、符号化制御部１０５、多重化部１０６、記録部１０７、及び記録媒体１０８を含む。ビデオカメラ１００は、ＭＰＥＧ規格に従って映像及び音声を記録することができる。 The video camera 100 includes a video input unit 101, an audio input unit 102, a video encoding unit 103, an audio encoding unit 104, an encoding control unit 105, a multiplexing unit 106, a recording unit 107, and a recording medium 108. The video camera 100 can record video and audio according to the MPEG standard.

映像入力部１０１は、光学レンズ、ＣＭＯＳセンサ、及びＡ／Ｄ変換器などを含み、被写体の光学像をデジタル映像データに変換して映像符号化部１０３へ入力する。 The video input unit 101 includes an optical lens, a CMOS sensor, an A / D converter, and the like. The video input unit 101 converts an optical image of a subject into digital video data and inputs the digital video data to the video encoding unit 103.

音声入力部１０２は、マイク及びＡ／Ｄ変換器などを含み、デジタル音声データを音声符号化部１０４へ入力する。 The audio input unit 102 includes a microphone, an A / D converter, and the like, and inputs digital audio data to the audio encoding unit 104.

映像符号化部１０３は、映像入力部から入力された映像データをＭＰＥＧ方式に従って符号化し、映像ストリームを生成して多重化部１０６へ入力する。映像符号化部１０３は、仮想バッファとしてＶＢＶバッファを備え、ＶＢＶバッファの占有量を符号化制御部１０５に通知する。また、映像符号化部１０３は、符号化制御部１０５による制御に従い、ピクチャ単位で量子化処理における量子化ステップ幅を調整することにより、各ピクチャを符号化した際の符号量を調整する。具体的には、後述の様に、符号化制御部１０５により設定された各ピクチャの発生符号量の上限を超えず、且つ、最も符号量が多くなるよう、量子化ステップ幅を設定して符号化処理を実行する。 The video encoding unit 103 encodes the video data input from the video input unit according to the MPEG system, generates a video stream, and inputs the video stream to the multiplexing unit 106. The video encoding unit 103 includes a VBV buffer as a virtual buffer, and notifies the encoding control unit 105 of the occupation amount of the VBV buffer. In addition, the video encoding unit 103 adjusts the code amount when each picture is encoded by adjusting the quantization step width in the quantization process on a picture-by-picture basis under the control of the encoding control unit 105. Specifically, as described later, the coding step width is set so that the code amount does not exceed the upper limit of the generated code amount of each picture set by the encoding control unit 105 and the code amount is maximized. Execute the conversion process.

音声符号化部１０４は、音声入力部１０２から入力された音声データを符号化して音声ストリームを生成し、多重化部１０６へ入力する。 The audio encoding unit 104 encodes the audio data input from the audio input unit 102 to generate an audio stream, and inputs the audio stream to the multiplexing unit 106.

多重化部１０６は、映像符号化部１０３から入力された映像ストリーム、及び音声符号化部１０４から入力された音声ストリームを多重化する。このとき、多重化部１０６は、Ｐ−ＳＴＤ（プログラムストリームシステム・ターゲット・デコーダ）において映像データが含まれるバッファの占有量を更新し、Ｐ−ＳＴＤが破綻しないように多重化を行う。なお、Ｐ−ＳＴＤは、タイムスタンプによる同期制御を実現するためのタイミングの規定、及びパケット化された符号化ストリームを連続的に再生するためのメモリ量の規定を正確に行うためのシステムデコーダモデルである。Ｐ−ＳＴＤについては、詳細を後に示す。 The multiplexing unit 106 multiplexes the video stream input from the video encoding unit 103 and the audio stream input from the audio encoding unit 104. At this time, the multiplexing unit 106 updates the occupancy of the buffer including the video data in a P-STD (Program Stream System Target Decoder), and performs multiplexing so that the P-STD does not fail. Note that the P-STD is a system decoder model for accurately specifying timing for realizing synchronous control by time stamps and memory amount for continuously reproducing a packetized encoded stream. It is. Details of P-STD will be described later.

シームレス接続の実行時には、多重化部１０６は、後続チャプタの復号タイミングにおけるＰ−ＳＴＤバッファの占有量を符号化制御部１０５へと通知する。符号化制御部１０５は、映像符号化部１０３より通知されたＶＢＶバッファの占有量と、多重化部１０６より通知されたＰ−ＳＴＤバッファの占有量とを比較し、小さい方の占有量を映像符号化部１０３に対して発生符号量の上限値として設定する。 When executing the seamless connection, the multiplexing unit 106 notifies the encoding control unit 105 of the occupation amount of the P-STD buffer at the decoding timing of the subsequent chapter. The encoding control unit 105 compares the occupation amount of the VBV buffer notified from the video encoding unit 103 with the occupation amount of the P-STD buffer notified from the multiplexing unit 106, and determines the smaller occupation amount as a video. It is set as the upper limit value of the generated code amount for the encoding unit 103.

図２は、実施例１における映像符号化部１０３のＶＢＶバッファ（第１の仮想バッファ）の占有量の遷移を示す概念図である。図２において、実線はシームレス接続を実行する場合の遷移、破線はシームレス接続を実行しない場合の遷移を示す。 FIG. 2 is a conceptual diagram illustrating a change in the occupation amount of the VBV buffer (first virtual buffer) of the video encoding unit 103 according to the first embodiment. In FIG. 2, a solid line indicates a transition when seamless connection is executed, and a broken line indicates a transition when seamless connection is not executed.

ＶＢＶバッファには、転送速度Ｒmax（第１の速度）で映像ストリームが入力される。本実施例では、映像符号化部１０３は、ＭＰＥＧ−２規格におけるＶＢＶバッファのモデルに従って、ＶＢＶバッファを更新する。即ち、多重化ストリーム中に映像ストリームが含まれるか否かに関わらず（多重化ストリームから取得されるストリームの種類に関わらず）、常に転送速度Ｒmaxで映像ストリームがＶＢＶバッファに入力され、ＶＢＶバッファの占有量が増加する。そして、映像ストリームに含まれるピクチャの復号時刻に、そのピクチャの符号量に相当する量だけ占有量が減少する。 A video stream is input to the VBV buffer at a transfer speed Rmax (first speed). In the present embodiment, the video encoding unit 103 updates the VBV buffer according to the VBV buffer model in the MPEG-2 standard. That is, regardless of whether or not a video stream is included in the multiplexed stream (regardless of the type of stream acquired from the multiplexed stream), the video stream is always input to the VBV buffer at the transfer rate Rmax. The amount of occupancy increases. Then, at the decoding time of the picture included in the video stream, the occupation amount decreases by an amount corresponding to the code amount of the picture.

本実施例では、先行チャプタと後続チャプタとがシームレス接続されるため、先行チャプタの多重化ストリーム（先行ストリーム）と後続チャプタの多重化ストリーム（後続ストリーム）とが一本に繋がっているように扱われる。即ち、多重化部１０６は、先行する第１の多重化ストリームと後続の第２の多重化ストリームを続けて１つの多重化ストリームとして再生可能なように多重化ストリームを生成する。従って、ＶＢＶバッファの占有量は、図２において実線で示すように、多重化ストリーム中に映像ストリームが含まれるか否かに関わらず、転送速度Ｒmaxで映像ストリームがＶＢＶバッファに入力されるように占有量が遷移する。 In this embodiment, since the preceding chapter and the subsequent chapter are seamlessly connected, the multiplexed stream of the preceding chapter (preceding stream) and the multiplexed stream of the succeeding chapter (following stream) are handled as one. Is called. That is, the multiplexing unit 106 generates a multiplexed stream so that the preceding first multiplexed stream and the subsequent second multiplexed stream can be continuously reproduced as one multiplexed stream. Therefore, as shown by the solid line in FIG. 2, the occupation amount of the VBV buffer is such that the video stream is input to the VBV buffer at the transfer rate Rmax regardless of whether or not the multiplexed stream includes the video stream. Occupancy changes.

図３は、ＭＰＥＧ−２規格におけるＰ−ＳＴＤモデルの構成図である。 FIG. 3 is a configuration diagram of the P-STD model in the MPEG-2 standard.

記録部１０７が記録媒体（不図示）から多重化ストリームを読み出し、分離部７０３へ入力する。分離部７０３は、多重化ストリームをパケット単位に分離してスイッチ３０１へ入力する。スイッチ３０１は、パケットのストリームＩＤ（パケットの種類）に従ってパケットの出力先を切り換える。例えば、映像ストリームを含むパケットであれば、映像ストリームのＰ−ＳＴＤバッファ（第２の仮想バッファ）へ、音声ストリームを含むパケットであれば、音声ストリームのＰ−ＳＴＤバッファへと出力先を切り換える。そして、Ｐ−ＳＴＤバッファに格納されたデータは、復号時刻にＰ−ＳＴＤバッファから復号化部へと瞬時に転送される。ＭＰＥＧ−２規格では、映像ストリームのＰ−ＳＴＤバッファの最大量は２３８ＫＢと定義されている。 The recording unit 107 reads the multiplexed stream from a recording medium (not shown) and inputs it to the separation unit 703. The separation unit 703 separates the multiplexed stream into units of packets and inputs them to the switch 301. The switch 301 switches the output destination of the packet according to the packet stream ID (packet type). For example, if the packet includes a video stream, the output destination is switched to the P-STD buffer (second virtual buffer) of the video stream, and if the packet includes an audio stream, the output destination is switched to the P-STD buffer of the audio stream. The data stored in the P-STD buffer is instantaneously transferred from the P-STD buffer to the decoding unit at the decoding time. In the MPEG-2 standard, the maximum amount of the P-STD buffer for the video stream is defined as 238 KB.

図４は、映像ストリームのＰ−ＳＴＤバッファの占有量の遷移を示す概念図である。図４を参照して、多重化部１０６におけるＰ−ＳＴＤバッファの占有量の遷移について説明する。 FIG. 4 is a conceptual diagram showing a transition of the occupation amount of the P-STD buffer of the video stream. With reference to FIG. 4, the transition of the occupation amount of the P-STD buffer in the multiplexing unit 106 will be described.

図３を参照して説明した通り、多重化ストリームの出力先は、パケットの種類に従ってスイッチ３０１によって切り換えられる。従って、多重化ストリーム中に映像ストリームが存在しない期間は、映像ストリームのＰ−ＳＴＤバッファにはデータが入力されない。多重化ストリームのパケットに付加されたタイムスタンプが示すタイミングで、パケット内に含まれる映像ストリームの符号（データ）がＰ−ＳＴＤバッファに入力される。まだ多重化されていない時刻の、映像ストリームのＰ−ＳＴＤバッファへの入力には、多重化されたストリームのシステムレートから、音声ストリーム、プライベートデータ、各種ヘッダを取り除いた転送レート（Ｒ_{P_STD}（第２の速度））を用いる。ＭＰＥＧ−２規格では、Ｒ_{P_STD}はＲmaxよりも高速（Ｒ_{P_STD}＞Ｒmax）である。 As described with reference to FIG. 3, the output destination of the multiplexed stream is switched by the switch 301 according to the type of packet. Accordingly, data is not input to the P-STD buffer of the video stream during a period in which no video stream exists in the multiplexed stream. The code (data) of the video stream included in the packet is input to the P-STD buffer at the timing indicated by the time stamp added to the packet of the multiplexed stream. The input to the P-STD buffer of the video stream at a time that has not yet been multiplexed is the transfer rate (R _{P_STD} (No. 1) _obtained by removing the audio stream, private data, and various headers from the system rate of the multiplexed stream. 2))). In the MPEG-2 standard, R _{P_STD} is faster than Rmax (R _{P_STD} > Rmax).

即ち、Ｐ−ＳＴＤバッファは、多重化ストリームから映像ストリームが取得される期間のみ、占有量が増加する。そして、ＶＢＶバッファの場合と同様、映像ストリームに含まれるピクチャの復号時刻に、そのピクチャの符号量に相当する量だけ占有量が減少する。 That is, the occupation amount of the P-STD buffer increases only during the period in which the video stream is acquired from the multiplexed stream. As in the case of the VBV buffer, the occupation amount is reduced by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream.

多重化部１０６は、図４に示すように映像ストリームのＰ−ＳＴＤバッファの占有量を更新し、各復号時刻の占有量を符号化制御部１０５に通知する。 As illustrated in FIG. 4, the multiplexing unit 106 updates the occupation amount of the P-STD buffer of the video stream, and notifies the encoding control unit 105 of the occupation amount at each decoding time.

次に、図５乃至図７を参照して、実施例１においてピクチャに割り当てる符号量の上限値を設定する方法について説明する。 Next, a method for setting the upper limit value of the code amount allocated to the picture in the first embodiment will be described with reference to FIGS.

図５は、従来技術における符号量の設定方法と、実施例１における符号量の設定方法とを比較する図である。 FIG. 5 is a diagram comparing the code amount setting method in the prior art with the code amount setting method in the first embodiment.

図５において一点鎖線で示すように、従来技術によれば、先行ストリームと後続ストリームの境界でＶＢＶバッファの占有量が０にリセットされていた。従って、後続ストリームの先頭ピクチャＩ２に割り当て可能な符号量の上限値は、
Ｃmax＝（Ｔ２−Ｔ１）×Ｒmax
であり、前述の通り、Ｃmaxは比較的小さな値を取る。 As indicated by the alternate long and short dash line in FIG. 5, according to the prior art, the occupation amount of the VBV buffer was reset to 0 at the boundary between the preceding stream and the succeeding stream. Therefore, the upper limit of the code amount that can be assigned to the first picture I2 of the subsequent stream is
Cmax = (T2-T1) * Rmax
As described above, Cmax takes a relatively small value.

しかし、シームレス接続の実行時には、前述の通り、先行ストリームと後続ストリームとをまとめて一本のストリームとして扱うことができる。そこで、本実施例では、図５において実線で示すように、映像符号化部１０３はＶＢＶバッファの占有量をリセットせずに後続ストリームを処理する。従って、映像符号化部１０３は、先頭ピクチャＩ２に最大でＣmax＋Δ１の符号量を割り当てることができ、この場合でも、ＶＢＶバッファは破綻しない。 However, when the seamless connection is executed, as described above, the preceding stream and the succeeding stream can be collectively handled as one stream. Therefore, in this embodiment, as indicated by a solid line in FIG. 5, the video encoding unit 103 processes the subsequent stream without resetting the occupation amount of the VBV buffer. Therefore, the video encoding unit 103 can allocate a code amount of Cmax + Δ1 at the maximum to the first picture I2, and even in this case, the VBV buffer does not fail.

しかしながら、Ｐ−ＳＴＤバッファには、多重化ストリームに含まれる映像ストリームが入力されるため、先頭ピクチャＩ２に対応するデータの入力が開始するのは、図５に示す時刻Ｔ３である。そのため、先頭ピクチャＩ２にＣmax＋Δ１の符号量を割り当てると、ＶＢＶバッファは破綻しなくても、Ｐ−ＳＴＤバッファが破綻する可能性がある。 However, since the video stream included in the multiplexed stream is input to the P-STD buffer, the input of data corresponding to the first picture I2 starts at time T3 shown in FIG. Therefore, if the code amount of Cmax + Δ1 is assigned to the leading picture I2, the P-STD buffer may fail even if the VBV buffer does not fail.

そこで、本実施例では、符号化制御部１０５は、映像データ中の符号化対象のピクチャの復号時刻におけるＰ−ＳＴＤバッファの減少前の占有量とＶＢＶバッファの減少前の占有量とを比較する。そして、小さい方の占有量をそのピクチャに割り当てる符号量の上限値として映像符号化部１０３に設定する。従って、図５の例では、Ｃmax＋Δ２が上限値として設定される。Ｒ_{P_STD}＞Ｒmaxであるため、通常、Δ２＞０であり、先頭ピクチャＩ２に割り当て可能な符号量が従来に比べて増加するため、画質の低下が抑制される。また、このように符号量の上限値を設定すれば、Ｐ−ＳＴＤバッファ及びＶＢＶバッファのいずれも破綻しない。 Therefore, in this embodiment, the encoding control unit 105 compares the occupation amount before the decrease of the P-STD buffer and the occupation amount before the decrease of the VBV buffer at the decoding time of the picture to be encoded in the video data. . Then, the smaller occupation amount is set in the video encoding unit 103 as the upper limit value of the code amount allocated to the picture. Therefore, in the example of FIG. 5, Cmax + Δ2 is set as the upper limit value. Since R _{P_STD} > Rmax, Δ2> 0 is usually _satisfied , and the amount of code that can be allocated to the leading picture I2 is increased as compared with the conventional case, so that deterioration in image quality is suppressed. If the upper limit value of the code amount is set in this way, neither the P-STD buffer nor the VBV buffer will fail.

また、先頭ピクチャＩ２のみならず、それ以降のピクチャに対しても同じ方法で符号量の上限値が設定される。従って、後続ストリーム全体について、画質の低下が抑制される。 Further, the upper limit value of the code amount is set not only for the leading picture I2 but also for the subsequent pictures by the same method. Therefore, the deterioration of image quality is suppressed for the entire subsequent stream.

図６は、ＶＢＶバッファ占有量の遷移と、映像ストリームのＰ−ＳＴＤバッファの占有量の遷移とを示す概念図である。図６において、実線がＶＢＶバッファの遷移を示し、破線はＰ−ＳＴＤバッファの遷移を示す。図６に示すように、先行ストリームと後続ストリームとの境界付近では通常、Ｐ−ＳＴＤバッファの占有量の方がＶＢＶバッファ占有量よりも小さい。従って、Ｐ−ＳＴＤバッファの占有量が符号量の上限値として設定される。 FIG. 6 is a conceptual diagram showing a transition of the VBV buffer occupation amount and a transition of the P-STD buffer occupation amount of the video stream. In FIG. 6, the solid line indicates the transition of the VBV buffer, and the broken line indicates the transition of the P-STD buffer. As shown in FIG. 6, generally, the occupation amount of the P-STD buffer is smaller than the occupation amount of the VBV buffer near the boundary between the preceding stream and the succeeding stream. Accordingly, the occupation amount of the P-STD buffer is set as the upper limit value of the code amount.

図７は、実施例１において符号化制御部１０５が実行する、符号量の上限値を設定する処理の流れを示すフローチャートである。本フローチャートの処理は、映像符号化部１０３による符号化対象の各ピクチャに対して実行される。 FIG. 7 is a flowchart illustrating a flow of processing for setting the upper limit value of the code amount, which is executed by the encoding control unit 105 in the first embodiment. The processing in this flowchart is executed for each picture to be encoded by the video encoding unit 103.

Ｓ７０１で、符号化制御部１０５は、ＶＢＶバッファの占有量を映像符号化部１０３から受信する。 In step S <b> 701, the encoding control unit 105 receives the VBV buffer occupation amount from the video encoding unit 103.

Ｓ７０２で、符号化制御部１０５は、Ｐ−ＳＴＤバッファの占有量を多重化部１０６から受信する。 In step S <b> 702, the encoding control unit 105 receives the occupation amount of the P-STD buffer from the multiplexing unit 106.

Ｓ７０３で、符号化制御部１０５は、（ＶＢＶバッファの占有量）＞（Ｐ−ＳＴＤバッファの占有量）であるか否かを判定する。（ＶＢＶバッファの占有量）＞（Ｐ−ＳＴＤバッファの占有量）であればＳ７０４に進み、そうでなければＳ７０５に進む。 In step S703, the encoding control unit 105 determines whether (VBV buffer occupancy)> (P-STD buffer occupancy). If (VBV buffer occupancy)> (P-STD buffer occupancy), the process advances to step S704; otherwise, the process advances to step S705.

Ｓ７０４では、符号化制御部１０５は、Ｐ−ＳＴＤバッファの占有量を符号化対象のピクチャの符号量の上限値として映像符号化部１０３に設定する。 In S704, the encoding control unit 105 sets the occupation amount of the P-STD buffer in the video encoding unit 103 as the upper limit value of the encoding amount of the picture to be encoded.

Ｓ７０５では、符号化制御部１０５は、ＶＢＶバッファの占有量を符号化対象のピクチャの符号量の上限値として映像符号化部１０３に設定する。 In S705, the encoding control unit 105 sets the VBV buffer occupation amount in the video encoding unit 103 as the upper limit value of the encoding amount of the picture to be encoded.

以上の処理により、符号化対象のピクチャの符号量の上限値は、図８に示すように遷移する。 By the above processing, the upper limit value of the code amount of the picture to be encoded is changed as shown in FIG.

なお、符号化制御部１０５は、後続ストリームの符号化の開始後、（ＶＢＶバッファの占有量）＞（Ｐ−ＳＴＤバッファの占有量）であると判定されると、これ以降はＳ７０３における比較を停止してもよい。比較の停止中は、符号化制御部１０５は、ＶＢＶバッファの占有量を符号化対象のピクチャの符号量の上限値として映像符号化部１０３に設定する。これにより、符号化制御部１０５の処理負荷が低減される。 If it is determined that (VBV buffer occupancy)> (P-STD buffer occupancy) after the start of encoding of the subsequent stream, the encoding control unit 105 thereafter performs comparison in S703. You may stop. While the comparison is stopped, the encoding control unit 105 sets the VBV buffer occupation amount in the video encoding unit 103 as the upper limit value of the encoding amount of the picture to be encoded. Thereby, the processing load of the encoding control unit 105 is reduced.

以上説明したように、本実施例によれば、ビデオカメラ１００は、符号化対象のピクチャの復号時刻におけるＶＢＶバッファの占有量とＰ−ＳＴＤバッファの占有量とを比較する。そして、小さい方の値を符号量の上限値として設定する。 As described above, according to this embodiment, the video camera 100 compares the occupation amount of the VBV buffer and the occupation amount of the P-STD buffer at the decoding time of the picture to be encoded. The smaller value is set as the upper limit of the code amount.

これにより、後続チャプタを先行チャプタにシームレス接続させる際に、後続チャプタの画質の劣化を抑制することが可能となる。 Thus, when the subsequent chapter is seamlessly connected to the preceding chapter, it is possible to suppress deterioration of the image quality of the subsequent chapter.

なお、本実施形態では、映像データと音声データをＭＰＥＧ２方式で符号化して記録する構成について説明した。 In the present embodiment, the configuration in which video data and audio data are encoded and recorded by the MPEG2 system has been described.

これ以外にも、例えば、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ方式など、仮想バッファを使って符号量制御を行う他の符号化方式を使った場合においても、本発明を同様に適用可能である。 Other than this, for example, H.P. The present invention is also applicable to the case of using another encoding method that performs code amount control using a virtual buffer, such as the H.264 / MPEG4-AVC method.

［その他の実施例］
上述した各実施例の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施例の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が上述した各実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。 [Other Examples]
In order to realize the functions of the above-described embodiments, a recording medium in which a program code of software embodying each function is recorded may be provided to the system or apparatus. Then, the function of each embodiment described above is realized by the computer (or CPU or MPU) of the system or apparatus reading and executing the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiments, and the recording medium on which the program code is recorded constitutes the present invention. As a recording medium for supplying such a program code, for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, or the like can be used. Alternatively, a CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like can be used.

また、上述した各実施例の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含まれている。 The configuration for realizing the functions of the above-described embodiments is not limited to executing the program code read by the computer. Including the case where the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. It is.

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含むものである。 Further, the program code read from the recording medium may be written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments may be realized by the processing. Is included.

実施例１に係るビデオカメラの構成を示すブロック図である。1 is a block diagram illustrating a configuration of a video camera according to Embodiment 1. FIG. 実施例１における映像符号化部のＶＢＶバッファの占有量の遷移を示す概念図である。FIG. 10 is a conceptual diagram illustrating a change in the occupation amount of the VBV buffer of the video encoding unit according to the first embodiment. ＭＰＥＧ−２規格におけるＰ−ＳＴＤ（プログラムストリームシステム・ターゲット・デコーダ）モデルの構成図である。It is a block diagram of a P-STD (Program Stream System Target Decoder) model in the MPEG-2 standard. 映像ストリームのＰ−ＳＴＤバッファの占有量の遷移を示す概念図である。It is a conceptual diagram which shows the transition of the occupation amount of the P-STD buffer of a video stream. 従来技術における符号量の設定方法と、実施例１における符号量の設定方法とを比較する図である。It is a figure which compares the setting method of the code amount in a prior art, and the setting method of the code amount in Example 1. FIG. ＶＢＶバッファ占有量の遷移と、映像ストリームのＰ−ＳＴＤバッファの占有量の遷移とを示す概念図である。It is a conceptual diagram which shows the transition of the VBV buffer occupation amount, and the transition of the occupation amount of the P-STD buffer of a video stream. 実施例１において符号化制御部が実行する、符号量の上限値を設定する処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of processing for setting an upper limit value of a code amount, which is executed by the encoding control unit in the first embodiment. 実施例１における、符号化対象のピクチャの符号量の上限値の遷移を示す図である。FIG. 10 is a diagram illustrating a transition of an upper limit value of a code amount of a picture to be encoded in the first embodiment.

Claims

A video encoding unit that encodes video data and generates a video stream;
An audio encoding unit that encodes audio data and generates an audio stream;
A multiplexing unit that multiplexes the video stream and the audio stream to generate a multiplexed stream, wherein the preceding first multiplexed stream and the succeeding second multiplexed stream are continued one by one A multiplexing unit for generating the multiplexed stream so as to be reproducible as a multiplexed stream;
A recording unit for recording the multiplexed stream on a recording medium;
Occupied at the first rate regardless of the type of stream acquired from the multiplexed stream including the period between the last picture of the first multiplexed stream and the first picture of the second multiplexed stream A first virtual buffer in which the amount increases and the occupation amount decreases by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream;
Only during the period when the video stream is acquired from the multiplexed stream, the occupation amount increases at a second speed higher than the first speed, and the code of the picture is decoded at the decoding time of the picture included in the video stream. A second virtual buffer whose occupancy decreases by an amount corresponding to the amount;
Compare the occupancy before the decrease of the first virtual buffer with the occupancy before the decrease of the second virtual buffer at the decoding time of the picture to be encoded in the video data, and the smaller occupancy A control unit that sets the upper limit of the code amount to be assigned to the picture to be encoded in the video encoding unit;
A recording apparatus comprising:

The control unit is configured such that the occupation amount of the second virtual buffer becomes larger than the occupation amount of the first virtual buffer after the video encoding unit starts encoding for the second multiplexed stream. The recording apparatus according to claim 1, wherein the comparison is stopped, and the occupation amount of the first virtual buffer is set as the upper limit value in the video encoding unit while the comparison is stopped.

The first virtual buffer is an MPEG standard VBV buffer;
The recording apparatus according to claim 1, wherein the second virtual buffer is an MPEG standard P-STD buffer.

The video encoding unit encodes the encoding target picture so that a code amount of the encoded picture does not exceed the upper limit set by the control unit. 4. The recording apparatus according to any one of items 1 to 3.

A video encoding unit that encodes video data and generates a video stream;
An audio encoding unit that encodes audio data and generates an audio stream;
A multiplexing unit that multiplexes the video stream and the audio stream to generate a multiplexed stream, wherein the preceding first multiplexed stream and the succeeding second multiplexed stream are continued one by one A multiplexing unit for generating the multiplexed stream so as to be reproducible as a multiplexed stream;
A recording unit for recording the multiplexed stream on a recording medium;
Occupied at the first rate regardless of the type of stream acquired from the multiplexed stream including the period between the last picture of the first multiplexed stream and the first picture of the second multiplexed stream A first virtual buffer in which the amount increases and the occupation amount decreases by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream;
Only during the period when the video stream is acquired from the multiplexed stream, the occupation amount increases at a second speed higher than the first speed, and the code of the picture is decoded at the decoding time of the picture included in the video stream. A second virtual buffer whose occupancy decreases by an amount corresponding to the amount;
A control method for a recording apparatus comprising:
The control means of the recording apparatus determines the occupation amount before the decrease of the first virtual buffer and the occupation amount before the decrease of the second virtual buffer at the decoding time of the picture to be encoded in the video data. A control method comprising: a control step of comparing and setting the smaller occupancy amount in the video encoding unit as an upper limit value of a code amount to be assigned to the picture to be encoded.

A video encoding unit that encodes video data and generates a video stream;
An audio encoding unit that encodes audio data and generates an audio stream;
A multiplexing unit that multiplexes the video stream and the audio stream to generate a multiplexed stream, wherein the preceding first multiplexed stream and the succeeding second multiplexed stream are continued one by one A multiplexing unit for generating the multiplexed stream so as to be reproducible as a multiplexed stream;
A recording unit for recording the multiplexed stream on a recording medium;
Occupied at the first rate regardless of the type of stream acquired from the multiplexed stream including the period between the last picture of the first multiplexed stream and the first picture of the second multiplexed stream A first virtual buffer in which the amount increases and the occupation amount decreases by an amount corresponding to the code amount of the picture at the decoding time of the picture included in the video stream;
Only during the period when the video stream is acquired from the multiplexed stream, the occupation amount increases at a second speed higher than the first speed, and the code of the picture is decoded at the decoding time of the picture included in the video stream. A second virtual buffer whose occupancy decreases by an amount corresponding to the amount;
In a computer of a recording device comprising
Compare the occupancy before the decrease of the first virtual buffer with the occupancy before the decrease of the second virtual buffer at the decoding time of the picture to be encoded in the video data, and the smaller occupancy For executing the control step of setting the video encoding unit as the upper limit value of the code amount to be assigned to the picture to be encoded.