JP4235952B2 - Broadcast recording apparatus and broadcast recording processing program - Google Patents

Broadcast recording apparatus and broadcast recording processing program Download PDF

Info

Publication number
JP4235952B2
JP4235952B2 JP2004152807A JP2004152807A JP4235952B2 JP 4235952 B2 JP4235952 B2 JP 4235952B2 JP 2004152807 A JP2004152807 A JP 2004152807A JP 2004152807 A JP2004152807 A JP 2004152807A JP 4235952 B2 JP4235952 B2 JP 4235952B2
Authority
JP
Japan
Prior art keywords
segment broadcast
recording
broadcast
segment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004152807A
Other languages
Japanese (ja)
Other versions
JP2005340888A5 (en
JP2005340888A (en
Inventor
彰 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004152807A priority Critical patent/JP4235952B2/en
Publication of JP2005340888A publication Critical patent/JP2005340888A/en
Publication of JP2005340888A5 publication Critical patent/JP2005340888A5/ja
Application granted granted Critical
Publication of JP4235952B2 publication Critical patent/JP4235952B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、地上デジタル放送を記録する放送記録装置および放送記録処理プログラムに関する。 The present invention relates to a broadcast recording apparatus and a broadcast recording processing program for recording terrestrial digital broadcasting.

携帯端末の代りに移動体向けの放送を受信する移動体サーバーを設け、これによって受信した移動体向けの放送を携帯端末側で再生できるデータに変換し、移動体通信網を介して携帯端末へ転送する技術が知られており、この種の技術については、例えば特許文献1に開示されている。   A mobile server that receives broadcasts for mobiles instead of mobile terminals is provided, and the received broadcasts for mobiles are converted into data that can be played back on the mobile terminal, and sent to the mobile terminal via the mobile communication network. A technique for transferring is known, and this kind of technique is disclosed in Patent Document 1, for example.

特開2002−57645号公報JP 2002-57645 A

ところで、近年では、1チャンネル当り約6MHzの伝送帯域幅を13のセグメント(OFDMセグメント)に分割し、その中央の1セグメントを携帯端末用として放送(以下、1セグメント放送と称す)し、他の12セグメントをハイビジョン(HDTV)放送(以下、12セグメント放送と称す)する地上デジタル放送が実用化されつつある。この1セグメント放送と12セグメント放送とを同時に受信して録画すれば、ハイビジョン録画と同時に携帯端末向けコンテンツも録画でき、録画した携帯端末向けコンテンツは例えばメモリカード等の記録媒体を介して携帯端末で再生可能となる。   By the way, in recent years, the transmission bandwidth of about 6 MHz per channel is divided into 13 segments (OFDM segments), and the central one segment is broadcast for mobile terminals (hereinafter referred to as 1-segment broadcasting) Terrestrial digital broadcasting that uses 12 segments for high-definition (HDTV) broadcasting (hereinafter referred to as 12-segment broadcasting) is being put into practical use. If this 1-segment broadcast and 12-segment broadcast are received and recorded at the same time, content for mobile terminals can be recorded simultaneously with high-definition recording. The recorded content for mobile terminals can be recorded on a mobile terminal via a recording medium such as a memory card. Can be played.

12セグメント放送および1セグメント放送における音声符号化方式は、共にMPEG−2 AAC(Advanced Audio Coding)なので、12セグメント放送の音声データが5.1chサラウンド方式でなければ、両放送の音声データは同一のサンプリグレートの2chステレオ方式となる場合が有り得る。このような場合に12セグメント放送と1セグメント放送とを同時に受信して記録(録画)すると、同じ音声データを重複した形で記録することになり、記録データ量の増加を招致するという問題が生じる。   Both the 12-segment broadcast and the 1-segment broadcast are encoded by MPEG-2 AAC (Advanced Audio Coding), so if the 12-segment broadcast audio data is not the 5.1ch surround system, the audio data of both broadcasts is the same. There may be a case of a sample rate 2ch stereo system. In such a case, if the 12-segment broadcast and the 1-segment broadcast are simultaneously received and recorded (recorded), the same audio data is recorded in a duplicated manner, resulting in an increase in the amount of recorded data. .

そこで本発明は、このような事情に鑑みてなされたもので、12セグメント放送と1セグメント放送とを記録する際の記録データ量を削減することができる放送記録装置および放送記録処理プログラムを提供することを目的としている。 Therefore, the present invention has been made in view of such circumstances, and provides a broadcast recording apparatus and a broadcast recording processing program capable of reducing the amount of recording data when recording 12-segment broadcasting and 1-segment broadcasting. The purpose is that.

上記目的を達成するため、請求項1に記載の発明では、13のセグメントに分割された伝送帯域幅を有し、その内の1セグメントを占有する1セグメント放送と、他の12セグメントを占有する12セグメント放送とを受信する受信手段と、前記受信手段により受信される12セグメント放送および1セグメント放送から12セグメント放送の映像データ、1セグメント放送の映像データおよび1セグメント放送の音声データを記録する記録手段を具備することを特徴とする。 In order to achieve the above object, according to the first aspect of the present invention, the transmission bandwidth is divided into 13 segments, one segment broadcast occupying one of the segments, and the other 12 segments occupying. Receiving means for receiving 12-segment broadcast, and recording for recording 12-segment broadcast video data, 1-segment broadcast video data, and 1-segment broadcast audio data from 12-segment broadcast and 1-segment broadcast received by the receiving means characterized by comprising a means.

上記請求項1に従属する請求項2に記載の発明では、前記記録手段は、12セグメント放送の音声データと1セグメント放送の音声データとが同一のデータ形式である場合には、12セグメント放送の映像データ、1セグメント放送の映像データおよび1セグメント放送の音声データを記録することを特徴とする In the invention according to claim 2, which is dependent on claim 1, the recording means, when the audio data of 12-segment broadcast and the audio data of 1-segment broadcast are in the same data format, Video data, video data of 1 segment broadcast and audio data of 1 segment broadcast are recorded

上記請求項1に従属する請求項3に記載の発明では、前記記録手段にて記録された12セグメント放送を再生する場合には、12セグメント放送の映像データと1セグメント放送の音声データとを再生する再生手段を具備することを特徴とする。 In the invention according to claim 3 dependent on claim 1, when reproducing the 12-segment broadcast recorded by the recording means, the video data of the 12-segment broadcast and the audio data of the 1-segment broadcast are reproduced. It is characterized by comprising reproducing means for performing.

請求項4に記載の発明では、13のセグメントに分割された伝送帯域幅を有し、その内の1セグメントを占有する1セグメント放送と、他の12セグメントを占有する12セグメント放送とを受信する受信処理と、前記受信処理にて受信される12セグメント放送および1セグメント放送から12セグメント放送の映像データ、1セグメント放送の映像データおよび1セグメント放送の音声データを記録する記録処理とをコンピュータで実行させることを特徴とする。 In the invention according to claim 4, a 1-segment broadcast having a transmission bandwidth divided into 13 segments and occupying one of the segments and a 12-segment broadcast occupying the other 12 segments are received . The computer executes the reception process and the recording process for recording the 12-segment broadcast video data and the 12-segment broadcast video data received from the reception process, the 1-segment broadcast video data, and the 1-segment broadcast audio data. It is characterized by making it.

発明によれば、12セグメント放送と1セグメント放送とを記録する際の記録データ量を削減することができる。 According to the present invention, it is possible to reduce the amount of recording data when recording 12-segment broadcasting and 1-segment broadcasting.

以下、図面を参照して本発明の実施の形態について説明する。
A.構成
図1は本発明の実施の一形態による放送記録再生装置100の構成を示すブロック図である。この図において、チューナ2,3は、それぞれアンテナ1を介して1セグメント放送、12セグメント放送を受信する。OFDM復調部4は、チューナ2およびチューナ3の各受信出力をOFDM復調し、これより得られるトランスポートストリーム信号から対応する番組パケット(MPEGデータ)を分離抽出する。CPU5は装置各部の動作を制御するものであり、本発明の要旨に係わる処理動作については追って詳述する。
Embodiments of the present invention will be described below with reference to the drawings.
A. Configuration FIG. 1 is a block diagram showing a configuration of a broadcast recording / reproducing apparatus 100 according to an embodiment of the present invention. In this figure, tuners 2 and 3 receive a 1-segment broadcast and a 12-segment broadcast via an antenna 1, respectively. The OFDM demodulator 4 OFDM demodulates each received output of the tuner 2 and the tuner 3 and separates and extracts a corresponding program packet (MPEG data) from the transport stream signal obtained therefrom. The CPU 5 controls the operation of each part of the apparatus, and the processing operation according to the gist of the present invention will be described in detail later.

ROM6は、CPU5が実行する各種処理プログラムや、これら処理プログラムに用いられる各種制御データ等を記憶する。なお、ここで言う各種処理プログラムとは、後述するメインルーチン、録画処理および再生処理を含む。RAM等から構成されるワークメモリ7は、CPU5の作業エリアとして用いられ、各種レジスタ・フラグデータを一時記憶する。また、ワークメモリ7は、後述するように、OFDM復調部4の出力を、映像・音声記録部8に転送する際のバッファメモリとしても使用される。   The ROM 6 stores various processing programs executed by the CPU 5, various control data used for these processing programs, and the like. The various processing programs referred to here include a main routine, a recording process, and a reproduction process which will be described later. A work memory 7 composed of a RAM or the like is used as a work area for the CPU 5 and temporarily stores various register / flag data. The work memory 7 is also used as a buffer memory when transferring the output of the OFDM demodulator 4 to the video / audio recorder 8 as will be described later.

映像・音声記録部8は、CPU5の制御の下でOFDM復調部4が出力する番組パケット(MPEGデータ)を記録又は再生する。具体的には、図5(a)に図示するように、OFDM復調部4から出力される12セグメント放送の番組パケット(MPEG2形式の映像データおよびMPEG−2 AAC形式の音声データ)および1セグメント放送の番組パケット(MPEG4形式の映像データおよびMPEG−2 AAC形式の音声データ)を、同図(b)に図示するように、12セグメント放送の番組パケット(MPEG2形式の映像データ)と、1セグメント放送の番組パケット(MPEG4形式の映像データおよびMPEG−2 AAC形式の音声データ)とに分けて記録する。つまり、12セグメント放送と1セグメント放送とを同時に受信して録画する場合、音声データが重複するため、12セグメント放送の音声データを省き、1セグメント放送の音声データのみ記録しておき、記録した1セグメント放送の音声データを再生時に共用することで記録データ量の削減を図っている。   The video / audio recording unit 8 records or reproduces a program packet (MPEG data) output from the OFDM demodulation unit 4 under the control of the CPU 5. Specifically, as shown in FIG. 5A, 12 segment broadcast program packets (MPEG2 format video data and MPEG-2 AAC format audio data) output from the OFDM demodulator 4 and 1 segment broadcast. Program packets (MPEG4 format video data and MPEG-2 AAC format audio data), as shown in FIG. 5B, 12 segment broadcast program packets (MPEG2 format video data) and 1 segment broadcast Program packets (MPEG4 format video data and MPEG-2 AAC format audio data). That is, when 12 segment broadcast and 1 segment broadcast are simultaneously received and recorded, since the audio data overlaps, the 12 segment broadcast audio data is omitted, and only the 1 segment broadcast audio data is recorded and recorded. Segment broadcast audio data is shared during playback to reduce the amount of recorded data.

MPEG2映像復号部9は、OFDM復調部4から出力される12セグメント放送の番組パケット(MPEG2形式の映像データ)をCPU5の指示に従って映像データに復号して出力する。H.264映像復号部10は、OFDM復調部4から出力される1セグメント放送の番組パケット(MPEG4形式の映像データ)を、CPU5の指示に従って映像データに復号して出力する。表示コントローラ11は、CPU5の指示に応じて、MPEG2映像復号部9から出力される映像データもしくはH.264映像復号部10から出力される映像データのいずれかを選択して表示部12に供給して映像表示させる。MPEG2 AAC復号部13は、OFDM復調部4から出力される12セグメント放送の番組パケット(MPEG−2 AAC形式の音声データ)もしくは1セグメント放送の番組パケット(MPEG−2 AAC形式の音声データ)のいずれかを、CPU5の指示に従って音声データに復号し、スピーカ14から音声出力させる。   The MPEG2 video decoding unit 9 decodes the 12-segment broadcast program packet (MPEG2 format video data) output from the OFDM demodulation unit 4 into video data according to an instruction from the CPU 5 and outputs the video data. H. The H.264 video decoding unit 10 decodes the one-segment broadcast program packet (MPEG4 format video data) output from the OFDM demodulation unit 4 into video data according to an instruction from the CPU 5 and outputs the video data. The display controller 11 receives video data output from the MPEG2 video decoding unit 9 or H.264 according to an instruction from the CPU 5. One of the video data output from the H.264 video decoding unit 10 is selected and supplied to the display unit 12 for video display. The MPEG2 AAC decoding unit 13 is either a 12-segment broadcast program packet (MPEG-2 AAC format audio data) or a 1-segment broadcast program packet (MPEG-2 AAC format audio data) output from the OFDM demodulation unit 4. Are decoded into audio data in accordance with an instruction from the CPU 5 and output from the speaker 14 as audio.

B.動作
次に、図2〜図4を参照して、上記構成による放送記録再生装置100の動作(CPU5の動作)について説明する。
(1)メインルーチンの動作
装置電源投入に応じて、CPU5は図2に示すメインルーチンを起動し、ステップSA1に処理を進め、装置各部をイニシャライズする初期化処理を実行する。次いで、ステップSA2では録画開始指示に応じて録画処理(後述する)を実行し、続くステップSA3では再生開始指示に応じて再生処理(後述する)を実行する。この後、ステップSA4に進み、例えばユーザ操作に応じてチューナ2,3に受信チャンネルの変更を指示する等の、その他の処理を実行する。以後、装置電源がオフされるまでステップSA2〜SA4を繰り返す。
B. Operation Next, the operation of the broadcast recording / reproducing apparatus 100 having the above-described configuration (the operation of the CPU 5) will be described with reference to FIGS.
(1) Operation of Main Routine When the apparatus power is turned on, the CPU 5 activates the main routine shown in FIG. 2, advances the process to Step SA1, and executes an initialization process for initializing each part of the apparatus. Next, in step SA2, a recording process (described later) is executed in response to the recording start instruction, and in a subsequent step SA3, a reproduction process (described later) is executed in response to the reproduction start instruction. Thereafter, the process proceeds to step SA4, and other processing such as instructing the tuners 2 and 3 to change the reception channel is executed in response to a user operation. Thereafter, steps SA2 to SA4 are repeated until the apparatus power is turned off.

(2)録画処理の動作
上述したメインルーチンのステップSA2(図2参照)を介して本処理が実行されると、CPU5は図3に示すステップSB1に処理を進め、録画開始指示が有るか否かを判断する。録画開始指示が無ければ、判断結果は「NO」になり、何も行わずに本処理を完了させる。一方、録画開始指示が有ると、判断結果が「YES」になり、ステップSB2に進む。ステップSB2では、12セグメント放送および1セグメント放送を同時に受信復調するようチューナ2,3およびOFDM復調部4を制御する。次いで、ステップSB3では、OFDM復調部4の出力を、「12セグメント放送のMPEG2形式の映像データ」、「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」に分離してそれぞれワークメモリ7にバッファリングする。
(2) Operation of recording processing When this processing is executed through step SA2 (see FIG. 2) of the main routine described above, the CPU 5 advances the processing to step SB1 shown in FIG. Determine whether. If there is no instruction to start recording, the determination result is “NO”, and this process is completed without doing anything. On the other hand, if there is a recording start instruction, the determination result is “YES”, and the process proceeds to step SB2. In step SB2, the tuners 2 and 3 and the OFDM demodulator 4 are controlled so as to simultaneously receive and demodulate the 12-segment broadcast and the 1-segment broadcast. Next, in step SB3, the output of the OFDM demodulator 4 is divided into "12-segment broadcast MPEG2 format video data", "1-segment broadcast MPEG4 format video data" and "1-segment broadcast MPEG-2 AAC format audio." The data is separated and buffered in the work memory 7.

続いて、ステップSB4では、ワークメモリ7にバッファリングされた「12セグメント放送のMPEG2形式の映像データ」、「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」を、映像・音声記録部8にDMA転送する。これにより、映像・音声記録部8は、図5(b)に図示する記録形態で12セグメント放送と1セグメント放送とを同時記録する。次に、ステップSB5では、録画終了指示が有るか否かを判断する。録画終了指示が無ければ、判断結果は「NO」になり、録画終了指示されるまで上記ステップSB2〜SB5を繰り返す。そして、録画終了指示されると、ステップSB5の判断結果が「YES」になり、ステップSB6に進む。ステップSB6では、映像・音声記録部8に録画停止を指示する。映像・音声記録部8は、CPU5からの録画停止指示に応じて、記録していた「12セグメント放送のMPEG2形式の映像データ」、「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」をそれぞれファイル化する。   Subsequently, in step SB4, “12-segment broadcast MPEG2 format video data”, “1-segment broadcast MPEG4 format video data” and “1-segment broadcast MPEG-2 AAC format buffered in the work memory 7 are processed. Audio data ”is DMA-transferred to the video / audio recording unit 8. As a result, the video / audio recording unit 8 simultaneously records the 12-segment broadcast and the 1-segment broadcast in the recording format illustrated in FIG. Next, in step SB5, it is determined whether there is a recording end instruction. If there is no recording end instruction, the determination result is “NO”, and steps SB2 to SB5 are repeated until the recording end instruction is given. When an instruction to end recording is given, the determination result in step SB5 is “YES”, and the flow proceeds to step SB6. In step SB6, the video / audio recording unit 8 is instructed to stop recording. In response to a recording stop instruction from the CPU 5, the video / audio recording unit 8 records “12-segment broadcast MPEG2 format video data”, “1-segment broadcast MPEG4 format video data”, and “1-segment broadcast”. MPEG-2 AAC format audio data ".

(3)再生処理の動作
上述したメインルーチンのステップSA3(図2参照)を介して本処理が実行されると、CPU5は図4に示すステップSC1に処理を進め、再生開始指示が有るか否かを判断する。再生開始指示が無ければ、判断結果は「NO」になり、何も行わずに本処理を完了させる。一方、再生開始指示が有ると、判断結果が「YES」になり、ステップSC2に進む。ステップSC2では、録画した12セグメント放送の再生であるか否かを判断する。12セグメント放送の再生であると、判断結果は「YES」になり、ステップSC3に進む。
(3) Operation of Reproduction Process When this process is executed via step SA3 (see FIG. 2) of the main routine described above, the CPU 5 advances the process to step SC1 shown in FIG. Determine whether. If there is no reproduction start instruction, the determination result is “NO”, and this process is completed without performing anything. On the other hand, if there is a reproduction start instruction, the determination result is “YES”, and the flow proceeds to step SC2. In step SC2, it is determined whether or not the recorded 12 segment broadcast is to be reproduced. If it is 12 segment broadcast playback, the determination result is “YES”, and the process proceeds to step SC3.

ステップSC3では、上述の録画処理にてファイル化された「12セグメント放送のMPEG2形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の再生を映像・音声記録部8に指示する。そして、これに応じて映像・音声記録部8が読み出す「12セグメント放送のMPEG2形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」をワークメモリ7にDMA転送する一方、このワークメモリ7に順次転送される「12セグメント放送のMPEG2形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の復号再生をMPEG2映像復号部9とMPEG2 AAC音声復号部13とに指示する。   In step SC3, reproduction of “12-segment broadcast MPEG2 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” filed by the above-described recording process is performed in the video / audio recording unit 8. Instruct. Then, in response to this, the video / audio recording unit 8 DMA-transfers “12-segment broadcast MPEG2 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” to the work memory 7. The MPEG2 video decoding unit 9 and the MPEG2 AAC audio decoding unit perform decoding and reproduction of “12-segment broadcast MPEG2 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” sequentially transferred to the work memory 7. 13 and instruct.

一方、1セグメント放送の再生であれば、上記ステップSC2の判断結果は「NO」となり、ステップSC4に進む。ステップSC4では、上述の録画処理にてファイル化された「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の再生を映像・音声記録部8に指示する。そして、これに応じて映像・音声記録部8が読み出す「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」をワークメモリ7にDMA転送する一方、このワークメモリ7に順次転送される「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の復号再生をH.264映像復号部10とMPEG2 AAC音声復号部13とに指示する。   On the other hand, if the playback is one-segment broadcast, the determination result in step SC2 is “NO”, and the process proceeds to step SC4. In step SC4, the reproduction of “1-segment broadcast MPEG4 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” filed by the above-described recording process is performed in the video / audio recording unit 8. Instruct. In response to this, the video / audio recording unit 8 DMA-transfers “1-segment broadcast MPEG4 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” to the work memory 7, while Decoding and reproduction of “one-segment broadcast MPEG4 format video data” and “one-segment broadcast MPEG-2 AAC format audio data” sequentially transferred to the work memory 7 are performed in H.264. H.264 video decoding unit 10 and MPEG2 AAC audio decoding unit 13 are instructed.

そして、ステップSC5では、再生終了指示が有るか、若しくはファイルエンドに達したかどうかを判断する。再生終了指示されず、あるいはファイルエンドにも達していなければ、判断結果は「NO」になり、上述のステップSC2に処理を戻し、以後、再生終了指示がある迄、もしくはファイルエンドに達するまでステップSC2〜SC5を繰り返して再生を継続させる。そして、再生終了指示が有るか、若しくはファイルエンドに達すると、上記ステップSC5の判断結果が「YES」になり、本処理を終える。   In step SC5, it is determined whether there is a reproduction end instruction or a file end is reached. If the playback end instruction is not given or the file end is not reached, the determination result is “NO”, the process returns to the above-described step SC2, and thereafter, the step is executed until the playback end instruction is given or the file end is reached. The reproduction is continued by repeating SC2 to SC5. When there is a reproduction end instruction or when the file end is reached, the determination result in step SC5 is “YES”, and this process is terminated.

このように、本実施の形態では、12セグメント放送と1セグメント放送とを同時記録する場合、受信復調された「12セグメント放送のMPEG2形式の映像データ」、「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」を記録する。そして、12セグメント放送を再生する時には、「12セグメント放送のMPEG2形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」を復号して再生し、一方、1セグメント放送を再生する時には、「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」を復号して再生するので、1セグメント放送と12セグメント放送とを録画する際の記録データ量を削減することが可能になる。   Thus, in the present embodiment, when 12 segment broadcast and 1 segment broadcast are recorded simultaneously, the received and demodulated “12 segment broadcast MPEG2 format video data” and “1 segment broadcast MPEG4 format video data” are recorded. And “audio data in MPEG-2 AAC format for one-segment broadcasting”. When playing back 12-segment broadcasts, the "12-segment broadcast MPEG2 format video data" and "1-segment broadcast MPEG-2 AAC format audio data" are decoded and played back, while the 1-segment broadcast is played back. When decoding, “1 segment broadcast MPEG4 format video data” and “1 segment broadcast MPEG-2 AAC format audio data” are decoded and played back, so when recording 1 segment broadcast and 12 segment broadcast The amount of recorded data can be reduced.

C.その他の実施形態
前述した実施の形態では、12セグメント放送および1セグメント放送の音声データが同一サンプリグレートの2chステレオ方式の場合を想定したが、受信する番組によっては12セグメント放送の音声データが5.1chサラウンド方式であることも有り得る。そこで、その他の実施形態では、そのような場合に対処する録画処理および再生処理の各動作について説明する。
C. Other Embodiments In the above-described embodiments, it is assumed that the audio data of 12-segment broadcast and 1-segment broadcast is a 2ch stereo system with the same sample rate. It may be a 1ch surround system. Therefore, in other embodiments, operations of recording processing and playback processing that deal with such a case will be described.

(1)録画処理の動作
前述の実施の形態と同様、メインルーチンのステップSA2(図2参照)を介して本処理が実行されると、CPU5は図6に示すステップSD1に処理を進め、録画開始指示が有るか否かを判断する。録画開始指示が無ければ、判断結果は「NO」になり、何も行わずに本処理を完了させる。一方、録画開始指示が有ると、判断結果が「YES」になり、ステップSD2に進む。ステップSD2では、12セグメント放送および1セグメント放送を同時に受信復調するようチューナ2,3およびOFDM復調部4を制御する。次いで、ステップSD3では、OFDM復調部4の出力を、「12セグメント放送のMPEG2形式の映像データ」、「1セグメント放送のMPEG4形式の映像データ」、「12セグメント放送のMPEG−2 AAC形式の音声データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」に分離してそれぞれワークメモリ7にバッファリングする。
(1) Operation of recording process When this process is executed via step SA2 (see FIG. 2) of the main routine, the CPU 5 advances the process to step SD1 shown in FIG. It is determined whether there is a start instruction. If there is no instruction to start recording, the determination result is “NO”, and this process is completed without doing anything. On the other hand, if there is a recording start instruction, the determination result is “YES”, and the process proceeds to step SD2. In step SD2, the tuners 2 and 3 and the OFDM demodulator 4 are controlled so as to simultaneously receive and demodulate the 12-segment broadcast and the 1-segment broadcast. Next, in step SD3, the output of the OFDM demodulator 4 is divided into “12-segment broadcast MPEG2 format video data”, “1-segment broadcast MPEG4 format video data”, and “12-segment broadcast MPEG-2 AAC format audio”. The data is separated into “data” and “speech data in MPEG-2 AAC format for one segment broadcasting” and buffered in the work memory 7 respectively.

続いて、ステップSD4では、「12セグメント放送のMPEG−2 AAC形式の音声データ」が5.1chサラウンド方式であるか否かを判断する。5.1chサラウンド方式であると、判断結果は「YES」となり、ステップSD5に進む。ステップSD5では、ワークメモリ7にバッファリングされた「12セグメント放送のMPEG2形式の映像データ」、「1セグメント放送のMPEG4形式の映像データ」、「12セグメント放送のMPEG−2 AAC形式の音声データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」を、映像・音声記録部8にDMA転送する。これにより、映像・音声記録部8は、図5(a)に図示する記録形態で12セグメント放送と1セグメント放送とを別個に同時記録する。   Subsequently, in step SD4, it is determined whether or not “12-segment broadcast MPEG-2 AAC format audio data” is a 5.1 channel surround system. If the 5.1 channel surround system is selected, the determination result is “YES”, and the flow proceeds to step SD5. In step SD5, "12-segment broadcast MPEG2 format video data", "1-segment broadcast MPEG4 format video data", and "12-segment broadcast MPEG-2 AAC format audio data" buffered in the work memory 7. And “1-segment broadcast MPEG-2 AAC format audio data” are DMA-transferred to the video / audio recording unit 8. As a result, the video / audio recording unit 8 separately records the 12-segment broadcast and the 1-segment broadcast separately in the recording format illustrated in FIG.

一方、「12セグメント放送のMPEG−2 AAC形式の音声データ」が5.1chサラウンド方式でない場合には、上記ステップSD4の判断結果が「NO」となり、ステップSD6に進む。ステップSD6では、ワークメモリ7にバッファリングされた「12セグメント放送のMPEG2形式の映像データ」、「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」を、映像・音声記録部8にDMA転送する。これにより、映像・音声記録部8は、図5(b)に図示する記録形態で12セグメント放送と1セグメント放送とを同時記録する。   On the other hand, if the “12-segment broadcast MPEG-2 AAC format audio data” is not the 5.1ch surround system, the determination result in step SD4 is “NO”, and the process proceeds to step SD6. In step SD6, "12-segment broadcast MPEG2 format video data", "1-segment broadcast MPEG4 format video data" and "1-segment broadcast MPEG-2 AAC format audio data" buffered in the work memory 7 are stored. Is DMA-transferred to the video / audio recording unit 8. As a result, the video / audio recording unit 8 simultaneously records the 12-segment broadcast and the 1-segment broadcast in the recording format illustrated in FIG.

次に、ステップSD7では、録画終了指示が有るか否かを判断する。録画終了指示が無ければ、判断結果は「NO」になり、録画終了指示されるまで上記ステップSD2〜SD7を繰り返す。そして、録画終了指示されると、ステップSD7の判断結果が「YES」になり、ステップSD8に進む。ステップSD8では、映像・音声記録部8に録画停止を指示する。映像・音声記録部8は、CPU5からの録画停止指示に応じて、記録した各データをファイル化する。   Next, in step SD7, it is determined whether there is a recording end instruction. If there is no instruction to end recording, the determination result is “NO”, and steps SD2 to SD7 are repeated until an instruction to end recording is given. When an instruction to end recording is given, the determination result in step SD7 is “YES”, and the flow proceeds to step SD8. In step SD8, the video / audio recording unit 8 is instructed to stop recording. The video / audio recording unit 8 converts each recorded data into a file in response to a recording stop instruction from the CPU 5.

(2)再生処理の動作
前述の実施の形態と同様、メインルーチンのステップSA3(図2参照)を介して本処理が実行されると、CPU5は図7に示すステップSE1に処理を進め、再生開始指示が有るか否かを判断する。再生開始指示が無ければ、判断結果は「NO」になり、何も行わずに本処理を完了させる。一方、再生開始指示が有ると、判断結果が「YES」になり、ステップSE2に進む。ステップSE2では、録画した12セグメント放送の再生であるか否かを判断する。12セグメント放送の再生であると、判断結果は「YES」になり、ステップSE3に進む。
(2) Operation of Reproduction Process Similar to the above-described embodiment, when this process is executed via step SA3 (see FIG. 2) of the main routine, the CPU 5 advances the process to step SE1 shown in FIG. It is determined whether there is a start instruction. If there is no reproduction start instruction, the determination result is “NO”, and this process is completed without performing anything. On the other hand, if there is a reproduction start instruction, the determination result is “YES”, and the flow proceeds to step SE2. In step SE2, it is determined whether or not the recorded 12 segment broadcast is to be reproduced. If it is 12 segment broadcast reproduction, the determination result is “YES”, and the flow proceeds to step SE3.

ステップSE3では、「12セグメント放送のMPEG−2 AAC形式の音声データ」が映像・音声記録部8に記録されているかどうかを判断する。「12セグメント放送のMPEG−2 AAC形式の音声データ」が記録されていると、判断結果は「YES」になり、ステップSE4に進み、上述の録画処理によりファイル化された「12セグメント放送のMPEG2形式の映像データ」および「12セグメント放送のMPEG−2 AAC形式の音声データ」の再生を映像・音声記録部8に指示する。そして、これに応じて映像・音声記録部8が読み出す「12セグメント放送のMPEG2形式の映像データ」および「12セグメント放送のMPEG−2 AAC形式の音声データ」をワークメモリ7にDMA転送する一方、このワークメモリ7に順次転送される「12セグメント放送のMPEG2形式の映像データ」および「12セグメント放送のMPEG−2 AAC形式の音声データ」の復号再生をMPEG2映像復号部9とMPEG2 AAC音声復号部13とに指示する。   In step SE 3, it is determined whether or not “12-segment broadcast MPEG-2 AAC format audio data” is recorded in the video / audio recording unit 8. If “12-segment broadcast MPEG-2 AAC format audio data” is recorded, the determination result is “YES”, and the process proceeds to step SE4, where “12-segment broadcast MPEG2 filed by the recording process described above is filed. The video / audio recording unit 8 is instructed to reproduce the “format video data” and “12-segment broadcast MPEG-2 AAC format audio data”. In response to this, the video / audio recording unit 8 DMA-transfers “12-segment broadcast MPEG2 format video data” and “12-segment broadcast MPEG-2 AAC format audio data” to the work memory 7, The MPEG2 video decoding unit 9 and the MPEG2 AAC audio decoding unit perform decoding and reproduction of “12 segment broadcast MPEG2 format video data” and “12 segment broadcast MPEG-2 AAC format audio data” sequentially transferred to the work memory 7. 13 and instruct.

一方、「12セグメント放送のMPEG−2 AAC形式の音声データ」が映像・音声記録部8に記録されていない場合には、上記ステップSE3の判断結果が「NO」になり、ステップSE5に進む。ステップSE5では、上述の録画処理によりファイル化された「12セグメント放送のMPEG2形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の再生を映像・音声記録部8に指示する。そして、これに応じて映像・音声記録部8が読み出す「12セグメント放送のMPEG2形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」をワークメモリ7にDMA転送する一方、このワークメモリ7に順次転送される「12セグメント放送のMPEG2形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の復号再生をMPEG2映像復号部9とMPEG2 AAC音声復号部13とに指示する。   On the other hand, if “12-segment broadcast MPEG-2 AAC format audio data” is not recorded in the video / audio recording unit 8, the determination result in step SE3 is “NO”, and the process proceeds to step SE5. In step SE5, the video / audio recording unit 8 is instructed to reproduce “12-segment broadcast MPEG-2 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” filed by the recording process described above. To do. Then, in response to this, the video / audio recording unit 8 DMA-transfers “12-segment broadcast MPEG2 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” to the work memory 7. The MPEG2 video decoding unit 9 and the MPEG2 AAC audio decoding unit perform decoding and reproduction of “12-segment broadcast MPEG2 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” sequentially transferred to the work memory 7. 13 and instruct.

これに対し、1セグメント放送の再生であれば、上記ステップSE2の判断結果が「NO」となり、ステップSE6に進む。ステップSE6では、上述の録画処理によりファイル化された「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の再生を映像・音声記録部8に指示する。そして、これに応じて映像・音声記録部8が読み出す「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」をワークメモリ7にDMA転送する一方、このワークメモリ7に順次転送される「1セグメント放送のMPEG4形式の映像データ」および「1セグメント放送のMPEG−2 AAC形式の音声データ」の復号再生をH.264映像復号部10とMPEG2 AAC音声復号部13とに指示する。   On the other hand, if the one-segment broadcast is to be reproduced, the determination result in step SE2 is “NO”, and the process proceeds to step SE6. In step SE6, the video / audio recording unit 8 is instructed to reproduce the "1-segment broadcast MPEG4 format video data" and "1-segment broadcast MPEG-2 AAC format audio data" filed by the recording process described above. To do. In response to this, the video / audio recording unit 8 DMA-transfers “1-segment broadcast MPEG4 format video data” and “1-segment broadcast MPEG-2 AAC format audio data” to the work memory 7, while Decoding and reproduction of “one-segment broadcast MPEG4 format video data” and “one-segment broadcast MPEG-2 AAC format audio data” sequentially transferred to the work memory 7 are performed in H.264. H.264 video decoding unit 10 and MPEG2 AAC audio decoding unit 13 are instructed.

そして、ステップSE7では、再生終了指示が有るか、若しくはファイルエンドに達したかどうかを判断する。再生終了指示されず、あるいはファイルエンドにも達していなければ、判断結果は「NO」になり、上述のステップSE2に処理を戻し、以後、再生終了指示がある迄、もしくはファイルエンドに達するまでステップSE2〜SE7を繰り返して再生を継続させる。そして、再生終了指示が有るか、若しくはファイルエンドに達すると、上記ステップSE7の判断結果が「YES」になり、本処理を終える。   In step SE7, it is determined whether there is a reproduction end instruction or the file end is reached. If the playback end instruction is not given or the file end is not reached, the determination result is “NO”, the process returns to step SE2 described above, and thereafter, the step is executed until a playback end instruction is given or the file end is reached. The reproduction is continued by repeating SE2 to SE7. When there is a reproduction end instruction or when the file end is reached, the determination result in step SE7 is “YES”, and the process is terminated.

このように、その他の実施形態では、12セグメント放送と1セグメント放送とを同時録画する場合に、12セグメント放送の音声データが5.1chサラウンド方式であると、12セグメント放送の番組パケットと1セグメント放送の番組パケットとに分けて個別に録画および再生を行い、一方、12セグメント放送と1セグメント放送の音声データが同一形式であれば、前述の実施の形態と同様に、12セグメント放送の音声データを省き、1セグメント放送の音声データのみ記録しておき、記録した1セグメント放送の音声データを再生時に共用する為、12セグメント放送の音声データと1セグメント放送の音声データとのデータ形式が異なる場合でも対処することが可能になっている。   Thus, in other embodiments, when 12 segment broadcast and 1 segment broadcast are recorded simultaneously, if the audio data of the 12 segment broadcast is in the 5.1ch surround system, the program packet and 1 segment of the 12 segment broadcast are recorded. Recording and playback are performed separately for broadcast program packets. On the other hand, if 12-segment broadcast and 1-segment broadcast audio data are in the same format, the 12-segment broadcast audio data is the same as in the previous embodiment. If the data format of the 12-segment broadcast audio data and the 1-segment broadcast audio data are different because only the 1-segment broadcast audio data is recorded and the recorded 1-segment broadcast audio data is shared during playback. But it is possible to deal with it.

本発明による実施の一形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment by this invention. メインルーチンの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a main routine. 録画処理の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a video recording process. 再生処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of a reproduction | regeneration process. 映像/音声ファイルの対応関係を示す図である。It is a figure which shows the correspondence of a video / audio file. その他の実施形態による録画処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the video recording process by other embodiment. その他の実施形態による再生処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the reproduction | regeneration processing by other embodiment.

符号の説明Explanation of symbols

1 アンテナ
2,3 チューナ
4 OFDM復調部
5 CPU
6 ROM
7 ワークメモリ
8 映像・音声記録部
9 MPEG2映像復号部
10 H.264映像復号部
11 表示コントローラ
12 表示部
13 MPEG2 AAC音声復号部
14 スピーカ
1 Antenna 2, 3 Tuner 4 OFDM Demodulator 5 CPU
6 ROM
7 Work memory 8 Video / audio recording unit 9 MPEG2 video decoding unit 10 H.264 video decoding unit 11 display controller 12 display unit 13 MPEG2 AAC audio decoding unit 14 speaker

Claims (4)

13のセグメントに分割された伝送帯域幅を有し、その内の1セグメントを占有する1セグメント放送と、他の12セグメントを占有する12セグメント放送とを受信する受信手段と、
前記受信手段により受信される12セグメント放送および1セグメント放送から12セグメント放送の映像データ、1セグメント放送の映像データおよび1セグメント放送の音声データを記録する記録手段
を具備することを特徴とする放送記録装置
Receiving means for receiving a 1-segment broadcast having a transmission bandwidth divided into 13 segments and occupying one of the segments, and a 12-segment broadcast occupying the other 12 segments;
In that it comprises 12-segment broadcast and 1 from segment broadcast a 12-segment broadcast video data is received, and recording means for recording the audio data of video data and 1-segment broadcast 1-segment broadcasting <br/> by the receiving means A broadcast recording apparatus that is characterized.
前記記録手段は、12セグメント放送の音声データと1セグメント放送の音声データとが同一のデータ形式である場合には、12セグメント放送の映像データ、1セグメント放送の映像データおよび1セグメント放送の音声データを記録することを特徴とする請求項1記載の放送記録装置。The recording means, when the 12-segment broadcast audio data and the 1-segment broadcast audio data have the same data format, the 12-segment broadcast video data, the 1-segment broadcast video data, and the 1-segment broadcast audio data. The broadcast recording apparatus according to claim 1, wherein: 前記記録手段にて記録された12セグメント放送を再生する場合には、12セグメント放送の映像データと1セグメント放送の音声データとを再生する再生手段を具備することを特徴とする請求項1記載の放送記録装置。2. The playback device according to claim 1, further comprising: playback means for playing back 12-segment broadcast video data and 1-segment broadcast audio data when playing back the 12-segment broadcast recorded by the recording means. Broadcast recording device. 13のセグメントに分割された伝送帯域幅を有し、その内の1セグメントを占有する1セグメント放送と、他の12セグメントを占有する12セグメント放送とを受信する受信処理と、
前記受信処理にて受信される12セグメント放送および1セグメント放送から12セグメント放送の映像データ、1セグメント放送の映像データおよび1セグメント放送の音声データを記録する記録処理と
をコンピュータで実行させることを特徴とする放送記録処理プログラム。
Receiving processing for receiving a 1-segment broadcast having a transmission bandwidth divided into 13 segments and occupying one of the segments, and a 12-segment broadcast occupying the other 12 segments;
Recording processing for recording the 12-segment broadcast and the 12-segment broadcast video data, the 1-segment broadcast video data, and the 1-segment broadcast audio data received in the reception process by a computer. A broadcast recording processing program characterized in that
JP2004152807A 2004-05-24 2004-05-24 Broadcast recording apparatus and broadcast recording processing program Expired - Fee Related JP4235952B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004152807A JP4235952B2 (en) 2004-05-24 2004-05-24 Broadcast recording apparatus and broadcast recording processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004152807A JP4235952B2 (en) 2004-05-24 2004-05-24 Broadcast recording apparatus and broadcast recording processing program

Publications (3)

Publication Number Publication Date
JP2005340888A JP2005340888A (en) 2005-12-08
JP2005340888A5 JP2005340888A5 (en) 2007-05-24
JP4235952B2 true JP4235952B2 (en) 2009-03-11

Family

ID=35494001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004152807A Expired - Fee Related JP4235952B2 (en) 2004-05-24 2004-05-24 Broadcast recording apparatus and broadcast recording processing program

Country Status (1)

Country Link
JP (1) JP4235952B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251803A (en) * 2006-03-17 2007-09-27 Sharp Corp Recording and reproducing apparatus, mobile terminal device, recording and reproducing system, and recording and reproducing method
JP4715701B2 (en) * 2006-09-28 2011-07-06 船井電機株式会社 Digital broadcast recording device
JP2008252661A (en) * 2007-03-30 2008-10-16 Toshiba Corp Program recording apparatus, and program recording method
JP4739388B2 (en) * 2008-10-22 2011-08-03 シャープ株式会社 Recording / reproducing apparatus, portable terminal apparatus, recording / reproducing system, and recording / reproducing method
JP2009303226A (en) * 2009-07-10 2009-12-24 Toshiba Corp Program video-recording and playback apparatus and program video-recording and playback method
JP5631598B2 (en) * 2010-01-15 2014-11-26 株式会社ザクティ Data processing device

Also Published As

Publication number Publication date
JP2005340888A (en) 2005-12-08

Similar Documents

Publication Publication Date Title
CN101014099B (en) Digital multimedia reproducing apparatus and method of providing digital multimedia broadcasting in the digital multimedia reproducing apparatus
TW200830874A (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
JP4429627B2 (en) Digital decoder and method
JP4235952B2 (en) Broadcast recording apparatus and broadcast recording processing program
KR100735312B1 (en) Method for processing data in a terminal with digital broadcasting receiver
JP4029915B2 (en) Communications system
US6714259B2 (en) Method and apparatus for receiving digital television signals from a plurality of independent channels
JP2006191344A (en) Analog/digital broadcasting reception recording/reproducing device
KR100800834B1 (en) Mobile communication terminal for playing digital broadcasting and a method thereof
JP6695479B2 (en) Recording / playback device
JP5042182B2 (en) Abstract content generation apparatus and computer program
JP2007517456A (en) Analog / digital signal processing apparatus and method capable of outputting copy protection signal included in analog input signal without damaging
US8045842B2 (en) Information processing apparatus and method, transmission apparatus and method, recording apparatus and method and program
JP2005012293A (en) Decoding device
JP3906592B2 (en) Receiving apparatus and receiving method
JP2005269508A (en) Communication terminal equipment and communication terminal processing program
JP2002064450A (en) Satellite broadcasting transmission/reception system, transmission apparatus, reception apparatus, program, and storage medium
JP2006352721A (en) Receiving apparatus
JP4029878B2 (en) Transmitter
KR100898923B1 (en) Multimedia message recording method for hand-held terminal
JP4385710B2 (en) Audio signal processing apparatus and audio signal processing method
JP4715648B2 (en) Receiving device and electronic device using the same
JP4029914B2 (en) Receiver
JP4717888B2 (en) Broadcast receiving / recording device, portable terminal, control method for broadcast receiving / recording device, broadcast receiving / recording control program, and computer-readable recording medium
JPH0993562A (en) Isdb transmitter and its receiver

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees