JP4153817B2 - データ符号化方法およびデータ符号化装置 - Google Patents
データ符号化方法およびデータ符号化装置 Download PDFInfo
- Publication number
- JP4153817B2 JP4153817B2 JP2003089912A JP2003089912A JP4153817B2 JP 4153817 B2 JP4153817 B2 JP 4153817B2 JP 2003089912 A JP2003089912 A JP 2003089912A JP 2003089912 A JP2003089912 A JP 2003089912A JP 4153817 B2 JP4153817 B2 JP 4153817B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- buffer
- encoding
- audio
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像データおよび音声データをＭＰＥＧ（Moving Picture Expert Group）規格に従って符号化するデータ符号化方法およびデータ符号化装置に関する。
【０００２】
【従来の技術】
近時、動画像データおよび音声データをＭＰＥＧ規格に従って符号化し、ＤＶＤ（Digital Versatile Disk）やハードディスクなどの記録メディアに記録するビデオレコーダの開発が進んでいる。
ビデオレコーダに搭載されるデータ符号化ＬＳＩは、例えば、動画像データおよび音声データをＭＰＥＧ規格に従って符号化（エンコード）するＭＰＥＧエンコーダを有している。ＭＰＥＧエンコーダは、ビデオエンコーダ、ビデオ用リングバッファ、オーディオエンコーダ、オーディオ用リングバッファ、マルチプレクサ、およびシステム用リングバッファを有している。
【０００３】
ビデオエンコーダは、ＩＴＵ−Ｒ６５６形式の動画像データをＭＰＥＧ２ビデオＭＰ＠ＭＬ形式でエンコードし、ＰＥＳ（Packetized Elementary Stream）形式のデータとしてビデオ用リングバッファに書き込む。
オーディオエンコーダは、Ｉ２Ｓ形式の音声データをＭＰＥＧ１オーディオＬａｙｅｒ２形式でエンコードし、ＰＥＳ形式のデータとしてオーディオ用リングバッファに書き込む。
【０００４】
マルチプレクサは、ビデオ用リングバッファおよびオーディオ用リングバッファから読み出したＰＥＳ形式のデータ同士を所定のタイミングで多重化（マルチプレクス）し、ＭＰＥＧ２システムＰＳ形式のデータストリームとしてシステム用リングバッファに書き込む。なお、マルチプレクサは、新たに多重化して生成するデータストリームを第３バッファに書き込める場合にのみ、多重化を実施する。
【０００５】
システム用リングバッファは、外部デバイスから供給されるストリーム出力要求信号の活性化に応答して、同期クロック、ストリーム出力許可信号などと共に、８ビットのパラレルデータストリームを外部デバイスに出力する。
また、ＭＥＰＧ規格に従って符号化されたデータを復号化（再生）するＭＰＥＧデコーダにおいて、逆方向再生を実現するためのリングバッファ制御方法が提案されている（例えば、特許文献１、２参照）。
【０００６】
【特許文献１】
特開平８−１３０７１５号公報
【特許文献２】
特開平８−２２３５３８号公報
【０００７】
【発明が解決しようとする課題】
前述のようなデータ符号化ＬＳＩでは、ストリーム出力要求信号の非活性化期間が長い場合、システム用リングバッファからデータストリームが出力されないため、システム用リングバッファにデータストリームが蓄積され続ける。これにより、マルチプレクサは、新たに多重化して生成するデータストリームを第３バッファに書き込めないと判定し、多重化を停止する場合がある。ビデオ用リングバッファおよびオーディオ用リングバッファからデータが読み出されないため、ビデオ用リングバッファおよびオーディオ用リングバッファにもデータが蓄積され続ける。
【０００８】
このため、ビデオ用リングバッファおよびオーディオ用リングバッファの少なくともいずれかがオーバーフローしてしまう場合がある。すなわち、ビデオ用リングバッファおよびオーディオ用リングバッファの少なくともいずれかにおいて、読み出されていないデータに新たに生成されたデータが上書きされてしまう。この結果、マルチプレクサは、多重化するタイミングや多重化するビデオ用リングバッファのデータおよびオーディオ用リングバッファのデータの位置を認識できなくなってしまう。この結果、マルチプレクサは、データストリームを正常に生成できなくなってしまう。すなわち、誤ったデータストリームがシステム用リングバッファから出力されてしまう。
【０００９】
本発明の目的は、ビデオ用リングバッファおよびオーディオ用リングバッファのオーバーフローを防止することにある。本発明の別の目的は、誤ったデータストリームが出力されることを防止することにある。
【００１０】
【課題を解決するための手段】
本発明の第１の形態では、まず、動画像データが第１規格に従って符号化されることで動画像符号化データが生成される。動画像符号化データは、第１バッファに書き込まれる。また、音声データが第２規格に従って符号化されることで音声符号化データが生成される。音声符号化データは、第２バッファに書き込まれる。次に、第１および第２バッファから読み出されたデータ同士が第３規格に従って所定のタイミングで多重化されることで、多重化データが生成される。多重化データは、第３バッファに書き込まれる。そして、第３バッファに書き込まれた多重化データが外部要求に応答して出力される。以上のような処理を実施する際に、新たに生成される多重化データの第３バッファへの書き込みが実施可能であると判定されたときにのみ、多重化データの生成は実施される。第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化処理は停止する。第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、第１〜第３基準量を下回ったとき、符号化処理は再開する。第１〜第３基準量は、第１〜第３バッファに第１〜第３最大量より小さくそれぞれ設定されている。
【００１１】
本発明が適用されるデータ符号化装置では、前述のように生成された動画像符号化データを出力する動画像エンコーダと、第１バッファと、前述のように生成された音声符号化データを出力する音声エンコーダと、第２バッファと、前述のように生成された多重化データを出力するマルチプレクサと、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、符号化および多重化を前述のように制御する制御部とを有している。
【００１２】
第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが第１〜第３最大量を超えたときに、符号化処理を停止するため、第１および第２バッファのオーバーフローを防止できる。第１および第２バッファにおいて、読み出されていないデータが上書きされることを防止できるため、多重化データが正常に生成されなくなることを防止できる。すなわち、誤った多重化データが出力されることを防止できる。
【００１３】
本発明の第２の形態では、第１バッファの容量は、符号化処理を停止してから動画像データの符号化が実際に停止するまでの間に第１バッファに書き込まれる最大のデータ量と第１最大量との和以上である。第２バッファの容量は、符号化処理を停止してから音声データの符号化が実際に停止するまでの間に第２バッファに書き込まれる最大のデータ量と第２最大量との和以上である。第３バッファの容量は、符号化処理を停止してから動画像データと音声データとの符号化が実際に停止するまでの間に第３バッファに書き込まれる最大のデータ量と第３最大量との和以上である。
【００１４】
このため、符号化処理を停止してから動画像データの符号化が実際に停止するまでの間に生成された動画像符号化データを第１バッファに確実に書き込むことができる。また、符号化処理を停止してから音声データの符号化が実際に停止するまでの間に生成された音声符号化データを第２バッファに確実に書き込むことができる。同様に、符号化処理を停止してから動画像データおよび音声データの符号化が実際に停止するまでの間に生成された多重化データを第３バッファに確実に書き込むことができる。この結果、符号化処理を停止した後に、第１〜第３バッファにデータが書き込まれる場合でも、第１および第２バッファのオーバーフローを防止できる。
【００１５】
本発明の第３の形態では、第３バッファに記憶されているデータ量が、第３バッファに設定された第３最大量を超え、かつ前記第１および第２バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、第１および第２バッファにそれぞれ設定された第１および第２最大量を超えたときに、第３バッファにおいて、読み出されていない多重化データのうち古い多重化データから順に、新たに生成された多重化データを上書きする。
【００１６】
第３バッファにおいて多重化データの上書きを許可することで、第３バッファに記憶されているデータ量が第３最大量を超えた後にも、多重化は継続される。すなわち、第１および第２バッファは、第３バッファに記憶されているデータ量が第３最大量を超えた後にも、データを出力し続けることができる。このため、第１および第２バッファのオーバーフローを防止できる。第１および第２バッファにおいて、読み出されていないデータが上書きされることを防止できるため、多重化データが正常に生成されなくなることを防止できる。すなわち、誤った多重化データが出力されることを防止できる。
【００１７】
第３バッファにおいて多重化データの上書きを実施することで、第３バッファから出力される多重化データの連続性は、一時的に失われる。しかしながら、第３バッファには、正常な多重化データが書き込まれているため、外部要求が所定のレートで発生するようになった場合、特別な制御をすることなく、第３バッファから多重化データをそのまま出力することができる。
【００１８】
本発明の第４の形態では、第３バッファに記憶されているデータ量が、第３バッファに設定された第３最大量を超え、かつ第１バッファに記憶されているデータ量が、第１バッファに設定された第１最大量を超えたときに、第１バッファにおいて、読み出されていない動画像符号化データのうち古い動画像符号化データから順に、新しく生成された動画像符号化データを上書きする。第３バッファに記憶されているデータ量が、第３バッファに設定された第３最大量を超え、かつ第２バッファに記憶されているデータ量が、第２バッファに設定された第２最大量を超えたときに、第２バッファにおいて、読み出されていない音声符号化データのうち古い音声符号化データから順に、新しく生成された音声符号化データを上書きする。
【００１９】
第１バッファ（または第２バッファ）において動画像符号化データ（または音声符号化データ）の上書きを許可することで、第１バッファ（または第２バッファ）に記憶されているデータ量が第１最大量（または第２最大量）を超えた後にも、動画像データ（または音声データ）の符号化を継続できる。
また、例えば、動画像符号化データ（または音声符号化データ）の一部が上書きにより消去されたときに、この動画像符号化データ（または音声符号化データ）に対応する音声符号化データ（または動画像符号化データ）も消去する。これにより、第１または第２バッファにおいてデータの上書きを実施しても、マルチプレクサは、多重化する動画像符号化データおよび音声符号化データを正しく認識できる。この結果、第１および第２バッファのオーバーフローを防止した場合と同様に、多重化データが正常に生成されなくなることを防止できる。すなわち、誤った多重化データが出力されることを防止できる。
【００２０】
本発明の第５の形態では、第１〜第３規格は、ＭＰＥＧ規格である。
ＭＰＥＧ規格は、動画像データおよび音声データの符号化に用いる規格の主流となっている。このため、本発明を、ＭＰＥＧ規格に基づいたデータ符号化を利用する様々な用途に適用できる。
【００２１】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の第１の実施形態を示している。本発明は、ビデオレコーディングシステムSYSのデータ変換ＬＳＩ２０に適用される。
ビデオレコーディングシステムSYSは、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、ＵＳＢ（Universal Serial Bus）コントローラ３０、パーソナルコンピュータ４０、システムバスSYSBおよびユニバーサルシリアルバスUSBから構成されている。システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、およびＵＳＢコントローラ３０は、例えば、ビデオレコーディングシステムを構成する基板に搭載されている。
【００２２】
システムコントローラ１０は、ＲＯＭ１２に記録されているプログラムに従って各部を制御するとともに、各種演算処理を実行する。
ＲＡＭ１４は、システムコントローラ１０が実行対象とするプログラムや、演算処理中のデータを一時的に記憶する。バスSYSBは、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、ＵＳＢコントローラ３０を相互に接続し、これらの間でデータの授受を可能にする。
【００２３】
データ変換ＬＳＩ２０は、ＩＴＵ−Ｒ６５６形式の動画像データVDIとＩ２Ｓ形式の音声データADIとをデータ変換し、ＭＰＥＧ２システムＰＳ形式のデータストリームSOをＵＳＢ３０コントローラに出力する。データ変換ＬＳＩ２０は、ＵＳＢコントローラ３０から供給されるＭＰＥＧ２システムＰＳ形式のデータストリームSIをデータ変換し、ＩＴＵ−Ｒ６５６形式の動画像データVDOとＩ２Ｓ形式の音声データADOとを出力する。データ変換ＬＳＩ２０の詳細については、図２で説明する。
【００２４】
ＵＳＢコントローラ３０は、バスUSBのインタフェースとして機能し、データ変換ＬＳＩ２０から供給されるデータストリームをパーソナルコンピュータ４０に出力するとともに、パーソナルコンピュータ４０から供給されるデータストリームをデータ変換ＬＳＩ２０に出力する。パーソナルコンピュータ４０は、バスUSBを介して、ＵＳＢコントローラ３０との間でデータストリームを授受する。
【００２５】
図２は、第１の実施形態におけるデータ変換ＬＳＩ２０の一例を示している。
データ変換ＬＳＩ２０は、ＣＰＵ２０ａ（制御部）、ＤＭＡＣ（Direct Memory Access Controller）２０ｂ、インタフェース回路２０ｃ、ＭＰＥＧエンコーダENC、ＭＰＥＧデコーダDEC、および内部バスINTBを有している。
システムコントローラ１０は、バスSYSBを介して、ＲＯＭ１２に格納されているデータ変換ＬＳＩ２０用のファームウェアを取得し、ＲＡＭ１４の所定の領域に格納する。ＣＰＵ２０ａは、このようにしてＲＡＭ１４に格納されたファームウェアに従って動作する。ＤＭＡＣ２０ｂは、ＣＰＵ２０ａを介さずにデータをＲＡＭ１４との間で直接授受する。インタフェース回路２０ｃは、主に、ＲＡＭ１４との間でデータを授受する際のインタフェースとして機能する。バスINTBは、ＣＰＵ２０ａ、ＤＭＡＣ２０ｂ、インタフェース回路２０ｃ、ＭＰＥＧエンコーダENC内のリングバッファ（ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2、システム用リングバッファBUF3）、ＭＰＥＧデコーダDEC内のリングバッファ（図示せず）を相互に接続し、これらの間でデータの授受を可能にする。
【００２６】
ＭＰＥＧエンコーダENCは、ビデオエンコーダVENC（動画像エンコーダ）、ビデオ用リングバッファBUF1（第１バッファ）、オーディオエンコーダAENC（音声エンコーダ）、オーディオ用リングバッファBUF2（第２バッファ）、マルチプレクサMPX、およびシステム用リングバッファBUF3（第３バッファ）を有している。
【００２７】
ビデオエンコーダVENCは、ＩＴＵ−Ｒ６５６形式の動画像データVDIをＭＰＥＧ２ビデオＭＰ＠ＭＬ形式でエンコードし、ＰＥＳ形式のデータ（動画像符号化データ）としてビデオ用リングバッファBUF1に書き込む。
オーディオエンコーダAENCは、Ｉ２Ｓ形式の音声データADIをＭＰＥＧ１オーディオＬａｙｅｒ２形式でエンコードし、ＰＥＳ形式のデータ（音声符号化データ）としてオーディオ用リングバッファBUF2に書き込む。
【００２８】
マルチプレクサMPXは、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2から読み出したＰＥＳ形式のデータ同士を所定のタイミングでマルチプレクスし、ＭＰＥＧ２システムＰＳ形式のデータストリーム（多重化データ）としてシステム用リングバッファBUF3に書き込む。なお、マルチプレクサMPXは、新たに多重化して生成するデータストリームをシステム用リングバッファBUF3に書き込める場合にのみ、多重化を実施する。
【００２９】
システム用リングバッファBUF3は、ＵＳＢコントローラ３０から供給されるストリーム出力要求信号REQの活性化に応答して、同期クロックCLK、ストリーム出力許可信号ENおよび８ビットのパラレルデータストリームSOをＵＳＢコントローラ３０に出力する。
なお、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3は、読み出し要求に応答して、記憶しているデータを最初に書き込まれたデータから順に出力する。すなわち、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3は、ＦＩＦＯ（First In First Out）形式のバッファとして動作する。
【００３０】
ＭＰＥＧデコーダDECは、ＵＳＢコントローラ３０から供給されるＭＰＥＧ２システムＰＳ形式のデータストリームSIをデコード処理し、ＩＴＵ−Ｒ６５６形式の動画像データVDOとＩ２Ｓ形式の音声データADOとを出力する。
図３は、第１の実施形態におけるＭＰＥＧエンコーダENCのバッファ制御処理の動作を示している。
【００３１】
バッファ制御処理は、ＣＰＵ２０ａがＲＡＭ１４に格納されたファームウェアに従って動作することで実施される。
ＣＰＵ２０ａは、以下のような動作を、動画像データVDIおよび音声データAVIに対するエンコード処理の実施中に繰り返す。
ステップＳ１１０において、ＣＰＵ２０ａは、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3にそれぞれ記憶されているデータ量D1、D2、D3を監視する。例えば、ビデオ用リングバッファBUF1は、書き込みポインタと読み出しポインタとを有し、ＣＰＵ２０ａは、ＤＭＡＣ２０ｂにより転送された書き込みポインタの値と読み出しポインタの値とを用いてデータ量D1を算出する。ＣＰＵ２０ａは、データ量D2、D3も同様に算出する。
【００３２】
データ量D1がビデオ用リングバッファBUF1に設定された第１最大量M1を超えた場合、またはデータ量D2がオーディオ用リングバッファBUF2に設定された第２最大量M2を超えた場合、またはデータ量D3がシステム用リングバッファBUF3に設定された第３最大量M3を超えた場合、処理はステップＳ１２０に移行する。この条件が満たされない場合、ＣＰＵ２０ａは、データ量D1、D2、D3の監視を継続する。
【００３３】
ステップＳ１２０において、ＣＰＵ２０ａは、符号化処理を停止する、すなわち符号化の停止をビデオエンコーダVENCおよびオーディオエンコーダAENCにそれぞれ要求する。このため、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローが防止される。この後、処理はステップＳ１３０に移行する。
【００３４】
なお、ビデオ用リングバッファBUF1の容量は、ＣＰＵ２０ａが符号化の停止を要求してから動画像データVDIの符号化が実際に停止するまでの間にビデオ用リングバッファBUF1に書き込まれる最大のデータ量と第１最大量M1との和以上である。例えば、ビデオリング用バッファBUF1の容量、およびＣＰＵ２０ａが符号化の停止を要求してから動画像データVDIの符号化が実際に停止するまでの間にビデオ用リングバッファBUF1に書き込まれる最大のデータ量は、それぞれ２５６ｋｂｙｔｅ、２７ｋｂｙｔｅである。すなわち、第１最大量が２２９ｋｂｙｔｅ以下に予め設定されることで、ビデオ用リングバッファBUF1のオーバーフローが確実に回避される。
【００３５】
また、オーディオ用リングバッファBUF2の容量は、ＣＰＵ２０ａが符号化の停止を要求してから音声データADIの符号化が実際に停止するまでの間にオーディオ用リングバッファBUF2に書き込まれる最大のデータ量と第２最大量M2との和以上である。
同様に、システム用リングバッファBUF3の容量は、ＣＰＵ２０ａが符号化の停止を要求してから動画像データVDIと音声データADIとの符号化が実際に停止するまでの間にシステム用リングバッファBUF3に書き込まれる最大のデータ量と第３最大量M3との和以上である。
【００３６】
ステップＳ１３０において、ＣＰＵ２０ａは、データ量D1、D2、D3を再び監視する。データ量D1、D2、D3のすべてが、第１基準量B1、第２基準量B2、第３基準量B3をそれぞれ下回った場合、処理はステップＳ１４０に移行する。ここで、第１基準量B1、第２基準量B2、第３基準量B3は、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3に第１最大量M1、第２最大量M2、第３最大量M3より小さくそれぞれ設定されている。この条件が満たされない場合、ＣＰＵ２０ａは、データ量D1、D2、D3の監視を継続する。
【００３７】
ステップＳ１４０において、ＣＰＵ２０ａは、符号化処理を再開する、すなわち符号化の再開をビデオエンコーダVENCおよびオーディオエンコーダAENCにそれぞれ要求する。これにより、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを回避するための処理は、完了する。
【００３８】
以上、第１の実施形態では、次の効果が得られる。
データ量D1、D2、D3の少なくともいずれかが第１最大量M1、第２最大量M2、第３最大量M3を超えたときに、符号化処理を停止するため、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止できる。ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2において、読み出されていないデータが上書きされることを防止できるため、データストリームが正常に生成されなくなることを防止できる。すなわち、誤ったデータストリームが出力されることを防止できる。
【００３９】
ＣＰＵ２０ａが符号化の停止を要求した後に生成されたデータを、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3に、確実にそれぞれ書き込むことができる。このため、ＣＰＵ２０ａが符号化の停止を要求した後に、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3にデータが書き込まれる場合でも、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止できる。
【００４０】
図４は、第２の実施形態におけるＭＰＥＧエンコーダENCのバッファ制御処理の動作を示している。この実施形態のビデオレコーディングシステムは、ＲＯＭ１２に格納されているデータ変換ＬＳＩ２０用のファームウェアが異なることを除き、第１の実施形態（図１）と同一である。第１の実施形態で説明した要素と同一の要素については、同一の符号を付し、詳細な説明は省略する。
【００４１】
バッファ制御処理は、第１の実施形態と同様に、ＣＰＵ２０ａがＲＡＭ１４に格納されたファームウェアに従って動作することで実施される。
ＣＰＵ２０ａは、以下のような動作を、動画像データVDIおよび音声データADIに対するエンコード処理の実施中に繰り返す。
ステップＳ２１０において、ＣＰＵ２０ａは、データ量D1、D2、D3を監視する。データ量D3が第３最大量M3を超え、かつデータ量D1が第１最大量M1を超えた場合、またはデータ量D3が第３最大量M3を超え、かつデータ量D2が第２最大量M2を超えた場合、処理はステップＳ２２０に移行する。この条件が満たされない場合、ＣＰＵ２０ａは、データ量D1、D2、D3の監視を継続する。
【００４２】
ステップＳ２２０において、ＣＰＵ２０ａは、マルチプレクサMPXに、システム用リングバッファBUF3のデータ上書きを要求する。マルチプレクサMPXは、システム用リングバッファBUF3において、読み出されていないデータストリームのうち古いデータストリームから順に、新たに生成されたデータストリームを上書きする。
【００４３】
システム用リングバッファBUF3においてデータストリームの上書きを許可することで、データ量D3が第３最大量M3を超えた後にも、マルチプレクサMPXは動作し続ける。すなわち、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2は、データ量D3が第３最大量M3を超えた後にも、データを出力し続ける。このため、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローが防止される。これにより、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを回避するための処理は、完了する。
【００４４】
以上、第２の実施形態では、第１の実施形態と同様の効果が得られる。さらに、システム用リングバッファBUF3においてデータストリームの上書きを実施することで、システム用リングバッファBUF3から出力されるデータストリームSOの連続性は、一時的に失われる。しかしながら、システム用リングバッファBUF3には、正常なデータストリームが書き込まれている。このため、ストリーム出力要求信号REQが所定のレートで活性化されるようになった場合、特別な制御をすることなく、システム用リングバッファBUF3からデータストリームをそのまま出力できる。
【００４５】
図５は、第３の実施形態におけるＭＰＥＧエンコーダENCのバッファ制御処理の動作を示している。この実施形態のビデオレコーディングシステムは、ＲＯＭ１２に格納されているデータ変換ＬＳＩ２０用のファームウェアが異なることを除き、第１の実施形態（図１）と同一である。第１の実施形態で説明した要素と同一の要素については、同一の符号を付し、詳細な説明は省略する。
【００４６】
バッファ制御処理は、第１の実施形態と同様に、ＣＰＵ２０ａがＲＡＭ１４に格納されたファームウェアに従って動作することで実施される。
ＣＰＵ２０ａは、以下のような動作を、動画像データVDIおよび音声データADIに対するエンコード処理の実施中に繰り返す。
ステップＳ３１０において、ＣＰＵ２０ａは、データ量D1、D3を監視する。データ量D3が第３最大量M3を超え、かつデータ量D1が第１最大量M1を超えた場合、処理はステップＳ３２０に移行する。この条件を満たさない場合、処理はステップＳ３３０に移行する。
【００４７】
ステップＳ３２０において、ＣＰＵ２０ａは、ビデオエンコーダVENCに、ビデオ用リングバッファBUF1のデータ上書きを要求する。ビデオエンコーダVENCは、ビデオ用リングバッファBUF1において、読み出されていないデータのうち古いデータから順に、新しく生成されたデータを上書きする。ＣＰＵ２０ａは、上書きにより消去されたビデオ用リングバッファBUF1のデータに対応するオーディオ用リングバッファBUF2のデータを消去する。
【００４８】
ビデオ用リングバッファBUF1のデータの一部が上書きにより消去されたときに、このデータに対応するオーディオ用リングバッファBUF2のデータも消去される。このため、ビデオ用リングバッファBUF1においてデータの上書きを実施しても、ビデオ用リングバッファBUF1から出力されるデータおよびオーディオ用リングバッファBUF2から出力されるデータは、対応がとれている。従って、マルチプレクサMPXは、多重化するビデオ用リングバッファBUF1のデータおよびオーディオ用リングバッファBUF2のデータを正しく認識する。この結果、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止した場合と同様に、データストリームが正常に生成されなくなることが防止される。これにより、データストリームが正常に生成されなくなることを回避するための処理は、完了する。
【００４９】
ステップＳ３３０において、ＣＰＵ２０ａは、データ量D2、D3を監視する。データ量D3が第３最大量M3を超え、かつデータ量D2が第２最大量M2を超えた場合、処理はステップＳ３４０に移行する。この条件を満たさない場合、処理はステップＳ３１０に移行する。
ステップＳ３４０において、ＣＰＵ２０ａは、オーディオエンコーダAENCに、オーディオ用リングバッファBUF2のデータ上書きを要求する。オーディオエンコーダAENCは、オーディオ用リングバッファBUF2において、読み出されていないデータのうち古いデータから順に、新しく生成されたデータを上書きする。ＣＰＵ２０ａは、上書きにより消去されたオーディオ用リングバッファBUF2のデータに対応するビデオ用リングバッファBUF1のデータを消去する。
【００５０】
オーディオ用リングバッファBUF2のデータの一部が上書きにより消去されたときに、このデータに対応するビデオ用リングバッファBUF1のデータも消去される。このため、オーディオ用リングバッファBUF2においてデータの上書きを実施しても、ビデオ用リングバッファBUF1から出力されるデータおよびオーディオ用リングバッファBUF2から出力されるデータは、対応がとれている。従って、マルチプレクサMPXは、多重化するビデオ用リングバッファBUF1のデータおよびオーディオ用リングバッファBUF2のデータを正しく認識する。この結果、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止した場合と同様に、データストリームが正常に生成されなくなることが防止される。これにより、データストリームが正常に生成されなくなることを回避するための処理は、完了する。
【００５１】
以上、第３の実施形態では、第１の実施形態と同様の効果が得られる。
なお、第１の実施形態では、データ量D1、D2、D3のすべてが、第１基準量B1、第２基準量B2、第３基準量B3をそれぞれ下回った場合、符号化処理が再開される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、図６に示すように、データ量D1、D2の両方が、第１基準量B1、第２基準量B2をそれぞれ下回った場合、符号化処理が再開されてもよい。なお、符号化処理の再開条件は、データ量D1、D3の両方が、第１基準量B1、第３基準量B3をそれぞれ下回った場合、またはデータ量D2、D3の両方が、第２基準量B2、第３基準量B3をそれぞれ下回った場合であってもよい。
【００５２】
また、例えば、図７に示すように、データ量D3が、第３基準量B3を下回った場合、符号化処理が再開されてもよい。なお、符号化処理の再開条件は、データ量D1が、第１基準量B1を下回った場合、またはデータ量D2が、第２基準量B2を下回った場合であってもよい。
第１〜第３の実施形態では、データストリームがＵＳＢコントローラ３０およびバスUSBを介して授受される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、データストリームは、ＰＣＩ（Peripheral Component Interconnect）バスコントローラおよびＰＣＩバスを介して授受されてもよい。
【００５３】
第１〜第３の実施形態では、本発明をＭＰＥＧエンコーダENCおよびＭＰＥＧデコーダDECが共に搭載されたＬＳＩに適用した例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、本発明をＭＰＥＧエンコーダ専用のＬＳＩに適用してもよい。
第１〜第３の実施形態では、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、およびＵＳＢコントローラ３０が個別のチップとして形成された例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、およびＵＳＢコントローラ３０は、１チップで形成されてもよい。
【００５４】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１） 動画像データを第１規格に従って符号化して動画像符号化データを生成し、
前記動画像符号化データを第１バッファに書き込み、
音声データを第２規格に従って符号化して音声符号化データを生成し、
前記音声符号化データを第２バッファに書き込み、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化して多重化データを生成し、
前記多重化データを第３バッファに書き込み、
前記第３バッファに書き込まれた多重化データを外部要求に応答して出力するデータ符号化方法において、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化処理を停止し、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファに前記第１〜第３最大量より小さくそれぞれ設定された第１〜第３基準量を下回ったとき、符号化処理を再開することを特徴とするデータ符号化方法。
【００５５】
（付記２） 付記１記載のデータ符号化方法において、
前記第１バッファの容量は、符号化処理を停止してから前記動画像データの符号化が実際に停止するまでの間に前記第１バッファに書き込まれる最大のデータ量と前記第１最大量との和以上であり、
前記第２バッファの容量は、符号化処理を停止してから前記音声データの符号化が実際に停止するまでの間に前記第２バッファに書き込まれる最大のデータ量と前記第２最大量との和以上であり、
前記第３バッファの容量は、符号化処理を停止してから前記動画像データと前記音声データとの符号化が実際に停止するまでの間に前記第３バッファに書き込まれる最大のデータ量と前記第３最大量との和以上であることを特徴とするデータ符号化方法。
【００５６】
（付記３） 動画像データを第１規格に従って符号化して動画像符号化データを生成し、
前記動画像符号化データを第１バッファに書き込み、
音声データを第２規格に従って符号化して音声符号化データを生成し、
前記音声符号化データを第２バッファに書き込み、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化して多重化データを生成し、
前記多重化データを第３バッファに書き込み、
前記第３バッファに書き込まれた多重化データを外部要求に応答して出力するデータ符号化方法において、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１および第２バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１および第２バッファにそれぞれ設定された第１および第２最大量を超えたときに、前記第３バッファにおいて、読み出されていない多重化データのうち古い多重化データから順に、新たに生成された多重化データを上書きすることを特徴とするデータ符号化方法。
【００５７】
（付記４） 動画像データを第１規格に従って符号化して動画像符号化データを生成し、
前記動画像符号化データを第１バッファに書き込み、
音声データを第２規格に従って符号化して音声符号化データを生成し、
前記音声符号化データを第２バッファに書き込み、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化して多重化データを生成し、
前記多重化データを第３バッファに書き込み、
前記第３バッファに書き込まれた多重化データを外部要求に応答して出力するデータ符号化方法において、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１バッファに記憶されているデータ量が、前記第１バッファに設定された第１最大量を超えたときに、
前記第１バッファにおいて、読み出されていない動画像符号化データのうち古い動画像符号化データから順に、新しく生成された動画像符号化データを上書きし、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第２バッファに記憶されているデータ量が、前記第２バッファに設定された第２最大量を超えたときに、
前記第２バッファにおいて、読み出されていない音声符号化データのうち古い音声符号化データから順に、新しく生成された音声符号化データを上書きすることを特徴とするデータ符号化方法。
【００５８】
（付記５） 付記４記載のデータ符号化方法において、
前記新しく生成された動画像符号化データを上書きした場合に、上書きにより消去された動画像符号化データに対応する前記第２バッファの音声符号化データを消去し、
前記新しく生成された音声符号化データを上書きした場合に、上書きにより消去された音声符号化データに対応する前記第１バッファの動画像符号化データを消去することを特徴とするデータ符号化方法。
【００５９】
（付記６） 付記１、付記３または付記４のいずれか一項記載のデータ符号化方法において、
前記第１〜第３規格は、ＭＰＥＧ規格であることを特徴とするデータ符号化方法。
（付記７） 動画像データを第１規格に従って符号化し、動画像符号化データとして出力する動画像エンコーダと、
前記動画像符号化データが書き込まれる第１バッファと、
音声データを第２規格に従って符号化し、音声符号化データとして出力する音声エンコーダと、
前記音声符号化データが書き込まれる第２バッファと、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化し、多重化データとして出力するマルチプレクサと、
前記多重化データが書き込まれ、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、
符号化および多重化を制御する制御部とを備え、
前記制御部は、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化の停止を前記動画像エンコーダおよび前記音声エンコーダに要求し、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファに前記第１〜第３最大量より小さくそれぞれ設定された第１〜第３基準量を下回ったとき、符号化の再開を前記動画像エンコーダおよび前記音声エンコーダに要求することを特徴とするデータ符号化装置。
【００６０】
（付記８） 付記７記載のデータ符号化装置において、
前記第１バッファの容量は、前記制御部が符号化の停止を要求してから前記動画像データの符号化が実際に停止するまでの間に前記第１バッファに書き込まれる最大のデータ量と前記第１最大量との和以上であり、
前記第２バッファの容量は、前記制御部が符号化の停止を要求してから前記音声データの符号化が実際に停止するまでの間に前記第２バッファに書き込まれる最大のデータ量と前記第２最大量との和以上であり、
前記第３バッファの容量は、前記制御部が符号化の停止を要求してから前記動画像データと前記音声データとの符号化が実際に停止するまでの間に前記第３バッファに書き込まれる最大のデータ量と前記第３最大量との和以上であることを特徴とするデータ符号化装置。
【００６１】
（付記９） 動画像データを第１規格に従って符号化し、動画像符号化データとして出力する動画像エンコーダと、
前記動画像符号化データが書き込まれる第１バッファと、
音声データを第２規格に従って符号化し、音声符号化データとして出力する音声エンコーダと、
前記音声符号化データが書き込まれる第２バッファと、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化し、多重化データとして出力するマルチプレクサと、
前記多重化データが書き込まれ、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、
符号化および多重化を制御する制御部とを備え、
前記制御部は、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１および第２バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１および第２バッファにそれぞれ設定された第１および第２最大量を超えたときに、前記マルチプレクサに、前記第３バッファにおいて、読み出されていない多重化データのうち古い多重化データから順に、新たに生成された多重化データを上書きさせることを特徴とするデータ符号化装置。
【００６２】
（付記１０） 動画像データを第１規格に従って符号化し、動画像符号化データとして出力する動画像エンコーダと、
前記動画像符号化データが書き込まれる第１バッファと、
音声データを第２規格に従って符号化し、音声符号化データとして出力する音声エンコーダと、
前記音声符号化データが書き込まれる第２バッファと、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化し、多重化データとして出力するマルチプレクサと、
前記多重化データが書き込まれ、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、
符号化および多重化を制御する制御部とを備え、
前記制御部は、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１バッファに記憶されているデータ量が、前記第１バッファに設定された第１最大量を超えたときに、
前記動画像エンコーダに、前記第１バッファにおいて、読み出されていない動画像符号化データのうち古い動画像符号化データから順に、新しく生成された動画像符号化データを上書きさせ、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第２バッファに記憶されているデータ量が、前記第２バッファに設定された第２最大量を超えたときに、
前記音声エンコーダに、前記第２バッファにおいて、読み出されていない音声符号化データのうち古い音声符号化データから順に、新しく生成された音声符号化データを上書きさせることを特徴とするデータ符号化装置。
【００６３】
（付記１１） 付記１０記載のデータ符号化装置において、
前記制御部は、
前記動画像エンコーダに、前記新しく生成された動画像符号化データを上書きさせた場合に、上書きにより消去された動画像符号化データに対応する前記第２バッファの音声符号化データを消去し、
前記音声エンコーダに、前記新しく生成された音声符号化データを上書きさせた場合に、上書きにより消去された音声符号化データに対応する前記第１バッファの動画像符号化データを消去することを特徴とするデータ符号化装置。
【００６４】
（付記１２） 付記７、付記９または付記１０のいずれか一項記載のデータ符号化装置において、
前記第１〜第３規格は、ＭＰＥＧ規格であることを特徴とするデータ符号化装置。
以上、本発明について詳細に説明してきたが、前述の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。
【００６５】
【発明の効果】
本発明の第１の形態では、第１および第２バッファのオーバーフローを防止できる。このため、誤った多重化データが出力されることを防止できる。
本発明の第２の形態では、符号化処理を停止した後に生成されたデータを、第１〜第３バッファに確実にそれぞれ書き込むことができる。このため、符号化処理を停止した後に、第１〜第３バッファにデータが書き込まれる場合でも、第１および第２バッファのオーバーフローを防止できる。
【００６６】
本発明の第３の形態では、第１および第２バッファのオーバーフローを防止できる。このため、誤った多重化データが出力されることを防止できる。外部要求が所定のレートで発生するようになった場合、特別な制御をすることなく、第３バッファから多重化データをそのまま出力することができる。
【００６７】
本発明の第４の形態では、第１または第２バッファにおいてデータの上書きを実施しても、マルチプレクサは、多重化する動画像符号化データおよび音声符号化データを正しく認識できる。このため、第１および第２バッファのオーバーフローを防止した場合と同様に、誤った多重化データが出力されることを防止できる。
【００６８】
本発明の第５の形態では、本発明を、ＭＰＥＧ規格に基づいたデータ符号化を利用する様々な用途に適用できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す構成図である。
【図２】第１の実施形態におけるデータ変換ＬＳＩの一例を示すブロック図である。
【図３】第１の実施形態におけるＭＰＥＧエンコーダのバッファ制御処理の動作を示すフローチャートである。
【図４】本発明の第２の実施形態を示すフローチャートである。
【図５】本発明の第３の実施形態を示すフローチャートである。
【図６】ＭＰＥＧエンコーダのバッファ制御処理の第４の動作例を示すフローチャートである。
【図７】ＭＰＥＧエンコーダのバッファ制御処理の第５の動作例を示すフローチャートである。
【符号の説明】
１０ システムコントローラ
１２ ＲＯＭ
１４ ＲＡＭ
２０ データ変換ＬＳＩ
２０ａ ＣＰＵ
２０ｂ ＤＭＡＣ
２０ｃ インタフェース回路
３０ ＵＳＢコントローラ
４０ パーソナルコンピュータ
SYS ビデオレコーディングシステム
DEC ＭＰＥＧデコーダ
ENC ＭＰＥＧエンコーダ
VDI、VDO 動画像データ
ADI、ADO 音声データ
VENC ビデオエンコーダ
AENC オーディオエンコーダ
BUF1 ビデオ用リングバッファ
BUF2 オーディオ用リングバッファ
BUF3 システム用リングバッファ
SI、SO データストリーム
SYSB システムバス
USB ユニバーサルシリアルバス
INTB 内部バス
【発明の属する技術分野】
本発明は、動画像データおよび音声データをＭＰＥＧ（Moving Picture Expert Group）規格に従って符号化するデータ符号化方法およびデータ符号化装置に関する。
【０００２】
【従来の技術】
近時、動画像データおよび音声データをＭＰＥＧ規格に従って符号化し、ＤＶＤ（Digital Versatile Disk）やハードディスクなどの記録メディアに記録するビデオレコーダの開発が進んでいる。
ビデオレコーダに搭載されるデータ符号化ＬＳＩは、例えば、動画像データおよび音声データをＭＰＥＧ規格に従って符号化（エンコード）するＭＰＥＧエンコーダを有している。ＭＰＥＧエンコーダは、ビデオエンコーダ、ビデオ用リングバッファ、オーディオエンコーダ、オーディオ用リングバッファ、マルチプレクサ、およびシステム用リングバッファを有している。
【０００３】
ビデオエンコーダは、ＩＴＵ−Ｒ６５６形式の動画像データをＭＰＥＧ２ビデオＭＰ＠ＭＬ形式でエンコードし、ＰＥＳ（Packetized Elementary Stream）形式のデータとしてビデオ用リングバッファに書き込む。
オーディオエンコーダは、Ｉ２Ｓ形式の音声データをＭＰＥＧ１オーディオＬａｙｅｒ２形式でエンコードし、ＰＥＳ形式のデータとしてオーディオ用リングバッファに書き込む。
【０００４】
マルチプレクサは、ビデオ用リングバッファおよびオーディオ用リングバッファから読み出したＰＥＳ形式のデータ同士を所定のタイミングで多重化（マルチプレクス）し、ＭＰＥＧ２システムＰＳ形式のデータストリームとしてシステム用リングバッファに書き込む。なお、マルチプレクサは、新たに多重化して生成するデータストリームを第３バッファに書き込める場合にのみ、多重化を実施する。
【０００５】
システム用リングバッファは、外部デバイスから供給されるストリーム出力要求信号の活性化に応答して、同期クロック、ストリーム出力許可信号などと共に、８ビットのパラレルデータストリームを外部デバイスに出力する。
また、ＭＥＰＧ規格に従って符号化されたデータを復号化（再生）するＭＰＥＧデコーダにおいて、逆方向再生を実現するためのリングバッファ制御方法が提案されている（例えば、特許文献１、２参照）。
【０００６】
【特許文献１】
特開平８−１３０７１５号公報
【特許文献２】
特開平８−２２３５３８号公報
【０００７】
【発明が解決しようとする課題】
前述のようなデータ符号化ＬＳＩでは、ストリーム出力要求信号の非活性化期間が長い場合、システム用リングバッファからデータストリームが出力されないため、システム用リングバッファにデータストリームが蓄積され続ける。これにより、マルチプレクサは、新たに多重化して生成するデータストリームを第３バッファに書き込めないと判定し、多重化を停止する場合がある。ビデオ用リングバッファおよびオーディオ用リングバッファからデータが読み出されないため、ビデオ用リングバッファおよびオーディオ用リングバッファにもデータが蓄積され続ける。
【０００８】
このため、ビデオ用リングバッファおよびオーディオ用リングバッファの少なくともいずれかがオーバーフローしてしまう場合がある。すなわち、ビデオ用リングバッファおよびオーディオ用リングバッファの少なくともいずれかにおいて、読み出されていないデータに新たに生成されたデータが上書きされてしまう。この結果、マルチプレクサは、多重化するタイミングや多重化するビデオ用リングバッファのデータおよびオーディオ用リングバッファのデータの位置を認識できなくなってしまう。この結果、マルチプレクサは、データストリームを正常に生成できなくなってしまう。すなわち、誤ったデータストリームがシステム用リングバッファから出力されてしまう。
【０００９】
本発明の目的は、ビデオ用リングバッファおよびオーディオ用リングバッファのオーバーフローを防止することにある。本発明の別の目的は、誤ったデータストリームが出力されることを防止することにある。
【００１０】
【課題を解決するための手段】
本発明の第１の形態では、まず、動画像データが第１規格に従って符号化されることで動画像符号化データが生成される。動画像符号化データは、第１バッファに書き込まれる。また、音声データが第２規格に従って符号化されることで音声符号化データが生成される。音声符号化データは、第２バッファに書き込まれる。次に、第１および第２バッファから読み出されたデータ同士が第３規格に従って所定のタイミングで多重化されることで、多重化データが生成される。多重化データは、第３バッファに書き込まれる。そして、第３バッファに書き込まれた多重化データが外部要求に応答して出力される。以上のような処理を実施する際に、新たに生成される多重化データの第３バッファへの書き込みが実施可能であると判定されたときにのみ、多重化データの生成は実施される。第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化処理は停止する。第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、第１〜第３基準量を下回ったとき、符号化処理は再開する。第１〜第３基準量は、第１〜第３バッファに第１〜第３最大量より小さくそれぞれ設定されている。
【００１１】
本発明が適用されるデータ符号化装置では、前述のように生成された動画像符号化データを出力する動画像エンコーダと、第１バッファと、前述のように生成された音声符号化データを出力する音声エンコーダと、第２バッファと、前述のように生成された多重化データを出力するマルチプレクサと、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、符号化および多重化を前述のように制御する制御部とを有している。
【００１２】
第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが第１〜第３最大量を超えたときに、符号化処理を停止するため、第１および第２バッファのオーバーフローを防止できる。第１および第２バッファにおいて、読み出されていないデータが上書きされることを防止できるため、多重化データが正常に生成されなくなることを防止できる。すなわち、誤った多重化データが出力されることを防止できる。
【００１３】
本発明の第２の形態では、第１バッファの容量は、符号化処理を停止してから動画像データの符号化が実際に停止するまでの間に第１バッファに書き込まれる最大のデータ量と第１最大量との和以上である。第２バッファの容量は、符号化処理を停止してから音声データの符号化が実際に停止するまでの間に第２バッファに書き込まれる最大のデータ量と第２最大量との和以上である。第３バッファの容量は、符号化処理を停止してから動画像データと音声データとの符号化が実際に停止するまでの間に第３バッファに書き込まれる最大のデータ量と第３最大量との和以上である。
【００１４】
このため、符号化処理を停止してから動画像データの符号化が実際に停止するまでの間に生成された動画像符号化データを第１バッファに確実に書き込むことができる。また、符号化処理を停止してから音声データの符号化が実際に停止するまでの間に生成された音声符号化データを第２バッファに確実に書き込むことができる。同様に、符号化処理を停止してから動画像データおよび音声データの符号化が実際に停止するまでの間に生成された多重化データを第３バッファに確実に書き込むことができる。この結果、符号化処理を停止した後に、第１〜第３バッファにデータが書き込まれる場合でも、第１および第２バッファのオーバーフローを防止できる。
【００１５】
本発明の第３の形態では、第３バッファに記憶されているデータ量が、第３バッファに設定された第３最大量を超え、かつ前記第１および第２バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、第１および第２バッファにそれぞれ設定された第１および第２最大量を超えたときに、第３バッファにおいて、読み出されていない多重化データのうち古い多重化データから順に、新たに生成された多重化データを上書きする。
【００１６】
第３バッファにおいて多重化データの上書きを許可することで、第３バッファに記憶されているデータ量が第３最大量を超えた後にも、多重化は継続される。すなわち、第１および第２バッファは、第３バッファに記憶されているデータ量が第３最大量を超えた後にも、データを出力し続けることができる。このため、第１および第２バッファのオーバーフローを防止できる。第１および第２バッファにおいて、読み出されていないデータが上書きされることを防止できるため、多重化データが正常に生成されなくなることを防止できる。すなわち、誤った多重化データが出力されることを防止できる。
【００１７】
第３バッファにおいて多重化データの上書きを実施することで、第３バッファから出力される多重化データの連続性は、一時的に失われる。しかしながら、第３バッファには、正常な多重化データが書き込まれているため、外部要求が所定のレートで発生するようになった場合、特別な制御をすることなく、第３バッファから多重化データをそのまま出力することができる。
【００１８】
本発明の第４の形態では、第３バッファに記憶されているデータ量が、第３バッファに設定された第３最大量を超え、かつ第１バッファに記憶されているデータ量が、第１バッファに設定された第１最大量を超えたときに、第１バッファにおいて、読み出されていない動画像符号化データのうち古い動画像符号化データから順に、新しく生成された動画像符号化データを上書きする。第３バッファに記憶されているデータ量が、第３バッファに設定された第３最大量を超え、かつ第２バッファに記憶されているデータ量が、第２バッファに設定された第２最大量を超えたときに、第２バッファにおいて、読み出されていない音声符号化データのうち古い音声符号化データから順に、新しく生成された音声符号化データを上書きする。
【００１９】
第１バッファ（または第２バッファ）において動画像符号化データ（または音声符号化データ）の上書きを許可することで、第１バッファ（または第２バッファ）に記憶されているデータ量が第１最大量（または第２最大量）を超えた後にも、動画像データ（または音声データ）の符号化を継続できる。
また、例えば、動画像符号化データ（または音声符号化データ）の一部が上書きにより消去されたときに、この動画像符号化データ（または音声符号化データ）に対応する音声符号化データ（または動画像符号化データ）も消去する。これにより、第１または第２バッファにおいてデータの上書きを実施しても、マルチプレクサは、多重化する動画像符号化データおよび音声符号化データを正しく認識できる。この結果、第１および第２バッファのオーバーフローを防止した場合と同様に、多重化データが正常に生成されなくなることを防止できる。すなわち、誤った多重化データが出力されることを防止できる。
【００２０】
本発明の第５の形態では、第１〜第３規格は、ＭＰＥＧ規格である。
ＭＰＥＧ規格は、動画像データおよび音声データの符号化に用いる規格の主流となっている。このため、本発明を、ＭＰＥＧ規格に基づいたデータ符号化を利用する様々な用途に適用できる。
【００２１】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の第１の実施形態を示している。本発明は、ビデオレコーディングシステムSYSのデータ変換ＬＳＩ２０に適用される。
ビデオレコーディングシステムSYSは、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、ＵＳＢ（Universal Serial Bus）コントローラ３０、パーソナルコンピュータ４０、システムバスSYSBおよびユニバーサルシリアルバスUSBから構成されている。システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、およびＵＳＢコントローラ３０は、例えば、ビデオレコーディングシステムを構成する基板に搭載されている。
【００２２】
システムコントローラ１０は、ＲＯＭ１２に記録されているプログラムに従って各部を制御するとともに、各種演算処理を実行する。
ＲＡＭ１４は、システムコントローラ１０が実行対象とするプログラムや、演算処理中のデータを一時的に記憶する。バスSYSBは、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、ＵＳＢコントローラ３０を相互に接続し、これらの間でデータの授受を可能にする。
【００２３】
データ変換ＬＳＩ２０は、ＩＴＵ−Ｒ６５６形式の動画像データVDIとＩ２Ｓ形式の音声データADIとをデータ変換し、ＭＰＥＧ２システムＰＳ形式のデータストリームSOをＵＳＢ３０コントローラに出力する。データ変換ＬＳＩ２０は、ＵＳＢコントローラ３０から供給されるＭＰＥＧ２システムＰＳ形式のデータストリームSIをデータ変換し、ＩＴＵ−Ｒ６５６形式の動画像データVDOとＩ２Ｓ形式の音声データADOとを出力する。データ変換ＬＳＩ２０の詳細については、図２で説明する。
【００２４】
ＵＳＢコントローラ３０は、バスUSBのインタフェースとして機能し、データ変換ＬＳＩ２０から供給されるデータストリームをパーソナルコンピュータ４０に出力するとともに、パーソナルコンピュータ４０から供給されるデータストリームをデータ変換ＬＳＩ２０に出力する。パーソナルコンピュータ４０は、バスUSBを介して、ＵＳＢコントローラ３０との間でデータストリームを授受する。
【００２５】
図２は、第１の実施形態におけるデータ変換ＬＳＩ２０の一例を示している。
データ変換ＬＳＩ２０は、ＣＰＵ２０ａ（制御部）、ＤＭＡＣ（Direct Memory Access Controller）２０ｂ、インタフェース回路２０ｃ、ＭＰＥＧエンコーダENC、ＭＰＥＧデコーダDEC、および内部バスINTBを有している。
システムコントローラ１０は、バスSYSBを介して、ＲＯＭ１２に格納されているデータ変換ＬＳＩ２０用のファームウェアを取得し、ＲＡＭ１４の所定の領域に格納する。ＣＰＵ２０ａは、このようにしてＲＡＭ１４に格納されたファームウェアに従って動作する。ＤＭＡＣ２０ｂは、ＣＰＵ２０ａを介さずにデータをＲＡＭ１４との間で直接授受する。インタフェース回路２０ｃは、主に、ＲＡＭ１４との間でデータを授受する際のインタフェースとして機能する。バスINTBは、ＣＰＵ２０ａ、ＤＭＡＣ２０ｂ、インタフェース回路２０ｃ、ＭＰＥＧエンコーダENC内のリングバッファ（ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2、システム用リングバッファBUF3）、ＭＰＥＧデコーダDEC内のリングバッファ（図示せず）を相互に接続し、これらの間でデータの授受を可能にする。
【００２６】
ＭＰＥＧエンコーダENCは、ビデオエンコーダVENC（動画像エンコーダ）、ビデオ用リングバッファBUF1（第１バッファ）、オーディオエンコーダAENC（音声エンコーダ）、オーディオ用リングバッファBUF2（第２バッファ）、マルチプレクサMPX、およびシステム用リングバッファBUF3（第３バッファ）を有している。
【００２７】
ビデオエンコーダVENCは、ＩＴＵ−Ｒ６５６形式の動画像データVDIをＭＰＥＧ２ビデオＭＰ＠ＭＬ形式でエンコードし、ＰＥＳ形式のデータ（動画像符号化データ）としてビデオ用リングバッファBUF1に書き込む。
オーディオエンコーダAENCは、Ｉ２Ｓ形式の音声データADIをＭＰＥＧ１オーディオＬａｙｅｒ２形式でエンコードし、ＰＥＳ形式のデータ（音声符号化データ）としてオーディオ用リングバッファBUF2に書き込む。
【００２８】
マルチプレクサMPXは、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2から読み出したＰＥＳ形式のデータ同士を所定のタイミングでマルチプレクスし、ＭＰＥＧ２システムＰＳ形式のデータストリーム（多重化データ）としてシステム用リングバッファBUF3に書き込む。なお、マルチプレクサMPXは、新たに多重化して生成するデータストリームをシステム用リングバッファBUF3に書き込める場合にのみ、多重化を実施する。
【００２９】
システム用リングバッファBUF3は、ＵＳＢコントローラ３０から供給されるストリーム出力要求信号REQの活性化に応答して、同期クロックCLK、ストリーム出力許可信号ENおよび８ビットのパラレルデータストリームSOをＵＳＢコントローラ３０に出力する。
なお、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3は、読み出し要求に応答して、記憶しているデータを最初に書き込まれたデータから順に出力する。すなわち、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3は、ＦＩＦＯ（First In First Out）形式のバッファとして動作する。
【００３０】
ＭＰＥＧデコーダDECは、ＵＳＢコントローラ３０から供給されるＭＰＥＧ２システムＰＳ形式のデータストリームSIをデコード処理し、ＩＴＵ−Ｒ６５６形式の動画像データVDOとＩ２Ｓ形式の音声データADOとを出力する。
図３は、第１の実施形態におけるＭＰＥＧエンコーダENCのバッファ制御処理の動作を示している。
【００３１】
バッファ制御処理は、ＣＰＵ２０ａがＲＡＭ１４に格納されたファームウェアに従って動作することで実施される。
ＣＰＵ２０ａは、以下のような動作を、動画像データVDIおよび音声データAVIに対するエンコード処理の実施中に繰り返す。
ステップＳ１１０において、ＣＰＵ２０ａは、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3にそれぞれ記憶されているデータ量D1、D2、D3を監視する。例えば、ビデオ用リングバッファBUF1は、書き込みポインタと読み出しポインタとを有し、ＣＰＵ２０ａは、ＤＭＡＣ２０ｂにより転送された書き込みポインタの値と読み出しポインタの値とを用いてデータ量D1を算出する。ＣＰＵ２０ａは、データ量D2、D3も同様に算出する。
【００３２】
データ量D1がビデオ用リングバッファBUF1に設定された第１最大量M1を超えた場合、またはデータ量D2がオーディオ用リングバッファBUF2に設定された第２最大量M2を超えた場合、またはデータ量D3がシステム用リングバッファBUF3に設定された第３最大量M3を超えた場合、処理はステップＳ１２０に移行する。この条件が満たされない場合、ＣＰＵ２０ａは、データ量D1、D2、D3の監視を継続する。
【００３３】
ステップＳ１２０において、ＣＰＵ２０ａは、符号化処理を停止する、すなわち符号化の停止をビデオエンコーダVENCおよびオーディオエンコーダAENCにそれぞれ要求する。このため、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローが防止される。この後、処理はステップＳ１３０に移行する。
【００３４】
なお、ビデオ用リングバッファBUF1の容量は、ＣＰＵ２０ａが符号化の停止を要求してから動画像データVDIの符号化が実際に停止するまでの間にビデオ用リングバッファBUF1に書き込まれる最大のデータ量と第１最大量M1との和以上である。例えば、ビデオリング用バッファBUF1の容量、およびＣＰＵ２０ａが符号化の停止を要求してから動画像データVDIの符号化が実際に停止するまでの間にビデオ用リングバッファBUF1に書き込まれる最大のデータ量は、それぞれ２５６ｋｂｙｔｅ、２７ｋｂｙｔｅである。すなわち、第１最大量が２２９ｋｂｙｔｅ以下に予め設定されることで、ビデオ用リングバッファBUF1のオーバーフローが確実に回避される。
【００３５】
また、オーディオ用リングバッファBUF2の容量は、ＣＰＵ２０ａが符号化の停止を要求してから音声データADIの符号化が実際に停止するまでの間にオーディオ用リングバッファBUF2に書き込まれる最大のデータ量と第２最大量M2との和以上である。
同様に、システム用リングバッファBUF3の容量は、ＣＰＵ２０ａが符号化の停止を要求してから動画像データVDIと音声データADIとの符号化が実際に停止するまでの間にシステム用リングバッファBUF3に書き込まれる最大のデータ量と第３最大量M3との和以上である。
【００３６】
ステップＳ１３０において、ＣＰＵ２０ａは、データ量D1、D2、D3を再び監視する。データ量D1、D2、D3のすべてが、第１基準量B1、第２基準量B2、第３基準量B3をそれぞれ下回った場合、処理はステップＳ１４０に移行する。ここで、第１基準量B1、第２基準量B2、第３基準量B3は、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3に第１最大量M1、第２最大量M2、第３最大量M3より小さくそれぞれ設定されている。この条件が満たされない場合、ＣＰＵ２０ａは、データ量D1、D2、D3の監視を継続する。
【００３７】
ステップＳ１４０において、ＣＰＵ２０ａは、符号化処理を再開する、すなわち符号化の再開をビデオエンコーダVENCおよびオーディオエンコーダAENCにそれぞれ要求する。これにより、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを回避するための処理は、完了する。
【００３８】
以上、第１の実施形態では、次の効果が得られる。
データ量D1、D2、D3の少なくともいずれかが第１最大量M1、第２最大量M2、第３最大量M3を超えたときに、符号化処理を停止するため、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止できる。ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2において、読み出されていないデータが上書きされることを防止できるため、データストリームが正常に生成されなくなることを防止できる。すなわち、誤ったデータストリームが出力されることを防止できる。
【００３９】
ＣＰＵ２０ａが符号化の停止を要求した後に生成されたデータを、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3に、確実にそれぞれ書き込むことができる。このため、ＣＰＵ２０ａが符号化の停止を要求した後に、ビデオ用リングバッファBUF1、オーディオ用リングバッファBUF2およびシステム用リングバッファBUF3にデータが書き込まれる場合でも、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止できる。
【００４０】
図４は、第２の実施形態におけるＭＰＥＧエンコーダENCのバッファ制御処理の動作を示している。この実施形態のビデオレコーディングシステムは、ＲＯＭ１２に格納されているデータ変換ＬＳＩ２０用のファームウェアが異なることを除き、第１の実施形態（図１）と同一である。第１の実施形態で説明した要素と同一の要素については、同一の符号を付し、詳細な説明は省略する。
【００４１】
バッファ制御処理は、第１の実施形態と同様に、ＣＰＵ２０ａがＲＡＭ１４に格納されたファームウェアに従って動作することで実施される。
ＣＰＵ２０ａは、以下のような動作を、動画像データVDIおよび音声データADIに対するエンコード処理の実施中に繰り返す。
ステップＳ２１０において、ＣＰＵ２０ａは、データ量D1、D2、D3を監視する。データ量D3が第３最大量M3を超え、かつデータ量D1が第１最大量M1を超えた場合、またはデータ量D3が第３最大量M3を超え、かつデータ量D2が第２最大量M2を超えた場合、処理はステップＳ２２０に移行する。この条件が満たされない場合、ＣＰＵ２０ａは、データ量D1、D2、D3の監視を継続する。
【００４２】
ステップＳ２２０において、ＣＰＵ２０ａは、マルチプレクサMPXに、システム用リングバッファBUF3のデータ上書きを要求する。マルチプレクサMPXは、システム用リングバッファBUF3において、読み出されていないデータストリームのうち古いデータストリームから順に、新たに生成されたデータストリームを上書きする。
【００４３】
システム用リングバッファBUF3においてデータストリームの上書きを許可することで、データ量D3が第３最大量M3を超えた後にも、マルチプレクサMPXは動作し続ける。すなわち、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2は、データ量D3が第３最大量M3を超えた後にも、データを出力し続ける。このため、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローが防止される。これにより、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを回避するための処理は、完了する。
【００４４】
以上、第２の実施形態では、第１の実施形態と同様の効果が得られる。さらに、システム用リングバッファBUF3においてデータストリームの上書きを実施することで、システム用リングバッファBUF3から出力されるデータストリームSOの連続性は、一時的に失われる。しかしながら、システム用リングバッファBUF3には、正常なデータストリームが書き込まれている。このため、ストリーム出力要求信号REQが所定のレートで活性化されるようになった場合、特別な制御をすることなく、システム用リングバッファBUF3からデータストリームをそのまま出力できる。
【００４５】
図５は、第３の実施形態におけるＭＰＥＧエンコーダENCのバッファ制御処理の動作を示している。この実施形態のビデオレコーディングシステムは、ＲＯＭ１２に格納されているデータ変換ＬＳＩ２０用のファームウェアが異なることを除き、第１の実施形態（図１）と同一である。第１の実施形態で説明した要素と同一の要素については、同一の符号を付し、詳細な説明は省略する。
【００４６】
バッファ制御処理は、第１の実施形態と同様に、ＣＰＵ２０ａがＲＡＭ１４に格納されたファームウェアに従って動作することで実施される。
ＣＰＵ２０ａは、以下のような動作を、動画像データVDIおよび音声データADIに対するエンコード処理の実施中に繰り返す。
ステップＳ３１０において、ＣＰＵ２０ａは、データ量D1、D3を監視する。データ量D3が第３最大量M3を超え、かつデータ量D1が第１最大量M1を超えた場合、処理はステップＳ３２０に移行する。この条件を満たさない場合、処理はステップＳ３３０に移行する。
【００４７】
ステップＳ３２０において、ＣＰＵ２０ａは、ビデオエンコーダVENCに、ビデオ用リングバッファBUF1のデータ上書きを要求する。ビデオエンコーダVENCは、ビデオ用リングバッファBUF1において、読み出されていないデータのうち古いデータから順に、新しく生成されたデータを上書きする。ＣＰＵ２０ａは、上書きにより消去されたビデオ用リングバッファBUF1のデータに対応するオーディオ用リングバッファBUF2のデータを消去する。
【００４８】
ビデオ用リングバッファBUF1のデータの一部が上書きにより消去されたときに、このデータに対応するオーディオ用リングバッファBUF2のデータも消去される。このため、ビデオ用リングバッファBUF1においてデータの上書きを実施しても、ビデオ用リングバッファBUF1から出力されるデータおよびオーディオ用リングバッファBUF2から出力されるデータは、対応がとれている。従って、マルチプレクサMPXは、多重化するビデオ用リングバッファBUF1のデータおよびオーディオ用リングバッファBUF2のデータを正しく認識する。この結果、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止した場合と同様に、データストリームが正常に生成されなくなることが防止される。これにより、データストリームが正常に生成されなくなることを回避するための処理は、完了する。
【００４９】
ステップＳ３３０において、ＣＰＵ２０ａは、データ量D2、D3を監視する。データ量D3が第３最大量M3を超え、かつデータ量D2が第２最大量M2を超えた場合、処理はステップＳ３４０に移行する。この条件を満たさない場合、処理はステップＳ３１０に移行する。
ステップＳ３４０において、ＣＰＵ２０ａは、オーディオエンコーダAENCに、オーディオ用リングバッファBUF2のデータ上書きを要求する。オーディオエンコーダAENCは、オーディオ用リングバッファBUF2において、読み出されていないデータのうち古いデータから順に、新しく生成されたデータを上書きする。ＣＰＵ２０ａは、上書きにより消去されたオーディオ用リングバッファBUF2のデータに対応するビデオ用リングバッファBUF1のデータを消去する。
【００５０】
オーディオ用リングバッファBUF2のデータの一部が上書きにより消去されたときに、このデータに対応するビデオ用リングバッファBUF1のデータも消去される。このため、オーディオ用リングバッファBUF2においてデータの上書きを実施しても、ビデオ用リングバッファBUF1から出力されるデータおよびオーディオ用リングバッファBUF2から出力されるデータは、対応がとれている。従って、マルチプレクサMPXは、多重化するビデオ用リングバッファBUF1のデータおよびオーディオ用リングバッファBUF2のデータを正しく認識する。この結果、ビデオ用リングバッファBUF1およびオーディオ用リングバッファBUF2のオーバーフローを防止した場合と同様に、データストリームが正常に生成されなくなることが防止される。これにより、データストリームが正常に生成されなくなることを回避するための処理は、完了する。
【００５１】
以上、第３の実施形態では、第１の実施形態と同様の効果が得られる。
なお、第１の実施形態では、データ量D1、D2、D3のすべてが、第１基準量B1、第２基準量B2、第３基準量B3をそれぞれ下回った場合、符号化処理が再開される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、図６に示すように、データ量D1、D2の両方が、第１基準量B1、第２基準量B2をそれぞれ下回った場合、符号化処理が再開されてもよい。なお、符号化処理の再開条件は、データ量D1、D3の両方が、第１基準量B1、第３基準量B3をそれぞれ下回った場合、またはデータ量D2、D3の両方が、第２基準量B2、第３基準量B3をそれぞれ下回った場合であってもよい。
【００５２】
また、例えば、図７に示すように、データ量D3が、第３基準量B3を下回った場合、符号化処理が再開されてもよい。なお、符号化処理の再開条件は、データ量D1が、第１基準量B1を下回った場合、またはデータ量D2が、第２基準量B2を下回った場合であってもよい。
第１〜第３の実施形態では、データストリームがＵＳＢコントローラ３０およびバスUSBを介して授受される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、データストリームは、ＰＣＩ（Peripheral Component Interconnect）バスコントローラおよびＰＣＩバスを介して授受されてもよい。
【００５３】
第１〜第３の実施形態では、本発明をＭＰＥＧエンコーダENCおよびＭＰＥＧデコーダDECが共に搭載されたＬＳＩに適用した例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、本発明をＭＰＥＧエンコーダ専用のＬＳＩに適用してもよい。
第１〜第３の実施形態では、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、およびＵＳＢコントローラ３０が個別のチップとして形成された例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、システムコントローラ１０、ＲＯＭ１２、ＲＡＭ１４、データ変換ＬＳＩ２０、およびＵＳＢコントローラ３０は、１チップで形成されてもよい。
【００５４】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１） 動画像データを第１規格に従って符号化して動画像符号化データを生成し、
前記動画像符号化データを第１バッファに書き込み、
音声データを第２規格に従って符号化して音声符号化データを生成し、
前記音声符号化データを第２バッファに書き込み、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化して多重化データを生成し、
前記多重化データを第３バッファに書き込み、
前記第３バッファに書き込まれた多重化データを外部要求に応答して出力するデータ符号化方法において、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化処理を停止し、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファに前記第１〜第３最大量より小さくそれぞれ設定された第１〜第３基準量を下回ったとき、符号化処理を再開することを特徴とするデータ符号化方法。
【００５５】
（付記２） 付記１記載のデータ符号化方法において、
前記第１バッファの容量は、符号化処理を停止してから前記動画像データの符号化が実際に停止するまでの間に前記第１バッファに書き込まれる最大のデータ量と前記第１最大量との和以上であり、
前記第２バッファの容量は、符号化処理を停止してから前記音声データの符号化が実際に停止するまでの間に前記第２バッファに書き込まれる最大のデータ量と前記第２最大量との和以上であり、
前記第３バッファの容量は、符号化処理を停止してから前記動画像データと前記音声データとの符号化が実際に停止するまでの間に前記第３バッファに書き込まれる最大のデータ量と前記第３最大量との和以上であることを特徴とするデータ符号化方法。
【００５６】
（付記３） 動画像データを第１規格に従って符号化して動画像符号化データを生成し、
前記動画像符号化データを第１バッファに書き込み、
音声データを第２規格に従って符号化して音声符号化データを生成し、
前記音声符号化データを第２バッファに書き込み、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化して多重化データを生成し、
前記多重化データを第３バッファに書き込み、
前記第３バッファに書き込まれた多重化データを外部要求に応答して出力するデータ符号化方法において、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１および第２バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１および第２バッファにそれぞれ設定された第１および第２最大量を超えたときに、前記第３バッファにおいて、読み出されていない多重化データのうち古い多重化データから順に、新たに生成された多重化データを上書きすることを特徴とするデータ符号化方法。
【００５７】
（付記４） 動画像データを第１規格に従って符号化して動画像符号化データを生成し、
前記動画像符号化データを第１バッファに書き込み、
音声データを第２規格に従って符号化して音声符号化データを生成し、
前記音声符号化データを第２バッファに書き込み、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化して多重化データを生成し、
前記多重化データを第３バッファに書き込み、
前記第３バッファに書き込まれた多重化データを外部要求に応答して出力するデータ符号化方法において、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１バッファに記憶されているデータ量が、前記第１バッファに設定された第１最大量を超えたときに、
前記第１バッファにおいて、読み出されていない動画像符号化データのうち古い動画像符号化データから順に、新しく生成された動画像符号化データを上書きし、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第２バッファに記憶されているデータ量が、前記第２バッファに設定された第２最大量を超えたときに、
前記第２バッファにおいて、読み出されていない音声符号化データのうち古い音声符号化データから順に、新しく生成された音声符号化データを上書きすることを特徴とするデータ符号化方法。
【００５８】
（付記５） 付記４記載のデータ符号化方法において、
前記新しく生成された動画像符号化データを上書きした場合に、上書きにより消去された動画像符号化データに対応する前記第２バッファの音声符号化データを消去し、
前記新しく生成された音声符号化データを上書きした場合に、上書きにより消去された音声符号化データに対応する前記第１バッファの動画像符号化データを消去することを特徴とするデータ符号化方法。
【００５９】
（付記６） 付記１、付記３または付記４のいずれか一項記載のデータ符号化方法において、
前記第１〜第３規格は、ＭＰＥＧ規格であることを特徴とするデータ符号化方法。
（付記７） 動画像データを第１規格に従って符号化し、動画像符号化データとして出力する動画像エンコーダと、
前記動画像符号化データが書き込まれる第１バッファと、
音声データを第２規格に従って符号化し、音声符号化データとして出力する音声エンコーダと、
前記音声符号化データが書き込まれる第２バッファと、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化し、多重化データとして出力するマルチプレクサと、
前記多重化データが書き込まれ、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、
符号化および多重化を制御する制御部とを備え、
前記制御部は、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化の停止を前記動画像エンコーダおよび前記音声エンコーダに要求し、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファに前記第１〜第３最大量より小さくそれぞれ設定された第１〜第３基準量を下回ったとき、符号化の再開を前記動画像エンコーダおよび前記音声エンコーダに要求することを特徴とするデータ符号化装置。
【００６０】
（付記８） 付記７記載のデータ符号化装置において、
前記第１バッファの容量は、前記制御部が符号化の停止を要求してから前記動画像データの符号化が実際に停止するまでの間に前記第１バッファに書き込まれる最大のデータ量と前記第１最大量との和以上であり、
前記第２バッファの容量は、前記制御部が符号化の停止を要求してから前記音声データの符号化が実際に停止するまでの間に前記第２バッファに書き込まれる最大のデータ量と前記第２最大量との和以上であり、
前記第３バッファの容量は、前記制御部が符号化の停止を要求してから前記動画像データと前記音声データとの符号化が実際に停止するまでの間に前記第３バッファに書き込まれる最大のデータ量と前記第３最大量との和以上であることを特徴とするデータ符号化装置。
【００６１】
（付記９） 動画像データを第１規格に従って符号化し、動画像符号化データとして出力する動画像エンコーダと、
前記動画像符号化データが書き込まれる第１バッファと、
音声データを第２規格に従って符号化し、音声符号化データとして出力する音声エンコーダと、
前記音声符号化データが書き込まれる第２バッファと、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化し、多重化データとして出力するマルチプレクサと、
前記多重化データが書き込まれ、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、
符号化および多重化を制御する制御部とを備え、
前記制御部は、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１および第２バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１および第２バッファにそれぞれ設定された第１および第２最大量を超えたときに、前記マルチプレクサに、前記第３バッファにおいて、読み出されていない多重化データのうち古い多重化データから順に、新たに生成された多重化データを上書きさせることを特徴とするデータ符号化装置。
【００６２】
（付記１０） 動画像データを第１規格に従って符号化し、動画像符号化データとして出力する動画像エンコーダと、
前記動画像符号化データが書き込まれる第１バッファと、
音声データを第２規格に従って符号化し、音声符号化データとして出力する音声エンコーダと、
前記音声符号化データが書き込まれる第２バッファと、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化し、多重化データとして出力するマルチプレクサと、
前記多重化データが書き込まれ、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、
符号化および多重化を制御する制御部とを備え、
前記制御部は、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第１バッファに記憶されているデータ量が、前記第１バッファに設定された第１最大量を超えたときに、
前記動画像エンコーダに、前記第１バッファにおいて、読み出されていない動画像符号化データのうち古い動画像符号化データから順に、新しく生成された動画像符号化データを上書きさせ、
前記第３バッファに記憶されているデータ量が、前記第３バッファに設定された第３最大量を超え、かつ前記第２バッファに記憶されているデータ量が、前記第２バッファに設定された第２最大量を超えたときに、
前記音声エンコーダに、前記第２バッファにおいて、読み出されていない音声符号化データのうち古い音声符号化データから順に、新しく生成された音声符号化データを上書きさせることを特徴とするデータ符号化装置。
【００６３】
（付記１１） 付記１０記載のデータ符号化装置において、
前記制御部は、
前記動画像エンコーダに、前記新しく生成された動画像符号化データを上書きさせた場合に、上書きにより消去された動画像符号化データに対応する前記第２バッファの音声符号化データを消去し、
前記音声エンコーダに、前記新しく生成された音声符号化データを上書きさせた場合に、上書きにより消去された音声符号化データに対応する前記第１バッファの動画像符号化データを消去することを特徴とするデータ符号化装置。
【００６４】
（付記１２） 付記７、付記９または付記１０のいずれか一項記載のデータ符号化装置において、
前記第１〜第３規格は、ＭＰＥＧ規格であることを特徴とするデータ符号化装置。
以上、本発明について詳細に説明してきたが、前述の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。
【００６５】
【発明の効果】
本発明の第１の形態では、第１および第２バッファのオーバーフローを防止できる。このため、誤った多重化データが出力されることを防止できる。
本発明の第２の形態では、符号化処理を停止した後に生成されたデータを、第１〜第３バッファに確実にそれぞれ書き込むことができる。このため、符号化処理を停止した後に、第１〜第３バッファにデータが書き込まれる場合でも、第１および第２バッファのオーバーフローを防止できる。
【００６６】
本発明の第３の形態では、第１および第２バッファのオーバーフローを防止できる。このため、誤った多重化データが出力されることを防止できる。外部要求が所定のレートで発生するようになった場合、特別な制御をすることなく、第３バッファから多重化データをそのまま出力することができる。
【００６７】
本発明の第４の形態では、第１または第２バッファにおいてデータの上書きを実施しても、マルチプレクサは、多重化する動画像符号化データおよび音声符号化データを正しく認識できる。このため、第１および第２バッファのオーバーフローを防止した場合と同様に、誤った多重化データが出力されることを防止できる。
【００６８】
本発明の第５の形態では、本発明を、ＭＰＥＧ規格に基づいたデータ符号化を利用する様々な用途に適用できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す構成図である。
【図２】第１の実施形態におけるデータ変換ＬＳＩの一例を示すブロック図である。
【図３】第１の実施形態におけるＭＰＥＧエンコーダのバッファ制御処理の動作を示すフローチャートである。
【図４】本発明の第２の実施形態を示すフローチャートである。
【図５】本発明の第３の実施形態を示すフローチャートである。
【図６】ＭＰＥＧエンコーダのバッファ制御処理の第４の動作例を示すフローチャートである。
【図７】ＭＰＥＧエンコーダのバッファ制御処理の第５の動作例を示すフローチャートである。
【符号の説明】
１０ システムコントローラ
１２ ＲＯＭ
１４ ＲＡＭ
２０ データ変換ＬＳＩ
２０ａ ＣＰＵ
２０ｂ ＤＭＡＣ
２０ｃ インタフェース回路
３０ ＵＳＢコントローラ
４０ パーソナルコンピュータ
SYS ビデオレコーディングシステム
DEC ＭＰＥＧデコーダ
ENC ＭＰＥＧエンコーダ
VDI、VDO 動画像データ
ADI、ADO 音声データ
VENC ビデオエンコーダ
AENC オーディオエンコーダ
BUF1 ビデオ用リングバッファ
BUF2 オーディオ用リングバッファ
BUF3 システム用リングバッファ
SI、SO データストリーム
SYSB システムバス
USB ユニバーサルシリアルバス
INTB 内部バス
Claims (6)
- 動画像データを第１規格に従って符号化して動画像符号化データを生成し、
前記動画像符号化データを第１バッファに書き込み、
音声データを第２規格に従って符号化して音声符号化データを生成し、
前記音声符号化データを第２バッファに書き込み、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化して多重化データを生成し、
前記多重化データを第３バッファに書き込み、
前記第３バッファに書き込まれた多重化データを外部要求に応答して出力するデータ符号化方法において、
新たに生成される多重化データの前記第３バッファへの書き込みが実施可能であると判定されたときにのみ、多重化データの生成を実施し、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化処理を停止し、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファに前記第１〜第３最大量より小さくそれぞれ設定された第１〜第３基準量を下回ったとき、符号化処理を再開することを特徴とするデータ符号化方法。 - 請求項１記載のデータ符号化方法において、
前記第１バッファの容量は、符号化処理を停止してから前記動画像データの符号化が実際に停止するまでの間に前記第１バッファに書き込まれる最大のデータ量と前記第１最大量との和以上であり、
前記第２バッファの容量は、符号化処理を停止してから前記音声データの符号化が実際に停止するまでの間に前記第２バッファに書き込まれる最大のデータ量と前記第２最大量との和以上であり、
前記第３バッファの容量は、符号化処理を停止してから前記動画像データと前記音声データとの符号化が実際に停止するまでの間に前記第３バッファに書き込まれる最大のデータ量と前記第３最大量との和以上であることを特徴とするデータ符号化方法。 - 請求項１記載のデータ符号化方法において、
前記第１〜第３規格は、ＭＰＥＧ規格であることを特徴とするデータ符号化方法。 - 動画像データを第１規格に従って符号化し、動画像符号化データとして出力する動画像エンコーダと、
前記動画像符号化データが書き込まれる第１バッファと、
音声データを第２規格に従って符号化し、音声符号化データとして出力する音声エンコーダと、
前記音声符号化データが書き込まれる第２バッファと、
前記第１および第２バッファから読み出したデータ同士を第３規格に従って所定のタイミングで多重化し、多重化データとして出力するマルチプレクサと、
前記多重化データが書き込まれ、書き込まれた多重化データを外部要求に応答して出力する第３バッファと、
符号化および多重化を制御する制御部とを備え、
前記制御部は、
新たに生成される多重化データの前記第３バッファへの書き込みが実施可能であると判定されたときにのみ、前記マルチプレクサに、多重化データの生成を実施させ、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファにそれぞれ設定された第１〜第３最大量を超えたとき、符号化の停止を前記動画像エンコーダおよび前記音声エンコーダに要求し、
前記第１〜第３バッファにそれぞれ記憶されているデータ量の少なくともいずれかが、前記第１〜第３バッファに前記第１〜第３最大量より小さくそれぞれ設定された第１〜第３基準量を下回ったとき、符号化の再開を前記動画像エンコーダおよび前記音声エンコーダに要求することを特徴とするデータ符号化装置。 - 請求項４記載のデータ符号化装置において、
前記第１バッファの容量は、前記制御部が符号化の停止を要求してから前記動画像データの符号化が実際に停止するまでの間に前記第１バッファに書き込まれる最大のデータ量と前記第１最大量との和以上であり、
前記第２バッファの容量は、前記制御部が符号化の停止を要求してから前記音声データの符号化が実際に停止するまでの間に前記第２バッファに書き込まれる最大のデータ量と前記第２最大量との和以上であり、
前記第３バッファの容量は、前記制御部が符号化の停止を要求してから前記動画像データと前記音声データとの符号化が実際に停止するまでの間に前記第３バッファに書き込まれる最大のデータ量と前記第３最大量との和以上であることを特徴とするデータ符号化装置。 - 請求項４記載のデータ符号化装置において、
前記第１〜第３規格は、ＭＰＥＧ規格であることを特徴とするデータ符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003089912A JP4153817B2 (ja) | 2003-03-28 | 2003-03-28 | データ符号化方法およびデータ符号化装置 |
| US10/756,256 US7061983B2 (en) | 2003-03-28 | 2004-01-14 | Data coding method and data coding device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003089912A JP4153817B2 (ja) | 2003-03-28 | 2003-03-28 | データ符号化方法およびデータ符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297666A JP2004297666A (ja) | 2004-10-21 |
| JP4153817B2 true JP4153817B2 (ja) | 2008-09-24 |
Family
ID=32985260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003089912A Expired - Fee Related JP4153817B2 (ja) | 2003-03-28 | 2003-03-28 | データ符号化方法およびデータ符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7061983B2 (ja) |
| JP (1) | JP4153817B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7274862B2 (en) * | 2001-09-27 | 2007-09-25 | Sony Corporation | Information processing apparatus |
| JP2005275643A (ja) * | 2004-03-24 | 2005-10-06 | Hitachi Ltd | コンテンツデータ処理装置及び方法 |
| JP4661373B2 (ja) * | 2004-10-15 | 2011-03-30 | Ｋｄｄｉ株式会社 | 特定メディアデータの破棄を制御する送信装置及び送信プログラム |
| CN100508603C (zh) * | 2006-08-07 | 2009-07-01 | 黄山好视达通信技术有限公司 | 视频图像数据的流控装置和方法 |
| US9276989B2 (en) | 2012-03-30 | 2016-03-01 | Adobe Systems Incorporated | Buffering in HTTP streaming client |
| JP2016158133A (ja) * | 2015-02-25 | 2016-09-01 | 沖電気工業株式会社 | 通信装置、遅延回復方法および遅延回復プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU697039B2 (en) * | 1993-12-18 | 1998-09-24 | Sony Corporation | Data reproduction apparatus and data storage |
| JPH08130715A (ja) | 1994-10-31 | 1996-05-21 | Sony Corp | 画像再生装置 |
| US5543853A (en) * | 1995-01-19 | 1996-08-06 | At&T Corp. | Encoder/decoder buffer control for variable bit-rate channel |
| JP3319209B2 (ja) * | 1995-02-17 | 2002-08-26 | ソニー株式会社 | データ復号化装置 |
| JP3763153B2 (ja) * | 1995-12-13 | 2006-04-05 | ソニー株式会社 | データ処理装置及びデータ処理方法 |
| US6212208B1 (en) * | 1996-11-11 | 2001-04-03 | Matsushita Electric Industrial Co., Ltd. | Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data |
| KR100235438B1 (ko) * | 1997-02-04 | 1999-12-15 | 구자홍 | 광디스크의 오디오재생신호 보상처리방법 및 장치 |
-
2003
- 2003-03-28 JP JP2003089912A patent/JP4153817B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-14 US US10/756,256 patent/US7061983B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040190608A1 (en) | 2004-09-30 |
| US7061983B2 (en) | 2006-06-13 |
| JP2004297666A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100266196B1 (ko) | 멀티미디어 데이터 부호화 다중화 방법 및 그 장치와, 멀티미디어 데이터 부호화 다중화 프로그램 기록 매체 | |
| JP5087985B2 (ja) | データ処理装置、データ処理方法、及びプログラム | |
| JP4667108B2 (ja) | データ処理装置 | |
| US20050175321A1 (en) | Recording method, recording apparatus, recording medium, reproduction method, reproduction apparatus and image pickup apparatus | |
| JPH10507597A (ja) | マルチメディア・システムのためのプログラマブルなオーディオ−ビデオ同期方法および装置 | |
| KR20040017773A (ko) | 기록 장치 및 방법, 기록 매체 및 프로그램 | |
| JP4153817B2 (ja) | データ符号化方法およびデータ符号化装置 | |
| JPH10154125A (ja) | Ｄｍａデータ転送装置および同装置を使用した動画像復号化装置並びにｄｍａデータ転送制御方法 | |
| US20080317139A1 (en) | Moving picture coding apparatus | |
| JP4438059B2 (ja) | 画像再生装置及びその制御方法 | |
| JP2004173069A (ja) | 画像データ記録装置及び記録方法 | |
| US20080267597A1 (en) | Image data recording/playback device, system, and method | |
| JP4289138B2 (ja) | データ処理装置およびその方法と符号化装置 | |
| JP4900945B2 (ja) | 記録装置、及び記録方法 | |
| JP4770023B2 (ja) | デジタル信号処理装置および方法、並びにデジタル信号処理プログラム | |
| JP2005309606A (ja) | データ処理回路およびストリームデータ受信転送方法 | |
| US8509597B2 (en) | Recording apparatus, imaging and recording apparatus, recording method, and program | |
| JP2004173244A (ja) | データ記録装置、そのプログラム、及び記録媒体 | |
| JP2008199077A (ja) | ビデオ記録再生方法および装置 | |
| JP2942738B2 (ja) | データ復号ｉｃ | |
| JP3083788B2 (ja) | データ復号装置 | |
| KR100846406B1 (ko) | 인코드 중에 추출 화상을 외부에 송신하는 비디오 인코더 | |
| EP1711010B1 (en) | Video encoder transmitting extracted image outside during encoding | |
| JPH1175171A (ja) | マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体 | |
| JP3992804B2 (ja) | 動画像復号方法及び装置並びに動画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061012 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070424 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |