JPH10199141A - 符号記録装置、及び符号多重方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数種類の情報符号の各瞬時に於ける符号量
がビットレート比に略等しくなるように多重して、再生
装置のバッファ容量を十分に低減可能にする。 【解決手段】 複数のエンコーダ11,12 と、複数のバッ
ファメモリ22,24 と、該バッファメモリ22,24 に記憶さ
れる符号列のデータ総量を監視して所定量に達する毎に
前記バッファメモリ22,24 に記憶されている各符号列を
読み出すコントローラ30と、前記バッファメモリ22,24
から読み出される符号列を多重する多重手段41と、多重
後の符号列を記録媒体の要求するフォーマットにブロッ
ク化するフォーマット化手段43と、を有する符号記録装
置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば動画像と音
声のように、再生出力に於ける同時刻性を要求される複
数の情報（＝同時刻性を有する複数種類の情報）の符号
化データを多重して媒体に記録する符号記録装置及び記
録方法と、符号多重方法に関する。

【０００２】

【従来の技術】デジタル動画像と音声を圧縮符号化する
手法として、例えば、ＩＳＯで規格化されたＭＰＥＧ
や、ＣＣＩＴＴで勧告されたＨ．２６１がある。これら
の方式では、画像単位内圧縮と画像単位間圧縮を織りま
ぜて用いることで、高画質を保ちつつ動画像を高圧縮率
で符号化している。ここで、画像単位内圧縮とは当該圧
縮データのみで復号可能な圧縮形態であり、画像単位間
圧縮とは他の画像データとの相関を利用して符号化する
圧縮形態である。

【０００３】画像単位内圧縮では、その画像内部の全て
のマクロブロックはそのまま２次元離散コサイン変換
（ＤＣＴ）されて空間周波数成分が求められ、これに量
子化と呼ばれる行列除算が施される。これは、周波数成
分を所定の値を持った行列で除算するものであり、この
行列と量子化データを復号器で乗算することにより、周
波数成分を求めることが可能になる。また、その行列値
以下の精度を落とすことが可能になる。なお、人間の視
覚特性が高周波側に於いて鈍感であることを利用して、
低周波側に高周波側よりも多くの符号が割り当てられ
る。

【０００４】画像単位間圧縮では、被参照画像からの変
位を示す動きベクトルがマクロブロック毎に求められ、
該マクロブロックに最も近い領域が検出される。さら
に、該領域と当該マクロブロックデータとの差分に対し
て２次元離散コサイン変換（ＤＣＴ）及び量子化が施さ
れて、差分データと動きベクトルが符号化される。

【０００５】したがって、ＭＰＥＧ等の動画像符号化方
式で発生するビット量は、画像の複雑さや動きの大きさ
等によって大きく変動する。このため、量子化の際の量
子化幅と呼ばれる量子化行列に対する乗数を調節するこ
とにより発生ビット量を調節する方式が行われている。
しかし、この方式では、複雑な画像や動きの大きなシー
ンでは画質が低下し、逆に、単純な画像や動きの小さな
シーンでは不必要なほどの高画質になってしまうという
問題がある。

【０００６】このため、動画像の符号化方式では、発生
ビット量の変動を許容することで画質の変動を抑える可
変ビットレート方式が採用されつつある。この方式で
は、再生装置側のデコーダの前段にバッファメモリを設
けることにより、発生ビット量の変動を吸収している。
例えば、特開平４−３２６６８７号公報には、ＭＰＥＧ
規格に準拠して動画像を可変ビットレートで符号化し、
最大ビットレート制限を行う装置が開示されている。な
お、再生出力の品質を確保しつつ高い圧縮率を得るため
には可変ビットレートの方が望ましいという事情は、音
声情報を圧縮符号化する場合にも同様に成り立つ。

【０００７】

【発明が解決しようとする課題】動画像に音声が伴う場
合には、動画像の圧縮符号と音声の圧縮符号とが多重化
される。例えば、ＭＰＥＧシステムでは、図５に示すよ
うに、動画像の圧縮符号と音声の圧縮符号の各々が適当
な長さの多数のパケットに分割され、パケットヘッダに
動画像であるか音声であるかを示す情報が付加されて多
重される。

【０００８】また、動画像と音声には、各々アクセスユ
ニットと呼ばれる再生単位（動画像では１ビデオフレー
ム，音声では１オーディオフレーム）が有り、該再生単
位の先頭を含むパケットのパケットヘッダには、同図に
示すように、復号再生の時刻を指示するタイムスタンプ
と呼ばれるデータが付加される。なお、再生単位の先頭
を含まないパケットのパケットヘッダにはタイムスタン
プは付加されない。また、同一パケット内に２以上の再
生単位の先頭が含まれる場合には、先行する再生単位に
対応するタイムスタンプのみが、当該パケットのパケッ
トヘッダに付加される。

【０００９】上記タイムスタンプとしては、再生出力の
時刻を指示するＰＴＳ（Presentation Time Stamp ）
と、復号時刻を指示するＤＴＳ（Decording Time Stam
p）とがある。ＤＴＳは、ＭＰＥＧのビットストリーム
内に於けるビデオフレームの順序と、再生出力に於ける
ビデオフレームの順序が異なる場合があることを考慮し
て付加されたものである。換言すれば、ビットストリー
ム内に於いては、ＩピクチャやＰピクチャが、該Ｉピク
チャやＰピクチャを参照しているＢピクチャに先行する
ように配列されることに鑑みて付加されたものである。

【００１０】デコーダ側では、各パケットを動画像と音
声に分離して各々のバッファに記憶し、ＤＴＳがシステ
ムの同期信号ＳＴＣ（System Time Clock ）に合致する
時に各バッファのデータを読み出して復号するととも
に、ＰＴＳがＳＴＣに合致する時に再生出力を実行し
て、動画像と音声の同期再生を実現している。

【００１１】即ち、デコーダ側では、図６に示すよう
に、記録媒体から読み出した後に分離したビデオとオー
ディオの各符号を各々ビデオ符号とオーディオ符号用の
各バッファＲＡＭに格納し、タイムスタンプが合致した
時点で各バッファＲＡＭから読み出して各々対応するデ
コーダに送って再生している。つまり、各バッファＲＡ
Ｍは、記録媒体からの入力と後段のデコーダ側への出力
との間の遅延を吸収するために用いられている。このた
め、バッファＲＡＭとしては、オーバーフローやアンダ
ーフローを生じない容量が必要になる。このバッファＲ
ＡＭの容量を最小限で足りるようにするためには、同時
刻性を有するデータが、ビデオ／オーディオ分離前のビ
ットストリーム上で近い位置、望ましくは隣接している
ことが必要となる。もし、近い位置に無ければ、先行す
る時間分のデータ（パケット）を記憶するための容量が
余分に必要になるためである。つまり、同時刻のデータ
をビデオとオーディオの各バッファＲＡＭから読み出し
て再生するためには、ビットストリーム上で離れた位置
にある同時刻のデータを含む多量のデータを記録媒体か
ら読み出して予めバッファＲＡＭに格納しておく必要が
あるため、余分な容量が必要になるのである。

【００１２】ビデオとオーディオの一方が可変ビットレ
ートの場合に於いて、両符号間の同時刻性を考慮せずに
ビットストリームを構成すると、同時刻性を有する符号
が該ビットストリーム上で離れた位置に配置される場合
が多くなり、その結果、再生側では大容量のバッファが
必要になる。また、固定ビットレートの場合であって
も、例えば、ＭＰＥＧ規格では固定ビットレート／可変
ビットレートという定義がＧＯＰを単位としている関係
上、上記と同様の問題が生ずる。

【００１３】本発明は、上述の事情に鑑みたものであ
り、ビットストリームを構成する複数種類の情報符号の
量が、各瞬時のビットレートの比に略等しくなるように
各符号を多重できるようにすることを目的とする。ま
た、この目的を簡易な構成で達成可能にすることを目的
とする。さらに、リアルタイムで上述のビットストリー
ムを構成できるようにすることを目的とする。

【００１４】また、本発明は、動画像や音声を記録／再
生可能な高密度の記録媒体が各種提案されていることに
鑑み、リアルタイムで動画像や音声を圧縮符号化した後
に上述の如く各瞬時のビットレートの比に略等しくなる
ように各符号を多重して記録媒体に記録できるようにす
ることを目的とする。

【００１５】

【課題を解決するための手段】請求項１の発明は、同時
刻性を有する複数種類の情報を符号化した後に多重して
記録媒体に記録する符号記録装置であって、前記複数種
類の情報を各々符号化する複数のエンコーダと、前記複
数のエンコーダの後段に各々設けられて各エンコーダか
ら出力される各符号列を一時的に記憶する複数の記憶手
段と、前記複数の記憶手段に各々記憶される符号列のデ
ータ総量を監視して所定量に達する毎にその旨を示す検
出データを出力する監視手段と、前記検出データの出力
時刻に前記複数の記憶手段に記憶されている各符号列を
前記検出データに応じて読み出す制御手段と、前記複数
の記憶手段から読み出される符号列を多重する多重手段
と、を有する符号記録装置である。

【００１６】請求項２の発明は、請求項１の発明に於い
て、前記監視手段に代えて、前記複数の記憶手段に各々
記憶される符号列の中の少なくとも１つの符号列のデー
タ総量を監視して所定量に達する毎にその旨を示す検出
データを出力する特定監視手段、を有する符号記録装置
である。

【００１７】請求項３の発明は、請求項１、又は請求項
２の発明に於いて、さらに、少なくとも１つの前記エン
コーダの後段に設けられて前記複数のエンコーダ毎の処
理時間の差異を吸収する時間調整手段、を有する符号記
録装置である。請求項４の発明は、請求項１〜請求項３
の何れかの発明に於いて、少なくとも１つの前記エンコ
ーダは可変ビットレートの符号列を出力し、少なくとも
１つの前記エンコーダは固定ビットレートの符号列を出
力する符号記録装置である。請求項５の発明は、請求項
４の発明に於いて、１つの前記可変ビットレートの符号
列はビデオデータの符号列であり、１つの前記固定ビッ
トレートの符号列はオーディオデータの符号列である、
符号記録装置である。

【００１８】請求項６の発明は、同時刻性を有する複数
種類の情報を符号化して多重する符号多重方法であっ
て、前記複数種類の情報を各々並行して符号化して記憶
手段に記憶するとともに記憶した各符号列のデータ総量
を監視し、該記憶したデータ総量が所定量に達する毎に
前記記憶手段に記憶されている各符号列を読み出して多
重する、符号多重方法である。

【００１９】請求項７の発明は、同時刻性を有する複数
種類の情報を符号化して多重する符号多重方法であっ
て、前記複数種類の情報を各々並行して符号化した後に
符号化処理時間の差異を吸収して記憶手段に記憶すると
ともに記憶した各符号列のデータ総量を監視し、該記憶
したデータ総量が所定量に達する毎に前記記憶手段に記
憶されている各符号列を読み出して多重する、符号多重
方法である。

【００２０】請求項８の発明は、同時刻性を有する複数
種類の情報を符号化して多重する符号多重方法であっ
て、前記複数種類の情報を各々並行して符号化して記憶
手段に記憶するとともに記憶した符号列の中の少なくと
も１つの符号列のデータ総量を監視し、該監視対象の符
号列の記憶したデータ総量が所定量に達する毎に前記記
憶手段に記憶されている各符号列を読み出して多重する
符号多重方法である。請求項９の発明は、同時刻性を有
する複数種類の情報を符号化して多重する符号多重方法
であって、前記複数種類の情報を各々並行して符号化し
た後に符号化処理時間の差異を吸収して記憶手段に記憶
するとともに記憶した符号列の中の少なくとも１つの符
号列のデータ総量を監視し、該監視対象の符号列の記憶
したデータ総量が所定量に達する毎に前記記憶手段に記
憶されている各符号列を読み出して多重する、符号多重
方法である。

【００２１】

【発明の実施の形態】図１は本発明の一実施の形態を示
す符号記録装置のブロック図、図２は図１の要部の詳細
を示すブロック図である。図３は図１のエンコーダ11又
はエンコーダ12にて圧縮符号化されたビデオとオーディ
オの各圧縮符号のビットレートの推移を示し、図４は図
１中に（ａ）（ｂ）（ｃ）として示す各位置での各符号
列の構成例を示す。

【００２２】図１に示すように、本符号記録装置にリア
ルタイムで入力される動画像データは、ビデオエンコー
ダ11にて公知のビデオ圧縮方式に従って可変ビットレー
トの符号に圧縮符号化されて、バッファメモリ22に、例
えば、図２の（注１）に示す如く格納される。

【００２３】同様に、本符号記録装置にリアルタイムで
入力される音声データは、オーディオエンコーダ12にて
公知のオーディオ圧縮方式に従って固定ビットレートの
符号に圧縮符号化され、さらに、遅延回路13にて所定時
間遅延されて、バッファメモリ24に、例えば、図２の
（注２）に示す如く格納される。

【００２４】上記遅延回路13に於いてオーディオ符号を
所定時間遅延させる時間調整は、ビデオエンコーダ11と
オーディオエンコーダ12の処理時間の差異（同一再生時
間の両データを処理する場合に於ける処理時間の差異）
を吸収して、時間的に同時刻のビデオ符号とオーディオ
符号を、バッファメモリ22とバッファメモリ24に、同時
に入力させるために行われる。即ち、後に多重される各
符号の同時性を確保するために行われる。

【００２５】バッファメモリ22に格納されたビデオ符号
と、バッファメモリ24に格納されたオーディオ符号と
は、コントローラ30の制御で読み出されて、該フォーマ
ット化手段Ａ21, Ｂ23でそれぞれの記録方式の要求する
フォーマットへの変換が行われた後、多重化手段41に送
られて多重される。該フォーマット化手段Ａ21, Ｂ23で
は、記録方式の要求するフォーマットへの変換が行われ
る。例えば、データの属性や、タイムスタンプＰＴＳ・
ＤＴＳを付加される。また、多重されたビットストリー
ムは、一旦バッファメモリ42に格納された後に読み出さ
れて、フォーマット化手段Ｃ43に送られる。コントロー
ラ30の制御については後述する。

【００２６】フォーマット化手段Ｃ43では、記録媒体90
の要求するフォーマットへの変換が行われる。例えば、
各種のヘッダや誤り検出訂正用のパリティが付加され、
記録媒体に応じた変調等が施される。なお、図１中に
（ａ）（ｂ）（ｃ）として示す各位置での各符号列の構
成例を、図４に示す。

【００２７】フォーマット化手段Ｃ43にて、記録媒体90
の要求するフォーマットに変換されたビットストリーム
は、次に、書込手段50に送られ、該書込手段50によって
記録媒体90に記録される。書込手段50の具体的構成は、
記録媒体90の種類に応じて定まる。例えば、記録媒体90
が高密度の光磁気ディスクであれば、該高密度の光磁気
ディスクへのデータ記録を行い得るヘッドとその駆動回
路等である。

【００２８】コントローラ30では、図２に示す処理が行
われる。データ総量監視回路301 は、バッファメモリ22
とバッファメモリ24に記憶されるデータの総量を監視す
る。この監視は、バッファメモリ22,24 に記憶されたデ
ータ量をバッファメモリ22,24 から読み込むことで行っ
てもよく、また、図中太点線矢印で示すように、バッフ
ァメモリ22,24 への入力前の位置に於いてデータ量を検
出することで行ってもよい。

【００２９】バッファメモリ22とバッファメモリ24に記
憶されたデータの総量が所定値に達すると、データ総量
監視回路301 からデータ読出制御回路303 に対して、そ
の旨を示す検出データが送られる。上記所定値とは、本
符号記録装置の場合は、記録媒体90の単位記録領域の記
録容量相当のデータ量である。なお、これと異なるデー
タ量を上記所定値として採用してもよい。可変ビットレ
ートのビデオ符号と固定ビットレートのオーディオ符号
の場合、上記所定値に対応する時間は、図３に網点で示
す領域の幅のように、各々異なる。図３には、ビデオ符
号が可変ビットレートでオーディオ符号が固定ビットレ
ートの場合が示されているが、これは逆でもよく、ま
た、両者ともに可変ビットレートであってもよい。ま
た、データの種類もビデオとオーディオに限定されず、
字幕等の文字情報であってもよい。つまり、対応するア
クセスユニットが同時に再生されることを要求される同
時刻性を有する情報であればよい。

【００３０】データ総量監視回路301 からデータ読出制
御回路303 に対して前記検出データが送られて来ると、
データ読出制御回路303 は、バッファメモリ22とバッフ
ァメモリ24に対して読出命令を送る。これにより、バッ
ファメモリ22とバッファメモリ24に記憶されている各符
号が読み出される。即ち、データ総量が前回所定値に達
した時刻からデータ総量が今回所定値に達した時刻まで
の間にバッファメモリ22とバッファメモリ24に記憶され
た各符号が読み出される。こうして読み出されたデータ
は、前述の如くフォーマット化手段Ａ21, Ｂ23により、
記録方式の要求するフォーマットへの変換が行われた
後、多重化手段41に送られて、前述の如く多重される。

【００３１】上述の装置では、データ総量監視回路301
が、バッファメモリ22とバッファメモリ24のデータの総
量を監視して、所定量に達する毎にその旨の検出データ
を出力する構成を採用しているが、これに代えて、一方
のバッファメモリのデータ量を監視するように構成して
もよい。つまり、複数種類の情報に関して、少なくとも
１種類の情報のデータ総量を監視するように構成しても
よい。

【００３２】また、上述の説明では、記録媒体の単位記
録領域のデータ総量毎にバッファメモリからの読み出し
を行う符号記録装置を説明しているが、本発明は、かか
る構成に限定されない。例えば、単位記録領域の整数倍
のデータ量毎に読み出して記録するようにしてもよい。

【００３３】また、上述の説明では、データ総量が所定
値に達したときにバッファメモリに記憶されているデー
タを全て読み出しているが、これに代えて、ビデオパケ
ットやオーディオパケットの区切りまで読み出すことと
し、残りのデータ（次のパケットの先頭部分）は、次回
にデータ総量が所定値に達したときに読み出すようにし
てもよい。即ち、パケット単位で処理するようにしても
よい。

【００３４】

【発明の効果】本発明によると、リアルタイムでエンコ
ードされるビデオやオーディオ等の複数種類の情報の符
号が、各瞬時に於ける各符号のビットレートの比に略等
しいデータ量の比で多重されるため、再生装置のバッフ
ァに負担がかからず、その容量を十分に低減することが
できる。

【図面の簡単な説明】

【図１】実施の形態にかかる符号記録装置の構成を示す
ブロック図。

【図２】図１の要部を示すブロック図。

【図３】可変ビットレートのビデオ符号と固定ビットレ
ートのオーディオ符号のデータ総量の所定値に相当する
データ量を網点領域として示す説明図。

【図４】図１中に（ａ）（ｂ）（ｃ）として示す各位置
での符号列の構成例を示す説明図。

【図５】ビデオパックとオーディオパックの多重方法を
示す説明図。

【図６】再生装置側でのデータの処理を示すブロック
図。

【符号の説明】 ２２ バッファメモリ ２４ バッファメモリ ３０ コントローラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田岡 峰樹 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 同時刻性を有する複数種類の情報を符号
   化した後に多重して記録媒体に記録する符号記録装置で
   あって、 前記複数種類の情報を各々符号化する複数のエンコーダ
   と、 前記複数のエンコーダの後段に各々設けられて各エンコ
   ーダから出力される各符号列を一時的に記憶する複数の
   記憶手段と、 前記複数の記憶手段に各々記憶される符号列のデータ総
   量を監視して所定量に達する毎にその旨を示す検出デー
   タを出力する監視手段と、 前記検出データの出力時刻に前記複数の記憶手段に記憶
   されている各符号列を前記検出データに応じて読み出す
   制御手段と、 前記複数の記憶手段から読み出される符号列を多重する
   多重手段と、を有する符号記録装置。
2. 【請求項２】 請求項１に於いて、 前記監視手段に代えて、 前記複数の記憶手段に各々記憶される符号列の中の少な
   くとも１つの符号列のデータ総量を監視して所定量に達
   する毎にその旨を示す検出データを出力する特定監視手
   段、を有する符号記録装置。
3. 【請求項３】 請求項１、又は請求項２に於いて、さら
   に、 少なくとも１つの前記エンコーダの後段に設けられて前
   記複数のエンコーダ毎の処理時間の差異を吸収する時間
   調整手段、 を有する符号記録装置。
4. 【請求項４】 請求項１〜請求項３の何れかに於いて、 少なくとも１つの前記エンコーダは可変ビットレートの
   符号列を出力し、 少なくとも１つの前記エンコーダは固定ビットレートの
   符号列を出力する、 符号記録装置。
5. 【請求項５】 請求項４に於いて、 １つの前記可変ビットレートの符号列はビデオデータの
   符号列であり、 １つの前記固定ビットレートの符号列はオーディオデー
   タの符号列である、 符号記録装置。
6. 【請求項６】 同時刻性を有する複数種類の情報を符号
   化して多重する符号多重方法であって、 前記複数種類の情報を各々並行して符号化して記憶手段
   に記憶するとともに記憶した各符号列のデータ総量を監
   視し、 前記記憶したデータ総量が所定量に達する毎に前記記憶
   手段に記憶されている各符号列を読み出して多重する、 符号多重方法。
7. 【請求項７】 同時刻性を有する複数種類の情報を符号
   化して多重する符号多重方法であって、 前記複数種類の情報を各々並行して符号化した後に符号
   化処理時間の差異を吸収して記憶手段に記憶するととも
   に記憶した各符号列のデータ総量を監視し、 前記記憶したデータ総量が所定量に達する毎に前記記憶
   手段に記憶されている各符号列を読み出して多重する、 符号多重方法。
8. 【請求項８】 同時刻性を有する複数種類の情報を符号
   化して多重する符号多重方法であって、 前記複数種類の情報を各々並行して符号化して記憶手段
   に記憶するとともに記憶した符号列の中の少なくとも１
   つの符号列のデータ総量を監視し、 該監視対象の符号列の記憶したデータ総量が所定量に達
   する毎に前記記憶手段に記憶されている各符号列を読み
   出して多重する、 符号多重方法。
9. 【請求項９】 同時刻性を有する複数種類の情報を符号
   化して多重する符号多重方法であって、 前記複数種類の情報を各々並行して符号化した後に符号
   化処理時間の差異を吸収して記憶手段に記憶するととも
   に記憶した符号列の中の少なくとも１つの符号列のデー
   タ総量を監視し、 該監視対象の符号列の記憶したデータ総量が所定量に達
   する毎に前記記憶手段に記憶されている各符号列を読み
   出して多重する、 符号多重方法。