JP4281396B2 - 画像圧縮符号化装置及び方法 - Google Patents
画像圧縮符号化装置及び方法 Download PDFInfo
- Publication number
- JP4281396B2 JP4281396B2 JP2003102329A JP2003102329A JP4281396B2 JP 4281396 B2 JP4281396 B2 JP 4281396B2 JP 2003102329 A JP2003102329 A JP 2003102329A JP 2003102329 A JP2003102329 A JP 2003102329A JP 4281396 B2 JP4281396 B2 JP 4281396B2
- Authority
- JP
- Japan
- Prior art keywords
- orthogonal transform
- image signal
- block
- data
- bits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力される画像信号を記録媒体へ記録するために、これを複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックにつき直交変換を施して圧縮符号化する圧縮符号化装置及び方法に関する。
【０００２】
【従来の技術】
従来より、ビデオやオーディオ等のデジタルデータを圧縮符号化して記録媒体へ記録する記録装置が提案されている。このような記録装置における記録処理部では、上記デジタルデータを所定長のパケットに格納し、ＩＤ情報や同期パターン、さらにはエラー訂正符号を付加してシンクブロックを構成する。
【０００３】
このようなシンクブロックを構成することにより、これらをグループ化してセクタとし、係るセクタ単位でシリアルデータを構成して上記記録媒体へ記録することができる。各セクタにおけるシンクブロックは、固定長であり、またエラー訂正符号は、データシンボルの２次元配列の縦および横方向にそれぞれ外符号(Outer Parity)および内符号(Inner Parity)からなるいわゆる積符号化がなされ、各シンボルにつき二重に符号化される。この積符号化の単位をＥＣＣブロックという。
【０００４】
またデジタルデータの圧縮符号化については、例えばＭＰＥＧ(Moving Picture Experts Group)方式に基づき、直交変換ブロック単位で行われる。このＭＰＥＧ方式では、分割された直交変換ブロックにつき、例えば、ＤＣＴ(Discrete Cosine Transform)等に代表される直交変換処理を施してＤＣＴ係数を算出し、これを可変長符号化する。
【０００５】
またヘリカルスキャン型のＶＴＲのように、１トラックまたは所定数のトラック当たりに記録できるデータ量が固定されている時には、所定期間に発生する可変長符号のデータ量が目標値以下となるように、量子化ステップを変更してデータ量を制御する。そして、所定期間毎に割り当てられる複数のシンクブロックのデータ領域に、可変長符号化されたマクロブロックをパッキングする。
【０００６】
ちなみに、この可変長符号化されたマクロブロックの長さ（ビット数）は、図９(a)に示すように各マクロブロック間で互いに異なるため、これを固定長のシンクブロックに当てはめるパッキング方法が提案されている（例えば特許文献１参照。）。
【０００７】
このパッキング方法では、１シンクブロックと比較して長いマクロブロックは、シンクブロック長に対応する位置で分割する。そして、この分割されたマクロブロックのうち、シンクブロック長を超えるオーバーフロー部分は、図９(b)に示すようなマクロブロックの後方に位置するシンクブロック長に満たない空き領域に、先頭から順に挿入される。
【０００８】
図９(b)の例では、マクロブロック＃１におけるシンクブロックを超える部分が先ずマクロブロック＃２の後方に挿入され、当該領域がシンクブロック長に達すると、次の空き領域であるマクロブロック＃５の後方に挿入される。次にマクロブロック＃３のシンクブロック長を超える部分がマクロブロック＃７の後方に挿入される。さらにマクロブロック＃６のシンクブロック長を超える部分がマクロブロック＃８の後方に挿入される。このように、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。なお、このパッキング方法では、各シンクブロックの先頭に各マクロブロックが先頭から挿入されるように制御される。
【０００９】
ちなみに、各マクロブロックに対応する可変長データの長さは、ＤＣＴ係数を周波数成分毎に並び替えるストリームコンバータにより予め調べることもできる。これにより、画像信号をデコードして内容をその都度検査することなく、マクロブロックのデータの最後尾を識別することが可能となる。
【００１０】
図１０は、上述の如くパッキングされて、シンクブロック毎にシリアル出力されるデータストリームを示している。この図１０に示すように、各ビデオデータの先頭には、シンクブロックＮｏが付加され、さらにその後方には、マクロブロックの情報（長さ、量子化の情報等）が含まれるヘッダやＩＤが付加される。
【００１１】
また圧縮符号化されるビデオデータに加えて、シリアルデジタルインターフェース（ＳＤＩ）の垂直ブランキング期間に搭載され非圧縮のまま扱われるデータ（以下、メタデータという。）についても同様にシンクブロックにパッキングされ、図１０に示すように、ビデオデータをパッキングしたシンクブロックの前に出力される。このメタデータをパッキングしたシンクブロックは、通常、ビデオデータのマクロブロックをシンクブロックにパッキングする前に、フレームの先頭に位置する固定長の数シンクブロックに挿入される。
【００１２】
【特許文献１】
特開２０００−１４９４５５号公報
【００１３】
【発明が解決しようとする課題】
ところでこのメタデータは、例えばＣＰＵ等に代表されるシステムコントローラ(System Controller)により、ビデオデータが圧縮される前処理で読み取られ、ビデオデータと分離してAuxiliaryデータとして記録される。
【００１４】
しかしながら、かかる方法では、システムコントローラを用いた外部回路が必要となるためシステム構成が複雑になるという問題点がある。
【００１５】
また上述の如くフレーム先頭に存在する固定長の数シンクブロックに挿入することができるメタデータは、僅か１KByteのデータ量に過ぎない。このため、非圧縮のメタデータとして記録を望むデータ量が増加し、これが１KByteを超える場合には、フレーム先頭の数シンクブロックでは不十分となり、更には、入力されるあらゆるデータ量からなる各メタデータにつき全てをパッキングすることができないという問題点も生じる。
【００１６】
一方、あらゆるデータ量のメタデータに対応すべく、最大容量のメタデータについても記録媒体上の領域を確保する場合には、圧縮されるビデオデータの使用可能領域をいきおい減らす必要が生じ、ビデオデータの圧縮率を常に高くしなければならない。特にこのメタデータの容量は、用途に応じて千差万別であるため、ビデオデータの圧縮率を常時高くすると、不使用のメタデータについても常時領域を確保する結果となり、記録媒体全体における領域の活用が非効率的になるという問題点もある。
【００１７】
本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、ビデオデータの圧縮率への影響を最小限に抑えつつ、大容量のメタデータを含むいかなる非圧縮データについても効率よくシンクブロックに挿入することができる画像圧縮符号化装置及び方法を提供することにある。
【００１８】
【課題を解決するための手段】
本発明者は、上述の課題を解決するために、入力された画像信号から非圧縮データを切り出し、この切り出した非圧縮データのサイズに応じて直交変換係数を直交変換ブロック毎に量子化することにより、圧縮画像信号により構成した各シンクブロックにつき空き領域を生成し、当該空き領域に切り出した非圧縮データを挿入する画像圧縮符号化装置及び方法を発明した。
【００１９】
即ち、本発明に係る画像圧縮符号化装置は、入力された１フレームの画像信号を複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックを並べ替えるシャッフリング手段と、上記シャッフリング手段により直交変換ブロックが並べ替えられた画像信号に対して直交変換を施す直交変換手段と、上記入力された画像信号から固定長の非圧縮データをフレーム単位で切り出す非圧縮データ切出手段と、上記画像信号の１フレームにつき出力し得るビット数と、上記切り出された非圧縮データのビット数と、上記画像信号の１フレームに含まれる直交変換ブロックの数とから算出される、直交変換ブロック毎のターゲットビット数と、各直交変換ブロックのビット数とが一致するように上記直交変換手段によって上記直交変換が施された各直交変換ブロックにおける直交変換係数を量子化して、直交変換ブロックのビット数を削減する量子化手段と、上記量子化手段により量子化された上記各直交変換ブロックにつき可変長符号化して圧縮画像信号を生成する可変長符号化手段と、上記可変長符号化手段により生成された圧縮画像信号に上記直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成し、上記非圧縮データ切出手段により切り出された非圧縮データを同一ビット数になるように分割して上記圧縮画像信号により構成した各シンクブロックの空き領域に挿入するシンクブロック構成手段と
を備える。
【００２０】
また、本発明に係る画像圧縮符号化方法は、入力された１フレームの画像信号を複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックを並べ替えるシャッフリングステップと、上記シャッフリングステップで直交変換ブロックが並べ替えられた画像信号に対して直交変換を施す直交変換ステップと、上記入力された画像信号から固定長の非圧縮データをフレーム単位で切り出す非圧縮データ切出ステップと、上記画像信号の１フレームにつき出力し得るビット数と、上記切り出された非圧縮データのビット数と、上記画像信号の１フレームに含まれる直交変換ブロックの数とから算出される直交変換ブロック毎のターゲットビット数と、各直交変換ブロックのビット数とが一致するように上記直交変換ステップで上記直交変換が施された各直交変換ブロックにおける直交変換係数を量子化して、直交変換ブロックのビット数を削減する量子化ステップと、上記量子化ステップで量子化された上記各直交変換ブロックにつき可変長符号化して圧縮画像信号を生成する可変長符号化ステップと、上記可変長符号化ステップで生成された圧縮画像信号に上記直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成し、上記非圧縮データ切出ステップで切り出された非圧縮データを同一ビット数になるように分割して上記圧縮画像信号により構成した各シンクブロックの空き領域に挿入するシンクブロック構成ステップとを含む。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２２】
本発明は、例えば図１に示すような記録装置１に適用される。この記録装置１は、入力されたデジタル画像信号をマクロブロック単位でシャフリングして、例えばＤＣＴ（Discrete Cosine Transform）変換した上で量子化することにより非可逆的な画像圧縮を実現し、これを記録媒体３へ記録する。
【００２３】
この記録装置１は、シリアルデジタルインターフェース（ＳＤＩ）方式下でフォーマットされた画像信号がフレーム単位で入力される入力端子１１と、入力端子１１を介して入力された画像信号をシリアル−パラレル変換する変換部１２と、１フレームの画像信号を複数の直交変換ブロックに分割してこれを並び替えるシャフリング部１３と、シャフリング部１３と並列に設けられパラレルデジタルインターフェース（ＰＤＩ）の状態で変換部１２から入力された画像信号から非圧縮データ（以下、メタデータという。）を切り出すメタデータ検出部１４と、シャフリング部１３から入力されるマクロブロック単位の各画像信号につき２次元の離散コサイン変換（ＤＣＴ）を施すＤＣＴ（Discrete Cosine Transform ）回路１５と、このＤＣＴ回路１５から出力される直交変換係数（ＤＣＴ係数）をメタデータのサイズに応じて量子化ステップにより量子化する量子化回路１６と、量子化回路１６から出力される画像信号を可変長符号化処理する可変長符号化回路１７と、可変長符号化回路１７から出力される圧縮画像信号に直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成するシンクブロック構成部１８と、シンクブロック構成部１８から出力されるシンクブロックをまとめてＥＣＣ(Error Correction Code)エンコードを施すＥＣＣエンコーダ１９と、ＥＣＣエンコーダ１９から出力される圧縮画像信号を記録媒体３へ記録する記録部２０とを備えている。なお、このシャフリング部１３からシンクブロック構成部１８までの構成を総括してビデオ圧縮部２と称する。
【００２４】
記録媒体３は、記録部２０を介して圧縮画像信号が記録される磁気テープ或いは磁気ディスク等である。以下では、この記録媒体３として磁気テープを用いる場合につき説明をする。この記録媒体３には、ヘリカル状のトラックが配列されてなり、トラックには、記録部２０によりシンクブロック単位で圧縮画像信号が記録されることになる。
【００２５】
入力端子１１には、画像信号がフレーム単位で入力される。入力される画像信号は、表示時間に従って並べられたフレーム順序につき、符号化する順序に並べ替えられて構成される。
【００２６】
変換部１２は、入力されるＳＤＩフォーマットされた画像信号を、ＰＤＩ方式のフォーマットに変換する。ちなみに、このＳＤＩは、テレビジョン等の映像機器において用いられる画像信号を他の記録装置等との間で伝送するためのインターフェースであるが、実際に記録装置１に画像信号を記録する場合には、ＰＤＩフォーマットへの変換が必要となる。
【００２７】
図２は、このＰＤＩフォーマットの構成図である。この図２に示すＰＤＩフォーマットのフレームフォーマット、即ち垂直フォーマットは、水平方向２１９６ドット、垂直方向１１２５ラインから成り、ビデオデータが存在するビデオデータ部ＤＴ１及びビデオ部ＤＴ２が配される。このビデオデータ部ＤＴ１、ＤＴ２の前には、メタデータ部ＭＴ１、ＭＴ２がそれぞれ挿入され、さらにこのメタデータ部ＭＴ１、ＭＴ２の前には、ブランクデータ部ＢＤＴ１、ＢＤＴ２がそれぞれ挿入されてなる。なお、このビデオデータ部ＤＴ２の後方には、さらにブランクデータ部ＢＤＴ３が配されてなる。
【００２８】
またビデオデータ部ＤＴ１、ＤＴ２及びブランクデータ部ＢＤＴ1、ＢＤＴ２の前後には、それぞれアクティブラインの開始を示す４ビットの開始同期符号ＳＡＶ及びアクティブラインの終了を示す終了同期符号ＥＡＶが置かれる。さらに、開始同期符号ＳＡＶと終了同期符号ＥＡＶとの間には、２６８ビット分の補助データであるアンシラリデータ部ＡＮＣが置かれる。
【００２９】
シャフリング部１３は、変換部１２から出力されるＰＤＩフォーマットされた画像信号につき後述するＤＣＴを施すべく、フレーム毎に複数の直交変換ブロックに分割する。この直交変換ブロックは、MPEG4 Studio Profile規格における４：４：４符号化方式において、８Ｈ×８Ｖからなる８個のブロックで構成されるが、かかる場合に限定されるものではなく、いかなる画素数で構成してもよい。以下では、この直交変換ブロックを１６×１６画素のマクロブロックで構成した場合を例にとり説明をする。シャフリング部１３は、この直交変換ブロックを並び替えて、これをＤＣＴ回路１５へ出力する。
【００３０】
メタデータ検出部１４は、変換部１２から出力されるＰＤＩフォーマットされた画像信号からメタデータを切り出す。図３は、このメタデータ検出部１４により切り出されるメタデータの例を示している。メタデータは、種々の規格に基づき、デジタル字幕や放送局間での制御信号等で構成されている。ちなみに、このメタデータ検出部１４により切り出されたメタデータは、後述するシンクブロック構成部１８へ渡される。
【００３１】
ＤＣＴ回路１５は、シャフリング部１３からから出力されるマクロブロック単位の各画像信号につき直交変換の一種であるコサイン変換処理して、空間領域のデジタル信号を周波数領域のＤＣＴ係数に変換する。即ち、このＤＣＴ回路１４は、かかるコサイン変換処理をマクロブロック単位で施すことにより、例えば１６×１６のＤＣＴ係数を発生させ、これを量子化回路１６へ出力することができる。ちなみに、このＤＣＴ回路１５の代替として、例えば入力された画像信号に対してＤＰＣＭ(Differential Pulse Code Modulation)処理を施すＤＰＣＭ回路を用いることにより、圧縮・伸張の過程を経てもとの情報を保存可能な可逆符号化(Lossless)方式を実現するようにしてもよい。
【００３２】
量子化回路１６は、ＤＣＴ係数を量子化ステップと呼ぶ整数値で除算し量子化を行う。具体的には、量子化後のビット数がマクロブロック毎に割り当てられるターゲットビット数を超えない範囲で最大のビット数となる量子化テーブルを選択し、量子化を行う。ちなみにこのターゲットビット数は、量子化回路１６に供給されるメタデータサイズ信号に基づき決定される。このメタデータサイズ信号の値は、メタデータ検出部１４により切り出されたメタデータのビット数に応じて調整されるため、この量子化回路１６では、扱うメタデータのビット数に応じて量子化テーブルが選択され、ビデオデータの圧縮量が制御されることになる。
【００３３】
また量子化回路１６は、マクロブロック毎に量子化したＤＣＴ係数を直流成分のデータから高域成分方向へジグザグスキャン或いはオルタネートスキャンをして、１次元のデータストリームとする。量子化されたデータは、可変長符号化回路１７に送られる。
【００３４】
可変長符号化回路１７は、量子化された画像信号（ＤＣＴ係数）を可変長符号化して、係数０のランレングスとそれに続く非０係数の値の組に、データを符号化した圧縮画像信号を生成する。このように可変長符号化をすることによって、０が多くなった高域成分のデータ量を除去することが可能となる。
【００３５】
シンクブロック構成部１８は、複数のシンクブロックのデータ領域に、可変長符号化された圧縮画像信号における各マクロブロックをパッキングする。ちなみに、この可変長符号化されたマクロブロックのビット数は、図４(a)に示すように各マクロブロック間で互いに異なるため、シンクブロック構成部１８は、これを図４(b)に示すように固定長のシンクブロックに当てはめて構成する。シンクブロック構成部１８は、シンクブロック長と比較して長いマクロブロックにつき、所定の位置で分割する。そして、この分割されたマクロブロックのうち、シンクブロック長を超えるオーバーフロー部分は、マクロブロックの後方に位置するシンクブロック長に満たない領域に、先頭から順に挿入される。
【００３６】
図４(b)の例では、マクロブロック＃１におけるシンクブロックを超える部分Ａ４が先ずマクロブロック＃２の後方に挿入され、当該領域がシンクブロック長に達すると、次の空き領域であるマクロブロック＃４の後方にＡ５,Ａ６が挿入される。次にマクロブロック＃３のシンクブロック長を超える部分Ｃ４がマクロブロック＃５の後方に挿入される。このように、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。なお、このパッキング方法では、各シンクブロックの先頭に各マクロブロックが先頭から挿入されるように制御される。
【００３７】
また本発明を適用した記録装置１では、このマクロブロックをまとめることによりシンクブロックを構成すると、図４(b)に示すようにシンクブロックの後方に空き領域が生じる。シンクブロック構成部１８は、メタデータ検出部１４より切り出されたメタデータを抽出し、各シンクブロックに挿入するビット数に区切る。このとき、例えば図４(c)に示すように、メタデータ部ＭＴ１からかかるメタデータを抽出し、互いに同ビット数になるように分割してもよい。シンクブロック構成部１８は、この分割した各メタデータをそれぞれシンクブロックの空き領域に挿入する。
【００３８】
ＥＣＣエンコーダ１９は、シンクブロック構成部１８から送信される複数のシンクブロックに対してまとめてエラー訂正符号を付加することによりＥＣＣブロックを構成する。このエラー訂正符号は、図５に示すように、データシンボルの２次元配列の縦および横方向にそれぞれ外符号(Outer Parity)および内符号(Inner Parity)からなるいわゆる積符号化がなされ、各シンボルにつき二重に符号化される。このＥＣＣブロックは、積符号化における一単位を構成する。
【００３９】
記録部２０は、記録媒体３が磁気テープである場合には、例えば図示しない回転ドラムを介して回転させられる磁気テープ上を斜めに摺動する磁気ヘッド等で構成され、接続されたＥＣＣエンコーダ１９から供給される圧縮画像信号をこの磁気テープ上へ順次記録する。
【００４０】
次に、本発明を適用した記録装置１の動作について説明をする。
【００４１】
変換部１２においてＳＤＩフォーマットからＰＤＩフォーマットへ変換された画像信号のうち、メタデータ部ＭＴ１、ＭＴ２にあるメタデータは、メタデータ検出部１４により順次切り出される。また、この画像信号は、シャフリング部１３において複数のマクロブロックに分割されてシャフリングされ、ＤＣＴ回路１５において各マクロブロックにつきＤＣＴ変換される。
【００４２】
またこの画像信号において、各シンクブロックにメタデータを挿入する場合には、その領域を確保すべく、ＤＣＴ回路１５から入力される各マクロブロックにつきビット数を減らすように調整される。マクロブロック毎のビット数の削減は、例えば上述の量子化回路１５におけるターゲットビット数を減らすことにより実現する。このターゲットビット数は、１フレームの画像信号につき出力し得るデータサイズに対するメタデータのデータサイズの差分値を演算し、この演算した差分値を１フレーム分の直交変換ブロック数（マクロブロック数）で割ることにより、マクロブロック単位のターゲットビット数を算出する。上述した１フレームの画像信号につき出力し得るデータサイズは、圧縮画像信号を伝送することができるビットレート（例えば、４５０Mbps、９００Mbps等）、或いは記録媒体３へ記録することができるビットレートに基づき、システム毎に決められる。即ち、このターゲットビット数は以下の式１により算出することができる。
（１フレームにつき出力し得るビット数−メタデータのビット数）／１フレームのマクロブロック数・・・・・・・式１
【００４３】
この式１で求められたターゲットビット数となるように各マクロブロックを量子化することにより、シンクブロック内においてメタデータを挿入する領域を確保することが可能となる。即ち、本発明を適用した記録装置１では、メタデータのデータ量が１KByteを超える場合であっても、ビデオデータのビット数減らすことにより、シンクブロックに挿入することができる。特に上記式１によりメタデータのビット数が小さい場合には、ターゲットビット数を大きくとり、またメタデータのビット数が大きい場合のみターゲットビット数を小さくすることで、メタデータのサイズに基づき最適なターゲットビット数を求めることができる。このため、ビデオデータの圧縮率への影響を最小限に抑えつつ、いかなるサイズのメタデータについても効率よくシンクブロックに挿入することが可能となる。
【００４４】
量子化された画像信号（ＤＣＴ係数）は、可変長符号化回路１７において可変長符号化され、シンクブロック構成部１８において各マクロブロックにつきシンクブロック内にパッキングされ、更にＥＣＣエンコーダ１９にてＥＣＣエンコードされる。図６は、シンクブロック構成部１８においてパッキングされて、シンクブロック毎にＥＣＣエンコーダ１９へ出力されるデータストリームを示している。
【００４５】
この図６に示すように、上記シンクブロック＃１のマクロブロックＡ１〜Ａ３で構成されるビデオデータの先頭には、シンクブロックＮｏが付加され、さらにその後方には、マクロブロックの情報（長さ、量子化の情報等）が含まれるＩＤやヘッダが付加される。またこのビデオデータの後方には、メタデータＭ１が挿入される。なお、メタデータが挿入されるシンクブロックのヘッダには、メタデータが存在する旨を示すフラグと、メタデータのビット数が追記されていてもよい。また、このメタデータが挿入される領域は、ビデオデータの前方であってもよい。その他、シンクブロック内にある所望のマクロブロックのビデオデータを優先させて、残りの領域にメタデータを挿入するようにしてもよい。
【００４６】
また、この図６に示すように、シンクブロック＃１の前には、メタデータのみをパッキングしたシンクブロック＃Ｍ１〜シンクブロック＃Ｍｎを設けるようにしてもよい。これにより、シンクブロック構成部１８では、メタデータ検出部１４から送信されるメタデータのデータ量が小さい場合には、このシンクブロック＃Ｍ１〜シンクブロック＃Ｍｎへ優先的に挿入することができる。また、シンクブロック構成部１８は、メタデータサイズ信号の値からメタデータが所定のサイズ以下であると判別した場合に、シンクブロック＃Ｍ１〜シンクブロック＃Ｍｎのみにこれを挿入するようにしてもよい。これにより、ビデオデータの圧縮率への影響を極力抑えることができる。
【００４７】
なお、本発明を適用した記録装置１は上述した実施の形態に限定されるものではない。例えば図７に示すように、メタデータ検出部１４において切り出されたメタデータのサイズをＣＰＵ等のシステムコントローラ２２により識別し、かかるシステムコントローラ２２がメタデータサイズ信号を生成して、これを量子化回路１６へ送信するようにしてもよい。
【００４８】
即ち、本発明は、システムコントローラ２２を用いない簡単なシステム構成とすることも可能であるが、システムコントローラ２２を用いる記録再生システムに記録装置１自体を組み込む場合に、図７に示すような構成を採用することにより、メタデータのサイズを識別することもできる。
【００４９】
また、本発明を適用した記録装置１では、インタレース、プログレッシブ、又はＰｓＦ等の各種フォーマットに応じて、フレーム単位で実行する上記圧縮符号化処理を、フィールド単位で実行する場合もある。ちなみに、フィールド単位で圧縮処理を実行する場合には、上記記載、式１における「フレーム」が全て「フィールド」に置き換わることになる。
【００５０】
また、本発明は、上述した構成の記録装置１に適用される場合のみならず、例えば、入力される画像信号を記録媒体３へ記録するために、これを複数のマクロブロックに分割し、当該分割した各マクロブロックにつき直交変換を施して圧縮符号化するビデオ圧縮部２からなる圧縮符号化装置に適用してもよい。
【００５１】
さらに、本発明は、記録装置１により記録媒体３に記録された圧縮画像信号を再生する再生装置５とともに構成してもよい。この再生装置５は、例えば図８に示すように、ＥＣＣデコーダ５１と、マクロブロック変換部５２と、可変長符号解読回路５３と、逆量子化回路５４と、ＩＤＣＴ回路５５と、アンシャッフル部５６と、スイッチ５７と、変換部５８とを備えている。
【００５２】
記録媒体３から再生された圧縮画像信号は、ＥＣＣデコーダ５１において誤り訂正が施され、内符号、外符号の各パリディが取り除かれた後、図６に示すようなデータストリームと同様の配列になるようにして、マクロブロック変換部５２へ出力される。マクロブロック変換部５２では、入力されたデータストリーム上のシンクブロックをマクロブロックに変換する。また、このマクロブロック変換部５２では、各シンクブロックにおけるヘッダに付加されたメタデータの情報に基づいて、メタデータの抽出を行う。各シンクブロックから抽出されたメタデータは、ＰＤＩフォーマットにおいて定められた例えば１wordにつき１０ビットのデータに変換され、スイッチ５７へ送信される。
【００５３】
なお、マクロブロックに変換されたビデオデータは、可変長符号解読回路５３において可変長符号が解読され、逆量子化回路５４において逆量子化され、ＩＤＣＴ回路５５においてＤＣＴ係数からデジタル信号に変換される。さらにアンシャッフル部５６では、シャフリング部１３においてシャフリングされていたマクロブロックの配列を元に戻しこれをスイッチ部５７へ出力する。
【００５４】
スイッチ部５７では、マクロブロック変換部５２から送信されたメタデータをメタデータ部ＭＴ１、ＭＴ２等にまとめて挿入することにより、アンシャッフル部５６からのビデオデータとともにＰＤＩフォーマットを構成し、これを変換部５８へ出力する。変換部５８では、入力されたＰＤＩフォーマットの画像信号をパラレル−シリアル変換して出力する。
【００５５】
即ち、この再生装置５は、記録装置１と逆の動作を行うことにより、記録装置１により記録媒体３に記録された圧縮画像信号からメタデータとビデオデータを分離して再生することも可能となる。
【００５６】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号符号化装置及び方法は、入力された画像信号から非圧縮データを切り出し、この切り出した非圧縮データのサイズに応じて直交変換係数を直交変換ブロック毎に量子化することにより、圧縮画像信号により構成した各シンクブロックにつき空き領域を生成し、当該空き領域に切り出した非圧縮データを挿入する。
【００５７】
このため、本発明では、非圧縮のメタデータとして記録を望むデータ量が増加し、これが１KByteを超える場合であっても全てをパッキングすることができる。また本発明では、メタデータのサイズに基づき、ビデオデータについて最適なターゲットビット数を求めることができる。このため、ビデオデータの圧縮率への影響を最小限に抑えつつ、いかなるサイズのメタデータについても効率よくシンクブロックに挿入することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録装置のブロック構成図である。
【図２】ＰＤＩフォーマットの構成図である。
【図３】メタデータ検出部により切り出されるメタデータの例を示す図である。
【図４】複数のシンクブロックのデータ領域に、可変長符号化された各マクロブロックをパッキングする例を示す図である。
【図５】ＥＣＣエンコーダによりエラー訂正符号が付加されたＥＣＣブロックを示す図である。
【図６】シンクブロック構成部においてパッキングされて、シンクブロック毎にＥＣＣエンコーダへ出力されるデータストリームを示す図である。
【図７】システムコントローラを用いてメタデータのサイズを識別する構成につき示す図である。
【図８】記録装置により記録媒体に記録された圧縮画像信号を再生する再生装置の構成図である。
【図９】パッキング法の従来例につき説明するための図である。
【図１０】パッキングされて、シンクブロック毎にシリアル出力されるデータストリームを示す図である。
【符号の説明】
１ 記録装置、３ 記録媒体、１１ 入力端子、１２ 変換部、１３ シャフリング部、１４ メタデータ検出部、１５ ＤＣＴ回路、１６ 量子化回路、１７ 可変長符号化回路、１８ シンクブロック構成部、１９ ＥＣＣエンコーダ、２０ 記録部
【発明の属する技術分野】
本発明は、入力される画像信号を記録媒体へ記録するために、これを複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックにつき直交変換を施して圧縮符号化する圧縮符号化装置及び方法に関する。
【０００２】
【従来の技術】
従来より、ビデオやオーディオ等のデジタルデータを圧縮符号化して記録媒体へ記録する記録装置が提案されている。このような記録装置における記録処理部では、上記デジタルデータを所定長のパケットに格納し、ＩＤ情報や同期パターン、さらにはエラー訂正符号を付加してシンクブロックを構成する。
【０００３】
このようなシンクブロックを構成することにより、これらをグループ化してセクタとし、係るセクタ単位でシリアルデータを構成して上記記録媒体へ記録することができる。各セクタにおけるシンクブロックは、固定長であり、またエラー訂正符号は、データシンボルの２次元配列の縦および横方向にそれぞれ外符号(Outer Parity)および内符号(Inner Parity)からなるいわゆる積符号化がなされ、各シンボルにつき二重に符号化される。この積符号化の単位をＥＣＣブロックという。
【０００４】
またデジタルデータの圧縮符号化については、例えばＭＰＥＧ(Moving Picture Experts Group)方式に基づき、直交変換ブロック単位で行われる。このＭＰＥＧ方式では、分割された直交変換ブロックにつき、例えば、ＤＣＴ(Discrete Cosine Transform)等に代表される直交変換処理を施してＤＣＴ係数を算出し、これを可変長符号化する。
【０００５】
またヘリカルスキャン型のＶＴＲのように、１トラックまたは所定数のトラック当たりに記録できるデータ量が固定されている時には、所定期間に発生する可変長符号のデータ量が目標値以下となるように、量子化ステップを変更してデータ量を制御する。そして、所定期間毎に割り当てられる複数のシンクブロックのデータ領域に、可変長符号化されたマクロブロックをパッキングする。
【０００６】
ちなみに、この可変長符号化されたマクロブロックの長さ（ビット数）は、図９(a)に示すように各マクロブロック間で互いに異なるため、これを固定長のシンクブロックに当てはめるパッキング方法が提案されている（例えば特許文献１参照。）。
【０００７】
このパッキング方法では、１シンクブロックと比較して長いマクロブロックは、シンクブロック長に対応する位置で分割する。そして、この分割されたマクロブロックのうち、シンクブロック長を超えるオーバーフロー部分は、図９(b)に示すようなマクロブロックの後方に位置するシンクブロック長に満たない空き領域に、先頭から順に挿入される。
【０００８】
図９(b)の例では、マクロブロック＃１におけるシンクブロックを超える部分が先ずマクロブロック＃２の後方に挿入され、当該領域がシンクブロック長に達すると、次の空き領域であるマクロブロック＃５の後方に挿入される。次にマクロブロック＃３のシンクブロック長を超える部分がマクロブロック＃７の後方に挿入される。さらにマクロブロック＃６のシンクブロック長を超える部分がマクロブロック＃８の後方に挿入される。このように、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。なお、このパッキング方法では、各シンクブロックの先頭に各マクロブロックが先頭から挿入されるように制御される。
【０００９】
ちなみに、各マクロブロックに対応する可変長データの長さは、ＤＣＴ係数を周波数成分毎に並び替えるストリームコンバータにより予め調べることもできる。これにより、画像信号をデコードして内容をその都度検査することなく、マクロブロックのデータの最後尾を識別することが可能となる。
【００１０】
図１０は、上述の如くパッキングされて、シンクブロック毎にシリアル出力されるデータストリームを示している。この図１０に示すように、各ビデオデータの先頭には、シンクブロックＮｏが付加され、さらにその後方には、マクロブロックの情報（長さ、量子化の情報等）が含まれるヘッダやＩＤが付加される。
【００１１】
また圧縮符号化されるビデオデータに加えて、シリアルデジタルインターフェース（ＳＤＩ）の垂直ブランキング期間に搭載され非圧縮のまま扱われるデータ（以下、メタデータという。）についても同様にシンクブロックにパッキングされ、図１０に示すように、ビデオデータをパッキングしたシンクブロックの前に出力される。このメタデータをパッキングしたシンクブロックは、通常、ビデオデータのマクロブロックをシンクブロックにパッキングする前に、フレームの先頭に位置する固定長の数シンクブロックに挿入される。
【００１２】
【特許文献１】
特開２０００−１４９４５５号公報
【００１３】
【発明が解決しようとする課題】
ところでこのメタデータは、例えばＣＰＵ等に代表されるシステムコントローラ(System Controller)により、ビデオデータが圧縮される前処理で読み取られ、ビデオデータと分離してAuxiliaryデータとして記録される。
【００１４】
しかしながら、かかる方法では、システムコントローラを用いた外部回路が必要となるためシステム構成が複雑になるという問題点がある。
【００１５】
また上述の如くフレーム先頭に存在する固定長の数シンクブロックに挿入することができるメタデータは、僅か１KByteのデータ量に過ぎない。このため、非圧縮のメタデータとして記録を望むデータ量が増加し、これが１KByteを超える場合には、フレーム先頭の数シンクブロックでは不十分となり、更には、入力されるあらゆるデータ量からなる各メタデータにつき全てをパッキングすることができないという問題点も生じる。
【００１６】
一方、あらゆるデータ量のメタデータに対応すべく、最大容量のメタデータについても記録媒体上の領域を確保する場合には、圧縮されるビデオデータの使用可能領域をいきおい減らす必要が生じ、ビデオデータの圧縮率を常に高くしなければならない。特にこのメタデータの容量は、用途に応じて千差万別であるため、ビデオデータの圧縮率を常時高くすると、不使用のメタデータについても常時領域を確保する結果となり、記録媒体全体における領域の活用が非効率的になるという問題点もある。
【００１７】
本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、ビデオデータの圧縮率への影響を最小限に抑えつつ、大容量のメタデータを含むいかなる非圧縮データについても効率よくシンクブロックに挿入することができる画像圧縮符号化装置及び方法を提供することにある。
【００１８】
【課題を解決するための手段】
本発明者は、上述の課題を解決するために、入力された画像信号から非圧縮データを切り出し、この切り出した非圧縮データのサイズに応じて直交変換係数を直交変換ブロック毎に量子化することにより、圧縮画像信号により構成した各シンクブロックにつき空き領域を生成し、当該空き領域に切り出した非圧縮データを挿入する画像圧縮符号化装置及び方法を発明した。
【００１９】
即ち、本発明に係る画像圧縮符号化装置は、入力された１フレームの画像信号を複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックを並べ替えるシャッフリング手段と、上記シャッフリング手段により直交変換ブロックが並べ替えられた画像信号に対して直交変換を施す直交変換手段と、上記入力された画像信号から固定長の非圧縮データをフレーム単位で切り出す非圧縮データ切出手段と、上記画像信号の１フレームにつき出力し得るビット数と、上記切り出された非圧縮データのビット数と、上記画像信号の１フレームに含まれる直交変換ブロックの数とから算出される、直交変換ブロック毎のターゲットビット数と、各直交変換ブロックのビット数とが一致するように上記直交変換手段によって上記直交変換が施された各直交変換ブロックにおける直交変換係数を量子化して、直交変換ブロックのビット数を削減する量子化手段と、上記量子化手段により量子化された上記各直交変換ブロックにつき可変長符号化して圧縮画像信号を生成する可変長符号化手段と、上記可変長符号化手段により生成された圧縮画像信号に上記直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成し、上記非圧縮データ切出手段により切り出された非圧縮データを同一ビット数になるように分割して上記圧縮画像信号により構成した各シンクブロックの空き領域に挿入するシンクブロック構成手段と
を備える。
【００２０】
また、本発明に係る画像圧縮符号化方法は、入力された１フレームの画像信号を複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックを並べ替えるシャッフリングステップと、上記シャッフリングステップで直交変換ブロックが並べ替えられた画像信号に対して直交変換を施す直交変換ステップと、上記入力された画像信号から固定長の非圧縮データをフレーム単位で切り出す非圧縮データ切出ステップと、上記画像信号の１フレームにつき出力し得るビット数と、上記切り出された非圧縮データのビット数と、上記画像信号の１フレームに含まれる直交変換ブロックの数とから算出される直交変換ブロック毎のターゲットビット数と、各直交変換ブロックのビット数とが一致するように上記直交変換ステップで上記直交変換が施された各直交変換ブロックにおける直交変換係数を量子化して、直交変換ブロックのビット数を削減する量子化ステップと、上記量子化ステップで量子化された上記各直交変換ブロックにつき可変長符号化して圧縮画像信号を生成する可変長符号化ステップと、上記可変長符号化ステップで生成された圧縮画像信号に上記直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成し、上記非圧縮データ切出ステップで切り出された非圧縮データを同一ビット数になるように分割して上記圧縮画像信号により構成した各シンクブロックの空き領域に挿入するシンクブロック構成ステップとを含む。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２２】
本発明は、例えば図１に示すような記録装置１に適用される。この記録装置１は、入力されたデジタル画像信号をマクロブロック単位でシャフリングして、例えばＤＣＴ（Discrete Cosine Transform）変換した上で量子化することにより非可逆的な画像圧縮を実現し、これを記録媒体３へ記録する。
【００２３】
この記録装置１は、シリアルデジタルインターフェース（ＳＤＩ）方式下でフォーマットされた画像信号がフレーム単位で入力される入力端子１１と、入力端子１１を介して入力された画像信号をシリアル−パラレル変換する変換部１２と、１フレームの画像信号を複数の直交変換ブロックに分割してこれを並び替えるシャフリング部１３と、シャフリング部１３と並列に設けられパラレルデジタルインターフェース（ＰＤＩ）の状態で変換部１２から入力された画像信号から非圧縮データ（以下、メタデータという。）を切り出すメタデータ検出部１４と、シャフリング部１３から入力されるマクロブロック単位の各画像信号につき２次元の離散コサイン変換（ＤＣＴ）を施すＤＣＴ（Discrete Cosine Transform ）回路１５と、このＤＣＴ回路１５から出力される直交変換係数（ＤＣＴ係数）をメタデータのサイズに応じて量子化ステップにより量子化する量子化回路１６と、量子化回路１６から出力される画像信号を可変長符号化処理する可変長符号化回路１７と、可変長符号化回路１７から出力される圧縮画像信号に直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成するシンクブロック構成部１８と、シンクブロック構成部１８から出力されるシンクブロックをまとめてＥＣＣ(Error Correction Code)エンコードを施すＥＣＣエンコーダ１９と、ＥＣＣエンコーダ１９から出力される圧縮画像信号を記録媒体３へ記録する記録部２０とを備えている。なお、このシャフリング部１３からシンクブロック構成部１８までの構成を総括してビデオ圧縮部２と称する。
【００２４】
記録媒体３は、記録部２０を介して圧縮画像信号が記録される磁気テープ或いは磁気ディスク等である。以下では、この記録媒体３として磁気テープを用いる場合につき説明をする。この記録媒体３には、ヘリカル状のトラックが配列されてなり、トラックには、記録部２０によりシンクブロック単位で圧縮画像信号が記録されることになる。
【００２５】
入力端子１１には、画像信号がフレーム単位で入力される。入力される画像信号は、表示時間に従って並べられたフレーム順序につき、符号化する順序に並べ替えられて構成される。
【００２６】
変換部１２は、入力されるＳＤＩフォーマットされた画像信号を、ＰＤＩ方式のフォーマットに変換する。ちなみに、このＳＤＩは、テレビジョン等の映像機器において用いられる画像信号を他の記録装置等との間で伝送するためのインターフェースであるが、実際に記録装置１に画像信号を記録する場合には、ＰＤＩフォーマットへの変換が必要となる。
【００２７】
図２は、このＰＤＩフォーマットの構成図である。この図２に示すＰＤＩフォーマットのフレームフォーマット、即ち垂直フォーマットは、水平方向２１９６ドット、垂直方向１１２５ラインから成り、ビデオデータが存在するビデオデータ部ＤＴ１及びビデオ部ＤＴ２が配される。このビデオデータ部ＤＴ１、ＤＴ２の前には、メタデータ部ＭＴ１、ＭＴ２がそれぞれ挿入され、さらにこのメタデータ部ＭＴ１、ＭＴ２の前には、ブランクデータ部ＢＤＴ１、ＢＤＴ２がそれぞれ挿入されてなる。なお、このビデオデータ部ＤＴ２の後方には、さらにブランクデータ部ＢＤＴ３が配されてなる。
【００２８】
またビデオデータ部ＤＴ１、ＤＴ２及びブランクデータ部ＢＤＴ1、ＢＤＴ２の前後には、それぞれアクティブラインの開始を示す４ビットの開始同期符号ＳＡＶ及びアクティブラインの終了を示す終了同期符号ＥＡＶが置かれる。さらに、開始同期符号ＳＡＶと終了同期符号ＥＡＶとの間には、２６８ビット分の補助データであるアンシラリデータ部ＡＮＣが置かれる。
【００２９】
シャフリング部１３は、変換部１２から出力されるＰＤＩフォーマットされた画像信号につき後述するＤＣＴを施すべく、フレーム毎に複数の直交変換ブロックに分割する。この直交変換ブロックは、MPEG4 Studio Profile規格における４：４：４符号化方式において、８Ｈ×８Ｖからなる８個のブロックで構成されるが、かかる場合に限定されるものではなく、いかなる画素数で構成してもよい。以下では、この直交変換ブロックを１６×１６画素のマクロブロックで構成した場合を例にとり説明をする。シャフリング部１３は、この直交変換ブロックを並び替えて、これをＤＣＴ回路１５へ出力する。
【００３０】
メタデータ検出部１４は、変換部１２から出力されるＰＤＩフォーマットされた画像信号からメタデータを切り出す。図３は、このメタデータ検出部１４により切り出されるメタデータの例を示している。メタデータは、種々の規格に基づき、デジタル字幕や放送局間での制御信号等で構成されている。ちなみに、このメタデータ検出部１４により切り出されたメタデータは、後述するシンクブロック構成部１８へ渡される。
【００３１】
ＤＣＴ回路１５は、シャフリング部１３からから出力されるマクロブロック単位の各画像信号につき直交変換の一種であるコサイン変換処理して、空間領域のデジタル信号を周波数領域のＤＣＴ係数に変換する。即ち、このＤＣＴ回路１４は、かかるコサイン変換処理をマクロブロック単位で施すことにより、例えば１６×１６のＤＣＴ係数を発生させ、これを量子化回路１６へ出力することができる。ちなみに、このＤＣＴ回路１５の代替として、例えば入力された画像信号に対してＤＰＣＭ(Differential Pulse Code Modulation)処理を施すＤＰＣＭ回路を用いることにより、圧縮・伸張の過程を経てもとの情報を保存可能な可逆符号化(Lossless)方式を実現するようにしてもよい。
【００３２】
量子化回路１６は、ＤＣＴ係数を量子化ステップと呼ぶ整数値で除算し量子化を行う。具体的には、量子化後のビット数がマクロブロック毎に割り当てられるターゲットビット数を超えない範囲で最大のビット数となる量子化テーブルを選択し、量子化を行う。ちなみにこのターゲットビット数は、量子化回路１６に供給されるメタデータサイズ信号に基づき決定される。このメタデータサイズ信号の値は、メタデータ検出部１４により切り出されたメタデータのビット数に応じて調整されるため、この量子化回路１６では、扱うメタデータのビット数に応じて量子化テーブルが選択され、ビデオデータの圧縮量が制御されることになる。
【００３３】
また量子化回路１６は、マクロブロック毎に量子化したＤＣＴ係数を直流成分のデータから高域成分方向へジグザグスキャン或いはオルタネートスキャンをして、１次元のデータストリームとする。量子化されたデータは、可変長符号化回路１７に送られる。
【００３４】
可変長符号化回路１７は、量子化された画像信号（ＤＣＴ係数）を可変長符号化して、係数０のランレングスとそれに続く非０係数の値の組に、データを符号化した圧縮画像信号を生成する。このように可変長符号化をすることによって、０が多くなった高域成分のデータ量を除去することが可能となる。
【００３５】
シンクブロック構成部１８は、複数のシンクブロックのデータ領域に、可変長符号化された圧縮画像信号における各マクロブロックをパッキングする。ちなみに、この可変長符号化されたマクロブロックのビット数は、図４(a)に示すように各マクロブロック間で互いに異なるため、シンクブロック構成部１８は、これを図４(b)に示すように固定長のシンクブロックに当てはめて構成する。シンクブロック構成部１８は、シンクブロック長と比較して長いマクロブロックにつき、所定の位置で分割する。そして、この分割されたマクロブロックのうち、シンクブロック長を超えるオーバーフロー部分は、マクロブロックの後方に位置するシンクブロック長に満たない領域に、先頭から順に挿入される。
【００３６】
図４(b)の例では、マクロブロック＃１におけるシンクブロックを超える部分Ａ４が先ずマクロブロック＃２の後方に挿入され、当該領域がシンクブロック長に達すると、次の空き領域であるマクロブロック＃４の後方にＡ５,Ａ６が挿入される。次にマクロブロック＃３のシンクブロック長を超える部分Ｃ４がマクロブロック＃５の後方に挿入される。このように、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。なお、このパッキング方法では、各シンクブロックの先頭に各マクロブロックが先頭から挿入されるように制御される。
【００３７】
また本発明を適用した記録装置１では、このマクロブロックをまとめることによりシンクブロックを構成すると、図４(b)に示すようにシンクブロックの後方に空き領域が生じる。シンクブロック構成部１８は、メタデータ検出部１４より切り出されたメタデータを抽出し、各シンクブロックに挿入するビット数に区切る。このとき、例えば図４(c)に示すように、メタデータ部ＭＴ１からかかるメタデータを抽出し、互いに同ビット数になるように分割してもよい。シンクブロック構成部１８は、この分割した各メタデータをそれぞれシンクブロックの空き領域に挿入する。
【００３８】
ＥＣＣエンコーダ１９は、シンクブロック構成部１８から送信される複数のシンクブロックに対してまとめてエラー訂正符号を付加することによりＥＣＣブロックを構成する。このエラー訂正符号は、図５に示すように、データシンボルの２次元配列の縦および横方向にそれぞれ外符号(Outer Parity)および内符号(Inner Parity)からなるいわゆる積符号化がなされ、各シンボルにつき二重に符号化される。このＥＣＣブロックは、積符号化における一単位を構成する。
【００３９】
記録部２０は、記録媒体３が磁気テープである場合には、例えば図示しない回転ドラムを介して回転させられる磁気テープ上を斜めに摺動する磁気ヘッド等で構成され、接続されたＥＣＣエンコーダ１９から供給される圧縮画像信号をこの磁気テープ上へ順次記録する。
【００４０】
次に、本発明を適用した記録装置１の動作について説明をする。
【００４１】
変換部１２においてＳＤＩフォーマットからＰＤＩフォーマットへ変換された画像信号のうち、メタデータ部ＭＴ１、ＭＴ２にあるメタデータは、メタデータ検出部１４により順次切り出される。また、この画像信号は、シャフリング部１３において複数のマクロブロックに分割されてシャフリングされ、ＤＣＴ回路１５において各マクロブロックにつきＤＣＴ変換される。
【００４２】
またこの画像信号において、各シンクブロックにメタデータを挿入する場合には、その領域を確保すべく、ＤＣＴ回路１５から入力される各マクロブロックにつきビット数を減らすように調整される。マクロブロック毎のビット数の削減は、例えば上述の量子化回路１５におけるターゲットビット数を減らすことにより実現する。このターゲットビット数は、１フレームの画像信号につき出力し得るデータサイズに対するメタデータのデータサイズの差分値を演算し、この演算した差分値を１フレーム分の直交変換ブロック数（マクロブロック数）で割ることにより、マクロブロック単位のターゲットビット数を算出する。上述した１フレームの画像信号につき出力し得るデータサイズは、圧縮画像信号を伝送することができるビットレート（例えば、４５０Mbps、９００Mbps等）、或いは記録媒体３へ記録することができるビットレートに基づき、システム毎に決められる。即ち、このターゲットビット数は以下の式１により算出することができる。
（１フレームにつき出力し得るビット数−メタデータのビット数）／１フレームのマクロブロック数・・・・・・・式１
【００４３】
この式１で求められたターゲットビット数となるように各マクロブロックを量子化することにより、シンクブロック内においてメタデータを挿入する領域を確保することが可能となる。即ち、本発明を適用した記録装置１では、メタデータのデータ量が１KByteを超える場合であっても、ビデオデータのビット数減らすことにより、シンクブロックに挿入することができる。特に上記式１によりメタデータのビット数が小さい場合には、ターゲットビット数を大きくとり、またメタデータのビット数が大きい場合のみターゲットビット数を小さくすることで、メタデータのサイズに基づき最適なターゲットビット数を求めることができる。このため、ビデオデータの圧縮率への影響を最小限に抑えつつ、いかなるサイズのメタデータについても効率よくシンクブロックに挿入することが可能となる。
【００４４】
量子化された画像信号（ＤＣＴ係数）は、可変長符号化回路１７において可変長符号化され、シンクブロック構成部１８において各マクロブロックにつきシンクブロック内にパッキングされ、更にＥＣＣエンコーダ１９にてＥＣＣエンコードされる。図６は、シンクブロック構成部１８においてパッキングされて、シンクブロック毎にＥＣＣエンコーダ１９へ出力されるデータストリームを示している。
【００４５】
この図６に示すように、上記シンクブロック＃１のマクロブロックＡ１〜Ａ３で構成されるビデオデータの先頭には、シンクブロックＮｏが付加され、さらにその後方には、マクロブロックの情報（長さ、量子化の情報等）が含まれるＩＤやヘッダが付加される。またこのビデオデータの後方には、メタデータＭ１が挿入される。なお、メタデータが挿入されるシンクブロックのヘッダには、メタデータが存在する旨を示すフラグと、メタデータのビット数が追記されていてもよい。また、このメタデータが挿入される領域は、ビデオデータの前方であってもよい。その他、シンクブロック内にある所望のマクロブロックのビデオデータを優先させて、残りの領域にメタデータを挿入するようにしてもよい。
【００４６】
また、この図６に示すように、シンクブロック＃１の前には、メタデータのみをパッキングしたシンクブロック＃Ｍ１〜シンクブロック＃Ｍｎを設けるようにしてもよい。これにより、シンクブロック構成部１８では、メタデータ検出部１４から送信されるメタデータのデータ量が小さい場合には、このシンクブロック＃Ｍ１〜シンクブロック＃Ｍｎへ優先的に挿入することができる。また、シンクブロック構成部１８は、メタデータサイズ信号の値からメタデータが所定のサイズ以下であると判別した場合に、シンクブロック＃Ｍ１〜シンクブロック＃Ｍｎのみにこれを挿入するようにしてもよい。これにより、ビデオデータの圧縮率への影響を極力抑えることができる。
【００４７】
なお、本発明を適用した記録装置１は上述した実施の形態に限定されるものではない。例えば図７に示すように、メタデータ検出部１４において切り出されたメタデータのサイズをＣＰＵ等のシステムコントローラ２２により識別し、かかるシステムコントローラ２２がメタデータサイズ信号を生成して、これを量子化回路１６へ送信するようにしてもよい。
【００４８】
即ち、本発明は、システムコントローラ２２を用いない簡単なシステム構成とすることも可能であるが、システムコントローラ２２を用いる記録再生システムに記録装置１自体を組み込む場合に、図７に示すような構成を採用することにより、メタデータのサイズを識別することもできる。
【００４９】
また、本発明を適用した記録装置１では、インタレース、プログレッシブ、又はＰｓＦ等の各種フォーマットに応じて、フレーム単位で実行する上記圧縮符号化処理を、フィールド単位で実行する場合もある。ちなみに、フィールド単位で圧縮処理を実行する場合には、上記記載、式１における「フレーム」が全て「フィールド」に置き換わることになる。
【００５０】
また、本発明は、上述した構成の記録装置１に適用される場合のみならず、例えば、入力される画像信号を記録媒体３へ記録するために、これを複数のマクロブロックに分割し、当該分割した各マクロブロックにつき直交変換を施して圧縮符号化するビデオ圧縮部２からなる圧縮符号化装置に適用してもよい。
【００５１】
さらに、本発明は、記録装置１により記録媒体３に記録された圧縮画像信号を再生する再生装置５とともに構成してもよい。この再生装置５は、例えば図８に示すように、ＥＣＣデコーダ５１と、マクロブロック変換部５２と、可変長符号解読回路５３と、逆量子化回路５４と、ＩＤＣＴ回路５５と、アンシャッフル部５６と、スイッチ５７と、変換部５８とを備えている。
【００５２】
記録媒体３から再生された圧縮画像信号は、ＥＣＣデコーダ５１において誤り訂正が施され、内符号、外符号の各パリディが取り除かれた後、図６に示すようなデータストリームと同様の配列になるようにして、マクロブロック変換部５２へ出力される。マクロブロック変換部５２では、入力されたデータストリーム上のシンクブロックをマクロブロックに変換する。また、このマクロブロック変換部５２では、各シンクブロックにおけるヘッダに付加されたメタデータの情報に基づいて、メタデータの抽出を行う。各シンクブロックから抽出されたメタデータは、ＰＤＩフォーマットにおいて定められた例えば１wordにつき１０ビットのデータに変換され、スイッチ５７へ送信される。
【００５３】
なお、マクロブロックに変換されたビデオデータは、可変長符号解読回路５３において可変長符号が解読され、逆量子化回路５４において逆量子化され、ＩＤＣＴ回路５５においてＤＣＴ係数からデジタル信号に変換される。さらにアンシャッフル部５６では、シャフリング部１３においてシャフリングされていたマクロブロックの配列を元に戻しこれをスイッチ部５７へ出力する。
【００５４】
スイッチ部５７では、マクロブロック変換部５２から送信されたメタデータをメタデータ部ＭＴ１、ＭＴ２等にまとめて挿入することにより、アンシャッフル部５６からのビデオデータとともにＰＤＩフォーマットを構成し、これを変換部５８へ出力する。変換部５８では、入力されたＰＤＩフォーマットの画像信号をパラレル−シリアル変換して出力する。
【００５５】
即ち、この再生装置５は、記録装置１と逆の動作を行うことにより、記録装置１により記録媒体３に記録された圧縮画像信号からメタデータとビデオデータを分離して再生することも可能となる。
【００５６】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号符号化装置及び方法は、入力された画像信号から非圧縮データを切り出し、この切り出した非圧縮データのサイズに応じて直交変換係数を直交変換ブロック毎に量子化することにより、圧縮画像信号により構成した各シンクブロックにつき空き領域を生成し、当該空き領域に切り出した非圧縮データを挿入する。
【００５７】
このため、本発明では、非圧縮のメタデータとして記録を望むデータ量が増加し、これが１KByteを超える場合であっても全てをパッキングすることができる。また本発明では、メタデータのサイズに基づき、ビデオデータについて最適なターゲットビット数を求めることができる。このため、ビデオデータの圧縮率への影響を最小限に抑えつつ、いかなるサイズのメタデータについても効率よくシンクブロックに挿入することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録装置のブロック構成図である。
【図２】ＰＤＩフォーマットの構成図である。
【図３】メタデータ検出部により切り出されるメタデータの例を示す図である。
【図４】複数のシンクブロックのデータ領域に、可変長符号化された各マクロブロックをパッキングする例を示す図である。
【図５】ＥＣＣエンコーダによりエラー訂正符号が付加されたＥＣＣブロックを示す図である。
【図６】シンクブロック構成部においてパッキングされて、シンクブロック毎にＥＣＣエンコーダへ出力されるデータストリームを示す図である。
【図７】システムコントローラを用いてメタデータのサイズを識別する構成につき示す図である。
【図８】記録装置により記録媒体に記録された圧縮画像信号を再生する再生装置の構成図である。
【図９】パッキング法の従来例につき説明するための図である。
【図１０】パッキングされて、シンクブロック毎にシリアル出力されるデータストリームを示す図である。
【符号の説明】
１ 記録装置、３ 記録媒体、１１ 入力端子、１２ 変換部、１３ シャフリング部、１４ メタデータ検出部、１５ ＤＣＴ回路、１６ 量子化回路、１７ 可変長符号化回路、１８ シンクブロック構成部、１９ ＥＣＣエンコーダ、２０ 記録部
Claims (8)
- 入力された１フレームの画像信号を複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックを並べ替えるシャッフリング手段と、
上記シャッフリング手段により直交変換ブロックが並べ替えられた画像信号に対して直交変換を施す直交変換手段と、
上記入力された画像信号から固定長の非圧縮データをフレーム単位で切り出す非圧縮データ切出手段と、
上記画像信号の１フレームにつき出力し得るビット数と、上記切り出された非圧縮データのビット数と、上記画像信号の１フレームに含まれる直交変換ブロックの数とから算出される、直交変換ブロック毎のターゲットビット数と、各直交変換ブロックのビット数とが一致するように上記直交変換手段によって上記直交変換が施された各直交変換ブロックにおける直交変換係数を量子化して、直交変換ブロックのビット数を削減する量子化手段と、
上記量子化手段により量子化された上記各直交変換ブロックにつき可変長符号化して圧縮画像信号を生成する可変長符号化手段と、
上記可変長符号化手段により生成された圧縮画像信号に上記直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成し、上記非圧縮データ切出手段により切り出された非圧縮データを同一ビット数になるように分割して上記圧縮画像信号により構成した各シンクブロックの空き領域に挿入するシンクブロック構成手段と
を備える画像圧縮符号化装置。 - 非圧縮データ切出手段により切り出された非圧縮データのサイズを識別してデータサイズ信号を生成するシステムコントローラをさらに備え、
上記量子化手段は、上記システムコントローラにより生成されたデータサイズ信号に応じて、上記各直交変換ブロックの直交変換係数を量子化する請求項１記載の画像圧縮符号化装置。 - 上記量子化手段は、１フレームの画像信号につき出力し得るデータサイズに対する上記切り出された非圧縮データのサイズの差分値を演算し、上記演算した差分値を１フレーム分の直交変換ブロック数で割ることにより直交変換ブロック単位のターゲットビット数を算出し、さらに上記各直交変換ブロックの直交変換係数が上記算出したターゲットビット数となるように量子化する請求項１記載の画像圧縮符号化装置。
- 上記シンクブロック構成手段は、所定のサイズ以下の非圧縮データを、非圧縮データのみで構成される他のシンクブロックに挿入する請求項１記載の画像圧縮符号化装置。
- 入力された１フレームの画像信号を複数の直交変換ブロックに分割し、当該分割した各直交変換ブロックを並べ替えるシャッフリングステップと、
上記シャッフリングステップで直交変換ブロックが並べ替えられた画像信号に対して直交変換を施す直交変換ステップと、
上記入力された画像信号から固定長の非圧縮データをフレーム単位で切り出す非圧縮データ切出ステップと、
上記画像信号の１フレームにつき出力し得るビット数と、上記切り出された非圧縮データのビット数と、上記画像信号の１フレームに含まれる直交変換ブロックの数とから算出される直交変換ブロック毎のターゲットビット数と、各直交変換ブロックのビット数とが一致するように上記直交変換ステップで上記直交変換が施された各直交変換ブロックにおける直交変換係数を量子化して、直交変換ブロックのビット数を削減する量子化ステップと、
上記量子化ステップで量子化された上記各直交変換ブロックにつき可変長符号化して圧縮画像信号を生成する可変長符号化ステップと、
上記可変長符号化ステップで生成された圧縮画像信号に上記直交変換ブロックの識別情報を付加することにより、固定長のシンクブロックを構成し、上記非圧縮データ切出ステップで切り出された非圧縮データを同一ビット数になるように分割して上記圧縮画像信号により構成した各シンクブロックの空き領域に挿入するシンクブロック構成ステップと
を含む画像圧縮符号化方法。 - 非圧縮データ切出ステップで切り出された非圧縮データのサイズを識別してデータサイズ信号をシステムコントローラにより生成する識別ステップをさらに有し、
上記量子化ステップでは、上記識別ステップにおいて生成されたデータサイズ信号に応じて、上記各直交変換ブロックの直交変換係数を量子化する請求項５記載の画像圧縮符号化方法。 - 上記量子化ステップでは、１フレームの画像信号につき出力し得るデータサイズに対する上記切り出された非圧縮データのサイズの差分値を演算し、上記演算した差分値を１フレーム分の直交変換ブロック数で割ることにより直交変換ブロック単位のターゲットビット数を算出し、さらに上記各直交変換ブロックの直交変換係数が上記算出したターゲットビット数となるように量子化する請求項５記載の画像圧縮符号化方法。
- 上記シンクブロック構成ステップでは、所定のサイズ以下の非圧縮データを、非圧縮データのみで構成される他のシンクブロックに挿入する請求項５記載の画像圧縮符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003102329A JP4281396B2 (ja) | 2003-04-04 | 2003-04-04 | 画像圧縮符号化装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003102329A JP4281396B2 (ja) | 2003-04-04 | 2003-04-04 | 画像圧縮符号化装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004312310A JP2004312310A (ja) | 2004-11-04 |
| JP4281396B2 true JP4281396B2 (ja) | 2009-06-17 |
Family
ID=33465788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003102329A Expired - Fee Related JP4281396B2 (ja) | 2003-04-04 | 2003-04-04 | 画像圧縮符号化装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4281396B2 (ja) |
-
2003
- 2003-04-04 JP JP2003102329A patent/JP4281396B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004312310A (ja) | 2004-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2766919B2 (ja) | ディジタル信号記録再生装置、ディジタル信号記録装置、ディジタル信号再生装置 | |
| JP3046224B2 (ja) | 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法 | |
| CN1221284A (zh) | 具有mpeg编码解码器的数字记录和回放装置及其方法 | |
| US6721492B1 (en) | Signal processing apparatus and method, recording apparatus, playback apparatus, recording and playback apparatus, and stream processing apparatus and method | |
| EP0553650B1 (en) | Apparatus and methods for transmitting compressed digital image signals | |
| KR100904329B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| WO2002080573A1 (en) | Quantization apparatus, quantization method, quantization program, and recording medium | |
| JP3046226B2 (ja) | ディジタルビデオテ−プレコ−ダのビットストリ−ム配置／復元方法およびそれに適合なデ−タ圧縮装置および伸長装置 | |
| JP3850015B2 (ja) | ディジタルビデオ信号記録再生装置および伝送装置 | |
| JP4281396B2 (ja) | 画像圧縮符号化装置及び方法 | |
| JPH0324887A (ja) | ディジタル画像信号の符号化装置 | |
| WO2002080572A1 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| JP4372137B2 (ja) | 映像情報記録方法、および映像情報記録媒体 | |
| JP3166501B2 (ja) | 画像再圧縮方法及び画像再圧縮装置 | |
| JP2720717B2 (ja) | 映像信号処理装置 | |
| JP3034172B2 (ja) | 画像データ記録再生装置 | |
| JP3125471B2 (ja) | ディジタルビデオ信号記録装置におけるフレーム化装置 | |
| JP2004120799A (ja) | ディジタルデータ伝送装置及びその伝送方法 | |
| JPH07111633A (ja) | 画像圧縮記録再生装置 | |
| US7636394B2 (en) | Compression encoder, compression-encoding method, recorder, and recording method | |
| KR100272101B1 (ko) | 디지털비디오신호처리장치 | |
| JP3763276B2 (ja) | 信号処理装置および方法、記録装置および方法、ならびに、記録再生装置および方法 | |
| JP2772518B2 (ja) | ディジタル信号符号化・復号化装置、ディジタル信号符号化装置、ディジタル信号復号化装置 | |
| JP4409517B2 (ja) | 光ディスク記録方法、光ディスク、光ディスク再生方法及び光ディスク再生装置 | |
| JP3776079B2 (ja) | 光ディスク記録方法、光ディスク、光ディスク再生方法及び光ディスク再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090309 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |